理论 - AIGC宇宙

提升人工智能性能的三种关键的LLM压缩策略

译者 | 布加迪审校 | 重楼在当今快节奏的数字环境中，依赖人工智能的企业面临着新的挑战：运行人工智能模型的延迟、内存使用和计算能力成本。随着人工智能快速发展，幕后推动这些创新的模型变得越来越复杂、资源密集。虽然这些大模型在处理各种任务中取得了出色的性能，但它们通常伴随着很高的计算和内存需求。

12个ChatGPT写作秘诀让你事半功倍！OpenAI官方发布

最近，OpenAI在官网上发布了一篇学生写作指南。指南的开头写道：如果使用得当，ChatGPT可以成为一个强大的工具，帮助学生培养严谨思维和清晰写作的技能，协助他们思考创意、掌握复杂概念并得到写作草稿的反馈。然而，也有一些使用ChatGPT的方式会适得其反——比如生成一篇文章而不是自己写。

Grok 3证明黎曼猜想，训练遭灾难性事件？数学家称不夸张，两年内AI将解出千禧年难题

黎曼猜想，竟被Grok 3「证明」了？为此，xAI暂停了Grok 3的训练来验证它的证明，如果结果是正确的，将会完全终止模型的训练。 xAI工程师Hieu Pham在社交媒体的最新「爆料」，成为AI圈最火爆的话题。

OpenAI「23个黑手党」出走创业，融资近百亿！华人科学家约占1/3

曾经参与缔造了改变世界的ChatGPT大牛们，如今却纷纷自立门户。此前，早有BI的报道汇总了，出走OpenAI的19位研究人员。经过半年多的「大换血」，这个数字最近增加到了23人。

视频大模型无损提速：删除多余token，训练时间减少30%，帧率越高效果越好 | NeurIPS

把连续相同的图像块合并成一个token，就能让Transformer的视频处理速度大幅提升。卡内基梅隆大学提出了视频大模型加速方法Run-Length Tokenization（RLT），被NeurIPS 2024选为Spotlight论文。在精度几乎没有损失的前提下，RLT可以让模型训练和推理速度双双提升。

Nature:「人类亲吻难题」彻底难倒LLM，所有大模型全部失败！LLM根本不会推理，只是工具

LLM究竟是否拥有类似人类的符合理解和推理能力呢？许多认知科学家和机器学习研究人员，都会认为，LLM表现出类人（或「接近类人」）的语言能力。然而，来自帕维亚大学、柏林洪堡大学、得克萨斯大学休斯顿健康科学中心、纽约大学、巴塞罗那自治大学的研究者却提供了一些最全面的证据，表明目前它们基本没有！

大模型时代下的私有数据安全与利用

一、大模型时代下的数据安全与利用问题众所周知，大模型是当前研究的热点之一，且已成为当前发展的主流趋势。我们团队最近的研究方向从传统的联邦学习转变为探索这一范式在大模型时代的新拓展，即基于知识迁移的联邦学习。我们认为在大模型时代，这种新的联邦学习模式非常适用。

在AI和LLM架构中实现零信任：安全且负责任的AI系统实践指南

在AI和大型语言模型快速发展的背景下，安全不能再被视为事后的考虑。随着这些技术成为企业运营不可或缺的一部分，实施强有力的安全措施至关重要，然而，AI的安全超越了传统的网络安全实践——它还必须涵盖伦理考量和负责任的AI原则。本指南为IT从业人员和决策者提供了一种在AI和LLM架构中应用零信任原则的综合方法，强调从基础层面融入伦理考量。

新Scaling Law浮出水面！OpenAI内部员工爆料下一代模型Orion性能堪忧；量化Llama3困难，这些都有了新解

编辑 | 言征出品 | 51CTO技术栈（微信号：blog51cto）Scaling Law 最近被业内不少人士唱衰，一方面以OpenAI为代表大模型厂商们，基本上还是围绕着GPT-4在探索周边，虽说不是原地打转，但单就性能提升而言，就连OpenAI自家的员工都爆料说非常有限。 1.OpenAI内部人士：Orion性能提升遇到瓶颈昨天，外媒媒体曝出消息称，奥特曼一直吊胃口的下一代模型“Orion”，也被自家的两位知情人士，坦承：GPT-4与Orion之间的质量差距明显小于GPT-3与GPT-4之间的差距，并透露截止到夏末，Orion在回答未经训练的编码问题时表现不佳，仅在语言处理能力方面显示出提升。这可影响大了，业界都在向着OpenAI学习、追赶，OpenAI的放缓自然也就意味着大模型进展在放缓。

ChatGPT深夜更新：Mac版支持“读屏编程”，Windows版全员可用了

ChatGPT客户端，支持“读屏编程”了。即日起，Mac端的Plus用户，可以直接让ChatGPT客户端读取开发工具中的代码。目前，包括常用的Xcode和VS Code在内，该功能一共支持五款编程工具。

Scaling Law遭遇瓶颈，OpenAI被曝押注智能体“Operator”

继Anthropic之后，OpenAI也要接管人类电脑了？！就在刚刚，彭博社爆料OpenAI将在明年1月推出Agent“Operator（操作员）”，为用户自动执行任务。

简单了解大模型（LLM）智能体，传统软件工程思维依然适用

说到大模型应用的理想态，我相信很多人都可以想到《钢铁侠》里面的贾维斯，可以根据环境、天气、对手火力等情况，给钢铁侠提供决策指导或者自主决策。大模型Agent就是人们希望借助大模型实现的类似于贾维斯一样智能助手能力，它具备环境感知能力、自主理解、决策制定以及行动执行的能力。在实现Agent架构过程中，有很多思维方式和传统软件工程思维是相似的。

关于战略人工智能的深度综述

译者 | 朱先忠审校 | 重楼本文将全面探索战略性人工智能的概念、发展及相关博弈论理论，并对战略人工智能的未来发展方向提出建议。开场白1997年5月11日，纽约市。这是纽约市一个美丽的春日，天空晴朗，气温攀升至20摄氏度。

AIGC 时代，学习的意义到底是什么？

这一两年，越来越多的朋友开始意识到有点跟不上AI技术的发展了！以ChatGPT、文心一言为代表的一系列aigc工具的流行，让人们在面对AI时，自愧不如，惊讶于AI模型的无所不能，既有渊博的知识，又具备高效的办公效率。 ai变得越来越像人，很多工作都有被替代的危机，这种生产力的变革，正在让数百万级的知识类工作者面临失业压力。

今日最热论文：Scaling Law后继乏力，量化也不管用，AI大佬齐刷刷附议

几十万人关注，一发表即被行业大佬评为“这是很长时间以来最重要的论文”。哈佛、斯坦福、MIT等团队的一项研究表明：训练的token越多，需要的精度就越高。例如，Llama-3在不同数据量下（圆形8B、三角形70B、星星405B），随着数据集大小的增加，计算最优的精度也会增加。

OpenAI总裁回归！将更专注重大技术挑战，“结束人生最长假期”

OpenAI联创&总裁Greg Brockman，回来了！刚刚，他在推特上宣布，自己人生中最长的假期结束了，现在要回来继续建设OpenAI。据爆料，Brockman周二在内部发布了回归的公告。

如何使用Hugging Face Transformers微调F5以回答问题？

译者 | 布加迪审校 | 重楼使用Hugging Face Transformers对T5模型进行微调以处理问题回答任务很简单：只需为模型提供问题和上下文，它就能学会生成正确的答案。 T5是一个功能强大的模型，旨在帮助计算机理解和生成人类语言。 T5的全称是“文本到文本转换器”。

Ilya认错，Scaling Law崩了？自曝SSI秘密技术路线取代OpenAI

昨天，The Information爆料，传统的大模型Scaling Law已经撞墙，OpenAI下一代旗舰Orion遭遇瓶颈。就在刚刚，路透社也发文表示，由于当前方法受到限制，OpenAI和其他公司正在寻求通向更智能AI的新途径。有趣的是，昨天拱火的The Information，今天又急忙发出一篇文章来灭火。