训练
NeurIPS 2024｜杜克大学&谷歌提出SLED解码框架，无需外部数据与额外训练，有效缓解大语言模型幻觉，提高事实准确性
此项研究成果已被 NeurIPS 2024 录用。 该论文的第一作者是杜克大学电子计算机工程系的博士生张健一，其主要研究领域为生成式 AI 的概率建模与可信机器学习，导师为陈怡然教授。 大语言模型（LLM）在各种任务上展示了卓越的性能。
美欧亚三洲开发者联手，全球首个组团训练的大模型来了，全流程开源
11 月 22 日，Prime Intellect 宣布通过去中心化方式训练完成了一个 10B 模型。 30 号，他们开源了一切，包括基础模型、检查点、后训练模型、数据、PRIME 训练框架和技术报告。 据了解，这应该是有史以来首个以去中心化形式训练得到的 10B 大模型。
上海AI实验室版o1已上线！数学竞赛题、Leetcode赛题全拿下，还会玩24点
国产o1新选手登场！ 它能快速解决更复杂的数学解题、代码编程、数字游戏等任务。 这就是上海AI实验室版o1——强推理模型书生InternThinker，刚刚正式开放试用！
1行代码改进大模型训练，Llama训练速度提升至1.47倍，全华人团队出品
只要改一行代码，就能让大模型训练效率提升至1.47倍。 拥有得州大学奥斯汀分校背景四名华人学者，提出了大模型训练优化器Cautious Optimizers。 在提速的同时，Cautious能够保证训练效果不出现损失，而且语言和视觉模型都适用。
遗憾不？原来百度2017年就研究过Scaling Law，连Anthropic CEO灵感都来自百度
在追求 AGI 的道路上，Scaling Law 是绕不开的一环。 如果 Scaling Law 撞到了天花板，扩大模型规模，增加算力不能大幅提升模型的能力，那么就需要探索新的架构创新、算法优化或跨领域的技术突破。 作为一个学术概念，Scaling Law 为人所熟知，通常归功于 OpenAI 在 2020 年发的这篇论文：论文标题：Scaling Laws for Neural Language Models论文链接：、数据量、计算资源增加而指数提升。
OpenAI怒斥Scaling撞墙论！o1已产生推理直觉潜力巨大
最近，OpenAI高级研究副总裁Mark Chen在炉边谈话中，正式否认「Scaling Law撞墙论」。 他表示，并没有看到Scaling Law撞墙，甚至OpenAI还有两个范例——o系列和GPT系列，来保持这种Scaling。 用他的话说，「我们准确地掌握了需要解决的技术挑战」。
Claude 3.5两小时暴虐50多名专家，编程10倍速飙升！但8小时曝出惊人短板
AI智能体离自主研发，还有多远？ Nature期刊的一篇研究曾证明了，GPT-4能自主设计并开展化学实验，还能阅读文档学习如何使用实验室设备。 另有Transformer作者之一研发的「世界首个AI科学家」，一口气肝出10篇论文，完全不用人类插手。
收敛速度最高8倍，准确率提升超30%！华科发布MoE Jetpack框架 | NeurIPS 2024
混合专家模型（MoE, Mixture of Experts）是一种通过动态激活网络的部分结构来提升计算效率的架构，可以在保持相对稳定的计算成本的前提下大幅增加参数量，从而有效提升模型性能。 这一特性使得MoE能够兼顾模型的规模与效率，已广泛应用于各种大规模任务。 然而，MoE模型通常需要在大型数据集上预训练以获得理想性能，导致其对时间和计算资源的需求极高，这也限制了其在深度学习社区中的普及性。
Grok 3证明黎曼猜想，训练遭灾难性事件？数学家称不夸张，两年内AI将解出千禧年难题
黎曼猜想，竟被Grok 3「证明」了？ 为此，xAI暂停了Grok 3的训练来验证它的证明，如果结果是正确的，将会完全终止模型的训练。 xAI工程师Hieu Pham在社交媒体的最新「爆料」，成为AI圈最火爆的话题。
Ilya认错，Scaling Law崩了？自曝SSI秘密技术路线取代OpenAI
昨天，The Information爆料，传统的大模型Scaling Law已经撞墙，OpenAI下一代旗舰Orion遭遇瓶颈。 就在刚刚，路透社也发文表示，由于当前方法受到限制，OpenAI和其他公司正在寻求通向更智能AI的新途径。 有趣的是，昨天拱火的The Information，今天又急忙发出一篇文章来灭火。
多模态模型免微调接入互联网，即插即用新框架，效果超闭源商用方案
一个5月份完成训练的大模型，无法对《黑神话·悟空》游戏内容相关问题给出准确回答。 这是大模型的老毛病了。 因为《黑神话》8月才上市，训练数据里没有它的相关知识。
免训练加速DiT！Meta提出自适应缓存新方法，视频生成快2.6倍
现在，视频生成模型无需训练即可加速了？ ！ Meta提出了一种新方法AdaCache，能够加速DiT模型，而且是无需额外训练的那种（即插即用）。
英伟达团队机器训练新方法！仅5次演示让机器生成1000个新demo，李飞飞高徒与徒孙联手出品
人类只需要演示五次，就能让机器人学会一项复杂技能。 英伟达实验室，提出了机器人训练数据缺乏问题的新解决方案——DexMimicGen。 五次演示之后，DexMimicGen就可以直接模仿出1000个新的demo。
UCLA、MIT数学家推翻39年经典数学猜想！AI证明卡在99.99%，人类最终证伪
又一个看似坚固无比的数学理论，被证伪了！ 最近，UCLA和MIT的研究者证伪了概率论中众所周知的假设——「上下铺猜想」。 上下铺猜想（Bunkbed Conjecture）也称为双层床猜想，是渗透理论中的一个陈述，该领域处理的是在图的边随机删除后存在的路径和簇。
提升 1.5~20 倍吞吐量，字节豆包大模型团队与香港大学发布并开源全新 RLHF 框架
字节跳动豆包大模型团队与香港大学公开联合研究成果 —— HybridFlow。 官方宣称，HybridFlow（开源项目名：veRL）是一个灵活且高效的大模型 RL 训练框架，兼容多种训练和推理框架，支持灵活的模型部署和多种 RL 算法实现。 该框架采用混合编程模型，融合单控制器（Single-Controller）的灵活性和多控制器（Multi-Controller）的高效性，可更好实现和执行多种 RL 算法，显著提升训练吞吐量，降低开发和维护复杂度。
英伟达新 nGPT 架构撬动 AI 未来：超球面学习提效，训练模型时间可缩短至 1/20
科技媒体 dataconomy 昨日（10 月 21 日）发布博文，报道称英伟达在训练 AI 模型方面取得重大突破，发布了最新的 Normalized Transformer（nGPT）新架构，保持模型的稳定性和准确性的前提下，可以将训练 AI 时间缩短至 1/4 或者 1/20。nGPT 架构提升效率的秘诀在于“超球面学习”（Hyperspherical learning）这个概念。传统的变换器模型通常缺乏一致的几何框架，而 nGPT 通过将嵌入、注意力矩阵和隐藏状态等关键组件映射到超球面表面，确保模型各层在训练过程中保持平衡。
端到端优化所有能力，字节跳动提出强化学习LLM Agent框架AGILE
AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：[email protected]；[email protected]
重磅！TeleAI 完成首个全国产化万卡万参大模型训练
近日，中国电信人工智能研究院（TeleAI）成功完成国内首个基于全国产化万卡集群训练的万亿参数大模型（万卡万参），并正式对外开源首个基于全国产化万卡集群和国产深度学习框架训练的千亿参数大模型——星辰语义大模型 TeleChat2-115B。这是由中国电信集团 CTO、首席科学家、中国电信人工智能研究院（TeleAI）院长李学龙教授带领团队完成的又一项里程碑式的重要科研成果，标志着国产大模型训练真正实现全国产化替代，正式进入全国产自主创新、安全可控的新阶段。TeleChat2-115B 基于中国电信自研的天翼云“息壤