AIGC宇宙 AIGC宇宙

Raschka

DeepSeek-R1之后推理模型发展如何？Raschka长文梳理后R1时代14篇重要论文

DeepSeek-R1之后推理模型发展如何？Raschka长文梳理后R1时代14篇重要论文
近日，Deepseek R1 等一系列推理大语言模型已成为 2025 年最热门的话题之一。 在过去的几周里，研究人员推出了许多改进推理的新策略，包括扩展简单测试 - 时间规模化（S1）、关联思维链（Chain of Associated thoughts）、Inner Transformer 等方法。 不仅如此，还有来自腾讯实验室的研究人员探索了 Thoughts Are All Over the Place，通过衡量不正确答案中的 token 效率来鼓励模型对每条推理路径进行更深入的探索；来自美国马里兰大学和橡树岭国家实验室等机构联合提出了 Recurrent Block，通过重复调用同一个循环体的方式，在推理阶段可以迭代任意多次；以及来自美国 Zoom 视频通讯公司的研究团队提出了 Chain of Draft（CoD），基于更接近人类推理的提示策略提出了草稿图，这是一种优先考虑效率和推理的提示词策略。
4/1/2025 4:14:00 PM
机器之心
《Python 机器学习》作者新作：从头开始构建大型语言模型，代码已开源

《Python 机器学习》作者新作：从头开始构建大型语言模型，代码已开源
自 ChatGPT 发布以来，大型语言模型（LLM）已经成为推动人工智能发展的关键技术。近期，机器学习和 AI 研究员、畅销书《Python 机器学习》作者 Sebastian Raschka 又写了一本新书 ——《Build a Large Language Model (From Scratch)》，旨在讲解从头开始构建大型语言模型的整个过程，包括如何创建、训练和调整大型语言模型。最近，Sebastian Raschka 在 GitHub 上开源了这本新书对应的代码库。项目地址： LLM 来说，指令微调能够有效
6/24/2024 10:53:00 AM
机器之心
  • 1