理论
o1 研发团队完整采访：Ilya早期曾参与，灵感源于AlphaGo
自从 OpenAI 的 o1 问世以来，它强大的推理能力就承包了 AI 圈近期的热搜。不需要专门训练，它就能直接拿下数学奥赛金牌，甚至可以在博士级别的科学问答环节上超越人类专家。展示 o1 实力的 demo，我们看了不少，评估 o1 表现的评测，全网比比皆是，关于 o1 技术路线的讨论也如火如荼，引发了广泛的关注和深入的思考。不过 o1 背后的故事，还鲜为人知，那些在幕后默默付出的团队成员们，他们的故事同样值得被讲述和铭记。刚刚，OpenAI 发布了 o1 研发团队的完整访谈，为我们揭秘了 o1 的「成长历程」。o
原子、分子、复合物级性质预测均最佳，清华分子预训练框架登Nature子刊
编辑 | KXAI 已广泛用于药物发现和材料设计中的分子筛选。当前的自监督分子预训练方法往往忽略了分子的基本化学特性和物理原理。为了解决这个问题，来自清华大学的研究人员提出了一种称为分数去噪（Fractional denoising，Frad）的分子预训练框架，以学习有效的分子表示。通过这种方式，噪声变得可自定义，允许纳入化学先验，从而大大改善分子分布建模。实验表明，Frad 始终优于现有方法，在力预测、量子化学特性和结合亲和力任务中，取得最先进的结果。改进的噪声设计提高了力准确性和采样覆盖范围，这有助于创建物理一
新型蛋白质大语言模型即将登陆Google Cloud
编辑 | KX9 月 17 日，领先的细胞编程和生物安全平台 Ginkgo Bioworks 公司宣布了两项新产品，将助力制药和生物技术公司更容易开发新药，这是在去年与 Google Cloud 宣布的合作伙伴关系的基础上推出的。与 Google Cloud 合作构建的蛋白质大型语言模型 (LLM)，是业内首创之一，它将使个人研究人员和企业公司能够利用 Ginkgo 私人数据的见解开发药物。其次，Ginkgo 正在推出其模型 API，这是一种强大的工具，旨在将生物 AI 模型直接带给机器学习科学家。该 API 现已
大语言模型如何助力药物开发? 哈佛团队最新综述
作者 | 莫纳什大学郑伊圳编辑 | ScienceAI大语言模型因其展现出类人般的推理、工具使用和问题解决能力而备受瞩目，此外，它在化学、生物学等专业领域也展现出深厚的理解能力，进一步提升了其应用价值。近日，哈佛大学、莫纳什大学和格里菲斯大学（Griffith University）组成的研究团队，发表最新综述《Large Language Models in Drug Discovery and Development: From Disease Mechanisms to Clinical Trials》。论文
昂贵LLM的救星？Nature新研究提出新型忆阻器，比Haswell CPU高效460倍
前些天，OpenAI 发布了 ο1 系列模型，它那「超越博士水平的」强大推理性能预示着其必将在人们的生产生活中大有作为。但它的使用成本也很高，以至于 OpenAI 不得不限制每位用户的使用量：每位用户每周仅能给 o1-preview 发送 30 条消息，给 o1-mini 发送 50 条消息。实在是少！为了降低 LLM 的使用成本，研究者们已经想出了各式各样的方法。有些方法的目标是提升模型的效率，比如对模型进行量化或蒸馏，但这种方法往往也伴随着模型性能的下降。另一种思路则是提升运行这些模型的硬件——英伟达正是这一路
「LLM」这个名字不好，Karpathy认为不准确、马斯克怒批太愚蠢
在 AI 领域，几乎每个人都在谈论大型语言模型，其英文全称为 Large Language Models，简写为 LLM。因为 LLM 中有「Language」一词，因此，大家默认这种技术和语言密切相关。然而，知名 AI 大牛 Andrej Karpathy 却对此有着独特的见解：「大型语言模型（LLM）名字虽然带有语言二字，但它们其实与语言关系不大，这只是历史问题，更确切的名字应该是自回归 Transformer 或者其他。LLM 更多是一种统计建模的通用技术，它们主要通过自回归 Transformer 来模拟
迈向「多面手」医疗大模型，上交大团队发布大规模指令微调数据、开源模型与全面基准测试
编辑 | ScienceAI近日，上海交通大学、上海 AI Lab、中国移动等机构的联合研究团队，在 arXiv 预印平台发布文章《Towards Evaluating and Building Versatile Large Language Models for Medicine》，从数据、测评、模型多个角度全面分析讨论了临床医学大语言模型应用。文中所涉及的所有数据和代码、模型均已开源。GitHub: Link: : ，大型语言模型（LLM）取得了显著的进展，并在医疗领域取得了一定成果。这些模型在医学多
明确了：文本数据中加点代码，训练出的大模型更强、更通用
代码知识原来这么重要。如今说起大语言模型（LLM），写代码能力恐怕是「君子六艺」必不可少的一项。在预训练数据集中包含代码，即使对于并非专门为代码设计的大模型来说，也已是必不可少的事。虽然从业者们普遍认为代码数据在通用 LLM 的性能中起着至关重要的作用，但分析代码对非代码任务的精确影响的工作却非常有限。在最近由 Cohere 等机构提交的一项工作中，研究者系统地研究了代码数据对通用大模型性能的影响。论文链接：「预训练中使用的代码数据对代码生成以外的各种下游任务有何影响」。作者对范围广泛的自然语言推理任务、世界知识任
Nature子刊，上智院、复旦、中国气象局研发次季节AI大模型「伏羲」，突破「可预报性沙漠」
编辑 | ScienceAI作者 | 伏羲团队国务院印发的《气象高质量发展纲要（2022—2035 年）》明确提出要「提前一个月预报重大天气过程」，而这离不开 15 天以上的次季节气候预测技术。次季节气候预测关注的是未来 15~60 天的气候异常，可以为农业、水利、能源等领域的生产安排提供重要支撑。相比时效在两周以内的中短期天气预报，次季节气候预测的不确定性更大。它不仅需要考虑初值问题，还要考虑边界强迫的影响，预测来源更为复杂，预测技巧也较少。因此，次季节气候预测一直被称为「可预报性沙漠」，由于其复杂性，甚至连 A
厦大团队材料预测迁移学习范式登Nature子刊，发现高性能催化剂
编辑 | KX传统的材料发现依赖反复试验或偶然发现，效率低下且成本高昂。AI 在发现新型催化剂方面潜力巨大。然而，受到算法的选择，以及数据质量和数量的影响。在此，来自厦门大学、深圳大学、武汉大学、南京航空航天大学和英国利物浦大学的研究团队开发了一种迁移学习范式，结合了预训练模型、集成学习和主动学习，能够预测未被发现的钙钛矿氧化物，并增强该反应的通用性。通过筛选 16,050 种成分，鉴定和合成了 36 种新的钙钛矿氧化物，其中包括 13 种纯钙钛矿结构。Pr0.1Sr0.9Co0.5Fe0.5O3（PSCF）和 P
FBI-LLM低比特基础大语言模型来了，首个完全从头训练的二值化语言模型
AIxiv专栏是AI在线发布学术、技术内容的栏目。过去数年，AI在线AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：[email protected]；[email protected]作者介绍：论文一作Liqun Ma目前是MBZUAI机器学习系的博士生，导师为Zhiqiang Shen助理教授，同时也是该论文的最后作者，其在加入MBZUAI之前为CMU博士后，研究领域
万字长文，腾讯、清华等多位生物大模型作者专访，畅谈AI生物学，解析大型细胞模型技术
编辑 | KX大型语言模型（LLM）在自然语言处理和理解领域已取得重大突破。在生物学领域，一些采用类似 LLM 结构的大型细胞模型（Large Cellular Model，LCM）被开发用于单细胞转录组学，比如：scBERT、Geneformer、scGPT、scFoundation 和 GeneCompass。这些模型展示了 LCM 在各种生物任务中的应用潜力，并说明了 LCM 彻底改变未来生物学研究的可能性。大型细胞模型的示意图。近日，《Quantitative Biology》期刊采访了一些最具影响力的 L
ChatGPT用于科学，如何与你的数据对话？LLM帮你做科研
编辑 | 白菜叶「计算机，分析。」在科幻小说中，人物不需要编程技能来从数据中提取有意义的信息，他们只是简单地提出要求而已。现在，越来越多的公司正尝试利用大型语言模型 (LLM) 将这一幻想变成现实。这些功能强大的人工智能（AI）工具让研究人员能够用自然语言询问数据问题，例如「对照组和实验组有什么区别？」。但与科幻小说中的人工智能不同，这些人工智能给出的答案仍然需要谨慎对待，并经过仔细检查才能安全使用。想想 ChatGPT 的数据。使用这些工具的原因很简单：筛选和确定生物数据的优先顺序是一项费力且具有挑战性的工作，需
为大模型提供全新科学复杂问答基准与测评体系，UNSW、阿贡、芝加哥大学等多家机构联合推出SciQAG框架
编辑 | ScienceAI问答（QA）数据集在推动自然语言处理（NLP）研究发挥着至关重要的作用。高质量QA数据集不仅可以用于微调模型，也可以有效评估大语言模型（LLM）的能力，尤其是针对科学知识的理解和推理能力。尽管当前已有许多科学QA数据集，涵盖了医学、化学、生物等领域，但这些数据集仍存在一些不足。其一，数据形式较为单一，大多数为多项选择题（multiple-choice questions），它们易于进行评估，但限制了模型的答案选择范围，无法充分测试模型的科学问题解答能力。相比之下，开放式问答(openQA
Llama分子嵌入优于GPT，LLM能理解分子吗？这一局Meta赢了OpenAI
编辑 | 萝卜皮OpenAI 的 GPT 和 Meta AI 的 Llama 等大型语言模型 （LLM），因其在化学信息学领域的潜力而日益受到认可，特别是在理解简化分子输入行输入系统（SMILES）方面。这些 LLM 还能够将 SMILES 字符串解码为矢量表示。加拿大温莎大学（University of Windsor）的研究人员比较了 GPT 和 Llama 与 SMILES 上的预训练模型在下游任务中嵌入 SMILES 字符串的性能，重点关注两个关键应用：分子特性预测和药物-药物相互作用预测。该研究以「Can
LeCun转发，首个半导体设计开源大模型SemiKong问世，重塑芯片制造流程
编辑 | ScienceAI终于，半导体设计行业有了专属的开源大模型！7 月 9 日，国外公司 Aitomatic 宣布推出「Semi Kong」，这是世界上首个专为半导体行业设计的开源 AI 大型语言模型（LLM）。SemiKong 在 2024 年 Semicon West 展会上亮相，旨在彻底改变半导体工艺和制造技术，并有可能在未来五年内重塑价值 5000 亿美元的半导体行业。图示：LeCun 在 X 转发了 SemiKong 内容。（来源：X）Yann LeCun 在 X 转发了这条激动人心的内容：「这是专
13瓦功耗处理10亿参数，接近大脑效率，消除LLM中的矩阵乘法来颠覆AI现状
编辑 | 萝卜皮通常，矩阵乘法 (MatMul) 在大型语言模型（LLM）总体计算成本中占据主导地位。随着 LLM 扩展到更大的嵌入维度和上下文长度，这方面的成本只会增加。加州大学、LuxiTech 和苏州大学的研究人员声称开发出一种新方法，通过消除过程中的矩阵乘法来更有效地运行人工智能语言模型。这从根本上重新设计了目前由 GPU 芯片加速的神经网络操作方式。研究人员描述了如何在不使用 MatMul 的情况下创建一个自定义的 27 亿参数模型，性能与当前最先进的 Transformer 模型相当。该研究以「Scal
巴西政府机构出手，禁止 Meta 公司使用用户数据训练生成式 AI 模型
感谢据美联社报道，巴西国家数据保护局当地时间周二（2 日）认定，拥有 Facebook、Instagram、WhatsApp 等平台的社交网络巨头 Meta 将不得使用来自巴西的数据来训练其生成式 AI 模型。Meta 近期更新了隐私政策，允许公司可将人们的公开帖子用于训练其模型。根据巴西国家数据保护局的公报，Meta 此举将会对受影响数据主体的基本权利造成严重的、不可挽回的或难以修复的损害，此次下达的禁令是“预防性措施”。巴西是 Meta 的最大市场之一。在该国 2.03 亿的总人口（IT之家注：数据来自 202