AIGC宇宙 AIGC宇宙

大模型

LLM为何频频翻车算术题？研究追踪单个神经元，「大脑短路」才是根源

LLM为何频频翻车算术题？研究追踪单个神经元，「大脑短路」才是根源
由于缺少对运行逻辑的解释，大模型一向被人称为「黑箱」，但近来的不少研究已能够在单个神经元层面上解释大模型的运行机制。 例如Claude在2023年发表的一项研究，将大模型中大约500个神经元分解成约4000个可解释特征。 而10月28日的一项研究，以算术推理作为典型任务，借鉴类似的研究方法，确定了大模型中的一个模型子集，能解释模型大部分的基本算术逻辑行为。
11/19/2024 12:53:50 PM
新智元
AlphaFold3级性能、开源、可商用，MIT团队推出生物分子预测模型Boltz-1

AlphaFold3级性能、开源、可商用，MIT团队推出生物分子预测模型Boltz-1
图示：来自测试集的靶标上的 Boltz-1 的示例预测。 （来源：论文）编辑 | 萝卜皮2024 年 11 月 18 日，麻省理工学院（MIT）的研究人员宣布推出 Boltz-1，这是一个开源模型，旨在准确模拟复杂的生物分子相互作用。 Boltz-1 是第一个完全商业化的开源模型，在预测生物分子复合物的 3D 结构方面达到 AlphaFold3 级精度。
11/19/2024 11:59:00 AM
ScienceAI
提升人工智能性能的三种关键的LLM压缩策略

提升人工智能性能的三种关键的LLM压缩策略
译者 | 布加迪审校 | 重楼在当今快节奏的数字环境中，依赖人工智能的企业面临着新的挑战：运行人工智能模型的延迟、内存使用和计算能力成本。 随着人工智能快速发展，幕后推动这些创新的模型变得越来越复杂、资源密集。 虽然这些大模型在处理各种任务中取得了出色的性能，但它们通常伴随着很高的计算和内存需求。
11/19/2024 8:08:16 AM
布加迪
谷歌又捣鼓出好东西！有了这款AI学习神器，考试起码多考50分

谷歌又捣鼓出好东西！有了这款AI学习神器，考试起码多考50分
AI好好用报道编辑：杨文谷歌AI版「十万个为什么」，让学习不再是「苦差事」。 谷歌真的藏了不少好东西！ 继火遍全网的 NotebookLM 后，谷歌又「献」出了另一款实用型工具 ——Learn About！
11/18/2024 5:09:00 PM
AI好好用
谷歌 Gemini AI 被曝给出离谱回应：让用户“去死”

谷歌 Gemini AI 被曝给出离谱回应：让用户“去死”
一位 Reddit 用户上周在 r / artificial 版块中发帖称，谷歌的人工智能模型 Gemini 在一次互动中，竟直接对用户（或者是整个人类）发出了“去死”的威胁。
11/18/2024 5:07:22 PM
远洋
Grok 3证明黎曼猜想，训练遭灾难性事件？数学家称不夸张，两年内AI将解出千禧年难题

Grok 3证明黎曼猜想，训练遭灾难性事件？数学家称不夸张，两年内AI将解出千禧年难题
黎曼猜想，竟被Grok 3「证明」了？ 为此，xAI暂停了Grok 3的训练来验证它的证明，如果结果是正确的，将会完全终止模型的训练。 xAI工程师Hieu Pham在社交媒体的最新「爆料」，成为AI圈最火爆的话题。
11/18/2024 2:10:00 PM
新智元
视频大模型无损提速：删除多余token，训练时间减少30%，帧率越高效果越好 | NeurIPS

视频大模型无损提速：删除多余token，训练时间减少30%，帧率越高效果越好 | NeurIPS
把连续相同的图像块合并成一个token，就能让Transformer的视频处理速度大幅提升。 卡内基梅隆大学提出了视频大模型加速方法Run-Length Tokenization（RLT），被NeurIPS 2024选为Spotlight论文。 在精度几乎没有损失的前提下，RLT可以让模型训练和推理速度双双提升。
11/18/2024 11:20:00 AM
量子位
Nature:「人类亲吻难题」彻底难倒LLM，所有大模型全部失败！LLM根本不会推理，只是工具

Nature:「人类亲吻难题」彻底难倒LLM，所有大模型全部失败！LLM根本不会推理，只是工具
LLM究竟是否拥有类似人类的符合理解和推理能力呢？ 许多认知科学家和机器学习研究人员，都会认为，LLM表现出类人（或「接近类人」）的语言能力。 然而，来自帕维亚大学、柏林洪堡大学、得克萨斯大学休斯顿健康科学中心、纽约大学、巴塞罗那自治大学的研究者却提供了一些最全面的证据，表明目前它们基本没有！
11/18/2024 9:30:00 AM
新智元
大模型时代下的私有数据安全与利用

大模型时代下的私有数据安全与利用
一、大模型时代下的数据安全与利用问题众所周知，大模型是当前研究的热点之一，且已成为当前发展的主流趋势。 我们团队最近的研究方向从传统的联邦学习转变为探索这一范式在大模型时代的新拓展，即基于知识迁移的联邦学习。 我们认为在大模型时代，这种新的联邦学习模式非常适用。
11/18/2024 8:13:30 AM
邹恬圆
在AI和LLM架构中实现零信任：安全且负责任的AI系统实践指南

在AI和LLM架构中实现零信任：安全且负责任的AI系统实践指南
在AI和大型语言模型快速发展的背景下，安全不能再被视为事后的考虑。 随着这些技术成为企业运营不可或缺的一部分，实施强有力的安全措施至关重要，然而，AI的安全超越了传统的网络安全实践——它还必须涵盖伦理考量和负责任的AI原则。 本指南为IT从业人员和决策者提供了一种在AI和LLM架构中应用零信任原则的综合方法，强调从基础层面融入伦理考量。
11/15/2024 4:39:35 PM
Vaibhav Malik
大模型容易忽视的安全，火山方舟早就「刻」进了基因

大模型容易忽视的安全，火山方舟早就「刻」进了基因
大模型时代，企业使用云上模型的痛点有哪些？ 你可能会说模型不够精准，又或者成本太高，但这些随着AI技术的快速发展，在不远的将来或许都不再是问题。 比如成本，自豆包大模型首次将价格带进“厘”时代以来，行业纷纷跟进，企业客户从此不再为使用模型的成本过度高昂而烦扰。
11/15/2024 4:03:00 PM
代聪飞
谷歌 Gemini 发布苹果 iOS 版 App：集成灵动岛，支持 AI 语音聊天

谷歌 Gemini 发布苹果 iOS 版 App：集成灵动岛，支持 AI 语音聊天
谷歌本周为 iPhone 用户推出了专用的 Gemini AI 应用，突破了之前仅限于谷歌主应用的有限集成。相比此前的非独立版本，新 App 不仅增强了功能，还拥有 iOS 专属的灵动岛集成功能。
11/14/2024 10:51:37 PM
清源
简单了解大模型（LLM）智能体，传统软件工程思维依然适用

简单了解大模型（LLM）智能体，传统软件工程思维依然适用
说到大模型应用的理想态，我相信很多人都可以想到《钢铁侠》里面的贾维斯，可以根据环境、天气、对手火力等情况，给钢铁侠提供决策指导或者自主决策。 大模型Agent就是人们希望借助大模型实现的类似于贾维斯一样智能助手能力，它具备环境感知能力、自主理解、决策制定以及行动执行的能力。 在实现Agent架构过程中，有很多思维方式和传统软件工程思维是相似的。
11/14/2024 10:48:37 AM
春哥大魔王
关于战略人工智能的深度综述

关于战略人工智能的深度综述
译者 | 朱先忠审校 | 重楼本文将全面探索战略性人工智能的概念、发展及相关博弈论理论，并对战略人工智能的未来发展方向提出建议。 开场白1997年5月11日，纽约市。 这是纽约市一个美丽的春日，天空晴朗，气温攀升至20摄氏度。
11/14/2024 8:22:34 AM
朱先忠
今日最热论文：Scaling Law后继乏力，量化也不管用，AI大佬齐刷刷附议

今日最热论文：Scaling Law后继乏力，量化也不管用，AI大佬齐刷刷附议
几十万人关注，一发表即被行业大佬评为“这是很长时间以来最重要的论文”。 哈佛、斯坦福、MIT等团队的一项研究表明：训练的token越多，需要的精度就越高。 例如，Llama-3在不同数据量下（圆形8B、三角形70B、星星405B），随着数据集大小的增加，计算最优的精度也会增加。
11/13/2024 3:00:42 PM
如何使用Hugging Face Transformers微调F5以回答问题？

如何使用Hugging Face Transformers微调F5以回答问题？
译者 | 布加迪审校 | 重楼使用Hugging Face Transformers对T5模型进行微调以处理问题回答任务很简单：只需为模型提供问题和上下文，它就能学会生成正确的答案。 T5是一个功能强大的模型，旨在帮助计算机理解和生成人类语言。 T5的全称是“文本到文本转换器”。
11/13/2024 8:34:32 AM
布加迪
Ilya认错，Scaling Law崩了？自曝SSI秘密技术路线取代OpenAI

Ilya认错，Scaling Law崩了？自曝SSI秘密技术路线取代OpenAI
昨天，The Information爆料，传统的大模型Scaling Law已经撞墙，OpenAI下一代旗舰Orion遭遇瓶颈。 就在刚刚，路透社也发文表示，由于当前方法受到限制，OpenAI和其他公司正在寻求通向更智能AI的新途径。 有趣的是，昨天拱火的The Information，今天又急忙发出一篇文章来灭火。
11/12/2024 1:07:44 PM
新智元
在家中完成LLM微调高效指南（上）

在家中完成LLM微调高效指南（上）
编辑 | 言征出品 | 51CTO技术栈（微信号：blog51cto）LLM在生成文本和理解信息方面非常有效，但它们最终受限于训练数据的语料库。 例如，如果你让一个通用的预训练模型回答与你的业务特定流程或操作有关的问题，最好的结果是它拒绝，最坏的情况是它会信誓旦旦地给出一个看似合理但错误的答案。 当然，你可以通过自己训练一个模型来解决这个问题，但所需的资源往往超出实际可行的范围。
11/11/2024 1:33:28 PM
言征