大模型
俄罗斯科技巨头 Yandex 宣布开源“YaFSDP”大语言模型训练工具：大幅提升 GPU 利用率，对 Llama 3 可实现 26% 加速
俄罗斯科技巨头 Yandex 推出了一款开源的大语言模型训练工具 ——YaFSDP，号称与现有工具相比速度最高可提升 26%。据介绍，YaFSDP 在训练速度方面优于传统的 FSDP 方法，尤其适用于大型模型。在预训练 LLM 方面，YaFSDP 速度提高了 20%，并且在高内存压力条件下表现更佳。例如，YaFSDP 对具有 700 亿参数的 Llama 2 可以实现 21% 的效率提升，对具有同级参数的 Llama 3 也实现 了 26% 的效率提升。IT之家附官方数据一览：模型gpu-countseq-lenn
Yandex 开源 LLM 训练工具节省高达 20% 的 GPU 资源
跨国科技公司 Yandex 最近推出了 YaFSDP，这是一种用于训练大型语言模型 (LLM) 的开源方法。YaFSDP 是目前最有效的公开可用工具，用于增强 GPU 通信并减少 LLM 训练中的内存使用量，与 FSDP 相比，其训练速度提升最高可达 26%，具体取决于架构和参数数量。通过使用 YaFSDP 减少 LLM 的训练时间可以节省高达 20% 的 GPU 资源。Yandex 承诺为全球人工智能社区的发展做出贡献，将YaFSDP开源提供给全球的 LLM 开发人员和人工智能爱好者即是履行此承诺的其中一步。“目
预测准确率达95.7%，ChatMOF利用LLM预测和生成金属有机框架
编辑 | X金属有机框架（MOF）因其孔隙率大、表面积大和出色的可调性而用于许多化学应用。然而，在利用 AI 深入探索 MOF 设计与性能优化的研究征途中，科学家们正面临着前所未有的挑战。去年 3 月，韩国科学技术院（Korea Advanced Institute of Science and Technology，KAIST）的研究人员提出的 MOFTransformer 模型经过一百万个假设的 MOF 的预训练，在预测各种属性方面表现出色。近日，KAIST 团队提出了一种 AI 系统——ChatMOF，用于预
视觉语言模型导论：这篇论文能成为你进军VLM的第一步
近些年，语言建模领域进展非凡。Llama 或 ChatGPT 等许多大型语言模型（LLM）有能力解决多种不同的任务，它们也正在成为越来越常用的工具。这些模型之前基本都局限于文本输入，但现在也正在具备处理视觉输入的能力。如果能将视觉与语言打通，那么势必能造就多种多样的应用 —— 这实际上也正是当前 AI 技术革命的关键方向。即便现在已有不少研究将大型语言模型扩展到了视觉领域，但视觉与语言之间的连接尚未被彻底打通。举些例子，大多数模型都难以理解空间位置关系或计数 —— 这还需要复杂的工程设计并依赖额外的数据标注。许多视
夺冠！卓世AI斩获全球顶会AAMAS 2024 CE 竞赛冠军
近日，在全球瞩目的AAMAS 2024 Computational Economics Competition（计算经济学挑战赛）上，卓世科技人工智能前沿实验室团队“Zhuoshi Technology AI Cutting-edge Laboratory”一举夺得两个核心赛道的冠军和亚军，展现出其在计算经济学和人工智能领域的强大竞争力。冠军证书亚军证书AAMAS 2024 是第23届国际自主智能体和多智能体系统会议（International Conference on Autonomous Agents and
从LLM中完全消除矩阵乘法，效果出奇得好，10亿参数跑在FPGA上接近大脑功耗
让语言模型「轻装上阵」。一直以来，矩阵乘法（MatMul）稳居神经网络操作的主导地位，其中很大原因归结为 GPU 专门针对 MatMul 操作进行了优化。这种优化使得 AlexNet 在 ILSVRC2012 挑战赛中一举胜出，成为深度学习崛起的历史性标志。在这当中，有个值得注意的点是，AlexNet 利用 GPU 来提高训练速度，超越了 CPU 的能力，至此，GPU 的加入使得深度学习仿佛赢得了「硬件彩票」。尽管 MatMul 在深度学习中很流行，但不得不承认的是它占据了计算开销的主要部分，主要表现为 MatMu
两句话，让 LLM 逻辑推理瞬间崩溃！最新「爱丽丝梦游仙境」曝出 GPT、Claude 等重大缺陷
感谢IT之家网友 刺客 的线索投递！在基准测试上频频屠榜的大模型们，竟然被一道简单的逻辑推理题打得全军覆没？最近，研究机构 LAION 的几位作者共同发表了一篇文章，以「爱丽丝梦游仙境」为启发涉及了一系列简单的推理问题，揭示了 LLM 基准测试的盲区。一道简单的逻辑问题，竟让几乎所有的 LLM 全军覆没？对于人类来说，这个名为「爱丽丝梦游仙境」（AIW）的测试并不算很难 ——「爱丽丝有 N 个兄弟，她还有 M 个姐妹。爱丽丝的兄弟有多少个姐妹？」只需稍加思考，答案显而易见：M 1。（爱丽丝拥有的姐妹数量，再加上爱丽
成功率达 53%，研究显示 GPT-4 可自主利用“零日”漏洞攻破网站
据 NewAtlas 报道，研究人员利用自主协作的 GPT-4 机器人小组成功入侵了一半以上的测试网站，这些机器人可以自主协调行动并根据需要生成新的“帮手”。更令人吃惊的是，他们利用的是以前未知的、现实世界中从未公开的“零日”漏洞（zero-day vulnerabilities）。图源 Pexels早在几个月前，同一批研究人员就发表了一篇论文，声称他们能够使用 GPT-4 自动利用“N day”漏洞，即业界已知但尚未修复的漏洞。实验中，GPT-4 仅凭已知的常见漏洞和披露列表 (CVE)，就能自主利用其中 87%
价格战之后，智谱来到商业化的下一站
这次价格战的两股势力分别是互联网大厂和大模型创业公司，以字节、阿里云、腾讯和智谱为主要参战代表。 面对这场突如其来的价格战，大家讨论最多的是，创业公司很难承受得住这样的比拼。 相比互联网大厂底子厚、钱多，大模型创业公司跟大厂打价格战，风险很大，一些人认为「价格战」是大模型玩家的淘汰加速赛。
AI 摘要“幻觉”风波未平，谷歌 Gemini 聊天机器人又被曝“胡言乱语”
前段时间，谷歌搜索“AI 摘要”（AI Overviews）功能因其经常提供具有严重错误的搜索结果而备受诟病，导致官方亲自下场保证后续会进行修正。而如今，又有网友爆料称谷歌旗下的人工智能产品“抽了风”，这次问题出在 Gemini 聊天机器人。从北京时间昨夜至今日凌晨，有 Reddit 网友陆续发现，Gemini 生成的回复偶尔会充斥着杂乱无章的代码和外文字母 —— 这些结果对用户的查询毫无帮助。过去几天里，部分 Gemini 用户陆续发现自己遇到了这一奇怪问题：Gemini 会输出胡言乱语。这些回复可能是一连串的重
2024智源大会议程公开丨大语言模型
2024年6月14日-15日，第6届北京智源大会将以线下与线上结合的形式召开，线下会场设在中关村国家自主创新示范区会议中心。2024智源大会再次以全球视野，汇聚年度杰出工作研究者，交流新思想，探讨新思路，引领新前沿。目前已正式开放报名渠道。大语言模型 论坛丨6月14日下午近年来，大语言模型取得了重要的技术进展，成为了人工智能领域最受社会关注的研究方向之一，其应用范围逐渐覆盖了信息产业的多个领域。对其底层原理与训练方法的探索也成为了学术界与工业界的共同关注焦点。本次论坛针对大语言模型相关的基础问题展开相关探讨，主要包
1.8B参数，阿里云首个联合DNA、RNA、蛋白质的生物大模型，涵盖16.9W物种
编辑 | 萝卜皮不久之前，Google DeepMind 发布了 AlphaFold3，再次引发了人们对「AI 生命科学」的讨论。在学界，科学家的目标往往是先认识世界，然后在认识的基础上改造世界。但是在生命科学领域，人类对整个生命的理解与认识还如九牛一毛、冰山一角；建立对生命系统的多维度深刻认识是当前人类研究的重要一步，AI 是达成这一步的重要工具。近期，阿里云飞天实验室发布并开源了业界首个联合 DNA、RNA、蛋白质的生物大模型「LucaOne」。这是一种新型预训练基础模型，旨在综合学习遗传和蛋白质组语言，涵
ChatGPT 真能记住你的话吗？DeepMind 与开源大佬揭示 LLM 记忆之谜
【新智元导读】LLM 有记忆能力吗？有，也没有。虽然 ChatGPT 聊天时好像可以记住你之前说的话，但实际上，模型在推理时记不住任何内容，而且它们在训练时的记忆方式也不像我们想象的那么简单。Django 框架的创始人之一、著名开发者 Simon Willison 最近发表了一篇博客文章，核心观点是 —— 虽然很多 LLM 看起来有记忆，但本质上是无状态函数。文章地址： 和 FireFox 的联合创始人、JavaScript 发明者 Brendan Eich 也在推特上称赞这篇博客。似乎有记忆的 LLM从计算机科学
OpenAI 重启机器人团队，联合多方回归老赛道
感谢福布斯报道称，随着对人工智能机器人投资的升温，OpenAI 正式重启其先前放弃的机器人团队，OpenAI 随后确认了这一消息。OpenAI 成立初期，机器人技术就是其主攻方向之一，联合创始人沃伊切赫・扎伦巴领导的团队最初试图打造一个“通用机器人”。2019 年，十多位 OpenAI 研究人员联合发表了一篇论文，描述了他们如何训练神经网络使用单只机械手复原魔方，并声称这是朝着训练机器人系统执行各种日常任务迈出的基础性一步。但在 2020 年 10 月，OpenAI 放弃了这一努力，扎伦巴将此归咎于缺乏训练数据。过
阿里云 all in AI 的决心
如何抓住 AI 的机会？ 这是进入大模型时代后，面对新的起点，各大云厂商在不断思考的问题。 毋庸置疑，AI 与云已经成为紧密的拍档。
独家｜杨红霞创业入局“端侧模型”，投后估值 1.5 亿美元
近日，关于字节跳动大语言模型研发技术专家杨红霞离职创业的事情，坊间传得沸沸扬扬。 此前，杨红霞为大家所熟知的是，她曾是阿里达摩院万亿参数规模多模态预训练模型 M6 的技术负责人，参与过北京智源研究院主导的“悟道”大模型项目，而该项目是中国最早的大模型项目之一。 2007 年，杨红霞从南开大学本科毕业后，赴杜克大学攻读博士，师从著名统计学家 David Dunson，著有超过 100 篇杰出学术论文。
最强开源编程大模型一夜易主：Codestral 精通 80 + 语言，参数量仅 22B
开源代码大模型的王座，再次易主！来自素有“欧洲 OpenAI”之称的 Mistral，用 22B 参数量表现超越了 70B 的 Code Llama。模型名为 Codestral，将代码的英文 Code 与公司名结合而成。在 80 多种编程语言上进行过训练后，Codestral 用更少的参数实现了更高的性能，窗口长度也达到了 32k，相比之前一众 4k、8k 的模型大幅增加。而且已经有人表示，GPT-4o 和 Claude3-Opus 都失败的代码编辑任务，被 Codestral 成功解决了。于是有网友直言，Cod
Arena Elo 基准测试：谷歌 Gemini 1.5 Pro 性能媲美 OpenAI GPT-4o
谷歌在 I / O 2024 开发者大会上，宣布将 Gemini 1.5 Pro 上下文窗口增加至 200 万个 tokens，那么 Gemini 1.5 Pro 性能究竟有多强悍？根据 LMSYS Org 公布的总排行榜对比，通过 Arena Elo 系统的测量，Gemini-1.5-Pro-API-0514 和 Gemini-Advanced-0514 都接近 GPT-4o。上述两款模型在中文方面的表现也非常优秀，Gemini 1.5 Pro 在“hard prompts”类别中也非常接近。IT之家注：Aren