文章列表
俄罗斯科技巨头 Yandex 宣布开源“YaFSDP”大语言模型训练工具：大幅提升 GPU 利用率，对 Llama 3 可实现 26% 加速
俄罗斯科技巨头 Yandex 推出了一款开源的大语言模型训练工具 ——YaFSDP，号称与现有工具相比速度最高可提升 26%。据介绍，YaFSDP 在训练速度方面优于传统的 FSDP 方法，尤其适用于大型模型。在预训练 LLM 方面，YaFSDP 速度提高了 20%，并且在高内存压力条件下表现更佳。例如，YaFSDP 对具有 700 亿参数的 Llama 2 可以实现 21% 的效率提升，对具有同级参数的 Llama 3 也实现 了 26% 的效率提升。IT之家附官方数据一览：模型gpu-countseq-lenn
6/11/2024 6:03:24 PM
问舟
Yandex 开源 LLM 训练工具节省高达 20% 的 GPU 资源
跨国科技公司 Yandex 最近推出了 YaFSDP，这是一种用于训练大型语言模型 (LLM) 的开源方法。YaFSDP 是目前最有效的公开可用工具，用于增强 GPU 通信并减少 LLM 训练中的内存使用量，与 FSDP 相比，其训练速度提升最高可达 26%，具体取决于架构和参数数量。通过使用 YaFSDP 减少 LLM 的训练时间可以节省高达 20% 的 GPU 资源。Yandex 承诺为全球人工智能社区的发展做出贡献，将YaFSDP开源提供给全球的 LLM 开发人员和人工智能爱好者即是履行此承诺的其中一步。“目
6/11/2024 5:18:00 PM
新闻助手
预测准确率达95.7%，ChatMOF利用LLM预测和生成金属有机框架
编辑 | X金属有机框架（MOF）因其孔隙率大、表面积大和出色的可调性而用于许多化学应用。然而，在利用 AI 深入探索 MOF 设计与性能优化的研究征途中，科学家们正面临着前所未有的挑战。去年 3 月，韩国科学技术院（Korea Advanced Institute of Science and Technology，KAIST）的研究人员提出的 MOFTransformer 模型经过一百万个假设的 MOF 的预训练，在预测各种属性方面表现出色。近日，KAIST 团队提出了一种 AI 系统——ChatMOF，用于预
6/11/2024 5:09:00 PM
ScienceAI
视觉语言模型导论：这篇论文能成为你进军VLM的第一步
近些年，语言建模领域进展非凡。Llama 或 ChatGPT 等许多大型语言模型（LLM）有能力解决多种不同的任务，它们也正在成为越来越常用的工具。这些模型之前基本都局限于文本输入，但现在也正在具备处理视觉输入的能力。如果能将视觉与语言打通，那么势必能造就多种多样的应用 —— 这实际上也正是当前 AI 技术革命的关键方向。即便现在已有不少研究将大型语言模型扩展到了视觉领域，但视觉与语言之间的连接尚未被彻底打通。举些例子，大多数模型都难以理解空间位置关系或计数 —— 这还需要复杂的工程设计并依赖额外的数据标注。许多视
6/11/2024 2:45:00 PM
机器之心
夺冠！卓世AI斩获全球顶会AAMAS 2024 CE 竞赛冠军
近日，在全球瞩目的AAMAS 2024 Computational Economics Competition（计算经济学挑战赛）上，卓世科技人工智能前沿实验室团队“Zhuoshi Technology AI Cutting-edge Laboratory”一举夺得两个核心赛道的冠军和亚军，展现出其在计算经济学和人工智能领域的强大竞争力。冠军证书亚军证书AAMAS 2024 是第23届国际自主智能体和多智能体系统会议（International Conference on Autonomous Agents and
6/11/2024 2:41:00 PM
新闻助手
OpenAI 官宣新任首席财务官、首席产品官，并与苹果达成合作
感谢OpenAI 今日官宣聘请了两名高管，并与苹果建立合作伙伴关系。该公司在博客文章中宣布，Nextdoor 前首席执行官兼 Square 财务总监 Sarah Friar 将加入公司，担任首席财务官（CFO）。Friar 还是斯坦福大学数字经济实验室的联合主席。此外，Kevin Weil 加入 OpenAI 担任首席产品官（CPO）。他将领导一个产品团队，专注于将研究应用于消费者、开发者和企业的产品和服务。他曾经担任 Planet Labs 前总裁、Twitter 产品高级副总裁、Facebook 和 Insta
6/11/2024 12:10:18 PM
汪淼
Copilot Pro 订阅魅力下降，微软 7 月 10 日下线用户自建 GPT 服务
微软今天发布公告，宣布 Copilot Pro 服务将移除 GPT Builder，意味着订阅用户无法继续创建自己的 Copilot GPT。GPT Builder 也称为 Copilot GPT，订阅 Copilot Pro 的用户可以使用文档、外部或内部资源以及自定义指令创建自己的 Copilot GPT。Copilot Pro 是售价 20 美元的 Microsoft Copilot 订阅版本，具有一些附加功能，如 GPT 生成器和 Copilot 在 Word、Excel、PowerPoint 和 Outl
6/11/2024 10:18:46 AM
故渊
不只 ChatGPT，苹果希望将谷歌 Gemini 等其他 AI 模型也添加到 iOS 18 中
在宣布与 OpenAI 旗下的 ChatGPT 达成合作后，苹果软件工程高级副总裁 Craig Fedrighi 在 WWDC24 开发者大会上确认了与其它第三方模型合作的计划。Fedrighi 在主题演讲后的采访中透露：“我们期待在未来与其它 AI 模型集成，例如谷歌的 Gemini。”OpenAI 的 ChatGPT 将在今年晚些时候成为第一个集成至苹果系统的 AI 模型。Fedrighi 特别提到，苹果希望最终让用户在不同的 AI 大模型之间进行选择，从而与 Apple Intelligence 一起使用。而
6/11/2024 7:27:33 AM
汪淼
Karpathy最新四小时视频教程：从零复现GPT-2，通宵运行即搞定
这是Karpathy「Neural Networks：zero to hero」系列视频的最新内容。AI 大牛 Andrej Karpathy 又「上新」了，这次一口气放出了长达四个小时的视频。视频主题为「让我们来复现 GPT-2（1.24 亿参数）」。Karpathy 表示，此次视频之所以这么长，是因为它很全面：从空文件开始，最后得到一个 GPT-2（124M）模型。具体实现步骤包括如下：首先构建 GPT-2 网络。然后对其进行优化，以便快速训练。然后通过参考 GPT-2 和 GPT-3 论文来设置训练运行优化和
6/11/2024 12:57:00 AM
机器之心
从LLM中完全消除矩阵乘法，效果出奇得好，10亿参数跑在FPGA上接近大脑功耗
让语言模型「轻装上阵」。一直以来，矩阵乘法（MatMul）稳居神经网络操作的主导地位，其中很大原因归结为 GPU 专门针对 MatMul 操作进行了优化。这种优化使得 AlexNet 在 ILSVRC2012 挑战赛中一举胜出，成为深度学习崛起的历史性标志。在这当中，有个值得注意的点是，AlexNet 利用 GPU 来提高训练速度，超越了 CPU 的能力，至此，GPU 的加入使得深度学习仿佛赢得了「硬件彩票」。尽管 MatMul 在深度学习中很流行，但不得不承认的是它占据了计算开销的主要部分，主要表现为 MatMu
6/11/2024 12:42:00 AM
机器之心
深度解析！Midjourney 三大常用参数 --s/c/w 的区别与使用技巧
大家好，这里是和你们一起探索 AI 的花生~
之前为大家推荐了很多期 midjourney 提示词，然后有小伙伴问我推荐的提示词后跟着的参数，比如 --s 250、--c 6 等，是随便添加的还是有意识地用它们控制出图效果；如果是有意识的，又是如何确定使用哪一项参数和具体数值的。那今天就专门开一篇文章，为大家详细介绍一下 Midjourney 的三大常用参数 stylize、chaos 和 werid 的区别以及使用技巧 (本文中仅讨论仅限于目前最新的 v6 版本) 。
相关推荐：一、--Stylize 风格化
S
6/11/2024 12:07:30 AM
夏花生
两句话，让 LLM 逻辑推理瞬间崩溃！最新「爱丽丝梦游仙境」曝出 GPT、Claude 等重大缺陷
感谢IT之家网友 刺客 的线索投递！在基准测试上频频屠榜的大模型们，竟然被一道简单的逻辑推理题打得全军覆没？最近，研究机构 LAION 的几位作者共同发表了一篇文章，以「爱丽丝梦游仙境」为启发涉及了一系列简单的推理问题，揭示了 LLM 基准测试的盲区。一道简单的逻辑问题，竟让几乎所有的 LLM 全军覆没？对于人类来说，这个名为「爱丽丝梦游仙境」（AIW）的测试并不算很难 ——「爱丽丝有 N 个兄弟，她还有 M 个姐妹。爱丽丝的兄弟有多少个姐妹？」只需稍加思考，答案显而易见：M 1。（爱丽丝拥有的姐妹数量，再加上爱丽
6/10/2024 5:42:53 PM
浩渺
语音克隆技术引发担忧，OpenAI 再次解释其文本转语音工具
OpenAI 在几个月内第二次就其文本转语音工具进行解释，并再次强调该工具目前并未大范围开放，且未来也可能不会。图源 Pexels“无论我们最终是否会大规模部署这项技术，让世界各地的人们理解这项技术的发展方向都非常重要，”OpenAI 公司周五在其网站上发布的一份声明中表示，“这就是为什么我们想要解释模型的运作方式、我们如何将其用于研究和教育，以及我们如何围绕该技术实施安全措施的原因。”据IT之家了解，去年年底，OpenAI 与一小部分外部用户分享了其“语音引擎”。该引擎利用文本输入和 15 秒的人声音频剪辑，即可
6/10/2024 9:57:21 AM
远洋
OpenAI 旧金山办公室被指神秘兮兮，便衣保安引周边商户不安
位于旧金山的 OpenAI 人工智能公司因其办公室的安保措施引起周边商户的不安。据《旧金山标准报》报道，该公司办公室里到处都是便衣保安，他们对来自邻居的询问守口如瓶，这种神秘兮兮的气氛让周边商户感到不安。《旧金山标准报》的摄影记者最近注意到，OpenAI 办公楼外有可疑人员站岗，身着黑色棒球帽、太阳镜，并隐蔽地佩戴着耳机，看起来像是便衣保安。附近 In-Symmetry Spa 美容院的老板坎达斯・科姆斯 (Candace Combs) 称，她曾询问过这些可疑人员的工作单位和所在的公司，但他们都拒绝透露任何信息。据
6/10/2024 9:33:41 AM
远洋
成功率达 53%，研究显示 GPT-4 可自主利用“零日”漏洞攻破网站
据 NewAtlas 报道，研究人员利用自主协作的 GPT-4 机器人小组成功入侵了一半以上的测试网站，这些机器人可以自主协调行动并根据需要生成新的“帮手”。更令人吃惊的是，他们利用的是以前未知的、现实世界中从未公开的“零日”漏洞（zero-day vulnerabilities）。图源 Pexels早在几个月前，同一批研究人员就发表了一篇论文，声称他们能够使用 GPT-4 自动利用“N day”漏洞，即业界已知但尚未修复的漏洞。实验中，GPT-4 仅凭已知的常见漏洞和披露列表 (CVE)，就能自主利用其中 87%
6/9/2024 1:05:35 PM
远洋
Ilya参与，OpenAI给GPT-4搞可解释，提取了1600万个特征，还能看它怎么想
大模型也可解释了？大模型都在想什么？OpenAI 找到了一种办法，能给 GPT-4 做「扫描」，告诉你 AI 的思路，而且还把这种方法开源了。大语言模型（LLM）是当前 AI 领域最热门的探索方向，吸引了大量的关注和研究投入。它们强大的语言理解能力和生成能力在各种应用场景中都表现出巨大潜力。虽然我们见证了大模型迭代后性能上的显著提升，但我们目前对模型中的神经活动仍然只是一知半解。本周四，OpenAI 分享了一种查找大量「特征」的全新方法 —— 或许这会成为可解释的一种可用方向。OpenAI 表示，新方法比此前的一些
6/7/2024 2:22:00 PM
机器之心
价格战之后，智谱来到商业化的下一站
这次价格战的两股势力分别是互联网大厂和大模型创业公司，以字节、阿里云、腾讯和智谱为主要参战代表。 面对这场突如其来的价格战，大家讨论最多的是，创业公司很难承受得住这样的比拼。 相比互联网大厂底子厚、钱多，大模型创业公司跟大厂打价格战，风险很大，一些人认为「价格战」是大模型玩家的淘汰加速赛。
6/7/2024 11:05:00 AM
张进
自研才是王道：Siri 联合创始人称苹果与 OpenAI 合作只是权宜之计
据报道，苹果公司正与 OpenAI 合作，将生成式人工智能功能引入 Siri。然而，Siri 的联合创始人 Dag Kittlaus 预测，这可能仅仅是权宜之计，苹果正在研发并改进自家的聊天机器人技术。IT之家注意到，彭博社本月初报道了苹果与 OpenAI 的合作。该报道称，苹果正在与 OpenAI 达成协议，将在今年将其部分技术引入 iPhone。通过此项协议，苹果将能够在 iOS 18 的人工智能功能中提供由 ChatGPT 支持的“流行聊天机器人”。据彭博社称，苹果签署这项协议是为了在 iOS 18 更新中快
6/6/2024 8:31:42 AM
远洋