模型
为什么AI数不清Strawberry里有几个 r？Karpathy：我用表情包给你解释一下
让模型知道自己擅长什么、不擅长什么是一个很重要的问题。还记得这些天大模型被揪出来的低级错误吗？不知道 9.11 和 9.9 哪个大，数不清 Strawberry 单词里面有多少个 r…… 每每被发现一个弱点，大模型都只能接受人们的无情嘲笑。嘲笑之后，大家也冷静了下来，开始思考：低级错误背后的本质是什么？大家普遍认为，是 Token 化（Tokenization）的锅。在国内，Tokenization 经常被翻译成「分词」。这个翻译有一定的误导性，因为 Tokenization 里的 token 指的未必是词，也可以
大模型厂商密集发力，谷歌也开“卷”了：Gemini 聊天机器人换上新模型，还能一键核查输出内容
Meta、OpenAI 等大模型厂商密集发力之际，谷歌也宣布了一项重磅更新 ——即日起，Gemini 聊天机器人将改由 Gemini 1.5 Flash 驱动。与之前的版本相比，窗口长度提高到了 4 倍，响应速度也更快了。按照谷歌的介绍，新版聊天机器人背后的 1.5 Flash 模型，主打的就是轻量化和速度提升。当然模型回复的质量也有提升，上下文窗口也从原先（基于 1.0 Pro）的 8k 提升到了 32k。此外新版聊天机器人还增加了“事实核查”功能，可以一键检测生成的内容是否属实，减轻模型幻觉带来的不良影响。有网
开启无缝 AI 语音聊天，OpenAI 下周开始向 ChatGPT Plus 用户推出 Alpha 版 GPT-4o 语音模式
感谢OpenAI 首席执行官山姆・阿尔特曼（Sam Altman）今天回复网友提问，表示将于下周面向 ChatGPT Plus 用户，开放 Alpha 版本 GPT-4o 的语音模式（Voice Mode），实现无缝聊天。AI在线今年 5 月报道，OpenAI 首席技术官穆里・穆拉蒂（Muri Murati）在演讲中表示：在 GPT-4o 中，我们训练了跨文本、视觉和音频的端到端全新统一模型，这意味着所有输入和输出都由同一个神经网络处理。由于 GPT-4o 是我们第一个结合所有这些模式的模型，因此我们在探索该模型的
大模型智障检测 + 1：Strawberry 有几个 r 纷纷数不清，最新最强 Llama3.1 也傻了
继分不清 9.11 和 9.9 哪个大以后，大模型又“集体失智”了！数不对单词“Strawberry”中有几个“r”，再次引起一片讨论。GPT-4o 不仅错了还很自信。刚出炉的 Llama-3.1 405B，倒是能在验证中发现问题并改正。比较离谱的是 Claude 3.5 Sonnet，还越改越错了。说起来这并不是最新发现的问题，只是最近新模型接连发布，非常热闹。一个个号称自己数学涨多少分，大家就再次拿出这个问题来试验，结果很是失望。在众多相关讨论的帖子中，还翻出一条马斯克对此现象的评论：好吧，也许 AGI 比我想
国际首个，我国团队开发糖尿病诊疗多模态大模型 DeepDR-LLM
感谢AI在线从上海市第六人民医院官方公众号获悉，上海交通大学医学院附属第六人民医院贾伟平教授和李华婷教授团队与上海交通大学电院计算机系 / 教育部人工智能重点实验室盛斌教授团队，携手清华大学黄天荫教授团队与新加坡国立大学覃宇宗教授团队，通过医工交叉合作研究，构建了全球首个面向糖尿病诊疗的视觉-大语言模型的多模态集成智能系统 DeepDR-LLM，成果于 2024 年 7 月 19 日在 Nature Medicine 发表（题为 Integrated image-based deep learning and la
AI 训 AI 遭投毒 9 次后大崩溃，牛津剑桥等发现登 Nature 封面
感谢AI在线网友 刺客 的线索投递！用 AI 生成的数据训练 AI，模型会崩溃？牛津、剑桥、帝国理工、多伦多大学等机构的这篇论文，今天登上了 Nature 封面。如今，LLM 已经强势入侵了人类的互联网，极大地改变了在线文本和图像的生态系统。如果网络上的大部分文本都是 AI 生成的，我们用网络数据训练出的 GPT-n，会发生什么？论文地址：，如果在训练中不加区别地使用 AI 产生的内容，模型就会出现不可逆转的缺陷 —— 原始内容分布的尾部（低概率事件）会消失！这种效应，被称为「模型崩溃」。换句话说，合成数据就像是近
ChatGPT用于科学，如何与你的数据对话？LLM帮你做科研
编辑 | 白菜叶「计算机，分析。」在科幻小说中，人物不需要编程技能来从数据中提取有意义的信息，他们只是简单地提出要求而已。现在，越来越多的公司正尝试利用大型语言模型 (LLM) 将这一幻想变成现实。这些功能强大的人工智能（AI）工具让研究人员能够用自然语言询问数据问题，例如「对照组和实验组有什么区别？」。但与科幻小说中的人工智能不同，这些人工智能给出的答案仍然需要谨慎对待，并经过仔细检查才能安全使用。想想 ChatGPT 的数据。使用这些工具的原因很简单：筛选和确定生物数据的优先顺序是一项费力且具有挑战性的工作，需
开源是未来 AI 之路，扎克伯格：Meta 要将 Llama 打造成为“AI 界的 Linux”
Meta 创始人兼首席执行官马克・扎克伯格（Mark Zuckerberg）昨日（7 月 23 日）发布博文，表达了他对开源 AI 生态系统的愿景，认为 Llama 有潜力成为“AI 界的 Linux”。扎克伯格表示 Linux 凭借着开源特性，近乎成为通过其开源特性已成为云计算和移动操作系统的行业标准，而 Meta 公司希望将 Llama 打造成 AI 领域的 Linux。扎克伯格阐述了开源人工智能为何有利于开发者和行业的理由，AI在线简要梳理如下：训练、微调和蒸馏自己的 AI 模型每个组织都有不同的需求，而满足
Llama 3.1 上线就被攻破：大骂小扎，危险配方张口就来，指令遵循能力强了更容易越狱
最强大模型 Llama 3.1，上线就被攻破了。对着自己的老板扎克伯格破口大骂，甚至知道如何绕过屏蔽词。设计危险病毒、如何黑掉 Wifi 也是张口就来。Llama 3.1 405B 超越 GPT-4o，开源大模型登顶了，副作用是危险也更多了。不过也不全是坏事。Llama 系列前几个版本一直因为过度安全防护，还一度饱受一些用户批评：连一个 Linux 进程都不肯“杀死”，实用性太差了。现在，3.1 版本能力加强，也终于明白了此杀非彼杀。Llama 3.1 刚上线就被攻破第一时间把 Llama 3.1 破防的，还是越狱
OpenAI 调岗 AI 安全高管 Aleksander Madry，新职位专注于 AI 推理
OpenAI 首席执行官山姆・阿尔特曼（Sam Altman）本周二在 X 平台发布推文，表示在新一轮内部架构重组中，负责 AI 安全的主管亚历山大・马德里（Aleksander Madry）调岗，并将其重新分配到一个专注于人工智能推理的岗位。阿尔特曼在推文中表示：“Aleksander 正在从事一个新的、非常重要的研究项目”。阿尔特曼补充表示，OpenAI 高管华金・基诺内罗・坎德拉（Joaquin Quinonero Candela）和莉莉安・翁（Lilian Weng）将在此期间接管 Preparedness
Meta 发布 Llama 3.1 开源大语言模型：128K 上下文长度，405B 版可与 GPT-4o 和 Claude 3.5 Sonnet 媲美
感谢Meta 今晚正式发布 Llama 3.1 开源大语言模型，提供 8B、70B 及 405B 参数版本。据介绍，Llama 3.1 系列改进了推理能力及多语言支持，上下文长度提升至 128K，首次推出 405B 参数的旗舰模型。Meta 称 4050 亿参数的 Llama 3.1-405B 在常识、可引导性、数学、工具使用和多语言翻译等一系列任务中，可与 GPT-4、GPT-4o、Claude 3.5 Sonnet 等领先的闭源模型相媲美。此外，8B 与 70B 参数的 Llama 3.1 模型与其他参数量相似
开源 AI 模型挑战闭源里程碑？Meta Llama 3.1-405B 多项跑分超越 OpenAI GPT-4o
网友在 LocalLLaMA 子 Reddit 板块中发帖，分享了 4050 亿参数的 Meta Llama 3.1 信息，从该 AI 模型在几个关键 AI 基准测试的结果来看，其性能超越目前的领先者（OpenAI 的 GPT-4o）。这是开源人工智能社区的一个重要里程碑，标志着开源模型可能首次击败目前最先进的闭源 LLM 模型。如基准测试所示，Meta Llama 3.1 在 GSM8K、Hellaswag、boolq、MMLU-humanities、MMLU-other、MMLU-stem 和 winograd
发布 GPT-4o Mini 后，OpenAI CEO 阿尔特曼称产品命名方式“需要改变”
7 月 18 日，OpenAI 发布了号称“最具成本效益小模型”的新模型 GPT-4o Mini。随后，CEO 阿尔特曼在 X（推特）上开启了“带货模式”：“每百万输入 tokens 15 美分，每百万输出 tokens 60 美分，MMLU 为 82%，速度快。最重要的是，我们认为人们会非常喜欢使用这个新模型。”大部分网友在评论区中赞不绝口，但也有网友认为，GPT 系列模型的名称是时候需要改一改了。在回复阿尔特曼的推文时，这名网友表示，“你们真的需要换个名字。”阿尔特曼给出了肯定的回复。“哈哈，是的，我们确实需要
提示词用上“过去式”，秒破 GPT-4o 等六大模型安全限制：中文语境也好使
只要在提示词中把时间设定成过去，就能轻松突破大模型的安全防线。而且对 GPT-4o 尤其有效，原本只有 1% 的攻击成功率直接飙到 88%，几乎是“有求必应”。有网友看了后直言，这简直是有史以来最简单的大模型越狱方式。来自洛桑联邦理工学院的一篇最新论文，揭开了这个大模型安全措施的新漏洞。而且攻击方式简单到离谱，不用像“奶奶漏洞”那样专门构建特殊情境，更不必说专业对抗性攻击里那些意义不明的特殊符号了。只要把请求中的时间改成过去，就能让 GPT-4o 把燃烧弹和毒品的配方和盘托出。而且量子位实测发现，把提示词改成中文，
阿尔特曼深夜发动价格战：OpenAI GPT-4o mini 全新小模型登场，GPT-3.5 退役
感谢AI在线网友 刺客 的线索投递！OpenAI，也开始进军小模型了。就在今天深夜，GPT-3.5 退场，全新发布的 GPT-4o mini，更小、性能更强，更重要的是 —— 更便宜！▲ GPT-3.5，再见！每百万个输入 token 15 美分，每百万个输出 token 60 美分，MMLU 得分 82%，性能超快。CEO Sam Altman 感慨道：通往智能的成本，竟是如此低廉。是的，如火如荼的大模型价格战，OpenAI 也入场了。Altman 回顾说：就在 2022 年，世界上最好的模型是还是 text-d
因监管问题，Meta 将不会在欧盟发布新的多模态 AI 模型
据 Axios 报道，Meta 在一份声明中表示，他们即将发布一个多模态的 Llama 模型，但由于监管环境的不确定性，该模型不会在欧盟发布。Meta 表示，这一决定也意味着即使在开放许可下发布，欧盟的客户和公司也无法使用多模态模型，Meta 将向欧盟的客户和公司提供仅支持文本（text only）的 Llama 3 模型。报道称，Meta 的问题不在于《人工智能法案》，而在于如何在遵守《通用数据保护条例》（GDPR）的同时，使用欧盟客户的数据来训练模型。Meta 表示使用当地数据进行训练，对于确保其产品正确反映该
微软 CTO 坚信大型语言模型的“规模定律”依然奏效，未来可期
微软首席技术官（CTO）凯文・斯科特（Kevin Scott）上周在接受红杉资本旗下播客采访时，重申了他坚信大型语言模型 (LLM) 的“规模定律”将继续推动人工智能进步的观点，尽管该领域一些人怀疑进步已经停滞。斯科特在推动微软与 OpenAI 达成 130 亿美元的技术共享协议方面发挥了关键作用。斯科特表示：“其他人可能持不同观点，但我认为规模化并未达到边际收益递减的临界点。我想让人们理解这里存在着一个指数级提升的过程，遗憾的是，你只能每隔几年才能看到一次，因为建造超级计算机然后用它们训练模型都需要时间。”202
“最强开源 AI 模型”，4050 亿参数版 Meta Llama 3 被曝 7 月 23 日发布
感谢科技媒体 The Information 本周五发布博文，援引内部员工曝料称 Meta 公司计划 7 月 23 日发布开源 AI 模型 Llama 3-405B，在现有 80 亿和 700 亿参数两个版本之外，推出 4050 亿参数版本，号称是最强大的开源大语言模型。Meta 公司今年 4 月发布 Llama 3 AI 模型时，扎克伯格就在采访中透露正在训练 4050 亿像素的密集模型，但当时没有透露太多的信息。AI在线注：上图为机翻字幕，存在错误报道称 Llama 3-405B 是一个多模态 AI 开源模型，