chatgpt
RLHF不够用了，OpenAI设计出了新的奖励机制
OpenAI 的新奖励机制，让大模型更听话了。自大模型兴起以来，使用强化学习从人类反馈（RLHF）中微调语言模型一直是确保 AI 准确遵循指令的首选方法。为了确保 AI 系统安全运行并与人类价值观保持一致，我们需要定义期望行为并收集人类反馈来训练「奖励模型」。这种模型通过发出期望的动作来指导 AI。但是，收集这些常规和重复任务的人类反馈通常效率不高。此外，如果安全政策发生变化，已经收集的反馈可能会过时，需要新的数据。我们能否构建一种新的机制来完成这些任务？近日，OpenAI 公布了一种教导 AI 模型遵守安全政策的
OpenAI 调岗 AI 安全高管 Aleksander Madry，新职位专注于 AI 推理
OpenAI 首席执行官山姆・阿尔特曼（Sam Altman）本周二在 X 平台发布推文，表示在新一轮内部架构重组中，负责 AI 安全的主管亚历山大・马德里（Aleksander Madry）调岗，并将其重新分配到一个专注于人工智能推理的岗位。阿尔特曼在推文中表示：“Aleksander 正在从事一个新的、非常重要的研究项目”。阿尔特曼补充表示，OpenAI 高管华金・基诺内罗・坎德拉（Joaquin Quinonero Candela）和莉莉安・翁（Lilian Weng）将在此期间接管 Preparedness
发布 GPT-4o Mini 后，OpenAI CEO 阿尔特曼称产品命名方式“需要改变”
7 月 18 日，OpenAI 发布了号称“最具成本效益小模型”的新模型 GPT-4o Mini。随后，CEO 阿尔特曼在 X（推特）上开启了“带货模式”：“每百万输入 tokens 15 美分，每百万输出 tokens 60 美分，MMLU 为 82%，速度快。最重要的是，我们认为人们会非常喜欢使用这个新模型。”大部分网友在评论区中赞不绝口，但也有网友认为，GPT 系列模型的名称是时候需要改一改了。在回复阿尔特曼的推文时，这名网友表示，“你们真的需要换个名字。”阿尔特曼给出了肯定的回复。“哈哈，是的，我们确实需要
巨头人才之战热度升级：xAI 创立未足年，创始工程师 Kosic 离职重返老东家 OpenAI
2024 年 AI 人才争夺战硝烟弥漫战况升级，马斯克与 OpenAI 纠葛不断再结新梁子，就在 xAI 完成巨额融资前，核心成员 Kosic 竟重返 OpenAI。2024 年作为 AI 应用元年，整个行业迎来「黄金时代」。随着 AI 军备竞赛的正式打响，如果说有什么比 H100 更令大佬们心动的，那便是顶尖 AI 人才。扎克伯格和谢尔盖・布林和马斯克等大佬纷纷亲自下场参与 AI 人才争夺战，开百万年薪，享股票期权。Meta 首席执行官扎克伯格亲自撰写电子邮件，试图从谷歌的 AI 团队 Deep Mind 招募
OpenAI 终于发布 GPT-4o mini，但比中国大模型晚了半年
美国时间 7 月18 日，OpenAI 正式发布了多模态小模型 GPT-4o mini，在海内外引起了广泛关注。 此前，OpenAI 凭借 GPT-3 开拓了 AI 模型的“暴力美学”时代，同时也以训练超大参数规模的模型能力建立起 AGI 同赛道的护城河。 但在其推出 GPT-4o 的“Mini”版本之后，OpenAI 似乎走向了原有优势的反方向，开始卷“小模型”，而值得注意的是：在 Mini 这条路上，欧洲与中国的大模型团队已经率先研究了大半年。
GPT-4o Mini深夜突发：即刻免费上线，API降价60%
大模型向小了。还没「休息」几天，AI 大模型再次卷起来了。刚刚，OpenAI 突然宣布了「Mini」版本的 GPT-4o 模型。该公司表示，新的轻量级版本旨在让更多公司和项目能够获得最先进的技术。这款名为 GPT-4o mini 的新模型立即上线，它在 MMLU 上的得分为 82%，目前在 LMSYS 排行榜的聊天方面分数优于 GPT-4。除了立即在 ChatGPT 免费版、付费版上可用以外，GPT-4o mini 的商用价格是每百万输入 token 15 美分，每百万输出 token 60 美分 —— 比之前的
提示词用上“过去式”，秒破 GPT-4o 等六大模型安全限制：中文语境也好使
只要在提示词中把时间设定成过去，就能轻松突破大模型的安全防线。而且对 GPT-4o 尤其有效，原本只有 1% 的攻击成功率直接飙到 88%，几乎是“有求必应”。有网友看了后直言，这简直是有史以来最简单的大模型越狱方式。来自洛桑联邦理工学院的一篇最新论文，揭开了这个大模型安全措施的新漏洞。而且攻击方式简单到离谱，不用像“奶奶漏洞”那样专门构建特殊情境，更不必说专业对抗性攻击里那些意义不明的特殊符号了。只要把请求中的时间改成过去，就能让 GPT-4o 把燃烧弹和毒品的配方和盘托出。而且量子位实测发现，把提示词改成中文，
GPT-4o mini一手测评：懂得不多，但答得极快
GPT-4o mini主打一个字「快」。昨晚，OpenAI 突然上线新模型 GPT-4o mini， 声称要全面取代 GPT-3.5 Turbo。在性能方面，GPT-4o mini 在 MMLU 上的得分为 82%，在 LMSYS 排行榜的聊天方面分数优于 GPT-4。在价格方面，GPT-4o mini 比之前的 SOTA 模型便宜一个数量级，商用价格是每百万输入 token 15 美分，每百万输出 token 60 美分，比 GPT-3.5 Turbo 便宜 60% 以上。OpenAI 表示，ChatGPT 的免
Anthropic 联设 1 亿美元 AI 初创基金；OpenAI推出“小”模型GPT-4o Mini；通义千问大模型技术骨干周畅将离职创业丨AI情报局
今日融资快报Anthropic 联手硅谷风险投资公司 Menlo Ventures 设立 1 亿美元 AI 初创基金Menlo Ventures 是 Anthropic 的重要投资者之一，双方合作推出了名为 Anthology Fund 的 1 亿美元人工智能初创基金，旨在投资于人工智能领域的种子前、种子和 A 轮公司。 该基金将为初创企业提供从 10 万美元起步的投资，并提供 25 万美元的信用额度以使用 Anthropic 的模型。 Menlo 将利用其自家的机器学习工具来评估和排名申请，并承诺对表现出色的公司进行后续融资的支持。
阿尔特曼深夜发动价格战：OpenAI GPT-4o mini 全新小模型登场，GPT-3.5 退役
感谢AI在线网友 刺客 的线索投递！OpenAI，也开始进军小模型了。就在今天深夜，GPT-3.5 退场，全新发布的 GPT-4o mini，更小、性能更强，更重要的是 —— 更便宜！▲ GPT-3.5，再见！每百万个输入 token 15 美分，每百万个输出 token 60 美分，MMLU 得分 82%，性能超快。CEO Sam Altman 感慨道：通往智能的成本，竟是如此低廉。是的，如火如荼的大模型价格战，OpenAI 也入场了。Altman 回顾说：就在 2022 年，世界上最好的模型是还是 text-d
OpenAI 推出 AI 模型 GPT-4o mini，号称功能最强、成本效益最高的小模型
感谢据 CNBC 报道，OpenAI 今天发布了全新的 AI 模型“GPT-4o mini”，这是 OpenAI 为扩大其聊天机器人的使用范围所做的最新努力。OpenAI 方面称，此次新发布的产品将是“目前功能最强大、成本效益最高的小型模型”，并计划晚些时候将图像、视频和音频能力整合到该模型中。GPT-4o mini 同样也是 OpenAI 推动“多模态”（multimodality）技术发展的一部分，“多模态”是指在一个工具中提供多种类型的人工智能生成媒体，如文本、图像、音频和视频。据悉，GPT-4o mini
OpenAI超级对齐团队遗作：两个大模型博弈一番，输出更好懂了
如果 AI 模型给的答案一点也看不懂，你敢用吗？随着机器学习系统在更重要的领域得到应用，证明为什么我们可以信任它们的输出，并明确何时不应信任它们，变得越来越重要。获得对复杂系统输出结果信任的一个可行方法是，要求系统对其输出产生一种解释，这种解释对人类或另一个受信任的系统来说是可读的，即可以完全理解以至于任何可能的错误都可以被发现。例如，为了建立对司法系统的信任，我们要求法院提供清晰易读的书面意见，解释并支持其决策。对于大型语言模型来说，我们也可以采用类似的方法。 不过，在采用这种方法时，确保语言模型生成的是易于理解
微软 CTO 坚信大型语言模型的“规模定律”依然奏效，未来可期
微软首席技术官（CTO）凯文・斯科特（Kevin Scott）上周在接受红杉资本旗下播客采访时，重申了他坚信大型语言模型 (LLM) 的“规模定律”将继续推动人工智能进步的观点，尽管该领域一些人怀疑进步已经停滞。斯科特在推动微软与 OpenAI 达成 130 亿美元的技术共享协议方面发挥了关键作用。斯科特表示：“其他人可能持不同观点，但我认为规模化并未达到边际收益递减的临界点。我想让人们理解这里存在着一个指数级提升的过程，遗憾的是，你只能每隔几年才能看到一次，因为建造超级计算机然后用它们训练模型都需要时间。”202
传 4050 亿参数版 Llama3 将在 23 日发布；机械臂公司获 6300 万美元融资丨AI情报局
今日融资快报机械臂公司 Standard Bots 获 6300 万美元融资，亚马逊、三星等参投Standard Bots Inc. 是一家为制造业和物流业开发机械臂的初创公司，该公司已获得 6300 万美元的 B 轮新资金。 本轮融资由 General Catalyst 领投，亚马逊工业创新基金、Samsung Next 和几家老投资者也参与了该公司的投资。
非法阻止员工披露AI安全风险，OpenAI严厉「封口协议」再遭举报
OpenAI 在人工智能领域的领头羊地位家喻户晓。其产品聊天机器人 ChatGPT 系列、文生图 DALL・E 系列、文生视频 Sora 等都被誉为生产力提升的超强助手据透露，OpenAI 内部正在一个代号为「草莓（Strawberry）」的项目中开发一种新的人工智能模型。该项目的细节此前从未被报道过，而 OpenAI 正努力证明其提供的各类模型能够提供高级推理能力。不过 OpenAI 现在似乎正陷在另一场风波当中。据《华盛顿邮报》报道，一位举报人向美国证券交易委员会（SCE，Securities and Exch
OpenAI Lilian Weng万字长文解读LLM幻觉：从理解到克服
Lilian Weng 出品，必是精品。人会有幻觉，大型语言模型也会有幻觉。近日，OpenAI 安全系统团队负责人 Lilian Weng 更新了博客，介绍了近年来在理解、检测和克服 LLM 幻觉方面的诸多研究成果。Lilian Weng，中文名翁丽莲，是 OpenAI 安全系统团队负责人。她 2018 年加入 OpenAI，参与了 GPT-4 项目的预训练、强化学习 & 对齐、模型安全等方面的工作。她的博客深入、细致，具有前瞻性，被很多 AI 研究者视为重要的参考资料（其他博客见文末扩展阅读）。大型语言模型的幻觉
模型训练成本“平民化”，前特斯拉 AI 总监 24 小时仅用 672 美元“重现”GPT-2
GPT-2 是 OpenAI 于 2019 年推出的模型，其训练费用一度为每小时 256 美元，那么 5 年过后的 GPT-4 时代，软硬件和数据的进步，是否意味着训练同一模型所需的时间和成本会随之减少呢？答案是肯定的。据 Tom's Hardware 今日报道，前特斯拉 AI 总监、OpenAI 联合创始人、项目开发者 Andrej Karpathy 使用 llm.c“重现”了 GPT-2，其成本降到了每小时仅 28 美元（AI在线备注：当前约 204 元人民币），在短短 5 年内降低了近 90%。图源 Pixa
代号“草莓”，OpenAI 被曝研发新项目：将 AI 推理能力提至新高度
感谢路透社今天发布报道，称 OpenAI 公司正在研发代号为“草莓”的全新项目，进一步延伸去年 11 月宣布的 Q* 项目，不断提高 AI 推理能力，让其更接近人类的智力。AI在线援引该媒体报道，“草莓”项目会自主、高效地扫描互联网，并可靠地执行 OpenAI 所描述的“深度研究”，让其能够大规模解决更复杂的现实世界问题。一位内部知情人士透露：“我们希望我们的人工智能模型能够像我们一样看待和理解这个世界。不断研究新的人工智能能力也成为业界共识，我们都相信，这些系统的推理能力会随着时间的推移而不断提高”。“草莓”项目