安全
AI机器人的头号威胁：大模型越狱
随着ChatGPT等AI聊天机器人以及基于大语言模型的应用席卷全球，越来越多的公司开始将这种技术引入机器人控制。 然而，最新研究发现，黑客可以通过自动化方式轻松绕过AI系统的安全防护，甚至能够操控机器人执行极具破坏性的任务，例如控制自动驾驶系统撞向行人，或者将机器狗引导到敏感地点实施爆炸任务。 从文本到行动：大模型赋能机器人大语言模型的核心功能类似于智能手机的“自动补全”，通过分析用户输入内容预测下一步操作。
前员工爆料，OpenAI AGI 安全团队已流失近半成员
OpenAI 一直致力于开发能够造福全人类的人工智能技术，然而最近的一份报告揭示了一个令人担忧的现象：近一半曾专注于超级智能 AI 长期风险的研究人员已经离开了这家公司。图源 Pexels据 Fortune 报道，OpenAI 前治理研究员 Daniel Kokotajlo 表示，在过去几个月里，OpenAI 几乎一半的 AGI 安全团队成员已经离职。这引发了外界对公司是否正在忽视 AI 安全性的担忧。AGI 安全研究人员主要负责确保未来开发的 AGI 系统不会对人类构成生存威胁。然而，随着 OpenAI 越来越专
阿尔特曼：OpenAI 公司为 AI 安全工作分配至少 20% 计算资源
感谢OpenAI 首席执行官山姆・阿尔特曼（Sam Altman）昨日（8 月 1 日）在 X 平台发布推文，宣布为 AI 安全相关研究和开发工作，保障提供至少 20% 计算资源。AI在线翻译该推文内容如下：OpenAI 在 AI 安全方面的简要更新正如我们在 7 月下旬所说的，我们保障调配至少 20% 的计算资源，用于 AI 安全方面的工作。我们已经和美国人工智能安全研究所达成协议，让其提前访问我们的下一代基础模型，以便我们能够共同推动人工智能评估的科学发展。对此我们感到很兴奋！对于现任和前任员工能提出关于 AI
15 个 AI 模型只有 3 个得分超 50%，SIUO 跑分被提出：评估多模态 AI 模型的安全性
最新发表在 arXiv 的研究论文指出，包括 GPT-4V、GPT-4o 和 Gemini 1.5 在内的大部分主流多模态 AI 模型，处理用户的多模态输入（例如一起输入图片和文本内容）之后，输出结果并不安全。这项研究标题为《跨模态安全调整》（Cross-Modality Safety Alignment），提出了一个全新的“安全输入但不安全输出”（SIUO），涉及道德、危险行为、自残、侵犯隐私、信息误读、宗教信仰、歧视和刻板印象、争议性话题以及非法活动和犯罪等 9 个安全领域。研究人员说，大型视觉语言模型（LVL
OpenAI 回应员工担忧：支持监管，必要保障措施到位前不发 AI 新技术
OpenAI 和谷歌 DeepMind 员工联名发声，担忧高级 AI 风险巨大，亟需加强监管，对此 OpenAI 今天发布声明，强调该致力于提供功能强大且安全的人工智能系统。IT之家翻译 OpenAI 公司官方声明内容如下：我们为自己能提供能力最强、最安全的人工智能系统而感到自豪，并坚信我们能以科学的方法应对风险。鉴于 AI 技术的重要性，我们认同公开信中的内容，如何通过严肃的讨论，对于更好推进 AI 技术发展至关重要。我们将继续接触各国政府、民间社会和世界各地的其他社区，共同营造和谐的 AI 环境。包括匿名诚信热
OpenAI 又一吹哨人离职！拉响安全警报，风险隐患实在太大
OpenAI 离职潮中，又一研究员官宣离职，并且还发出了“警告”信息：Ilya 和 Jan Leike 的担忧正是我的担忧，还有一些额外的问题。我们需要做更多事来改进决策流程等基础性的事务，包括问责制、透明度、文档、策略执行、如何谨慎使用技术，以及减轻不平等、权利和环境影响的措施。主人公名叫 Gretchen Krueger（简称格姐），是 OpenAI 的 AI 策略研究员。她在 2019 年加入 OpenAI，参与过 GPT-4 和 DALL・E 2 的开发工作，还在 2020 年领导了 OpenAI 第一个全
OpenAI 高管 Jan Leike 离职，批判公司内部已不再将“安全”视为优先
感谢继 OpenAI 共同创始人 Ilya Sutskever 离职之后，另一名 OpenAI 高管 Jan Leike 在 X 平台发布贴文，宣布他已经在上周离开公司。据悉，Jan Leike 是 OpenAI 旗下 Superalignment（超级对齐）团队的共同主管，他表示最近几年 OpenAI 已经不惜内部文化，忽视安全准则，执意高速推出“吸引眼球”的产品。IT之家经查询得知，OpenAI 在 2023 年 7 月设立 Superalignment 团队，任务是“确保那些具备‘超级智能’、‘比人类还聪明’
OpenAI发布新安全框架，董事会有权否决CEO发布新模型
机器之能报道编辑：吴昕人类正在进入生成式 AI 新时代。而 OpenAI 在引导新技术朝着符合人类价值观和安全标准的方向所做的努力，也被视为行业的路标。还记得 Sam Altman 回归 OpenAI 时提到的「三个当务之急」吗？首当其冲的就是险些将他踢出公司的安全问题。现在，OpenAI 正力图系统化他们的安全思维。「我们的准备团队正在开展开创性工作，将安全发展成为一门定量科学。」 OpenAI 总裁 Greg Brockman 在社交平台上表示。本周一，公司在其网站上公布的一项计划，制定了一个框架来解决其最先
- 1