OpenAI 近期推出了一项新系统，旨在监控其最新的 AI 推理模型 o3和 o4-mini，以阻止与生物和化学威胁相关的提示。该系统的目标是防止模型提供可能教唆他人实施有害攻击的建议，确保 AI 的安全性。
OpenAI 表示，o3和 o4-mini 在能力上较之前的模型有显著提升，因此在恶意用户手中可能带来新的风险。根据 OpenAI 的内部基准测试，o3在回答关于某些生物威胁的相关问题时，表现得尤为出色。为了应对这些风险，OpenAI 开发了这个新的监控系统，称之为 “以安全为中心的推理监测器”。
这个监测器经过定制训练，能够识别与生物和化学风险相关的提示，并指示模型拒绝提供这些主题的建议。为了建立基线，OpenAI 的 “红队” 成员花费了约1000小时，标记 o3和 o4-mini 中 “危险” 的生物风险相关对话。在一次模拟测试中，OpenAI 的安全监测器成功阻止了98.7% 的危险提示的响应。
尽管如此，OpenAI 承认其测试并未考虑那些在被监测器阻止后可能尝试新提示的用户，因此公司表示将继续依赖部分人工监控。根据 OpenAI 的说法，o3和 o4-mini 并未超过其 “高风险” 生物风险的阈值，但与 o1和 GPT-4相比，o3和 o4-mini 在回答关于生物武器开发问题时表现得更为出色。
OpenAI 还在积极跟踪其模型如何可能被恶意用户用来开发化学和生物威胁，并更新了其 “准备框架”。公司越来越依赖自动化系统来减轻其模型带来的风险。例如，为了防止 GPT-4o 的原生图像生成器创建儿童色情内容，OpenAI 表示使用了一种与 o3和 o4-mini 相似的推理监测器。
然而，一些研究人员对 OpenAI 是否足够重视安全性表示担忧。一家名为 Metr 的红队合作伙伴指出，他们在评估 o3的欺骗行为基准测试时时间相对有限。同时，OpenAI 选择不为其最新推出的 GPT-4.1模型发布安全报告。
划重点:
🌐 OpenAI 推出新系统，监控其 AI 模型以阻止生物和化学风险信息。
🛡️ 新的 “安全推理监测器” 能有效拒绝98.7% 的危险提示响应。
🔍 研究人员对 OpenAI 的安全重视程度表示担忧，呼吁更多透明度。
