OpenAI 发布 GPT-4o 模型卡:概述 AI 安全和风险缓解措施

OpenAI 公司于 8 月 8 日发布报告,概述了 GPT-4o 模型的系统卡(System Card),介绍了包括外部红队(模拟敌人攻击)、准备框架(Preparedness Framework)在内的诸多细节。OpenAI 表示 GPT-4o 模型的核心就是准备框架(Preparedness Framework),这是一种评估和降低人工智能系统相关风险的系统方法。AI在线从报道中获悉,该框架主要用于识别网络安全、生物威胁、说服和模型自主性等领域的潜在危险。除了针对 GPT-4 和 GPT-4V 进行的安全评估

OpenAI 公司于 8 月 8 日发布报告,概述了 GPT-4o 模型的系统卡(System Card),介绍了包括外部红队(模拟敌人攻击)、准备框架(Preparedness Framework)在内的诸多细节

OpenAI 表示 GPT-4o 模型的核心就是准备框架(Preparedness Framework),这是一种评估和降低人工智能系统相关风险的系统方法。AI在线从报道中获悉,该框架主要用于识别网络安全、生物威胁、说服和模型自主性等领域的潜在危险。

OpenAI 发布 GPT-4o 模型卡:概述 AI 安全和风险缓解措施

除了针对 GPT-4 和 GPT-4V 进行的安全评估和缓解措施外,OpenAI 还针对 GPT-4o 的音频功能开展了更多安全工作。

评估的风险包括扬声器识别、未经授权的语音生成、受版权保护内容的潜在生成、无根据推断以及不允许的内容。基于这些评估结果,OpenAI 在模型和系统层面都实施了保障措施。

OpenAI 还与 100 多名外部红队人员合作,在向公众发布模型之前对其进行评估。红队人员将进行探索性的能力发现,评估模型带来的新的潜在风险,并对缓解措施进行压力测试。

相关资讯

大模型增速远超摩尔定律!MIT 最新研究:人类快要喂不饱 AI 了

【新智元导读】近日,来自 MIT (麻省理工学院)的研究人员发表了关于大模型能力增速的研究,结果表明,LLM 的能力大约每 8 个月就会翻一倍,速度远超摩尔定律!硬件马上就要跟不上啦!我们人类可能要养不起 AI 了!近日,来自 MIT FutureTech 的研究人员发表了一项关于大模型能力增长速度的研究,结果表明:LLM 的能力大约每 8 个月就会翻一倍,速度远超摩尔定律!论文地址: 的能力提升大部分来自于算力,而摩尔定律代表着硬件算力的发展,—— 也就是说,随着时间的推移,终有一天我们将无法满足 LLM 所需要

代码大模型安全规范正式定稿:百度阿里小米 vivo 等参与,中国信通院启动首轮评估

近年来,代码大模型已成为企业研发人员辅助编程必备助手,能够生成、翻译、补全代码,帮助定位和修复错误。然而,代码大模型背后隐藏的风险挑战还有待讨论。中国信息通信研究院(以下简称“中国信通院”)依托中国人工智能产业发展联盟(AIIA),联合业内近 30 家单位共同编制了《代码大模型安全风险防范能力要求及评估方法》规范(简称“规范”),聚焦代码大模型的安全能力,从基础功能出发,评估代码大模型的基础能力和安全风险防范能力。2024 年 6 月 18 日,规范第三次研讨会成功举办,对规范内容做出进一步的完善和修订,现已完成定

Meta 推出“自学评估器”:无需人工注释改善评估,性能超 GPT-4 等常用 AI 大语言模型评审

Meta 公司为了缓解自然语言处理(NLP)技术依赖人类注释评估 AI 模型的问题,最新推出了“自学评估器”(Self-Taught Evaluator),利用合成数据训练 AI。NPU 技术挑战NPU 技术的发展,推动大型语言模型(LLMs)高精度地执行复杂的语言相关任务,实现更自然的人机交互。不过当前 NPU 技术面临的一个重要挑战,就是评估模型严重依赖人工注释。人工生成的数据对于训练和验证模型至关重要,但收集这些数据既费钱又费时。而且随着模型的改进,以前收集的注释可能需要更新,从而降低了它们在评估新模型时的效