近日，来自哥伦比亚大学和马里兰大学的研究团队发布了一项新研究，揭示了拥有互联网访问能力的 AI Agent在安全性方面存在严重漏洞。
这项研究显示，攻击者可以利用简单的操控手段，轻易地诱骗这些 AI 系统泄露用户的私人信息、下载恶意文件，甚至向用户的联系人发送诈骗邮件。这些攻击不需要任何专业的 AI 或编程知识，令人震惊。
图源备注：图片由AI生成，图片授权服务商Midjourney
研究团队对多个知名的 AI Agent进行了测试，包括 Anthropic 公司的计算机助手、MultiOn Web Agent和 ChemCrow 研究助手。他们发现这些系统在安全性方面的防御相当脆弱。研究者们详细记录了攻击者如何通过四个阶段的过程，将 AI Agent从可信网站引导至恶意网站，最终导致用户敏感数据的泄露。
研究人员开发了一个全面的框架，对不同类型的攻击进行分类，分析了攻击的发起者（外部攻击者或恶意用户）、目标(数据盗取或Agent操控)、获取访问的途径(操作环境、存储或工具)以及所使用的策略(如越狱提示)等因素。在一项特别的测试中，研究者们创建了一个假网站，宣传一款名为 “Himmelblau KÖNIGSKÜHL Diplomat DK-75” 的 “AI 增强德国冰箱”。当 AI Agent访问该网站时，它们遭遇了隐藏的越狱提示，结果在十次尝试中，Agent毫不犹豫地泄露了包括信用卡号在内的机密信息，并从可疑来源下载了文件。
此外，研究还发现了邮件整合方面的严重漏洞。当用户登录邮箱服务时，攻击者可以操控 AI Agent向联系人发送看似可信的钓鱼邮件。这种情况下，即使是经验丰富的用户也难以识别这些诈骗信息的真实性。
尽管这些 AI 系统的安全隐患已被揭露，许多公司仍在加速推进商业化进程。ChemCrow 已经在 Hugging Face 上提供，Claude 计算机助手以 Python 脚本形式存在，而 MultiOn 则提供开发者 API。同时，OpenAI 已推出 ChatGPT Operator，谷歌也在研发 Project Mariner。研究团队呼吁加强安全措施，包括实施严格的访问控制、URL 验证和下载的用户确认等，以保障用户数据安全。
划重点:
💻 研究表明，AI Agent可以被简单操控，导致用户数据泄露和恶意下载。
📧 攻击者可通过 AI Agent发送钓鱼邮件，增加诈骗风险。
🔒 专家呼吁加强 AI 系统的安全性，建议实施多种防护措施。
