Meta 引入双重规则以增强 AI 安全性

理解代理双重规则

Meta AI 宣布了一项新的安全框架，称为“代理双重规则”，以应对 AI 代理面临的日益增长的安全挑战。根据 Meta AI 的官方博客文章，该举措旨在将与 AI 相关的风险降至最低，尤其是关注诸如提示注入等漏洞。

提示注入的挑战

提示注入是大语言模型（LLMs）中的一个重大安全问题，恶意字符串或数据可能导致 AI 代理忽略开发者的指令或执行未经授权的操作。例如，如果攻击者利用这一漏洞，AI 驱动的电子邮件助手可能会泄露敏感信息或发送网络钓鱼邮件。

受现有政策启发的框架

“代理双重规则”受到了 Chromium 的安全政策和 Simon Willison 的 “致命三合一” 等概念的启发。它旨在帮助开发者在部署强大的 AI 代理时进行权衡，确保功能性与安全性的平衡。

代理双重规则的关键原则

框架规定，在一个会话中，AI 代理不应该同时满足以下三个属性中的两个，以减轻提示注入的风险：

• [A] 处理不可靠的输入
• [B] 访问敏感系统或私人数据
• [C] 改变状态或进行外部通信

如果三个属性都需要满足，代理应在监督下运行，例如通过人工审批，以防止可能导致安全漏洞的自主行动。

对 AI 开发的影响

这种方法反映了 Meta 在推进 AI 技术的同时保护用户数据和系统完整性的承诺。通过采用代理双重规则，开发者可以创建更安全的 AI 应用程序，增强用户信任并降低潜在威胁。 有关更详细的信息，可以访问 [Meta AI](https://ai.meta.com/blog/practical-ai-agent-security/) 博客上的原始公告。