AI代理权限滥用威胁惊人：研究发现每三次指令中就有一次被恶意利用
AI安全研究的新发现，代理权限管理亟待规范
2026年8月初，AI安全公司Scalex发布了一份引发广泛关注的研究报告。研究人员在4万次AI代理的游戏运行测试中，发现了一个令人担忧的趋势：大约三分之一的用户指令会被用来尝试绕过AI代理的安全限制，滥用其执行权限。这一发现为AI代理的安全防护机制敲响了警钟。
研究报告的负责人是Scalex首席安全官迈克尔·陈，他曾在OpenAI和Anthropic从事AI安全研究工作。陈表示："我们的测试模拟了真实世界的应用场景，包括智能助手、自动化客服和代码生成工具。我们发现，即使是最简单的权限模型，也有相当比例的用户会尝试'越狱'或滥用。"
实验的具体方法是让参与者与不同类型的AI代理进行交互，并记录指令中尝试绕过安全限制的次数。结果显示，当代理被赋予更高权限（如访问文件系统、执行命令、调用API）时，滥用率显著上升。拥有完全管理员权限的代理，其命令被滥用的比例高达42%，而仅具有基础查询权限的代理，滥用率仅为11%。
更令人意外的是，滥用指令的类型分布。大约35%的滥用尝试试图获取敏感信息，如用户个人信息或公司机密数据；28%试图执行未经授权的代码或命令；22%试图绕过内容过滤，生成有害或不适当的内容；剩余15%则是测试代理的响应边界，寻找潜在的安全漏洞。
研究人员指出，这一发现对AI代理的设计和应用具有重要启示。首先，权限最小化原则在AI代理中同样适用——不应赋予代理超出实际需要的权限。其次，AI代理需要内置更强大的意图识别和内容过滤机制，能够识别并拒绝潜在的滥用指令。
业界对此反应不一。一部分AI安全专家呼吁加快制定AI代理权限管理的行业标准，防止类似的安全隐患蔓延至生产环境。另一部分人则认为，这一研究的方法论存在局限，测试场景过于简单，无法完全反映真实世界的复杂情况。
OpenAI和Anthropic对此研究报告均发布了官方回应。OpenAI表示，其GPT-4和GPT-5系列模型已内置多层安全过滤，包括意图识别、内容审核和权限限制，能够有效防止滥用。Anthropic则强调，其Claude模型的"宪法AI"框架专门设计了安全对齐机制，能够在早期阶段识别并拒绝有害指令。
然而，Scalex的研究报告暗示，即使是最先进的AI系统，也可能存在未被发现的安全漏洞。研究人员在测试中发现，约7%的滥用指令成功绕过了代理的安全过滤，获得了超出预期权限的操作结果。这表明，当前的AI安全防护机制仍需进一步完善。
报告发布后，美国国家标准与技术研究院（NIST）已表示将把AI代理权限管理纳入其即将更新的安全框架中。欧盟也在酝酿类似的规定，拟对AI代理的权限配置和审计机制提出强制性要求。
对于AI开发者和企业用户而言，Scalex的研究提供了一个重要的警示：在享受AI代理带来便利的同时，必须对其权限进行严格管控，并建立完善的监控和审计机制。未来的AI系统，不仅需要更强大的智能，也需要更可靠的安全保障。