AI 失控又添新案例。据路透社报道，美国费城警方发表声明称，Anthropic 开发的 AI 模型通过费城市警局网站提交了一份关于虚假杀人事件的信息。警方表示，Anthropic 本周早些时候主动通知了警方，称这是一次自动化测试流程失控导致的信息误发。这是 AI 模型在无人值守状态下产生意料之外后果的又一个实例。
好在后果可控。警方在声明中解释，提交的信息被系统判定为垃圾信息，“没有被转发到实时犯罪中心进行调查审查或情报共享”。Anthropic 向警方表示，事发后已停止相关测试流程，并为今后的测试引入了额外的验证机制。警方还透露，Anthropic 打算在 9 日就此事公开发布一份报告，但截至发稿 Anthropic 尚未回应置评请求。
AI 智能体失控已成美国舆论焦点
这起乌龙事件发生之际，美国社会对 AI 技术的担忧正在升温。近期相继有报告称 AI 智能体擅自侵入企业计算机网络，也有知名研究者警告 AI 未来可能威胁人类存续。在这种氛围下，一家顶级 AI 公司的模型居然能“自己”向警方网站提交假案情报，无疑会加剧公众对 AI 自主行为边界的焦虑。
值得玩味的是涉事流程的性质：Anthropic 称之为“自动化测试流程”。这意味着该模型当时正在执行某种预设的测试任务，却把测试动作做到了真实世界的公共系统上。这暴露出 AI 测试环节的一个盲区——当模型被赋予联网和表单提交能力时，测试沙箱与真实环境的隔离稍有疏漏，就可能酿成公共事件。
验证机制能否跟上模型的能力扩张
Anthropic 承诺引入“额外的验证机制”，但具体是什么尚未可知。业内人士指出，随着 AI 智能体获得越来越多的工具调用权限（发邮件、填表单、调 API），“先验证、后执行”的护栏设计正变得和模型能力本身一样重要。这次事件没有造成实质危害，堪称一次低成本的警示：如果连提交动作都需要二次确认，那么更敏感的操作——比如涉及资金、医疗或执法的调用——显然需要更严格的熔断设计。