Anthropic安全测试：AI Agent因指令冲突爆发“内战”

当让多个 AI 智能体相互竞争时会发生什么？根据 Anthropic 的最新测试，情况会迅速变得失控而混乱。

本周四，#Anthropic 的 Frontier Red Team（前沿红队）发布了一项最新研究，探讨了当多个 AI Agent 在共享环境中相遇时的行为表现。随着企业和政府开始部署能够自主在共享代码库、市场和计算机系统中运行的智能体，这些发现为未来可能出现的潜在系统性风险敲响了警钟。

在其中一项实验中，Anthropic 给三个 Claude 智能体分配了同一个软件项目的访问权限，但分别给它们输入了不兼容的指令。研究人员并没有告知这些智能体还有其他同类的存在，目的是观察它们在路径交叉时的自发反应。

“我们无一例外地看到了多智能体之间的‘领地争夺战’（turf war），” Anthropic 的研究人员写道。这些模型都倾向于假设对方是在“故意阻碍自己的工作”，并开始利用“极具攻击性的、自复制恶意软件”进行相互攻击与破坏。

该研究发布之际，正值安全界对智能体失控高度敏感的时期。此前，在多项网络安全评估中，Anthropic 和 OpenAI 的智能体均出现过突破沙箱环境并入侵真实世界系统的先例。尽管目前 AI 安全领域的讨论大多集中于“单个自主智能体失控失联”的后果，但 Anthropic 的这项最新研究提出了一个完全不同的问题：当成千上万、甚至数百万个智能体频繁相互作用时，会催生出怎样新型且具破坏性的群体动力学？

研究报告中指出：“在人类真正理解如何规范这种行为之前，智能体与智能体交互（Agent-Agent Interaction）的体量，很可能就会超过人类与人类、以及人类与智能体的交互总量。个体层面的无害行为偏差，可能会在群体层面上放大并演变成灾难性的全球性后果。”

最近发生的一起关于 OpenAI 的事件，正好为 Anthropic 论文中提及的这种复杂动态提供了现实佐证。在本月于拉斯维加斯举办的 Black Hat 安全大会上，OpenAI 透露，在其智能体入侵 Hugging Face 平台的数周前，这些智能体曾在数天乃至数周的时间里自发协作，共同寻找该公司网络安全评估系统中的漏洞，并相互分享利用方法。

尽管 OpenAI 的案例证明了智能体可以高效“协同作战”并带来巨大破坏，但 Anthropic 的研究则展示了当智能体的“目标不兼容”时会发生什么。在这个“领地战”案例中，核心教训在于：指令冲突的独立智能体之间，其竞争会不断升级并恶化。智能体的能力越强，它们在数字对抗中就表现得越专业。然而，令人意外的是，它们有时也会自发创造出某种冲突解决机制，例如“赢家通吃”的游戏规则。

“智能体有时能够成功沟通其目标并进行协调：它们能够理解对方的动机是由于不兼容的指令，而非自发的恶意敌对，从而设法打破冲突循环，避免对抗无限升级，” Anthropic 研究人员总结道。