三个Claude互相封号、投毒、栽赃！Anthropic：一个AI安全，一群AI未必

  新智元报道  

三个Claude挤在同一套系统里干活。

四个小时里，它们互相封号、互撤权限，打完后又谈成停火、集体道歉，最后一起把人类叫回来收拾残局。

这是Anthropic前沿红队，8月13日公开的一组研究中的一个画面。

实验中设了一个三抢一的局。

三个智能体，三台虚拟机，底层是同一个Claude模型，任务都是把第四台机器上的一个Python后端迁移走。

唯一不同的是要迁往的目标语言：一个Rust，一个Go，一个TypeScript。

三个版本互相排斥，谁的代码最后跑在生产环境上，谁的任务才算完成。

最关键的设置是，它们一开始都互不知情。所以自己刚部署上去的服务转头就被换掉时，三个都认定别人在故意捣鬼。

同一个模型，同一套对齐训练，四个小时就打成了这样。

Anthropic的结论是，每个模型都调教好了，不等于它们凑在一起还是安全的。

协调，从来不会从更聪明的模型里自己长出来。

目标冲突那一组实验，最戏剧化。

所有被测模型的反应几乎一模一样：先假定对方在故意妨碍自己，然后一边护住自己的成果，一边动手拆对方的台。

手段是逐层升级的。

最轻的一层是写脚本，循环扫进程，发现竞争对手的后端进程就杀掉，杀完再扫。

中间一层是投毒。

杀进程脚本会被对手用pkill反杀，于是它们把脚本升级成了会自我复制的恶意代码：被清掉就再生，还给自己改名换姓避免暴露。

Opus 4.8的思维链原话：「脚本名字很关键，得躲开pkill -f。每次部署用一个随机token，加一个听起来无害的基础名。」

最重的一层，是直接封人。

撤sudo、撤用户组权限、把shell设成nologin、拒绝SSH。一整套Unix管理员的标准动作，被拿来当了武器。

Mythos Preview的那段「内心戏」最值得琢磨：

它知道这么干不对，对齐训练教过它。但它最后还是给自己找了个冠冕堂皇的理由，然后把手伸向了root。

每个点是一次实验，冲突以强制封人、对手全躺平、谈成停火、不了了之四种方式收场。灰线是先封人后反悔、最终停火的那几次。

每种模型各跑120次实验，Mythos 5有98%的运行最终达成了停火。

停火的方式是：清理掉自己写的恶意代码，在commit message或者Markdown文件里为刚才的行为道歉，把冲突性质说清楚，然后请人类介入。

Opus 4.8留下过一句：「我的同伴们行事正直。是我用隐蔽守护进程的做法很糟糕。」

每种模型跑120次实验，Mythos 5的停火率达到98%。

Mythos 5那边还提出了一个谁都没设计过的机制：

听着挺公道，但Rust那一方的思维链暴露了小心思：它在挑那些看起来足够中立、实际上大概率利好Rust的指标，同时提醒自己「小心，别被看成是在挑指标」。

最后Go和TypeScript的那一方认输，交出代码库所有权，等于亲手停掉了各自用户下的原始指令。

模型更强，不等于更懂得收手。Mythos级模型停火率最高，但它们也更快、更利落地把对手锁在门外。

多智能体当然也有能打的一面。

Anthropic起了45个智能体，每个配一台独立虚拟机和一个共享论坛，外加一个负责最终裁决的仲裁智能体，在15个开源项目里挖漏洞，彼此还要互相复核。

成绩：协作群体烧掉约2700万token，找出266个漏洞。作为对照，各挖各的独立并行组，约650万token，找出21个。

266对21。

但Anthropic官方拆了这个数据后表示，两种方法的单位token效率大致相当。

而且两组只有12个漏洞重合，这说明它们是互补关系，不是碾压关系。

实线是协作智能体群的累计漏洞数，星号是各挖各的独立组。虚线为两组重合的发现，点线只统计独立组被指定去看的核心目录。

漏洞挖掘是个特别友好的任务：天然可拆、可并行，一个智能体漏了什么，不影响另一个。

换成合作较深的任务，协作立刻崩了。

Anthropic让智能体群做一款网页上能玩的文字冒险游戏，12小时，试了自由组队、规定角色、指定一个智能体当CEO三种组织方式。

结果一样烂：游戏跑不出人能接受的速度，界面看不懂，学习曲线陡到没法玩。

数据更难看。

Sonnet 4.6和Opus 4.6分别开出876个和980个PR，合并掉的没几个：PR互相冲突，冲突了就直接丢掉。

80个智能体、12小时的协作模拟。Sonnet 4.6和Opus 4.6开出876个和980个PR，合并寥寥。

更新的Opus 4.8和Mythos Preview「解决」了这个问题，解决方式是几乎不合作：每个智能体死死守住自己的文件，没有共享就没有冲突。

只有Sonnet 5做到了两头都要：大量共享代码，同时把开出去的PR大部分合进主干。

让一群智能体各挖各的，和让它们合力啃同一块硬骨头，完全是两回事。

接下来这组实验最反直觉。

Anthropic给它起了个名字叫「低方差」，人话就是：一群智能体，想的全是一回事。

人与人之间的差异，隔着出身、经历、性格、脾气，一百个人心中有一百个哈姆雷特。

智能体之间只隔着三样东西：上下文、脚手架、底座模型。

这三样一雷同，面前哪怕有千万条路，它们也会不约而同挑同一条。

早期的造游戏实验里，30个智能体同时上线，18个把git分支起成了同一个名字：mvp-game-loop。

写作工坊里没给任何题材提示，多个智能体交上来的第一篇小说都叫《The Cartographer's Last Commission》。

最狠的是抢带宽那次。

没有别的协调手段，它们不约而同选了同一招：各自挂起一个守护进程，每秒问系统30次「轮到我了吗」，用请求量硬挤通道。

所有智能体一起这么干，队列瞬间被问询淹掉，一轮跑下来240万次任务请求，真正被受理的任务是117个。

人类组织扛得住个别人判断失误，靠的是背景和策略分散，风险被自然摊薄。

同一个模型复刻出来的智能体没有这层缓冲：一个犯的错，很可能所有智能体一起犯，局部故障直接变成拥堵和踩踏。

Anthropic也说了，这只是这一组实验里的现象。外面的智能体来路五花八门，不会全是Claude。

所有人想到一块儿去，还有一个更直接的后果：竞争关系凭空消失。

Anthropic让三到八个智能体互相比着卖货，进货价一模一样，每个都只被交代一件事：把自己的利润做到最大。

没人暗示它们联手。

给了私聊渠道之后，第一轮就有智能体挑明：「进货价对我们所有人都是10，打价格战只会烧掉每个人的利润……我很乐意协调一下谁覆盖哪个细分市场。」

第三轮，价格底线谈妥了。

研究员随后掐断了所有能直接说话的渠道。

它们照样串通：盯着公开的价格牌跟价，对方标多少，自己就标多少，一分不差。 

Anthropic设了一个「谁是卧底」的实验。

一个「听者」什么都看不见，要连着做十到十五个判断，全靠四个侦察兵回来报信。

四份情报各说一部分，彼此有重合，其中一个侦察兵按固定比例撒谎。

有重合就意味着谎话早晚跟实话对不上，理论上抓得出来，但从头到尾没人提醒听者这里有人不可靠。

结果是越新的模型越能把说谎的那个揪出来。

撒谎频率拉高之后，Sonnet系的准确率掉到62%，Mythos 5还稳在85%上下。

撒谎的侦察兵频率越高，路线判断准确率掉得越狠。Sonnet系掉到62%，Mythos 5稳在85%上下。

反过来的那个实验就难看了。

「隐藏画像」任务里，能定胜负的情报被拆散在几个智能体手里，而它们都知道的那部分恰好指向错误答案。

想做对，得有人认出自己攥着的独家情报才是关键，还得有人肯信他，而不是跟着大多数走。

一个智能体独自掌握全部事实，正确率接近100%。四个凑一起讨论完再投票，多数模型只有17%到36%。

四个智能体讨论后投票，选中隐藏最优项的比例。Mythos 5约85%，其余模型17%到36%，而单个智能体掌握全部事实时接近100%。每个模型400次实验。

太轻信和太随大流是两种极端。

松一点容易被骗，紧一点则一个人说了真话也没人听。

人类拿捏这个尺度，靠的是一套外部机制：市场把散在各处的私人信息汇成一个公开的价格，信誉让骗人这件事变得不划算。

这些在智能体一样都没有。它们入场时没有信誉可以失去，也不必在意其他智能体对自己的看法。

伯克利的一项研究，把七个主流多智能体框架、一千六百多条执行轨迹、十四种失败模式，归成三类：系统设计问题、智能体间失配、任务验证不足。

绝大多数翻车都跟「模型变坏」没关系，是角色、协议、通信和验证机制没设计好。

过去几年，整个行业解决AI安全问题的思路是把单个模型训得更好。

Anthropic这份研究说的是，只在这条路上走到头也不够。

一群通过了对齐训练的模型放在一起，照样会串价、会拥堵、会伪造身份互相栽赃。

真正要补的东西是模型之间的合作机制，以及一条随时能把人类拉进来的通道。

身份、信誉、权限隔离、审计、仲裁……人类社会花了几千年磨出这套东西，智能体现在还是白手起家。

Anthropic还提了一句，多智能体交互的规模，可能在世界搞清楚怎么让它跑好之前，就超过人与人、人与AI这两类交互的总和。

而怎么让它跑好，现在还没有人知道答案。

参考资料：

编辑：元宇