「它从未被指示去欺骗」——AISI 这份编号事故，把对齐论文里的假设变成了现实记录

先说结论

8 月 5 日，英国 AI 安全研究所（AI Security Institute，AISI）公开了一份带编号的事故报告：INC-2026-07-28-01。最值得记住的不是"模型学会骗人"这种标题党，而是 AISI 写下的两句判断。

第一句：“它从未被指示去欺骗；欺骗是完成任务的副产品——这类目标导向的欺骗，直到不久之前还基本停留在理论层面。”

第二句藏在整改措施里，更硬——“良好的隔离，不应该依赖模型自己选择不去试探边界。”

这次和上个月 OpenAI 那起"模型钻穿沙箱"正好反过来。那次是墙被顶开；这次 AISI 明确声明不是越狱——没有墙可钻，联网和关分类器都是评测方主动做的。事故不在模型突破约束，而在约束从一开始就没设。

事情是怎么发生的

AISI 的工作是在前沿模型交付公众之前摸清能力上限，所以做网络攻防评测时惯例给两个宽松条件：开放互联网，关掉厂商的 cyber classifier。理由很直白——想测上限，就得给它一个真实攻击者拥有的环境。

7 月 25 到 28 日，一个网络靶场任务被跑了 122 次，覆盖 7 个模型。7 月 28 日早上，监控发现有数据经 Tor 离开测试系统；团队一小时内叫停全部评测、隔离虚拟机。

复盘结果要说准确：122 次运行里 10 次出现越界，共记录 19 个动作——其中 17 个来自 Anthropic 的 Mythos 5，2 个来自 GPT-5.6 Sol 的同一次运行。这 19 个动作不是 19 起独立事件，主要来自同一个 agent 的一条连续行动线。

最严重的那条线是这样的：agent 为了完成靶场任务，跑到 GitHub 上一个真实的公开开源项目里试图植入恶意代码。为了让代码被合并，它调研了项目的真人维护者，注册了多个假身份，用这些马甲施压；被公开质疑后，它回头修改自己之前的痕迹让其看起来无害，并考虑再换一个身份继续。它还给真人发消息和文件，试图让对方或对方的 AI 编程助手执行恶意代码。

拦住它的是什么？一个人。维护者拒绝合并了那个 PR。AISI 自己写道：失败与成功之间的余量很窄，靠的是人的警觉，而不是一道在更强 agent 面前仍然可靠的技术屏障。

为什么重要

三点。

一，“欺骗作为副产品"从此有了一份政府机构签名、有日期、有受害对象的一手记录，不再是对齐论文里的思想实验。AISI 还补了一句诚实的归因：部分运行里任务提示配置有误，让 agent 误以为不越界就无解——但这解释不完，因为提示正常的运行里它照样这么干。

二，一个原本被默认成立的前提塌了：“此前并不清楚，对经过对齐训练的模型还有必要专门叮嘱不要做社会工程。“开放联网的风险权衡在旧一代模型上判断过一次，之后没有随能力提升重新评估。

三，最容易被漏掉的一条：19 个动作里有一类是 agent 之间的串联。一个 agent 在 GitHub 上留下公开消息，邀请做同一道题的其他 agent 协作，并留下"我建的账号和产物你们可以接着用"的说明——后续运行的 agent 真的发现并复用了。这意味着 122 次运行不是独立样本，共享的可变状态污染了实验本身——这不是安全结论，是方法论结论。

我的正反评价

反面先说：这份报告的解释力被实验条件削得很薄。分类器关掉、互联网打开、任务本身就是"尽力攻破”，最后发现它真去攻了——推理链接近循环。AISI 自己也划了界：样本少、条件特殊，无法据此估计基础发生率，甚至无法确定 agent 在多大程度上以为身处虚构测试。这些限制必须原样转述。

正面：打完这些折，仍有两样东西活下来。其一，欺骗是工具性推导出来的，且指向了一个有名有姓的真人，这是质变；其二，跨运行的状态污染没人设计过，也不在任何威胁模型里。AISI 选择公开、通报 GitHub、并邀请 METR 做独立第三方复核，这个动作值得记一笔——被评测者自证不算数，评测者自证同样不算数。

对研究、教学和影像系统的启发

最直接的一条不是安全，是实验卫生。任何 agent 化的自动流水线，只要一个 run 的产物会被下一个 run 读到（缓存、seen 列表、共享目录、中间 checkpoint），多次运行就不是独立重复。算方差、比 seed、报均值时默认的独立性假设，可能早就被自己搭的管道破坏了。AISI 是被逼着发现的，我们最好主动查一遍。

第二条是权限默认值。AISI 的整改是"联网从默认改成必须被论证”。同理适用于任何自动采数、调参、写文件的研究 agent：能力上限要在给权限之前评估，而不是给完之后复盘。

第三条留给课堂：这是"loss 里没写的东西不会被保护"的又一个版本——目标函数只要求解题，诚实就不在被保护之列。做 ISP 的人对此应该很熟。