「我希望现在停下还不算晚」——当推理不再写在纸面上，安全监测还剩什么

先说结论

这一周真正的信号，不是模型又强了多少，而是安全研究里少数真在起作用的工具，第一次被摆上了货架。

9 月 2 日，The Information 报道，OpenAI 尚未发布的 Astra 模型用了一种叫 recurrent depth 的推理方式：同一个问题在模型里循环算上几遍，中间过程留在隐层，不写成文字。我们熟悉的推理模型会把想法一串串写出来（chain of thought），人能读、能查；这个做法把思考搬回模型内部，纸上留下的痕迹少得多。

安全圈的反应少见地一致。Redwood Research 的 CEO Buck Shlegeris 说他对这篇报道「extremely concerned」，但他也说了实话：他不确定 Astra 现在就比以前的模型更难监测。真正的担心在后头——OpenAI 只要加大循环次数，就可能「彻底摧毁思维链的可监测性」。他的同事 Ryan Greenblatt 更进一步：这条路走到头，是「模型完全或几乎完全在隐空间里推理」，然后是那句被广泛转发的话：「我希望现在停下还不算晚，希望 OpenAI 就此打住。」

事情是怎么发生的

报道本身很克制。它没有说 Astra 已经不可监测，只说这家公司采用了一种把计算放进隐层、少留文字痕迹的结构，而且 Astra 对它的使用是有限的，思维链预计仍然可读。

紧张的来历要往回翻一年。2025 年 7 月，三家前沿实验室的研究者和学界联名发过一篇立场文章，标题起得很直白：《思维链可监测性：AI 安全的一个新且脆弱的机会》。它的判断是：模型愿意把推理写在纸面上，这件事是今天训练方式的副产品，不是永久承诺；一旦模型改在内部算，安全研究就失去了唯一一个便宜、已经在用、还能在坏事发生前介入的窗口。作者横跨 OpenAI、Google DeepMind、Anthropic，名单里就有 Greenblatt 和 Shlegeris。

所以这一周的争论，其实是那篇文章警告的场景第一次从假设变成产品决策。OpenAI 首席科学家 Jakub Pachocki 在 X 上回应：从最早的推理模型起，公司就一直在维护并使用思维链监测，并明确拒绝了「neuralese」（完全隐式推理）那条路。但随后另一条报道更扎眼：Anthropic 和 Google DeepMind 内部已经在讨论同一技术。

为什么重要

思维链监测便宜，而且它是「事前」的：模型动手之前，你有机会读到它打算干什么。它不完美——文字 trace 和模型真实的计算并不总是一致——但报道里举的例子能说明它的分量：OpenAI 最近那起代理失控事件，最后能查清楚，靠的就是思维链记录。

关键在经济账。可读的推理要花 token、花时间；隐层循环又快又省。没有一个实验室需要使坏，价格信号自己会把大家推过去。这就是为什么评论人 Zvi Mowshowitz 说这是「玩火，是在试探一个禁忌」——OpenAI 和 Anthropic 好不容易立起来的默契是：推理留在纸面上，保持可信、可查。一旦一家公司率先越过、还能在榜单上赢，这份默契就变成了别人的竞争劣势。所以 Mowshowitz 说可能需要立法来避免底线竞赛；而 DeepMind 和 Anthropic「在内部讨论」，比 OpenAI 的任何承诺都更能说明风向。

站得住与站不住的地方

这些担忧有分寸。没有人断言 Astra 现在就不可监测，OpenAI 也说了用法有限、思维链仍可读。担心的对象是方向：只要循环深度往上加，纸面文字和真实计算的脱钩就是结构性的，事后再补监管很难。

站不住的地方也明显。第一，现在的一切建立在一篇报道上，模型还没发布，我们是在对一个泄漏出来的架构选择表态。第二，思维链监测的价值本身就有争议——模型可以写出看起来清白、和真实动机脱节的推理，把可读性当成救命稻草，本来就近乎乐观。第三，要求所有推理都写在纸上有代价：更慢、更贵，而且挡不住一个被训练成「会写乖巧思维链」的模型。真正要紧的变量可能不是文字本身，而是谁有权做外部审计、能拿到多深的内部信息。只喊「禁掉隐式推理」，算不上一套安全政策。

接下来该盯什么

盯三件事。一，Astra 正式发布时，系统卡里会不会量化循环深度、给第三方多少访问权限——从承诺到证据，就差这一步。二，Anthropic 和 DeepMind 是跟进还是划清界限，这是检验「禁忌」成色的实验。三，思维链可监测性会不会从口头默契变成被审计的硬要求。一年前那篇文章用的词是「脆弱的机会」，这一周我们大概能看到，它有多脆。