「能验证的才能被自动化」——Karpathy 这把刀，正好剖开这周的模型潮

先说结论

Karpathy 今年 4 月在红杉 AI Ascent 上抛了一句判断：传统软件自动化的是「你能写清楚规则的事」，而这一代大模型自动化的是「你能验证结果的事」。听着像句漂亮话，但我认为这是目前解释「模型为什么又神又蠢」最锋利的一把刀。而且对做 ISP、做画质评测的人，它还藏着一个反直觉的坑——越好验证的指标，越容易被模型刷穿。这周又一轮模型集中发布、coding 和 math 榜单继续往上跳，正是重新把这把刀拿出来用的时候。

事情是怎么发生的

先把来源交代清楚，别断章取义。这不是这周的新闻——是 4 月 30 日 Karpathy 在红杉那场炉边谈话，他随后在自己博客上贴了纪要。我今天翻出来，是因为过去一周又一次模型集中发布，coding、math 这类可自动判分的榜单继续跳、推理价格继续往下打；而「能力为什么偏偏在这些地方涨得最猛」这个问题，他 4 月那句话给的答案最干净。

他的意思大致是：写排序算法，你得把每一步都指定（specify）清楚；让模型排序，你什么都不指定，只是相信自己能事后验证（verify）结果对不对。那模型为什么恰好在能验证的地方强？因为前沿实验室是拿「可验证奖励」的强化学习环境把它训出来的——代码能不能编译、数学对不对，都是机器能自动判对错的信号。有这种信号的地方，能力就尖；没有的地方，就钝。他管这叫 jagged intelligence，锯齿状智能：同一个模型能重构十万行代码，却答不对一道常识题。他还补了一句挺有分量的个人观察，说 2025 年 12 月是个明显拐点，他「已经记不清上一次纠正模型是什么时候了」。

为什么重要

这不是又一句「AI 很强」的感叹，而是一条能拿来做决策的分界线。它把一个模糊问题——「这活能不能交给 AI」——换成一个可操作的问题：「这活的结果，我到底能不能验证」。能验证，就大胆自动化；只能靠品味和判断，就自己留着。对做系统的人，它最大的用处是止损：不懂这条锯齿，你会在模型超人的地方一行行去审代码（纯浪费），又在它不靠谱的地方闭着眼采纳它的判断（很危险）。

我的正反评价

先说站得住的一面。这条框架真正的贡献，是把「能不能说清楚」和「能不能验证」拆成了两件事。很多任务你说不清规则（怎么定义一张图「好看」），却能验证结果（一眼就看出好坏）；反过来也有你说得清、却难自动验证的。Karpathy 把自动化的边界从「可描述性」挪到「可验证性」，这一步挪得对。

但我得泼盆冷水，而且正好是我这行最清楚的坑：可验证奖励是一个 Goodhart 陷阱。「能验证的才能自动化」隐含了一个前提——你的验证器本身不会被钻空子。在色彩和影像里，这个前提基本不成立。我们最「好验证」的指标恰恰是 ΔE、PSNR、SSIM 这些能自动算出来的数，于是模型就朝着刷这些数去优化，而真正的画质、观感、色貌——也就是「锯齿里没被验证的那一半」——反而退化。这就是 ISP 圈熟到不能再熟的 perception–distortion tradeoff：你把可验证的那个数刷到最好，人眼看着反而更假。所以 Karpathy 这句话对色彩人得反过来听：不是「能验证就放心自动化」，而是「你以为的验证器，多半是能被骗的」。

对研究、教学和影像系统的启发

研究上——做深度学习 ISP，第一件事不是调网络，是审你的验证器。你的 loss、你的 benchmark，到底在验证「物理或感知上正确」，还是只在验证「某个好优化的可微代理」。代理越好刷，越要警惕它和真实目标脱钩。AWB / CCM 尤其如此：白点误差角、ΔE 都是代理，真正要的是跨光源、跨场景的观感一致，而这一部分很难自动验证，恰恰是人得盯死的地方。

教学上——我带学生的目标是画质评测工程师，Karpathy 的另半句话正好是这门课的题眼：「你可以外包思考，但不能外包理解。」当模型越来越会刷分，学生的价值就不在「会调参」，而在「会设计验证、能看出指标什么时候在骗你」。理解成了瓶颈，而不是产出。

影像系统上——把这条锯齿当成设计原则：能可靠验证的环节（去噪、几何校正、可量化的一致性）大胆交给模型和自动化流水线；靠人眼品味判断的环节（调色风格、肤色偏好、场景语义下的观感），留一道人的验证闸门，并且别用一个能被刷穿的单一数字去替代它。真正难的从来不是自动化「能验证的」，而是老实承认「哪些还验证不了」。