「开放权重是不是通往安全的路」——吵得最凶的这场架,两边都承认自己没测过
先说结论
这周最响的 AI 政策争吵,两边都在用「安全」这个词论证方向相反的政策。但把两份原文并排读会发现:双方在最关键的那句话上都用了模糊限定词。
产业联名信写的是「openness may be one of the most important paths to AI safety and security」(开放可能是通往 AI 安全最重要的路径之一);Amodei 的回应写的是「开放模型是否带来更高风险……应该由测试得出,而不是提前裁定」。
这场以「安全」为名的政策战,内核是一个可测、但至今没人分域测过的经验命题。值得跟踪的不是谁嗓门大,而是谁第一个拿出按风险域分开的攻防收益测量。在那之前,所有政策论证都是在赌。
事情是怎么发生的
7 月 24 日,一封题为《Open Weights and American AI Leadership》的联名信发布。末尾署名数了 77 家:NVIDIA、Microsoft、Meta、Google、OpenAI、IBM、Palantir、SpaceX 这些巨头,和 Hugging Face、Mozilla、Linux Foundation、Ollama、LM Studio、Black Forest Labs 这些开源侧名字排在同一行。最显眼的缺席者是 Anthropic。
信的论证从 1980 年代开源软件类比起手,落点是:不要对开放权重做「过早的限制」。触发点是中国的开放权重模型逼近前沿(本栏目本月写过 Kimi K3,不重复)。
7 月 27 日,Dario Amodei 在 Anthropic 官网发《Our position on open-weights models》正面回应。第一句就撇清:「Anthropic 从未主张过禁止开放权重模型」,并说没有危险能力的开放模型是「public good」。他给出三条替代政策:管住流向威权政府的先进芯片与设备、打击「industrial-scale distillation」、所有足够强的模型(开放封闭一视同仁)强制安全测试。他也明确不同意联名信的两处断言:开放权重「未必」更容易开发防护,广泛开放能力「未必」对防守方比对进攻方更有利。
为什么重要
把两边论证并排,会发现各自都挑了对自己有利的风险域。
联名信讲网络安全:攻击方用上先进 AI 后,防守方需要能力相当的模型才能检测、模拟和响应。Amodei 讲生物:足够强的模型「可能用广泛可得的材料快速武器化大流行级病毒,而针对这些制剂的防御是一项多年期的运营任务」。
这两段可以同时成立——它们描述的是不同域里的攻防节奏差。所以「开源到底安不安全」这个问法本身就错了。该问的是:在哪类能力上,防守方的迭代周期短于进攻方。这能测,且必须分域测——目前双方都没测,只各自举了最顺手的域当证据。
我的正反评价
先说联名信的软肋。它自己承认了最硬的那条——「一旦发布,权重就脱离了原开发者的控制,修改过的版本难以追踪或逆转」——下一句却直接跳到「但正确的应对不是禁止」,对不可逆性没有任何交代。那个开源软件类比也是漏的:源码可读、可 diff、可审计,缺陷能被人眼看见;权重读不了,只能跑和测。开放权重交出去的是能力,不是可理解性——「透明胜于隐晦」从软件搬到权重上并不自动成立。
再说 Amodei。他最强的一句恰恰是最谦虚的那句——风险应由测试得出,不该提前裁定;这在方法论上比联名信站得住,该给分。但他的姿态有 motte-and-bailey 的味道:被指责扼杀开源时,退守到「我们从没主张过禁令」这个几乎没人反对的位置;而他实际推的三条里有两条(芯片管制、打击蒸馏)跟「强制安全测试」这个中立诉求并无直接关系,更像穿了安全外衣的产业政策。他自己写得也诚实:这些措施「确实会保护美国 AI 公司免于竞争,但那从来不是我的目标」——但诚实替代不了证据。
对研究、教学和影像系统的启发
第一,蒸馏那条没画出来的线,才是学术界该盯的。 联名信把 distillation 定义成正当技术,只单列出「非法窃取封闭模型价值」;Amodei 要打击的是「industrial-scale distillation operations」——但他那篇文章从头到尾没给「industrial-scale」下过定义。这条模糊的线正好横穿我们的日常做法:用大模型输出造伪标签、生成训练集、做评测参考。谁定义规模阈值,比「开源该不该禁」更直接决定我们还能不能这么干。
第二,别把「开放权重的风险」当成一个数。 判别与重建类模型——AWB、CCM、去马赛克、光谱重建——放权重的误用面接近零,收益是可复现性,这是复现危机最实在的解药。生成类完全是另一回事:Black Forest Labs 也签在这封信上,而图像生成恰恰是滥用争议的正中心。同一封信里装着我们这个领域风险最低和最高的两端,一刀切必然误伤一头。
第三,教学上我打算这样用这两份材料: 让学生把双方每句话标成「经验命题」还是「价值命题」,再问哪些经验命题目前真有测量。这比讲「开源是好是坏」有用——练的是拆 claim 的手感,不是站队。
第四,工程上留退路。 若限制真的落地,本地跑开放模型做 ISP 研究会带上合规不确定性。设计上保持 architecture-agnostic,别把整条 pipeline 焊死在某一组权重上。