李飞飞给「世界模型」划的那条线:只会产像素的,不算真智能

2026-07-19 · AI观点雷达 · 世界模型 · 李飞飞 · 空间智能 · 计算摄影
世界模型之争的真正内核不是谁的视频更逼真,而是李飞飞划的那条线——只产像素的是渲染器,能还原「可计算物理状态」的才是模拟器;这条线正是影像与色彩科学一直在做的事。

先说结论

这周最值得长期跟踪的一条 AI 观点,不在于又发布了哪个前沿模型、谁又要监管谁,而在于李飞飞(Fei-Fei Li)今年 6 月 3 日那篇《A Functional Taxonomy of World Models》里划出的一条线:只会吐像素的系统是「渲染器(renderer)」,能输出几何、物理上忠实、且程序可直接计算的状态的才是「模拟器(simulator)」,再往上才谈得上「规划器(planner)」。

这条线看着像在给「世界模型」下定义,实际上一刀切开了两种智能观——一种模仿信号的表面,一种还原信号背后的物理结构。对做颜色和影像的人,这条线格外熟悉:它几乎就是我们天天在做的 raw-to-scene 逆问题。

事情是怎么发生的

过去大半年,「世界模型(world models)」从一个小众研究词,变成了 AI 最烧钱的新战场。李飞飞的 World Labs、LeCun 出走 Meta 后创立的 AMI Labs,各自融了约十亿美元;Google DeepMind 的 Genie、NVIDIA 的 Cosmos 也在推进(Fortune 5 月那篇报道的标题就叫「AI 最大牌的人都在押注世界模型」)。但这个词很快被用滥:任何能生成一段逼真视频的系统都自称世界模型。

李飞飞这篇短文就是来「正本清源」的。她给出三个功能角色,定义下得很硬:渲染器「以像素形式输出给人眼看的观测,最重要的指标是视觉保真度」;模拟器「输出状态:一种几何、物理或动力学上忠实、人和程序都能计算与交互的世界表示」;规划器「输出动作」。她还补了一句很扎心的话——那些航拍镜头里的高楼「从上面看完美无缺,你真开车穿过底下的街区,它们就散架了」。

为什么重要

因为它把一个含糊的营销词,压成了一个可证伪的工程判据。判断一个系统是不是「真世界模型」,不看它生成的画面好不好看,而看它输出的表示能不能被下游程序算。这句话把 Sora、Runway、Kling 这类纯视频生成器直接归到「渲染器」——好看,但结构上撑不住。

对影像行业,这是一记提醒:逼真度(fidelity)和物理忠实(faithfulness)是两回事,而我们太容易把前者当成后者。

我的正反评价

先说我认同的。这条区分干净、可落地、可检验,比「LLM 到底懂不懂世界」那种玄学争论有用得多。它也接上了一条更老的科学直觉——智能不是复刻信号,而是抓住信号背后低维、受约束的生成规律。这正是 Attneave、Barlow、Olshausen 那条「高效编码」的老线:语言模型把先验押在人类文本的统计分布上,李飞飞主张把先验押在「生成这些信号的物理结构」上——几何、光传输、材质、因果。

再说我保留的。第一,利益相关。 李飞飞是 World Labs 的 CEO,这套 taxonomy 既是科学判断,也是给自己路线背书、给对手贴标签的叙事,「纯渲染器不算真世界模型」读起来就有竞品定位的味道,得打折。第二,这是愿景不是现状。 目前能落地、能赚钱的几乎全是「渲染器」;几何物理忠实的「模拟器」极贵极慢,短期回报未必打得过便宜好用的渲染路线——这和影像里 RAW/物理管线 vs 直接出片是同一种张力,理论更干净不等于工程上赢。第三,把语言判成「只有表面统计」讲得很爽,但可能低估了它。 文本里其实压缩了大量世界结构(物理常识、因果关系),一刀切并不公平。

对研究、教学和影像系统的启发

对研究:把「渲染器 vs 模拟器」翻译成影像语言,就是「像素/外观保真 vs 场景/物理状态还原」。AWB、CCM、光谱重建,本质上都是从像素反推生成它的物理状态——光源、反射率、几何。换句话说,我们这行做的 ISP 逆问题,本来就是一种「简化版世界模拟器」。这篇给了我一个好用的 framing:把 AWB/ISP 重新定位成「从渲染反推 simulator state」,而不是「把一张图调好看」。

对教学:给学生一根弦——别问「生成的图好不好看」,要问「这个表示能不能被下游程序算、被测量、被复用」。画质评测工程师尤其需要这种判据。

对影像系统:警惕被「逼真度」带偏。很多下游任务(测量、白平衡、深度、机器人抓取)要的是物理上可计算的中间态,不是一张好看的 RGB。李飞飞在去年那篇《From Words to Worlds》里的一句原话对做颜色的人尤其亲切——「原子结构决定了光如何产生颜色与亮度」。颜色本就是这套物理结构被相机采样后的低维投影。我们做的,一直是世界模型里最底层、最不起眼、却绕不过去的那一环。