过去五十年,影像压缩优化的都是同一件事:解出来的图要尽量像压之前那张图。这篇论文把压缩对象换掉了——不压给人看的图,压给大模型看的"中间画面"。结果是:既然消费端是语言模型而不是人眼,“像不像"这把尺子整个失效了。
要传的不再是视频,是模型眼里的画面
看图大模型都是两段式:视觉编码器把图像或视频变成一串视觉 token(模型眼里一格一格的特征值),语言模型再读它们来回答问题。真实部署里这两段经常不在一台机器上——手机、眼镜、行车记录仪跑得动轻量视觉编码器,8B 级的语言模型则得放云端。要传东西时,比传原始视频更省的是直接传 token。
麻烦在于,这串 token 是一大片 16 位浮点数(BF16),体积未必输给压好的视频本身。业界现在要么不压,要么各家上私有量化器,设备和服务之间互不相认——这正是当年 JPEG、HEVC 要解决的问题,只不过"像素"换成了模型内部的特征。
拿现成的 MPEG 标准当扳手
Aalto 与 Nokia 的作者没有训练新的压缩器。他们借用 MPEG 已标准化的神经网络编码 NNC(ISO/IEC 15938-17,专为神经网络数据设计的张量压缩标准;熵编码 DeepCABAC,把量化后的数值用尽量短的二进制串表示),把 Qwen3-VL-8B-Instruct 的完整视觉接口——主视觉 token 外加三路注入语言模型的 DeepStack 特征流——当成四个普通张量,逐个编码、传输、解码,再原位塞回模型。权重、提示词、生成过程一个字没动,只来回拧 QP(量化参数,视频编码里"压多狠"的旋钮),任何输出变化都只能来自压缩本身。

平台期很长,悬崖很陡
两组对照先把边界钉死:不压时 Video-MME 选择题精度 0.74,token 全清零只剩 0.21——模型确实在看。中间是宽阔的平台期:QP=0 时码率砍掉 98.1%,精度 0.72;再往狠压才开始跳水,QP=4 掉到 0.49。开放式的视频摘要由另一个大模型当评委,曲线形状一样:先平后崩。

更值得注意的是崩塌前的重建质量:连续数值坍缩成一级级离散台阶,逐行相对误差不小,奇异值衰减比原来陡得多(有效维度被砍掉一截)。按传统失真指标都算压烂了,但语言模型照常工作。最合理的解释是:模型推理依赖粗结构和相对几何关系,不是精确浮点值。所以衡量这类"AI 流量"编码器的该是码率-任务曲线——每比特带宽换来多少任务性能——而不是码率-失真曲线。
会改到哪些影像工作流
如果"中间表征当码流"成立,端云协同影像的分工会跟着变:摄像头端只跑到视觉编码器为止,上行流量降一个数量级以上;设备和服务厂商按同一标准互通特征,不再绑定单一供应商。码率-任务曲线还直接给出定参依据——论文的部署建议是:工作点设在崩塌拐点之前并留足余量,不贴着拐点跑。相册搜索、眼镜助手、车机视觉问答这类"端上看、云端想"的功能都能沿用这条路线。
局限与存疑
证据面还窄:单一骨干、两个基准各只抽 100 条样本、开放题靠 LLM 评委;编解码时延没测,省下的带宽和编码开销哪个大要等下一步;四路特征共用一个 QP,没做按内容自适应分配。更深一层:结论只覆盖"被测任务还能答对”,被抹掉的低能量方向会不会伤到没测到的长尾能力——细小物体、时序细节——论文自己也说不准。悬崖太陡本身就是提醒:换一个模型,这条曲线未必同样形状。