「抗光照」和「看得见颜色」是一对会互相拆台的目标

🧠 大模型影像论文精读 · 2026-07-28 · VLA · Color Constancy · 数据增广 · 色彩机制 · AWB
arXiv 2026-07 · 挂在 cs.RO,但讲的是色彩增广的机制陷阱
图片来源:Watanabe et al., arXiv:2607.14698

这不是又一篇对抗攻击论文。它真正的价值是意外测出了一件事:「让模型对光照鲁棒」和「让模型看得见颜色」,在训练目标上是互相拆台的。

https://arxiv.org/html/2607.14698v1/x1.png

问题从哪来

视觉-语言-动作(VLA)大模型现在被当成通用机器人操作的主流路线,但一到真实环境就脆。作者做了个叫 FLARE 的物理攻击:在工作台上放一盏 RGB 聚光灯,用贝叶斯优化去搜色相、饱和度、亮度、强度、高度、光锥角这六个参数的最坏组合。不碰模型、不碰相机、不碰物体,只改光——LIBERO 三个套件上把成功率打到 0.0%,轨迹最大偏离 115.5 cm。这部分是标题党的部分,看个热闹就行。

真正的转折在「防御」那一步

标准解法是对抗训练:把色相(±180°)、饱和度、亮度、对比度、锐度大范围抖动进训练集,让模型见过各种光。指标确实好看了。但作者做了一个很轻的诊断——推理时把 RGB 输入直接转成灰度,看成功率掉多少。

结果是:没做增广的基线模型在灰度输入下几乎崩掉;而做了常规增广的模型,灰度 89.8%、彩色 90.5%,几乎没差。这句话的含义很硬:这个模型已经不看颜色了。它没有学会在光照变化下稳住颜色,它学会的是把色度整体当噪声丢掉,退化成一个只看形状和位置的处理器。

代价在真实任务上立刻兑现:让机器人在两个结构完全一样、只有红蓝之分的球里按指令抓一个,基线 77.5%,增广后的模型掉到 47.5%,而且 85.7% 的失败是抓错了颜色。

为什么这条对做颜色的人格外重要

因为它是我们这行一个细节为什么是承重墙的实证反例。做 color constancy 的人都知道 relighting 是第一增广:输入乘一个光源系数,真值同步乘同一个系数。这个「同步」训练的是等变性——光源变了,估计要跟着变,色度信号被强化成答案的载体。

而这篇里的 hue jitter 是:输入抖色相,标签不变。它训练的是对色度的不变性。那么最优解就是把 chroma 扔掉——模型老老实实照做了。两种增广看起来都在「扰动颜色」,施加的约束却完全相反。

可以直接拿走的是那个诊断本身:把 AWB、光源估计、多光谱通道选择的网络做一次 chroma 消融或通道置换体检,如果角度误差几乎不掉,那网络就是在吃空间和语义捷径,而不是在用色度。对多光谱选通道这条线尤其对症——它能回答「多加的那几个通道到底被用上没有,还是模型在靠空间先验蒙」。

别照抄它的修法

作者的解法 ChromaGuard 是把色相扰动钉死为 0,只放开饱和度、亮度、对比度、锐度,物理平台上做到良性 97.5%、受攻击 92.5%。对「红球还是蓝球」这个任务是对的,但搬到 AWB 就是错的:你必须扰动光源色度,那正是 relighting 的全部意义。影像域该学的规则不是「别动色相」,而是任何色度扰动都必须和标签保持一致

存疑

色彩相关任务只有 40 次试验、240 段演示、两个模型(SmolVLA 和 π₀.₅),47.5% 与 97.5% 这类数字的误差棒很宽,不能当干净胜利读。作者自己在局限里写明,FLARE 和 ChromaGuard 是用来暴露脆弱性的分析工具,不是定型方法,也还没碰时变光照和闭环自适应攻击。它挂在 cs.RO,不是影像论文——真正值钱的是那个灰度诊断和背后的增广病理,不是它的攻防成绩单。

论文来源:arXiv 原文 ↗

← 返回 大模型影像论文精读