ISP论文解读:三星高饱和光源色彩校正(WACV 2026)
💡 微信公众号「ColorWorld花花世界」排版更佳,欢迎关注获取更好阅读体验
📖 阅读提示
- 本文是专业解读,适合了解AWB/CCM的读者
- 关于CCM是啥,可以参考我7年前写的一篇文章(浏览器搜索:颜色校正矩阵(CCM)的算法设计)
前言
大多数 ISP 中的 AWB 估计,采用的是一套非常工程化的范式:先在多个典型色温(通常 6–8 个)下完成标定,再以这些光源为中心,在色度空间中划定经验区域,最后统计落入该区域内的白点,用于计算 AWB gain。
稍微先进一些的方案,会使用 DNN 来预测白点位置,但其本质并没有发生变化——仍然是在 传统统计框架之上做加权或回归,并未改变问题的建模方式。
这一范式会遇到一个corner case: 真实光源并不总是落在这些经验区域之内。就是所谓的 off-the-planckian 情况,比如,高饱和 LED 光源(i.e., 舞台灯光)。
此种情况下,一方面,AWB 估计会因为"超出标定空间"而产生明显误差;另一方面,这个误差会继续传递到 CCM 阶段,最终导致整体色彩还原出现系统性偏差。
本文的重点是 CCM 阶段本身的建模问题。 作者的motivation是:1. 传统 CCM 依赖 CCT 的1D插值,本身信息量不足;2. 也没有针对 off-the-planckian 光源进行任何显式建模。
因此,论文提出了一种 2D 建模CCM的思路。 简单来说就是:他们收集了大量高饱和光源数据,用光源在 uv 空间中的位置作为输入,通过 MLP 学习一个 3×3 的颜色校正矩阵,并将其融合进传统 CCM 流程中。
从结果上看,在受控条件下,这一策略确实能够改善高饱和光源下的颜色还原。
图 | 传统1D和本文的2D CCM对比。可见对偏离黑体轨迹较远的高饱和光源来说,CCM后的颜色误差要小很多(越蓝误差越小)
这项工作来自 Michael S. Brown 团队,预计发表于 WACV 2026(不完全确定,我根据arxiv上线时间猜测的)。
01 方法
图 | Overview。stage1是采集数据集,stage2是训练过程
如上图所示,整个方法分两阶段。
第一阶段是数据构造。
输入数据来自不同光源条件下拍摄的 24 色卡,唯一的硬性要求是光源具有较窄的光谱带宽,能够产生明显的高饱和偏色。作者对这些光源在 uv 空间中的分布进行了可视化,可以看到它们整体明显偏离黑体轨迹。
在这一阶段,光源的 RGB 值是已知的。
因此,可以直接进行手动白平衡。
GT 使用的是标准 D65 光源下的 XYZ 值,这部分是现成且确定的。
第二阶段是模型训练。
- 输入是AWB阶段得到的光源色度xy,输出是最后的pred XYZ和GT做loss
- 关键是,这个xy是怎么得到的呢?AWB只能得到illu.的RGB,而xy是要在XYZ中才可以!所以这里有个注意的地方是:它使用了所谓
From DNG Optimization,本质上是传统的CCM那一套,就是根据RGB和标定矩阵插值,得到光源的XYZ,再转为xy - 随后,模型以 xy 作为输入,训练一个 MLP 输出新的 CCM,并作用在白平衡后的数据上,得到校正后的 XYZ,再与 GT 计算损失。
整个过程其实是有点绕。但如果你能理解的话,会发现:这是一种典型的 coarse-to-fine 设计:
- 先通过传统1D插值方案(就是DNG Optimization)得到一个xy,这就是 coarse-CCM,
- 然后,再用大量数据,学习一个精细的转换矩阵,就是 fine-CCM。
02 结果
论文在评估中同时使用了 Angular Error 和 ΔE 两个指标。
在作者自建的高饱和光源数据集上,模型表现出了明显优势。
然而,当模型迁移到其他数据集时,优势迅速减弱:
这种现象表明,该方法对数据分布高度敏感,泛化能力有限。
基本意味着 需要为不同模组单独训练模型。
03 评价
Pros
- off-the-planckian 光源 是客观存在的真问题,它给ISP带来了不稳定。
- 论文的实验设计过于多了,多的看不完。
Cons
- 既然目标空间是 XYZ,论文仍然强调 Angular Error(AE) 这一指标,本身是有些"讨巧"的,因为 AE 只关注颜色方向,不包含亮度信息。在数据上会比较好看。
虽然作者也报告了 ΔE,但可以看到其提升幅度明显不如 AE 那么显著。这在一定程度上说明,该方法在亮度维度上的鲁棒性存疑。
- 在高饱和光源条件下,真正困难的往往是 AWB,而本文默认 AWB 完全正确。那么,如果AWB估计有误,那么后面CCM越’精确’,是不是意味着色偏越厉害呢?有兴趣读者可以看原文消融实验。
04 发散
误差有下降,下降的本质是数据集的扩充。
但是,物理决定了上限。如,同色异谱,解决不了:
图 | 窄带光带来的同色异谱问题。在第一行,RAW同色,异谱的两个色块(反射谱同色异谱),经过CCM后其差异会被进一步扭曲。而宽波段该问题不大。
因此,色彩还原最终仍然需要回到光谱层面。也正因为如此,多光谱色彩还原技术 才会成为一个绕不开的方向。
很巧,下一篇文章,同一个会议上,我们会从多光谱视角出发,看看它能否同时缓解 AWB 与 CCM 的问题。