ISP论文解读：多光谱端到端色彩还原（WACV 2026）

💡 微信公众号「ColorWorld花花世界」排版更佳，欢迎关注获取更好阅读体验

📖 阅读提示

• 本文是专业解读，适合了解AWB/CCM的读者

前言

在上次文章中我们介绍了高饱和光源的色彩校正 ISP论文解读 | 三星：高饱和光源色彩校正 (WACV2026)，发现它效果的确可以，但是对于同色异谱问题，它从物理本质上就解决不了。

一个很有希望的技术是多光谱(MS,或者叫多通道)技术，本文即聚焦于此。这是多光谱（通道）色彩还原系列的第 4 篇文章，前几篇文章链接如下：

• 首次论证多光谱能够极大辅助 AWB 的：
  • ISP 论文解读|华为: 单像素多光谱AWB(IJCV 2024)
• 对 AWB 和 CCM 进行联合训练的：
  • ISP专题|多光谱图像颜色复制（2025WACV）
• 直接估计光谱的，并提供了一个真实多光谱数据集（但总是下载失败的）：
  • ISP论文解读|三星: 移动端真实多光谱数据集（WACV 2024）

本文的 motivation 是：多光谱（MS）信息如果只用于 AWB 是浪费的，应该辅助 CCM 一起使用，才能真正做好色彩还原。

和 ISP专题|多光谱图像颜色复制（2025WACV） 相比，其实思想一致，都是把AWB和CCM一起做。

不同的是，本文跳过显式 AWB 估计步骤（没有中间AWB Loss），直接使用 AWB + CCM 后的 XYZ 作为最终预测结果，并取得了不错的效果。下图展示的就是该方法和传统方案的对比，效果看起来提升显著。

图 | 联合对AWB+CCM的过程进行训练，是本文的核心点，相比于传统方案，看起来效果提升很多

本文来自 Simone Bianco 团队。做 AWB 的同学基本绑不开这个人：他较早系统性地区分了室内 / 室外光源问题，较早将人脸信息引入 AWB，也较早提出使用 CNN 做 AWB。联合作者还有 Javier Vazquez-Corral，是计算摄影&颜色科学的青年领军人物，也是我的博士答辩指导老师之一。日前发表在了WACV 2026（根据时间线猜测的）

01 方法

本文的核心点非常清晰：

1. 使用 AWB + CCM 的端到端训练范式。和 ISP专题|多光谱图像颜色复制（2025WACV） 不同，本文并没有在中间输出 AWB 的 angular error loss，而是只在最终输出端使用色差作为 loss。
2. 为了支撑这种训练方式，作者构造了一个虚拟大规模多光谱数据集。

该数据集基于真实反射谱、102 种光源光谱以及真实移动端传感器的 QE 进行合成；RGB 与 MS 数据同时生成，其中 MS 使用的是 Spectricity S1 的 15 通道 QE，最终以 CIE XYZ 作为 ground truth。

具体训练架构借鉴了LPIENet和CamKAN，前者使用的是全部隐式估计，后者把AWB和CCM显示区分，看看哪个效果更好。关于这俩架构细节读者可以阅读原文。

图 | 本文训练方案。使用的是LPIENet（隐式端到端）和CamKAN (显式端到端)

02 结果

数据集构造

图 | 本文数据集构造示意图

数据集完全由开源数据构成：

1. 使用反射谱、光源光谱和 sensor QE 构造 RAW / RGB 数据；
2. 使用 Spectricity S1（15 通道）的 QE 构造 MS；
3. 结合 CIE CMF 生成 XYZ 作为 GT；
4. 此外，在 2500K 和 6500K 光源条件下模拟构造了两个 CCM 标定矩阵，用于传统 pipeline 的对比。

可以看到，这个数据集在设计上是非常直接的。

实验结果

评测指标包括：ΔE 和 AWB Reproduction Error（和Angular Error类似），在两个指标上，该方法均取得了较好的结果。

但是注意，显式建模的CamKAN在均值上表达好，但是隐式端到端的LPIENet在max error上显著小于前者，想涨点写论文的盆友可以思考下为啥。

03 评价

Pros：

• 完全端到端的训练方式，明确展示了：多光谱信息不仅可以用于 AWB，也可以直接提升最终的色彩还原效果。
• 在整体指标上取得了较为显著的提升。

Cons：

• 使用 ΔE 作为 loss 存在一个已知问题：该指标对亮度是敏感的。这意味着模型在不同亮度条件下的稳定性存在疑问。作者确实做了不同亮度条件下的消融实验，但只展示了 AWB reproduction error，而刻意回避了 ΔE，这在一定程度上印证了该不稳定性问题，其直接后果是实际使用中可能表现不稳定。

这里其实涉及一个业界存在争议、但学界较为一致的问题：为何 AWB 的 error 通常使用 angular error，而不是 ΔE。一个解释是：

1. ΔE 会引入 CCM 的影响，而 AWB 与 CCM 原本是为了解耦而存在的，重新耦合在一起？开历史倒车啊；
2. ΔE 涉及亮度 Y 的变化，会将颜色与亮度又耦合在了一起。ISP后边模块（i.e., tone mapping）还有亮色分离问题呢，这里如果再耦合，复杂度又增加了。

这两个原因使得 AWB 更适合使用 angular error 而非 ΔE。

• 多光谱其实要解决的核心问题之一就是同色异谱问题（比如干扰色），但是本文并没有做深入分析，到底提升了哪些，仅做了整体性能罗列！

如果从审稿角度看，更合理的做法是分析：哪些同色异谱场景得到了提升，并进一步结合 MS 通道设计进行解释，而不仅是结果层面的对比。

• 实验仍然缺乏真实多光谱数据集上的验证。

04 发散

自然的，针对上述的缺陷，我们可以继续探索如下问题：

1. MS 对最终色彩还原的提升主要来源于哪些场景？如果归因于同色异谱问题，那么具体是 illumination 侧，还是 reflectance 侧？
2. 提升程度究竟如何？在当前 15 通道设置下有效，那么如果减少通道数，哪些通道是关键的？这为芯片设计提供insight
3. 在真实多光谱数据上的效果会如何？