一张 RGB 到底藏着几条光谱?R2H-Diff 用扩散模型把'说不准'本身建模出来

🧠 大模型影像论文精读 · 2026-07-23 · Diffusion · Spectral Reconstruction · Hyperspectral · ISP · Color
arXiv 2026-05 · 光谱重建 / ISP 相关

有意思的地方不在于它又训了一个 RGB→光谱的重建网络,而在于它换了个问法:以前大家把「从 RGB 反推光谱」当成一个有唯一正确答案的回归题,R2H-Diff 承认这题本来就没有唯一解,转而去建模「所有可能的光谱」这一整个分布。

问题背景:这是同色异谱的逆命题

RGB 三个数字是相机三条光谱响应对场景光谱做积分的结果——一次投影,天然丢信息。于是同一组 RGB 背后可以站着无数条不同的光谱曲线,这正是我们熟悉的 metamerism(同色异谱)反过来看的样子。传统的回归式重建(一个 CNN 直接吐出光谱)本质是在这堆可能解里取了个「平均」,结果就是光谱曲线被抹平、峰谷钝化,既丢了真实的窄带特征,也完全无法告诉你「这次估计到底靠不靠谱」。对做光谱传感和光谱驱动 ISP 的人来说,后者比前者更致命——你拿这条光谱去估光源、算 CCM,却不知道它在哪些波段是瞎猜的。

方法的关键转折:从点估计到分布

作者用条件扩散模型来学 p(光谱 | RGB):不再是一步映射,而是从噪声出发、以 RGB 为条件逐步去噪,采样出一条完整光谱。工程上他们做了几件对「光谱保真」很讲究的事——用 Guided Spectral Refinement Module 融合 RGB 条件、用 Hyperspectral-Adaptive Transposed Attention 显式管住波段间强相关、用一个去归一化(normalization-free)的骨干保住光谱幅度一致性(这点很关键,很多生成模型会把绝对幅度带跑偏),再配一个任务定制的线性噪声表,让只跑 5 步去噪就够。最终 0.58M 参数、12.25G FLOPs,在 NTIRE2022 上 35.37dB PSNR——是同台里最轻的一档。也就是说,生成式路线在这里没有以「更慢更大」为代价。

能进哪些真实影像工作流

最直接的价值是让普通 RGB 相机低成本拿到近似光谱,进而喂给一整条颜色管线:光谱在手,白平衡和光源估计就不必再和三刺激的歧义硬碰硬,跨设备的 CCM、皮肤/材质的真实色还原、印刷与显示的色差控制都能受益。但对做研究的人,我更看重它的副产品——不确定性:扩散模型可以对同一张 RGB 采样多条光谱,这些样本的离散程度天然就是一张「歧义图」,告诉你画面里哪块区域在光谱上模棱两可。这对光谱 AWB、多光谱 SFA 通道设计是现成的诊断工具:哪些颜色/光源下三通道信息不够、必须靠更多光谱通道补,可以被量化,而不是拍脑袋。

局限与存疑

生成式的两面性要盯紧:它能产出「看着合理」的光谱,也就意味着可能产出合理但错误的幻觉光谱——fidelity 和 diversity 的权衡在颜色任务里没有免费午餐。它的评测集(CAVE、Harvard、NTIRE2022)多是实验室内可控光源,真实相机的 QE 曲线、宽色温与异常光源下能不能撑住,论文没答。5 步去噪对追求窄带保真的场景够不够,也存疑。加上暂无开源,短期内想搬进自己的 pipeline 验证,还得先自己复现。

论文来源:arXiv 原文 ↗

← 返回 大模型影像论文精读