CVPR 2026 · ColorWorld reading note

Color Image Processing 相关论文解读

这不是论文列表，而是一个按 ISP / 色彩科学视角重排的阅读入口。每篇只写最该先抓住的点：它解决什么、技术抓手是什么、怎么判断它的价值、值不值得跟进。

读者：ISP 色彩还原、AWB/CCM、RAW/HDR、光谱成像、低照增强方向的工程师与研究者。每篇按六段展开：要解决什么问题、Motivation（方案的动机与启发，配 teaser 图）、Method overview（含输入输出 / 核心机制 / 训练评价 / 读法，配框架图）、创新点、优点与不足、改进方向。

数据口径与方法：取自 CVF Open Access 当前可解析的 CVPR 2026 主会论文，共 108 篇。其中核心色彩 / 成像方向 87 篇做深度解读；光度一致性 3D 与 watchlist 共 21 篇为边界论文，诚实标注与主线的真实接点，不强行套颜色 framing。每篇解读基于通读原文（非仅摘要）写成；Motivation 配原文 Fig.1/teaser 概念图、Method 配 framework/pipeline 图块，均从 PDF 裁剪并自动收边（去标题与正文），没有可靠图的段落不配图。

本期导读

这批论文的直接判断：传统 color constancy 的显式阵地不大，但颜色问题没有消失，而是被拆进了 RAW、HDR、低照、光谱成像、本征分解和生成式调色里。

工程上最值得盯两个方向：一是成像链路前移，回到 RAW / exposure / sensor / ISP，解决“信息够不够”；二是评价后移，把 color fidelity、HDR grading、retouch preference 放到用户最终看到的图像上，解决“结果稳不稳”。生成式 / VLM 正在两头同时渗透——既做调色控制，也做颜色评价裁判，但 VLM 判色本身的可靠性仍是公开问题。

只挑几篇开读，建议先看：White-Balance First（VLM 反馈式白平衡）、Leveraging Multispectral Sensors（多光谱 CCM）、Task-Aware ISP、以及光谱组里的压缩感知重建几篇。

目录

1 · 白平衡 / 色彩校正 / 调色15
2 · RAW / ISP / 相机管线 / 计算摄影13
3 · HDR / 曝光 / 色调映射 / 多曝光融合12
4 · 低照 / 去雾 / 水下 / 复原 / 阴影-眩光去除15
5 · 本征图 / 光照 / 重光照 / 反射率19
6 · 光谱 / 多光谱 / 高光谱成像13
7 · 光度一致性 / 颜色感知的 3D 与采集系统（边界）8
8 · Watchlist / 复原基础模型 / 暗光感知（边界）13

1 · 白平衡 / 色彩校正 / 调色

001

White-Balance First, Adjust Later: Cross-Camera Color Constancy via Vision-Language Evaluation

Shuwei Li, Lei Tan, Robby T. Tan

CVF · PDF · arXiv

AWB/CCMGeneration/Edit

1. 要解决什么问题

学习型 AWB 模型在单相机数据上过拟合该传感器的光谱响应曲线（SSF），跨相机部署时 mean angular error 大幅上升。现有跨相机方案（C5、SIIE、CCMNet）要么需要目标相机的标定数据或 CCM，要么依赖生成式 diffusion prior，均难以在零样本新传感器上稳定工作。直接从 RAW 回归光源向量难以泛化，因为 RAW 分布随 SSF 变化而漂移。

2. Motivation · 动机与启发

White-Balance First, Adjust Later: Cross-Camera Color Constancy via Vision-Language Evaluation motivation figure
迭代感知反馈：白平衡→VLM判色偏→旋转光源估计，误差从11°→0.6° [page 1 Fig.1]

人类在手动调整白平衡时，从不直接从 raw 像素猜测光源颜色——而是先白平衡图像，再通过观察可识别物体（纸张、皮肤、天空）的色偏方向来迭代修正。这一感知反馈机制与语言判断高度吻合：VLM 在海量 sRGB 图像上已学到物体固有颜色先验（草地应为绿、肤色应为暖调），天然具备判断「当前白平衡是否偏蓝/偏红」的能力。直接从 RAW 回归光源向量会随 SSF 分布漂移，而把问题改成「在 sRGB 语义空间中判断色偏方向」则完全规避了跨传感器的 SSF 不匹配，只需三分类而非连续回归即可驱动迭代收敛。

3. Method overview

White-Balance First, Adjust Later: Cross-Camera Color Constancy via Vision-Language Evaluation method figure
VLM-CC 推理流程：raw → 白平衡 → pseudo-sRGB → pretrained VLM 提 color prior → LoRA-tuned VLM 预测残余色偏（R/G/B）→ chromaticity 空间旋转更新光源估计 [page 3 Fig.2]

VLM-CC 将 AWB 重新表述为迭代感知反馈问题：先用当前光源估计白平衡图像并转换到 pseudo-sRGB，再由 LoRA-tuned VLM（Qwen2.5-VL 7B）判断残余色偏方向（仅三分类：red/green/blue），最后在 chromaticity 空间沿预测方向旋转光源向量。无需目标相机数据，依赖的是 VLM 在 sRGB 语义空间中已学到的物体固有颜色先验。

  • 输入 / 输出：输入：相机 RAW 图像 + 相机 CCM（camera-to-XYZ 矩阵）；输出：归一化光源 RGB 向量（角误差度量）
  • 核心机制：核心有三层：① Color Prior 提取——Pretrained VLM 从初始 pseudo-sRGB 图像中列出 2–6 个可信物体（含预期中性色及推理），形成稳定语义锚点；② LoRA 细调分类头——将任务收窄为三分类色偏预测，输出单 token（red/green/blue），对应 chromaticity 空间三个主轴方向；③ 角度旋转更新——当前光源估计 ℓ̂(t) 沿色偏方向旋转步角 At（线性递减 3°→0.1°），三种标签首次全部出现时进入 refinement 阶段并将步角减半，终止后取最后三次估计的归一化几何均值作为最终输出。Gray-World 作为初始化提供中性起点。
  • 训练 / 评价：训练集：Gehler-Shi（Canon 1D/5D, 568 张）、NUS-8（8 相机, 1,736 张）、Intel-TAU（Canon 5DSR + Nikon D810, 去掉无 CCM 的 Sony IMX135）、Cube+（Canon 550D, 2,070 张）；leave-one-out 跨数据集协议（训练集与测试集无相机重叠）。评价指标：mean/median/tri-mean/best-25%/worst-25% angular error（°）。关键结果：Gehler-Shi 测试集 mean 1.52°（CCMNet 2.23°），NUS-8 测试集 mean 1.83°（CCMNet 2.32°），Cube+ mean 1.51°（CCMNet 1.68°）。风险：三分类粒度粗糙，在浅色偏场景可能振荡；步角衰减和终止条件为超参，对特殊场景（全局偏色不明显）可能不收敛；worst-25% 改善幅度（3.29° vs 3.89°）相对有限。
  • 读法：重点盯住跨数据集协议下的 worst-25% angular error：模型在低频偏色场景（wood-heavy 或 overcast）是否仍比 CCMNet 有优势？另外盯 pseudo-sRGB 到 VLM 的域漂移：用的是近似 CCM，不是真白平衡后的 sRGB，这对 VLM color prior 的可靠性有多大影响需看消融。

4. 创新点

首次将 AWB 重新表述为 VLM 驱动的迭代感知反馈而非 RAW 回归，规避了 SSF 分布漂移问题，且无需目标相机数据即可实现跨传感器泛化。

5. 优点与不足

优点：跨相机零样本泛化、在 Gehler-Shi/NUS-8/Cube+ 三个 benchmark 均超越 CCMNet；劣势：① LoRA 微调仍需 RAW + GT 光源的训练数据，若某类传感器（如手机 ISP 内部处理后）无法获取 RAW + CCM 则无法使用；② 每次推理需多次 VLM 前向（最多 20 次），7B 参数模型的实时性难以满足嵌入式 ISP 要求；③ 三分类粒度可能在绿色偏和黄色偏混合场景出现系统误判。

6. 改进方向

① 将三分类扩展到六方向（RGB ± 三轴），或引入连续色偏角预测分支（保留 VLM 语义锚点作约束），可改善浅色偏场景的收敛精度；② 蒸馏 VLM 推理到轻量特征提取器（如 CLIP ViT-S），使每次迭代的评估成本降到毫秒级，探索 ISP 实时部署可行性。

002

Leveraging Multispectral Sensors for Color Correction in Mobile Cameras

Luca Cogo, Marco Buzzelli, Simone Bianco, Javier Vazquez-Corral, et al. (5 authors)

CVF · PDF · arXiv · Supp

AWB/CCMRAW/ISPSpectralGeneration/Edit

1. 要解决什么问题

传统 camera ISP 的 color correction 分两步走（AWB + CST），von Kries 模型仅对中性面准确，非中性面 chromatic error 显著；RGB-only 输入在 disentangle reflectance R(λ) 与 illuminant SPD E(λ) 时因信息不足天然欠约束。现有多光谱方案要么只在 AWB 阶段用 MS 数据然后丢弃，要么直接在 MS 图像上做运算而忽略高分辨率 RGB 的结构信息，导致色彩精度和空间一致性之间的 trade-off。

2. Motivation · 动机与启发

Leveraging Multispectral Sensors for Color Correction in Mobile Cameras motivation figure
双传感器框架：RGB高分辨率+MS低分辨率联合输入，ΔE00从5.15降至0.93 [page 1 Fig.1]

RGB 传感器只有三个宽谱通道，在积分 R(λ)·E(λ)·Sc(λ) 时将反射率与光源谱混叠，导致 disentangle reflectance 与 illuminant SPD 天然欠约束。近年 snapshot MS SFA（如 Spectricity S1）已能以极小体积和低成本在单次曝光中获取 15 个窄带通道，提供 RGB 所不具备的精细光谱线索。现有 MS 方案却往往在 AWB 环节使用 MS 数据后便丢弃，未能将其贯穿 illuminant discounting 和 CST 全程——相当于把最有价值的物理约束早早截断。将高分辨率 RGB 与低分辨率 MS 联合输入一个端到端模型，可以让网络在全程隐式利用光谱约束，同时保留 RGB 的空间细节。

3. Method overview

Leveraging Multispectral Sensors for Color Correction in Mobile Cameras method figure
双输入端到端架构：LPIENet（上）以 IRA Block 构建 RGB U-Net 并添加 Spectral Encoder，特征经 skip connection 融合；cmKAN（下）以 Illumination Estimator + KAN Layer 为核心，Spectral Encoder 在 IE 两级注入 MS 特征 [page 4 Fig.2]

将 RGB-only 的图像到图像网络改造为 dual-input（高分辨率 RGB + 低分辨率 MS）端到端框架，隐式联合建模 illuminant estimation、illuminant discounting、color space transformation 三个阶段，输出 CIE XYZ 图像。分别适配两种轻量架构——LPIENet（约 220K 参数）和 cmKAN（约 18K 参数），验证框架通用性。

  • 输入 / 输出：输入：高分辨率 RAW RGB 图像（512×512）+ 低分辨率 MS 图像（64×64, Spectricity S1 15 通道 SFA）；输出：CIE XYZ 色彩空间下的 color-corrected 图像（D65 标准光源）
  • 核心机制：LPIENet 改造：在原有三级 IRA Block encoder-decoder 旁添加 Spectral Encoder（同结构 IRA Block，无下采样），MS 特征通过 skip connection 与 RGB encoder 的对应级输出做 element-wise addition，再进入 decoder。IRA Block 集成了 MobileNet 风格的 inverted residual conv 与并行 channel/spatial attention。cmKAN 改造：原架构由 Illumination Estimator（IE）、Color Transformer（CT/MCA 多尺度色彩注意力）和 Color Feature Modulator（CFM）三模块组成，KAN Layer（B-spline k=3, grid G=5）将学到的特征投影到非线性颜色变换。MS 特征由三层 3×3 conv spectral encoder 提取后，在 IE 两个特征级以 element-wise addition 注入。训练损失：illuminant estimation 用 Angular Error，image-to-image 端到端用 ΔE76。
  • 训练 / 评价：数据集：从两个开源高光谱反射率数据集（1,144 有效场景）合成，102 种 illuminant（Barnard 数据集 SPD），4 款手机相机（Pixel 3, iPhone Xs Max, Huawei Mate 20 Pro, Samsung Galaxy Note 9）+ 3 款无反（Canon R5, Sony α9 III, Nikon Zf）SSF，Spectricity S1 15 通道 SFA 渲染 MS，共 116,688 RGB-MS-XYZ 三元组，80/20 场景级划分。评价指标：ΔE00 和 Reproduction Error（均值/中位数/tri-mean/best-25%/worst-25%/95-P/99-P/Max）。关键结果：cmKAN-light 在 mirrorless 相机子集上 ΔE00 Mean=1.60，优于 SpectralConvMean（3.17）约 50%；LPIENet 在 mobile 子集亦达最佳。风险：数据集为纯合成（无真实 RGB-MS 对），SFA 空间分辨率仅 64×64 且像素错位（misalignment）对最终结果影响需看 aligned vs. misaligned 实验；评价仅用 ΔE00，未报告 ΔE2000 或 CIELUV 指标。
  • 读法：重点盯 misaligned 数据集的实验：在真实 dual-sensor 系统中，RGB 和 MS 传感器几何对齐误差是主要噪声源；若 misalignment 后性能大幅下降说明实际部署门槛较高。另外盯 mobile vs mirrorless 的 worst-25%：手机相机 SSF 更宽、色彩更混叠，这时 MS 的增益是否还能保持？

4. 创新点

首个将 MS 信息贯穿 illuminant estimation → discounting → CST 完整 color correction pipeline（而非仅用于 AWB）的端到端学习框架，且通过适配两种异构轻量架构验证了方案的通用性。

5. 优点与不足

优点：在同等参数量（~18K–220K）下相比 RGB-only 和 MS-only 基线大幅降低 ΔE00（约 50%）；cmKAN 轻量版可嵌入移动端推理。不足：① 训练/评价全在合成数据上，SFA 模型固定为 Spectricity S1 15 通道，换用国产 SFA（如 Jixing/Photonfocus）能否迁移未经验证；② 低分辨率 MS（64×64）上采样到 RGB 分辨率时的空间插值误差在高频纹理区域可能引入色条纹，论文未分析；③ 训练用 ΔE76 而非 ΔE00，最优化目标与评价指标不完全一致，存在优化-评价 gap。

6. 改进方向

① 引入真实采集的 RGB-MS 对（哪怕少量）进行迁移微调或 domain adaptation，以验证合成到真实的 sim-to-real gap；② 将 MS 特征融合从 element-wise addition 改为可学习的 cross-attention 融合（类似 cmKAN 的 MCA），使模型能自适应 MS 空间错位，提升鲁棒性。

003

CanonCGT: Reference-Based Color Grading via Canonical Pivot Representation

Jinwon Ko, Keunsoo Ko, Chang-Su Kim

CVF · PDF · Supp

AWB/CCMGeneration/Edit

1. 要解决什么问题

reference-based color grading 的核心难点在于输入图像本身往往已经带有拍摄或后处理留下的色调偏置（grading style bias）；现有 photorealistic style transfer 方法（WCT、PhotoWCT2、CAP-VST）在 feature space 对齐统计量时会产生过激色调偏移和纹理失真；filter-based 方法（Deep Preset）只学习 natural→filtered 映射，当输入已经带强风格时会「保留原有色调」或「风格叠加」，无法干净地重新着色。本质问题是缺乏一个能把任意风格的输入规范化到中性基态的解耦表示。

2. Motivation · 动机与启发

CanonCGT: Reference-Based Color Grading via Canonical Pivot Representation motivation figure
同一输入图像依据不同参考图得到风格各异的调色结果，展示 canonical pivot 的灵活性 [page 1 Fig.1]

reference-based color grading 的根本障碍不在于「如何迁移参考色调」，而在于输入图像本身往往已携带拍摄或编辑留下的色调偏置（tonal bias）。现有 style transfer 方法在 feature space 对齐统计量时，该偏置会被一并放大，导致过激色偏或纹理失真；filter-based 方法则因只学 natural→filtered 映射，面对已有强风格的输入时要么保留原有色调、要么产生风格叠加。核心洞察是：必须先将任意风格的输入规范化到一个「风格中性」的 canonical 基态，才能稳定地施加参考风格——canonicalization（many-to-one）与 grading（one-to-many）的解耦是打破这一死结的关键。

3. Method overview

CanonCGT: Reference-Based Color Grading via Canonical Pivot Representation method figure
CanonCGT 三部件概览：(a) Grade Extractor 从输入 X 和参考 R 各提取 grading vector x/r；(b) Canonicalizer 以 x 为条件生成 3D LUT Tc 去除 X 的色调偏置得到 canonical 图 Y；(c) Grader 以 r 为条件生成 3D LUT Tg 将 Y 映射为最终输出 Z [page 3 Fig.3]

CanonCGT 将 reference-based color grading 拆分为 canonicalization（去风格偏置，many-to-one）和 grading（施加参考风格，one-to-many）两阶段，二者均通过 conditioned LUT generator 生成 3D LUT 实现结构保留的颜色变换。训练分 supervised warm-up（FiveK + 56 种 Lightroom preset）和 self-supervised refinement（6 个无标注数据集，88K 张）两个阶段（DP-CGT）。

  • 输入 / 输出：输入：待调色 sRGB 图像 X + 参考 sRGB 图像 R；输出：色调匹配参考风格的重调色图像 Z
  • 核心机制：Grade Extractor：以 MobileNet-v2 为骨干，对比学习（supervised contrastive loss）使同一 preset 的图像嵌入聚集，构建 tone-aware latent space，提取紧凑 grading vector。Conditioned LUT Generator（Canonicalizer/Grader 共享架构）：CNN 特征提取器将 L×L 图像压缩为 token 序列，经 6 个 SA（多头自注意力）+ FFN-FiLM encoder block 建立全局色彩依赖；FiLM 调制以 grading vector g 生成 scale/shift（α=W1g，β=W2g）；8 个 CA + FFN-FiLM decoder block 以 identity LUT Ti 的 grid point 为 query token，通过 cross-attention 从图像特征中注入场景色彩上下文，逐步精化每个 LUT entry，输出 3D LUT To，应用于图像。DP-CGT：supervised phase 先训 Grade Extractor（Lsupcon），再训两阶段 LUT（reconstruction loss Lrec：像素+梯度+感知），最后端到端联合微调；self-supervised phase 对同张图随机裁两块 A/B，施加随机 color grading 变换 t～T 得 A*/B*，CanonCGT 对 (A,B*) 和 (A*,B) 对称重建，仅对输出施加 Lrec。
  • 训练 / 评价：训练数据：supervised phase—MIT-Adobe FiveK（4,500 训练张）+ 56 种 Lightroom preset 合成 grading style；self-supervised phase—Flickr2K/LSDIR/PPR10K/DIV2K/Food-101/GLD-v2 共 88,516 张。评价：在 6 个无监督测试集（20,196 张）上自参照协议（A→A* 随机色调变换后 grade 回 B 比较 A 重建质量）。指标：PSNR/SSIM/ΔEab（色彩保真度）、LPIPS/SSIMED（内容保全）、H-Corr/H-Chi（色调分布对齐）。关键结果：PSNR 28.99 dB（Deep Preset 18.62）、SSIM 0.9608（0.8582）、ΔEab 5.46（15.21）、LPIPS 0.0665（0.1750），全面领先。风险：评价协议为自参照（无真实 reference-target ground truth pair），评价的是一致性而非「风格迁移质量」；ΔEab 而非 ΔE2000，对大色差区域权重不同。
  • 读法：重点盯 DIV2K 和 GLD-v2 这两个测试集的 per-dataset 结果（supplement）：DIV2K 是高分辨率多样化场景，GLD-v2 是地标建筑，二者均包含强结构纹理，验证 LUT-based 变换在高频区域是否会引入色条纹或局部不一致。另外对比 Deep Preset 在「输入带强风格」场景的 canonicalization 中间结果（Fig.8）是核心 demo，看 canonical image Y 是否真的达到接近中性的色调。

4. 创新点

引入 canonical pivot 概念——将 grading style 的 many-to-many 映射解耦为 many-to-one（canonical） + one-to-many（grading），结合 FiLM-conditioned LUT generator 和 DP-CGT 双阶段训练，实现了对「预先编辑图像」的稳定重调色，这是 filter-based 方法的根本盲区。

5. 优点与不足

优点：PSNR/ΔEab 大幅超越所有对比方法，canonical pivot 有效抑制了 style accumulation；代码公开（GitHub）。不足：① MobileNet-v2 Grade Extractor 仅在 56 种 preset 定义的离散风格空间上学习，对 cinematic LUT 或 HDR tone mapping 等圈外风格的泛化能力未验证；② 3D LUT 为全局颜色变换，无法处理需要空间自适应（selective color、局部调色）的场景；③ 自参照评价协议相对薄弱，A* 和 B 共享场景内容，grading style 转移的「跨场景」泛化质量没有独立 ground truth 可评价。

6. 改进方向

① 扩展 Grade Extractor 至更大规模对比学习（引入专业摄影师的 XMP/CUBE LUT 标注），使 grading vector 覆盖电影调色风格，验证 ARRI/RED RAW 后期流程的适用性；② 在 LUT generator 中加入轻量 spatial conditioning（如 semantic segmentation mask），支持天空/肤色等区域的局部自适应调色，扩展至视频逐帧一致性应用。

004

AceTone: Bridging Words and Colors for Conditional Image Grading

Tianren Ma, Mingxiang Liao, Xijin Zhang, Qixiang Ye

CVF · PDF · arXiv

AWB/CCMHDR/ExposureGeneration/Edit

1. 要解决什么问题

文本/参考图驱动的 color grading 长期依赖固定 filter bank 或 patch 级 recoloring，既缺乏语义灵活性，又难以保证美学一致性。对 ISP 下游而言，从 log/raw 到 display 的调色意图往往需要自然语言表达，但现有方案（如 diffusion 编辑）延迟高、破坏性强，无法嵌入模块化 pipeline。

2. Motivation · 动机与启发

AceTone: Bridging Words and Colors for Conditional Image Grading motivation figure
AceTone 支持的两种条件范式：参考图驱动（上）与文本指令驱动（下） [page 1 Fig.1]

现有 color grading 方案把调色操作建模为回归目标，用对抗 loss 逼近真值 LUT，但 min-max 对抗训练天生不稳定，而且无法表达文本意图的创意灵活性。AceTone 的切入点来自两个观察：① VLM 已在海量图文对上学到丰富的视觉语义先验，具备理解「cinematic blue tint」这类模糊调色指令的能力；② 3D-LUT 是非破坏性、轻量的调色表示，一旦将其离散化为 token 序列，调色问题就变成可用 RLHF 框架对齐的生成式序列预测，从根本上绕开了对抗训练的不稳定性，同时天然兼容参考图与文本两种条件。

3. Method overview

AceTone: Bridging Words and Colors for Conditional Image Grading method figure
AceTone 框架全图：左侧 VQ-VAE tokenizer 将 3×32³ LUT 压缩为 64 个离散 token；右侧 VLM 在 PST/IGG 两种条件下自回归预测 token 序列，再经 GRPO 以 ΔE 与美学奖励对齐输出 [page 3 Fig.2]

AceTone 的核心是把 color grading 转换成 LUT token 预测问题：先用 3D VQ-VAE 将连续 LUT 离散化为 64 个整数 token（codebook size K=256），再微调 Qwen2.5-VL-3B，让其根据文本或参考图自回归预测 LUT token 序列，最后以 GRPO 做 RL 对齐，奖励信号为 CIEDE2000 色差（rcolor）和 DeQA 美学分（raes）的组合。

  • 输入 / 输出：输入：sRGB 查询图 + 文本描述（IGG）或 sRGB 参考图（PST）；输出：3×32³ 的 3D-LUT，可直接非破坏性应用于查询图
  • 核心机制：VQ-VAE tokenizer 用级联 3D Conv 把 LUT 下采样到 4×4×4×D 潜空间，再 vector quantize 为 T=64 个整数 token；解码时 EMA 更新 codebook，重建 ΔE=1.38（99.98% 压缩比）。VLM 预训练阶段在 MS-COCO 上学习 (I, L(I), c) → zL 的自回归分布；SFT 阶段在 Adobe-5K/PPR-10K 上分别针对 PST 和 IGG 微调；GRPO 阶段采样 G 组 rollout，以 ΔE<2 为上限计算 rcolor = max(2,1/ΔE)−1，配合 KL 正则稳定策略更新。
  • 训练 / 评价：数据：~800K 自动标注 (I, LUT, 文本指令) 三元组（Qwen2.5-VL-32B 生成 caption），LUT 来自 10K 授权 cube 文件 + PPR-10K 专家编辑 + K-means 聚类的 8192-LUT fuse library。评价指标：PSNR、LPIPS、CIEDE2000 ΔE、DeQA 美学分；在 PST-50（50 样本）、AceTone-Bench[Transfer]（1024 样本）、AceTone-Bench[Instruct]（128 样本）上测试。主要风险：评价的 ground truth 本身是 LUT 应用结果，而非真正的主观美学金标准；RL 奖励中美学分来自单一 DeQA 模型，可能过拟合该模型的审美偏好。
  • 读法：重点核查 Table 2/3 中的 ΔE 数字——PST-50 上 AceTone ΔE=7.26（vs SA-LUT 9.01）仅提升约 19%，而 LPIPS 提升幅度（0.09 vs 0.16）更显著；需判断 ΔE 改善是来自 GRPO 对齐还是仅仅因为 LUT tokenizer 本身对颜色平滑了表示空间。

4. 创新点

首个把 3D-LUT 量化为离散 token、再用 VLM + GRPO 做端到端 color grading 的系统，把调色意图建模为生成式 token 预测而非回归，从根本上绕开了对抗训练的不稳定性。

5. 优点与不足

优点：LUT 表示天然可解释，非破坏性应用；GRPO 对齐比 adversarial loss 稳定；推理仅需约 1s，可集成进实时 ISP pipeline。不足：VQ-VAE codebook size 仅 256，对极端创意调色（高饱和/大幅 hue shift）的表达能力存在瓶颈；训练的 AceTone-800K 数据集未开源，复现成本高；RL 奖励的 ΔE 参考图仍是人工构造的 LUT 对，无法保证与真实创意意图对齐。

6. 改进方向

1. 将 codebook 扩展到 512 或采用 residual VQ，提升对极端调色风格的拟合上限，同时测量 LUT tokenizer 对 wide-gamut / HDR 信号的 ΔE 上界。2. 在奖励函数中引入色恒常约束（如保持 neutral 区域的 CCT 不漂移），使 GRPO 训练出来的调色结果对 AWB 后的 raw pipeline 更友好。

005

Nonlinear Color Transfer via Learnable Bezier Flows

Junhyoung Lee, Seongwoon Jo, JeongHun Park, Yeonji Ryou, et al. (6 authors)

CVF · PDF · Supp

AWB/CCMGeneration/Edit

1. 要解决什么问题

基于 rectified flow 的颜色迁移（代表：ModFlows）强制颜色轨迹沿直线从源分布传输到目标分布，导致 RGB 空间中颜色簇的中间状态高度模糊——多个颜色需要朝不同目标方向运动，却被迫经过相同的直线邻域，产生 trajectory misalignment 和局部 chromatic artifact。对高分辨率 3D 渲染素材尤为严重，因其颜色分布复杂且非高斯。

2. Motivation · 动机与启发

Nonlinear Color Transfer via Learnable Bezier Flows motivation figure
直线 Rectified Flow（中）与 Bezier Flow（右）的颜色重建对比：直线路径产生色偏，Bezier 路径更忠实还原 [page 1 Fig.1]

Rectified flow 将颜色从源分布输运到目标分布时，强制路径沿直线行进——这是优化上的简化假设，但并不是 OT 的数学要求。作者发现，在 RGB 空间中多个颜色簇朝不同目标方向演化时，直线路径会导致中间态高度收敛（不同颜色簇在同一邻域通过），产生 trajectory misalignment 和局部色差伪影，在 3D 渲染素材这类颜色分布复杂的场景尤为明显。这一观察启发了 Bezier 参数化：只需引入一个可学习控制点，就能让传输路径绕开「拥挤」的直线中间态，以极少的参数开销实现更贴合真实颜色轨迹的非线性输运。

3. Method overview

Nonlinear Color Transfer via Learnable Bezier Flows method figure
NCT 框架：Phase 1 用 MLP 逐图学习 Bezier 控制点 zg，生成 (图像, Bezier flow) 配对数据集；Phase 2 训练 MoE encoder（EfficientNet-B6 + 第 4 MBBlock 的 MoE 模块）预测 flow code c，使模型泛化到未见图像对 [page 2 Fig.2]

NCT 在 Monge-Kantorovich OT 框架下，把源色分布到均匀潜空间 U⊂[0,1]³ 的输运路径替换为二次 Bezier 曲线：zt = (1-t)² z0 + 2t(1-t) zg + t² z1，其中控制点 zg 由轻量 MLP（1024 hidden，8195 参数）逐图预测。两阶段训练：Phase 1 为每张图独立优化 Bezier flow，Phase 2 训练带 MoE 的 EfficientNet-B6 encoder，使其能直接从输入图像预测 flow code，实现未见图像对的实时迁移。

  • 输入 / 输出：输入：sRGB 内容图（source）+ sRGB 风格图（target）；输出：颜色分布与 target 对齐、结构与 source 一致的 sRGB 结果图
  • 核心机制：控制点预测器 gϕ 接收 (z0, z1) 对，输出 zg，使得 Bezier 路径绕开直线 convergence 问题。Phase 2 的 MoE 模块插入 EfficientNet-B6 第 4 MBBlock 的 1st MBConv 层：K=4 个专家各产生特征 hk，gating 网络对 GAP(f) 做 softmax 得到 αk，输出为加权和 y=Σαk hk，再参数化 Bezier flow 的 velocity field。训练损失为 flow matching loss：E[‖vt − vc(zt,t)‖²]，其中 vt 是 Phase 1 学到的 Bezier velocity，vc 是 encoder 预测的 velocity。
  • 训练 / 评价：训练数据：DIV2K + CLIC2020（5034 自然图像）+ LAION-Art-en-ColorCanny（艺术图像）构成 ModFlows dataset；另有 480 张 3D 渲染媒体艺术图像用于领域外测试。评价：aggregated score（content score + style score 到理想点的欧氏距离）；content score 用灰度图/深度图（DepthFM）/边缘图（HED）的 DISTS 衡量；style score 用 Wasserstein 色分布距离；另报 LPIPS、PSNR、SSIM。风险：aggregated score 是两个方向之间的 trade-off 设计，在调色强度不同的任务上排名可能与人眼感知不一致；用户研究样本较小（NCT 获 46% 偏好）。
  • 读法：对比 Table 1 中 NCT w/o MoE 与 NCT 的差异：去掉 MoE 后 PSNR 反而更高（14.79 vs 14.04），但 aggregated score 更差，说明 MoE 的贡献在于降低 style 距离而非提升内容保真度，需要确认 MoE 的实际作用是否真的来自 Bezier flow 的多样性还是仅仅因为参数量更多。

4. 创新点

首次将可学习 Bezier 控制点引入 flow-based 颜色迁移，实证证明直线路径假设（rectified flow 的核心）并非 OT 成立的必要条件，并配合 MoE encoder 同时处理非线性轨迹学习和跨颜色区域的异质性。

5. 优点与不足

优点：Bezier 参数化轻量（Phase 1 仅 8195 参数），Phase 2 encoder 也基于成熟 EfficientNet，工程成本低；在 3D 渲染媒体艺术数据上比 ModFlows 有明显改善，说明对非自然图像有实际价值。不足：训练数据集 DIV2K+CLIC2020 偏自然图像，对极强风格化（如黑白转彩色、跨色调空间大幅迁移）的泛化未见测试；二次 Bezier 只有一个控制点，高阶非线性颜色轨迹（如需要多次弯折的颜色路径）无法精确捕捉；整体 PSNR 数值（约 14dB）偏低，说明颜色迁移后图像的像素级重建误差依然较大。

6. 改进方向

1. 将二次 Bezier 推广为三次（两个控制点），测试对大幅 hue shift 场景（如暖光→冷光 illuminant 变换）的轨迹拟合精度是否有收益。2. 把 style score 从 Wasserstein 距离替换为 CIEDE2000 加权的感知分布距离，使评价指标与 ISP/color grading 实际关心的色貌对齐，而非仅看 RGB 统计。

006

Too Vivid to Be Real? Benchmarking and Calibrating Generative Color Fidelity

Zhengyao Fang, Zexi Jia, Yijia Zhong, Pengcheng Luo, et al. (8 authors)

CVF · PDF · arXiv · Supp

AWB/CCMGeneration/Edit

1. 要解决什么问题

T2I 生成模型（SDXL、SD3、PixArt、Kolors 等）在 realistic-style 提示下系统性地输出过饱和、高对比的图像，但 PickScore、ImageReward、HPSv3、MPS 等主流评价指标反而对高饱和图像打出更高分，形成正反馈循环。问题根源是缺乏专门衡量「色彩真实性（color fidelity）」的数据集和指标：现有 IQA/aesthetic 指标设计目标是 semantic alignment 或视觉吸引力，不捕捉生成图像与真实摄影色彩分布的偏差。

2. Motivation · 动机与启发

Too Vivid to Be Real? Benchmarking and Calibrating Generative Color Fidelity motivation figure
Panel A：T2I 模型输出系统性过饱和（左）且现有评价指标对高饱和图打分更高（右）的双重偏差示意 [page 1 Fig.1]

T2I 模型在 realistic-style 提示下系统性输出过饱和图像，作者的关键发现是：这不仅是生成偏差，还是「评价偏差→训练信号→更过饱和」的正反馈闭环。实验证明，在真实照片上逐步提升饱和度，PickScore/HPSv3 等主流指标反而会持续打出更高分，说明这些 preference metric 本质上在奖励视觉冲击力而非色彩真实性。这一双重偏差的揭示，催生了用 CFG guidance scale 作为「受控色彩失真变量」来构建有序训练数据的思路——不需要人工标注，就能为 color fidelity 评价模型提供监督信号。

3. Method overview

Too Vivid to Be Real? Benchmarking and Calibrating Generative Color Fidelity method figure
CFM 训练流程：对每个 prompt，将 real 图像和多份 CFG-scale 递增的合成图组成有序色彩真实性序列，送入 Qwen2-VL + MLP 预测 fidelity score，以 softrank loss 监督组内排序一致性 [page 4 Fig.3]

三个相互配合的组件：① CFD（Color Fidelity Dataset）——通过控制 CFG guidance scale 批量合成具有有序色彩失真程度的图像序列，构建 1.33M 张规模的 real-vs-synthetic 对比数据集；② CFM（Color Fidelity Metric）——以 Qwen2-VL 为 multimodal backbone + MLP head，用 softrank loss 在 CFD 上做组内排序训练；③ CFR（Color Fidelity Refinement）——training-free 插件，利用 CFM 的 cross-modal attention map 识别色彩–语义不一致区域，在扩散去噪过程中对这些区域的 CFG guidance scale 做空间×时序联合衰减。

  • 输入 / 输出：CFM 输入：图像 + 文本 prompt；输出：标量 color fidelity score。CFR 输入：T2I 扩散模型推理过程中的 latent + attention map；输出：经过 guidance scale 调制的去噪结果（无需改动模型参数）
  • 核心机制：CFD 构建：189,490 张高质量真实照片（COCO + Open Images，经 CLIPIQA + Qwen2.5-VL 72B 质量过滤），对每张自动生成 caption，再用 11 个 T2I 模型以递增 guidance scale 生成 6 张合成变体，形成长度 7 的色彩真实性有序序列（real 为最高保真度）。CFM 架构：Qwen2-VL 将图像和 text 联合编码为 token 序列 F；MLP head 输出 token-level logits，以 special token <|Reward|> 对应的 logit 作为 fidelity score SCFM；训练采用可微 softrank loss——对组内 K 张图计算 pairwise sigmoid 概率 Pij = σ((rj-ri)/τ)，得 soft rank R̂i = 1 + ΣPij，最小化 MSE(R̂, R)，强制保持组内色彩真实性排序一致性。CFR 调制：从 Qwen2-VL 提取 text-to-image cross-modal attention map a（N×M → M 维聚合），reshape 到 latent 空间分辨率；在去噪步 t 将 guidance scale 调整为 st(u,v) = s0[1 - λ·α(t)·a'(u,v)]，其中 α(t) = 1-t/T 为时序衰减系数，高 attention（色彩语义不一致）区域获得更低的有效 guidance scale。
  • 训练 / 评价：CFM 训练：CFD-Training（1.12M 张，SDXL/SD3/SD3.5/PixArt-Σ/Kolors/CogView4/Hunyuan-DiT 生成），Qwen2-VL fine-tune 1 epoch，lr=2e-6，batch=32，H20 GPU。评价：① pairwise discrimination accuracy on CFD-Test——CFM 83.6%（CFD-SynPairs）/ 80.1%（CFD-Real&Syn），vs HPSv3 57.5%/58.3%；② human correlation on CFD-Human（20K+ 人工标注）——Spearman ρ=0.849，Pearson r=0.854，Kendall τ=0.714，大幅超越 HPSv3（74.4/76.0/62.8）。CFR 结果：SD3.5 上 CFRCFM 将 ΔSat. 从 0.15 降至 0.07，CFM 分 4.9→6.9，FID/CLIPScore 基本不变。风险：CFD 的「有序性」假设依赖 guidance scale 单调增加饱和度这一特性，对 SRPO 等通过 reward fine-tuning 调整分布的模型，此假设可能不完全成立；CFR 依赖 Qwen2-VL 推理，无法在不支持 CFM 的闭源模型上应用。
  • 读法：重点盯 SRPO 的 CFM 得分（9.05，远高于 Flux-dev 等）：SRPO 是通过 online reward adjustment 训练的模型，其高 color fidelity 是否来自真正的色彩自然度还是恰好规避了 CFD 构建时的 guidance-scale artifacts？需看 SRPO 在 CFD-Human 子集上的相关性是否也最高。

4. 创新点

提出以 guidance scale 为「色彩失真控制变量」系统构建有序色彩真实性数据集，并将 color fidelity 评价转化为可微排序学习问题（softrank loss）而非二分类或回归，同时将评价模型的 attention map 直接用于训练无关的 CFR 调制，形成 assess→refine 闭环。

5. 优点与不足

优点：CFD 构建方案可扩展（控制变量清晰），CFM 在 pairwise accuracy 和人工一致性上均大幅超越现有 aesthetic metrics；CFR 无需重训任何模型，plug-and-play。不足：① CFD 的真实性排序依赖「CFG scale 越高→色彩失真越重」这一假设，但 vanilla CFG 不是所有模型的主要色彩偏差来源（如 flow-matching 模型的行为不同）；② CFM fine-tune 的是 Qwen2-VL，参数量大（7B+），工程部署成本高；③ ΔSat. 是全局饱和度偏差的粗略代理指标，无法区分局部过饱和（天空/植物）与全局色温偏移，报告的指标不能完整描述「色彩真实性」的多维内涵。

6. 改进方向

① 用 CIELAB 色度统计距离（如 ΔC* 和 ΔH* 分量的分布 Wasserstein 距离）替换 ΔSat. 作为更精细的色彩保真度指标，区分色相偏移与饱和度失真；② 将 CFD 的构建方式推广到非 CFG 失真类型（如 color temperature bias、shadow lift/highlight clipping），扩展 CFM 对更广泛色彩失真的覆盖，使其适用于 RAW-to-sRGB ISP 管道的输出质量评估。

007

GenColorBench: A Color Evaluation Benchmark for Text-to-Image Generation

Muhammad Atif Butt, Alexandra Gomez-Villa, Tao Wu, Javier Vazquez-Corral, et al. (6 authors)

CVF · PDF · Supp

AWB/CCMGeneration/Edit

1. 要解决什么问题

T2I 生成模型（SD3、FLUX 等）无法精确控制颜色：即便 prompt 明确指定颜色，生成结果的主导色往往偏离目标，数值颜色（RGB/hex）更几乎完全无法遵循。现有 benchmark 要么完全忽略颜色（GenEval、DPG-Bench），要么仅做粗粒度类别匹配，既无覆盖 fine-grained 命名色（如 ISCC-NBS Level 3 的 "moderate purplish pink"），也无数值颜色任务。这是 T2I 模型嵌入专业设计/印刷/品牌工作流的核心阻碍。

2. Motivation · 动机与启发

T2I 模型在颜色控制上的短板已被业界感知，但缺乏系统性数据支撑——现有 benchmark（GenEval、T2I-CompBench 等）要么不含颜色维度，要么仅用粗粒度类别匹配，既不覆盖细粒度色名（如 ISCC-NBS Level 3），也完全忽略数值颜色（RGB/hex）。更关键的是，作者指出用 VLM 做颜色 judge 本身不可靠——7 个主流 VLM 在开放式颜色识别上准确率均低于 45%，因此必须回到色彩科学的客观量化（CIELuv dominant hue + CIEDE2000）才能建立可信的评价协议。这两个缺口（benchmark 缺失 + 评价方法缺陷）共同定义了 GenColorBench 的动机。

3. Method overview

GenColorBench: A Color Evaluation Benchmark for Text-to-Image Generation method figure
GenColorBench 评价框架：五类颜色任务（CNA/COA/MOC/ICA/NCU）示例及右侧端到端 pipeline（VQA 对象确认 → Grounded SAM 分割 → dominant hue 提取 → ΔE 打分） [page 4 Fig.1]

GenColorBench 是一个纯评价基础设施，不涉及新模型训练。它在 ISCC-NBS（3 层级共 13→29→fine-grained）和 CSS3/X11（147 色）两套色名体系下，构造 44K+ 提示词覆盖 5 类任务，并设计了一套不依赖 VLM 判色的客观评估流程：用 Janus-1.3B VQA 确认对象存在，Grounded SAM 分割目标区域，再在 CIELuv 空间做 PCA 提取 dominant hue，最后以 CIEDE2000 ΔE 打分。

  • 输入 / 输出：输入：T2I 模型生成的 sRGB 图像 + prompt 中的目标颜色（ISCC-NBS 色名/CSS3 色名/RGB/hex）；输出：每张图相对目标色的 ΔE 分数及任务级准确率
  • 核心机制：Dominant hue 提取是评估协议的核心：从 Grounded SAM 预测的对象 mask 内提取 RGB 像素，转换到 CIELuv，对色度分量 (u*, v*) 做 PCA，取第一主成分方向 v1 作为主导色方向，将色度投影后的均值 (u*_proj, v*_proj) 联合亮度均值代表对象颜色，与 prompt 目标色做 CIEDE2000 比较。这一设计明确排除了照明/几何引起的多色调混淆，更接近人类对对象颜色的感知抽象。VLM（Janus-1.3B）仅用于二值对象检测，不用于颜色判断，从而规避了 VLM 颜色幻觉问题（Table 2 显示所有 7 个 VLM 在开放式颜色识别上准确率均低于 45%）。
  • 训练 / 评价：数据：108 类物体 × ISCC-NBS/CSS3 颜色体系 × 4 难度级别 prompt 模板 = 44,464 条提示词（18K 单对象 linguistic + 11.5K 数值颜色 + 8.7K COA + 2.2K MOC + 4.5K ICA）。评价对象：SD 3.5、FLUX、PixArt Alpha、Sana、OmniGen2、BAGEL 等主流模型。主要发现：PixArt Alpha 在 CNA 基础色达到 68.78% 最高，但 fine-grained Level 3 降至 44.35%；数值颜色（hex/RGB）理解几乎所有模型均严重不足（NCU 任务分数普遍低于 20%）。风险：dominant hue 的 PCA 在颜色分布高度双峰时（如斑马纹、花卉渐变）可能产生偏差；Grounded SAM 的分割误差会直接传播到颜色分数。
  • 读法：重点看 Table 3 中 NCU（数值颜色理解）一列：这是与 ISP/工业颜色应用最直接相关的任务，模型能否理解 hex code #F5F5DC 对应米色是检验 text encoder 颜色编码能力的硬指标，而非 CLIP embedding 空间中的语义近邻问题。

4. 创新点

首个把颜色评估从 VLM-as-judge 替换为基于色彩科学（CIELuv dominant hue + CIEDE2000）的客观协议，同时覆盖数值颜色（RGB/hex）任务维度，填补了现有所有 T2I benchmark 的系统性空白。

5. 优点与不足

优点：不依赖 VLM 判色，评价方差低、可复现；涵盖数值颜色任务是实质性贡献；44K 提示词规模足够挖掘细粒度能力差异。不足：dominant hue 提取本质是单向量，对多主色对象（如渐变、纹理丰富的材质）描述能力有限；benchmark 专注于「给定对象生成指定颜色」，无法评估场景整体色调一致性或 white balance 感知这类 ISP 关心的全局颜色问题；对 T2I 模型的「修复路径」（如何改进颜色控制）只给出定性建议，无消融数据支撑。

6. 改进方向

1. 在 NCU 任务中增加 CAM16/CIECAM02 色貌空间的转换验证：检验模型是否只是在记忆 sRGB hex 值而非理解颜色感知含义，可通过在不同背景亮度下生成相同 hex 目标色并测量 ΔE 的稳定性来区分。2. 加入全图白平衡/光源一致性子任务：prompt 包含光源描述（"under daylight"、"warm indoor"）时，用 dominant hue of neutral objects 检验生成图的 CCT 是否与语义一致，将 benchmark 延伸到 AWB 对齐问题。

008

ColorFLUX: A Structure-Color Decoupling Framework for Old Photo Colorization

Bingchen Li, Zhixin Wang, Fan Li, Jiaqi Xu, et al. (8 authors)

CVF · PDF · arXiv · Supp

AWB/CCMGeneration/Edit

1. 要解决什么问题

旧照片存在两类退化：物理降质（噪声、划痕）可被现有 restoration 模型处理，但褪色（低饱和度、曝光偏移、色调漂移）形成的 domain gap 才是彩色化难点。直接用现代 T2I 扩散模型上色时，文本 prompt 无法捕捉图像细粒度语义，导致 color bleeding 以及不符合现代人审美的偏色结果。FLUX 模型的 flow matching 框架虽具强大色彩先验，但如何让它同时做到结构保真与色彩还原并不平凡。

2. Motivation · 动机与启发

ColorFLUX: A Structure-Color Decoupling Framework for Old Photo Colorization motivation figure
旧照片彩色化效果总览：黑白历史影像（隐含褪色 domain gap）→ ColorFLUX 还原后的彩色结果 [page 1 Fig.1]

旧照片的褪色退化（低饱和、色温漂移）与现代照片分布存在实质 domain gap，直接用 T2I 模型上色时文本 prompt 无法捕捉图像细粒度语义，导致 color bleeding 和审美偏色。作者注意到，结构保真（灰度图结构一致）与色彩还原（颜色先验注入）是两个本质不同的目标，混在一起优化时模型倾向于以牺牲细节色彩准确性换取结构稳定性。将这两个目标解耦为独立训练阶段——ControlNet 专注结构，Redux 微调专注色彩先验对齐——是 ColorFLUX 设计的核心驱动力；Progressive DPO 则进一步解决「褪色语义」难以被 flow matching loss 捕捉的问题。

3. Method overview

ColorFLUX: A Structure-Color Decoupling Framework for Old Photo Colorization method figure
ColorFLUX 三阶段训练框架：(a) 推理流程（ControlNet 保结构 + Redux 提色彩语义），(b) 结构-色彩解耦训练（SCT→BCL→Pro-DPO Fine-color Adjustment 三阶段），(c) 偏好对采集流水线（Brightness/Contrast/Saturation 渐进增强生成 winning/losing 对） [page 3 Fig.3]

ColorFLUX 在 FLUX（Rectified Flow DiT）上设计了三阶段解耦训练：① Structure Consistency Training：冻结 FLUX/Redux，用 ControlNet 接受灰度图和来自 Redux 的 color visual prompt，只优化结构一致性（L_FM 损失）；② Basic Color Learning：微调 Redux，通过 color knowledge distillation（L_distill = ||Φ(I_gray) - Φ'(I_gt)||²）将灰度图嵌入拉近至彩图的 FLUX 色彩先验空间，同时组合 L_FM + αL_distill 联合训练；③ Progressive DPO（Fine-color Adjustment）：对 Brightness/Contrast/Saturation 的偏好对做 Diffusion-DPO，采用「从大增强到小增强」的渐进课程，使模型学会微妙的色彩偏好校正。

  • 输入 / 输出：输入：降质灰度旧照片（先经低级 image preprocessor 去噪/去划痕），可选文字描述；输出：sRGB 域彩色化图像
  • 核心机制：Redux 微调的 color knowledge distillation 是 Basic Color Learning 的核心：Redux 原本提取带颜色偏差的旧照语义，微调后提取无色偏的自然语义嵌入（对齐 FLUX 色彩先验空间）；Progressive DPO 的 Pro-DPO 采用 Diffusion-DPO（LDiff-DPO）损失，preference triplet 中 negative 样本为对 winning sample 施加随机 B/C/S 增强后的结果，training schedule 从大增强幅度逐渐缩小到细微扰动，确保模型关注细腻色彩而非粗粒度变化。
  • 训练 / 评价：评估数据集：DIV2K-valid-synthesized（合成旧化）、DIV2K-valid-augmented（色彩增强）、RealOldPhotos（50 张真实旧照）。评价指标：DeQA/Q-Insight（NR-IQA）、Qwen-score 下 VQ-R1/CRI/CRA（色彩丰富度/合理性）/CCS/SCS（色彩/结构一致性）/AES/OA；ColorFLUX 在 OA（整体）上全面领先，RealOldPhotos 上 OA=83.20 vs. FLUX-Kontext 77.70。风险：Qwen-score 依赖 MLLM 评分，可能受 prompt 设计影响；RealOldPhotos 仅 50 张，泛化结论需谨慎。
  • 读法：重点盯 Basic Color Learning 阶段的 Ldistill 设计——它决定了 Redux 能否在不引入旧照色偏的前提下为 FLUX 提供可靠的色彩条件；同时对比 w/o SCT 和 w/o BCL 的消融结果（Fig.5），验证三阶段各自贡献是否充分解耦。

4. 创新点

将结构保真与色彩还原显式解耦为独立训练阶段，并在 FLUX 的 Rectified Flow 框架下首次引入渐进式 DPO（Pro-DPO）作为颜色偏好后训练策略，通过「由粗到细」的 B/C/S 增强课程让模型学会感知旧照褪色的细微特征。

5. 优点与不足

优点：结构与色彩解耦设计思路清晰，三阶段各司其职；Pro-DPO 的渐进课程在 DPO 框架内属新颖应用；在真实旧照和合成数据集上均超越 FLUX-Kontext 等强基线。不足：三个训练阶段串联导致训练成本高（需分阶段微调 ControlNet/Redux/LoRA）；依赖预训练低级图像预处理器，若预处理引入伪影将影响彩色化质量；RealOldPhotos 评估集仅 50 张，结论统计显著性不足；Redux 微调的 distillation loss 权重 α 的敏感性未做充分消融。

6. 改进方向

1. 将三阶段训练合并为端到端联合优化（通过不同 loss 权重的动态调度），减少训练阶段数量和中间检查点依赖。2. 引入基于 Planckian locus 约束的色温一致性损失，防止同一场景中不同区域出现色温不一致的 color bleeding（当前 CCS 指标仅衡量全图一致性，未针对局部区域）。

009

Towards High-resolution and Disentangled Reference-based Sketch Colorization

Dingkun Yan, Xinrui Wang, Ru Wang, Zhuoru Li, et al. (8 authors)

CVF · PDF · arXiv · Supp

AWB/CCMGeneration/Edit

1. 要解决什么问题

基于参考图的 sketch colorization 存在 spatial entanglement：模型在训练时从 semantic-aligned triplet（sketch 和 reference 均来自同一 ground truth）中学到了将参考图的空间语义迁移到输出的spurious correlation；推理时 sketch 与 reference 来自不同图像，这种 spurious correlation 引发结构失真、颜色 bleeding 和多余对象。问题随训练步数加深（Fig.3 可见 Gram matrix 逐渐偏移），且在高分辨率下更加严重。

2. Motivation · 动机与启发

Towards High-resolution and Disentangled Reference-based Sketch Colorization motivation figure
方法与最新方法比较：高分辨率下准确颜色与解耦空间语义 [page 1 Fig.1]

现有方法识别到了训练/推理分布不一致（semantic-aligned triplet vs. misaligned 推理对）导致的 spatial entanglement 问题，但都止步于「缓解症状」（抑制伪影/背景 entanglement），而非消除根源。作者观察到：若直接在模型内部让「对齐分支」与「不对齐分支」的特征分布保持一致，distribution shift 本身就会被压缩掉——无需依赖外部 teacher、无需改数据集构造，只需在单个训练步内引入跨分布 Gram 约束即可自锚定。这一洞察将问题从「后处理伪影」转化为「训练时分布对齐」，催生了 Dual-Branch + Gram Regularization Loss 的整体设计。

3. Method overview

Towards High-resolution and Disentangled Reference-based Sketch Colorization method figure
Dual-Branch Feature Alignment 框架：左侧 semantic-aligned 与 semantic-misaligned 双分支 SDXL U-Net（共享权重），中间 Gram regularization loss 对齐两分支特征分布；右侧 WD-Tagger + OpenCLIP-bigG 双编码器提供属性级细粒度条件，Plugin module 在 t=0 一次执行注入低级纹理 [page 4 Fig.4]

方法核心是 Dual-Branch Feature Alignment（DBFA）+ Gram Regularization Loss，在 SDXL（AnimagineXL 初始化）backbone 上操作。两条共享权重的 U-Net 分支分别模拟训练分布（semantic-aligned branch：reference 来自 GT）和推理分布（semantic-misaligned branch：reference 随机采样）；Gram loss 约束两分支最低分辨率 encoder/decoder 块特征的 Gram matrix 保持一致，强制空间特征只依赖 sketch 而与 reference 无关。附加：WD-Tagger（Swin Transformer v2，在动漫数据上预训练的多标签分类器）替换 CLIP-L 作为细粒度属性编码器；Plugin module 在 refine 阶段用独立 encoder 注入前景/背景低级特征，只在 t=0 执行一次。

  • 输入 / 输出：输入：线稿 sketch（支持多种边缘/线条提取风格）+ 参考彩图（arbitrary，推理时可与 sketch 来自不同角色）；输出：sRGB 高分辨率彩色图（1024²～1280²）
  • 核心机制：Gram loss L_gram = Σ_l ||stop_grad(G(x_aligned^l)) - G(x_misaligned^l)||²_F，其中 G(x)=xx^T 为 feature map 的 Gram matrix；stop_grad 作用于 aligned branch 输出，只对 misaligned branch 反传梯度，防止 anchor 漂移。此设计是「self-anchoring」机制，不依赖外部网络（如 VGG）或历史检查点。训练前 33% 步 λ=0，之后激活（λ=1）。WD-Tagger 替换 CLIP-L 后 FID 从 15.68 降至 13.79（ablation）；完整方法最终 FID=10.48 vs. Yan et al. FID=12.14。
  • 训练 / 评价：训练数据：6M 高分辨率动漫插图（8×H100 HBM3，DeepSpeed ZeRO-2，batch=128，lr=1e-5，backbone 70K steps + plugin 10K steps，共 72h）。评价指标：FID（50k 验证 triplet 主指标）、MS-SSIM、PSNR、CLIPScore；用户研究（偏好度）。风险：FID 对高频纹理细节不敏感，PSNR/MS-SSIM 要求像素级对齐而 reference 与 GT 不同时语义意义有限；方法专注于动漫风格，泛化至写实 sketch 未验证。
  • 读法：抓住 Gram loss 的 stop_grad 设计：去掉 stop_grad 后 self-anchoring 机制是否崩溃、两分支 collapse 怎么体现？对比 Fig.6 中「w/ Gram loss」的 attention map 变化，验证 spatial entanglement 是否真正消除，而非只是 FID 数字改善。

4. 创新点

通过显式对建训练分布（aligned）和推理分布（misaligned）的双分支并行前向，在单训练步内就能计算跨分布的 Gram 一致性损失，从根本上解决 distribution shift 引发的 spatial entanglement，而非像前人工作那样只缓解伪影。

5. 优点与不足

优点：Gram loss 无需额外外部网络或 teacher checkpoint，计算开销仅+10% 显存/+30% 时间；WD-Tagger 的动漫专属属性嵌入相比通用 CLIP 具体可控；支持 1024²-1280² 高分辨率输出。不足：方法强依赖动漫领域数据（6M 动漫图），对写实 sketch 或其他艺术风格泛化性未报告；Plugin module 在 t=0 只执行一次的设计虽高效，但对需要精细局部控制的细节区域（如发丝纹理）可能不足；Gram matrix 计算限于 U-Net 最低分辨率层，是否足以消除高分辨率层的 entanglement 未充分验证。

6. 改进方向

1. 将 Gram loss 扩展到 U-Net 中间分辨率层（目前仅作用于最低分辨率），并研究跨层 Gram 对齐权重的自适应调度，提升细粒度结构处的 entanglement 消除能力。2. 引入 ISP 链路中常见的颜色校正约束（如 gray-world 或 reference white patch 对齐），确保在参考图色温与场景不匹配时生成结果的 global color cast 可控。

010

InstantRetouch: Efficient and High-Fidelity Instruction-Guided Image Retouching with Bilateral Space

Jiarui Wu, Yujin Wang, Ruikang Li, Fan Zhang, et al. (6 authors)

CVF · PDF · Supp

AWB/CCMGeneration/Edit

1. 要解决什么问题

diffusion-based 图像 retouching 存在两个根本矛盾：① 生成式模型操作在 VAE latent 上，latent 同时编码内容和色调，调色时易产生 content drift（几何/纹理变形）；② 迭代采样效率极低（FLUX-Kontext 720p 需 10.2s，Gemini-2.5-Flash 需 14.4s），无法支持 4K 级应用。传统 bilateral grid 方法（3D LUT/RSFNet）效率极高但缺乏语义理解，无法处理「cinematic feel」「dreamy」等风格指令。

2. Motivation · 动机与启发

InstantRetouch: Efficient and High-Fidelity Instruction-Guided Image Retouching with Bilateral Space motivation figure
InstantRetouch 与主流编辑方法对比：保真度、质量、速度三维优势 [page 1 Fig.1]

扩散模型编辑的核心矛盾在于：VAE latent 将颜色与内容结构混在一起，调色时稍有偏差就引发 content drift（几何/纹理变形）；而传统 bilateral grid 处理天然保几何，却完全不懂语言指令。作者观察到，bilateral grid 的参数空间足够低维（一个全局 3D 仿射变换表），可以作为扩散模型的输出目标——这样扩散 prior 只负责「读懂指令、规划调色意图」，真正施加的像素变换由 bilateral grid 完成，两者各司其职，从架构层面根除 content drift。蒸馏而非端到端训练是实现 4K 推理效率的关键，VSD 框架使得单步 generator 能继承多步 teacher 的语义感知能力。

3. Method overview

InstantRetouch: Efficient and High-Fidelity Instruction-Guided Image Retouching with Bilateral Space method figure
InstantRetouch 双分支框架：低分辨率一步扩散分支（冻结 VAE + 一步 U-Net ε_θ，VSD 蒸馏 + CLIP prompt alignment loss）与全分辨率 bilateral processing 分支（Light Bilateral Adapter → Affine Bilateral Grid → Guided Slice & Apply）协同工作 [page 4 Fig.2]

InstantRetouch 将多步扩散 teacher 蒸馏至预测 bilateral grid 参数的一步 generator Gθ。Gθ 由两个分支组成：低分辨率一步扩散分支（U-Net ε_θ，从多步 teacher ε_φ 初始化）负责语义理解和蒸馏 diffusion prior；全分辨率 bilateral processing 分支（轻量 bilateral adapter）输出 Γ ∈ R^{Hg×Wg×D×12}，通过 trilinear interpolation 的 guided slice-and-apply 作用于原始高分辨率图。蒸馏框架采用 Variational Score Distillation（VSD）+ CLIP-based prompt alignment loss + bilateral loss，两阶段渐进训练（先训低分辨率分支，再联合训练全分辨率分支）。训练数据：自建 ~200K triplet (x, x*, cT) 数据集（Qwen2.5-VL-72B 生成 retouching 指令，Grounding-SAM 生成局部区域掩码）。

  • 输入 / 输出：输入：任意分辨率 sRGB 图像 + 自然语言 retouching 指令（如「make it feel warmer and more cinematic」）；输出：保持几何/纹理不变的色调/色彩调整后 sRGB 图像，支持 4K（68ms 常数延迟）
  • 核心机制：Bilateral grid Γ 存储 3D 仿射参数，对每个像素以坐标 (x', y') 和灰度引导值 z=g(r,g,b) 作为 trilinear interpolation 索引，输出像素级 4×3 仿射矩阵 A；全分辨率处理完全绕过 latent 空间，从根本上消除 content drift。Prompt alignment loss 将指令分解为原子 retouching 属性（如 brightness:up, temperature:warm），用 InfoNCE loss 对每个属性方向做对比监督，弥补一步蒸馏后语义方向引导的减弱。渐进式 timestep 课程：先高 t（学色调/曝光粗结构），再低 t（学细粒度颜色）。
  • 训练 / 评价：评估基准：自建 iRetouch（500 对真实 Lightroom 前后对，含 GPT-4o 生成指令）；评价维度：内容保真度（SSIM/CW-SSIM/DISTS/GSMD）、编辑质量（SC/PQ/O by GPT-4o 评分）、延迟（720p～4K）。结果：SSIM=0.989（vs. FLUX-Kontext 0.802），延迟 0.065s @ 4K（vs. Gemini 14.4s），O=8.54（vs. Gemini 8.74）。风险：SC/PQ 评分依赖 GPT-4o 的主观判断，存在评测模型偏差；~200K 训练数据由合成降质生成，真实 retouching 风格多样性可能不足。
  • 读法：重点看 Table 2 的消融：「Hybrid (Teacher Features + Bilateral)」vs.「Ours (Full Model)」——bilateral adapter 是否真正从 VSD 蒸馏中获益，还是单纯依赖浅层特征就能达到高保真？同时关注 prompt alignment loss 去掉后（Appendix ablation）对「dreamy/cinematic」等软风格指令的影响，验证 InfoNCE 监督的实际贡献。

4. 创新点

在扩散模型蒸馏框架内，将输出空间从像素/latent 替换为 bilateral grid 参数，使生成式语义理解与保真式 photometric 变换在架构层面解耦，首次实现 4K 常数延迟（68ms）的 instruction-guided retouching，且内容保真度远超扩散基线。

5. 优点与不足

优点：bilateral space 从设计上保证几何/纹理不变性，无需额外 fidelity 约束；4K 68ms 的效率具备实际 ISP 流水线部署价值；iRetouch 基准填补了 photometric retouching 评测空白。不足：Bilateral grid 的低分辨率（Hg×Wg）限制了空间精度，局部精细色彩控制（如单个小物体独立调色）能力受限；训练数据由合成降质+MLLM 指令生成，与真实摄影师 retouching 工作流的 distribution gap 未量化；Prompt alignment loss 的属性分解为 rule-based matcher，对创意性/模糊指令的覆盖率未详细报告。

6. 改进方向

1. 将 bilateral grid 的空间分辨率与内容复杂度自适应绑定（如基于图像的语义分割图动态扩充局部区域的 grid 密度），提升精细局部 retouching 精度。2. 结合 ISP 链路中的 AWB CCT 估计，将色温/色调调整指令映射到 bilateral grid 的色彩通道，确保在 RAW→sRGB 完整流水线中的 retouching 结果与 white balance 一致性。

011

Learning Personalized Photographic Style from Pairwise User Preferences

Jinwoo Kim, Jihye Yoo, Seon Joo Kim

CVF · PDF · Supp

AWB/CCMGeneration/Edit

1. 要解决什么问题

现有 photo retouching 方法要么需要明确的参考图（Photo-realistic Style Transfer），要么依赖 source-target 对（Personalized Image Enhancement，如 Adobe-MIT 5K 摄影师风格）。两类方法都无法从用户的「比较判断」（同一场景哪个版本更好看）中隐式推断并泛化其色彩/调性偏好。这是一个全新任务 Personalized Photographic Style（PPS）learning，难点在于：目标美学只存在于用户头脑中，没有 ground truth，仅有 pairwise 相对判断，且需跨不同内容场景泛化。

2. Motivation · 动机与启发

Learning Personalized Photographic Style from Pairwise User Preferences motivation figure
PPSD 数据集五类图像来源：专业修图、相机 ISP 差异、生成模型、LUT 合成、内容多样 [page 3 Fig.1]

人们评价「哪张照片更好看」比直接说出「我喜欢偏暖色调」要自然得多——pairwise 比较是人类审美偏好的天然表达方式，而非 rating score 或 reference 模版。作者观察到，现有 PST 和 PIE 方法都预设了一个外部 ground truth（参考图或摄影师目标），这在真正个性化场景下是不可得的。受人类感知研究中 pairwise comparison 优于 absolute rating 的启发，该工作尝试从「用户更偏好 A 还是 B」这类相对判断中反向拟合出用户的隐式调色美学，提炼成 encoder 可泛化的 preference embedding 迁移到新场景。

3. Method overview

Learning Personalized Photographic Style from Pairwise User Preferences method figure
PPS 三种基线方法：(a) User-specific Decoder（共享 EDSR encoder + 每用户独立 HIIF decoder 推理时微调）；(b) User Preference Embedding（DINOv2 提取 content+style 嵌入→轻量 Transformer 聚合为 UPE→全局 decoder 条件化）；(c) Exemplar-based Inference（preference triplet 作为 in-context，Transformer 预测查询图风格） [page 5 Fig.4]

本文是一篇 dataset + baseline 论文，主要贡献是三件套：① PPSD 数据集（767 用户 × avg.70 对比判断 ≈ 60K 有效判断，5类图像来源：专业摄影师 Adobe-MIT 5K/Type A、12款相机 ISP 差异/Type B、FLUX-kontext+Qwen 生成/Type C、3D LUT 合成/Type D、内容多样/Type E）；② 三种基线模型（User-specific Decoder、User Preference Embedding/UPE、Exemplar-based Inference 改自 PIE-MSM）；③ 新评价指标 Comparative Quality Score（CQS = BFS × (1+CMR)，BFS 为偏好/非偏好目标的几何均值保真度，CMR 为偏好边距比）。

  • 输入 / 输出：输入：用户的 N 个 pairwise preference 样本（(Ip, In) 对，同一场景两种 ISP/调色版本），以及待处理的查询图像；输出：符合该用户隐式色彩/调性偏好的 retouched sRGB 图像
  • 核心机制：UPE 方案（Model b，性能最优）用 DINOv2 分别提取 preferred/non-preferred 图像特征，以 content embedding = f(Ip)+f(In) 和 style embedding = f(Ip)-f(In) 的方式编码偏好方向，经浅层 Transformer 聚合为 user preference embedding eu ∈ R^d；训练时采用 curriculum 损失 L = w·L_prefer + (1-w)·L_non-prefer，w 从 0.5 线性增至 1.5，先均衡学习两种风格后再聚焦偏好侧；CQS 指标中 BFS 用几何均值防止模型只优化偏好图而放弃非偏好图保真度，CMR 归一化偏好边距。Model b 的 ΔE00 CQS=0.204 最优（Model a=0.154，Model c=0.197）。
  • 训练 / 评价：数据集：PPSD（521 用户训练/50 用户验证，每用户 N=16 参考对 + 16 评估样本）；指标：ΔE00、ΔEOKLAB、LPIPS、PSNR、SSIM，以及自提 CQS。所有基线均用 EDSR encoder + HIIF decoder，训练 100 epoch。风险：50 个验证用户偏少，跨人群泛化不充分；PPSD 的 Type B 仅 308 对但涵盖 Samsung/Apple/Canon ISP 差异，对 ISP 研究有参考价值，但来自相机型号分布不均；CQS 指标尚未被社区验证，后续工作未必沿用。
  • 读法：重点看 Table 1 中 Model a 与 Model c 的 CQS 对比：Model a 的 BFS ΔE00=0.146（绝对保真度差）但 CMR=0.050，Model c BFS=0.196 但 CMR=0.011，CQS 正确将 c 排在 a 前——这说明 CQS 的 BFS 项确实在惩罚低保真度而不仅看偏好边距；同时关注 Type B（ISP 差异对）中模型能否区分 Samsung vs. Apple ISP pipeline 的色温/饱和度风格差。

4. 创新点

首次正式化 Personalized Photographic Style（PPS）learning 任务，并提供了配套大规模数据集 PPSD（第一个专注于色彩/调性偏好的 pairwise 数据集，767 用户，含真实 ISP pipeline 差异）和能同时衡量保真度与偏好对齐度的 CQS 评价框架。

5. 优点与不足

优点：任务定义新颖，PPSD 中 Type B 的多相机 ISP 差异对在 color science 领域有独立数据价值；CQS 的设计动机合理，解决了单纯用 ΔE 均值无法捕捉偏好方向的问题；三种基线提供了清晰的研究起点。不足：三种基线方法均基于 EDSR+HIIF 的轻量 encoder-decoder，色彩调整能力弱（ΔE00 4.88～6.50，距实用仍有差距）；Model c 的 Exemplar-based Inference 仅 CMR=0.011 几乎没有偏好方向学习，说明 in-context 方法对此任务适配不佳但分析不深；PPSD 中用户一致性均值 0.743 偏低，说明约 26% 偏好本身不稳定，影响 label 质量。

6. 改进方向

1. 将 PPSD Type B 中的相机 ISP 差异对与 RAW pipeline 结合，通过预测 CCM/tone curve/AWB 参数的方式实现可解释的个性化 ISP 定制，而非黑盒 encoder-decoder 变换。2. 利用 PPSD 的 pairwise 信号训练一个 color preference reward model，嵌入 diffusion-based retouching 的 RLHF 流程，实现不依赖显式 target 图像的个性化 retouching。

012

Beyond Sequential Tools: A Unified VLM Agent System for Photographic Post-Processing via Dynamic Multi-Expert Fusion

Honglin Xiong, Chenjie Zhu, Jianbiao Ding, Zixuan Ni, et al. (7 authors)

CVF · PDF

AWB/CCMGeneration/Edit

1. 要解决什么问题

真实场景图像往往叠加多种耦合退化（雾+模糊+雨），all-in-one 模型泛化弱、agentic 串行调用工具误差累积。核心难点在于：如何在单次前向中让多个专家协同而非相互干扰，同时自动量化各退化的严重程度以驱动权重分配。

2. Motivation · 动机与启发

Beyond Sequential Tools: A Unified VLM Agent System for Photographic Post-Processing via Dynamic Multi-Expert Fusion motivation figure
串行工具调用的四类失效模式：累积伪影、噪声放大、过度平滑、内容幻觉 [page 8 Fig.3]

串行调用多个专家工具的 agentic IR 系统存在一个根本缺陷：每个工具独立运行，前一步残留的伪影会被下一步放大（误差累积），而耦合退化本身无法被单独处理各分量的串行流程所解决。作者在 Fig.3 中用实际案例揭示了四类典型失效模式——累积伪影、噪声放大、不合实际的平滑、内容幻觉——说明「分而治之」的范式在真实场景下必然失败。这一观察驱动了从「串行调用→并行 weighted LoRA merge」的架构转变：若所有专家能在同一次前向中以自适应权重协同作用，耦合退化就能被整体感知而非逐一处理。

3. Method overview

Beyond Sequential Tools: A Unified VLM Agent System for Photographic Post-Processing via Dynamic Multi-Expert Fusion method figure
三步 pipeline：VLM Agent（Qwen2.5-VL-72B）分析降质 → 动态分配 LoRA 权重 → 单次 Diffusion Transformer（Flux-Kontext）前向完成修复 [page 3 Fig.1]

以 Qwen2.5-VL-72B 作 Orchestrator，分析退化类型与强度，输出 LoRA 权重字典和增强 prompt；多个单任务 LoRA expert 按权重加权合并进 Flux-Kontext Diffusion Transformer 的 K/V 矩阵，一次性 single-pass 完成修复。权重分配器是附加在 VLM 视觉特征上的轻量 MLP，用 DPO 对齐人类感知偏好。

  • 输入 / 输出：输入：退化 RGB 图像 + 可选文字 prompt（如 'make it clearer'）；输出：经单次扩散前向修复后的高质量 sRGB 图像。
  • 核心机制：LoRA 专家仅 adapter K/V 矩阵，利用线性可加性做加权 merge（ΣΔWⱼ×wⱼ）。权重 MLP 先用 VLM heuristic 伪标签 cross-entropy 预训练，再用 DPO（winning/losing weight combo 三元组）对齐感知；权重空间离散成 K=10 个 bin，分类 + 独立求和 log-prob 优化。此设计使不同退化程度可连续插值，同时保持 merging 稳定性。
  • 训练 / 评价：训练数据：单任务 LoRA 在各自小数据集上训练；DPO 偏好数据集从 500 张图派生，人工标注 pairwise 偏好，DPO branch 训 2000 步。评估：Real-1000（零样本，Group 1/2/3 三级耦合退化）+ MiO100 Group C；指标同时包含 full-reference（PSNR/SSIM/LPIPS/DISTS）和 no-reference（NIQE/MANIQA/CLIPIQA/MUSIQ）。风险：DPO 偏好标注分布与 deployment 退化分布可能不匹配，且依赖 Flux-Kontext 闭源模型。
  • 读法：最应盯住 Table 1 Group 3（三重退化，最难）的 LPIPS/MANIQA 绝对值，以及 DPO ablation（Table 里 Rule-based vs. DPO）——看 DPO 究竟带来多大量化收益，还是主要靠 Flux-Kontext 底座。

4. 创新点

将 agentic IR 从串行 tool call 改为并行 weighted LoRA merge + single-pass diffusion，并用 DPO 替代 rule-based 权重估计，这是 agent + LoRA fusion + RLHF 三者在 IR 领域的首次整合。

5. 优点与不足

优点：zero-shot 泛化强，对耦合退化不累积误差，expert 可按需增量扩展。不足：依赖 Qwen2.5-VL-72B API（成本与延迟高）+ Flux-Kontext（闭源），可复现性受限；DPO 偏好数据仅 500 张，分布覆盖有限；LoRA merge 对同时很强的退化（如极暗+极模糊）能否线性叠加尚未充分验证。

6. 改进方向

1. 用更小的 open-source VLM（7B 量级）+蒸馏替代 72B Orchestrator，验证轻量化后性能损失；2. 将 DPO 偏好数据扩展到真实 RAW-to-sRGB pipeline 退化场景，测试 ISP 链路上的实际增益。

013

RetouchIQ: MLLM Agents for Instruction-Based Image Retouching with Generalist Reward

Qiucheng Wu, Jing Shi, Simon Jenni, Kushal Kafle, et al. (7 authors)

CVF · PDF · arXiv · Supp

AWB/CCMGeneration/Edit

1. 要解决什么问题

基于 MLLM 的 retouching agent 需要可靠的 reward signal 来 RL 训练，但图像调色本质上是主观的——同一 instruction 可对应多个合理的美学结果，固定 ground-truth 的 pixel-level reward 会误导 policy。核心困难是在无唯一正解的情况下给出 fine-grained、instruction-consistent 的标量奖励。

2. Motivation · 动机与启发

RetouchIQ: MLLM Agents for Instruction-Based Image Retouching with Generalist Reward motivation figure
RetouchIQ 指令驱动调色示例：跨风格增强与色彩变换效果展示 [page 1 Fig.1]

用单张 ground-truth 参考图计算 pixel-level reward 对 retouching agent 做 RL 训练，存在一个根本矛盾：创意调色本质上是一对多的问题，同一条指令可以有多个合理的美学结果，「正确答案」只有一个的 rule-based reward 必然惩罚掉那些同样合理但不同于 GT 的输出。作者发现，若让一个 MLLM 本身动态生成 per-case 评分维度并打分（而非用预定义的像素指标），reward 就能感知指令语义、容忍合理的多样性；再通过 PGRT 让 reward 模型持续对齐 policy 实际产出，就能消除 reward 训练数据与 policy 行为之间的分布偏移，使 RL 信号真正可靠。

3. Method overview

RetouchIQ: MLLM Agents for Instruction-Based Image Retouching with Generalist Reward method figure
RetouchIQ 三阶段框架：左为数据标注（MLLM 自动生成 instruction+reasoning）；中为 SFT policy 模型；右为 RL 阶段的 Generalist Reward Critic 模型（动态生成评分 metrics） [page 3 Fig.2]

RetouchIQ 由两个 Qwen2.5-VL-7B 模型组成：policy 编辑模型和 generalist reward critic 模型（GRM）。先用 190K 真实用户编辑轨迹经 MLLM 标注 instruction+reasoning 做 SFT，再以 RL 精调 policy。GRM 自适应生成 per-case 评分维度（亮度/美学平衡/…）并输出标量 reward，替代 pixel-level 参考比较。Policy-Guided Reward Training（PGRT）让 reward 模型在 RL 训练中持续接触 policy 真实产出，消除分布偏移。

  • 输入 / 输出：输入：原始 sRGB 图像 + 自然语言 instruction（如 'give a dramatic cinematic intensity'）；输出：Adobe Lightroom 可执行的参数序列（Exposure/Temperature/Saturation/ToneCurvePV2012 等数值）+ 对应 reasoning trace。
  • 核心机制：GRM 先生成 per-instruction 评分维度集合（如 'Brightness 25%: ..., Aesthetic Balance 20%: ...'），再对各维度打分做加权求和得标量 reward，提供 RL 梯度。PGRT 通过 policy 实际产出的 weak edit 样本（而非预定义扰动）构建 reward 训练正负对，对齐训练与推理时的 edit 分布。RL 目标是最大化期望 reward E[r_GRM + r_format]，通过 gradient ascent 更新 policy。
  • 训练 / 评价：policy SFT 数据：190K instruction-reasoning-edit 三元组（来自真实用户编辑，MLLM 自动标注）；GRM 数据：10K perturbed samples + PGRT 阶段额外 5K。评估：RetouchEval benchmark（300条，分 quality enhancement/style transformation/local retouching）+ MIT-Adobe5K（400张）。指标：L1/L2（结构保真）、SC（语义一致性）、PQ（感知质量）。风险：GRM 生成的 metrics 本身依赖 MLLM 主观判断，无法完全去除循环自参考。
  • 读法：对比 RetouchIQ-Rule（固定 pixel reward）vs. RetouchIQ-GRM 在 style transformation 任务上的 SC+PQ 差值——这是 generalist reward 相对 verifiable reward 的核心增量，判断方法效益是否来自 reward 设计还是 data scale。

4. 创新点

首次将 MLLM-as-reward-model（per-case 动态生成评估维度）引入 retouching agent 的 RL 训练，并提出 PGRT 解决 reward 训练数据与 policy 输出间的分布偏移问题。

5. 优点与不足

优点：reward 设计对 instruction 具有 case-by-case 适应性，生成 reasoning trace 提供可解释的编辑依据；基于真实用户编辑数据而非合成 preset，数据分布更真实。不足：Adobe Lightroom 平台强绑定，参数空间局限于 Lr 调整工具集，无法覆盖局部蒙版/AI 填充；GRM 自身打分偏差无外部客观校验；190K 数据版权与用户授权在大规模复现时受限。

6. 改进方向

1. 用 UMM（通用图像评估模型，如 CLIP-IQA/TOPIQ）对 GRM 输出做外部校准，降低循环自参考风险；2. 扩展到 RAW ISP 的 tone mapping + white balance 参数调整，测试 GRM reward 对 ISP-level 主观质量的适用性。

014

Perceptual Neural Video Compression with Color Separation and Rank Chain

Xiongzhuang Liang, Chuanbo Tang, Zhuoyuan Li, Li Li, et al. (5 authors)

CVF · PDF · Supp

AWB/CCMGeneration/Edit

1. 要解决什么问题

神经视频压缩 NVC 主流方案（DCVC-DC/FM）在统一 RGB 或 YUV444 色彩空间中优化，忽视了人类视觉系统对亮度/色度的非对称感知灵敏度。同时，可变速率感知优化缺乏跨码率质量单调性约束，导致低码率段 GAN 训练不稳定、感知质量排序混乱。

2. Motivation · 动机与启发

人类视觉系统对亮度与色度的敏感度存在固有的非对称性——锥体细胞处理色度，杆体细胞主导亮度，两者在感知权重和空间分辨率需求上截然不同。传统 NVC 在统一 RGB/YUV444 空间端到端优化，本质上是忽略了这一感知先验，把不等价的亮度和色度误差等权叠加。与此同时，现有可变速率感知压缩方案的 GAN 判别器无法感知码率变化，导致跨码率感知质量排序混乱——这一点启发了 rank chain loss 设计：人类质量评估系统本质上是序排序（perceptual ranking），更高码率就应当获得更高感知分，编码训练目标应显式编码这一单调性约束。

3. Method overview

Perceptual Neural Video Compression with Color Separation and Rank Chain method figure
PNVC-C 框架：(a) Luma-Net 与 Chroma-Net 解耦编码；(b) Luma-Net（基于 DCVC-DC）；(c) Color Fidelity Refinement (CFR) 注意力模块；(d) Chroma-Net（复用亮度光流） [page 3 Fig.2]

提出两项技术：（1）PNVC-C 框架：将视频帧分离为 Y（亮度）和 UV（色度），分别由 Luma-Net 和 Chroma-Net 编码，Chroma-Net 复用 Luma-Net 生成的光流和亮度传播特征 F̂ᵧ 作为条件，Color Fidelity Refinement（CFR）注意力模块在解码端融合亮色特征提升色彩保真度；（2）Rc-GAN：引入 rank chain loss，对判别器输出强制单调递增排序（更高码率对应更高感知分），采用逐阶段 pairwise 训练策略分解全局排序链。

  • 输入 / 输出：输入：原始 YUV420 视频序列；输出：压缩后重建的 YUV 视频（PNVC-C-Base 优化 YUV PSNR，PNVC-CR 优化感知质量）。
  • 核心机制：Luma-Net 基于 DCVC-DC，修改为单通道输入、用 Luma-SpyNet 估计亮度光流、将 ResBlock 替换为 Partial Convolution ResBlock 降复杂度。Chroma-Net 去除光流估计模块直接重用 v̂ᵧ，通过 TCM（Temporal Context Mining）做多尺度特征提取。CFR 用 attention mask mₜ = Sigmoid(F̂ᵧ, F̈ᵘᵛ) 对色度特征做置信度加权精修。Rc-GAN 的判别器损失为 Lᵣ_D = -f(X̂ᵣ₊₁) + f(X̂ᵣ)，生成器 rank loss 仅在当前 pairwise 排序已满足时才激活，避免梯度漂移。
  • 训练 / 评价：训练数据：HEVC B 等标准视频序列。评估：HEVC B benchmark（IP=-1），BD-rate 相对 VTM 计算。PNVC-C-Base 达到 25.26% YUV PSNR BD-rate 节省；PNVC-CR 在 LPIPS/DISTS/KID/FID 上分别提升 77.71%/53.94%/54.44%/42.27%，YUV PSNR BD-rate 节省 14.77%。风险：LPIPS/FID 衡量的感知质量改善未经过主观 MOS 验证，且 FID 在视频域的有效性存疑。
  • 读法：最应盯住 Rc-GAN 的 ablation：单独去掉 rank chain loss 对比保留时的 LPIPS/FID 差值，验证 pairwise stage-wise 训练是否真正解决了可变速率 GAN 不稳定问题，还是主要来自 color separation 的增益。

4. 创新点

将 YUV 色度/亮度分离架构从传统视频编码引入神经网络端到端压缩，并首次提出基于码率排序约束（rank chain loss）来稳定可变速率感知 GAN 训练。

5. 优点与不足

优点：color separation 直接利用人类视觉系统先验，Chroma-Net 复用亮度光流显著降低计算开销；rank chain loss 对感知一致性提供明确的单调性保证。不足：Chroma-Net 直接复用亮度光流假设色度运动与亮度高度一致，对快速色调变化场景（如焰火/霓虹）可能色度运动估计不准；感知评估缺少主观 MOS；LPIPS/FID 在压缩视频域的语义校准性存疑。

6. 改进方向

1. 对 Chroma-Net 引入轻量色度光流残差估计，量化复用 vs. 独立估计在色彩剧变场景的 ΔE 差异；2. 将 rank chain loss 扩展到图像压缩领域，验证在 ISP 输出 sRGB 压缩中对感知色彩保真的增益。

015

Color When It Counts: Grayscale-Guided Online Triggering for Always-On Streaming Video Sensing

Weitong Cai, Hang Zhang, Yukai Huang, Shitong Sun, et al. (8 authors)

CVF · PDF · arXiv · Supp

AWB/CCMGeneration/Edit

1. 要解决什么问题

边缘/可穿戴设备（如智能眼镜）连续 RGB 视频采集功耗极高，通常只能持续录制 30~60 分钟，与 always-on AI assistant 的全天需求相悖。核心问题在于：如何在不预训练、严格因果、低计算开销的前提下，实时判断当前帧是否需要色彩信息，同时控制全局 RGB 帧率预算。

2. Motivation · 动机与启发

Color When It Counts: Grayscale-Guided Online Triggering for Always-On Streaming Video Sensing motivation figure
灰度常亮 vs. ColorTrigger 按需 RGB：功耗与录制时长权衡 [page 1 Fig.1]

关键洞察来自一项初步实验：在保留连续灰度流（维持时序结构）的前提下，稀疏触发 RGB 帧就足以维持与全帧 RGB 相当的 MLLM 理解性能——这说明自然视频中色彩在绝大多数帧上是冗余的。现有 always-on 系统要么持续录制高功耗 RGB（~30-60 分钟即耗尽电量），要么完全不采色，两种极端均次优。灰度帧的 CLIP 特征本身已经编码了场景语义的时域变化，可以用来检测何时色度信息真正带来增量价值——这一感知冗余可量化性是整个系统的前提。

3. Method overview

Color When It Counts: Grayscale-Guided Online Triggering for Always-On Streaming Video Sensing method figure
ColorTrigger 框架：低功耗灰度摄像头常亮 → CLIP ViT-B/16 提取 CLS token → 窗口 Affinity Matrix + QP Solver + Credit-Budgeted Controller → 按需触发 RGB 帧 → Dynamic Token Router 分配解码容量 → MLLM Decoder [page 3 Fig.3]

ColorTrigger 以低功耗灰度流为常态（temporal continuity 由灰度保证），仅在灰度证据显示色度信息具有增量价值时触发 RGB 采集。核心是在滑动窗口内构建灰度帧的 CLIP CLS token affinity matrix，用轻量连续二次规划（QP）检测色彩冗余度，配合 credit-budgeted controller 约束全局 RGB 使用率；后端 dynamic token router 对灰度帧（64 token）和 RGB 帧（256 token）分配非对称解码容量，直接喂入冻结的 MLLM decoder（InternVL3.5-8B）。

  • 输入 / 输出：输入：低功耗灰度摄像头的连续视频流（L 通道，224×224）+ 按需触发的 RGB 帧（448×448）；输出：对 streaming video QA query 的回答（MLLM 解码）。
  • 核心机制：Affinity matrix Ãₜ = (1/2)(FₜFₜᵀ + I)，将 CLIP CLS cosine similarity 映射到 [0,1]。QP 最大化所选帧的多样性（minimize wᵀÃw）并约束总选数，得到触发决策。Credit-budgeted controller 维护剩余预算 bₜ，以 mₜ = min(nₜ, ⌊bₜ + r·L⌋) 平滑短期波动（lookahead buffer L=10）。dynamic token router 根据 uₜ 在 ψg(gₜ) 和 ψc(cₜ) 间选择，token 按原始时序拼接输入 MLLM，无需重训。
  • 训练 / 评价：训练：完全 training-free，无需额外数据或微调。评估：StreamingBench（All/Real-Time Visual Understanding 共 10 类任务，1fps，最多 128 帧）+ OVO-Bench；backbone InternVL3.5-8B。以 r=0.1（即 8.1% RGB 帧）为目标预算时达到 full-color baseline 的 91.6% 性能。风险：QP 求解器（CVXPY+OSQP）在实际边缘芯片上的延迟未实测；CLIP 灰度特征对夜间/高噪场景的 affinity 估计可靠性存疑；只在 1fps 设置下测试，高帧率视频的冗余特性不一定相同。
  • 读法：最该盯住不同 target RGB rate（r=0.1 vs. 0.4）下的性能-预算 Pareto 曲线（Fig.2a），以及与 EgoTrigger（音频触发）的直接对比——验证灰度 affinity 触发相对音频模态在 visual grounding 任务上是否有实质优势，还是两者互补。

4. 创新点

首次将色彩冗余量化（灰度 affinity + QP）用于 always-on 视频系统的 RGB 触发决策，实现 training-free、因果、预算可控的 color-on-demand 采集范式，并将感知触发与 MLLM token allocation 联合优化。

5. 优点与不足

优点：完全 training-free，无需标注；与现有 MLLM 框架零修改集成；灰度常亮方案对 ISP/传感器功耗设计有直接工程意义。不足：QP 在嵌入式端的实时性未验证（论文用 CVXPY，非硬件友好）；灰度触发对色度突变驱动的事件（如信号灯变色）可能反应迟钝，因灰度帧此时变化不大；benchmark 均为 QA 任务，不涵盖 ISP 链路上的色彩准确性度量。

6. 改进方向

1. 用事件相机（event sensor）替代灰度摄像头，测试其对色度边缘检测的更高灵敏度；2. 将 ColorTrigger 接入 ISP RAW pipeline，在 sensor-level 量化灰度触发节省的 ADC 功耗与色彩精度损失之间的 tradeoff。

2 · RAW / ISP / 相机管线 / 计算摄影

016

2-Shots in the Dark: Low-Light Denoising with Minimal Data Acquisition

Liying Lu, Raphael Achddou, Sabine Süsstrunk

CVF · PDF · Supp

RAW/ISPLow-light

1. 要解决什么问题

训练低光降噪网络需要大量配对 clean-noisy RAW 数据（如 SID 数据集 1865 对），采集成本极高。现有噪声合成方法要么依赖简化的参数模型（Poisson-Gaussian、ELD 的多参数标定流程），要么需要 GAN/diffusion 等学习型方法并仍要求大量配对数据（LRD 1865 对、NoiseDiff 1865 对）。真实 sensor 的 signal-independent 噪声（dark current、reset noise、banding pattern）空间相关结构复杂，简单参数模型无法完整捕获。

2. Motivation · 动机与启发

2-Shots in the Dark: Low-Light Denoising with Minimal Data Acquisition motivation figure
经典配对采集流程 vs. 本文两张输入噪声合成流程对比 [page 1 Fig.1]

核心洞察是把 signal-independent 噪声合成重新理解为一个纹理合成问题。自然图像纹理合成的经典原理告诉我们：保留幅度谱（空间频率结构）而随机化相位，可生成与参考纹理统计上等价但像素级不同的样本——这一原理完全适用于 sensor 噪声。现有方法要么依赖简化参数模型（无法捕获 banding 等空间相关结构），要么需要大量配对数据训练生成模型，都回避了「只用两张图就能准确建模噪声分布」这一可能性。迭代直方图-谱联合校正进一步保证边缘分布（均值/方差/偏度/峰度）与真实噪声对齐，只用一张 noisy 图和一张 dark frame 就封闭了标定闭环。

3. Method overview

2-Shots in the Dark: Low-Light Denoising with Minimal Data Acquisition method figure
Fourier域谱采样算法：暗帧去固定模式后DFT→相位随机化生成N⁽⁰⁾，迭代K次直方图匹配+谱校正收敛至真实噪声分布 [page 4 Fig.2]

核心贡献是一个无需配对数据的物理域噪声合成流程：signal-dependent 噪声用 Poisson 分布建模（增益参数通过单张 noisy image 线性回归估计），signal-independent 噪声用 Fourier 域谱采样建模。整套方法每个 ISO 只需一张 noisy image 和一张 dark frame，共两张输入（因此命名 "2-Shots"），从中合成无限量 clean-noisy 配对用于降噪网络训练。

  • 输入 / 输出：输入：单张 noisy RAW 图像 + 单张 dark frame（每个 ISO 各一张）；输出：合成的 signal-independent 噪声场，可叠加到任意 clean 图像上构造训练配对
  • 核心机制：Fourier 域谱采样（Spectral Sampling）：① 对 dark frame 用大核 Gaussian blur 估计固定模式 S，相减得随机残差 R；② DFT 后保留幅度谱 |R̂|，用 U[-π,π] 均匀随机相位替换原相位（跨通道共享同一相位偏移以保留 banding 的通道间相关性），IDFT 得初始噪声 N⁽⁰⁾；③ 迭代 K 次「直方图匹配（H 算子对齐边缘分布）→ 谱校正（DFT 后强制幅度为 |R̂|、保留匹配后相位）」，最终噪声同时满足参考噪声的幅度谱（空间相关结构）和边缘分布（均值/方差/偏度/峰度）。signal-dependent 噪声则用标准 Poisson 模型估计增益 g 后叠加。
  • 训练 / 评价：在 SID Sony 数据集（Sony A7S2）和 ELD 数据集上评测；LRID 数据集（Redmi K30，IMX686）验证跨 sensor 泛化。评价指标为 PSNR/SSIM。相比 physics-based 竞争方法（ELD、SFRN、PMN），本方法在多数曝光倍数档位下 PSNR 最优；仅 NoiseDiff（learning-based，需 1865 配对数据）在 SID 总体略好。风险：PSNR 驱动指标可能掩盖噪声空间纹理质量；banding 等结构噪声的视觉评估应结合定性比较。
  • 读法：重点盯「相位随机化的通道间共享策略」——若改为各通道独立随机相位，banding 的通道间相关性被破坏，降噪器在合成数据上训练后会在真实 banding 图像上留残影（Sec.4.5 有消融实验）。这一设计决策是模型成功的关键。

4. 创新点

把 signal-independent 噪声合成重新表述为纹理合成（保幅度谱随机化相位），配合迭代直方图-谱联合校正，将数据需求从 1865 配对压缩至「1 张 noisy 图 + 1 张 dark frame」，且无需任何参数标定。

5. 优点与不足

优点：数据采集成本极低，方法通用（对 Sony A7S2 和 IMX686 均有效），合成效率高（无需 GAN/diffusion 训练推理开销）。不足：迭代直方图-谱校正需要选定 K 次数和 Gaussian blur 核宽 ω（论文给出了推荐值但未做充分敏感性分析）；方法假设 signal-independent 噪声近似平稳（spatially stationary），对部分 sensor 上的行/列固定模式更严重的区域可能建模不足；尚未验证在 video sensor 或 BSI sensor 上的表现。

6. 改进方向

1. 将谱幅度估计从单帧 dark frame 扩展为多帧平均，降低暗帧自身噪声对谱估计的干扰，可能减少所需迭代次数 K。2. 针对视频传感器：在时域上扩展谱采样（3D Fourier），建模 temporal banding 和行级 FPN 的帧间相关性，使合成噪声同时具备空间和时域真实性。

017

Edit-aware RAW reconstruction

Abhijith Punnappurath, Luxi Zhao, Ke Zhao, Hue Nguyen, et al. (6 authors)

CVF · PDF · arXiv · Supp

RAW/ISP3D/Photometric

1. 要解决什么问题

RAW 重建的应用场景本质上是事后编辑（用户在 sRGB JPEG 上编辑后希望恢复 RAW 的高宽容度），但现有方法（CAM、RAW Diffusion、ReverseISP 等）统一以 RAW 域 L2 误差为训练目标，不显式关心 RAW 渲染后的 sRGB 表现。当用户施加非默认渲染（调色温、preset、tone curve 等）时，重建 RAW 的 sRGB 输出出现 banding、色偏、tone collapse，PSNR 在这些编辑条件下下降显著——这是现有方法设计目标与实际使用场景之间的根本错位。

2. Motivation · 动机与启发

Edit-aware RAW reconstruction motivation figure
RAW 重建两种训练路径对比：RAW 域 L2 vs. edit-aware sRGB 损失 [page 2 Fig.1]

RAW 重建的最终目的是让用户在重建后的 RAW 上自由调色——然而所有现有方法都只在 RAW 域做像素级 L2 监督，完全不关心「用不同 ISP 参数渲染后的 sRGB 是否正确」。这一训练目标与实际使用场景存在根本错位：对于默认渲染准确的 RAW 重建，只要用户改一下色温或施加一个 tone preset，渲染后的 sRGB 就可能出现色偏或 banding。关键启发在于：用随机采样 ISP 参数同时渲染 GT RAW 和预测 RAW，再在 sRGB 域算损失，等价于对无穷多种潜在编辑条件的隐式监督——这样训出来的重建网络对任意 ISP 渲染都具有色彩稳定性。

3. Method overview

Edit-aware RAW reconstruction method figure
Edit-aware loss框架：可调可微ISP（exposure/WB/3D-LUT/tone四模块随机采样参数）在sRGB空间监督RAW重建，对比传统RAW空间逐像素损失 [page 3 Fig.2]

提出一个即插即用的 edit-aware loss LsRGB，可叠加到任意已有 RAW 重建框架之上（即现有方法继续保留 RAW 域损失 LRAW，额外加上加权的 sRGB 域损失）。核心是一个模块化可微 ISP gϕ，在训练时对每个 mini-batch 随机采样四组 ISP 参数，分别将 GT RAW 和预测 RAW 渲染到 sRGB，在 sRGB 域计算 L2 误差。参数空间覆盖 exposure（±EV 高斯采样）、white balance（从 training 集 AsShotNeutral 拟合的 2D 高斯）、3D color LUT（K=15 个 LUT 各训一个 MLP 近似，均匀随机选取）、tone curve（Adobe tone curve + 低阶单调多项式扰动）。

  • 输入 / 输出：输入：sRGB JPEG（盲方法）或 sRGB + 稀疏 RAW 元数据（元数据辅助方法）；输出：重建的 3 通道 demosaic/denoised/normalized RAW 图像（DNG格式）；训练时可微 ISP 同时将 GT RAW 和预测 RAW 渲染到 sRGB 用于损失计算
  • 核心机制：可微 ISP 四模块串联：① exposure eε：p×2^ε（ε∼N(0,0.75²)）；② white balance wω：3×3 对角矩阵 × 3×3 CST 矩阵（CST 由 DNG illuminant 插值），illuminant 从 training 集 [r/g, b/g] chromaticity 高斯分布采样；③ color manipulation cρ：离线训练的 MLP 近似 3D LUT，均匀采样 K=15 个 LUT 之一；④ tone mapping tτ：MLP 拟合 Adobe tone curve + d=5 阶单调多项式扰动，再施加 sRGB gamma。核心 insight：相同随机参数同时作用在 GT RAW 和预测 RAW 上，迫使网络学习在任意 ISP 渲染下都能准确还原色彩和tone，而非仅在默认渲染下正确。总损失 Ltotal = LRAW + Lmisc + λ·LsRGB，λ=2（CAM）/4（RAW Diffusion）。
  • 训练 / 评价：训练集：Samsung S24 Ultra 拍摄的 3224 张 smartphone RAW 数据集（2619 训练/205 验证/400 测试，3000×4000 分辨率）。测试协议：重建 RAW 存为 DNG，在 Adobe Photoshop (Camera RAW 插件) 中施加 5 种 preset 编辑（从默认渲染到 Cool matte + +1.5EV + 3500K 色温），以 PSNR/SSIM/ΔE 评估渲染后 sRGB 质量。加入 edit-aware loss 后各 edit 条件下 PSNR 提升最高达 2 dB；ΔE 也改善。风险：评估指标在 sRGB 域计算，实际 RAW 精度（如 CCM 误差、WB 精度）无直接指标；训练集仅一款机型，对 multi-sensor 泛化性未验证。
  • 读法：核心一点：评估用的 Photoshop 与训练时的可微 ISP 完全解耦——训练 ISP 是近似的、非 camera 专属的，而 Photoshop 是黑盒全功能软件 ISP。这种「domain gap 下仍改善」的结果证明 sRGB 域随机渲染监督有真正的泛化性，而非 overfitting 到训练时的模拟 ISP 参数分布。

4. 创新点

将 RAW 重建的训练目标从「RAW 域像素精度」转向「编辑后 sRGB 渲染精度」，通过参数随机采样的可微 ISP 实现对无限多编辑条件的隐式覆盖，且以 plug-and-play 方式兼容所有现有框架，无需修改骨干网络。

5. 优点与不足

优点：即插即用、对 metadata-assisted（CAM）和 blind（RAW Diffusion）方法均有效；可微 ISP 轻量（MLP+解析模块），训练开销低；不假设推理时能访问 camera ISP。不足：色彩操作模块用固定 K=15 个 3D LUT 集合，LUT 多样性受限于人工预选集，不能覆盖所有相机厂商的 proprietary 风格；WB 采样 chromaticity 空间仍局限于 training 集所见的光源范围，对极端光源（UV 灯、单色 LED）的泛化性存疑；未在 ΔE 2000 这类感知一致性指标上专门优化，极端 tone 操作后高光/阴影区域的 ΔE 可能仍偏高。

6. 改进方向

1. 将 WB 模块的 illuminant 采样扩展至 Planckian 轨迹全范围（2000K–25000K），结合 CIE D 系列光源，覆盖 training 集之外的极端色温，进一步提升 WB 强编辑下的鲁棒性。2. 把 3D LUT 模块替换为可学习的 tetrahedral 插值网络（不依赖固定 LUT 集合），使 color manipulation 分支在训练中联合优化，扩大 ISP 参数空间多样性。

018

Efficient Real-Time Raw-to-Raw Denoising for Extreme Low-Light Ultra HD Video on Mobile Devices

Charantej Pochimireddy, Subhasmita Sahoo, Apoorva Verma, Palavalli Shyam, et al. (7 authors)

CVF · PDF · Supp

RAW/ISPLow-light

1. 要解决什么问题

极端低光（<1lx）4K/8K RAW 视频在移动端实时降噪需同时满足三个相互冲突的约束：<33ms/帧延迟、<250mA 功耗（Samsung Galaxy S25 Plus，Qualcomm Snapdragon 8 Gen 3 Elite Hexagon NPU），以及足够高的降噪质量（pre-demosaic 保持 CFA pattern 以不破坏下游 ISP）。现有 SOTA 方法（NAFNet、BRVE）计算量过大无法实时部署；配对极暗 raw 视频数据采集极难（<1lx 下 burst averaging 本身因局部运动而产生 GT 污染）。

2. Motivation · 动机与启发

Efficient Real-Time Raw-to-Raw Denoising for Extreme Low-Light Ultra HD Video on Mobile Devices motivation figure
默认 ISP 在 0–2lx 下的输出退化：极端低光场景视觉质量示意 [page 2 Fig.2]

极端低光（<1lx）下 sensor 读出噪声已远超信号本身，默认 ISP 完全失效——这是传统 NR 方法几乎未触及的盲区。更深层的工程洞察是：raw 域的噪声统计远比 sRGB 域简单、可建模，且 pre-demosaic 操作可保留完整 CFA pattern，使下游 ISP（色彩矩阵、白平衡、demosaic）无需修改即可复用。现有 DNN 降噪器虽质量优秀，但计算量与移动端 Hexagon NPU 的硬约束（<33ms, <250mA）之间存在数量级差距——这促使作者从模型设计、可重参数化结构融合、分辨率重排到 int16 量化做全链路系统优化，而非仅改进降噪算法本身。

3. Method overview

Efficient Real-Time Raw-to-Raw Denoising for Extreme Low-Light Ultra HD Video on Mobile Devices method figure
mRLFB架构：S2D像素重排降分辨率→N=4个移动端残差特征块→3×3 Conv融合→D2S还原，以及可重参数化3×3卷积训练-推理等价融合细节 [page 5 Fig.6]

端到端框架覆盖数据构建→架构设计→部署优化四个阶段。数据：合成（sRGB unprocessing + 曝光降低 + 异方差高斯噪声，包含 color blob cut-mix 模拟小光源晕圈）+ 真实三脚架低光视频（两阶段 GT：burst 平均 + 大 mRLFB 模型残差降噪）。模型：S2D（k×k 像素重排降空间分辨率）→ N=4 个 mRLFB（Residual Local Feature Block，去掉 RLFN 的 attention 改为可重参数化结构）→ 浅层特征跳连 concat → D2S 还原。部署：蒸馏（Model A→B）+ 结构重参数化（多分支融合为单 3×3 conv）+ 空间分辨率减半（权重重排）+ int16 量化。

  • 输入 / 输出：输入：post-sensor-readout pre-demosaic RAW Bayer 帧（保持 CFA pattern，单帧或双帧配置）；输出：降噪后 RAW Bayer 帧（12-bit，归一化到 [0,1]），接入现有 ISP pipeline 不改变下游处理
  • 核心机制：mRLFB 核心：三个串联 3×3 Conv+ReLU → 1×1 Conv，外包残差连接（Fout = Fin + W1*(Fin + σ(W3*σ(W2*σ(W1*Fin))))）；训练时 3×3 Conv 用多分支可重参数化块（1×1 skip + 3×3 + 1×1 + global skip），训练后融合为等价单 3×3，消除跳连的显存开销。损失函数：L1 raw 重建损失（Lraw，权重 wr=0.6）+ chromatic aberration 惩罚项（Lchromatic，对比 R-G 和 B-G 差分，权重 wc=0.4）以抑制去马赛克伪彩。多帧配置下扩展首层 3×3 conv 接受前后双帧 S2D 输出（32 通道）平衡时域一致性与延迟。知识蒸馏：教师模型 d=32，学生 d=16，输出空间 + 中间特征对齐损失联合监督。
  • 训练 / 评价：训练：Adam，初始 lr 1e-4 余弦退火，batch=16，patch=256×256，TensorFlow+1 NVIDIA A100。评测：自建 10 视频 benchmark（5 静态三脚架 + 5 合成运动）。指标：PSNR/SSIM（线性 raw 域，12-bit 归一化，全帧无 ROI）+ 时域稳定性（tOF、tLP、Avg. flicker）+ VMAF；设备端：推理时延（ms）+ 功耗（mA，Monsoon HV 差分测量）。Model BRQ（蒸馏+重参数化+空间减半+int16量化）在 Hexagon NPU 上实现 4K@30fps 实时。风险：仅 PSNR/SSIM 无 ΔE 类色彩准确性指标，极端低光下色彩还原是否引入偏移无法量化；GT 本身由大模型推理生成（有质量上限），评测存在自我参考偏差。
  • 读法：重点盯「chromatic aberration loss 的必要性」——pre-demosaic raw 降噪若只用 L1，跨 Bayer 通道的噪声不对称去除会在 demosaic 后产生 color fringing；该损失直接约束 R-G、B-G 通道差，是保证下游 ISP 色彩输出质量的关键，与纯画质指标 PSNR 互补。

4. 创新点

首个从数据构建到移动端 NPU 部署（Hexagon，实时 4K@30fps <33ms/<250mA）全链路闭环的 extreme low-light（<1lx）raw 视频降噪系统，设计了 mRLFB + 可重参数化 + 空间分辨率重排的联合优化路径，并提出了 GT 生成的两阶段协议解决配对数据难题。

5. 优点与不足

优点：全链路系统级工作，硬件约束明确（Samsung S25 Plus，功耗实测）；模块化 plug-and-play 兼容现有 ISP 无需替换 ISP；multi-stage 训练（合成预训练→真实数据微调）有效缓解域差。不足：评测数据集自建（10 视频），未在公开 benchmark（CRVD、SID-Video）上报告对比数字，外部可复现性受限；两阶段 GT 生成引入大模型偏差，GT 噪声上限未量化；时域一致性靠双帧 concat 实现，对快速运动场景的鬼影问题未充分讨论；量化精度损失的消融不够详细。

6. 改进方向

1. 将 chromatic aberration loss 扩展为频域约束（对 R-G、B-G 的 spatial frequency response 建模），更精准定位去马赛克后高频色彩伪影的来源，提升边缘区域色彩保真度。2. 替换两阶段 GT 生成为真实配对捕获（在受控实验室用长曝光 + 基于光流的对齐），减少 GT 偏差，并在 CRVD 公开集上报告可比指标以验证泛化性。

019

Linear Image Generation by Synthesizing Exposure Brackets

Yuekun Dai, Zhoutong Zhang, Shangchen Zhou, Nanxuan Zhao

CVF · PDF · arXiv · Supp

RAW/ISPHDR/ExposureGeneration/Edit

1. 要解决什么问题

现有生成模型（SD、Flux 等）训练于 display-referred LAION-5B 数据集，输出被 tone mapping 压缩了动态范围，无法生成 scene-referred 线性图像（即直接反映辐照度、高宽容度、可任意编辑的线性 RAW-like 图像）。已有 HDR 生成方法（Text2Light、LEDiff）实际上生成的是已 tone-mapped 的 HDR 图像，并非真正线性域；同时预训练 VAE 在高动态范围输入下高光/阴影区域出现严重量化失真，无法直接用 latent diffusion 生成线性图。

2. Motivation · 动机与启发

Linear Image Generation by Synthesizing Exposure Brackets motivation figure
线性图像相比 sRGB 在曝光/白平衡/创意编辑上的优势对比 [page 1 Fig.1]

预训练生成模型（SD/Flux 等）几乎专门在 display-referred 数据集上训练，其 VAE 编解码器对高动态范围线性图像的高光/阴影细节存在严重量化失真——作者实验表明，直接将线性 RAW 域图像送入预训练 VAE 后，暗部信息几乎完全丢失（Fig.3）。根本原因在于：VAE 的感受野和量化 bit 分配是为 [0,1] display-referred 设计的，而线性图像的动态范围可超过 10,000:1。这一观察启发了将线性图像分解为 K 个曝光包围帧序列的核心设计——每帧动态范围被压缩到 [0,1] 范围内，从而复用预训练 VAE 而无需重新设计 latent 空间。

3. Method overview

Linear Image Generation by Synthesizing Exposure Brackets method figure
DiT流匹配框架：K=4曝光包围帧潜码拼接后经MM-DiT+Single-DiT（含Exposure Modulation Self-Attention）联合去噪，辐射度尺度token与EV0帧共同参与注意力，输出经Multiple Exposure Brackets Fusion恢复线性图像 [page 5 Fig.5]

将线性图像分解为 K=4 个曝光包围帧序列（EV ∈ {-4,-2,0,+2} stops），每帧动态范围被压缩至 [0,1] 从而兼容预训练 VAE；在 Flux（DiT flow-matching）骨架上以 LoRA 微调，同时生成 4 帧包围帧潜码和一个辐射度尺度（radiance scale）token，最后用 Multiple Exposure Brackets Fusion 模块将多帧融合还原线性图像。三个关键设计：Exposure Modulation Self-Attention（跨包围帧亮度协调）、3D-RoPE（空间位置+包围帧索引的联合编码）、radiance scale token（掌管场景绝对亮度预测）。

  • 输入 / 输出：输入：文本 prompt（可选：ControlNet 边缘引导）；输出：scene-referred 线性图像 Ilinear（高动态范围、相机无关，经辐射度尺度 s 归一化后恢复物理辐照度 L=Ilinear×s）
  • 核心机制：① Exposure Modulation Self-Attention：在 Single-DiT 层内对所有 K 帧 token 联合做 self-attention，配合 EV embedding 调制各帧亮度，同时用 3D-RoPE 对 token 编码为 (exposure_index, i, j) 三元组防止不同帧混淆。② Radiance Scale Tokenization：log-space 辐射度 sl 离散为 20 个 bin，embed 为 diffusion token 参与联合去噪；注意力掩码限制 scale token 只与文本 token 和 EV0 帧 token 交互（防止过/欠曝帧干扰 scale 估计）。③ Bracket Consistency Loss（像素空间）：约束相邻帧满足 2^ΔEV 的辐射度倍率关系，隐式监督帧间亮度一致性（Lbracket，λ=0.5）。④ Multiple Exposure Brackets Fusion：从最亮帧开始，迭代用较暗帧的未饱和区域（soft mask + per-channel 亮度对齐比 rk）替换亮帧的饱和高光，恢复完整动态范围。训练于 RAISE + 自收集 RAW（25k 张，Qwen2.5-VL 自动标注 caption），FiveK 测试。
  • 训练 / 评价：训练：4×A100 80GB，batch=4/GPU，10000 iterations，LoRA rank=64/α=128，LoRA lr=1e-4，AdamW，bf16。测试集：Adobe FiveK。指标：FID（线性图像域）、AS（美学分）、NIQE、CLIP Sim.、LS（线性度分数，衡量动态范围保留）。本方法 FID=28.29（vs Flux LoRA 32.12、CameraCtrl 37.25），LS=23.06（vs CameraCtrl 8.97、Wan 1.12），AS=5.700 最优。LS 指标最能反映动态范围能力，Wan 2.1 仅 1.12 说明 4× temporal 下采样破坏了包围帧结构。风险：评测 FID 在线性图像域计算，与 Inception 网络的 display-referred 偏见冲突；训练集仍以人像/风景为主，对高对比度工业场景泛化性未验证。
  • 读法：重点测试「极端高光+深阴影同时存在的场景」（如日落逆光人像）：LS 指标只给全局动态范围分，无法定位高光/阴影局部的细节保留质量——应直接看曝光调整后是否能无裁剪地推出 -4EV 到 +2EV 全范围内容。Fusion 模块的 per-channel rk 对齐逻辑若在色温偏移场景下失效，会出现融合边缘色差。

4. 创新点

首个基于 text-to-image 流匹配框架直接生成 scene-referred 线性图像的方法：用曝光包围帧序列规避 VAE 动态范围限制，通过 Exposure Modulation Self-Attention + 3D-RoPE + 辐射度 scale token 三件套实现高保真线性图生成，LS 指标比最近竞品高 2.6 倍。

5. 优点与不足

优点：生成图像直接可用于 ISP/后期工作流（WB、曝光、创意 LUT 调整裕量大），ControlNet 集成无需重训；不依赖特殊 VAE，可复用 Flux 现有生态。不足：Fusion 模块基于启发式 soft mask 和 per-channel 比值对齐，在高频纹理边缘（如叶片）可能出现融合鬼影；训练仅 10k iterations 在 25k 数据上，模型容量未饱和，更大规模 RAW 数据集（如 RAISE 全量 8156 张 + 自收集）可能进一步提升；辐射度尺度预测的 MAE 误差数字论文给出但绝对量级对下游应用影响未分析。

6. 改进方向

1. 将 Multiple Exposure Brackets Fusion 模块替换为轻量可学习的 HDR 融合网络（在 HDR 合并任务上预训练），使融合边界自适应而非依赖固定 soft mask 阈值，消除高频边缘鬼影。2. 将辐射度尺度预测从 20-bin 离散分类扩展为连续回归（附加 MAE 损失），并在 ISP 链路中以 s 值驱动 exposure 元数据写入 DNG，使生成线性图无缝对接专业后期软件（Lightroom/Capture One）的曝光元数据工作流。

020

MERIT: Multi-domain Efficient RAW Image Translation

Wenjun Huang, Shenghao Fu, Yian Jin, Yang Ni, et al. (13 authors)

CVF · PDF · arXiv · Supp

RAW/ISP

1. 要解决什么问题

不同相机传感器的 RAW 因光谱响应差异、Poisson-Gaussian 噪声特性、tone behavior 各异，导致下游视觉任务模型无法跨相机复用。现有 one-to-one RAW2RAW 方案在 N 个相机域时需 N² 个独立模型，参数量与训练代价随域数线性爆炸，完全不可扩展。这一问题严重制约了多机型 ISP 流水线的统一化部署。

2. Motivation · 动机与启发

MERIT: Multi-domain Efficient RAW Image Translation motivation figure
多域 RAW2RAW 翻译：one-to-one 方案参数/训练代价随域数二次增长 vs 单一 unified 模型 [page 1 Fig.1]

核心观察是：N 个相机域的 one-to-one 翻译方案需要 N² 个独立模型，参数量和训练代价随域数呈二次增长，完全无法规模化——论文的 Fig.1(e) 直接用参数量/训练迭代对域数的折线图量化了这一瓶颈。现有方法把 RAW 域迁移当作单纯的图像翻译问题，忽视了不同传感器的噪声特性差异（Poisson-Gaussian 参数因 sensor 和 ISO 而异），导致生成 RAW 的噪声统计与目标传感器不匹配。这促使作者在 unified 多域生成框架之上，额外引入 Sensor-Aware Noise Modeling（SANM）作为显式噪声对齐约束，而非仅靠对抗训练隐式吸收噪声分布差异。

3. Method overview

MERIT: Multi-domain Efficient RAW Image Translation method figure
MERIT 框架：Style Encoder 提取域 embedding，Generator (MS-LKA) 合成目标域 RAW，Discriminator 行 patch-based 对抗判别 [page 3 Fig.2]

MERIT 是首个 unified 多域 RAW 翻译框架：单个模型通过 domain embedding 实现任意域对之间的 one-to-many / many-to-many 转换。核心在于引入 Sensor-Aware Noise Modeling Loss (SANM) 显式对齐目标域的 Poisson-Gaussian 噪声统计，以及 Multi-Scale Large Kernel Attention (MS-LKA) 在 Generator 上采样路径上聚合多尺度长程依赖并注入 style-conditioned channel attention。

  • 输入 / 输出：输入：任意源域 Bayer RAW 图像 + 目标域索引（或参考 RAW 样本提取 style embedding）；输出：目标域 RAW 图像
  • 核心机制：Style Encoder (Transformer) 从目标域 RAW 样本中提取 domain-specific embedding sb，与源域 RAW 一并送入 Generator G。G 的上采样路径嵌入 MS-LKA：三路不同 dilation 率的 depthwise 大核卷积并行提取多尺度特征，再经 1×1 Conv 压缩后由 style embedding 驱动 channel-wise attention 权重，实现域自适应调制。SANM Loss 在 low-texture（Sobel 梯度低百分位）patch 上估计 per-channel intensity-variance 直方图 H_fake，与目标域预存 H_real 计算 L1，强制生成 RAW 与目标传感器的 α·z+β 噪声参数一致。总损失含对抗项、style 重建 L1、cycle L1 + cycle SSIM、SANM，权重 λ_noise=1.0，λ_SSIM_cyc=0.1。
  • 训练 / 评价：训练数据：自建 MDRAW 数据集（5 台相机：Samsung S23 Ultra/Huawei P30/iPhone 13 Pro/Nikon Z5/Canon T6，519 张 unpaired + 285 张 aligned paired）；另用已有 Samsung S9 ↔ iPhone X 的 RAW2RAW 数据集（196+196 张 unpaired，115 paired 测试）。评价指标 PSNR/SSIM/MAE；H200 GPU，batch=8，Adam lr=1e-4，训练 200K 次迭代。风险：仅评 PSNR/SSIM 无色准 ΔE，未验证噪声统计对齐是否真正改善下游感知任务精度。
  • 读法：重点盯 SANM 的消融：去掉 L_noise 后 PSNR/噪声统计的变化幅度，验证显式噪声对齐相对于纯对抗隐式学习的实际增益。

4. 创新点

首个把 RAW 域噪声统计显式对齐（differentiable histogram-based noise loss）与 style-guided 多域生成统一在单模型框架内的 RAW2RAW 方案，相比逐对训练节省 80% 训练迭代、参数量减半。

5. 优点与不足

优点：多域可扩展性强，新增相机域无需重训全部模型对；SANM 物理驱动，生成 RAW 在高 ISO 暗场区噪声特性更忠实于目标传感器。不足：Style Encoder 依赖从目标域采样参考图，若目标域样本极稀缺则 embedding 质量下降；MDRAW 规模仍小（5 台设备），泛化到 CFA 结构差异更大的相机（e.g. X-Trans、Quad-Bayer）未验证；评价仅用 PSNR/SSIM，缺乏 AWB 精度或 object detection mAP 等下游指标。

6. 改进方向

1. 将 SANM 扩展为 per-CFA-channel 分别建模，验证对 RGBW / Quad-Bayer 传感器的迁移能力。2. 引入下游任务（如 RAW 域目标检测 mAP）作为 end-to-end 优化目标，直接验证域适配是否真正改善任务精度。

021

NEC-Diff: Noise-Robust Event-RAW Complementary Diffusion for Seeing Motion in Extreme Darkness

Haoyue Liu, Jinghan Xu, Luxin Feng, Hanyu Zhou, et al. (7 authors)

CVF · PDF · arXiv · Supp

RAW/ISPLow-light

1. 要解决什么问题

极低照度（0.001–0.8 lux）动态场景成像中，短曝光 RAW 受 photon shot noise 主导，SNR 极低；事件相机虽有 120 dB 动态范围和微秒级时间分辨率，可提供运动边缘先验，但自身事件噪声（Poisson BA noise）在暗场下密度超过正常条件 50×，现有 event-RGB 融合方案完全忽视了事件流自身的噪声问题，导致 dual-modal 融合后信号质量不升反降。

2. Motivation · 动机与启发

NEC-Diff: Noise-Robust Event-RAW Complementary Diffusion for Seeing Motion in Extreme Darkness motivation figure
暗场 LLIE 的去噪-纹理保留困境，以及 events 互补的主要思路 [page 1 Fig.1]

事件相机在低光动态场景具有天然优势（120 dB 动态范围、微秒级时间分辨率），是极低照度运动成像的理想补充模态——然而这一优势被忽视的问题反而制约了融合质量。现有 event-RGB 融合方法重点关注从事件流恢复纹理，但完全忽略了事件流自身的噪声（暗场下 Poisson BA noise 密度比正常照度高 50×），直接用含噪事件特征参与融合不仅无益反而注入额外噪声。此外，现有方法对 RGB（sRGB）输入中经 ISP 非线性后的噪声模型难以物理解析；而切换到 RAW 输入后，RAW 的线性光强与事件对数差分之间存在严格的物理方程关系（Poisson 光子模型），这一物理约束成为驱动双模态协同去噪的核心启发。

3. Method overview

NEC-Diff: Noise-Robust Event-RAW Complementary Diffusion for Seeing Motion in Extreme Darkness method figure
NEC-Diff 三模块架构：ECNS 双模态协同去噪、SRIE SNR 引导特征提取、CAD 跨模态注意力 + DDIM 扩散重建 [page 3 Fig.2]

NEC-Diff 以 RAW 图像（非 sRGB）为帧模态输入，通过三个串联模块解耦问题：ECNS 利用 RAW 线性亮度先验引导事件去噪，再以去噪事件边缘辅助 RAW 去噪，并用物理推导的 intensity consistency loss 约束双路输出一致性；SRIE 基于去噪残差动态计算逐像素 SNR 图并 softmax 归一化为融合权重；CAD 对加权后的 event/frame 特征做双向跨模态 attention 再作为条件注入 DDIM 扩散去噪。

  • 输入 / 输出：输入：短曝光 Bayer RAW 图像 + 原始事件流（0.001–0.8 lux 极暗场）；输出：高质量重建 sRGB 图像
  • 核心机制：ECNS：RAW 经 Gaussian blur（粗略去噪）后作为亮度先验送入 EDformer 结构的事件去噪网络；去噪事件的高 DR 边缘再驱动 frame 去噪网络（基于 [42] 的 event-assisted 架构）抑制过平滑。intensity consistency loss L_cons = ||Ê(t)·C − log((R̂(t)+ε)/(R̂(t-Δt)+ε))||₁ 将 RAW 线性光强与事件对数差分的物理关系（Poisson 事件模型方程）直接纳入训练约束，C 为可学习对比阈值。SRIE 以 MSNR = 10·log(Min²/((Min−Mden)²+ε)) 估算逐模态 SNR 图，经轻量网络输出 softmax 权重 W_img / W_evt，实现暗纹理区域优先 event 特征、平滑区域优先 frame 特征的自适应融合。CAD 以 Ffused 为条件驱动 DDIM 反向去噪（1000 步 forward diffusion）。
  • 训练 / 评价：训练/评估数据集：自建 REAL (Raw and Event Acquired in Low-light)，包含 47,800 组像素对齐的 RAW+事件+sRGB GT 三元组，共轴双传感器系统（ND 滤光片控制照度 0.001–0.8 lux），另用 EvLowLight 等已有数据集对比。训练：RTX 4090 单卡，Adam lr=1e-4，50 epochs，patch 256×256，DDIM 1000 步。评价指标：PSNR/SSIM/LPIPS。风险：DDIM 1000 步推理速度极慢，实时 ISP 完全不可行；事件相机与帧相机共轴系统复杂，数据采集难以复现；ΔE / 色准指标未报告。
  • 读法：重点盯 ECNS 消融：去掉 L_cons（intensity consistency loss）后 PSNR/LPIPS 的降幅，验证物理约束对双模态去噪对齐的实际贡献；同时检查 REAL 数据集照度分布是否覆盖真实手持低光场景（0.01 lux 以下）。

4. 创新点

首次将 RAW 图像与事件流的物理信号方程（Poisson 光子模型 + 线性 RAW 强度-事件对数差关系）直接嵌入 loss 约束，实现有物理依据的双模态协同去噪，区别于现有方法单纯拼接特征后端对端优化。

5. 优点与不足

优点：physics-driven L_cons 在 extremely dark 下比纯数据驱动融合更稳健；SNR-guided 融合自动处理双模态信噪比空间异质性；RAW 输入避免 ISP 非线性对噪声模型的破坏。不足：DDIM 1000 步推理延迟高，不适合 realtime 或 near-realtime ISP；事件相机 + 帧相机共轴原型系统成本高，产品落地路径不清晰；L_cons 假设事件对比阈值 C 时间均一，在极暗场 threshold adaptation 下可能失效；评价缺色准 ΔE。

6. 改进方向

1. 引入 DDIM 加速采样（如 DDIM 20–50 步 + consistency distillation），将推理延迟降到可接受范围，再测 PSNR/LPIPS 的折损。2. 在 ECNS 中对事件对比阈值 C 做逐像素自适应估计，以应对不同照度区域 threshold 漂移导致 L_cons 约束失效的问题。

022

RAW-Domain Degradation Models for Realistic Smartphone Super-Resolution

Ali Mosleh, Faraz Ali, Fengjia Zhang, Stavros Tsogkas, et al. (7 authors)

CVF · PDF · arXiv · Supp

RAW/ISP

1. 要解决什么问题

智能手机数字变焦 SR 模型在 RAW 域训练时，缺乏 ground-truth paired 数据；现有 unprocessing 流水线（HR sRGB → LR RAW）普遍用 isotropic / anisotropic Gaussian 核或随机 degradation pool 模拟相机 PSF，与实际移动端光学系统的 SR kernel 存在系统性偏差。这种域间隙直接导致训练出的 SR 模型在真实相机上产生振铃、色渗（color bleeding）和过/欠锐化，且超参选取缺乏物理依据。

2. Motivation · 动机与启发

RAW-Domain Degradation Models for Realistic Smartphone Super-Resolution motivation figure
设备专用 SR degradation 标定框架：从 HR 经物理标定 PSF 核与 HG 噪声生成真实 LR RAW [page 1 Fig.1 (upper concept diagram)]

现有 unprocessing 流水线普遍用 isotropic/anisotropic Gaussian 核近似相机 PSF，但这些超参完全凭经验选取，与真实移动端光学系统的 point spread function（含 CFA per-channel 非均匀性）存在系统性偏差。作者的核心观察是：PSF 不同相机之间存在足够的系统性差异（彩色 PSF、非旋转对称），且经正确标定后，「用物理准确的 degradation 训练」与「用 degradation pool 训练」之间的 PSNR 差异在 cross-camera 评估中会被放大——这说明降质精度不是可以用数据量弥补的因素，而是决定域间隙的主导项。这一观察直接驱动了用 display prototype 在 RAW 域做逐机型标定的设计路线，而非继续扩大 degradation diversity。

3. Method overview

RAW-Domain Degradation Models for Realistic Smartphone Super-Resolution method figure
SR kernel 标定流程：随机图案 + Gray-code 结构光 + 灰色/彩色色块投影至目标相机，RAW 采集后与合成 4× HR target 配对，联合优化 CFA-per-channel SR kernel 与同源矫正 [page 4 Fig.2]

这是一篇数据协议/标定方法论文，核心贡献是为 9 款移动相机精确标定 SR kernel 和 HG 噪声模型，而非提出新 SR 网络架构。SR kernel 由 display prototype（高精度 UHD 显示器投影随机 + Gray-code 结构光 + 色块图案）结合 RAW 采集，在 mosaicked RAW 域联合优化 per-channel（R/G/B）SR kernel 矩阵与投影对应关系（homography H）。噪声模型采用 HG（heteroscedastic Gaussian）：per-CFA-channel（r/g₁/g₂/b）× 7 档 ISO 标定 β₁/β₂ 参数后拟合二次曲线，实现未标定 ISO 内插。

  • 输入 / 输出：输入：HR linear-sRGB 图像（DIV2K / MA5K）经逆 ISP unprocessing；输出：设备专用 LR Bayer RAW 图像（training pair），最终 SR 网络输出 sRGB
  • 核心机制：SR kernel 标定：联合优化 argmin_{Kr,Kg,Kb,H} L(y, ỹ)，其中 ỹ = M(diag(Kr,Kg,Kb) · D⁻¹(W(x́,H)) ↓s)，M 为 CFA mosaicking，D⁻¹ 为显示器 gamma 逆变换，H 为投影 homography；在 FOV 分 patch 局部优化克服视野边缘 kernel 空间非均匀性；B=20 组随机图案 burst 平均 100 帧消除噪声，保证 kernel 估计是适定问题，无需强加非负性/稀疏性等启发先验。噪声模型：HG n_i ~ N(0, β¹_κ,c · y_i + β²_κ,c)，白平衡 gain 逆操作后按 CFA channel + ISO 分别标定，7 档 ISO 曲线拟合做 ISO 内插。SR 网络使用 RRDBNet，L1 损失（无 GAN/感知项，避免幻觉纹理）。
  • 训练 / 评价：标定覆盖 9 款相机（Pixel 9 Pro Tele/Main、Pixel 6 Main、Samsung S24U Tele 2、S23U Tele 1、S23U Main、S23+ Tele/Main、Xiaomi Mi 11 Main）；训练数据：DIV2K 900 张 256×256 patch；评价指标：无参考 MTF25/MTF50（Siemens star 20 辐图案）+ 有参考 PSNR/SSIM（display prototype 采集 GT）；测试集 30 张真实 RAW / 30 张 display GT 配对。跨相机评估用 MA5K 6 组各 5K 张 DNG，hold-out 设备 Pixel 6 Main / Mi 11 Main。风险：display prototype 采集 GT 受显示器色域和均匀性影响；MTF 指标对噪声不敏感；未报 ΔE 或色准指标。
  • 读法：重点盯 Table 1 跨相机（cross-camera）实验：Pixel 6 Main + Mi 11 Main 均未参与标定，ours MTF50 相比 BSRAW 和 RAWSR 的增益幅度，验证「不同移动端 PSF 存在足够相似性可迁移」这一核心假设是否成立。

4. 创新点

在 mosaicked RAW 域直接优化 per-CFA-channel SR kernel（含 lens PSF + sensor 像素采样合并效应），并配套 display-based GT 采集流程，将 SR kernel 标定问题转化为适定回归，彻底摆脱对 bicubic/Gaussian kernel 先验假设的依赖。

5. 优点与不足

优点：kernel 标定无需 heuristic 先验，物理可解释；HG 噪声 ISO 曲线拟合支持未标定 ISO 内插；跨相机泛化实验支撑了「degradation profile 可迁移」的工程价值。不足：标定流程需要专用 display prototype 设备，无法大规模推广到任意机型；相机-显示器对齐假设 planar scene，对 FOV 边缘强 PSF 畸变的 tele 镜头鲁棒性有限；SR 网络本身无创新，仅用 RRDBNet；未考虑 demosaicking 对 SR 性能的耦合影响（推理时仍需 DCRAW）。

6. 改进方向

1. 将 display prototype 替换为手持采集协议（同一镜头不同焦距 zoom 采集 LR-HR pair），验证无需专用设备时 kernel 标定精度的下限。2. 将标定 kernel 与 joint demosaicking + SR 网络端到端训练，消除推理阶段 DCRAW demosaicking 引入的域隔离。

023

RawMetaDiff: Unlocking Extreme Darkness from Dual-Exposure RAW with Meta-Guided Diffusion

Panjun Liu, Jiyuan Xia, Yuanshen Guan, Yong Li, et al. (10 authors)

CVF · PDF · Supp

RAW/ISPHDR/ExposureLow-light

1. 要解决什么问题

极暗场单帧 RAW 复原是欠定问题（信号被噪声淹没或传感器截幅），强制引入长曝光参考帧是自然补偿手段，但短/长曝光之间存在大运动（camera shake、场景运动），传统 optical flow / 对应点对齐在大曝光差下极不稳定，导致现有双帧方案（如 LSFNet）在对齐失败时产生色偏和鬼影。直接用扩散模型条件生成又面临两个痛点：曝光差导致跨帧 cross-attention 失效，以及 naive conditioning 下色迁移与细节注入相互耦合导致颜色漂移。

2. Motivation · 动机与启发

RawMetaDiff: Unlocking Extreme Darkness from Dual-Exposure RAW with Meta-Guided Diffusion motivation figure
四种方法对比：单帧/双帧 × 回归/生成，揭示阴影细节与色彩保真不可兼得的设计空间 [page 1 Fig.1]

极暗场景下，长曝光参考帧的全局色统计（channel mean/var）即使在严重运动模糊的情况下仍然可靠，而短曝光的色信息完全被噪声淹没——这一不对称性意味着「色迁移」和「细节注入」本质上是两个可分解的子问题，不应被同一个 alignment 模块强行耦合。现有方法（LSFNet 等）依赖 optical flow 做显式对齐，但在大曝光差（8×~16×）下光流估计会在暗部细节区域大量失效，把对齐错误直接传播给重建结果。作者由此提出：用 RAW metadata（ISO、CCM、曝光比）作为物理坐标系，把跨曝光的色统计迁移（MACT）和局部细节搜索（MNCA）分别用 metadata 锚定，彻底绕开 flow estimation，让扩散模型在物理约束的对应关系空间内做 correspondence，而非在像素坐标系中做对齐。

3. Method overview

RawMetaDiff: Unlocking Extreme Darkness from Dual-Exposure RAW with Meta-Guided Diffusion method figure
RawMetaDiff 框架：短曝光 RAW 经 UNet 扩散 backbone 去噪，MACT 用长曝 latent + metadata 做 channel-wise 色统计迁移，MNCA 用 Meta-Norm 约束跨曝光注意力注入暗部细节 [page 5 Fig.4]

RawMetaDiff 将双曝光对齐从显式配准重新框架为条件生成问题：短曝光 RAW 作为初始化，由 one-step latent diffusion（VAE 编解码）在 metadata（ISO、CCM、曝光比）引导下去噪到干净 RAW。两个互补机制分工协作：MACT 负责全局色统计迁移（channel-wise AdaIN 风格的 affine modulation），MNCA 负责局部暗部细节注入（metadata-normed cross-attention 约束注意力在物理合理范围内搜索对应关系），避免对齐失败时的错误特征注入。

  • 输入 / 输出：输入：短曝光 Bayer RAW Rs（严重噪声）+ 长曝光 Bayer RAW Rl（手持模糊，色信息可靠）+ 双帧 metadata Rm（ISO、CCM、曝光时间等）；输出：高保真线性 RAW 图像（后续接 ISP 出 sRGB）
  • 核心机制：两个编码器 Es/El 分别将 Rs/Rl 编码为 latent Zs/Zl；RAW Embedder 和 Prompt Embedder 从 Zl + Rm 生成 reference latent Zref 和 Meta Prompt Pm。MACT：MLP(Zref, Pm) 预测 channel-wise (γ, β) 对 UNet 中间特征做 affine modulation（类 AdaIN），物理参数 Pm 稳定色迁移方向，避免生成随机扰动。MNCA：Q/K 在 cross-attention 前各自经 MLP(Pm) 预测的 (γq,k, βq,k) 做 Meta-Norm，将 Query（短曝 features）和 Key（长曝 features）归一化到同一曝光参数空间，使注意力图在物理合理的对应关系约束内搜索，显著抑制曝光差异引起的错误匹配；V 来自 Zref 的暗部细节。总损失含重建 L_rec、扩散 L_diffusion 和对抗 L_adv。
  • 训练 / 评价：真实数据：自建 DERaw，约 1K 组（短曝/长曝/三脚架参考）RAW 三元组，涵盖 building/plant/vehicle/stone 等场景。大规模合成训练：将 sRGB（来自 [21]）逆 ISP 转为干净 RAW，再由真实标定的 HG 噪声模型（σs/σr² 按 ISO 标定）+ RAW 域 PSF motion blur（PSF Kernel Bank 组合）合成短/长曝光对。评价：合成集 PSNR/MS-SSIM/LPIPS/ΔE/NIQE/MUSIQ/MANIQA/CLIP-IQA/DeQA；真实集 DeQA（无参考）。关键数字：vs 最强 baseline HYPIR，LPIPS 下降 33%（0.2447→0.1650），ΔE 从 7.020→5.407，DeQA 从 3.811→4.115（实数集 15% 提升）。风险：one-step diffusion 对 hallucination 仍有残留，ΔE 5.4 在严苛色准应用中仍属偏高；DERaw 仅 1K 样本，场景多样性有限。
  • 读法：重点盯 MACT 消融：仅去掉 metadata guidance（Pm 置零）后色偏 ΔE 的变化，验证 Raw metadata（ISO、CCM）是否真正起到物理锚定作用而非装饰性输入；同时检查 MNCA 注意力图在大运动场景（blur 明显的 long exposure）与静止场景之间的差异。

4. 创新点

将 RAW metadata（ISO、CCM、曝光比）作为物理先验直接注入扩散条件机制（MACT affine modulation + MNCA query/key normalization），把「曝光对齐」问题转化为「metadata-normed correspondence search」，在完全不依赖 optical flow 的情况下实现跨曝光暗部细节注入与色统计迁移的解耦。

5. 优点与不足

优点：无需显式对齐，对大运动场景鲁棒；metadata 引导使色迁移有物理依据而非纯数据驱动猜测；同时报告 ΔE 和感知质量指标，评估相对全面。不足：one-step latent diffusion 仍有幻觉纹理风险（生成而非恢复），ΔE 5.4 对高保真色彩应用不够；DERaw 1K 样本规模偏小，泛化性存疑；逆 ISP 合成训练数据的 CCM/WB 若与测试相机不匹配会引入系统色偏；inference 需要 VAE + UNet 多步前向，移动端实时部署有挑战。

6. 改进方向

1. 用相机出厂 metadata（EXIF 中 CCM、黑白电平、WB 增益）替代估计值参与 MNCA/MACT，验证精确 metadata 是否能进一步压低 ΔE。2. 对 DERaw 做 hold-out device 测试（换用不同传感器拍摄三元组），评估 metadata-guided 机制对未见传感器的跨机型泛化能力。

024

Seeing through Light and Darkness: Sensor-Physics Grounded Deblurring HDR NeRF from Single-Exposure Images and Events

Yunshan Qi, Lin Zhu, Nan Bao, Yifan Zhao, et al. (5 authors)

CVF · PDF · arXiv · Supp

RAW/ISPHDR/ExposureLow-light

1. 要解决什么问题

单曝光模糊 LDR 图像的 HDR 新视角合成中，现有 ERGB 方法（如 EvHDR-NeRF）直接将 HDR-NeRF 的 CRF 应用于三维点上，忽略了 RGB 传感器的积分模糊、事件相机的延迟效应（low-light 区延迟显著）以及光度量化误差，导致传感器输出与物理场景辐照度之间的系统性偏差，HDR 重建和去模糊效果均受限。

2. Motivation · 动机与启发

Seeing through Light and Darkness: Sensor-Physics Grounded Deblurring HDR NeRF from Single-Exposure Images and Events motivation figure
事件包含高时序、高 DR 信息，图示未对齐 vs 对齐框架的 HDR/去模糊效果差异 [page 1 Fig.1]

现有 ERGB-NeRF 方法（如 EvHDR-NeRF）直接沿用 HDR-NeRF 的策略，在三维点上施加 CRF tone mapping，而没有考虑 RGB 传感器曝光积分和事件相机延迟/量化这两段物理失真链路。作者观察到：正是这段「sensor-physics mismatch」（传感器输出与物理辐照度之间的系统偏差）才是现有方法 HDR 重建和去模糊失效的根本原因，而非网络能力不足。因此启发点是：将 ISP 物理链路（RGB CRF + 事件延迟补偿 + 光度量化校正）从隐式假设变为可微分显式模块，与 NeRF 联合优化，才能在单曝光模糊输入下实现真正物理对齐的 HDR 新视角合成。

3. Method overview

Seeing through Light and Darkness: Sensor-Physics Grounded Deblurring HDR NeRF from Single-Exposure Images and Events method figure
See-NeRF 完整 pipeline：上部为事件/RGB 传感器物理成像建模，下部展示 NeRF 体渲染→HDR像素→RGB CRF / 事件 CRF 联合优化流程 [page 4 Fig.3]

See-NeRF 以 NeRF 直接表征 HDR 域三维辐照度（e, σ），volume rendering 后在像素级施加两个可微分 CRF：① pixel-wise RGB CRF（三通道各一个 MLP fcrf）将 HDR 像素值映射为 LDR 测量值；② 事件 CRF 含 Bayer 适配、时延补偿（MLP fev 估计低通滤波系数 ε）和光度量化校正，三者与 NeRF 一起端对端联合优化。

  • 输入 / 输出：输入：单曝光模糊 LDR sRGB 图像 + DAVIS 346 事件流（或 Blender/v2e 合成数据）；输出：任意视角锐利 HDR 图像及任意曝光时间的 LDR 图像
  • 核心机制：关键设计是将 CRF 从 3D 点级（HDR-NeRF 做法）移至像素级（体渲染后）：NeRF 专注学习物理辐照度，fcrf 专注非线性色调映射，互不干扰。事件 CRF 中用低通滤波器模拟事件延迟 L^i_lp = (1-ε_i)L^{i-1}_lp + ε_i E_ev，再用 h(·) 估计量化偏差并补偿，事件损失 L_evs 与图像损失 L_ldr 以 λ=0.005 加权联合监督。
  • 训练 / 评价：训练数据：自建合成集（8 个 Blender HDR 场景，v2e 生成模糊+事件）+自建真实集（DAVIS 346，5 个极端光照场景）+公开 Real-World-Challenge；评价指标 PSNR/SSIM/LPIPS（HDR 重建 + 新曝光合成）；See-NeRF 在合成集 HDR-PSNR 达 24.13（vs EvHDR-NeRF 21.73），真实集 29.11（vs 23.76）；风险：b=4 时步离散化假设在极端长曝下可能欠拟合。
  • 读法：重点盯 Table 1 中单曝光模糊输入 vs 多曝光 reference（HDR-NeRFref 26.91）的差距，以及 Fig.4 像素级 CRF vs 点级 CRF 的消融——这是方法核心贡献的直接证据。

4. 创新点

将 ISP 物理链路（曝光积分 + RGB CRF + 事件延迟/量化）显式建模并反向整合进 NeRF 优化，在单曝光模糊 ERGB 输入下首次实现传感器物理对齐的 HDR 去模糊 NVS。

5. 优点与不足

优点：物理建模严谨，事件 CRF 对低光延迟和量化误差各有专项设计，合成/真实集均 SOTA。不足：仍是 NeRF（训练慢），未扩展至 3DGS；b=4 的时步数假设在极端手持抖动场景下未验证；事件 CRF 中的 h(·) 偏差补偿函数实现细节在主文未充分说明，可复现性存疑。

6. 改进方向

1. 将 pixel-wise RGB CRF 和事件 CRF 移植到 3DGS 框架以加速训练和渲染；2. 引入噪声感知的 per-pixel 曝光时间估计，替换固定 b 步离散化，提升极端手持场景下的鲁棒性。

025

SpiralDiff: Spiral Diffusion with LoRA for RGB-to-RAW Conversion Across Cameras

Huanjing Yue, Shangbin Xie, Cong Cao, Qian Wu, et al. (7 authors)

CVF · PDF · arXiv · Supp

RAW/ISP

1. 要解决什么问题

RGB→RAW 逆 ISP 的核心难点有二：① ISP 中 tone mapping + gamma 压缩造成高亮区与暗区残差分布截然不同（高亮区方差大、可预测性低），全局统一的噪声扰动策略无法兼顾；② 多相机联合训练时不同传感器 CFA、增益曲线、WB 系数各异，合并训练导致模型混淆各相机的 ISP 特性而性能下滑。

2. Motivation · 动机与启发

SpiralDiff: Spiral Diffusion with LoRA for RGB-to-RAW Conversion Across Cameras motivation figure
ResShift 均匀噪声 vs SpiralDiff 信号相关螺旋噪声调度的噪声强度-亮度关系对比 [page 1 Fig.1]

作者实测发现 RGB 与 RAW 之间的残差大小与像素亮度强烈相关：低亮度区残差小且稳定，高亮区因 tone mapping 非线性和截断而残差大且不确定（Fig.2 的 R/G/B 通道实测曲线）。这一观察揭示了现有方法用全局统一噪声扰动的根本缺陷——高亮区本质上需要更大的生成自由度，暗区需要更精确的保真约束。由此启发将扩散过程的噪声方差与像素强度绑定，构造信号相关的螺旋噪声调度，而非借助任何 metadata。

3. Method overview

SpiralDiff: Spiral Diffusion with LoRA for RGB-to-RAW Conversion Across Cameras method figure
SpiralDiff 框架：(a) 信号相关噪声调度（高亮区加更多扰动，暗区保精度）；(b) 螺旋噪声强度-亮度关系；(c) U-Net 去噪网络；(d) CamLoRA 相机自适应 LoRA 选择机制 [page 3 Fig.3]

SpiralDiff 在 ResShift 扩散框架基础上引入 spatially-variant 信号相关噪声调度：前向过程噪声方差 ∝ 像素强度权重图 w_t²，高亮像素获得更大扰动，暗像素保留低扰动以利精确恢复。在此基础上叠加 CamLoRA：对 Swin Transformer 的 Wq/Wk/Wv/Wo 权重以相机 label 为条件选择对应低秩分支 ΔW_i = B_i A_i，r≪min(d,k)，让骨干网络学通用特征、LoRA 层学相机专属 ISP 特性。

  • 输入 / 输出：输入：sRGB 图像 + 相机标签（Canon/Nikon/Sony 等）；输出：线性 RAW Bayer 图（未 demosaic，与传感器 RAW 域对齐）
  • 核心机制：螺旋噪声的核心：权重图 w_t = x_0 + η_t·e_0（RAW 到 RGB 的中间状态），噪声方差 κ²η_t·w_t²·I 随信号转换进度动态演化，使采样轨迹在 x_{t-1} 的局部邻域内稳定收敛。当 w_t≡1 时退化为 ResShift，可做严格消融。CamLoRA 每台相机仅增加 r(d+k) 参数，微调新相机只需训练对应 LoRA 分支，骨干冻结。
  • 训练 / 评价：数据集：MIT-Adobe FiveK（Canon 777张 + Nikon D700 590张）和 NOD（Nikon D750 4k + Sony RX100 VII 3.2k）；WB 使用 as-shot 系数而非自动估计；评价指标 PSNR/SSIM；SpiralDiff 在 FiveK Canon 单独训练达 42.82/0.9936（vs RAW-Diffusion 39.96/0.9890），NOD Nikon 达 53.64/0.9990；+CamLoRA 在联合训练下进一步提升至 43.82（FiveK Nikon）；风险：仅用 PSNR/SSIM 评价，未报颜色误差（ΔE）或 RAW 域 noise profile 保真度。
  • 读法：重点看 Table 1 联合训练（Combined）栏 +CamLoRA vs 不加的差异，以及 Table 2 过曝专项测试——这两处直接检验了信号相关噪声调度和 CamLoRA 各自的贡献。

4. 创新点

将扩散模型的噪声方差与 ISP 物理特性（强度相关残差）绑定，构造随 RAW→RGB 转换进度动态演变的螺旋噪声调度，是扩散框架与 ISP 物理建模结合的新颖切入点。

5. 优点与不足

优点：高亮区恢复明显优于均匀噪声基线，CamLoRA 参数极少（r≪min(d,k)）却有效隔离相机间干扰，新相机适配成本低。不足：仅在 PSNR/SSIM 上评价，未验证 RAW 域噪声统计（泊松-高斯混合）是否保真，而下游任务（夜间检测）需依赖真实 RAW 噪声；推理需 4 步扩散，延迟高于回归方法；未测试 demosaic 之前的 CFA pattern 保真度。

6. 改进方向

1. 增加 RAW 噪声 profile 保真度评价（噪声方差 vs 信号强度曲线），确认生成 RAW 的 shot noise 统计与真实传感器一致；2. 探索把 CamLoRA 与相机 EXIF 元数据（ISO、曝光时间、增益值）联动，实现无 label 的自动相机感知。

026

Task-Aware Image Signal Processor for Advanced Visual Perception

Kai Chen, Jin Xiao, Leheng Zhang, Kexuan Shi, et al. (5 authors)

CVF · PDF · arXiv · Supp

RAW/ISP

1. 要解决什么问题

RAW→RGB ISP 在部署于嵌入式终端时面临双重矛盾：重参数 ISP 网络（如 MW-ISPNet，~9M 参数，2425ms 延迟）精度高但不可部署；轻量化参数调优方法（DIAP、RAW-Adapter）调整的是传统 ISP 的有限全局参数，无法捕捉感知任务需要的复杂空变变换，在低光/高 DR 场景泛化差。

2. Motivation · 动机与启发

Task-Aware Image Signal Processor for Advanced Visual Perception motivation figure
TA-ISP 在参数量、推理延迟与 AP 三维空间中同时领先所有对比方法 [page 1 Fig.1]

作者观察到 task-aware RAW 处理面临两类对立陷阱：重参数 ISP 网络（如 MW-ISPNet，~9M 参数，>2000ms）精度虽高但无法部署于终端；而调参式轻量方法（DIAP、RAW-Adapter）只能调整全局或 per-channel 参数，表达能力受限于传统 ISP 的固定变换空间，在低光/高 DR 场景下空变变换不足。启发点在于：通过全局-区域-像素三级分解，用极少参数（3K）预测多粒度调制算子，而非学习像素到像素的密集映射，就能在参数约束下大幅扩展空变变换的表达空间。

3. Method overview

Task-Aware Image Signal Processor for Advanced Visual Perception method figure
TA-ISP 框架：Global Illumination Calibration（通道增益标定）→ Hierarchical Spatial Attention（多核多尺度空间注意力）→ Region-Guided Feature Conditioning（Gumbel-Softmax 区域 mask + 加权幂变换），输出 RGB 直入下游感知模型 [page 3 Fig.2]

TA-ISP 设计三级多粒度像素调制模块：① Global Illumination Calibration 用 FC 层从通道均值/方差预测 per-channel 增益 αc（Softplus 约束 αc>1）；② Hierarchical Spatial Attention 用多核卷积（不同 k 的 Conv）生成多尺度注意力图，再以全局特征 d 通过 softmax 加权融合；③ Region-Guided Feature Conditioning 用 Gumbel-Softmax 生成 K 组软 mask，对各区域施加独立幂变换 X_s^{1/wk}。三个模块串联，输出 RGB 直接接下游检测/分割模型。

  • 输入 / 输出：输入：12/14-bit packed RAW（Bayer，RGGB）；输出：task-adapted sRGB，直接喂入预训练 RetinaNet / YOLOX-Tiny / SegFormer 等下游模型
  • 核心机制：关键是 Region-Guided Feature Conditioning 中的 Gumbel-Softmax 区域划分：网络自学 K 个空间 mask，对每个 mask 区域估计独立幂次 wk，实现数据驱动的空变色调调整，而非手工分区。整个 ISP 参数量仅 3K（FLOPs 0.20G），对 3840×2160 RAW 推理延迟 26ms，比 RAW-Adapter（158ms）快 6×。
  • 训练 / 评价：数据集：PASCAL RAW（12-bit Nikon D3200，4259 张，白天，3类）、LOD（Canon 5D Mark IV，低光检测，2230 张，8类）、ROD（Sony IMX490，昼/夜各 4k+/12k，5类）、ADE20K（InvISP 合成 RAW，150类分割）；指标 AP/AP50，优化器 SGD；TA-ISP 在 LOD-RetinaNet-ResNet50 达 63.9 AP（vs RAW-Adapter 62.1），ROD 夜间 59.7 AP（vs RAW-Adapter 45.9）；风险：ADE20K 的 RAW 是用 InvISP 合成的，非真实传感器数据，分割结果说服力有限。
  • 读法：重点看 Table 1 的 Params/FLOPs/Latency 三列——TA-ISP 以 3K 参数、26ms 延迟实现 SOTA 精度的效率论据是本文最硬的卖点，但 ROD 夜间的大幅提升（59.7 vs 45.9）值得深究其原因（高 DR RAW 保真度 vs ISP 设计）。

4. 创新点

在极限参数预算（3K）下，以三级多粒度调制（全局/区域/像素）替代传统 ISP 的固定步骤，配合 Gumbel-Softmax 自适应空间分区，将 task-aware RAW 处理推向部署可行的参数效率前沿。

5. 优点与不足

优点：参数极少（3K）、延迟低（26ms/4K）、白天/夜间均有提升，端对端与下游模型联合训练。不足：Gumbel-Softmax 中 τ=0.1 为固定超参，不同传感器/任务下是否稳定未验证；segmentation 用合成 RAW 实验，real RAW 分割未测；未公开与 RAW-Adapter 在相同 backbone 下的逐一消融（三模块各自贡献不清晰）。

6. 改进方向

1. 对三个模块做单独消融，量化各自贡献（尤其是 Region-Guided vs Global 对昼/夜的重要性差异）；2. 测试真实工业相机 RAW（如海康/大恒 12-bit Bayer）上的迁移能力，验证 Gumbel-Softmax 区域划分的跨传感器泛化性。

027

Towards Universal Computational Aberration Correction in Photographic Cameras: A Comprehensive Benchmark Analysis

Xiaolong Qian, Qi Jiang, Yao Gao, Lei Sun, et al. (8 authors)

CVF · PDF · arXiv · Supp

AWB/CCMRAW/ISP

1. 要解决什么问题

计算像差校正（CAC）长期困于镜头专用训练：换一颗镜头就要重新采集 PSF 数据并微调模型，通用 CAC 进展迟缓，根本原因是缺乏覆盖足够广泛像差分布的大规模 benchmark。传统 RMS 半径评价 CAC 难度线性相关性低（R²=0.194），无法指导有效的镜头采样与模型评估。

2. Motivation · 动机与启发

Towards Universal Computational Aberration Correction in Photographic Cameras: A Comprehensive Benchmark Analysis motivation figure
RMS 半径（R²=0.194）与 ODE（R²=0.761）对 CAC 性能预测能力的对比及失败示例 [page 1 Fig.1]

现有 universal CAC 进展迟缓，根源在于两个认知缺口：① 商业镜头 PSF 数据不公开，导致 benchmark 中镜头数量极少，像差分布远不够覆盖真实多样性；② 传统 RMS 半径与 CAC 性能线性相关极弱（R²=0.194），导致无法用物理参数指导镜头采样与评估。作者的关键洞察是：自动光学设计可以低成本生成大量符合物理约束的镜头文件，而 ODE（结合图像质量与 MTF 的加权框架）能将 CAC 难度与结果强线性对齐（R²=0.761），从而为 universal CAC 的训练/评估提供可靠度量尺度。

3. Method overview

Towards Universal Computational Aberration Correction in Photographic Cameras: A Comprehensive Benchmark Analysis method figure
ODE（Optical Degradation Evaluator）pipeline：Spatial Branch 通过不同 FoV 的刀口图计算 OIQ（PSNR+SSIM+OIQE）和空间均匀性 Us；Channel Branch 计算三通道 OIQ 变异系数得色差均匀性 Uc，三项加权输出 ODE 分数 [page 3 Fig.2]

论文核心是 benchmark 构建，而非新算法。以 OptiFusion 自动光学设计扩展（加入非球面参数）生成 873 个训练镜头和 120 个测试镜头（UniCACLib），提出 ODE 量化框架（OIQ + 空间均匀性 Us + 色差均匀性 Uc 加权，R²=0.761），将 120 个测试镜头划分 5 个像差难度级别，在此 benchmark 上系统评测 24 个模型（含 CAC 专用和通用 IR 方法），梳理三类影响 CAC 的关键因素。

  • 输入 / 输出：输入（benchmark 端）：各镜头 PSF 卷积后的退化图像（Flickr2K+DIV2K 约 3000 张 GT 与 26 张自采高分辨率 GT）；输出：还原后 RGB 图像，以 PSNR/SSIM/LPIPS/FID/OIQE/ClipIQA 六维度及综合 O.P. 评分
  • 核心机制：ODE = λ_oiq·OIQ + λ_s·Us + λ_c·Uc（λ=0.7/0.3/0.01），OIQ 整合 PSNR（×0.4）+SSIM（×0.3）+MTF-based OIQE（×0.3）。核心发现：① FoV 先验和 PSF 线索对空变像差至关重要；② FeMaSR codebook 和 DiffBIR stable diffusion prior 对 CAC 有正迁移；③ CNN 比 Transformer 在 CAC 上推理效率更优；④ 回归训练提升保真度，GAN/扩散训练提升感知质量但 OIQE 未必更好。
  • 训练 / 评价：训练集：Flickr2K+DIV2K GT×873 个训练镜头 PSF；测试集：26 张自采 GT×120 个测试镜头；指标 PSNR/SSIM/LPIPS/FID/OIQE/ClipIQA，综合 O.P.；最优方法（FOV-KPN，ICCV21）O.P.=1.502，DiffBIR（Diffusion）O.P.=1.524（最高感知质量但高计算代价）；风险：GT 图像仅 26 张，测试集多样性有限；合成 PSF 与真实镜头制造公差之间的残余偏差（real shot vs simulation 对比图仍有可见差异）。
  • 读法：抓住 Table 2 中 24 个方法的 O.P. 排名，对照 Table 1 的模型类型/学习范式——CNN 回归 vs Transformer vs Diffusion 的效率-质量 trade-off 是本文给 CAC 社区最直接的实用指南。

4. 创新点

首次将自动光学设计（球面+非球面）与标准 checkerboard 成像相结合，构造含 993 个可制造镜头的大规模 CAC benchmark，并提出与 CAC 结果高线性相关（R²=0.761）的 ODE 量化框架取代传统 RMS 半径评价。

5. 优点与不足

优点：benchmark 规模和覆盖度是目前 universal CAC 领域最大；ODE 框架物理可解释，与 CAC 性能强线性相关；24 个方法横向对比全面。不足：测试 GT 图像仅 26 张，统计置信度存疑；合成 PSF 经光学仿真，与真实量产镜头的制造公差仍有偏差；Uc 与 CAC 性能相关性极低（R²=0.018），色差分量对 ODE 的权重设置（0.01）几乎失效却未做深入讨论；无新算法贡献，依赖现有开源代码质量参差不齐。

6. 改进方向

1. 扩充自采真实 GT 图像数量（≥200 张，覆盖更多场景），并引入更多真实量产镜头验证仿真-实拍一致性；2. 在 Uc 分量上设计专项 benchmark，进一步研究色差（chromatic aberration）对 CAC 性能的独立影响，解释 R²=0.018 的低相关根因（是否因现有方法均未专门建模色差通道差异）。

028

gQIR: Generative Quanta Image Reconstruction

Aryan Garg, Sizhuo Ma, Mohit Gupta

CVF · PDF · arXiv · Supp

RAW/ISP3D/Photometric

1. 要解决什么问题

SPAD 传感器在超高速（10k–100k fps）和极低光子通量场景下输出的每帧只是稀疏 Bernoulli 二值图，PPP 约 1–3.5，传统图像恢复管线假设 Poisson–Gaussian 噪声，直接失效。彩色 SPAD 还要同时完成 demosaicing（Bayer CFA），使 latent diffusion 先验的 naive fine-tuning 出现快捷学习（shortcut collapse）：encoder 忽略输入直接输出平滑噪声。这是光子有限成像接入大模型生成先验的核心障碍，对 ISP 领域意义在于：一旦解决，可将 Stable Diffusion 级别的语义先验引入极端低信噪比 raw pipeline。

2. Motivation · 动机与启发

gQIR: Generative Quanta Image Reconstruction motivation figure
gQIR 将彩色 SPAD nano-burst（超高速爆炸/弹道场景）重建为高质量 sRGB 图像的能力展示 [page 2 Fig.1]

SPAD 传感器在 10k–100k fps 极端场景下每帧只有稀疏 Bernoulli 二值光子事件，PPP 约 1–3，噪声统计远超传统 Poisson-Gaussian 假设；同时，直接对 Stable Diffusion 做 naive finetuning 会产生「shortcut collapse」——encoder 忽略输入直接输出平滑噪声图。启发点在于：大规模 T2I 扩散模型已在海量自然图像中学到强语义/结构先验，若能通过 LSA loss 将 latent space 对齐到 Bernoulli 光子统计域（而非用普通 MSE 微调），就能将 SD 的生成能力引入极端低光子成像，突破传统恢复方法在稀疏光子条件下的平滑化瓶颈。

3. Method overview

gQIR: Generative Quanta Image Reconstruction method figure
gQIR 三阶段框架: S1 量子对齐 VAE（joint denoise+demosaic）, S2 LoRA 对抗微调 U-Net 增强感知保真度, S3 FusionViT 做潜变量空间时序帧融合 [page 3 Fig.2]

三阶段模块化框架适配 Stable Diffusion 2.1/3.5 做 SPAD burst 重建：S1 对 SD VAE 的 encoder 做量子域对齐，引入 LSA（Latent Space Alignment）loss 防止 encoder collapse，同时用确定性均值编码代替随机采样；S2 用 LoRA + 对抗微调将 latent U-Net 转为单步生成器，损失含 L_adv + L_perc + L_MSE；S3 引入 FusionViT（轻量时空 transformer）在 latent 空间做 align-and-merge，输出时序一致的 burst 重建。

  • 输入 / 输出：输入：3-bit 彩色 SPAD CFA nano-burst（N 帧 Bernoulli 二值图均值，α=1.0，PPP≈3.5，Bayer 马赛克）；输出：高质量 sRGB 重建图像（单帧或 burst 序列）
  • 核心机制：S1 的 LSA loss（Llsa = ||μ_φ*(x_lq) − μ_φ(x_gt)||²）强制 finetuned encoder 在 latent 空间向 GT 对齐，避免 catastrophic forgetting，decoder 全程冻结以保留 SD 先验。S2 用 ConvNext-Large 多尺度判别器 Vθ 对 LoRA U-Net G_lora 做 GAN 训练，初始化自 SD diffusion 权重保证梯度稳定。S3 FusionViT 以中心帧 latent 为锚点，利用邻帧 context 动态加权融合，抑制 flicker 和内容漂移。三阶段可独立训练，S2 在单块 RTX 4090 上以 256×256 跑 100k iter。
  • 训练 / 评价：训练数据：2.81M 图像 + 44,575 段视频（含 FFHQ、XVFI、I2-2000fps 等）。S1 在 8×A100 跑 600k steps（lr=1e-5，batch=8）；S3 使用 RAFT（预训练于 FlyingThings3D）初始化跑 20k steps。测试集：334 张单帧图像 + 11 个 100 帧视频（含作者新建的 XD 极端变形数据集和真实彩色 SPAD burst 数据集）。评价指标：全参考 PSNR/SSIM/LPIPS + 无参考 ManIQA/ClipIQA/MUSIQ；gQIR 在感知指标（LPIPS、ManIQA）上领先 ft-Restormer/ft-NAFNet，后两者因直接优化 PSNR 而过平滑。风险：生成式重建引入幻觉细节，PSNR 偏低，感知指标不等于色彩保真。
  • 读法：重点盯 Table 1 中 gQIR vs. ft-Restormer 的 PSNR vs. LPIPS/ManIQA 差值：这组对比最直接展示生成先验与 fidelity 之间的 trade-off，也是该方法对彩色 SPAD ISP 可用性的核心测试。

4. 创新点

首次将 Stable Diffusion latent space 通过 LSA loss + 确定性均值编码适配到 Bernoulli 光子统计域，同时在 latent 空间实现彩色 SPAD 的 denoise + demosaic + burst fusion 三合一，并发布首个真实彩色 SPAD burst 数据集。

5. 优点与不足

优点：三阶段模块独立可插拔，S2 在单卡 4090 可跑，感知质量显著优于传统 finetuning 方案，能处理 10k–100k fps 极端运动场景。不足：（1）生成式重建天然带来幻觉纹理，对需要光度精确的科学成像（如荧光显微、弹道分析）不可靠；（2）合成训练数据用固定 α=1.0 模拟，真实 SPAD 的暗电流、死时间等非理想效应未建模；（3）S1 在 8×A100 跑 600k steps，计算成本高，边缘端部署困难。

6. 改进方向

1. 将 Bernoulli 图像形成模型扩展到包含 SPAD 真实的死时间（dead time）和 afterpulsing 效应，提升真实传感器上的泛化能力。2. 引入 uncertainty-aware 生成：让模型在无法可靠重建的饱和区域输出置信图而非强行幻觉，方便下游任务过滤不可靠像素。

3 · HDR / 曝光 / 色调映射 / 多曝光融合

029

HDR-VLM: HDR-Domain Adaptation of VLMs and Preference-Aligned Quality Assessment for HDR Video Color Grading

Hao Yuan, Jiabin Zhang, Yajing Wu, Ruixuan Pang, et al. (5 authors)

CVF · PDF · Supp

HDR/ExposureGeneration/Edit

1. 要解决什么问题

HDR 视频 color grading 质量评估需同时感知 PQ/HLG 的绝对亮度编码（峰值可达 10,000 nit）、高光细节保留、肤色和天空语义一致性等多维度，而所有 VLM 都在 SDR（Rec.709，100 nit 参考白）上预训练，将 PQ 编码内容送入 VLM 会导致亮度和色彩外观严重误判。已有 HDR-VQA 方法（HDR-VDP-3、LGFM、ColorVideoVDP）全是信号级 FR 指标，无法评估 grading 的语义意图与观看者偏好，工业 post-production 流程缺乏可解释的自动质检工具。

2. Motivation · 动机与启发

HDR-VLM: HDR-Domain Adaptation of VLMs and Preference-Aligned Quality Assessment for HDR Video Color Grading motivation figure
SDR/HDR 感知空间对比及 VLM 域差距示意 [page 1 Fig.1]

HDR 视频 grading 质量评估的真正困难不是缺标注，而是 VLM 的感知基础本身就是错的：所有 VLM 都在 SDR（Rec.709）数据上预训练，在感知空间上根本「看不见」HDR 的高光细节差异——将同一场景的好 grading 和坏 grading 输入 SDR-pretrained VLM，它只能报告「两者都偏暗，视觉相似」。作者的核心洞察是，HLG 编码的低亮度段与 SDR gamma 天然接近，可以作为 SDR→HDR 域迁移的自然课程桥梁，而无需 tone mapping 破坏感知结构。此外，人类 grading 偏好的 JOD 标注天然多尺度且噪声大，无法直接回归——这促使作者借鉴 curriculum learning 思路，设计了先跨 grade 粗排序、再细粒度数值校准的两步 RL reward。

3. Method overview

HDR-VLM: HDR-Domain Adaptation of VLMs and Preference-Aligned Quality Assessment for HDR Video Color Grading method figure
HDR-VLM 两阶段框架：Stage 1 以 HLG 统一编码后逐层解冻 ViT→MLP→LLM 做 SFT；Stage 2 用 GRPO + 渐进 ranking reward 对齐人类主观 JOD 分数 [page 4 Fig.2]

两阶段适配方案：Stage 1 利用 HLG 编码的 SDR-HDR 混合特性，对 Qwen2.5-VL 7B 按 ViT → MLP projector → 全模型解冻三相 SFT，用含峰值亮度、highlight 面积比、shadow variance、色度饱和度等 HDR descriptor 的结构化文本对监督，注入 HDR 感知能力；Stage 2 用 GRPO 做 RL 偏好对齐，设计渐进 ranking reward（先学 coarse 跨 grade 排序，再校正 fine-grained 数值量级），稳定处理高噪声主观 JOD 标注。

  • 输入 / 输出：输入：HLG 编码的 HDR/SDR 视频帧对（960×540，4K 源降采样）+ 结构化文本描述；输出：标量质量分（相对 SDR 参考的 JOD，范围 [−6, 10]）+ CoT rationale（如「高光严重过曝，云彩细节丢失」）
  • 核心机制：HLG 的混合 EOTF 在低亮度段与 SDR gamma 接近，构成 SDR→HDR 自然课程；Stage 1 SFT 先冻结 LLM 只调 ViT 注入 HDR 低层线索，再开放 projector 做跨模态对齐，最后端到端 instruction tuning。Stage 2 GRPO 每个样本采 K=5 个候选分，通过 dynamic K-means 把 SRC 组内 JOD 分聚成 M 档，构建 endogenous list PL1 计算 Spearman SROCC 作为 rank reward，再加 exogenous 锚定和 clipped distance reward Rdist 校准数值幅度，两步 schedule 先稳序再对齐量级。
  • 训练 / 评价：训练数据：Stage 1 用 40,000 帧 HLG 对（含 HDR descriptor）；Stage 2 用 4,000 SDR/HDR 对 + JOD 标签（700 段视频 87,080 帧，48 名观看者在 1,000-nit D65 标准环境下 pairwise 比较，共 9,750 对判断转换为 JOD）。评价：PLCC 和 SROCC vs. GT JOD；HDR-VLM 达到 PLCC=0.9033 / SROCC=0.8667，优于 VQAThinker（0.8745/0.8386）、GPT-4o（0.7889/0.7856）和 ColorVideoVDP（0.4275/0.5747）。风险：数据集来自单一流媒体平台，grading style 分布有偏；评分范围为相对 JOD，不能直接用于绝对亮度指标。
  • 读法：重点盯 Table 1：ColorVideoVDP 这类专用 FR-HDR 指标 PLCC 仅 0.43，而 HDR-VLM 达 0.90——这个落差说明感知 grading 质量与信号失真指标是两套度量体系，需分清使用场景。

4. 创新点

首次完整地把 VLM 通过 HLG curriculum SFT + GRPO 渐进 ranking reward 适配到 HDR grading 质量评估，并附 CoT 可解释输出，打通了 SDR→HDR 的域迁移路径；构建首个生产级 HDR color grading 主观评估数据集（700 段 4K 视频）。

5. 优点与不足

优点：HLG 桥接思路优雅，无需 tone mapping 即可复用 SDR 预训练权重；渐进 ranking reward 在噪声标注下比直接回归稳定；输出 rationale 可直接给内容制作团队作修改建议。不足：（1）数据集规模有限（700 视频），SRC 内容仅来自一个平台，电影/直播/体育等不同制作风格泛化性未验证；（2）评估单帧 5fps 采样，忽略时域亮度变化；（3）依赖 Qwen2.5-VL 7B 推理，实时检查流速不达标；（4）JOD 是相对 SDR 的差值分，对 native HDR 无 SDR 参考的内容适用性存疑。

6. 改进方向

1. 引入时域连续性建模（如帧级 score 的时域一致性 reward），避免同一镜头内分数跳变带来的评估噪声。2. 扩展数据集覆盖直播/运动内容，并纳入不同显示峰值亮度（500 nit / 2000 nit / 4000 nit）下的主观评分，增强对显示设备适配性的感知建模。

030

ExpoCM: Exposure-Aware One-Step Generative Single-Image HDR Reconstruction

Aoyu Liu, Zhen Liu, Ziyi Wang, Dian Chen, et al. (6 authors)

CVF · PDF · arXiv

HDR/Exposure3D/Photometric

1. 要解决什么问题

单张 LDR 图像 HDR 重建在空间上高度非均匀：过曝区饱和丢失纹理需幻觉生成，欠曝区噪声放大需去噪抑制，正常曝光区需保结构。扩散模型在原理上是空间同质处理，无法分区施策；更大的工程瓶颈是 DDPM 1000 步或 DDIM 50 步的推理延迟，限制实用化。已有的一致性模型（CM）虽然支持单步推理，但延续了空间同质的 PF-ODE 轨迹设计且依赖从预训练多步模型蒸馏，未能解决曝光异质性问题。

2. Motivation · 动机与启发

单张 HDR 重建的空间异质性一直是已知痛点，但现有扩散模型把全图统一用同一条 PF-ODE 轨迹处理——这意味着过曝区（需要幻觉生成）和欠曝区（需要去噪）实际上在争夺同一套 SDE 参数，互相妨碍。作者的启发来自 Consistency Models：如果 PF-ODE 轨迹本身可以设计，就可以按像素曝光状态分流，让过曝区走噪声主导轨迹（丢弃饱和信号，生成高光纹理）、欠曝区走保结构轨迹（锚定 LDR 信号，抑制噪声），从而在同一步推理里同时解决两类退化。另一个关键观察是生成模型的色偏在 HDR 重建场景里格外有害：亮度偏差在 µ-law PSNR 下被掩盖，需要在 L*a*b* 的感知均匀空间里分别对亮度和色度加权惩罚。

3. Method overview

ExpoCM: Exposure-Aware One-Step Generative Single-Image HDR Reconstruction method figure
ExpoCM 框架：(a) Consistency Training 原理；(b) 基于亮度百分位的 soft exposure mask 生成；(c) 三区域分流的 EACT + ELC loss 驱动单步一致性模型 [page 4 Fig.2]

ExpoCM 基于 Consistency Models 框架，核心是把 HDR 重建重新表述为 PF-ODE 轨迹问题，并在轨迹设计层引入按像素曝光状态分流的 EACT（Exposure-Aware Consistency Trajectory）。三类区域对应三种不同的 SDE 扰动参数和 guidance 策略，使模型在单步前向推理中同时完成幻觉生成（过曝）、去噪（欠曝）和保结构（正常曝光）。另引入 CIE L*a*b* 空间的 ELC（Exposure-guided Luminance-Chromaticity）loss 抑制生成模型固有的亮度偏差和色漂，无需从预训练 DM 蒸馏。

  • 输入 / 输出：输入：单张 LDR 图像（任意曝光，含高光过饱和区域）；输出：线性 HDR 辐亮度图（评估时在 µ-law、PU21、linear 三域测量）
  • 核心机制：Exposure Mask Generation 以亮度通道 Y = 0.2126R+0.7152G+0.0722B 的第 2 和 98 百分位加 margin τ=0.02 构造连续 soft mask（w_over, w_under, w_good）。EACT 为过曝区定义噪声主导轨迹 x_t^o = (1-α(t))x_0 + σ_o(t)ε（丢弃 LDR 输入），为欠曝区定义保结构轨迹 x_t^u = (1-α(t))x_0 + α(t)y_0 + σ_u(t)ε（保留 LDR 锚点），三轨迹按权重混合；一致性网络 f_θ（U-Net，3 down/up stages）以 xt 和 y_0 通道拼接为输入，EMA target 训练保证轨迹自洽性（CT loss）。ELC loss 在 L*a*b* 空间对 L* 和 a*b* 分别乘以曝光权重，过曝区域加大色度惩罚权重抑制色漂，欠曝区域加大亮度惩罚权重。
  • 训练 / 评价：在 NVIDIA 3090 上训练 500k iter，batch=4，随机裁剪 256×256，AdamW（β1=0.9，β2=0.999）；两阶段训练：先用 CT loss 学轨迹，再用 ELC loss finetune。测试于 HDR-REAL（1,838 对，512×512）、HDR-EYE（46 对）、AIM2025（18,898 对）三个 benchmark；指标覆盖 PSNR-µ/SSIM-µ（µ-law tone-mapped）、PSNR-PU/SSIM-PU（PU21 域）、PSNR-l（线性域）、MS-SSIM、HDR-VDP-2/-3（30 PPD @0.5m）、LPIPS、ΔE2000；ExpoCM 在 ΔE2000 指标上取得最低色差，推理速度比 DDPM 快 400× 以上，比 DDIM-50 快 20×。风险：感知指标 LPIPS 与 ΔE2000 有时背道而驰，单步模型的 stochasticity 依赖随机种子。
  • 读法：重点检查 Table 1 中 ΔE2000 一列：ExpoCM 声称最低色差但也是生成式模型，需看 HDR-EYE 这一小数据集上的 PSNR-l 是否与 ΔE2000 同向，以排除「低色差但高光幻觉纹理」的误导性结果。

4. 创新点

首次将按曝光区域空间异质化的 PF-ODE 轨迹（EACT）引入单步 HDR 重建，无需多步扩散模型蒸馏；同时在 L*a*b* 空间设计曝光感知的亮度-色度加权 loss（ELC），直接针对 HDR 重建特有的色漂和亮度偏差问题，而非沿用通用感知 loss。

5. 优点与不足

优点：单步推理速度实用化（vs. DDPM 400×），EACT 设计有物理可解释性，ΔE2000 表现突出。不足：（1）soft mask 基于全局百分位估算，对混光场景（局部光斑+大面积正常曝光）的边界判断不准确；（2）过曝区完全丢弃 LDR 信号走噪声轨迹，若局部区域仅轻微过曝则可能过度幻觉；（3）HDR-EYE 仅 46 对样本，结果方差大，SOTA 结论需谨慎；（4）训练从 scratch，不利用大模型生成先验，感知多样性不如 SD-based 方法。

6. 改进方向

1. 将 soft mask 改为局部自适应的基于 patch 的曝光分类（如小型 CNN 头），解决全局百分位在复杂光照场景下误判的问题。2. 在 ELC loss 中加入 CIE CAT16 色适应变换的感知均匀性修正，进一步降低高光区域的色相漂移。

031

F^2HDR: Two-Stage HDR Video Reconstruction via Flow Adapter and Physical Motion Modeling

Huanjing Yue, Dawei Li, Shaoxiong Tu, Jingyu Yang

CVF · PDF · Supp

HDR/Exposure3D/Photometric

1. 要解决什么问题

HDR 视频由交替曝光的 LDR 序列重建时，跨曝光帧之间高光过曝/暗部欠曝导致光流估计失效：通用预训练光流（如 RAFT/SEA-RAFT）在 HDR 曝光差异区表现差，而用 HDR 重建 loss 重训的光流（HDRFlow、NECHDR）又因缺少专用 flow GT 而产生边缘模糊的流场，误差累积到第二阶段引发 ghosting 和色移。此问题直接影响视频 HDR 管线的时域一致性，也是 ISP 流程中交替曝光 HDR 视频采集的核心痛点。

2. Motivation · 动机与启发

光流在 HDR 场景里面临一个两难困境：通用预训练光流（RAFT/SEA-RAFT）边缘细节好，但对跨曝光的过曝/欠曝区域完全失效；针对 HDR 重建 loss 重训的光流（HDRFlow）虽能处理曝光差异，但没有 flow GT 监督导致流场边缘模糊。作者的核心洞察是：这两者不必二选一——可以用预训练光流提供边缘锐度，再用一个轻量 Flow Adapter 学习残差修正来补偿曝光适配能力，这样同时获得两者优势。第二个洞察是：alignment 误差并非均匀分布，而是集中在物理上运动复杂的区域——用流场的 divergence/curl/shear 物理分解比单纯幅度更能精准定位 ghosting 风险区，从而让 Stage II 的精修网络有的放矢。

3. Method overview

F^2HDR: Two-Stage HDR Video Reconstruction via Flow Adapter and Physical Motion Modeling method figure
F²HDR 两阶段框架：Stage I 用 SEA-RAFT + Flow Adapter 估计跨曝光 residual flow 并做加权融合得到 Hcoarse；Stage II 用物理运动掩码调制特征再融合 coarse HDR 得到 Hfinal [page 4 Fig.2]

两阶段框架 F²HDR：Stage I 用 Flow Adapter（浅层残差 CNN）学习通用光流到 HDR 场景适配的残差修正，以保边细节为基础做跨曝光对齐；同时物理分解流场提取运动掩码。Stage II 利用运动掩码调制特征聚合，将粗融合 HDR 结果和 LDR 特征在特征域融合，通过三扩张率分支增强感受野减少 ghosting，最终输出无鬼影高保真 HDR 帧。

  • 输入 / 输出：输入：三帧连续 LDR 视频（交替长/短曝光，γ=2.2 gamma correction 映射到线性 HDR 域）；输出：当前帧高质量 HDR 重建结果（tone-mapped 评估）
  • 核心机制：Flow Adapter 以三帧 LDR 及 SEA-RAFT 粗流（λ=20 归一化）为输入，通过多扩张率 Conv-PReLU 残差块预测 Δf，叠加到粗流上得到精细流 f̃。物理运动建模从 f 的一阶空间偏导提取 translation（||f||₂）、divergence（ux+vy）、curl（vx-uy）、shear（S）四个物理分量，由可学习权重卷积块加权后得到 motion energy Em，再经 multi-scale 中心-环绕对比 Smulti 增强边缘，最后用 adaptive Otsu-style 阈值 τ 转为连续 motion mask M∈[0,1]（sigmoid 软化）。Stage II 将邻帧 LDR+HDR 融合特征 F_LI 经运动 gate G = σ(Conv[||f̃||₂/f_max, M, 1]) 调制，再与三扩张分支特征增强模块和 coarse HDR 特征融合，L1 loss 在 µ-law tonemapping（µ=5000）后的域中计算。
  • 训练 / 评价：训练数据：Vimeo-90K，按先前工作通过模拟 pipeline 生成交替曝光 LDR 序列，随机翻转/旋转后裁剪 256×256。评测数据集：DeepHDRVideo（Chen21 真实 HDR 视频）和 Real-HDRV；指标：PSNR-T（µ-law 域 PSNR）、SSIM-T、HDR-VDP-2；DeepHDRVideo 上 F²HDR PSNR-T=43.87，优于 HDRFlow*(43.25)、NECHDR(43.44)；此外报告 LDR warping EPE（光流精度）验证 Flow Adapter 效果。风险：训练数据完全合成，真实摄影机的非线性响应曲线（相机 CRF）和噪声特性未完全覆盖；Real-HDRV 真实数据集量有限，对快速闪光/镜头切换场景未评估。
  • 读法：重点盯 Table 1 中 LDR Warping PSNR/EPE 一列：Flow Adapter 对光流精度的提升是否能直接解释最终 HDR PSNR 的提升，如果 flow 精度提升但 HDR PSNR 只有边际改善，说明 Stage II 物理运动掩码才是主要贡献，需在 ablation 里验证。

4. 创新点

将通用预训练光流（SEA-RAFT）通过可学习残差适配器引入 HDR 重建，在不重训整个 flow 网络的前提下兼顾边缘锐度和曝光适配；物理运动建模（divergence/curl/shear 分解）提供语义更丰富的 artifact 定位掩码，优于简单光流幅度或二值分割。

5. 优点与不足

优点：Flow Adapter 轻量，参数量少，可模块化插入现有两阶段框架；物理分解掩码对 occlusion boundary、旋转运动等复杂场景的 artifact 定位比幅度 mask 更准确；端到端训练让 Stage II 反向优化 flow。不足：（1）Flow Adapter 用 λ=20 固定归一化，对极端曝光比（如 8EV 差值）的鲁棒性未评估；（2）物理运动分量权重由卷积块自学习，缺少可解释的先验约束，训练数据分布外行为不透明；（3）仅建模三帧（t-1, t, t+1），长程遮挡场景（多帧内持续遮挡）无法利用更远历史帧信息；（4）在 Real-HDRV 上无 HDR-VDP-3 对比数据，色彩准确性维度评估不完整。

6. 改进方向

1. 将 Flow Adapter 扩展为支持任意曝光比的自适应归一化（用曝光比 e_t/e_{t±1} 作为条件），提升对不同拍摄参数的鲁棒性。2. 引入 ΔE2000 或 CAM16 色差作为训练辅助 loss，在 µ-law PSNR 之外为 HDR 视频重建增加显式的色彩保真约束。

032

FastGaMer: Efficient GainMap Learning for Practical Inverse Tone Mapping

Yuanshen Guan, Ruikang Xu, Chang Chen, Yinuo Liao, et al. (7 authors)

CVF · PDF · Supp

HDR/Exposure

1. 要解决什么问题

实际 ISP 流水线中 SDR 内容几乎都经过 local TMO（如 Adobe Camera RAW）生成，而非简单全局 tone curve——这意味着 ITM 面对的退化同时含有全局辐射压缩和空间自适应的局部调整，彼此耦合并引入通道间 chroma 失真。现有方法要么直接回归 HDR 像素值（计算量大、对 local 退化结构盲）、要么学单通道 luminance gain map（无法恢复 wide color gamut，因为压缩是 per-channel 的）。在资源受限的电视/机顶盒上做 4K 实时 ITM 则进一步压缩可用算力。

2. Motivation · 动机与启发

FastGaMer: Efficient GainMap Learning for Practical Inverse Tone Mapping motivation figure
Color GM vs. 单通道 GM 的色域恢复对比及退化结构分解 [page 2 Fig.1]

实际 ISP/制作流水线中，SDR 内容几乎全经过 local TMO（如 Adobe Camera RAW）生成，而非纯全局 tone curve——但几乎所有 ITM 方法都忽视了这一事实，把 SDR 当成简单压缩来处理。作者的核心观察是：local TMO 对 HDR 的退化具有可分解结构，即全局辐射压缩 + 空间自适应的局部调整，两者耦合后还引入了 per-channel chroma 失真。单通道 luminance gain map（GMNet）无法还原这种 per-channel 颜色压缩，从而导致 WCG 恢复失败。将学习目标从 HDR 像素值改为三通道 color gain map，并把退化的两个分量分别用 bilateral grid（局部自适应）和 3D LUT（全局映射）显式逆转，是本文设计的直接推理出发点。

3. Method overview

FastGaMer: Efficient GainMap Learning for Practical Inverse Tone Mapping method figure
FastGaMer 框架：缩略图提取全局特征后并行生成 bilateral grid、3D LUT 和 neural modulator，依次作用于原分辨率 SDR，输出 log 域 color gain map，最终合成线性 HDR [page 4 Fig.3]

FastGaMer 将学习目标从 HDR 像素值改为三通道 color gain map（log 域，归一化至 [-1,1]），并将 local TMO 的退化结构显式分解：用 dynamic bilateral grid 处理空间自适应的局部失真，用 learnable 3D LUT（Nt=17 档）做全局 SDR→log-GM 转换，再用 neural modulator（channel-wise affine 参数广播）做全局 GM 精修。所有高分辨率操作均无网络前向——neural 部分只跑 256×256 缩略图，生成的算子再 network-free 地作用于原 4K，实现真正的 resolution-agnostic pipeline。

  • 输入 / 输出：输入：gamma 压缩 SDR 图像（任意分辨率，实际测试 4K）；输出：线性 HDR 图像（经 log-GM + scale Q̂max 解码后重建，支持 WCG gamut 扩展）
  • 核心机制：核心链路：(1) Scale Estimation——thumbnail → encoder → 2-layer MLP 预测全局 Q̂max，规避 patch 级别绝对亮度估计的病态性；(2) Grid Generator——MLP 生成 K=3 组 Nb=8 bilateral grid，以输入 RGB 作为 range guidance，slice 后 1×1 conv 融合得 Igrid；(3) LUT Generator——另一 MLP 预测 3×17³ 参数并用 tri-linear sampling 将 Igrid 映射到 log-GM 域；(4) Neural Modulator——从 thumbnail 特征提取 per-channel (α, β)，对 LUT 输出做 tanh + affine 修正。训练损失含 normalized GM 的 L1 监督、原始 GM 的 L1、以及单调性惩罚 Lm。
  • 训练 / 评价：训练数据：自建 8,000+ 张 4K SDR-GM 合成对（从 RAW 通过 Adobe Camera RAW local TMO 生成）+ 独立 real-captured 测试集。评价指标：PQ 域 PSNR、linear 域 PSNR/SSIM/SRSIM、ΔE_ITP（色差）、HDR-VDP3。FastGaMer 在合成测试集上 PQ-PSNR 32.06 dB（+1.4 dB vs ITMLUT），ΔE_ITP 13.89（最优）。风险：合成数据由 Adobe Camera RAW 生成，对其他 TMO 厂商（如 Dolby）的泛化性未评估；HDR-VDP3 感知评分 9.263，相对网络方法的优势较小。
  • 读法：重点盯住 Table 1 的 ΔE_ITP 列——这是 color gain map 设计直接针对的指标（chroma 恢复），以及 real-captured 测试集的 visual comparison，因为合成集存在 domain bias。

4. 创新点

将 local TMO 的退化结构显式解耦为 global + local 两路，以 color（三通道）gain map 为监督目标而非 HDR 像素，配合 resolution-agnostic 的 thumbnail-driven 算子生成，在 4K 6.2 ms（V100）下兼顾 WCG 扩展精度。

5. 优点与不足

优点：pipeline 设计与退化模型对齐，per-channel GM 直接处理色域压缩问题，所有高分辨率操作 network-free 故延迟极低；+1.4 dB PQ-PSNR、70% 运行时缩减、ΔE_ITP 最优。不足：数据集由单一 local TMO 工具（Adobe Camera RAW）合成，未验证 Dolby Vision/Technicolor 等 HDR mastering pipeline；单通道 GMNet 的主要竞争者 GMNet 本身已在 GM 域操作，FastGaMer 的真正贡献依赖 local TMO degradation 这一假设，若输入 SDR 来自 clip-only 全局 TM 则优势缩减；V100 实测，消费级 SoC 延迟未给出。

6. 改进方向

1. 用多种 TMO 工具（ACES、Dolby CM、libhdr）扩充合成数据集，测试跨 pipeline 泛化；2. 将 Q̂max 的 scale estimation 扩展为 spatially-aware（以处理混合光照下分区曝光级别不同的场景，bilateral grid 本身有此潜力）。

033

LRHDR: Learning Representation-enhanced HDR Video Reconstruction

Chenzhuo Liao, Xin Chen, Bingchen Li, Yu Meng, et al. (6 authors)

CVF · PDF · Supp

HDR/Exposure3D/Photometric

1. 要解决什么问题

交替曝光 HDR 视频重建的核心矛盾：相邻帧曝光不同，既无法直接对齐（光度差异大），又存在饱和/欠曝信息缺失——强制将非参考曝光帧 warp 到参考帧不仅引入 ghosting，还会将对齐误差传播到后续融合模块。现有方法（optical flow 对齐 + fusion）对大运动、强光照变化场景失效，且流估计在极端曝光区域本就不可靠。

2. Motivation · 动机与启发

LRHDR: Learning Representation-enhanced HDR Video Reconstruction motivation figure
不同曝光 LDR 经统一表示映射后投票融合得 HDR 的核心思路 [page 2 Fig.1]

交替曝光 HDR 视频重建的根本矛盾在于：相邻帧曝光不同，光度差异让像素级对齐天然不可靠，而强制对齐把误差传播到融合模块，在大运动场景下累积成 ghosting。作者从成像辐射学中找到出路：不同曝光下同一场景在特征空间近似满足仿射关系（辐射度的线性缩放映射到 encoder 特征的线性调制）——这意味着不需要显式 warp，只需用 per-pixel per-channel 的线性变换把不同曝光流归一化到同一表示域，再做融合。这一跳过对齐、直接统一表示的思路让整个 pipeline 绕开了 flow 估计在极端曝光区域失效的问题，是与以往 alignment-fusion 范式的根本性分叉点。

3. Method overview

LRHDR: Learning Representation-enhanced HDR Video Reconstruction method figure
LRHDR 框架：EIC 编码器提取曝光感知特征，Representation Mapper 用 per-pixel per-channel 线性调制将不同曝光流映射到统一表示域，APSWF 以 α-entmax sparse mask 在线性 HDR 域执行逐像素融合 [page 4 Fig.2]

LRHDR 不做显式跨曝光对齐，转而将不同曝光流的特征映射到共同表示域（Unified Representation）再融合。框架含三个核心模块：EIC encoder（提取曝光感知特征）、Representation Mapper（RM，per-pixel 线性调制执行跨曝光归一化）、APSWF（以稀疏 mask 做候选帧的逐像素加权融合）。预训练 FiLM interpolator 额外补一帧同曝光中间帧以提供 motion 信息，但本身不参与反向传播。

  • 输入 / 输出：输入：三帧交替曝光 LDR 序列（Ne=2 时 EV-3/EV+0 交替，Ne=3 时 EV-2/EV+0/EV+2），以及 FiLM 插值的同曝光中间帧；输出：线性 HDR 域的当前时刻 HDR 帧
  • 核心机制：EIC encoder 含两条分支：large-field（stride-2 conv）捕获全局结构，high-fidelity（pixel unshuffle + 2×DCN）保留亚像素精度，Exposure Gate α(eᵢ) = σ(w·log(eᵢ+ε)+b) 对特征做曝光自适应调制。RM 基于成像辐射学推导——不同曝光下 encoder 输出在特征空间近似满足仿射关系，故用 pixel-wise channel-wise 线性调制 F̃ = K⊙F + B 完成跨曝光表示归一化，K/B 由曝光差 Ct 和 Ct² 引导。APSWF 把 6 路候选（4 帧 linear 变换 + 2 路 RM 解码）的融合权重用 α-entmax（α=1.75）投影到稀疏 simplex，entmax cross-entropy oracle vote loss 监督稀疏权重学习。总损失 Ltotal = LRecon + 0.1·LACCR + 0.5·Lvote，LACCR 含 µ-law tonemapping（µ=5000）后的 L1 + 多尺度梯度损失。
  • 训练 / 评价：评价数据集：Cinematic Video（2-exposure）和 DeepHDRVideo（3-exposure）；指标为 tonemapped PSNR/SSIM（HDR 常用 µ-law）。风险：论文未报告 ΔE 类色差指标，pipeline 使用 γ=2.2 的硬编码 gamma 解码，与实际 camera 的 CRF 不匹配可能引入 luminance 偏差；仅评估室内场景主导的 benchmark，强光比场景（如 HDR 天空+室内）未专门测试；FiLM interpolator 预训练参数冻结，其在极端运动下的插值质量成为瓶颈。
  • 读法：重点看 Fig.3 的 ACCR effectiveness ablation——它直接对比了 explicit alignment（HDRFlow、NECHDR）与 unified representation 路线的中间帧质量，是 RM 设计有效性的核心证据。

4. 创新点

用辐射学推导（不同曝光下 encoder feature 满足仿射关系）为显式无对齐的跨曝光特征归一化提供理论依据，并配合 α-entmax sparse vote fusion 在线性 HDR 域显式实现 winner-takes-most 选择，同时保留梯度。

5. 优点与不足

优点：避免 optical flow 在极端曝光区域的失效，RM 的线性调制设计有辐射学理论支撑，APSWF 的稀疏融合对运动/ghosting 有自然抑制效果。不足：依赖预训练 FiLM interpolator（frozen），其精度是性能上限；gamma 解码 γ=2.2 硬编码，不适配 log-encoded 或 HLG 素材；三帧滑动窗口在长时 occlusion 场景下信息不足；RM 的线性调制假设在饱和区域不成立（论文也用 cue Ct 做了补偿，但其根本性局限未解决）。

6. 改进方向

1. 将 FiLM interpolator 解冻并与 LRHDR 联合微调，尤其针对大运动场景；2. 引入 camera response function（CRF）自适应解码层替换硬编码 gamma=2.2，以支持 log-C/S-Log 等专业 gamma 曲线素材。

034

HFR and HDR Video from Multi-Attenuated Spikes Using a Rapidly Rotating SpokeND Filter

Yakun Chang, Zhaojun Huang, Siqi Yang, Yeliduosi Xiaokaiti, et al. (8 authors)

CVF · PDF · Supp

HDR/Exposure

1. 要解决什么问题

传统相机 HDR 视频方案（交替曝光）牺牲时间分辨率，在 >100 FPS 高速场景下不可用；固定空间变化 ND mask 每像素只能获取一个衰减级别。Spike camera 的时间分辨率达 20 kHz 但输出单比特，直接 TFW/TFI 重建既无法覆盖高动态范围（高光饱和），又在短时间窗口下噪声大、运动模糊无法避免。如何用单个 spike sensor 同时实现 HFR（>1000 FPS）与 HDR 是未被解决的问题。

2. Motivation · 动机与启发

HFR and HDR Video from Multi-Attenuated Spikes Using a Rapidly Rotating SpokeND Filter motivation figure
spike 像素阈值原理（上）与 SpokeND 旋转 filter 采集系统（下） [page 2 Fig.1]

现有 spike camera 的 HDR 扩展方案要么依赖传感器内部量化级调制（需改硬件），要么依赖空间固定的 ND mask（每像素只得单一衰减级，无法在同一像素时间上交替）。作者观察到旋转机械 filter 可以把「衰减种类」转换成「时间上的周期轮换」：spike camera 本身 20 kHz 的采样频率远高于 filter 旋转频率，因此每像素在一个旋转周期内自然获得多档衰减的 spike 序列，既保留高速时间分辨率，又从光学层面解决了 HDR 范围不足的问题——不动传感器内部结构，仅通过前端光学调制实现两者兼顾。

3. Method overview

HFR and HDR Video from Multi-Attenuated Spikes Using a Rapidly Rotating SpokeND Filter method figure
ReST-Net 两阶段流水线：ReGain 模块从 2K+1 帧多衰减 spike 窗口中恢复空间一致增益帧，ReFine 模块逐帧级联抑制时间闪烁，最终以任意帧率输出 HDR 视频 [page 5 Fig.4]

在 spike camera 前置快速旋转（1800 RPM）的 SpokeND filter，filter 具有三级衰减（0%/75%/92% 遮光），四重对称分布，使每个像素以 7200 CPM 频率周期性采集多级衰减 spike。然后用两阶段 ReST-Net 重建：ReGain 从 2K+1 帧时间窗口学习恢复去衰减的增益帧，ReFine 在 ReGain 输出基础上做时间一致性精修，支持任意帧率输出至 2000 FPS。训练完全基于合成数据（SpokeND simulator）。

  • 输入 / 输出：输入：单 spike camera 在 SpokeND filter 调制下采集的多衰减单比特 spike 流；输出：任意帧率（最高 2000 FPS）的 HFR+HDR 视频（线性光域）
  • 核心机制：多衰减 spike 采集：固定 spike sensor 低阈值（高灵敏度），靠 SpokeND filter 的遮光区域防止高光饱和，不同衰减区域的 spike 密度编码不同光强，时间上的周期轮换保证每像素在完整旋转周期内覆盖所有衰减级。ReGain 采用 U-Net + self-attention 架构，输入中心帧两侧各 K 帧（间隔 Δg）共 2K+1 帧，学习从多衰减 spike 到 non-attenuated spike 的非线性增益映射；训练损失 Lg = α1·L1 + α2·L2。ReFine 同为 U-Net+self-attention，将当前 ReGain 输出 Ig(t) 与上一帧 Ig(t-Δf) 拼接后预测精修帧，Lf 加入时间一致性损失 Ltemp = ℓ2(If(t)-If(t-Δf), Gf(t)-Gf(t-Δf))。合成训练数据 285 组，逐帧与 HDR ground truth 对齐（来自 Chang et al. 和 Su et al.）。
  • 训练 / 评价：训练：235 组合成数据（多衰减 spike + 非衰减 ground truth）；测试：50 组合成 + 100 组实测（80 室内 + 20 室外，无 GT，主观评估）；指标：PSNR/SSIM（合成集），实测集仅 visual comparison。风险：合成到实测存在 domain gap（lens defocus 使 SpokeND filter 在传感器面轻微失焦，导致实际衰减级别偏离标定值）；颜色重建未评估 ΔE 或色域准确性指标；对非 SpokeND 硬件的复现门槛极高。
  • 读法：重点关注 Table 1 的消融实验——特别是 ReGain 单独 vs. ReGain+ReFine 的 PSNR/SSIM 差值，以及 Fig.6 实测场景中 SpokeND filter defocus 对重建质量的影响。

4. 创新点

首次将 spike camera 的超高时间分辨率（20 kHz）与机械旋转 ND filter 的多级光学衰减结合，以单传感器、无需改动传感器内部结构的方式实现 HFR+HDR 联合捕获；ReST-Net 的两阶段解耦（空间增益 + 时间一致性）与此光学采集模型对应。

5. 优点与不足

优点：硬件方案简单（单 spike camera + 机械 filter，无需多传感器同步）；2000 FPS 输出远超交替曝光方案；SpokeND filter 四重旋转周期实现高频调制，兼顾时间精度和空间覆盖。不足：仅评估灰度/luminance，颜色通道（彩色 spike camera）完全未涉及；defocus 导致实测数据与合成数据 domain gap 较大，作者承认需要 advanced 光学集成；hardware 依赖专制陶瓷齿轮轴承+高速电机，复现门槛高；合成评估指标 PSNR 在 HDR 场景下可靠性有限（未使用 PQ-PSNR 或 HDR-VDP）。

6. 改进方向

1. 将 ReST-Net 扩展至彩色 spike camera，需设计跨通道的多衰减增益估计；2. 将 SpokeND filter 移至镜头后（传感器前）消除 defocus 效应，并重新标定合成模拟器的衰减-spike 响应曲线。

035

Human-Centric Multi-Exposure Fusion: Benchmark and Bi-level Cognition Distillation Framework

Jingjie Shang, Tengyu Ma, Heng Zhang, Jinyuan Liu, et al. (7 authors)

CVF · PDF · Supp

HDR/Exposure

1. 要解决什么问题

MEF（multi-exposure fusion）的优化目标长期依赖 PSNR/SSIM 等统计度量，这类指标无法捕捉 HVS 的感知偏好——如视觉舒适度、伪影容忍度、语义区域显著性。已有尝试引入主观评分，但评分本身易受心理噪声干扰。EEG 作为神经生理信号能直接反映大脑对视觉刺激的认知响应，但 (1) 没有针对多曝光刺激的 EEG 数据集，(2) 推理阶段无法实时采集 EEG，使其在深度学习框架中的引入长期受阻。

2. Motivation · 动机与启发

Human-Centric Multi-Exposure Fusion: Benchmark and Bi-level Cognition Distillation Framework motivation figure
EEG 认知蒸馏框架概览与多方法感知质量雷达对比 [page 1 Fig.1]

现有 MEF 方法的训练信号归根结底是 PSNR/SSIM 等像素级统计量，与人类视觉系统的实际感知偏好（视觉舒适度、伪影容忍度、语义区域显著性）之间存在系统性割裂。EEG 信号能以毫秒级精度直接记录大脑对视觉刺激的神经响应，是比主观评分更客观的认知依据；但将其引入深度学习的根本障碍在于：推理时无法实时采集 EEG，导致「训练有信号、推理无信号」的二元矛盾。双层优化框架的出发点正是利用这一结构——下层 Teacher 目标显式依赖当前 Student 状态，迫使 Teacher 学出天然对 Student 可蒸馏的表示，而非蒸馏一个与 Student 无关的固定 Teacher。

3. Method overview

Human-Centric Multi-Exposure Fusion: Benchmark and Bi-level Cognition Distillation Framework method figure
双层优化框架：Teacher（Mental Integrated Transformer）以 EEG 认知先验引导 visual feature 学习，Student 通过 Cognition Distillation 蒸馏 Teacher 知识，推理时仅用图像输入 [page 4 Fig.3]

两项互补贡献：(1) Cog-Expo 数据集——10 名受试者对 SICE benchmark 中 360 组多曝光序列（欠曝/正常/过曝三档）的 EEG 响应，1000 Hz 采样，10800 样本；(2) Bi-level Optimization（BLO）框架——Teacher（Mental Integrated Transformer，含 EEG encoder + visual backbone + cross-attention）在下层问题中利用 EEG 先验学习 fusion，Student（纯图像输入）在上层问题中通过像素级+feature 级蒸馏逼近 Teacher 输出，两者耦合优化（非分离两阶段），推理时仅跑 Student。

  • 输入 / 输出：训练阶段输入：多曝光 LDR 序列 + 对应 EEG 信号（Teacher 侧）；推理阶段输入：仅多曝光 LDR 序列；输出：单张 fused 图像
  • 核心机制：EEG Encoder：1D-CNN + Transformer hybrid，将 raw EEG Eraw 投影为 compact 认知 token E ∈ R^D，直接集成在 Teacher 网络中端到端优化。Mental Integrated Transformer：以 E 为条件通过 Prior-Guided Attention（cross-attention：Q 来自 visual feature，K/V 来自 E）将认知先验注入各 Transformer 层。BLO 形式化：下层 Teacher 的优化目标显式依赖当前 Student 参数 θS（LLower(θT, θS)），使 Teacher 学到的表示随时可被当前 Student 蒸馏；上层 Student 最小化蒸馏损失 LDistill = |IFS - sg(IFT*)|₁ + β·Σ|ϕS^l - sg(ϕT^l)|₂²（stop-gradient 稳定上层更新）。优化器：Alternating Gradient Descent（A-GD），Teacher/Student 交替更新。
  • 训练 / 评价：训练数据：SICE dataset（306 组 train / 44 组 val）+ Cog-Expo EEG；测试 benchmark：SICE 和 MEF-LUT（有 GT reference），以及 MEFB（无 reference）；指标：PSNR/SSIM/MS-SSIM/CC/MSE。Ours 在 SICE 上 PSNR 23.764 dB（vs. 第二名 HSDS-MEF 20.568 dB），SSIM 0.6065（明显领先）。风险：EEG 受试者仅 10 人、均为在校大学生（22.3 岁），人口多样性严重不足；感知指标在 PSNR 与人眼偏好之间的因果关系未被直接验证；MEFB 无参考指标与 EEG 认知目标的对应性存疑。
  • 读法：重点核查 EEG 训练数据对最终 PSNR 的贡献（消融：有/无 EEG prior 的 Student-only baseline 对比），以及 MEFB 无参考 benchmark 上的感知一致性评分——这才是「更符合人类感知」论点的直接证据。

4. 创新点

首次将 EEG 生理信号引入 MEF，并以双层优化框架解决了 EEG 仅训练时可用的根本矛盾——下层 Teacher 目标依赖 Student 当前状态的设计使 Teacher 学习出天然可蒸馏的表示，而非固定 Teacher 后再蒸馏。

5. 优点与不足

优点：BLO 耦合设计从理论上比两阶段蒸馏更优；Cog-Expo 数据集开创了 EEG×MEF 方向；SICE PSNR 大幅领先（+3.2 dB vs. 第二名）。不足：Cog-Expo 受试者 10 人且同质性高，EEG 信号的个体差异大，泛化性存疑；Mental Integrated Transformer 的 EEG encoder 是 1D-CNN+Transformer 轻量设计，但 EEG 信号的去伪迹预处理仅去除 EMG/EOG，P300 等 ERP 成分是否真正被利用未分析；BLO 收敛稳定性依赖 Alternating GD，两者更新步长的超参数敏感性未报告。

6. 改进方向

1. 在 Cog-Expo 上进行 cross-subject 交叉验证，并招募不同年龄/文化背景受试者扩充数据多样性；2. 分析 EEG encoder 在哪些频段（alpha/beta/P300）捕获了与图像质量最相关的信号，避免 EEG 变成仅是噪声的辅助 token。

036

Dynamic Exposure Burst Image Restoration

Woohyeok Kim, Jaesung Rim, Daeyeon Kim, Sunghyun Cho

CVF · PDF · arXiv · Supp

HDR/ExposureRestoration

1. 要解决什么问题

传统 burst 恢复把曝光设置当作固定超参（均匀或预定义 bracket），无法随场景动态/照度自适应调整。静态场景适合长曝光压噪，动态场景则必须短曝光防模糊——两者相互矛盾，手工 bracket 无法同时最优化。该问题直接影响 RAW 域的 SNR 与运动模糊平衡，是 ISP burst 模组性能天花板。

2. Motivation · 动机与启发

burst 恢复领域的研究大量集中在对齐与融合算法上，却长期忽视了一个更上游的变量——曝光设置本身。均匀曝光的 burst 帧具有相同的噪声级别和模糊程度，帧间互补信息量实际上很有限；非均匀 bracket 虽然已有探索，但依赖人工预设的固定档位，不能随场景动态（静止/高速运动）自适应切换。核心洞察在于：对同一场景，最优曝光序列是 restoration loss 的函数，而非人工规则的输出——只要损失对曝光时长可微，就可以端到端地用恢复质量本身来监督曝光预测网络，而可微 burst 模拟器正是让这条梯度链路成立的关键。

3. Method overview

Dynamic Exposure Burst Image Restoration method figure
DEBIR 管线：BAENet 依据预览帧 + gain + 光流量级预测各帧曝光时长，训练时由可微 Burst 模拟器替代真实相机，推理时还原为 Burstormer 重建网络。 [page 3 Fig.1]

DEBIR 在模型结构层面引入 BAENet（MobileNetV2 骨干），预测 n 张 burst 的最优曝光时长序列；同时在训练协议层面提出可微 Burst 模拟器，使曝光预测可通过恢复损失端到端反传。三阶段训练策略：先预训练 Burstormer 恢复网络（Drestore，4092 条序列），再训练 BAENet（DBAENet，1127 条序列），最后联合微调。

  • 输入 / 输出：输入：RAW 预览帧 + 当前 gain gp + 帧间光流量级 mp；输出：n 张 RAW burst 曝光时长序列 {t1,...,tn} 及对应 gain，最终产出单张高质量 RAW 重建图。
  • 核心机制：BAENet 末层输出 n+1 维向量经 bounded softmax（上界 tu=128/1920 s，最小 tmin=1/240 s）得曝光时长，确保搜索空间有界可训。可微 Burst 模拟器以帧插值后 1920 FPS 视频序列为场景辐射度，用分段线性积分 + 重参数化高斯噪声（shot + read）合成 RAW，对 t 可微。训练损失 LDEBIR = ‖resφ(sim(baeθ(Ip,gp,mp))) − Igt‖₁，直接优化端到端恢复质量。
  • 训练 / 评价：训练集：GoPro（240 fps → 8×插帧 = 1920 fps）+ RealBlur 合成 5219 条 RAW 场景序列；评价指标：PSNR/SSIM/LPIPS，自建测试集 532 条。DEBIR 达到 PSNR=35.32 dB / SSIM=0.9519 / LPIPS=0.154，超过 Exposure Bracket 基线 +0.28 dB。风险：评价仅限合成数据集，实机相机系统验证为定性展示，缺乏 ΔE 或 Angular Error 等色彩精度指标。
  • 读法：最该盯的点：可微 Burst 模拟器的噪声建模（公式 6-8）是否足够逼真，以及三阶段训练策略能否泛化到真实相机的 CFA 噪声统计差异（λshot/λread 参数的跨相机迁移性）。

4. 创新点

首个将 AE 预测直接嵌入 burst 恢复损失端到端训练的 pipeline，通过可微模拟器消除对 ground-truth 曝光时长的依赖。

5. 优点与不足

优点：BAENet 轻量（MobileNetV2）、端到端可训、已在真实相机系统上验证实时可行性；恢复网络基于 Burstormer 可替换。不足：曝光预测依赖 preview 帧的 optical flow 估计（需额外 ISP 转换到 sRGB 再跑 RAFT），硬件延迟未量化；可微模拟器不含量化噪声，真实 RAW pipeline 的量化效应可能拉低实际提升幅度；缺乏真实场景 ΔE 评测。

6. 改进方向

1. 将 BAENet 替换为轻量强化学习 agent，直接在真实相机闭环中训练，消除 sim-to-real gap。2. 在损失中加入色彩一致性项（如 CIELAB ΔE），确保非均匀曝光合并后的 WB/CCM 响应不产生偏色。

037

It Takes Two: A Duet of Periodicity and Directionality for Burst Flicker Removal

Lishen Qu, Shihao Zhou, Jie Liang, Hui Zeng, et al. (6 authors)

CVF · PDF · arXiv

HDR/Exposure

1. 要解决什么问题

Flickering 是交流电 AC 照明 + rolling-shutter 行扫描联合产生的结构性条纹退化：亮度沿扫描方向呈周期振荡，与随机噪声截然不同，现有通用 restoration 框架（Restormer、Burstormer 等）未建模此先验，导致去闪烁不彻底且引入 ghosting。对依赖短曝光的 HDR 采集、慢动作视频、运动捕捉等场景影响尤为显著。

2. Motivation · 动机与启发

It Takes Two: A Duet of Periodicity and Directionality for Burst Flicker Removal motivation figure
相位交换导致 flicker 模式交换（上），及周期性/方向性启发模块设计（下） [page 1 Fig.1]

现有通用 restoration 框架（Restormer、Burstormer 等）把 flicker 当作随机噪声处理，忽略了其本质是 AC 照明振荡 × rolling-shutter 行扫描联合产生的「结构性」退化。作者做了一个关键实验：交换两帧连续 flickering 图像的 FFT 相位分量，发现 flicker 条纹模式随之交换——这直接证明相位编码了 flicker 的空间分布，从而启发了相位相关融合（PFM）设计。进一步，rolling-shutter 的行扫描方向决定了条纹沿固定方向分布（方向性），Haar 小波的水平/垂直高频子带天然对齐这一先验，为 WDAM 的设计提供了物理依据。

3. Method overview

It Takes Two: A Duet of Periodicity and Directionality for Burst Flicker Removal method figure
Flickerformer 整体架构（左：非对称 U 型 encoder-decoder，含 PFM/AFFN/WDAM 插件）、PFM 相位相关融合模块（中）、WDAM Haar 小波方向注意力模块（右）。 [page 4 Fig.2]

Flickerformer 在 transformer 架构层面植入两类 flicker 物理先验：periodicity（相位编码 flicker 空间分布）和 directionality（rolling shutter 产生水平/垂直条纹）。PFM 做帧间相位相关融合，AFFN 做帧内自相关强化，WDAM 以 Haar DWT 分解高频子带引导低频区域注意力。三者嵌入标准非对称 U 型 encoder-decoder，输入 3 帧输出 1 帧 flicker-free 图。

  • 输入 / 输出：输入：3 帧短曝光 burst（含 flicker 的 sRGB 图像，H×W×3）；输出：中间帧 flicker-free sRGB 图，预测残差图 R 叠加到基准帧 I₁。
  • 核心机制：PFM：对参考帧特征做 FFT 后计算相位相似度 St(k)=exp(iΦt−iΦ₁)，经 sigmoid 生成频域权重 Wt，在频域加权后 IFFT 回空间域，相当于以相位相关为核做卷积滤波。AFFN：利用 Wiener-Khinchin 定理，将自相关 Rl=IFFT(|FFT(Fl)|²) 与频域调制联合输出，可学习参数 α/β 平衡，最后经深度可分离门控前馈层输出。WDAM：Haar DWT 分解 Fl 得 FLL/FLH/FHL/FHH，FLH+FHL 经 3×3 卷积+sigmoid 生成方向权重 M，调制低频注意力 Att(Q,K,V,M)=softmax(QK⊤/√d+B)·(M⊙V)，IDWT 重建；计算量较标准 W-MHA 降约 75%。
  • 训练 / 评价：训练集：BurstDeflicker 基准（Qu et al. [55]）；损失：L1 + VGG-19 感知损失等权组合；评价：PSNR/SSIM/LPIPS，与 16 种方法对比。Flickerformer 达到 PSNR=31.226 dB，超过次优 AST +0.580 dB，同时参数量仅 3.92M（AST 19.90M 的约 20%）、FLOPs 128.76G。风险：仅在 BurstDeflicker 单一基准测试，未评估在真实多种 AC 频率（50/60 Hz）或 PWM 屏幕闪烁上的泛化性；PSNR/SSIM 可能无法全面反映人眼对条纹残留的感知。
  • 读法：核心抓手：AFFN 的自相关建模是否真正捕获周期结构，还是仅等效于更复杂的前馈网络？对比 Table 2 的消融——AFFN vs FFN/GDFN 的 PSNR 差距仅 +0.267 dB，但参数/FLOPs 持平，说明设计有效但增益有限；WDAM 消融（Table 3）同等参数下提升更显著（+0.330 dB），是真正的技术贡献点。

4. 创新点

首个将 flicker 物理先验（周期性 + 方向性）显式编码进 transformer 模块设计的 burst 去闪烁网络，WDAM 的 Haar 小波方向注意力在降低计算量的同时定位条纹更精准。

5. 优点与不足

优点：轻量（3.92M 参数）、推理 FLOPs 低（128.76G）、去 ghosting 效果好、物理驱动设计可解释。不足：BurstDeflicker 是单一合成数据集，flicker 频率/幅度分布可能与真实 wild 场景不匹配；仅处理 3 帧 burst，不支持更长帧序列；色彩指标缺失——qualitative 展示中提到其他方法出现偏色（黄色/红色色偏），但 Flickerformer 的色彩准确性未用 ΔE 量化；部署于 rolling-shutter 传感器时方向先验假设（水平/垂直）对斜向运动的泛化性未验证。

6. 改进方向

1. 在 BurstDeflicker 之外引入真实 AC 照明 + rolling-shutter 相机实采数据进行 domain adaptation 测试。2. 扩展 WDAM 支持任意角度方向先验（学习角度参数而非固定 Haar 水平/垂直分解），以覆盖非行扫描型传感器的闪烁模式。

038

Lighting in Motion: Spatiotemporal HDR Lighting Estimation

Christophe Bolduc, Julien Philip, Li Ma, Mingming He, et al. (6 authors)

CVF · PDF · arXiv · Supp

HDR/Exposure

1. 要解决什么问题

已有光照估计方法只能预测图像中心处的单一全局 HDRI，无法处理场景内不同 3D 位置、不同时刻的光照变化（随相机运动/光源移动/遮挡动态变化）。仅用深度作为空间条件不足以准确定位光源与目标位置的相对关系，导致预测结果与局部光照实际分布偏差大。这对 VFX/虚拟制作中的物体合成（准确 IBL relighting）影响直接。

2. Motivation · 动机与启发

Lighting in Motion: Spatiotemporal HDR Lighting Estimation motivation figure
LiMo 空间定位（不同位置 / 时序）与虚拟制作合成效果展示 [page 1 Fig.1]

物理光探头实测需要进入拍摄现场、架设 HDR 球体设备，在 VFX 后期制作中不可复现也不可扩展。已有单图光照估计方法大多只输出一个全局 HDRI，但场景内不同 3D 位置的实际光照因遮挡、近场衰减、相对方向而显著不同。作者发现：以深度图作为空间条件存在根本歧义——深度只编码了距相机的距离，而光源与目标位置的相对方向才是决定入射光分布的关键变量。引入方向图（Idir）和距球距离图（Idist）这两个显式几何条件，使 diffusion model 能够理解「目标点看到的光源方向」而非笼统地看距离，这是从 depth-only 到真正 3D 空间定位的核心跨越。

3. Method overview

Lighting in Motion: Spatiotemporal HDR Lighting Estimation method figure
LiMo 三步管线：条件图计算（深度/法线/距球距离/方向四张几何图）→ 多曝光球体预测（diffusion model 分别生成 mirror/diffuse 球在 EV0/-3/-6/-9/-12）→ 可微渲染优化融合单张 HDRI。 [page 3 Fig.2]

LiMo fine-tune 预训练 diffusion model（图像用 Flux.1 Schnell 12B，视频用 Wan2.2 5B）来预测目标 3D 位置处的 mirror 或 diffuse 球体图像。关键创新在于两个新几何条件图（方向图 Idir + 距离图 Idist）替代仅用深度的条件，以及在多曝光（EV0/-3/-6/-9/-12）下分别预测球体再通过可微渲染 L2+时序一致性损失优化融合成单 HDRI，兼顾高频反射细节与低频辐射度精度。

  • 输入 / 输出：输入：单张 sRGB 图像/视频帧 + 目标 3D 场景点坐标 + 估计深度图；输出：该位置的全景 HDRI 地图（equirectangular HDR float），视频输入时输出时序一致的 HDRI 序列。
  • 核心机制：几何条件图：Idir 为场景像素到球心的方向向量（球面上用反射入射方向），Idist 为像素到球中心的距离，二者与 RGB/深度/法线 concat 后 VAE 编码输入 diffusion；文本提示 '{sphere type} [EVvalue]' 指定球体类型+曝光值。HDRI 优化：对预测的 mirror/diffuse 球在 5 曝光值上各 1 次（共 10 次查询/位置）通过可微渲染器（反射 + diffuse cosine 采样）求解 argmin Σ ‖π(e,m,t) − eR(L,m)‖₂ + 时序正则项，用 Adam 优化 Laplacian pyramid 表示的 HDRI。
  • 训练 / 评价：训练集：Blender + BlenderKit 程序化合成的室内/室外场景，图像模型 12,896 张（512×512，150k steps，50h on 8×A100），视频模型 30,096 段 21 帧（250k steps，188h）。评估：Infinigen Indoor 合成集（28 场景）+ Laval Indoor SVH 真实数据集；指标 RMSE/SI-RMSE/SSIM/RGB angular error + 视频 T-LPIPS/T-LPIPS-Diff/warped error。图像模型 Infinigen RMSE(Mirr)=0.25，优于 4D Lighting 0.34 和 DiffusionLight 0.40；angular error 大幅优于两者。风险：全合成训练 → 真实场景泛化存疑；HDRI 优化依赖 per-test 迭代（Adam），推理时间未量化；光源强度 RMSE 改善但 SI-RMSE 不一定反映感知准确度。
  • 读法：重点关注：两个新几何条件图（Idir/Idist）的消融实验（Sec. 4.5）能否单独量化其贡献；以及 diffuse 球是否真正帮助精确估计聚焦光源的辐射度（论文主张 diffuse 积分浓缩高亮有利估计，值得查 Tab. 2 mirror vs diffuse 分指标验证）。

4. 创新点

提出 Idir/Idist 两个新几何条件图，解决 depth-only 条件在 3D 位置定位上的歧义问题；mirror+diffuse 多曝光分支 + 可微渲染融合，首次实现五能力完整覆盖（空间定位/时序/HDR精度/近场/高频）的统一框架。

5. 优点与不足

优点：基于大型 pre-trained diffusion prior（Flux 12B），高频细节生成能力强；几何条件图设计简洁且对深度估计误差有一定鲁棒性（camera coord 下计算）；支持视频时序一致性。不足：推理需对每个目标位置多次运行 diffusion（10 次查询/位置）+ Adam 迭代优化，计算量极大，无法实时；训练全程依赖合成数据（Blender），真实场景的室外光照（阴影/天空梯度）泛化性需更多验证；RGB angular error 作为色彩指标较粗糙，未报告与 Planckian locus 偏差或 xy 色品图误差。

6. 改进方向

1. 设计 amortized HDRI decoder，将 Adam per-test 优化替换为前向网络直接输出 HDRI，大幅降低推理延迟。2. 在几何条件中加入材质/反射率 channel（如 roughness 估计），对镜面高光密集室内场景提供更精确的方向权重，减少对 diffuse 球积分的过度依赖。

039

Seeing Beyond 8bits: Subjective and Objective Quality Assessment of HDR-UGC Videos

Shreshth Saini, Bowen Chen, Yilin Wang, Neil Birkbeck, et al. (6 authors)

CVF · PDF · arXiv · Supp

HDR/Exposure

1. 要解决什么问题

HDR-UGC 视频（PQ transfer, 10-bit HEVC, BT.2020 gamut）在 YouTube/TikTok 等平台急速增长，但现有 VQA 模型全部针对 SDR 或专业 HDR 内容训练，无法感知 HDR 特有失真（near-black crushing、highlight clipping、banding、exposure flicker）与 UGC 压缩伪影的叠加效应。此外，MLLM 作为 VQA 推理引擎存在 modality neglect：模型倾向依赖文本先验而忽略 HDR 视觉 token 中的亮度极值信息。

2. Motivation · 动机与启发

Seeing Beyond 8bits: Subjective and Objective Quality Assessment of HDR-UGC Videos motivation figure
HDR vs SDR 对比示例 + Beyond8Bits 数据集类别分布与 PLCC 基线对比 [page 2 Fig.1]

现有 VQA 模型全部在 SDR 内容上训练，当遇到 HDR-UGC 的高位深/宽色域/高亮度时，其特征提取器对 near-black crushing、highlight clipping 等 HDR 特有失真几乎无感知能力。更深层的问题在于：将 MLLM 直接迁移到 HDR VQA 时，模型会产生 modality neglect——倾向于依赖文本语言先验给出回答，而非真正「看」HDR 视觉 token 中的亮度极值信息。HAPO 的设计动机正是用 HDR–SDR contrastive KL 从信息论层面强制 policy 依赖 HDR 输入，使推理分支无法绕开 HDR 视觉通道。

3. Method overview

Seeing Beyond 8bits: Subjective and Objective Quality Assessment of HDR-UGC Videos method figure
HDR-Q 框架（左：HAPO 对比 HDR/SDR rollout 最大化 KL 强制 HDR 依赖 + 双熵正则）和模型结构（右：SigLIP-2 标准编码器 + HDR-aware adapter，Qwen-3 LLM decoder + LoRA）。 [page 5 Fig.4]

双轨设计：①感知轨——在 SigLIP-2 上 fine-tune HDR-aware vision encoder，以 HDR/SDR 帧对 + Qwen2.5VL-72B 生成的 caption 做对比监督，迫使 HDR embedding 与 SDR embedding 保持余弦距离；②推理轨——HDR-Aware Policy Optimization（HAPO）扩展 GRPO：增加 HDR-SDR contrastive KL 项（最大化有无 HDR token 的输出分布差异）、双熵正则、High-Entropy Weighting (HEW) token 级权重，Gaussian 回归奖励校准 MOS。主干为 Qwen-3 LLM + LoRA。

  • 输入 / 输出：输入：10-bit HDR 视频（PQ/BT.2020）+ SDR tone-mapped 对应版本（γ mapping → BT.709）+ 文本提示；输出：MOS 分数（0-100）+ chain-of-thought HDR 质量描述。
  • 核心机制：HDR-aware encoder：对比损失 Lcontrast=max(0, δ − D(Eψ(x_HDR), Eψ(caption)) + D(Eψ(x_SDR), Eψ(caption))) 防止 HDR/SDR embedding 坍塌；HAPO 目标：JHAPO = JGRPO + γ·KHDR(θ) − Hdual(θ)，其中 KHDR=KL(π_HDR ∥ π_SDR)，Hdual 限制 HDR/SDR 两路 policy 熵不膨胀；HEW 对高熵 token（模型识别 HDR 失真时不确定性高的时刻）放大优势估计 Ã_{i,t}=w_{i,t}·Â_i，引导学习聚焦 HDR 感知节点。两阶段训练：Stage 1 仅对齐 HDR token + projection layer，Stage 2 全量 HAPO on Beyond8Bits。
  • 训练 / 评价：Beyond8Bits 数据集：44,276 段 10-bit HDR-UGC 视频（6,861 unique sources，iPhone/Pixel/Galaxy/Vimeo CC），AMT 众包 >1.5M 评分，median SRCC=0.90。训练/验证/测试 70/20/10 按 source identity 划分。评价指标：SRCC/PLCC/RMSE/KRCC。HDR-Q (full) 在 Beyond8Bits 达 SRCC=0.9118/PLCC=0.9206，远超 HIDROVQA（最强 non-MLLM baseline，SRCC=0.8508）；HDR-Q (SDR) 仅 SRCC=0.8895，证明 HDR encoder 贡献显著。风险：MOS 标注通过 AMT 众包，HDR 显示器验证仅依赖工作者自报，无法控制观看设备一致性；RL 训练 reward hacking 风险（HAPO 双熵正则是缓解而非消除）。
  • 读法：核心验证点：HDR-Q (full) vs HDR-Q (SDR) 的 PLCC 差距（0.9206 vs 0.8895）证明 HDR encoder 作用，但 HAPO 自身贡献需单独消融——论文是否在 Appendix 中提供 HDR encoder only / HAPO only 的分离实验决定结论可信度。

4. 创新点

首个专为 HDR-UGC VQA 设计的 MLLM，HAPO 通过 HDR-SDR contrastive KL 从理论上（mutual information 框架）保证 policy 必须依赖 HDR 视觉输入，而非单靠文本先验蒙混过关。

5. 优点与不足

优点：Beyond8Bits 是迄今最大 HDR 主观数据集（44K 视频，超过 LIVE-HDR 310 的 140 倍），数据集本身对领域是强贡献；HAPO 理论推导清晰（MI 变分下界）；PLCC=0.92 在公开 HDR benchmark 上均超越所有对比方法。不足：HDR-Q 依赖 10-bit PQ 输入，不支持 HLG 或自适应 TMO 后的 SDR 降级流；RL fine-tuning（两阶段 HAPO）计算成本未报告；chain-of-thought 质量评估是定性的，rationale 是否真正基于 HDR 物理（而非 LLM 幻觉）缺乏受控验证；crowdsourced AMT 评分的 HDR 显示器合规性存在不确定性。

6. 改进方向

1. 加入 HLG/Dolby Vision 等多种 HDR 信号的编码器适配，增强对不同 HDR 标准的泛化覆盖。2. 设计 ΔE-based 或 HDR-VIF 等参考失真指标替代 PSNR/SSIM 作为 reward 信号，使 HAPO 的奖励函数更贴近 HDR 色彩感知。

040

Physically Inspired Gaussian Splatting for HDR Novel View Synthesis

Huimin Zeng, Yue Bai, Hailing Wang, Yun Fu

CVF · PDF · arXiv · Supp

HDR/Exposure3D/Photometric

1. 要解决什么问题

HDR novel view synthesis 用多曝光 LDR 序列融合 3DGS 时有两个根本缺陷：一是仅用曝光时间 t 调节无法解耦材质反射与环境光照，导致局部光照依赖的外观变化（nameplate 等反光细节）被遗漏；二是 HDR GT 不可得，只能靠 tone-mapped LDR 隐式监督，但 tone mapping 曲线在高光/暗部斜率趋零，覆盖极端亮度的 Gaussian 梯度极小，无法通过 densification 阈值，导致 under-densified representation。这两个问题在 NeRF/3DGS 框架下都无现成对策。

2. Motivation · 动机与启发

Physically Inspired Gaussian Splatting for HDR Novel View Synthesis motivation figure
曝光 ∆t 产生全局亮度变化 vs 环境光 ∆La 引发反光 nameplate 的局部外观变化 [page 1 Fig.1]

HDR-NVS 长期依赖曝光时间 t 作为唯一的动态范围调控变量，但实验表明 ∆t 只能产生全局亮度变化，无法捕捉环境光 ∆La 引发的局部外观变化（如反光 nameplate 的亮度随光照方向变化）。这一物理观察直接揭示了现有方法「外观纠缠」的根源：材质反射率 Hr 与 ambient illumination La 被混为一谈，导致反光细节在重建中缺失。同时，tone mapping 曲线在极端曝光端斜率趋零，使得覆盖高光/暗部区域的 Gaussian 几乎接收不到反传梯度，引发梯度饥饿和 under-densification，两个问题共同驱动了双分支的物理解耦设计。

3. Method overview

Physically Inspired Gaussian Splatting for HDR Novel View Synthesis method figure
PhysHDR-GS 框架: 上支路 IE branch 对 2D HDR Image 施加曝光 t，下支路 GI branch 通过 Illumination Modulator 调制 ambient illumination La 重建 relit Gaussians，两路输出经 Tone Mapper f 交叉融合得最终 LDR，训练时施加 cross-branch HDR consistency loss Lcons [page 3 Fig.2]

PhysHDR-GS 把每个 Gaussian 的颜色分解为本征反射率 Hr 与可调 ambient illumination La，分别交由 IE branch 和 GI branch 处理：IE branch 在 2D 上对 HDR image 乘以曝光 t；GI branch 用 illumination modulator φ 生成虚拟光照 L̂a、驱动 3D Gaussian relighting 得到 relit image。两路各自 tone-map 后再通过轻量 fusion MLP fmix 交叉融合，同时以 cross-branch HDR consistency loss Lcons（Gaussian blur-smoothed L1）显式约束两路 HDR 输出的低频一致性，无需 GT HDR。针对梯度饥饿，提出 illumination-guided gradient scaling，以 sigmoid(|La − L̂a|) 放大曝光偏离大的 Gaussian 梯度，驱使其达到 densification 阈值。

  • 输入 / 输出：输入: 同一场景的多曝光 LDR 多视角图像 (LDR-OE/LDR-NE 两组曝光)；输出: 任意新视角的 HDR/LDR 渲染帧，实时速度可达 76 FPS
  • 核心机制：核心有三层：(1) Radiance Composer g(La, Hr) 将反射率 Hr 与 ambient illumination La 组合成 Gaussian 颜色 c，满足 physically-based rendering 方程简化形式 Lo = Le + La·Hr；(2) cross-branch HDR consistency loss Lcons = ‖G(IHDR×t) − G(Î_HDR)‖₁，Gaussian blur G 滤掉细节不匹配只约束低频 HDR 结构，从而绕过无 GT HDR 的瓶颈；(3) illumination-guided gradient scaling sa = s·σ(|La−L̂a|)+1，正比于光照偏差，补偿极端曝光区 Gaussian 的梯度缺口，防止 under-densification。
  • 训练 / 评价：训练数据: HDR-NeRF-Real / HDR-Plenoxels-Real（真实场景，各 18+27 LDR-OE 训练视图）及合成 HDR-NeRF-Syn（含 HDR GT）。评价指标: PSNR / SSIM / LPIPS（LDR 重建）+ HDR µ-law tone-mapped PSNR。主要风险: PSNR 衡量 LDR 质量，但极端 HDR 细节在 µ-law 压缩后权重很小；HDR-NeRF-Syn HDR GT 评估更可信，需关注该子集分项。
  • 读法：最该盯住 HDR consistency loss Lcons 的消融实验（Table 3/4），确认其对极端曝光区 PSNR 的贡献是否独立于 gradient scaling；这两个组件的耦合程度决定了方法可移植到其他 3DGS backbone 的难度。

4. 创新点

首次在 3DGS HDR-NVS 中将曝光调制（2D image-space）与 ambient illumination 调制（3D Gaussian-space）分离为两个互补支路，并用 cross-branch consistency loss 实现无 GT HDR 的显式 HDR 自监督，同时以光照偏差驱动的梯度缩放缓解极端曝光下 Gaussian 稀疏化问题。

5. 优点与不足

优点: 物理建模明确（PBR radiance equation）、双支路互补 HDR 细节、实时渲染（76 FPS on Scaffold-GS）；缺点: illumination modulator φ 假设环境光近似均匀半球照明，复杂室外多方向光源（阴影、自遮挡）下 GI branch 的 virtual relighting 精度存疑；HDR consistency loss 只对低频有效，极高频细节（镜面高光）仍靠 LDR 隐式监督；数据集全部使用固定五档曝光，实际手持拍摄曝光不均时泛化未验证。

6. 改进方向

1. 将 uniform hemisphere illumination 假设升级为环境光贴图（environment map）或 SH 表示，使 GI branch 处理有方向性光源的场景。2. 对 HDR consistency loss 加频率加权（关注高光区的高频成分），或改用感知 loss（结合 HDR 感知亮度函数），提升镜面高光区的显式约束力。

4 · 低照 / 去雾 / 水下 / 复原 / 阴影-眩光去除

041

Event-Illumination Collaborative Low-light Image Enhancement with a High-resolution Real-world Dataset

Senyan Xu, Zhijing Sun, Kean Liu, Xin Lu, et al. (7 authors)

CVF · PDF · arXiv · Supp

Low-lightRestorationIntrinsic/Relight

1. 要解决什么问题

事件相机在低光下能提供远超传统帧相机动态范围的 HDR 纹理信息，但现有 event-based LLIE 方法存在两个短板：一是只做单向 feature fusion，将 event 信息注入 image branch，忽略了 Retinex-based 方法强调的全局 illumination prior，导致整体亮度不一致；二是低光条件下事件触发阈值 c 降低时随机光子噪声急剧增加，现有 SNR-map 固定引导策略（如 EvLight）无法实时适应亮度变化，增强图像中可见噪声残留。此外，现有事件数据集分辨率仅 346×260（DAVIS346），与实际部署场景差距大。

2. Motivation · 动机与启发

Event-Illumination Collaborative Low-light Image Enhancement with a High-resolution Real-world Dataset motivation figure
color invariant C/W 可视化：现有方法（EvLight）颜色恢复系统性偏差 [page 1 Fig.1]

现有 event-based LLIE 方法只做单向融合——把事件流的 HDR 纹理注入图像分支，但忽略了 Retinex 理论强调的全局 illumination prior，导致增强图像整体亮度不一致。作者用 color invariant（强度无关的色度描述子 C 和边缘检测子 W）可视化发现，EvLight 等方法在颜色关系恢复上存在系统性偏差，而非仅亮度不足。另一个关键观察是：低光条件下事件相机触发阈值 c 被迫降低，随机光子噪声急剧增加，而现有方法的 SNR-map 引导是固定的，无法随输入亮度动态调整，造成噪声残留明显。这两个独立问题——illumination prior 缺失和事件噪声自适应不足——共同驱动了 EICI 双向协作和 IAEF 亮度感知滤波的设计。

3. Method overview

Event-Illumination Collaborative Low-light Image Enhancement with a High-resolution Real-world Dataset method figure
EIC-LIE 整体架构: (a) 主干 U-Net 交替堆叠 EICI 与 IAEF 模块；(b) EICI 通过 forward gathering（covariance-based cross-attention）和 backward injection（注意力矩阵复用）在 illumination-image 与 event 两路特征间实现双向协作；(c) IAEF 以亮度统计驱动可学习 1D 分离核对 event feature 动态去噪 [page 3 Fig.2]

EIC-LIE 是一个以 U-Net 为骨干、交替叠加 EICI 和 IAEF 两类模块的编解码器。EICI 在每个尺度上用 covariance-based cross-attention 实现 event 与 illumination 特征的双向协作：forward gathering 将 event/illumination 各自信息注入 image feature，backward injection 复用同一注意力矩阵 A 反向分离出各模态精炼特征，既实现信息共享又保持模态独立性。IAEF 利用帧相机亮度统计（最大通道 Lp）生成基于光照感知的 1D 可分离滤波核，结合 event feature 计算的空间偏移和权重对事件流动态降噪。数据端贡献了 beam-splitter 双分光镜系统采集的 1024×768 RLE 数据集（含同步 low/normal-light 帧 + 事件，动静态场景）。

  • 输入 / 输出：输入: 低光 RGB 图像 I（帧相机）+ 事件体素 V（SBT 表示，B 个时间 bin 的极性累积）；输出: 增强后正常光照的 RGB 图像
  • 核心机制：EICI 核心是注意力矩阵复用的双向操作：forward gathering G(X,T) 用协方差型 cross-attention 让 image feature Fi 从 event feature Fe 和 illumination feature Fl 分别吸收 HDR 纹理和全局亮度信息；backward injection I(T',A) 复用已有注意力矩阵 Ae/Al 对融合后的潜空间特征 F̂i 做分解，还原各模态特异特征，避免特征混淆（t-SNE 分析证明 attention reuse 使特征簇更紧凑）。IAEF 以亮度先验生成 Kv, Kh 两路 1D 可分离核，再以 event feature 预测采样权重 W 和空间偏移 (Px,Py)，实现亮度感知的自适应事件去噪。
  • 训练 / 评价：训练数据: 自建 RLE 数据集（1024×768，动态场景，含时间同步 GT）+ 已有 SDE（346×260，机械臂静态 GT）+ SDSD 合成数据集。评价指标: PSNR / SSIM，在 RLE、SDE-indoor/outdoor、SDSD-indoor/outdoor 五个子集全部测试。最优提升: vs EvLight（CVPR'24）分别 +0.95/+0.469/+1.01/+0.695/+1.24/+0.312 (PSNR/SSIM)。风险点: RLE 是作者自采数据集，无第三方复现，GT 对齐依赖 beam-splitter 光学系统，颜色偏差未量化报告。
  • 读法：重点盯 EICI 中 attention reuse 的消融（表中 Case 8 对比）：直接 cross-attention 与 backward injection 复用注意力矩阵的差异，判断 EICI 的增益来自双向结构还是仅仅参数量增加；结合 t-SNE 图（Fig.3）验证特征解耦是否真实发生。

4. 创新点

在 event-image 融合中首次提出 covariance-based cross-attention + 注意力矩阵复用的双向协作机制（EICI），在实现 HDR 信息双向传递的同时通过矩阵复用隐式约束模态对齐；同时贡献了首个 1024×768 动态场景 real-world 事件-图像低光配对数据集 RLE。

5. 优点与不足

优点: 双向 attention reuse 实现模态协作且无额外参数开销；IAEF 以亮度先验自适应去噪，优于固定 SNR-map 方案；RLE 数据集分辨率和动态场景覆盖均明显优于前人。缺点: beam-splitter 系统无法保证两台相机的精确光谱/几何一致性，RLE GT 与输入之间的颜色偏差和视差未在论文中量化；EICI 中 transformer block 的计算量随分辨率二次增长，1024×768 下推理速度未报告；跨相机体系泛化（如单目事件+RGB）未验证。

6. 改进方向

1. 将 EICI 的 covariance-based cross-attention 替换为线性注意力变体，将计算复杂度从 O(N²) 降至 O(N)，使 1024p 以上分辨率实时化。2. 对 RLE 数据集引入颜色 chart 作为 GT 颜色对齐参考，量化 beam-splitter 系统引入的颜色偏差并在训练时用 CCM 补偿，提升跨数据集颜色保真度。

042

MR. Illuminate: Zero-Shot Low-Light Image Enhancement with Diffusion Prior

Joshua Cho, Sara Aghajanzadeh, Zhen Zhu, David Forsyth

CVF · PDF · Supp

Low-lightRestoration

1. 要解决什么问题

LLIE 的两个核心轴是 color constancy（同一场景不同光照下输出一致）与跨数据集泛化。当前有监督方法受限于配对数据集规模（LOLv1 仅 500 对），zero-shot 方法（GDP、FourierDiff、TAO）虽不需配对训练，但引入了辅助 loss 或 test-time 优化，其超参数在评估数据集上手工调优，导致在未见数据集上性能骤降（FourierDiff color constancy 差、GDP 幻觉结构）。本文希望完全去除 optimization 和 degradation assumption，做到真正 training-free、hyperparameter-free。

2. Motivation · 动机与启发

MR. Illuminate: Zero-Shot Low-Light Image Enhancement with Diffusion Prior motivation figure
先验 zero-shot 方法（GDP/FourierDiff）在同场景不同光照下颜色一致性失效示例 [page 1 Fig.1]

现有 zero-shot LLIE 方法（GDP、FourierDiff、TAO）共同的缺陷不是架构，而是「评估集上手工调参」——auxiliary loss 和 hyperparameter 在目标数据集上经验调优，泛化到新数据集时性能骤降，且 test-time optimization 代价高。关键启发来自一个已知但未被充分利用的事实：Stable Diffusion 在 LAION-5B（以正常曝光图像为主）上训练，因此其 latent 空间的逐通道统计量（均值、方差）隐含编码了正常曝光图像的分布先验。低光图像的 inverted latent 统计量偏离这一先验——用 AdaIN 将其对齐到 N(0,I) 即可无参数地校正全局亮度和色偏，彻底绕过显式 degradation 假设和优化过程。

3. Method overview

MR. Illuminate: Zero-Shot Low-Light Image Enhancement with Diffusion Prior method figure
MR. Illuminate 三步流程: (1) DDIM Inversion 提取 zTc；(2) AdaIN Modulation 将 zTc 统计对齐至 N(0,I) 得 zTa（全局亮度/颜色校正）；(3) DDIM Sampling 中向 up-block 逐步注入 inversion 阶段记录的 self-attention triplets {Qt,Kt,Vt}_inv，恢复局部结构与颜色 [page 3 Fig.3]

MR. Illuminate 以冻结的 Stable Diffusion v1.5 为骨干（无文本 prompt），分三步操作：① DDIM Inversion 将低光输入 I 编码为 noisy latent zTc（T=24 步）；② Modulate: 对 zTc 施加 AdaIN，用 N(0,I) 采样 zTs 的均值/方差做仿射归一化，产生 zTa，强制使 latent 统计匹配 SD 训练时所见正常曝光图像的分布，实现全局亮度和色偏校正；③ Refine: DDIM 采样解码 zTa 时，逐 timestep 将 inversion 阶段存储的 self-attention triplets {Qt,Kt,Vt}_inv 注入 up-block，补偿 DDIM inversion 的累积误差，恢复局部纹理和 chromaticity。无任何训练或 test-time 优化，全程参数冻结。

  • 输入 / 输出：输入: 低光 sRGB 图像（若平均亮度 <30 则先线性上缩至 30）；输出: 正常亮度 sRGB 图像；同框架直接迁移至 AWB（白平衡偏色图像）
  • 核心机制：AdaIN 模块的 affine 变换 z_T^a = σ(z_T^s)·((z_T^c − μ(z_T^c))/σ(z_T^c)) + μ(z_T^s)，其中 z_T^s ∼ N(0,I)，本质是将 inverted latent 的逐通道统计量替换为标准正态统计量。这之所以能校正亮度是因为 SD 训练数据（LAION-5B）主要由正常曝光图像组成，latent 空间的统计量隐含编码了正常曝光先验。Self-attention injection 则利用 inversion 阶段注意力保留输入的空间结构和颜色关系这一特性（PCA 可视化证明），将采样轨迹锚定至输入内容，而不像生成采样那样产生无关内容。两个操作协同：AdaIN 矫正全局光照/颜色，SA injection 矫正局部细节，互不干扰。
  • 训练 / 评价：零样本，无训练数据。评估基准: LOLv1（15 test pairs）、LOLv2-real、LOLv2-syn、LSRW、MEF（无参考）、FiveK。额外评估 AWB 任务（color constancy 基准）。LOLv1 PSNR 21.74 dB，超过 GDP（14.66）、FourierDiff（16.95）等 zero-shot 方法，与部分有监督方法可比。风险: SD v1.5 inversion 在高频纹理密集区累积误差较大（T=24 步 DDIM 非精确逆），SA injection 只能部分补偿；推理速度受 diffusion 步数限制（实测 0.82s/img），远慢于一般判别式方法（0.02–0.09s）。
  • 读法：重点看 Fig.7 的自注意力类型×UNet block 位置消融：self-attention only + up-block injection 最优这一结论是否对 LOL 以外数据集同样稳健；cross-attention 注入反而降性能说明扩散模型文本语义通道对无条件生成是噪声，这个结论有助于判断框架在其他 SD 版本上的迁移性。

4. 创新点

首个完全无 optimization、无 degradation assumption 的 deep learning LLIE 方法：利用 frozen SD v1.5 latent 统计特性（AdaIN）做全局亮度/色偏校正，结合 inversion self-attention injection 恢复局部结构，两者协同而无需任何超参数调优；同框架无修改直接应用于 AWB，是已知首个 zero-shot AWB 方法。

5. 优点与不足

优点: 真正零样本零超参，跨数据集泛化能力强；color constancy 优于 GDP/FourierDiff；可直迁移 AWB。缺点: 依赖 DDIM inversion 精度（T=24 步），高频纹理区误差累积会导致细节模糊，尤其在纹理复杂低光图像上；推理 0.82s/img，约为判别式方法 10–40 倍慢；对极端欠曝（平均亮度 <10）的预处理仅线性缩放，色偏无法完全消除；AWB 任务中颜色校正幅度受 latent 通道设计约束（SD latent 通道含义并非专为颜色设计）。

6. 改进方向

1. 将 DDIM Inversion 替换为 Consistency Model 的单步 inversion，可将推理从 24 步降至 1–4 步，速度提升约 6–10×，同时减少累积误差。2. 在 AdaIN step 之前加入色适应变换（如 CAT16 矩阵估计），将白点先验显式注入 latent 统计归一化，强化 AWB 任务的颜色校正精度。

043

Multinex: Lightweight Low-light Image Enhancement via Multi-prior Retinex

Alexandru Brateanu, Tingting Mu, Codruta O. Ancuti, Cosmin Ancuti

CVF · PDF · arXiv · Supp

Low-lightRestoration

1. 要解决什么问题

LLIE 存在两个对立张力：大模型（RetinexFormer 1.53M、GLARE 59.48M）性能好但无法边缘部署；极轻量模型（ZeroDCE 79K、LYT-Net 45K）在 LOLv1 上 PSNR 仅 14.86–22.38 dB，性能塌陷明显。根因在于单色彩空间（RGB/YUV/HSV/HVI）存在亮度-色度耦合残留和颜色不连续性（HSV 的红色不连续、训练不稳定），使轻量网络难以从少量参数中提取足够解耦的颜色与亮度信号。

2. Motivation · 动机与启发

轻量化 LLIE 性能塌陷的根因不是网络容量不足，而是单一色彩空间的表征缺陷：RGB 中亮度-色度强耦合、HSV 红色不连续、HVI 训练不稳定，迫使有限参数的网络同时学习「色彩空间变换」和「增强预测」两项任务，超出其表征能力边界。作者的核心洞察是：这两项任务可以解耦——Classical color theory 中的解析描述子（BT.709 亮度、Ylightness、Yvmax、Cb/Cr 色差、色度比 r/g、饱和度 S）已经提供了亮度与色度分离的充分表征，无需网络再学习，只需用极轻量的 fusion 模块预测「校正增量 ΔL、ΔR」即可，从而让 0.7K 参数的 nano 模型也能实现稳定的颜色增强。

3. Method overview

Multinex: Lightweight Low-light Image Enhancement via Multi-prior Retinex method figure
Multinex 架构: 左侧分别从输入 I 解析 luminance guidance stack SL（4 通道: YRec.709/Yvmax/Ylightness/YL2）与 reflectance stack SR（5 通道: Cb/Cr/r/g/S），送入各自 Fusion Module（FB+CWA 组成）产生 ΔL 和 ΔR，Hadamard 相乘后与原图相加得 Enhancement Delta ΔI [page 4 Fig.2]

Multinex 的核心思路是把色彩空间选择问题转化为分析先验构造问题：不让网络学习色彩空间变换，而是将多个经典色彩理论描述子（ITU-R BT.709 亮度、Yvmax、Ylightness、YL2 共 4 路 luminance；Cb/Cr 色差、r/g 色度比、S 饱和度共 5 路 reflectance）预先解析计算为 guidance stacks SL/SR，再用两个独立的轻量 fusion network（fL 和 fR）分别从这两个 stack 中提炼 ΔL（亮度校正，单通道）和 ΔR（反射率/色彩校正，三通道），最后按加性 Retinex 残差 Î = I + ΔL⊙ΔR 增强图像。不做显式 L/R 分解重建，只预测校正量（enhancement delta），减少对训练数据的过拟合。

  • 输入 / 输出：输入: 低光 RGB 图像 I ∈ [0,1]^{H×W×3}；输出: 增强后 RGB 图像 Î；Multinex（45K 参数）和 Multinex-Nano（0.7K 参数）两个规模
  • 核心机制：Fusion Module f(S) 由 Fusion Block（FB）和 Component-wise Attention（CWA）串联构成：FB = MSEF → DSConv(ReLU) → MSEF，MSEF 做全局通道自校准，DSConv 引入局部空间滤波；CWA 生成 [0,1]^{H×W×C} 软注意力图对各通道分量加权，融合局部与全局线索。两路网络参数独立但结构共享，使 fL 专注亮度而 fR 专注色彩。加性残差公式确保即使网络输出接近零时仍保留原始图像结构，在极度参数压缩（0.7K nano）下尤为关键。Linear Reconstruction Analysis（PCA+岭回归）证明 SR 的 5 个色彩描述子可联合重建原图色彩，验证了先验选择的信息完备性。
  • 训练 / 评价：训练数据: LOLv1/LOLv2-real/LOLv2-syn 有监督配对数据（标准 LLIE benchmark 训练集）。评价指标: PSNR/SSIM/LPIPS + NIQE（无参考感知质量）+ ExDark 目标检测 mAP50%（下游任务）。关键结果: Multinex（45K）在 lightweight 组 LOLv1 PSNR 23.19 vs LYT-Net（45K）22.38，+0.81 dB，LPIPS 0.129 vs 0.182；Multinex-Nano（0.7K）LOLv1 PSNR 19.42 vs RUAS（3.4K）16.40。风险: benchmark 均为 LOL 系列，颜色偏差未以 ΔE 报告；NIQE 是无参考指标与人眼感知未必对齐。
  • 读法：重点看 Table 1 中 micro（<10K）组 Multinex-Nano（0.7K）vs SCI（260 参数，0.06 GFLOPs）的比较：0.7K 参数的 LLIE 是否真有 25.04 dB（LOLv2-syn）的性能——若属实，这个极端轻量点很值得复现验证，因为它暗示分析先验本身承载了大部分增强能力，网络只是微调。

4. 创新点

将多色彩空间选择问题改为分析先验工程：用预计算的 BT.709/Ylightness/Cb-Cr/chromaticity-ratio 等描述子构成 guidance stacks，免去网络学习色彩空间变换，在极度参数压缩（45K/0.7K）下维持颜色稳定性；加性 Retinex 残差（enhancement delta）替代经典 L·R 乘性分解，降低训练数据依赖并保留原始结构。

5. 优点与不足

优点: 0.7K nano 版在 micro 组显著优于 RUAS、SCI 等；多描述子先验覆盖亮度/色差/色度多个维度，减少单空间的不连续性问题；无需多阶段训练。缺点: 分析先验（SL/SR）是固定人工设计，对超出正常光照范围的极端场景（极低亮度、偏色光源）可能先验失配；CWA 注意力图只在通道维度加权，缺乏空间感知，远景-近景亮度差异大时局部曝光不一致；LPIPS 指标在 45K 组仍高于重型模型（GLARE 0.086 vs Multinex 0.129），感知质量差距明显。

6. 改进方向

1. 将固定分析先验替换为 input-adaptive 版本（如在推理时用 Retinex 迭代估计更新 luminance stack），使先验在极端曝光场景下自适应，改善泛化性。2. 在 CWA 中引入轻量空间注意力（如 depthwise separable spatial pooling），使注意力图同时感知空间不均匀亮度，解决远近景曝光不一致问题，参数量增加可控制在 5K 以内。

044

Bi-Bridge: Bidirectional Diffusion Bridges for Low-Light Image Enhancement

Zeyu Hua, Hui Li, Yu Wang, Song Wang, et al. (6 authors)

CVF · PDF · Supp

Low-lightRestoration

1. 要解决什么问题

LLIE 在信息严重损失的暗区呈现 one-to-many 病态，回归型模型（CNN/Transformer）因强制 one-to-one 映射而输出过平滑、纹理/色彩细节丢失；现有 Image-to-Image diffusion bridge（如 DDBM）只做单向 xA→xB，没有利用增强/退化互为逆过程的对称性，导致额外的结构失真。如何在 diffusion bridge 框架内以更少成本实现更高保真是核心挑战。

2. Motivation · 动机与启发

Bi-Bridge: Bidirectional Diffusion Bridges for Low-Light Image Enhancement motivation figure
三种 LLIE 范式对比：CNN 回归、噪声扩散、双向 bridge [page 1 Fig.1]

现有 LLIE 方法几乎清一色采用「从暗到亮」的单向设计：CNN/Transformer 强行 one-to-one 回归，在 one-to-many 的病态问题下只能输出平均解；扩散桥模型（如 DDBM）虽然能做 Image-to-Image 映射、缩小 domain gap，却依然只学单向通道。作者注意到 DDBM 的 tractable Gaussian bridge 分布对 x₀/xT 天然对称，这意味着同一个 U-Net 理论上可以双向预测——由此启发：如果同时学习「增强」与「退化」两个方向，对称性本身就是一个强隐式正则化子，能从根本上约束网络保留内容结构，而不需要任何额外监督信号。

3. Method overview

Bi-Bridge: Bidirectional Diffusion Bridges for Low-Light Image Enhancement method figure
Bi-Bridge 对称扩散桥: 上行为 Forward SDE（xA→xT），下行为 Reverse SDE，共享一个 U-Net 通过方向指示变量 m 统一建模增强与退化两个方向 [page 3 Fig.2]

Bi-Bridge 在 DDBM 的 Gaussian bridge 基础上，利用条件分布均值 µ̂t 对端点 (x0, xT) 天然对称这一性质，通过随机交换端点角色的二元变量 m 将增强与退化合并为单一训练目标 LBi，强迫共享 U-Net 学习端点无关的内容不变表示，实现对称一致性约束。

  • 输入 / 输出：输入: 低光 sRGB 图像（LOL-v1/v2 配对数据集训练），噪声水平经 Gaussian bridge 内建；输出: 正常光照 sRGB 图像。推理时 xT 设为输入低光图，向 t=0 倒解 reverse SDE 得到增强结果。
  • 核心机制：核心是对称端点采样：每个训练 batch 随机以 m∈{0,1} 决定 (x0,xT)=(xA,xB) 或 (xB,xA)，统一优化 MSE endpoint-prediction loss LBi，附加 VGG perceptual loss Lper（权重 λp）。推理采用 predictor-corrector 混合采样器（Euler-Maruyama + Heun），平衡随机性与稳定性。该对称约束等效于强正则化：网络被迫保留两个方向共同的内容结构，无需额外参数或双重网络。
  • 训练 / 评价：训练集: LOL-v1（485 对）+ LOL-v2-real + LOL-v2-synthetic；评价指标: PSNR/SSIM/LPIPS，无配对数据集用 NIQE。Bi-Bridge 在 LOL-v2-synthetic 达 PSNR 31.02、SSIM 0.944、LPIPS 0.025，相对单向 baseline DDBM 分别提升 +3.15 dB / +0.06 / −0.05；LOL-v1 提升 +3.43 dB。风险点：仅在 sRGB 域验证，未测 RAW 或高 ISO 色彩噪声；diffusion 采样步数对实时性有压力。
  • 读法：重点盯 Table 1 里 Bi-Bridge vs DDBM(Baseline) 的逐数据集增益——如果对称约束是关键，则所有子集应一致涨；若某子集未涨则说明对称假设有局限性。

4. 创新点

利用 DDBM 高斯桥均值的端点对称性，以单一共享网络 + 随机端点交换将双向一致性转化为隐式正则，无需双倍参数即实现增强与退化的协同学习。

5. 优点与不足

优点：参数量与单向 DDBM 相同，额外开销仅是训练时随机 flip 端点，LPIPS 大幅改善说明感知保真确实提升。不足：LOL 系列数据集场景较单一（室内夜景为主），对 outdoor、RAW-domain、高动态范围场景的泛化未验证；扩散采样推理速度慢于单步回归模型，ISP 实时部署不现实；'对称性'假设要求增强/退化过程可逆性强，重度欠曝（≥4 EV）下可能失效。

6. 改进方向

1. 将 bridge endpoints 扩展到 RAW→sRGB 色域转换，验证对称约束能否同时约束 demosaic 后的色彩误差（ΔE）。2. 替换推理为 consistency distillation（类 LCM），将采样步数从 20+ 步压到 1-4 步，测试 PSNR/LPIPS 降幅是否可接受。

045

BiEvLight: Bi-level Learning of Task-Aware Event Refinement for Low-Light Image Enhancement

Zishu Yao, Xiang-Xiang Su, Shengning Zhou, Guang-Yong Chen, et al. (6 authors)

CVF · PDF · arXiv · Supp

Low-lightRestoration

1. 要解决什么问题

事件相机在极暗场景下 BA（background activity）噪声激增，原始事件流信噪比极低；直接将含噪事件与帧图像融合时，噪声耦合加剧增强失败。现有方法将事件去噪作为静态预处理，无法根据下游增强目标自适应调节去噪力度——过度去噪丢结构细节，欠去噪则残余噪声污染 modal fusion，这一两难困境是性能瓶颈。

2. Motivation · 动机与启发

BiEvLight: Bi-level Learning of Task-Aware Event Refinement for Low-Light Image Enhancement motivation figure
事件独立去噪 vs 跨模态感知去噪的定性/定量对比 [page 1 Fig.1]

事件相机的 BA 噪声与帧图像低 SNR 在 modal fusion 时会相互放大——现有方法把事件去噪当成静态预处理，独立于增强目标，导致「过度去噪丢结构 / 欠去噪污染融合」的两难困境无法自适应解决。作者发现事件与图像在边缘/梯度上具有强相关性，而增强任务的优劣直接反映了事件表示的质量，因此把去噪重构为以增强为上层约束的双层优化（bilevel optimization），让去噪目标由增强损失动态引导，而不是预先固定去噪力度。

3. Method overview

BiEvLight: Bi-level Learning of Task-Aware Event Refinement for Low-Light Image Enhancement method figure
BiEvLight 两阶段框架: (a) 现有方法的挑战示意，(b) 提出的双层优化结构——事件去噪为上层、低光增强为下层，双向反馈实现 task-aware 协同优化 [page 4 Fig.2]

BiEvLight 将事件去噪建模为以增强任务约束的双层优化问题（bilevel optimization）：上层为事件去噪网络 Nw，下层为低光增强网络 Nθ，下层的增强增益反向校准上层的去噪目标，使去噪表示自动对齐增强需求。去噪网络同时引入空间自适应梯度引导先验（Spatially-adaptive Gradient-guided Denoising），利用帧图像 reflectance 梯度 ∇x̃r 作为空间方向先验过滤 BA 噪声。

  • 输入 / 输出：输入: 低光帧图像 xlow + 含 BA 噪声的事件流 xe（实测真实噪声数据集 SDE-in / SDE-out / SDSD）；输出: 正常光照 sRGB 帧图像 x̂h。
  • 核心机制：双层优化：上层损失 φ = Lden(Nw(xe), x̃e) + Lenh(Nθ*(xlow, x̂e), xhigh)，下层 ψ = Lenh(Nθ(xlow, x̂e), xhigh)；下层最优权重 θ*(w) 对上层构成隐式约束，梯度通过两层传播使去噪权重 w 学到增强任务所偏好的事件表示。梯度引导去噪用滑窗自适应阈值 q=Σ|∇x̃r|/2|W| 划分保留/剔除区域，避免全局阈值对纹理区域过平滑。增强网络用 Retinex 分解后双分支（反射率支路接入去噪事件，光照支路独立处理）。
  • 训练 / 评价：训练/测试: 真实低光事件-图像对齐数据集 SDE（含 SDE-in / SDE-out 子集）及 SDSD；评价指标 PSNR / PSNR* / SSIM。BiEvLight 在 SDE 综合指标上比 state-of-the-art Evlight（CVPR'24）提升平均 +1.30 dB PSNR、+2.03 dB PSNR*、+0.047 SSIM。风险点：SDE 数据集较小且场景局限；bilevel 优化训练稳定性依赖超参 α/β 的精细调节；实际部署需事件相机硬件支持，场景泛化未充分验证。
  • 读法：重点看 Table 1 中「纯帧」方法（SNRNet / URWKV）与「事件增强」方法（ELIE / Evlight / BiEvLight）在 SDE-out 上的差异——量化事件模态在极暗实测场景中的真实增益，以及去噪前后质量的消融对比（Fig.5）。

4. 创新点

将事件去噪从静态预处理提升为以增强任务为约束的 bilevel 优化上层目标，同时用帧图像 reflectance 梯度提供空间自适应去噪先验，两点合力解决 over/under-denoising 两难。

5. 优点与不足

优点：task-aware 双层优化在真实噪声场景中给出可验证的增益，梯度引导先验物理动机清晰（事件触发机制直接来自亮度梯度）。不足：bilevel 优化实现复杂，训练成本高于 sequential 两阶段；实验仅在 SDE 一个真实数据集上报告，跨传感器型号（阈值 ε 差异显著）泛化未测；色彩精度（ΔE）未报告，仅 PSNR/SSIM 可能掩盖色彩偏移；依赖事件相机限制了实际应用场景。

6. 改进方向

1. 将双层优化简化为近似一阶方法（如 MAML-style gradient），降低训练复杂度同时保留 task-aware 反馈，评估 PSNR 是否有实质回退。2. 在多类型事件相机（DVS346 / Prophesee IMX636）上测试泛化，分析 BA 噪声阈值差异对梯度先验有效性的影响。

046

VSRELL: A Simple Baseline for Video Super-Resolution and Enhancement in Low-Light Environment

Yanming Hui, Fanhua Shang, Hongying Liu, Ben Wang, et al. (9 authors)

CVF · PDF · Supp

Low-lightRestoration

1. 要解决什么问题

低光低分辨率（LLLR）视频同时存在欠曝光、噪声积累和帧间运动模糊三类耦合退化，单独做 LLE→VSR 或 VSR→LLE 的级联会引发误差传播（低光区 optical flow 失准、噪声特征在帧间递归放大）；all-in-one 方法用单退化训练，不足以处理 LL+LR 共存场景。这是领域首个 CNN 级 joint LLE+VSR baseline。

2. Motivation · 动机与启发

VSRELL: A Simple Baseline for Video Super-Resolution and Enhancement in Low-Light Environment motivation figure
级联 / All-in-One / VSRELL 三种处理范式的问题对比 [page 1 Fig.1]

低光低分辨率（LLLR）视频的 LLE 与 VSR 两类退化在物理机制上深度耦合：暗区的非线性噪声使 optical flow 失准，进而导致帧间 super-resolution 的特征传播出错；反过来，低分辨率下纹理缺失又会加剧光照估计偏差。现有级联方案（先 LLE 再 VSR 或反之）的误差会沿流水线放大，而 all-in-one 方法用单一退化数据训练，缺乏对 LL+LR 共存场景的针对性建模。这促使作者设计「同步解耦」策略：在同一网络内并行处理光照与分辨率，让两者互为约束而非顺序依赖。

3. Method overview

VSRELL: A Simple Baseline for Video Super-Resolution and Enhancement in Low-Light Environment method figure
VSRELL 框架: 上行为 ISFP（光照敏感特征传播，含 DEFM 动态掩码与 LGOM 光流引导偏移调制），右侧为 INCO（光照-噪声协同优化，双分支 + 动态窗口分区），实现 LLE 与 VSR 同步解耦 [page 4 Fig.3]

VSRELL 用两个核心模块同步解耦：INCO（Illumination-Noise Co-Optimization）在单帧内联合建模光照增益与像素级噪声分布，抑制跨帧噪声积累；ISFP（Illumination-Sensitive Feature Propagation）将光照图显式注入可变形卷积偏移估计和内存特征衰减，使帧间对齐自适应暗区特性。动态窗口 DWEB 提取时域对称窗，global-local 特征融合保证时序一致。

  • 输入 / 输出：输入: 低光低分辨率（LLLR）视频序列（LL 由 REDS 数据集通过低光仿真处理得到）；输出: 正常光照高分辨率（WIHR）视频序列。
  • 核心机制：INCO 双分支：光照支路生成空间自适应亮度增益 g·(1.5-α) clamp，噪声支路估计像素级噪声图 Mnoise 并输出去噪偏移 Odenoise，两支路共享 encoder 特征、decoder 交叉调制。ISFP 将光照图 Millu 归一化后引入偏移预测（公式 Aillu = σ(BN(Conv(Mlow)))），暗区放大偏移幅度、亮区施加 Gaussian 平滑（公式6），同时 DEFM 动态衰减历史帧权重（指数×光照一致性衰减项，公式9-10）以切断误差传播链。
  • 训练 / 评价：训练集: REDS（动态真实场景）+ LL 仿真处理；测试集: REDS4 / Vid4 / UDM10（BI 和 BD 两种降采样核）；指标 PSNR/SSIM。VSRELL 在 REDS4 平均 PSNR 25.94/SSIM 0.7813，显著优于最强 baseline IART+SCI（≈20.12）；UDM10(BI) 达 23.54/0.897，参数量仅 6.29M。风险点：LL 退化由人工仿真添加，与真实摄像头传感器噪声分布存在域偏移；色彩准确性仅靠 PSNR 监督，ΔE 未报告；仅 CNN 结构，Transformer-based 竞品（如 IART）的长程依赖建模优势在高分辨率场景可能显现。
  • 读法：重点看 Vid4/UDM10 的 BD 核结果——BD 核更接近真实镜头模糊，若 PSNR 仍高于所有 cascade/all-in-one 方法，说明联合建模的泛化性确实可靠而非 BI 核过拟合。

4. 创新点

首个在 CNN 框架内将 LLE 与 VSR 同步解耦处理的 baseline，用光照图显式注入偏移估计和内存衰减，解决暗区 optical flow 失准与跨帧错误积累两个关键瓶颈。

5. 优点与不足

优点：6.29M 参数轻量，PSNR 增益幅度大（相对 cascade 方法+5 dB 量级），时序一致性（temporal profile 图）明显更好。不足：LL 仿真方式未披露具体噪声模型，与真实低光相机（Bayer raw→demosaic 后 sRGB）差异可能不小；无感知指标（LPIPS/NIQE）报告，PSNR 高未必等于视觉质量好；只做 4× SR，未测 2×/8×。

6. 改进方向

1. 替换 LL 仿真为物理级传感器噪声模型（Poisson-Gaussian，标定真实相机 ISO 曲线），重新评估是否仍保持 REDS4 增益。2. 在 INCO 噪声支路输出后接 ΔE 监督（用 ISP 色彩管道生成配对数据），验证亮度恢复同时色彩漂移是否得到控制。

047

ZeroIDIR: Zero-Reference Illumination Degradation Image Restoration with Perturbed Consistency Diffusion Models

Hai Jiang, Zhen Liu, Yinjie Lei, Songchen Han, et al. (6 authors)

CVF · PDF · arXiv · Supp

Low-lightRestorationIntrinsic/Relight

1. 要解决什么问题

有监督扩散模型依赖大量配对数据，泛化受限；无监督 zero-shot 方法（AGLLDiff 等）借预训练扩散先验但受限于预训练分布，色彩失真与细节模糊并存。扩散模型本身存在低频生成偏差（low-frequency bias in exposure），难以在无配对监督下同时修正曝光与恢复高频细节——这是 zero-reference IDIR 的根本困难。

2. Motivation · 动机与启发

ZeroIDIR: Zero-Reference Illumination Degradation Image Restoration with Perturbed Consistency Diffusion Models motivation figure
低光/背光/过曝三场景下有监督与无监督方法对比 [page 1 Fig.1]

有监督扩散方法依赖配对数据，分布受限；无监督零样本方案（如 AGLLDiff）借预训练扩散先验但受限于预训练分布，色彩失真与细节模糊并存；而扩散模型本身在低频生成（尤其是曝光）上存在系统性偏差，直接用于 IDIR 会同时出现过曝与高频细节不足。作者由此意识到，曝光校正（低频）与细节重建（高频）应该分开处理：先用一个不依赖配对数据的自适应 gamma 模块独立修正曝光分布，再把校正后的图像当作扩散过程的「中间噪声状态」输入一致性扩散模型，让扩散模型只负责高频重建而非从头生成低频结构。

3. Method overview

ZeroIDIR: Zero-Reference Illumination Degradation Image Restoration with Perturbed Consistency Diffusion Models method figure
ZeroIDIR 两阶段流水线: (a) AGCM 自适应 Gamma 矫正模块（Retinex 分解→双分支预测 γu/γo + 权重图→直方图引导损失），(b) PCDM 扰动一致性扩散模型（以矫正图为中间噪声态，Lpdc 约束扩散轨迹一致性） [page 3 Fig.2]

ZeroIDIR 将恢复解耦为两阶段：第一阶段 AGCM 专做空间自适应曝光矫正（不碰细节），第二阶段 PCDM 以矫正结果为已知的中间噪声态 xt* 注入扩散轨迹，用扰动一致性损失 Lpdc 约束最终输出 x̂0 的扩散前向轨迹与 xt* 对齐，实现无配对监督下的细节重建与去噪。全程仅用 10k 低质量图像训练，无需正常光参考。

  • 输入 / 输出：输入: 任意照度退化图像（低光 / 背光 / 欠曝 / 过曝，统一框架处理）；输出: 曝光正确、细节清晰的 sRGB 图像。
  • 核心机制：AGCM：Retinex 分解 Id→(Rd, Ld)，双分支预测空间自适应 gamma 图 {γu, γo} 和权重图 {Wu, Wo}，矫正光照图 Ld'=Wu⊙Ld^γu + Wo⊙Ld^γo；直方图引导损失 Lhic 用 KL 散度将矫正后光照分布拉向 20k 真实正常光照图统计先验；损失含 Lexp（曝光强度对齐 E=0.6）+ Leatv（边缘感知总变差，防 gamma 图过平滑）。PCDM：将 Id' 视为 t* 时刻的噪声态（t*∈[0,50]，T=1000），从 t*+Δt 继续前向加噪后用 U-Net ϵθ 预测噪声，Lpdc=||φ(xt*)−φ(√ᾱt*·x̂0+√(1−ᾱt*)·ϵt*)||₂ 通过 VGG-16 特征约束一致性；两阶段分别训练（先 AGCM 10^5 iter，再 PCDM 10^6 iter，冻结 AGCM）。
  • 训练 / 评价：训练: 10k 低质量图（低光+背光+过曝，无配对）；测试: LLIE→LOL/LSRW/MIT5K，背光增强→BAID/Backlit300，曝光矫正→MSEC/SICE；指标 PSNR/SSIM/LPIPS（配对）、NIQE/CLIPIQA（无配对）。无监督方法中 LOL PSNR 20.87 最优，BAID PSNR 21.75 优于所有竞品（含 CLIP-LIT 21.71）；LSRW/MIT5K 超越部分有监督方法。风险点：t* 预设范围 [0,50]（相对 T=1000 较小），超出此范围的严重退化可能导致 PCDM 收敛困难；Lhic 的先验分布由 20k 收集图像决定，分布与测试场景不匹配时会偏色。
  • 读法：重点看 LSRW 和 MIT5K 两个跨分布数据集上 ZeroIDIR 对有监督方法的超越——这是验证 zero-reference 泛化能力的硬指标；同时对比 LOL 上与 AGLLDiff（同为无监督扩散）的 PSNR 差距，量化 AGCM 预矫正对扩散输入质量的贡献。

4. 创新点

将照度矫正后的图像重新诠释为扩散轨迹中间态（t* 锚点），配合扰动一致性损失 Lpdc 在完全无配对监督下将曝光矫正与扩散重建解耦，既规避了预训练扩散先验的分布漂移，又无需任何正常光参考。

5. 优点与不足

优点：三类照度退化用统一框架处理，泛化优势在 LSRW/MIT5K 明显；AGCM+PCDM 解耦使曝光修正与细节重建各自有专门监督，优于端到端扩散直接处理低频+高频的混合任务。不足：t*范围固定 [0,50]，对极端欠曝（>4 EV）的处理有效性未验证；Lhic 依赖收集的 20k 正常光直方图先验，数据质量和多样性对色彩准确度有直接影响（未报告 ΔE）；扩散采样 20 步推理速度不适合实时应用；仅 sRGB 域，未探索 RAW 域直接应用。

6. 改进方向

1. 将 t* 从固定预设改为由 AGCM 输出图的直方图偏移量自动估计，使 PCDM 对任意退化程度自适应注入点，改善重度过曝/欠曝场景。2. 引入色度通道独立 AGCM 分支（YCbCr 域分开处理 Cb/Cr），配合 ΔE 监督，从源头防止 Retinex 分解中色调信息与光照耦合造成的偏色。

048

eRetinexGS: Retinex Modeling for Low-Light Scene Enhancement via Event Streams and 3D Gaussian Splatting

Haojie Yan, Zehao Chen, Yan Liu, Shi Gu, et al. (9 authors)

CVF · PDF · Supp

Low-lightRestoration3D/Photometric

1. 要解决什么问题

极暗场景下 RGB 帧信噪比严重不足，Retinex 分解因缺乏可靠梯度而病态，既有单帧增强方法在 dark region 直接失效。事件相机高动态范围但仅提供 log-intensity 变化量，无法独立重建颜色和绝对亮度。两种模态在低光下均退化，直接融合会将噪声传播到 3DGS radiance field，导致色偏和细节丢失。这是 ISP 链路颜色还原的上游问题：radiance field 颜色若失真，下游 AWB/颜色空间转换均无意义。

2. Motivation · 动机与启发

eRetinexGS: Retinex Modeling for Low-Light Scene Enhancement via Event Streams and 3D Gaussian Splatting motivation figure
事件/帧两种模态的互补 cue：反射率平滑先验与暗区光度信息 [page 1 Fig.1]

极暗场景下 Retinex 分解因梯度不可靠而病态，基于单帧的增强方法在 dark region 直接失效；事件相机虽然高动态范围，但在低光下同样噪声严重，直接把两种退化模态融合到 3DGS 会将噪声扩散到辐射场，导致色彩失真和细节缺失。作者观察到两个互补规律：①非触发区域（no-event regions）可作为 Retinex reflectance 的光滑先验；②事件在极暗区提供可靠光度线索，而帧在适度亮区更可靠。这两个互补 cue 天然适合 3DGS 的多视图一致性框架，从而激发了用事件引导 Retinex 分解、用置信度加权互补融合的联合方案。

3. Method overview

eRetinexGS: Retinex Modeling for Low-Light Scene Enhancement via Event Streams and 3D Gaussian Splatting method figure
eRetinexGS 管线：COLMAP 初始化点云，Retinex-3DGS 将每个 Gaussian 分解为反射率 r 和照明 l，再经 Event-guided Reflectance Smoothness 与 Confidence-Guided Complementarity 模块融合事件流与图像帧监督 [page 3 Fig.2]

eRetinexGS 将 Retinex 分解嵌入 3D Gaussian Splatting：每个 Gaussian 同时存反射率属性 r（视角无关）和照明属性 l（视角依赖、球谐建模），alpha blending 渲染 R 和 L 两张 factor map；在此之上叠加两个核心引导模块——Event-guided Reflectance Smoothness（非事件区施加 masked TV prior 约束 R 平滑）和 Confidence-Guided Complementarity（以恢复 radiance I^r_g 作为置信权重，自适应平衡事件损失与图像损失）；两个 MLP F、G 分别建模帧与事件的退化机制，实现模态对齐；全流程自监督，支持 NVS。

  • 输入 / 输出：输入：多视角低光 sRGB 帧序列 {I^l_t} + 同步事件流 E（单曝光，F+E 联合）；输出：法光 radiance field {I^r_t}，支持任意视角 novel view synthesis
  • 核心机制：核心有三层：① Reflectance-Illumination 3DGS：r 捕获材质 albedo（视角不变），l 用球谐建模光照变化，两者 alpha blending 得 I^r = R ⊙ L，比 LLNeRF 隐式分解更约束解空间；② Event-guided Reflectance Smoothness：基于「非事件区 = 反射率平坦区」的假设，对非事件像素施加 masked L1 TV 正则化 L_tv，Event Trail Suppression 预处理消除 latency trail；③ Confidence-Guided Complementarity：以 I^r_g 作为 stop-gradient 置信图，在暗区倚重事件损失 L_ev、在亮区倚重图像损失 L_img，显式互补融合；总损失含 L_data + L_brightness（全局亮度目标 0.55）+ L_gray（gray-world 色偏抑制）+ L_tv。
  • 训练 / 评价：训练数据：LLFF 数据集 8 场景（合成低光），通过 gamma+scaling 生成 I^l,c；真实数据为自采。评估：低光增强 PSNR/SSIM/LPIPS + NVS 指标，eRetinexGS 在合成集达 PSNR 23.45、SSIM 0.831，较最强基线 EvLowLight（18.18/0.484）大幅领先。风险：gray-world prior 假设不符合有强色光源场景时 L_gray 会压制真实色偏；事件稀疏场景下 smoothness prior 依赖多视角一致性才可靠。
  • 读法：最该盯住 Confidence-Guided Complementarity 的置信权重设计：用恢复的 radiance 作为置信代理是否会产生自举偏差（bootstrapping bias），特别是第一次 warmup stage 的 radiance 质量对后续融合权重影响有多大。

4. 创新点

首次将 Retinex 分解嵌入 3DGS 的 per-Gaussian 属性空间（r/l 双属性），并用事件流的时序结构信息同时充当反射率平滑先验和互补光度监督，实现跨模态、多视角一致的自监督低光增强。

5. 优点与不足

优点：自监督框架无需配对正常光 GT；multi-view 一致性天然压制帧噪声；PSNR 增益显著（+5 dB vs 最佳事件方法）。不足：依赖 COLMAP 初始化，静态场景假设，动态物体会污染 Gaussian；LLFF 合成数据集只有 8 场景，真实泛化性证据薄弱；事件相机成本高，离 ISP pipeline 实用部署仍远。

6. 改进方向

1. 将 degradation MLP F/G 改为显式物理噪声模型（Gaussian-Poisson + 事件 leak noise 参数化），减少 MLP 自由度，改善色彩精度。2. 引入 RAW 域事件+帧联合采集，在 demosaic 前做 Retinex 分解，直接输出 ISP 可用的线性 radiance。

049

Bilevel Layer-Positioning LoRA for Real Image Dehazing

Yan Zhang, Long Ma, Yuxin Feng, Zhe Huang, et al. (6 authors)

CVF · PDF · arXiv

Low-lightRestoration

1. 要解决什么问题

深度学习去雾模型在合成数据集（ITS/OTS/Haze4K）上表现强，迁移到真实雾霾（RTTS/URHI/Fattal/NHRW 夜间场景）时性能大幅下降，根源是 synthetic-to-real domain gap。现有对策要么全量微调（计算开销大、跨域切换成本高），要么依赖成对真实 GT（难以获取）。LoRA 本身效果好坏高度依赖注入位置的选择，而不同 backbone 和不同域偏移下瓶颈层动态变化，手工选层缺乏可推广性。

2. Motivation · 动机与启发

LoRA 适应的实际效果高度依赖注入层的选择，但不同 backbone、不同真实域偏移下最优注入位置并不一致，手工选层既不可推广、也无法在线适应。同时，真实雾霾场景几乎无法获得配对 clear GT，传统有监督微调路线在 real-world 迁移中存在根本性数据瓶颈。作者注意到 CLIP 文本空间已隐式编码了「hazy photo」→「clear photo」的语义方向，该方向可作为无 GT 的跨模态去雾监督信号；在此基础上，将 LoRA 注入层选择问题形式化为可微双层优化，用上层梯度自动发现各 backbone 和目标域下的关键瓶颈层，从而将「哪层最需要适应」从经验决策转变为数据驱动的架构搜索。

3. Method overview

BiLaLoRA 在两个层面同时优化：① H2C（Haze-to-Clear text-directed loss）——利用 CLIP 将去雾任务重新框架为语义对齐问题，以「a photo with haze」和「a clear photo」为文本端点定义目标方向 ΔT_text，对齐图像特征位移 ΔV_img，提供无 GT 的跨模态无监督监督；② BiLaLoRA——将 LoRA 注入层的选择（架构参数 α）和权重优化（ω）统一成双层优化问题，上层梯度 g_α 驱动层选择，下层更新 LoRA 权重，训练结束后用 TopK(α) 固定注入位置再做 fine-tuning。

  • 输入 / 输出：输入：hazy sRGB 图像（无需 GT，真实域无配对数据）；输出：dehazed sRGB 图像；方法本身是即插即用的适应策略，不绑定特定 backbone
  • 核心机制：H2C loss 公式 L_H2C = 1 − (ΔV_img · ΔT_text)/(‖ΔV_img‖₂·‖ΔT_text‖₂)，以余弦相似度衡量图像语义变化方向与 haze→clear 文本方向的对齐程度，无需配对监督。BiLaLoRA 中 α 被 sigmoid 约束到 (0,1) 并与缩放因子 γ 共同调制低秩增量 ΔW = α·γ·BA；双层优化前半段（epoch 0~T_s）同时优化 α 和 ω，后半段 TopK 冻结层选择只优化 ω；梯度由 ∇_α g 的近似一阶展开（DARTS 风格）实现可微架构搜索。
  • 训练 / 评价：预训练 backbone 在 ITS/OTS/RIDCP/Haze4K 合成集上初始化；BiLaLoRA 在真实域（RTTS/URHI/Fattal/NHRW）用 H2C loss 无监督适应；评估指标：FADE↓、BIQME↑、Entropy↑、MUSIQ↑（均为无参考指标）。在 4 种 backbone（MSBDN/DEA/KANet/PHATNet）上一致提升，验证了架构无关性。风险：CLIP 文本方向假设 haze 和 clear 语义差异足够大，夜间场景等非典型 haze 类型文本对可能无法精确捕捉域差异。
  • 读法：最该盯住层选择策略的泛化性：α 在不同 backbone 和不同目标域下选出的 top-k 层是否具有可解释性（encoder 末端 block 被选出的概率有多高），以及双层优化是否真正比启发式选层（如仅微调最后 k 层）有显著优势。

4. 创新点

将 LoRA 注入层位置的选择从经验人工决策转为可微双层优化，同时用 CLIP 语义方向替代配对 GT 提供去雾方向监督——两者结合使参数高效适应具备跨域泛化能力。

5. 优点与不足

优点：plug-and-play，支持快速切换多个目标域；无需真实配对 GT；参数量和推理开销增加极小。不足：评估全部使用无参考指标（FADE/BIQME/MUSIQ），无法反映颜色保真度（色偏可能被高 MUSIQ 评分掩盖）；CLIP 文本提示固定，对彩色雾霾（沙尘暴）或夜间场景需要手工修改 prompt；双层优化收敛需额外超参 T_s 调节。

6. 改进方向

1. 在 H2C loss 基础上增加颜色一致性约束（如 ΔE 损失项），直接惩罚 hue/chroma 偏移而非只对齐整体语义方向。2. 将层选择策略拓展为连续混合精度（不同层不同 rank r），与 H2C loss 结合实现更精细的计算-性能 tradeoff。

050

Disentanglement-wise Image Dehazing through Cross-Domain Manifold Consensus

Tianyi Lyu, Mingye Ju, Kai-Kuang Ma

CVF · PDF · Supp

Low-lightRestoration

1. 要解决什么问题

大气散射退化在空域、频域、非局部域等不同特征表示下呈现不同统计特性，单域方法无法区分 haze 特征与场景固有内容（如低对比度天空），多域方法手工设计 feature transfer 又缺乏物理根基。同时，有色雾霾（沙尘暴/浓雾）造成 HSV 空间的严重色通道耦合：hazy 图像中 H/S/V 三通道互信息（MI）均值从 clear 图像的约 0.6–1.1 暴增至 1.0–2.9，直接破坏颜色独立性假设，导致色偏难以通过单纯结构复原消除。

2. Motivation · 动机与启发

Disentanglement-wise Image Dehazing through Cross-Domain Manifold Consensus motivation figure
三类去雾路线对比：单域/多域均无法利用跨域散射一致性，CIM-D 在该域不变低维子空间上对齐 [page 1 Fig.1]

大气散射在不同特征域（空域、频域、非局部域等）的统计表现各异，现有方法或在单一域内分析、或以经验性 feature transfer 拼接多域，均忽视了一个物理事实：散射退化若源自同一物理机制，其特征在任何表示域中都应共享一个域不变的低维结构（论文命名为 Cross-domain Invariant Manifold, CIM）。作者进一步观察到，有色雾霾使 HSV 三通道互信息从 clear 图的 0.6–1.1 暴增至 1.0–2.9，说明 haze 同时破坏颜色通道独立性。基于此，设计跨域共识密度场替代单域对比学习，并在 HSV 空间以梯度方向余弦相似度显式量化通道耦合、逐步解耦，从而同时攻克多域特征误分类与有色雾霾色偏两大痛点。

3. Method overview

Disentanglement-wise Image Dehazing through Cross-Domain Manifold Consensus method figure
CIM-D 总览：左侧跨域一致性学习模块（5 种 domain encoder + 子空间对齐投影 P + L_ssa/L_dmt 对比损失），右侧 Physics-Guided HSV 分解网络（U-Net with Residual Decoupling Block 逐渐解耦 H/S/V 通道耦合） [page 5 Fig.4]

CIM-D 框架双线并行：① Cross-Domain Invariant Manifold (CIM)——5 路 domain encoder（空域 SFE、频域 FFE、非局部 NFE、扩散域 DFE、压缩感知域 CFE）各自提取特征，经域翻译网络 P 投影到统一低维子空间 M，以共识密度 ρ（多域密度几何均值）驱动对比学习（L_ssa 对齐同态样本、L_dmt 引导 dehazing 向高密度 clear 原型移动）；② Physics-Guided HSV Decomposition Network——将 sRGB 转为 HSV 后再做笛卡尔坐标变换 (Dx, Dy, Dz) 稳定 H 的环形性，U-Net 中 Residual Decoupling Block 用 Sobel 梯度方向余弦相似度度量 H/S/V 跨通道耦合，再用自适应权重 W 做残差解耦；两路通过 L_cdr（通道解耦正则）+ L_asm（大气散射模型一致性）+ L_hc（颜色保真）联合优化。

  • 输入 / 输出：输入：hazy sRGB 图像（单张）；输出：dehazed sRGB 图像 J，同时在 HSV 解耦路径中输出 H_dec/S_dec/V_dec
  • 核心机制：CIM 的核心是共识密度 ρ_s(z) = (∏_k ρ^k_s(z))^{1/K}（K=5 个域的密度几何均值），几何均值要求所有域同时一致才得高密度，自动压制域特有偏差。去雾通过 L_dmt 使结果 m_d 向 clear 高密度原型 μ_c 趋近、远离 μ_h；HSV 解耦中 Residual Decoupling Block 用 |Sim(∇S,∇V)|、|Sim(∇S,∇H)|、|Sim(∇H,∇V)| 量化耦合强度，并自适应残差修正 H_dec = H − F(cat[S∇(S,H), S∇(H,V)])·W；L_asm 由 ASM 推导出 V 和 S 的不变比约束，强制物理一致性。
  • 训练 / 评价：在 Raw2ah、SOTS、RTTS 数据集评估；SOTS 上 PSNR 25.51/SSIM 0.935（SOTA），Raw2ah PSNR 17.89/SSIM 0.585；RTTS 无参考指标 FADE 0.795（最低）；推理 0.062 s（参数量 2.38M，最小）。风险：5 路 domain encoder 推理开销虽低，但训练内存需求高；共识密度依赖准确的 hazy/clear 原型估计，沙尘暴等极端色偏场景原型可能漂移；PSNR/SSIM 优秀但 ΔE 未报告，色彩保真度缺乏直接量化。
  • 读法：最该盯住 HSV Residual Decoupling Block 的 Sobel 梯度方向相似度作为耦合度量的合理性：在低纹理区（∇H≈0）W 接近 0、不做解耦，这在有色天空等大面积平坦区是否会遗漏真实色偏？

4. 创新点

首次将跨域共识密度（5 域几何均值密度场）作为去雾损失的引导信号，同时在 HSV 的 Residual Decoupling Block 中用梯度方向余弦相似度显式量化并逐通道修正 haze 诱导色耦合。

5. 优点与不足

优点：物理约束充分（ASM + HSV 通道独立性 + 多域共识）；2.38M 参数轻量；多域协同使模型对不同 haze 类型更鲁棒。不足：5 路 encoder 设计导致 pipeline 复杂，每路 encoder 的有效贡献未完全消融；共识密度的「物理等价性」假设借鉴 NLP 语义集合假设，跨感知域等价性在色彩保真度上的理论保证尚待严格证明。

6. 改进方向

1. 将 L_asm 约束从 Value/Saturation 扩展到 Hue 的绝对散射色温预测（引入大气光 A 的色温先验），使物理约束覆盖 ISP 色彩链路所关心的白点偏移。2. 在 Residual Decoupling Block 中引入 ΔE loss 作为额外监督，替代纯结构度量，直接优化感知色差。

051

SDUIE: Semi-Supervised Diffusion for Underwater Image Enhancement with Quant-Text Dual Control

Xiaofeng Cong, Yu-Xin Zhang, Hao Shen, Yeying Jin, et al. (6 authors)

CVF · PDF · Supp

Low-lightRestoration

1. 要解决什么问题

水下图像因红/黄波段衰减快、绿/蓝稳定而呈现蓝绿色偏，现有增强算法给出固定输出，无法满足不同用户主观偏好（过度增强 vs 色调保留争议明显）。已有可控方法（UIESS、PWAE、CECF）依赖 style guidance 图像，缺乏数值精度控制；而真实域有标注数据稀缺，纯监督方法泛化到真实水下场景受限。这直接影响水下摄影及水下视觉系统的颜色链路质量。

2. Motivation · 动机与启发

现有水下增强算法给出固定输出，但水下影像的「最佳增强度」本质上是主观的——过度增强丢失固有蓝绿色调、不足增强则视觉效果差，且不同用户偏好差异显著。作者注意到 LoRA 权重空间可视为平滑的低维结构，在「增强」分支权重和「色调保留」分支权重之间做球面插值，可获得测地意义上等距的连续控制轴，比线性插值更准确地保持权重 norm；同时，真实水下无标注数据充足但配对 GT 稀缺，利用半监督共享 latent space 对齐合成和真实域，是在有限配对数据下实现泛化的关键设计动机。

3. Method overview

SDUIE: Semi-Supervised Diffusion for Underwater Image Enhancement with Quant-Text Dual Control method figure
SDUIE 框架：左侧 SDUIE-Quant 双分支（增强解码器 D_ie + 色调保持解码器 D_ir 共享 latent diffusion UNet U），右侧推理时 LoRA 权重球面插值控制增强强度 α；下方 SDUIE-Text 在 Quant 基础上用图像-文本对微调实现语义级控制 [page 4 Fig.2]

SDUIE 在 latent diffusion model（stable diffusion backbone）上用 LoRA fine-tuning，构建双分支架构：增强分支（E_ir → U → D_ie）在合成水下-陆地对上监督训练，色调保持分支（E_ir/E_ie → U → D_ir/D_ie）在合成和真实水下图像上自重建。推理时通过球面插值 S(θ_ie, θ_ir; α) 合并两个解码器的 LoRA 权重，α ∈ [0,1] 连续控制增强强度。SDUIE-Text 进一步从 Quant 生成的插值图像-文本对微调，建立 prompt 语义到增强程度的映射。

  • 输入 / 输出：输入：真实水下 sRGB 图像 x_r，数值控制因子 α（Quant 模式）或文本提示 p_α（Text 模式，如「Enhance this image by moderate level」）；输出：增强后 sRGB 图像
  • 核心机制：核心机制是 LoRA weight merging：W* = W + (ζ_ie × B_ie A_ie + ζ_ir × B_ir A_ir)，推理时改为球面插值 S(ω_ie, ω_ir; α) = ω_ir·sin((1−α)θ)/sinθ + ω_ie·sin(αθ)/sinθ 以保持 LoRA 权重空间上的等距(测地)插值。物理合成管线基于水下成像模型 x_s(c) = η(c) ⊙ [y(c)⊙e^{-βd} + L(c)⊙(1−e^{-βd})]，四参数（d、β、L、η）从选取色卡区域估计。训练损失含像素级 L_p + 对抗 L_a，两分支共享 UNet U 实现 synthetic-to-real 的 latent 对齐。
  • 训练 / 评价：合成数据：1001 对陆地图像通过物理仿真生成；真实数据：Challenging-60、U45、UCCS、EUVP test set；评估指标：UIQM、UCIQE、URANKER（均无参考）。SDUIE-Quant 在 Challenging-60 上 UIQM 5.010（第一）、URANKER 1.850（最高），U45 UIQM 5.501。风险：全部评估指标无参考，不能直接衡量颜色保真度（对水下生物原色科研用途 ΔE 至关重要）；diffusion backbone 推理速度慢，实时应用受限；文本提示模板固定（「level X」），跨用户语义理解差异未处理。
  • 读法：最该盯住球面插值 vs 线性插值的实际色偏差异（论文 Fig.9 对比了不同插值方式）：在 α=0.5 附近 hue 是否保持单调变化，还是出现 hue discontinuity，这直接决定该方法是否适合需要精确色温控制的水下颜色测量场景。

4. 创新点

首次将 LoRA weight merging 的球面插值机制用于水下图像增强程度的连续数值控制，并用同框架生成的插值样本-文本对自举训练语义控制分支，无需人工标注增强程度。

5. 优点与不足

优点：数值控制精确（球面插值在 LoRA 权重空间平滑）；semi-supervised 策略充分利用无标注真实数据；Text 分支可直接接受自然语言指令。不足：diffusion backbone 推理速度慢（batch size=1，实时不可用）；物理合成管线参数（d、β、L、η）需手工从色卡区域估计，泛化到无色卡场景可信度未评估；评估指标全为感知/无参考类，无 ΔE 或色温误差报告。

6. 改进方向

1. 将物理合成管线的 β、L 参数改为可学习估计（用无监督光谱先验），减少对人工选取色卡的依赖，使合成数据更接近真实水体统计分布。2. 增加基于 ΔE_00 的有参考子集评估（在有 GT 的 EUVP 上），量化色彩保真度，区分「感知增强」和「色彩复原」两种优化目标是否冲突。

052

Learning Latent Transmission and Glare Maps for Lens Veiling Glare Removal

Xiaolong Qian, Qi Jiang, Lei Sun, Zongxi Yu, et al. (11 authors)

CVF · PDF · arXiv · Supp

Low-lightRestoration

1. 要解决什么问题

单镜头（单透镜、metalens）光学系统在简化光学设计与低成本涂层约束下，叠加了空间变化像差（residual aberration）和 veiling glare 两种退化。Veiling glare 来自镜内非理想表面的漫散射，与大气散射的深度相关模型（如去雾 scattering model）物理机制完全不同——它是深度无关的，且广泛压低对比度而非产生局部伪影。现有 CAC 模型无法处理漫射光引起的对比度损失，去雾/去耀斑方法因物理模型不匹配而失效，更关键的是现实场景中几乎无法获得 veiling glare 的带标注配对数据，传统模拟需要完整光机模型和非序列光线追迹，代价极高。

2. Motivation · 动机与启发

Learning Latent Transmission and Glare Maps for Lens Veiling Glare Removal motivation figure
镜内漫散射形成原理（左）及 CAC/去雾模型失效对比，DeVeiler 联合修正两类退化 [page 1 Fig.1]

简化光学系统（单透镜、metalens）中 veiling glare 由镜内非理想表面漫散射产生，具有深度无关、空间变化的特性，与大气散射的深度相关模型根本不兼容，导致 CAC + 去雾级联方案在此场景下引入严重伪影。更关键的是，精确模拟 veiling glare 需要完整光机模型和非序列光线追迹，现实中几乎无法直接获得高质量配对训练数据。核心洞察是：与其直接学习逆过程，不如先用生成模型从无配对目标域图像中学习前向退化（估计 latent transmission/glare 双图），再以可逆性约束强迫复原网络学到该前向过程的精确逆映射，从而在无 GT 条件下建立物理可解释的联合退化建模与复原框架。

3. Method overview

Learning Latent Transmission and Glare Maps for Lens Veiling Glare Removal method figure
VeilGen 整体架构：LOTGMP 在扩散去噪过程中预测 latent transmission/glare 双图，经 VGIM 特征调制注入降质流，同步生成源域与目标域配对数据 [page 3 Fig.2]

整个框架分三阶段。Stage I：VeilGen——在 Stable Diffusion v2-1 + IRControlNet（DiffBIR 骨架）基础上加入 Latent Optical Transmission and Glare Map Predictor（LOTGMP），以物理混合训练（源域已配对像差数据 + 目标域未配对复合退化数据）在扩散去噪中预测 latent maps cvg = (z_trans, z_glare)，再经 Veiling Glare Imposition Module（VGIM）特征调制生成合成配对数据集。Stage II：将 VeilGen 蒸馏为轻量 Distilled Degradation Net（DDN），用 L1 损失对齐 VeilGen 的前向退化行为，供 Stage III 高效监督用。Stage III：DeVeiler 通过 Veiling Glare Encoder（VG-Enc）预测 latent maps ĉvg，其核心模块 VGCM 与 VGIM 结构对称，以可逆约束（reversibility loss Lrev = ‖DDN(Ic, ĉvg) − Ide‖₁）驱动恢复成为已学前向退化的精确逆过程，并分两阶段训练：Phase I 在源域预训练建立像差校正基线，Phase II 在合成配对+源域混合数据上微调。

  • 输入 / 输出：输入：简化光学系统（单透镜 SL 或 metalens-折射混合 MRL）拍摄的 sRGB 图像（1280×1920），同时携带像差模糊和 veiling glare 复合退化；输出：去除像差与 veiling glare 后的干净 sRGB 图像，以及 latent transmission/glare 双图（可作可解释性输出）。
  • 核心机制：核心创新在于 physics-informed 混合训练范式：源域用像差配对数据（固定 cvg=(1,0) 对应无 veiling glare），目标域用未配对退化图像让 LOTGMP 自监督预测 cvg，两域损失以权重 p=0.3 混合（Lgen = p·LS + (1−p)·LT）。VGIM 将预测的 latent maps 通过 Conv+Element-wise Mul/Add 注入到扩散特征流，镜像了前向退化公式 Ide = Ic⊗K·T + Ig。VGCM 在 DeVeiler 中以相同的 ĉvg 执行逆调制，可逆性约束强迫网络学到有物理意义的参数化而非统计关联，消除了 domain-gap 导致的伪影。
  • 训练 / 评价：源域：DIV2K 重投影配对数据（SL 170 对、MRL 125 对）；目标域：Screen-Compound（带 GT，42/25 测试对）+ Realworld-Compound（无 GT，51/11 测试）；额外用 Flickr2K 500 张生成合成对。Screen-Compound 用 PSNR/SSIM/LPIPS 全参考评估，DeVeiler 在 SL 上达到 PSNR 22.38 dB / SSIM 0.729，超过次优对手 SwinIR+Flare7K++ 约 0.71 dB，LPIPS 改善约 12%；Realworld-Compound 无参考用 CLIPIQA/Q-Align/NIQE 评估。风险：合成配对数据来自 VeilGen 本身，闭环偏差无法由 GT 检验；Realworld 仅 11−51 张测试图，统计置信度有限。
  • 读法：重点审查 reversibility constraint 的有效性（Tab. 5 ablation）：直接把 VeilGen 的 latent maps 传给 DeVeiler 效果很差，说明可逆约束是关键而非 latent maps 本身——这一点决定了整个 physics-informed 框架的立论是否成立。

4. 创新点

首次将「学习 latent optical transmission/glare 双图」与「生成模型蒸馏 + 可逆约束」结合，在无真实配对数据情境下同时解决数据合成与物理可解释恢复，超越了单独 CAC 或去雾模型在复合光学退化上的能力边界。

5. 优点与不足

优点：物理驱动的双图预测赋予可解释性，VeilGen 生成的数据质量高于简化 2D 合成模型；在两种不同光学系统（SL/MRL）上均达到 SOTA，延迟仅 0.387 s（A100）。不足：三阶段训练流程复杂，VeilGen 采用 SD v2-1 扩散模型，推理代价依然高（训练期需 66 s/图），数据量极小（42/25 张 GT 测试对），很难判断泛化到其他简化光学系统的能力；veiling glare 评估完全依赖 SL/MRL 自建数据集，无公开标准 benchmark。

6. 改进方向

1. 将 LOTGMP 直接集成到推理路径、去掉蒸馏中间步骤，以端到端 flow-matching 替代多步 DDPM 生成，显著降低推理延迟。2. 在 metalens 或手机微摄模块中构建更大规模的真实配对 benchmark（利用 iso-chart 或积分球辅助采集 GT），以验证模型在不同涂层工艺下的泛化能力。

053

PhaSR: Generalized Image Shadow Removal with Physically Aligned Priors

Chia-Ming Lee, Yu-Fan Lin, Yu-Jou Hsiao, Jin-Hui Jiang, et al. (6 authors)

CVF · PDF · arXiv · Supp

Low-lightRestoration

1. 要解决什么问题

阴影去除在多光源/间接照明（ambient lighting）场景下比单光源直射阴影困难得多：多个重叠光源产生的漫射阴影不再有明确的几何边界，颜色偏移与材质固有暗度难以区分，现有方法在 ISTD 等单光源 benchmark 上虽表现不错，但在 Ambient6K 等多光源室内场景上大幅退化（如 OmniSR SSIM=0.826 vs PhaSR 0.834）。问题核心在于几何先验（响应局部光-几何关系）和语义先验（跨照明稳定的材质特征）存在固有模态冲突——在均匀光照区域几何先验引入噪声，而语义先验在阴影边界处过度平滑，导致颜色失真和边界模糊。

2. Motivation · 动机与启发

PhaSR: Generalized Image Shadow Removal with Physically Aligned Priors motivation figure
中间层特征可视化：OmniSR/DenseSR 在 bottleneck 丢失阴影定位能力，PhaSR 精确保留 [page 2 Fig.2]

多光源 ambient lighting 场景下，几何先验（深度/法向）和语义先验（DINO-v2 embedding）天然携带相互冲突的信号：几何先验对局部光-几何关系敏感，在均匀光照区引入噪声；语义先验跨照明稳定，但在阴影边界处过度平滑。作者的关键洞察是：不需要选择其一，而是用差分注意力 Arect = Asem − λ·Ageo 显式仲裁——在真实几何边界处几何注意力高、修正语义不过平滑；在均匀区域几何噪声被压制、语义稳定性主导。同时，大多数颜色偏移可由闭式 Gray-world + log Retinex 分解在前处理阶段无参消除，大幅降低后续注意力模块需要处理的色偏负担。

3. Method overview

PhaSR: Generalized Image Shadow Removal with Physically Aligned Priors method figure
PhaSR 整体架构：PAN 闭式 Retinex 校正输入，Transformer 编解码器通过冻结的 DINO-v2 语义先验和 DepthAnything-v2 几何先验，经 GSRA 差分注意力对齐后恢复无阴影图像 [page 3 Fig.3]

PhaSR 通过双级物理对齐完成阴影去除。第一级（全局）：Physically Aligned Normalization（PAN）是一个无参数的闭式预处理模块，对输入依次执行 Gray-world 颜色归一化、log 域 Retinex 分解（logI = logR + logS）、动态范围重组，压制色偏而保留反射率线索，消除由有色光源引起的 chromatic bias。第二级（局部）：Transformer 编解码器（TEB/TDB）在编码阶段注入冻结 DINO-v2 语义嵌入，在 bottleneck 处注入 DepthAnything-v2 几何先验（深度图+法向图），通过 Geometric-Semantic Rectification Attention（GSRA）以差分注意力 Arect = Asem − λ·Ageo 对二者对齐，λ 可学习地平衡模态强度。

  • 输入 / 输出：输入：sRGB 图像（无需显式阴影掩码），以及由冻结 DINO-v2（语义特征）和 DepthAnything-v2（深度+法向图）提取的先验；输出：去除阴影、消除色偏后的 sRGB 图像。
  • 核心机制：GSRA 是核心机制：以共享查询 Qinput 分别对几何流（Finput + αgeo·Fgeo）和语义流（Finput + αsem·Fsem）生成 Kgeo/Vgeo 和 Ksem/Vsem，计算各自注意力图 Ageo、Asem，然后用差分操作 Arect = Asem − λ·Ageo 令语义注意力被几何注意力修正——在真实照明边界处几何注意力高、λ 让语义不过度平滑；在均匀光照区域几何噪声被压制，语义稳定性主导。输出 Foutput = Concat(Arect·Vgeo, Arect·Vsem)。PAN 在不需要任何训练参数的前提下能将现有骨架（OmniSR 等）PSNR 提升 0.15–0.34 dB。
  • 训练 / 评价：评估数据集：ISTD（PSNR 30.73 dB，SSIM 0.960）、ISTD+ (34.48/0.960)、INS (30.38/0.961)、WSRD+（28.44/0.842，SOTA）、Ambient6K（23.32/0.834，SOTA）；监督损失为 Charbonnier loss + SSIM loss 加权组合；训练采用 AdamW、batch=9、1400 epoch、初始 lr 2×10⁻⁴ cosine annealing、特征通道 C=32。风险：在 Ambient6K 多光源场景局部失败案例存在（Fig.12），当阴影与复杂纹理或高光交叠时出现边界伪影；GSRA 依赖两个冻结大模型（DINO-v2 + DepthAnything-v2）的特征质量，对模糊深度估计场景的鲁棒性未被充分验证。
  • 读法：重点看 Tab.1 Ambient6K 一列：PhaSR 在多光源场景（最难泛化点）从 OmniSR 23.01/0.830 提升到 23.32/0.834，是否在复杂室内间接照明场景中真正超越了扩散模型（StableShadowDiffusion 此列无结果）——同时查 Fig.12 失败案例，判断 GSRA 对极端色温偏移的处理边界。

4. 创新点

将 log-domain Gray-world + Retinex 闭式分解作为无参数预处理（PAN），与跨模态差分注意力（GSRA）结合，在无掩码条件下同时处理单光源直射阴影和多光源 ambient lighting 场景，这种物理对齐思路在阴影去除中是新颖的。

5. 优点与不足

优点：PAN 无需训练参数，可即插即用于已有骨架；GSRA 不依赖阴影掩码，泛化到 ambient lighting 场景；在 WSRD+ 和 Ambient6K 上均达到新 SOTA（28.44 dB）。不足：依赖两个大型预训练模型（DINO-v2 + DepthAnything-v2）导致内存和推理开销显著增加；在 ISTD 上（30.73 dB）相比 DenseSR（30.64）仅微幅提升，说明对标准单光源场景的增益有限；GSRA 的可学习 λ 在快速场景（强烈侧光+复杂几何）中的行为缺乏分析。

6. 改进方向

1. 将 PAN 的 Gray-world 归一化替换为 CAT16 色适应变换，在已知光源色温时（如 AWB 输出）可获得更精确的色偏校正，减少后续 GSRA 的色差对齐负担。2. 探索将深度估计置信度图直接注入 GSRA 的 λ 权重，在低置信度深度区域降低几何先验权重，改善对模糊或无纹理平面的阴影边界恢复。

054

UCMNet: Uncertainty-Aware Context Memory Network for Under-Display Camera Image Restoration

Daehyun Kim, Youngmin Kim, Yoon Ju Oh, Tae Hyun Kim

CVF · PDF · arXiv · Supp

RAW/ISPLow-lightRestoration

1. 要解决什么问题

UDC（under-display camera）将 CMOS 传感器置于 OLED 显示层之下，光线穿过多层像素阵列时产生衍射（diffraction）、散射（scattering）和内反射，导致透过率降低、模糊、噪声和 flare 叠加，并且这些退化在镜头中心与边缘之间以及不同面板类型间呈现高度非均一的空间变化特性（spatially varying）。PSF 建模和频率分离方法（如 FSI、BNUDC）能恢复低频结构和整体色彩一致性，但对图像中退化程度不一的区域采用统一处理，无法有效还原高频细节。关键障碍在于如何用轻量化网络定量区分高不确定性区域（强衍射/散射）与低不确定性区域，并针对前者提供更强的高频恢复监督。

2. Motivation · 动机与启发

UCMNet: Uncertainty-Aware Context Memory Network for Under-Display Camera Image Restoration motivation figure
UCMNet 在 POLED/TOLED 上的 PSNR-SSIM 综合对比 [page 1 Fig.1]

现有 UDC 恢复方法将所有像素一视同仁地施加同等恢复力度，但 OLED 衍射/散射本质上是空间非均一的——镜头中心与边缘、不同面板型号之间退化程度差异显著。作者的核心观察是：如果能在逐像素尺度上定量估计「退化有多严重」，就可以将恢复资源（高频上下文特征）集中分配给真正高不确定性区域，避免对低退化区域的过度平滑。这一「先量化不确定性、再定向增强」的思路直接催生了 HF-UDL 损失和 Memory/Context Bank 检索机制的联合设计。

3. Method overview

UCMNet: Uncertainty-Aware Context Memory Network for Under-Display Camera Image Restoration method figure
UCMNet 架构：U 形编解码器，编码块使用 FFT/IFFT 驱动的 FCM，解码块额外嵌入 UPT 块——Memory/Context Bank 按不确定性图检索高频上下文特征 [page 3 Fig.3]

UCMNet 是 U 形编解码架构（encoder-decoder）。编码块利用 Frequency Convolution Module（FCM）——在 FFT/IFFT 频域提取振幅/相位特征，结合 NAFBlock 风格的 Simplified Channel Attention（SCA）——强化频域特征提取。解码块在 FCM 之上叠加 Uncertainty-Prior Transformer（UPT），核心是用 High-Frequency Uncertainty-Driven Loss（HF-UDL）学习每像素不确定性估计，再用不确定性图在 Memory Bank M 中检索匹配 Context Bank C 中的高频上下文特征，通过垂直-水平方向分解的交叉注意力（directional cross-attention）将检索到的上下文融入特征流，最后经 Vanilla Transformer 通道自注意力整合全局一致性。

  • 输入 / 输出：输入：UDC 退化 sRGB 图像（POLED/TOLED 传感器，公开 benchmark 分辨率约 1080p）；输出：去衍射、去噪、去模糊后的还原 sRGB 图像。
  • 核心机制：HF-UDL 是关键设计：在标准 UDL（exp(−s)‖Î−Igt‖₁ + 2s）基础上，用 Laplacian 算子 Δ 提取高频分量后再施加不确定性加权（LHF-UDL = exp(−s)‖Δ(Î)−Δ(Igt)‖ + 2s），迫使模型在衍射强区域预测更大不确定性 s，集中监督高频结构恢复。UPT 中 Memory Bank M ∈ ℝ^{N×C} 存储不确定性模式原型，Context Bank C ∈ ℝ^{N×C} 存储对应高频补偿特征，检索权重由余弦相似度 softmax 给出，实现局部自适应上下文增强，而非全局均一处理。
  • 训练 / 评价：评估数据集：POLED-Test（PSNR 33.81 dB / SSIM 0.9625 / LPIPS 0.1718 / DISTS 0.1440）、TOLED-Test（38.37 / 0.9802 / 0.0933 / 0.0897）以及 SYNTH；参数量仅 3.2M（比 BNUDC 4.6M 少 30%），FLOPs 151.13G（比 BNUDC 496.70G 少约 70%），在 POLED/TOLED 均达到 SOTA 且效率领先。风险：PSNR 指标对色彩准确性不敏感，衍射引起的色散（chromatic aberration）是否被修复未用 ΔE 量化；Memory/Context Banks 的容量 N 是超参数，对不同 OLED 面板类型的迁移能力（POLED→TOLED→新面板）未被系统评估。
  • 读法：对照 Tab.1/Tab.2 看 FSIICCV 2023（5.3M 参数）和 BNUDCCVPR 2022（4.6M 参数）的 PSNR 差异：UCMNet 用更少参数（3.2M）超越了它们，但 LPIPS 改善幅度（~0.02）比 PSNR 改善（~0.67 dB POLED）更小，说明感知质量提升有限——需结合 Fig.8 不确定性图可视化判断 UPT 是否真正对准了衍射最严重的区域。

4. 创新点

在 UDC 图像恢复中首次引入专为衍射高频退化定制的 HF-UDL 损失，并将基于记忆库的上下文检索机制（Memory+Context Bank）与不确定性先验结合，实现空间自适应高频恢复，在参数量降低 30%、FLOPs 降低约 70% 的前提下达到 SOTA。

5. 优点与不足

优点：轻量化（3.2M 参数）、高效（151G FLOPs）；不确定性估计有物理直觉（衍射越强不确定性越高）；在 POLED/TOLED 双 benchmark 均达 SOTA。不足：Memory/Context Banks 容量 N 固定，面对完全未见的面板类型（尤其是未来折叠屏的复杂衍射特性）时泛化风险较大；HF-UDL 仅对 Laplacian 域高频不确定性建模，未覆盖径向 PSF 的方向性扩散，对大范围径向 blur 区域恢复可能不足；颜色准确性（ΔE/色域偏差）未量化。

6. 改进方向

1. 将 Memory/Context Banks 从固定容量改为基于面板型号动态初始化（利用 PSF 先验聚类），使模型在多面板场景下无需重训即可自适应检索正确的高频上下文。2. 在 HF-UDL 中加入径向权重掩码（以镜头中心为原点），针对 UDC 中心-边缘衍射梯度差异为不确定性估计提供空间先验，改善边缘区域高频细节恢复。

055

UARE: A Unified Vision-Language Model for Image Quality Assessment, Restoration, and Enhancement

Weiqi Li, Xuanyu Zhang, Bin Chen, Jingfen Xie, et al. (10 authors)

CVF · PDF · arXiv · Supp

Low-lightRestoration

1. 要解决什么问题

IQA（图像质量评估）和图像恢复/增强在概念上高度关联——质量评估的语言描述天然包含对退化类型和目标外观的判断，理论上应能指导恢复网络的优化方向——但几乎所有现有工作将二者独立处理，IQA 模型不考虑下游可用性，恢复模型不利用质量上下文。另一难点是在单一模型中同时处理多种退化（去噪/去模糊/去雾/低光增强/超分辨率/混合退化）并保持各子任务性能平衡，现有 all-in-one 方法（PromptIR、FoundIR）未引入质量评估能力，IQA-guided restoration 的有效性尚未被系统研究。

2. Motivation · 动机与启发

UARE: A Unified Vision-Language Model for Image Quality Assessment, Restoration, and Enhancement motivation figure
UARE 支持的三类能力展示：IQA 评分/对比、恢复/增强、评估引导恢复 [page 1 Fig.1]

IQA 与图像恢复在概念上天然相连——质量评估要理解「哪里退化了、退化有多严重」，这恰好是引导恢复方向所需的信息——但几乎所有工作将二者独立对待，评估侧的语义理解从未被显式转化为恢复侧的优化信号。近年 unified multimodal understanding-generation 模型（如 Bagel）的出现提供了技术契机：同一个 MoT 骨架可以同时维护文本理解流和 VAE latent 生成流，使「先理解质量、再执行恢复」的 reason-then-restore 范式在单模型内成为可能。这一观察促使作者探索 IQA 能否通过共享 self-attention 直接提升恢复质量，而非仅作为后处理评分工具。

3. Method overview

UARE: A Unified Vision-Language Model for Image Quality Assessment, Restoration, and Enhancement method figure
UARE 两阶段训练框架：Stage 1 仅训练 Res. Expert（单/多/高阶退化渐进课程），Stage 2 联合微调 IQA Expert + Res. Expert（交错文本-图像数据，rectified-flow + 交叉熵双损失） [page 3 Fig.2]

UARE 基于 Bagel 的 MoT（Mixture-of-Transformers）骨架：IQA Expert 接收文本 token（Text Tokenizer）和图像理解 token（ViT 理解视觉编码器），Res. Expert 接收 VAE latent token（FLUX 的 VAE），两个 Expert 在每个 block 共享 self-attention 以保持跨模态对齐，同时分离 Expert 参数以减少梯度干扰。两阶段训练：Stage 1 仅训练 Res. Expert，采用渐进由易到难课程（9.6B 单退化 → 19.2B 多退化 → 1.3B 高阶退化 token），Stage 2 全模型联合微调（0.4B IQA 文本 token + 4.6B 图像 token），用交错文本-图像数据将 IQA 信号与恢复目标对齐；Stage 2 总目标 Ls2 = LRF + λLAR（λ=0.25），LRF 为 rectified-flow 损失，LAR 为 IQA 自回归交叉熵损失。

  • 输入 / 输出：输入：低质量 sRGB 图像 + 文本指令（如"enhance this image with noise" 或「analyze quality and enhance」）；输出：恢复/增强后的 sRGB 图像（可选同时输出质量分析文本）。支持三种模式：纯 IQA（text out）、纯恢复（image out）、评估引导恢复（text + image out）。
  • 核心机制：核心机制是 IQA-to-restoration 注意力传播：在 assessment-guided 模式中，IQA Expert 先生成质量分析 token，这些 token 留在共享流中；Res. Expert 在更新 VAE latent 时通过共享 self-attention 条件化于质量分析 token，实现「先诊断后修复」的 reason-then-restore 流程。Stage 1 渐进课程是另一关键：base model（Bagel）的生成能力通过 single→multi→high-order 退化序列逐步转换为恢复能力，防止早期多任务混淆。数据构造上采用 FoundIR（含 blur/noise/JPEG/haze/rain/low-light 六类）+ RealESRGAN/APISR 降质流水线 + LSDIR/FoundIR HQ 裁剪（长边 1024）构建多退化训练集。
  • 训练 / 评价：IQA 数据：KONIQ、KADID、PIPAL、SPAQ（评分）、DQ-495K（描述）、DiffIQA（比较）；恢复评估：RealSR（PSNR 21.38 / MUSIQ 69.67 / TOPIQ 0.6796）、DIV2K-Val、FoundIR 9 类多退化子集；SR 任务 PSNR 不及 PASD/SeeSR（~24 dB 级），但感知指标 MUSIQ/MANIQA/TOPIQ 全面超越，LIQE 4.066（RealSR）高于 OSEDiff 4.068 接近，多退化 FoundIR 任务 PSNR 超过 FoundIR 原模型。风险：基于 Bagel + FLUX VAE 的大模型训练使用 64×H20 GPU、耗时约一周，应用成本极高；感知指标（MUSIQ/TOPIQ）高不等于颜色准确，ΔE 未量化；仅在 SR 感知指标上明确优于非生成式方法，而 PSNR 反而低于 StableSR 等专用模型（RealSR 21.38 vs StableSR 23.73），指标体系割裂问题明显。
  • 读法：重点看 Tab.2 FoundIR 多退化比较：UARE 与 FoundIR 原模型在 L+B+N、L+B+J 等组合退化子集上的 PSNR 差异——这是衡量「把 IQA 加入恢复是否真正有益」的核心证据，若 Stage 2 联合微调后 PSNR 反而下降，说明 IQA co-training 对恢复质量的贡献是感知主导而非保真度主导。

4. 创新点

据作者所知首个将 IQA（评分+描述+比较）与图像恢复/增强统一到单一 VLM（MoT 架构）并系统研究 IQA 如何通过共享注意力流提升恢复性能，提出 reason-then-restore 模式；两阶段渐进课程训练使大生成模型的生成能力有效转化为多退化恢复能力。

5. 优点与不足

优点：单模型覆盖 IQA+恢复+评估引导恢复三模式；感知质量指标（MUSIQ/TOPIQ/LIQE）在 SR 任务上达到或超越专用生成式方法（OSEDiff/S3Diff）；多退化场景（FoundIR）表现强。不足：模型体量巨大（基于 Bagel，64×H20 GPU 训练），与轻量化 ISP 管线不兼容；PSNR 在 SR 任务上显著低于非生成式方法（21.38 vs 23.73+），失真-感知权衡偏感知端；颜色保真度（ΔE、色域覆盖）完全未评估，对 ISP/色彩链路价值有限；IQA 提升恢复的贡献幅度（ablation）未被充分量化。

6. 改进方向

1. 引入 ΔE₂₀₀₀ 或 CAM16-UCS 色差作为评估指标，验证 IQA-guided 模式在颜色准确性上相对标准恢复指令的增益，尤其对 AWB 误差场景（色温偏移图像的恢复）进行专项分析。2. 将 Stage 2 的 IQA Expert 输出从自由文本改为结构化退化标签（退化类型+严重度量化），以更直接、梯度可导的方式将质量评估信号注入 Res. Expert，减少因自然语言中间层引入的语义模糊。

5 · 本征图 / 光照 / 重光照 / 反射率

056

ReasonX: MLLM-Guided Intrinsic Image Decomposition

Alara Dirik, Tuanfeng Yang Wang, Duygu Ceylan, Stefanos Zafeiriou, et al. (5 authors)

CVF · PDF · arXiv · Supp

Intrinsic/Relight

1. 要解决什么问题

Diffusion/transformer 型 intrinsic 分解模型（PRISM、Marigold IID Lighting）严重依赖合成渲染数据集（HyperSim、InteriorVerse 等）的配对监督，迁移到野外 RGB 图像时泛化性崩塌。在真实场景中获取像素级 albedo/irradiance/normal/depth 真值代价极高，导致模型在 in-distribution 合成域表现尚可、out-of-distribution 真实图像上 WHDR 偏高。如何利用无标注真实图像改善 intrinsic 分解器的泛化能力，是当前瓶颈。

2. Motivation · 动机与启发

ReasonX: MLLM-Guided Intrinsic Image Decomposition motivation figure
ReasonX 在 Marigold/PRISM 上的 albedo 与 irradiance 分解效果对比 [page 1 Fig.1]

现有 intrinsic 分解模型的瓶颈在于对合成配对数据的强依赖：真实场景逐像素 albedo/irradiance GT 代价极高，导致 sim-to-real 迁移困难。然而 MLLM 天然擅长做相对判断——「哪点更亮」、「哪两点颜色相同」——这类 relational comparison 的正确性可以从对应 intrinsic map 中解析推导，无需任何真实 GT 图。作者的关键洞察是将人类视觉擅长的「相对感知」迁移为 RL 奖励信号：用合成数据 fine-tune 一个 MLLM judge 使其掌握 intrinsic 相对关系，再以该 judge 的一致性打分驱动 GRPO 循环在无标注真实图像上持续改善 base model，从而将 absolute GT 依赖转化为 relative comparison 监督。

3. Method overview

ReasonX: MLLM-Guided Intrinsic Image Decomposition method figure
ReasonX 框架：左侧 MLLM Judge 在合成数据上做 point-pair 相对判断训练，右侧 GRPO 环路用冻结 judge 奖励 G=8 组样本以更新 intrinsic 预测模型 [page 2 Fig.2]

ReasonX 在模型 fine-tuning 协议层引入新监督范式：首先在合成 RGB+GT intrinsic 上微调 InternVL2.5-4B，使其具备逐点对（point-pair）的相对 intrinsic 判断能力（哪个更暗/更远/同色）；然后将冻结的 MLLM Judge 接入 GRPO 循环，对无标注真实图像逐模态采 G=8 组预测样本、计算与 Judge 判断的一致性奖励，并以 KL 惩罚约束策略偏离。核心是把 absolute ground truth 替换为 relational comparison 作为监督信号，本质上是将人类感知中擅长的相对判断迁移为 RL 奖励。

  • 输入 / 输出：输入：单张无标注野外 RGB 图像；输出：多模态 intrinsic 分解结果（albedo、irradiance、surface normals、depth），由 base 模型（PRISM 或 Marigold IID Lighting v1.1）实际预测，ReasonX 负责 fine-tuning 阶段的奖励信号。
  • 核心机制：MLLM Judge 在合成数据上用 pairwise question template 训练（albedo: 「两点颜色相同吗？」/ irradiance: 「哪点更亮？」/ depth: 「哪点更近？」），Ground-truth 答案由对应 intrinsic map 解析推导。GRPO 阶段：向 base model 注入小量 Euler–Maruyama SDE 噪声（σ_t）以产生 G=8 个独立样本，对每样本用 judge 打分得到 group-relative advantage Â，以 PPO-clip 目标 + KL 惩罚（β·DKL(π_θ ‖ π_ref)）更新策略。该设计解决了 intrinsic prediction 高度条件确定性（缺乏探索性）的 RL 应用难点，且无需任何真实 GT intrinsic 图。
  • 训练 / 评价：Fine-tune 数据：10K 张 COCO 训练集无标注 RGB；超参：AdamW lr=1e-5 / cosine 退火 / 梯度裁剪 1.0 / G=8 / SDE 噪声 a=0.7 / T=15 denoising steps / 6× H100 训 3 epochs。评估：IIW albedo → WHDR（PRISM-X: 12.9% vs PRISM 17.2%，降 25%；Marigold-X: 15.2% vs 16.7%，降 9%）；MAW 数据集强度与色度指标；ETH3D depth accuracy 最高提升 46%；NYU-v2/DIODE normals angular error。主要风险：GRPO reward 仅为 relational consistency，无法保证 absolute scale 正确；judge 本身在合成→真实域也存在偏移，若 OOD 判断错则奖励信号有噪声。
  • 读法：最该盯住 Table 1 的 WHDR 对比与 PRISM-X 相对基线的相对增益，以及 ETH3D 上 depth 改进的实际 δ₁ 数值——用来判断 relative reward 是否真的比 absolute synthetic supervision 更有信息量，而不只是正则化效果。

4. 创新点

首次将 MLLM 的 pairwise relational judgment 接入 GRPO 奖励循环，在完全无 GT intrinsic 标注的野外图像上改善多模态 intrinsic 分解，且框架对 base 模型无假设（PRISM/Marigold 均适用）。

5. 优点与不足

优点：不需要任何额外真实标注数据，直接用 COCO；在 albedo/depth 两个高度不同的 intrinsic 任务上均有效；judge 训练与 base 模型解耦，可独立替换。不足：SDE 注入噪声的方差 σ_t 和 group size G=8 是关键超参，对不同 base 模型未必通用；MLLM judge 本身在 fine-grained 色差（albedo 接近色之间的相对判断）上准确性未经系统验证；GRPO 在高维 latent 空间的训练稳定性依赖 KL 惩罚，一旦 β 失调仍可能 reward hacking（collapsing 到近常数 intrinsics，作者自己提及此风险）。

6. 改进方向

1. 将 judge 的 relative question 扩展到色温/光谱维度（irradiance 的色调顺序，模拟 AWB 场景下的 illumination chromaticity 排序），可能进一步约束 albedo/illumination 解耦。2. 探索 judge 的不确定性估计（judge confidence < threshold 的点对不参与奖励），降低 OOD judge 错判引入的奖励噪声。

057

VT-Intrinsic: Physics-Based Decomposition of Reflectance and Shading using a Single Visible-Thermal Image Pair

Zeqing Yuan, Mani Ramanagopal, Aswin C. Sankaranarayanan, Srinivasa G. Narasimhan

CVF · PDF · arXiv · Supp

Intrinsic/Relight

1. 要解决什么问题

Intrinsic image decomposition（IID）中 albedo 与 shading 的耦合本质上是一个 ill-posed 问题：反射率低（暗色）的点与光照弱的点在可见图像中表现相同，仅靠 RGB 无法区分。现有 learning-based 方法（IntrinsicDiffusion、RGB↔X 等）依赖合成配对数据集，sim-to-real gap 显著；optimization-based 方法（Retinex 系列）需要强先验（平滑 shading、色度不变）导致细节丢失；JoLHT-Video 虽利用热成像但要求主动光照控制 + 热视频（transient thermal），无法 in-the-wild 使用。

2. Motivation · 动机与启发

VT-Intrinsic: Physics-Based Decomposition of Reflectance and Shading using a Single Visible-Thermal Image Pair motivation figure
Shepard 图形印刷 vs 投影对比，验证可见-热 ordinality 在 albedo/shading 分类上的直觉 [page 3 Fig.2]

IID 的根本困难是 albedo × shading = I_v 这个等式只有一个观测量，暗色低反射点与弱光照点在可见图像中无法区分。作者从物理第一性原理出发找到了第二个约束：opaque 表面上未被反射的可见光会被吸收并转化为热辐射，热相机（8–14 µm LWIR）直接探测的正是「被吸收的能量」。这意味着可见强度与热强度在任意两点之间的「序关系（ordinality）」携带了 albedo 与 shading 的相对大小信息——无论绝对量如何——从而将单帧热图转化为密集 self-supervision 信号，彻底绕开真实 GT 标注和 sim-to-real gap 两大瓶颈。

3. Method overview

VT-Intrinsic: Physics-Based Decomposition of Reflectance and Shading using a Single Visible-Thermal Image Pair method figure
VT-Intrinsic 管线：可见光+热成像输入，经 visible-thermal ordinality 理论推导 edge/point-pair 约束，驱动 Double-DIP 双网络优化输出 albedo 与 shading [page 1 Fig.1]

利用物理定律：不透明表面上，未被反射的可见光被吸收并转换为热量（热成像探测到的 8–14 µm LWIR 辐射）。由此推导出 visible-thermal ordinality 理论：当两点可见强度 I_v 一高一低而热强度 I_t 相反时，高可见点具有更高 albedo；当两者方向一致时，高可见点具有更强 shading。基于此建立 edge loss（分类 albedo/shading dominant edge）和 point-pair hinge loss，再以 Double-DIP（两个随机初始化 conv encoder-decoder 网络，参数化 albedo + shading）做无监督优化，无需任何预训练权重或配对数据。

  • 输入 / 输出：输入：单对对齐的可见光图像（HDR，FLIR Boson + IDS UI-3130 系统 co-located 采集）+ 单帧热成像（FLIR Boson 512×640）；输出：3 通道 albedo 图 + 1 通道 shading 图（grayscale）。不需要标注数据，不需要预训练模型。
  • 核心机制：Ordinality 理论（Prop.1/2/3）：对 Lambertian 场景，albedo × shading = I_v，absorbed heat H = (1-albedo) × shading；当光源含不可见红外分量（如太阳光、白炽灯），H 扩展为 (β - ρ_v) × η，β>1 为局部常数，ordinality 关系保持。Edge loss 利用 I_v 和 I_t 梯度余弦相似度分类边缘后，惩罚 shading dominant 边上的 albedo 梯度反之亦然。Point-pair hinge loss 对 Poisson disk 采样点对按 four-class 标签（S+/S-/A+/A-）施加 margin 约束。Double-DIP 网络分别以随机固定噪声 z_A, z_S 为输入、优化 Θ_A, Θ_S，重建损失 ||ρ̂·η̂ - I_v||_2 联合以上两项 loss。
  • 训练 / 评价：无训练数据集需求（optimization-based，每张图独立优化）。定量评估：JoLHT-Video 数据集（color chart 场景，已知 albedo/shading）+ 100 张 VT-Intrinsic 数据集（自建，FLIR Boson + IDS UI-3130，户外多场景）；ordinality 准确率验证：CUReT 20 种材质 + 实拍场景，专家标注 865 个点对，sunlight 下准确率 98.59%（albedo 99.37%/shading 97.01%），LED 下 96.82%；scale-invariant MSE 为主要定量指标；相比 IntrinsicDiffusion、RGB↔X、CRefNet、Intrinsic-v1/v2 全面超越。主要风险：假设 Lambertian 反射 + 静态场景热平衡 + 单一主照明；金属/高光材质、多光源场景可能破坏 ordinality 推导。
  • 读法：最该盯住 VT-Intrinsic 数据集的 ordinality 准确率（98.95% overall on 1063 labeled pairs）与阴影分离的定性结果——这是该物理推导是否在真实非理想条件下 hold 的直接验证，决定实用边界。

4. 创新点

首次从「未反射光转化为热」这一物理等式中严格推导 visible-thermal ordinality，将单帧热图转化为密集 albedo/shading 自监督信号，无需预训练先验或配对数据即可 in-the-wild 使用。

5. 优点与不足

优点：完全无监督、model-agnostic；物理推导明确，可解释；在阴影分离、材质区分等典型 ISP/relighting 场景效果优于强 learning-based baseline；自建 VT-Intrinsic 数据集可为后续研究提供热-可见光对。不足：热相机对齐标定（homography）精度直接影响 ordinality 分类质量；FLIR Boson 这类 microbolometer 热相机的 NEDT（≤50mK）在弱光或动态场景中信噪比下降；每幅图需独立优化（Double-DIP 迭代收敛），实时性不可能；多光源（彩色 illumination）场景违反单一光谱假设时理论失效。

6. 改进方向

1. 将 ordinality 理论扩展到近红外（NIR）辅助相机，NIR albedo 跨材质变化比可见光小、比热成像分辨率高，可在更广温度范围下补充约束。2. 用 ordinality 约束生成伪 GT 标签来 fine-tune 轻量 deep network（类似 Intrinsic-v2 的 pseudo-label 策略），实现 amortized inference，避免每图单独优化的计算开销。

058

Cycle-Consistent Tuning for Layered Image Decomposition

Zheng Gu, Min Lu, Zhida Sun, Dani Lischinski, et al. (6 authors)

CVF · PDF · arXiv · Supp

Intrinsic/Relight

1. 要解决什么问题

Logo-object 图像分解需要从单张包含 logo 的产品照片中同时提取出「前置 logo 层（fronto-parallel，去除光照畸变）」和「无 logo 的干净底物层」。这两层之间的交互是高度非线性、全局耦合的——透视形变、高光、遮蔽等效果不可用简单 alpha blending 解析，也无法通过局部图块处理解决。现有 asset extraction 方法（AssetDropper 等）只能提取一层或依赖固定 mask 提示，无法同时恢复两层并保持层间一致性。

2. Motivation · 动机与启发

Cycle-Consistent Tuning for Layered Image Decomposition motivation figure
三组 logo-object 分解后跨对象重组的结果展示 [page 1 Fig.1]

Logo-object 分解的核心困难不是缺乏模型能力，而是缺乏有效监督：logo 层与物体层之间的交互高度非线性（透视形变、高光、遮蔽），无法用简单 alpha blending 建模，配对 GT 数据又极难获取。作者的洞察是：分解（decompose）与组合（compose）互为逆操作——若分解正确，重新组合后应还原原图，反之亦然——这一 cycle consistency 天然提供了无需 GT 的双向自监督信号。将 F_D 和 F_C 共享同一 LoRA 参数并以 cycle consistency loss 互相约束，既减少了参数量，又迫使模型学习到物理上自洽的层分解，而非两个独立的 hallucination 网络。

3. Method overview

Cycle-Consistent Tuning for Layered Image Decomposition method figure
Flux-Fill DiT + LoRA 的 in-context 分解框架：masked image/mask/noise 三路输入经 Image Encoder 与 Text Encoder 注入 DiT blocks，LoRA 适配输出 logo 层与干净 object 层 [page 3 Fig.2]

以 FLUX.1-Fill-dev（Diffusion Transformer 型 inpainting 模型）为骨干，通过 LoRA 适配（rank-r）做 in-context image decomposition：三面板网格图（composite | logo | object）作为上下文，masked input + binary mask M + noise latent x + text prompt T 并行输入，DiT blocks 输出同时预测 logo 和 object。关键设计：引入 cycle-consistent tuning——分解模型 F_D 和组合模型 F_C 共享同一 LoRA 参数，用 cycle consistency loss L_cyc 双向约束（I→A',B'→I' ≈ I 且 A,B→I*→A*,B* ≈ A,B），配合 progressive self-improving data loop 迭代扩大训练集。

  • 输入 / 输出：输入：单张含 logo 的产品 RGB 图像 + logo 区域 binary mask；输出：（1）rectified logo 层（近正面视图，去光照变化）+ （2）无 logo 的干净 object 图像。训练中还并行输出 recomposed composite 图用于 cycle loss。
  • 核心机制：Flow matching loss L_rec（Eq.3）训练 DiT 预测速度场；Cycle consistency loss L_cyc（Eq.5）对两路（F_D 先再 F_C / F_C 先再 F_D）的速度场预测做 L2 约束，分解/组合共享同一 LoRA θ=(U,V) 减少参数并稳定训练。Progressive data 三阶段：100 张手工 ⟨I,A,B⟩ 种子数据 → IC-LoRA 生成候选 → Qwen-VL 过滤 → 循环扩展至训练用；cycle model self-improving 阶段进一步用高保真 recomposition 样本迭代更新。
  • 训练 / 评价：种子数据 100 张（GPT-4o 辅助构建），最终训练规模通过迭代生成扩展；基座模型 FLUX.1-Fill-dev；LoRA 轻量适配。评估：1.5K 合成测试样本；VQAScore（文本-图像对齐）+ VLMScore（Qwen/GPT-4o/Gemini 三 VLM 交叉评估，Logo Isolation/Consistency + Object Isolation/Consistency 四维）。本方法 VLMScore 平均 4.22 vs Gemini 4.20 / Flux-Kontext 3.79 / AssetDropper 无 object 层得分。主要风险：VQAScore/VLMScore 均是生成式评估，缺乏像素级客观指标；progressive data 质量依赖 Qwen-VL 过滤器的判断，若过滤器有偏则错误累积；泛化到非 logo 类型（如前景-背景、albedo-lighting 分解）仅有初步验证。
  • 读法：最该盯 Table 1 中 Object 栏的 VQAScore 与 VLMScore 对比——AssetDropper 缺少 object 层恢复是其核心弱点，本方法能同时恢复两层；关键测试是 3D 曲面 + 透明材质场景，观察 logo 层是否真正去除透视/高光。

4. 创新点

将 cycle-consistent training 引入 diffusion-based 图层分解：F_D 和 F_C 共享 LoRA 参数并以 cycle consistency loss 互相约束，使 ill-posed 分解问题在无密集标注时仍能收敛到物理上合理的层。

5. 优点与不足

优点：LoRA 轻量，基于强大 FLUX.1-Fill-dev prior；cycle loss 有效约束分解歧义性；progressive self-improving 降低了人工标注需求。不足：评估全依赖生成式 VLM 评分，无像素级真值（PSNR/SSIM）验证物理正确性；训练数据以商业 logo 为主，迁移到医学/工业纹理等非语义域可信度未知；cycle loss 的收敛对 mask 质量敏感（M 来自外部分割器），mask 误差会传播到 cycle supervision；单 GPU 推理时 Flux DiT 的内存开销较大。

6. 改进方向

1. 将 cycle consistency 扩展到 albedo-irradiance 层分解（类似 Marigold IID 框架），用色域约束（albedo 不应含光照色调偏差）替代纯重建 L2 loss，引入更强 color-science 先验。2. 用像素级 SSIM 或 ΔE 指标替代或补充 VLMScore，对 logo 层的色彩保真度做客观评估，避免 LLM-judge 对色差不敏感的问题。

059

Intrinsic Image Fusion for Multi-View 3D Material Reconstruction

Peter Kocsis, Lukas Höllein, Matthias Nießner

CVF · PDF · Supp

Intrinsic/Relight3D/Photometric

1. 要解决什么问题

多视图室内 3D 材质重建（PBR: albedo + roughness + metallic + emission）面临两重病态性：（1）光照与反射率本质上 scale-invariant 耦合，diffuse/specular/illumination 难以分开；（2）现有 inverse path tracing（FIPT、NeILF++）直接优化全分辨率 BRDF 纹理，Monte-Carlo 路径追踪噪声反向传播导致 baked-in shading 与偏移的 specular 参数。单视图 diffusion-based estimator（RGBX）虽能产生高质量 PBR 预测，但跨视图和单视图内部的预测不一致（scale ambiguity 导致同一物体在不同视图预测出不同绝对反射率）。

2. Motivation · 动机与启发

Intrinsic Image Fusion for Multi-View 3D Material Reconstruction motivation figure
多视图输入 → PBR 纹理（albedo/rough/metal）→ 室内场景重渲染与 relighting [page 1 Fig.1]

diffusion-based 单视图 PBR estimator（如 RGBX）虽然泛化能力强，但对同一场景会采样出多组相互矛盾的分解结果——这种「不一致」并非随机噪声，而是 scale ambiguity 的必然表现：光照与反射率之间存在 scale-invariant 耦合，任何单视图模型都无法消除。这一观察启发了 IIF 的核心设计：与其平均多组候选（magnifying ambiguity），不如用显式的低维仿射参数族对候选分布建模，再通过 distribution matching 从多视图多样本中找到最一致的参数。换言之，将 2D prior 的「概率性」转化为可优化的「参数化不确定性」，并将逆向路径追踪限定在极低维的参数空间内，从根本上压制了 Monte-Carlo 噪声的反向传播。

3. Method overview

Intrinsic Image Fusion for Multi-View 3D Material Reconstruction method figure
IIF 管线：多视图图像 → RGBX K=16 单视图 PBR 预测 → 参数化仿射分布建模 → Distribution Matching 聚合为 3D 一致纹理 → 逆向路径追踪优化 per-object 变换参数 [page 3 Fig.3]

IIF 在 inverse rendering 优化中注入结构化的 2D diffusion prior：对每个观测视图用 RGBX 采 K=16 候选 PBR 分解，以 per-image-per-object 仿射变换（T^a ∈ R^{3×4} for albedo, T^r/T^m ∈ R^{1×2} for roughness/metallic）参数化解歧义，建立 Laplace 分布模型；通过 Distribution Matching Optimization 将多视图单视图 Laplace 分布聚合为 3D 一致 InstantNGP BRDF 网络 f_θ；最后用 inverse path tracing（Mitsuba 3）对 per-object 仿射变换参数 T^a/T^r/T^m 做最终物理约束优化。

  • 输入 / 输出：输入：多视图 LDR RGB 图像 + 重建几何（mesh）；输出：room-scale 的 albedo / roughness / metallic 纹理图 + emission map + camera response function（CRF），支持完整重渲染与 relighting。
  • 核心机制：参数化 BRDF（§3.1）：每 object 每预测的仿射 T 捕获 scale ambiguity；加权混合 K 个预测（softmax logit z_ik）得到分布均值 µ^ref；用预测中位偏差估计 Laplace scale b^ref。Distribution Matching（§3.2）：BRDF 网络 f_θ（InstantNGP）预测 per-texel (µ^pred, b^pred) 的 Laplace 分布，KL 散度 loss L_data 驱使 3D 预测匹配 2D prior 分布；label loss L_label（Eq.8）用 L2 误差权重正则化 assignment logits 防止退化。Inverse Rendering（§3.3）：交替优化 lighting（per-triangle emission）和 BRDF 仿射参数 T，路径追踪用 Mitsuba 3，CRF 按 IRIS 方式联合估计。Distribution matching 约 5 min，完整管线约 55 min（单卡 A6000）。
  • 训练 / 评价：无学习训练（RGBX 为预训练模型，IIF 本身是 test-time optimization）。定量评估：4 个合成场景（Blender 渲染，512×512 多视图）+ ScanNet++ 真实场景（2a1b555966、651dc6b4f1，激光扫描 mesh）。对比：NeILF++、FIPT、IRIS。Albedo PSNR: IIF 20.72 vs IRIS 15.86 / FIPT 10.63 / NeILF++ 13.18；SSIM 0.846 vs 0.735；LPIPS 0.201 vs 0.307；Roughness L2 0.007 vs 0.040；Metallic L2 0.384 vs 2.046。核心风险：K=16 预测的 RGBX 采样成本高；依赖精确 instance segmentation（MaskClustering+SAM）；激光扫描 mesh 上的孔洞和镜面（窗户）需特殊处理（environment map 补全）。
  • 读法：最该盯 Table 2 的 ablation：Per-Texel Mean（PSNR 13.43）→ 加入 parametric model（29.53）→ 加入 distribution matching（30.79），这 16dB 的跳跃直接量化了「从分布中选最优单预测而非平均」的效益，是方法核心主张的直接证据。

4. 创新点

首次将 diffusion-based 单视图 PBR estimator 的 per-sample 不确定性建模为 Laplace 分布，通过 per-object 仿射参数化解 scale ambiguity，再用 KL distribution matching 而非 naive 平均聚合成 3D 一致纹理——将 Monte-Carlo 噪声约束在低维仿射参数空间内，大幅降低 inverse path tracing 的优化难度。

5. 优点与不足

优点：方法论上将 2D diffusion prior 的不确定性正确建模并传播到 3D 优化，而非简单平均；在合成与真实场景均大幅优于 FIPT/NeILF++/IRIS；PBR 输出支持完整 relighting（Cook-Torrance BRDF + emission map）。不足：RGBX K=16 次推理的采样成本是主要瓶颈；instance segmentation 质量（SAM+MaskClustering）直接决定 per-object 仿射参数的粒度，失败时纹理边界错乱；Lambertian + 弱 inter-reflection 假设在镜面/玻璃场景下失效；仅在室内场景验证，室外或大范围场景的 emission map 建模未涉及。

6. 改进方向

1. 将 per-object 仿射变换 T 替换为 per-object CCM（3×3 color correction matrix）+ exposure scalar，与相机色彩校正的物理模型对齐，可直接受益于现有 CCM 估计先验（如 Planckian locus 约束下的 illuminant estimation），改善跨光源场景的 albedo 色调一致性。2. 用更轻量的 consistency metric（如多视图特征距离）替代 K=16 RGBX 完整推理，通过 early stopping 或 importance sampling 减少单帧采样数，在精度与速度间取得更好折中。

060

LumiX: Structured and Coherent Text-to-Intrinsic Generation

Xu Han, Biao Zhang, Xiangjun Tang, Xianzhi Li, et al. (5 authors)

CVF · PDF · arXiv

Intrinsic/RelightGeneration/Edit

1. 要解决什么问题

文本驱动生成单路 RGB 图像已成熟，但同时生成物理一致的 intrinsic map（albedo、irradiance、normal、depth、color）是空白。难点在于：各 map 来自独立噪声采样，只通过共享 text embedding 弱耦合，缺少图像级空间锚点，极易出现 object 在 color map 有、在 normal map 消失的跨 map 不一致问题。对 ISP/渲染管线而言，能从文本直出解耦的 intrinsic map 对合成训练数据、材质编辑具有直接价值。

2. Motivation · 动机与启发

LumiX: Structured and Coherent Text-to-Intrinsic Generation motivation figure
文本驱动联合生成 5 路 intrinsic map（color / albedo / irradiance / depth / normal）示例 [page 1 Fig.1]

现有 T2I 生成模型产出的是单张 RGB 图，无法直接支持材质编辑、渲染或下游 ISP 数据合成等需要解耦 intrinsic 的任务。多路 map 独立生成的核心问题是：各分支各自从不同噪声采样，仅靠共享 text embedding 弱约束，极易出现 object 在 color map 存在、在 normal map 消失的跨通道不一致。LumiX 的设计洞察是：多路 intrinsic map 共享同一场景内容（structure），但在外观属性（albedo vs. shading vs. geometry）上独立——「内容共享、属性独立」这一结构可以用 Q-broadcast（共享 Query = content anchor）+ 独立 K/V（attribute decoupling）精确捕获，无需代价昂贵的 cross-intrinsic attention，同一 checkpoint 也因此自然支持 image-conditioned 分解。

3. Method overview

LumiX: Structured and Coherent Text-to-Intrinsic Generation method figure
LumiX 框架：FLUX backbone 上并行运行 5 路 intrinsic map，Query-Broadcast Attention 将 color map 的 Q 广播至所有分支，Tensor LoRA 对 KV 低秩适配 [page 2 Fig.2]

在 FLUX.1-dev 上 fine-tune，用 Tensor LoRA 替代各 map 独立 LoRA，同时将 color map 的 self-attention query 广播到所有 intrinsic 分支（Query-Broadcast Attention），以 content 共享 + style 独立的机制保证跨 map 空间对齐。推理时 5 路 map 单 forward 联合生成，同一 checkpoint 通过 disentangled timestep sampling 也支持 image-conditioned intrinsic 分解。

  • 输入 / 输出：输入：文本 prompt（或可选条件图像）；输出：5 路像素对齐的 intrinsic map（color、albedo、irradiance、depth、normal）
  • 核心机制：Query-Broadcast Attention：color map 的 Q^(c) 广播给所有分支，各分支保留独立 K/V，实现 content 共享、attribute 独立，计算量仅为 Cross-Intrinsic Attention 的 1/M。Tensor LoRA：将 M×d×M×d 的 LoRA 更新矩阵因式分解为 4 阶张量 A[N,d,R1]、B[N,M,R2]、C[N,d,R1,R2]，参数量接近线性增长而非平方，同时捕获跨 map 关联。Disentangled timestep sampling 为每路 map 分配独立 timestep，使模型可在推理期间将某路 map 置为条件（timestep≈0）而对其余分支去噪。训练数据为 Hypersim ~3K 图，rank=8，4×A100 训练 40 小时。
  • 训练 / 评价：训练集：Hypersim 子集约 3K 图，BLIP-2 自动生成 caption；评测：text-to-intrinsic 用 ImageReward + PickScore 衡量感知质量，Qwen3-VL 评跨 map 一致性（Hypersim 200 张测试图）；intrinsic 分解部分在 ARAP dataset 上零样本评 albedo RMSE/SSIM（0.165/0.753）。风险：训练集仅 3K 图且全为 indoor 渲染场景，对真实室外/复杂材质泛化性未充分验证；用偏好分替代 GT 指标，无法衡量物理绝对误差。
  • 读法：抓住 Table 1 的 Alignment 列：Tensor LoRA + Query-Broadcast Attention 跨 map 对齐分从 2.40（Separate LoRA）跃升至 7.98，而 FLOPs 低于 Fused/Hybrid LoRA——这一对比是方法价值的核心证据。

4. 创新点

将多路 intrinsic map 的空间一致性问题分解为「forward pass 共享 Q」+「LoRA 张量化」两个正交机制，首次在 text-only 条件下稳定联合生成 5 路物理 intrinsic map，同一模型零改动支持 image-conditioned 分解。

5. 优点与不足

优点：Tensor LoRA 参数效率高（133M），训练仅需 3K 图；Query-Broadcast Attention 无需额外 cross-attention 开销即可对齐。不足：训练数据规模极小（3K vs. 通常百万级），性能上限受限；评测依赖 VLM 偏好分而非物理 GT，无法量化 albedo/irradiance 的绝对误差；不生成 roughness/metallic 等完整 PBR 参数，材质控制不完整；irradiance 是合成值而非真实光照测量。

6. 改进方向

1. 引入更大规模渲染数据集（如 RealDreamer 或 Objaverse-XL 渲染集）并加入 OLAT 数据做 irradiance GT 对齐，解决小数据上限问题。2. 将 Tensor LoRA 扩展到完整 PBR（roughness、metallic），并增加 ΔE-based 的 albedo 精度评测，替代纯偏好分评估。

061

FlowPortal: Residual-Corrected Flow for Training-Free Video Relighting and Background Replacement

Wenshuo Gao, Junyi Fan, Jiangyue Zeng, Shuai Yang

CVF · PDF · arXiv · Supp

Intrinsic/Relight

1. 要解决什么问题

视频 relighting + 背景替换要求同时满足：前景结构/动态保真、时序一致、新光照自然、低延时。现有 training-free 方法（AnyPortal、Light-A-Video）逐帧调用 IC-Light，无法避免帧间不连续；training-based 方法（Lumen、TC-Light）需要 paired video 数据且光照多样性受限。核心矛盾是缺少一个统一框架，能在不训练的情况下保证「不改条件 → 原样重建」（Stability under Identity）和「改条件 → 对应输出变化」（Directional Change）这两个 Condition Consistency 性质同时成立。

2. Motivation · 动机与启发

FlowPortal: Residual-Corrected Flow for Training-Free Video Relighting and Background Replacement motivation figure
FlowPortal teaser：输入视频经 relighting 后前景保结构、背景自然替换的对比示例 [page 1 Fig.1]

视频 relighting 的根本难题在于缺少一个统一框架同时保证时序一致性与光照可控性：逐帧调用 image relighting（AnyPortal、Light-A-Video）天然导致帧间光照跳变，而 training-based 方法又需要昂贵的 paired 视频数据且光照多样性受限。FlowPortal 的出发点是一个简洁的物理原则——Condition Consistency：当输入条件不变时，输出应完全还原原视频（Stability under Identity）；只有条件改变时，输出才对应改变（Directional Change）。这一原则在 flow-based 生成模型中有严格的数学对应：source 速度场与理想还原路径的差（Residual Velocity）恰好能修正 target 轨迹，使两条轨迹从同一噪声点出发并在 source=target 时精确重合——无需 inversion，training-free。

3. Method overview

FlowPortal: Residual-Corrected Flow for Training-Free Video Relighting and Background Replacement method figure
Residual-Corrected Flow 三步图解：Naive Edit Flow 产生 z0_src ≠ z0 的 identity 偏移；Consistency Residual Velocity 修正还原路径；最终 Residual-Corrected Flow 将 Vt_tar + Vt_res 合并实现保结构换光照 [page 3 Fig.2]

在 Wan2.1 视频 diffusion 基础上，构造 training-free 的 Residual-Corrected Flow：先计算「理想还原速度 V0 与实际 source 预测速度 Vt_src 的差」作为 Consistency Residual Velocity Vt_res，再将其叠加到 target 条件速度 Vt_tar 上，从同一 Gaussian 噪声出发同步推演 source 和 target 两条轨迹，保证 source 等价于原始输入。Decoupled Condition Design 把光照无关（结构 ControlNet）和光照相关（IC-Light 参考帧 + 文字提示）分离输入，High-Frequency Transfer 在频域注入 source 高频细节，Masked 变体用前景 mask 隔离背景纯生成。

  • 输入 / 输出：输入：原始视频帧序列 + 文字描述（source prompt + target prompt，仅背景/光照描述不同）；输出：前景保真、背景替换、光照重新匹配后的新视频
  • 核心机制：Residual-Corrected Flow 核心公式：Vt_edit = Vt_tar + Vt_res，其中 Vt_res = V0 − Vt_src，V0 = (z0 − ε)/(1−0) 是从噪声到原始视频的理想直线路径。当 source=target 时 Vt_res 恰好补偿 Vt_tar，满足 Stability under Identity。Consistency Residual Velocity 与 source 条件固定绑定，可每 r 步复用一次（r=10），总步数从 2T 降至 1.1T（T=50）。High-Frequency Transfer 用 Fourier 分解，将 source 视频高频分量按 λ=0.5 注入 target 去噪过程，前景 mask 通过 BiRefNet+MatAnyone 生成。
  • 训练 / 评价：无需训练，基于 Wan2.1 预训练权重 + IC-Light（IC-Light 只用于生成参考帧）。测试集：69 条真实视频（54 人像 + 8 动物 + 7 其他），自建。指标：CLIP-T（提示对齐 0.3271 最优）、CLIP-I（时序平滑 0.9828 最优）、前景结构/运动/细节/身份一致性，用户偏好（User-Lit 54.2%，User-Pmt 57.4%）。风险：仍依赖 IC-Light 生成第一帧条件，IC-Light 本身的泛化弱点（复杂场景/非人像）未被修复；背景生成质量受 Wan2.1 本身限制。
  • 读法：盯 Table 3 Ablation：去掉 Residual-Corrected Flow 后 identity consistency 从 0.7328 骤降至 0.4153，这个单一消融最清晰证明该机制对结构保持的贡献；同时看运行时间 3–5 min vs. AnyPortal/Light-A-Video 的 20–30 min，效率增益主要来自 Vt_res 复用。

4. 创新点

将 flow-based 视频生成模型转化为 training-free 编辑模型的核心推导——Consistency Residual Velocity 严格保证了 Stability under Identity，无需反演（inversion-free），同时比 FlowEdit 多了 mask 空间分区、Decoupled Condition、Vt_res 复用加速三项工程改进。

5. 优点与不足

优点：全程无需训练，3–5 分钟完成编辑（1×A100），时序一致性和用户偏好均为 SOTA。不足：前景条件帧仍强依赖 IC-Light，非人像 relighting 质量受限；自建测试集 69 条不算大，且无公开基准可横向比较光照物理准确度；Residual Velocity 复用（r=10）在大幅光照突变时可能引入欠校正。

6. 改进方向

1. 替换 IC-Light 参考帧生成环节为能处理任意场景的 image relighting 模型（如 GeoRelight 或 DiLightNet），解除对 IC-Light 的强依赖。2. 构建含时序 OLAT ground-truth 的标准视频 relighting benchmark，提供光照 angular error 和颜色保真 ΔE 等物理指标，替代目前纯感知指标。

062

GeoRelight: Learning Joint Geometrical Relighting and Reconstruction with Flexible Multi-Modal Diffusion Transformers

Yuxuan Xue, Ruofan Liang, Egor Zakharov, Timur Bagautdinov, et al. (9 authors)

CVF · PDF · arXiv · Supp

Intrinsic/Relight3D/Photometric

1. 要解决什么问题

单图人像 relighting 中，阴影、高光、几何细节的正确渲染必须以精确 3D 形状为前提，但现有方法要么用顺序管线（先估 intrinsic 再渲染）导致误差累积，要么完全绕开几何（端到端像素映射）而失去物理一致性。核心矛盾：3D 几何估计和 relighting 是相互受益的任务（几何→阴影正确；shading→shape-from-shading 改善几何），却被分开处理。对高保真虚拟形象、电影制作中的光照编辑至关重要。

2. Motivation · 动机与启发

GeoRelight: Learning Joint Geometrical Relighting and Reconstruction with Flexible Multi-Modal Diffusion Transformers motivation figure
单图输入 → 联合生成 relit 图像 + albedo + normal + 3D 重建的多模态结果展示 [page 1 Fig.1]

当前单图人像 relighting 方法面临一个系统性缺陷：顺序管线（先估 intrinsic → 再渲染）中几何误差不可逆地传播到最终结果，而端到端像素映射又完全放弃了 3D 几何约束、无法生成物理合理的阴影与高光。GeoRelight 的核心洞察是：relighting 与 3D 几何重建并非独立任务，而是双向增益——精确几何支撑正确 cast shadow 的生成，而图像中的 shading 分布反过来提供 shape-from-shading 线索改善几何估计。这一互利结构天然适合「联合去噪」：在同一 DiT forward pass 中让 relit image 与 3D geometry 的噪声相互流通，误差不再单向累积，而是在每步去噪中相互校正。

3. Method overview

GeoRelight: Learning Joint Geometrical Relighting and Reconstruction with Flexible Multi-Modal Diffusion Transformers method figure
GeoRelight Pipeline：输入图像 + 环境光 HDR 经 Encoder 送入 Multi-Modal DiT，modality-as-time 设计同步去噪 albedo/normal/iNOD/relit，cswitch 控制哪路为条件哪路为目标 [page 4 Fig.3]

GeoRelight 用一个统一的 Multi-Modal Diffusion Transformer（基于 DiffusionRenderer-Cosmos7B 初始化）同时去噪 5 路 modality：relit 图像、albedo、surface normal、iNOD 几何、segmentation mask。关键设计：将 DiT 的 temporal 维度复用为 modality 维度（modality-as-time），共享 2D RoPE 保证跨 modality 空间对应；iNOD 新表示解决 3D 深度图 VAE 编码失真；strategic mixed-data training 用合成数据预训练的模型为真实数据自动标注 pseudo-label。

  • 输入 / 输出：输入：单张 RGB 人像图 + HDR 环境光图（Reinhard tonemapped panorama + log-intensity map + directional map 三路编码为 zE）；输出：relit 图像 + albedo + surface normal + iNOD 3D 几何（可逆投影重建 3D 点云）
  • 核心机制：iNOD（isotropic Normalized Orthographic Depth）：将 3D 点云按最长边等比例缩放到 [-1,1] bounding box，再做正交投影取 z 值，生成 VAE 友好的 1-DoF 2D 图，无相机内参依赖，且 3D 形状可直接逆投影重建（对比：标准 depth map 归一化导致各向异性形变，point map 经 VAE 压缩噪声过大）。cswitch 二值 mask 控制各 modality 是 clear condition（1）还是 noisy target（0），推理时可任意组合已知 modality 引导生成。Strategic mixed-data training：合成数据（完整标注）→ 预训练 30K steps，用该模型为 light stage 和 in-the-wild 数据自动标注 pseudo intrinsics，再 mixed 训练 10K steps（Intrinsic→Relit 任务用真实图作 relit target，无需 GT relit pair）。
  • 训练 / 评价：训练：合成数据集（自建）+ light stage dome 数据（paired OLAT）+ in-the-wild 数据（无 paired relit）。混训 batch 128，分辨率 832×1280，共 5 天 64×A100。评测：合成集 42 人 + light stage 50 人 + HumanOLAT；relighting PSNR 27.22（vs. DiffusionRenderer 19.28、NeuralGaffer 18.84）；normal angular error 9.10°；Chamfer distance geometry 0.58（vs. 1.00 无几何基线）。风险：以 portrait 为主，通用物体 relighting 能力未系统验证；7B DiT 推理需 17.5 GB VRAM + 35 s/图，移动端部署受限。
  • 读法：读 Table 2 Ablation 的「w/o Geometry」对比：去掉几何分支后 PSNR 从 27.49 降至 21.19，这个 6dB 差距直接量化了联合几何建模对 relighting 的贡献；再看 Fig.5(b)「relighting 提供 shape-from-shading」反证——两个方向的相互增益是核心 thesis。

4. 创新点

首次在统一 DiT 框架内同步去噪 relighting 和 3D 几何，提出 iNOD 解决 VAE 不友好的几何表示问题，并用 modality-as-time + cswitch 机制实现任意 modality 子集的灵活条件生成，relighting PSNR 比顺序管线方法高约 8 dB。

5. 优点与不足

优点：几何与外观联合去噪解决误差累积，iNOD 无相机内参依赖，auto-labeling 策略规避 real-world 标注成本。不足：仅限人像（human-centric），通用场景或物体扩展未展示；7B 参数推理开销大；auto-label 质量受合成域迁移限制（light stage 存在 dark bias 问题，需 in-the-wild 数据纠正）；HDR 环境光仍需已知 GT，实际应用往往没有。

6. 改进方向

1. 将 iNOD 推广到任意类别物体（建筑、车辆，D:H 比差异大），构建更丰富的合成+真实多类别数据集，验证通用性。2. 增加自动光照估计前端（从单图估 HDR），构建「单图输入 → 自由光照控制」的端到端 pipeline，消除对已知 HDR 环境光的依赖。

063

Learning Latent Proxies for Controllable Single-Image Relighting

Haoze Zheng, Zihao Wang, Xianfeng Wu, Yajing Bai, et al. (8 authors)

CVF · PDF · arXiv · Supp

Intrinsic/Relight

1. 要解决什么问题

单图 relighting 对方向、强度、色温（CCT）的精细控制长期缺失：全 G-buffer 管线需要昂贵的 dense PBR 监督且 stage 间误差累积，纯 latent diffusion（IC-Light、LBM）缺乏物理约束导致大幅光照变化时几何漂移、albedo 污染。关键洞察：精确 relighting 不需要完整 intrinsic 重建，只需指向「哪些像素会随光照变化」的稀疏物理线索。对 ISP 色彩链路的意义在于：CCT 控制实质等价于光源约束下的 white balance 修正，精确可控的 relighting 可为 AWB 合成数据提供可靠的 ground truth。

2. Motivation · 动机与启发

Learning Latent Proxies for Controllable Single-Image Relighting motivation figure
LightCtrl 对方向/强度/CCT 的精细连续控制：单图输入下不同参数组合的 relighting 效果 [page 1 Fig.1]

现有 relighting 方法陷入两个极端：完整 G-buffer 管线（Neural LightRig 等）能提供物理约束，但依赖昂贵的 dense PBR 监督且 stage 间误差累积；纯 latent diffusion（IC-Light、LBM）泛化性好，但缺乏物理锚点，大幅光照变化时几何漂移、albedo 污染严重，对方向/强度/CCT 的精细连续控制基本失效。LightCtrl 的核心洞察是：精确 relighting 不需要完整 intrinsic 重建——只需指向「哪些像素对光照敏感、材质如何响应」的稀疏物理线索，就足以将 diffusion 模型约束到正确的照明轨迹上。这一「最小物理先验」策略将标注成本大幅降低，同时 DPO post-training 从 preference 而非 dense GT 角度进一步对齐 proxy 的物理一致性。

3. Method overview

Learning Latent Proxies for Controllable Single-Image Relighting method figure
LightCtrl 框架：Implicit PBR Encoder 生成 latent proxy token tphys，Lighting Mask Predictor 产生空间注意力 mask，两者与 timg/tlight 拼接后条件化 UNet denoiser；右侧展示 3 种 Δℓ 下的 relighting 输出 [page 3 Fig.2]

LightCtrl 在 Stable Diffusion backbone 基础上增加三个轻量模块：① Implicit PBR Encoder（few-shot latent proxy，输出 albedo/normals/roughness/metallicity 压缩为 1×768 token tphys）；② Lighting-aware Mask Predictor（给出每像素光照变化敏感度 soft mask，加权去噪 loss）；③ DPO post-training（用少量 PBR GT 对 Encoder 做 preference optimization，提升物理一致性）。同时构建 ScaLight 数据集（30万+物体，100万+渲染图，含完整 camera-light metadata）。

  • 输入 / 输出：输入：source 图像 xℓs + 相对光照变化 Δℓ（编码方向/强度/CCT 差值）；输出：目标光照下的 relit 图像 x̂ℓt
  • 核心机制：Implicit PBR Encoder Eϕ 从 source 图以 few-shot 方式预测 compact proxy B̂={a,n,r,m}∈ℝH×W×8，训练 loss Lproxy = λa‖a−â‖₁ + λn(1−⟨n,n̂⟩) + λr‖r−r̂‖₁ + λm·BCE(m,m̂)；proxy 空间池化为 tphys∈ℝ¹×⁷⁶⁸ 注入 UNet cross-attention。Mask Predictor 从 (xℓs, Δℓ) 预测 soft mask Mgt，基于线性亮度对数差 + robust 曝光补偿；mask 转为空间权重 W 调制 diffusion loss Ldiff = ‖W⊙(ε−εθ(...))‖²₂。DPO post-training：用 GT PBR 作 preferred，encoder 当前输出作 less-preferred，物理 reward 聚合 albedo L1 + normal 角度偏差 + roughness L1 + metallic BCE，冻结 backbone 只更新 Eϕ。
  • 训练 / 评价：ScaLight：300K+ 物体，1M+ 渲染图，系统扰动方向/强度/色温/位置；scene-level 用 MIIW 数据集。定量指标 RMSE/SSIM/PSNR，在 CCT 变化条件下比 LumiNet RMSE 从 0.139→0.167（场景级），但 PSNR 18.30 vs 17.20，用户偏好 object-level 81.45%、scene-level 55.73%。object-level 对比（Table 3）：full model RMSE 0.053（temperature），vs. IC-Light 0.397、RGB↔X 0.472。风险：对 dense indoor scene 中多光源相互反射的泛化有限（failure analysis 在 Fig.7 展示）；SSIM 偏低反映 SSIM 指标对 sharp shadow 的惩罚而非实际劣化。
  • 读法：重点盯 Table 3 三列对比（Temperature/Position/Energy）的消融：去掉 proxy（w/o proxy）RMSE 0.062→full 0.053，去掉 mask 0.073，去掉 DPO 0.114——DPO 贡献最大，说明 proxy 物理一致性才是精细光照控制的瓶颈，不是模型容量。

4. 创新点

以 few-shot latent proxy（仅 sparse PBR 监督）+ DPO-based physical alignment + lighting-aware spatial mask 三路轻量化设计，在不依赖 dense G-buffer 的前提下实现 CCT/强度/方向的精细连续控制，且配套了专门的 ScaLight 基准（300K+ 物体，完整 camera-light metadata）。

5. 优点与不足

优点：proxy 用稀疏 PBR 监督（few-shot），避免全 G-buffer 管线的高标注成本；DPO 在 frozen backbone 上 fine-tune Encoder，改动轻；ScaLight 可作社区基准。不足：scene-level 仍有伪影（MIIW failure analysis 暴露全局光照传播、相互反射处理不足）；proxy 压缩到单一 1×768 token，空间高频材质细节丢失；训练 backbone 是 SD（UNet），而非更强的 DiT；CCT 控制验证集中度偏合成物体，真实场景泛化存疑。

6. 改进方向

1. 将 proxy encoder 升级为保留空间分辨率的 patch-level token（而非全局 1×768），增强高频材质区域的空间约束，特别有助于金属/镜面高光区域的 relighting。2. 在 ScaLight 中增加 multi-light OLAT 格式的真实物体数据，补充合成数据与真实 BRDF 之间的 domain gap，提升 real-world CCT 控制精度。

064

LumiMotion: Improving Gaussian Relighting with Scene Dynamics

Joanna Kaleta, Piotr Wójcik, Kacper Marzol, Tomasz Trzcinski, et al. (6 authors)

CVF · PDF · Supp

Intrinsic/Relight3D/Photometric

1. 要解决什么问题

基于 Gaussian Splatting 的 inverse rendering 在静态场景下难以消除 shadow baking：当场景无运动时，暗区既可能是低 albedo 材质，也可能是阴影投射，二者在优化时高度耦合，导致 albedo 估计偏暗、relighting 失真。真实场景中光照强、阴影明显时该问题更严重，现有方法（R-3DGS、GI-GS、IR-GS）LPIPS 均显著差于本文。LumiMotion 把动态元素（场景中存在运动的区域）当作监督信号——同一表面在不同时刻受光条件不同，为 material/illumination 解耦提供了更强约束。

2. Motivation · 动机与启发

LumiMotion: Improving Gaussian Relighting with Scene Dynamics motivation figure
动态 vs 静态场景 albedo 估计对比：运动提供隐式多光照约束 [page 1 Fig.1]

现有基于 Gaussian Splatting 的 inverse rendering 几乎都只针对静态场景，而静态场景的根本困境在于：暗区既可能是低 albedo 材质，也可能是投射阴影，两者在单一时刻下完全耦合，优化器无从区分。LumiMotion 的核心洞察来自一个现实观察——只要场景中存在运动物体，同一表面就会在不同时刻出现在不同光照条件下（阴影位置随时间移动），这等价于隐式的 multi-illumination 约束，无需专门搭建 OLAT 灯箱。把本来被视为干扰的场景动态转化为 inverse rendering 的监督信号，是这篇工作的核心设计动机。

3. Method overview

LumiMotion: Improving Gaussian Relighting with Scene Dynamics method figure
LumiMotion 两阶段框架：Stage 1 用 MLP 预测 ∆µ/∆r/∆c 并以 Binary Concrete P̃ 分离静态/动态 Gaussian；Stage 2 冻结几何，联合优化 albedo ρ、roughness α 与 Lenv，经 2DGS ray tracing 计算 visibility V 与 indirect light。 [page 4 Fig.2]

两阶段流程：Stage 1 在经典空间中学习动态 2D Gaussian Splatting，用 MLP 预测 ∆µ（位移）、∆r（旋转）、∆c（颜色变化），并引入 Binary Concrete 变量 P̃ 软分配每个 Gaussian 的静态/动态概率，颜色用乘法模型 c′ = c(1−∆c) 捕捉阴影随时间的移动；Stage 2 冻结几何，对每个 Gaussian 优化 albedo ρ（用 Stage 1 正则颜色 c 初始化）和 roughness α，同时估计全局 environment map Lenv，通过 2DGS ray tracing 计算 visibility 和 indirect light，基于 Monte Carlo 分层采样对渲染方程积分后计算 L1 loss。整个方案在模型结构层面创新，核心是把运动作为额外监督消歧 albedo。

  • 输入 / 输出：输入：多视角动态视频序列（每帧一个视角，无需多光照条件，无需已知 OLAT 数据）；输出：每个 2D Gaussian 的 albedo ρ 与 roughness α、场景 environment map Lenv，以及在任意新光照下的 relighting 渲染图。
  • 核心机制：核心机制有三：(1) Fuzzy static-dynamic separation：Binary Concrete 变量 P̃ 以 temperature=0.5 软二值化，静态 Gaussian 的 ∆µ/∆r 不更新，LP = (1/N)Σ|Pi| 惩罚促使 Gaussian 优先保持静态；(2) 乘法颜色模型 c′ = c(1−∆c)：∆c 吸收移动阴影引起的亮度变化，使 canonical color c 趋近于 pseudo-albedo，Stage 2 以此初始化 ρ 大幅减少 shadow baking；(3) Deferred shading + 2DGS ray tracing：rasterization 得 albedo/roughness/normal G-buffer 后，分层采样 Lenv 并用 2DGS ray tracing 计算逐像素 visibility，实现完整渲染方程积分，间接光 Lind 也通过 ray tracing 估计。整体上，动态场景提供了同一表面在多光照条件下的隐式对应，等价于弱监督下的 multi-illumination constraint。
  • 训练 / 评价：训练数据：自建合成 benchmark（5 场景 × 4 光照 = 20 变体，每变体含静态与动态版本）；真实数据用 ENeRF 两段户外多人场景。评价指标：PSNR、SSIM、LPIPS（albedo estimation + relighting 两任务分报）；硬件 NVIDIA RTX 3090，两阶段合计约 1.2 小时/场景。需关注风险：(1) LPIPS 优势显著（平均 −23% albedo / −15% relight），但 PSNR/SSIM 改善幅度更大，可能部分来自合成数据 GT 与自建 benchmark 的分布偏差；(2) 动态场景 relighting 依赖正确法向，法向估计质量上限仍受 2DGS 约束；(3) 相机位姿误差或稀疏相机设置会显著降低方法鲁棒性。
  • 读法：最该盯住 Tab.3 消融——移除 P（static-dynamic separation）后 albedo LPIPS 从 0.058 升至 0.064，移除 ∆c 后升至 0.083，而移除整个 Stage 2 则升至 0.072；这说明颜色通道的动态建模（∆c）对 albedo 去影的贡献甚至比几何分离（P）更大，核心设计成立。同时对照 Fig.7 的视觉验证——有无 separation 时阴影 Gaussian 对 albedo 的污染差异一目了然。

4. 创新点

首个将动态场景运动作为 inverse rendering 监督信号的 Gaussian-based 方法：Binary Concrete 软分离 + 乘法 ∆c 颜色模型，把本来是「干扰」的时序颜色变化转为解耦 albedo 与 shadow 的隐式多光照约束，无需 OLAT 数据即可在自然光照下做高质量材质分解。

5. 优点与不足

优点：(1) 无需 OLAT 或多光照训练数据，仅需普通动态视频，工程门槛低；(2) albedo LPIPS 相对 IR-GS 改善显著（如 Golden Bay→Dam Wall 从 0.082 降至 0.058），shadow removal 视觉效果明确；(3) 新 benchmark 提供 static/dynamic paired GT，填补领域评估空缺。不足：(1) 对相机位姿精度高度敏感，户外稀疏多相机场景（如手持拍摄）可能直接失效；(2) 简单 L1 separation 在复杂动态（衣物褶皱、流体）下会误分类，作者也承认需引入 optical flow 监督；(3) relighting 评估仅在自建 synthetic benchmark 上，泛化到 open-world 真实场景的 PSNR/SSIM 量化仍缺失；(4) 训练成本 1.2h/scene 在需处理大量场景的工业应用中偏高。

6. 改进方向

(1) 引入 optical flow 作为 static-dynamic separation 的强监督（而非纯靠 LP 惩罚），可精确区分真实物体运动与光照诱导颜色变化，减少复杂动态下的误分类伪影。(2) 将 environment map 从全局单一扩展为 spatially-varying emitter（支持室内点光源或多窗户场景），结合 P̃ 的空间先验，可进一步提升室内非均匀光照下的 albedo 估计精度。

065

Relightful Video Portrait Harmonization

Jun Myeong Choi, Jae Shin Yoon, Luchao Qi, Roni Sengupta, et al. (5 authors)

CVF · PDF · Supp

Intrinsic/Relight

1. 要解决什么问题

将前景人像视频合成到新背景时，需要调整前景的色调、阴影和光照强度以与背景匹配（video harmonization）。难点在于两类数据稀缺：真实配对视频（同一表演在不同光照下重录）几乎不可获得；仅用逐帧 image harmonization 生成伪配对数据会引入帧间 flickering 和局部阴影跳变，模型直接学此类数据会产生时域不一致。现有方法（IC-Light、RelightVid、Light-A-Video）均未能同时满足时域一致、身份保留、边界自然、光照表达力四项要求。

2. Motivation · 动机与启发

Relightful Video Portrait Harmonization motivation figure
HarmoVid 输入三元组（视频/mask/背景）到 harmonized 输出的总体示意 [page 1 Fig.1]

视频 harmonization 的核心数据困境是：真实配对数据（同一演员在不同光照下重复表演）在工业规模上几乎不可能获取；而把 image harmonization 模型逐帧应用于视频虽可快速构造伪配对数据，却会引入全局色调跳变和局部阴影抖动（flickering），直接用这批数据训练会让模型习得时域不一致性。HarmoVid 的设计动机是：与其抛弃这批有 flickering 的数据，不如先专门训练一个 Lighting Deflickering Network 把噪声清洗掉，再以净化后的数据训练最终 harmonization 模型——用数据精炼级联替代对真实标注数据的依赖。

3. Method overview

Relightful Video Portrait Harmonization method figure
HarmoVid 三路输入到去噪框架总览 [page 4 Fig.4]

HarmoVid 是三阶段训练框架：第一阶段用预训练 image harmonization 模型 HarmoIm（Relightful Harmonization，CVPR 2024）逐帧处理合成视频得到带 flickering 的伪配对数据；第二阶段训练 Lighting Deflickering Network 消除全局色彩跳变和局部阴影抖动，生成高质量伪配对视频；第三阶段训练最终的 HarmoVid 视频 harmonization 网络，联合学习真实域和合成域数据。推理时输入前景视频、背景视频和 mask，直接输出 harmonized 视频。

  • 输入 / 输出：输入：前景视频 V_F、背景视频 V_B、前景 mask 视频 V_M（三元组）。输出：时域一致、光照与背景匹配的合成视频。Mask 由 Grounded-SAM-2 自动提取（prompt 为 'the main character (human)'）。长于 85 帧的视频推理时采用 temporal MultiDiffusion 处理。
  • 核心机制：Deflickering Network 和 HarmoVid 均基于 CogVideoX 的 3D latent diffusion transformer（DiT 结构，联合建模空间和时域）。Deflickering Network 以带 flickering 的合成视频和 mask 为条件预测噪声（损失 L_deflicker = E||ε − ε_θ(z^I, z_t^T, V^M, t)||²）。HarmoVid 以合成后的前景+背景的 3D-VAE 编码 z^I、背景编码 z^B 以及带噪目标 z_t^T 为条件预测噪声（损失 L_harm），重构 harmonized 视频。训练使用双路策略：Real→Synthetic 路径（真实前景+合成背景，binary mask）保留光照表达力；Synthetic→Real 路径（合成前景+真实背景，pseudo alpha mask）学习边界自然过渡和物理一致的时域稳定性。Pseudo alpha mask 对前景边界做平滑衰减，显著改善发丝等细节区域的 blending 质量。
  • 训练 / 评价：训练数据：从 stock video 来源整理 10,000 段人像视频，Grounded-SAM-2 提取 mask，每段采样 100 帧，200 段保留测试。在 8×NVIDIA A100 上训练 8 小时，共 1,200 iterations，标准 L2 diffusion loss。量化指标：帧级 harmonization quality 用 PSNR/SSIM/LPIPS/RMSE（LUT 统一重打光的配对测试集），时域一致性用 CLIP Score（连续帧相似度）和 Motion Preservation（RAFT 光流偏差）。对比基线：IC-Light、Relightful Harmonization、RelightVid、Light-A-Video。HarmoVid 在所有指标均最优：PSNR 17.91（vs. 次优 15.89），SSIM 0.9306，LPIPS 0.0554，RMSE 0.1325，CLIP Score 0.9963，Motion Preservation 0.5264。用户研究（33 人×10 clips）三维度偏好率：时域一致性 82%、身份保留 78%、整体 harmonization 72%，均远超对比方法。
  • 读法：核心贡献是 flickering 伪配对数据的两阶段精炼策略：先用现成 image harmonization 逐帧生成数据，再训练专用 Lighting Deflickering Network 清除时域伪影，从而把'有但有噪'的数据变为高质量训练对。这个思路（构造噪声数据 → 学习去噪器 → 以净化数据训练下游模型）在数据稀缺场景下具有迁移价值。第二个值得关注的点是 asymmetric mask conditioning：Real→Synthetic 用 binary mask，Synthetic→Real 用 pseudo alpha mask，专门针对两类数据的不同监督信号设计，对边界区域 Laplacian Variance 从 66.1 提升到 79.1，Tenengrad 从 2611 提升到 3325。局限性：训练和测试集均为人像视频，泛化到非人像前景（如 Fig.6 所示的物体）尚在初步验证阶段；1,200 iterations 的训练量在数据多样性上仍有局限。

4. 创新点

首次将专用 Lighting Deflickering Network 嵌入伪配对视频数据生成流程，配合双路 Real↔Synthetic 训练策略和 asymmetric alpha mask conditioning，在无真实配对视频数据的条件下实现时域一致的视频肖像光照 harmonization。

5. 优点与不足

优点：无需真实配对视频训练数据，数据构建流程可扩展；3D-VAE + DiT 联合建模时空，时域一致性显著优于逐帧方法；pseudo alpha mask 有效解决边界 artifact 问题；在所有量化指标和用户研究上均优于现有 SOTA。缺点：推理依赖 mask 质量，mask 不准仍会产生 boundary artifact；模型体量大（基于 CogVideoX DiT），推理速度未在论文中报告，实时应用存在挑战；训练数据全为人像视频，非人像场景泛化能力有限；评估用的 LUT 测试集与真实 harmonization 场景存在分布差距。

6. 改进方向

可探索将 Lighting Deflickering Network 替换为轻量级 optical flow 引导的时域注意力模块以降低推理成本；也可引入多光源估计（如 HDR light probe）作为显式条件信号，提升对复杂混合光源场景的泛化能力。

066

UnReflectAnything: RGB-Only Highlight Removal by Rendering Synthetic Specular Supervision

Alberto Rota, Mert Kiray, Mert Asim Karaoglu, Patrick Ruhkamp, et al. (7 authors)

CVF · PDF · arXiv · Supp

Intrinsic/Relight

1. 要解决什么问题

单张 RGB 图像的镜面高光（specular highlight）去除是一个欠定问题：高光区域往往过饱和、空间稀疏且与场景几何、材质和光照强耦合。自然图像中高光破坏色彩保真度，内窥镜场景中强反光遮蔽组织纹理、干扰深度估计和特征匹配。现有方法要么依赖偏振相机等专用硬件，要么需要配对的漫反射图像监督，数据获取困难；纯数据驱动方法则常出现纹理过平滑或色调畸变。

2. Motivation · 动机与启发

UnReflectAnything: RGB-Only Highlight Removal by Rendering Synthetic Specular Supervision motivation figure
Virtual Highlight Synthesis 跨域高光去除效果示意：自然图与手术场景 [page 1 Fig.1]

单图镜面高光去除的根本障碍是配对监督数据稀缺：拍摄同一场景的带高光和无高光版本，在自然和手术场景下都极难实现。UnReflectAnything 的核心洞察是：任意 RGB 图像只要有几何信息，就可以用 Fresnel-aware Blinn-Phong 模型在其上渲染出物理可信的合成高光——只要单目几何估计精度足够，就能把任意真实图像变成有配对 ground truth 的训练样本，完全绕开采集配对数据的工程瓶颈。这种把物理渲染作为免标注监督来源的策略，同时保证了跨自然图和手术内窥镜场景的泛化能力。

3. Method overview

UnReflectAnything: RGB-Only Highlight Removal by Rendering Synthetic Specular Supervision method figure
完整流程：DINOv3编码→高光预测→token修复→漫反射解码 [page 4 Fig.3]

UnReflectAnything 提出 RGB-only 单图高光去除框架：先用 Virtual Highlight Synthesis pipeline 在任意 RGB 图像上渲染物理可信的合成高光，构造伪配对数据；再用冻结 DINOv3-Large 编码器提取多尺度 patch 特征，通过 DPT-based 高光定位头预测软高光图，再由 Token Inpainter 在特征空间修复被遮蔽的 patch token，最后由 DPT decoder 重建无反射漫反射图像，全程无需真实配对数据。

  • 输入 / 输出：输入：单张 RGB 图像 I ∈ [0,1]^{H×W×3}；输出：无高光漫反射图像 I_diff ∈ [0,1]^{H×W×3} 及像素级高光概率图 I_high ∈ [0,1]^{H×W}。推理时不依赖偏振传感器或深度相机，仅需普通 RGB 输入。
  • 核心机制：（1）Virtual Highlight Synthesis：调用单目几何网络 MoGe-2 估计深度 D 和法线 n，在 3D 相机空间采样点光源 L，基于 Blinn-Phong 模型加 Schlick-Fresnel 调制（R₀=0.04）计算逐像素高光强度 H，alpha 合成到原图；训练时 K_H、shininess S、光源位置随机采样增强多样性。（2）DINOv3-Large 冻结编码器 E 提取四层多尺度 patch token {F₁…F₄}。（3）Highlight Predictor H（DPT 架构）预测软高光图，指导后续修复。（4）Token Inpainter T：将高光 patch 替换为可学习 mask token，融合局部均值先验 F_mean（深度卷积邻域平均，λ=0.5）和固定 2D 位置编码，送入 6 层 ViT 块做自注意力修复，输出 F_comp。（5）RGB Decoder D（DPT 架构）先以自编码方式预训练（L_AE = L₁ + SSIM），再 fine-tune 加 L_seam（边界连续性）、L_spec（Charbonnier 高亮惩罚，τ_m=0.85）和 L_RGB（监督区域内 L₁+SSIM）；token 修复损失 L_inp 为 cosine similarity 与 L₁ 的加权组合（α=0.25）；高光监督 L_H 为 soft Dice + L₁ + Total Variation 组合损失。数据集高光像素（亮度 > τ_L=0.95）从监督中显式排除。
  • 训练 / 评价：训练：1× NVIDIA A100 80GB，batch size=32，50 epochs，初始 lr=5×10⁻⁴ 每 10 epoch 线性衰减。训练数据集混合室内（SCRREAM、HouseCat6D）、室外（CroMo）和内窥镜（SCARED、Cholec80）数据。评估分两类：（1）有配对漫反射真值的数据集 PSD、SHIQ、SSHR，指标为 MSEm、PSNR、SSIM——在 PSD 上 SSIM=0.911 最高，在 SHIQ 上 SSIM=0.988 最高，在 SSHR 上 SSIM=0.971 最高；（2）无配对真值的数据集（CroMo、HouseCat6D、SCRREAM、Cholec80、SCARED、StereoMIS-Tr），指标为 LSR（亮度抑制比）和 NIQE（无参感知质量）——本方法在多个数据集上 LSR 最低。下游任务：DISK 特征点 + LightGlue 匹配 + MAGSAC++ 本质矩阵估计，以对极误差 Eep 和内点比 IR 衡量，在 StereoMIS-Tr 上取得最低 Eep=0.167 和最高 IR=1.000。
  • 读法：这篇工作的核心贡献是把物理渲染作为免标注监督信号的来源，用单目几何+Fresnel shading 在任意 RGB 图上合成高光，把无监督问题转化为有监督问题。对 ISP 和色彩科学方向的研究者而言，Virtual Highlight Synthesis pipeline 的思路可直接迁移到色恒常训练数据增强（模拟不同光源下的镜面成分）或 RAW-to-RGB pipeline 中的高光恢复预处理。DINOv3 冻结编码器+轻量 token 修复的设计范式也值得关注——避免了 fine-tune 大模型的计算代价，同时利用了通用视觉特征的语义一致性。

4. 创新点

首个将单目几何估计与 Fresnel-aware 高光渲染结合、在 token 特征空间做修复的 RGB-only 高光去除框架，无需配对数据即可跨自然和手术域泛化。

5. 优点与不足

优点：无需偏振相机或配对数据，Virtual Highlight Synthesis 可扩展到任意 RGB 图像；DINOv3 冻结编码器确保跨域泛化；在 SSIM 等结构保真指标上达 SOTA；对下游几何估计有正向促进。不足：在非高光区域的细节保留（PSNR）弱于部分基线；对透明/折射物体处理欠佳，漫反射与镜面成分难以分离；低梯度渐变高光的修复边界缝合仍不完美。

6. 改进方向

可引入基于 RAW 线性域的高光合成（避免 gamma 非线性带来的物理不一致），结合频率感知损失或显式边缘约束改善非高光区域分辨率，以及探索将该合成监督范式迁移到多光源 AWB 训练数据生成中。

067

V-RGBX: Video Editing with Accurate Controls over Intrinsic Properties

Ye Fang, Tong Wu, Valentin Deschaintre, Duygu Ceylan, et al. (9 authors)

CVF · PDF · arXiv · Supp

Intrinsic/Relight

1. 要解决什么问题

视频编辑中对 albedo、normal、material、irradiance 等物理内禀属性的独立精确控制至今缺失：现有视频扩散模型在 RGB 域隐式建模，光照与材质耦合，单帧关键帧编辑无法在时间轴上一致传播。对 ISP/颜色链路而言，这直接关系到能否在生成域实现与物理渲染一致的 AWB、relighting 与材质解耦。

2. Motivation · 动机与启发

V-RGBX: Video Editing with Accurate Controls over Intrinsic Properties motivation figure
V-RGBX 支持的五类 intrinsic 属性编辑示例（albedo/材质/光照/法线/多属性） [page 1 Fig.1]

现有视频生成模型在 RGB 域隐式建模光照与材质，用户对 albedo、normal、irradiance 等物理量没有独立控制的抓手：改光照时材质会跟着变，换材质时光照难以保持一致。V-RGBX 的出发点是：大型视频扩散模型（如 WAN 2.1）已具备足够的视觉先验，只需额外建立一个明确的 intrinsic 通道空间（albedo/normal/material/irradiance），并设计一个让模型能同时感知多种模态的条件注入机制，就可以把 keyframe 级别的物理属性编辑精确传播到整个时间序列，实现与物理渲染管线一致的可控生成。

3. Method overview

V-RGBX: Video Editing with Accurate Controls over Intrinsic Properties method figure
V-RGBX 整体架构：逆渲染器D、内禀条件采样器S、正渲染器R三阶段闭环 [page 4 Fig.2]

V-RGBX 构建 RGB↔X 双向闭环：(1) 逆渲染器 D 基于 WAN 2.1 DiT 骨干，将输入视频逐通道分解为 albedo/normal/material/irradiance；(2) 内禀条件采样器 S 将用户编辑过的关键帧内禀与非冲突帧的随机内禀交错拼接为统一条件序列；(3) 正渲染器 R 接受交错内禀序列、编辑关键帧参考以及 Temporal-aware Intrinsic Embedding (TIE)，通过 DiT 解噪合成时间一致的输出 RGB 视频，并将关键帧编辑扩散至全序列。

  • 输入 / 输出：输入：原始 RGB 视频 + 用户对任意内禀通道编辑过的稀疏关键帧；输出：与编辑一致、时间连贯的完整 RGB 视频序列
  • 核心机制：核心机制三点：(1) Interleaved Intrinsic Conditioning——关键帧用编辑后模态，其余帧从非冲突模态随机采样，避免 empty-token 方案的显存开销；(2) Temporal-aware Intrinsic Embedding (TIE)——每帧分配模态索引 mi，可学习类型编码器 W 将 one-hot ϕ(mi) 映射为 d 维嵌入，按 WAN 的四帧压缩块打包后叠加到 patchified latent，使 DiT 内部每个 latent chunk 携带显式模态信息；(3) 关键帧参考注入——将编辑 RGB 关键帧与空 token 对齐后经 WAN-VAE 编码，与噪声 latent 及内禀条件沿 channel 维拼接，弥补内禀通道无法完整表达场景视觉风格的缺陷
  • 训练 / 评价：训练数据：内部合成数据集，来自 127 个 Evermotion 室内场景，171K 帧，带 RGB/albedo/normal/material/irradiance 五通道 paired 监督；分辨率 832×480，32× A100 80GB，D 训练 27K iter、R 训练 12K iter，lr=2e-4，v-prediction 目标；评估：85 个未见 Evermotion 视频 + 85 个 RealEstate10K 真实视频；指标：PSNR/SSIM/LPIPS（逆渲染）、FVD + VBench smoothness（视频质量）；RGB→X→RGB 循环一致性：Evermotion PSNR=22.57 vs. RGBX 15.29，FVD=367.61 vs. 1099.04
  • 读法：重点读 Sec.3.3（Interleaved Conditioning 设计动机与冲突帧处理逻辑）和 Sec.3.4（TIE 的打包公式 Eq.2-4，以及关键帧参考拼接方式 Eq.1）；Table 1-3 给出逆/正/循环三阶段全链路量化结果，可直接对比 DiffusionRenderer 和 RGBX 基线；Fig.4 relighting 效果最能判断 irradiance 解耦质量

4. 创新点

首个端到端内禀感知视频编辑框架，通过交错内禀条件序列 + TIE 模态嵌入实现任意内禀通道的关键帧级精确传播，无需逐帧提供完整内禀输入

5. 优点与不足

优点：物理可解释的编辑空间，albedo/relighting/material 可独立控制，时间一致性强（RealEstate10K smoothness 0.987），FVD 大幅优于 RGBX/DiffusionRenderer；不足：训练数据全为室内合成场景，户外/强高光/复杂遮挡泛化能力未验证；irradiance 估计依赖合成数据分布，真实 HDR 光照下对应误差较大；推理需完整 DiT 前向，单视频计算成本高

6. 改进方向

1. 将内禀通道扩展到 specular reflectance 分离（目前 material channel 混合 roughness/metallic/AO），可对接 spectral rendering 管线做光谱级 relighting；2. 用真实 RAW 视频+物理 ISP 逆向（如 unprocessing pipeline）替代部分合成训练数据，降低 sim-to-real gap，尤其改善 irradiance 在真实场景的估计精度

068

Differentiable Adaptive 4D Structured Illumination for Joint Capture of Shape and Reflectance

Huakeng Ding, Yaowen Chen, Kun Zhou, Hongzhi Wu

CVF · PDF · arXiv · Supp

Intrinsic/Relight

1. 要解决什么问题

同时高质量获取物体几何（depth map）与空间角域 SVBRDF（GGX 参数纹理）极耗时：已有 4D 结构光方法 [Xu et al.] 需 24 分钟/单视角，且照明条件为离线预优化，对每个具体物体都是次优的。核心难点在于 4D 光照空间（64×48 LED × 1920×1080 LCD）过大，需要在线地、自适应地针对当前物体以差分方式确定下一组照明条件。

2. Motivation · 动机与启发

Differentiable Adaptive 4D Structured Illumination for Joint Capture of Shape and Reflectance motivation figure
采集硬件原型：相机 + LED 阵列 + LCD 掩码，三视角展示 [page 1 Fig.1]

4D 结构光（空间 × 角域联合照明）能同时获取几何和 SVBRDF，但前驱工作 [Xu et al.] 需要 24 分钟/视角，且照明 pattern 是离线预优化的——对每个具体物体而言都是次优选择，因为不同外观（漫反射陶土 vs 高光天然蜡）需要截然不同的采样策略才能最大化深度估计信噪比。本文的动机是：将下一组照明条件的选取转化为一个可差分的深度不确定性最小化问题，让系统在采集过程中实时根据当前物体外观自适应地决定照什么光——既解决效率问题（多 LED 复用），又解决 pattern 次优问题（针对当前物体在线优化）。

3. Method overview

Differentiable Adaptive 4D Structured Illumination for Joint Capture of Shape and Reflectance method figure
两阶段 pipeline：差分自适应采集阶段（左）以直方图概率模型为驱动，在线优化 LED×LCD 光/掩码 pattern；细调阶段（右）用 GGX 参数纹理图与模拟测量之间的差异作损失迭代精修深度与反射率 [page 4 Fig.2]

框架分两阶段：差分自适应采集（Differentiable Adaptive Acquisition）和 GGX 细调（Fine-Tuning）。第一阶段为每个像素建立深度/BRDF 参数的直方图概率模型，通过最小化深度不确定性的交叉熵损失在线差分优化下一组 light/mask pattern，并用 ZNCC 评分更新直方图；第二阶段以第一阶段的估计为初始值，用可微渲染最小化物理测量与仿真测量之间的差异，对 GGX 模型用 16D 神经隐向量 + 5 个 MLP 重参数化来稳定优化。

  • 输入 / 输出：输入：单相机拍摄的多组 LDR 照片（每次 0.2s 曝光，共 72 组自适应 light/mask pattern）。输出：depth map 与多张 GGX BRDF 参数纹理图（漫反射 albedo、镜面 albedo、roughness、normal 等），最终分辨率 1024×1024。
  • 核心机制：核心在于将下一组 LED 亮度模式 Lj(l) 和 LCD 掩码模式 Mj 的选取，转化为一个可差分的深度不确定性最小化问题。每像素在 100-bin 深度直方图中用 ZNCC 评分维护概率分布；从中采样 nsample=600 个候选，取 top-npeak=3 峰值候选计算交叉熵损失（式 3-4），通过 PyTorch Adam 对 light/mask 参数反传梯度。多 LED 同时点亮（nbatch=3 张/批）比单 LED 曝光减少 100× 时间；深度确定性收敛后反射率由细调阶段用 16D latent + MLP 的 GGX 重参数化一并恢复。
  • 训练 / 评价：评估对象：10 件实物（尺寸 9–15cm），覆盖漫反射（陶土/木料/塑料）到高镜面（天然蜡）。几何指标：depth RMSE、inlier 比（|误差|<3mm）；反射率通过新视角重光照与真实照片对比定性验证。与 [Xu et al.] 和经典空间结构光 [MPS] 对比，自适应方案几何 RMSE 占优；总采集时间约 10 分钟（pattern 优化为主），GGX 细调约 2 小时。风险：GGX 模型隐含 Lambertian + 各向同性假设，对各向异性或次表面散射材质（如皮肤、半透明）会失效。
  • 读法：最该盯的一点：差分优化光照 pattern 的收益（Adaptive vs Non-Adaptive 对比，Fig.6 前两列）——确认自适应 pattern 是否真的比预训练固定 pattern 在不同外观类型上都一致性地提升了几何精度，还是只在漫反射物体上有效。

4. 创新点

首个将 4D 空间-角域结构光的下一步照明条件设计做成端到端可差分在线优化的框架，兼顾几何和反射率获取，并通过多 LED 复用将采集时间从 24 分钟压缩到 10 分钟。

5. 优点与不足

优点：采集时间大幅缩短；自适应照明对各类外观物体均能自动适配；直方图概率模型简单轻量，计算开销可接受。不足：仍局限于单视角、15cm 有效体积内的受控桌面场景，无法直接迁移到大尺度或自由视角；GGX 重参数化细调依赖初始估计质量，对极高光泽区域可能陷入局部极小；模型假设发光区域与遮挡面满足朗伯反射，对毛发/布料类各向异性材质直接失效。

6. 改进方向

1. 将直方图概率模型换成隐式神经场（NeRF 风格）以支持更大有效体积和多视角联合优化，同时保留差分 pattern 优化框架。2. 扩展 BRDF 参数化以显式处理次表面散射和各向异性，使采集系统能覆盖皮肤、丝绒等常见高价值外观。

069

POLAR: A Portrait OLAT Dataset and Generative Framework for Illumination-Aware Face Modeling

Zhuo Chen, Chengqun Yang, Zhuo Su, Zheng Lv, et al. (8 authors)

CVF · PDF · arXiv · Supp

Intrinsic/Relight

1. 要解决什么问题

人脸重光照依赖大规模、物理一致的 OLAT 数据，而现有开源 OLAT 数据集规模过小（≤139 人）且几乎全为闭源工业数据（Adobe/Netflix/Google 均不开放）。扩展 OLAT 采集成本极高，每个新身份都需 light stage 实拍；现有生成式方案（diffusion/背景条件）无法保证照明方向上的物理可解释性，会造成高光不一致和 identity drift。

2. Motivation · 动机与启发

POLAR: A Portrait OLAT Dataset and Generative Framework for Illumination-Aware Face Modeling motivation figure
POLAR 数据集覆盖200+人×156方向×32视角，展示 OLAT 采集与 HDR 重光照合成结果 [page 1 Fig.1]

现有公开 OLAT 数据集规模极小（≤139 人），而工业级 light stage 数据（Adobe/Netflix/Google）全部闭源，导致人脸重光照研究受制于数据瓶颈。作者观察到 OLAT 图像具有内在线性叠加性质——任意光照可由单光基线性重组，这意味着若能从已有 OLAT 学到「均匀光 → 单方向 OLAT」的映射，就可以绕过 light stage 对新身份的采集限制、用生成模型低成本扩展数据规模。这一「数据稀缺 + 物理可分解性」的双重观察驱动了 POLAR 数据集与 POLARNet 的联合设计，形成真实数据训练生成模型、生成模型反过来扩展数据的自增强闭环。

3. Method overview

POLAR: A Portrait OLAT Dataset and Generative Framework for Illumination-Aware Face Modeling method figure
POLARNet 框架：编码器 E 将均匀光肖像与目标 OLAT 图像映射到隐空间，LBM（Latent Bridge Matching）用方向条件 U-Net 学习连续的单步光照迁移轨迹，解码器 D 输出各方向 OLAT 响应，最终线性叠加合成任意 HDR 环境重光照 [page 6 Fig.5]

两层并行贡献：① POLAR 数据集，220 人 × 156 方向 × 32 视角 × 16 表情的大规模开源 OLAT，含 HDR 重光照合成肖像（漫反射-镜面分离 + 光锥积分），共 28.8M 帧；② POLARNet，一个基于 Latent Bridge Matching（LBM）的流模型，以单张均匀光肖像为输入，单步推理生成任意方向的 OLAT 响应，构成「真实数据训练模型 → 模型扩展数据」的自我增强闭环。

  • 输入 / 输出：输入：任意人脸的单张均匀光肖像（无需 light stage）；光照方向 cdir=(sinθ, cosθ, sinφ, cosφ)。输出：对应方向的 OLAT 响应图像；线性叠加后可合成任意 HDR 环境下的重光照肖像。
  • 核心机制：POLARNet 的核心是 Pair-wise Latent Bridge Matching：利用 POLAR 数据集中均匀光图像 xu 和对应 OLAT 图像 xl 的严格配对监督，在 VAE 隐空间中学习连续的确定性迁移轨迹（式 3），避免从 Gaussian 噪声出发带来的随机性。方向条件 U-Net 预测速度场 vθ(zt,t,cdir)，用 LLBM=||vθ-(zl-zt)/(1-t)||² 监督（式 4）。推理时从 zu 做单步前向即得 ẑl，无需迭代。三个辅助损失：ArcFace identity loss Lid（防止人脸特征漂移）、能量感知加权像素损失 Lpix（亮区权重 κ 倍，压低低光区噪声）和全局能量一致性 Lenergy（式 7，防止曝光漂移）。
  • 训练 / 评价：训练数据：POLAR 数据集（220 人，156 方向）；评估指标：LPIPS、PSNR、SSIM，在 POLAR 测试集的 HDR 重光照肖像上与 SwitchLight、IC-Light、DreamLight 对比。ours LPIPS=0.115（↓vs SwitchLight 0.168），PSNR=22.12（↑vs SwitchLight 20.69）。风险：OLAT 合成精度评估仅与本数据集内的 captured OLAT 对比，存在分布内偏置；极端姿态/强侧光下 OLAT 合成的高频镜面高光仍有损失。
  • 读法：盯住 Fig.8 的旋转一致性测试：HDR 环境图旋转时本方法高光/阴影是否随方向连贯移动，而背景条件方法是否出现阴影跳变——这是物理可解释性的最硬测试，比 PSNR/SSIM 更能说明 LBM 是否真正学到了光传输结构。

4. 创新点

将 OLAT 生成问题建模为配对隐空间中的确定性 Bridge Matching（而非 noise-to-image diffusion），实现单步推理的方向可控 OLAT 合成，同时用自建大规模真实 OLAT 数据集支撑训练，形成数据–模型共进化闭环。

5. 优点与不足

优点：数据集规模远超已有开源 OLAT（220 vs 139 人），配套 HDR 重光照合成和开源代码；单步推理快，方向条件化物理可解释性优于背景条件 diffusion。不足：POLARNet 仍仅限于 156 个离散光方向，对极端仰俯角（>75°）方向覆盖稀疏；高频镜面细节（如额头高光轮廓）在生成 OLAT 中存在模糊；数据采集场景为受控实验室，肤色和发型分布偏向于东亚/欧洲成年人，泛化性有限。

6. 改进方向

1. 将 LBM 改为连续归一化流或 Consistency Model，支持连续方向插值而不受限于 156 离散光方向。2. 在 OLAT 合成时引入 diffuse/specular 分离的隐变量，以独立建模漫反射和镜面传输，改善高光区域的生成精度。

070

WildCap: Facial Albedo Capture in the Wild via Hybrid Inverse Rendering

Yuxuan Han, Xin Ming, Tianxiao Li, Zhuofan Shen, et al. (7 authors)

CVF · PDF · arXiv · Supp

Intrinsic/Relight

1. 要解决什么问题

野外手机视频（无受控光照假设）重建高质量人脸漫反射 albedo 贴图极其困难：纯模型驱动的逆渲染在复杂真实光照下优化不稳定；数据驱动方法（如 SwitchLight）虽鲁棒但输出中不可避免地残留 shadow-baking 伪影，这些伪影是神经网络制造的非物理效应，无法用物理光源模型解释。关键 gap 是如何在 in-the-wild 场景下达到 Light Stage 级别的 albedo 质量。

2. Motivation · 动机与启发

WildCap: Facial Albedo Capture in the Wild via Hybrid Inverse Rendering motivation figure
WildCap：从智能手机野外视频重建高质量漫反射 albedo 贴图并导出到渲染引擎 [page 1 Fig.1]

数据驱动方法（如 SwitchLight）对 in-the-wild 人脸图像足够鲁棒，但它们的输出不可避免地残留 shadow-baking 伪影——这类伪影是神经网络制造的非物理效应，无法用标准物理光源模型（如 SH）解释，导致后续逆渲染在这些预测图上直接失效。关键洞察是：把神经网络预测图视为「被某个未知局部光照」照亮的干净 albedo——哪怕这个「光照」在物理上不存在——就能在 UV 空间建立一套非物理但足够表达的 Texel Grid Lighting 来吸收这些伪影，从而把不稳定的 wild 逆渲染转化为约束更强的优化问题。

3. Method overview

WildCap: Facial Albedo Capture in the Wild via Hybrid Inverse Rendering method figure
WildCap 两阶段混合逆渲染流程：SwitchLight 数据驱动预测去除大部分光照效应后，在 UV 空间用 Texel Grid Lighting（2D SH 参数网格）解释残余 shadow-baking 伪影，联合扩散先验采样与 SH 照明优化重建干净 4K albedo 贴图 [page 4 Fig.2]

混合逆渲染（Hybrid Inverse Rendering）：先用 SwitchLight 将原始手机帧转换为受约束的漫反射预测图像（去除大多数光照效应），再在 UV 空间对这批预测图像做模型驱动优化：用新提出的 Texel Grid Lighting（TGL）——一个 UV 空间 2D SH 参数网格（g=96）——将 shadow-baking 伪影解释为局部暗光的照明效果，同时联合采样基于 48 张 Light Stage 扫描训练的 patch-level 扩散先验，约束 albedo 落在高质量真实分布内，最终上采样到 4K。

  • 输入 / 输出：输入：智能手机拍摄的约 30 秒绕头视频（采样 300 帧，取 V=16 帧用于 reflectance estimation），外加目标主体肤色色调先验（可手动或自动获取）。输出：4K 分辨率漫反射 albedo 贴图，以及由 albedo 预测得到的镜面 albedo 和法线贴图。
  • 核心机制：Texel Grid Lighting（TGL）是核心创新：在 UV 空间将照明建模为一个 H/g × W/g × 27 的 SH 参数网格（g=96），通过双线性插值为每个 UV texel 查询方向相关 SH 系数，使伴随 shadow-baking 伪影的局部区域获得更多光照自由度，而其余区域由全局 SH γg 约束。扩散后验采样（DPS）在 Tinit=600 步降噪后逐步修正：每步先用标准 DDPM 更新 xt→x't-1，再沿 ∇Lpho 方向修正使 clean estimate xˆt 最小化 UV 光度损失（式 8-9），并同步梯度下降更新 TGL 参数 θ。diffuse/specular/normal 共享一个 diffusion prior，避免分开训练。
  • 训练 / 评价：diffusion prior 训练数据：48 张 Light Stage 扫描的反射率贴图（patch-level，64×64）。与 DeFace*、FLARE* 在 Light Stage 重采集测试集上做定量比较：WildCap PSNR=28.79、SSIM=0.9520、LPIPS=0.0610，DeFace* PSNR=22.20、FLARE* PSNR=27.81。优化在单卡 RTX 4090 (24GB) 上约 8 分钟。风险：扩散先验仅在 48 个 Light Stage 扫描上训练，多样性不足；TGL 需要 shadow mask M，默认手动标注（自动方法用 shadow-soften 开源模型，效果接近但非完全等价）；仅处理 Lambertian 假设下的 diffuse albedo，强镜面区域需额外网络预测。
  • 读法：最该盯的是 TGL 的网格尺寸消融（Fig.5）：g=96 对 g=384（过拟合面部纹理为光照效应）和 g=1（全局 SH，无法覆盖 shadow-baking）之间的权衡——这直接说明 TGL 是否解决了 ill-posed 问题而不只是在换个参数化形式。

4. 创新点

提出 Texel Grid Lighting 将神经网络 shadow-baking 伪影建模为 UV 空间局部暗光的可微照明效应，并与 patch-level diffusion prior 的联合优化深度结合，首次在无受控光照手机视频上达到接近 Light Stage 的 4K albedo 质量。

5. 优点与不足

优点：输入门槛极低（手机视频 30s），质量远超已有 in-the-wild 方法；TGL 设计简单可微，优化稳定；diffusion prior 使 albedo 落在合理分布内。不足：diffusion prior 训练数据仅 48 人，肤色/材质多样性严重受限，泛化性存疑；优化依赖 SwitchLight 预测质量，一旦 SwitchLight 对特定场景/肤色失效会级联传导；需要肤色先验作为约束，自动获取在极端光照下不可靠；仍无法处理强镜面（如眼白）和透明介质区域。

6. 改进方向

1. 将 TGL 的 shadow mask 改为自动可学习的分割（可用轻量 U-Net 预测 shadow-prone 区域），消除手动标注依赖。2. 用更大规模（>500 人）多样肤色 Light Stage 数据重训 diffusion prior，并引入 skin tone conditioning，改善深肤色和极浅肤色群体的 albedo 精度。

071

Olbedo: An Albedo and Shading Aerial Dataset for Large-Scale Outdoor Environments

Shuang Song, Debao Huang, Deyan Deng, Haolin Xiong, et al. (7 authors)

CVF · PDF · arXiv · Supp

Intrinsic/Relight

1. 要解决什么问题

室外大尺度场景（城市/航拍）的 intrinsic image decomposition 缺乏真实世界的稠密 ground-truth albedo 监督：室外光照动态变化（日晒/阴天/阴影），无法像室内受控采集；现有数据集要么是合成（InteriorVerse/Hypersim）存在 sim-to-real gap，要么是室内小场景，要么只有稀疏相对判断（IIW）。已有最佳 IID 模型在 outdoor aerial 场景上 PSNR 低至 10–15dB，直接失效。

2. Motivation · 动机与启发

Olbedo: An Albedo and Shading Aerial Dataset for Large-Scale Outdoor Environments motivation figure
Olbedo 数据集概览：UAV 图像及对应 albedo/深度/法线/太阳-天空 shading 各层标注 [page 1 Fig.1]

室外大尺度场景（城市/航拍）的 IID 研究长期被「无真实 albedo ground-truth」卡死：室外光照无法受控，采集期间的阴影会直接 bake 进 RGB 纹理，导致 3D 重建出来的模型在换光照时出现阴影重复伪影。作者发现 UAV 多视图重建可以提供高精度 3D 几何（~3cm 误差），而 lit-shadow pixel pair 分析（同一平面、法线相近但亮度悬殊的像素）在已知几何条件下能够无需受控光源地反算出太阳-天空比值 φ。这一物理可推导的分解路径使得从真实 UAV 数据构建 pseudo-GT albedo 成为可能，填补了 outdoor aerial IID 领域的数据空白。

3. Method overview

Olbedo: An Albedo and Shading Aerial Dataset for Large-Scale Outdoor Environments method figure
Olbedo 图像分解框架：以航拍图像、太阳方向、3D 几何和天空辐射图为输入，通过阴影边界 lit-shadow pair 提取 sun-sky 比值 φ，分解出 Sun Shading、Sky Shading 和最终 Albedo [page 5 Fig.5]

Olbedo 是一个大规模真实 UAV 数据集（5,664 帧，4 类地景，2022–2025 年多期），以物理逆渲染流程从 RAW 线性图像中生成 pseudo-ground-truth albedo/shading：基于 lit-shadow pixel pair 提取太阳-天空照明比值 φ（高斯混合模型估计），结合 sun visibility 和法线几何分离 Ssun/Ssky，并提供置信度掩码。下游验证：对 Intrinsic Image Diffusion、Marigold-IID-Appearance、RGB↔X、NIID-Net 做 LoRA 微调，在 MatrixCity 合成 outdoor 基准上评估泛化性。

  • 输入 / 输出：输入（数据集层）：DJI Phantom 4 Pro RAW（DNG 线性相机空间），精确 3D 几何（Bentley iTwin 摄影测量，~3cm 精度），太阳历元方向，可选 HDR 天空辐射图（Sony ExView II，11 曝光括弧，EXR）。输出：per-image albedo（HDR，线性色彩空间）、sun shading、sky shading、metric depth、surface normal。
  • 核心机制：albedo 分解的物理核心是 sun-sky 分离模型（式 1：I = R ⊙ (φ ⊙ Ssun + Ssky)）。关键是自动检测 lit-shadow pixel pair：筛选准则为法线差异小（共享 albedo）、深度差异小（同表面）、亮度差异大（一明一暗）。对所有有效 pair 用高斯混合模型（双峰：真实 φ 分布 + 噪声分布）拟合出全图最优 φ，进而由式 3 直接反算 albedo。2025 年新增 HDR sky dome 修正时，先用统一天空模型对齐全局尺度，再最小二乘增益对齐测量天空辐射，替换各向同性模型。LoRA 微调采用 query/key/value/output projection 注意力 rank adaptation（~1.66M 可训练参数 = U-Net 参数的 0.19%），RGB↔X 微调后在 MatrixCity 上达到最优 PSNR=17.735（vs pretrained 15.050），Marigold 增幅最大达 +68.6% PSNR。
  • 训练 / 评价：数据集规模：5,664 帧，4 场景类型（office/arena/residential/park），2022–2025 多期，含晴天/阴天/日出日落。评估基准：MatrixCity（520 幅合成城市场景，1920×1080），指标 PSNR/SSIM/LPIPS，不进行 in-domain 划分（Olbedo 仅作 fine-tuning resource）。风险：pseudo-ground-truth 在 Lambertian + 太阳-天空二成分假设下生成，对玻璃幕墙/金属屋面/非朗伯材质天然失效；场景只有 4 个站点，地理分布极不均衡；过云/极端阴天下 lit-shadow pair 不足，退化为 sky-only 模型，albedo 精度下降。
  • 读法：最该盯的一点：LoRA 微调（0.19% 参数）对各 backbone 的跨分布泛化增益是否均匀——Marigold 在 MatrixCity 上 PSNR +68.6% 但绝对值仅 17.118，而 RGB↔X +17.8% 绝对值最高 17.735。这说明不同预训练先验对 outdoor albedo domain 的响应差异极大，应检查是否真正学到了 sun-sky 照明结构还是只是拟合了颜色风格。

4. 创新点

首个大规模真实室外航拍 albedo/shading 数据集，以物理驱动的 lit-shadow pair 分析 + 多期多时 UAV 采集构建 pseudo-ground-truth，配套 HDR sky dome 和置信度掩码，弥补了 IID 领域在 outdoor-aerial 场景上的数据空白。

5. 优点与不足

优点：真实数据（非合成），覆盖城市/公园四类地景，提供 sun/sky shading 分离标注，适合物理可解释的 relighting 应用；LoRA 轻量微调即可大幅提升 outdoor 泛化性。不足：仅 4 个固定场地，地理/气候多样性极弱；pseudo-ground-truth 在 Lambertian 假设下可靠性有限（城市环境大量非朗伯表面）；分辨率降采样 8× 至 683×455 用于分解，与原始 4K UAV 图分辨率落差大；MatrixCity 评估集为合成场景，实际 in-the-wild 性能评估仍缺失。

6. 改进方向

1. 引入多光谱或偏振辅助通道（如 DoLP 图像）作为 specular/diffuse 分离的额外约束，改善非朗伯材质（玻璃幕墙/金属板）区域的 albedo 可靠性。2. 扩展到多地理区域（热带/干旱/高纬度）的 UAV 采集，并配合多云条件下的 sky radiance sensor 实现真正全天候的 outdoor IID 基准。

072

MatE: Material Extraction from Single-Image via Geometric Prior

Zeyu Zhang, Wei Zhai, Jian Yang, Yang Cao

CVF · PDF · arXiv · Supp

Intrinsic/Relight

1. 要解决什么问题

从单张野外拍摄图像恢复 PBR 材质（albedo、normal、roughness、height）是高度欠定问题：图像外观是材质属性与未知光照、视角透视畸变的强耦合。现有方法 Material Palette 用 LoRA fine-tuning 导致透视畸变被烤进材质权重，MaterialPicker 把静态材质估计建模成视频 DiT 的时序帧序列，累积误差沿通道逐步放大。该问题的解对实时渲染内容资产制作有直接价值。

2. Motivation · 动机与启发

MatE: Material Extraction from Single-Image via Geometric Prior motivation figure
MatE 输入野外图像（编号材质区域）→ 几何校正 → 提取 PBR 四通道贴图流程示意 [page 1 Fig.1]

现有单图 PBR 材质提取方法存在两类根本性缺陷：Material Palette 的 LoRA 微调会把视角透视畸变烤进材质权重，MaterialPicker 把静态材质预测建模成视频时序帧，序列前期的估计误差会沿通道逐步放大。核心洞察是透视畸变在几何上是可预测的——单目深度估计已能给出近似点云，把图像反投影到正交平面可在进入扩散模型之前粗消除大部分畸变，使后续网络只需学习「去除残余畸变 + 图像到材质的内在映射」，而不必同时拟合与材质无关的视角变形。

3. Method overview

MatE: Material Extraction from Single-Image via Geometric Prior method figure
MatE 双分支扩散模型：Reference U-Net 提取 KV 特征注入 Main U-Net，左侧同时展示基于深度图 point cloud 投影的几何粗校正流程 [page 3 Fig.2]

MatE 采用 coarse-to-fine 框架：先用单目深度估计模型（MiDaS 等）将图像反投影为 3D 点云再重采样，完成透视畸变的几何粗校正；再送入双分支扩散网络，Reference U-Net 提取遮罩输入图像的 KV 特征，通过 KV-Injection 注入 Main U-Net，使 Main U-Net 在去噪四个 PBR 通道潜变量时保留精细纹理结构。模型在 5,879 个 PBR 材质实例的合成数据上训练，通过 TPS 变形平面网格 + 相机位姿对齐策略生成旋转对齐的图像–材质对，弥合真实图像与合成数据域间隙。

  • 输入 / 输出：输入：单张 sRGB 图像 + 用户或 SAM 提供的材质区域 mask；输出：该区域的 tileable PBR 四通道贴图（albedo、normal map、roughness、height map）
  • 核心机制：核心是 KV-Injection 跨分支注意力：Reference U-Net 编码 masked condition 图像，其 Key/Value 被注入到 Main U-Net 的每一层自注意力模块（Attn(Q*, K^R, V^R)）；序列长度无关的 resolution-agnostic 特征对齐使得任意分辨率均可输出。几何校正阶段引入 dshift 超参数避免深度归零时反投影退化，再用 k×k 邻域插值填补点云稀疏孔洞。扩散目标为标准 L_diff = E[||ε − ε_θ(z̃_t; z_c, t)||²]，四个 PBR 通道 latents 并行去噪。
  • 训练 / 评价：训练集：Blender 渲染的 5,879 PBR 材质实例（含 TPS 畸变变形 + Polyhaven HDRI 随机光照）；测试集：226 对真实世界图像–材质对 + 合成测试集。评价指标为 LPIPS（感知距离）、SSIM 和平均 Hellinger-based 相似度（分通道）；与 Material Palette 和 MaterialPicker 对比，MatE 在 albedo/normal/roughness/height 各通道 LPIPS 均更优。风险：合成训练数据用平面网格，未覆盖强曲率曲面，对弯曲表面透视校正仍有残差（论文 Fig. 15 明确指出 limitation）。
  • 读法：重点读 Section 3.3 的几何反投影公式（Eq.7）和 dshift 参数的消融实验（Fig.11），这里决定了方法能否真正解耦透视畸变与材质先验，而不是让扩散模型暗中 bake 畸变。

4. 创新点

首次在 PBR 材质提取中把几何反投影先验与双分支 KV-Injection 扩散模型组合为 coarse-to-fine 流程，绕开 LoRA 实例 fine-tuning 和视频 DiT 时序依赖，实现单次前向推理输出四通道 tileable 材质。

5. 优点与不足

优点：不需要实例级 LoRA fine-tuning，推理成本低；KV-Injection 保留高频纹理细节；用简单平面 TPS 网格代替 Objaverse 复杂模型，消除 UV 接缝畸变。不足：几何先验依赖单目深度估计，强透视 + 近平面物体深度不准时校正失效（论文已承认）；训练数据全为合成，对非朗伯表面（金属、玻璃）泛化能力存疑；没有报告 ΔE 类色差指标，albedo 颜色准确度难以量化。

6. 改进方向

1. 用多视图输入（≥2张）辅助深度估计，改善强透视下的几何校正稳定性。2. 在评价指标上增加 albedo 的 ΔE₀₀（相对于色卡测量基准），使颜色精度可与 ISP 管线的 CCM 校正误差对标。

073

Clair Obscur: an Illumination-Aware Method for Real-World Image Vectorization

Xingyue Lin, Shuai Peng, Xiangyu Xie, Jianhua Zhu, et al. (6 authors)

CVF · PDF · arXiv · Supp

Intrinsic/Relight

1. 要解决什么问题

真实照片矢量化（SVG）长期难题：复杂光影导致色调分布宽，现有方法（LIVE、LayerVec 等）需堆砌大量零散 path 才能拟合色调渐变，导致 SVG 语义破碎、编辑性差。本征图像分解理论可分离 albedo 与光照，但现有分解方法全在像素域输出 raster 图，无法直接对接 SVG 编辑工作流。

2. Motivation · 动机与启发

Clair Obscur: an Illumination-Aware Method for Real-World Image Vectorization motivation figure
COVec 按层渲染：albedo → +shade → +light 逐步叠加，演示按层编辑不破坏光影结构 [page 1 Fig.1]

真实照片矢量化的难点在于光影造成的色调分布宽——现有方法必须堆砌大量零散 Bézier path 才能拟合渐变，导致 SVG 语义破碎、无法按语义层单独编辑。作者受古典绘画 Clair-Obscur（明暗对比）技法启发：画家用同一语义区域内的明暗变化传达体积感，而不是为每种色调使用独立的形状。这一观察提示可以把图像明确分解为 albedo（固有色）+ shade（遮蔽/阴影）+ light（高光）三个向量层，用 SVG 原生的 multiply/plus-lighter blending 模式重组——光照复杂度从路径数量问题转化为三层简单向量的合成问题，albedo 层保持语义紧凑性，光照层独立可编辑。

3. Method overview

Clair Obscur: an Illumination-Aware Method for Real-World Image Vectorization method figure
COVec 三阶段 pipeline：(1) 基于 SAM+本征分解初始化 albedo/illumination 层 mask，(2) 可微渲染联合优化两层（L_struct + L_recon），(3) 固定 albedo 细化光照层再分离 shade/light [page 4 Fig.4]

COVec 把本征图像分解（albedo、shade、light 三层）移植到 SVG 向量域：albedo 层用 SAM 对本征 albedo 图分割得到 mask 初始化；light/shade 层通过区域自适应二值化从像素强度提取阴影 mask 初始化；三层均表示为参数化三次 Bézier 路径集合，利用 SVG multiply/plus-lighter blending 模式复合。两阶段可微渲染优化：第一阶段结构损失 L_struct + 重建损失 L_recon 联合优化 albedo 与 illumination 层；第二阶段固定 albedo，新增路径细化 illumination 残差；最后按路径颜色值是否超出 [0,1] 分离 shade 与 light 层。

  • 输入 / 输出：输入：单张真实 sRGB 照片（任意分辨率）；输出：统一 SVG 文件，内含三个独立向量层（albedo、shade、light），支持按层单独编辑
  • 核心机制：关键设计是区域自适应语义二值化（region-wise semantic binarization）：对每个 SAM 分割的语义区域分别计算该区域像素强度均值作为阈值，低于阈值像素归入阴影 mask，避免全图单一阈值在多光源场景失效。Lstruct 用逐像素 MSE + 路径自重叠惩罚项（ReLU(δ - α(p))）同时约束形状对齐和路径紧凑性；SVG multiply blending 天然模拟 Lambertian 阴影乘法模型，plus-lighter blending 实现镜面高光加法叠加，无需额外网络模块。
  • 训练 / 评价：无 GPU 训练，完全基于可微渲染优化（Adam 优化器，DiffVG 渲染器，4×NVIDIA L40S GPU）；每张图各自独立优化。测试集：FFHQ 子集（100 张人脸）、Things+TID2013 场景（100 张）、Noto Emoji（100 张 emoji）。评价指标：MSE 和 LPIPS（不同 path 数量约束下）。与 LIVE、O&R、LayerVec 相比，COVec 在等路径数下 MSE 和 LPIPS 均更低。风险：per-image 优化耗时显著（具体时间论文未明确给出）；SAM 分割质量直接决定初始化质量，对纹理均匀区域可能语义分割过细或过粗。
  • 读法：盯 Section 5.2 中 path 数约束下的 MSE/LPIPS 曲线（Fig.7）：在极少路径（≤16 paths）时优势是否显著，如果随路径数增加优势收窄，说明方法在高保真度场景下相对 LayerVec 的边际收益有限。

4. 创新点

首次在向量图形（SVG）域引入本征图像三层分解（albedo/shade/light），利用 SVG 原生 blending 模式实现照明感知矢量化，无需 raster 中间件，直接输出可按光照层独立编辑的 SVG。

5. 优点与不足

优点：输出 SVG 天然支持光照层独立编辑（只改 albedo 层颜色不破坏光影结构），语义路径少而紧凑；无需成对训练数据。不足：per-image 优化速度慢，不适合批量处理；依赖外部本征分解模型质量，有色光照或复杂高光场景下 albedo 估计本身偏差会传递到初始化；目前评估指标 MSE/LPIPS 衡量像素重建质量，不直接量化编辑一致性（albedo 编辑后 SSIM 是否维持）。

6. 改进方向

1. 引入摊销推断网络（类 LIVE 快速初始化），减少每张图的优化迭代次数，提升实用吞吐量。2. 在 albedo 层颜色评估上增加色适应不变性指标（如 ΔE 在不同色温光源下的变化量），验证分解的光照无关性是否达到 CCM 校正级别的精度。

074

Relightable Holoported Characters: Capturing and Relighting Dynamic Human Performance from Sparse Views

Kunwar Maheep Singh, Jianchun Chen, Vladislav Golyanik, Stephan J. Garbin, et al. (8 authors)

CVF · PDF · arXiv · Supp

Intrinsic/Relight

1. 要解决什么问题

动态全身人体在新视角、新光照下的照片级重建，传统 OLAT-basis 方法需要逐光源拍摄静态场景，无法覆盖运动中的非刚体衣物形变；现有可重光照全身 avatar 方法（IntrinsicAvatar、MeshAvatar）在反向渲染中因简化 BRDF 和追踪误差，光照保真度有限。稀疏视角（4 相机）推理下同时做自由视角渲染和任意光照重建，是关键工程挑战。

2. Motivation · 动机与启发

Relightable Holoported Characters: Capturing and Relighting Dynamic Human Performance from Sparse Views motivation figure
RHC 系统演示：稀疏视角输入驱动任意新视角与新光照的照片级渲染 [page 1 Fig.1]

现有全身人体重光照方法面临两难：基于 OLAT basis 的方法需要受试者在灯光逐盏切换时保持静止，天然无法覆盖动态衣物形变；而从视频学习内禀分解的方法（IntrinsicAvatar 等）因 BRDF 简化和反向渲染误差，光照保真度有限。作者的核心洞见是：渲染方程 ∫ f_r L_i V ⟨ω_i, n⟩ dω_i 可以被一个 Transformer 隐式「积分」——只要把几何/反照率/着色/视角编码成物理感知特征作为 Query，environment map 展平后作为 Key/Value，cross-attention 就能在单次前向传播中模拟半球积分，完全绕开逐光源渲染。

3. Method overview

Relightable Holoported Characters: Capturing and Relighting Dynamic Human Performance from Sparse Views method figure
RHC 完整 pipeline：DDC 网格动画模块（变形 + LBS）→ 物理感知特征提取（Geometry/Albedo/Shading/View）→ RelightNet 以 environment map 为 cross-attention K/V，输出 texel 对齐 3D Gaussian splats 并光栅化 [page 4 Fig.3]

RHC 分三层：(1) Character Animation Module（基于 Deep Dynamic Characters）将骨骼运动驱动模板网格非刚性变形，得到时序一致的 UV 参数化网格 M_t；(2) Physics-informed Feature 提取层在 UV 空间编码 Geometry（Sapiens 法线 + 网格法线 3 帧叠加 + 位置图）、Albedo（AlbedoNet 补全稀疏视角 UV 投影）、Shading（预积分漫反射着色 d）、View（相机编码 γ）；(3) RelightNet 以 environment map 展平 + 2D 正弦位置编码为 K/V，通过 multi-head cross-attention 融合物理特征，回归每 texel 的 3D Gaussian 参数（位置偏移、尺度、旋转、不透明度、颜色），最终光栅化出重光照图像。

  • 输入 / 输出：输入：4 路稀疏视角 sRGB 视频（推理时均匀光照）+ 骨骼运动 θ + HDR environment map E；输出：任意新视角下的重光照照片级渲染图
  • 核心机制：核心是 RelightNet 的 environment map cross-attention：将 HDR env map 展平后拼接 2D 正弦位置编码映射为 (K^e, V^e)，每个 UV texel 特征映射为 Q_f，多头 cross-attention 模拟渲染方程中的半球积分（∫ f_r L_i V ⟨ω_i,n⟩ dω_i）。输出不是 RGB 而是 3D Gaussian 参数，继承 3DGS 的可微光栅化效率；physics-informed features 分担低频光照计算，RelightNet 专注学习残差高频（镜面反射、次表面散射）。训练数据采用交替帧策略：random env map 帧与均匀光照追踪帧交错采集，5 名受试者 1015 个 Laval Indoor HDR 训练环境、8 个测试环境。
  • 训练 / 评价：数据集：多视角 lightstage 自建数据集（5 subjects，40 相机，28420 训练帧/相机，14336 测试帧/相机，1015 训练 HDR maps，8 测试 HDR maps）。指标：PSNR/SSIM/LPIPS 对所有 3 个测试视角取平均。定量结果：RHC 在 5 个受试者上平均 PSNR 31.38~32.48 dB，优于最强基线 HPC+Neural Gaffer（30.52~31.90 dB），LPIPS 5.55~8.13 对比 7.99~10.66。风险：person-specific 模型，每人需独立训练三个子网络（G, H, F）；测试时仍需 4 路精标定相机和骨骼追踪；lightstage 数据集未公开（论文称计划发布）。
  • 读法：重点核查 Table 2 消融实验中 physics-informed features 各项的贡献：移除 albedo feature 时 LPIPS 从 5.55 涨至 5.78，说明 AlbedoNet 估计的材质是否真的解耦光照而非 RelightNet 从 Gaussian 颜色中暗中学走——如果去掉 env map cross-attention 退化幅度大但去掉 albedo 退化小，则方法对材质分解依赖存疑。

4. 创新点

首个从稀疏视角（4 相机）输入、单次前向传播完成全身动态人体任意光照重渲染的方法，用交替帧 lightstage 采集策略绕开逐光源 OLAT basis 限制，RelightNet 通过 cross-attention 隐式求解渲染方程。

5. 优点与不足

优点：单次前向推理，无需逐光源 OLAT 合成；texel-aligned 3D Gaussian 继承 3DGS 高效光栅化；physics-informed features 提供可解释的渲染方程近似。不足：person-specific 训练，无法泛化到新人物；依赖高精度 lightstage 设备采集训练数据，数据获取门槛极高；衣物边界追踪误差（消融显示手部追踪是主要误差源）；PSNR 单指标掩盖颜色色调准确性，材质 albedo 是否物理正确无 ΔE 验证。

6. 改进方向

1. 用 diffusion prior 做 albedo inpainting 代替 AlbedoNet，改善自遮挡区域的 albedo 补全一致性。2. 在评测中加入 OLAT 单光源 relighting 的色温精度测试（与真实 OLAT 测量值比较光谱分布 RMSE），量化光照模型在颜色域的保真度。

6 · 光谱 / 多光谱 / 高光谱成像

075

LRDUN: A Low-Rank Deep Unfolding Network for Efficient Spectral Compressive Imaging

He Huang, Yujun Guo, Wei He

CVF · PDF · arXiv · Supp

RAW/ISPSpectral

1. 要解决什么问题

CASSI 高光谱快照压缩成像的重建是严重欠定逆问题：从单张 2D 编码测量恢复 H×W×B 三维 HSI，维度差达 B 倍（B=28 通道）。现有 DUN 方法直接在全维 HSI 空间展开，每级 stage 的梯度下降步需要将 2D 残差反投影到 3D 空间，维度鸿沟导致欠定性严重且计算量与 B 正比线性增长。高效率与高重建质量的权衡是核心瓶颈，直接影响能否部署于实时光谱相机 ISP 管线。

2. Motivation · 动机与启发

现有 DUN 方法都建立在「全维 HSI 感知模型」上——每个展开 stage 在 H×W×B 整体数据立方体上迭代，把 2D 压缩测量的残差反投影回 3D 空间，但 B=28 通道时维度鸿沟极大，每步更新本质上是一个高度欠定方程组的近似求解，计算量也随 B 线性增长。作者的启发来自 HSI 的固有低秩性：自然场景光谱曲线可由少数 (k≪B) 个光谱基线性组合表示。将这一先验直接嵌入感知方程，把重建问题拆分为两个低维子问题——估计 k 维光谱基 E 和 k 通道子空间图像 A——从根本上把欠定度降低 B/k 倍，为高效率与高精度并重的 DUN 提供了数学基础。

3. Method overview

LRDUN: A Low-Rank Deep Unfolding Network for Efficient Spectral Compressive Imaging method figure
LRDUN 总体架构：N 级交替展开优化，每级含 E-problem（ProxyNetE 1D 卷积 + QR 正交化）和 A-problem（ProxyNetA U-Net），两者均通过 GFUM 将物理秩 k 维变量提升到 C 维特征空间操作 [page 3 Fig.2]

LRDUN 从根本上重构 CASSI 感知模型：将 HSI X = A ×₃ E 低秩分解（spectral basis E ∈ R^{B×k}，subspace images A ∈ R^{H×W×k}，k≪B）代入测量方程，推导出两个独立的低维感知模型（Eq.7 for E，Eq.8 for A）。在此基础上展开交替近端梯度下降（PGD），E-problem 用 1D ProxyNetE（带 QR 正交约束）迭代精化光谱基，A-problem 用 U-Net 结构 ProxyNetA 迭代精化子空间图像。GFUM 机制将 k 维物理变量扩展到 C 维特征（C>k），辅助分量隐式携带 CASSI mask 编码、噪声残差等物理信息。

  • 输入 / 输出：输入：CASSI 单次快照 2D 编码测量 Y ∈ R^{H×W'} + 系统感知矩阵 Φ；输出：重建的 HSI X ∈ R^{H×W×B}（B=28 通道，256×256 空间分辨率）
  • 核心机制：GFUM 是效率增益的关键：将 k 维优化变量拆分为前 k 维物理分量（执行 GD 数据保真步）和后 (C-k) 维辅助分量（旁路保持不变直接传入 ProxyNet），ProxyNet 在 C 维空间操作获得更强表达能力，同时数据保真步仍严格约束物理对应的 k 维。ProxyNetE 对光谱基施加 QR 分解强制列正交性（E^T E = I），确保光谱基物理可解释；ProxyNetA 用 SCAB（Spatial Conv Attention Block）建模长程空间-光谱依赖。LRDUN-9stg（2.04M 参数，30.58G FLOPs）vs. DAUHST-9stg（6.15M，79.5G）：FLOPs 降至约 38%，PSNR 40.96 vs. 38.36 dB，SSIM 0.982 vs. 0.967。
  • 训练 / 评价：训练集：CAVE 数据集（28 通道 HSI）；测试集：KAIST 10 个场景（256×256，28 通道）。指标：PSNR（dB）和 SSIM，报告 10 场景均值。LRDUN-9stg 均值 PSNR 40.96 dB，同参数规模的 MiJUN-9stg（0.56M，73.67G FLOPs）PSNR 40.86 dB 但 FLOPs 高出 2.4×。同时在真实 CASSI 实验（real dataset）验证。风险：只用 PSNR/SSIM 评估，没有光谱角误差（SAM）或光谱 RMSE 指标，对色彩精度的判断不完整；k 的选取（physical rank）需人工设定，对未知材质场景可能欠秩。
  • 读法：重点看 Fig.1 的 PSNR vs. FLOPs 散点图，以及 GFUM 的消融实验（Section 5 ablation）：去掉辅助分量后 PSNR 下降多少——如果辅助分量 (C-k) 是主要增益来源而非低秩分解本身，则方法的物理可解释性叙事需重新评估。

4. 创新点

将低秩分解直接嵌入 CASSI 感知模型的数据保真项，而非作为后处理正则化项，首次把 SCI 重建从全维 HSI 空间转化为低维子问题；GFUM 机制解耦物理秩与网络特征维度，在保持算法可解释性的前提下大幅降低 FLOPs。

5. 优点与不足

优点：2.04M 参数 30.58G FLOPs 下达到当前 SOTA PSNR（40.96 dB），计算效率优势显著；算法展开保留物理可解释性；QR 正交约束使光谱基有物理意义。不足：physical rank k 需手工设定，对复杂场景（如植被、矿物）光谱维数可能偏低；只在 CASSI 系统验证，未覆盖 DD-CASSI 或 SD-CASSI 变体；缺少光谱角误差（SAM）和 ΔE 级光谱保真度评估，PSNR 不能完全代表光谱辨识精度。

6. 改进方向

1. 引入自适应秩估计（如基于测量信噪比动态调整 k），提升对未知复杂场景的鲁棒性。2. 在实际多光谱传感器（如 Fabry-Perot 滤波片阵列）上端到端集成 LRDUN，报告重建通道的光谱精度（RMSE vs. 参考光谱仪），量化对 AWB/CCM 下游任务的影响。

076

EMR-Diff: Edge-aware Multimodal Residual Diffusion Model for Hyperspectral Image Super-resolution

Tao Zhang, Shengtao Yao, Rong Zeng, Zunjie Zhu, et al. (8 authors)

CVF · PDF

RAW/ISPSpectral

1. 要解决什么问题

同时获得高空间、高光谱分辨率的 HSI 受硬件约束，主流方案是将 LR-HSI 与 HR-MSI 融合。现有扩散模型直接用 DDPM 框架，存在三个瓶颈：步数过多导致采样低效（需数百步）、纯高斯噪声对 HSI 边缘高频细节关注不足、标准 UNet 早期融合导致特征干扰和上采样盲目性。这直接影响融合 HSI 的 PSNR 和 SAM 精度，对遥感/食品安全等下游应用有实质影响。

2. Motivation · 动机与启发

EMR-Diff: Edge-aware Multimodal Residual Diffusion Model for Hyperspectral Image Super-resolution motivation figure
普通 DDPM 与 EMR-Diff 扩散链对比：残差端点 + 边缘感知噪声取代全噪声链 [page 1 Fig.1]

标准 DDPM 把 HR-HSI 弥散到纯高斯噪声再反向恢复，需要数百步且对 HSI 边缘高频细节的关注完全由网络自学——而高斯噪声对每个像素是均匀扰动，无法区分高频边缘与平坦区域。作者注意到 HR-MSI 同场景参考图天然携带精确的空间边缘信息，且 HR-HSI 与 LR-HSI+HR-MSI 之间的差异（而非与纯噪声的差异）才是真正需要学习的量。由此启发了两处设计：用 Sobel 梯度图调制噪声权重，让边缘区域承受更强扰动，引导去噪网络聚焦高频；把扩散链两端定义为 HR-HSI+Pseudo-MSI 与 LR-HSI↑+HR-MSI 的残差空间（ResShift 思路的多模态推广），把所需步数从数百步压缩到几十步。

3. Method overview

EMR-Diff: Edge-aware Multimodal Residual Diffusion Model for Hyperspectral Image Super-resolution method figure
EMR-Diff 总框架：Markov 链从 HR-HSI+Pseudo-MSI 出发，经边缘感知噪声 N* 与 Multimodal Residual E0 的联合调制逐步前向/逆向扩散，向 LR-HSI↑ + HR-MSI 端点收敛 [page 3 Fig.2]

EMR-Diff 在扩散过程层面做了三处改造：(1) Multimodal Residual 机制——以 HR-HSI+Pseudo-MSI 为链起点、LR-HSI↑+HR-MSI 为链终点，将两者之差 E0 作为残差渐进注入 Markov 链，把所需扩散步数压缩到几十步；(2) Edge-aware Noise——用 Sobel 算子提取 HR-MSI 的梯度幅值对高斯噪声加权，边缘区域施加更强扰动，引导去噪网络优先重建高频结构；(3) BAF-UNet——双路 UNet，去噪路径处理带噪输入、引导路径处理 LR-HSI+HR-MSI 观测，延迟融合避免干扰，配合多尺度 L1 监督每级上采样输出。

  • 输入 / 输出：输入：LR-HSI（低分辨率高光谱）+ HR-MSI（高分辨率多光谱）；输出：HR-HSI（高分辨率高光谱）
  • 核心机制：核心模块为 Multi-scale Group Attention Block（MSGAB）：组卷积双路提取密/稀疏通道特征 g1/g2，经 Softmax 加权自适应融合后通过 MLP+残差输出；双路设计（denoising path + guiding path）避免早期融合特征污染；多尺度监督以 HR-HSI 的逐级下采样版本作为每个 upsampling stage 的强制监督目标，消除上采样盲区。Multimodal Residual 的物理意义是同时编码 LR-HSI→HR-HSI 的空间缺失和 Pseudo-MSI→HR-HSI 的光谱差距，ResShift 中的单模态残差无法捕获后者。
  • 训练 / 评价：训练集：ICVL（256×256×31，BG filter）、Harvard、Chikusei（256×256×128）；评价指标 PSNR、SSIM、SAM、ERGAS；EMR-Diff 在三个数据集上均取得最优：ICVL PSNR 55.40 dB（次优 DSPNet 55.19），Harvard 49.28 dB，SAM/ERGAS 也全面领先。风险点：仅在 PSNR/SSIM 层面评价，未报告 ΔE 或感知色差，且扩散生成过程存在纹理幻觉（hallucination）问题在 HSI 中不易发现。
  • 读法：重点审视 Ablation（Table 2）中单模态 vs. 多模态残差的对比：量化 multimodal residual 相对于 unimodal residual 的增益，以及边缘感知噪声对 SAM 的具体贡献——这两点是最核心的创新主张。

4. 创新点

将扩散链的起/终两端从"信号→纯噪"转变为"HR-HSI+Pseudo-MSI → LR-HSI↑+HR-MSI"，并用空域边缘图调制高斯噪声权重，这是 ResShift 范式在多模态高光谱融合上的首次系统性扩展。

5. 优点与不足

优点：采样步数大幅压缩（相比标准 DDPM），在三个 benchmark 上 PSNR/SAM 均 SOTA，BAF-UNet 双路设计架构清晰。不足：生成式扩散补出的纹理在光谱维度是否自洽缺乏验证（SAM 改善可能掩盖局部光谱失真）；仅测试了有监督场景下固定光谱波段设置，跨传感器泛化未验证；推理速度与确定性方法相比仍偏慢。

6. 改进方向

1. 引入光谱约束损失（如逐 band SAM 加权 loss）对生成补纹理区域的光谱自洽性做明确惩罚，防止扩散模型在高梯度区输出视觉好看但光谱不准的像素。2. 在真实双相机采集（LR-HSI + HR-RGB/MSI 非配准）场景下测试，验证 edge-aware noise 的边缘对齐假设在真实未配准条件下是否仍有效。

077

Enhancing Unregistered Hyperspectral Image Super-Resolution via Unmixing-based Abundance Fusion Learning

Yingkai Zhang, Tao Zhang, Jing Nie, Ying Fu

CVF · PDF · arXiv

RAW/ISPSpectral

1. 要解决什么问题

实际多相机系统中 LR-HSI 与 HR 参考图像（RGB 或 MSI）几乎不可能完美配准，平台振动/视角偏移/时序差异都会产生几何偏移。现有注册融合方法在配准误差下严重退化，预对齐方法（RAFT flow + 融合网络）会将对齐 artifacts 传播进光谱输出。直接用空-谱耦合网络做融合则使学习容量受限（耦合域优化复杂），这限制了真实场景下高光谱 SR 的精度与鲁棒性。

2. Motivation · 动机与启发

Enhancing Unregistered Hyperspectral Image Super-Resolution via Unmixing-based Abundance Fusion Learning motivation figure
未配准参考图导致 warp artifacts，UAFL 用 unmixing 解耦空-谱来规避显式对齐 [page 2 Fig.2]

现有未配准 HSI SR 方法的主流思路是「先对齐再融合」：用 RAFT 等光流网络估计像素级形变后 warp 参考图，再送入融合网络。但作者观察到，一旦预对齐出现误差，warp artifacts 会直接污染后续的空-谱特征学习，且空-谱耦合域的联合优化本身就极难收敛。启发来自 HSI 固有的光谱低秩性：自然材质的光谱响应可以用少数 endmember 线性表示（abundance map），这意味着可以把「空-谱全局映射」降维为「单纯学习 abundance 从 LR 到 HR 的增强」——空间几何信息由 endmember 矩阵承载，几何不对齐的影响被限制在低维 abundance 空间内，大幅降低了学习难度，同时规避了 warp 对光谱一致性的破坏。

3. Method overview

Enhancing Unregistered Hyperspectral Image Super-Resolution via Unmixing-based Abundance Fusion Learning method figure
UAFL 总架构：SVD 解混获取 endmember E 和初始 abundance A，经 CFDA 粗-细形变聚合引入未配准 RGB 纹理，SCACA 空-通道交叉注意力精炼 abundance 特征，SCMF 动态门控融合 encoder-decoder skip 输出 HR-HSI [page 3 Fig.3]

UAFL 将融合任务从"学习空-谱耦合域映射"转变为"学习残差 abundance map 的增强"：先用 SVD 对 LR-HSI↑ 解混为 endmember 矩阵 E 和初始 abundance A（固化光谱基底），随后网络只需把 abundance 从 LR 质量提升到 HR 质量，几何不对齐的影响仅在 abundance 的低维空间内体现，大幅降低了学习难度。未配准 RGB 的纹理通过 CFDA 隐式特征聚合（不做像素级 warp）引入，最终 HR-HSI = E × Â_HR + X↑。

  • 输入 / 输出：输入：LR-HSI（h×w×B）+ 未配准 HR-RGB（H×W×b）；输出：HR-HSI（H×W×B）
  • 核心机制：三个核心模块：(1) CFDA（Coarse-to-Fine Deformable Aggregation）——粗金字塔流预测器（CPFP）估计像素级 flow，精细子像素正弦频率位置编码（Fpe）辅助形变卷积做 fine refinement，最终用 deformable conv 聚合参考特征而不做显式 warp；(2) SCACA（Spatial-Channel Abundance Cross-Attention）——对 abundance feature 做序列 window 空间交叉注意力 + 通道注意力，以聚合后的参考特征调制 V 向量实现光谱-空间联合精炼；(3) SCMF（Spatial-Channel Modulated Fusion）——对 encoder-decoder skip 特征用深度卷积空间门控 Mspa 和 GAP 通道门控 Mspe 动态加权融合，替代常规 concat。
  • 训练 / 评价：ICVL 模拟集（Nikon D700 SRF 生成 RGB 参考，×4/×8/×16 下采样）和 REAL 真实集（SOC710-VP 双相机系统，60 对 indoor/outdoor）；指标 PSNR/SSIM/SAM。ICVL ×4 上 PSNR 41.84 dB（SSIM 0.986），超越次优 SSCH-S（41.38 dB）0.46 dB，参数量 5.94M 低于 SSCH-S（11.01M）的一半；LRTN（IJCV'25）在更少参数下 PSNR 仅 37.58 dB，说明 unmixing 解耦的优势明显。
  • 读法：重点看 Table 1 和 Fig. 4 中 ×4 尺度下 Ours vs. SSCH-S 的 SAM 差异：SSCH-S 的显式对齐在 warp 图中引入几何 artifacts（Fig. 2c），而 UAFL 通过隐式 CFDA 聚合是否真正规避了 artifacts 还是仅在 PSNR 上胜出——SAM 是核心检验指标。

4. 创新点

在 unregistered HSI SR 中引入 SVD 解混作为前处理将问题域从空-谱耦合降维为 abundance 增强，这是相比 RAFT 预对齐范式（SSCH 等）的本质性路线转变，结合 CFDA 的子像素频率编码做隐式特征聚合，无需显式像素对齐即可利用未配准参考纹理。

5. 优点与不足

优点：unmixing 解耦策略天然对几何不对齐鲁棒，参数效率高（5.94M vs. SSCH-S 11M），在模拟和真实数据上均 SOTA。不足：SVD 解混固化的 endmember 数量 K 是超参，对复杂场景（endmember 数多于预设 K）可能欠拟合；REAL 数据集偏小（仅 10 组测试对），泛化性结论偏弱；对高倍率（×16）下 endmember 估计的稳定性未充分讨论。

6. 改进方向

1. 将固定 K 个 endmember 改为自适应 rank（如基于 SVD 奇异值能量比动态截断），使 unmixing 对复杂纹理场景更鲁棒。2. 在真实 hyperspectral×RGB 同步采集平台上（如工业相机 + 海康高光谱）测试严格不配准场景，补充不同配准误差量级下的 PSNR/SAM 降级曲线。

078

Exploring Spatiotemporal Feature Propagation for Video-Level Compressive Spectral Reconstruction: Dataset, Model and Benchmark

Lijing Cai, Zhan Shi, Chenglong Huang, Jinyao Wu, et al. (9 authors)

CVF · PDF · arXiv · Supp

RAW/ISPSpectral3D/Photometric

1. 要解决什么问题

编码孔径快照光谱成像（CASSI）逐帧重建存在两个内在缺陷：mask 编码遮蔽了空-谱特征，导致从单帧压缩测量重建被遮蔽信息本质上具有不确定性；逐帧独立重建范式破坏时序一致性（强度曲线抖动），在动态场景（跟踪、自动驾驶、HSI 分类视频）中会产生严重的时域 flickering。此外，缺乏专门用于视频级光谱重建的高质量动态数据集阻碍了该方向的研究。

2. Motivation · 动机与启发

Exploring Spatiotemporal Feature Propagation for Video-Level Compressive Spectral Reconstruction: Dataset, Model and Benchmark motivation figure
SD vs DD 架构对比 + 逐帧重建 vs 视频级传播的时域一致性示意 [page 1 Fig.1]

CASSI 系统的固定 mask 对不同帧施加完全相同的空-谱编码，意味着任意两帧在同一空间位置被遮蔽的光谱通道是相同的——但由于场景中存在运动，相邻帧在该位置的物体不同，其未被遮蔽的通道也不同。这一物理上的「互补编码」特性提示，逐帧独立重建等同于放弃了跨帧天然存在的光谱冗余。更深层的问题是：现有 image-based 方法对时序连续性没有任何约束，在动态视频场景中会产生强烈的时域 flickering，而这个缺陷根本无法通过提升单帧重建质量来修复。因此，把重建范式从 image-level 提升到 video-level、主动利用跨帧互补信息，是针对 CASSI 物理特性的逻辑上必然的演进方向。

3. Method overview

Exploring Spatiotemporal Feature Propagation for Video-Level Compressive Spectral Reconstruction: Dataset, Model and Benchmark method figure
PG-SVRT 总框架：MGDP 感知 mask 降质特征作为前处理，U-Net 型 CDPB 堆叠提取时空特征，CDPA 空间-then-时间 progressive attention 跨帧传播互补光谱信息，MDFFN 多域前馈网络 [page 4 Fig.3]

PG-SVRT 将 SCI 重建从 image-level 扩展到 video-level，核心思路是利用相邻帧因 mask 固定而天然存在的互补编码信息来填补单帧缺失。整体为 U-Net 架构，三个核心组件：MGDP 对 mask 降质先验建模（SD/DD 两种编码体系统一处理），CDPA 做空间-then-时间的渐进注意力并引入 bridged token 压缩复杂度，MDFFN 在空间/时间两个域分头提取特征后整合。

  • 输入 / 输出：输入：T 帧连续 SCI 测量序列（H×W'，DD-CASSI 格式）+ mask 矩阵 Φ；输出：T 帧高光谱视频（T×H×W×C）
  • 核心机制：MGDP 对 SD/DD 两种体系的 mask 沿光谱维压缩得到 Φs，再复制为 Φp 表示每通道空间强度分布，与测量 Y 经点乘感知降质特征 WΦ，concatenate 输入主网络，实现编码体系无关的降质感知。CDPA 的 spatial-then-temporal 设计：空间分支用矩形 window（Hwin=8, Wwin=32）+ bridged token（NB=64）做局部-全局交互，时间分支复用空间分支的 shared value 做全帧时序 attention，两者共享 V 避免离散化。MDFFN 按 head 拆分后分别用 Conv1×3×3（空间）和 Conv3×1×1（时间）并行提取再融合。
  • 训练 / 评价：新建数据集 DynaSpec：GaiaField push-broom 相机逐帧采集 30 个动态场景（300 帧，1280×1280，400-700 nm，2 nm 分辨率，151 波段）；训练：CAVE + 25 组 DynaSpec；测试：KAIST + 5 组 DynaSpec（30 波段，500-650 nm）。评价指标：PSNR、SSIM、SAM、ST-RRED（时域一致性）。PG-SVRT 在 DD-CASSI 上 KAIST PSNR 41.23 dB（次优 SSR 40.50 dB），ST-RRED-K 19.35（次优 SSR 25.90），DynaSpec PSNR 41.82 dB；FLOPs 低于多数 image-based 基线。
  • 读法：重点审视 Table 1 的四种 SCI 系统对比（DD-CASSI vs. SD-CASSI vs. PMVIS vs. NDSSI）：DD-CASSI 在视频级重建中显著优于其他系统（PSNR 41.52 vs. SD-CASSI 37.78），这一系统选型结论对后续实验设计具有决定性意义；同时看 ST-RRED 指标，这是区分视频级方法与 image-based 基线的关键量化维度。

4. 创新点

首次将视频级时序传播引入 CASSI 压缩光谱重建，构建了第一个高质量动态 HSI 数据集 DynaSpec，并系统评测了 4 种 SCI 系统在视频级任务上的适用性差异——DD-CASSI 的双分散架构因能保持空间结构清晰度而明显更适合跨帧特征传播。

5. 优点与不足

优点：ST-RRED 时序一致性指标大幅优于 image-based 方法，FLOPs 效率良好，DynaSpec 数据集本身有独立贡献价值。不足：DynaSpec 仅 30 场景、T=3 帧窗口，真实快速运动场景的覆盖有限；评测仅限 30 波段 500-650 nm，未覆盖更宽光谱（SWIR）；桥接 token 数 NB=64 的选择对不同时序长度的敏感性未分析；与真正的 RGB 视频超分辨率方法的性能差距仍大。

6. 改进方向

1. 将 bridged token 机制扩展为自适应时序窗口（T 帧自适应选择），对运动幅度大的场景用更长时序窗口捕获互补信息。2. 在真实 DD-CASSI 系统上采集包含已知光谱的标准色块序列，用 SAM 对比真实光谱验证重建光谱精度，防止 PSNR 高但光谱失真的情况。

079

Joint Spectral Image Reconstruction and Semantic Segmentation with Cooperative Unfolding

Zijun He, Ping Wang, Xiaodong Wang, Chang Chen, et al. (5 authors)

CVF · PDF · Supp

RAW/ISPSpectral3D/Photometric

1. 要解决什么问题

CASSI 获取的压缩 HSI 在语义分割应用中被迫走两阶段流水线：先用独立重建网络恢复 HSI，再用独立分割网络处理，错误在两级间累积。更根本的问题是，重建任务依赖的空-谱低层特征与分割任务依赖的高层语义特征本质上互补——重建网络的 attention 能受益于语义先验（知道哪里是物体边界），分割网络的 attention 能受益于逐像素光谱精度——两者分离导致双向增益都被放弃。

2. Motivation · 动机与启发

Joint Spectral Image Reconstruction and Semantic Segmentation with Cooperative Unfolding motivation figure
两阶段流水线 vs 单阶段 CRSDUN 的 CASSI 成像示意及性能对比 [page 1 Fig.1]

现有 CASSI 重建与语义分割被强制拆成两阶段 pipeline，而作者观察到这两个任务在空-谱 representation 上天然相互依赖：重建网络解码的低层空-谱特征恰恰是分割网络所需的输入表示，分割产生的语义边界反过来也能引导重建关注边界细节。两阶段的割裂既造成误差累积，又浪费了两任务在特征空间中的互补性。这一对称互补关系正是将 HSI 重建与分割统一进单一 unfolding 框架的出发点——让两支路在每个 HQS 迭代阶段中交替强化，而非独立训练后串联。

3. Method overview

Joint Spectral Image Reconstruction and Semantic Segmentation with Cooperative Unfolding method figure
CRSDUN 总架构：CASSI 测量经 Initial Module 初始化后，K 个 stage 交替运行 Recon Module（HQS 梯度下降 GD + proximal operator）和 Seg Module（LISTA soft-thresholding + proximal），双任务互向传递表征 [page 3 Fig.3]

CRSDUN 将 HQS（Half-Quadratic Splitting）算法展开为 K 个 stage 的深度展开网络，每个 stage 包含 HSI 重建的梯度下降子步和分割 map 更新的 LISTA 子步，两者在同一 stage 内交替优化并通过 CASTA（Cross-Aggregated Super-Token Attention）机制双向交换表征。这是首个将 CASSI 重建与语义分割在统一数学框架下联合求解的方法，不是串联而是并联互补。

  • 输入 / 输出：输入：CASSI 单次曝光 2D 测量 y（H×(W+d(C-1))）+ coded mask M；输出：HR-HSI x（H×W×C）+ 语义分割 map θ（H×W×N_class）
  • 核心机制：HSI 重建子步基于 HQS 的闭式解（z 更新：z^{k+1} = x̃^k + A^T(y-Ax̃^k) ⊘ (1+β+Diag(AA^T))），分割子步利用 LISTA 可学习字典 Φ 做 soft-thresholding（ξ^{k+1} = soft_b(Sξ^k + Wx^{k+1} + γθ^k)）。CASTA 的核心操作：用 AdaptivePooling 从分割 feature Θ 初始化 super-token S，计算 S 与 HSI pixel feature X 的相关矩阵 Q，再对 super-token 做 self-attention 后 reshape 回像素域——本质是让重建网络通过语义超token感知物体级结构先验，反向则让分割网络接收重建精细光谱特征。每 stage 的 µ/β/γ/b 超参由 degradation-aware estimator E_k(x^k, θ^k) 预测。
  • 训练 / 评价：FVgNET 数据集（317 帧 HSI，512×512×28 band，400-730 nm BK7 prism 插值，23 类水果蔬菜分割标签，256 训练/50 测试）；loss = MSE 重建 + CrossEntropy 分割，多 stage 衰减加权（λ_stage=0.7, λ_ce=1e-4），Adam, lr=4e-4, cosine annealing, 500 epoch。CRSDUN-5stg：PSNR 39.88 dB / SSIM 0.977，mIoU 92.33%，超越 SSR-9stg+Seg（39.50 dB/85.74% mIoU），参数 6.73M/99.07 GFLOPs vs. SSR-9stg 的 10.3M/161.0 GFLOPs。
  • 读法：核心验证点是 Table 2 的 cooperative unfolding 消融实验：baseline-1 仅保留重建展开网络（37.33 dB/84.31% mIoU），引入分割 map 到重建梯度步+0.57 dB/+1.77% mIoU，再加 LISTA 分割展开+0.13 dB/+0.47% mIoU——数字显示双向耦合的增益主要来自"分割辅助重建"方向，需进一步判断"重建辅助分割"的边际贡献。

4. 创新点

首个基于 HQS 展开将 CASSI 重建与语义分割纳入统一优化框架的网络，CASTA 的 super-token 采样机制使语义级粗粒度先验能干预重建网络的像素级 attention，无需手工设计任务间交互方式，且展开网络结构赋予方法物理可解释性。

5. 优点与不足

优点：联合重建-分割在参数/FLOPs 双低于两阶段基线的情况下同时提升两个任务，real CASSI 实验（真实-假水果葡萄场景）验证了真实可用性。不足：FVgNET 仅 317 张、23 类局限于果蔬场景，泛化到遥感/医学等 CASSI 场景未验证；LISTA 中的字典 Φ 在不同 stage 间共享，可能限制每 stage 的表征多样性；ST-RRED 等时域指标未涉及（仅静态图像）。

6. 改进方向

1. 将 CASTA super-token 机制扩展到多类场景先验（如用 CLIP 语义特征初始化 super-token），使重建网络对未见过分割类别也能利用语义结构引导。2. 在更大 CASSI 数据集上测试（如 ARAD_1K 光谱超分 + pixel-level 标注），或引入少量标注的半监督设置，评估 cooperative unfolding 在数据受限场景的泛化能力。

080

Regulating Rather than Constraining: Adaptive Guidance for Complex Spectral Reconstruction in Pansharpening

Zhuwei Wen, Zimin Xia, He Chen, Linwei Yue, et al. (5 authors)

CVF · PDF · Supp

RAW/ISPSpectral3D/Photometric

1. 要解决什么问题

遥感 pansharpening 的核心难点在于地物边界和内部纹理处的光谱混合区（spectrally mixed regions）——同一像素内多种地物光谱叠加，使其 spectral signature 高度非均匀。现有方法（ARConv、FusionMamba 等）对均质地物重建尚可，但在混合区 SAM/ERGAS 显著劣化：根本原因在于混合像素占比少，常规 L1 优化中被均匀对待，梯度贡献被大量均质区稀释。在 WV3 数据集上，ERGAS 在地物边界比均质区高约 15%–20%。

2. Motivation · 动机与启发

Regulating Rather than Constraining: Adaptive Guidance for Complex Spectral Reconstruction in Pansharpening motivation figure
现有方法在光谱混合边界区的误差分布，体现了问题核心所在 [page 1 Fig.1]

遥感影像中光谱混合像素（spectrally mixed region）的比例极低，在标准训练集内严重欠采样，导致依赖网络归纳偏置或固定物理约束的方法在边界和内部纹理区泛化能力差。作者发现问题的根源不在架构容量不足，而在于现有训练策略对混合区的关注度不够——梯度在简单均匀区大量消耗，复杂混合区获得的更新信号严重稀释。与其固化约束，不如在数据层和损失层动态增强对复杂区域的注意力分配，这一思路比通用架构改进更具可迁移性，无需改变推理阶段的计算图。

3. Method overview

Regulating Rather than Constraining: Adaptive Guidance for Complex Spectral Reconstruction in Pansharpening method figure
MixShuffle（左）对空间位置和光谱通道做随机凸组合扩增，生成含更强光谱混合的训练样本；HAL（右）在像素/通道/样本三层对梯度重新加权，引导网络重点优化结构复杂区域 [page 4 Fig.2]

提出一套与骨干网络无关（architecture-agnostic）的正则化框架，从数据和损失两条线改善混合区学习：数据层面设计 MixShuffle，对训练样本做空间 + 光谱维度的随机凸组合，构造更丰富的混合光谱样本；损失层面设计 HAL（Hierarchical Attention Loss），在像素、通道、样本三个层次引入多项式权重 W(x)=x(1+x)^γ，让误差大的区域获得更强梯度放大，两者训练时仅有可忽略计算开销且不影响推理速度。同时提出 DANet（Dual-scale Attention Network）作为骨干，通过 DAIM（Dual-scale Attention Interaction Module）中的 Shared Cross Transformer（SCT）直接建立多尺度 MS-PAN 特征的跨尺度交叉注意力交互，缓解尺度不一致导致的边缘模糊。

  • 输入 / 输出：输入：低分辨率 MS 图像（WV3：8 bands；QB/GF2：4 bands）+ 高分辨率 PAN 图像；输出：高分辨率 MS 融合图像
  • 核心机制：MixShuffle 对两对训练样本 (Mα, Pα, Fα) 和 (Mβ, Pβ, Fβ) 先做 sample-level Beta(θ1, θ1) 凸组合，再沿光谱维做 channel-shuffle + Beta(θ2, θ2) 凸组合，生成含更强光谱混合结构的训练样本。HAL 对误差引入 φ(x)=(1+x)^γ·(1+γx/(1+x)) 梯度权重：训练初期误差大时权重剧增（重点攻克混合区），训练后期误差收敛后退化为标准 L1。SCT 利用共享 query-key 矩阵策略（Im, Ip 替代独立 Q/K），减少参数量并保持跨尺度特征交叉注意力。
  • 训练 / 评价：在 WV3（WorldView-3, 8 bands）、GF2（GaoFen-2, 4 bands）、QB（QuickBird, 4 bands）三个公开数据集上评估；降分辨率测试集用 SAM、ERGAS、Q2n、SCC，全分辨率集用 Dλ、Ds、QNR、HQNR。与 14 个 baseline（含 FusionMamba、ARNet、Invformer 等）比较；在 WV3 上以 SAM=2.69、ERGAS=1.91 超越次优方法 4.6%/3.5%；在 GF2 上 SAM 领先 14.7%，ERGAS 领先 5.4%。需注意：评价指标均在缩小分辨率图像上与 GT 比较（Wald 协议），全分辨率无参考的 QNR 类指标对谱精度敏感度不同，需同时关注 SAM 和 ERGAS。
  • 读法：重点盯 HAL 中 γ 超参数对边界/混合区 ERGAS 改善幅度（论文报 QB 地物边界 ERGAS 提升 4.21%–19.03%），以及 MixShuffle 能否迁移至其他高光谱上采样任务（论文仅在 MS pansharpening 上验证）。

4. 创新点

将正则化视角引入 pansharpening：MixShuffle 从数据侧模拟光谱混合难样本，HAL 从梯度侧动态上调难区权重——两者均不改变推理结构，却在 7 种不同骨干上均有稳定增益，这种「training-time only」可插拔增强范式在该任务中属首次系统验证。

5. 优点与不足

优点：两个策略均为 plug-in，零推理开销，7 种骨干均有增益，实用性强。不足：(1) MixShuffle 中 θ1、θ2 的 Beta 参数需手调，不同传感器的最优值未给出搜索协议；(2) HAL 的 γ 也是固定超参，训练中不自适应；(3) 所有测试均在模拟降分辨率数据上，真实全分辨率下 spectral fidelity 验证依赖无参考指标，可靠性有限；(4) DANet 仅在 pansharpening 场景下验证，未延伸至更广的 multispectral fusion 任务。

6. 改进方向

(1) 将 HAL 的 γ 改为依据当前 batch 误差分布自适应调整的 soft schedule，避免手调；(2) 将 MixShuffle 扩展到 CASSI 或高光谱超分任务中，验证对光谱混合分布泛化的普适性。

081

SGDE: Self-supervised Geometry Degradation Estimation Framework for Coded Aperture Compressive Spectral Imaging

Yuqiao He, Xiaoyan Liu, Jianxu Mao, Yaonan Wang, et al. (8 authors)

CVF · PDF · Supp

RAW/ISPSpectral

1. 要解决什么问题

CASSI（Coded Aperture Snapshot Spectral Imaging）将物理编码与计算解码紧耦合：mask 编码高光谱信息后经棱镜色散压缩到 2D 探测器。实际部署中热膨胀、机械振动会造成 mask 亚像素级几何偏移，仅 0.5 像素平移就能使重建 PSNR 下降约 15 dB（从 ~38 dB 跌至 ~22 dB）。现有离线标定依赖单色仪等专用仪器，无法应对动态扰动；有监督降解估计方法受限于设备差异难以跨机泛化。如何在无参考目标、无设备专属训练数据的情况下在线估计 mask 几何偏移，是 CASSI 实用化的核心瓶颈。

2. Motivation · 动机与启发

SGDE: Self-supervised Geometry Degradation Estimation Framework for Coded Aperture Compressive Spectral Imaging motivation figure
mask 未对齐（Unaligned）vs 仿射校正后（Aligned）的重建效果对比 [page 1 Fig.1]

CASSI 将物理编码（mask + 棱镜色散）与计算解码紧耦合，这意味着 mask 哪怕发生亚像素级偏移（热漂移、机械振动），解码时的前向模型就已失效，重建质量急剧劣化。现有离线标定方案依赖单色仪等专用仪器，无法应对实时动态扰动；有监督退化估计方法又与特定设备绑定，跨机型泛化差。作者意识到 mask 偏移本质上可以用仿射变换参数化——这既提供了强物理可解释性，又将未知量压缩到极少数自由度，从而可以在单次快照内以自监督方式同时求解仿射参数和 HSI，无需任何参考目标或设备专属训练数据。

3. Method overview

SGDE: Self-supervised Geometry Degradation Estimation Framework for Coded Aperture Compressive Spectral Imaging method figure
SGDE 双分支框架：上分支用轻量 MLP（Affine Generator Ga）在自监督方式下估计仿射参数（平移/旋转/缩放），下分支用 LCTC-based HSI Generator Gx 重建光谱立方体，两者通过 CASSI 成像模型共享测量值 y 联合优化 [page 5 Fig.4]

SGDE 将 mask 偏移建模为 6 参数仿射变换（平移 tx/ty、旋转、缩放），将其嵌入 CASSI 成像矩阵 Φ，把联合 HSI 重建 + 仿射估计表述为 MAP 问题，再用 DIP 范式以 self-supervised 方式从单次测量 y 直接优化，无需任何外部参考。引入 Multi-Kernel 策略初始化多个覆盖不同仿射参数空间区域的网络（kernel），用 Spectral-Spatial Total Variation（SSTV）选出最优 kernel 后做二阶段精调，扩大可靠估计范围。

  • 输入 / 输出：输入：单张 CASSI 2D 压缩测量值 Y ∈ R^{H×(W+D(C-1))}，以及 mask M 的名义图案；输出：仿射参数 a（6 参数仿射矩阵）+ 重建的高光谱立方体 X ∈ R^{H×W×C}（C=28 spectral bands）
  • 核心机制：HSI Generator Gx 采用 LCTC 骨干（U-Net + Convolutional Threshold Sparse Coding 模块，通过卷积字典 + 软阈值算子促进光谱稀疏性）；Affine Generator Ga 用单隐层 MLP + tanh，输出受限于预定义范围（±2 pixels, ±0.8°, ±0.008 scaling）。两网络联合以 ||y - T(Φ, Ga(za))·Gx(zx)||^2_2 为损失直接在测量值上优化（无监督）。Multi-Kernel 策略初始化 K=8 个覆盖不同偏移中心的 kernel，各跑 Ts=1000 步后按 SSTV 选最优者，再做 Tℓ=6000 步精调；学习率固定为 1e-3。
  • 训练 / 评价：仿真数据：KAIST 数据集 10 个场景，裁剪为 256×256×28 patches；真实数据：TSA 数据集（Scenes 01-03）及自建 SD-CASSI 系统采集数据（6 个场景）。评价指标：PSNR、SSIM。基线含 GAP-TV、GST、RDLUF、DERNN、MIDET（有监督）和 DDIP、LCTC（自监督 DIP）。SK-LCTC 在 0.5 像素偏移时 PSNR=35.13（LCTC 仅 22.31），MK-LCTC 进一步在大偏移（1.0 px、0.4° 旋转）时优势更显著；需注意实验在仿真偏移下进行，真实扰动的统计分布可能更复杂。
  • 读法：最该关注 Multi-Kernel 策略在大偏移（≥1 px）时 PSNR vs. 有监督方法（RDLUF/DERNN）的对比表（Table 1），以及 SSTV 作为选 kernel 准则的有效性——这个选择策略若不可靠，整个 multi-kernel 设计就失效。

4. 创新点

首次将 CASSI mask 偏移显式建模为仿射变换并嵌入成像矩阵，在不依赖任何设备专属训练数据的情况下以 self-supervised DIP 联合估计偏移参数和 HSI；multi-kernel 策略用 SSTV 作为无参考指标跳出局部最优，是 CASSI 系统自适应标定的全新思路。

5. 优点与不足

优点：自监督、无设备专属数据，可 plug-and-play 插入任意 CASSI 重建算法；仿射建模提供物理可解释性。不足：(1) 每次重建需在线优化 6000+ 步，实时性差（论文未给出单帧推理时间）；(2) 仿射参数搜索范围需人工预设，遇到超出预设范围的大扰动会失效；(3) 仅在单色散棱镜 CASSI 上验证，双色散或空间变化 PSF 的系统未覆盖；(4) 所用 SSTV 准则假设 HSI 空谱平滑，对低纹理场景可能选 kernel 失准。

6. 改进方向

(1) 用轻量 meta-learning 预训练 Ga 网络以加速在线优化（减少迭代步数至 <1000），降低单帧延迟；(2) 将仿射参数搜索扩展到非线性畸变（径向畸变 + 色差），覆盖更多真实 CASSI 系统的光学误差。

082

Spatial-Spectral Residuals Informed Diffusion Neural Operator for Pan-sharpening

Jiahan Huang, Ran Ran, Junming Hou, Zihao Chen, et al. (7 authors)

CVF · PDF · Supp

RAW/ISPSpectral

1. 要解决什么问题

扩散模型在 pansharpening 上精度高但推理代价极重：标准 attention-based 扩散骨干（如 PanDiff）在高分辨率（如 WV3 full-res）下显存超限（OOM），计算复杂度随空间分辨率二次增长。同时，现有引导扩散方法（gradient-guided）靠多个无监督损失函数的梯度来动态调节，存在多目标梯度冲突和权重调参繁琐的问题。遥感卫星硬件严格限制算力，迫切需要在保持生成质量的同时大幅降低计算量。

2. Motivation · 动机与启发

Spatial-Spectral Residuals Informed Diffusion Neural Operator for Pan-sharpening motivation figure
梯度引导（Gradient-Guided）vs 残差注入（Residuals-Informed）diffusion 范式对比示意 [page 2 Fig.2]

扩散模型用于 pansharpening 时，标准 attention-based 去噪骨干在高分辨率遥感影像下面临内存爆炸（OOM）和极高 FLOPs 的双重瓶颈，限制了其在星载硬件约束下的实用性。同时，已有梯度引导策略依赖多个无监督损失的梯度之和来更新噪声预测，存在梯度冲突并需要精细调权。作者认识到，可以把扩散过程搬到算子学习空间（operator learning space）中，用 Galerkin-type neural operator 替代 attention，使计算复杂度从平方降为线性；同时直接将像素级空-谱 consistency residual 注入每一步 reverse diffusion，将其作为闭环反馈而非梯度信号，从根本上规避梯度冲突。

3. Method overview

Spatial-Spectral Residuals Informed Diffusion Neural Operator for Pan-sharpening method figure
SRINO 两阶段流程：Stage I 在高分辨率参考上预训练 Galerkin-type Neural Operator（GA Layer）扩散模型学习先验；Stage II 冻结扩散网络后通过 TGA（Triple Guidance Adaptation）注入跨模态特征 V、空间一致性残差 Rspa 和光谱一致性残差 Rspe 进行微调 [page 3 Fig.3]

用 Galerkin-type Neural Operator（线性注意力，复杂度 O(Nd²) 而非 O(N²)）替换扩散模型的 attention-based 降噪骨干，将整个扩散过程置于连续函数空间中（function-space diffusion），实现分辨率无关的连续算子学习。两阶段训练：Stage I 在高分辨率参考图像上预训练条件扩散模型，学习空谱生成先验；Stage II 冻结扩散参数，通过 TGA（Triple Guidance Adaptation）微调：注入跨模态特征 V（由轻量辅助预测器 Φ 提取）、像素级空间一致性残差 Rspa（PAN 与伪 PAN 之差）和像素级光谱一致性残差 Rspe（模糊 HRMS 与 LRMS 之差），形成闭环动态反馈。

  • 输入 / 输出：输入：上采样 LRMS（多光谱低分辨率，WV3：8 bands）+ 高分辨率 PAN；输出：高分辨率 MS（HRMS）融合图像
  • 核心机制：Galerkin 注意力将 kernel integral operator 离散化为 Q(K̃ᵀṼ)/N（K, V 先 LayerNorm），把 softmax 注意力的 O(N²d) 降为 O(Nd²)，大幅减少显存占用且在高分辨率下不会 OOM。TGA 在每步逆扩散中：(1) 辅助预测器 Φ 将 PAN/LRMS + 残差 PAN（P - fM2P(L)）融合为跨模态特征 V；(2) 由上一步估计 Ŷ^(t+1) 与真实 PAN 比较生成 Rspa^(t)；(3) 用谱核估计网络 fKE 生成 11×11 模糊核对 Ŷ^(t+1) 模糊后与 LRMS 做差得 Rspe^(t)；两路残差经 CB + channel attention 加权后注入各 Galerkin 算子层，动态校正扩散轨迹。
  • 训练 / 评价：预训练在 WV3 高分辨率参考上；微调用 WV3 (PAN+LRMS) 配对训练集（64×64 patches, batch=32, AdamW lr=4e-5, cosine decay）；扩散步数 500，推理用 25 步 DDIM。降分辨率测试：WV3，PSNR=39.305，SAM=2.869，ERGAS=2.111，Q2n=0.922；全分辨率：HQNR=0.950，均为 SOTA。对比 11 个方法（含 LFormer、ADWM、PanDiff）。风险：生成式方法补充的高频纹理在无 GT 的全分辨率测试下难以验证是否光谱保真（QNR/HQNR 为间接代理指标）。
  • 读法：核心抓手：TGA 中三路残差（V、Rspa、Rspe）各自的贡献消融（论文 Table 3），以及 Galerkin 算子与标准 softmax attention 在推理时间/FLOPs/HQNR 上的换算表（Fig.1）——用 3% 的 FLOPs 换来接近的精度是该方法成立的核心论据。

4. 创新点

在 pansharpening 中首次将扩散过程置于连续函数算子空间（function-space diffusion），以 Galerkin 线性注意力彻底解决 diffusion 的计算瓶颈；并在每步逆扩散中动态注入像素级空谱一致性残差替代梯度引导，消除多目标梯度冲突。

5. 优点与不足

优点：Galerkin 注意力在大分辨率下不 OOM，推理加速数倍；残差引导比梯度引导稳定，不需调梯度权重。不足：(1) 两阶段训练流程复杂，Stage I 需大量高分辨率参考图（实际 RS 卫星原始高分数据有限）；(2) Rspa 依赖 M2P 频谱-空间映射网络 fM2P 质量，若 MS-PAN 光谱重叠区窄（如某些卫星波段配置）则伪 PAN 不准；(3) 仅在 WV3 上报告结果，未在 GF2/QB 上验证，多传感器泛化待确认。

6. 改进方向

(1) 将 Stage I 预训练数据扩展到多传感器混合（WV3+GF2+QB）以提高骨干的光谱-空间先验泛化性；(2) 设计自适应 fKE 估计不同 MS-PAN 系统的光谱响应差异，而非固定 11×11 固定核，增强跨传感器鲁棒性。

083

Spectral Super-Resolution via Adversarial Unfolding and Data-Driven Spectrum Regularization: From Multispectral Satellite Data to NASA Hyperspectral Image

Si-Sheng Young, Chia-Hsiang Lin

CVF · PDF · arXiv · Supp

RAW/ISPSpectral

1. 要解决什么问题

Sentinel-2（12 bands，60/20/10 m GSD）覆盖全球但光谱分辨率极低；NASA AVIRIS-NG（186 bands，5 m GSD）高光谱-高空间分辨率但仅覆盖美洲。能否将 Sentinel-2 重建到 AVIRIS-NG 级别（12→186 bands，空间分辨率统一到 5 m GSD）是首次有人系统研究的任务，比常规 RGB→HSI 重建（3→31）难度高一个量级：同时需要 ×12 光谱超分 + ×2 空间超分，且无现成 SRF，真实对齐数据极度稀缺，生成式方法的"漂亮但物理不可靠"的光谱输出在 RS 中不可接受。

2. Motivation · 动机与启发

Spectral Super-Resolution via Adversarial Unfolding and Data-Driven Spectrum Regularization: From Multispectral Satellite Data to NASA Hyperspectral Image motivation figure
参考光谱相似矩阵与 PriorNet 学出的谱先验矩阵的结构对比 [page 4 Fig.2]

Sentinel-2 覆盖全球但光谱分辨率仅 12 bands；AVIRIS-NG 高光谱高空间分辨率但仅覆盖美洲，两者光谱波段高度重叠，理论上具备相互映射的基础。然而现有 deep unfolding 方法依赖手工稀疏先验或隐式深度图像先验，前者对实际场景建模能力弱，后者本质上仍是黑盒，与显式优化框架的可解释性初衷相悖。作者的洞察是：既然模型最终都是数据驱动的，不如直接用 PriorNet 从训练数据中学习一个 186 bands 的光谱跨带相似性矩阵（spectral prior matrix，SPM）作为显式正则化项，把 12-to-186 谱超分辨率从隐式先验变为有物理依据的谱结构约束，同时以 adversarial unfolding 在训练和测试阶段同步启用判别器监督。

3. Method overview

Spectral Super-Resolution via Adversarial Unfolding and Data-Driven Spectrum Regularization: From Multispectral Satellite Data to NASA Hyperspectral Image method figure
UALNet 整体流程：PriorNet 将多分辨率 Sentinel-2 统一到 5 m GSD 并输出 Spectral Prior Matrix P；Quasi-SB 迭代展开的 UALNet 在每步通过 G1（SRF 拟合）、G2（光谱自相似正则）、G3（判别器梯度引导）三路分量驱动 HSI 估计 A 收敛至高光谱解 [page 6 Fig.3]

设计轻量 PriorNet（0.05 M 参数，2.6 G MACs），先将多分辨率 Sentinel-2 统一到 5 m GSD 空间先验图 Su，并输出 Spectral Prior Matrix（SPM）P≈AAᵀ 编码 186 波段间光谱自相关结构。以 Su 为输入，构建含三项正则的显式准则：数据拟合项（DF）+ 判别器最大化正则（DMR，驱动 HSI 更"逼真"）+ 数据驱动光谱正则（SSR，用 P 约束光谱自相似性）。用 Quasi-Split Bregman（Quasi-SB）迭代求解并展开（unfolding）为 UALNet，判别器在训练和推理两阶段均持续引导（Unfolding Adversarial Learning, UAL）。

  • 输入 / 输出：输入：多分辨率 Sentinel-2 MSI S ∈ R^{12×l}（含 60/20/10 m GSD 三种分辨率 bands）；输出：AVIRIS-NG 级别 HSI A ∈ R^{186×4l}（5 m GSD，186 effective bands，440–2500 nm）
  • 核心机制：PriorNet 为多尺度卷积编解码器（含 spe-spa attention bottleneck），同时输出 Su 和 SPM P。UALNet 展开 Quasi-SB 迭代：每步 T-update 用闭式解 T^{k+1}=(λ₁·1 + μ·DθD(A^k)−U^k)/(λ₁+μ) 结合可学习卷积和 channel attention 增强适应性；A-update 通过梯度下降计算三路残差 G1（SRF D 展开为共享权重的 1×1 卷积，Gaussian blur B 为转置多尺度卷积）、G2（光谱自相似约束 2λ₂(F(AAᵀ)−F(P))A）、G3（判别器 Jacobian 引导），各路由独立 channel attention 加权后累积更新 A。损失采用 spectrally adaptive L1：αⱼ = SAM([A]:,j, [Â]:,j) 对各光谱通道按角度误差加权。
  • 训练 / 评价：数据：415 幅 AVIRIS-NG HSI（Oklahoma 地区，256×256），Sentinel-2 由模拟 SRF + 空间降采样生成，365/20/30 划分训练/测试/验证。训练：PriorNet 先预训练（Adam，lr=5e-4）；UALNet + 判别器前 250 epochs 交替优化（2 epoch per turn），后 350 epochs 冻结判别器微调 UALNet（lr=8e-5，240×240 patch）。评价：PSNR=32.60、SAM=2.49、SSIM=0.921、RMSE=0.0145，超越次优 MST++（PSNR=31.68，SAM=2.75），同时仅需 MST++ 3% 参数（1.76 M vs 56.7 M）和 15% MACs（120 G vs 804 G）。风险：所有评估均为模拟数据（无真实 Sentinel-2 ↔ AVIRIS-NG 对齐对），real-world 校准误差（见 Fig.4）对重建的影响尚未量化。
  • 读法：重点关注判别器在推理阶段持续引导（UAL）的消融实验，以及 SPM P 作为光谱先验对 SAM 指标的贡献（Table 2 显示 PriorNet 缺失时 PSNR 从 32.60 降至 30.50，SAM 从 2.49 升至 2.77）——这两点是整个设计区别于普通 unfolding 方法的核心。

4. 创新点

首次提出 Unfolding Adversarial Learning（UAL）：把 GAN 判别器内嵌进 Quasi-SB 展开架构，使其在训练和测试两阶段均持续约束解的可靠性，而非仅靠对抗损失函数训练后抛弃判别器；同时首次针对 Sentinel-2→AVIRIS-NG 这一 12→186 bands + ×2 空间超分任务定制端到端可解释框架。

5. 优点与不足

优点：参数量和计算量比 Transformer baseline 少一个量级，架构可解释（每步对应 SB 优化步），判别器双阶段引导提供物理可靠约束。不足：(1) 数据集全为模拟，真实 Sentinel-2 ↔ AVIRIS-NG 配对数量极少（论文承认尚无公开数据集），实用性尚待验证；(2) SRF D 展开为可学习矩阵但未公开，泛化至其他传感器需重训；(3) 评价区域仅为 Oklahoma 单一地物类型，缺乏城市/植被/水体等多样场景；(4) 模拟 Sentinel-2 由 AVIRIS-NG 直接下采样生成，未考虑真实传感器噪声和大气效应差异。

6. 改进方向

(1) 与真实 Sentinel-2 和 AVIRIS-NG 的轨迹交叉区域构建小规模真实对齐数据集，验证模拟-真实迁移性；(2) 将 PriorNet 的 SPM 扩展为动态/地物自适应光谱先验（如利用地物分类图聚类先验），改善混合地物的光谱正则效果。

084

Spectrum from Defocus: Fast Spectral Imaging with Chromatic Focal Stack

M. Kerem Aydin, Yi-Chun Hung, Jaclyn Pytlarz, Qi Guo, et al. (5 authors)

CVF · PDF · arXiv · Supp

RAW/ISPSpectral

1. 要解决什么问题

传统高光谱相机（滤波片、色散元件、编码孔径）都以牺牲光通量换取光谱分辨率，在低光照或动态场景中 SNR 严重不足；全学习方法（如 MST）虽快但在光子受限条件下存在光谱幻觉（hallucination）风险，对食品检测、材料分析等精确光谱任务不可接受。

2. Motivation · 动机与启发

Spectrum from Defocus: Fast Spectral Imaging with Chromatic Focal Stack motivation figure
SfD 系统原型与硬件对比：焦点扫描采集流程及光谱响应重建示例 [page 2 Fig.1]

SfD 的出发点在于：光谱滤光/色散元件本质上是在「扔光子」，而镜头的纵向色差（longitudinal chromatic aberration, LCA）却是一种天然的、不损失光通量的波长-焦点映射——不同波长对应不同的焦距，只需在光轴方向平移第二片镜头就能将此物理规律转化为可控的光谱编码矩阵。现有方法要么牺牲 SNR（滤光/色散），要么牺牲可解释性（纯数据驱动，有幻觉风险）；作者意识到把 LCA 当作「受控失焦」而非缺陷，即可用两片现成镜头构造出满秩的 PSF 矩阵，再配合 BCCB 快速逆实现 sub-second 重建，同时保留 plug-and-play 去噪器作为隐式正则。

3. Method overview

Spectrum from Defocus: Fast Spectral Imaging with Chromatic Focal Stack method figure
SfD 光学设计：目标镜头固定，移动镜扫 5 个离焦位 z1–z5，各位置对应一个焦点波长 λi；右侧 PSF 矩阵展示随镜位/波长的弥散规律 [page 3 Fig.2]

SfD 利用两片现成球差折射镜头构成 chromatic focal sweep 系统——第二片镜头沿光轴平移 N=5 个离散位置，每个位置对焦于不同波长 λi，形成 5 张色差焦点堆叠（chromatic focal stack）。重建走 plug-and-play ADMM：先将高光谱图像投影到哈佛数据集 PCA 主成分子空间（v=10 维），把大规模矩阵求逆转化为 BCCB（Block Circulant with Circulant Blocks）快速逆，再用现成深度去噪器 ϕθ 作隐式正则，全流程重建时间 < 0.64 s（RTX A6000）。

  • 输入 / 输出：输入：N=5 张灰度焦点堆叠图像；输出：高光谱图像 X ∈ R^{H×W×C}（C ≈ 29 波段，440–720 nm，10 nm 间隔）
  • 核心机制：核心是 plug-and-play ADMM（算法1）+ PCA 子空间投影。正向模型 y=CHx 中 H 由校准 PSF K(zi,λj) 构成的分块循环卷积矩阵组成；引入松弛变量 v、u，ADMM 的 v-step 用 Wiener-like 滤波 (C^T C + μ1 I)^{-1} 解，z-step 利用 BCCB 结构 FFT 快速求逆（避免直接反转大矩阵），u-step 调 off-the-shelf DnCNN 型去噪器 ϕθ 作正则。PCA 子空间压缩把实际待求向量从 H×W×C 压缩到 H×W×v，显著加速收敛并抑制噪声放大。
  • 训练 / 评价：在 Harvard、KAIST、CAVE 三个数据集上做仿真评估（Poisson 噪声 + 光学分量效率建模）；评价指标 PSNR / SSIM / SAM；SfD 达 30.81 dB / 0.92 / 7.35°，为 9 个对比方法中 PSNR/SSIM 最佳、SAM 第二（KRISM 最优 6.91° 但需 per-scene SVD）。真实硬件在 ColorChecker 上 PSNR=29.54 dB、SAM=7.42°。风险：① PSF 子空间投影导致重建光谱轻微过平滑（spectral oversmoothing）；② 长波（>650 nm）色差焦移变平，红色/黑色区域重建略差；③ 场景须在 34 cm 工作范围内（2.64–2.98 m）。
  • 读法：重点核查 Tab.1 低曝光条件（Fig.3b，总曝光 2.9 s）下 SfD vs. MST 的 SAM 对比——这是衡量物理先验 vs. 纯数据驱动在光子受限下抗幻觉能力的最硬测试。

4. 创新点

把色差（longitudinal chromatic aberration）作为受控物理编码矩阵，配合 BCCB 快速逆 + PCA 子空间压缩的 plug-and-play ADMM，实现仅两片现成镜头 + 灰度传感器的 sub-second 全光谱重建——无需定制光学，光通量接近 100%。

5. 优点与不足

优点：光子效率最高、设计最简（4 个光学元件）、重建可解释、低光优势显著。不足：① 每次采 5 帧（multi-shot）不适合运动场景；② 工作深度范围仅 34 cm，移动目标或近景/远景无法兼顾；③ 去噪器 ϕθ 仍依赖 DnCNN 等大型先验，换感器或波段须重校准 PSF；④ 生成 RGB 时也必须先做完整光谱重建，实时性受限。

6. 改进方向

① 在光子受限动态场景中将 BCCB 逆与事件相机或 rolling-shutter 的亚帧对齐结合，缩短有效曝光窗口；② 用可微光学设计（end-to-end）同步优化第二片镜头色差量与 PSF 子空间基底，提升长波段（>650 nm）的光谱分辨能力。

085

Lumosaic: Hyperspectral Video via Active Illumination and Coded-Exposure Pixels

Dhruv Verma, Andrew Qiu, Roberto Rangel, Ayandev Barman, et al. (11 authors)

CVF · PDF · arXiv · Supp

RAW/ISPHDR/ExposureIntrinsic/RelightSpectral

1. 要解决什么问题

被动快照高光谱（CASSI、DOE、MSFA）在视频场景有两大致命缺陷：一是吸收式/色散式滤光导致单通道光子数极少，帧率提高后 SNR 断崖式下跌；二是曝光内的运动造成空谱混叠，因各波段的空间采样时刻不同，快速目标的光谱信息无法对齐。现有主动 HSI（LED 时分）虽然改善了光效，但多帧采集间的运动仍造成光谱错位。

2. Motivation · 动机与启发

Lumosaic: Hyperspectral Video via Active Illumination and Coded-Exposure Pixels motivation figure
Lumosaic 硬件原型、动态场景 sRGB 重建与 31 通道光谱输出示例 [page 1 Fig.1]

被动快照 HSI 的根本矛盾在于：光谱编码必须「吃掉」光子——滤光片/色散元件不可避免地将每波段的可用光子数压低至 1/L（L 为波段数），短曝光时 SNR 断崖；而且曝光窗口内各像素同时接收所有波长的叠加，一旦场景运动就产生无法分解的时空-光谱混叠。Lumosaic 的洞察是：把波长编码从「被动光学滤光」迁移到「主动 LED 照明的时序调制」——每个子帧只开一盏窄带 LED，此刻传感器记录到的光子几乎 100% 属于该波长，光子效率从 1/L 提升到近 1；同时 CEP 的像素级时序控制在 silicon 层完成额外的空间-时间多路复用，无需机械运动，彻底规避了被动方案的双重短板。

3. Method overview

Lumosaic: Hyperspectral Video via Active Illumination and Coded-Exposure Pixels method figure
Lumosaic 硬件架构：CEP 相机与 12 路窄带 LED 阵列硬件同步；子帧级 LED 激活 + 像素级曝光码形成空-谱-时稠密 mosaic 编码 [page 5 Fig.3]

Lumosaic 将 12 路窄带 LED（400–700 nm，FWHM ≈ 20–30 nm）与 coded-exposure-pixel（CEP）相机在 sub-frame 级硬件同步：每个视频帧内划分 S=158 个子帧（170 µs 各），每个子帧只激活一路 LED，同时按 4×4 tile 对像素分配二值曝光码；不同 tile 分配不同 LED×子帧组合，从而在单帧内形成空间-光谱-时间稠密编码。重建管线依次经过：LED 子图解码 → RIFE 光流时间对齐 → HAN（Holistic Attention Network）端到端恢复 31 通道 hyperspectral 视频（640×480，30 fps）。

  • 输入 / 输出：输入：单个 CEP 编码视频帧（640×480 灰度）；输出：31 通道高光谱图像（400–700 nm，10 nm 间隔），同时输出 sRGB 渲染帧
  • 核心机制：核心编码：照明矩阵 I ∈ {0,1}^{S×L} 与像素曝光矩阵 C ∈ {0,1}^{P×S} 联合设计，使有效感知向量 a_{p,s} = S ⊙ I_{p,s} 跨 tile 高度多样、近似正交，全帧测量 Y=Ax+η 形成适定线性系统。重建：①先按 LED 反解出 L=12 路子图并双线性上采样至全分辨率；②用 RIFE 预测相邻帧之间的光流，将各 LED 子图 warp 至以 lime（中心波长）LED 子图为时间基准；③送入 HAN（18 个残差块、10 个残差组、128 通道、reduction ratio=16 的通道注意力）重建 31 ch 立方体；训练损失为 L1，在 CAVE+KAUST+ARAD 三库混合 50000 iter（A6000）。
  • 训练 / 评价：训练集：CAVE（32 景）+ KAUST（409 景）+ ARAD（949 景），80/10/10 分割；评价指标：PSNR、SSIM、MAE、SAM；HAN backbone 无噪情形 PSNR=44.0 dB，σ=20% 噪声下仍达 32.0 dB，均优于 QDO 和 MST++ 全噪声级别。硬件验证：ColorChecker 24 色块重建与 CS-2000 地面真值吻合。风险：① 仅对静态场景做了仿真评估，视频动态部分仅有定性展示；② RIFE 光流在高速运动或非朗伯材质场景可能失效；③ 主动照明限制了室外远景应用。
  • 读法：重点检验 Fig.4 噪声鲁棒性曲线（PSNR/SAM vs. σ）——这是区分感知模型贡献（Lumosaic 编码方案）vs. 网络容量（HAN/MCAN/SRNet backbone）的核心证据；同时对比 MCAN（52 ms/帧）和 SRNet（27 ms/帧）的速度-精度折中，判断实时部署可行性。

4. 创新点

首次将 coded-exposure-pixel（CEP）传感器的像素级 39 kHz 时序控制与窄带 LED 主动照明在子帧级联合编码，彻底绕开被动滤光的光子损耗，且所有运动编码均在 silicon 内完成（无外部光调制器），实现了室内动态场景 30 fps 真正实时高光谱视频。

5. 优点与不足

优点：光子利用率接近 100%（窄带 LED 全强度输出，无吸收）；编码完全 silicon-level，无机械运动、无像差元件；SAM 在高噪声场景仍优于 QDO/MST++。不足：① 依赖主动照明，对强环境光或室外场景 SBR 严重恶化；② 帧率瓶颈是读出死区（6 ms），CEP sensor 本身帧率不足限制更快场景；③ RIFE 时间对齐对横向快速运动效果未充分验证；④ 4.7 s/帧的 HAN 推理时间（A6000）与 30 fps 采集不匹配，需要 MCAN/SRNet 轻量版。

6. 改进方向

① 将编码矩阵 C 和照明矩阵 I 纳入端到端联合优化（differentiable forward model），对动态场景下的 motion-robust 感知矩阵条件数做显式约束；② 引入时序一致性损失（temporal coherence loss）在相邻帧间约束重建光谱的平滑性，减少闪烁（flicker）。

086

MetaSpectra+: A Compact Broadband Metasurface Camera for Snapshot Hyperspectral+ Imaging

Yuxuan Liu, Wei Xu, Qi Guo

CVF · PDF · arXiv · Supp

RAW/ISPSpectral

1. 要解决什么问题

现有多功能超表面成像仪（MetaHDR、Hazineh 2023 等）受超表面强色散限制，工作带宽通常仅 10–100 nm，无法覆盖可见全谱（ ~400–700 nm），严重制约在高光谱+HDR / 高光谱+偏振等多模态同时成像中的实用性。在整个可见光谱范围内同时实现宽带超表面多功能成像此前未有报道。

2. Motivation · 动机与启发

MetaSpectra+: A Compact Broadband Metasurface Camera for Snapshot Hyperspectral+ Imaging motivation figure
MetaSpectra+ 光学概念示意与带宽-F数对比：超越现有超表面相机的宽带工作点 [page 1 Fig.1]

超表面多功能成像的瓶颈是超表面的强色差：纳米柱相位响应随波长急剧变化，单片超表面做分束+成像时，离开设计波长稍远 PSF 就严重畸变，现有系统因此被锁死在 10–100 nm 带宽内。MetaSpectra+ 的核心思路是把「分束」与「成像」解耦：分束用超表面（擅长精确相位调控），成像用折射光学（天然宽带）——两层超表面只负责控制各通道的色散量，不参与聚焦。这样 M1/M2 可以刻意保留正交色散以形成 CTIS 编码，M3/M4 则令 αi+βi≈0 消色差，各通道独立调控，波段限制从超表面色差解放出来，覆盖范围一步扩到 250 nm。

3. Method overview

MetaSpectra+: A Compact Broadband Metasurface Camera for Snapshot Hyperspectral+ Imaging method figure
MetaSpectra+ 光学组件：分束超表面 M0 将入射光分 4 路，色散控制超表面 M1/M2 引入正交色散（用于 CTIS 光谱编码），M3/M4 消色差（用于 HDR 曝光包围或偏振成像） [page 3 Fig.2]

MetaSpectra+ 采用两层超表面折射混合光学：第一层为随机交织分束超表面 M0，将入射光一次分为 V=4 路通道并偏转 ~33°；第二层为 4 片独立色散控制超表面 M1–M4，通过联合设计偏转参数 αi（M0 引入）和 βi（Mi 引入），使 PSF 的谱漂移 Δxi(λ) = λf/λc(αi+βi) 可调——M1/M2 保留正交色散（用于 CTIS 四路断层光谱重建），M3/M4 令 αi+βi≈0 生成消色差通道（用于曝光包围 HDR 或正交偏振）。设计波长 λc,1:4={450,550,600,750} nm，覆盖带宽 250 nm。重建支持 DWDN（Wiener 特征域解卷积+多尺度前馈网络）和 DDPM（扩散模型，逐 patch 含归一化约束 ak,t H^{k,t}）两条路径。

  • 输入 / 输出：输入：单次快照——共享同一 RGB 传感器（7.1 mm×7.1 mm）上的 4 路子图（2 路色散 + 2 路消色差，或 2 路消色差 + 2 路正交偏振）；输出：(1) 高光谱数据立方体（450–700 nm）+ HDR 图像，或 (2) 高光谱数据立方体 + 两路正交偏振图
  • 核心机制：核心设计：M0 随机交织（random interleaving）4 路偏转相位轮廓，抑制周期性 Moiré/高阶衍射伪影（对比方格交织会引入强高阶衍射）；各 Mi 通过纳米柱半径库查表（SiN 纳米柱，h=775 nm，w=300 nm 间距）实现目标色散量 βi。图像形成模型 Ii(x;j) = G·Poisson(t·η(λ;j)·(H(x,λ)⊙hi(x,λ))dλ) 纳入 Gaussian 噪声；标定两步：homography 几何对准 + 单色点光源测量各通道光谱效率 αi(λ)=η(λ)Ei(λ)/E(λ)。训练数据：Harvard+ICVL 合成，PSF 由 DFlat 仿真器生成。
  • 训练 / 评价：在 KAUST 数据集（未参与训练）做高光谱重建对比；MetaSpectra+ (DWDN) 达到所有指标最优（PSNR=32.92 dB / SSIM=0.94 / SAM=0.17°），优于 2-in-1 Cam (31.14/0.86/0.24)、Array-HSI (27.44/0.89/0.20)、MST++ (21.85/0.68/0.32)；HDR 实拍动态范围提升 11 dB（相比无曝光包围）。风险：① 超表面制造工艺对衍射效率 a1(λ) 波动敏感，远离设计波长时效率下降；② DDPM 重建逐 patch 运行，推理成本高且存在 patch 边界一致性问题；③ DoF 仅 0.2–0.7 m（原型），限制实用场景。
  • 读法：重点检查 Tab.1 中系统级对比：total track length（TTL）与 PSNR 的帕累托前沿——MetaSpectra+ 是否在最小 TTL 下确实达到最高 PSNR，以及 DDPM vs. DWDN 的精度-成本权衡（32.92 vs. 33.31 dB 但 DDPM 推理慢得多）。

4. 创新点

在多功能超表面成像中首次将工作带宽扩展至 250 nm（覆盖几乎全可见光），关键是把分束与成像解耦——M0 专司分束，折射眼片专司成像，独立调控使 F 数大幅降低，同时随机交织消除高阶衍射，突破了此前单片多功能超表面 10–100 nm 带宽上限。

5. 优点与不足

优点：最短 TTL（最紧凑）、最高重建精度（KAUST 基准）、两模态灵活切换（HDR / 偏振）、所有子图天然共视点无须跨模态配准。不足：① 纳米柱制造容差导致实测衍射效率与设计有偏差，需 fine-tune 重建模型；② 原型 DoF 仅 50 cm，广义应用需更换物镜；③ DDPM 路径重建时间未在文中量化，工程落地存疑；④ 偏振模式下取消 HDR，两功能无法同时运行，无法做三模态同步。

6. 改进方向

① 端到端联合优化纳米柱相位库与重建网络（可微 DFlat 前向模型），直接在真实制造噪声下训练，提升 real-to-sim 鲁棒性；② 引入 rolling-patch overlap + consistency loss 消除 DDPM 路径的 patch 边界伪影，同时压缩 diffusion 步数（蒸馏）以达到 near-real-time 推理。

087

Cross-Scale Pansharpening via ScaleFormer and the PanScale Benchmark

Ke Cao, Xuanhua He, Xueheng Li, Lingting Zhu, et al. (10 authors)

CVF · PDF · arXiv · Supp

RAW/ISPSpectral

1. 要解决什么问题

现实遥感 pansharpening 推理分辨率（800–2000 px）远超训练裁剪尺寸（200–256 px），导致两大问题：(1) Transformer 类模型的 attention 复杂度随分辨率二次增长，800 px 以上即 OOM；(2) 分块推理引入块状伪影，且高分辨率输入的像素 PDF 相对训练尺度出现系统性均值/方差漂移，特征对齐质量下降。现有数据集（PanCollection、NBU）既无多尺度测试集也无高分辨率真实图对，阻碍了跨尺度方法的公平评估。

2. Motivation · 动机与启发

Cross-Scale Pansharpening via ScaleFormer and the PanScale Benchmark motivation figure
跨尺度 pansharpening 四大挑战：显存爆炸、块状伪影、尺度分布漂移的实证展示 [page 1 Fig.1]

现有 pansharpening 模型在 200–256 px 小裁片上训练，实际卫星推理却面对 800–2000 px 全图——两大工程瓶颈随即暴露：Transformer 的 attention 复杂度随分辨率二次增长（800 px 就已 OOM），而强行分块推理引入块状伪影；更深层的问题是，高分辨率输入的像素 PDF 相对训练分布出现系统性漂移，导致特征对齐质量下降。ScaleFormer 的关键洞察是：把「分辨率变化」重新定义为「序列长度变化」——固定 patch 尺寸 t×t 将图像 tokenize，分辨率增大只让序列变长，每个 token 内的均值/方差保持稳定，等效于自动消除了 scale-induced distribution shift；配合 RoPE 的连续相对位置编码，模型可以平稳外推到训练未见过的序列长度，同时复杂度退化为线性。

3. Method overview

Cross-Scale Pansharpening via ScaleFormer and the PanScale Benchmark method figure
ScaleFormer 架构：Scale-Aware Patchify（SAP）将图像转为可变长序列，Spatial-ST / Sequence-ST 解耦块内空间建模与跨块尺度建模，Cross-Transformer 模块通过 PAN↔MS 交叉注意力融合两路特征 [page 4 Fig.4]

ScaleFormer 把「泛化到不同分辨率」重新表述为「泛化到不同序列长度」：用固定大小 patch（t×t）将图像切成 token，分辨率增大则序列变长而 token 内统计量不变，绕开分布漂移。网络由三模块组成：(1) Scale-Aware Patchify（SAP）在训练时用 bucketed window sampling 随机选多个 patch size w(t)，让模型见过多种有效序列长度；(2) Single-Transformer（Spatial-ST + Sequence-ST）分别对 patch 内做空间自注意、跨 patch 做序列自注意，并注入 RoPE（Rotary Positional Encoding）增强序列外推；(3) Cross-Transformer（Spatial-CT + Sequence-CT）在 PAN 与 MS 特征间做交叉注意完成融合。损失为 L1 范数，Adam 优化，cosine annealing（初始 lr=5e-4 → 5e-8，500 epochs，3090 GPU）。

  • 输入 / 输出：输入：PAN 图像 P ∈ R^{H×W×1} + 上采样后 LRMS 图像 L ∈ R^{H×W×C}（C 为 MS 波段数，4–8 band）；输出：融合高分辨率多光谱图像 Hout ∈ R^{H×W×C}
  • 核心机制：SAP 的 bucket sampler 在训练期随机采样 bucket index t，固定的 patch 尺寸 w(t) 生成长度可变的 token 序列，稳定了每 token 的均值/方差，等效于做了 scale augmentation 而无需多尺度真值。Single-Transformer 将 5D tensor（B×T×C×h×w）沿空间维做 SAspa、沿序列维做 SAseq，两步之间插 FFN+LN；RoPE 嵌入到 Q/K 使模型对序列长度有连续相对位置编码，推理时序列长度超出训练范围时也能平稳外推。Cross-Transformer 的 CAseq 从 PAN feature 提取 K/V，向 MS feature 的 Q 做跨模态序列级注意，实现尺度感知的光谱-空间融合。
  • 训练 / 评价：数据集：PanScale（自建），含 Jilin、Landsat、Skysat 三个子集，覆盖分辨率 0.5–15 m，训练+多尺度缩减/全分辨率测试（200–2000 px）；参考指标 PSNR/SSIM/ERGAS/Q，无参考指标 Dλ/DS/QNR。ScaleFormer 在 Jilin/Landsat/Skysat 三库均取得最高 PSNR（39.29/41.04/44.65 dB），优于 ARConv（38.23/39.66/43.40 dB）。风险：① PSNR 在高分辨率测试时受 scale-induced 亮度分布漂移影响，数值未必等价于视觉质量；② 「跨尺度泛化」评估依赖自建 PanScale，与公开数据集的可比性待验证；③ 卫星图像波段数相对固定（4–8 band），方法扩展到更多波段的高光谱 fusion 未探讨。
  • 读法：重点盯 Fig.5(c)(d)：随输入分辨率增大时 ScaleFormer 的 GFLOPs 和显存增长曲线——是否真的接近线性（序列长度线性增长），对比 Transformer baseline 的二次曲线，这是验证「reframe as sequence length」这一核心论点的定量依据。

4. 创新点

将 pansharpening 的跨尺度泛化问题形式化为序列长度泛化问题，SAP 的 bucketed window sampling 在训练期隐式覆盖多个有效序列长度，推理期保持 token 内统计量稳定、整体复杂度线性增长；配合 RoPE 实现对未见序列长度的连续外推，一举解决 OOM 和块状伪影两大工程瓶颈。

5. 优点与不足

优点：理论上可无限扩展到任意分辨率而不 OOM；bucket training 无需多分辨率真值数据；PanScale 基准为社区提供了第一个跨尺度评估标准。不足：① bucket 策略的 patch size 范围需手动设计，超出 bucket 覆盖范围的极端分辨率外推效果未报告；② 模型仅用 32 feature channels（3090 上 500 epoch），实际上算力需求不低；③ 单纯依赖 L1 损失对 spectral fidelity 的约束不如 SAM 或 ERGAS 直接，高光谱 band 数增加时可能需要光谱感知损失；④ PanScale 数据集来自 GEE 合成处理，真实降质建模与实际卫星传感器链路的一致性未验证。

6. 改进方向

① 引入光谱感知损失（SAM-weighted L1 或 ERGAS loss）替代纯 L1，直接约束多波段光谱保真度，尤其对 Landsat 8 波段及更多通道的高光谱 fusion；② 将 SAP 的 bucket 策略扩展为连续可微的 scale conditioning（类似 INR 的 scale embedding），使模型在推理时可接受任意连续尺度因子而不限于离散 bucket 枚举。

7 · 光度一致性 / 颜色感知的 3D 与采集系统（边界）

088

PPISP: Physically-Plausible Compensation and Control of Photometric Variations in Radiance Field Reconstruction

Isaac Deutsch, Nicolas Moënne-Loccoz, Gavriel State, Zan Gojcic

CVF · PDF · Supp

边界 / watchlistRAW/ISP3D/Photometric

1. 要解决什么问题

收录理由：这篇的核心是把摄像机 ISP（曝光、白平衡、CRF、vignetting）的物理模型嵌入 radiance field 重建流程，直接对应 AWB/CCM/tone-mapping 在多视图场景下的作用。与 color ISP 主线的真实接点在于：它把 per-frame 白平衡参数（4 对 RG 色度源-目标 pairs，即 CCM 的 chromaticity homography）和曝光偏置（以 2^Δt 为单位的 EV 量）从 NeRF/3DGS 的 entangled radiance 中物理解耦出来，并训练一个 Controller 对 novel view 自动预测这些参数，行为类似 AWB 和 AE。为什么算边界：主问题是 3D 重建质量，颜色正确性是辅助目标，不涉及 ISP 上游的 RAW demosaic/噪声/spectral QE；评价指标 PSNR/SSIM/LPIPS 也以 NVS 保真度为核心，CIEDE2000 只作为辅助 heat map 展示。

2. Motivation · 动机与启发

PPISP: Physically-Plausible Compensation and Control of Photometric Variations in Radiance Field Reconstruction motivation figure
多帧光度不一致输入、辐射场一致性重建与自动 ISP 控制三阶段概念图 [page 1 Fig.1]

多视图重建中不同帧的 AWB/曝光/CRF 设定不一致是普遍问题，现有方法（GLO 向量、仿射变换、bilateral grid）引入无物理约束的 per-frame 自由参数来吸收这些差异——但参数容量过大时会把场景几何误差也一并「吸收」掉，更严重的是 novel view 的参数无从获取，评测协议不得不用 GT 做事后校正，掩盖了方法间的真实差距。PPISP 的出发点是：相机 ISP 的每一步都有明确的物理形式——EV 偏置是全局线性 scale，白平衡是 chromaticity homography，vignetting 是径向多项式，CRF 是单调幂次曲线——把校正模块约束在这些已知结构内，参数既不会越界吸收几何误差，又因「类 AE/AWB」的可解释语义可以用小 MLP 从 rendered radiance 预测出来，实现了真正无 GT 的 novel view 评测。

3. Method overview

PPISP: Physically-Plausible Compensation and Control of Photometric Variations in Radiance Field Reconstruction method figure
PPISP 流水线：Radiance rendering 后依次经 Exposure offset、Vignetting、Color Correction（色度 homography）、CRF 四个可微模块；上支路为训练阶段，下支路引入 Controller 为 novel view 预测 per-frame ISP 参数 [page 3 Fig.2]

PPISP 是作为 radiance field（支持 3DGS、Zip-NeRF）post-processing 的可微 ISP 校正模块，在训练阶段与场景重建联合优化；推理阶段由 Controller（coarse feature extractor + MLP heads）从 rendered radiance 直接预测 per-frame 曝光偏置和色度校正参数，类比 AE/AWB 自动控制，无需 GT novel view。

  • 输入 / 输出：输入：多视图 sRGB 图像（含相机内外参）；输出：光度一致的 novel view sRGB 图像，可附带 ISP 参数的人工调控（exposure offset、color correction）。
  • 核心机制：四个串联可微模块：(1) Exposure offset — 全局亮度 scale 2^Δt，per-frame 优化；(2) Vignetting — 每通道径向多项式衰减，per-camera 优化；(3) Color correction — 对 RG chromaticity 施 3×3 homography H，由 4 对源-目标色度偏置 {ΔcR, ΔcG, ΔcB, ΔcW} 构造，物理上等价于 white balance + gamut correction；(4) CRF — 分段 power curve 模拟非线性响应。Controller 以 rendered radiance 为输入，通过 1×1 conv pooling 到 5×5 grid 再接 MLP，输出 Δt 和 {Δck}，在重建冻结后单独训练 5k 步。正则化项包括 brightness regularizer（惩罚帧均值曝光偏置）和 color regularizer（惩罚帧均值色度偏移）防止 radiance 与 ISP 参数间的 ambiguity。
  • 训练 / 评价：数据集：Mip-NeRF 360、Tanks and Temples、BilaRF、HDR-NeRF、Waymo Open Dataset（9 序列）及自采 PPISP dataset（4 场景 × 3 机型）；基座 backbone 联合训练 30k iter，Controller 另训 5k iter。评价指标：PSNR、SSIM、LPIPS，以及 PSNR-CC（affine color alignment 后的 PSNR，仅用于与需要 GT target view 的 baseline 做受控比较）和 CIEDE2000 热图。风险：PSNR-CC 会掩盖方法间的真实差距（作者自己指出）；在极端 HDR 或强烈 CFA 差异场景下 CRF 模型容量仍可能不足。
  • 读法：重点盯 Tab.1 中 PSNR 与 PSNR-CC 的差距：差距小说明 Controller 有效预测了 novel view 的 AWB/AE；差距大说明当前 Controller 仍主要靠 post-render 校正而非真正学到相机行为。

4. 创新点

将相机 ISP 四级物理参数（EV 偏置、色度 homography、vignetting、CRF）嵌入 radiance field 并训练 Controller 对 novel view 自动预测，首次在无 GT target view 条件下实现公平的 NVS 测评。

5. 优点与不足

优点：物理可解释，每个参数有明确的相机成像含义；Controller 设计使得 novel view 不再依赖 GT target，评测更公平；兼容多种 backbone（3DGS、NeRF）。不足：仍假设曝光和白平衡是全局一致的 per-frame 变量，不处理 rolling shutter 或局部光照不均；CRF 用分段 power curve 近似，对强烈 S-curve（如 log profile）的准确度有限；Controller 训练阶段与场景解耦，两阶段优化存在局部最优风险；不涉及 RAW 域以上的噪声或 demosaic 误差。

6. 改进方向

1. 把 Controller 从两阶段改为端到端联合训练，同时引入 metadata（EXIF 曝光时间/ISO）作为可选条件信号，进一步约束 ambiguity。2. 将 color correction 模块扩展为 per-pixel bilateral grid（类似 BilaRF），使其可处理镜头内的空间不均匀色偏（如大角度偏振或镜片色散）。

089

Polarization State Tracing for Reflection Removal and Color-Consistent Reconstruction

Dongyue Wang, Yang Lu, Jiandong Tian

CVF · PDF · Supp

边界 / watchlist3D/Photometric

1. 要解决什么问题

收录理由：有色玻璃的波长选择性吸收造成图像 color bias，本质是光学介质引入的 per-channel 非均匀衰减，与 ISP 中白平衡补偿面对的场景有直接交叉。真实接点在于：PSTM 模型推导了 Beer-Lambert 吸收矩阵 E(L)=diag(e^{-βrL}, e^{-βgL}, e^{-βbL})，显式建模了 RGB 三通道不同程度的透射衰减，这正是 ISP 色彩链路中介质诱导色偏的物理机制。为什么算边界：主问题是偏振图像的 reflection removal（去鬼影/去分层），颜色恢复是副产品；场景限定在有色玻璃前的多角度偏振相机拍摄，与通用 ISP pipeline 距离较远。

2. Motivation · 动机与启发

Polarization State Tracing for Reflection Removal and Color-Consistent Reconstruction motivation figure
有色玻璃导致 ghost shadow 与色偏的观察示意 [page 1 Fig.1]

现有反射去除方法均假设反射层外观单一且一致，用 RGB 强度线索或启发式先验做层分离，而完全忽略有色玻璃的波长选择性吸收效应。作者观察到透过有色玻璃后图像中同时存在两个几何相似但颜色和亮度各异的反射层——这在 RGB 空间不可分，却在偏振域可区分。这一物理洞察促使他们首次将偏振成像理论引入有色玻璃成像模型：用偏振态追踪同时建模多次反射与波长衰减，从而实现联合去反射与色彩一致性复原。

3. Method overview

Polarization State Tracing for Reflection Removal and Color-Consistent Reconstruction method figure
PANet 网络架构：(a) U 形 Transformer 主干，输入 4 偏振角图像 {I0, I45, I90, I135}，经 PFCubic Block 下采样/上采样；(b) PFC-MSA 全局偏振注意力；(c) LAFN 局部细化网络 [page 4 Fig.3]

先通过 Polarization State Tracing Model（PSTM）建立 Stokes 向量传播的解析模型（含 Fresnel Mueller 矩阵和 Beer-Lambert 吸收），再用 PANet（U 形 Transformer）以 4 偏振角观测为输入恢复传输分量，核心注意力机制（CRA）专门建模偏振通道间的循环相关性。

  • 输入 / 输出：输入：同一场景在 0°/45°/90°/135° 偏振角下拍摄的 4 张 RGB 图像（通过偏振相机或旋转偏振片获取）；输出：去除反射和色偏后的 4 张传输偏振图像 {T̂0, T̂45, T̂90, T̂135}，可进一步合成无反射、色彩一致的 RGB 图像或用于 Shape-from-Polarization。
  • 核心机制：PSTM 将总观测 Stokes 强度分解为 4 项：一阶反射 SR^1、一阶传输 ST^1、二阶反射 SR^2（含 2L 路径吸收 E(2L) 和横向位移 Δx）、二阶传输 ST^2（含 3L 路径吸收 E(3L)）。PANet 以 12 通道（4 角 × 3 RGB）为输入，通过 PFCubic Block（PFCB）在空间-偏振联合维度做 attention。Channel-Ring Attention（CRA）在 {I0, I45, I90, I135} 四通道上建模循环依赖——相邻偏振角强度服从正弦周期规律（Iθ = S0/2 + S1/2·cos(2θ) + S2/2·sin(2θ)），故循环 convolution 比独立 channel attention 更贴合物理。Window-Level Attention（WLA）保持局部空间相干性。
  • 训练 / 评价：自建数据集 GlassPol，包含多种颜色/厚度玻璃材质在真实场景中拍摄的偏振图像对（ground truth 为无玻璃拍摄）；评价指标 PSNR（对比 DExNet、DSRNet、PolarFree 等基线，声称最高提升约 3dB），以及视觉质量（ghost shadow 和 color bias 抑制）。风险：数据集由作者自建，评价基准独立性有限；仅覆盖单层/双层有色玻璃，厚涂层漆面、弯曲玻璃等复杂情况未验证。
  • 读法：重点看 GlassPol 数据集的玻璃材质多样性及 color bias 定量指标（应报 ΔE 或 per-channel 误差，而非仅 PSNR），确认 color-consistent 的 consistent 是否有量化支撑。

4. 创新点

首次将 Stokes-Mueller 偏振传播模型与 Beer-Lambert 波长选择性吸收联合建模，解决有色玻璃引入的双层鬼影 + 色偏问题；CRA 设计显式利用偏振强度的循环周期性。

5. 优点与不足

优点：物理模型严谨，PSTM 可解释二阶反射的色偏来源；CRA 比通用 channel attention 有更强的物理归纳偏置。不足：需要专用偏振相机（4 角），硬件门槛高，无法用单 RGB 相机；GlassPol 是小规模自建数据集，泛化能力存疑；二阶以上高阶反射直接截断，对极厚玻璃或高折射率材质可能不足；未报告 ΔE 色差，color-consistent 的程度难以与 ISP 领域指标对比。

6. 改进方向

1. 把 PSTM 的 Beer-Lambert 参数（βr, βg, βb）从固定解析估计改为与网络联合优化，增强对非均匀涂层玻璃的适应性。2. 探索将 CRA 移植到单相机单张图像场景（利用闪光/无闪光对估计色偏），降低硬件依赖。

090

Color-Encoded Illumination for High-Speed Volumetric Scene Reconstruction

David Novikov, Eilon Vaknin, Narek Tumanyan, Mark Sheinin

CVF · PDF · arXiv

边界 / watchlistIntrinsic/Relight3D/Photometric

1. 要解决什么问题

收录理由：该系统用颜色编码时间信息——在低速相机的单帧曝光期内用 N 种不同颜色的 LED 顺序频闪，使得每一帧图像成为 N 个高速子帧的线性颜色混叠，通过求解混叠矩阵还原各时刻的高速 3D 体积场景。与 color ISP 主线的接点在于：颜色在这里是编码/解码时序信息的载体，需要精确的 RGB 色彩校准（Spyder 24 色卡对 8 台相机做 per-camera CCM 对齐），且混叠解码的成功率直接依赖颜色之间的线性独立性（在相机 RGB 响应空间中颜色集合需近似构成满秩矩阵）。为什么算边界：核心问题是高速计算摄影和动态 3D 重建，颜色只是时间复用的工具而非最终的色彩质量目标；不涉及 AWB/CCM/tone-mapping 等 ISP 链路的颜色保真问题，评价指标（MAE）针对运动还原准确度，不是色差。

2. Motivation · 动机与启发

Color-Encoded Illumination for High-Speed Volumetric Scene Reconstruction motivation figure
彩色频闪编码高速运动：时序信息被打入场景颜色 [page 1 Fig.1]

传统低速相机的带宽瓶颈限制了 3D 动态场景重建的时间分辨率，而现有高速成像方案均需对每台相机做硬件改造（光学编码器、空间光调制器等），无法直接扩展到多视角同步采集。作者注意到：若将高速时序信息编码在 场景光源 而非相机光学器件中，则所有普通相机只需同步拍摄即可，无需任何改装。这一「把时间戳打在光上而非打在相机上」的思路，以 RGB 三色频闪序列将运动轨迹编码为空间颜色条纹，再配合 dynamic Gaussian Splatting 解码，实现了世界首例纯低速相机的 600 FPS 体积重建。

3. Method overview

用 RGB LED 阵列在每次低速相机曝光期内顺序频闪 N 种预设颜色序列，将 N 个高速子帧的 intensity 信息线性编码到相机的 RGB 三通道中；再在多台未改装的低速相机上同步拍摄，以修改后的 Gaussian-Flow（dynamic 3DGS）对混叠颜色帧求解得到高速体积重建。

  • 输入 / 输出：输入：M 台低速相机（8 台 IDS UI-3240CP，60 FPS，global shutter）拍摄的彩色混叠帧 + 背景帧 + 已标定的 per-camera 色彩变换矩阵；输出：以 600 FPS 重建的多视角高速 3D 体积场景（novel view 可从任意视角渲染）。
  • 核心机制：图像形成模型：I_rgb(x,c) = Σ_n c_n_RGB(c) · I_int(x,t_n)，即相机图像是 N 个高速子帧强度与对应颜色 primary 的加权和。给定已标定的颜色词典 c_n_RGB（由 Spyder 色卡 CCM 校准），在 Gaussian-Flow 框架下将 rendered 子帧 R_n 替代 I_int，通过 L1 损失对 G(0) 和 D(t) 求解（Dual-Domain Deformation Model = 多项式 + Fourier 级数变形）。颜色选择策略：在 αβγ（三通道 LED 强度）空间均匀采样圆周，确保颜色矩阵满秩以减小解的条件数；N=10 时将 60 FPS 上采至 600 FPS，颜色数超过约 N=28 后重建误差显著上升。色彩校准环节是整套系统的颜色科学核心：用 24 色卡估计每台相机的 3×3 CCM，统一所有相机到参考相机色彩空间。
  • 训练 / 评价：无监督优化（针对每段高速事件独立求解），无预训练模型；评价指标：MAE（模拟实验，novel view 作 GT），无标准 benchmark；真实实验通过旋转圆盘、Nerf 飞镖、飞棋子等定性展示；局限：对环境光敏感（线性增加重建误差）、要求暗背景、对非白色高反射率物体性能下降、运动复杂度高时（大位移）Gaussian 梯度消失导致子帧 dropped。
  • 读法：重点关注 Fig.6 的模拟性能分析——(a) N 数量 vs MAE、(b) 环境光 vs MAE、(c) 物体反射率 vs MAE，这三条曲线揭示了颜色编码方案的实际使用边界。

4. 创新点

首次将多视角 3D 高速体积重建与颜色时间复用成像结合：无需改装相机硬件，仅通过场景侧多色 LED 频闪即可让任意多台普通低速相机同步实现 10× 时间上采样的高速 3D 重建。

5. 优点与不足

优点：硬件改动极小（只改光源），可扩展到任意台数相机；颜色编码与相机光学解耦，校准相对简单；开源了整套方案。不足：强依赖暗背景（背景减除前提）；对有颜色的运动物体性能较差（单通道 Gaussian 假设与非白色反射率冲突）；LED 频闪需精确触发同步（Arduino PWM 精度限制），漂移会导致颜色混叠错误；N > 28 时矩阵条件数恶化；不支持同时含静态彩色背景的场景重建。

6. 改进方向

1. 用 per-pixel 颜色解混（hyperspectral unmixing）替代全局 CCM 校准，处理物体非均匀反射率导致的颜色响应空间非线性问题。2. 引入 event camera 做精确时间戳对齐，消除 Arduino PWM 触发漂移对颜色解码的影响。

091

Disco-GS: Gaussian Splatting in Dynamic Color Lighting

Ashish Kumar, A. N. Rajagopalan

CVF · PDF · Supp

边界 / watchlist3D/Photometric

1. 要解决什么问题

收录理由：场景在时变彩色灯光（disco lights）下拍摄时，同一表面在不同帧呈现截然不同的颜色，本质是逐帧的 color constancy 问题——如何从受时变照明污染的观测中恢复 canonical 外观，与 AWB/color constancy 研究中的核心挑战同构。与 ISP 主线接点：该问题等价于在动态彩色光源下估计 per-frame per-pixel 白平衡场（effective transient light E(t)），再将其从 scene albedo 中解耦，是 3D 场景级别的 color constancy。为什么算边界：主问题是 3D 场景重建和 novel view synthesis，colour recovery 是约束条件；不涉及 RAW pipeline、spectral QE、detector-level 色彩建模；评价指标以 PSNR/SSIM/LPIPS 为主，不报 ΔE。

2. Motivation · 动机与启发

Disco-GS: Gaussian Splatting in Dynamic Color Lighting motivation figure
不同色光下同一场景外观剧变，固有颜色完全被掩盖 [page 2 Fig.1]

现有 Gaussian Splatting 方法几乎全部假设训练输入在静态、消色差照明条件下采集，一旦遇到演出、展览等场景中时变彩色灯光（如 disco lights），同一表面在不同帧/视角下呈现截然不同的颜色，光度一致性完全失效。作者进一步发现，时变色光与物体材质的复杂交互会压制表面固有外观信息（如低照度下文字完全不可见），且这类场景在 VLM 测试中也显著降低视觉理解性能。核心洞察是：如果把每帧的瞬态色光视为一个乘性 per-pixel chroma 因子，则「场景固有外观 × 瞬态色光 = 观测图像」这一解耦关系可以用自监督方式在 3DGS 框架内联合优化，无需任何颜色先验。

3. Method overview

Disco-GS: Gaussian Splatting in Dynamic Color Lighting method figure
Disco-GS 流水线：COLMAP 得到 sparse point cloud 初始化 3DGS，每个 Gaussian 附加 intrinsic feature ik 和 brightness control bk；训练时 Chroma-Net（3 层 CNN）估计 per-pixel transient chromatic illumination E(t)，推理时仅用优化后的 Gaussians 渲染 canonical scene Jcan [page 4 Fig.2]

在标准 3DGS 基础上，为每个 Gaussian 引入 intrinsic feature ik（用于渲染 canonical color I(v)）和 brightness factor bk；额外训练轻量 Chroma-Net（3 层 CNN）从观测帧和 brightness map B 估计 per-pixel transient illumination E(t)；以 I(v)·B = Jcan(v) 定义 canonical scene，通过 Hadamard 乘积 Jcan ⊙ E(t) 重建观测帧，整体自监督训练。

  • 输入 / 输出：输入：静态场景在随机变色灯光下拍摄的视频帧序列 + COLMAP 相机位姿；输出：canonical 外观的 3D Gaussian 场景（可从任意新视角渲染，支持推理时手动调节亮度系数 α·B）。
  • 核心机制：每个 Gaussian 的 intrinsic feature ik 经 SH 编码处理视角相关性，splatting 得到 I(v)；brightness bk splatting 得到 B（单通道）；Jcan(v) = I(v) ⊙ B，B 通过 Brightness Regularizer（目标值 0.5，11×11 blur 约束 B 为粗粒度亮度场）与 scene color 解耦。Chroma-Net 输入 J(v,t) 和 B（4 通道），输出 E(t)∈[0,1]（sigmoid 激活），仅在训练时使用、不参与推理。损失函数含光度损失 L_photo（L1）、SSIM 损失 L_st（η 从 0.95 衰减至 0.5 防颜色泄漏）、Color Regularizer（约束 Jcan 三通道均值相近以防整体偏色）、Brightness Regularizer 和 Total Variation 对 E(t) 的平滑约束。在 RTX 3090（24GB）上 66 分钟训练完成，推理 70 FPS（800×450）。
  • 训练 / 评价：自建 Disco dataset：25 段真实静态场景视频，含全局/局部随机彩色光变化；对比基线：3DGS、Wild-Gaussians、Gaussians-Wild、RNG；指标 PSNR/SSIM/LPIPS；Newspaper-room 场景下 Disco-GS PSNR 24.38 vs 3DGS 19.90。风险：数据集由作者自建且场景为静态（相机移动），canonical recovery 的正确性没有绝对 GT（无颜色计量基准）；SSIM 和 LPIPS 对颜色准确度不够敏感，真正的 canonical color 恢复质量难以量化。
  • 读法：重点看 Color Regularizer 和 Brightness Regularizer 的消融：这两项是解决 color-brightness ambiguity 的核心设计，若去掉后 PSNR 崩溃则说明问题确实 ill-posed，验证方法的必要性。

4. 创新点

提出自监督框架在训练时用轻量 Chroma-Net 估计 transient illumination 而推理时完全丢弃，仅靠两个附加 Gaussian 属性（ik, bk）支撑 canonical scene 渲染，无需 color light 的任何先验知识（无颜色值、无 mask）。

5. 优点与不足

优点：设计简洁、无需额外标注、训练快（66 分钟）、推理实时；Chroma-Net 仅 3 层 CNN，参数极少。不足：canonical color 的正确性依赖 Color Regularizer 的启发式假设（三通道均值相近），对本身强偏色场景（如夜间霓虹灯）可能过度校正；仅针对静态场景，不处理 object motion；Disco dataset 小（25 视频），多样性有限；不报 ΔE，色彩恢复的绝对精度无法评估；brightness control B=0.5 目标值为 heuristic，无物理基础。

6. 改进方向

1. 引入少量无色光参考帧（如拍摄时加入短暂全白帧）作为弱监督锚点，替代 Color Regularizer 的启发式约束，提高 canonical color 的绝对准确性。2. 将 Chroma-Net 替换为从 Planckian locus 附近采样的参数化照明模型，使 E(t) 的估计有物理约束，减少 ill-posed ambiguity。

092

LightMover: Generative Light Movement with Color and Intensity Controls

Gengze Zhou, Tianyu Wang, Soo Ye Kim, Zhixin Shu, et al. (10 authors)

CVF · PDF · arXiv · Supp

边界 / watchlistColor image processing

1. 要解决什么问题

收录理由：LightMover 的 intensity control 用曝光值（EV）量化光源强度变化（1 EV = 2× radiometric gain），color control 用 RGB 色温/色调帧指定目标光源颜色，直接触及 ISP 链路中曝光/白平衡的显式建模语言。训练数据的生成流程用物理正确的 path-tracing 渲染合成 (Iamb + Gillum · Ilight ⊙ ct)，按 sRGB gamma 曲线 tone-map，这套 pipeline 等同于模拟相机成像链的色彩物理过程。与 color ISP 主线的真实接点在于：光源颜色控制（ct ∈ R³，linear RGB 色调）和强度控制（Gillum = 2^SEV）在形式上与 AWB 的 illuminant 估计和 AE 的曝光控制同构。为什么算边界：最终任务是生成式图像编辑（视觉效果/创意），不是 ISP 链路的颜色测量或校准；核心能力来自 video diffusion prior，评价以 PSNR/DINO/CLIP 为主，不追求辐射度精确性；light color control 和 intensity control 是用户控制旋钮，不是对真实场景光谱的物理重建。

2. Motivation · 动机与启发

LightMover: Generative Light Movement with Color and Intensity Controls motivation figure
LightMover 在真实图像上实现位置/色温/强度可分离控制 [page 1 Fig.1]

单张图像的照明编辑长期被两类方法主导：逆向渲染方法物理自洽但极度病态（单视角深度/材质重建不可靠），扩散编辑方法缺少显式光源参数化（无法精确控制位置/颜色/强度）。作者的核心观察来自 ObjectMover：视频扩散先验已经学会将物体移动的因果关系泛化，完全类比地，「移动光源」同样是一类有物理因果结构的视觉变换——阴影位移、反射变化、照度衰减规律都可以被 video prior 记忆。将光控制 token（位置 map + 色温 + 强度）嵌入同一序列预测框架，即可把照明操作与物体操作统一在一个主干内，避免专用适配器的碎片化。

3. Method overview

LightMover: Generative Light Movement with Color and Intensity Controls method figure
LightMover 框架：reference image、object crop、movement map（source/target bounding box 双色编码）、color control 帧、intensity control 帧组成伪视频序列，经 Adaptive Token Pruning 后送入 Diffusion Transformer，输出编辑后图像 [page 4 Fig.2]

将单张图像中的光源操作（移动/变色/调亮）建模为 sequence-to-sequence 预测：把 reference image、object crop、movement map、color/intensity control 帧拼成伪视频序列，在预训练视频 diffusion transformer（5B 参数，Sora 类架构）上 fine-tune；引入 Multi-Signal Positional Encoding（MSPE）区分空间/时序/条件类型/角色，以及 Adaptive Token Pruning 对非空间控制帧（color、intensity）做 learnable downsampling 压缩序列长度 41%。

  • 输入 / 输出：输入：单张 sRGB 图像 + 光源 object crop + movement map（source/target bounding box RGB 编码）+ 可选 color control 帧（RGB 色调）+ 可选 intensity control 帧（EV 值）；输出：光源位置/颜色/亮度改变后的新 sRGB 图像，阴影/反射/falloff 自动随之改变。
  • 核心机制：Movement map 用双通道 bounding box 编码（R 通道标 source 区域，GB 通道标 target 区域）；Color control 用全局 RGB 帧指定目标色温/色调；Intensity control 用 EV 值编码（Gillum = 2^SEV）。MSPE 在 4 个子空间叠加：2D sine-cosine spatial encoding、temporal index、condition-type 离散 ID、input/output 角色 binary bit，用 NTK-aware interpolation 适配可变分辨率。Adaptive Token Pruning：空间控制帧（movement map）按 bounding box 面积比动态下采样（小目标保留原始 token，大目标按比例缩减）；非空间控制帧（color、intensity）用 learnable downsampling ratio 联合优化。训练数据：25 个 Blender 室内场景 × 100 种光源资产合成约 32,000 对 + 真实拍摄 360 张（106 室内场景），合成:真实 = 10:1，共 7 类任务联合训练。评价：LightMove-A（200 真实三元组）和 LightMove-B（合成 GT），指标 PSNR/DINO/CLIP；LightMover 在 light movement 上 PSNR 20.39 vs ObjectMover 19.49、vs Gemini-2.5-Flash-Image 19.59。
  • 训练 / 评价：5B video diffusion transformer，512×512 和 1024×1024 混合分辨率训练；Blender path-tracing 合成 + 真实采集双源；评价数据 LightMove-A（真实，相机+脚架采集，光源物理移动）和 LightMove-B（合成，有 GT）。风险：LightMove-A 和 B 均为作者自建，无公开 benchmark；生成式方法的物理正确性（阴影投射、falloff 衰减）无法量化评估，只能靠 DINO/CLIP 语义相似度；color control 的色彩准确性（目标色温与输出色温偏差）未报 ΔE 或 CCT 误差。
  • 读法：重点关注 Tab.2 的消融：color-only、intensity-only、joint movement+illumination 三个 fold 的 PSNR/DINO 是否一致，以确认 MSPE 的 condition-type 解耦是否真正帮助了各控制维度的独立性。

4. 创新点

将光源颜色（RGB 色调）和强度（EV）作为显式的、与空间移动解耦的控制信号，通过 MSPE 和 Adaptive Token Pruning 在单一 video diffusion backbone 内统一实现光移动/变色/调亮，避免任务专用 adapter。

5. 优点与不足

优点：统一框架支持 5 类操作；token pruning 实际减少 41% 序列长度而保持性能；合成数据 pipeline 物理合理（path-tracing + linear compositing）。不足：5B 模型推理成本高，单张图像编辑不实时；color control 精度依赖生成式先验，对精确色温（如 3200K→6500K）缺乏量化保证；光源 crop 需要用户手工标注 bounding box；对复杂多光源场景（光源相互遮挡、间接照明主导）未验证；测评 benchmark 自建，结果可能存在乐观估计。

6. 改进方向

1. 在 color control 帧中引入色温（CCT，Kelvin）而非 freeform RGB 色调，使用户能沿 Planckian locus 做物理一致的色温调节，同时为输出增加 ΔE 评价。2. 扩展到 RAW 域输出：训练时同时 supervise linear RGB（path-traced）而非 tone-mapped sRGB，使 intensity control 的辐射度增益与真实 EV 量化对应更精确。

093

UAVLight: A Benchmark for Illumination-Robust 3D Reconstruction in Unmanned Aerial Vehicle (UAV) Scenes

Kang Du, Xue Liao, Junpeng Xia, Chaozheng Guo, et al. (9 authors)

CVF · PDF · arXiv · Supp

边界 / watchlistIntrinsic/Relight3D/Photometric

1. 要解决什么问题

收录原因：UAV 多视图重建时自动曝光随太阳角度、云层持续漂移，破坏 MVS/SfM 与 NeRF/3DGS 依赖的恒定光照假设，导致几何漂移与色彩不一致——这里的「色彩」仅指光照引起的辐射度不一致（阴影烙印、白平衡偏移），而非 ISP 层面的 AWB/CCM 问题。与颜色主线的接点：benchmark 评价协议里显式测量跨时段 photometric consistency（PSNR/SSIM/LPIPS），本质上是在量化光照变化对已成像 sRGB 数据颜色外观的影响。边界原因：主体是 3D 重建 benchmark 设计，颜色只是被动的评价维度，不涉及相机 ISP pipeline 内任何颜色处理模块。

2. Motivation · 动机与启发

UAVLight: A Benchmark for Illumination-Robust 3D Reconstruction in Unmanned Aerial Vehicle (UAV) Scenes motivation figure
UAVLight 多时段重复航线采集，隔离光照变化与几何变化 [page 1 Fig.1]

现有 3D 重建 benchmark 几乎都在「几分钟内、固定照明」条件下采集，而 UAV 任务天然横跨数小时甚至多日，阳光方向、云层遮蔽和阴影不断变化——这使得几何估计（SfM/MVS）和神经渲染方法都会产生几何漂移与色彩不一致。更根本的缺口是：现有含光照变化的数据集要么场景跨越数月（植被/建筑也随之变化，照明效果无法孤立评估），要么仅限室内/目标中心，无法代表真实 UAV 复杂度。作者的设计洞察是：沿固定 GPS 航线在同一天内多个时间点重复飞行，可以在保持几何/视点一致性的前提下，隔离出「纯太阳光照变化」这一单一变量，从而为照明鲁棒重建方法提供可量化的 ground truth 对比基础。

3. Method overview

UAVLight 不提出新算法，而是构建一个受控数据集 + 评价协议。18 个户外场景由 DJI + RTK 全球快门相机沿预设 waypoint 在同一天多时段（3–11 个时间槽）重复飞行采集，自动曝光开启。利用 RTK 约束的分组 bundle adjustment 保证跨时段位姿对齐，以地面控制点和 checkpoint 测量验证的点云（平均误差约 10 cm）作为几何参考真值。评价协议联合考察几何精度（Chamfer distance）、跨时段 photometric consistency、可 relighting 稳定性三个维度。

  • 输入 / 输出：输入：多时段 UAV RGB 图像（1280×960，自动曝光，sRGB），GPS/RTK 位姿；输出：3D 重建结果 + 跨光照渲染，与 geo-referenced 点云对比评价。
  • 核心机制：核心不是新模块，而是 benchmark 设计原则：(i) 低空 nadir 飞行减少天空 HDR 歧义；(ii) 固定 waypoint 轨迹保证跨时段视角可比；(iii) RTK 约束 bundle adjustment 实现跨时段度量对齐。基线方法涵盖 NeRF-W、NeRF-OSR、GS-W、WildGaussians、LumiGauss，PSNR 范围 16–26 dB，显示现有方法在跨光照 novel view synthesis 上仍有明显差距。
  • 训练 / 评价：benchmark 共 18 场景，按 PSNR/SSIM/LPIPS 评估 novel view synthesis 质量；另有几何评价（abs geo error ~10 cm）。注意风险：指标均为 sRGB 图像域，不直接反映 relighting 物理准确性；benchmark 不提供真值辐射率，relighting 评价依赖渲染一致性而非物理验证。
  • 读法：重点看 Table 3/4 的 PSNR 数字：LumiGauss 在部分场景以 35 hr 训练达到最佳，而 NeRF-OSR 需 181 hr 但指标反而更差——这说明方法选择比算力更关键，也是 benchmark 的核心发现。

4. 创新点

首个在固定几何/视角条件下、系统隔离自然光照变化的大规模 UAV 室外多视图重建 benchmark，18 场景 + RTK 精度点云真值 + 标准化跨光照评价协议，填补现有 dataset 在可控性与真实性之间的空缺。

5. 优点与不足

优点：设计严谨，RTK + 固定轨迹真正隔离光照变量，评价协议三维并举；缺点：场景偏旋翼低空 nadir，城市侧视/斜拍覆盖不足；自动曝光开启但未提供真值 EV 序列，无法量化曝光漂移对颜色偏差的独立贡献；18 场景规模仍偏小，方法排名存在场景偏向风险。

6. 改进方向

1. 提供每帧真值曝光值（EV/ISO/shutter），拆分曝光漂移与光照变化的独立贡献，支持更精细的 photometric calibration 研究。2. 加入倾斜摄影（oblique）场景，扩大立面与阴影多样性，测试方法在非 nadir 视角下的泛化。

094

AERGS-SLAM: Auto-Exposure-Robust Stereo 3D Gaussian Splatting SLAM

Zhiyu Zhou, Feng Hui, Yu Liu

CVF · PDF · Supp

边界 / watchlistHDR/Exposure3D/Photometric

1. 要解决什么问题

收录原因：SLAM 建图时相机 auto-exposure（AE）机制打破 3DGS 依赖的多视图 photometric consistency，导致定位精度下降和建图颜色失真。接点：camera response function（CRF）建模直接影响 radiance→RGB 的色彩映射，与 ISP 的曝光/tone mapping 阶段概念相同。边界原因：主体是 SLAM 系统工程，颜色处理是 AE 鲁棒性的副产品，不针对 AWB/CCM/白点估计。

2. Motivation · 动机与启发

AERGS-SLAM: Auto-Exposure-Robust Stereo 3D Gaussian Splatting SLAM motivation figure
CRF 曲线对比 + 任意曝光时间 Δt 渲染结果示意 [page 1 Fig.1]

现有 3DGS-SLAM 在处理 auto-exposure（AE）导致的 photometric inconsistency 时，要么将曝光变化嵌入每个 Gaussian 的颜色属性（per-Gaussian CRF），要么用 per-image embedding 隐式吸收——前者把曝光估计与 Gaussian 几何耦合，导致显著计算开销和梯度污染；后者（如 MonoGS）仅用两个标量建模亮度，无法还原 camera response function 的非线性映射。作者注意到相机成像物理过程的关键事实：AE 本质上是 per-image 操作，与视角无关，因此应在图像级而非 Gaussian 级建模 CRF。受 HDR 成像领域 CRF 建模的启发，他们将 CRF 估计提升到 image-level：渲染 radiance map 后，统一经由一个轻量 MLP（Camera Exposure Network）完成曝光时间 → RGB 的映射，解耦曝光估计与场景几何优化。

3. Method overview

AERGS-SLAM: Auto-Exposure-Robust Stereo 3D Gaussian Splatting SLAM method figure
AERGS-SLAM 框架：立体图像经 illumination-robust 定位生成 3D Gaussian Map，radiance map 经 camera exposure network（CEN）映射为 RGB image 并计算 loss [page 3 Fig.2]

解耦式 SLAM：定位线程用基于学习的 illumination-robust 特征（AirSLAM）替换 ORB 做 bundle adjustment；建图线程引入 Camera Exposure Network（CEN），将 3DGS 渲染的 radiance map 与曝光时间 Δt 一起送入三个独立 MLP（RGB 三通道分别建模 CRF 的反函数 g(·)），输出 RGB 图像。与 HDR-GS 将 CRF 映射嵌入每个 Gaussian 不同，CEN 在图像级操作，彻底解耦渲染与曝光估计。另有时间感知滑动窗口 coarse-to-fine 策略：窗口内新帧监督低频结构、旧帧监督高频细节。

  • 输入 / 输出：输入：双目 sRGB 视频（自动曝光），输出：相机轨迹（6DoF pose）+ exposure-controlled 3D Gaussian 场景（支持任意 Δt 渲染）。
  • 核心机制：CEN 核心：Ic = g(ln Ie + ln Δt)，其中 Ie 为 3DGS 渲染的辐射度图，Δt 为可优化曝光时间，g(·) 由三个 MLP 学习。损失 Lc = (1-λ)|Ic - Igt|₁ + λ(1-SSIM) + λu|g(0)-C0|₂²。好处：CEN 复杂度与 Gaussian 数量无关（只取决于图像分辨率），相比 HDR-GS 降低算法复杂度；AE 估计与渲染完全解耦，避免梯度污染 Gaussian 几何。
  • 训练 / 评价：EuRoC MAV 数据集（MH01/03、V102/103/203）+ 自采实际场景（S1/S2）；定位精度用绝对轨迹误差（ATE，单位 m）；建图质量用 PSNR/SSIM/LPIPS。AERGS-SLAM 在 EuRoC V103 的 ATE 从 Photo-SLAM 的 0.064m 降至 0.023m。风险：自采 S1/S2 数据集尚未公开，可重复性待核验。
  • 读法：盯住 Table 1（ATE）和 exposure-controlled rendering 对比（Fig.5）：CEN 在 Δt 大范围变化时不出现色彩溢出，而 HDR-GS 在 Δt=1.2 时明显过曝——这是 per-image vs per-Gaussian CRF 映射的关键差异。

4. 创新点

首个将 image-level CRF 网络嵌入解耦式 3DGS SLAM 框架的工作：CEN 在 radiance map 级建模曝光，彻底避免曝光参数污染 Gaussian 几何，同时将建图复杂度与 Gaussian 数解耦。

5. 优点与不足

优点：解耦设计干净，CEN 推理开销与场景规模无关；ATE 在 EuRoC 上显著优于 Photo-SLAM。不足：只评估了 EuRoC 和两个自采场景，夜间/极端 AE 跳变（如快速进出隧道）的鲁棒性未测试；CEN 用固定 MLP 建模单一 CRF，不支持相机间 CRF 差异（多相机场景受限）。

6. 改进方向

1. 将 CEN 扩展到多相机 CRF 建模，覆盖异构双目/多目 SLAM 场景。2. 在 CRF 估计中引入 Planckian 先验（自然光下 white point 约束），进一步压缩曝光-颜色耦合误差。

095

SunFaded: Illumination-Aware Gaussian Splatting for Dark Scenes with Camera-Mounted Active Lighting

Wenjie Chang, Tianle Ding, Wenfei Yang, Tianzhu Zhang

CVF · PDF · Supp

边界 / watchlistIntrinsic/Relight3D/Photometric

1. 要解决什么问题

收录原因：移动光源（机器人探照灯/闪光灯）与相机共同运动，每帧光照随视角变化，打破 GS 的 photometric consistency 假设，导致严重 floater 和色彩畸变。接点：方法核心是把 radiance 分解为 albedo（内禀颜色）+ illumination（外部光场），这与 ISP intrinsic decomposition 概念重叠，且直接影响 RGB 图像的颜色外观。边界原因：核心贡献是 3D 重建系统，色彩分解是服务几何精度的辅助手段，不针对相机 ISP pipeline。

2. Motivation · 动机与启发

SunFaded: Illumination-Aware Gaussian Splatting for Dark Scenes with Camera-Mounted Active Lighting motivation figure
相机绑定移动光源致各帧光照随视角剧变，破坏 photometric consistency [page 1 Fig.1]

Gaussian Splatting 的核心假设是多视图 photometric consistency，但在机器人/水下等暗场景中，光源往往与相机刚性绑定并随之移动，导致同一三维点在不同视角下呈现截然不同的颜色——本质上是光照效应而非材质差异。现有 3DGS 的两类应对方式均存在根本缺陷：per-Gaussian 颜色调制（SH 扩展或 view-dependent feature）会把光照与内禀颜色隐式耦合，无法强制多视图光源一致性；DarkGS 则要求预先标定光源位置，换设备即需重新标定，缺乏实用泛化性。作者观察到，移动光源对场景的影响在图像空间具有空间局部性（hotspot + cast shadow），而非全局均一的亮度偏移，因此在 tile 层级（16×16 像素）做 image-space shading 而非 per-Gaussian 颜色调制，既能显式解耦 albedo 与 illumination，又将计算复杂度与 Gaussian 数量完全解耦——这是设计的核心出发点。

3. Method overview

SunFaded: Illumination-Aware Gaussian Splatting for Dark Scenes with Camera-Mounted Active Lighting method figure
SunFaded 三阶段流程：Stage1 illumination-weighted loss 估计 unlit albedo；Stage2 MLP Mlight 做 tile-based shading；Stage3 Depth-Pro 几何先验精化 Gaussian [page 4 Fig.2]

基于 2DGS 的三阶段训练：Stage 1 将球谐系数替换为 view-independent albedo 属性，以大核高斯滤波在 log 域估计每帧 illumination prior（Lm），转换为 per-pixel 亮度权重 Wm = exp(-β·Norm(Lm))，用 illumination-weighted photometric loss（Lunlit）优化 albedo + 全局环境光 E；Stage 2 固定 Gaussian 几何，训练 MLP Mlight（输入 tile 深度 d 和光源方向 [θ,ϕ]）预测 per-tile 光强，tile-based diffuse shading 作用于 rendered albedo；Stage 3 利用 unlit albedo 渲染出 illumination-invariant depth/normal（Depth-Pro 先验辅助），精化 Gaussian 几何后解冻纹理联合微调。

  • 输入 / 输出：输入：暗场景多视图 RGB 图像（相机与光源刚性绑定，自动光照变化），输出：unlit albedo 的 2DGS 场景表示 + 光照分离结果，支持任意光照条件下的 novel view synthesis。
  • 核心机制：关键设计是 tile-based shading 而非 per-Gaussian 颜色调制：16×16 像素 tile 统一预测光强，Idiff(x) = A(x)⊙i·max(0, n̂(x)·l̂)，降低计算成本并明确解耦光照与内禀颜色。illumination-weighted loss 是另一核心：bright 区域权重被压低，防止 active light hotspot 污染 albedo 估计。
  • 训练 / 评价：自建 DarkRobotic 数据集 + 其他暗场景 benchmark；指标 PSNR/SSIM/LPIPS；Stage 3 用 Depth-Pro 深度先验做 pseudo-label 监督。风险：tile-based shading 假设 diffuse 材质，对镜面/高光材质估计不准；geometry prior（Depth-Pro）若在极暗场景失效，Stage 3 精化反而引入错误。
  • 读法：重点看 Stage 1 illumination-weighted loss 的消融：如果去掉亮度权重，albedo 在 hotspot 区域收敛到光照而非材质，这是整个分解的基础。

4. 创新点

tile-based image-space shading（而非 per-Gaussian 调制）实现了光照与 albedo 的显式解耦，计算复杂度不随 Gaussian 数量增长；三阶段训练把几何精化从光照扰动中解放出来，这是针对 co-moving active light 场景的新思路。

5. 优点与不足

优点：tile-based shading 速度快、解耦明确；unlit albedo 作为几何精化的无光照监督信号设计巧妙。不足：diffuse-only 光照模型不适用于高光/各向异性材质；light source 位置 l 初始化敏感，多光源或非点光源场景需重新设计；训练三阶段串行增加了调参复杂度。

6. 改进方向

1. 将 Lambertian 光照模型扩展为微表面 BRDF（roughness + specular），覆盖金属/镜面场景。2. Stage 2 引入多个虚拟点光源或环境光球谐，处理实际机器人场景中的漫反射+多光源混合。

8 · Watchlist / 复原基础模型 / 暗光感知（边界）

096

FAPE-IR: Frequency-Aware Planning and Execution Framework for All-in-One Image Restoration

Jingren Liu, Shuning Xu, Qirui Yang, Yun Wang, et al. (6 authors)

CVF · PDF · arXiv · Supp

边界 / watchlistRestoration

1. 要解决什么问题

收录原因：watchlist 项，属于 image restoration foundation model 方向。与颜色/ISP 主线接点：AIO-IR 框架覆盖 low-light enhancement 和 dehazing，这两类退化直接影响 RAW→sRGB 链路后的图像颜色外观；频率分解策略（高频=纹理细节，低频=色调/光照）对颜色还原有明确指向。边界原因：核心贡献在多任务学习架构设计（MLLM planner + LoRA-MoE routing），颜色只是七类退化任务之一，不涉及相机物理模型。

2. Motivation · 动机与启发

FAPE-IR: Frequency-Aware Planning and Execution Framework for All-in-One Image Restoration motivation figure
三类 AIO-IR 范式对比：多分支梯度冲突 / 路由梯度孤立 / FAPE-IR 频率共享+隔离 [page 1 Fig.1]

现有 AIO-IR 方法存在两类对立缺陷：多分支映射把不同退化任务的梯度聚合在共享参数上，导致 gradient conflict，无法同时达到各任务最优点；而 routing/clustering 策略把任务强制隔离，阻断了跨任务结构共享，复合退化场景下泛化极弱。作者发现根本原因在于两类方法都缺乏对退化内容的 semantic understanding——模型无法"看懂"当前图像哪里出了什么问题，只能靠 task label 或 embedding 盲目路由。启发来自 MLLM 的语义能力：冻结 VLM 作 planner 可免标注地生成 per-image restoration plan，且 planner 输出频率感知提示（high/low-frequency 主导），与 FIR spectral router 从信号层面提取的频率分量互补——语义侧与信号侧双端门控，同时化解 gradient conflict 与 gradient isolation 的两难。

3. Method overview

FAPE-IR: Frequency-Aware Planning and Execution Framework for All-in-One Image Restoration method figure
FAPE-IR 框架：Qwen2.5-VL planner 生成频率感知 restoration plan，FLUX executor 内 Frequency-Aware LoRA-MoE 由文本路由 + FIR spectral router 双端门控选高/低频专家 [page 4 Fig.2]

FAPE-IR 把 AIO-IR 分成两阶段：planning 阶段用冻结的 Qwen2.5-VL 分析退化图像，输出 tuple FP=(t̂, f̂, R, E)——任务类别、主频带（high/low）、pipeline 描述、推理解释；execution 阶段用 FLUX diffusion transformer，内置 Frequency-Aware LoRA-MoE 模块。MoE 由双端 gate 控制：文本端（text router）用 planner 的 htext 做 token-wise softmax；频谱端（FIR spectral router）用 depthwise FIR 低通滤波把 generation token 分成 hlow/hhigh，按能量比计算 plow/phigh。两端权重由可学习标量 λs 融合后 top-1 路由选频率专家。训练用对抗损失（SigLIP-v2 discriminator + 多级 BlurPool conv head）替代 flow-matching，并加能量型 frequency regularization loss。

  • 输入 / 输出：输入：退化 sRGB 图像（支持 7 类：rain/snow/noise/blur/haze/low-light/SR）；输出：restored sRGB 图像。
  • 核心机制：Frequency-Aware LoRA-MoE 是核心：两个专家分别对应高频（纹理/噪声）和低频（光照/雾霾）频带，LoRA 更新 W' = W + Σ αᵢAᵢBᵢ，backbone FLUX 全程冻结。FIR spectral router 用高斯核 depthwise 卷积分离 token 频率成分，比 planner 的 semantic routing 更直接感知当前生成状态，二者互补。adversarial training + frequency regularization 保证各专家在各自频带收敛。
  • 训练 / 评价：7 个 restoration 任务标准 benchmark（Rain100H/L、SOTS、GoPro、LOL、BSD68 等），PSNR/SSIM 为主要指标；还测零样本 mixed-degradation 泛化。风险：diffusion 生成式 prior 补纹理的 hallucination 问题——PSNR/SSIM 可能掩盖感知层面的细节编造；low-light 恢复的色彩准确性无 ΔE 评测。
  • 读法：重点核查 mixed-degradation zero-shot 结果：FAPE-IR 声称强泛化，但 AIO-IR 方法在未见组合退化上往往 overfit 到单任务路由——盯住论文 Table 里 compound degradation 行的数字是否显著领先。

4. 创新点

用 MLLM 作 per-image frequency-aware planner（label-free，输出结构化 restoration plan）+ FIR spectral router 双端门控 LoRA-MoE，把「语义理解」与「频率感知执行」显式耦合——这比此前依赖 task label 或隐式 routing 的 AIO-IR 方法更具可解释性。

5. 优点与不足

优点：planner 输出人类可读的 plan，debug 路由失效比黑盒 embedding 容易；FIR spectral router 动态感知生成状态，routing 不依赖 inference-time label。不足：Qwen2.5-VL planner 冻结，不随 task distribution 微调，遇到分布外退化（如 raw-domain noise）语义理解可能失效；adversarial training 稳定性仍是挑战，discriminator 失衡易产生 mode collapse；整体推理链路重（MLLM+diffusion），实时部署困难。

6. 改进方向

1. 增加 ΔE / CIEDE2000 评价维度，量化 low-light 和 dehazing 任务的颜色还原准确性，而非只看 PSNR/SSIM。2. 将 planner 的 frequency hint 扩展为连续频带强度向量（而非 binary high/low），支持更细粒度的多频专家混合。

097

FoundIR-v2: Optimizing Pre-Training Data Mixtures for Image Restoration Foundation Model

Xiang Chen, Jinshan Pan, Jiangxin Dong, Jian Yang, et al. (5 authors)

CVF · PDF · arXiv · Supp

边界 / watchlistRestoration

1. 要解决什么问题

收录原因：watchlist 项，图像恢复 foundation model 方向。与颜色/ISP 接点：50+ subtask 包含 low-light enhancement、dehazing、color JPEG artifact 去除，这些任务的恢复质量直接影响下游 ISP 色彩处理的输入质量；data mixing law 研究揭示不同颜色相关退化任务间的数据交互关系。边界原因：主体贡献是数据调度策略与 MoE diffusion scheduler 的设计方法论，颜色只是多类退化任务之一，不涉及相机颜色科学。

2. Motivation · 动机与启发

FoundIR-v2: Optimizing Pre-Training Data Mixtures for Image Restoration Foundation Model motivation figure
不同数据混合比例下四类任务 PSNR 的统计关系，揭示混合比例非均等最优 [page 1 Fig.1]

图像恢复 foundation model 的性能由训练数据量和基础模型两个因素共同决定，但学界几乎所有精力都放在"数据越多越好"上，忽略了一个更细粒度的问题：不同任务数据的混合比例。作者实测发现，对四类任务（deblurring / dehazing / low-light / SR）使用均等 25% 采样时，各任务 PSNR 表现差异悬殊——某些任务严重欠拟合而另一些过拟合，说明任务间存在数据交互：有的任务共享结构（facilitative），有的相互干扰（conflicting）。这一观察直接启发了 data equilibrium scheduling：用 task-wise PSNR 反馈动态调整各任务采样权重，并与 MoE diffusion scheduler 联合优化，将 NLP 领域 data mixing law 的思路迁移到低层视觉 foundation model。

3. Method overview

FoundIR-v2: Optimizing Pre-Training Data Mixtures for Image Restoration Foundation Model method figure
FoundIR-v2 双调度框架：Data Equilibrium Scheduling 按 task-wise score 动态调整各类数据占比，MoE-driven Scheduler 基于 SDXL 为各任务分配 diffusion prior [page 3 Fig.2]

FoundIR-v2 在 FoundIR 基础上做两件事：(1) Data Equilibrium Scheduling——每隔 T 次迭代在独立参考集 Dref 上评估当前模型的各任务 PSNR，对性能下降的任务按 softmax 规则增加采样权重 λ_j^(t+1) = λ_j^(t)·exp(-α·Δs_j) / Σ normalization，防止任务不均衡；(2) MoE-driven Diffusion Scheduler——将 LQ feature 和 noisy latent 融合后，由 n 个共享 expert 的 MoE router 输出 task-adaptive 权重，为不同退化任务分配不同 diffusion prior 强度。底层 diffusion backbone 为 SDXL，用 LLaVA 生成的文本描述通过 cross-attention 注入。

  • 输入 / 输出：输入：LQ 退化图像（支持 50+ subtask，SR 任务额外支持用户选择是否保留原分辨率或升分）；输出：HQ restored 图像。
  • 核心机制：Data Equilibrium Scheduling 的核心是按任务分性能打分→softmax 重权重的闭环调度，数学上等价于在混合分布上做在线最优化：任务差则多采样，避免 PSNR 低分任务被大数据量任务淹没。MoE-driven scheduler 的 router 对 zt^(k) = φ(f_k^LQ, x_t,k^HQ) 做动态路由，确保 SR 类任务得到 upsampling-heavy prior，低光增强类任务得到 brightness-lifting prior。
  • 训练 / 评价：50+ subtask 覆盖去雨/去雾/低光/去噪/去模糊/SR 等；在各自标准 benchmark PSNR 上与 state-of-the-art 对比；训练用高内存 NVIDIA H20（96 GB）。风险：动态数据调度的超参（T、α、初始 λ）对最终性能敏感，消融不够充分；PSNR-driven 的调度可能忽视感知质量（颜色保真度、纹理真实性）导致指标好但视觉差；H20 96GB 训练门槛高，复现困难。
  • 读法：核查 Fig.1 的 data proportion vs PSNR 关系：论文声称非均匀混合优于均匀采样，关键是消融里不同 α 值下 SR 与低光任务的 PSNR 拉锯——这是 data mixing law 的核心实证。

4. 创新点

首次将 NLP 领域 data mixing law 迁移到图像恢复 foundation model 训练：用 task-wise 在线 PSNR 反馈闭环调整多任务数据采样权重，与 MoE diffusion prior 分配联合优化——比固定比例混合和静态 MoE 路由均有增益。

5. 优点与不足

优点：data equilibrium scheduling 思路简洁，任何多任务 IR 框架均可嫁接；MoE-driven scheduler 动态分配 diffusion prior 针对性强。不足：调度依赖 PSNR 作为反馈信号，对感知质量优化不敏感；SR 的上采样插值随机选 nearest/bilinear/bicubic 在训练时引入域偏移，可能降低最终 SR 质量上限；H20 96GB 无法在消费级 GPU 上复现。

6. 改进方向

1. 将调度反馈信号从 PSNR 替换为感知加权指标（如 LPIPS + ΔE 联合），使低光增强任务的颜色保真度纳入调度优化。2. 开源更小规模的 FoundIR-v2-mini（基于 SD 1.5 或更轻量 backbone），降低复现门槛，验证 data equilibrium scheduling 的泛化性。

098

Restore, Assess, Repeat: A Unified Framework for Iterative Image Restoration

I-Hsiang Chen, Isma Hadji, Enrique Sanchez, Adrian Bulat, et al. (8 authors)

CVF · PDF · arXiv · Supp

边界 / watchlistRestoration

1. 要解决什么问题

收录理由：来自 Samsung AI Cambridge，是一篇 all-in-one 通用图像复原的系统工程论文，与 ISP/颜色主线的接点是低光增强（LOL 数据集）属于其七个复原任务之一，以及复原质量用 PSNR/LPIPS/MANIQA 等指标覆盖颜色准确性方向。这篇本质上是复原系统而非颜色问题：核心创新是把 IQA（图像质量评估）与 IR（图像复原）合并进同一个潜在空间，解决的是未知复合退化场景下效率与泛化性的矛盾，颜色分量只是顺带受益。边界定性：非颜色论文。

2. Motivation · 动机与启发

Restore, Assess, Repeat: A Unified Framework for Iterative Image Restoration motivation figure
RAR 在共享潜在空间中迭代执行质量分析、恢复与验证的三步循环 [page 1 Fig.1]

现有 all-in-one IR 模型在处理未知复合退化时存在两个结构性矛盾：一是 IQA 与 IR 通常作为独立模块串联，需要在像素域反复 encode/decode，引入严重延迟和信息损失；二是 agentic IR 虽然能迭代调用专用工具，但 IQA 模块（如 CLIP n-way 分类器）只能识别预定义的退化集合，泛化能力弱，且每轮都要做像素级 decode，导致整体速度极慢（AgenticIR 推理时间约 RAR 的 11x）。作者注意到 flow-matching 模型（SD3.5）的中间潜码语义连贯、可被 IQA 头直接解读，而普通扩散模型的加噪中间态无法做到这一点——这给在 latent domain 内闭合 assess-restore 循环提供了物理可行性。因此，他们把 VLM-based IQA 通过 adapter 注入同一个 flow-matching latent 空间，实现了端到端可训练的 assess-restore-verify 三步循环，去掉中间解码步骤。

3. Method overview

Restore, Assess, Repeat: A Unified Framework for Iterative Image Restoration method figure
RAR 框架：LQA 模块在潜在空间对退化图像做质量评估，输出 conditioning embedding，驱动 UIR 模型迭代恢复，并用对比质量判断做停止准则 [page 3 Fig.2]

RAR 的核心是一个 Latent Quality Assessment (LQA) 模块——将 DepictQA（VLM-based IQA）通过 Image Adapter (AI) 和 Text Adapter (AQ) 嵌入到 Stable Diffusion 3.5（Flow Matching 版）的潜在空间，使 IQA 和 IR 共用同一个编码器输出。推理时循环执行三步：LQA 评估当前退化内容 → UIR 模型以 LQA 的 logits 直接为条件做 flow step → LQA 再对比前后两帧质量输出 CONTINUE/STOP，整个过程全程在 latent domain 中完成，无需像 AgenticIR 那样反复 decode 到像素域再重新编码。

  • 输入 / 输出：输入：sRGB 退化图（含 noise/blur/haze/rain/low-light/SR/raindrop 七类及其复合）；输出：sRGB 高质量复原图
  • 核心机制：关键设计有三：① 共享潜在空间——AI 把退化图潜码映射到 IQA 的 token 空间，AQ 把 IQA 输出 logits 对齐到 UIR 的 text conditioning 嵌入，绕过文本解码步骤使模型端到端可训练；② Flow Matching 替代扩散——SD3.5 的直接分布映射（zdeg→zhq）允许中间潜码可被 LQA 重新解读，扩散模型的中间加噪潜码做不到这一点；③ 动态停止——LQA 的 pair-comparison head 对两帧潜码做二分类（CONTINUE/STOP），避免过度迭代。
  • 训练 / 评价：训练集：SIDD、DIV2K/Flickr2K（noise/SR）、GoPro、LOL、RESIDE、Rain200L、Raindrop；评价指标：PSNR/SSIM（保真度）+ LPIPS/MANIQA/CLIP-IQA/MUSIQ/NIQE（感知质量）；测试集涵盖 composite（MiO100，16 种复合退化组合 A/B/C）、single degradation、unknown degradation（UDC、EUVP）。风险：复合退化下 PSNR 仅 20.46 dB（RAR vs AgenticIR 21.04 dB），说明 PSNR 并非最优，perceptual 指标才是主要收益（MANIQA +72.4，速度 11.27× 快于 AgenticIR）。
  • 读法：重点盯 Table 1（复合退化定量）和 Table 5（flow-mapping 消融）——前者反映 PSNR 与感知指标的分离现象，后者验证 flow-mapping 而非 denoising 是迭代反馈的必要条件。

4. 创新点

首次把 VLM-based free-form IQA 与 all-in-one 生成式复原模型通过 adapter 深度融合进同一潜在空间，去掉中间解码步骤，实现端到端可训练的迭代 assess-restore 循环。

5. 优点与不足

优点：比 AgenticIR 快 11.27×，感知指标全面领先，对未知退化类型泛化。不足：① 生成式复原不可逆——LQA 驱动的迭代可能把真实纹理替换为 hallucination，在颜色精确性要求高的场景（如医学/工业 ISP）无法接受；② 依赖 SD3.5 的大型 VAE，边端部署存疑；③ 训练依赖 DepictQA 的 IQA 数据，对不在预训练分布里的退化（如 ISP 特有的 demosaicing artifact）能否准确描述未验证。

6. 改进方向

1. 在 LQA 停止判断中加入颜色保真度信号（如 ΔE 或 CCT 偏差），防止迭代过程中白平衡漂移。2. 用 ControlNet 替代 Text Adapter 的条件注入方式，降低对 LLM 文本解码器容量的依赖，进一步压缩推理 latency。

099

Retrieve-to-Restore: Efficient All-in-One Image Restoration with a Retrieval-Based Degradation Bank

Chenxu Wang, Kai Zhang, Jian Yang

CVF · PDF · Supp

边界 / watchlistRestoration

1. 要解决什么问题

收录理由：all-in-one 复原框架，主要面向 noise/haze/rain 三类经典退化，接点在低光增强与去噪任务对 ISP 后处理链路的辅助。边界定性：这是效率导向的 image restoration 工程论文，颜色精度不是第一指标，主要贡献是用检索式 degradation bank 把 MACs 压缩 91%，PSNR 保持与 PromptIR 持平（3-degradation 31.58 dB vs 31.31 dB，5-degradation 结果类似），颜色问题只是附带。难点是多退化联合训练中各任务梯度相互干扰、backbone 参数更新不稳定的问题。

2. Motivation · 动机与启发

all-in-one 方法的常规路线是让一个共享 backbone 同时学会拆除所有退化，但多退化联合训练时各任务梯度相互干扰，参数优化不稳定、PSNR 随退化类型数增多显著下降。作者的关键洞察是：退化适配知识不必内嵌在 backbone 权重里，完全可以外化为可检索的 degradation bank；backbone 只需学通用重建能力，task-specific 信息在推理时由 bank 检索注入。这一'检索代替 routing/prompt'的设计让骨干 NAFNet 保持轻量且 task-agnostic，91% 的 MACs 节省正来源于消除了重型 task-conditional 模块的反复激活。

3. Method overview

Retrieve-to-Restore: Efficient All-in-One Image Restoration with a Retrieval-Based Degradation Bank method figure
R2R 整体框架：(a) NAFBlock U 形编解码骨干；(b) Degradation Amalgamator 从 ILQ/IHQ 残差构建任务级 clean prior bank；(c) Degradation Matching 以 encoder 特征为 query 检索 bank 并调制特征 [page 3 Fig.2]

R2R 的核心思路是把退化知识从 backbone 外化为一个紧凑的 Degradation Bank，骨干保持为单路 NAFBlock U-Net（task-agnostic），退化适配由外部 bank 检索完成。训练时，Degradation Amalgamator 以 (ILQ, IHQ) 对的残差拼接为输入，用 3D-Conv backbone + classifier 为每类退化建立 clean prior（UK, UV 3D 特征对）存入 bank；推理时，Degradation Matching 以 encoder 最后一层输出的 (DK, DV) 为 query，计算 local-mean masked similarity 找到最相关的 prior，Gate-Conv 调制后与 backbone 特征相融合指导重建。

  • 输入 / 输出：输入：sRGB 退化图（noise/haze/rain 及其组合，3 或 5 类退化设置）；输出：sRGB 干净重建图
  • 核心机制：Degradation Amalgamator 用 PW 3D-Conv + BN-3D + DW 3D-Conv 提取 3D 特征（batch 维度上对同类退化做 pooling），对不同任务学出 GK、GV 原型，Collect 操作把每类任务的原型拼入 bank。Degradation Matching 的 masked similarity 机制通过 local-window argmax 抑制 bank 中其他任务的干扰，再经 Softmax + Gate-Conv 加权融合，使骨干 feature 只接受相关退化 prior 的调制，从而减轻跨任务梯度冲突。
  • 训练 / 评价：训练数据：Gaussian noise（BSD400+WED，σ=15/25/50）、RESIDE-SOTS（dehazing）、Rain100L（deraining），3-degradation 和 5-degradation 两套设置。评价：PSNR/SSIM；对比基线 PromptIR（NeurIPS 23，~130G MACs）和 DFPIR（CVPR 25）。关键数字：3-degradation 平均 PSNR +0.47 dB vs PromptIR，同时 MACs 降低 90.9%；5-degradation 同样 ~91% MACs 减少。风险：只测 PSNR/SSIM，未报 LPIPS 或颜色保真度指标；bank 构建依赖 paired GT，对 real-world 未知退化退化 bank 无法覆盖。
  • 读法：盯 Figure 3（任务鲁棒性曲线）——看添加第 4/5 类退化时 R2R vs PromptIR 的 PSNR 变化趋势，验证 bank 可扩展性的核心 claim。

4. 创新点

将退化知识完全外置为可检索的 degradation bank（3D 原型），骨干 NAFNet 保持 task-agnostic 不变，以检索代替 MoE routing 或 prompt injection，在 91% MACs 节省下保住 PSNR 与 SOTA 持平。

5. 优点与不足

优点：MACs 极低（相比 PromptIR 减少 10×），新增退化类型只需重新构建 bank 而不用重新训练骨干，可扩展性好。不足：① bank 构建需要 paired clean-degraded 数据，无监督或真实退化场景下无法工作；② 匹配机制假设退化类别可分，复合多退化（如 noise+haze 同时出现）时检索哪个 prior 的策略未明确讨论；③ 验证指标仅 PSNR/SSIM，颜色域对齐效果未报。

6. 改进方向

1. 在 bank 构建阶段引入 degradation mixture 的 soft prototype（对多退化 pair 做加权混合），提升复合退化下的检索准确性。2. 评估时补充 CIEDE2000 指标，量化去雾/低光增强前后颜色还原的保真度。

100

ShiftLUT: Spatial Shift Enhanced Look-Up Tables for Efficient Image Restoration

Xiaolong Zeng, Yitong Yu, Shiyao Xiong, Jinhua Hao, et al. (7 authors)

CVF · PDF · arXiv · Supp

边界 / watchlistRestoration

1. 要解决什么问题

收录理由：LUT-based 轻量图像复原方向，主要应用场景包括手机/IoT 的边端 ISP 后处理（SR、去噪、去块），这是 ISP pipeline 颜色链路的下游。LUT 方法在 ISP 社区里已有大量应用（SR-LUT 等），ShiftLUT 推进了 LUT 的感受野与存储效率边界。边界定性：本文核心是 LUT 推理加速与感受野扩大，不直接处理颜色问题（无颜色空间讨论、无 AWB/CCM 相关实验），颜色只是被动受益于 SR 质量提升。难点是 LUT 的存储-感受野-精度三方 trade-off，扩大感受野必然导致 LUT 指数级增长。

2. Motivation · 动机与启发

LUT 方法以空间换时间，天然适合边端 NPU/DSP，但扩大感受野必然导致 LUT 尺寸指数级膨胀。作者观察到：不同 feature channel 所需的空间采样位置各不相同，为每个通道学习一组固定 offset 等价于让 LUT 在偏移后的空间位置采样，感受野扩大而 LUT 尺寸不变，这是 LSS 的核心 insight。同时，对 SPLUT 双分支架构的稀疏性分析揭示 LSB 分支随深度快速退化为全零激活，对称设计是无效的，把算力集中给 MSB 才是正确的资源分配策略。两个独立观察组合成一个自洽的设计：用 LSS 扩感受野、用不对称架构减冗余、用 EAS 压存储。

3. Method overview

ShiftLUT: Spatial Shift Enhanced Look-Up Tables for Efficient Image Restoration method figure
ShiftLUT 整体架构：MSB/LSB 双分支 + ShiftBlock（LSS + PwBlock + DwConv）深度特征处理，配合 EAS 自适应采样压缩 LUT 存储；(b) LSS 两阶段偏移学习；(c) EAS 推理缓存管线 [page 3 Fig.2]

ShiftLUT 在 TinyLUT 和 SPLUT 的双分支框架基础上引入三处改动：① Learnable Spatial Shift (LSS) 模块——用 Offset Prediction Network（轻量 CNN + MLP head）为每个特征通道学习独立的空间偏移 (Δx, Δy)，扩大感受野而不增大 LUT 尺寸，训练后将连续偏移取均值并 round 为整数用于推理，彻底消除推理时的 interpolation 开销；② 不对称双分支——MSB 分支堆叠 7 个 ShiftBlock（信息密集），LSB 分支退化为单层 LUT（稀疏分支不值得深处理）；③ Error-bounded Adaptive Sampling (EAS)——为每张 LUT 自适应确定最优采样步长（在预设误差限下最大化步长），并预计算缓存中间插值结果以消除推理时重复计算。

  • 输入 / 输出：输入：低质量图像（LQ，8-bit RGB，按 MSB/LSB 拆分）；输出：高质量恢复图（SR/denoising/deblocking）
  • 核心机制：LSS 的核心 insight：不同 feature channel 的最优感受野位置各不相同，为每通道学一组固定 offset 等价于让 LUT 在不同空间位置采样不同通道，相当于扩大有效感受野而无需改变 LUT 索引维度。LAM（Local Attribution Map）验证显示加入 LSS 后 DI（diffusion index）显著增大。EAS 的 cache 机制预计算 LUT 插值中间结果存入 buffer，推理时只需单次查询代替逐像素插值，配合 LSB 稀疏性分析的不对称设计，整体推理延迟比 TinyLUT 更低。
  • 训练 / 评价：评价数据集：Set5（x4 SR 主要对比台），以及标准去噪/去块 benchmark；对比方法：TinyLUT、MuLUT、SPLUT、HKLUT、RCLUT。关键数字：比 TinyLUT 感受野大 3.8×，平均 PSNR 高 0.21 dB，存储与推理时间保持可比。ShiftLUT-S/M/L 三个变体覆盖不同部署需求。风险：仅测合成退化（标准 benchmark），未测真实 RAW 域噪声或 ISP 场景下的实际收益。
  • 读法：盯 Figure 1（存储-PSNR-推理时间三维比较图）和 LSB 稀疏性实验——不对称设计成立的前提是 LSB 分支随深度稀疏化，这个假设是否在不同降质类型下都成立值得追问。

4. 创新点

首次将可学习的 per-channel 空间偏移（LSS）引入 LUT-based 框架，训练时学习连续偏移、推理时固化为整数位移，在不改变 LUT 表大小的前提下将感受野扩大 3.8×；同时用不对称双分支和 EAS 自适应采样同步压缩存储与延迟。

5. 优点与不足

优点：感受野扩大与存储压缩同时实现，推理无浮点运算（纯 LUT 查表+整数位移），适合 NPU/DSP 部署。不足：① LSS 学出的偏移是输入无关的固定 pattern，对内容自适应感受野无能为力（但这也是为何能固化为推理常量）；② 只测合成退化，真实相机 RAW pipeline（含 demosaicing 后的颜色误差）未验证；③ 与 CNN/Transformer 方法差距在 PSNR 量级上依然显著（约 0.5–1.5 dB），LUT 方法的上限受限于索引维度。

6. 改进方向

1. 将 ShiftLUT 接入 ISP pipeline 的 tone mapping / color correction 后段，测量对真实 RAW 数据集（如 MIT-Adobe FiveK）的颜色保真度影响。2. 探索 LSS 在颜色 LUT（3D color grading LUT）中的应用——用可学习 per-channel shift 扩大颜色邻域感受野，或许比传统 trilinear 插值更准确。

101

NanoSD: Edge Efficient Foundation Model for Real Time Image Restoration

Subhajit Sanyal, Srinivas Soumitri Miriyala, Akshay Janardan Bankar, Manjunath Arveti, et al. (10 authors)

CVF · PDF · arXiv · Supp

边界 / watchlistRestoration

1. 要解决什么问题

收录理由：来自 Samsung Research India，面向边端 NPU（手机级别）的扩散模型压缩框架，应用任务之一是 SR + 去雾 + 去模糊，属于 ISP 后处理链路。ISP 接点：去模糊/去雾直接影响 ISP 输出质量，且这是一家手机厂商（Samsung）的工作，背景是将生成式复原融入移动端 ISP。边界定性：这篇本质上是 diffusion model 压缩/架构搜索论文，核心贡献是 block-level 蒸馏 + 贝叶斯 NAS，颜色本身不是研究对象，SD 1.5 的 VAE 压缩只是为了降延迟，不是为了颜色准确性。

2. Motivation · 动机与启发

Stable Diffusion 系列已在海量图文数据中学到极强的生成先验，理论上对 image restoration 极为有利，但现有轻量化方案要么只压 denoising U-Net 要么只蒸馏 diffusion trajectory，二者均破坏了 latent manifold 的连贯性，导致模型对单一任务以外的场景泛化力急剧下降。作者的判断是：U-Net 和 VAE encoder/decoder 必须作为整体协同压缩，否则轻量化 U-Net 产生的 latent 与未压缩 VAE 解码器不匹配。Block-level 蒸馏 + 多目标贝叶斯 NAS 的思路，正是为了在不全量重训 32768 个候选架构的前提下，找到 accuracy-latency-size 三者 Pareto 最优的 full-pipeline 设计。

3. Method overview

NanoSD: Edge Efficient Foundation Model for Real Time Image Restoration method figure
NanoSD 框架：从 SD 1.5 U-Net 分阶段构建候选变体空间，feature-wise 逐 block 蒸馏，多目标贝叶斯优化（taFID vs 延迟/参数量）得到 Pareto 前沿，选出 NanoSD-Prime 并蒸馏对应 VAE [page 4 Fig.2]

NanoSD 的流程分五步：① 硬件感知 U-Net 重构——将 SD 1.5 的 6 个 stage（3 encoder + 3 decoder，去掉 encoder-4/middle/decoder-4）分解为 32,768 种候选架构（各 stage 选 R/RA/RAR 等变体，保持 tensor shape 兼容）；② Block-level 特征蒸馏——以 L2 特征匹配独立蒸馏每个候选 block，共 30 个 surrogate blocks 并行训练；③ 多目标贝叶斯优化（EHVI）——在 taFID（teacher-aligned FID）vs 延迟 / taFID vs 参数量 两轴上求 Pareto 前沿，得到 7 个 Pareto-optimal 架构（NanoSD family）；④ 固定 NanoSD-Prime（最均衡点），蒸馏对应 VAE encoder/decoder；⑤ 全端到端微调。

  • 输入 / 输出：输入：低质量图像（SR 输入 DIV2K-Val / RealSR；人脸修复输入 CelebA-Test；去模糊/去雾/去雨/去雪输入各自 benchmark）；输出：高质量还原图
  • 核心机制：关键设计：block-level 蒸馏的 divide-and-conquer 策略使 32768 种候选架构无需全量训练就能预测性能，massively parallel 且每次只需训练单个 block；taFID 是自定义指标，衡量学生模型输出与 SD 1.5 teacher 输出的分布距离（Fréchet），比 FID 更直接反映 generative prior 的保留程度；最终 NanoSD-Prime 约 315M 参数，在 Qualcomm NPU（8-bit weights，16-bit activations）上延迟低至 20ms；VAE 蒸馏采用 feature-matching loss，保持潜在空间与骨干 U-Net 的兼容性。
  • 训练 / 评价：预训练数据：LAION-style 图文对；下游任务评价：SR（DIV2K-Val，PSNR/SSIM/LPIPS/FID/NIQE/MUSIQ）、人脸修复（CelebA-Test，LPIPS/FID/MUSIQ）、去模糊/去雾/去雨/去雪（FID/KID）、单目深度估计（NYUv2，AbsRel/δ1）；对比方法：Edge-SD-SR、AdcSR、TinySR、PocketSR（SR），DiffBIR、OSDFace（人脸）。Nano-S3Diff 最佳 NIQE 4.09 vs TinySR 4.41，MUSIQ 70.44 vs 69.90，在更低 MACs 下达到更好感知质量。风险：感知指标（FID、MUSIQ）优先，PSNR 并非最优，对颜色失真的量化完全缺失。
  • 读法：盯 Figure 2e/2f（Pareto 曲线）和 NanoSD vs 手工设计基线的对比——核心 claim 是 NAS 必要性、手工设计不在 Pareto 前沿；验证 Qualcomm NPU 延迟数字的可信度（8-bit 量化条件、batch size 等实验细节）。

4. 创新点

首次对 SD 1.5 做 block-level 硬件感知 NAS + feature-wise 蒸馏的全流程协同设计，同时压缩 U-Net 和 VAE，以多目标贝叶斯优化取代手工调参，得到一族覆盖 130M–315M 的 Pareto-optimal 扩散基础模型。

5. 优点与不足

优点：通用性强——同一 NanoSD 骨干作为 drop-in 替换即可支持 SR/人脸/去模糊/去雾等多任务；实测 NPU 延迟可信（Qualcomm NPU）。不足：① 纯感知指标驱动，颜色保真度未量化；② 蒸馏目标是 generative prior 保留而非像素精度，用于颜色关键应用（AWB/CCM 后段 artifact 修复）存在颜色偏移风险；③ 训练依赖 LAION-scale 数据，面向垂直 ISP 场景需大量领域微调；④ 论文中 SR 任务 PSNR 23–24 dB 量级，低于传统确定性 SR 方法，说明生成式路线在保真度上有明显 trade-off。

6. 改进方向

1. 在 Pareto 搜索目标中加入颜色保真度代理指标（如 CIEDE2000），筛选出在不牺牲颜色精度前提下延迟最小的架构。2. 为 ISP 场景（RAW→sRGB 通路末端）设计专项 fine-tuning 数据集，验证 NanoSD 在颜色还原任务（白点、色调映射）上的行为。

102

UniLDiff: Unlocking the Power of Diffusion Priors for All-in-One Image Restoration

Zihan Cheng, Liangtai Zhou, Dian Chen, Ni Tang, et al. (7 authors)

CVF · PDF · arXiv · Supp

边界 / watchlistRestoration

1. 要解决什么问题

收录理由：来自厦门大学，是 all-in-one image restoration 的扩散先验应用论文，任务覆盖去雾、去雨、去噪、去模糊、低光增强，低光增强直接关联 ISP 感知质量。颜色接点：去雾实验中作者特别提到「restores more balanced colors and clearer scene structures」，表明颜色还原是其优势之一。边界定性：核心创新是 DAFF 的 step-wise LQ 特征注入和 DAEM 的 MoE 纹理细化，本质上是通用 restoration 框架而非颜色专项。使用 Stable Diffusion XL 作为底座，颜色输出受 SDXL 训练分布约束，不保证颜色精确性。

2. Motivation · 动机与启发

当前 diffusion-based AiOIR 方法普遍依赖全局 textual 或 visual prompt 来感知退化类型，但文本 prompt 只提供语义级线索、无空间精度，visual prompt 又依赖预设退化类别标签——两者均在真实场景的复合、空间异质退化面前失效。作者的核心判断是：LQ 图像本身就携带足够的退化信息，关键在于如何把它在每个去噪 step动态地与演变中的 latent 对齐，而非只在推理起点静态 concat 一次。同时，VAE 的高压缩比导致解码端系统性丢失高频纹理；在 decoder 引入 MoE routing把纹理恢复拆给不同感受野的专家，是对 LDM 结构性缺陷的针对性补丁，而非锦上添花。

3. Method overview

UniLDiff: Unlocking the Power of Diffusion Priors for All-in-One Image Restoration method figure
UniLDiff 框架：双 VAE Encoder 提取 LQ/HQ 特征，DAFF（Double Stream + Single Stream）在每个 denoising step 动态对齐 LQ 特征与去噪潜码，DAEM（MoE decoder）自适应路由修复高频纹理 [page 2 Fig.2]

UniLDiff 在 SDXL 的 latent diffusion 框架上加两个模块：① Degradation-Aware Feature Fusion (DAFF)——先用独立 LQ VAE Encoder 提取多尺度 LQ 特征，然后在 diffusion UNet 的每个 denoising step 内注入；DAFF 采用 FLUX 启发的 Double Stream（LQ 和 HQ latent 各自独立 QKV，再 cross-attention 融合）→ Single Stream（concat 后统一 attention）级联，并用 timestep-conditioned gating 控制融合强度，避免 LQ 信号在去噪后期干扰干净重建；② Detail-Aware Expert Module (DAEM)——在 VAE Decoder 中插入 MoE 结构，router（top-1 Softmax + Gaussian noise）将每个 spatial token 分配给不同感受野的 NAFBlock 专家，再用 skip-connected encoder 特征驱动全局 transposed self-attention 分支做语义调制，补偿 VAE 高压缩导致的高频细节丢失。

  • 输入 / 输出：输入：sRGB 低质量图（LQ）+ 可选 ChatGPT 4o 生成的 task prompt（content embedding）；输出：sRGB 高质量恢复图（基于 SDXL 的 latent 解码）
  • 核心机制：DAFF 的关键 insight：传统方法把 LQ 特征静态 concat 到初始 latent 即固定，但随着去噪进行 HQ latent 逐步远离 LQ 特征，导致后期 LQ guidance 干扰结构一致性。DAFF 在每个 timestep 动态对齐并以 timestep-conditioned gate 自动调节 LQ 影响权重。DAEM 的 MoE 路由用辅助 load-balancing loss (Laux) 防止 expert collapse，实验设 k=1 active expert。三阶段训练：先冻骨干训 DAFF，再联合微调 DAFF + LQ encoder，最后单独训 DAEM。
  • 训练 / 评价：训练数据：BSD400+WED（denoising）、Rain100L（deraining）、RESIDE-SOTS（dehazing）、GoPro（deblurring）、LOL-v1（low-light）；评价指标：PSNR/SSIM/LPIPS/DISTS（保真度）+ NIQE/MANIQA/MUSIQ/CLIPIQA（感知）；还测 5-task 设置和复合退化（CDD11）以及 zero-shot 屏下相机复原（P-OLED/T-OLED）。对比主要基线：AirNet、PromptIR、DA-CLIP、DiffUIR；UniLDiff PSNR 32.18 dB（vs DA-CLIP 30.27）、SSIM 0.9105、LPIPS 0.0651，感知指标 MUSIQ 68.89（最优）、MANIQA 0.7038（最优）。风险：SDXL 底座引入生成式纹理幻觉，PSNR 与人眼感知分离的问题会在颜色精确性场景（如工业/医学）放大。
  • 读法：盯 Table 1（3-task 均值，非 diffusion 与 diffusion 方法的 PSNR vs LPIPS 分布差异）和 zero-shot under-display camera 实验——后者最能体现 DAFF 对未知退化的泛化，也是检验无 LQ-HQ 配对时能否维持 DAFF 效果的压力测试。

4. 创新点

在 LDM 框架中用 timestep-conditioned double+single stream DAFF 实现 per-step 动态 LQ 特征注入，解决了静态 LQ concat 在去噪后期引入干扰的问题；同时用 skip-guided MoE decoder (DAEM) 补偿 VAE 高压缩造成的纹理损失，两者结合使 SDXL prior 第一次被有效用于 all-in-one 多任务复原。

5. 优点与不足

优点：感知质量指标（MUSIQ、MANIQA）达到 diffusion 方法最优，zero-shot 下显相机复原说明对未知退化有一定泛化；去雾结果颜色平衡性有具体定性展示。不足：① SDXL 底座导致推理代价高（多步去噪），边端部署困难；② 对 LQ content embedding 使用 ChatGPT 4o 生成描述，增加了工程依赖且非完全端到端；③ PSNR 相对 non-diffusion SOTA（PromptIR 32.18 dB，本文也是 32.18 dB）无明显 PSNR 提升，即感知收益是以计算成本换来的；④ 颜色偏差没有 ΔE 量化。

6. 改进方向

1. 在 DAFF 的 gating 网络中加入颜色统计反馈（如去雾前后 CCT 对比），使低光增强和去雾任务的颜色恢复可量化、可监督。2. 将 DAEM 的 MoE 路由与轻量蒸馏（参考 NanoSD 思路）结合，把 SDXL 底座替换为更小的 distilled backbone，保留 DAFF 机制，使方法具备边端可行性。

103

Scan Clusters, Not Pixels: A Cluster-Centric Paradigm for Efficient Ultra-high-definition Image Restoration

Chen Wu, Ling Wang, Zhuoran Zheng, Yuning Cui, et al. (9 authors)

CVF · PDF · arXiv

边界 / watchlistRestoration

1. 要解决什么问题

收录原因：UHD（4K）图像复原是 ISP 下游的效率瓶颈，高分辨率 RAW/sRGB 输出后的 pipeline（去噪、去雨、增强）必须在消费级 GPU 上跑，而现有 Mamba 类模型做 pixel-serial 扫描时 VRAM 随像素数线性膨胀至不可用。这篇解决的是纯计算架构问题，与颜色/AWB/CCM 本身无关；它算边界论文的理由是：UHD 场景下 ISP 最终输出的图像质量（low-light 增强、去雾、颜色还原）都依赖此类复原网络的效率，若架构不 scalable 则颜色校正的结果直接受损。

2. Motivation · 动机与启发

Scan Clusters, Not Pixels: A Cluster-Centric Paradigm for Efficient Ultra-high-definition Image Restoration motivation figure
三种 Mamba 扫描策略对比：全像素扫描（VMamba）/ 省步扫描（EfficientVMamba）/ 聚类中心扫描（C²SSM） [page 2 Fig.1]

Mamba 系列以 O(N) 复杂度取代 Transformer 的 O(N²) attention，但其核心操作单元仍是逐像素串行扫描，4K 图像 8M 个像素直接撑爆消费级 GPU 的 VRAM。作者观察到自然图像并非随机像素的集合，而是具有显著低秩结构：特征分布天然收敛为少数语义中心区域。这意味着对所有像素执行 SSM 推理是巨大的计算冗余，只需在稀疏的语义中心上推理、再通过概率分布把上下文反扩散回全像素，即可在不损失全局感受野的前提下把 SSM 的实际输入规模从百万级压缩到几十个中心。法全概率定律提供了这一反扩散的理论保证，让聚类中心扫描从工程 trick 升格为有据可查的范式替换。

3. Method overview

Scan Clusters, Not Pixels: A Cluster-Centric Paradigm for Efficient Ultra-high-definition Image Restoration method figure
C²SSM 总览：CCSM 做聚类中心扫描 + score diffusion，SCFM 保局部细节，二路并行嵌入非对称 U-Net decoder [page 3 Fig.2]

C²SSM 引入聚类中心串行扫描范式：先用神经参数化混合模型把 UHD 特征图压缩到稀疏的 n 个语义中心（CCSM 的 Feature Aggregating），再用 Mamba S6 仅对这 n 个中心做 SSM 推理，最后通过基于余弦相似度的 n 维概率分布将全局上下文反扩散回所有像素（Score Diffusing）；并行的 Spatial-Channel Feature Modulator（SCFM）保留高频细节。整体嵌入非对称 U-Net：encoder 只用 FFN，decoder 集成 CCSM+SCFM。

  • 输入 / 输出：输入：退化 sRGB UHD 图像（如 3840×2160）；输出：复原 sRGB 图像，残差学习方式加回输入。
  • 核心机制：核心是 Feature Aggregating + Score Diffusing 双步：FA 对初始化均匀采样的 n 个中心做余弦相似度分布建模，一步完成跨空间像素分配和中心更新，无需迭代；SD 以法全概率定律将 SSM 推理后的中心权重通过同一相似度分布反扩散到全像素，O(C·n²) 复杂度远低于全像素扫描的 O(C·H²W²)。可学习参数 α/β 控制分布锐度，适应纹理与边缘区域的不同分配需求。
  • 训练 / 评价：在 UHD-LOL4K（低光增强）、4K-Rain13k/4K-RealRain（去雨）等五类 UHD 任务上评测，PSNR/SSIM 为主指标，另用 NIQE/PIQE 评无参考场景。在 4K-Rain13k 上比 MambaIRv2 高 1.96 dB、比 ERR 高 0.65 dB；低光任务比 MixNet 高 0.39 dB。风险：PSNR 衡量亮度/结构偏差，未直接报 ΔE 或色准指标，颜色保真度不确定。
  • 读法：盯住 CCSM 的中心数 n 的消融实验——n 过小会丢失全局语义，n 过大退化成近似全像素扫描，这个 trade-off 决定该范式在更低分辨率任务（如 1080p ISP）上是否仍有意义。

4. 创新点

首个将 SSM 的扫描单元从 pixel/patch 升级为语义聚类中心的方法，用概率分布建模替代迭代 K-means，一步完成聚类和权重反扩散，实现 UHD 全分辨率复原在消费级 GPU 上的可行性。

5. 优点与不足

优点：理论上有法全概率推导支撑，五项 UHD 任务全面 SOTA，consumer GPU 可用。不足：聚类中心 n 是超参，不同场景内容分布差异大时需调优；色彩精度未评估；论文未报推理延迟绝对值，只对比 FLOPs；聚类初始化用随机均匀采样，对极端高频/噪声图像的稳定性存疑。

6. 改进方向

1. 引入 ΔE₂₀₀₀ 或颜色直方图偏差作为辅助损失，验证复原后的颜色保真度是否随聚类数变化而退化。2. 将 CCSM 用于 RAW 域（Bayer 输入）而非 sRGB，直接嵌入 ISP pipeline 的降噪阶段，测试色彩通道间的聚类是否出现误耦合。

104

Self-supervised Dynamic Heterogeneous Degradation Modeling for Unified Zero-Shot Image Restoration

XiaoWan Hu, Jing Yang, HeNan Liu, HuaQiu Li, et al. (5 authors)

CVF · PDF · Supp

边界 / watchlistRestoration

1. 要解决什么问题

收录原因：真实场景图像往往存在多种退化叠加（低光+噪声、雾+色偏），传统 all-in-one 模型需要有监督训练且泛化差，而零样本扩散方法采样成本高、推理轨迹固定易陷入局部最优。与 ISP/颜色主线的接点：低光增强和去雾这两个任务直接影响 AWB 和 CCM 的输入质量——退化图像的颜色分布偏移会让色温估计偏差数百 K。本文是纯复原架构，颜色不是核心目标，属边界论文。

2. Motivation · 动机与启发

Self-supervised Dynamic Heterogeneous Degradation Modeling for Unified Zero-Shot Image Restoration motivation figure
三类 pipeline 对比：任务专用、all-in-one、以及本文 UP-ZeroIR 在 latent 空间统一建模退化分布 [page 1 Fig.1]

作者观察到，现有 zero-shot restoration 方法无论是 task-specific 还是 all-in-one，都把 degradation 当作黑箱特征来学——前者须为每种退化单独建模，后者靠更深网络或预训练特征隐式捕捉，导致训练代价随任务数增长。关键启发在于：表面各异的异质退化（噪声、雾、低光等），在 latent diffusion 空间中可以被 reparameterize 成一组物理上自洽的最小参数集，退化建模因此从高维特征拟合降为分布对齐问题，后验采样也得以获得明确的低维控制变量来引导收敛方向。

3. Method overview

Self-supervised Dynamic Heterogeneous Degradation Modeling for Unified Zero-Shot Image Restoration method figure
UP-ZeroIR 框架：PCDM 将退化建模为 GGD 潜在分布，DQR 在采样轨迹中动态评估质量并提前退出，退化感知后验采样引导扩散方向 [page 4 Fig.4]

UP-ZeroIR 的核心是把异构退化统一用广义高斯分布（GGD）在 latent diffusion 空间建模（PCDM 模块），用 KL 散度对齐退化分布，从而将不同类型退化归化为可控的低维参数 (α, σ)；推理时用动态质量精炼策略（DQR）周期性评估中间结果，质量达标则早退出，否则调整采样步长跳出局部最优。退化感知后验采样把 GGD 参数梯度叠加进 DDPM reverse 步骤。

  • 输入 / 输出：输入：单张退化 sRGB 图像（无需退化类型标注）；输出：复原 sRGB 图像。推理依赖预训练 LDM，无需任务特定再训练。
  • 核心机制：PCDM 用编码器将低质量图像映射到 latent，拟合 GGD 参数 (α, σ)，用 KLDivLoss 对齐干净图像 latent 的参考分布；DQR 在每 Δt=100 步做质量评估（Quality Assessment 模块），判断是否继续采样或早退；退化感知梯度 g = ∇[−J(·) + Q(·)] 将退化一致性约束注入 DDPM 逆过程，避免无约束生成式幻觉。
  • 训练 / 评价：自监督训练，无需配对退化-清晰图像；在 LOLv1 低光增强、HSTS 去雾、Kodak24 去噪等标准 benchmark 上评测 PSNR/SSIM/LPIPS。声称单退化和混合退化均优于同类零样本方法。风险：GGD 对极端退化（如 sensor flare 或结构性色差）的参数适配性未测试；PSNR 提升不等于颜色保真，去雾后颜色偏差用 ΔE 量化更合适。
  • 读法：重点看 DQR 消融实验——早退出机制节省了多少采样步数，以及关掉 DQR 后在混合退化场景的 PSNR 下降幅度，这决定这个模块的实际价值。

4. 创新点

把异构退化建模问题转化为 latent 空间的 GGD 分布对齐，省去任务特定退化估计器，并用自适应采样轨迹调整解决零样本扩散固定路径的局限性。

5. 优点与不足

优点：零样本、无需重训、GGD 参数物理可解释。不足：GGD 假设退化在 latent 空间服从单峰广义高斯，对多种退化严重叠加时假设可能失效；LDM 的生成先验可能引入结构性幻觉，尤其在高频纹理区域；推理成本仍高于判别式模型；颜色精度未单独量化。

6. 改进方向

1. 在 ISP pipeline 中的 AWB 前置使用 UP-ZeroIR 去除低光/雾退化，量化复原前后 CCT 估计误差（如角误差°）的变化，验证其对颜色链路的实际增益。2. 将 GGD 扩展为混合高斯（GMM），以应对多退化叠加时 latent 分布出现多峰的情况。

105

HalluGen: Synthesizing Realistic and Controllable Hallucinations for Evaluating Image Restoration

Seunghoi Kim, Henry F. J. Tregidgo, Chen Jin, Matteo Figini, et al. (5 authors)

CVF · PDF · arXiv · Supp

边界 / watchlistRestoration

1. 要解决什么问题

收录原因：生成式复原模型（diffusion-based super-resolution、低场 MRI 增强）会产生视觉上真实但语义上错误的幻觉结构，而 PSNR/SSIM/LPIPS 对幻觉不敏感——例如幻觉输出的 LPIPS 分值甚至优于轻微模糊但正确的图像。本文建立首个可控幻觉合成与评测框架。与 ISP/颜色主线的接点极弱：主要是医学/工业检测域的复原可靠性问题；对 ISP 颜色链路几乎无直接影响。收录理由是幻觉问题是扩散式 ISP 超分/增强的通用隐患，该评测方法论有潜在迁移价值。

2. Motivation · 动机与启发

安全关键域（低磁场 MRI、工业检测、遥感）的图像复原模型普遍存在 hallucination——生成出视觉可信却语义错误的结构——但该问题长期缺乏系统评估手段，根源是一个"鸡生蛋"困境：量化 hallucination 需要标注数据，而标注本身代价高、专家间一致性低。作者的核心思路是打破这一闭环：用可控的 diffusion 扰动主动生成 hallucination，自动产生 patch 级标签，从而把原本无法规模化的评估工作转化为可监督学习问题，同时揭示 PSNR/SSIM/LPIPS 这类传统指标对局部语义错误的感知盲区。

3. Method overview

HalluGen: Synthesizing Realistic and Controllable Hallucinations for Evaluating Image Restoration method figure
HalluGen 系统：扩散模型通过梯度上升（内在幻觉）或特征空间偏离（外在幻觉）可控生成幻觉，HVM 模块用 Cohen's d 验证并拒绝不合格样本 [page 2 Fig.1]

HalluGen 在 Diffusion Posterior Sampling（DPS）框架上扩展：内在幻觉通过对数据一致性项在指定 patch 区域做梯度上升（破坏测量一致性 A(x̂)≠A(xgt)）；外在幻觉通过在图像域和 DINO/SAM 特征域同时做梯度上升（保持测量一致性但偏离 GT 语义）。Hallucination Verification Module（HVM）用 Cohen's d 对生成结果做效应量验证，不满足阈值 τ 的样本重采样直至通过。entropy-based patch 选择策略替代随机或分割掩码，聚焦信息量高的区域。

  • 输入 / 输出：输入：干净参考图像 + 前向退化算子 A(·)；输出：带 patch 级幻觉标注的退化-复原图像对，幻觉类型（内在/外在）、位置、严重程度可控。
  • 核心机制：关键设计：梯度上升公式 xt-1 = µθ - λt∇∥(1-m)⊙data_consistency∥² + γt∇∥m⊙data_consistency∥²，m 是 patch 掩码；DPS 扩散先验保证全局外观合理（先验约束作为隐式正则），同时局部梯度上升制造偏差；最后 HVM 用 Cohen's d 在幻觉区域内量化 pred/GT 均值差，确保幻觉既可见又语义错误。SHAFE 指标用 soft-attention pooling 聚合局部特征相似度图，比 PSNR 幻觉检测 AUC 提升 0.25，假阴性率降低 24 个百分点。
  • 训练 / 评价：在 1450 张脑 MRI 图像上构建 4350 张带幻觉标注的评测集；分割 IoU 从 0.86 降至 0.36 验证幻觉语义真实性；跨域测试 MVTec AD（工业）和 ImageNet（自然图像）；参考无关幻觉检测器在 HalluGen 数据上训练，在真实复原失败样本上泛化。风险：当前主要验证于医学 MRI，patch 尺寸 16–24 px 对自然图像和 ISP 输出的适用性未充分验证；entropy patch 选择在均匀纹理图像上可能失效。
  • 读法：重点看 SHAFE 与 LPIPS 在幻觉检测 ROC 上的对比——SHAFE 在 AUC 上的增益是否在低幻觉严重程度时仍然显著，这决定它能否替换 PSNR/LPIPS 作为扩散式复原的标准评测指标。

4. 创新点

首个为图像复原幻觉建立可控合成 + 分类学标注 + 专用检测指标的完整评测框架，将幻觉研究从 VLM 领域迁移到 pixel-level 复原任务。

5. 优点与不足

优点：幻觉标注自动生成、HVM 验证闭环、SHAFE 指标设计有理论依据。不足：框架高度依赖 DPS，对非扩散式复原模型（如 CNN、NAFNet）不直接适用；医学域为主，颜色科学/工业视觉应用迁移需重新验证 τ_hvm 阈值；幻觉 patch 尺寸固定范围（16–24 px），无法捕获大尺度结构幻觉（如错误器官形态）。

6. 改进方向

1. 将 HalluGen 扩展到 ISP 超分场景，生成在 Bayer pattern 下测量一致但 sRGB 空间语义错误的幻觉样本，验证颜色通道在幻觉区域的 ΔE 分布。2. 用 HalluGen 系统性评测扩散式低光增强模型在不同 SNR 下的幻觉率，建立 SNR–幻觉率曲线作为 ISP 扩散先验选型依据。

106

Hybrid Agents for Image Restoration

Bingchen Li, Xin Li, Yiting Lu, Zhibo Chen

CVF · PDF · arXiv · Supp

边界 / watchlistRestoration

1. 要解决什么问题

收录原因：真实场景退化往往是多类型叠加（motion blur + JPEG artifact + noise），逐步单任务复原会引入分布偏移并导致误差累积，而现有 MLLM-based agent 对清晰简单指令也调用重量级模型，效率低下。与 ISP/颜色主线的接点：IQ Assessment 和自动化复原工具链是下一代 ISP 智能化的方向；HybridAgent 针对 10 种退化类型含低光、去雾等颜色相关任务的混合处理，和颜色链路有间接关联。本文主要解决的是 agent 系统设计问题，颜色本身不是目标，属边界论文。

2. Motivation · 动机与启发

Hybrid Agents for Image Restoration motivation figure
逐步去退化 vs. 一步 hybrid 去除：step-by-step 因退化纠缠导致 PSNR 明显更低 [page 1 Fig.1]

现有图像复原研究在 task-specific 和 universal 两种模式之间各自为政，用户仍需专业知识手动选择合适工具，而真实世界图像往往叠加多种退化。作者注意到一个被忽视的关键失效模式：对 hybrid degradation 逐步按单退化依次还原会导致distortion entanglement——如先去 JPEG 再去噪再去模糊，各步骤互相干扰，最终 PSNR远低于一步到位的 hybrid removal。这一观察驱动了 fast/slow/feedback 三态 agent 设计，并专门引入 mixed distortion removal 工具，防止 step-by-step error propagation。

3. Method overview

Hybrid Agents for Image Restoration method figure
HybridAgent 流程：FastAgent 判断 prompt 清晰度，模糊则转 SlowAgent（MLLM + majority voting），FeedbackAgent 评估结果是否仍需继续复原 [page 3 Fig.2]

HybridAgent 由三类 agent 组成：FastAgent（轻量 LLM + in-context learning）处理明确指令；SlowAgent（Co-Instruct MLLM fine-tuned on 10 万条图像-文本对 + majority voting）处理模糊指令并识别退化类型；FeedbackAgent（fine-tuned IQA 模型）评估复原结果是否已足够干净并决定是否终止。复原工具经三阶段训练：Stage I 多任务预训练 foundation model，Stage II 用 LoRA fine-tune 各单退化工具，Stage III 用新的 LoRA 权重训练混合退化工具（prompt 从 Stage II 初始化），避免分布偏移引起的误差传播。

  • 输入 / 输出：输入：退化图像 + 用户自然语言 prompt（可模糊可精确）；输出：复原 sRGB 图像。工具涵盖 10 类退化：noise、gaussian blur、motion blur、JPEG/HEVC/VVC 压缩伪影、rain streak、raindrop、haze、low-light。
  • 核心机制：核心差异化设计：混合退化工具（Stage III）让网络一次性处理多类叠加退化，而非逐步调用单任务工具——Stage III 中 prompt 权重从 Stage II 继承并 fine-tune，LoRA 权重重新初始化，使网络兼顾任务特定知识与混合退化分布。majority voting 缓解 MLLM 退化识别幻觉；FeedbackAgent 引入历史工具调用记录作为上下文，避免无限循环。
  • 训练 / 评价：指令微调数据集超过 10 万图像-文本对，覆盖 10 类退化；在合成和真实世界 IR 任务上验证；PSNR/SSIM 为主要指标；测试 HybridAgent 处理复杂指令（如"please restore this image"）和精确指令（如"remove noise"）的差异响应。风险：10 类退化远少于真实 ISP 场景（无 sensor fixed pattern noise、chromatic aberration、lens flare 等），颜色类退化处理质量未用 ΔE 量化。
  • 读法：重点看混合退化工具（Step-by-step vs one-step）的消融对比——Fig.1 中显示逐步处理从 24.35 dB 降至 20.75 dB 的误差，one-step 的增益是否在更复杂三路叠加退化下仍然成立。

4. 创新点

首个同时引入 fast/slow/feedback 三路 agent 分工 + 混合退化一步处理工具的统一复原框架，解决了 MLLM-based IR agent 的效率-准确性平衡和步步误差传播两个核心问题。

5. 优点与不足

优点：fast/slow 路由设计实际可用，三阶段 LoRA 训练框架使新退化类型扩展代价低。不足：SlowAgent 依赖 Co-Instruct 的退化识别能力，对圈外专业退化（RAW 噪声、chromatic abberation）无能为力；majority voting 增加了调用次数和延迟；FeedbackAgent 的停止判断基于 IQA 分数阈值，在感知质量和颜色保真度之间没有区分；整个系统复杂度高，部署门槛大。

6. 改进方向

1. 扩展退化类型到 RAW 域（hot pixel、fixed pattern noise、色差），将工具链从 sRGB 延伸到 ISP 中段，使颜色校正步骤可以被 HybridAgent 纳入自动化 pipeline。2. 在 FeedbackAgent 中加入颜色保真度评估（ΔE 或 color chart 误差），区分「纹理已复原但色偏仍存在」的情形，避免早停。

107

Residual Diffusion Bridge Model for Image Restoration

Hebaixu Wang, Jing Zhang, Haoyang Chen, Haonan Guo, et al. (7 authors)

CVF · PDF · arXiv · Supp

边界 / watchlistRestoration

1. 要解决什么问题

收录原因：标准扩散模型对整图全局注噪再去噪，对未退化区域造成不必要的扰动；现有扩散桥方法（DDBM、BBDM、GOUB）缺乏统一理论框架，不清楚各方法的关系和最优配置。与 ISP/颜色主线的接点：扩散式图像复原在去噪、低光增强等任务上已逼近 PSNR SOTA；若扩散桥能做到空间自适应降噪（退化区域大幅修复、干净区域保持），对 sensor noise 模型后的 RAW 去噪质量有潜在价值。本文是纯数学框架论文，颜色本身不是目标，属边界论文。

2. Motivation · 动机与启发

Residual Diffusion Bridge Model for Image Restoration motivation figure
四类扩散路径对比：标准扩散、mean-reverting 扩散与本文两种 RDBM 变体的 probabilistic path 差异 [page 1 Fig.1]

Diffusion bridge 模型理论上能在任意配对分布之间建立概率路径，是 universal image restoration的有力框架，但现有方法普遍把它当作 stochastic interpolant 的简单变体套用，缺乏统一的解析视角。更关键的问题是：已有 bridge 方法对全图不加区分地注入并去除噪声，在 forward 过程中会不可避免地破坏原本完好的图像区域，然后依赖 imperfect 的重建恢复——这在有局部退化（如去雨、去雾）时尤为有害。作者的启发来自 residual：若用退化图相对干净图的残差来调制噪声注入量，则 forward 过程可自适应保护无退化区域，reverse 过程则只需集中修复真正退化的部分。

3. Method overview

Residual Diffusion Bridge Model for Image Restoration method figure
RDBM 示意：OU 过程 + Doob's h-transform 建立终点为 µ（退化图）的扩散桥，残差 π=x₀−xT 调制噪声注入量，降级区域噪声大、完好区域噪声小 [page 3 Fig.2]

RDBM 将广义 OU 过程和 Doob's h-transform 结合，推导出以退化图像 µ 为终点的扩散桥解析公式；关键创新是引入残差 π=x₀−xT（清晰图与退化图之差）调制每个像素的噪声注入量：退化严重区域 π 大则扰动强，完好区域 π 小则扰动弱，从而学习空间自适应的复原轨迹；证明了现有桥模型（DDBM、BBDM 等）都是 RDBM 在特定参数配置下的特例；同时推导出所有中间状态的解析均值和方差，无需 Monte Carlo 近似。

  • 输入 / 输出：输入：退化图像（low-light、雨、雾、模糊等，sRGB 空间）；输出：复原图像。训练需要成对数据。扩散桥模型终点固定为退化图 µ，初始点为干净图 x₀。
  • 核心机制：核心 SDE：dxₜ = θₜcoth(θt:T)(µ−xₜ)dt + √(2π²λθₜ)dωₜ，其中 π=x₀−xT 是残差调制系数；当退化区域（π 大）时噪声项 √(2π²λθₜ) 强，模型被迫学习大幅重建；未退化区域（π≈0）时噪声趋零，保持原始信号。反向过程通过学习 residual bridge score function 恢复，训练目标是匹配前向过程的 score。实验在 deraining、低光增强、desnowing、dehazing、deblurring 五类任务上验证。
  • 训练 / 评价：在五类通用复原任务上评测（Rain13K+DeRaindrop 混合训练，LOL+VE-LOL-L 低光，CSD 去雪，ITS v2+D-HAZY 去雾，GoPro 去模糊），指标 PSNR/SSIM/NIQE/LPIPS；与 DDBM、DiffUIR、PromptIR、Restormer 等比较。风险：残差 π 要求已知 x₀（推理时不可知），实际用 µ（退化图）代替作为 xT 估计，若退化严重则 π 估计偏差大；颜色准确性未单独量化。
  • 读法：盯住残差 π 的消融——把 π 替换为全局常数（退化为标准 mean-reverting diffusion）时，在「轻度退化区域保留」这一指标上的 PSNR 变化量，这决定自适应调制的实际贡献有多少来自数学推导而非工程调参。

4. 创新点

从 SDE 理论层面统一了扩散桥家族，并首次将残差（x₀-xT）显式嵌入噪声调制，实现空间自适应——完好像素近乎不扰动、退化像素充分重建，是理论与工程双向推进的工作。

5. 优点与不足

优点：解析公式完备（均值/方差闭合解），可直接采样无需 MCMC；空间自适应性理论上避免了对干净区域的过复原。不足：需要成对训练数据，zero-shot 能力弱；推理时 xT=µ 作为退化图的近似在高噪场景下不稳定；五任务评测全是 sRGB 空间，RAW 域去噪（实际 sensor noise 服从 Poisson-Gaussian）适用性未验证；PSNR SOTA 声称需与同等计算量的判别式方法交叉比较。

6. 改进方向

1. 在 RAW 域泊松-高斯噪声模型下测试 RDBM：xT 用实测 noisy RAW，x₀ 用 ground-truth clean RAW，量化颜色通道（R/G/B）的残差分布差异是否影响桥模型的收敛稳定性。2. 结合 RDBM 的空间自适应性做局部 AWB 校正：对高噪区域大幅重建时引入颜色约束，防止去噪后颜色偏移。

108

Dark3R: Learning Structure from Motion in the Dark

Andrew Y. Guo, Anagh Malik, SaiKiran Tedla, Yutong Dai, et al. (10 authors)

CVF · PDF · arXiv · Supp

边界 / watchlistRestoration

1. 要解决什么问题

收录原因：在 SNR < -4 dB 的极暗场景下，传统 SfM（COLMAP）和学习式方法（MASt3R、SuperGlue）的特征提取均失败——噪声破坏局部一致性，无法建立可靠对应关系。与 ISP/颜色主线的真实接点：Dark3R 直接在 RAW（Bayer 子采样后的 demosaiced raw）上运行，明确说明不做 black-level subtraction 和 clipping，以保留极暗信号；这和 ISP 的 RAW 预处理（黑电平、噪声模型）直接重叠。但本文的核心问题是 3D 重建/姿态估计，颜色/白平衡不是目标，属边界论文，主要价值在 RAW 域低光感知这一点上。

2. Motivation · 动机与启发

Dark3R: Learning Structure from Motion in the Dark motivation figure
Dark3R 从极低 SNR 多视角 raw 图中重建相机位姿、场景几何并完成新视角合成 [page 1 Fig.1]

传统 SfM pipeline（特征检测 → 匹配 → 本质矩阵估计 → bundle adjustment）在 SNR < 0 dB 的极端低光条件下完全失效，因为特征提取是整个链条的最脆弱环节——噪声导致匹配失败，错误随后级联传播。直觉上的两个替代方案（延长曝光 / 先离线去噪再送入 SfM）都无法解决问题：长曝光引入运动模糊，离线去噪器破坏多视角一致的图像特征。作者的洞察是：大规模 3D foundation model 已在正常光照数据上学到极强的几何先验，只需通过 teacher-student distillation 将其适配到 noisy raw → clean raw 对，无须任何 3D 标注即可迁移其特征匹配能力到 SNR < −4 dB 的黑暗场景。

3. Method overview

Dark3R: Learning Structure from Motion in the Dark method figure
Dark3R 训练流程：MASt3R（教师冻结）处理干净 RAW pair，LoRA student 处理噪声 RAW pair，L2 对齐 encoder/decoder 特征和 correspondence map；右侧为噪声场景 novel view synthesis 流程 [page 4 Fig.3]

Dark3R 用教师-学生 LoRA 蒸馏将 MASt3R 适配到极低 SNR 条件：冻结 MASt3R 作为教师处理清晰 RAW pair，LoRA student（在 encoder Ẽ、decoder D̃、head H̃ 三处插入 LoRA 模块）处理对应噪声 RAW pair，L2 loss 对齐中间 encoder 特征 FE、decoder 特征 FD 和对应关系图 C；无需任何 3D 监督，仅依赖 noisy-clean raw image pairs（可用 Poisson-Gaussian 模型合成）。推理时复用 MASt3R-SfM 的全局对齐+bundle adjustment 流程，只是特征提取换成 Dark3R。

  • 输入 / 输出：输入：多视角极暗 RAW 图像（SNR < -4 dB，Bayer subsampling 后 demosaiced，不做 black-level clipping）；输出：相机位姿估计 + 稀疏深度图；可选后续：coarse-to-fine NeRF 重建生成 novel view（最终过 ISP 输出 sRGB）。
  • 核心机制：训练损失：L = L_noisy + λ_clean·L_clean，其中 L_noisy 迫使 student 在噪声输入上复现教师的清晰输入特征，L_clean 防止 student 在正常 SNR 下退化。数据集：Sony Alpha I 相机拍摄，tripod 场景 42k 张带曝光括号（最低 -5 dB 平均 SNR，最低 -10 dB 像素级），用 COLMAP 对最长曝光标注 GT 位姿。评测指标：RPE（relative pose error）平移/旋转分量、AbsRel 深度误差，与 SuperGlue+COLMAP、MASt3R 对比，Dark3R 在低 SNR 场景大幅领先。
  • 训练 / 评价：训练数据：handhold-captured 21688 张（92 室内场景）+ tripod 7 场景（5 场景 holdout 评测）；Poisson-Gaussian 噪声合成扩充训练分布；8×RTX A6000 训练约 15 小时。风险：RAW 输入不做 black-level subtraction，latent 分布与标准 ISP 后 sRGB 截然不同，颜色通道的 temporal noise 引起帧间色差（论文 Fig.1 可见明显帧间色变），这对 AWB 估计会是严重干扰，但本文不处理此问题。
  • 读法：盯住低 SNR 段（< -4 dB）的 RPE 曲线——Dark3R 是否在 -3 dB 到 -5 dB 之间有明显的性能跌落区间，这个区间对应实际拍摄场景（1–5 lux），决定系统的实用部署下限。

4. 创新点

首个在 SNR < -4 dB 条件下实现完整 SfM 的方法：直接在 RAW 域运行、无需 3D 监督、LoRA 蒸馏保留 MASt3R 大模型先验的同时适配极端噪声分布；同时建立了首个带真实曝光括号和 GT 位姿的极暗多视角 RAW 数据集。

5. 优点与不足

优点：无需 3D 标注，噪声模型可合成扩充数据；直接 RAW 输入保留极暗信号；复用 MASt3R 框架，扩展性好。不足：RAW 输入不兼容标准 ISP pipeline（无法直接用于已经过 ISP 处理的场景）；temporal color noise（帧间色差）在 RAW 域严重，本文无处理方案；只在静态室内场景测试，动态物体/室外低光未验证；NeRF 重建在 Gaussian splatting 上失败说明离散 3D 表示对高噪输入脆弱。

6. 改进方向

1. 在 Dark3R 的对应关系特征上加入颜色通道一致性约束，抑制帧间 color noise 引起的跨帧色差漂移，测试加约束前后 pose 估计误差的变化。2. 将 Dark3R 的 RAW 特征提取与在线 AWB 估计结合：在 SfM 建图时同步估计每帧的 illuminant，为后续 ISP 的 AWB 提供多视角一致的色温先验。