镜头不再为人眼设计:CODA 把视觉大模型变成镜头的评价函数

🧠 大模型影像论文精读 · 2026-09-04 · Meta-Optics · Computational Imaging · Vision-Language Model · End-to-End Optics · CLIP
arXiv 2026-06 · 面向冻结视觉大模型的超表面镜头协同设计

一百多年来,镜头设计只有一个目标:把照片拍得人眼看着清楚。这篇论文把目标换了:镜头不为任何人的眼睛优化,只为一个参数冻结的视觉大模型「认得出」优化,而且真涨了十一个百分点。

https://arxiv.org/html/2606.27646v1/fig1.jpg

问题背景

手机镜头为什么要叠好几片玻璃?消像差、保色彩,全是围着「人眼看着清楚」转。光学领域有条省钱路线叫超表面透镜(meta-optic):在一块比头发丝还薄的平板上刻满亚波长小结构,一片顶一摞,薄、便宜、好集成,智能眼镜和无人机都想要——代价是画面一塌糊涂,像差、色差、衍射全在,人眼没法看。

传统的补救是「端到端设计」:镜头后面接一个重建网络,把糊图修回来。隐患有二——修图网络一掺进来,涨的那几分算镜头还是算修图说不清;设备还得配算力专门修图。

可现实是,越来越多相机拍的东西根本不给人看:机器人、智能眼镜、门禁,最终「观众」是视觉大模型——在海量图文上预训练、不做针对性训练也能认东西(零样本)。模型不在乎照片好不好看,只要它特征空间里分得开。

关键转折

CODA 把镜头变成可求导的:镜面写成一张「密度图」,0 是空气、1 是材料;用时域电磁仿真算出光穿过的模糊模式,合成传感器图像;再从冻结的 CLIP(图文对齐训练出的视觉大模型)的分类误差反向求导。仿真器不在自动微分图里,穿过仿真的那段梯度由「伴随仿真」(反向运行的物理仿真,直接解出对镜头密度的梯度)补上——每次迭代 18 次仿真,笨办法要十二万次。

最关键的决定是「什么都不加」:镜头和模型之间没有去卷积、没有重建网络、没有 ISP(把传感器信号变成照片的那段相机处理),糊图原样喂给模型——涨上来的每一分都只能来自镜头本身:它学会的是优先保留模型需要的信息,而不是修好人眼想看的样子。

结果:同样被物理压到极限的超薄镜头,按传统「把能量聚进焦点」的目标设计,CLIP 零样本识别 ImageNet-100 为 53.75%;按 CLIP 自己的损失直接优化镜头,65.41%。更意外的是迁移:这颗镜头换到 SigLIP、DINOv2 和另外两个数据集上,九个组合全部占优,一次都没重调。

两个细节值得咀嚼:从零直接用模型梯度优化反而更差(47.87%),得先按传统方式聚好焦、再切模型目标——先有成像底子,再为模型偏科;而传统光学指标(焦点能量、光斑宽度)分不出这两颗镜头谁好,甚至在 CODA 的设计上更差——尺子失效了。

往哪落地

专用视觉设备(眼镜、机器人、门禁、物流)可以名正言顺放弃人眼画质:镜头更薄更便宜,还省掉修图算力。光学供应链的交付物会跟着变——从「MTF 曲线」(描述镜头清晰度的传统曲线)变成「在你那个模型上的准确率」。成像质量评价可能要长出「给机器看的镜头」这一支;而一颗人眼读不出、只为特定模型优化的镜头拍的东西算不算「照片」,取证和合规会被迫跟上。

局限与存疑

这是纯仿真工作:二维电磁仿真、三个波长直接当 RGB、没做宽带消色差、没流片——从仿真到真加工是这条路线公认的死亡之谷,单次优化还要吃四十多 GB 显存。作者划界清醒:它不如干净光学下的 88%,也不打算取代传统镜头设计;它证明的只有一件事——镜头被物理压到极限时,为模型优化是比图像质量优化聪明得多的分配方式。

论文来源:arXiv 原文 ↗

← 返回 大模型影像论文精读