Multinex:基于多优先Retinex的轻量级微光图像增强)
论文题目Multinex: Lightweight Low-light Image Enhancement via Multi-prior Retinex基于多优先Retinex的轻量级微光图像增强会议CVPR2026摘要微光图像增强(LLie)的目的是在严重光照退化的情况下恢复自然可见度、颜色保真度和结构细节。最先进的(SOTA)LLie技术通常依赖于大型模型和多阶段训练限制了边缘部署的实用性。此外它们对单一颜色空间的依赖引入了不稳定性和可见的曝光或颜色伪影。为了解决这些问题我们提出了Multinex这是一个超轻量级的结构化框架它将多个细粒度的表示集成到一个Pruled Retinex残差公式中。它将图像分解为从不同的解析表示法得出的照明和颜色优先堆栈并学习将这些表示法融合到校正曝光所需的亮度和反射率调整中。通过将增强优先于重建和利用轻量级神经操作Multinex显著降低了计算成本其轻量级(45K参数)和Nano(0.7K参数)版本就是例证。广泛的基准测试表明所有轻量级变种的性能都大大超过了相应的轻量级Sota型号并达到了与重型型号相当的性能。项目页面请访问https://albrateanu.github.io/multinex.Multinex用 700 个参数打败百万级模型的低光图像增强框架一、背景低光图像增强LLIE为什么难夜间监控、手机摄影、无人机巡检、自动驾驶……这些场景每天都在产生大量低光图像。低光图像的典型缺陷包括亮度抑制、对比度差、噪声明显、色彩偏移chromatic bias。低光图像增强Low-Light Image EnhancementLLIE的目标就是在不引入新噪声和结构失真的前提下恢复图像的自然外观。近年来基于深度学习的 LLIE 方法取得了显著进展但两大问题始终制约着它们的实用性问题一单一色彩空间导致增强不稳定主流方法大多在单一色彩空间RGB、YUV、HSV 或 HVI中建模这会导致亮度与色度信息高度耦合。一旦耦合网络很难同时把应该有多亮和应该是什么颜色这两件事都做对最终产生曝光伪影过亮或局部过暗色彩漂移偏黄、偏绿等红色通道不连续HSV 空间特有的 hue 跳变黑平面噪声暗部放大了传感器噪声问题二大模型无法边缘部署以 GLARE59.48M 参数、508 GFLOPs为代表的重型 SOTA 方法在性能上固然亮眼但在手机、嵌入式摄像头、无人机这类资源受限设备上根本无法实时运行。研究者们虽然探索了轻量化路线ZeroDCE 79K、LYT-Net 45K但参数量压缩到极致后增强质量会出现明显的断崖式下降尤其是低于 10K 参数的微型模型。二、Multinex 的核心思路一句话总结不去重建整张图而是只预测需要加多少——把多种物理先验打包进轻量网络用最少的参数做最精准的修正。Multinex 的设计哲学建立在三个支柱之上Retinex 残差公式从重建改为修正多视图表示先验多个色彩描述子提供互补视角极致轻量融合网络精心设计的注意力与特征模块下面逐一展开。三、核心创新一Enhancement Delta增强增量传统 Retinex 的问题经典 Retinex 理论将图像分解为亮度图 L 和反射率图 R增强图像通过重建。这种做法在低曝光场景下存在根本性困难RGB 空间中亮度和色度高度耦合很难分解出准确的 L 和 R且整个重建过程需要额外的计算开销。Multinex 的改进加性残差Multinex 不去预测整张图像应该长什么样而是预测一个加性修正场Enhancement Delta公式如下其中亮度修正项由亮度网络预测三个 RGB 通道共享同一个亮度调整量反射率修正项由反射率网络预测负责颜色层面的修正这样做的好处是三重的原始图像 I 始终保留不会丢失固有纹理和结构信息网络只需要学习差量任务难度大幅降低参数利用率更高加法运算的梯度稳定训练更鲁棒【此处配图Figure 2Multinex 整体架构图展示 Multi-view Representation Construction → Fusion Module → Enhancement Delta → Enhanced Output 的完整数据流】四、核心创新二多视图表示先验Guidance StacksMultinex 不让网络从头学习所有颜色和亮度表示而是提前解析地计算一批物理有意义的特征图直接喂给网络。这些特征图被称为引导栈Guidance Stacks分为亮度引导栈和反射率引导栈。亮度引导栈4通道分量公式物理含义ITU-R BT.709 标准亮度最接近人眼感知亮度高亮区域能量代理捕捉镜面反射与高光HSL 感知亮度引入轻微对比度正则化RGB 向量的 L2 能量编码像素总体强度这四个分量分别从线性感知、高光响应、对比度调节和全局能量四个维度描述图像亮度互补而不冗余。【此处配图Figure 9 上方第一行六个亮度候选描述子的可视化展示各亮度图的外观差异】反射率引导栈5通道分量描述作用YCbCr 的蓝差/红差分量从全局强度中剥离颜色信息归一化色度比对绝对亮度不变保留颜色比例关系SHSV 饱和度量化像素离灰轴的距离色彩鲜艳度这五个分量联合构成对低光图像颜色结构的全面刻画论文通过线性重建分析LRA可视化证明的组合能够准确还原图像的颜色结构。【此处配图Figure 8各子集的 LRA 可视化展示恢复整体色彩[r,g] 定位均匀反射区域S 强化暗区边界控制】为什么选这些而不是别的论文针对亮度引导栈额外考察了算术平均和YCgCo 亮度两个候选。通过描述子重要性分析DIA——一种 leave-one-out 的能量和梯度重要性量化方法——结果显示【此处配表Table 5候选亮度先验重要性排名展示和得分及排名】在能量重要性中排名第一在梯度重要性中排名第一而和两项均垫底——因此被排除。五、核心创新三轻量融合网络Multinex 的网络主体是一个双分支融合模块Fusion Module亮度网络和反射率网络使用相同架构但独立权重分别处理和。融合块Fusion Block, FB第一个MSEF多阶段 Squeeze-Excite Fusion用全局上下文校准每个通道权重DSConv ReLU深度可分离卷积引入轻量空间滤波与平滑门控第二个MSEF对增强后的激活重新评估强化跨通道一致性分量注意力Component-wise Attention, CWACWA 的关键设计是为引导栈中每个描述子生成独立的注意力图避免早期的跨通道混合这正是 CBAM、MHSA 等方案的缺陷。通过深度可分离卷积DWConv保持分量独立性再用零偏置卷积做线性投影参数量极低。完整融合模块CWA 产生的注意力图对特征进行掩码后再经过 T 层 FB 精炼最后用卷积输出修正量。两个变体变体FB 层数 T参数量GFLOPsMultinexT344.7K2.50Multinex-NanoT1简化路径0.7K0.04六、实验结果6.1 参考数据集定量对比Multinex 按参数规模分成四组进行对比重型10M、中型1-10M、轻量1M、微型10K。【此处配表Table 1LOLv1/LOLv2-real/LOLv2-syn 上的 PSNR/SSIM/LPIPS 结果展示四组模型的完整对比数字】核心结论Multinex45KLOLv1 PSNR23.19dB在轻量级组全面领先超越 LYT-Net22.38dB约 0.8dB且以不到 2.4% 的参数量逼近中型模型 CIDNet23.81dBMultinex-Nano0.7KLOLv1 PSNR19.42dB在微型组全面最优LOLv2-syn 达 21.05dB大幅超越 RUAS13.40dB、SCI15.43dB6.2 无参考数据集定量对比在 MEF、LIME、DICM、NPE 四个真实场景数据集上使用 NIQE 和 BRISQUE 两个无参考质量指标评估【此处配表Table 2MEF/LIME/DICM/NPE 上的 NIQE/BRISQUE 结果】Multinex 平均 NIQE3.64所有方法中最低即最优BRISQUE14.33对比 CIDNetNIQE3.81参数量 1.88MMultinex 以 2.4% 的参数量将 NIQE 降低 0.17BRISQUE 降低 5.69Multinex-Nano 在极限体量下仍保持 NIQE3.82超越 ZeroDCE4.97等更大的模型【此处配图Figure 1论文首图的散点图直观展示参数量 vs. 平均NIQE 的权衡关系Multinex 系列处于左上角最优区域】6.3 下游任务低光目标检测将 Multinex 作为 YOLOv3 的前处理增强模块在 ExDark 数据集上评估 12 类低光目标检测性能【此处配表Table 3ExDark 数据集上各类别 AP 和 mAP50 结果】Multinex-Nano0.7K达到 mAP5080.7%超越所有对比方法包括专门为低光检测设计的 EMV-YOLO79.7%27K参数Multinex45KmAP5079.7%与 EMV-YOLO 持平但参数更少这说明 Multinex 的引导栈先验在极限压缩下对下游任务依然有益6.4 定性结果【此处配图Figure 3轻量级 SOTA 对比图展示 RetinexNet、PairLIE、ZeroDCE、LYT-Net、RUAS、RSFNet、SCI 与 Multinex 的视觉效果】RetinexNet、ZeroDCE、RUAS、SCI明显的噪声或色彩伪影PairLIE、RSFNet噪声抑制较好但色彩饱和度损失明显LYT-Net整体较好但仍有轻微曝光偏差Multinex更干净的光照梯度更稳定的色彩最接近 Ground Truth【此处配图Figure 15与中型/重型模型对比图展示 Multinex 以极少参数接近 RetinexFormer、CIDNet、GLARE 的效果】七、消融实验每个设计的贡献7.1 引导栈先验的消融【此处配表Table 4(a)Multinex Priors 消融】配置PSNR (dB)无先验直接 RGB14.15仅 $\Delta_L$亮度修正20.57仅 $\Delta_R$反射率修正18.50$\Delta_L$ $\Delta_R$完整 Multinex23.19无先验的直接 RGB 建模仅能达到 14.15dB加入亮度修正后跳升至 20.57dB两者协同达到 23.19dB性能提升接近9dB。【此处配图Figure 4先验消融的定性对比直观展示不同配置下的图像质量】7.2 CWA 和 MSEF 的消融【此处配表Table 4(b)CWA/MSEF 分析】CWAMSEFPSNR (dB)✗✗19.92✓✗21.34✗✓22.27✓✓23.19CWA 提供描述子级别的相关性加权MSEF 提供局部细节增强两者互补单独使用任一模块均不及两者结合。7.3 注意力机制对比【此处配表Table 4(c)CWA vs. CBAM / MHSA / MDTA】注意力机制PSNR (dB)CBAM_S20.44MHSA Pooling21.67MDTA22.39CWA本文23.19CWA 为每个描述子生成独立注意力图避免了 CBAM 的分量耦合和 MHSAPooling 的结构损失以最低的复杂度取得最优性能。7.4 亮度引导栈组合消融【此处配表Table 7亮度引导栈各子集的 PSNR/SSIM】单个分量时 PSNR 在 18-19dB 徘徊两两组合升至 20dB 区间三组合达到约 22dB全部四个分量的完整栈达到23.19dB证明多视图亮度先验的每个分量均有独特贡献。7.5 损失函数消融【此处配表Table 6损失函数消融】MSE 单独使用约 22.31dB加入 MS-SSIM 后强化结构一致性再加入感知损失后进一步提升色彩真实感三者组合最终达到23.19dB PSNR / 0.843 SSIM。八、局限性与未来工作论文诚实地指出了 Multinex 目前的局限复杂光谱畸变对于复杂光谱失真、镜头光晕lens flare、混合自然-人工光照场景增强效果有所下降极暗场景的噪声放大解析先验在极暗区域可能放大传感器噪声高动态范围HDR局限加性残差对欠曝光非常稳定但对于高光截断或 HDR 恢复效果减弱未来方向包括将 Multinex 原则推广到内在图像分解、色彩恒常性、水下/去雾等任务以及探索乘性公式或 Tone-Mapping 作为加性残差的替代方案并尝试结合 Transformer 或扩散模型处理极端场景。九、总结Multinex 给出了一个清晰的答案好的先验设计可以弥补参数量的不足。通过将多个解析计算的色彩和亮度描述子打包为引导栈配合加性 Retinex 残差公式和精心设计的轻量融合模块Multinex 在 45K 参数下达到了中型模型水平在700 个参数Multinex-Nano下依然在微型模型中独占鳌头——甚至在低光目标检测任务上击败了所有对比方法。维度MultinexMultinex-Nano参数量44.7K0.7KGFLOPs2.500.04LOLv1 PSNR23.19 dB19.42 dB平均 NIQE3.643.82ExDark mAP5079.7%80.7%对于需要在边缘设备上部署实时低光增强的应用场景Multinex 系列提供了目前最具竞争力的参数效率是一个值得重点关注的工作。