1. 项目概述为什么水下图像恢复是个“老大难”问题如果你玩过潜水摄影或者看过网上那些蓝绿一片、模糊不清的水下照片你大概能理解那种挫败感。明明眼前是五彩斑斓的珊瑚和鱼群拍出来却像是蒙上了一层厚厚的、颜色诡异的毛玻璃。这背后的“罪魁祸首”就是水介质本身。传统的水下图像增强方法比如简单调色、拉对比度往往治标不治本甚至会让噪点更明显。而这篇由Derya Akkaynak和Tali Treibitz在2019年提出的《Sea-thru: A Method For Removing Water From Underwater Images》论文则提出了一种从物理模型出发旨在“移除”水的影响从根本上恢复图像色彩和清晰度的方法。它不像很多算法那样只是让图片“看起来”更鲜艳而是试图计算出水对光线的真实衰减和散射效应并将其逆向消除得到一张仿佛在空气中拍摄的照片。这个方法的核心价值在于其物理可解释性和潜在的应用广度。对于海洋生物学家清晰的图像意味着能更准确地进行物种识别、健康评估和生态监测对于考古学家沉船或遗址的细节得以重现对于普通潜水爱好者则能真正记录下水下的瑰丽世界。更重要的是Sea-thru为后续的计算机视觉任务如三维重建、目标检测、语义分割提供了高质量的输入数据这些任务在浑浊的水下环境中通常举步维艰。所以研读这篇论文不仅仅是学习一个图像处理算法更是理解如何将物理光学模型与计算机视觉结合解决一个非常具体且困难的真实世界问题。2. 核心原理拆解水是如何“毁掉”一张照片的要理解Sea-thru如何“移除”水我们必须先搞清楚水是如何影响光线的。论文基于经典的Jaffe-McGlamery水下光学成像模型但进行了关键改进使其更贴近实际。这个模型主要考虑两种效应直接衰减和后向散射。2.1 直接衰减光线在传播中的消耗想象一下你拿着一支手电筒在浓雾中照射光束会随着距离变远而迅速变暗、变模糊。在水下类似的事情发生在物体反射的光线上。光线从物体表面反射后在到达相机的途中会被水和水中悬浮的微粒浮游生物、泥沙等吸收和散射掉一部分。这导致两个结果强度衰减物体距离相机越远其反射光到达相机时的强度就越弱物体看起来就越暗。颜色失真水对不同波长颜色的光吸收程度不同。红光波长最长最先被吸收通常在5米深度就几乎消失了其次是绿光蓝光穿透力最强。这就是为什么水下照片总是蓝绿色调缺少红色和黄色。这种随距离变化的颜色衰减是恢复的关键难点。在数学上相机接收到的来自距离为d的物体的直接衰减光信号E_direct可以表示为E_direct(x) J(x) * t(x)其中J(x)是我们想要求得的、在空气中拍摄的清晰图像场景辐亮度t(x)是随距离d(x)变化的透射率图。t(x)是一个介于0到1之间的值表示光线保留的比例距离越远t(x)越接近0。2.2 后向散射环境光的“雾霾”效应除了物体反射的光还有一部分环境光主要是来自水面的自然光在到达相机前被相机和物体之间的水柱散射进了镜头。这就像雾霾天空气中悬浮的颗粒散射太阳光使得整个画面灰蒙蒙的降低了对比度。这部分光信号E_backscatter与物体本身无关只与水质、相机到物体的距离以及环境光照有关。因此相机最终捕获的图像I(x)可以建模为I(x) E_direct(x) E_backscatter(x) J(x) * t(x) B∞ * (1 - t(x))这里B∞代表无穷远处后向散射光的颜色和强度可以理解为水体的“底色”或“ veil light”。注意这个模型是论文工作的基石。传统的一些方法如暗通道先验去雾直接套用大气散射模型但水下环境的光谱衰减颜色选择性吸收比大气复杂得多直接套用会导致严重的颜色失真。Sea-thru的创新点之一就是更精细地建模了这种光谱衰减。2.3 Sea-thru的关键改进距离信息与光谱衰减的精确建模论文最大的贡献在于它不依赖于单一图像去猜测深度信息而是利用多张从不同角度拍摄的同一场景的图像通过运动恢复结构SfM技术来精确计算每个像素点的几何距离d(x)。这是与传统方法质的区别。有了精确的距离图很多问题就从“盲估计”变成了“已知条件下的求解”。其次论文将透射率t(x)分解为与距离相关的衰减部分和与波长颜色通道相关的衰减部分t(x) exp(-β(λ) * d(x))其中β(λ)是水体的衰减系数它是一个随光的波长λ变化的函数。这意味着对于红、绿、蓝三个颜色通道我们有三个不同的衰减系数β_R, β_G, β_B。恢复图像的过程就是根据观测到的图像I、已知的距离d来求解清晰的图像J、后向散射光B∞以及各通道的衰减系数β。3. 算法流程与实操要点详解理解了原理我们来看Sea-thru具体是怎么做的。整个过程可以分解为数据采集、三维重建与距离估计、参数估计、图像恢复四个核心步骤。3.1 数据采集需要什么样的输入Sea-thru不是魔法它需要特定的输入数据才能工作图像序列围绕目标场景从不同视角拍摄一组通常几十到上百张有重叠区域的彩色图像。这类似于制作全景图或3D模型时需要的素材。相机参数需要知道相机的内参焦距、主点、畸变系数。如果使用消费级相机或GoPro这些参数可以通过标定获得或者有些SfM软件能自动估算。非必须但推荐色卡在场景中放置一个已知反射率的标定板如ColorChecker。这为算法提供了绝对的色彩参考能极大地提高颜色恢复的准确性尤其是在估计水体衰减系数时。实操心得拍摄时尽量保持相机设置白平衡、ISO、光圈固定使用RAW格式存储。虽然论文处理的是sRGB图像但RAW提供了更大的色彩调整空间。围绕物体做多角度拍摄时尝试覆盖其前后左右上下的位置这样重建出的3D点云更密集距离图更完整。避免水流导致物体剧烈晃动否则会影响特征点匹配。3.2 三维重建与距离图生成从2D到3D这是整个流程中计算量最大、也最关键的一步。目标是得到场景的3D结构以及每张图像中每个像素对应的3D点的距离即深度。特征提取与匹配使用如SIFT、SURF或更现代的SuperPoint等算法从图像序列中提取特征点并匹配不同图像中对应的同一个3D点。运动恢复结构SfM利用匹配的特征点通过多视图几何原理同时估算出每张图像的相机姿态位置和朝向以及特征点对应的3D空间坐标。常用的工具有COLMAP、VisualSFM、OpenMVG等。COLMAP是目前学术界和工业界最主流、最强大的开源SfM工具强烈推荐。多视图立体MVS与深度图生成在已知相机姿态和稀疏3D点的基础上通过多视图立体匹配算法为每一张输入图像生成一张密集的深度图Depth Map。这个深度图中的每个像素值就是该像素对应的场景点到相机的几何距离d(x)。COLMAP也集成了优秀的MVS模块。# 这是一个使用COLMAP进行三维重建的简化命令流程示例 # 1. 特征提取 colmap feature_extractor --database_path database.db --image_path images/ # 2. 特征匹配 colmap exhaustive_matcher --database_path database.db # 3. 稀疏重建SfM colmap mapper --database_path database.db --image_path images/ --output_path sparse/ # 4. 图像去畸变如果未在特征提取时处理 colmap image_undistorter --image_path images/ --input_path sparse/0 --output_path dense/ --output_type COLMAP # 5. 密集重建MVS生成深度图 colmap patch_match_stereo --workspace_path dense/ --workspace_format COLMAP --PatchMatchStereo.geom_consistency true # 6. 将深度图融合成整体点云可选 colmap stereo_fusion --workspace_path dense/ --workspace_format COLMAP --input_type geometric --output_path dense/fused.ply运行成功后你会在dense/stereo/depth_maps目录下找到每张图像对应的.bin格式的深度图文件。需要使用COLMAP提供的脚本或自己编写代码将其读取为可处理的图像格式如EXR或PNG浮点格式。3.3 参数估计求解水体的“光学指纹”有了图像I和精确的距离图d现在我们需要估计模型中的未知参数后向散射光B∞和各颜色通道的衰减系数β_R, β_G, β_B。估计后向散射光B∞论文采用了一种直观的方法。在图像中选择那些距离足够远理论上趋于无穷远的区域例如开阔的水体背景。这些区域没有物体其像素颜色完全由后向散射光贡献即I ≈ B∞。因此通过对这些远距离背景区域像素的颜色值取平均或中值就可以得到一个稳定的B∞估计值通常是一个三维向量[B_R, B_G, B_B]。估计衰减系数β这是算法的核心创新和难点。如果场景中有色卡事情就简单了色卡上的色块反射率R(λ)是已知的。对于某个色块区域我们知道它的真实颜色J_patch由光照和反射率决定也观测到了它的水下颜色I_patch和距离d。利用模型公式可以建立关于β的方程。通过多个色块不同颜色、最好不同距离建立方程组就能稳健地求解出β_R, β_G, β_B。如果没有色卡怎么办论文提出了一种基于图像统计的估计方法。其核心假设是在自然场景中所有颜色的出现概率在统计上是均匀的类似于灰度世界假设但更复杂。通过分析整张图像在不同距离上的颜色分布变化可以反推出导致这种变化的衰减系数β。具体实现涉及复杂的优化过程目标是找到一组β值使得恢复出的图像J的颜色统计特性最符合“自然图像”的预期。这一步通常需要非线性优化算法如Levenberg-Marquardt。注意事项无标定板的β估计稳定性较差对场景内容敏感。如果场景本身颜色分布极度不均比如全是红珊瑚估计结果可能偏差很大。因此在严肃的科研或应用工作中强烈建议使用物理标定板。这是获得可靠、可重复结果的关键。3.4 图像恢复执行“去水”运算当所有参数d,B∞,β都齐备后恢复清晰图像J(x)就变成了一个简单的代数运算。根据模型I(x) J(x) * exp(-β * d(x)) B∞ * (1 - exp(-β * d(x)))我们可以解出J(x) (I(x) - B∞ * (1 - exp(-β * d(x)))) / exp(-β * d(x)) (I(x) - B∞) / exp(-β * d(x)) B∞对每个像素的R、G、B通道分别使用对应的β_R, β_G, β_B进行计算即可。然而这里有一个巨大的陷阱噪声放大。在距离d很大的区域exp(-β * d)的值非常小接近0这意味着公式中的除法会极大地放大图像I中固有的噪声来自传感器和估计误差导致恢复出的J在这些区域出现严重的色彩噪点和伪影。3.5 正则化与后处理稳定输出结果为了解决噪声放大问题Sea-thru论文中采用了一种基于距离的自适应正则化方法。其思想是对于距离很远、信噪比很低的区域我们不应该完全信任物理模型的逆运算结果而是需要将恢复结果向一个“先验”进行适当的拉回。这个先验可以是全局的白平衡结果也可以是基于图像内容的统计信息。一种常见的简化实现方式是设置一个距离阈值d_max。当d(x) d_max时对恢复出的J(x)进行强烈的平滑或直接使用全局颜色估计来替代避免出现疯狂的噪声。更高级的方法会使用引导滤波或基于马尔可夫随机场MRF的优化在保持边缘的同时平滑同质区域。最后通常还需要对恢复后的图像J进行一些标准的后处理如自动对比度拉伸、轻微的锐化以提升视觉效果。4. 实现难点与常见问题排查即便理解了原理和步骤自己动手实现或复现Sea-thru时依然会踩很多坑。下面是我在研究和实验过程中遇到的一些典型问题及解决思路。4.1 三维重建失败或质量差问题COLMAP重建出的点云非常稀疏或者深度图全是空洞和错误。原因与排查图像质量水下图像本身模糊、低对比度导致特征点提取困难。尝试在重建前对图像进行适度的预处理如直方图均衡化或使用基于深度学习的轻量级增强如UWCNN但要注意不能改变几何特征。纹理缺失水下场景如沙地、纯色礁石缺乏纹理特征匹配困难。拍摄时尽量包含有丰富纹理的物体或无法改变场景时考虑使用基于学习的方法直接估计深度但这脱离了Sea-thru的原始框架。运动模糊/晃动水流导致图像模糊。优先选择水流平缓时拍摄或使用更高快门速度。光照变化在拍摄序列中光照如云层遮挡、闪光灯发生变化。保持光照稳定如果使用闪光灯确保每张照片的闪光强度一致。COLMAP参数默认参数可能不适用。可以调整feature_extractor中的--SiftExtraction.peak_threshold降低以提取更多特征和--ImageReader.single_camera 1如果使用固定相机。在匹配阶段可以尝试sequential_matcher或vocab_tree_matcher。4.2 距离图与图像对齐不准问题生成的深度图与原始图像的像素无法精确对应导致恢复时错位。原因与排查图像去畸变COLMAP的image_undistorter步骤会生成一组去畸变后的图像用于密集重建同时生成一个记录原始图像到去畸变图像变换的文本文件。你必须使用去畸变后的图像进行Sea-thru恢复并且深度图对应的是这些去畸变图像。确保你读取的深度图与当前处理的图像是严格对应的文件名。图像分辨率深度图的分辨率可能与原始图像不同MVS过程有时会下采样。需要将深度图通过插值如双线性插值上采样到与彩色图像完全相同的尺寸并确保坐标对齐。4.3 颜色恢复不自然或出现色偏问题恢复后的图像整体偏某种颜色或者不同区域颜色不协调。原因与排查B∞估计错误确保选取的“无穷远”背景区域确实是开阔的水体且没有前景物体的边缘混入。手动选择多个背景区域取平均可能比自动选择更可靠。β估计错误无标定板时这是最常见的问题。基于统计的β估计对场景内容依赖性强。尝试手动指定一个初始β值例如根据水体类型清澈大洋水蓝光衰减慢红光衰减快近岸浑浊水则差异变小然后进行微调。如果场景有明确的灰色或白色物体如潜水员的鳍、仪器可以利用它们作为弱标定参考。考虑实现一个简单的交互式工具允许用户滑动调整β_R, β_G, β_B通过肉眼观察恢复效果来确定最佳值。正则化强度不当正则化太弱远处噪声明显正则化太强整个画面颜色平淡、细节丢失。需要调整距离阈值d_max或正则化权重参数这是一个需要根据具体图像反复调试的过程。4.4 恢复图像噪声极大问题恢复后的图像尤其是远景区域充满彩色斑点噪声。原因与排查源头噪声原始ISO过高导致图像噪声大。物理模型的除法运算会指数级放大这些噪声。最优解是改善采集条件使用低ISO、充足光照或闪光灯拍摄。深度图噪声MVS生成的深度图本身就有噪声和不连续。在计算t(x)exp(-β*d(x))前可以对深度图进行适度的各向异性滤波或双边滤波平滑平坦区域同时保持物体边缘。正则化未生效检查你的正则化代码逻辑是否正确。确保在t(x)值小于某个阈值如0.1时采用了平滑策略或全局颜色先验。4.5 算法速度太慢问题处理一张高分辨率图像需要几分钟甚至更久。优化思路降分辨率处理先将图像和深度图下采样到较低分辨率如1080p进行参数估计和恢复得到低分辨率结果J_low。然后通过上采样和引导滤波将细节从原图I迁移到J_low上得到最终的高分辨率结果。这能极大减少计算量。GPU加速恢复公式J (I - B∞) / t B∞是逐像素的独立操作非常适合在GPU上并行计算。使用如PyTorch、TensorFlow或CUDA可以瞬间完成。分块处理对于超大图像可以分块进行处理。5. 超越论文后续发展与实战思考Sea-thru论文发表于2019年它为水下图像恢复提供了一个优雅的物理模型框架。但技术总是在发展在复现原始方法的同时我们也应该了解其局限性和后续的改进方向。局限性对距离信息的强依赖这是其最大优势也是最大限制。没有高质量深度图算法无法工作。在单张图像、动态场景或无法进行多视角重建的情况下该方法失效。均匀水体假设模型假设衰减系数β在整个场景中是一致的。但在真实海洋中水质可能随空间变化如靠近海底更浑浊这会导致恢复误差。前向散射未建模模型只考虑了后向散射忽略了光线在到达物体前被散射的前向散射效应这会使物体边缘模糊。后续发展与融合思路单图像深度估计利用深度学习网络从单张水下图像直接估计深度图然后接入Sea-thru的物理模型进行恢复。这结合了数据驱动和模型驱动的优点。一些工作如“WaterGAN”或“Udepth”在这方面进行了探索。非均匀水体建模将β建模为随图像空间位置变化的函数β(x)通过更复杂的优化来估计以应对水质变化。端到端深度学习直接使用海量的“水下-空气中”图像对训练一个网络学习从I到J的映射。如“Ucolor”、“WaterNet”等。这类方法在已知数据分布上效果惊人且速度快但可解释性差对训练数据外的场景泛化能力有时不如物理模型。混合方法当前最实用的思路可能是混合方法。例如用深度学习网络初步估计深度和粗略的β、B∞然后用物理模型进行精细优化和恢复兼顾速度和效果。给实践者的最终建议如果你是进行严肃的科学研究或需要处理固定场景如珊瑚礁长期监测严格按照Sea-thru的流程使用标定板和多视角重建是获得可靠、可量化结果的金标准。这套流程虽然繁琐但结果具有物理意义便于分析和比较。如果你需要处理大量单张、随机的网络水下图片追求快速自动化的增强那么研究或采用最新的基于深度学习的水下图像增强模型可能更合适。你可以将Sea-thru看作一个“理想情况”的基准用它来生成高质量的配对数据用于训练这些深度学习模型。理解Sea-thru不仅仅是掌握了一个算法更是获得了一把钥匙它打开了如何将物理先验与计算机视觉结合来解决复杂逆问题的大门。这种思想远比代码实现本身更有价值。在实际操作中耐心调试每一个环节——从拍摄、重建到参数估计——你会对水下光学和计算成像有更深刻的认识。