Reducing Label Dependency for Underwater Scene Understanding: A Survey of Datasets, Techniques and Applications
Queensland University of Technology (QUT)（昆士兰科技大学）；QUT Centre for Robotics（昆士兰科技大学机器人中心）
本综述探讨了水下场景理解中降低对专家标注数据依赖的问题，回顾了弱监督和自监督深度学习方法，并整合了相关数据集、技术与应用，提出了以水下监测、计算机视觉与深度学习交叉点为中心的分类体系。
2024-11-18 cs.CV
Iterative, Deep Synthetic Aperture Sonar Image Segmentation
Pennsylvania State University（宾夕法尼亚州立大学）；Applied Research Laboratory（应用研究实验室）
合成孔径声纳（SAS）系统产生高分辨率的海底环境图像。此外，深度学习在寻找用于自动化图像分析的鲁棒特征方面表现出了卓越的能力。然而，深度学习的成功取决于具有大量标记的训练数据，但是获得SAS图像的大量像素级注释实际上通常是不可行的。到目前为止，这一挑战限制了深度学习方法在SAS分割中的应用。存在以无监督方式分割SAS图像的算法，但它们缺乏最先进的学习方法的益处，并且结果存在显著的改进空间。鉴于上述情况，我们提出了一种结合超像素形成、深度学习和传统聚类方法的新的无监督SAS图像分割迭代算法。我们称之为迭代深度无监督分割（IDUS）。IDUS是一个无监督学习框架，可以分为四个主要步骤：1）深度网络估计类分配。2)来自深度网络的低级图像特征被聚类为超像素。3)使用$k$均值将超像素聚类到类分配（我们称之为伪标签）中。4)产生的伪标签用于深度网络预测的损失反向传播。迭代地执行这四个步骤直到收敛。IDUS与当前最先进的方法在SAS图像分割的现实基准数据集上的比较证明了我们的建议的好处，即使IDUS在推理（测试图像的实际标记）期间产生的计算负担要低得多。最后，我们还开发了一个半监督（SS）的IDUS扩展称为IDSS，并通过实验证明，它可以进一步提高性能，同时优于监督的替代方案，利用相同的标记训练图像。
2022-03-28 cs.CV
Spatial-Regularization-Aware Dual-Branch Collaborative Inference for Training-Free OVSS in Remote Sensing Imagery
Nanjing University of Information Science \& Technology Nanjing China；Nanjing University of Information Science \& Technology
本文提出SDCI框架，通过跨模型注意力融合模块和双向跨图扩散细化模块，提升遥感图像无训练开放词汇分割的几何定位和语义预测能力。
2026-04-18 cs.CV
FathomNet: An underwater image training database for ocean exploration and discovery
MIT Media Lab（麻省理工学院媒体实验室）；CVisionAI（CVisionAI公司）；Monterey Bay Aquarium Research Institute（蒙特雷湾水族馆研究所）
每年从遥控潜水器（ROV）和其他水下资产收集数千小时的海洋视频数据。然而，目前的人工分析方法阻碍了充分利用收集到的数据进行实时的算法，用于生物多样性和大型生物多样性分析。FathomNet是一种新颖的基线图像训练集，经过优化，可加速水下图像的现代化、智能化和自动化分析的发展。我们的种子数据集由一个经过专业注释和持续维护的数据库组成，其中包含超过26，000小时的录像带，680万条注释和4，349个知识库术语。FathomNet通过提供水下概念的图像、本地化和类标签来利用这些数据集，以便能够开发机器学习算法。到目前为止，有233个不同类别的80 000多张图像和106 000个定位，包括中层水和底栖生物。我们的实验包括训练各种深度学习算法，以解决弱监督定位，图像标记，目标检测和分类的方法，这些方法被证明是有前途的。虽然我们在这个新数据集的预测上发现了高质量的结果，但我们的结果表明，我们最终需要一个更大的数据集来进行海洋勘探。
2020-07-10 cs.CV cs.DB
Image-Based Relocalization and Alignment for Long-Term Monitoring of Dynamic Underwater Environments
Queensland University of Technology（昆士兰理工大学）
本文提出了一种结合VPR、特征匹配和图像分割的方法，用于水下环境的长期监测，并引入了首个大规模水下VPR基准测试。
2025-12-02 cs.CV cs.RO
Two-Phase Object-Based Deep Learning for Multi-temporal SAR Image Change Detection
College of Microelectronics and Communication Engineering, Chongqing University（重庆大学微电子与通信工程学院）；Chongqing Key Laboratory of Space Information Network and Intelligent Information Fusion（重庆空间信息网络与智能信息融合重点实验室）；Lancaster Environment Centre, Lancaster University（兰卡斯特大学兰卡斯特环境中心）；UK Centre for Ecology & Hydrology（英国生态与水文中心）
变化检测是合成孔径雷达（SAR）图像的基本应用之一。然而，SAR图像中存在的相干斑噪声对变化检测有很大的负面影响。在这项研究中，一种新的两阶段基于对象的深度学习方法提出了多时相SAR图像变化检测。与传统方法相比，该方法主要有两个创新点。一种是将所有像素分为三类而不是两类：未改变的像素、由强斑点引起的改变的像素（假变化）和由真实地形变化形成的改变的像素（真实变化）。另一种是将相邻像素分组为分段的超像素对象（从像素），以便利用局部空间上下文。该方法分为两个阶段：1）基于简单的线性迭代聚类算法生成对象，并利用模糊C均值（FCM）聚类和深度PCANet将这些对象区分为变化类和不变类。该阶段的预测是改变的和未改变的超像素的集合。2)仅对在第一阶段中获得的改变的超像素上的像素集进行深度学习，以区分真实改变与虚假改变。在第二阶段中再次采用SLIC来实现新的超像素。低秩和稀疏分解应用于这些新的超像素，以抑制斑点噪声显着。通过FCM将进一步的聚类步骤应用于这些新的超像素。然后训练一个新的PCANet对两种变化的超像素进行分类，以获得最终的变化图。数值实验表明，与基准方法相比，该方法能有效区分真实变化和虚假变化，并显著降低虚警率，在多时相SAR图像上的变化检测准确率可达99.71%。
2020-01-17 cs.CV eess.IV
Superpixel-Based Building Damage Detection from Post-earthquake Imagery Using Deep Neural Networks
China Mobile Communications Group Co.,Ltd（中国移动通信集团有限公司）；Peking University（北京大学）
提出一种结合改进分割与深度神经网络的超像素方法，利用WorldView-2影像实现地震后建筑物损毁的精准检测，实验证明其优于其他分类器方法。
2025-01-19 cs.CV eess.IV
Beyond NeRF Underwater: Learning Neural Reflectance Fields for True Color Correction of Marine Imagery
Carnegie Mellon University（卡内基梅隆大学）
针对水下图像颜色失真问题，提出联合学习介质效应与神经反射场的算法，集成到体积渲染框架中，在合成和真实数据上优于现有方法，恢复真实颜色。
2023-08-30 cs.CV cs.RO
A machine vision meta-algorithm for automated recognition of underwater objects using sidescan sonar imagery
CIDCO - Development Center for Ocean Mapping（CIDCO——海洋测绘开发中心）
本文详细介绍了一种新的方法来识别和检测实时侧扫声纳数据图像流中的水下物体，与水下考古的应用程序的案例研究，和幽灵渔具检索。我们首先从侧扫数据合成图像，应用几何和辐射校正，然后使用2D特征检测算法来识别点云的描述性视觉微观特征，如角和边缘的声纳图像。然后，我们在特征点云上应用聚类算法，将特征集分组为感兴趣的区域，拒绝误报，产生对象的地理参考库存。
2019-09-17 cs.CV cs.LG eess.IV
Time and Cost-Efficient Bathymetric Mapping System using Sparse Point Cloud Generation and Automatic Object Detection
University of Florida（佛罗里达大学）
从噪声声纳测量生成3D点云（PC）数据是一个问题，具有潜在的应用水深测绘，人工目标检查，水生植物和动物的测绘以及水下导航和定位的车辆，如潜艇。侧扫声纳传感器成本低廉，特别是在探鱼仪中，传感器通常安装在船底，可以接近比无人水下航行器（UUV）更浅的深度。然而，从侧扫声纳图像中提取三维信息是一个困难的任务，因为它的低信噪比和丢失的角度和深度信息的图像。由于大多数从侧扫声纳图像生成3D点云的算法都使用阴影恢复形状（SFS）技术，因此当海底平滑、深度缓慢变化或没有可识别的物体产生声学阴影时，提取3D信息尤其困难。本文介绍了一种有效的算法，从侧扫声纳图像生成稀疏的三维点云。该计算通过利用第一声纳回波的几何形状与由GPS提供的已知位置和每个数据点处的下扫描声纳深度测量相结合，以计算高效的方式完成。此外，本文实现了另一种算法，该算法使用卷积神经网络（CNN），使用迁移学习对在现实生活中收集的侧扫声纳图像进行目标检测，并通过模拟生成。该算法在真实图像和合成图像上进行了测试，以显示合理准确的异常检测和分类。
2022-10-19 cs.CV cs.RO eess.IV
FSSUWNet: Mitigating the Fragility of Pre-trained Models with Feature Enhancement for Few-Shot Semantic Segmentation in Underwater Images
School of Ocean Engineering and Technology, Sun Yat-Sen University（中山大学海洋工程学院）；Southern Marine Science and Engineering Guangdong Laboratory（广东海洋科学与工程实验室）
针对水下图像中预训练模型提取的FSS先验特征脆弱的问题，提出带特征增强的FSSUWNet框架，通过互补特征融合、辅助编码器及特征对齐模块适配水下场景，在公开数据集上取得SOTA性能。
2025-06-14 cs.CV
Map-guided Hyperspectral Image Superpixel Segmentation Using Proportion Maps
University of Missouri（密苏里大学）；University of Florida（佛罗里达大学）
提出了一种基于地图引导的高光谱图像超像素分割方法。所提出的方法开发了SLIC超像素分割算法的高光谱适当版本，利用地图信息来指导分割，并结合半监督部分成员潜在狄利克雷分配（sPM-LDA）来获得最终的超像素分割。该方法被应用到两个真实的高光谱数据集和定量聚类有效性指标表明，该方法优于现有的高光谱超像素分割方法。
2017-01-06 cs.CV
STARS: Zero-shot Sim-to-Real Transfer for Segmentation of Shipwrecks in Sonar Imagery
University of Michigan（密歇根大学）
针对零样本仿真到真实的沉船声呐图像分割问题，提出STARS网络融合形变场与异常体实现泛化，全仿真训练无需真实数据微调，在真实数据集上较最优基线提升20%分割性能。
2023-10-02 cs.CV
A Generative Approach Towards Improved Robotic Detection of Marine Litter
University of Minnesota–Twin Cities（明尼苏达大学双城分校）；Minnesota Robotics Institute（明尼苏达机器人研究所）
本文提出了一种方法来解决数据稀缺的问题，在水下图像数据集的海洋垃圾的视觉检测。所提出的方法依赖于一个两阶段的变分自编码器（VAE）和一个二进制分类器来评估所生成的图像的质量和现实主义。从两阶段VAE生成的图像中，二元分类器选择“质量好”的图像，并使用它们来增强给定的数据集。最后，一个多类分类器被用来评估增强过程的影响，通过测量的对象检测器训练的组合的真实和生成的垃圾图像的准确性。我们的研究结果表明，用增强数据训练的分类器优于仅用真实数据训练的分类器。这种方法不仅适用于本文提出的水下垃圾分类问题，而且也适用于收集更多图像具有挑战性或不可行的任何依赖数据的任务。
2019-10-10 cs.CV cs.RO
Spatio-Temporal driven Attention Graph Neural Network with Block Adjacency matrix (STAG-NN-BA) for Remote Land-use Change Detection
本文提出STAG-NN-BA模型，利用超像素和块邻接矩阵实现遥感土地利用变化检测，优于传统图和非图基线。
2026-02-13 cs.CV
Enhancing Underwater Imagery using Generative Adversarial Networks
University of Minnesota（明尼苏达大学）
自主水下航行器（AUV）依靠各种传感器-声学、惯性和视觉-进行智能决策。由于其非侵入性、被动性和高信息含量，视觉是一种有吸引力的传感方式，特别是在较浅的深度。然而，诸如光的折射和吸收、水中的悬浮颗粒以及颜色失真等因素会影响视觉数据的质量，从而导致图像的噪声和失真。因此，依赖视觉传感的AUV面临着困难的挑战，因此在视觉驱动的任务中表现不佳。本文提出了一种使用生成对抗网络（GANs）来提高视觉水下场景质量的方法，其目标是进一步提高自主管道下视觉驱动行为的输入。此外，我们展示了最近提出的方法是如何能够生成这样的水下图像复原的目的的数据集。对于任何视觉引导的水下机器人，这种改进可以通过强大的视觉感知提高安全性和可靠性。为此，我们提出了定量和定性的数据，这表明，通过所提出的方法校正的图像生成更具视觉吸引力的图像，也提供了更高的精度为潜水员跟踪算法。
2018-01-11 cs.CV cs.RO
Comparative Assessment of Deep Learning Architectures for Underwater Subsurface Kelp Forest Segmentation with The Kelp-o-Tron
该研究评估三种深度学习分割框架对水下海带林的分割性能，发现ResNet50-DeepLabV3（即Kelp-O-Tron）在准确率、鲁棒性和泛化性上表现最优，相关资源可用于水下生境制图与生态监测。
2026-08-26 cs.CV
Human-in-the-Loop Segmentation of Multi-species Coral Imagery
QUT Centre for Robotics（QUT机器人中心）；Image Analytics（图像分析）；CSIRO Data61（CSIRO数据61）
本文提出利用DINOv2特征和KNN实现高效珊瑚图像分割，仅用5个点标签即可在mIoU上提升13.5%。
2026-01-13 cs.CV cs.HC cs.LG
Iterative, Deep, and Unsupervised Synthetic Aperture Sonar Image Segmentation
Pennsylvania State University（宾夕法尼亚州立大学）
深度学习还没有被常规地用于合成孔径声纳（SAS）图像的海底环境的语义分割，这是由于这种方法所必需的大量训练数据的隐含需要。丰富的训练数据，特别是所有图像的像素级标签，由于复杂的物流（例如，潜水员测量、追踪船、精确位置信息）。已经提出了许多手工制作的基于特征的算法来以无监督的方式分割SAS。然而，由于这些方法的特征提取步骤是固定的，因此仍有改进的空间。在这项工作中，我们提出了一种新的迭代无监督算法，用于学习SAS图像分割的深度特征。我们提出的算法在聚类超像素和更新卷积神经网络（CNN）的参数之间交替，以便可以优化用于图像分割的特征提取。我们证明了我们的方法在一个现实的基准数据集的有效性。我们的研究结果表明，我们提出的方法的性能是大大优于目前国家的最先进的方法在SAS图像分割。
2021-07-30 cs.CV
Robust Unsupervised Small Area Change Detection from SAR Imagery Using Deep Learning
School of Microelectronics and Communication Engineering, Chongqing University（重庆大学微电子与通信工程学院）；Chongqing Key Laboratory of Space Information Network and Intelligent Information Fusion（重庆市空间信息网络与智能信息融合重点实验室）；Lancaster Environment Centre, Lancaster University（兰卡斯特大学兰卡斯特环境中心）；UK Centre for Ecology & Hydrology（英国生态与水文中心）；Department of Computer Science, Aberystwyth University（阿伯里斯特威斯大学计算机科学系）；Geography and Environmental Science, University of Southampton（南安普顿大学地理与环境科学系）；Institute of Geographic Sciences and Natural Resources Research, Chinese Academy of Sciences（中国科学院地理科学与资源研究所）
合成孔径雷达（SAR）小区域变化检测是一项极具挑战性的任务。提出了一种基于深度学习的多时相SAR图像小区域变化检测方法。首先，多尺度超像素重建方法被开发来生成差分图像（DI），该差分图像可以有效地抑制斑点噪声，并通过利用局部的、空间均匀的信息来增强边缘。其次，提出了一种两阶段中心约束模糊c均值聚类算法，该算法采用并行聚类策略将DI中的像素分为变化类、不变类和中间类。属于前两个类的图像块然后被构造为伪标签训练样本，并且中间类的图像块被视为测试样本。最后，设计并训练卷积小波神经网络（CWNN）以将测试样本分类为改变的或未改变的类，再加上深度卷积生成对抗网络（DCGAN）以增加伪标签训练样本中改变的类的数量。在四个真实SAR数据集上的数值实验表明了该方法的有效性和鲁棒性，小区域变化检测的准确率达到99.61%。
2020-11-22 cs.CV eess.IV
Taxonomy-aware deep learning for hierarchical marine species classification in underwater imagery
Center for Connected Autonomy and AI（连接自主性与人工智能中心）
提出一种 taxonomy 感知深度学习框架，通过分层损失函数、最小风险贝叶斯推理和多尺度特征编码，解决水下图像中海洋物种分类的领域偏移和细粒度相似性问题，在 FathomNet 2025 数据集上达到平均分类距离 1.581。
2026-06-25 cs.CV cs.LG
Learning Visual Representation of Underwater Acoustic Imagery Using Transformer-Based Style Transfer Method
Harbin Institute of Technology（哈尔滨工业大学）
水下目标自动识别一直是海洋工程领域的一个具有挑战性的研究课题。尽管深度学习为陆地和空中的目标识别带来了机会，但由于传感器性能和可训练数据的大小，基于深度学习的水下目标识别技术一直滞后。本文提出了一个以基于transformer的风格迁移模型为主体的水声图像视觉表示学习框架。该方法可以用水声图像的视觉特征代替光学图像的低层纹理特征，同时保留原始的高层语义内容。该框架可以充分利用丰富的光学图像数据集生成伪声图像数据集，并将其作为初始样本对水声目标识别模型进行训练。实验选择双频识别声纳（DIDSON）作为水声数据源，并以最常见的海洋生物鱼类作为研究对象。实验结果表明，该方法能够生成高质量、高保真度的伪声样本，达到声数据增强的目的，为水下声光图像域传递研究提供支持。
2022-11-10 cs.CV eess.IV
Underwater object classification combining SAS and transferred optical-to-SAS Imagery
针对水下人造目标与岩石、垃圾等的分类问题，提出融合SAS与光学图像的多模态算法，利用阴影与高亮几何关系描述符，在7,052对海试图像上取得优于现有方法的性能并公开数据库。
2023-04-24 cs.CV eess.SP
Simultaneous Enhancement and Super-Resolution of Underwater Imagery for Improved Visual Perception
University of Minnesota, Twin Cities（明尼苏达大学双城分校）
在本文中，我们介绍和解决的同时增强和超分辨率（SESR）水下机器人视觉的问题，并提供了一个有效的解决方案，近实时的应用。我们提出了Deep SESR，这是一种基于残差中残差网络的生成模型，可以学习以2倍，3倍或4倍的空间分辨率恢复感知图像质量。我们通过制定一个多模态目标函数来监督其训练，该目标函数解决了特定于色度的水下颜色退化，图像清晰度不足以及高级特征表示的损失。它还被监督学习图像中的显著前景区域，这反过来又引导网络学习全局对比度增强。我们设计了一个端到端的训练管道，在共享的分层特征空间上联合学习显著性预测和SESR，以实现快速推理。此外，我们还介绍了UFO-120，这是第一个促进大规模SESR学习的数据集;它包含超过1500个训练样本和120个样本的基准测试集。通过对UFO-120和其他标准数据集的全面实验评估，我们证明了Deep SESR优于现有的水下图像增强和超分辨率解决方案。我们还验证了它的泛化性能的几个测试用例，包括水下图像与不同的光谱和空间退化水平，以及陆地图像与看不见的自然对象。最后，我们分析了其计算的单板部署的可行性，并展示了其操作的视觉引导水下机器人的好处。模型和数据集信息将在https://github.com/xahidbuffon/Deep-SESR上提供。
2020-02-04 cs.CV cs.RO eess.IV
Automatic Coral Detection with YOLO: A Deep Learning Approach for Efficient and Accurate Coral Reef Monitoring
Cadi Ayyad University（卡迪·阿雅德大学）；University of La Réunion（留尼汪大学）；IRD（法国国家可持续发展研究所）；IFREMER（法国海洋开发研究院）；CNRS（法国国家科学研究中心）；University of New Caledonia（新喀里多尼亚大学）；Institut de Recherche pour le Développement（法国国家可持续发展研究所）；MNHN（法国国家自然历史博物馆）；EPHE（巴黎高等研究实践学院）
本研究利用YOLOv5深度学习模型构建自动珊瑚检测系统，通过数据增强扩充至580张标注图像，实现高效准确的水下珊瑚礁监测，为珊瑚礁保护提供技术支持。
2024-04-03 cs.AI cs.CV
Seafloor-Invariant Caustics Removal from Underwater Imagery
National Technical University of Athens（雅典国立技术大学）
利用水下成像相机绘制海底地图对于包括海洋工程、地质学、地貌学、考古学和生物学在内的各种应用具有重要意义。对于浅水，在水下成像的挑战中，焦散线，即，由光线的投射被波浪形表面折射而产生的复杂物理现象可能是最关键的一个。焦散是水下成像活动中的主要因素，它会严重降低图像质量，并严重影响海底的任何2D镶嵌或3D重建。在这项工作中，我们提出了一种新的方法来校正焦散线的辐射影响浅水下图像。与现有技术相反，所开发的方法可以处理任何反射镜的海床和河床，使用真实像素信息校正图像，从而改善图像匹配和3D重建过程。特别地，所开发的方法采用深度学习架构，以便将图像像素分类为“非焦散”和“焦散”。然后，利用场景的3D几何形状，通过在重叠的水下图像之间传输适当的颜色值来实现像素级校正。此外，为了填补目前的空白，我们已经收集，注释和结构化了一个真实世界的焦散数据集，即R-CAUSTIC，这是公开的。总的来说，基于实验结果和验证，所开发的方法在检测焦散线和重建其强度方面是非常有前途的。
2022-12-20 cs.CV eess.IV
SSeg: Active Sparse Point-Label Augmentation for Semantic Segmentation
DIIS-I3A, University of Zaragoza（萨拉戈萨大学DIIS-I3A）
SSeg提出一种主动稀疏点标注框架，通过主动采样策略和混合传播方法提升遥感图像语义分割效果，为生态研究提供高效高质量的分割掩码生成工具。
2026-03-27 cs.CV
Spiking Neural Networks for Energy-Efficient Object Detection in Forward-Looking Sonar Imagery
University of California San Diego（加利福尼亚大学圣地亚哥分校）
本研究针对前视声呐图像目标检测，提出全脉冲网络SpikeYOLO，在三类FLS数据集上对比基准模型，实现更低能耗、相当或更优精度及抗噪性，适配AUV节能需求。
2026-08-25 cs.CV eess.SP
DichroGAN: Towards Restoration of in-air Colours of Seafloor from Satellite Imagery
Deakin University（德金大学）；The University of Adelaide（阿德莱德大学）
DichroGAN通过条件生成对抗网络从卫星图像中恢复海底的空中颜色，利用两步训练过程和水下图像形成方程实现高效恢复。
2026-01-01 cs.CV
From underwater to aerial: a novel multi-scale knowledge distillation approach for coral reef monitoring
IFREMER（法国海洋开发研究院）；INRIA（法国国家信息与自动化研究所）；Université de Montpellier（蒙彼利埃大学）；CNRS（法国国家科学研究中心）；IRD（法国发展研究院）
本研究提出一种多尺度知识蒸馏方法，融合水下与航空图像及深度学习，实现珊瑚礁高精度、可扩展监测，AUC达0.9251。
2025-02-25 cs.AI cs.CV
On Vision Transformers for Classification Tasks in Side-Scan Sonar Imagery
NIWC（海军信息作战中心）
本文比较ViT与CNN（ResNet、ConvNext）在侧扫声呐图像二分类中的性能，ViT在各项指标上更优但计算成本高，CNN更高效，适合资源受限环境，未来探索自监督与多模态融合。
2024-09-18 cs.CV cs.LG
An Iterative Labeling Method for Annotating Fisheries Imagery
Northeastern University（东北大学）；Lynker Technologies（林克科技公司）；Northwest Fisheries Science Center（西北渔业科学中心）
在本文中，我们提出了一种用于与图像相关的数据的方法，该方法允许我们通过使用可以利用众包接口的多个训练和生产循环来迭代数据集，从而收敛于标记的图像数据集。我们提出了我们的算法和使用海底自主水下航行器收集的两组独立的图像数据的结果。第一个数据集由2，026张完全未标记的图像组成，而第二个数据集由21，968张由专家点注释的图像组成。我们的研究结果表明，使用一个小的子集进行训练，并在其上迭代以构建一个更大的标记数据集，使我们能够通过少量迭代收敛到一个完全注释的数据集。即使在由专家标记的数据集的情况下，该方法的单次迭代也通过发现与鱼类相关的标签的额外复杂示例来改进标签，这些标签重叠、非常小或被与水下图像相关的对比度限制所掩盖。
2022-06-08 cs.CV cs.HC cs.LG
Nested Dictionary Learning for Hierarchical Organization of Imagery and Text
Duke University（杜克大学）
提出了一种基于树的词典学习模型，用于图像和关联文本的联合分析。字典学习可以直接应用于来自块的图像，或者应用于从块或超像素提取的一般特征向量（使用用于图像特征提取的任何现有方法）。每个图像与通过树的路径（从根到叶）相关联，并且给定图像中的多个补丁中的每个补丁与该路径中的一个节点相关联。树根附近的节点在多个路径之间共享，表示不同类型的图像之间共有的图像特征。向叶子移动，节点变得专门化，表示图像类中的细节。如果可用的话，单词（文本）也被联合建模，具有单词上的路径依赖概率。树结构是通过嵌套的Dirichlet过程推断，和一个追溯棒断裂采样器被用来推断树的深度和宽度。
2012-10-16 cs.CV cs.LG stat.ML
Underwater object detection in sonar imagery with detection transformer and Zero-shot neural architecture search
Dalian Maritime University（大连海事大学）
本文提出 NAS-DETR，通过基于最大熵的 Zero-shot NAS 搜索实时高表示能力 CNN-Transformer 主干，并结合 FPN 与可变形注意力解码器，在两个声呐数据集上实现最先进检测性能。
2025-05-10 cs.AI cs.CV
DeepSeeColor: Realtime Adaptive Color Correction for Autonomous Underwater Vehicles via Deep Learning Methods
Massachusetts Institute of Technology (MIT)（麻省理工学院）；Woods Hole Oceanographic Institution (WHOI)（伍兹霍尔海洋研究所）
水下复杂视觉行为的成功应用落后于陆地和空中领域的进展。这在很大程度上是由于水下成像中涉及的物理现象导致的图像质量下降。光谱选择性光衰减会从水下图像中排出一些颜色，而反向散射会增加其他颜色，这使得在水下执行基于视觉的任务具有挑战性。最先进的水下色彩校正方法优化了图像形成模型的参数，以恢复水下图像的全光谱色彩。然而，这些方法具有高的计算复杂性，这对于自主水下航行器（AUV）的实时使用是不利的，因为这些方法主要被设计用于离线颜色校正。在这里，我们提出了DeepSeeColor，这是一种新的算法，它将最先进的水下图像形成模型与深度学习框架的计算效率相结合。在我们的实验中，我们表明DeepSeeColor提供了与流行的“Sea-Thru”算法（Akkaynak & Treibitz，2019）相当的性能，同时能够以高达60 Hz的频率快速处理图像，从而使其适合用于机载AUV作为预处理步骤，以实现更强大的基于视觉的行为。
2023-03-07 cs.CV cs.RO
Robust Image Processing Techniques for Construction Environment Monitoring Using Underwater Robots
提出一种针对水下机器人施工环境监测的鲁棒图像处理框架，通过分阶段建模前向散射和海洋雪退化，使用合成数据重训练联合ID网络，并应用轻量级后处理，在真实水下数据集上提升视觉质量和UIQM分数。
2026-07-03 cs.CV cs.RO
A drone-based framework for coral habitat mapping via weakly supervised segmentation
IFREMER Délégation Océan Indien (DOI)（IFREMER大洋印度洋办事处）；INRIA, LIRMM, Université de Montpellier, CNRS（INRIA、LIRMM、蒙彼利埃大学、国家科学研究中心）；UMR Marbec, IRD, Université de Montpellier, CNRS, Ifremer（Marbec联合研究单位、IRD、蒙彼利埃大学、国家科学研究中心、IFREMER）；CNRS, LIRMM, Université de Montpellier（国家科学研究中心、LIRMM、蒙彼利埃大学）
提出一种多尺度弱监督语义分割框架，利用分类级标注训练高分辨率分割模型，在无像素级标注下实现珊瑚礁大面积分割，像素精度86.07%，mIoU 52.23%。
2026-05-22 cs.AI cs.CV
BenthIQ: a Transformer-Based Benthic Classification Model for Coral Restoration
California Institute of Technology（加州理工学院）；Coral Gardeners（珊瑚园丁组织）
本文提出BenthIQ，一种基于分层Swin Transformer的U形编码器-解码器多标签语义分割网络，用于水下底栖生物高精度分类，在法属波利尼西亚浅礁图像像素级分类中优于传统CNN和注意力模型。
2023-11-22 cs.CV
Object Modeling from Underwater Forward-Scan Sonar Imagery with Sea-Surface Multipath
University of Miami（迈阿密大学）
针对海面附近前视扫描声呐成像中的多径伪影，提出通过识别并剔除受损区域、利用镜像边界线索并迭代优化三维网格，实现更精确的水下目标建模。
2024-09-10 cs.CV
Impact of Underwater Image Enhancement on Feature Matching
Department of Computer Science Swansea University（计算机科学系萨瑟兰大学）
本文提出了一种评估水下图像增强效果的框架，通过分析增强对特征匹配的影响，验证了其在SLAM算法中的实际应用价值。
2025-07-29 cs.CV
An Explainable Machine Learning Model for Early Detection of Parkinson's Disease using LIME on DaTscan Imagery
CMR Institute of Technology（CMR理工学院）
帕金森病（PD）是一种退行性和进行性神经系统疾病。早期诊断可以改善患者的治疗，并通过多巴胺能成像技术如SPECT DaTscan进行。在这项研究中，我们提出了一个机器学习模型，该模型可以准确地将任何给定的DaTscan分类为患有帕金森病或没有帕金森病，此外还提供了一个合理的预测原因。这种推理是通过使用本地可解释模型不可知解释器（LIME）方法生成的视觉指示器来完成的。DaTscans来自帕金森病进展标志物倡议数据库，并使用迁移学习在CNN（VGG 16）上进行训练，准确率为95.2%，灵敏度为97.5%，特异性为90.9%。保持模型的可解释性至关重要，特别是在医疗保健领域，本研究利用LIME解释区分PD与非PD，使用DaTscan上的视觉超像素。可以得出结论，该系统结合其测量的可解释性和准确性，可以有效地帮助医务工作者在帕金森病的早期诊断。
2020-08-01 cs.CV cs.LG eess.IV
WaterGAN: Unsupervised Generative Network to Enable Real-time Color Correction of Monocular Underwater Images
University of Michigan（密歇根大学）
本文报道了WaterGAN，一种生成对抗网络（GAN），用于在无监督管道中从空中图像和深度配对生成逼真的水下图像，用于单目水下图像的颜色校正。自主和远程操作的车辆上的相机可以捕获高分辨率图像以绘制海底地图，然而，水下图像形成受到光通过水柱传播的复杂过程的影响。由于吸收和散射等效应，所检索的原始图像在特征上不同于在空气中拍摄的图像，这些效应导致不同波长的光以不同速率衰减。虽然这一物理过程在理论上得到了很好的描述，但该模型取决于水柱以及场景中对象的许多固有参数。这些因素使得在不简化假设或现场校准的情况下难以恢复这些参数，因此，水下图像的恢复是一个重要的问题。深度学习在复杂非线性系统建模方面取得了巨大成功，但需要大量的训练数据，这在深海环境中很难编译。使用WaterGAN，我们生成了一个由成对图像组成的大型训练数据集，包括原始水下图像和真实彩色空中图像，以及深度数据。这些数据作为一个新的端到端网络的输入，用于单目水下图像的颜色校正。由于水下环境固有的深度相关水柱效应，我们表明我们的端到端网络隐式地从单目水下图像中学习水下场景的粗略深度估计。我们提出的管道进行了验证与测试的真实数据收集从一个纯净的水箱和水下调查在现场测试。源代码公开提供样本数据集和预训练模型。
2017-10-26 cs.CV cs.RO
Explainable AI for Biodiversity Monitoring and Ecological Image Analysis
Pratt School of Engineering, Duke University（杜克大学工程学院）；British Antarctic Survey（英国南极调查局）；Department of Applied Mathematics and Theoretical Physics, University of Cambridge（剑桥大学应用数学与理论物理系）；Duke University Division of Marine Science and Conservation, Nicholas School of the Environment, Duke University Marine Laboratory（杜克大学海洋科学与保护分会，尼古拉斯环境学院，杜克大学海洋实验室）
提出将可解释人工智能（XAI）作为生态模型验证的标准组件，通过案例展示其在图像分类、目标检测和分割中识别生物信号、揭示伪影、指导数据策略的能力，提升AI生态证据的可靠性。
2026-06-29 cs.AI cs.CV q-bio.QM
Underwater Image Super-Resolution using Deep Residual Multipliers
University of Minnesota, Twin Cities（明尼苏达大学双城分校）
我们提出了一种基于深度残差网络的水下图像单图像超分辨率（SISR）的生成模型，供自主水下机器人使用。我们还提供了一个对抗训练管道，用于从配对数据中学习SISR。为了监督训练，我们制定了一个目标函数，该目标函数根据图像的全局内容、颜色和局部样式信息来评估图像的\textit{perceptual quality}。此外，我们提出了USR-248，一个大规模的数据集的三组水下图像的“高”（640 x480）和“低”（80 x60，160 x120和320 x240）的空间分辨率。USR-248包含用于2x、4x或8x SISR模型的监督训练的配对实例。此外，我们通过定性和定量实验验证了我们提出的模型的有效性，并将结果与几个最先进的模型的性能进行比较。我们还分析了其实际应用的可行性，如场景理解和注意力建模在嘈杂的视觉条件下。
2020-02-24 cs.CV eess.IV
A Comparison of Few-Shot Learning Methods for Underwater Optical and Sonar Image Classification
Heriot-Watt University（赫瑞-瓦特大学）；SeeByte（SeeByte公司）
深度卷积神经网络通常在光学和声纳图像上的水下目标识别任务中表现良好。许多这样的方法需要数百，如果不是数千，每个类的图像，以及推广到看不见的例子。然而，获取和标记足够大的数据量可能相对昂贵和耗时，特别是在观察稀有物体或执行实时操作时。少样本学习（FSL）的努力已经产生了许多有前途的方法来处理低数据可用性。然而，很少有人注意到在水下领域，其中的图像的风格提出了额外的挑战，对象识别算法。据我们所知，这是第一篇评估和比较几种监督和半监督少样本学习（FSL）方法，使用水下光学和侧扫声纳图像。我们的研究结果表明，FSL方法提供了一个显着的优势，比传统的迁移学习方法，微调预训练模型。我们希望我们的工作将有助于将FSL应用于自主水下系统并扩展其学习能力。
2020-10-26 cs.CV
uScenes: A Multimodal RGB and 3D Sonar Dataset for Underwater Robot Perception
University of South Florida（南佛罗里达大学）；University of Florida（佛罗里达大学）；Seoul National University（首尔大学）
该研究针对水下机器人感知难题，构建了含同步3D多波束声呐点云与RGB图像的uScenes多模态数据集，为水下传感器融合等任务提供了基础。
2026-08-31 cs.CV
A Multi-Annotator Study of Segmentation Noise and Uncertainty in Turbid Underwater Images
Aalborg University（奥尔堡大学）；Pioneer Centre for Artificial Intelligence（先锋人工智能中心）
本研究开展首个真实水下场景分割的多标注者系统性研究，发现水下数据集存在通用视觉任务的标注挑战且浑浊度引入额外误差，探索了提升标注质量的方法，相关数据将公开。
2026-08-18 cs.CV
Decoupled Pipeline with Proposal Reranking and Score Fusion for Positive-Unlabeled Marine Species Detection
Georgia Institute of Technology（佐治亚理工学院）
FathomNetCLEF 2026竞赛面临训练标签稀疏等问题，DS@GT ARC团队开发多阶段系统，用冻结检测器生成提议，经推理、分类和分数融合排序，在102个团队中排第12，实验表明特定策略比微调检测器等更有效。
2026-07-22 cs.AI cs.CV cs.LG
MATANet: A Multi-context Attention and Taxonomy-Aware Network for Fine-Grained Underwater Recognition of Marine Species
Department of Industrial Engineering, Yonsei University（延世大学工业工程系）
提出MATANet框架，通过多上下文环境注意力模块和层级感知表示学习模块，结合生物外观、环境上下文和分类结构，实现海洋生物细粒度识别，在FathomNet2025和LifeCLEF2015-Fish上取得最优性能。
2026-07-22 cs.CV
Synthetic Sonar Image Simulation with Various Seabed Conditions for Automatic Target Recognition
University of Florida（佛罗里达大学）；Cornell University（康奈尔大学）；Naval Surface Warfare Center, Panama City Division（巴拿马城分部海军水面作战中心）；Naval Undersea Warfare Center, Newport（纽波特海军水下作战中心）
我们提出了一种新的方法来生成水下物体的图像，这是声学兼容的侧扫声纳使用虚幻引擎产生的。我们描述了开发、调整和生成图像的过程，以提供用于训练自动目标识别（ATR）和机器学习算法的代表性图像。这些方法提供了声学效果的视觉近似，如反向散射噪声和声阴影，同时允许在UE中使用C++ actor进行快速渲染，以最大化潜在ATR训练数据集的大小。此外，我们提供了其效用的分析，作为替代实际的声纳图像或基于物理的声纳数据。
2022-10-19 cs.CV cs.RO eess.IV
A Comparative Study of YOLOv8 to YOLOv11 Performance in Underwater Vision Tasks
Hsinchu County American School（新竹县美国学校）；Brown University（布朗大学）
本文对比了YOLOv8至YOLOv11在水下视觉任务中的性能，发现准确率在YOLOv9后饱和，而轻量级YOLOv10在嵌入式AUV部署中具有最佳的速度-准确率权衡。
2025-09-16 cs.AI cs.CV
Self-Supervised Learning for Improved Synthetic Aperture Sonar Target Recognition
Naval Surface Warfare Center（海军水面作战中心）
本研究提出将自监督学习应用于合成孔径声纳图像目标识别，通过评估MoCov2和BYOL算法，发现在少样本场景下SSL优于全监督模型，为减少数据标注成本提供了可行替代方案。
2023-07-27 cs.CV cs.LG eess.IV
Factors of Influence for Transfer Learning across Diverse Appearance Domains and Task Types
Google Research（谷歌研究院）
迁移学习能够重用在源任务上学到的知识来帮助学习目标任务。一种简单形式的迁移学习在当前最先进的计算机视觉模型中很常见，即在ILSVRC数据集上预训练用于图像分类的模型，然后对任何目标任务进行微调。然而，以前对迁移学习的系统研究是有限的，它预期工作的情况下没有完全理解。在本文中，我们对迁移学习进行了广泛的实验性探索，涉及不同的图像领域（消费者照片、自动驾驶、航拍图像、水下、室内场景、合成、特写）和任务类型（语义分割、目标检测、深度估计、关键点检测）。重要的是，这些都是与现代计算机视觉应用相关的复杂、结构化的输出任务类型。我们总共进行了2000多个迁移学习实验，其中包括许多源和目标来自不同图像域、任务类型或两者兼而有之的实验。我们系统地分析了这些实验，以了解图像域、任务类型和数据集大小对迁移学习性能的影响。我们的研究导致了几个见解和具体的建议：（1）对于大多数任务，存在一个显著优于ILSVRC'12预训练的源;（2）图像域是实现正迁移的最重要因素;（3）源数据集应该是目标数据集的图像域\emph{include}以实现最佳结果;（4）同时，当源任务的图像域比目标任务的图像域宽得多时，我们只观察到很小的负面影响;（5）跨任务类型的转移可能是有益的，但其成功在很大程度上取决于源和目标任务类型。
2021-11-20 cs.CV
Hierarchical Multi-Label Classification with Missing Information for Benthic Habitat Imagery
Faculty of Computer Science, Dalhousie University（达尔豪斯大学计算机科学学院）；Memorial University of Newfoundland（纽芬兰纪念大学）；Vector Institute（向量研究所）
本研究针对底栖生境图像层次多标签分类任务，验证了在领域内数据上自监督预训练的模型在标注缺失场景下的性能优势，为水下图像自动标注建立基准。
2024-09-10 cs.CV cs.LG
