Segmentation-guided Domain Adaptation for Efficient Depth Completion
Ruhr West University of Applied Science（鲁尔西应用科学大学）；e:fs TechHub GmbH（e:fs TechHub有限公司）
完整的深度信息和有效的估计器已经成为自动驾驶任务中场景理解的重要组成部分。基于LiDAR的深度完成的一个主要问题是由于缺乏由不相关的LiDAR点云的稀疏性质提供的相干信息而导致的卷积的低效利用，这通常导致复杂和资源需求的网络。这个问题被监督训练的深度数据的昂贵获取所强化。在这项工作中，我们提出了一个有效的深度完成模型的基础上vgg 05-like CNN架构，并提出了一个半监督的领域自适应方法来转移知识从合成到现实世界的数据，以提高数据效率，减少对大型数据库的需要。为了提高空间一致性，我们使用分割作为额外的信息源来指导学习过程。我们的方法的效率和准确性进行评估的KITTI数据集。我们的方法改进了以前的高效和低参数的最先进的方法，同时具有明显较低的计算足迹。
2022-12-14 cs.CV cs.LG
Segmentation-Aware and Adaptive Iris Recognition
虹膜识别作为一种最准确、最方便的身份识别技术，在电子安全领域得到了越来越广泛的应用。已知在远距离处或在较少约束的成像环境下获取的虹膜图像的质量会降低虹膜匹配精度。眼周信息固有地嵌入在这样的虹膜图像中，并且可以被利用来辅助在这样的非理想场景下的虹膜识别。我们对这种虹膜模板的分析也表明感兴趣区域的显著退化和减少，其中虹膜识别可以受益于可以考虑不同二进制位的重要性的相似性距离，而不是文献中直接使用汉明距离。眼周信息可以动态地增强，通过将可用虹膜区域的有效面积的差异，用于更准确的虹膜识别。本文提出了这样一个分割辅助自适应框架，更准确的少约束虹膜识别。在三个公开的虹膜数据库上进行了数据集内和跨数据集性能评估，验证了该框架的有效性。
2019-12-31 cs.CV eess.IV
CNN-Based Deep Architecture for Reinforced Concrete Delamination Segmentation Through Thermography
University of Nebraska-Lincoln（内布拉斯加大学林肯分校）
桥面板脱层损伤评估是桥梁健康监测的重要内容。热成像技术作为一种无损检测分层的技术，具有数据采集效率高的优点。但是，对于精确分层形状轮廓的数据解释存在挑战。由于环境的变化以及分层尺寸和深度的不规则性，传统的基于温度对比的处理方法无法准确分割分层。受图像分割深度学习架构最新发展的启发，研究了基于卷积神经网络（CNN）的框架在温度对比度和形状扩散变化下分层分割的适用性。该模型是基于密集卷积网络（DenseNet）开发的，并在实验装置下收集的用于模拟不同深度混凝土板分层的热图像上进行训练。结果表明，满意的性能，准确描绘分层形状。
2019-04-11 cs.CV eess.IV
RLCorrector: Reinforced Proofreading for Cell-level Microscopy Image Segmentation
Korea University（高丽大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Saarland University（萨尔兰大学）
在神经连接组学研究中，纳米级电子显微镜图像的分割是一个关键而又具有挑战性的问题。其中一个原因是，现有的分割方法都不是无错误的，因此它们需要校对，这通常是通过手动干预实现的交互式半自动过程。在此，我们提出了一种基于强化学习的全自动校对方法，该方法模仿人类对分割错误的检测、分类和纠正的决策过程。我们系统地设计了所提出的系统相结合的多个强化学习代理在一个层次的方式，其中每个代理只专注于一个特定的任务，同时保持代理之间的依赖关系。此外，我们证明了强化学习的情景任务设置可以有效地管理输入中同时存在的合并和拆分错误的组合。我们证明了该系统的有效性，通过比较它与传统的校对方法在各种测试情况下。
2022-03-11 cs.CV
Few-Shot Fruit Segmentation via Transfer Learning
The University of Texas at Arlington（得克萨斯大学阿灵顿分校）；North Carolina State University（北卡罗来纳州立大学）；USDA Agricultural Research Service（美国农业部农业研究服务局）
本文提出基于迁移学习的少样本水果语义分割框架，利用公开基准数据集进行专门预训练，仅用少量标注图像即可实现田间水果的准确分割，并能区分树上与掉落水果。
2024-05-04 cs.CV cs.RO
Dense Point-to-Mask Optimization with Reinforced Point Selection for Crowd Instance Segmentation
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；City University of Hong Kong（香港城市大学）
本文提出DPMO和RPS框架，通过整合SAM与NNEC约束及GRPO训练，实现高效人群实例分割，提升计数精度。
2026-08-11 cs.CV
Instance Segmentation of Reinforced Concrete Bridges with Synthetic Point Clouds
University of Houston（休斯顿大学）
针对桥梁构件实例分割缺乏标注数据及泛化难的问题，提出利用三种方法生成合成数据，并结合超参数调优与遮挡技术优化的Mask3D transformer模型，在真实LiDAR和摄影测量点云上达到最先进性能，推动桥梁检查自动化。
2024-09-24 cs.CV eess.IV
Reinforced Coloring for End-to-End Instance Segmentation
Ulsan National Institute of Science and Technology (UNIST)（蔚山科学技术院）；Korea University（高丽大学）
实例分割是计算机视觉中的一个研究热点，它需要对多个感兴趣的对象进行分割。虽然许多前馈网络在不同类型的图像上产生高质量的分割，但它们的结果往往会因许多对象的分割而出现拓扑错误（合并或分裂），需要进行后处理。另一方面，现有的迭代法使用基于知识的属性（形状、边界等）一次提取单个对象。而不依赖于后处理，但它们的扩展性不好。为了在不影响可扩展性的情况下利用传统的每步单个对象分割方法的优势，我们提出了一种新的迭代深度强化学习代理，它学习如何并行区分多个对象。我们的可训练代理的奖励函数的设计有利于分组像素属于同一个对象使用图着色算法。我们证明，该方法可以有效地执行实例分割的许多对象，而无需繁重的后处理。
2020-05-19 cs.CV cs.LG eess.IV
One-shot Joint Extraction, Registration and Segmentation of Neuroimaging Data
Worcester Polytechnic Institute（伍斯特理工学院）；Lehigh University（理海大学）
本文提出统一端到端框架JERS，利用单张标注模板和少量未标注图像，通过自监督联合优化神经影像的提取、配准与分割任务，在真实数据集上表现优异。
2023-07-27 cs.AI cs.CV
Reinforced active learning for image segmentation
École Polytechnique de Montréal（蒙特利尔工程学院）；Mila, Quebec Artificial Intelligence Institute（米拉魁北克人工智能研究院）；ElementAI（元素人工智能）
用于语义分割的基于学习的方法具有两个固有的挑战。首先，获取像素级标签既昂贵又耗时。其次，现实的分割数据集是高度不平衡的：某些类别比其他类别丰富得多，使性能偏向于最具代表性的类别。在本文中，我们感兴趣的是将人类标记工作集中在较大数据池的一个小子集上，最大限度地减少这种工作，同时最大限度地提高分割模型在保留集上的性能。提出了一种基于深度强化学习（RL）的语义分割主动学习策略。智能体学习一种策略，从一个未标记的数据池中选择一个小的信息图像区域的子集-而不是整个图像-进行标记。区域选择决策是基于正在训练的分割模型的预测和不确定性做出的。我们的方法提出了一种新的修改的深度Q网络（DQN）制定的主动学习，使其适应大规模的性质的语义分割问题。我们在CamVid中测试了概念证明，并在大规模数据集Cityscapes中提供了结果。在Cityscapes上，我们基于深度RL区域的DQN方法需要的额外标记数据比我们最具竞争力的基线少大约30%，以达到相同的性能。此外，我们发现，与基线相比，我们的方法要求更多代表性不足的类别的标签，提高了它们的性能，并有助于减轻类别不平衡。
2020-02-16 cs.CV
Reinforced Auto-Zoom Net: Towards Accurate and Fast Breast Cancer Segmentation in Whole-slide Images
Petuum, Inc.（Petuum公司）；Cornell University（康奈尔大学）；UiT The Arctic University of Norway（挪威北极大学）；Carnegie Mellon University（卡内基梅隆大学）
卷积神经网络在医学图像分析领域取得了重大突破。然而，乳腺癌分割的任务，在整个幻灯片图像（WSIs）仍然是欠探索。WSI是具有极高分辨率的大型组织病理学图像。受硬件和视场的限制，使用高放大率的面片会降低推理过程的速度，而使用低放大率的面片会导致信息的丢失。在本文中，我们的目标是实现乳腺癌分割的两个看似矛盾的目标：准确和快速预测。我们提出了一个简单而有效的框架加强自动缩放网络（RAZN）来解决这个任务。受病理学家使用数字显微镜进行放大操作的启发，RAZN学习了一个策略网络来决定是否需要在给定的感兴趣区域进行放大。由于放大动作是选择性的，因此RAZN对不平衡和噪声的地面真实标签具有鲁棒性，并且可以有效地减少过拟合。我们在公共乳腺癌数据集上评估了我们的方法。RAZN优于单尺度和多尺度基线方法，以较低的推理成本实现更好的准确性。
2018-07-29 cs.AI cs.CV
synth-dacl: Does Synthetic Defect Data Enhance Segmentation Accuracy and Robustness for Real-World Bridge Inspections?
针对真实桥梁检测数据集dacl10k的类别不平衡导致细粒度缺陷分割效果差的问题，本研究提出基于合成混凝土纹理的synth-dacl数据集扩展合集，有效提升了模型分割精度与多干扰场景下的鲁棒性。
2025-06-17 cs.CV
Semantic-aware DropSplat: Adaptive Pruning of Redundant Gaussians for 3D Aerial-View Segmentation
针对3D航拍场景语义分割中的语义模糊问题，提出SAD-Splat方法，通过高斯点丢弃模块与伪标签生成流程提升分割精度与表示紧凑性，并构建了新基准数据集3D-AS。
2025-08-14 cs.CV
Superframes, A Temporal Video Segmentation
Kingston University（金斯顿大学）；Leeds Beckett University（利兹贝克特大学）
视频分割的目标是将视频数据转换为一组具体的运动簇，这些运动簇可以很容易地被解释为视频的构建块。有一些类似的主题，如检测视频中的场景切换的工作，但很少有具体的研究聚类视频数据到所需数量的紧凑段。这将是更直观，更有效的，与感知有意义的实体从一个低层次的分组过程中获得，我们称之为分类。本文提出了一种新的简单而有效的技术来检测视频中相似内容模式的超帧。我们计算内容-运动的相似度，以获得连续帧之间的变化强度。在现有的使用深度模型的光流技术的帮助下，所提出的方法能够有效地执行更精确的运动估计。我们还提出了两个标准来衡量和比较不同的算法在各种数据库上的性能。在基准数据库上的实验结果表明了该方法的有效性。
2019-03-06 cs.CV
Unsupervised Wasserstein Distance Guided Domain Adaptation for 3D Multi-Domain Liver Segmentation
Yale University（耶鲁大学）；Yale School of Medicine（耶鲁大学医学院）
当提供大量标记数据时，深度神经网络在源域中显示出卓越的学习能力和泛化能力。然而，由于域偏移，训练良好的模型经常在目标域中失败。无监督领域自适应的目的是提高网络性能时，应用强大的模型训练的医学图像从源域到一个新的目标域。在这项工作中，我们提出了一种基于Wasserstein距离引导的解纠缠表示来实现3D多域肝脏分割的方法。具体来说，我们将图像嵌入到共享内容空间中，捕获跨域和特定于域的外观空间的共享特征级信息。现有的基于互信息的表示学习方法在多领域医学成像任务中往往不能捕获完整的表示。为了缓解这些问题，我们利用Wasserstein距离来学习更完整的表示，并引入了一个内容分解器来进一步促进表示解纠缠。实验表明，我们的方法优于国家的最先进的多模态肝脏分割任务。
2020-09-06 cs.CV eess.IV
V-NAS: Neural Architecture Search for Volumetric Medical Image Segmentation
Johns Hopkins University（约翰斯·霍普金斯大学）；NVIDIA Corporation（英伟达公司）
深度学习算法，特别是2D和3D全卷积神经网络（FCN），已迅速成为体积医学图像分割的主流方法。然而，2D卷积无法充分利用沿第三轴的丰富空间信息，而3D卷积则受到苛刻计算和高GPU内存消耗的影响。在本文中，我们提出了自动搜索的网络架构裁剪体积医学图像分割问题。具体来说，我们将结构学习公式化为可微神经结构搜索，并让网络本身在每一层的2D、3D或伪3D（P3 D）卷积之间进行选择。我们在3个公共数据集上评估我们的方法，即，NIH胰腺数据集，来自医学分割十项全能（MSD）挑战的肺和胰腺数据集。我们的方法名为V-NAS，在正常器官（NIH胰腺）和异常器官（MSD肺肿瘤和MSD胰腺肿瘤）的分割任务上始终优于其他最先进的方法，这表明了所选架构的强大功能。此外，在一个数据集上搜索的架构可以很好地推广到其他数据集，这证明了我们所提出的方法的鲁棒性和实用性。
2019-08-04 cs.CV eess.IV
Model-Assisted Labeling via Explainability for Visual Inspection of Civil Infrastructures
Czech Technical University in Prague（捷克技术大学）；IBM Research Zürich（IBM苏黎世研究院）
标记图像进行视觉分割是一项耗时的任务，成本可能很高，特别是在必须由专业专家注释器提供标签的应用领域，如土木工程。在本文中，我们建议使用属性的方法来利用专家注释者和数据之间的宝贵的互动进行注释的情况下，民用基础设施的视觉检查的缺陷分割。具体地说，分类器被训练来检测缺陷，并与基于属性的方法和对抗性攀登相结合，以生成和细化与分类输出相对应的分割掩模。这些在辅助标记框架中使用，注释者可以通过决定接受，拒绝或修改它们来与它们进行交互，作为建议分割掩码，并且交互被记录为弱标签以进一步改进分类器。应用于一个真实世界的数据集产生的自动视觉检测的桥梁，我们提出的方法是能够节省超过50%的注释者的时间相比，人工标注的缺陷。
2022-09-22 cs.CV
Reinforced Wasserstein Training for Severity-Aware Semantic Segmentation in Autonomous Driving
Harvard University（哈佛大学）；Columbia University（哥伦比亚大学）；China University of Mining and Technology（中国矿业大学）；University of California Berkeley（加州大学伯克利分校）；Carnegie Mellon University（卡内基梅隆大学）；The Hong Kong Polytechnic University（香港理工大学）
语义分割对于许多现实世界的系统是重要的，例如，自动驾驶汽车，预测每个像素的类别。最近，深度网络在w.r.t.具有交叉熵损失的平均交叉联合（mIoU）。然而，交叉熵损失基本上可以忽略具有不同错误预测错误的自动驾驶汽车的严重性差异。例如，预测汽车在路上比识别它是公共汽车要方便得多。针对这一困难，我们开发了一个Wasserstein训练框架，通过定义其地面指标为误分类严重度来探索类间相关性。Wasserstein距离的地面度量可以根据特定任务的经验预先定义。从优化的角度来看，我们进一步建议将地面度量设置为预定义地面度量的递增函数。此外，提出了一种自适应学习方案的地面矩阵，利用高保真CARLA模拟器。具体来说，我们遵循强化替代学习方案。在CamVid和Cityscapes数据集上的实验证明了我们的Wasserstein损失的有效性。SegNet、ENet、FCN和Deeplab网络可以按照插件方式进行适配。我们在预定义的重要类上实现了显着的改进，并且在我们的模拟器中连续播放时间更长。
2020-08-11 cs.CV cs.LG cs.PF
RCoT-Seg: Reinforced Chain-of-Thought for Video Reasoning and Segmentation
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Pengcheng Laboratory（鹏城实验室）；Pazhou Lab (Huangpu)（琶洲实验室（黄埔））
本文提出RCoT-Seg框架，通过分离时间推理与空间感知，改进视频分割中关键帧选择与定位，提升多目标场景下的鲁棒性与精度。
2026-05-08 cs.CV
CoCo DistillNet: a Cross-layer Correlation Distillation Network for Pathological Gastric Cancer Segmentation
Beijing University of Posts and Telecommunications（北京邮电大学）；Center for Research on Intelligent Perception and Computing, NLPR, CASIA（中国科学院自动化研究所模式识别国家重点实验室）；Shandong University of Science and Technology（山东科技大学）；Artificial Intelligence Research, CAS (CAS-AIR)（中国科学院人工智能研究院）
近年来，深度卷积神经网络在病理图像分割方面取得了重大进展。然而，病理图像分割遇到了一个困境，其中更高性能的网络通常需要更多的计算资源和存储。由于病理图像固有的高分辨率，这种现象限制了在真实场景中使用高精度网络。为了解决这个问题，我们提出了CoCo DistillNet，一种用于病理胃癌分割的新型跨层相关（CoCo）知识蒸馏网络。知识蒸馏是一种通用技术，旨在通过从复杂网络中转移知识来提高紧凑网络的性能。具体来说，我们的CoCo DistillNet对不同层之间通道混合空间相似性的相关性进行建模，然后将这些知识从预先训练的繁琐教师网络转移到未经训练的紧凑学生网络。此外，我们还利用对抗性学习策略来进一步促进提取过程，称为对抗性提取（AD）。此外，为了稳定我们的训练过程，我们使用无监督的释义模块（PM）来增强教师网络中的知识释义。因此，在胃癌分割数据集上进行的大量实验证明了CoCo DistillNet的突出能力，达到了最先进的性能。
2021-11-12 cs.CV eess.IV
LightVessel: Exploring Lightweight Coronary Artery Vessel Segmentation via Similarity Knowledge Distillation
Henan University of Chinese Medicine（河南中医药大学）；Beijing University of Posts and Telecommunications（北京邮电大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
近年来，深度卷积神经网络（DCNN）在冠状动脉血管分割中取得了巨大的应用前景。然而，由于高性能方法具有过多的参数和高计算成本，因此难以在临床场景中部署复杂的模型。为了解决这个问题，我们提出了\textbf{LightVessel}，相似性知识蒸馏框架，轻量级冠状动脉血管分割。首先，我们提出了一个语义迁移建模的智能相似性蒸馏（FSD）模块。具体来说，我们计算来自编码器和解码器的对称层之间的特征相似性。然后将相似性作为知识从繁琐的教师网络转移到未经训练的轻量级学生网络。同时，为了鼓励学生模型学习更多的像素级语义信息，我们引入了对抗相似性蒸馏（ASD）模块。具体地说，ASD模块旨在分别从教师和学生模型中构建注释和预测之间的空间对抗相关性。通过ASD模块，学生模型获得了冠状动脉血管的细粒度精细边缘分割结果。在临床冠状动脉血管数据集上进行的大量实验表明，LightVessel优于各种知识蒸馏同行。
2023-02-25 cs.CV eess.IV
Reinforce Data, Multiply Impact: Improved Model Accuracy and Robustness with Dataset Reinforcement
Apple（苹果公司）
本文提出数据集强化策略，通过数据增强与知识蒸馏一次性改进数据集，使在其上训练的多种模型架构无需额外训练成本即可获得更高的准确率、鲁棒性和校准性，并验证了其在多个数据集和下游任务上的广泛有效性。
2023-09-22 cs.AI cs.CV cs.LG
Deep Learning-Based Automated Image Segmentation for Concrete Petrographic Analysis
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Oregon（俄勒冈大学）
用于测量混凝土中空隙率的标准岩相学测试方法（ASTM C457）需要在体视显微镜下对样品相组成进行细致和长期的检查。高级专业知识和专业设备阻碍了常规混凝土质量控制的这种测试。虽然这项任务可以减轻与基于颜色的图像分割的帮助下，需要额外的表面颜色处理。最近，使用卷积神经网络（CNN）的深度学习算法在图像测试基准上取得了前所未有的分割性能。在这项研究中，我们研究了使用CNN进行混凝土分割，而不使用颜色处理的可行性。CNN展示了处理各种混凝土的强大潜力，包括那些不参与模型训练的混凝土。实验结果表明，CNN优于基于颜色的分割相当大的利润，并具有人类专家相当的准确性。此外，分割时间减少到仅仅几秒钟。
2020-05-28 cs.CV cs.CY cs.LG
LENS: Learning to Segment Anything with Unified Reinforced Reasoning
vivo Mobile Communication Co., Ltd.（vivo移动通信有限公司）
针对现有文本提示图像分割方法泛化能力有限的问题，本文提出强化学习框架LENS，通过统一奖励联合优化思维链推理与分割，在三大基准上平均cIoU达81.2%，优于GLaMM至多5.6%，为SAM泛化提供新路径。
2025-11-18 cs.AI cs.CV
Semi-Supervised Segmentation of Concrete Aggregate Using Consensus Regularisation and Prior Guidance
Institute of Building Materials Science, Leibniz University Hannover（莱布尼茨汉诺威大学建筑材料科学研究所）；Institute of Photogrammetry and GeoInformation, Leibniz University Hannover（莱布尼茨汉诺威大学摄影测量与地理信息研究所）
为了利用和利用未标记的数据，基于一致性训练的语义分割的半监督框架已被证明是显着提高纯监督分割学习性能的强大工具。然而，一致性训练背后的共识原则至少有一个缺点，我们在本文中发现：数据中的标签分布不平衡。为了克服标准一致性训练的局限性，我们提出了一种新的半监督框架语义分割，引入额外的损失的基础上先验知识。具体来说，我们提出了一个轻量级的架构，由一个共享的编码器和一个主解码器，这是在监督的方式训练。一个辅助解码器被添加为额外的分支，以便利用基于共识训练的未标记数据，并且我们添加了从类分布和自动编码器正则化的先验信息中导出的额外约束。在本文提出的“混凝土聚合数据集”上进行的实验证明了所提出的方法的有效性，优于纯监督分割和标准一致性训练所取得的分割结果。
2021-04-22 cs.CV
ConsInstancy: Learning Instance Representations for Semi-Supervised Panoptic Segmentation of Concrete Aggregate Particles
Leibniz University Hannover（汉诺威莱布尼茨大学）
我们提出了一个半监督的方法，全景分割的基础上ConsInstancy正则化，一种新的策略，半监督学习。它通过在训练期间强制执行预测实例表示和语义分割之间的一致性来利用完全未标记的数据，以提高分割性能。为此，我们还提出了新类型的实例表示，可以通过一个简单的前向路径通过全卷积网络（FCN）进行预测，为全景分割提供一个方便和简单的训练框架。更具体地说，我们提出了一个三维的实例方向图作为中间表示和两个互补的距离变换图作为最终表示的预测，提供独特的实例表示的全景分割。我们在硬化和新鲜混凝土的两个具有挑战性的数据集上测试了我们的方法，后者是作者在本文中提出的，证明了我们方法的有效性，优于最先进的半监督分割方法所取得的结果。特别是，我们能够证明，通过在我们的半监督方法中利用完全未标记的数据，与仅使用标记数据的完全监督训练相比，实现的总体准确度（OA）提高了5%。此外，我们超过了最先进的半监督方法所实现的OA高达1.5%。
2022-04-10 cs.CV
Prototype Learning-Based Few-Shot Segmentation for Low-Light Crack on Concrete Structures
本文提出基于原型学习的低光照混凝土裂缝分割方法，结合Retinex理论与少样本学习，通过多尺度特征增强和交叉相似性先验掩码生成模块，提升低光照环境下的分割性能。
2026-01-19 cs.CV
Vision Mamba-based autonomous crack segmentation on concrete, asphalt, and masonry surfaces
The University of Sydney（悉尼大学）；Hohai University（河海大学）
针对CNNs泛化性弱、Transformer计算复杂度高的问题，本文提出基于Vision Mamba的裂缝分割框架，在精度相当的前提下大幅降低参数量与浮点运算量。
2024-06-24 cs.CV
Dual flow fusion model for concrete surface crack segmentation
针对深度学习裂纹分割模型对背景噪声敏感且边缘粗糙的问题，提出双流融合模型，通过双流提取特征、交互融合机制与边缘优化方法，在 DeepCrack 和 CRACK500 数据集上取得高 F1 与 IOU 值。
2023-05-16 cs.CV
A Storage-Efficient Feature for 3D Concrete Defect Segmentation to Replace Normal Vector
Monash University（蒙纳士大学）；Changzhou Institute of Technology（常州工学院）
本研究提出相对角度作为3D混凝土缺陷分割的存储高效特征，替代传统法向量，实现27.6%的存储减少和83%的输入通道压缩，同时保持模型性能。
2025-11-24 cs.CV
A Real-time Concrete Crack Detection and Segmentation Model Based on YOLOv11
MSE, AHUT, China（机械与电子工程学院，哈尔滨工业大学（哈尔滨））；IoT, AHUT, China（物联网学院，哈尔滨工业大学（哈尔滨））；IST, SDUST, China（信息科学与技术学院，山东大学（济南））
本文提出基于YOLOv11n的多任务混凝土裂缝检测与分割模型YOLOv11-KW-TA-FP，通过动态KernelWarehouse卷积、三重注意力机制和FP-IoU损失函数提升小目标裂缝检测性能，实验验证其精度、召回率和mAP均显著优于基线，并具备良好的数据稀缺与噪声鲁棒性。
2025-08-15 cs.CV
Effective 3D Humerus and Scapula Extraction using Low-contrast and High-shape-variability MR Data
Department of Computer Science, Rutgers University（罗格斯大学计算机科学系）；Department of Industrial and Systems Engineering, Rutgers University（罗格斯大学工业与系统工程系）；Department of Orthopaedics, New Jersey Medical School, Rutgers University（罗格斯大学新泽西医学院骨科系）
对于最初的肩关节术前诊断，从医学图像获得三维（3D）骨掩模是必要的，例如，磁共振（MR）。然而，获得高分辨率和高密度的医学扫描既昂贵又耗时。此外，每次3D扫描的成像参数可能会不时变化，从而增加图像之间的差异。因此，考虑低分辨率数据上的骨提取可能会影响成像对比度并使分割工作变得困难，这是实际的。在本文中，我们提出了一个联合分割的肱骨和肩胛骨的一个小的数据集与低对比度和高形状变化的三维MR图像。所提出的网络具有深度端到端架构以获得初始3D骨骼掩模。由于现有的稀缺和不准确的人类标记的地面真理，我们设计了一个自我增强的学习策略，以提高性能。通过与非增强分割和经典的多图谱联合标记融合方法的比较，该方法获得了更好的分割效果。
2019-02-22 cs.CV cs.LG
3D Modeling and Automated Measurement of Concrete Cracks via Segment Anything Refinement and Visual Inertial LiDAR Fusion
School of Civil Engineering（土木工程学院）；Central South University（中南大学）；Hunan Provincial Key Laboratory for Disaster Prevention and Mitigation of Rail Transit Engineering Structures（湖南省铁路工程结构灾害预防与 mitigation 工程结构重点实验室）；Nvidia；School of Computing（计算学院）；Newcastle University（新castle大学）
本文提出了一种结合计算机视觉技术和多模态同时定位与建图（SLAM）的创新框架，用于二维裂缝检测、三维重建和三维自动裂缝测量，解决了现有方法在适应性和鲁棒性方面的不足，特别是在处理曲线或复杂几何形状时的挑战。
2026-05-18 cs.CV cs.RO
Methods for segmenting cracks in 3d images of concrete: A comparison based on semi-synthetic images
Fraunhofer Institut für Techno- und Wirtschaftsmathematik（弗劳恩霍夫工业数学研究所）；Technische Universität Kaiserslautern（凯泽斯劳滕工业大学）
混凝土是建筑物、桥梁和道路的标准建筑材料。由于安全在此类建筑的设计、监测和维护中起着核心作用，因此了解混凝土的开裂行为非常重要。计算机断层扫描捕捉建筑材料的微观结构，并允许研究裂纹的萌生和传播。人工分割大的三维图像中的裂纹表面是不可行的。本文对三维图像中裂纹的自动分割方法进行了综述和比较。经典的图像处理方法（边缘检测滤波器，模板匹配，最小路径和区域生长算法）和学习方法（卷积神经网络，随机森林）被认为是半合成3d图像和测试。它们的性能在很大程度上取决于参数的选择，应适应图像的灰度值分布和混凝土的几何特性。一般来说，学习方法表现最好，特别是对于薄裂纹和低灰度值对比度。
2021-12-17 cs.CV cs.LG
Learning-Based Defect Recognitions for Autonomous UAV Inspections
The Chinese University of Hong Kong（香港中文大学）；Minjiang University（闽江学院）
裂纹的自动检测与分割在整个无人机检测系统中起着重要的作用。在本文中，我们实现了一个基于经典网络架构（包括Alexnet、VGG和Resnet）的裂缝检测深度学习框架。此外，受特征金字塔网络架构的启发，提出了一种高效的裂缝分割分层卷积神经网络（CNN）深度学习框架，并将其性能与其他最先进的网络架构进行了比较。我们总结了现有的裂缝检测和分割数据集，并建立了互联网上最大的裂缝检测和分割基准数据集，该数据集是面向研究社区的开源数据集。我们的特征金字塔裂缝分割网络在基准数据集上进行了测试，并给出了令人满意的分割结果。还提出了无人机自动检测框架，并将针对各种混凝土结构的裂缝检测任务建立无人机自动检测框架。我们所有自行建立的数据集和代码都是开源的：https://github.com/KangchengLiu/Crack-Detection-and-Segmentation-Dataset-for-UAV-Inspection
2023-02-13 cs.CV cs.RO
Reference Setup for Quantitative Comparison of Segmentation Techniques for Short Glass Fiber CT Data
Heidelberg University（海德堡大学）；University Medical Center Mannheim（曼海姆大学医学中心）；Interdisciplinary Center for Scientific Computing (IWR)（跨学科科学计算中心（IWR））；Volume Graphics GmbH（Volume Graphics有限公司）；University of Padova（帕多瓦大学）
由于缺乏标准的参考数据集，比较工业计算机断层扫描（CT）扫描中分割玻璃纤维的不同算法是困难的。在这项工作中，我们介绍了一组注释扫描的短纤维增强聚合物（SFRP）以及综合创建的CT体积数据与评价指标。我们建议这两个指标和这个数据集作为研究不同算法的性能的参考。用Nikon MCT 225 X射线CT系统进行实际扫描。通过使用内部计算模型和第三方商业软件创建模拟扫描。对于这两种类型的数据，已经准备了相应的地面实况注释，包括用于真实扫描的手工注释和用于合成扫描的STL模型。此外，基于Hessian的Frangi血管性滤波器用于纤维分割已经实现并开源，以作为比较的参考。
2019-01-04 cs.CV
Segmenting Low-Contrast XCTs of Concrete: An Unsupervised Approach
Department of Mechanics, Faculty of Civil Engineering, Czech Technical University in Prague（机械系，土木工程学院，布拉格捷克技术大学）；Structural Composites Unit, Luxembourg Institute of Science and Technology (LIST)（结构复合材料单元，卢森堡科学与技术研究所（LIST））
研究针对混凝土低对比度XCT图像语义分割难题，提出利用超像素算法和CNN模型感受野的自标注技术，该技术能让模型学习全局-局部关系，相比直接灰度阈值处理，在相关指标上表现更优，提升了骨料和砂浆辨别性及识别精度。
2026-07-09 cs.CV
PRE-MAP: Personalized Reinforced Eye-tracking Multimodal LLM for High-Resolution Multi-Attribute Point Prediction
Jilin University（吉林大学）；Peking University（北京大学）；Mininglamp Technology（Mininglamp科技）
针对个性化注意与高分辨率多点定位难题，论文构建SPA-ADV眼动数据集，并提出基于MLLM和C-GRPO强化优化的PRE-MAP模型。
2025-07-25 cs.CV
A Hyperspectral and RGB Dataset for Building Facade Segmentation
CSIRO’s Data61（澳大利亚联邦科学与工业研究组织Data61）；Australian National University（澳大利亚国立大学）
高光谱成像（HSI）提供了详细的光谱信息，并已被用于许多现实世界的应用。这项工作介绍了一个HSI数据集的建筑立面在轻工业环境中的不同建筑材料在一个场景中进行分类的目的。该数据集被称为轻工业建筑HSI（LIB-HSI）数据集。该数据集由9个类别和44个类组成。在这项研究中，我们研究了基于深度学习的语义分割算法对RGB和高光谱图像进行分类，以分类各种建筑材料，如木材，砖和混凝土。
2022-12-06 cs.CV
A modular U-Net for automated segmentation of X-ray tomography images in composite materials
Centre des Matériaux（材料中心）；Centre de Morphologie Mathématique（数学形态学中心）；MINES ParisTech（巴黎高等矿业学院）；PSL Research University（PSL研究大学）
本文提出模块化U-Net用于三相玻璃纤维增强聚酰胺66的XCT三维图像自动分割，证明仅需10个标注层和浅层网络即可达到与人类相当的分割效果，为XCT数据流水线全自动化提供了可行方案。
2023-12-02 cs.CV eess.IV
Designing a Hybrid Neural System to Learn Real-world Crack Segmentation from Fractal-based Simulation
Goethe University（歌德大学）；TU Darmstadt（达姆施塔特工业大学）；University of Tübingen（图宾根大学）
本文提出基于分形的高保真裂缝仿真器及全标注数据集，并结合逐点互信息与自适应实例归一化构建混合神经学习系统，以弥合仿真与真实差距，实现真实世界裂缝分割。
2023-09-18 cs.AI cs.CV cs.LG
Cracks in concrete
Fraunhofer ITWM（弗劳恩霍夫信息技术与通信技术研究所）；Technische Universität Kaiserslautern（凯泽斯劳滕工业大学）
本文提出了一种生成半合成图像数据以训练3D U-Net或随机森林等模型的方法，用于分割混凝土3D图像中的裂缝，并引入了具有尺度不变性的RieszNet网络，以应对裂缝厚度变化大的挑战。
2025-01-30 cs.CV eess.IV stat.AP
One-shot Texture Segmentation
University of Tübingen（图宾根大学）
我们介绍一次纹理分割：分割的任务，包含多个纹理的输入图像给定一个补丁的参考纹理。这项任务的目的是把基于纹理的感知分组的问题变成一个客观的基准。我们表明，这是直截了当地产生大的合成数据集，这个任务从一个相对较少的自然纹理。特别是，这个任务可以被视为一个自我监督的问题，从而减轻了对传统分割任务所需的大量手动注释数据的需求。在本文中，我们介绍和研究两个具体的数据集：一个密集的拼贴纹理（CollTex）和一个杂乱的纹理Omniglot数据集。我们发现，在这些合成数据上训练的基线模型能够推广到自然图像和视频，而无需进一步微调，这表明学习的图像表示对于更高级别的视觉任务是有用的。
2018-07-07 cs.CV
Real Time Egocentric Segmentation for Video-self Avatar in Mixed Reality
Nokia Bell Labs（诺基亚贝尔实验室）
在这项工作中，我们提出了我们的实时自我中心的身体分割算法。我们的算法在640 x480的输入分辨率下实现了66 fps的帧速率，这要归功于我们受Thundernet架构启发的浅网络。此外，我们非常强调训练数据的可变性。更具体地说，我们描述了我们的自我中心身体（EgoBodies）数据集的创建过程，该数据集由来自三个数据集的近10，000张图像组成，这些图像都是通过合成方法和真实捕获创建的。我们进行实验以了解各个数据集的贡献;将用EgoBodies训练的Thundernet模型与以前更简单和更复杂的方法进行比较，并在分割质量和推理时间方面讨论它们在现实生活中的相应性能。所描述的经过训练的语义分割算法已经集成到混合现实（MR）的端到端系统中，使用户能够在沉浸在MR场景中的同时看到自己的身体。
2022-07-04 cs.CV
Data-driven Detection and Evaluation of Damages in Concrete Structures: Using Deep Learning and Computer Vision
Stevens Institute of Technology（史蒂文斯理工学院）；Sharif University of Technology（谢里夫理工大学）；University of Tehran（德黑兰大学）
本研究利用深度学习与计算机视觉，评估YOLO-v7和Mask R-CNN在混凝土结构损伤检测中的性能，YOLO-v7以更高精度和速度适用于实时监测。
2025-01-21 cs.AI cs.CV cs.LG
Unified Mask Embedding and Correspondence Learning for Self-Supervised Video Segmentation
Zhejiang University（浙江大学）；ETH Zurich（苏黎世联邦理工学院）；Beijing Institute of Technology（北京理工大学）；Baidu VIS（百度视觉技术部）
本文的目标是视频对象分割的自监督学习。我们开发了一个统一的框架，同时模型跨帧密集对应的局部判别特征学习和嵌入目标掩码解码的对象级上下文。因此，它能够直接学习从未标记的视频中执行掩模引导的顺序分割，而不是以前的努力通常依赖于倾斜解决方案-根据像素相关性廉价地“复制”标签。具体地说，我们的算法交替i）聚类视频像素，用于创建伪分割标签，从无到有;和ii）利用伪标签来学习VOS的掩码编码和解码。无监督的对应学习进一步纳入这个自学，掩模嵌入方案，以确保学习表示的通用性，避免集群退化。我们的算法在两个标准基准上设置了最先进的技术（即，DAVIS 17和YouTube-VOS），在性能和网络架构设计方面缩小了自监督和全监督VOS之间的差距。
2023-03-17 cs.CV
Uncertainty-aware Self-ensembling Model for Semi-supervised 3D Left Atrium Segmentation
The Chinese University of Hong Kong（香港中文大学）
训练深度卷积神经网络通常需要大量的标记数据。然而，它是昂贵的和耗时的注释数据的医学图像分割任务。在本文中，我们提出了一种新的不确定性意识的半监督框架，从三维MR图像的左心房分割。我们的框架可以有效地利用未标记的数据，鼓励在不同的扰动下对相同的输入进行一致的预测。具体地，该框架由学生模型和教师模型组成，并且学生模型通过最小化关于教师模型的目标的分割损失和一致性损失来从教师模型学习。我们设计了一个新的不确定性感知方案，使学生模型逐渐学习有意义的和可靠的目标，利用不确定性信息。实验表明，我们的方法实现了高性能增益，通过合并未标记的数据。我们的方法优于最先进的半监督方法，证明了我们的框架具有挑战性的半监督问题的潜力。
2019-07-16 cs.CV
Generalizable Model-agnostic Semantic Segmentation via Target-specific Normalization
Nanjing University（南京大学）；Southeast University（东南大学）
监督学习方式的语义分割近年来取得了重大进展。然而，当我们直接部署训练好的模型来分割看不见的（或新来的）域的图像时，由于可见域和看不见域之间的数据分布差异，其性能通常会急剧下降。为此，我们提出了一种新的领域泛化框架的泛化语义分割任务，从两个不同的角度，包括训练范式和测试策略，提高模型的泛化能力。具体地说，我们利用模型无关学习来模拟域转移问题，从训练方案的角度处理领域泛化。此外，考虑到数据分布之间的差异，可见的源和不可见的目标域，我们开发了特定的目标规范化方案，以提高泛化能力。此外，在测试阶段，当图像一个接一个地出现时，我们设计了基于图像的存储体（Image Bank，简称Image Bank），采用基于风格的选择策略，选择相似的图像，以获得更准确的归一化统计。大量的实验突出表明，所提出的方法在多个基准分割数据集上对语义分割的领域泛化产生了最先进的性能，即，城市景观，Mapillary。
2021-08-31 cs.CV
Fuzzy Positive Learning for Semi-supervised Semantic Segmentation
Peking University（北京大学）；Pengcheng Laboratory（鹏城实验室）；Tsinghua University（清华大学）
半监督学习（SSL）本质上追求类边界探索，对人类注释的依赖性较小。虽然典型的尝试集中在改善不可避免的容易出错的伪标签，我们认为不同的，并诉诸于从多个可能正确的候选标签耗尽信息语义。在本文中，我们引入了模糊积极学习（FPL），以即插即用的方式进行准确的SSL语义分割，目标是自适应地鼓励模糊积极预测，并抑制高概率的消极。FPL概念简单，但实际有效，可以显着减少错误的伪标签的干扰，并逐步实现清晰的像素级语义区分。具体地说，我们的FPL方法由两个主要组成部分，包括模糊正分配（FPA），为每个像素提供自适应数量的标签和模糊正正则化（FPR），以限制模糊正类别的预测在不同的扰动下大于其余的。理论分析和广泛的实验Cityscapes和VOC 2012与一致的性能增益证明了我们的方法的优越性。
2022-11-19 cs.CV
Diffusion-based Image Translation with Label Guidance for Domain Adaptive Semantic Segmentation
Singapore University of Technology and Design（新加坡科技设计大学）；Boston University（波士顿大学）；Monash University（莫纳什大学）
针对域自适应语义分割中图像翻译难保持语义一致局部细节的问题，提出带源标签显式引导的扩散式图像翻译方法，结合SGG与PTL策略，性能优于现有最优方法。
2023-08-23 cs.CV
Benefiting from Quantum? A Comparative Study of Q-Seg, Quantum-Inspired Techniques, and U-Net for Crack Segmentation
Fraunhofer Institute for Industrial Mathematics (ITWM)（弗劳恩霍夫工业数学研究所）；RPTU Kaiserslautern-Landau（凯撒斯劳滕-兰道莱茵-普法尔茨理工大学）；German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）
本研究比较了量子、量子启发方法与经典模型在裂缝分割中的性能，发现量子及量子启发方法在处理复杂裂缝模式时具有潜力，有望应用于近未来的实际场景。
2024-10-14 cond-mat.dis-nn cs.CV eess.IV
MVP-SEG: Multi-View Prompt Learning for Open-Vocabulary Semantic Segmentation
Beihang University（北京航空航天大学）；Xiaohongshu Inc（小红书公司）
本文提出 MVP-SEG 方法，通过正交约束损失学习多视图提示并结合全局提示精炼，实现 CLIP 像素级特征适配，显著提升开放词汇语义分割性能。
2023-04-14 cs.CV
ST++: Make Self-training Work Better for Semi-supervised Semantic Segmentation
Nanjing University（南京大学）；Tencent（腾讯）；Southeast University（东南大学）
通过伪标签进行自我训练是一种传统、简单和流行的管道，可以利用未标记的数据。在这项工作中，我们首先构建了一个强大的基线的自我训练（即ST）的半监督语义分割通过注入强数据增强（SDA）对未标记的图像，以减轻过度拟合嘈杂的标签，以及解耦教师和学生之间的类似的预测。有了这个简单的机制，我们的ST优于所有现有的方法，没有任何花里胡哨的东西，例如，迭代再训练。受这些令人印象深刻的结果的启发，我们深入研究了SDA，并提供了一些实证分析。然而，不正确的伪标签仍然容易积累并降低性能。为此，我们进一步提出了一个先进的自训练框架（即ST++），它通过基于整体预测级稳定性优先考虑可靠的未标记图像来执行选择性再训练。具体来说，在第一阶段的监督训练中保存了几个模型检查点，它们对未标记图像的预测差异作为可靠性的衡量标准。我们的图像级选择为学习提供了全面的上下文信息。我们证明，它是更适合分割比常见的像素明智的选择。因此，ST++进一步提升了ST的性能。代码可在https://github.com/LiheYoung/ST-PlusPlus上找到。
2022-03-03 cs.CV
Pseudo-label Guided Cross-video Pixel Contrast for Robotic Surgical Scene Segmentation with Limited Annotations
The Chinese University of Hong Kong（香港中文大学）；Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；University College London（伦敦大学学院）；Zhejiang Lab（之江实验室）
手术场景分割对于促进机器人手术中的认知辅助至关重要。然而，以逐帧方式逐像素地注释手术视频是昂贵且耗时的。为了大大减少标记负担，在这项工作中，我们研究了机器人手术视频的半监督场景分割，这是实际上必不可少的，但以前很少探索。我们认为，临床上合适的注释情况下的等距采样。然后，我们提出了PGV-CL，一种新的伪标签引导的跨视频对比度学习方法，以提高场景分割。它有效地利用未标记的数据进行可靠的全局模型正则化，从而产生更具鉴别力的特征表示。具体地说，对于可信的表示学习，我们建议结合伪标签来指导对选择，获得更可靠的表示对像素对比度。此外，我们扩展了表示学习空间，从以前的图像级到跨视频，这可以捕捉全局语义，以利于学习过程。我们在公共机器人手术数据集EndoVis 18和公共白内障数据集CaDIS上广泛评估了我们的方法。实验结果证明了我们的方法的有效性，在不同的标记率下，我们的方法始终优于最先进的半监督方法，甚至超过了EndoVis 18上的完全监督训练，标记率为10.1%。
2022-07-20 cs.CV
