Robust Online Video Instance Segmentation with Track Queries
University of Illinois at Urbana-Champaign (UIUC)(伊利诺伊大学厄巴纳-香槟分校)
最近,基于变换的方法在视频实例分割(VIS)上取得了令人印象深刻的结果。然而,这些性能最好的方法中的大多数以离线方式运行,即一次处理整个视频剪辑以预测实例掩码体积。这使得他们无法处理出现在具有挑战性的新视频实例分割数据集中的长视频,如UVO和OVIS。我们提出了一个完全在线的基于transformer的视频实例分割模型,该模型在YouTube-VIS 2019基准测试中执行了最佳离线方法,并且在UVO和OVIS上的性能大大优于它们。这种方法,称为鲁棒在线视频分割(ROVIS),增强了Mask 2Former图像实例分割模型与跟踪查询,一个轻量级的机制进行跟踪信息从帧到帧,最初介绍了TrackFormer方法的多对象跟踪。我们表明,当与足够强大的图像分割架构相结合时,跟踪查询可以表现出令人印象深刻的准确性,同时不限于短视频。
2022-11-16 cs.CV
Distilling effective supervision for robust medical image segmentation with noisy labels
Tsinghua University(清华大学)
尽管深度学习方法在医学图像分割任务中取得了成功,但人类水平的性能依赖于具有高质量注释的大量训练数据,这些数据收集起来既昂贵又耗时,而事实是存在带有标签噪声的低质量注释,这导致学习模型的性能不佳。带噪声标签的分割学习的两个突出方向包括逐像素噪声鲁棒训练和图像级噪声鲁棒训练。在这项工作中,我们提出了一个新的框架,以解决分割与噪声标签提取有效的监督信息,从像素和图像水平。特别是,我们明确地估计每个像素的不确定性作为逐像素的噪声估计,并提出逐像素的鲁棒学习,通过使用原始标签和伪标签。此外,我们提出了一个图像级的鲁棒学习方法,以容纳更多的信息,作为补充像素级的学习。我们在模拟和真实世界的噪声数据集上进行了广泛的实验。结果表明,我们的方法相比,国家的最先进的基线与噪声标签的医学图像分割的优越性能。
2021-06-21 cs.CV
Benchmarking the Robustness of LiDAR Semantic Segmentation Models
The Chinese University of Hong Kong (Shenzhen)(香港中文大学(深圳));MPI for Informatics(马克斯·普朗克信息学研究所)
提出SemanticKITTI-C基准评估LiDAR语义分割模型在16种损坏下的鲁棒性,发现输入表示影响显著且现有方法对噪声鲁棒性差,并设计RLSeg模型有效提升鲁棒性。
2024-01-07 cs.CV
Robust Image Segmentation Quality Assessment
University of Iowa(爱荷华大学)
基于深度学习的图像分割方法已经取得了巨大的成功,在某些应用中甚至具有人类水平的准确性。然而,由于深度学习的黑箱性质,最好的方法在某些情况下可能会失败。因此,预测分割质量没有地面真相将是非常重要的,特别是在临床实践中。近年来,人们提出通过训练神经网络来回归估计质量得分。虽然它可以实现有前途的预测精度,网络遭受鲁棒性问题,例如,它是容易受到对抗攻击。在本文中,我们建议利用输入图像和重建图像之间的差异来缓解这个问题,这是以待评估的分割为条件的,以降低从原始输入图像过拟合到不期望的图像特征的机会,从而提高鲁棒性。在ACDC17数据集上的实验结果表明,该方法是可行的。
2020-05-27 cs.CV
A Cross-Season Correspondence Dataset for Robust Semantic Segmentation
Chalmers University of Technology(查尔姆斯理工大学);Zenuity(泽努蒂公司);ETH Zurich(苏黎世联邦理工学院);Microsoft(微软)
在本文中,我们提出了一种方法,利用在不同的图像条件下拍摄的图像之间的2D-2D点匹配训练一个卷积神经网络的语义分割。在匹配中强制标签一致性使得最终的分割算法对季节变化具有鲁棒性。我们描述了如何生成这些2D-2D的匹配,几乎没有人的互动,几何匹配点从3D模型建立从图像。创建两个跨季节对应数据集,提供跨季节变化以及从白天到晚上的2D-2D匹配。这些数据集公开提供,以方便进一步研究。我们发现,在训练过程中添加对应关系作为额外的监督,提高了卷积神经网络的分割性能,使其对季节变化和天气条件更具鲁棒性。
2019-08-16 cs.CV
Robust image segmentation model based on binary level set
College of Mathematics and Statistics, Chongqing University(重庆大学数学与统计学院);State Key Laboratory of Biotherapy, Sichuan University(四川大学生物治疗国家重点实验室)
针对传统图像分割模型抗噪性不足的问题,该研究融入二值水平集并引入变分算子GL,结合三步分裂算子法求解,提升了对含噪及强度不均匀图像的分割效果。
2024-04-15 cs.CV
Robust 3D Scene Segmentation through Hierarchical and Learnable Part-Fusion
Intel Labs(英特尔实验室)
3D语义分割是自动驾驶、机器人和AR/VR等多个场景理解应用的基本构建块。几种最先进的语义分割模型遭受部分误分类问题,其中,同一对象的部分被不正确地标记。以往的方法采用层次化、迭代法来融合语义和实例信息,但它们在上下文融合中缺乏可学习性,并且计算复杂和启发式驱动。本文提出了分段融合,一种新的基于注意力的语义和实例信息的层次融合方法,以解决部分错误分类。所提出的方法包括一个图形分割算法,用于将点分组为片段,将点特征合并为片段特征,一个可学习的基于注意力的网络,根据它们的语义和实例特征融合这些片段,然后是一个简单而有效的连接组件标记算法,将片段特征转换为实例标签。Segment-Fusion可以灵活地与任何网络架构一起用于语义/实例分割。在ScanNet和S3 DIS数据集上进行评估时,它将几个语义分割骨干的定性和定量性能提高了5%。
2021-11-16 cs.CV
A Robust Fuzzy Clustering Technique with Spatial Neighborhood Information for Effective Medical Image Segmentation
National College of Engineering(国立工程学院);Sathakathullah Appa College(萨塔卡图拉·阿帕学院);Manonmaniam Sundaranar University(马诺尼亚姆·孙达拉纳大学)
医学图像分割需要一种高效、鲁棒的抗噪声分割算法。传统的模糊c均值算法是一种有效的聚类算法,用于医学图像分割。但是FCM非常容易受到噪声的影响,因为它只使用强度值来聚类图像。提出了一种新的有效的模糊空间c均值聚类算法,该算法对噪声具有鲁棒性。该算法利用模糊空间信息计算隶属度。使用所提出的ISFCM算法对输入图像进行聚类。传统的FCM和建议的ISFCM之间进行了比较研究。所提出的方法被发现是优于传统的FCM。
2010-04-10 cs.CV
An Empirical Study on Multi-Domain Robust Semantic Segmentation
Beihang University(北京航空航天大学);Hangzhou Innovation Institute, Beihang University(北京航空航天大学杭州创新研究院)
如何有效地利用现有的大量数据集来训练一个鲁棒的、高性能的模型对于许多实际应用具有重要意义。然而,由于标注冲突和领域分歧,在不同数据集的朴素合并上训练的模型往往会获得较差的性能。本文尝试在多个流行度分割数据集上训练一个期望跨领域表现良好的统一模型。我们从数据增强、训练策略、和模型容量。在分析的基础上,我们提出了一个强大的解决方案,能够提高跨领域的模型泛化。我们的解决方案在RVC 2022语义分割任务中排名第二,数据集只有第一个模型的1/3大小。
2022-12-08 cs.CV
RobustMedSAM: Degradation-Resilient Medical Image Segmentation via Robust Foundation Model Adaptation
Georgia Institute of Technology(佐治亚理工学院)
本文提出RobustMedSAM,通过模块级检查点融合和参数高效变体,提升医学图像分割在退化数据下的鲁棒性,实验表明其在降质图像Dice系数上优于SAM。
2026-04-10 cs.CV
Robust Multimodal Brain Tumor Segmentation via Feature Disentanglement and Gated Fusion
The Chinese University of Hong Kong(香港中文大学);Imperial College Longdon(伦敦帝国理工学院);Imsight Medical Technology Co. Ltd.(艾迈医疗科技有限公司);The Hong Kong Polytechnic University(香港理工大学);Chinese Academy of Sciences(中国科学院)
准确的医学图像分割通常需要从多模态数据中有效地学习互补信息。然而,在临床实践中,我们经常遇到的问题,丢失的成像模式。我们解决了这一挑战,并提出了一种新的多模态分割框架,这是强大的成像方式的情况下。我们的网络使用特征解纠缠将输入模态分解为模态特定的外观代码和模态不变的内容代码,模态特定的外观代码唯一地坚持每种模态,模态不变的内容代码吸收用于分割任务的多模态信息。通过增强的模态不变性,将来自每个模态的解开的内容代码融合到共享表示中,从而获得对丢失数据的鲁棒性。融合是通过基于学习的策略来实现的,以门控不同位置处的不同模态的贡献。我们用BRATS挑战数据集验证了我们在重要但具有挑战性的多模态脑肿瘤分割任务上的方法。凭借与最先进的全模态方法的竞争性能,我们的方法在各种缺失模态的情况下实现了出色的鲁棒性,对于整个肿瘤分割的Dice,平均超过16%。
2020-02-22 cs.CV
A Robust Semantic Segmentation Pipeline for the CVPR 2026 8th UG2+ Challenge Track 2
School of Artificial Intelligence, Xidian University(西安电子科技大学人工智能学院)
提出一种半监督分割流程,以UniMatch V2为基线,将恶劣天气图像视为未标记数据进行训练,并采用测试时增强,仅使用WeatherProof数据集提升鲁棒性。
2026-05-22 cs.CV
1st Place Solution of The Robust Vision Challenge 2022 Semantic Segmentation Track
Johns Hopkins University(约翰斯·霍普金斯大学);Fudan University(复旦大学);NVIDIA(英伟达)
本报告介绍了ECCV 2022上鲁棒视觉挑战赛(RVC)语义分割赛道的获奖解决方案。我们的方法采用FAN-B-Hybrid模型作为编码器,并使用SegFormer作为分割框架。该模型是在一个复合数据集上训练的,该数据集由来自9个数据集(ADE 20 K,Cityscapes,Mapillary Vistas,ScanNet,VIPER,WildDash 2,IDD,BDD和COCO)的图像组成,具有简单的数据集平衡策略。所有原始标签都被投影到一个256类的统一标签空间,并使用交叉熵损失来训练模型。在没有显著的超参数调整或任何特定的损失加权的情况下,我们的解决方案在多个领域(ADE 20 K、Cityscapes、Mapillary Vistas、ScanNet、VIPER和WildDash 2)的所有测试语义分割基准测试中排名第一。所提出的方法可以作为一个强大的基线的多领域分割任务,有利于未来的工作。代码将在https://github.com/lambert-x/RVC_Segmentation上提供。
2022-11-07 cs.CV
ProSAM: Enhancing the Robustness of SAM-based Visual Reference Segmentation with Probabilistic Prompts
Bosch Research North America(博世北美研究院);Bosch Center for Artificial Intelligence (BCAI)(博世人工智能中心)
ProSAM通过变分提示编码器预测多元提示分布,避免生成不稳定区域提示,从而增强基于SAM的视觉参考分割的鲁棒性,并在Pascal-5$^i$和COCO-20$^i$数据集上超越现有方法。
2025-08-03 cs.CV
Beyond Appearance: Geometric Cues for Robust Video Instance Segmentation
Wuhan University(武汉大学)
本文通过策略性利用单目深度估计引入几何感知,系统研究了三种深度集成范式以增强视频实例分割的鲁棒性,其中EDC方法在OVIS基准上以56.2 AP达到最先进水平。
2025-07-14 cs.CV
An Empirical Study on the Robustness of the Segment Anything Model (SAM)
University of California, Santa Barbara(加州大学圣巴巴拉分校);Meta Platforms, Inc.(Meta平台公司)
本研究全面评估了Segment Anything Model (SAM) 在多种真实世界图像扰动下的鲁棒性,发现其性能普遍下降且脆弱程度各异,并提出通过定制提示技术和领域知识可增强其抗扰能力。
2023-05-23 cs.CV
Robust Multimodal Semantic Segmentation with Balanced Modality Contributions
Beijing University of Posts and Telecommunications(北京邮电大学);HKUST(GZ)(香港科技大学(广州));INSAIT
针对多模态分割中主导模态退化导致性能下降的问题,本文提出 EQUISeg 框架,通过平等模态编码、CMTB 融合与 SGM 相互引导平衡各模态贡献,提升退化条件下的鲁棒性。
2025-09-29 cs.CV
UGformer for Robust Left Atrium and Scar Segmentation Across Scanners
Xi’an Jiaotong-Liverpool University(西交利物浦大学)
视觉Transformer和可变形卷积由于其对不规则形状的鲁棒性和长距离依赖性,成为图像分割的有力工具,而图卷积网络(Graph Convolution Networks,GCN)则基于全局拓扑关系模型优化局部特征。特别是,他们已被证明是有效的,在解决问题的医学成像分割任务,包括多领域泛化低质量的图像。在本文中,我们提出了一种新的,有效的,和强大的框架,医学图像分割,即UGformer。它统一了源自U-Net的新型Transformer块、GCN桥和卷积解码器,以预测左心房(LA)和LA疤痕。我们已经确定了拟议的UGformer的两个吸引人的发现:1)。具有可变形卷积的增强型Transformer模块,以改善Transformer信息与卷积信息的混合,并帮助预测不规则LA和疤痕形状。2)。使用结合GCN的桥接器来进一步克服在具有各种不一致域信息的不同磁共振图像扫描仪之间捕获条件不一致的困难。所提出的UGformer模型在LAScarQS 2022数据集上表现出分割左心房和瘢痕的出色能力,优于最近的几种最先进的模型。
2022-10-11 cs.CV
PEARL: Preprocessing Enhanced Adversarial Robust Learning of Image Deraining for Semantic Segmentation
Dalian University of Technology(大连理工大学)
本文提出 PEARL 框架,通过将分割模型鲁棒性迁移到去雨模型,并设计辅助镜像攻击 AMA 引入正向信息,首次同时提升语义分割对雨纹和对抗攻击的鲁棒性。
2023-05-25 cs.CV
BARIS: Boundary-Aware Refinement with Environmental Degradation Priors for Robust Underwater Instance Segmentation
Graduate Institute of Communication Engineering, National Taiwan University(台湾大学通信工程研究所);Department of Electrical Engineering, National Taiwan University(台湾大学电子工程系)
针对水下视觉退化导致实例分割性能下降的问题,提出BARIS-ERA框架,通过边界感知细化解码器与ERA适配器高效建模退化模式,大幅减少可训练参数,并在多个骨干网络上实现SOTA性能。
2025-04-28 cs.CV
See Clearer at Night: Towards Robust Nighttime Semantic Segmentation through Day-Night Image Conversion
State Key Laboratory of Modern Optical Instrumentation, Zhejiang University, China(中国浙江大学现代光学仪器国家重点实验室)
目前,语义分割在光照条件较好的白天场景等标准场景中表现出了显著的效率和可靠性。然而,在夜间等恶劣条件下,语义分割的准确性会大大降低。问题的主要原因之一是缺乏足够的夜间场景的注释分割数据集。在本文中,我们提出了一个框架,以减轻准确性下降时,语义分割采取不利条件下使用生成对抗网络(GANs)。为了桥接白天和夜间图像域,我们进行了关键观察,与不利条件下的数据集相比,标准条件下有相当数量的分割数据集,如BDD和我们收集的ZJU数据集。我们基于GAN的夜间语义分割框架包括两种方法。在第一种方法中,使用GANs将夜间图像转换为白天,因此可以使用已经在白天数据集上训练的鲁棒模型执行语义分割。在另一种方法中,我们使用GANs将数据集中不同比例的白天图像转换为夜间图像,但仍然带有标签。从这个意义上说,可以生成合成的夜间分割数据集,以产生准备在夜间条件下稳健操作的模型。在我们的实验中,后一种方法显着提高了夜间的性能,这一点通过使用交集超过并集(IoU)和像素精度(Acc)的定量结果得到了证明。我们表明,性能随数据集中合成夜间图像的比例而变化,其中最佳点对应于白天和夜晚的最稳健性能。
2019-08-16 cs.CV
Robust Instance Segmentation through Reasoning about Multi-Object Occlusion
Tongji University(同济大学);Johns Hopkins University(约翰霍普金斯大学)
使用深度神经网络分析复杂场景是一项具有挑战性的任务,特别是当图像包含多个彼此部分遮挡的对象时。现有的图像分析方法大多独立处理对象,不考虑附近对象的相对遮挡。在本文中,我们提出了一种用于多对象实例分割的深度网络,该网络对遮挡具有鲁棒性,并且可以仅从限界框监督进行训练。我们的工作建立在组合网络的基础上,该网络学习神经特征激活的生成模型,以定位遮挡物并根据其非遮挡部分对对象进行分类。我们扩展了他们的生成模型,包括多个对象,并引入了一个框架,在具有挑战性的遮挡情况下进行有效的推理。特别是,我们获得前馈预测的对象类和它们的实例和遮挡分割。我们引入了一个遮挡推理模块(ORM),定位错误的分割和估计的遮挡秩序,以纠正他们。改进的分割掩模又以自顶向下的方式集成到网络中,以改进图像分类。在KITTI INStance数据集(KINS)和一个合成遮挡数据集上的实验证明了该模型在遮挡情况下多目标实例分割的有效性和鲁棒性。代码可在https://github.com/XD7479/Multi-Object-Occlusion上免费获得。
2021-04-01 cs.CV
Robust Seed Mask Generation for Interactive Image Segmentation
Friedrich-Alexander University Erlangen-Nürnberg (FAU)(埃尔朗根-纽伦堡大学);Siemens Healthcare GmbH(西门子医疗有限公司);Erlangen Graduate School in Advanced Optical Technologies (SAOT)(埃尔朗根先进光学技术研究生院)
在交互式医学图像分割中,从重建的体积图像中提取解剖结构。用户交互的第一次迭代传统上包括绘制图形提示作为要提取的对象的初始估计。只有在这个耗时的第一阶段之后,才开始对当前分割结果进行有效的选择性细化。错误标记的种子,特别是在对象的边界附近,对于人类来说检测和替换是具有挑战性的,并且可能会显著影响整体分割质量。我们提出了一个自动播种管道以及基于显着性识别的配置,以跳过分割过程中耗时的初始交互阶段。在测试数据集上的第一次用户交互之前达到68.22%的中值Dice分数,播种中的出错率仅为0.088%。
2017-11-20 cs.CV
Fast and Flexible Robustness Certificates for Semantic Segmentation
Institut de Recherche en Informatique de Toulouse(图卢兹计算机科学研究所);IRT Saint-Exupery(圣埃克苏佩里技术研究院);SNCF, DTIPG(法国国家铁路公司DTIPG)
本文提出了一种快速且灵活的可认证鲁棒语义分割网络,通过内置的Lipschitz约束实现高效训练和实时兼容的鲁棒性认证。
2025-12-03 cs.CV
Towards Reliable Evaluation and Fast Training of Robust Semantic Segmentation Models
EPFL(洛桑联邦理工学院);University of Tübingen(蒂宾根大学);Tübingen AI Center(蒂宾根人工智能中心)
本文提出针对语义分割的多种新型攻击(SEA),揭示现有攻击高估鲁棒性,并利用鲁棒ImageNet骨干网络实现快速对抗训练,显著降低训练时间。
2024-07-16 cs.CV cs.LG
On the Structures of Representation for the Robustness of Semantic Segmentation to Input Corruption
Georgia Institute of Technology(佐治亚理工学院)
语义分割是安全关键型应用的核心场景理解任务,在安全关键型应用中,对损坏输入的鲁棒性至关重要。隐式背景估计(IBE)已被证明是一种很有前途的技术,以提高语义分割模型对分布外输入的鲁棒性,几乎没有成本。在本文中,我们提供了分析,比较了使用Softmax,IBE和Sigmoid优化目标的结果,以提高对它们与鲁棒性关系的理解。作为分析的结果,我们建议将Sigmoid与IBE(SCrIBE)相结合以提高鲁棒性。最后,我们证明了SCrIBE在所有损坏和严重程度上都表现出卓越的分割性能,与IBE 40.3和Softmax Baseline 37.5相比,mIOU为42.1。
2020-09-02 cs.CV eess.IV
Learning to Generate Training Datasets for Robust Semantic Segmentation
U2IS ENSTA Paris(巴黎 ENSTA 大学 U2IS 实验室);Institut Polytechnique de Paris(巴黎综合理工学院);Université Paris-Saclay(巴黎萨克雷大学);National University of Singapore(新加坡国立大学)
本文提出Robusta,一种利用条件生成对抗网络生成扰动训练图像的方法,以提升语义分割模型对现实扰动、分布偏移和分布外样本的鲁棒性,适用于安全关键应用。
2024-03-12 cs.CV cs.LG
Assessing YOLACT++ for real time and robust instance segmentation of medical instruments in endoscopic procedures
Tecnológico de Monterrey(蒙特雷科技大学);University of Oxford(牛津大学)
基于图像的腹腔镜器械跟踪通过帮助外科医生和提高患者安全性在计算机和机器人辅助手术中发挥着重要作用。计算机视觉竞赛,如稳健医疗器械分割(ROBUST-MIS)挑战赛,旨在鼓励开发用于此类目的的稳健模型,提供大型,多样化和注释的数据集。迄今为止,大多数现有的医疗器械实例分割模型都是基于两级检测器,这提供了鲁棒的结果,但远不能接近实时(最多每秒5帧(fps))。然而,为了使该方法在临床上适用,实时能力与高精度一起是最大的要求。在本文中,我们提出了注意力机制的YOLACT架构,允许实时实例分割的仪器,提高了准确性的ROBUST-MIS数据集。与2019年ROBUST-MIS挑战赛的获胜者相比,我们提出的方法在鲁棒性得分方面具有竞争力的性能,获得0.313 MI_DSC和0.338 MI_NSD,同时实现实时性能(37 fps)
2021-04-29 cs.AI cs.CV
Robust Brain Magnetic Resonance Image Segmentation for Hydrocephalus Patients: Hard and Soft Attention
Shanghai Jiao Tong University(上海交通大学)
脑积水患者的脑磁共振(MR)分割被认为是一项具有挑战性的工作。对不同个体大脑解剖结构的差异进行编码并不容易。任务变得更加困难,特别是当考虑来自脑积水患者的图像数据时,其通常具有大的变形并且与正常受试者显著不同。在这里,我们提出了一种新的策略,硬和软注意力模块来解决脑积水MR图像的分割问题。本文的主要贡献有三个方面:1)硬注意模块采用基于多图谱的方法和VoxelMorph工具生成粗分割图,指导后续的分割过程,提高了分割的鲁棒性; 2)软注意模块引入位置注意,捕捉精确的上下文信息,进一步提高了分割的准确性; 3)通过对脑积水患者的MRI图像进行分割,对脑积水患者的MRI图像进行定量分析,得到了脑积水患者的MRI图像,并对脑积水患者的MRI图像进行了定量分析。所提出的方法实现了更高的鲁棒性和准确性分割所有17个意识相关的ROI与高变化的不同主题。据我们所知,这是第一个采用深度学习来解决脑积水患者大脑分割问题的工作。
2020-01-12 cs.CV eess.IV
OR-UNet: an Optimized Robust Residual U-Net for Instrument Segmentation in Endoscopic Images
German Cancer Research Center (DKFZ)(德国癌症研究中心);University of Heidelberg(海德堡大学)
内窥镜图像的分割是计算机和机器人辅助干预的基本处理步骤。Robust-MIS挑战提供了迄今为止最大的带注释内窥镜图像数据集,包含5983张手动注释图像。在这里,我们描述OR-UNet,我们优化的鲁棒残差2D U-Net用于内窥镜图像分割。顾名思义,网络利用编码器中的剩余连接。它是用骰子和交叉熵损失的总和和深度监督训练的。在训练过程中,广泛的数据增强用于增加鲁棒性。在对训练图像的8倍交叉验证中,我们的模型获得了87.41(94.35)的平均(中位数)Dice得分。我们使用来自交叉验证的八个模型作为测试集上的集合。
2020-04-27 cs.CV eess.IV
TMS-Net: A Segmentation Network Coupled With A Run-time Quality Control Method For Robust Cardiac Image Segmentation
Bursa Technical University(布尔萨技术大学);Imperial College London(伦敦帝国学院)
最近,深度网络在心脏磁共振成像(MRI)图像分割方面表现出令人印象深刻的性能。然而,由于稳健性问题导致临床医生对其结果的信任度较低,因此它们的成就在医疗诊所中的广泛使用过渡缓慢。预测分割掩模的运行时质量对于警告临床医生不良结果可能是有用的。尽管它的重要性,有很少的研究在这个问题上。为了解决这个问题,我们提出了一种质量控制方法的基础上的协议,跨解码器的多视图网络,TMS-Net,测量余弦相似性。该网络采用三个视图输入,这些视图输入是从同一个3D图像沿不同轴重新切片的。与以前的多视图网络不同,TMS-Net有一个编码器和三个解码器,在我们对STACOM 2013和STACOM 2018挑战数据集上左心房分割的实验中,具有更好的噪声鲁棒性,分割性能和运行时质量估计。我们还提出了一种方法,通过使用由工程噪声和Rician噪声生成的噪声图像来模拟训练不足,高各向异性和成像设置差的问题,来生成差的分割掩模。我们的运行时质量估计方法在STACOM 2018上显示出对质量差和质量好的分割掩码的良好分类,AUC达到0.97。我们相信,TMS-Net和我们的运行时质量估计方法具有很高的潜力,以增加临床医生的推力自动图像分析工具。
2022-12-21 cs.CV eess.IV
Uncertainty-Gated Region-Level Retrieval for Robust Semantic Segmentation
本文提出一种不确定性门控区域级检索机制,提升语义分割在域移位下的鲁棒性和精度,实现分割准确率提升11.3%且检索成本降低87.5%。
2025-12-19 cs.AI cs.CV
Non-Local Context Encoder: Robust Biomedical Image Segmentation against Adversarial Attacks
Sun Yat-sen University(中山大学);The University of Hong Kong(香港大学);Deepwise AI Lab(深智云人工智能实验室)
基于深度卷积神经网络(CNN)的生物医学图像分割的研究进展引起了人们的广泛关注。然而,它对对抗性样本的脆弱性不容忽视。本文是第一篇发现所有基于CNN的最先进的生物医学图像分割模型对对抗性扰动敏感的论文。这限制了这些方法在安全关键的生物医学领域的部署。在本文中,我们发现,在生物医学图像的全局空间依赖性和全局上下文信息可以用来抵御对抗攻击。为此,提出了非局部上下文编码器(NLCE)来建模短期和长期的空间依赖性和编码的全局上下文,以加强功能激活通道明智的注意。NLCE模块增强了非局部上下文编码网络(NLCEN)的鲁棒性和准确性,NLCEN使用NLCE模块学习鲁棒的增强金字塔特征表示,然后将不同级别的信息集成在一起。在肺部和皮肤病变分割数据集上的实验表明,NLCEN在对抗对抗攻击方面优于任何其他最先进的生物医学图像分割方法。此外,NLCE模块可以应用于提高其他基于CNN的生物医学图像分割方法的鲁棒性。
2019-04-27 cs.CV eess.IV
Robust Semantic Segmentation with Ladder-DenseNet Models
我们提出了语义分割实验与模型能够进行预测的四个基准数据集:城市景观,ScanNet,WildDash和KITTI。我们在下采样数据路径中采用了一种梯形卷积架构,其特点是修改后的DenseNet-169模型,并且在上采样数据路径的每个阶段中只有一个卷积。由于计算资源有限,我们仅在Cityscapes Fine训练+val、ScanNet训练、WildDash val和KITTI训练上执行训练。我们根据Robust Vision Challenge ROB 2018的指导方针,在四个基准的测试子集上评估训练模型。进行的实验揭示了几个有趣的发现,我们描述和讨论。
2018-06-09 cs.CV cs.LG
Prompt Group-Aware Training for Robust Text-Guided Nuclei Segmentation
Fudan University, Shanghai, China(复旦大学,上海,中国)
本文提出基于提示组的鲁棒文本引导核分割训练方法,通过组内一致性约束和质量引导正则化提升分割鲁棒性和泛化能力。
2026-03-06 cs.AI cs.CV
Online Reflective Learning for Robust Medical Image Segmentation
Shenzhen University(深圳大学);The Chinese University of Hong Kong(香港中文大学);University of Leeds(利兹大学);Shenzhen RayShape Medical Technology Co., Ltd(深圳睿影医疗科技有限公司)
当测试图像呈现不可见的分布时,深度分割模型往往面临失败的风险。提高模型对这些风险的鲁棒性对于深度模型的大规模临床应用至关重要。在这项研究中,受人类学习周期的启发,我们提出了一种新的在线反射学习框架(RefSeg),以提高分割的鲁棒性。基于对动作的反射概念,我们的RefSeg首先驱动深度模型采取动作以获得语义分割。然后,RefSeg触发模型以反映自身。由于让深度模型在测试过程中意识到其分割失败具有挑战性,RefSeg从语义掩码中合成了一个逼真的代理图像,以帮助深度模型构建直观有效的反射。这个代理翻译并强调了分割缺陷。通过最大化原始输入和代理之间的结构相似性,关闭了动作反射循环,提高了分割鲁棒性。RefSeg在测试阶段运行,通常用于分割模型。使用公共心脏MR数据集和两个内部大型超声数据集对三个医学图像分割任务进行的广泛验证表明,我们的RefSeg显着提高了模型的鲁棒性,并报告了强大竞争对手的最先进性能。
2022-07-01 cs.AI cs.CV cs.LG
Towards Robust Part-aware Instance Segmentation for Industrial Bin Picking
Nanjing University of Aeronautics and Astronautics(南京航空航天大学);Huazhong University of Science and Technology(华中科技大学);The Chinese University of Hong Kong(香港中文大学)
工业箱拾取是一项具有挑战性的任务,需要对单个对象实例进行准确和鲁棒的分割。特别地,工业对象可以具有不规则的形状,即,薄且凹的,而在分箱拾取场景中,对象通常紧密地填充有强遮挡。为了解决这些挑战,我们制定了一个新的部分感知的实例分割管道。其核心思想是将工业对象分解为相关的近似凸块,用块级分割增强对象级分割。我们设计了一个零件感知网络来预测零件掩模和零件到零件的偏移量,然后通过一个零件聚合模块将识别的零件组装成实例。为了指导网络学习,我们还提出了一个自动标签解耦方案,从实例级标签生成地面实况部分级标签。最后,我们贡献了第一个实例分割数据集,它包含了各种各样的工业对象,薄,有非平凡的形状。大量的实验结果表明,我们的方法可以达到最好的分割结果相比,国家的最先进的方法。
2022-03-05 cs.AI cs.CV
Robust Semantic Segmentation in Adverse Weather Conditions by means of Fast Video-Sequence Segmentation
Ulm University(乌尔姆大学)
语义分割等计算机视觉任务在良好的天气条件下表现非常好,但如果天气转坏,它们在这些条件下实现这种性能就有问题了。在恶劣天气条件下获得更稳健和可靠结果的一种可能性是使用视频分割方法而不是常用的单图像分割方法。视频分割方法除了捕获当前图像信息之外还捕获先前视频帧的时间信息,因此,它们对干扰更鲁棒,特别是如果它们仅发生在视频序列的几个帧中。然而,视频分割方法,这往往是基于递归神经网络,不能应用于实时应用程序了,因为他们在网络中的递归结构是计算昂贵的。例如,LSTM-ICNet的推理时间,其中在单一分割方法ICNet中将重复单元放置在适当的位置,与基本ICNet相比增加了61%。因此,在这项工作中,LSTM-ICNet通过修改网络的循环单元来加速,以便它再次具有实时能力。在不同数据集和各种天气条件下的实验表明,通过这些修改,推理时间可以减少约23%,而它们的性能与LSTM-ICNet相似,并且在恶劣天气条件下大大优于单分割方法。
2020-07-01 cs.CV cs.LG eess.IV
Robust Semantic Segmentation of Brain Tumor Regions from 3D MRIs
NVIDIA(英伟达)
多模态脑肿瘤分割挑战(BraTS)汇集了研究人员,以改进3D MRI脑肿瘤分割的自动化方法。肿瘤分割是疾病诊断和治疗计划所必需的基本视觉任务之一。前几年的获奖方法都是基于深度学习的,这要归功于现代GPU的出现,它允许快速优化深度卷积神经网络架构。在这项工作中,我们探索了3D语义分割的最佳实践,包括传统的编码器-解码器架构,以及组合损失函数,试图进一步提高分割精度。我们在BraTS 2019挑战赛上评估了该方法。
2020-01-06 cs.CV cs.LG eess.IV
Learning from imperfect training data using a robust loss function: application to brain image segmentation
University of Southern California(南加州大学)
分割是MRI医学图像分析中最重要的任务之一,在许多临床应用中往往是第一步也是最关键的一步。在脑MRI分析中,头部分割通常用于测量和可视化大脑的解剖结构,也是其他应用(如脑电图和脑磁图(EEG/MEG)中的电流源重建)的必要步骤。在这里,我们提出了一个深度学习框架,可以只使用T1加权MRI作为输入来分割大脑,头骨和颅外组织。此外,我们描述了一种鲁棒的方法,用于在存在噪声标签的情况下训练模型。
2022-08-08 cs.CV cs.LG eess.IV
Robust Semantic Segmentation with Superpixel-Mix
U2IS ENSTA Paris(巴黎高等先进技术学院 U2IS);Institut Polytechnique de Paris(巴黎理工学院);Safrantech, Safran Group(赛峰集团 Safrantech);University of Siegen(锡根大学);National University of Singapore(新加坡国立大学)
除了预测性能和运行时速度之外,可靠性也是现实世界语义分割的关键要求。可靠性包括稳健性、预测不确定性和减少偏倚。为了提高可靠性,我们引入了Superpixel-mix,一种新的基于超像素的数据增强方法,具有师生一致性训练。与其他基于混合的增强技术不同,在图像之间混合超像素可以感知对象边界,同时在分割精度方面获得一致的增益。我们提出的技术在Cityscapes数据集上实现了半监督语义分割的最新结果。此外,Superpixel-mix通过减少网络的不确定性和偏差来提高语义分割的可靠性,这一点在强分布变化(恶劣天气,图像损坏)和面对分布外数据时的竞争结果中得到了证实。
2021-10-21 cs.AI cs.CV stat.ML
Trust, but Verify: Robust Image Segmentation using Deep Learning
University of Iowa(爱荷华大学)
提出一种基于“信任,但需验证”框架的医学图像分割验证方法,利用辅助网络检测不良分割,并设计避免假阴性的验证网络,以增强对对抗性攻击的鲁棒性。
2023-12-19 cs.CV cs.LG eess.IV
Robust Vision Challenge 2020 -- 1st Place Report for Panoptic Segmentation
University of Freiburg(弗赖堡大学)
在本技术报告中,我们介绍了我们获奖的全景分割架构EffPS_b1bs4_RVC的关键细节。我们的网络是我们最先进的EfficientPS架构的轻量级版本,它由我们提出的共享骨干网组成,以修改后的EfficientNet-B5模型作为编码器,然后是双向FPN,以学习语义丰富的多尺度特征。它由两个特定于任务的头组成,一个是修改后的Mask R-CNN实例头,另一个是我们的新型语义分割头,它使用专门的模块处理不同尺度的特征,以进行连贯的特征细化。最后,我们提出的全景融合模块自适应地融合来自每个头部的logits,以产生全景分割输出。Robust Vision Challenge 2020基准测试结果显示,我们的模型在Microsoft COCO,VIPER和WildDash上排名第一,在Cityscapes和Mapillary Vistas上排名第二,从而实现了全景分割任务的整体排名第一。
2020-08-23 cs.CV cs.LG cs.RO
Segment and Complete: Defending Object Detectors against Adversarial Patch Attacks with Robust Patch Detection
Johns Hopkins University(约翰斯·霍普金斯大学);University of Maryland, College Park(马里兰大学帕克分校)
目标检测在许多安全关键系统中起着关键作用。对抗性补丁攻击在物理世界中很容易实现,对最先进的对象检测器构成严重威胁。为对象检测器开发针对补丁攻击的可靠防御是至关重要的,但严重缺乏研究。在本文中,我们提出了分段和完全防御(SAC),一个通用的框架,通过检测和删除敌对补丁,保护对象检测器免受补丁攻击。我们首先训练一个补丁分割器,输出补丁掩模,提供像素级定位的对抗补丁。然后,我们提出了一种自对抗训练算法来增强补丁分割器的鲁棒性。此外,我们设计了一个强大的形状完成算法,这是保证从图像中删除整个补丁,如果补丁分割器的输出在一定的汉明距离的地面真理补丁掩模。我们在COCO和xView数据集上的实验表明,SAC即使在强自适应攻击下也具有出色的鲁棒性,并且在干净图像上的性能没有降低,并且可以很好地推广到看不见的补丁形状,攻击预算和看不见的攻击方法。此外,我们提出了APRICOT-Mask数据集,它通过对抗补丁的像素级注释来增强APRICOT数据集。我们表明SAC可以显着降低物理补丁攻击的目标攻击成功率。我们的代码可在https://github.com/joellliu/SegmentAndComplete上获得。
2022-05-02 cs.CR cs.CV eess.IV
MedCondDiff: Lightweight, Robust, Semantically Guided Diffusion for Medical Image Segmentation
MedCondDiff通过语义引导的扩散模型实现高效、稳健的多器官医学图像分割,适用于多种成像模态和解剖区域。
2025-11-29 cs.AI cs.CV cs.LG
DeepLSD: Line Segment Detection and Refinement with Deep Image Gradients
ETH Zurich(苏黎世联邦理工学院);Lund University(隆德大学);University of Amsterdam(阿姆斯特丹大学);Microsoft Mixed Reality and AI Zurich Lab(微软苏黎世混合现实与人工智能实验室)
线段在我们的人造世界中无处不在,并且越来越多地用于视觉任务。由于它们的空间范围和它们提供的结构信息,它们是特征点的补充。传统的基于图像梯度的直线检测器速度快、精度高,但在噪声图像和复杂环境中缺乏鲁棒性。他们的学习对手更可重复,可以处理具有挑战性的图像,但代价是精度较低,偏向于线框线。我们建议将传统方法和学习方法结合起来,以两全其美:一个准确而强大的线检测器,可以在没有地面实况线的情况下在野外训练。我们的新线段检测器DeepLSD使用深度网络处理图像以生成线吸引场,然后将其转换为代理图像梯度幅度和角度,然后将其馈送到任何现有的手工线检测器。此外,我们提出了一个新的优化工具,以改善线段的吸引力场和消失点的基础上。这种改进大大提高了当前深度探测器的准确性。我们展示了我们的方法在低级别线检测指标上的性能,以及使用多个具有挑战性的数据集在几个下游任务上的性能。源代码和模型可以在https://github.com/cvg/DeepLSD上找到。
2023-03-28 cs.CV
Robust Curve Detection in Volumetric Medical Imaging via Attraction Field
IRA-Labs Ltd(IRA-Labs有限公司);Kharkevich Institute for Information Transmission Problems(哈尔科维奇信息传输问题研究所);Lomonosov Moscow State University(莫斯科罗蒙诺索夫国立大学);AUMI AI Limited(AUMI人工智能有限公司)
针对传统医学影像曲线检测方法任务特定、适用性受限的问题,提出基于吸引场和贴近度图的无分支曲线检测新方法,无需先验知识即可实现亚像素精度,性能优于现有方法,并公开主动脉标注数据集以推动领域研究。
2024-08-14 cs.CV
Holistically-Attracted Wireframe Parsing
Wuhan University(武汉大学);NC State University(北卡罗来纳州立大学);University of Oxford(牛津大学)
本文提出了一种快速和简约的解析方法,准确和鲁棒地检测输入图像中的矢量线框与一个单一的向前通过。所提出的方法是端到端可训练的,由三个部分组成:(i)线段和接头提议生成,(ii)线段和接头匹配,以及(iii)线段和接头验证。对于计算线段的建议,提出了一种新的精确的对偶表示,它利用了一个简约的几何reparameterization线段,并形成一个整体的输入图像的4维吸引场地图。在引力场中,结可以看作是“盆”。因此,所提出的方法被称为整体属性线框解析器(HAWP)。在实验中,所提出的方法进行了测试的两个基准,线框数据集,和YorkUrban数据集。在这两个基准测试中,它在准确性和效率方面都获得了最先进的性能。例如,在Wireframe数据集上,与之前最先进的方法L-CNN相比,它大幅提高了具有挑战性的平均结构平均精度(msAP)($2.8\%$绝对改进),并在单个GPU上实现了29.5 FPS($89\%$相对改进)。进行了系统的消融研究,以进一步证明所提出的方法。
2020-03-03 cs.CV
NEAT: Distilling 3D Wireframes from Neural Attraction Fields
Ant Group(蚂蚁集团);Wuhan University(武汉大学);Zhejiang University(浙江大学);Google Inc.(谷歌公司);NC State University(北卡罗来纳州立大学)
本文提出NEAT,通过神经场和二分匹配从2D观测中联合蒸馏3D线段与全局连接点,在DTU和BlendedMVS上实现优于现有方法的3D线框重建,并能以少约20倍初始点提升3D Gaussian Splatting初始化。
2024-04-03 cs.CV cs.GR
Team Samsung-RAL: Technical Report for 2024 RoboDrive Challenge-Robust Map Segmentation Track
Samsung R&D Institute China–Beijing(三星中国研发研究院(北京));The University of Sydney(悉尼大学)
本报告针对2024年RoboDrive挑战赛鲁棒地图分割赛道,探索了时间融合、骨干网络选择和数据增强等方法,发现它们能有效提升地图分割模型在恶劣条件下的鲁棒性。
2024-07-17 cs.CV
Towards Robust Lung Segmentation in Chest Radiographs with Deep Learning
Georgia State University(佐治亚州立大学)
肺部的自动分割在胸部X射线(CXR)图像的计算机辅助诊断中起着至关重要的作用。开发一个有效的肺分割模型是具有挑战性的,因为困难,如在胸腔和锁骨的几个边缘的存在,不同的人之间的不一致的肺形状,肺尖的外观。在本文中,我们提出了一个强大的模型,肺部分割胸片。我们的模型学习忽略输入胸部X光片中的不相关区域,同时突出显示对肺部分割有用的区域。在两个公共胸部X射线数据集(美国马里兰州蒙哥马利县和中国深圳市第三人民医院)上对所提出的模型进行了评估。DICE评分为98.6%的实验结果表明,我们提出的肺分割方法的鲁棒性。
2018-11-30 cs.CV
TGGLines: A Robust Topological Graph Guided Line Segment Detector for Low Quality Binary Images
University of Dayton(代顿大学);Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室);Montana State University(蒙大拿州立大学);University of New Mexico(新墨西哥大学)
线段检测是计算机视觉和图像分析中的一项重要任务,因为它是自动驾驶的形状建模和道路车道线检测等高级任务的关键基础。我们提出了一个强大的拓扑图引导的方法在低质量的二值图像(因此,我们称之为TGGLines)的线段检测。由于图形引导的方法,TGGLines不仅检测线段,而且还用线段连接图组织线段,这意味着拓扑关系(例如,捕获并存储检测到的线段的一个或多个线段(例如,交点、隔离线段);而其他线检测器仅保留松散线段的集合。我们的实证结果表明,TGGLines检测器在视觉上和定量上优于最先进的线段检测方法。此外,我们的TGGLines方法具有以下两个竞争优势:(1)我们的方法只需要一个参数,它是自适应的,而几乎所有其他线段检测方法都需要多个(非自适应)参数,(2)TGGLines检测到的线段由线段连接图组织。
2020-02-27 cs.CV
Connectivity-Enforcing Hough Transform for the Robust Extraction of Line Segments
Institute for Systems and Robotics(系统与机器人研究所);Instituto Superior Técnico(高等技术学院)
基于Hough变换(HT)的全局投票算法被广泛应用于图像中的直线检测。然而,由于投票不考虑线连接,这些方法不能很好地处理杂乱的图像。相反,所谓的本地方法强制连接,但缺乏鲁棒性来处理在许多现实场景中发生的具有挑战性的情况,例如,当线段交叉或长线段损坏时。在本文中,我们解决的关键限制HT作为一个线段提取器,将连接在投票过程中。这是通过仅考虑位于越来越大的邻域中的边缘点的贡献来完成的,并且边缘点的位置和方向内容与潜在的线段一致。其结果是,我们的方法,我们称之为直(段extRAction由connectivity-enforcInG HT),提取最长的连接段在每个位置的图像,从而也集成到HT投票过程中通常单独的步骤,个别段提取。霍夫空间映射和相应的分层实现的使用,使我们的方法计算上可行。我们提出的实验,说明,与合成和真实的图像,如何直成功地提取完整的部分在几种情况下,目前的方法失败。
2011-09-16 cs.CV
Level-line Guided Edge Drawing for Robust Line Segment Detection
University of Electronic Science and Technology of China(电子科技大学);Sichuan University(四川大学)
本文提出水平线引导的边缘绘制方法GEDRLSD,利用水平线信息指导边缘跟踪与线段拟合,提升线段检测的鲁棒性,实验优于现有方法。
2023-05-10 cs.CV