Detecting the unknown in Object Detection
Politecnico di Torino（都灵理工大学）；Italian Institute of Technology（意大利理工学院）
由于新型神经网络架构的设计和大规模数据集的可用性，目标检测方法在过去几年中已经取得了令人印象深刻的改进。然而，目前的方法有一个很大的局限性：它们只能检测在训练期间观察到的类，这些类只是检测器在现实世界中可能遇到的所有类的子集。此外，在训练时通常不考虑未知类的存在，导致方法甚至不能检测到图像中存在未知对象。在这项工作中，我们解决的问题，检测未知的对象，称为开集目标检测。我们提出了一种新的训练策略，称为UNKAD，能够预测未知对象，而不需要任何注释，利用已经存在于训练图像背景中的未注释对象。特别是，UNKAD利用Faster R-CNN的四步训练策略，首先识别和伪标记未知对象，然后使用伪注释来训练额外的未知类。虽然UNKAD可以直接检测未知对象，但我们进一步将其与以前的未知检测技术相结合，表明它可以不计成本地提高其性能。
2022-08-24 cs.CV
PixelLink: Detecting Scene Text via Instance Segmentation
Zhejiang University（浙江大学）；CVTE Research（CVTE研究院）；Xi’an Institute of Optics and Precision Mechanics, Chinese Academy of Sciences（中国科学院西安光学精密机械研究所）；Alibaba-Zhejiang University Joint Institute of Frontier Technologies（阿里巴巴-浙江大学前沿技术联合研究院）
大多数最先进的场景文本检测算法是基于深度学习的方法，其依赖于限界框回归并执行至少两种预测：文本/非文本分类和位置回归。在这些方法中，回归在边界框的获取中起着关键作用，但它不是必不可少的，因为文本/非文本预测也可以被认为是一种本身包含完整位置信息的语义分割。然而，场景图像中的文本实例通常彼此非常接近，使得它们很难通过语义分割分离。因此，需要实例分割来解决这个问题。提出了一种基于实例分割的场景文本检测算法PixelLink。文本实例首先通过将同一实例中的像素链接在一起来分割。然后直接从分割结果中提取文本边界框，而无需位置回归。实验表明，与基于回归的方法相比，PixelLink在多个基准测试中可以获得更好或相当的性能，同时需要更少的训练迭代次数和更少的训练数据。
2018-01-04 cs.CV
Deep Tiered Image Segmentation For Detecting Internal Ice Layers in Radar Imagery
Indiana University（印第安纳大学）；University of Kansas（堪萨斯大学）；University of Colorado（科罗拉多大学）
了解地球极地冰盖的结构对于模拟全球变暖将如何影响极地冰层以及地球气候非常重要。探地雷达能够收集冰雪内部结构的观测结果，但手动标记这些观测结果的过程缓慢而费力。最近的工作已经开发出了寻找冰和基岩之间边界的自动技术，但是寻找内部层-指示一年冰积累结束和下一年开始的微妙边界-更具挑战性，因为层的数量不同，边界经常合并和分裂。在本文中，我们提出了一种新的深度神经网络解决一般类分层分割问题。然后，我们将其应用于检测极地冰中的内部层，对极地冰雷达数据的大规模数据集进行评估，并将人类标记的注释作为地面实况。
2021-04-06 cs.CV
Learning to decompose for object detection and instance segmentation
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
尽管深度卷积神经网络（CNN）在目标检测和分割方面取得了显著的成果，但仍需要区域建议和非最大值抑制（NMS）等预处理和后处理步骤。这些步骤导致高的计算复杂性和对超参数（例如NMS的阈值）的敏感性。在这项工作中，我们提出了一种新型的端到端可训练深度神经网络架构，该架构由卷积层和递归层组成，可以在给定图像的情况下生成正确数量的对象实例及其边界框（或分割掩码），仅使用单个网络评估，而无需任何预处理或后处理步骤。我们已经测试了使用MNIST合成的多位图像中的数字检测，自动分割这些图像中的数字，并在KITTI基准数据集中检测汽车。该方法在合成数字数据集上的性能优于强CNN基线，并在KITTI汽车检测上显示出有希望的结果。
2016-05-11 cs.CV cs.LG
Detecting Unknown Objects via Energy-based Separation for Open World Object Detection
Korea University, South Korea（韩国大学）；Seoul National University, South Korea（首尔国立大学）
提出DEUS框架，通过等角紧框架子空间未知分离和基于能量的已知区分损失，解决开放世界目标检测中未知物体检测和类别遗忘问题。
2026-05-28 cs.CV
Segmenting Known Objects and Unseen Unknowns without Prior Knowledge
Technical University of Munich（慕尼黑工业大学）；BMW Group（宝马集团）；Google（谷歌）
本文提出整体分割新设定，并用 U3HS 基于不确定性和实例感知嵌入聚类，在无未知类别先验或训练样本时同时分割已知物与未知实例。
2023-08-18 cs.CV cs.LG cs.RO
Detecting Anomalies in Semantic Segmentation with Prototypes
Politecnico di Torino（都灵理工大学）；Italian Institute of Technology（意大利理工学院）；University of Tübingen（图宾根大学）
传统的语义分割方法在测试时只能识别训练集中存在的类。这是一个显著的限制，特别是对于安装在智能自主系统上的、部署在现实环境中的语义分割算法。无论系统在训练时看到了多少类，在测试时都不可避免地会出现意想不到的未知对象。识别这种异常的失败可能导致配备有这种分割模型的自主智能体在部署在现实世界中时的不正确的、甚至危险的行为。目前的异常分割技术使用生成模型，利用它们无法重建训练期间看不到的模式。然而，训练这些模型是昂贵的，并且它们生成的工件可能会产生虚假的异常。在本文中，我们采取了不同的路线，我们建议通过原型学习来解决异常分割问题。我们的直觉是，异常像素是那些与模型已知的所有类原型不相似的像素。我们提取类原型的训练数据在一个轻量级的方式使用余弦相似性为基础的分类。StreetHazards上的实验表明，我们的方法实现了新的艺术状态，与以前的作品有显着的利润率，尽管减少了计算开销。代码可在https://github.com/DarioFontanel/PAnS上获得。
2021-06-01 cs.CV
Language-Guided Open-World Anomaly Segmentation
Technical University of Munich（慕尼黑技术大学）；BMW Group（宝马集团）
基于CLIP的开放世界异常分割方法，通过零样本学习实现未知物体的分割与命名，提升自动驾驶中的异常检测能力。
2025-12-01 cs.CV
Detecting Deepfake-Forged Contents with Separable Convolutional Neural Network and Image Segmentation
National Chung Hsing University（中兴大学）；Yango University（阳光学院）
人工智能技术的最新进展使数字图像和视频的伪造变得更加容易，识别这种伪造变得更加困难。这些言论如果恶意传播，可能对社会和政治稳定产生负面影响，并构成重大的道德和法律挑战。Deepfake是自动编码器的一种变体，它使用深度学习技术来识别和交换图片或电影中的人脸图像。Deepfake可能导致公众对数字图像和视频的信任受到侵蚀，这对政治和社会稳定产生深远影响。因此，这项研究提出了一种面部伪造检测的解决方案，以确定图片或电影是否曾经被Deepfake处理过。所提出的解决方案通过使用最近提出的可分离卷积神经网络（CNN）和图像分割来达到检测效率。此外，本研究还研究了不同的图像分割方法如何影响检测结果。最后，集成模型用于提高检测能力。实验结果表明，该方案具有良好的性能.
2019-12-21 cs.CV
DetectFusion: Detecting and Segmenting Both Known and Unknown Dynamic Objects in Real-time SLAM
Keio University（庆应义塾大学）；Graz University of Technology（格拉茨工业大学）；VRVis Research Center（VRVis研究中心）
我们提出了DetectFusion，一个RGB-D SLAM系统，该系统实时的【形】运行，可以鲁棒地处理语义已知和未知的对象，可以动态地在场景中移动。我们的系统检测，分割和分配语义类标签的场景中的已知对象，同时跟踪和重建它们，即使它们在单目摄像机前独立移动。与相关工作相比，本文提出了一种结合二维目标检测和三维几何分割的新方法，实现了语义实例分割的实时的【形】计算性能。此外，我们提出了一种方法来检测和分割的语义未知的对象的运动，从而进一步提高相机跟踪和地图重建的准确性。我们表明，我们的方法在定位和对象重建精度方面与以前的工作相当或更好，即使在每帧中分割对象，也能达到约20 FPS。
2019-07-22 cs.CV
Unknown Object Segmentation from Stereo Images
Institute of Robotics and Mechatronics, German Aerospace Center (DLR)（德国航空航天中心机器人与机电一体化研究所）；Department of Computer Science, Technical University of Munich (TUM)（慕尼黑工业大学计算机科学系）
虽然实例感知感知是许多自主机器人应用的关键先决条件，但大多数方法仅通过关注已知对象类别来部分解决问题。然而，对于在动态和杂乱环境中交互的机器人来说，这是不现实的，并且严重限制了潜在应用的范围。因此，我们提出了一种新的对象实例分割方法，不需要任何语义或几何信息的对象事先。与现有的作品相比，我们没有明确地使用深度数据作为输入，而是依赖于这样的洞察力，即轻微的视点变化，例如由立体图像对提供的视点变化，通常足以确定对象边界，从而分割对象。专注于立体传感器的多功能性，我们采用了基于变换器的架构，直接从输入图像对映射到对象实例。这具有的主要优点是，我们使用原始图像对来推断对象实例和密集深度图，而不是将噪声和潜在不完整的深度图作为计算分割的输入。在几个不同的应用领域的实验中，我们表明，我们的实例立体声Transformer（ARMR）算法优于目前最先进的方法，是基于深度图。将提供训练代码和预训练模型。
2021-03-11 cs.CV cs.LG
KRADA: Known-region-aware Domain Alignment for Open-set Domain Adaptation in Semantic Segmentation
Hong Kong Baptist University（香港浸会大学）；The University of Melbourne（墨尔本大学）；Nanjing University of Science and Technology（南京理工大学）；Northeastern University（东北大学）；The University of Sydney（悉尼大学）
在语义分割中，我们的目标是训练一个像素级分类器，为图像中的所有像素分配类别标签，其中标记的训练图像和未标记的测试图像来自相同的分布，并共享相同的标签集。然而，在一个开放的世界中，未标记的测试图像可能包含未知的类别，并有不同的分布从标记的图像。因此，在本文中，我们考虑一个新的，更现实的，更具有挑战性的问题设置，像素级分类器必须用标记图像和未标记的开放世界图像进行训练-我们将其命名为开集域自适应分割（OSDAS）。在OSDAS中，训练好的分类器被期望能够识别未知类像素并很好地分类已知类像素。为了解决OSDAS，我们首先调查未知类像素服从哪个分布。然后，出于拟合优度测试的动机，我们使用统计测量来显示像素如何拟合未知类的分布，并选择高度拟合的像素来形成每个测试图像中的未知区域。最后，我们提出了一个端到端的学习框架，已知区域感知域对齐（KRADA），区分未知类，同时对齐已知类在标记和未标记的开放世界图像中的分布。KRADA的有效性已在两个合成任务和一个COVID-19分割任务上得到验证。
2023-02-19 cs.CV cs.LG eess.IV
High-Quality Unknown Object Instance Segmentation via Quadruple Boundary Error Refinement
Korea Institute of Machinery & Materials (KIMM)（韩国机械与材料研究院）；Gwangju Institute of Science and Technology (GIST)（光州科学技术院）；Hyundai Motor Company（现代汽车公司）
针对未知物体实例分割中的过/欠分割问题，提出QuBER方法，通过估计四重边界误差并利用误差引导融合细化分割，在三个基准上超越现有方法，推理时间小于0.1秒，并提升抓取成功率。
2025-02-27 cs.CV cs.RO
SDOD:Real-time Segmenting and Detecting 3D Object by Depth
Shandong University（山东大学）；City Public Passenger Transport Management Service Center of Jinan（济南市城市公共客运管理服务中心）
现有的实例分割方法大多只关注于提高性能，并不适用于自动驾驶等实时的【形】场景。提出了一种实时的【形】三维物体深度分割和检测框架。该框架由两个并行分支组成：一个用于实例分割，另一个用于目标检测。我们将对象的深度离散为深度类别，并将实例分割任务转换为像素级分类任务。Mask分支预测像素级深度类别，3D分支指示实例级深度类别。我们通过将具有相同深度类别的像素分配给每个实例来产生实例掩码。此外，为了解决KITTI数据集中掩码标签和3D标签之间的不平衡，我们引入了由自动标注模型生成的粗糙掩码来增加样本。在具有挑战性的KITTI数据集上的实验表明，我们的方法在分割和3D检测的速度上比LklNet快1.8倍。
2020-10-24 cs.CV
ContourRender: Detecting Arbitrary Contour Shape For Instance Segmentation In One Pass
Shanghai Jiao Tong University（上海交通大学）
用于实例分割的直接轮廓回归是一项具有挑战性的任务。以前的作品通常通过学习逐步完善轮廓预测或采用有限的表现力的形状表示来实现它。在这项工作中，我们认为，在回归的轮廓点在一个通行证的困难，主要是由于模糊性时，离散成一个多边形的光滑轮廓。为了解决这一问题，我们提出了一种新的基于可微渲染的方法，命名为\textbf{ContourRender}。在训练过程中，它首先预测由可逆形状签名生成的轮廓，然后通过将其转换为轮廓网格并将网格渲染为2D地图来优化具有更稳定轮廓的轮廓。该方法无需迭代或级联细化，显著提高了轮廓的质量。此外，由于在推理过程中不需要优化，因此不会影响推理速度。实验结果表明，本文提出的ContourRender算法在COCO平台上的性能优于所有基于轮廓的实例分割方法，同时在Cityscapes平台上与基于迭代的最新技术保持竞争力。此外，我们专门从COCO val 2017中选择了一个名为COCO ContourHard-val的子集，以进一步证明轮廓质量的改进。将发布代码、模型和数据集分割。
2021-06-07 cs.CV
Detecting Adversarial Attacks in Semantic Segmentation via Uncertainty Estimation: A Deep Analysis
Technical University of Berlin（柏林技术大学）；Ruhr University Bochum（博德姆鲁尔大学）
本文提出基于不确定性估计的语义分割中对抗攻击检测方法，通过分析输出分布熵差异实现区分，验证了其轻量且无需模型修改的特性。
2024-08-19 cs.CR cs.CV
A Novel Decomposed Feature-Oriented Framework for Open-Set Semantic Segmentation on LiDAR Data
College of Intelligence Science and Technology, National University of Defense Technology（国防科技大学智能科学学院）；Hunan University（湖南大学）
针对 LiDAR 语义分割难以识别未知类别的问题，提出分解式双解码器与异常检测结合的特征驱动开集框架，并在 SemanticKITTI、nuScenes 上显著优于现有方法。
2025-03-14 cs.CV
Detecting and refurbishing ground truth errors during training of deep learning-based echocardiography segmentation models
School of Biomedical Engineering and Imaging Sciences（生物医学工程与影像科学学院）；King's College London（伦敦国王学院）
本文研究了深度学习在心脏超声分割中对真实标签错误的鲁棒性，提出基于梯度方差的错误检测与修复方法，实验显示该方法在高误差条件下提升了模型性能。
2026-04-14 cs.AI cs.CV
Open-Set LiDAR Panoptic Segmentation Guided by Uncertainty-Aware Learning
Department of Computer Science, University of Freiburg（弗赖堡大学计算机科学系）；Bosch Research, Robert Bosch GmbH（博世研究）
针对自动驾驶场景下闭集激光雷达全景分割模型无法检测未知物体的问题，提出基于狄利克雷证据学习的不确定性引导开集分割框架ULOPS，通过三类不确定性损失增强已知/未知区分能力，在KITTI-360和nuScenes上取得优于现有方法的表现。
2025-09-02 cs.AI cs.CV cs.LG
In defense of the two-stage framework for open-set domain adaptive semantic segmentation
Shanghai Xiaoyuan Innovation Center（上海小元创新中心）；University of Trento（特伦托大学）；Key Laboratory of Advanced Control and Optimization for Chemical Processes（化学过程先进控制与优化重点实验室）；East China University of Science and Technology（东华大学）；School of Computer Science and Information Engineering（计算机科学与信息工程学院）
本文提出SATS策略，通过两阶段方法解决开放集领域自适应语义分割问题，提升对未知类别的识别能力。
2026-01-04 cs.CV
3D Indoor Instance Segmentation in an Open-World
Mohamed Bin Zayed University of Artificial Intelligence (MBZUAI)（穆罕默德·本·扎耶德人工智能大学（MBZUAI））；Aalto University（阿尔托大学）；Australian National University（澳大利亚国立大学）；Linköping University（林雪平大学）
本文首次研究开放世界3D室内实例分割，通过自动伪标签、已知/未知类别分离及基于对象性分布的概率调整，实现未知识别与后续增量学习。
2023-09-25 cs.CV
Efficacy of Pixel-Level OOD Detection for Semantic Segmentation
University of Waterloo（滑铁卢大学）
在图像分类中，分布外样本的检测一直是研究的热点。自动驾驶等安全关键应用将受益于定位导致图像无法分发的不寻常物体的能力。本文采用国家的最先进的方法检测出的分布图像的图像分类的新任务，检测出的分布像素，它可以定位不寻常的对象。它进一步实验比较了两个新的数据集，从现有的语义分割数据集使用PSPNet和DeeplabV3+架构，以及提出了一个新的指标的任务。评估结果表明，性能排名的比较方法并没有转移到新的任务，每一种方法的表现显着不如他们的图像级同行。
2019-11-07 cs.CV cs.LG eess.IV
Dual Decision Improves Open-Set Panoptic Segmentation
The University of Adelaide（阿德莱德大学）；Zhejiang University（浙江大学）
开集全景分割（OPS）问题是一个新的研究方向，旨在对\known类和\unknown类都进行分割，即，在训练集中从未被注释的对象（“事物”）。OPS的主要挑战是双重的：（1）\unknown对象外观的无限可能性使得难以从有限数量的训练数据对它们进行建模。(2)在训练时，我们只提供“void”类别，它基本上混合了“未知事物”和“背景”类。我们的经验发现，直接使用“无效”类别监督\known类或“背景”分类器，而不进行筛选，将导致不满意的OPS结果。在本文中，我们提出了一个分而治之的计划，发展一个双重决策过程的OPS。我们表明，通过适当地结合一个\known类预测与一个额外的类无关的对象预测头，OPS的性能可以显着提高。具体来说，我们首先建议创建一个只有\known类别的分类器，让“空”类提案从这些类别实现低预测概率。然后，我们区分“未知的东西”从背景中使用的额外的对象预测头。为了进一步提高性能，我们引入了从最新模型生成的“未知事物”伪标签来丰富训练集。我们广泛的实验评估表明，我们的方法显着提高了\unknown类panoptic质量，超过30%的相对改善比现有的最佳性能的方法。
2022-08-03 cs.CV
A Dataset for Semantic Segmentation in the Presence of Unknowns
Czech Technical University in Prague（布拉格捷克技术大学）；University of Zagreb（萨格勒布大学）；Aalto University（阿尔托大学）；IIIT Hyderabad（印度海得拉巴印度信息技术学院）；University of Oulu（奥卢大学）
提出异常分割数据集ISSU，规模为现有数据集两倍，支持闭集与开集评估，涵盖多种条件，评估显示域泛化及大小物体分割需改进。
2025-03-28 cs.CV
PDF: A Probability-Driven Framework for Open World 3D Point Cloud Semantic Segmentation
Huazhong University of Science and Technology（华中科技大学）
针对点云语义分割网络无法识别未知类并更新知识的问题，提出概率驱动框架PDF，通过轻量级U-decoder识别未知类、灵活伪标签方案提供特征及增量知识蒸馏策略学习新类，在S3DIS和ScanNetv2上大幅优于其他方法。
2024-07-23 cs.CV
Stan: Small tumor-aware network for breast ultrasound image segmentation
University of Idaho（爱达荷大学）
乳腺肿瘤分割提供了准确的肿瘤边界，并作为进一步癌症量化的关键步骤。尽管已经提出了基于深度学习的方法并取得了可喜的成果，但现有方法在检测小乳腺肿瘤方面存在困难。检测小肿瘤的能力在使用计算机辅助诊断（CAD）系统发现早期癌症方面尤为重要。在本文中，我们提出了一种新的深度学习架构，称为小肿瘤感知网络（STAN），以提高分割不同大小肿瘤的性能。新架构集成了丰富的上下文信息和高分辨率图像功能。我们验证了所提出的方法，使用七个定量指标对两个公共乳腺超声数据集。所提出的方法优于国家的最先进的方法分割小乳腺肿瘤。指数
2020-02-03 cs.CV cs.LG eess.IV
Bayesian Semantic Instance Segmentation in Open Set World
The University of Adelaide（阿德莱德大学）
本文讨论了语义实例分割任务中的开集条件下，输入图像可以包含已知和未知的对象类。现有的语义实例分割方法的训练过程需要对所有对象实例进行注释掩码，这在某些类别数量可能无限增加的现实场景中获取成本很高甚至是不可行的。在本文中，我们提出了一种新的开集语义实例分割的方法，能够分割图像中的所有已知和未知的对象类，根据已知对象类训练的对象检测器的输出。我们制定的问题使用贝叶斯框架，后验分布近似与模拟退火优化配备了一个有效的图像分区采样器。我们的经验表明，我们的方法是有竞争力的国家的最先进的监督方法对已知的类，但也表现良好的未知类相比，无监督的方法。
2018-07-30 cs.CV
Temporal Fusion Based Mutli-scale Semantic Segmentation for Detecting Concealed Baggage Threats
Khalifa University of Science and Technology（哈利法科学技术大学）
检测行李中的非法和威胁物品是当今最重要的安全问题之一。即使对于经验丰富的安全人员来说，手动检测也是一项耗时且压力大的任务。许多学者已经创建了自动化框架，用于从行李的X射线扫描中检测可疑和违禁品数据。然而，据我们所知，没有框架存在，利用时间行李X射线图像，以有效地屏幕高度隐藏和遮挡的对象，几乎是肉眼可见的。为了解决这个问题，我们提出了一种新型的时间融合驱动的多尺度残差式编码器-解码器，它以一系列连续扫描作为输入，并将它们融合以生成可疑和非可疑行李内容的不同特征表示，从而实现更准确的提取违禁品数据。所提出的方法已经使用公开访问的GDXray数据集进行了彻底的测试，GDXray数据集是唯一包含时间关联的灰度X射线扫描的数据集，展示了极其隐蔽的违禁品数据。所提出的框架在GDXray数据集的各种指标上优于其竞争对手。
2021-11-07 cs.CV eess.IV
Semantic Segmentation Alternative Technique: Segmentation Domain Generation
University of Bucharest（布加勒斯特大学）；ETH Zürich（苏黎世联邦理工学院）
在图像中检测感兴趣的对象一直是一项强制性的自动化任务。近年来，越来越多地使用深度学习技术来探索这项任务，主要是使用基于区域的卷积网络。在这个项目中，我们提出了一种替代的语义分割技术，利用生成对抗网络。我们认为语义分割是一个域转移问题。因此，我们训练前馈网络（FFNN）接收作为输入的种子真实图像，并生成作为输出的分割掩模。
2021-07-06 cs.CV cs.LG eess.IV
Context aware saliency map generation using semantic segmentation
Isfahan University of Technology（伊斯法罕理工大学）
显著图检测作为检测图像的重要区域的方法，被用于诸如图像分类和识别的许多应用中。我们建议，上下文检测可以在图像显著性检测中发挥重要作用。这需要提取高级特征。本文提出了一种基于图像上下文检测的显著图，该显著图使用语义分割作为高级特征。将基于语义信息的显著性图与基于颜色和对比度的显著性图进行融合。然后生成最终的显著图。对Pascal-voc 11图像数据集的仿真结果表明，上下文检测的准确率为99%。此外，我们所提出的方法产生的最终显着图显示了可接受的结果，在检测显着点。
2018-01-03 cs.CV
RethNet: Object-by-Object Learning for Detecting Facial Skin Problems
lululab Inc（露露实验室公司）
语义分割是计算机视觉领域的一个热点问题，语义分割方法的成功解决了目标检测和识别中最具挑战性的任务。我们提出了一个逐对象学习技术的概念，使用语义分割方法检测11种面部皮肤病变。由于视觉数据的外观模糊，在密集组中检测单个皮肤病变是一项具有挑战性的任务。我们观察到对象类之间存在共现的视觉关系（例如，皱纹和老年斑，或丘疹和白头等）。事实上，丰富的上下文信息对处理这个问题有很大帮助。因此，我们提出了由本地构造的convLSTM/Conv 3D层和SE模块组成的REthinker块作为一次性注意力机制，其责任是增加网络在本地和全局上下文表示中的敏感性，支持捕获模糊出现的对象和对象类之间的共现交互。实验表明，我们提出的模型在测试准备好的数据集时达到了79.46%的MIoU，比Deeplab v3+提高了15.34%（MIoU为64.12%）。
2021-01-11 cs.CV
Detecting the Unexpected via Image Resynthesis
EPFL（洛桑联邦理工学院）
经典的语义分割方法，包括最近的深度学习方法，都假设在测试时观察到的所有类都在训练过程中被看到。在本文中，我们解决了更现实的情况下，未知类的意外对象可能会出现在测试时。这一领域的主要趋势是利用预测不确定性的概念将低置信度的区域标记为未知，或者依赖于自动编码器并突出显示解码不良的区域。在观察到这两种情况下，检测到的区域通常不对应于意外对象之后，在本文中，我们引入了一种截然不同的策略：它依赖于直觉，即网络将在描绘意外对象的区域中产生虚假标签。因此，从所得到的语义映射重新合成图像将产生相对于输入图像的显著外观差异。换句话说，我们将检测未知类的问题转化为识别重新合成不良的图像区域的问题。我们表明，这优于不确定性和自动编码器为基础的方法。
2019-04-17 cs.CV
PixelDINO: Semi-Supervised Semantic Segmentation for Detecting Permafrost Disturbances
Technical University of Munich (TUM)（慕尼黑工业大学）；University of Potsdam（波茨坦大学）
本文提出半监督语义分割框架PixelDINO，通过在标注与未标注数据上并行训练并利用伪类别一致性约束，提升北极永久冻土扰动RTS的遥感检测性能与跨区域泛化能力。
2024-01-17 cs.CV
Real-Time Semantic Segmentation using Hyperspectral Images for Mapping Unstructured and Unknown Environments
Texas A&M University（德克萨斯农工大学）
语义场景理解极大地改善了非结构化越野环境中的自主导航。传统的图像处理算法难以实现，并且由于缺乏结构和跨越野环境的高可变性而缺乏鲁棒性。使用神经网络和机器学习可以克服以前的挑战，但它们需要大量的标记数据集进行训练。在我们的工作中，我们提出了使用高光谱图像进行实时的【形】逐像素语义分类和分割，而不需要任何先前的训练数据。使用多边形近似算法，处理所得到的分割图像以提取、过滤和近似对象为多边形。然后使用所得到的多边形来生成环境的语义地图。使用我们的框架。我们展示了在运行时添加新语义类以进行分类的能力。所提出的方法也被证明是实时的【形】操作，并产生输出的频率为1赫兹，使用高分辨率的高光谱图像。
2023-03-27 cs.CV cs.RO
GOSS: Towards Generalized Open-set Semantic Segmentation
Australian National University（澳大利亚国立大学）；Data61-CSIRO（澳大利亚联邦科学与工业研究组织Data61）；Monash University（莫纳什大学）
在本文中，我们提出并研究了一种新的图像分割任务，称为广义开集语义分割（GOSS）。以前，与著名的开集语义分割（OSS），智能代理只检测未知区域没有进一步的处理，限制了他们对环境的感知。显然，对检测到的未知像素进行进一步分析将是有益的。因此，我们提出了GOSS，它统一了两个定义良好的分割任务，OSS和通用分割（GS）的能力，在一个整体的方式。具体地，GOSS将像素分类为属于已知类别，并且未知类别的像素的聚类（或组）被如此标记。为了评估这个新的扩展任务，我们进一步提出了一个度量，平衡像素分类和聚类方面。此外，我们在现有数据集之上构建基准测试，并提出一个简单的神经架构作为基线，它联合预测开集设置下的像素分类和聚类。我们在多个基准上的实验证明了我们的基线的有效性。我们相信我们的新GOSS任务可以为未来的研究产生一个富有表现力的图像理解。代码将提供。
2022-03-23 cs.CV cs.RO
Towards Unsupervised Open World Semantic Segmentation
University of Wuppertal（伍珀塔尔大学）
对于图像的语义分割，如果该任务被限制为一组封闭的类，那么最先进的深度神经网络（DNN）可以实现高分割精度。然而，到目前为止，DNN在开放世界中运行的能力有限，它们的任务是识别属于未知对象的像素，并最终逐步学习新的类。人类有能力说：我不知道那是什么，但我已经看到了类似的东西。因此，希望以无监督的方式执行这样的增量学习任务。我们介绍了一种方法，未知对象聚类的基础上视觉相似性。这些聚类被用来定义新的类，并作为无监督增量学习的训练数据。更确切地说，预测的语义分割的连接分量由分割质量估计来评估。具有低估计预测质量的连通分量是后续聚类的候选。此外，分量质量评估允许获得潜在地包含未知对象的图像区域的预测分割掩模。这样的掩模的相应像素被伪标记并且之后用于重新训练DNN，即，而不使用人类生成的地面实况。在我们的实验中，我们证明了，在不访问地面实况的情况下，即使只有很少的数据，DNN的类空间也可以通过一个新的类来扩展，从而实现相当高的分割精度。
2022-09-12 cs.CV
Unsupervised Recognition of Unknown Objects for Open-World Object Detection
Singapore Management University（新加坡管理大学）；Wuhan University of Technology（武汉理工大学）；Beihang University（北京航空航天大学）
本文提出无监督判别模型与无分类自训练方法，消除标签偏差，从伪标签中识别未知对象，显著提升开放世界目标检测性能。
2023-08-31 cs.CV
Detecting Hypo-plastic Left Heart Syndrome in Fetal Ultrasound via Disease-specific Atlas Maps
Imperial College London（帝国理工学院）；King’s College London（伦敦国王学院）；Guy’s and St Thomas’ NHS Foundation Trust（盖伊和圣托马斯国民保健服务基金会信托）；City, University of London（伦敦城市大学）；Technical University of Munich（慕尼黑工业大学）
怀孕期间的胎儿超声筛查在早期发现胎儿畸形方面起着至关重要的作用，这些畸形可能会对健康产生长期影响。在检查过程中从实时超声诊断此类畸形所需的技能水平很高，并且用于筛查的资源通常有限。我们提出了一个可解释的，图集学习分割方法，自动诊断发育不良的左心综合征（HLHS）从一个单一的“4腔心脏”的视图图像。我们建议将最近引入的图像和空间Transformer网络（pathas-Ideal）扩展到一个框架中，该框架能够使图谱生成对疾病敏感。在这个框架中，我们可以共同学习图像分割、配准、图谱构建和疾病预测，同时与直接图像分类方法相比，提供最高水平的临床可解释性。因此，我们的分割允许诊断与专家手动诊断竞争，并产生0.978的AUC-ROC（1043例用于训练，260例用于验证，325例用于测试）。
2021-07-06 cs.CV cs.LG eess.IV
Out-of-Distribution Segmentation via Wasserstein-Based Evidential Uncertainty
Heinrich-Heine-University Düsseldorf（海因里希-海涅大学多特蒙德）；KAUST（科威特高级科学研究中心）；Linköping University（林奈大学）
本文提出基于瓦尔斯特流损失的证据分割框架，结合相对熵正则化和Dice一致性项，提升分布外物体的分割性能。
2025-12-12 cs.CV cs.LG
Mask2Anomaly: Mask Transformer for Universal Open-set Segmentation
Politecnico di Torino（都灵理工大学）
提出基于掩码分类的 Mask2Anomaly 框架，通过全局掩码注意力、对比学习、掩码细化和未知实例挖掘等技术，联合解决异常分割、开集语义与全景分割，并在多个基准上取得 SOTA 结果。
2023-09-12 cs.CV
CLIP-S$^4$: Language-Guided Self-Supervised Semantic Segmentation
Bosch Research North America（博世北美研究院）；Bosch Center for Artificial Intelligence (BCAI)（博世人工智能中心（BCAI））
本研究提出CLIP-S$^4$方法，结合自监督像素对比学习与CLIP引导的双重一致性约束，实现无标注、无未知类别信息的多类语义分割任务，在多个基准上性能优于现有方法，尤其大幅提升未知类别识别效果。
2023-05-01 cs.AI cs.CV
DetectoRS: Detecting Objects with Recursive Feature Pyramid and Switchable Atrous Convolution
Johns Hopkins University（约翰斯·霍普金斯大学）；Google Research（谷歌研究院）
许多现代目标检测器通过使用两次观察和思考的机制表现出出色的性能。在本文中，我们探讨这种机制的骨干设计目标检测。在宏观层面上，我们提出了递归特征金字塔，它将来自特征金字塔网络的额外反馈连接纳入自下而上的骨干层。在微观层次上，我们提出了可切换的Atrous卷积，它以不同的Atrous速率卷积特征，并使用开关函数收集结果。将它们结合在一起，得到DetectoRS，它显著提高了目标检测的性能。在COCO test-dev上，DetectoRS实现了最先进的55.7%框AP用于目标检测，48.5%掩模AP用于实例分割，50.0% PQ用于全景分割。该代码是公开的。
2020-11-30 cs.CV
A Novel Image Segmentation Enhancement Technique based on Active Contour and Topological Alignments
Faculty of Computer Science, Universiti Teknologi, Malaysia（马来西亚理工大学计算机科学学院）；College of Information Technology, UAE University, UAE（阿联酋大学信息技术学院）
拓扑对准和蛇形线用于图像处理，特别是用于定位对象边界。两者都有各自的优点和局限性。为了改进整个图像边界检测系统，我们重点开发了一种新的图像处理算法。我们提出发展的演算法将以主动轮廓法为基础，结合拓扑对齐法来加强影像侦测的方法。该算法提出了一种新的技术，结合了拓扑对齐和蛇的优点。其中，通过拓扑对齐进行的初始分割首先被转换为snake模型的输入，并开始其向感兴趣的对象边界的演化。实验结果表明，该算法能有效地处理低对比度图像和形状细胞，在弱边界条件下也能达到较好的分割效果，这也是目前图像检测技术精度不高的原因。实现了较好的图像分割和边界检测，提高了系统对低对比度图像的处理能力和对过分割和欠分割的处理能力。
2011-06-02 cs.CV
Open-Set Domain Adaptation for Semantic Segmentation
Kyung Hee University（庆熙大学）
本文首次提出面向语义分割的开集域适应（OSDA-SS）任务，针对未知类边界和形状预测问题，提出结合基于膨胀-腐蚀对比损失的BUS方法和OpenReMix域混合增强，显著提升了未知类检测性能。
2024-05-30 cs.AI cs.CV
ElC-OIS: Ellipsoidal Clustering for Open-World Instance Segmentation on LiDAR Data
National University of Defense Technology（国防科技大学）
开放世界实例分割（OIS）是一项具有挑战性的任务，其目的是准确地分割当前观察中出现的每个对象实例，而不管这些实例是否已在训练集中标记。这对于安全关键型应用（如强大的自主导航）非常重要。在本文中，我们提出了一个灵活有效的激光雷达点云OIS框架，可以准确地分割已知和未知的实例（即，训练期间的可见和不可见实例类别）。它首先识别属于已知类的点，并通过利用闭集全景分割网络来去除背景。然后，我们提出了一种新的椭球聚类方法，更适合激光雷达扫描的特点，并允许精确分割的未知实例。此外，提出了一种扩散搜索方法来处理常见的过分割问题，在已知的情况下。通过这些技术的结合，我们能够实现对已知和未知实例的准确分割。我们在SemanticKITTI开放世界LiDAR实例分割数据集上评估了我们的方法。实验结果表明，它优于当前国家的最先进的方法，特别是与10.0%的关联质量的提高。我们的方法的源代码将在https://github.com/nubot-nudt/ElC-OIS上公开。
2023-03-08 cs.CV cs.RO
Detecting the open-world objects with the help of the Brain
Northeast University（东北大学）；South China University of Technology（华南理工大学）；Nanjing University of Information Science and Technology（南京信息工程大学）；Peking University Shenzhen Graduate School（北京大学深圳研究生院）；Information Technology R&D Innovation Center of Peking University（北京大学信息技术研发创新中心）
开放世界目标检测（OWOD）是一个具有相当大挑战性的新的计算机视觉任务，它弥补了经典目标检测（OD）基准和现实世界目标检测之间的差距。除了检测和分类可见/已知对象外，OWOD算法还有望检测不可见/未知对象并逐步学习它们。人类识别环境中未知物体的自然本能主要取决于大脑的知识库。模型很难仅通过从几个微小数据集的注释中学习来做到这一点。大型预训练的接地语言图像模型- VL（\ie GLIP）具有关于开放世界的丰富知识，但仅限于文本提示。我们建议通过简单地生成未知标签来利用VL作为开放世界检测器的“大脑”。利用它是不平凡的，因为未知的标签会损害模型对已知对象的学习。在本文中，我们缓解这些问题，提出了向下加权损失函数和解耦检测结构。此外，我们的检测器利用“大脑”通过我们的伪标记方案来学习VL之外的新对象。
2023-03-21 cs.CV
Iterative Next Boundary Detection for Instance Segmentation of Tree Rings in Microscopy Images of Shrub Cross Sections
Fraunhofer Institute for Computer Graphics Research (IGD)（弗劳恩霍夫计算机图形学研究所（IGD））；Ernst Moritz Arndt University（恩斯特·莫里茨·阿恩特大学）；Centre for Research on Ecology and Forestry Applications (CREAF)（生态与林业应用研究中心（CREAF））；University of Rostock（罗斯托克大学）
我们解决的问题，检测树木年轮的灌木横截面的显微图像。这可以被认为是实例分割任务的特殊情况，具有若干独特的挑战，例如对象的同心圆环形状和导致现有方法性能不足的高精度要求。我们提出了一种新的迭代法，我们称之为迭代下边界检测（INBD）。它直观地模拟自然生长方向，从灌木横截面的中心开始，并在每个迭代步骤中检测下一个环边界。在我们的实验中，INBD表现出优于一般的实例分割方法的性能，是唯一一个内置的时间顺序的概念。我们的数据集和源代码可以在http://github.com/alexander-g/INBD上找到。
2023-03-14 cs.CV
SegPrompt: Boosting Open-world Segmentation via Category-level Prompt Learning
Zhejiang University（浙江大学）；The University of Adelaide（阿德莱德大学）
本文提出SegPrompt类别级提示学习机制以增强开放世界实例分割，并构建避免未知类信息泄露的新基准，显著提升整体及未见对象检测性能。
2023-08-12 cs.CV
Mirror-Yolo: A Novel Attention Focus, Instance Segmentation and Mirror Detection Model
University of Liverpool（利物浦大学）；Xi’an Jiaotong-Liverpool University（西交利物浦大学）；JITRI Micro-Nano Automation Institute（JITRI微纳米自动化研究院）；Yunnan Normal University（云南师范大学）
针对镜子降低视觉模型性能且现有检测方法失效的问题，提出Mirror-YOLO模型，融合注意力聚焦、超列阶梯特征融合及实例分割，在镜子数据集上取得优越平均准确率。
2024-11-05 cs.CV
Attention-Based Transformers for Instance Segmentation of Cells in Microstructures
Technische Universität Darmstadt（达姆施塔特工业大学）
目标实例的检测和分割是生物医学应用中的常见任务。例如，从功能性磁共振图像上的病变检测到组织病理学图像中的肿瘤检测，以及从显微镜图像中提取定量单细胞信息，其中细胞分割是一个主要瓶颈。基于注意力的Transformers在一系列深度学习领域中是最先进的。最近，它们被提议用于分割任务，并且开始优于其他方法。我们提出了一种新的基于注意力的细胞检测Transformer（Cell-DETR）直接端到端的实例分割。虽然分割性能与最先进的实例分割方法相当，但Cell-DETR更简单，更快。我们展示了该方法在微结构环境中分割酵母的典型用例中的贡献，通常用于系统或合成生物学。对于特定的用例，所提出的方法超越了最先进的语义分割工具，并额外预测了单个对象实例。快速准确的实例分割性能增加了后验数据处理的实验信息产量，并使实验的在线监控和闭环优化实验设计成为可能。
2020-11-20 cs.CV eess.SP physics.ins-det
Lung Nodules Detection and Segmentation Using 3D Mask-RCNN
Algotec LTD, a Carestream Co（Algotec有限公司（锐珂公司旗下企业））
肺结节的准确评估是放射科医师解释工作中耗时且容易出错的部分。自动化3D体积检测和分割可以改善工作流程以及患者护理。以前的工作集中在检测肺结节从一个完整的CT扫描或分割他们从一个小的ROI。我们采用了最先进的2D对象检测和分割架构MaskRCNN来处理3D图像，并将其用于从CT扫描中检测和分割肺结节。我们报告了LUNA 16数据集上肺结节检测的竞争结果。我们的方法的附加值是，除了肺结节检测，我们的框架产生检测到的结节的3D分割。
2019-07-17 cs.CV cs.LG eess.IV
Evaluating Transferability for Covid 3D Localization Using CT SARS-CoV-2 segmentation models
National Technical University of Athens（雅典国立技术大学）；Institute of Communications and Computer Systems（通信与计算机系统研究所）
最近的研究表明，检测CT扫描的放射学模式可以对Covid-19定位产生高灵敏度和特异性。在本文中，我们研究了深度学习模型可移植性的适当性，用于CT图像中肺炎感染区域的语义分割。迁移学习允许快速初始化/重新利用检测模型，因为大量的训练数据不可用。我们的工作探索了在特定的CT数据集上使用预训练的U-Net架构来识别来自不同数据集的图像的Covid-19副作用的有效性。实验结果表明，识别Covid-19感染区域的分割精度有所提高。
2022-05-20 cs.CV cs.LG eess.IV
Joint Segmentation and Deconvolution of Ultrasound Images Using a Hierarchical Bayesian Model based on Generalized Gaussian Priors
University of Toulouse（图卢兹大学）；IRIT/INP-ENSEEIHT（图卢兹国立综合理工学院国立高等电子技术、电子学、计算机、水力学院/图卢兹信息学研究所）；IRIT, CNRS UMR 5505（法国国家科学研究中心联合研究单位5505 图卢兹信息学研究所）
提出了一种医学超声图像的联合分割与去卷积贝叶斯方法。与分段均匀图像相反，US图像表现出与组织结构相关的重特征散斑图案。广义高斯分布（GGD）已被证明是最相关的分布之一，用于表征斑点在美国的图像。因此，我们提出了一个GGD-Potts模型定义的标签地图耦合US图像分割和反卷积。未知模型参数的贝叶斯估计，包括US图像，标签图和所有超参数，很难以封闭形式表示。因此，我们研究了一个吉布斯采样器来生成根据感兴趣的后验分布的样本。这些生成的样本最终用于计算未知参数的贝叶斯估计。所提出的贝叶斯模型的性能与现有的方法相比，通过几个实验进行现实的合成数据和在体内US图像。
2016-05-02 cs.CV
GMISeg: General Medical Image Segmentation without Re-Training
Imperial College London（帝国理工学院）
针对医学图像分割模型难以泛化到未知新任务、需重新训练的问题，提出GMISeg通用模型，基于ViT预训练编码器结合低秩微调策略，无需额外训练即可处理新分割任务，在多模态多结构数据集上验证有效，便于模型部署。
2024-09-16 cs.CV eess.IV
