Instance-Invariant Domain Adaptive Object Detection via Progressive Disentanglement
Tianjin University(天津大学);University of Technology Sydney(悉尼科技大学)
当训练数据和测试数据来自不同的域时,大多数现有技术的目标检测方法的泛化能力较差,例如,不同的风格。为了解决这个问题,以前的方法主要使用整体表示来对齐不同域的特征级和像素级分布,这可能会忽视图像中对象的实例级特征。此外,在跨领域转移检测能力时,重要的是获得领域不变的实例级特征,而不是特定于领域的样式。因此,为了提取实例不变特征,我们应该将领域不变特征和领域特定特征分开。为此,首先提出了一种渐进解纠缠框架来解决域自适应目标检测。特别地,基于用于特征分解的解纠缠学习,我们设计了两个解纠缠层来分解领域不变特征和领域特定特征。在域不变特征的基础上提取实例不变特征。最后,为了提高解纠缠,设计了一个包含多个损失函数的三阶段训练机制来优化我们的模型。在实验中,我们验证了我们的方法的有效性,对三个领域的变化的场景。我们的方法分别比基线方法\cite{saito2019strong}高2.3%、3.6%和4.0%。
2021-02-13 cs.CV
Exploring Categorical Regularization for Domain Adaptive Object Detection
Megvii Technology(旷视科技)
在本文中,我们解决域自适应目标检测问题,其中的主要挑战在于源域和目标域之间的显着域差距。以前的工作试图简单地调整图像级和实例级的变化,以最终最大限度地减少域差异。然而,他们仍然忽略了跨域匹配关键图像区域和重要实例,这将严重影响域偏移缓解。在这项工作中,我们提出了一个简单但有效的分类正则化框架来缓解这个问题。它可以作为一个即插即用组件应用于一系列域自适应快速R-CNN方法,这些方法在处理域自适应检测方面非常突出。具体地说,通过在检测骨干上集成图像级多标签分类器,由于分类方式的弱定位能力,我们可以获得与分类信息对应的稀疏但关键的图像区域。同时,在实例级,我们利用图像级预测(由分类器)和实例级预测(由检测头)之间的分类一致性作为正则化因子来自动搜索目标域的硬对齐实例。各种域移位场景的广泛实验表明,我们的方法比原始域自适应更快的R-CNN检测器获得了显着的性能增益。此外,定性的可视化和分析可以证明我们的方法的能力,参加对领域自适应的关键区域/实例。我们的代码是开源的,可在\url{https://github.com/Megvii-Nanjing/CR-DA-DET}上获得。
2020-03-20 cs.CV
Refine-and-Contrast: Adaptive Instance-Aware BEV Representations for Multi-UAV Collaborative Object Detection
本文提出AdaBEV框架,通过盒引导细化模块和实例-背景对比学习学习自适应实例感知BEV表示,在多无人机协同三维检测中以低分辨率输入实现优越的精度-计算权衡。
2025-08-18 cs.CV
Domain Adaptive Nuclei Instance Segmentation and Classification via Category-aware Feature Alignment and Pseudo-labelling
University of Sydney(悉尼大学);University of Technology Sydney(悉尼科技大学);Monash University(莫纳什大学);Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳))
在一般计算机视觉中,无监督领域自适应(UDA)方法被广泛用于提高模型的自适应能力。然而,与自然图像不同的是,组织病理学图像中不同类别的细胞核之间存在着巨大的语义鸿沟。我们如何构建广义UDA模型来精确分割或分类不同数据集上的细胞核实例,这一点仍有待探索。在这项工作中,我们提出了一种新的深度神经网络,即类别感知特征对齐和伪标签网络(CAPL-Net),用于UDA核实例分割和分类。具体来说,我们首先提出了一个类别级的特征对齐模块与动态学习权衡权重。其次,我们建议通过基于核级原型特征的伪标签的自监督训练来促进目标数据上的模型性能。跨域核实例分割和分类任务的综合实验表明,我们的方法优于国家的最先进的UDA方法具有显着的利润。
2022-07-04 cs.CV
MV-Adapter: Enhancing Underwater Instance Segmentation via Adaptive Channel Attention
MV-Adapter通过自适应通道注意力机制提升水下实例分割的精度与鲁棒性。
2026-03-01 cs.CV
Hard-aware Instance Adaptive Self-training for Unsupervised Cross-domain Semantic Segmentation
School of Artificial Intelligence, Beijing University of Posts and Telecommunications(北京邮电大学人工智能学院);Tencent Wechat AI(腾讯微信AI);School of Information and Communication Engineering, Beijing University of Posts and Telecommunications(北京邮电大学信息与通信工程学院);School of Electronics Engineering and Computer Science, Peking University(北京大学电子工程与计算机科学学院)
针对无监督跨域语义分割,提出硬感知实例自适应自训练框架,通过实例自适应选择器生成高质量伪标签,并利用硬感知增强和区域自适应正则化提升性能,在多个基准上超越现有方法。
2025-03-25 cs.CV
Object Instance Mining for Weakly Supervised Object Detection
SenseTime Research(商汤科技研究院);Dalian University of Technology(大连理工大学)
在过去的几年中,仅使用图像级注释的弱监督目标检测(WSOD)引起了越来越多的关注。使用多实例学习的现有方法很容易陷入局部最优,因为这种机制倾向于从图像中最具区分力的对象学习每个类别。因此,这些方法遭受丢失的对象实例,降低WSOD的性能。为了解决这个问题,本文介绍了一个端到端的对象实例挖掘(OIM)框架弱监督目标检测。OIM试图通过在空间和外观图上引入信息传播来检测每个图像中存在的所有可能的对象实例,而不需要任何额外的注释。在迭代学习过程中,可以逐渐检测来自同一类的区分度较低的对象实例并用于训练。此外,我们设计了一个对象实例重加权损失,以学习每个对象实例的更大部分,以进一步提高性能。在两个公开数据库VOC 2007和2012上的实验结果证明了该方法的有效性。
2020-02-04 cs.CV
Perceive, Excavate and Purify: A Novel Object Mining Framework for Instance Segmentation
Meituan(美团)
本文提出一种对象挖掘框架,通过语义感知、对象挖掘和实例纯化三个步骤解决实例分割中难以区分对象发现与实例关系建模问题,在COCO数据集上取得优于现有方法的效果。
2023-04-18 cs.CV
Object-Guided Instance Segmentation for Biological Images
Rutgers University(罗格斯大学);Tencent Hippocrates Research Labs(腾讯希波克拉底研究实验室);Lieber Institute for Brain Development(利伯大脑发育研究所)
生物图像的实例分割是研究目标行为和属性的基础。诸如对象的聚类、遮挡和粘附问题的挑战使得实例分割成为一项不平凡的任务。当前无框实例分割方法通常依赖于局部像素级信息。由于缺乏全局对象视图,这些方法易于过分割或欠分割。相反,基于框的实例分割方法将目标检测结合到分割中,在识别个体实例方面表现更好。本文提出了一种新的基于框的实例分割方法。主要是从对象的中心点定位对象的边界框。对象特征随后在分割分支中被重用,作为在RoI补丁内分离聚类实例的指南。通过实例归一化,该模型能够恢复目标对象的分布并抑制相邻附着对象的分布。因此,该模型在分割聚类对象,同时保留目标对象的细节表现出色。所提出的方法在三个生物数据集上实现了最先进的性能:细胞核,植物表型数据集和神经细胞。
2019-11-20 cs.CV
Classifying, Segmenting, and Tracking Object Instances in Video with Mask Propagation
Facebook AI(脸书人工智能研究院)
我们介绍了一种方法,同时分类,分割和跟踪对象实例的视频序列。我们的方法名为MaskProp,通过添加掩码传播分支将流行的Mask R-CNN适应视频,该分支将帧级对象实例掩码从每个视频帧传播到视频剪辑中的所有其他帧。这使得我们的系统能够预测剪辑级实例轨道相对于对象实例分割在中间帧的剪辑。剪辑级实例轨道生成密集的序列中的每一帧,最后聚合产生视频级对象的实例分割和分类。我们的实验表明,我们的剪辑级实例分割,使我们的方法在视频中的运动模糊和对象遮挡鲁棒。MaskProp在YouTube-VIS数据集上实现了最佳报告准确性,优于ICCV 2019年视频实例分割挑战赛冠军,尽管它更简单,使用的标记数据数量级更少(130万与1B图像和860 K与14 M边界框)。
2021-07-09 cs.CV
Instance-Level Salient Object Segmentation
Sun Yat-sen University(中山大学);The University of Hong Kong(香港大学)
由于深度卷积神经网络,图像显著性检测最近取得了快速进展。然而,没有一个现有的方法能够识别检测到的显著区域中的对象实例。在本文中,我们提出了一个显着的实例分割方法,产生一个显着性掩模与不同的对象实例标签的输入图像。我们的方法由三个步骤组成,估计显着性图、检测显着对象轮廓和识别显着对象实例。对于前两步,我们提出了一个多尺度显着性细化网络,它生成高质量的显着区域掩模和显着对象轮廓。一旦与多尺度组合分组和基于MAP的子集优化框架相结合,我们的方法可以产生非常有前途的显著对象实例分割结果。为了促进显著性实例分割的进一步研究和评价,我们还构建了一个新的数据库,包含1000幅图像及其像素显著性实例注释。实验结果表明,我们提出的方法是能够实现国家的最先进的性能在所有公共基准的显着区域检测,以及我们的新数据集的显着实例分割。
2017-04-12 cs.CV
Densely Semantic Enhancement for Domain Adaptive Region-free Detectors
Fudan University(复旦大学)
无监督域自适应目标检测的目标是将训练好的检测器从具有丰富标记数据的原始源域调整到具有未标记数据的新目标域。先前的工作集中于提高基于区域的检测器的域适应性,例如,Faster-RCNN,通过匹配从区域建议网络(RPN)中显式提取的跨域实例级特征。然而,这不适用于无区域检测器,例如Single Shot检测器(SSD),其从图像中的所有可能位置执行密集预测,并且不具有RPN来编码这种实例级特征。因此,它们无法在无区域检测器的域之间对齐重要的图像区域和关键的实例级特征。在这项工作中,我们提出了一个对抗模块,以加强跨域匹配的实例级功能的区域自由检测器。首先,为了突出图像的重要区域,DSEM学习预测可转移的前景增强掩模,该掩模可以用于抑制图像中的背景干扰。其次,考虑到无区域检测器使用多尺度特征图识别不同尺度的对象,DSEM编码多层次语义表示和跨不同域的多实例空间上下文关系。最后,DSEM可插入不同的无区域检测器,最终通过对抗性学习实现密集的语义特征匹配。在PASCAL VOC、Clipart、Comic、Watercolor和FoggyCityscape基准测试上进行了大量实验,结果表明,该方法不仅提高了无区域检测器的域适应性,而且在各种域偏移设置下优于现有的自适应区域检测器.
2021-08-30 cs.CV
HistoNet: Predicting size histograms of object instances
TU Munich(慕尼黑工业大学);ETH Zurich(苏黎世联邦理工学院);EAWAG(瑞士联邦水科学与技术研究所)
我们建议预测直方图的对象大小在拥挤的场景中直接没有任何明确的对象实例分割。使这项任务具有挑战性的是(同一类别的)对象的高密度,这使得实例识别变得困难。而不是明确分割对象实例,我们表明,直接学习对象大小的直方图提高了准确性,同时使用更少的参数。这对于不需要显式的、像素精确的实例分割的应用场景非常有用,但是对实例大小的总体分布感兴趣。我们的核心应用是在生物学中,我们估计士兵苍蝇幼虫的大小分布,以及医学,我们估计癌细胞的大小分布作为计算肿瘤细胞评分的中间步骤。给定一个包含数百个小对象实例的图像,我们输出总计数和大小直方图。我们还为这项任务提供了一个新的数据集,FlyLaravirus数据集,它由11,000个按像素标记的幼虫实例组成。与最先进的实例分割方法Mask R-CNN相比,我们的方法在计数和大小分布预测方面得到了全面改进。
2020-06-04 cs.CV
Prompt-DAS: Annotation-Efficient Prompt Learning for Domain Adaptive Semantic Segmentation of Electron Microscopy Images
College of Computer Science and Technology, Huaqiao University, China(计算机科学与技术学院,华侨大学)
本文提出Prompt-DAS,一种面向电子显微镜图像的可提示多任务框架,通过灵活利用点提示和提示引导对比学习,在无监督、弱监督及交互式分割场景下均优于现有方法。
2025-09-23 cs.CV
Dual-level Interaction for Domain Adaptive Semantic Segmentation
Wuhan University(武汉大学)
本文提出双层级交互方法DIDA,通过语义级与实例级一致性约束及动态实例库和跨层级交互生成更可靠的伪标签,显著提升域自适应语义分割性能,尤其在易混淆类和长尾类上表现突出。
2023-08-10 cs.CV
DALI: Domain Adaptive LiDAR Object Detection via Distribution-level and Instance-level Pseudo Label Denoising
Michigan State University(密歇根州立大学)
针对无监督域自适应中伪标签噪声影响激光雷达3D目标检测性能的问题,提出DALI框架,通过分布级尺寸归一化与实例级伪点云生成去噪,在多个主流数据集上取得最优结果。
2024-12-11 cs.CV
AQ3D: Adaptive Query Transformer for 3D Instance Segmentation
Hamburg University of Technology(汉堡工业大学)
本文提出AQ3D,通过自适应查询和改进的位置编码、解码器模块,在无额外数据增强的情况下,于多个ScanNet数据集的3D实例分割任务中取得新的SOTA性能。
2026-09-01 cs.CV
Learning a Domain Classifier Bank for Unsupervised Adaptive Object Detection
Hikvision Research Institute(海康威视研究院);Zhejiang University(浙江大学)
在实际应用中,基于深度网络的目标检测器仍然面临着标记的训练数据和未标记的测试数据之间的大域差距的挑战。为了减少差距,最近的技术提出了通过对齐源和未标记的目标域之间的图像/实例级功能。然而,这些方法遭受的次优问题,主要是因为忽略了对象实例的类别信息。为了解决这个问题,我们开发了一个细粒度的领域对齐方法与一个精心设计的领域分类器银行,实现实例级对齐尊重他们的类别。具体来说,我们首先采用平均教师范式为未标记的样本生成伪标签。然后,我们实现了类级别的领域分类器,并将它们分组在一起,称为领域分类器库,其中每个领域分类器负责对齐特定类的特征。我们组装裸对象检测器与建议的细粒度域对齐机制作为自适应检测器,并优化它与开发的交叉自适应加权机制。在三个流行的迁移基准上的大量实验证明了我们的方法的有效性,并达到了新的显着的国家的艺术。
2020-07-06 cs.CV
Object Counting and Instance Segmentation with Image-level Supervision
Inception Institute of Artificial Intelligence(安擎人工智能研究院)
自然场景中常见物体的计数是计算机视觉中一个具有挑战性的问题,有着众多的实际应用。现有的图像级监督公共对象计数方法仅预测全局对象计数,并依赖于额外的实例级监督来确定对象位置。我们提出了一种图像级监督的方法,通过构建对象类别密度图,提供了全局对象计数和对象实例的空间分布。受心理学研究的启发,我们使用有限的对象计数信息(最多四个)进一步减少图像级监督。据我们所知,我们是第一个提出图像级监督密度图估计共同对象计数,并证明其有效性,在图像级监督实例分割。在PASCAL VOC和COCO数据集上进行了全面的实验。我们的方法优于现有的方法,包括那些使用实例级监督,在这两个数据集上的共同对象计数。此外,我们的方法改进了最先进的图像级监督实例分割,在PASCAL VOC 2012数据集上,平均最佳重叠的相对增益为17.8%。代码链接:https://github.com/GuoleiSun/CountSeg
2019-05-13 cs.CV
Semantic Instance Meets Salient Object: Study on Video Semantic Salient Instance Segmentation
Kyushu University(九州大学);Graduate University for Advanced Studies (SOKENDAI)(综合研究大学院大学(SOKENDAI));National Institute of Informatics(国立信息学研究所)
只关注场景中突出的语义实例,比查看整个场景中的所有对象,为机器人导航和自动驾驶汽车带来更多好处。本文将视频中的显著区域分解为语义上有意义的成分,即语义显著实例。我们为视频语义显著实例分割(VSSIS)的新任务,即语义实例-显著对象(SISO)框架提供了基础。SISO框架是简单而有效的,利用两个不同的分割任务的优势,即语义实例分割和显著对象分割,以最终融合它们的最终结果。在SISO中,我们通过查看语义实例和显著区域之间的重叠像素来逐个地引入非重叠实例的顺序融合。我们还引入了一个经常性的实例传播,以完善的形状和语义的实例,和一个身份跟踪,以保持整个视频的身份和语义的实例的含义。实验结果证明了我们的SISO基线的有效性,它可以处理视频中的遮挡。此外,为了解决VSSIS的任务,我们通过为显着实例标签分配语义基础事实来增强DAVIS-2017基准数据集,获得SEmantic显着实例视频(SESIV)数据集。我们的SESIV数据集由84个高质量的视频序列组成,每帧都有像素级的地面实况标签。
2018-11-22 cs.CV
Distance to Center of Mass Encoding for Instance Segmentation
University of Sao Paulo(圣保罗大学)
实例分割可以被认为是目标检测问题的扩展,其中边界框被对象轮廓代替。严格地说,这个问题需要识别每个像素实例和类独立于用于此平均值的技巧。与通常的目标检测相比,实例分割的优点在于精确地描绘了对象,改善了对象定位。此外,对象轮廓允许用基本图像处理算法评估部分遮挡。这项工作的实例分割问题的注释问题,并提出了一种新的技术来编码和解码地面实况注释。我们提出了一个数学表示的实例,任何深度语义分割模型可以学习和推广。每一个单独的实例都由一个质心和一个指向它的矢量场来表示,这种编码技术被命名为质心距离编码(DCME)。
2017-11-24 cs.CV
UniDAformer: Unified Domain Adaptive Panoptic Segmentation Transformer via Hierarchical Mask Calibration
Nanyang Technological University(南洋理工大学);Wenzhou University(温州大学)
域自适应全景分割旨在通过利用一个或多个相关源域中的现成注释数据来减轻数据注释挑战。然而,现有的研究采用两个独立的网络进行实例分割和语义分割,这导致过多的网络参数以及复杂和计算密集的训练和推理过程。我们设计了UniDAformer,一个统一的域自适应全景分割Transformer,它很简单,但可以在单个网络中同时实现域自适应实例分割和语义分割。UniDAformer引入了分层掩模校准(HMC),通过在线实时自我训练,在区域、超像素和像素级别纠正不准确的预测。它有三个独特的特点:1)它能够实现统一的域自适应全景自适应; 2)它减轻了错误预测并有效地改进了域自适应全景分割; 3)它是端到端可训练的,具有简单得多的训练和推理流水线。在多个公共基准上进行的大量实验表明,与最先进的技术相比,UniDAformer实现了卓越的域自适应全景分割。
2023-03-22 cs.CV
Discovery-and-Selection: Towards Optimal Multiple Instance Learning for Weakly Supervised Object Detection
Xi’an Jiaotong University(西安交通大学)
弱监督目标检测(WSOD)是一项具有挑战性的任务,它需要在图像类别标签的监督下同时学习目标分类器和估计目标位置。WSOD方法的一个主要路线是基于多实例学习,将图像视为实例包,并从每个包中选择阳性实例来学习检测器。然而,一个巨大的挑战出现时,检测器倾向于收敛到歧视的部分对象,而不是整个对象。在局部极小点包含最优解的假设下,提出了一种融合多示例学习的发现与选择方法(DS-MIL),该方法发现丰富的局部极小点,并从多个局部极小点中选择最优解.为了实现DS-MIL,提出了一个注意力模块,以便更多的上下文信息可以捕获的特征图和更有价值的建议,可以收集在训练过程中。与建议候选人,提出了一个选择模块,选择信息的实例对象检测器。常用的基准测试的实验结果表明,我们提出的DS-MIL方法可以不断提高基线,报告国家的最先进的性能。
2022-05-05 cs.CV
LIP: Learning Instance Propagation for Video Object Segmentation
University of Twente(特文特大学);Wuhan University(武汉大学)
近年来,视频对象分割(VOS),即从背景中分割出前景对象的任务,受到了相当大的关注。在本文中,我们提出了一个端到端的可训练深度神经网络,卷积门控递归Mask-RCNN,用于解决半监督VOS任务。我们利用实例分割网络(Mask-RCNN)和视觉记忆模块(Conv-GRU)来处理VOS任务。实例分割网络为实例预测掩模,而视觉记忆模块学习同时为多个实例选择性地传播信息,处理外观变化、尺度和姿态变化以及对象之间的遮挡。在纯实例分割损失下进行离线和在线训练后,我们的方法能够在没有任何后处理或合成视频数据增强的情况下获得令人满意的结果。在DAVIS 2016数据集和DAVIS 2017数据集上的实验结果证明了该方法对视频对象分割任务的有效性。
2019-09-30 cs.CV
Object-Aware Instance Labeling for Weakly Supervised Object Detection
The University of Tokyo(东京大学)
弱监督目标检测(WSOD)是一种只使用图像级标注来训练检测器的方法,正受到越来越多的关注。作为获得性能良好的检测器的方法,检测器和实例标签被迭代地更新。在这项研究中,为了更有效的迭代更新,我们专注于实例标记问题,即根据最后的定位结果将哪个标签标注到每个区域的问题。我们提出了更有效的实例标记方法,而不是简单地将得分最高的区域及其高度重叠的区域标记为阳性,而将其他区域标记为阴性。首先,为了解决仅覆盖对象的某些部分的区域倾向于被标记为正的问题,我们发现覆盖整个对象的区域集中在上下文分类损失上。其次,考虑到图像中包含的其他对象可以被标记为负的情况,我们对标记为负的区域施加空间限制。使用这些实例标记方法,我们在PASCAL VOC 2007和2012上训练检测器,与其他最先进的方法相比,获得了显着改善的结果。
2019-08-10 cs.CV
Instance-Aware Observer Network for Out-of-Distribution Object Segmentation
Valeo(法雷奥);Ecole des Ponts(巴黎路桥学院);Univ Gustave Eiffel(古斯塔夫·埃菲尔大学);CY Université(CY大学);ENSEA(国立高等电子及应用学院)
最近的预测不确定性估计的工作已经显示出有前途的结果外的分布(OOD)检测语义分割。然而,这些方法难以精确定位图像中的感兴趣点,即异常。这种限制是由于在像素级进行细粒度预测的困难。为了解决这个问题,我们建立在最近的ObsNet的方法,提供对象实例知识的观察员。我们通过利用实例掩码预测来扩展ObsNet。我们使用一个额外的,类不可知的,对象检测器来过滤和聚合观察者的预测。最后,我们为图像中的每个实例预测一个唯一的异常分数。我们表明,我们提出的方法准确地解开分布对象从OOD对象在三个数据集。
2022-08-29 cs.CV
Instance Segmentation of Dense and Overlapping Objects via Layering
RWTH Aachen University(亚琛工业大学);University of Regensburg(雷根斯堡大学);Fraunhofer Institute for Digital Medicine MEVIS(弗劳恩霍夫数字医学MEVIS研究所)
实例分割旨在描绘图像中的每个感兴趣的个体对象。现有技术的方法通过划分语义分割或细化检测到的对象的粗略表示来实现该目标。在这项工作中,我们提出了一种新的方法来解决这个问题,通过对象分层,即通过分布拥挤,甚至重叠的对象到不同的层。通过将空间上分离的对象分组在同一层中,可以通过提取每个层中的连接组件来轻松隔离实例。与以前的方法相比,我们的方法不受复杂对象形状或对象重叠的影响。通过最少的后处理,我们的方法在不同的数据集上产生了非常有竞争力的结果:C。elegans(BBBC)、重叠宫颈细胞(OCC)和培养的神经母细胞瘤细胞(CCDB)。源代码是公开的。
2022-10-07 cs.CV
Weakly Supervised Object Localization with Multi-fold Multiple Instance Learning
Bilkent University(比尔肯特大学);Inria Grenoble Rhône-Alpes(法国国家信息与自动化研究所格勒诺布尔-罗讷-阿尔卑斯分所);Laboratoire Jean Kuntzmann(让·孔茨曼实验室);CNRS(法国国家科学研究中心);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学)
目标类别定位是计算机视觉中一个具有挑战性的问题。标准监督训练需要对象实例的限界框注释。这种耗时的注释过程在弱监督学习中被回避了。在这种情况下,监督信息被限制为指示图像中对象实例的不存在/存在的二进制标签,而没有它们的位置。我们遵循多实例学习方法,迭代地训练检测器并推断正训练图像中的对象位置。我们的主要贡献是一个多重多实例学习过程,它可以防止训练过早锁定错误的对象位置。当使用高维表示时,例如Fisher向量和卷积神经网络特征,该过程尤其重要。我们还提出了一个窗口细化方法,提高了定位精度,通过将对象的先验。我们提出了一个详细的实验评估使用PASCAL VOC 2007数据集,验证了我们的方法的有效性。
2016-02-22 cs.CV
Cross-View Regularization for Domain Adaptive Panoptic Segmentation
School of Computer Science Engineering(计算机科学与工程学院);Nanyang Technological University(南洋理工大学)
全景分割将语义分割和实例分割结合起来,近年来受到越来越多的关注。然而,大多数现有的研究是在监督学习设置下进行的,而非监督域自适应全景分割在不同的任务和应用中是至关重要的,在很大程度上被忽视。我们设计了一个域自适应全景分割网络,该网络利用风格间一致性和任务间正则化来实现最佳域自适应全景分割。风格间的一致性利用了不同风格的同一图像的几何不变性,这制造了一定的自我监督来引导网络学习域不变特征。任务间正则化利用实例分割和语义分割的互补性质,并将其用作跨域更好的特征对齐的约束。在多个域自适应全景分割任务(例如,合成到真实和真实到真实)表明,我们提出的网络实现了优越的分割性能相比,国家的最先进的。
2021-03-03 cs.CV
Learning Instance-Aware Object Detection Using Determinantal Point Processes
Seoul National University(首尔国立大学)
最近的对象检测器在对候选区域进行分类的同时找到实例。由于每个区域都是独立评估的,因此检测器的候选区域数量通常大于对象数量。由于检测的最终目标是为每个对象分配单个检测,因此使用诸如非最大抑制(NMS)的启发式算法来为对象选择单个限界框。虽然简单的启发式算法对于独立对象是有效的,但它们可能无法检测重叠对象。在本文中,我们通过训练网络来解决这个问题,以使用候选框之间的关系来区分不同的对象。我们提出了一个实例感知检测网络(IDNet),它可以学习从候选区域中提取特征并测量它们的相似性。基于成对相似性和检测质量,IDNet使用实例感知的确定性点过程推理(IDPP)选择候选边界框的子集。大量的实验表明,该算法实现了显着的改进,检测重叠的对象相比,现有的国家的最先进的检测方法的PASCAL VOC和MS COCO数据集。
2019-09-02 cs.CV
RDSNet: A New Deep Architecture for Reciprocal Object Detection and Instance Segmentation
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);Horizon Robotics Inc.(地平线机器人公司);CAS Center for Excellence in Brain Science and Intelligence Technology(中国科学院脑科学与智能技术卓越创新中心)
目标检测和实例分割是计算机视觉的两个基本任务。他们是密切相关的,但他们的关系尚未得到充分探讨,在大多数以前的工作。本文介绍了RDSNet,一种用于相互目标检测和实例分割的新型深度架构。为了实现这两个任务的交互,我们设计了一个双流结构来学习对象级别(即,边界框)和像素级(即,面具)。在该结构中,来自两个流的信息被交替地融合,即关于对象级别的信息将实例和平移方差的感知引入到像素级别,并且关于像素级别的信息反过来细化对象级别上的对象的定位精度。具体而言,提出了一个相关模块和裁剪模块,以产生实例掩码,以及基于掩码的边界细化模块,以获得更准确的边界框。在COCO数据集上的大量实验分析和比较证明了RDSNet的有效性和效率。源代码可在https://github.com/wangsr126/RDSNet上获得。
2019-12-11 cs.CV
MaskLab: Instance Segmentation by Refining Object Detection with Semantic and Direction Features
Google Inc.(谷歌公司);RWTH Aachen University(亚琛工业大学);UCLA(加利福尼亚大学洛杉矶分校)
在这项工作中,我们解决的问题,实例分割,同时解决目标检测和语义分割的任务。为了实现这一目标,我们提出了一个模型,称为MaskLab,它产生三个输出:框检测,语义分割和方向预测。在Faster-RCNN对象检测器的基础上,预测框提供了对象实例的准确定位。在每个感兴趣的区域内,MaskLab通过结合语义和方向预测来执行前景/背景分割。语义分割有助于模型区分不同语义类别的对象,包括背景,而方向预测,估计每个像素的方向,其相应的中心,允许分离相同的语义类别的实例。此外,我们还探讨了将最近成功的分割和检测方法(即atrous卷积和hypercolumn)结合起来的效果。我们提出的模型进行评估的COCO实例分割基准,并显示出与其他国家的最先进的模型相媲美的性能。
2017-12-13 cs.CV
Object Detection Free Instance Segmentation With Labeling Transformations
University of California, San Diego(加州大学圣地亚哥分校)
实例分割在计算机视觉中引起了最近的关注,并且该领域中的现有方法大多具有目标检测阶段。在本文中,我们研究了实例分割问题的内在挑战,商空间的存在(交换不同实例的标签导致相同的结果),并提出了新的方法,是对象建议和目标检测免费。我们提出了三种替代方法,即基于像素的亲和映射,基于超像素的亲和学习,和基于边界的组件分割,都专注于执行标记变换,以应付商空间的问题。通过采用完全的卷积神经网络(FCN)模型,我们的框架在PASCAL数据集(以对象为中心)和Gland数据集(以纹理为中心)上都取得了有竞争力的结果,这是现有方法无法做到的。我们的工作也有其透明度,简单性和所有分割的优势。
2016-11-29 cs.CV
Multiple Instance Detection Network with Online Instance Classifier Refinement
Huazhong University of Science and Technology(华中科技大学)
近年来,弱监督目标检测在目标识别中具有重要的意义。基于深度学习,弱监督检测器已经取得了许多有希望的结果。然而,与全监督检测相比,以弱监督方式训练基于深度网络的检测器更具挑战性。在这里,我们将弱监督检测公式化为多实例学习(MIL)问题,其中实例分类器(对象检测器)作为隐藏节点放入网络中。我们提出了一种新的在线实例分类器细化算法,将MIL和实例分类器细化过程集成到单个深度网络中,并仅使用图像级监督对网络进行端到端的训练,即,而没有对象位置信息。更准确地说,从弱监督推断的实例标签被传播到它们的空间重叠的实例,以在线改进实例分类器。迭代实例分类器细化过程使用深度网络中的多个流来实现,其中每个流监督其后面的流。弱监督目标检测实验进行了具有挑战性的PASCAL VOC 2007年和2012年的基准。我们获得了47%的mAP的VOC 2007年,显着优于以前的国家的最先进的。
2017-04-01 cs.CV
Learning with Free Object Segments for Long-Tailed Instance Segmentation
The Ohio State University(俄亥俄州立大学)
为复杂场景中的大量类构建实例分割模型的一个基本挑战是缺乏训练样本,特别是对于稀有对象。在本文中,我们探讨了增加训练样本而无需费力的数据汇集和注释的可能性。我们发现,根据两种见解,可以从以对象为中心的图像中免费获得大量实例片段:(i)以对象为中心的图像通常在简单背景中包含一个显着对象;(ii)来自同一类的对象通常具有相似的外观或与背景的相似对比度。出于这些见解,我们提出了一个简单的和可扩展的框架FreeSeg提取和利用这些“自由”的对象前景段,以促进模型训练长尾实例分割。具体地说,我们调查对象为中心的同类图像之间的相似性,提出候选段的前景实例,其次是一种新的排名段的质量。然后可以使用所得到的高质量对象片段来增强现有的长尾数据集,例如,通过将片段复制并粘贴到原始训练图像上。大量的实验表明,FreeSeg在强大的基线之上产生了实质性的改进,并在分割稀有对象类别方面达到了最先进的准确性。
2022-10-05 cs.CV
Robust Instance Segmentation through Reasoning about Multi-Object Occlusion
Tongji University(同济大学);Johns Hopkins University(约翰霍普金斯大学)
使用深度神经网络分析复杂场景是一项具有挑战性的任务,特别是当图像包含多个彼此部分遮挡的对象时。现有的图像分析方法大多独立处理对象,不考虑附近对象的相对遮挡。在本文中,我们提出了一种用于多对象实例分割的深度网络,该网络对遮挡具有鲁棒性,并且可以仅从限界框监督进行训练。我们的工作建立在组合网络的基础上,该网络学习神经特征激活的生成模型,以定位遮挡物并根据其非遮挡部分对对象进行分类。我们扩展了他们的生成模型,包括多个对象,并引入了一个框架,在具有挑战性的遮挡情况下进行有效的推理。特别是,我们获得前馈预测的对象类和它们的实例和遮挡分割。我们引入了一个遮挡推理模块(ORM),定位错误的分割和估计的遮挡秩序,以纠正他们。改进的分割掩模又以自顶向下的方式集成到网络中,以改进图像分类。在KITTI INStance数据集(KINS)和一个合成遮挡数据集上的实验证明了该模型在遮挡情况下多目标实例分割的有效性和鲁棒性。代码可在https://github.com/XD7479/Multi-Object-Occlusion上免费获得。
2021-04-01 cs.CV
Transformer-based Multi-Instance Learning for Weakly Supervised Object Detection
Southeast University(东南大学);The University of Newcastle(纽卡斯尔大学)
弱监督目标检测(WSOD)允许仅使用图像级注释来训练目标检测模型。最先进的WSOD检测器通常依赖于多实例学习(MIL)作为其检测器的骨干,并假设图像的限界框建议是相互独立的。然而,由于这种方法只利用最高分的建议,并放弃了潜在的有用信息,从其他建议,其独立的MIL骨干往往限制模型的突出部分的对象,或导致他们只能检测一个对象的类。为了解决上述问题,我们提出了一种新的骨干WSOD的基础上,我们定制的视觉Transformer命名为弱监督Transformer检测网络(WSTDN)。我们的算法不仅是第一个证明,自我注意模块,考虑实例间的关系是有效的骨干WSOD,但我们也引入了一种新的限界框挖掘方法(BBM)集成的内存传输细化(MTR)过程,利用实例的依赖关系,促进实例细化。在PASCAL VOC2007和VOC2012基准测试上的实验结果证明了我们提出的WSTDN和改进的实例精化模块的有效性。
2023-03-27 cs.CV
C-MIL: Continuation Multiple Instance Learning for Weakly Supervised Object Detection
University of Chinese Academy of Sciences(中国科学院大学);Tsinghua University(清华大学);Peng Cheng Laboratory(鹏城实验室)
弱监督目标检测(WSOD)是一个具有挑战性的任务时,提供了图像类别的监督,但需要同时学习对象的位置和对象检测器。许多WSOD方法采用多实例学习(MIL)并且具有非凸的损失函数,这些损失函数在训练期间容易陷入局部最小值(错误地定位对象部分),同时丢失整个对象范围。在本文中,我们将连续优化方法引入MIL,从而创建连续多实例学习(C-MIL),旨在以系统的方式缓解非凸性问题。我们将实例划分为空间相关和类相关的子集,并在子集内定义一系列平滑的损失函数来近似原始损失函数。优化平滑的损失函数可以防止训练过程过早地陷入局部极小值,并有助于发现指示完整对象范围的稳定语义极值区域(SSERs)。在PASCAL VOC 2007和2012数据集上,C-MIL改进了弱监督目标检测和弱监督对象定位的最新技术水平。
2019-04-11 cs.CV
Look Before You Match: Instance Understanding Matters in Video Object Segmentation
Fudan University(复旦大学);Microsoft Cloud + AI(微软云与人工智能部门);Microsoft Research Asia(微软亚洲研究院)
最近,基于记忆的方法在视频对象分割(VOS)中表现出了令人印象深刻的结果,探索了当前帧和过去帧之间的密集匹配,以进行长距离上下文建模。然而,由于缺乏实例理解能力,上述方法通常对于由对象和相机的移动引起的大的外观变化或视点变化是脆弱的。在本文中,我们认为,在VOS的实例理解事项,并将其与基于内存的匹配可以享受的协同作用,这是直观的VOS任务的定义,\ie,识别和分割视频中的对象实例。为此,我们提出了一个两个分支网络的VOS,其中基于查询的实例分割(IS)分支深入到当前帧的实例细节和VOS分支执行时空匹配的存储体。我们使用IS分支中的对象查询,将实例特定信息注入查询键中,从而进一步执行实例增强匹配。此外,我们引入了一个多路径融合块,有效地结合存储器读出与多尺度功能的实例分割解码器,它结合了高分辨率的实例感知功能,以产生最终的分割结果。我们的方法在DAVIS 2016/2017 val(92.6%和87.1%),DAVIS 2017 test-dev(82.8%)和YouTube-VOS 2018/2019 val(86.3%和86.3%)上实现了最先进的性能,明显优于其他方法。
2022-12-13 cs.CV
SIOD: Single Instance Annotated Per Category Per Image for Object Detection
Sun Yat-sen University(中山大学);Tencent(腾讯);Jilin University(吉林大学);Peng Cheng Laboratory(鹏城实验室)
不完全数据下的目标检测是近年来研究的热点问题。弱监督目标检测(WSOD)由于缺乏实例级标注而存在严重的定位问题,而半监督目标检测(SSOD)由于标记数据和未标记数据之间的图像差异而仍然具有挑战性。在这项研究中,我们提出了单实例注释目标检测(SIOD),只需要一个实例注释的每个现有的类别在一个图像。SIOD从任务间(WSOD)或图像间(SSOD)差异降级为图像内差异,为挖掘剩余的未标记实例提供更可靠和丰富的先验知识,并权衡标注成本和性能。在SIOD环境下,我们提出了一个简单而有效的框架,称为双挖掘(DMiner),它包括一个基于相似性的伪标签生成模块(SPLG)和像素级组对比学习模块(PGCL)。SPLG首先从特征表示空间中挖掘潜在实例,以缓解标注缺失问题。为了避免被不准确的伪标签所误导,我们提出了PGCL来提高对伪标签的容忍度。在MS COCO上进行的大量实验验证了SIOD设置的可行性和所提方法的优越性,与基线方法相比,该方法获得了一致和显著的改进,并在仅标注40%实例的情况下实现了与全监督目标检测(FSOD)方法相当的结果。
2022-03-30 cs.CV
InsPro: Propagating Instance Query and Proposal for Online Video Instance Segmentation
University of Chinese Academy of Sciences(中国科学院大学);Horizon Robotics(地平线机器人);CAS Center for Excellence in Brain Science and Intelligence Technology(中国科学院脑科学与智能技术卓越创新中心);Institute of Automation Chinese Academy of Sciences(中国科学院自动化研究所)
视频实例分割(VIS)的目的是分割和跟踪视频中的对象。现有方法通常首先生成帧级或剪辑级对象实例,然后通过附加跟踪头或复杂实例匹配算法将它们关联。这种显式的实例关联方法增加了系统的复杂性,并未能充分利用视频中的时间线索。在本文中,我们设计了一个简单,快速,但有效的基于查询的框架在线VIS。该框架通过一个实例查询和建议传播机制以及几个专门开发的组件,可以隐式地执行精确的实例关联。具体来说,我们生成帧级的对象实例的基础上传播从以前的帧的一组实例查询建议对。通过认真制定的策略,这个实例查询-建议对学会了跨框架与一个特定对象绑定。当使用这样的对来预测当前帧上的对象实例时,不仅生成的实例自动地与其在先前帧上的前兆相关联,而且模型获得用于预测相同对象的良好先验。通过这种方式,我们自然地实现了与分割并行的隐式实例关联,并巧妙地利用了视频中的时间线索。为了证明我们的方法InsPro的有效性,我们在两个流行的VIS基准上对其进行了评估,即,YouTube-VIS 2019和YouTube-VIS 2021。在没有花哨的情况下,我们的InsPro与ResNet-50骨干网在这两个基准上分别达到43.2 AP和37.6 AP,优于所有其他在线VIS方法。
2023-01-05 cs.CV
Object-Guided Instance Segmentation With Auxiliary Feature Refinement for Biological Images
Rutgers University(罗格斯大学);Tencent Hippocrates Research Labs(腾讯希波克拉底研究实验室);Lieber Institute for Brain Development(利伯大脑发育研究所)
实例分割在许多生物学应用中具有重要意义,如神经细胞相互作用的研究、植物表型分析以及定量测量细胞对药物处理的反应等。本文提出了一种新的基于框的实例分割方法。基于框的实例分割方法通过边界框捕获对象,然后在每个限界框区域内执行单独的分割。然而,现有的方法很难区分目标从它的相邻物体在同一个限界框区域内,由于它们的相似的纹理和低对比度的边界。针对这一问题,本文提出了一种基于对象引导的实例分割方法。我们的方法首先检测对象的中心点,然后预测的限界框参数。为了执行分割,对象引导的粗到细分割分支与检测分支一起构建。分割分支重用对象特征作为指导,以将目标对象与同一限界框区域内的相邻对象分离。为了进一步提高分割质量,我们设计了一个辅助特征细化模块,该模块在边界区域中密集采样和细化逐点特征。在三个生物图像数据集上的实验结果证明了该方法的优越性。该代码将在https://github.com/yijingru/ObjGuided-Instance-Segmentation上提供。
2021-06-14 cs.CV
Differential Alignment for Domain Adaptive Object Detection
College of Intelligence and Computing, Tianjin University(天津大学智能与计算学部)
针对域自适应目标检测中整体特征对齐忽视区域差异的问题,提出差分对齐策略,含预测差异反馈实例对齐模块和不确定性前景导向图像对齐模块,实验证明优于现有方法。
2024-12-17 cs.CV
Proposal-free Network for Instance-level Object Segmentation
National University of Singapore(新加坡国立大学);Sun Yat-sen University(中山大学);Beijing Jiaotong University(北京交通大学);Adobe Research(奥多比研究院);Snapchat Research(色拉布研究院)
实例级对象分割是一项重要但尚未开发的任务。现有的几个研究几乎都是基于区域建议的方法来提取候选段,然后利用对象分类来产生最终的结果。尽管如此,生成准确的区域建议本身是相当具有挑战性的。在这项工作中,我们提出了一个无建议网络(PFN)来解决实例级对象分割问题,它输出不同类别的实例编号和像素级信息1)每个像素所属的实例限界框的坐标,以及2)每个像素的不同类别的置信度,基于像素到像素的深度卷积神经网络。所有的输出加在一起,通过使用任何现成的聚类方法进行简单的后处理,可以自然地生成最终的实例级对象分割结果。整个PFN可以很容易地以端到端的方式进行训练,而不需要建议生成阶段。在具有挑战性的PASCAL VOC 2012语义分割基准上进行的广泛评估表明,所提出的PFN解决方案在实例级对象分割方面优于最先进的技术。特别是,PFN在0.5 IoU下超过20个类的$AP^r$达到58.7%,显著高于最先进算法SDS [9]和[16]的43.8%和46.3%。
2015-09-10 cs.CV
U-Net Based Multi-instance Video Object Segmentation
Uber Technologies, Inc(优步科技公司);Stanford University(斯坦福大学)
多实例视频对象分割是指在给定第一帧的情况下,在像素级上对视频序列中的特定实例进行分割。在本文中,我们实现了一个有效的全卷积网络,它具有建立在OSVOS微调层之上的U-Net相似结构。我们使用实例隔离将这个多实例分割问题转化为二进制标记问题,并使用加权交叉熵损失和骰子系数损失作为我们的损失函数。我们的最佳模型在DAVIS数据集上实现了0.467的F均值和0.424的J均值,这与最先进的方法具有可比性。但实例分析表明,该模型可以实现更平滑的轮廓和更好的实例覆盖率,这意味着它更适合于召回为重点的分割场景。我们还对其他卷积神经网络进行了实验,包括Seg-Net,Mask R-CNN,并提供了有见地的比较和讨论。
2019-05-19 cs.CV
Deep Template-based Object Instance Detection
Université Laval(拉瓦尔大学)
在目标检测文献中的大部分焦点一直是在识别图像中特定类别的目标的限界框的问题上。然而,在机器人和增强现实等环境中,通常需要找到特定的对象实例-例如,独特的玩具或定制的工业部件-而不是通用的对象类。在这里,应用程序可能需要从一个对象实例快速转换到另一个对象实例,因此需要快速周转,这几乎不需要训练时间。更重要的是,为每个要检测的新对象实例收集数据集并训练模型可能是一个昂贵且耗时的过程。在这种情况下,我们提出了一种通用的2D对象实例检测方法,该方法在测试时使用目标对象的示例视点来检索其在RGB图像中的2D位置,而不需要任何额外的训练(即微调)步骤。为此,我们提出了一个端到端的体系结构,提取全局和局部信息的对象从它的观点。全局信息用于调整骨干中的早期滤波器,而局部视点与输入图像相关。我们的方法提供了一个几乎30 mAP的改进比以前的模板匹配方法上具有挑战性的闭塞Linemod数据集(总体mAP为50.7)。我们的实验还表明,我们的单一通用模型(未在任何测试对象上训练)产生的检测结果与专门在目标对象上训练的方法相当。
2020-11-15 cs.CV
SwinDocSegmenter: An End-to-End Unified Domain Adaptive Transformer for Document Instance Segmentation
Computer Vision Center(计算机视觉中心);Universitat Autònoma de Barcelona(巴塞罗那自治大学);Indian Statistical Institute(印度统计研究所)
本文提出一种用于文档图像复杂布局端到端实例分割的统一Transformer架构,采用对比训练与混合查询选择进行锚点初始化,并在四大基准上以十亿参数超越现有最先进方法。
2023-05-08 cs.CV cs.LG
Language-Guided Instance-Aware Domain-Adaptive Panoptic Segmentation
ETH Zurich(苏黎世联邦理工学院);Swiss Data Science Center, PSI(瑞士数据科学中心 PSI)
本文提出LIDAPS端到端模型,通过IMix实例感知跨域混合和基于CLIP的域对齐,在缓解灾难性遗忘的同时提升全景分割的无监督域自适应性能,并在多个基准上取得最优结果。
2024-12-25 cs.AI cs.CV
Adaptive Post-Processing Drives Instance-Level Detection in Stroke Lesion Segmentation
Oslo University Hospital(奥斯陆大学医院)
该研究针对卒中病灶分割的实例级检测问题,提出VCAP后处理方案,结合Viola2Plus架构,在ISLES'26数据集上显著提升了病灶F1得分,效果优于多数架构改进。
2026-08-18 cs.AI cs.CV
Relaxed Multiple-Instance SVM with Application to Object Discovery
Huazhong University of Science and Technology(华中科技大学)
多实例学习(MIL)已经成为广泛的视觉应用的重要工具,例如,图像分类、目标检测和视觉跟踪。在本文中,我们提出了一种新的方法来解决经典的MIL问题,命名为松弛多实例支持向量机(RMI-SVM)。我们将实例的积极性作为一个连续变量,使用Noisy-OR模型来加强MIL约束,并在一个统一的框架中联合优化包标签和实例标签。利用随机梯度下降法可以有效地解决优化问题。大量的实验表明,RMI-SVM在各种MIL基准测试中始终取得优异的性能。此外,我们简单地将RMI-SVM应用于具有挑战性的视觉任务,常见对象发现。Pascal VOC数据集上对象发现的最新结果进一步证实了所提出方法的优势。
2015-10-05 cs.CV cs.LG
MultiStar: Instance Segmentation of Overlapping Objects with Star-Convex Polygons
University of Heidelberg(海德堡大学)
生物医学图像中重叠对象的实例分割仍然是一个很大程度上未解决的问题。我们接受这一挑战,并提出MultiStar,流行的实例分割方法StarDist的扩展。我们的方法的关键新颖之处在于,我们确定对象重叠的像素,并使用此信息来提高提案采样,并避免抑制真正重叠对象的提案。这使我们能够将StarDist的思想应用于具有重叠对象的图像,同时与已建立的方法相比只产生很小的开销。MultiStar在两个数据集上显示出很好的结果,并且具有使用简单且易于训练的网络架构的优势。
2021-01-14 cs.CV eess.IV
Towards Accurate Localization by Instance Search
Xiamen University(厦门大学)
视觉目标定位是一系列目标检测任务中的关键步骤。在文献中,主流的强监督框架实现了高定位精度。然而,这样的方法需要对象级注释,并且无法检测未知类别的对象。弱监督方法面临类似的困难。在本文中,提出了一个自定进度的学习框架,以实现准确的对象定位的排名列表返回的实例搜索。所提出的框架挖掘目标实例逐渐从查询和相应的排名靠前的搜索结果。由于查询和排名列表中的图像之间共享公共实例,因此即使不知道对象类别是什么,也可以准确地定位目标视觉实例。除了对实例搜索执行本地化之外,还在同一框架下解决了Few-Shot目标检测的问题。在这两项任务上都观察到优于最先进方法的性能。
2021-08-07 cs.CV cs.IR
Unseen Object Instance Segmentation for Robotic Environments
University of Washington(华盛顿大学);NVIDIA(英伟达)
为了在非结构化环境中发挥作用,机器人需要能够识别看不见的物体。我们在这个方向上迈出了一步,解决了在桌面环境中分割看不见的对象实例的问题。然而,该任务所需的大规模真实世界数据集的类型通常不存在于大多数机器人设置中,这促使使用合成数据。我们提出的方法,UOIS-Net,分别利用合成RGB和合成深度的不可见的对象实例分割。UOIS-Net由两个阶段组成:首先,它只对深度进行操作,以产生2D或3D的对象实例中心投票,并将它们组装成粗略的初始掩码。其次,使用RGB细化这些初始掩码。令人惊讶的是,我们的框架能够从RGB非照片级真实感的合成RGB-D数据中学习。为了训练我们的方法,我们引入了一个大规模的桌面上的随机对象的合成数据集。我们表明,我们的方法可以产生尖锐和准确的分割掩模,优于国家的最先进的方法看不见的对象实例分割。我们还表明,我们的方法可以分割机器人抓取看不见的物体。
2021-10-14 cs.CV cs.RO
Unseen Object Amodal Instance Segmentation via Hierarchical Occlusion Modeling
Gwangju Institute of Science and Technology(光州科学技术院)
在非结构化环境中,对不可见对象的实例感知分割对于机器人系统至关重要。虽然以前的工作取得了令人鼓舞的结果,他们仅限于分割看不见的对象的唯一可见区域。对于机器人在杂乱场景中的操作,需要非模态感知来处理其他对象后面的遮挡对象。本文提出了一种基于非模态实例分割(UOAIS)的图像分割方法,用于检测1)可见掩模、2)非模态掩模和3)对不可见对象实例的遮挡。为此,我们提出了一个层次遮挡建模(HOM)计划,旨在通过分配一个层次的特征融合和预测顺序的原因。我们在三个基准测试(桌面,室内和垃圾箱环境)上评估了我们的方法,并实现了最先进的(SOTA)性能。可在https://sites.google.com/view/uoais上获得用于拾取遮挡对象、代码和数据集的机器人演示
2022-02-28 cs.CV cs.RO