Delving into Localization Errors for Monocular 3D Object Detection
The University of Sydney(悉尼大学);The Hong Kong University of Science and Technology(香港科技大学);SenseTime Research(商汤科技研究院);Dalian University of Technology(大连理工大学)
从单目图像中估计3D边界框是自动驾驶中的一个重要组成部分,而从此类数据中准确检测3D目标检测是非常具有挑战性的。在这项工作中,通过密集的诊断实验,我们量化了每个子任务引入的影响,发现“定位误差”是限制单目3D检测的重要因素。此外,我们还调查了本地化错误背后的原因,分析了它们可能带来的问题,并提出了三个策略。首先,我们重新审视2D限界框的中心与3D对象的投影中心之间的不对准,这是导致低定位精度的重要因素。其次,我们观察到,用现有技术准确定位遥远的物体几乎是不可能的,而这些样本会误导学习网络。为此,我们建议从训练集中删除此类样本,以提高检测器的整体性能。最后,我们还提出了一种新的3D IoU面向损失的对象的大小估计,这是不受“定位误差”。我们在KITTI数据集上进行了大量的实验,所提出的方法实现了实时检测,并大大优于以前的方法。该守则将在https://github.com/xinzhuma/monodle上提供。
2021-03-30 cs.CV
Cascade-DETR: Delving into High-Quality Universal Object Detection
ETH Zürich(苏黎世联邦理工学院);The Hong Kong University of Science and Technology(香港科技大学)
针对Transformer目标检测方法跨域竞争力弱、定位精度不足的问题,提出Cascade-DETR,通过级联注意力层和IoU查询评分机制提升性能,还构建了UDB10跨域基准,在多数据集上取得显著提升。
2023-07-20 cs.AI cs.CV
U-HRNet: Delving into Improving Semantic Representation of High Resolution Network for Dense Prediction
Baidu VIS(百度视觉技术部)
高分辨率和高级语义表示对于密集预测都至关重要。经验上,低分辨率特征图通常实现更强的语义表示,而高分辨率特征图通常可以更好地识别边缘等局部特征,但包含较弱的语义信息。现有的最先进的框架,如HRNet,保持低分辨率和高分辨率特征图并行,并在不同分辨率之间反复交换信息。但我们认为,最低分辨率的特征图往往包含最强的语义信息,需要经过更多的层才能与高分辨率的特征图融合,而对于高分辨率的特征图,每个卷积层的计算成本非常大,不需要经过这么多层。因此,我们设计了一个U形高分辨率网络(U-HRNet),它在具有最强语义表示的特征图之后添加了更多的阶段,并放松了HRNet中所有分辨率都需要并行计算的约束。更多的计算分配给低分辨率的特征图,这显着提高了整体的语义表示。U-HRNet是HRNet骨干的替代品,可以在完全相同的训练和推理设置下,在几乎不增加计算量的情况下,对多个语义分割和深度预测数据集进行显著改进。代码可在PaddleSeg上获得:https://github.com/PaddlePaddle/PaddleSeg。
2022-10-13 cs.CV
Delving into Crispness: Guided Label Refinement for Crisp Edge Detection
National University of Defense Technology(国防科技大学)
针对基于学习的边缘检测易产生粗边缘的问题,发现噪声标签是主因,提出Canny引导的标签精炼方法以训练清晰边缘检测器,显著提升了清晰度及下游任务性能。
2023-06-27 cs.CV
BoxSup: Exploiting Bounding Boxes to Supervise Convolutional Networks for Semantic Segmentation
Microsoft Research(微软研究院)
最近领先的语义分割方法依赖于使用人工注释的像素级分割掩码训练的深度卷积网络。这种像素精确的监督需要昂贵的标记工作,并限制了通常受益于更多训练数据的深度网络的性能。在本文中,我们提出了一种方法,达到竞争力的准确性,但只需要容易获得的限界框注释。其基本思想是在自动生成区域建议和训练卷积网络之间进行切换。这两个步骤逐渐恢复分割掩码以改善网络,反之亦然。我们的方法称为BoxSup,仅由框监督产生有竞争力的结果,与相同设置下完全由掩码监督的强基线相当。通过利用大量的边界框,BoxSup进一步释放了深度卷积网络的力量,并在PASCAL VOC 2012和PASCAL-CONTEXT上产生了最先进的结果。
2015-05-18 cs.CV
Multi-scale Cell Instance Segmentation with Keypoint Graph based Bounding Boxes
Rutgers University(罗格斯大学);JD Digits(京东数字科技);Lieber Institute for Brain Development(利伯大脑发育研究所)
大多数现有方法直接处理细胞实例分割问题,而不依赖于额外的检测框。由于缺乏对物体的全局理解,这些方法通常无法分离接触细胞。相比之下,基于框的实例分割通过将目标检测与分割相结合来解决这个问题。然而,现有的方法通常利用基于锚盒的检测器,这将导致较差的实例分割性能由于类不平衡的问题。本文提出了一种新的基于盒的细胞实例分割方法。特别地,我们首先通过关键点检测来检测细胞的五个预定义点。然后,我们根据关键点图对这些点进行分组,并随后提取每个单元的限界框。最后,在边界框内的特征图上执行单元分割。我们验证了我们的方法在两个细胞数据集与不同的对象形状,经验证明我们的方法相比,其他实例分割技术的优越性。代码可在:https://github.com/yijingru/KG_Instance_Segmentation.
2019-07-25 cs.CV
Learning Class-Agnostic Pseudo Mask Generation for Box-Supervised Semantic Segmentation
Harbin Institute of Technology(哈尔滨工业大学)
最近,几种弱监督学习方法已经致力于利用限界框监督来训练深度语义分割模型。大多数现有方法通常利用通用提议生成器(例如,密集CRF和MCG)以产生用于进一步训练分割模型的增强的分割掩模。然而,这些建议生成器是通用的,并且不是专门为框监督的语义分割设计的,从而为改进分割性能留下了一些余地。在本文中,我们的目标是寻求一个更准确的基于学习的类无关的伪掩码生成器定制的框监督语义分割。为此,我们采用像素级注释的辅助数据集,其中类标签与框注释数据集的标签不重叠。为了从辅助数据集学习伪掩码生成器,我们提出了一种双层优化公式。特别地,下部子问题用于学习框监督的语义分割,而上部子问题用于学习最优的类无关伪掩码生成器。然后可以将学习的伪分割掩码生成器部署到框注释数据集,以改进弱监督语义分割。在PASCAL VOC 2012数据集上的实验表明,学习的伪掩码生成器在提高分割性能方面是有效的,我们的方法可以进一步缩小框监督模型和全监督模型之间的性能差距。我们的代码将在https://github.com/Vious/LPG_BBox_Segmentation上公开。
2022-03-02 cs.CV
BoxNet: Deep Learning Based Biomedical Image Segmentation Using Boxes Only Annotation
University of Notre Dame(圣母大学);The Hong Kong Polytechnic University(香港理工大学);The Chinese University of Hong Kong(香港中文大学)
近年来,深度学习(DL)方法已成为生物医学图像分割的有力工具。然而,通常需要高注释工作量和成本才能为DL模型获取足够的生物医学训练数据。为了减轻人工标注的负担,在本文中,我们提出了一种新的弱监督DL方法的生物医学图像分割仅使用框注释。首先,我们开发了一种方法,结合图搜索(GS)和DL从框注释生成精细的对象掩模,其中DL使用框注释来计算GS的粗略分割,然后GS被应用于定位最佳对象边界。在掩码生成过程中,我们仔细地利用信息框注释过滤掉潜在的错误,然后使用生成的掩码训练一个准确的DL分割网络。对组织学图像中的腺体分割、超声图像中的淋巴结分割和电子显微镜图像中的真菌分割进行的大量实验表明,我们的方法比最著名的最先进的弱监督DL方法具有更好的性能,并且能够实现(1)与完全监督DL方法相比几乎相同的准确度,(2)在相似的注释时间下显著更好的结果,以及(3)在各种应用中的鲁棒性能。
2018-06-02 cs.CV
Medical image segmentation with imperfect 3D bounding boxes
Philips AI Research(飞利浦人工智能研究院)
高质量医学图像分割算法的发展依赖于具有像素级标签的大数据集的可用性。收集这样的数据集的挑战,特别是在3D体积的情况下,促使开发可以从其他类型的标签中学习的方法,这些标签的获取成本很低,例如边界框。我们专注于3D医学图像与其相应的3D边界框被认为是一系列的每切片非紧的2D边界框。虽然目前的弱监督方法,使用2D边界框作为弱标签可以应用于医学图像分割,我们表明,他们的成功是有限的情况下,当假设的边界框的紧密性打破。我们提出了一种新的限界框校正框架,该框架在一小部分像素级注释上进行训练,以提高较大的非紧密限界框注释集的紧密性。我们的解决方案的有效性证明了通过评估一个已知的弱监督分割方法与建议的限界框校正算法。当我们的解决方案提高了紧密性时,弱监督分割的结果变得更接近于全监督分割的结果。
2021-08-06 cs.CV
BoxSnake: Polygonal Instance Segmentation with Box Supervision
Tsinghua University(清华大学);Tsinghua Shenzhen International Graduate School(清华大学深圳国际研究生院);Tencent AI Lab(腾讯AI Lab)
针对现有框监督实例分割多聚焦掩码框架的问题,提出BoxSnake端到端训练技术,通过基于点的一元损失和距离感知成对损失,首次实现仅用框标注的多边形实例分割,性能更优且代码已公开。
2023-07-24 cs.AI cs.CV
OBSeg: Accurate and Fast Instance Segmentation Framework Using Segmentation Foundation Models with Oriented Bounding Box Prompts
State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, Chinese Academy of Sciences(多模态人工智能系统国家重点实验室,自动化研究所,中国科学院);School of Artificial Intelligence, University of Chinese Academy of Sciences(人工智能学院,中国科学院大学)
OBSeg通过引入定向边界框提示,提升了实例分割的准确性和速度,同时优化了轻量级基础模型的性能。
2024-09-29 cs.CV
Weakly-supervised Instance Segmentation via Class-agnostic Learning with Salient Images
Huazhong University of Science and Technology(华中科技大学);VIVO Inc.(维沃移动通信有限公司)
人类具有很强的类无关对象分割能力,能够精确地勾画出未知对象的边界,这促使我们提出了一种基于框监督类无关对象分割(BoxCaseg)的弱监督实例分割解决方案。BoxCaseg模型是以多任务学习方式使用框监督图像和显着图像进行联合训练的。精细注释的显著图像为框监督图像提供了类别不可知和精确的对象定位指导。通过一种新的合并和丢弃策略来细化由预训练的BoxCaseg模型预测的对象掩码,作为代理地面实况,以训练Mask R-CNN进行弱监督实例分割。仅使用$7991$显著图像,弱监督Mask R-CNN与PASCAL VOC上的全监督Mask R-CNN相当,并且显着优于COCO上以前最先进的框监督实例分割方法。源代码、预训练模型和数据集可在\url{https://github.com/hustvl/BoxCaseg}获得。
2021-04-04 cs.CV
Box2Mask: Box-supervised Instance Segmentation via Level-set Evolution
Zhejiang University(浙江大学);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院);The Second Affiliated Hospital Zhejiang University School of Medicine(浙江大学医学院附属第二医院);The Hong Kong Polytechnic University(香港理工大学)
与使用逐像素掩模标签的完全监督方法相反,框监督的实例分割利用简单的框注释,这最近引起了越来越多的研究关注。本文提出了一种新的单次实例分割方法,即Box 2 Mask,它将经典的水平集进化模型集成到深度神经网络学习中,仅用限界框监督来实现精确的掩码预测。具体地说,输入图像及其深度特征都被用来隐式地演化水平集曲线,并且基于像素亲和核的局部一致性模块被用来挖掘局部上下文和空间关系。两种类型的单级框架,即,提出了基于CNN和基于transformer的水平集演化框架,用于盒监督实例分割,每个框架由三个基本部分组成:实例感知解码器、盒级匹配分配和水平集演化。通过最小化水平集能量函数,每个实例的掩模图可以在其限界框注释内迭代地优化。五个具有挑战性的测试平台上的实验结果,涵盖一般场景,遥感,医疗和场景文本图像,展示了我们提出的Box 2 Mask方法的盒监督实例分割的出色性能。特别是,通过Swin-Transformer大型骨干网,我们的Box 2 Mask在COCO上获得了42.4%的掩码AP,这与最近开发的完全掩码监督方法相当。该代码可从以下网址获得:https://github.com/LiWentomng/boxlevelset。
2022-12-03 cs.CV
Weakly Supervised Image Segmentation Beyond Tight Bounding Box Annotations
Horizon Med Innovation, Inc.(Horizon Med创新公司);Shenzhen SiBright Co., Ltd.(深圳思博瑞特有限公司)
现有的弱监督图像分割方法通常在紧限界框监督下获得较高的分割性能,而在松边界框监督下分割性能会大大下降。然而,与松散的限界框相比,紧密的限界框对边界框四边的精确位置有着严格的要求,其获取难度要大得多。为了解决这个问题,本研究调查是否有可能保持良好的分割性能时,松散的边界框作为监督。为了这个目的,这项工作扩展了我们以前的并行变换为基础的多实例学习(MIL)紧密的限界框监督整合MIL策略的基础上极变换,以协助图像分割。所提出的基于极坐标变换的MIL公式适用于紧边界框和松边界框,其中正袋被定义为限界框的极坐标线中的像素,其中一个端点位于由框包围的对象内部,另一个端点位于框的四边之一。此外,加权平滑最大值近似被引入到合并的观察,更接近的极坐标变换的原点的像素更有可能属于在框中的对象。在两个公共数据集上,当边界框在不同的精度水平时,使用骰子系数对所提出的方法进行了评估。结果表明,所提出的方法实现了最先进的性能,在所有精度水平的边界框,是强大的松散的限界框注释中的轻度和中度错误。代码可在\url{https://github.com/wangjuan313/wsis-beyond-tightBB}上获得。
2023-01-28 cs.CV
Bounding Box Embedding for Single Shot Person Instance Segmentation
Octi Inc.(Octi公司)
我们提出了一个自下而上的方法,使用单镜头模型的对象实例分割的任务。该模型采用了一个完全卷积的网络,该网络经过训练,可以预测类分割掩码以及每个像素所属的对象实例的边界框。这允许我们将对象像素分组到各个实例中。我们的网络架构基于DeepLabv3+模型,只需要最少的额外计算就可以实现像素级的实例分配。我们应用我们的方法的任务的人实例分割,一个共同的任务相关的许多应用程序。我们用COCO数据训练我们的模型,并报告COCO实例分割任务中person类的竞争结果。
2018-07-20 cs.CV
Oriented Boxes for Accurate Instance Segmentation
Research MVTec Software GmbH(MVTec软件公司(Research MVTec Software GmbH));Munich, Germany(德国慕尼黑(此处仅为地址信息,不应提取为机构,原文本中机构粒度已满足,地址部分按要求忽略))
最先进的实例感知语义分割算法使用轴对齐的边界框作为中间处理步骤来推断最终的实例掩码输出。由于以下原因,这通常导致粗糙和不准确的遮罩建议:轴对齐框具有高的背景与前景像素比,遮罩目标相对于底层框有很大的变化,并且相邻实例经常到达感兴趣的实例遮罩的轴对齐限界框。在这项工作中,我们克服了这些问题,提出使用定向框作为基础来推断实例掩码。我们发现,面向实例分割提高了掩模预测,特别是当对象对角对齐,接触,或相互重叠。我们在D2S和Screws数据集上评估了我们的模型,结果表明,与使用轴对齐边界框的实例分割相比,我们可以分别将掩模精度提高10%和12% mAP。在新引入的Pill Bags数据集上,我们仅使用10%的掩码注释就优于基线。
2020-03-13 cs.CV
Box2Mask: Weakly Supervised 3D Semantic Instance Segmentation Using Bounding Boxes
University of Tübingen(图宾根大学);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);ETH Zürich(苏黎世联邦理工学院)
本文提出 Box2Mask,利用三维边界框标签实现弱监督三维语义实例分割,通过霍夫投票直接预测边界框参数并专门聚类,在 ScanNet 上领先其他弱监督方法并接近全监督性能。
2023-10-31 cs.CV
BoxTeacher: Exploring High-Quality Pseudo Labels for Weakly Supervised Instance Segmentation
Horizon Robotics(地平线机器人);Huazhong University of Science & Technology(华中科技大学)
与边界框相比,使用逐像素分割标记对象需要大量的人力。大多数现有的弱监督实例分割方法集中在设计启发式损失与先验的边界框。同时,我们发现框监督方法可以产生一些精细的分割掩模,我们想知道检测器是否可以从这些精细掩模中学习,而忽略低质量的掩模。为了回答这个问题,我们提出了BoxTeacher,这是一个高效的端到端训练框架,用于高性能弱监督实例分割,它利用一个复杂的教师来生成高质量的掩码作为伪标签。考虑到大量噪声掩模对训练的影响,本文提出了一种掩模感知置信度来估计伪掩模的质量,并提出了噪声感知像素损失和噪声降低亲和度损失来自适应地优化具有伪掩模的学生。大量的实验可以证明所提出的BoxTeacher的有效性。在没有花哨的情况下,BoxTeacher在具有挑战性的COCO数据集上分别使用ResNet-50和ResNet-101显著实现了35.0掩码AP和36.5掩码AP,这比以前的最先进方法有很大的优势,并弥合了框监督和掩码监督方法之间的差距。代码和模型将在https://github.com/hustvl/BoxTeacher上提供。
2023-03-17 cs.CV
LooseCut: Interactive Image Segmentation with Loosely Bounded Boxes
University of South Carolina(南卡罗来纳大学);Zhejiang University(浙江大学);Utah State University(犹他州立大学)
从图像中交互地分割感兴趣的前景对象的一种流行方法是注释覆盖前景对象的限界框。然后,执行二进制标记以实现精细分割。用于这种交互式图像分割的现有算法的一个主要问题是它们对紧密包围前景对象的输入限界框的偏好。这增加了注释负担,并阻止这些算法利用自动检测到的边界框。在本文中,我们开发了一个新的LooseCut算法,可以处理的情况下,输入的限界框只松散地覆盖前景对象。我们提出了一个新的马尔可夫随机场(MRF)模型分割松散的有界框,包括一个全局相似性约束,以更好地区分前景和背景,和一个额外的能量项,以鼓励一致的标签相似外观的像素。这个MRF模型,然后解决了迭代最大流算法。在实验中,我们在三个公开的图像数据集中评估LooseCut,并将其性能与几种最先进的交互式图像分割算法进行比较。我们还表明,LooseCut可用于增强无监督视频分割和图像显著性检测的性能。
2015-11-22 cs.CV
BoxSeg: Quality-Aware and Peer-Assisted Learning for Box-supervised Instance Segmentation
HKUST(香港科技大学);DJI(大疆创新);Tencent(腾讯)
本文提出BoxSeg框架,通过质量感知模块和同伴辅助复制粘贴模块提升框监督实例分割中伪掩码质量,实验证明其优于现有方法且模块可迁移改进其他模型。
2025-04-07 cs.CV
BBAM: Bounding Box Attribution Map for Weakly Supervised Semantic and Instance Segmentation
Seoul National University(首尔大学);ASRI(先进技术研究中心);INMC(纳米材料与技术研究所);ISRC(智能系统研究中心);Institute of Engineering Research(工程研究院)
使用限界框注释的弱监督分割方法专注于从包含对象的每个框获得像素级掩模。现有的方法通常依赖于类不可知的掩码生成器,其对图像固有的低级别信息进行操作。在这项工作中,我们利用更高层次的信息,从一个训练有素的对象检测器的行为,通过寻找图像的最小区域,从对象检测器产生几乎相同的结果,因为它从整个图像。这些区域构成了边界框属性图(BBAM),其在其限界框中识别目标对象,从而充当弱监督语义和实例分割的伪地面实况。这种方法在弱监督语义和实例分割方面明显优于PASCAL VOC和MS COCO基准测试中的最新可比技术。此外,我们还提供了对我们方法的详细分析,从而更深入地了解BBAM的行为。
2021-03-16 cs.CV
TS2C: Tight Box Mining with Surrounding Segmentation Context for Weakly Supervised Object Detection
University of Illinois at Urbana–Champaign(伊利诺伊大学厄巴纳-香槟分校);Fudan University(复旦大学);IBM T.J. Watson Research Center(IBM托马斯·J·沃森研究中心);National University of Singapore(新加坡国立大学)
这项工作提供了一个简单的方法来发现紧密的对象边界框,只有图像级的监督,称为紧盒挖掘与周围的分割上下文(TS2C)。我们观察到,通过当前的多实例学习方法挖掘的对象候选者通常被困在有区别的对象部分,而不是整个对象。TS2C利用从弱监督分割中获得的周围分割上下文来抑制这种低质量的分散注意力的候选项并提高高质量的候选项。具体来说,TS2C是基于理想边界框的两个关键属性开发的:1)高纯度,意味着框中的大多数像素具有高对象响应,以及2)高完整性,意味着框全面覆盖高对象响应像素。利用这种新颖且可计算的标准,可以发现更紧密的候选者以用于学习更好的对象检测器。通过TS2C,我们在VOC 2007和2012基准上获得了48.0%和44.4%的mAP分数,这是最新的技术水平。
2018-07-13 cs.CV
Object-Guided Instance Segmentation With Auxiliary Feature Refinement for Biological Images
Rutgers University(罗格斯大学);Tencent Hippocrates Research Labs(腾讯希波克拉底研究实验室);Lieber Institute for Brain Development(利伯大脑发育研究所)
实例分割在许多生物学应用中具有重要意义,如神经细胞相互作用的研究、植物表型分析以及定量测量细胞对药物处理的反应等。本文提出了一种新的基于框的实例分割方法。基于框的实例分割方法通过边界框捕获对象,然后在每个限界框区域内执行单独的分割。然而,现有的方法很难区分目标从它的相邻物体在同一个限界框区域内,由于它们的相似的纹理和低对比度的边界。针对这一问题,本文提出了一种基于对象引导的实例分割方法。我们的方法首先检测对象的中心点,然后预测的限界框参数。为了执行分割,对象引导的粗到细分割分支与检测分支一起构建。分割分支重用对象特征作为指导,以将目标对象与同一限界框区域内的相邻对象分离。为了进一步提高分割质量,我们设计了一个辅助特征细化模块,该模块在边界区域中密集采样和细化逐点特征。在三个生物图像数据集上的实验结果证明了该方法的优越性。该代码将在https://github.com/yijingru/ObjGuided-Instance-Segmentation上提供。
2021-06-14 cs.CV
Delving into the Cyclic Mechanism in Semi-supervised Video Object Segmentation
Shanghai Jiao Tong University(上海交通大学);Adobe Research(奥多比研究院);Tencent Youtu Lab(腾讯优图实验室);Multimedia University(多媒体大学)
在本文中,我们解决了当前视频对象分割管道的几个不足之处。首先,一个循环机制被纳入到标准的半监督过程,以产生更强大的表示。通过依赖于准确的参考掩模在起始帧中,我们表明,可以减轻错误传播问题。接下来,我们介绍一个简单的梯度校正模块,它将离线管道扩展到在线方法,同时保持前者的效率。最后,我们开发了基于梯度校正的周期有效感受野(cycle-ERF),为分析特定目标感兴趣区域提供了一个新的视角。我们对DAVIS 17和Youtube-VOS的挑战性基准进行了全面的实验,证明了循环机制有利于分割质量。
2020-10-23 cs.CV
Box-supervised Instance Segmentation with Level Set Evolution
Zhejiang University(浙江大学);Alibaba Damo Academy(阿里巴巴达摩院);The Hong Kong Polytechnic University(香港理工大学)
与使用像素掩码标签的完全监督方法相比,框监督实例分割利用了简单的框注释,这最近吸引了大量的研究关注。本文提出了一种新的单镜头框监督实例分割方法,该方法将经典的水平集模型与深度神经网络巧妙地结合起来。具体来说,我们提出的方法通过连续的Chan-Vese能量函数以端到端的方式迭代学习一系列水平集。简单的掩模监督SOLOv 2模型适用于将实例感知掩模映射预测为每个实例的水平集。该方法以输入图像及其深度特征作为输入数据,利用盒投影函数得到初始边界,并对水平集曲线进行演化。通过最小化完全可微能量函数,每个实例的水平集在其对应的限界框注释内迭代优化。四个具有挑战性的基准测试的实验结果表明,我们提出的方法在各种场景下的鲁棒实例分割的领先性能。该代码可从以下网址获取:https://github.com/LiWentomng/boxlevelset。
2022-07-19 cs.CV
Deep Level Set for Box-supervised Instance Segmentation in Aerial Images
Zhejiang University(浙江大学);Alibaba-Zhejiang University Joint Research Institute of Frontier Technologies(阿里巴巴-浙江大学前沿技术联合研究院)
框监督实例分割是近年来研究的热点,而在航空图像领域的研究还很少。与一般的目标集合相比,空中目标具有较大的类内方差和类间相似性,且背景复杂。此外,在高分辨率的卫星图像中有许多微小的物体。这使得目前的成对仿射建模方法不可避免地涉及噪声监督,结果较差。为了解决这些问题,我们提出了一种新的空中实例分割方法,该方法驱动网络以端到端的方式学习一系列仅具有框注释的空中对象的水平集函数。水平集方法通过精心设计的能量函数,将目标分割视为曲线演化,而不是学习两两相似度,从而能够准确地恢复目标边界,并防止难以区分的背景和相似目标的干扰。实验结果表明,该方法优于最先进的框监督实例分割方法。源代码可在https://github.com/LiWentomng/boxlevelset上获得。
2021-12-07 cs.CV
BoxInst: High-Performance Instance Segmentation with Box Annotations
The University of Adelaide(阿德莱德大学)
我们提出了一种高性能的方法,可以实现掩码级的实例分割,只有边界框注释的训练。虽然这种设置已经在文献中进行了研究,但在这里,我们用简单的设计(例如,Hsu等人(2019)之前报告的最佳面罩AP为21.1%,COCO数据集为31.6%。我们的核心思想是重新设计实例分割中的学习掩码损失,而不修改分割网络本身。新的损失函数可以在不依赖于掩码注释的情况下监督掩码训练。这可以通过两个损失项来实现,即,1)使地面实况框的投影与预测掩码之间的差异最小化的替代项; 2)可以利用具有相似颜色的邻近像素很可能具有相同类别标签的先验的成对损失。实验表明,重新设计的面具损失可以产生令人惊讶的高质量的实例面具,只有框注释。例如,在不使用任何掩码注释的情况下,使用ResNet-101主干和3x训练时间表,我们在COCO测试-开发分割上实现了33.2%的掩码AP(而完全监督对应的掩码AP为39.1%)。我们在COCO和Pascal VOC上的实验结果表明,我们的方法大大缩小了弱监督和全监督实例分割之间的性能差距。代码可在:https://git.io/AdelaiDet
2020-12-03 cs.CV
Active Learning Enabled Low-cost Cell Image Segmentation Using Bounding Box Annotation
College of Electrical Engineering, Zhejiang University(浙江大学电气工程学院)
本文提出结合YOLOv8与SAM的YOLO-SAM边界框监督方法,并集成MC DropBlock主动学习框架,以极低标注成本实现细胞图像分割,实验显示可节省90%以上标注时间。
2024-05-02 cs.CV
Prompt learning with bounding box constraints for medical image segmentation
École de Technologie Supérieure;Mila - Quebec AI Institute;Polytechnique Montréal
本文提出一种仅用边界框标注自动生成提示的弱监督医学图像分割框架,结合基础模型与框约束优化,在有限数据下平均Dice达84.90%,优于现有全监督和弱监督方法。
2025-07-03 cs.CV
Box Supervised Video Segmentation Proposal Network
Ludwig-Maximilians-University(路德维希-马克西米利安大学);Hensoldt Analytics(亨索尔特分析公司)
视频对象分割(VOS)已经成为各种全监督和自监督方法的目标。虽然全监督方法表现出出色的结果,但不使用像素级地面实况的自监督方法引起了人们的广泛关注。然而,自我监督的方法造成了显着的性能差距。框级注释为图像分割提供了标记工作和结果质量之间的平衡折衷,但尚未被用于视频域。在这项工作中,我们提出了一个框监督的视频对象分割建议网络,它利用了固有的视频属性。我们的方法采用了以下方式的对象运动:首先,运动计算使用双向时间差和一种新的限界框引导的运动补偿。其次,我们引入了一种新的运动感知的亲和力损失,鼓励网络预测积极的像素对,如果它们共享相似的运动和颜色。该方法在DAVIS和Youtube-VOS数据集上的性能优于最先进的自监督基准16.4%和6.9%的$\mathcal{J}$和$\mathcal{F}$分数以及大多数完全监督方法,而无需强加网络架构规范。我们对数据集进行了广泛的测试和消融,证明了我们方法的稳健性。
2022-02-16 cs.CV
Optimization of MedSAM model based on bounding box adaptive perturbation algorithm
School of Computer Science and Engineering, Northeastern University(东北大学计算机科学与工程学院)
针对MedSAM在扰动窗口约束和缩小边界框提示下分割小目标及复杂结构时的不足,提出边界框自适应扰动算法优化训练,以减少分割错误并提升鲁棒性。
2025-03-25 cs.CV
Accelerating the creation of instance segmentation training sets through bounding box annotation
ICTEAM UCLouvain(鲁汶大学信息与通信技术、电子与应用数学研究所)
在特定的应用环境中部署CNN时,收集图像注释仍然是一个很大的负担。当注释包含在覆盖对象实例的二进制掩码中时,情况尤其如此。我们的工作提出了三个步骤来描绘实例,基于半自动的方法:(1)一个对象的极端点(最左、最右、顶部、底部像素)被手动定义,从而提供对象边界框,(2)使用通用自动分割工具如Deep Extreme Cut将有界对象转换为匹配极值点的分割掩模;以及(3)人工校正预测掩模。然后,研究了各种策略,以平衡边界框定义和掩码校正之间的人工注释资源,包括当实例掩码的校正基于其与其他实例边界框的重叠而被优先考虑时,或者在部分注释数据集上训练的实例分割模型的结果。我们的实验研究认为,teamsport运动员分割任务,并衡量Panoptic-Deeplab实例分割模型的准确性如何取决于人类注释资源分配策略。它揭示了极端点的唯一定义导致模型精度,如果通过完全手动描绘实例来定义掩码,则需要多达10倍的资源。当以更高的准确度为目标时,对于相同的经训练的实例分割模型准确度,与实例的系统逐帧校正相比,在训练集实例中优先考虑掩模校正也被示出为节省高达80%的校正注释资源。
2022-05-23 cs.CV
Polar Transformation Based Multiple Instance Learning Assisting Weakly Supervised Image Segmentation With Loose Bounding Box Annotations
Delta Micro Technology, Inc.(达美微科技公司);Shenzhen SiBright Co. Ltd.(深圳硅基仿生科技有限公司)
本文研究了基于松散限界框监督的弱监督图像分割。提出了一种基于极坐标变换的多示例学习策略,以辅助松散包围盒作为监督的图像分割。在该策略中,引入加权平滑最大值近似,以结合观察到的像素更接近极坐标变换的原点更可能属于限界框中的对象。在公共医疗数据集上使用Dice系数对所提出的方法进行了评估。结果表明其优越的性能。代码可在\url{https://github.com/wangjuan313/wsis-polartransform}上获得。
2022-03-03 cs.CV cs.LG eess.IV
Deeply Shape-guided Cascade for Instance Segmentation
Johns Hopkins University(约翰斯·霍普金斯大学);Shanghai Jiao Tong University(上海交通大学)
一个成功的级联架构,精确的实例分割的关键是充分利用之间的关系,限界框检测和掩码分割跨多个阶段。尽管现代实例分割级联实现了领先的性能,但是它们主要利用单向关系,即,掩模分割可以受益于迭代地细化的限界框检测。在本文中,我们研究了另一个方向,即,如何在级联架构中利用精确掩码分割进行限界框检测。提出了一种深度形状引导的级联算法(DSC),用于实例分割,该算法将前一阶段模板预测中提取的形状引导信息迭代地应用于当前阶段的限界框检测.它通过引入三个关键组件在两个任务之间形成双向关系:(1)初始形状指导:具有生成类别不可知掩码能力的掩码监督区域建议网络(mPRN);(2)显式形状指导:一种掩模引导的感兴趣区域(RoI)特征提取器,其在前一阶段采用掩模分割以在当前阶段将特征提取集中在与感兴趣实例的形状而不是矩形ROI很好地对准的区域内;(3)隐式形状引导:特征融合操作,其将前一阶段的中间掩模特征馈送到当前阶段的限界框头部。实验结果表明,DSC在COCO测试开发平台上的性能明显优于现有的实例分割级联混合任务级联(HTC),达到了51.8个框AP和45.5个掩码AP。代码发布于:https://github.com/hding2455/DSC。
2021-03-27 cs.CV
Boosting Box-supervised Instance Segmentation with Pseudo Depth
Zhejiang University of Technology(浙江工业大学);Zhejiang University(浙江大学);vivo(维沃(vivo));Northwestern Polytechnical University(西北工业大学);Swansea University(斯旺西大学)
针对框监督难以区分框内前后景的问题,本文引入训练期伪深度图、深度预测头及深度一致性匹配,显著提升实例分割性能。
2024-03-02 cs.CV
Segmentation-Based Bounding Box Generation for Omnidirectional Pedestrian Detection
Hitachi, Ltd.(日立制作所)
针对全向图像中行人任意旋转导致检测退化的问题,本文利用现有大规模数据集的分割标注生成紧密贴合的旋转边界框训练检测器,并提出伪鱼眼畸变增强,在无需全向训练图像和额外标注的情况下显著提升检测性能。
2023-06-04 cs.CV
SIM: Semantic-aware Instance Mask Generation for Box-Supervised Instance Segmentation
The Hong Kong Polytechnic University(香港理工大学)
仅使用限界框注释的弱监督实例分割最近引起了很多研究关注。目前的大多数努力都利用低级别的图像特征作为额外的监督,而没有明确地利用对象的高级语义信息,当前景对象与背景或附近的其他对象具有相似的外观时,这将变得无效。我们提出了一个新的框监督实例分割方法,通过开发一个语义感知的实例掩码(SIM)生成范式。而不是严重依赖于相邻像素之间的局部成对的亲和力,我们构建了一组类别的特征质心作为原型来识别前景对象,并为它们分配语义级的伪标签。考虑到语义感知原型无法区分相同语义的不同实例,我们提出了一种自校正机制,以纠正错误激活的区域,同时增强正确的。此外,为了处理对象之间的遮挡,我们为弱监督实例分割任务定制了复制-粘贴操作,以增加具有挑战性的训练数据。大量的实验结果表明,我们提出的SIM方法比其他国家的最先进的方法的优越性。源代码:https://github.com/lslrh/SIM。
2023-03-14 cs.CV
Sketchy Bounding-box Supervision for 3D Instance Segmentation
PCA Lab, College of Computer Science, Nankai University(南开大学计算机科学学院PCA实验室);School of Electronics and Information, Northwestern Polytechnical University(西北工业大学电子与信息学院);State Key Laboratory for Novel Software Technology, Nanjing University(南京大学新型软件技术国家重点实验室);School of Intelligence Science and Technology, Nanjing University(南京大学智能科学与技术学院)
针对弱监督3D实例分割中边界框不准确的问题,提出Sketchy-3DIS框架,联合学习伪标签器和分割器,在ScanNetV2和S3DIS上达到最先进性能。
2025-05-22 cs.CV
FSPGD: Rethinking Black-box Attacks on Semantic Segmentation
Korea University(高丽大学);Chungbuk National University(忠北国立大学)
本研究针对语义分割黑盒攻击的局限提出FSPGD攻击方法,采用双损失设计,在多数据集及不同主干网络上实现最优迁移性能,其生成样本可提升对抗训练的鲁棒性。
2026-09-07 cs.CV
When 3D Bounding-Box Meets SAM: Point Cloud Instance Segmentation with Weak-and-Noisy Supervision
Australian National University(澳大利亚国立大学);The University of Queensland(昆士兰大学)
针对弱监督点云实例分割中边界框标注噪声导致性能退化的问题,提出CIP-WPIS方法,利用SAM的2D提示和3D几何先验生成高质量点级标签,在Scannet-v2和S3DIS上实现最先进性能。
2023-09-02 cs.CV
Object-Guided Instance Segmentation for Biological Images
Rutgers University(罗格斯大学);Tencent Hippocrates Research Labs(腾讯希波克拉底研究实验室);Lieber Institute for Brain Development(利伯大脑发育研究所)
生物图像的实例分割是研究目标行为和属性的基础。诸如对象的聚类、遮挡和粘附问题的挑战使得实例分割成为一项不平凡的任务。当前无框实例分割方法通常依赖于局部像素级信息。由于缺乏全局对象视图,这些方法易于过分割或欠分割。相反,基于框的实例分割方法将目标检测结合到分割中,在识别个体实例方面表现更好。本文提出了一种新的基于框的实例分割方法。主要是从对象的中心点定位对象的边界框。对象特征随后在分割分支中被重用,作为在RoI补丁内分离聚类实例的指南。通过实例归一化,该模型能够恢复目标对象的分布并抑制相邻附着对象的分布。因此,该模型在分割聚类对象,同时保留目标对象的细节表现出色。所提出的方法在三个生物数据集上实现了最先进的性能:细胞核,植物表型数据集和神经细胞。
2019-11-20 cs.CV
Towards Bounding-Box Free Panoptic Segmentation
SLAMcore Ltd.(SLAMcore有限公司);Imperial College London(伦敦帝国理工学院)
在这项工作中,我们介绍了一个新的无限界框网络(BBFNet)的全景分割。全景分割是无建议方法的理想问题,因为它已经需要每个像素的语义类标签。我们使用这种观察来利用现成的语义分割网络的类边界,并对其进行改进以预测实例标签。为了实现这一目标,BBFNet预测粗糙的分水岭水平,并使用它们来检测边界定义良好的大型候选实例。对于较小的实例,其边界不太可靠,BBFNet还通过Hough投票预测实例中心,然后通过均值漂移来可靠地检测小对象。一种新颖的三重丢失网络有助于合并碎片化的实例,同时细化边界像素。我们的方法与以前的全景分割工作不同,这些工作依赖于语义分割网络与基于限界框建议的计算成本高的实例分割网络(如Mask R-CNN)的组合,以使用专家混合(MoE)方法指导实例标签的预测。我们对Cityscapes和Microsoft COCO数据集进行了无提案方法的基准测试,并与其他基于MoE的方法表现出竞争力,同时在COCO数据集上优于现有的基于非提案的方法。我们使用不同的语义分割骨干我们的方法的灵活性。
2020-07-27 cs.CV cs.RO
1st Place Solution for the UVO Challenge on Image-based Open-World Segmentation 2021
Ecole des Ponts(法国国立路桥学校);Univ Gustave Eiffel(古斯塔夫·埃菲尔大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Grenoble INP(格勒诺布尔理工学院)
我们描述了我们的两个阶段的实例分割框架,我们用来竞争的挑战。我们的框架的第一阶段包括一个对象检测器,它生成边界框格式的对象建议。然后,将图像和检测到的边界框馈送到第二阶段,在第二阶段中,应用分割网络来分割边界框中的对象。我们以一种与类无关的方式训练所有网络。我们的方法在UVO 2021基于图像的开放世界分割挑战赛中获得第一名。
2021-10-19 cs.CV
Weakly-Supervised Semantic Segmentation by Learning Label Uncertainty
KU Leuven(鲁汶大学);ESAT-PSI(ESAT-PSI(鲁汶大学电子工程系信号处理与多媒体研究部))
自深度学习兴起以来,许多计算机视觉任务都取得了重大进展。然而,深度学习的缺点是它非常需要数据。特别是对于分割问题,训练深度神经网络需要以像素完美的图像标签形式进行密集监督,这是非常昂贵的。在本文中,我们提出了一个新的损失函数训练分割网络,只有一个小的子集的像素完美的标签,但利用弱注释的训练样本的形式廉价的边界框标签。与最近使用框到掩码建议生成器的作品不同,我们的损失训练网络学习边界框内的标签不确定性,可以利用它来执行在线引导(即将框转换为分割掩码),同时训练网络。我们评估了我们的方法对二进制分割任务,以及多类分割任务(城市景观车辆和人)。我们在一个只有18%像素完美和82%边界框标签的数据集上训练了每个任务,并将结果与在一个完全像素完美的数据集上训练的基线模型进行了比较。对于二进制分割任务,我们的方法实现了与基线模型一样好的IoU得分~98.33%,而对于多类任务,我们的方法与基线模型一样好(77.5 vs. 79.8 mIoU)。
2021-10-12 cs.CV
BoxVIS: Video Instance Segmentation with Box Annotations
The Hong Kong Polytechnic University(香港理工大学)
本文提出BoxVIS框架,通过STPA损失和大规模框标注数据集BVISD,以仅16%的标注成本实现与像素监督VIS相当的性能和更强泛化能力。
2023-07-12 cs.CV eess.IV
Learn to Segment Organs with a Few Bounding Boxes
Technical University of Munich(慕尼黑工业大学)
语义分割是医学领域中的一项重要任务,用于识别器官和病理等重要结构的准确范围和方向。深度神经网络可以通过利用来自大型标记良好的数据集的信息来很好地执行此任务。本文旨在提出一种方法,减轻了广泛的良好标记的数据集的必要性。该方法还通过基于限界框注释实现分割来解决半监督问题,从而避免了对完整像素级注释的需要。所提出的网络由基于单个U-Net的无分支架构组成,该架构仅使用该特定器官的4个示例注释来生成针对不可见人体器官的Few-Shot分割。通过交替地最小化用于原型学习的最近邻损失和用于分割学习的加权交叉熵损失来训练网络,以执行快速3D分割,中值分数为54.64%。
2019-09-17 cs.CV
AsyInst: Asymmetric Affinity with DepthGrad and Color for Box-Supervised Instance Segmentation
Tongji University(同济大学);The City University of New York(纽约城市大学);Johns Hopkins University(约翰斯·霍普金斯大学);Tsinghua University(清华大学)
弱监督实例分割是一个具有挑战性的任务。现有的方法通常使用边界框作为监督,并使用正则化损失项(例如用于实例分割的成对颜色亲和度损失)来优化网络。通过系统分析,我们发现常用的成对亲和度损失有两个局限性:(1)它适用于颜色亲和度,但导致其他模态(如深度梯度)的性能较差,(2)原始亲和度损失并不能阻止预期的琐碎预测,但实际上加速了这个过程,因为亲和度损失项是对称的。为了克服这两个限制,在本文中,我们提出了一种新的不对称的亲和力损失,它提供了对平凡的预测和概括以及从不同的方式与亲和力损失的惩罚。在提出的非对称亲和力损失的情况下,我们的方法在Cityscapes数据集上的性能优于最先进的方法,并且在掩模AP中的性能优于我们的基线方法3.5%。
2022-12-07 cs.CV
DiscoBox: Weakly Supervised Instance Segmentation and Semantic Correspondence from Box Supervision
University of Maryland, College Park(马里兰大学帕克分校);NVIDIA(英伟达);The University of Texas at Austin(德克萨斯大学奥斯汀分校);Caltech(加州理工学院)
我们介绍了DiscoBox,一个新的框架,共同学习实例分割和语义对应使用限界框监督。具体来说,我们提出了一个自我集成框架,其中实例分割和语义对应的结构化教师除了限界框监督共同指导。教师是一个结构化的能量模型,结合成对的潜力和跨图像的潜力,以模拟成对的像素关系内和跨框。最小化教师能量同时产生细化的对象掩码和类内对象之间的密集对应,它们被用作伪标签来监督任务网络,并为密集重复学习提供正/负对应对。我们展示了一种共生关系,这两项任务相互受益。我们的最佳模型在COCO实例分割上实现了37.9%的AP,超过了以前的弱监督方法,与监督方法相比具有竞争力。我们还获得了PASCAL VOC 12和PF-PASCAL上最先进的弱监督结果,并具有实时推理。
2021-06-05 cs.CV cs.LG
A Certified Radius-Guided Attack Framework to Image Segmentation Models
Huazhong University of Science and Technology(华中科技大学);Beijing Institute of Technology(北京理工大学);Illinois Institute of Technology(伊利诺伊理工学院)
针对图像分割模型易受对抗扰动影响的问题,提出认证半径引导攻击框架,利用像素认证半径设计白盒损失与黑盒PBGD攻击,实现渐近最优性能。
2023-04-05 cs.CR cs.CV cs.LG
Breaking the Box: Enhancing Remote Sensing Image Segmentation with Freehand Sketches
Huzhou University(湖州大学);Singapore University of Technology and Design(新加坡科技设计大学);University of Science and Technology of China(中国科学技术大学);Zhejiang University(浙江大学);KOKONI 3D, Moxin (Huzhou) Tech. Co., LTD.(墨芯(湖州)科技有限公司(KOKONI 3D))
本文提出草图提示方法、LTL-Sensing 数据集和带多输入提示传输模块的 LTL-Net,显著提升遥感零样本交互式分割精度与鲁棒性。
2025-03-15 cs.CV
Background-Aware Pooling and Noise-Aware Loss for Weakly-Supervised Semantic Segmentation
Yonsei University(延世大学)
我们解决的问题,弱监督语义分割(WSSS)使用限界框注释。虽然对象边界框是分割相应对象的良好指示器,但它们不指定对象边界,使得难以训练卷积神经网络(CNN)进行语义分割。我们发现,背景区域在图像中部分是感知一致的,这可以用来区分对象边界框内的前景和背景区域。为了实现这一想法,我们提出了一种新的池化方法,称为背景感知池化(BAP),它更侧重于使用注意力地图聚合边界框内的前景特征。这允许提取高质量的伪分割标签来训练CNN进行语义分割,但标签仍然包含噪声,特别是在对象边界处。为了解决这个问题,我们还引入了噪声感知损失(NAL),使网络不太容易受到错误标签的影响。实验结果表明,在PASCAL VOC 2012数据集上,使用我们的伪标签学习的性能已经超过了最先进的弱监督和半监督方法,NAL进一步提高了性能。
2021-04-02 cs.CV
OBBSeg: Irregular Lesion Segmentation under Oriented Bounding Box Annotations
CSSE, Shenzhen University(深圳大学计算机科学与软件学院);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所)
针对医学图像分割像素级标注瓶颈,提出OBBSeg中间监督范式,由有向边界框引导,联合编码空间范围与方向,引入掩码到OBB损失减轻矩形偏差,通过PAFE和DBFE增强前景表示抑制背景干扰,实验表明其性能优异。
2026-07-08 cs.CV
Bounding Box Tightness Prior for Weakly Supervised Image Segmentation
Delta Micro Technology, Inc.(Delta Micro Technology公司);Shenzhen SiBright Co. Ltd.(深圳西布莱特有限公司)
提出了一种基于紧限界框标注的弱监督图像分割方法。它提出了广义多示例学习(MIL)和平滑最大值逼近,以端到端的方式将限界框紧密性先验集成到深度神经网络中。在广义MIL中,正袋由具有一组不同角度的平行交叉线定义,负袋被定义为任何边界框之外的单个像素。光滑最大值逼近的两个变体,即,采用$α$ -softmax函数和$α$ -quasimax函数,克服了袋料预测中极大值函数引入的数值不稳定性。在两个公共医疗数据集上使用Dice系数对所提出的方法进行了评估。结果表明,它优于国家的最先进的方法。代码可在\url{https://github.com/wangjuan313/wsis-boundingbox}上获得。
2021-10-03 cs.AI cs.CV
BSNet: Box-Supervised Simulation-assisted Mean Teacher for 3D Instance Segmentation
University of Science and Technology of China(中国科学技术大学);Deep Space Exploration Lab(深空探测实验室)
提出BSNet,通过引入仿真辅助均值教师和局部-全局感知注意力机制,生成高质量伪标签,实现更精确的弱监督3D实例分割。
2024-03-22 cs.CV