Weakly Supervised Object Boundaries
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);Saarland University(萨尔大学)
现有技术的基于学习的边界检测方法需要大量的训练数据。由于标记对象边界是最昂贵的注释类型之一,因此需要放宽仔细注释图像的要求,以使训练更经济实惠并扩展训练数据的量。在本文中,我们提出了一种技术来生成弱监督注释,并表明,限界框注释本身就足以达到高质量的对象边界,而不使用任何对象特定的边界注释。通过提出的弱监督技术,我们在对象边界检测任务上实现了最佳性能,大大优于当前完全监督的最先进方法。
2015-11-24 cs.CV
The Devil is in the Channels: Mutual-Channel Loss for Fine-Grained Image Classification
Beijing University of Posts and Telecommunications(北京邮电大学);Lanzhou University of Technology(兰州理工大学);University of Surrey(萨里大学)
解决细粒度图像分类问题的关键是找到与细微视觉特征相对应的可区分区域和局部区域。已经取得了很大的进步,复杂的网络专门设计用于学习部件级区分特征表示。在本文中,我们展示了培养微妙的细节是可能的,而不需要过于复杂的网络设计或训练机制--一次损失就足够了。主要的技巧在于我们如何在早期深入研究各个功能通道,而不是从一个统一的功能图开始的惯例。建议的损失函数,称为互信道损失(MC-损失),由两个信道特定的组件:一个歧视性组件和一个分集组件。区分性组件通过新颖的通道式注意力机制迫使属于同一类的所有特征通道具有区分性。多样性组件另外约束通道,使得它们在空间方面变得相互排斥。因此,最终结果是一组特征通道,每个特征通道反映特定类别的不同局部判别区域。MC-Loss可以进行端到端的训练,而不需要任何边界框/部分注释,并在推理过程中产生高度区分的区域。实验结果表明,在公共基础网络上实现的MC-Loss可以在所有四个细粒度分类数据集(CUB-Birds,FGVC-Aircraft,Flowers-102和Stanford-Cars)上实现最先进的性能。烧蚀研究进一步证明了MC-Loss的优越性相比,其他最近提出的通用损失的视觉分类,在两个不同的基础网络。代码可在https://github.com/dongliangchang/Mutual-Channel-Loss获得
2021-08-10 cs.CV
Video Region Annotation with Sparse Bounding Boxes
Kyoto University(京都大学)
视频分析已经朝着更详细的解释(例如分割)发展,并取得了令人鼓舞的进展。然而,这些任务越来越依赖于在空间和时间上都密集注释的训练数据。由于这种注释是劳动密集型的,所以存在具有详细区域边界的密集注释的视频数据。这项工作的目的是解决这个难题,通过学习自动生成区域边界的所有帧的视频从稀疏注释的目标区域的边界框。我们使用体积图卷积网络(VGCN)来实现这一点,VGCN学习使用周围外观和运动的时空体积来迭代地找到区域边界上的关键点。VGCN的全局优化使得它比现有的解决方案更强大,更好地推广。实验结果使用两个最新的数据集(一个真实的和一个合成的),包括消融研究,证明了我们的方法的有效性和优越性。
2020-08-17 cs.CV
Semantic segmentation with coarse annotations
Eindhoven Univeristy of Technology, Eindhoven, The Netherlands(埃因霍温理工大学)
本文针对粗标注下的语义分割难题,提出一种基于超像素上采样的正则化方法,应用于FCN-16架构,在多个数据集上显著提升边界召回率。
2025-10-17 cs.AI cs.CV cs.LG
MSE-Nets: Multi-annotated Semi-supervised Ensemble Networks for Improving Segmentation of Medical Image with Ambiguous Boundaries
Hangzhou Dianzi University(杭州电子科技大学);Zhejiang Sci-Tech University(浙江理工大学);Shandong University(山东大学);Lishui University(丽水学院);Center(研究中心);Communication University of Zhejiang(浙江传媒学院)
提出MSE-Nets,利用多标注和未标注数据,通过NPCE和MNPS模块处理标注分歧与伪标签,减少97.75%多标注需求,提升模糊边界分割性能。
2023-11-17 cs.CV
Devil is in the Queries: Advancing Mask Transformers for Real-world Medical Image Segmentation and Out-of-Distribution Localization
Alibaba Group(阿里巴巴集团);Peking University(北京大学);Shengjing Hospital(盛京医院);Guangdong Province People’s Hospital(广东省人民医院);Peking University Changsha Institute for Computing and Digital Economy(北京大学长沙计算与数字经济研究院)
提出基于Mask Transformers查询机制的MaxQuery框架,通过软聚类分配和查询分布损失,在提升真实世界医学图像病灶内点分割的同时实现高效的分布外定位。
2023-04-01 cs.CV cs.LG
Trespassing the Boundaries: Labeling Temporal Bounds for Object Interactions in Egocentric Video
University of Bristol(布里斯托大学)
对象交互的时间边界(即开始和结束时间)的手动注释是识别、定位和检测算法的典型训练输入。对于三个公开的以自我为中心的数据集,我们发现了注释者和数据集内部和之间的真实时间界限的不一致性。我们系统地评估了最先进的方法的鲁棒性标记的时间界限的变化,对象交互识别。当边界被侵入时,对于改进的密集轨迹和双流卷积神经网络都观察到高达10%的下降。我们证明,这种分歧源于有限的理解的不同阶段的行动,并提出注释的基础上的卢比孔边界,灵感来自一个类似的认知模型,一致的时间范围的对象交互。在一个公共数据集上进行评估,我们报告了4%的整体准确性增加,并增加了55%的类的准确性时,Rubicon Bouncent用于时间注释。
2017-07-26 cs.CV
Split GCN: Effective Interactive Annotation for Segmentation of Disconnected Instance
Ajou University(亚洲大学);SelectStar AI Research(SelectStar AI 研究院)
人工标注对象边界需要很高的成本。最近,基于人工交互的注释方法已经显示出成功的性能。然而,给定连接顶点拓扑,这些方法表现出难以预测的对象中的断开组件。本文介绍了Split-GCN,一种基于多边形方法和自注意力机制的新体系结构。通过提供方向信息,Split-GCN使多边形顶点能够更精确地移动到对象边界。我们的模型成功地预测断开组件的一个对象,通过转换的初始拓扑结构,使用上下文交换的依赖关系的顶点。Split-GCN在Cityscapes上展示了与最先进的模型竞争的性能,甚至在基线模型上表现出更高的性能。在四个跨域数据集上,我们证实了我们的模型的泛化能力。
2021-12-13 cs.AI cs.CV
Uncertainty-based method for improving poorly labeled segmentation datasets
Philips AI Research(飞利浦人工智能研究院)
用于图像分割的现代深度学习算法的成功在很大程度上取决于具有干净像素级注释(掩模)的大型数据集的可用性,其中感兴趣的对象被准确地描绘出来。在数据注释过程中缺乏时间和专业知识会导致不正确的边界和标签噪音。众所周知,深度卷积神经网络(DCNN)甚至可以记住完全随机的标签,导致准确性差。我们提出了一个框架,训练二进制分割DCNN使用不可靠的像素级注释集。错误标记的像素被识别的基础上估计的任意不确定性的分割,并重新标记为真值。
2021-02-16 cs.AI cs.CV
Not All Pixels Are Equal: Pixel-wise Meta-Learning for Medical Segmentation with Noisy Labels
Xidian University(西安电子科技大学);University of Science and Technology of China(中国科学技术大学)
提出MetaDCSeg框架,通过动态学习像素级权重并引入动态中心距离机制建模边界不确定性,抑制噪声标签影响并提升边界分割性能。
2026-07-27 cs.AI cs.CV
EtC: Temporal Boundary Expand then Clarify for Weakly Supervised Video Grounding with Multimodal Large Language Model
针对弱监督视频定位中伪边界质量差的问题,提出EtC框架,借助MLLM扩展初始伪边界并结合互学习与定制对比目标厘清噪声,在两个数据集上取得更优性能。
2024-03-06 cs.CV
An Underwater Image Semantic Segmentation Method Focusing on Boundaries and a Real Underwater Scene Semantic Segmentation Dataset
Dalian University of Technology(大连理工大学)
随着水下目标抓取技术的发展,对水下目标进行高精度的识别和分割成为一个挑战。现有的水下目标检测技术只能给出物体的大致位置,无法给出物体的轮廓等更详细的信息,严重影响抓取效率。为了解决这个问题,我们标记并建立了第一个真实场景的水下语义分割数据集(DUT-USEG:DUT Underwater Segmentation Dataset)。DUT- USEG数据集包括6617幅图像,其中1487幅具有语义分割和实例分割注释,其余5130幅图像具有目标检测框注释。基于此数据集,我们提出了一个半监督的水下语义分割网络(US-Net:水下分割网络)的边界为重点。该网络通过设计伪标签生成器和边界检测子网络,实现了水下目标与背景边界的精细学习,提高了边界区域的分割效果。实验结果表明,该方法在DUT-USEG数据集上对海参、海胆、海星三种鱼类的分类效果提高了6.7%,达到了最佳的分类效果。DUT- USEG数据集将在https://github.com/baxiyi/DUT-USEG上发布。
2021-08-26 cs.CV
Synthesize Boundaries: A Boundary-aware Self-consistent Framework for Weakly Supervised Salient Object Detection
College of Computer Science and Technology, Zhejiang University of Technology(浙江工业大学计算机科学与技术学院)
本文提出一种边界感知自洽框架,通过合成凹陷区域图像和双分支结构(GIB与BAB)及自洽损失,在无需额外辅助数据的情况下提升弱监督显著目标检测的边界精度,并在多个基准上超越现有方法。
2022-12-04 cs.CV
Boundary-sensitive Pre-training for Temporal Localization in Videos
Samsung AI Centre(三星人工智能中心);King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学);University of Surrey(萨里大学)
许多视频分析任务需要时间定位,从而检测内容变化。然而,为这些任务开发的大多数现有模型都是在一般视频动作分类任务上进行预训练的。这是因为未修剪视频中的时间边界的大规模注释是昂贵的。因此,不存在用于时间边界敏感的预训练的合适的数据集。在本文中,我们第一次研究模型预训练的时间定位通过引入一种新的边界敏感的借口(BSP)的任务。我们建议在现有的视频动作分类数据集中合成时间边界,而不是依赖昂贵的时间边界手动注释。利用合成的边界,可以通过对边界类型进行分类来简单地进行BSP。这使得能够学习更容易转移到下游时间定位任务的视频表示。大量的实验表明,所提出的BSP是优于和补充现有的动作分类的预训练对手,并实现了新的国家的最先进的性能在几个时间定位任务。
2021-03-26 cs.CV
Weakly-Supervised Action Detection Guided by Audio Narration
Cruise(Cruise公司);University of Pittsburgh(匹兹堡大学)
视频是比图像更有组织的视觉概念学习数据源。与仅涉及空间信息的2维图像不同,附加的时间维度桥接和覆盖多个模态。然而,在大多数视频检测基准测试中,这些额外的模态没有得到充分利用。例如,EPIC Kitchens是第一人称(以自我为中心)视觉中最大的数据集,但它仍然依赖众包信息来细化动作边界以提供实例级动作注释。我们探讨了如何消除视频检测数据中提供精细边界的昂贵注释。我们提出了一个模型来学习的叙述监督和利用多模态功能,包括RGB,运动流,和环境声音。我们的模型学习关注与叙述标签相关的帧,同时抑制不相关的帧被使用。我们的实验表明,嘈杂的音频叙述足以学习一个好的动作检测模型,从而减少注释费用。
2022-05-12 cs.CV
Generic Event Boundary Detection: A Benchmark for Event Segmentation
Facebook AI(脸书人工智能研究院);National University of Singapore(新加坡国立大学)
本文提出了一个新的任务,以及一个新的基准检测通用的,无分类的事件边界,分割成块的整个视频。时间视频分割和动作检测中的常规工作集中于定位预定义的动作类别,因此不能扩展到通用视频。自上世纪以来,认知科学就知道人类会不断地将视频分割成有意义的时间块。这种分割是自然发生的,没有预先定义的事件类别,也没有明确要求这样做。在这里,我们在主流CV数据集上重复这些认知实验;我们的新注释指南解决了无分类事件边界注释的复杂性,我们介绍了通用事件边界检测(GEBD)和新基准动力学-GEBD的任务。我们的Kinetics-GEBD拥有最多的边界(例如ActivityNet的32个,EPIC-Kitchen-100的8个),这些边界是在野外,无分类,涵盖通用事件变化,并尊重人类感知的多样性。我们认为GEBD是理解整个视频的重要垫脚石,并且认为由于缺乏适当的任务定义和注释,它以前被忽视了。通过实验和人体研究,我们证明了注释的价值。此外,我们在TAPOS数据集和我们的Kinetics-GEBD上对监督和非监督GEBD方法进行了基准测试。我们在CVPR'21 LOVEU Challenge上发布我们的注释和基线代码:https://sites.google.com/view/loveucvpr21。
2021-08-19 cs.CV
Just a Hint: Point-Supervised Camouflaged Object Detection
Unmanned System Research Institute, Northwestern Polytechnical University(西北工业大学无人系统研究院);National Key Laboratory of Unmanned Aerial Vehicle Technology(无人机技术国家重点实验室)
针对伪装目标检测中像素级标注成本高昂的问题,本文提出仅需单点监督的方法,通过自适应扩展提示区域、注意力调节器及无监督对比学习,在三个基准上大幅超越多种弱监督方法。
2024-08-20 cs.AI cs.CV
Weakly-Supervised Camouflaged Object Detection with Scribble Annotations
City University of Hong Kong(香港城市大学)
现有的伪装目标检测(COD)方法严重依赖于具有逐像素注释的大规模数据集。然而,由于模糊的边界,注释伪装对象像素明智的是非常耗时和劳动密集型,需要~ 60分钟标记一个图像。在本文中,我们提出了第一个弱监督COD方法,使用涂鸦注释作为监督。为了实现这一目标,我们首先用涂鸦重新标记现有的已标记对象数据集中的4,040张图像,标记一张图像需要大约10秒。由于涂鸦注释只描述了对象的主要结构而没有细节,为了让网络学习定位被涂鸦对象的边界,我们提出了一种新的一致性损失,它由两部分组成:一个是跨视图损失,以在不同图像上实现可靠的一致性,另一个是内部视图损失,以保持单个预测图内部的一致性。此外,我们观察到,人类使用语义信息分割的边界附近的区域的图像对象。因此,我们进一步提出了一个特征引导的损失,其中包括直接从图像中提取的视觉特征和模型捕获的语义显著特征。最后,我们提出了一种新的网络COD通过涂鸦学习的结构信息和语义关系。我们的网络有两个新的模块:本地上下文对比(LCC)模块,它模仿视觉抑制,以增强图像对比度/清晰度,并扩大到潜在的涂鸦区域,和逻辑语义关系(LSR)模块,它分析的语义关系,以确定代表涂鸦对象的区域。实验结果表明,我们的模型优于相关的SOTA方法在三个COD基准上的平均改善11.0%的MAE,3.2%的S-措施,2.5%的E-措施,4.4%的加权F-措施。
2022-11-28 cs.CV
Weakly-supervised ROI extraction method based on contrastive learning for remote sensing images
Beijing Foreign Studies University(北京外国语大学)
针对遥感图像ROI提取中地形复杂、标注昂贵且弱监督方法精度不足的问题,提出基于对比学习的两步法,利用多尺度Grad-CAM生成伪标注并对比学习分离前景背景,实验验证其优越性。
2023-05-10 cs.CV
FMG-Det: Foundation Model Guided Robust Object Detection
Pacific Northwest National Laboratory(太平洋西北国家实验室)
针对目标检测中边界标注主观性导致的噪声标注降低性能问题,提出FMG-Det方法,结合多示例学习框架与基础模型预处理管道在训练前纠正标签,在标准和少样本场景下实现最先进性能。
2025-05-29 cs.CV
Can Unsupervised Segmentation Reduce Annotation Costs for Video Semantic Segmentation?
University of Bath(巴斯大学)
本文探讨利用未标注视频帧和粗略标注降低视频分割标注成本的方法,通过SAM和SAM 2模型实现自动掩码生成,减少约三分之一的标注需求,同时发现数据集帧多样性比数量更重要。
2026-03-29 cs.CV
NOTE-RCNN: NOise Tolerant Ensemble RCNN for Semi-Supervised Object Detection
University of Southern California(南加州大学);Google(谷歌)
大量包围盒的标记成本是训练现代目标检测器的主要挑战之一。为了减少对昂贵的限界框注释的依赖,我们提出了一种新的半监督目标检测公式,其中一些种子框级注释和大规模的图像级注释用于训练检测器。我们采用了一个训练挖掘框架,这是广泛用于弱监督目标检测任务。然而,挖掘过程固有地引入了各种标签噪声:假阴性,假阳性和不准确的边界,这对于训练标准对象检测器(例如更快的RCNN)是有害的。我们提出了一种新的噪声容忍增强RCNN(NOTE-RCNN)对象检测器来处理这种噪声标签。与标准Faster RCNN相比,它包含三个亮点:两个分类头和一个蒸馏头的集成,以避免噪声标签上的过拟合,提高挖掘精度;掩盖盒预测器中的负样本丢失,以避免假阴性标签的危害;只在种子注释上训练盒回归头,以消除挖掘边界盒边界不准确的危害。我们在ILSVRC 2013和MSCOCO 2017数据集上评估了这些方法;我们观察到,随着我们在挖掘和训练步骤之间进行切换,检测精度不断提高,并且实现了最先进的性能。
2018-12-01 cs.CV
Urban Scene Semantic Segmentation with Low-Cost Coarse Annotation
MPI for Informatics(马克斯·普朗克信息学研究所);Saarland Informatics Campus(萨尔兰信息学园区);ETH Zürich(苏黎世联邦理工学院);CISPA(亥姆霍兹信息安全中心);MPI for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Tübingen(蒂宾根大学)
为了获得最佳性能,当今的语义分割方法使用大型且仔细标记的数据集,需要昂贵的注释预算。在这项工作中,我们表明,粗注释是一个低成本,但非常有效的替代训练语义分割模型。考虑到城市场景分割的情况下,我们利用廉价的粗糙注释的真实世界捕获的数据,以及合成数据来训练我们的模型,并显示出竞争力的性能相比,精细注释的真实世界的数据。具体来说,我们提出了一个从粗到细的自训练框架,该框架为粗注释数据的未标记区域生成伪标签,使用合成数据来改善语义类之间边界周围的预测,并使用跨域数据增强来增加多样性。我们在Cityscapes和BDD100k数据集上的大量实验结果表明,我们的方法实现了显著更好的性能与注释成本的权衡,仅用一小部分注释预算就可以获得与完全注释数据相当的性能。此外,当用作预训练时,我们的框架与标准的完全监督设置相比表现更好。
2022-12-15 cs.CV
Face-Guided Sentiment Boundary Enhancement for Weakly-Supervised Temporal Sentiment Localization
本文提出FSENet框架,通过面部特征引导情感定位,解决弱监督时间情感定位中的边界不精确问题,实现跨不同标注设置的高泛化能力。
2026-03-16 cs.CV
Sfumato Supervision: Learning Instance Segmentation with Noisy Labels
Technion(以色列理工学院);Ben-Gurion University of the Negev(内盖夫本-古里安大学)
针对实例分割标签获取困难的问题,通过模拟噪声条件引入COCO-N、Cityscapes-N和COCO-WAN基准,评估模型鲁棒性并检验现有标签噪声学习方法的有效性。
2026-11-17 cs.CV cs.LG
3D Medical Image Segmentation with Sparse Annotation via Cross-Teaching between 3D and 2D Networks
Nanjing University(南京大学);Southeast University(东南大学);Shandong Woman’s University(山东女子学院)
本文提出一种利用3D和2D网络交叉教学从稀疏标注中稳健学习的医学图像分割框架,结合硬-软置信度阈值和一致性标签融合两种伪标签选择策略,在MMWHS数据集上优于SOTA半监督方法并接近全监督性能。
2023-07-30 cs.CV
Interactive Instance Annotation with Siamese Networks
本文提出SiamAnno框架,利用孪生网络和单样本学习,以边界框为输入预测物体边界,实现跨域交互式实例标注,并在多个数据集上无需微调即取得SOTA性能。
2025-05-06 cs.CV
Asymmetric Paired-Annotation Learning for Multi-Structure ULF Pediatric Brain MRI Segmentation
VinUniversity;College of Engineering & Computer Science, VinUniversity(VinUniversity工程与计算机科学学院);Hanoi University of Science and Technology(河内科技大学);University of Information Technology, VNU-HCM(胡志明市国家大学信息技术大学);Carnegie Mellon University(卡内基梅隆大学);Northwestern University(西北大学);Center for Innovations in Health Sciences, VinUniversity(VinUniversity健康科学创新中心)
针对0.064 T ULF儿科脑部MRI分割难题,提出基于nnU-Net的非对称监督策略AURA,利用两类非等效标注训练,在16例数据上取得优于基线的分割性能。
2026-09-03 cs.CV
Spatially Varying Label Smoothing: Capturing Uncertainty from Expert Annotations
Imperial College London(伦敦帝国理工学院)
由于解剖结构之间的边界的确切位置的模糊性,图像分割的任务固有地是有噪声的。我们认为,这些信息可以从专家注释中提取,而无需额外的成本,当集成到最先进的神经网络中时,它可以改善软概率预测和潜在的不确定性之间的校准。我们建立在标签平滑(LS)的基础上,其中网络在地面真实标签的“模糊”版本上进行训练,这已被证明对校准输出预测是有效的。然而,LS没有考虑局部结构,导致即使对于非模糊区域也具有低置信度的过度平滑预测。在这里,我们提出了空间变化的标签平滑(SVLS),一个软标签技术,捕捉结构的不确定性,在语义分割。当有多个标签图可用时,SVLS也自然地适用于纳入评分者间的不确定性。所提出的方法进行了广泛的验证四个临床分割任务,不同的成像模式,类的数量和单和多评分专家注释。结果表明,SVLS,尽管它的简单,获得优越的边界预测与改进的不确定性和模型校准。
2021-04-12 cs.CV
Fast Interactive Object Annotation with Curve-GCN
University of Toronto(多伦多大学);Vector Institute(向量研究所);NVIDIA(英伟达)
通过跟踪对象的边界来手动标记对象是一个费力的过程。在Polygon-RNN++中,作者提出了Polygon-RNN,它使用CNN-RNN架构以递归方式生成多边形注释,允许通过人工循环进行交互式校正。我们提出了一个新的框架,通过使用图卷积网络(GCN)同时预测所有顶点,来描述Polygon-RNN的顺序性质。我们的模型是端到端训练的。它支持通过多边形或样条线进行对象注释,从而提高基于线的对象和弯曲对象的标注效率。我们表明,Curve-GCN在自动模式下优于所有现有方法,包括功能强大的PSP-DeepLab,并且在交互方式下比Polygon-RNN++更有效。我们的模型在自动模式下运行时间为29.3 ms,在交互方式下运行时间为2.6 ms,比Polygon-RNN++快10倍和100倍。
2019-03-16 cs.CV cs.LG
A New Window Loss Function for Bone Fracture Detection and Localization in X-ray Images with Point-based Annotation
PAII Inc.(PAII公司)
目标检测方法被广泛用于使用医学图像的计算机辅助诊断。异常发现通常被视为由边界框描述的对象。然而,许多病理发现,例如,由于相当多的实例、形状和边界模糊性,不能通过边界框清楚地定义骨折。这使得限界框注释及其相关损失非常不合适。在这项工作中,我们提出了一种新的X射线图像的骨折检测方法,劳动有效和灵活的注释计划的基础上,适合于没有明确的对象级的空间范围或边界的异常发现。我们的方法采用了一个简单,直观,信息丰富的基于点的注释协议,标记本地化的病理信息。为了解决通过点注释的断裂尺度中的不确定性,我们将注释转换为像素级监督,该监督使用具有正、负和不确定区域的下限和上限。随后提出了一种新的窗口损失,只惩罚不确定区域以外的预测。我们的方法已被广泛评估4410骨盆X线图像的独特的患者。实验表明,我们的方法优于以前的国家的最先进的图像分类和目标检测基线的健康的利润率,与AUROC为0.983和FROC得分为89.6%。
2021-01-04 cs.CV
Robust Unsupervised Domain Adaptation by Retaining Confident Entropy via Edge Concatenation
Kyungpook National University(庆北大学)
提出一种结合边缘信息与熵对抗网络的无监督域适应方法,通过边缘拼接增强边界清晰度,在SYNTHIA到Cityscapes和Mapillary基准上取得优于现有方法的性能。
2023-10-11 cs.CV
Improved Algorithm for Deep Active Learning under Imbalance via Optimal Separation
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);University of Washington, Seattle(华盛顿大学西雅图分校)
针对类别不平衡与标签噪声下的主动学习问题,提出DIRECT算法,通过识别类别边界选取不确定样本标注,将问题降维为一维主动学习以利用成熟理论,大幅降低标注成本且对标签噪声鲁棒。
2025-06-12 cs.AI cs.CV cs.LG
TRACE: Your Diffusion Model is Secretly an Instance Edge Detector
OGQ, Seoul, Korea(韩国首尔OGQ);Seoul National University, Seoul, Korea(韩国首尔国立大学)
TRACE通过扩散模型的实例边缘检测技术,在无监督和弱监督分割中实现更高效和精确的边界生成。
2026-02-25 cs.CV
Point-to-Mask: From Arbitrary Point Annotations to Mask-Level Infrared Small Target Detection
Key Laboratory of Electronics and Information Technology for Space Systems, National Space Science Center, Chinese Academy of Sciences(空间系统电子信息技术重点实验室,国家空间科学中心,中国科学院)
本文提出Point-to-Mask框架,通过物理驱动的自适应掩码生成模块和轻量级半径感知点回归网络,将红外小目标检测转化为目标中心定位和有效半径回归,实现低成本点监督与掩码级检测的结合。
2026-03-17 cs.CV
Reducing Annotation Effort by Identifying and Labeling Contextually Diverse Classes for Semantic Segmentation Under Domain Shift
IIIT Delhi(德里英迪拉·甘地信息技术学院);Indian Institute of Technology Delhi(印度理工学院德里分校)
在主动领域自适应(ADA)中,使用主动学习(AL)来从目标域选择图像的子集,然后将其注释并用于监督领域自适应(DA)。考虑到有监督和无监督DA技术之间的巨大性能差距,ADA允许在注释成本和性能之间进行很好的权衡。现有技术利用模型的不确定性或不一致性的度量来识别要由人类预言者注释的“区域”。然而,这些区域通常由对象边界处的像素组成,这是难以注释的。因此,即使被注释的图像像素的分数减少,总的注释时间和所产生的成本仍然很高。在这项工作中,我们提出了一个ADA策略,它给出了一个框架,确定了一组类,模型最难准确预测,从而推荐语义有意义的区域在选定的框架中进行注释。我们表明,这些“硬”类集是上下文相关的,通常在不同的框架,并在注释时,帮助模型更好地概括。我们提出了两种ADA技术:基于锚点和基于增强的方法在当前训练集的背景下选择互补和多样化的区域。我们的方法在GTA到Cityscapes数据集上实现了66.6 mIoU,注释预算为4.7%,而MADA使用5%的注释实现了64.9 mIoU。我们的技术还可以用作任何现有的基于帧的AL技术的装饰器,例如,我们报告使用我们的方法,CDAL在Cityscapes上的性能提高了1.5%。
2022-10-13 cs.CV
An Object Aware Hybrid U-Net for Breast Tumour Annotation
Indian Institute of Information Technology Allahabad(阿拉哈巴德印度信息技术学院)
在临床环境中,在组织病理学载玻片的数字检查期间,病理学家通过标记疑似肿瘤区域周围的粗略边界来注释载玻片。标记或注释通常表示为覆盖载玻片中肿瘤的范围的多边形边界。这些多边形标记难以通过CAD技术来模仿,因为肿瘤区域是异质的,因此分割它们将需要详尽的像素方式的地面实况注释。因此,对于CAD分析,基础事实通常由病理学家明确地注释以用于研究目的。然而,这种标注通常需要用于语义或实例分割,耗时且繁琐。因此,在这项拟议的工作中,我们试图模仿病理学家一样的注释分割肿瘤范围的多边形边界。对于像多边形的注释或分割,我们使用活动轮廓,其顶点或蛇点向感兴趣的对象的边界移动,以找到最小能量的区域。为了惩罚活动轮廓,我们使用修改后的U-Net架构来学习惩罚值。提出的混合深度学习模型融合了现代深度学习分割算法和传统的Active Contours分割技术。该模型进行了测试,对国家的最先进的语义分割和混合模型对当代工作的性能评估。所获得的结果表明,可以通过开发这样的混合模型来实现病理学家般的注释,该混合模型通过经典的分割方法(如Active Contours)整合领域知识,并通过语义分割深度学习模型整合全局知识。
2022-02-22 cs.CV eess.IV
Adversarial Active Learning for Deep Networks: a Margin Based Approach
University of Nice Cote dÁzur(尼斯蔚蓝海岸大学);I3S, UMR UNS-CNRS 7271(I3S实验室(法国国家科学研究中心联合实验室))
我们提出了一种新的为深度神经网络设计的主动学习策略。目标是最小化训练期间从Oracle查询的数据注释数量。以前可扩展的深度网络主动学习策略大多基于不确定的样本选择。在这项工作中,我们专注于躺在靠近决策边界的例子。基于主动学习的边缘理论的理论工作,我们知道,这样的例子可能有助于大大减少注释的数量。虽然测量到决策边界的确切距离是棘手的,但我们建议依赖于对抗性示例。我们不再将它们视为威胁,而是利用它们提供的关于输入空间分布的信息,以近似计算到决策边界的距离。我们根据经验证明,对抗性主动查询可以更快地收敛在MNIST、Shoe-Bag和Quick-Draw数据集上训练的CNN。
2018-02-27 cs.CV cs.LG stat.ML
Combining Visual Saliency Methods and Sparse Keypoint Annotations to Providently Detect Vehicles at Night
Dr. Ing. h.c. F. Porsche AG(保时捷股份公司);Karlsruhe Institute of Technology (KIT)(卡尔斯鲁厄理工学院);NEC Laboratories Europe GmbH(NEC欧洲实验室有限公司);Leibniz University Hannover(汉诺威莱布尼茨大学)
在夜间对其他道路使用者进行有效的检测,有可能提高道路安全。为此,人类直观地使用视觉提示,例如其他道路使用者发出的光锥和光反射,以便能够在早期阶段对迎面而来的交通做出反应。这种行为可以由计算机视觉方法通过基于由车辆前灯引起的发射光反射来预测车辆的外观来模仿。由于当前的目标检测算法主要基于检测经由边界框注释的直接可见的目标,因此没有尖锐边界的光反射的检测和注释是具有挑战性的。出于这个原因,发布了广泛的开源数据集PVDN(Provident Vehicle Detection at Night),其中包括通过关键点注释的光反射的夜间交通场景。在本文中,我们探讨了基于显着性的方法来创建不同的对象表示的PVDN数据集的视觉显着性和稀疏的关键点注释的基础上的潜力。为此,我们扩展了布尔地图显着性的一般思想,考虑到稀疏的关键点注释的人类对上下文感知的方法。我们表明,这种方法允许自动推导不同的对象表示,如二进制地图或边界框,以便检测模型可以在不同的注释变体上进行训练,并且可以从不同的角度解决在夜间检测车辆的问题。有了这些,我们提供了更强大的工具和方法来研究在夜间车辆实际可见之前检测车辆的问题。
2022-09-27 cs.CV
Spectral Analysis for Semantic Segmentation with Applications on Feature Truncation and Weak Annotation
National Yang Ming Chiao Tung University(国立阳明交通大学)
本文提出频谱分析研究语义分割中下采样分辨率、损失函数与准确性的关系,发现低频分量主导,并应用于特征截断和弱标注以节省成本。
2023-05-11 cs.CV
Improving Classification by Improving Labelling: Introducing Probabilistic Multi-Label Object Interaction Recognition
University of Bristol(布里斯托大学)
这项工作偏离了对象交互的易于定义的类边界。对于对象交互识别的任务,通常使用以自我为中心的观点来捕获,我们表明动词中的语义歧义和识别子交互以及并发交互导致合法的类重叠(图1)。因此,我们的目标是模拟观测和交互类之间的映射,以及类重叠,对一个概率多标签分类器,模仿人类注释。给定包含对象交互的视频片段,我们对可能的动词列表中的动词用于注释该交互的概率进行建模。概率是从众包注释中学习的,并在两个公共数据集上进行测试,包括1405个视频序列,我们为90个动词提供注释。我们在两个数据集上分别比传统的单标签分类高出11%和6%,并表明从注释概率中学习的性能优于多数投票,并能够发现共现标签。
2017-04-21 cs.CV
FakeMix Augmentation Improves Transparent Object Detection
Guangzhou Huya Information Technology Co Ltd(广州虎牙信息科技有限公司);The University of Hong Kong(香港大学);National University of Singapore(新加坡国立大学);Tencent Youtu(腾讯优图)
由于纹理、亮度和颜色的低对比度,在自然场景中检测透明物体具有挑战性。最近基于深度学习的工作表明,利用边界进行透明目标检测(TOD)是有效的。然而,这些方法通常会遇到边界相关的不平衡问题,导致有限的发电能力。具体来说,背景中的一种边界,具有与透明对象的边界相同的特性,但数量要少得多,通常会损害性能。为了克服边界相关的不平衡问题,我们提出了一种新的内容相关的数据增强方法,称为FakeMix。考虑到在没有相应注释的情况下很难在背景中收集这些麻烦制造者边界,我们通过在训练过程中将其他样本中的透明物体边界添加到当前图像中来精心生成它们,从而调整数据空间并提高模型的泛化能力。此外,我们提出了AdaptiveASPP,ASPP的增强版本,可以动态捕获多尺度和跨模态的功能。大量的实验表明,我们的方法明显优于国家的最先进的方法。我们还表明,我们的方法也可以很好地转移到相关的任务,其中该模型遇到类似的麻烦,如镜子检测,玻璃检测,和遮挡目标检测。代码将公开提供。
2021-10-19 cs.CV
BAISeg: Boundary Assisted Weakly Supervised Instance Segmentation
HEBUST(河北科技大学)
BAISeg提出用实例感知边界检测替代传统位移场聚类,通过CFM、DMA和像素到像素对比实现仅依赖像素级标注的弱监督实例分割,在PASCAL VOC 2012和MS COCO上取得显著效果。
2024-11-19 cs.CV eess.IV
Video Activity Localisation with Uncertainties in Temporal Boundary
Queen Mary University of London(伦敦玛丽女王大学);Vision Semantics Limited(视觉语义有限公司);Adobe Research(Adobe研究院);Peking University(北京大学);Beijing Institute for General Artificial Intelligence(北京通用人工智能研究院)
当前用于视频活动随时间定位的方法隐含地假设标记用于模型训练的活动时间边界是确定的并且是精确的。然而,在无脚本的自然视频中,不同的活动大多数都是平滑过渡的,因此在标记中精确地确定活动何时开始和结束本质上是模糊的。目前在模型训练中忽略了时间标签中的这种不确定性,导致学习不匹配的视频-文本相关性,测试中的泛化能力较差。在这项工作中,我们解决了这个问题,通过引入弹性矩边界(EMB),以适应灵活和自适应的活动时间边界对建模普遍可解释的视频-文本相关性与宽容的基础时间不确定性在预先固定的注释。具体来说,我们构建弹性边界自适应挖掘和发现帧的时间端点,可以最大限度地提高视频片段和查询语句之间的对齐。为了实现更准确的匹配(段内容的注意力)和更强大的本地化(段弹性边界),我们优化了选择帧明智的端点受到分段明智的内容由一种新的引导注意力机制。三个视频活动本地化基准的广泛的实验证明了令人信服的EMB的优势,现有的方法没有建模的不确定性。
2022-07-21 cs.CV
RealOOB: A Definition-Consistent Real-World Oriented Occlusion Boundary Benchmark
UGE(法国国立高等工程技术大学(UGE));ENPC(法国国立路桥学校(ENPC));INFRES, Télécom Paris, IP Paris(巴黎理工学院电信学院(INFRES)、巴黎文理研究大学(IP Paris));MathMagic(MathMagic公司);Aptiv(安波福公司)
研究针对现有OB基准的缺陷,构建含426万一致OB标签的RealOOB基准,评估多类模型后发现遮挡推理存在差距,该基准将助力低级视觉领域研究。
2026-09-01 cs.CV
BoundaryNet: An Attentive Deep Network with Fast Marching Distance Maps for Semi-automatic Layout Annotation
Centre for Visual Information Technology (CVIT) International Institute of Information Technology, Hyderabad(海得拉巴国际信息技术学院视觉信息技术中心(CVIT))
图像区域的精确边界注释对于依赖区域类语义的下游应用至关重要。一些文档集合包含布局密集、高度不规则和重叠的多类区域实例,其纵横比范围很大。全自动边界估计方法往往是数据密集型的,不能处理可变大小的图像,并产生上述图像的次优结果。为了解决这些问题,我们提出了BoundaryNet,一种新的无尺寸调整的高精度半自动布局注释方法。首先通过注意力引导跳跃网络处理可变大小的用户选择的感兴趣区域。通过快速行进距离图引导网络优化,以获得高质量的初始边界估计和相关联的特征表示。这些输出由使用Hausdorff损失优化的残差图卷积网络处理,以获得最终的区域边界。在一个具有挑战性的图像手稿数据集上的结果表明,BoundaryNet优于强基线,并产生高质量的语义区域边界。质量,我们的方法概括了包含不同脚本系统和布局的多个文档图像数据集,所有这些都没有额外的微调。我们将BoundaryNet集成到一个文档注释系统中,并表明它提供了高的注释吞吐量相比,手动和全自动的替代品。
2021-08-21 cs.CL cs.CV cs.MM
BCR-Net: Boundary-Category Refinement Network for Weakly Semi-Supervised X-Ray Prohibited Item Detection with Points
针对X射线违禁物品检测中标注成本与性能的平衡问题,提出BCR-Net,利用少量框标注和大量点标注,通过边界与类别细化模块提升定位和分类精度,在公开数据集上超越现有方法。
2025-10-27 cs.CV
Structured Context Transformer for Generic Event Boundary Detection
University of Chinese Academy of Sciences(中国科学院大学);ByteDance Inc.(字节跳动公司);Institute of Software Chinese Academy of Sciences(中国科学院软件研究所)
通用事件边界检测(GEBD)旨在检测人类自然感知为事件边界的时刻。在本文中,我们提出了结构化上下文Transformer(或SC-Transformer)来解决GEBD任务,它可以以端到端的方式进行训练。具体来说,我们使用骨干卷积神经网络(CNN)来提取每个视频帧的特征。通过对输入帧序列进行重新划分,设计了结构上下文Transformer(SC-Transformer),以获取每帧的时间上下文信息。请注意,SC-Transformer的整体计算复杂度与视频长度呈线性关系。之后,计算组相似性以捕获帧之间的差异。然后,使用轻量级全卷积网络来基于分组的相似性图确定事件边界。为了弥补边界标注的模糊性,采用高斯核对地面实况事件边界进行预处理,以进一步提高准确性。在具有挑战性的Kinetics-GEBD和TAPOS数据集上进行的大量实验表明,与最先进的方法相比,所提出的方法是有效的。
2022-06-07 cs.CV
SomaNet: Weakly Supervised Learning for Instance Soma Segmentation in 3D Electron Microscopy with Partial Annotations
A. I. Virtanen Institute for Molecular Sciences, Faculty of Health Sciences, University of Eastern Finland(东芬兰大学健康科学学院A.I.维尔塔宁分子科学研究所)
SomaNet提出一种弱监督教师-学生框架,利用部分标注和亲和力学习实现3D电子显微镜体胞体实例分割,支持多种骨干网络,在脑数据集上验证了准确性和稳健性。
2026-09-22 cs.CV eess.IV
SparseMamba-PCL: Scribble-Supervised Medical Image Segmentation via SAM-Guided Progressive Collaborative Learning
College of Computing and Data Science, Nanyang Technological University(南洋理工大学计算与数据科学学院)
针对涂鸦监督医学图像分割中标签传播与边界分割的局限,提出SparseMamba-PCL框架,结合Med-SAM与Sparse Mamba网络,通过渐进式协同学习增强特征表示,在多个数据集上超越九种先进方法。
2025-03-03 cs.CV
End-to-End Instance Edge Detection
University of Wisconsin–Madison(威斯康星大学麦迪逊分校)
边缘检测一直是计算机视觉领域的一个重要问题。以前的工作已经探索了类别不可知或类别感知的边缘检测。在本文中,我们将探讨在对象实例的背景下的边缘检测。虽然对象边界可以很容易地从分割掩模中导出,但在实践中,实例分割模型被训练为最大化到地面实况掩模的IoU,这意味着分割边界没有被强制与地面实况边缘边界精确对齐。因此,实例边缘检测本身的任务是不同的和关键的。由于精确的边缘检测需要高分辨率的特征图,我们设计了一种新的Transformer架构,有效地结合了FPN和Transformer解码器,使交叉关注多尺度的高分辨率特征图在一个合理的计算预算。此外,我们提出了一个轻量级的密集预测头,适用于实例边缘和掩模检测。最后,我们使用减少焦点损失的惩罚来有效地训练模型,在实例边缘上具有点监督,这可以减少注释成本。与最先进的基线相比,我们展示了极具竞争力的实例边缘检测性能,并且还表明所提出的任务和损失与实例分割和目标检测是互补的。
2022-04-06 cs.CV
MalariAI: A Label-Resilient Decoupled Framework for Annotation-Agnostic Cell Segmentation and Explainable Stage Classification in Dense Malaria Blood Smears
提出MalariAI两阶段解耦框架,通过距离变换分水岭算法实现无标注细胞分割,结合EfficientNet-B0和Focal Loss进行分期分类,在BBBC041数据集上细胞恢复率达75.95%,分类准确率98.36%,并利用Grad-CAM++提供实例级空间证据。
2026-08-05 cs.AI cs.CV eess.IV
Superpixel Boundary Correction for Weakly-Supervised Semantic Segmentation on Histopathology Images
University of Science and Technology of China(中国科学技术大学)
针对组织病理图像 WSSS 中 CAM 分辨率低、边界模糊的问题,提出结合超像素聚类与泛洪填充的多级超像素边界校正算法,在乳腺癌分割数据集上以 71.08% mIoU 提升肿瘤微环境边界刻画。
2025-01-07 cs.CV
Sample, Crop, Track: Self-Supervised Mobile 3D Object Detection for Urban Driving LiDAR
University of Oxford(牛津大学)
近年来,深度学习在城市驾驶场景中的移动(即,具有移动能力)对象的检测方面取得了很大进展。监督方法通常需要对大型训练集进行注释;因此,人们对利用弱监督、半监督或自监督方法来避免这种情况非常感兴趣,并取得了很大的成功。虽然弱监督和半监督方法需要一些注释,但自监督方法使用了运动等线索来完全消除对注释的需求。然而,注释的完全缺失通常会降低它们的性能,并且在运动分组期间出现的歧义会抑制它们找到准确对象边界的能力。在本文中,我们提出了一种新的自监督移动目标检测方法称为SCT。这使用运动线索和预期的对象大小来提高检测性能,并预测3D定向边界框的密集网格来提高对象发现。在KITTI跟踪基准测试中,我们的性能明显优于最先进的自监督移动目标检测方法TCR,并且对于IoU <= 0.5,性能在完全监督PV-RCNN++方法的30%以内。
2022-09-21 cs.CV cs.LG cs.RO