Noisy Boundaries: Lemon or Lemonade for Semi-supervised Instance Segmentation?
Beijing National Research Center for Information Science and Technology (BNRist)（北京信息科学与技术国家研究中心）；Tsinghua University（清华大学）
当前的实例分割方法严重依赖于像素级注释图像。获得这种完全注释的图像的巨大成本限制了数据集的规模并限制了性能。在本文中，我们正式解决半监督实例分割，其中未标记的图像，以提高性能。我们构建了一个框架，半监督实例分割分配像素级的伪标签。在这个框架下，我们指出，与伪标签相关的噪声边界是双刃剑。我们建议同时以统一的方式利用和抵制它们：1）为了对抗噪声边界的负面影响，我们提出了一种通过利用低分辨率特征的噪声容忍掩模头。2)为了增强积极的影响，我们引入了一个边界保持地图，用于学习边界相关区域内的详细信息。我们通过大量的实验来评估我们的方法。它的表现非常出色，远远超过监督基线，在Cityscapes上超过6%，在COCO上超过7%，在BDD 100k上超过4.5%。在Cityscapes上，我们的方法只利用了30%的标记图像就实现了相当的性能。
2022-03-25 cs.CV
Online Continual Learning on a Contaminated Data Stream with Blurry Task Boundaries
NAVER CLOVA；NAVER AI Lab（NAVER人工智能实验室）；GIST（光州科学技术院）；Seoul National University（首尔国立大学）；Yonsei University（延世大学）
在具有不正确标签的连续变化的数据分布下学习是一个理想的现实世界问题，但具有挑战性。然而，大量的持续学习（CL）方法假设数据流具有干净的标签，并且在有噪声的数据流下的在线学习场景尚未被充分探索。我们考虑一个更实际的CL任务设置的在线学习从模糊的数据流与损坏的标签，现有的CL方法的斗争。为了解决这个问题，我们首先讨论了持续学习模型中情景记忆中样例的多样性和纯度的重要性。为了平衡情景记忆的多样性和纯度，我们提出了一种新的策略来管理和使用记忆的标签噪声感知不同的采样和鲁棒学习与半监督学习的统一方法。我们对四个真实世界或合成噪声数据集（CIFAR 10和100，mini-WebVision和Food-101 N）的经验验证表明，我们的方法在这种现实和具有挑战性的持续学习场景中显着优于现有技术。代码和数据分割可以在https://github.com/clovaai/puridiver上找到。
2022-03-30 cs.AI cs.CV cs.LG
CRF Loss is How Networks Should Learn Boundaries in Weakly Supervised Segmentation
Cheriton School of Computer Science（切里顿计算机科学学院）；University of Waterloo（滑铁卢大学）
针对弱监督语义分割中边界精度不足问题，提出DS-CRF框架，将软伪标签与SAM边界解耦为不同监督信号，在MS COCO上达到56.5% mIoU的新纪录。
2026-10-30 cs.CV
The Oxford Road Boundaries Dataset
Oxford Robotics Institute, University of Oxford（牛津大学牛津机器人研究所）
在本文中，我们介绍了牛津道路边界数据集，旨在训练和测试基于机器学习的道路边界检测和推理方法。我们已经手工注释了两个10公里长的突袭从牛津机器人汽车数据集和其他突袭产生了几千个进一步的例子与半注释的道路边界面具。为了以这种方式增加训练样本的数量，我们使用了一个基于视觉的定位器，将标注数据集的标签投影到不同时间和天气条件下的其他遍历中。因此，我们发布了62605个标记样本，其中47639个样本是策展的。这些样本中的每一个都包含左镜片和右镜片的原始和分类掩模。我们的数据包含来自各种场景的图像，例如直路、停放的汽车、交叉路口等。可在以下网址下载文件和操作标记数据的工具：oxford-robotics-institute.github.io/road-boundaries-dataset
2021-06-16 cs.CV cs.RO
Uncertainty-based method for improving poorly labeled segmentation datasets
Philips AI Research（飞利浦人工智能研究院）
用于图像分割的现代深度学习算法的成功在很大程度上取决于具有干净像素级注释（掩模）的大型数据集的可用性，其中感兴趣的对象被准确地描绘出来。在数据注释过程中缺乏时间和专业知识会导致不正确的边界和标签噪音。众所周知，深度卷积神经网络（DCNN）甚至可以记住完全随机的标签，导致准确性差。我们提出了一个框架，训练二进制分割DCNN使用不可靠的像素级注释集。错误标记的像素被识别的基础上估计的任意不确定性的分割，并重新标记为真值。
2021-02-16 cs.AI cs.CV
Few-Shot Generalized Category Discovery With Retrieval-Guided Decision Boundary Enhancement
Clemson University（克莱姆森大学）
针对少样本广义类别发现任务，提出基于亲和力检索的决策边界增强框架，通过预训练缓解过拟合并优化边界迁移，在六个公开基准上超越现有方法。
2025-06-20 cs.CV
Beyond Boundaries: Leveraging Vision Foundation Models for Source-Free Object Detection
本文提出一种利用视觉基础模型提升无源目标检测性能的新框架，通过增强特征对齐和标签质量，实现跨领域迁移和辨别性提升。
2026-01-20 cs.AI cs.CV
Discerning Generic Event Boundaries in Long-Form Wild Videos
Insight Centre for Data Analytics（洞察数据分析中心）；Dublin City University（都柏林城市大学）
在视频中检测通用的、无分类的事件边界代表着向整体视频理解迈出的一大步。本文提出了一种基于双流膨胀3D卷积结构的通用事件边界检测技术，该技术可以从视频中学习时空特征。我们的工作灵感来自于通用事件边界检测挑战赛（CVPR 2021长格式视频理解- LOVEU研讨会的一部分）。在整个论文中，我们提供了一个深入的分析实验，以及对所获得的结果的解释。
2021-06-18 cs.AI cs.CV
Patch augmentation: Towards efficient decision boundaries for neural networks
Graz University of Technology（格拉茨工业大学）；Medical University Graz（格拉茨医科大学）
在本文中，我们提出了一种新的增强技术，称为补丁增强，在我们的实验中，提高模型的准确性，使网络更强大的对抗攻击。简而言之，这种数据独立的方法基于图像/标签对创建新的图像数据，其中来自该对中的两个图像之一的补丁被叠加到另一个图像上，从而创建新的增强样本。新图像的标签是图像对相应标签的线性组合。初步实验表明，CIFAR-10的准确性提高了几个百分点，从大约81%的基线提高到89%。CIFAR-100的准确率从52%提高到68%。使用补丁增强训练的网络对对抗攻击也更鲁棒，我们使用快速梯度符号方法进行了演示。
2019-11-25 cs.CV cs.LG stat.ML
Video Activity Localisation with Uncertainties in Temporal Boundary
Queen Mary University of London（伦敦玛丽女王大学）；Vision Semantics Limited（视觉语义有限公司）；Adobe Research（Adobe研究院）；Peking University（北京大学）；Beijing Institute for General Artificial Intelligence（北京通用人工智能研究院）
当前用于视频活动随时间定位的方法隐含地假设标记用于模型训练的活动时间边界是确定的并且是精确的。然而，在无脚本的自然视频中，不同的活动大多数都是平滑过渡的，因此在标记中精确地确定活动何时开始和结束本质上是模糊的。目前在模型训练中忽略了时间标签中的这种不确定性，导致学习不匹配的视频-文本相关性，测试中的泛化能力较差。在这项工作中，我们解决了这个问题，通过引入弹性矩边界（EMB），以适应灵活和自适应的活动时间边界对建模普遍可解释的视频-文本相关性与宽容的基础时间不确定性在预先固定的注释。具体来说，我们构建弹性边界自适应挖掘和发现帧的时间端点，可以最大限度地提高视频片段和查询语句之间的对齐。为了实现更准确的匹配（段内容的注意力）和更强大的本地化（段弹性边界），我们优化了选择帧明智的端点受到分段明智的内容由一种新的引导注意力机制。三个视频活动本地化基准的广泛的实验证明了令人信服的EMB的优势，现有的方法没有建模的不确定性。
2022-07-21 cs.CV
Cell Instance Segmentation: The Devil Is in the Boundaries
Department of Computer Science and Engineering, University of Notre Dame（计算机科学与工程系，诺丁汉大学）；Leibniz-Institut für Analytische Wissenschaften–ISAS–e.V.（莱比锡分析科学研究所）；School of Computing and Informatics, University of Louisiana at Lafayette（计算与信息学系，路易斯安那州立大学拉斐特分校）
提出Ceb方法利用细胞边界特征和标签将前景像素聚类为细胞实例，通过改进Watershed算法提取边界并构建边界签名进行分类，在多个数据集上优于现有像素聚类方法且媲美SOTA。
2025-10-10 cs.CV
Weakly Supervised Learning of Instance Segmentation with Inter-pixel Relations
DGIST（大邱庆北科学技术院）；Kakao Corp.（Kakao公司）；POSTECH（浦项科技大学）
本文提出了一种新的方法来学习实例分割与图像级的类标签作为监督。我们的方法生成训练图像的伪实例分割标签，用于训练完全监督模型。为了生成伪标签，我们首先从图像分类模型的注意力图中识别对象类的置信种子区域，并传播它们以发现具有准确边界的整个实例区域。为此，我们提出了IRNet，它估计单个实例的粗略区域，并检测不同对象类之间的边界。因此，它能够为种子分配实例标签，并在边界内传播它们，从而可以准确地估计实例的整个区域。此外，IRNet是用注意力图上的像素间关系训练的，因此不需要额外的监督。我们使用IRNet的方法在PASCAL VOC 2012数据集上实现了出色的性能，不仅超过了以前使用相同监督水平训练的最先进的模型，而且超过了以前依赖于更强监督的一些模型。
2019-05-10 cs.CV cs.LG
An Underwater Image Semantic Segmentation Method Focusing on Boundaries and a Real Underwater Scene Semantic Segmentation Dataset
Dalian University of Technology（大连理工大学）
随着水下目标抓取技术的发展，对水下目标进行高精度的识别和分割成为一个挑战。现有的水下目标检测技术只能给出物体的大致位置，无法给出物体的轮廓等更详细的信息，严重影响抓取效率。为了解决这个问题，我们标记并建立了第一个真实场景的水下语义分割数据集（DUT-USEG：DUT Underwater Segmentation Dataset）。DUT- USEG数据集包括6617幅图像，其中1487幅具有语义分割和实例分割注释，其余5130幅图像具有目标检测框注释。基于此数据集，我们提出了一个半监督的水下语义分割网络（US-Net：水下分割网络）的边界为重点。该网络通过设计伪标签生成器和边界检测子网络，实现了水下目标与背景边界的精细学习，提高了边界区域的分割效果。实验结果表明，该方法在DUT-USEG数据集上对海参、海胆、海星三种鱼类的分类效果提高了6.7%，达到了最佳的分类效果。DUT- USEG数据集将在https://github.com/baxiyi/DUT-USEG上发布。
2021-08-26 cs.CV
Weakly Supervised Object Boundaries
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Saarland University（萨尔大学）
现有技术的基于学习的边界检测方法需要大量的训练数据。由于标记对象边界是最昂贵的注释类型之一，因此需要放宽仔细注释图像的要求，以使训练更经济实惠并扩展训练数据的量。在本文中，我们提出了一种技术来生成弱监督注释，并表明，限界框注释本身就足以达到高质量的对象边界，而不使用任何对象特定的边界注释。通过提出的弱监督技术，我们在对象边界检测任务上实现了最佳性能，大大优于当前完全监督的最先进方法。
2015-11-24 cs.CV
Synthesize Boundaries: A Boundary-aware Self-consistent Framework for Weakly Supervised Salient Object Detection
College of Computer Science and Technology, Zhejiang University of Technology（浙江工业大学计算机科学与技术学院）
本文提出一种边界感知自洽框架，通过合成凹陷区域图像和双分支结构（GIB与BAB）及自洽损失，在无需额外辅助数据的情况下提升弱监督显著目标检测的边界精度，并在多个基准上超越现有方法。
2022-12-04 cs.CV
PASCAL Boundaries: A Class-Agnostic Semantic Boundary Dataset
University of California, Los Angeles（加州大学洛杉矶分校）
在本文中，我们解决边界检测任务的动机在当前的边缘检测定义的模糊性。为此，我们生成了一个大型数据库，其中包含超过10 k张图像（比现有的边缘检测数据库大20倍）以及459个语义类之间的真实边界，包括前景对象和不同类型的背景，并将其称为PASCAL边界数据集，该数据集将向社区发布。此外，我们提出了一种新的基于深度网络的多尺度语义边界检测器，并将其命名为多尺度深度语义边界检测器（M-DSBD）。我们使用在边缘检测上训练的模型提供基线，并表明它们合理地转移到边界检测任务。最后，我们指出了这个数据集可以用于的各种重要的研究问题。
2015-11-25 cs.CV
Generic Event Boundary Detection via Denoising Diffusion
Pohang University of Science and Technology (POSTECH)（釜山科学技术大学）；GenGenAI
本文提出生成式扩散模型DiffGEBD，利用时间自相似性编码和去噪扩散生成多样且合理的事件边界，并引入兼顾多样性与保真度的新评估指标，在Kinetics-GEBD和TAPOS上取得强性能。
2025-08-16 cs.AI cs.CV
Generalized Boundaries from Multiple Image Interpretations
Institute of Mathematics of the Romanian Academy（罗马尼亚科学院数学研究所）；University of Bonn（波恩大学）；Google Research（谷歌研究院）；Carnegie Mellon University（卡内基梅隆大学）
边界检测对于诸如分割和识别的各种计算机视觉任务是必不可少的。在本文中，我们提出了一个统一的配方和一种新的算法，适用于检测不同类型的边界，如强度边缘，遮挡边界或对象类别特定的边界。我们的配方导致一个简单的方法与国家的最先进的性能和显着降低计算成本比现有的方法。我们评估我们的算法对不同类型的边界，从低层次的边界提取的自然图像中，使用运动线索和RGB-D相机获得的遮挡边界，从软分割的边界。我们还提出了一种新的方法，可以与我们的边界检测方法结合使用的数字/地面软分割，并提高其准确性，几乎没有额外的计算成本。
2012-02-16 cs.CV
Shallow Features Guide Unsupervised Domain Adaptation for Semantic Segmentation at Class Boundaries
University of Bologna（博洛尼亚大学）
尽管深度神经网络在语义分割任务方面取得了显著的成果，但它们通常无法推广到新的领域，特别是在执行合成到真实的适应时。这样的域转移沿着类边界特别明显，使包括获得尖锐的分割掩模的语义分割的主要目标之一无效。在这项工作中，我们专门解决这个核心问题的背景下，无监督领域自适应，并提出了一种新的低层次的适应策略，使我们能够获得尖锐的预测。此外，受最近的自训练技术的启发，我们引入了一种有效的数据增强，它消除了采用伪标签进行自训练时通常存在于语义边界的噪声。我们的贡献可以很容易地集成到其他流行的自适应框架中，大量的实验表明，它们有效地提高了类边界的性能。
2021-10-06 cs.CV
Deep learning on edge: extracting field boundaries from satellite images with a convolutional neural network
CSIRO Agriculture & Food（澳大利亚联邦科学与工业研究组织农业与食品部）；CSIRO Data61（澳大利亚联邦科学与工业研究组织数据61中心）
数字农业服务的应用通常要求农民或其顾问提供其田地边界的数字记录。从卫星图像中自动提取实地边界将减少对人工输入这些记录的依赖，人工输入既费时又容易出错，并将为提供远程产品和服务提供基础。缺乏目前的领域边界数据集似乎表明低摄取现有的方法，大概是因为昂贵的图像预处理要求和本地，往往是任意的，调整。在本文中，我们解决的问题，从卫星图像领域的边界提取作为一个多任务的语义分割问题。我们使用ResUNet-a，一种具有完全连接的UNet主干的深度卷积神经网络，具有扩张卷积和条件推理，为每个像素分配三个标签：1）属于字段的概率; 2）成为边界一部分的概率; 3）到最近边界的距离。然后可以将这些标签组合以获得封闭的字段边界。使用Sentinel-2的单一合成图像，该模型在绘制视野范围、视野边界以及各个视野方面都非常准确。用接近合成周期的单日期图像替换每月合成图像，只会略微降低准确性。然后，我们在一系列实验中表明，我们的模型在分辨率、传感器、空间和时间上都很好地泛化，无需重新校准。通过对整个季节采集的至少四张图像进行平均模型预测来建立共识，是应对准确性随时间变化的关键。通过最大限度地减少图像预处理的要求，并取代数据驱动的本地任意决定，我们的方法有望促进提取规模的个别作物领域。
2020-02-03 cs.CV
Fine-grained Dynamic Network for Generic Event Boundary Detection
本文提出动态流水线 DyBDet，通过多出口网络和多阶差分检测器实现通用事件边界的自适应细粒度检测，在 Kinetics-GEBD 和 TAPOS 上显著提升性能与效率。
2024-07-05 cs.CV
Deep Crisp Boundaries: From Boundaries to Higher-level Tasks
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
边缘检测在深度卷积网络（ConvNet）的帮助下取得了重大进展。这些基于ConvNet的边缘检测器在标准基准测试中的性能接近人类水平。我们提供了一个系统的研究这些探测器的输出。我们发现，检测结果没有准确地定位边缘像素，这可能是对抗的任务，需要清晰的边缘输入。作为补救措施，我们提出了一种新的细化架构，以解决使用ConvNet学习清晰边缘检测器的挑战性问题。我们的方法利用自上而下的向后细化途径，并逐步增加特征图的分辨率，以生成清晰的边缘。我们的结果实现了卓越的性能，在使用BSD 500标准时超过了人类的准确性，并且在使用更严格的标准时大大优于最先进的方法。更重要的是，我们证明了清晰的边缘图的好处，在计算机视觉中的几个重要应用，包括光流估计，对象的建议生成和语义分割。
2018-10-09 cs.CV
Learning Part Boundaries from 3D Point Clouds
University of Cyprus（塞浦路斯大学）；RISE CoE（RISE卓越中心）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
我们提出了一种方法，检测表示为点云的3D形状的零件的边界。我们的方法是基于一个图卷积网络架构，输出一个点的概率位于一个区域，在一个3D形状分开两个或多个部分。我们的边界检测器是相当通用的：它可以被训练来定位3D建模中常用的语义部分或几何图元的边界。我们的实验表明，我们的方法可以提取更准确的边界，更接近地面实况的替代品相比。我们还展示了我们的网络在细粒度语义形状分割中的应用，其中我们还展示了部分标记性能的改进。
2020-07-15 cs.CG cs.CV
CoMIC: Good features for detection and matching at object boundaries
Indian Institute of Technology, Madras（马德拉斯印度理工学院）
特征或兴趣点通常使用2D补丁中的信息聚合，当存在相对于显著变化的背景的对象运动时，2D补丁在对象边界处不保持稳定。在这样的条件下，能级或等强度曲线要稳定得多，特别是较长的曲线。在本文中，我们确定稳定的部分长等值线和检测他们的角落。此外，与拐角相关联的等曲线用于丢弃来自背景的部分并改进匹配。与现有技术的检测器相比，这种CoMIC（最大稳定等强度曲线上的拐角）点在对象边界区域处产生更好的结果，同时也在内部区域处执行消隐。这在诸如视频序列中的从运动运动恢复结构的立体和点跟踪的应用中的边界和非边界区域的穷举匹配实验中被示出。
2014-12-05 cs.CV
Background-Aware Pooling and Noise-Aware Loss for Weakly-Supervised Semantic Segmentation
Yonsei University（延世大学）
我们解决的问题，弱监督语义分割（WSSS）使用限界框注释。虽然对象边界框是分割相应对象的良好指示器，但它们不指定对象边界，使得难以训练卷积神经网络（CNN）进行语义分割。我们发现，背景区域在图像中部分是感知一致的，这可以用来区分对象边界框内的前景和背景区域。为了实现这一想法，我们提出了一种新的池化方法，称为背景感知池化（BAP），它更侧重于使用注意力地图聚合边界框内的前景特征。这允许提取高质量的伪分割标签来训练CNN进行语义分割，但标签仍然包含噪声，特别是在对象边界处。为了解决这个问题，我们还引入了噪声感知损失（NAL），使网络不太容易受到错误标签的影响。实验结果表明，在PASCAL VOC 2012数据集上，使用我们的伪标签学习的性能已经超过了最先进的弱监督和半监督方法，NAL进一步提高了性能。
2021-04-02 cs.CV
HamBR: Active Decision Boundary Restoration Based on Hamiltonian Dynamics for Learning with Noisy Labels
Nanjing Normal University（南京师范大学）；Nanjing University of Chinese Medicine（南京中医药大学）
本文提出HamBR，基于哈密顿动力学主动修复决策边界，提升噪声标签学习的鲁棒性，通过合成高质量虚拟样本增强决策边界判别能力，实验显示在CIFAR-10/100和现实噪声基准上取得SOTA性能。
2026-05-12 cs.CV
Incorporating Boundary Uncertainty into loss functions for biomedical image segmentation
University of Cambridge（剑桥大学）；Imperial College London（帝国理工学院）
手动分割被用作评估神经网络自动图像分割任务的黄金标准。由于在形状，颜色和纹理的相当大的异质性，标定对象的边界是特别困难的生物医学图像，导致显着的评级者之间和内部的变化。软标签和距离惩罚项等方法将全局变换应用于地面实况，重新定义关于不确定性的损失函数。然而，全局操作在计算上是昂贵的，并且这两种方法都不能准确地反映手动注释的不确定性。在本文中，我们提出了边界不确定性，它使用形态学操作来限制对象边界的软标签，提供了一个适当的表示地面真实标签的不确定性，并可能适用于使系统的手动分割错误存在鲁棒的模型训练。我们将边界不确定性与骰子损失相结合，与软标签和距离加权惩罚相比，在三个经过充分验证的生物医学成像数据集上实现了持续改进的性能。边界不确定性不仅更准确地反映了分割过程，而且它也是有效的，对分割错误具有鲁棒性，并具有更好的泛化能力。
2021-10-31 cs.AI cs.CV eess.IV
Deep Tiered Image Segmentation For Detecting Internal Ice Layers in Radar Imagery
Indiana University（印第安纳大学）；University of Kansas（堪萨斯大学）；University of Colorado（科罗拉多大学）
了解地球极地冰盖的结构对于模拟全球变暖将如何影响极地冰层以及地球气候非常重要。探地雷达能够收集冰雪内部结构的观测结果，但手动标记这些观测结果的过程缓慢而费力。最近的工作已经开发出了寻找冰和基岩之间边界的自动技术，但是寻找内部层-指示一年冰积累结束和下一年开始的微妙边界-更具挑战性，因为层的数量不同，边界经常合并和分裂。在本文中，我们提出了一种新的深度神经网络解决一般类分层分割问题。然后，我们将其应用于检测极地冰中的内部层，对极地冰雷达数据的大规模数据集进行评估，并将人类标记的注释作为地面实况。
2021-04-06 cs.CV
Unlocking large-scale crop field delineation in smallholder farming systems with transfer learning and weak supervision
Goldman School of Public Policy, UC Berkeley（加州大学伯克利分校高盛公共政策学院）；Institute for Computational and Mathematical Engineering, Stanford University（斯坦福大学计算与数学工程研究所）；Department of Earth System Science, Stanford University（斯坦福大学地球系统科学系）；European Commission Joint Research Centre（欧盟委员会联合研究中心）
作物田间边界有助于绘制作物类型、预测产量并向农民提供田间规模分析。近年来，深度学习已成功应用于工业农业系统中划定田地边界，但由于（1）需要高分辨率卫星图像来划定的小田地和（2）缺乏用于模型训练和验证的地面标签，小农户系统中仍然缺少田地边界数据集。在这项工作中，我们结合了迁移学习和弱监督来克服这些挑战，我们在印度展示了该方法的成功，我们有效地生成了10，000个新的字段标签。我们的最佳模型使用1.5米分辨率的空中客车SPOT图像作为输入，在法国字段边界上预训练最先进的神经网络，并对印度标签进行微调，以实现印度0.86的联合交叉点（IoU）。如果使用4.8米分辨率的PlanetScope图像，最佳模型的IoU中位数为0.72。实验还表明，在法国的预训练减少了印度字段标签的数量，需要达到一个给定的性能水平时，数据集很小的$20\times$。这些发现表明，我们的方法是一种可扩展的方法，用于在目前缺乏田地边界数据集的世界地区描绘农田。我们公开发布10，000个标签和划定模型，以促进社区创建野外边界地图和新方法。
2022-01-13 cs.CV stat.AP
Enhancing Weakly Supervised Semantic Segmentation with Multi-modal Foundation Models: An End-to-End Approach
Louisiana State University（路易斯安那州立大学）
针对弱监督语义分割边界不准和依赖图像标签的问题，提出结合SAM、Grounding-DINO与CLIP的两阶段伪标签生成及分割框架，并在PASCAL VOC 2012和MS COCO 2014上达到SOTA。
2024-05-10 cs.CV
Superpixel-guided Iterative Learning from Noisy Labels for Medical Image Segmentation
ShanghaiTech University（上海科技大学）；Shanghai Engineering Research Center of Intelligent Vision and Imaging（上海智能视觉与成像工程技术研究中心）
由于难以获得高质量的标注，从噪声标签中学习分割是医学图像分析的一项重要任务。大多数现有的方法忽略了像素的相关性和结构的先验分割，往往产生噪声预测周围的对象边界。为了解决这个问题，我们采用了超像素表示，并开发了一种强大的迭代学习策略，该策略结合了分割网络的噪声感知训练和噪声标签细化，两者都由超像素指导。这种设计使我们能够利用分割标签中的结构约束，并有效地减轻标签噪声对学习的影响。两个基准测试的实验表明，我们的方法优于最近的国家的最先进的方法，并在广泛的标签噪声实现卓越的鲁棒性。代码可在https://github.com/gaozhitong/SP_guided_Noisy_Label_Seg上获得。
2021-07-21 cs.CV
Towards Bounding-Box Free Panoptic Segmentation
SLAMcore Ltd.（SLAMcore有限公司）；Imperial College London（伦敦帝国理工学院）
在这项工作中，我们介绍了一个新的无限界框网络（BBFNet）的全景分割。全景分割是无建议方法的理想问题，因为它已经需要每个像素的语义类标签。我们使用这种观察来利用现成的语义分割网络的类边界，并对其进行改进以预测实例标签。为了实现这一目标，BBFNet预测粗糙的分水岭水平，并使用它们来检测边界定义良好的大型候选实例。对于较小的实例，其边界不太可靠，BBFNet还通过Hough投票预测实例中心，然后通过均值漂移来可靠地检测小对象。一种新颖的三重丢失网络有助于合并碎片化的实例，同时细化边界像素。我们的方法与以前的全景分割工作不同，这些工作依赖于语义分割网络与基于限界框建议的计算成本高的实例分割网络（如Mask R-CNN）的组合，以使用专家混合（MoE）方法指导实例标签的预测。我们对Cityscapes和Microsoft COCO数据集进行了无提案方法的基准测试，并与其他基于MoE的方法表现出竞争力，同时在COCO数据集上优于现有的基于非提案的方法。我们使用不同的语义分割骨干我们的方法的灵活性。
2020-07-27 cs.CV cs.RO
Exploring High-quality Target Domain Information for Unsupervised Domain Adaptive Semantic Segmentation
University of Science and Technology of China（中国科学技术大学）
在无监督域自适应（UDA）语义分割中，基于蒸馏的方法目前在性能上占主导地位。然而，蒸馏技术需要复杂的多阶段过程和许多训练技巧。在本文中，我们提出了一种简单而有效的方法，可以实现竞争性能的先进蒸馏方法。我们的核心思想是从边界和特征的角度充分挖掘目标域的信息。首先，我们提出了一种新的混合策略，以生成高质量的目标域边界与地面真理标签。与以往的源域边界不同，我们选择高置信度的目标域区域，然后将它们粘贴到源域图像。这种策略可以生成具有正确标签的目标域中的对象边界（目标域对象区域的边缘）。因此，通过对混合样本的学习，可以有效地捕获目标域的边界信息。其次，我们设计了一个多层次的对比损失，包括像素级和原型级的对比学习，以提高目标域数据的表示。通过结合这两种方法，可以提取更多的区分特征，并且可以更好地解决目标域的硬对象边界。在两个常用的基准程序（\textit{i.e.}、GTA 5 $\rightarrow$ Cityscapes和SYNTHIA $\rightarrow$ Cityscapes）上的实验结果表明，该方法具有与复杂蒸馏方法相媲美的性能.值得注意的是，对于SYNTHIA $\rightarrow$ Cityscapes场景，我们的方法在16个类和13个类上使用$57.8\%$ mIoU和$64.6\%$ mIoU实现了最先进的性能。代码可在https://github.com/ljj…
2022-08-12 cs.CV
FakeMix Augmentation Improves Transparent Object Detection
Guangzhou Huya Information Technology Co Ltd（广州虎牙信息科技有限公司）；The University of Hong Kong（香港大学）；National University of Singapore（新加坡国立大学）；Tencent Youtu（腾讯优图）
由于纹理、亮度和颜色的低对比度，在自然场景中检测透明物体具有挑战性。最近基于深度学习的工作表明，利用边界进行透明目标检测（TOD）是有效的。然而，这些方法通常会遇到边界相关的不平衡问题，导致有限的发电能力。具体来说，背景中的一种边界，具有与透明对象的边界相同的特性，但数量要少得多，通常会损害性能。为了克服边界相关的不平衡问题，我们提出了一种新的内容相关的数据增强方法，称为FakeMix。考虑到在没有相应注释的情况下很难在背景中收集这些麻烦制造者边界，我们通过在训练过程中将其他样本中的透明物体边界添加到当前图像中来精心生成它们，从而调整数据空间并提高模型的泛化能力。此外，我们提出了AdaptiveASPP，ASPP的增强版本，可以动态捕获多尺度和跨模态的功能。大量的实验表明，我们的方法明显优于国家的最先进的方法。我们还表明，我们的方法也可以很好地转移到相关的任务，其中该模型遇到类似的麻烦，如镜子检测，玻璃检测，和遮挡目标检测。代码将公开提供。
2021-10-19 cs.CV
Few-Shot Action Localization without Knowing Boundaries
Queen Mary University of London（伦敦玛丽女王大学）；City, University of London（伦敦城市大学）
学习在长、杂乱和未修剪的视频中定位动作是一项艰巨的任务，在文献中，通常假设每个类都有大量带注释的训练样本-无论是在完全监督的设置中，动作边界已知，还是在弱监督的设置中，每个视频只有类标签已知。在本文中，我们更进一步，并表明当a）在测试时只有一个/几个目标动作的修剪示例可用时，以及b）当大量仅具有类标签注释的视频（一些修剪和一些弱注释的未修剪的）可用于训练时，可以学习定位未修剪视频中的动作;在训练和测试期间使用的类之间没有重叠。为此，我们提出了一个网络，它学习估计时间相似性矩阵（TSM），该矩阵对视频对（修剪或未修剪）之间的细粒度相似性模式进行建模，并使用它们为可见或不可见的类生成时间类激活图（TCAM）。TCAM充当时间注意力机制，以提取未修剪视频的视频级表示，并在测试时在时间上定位动作。据我们所知，我们是第一个提出弱监督，一个/Few-Shot动作定位网络，可以在端到端的方式进行训练。在THUMOS 14和ActivityNet 1.2数据集上的实验结果表明，我们的方法实现了与最先进的全监督，少样本学习方法相当或更好的性能。
2021-09-23 cs.CV
Learning Crisp Boundaries Using Deep Refinement Network and Adaptive Weighting Loss
Guangxi University of Science and Technology（广西科技大学）
在卷积神经网络的帮助下，边界检测取得了重大进展。最近的边界检测模型不仅关注真实对象的边界检测，而且关注“清晰”边界（沿着对象的轮廓精确定位）。有两种方法来评估脆边界性能。一种是使用更严格的公差来测量地面实况和检测到的轮廓之间的距离。另一种方法是对等值线图进行评价，而不进行任何后处理。在这项研究中，我们分析了这两种方法，并得出结论，这两种方法是脆轮廓评价的两个方面。因此，我们提出了一种新的网络命名为深度细化网络（DRNet），堆叠多个细化模块，以实现更丰富的特征表示和一个新的损失函数，它结合了交叉熵和骰子损失通过有效的自适应融合。实验结果表明，我们实现了国家的最先进的性能几个可用的数据集。
2021-03-03 cs.CV
Improving Classification by Improving Labelling: Introducing Probabilistic Multi-Label Object Interaction Recognition
University of Bristol（布里斯托大学）
这项工作偏离了对象交互的易于定义的类边界。对于对象交互识别的任务，通常使用以自我为中心的观点来捕获，我们表明动词中的语义歧义和识别子交互以及并发交互导致合法的类重叠（图1）。因此，我们的目标是模拟观测和交互类之间的映射，以及类重叠，对一个概率多标签分类器，模仿人类注释。给定包含对象交互的视频片段，我们对可能的动词列表中的动词用于注释该交互的概率进行建模。概率是从众包注释中学习的，并在两个公共数据集上进行测试，包括1405个视频序列，我们为90个动词提供注释。我们在两个数据集上分别比传统的单标签分类高出11%和6%，并表明从注释概率中学习的性能优于多数投票，并能够发现共现标签。
2017-04-21 cs.CV
Unsupervised Video Continual Learning via Non-Parametric Deep Embedded Clustering
Department of Computer Science, University of York（约克大学计算机科学系）
针对无任务边界与标签的无监督视频持续学习，提出基于深度嵌入特征 KDE、新颖性检测和任务间迁移学习的非参数聚类方法。
2025-08-29 cs.AI cs.CV cs.LG
Masked Autoencoders for Generic Event Boundary Detection CVPR'2022 Kinetics-GEBD Challenge
Tencent Holdings Ltd（腾讯控股有限公司）；Tsinghua University（清华大学）
通用事件边界检测（GEBD）任务旨在检测通用的，无分类的事件边界，将整个视频分割成块。在本文中，我们应用掩码自编码器，以提高算法的性能上的GEBD任务。我们的方法主要采用集成的掩码自编码器微调GEBD任务作为一个自我监督的学习者与其他基本模型。此外，我们还使用半监督伪标签方法，以充分利用大量的未标记的Kinetics-400数据进行训练。此外，我们提出了一种软标签的方法，部分平衡的积极和消极的样本，并减轻在这项任务中的模糊标记的问题。最后，实现了一个棘手的分割对齐策略，以将我们的模型预测的边界细化到更准确的位置。通过我们的方法，我们在Kinetics-GEBD测试集上获得了85.94%的F1分数，与2021年Kinetics-GEBD挑战赛的获胜者相比，F1分数提高了2.31%。我们的代码可在https://github.com/ContentAndMaterialPortrait/MAE-GEBD上获得。
2022-06-17 cs.CV
Deep Variational Instance Segmentation
CoRIS Institute（CoRIS研究所）；Oregon State University（俄勒冈州立大学）；Stony Brook University（石溪大学）
实例分割是计算机视觉中的一项具有挑战性的任务，它试图为输入图像中的每个像素获得类别和实例标签。最先进的算法通常采用两个独立的阶段，第一个阶段生成对象建议，第二个阶段识别和细化边界。此外，建议通常基于检测器，例如更快的R-CNN，其在整个图像中彻底搜索框。在本文中，我们提出了一种新的算法，直接利用全卷积网络（FCN）来预测实例标签。具体来说，我们提出了一个变分松弛的实例分割最小化的分段常数分割问题，它可以用来训练的FCN端到端的优化功能。它扩展了经典的Mumford-Shah变分分割问题，使其能够处理实例分割的地面真值中的置换不变标签。在PASCAL VOC 2012、语义边界数据集（SBD）和MSCOCO 2017数据集上的实验表明，该方法有效地解决了实例分割任务。源代码和训练模型将与论文一起发布。
2020-10-24 cs.CV
Incremental Semantics-Aided Meshing from LiDAR-Inertial Odometry and RGB Direct Label Transfer
Faculty of Geo-Information Science and Earth Observation (ITC), University of Twente（特温特大学地理信息科学与地球观测学院（ITC））
本文提出基于RGB和LiDAR的增量语义辅助网格生成方法，通过直接标签转移提升几何重建精度，优于ImMesh和Voxblox，为XR和数字建模提供新路径。
2026-04-10 cs.CV cs.RO
Alleviating Over-segmentation Errors by Detecting Action Boundaries
National Institute of Advanced Industrial Science and Technology (AIST)（日本国立产业技术综合研究所）；Keio University（庆应义塾大学）
我们提出了一个有效的框架的时间动作分割任务，即一个动作段细化框架（ASRF）。我们的模型架构包括一个长期的特征提取器和两个分支：动作分割分支（ASB）和边界回归分支（BRB）。长期特征提取器为具有宽的时间感受野的两个分支提供共享特征。ASB对视频帧进行动作类分类，而BRB对动作边界概率进行回归。BRB预测的动作边界细化了ASB的输出，从而显著提高了性能。我们的贡献是三方面的：（i）我们提出了一个框架的时间动作分割，ASRF，它分为帧的动作分类和动作边界回归的时间动作分割。我们的框架细化帧级假设的动作类使用预测的动作边界。(ii)我们提出了一个损失函数平滑过渡的动作概率，并分析了各种损失函数的时间动作分割的组合。(iii)我们的框架在三个具有挑战性的数据集上优于最先进的方法，在分段编辑距离方面提高了13.7%，在分段F1评分方面提高了16.1%。我们的代码将很快公开。
2020-07-14 cs.CV
Edge Detection for Organ Boundaries via Top Down Refinement and SubPixel Upsampling
本文提出一种医学聚焦的清晰边缘检测器，通过自上而下反向细化架构和子像素上采样，提升器官边界定位精度，实验表明在严格标准下优于传统方法，提升分割、配准和病变界定效果。
2026-05-07 cs.CV
Selectivity or Invariance: Boundary-aware Salient Object Detection
Beihang University（北京航空航天大学）；Peng Cheng Laboratory（鹏城实验室）；Peking University（北京大学）
典型地，显著目标检测（SOD）模型在处理对象内部和边界时面临相反的要求。内部特征对强烈的外观变化应具有不变性，以突出整体的显著对象，而边界特征对轻微的外观变化应具有选择性，以区分显著对象和背景。为了解决这种选择性不变性的困境，我们提出了一种新的边界感知网络与连续膨胀的基于图像的SOD。在该网络中，通过引入边界定位流来增强边界处的特征选择性，同时通过复杂的内部感知流来保证内部的特征不变性。此外，过渡补偿流被用来修正内部和边界之间的过渡区域的可能故障。特别地，提出了一种集成的连续膨胀模块，以增强内部和过渡区域的特征不变性。在六个数据集上的实验表明，该方法优于16种最先进的方法。
2019-09-11 cs.CV
Panoptic Edge Detection
Institute of Remote Sensing and Digital Earth, CAS（中国科学院遥感与数字地球研究所）；University of Chinese Academy of Sciences（中国科学院大学）；National University of Singapore（新加坡国立大学）
为了实现更完整、更连贯的场景理解，边缘检测从类别无关的语义层次向类别感知的语义层次发展。然而，实例级边界的更精细的划分仍然没有挖掘。为了从边缘的角度提供更全面、更统一的场景理解，提出了一种新的更细粒度的任务--全景边缘检测（PED），该任务旨在预测物体类别的语义级边界和实例类别的实例级边界，并提出了一个通用的框架--全景边缘网络（PEN），该框架聚合了不同的目标检测任务，语义和实例边缘检测到具有多个分支的单个整体网络中。基于相同的特征表示，语义边缘分支为所有类别产生语义级别的边界，而目标检测分支生成实例建议。在这两个分支的先验信息的条件下，实例边缘分支旨在实例化实例类别的边缘预测。此外，我们还为新的PED任务设计了一个Panoptic Dual F-measure（F2）度量，以统一衡量材料和实例的边缘预测质量。通过联合端到端培训，拟议的PEN框架在Cityscapes和ADE 20 K数据集上的表现优于所有竞争基准。
2019-06-03 cs.CV
MSE-Nets: Multi-annotated Semi-supervised Ensemble Networks for Improving Segmentation of Medical Image with Ambiguous Boundaries
Hangzhou Dianzi University（杭州电子科技大学）；Zhejiang Sci-Tech University（浙江理工大学）；Shandong University（山东大学）；Lishui University（丽水学院）；Center（研究中心）；Communication University of Zhejiang（浙江传媒学院）
提出MSE-Nets，利用多标注和未标注数据，通过NPCE和MNPS模块处理标注分歧与伪标签，减少97.75%多标注需求，提升模糊边界分割性能。
2023-11-17 cs.CV
Geometry-Aware 3D Salient Object Detection Network
Northwestern Polytechnical University（西北工业大学）；Nanjing University of Science and Technology（南京理工大学）
针对点云显著目标检测中边界模糊问题，提出几何感知网络，通过超点划分与几何增强模块，在PCSOD数据集上取得最先进性能。
2025-02-23 cs.CV
CA-UDA: Class-Aware Unsupervised Domain Adaptation with Optimal Assignment and Pseudo-Label Refinement
National University of Singapore（新加坡国立大学）
无监督领域自适应（UDA）的最新研究集中在选择好的伪标签作为目标数据中缺失标签的替代。然而，由于源域和目标域的共享网络通常用于伪标签选择，因此使伪标签劣化的源域偏差可能仍然存在。次优的特征空间源到目标域对齐也会导致不令人满意的性能。在本文中，我们提出了CA-UDA，以提高质量的伪标签和UDA结果的最佳分配，伪标签细化策略和类感知域对齐。我们使用辅助网络来减轻伪标签细化的源域偏差。我们的直觉是，目标域中的底层语义可以被充分利用，以帮助细化从域转移下的源特征推断出的伪标签。此外，我们的最佳分配可以最佳地对齐源到目标域中的特征，并且我们的类感知域对齐可以同时关闭域间隙，同时保留分类决策边界。在多个基准数据集上的大量实验表明，该方法在图像分类任务中可以达到最先进的性能。
2022-05-30 cs.CV
High-for-Low and Low-for-High: Efficient Boundary Detection from Deep Object Features and its Applications to High-Level Vision
University of Pennsylvania（宾夕法尼亚大学）；Dartmouth College（达特茅斯学院）
目前大多数边界检测系统只依赖于低级别的功能，如颜色和纹理。然而，感知研究表明，人类在判断特定像素是否是边界时采用对象级推理。受这一观察的启发，在这项工作中，我们展示了如何通过利用预训练的对象分类网络中的对象级特征来预测边界。我们的方法可以被看作是一个“高对低”的方法，其中高层次的对象特征通知低层次的边界检测过程。我们的模型在一个既定的边界检测基准上达到了最先进的性能，并且运行效率很高。此外，我们表明，由于我们的边界的语义性质，我们可以使用它们来帮助一些高层次的视觉任务。我们证明，使用我们的边界，我们提高了性能的最先进的方法的语义边界标记，语义分割和对象的建议生成的问题。我们可以把这个过程看作是一个“低对高”的方案，其中低层次的边界帮助高层次的视觉任务。因此，我们的贡献包括边界检测系统，该系统准确，高效，可以很好地推广到多个数据集，并且还可以在三个不同的任务上改进现有的最先进的高级视觉方法。
2015-09-21 cs.CV
Learning to predict crisp boundaries
Central South University（中南大学）；The University of Adelaide（阿德莱德大学）；Dalian University of Technology（大连理工大学）
建立在深度卷积神经网络（CNN）上的用于边界或边缘检测的最近方法通常遭受预测边缘较厚的问题，并且需要后处理以获得清晰的边界。训练数据中边界与背景类别的高度不平衡是造成上述问题的主要原因之一。在这项工作中，目标是使CNN在没有后处理的情况下产生清晰的边界。我们引入了一种新的边界检测损失，这对于分类不平衡数据非常有效，并允许CNN产生清晰的边界。此外，我们提出了一个端到端的网络，采用自底向上/自顶向下的架构来解决这个任务。所提出的网络有效地利用层次特征，并产生像素精确的边界掩模，这是重建边缘图的关键。我们的实验表明，直接进行清晰的预测不仅可以提高CNN的视觉效果，而且还可以在BSDS 500数据集（ODS F-score为.815）和NYU Depth数据集（ODS F-score为.762）上获得更好的结果。
2018-07-26 cs.CV
Submission to Generic Event Boundary Detection Challenge@CVPR 2022: Local Context Modeling and Global Boundary Decoding Approach
Nanjing University（南京大学）；SenseTime Research（商汤科技研究院）；Shanghai AI Laboratory（上海人工智能实验室）
通用事件边界检测是视频理解中一项重要而又具有挑战性的任务，其目的是检测人类自然感知到事件边界的时刻。在本文中，我们提出了一个局部上下文建模和全局边界解码方法的GEBD任务。局部上下文建模子网络被提出来感知通用事件边界的不同模式，并且它生成强大的视频表示和可靠的边界置信度。在此基础上，利用全局边界解码子网络从全局角度对事件边界进行解码。我们提出的方法在Kinetics-GEBD测试集上获得了85.13%的F1分数，与基线方法相比，F1分数提高了22%以上。该代码可在https://github.com/JackyTown/GEBD_Challenge_CVPR2022上获得。
2022-06-30 cs.CV
Cell Detection from Imperfect Annotation by Pseudo Label Selection Using P-classification
Kyushu University（九州大学）；RIKEN（理化学研究所）
细胞检测是细胞图像分析中的一项重要任务。最近基于深度学习的检测方法已经取得了非常有希望的结果。通常，这些方法需要详尽地注释整个图像中的细胞。如果一些细胞没有被注释（不完美的注释），检测性能会由于噪声标签而显著降低。这经常发生在与生物学家的真正合作中，甚至在公共数据集中。我们提出的方法采用伪标记方法从不完美的注释数据中检测细胞。使用这种丢失的标记数据训练的检测卷积神经网络（CNN）经常产生过度检测。我们将部分标记的细胞作为阳性样本，将除标记细胞外的检测位置作为未标记样本。然后，我们使用最近的机器学习技术从未标记的数据中选择可靠的伪标签;正和未标记（PU）学习和P-分类。实验使用显微镜图像为五种不同的条件下证明了该方法的有效性。
2021-07-21 cs.CV
NSegment : Label-specific Deformations for Remote Sensing Image Segmentation
Machine Learning and Vision Laboratory (MLV), Gwangju Institute of Science and Technology (GIST)（机器学习与视觉实验室（MLV）、全州科学技术院（GIST））
针对遥感图像分割中标注噪声问题，提出NSegment数据增强方法，通过对标签施加弹性形变来缓解标注不一致，提升多种SOTA模型的分割性能。
2025-08-04 cs.CV
What does a deep neural network confidently perceive? The effective dimension of high certainty class manifolds and their low confidence boundaries
Stanford University（斯坦福大学）；Google Research（谷歌研究院）；Anthropic（Anthropic公司）
深度神经网络分类器将输入空间划分为每个类别的高置信度区域。这些类流形（CM）的几何形状被广泛研究，并与模型性能密切相关;例如，裕度取决于CM边界。我们利用高斯宽度和戈登逃逸定理的概念，通过与不同维度的随机仿射子空间的层析交叉来可追踪地估计CM及其边界的有效维度。我们展示了CM的维度、泛化和鲁棒性之间的几种联系。特别是，我们研究了CM维度如何取决于1）数据集，2）架构（包括ResNet，WideResNet \&视觉Transformer），3）初始化，4）训练阶段，5）类，6）网络宽度，7）集成大小，8）标签随机化，9）训练集大小，以及10）对数据损坏的鲁棒性。一幅图片出现，更高的性能和更强大的模型具有更高维的CM。此外，我们提供了一个新的视角，通过交叉点的CM集成。我们的代码在https://github.com/stanislavfort/slice-dice-optimize/
2022-10-11 cs.CV cs.LG
