Improving Weakly-Supervised Object Localization By Micro-Annotation
IST Austria（奥地利科学技术研究所）
弱监督的对象定位方法往往会失败的对象类，始终与相同的背景元素，如火车上的轨道。我们提出了一种方法来克服这些故障，通过添加一个非常少量的模型特定的附加注释。其主要思想是将深度网络的中层表示聚类，并为每个聚类分配对象或干扰项标签。实验表明，在具有挑战性的ILSVC 2014数据集上进行限界框检测和在PASCAL VOC 2012数据集上进行语义分割的定位结果得到了显著改善。
2016-05-18 cs.CV
Spatially Varying Label Smoothing: Capturing Uncertainty from Expert Annotations
Imperial College London（伦敦帝国理工学院）
由于解剖结构之间的边界的确切位置的模糊性，图像分割的任务固有地是有噪声的。我们认为，这些信息可以从专家注释中提取，而无需额外的成本，当集成到最先进的神经网络中时，它可以改善软概率预测和潜在的不确定性之间的校准。我们建立在标签平滑（LS）的基础上，其中网络在地面真实标签的“模糊”版本上进行训练，这已被证明对校准输出预测是有效的。然而，LS没有考虑局部结构，导致即使对于非模糊区域也具有低置信度的过度平滑预测。在这里，我们提出了空间变化的标签平滑（SVLS），一个软标签技术，捕捉结构的不确定性，在语义分割。当有多个标签图可用时，SVLS也自然地适用于纳入评分者间的不确定性。所提出的方法进行了广泛的验证四个临床分割任务，不同的成像模式，类的数量和单和多评分专家注释。结果表明，SVLS，尽管它的简单，获得优越的边界预测与改进的不确定性和模型校准。
2021-04-12 cs.CV
Effect of Annotation Errors on Drone Detection with YOLOv3
Middle East Technical University（中东技术大学）
随着深度网络的最新进展，具有深度学习骨干的目标检测和跟踪算法已经得到了显着改进;然而，这种快速发展导致需要大量注释标签。即使对于大多数这些数据集的这种半自动注释过程的细节不是精确地已知的，特别是对于视频注释，通常采用一些自动标记过程。不幸的是，这种方法可能导致错误的注释。在这项工作中，不同类型的注释错误的目标检测问题进行了模拟和一个流行的国家的最先进的对象检测器，YOLOv 3，在训练和测试阶段的错误注释的性能进行了检查。此外，CVPR-2020反无人机挑战赛数据集的一些不可避免的注释错误也以这种方式进行了检查，同时提出了解决方案，以纠正这种有价值的数据集的注释错误。
2021-01-12 cs.CV
DASNet: Reducing Pixel-level Annotations for Instance and Semantic Segmentation
Xidian University（西安电子科技大学）
像素级注释需要昂贵的人工努力，并限制了通常受益于更多此类训练数据的深度网络的性能。在这项工作中，我们的目标是实现高质量的实例和语义分割的结果在一个小的像素级掩模注释和一个大的框注释集。其基本思想是探索检测模型，以简化像素级监督学习任务，从而减少所需的掩码注释量。我们的架构，名为DASNet，由三个模块组成：检测，注意和分割。检测模块检测所有类别的对象，注意力模块生成多尺度类特定的功能，和分割模块恢复的二进制掩码。与PASCAL VOC 2012数据集上现有的半监督方法相比，我们的方法表现出显着提高的性能。
2020-01-31 cs.CV eess.IV
One-Click Annotation with Guided Hierarchical Object Detection
Intel（英特尔）
数据汇集的增加使得数据注释成为当代世界中一项有趣且有价值的任务。本文提出了一种新的方法，用于快速注释数据，使用点击监督和分层目标检测。所提出的工作是半自动的性质，其中的任务的注释是人类和神经网络之间的分裂。我们表明，我们的改进方法的注释减少了时间，成本和精神压力的人类注释。该研究还强调了我们的方法在不同情况下的表现如何优于当前方法，例如对象数量，对象大小和不同数据集的变化。我们的方法还提出了一种使用对象检测器的新方法，使其适合于数据注释任务。在PASCAL VOC数据集上进行的实验表明，从我们的方法创建的注释实现了0.995的mAP和0.903的召回率。在KITTI和CITYSCAPES数据集上，我们的方法在平均准确率和召回率上分别提高了8.5%和18.6%，分别提高了69.6%和36%。与标准注释方法相比，所提出的框架快3-4倍。
2018-10-01 cs.CV cs.HC cs.LG
Improving Object Detection with Region Similarity Learning
Peking University（北京大学）；Nanyang Technological University（南洋理工大学）
目标检测旨在识别图像或视频中某类语义对象的实例。最先进方法的成功归功于对象建议和卷积神经网络（CNN）的重大进展。大多数有前途的检测器涉及多任务学习，其优化目标是softmax损失和回归损失。第一个是多类分类，而后者是为了提高定位精度。然而，他们中很少有人试图进一步研究区分不同种类的分散注意力的背景区域（即，底片）从真实对象区域（即，阳性）。为了提高正目标区域与各种负背景区域的分类性能，我们提出将三元组嵌入到学习目标中。通过将每个负区域分配给有意义的对象类并建立类特异性负，然后构建三联体来形成三联体单元。在基准PASCAL VOC 2007上，所提出的三重嵌入提高了著名的FastRCNN模型的性能，mAP增益为2.1%。特别是，最先进的方法OHEM可以受益于三重包埋，并实现了1.2%的mAP改善。
2017-03-01 cs.CV
Annotation-free Audio-Visual Segmentation
Shanghai Jiao Tong University（上海交通大学）；Shanghai AI Laboratory（上海人工智能实验室）
针对视听分割任务，本文提出无需人工标注的数据生成流程构建训练三元组，同时设计适配SAM的轻量模型SAMA-AVS，实验显示其性能优于同类方法，经合成数据预训练后在真实基准上表现进一步提升。
2023-10-07 cs.AI cs.CV cs.MM
Density Matters: Improved Core-set for Active Domain Adaptive Segmentation
Shanghai Jiao Tong University（上海交通大学）；Tencent Youtu Lab（腾讯优图实验室）
针对主动域自适应分割中现有方法忽略样本局部特征关联、标注预算利用率低的问题，研究提出结合动态掩码卷积局部密度估计与密度感知贪心算法的改进核心集方法，在极少标注下达到接近全监督的性能。
2023-12-15 cs.CV
Open-Vocabulary Point-Cloud Object Detection without 3D Annotation
本文提出分治策略解决开放词汇3D点云检测，利用2D图像和视觉-语言预训练模型监督点云检测器定位与分类，并设计去偏三重态跨模态对比学习，实现无需3D标注的检测，在ScanNet和SUN RGB-D上显著优于基线。
2023-05-17 cs.CV
Semantic Instance Annotation of Street Scenes by 3D to 2D Label Transfer
University of Washington（华盛顿大学）；MPI for Intelligent Systems Tübingen（图宾根马克斯·普朗克智能系统研究所）
语义标注对于对象识别、语义分割或场景理解的训练模型至关重要。不幸的是，在非常大的规模上对图像进行像素级注释是劳动密集型的，并且只有很少的标记数据可用，特别是在实例级和街道场景中。在本文中，我们建议通过将语义实例标记任务从2D提升到3D来解决这个问题。鉴于从立体或激光数据重建，我们注释静态的3D场景元素与粗糙的边界图元，并开发一个模型，将此信息转移到图像域。我们利用我们的方法来获得一个新的郊区的视频数据集，我们已经收集了2D标签，导致400k的语义和实例图像注释。我们的方法与最先进的标签传输基线的比较表明，3D信息可以实现更有效的注释，同时提高准确性和时间一致性标签。
2016-04-12 cs.CV
ProstaTD: Bridging Surgical Triplet from Classification to Fully Supervised Detection
School of Nursing, The Hong Kong Polytechnic University（香港理工大学护理学院）；Nanfang Hospital, Southern Medical University（南方医科大学南芳医院）；Department of Surgery, The Chinese University of Hong Kong（香港中文大学外科部）；South China University of Technology（华南理工大学）；Singapore Management University（新加坡国立管理学院）
该研究针对手术三元组缺乏时空框标注的问题，构建多机构前列腺切除术数据集 ProstaTD，并配套标注工具与评估工具包，推动任务从分类走向全监督检测。
2025-09-27 cs.CV
Robust Object Detection in Remote Sensing Imagery with Noisy and Sparse Geo-Annotations (Full Version)
LMU Munich（慕尼黑大学）
最近，航空器和卫星遥感图像的可用性不断提高。为了自动解释这些数据，基于深度学习的物体检测器实现了最先进的性能。然而，已建立的对象检测器需要完整、精确和正确的限界框注释用于训练。为了为物体探测器创建必要的训练注释，可以对图像进行地理参考，并将其与来自其他来源的数据相结合，例如通过GPS传感器定位的兴趣点。不幸的是，这种组合通常会导致对象定位不佳和注释丢失。因此，用这样的数据训练对象检测器常常导致检测性能不足。在本文中，我们提出了一种新的方法来训练对象检测器，非常嘈杂和不完整的注释。我们的方法是基于教师-学生的学习框架和纠正模块占不精确和缺失的注释。因此，我们的方法易于使用，可以与任意对象检测器相结合。我们证明，我们的方法提高了37.1\% $AP_{50}$的标准检测器在嘈杂的现实世界的遥感数据集。此外，我们的方法在两个具有合成噪声的数据集上实现了很大的性能增益。代码可在\url{https://github.com/mxbh/robust_object_detection}上获得。
2022-10-24 cs.CV
Surgical Action Triplet Detection by Mixed Supervised Learning of Instrument-Tissue Interactions
ICube Laboratory（ICube实验室）；University of Strasbourg（斯特拉斯堡大学）；IHU Strasbourg（斯特拉斯堡大学医院研究所）；University Hospital of Strasbourg（斯特拉斯堡大学医院）；CNRS（法国国家科学研究中心）
针对手术动作三元组检测缺乏空间标注、易出现关联错误的问题，提出两阶段MCIT-IG网络与混合监督学习策略，在CholecT50数据集上实现性能提升，登顶MICCAI 2022相关挑战赛。
2023-07-18 cs.CV
Improved Embeddings with Easy Positive Triplet Mining
George Washington University（乔治·华盛顿大学）
深度度量学习试图定义一种嵌入，其中语义相似的图像被嵌入到附近的位置，而语义不相似的图像被嵌入到远处的位置。大量的工作集中在损失函数和策略上，通过将来自同一类的图像在嵌入空间中尽可能地靠近来学习这些嵌入。在本文中，我们提出了一种替代的，松散的嵌入策略，要求嵌入函数只将每个训练图像映射到同一类中最相似的示例，这种方法我们称之为“Easy Positive”挖掘。我们提供了一系列实验和可视化，强调这种Easy Positive挖掘导致嵌入更灵活，更好地推广到新的未知数据。这种简单的挖掘策略产生的召回性能超过了最先进的方法（包括那些复杂的损失函数和集成方法）的图像检索数据集，包括CUB，斯坦福在线产品，店内服装和酒店-50 K。
2020-03-18 cs.CV cs.LG
SSDL: Self-Supervised Domain Learning for Improved Face Recognition
Queen Mary University of London（伦敦玛丽女王大学）
在无约束的环境中的人脸识别是具有挑战性的，由于在照明，传感器的质量，运动模糊等的变化，一个人的脸的外观可以在不同的条件下产生巨大的差距训练（源）和变化的测试（目标）数据。领域差距可能会导致从源到目标的直接知识转移的绩效水平下降。尽管对特定于领域的数据进行微调可能是一种有效的解决方案，但收集和注释所有领域的数据是非常昂贵的。为此，我们提出了一种自监督域学习（SSDL）方案，该方案训练从未标记数据中挖掘的三元组。有效判别学习的一个关键因素是选择信息三元组。在最有信心的预测基础上，我们遵循交替三重挖掘和自我学习的"从易到难"方案。在四个不同的基准测试上的综合实验表明，SSDL在不同的领域都有很好的推广性。
2020-11-26 cs.CV cs.LG
Siamese Network Training Using Artificial Triplets By Sampling and Image Transformation
这项工作中使用的设备使用两个热成像摄像机检测水面上的物体，这有助于用户在人眼无法检测和避免物体的情况下（夜晚，雾等）。为了自主避免障碍物碰撞，需要实时跟踪物体，并为每个物体分配特定的身份以确定其动态（轨迹，速度等）。用于进行碰撞预测。在接下来的工作中，使用TensorFlow作为Python中的高级编程环境，使用称为卷积神经网络（CNN）的计算机视觉（CV）的机器学习（ML）方法。为了验证算法，使用在工作期间创建的注释工具生成测试集，以进行适当的评估。一旦得到验证，该算法就被部署在平台上，并使用测试船生成的序列进行测试。
2021-09-26 cs.AI cs.CV
Deep Ranking with Adaptive Margin Triplet Loss
University of Siegen（锡根大学）
我们提出了一个简单的修改，从一个固定的利润率三重损失的自适应利润率三重损失。虽然原始的三元组损失被广泛用于分类问题，如人脸识别，人脸重新识别和细粒度相似性，我们提出的损失是非常适合的评级数据集，其中评级是连续值。与我们必须仔细采样数据的原始三元组损失相反，在out方法中，我们可以使用整个数据集生成三元组，并且优化仍然可以收敛，而不会经常遇到模型崩溃问题。自适应余量在训练之前只需要计算一次，这比在固定余量情况下在每个时期之后生成三元组要便宜得多。除了大幅提高训练稳定性（与现有的三重损失训练崩溃的几次相比，我们提出的模型在我们的实验中从未崩溃）之外，我们在各种评级数据集和网络架构上实现了比原始三重损失略好的性能。
2021-07-13 cs.CV cs.LG
Improved Algorithm for Deep Active Learning under Imbalance via Optimal Separation
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；University of Washington, Seattle（华盛顿大学西雅图分校）
针对类别不平衡与标签噪声下的主动学习问题，提出DIRECT算法，通过识别类别边界选取不确定样本标注，将问题降维为一维主动学习以利用成熟理论，大幅降低标注成本且对标签噪声鲁棒。
2025-06-12 cs.AI cs.CV cs.LG
Auxiliary Cross-Modal Representation Learning with Triplet Loss Functions for Online Handwriting Recognition
Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心（MCML））
本文提出基于三元组损失的跨模态表示学习方法（CMR-IS），利用图像辅助任务提升时间序列分类性能，在在线手写识别中实现更高准确率与更好泛化。
2023-08-03 cs.CV cs.LG
Improved statistical benchmarking of digital pathology models using pairwise frames evaluation
本文提出 nested pairwise frames 相对基准评估框架，通过比较模型与病理医生及医生间标注一致性，缓解数据规模和标注差异问题，并在黑色素瘤 H&E 数据集上验证多类任务。
2023-06-07 cs.CV cs.LG
Collaborative Group: Composed Image Retrieval via Consensus Learning from Noisy Annotations
College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）
针对组合图像检索中的三元组歧义问题，提出共识网络Css-Net，通过四个多样化组合器和KL散度损失实现共识学习，在FashionIQ等基准上显著提升召回率。
2024-09-03 cs.CV
Deep Person Re-Identification with Improved Embedding and Efficient Training
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
近年来，深度卷积神经网络（CNN）极大地推动了人员重新识别任务。其核心是在扩大类间差异的同时减小类内方差。然而，为了实现这一点，现有的深度模型倾向于采用图像对或三元组来形成验证丢失，这是低效且不稳定的，因为训练对或三元组的数量随着训练数据的数量增长而快速增长。此外，它们的性能是有限的，因为它们忽略了这样一个事实，即不同的嵌入维度可能发挥不同的重要性。在本文中，我们提出采用识别损失与中心损失的训练一个深度模型的人重新识别。训练过程是有效的，因为它不需要图像对或三元组的训练，而类间的区别和类内方差得到很好的处理。为了提高性能，设计了一个新的特征重新加权（FRW）层，以明确强调每个嵌入维度的重要性，从而改进嵌入。在几个基准数据集上的实验表明，我们的方法在准确性和速度上都优于最先进的方法。
2017-07-08 cs.CV
Enhancing chest X-ray datasets with privacy-preserving large language models and multi-type annotations: a data-driven approach for improved classification
Imaging Biomarkers and Computer-Aided Diagnosis Laboratory, Department of Radiology and Imaging Sciences, National Institutes of Health Clinical Center（影像生物标志物与计算机辅助诊断实验室，放射学与成像科学系，国家卫生研究院临床中心）
提出基于本地可执行大语言模型的MAPLEZ方法，从胸部X射线报告中提取包含位置、严重程度等多类型标注，显著提升标签质量和下游分类模型性能。
2024-08-15 cs.CV eess.IV
Triplet Entropy Loss: Improving The Generalisation of Short Speech Language Identification Systems
University of Cape Town（开普敦大学）
我们提出了几种方法来提高语言识别（LID）系统的泛化到新的扬声器和新的域。这些方法涉及频谱增强，其中频谱图在训练期间在频率或时间带中被掩蔽，以及在Imagenet数据集上预先训练的CNN架构。本文还介绍了新的三重熵损失训练方法，该方法涉及同时使用交叉熵和三重熵损失来训练网络。结果发现，这三种方法都提高了模型的泛化能力，但并不显着。尽管使用三重熵损失训练的模型显示出对语言的更好理解和更高的准确性，但似乎模型仍然记住了声谱图中存在的单词模式，而不是学习语言的细微差别。研究表明，三重熵损失在语言识别和分类任务中都有很大的应用潜力，值得进一步研究。
2020-12-03 cs.CV cs.LG cs.SD
Weakly Supervised Patch Annotation for Improved Screening of Diabetic Retinopathy
Indian Statistical Institute（印度统计研究所）；University of Oxford（牛津大学）；Techno India University（印度科技大学）；Madras Diabetes Research Foundation（马德拉斯糖尿病研究基金会）
SAFE通过弱监督和对比学习方法，系统扩展病理学中的稀疏标注，提升糖尿病视网膜病变筛查的准确性与性能。
2026-03-04 cs.CV
Explanation-based Weakly-supervised Learning of Visual Relations with Graph Networks
KTH - Royal Institute of Technology（瑞典皇家理工学院）
视觉关系检测是整体图像理解的基础。然而，定位和分类（主语，谓语，宾语）三元组仍然具有挑战性的任务，由于可能的关系，其长尾分布在自然图像中的组合爆炸，和昂贵的注释过程。本文介绍了一种新的弱监督的视觉关系检测方法，依赖于最小的图像级谓词标签。训练图神经网络以从检测到的对象的图表示对图像中的谓词进行分类，隐式地对成对关系的归纳偏差进行编码。然后，我们框架的关系检测作为这样的谓词分类器的解释，即我们通过恢复预测谓词的主语和宾语来获得完整的关系。我们目前的结果与最近的完全和弱监督的方法在三个不同的和具有挑战性的数据集：HICO-DET的人与对象的交互，视觉关系检测的通用对象到对象的关系，和UnRel的不寻常的三胞胎;展示鲁棒性非全面的注释和良好的Few-Shot泛化。
2020-07-17 cs.CV
INTENT: Invariance and Discrimination-aware Noise Mitigation for Robust Composed Image Retrieval
School of Software, Shandong University（山东大学软件学院）
本文提出INTENT网络，通过视觉不变组成和双目标判别学习处理复合图像检索中的两种噪声类型，提升检索鲁棒性。
2026-04-20 cs.CV
CellStyle: Improved Zero-Shot Cell Segmentation via Style Transfer
Institute of Imaging and Computer Vision, RWTH Aachen University, Germany（成像与计算机视觉研究所，亚琛RWTH大学，德国）
CellStyle通过风格迁移技术，在无需目标数据标注的情况下提升零样本细胞分割性能。
2026-01-26 cs.CV cs.LG
Annotation-efficient cancer detection with report-guided lesion annotation for deep learning-based prostate cancer detection in bpMRI
Radboud University Medical Center（拉德堡德大学医学中心）
本文提出利用临床报告中的稀疏信息引导自动标注进行半监督训练，在bpMRI前列腺癌检测中以更少人工标注显著提升csPCa检测性能，并验证了其标注高效性。
2022-02-19 cs.CV eess.IV
Automatic Image Annotation (AIA) of AlmondNet-20 Method for Almond Detection by Improved CNN-based Model
University of Tehran（德黑兰大学）；University of Kashan（卡尚大学）；Islamic Azad University Science and Research Branch（伊斯兰阿扎德大学科学与研究分校）；Islamic Azad University, South Tehran Branch（伊斯兰阿扎德大学德黑兰南部分校）
本文提出20层AlmondNet-20深度CNN并结合数据增强，用于杏仁与果壳自动图像标注和检测，经1000个epoch训练实现99%准确率及0.0567损失。
2024-12-04 cs.AI cs.CV
BP-Triplet Net for Unsupervised Domain Adaptation: A Bayesian Perspective
Anhui University（安徽大学）；Chongqing University（重庆大学）；Alibaba Group（阿里巴巴集团）
三重丢失是深度度量学习（DML）方法之一，用于学习来自同一类的样本比来自不同类的样本更接近的嵌入。受DML的启发，我们从贝叶斯学习的角度提出了一种有效的用于无监督域自适应（UDA）的BP-Triplet Loss模型，并将其命名为BP-Triplet Net。在以往的基于度量学习的UDA方法中，对不同领域的样本对进行了平等的处理，由于领域偏差，这是不合适的。在我们的工作中，考虑到两个特征学习和领域对齐的成对样本的不同重要性，我们推导出我们的BP三重损失有效的UDA从贝叶斯学习的角度。我们的BP三重损失调整域内和域间成对样本的权重。特别地，它可以自关注硬对（包括硬正对和硬负对）。与域对齐常用的对抗性损失一起，目标伪标签的质量逐步提高。我们的方法实现了理想源和目标假设的低联合误差。然后，期望目标误差可以遵循本-大卫定理上界。在手写体数字、ImageCLEF-DA、ImageCLEF-Home和VisDA-2017五个基准数据集上的综合评估证明了所提出的UDA方法的有效性。
2022-02-19 cs.CV
Incorporating Intra-Class Variance to Fine-Grained Visual Recognition
Peking University（北京大学）；Nanyang Technological University（南洋理工大学）
细粒度视觉识别的目标是在视觉上相似的类别中捕获有区别的特征。最先进的研究工作已经通过使用三元组网络的深度度量学习显著提高了细粒度识别性能。然而，类内方差对识别性能和鲁棒特征表示的影响还没有得到很好的研究。在本文中，我们提出了利用类内方差的三元组网络的度量学习，以提高细粒度识别的性能。通过将每个类别中的训练图像划分为几个组，我们形成了跨不同类别以及不同组的三重样本，这被称为组敏感的三重样本采样（GS-TRS）。相应地，通过将类内方差与GS-TRS相结合来增强三元组损失函数，这可能有助于三元组网络的优化目标。在基准数据集CompCar和VehicleID上的大量实验表明，所提出的GS-TRS在分类和检索任务方面都显着优于最先进的方法。
2017-03-01 cs.CV
Leveraging multi-view data without annotations for prostate MRI segmentation: A contrastive approach
University of Stavanger（斯塔万格大学）；Karolinska Institute（卡罗林斯卡学院）；Capio S:t Göran Hospital（卡皮奥圣戈兰医院）；Danderyd Hospital（丹德吕德医院）；Stavanger University Hospital（斯塔万格大学医院）
本文提出基于U-Net的tU-Net网络，通过对比学习利用无标注多视图数据改善前列腺MRI分割，在视图缺失时保持部署灵活性，显著提升了分割精度和体积泛化能力。
2023-09-15 cs.CV eess.IV
Improved Mix-up with KL-Entropy for Learning From Noisy Labels
尽管深度神经网络（DNN）在图像分类研究中取得了优异的性能，但DNN的训练需要大量具有准确标注的干净数据。数据集的收集比较容易，但对收集到的数据进行标注却比较困难。在网站上，存在大量包含不准确注释的图像数据，但在这些数据集上进行训练可能会使网络更容易过度拟合噪声标签并导致性能下降。在这项工作中，我们提出了一种改进的联合优化框架，混合的混合熵和Kullback-Leibler（KL）熵作为损失函数。新的损失函数可以在框架更新两个标签注释之后给出更好的微调。我们在CIFAR-10数据集和Clothing 1 M数据集上进行了实验。结果表明，我们的方法与其他国家的最先进的方法相比，具有优越的性能。
2019-08-16 cs.CV
Active label cleaning for improved dataset quality under resource constraints
Microsoft Research Cambridge（微软剑桥研究院）；Stanford University（斯坦福大学）
数据注释中的不完善，即标签噪声，对机器学习模型的训练有害，并且对模型性能的评估具有经常被忽视的混杂影响。然而，聘请专家通过完全重新注释大型数据集来消除标签噪声在资源受限的环境中是不可行的，例如医疗保健。这项工作倡导一种数据驱动的方法来优先考虑重新注释的样本-我们称之为“主动标签清洗”。我们建议根据估计的标签正确性和标签的难度，每个样本的实例进行排名，并引入一个模拟框架来评估重新标记的功效。我们在自然图像和一个新的医学成像基准上的实验表明，清理噪声标签可以减轻它们对模型训练、评估和选择的负面影响。至关重要的是，所提出的主动标签清理能够在现实条件下比典型的随机选择更有效地校正标签高达4倍，从而更好地利用专家的宝贵时间来提高数据集质量。
2022-02-10 cs.CV cs.LG
Learning Multi-Object Tracking and Segmentation from Automatic Annotations
Mapillary Research（Mapillary研究中心）；Graz University of Technology（格拉茨理工大学）；Computer Vision Center, UAB（巴塞罗那自治大学计算机视觉中心）
在这项工作中，我们贡献了一个新的管道自动生成训练数据，并提高了国家的最先进的多目标跟踪和分割（MOTS）方法。我们提出的轨迹挖掘算法将原始街道级视频转换为高保真MOTS训练数据，具有可扩展性，并克服了昂贵和耗时的手动注释方法的需要。我们利用最先进的实例分割结果与光流预测相结合，也在自动收集的训练数据上进行训练。我们的第二个主要贡献是MOTSNet --一个用于MOTS的深度学习、通过检测进行跟踪的架构--部署了一个新的掩码池层，用于随着时间的推移改进对象关联。用我们自动提取的数据训练MOTSNet，可以显著提高新KITTI MOTS数据集上的sMOTSA分数（汽车/行人的sMOTSA分数为+1.9%/+7.5%），MOTSNet比MOTSChallenge数据集上以前最好的方法提高了+4.1%。我们最令人印象深刻的发现是，即使在完全没有手动注释的MOTS训练数据的情况下，我们也可以改进以前表现最好的作品。
2020-03-30 cs.CV
Weakly-supervised learning of visual relations
INRIA（法国国家信息与自动化研究所）；Univ. Grenoble Alpes, Inria, CNRS, Grenoble INP, LJK（格勒诺布尔阿尔卑斯大学、法国国家信息与自动化研究所、法国国家科学研究中心、格勒诺布尔理工学院、让·昆兹曼实验室）；Czech Institute of Informatics, Robotics and Cybernetics at the Czech Technical University in Prague（布拉格捷克理工大学信息学、机器人与控制论研究所）
本文介绍了一种新的方法来建模对象对之间的视觉关系。我们称关系为三元组的形式（主语，谓语，宾语），其中谓语通常是介词（例如。'under'，'in front of'）或连接一对宾语（主语，宾语）的动词（'hold'，'ride'）。学习这种关系是具有挑战性的，因为对象具有不同的空间配置和外观，这取决于它们发生的关系。另一个主要的挑战来自于很难为所有可能的三元组获得注释，特别是在框级，这使得学习和评估都很困难。本文的贡献有三个方面。首先，我们设计了强大而灵活的视觉功能，对成对对象的外观和空间配置进行编码。其次，我们提出了一个弱监督判别聚类模型，只从图像级标签中学习关系。第三，我们引入了一个新的具有挑战性的数据集的不寻常的关系（UnRel）连同详尽的注释，使视觉关系检索的准确评估。我们通过实验证明，我们的模型在视觉关系数据集上产生了最先进的结果，显著提高了以前看不见的关系（零样本学习）的性能，并在我们新引入的UnRel数据集上证实了这一观察结果。
2017-07-29 cs.CV
Beyond Triplet Loss: Person Re-identification with Fine-grained Difference-aware Pairwise Loss
Beihang University（北京航空航天大学）；University of Adelaide（阿德莱德大学）；Griffith University（格里菲斯大学）；National Institute of Informatics（国立情报学研究所）；University of Tokyo（东京大学）
人员重新识别（ReID）旨在从多个摄像机的不同视角重新识别人员。捕捉细粒度的外观差异通常是准确识别ReID的关键，因为只有在查看这些细粒度差异时才能区分许多身份。然而，大多数最先进的人ReID方法，通常由三重丢失驱动，无法有效地学习细粒度特征，因为它们更专注于区分大的外观差异。为了解决这个问题，我们引入了一种新的成对损失函数，使ReID模型能够通过自适应地对小差异的图像执行指数惩罚和对大差异的图像执行有界惩罚来学习细粒度特征。所提出的损失是通用的，可以用作插件来取代三重损失，以显着增强不同类型的国家的最先进的方法。在四个基准数据集上的实验结果表明，该损失函数的性能大大优于一些流行的损失函数，并且能够显著提高数据效率.
2020-09-22 cs.CV cs.IR
CrowdFormer: Weakly-supervised Crowd counting with Improved Generalizability
Department of Electrical Engineering, Indian Institute of Technology Indore, India（印度理工学院印度尔分校电子工程系）
提出基于金字塔视觉变换器的弱监督人群计数方法，通过全局上下文建模实现与现有方法相当的性能并展现显著泛化性。
2022-03-07 cs.CV
Crack Detection as a Weakly-Supervised Problem: Towards Achieving Less Annotation-Intensive Crack Detectors
Hitachi Ltd.（日立有限公司）
自动裂缝检测是一项关键任务，有可能大大减少目前手动进行的劳动密集型建筑和道路检查。最近在这一领域的研究显着提高了检测精度。然而，这些方法通常严重依赖于昂贵的注释过程。此外，为了处理各种各样的目标域，每个新环境通常都需要新批的注释。这使得数据注释成本在现实生活中部署裂缝检测系统时成为一个重要的瓶颈。为了解决这个问题，我们制定了裂纹检测问题作为一个弱监督的问题，并提出了一个两个分支的框架。通过将在低质量注释上训练的监督模型的预测与基于像素亮度的预测相结合，我们的框架受注释质量的影响较小。实验结果表明，该框架保持了较高的检测精度，即使在提供低质量的注释。拟议框架的实施情况可在https://github.com/hitachi-rd-cv/weakly-sup-crackdet上公开查阅。
2020-11-04 cs.CV
AdaTriplet-RA: Domain Matching via Adaptive Triplet and Reinforced Attention for Unsupervised Domain Adaptation
Nanjing University of Information Science and Technology（南京信息工程大学）；Inria（法国国家信息与自动化研究所）；Université Paris-Saclay（巴黎萨克雷大学）；Zenith Ai；East China Normal University（华东师范大学）
无监督域自适应（UDA）是一种迁移学习任务，其中源域的数据和注释可用，但在训练期间只能访问未标记的目标数据。大多数先前的方法试图通过在源域和目标域之间执行分布对齐来最小化域间隙，这具有显著的限制，即，在域级别上操作，但忽略样本级别的差异。为了减轻这一弱点，我们提出了改进无监督领域自适应任务与域间样本匹配计划。我们采用广泛使用的和强大的三重损失匹配域间样本。为了减少训练过程中产生的不准确伪标签的灾难性影响，我们提出了一种新的不确定性测量方法来自动选择可靠的伪标签并逐步对其进行改进。我们采用先进的离散松弛Gumbel Softmax技术来实现自适应Topk方案，以实现功能。此外，为了实现域匹配的一个批次内的全局排名优化，整个模型通过一种新的加强注意力机制进行优化，并使用平均精度（AP）作为奖励，该机制具有来自策略梯度算法的监督。我们的模型（称为\textbf{\textit{AdaTriplet-RA}}）在几个公共基准数据集上获得了最先进的结果，其有效性通过全面的消融研究得到了验证。我们的方法在VisDa数据集上将基线的准确性提高了9.7%（ResNet-101）和6.2%（ResNet-50），在Domainnet数据集上提高了4.22%（ResNet-50）。{The源代码可在\textit{https://github.com/shuxy0120/AdaTriplet-RA}上…
2022-11-16 cs.CV
Towards Addressing the Misalignment of Object Proposal Evaluation for Vision-Language Tasks via Semantic Grounding
Arizona State University（亚利桑那州立大学）
针对视觉-语言任务中对象提议评估与下游性能错位的问题，提出基于语义接地选择重要标注子集进行评估的方法，显著提升与图像描述指标及人工标注的对齐度。
2023-09-01 cs.CL cs.CV
Optimization of Autonomous Driving Image Detection Based on RFAConv and Triplet Attention
University of Sydney（悉尼大学）；University of Pittsburgh（匹兹堡大学）；Santa Clara University（圣克拉拉大学）；Trine University（特里恩大学）
针对自动驾驶场景下的目标检测需求，本文通过引入C2f_RFAConv模块和Triplet Attention机制改进YOLOv8模型，提升了特征提取效率与特征聚焦能力，实现了MAP值升高、PR曲线表现改善的检测性能提升。
2024-06-25 cs.AI cs.CV cs.RO
Detecting Human-Object Interaction with Mixed Supervision
Univ Le Mans（勒芒大学）；CNRS（法国国家科学研究中心）；IRISA（IRISA研究所）；King’s College London（伦敦国王学院）；Univ Rennes（雷恩大学）；Inria（法国国家信息与自动化研究所）
人类对象交互检测是图像理解和推理中的一个重要任务。它采用HOI三元组<human; verb; object>的形式，需要人和对象的边界框，以及它们之间的动作来完成任务。换句话说，这项任务需要对培训进行强有力的监督，而培训是很难获得的。克服这个问题的一个自然的解决方案是追求弱监督学习，在这种情况下，我们只知道图像中某些HOI三元组的存在，但它们的确切位置是未知的。大多数弱监督学习方法在强监督数据可用时不提供利用数据;实际上，在HOI检测中这两种范式的天真组合无法相互贡献。在这方面，我们提出了一个混合监督的HOI检测管道：这要归功于动量独立学习的特定设计，它可以在这两种类型的监督中无缝学习。此外，针对混合监督中的注释不足，我们引入了HOI元素交换技术来合成图像之间的多样性和硬底片，并提高了模型的鲁棒性。我们的方法进行了评估具有挑战性的HICO-DET数据集。通过使用混合量的强和弱注释，它的性能接近甚至优于许多全监督方法;此外，在相同的监督下，它的性能优于代表性的弱和全监督方法。
2020-11-12 cs.CV
Objectron: A Large Scale Dataset of Object-Centric Videos in the Wild with Pose Annotations
Google（谷歌）
由于在机器人、增强现实、自主和图像检索中的许多应用，3D目标检测最近变得流行。我们引入Objectron数据集，以推进3D目标检测的最新技术水平，并促进新的研究和应用，如3D对象跟踪，视图合成，并改进3D形状表示。该数据集包含以对象为中心的短视频，具有9个类别的姿势注释，并包括14，819个注释视频中的400万个注释图像。我们还提出了一个新的评价指标，3D交集超过联盟，三维目标检测。我们证明了我们的数据集在3D目标检测任务中的有用性，通过提供在此数据集上训练的基线模型。我们的数据集和评估源代码可在http://www.objectron.dev上在线获得
2020-12-18 cs.CV
Multi-Person Pose Estimation Evaluation Using Optimal Transportation and Improved Pose Matching
本文提出OCpose方法，通过最优传输和改进姿态匹配，公平评估多人体姿态估计中真阳性与假阳性姿态的权衡。
2026-03-11 cs.CV
