Breaking the SSL-AL Barrier: A Synergistic Semi-Supervised Active Learning Framework for 3D Object Detection
Beihang University（北京航空航天大学）；Hefei University of Technology（合肥工业大学）
针对3D目标检测标注负担重、半监督与主动学习融合存在范式冲突的问题，提出S-SSAL框架，通过CPSP预训练和CAL协同选择，仅用2%标注数据即可在KITTI上达到全量训练性能。
2025-03-22 cs.CV
Exploring Active 3D Object Detection from a Generalization Perspective
The University of Queensland（昆士兰大学）
为了减轻基于LiDAR的3D目标检测中的高注释成本，主动学习是一种很有前途的解决方案，它学习仅选择一小部分未标记的数据进行注释，而不会影响模型性能。然而，我们的实证研究表明，主流的基于不确定性和基于多样性的主动学习策略在应用于3D检测任务时是无效的，因为它们无法平衡点云信息量和框级注释成本之间的权衡。为了克服这一限制，我们在我们的框架Crb中共同研究了用于点云采集的三个新标准-标签简洁性、特征代表性和几何平衡，其分层过滤掉冗余3D限界框标签、潜在特征和几何特征（例如，点云密度），并从未标记的样本池中选择具有较少对象的信息性样本进行注释。我们的理论分析表明，所提出的标准对齐的边缘分布的选择子集和先验分布的看不见的测试集，并最小化的泛化误差的上界。为了验证Crb的有效性和适用性，我们对KITTI和Waymo的两个基准3D目标检测数据集进行了广泛的实验，并检查了两个单阶段（即，第二）和两级3D检测器（即，Pv-rcnn）。实验证明，所提出的方法优于现有的主动学习策略，并实现完全监督的性能，需要$1\%$和$8\%$注释的边界框和点云，分别。源代码：https://github.com/Luoyadan/CRB-active-3Ddet。
2023-02-08 cs.AI cs.CV
Active and Incremental Learning with Weak Supervision
Friedrich Schiller University Jena（耶拿弗里德里希·席勒大学）
大量标记的训练数据是深度模型在过去取得巨大成功的主要贡献者之一。由于资金和专门知识的要求，为基准以外的任务获取标签可能构成挑战。通过选择在模型改进方面有希望的未标记的示例并且仅要求相应的标签，主动学习可以在时间和成本方面提高标记过程的效率。在这项工作中，我们描述了增量学习计划和主动学习方法的组合。这些允许连续探索新观察到的未标记数据。我们描述的选择标准的基础上，模型的不确定性以及预期的模型输出变化（EMOC）。在PASCAL VOC数据集上的连续探索上下文中评估目标检测任务。我们还验证了一个弱监督系统的基础上主动和增量学习在现实世界中的生物多样性的应用，从相机陷阱的图像进行分析。通过接受或拒绝我们的方法生成的建议，仅标记32个图像，准确率从25.4%提高到42.6%。
2020-01-20 cs.CV
CEREALS - Cost-Effective REgion-based Active Learning for Semantic Segmentation
Robert Bosch GmbH（罗伯特·博世有限公司）
用于语义图像分割的现有技术方法使用完全标记的训练图像的大型语料库以监督的方式进行训练。然而，与收集未标记的数据相比，收集这样的语料库是昂贵的，这是由于人工注释工作。我们提出了一个基于主动学习的策略，称为CEREALS，其中一个人只需要手动标记几个，自动选择，在一个未标记的图像语料库的区域。这最大限度地减少了人工注释工作，同时最大限度地提高了语义图像分割方法的性能。自动选择过程是通过以下方式实现的：a）使用与关于人类注释努力的估计相结合的合适的信息度量，该估计是从学习的成本模型推断的，以及b）利用图像的空间相干性。CEREALS的性能在Cityscapes上得到了证明，在Cityscapes上，我们能够将注释工作量减少到17%，同时保持95%的模型平均交集（mIoU），该模型是用Cityscapes的完全注释训练集训练的。
2018-10-23 cs.CV
Active Data Discovery: Mining Unknown Data using Submodular Information Measures
University of Texas at Dallas（德克萨斯大学达拉斯分校）；Microsoft Research（微软研究院）
主动学习是一种非常常见但功能强大的框架，用于迭代和自适应地对未标记集合的子集进行采样，其中人类处于循环中，目标是实现标记效率。大多数真实世界的数据集在类和切片中存在不平衡，相应地，数据集的部分是罕见的。因此，在设计用于挖掘这些稀有数据实例的主动学习方法方面有很多工作。大多数方法都假设可以访问包含这些稀有数据实例的种子实例集。然而，在更极端稀有的情况下，可以合理地假设这些稀有数据实例（类或切片）甚至可能不存在于种子标记集合中，并且对于主动学习范例的关键需求是有效地发现这些稀有数据实例。在这项工作中，我们提供了一个主动的数据发现框架，可以挖掘未知的数据切片和类有效地使用子模块条件增益和子模块条件互信息功能。我们提供了一个通用的算法框架，它的作品在许多情况下，包括图像分类和目标检测，并与罕见的类和罕见的切片存在于未标记的集合。与现有的最先进的主动学习方法相比，我们的方法显示出显着的准确性和标记效率的提高，用于主动发现这些罕见的类和切片。
2022-06-17 cs.CV
Warm Start Active Learning with Proxy Labels \& Selection via Semi-Supervised Fine-Tuning
NVIDIA（英伟达）
在构建用于深度学习的医学成像数据集时，下一步注释哪一卷是一个具有挑战性的问题。主动学习是解决这一问题的有效方法之一。然而，AL一直是一个很难破解的AL算法和采集功能是最有用的数据集。此外，当开始时没有标记的数据时，首先标记哪些卷会加剧问题。这被称为AL中的冷启动问题。我们提出了两个新的战略AL专门用于3D图像分割。首先，我们提出了一个代理任务，然后利用代理任务产生的不确定性排名的未标记的数据进行注释来解决冷启动问题。其次，我们为每个活动迭代制作了一个两阶段的学习框架，其中未标记的数据也用于第二阶段作为半监督微调策略。我们展示了我们的方法在两个著名的大型公共数据集上的承诺，这些数据集来自医疗分割十项全能。结果表明，初始数据的选择和半监督框架都表现出显着的改善几个AL策略。
2022-09-13 cs.CV
Distance to Class Prototypes: Active Learning for Object Detection
The University of Melbourne（墨尔本大学）；Jimei University（集美大学）
针对目标检测主动学习，提出基于类原型距离的评分信号，仅需一次前向传播，以少量参数提升标注选择效率，在多个数据集上优于后验概率并匹敌集成方法。
2026-09-18 cs.CV
MiniMax Entropy Network: Learning Category-Invariant Features for Domain Adaptation
Big Data Research Center, University of Electronic Science and Technology of China（电子科技大学大数据研究中心）；Institute for Infocomm Research, A*STAR（新加坡科技研究局信息通信研究所）
本文提出 MiniMax 熵网络（MMEN），通过对抗学习中的类别判别器与生成器，在类别层面实现源域与目标域特征对齐，以解决域适应问题，并在多个基准数据集上验证了其有效性。
2024-06-08 cs.CV
Unifying Active Learning and Semi-Supervised Learning for Medical Image Segmentation
Weill Cornell Medicine（威尔康乃尔医学院）；Cornell University（康奈尔大学）
针对医学图像分割标注数据有限问题，提出RegAL统一框架，通过共享拓扑感知帕累托优化，结合样本获取与未标注数据利用，沿三个互补轴评估图像，在多数据集上于极端标注稀缺时表现稳定且优于基线。
2026-07-29 cs.CV stat.ML
Rethinking deep active learning: Using unlabeled data at model training
Inria, IRISA, Univ Rennes, CNRS（法国国家信息与自动化研究所、法国国家科学研究中心、雷恩大学、IRISA研究所）
主动学习通常专注于仅在少数标记的示例上训练模型，而未标记的示例仅用于获取。在这项工作中，我们通过在主动学习周期的模型训练期间使用标记和未标记的数据来脱离这种设置。我们通过在所有可用数据上在主动学习管道的开始使用无监督特征学习和在每个主动学习周期使用半监督学习来实现这一点。前者以前在主动学习中没有被研究过，而后者在深度学习背景下的研究很少，最近的研究结果对其益处也没有定论。我们的想法是通过使用更多的数据正交的采集策略，很像集成方法使用更多的模型。通过系统地评估一些流行的采集策略和数据集，我们发现，在模型训练过程中使用未标记的数据带来了令人惊讶的准确性提高图像分类，相比采集策略之间的差异。因此，我们探索更小的标签预算，甚至每个类一个标签。
2019-11-19 cs.CV cs.LG
Latent Hinge-Minimax Risk Minimization for Inference from a Small Number of Training Samples
University of Haifa（海法大学）
深度学习（DL）方法在大型平衡数据集上训练时表现出非常好的性能。然而，许多实际问题涉及不平衡的数据集，或/和具有少量训练样本的类。DL方法以及更传统的分类器的性能在这样的设置中显著下降。大多数现有的不平衡问题的解决方案集中在定制的数据进行培训。一个更有原则的解决方案是使用混合Hinge-Minimax风险[19]，专门用于解决具有不平衡训练集的二元问题。在这里，我们提出了一个潜在的铰链极大极小（LHM）的风险和训练算法，推广这种模式的合奏超平面，可以形成任意复杂的，分段线性边界。为了提取好的特征，我们通过迁移学习将LHM模型与CNN相结合。为了解决多类问题，我们将预先训练的特定类别的LHM分类器映射到多类神经网络，并快速调整权重。LHM分类器允许在其训练中使用未标记的数据，并且映射允许多类推理，从而导致分类器在少量训练样本上训练时比替代品表现更好。
2017-02-04 cs.CV cs.LG
Influence Selection for Active Learning
Johns Hopkins University（约翰斯·霍普金斯大学）；SenseTime Research（商汤科技研究院）；CUHK-SenseTime Joint Lab, The Chinese University of Hong Kong（香港中文大学-商汤科技联合实验室，香港中文大学）
现有的主动学习方法通过评估样本的不确定性或其对基于不同任务特定或模型特定标准的标记数据集的多样性的影响来选择样本。在本文中，我们提出了影响选择的主动学习（ISAL），选择未标记的样本，可以提供最积极的影响模型的性能。为了获得主动学习场景下未标记样本的影响，我们设计了未训练的未标记样本影响计算（UUIC）来估计未标记样本的期望梯度，从而计算其影响。为了证明UUIC的有效性，我们提供了理论和实验分析。由于UUIC只依赖于模型梯度，这可以很容易地从任何神经网络获得，我们的主动学习算法是任务和模型不可知的。ISAL在不同的主动学习设置中针对不同的任务和不同的数据集实现了最先进的性能。在CIFAR10、VOC2012和COCO上，与已有方法相比，该方法分别降低了12%、13%和16%的标注成本。
2021-08-20 cs.CV cs.LG
ADROIT: A Self-Supervised Framework for Learning Robust Representations for Active Learning
IIT Kanpur（印度理工学院坎普尔分校）；Amazon（亚马逊公司）
ADROIT提出基于VAE的统一主动学习框架，融合重建、对抗、自监督、知识蒸馏和分类损失，通过VAE与状态判别器的竞争机制选择信息丰富的无标签样本，实验验证其有效性。
2025-03-10 cs.CV cs.LG
Semi-supervised Domain Adaptation via Minimax Entropy
Boston University（波士顿大学）；University of California, Berkeley（加州大学伯克利分校）
当代领域自适应方法在不需要任何目标监督的情况下对齐源和目标域的特征分布是非常有效的。然而，我们表明，这些技术表现不佳时，即使是几个标记的例子是在目标。为了解决这个半监督领域自适应（SSDA）设置，我们提出了一种新的极大极小熵（MME）的方法，逆向优化自适应Few-Shot模型。我们的基础模型由一个特征编码网络组成，然后是一个分类层，用于计算特征与估计原型（每个类的代表）的相似性。自适应是通过交替地最大化未标记的目标数据的条件熵相对于分类器和最小化它相对于特征编码器。我们凭经验证明了我们的方法优于许多基线，包括传统的特征对齐和Few-Shot方法，为SSDA设置了一个新的最先进的状态。
2019-09-14 cs.CV
Deep Active Learning with Contrastive Learning Under Realistic Data Pool Assumptions
Seoul National University of Science and Technology（首尔科学技术大学）
主动学习的目标是从未标记的数据池中识别出信息量最大的数据，使模型能够快速达到所需的准确性。这尤其有利于深度神经网络，其通常需要大量的标记样本来实现高性能。大多数现有的主动学习方法都是在理想环境中进行评估的，在理想环境中只有与目标任务相关的样本，即，分布内样本存在于未标记的数据池中。然而，从野外收集的数据池很可能包括与目标任务完全不相关的样本和/或过于模糊而无法分配单个类标签的样本，即使是对于oracle。我们认为，假设一个未标记的数据池组成的样本来自不同的分布是更现实的。在这项工作中，我们引入了新的主动学习基准，包括模糊的，任务无关的分布以及分布样本。我们还提出了一个主动学习方法，旨在获得信息的分布中的样本优先。所提出的方法利用标记和未标记的数据池，并通过对比学习构建的特征空间上的聚类选择样本。实验结果表明，所提出的方法需要更低的注释预算比现有的主动学习方法，以达到相同的准确率水平。
2023-03-25 cs.CV cs.LG
Similarity Search for Efficient Active Learning and Search of Rare Concepts
Stanford University（斯坦福大学）；Facebook AI（脸书人工智能）；University of Wisconsin（威斯康星大学）；Facebook AI Research（脸书人工智能研究院）
许多主动学习和搜索方法对于具有数十亿未标记示例的大规模工业环境是难以处理的。现有的方法在全局范围内搜索最优的样本来标记，与未标记的数据进行线性甚至二次缩放。在本文中，我们提高了计算效率的主动学习和搜索方法的限制候选池标记到最近的邻居的当前标记的集合，而不是扫描所有的未标记的数据。我们在三个大型计算机视觉数据集上评估了几种选择策略：ImageNet，OpenImages和一家大型互联网公司提供的100亿张图像的去识别和聚合数据集。我们的方法实现了类似的平均平均精度和召回率的传统的全球方法，同时减少了多达三个数量级的选择的计算成本，从而使网络规模的主动学习。
2021-07-22 cs.AI cs.CV cs.LG
Inconsistency-Based Data-Centric Active Open-Set Annotation
The University of Texas at Dallas（德克萨斯大学达拉斯分校）
针对未标记数据含未知类别的主动开放集标注问题，提出以数据为中心的高效主动学习方法 NEAT，利用标签可聚类性与一致性准则选择信息性样本，性能显著优于现有方法。
2024-01-10 cs.CV cs.LG
Exploiting Diversity of Unlabeled Data for Label-Efficient Semi-Supervised Active Learning
Technical University of Munich（慕尼黑工业大学）；Kyung Hee University（庆熙大学）
大型标记数据集的可用性是深度学习成功的关键组成部分。然而，在大型数据集上标注标签通常耗时且昂贵。主动学习是一个研究领域，它通过选择最重要的样本进行标记来解决昂贵的标记问题。基于多样性的采样算法被认为是主动学习的基于表示的方法的组成部分。在本文中，我们引入了一个新的基于多样性的初始数据集选择算法，选择最丰富的样本集的初始标记在主动学习设置。自监督表示学习用于在初始数据集选择算法中考虑样本的多样性。此外，我们提出了一种新的主动学习查询策略，它使用基于一致性的嵌入基于多样性的采样。该方法在基于一致性的嵌入方案中考虑了一致性信息的多样性，在半监督学习环境下可以选择更多的信息样本进行标记。对比实验表明，该方法在CIFAR-10和Caltech-101数据集上取得了令人信服的结果，与以往的主动学习方法相比，该方法利用了未标记数据的多样性。
2022-07-25 cs.CV
Semi-Supervised Variational Adversarial Active Learning via Learning to Rank and Agreement-Based Pseudo Labeling
The University of Texas at Arlington（德克萨斯大学阿灵顿分校）
针对变分对抗主动学习未利用任务信息和未标记数据训练的局限，提出基于排序的损失预测模块和半监督伪标签算法，在分类与分割基准上取得更优性能。
2024-08-23 cs.CV cs.LG
Active Semi-Supervised Learning by Exploring Per-Sample Uncertainty and Consistency
SNUAILAB（首尔国立大学人工智能实验室）；Seoul National University（首尔国立大学）
主动学习（AL）和半监督学习是两种已经被研究的技术，通过使用少量的标记数据和大量的未标记数据来降低深度学习的高成本。为了以较低的代价提高模型的准确性，我们提出了一种称为主动半监督学习（ASSL）的方法，它结合了AL和SSL。为了最大限度地发挥AL和SSL之间的协同作用，我们重点研究了ASSL和AL之间的差异。由于在训练过程中使用了未标记数据，ASSL比AL涉及更多的动态模型更新，导致未标记数据的预测概率的时间不稳定性。这使得它很难确定在ASSL的未标记的数据的真实不确定性。为了解决这个问题，我们采用了强化学习中使用的指数移动平均（EMA）和置信上限（UCB）等技术。此外，我们分析了标签噪声对无监督学习的影响，通过使用弱和强增强对来解决数据一致性。通过同时考虑不确定性和数据一致性，我们获得的数据样本中使用的建议ASSL方法。我们的实验表明，ASSL实现了约5.3倍的计算效率比SSL，同时实现相同的性能，它优于国家的最先进的AL方法。
2023-03-15 cs.CV cs.LG
Deep Active Learning with Budget Annotation
Dedan Kimathi University of Technology（德丹·基马蒂科技大学）
几十年来收集的数字数据和目前使用信息技术产生的数据大部分是未标记的数据或没有描述的数据。未标记的数据是相对容易获得，但昂贵的标签，即使使用领域专家。最近的工作集中在使用主动学习与不确定性度量措施，以解决这个问题。虽然大多数不确定性选择策略是非常有效的，但它们没有考虑到未标记实例的信息量，并且容易查询离群值。为了应对这些挑战，我们提出了一种混合的方法计算的不确定性和信息量的实例，然后自动标签计算的实例使用预算注释器。为了降低标注成本，我们采用了最先进的预训练模型，以避免查询这些模型中已经包含的信息。我们在不同数据集上的大量实验证明了所提出的方法的有效性。
2022-07-31 cs.CV cs.LG
Consistency-based Semi-supervised Active Learning: Towards Minimizing Labeling Cost
Google（谷歌）；Salesforce Research（Salesforce研究院）；University of Maryland（马里兰大学）；Google Cloud AI（谷歌云AI）；University of Washington（华盛顿大学）
主动学习（AL）结合了数据标记和模型训练，通过优先选择能够最好地提高模型性能的高价值数据来最小化标记成本。在基于池的主动学习中，可访问的未标记数据在大多数传统方法中不用于模型训练。在这里，我们建议将未标记的样本选择和模型训练统一起来，以最小化标记成本，并为此做出两个贡献。首先，我们利用标记和未标记的数据，使用半监督学习（SSL）在训练阶段从未标记的数据中提取信息。其次，我们提出了一个基于一致性的样本选择度量，该度量与训练目标一致，使得所选择的样本有效地提高模型性能。我们对图像分类任务进行了广泛的实验。在CIFAR-10、CIFAR-100和ImageNet上的实验结果表明，与现有方法以及替代的AL和SSL组合相比，我们提出的方法在有限的标记数据下具有优异的性能。此外，我们还研究了一个重要但尚未探索的问题--“我们什么时候可以开始基于学习的人工智能选择？".我们提出了一个措施，是经验相关的AL目标损失，并可能用于确定适当的起点，基于学习的AL方法。
2020-07-18 cs.CV cs.LG
State-Relabeling Adversarial Active Learning
University of Chinese Academy of Sciences（中国科学院大学）；University of Science and Technology of China（中国科学技术大学）；Peng Cheng Laboratory（鹏城实验室）
主动学习是通过对最具代表性的样本进行采样并由预言机进行标记来设计标记有效的算法。在本文中，我们提出了一个状态重新标记对抗主动学习模型（SRAAL），它利用注释和标记/未标记的状态信息来获得信息量最大的未标记样本。SRAAL由一个表示生成器和一个状态映射器组成。该生成器使用与传统重构信息互补的标注信息来生成样本的统一表示，将语义嵌入到整个数据表示中。然后，我们设计了一个在线的不确定性指标，赋予未标记的样本不同的重要性。因此，我们可以根据预测的状态选择信息量最大的样本。我们还设计了一个算法来初始化标记池，这使得后续的采样更有效。在不同数据集上进行的实验表明，我们的模型优于以前的最先进的主动学习方法和我们的初始采样算法取得了更好的性能。
2020-04-10 cs.CV cs.LG
Deep Active Learning with Manifold-preserving Trajectory Sampling
The University of Alabama at Birmingham（阿拉巴马大学伯明翰分校）；HPE（慧与科技）；Chaitanya Bharathi Institute of Technology（查塔亚巴拉蒂技术学院）
针对深度主动学习中已标注数据占比低导致的选择偏差问题，本文提出流形保持轨迹采样（MPTS）方法，通过MMD分布映射使特征空间更准确表示流形，并在视觉与非视觉基准数据集上验证了其优越性。
2024-10-21 cs.AI cs.CV
Deep Active Learning via Open Set Recognition
Georgia State University（佐治亚州立大学）
在许多应用中，数据很容易获取，但标记昂贵且耗时，突出的例子包括医学成像和NLP。近年来，随着我们收集数据能力的提高，这种差距只会扩大。在这些约束下，从未标记池中仅选择信息量最大的实例并请求oracle（例如，人类专家）来为这些样品提供标签。主动学习的目标是推断未标记样本的信息量，从而最小化对oracle的请求数量。在这里，我们制定主动学习作为一个开集识别问题。在这个范例中，只有一些输入属于已知类;分类器必须将其余的识别为未知。更具体地说，我们利用变分神经网络（VNN），它产生高置信度（即，低熵）预测，仅用于非常类似于训练数据的输入。我们使用这个置信度的倒数来选择oracle应该标记的样本。直觉上，VNN不确定的未标记样本对于未来的训练来说信息量更大。我们对我们新颖的主动学习概率公式进行了广泛的评估，在MNIST、CIFAR-10和CIFAR-100上取得了最先进的结果。此外，与当前的主动学习方法不同，我们的算法可以在不需要任务标签的情况下学习任务。正如我们的实验所示，当未标记池由来自多个数据集的样本混合组成时，我们的方法可以自动区分来自可见任务和不可见任务的样本。
2021-04-05 cs.CV cs.LG stat.ML
A Simple Baseline for Low-Budget Active Learning
University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）；University of California, Davis（加州大学戴维斯分校）
主动学习的重点是选择未标记数据的子集进行标记。然而，大多数这样的方法假设可以注释大的数据子集。我们对低预算的主动学习感兴趣，其中只有一小部分（例如，ImageNet的0.2%）可以进行注释。我们没有提出一种新的查询策略来迭代地对给定初始池的未标记数据进行批量采样，而是通过一种现成的自监督学习方法只学习一次丰富的特征，然后在包括ImageNet在内的各种数据集上研究不同采样策略的有效性。我们表明，虽然国家的最先进的主动学习方法工作良好，给出了一个大的标签预算，一个简单的K-means聚类算法可以在低预算优于他们。我们相信这种方法可以作为一个简单的基线低预算的主动学习的图像分类。代码可在：https://github.com/UCDvision/low-budget-al
2022-04-01 cs.CV cs.LG
PAL : Pretext-based Active Learning
Indian Institute of Technology, Bombay（印度理工学院孟买分校）；Microsoft Research, India（微软研究院印度分部）
基于池的主动学习的目标是明智地从池中选择固定大小的未标记样本子集来查询它们的标签，以最大化监督学习器的准确性。然而，在大多数情况下，预言机应该总是分配正确的标签的未说出口的要求是不合理的。我们提出了一种用于深度神经网络的主动学习技术，该技术比以前提出的技术对错误标记更鲁棒。以前的技术依赖于任务网络本身来估计未标记样本的新颖性，但学习任务（泛化）和选择样本（分布外检测）可能是相互冲突的目标。我们使用一个单独的网络来对未标记的样本进行评分以进行选择。评分网络依赖于自我监督来对标记样本的分布进行建模，以减少对潜在噪声标签的依赖。为了解决数据不足的问题，我们还在评分网络上部署了另一个头，通过多任务学习进行正则化，并使用了一个不寻常的自平衡混合评分函数。此外，我们将每个查询划分为子查询之前标记，以确保查询有不同的样本。除了具有更高的容忍度错误标记的样本的预言，所得到的技术也产生竞争力的准确性，在标签噪声的情况下。该技术还通过临时增加这些类的采样率来很好地处理新类的动态引入。
2021-03-28 cs.CV cs.LG
Unsupervised Clustering Active Learning for Person Re-identification
监督人重新识别（re-id）方法需要大量的成对手动标记数据，这在大多数真实场景中不适用于re-id部署。另一方面，无监督的re-id方法依赖于未标记的数据来训练模型，但与有监督的re-id方法相比表现不佳。在这项工作中，我们的目标是将无监督的re-id学习与少量的人类注释相结合，以实现有竞争力的性能。为了实现这一目标，我们提出了一种无监督聚类主动学习（UCAL）re-id深度学习方法。它能够增量式地发现具有代表性的质心对，并要求人工注释它们。这些少量的标记代表性成对数据可以改善无监督表示学习模型与其他大量的未标记数据。更重要的是，由于选择了具有代表性的质心对进行注释，因此UCAL可以以非常低的人力成本工作。大量的实验表明，该模型的优越性，国家的最先进的主动学习方法在三个re-id基准数据集。
2021-12-26 cs.AI cs.CV
Forgetful Active Learning with Switch Events: Efficient Sampling for Out-of-Distribution Data
Georgia Institute of Technology（佐治亚理工学院）
本文考虑深度分布外主动学习。在实践中，完全训练的神经网络与分布外（OOD）输入随机交互，并在模型表示空间内随机映射异常样本。由于数据表示是训练分布的直接表现，因此数据选择过程在离群值鲁棒性中起着至关重要的作用。对于诸如主动学习之类的范例，这尤其具有挑战性，因为协议不仅必须最有效地提高训练分布的性能，而且还必须进一步呈现鲁棒的表示空间。然而，现有的策略直接基于未标记数据的数据表示的数据选择，这是随机的OOD样本的定义。为了这个目的，我们介绍了健忘的主动学习与开关事件（开关）-一种新的主动学习协议的分布外主动学习。我们没有直接在数据表示上定义样本的重要性，而是在训练过程中制定了具有学习难度的“信息量”。具体来说，我们估计网络“忘记”未标记样本的频率，并查询最“忘记”的样本进行注释。我们报告了超过270个实验，包括四个常用的协议，两个面向对象的基准测试，一个在分布基准测试，和三个不同的架构高达4.5%的准确性提高。
2023-01-12 cs.CV cs.LG
PT4AL: Using Self-Supervised Pretext Tasks for Active Learning
Georgia Institute of Technology（佐治亚理工学院）；SI Analytics；Lunit Inc（Lunit公司）；Hanbat National University（韩巴国立大学）
标记大量数据是昂贵的。主动学习的目标是解决这个问题，它只要求从未标记的集合中注释信息量最大的数据。我们提出了一种新的主动学习方法，利用自我监督的借口任务和一个独特的数据采样器来选择既困难又有代表性的数据。我们发现，一个简单的自我监督的借口任务，如旋转预测的损失，是密切相关的下游任务的损失。在主动学习迭代之前，在未标记的集合上训练借口任务学习器，并且未标记的数据被排序并根据它们的借口任务损失分成批次。在每一次主动学习迭代中，主任务模型被用于对一批中最不确定的数据进行采样以进行注释。我们在各种图像分类和分割基准上评估了我们的方法，并在CIFAR 10，Caltech-101，ImageNet和Cityscapes上实现了令人信服的性能。我们进一步表明，我们的方法在不平衡数据集上表现良好，并且可以有效地解决冷启动问题，其中主动学习性能受到随机采样的初始标记集的影响。
2022-07-26 cs.CV
ActiveDC: Distribution Calibration for Active Finetuning
School of Software, Beihang University（北京航空航天大学软件学院）；Hangzhou Innovation Institute, Beihang University（北京航空航天大学杭州创新研究院）；State Key Laboratory of Virtual Reality Technology and Systems, Beihang University（北京航空航天大学虚拟现实技术与系统国家重点实验室）
本文提出 ActiveDC 方法，通过优化子集与未标注池的分布相似性并利用隐式类别信息校准分布，在低采样比例下显著提升主动微调性能，最高增益达 10%。
2024-02-27 cs.CV
Single Shot Active Learning using Pseudo Annotators
Delft University of Technology（代尔夫特理工大学）
标准的近视主动学习假设每当选择新样本时总是可以获得人类注释。然而，这在许多现实世界的应用中是不现实的，因为人类专家并不是随时都可用。在本文中，我们考虑了Single Shot设置：所有需要的样本应该在Single Shot中选择，并且在选择过程中不能利用人类注释。我们提出了一种新的方法，主动学习通过随机标记（ALRL），它取代了多个，我们将称为，伪注释单个人类注释。每当查询新的未标记样本时，这些伪注释器总是提供统一和随机的标签。这种随机标记使标准主动学习算法也能够表现出Single Shot主动学习所需的探索行为。通过最小化未标记样本和查询样本之间的最近邻距离来选择最具代表性的样本，进一步增强了探索性行为。在真实数据集上的实验表明，该方法优于几种最先进的方法。
2018-05-17 cs.CV cs.LG stat.ML
Deep Active Learning with Augmentation-based Consistency Estimation
hutom；KAIST（韩国科学技术院）
在主动学习中，研究的重点主要是未标记数据的选择策略，以增强下一个学习周期的泛化能力。为此，已经提出了各种不确定性测量方法。另一方面，随着数据增强度量作为一般深度学习的正则化器的出现，我们注意到在主动学习场景中，未标记数据选择方法和基于数据增强的正则化技术之间可能存在相互影响。通过各种实验，我们证实了分析学习理论中基于一致性的正则化结合现有的不确定性度量方法可以影响分类器的泛化能力。通过这个事实，我们提出了一种方法来提高泛化能力，通过应用数据增强为基础的技术，主动学习的情况。对于基于数据增强的正则化损失，我们重新定义了cutout（co）和cutmix（cm）策略作为定量度量，并应用于模型训练和未标记数据选择步骤。我们已经表明，基于增强的正则化器可以提高主动学习训练步骤的性能，而同样的方法可以有效地结合到目前为止提出的不确定性测量指标。我们使用FashionMNIST、CIFAR10、CIFAR100和STL 10等数据集来验证所提出的主动学习技术在多个图像分类任务中的性能。我们的实验显示，每个数据集和预算方案的性能都有一致的提高。
2020-11-05 cs.CV
Deep Active Learning for Biased Datasets via Fisher Kernel Self-Supervision
Panasonic AI Solutions Center（松下人工智能解决方案中心）
主动学习（AL）旨在通过选择最具代表性的数据点进行注释，最大限度地减少数据需求的深度神经网络（DNN）的标记工作。然而，目前使用的方法是装备不良，以处理有偏见的数据。本文的主要动机是考虑一个现实的设置池为基础的半监督AL，其中未标记的收集训练数据是有偏见的。我们从理论上推导出一个最佳的采集功能AL在这种情况下。它可以表示为未标记训练数据和弱标记验证数据之间的分布偏移最小化。为了实现这样的采集功能，我们提出了一种低复杂度的方法，使用自监督Fisher内核（FK）以及几个新的伪标签估计的特征密度匹配。我们基于FK的方法在MNIST、SVHN和ImageNet分类上的性能优于最先进的方法，同时只需要十分之一的处理。进行的实验表明，至少有40%的下降，标记工作的偏见类不平衡的数据相比，现有的方法。
2020-03-01 cs.AI cs.CV
Hierarchical Semi-Supervised Active Learning for Remote Sensing
Chair of Data Science in Earth Observation, Technical University of Munich（地球观测数据科学教授职位，慕尼黑技术大学）
本文提出层次化半监督主动学习框架，通过整合半监督学习和层次化主动学习，在遥感场景分类中实现高效样本选择，显著提升模型性能。
2025-12-01 cs.CV
Energy-Based Open-Set Active Learning for Object Classification
The University of Texas at Arlington（德克萨斯理工大学）
本文提出基于能量的开放集主动学习框架，通过双阶段能量模型区分已知和未知类别，提升标注效率和分类性能。
2026-04-22 cs.CV cs.LG
Active and Continuous Exploration with Deep Neural Networks and Expected Model Output Changes
Friedrich Schiller University Jena（耶拿弗里德里希·席勒大学）；Michael Stifel Center Jena（耶拿迈克尔·斯蒂费尔中心）；Carl Zeiss AG（卡尔·蔡司公司）
对视觉识别系统的需求并不局限于当前大规模图像数据集（如ImageNet）所提供的复杂性。因此，我们需要好奇和不断的学习算法，积极获取知识的语义概念，目前在可用的未标记的数据。作为实现这一目标的一步，我们展示了如何执行连续的主动学习和探索，其中算法主动选择相关批次的未标记的示例进行注释。这些例子可能属于已知或尚未发现的类别。我们的算法是基于对深度架构的预期模型输出变化原理的新概括，并且特别适合于深度神经网络。此外，我们展示了易于实现的近似，产生有效的主动选择技术。实验结果表明，我们的方法优于目前使用的算法。
2016-12-19 cs.CV
Class Balance Matters to Active Class-Incremental Learning
Harbin Institute of Technology（哈尔滨工业大学）；MEGVII Technology（旷视科技）；Institute of High Performance Computing, A*STAR（新加坡科技研究局高性能计算研究所）
针对小样本类别增量学习中启发式标注样本信息量不足、普通主动学习标注样本类别不平衡的问题，提出类别平衡选择策略CBS，通过特征聚类与贪心选择实现样本平衡且高信息量，在五个数据集上性能优于现有方法。
2024-12-09 cs.CV
Active Learning at the ImageNet Scale
University of Maryland（马里兰大学）；National Institutes of Health（美国国立卫生研究院）；New York University（纽约大学）
主动学习（AL）算法旨在识别用于注释的数据的最佳子集，使得深度神经网络（DNN）在此标记子集上训练时可以实现更好的性能。人工智能在工业规模的环境中特别有影响力，在这些环境中，数据标记成本很高，从业者可以使用各种工具来提高模型性能。最近自我监督预训练（SSP）的成功凸显了利用大量未标记数据提高模型性能的重要性。通过将AL与SSP相结合，我们可以利用未标记的数据，同时标记和训练特定信息的样本。在这项工作中，我们研究了ImageNet上AL和SSP的组合。我们发现，由于主动学习者选择的类不平衡样本，小玩具数据集（文献中的典型基准设置）的性能并不能代表ImageNet的性能。在我们测试的现有基线中，在各种小规模和大规模设置中流行的AL算法未能优于随机采样。为了解决类不平衡的问题，我们提出了平衡选择（BASE），一个简单的，可扩展的AL算法，通过选择更多的平衡样本进行注释比现有的方法，优于随机抽样一致。我们的代码可在https://github.com/zeyademam/active_learning上获得。
2021-11-25 cs.AI cs.CV
Deep Bayesian Active Semi-Supervised Learning
Bergische Universiatät Wuppertal（伍珀塔尔贝吉施大学）
在许多应用中，生成标签信息的过程是昂贵且耗时的。我们提出了一种结合主动和半监督深度学习的新方法，以尽可能少的已知标签从深度卷积神经网络实现高泛化性能。在少量标记数据和大量未标记数据可用的情况下，我们的方法首先学习标记数据集。该初始化之后是期望最大化算法，其中进一步的训练通过以与标记数据一致的低熵拟合为目标来降低未标记数据上的分类熵。此外，该算法要求在一个特定的频率的预言机的标签的数据与熵高于一定的熵分位数。使用这个主动学习组件，我们获得了一个敏捷的标签过程，实现了高精度，但只需要少量的已知标签。对于MNIST数据集，我们报告仅使用300个标签的出错率为2.06%，使用1000个标签的错误率为1.06%。这些结果是在不采用任何特殊的网络结构或数据增强的情况下获得的。
2018-03-03 cs.CV cs.LG stat.ML
ActiveMatch: End-to-end Semi-supervised Active Representation Learning
Zhejiang University（浙江大学）；Zhejiang University-University of Illinois at Urbana-Champaign Institute（浙江大学伊利诺伊大学厄巴纳香槟校区联合学院）
半监督学习（Semi-supervised learning，SSL）是一种有效的学习框架，它可以用标记和未标记的数据来训练模型，但当缺乏足够的标记样本时，可能会产生模糊和不可区分的表示。通过人在回路，主动学习可以迭代地选择信息丰富的未标记样本进行标记和训练，以提高SSL框架中的性能。然而，大多数现有的主动学习方法依赖于预先训练的特征，这不适合端到端学习。针对SSL的不足，本文提出了一种新的端到端的表示学习方法ActiveMatch，该方法将SSL与对比学习和主动学习相结合，充分利用有限的标签。从少量带有无监督对比学习的标记数据开始作为热身，然后ActiveMatch将SSL和有监督对比学习相结合，并在训练期间主动选择最具代表性的样本进行标记，从而更好地表示分类。与具有相同数量标记数据的MixMatch和FixMatch相比，我们表明ActiveMatch实现了最先进的性能，在CIFAR-10上收集100个标签的准确率为89.24%，在收集200个标签的准确率为92.20%。
2022-08-05 cs.CV
O-MedAL: Online Active Deep Learning for Medical Image Analysis
Carnegie Mellon University（卡内基梅隆大学）；INESC TEC（INESC TEC 科技研究院）
主动学习方法从未标记的数据创建优化的标记训练集。我们介绍了一种新的在线主动深度学习方法用于医学图像分析。我们扩展了我们的MedAL主动学习框架，在本文中提出新的结果。我们的新的采样方法查询未标记的例子，最大化的平均距离的所有训练集的例子。我们的在线方法增强了其底层基线深度网络的性能。这些创新性带来了显著的性能提升，包括将模型的底层深度网络准确度提高了6.30%，仅使用25%的标记数据集来实现基线准确度，将训练过程中的反向传播图像减少了67%，并在二进制和多类任务中展示了对类不平衡的鲁棒性。
2020-07-27 cs.CV cs.LG eess.IV
OpenAL: An Efficient Deep Active Learning Framework for Open-Set Pathology Image Classification
Fudan University（复旦大学）
本文针对未标注池中混有非目标类别的开放集场景，提出高效主动学习框架OpenAL，通过提升目标类别样本查询质量，在病理图像细粒度分类上取得优于现有方法的性能。
2023-07-11 cs.CV
Learning to Rank for Active Learning: A Listwise Approach
Computer Vision Center, Universitat Autonoma de Barcelona（巴塞罗那自治大学计算机视觉中心）；Universite Grenoble Alpes（格勒诺布尔阿尔卑斯大学）
主动学习作为一种替代方案出现，以减轻为大量数据的应用程序（如图像/视频索引和检索，自动驾驶等）标记大量数据的努力。主动学习的目标是根据获取函数自动选择一些未标记的样本进行注释（根据预算），该获取函数指示样本对于训练模型的价值。学习损失方法是一种与任务无关的方法，它附加了一个模块来学习预测未标记数据的目标损失，并选择损失最大的数据进行标记。在这项工作中，我们遵循这一策略，但我们定义的收购功能作为一个学习排序的问题，并重新考虑的损失预测模块的结构，使用一个简单但有效的列表方法。四个数据集上的实验结果表明，我们的方法优于最近的国家的最先进的主动学习方法的图像分类和回归任务。
2020-10-17 cs.CV
Loss-based Sequential Learning for Active Domain Adaptation
Inha University（仁荷大学）；Yale University（耶鲁大学）；NAVER AI Lab（NAVER人工智能实验室）
主动领域自适应（ADA）研究主要解决查询选择，同时遵循现有的领域自适应策略。然而，我们认为，这是至关重要的，不仅要考虑查询选择标准，但也领域自适应策略设计的ADA方案。本文介绍了考虑域类型（源/目标）或标签性（标记/未标记）的顺序学习。我们首先训练我们的模型只标记的目标样本获得的损失为基础的查询选择。当基于损失的查询选择应用在域转移，无用的高损失的样本逐渐增加，标记样本的多样性变低。为了解决这些问题，我们通过利用损失预测来充分利用未标记目标域的伪标签。我们进一步鼓励伪标签具有低自熵和多样化的类分布。我们的模型在各种基准数据集中的性能显着优于以前的方法以及基线模型。
2022-04-25 cs.CV
Towards Real-world Lens Active Alignment with Unlabeled Data via Domain Adaptation
organization= State Key Laboratory of Extreme Photonics；Instrumentation, College of Optical Science；Engineering , addressline= Zhejiang University , city= Hangzhou , postcode= 310027 , country= China；organization= National Research Center for Optical Instrumentation , addressline= Zhejiang University , city= Hangzhou , postcode= 310027 , country= China；organization= School of Artificial Intelligence；Robotics , addressline= Hunan University , city= Changsha , postcode= 410012 , country= China；organization= National Engineering Research Center of Robot Visual Perception；Control Technology , addressline= Hunan University , city= Changsha , postcode= 410082 , country= China；organization= Intelligent Optics \& Photonics Research Center, Jiaxing Research Institute , addressline= Zhejiang University , city= Jiaxing , postcode= 314031 , country= China；organization= Dongguan Yutong Optical Technology Co., Ltd. , city= Dongguan , postcode= 523863 , country= China；organization= Sunny Optical (Zhejiang) Research Institute Co., Ltd. , city= Hangzhou , postcode= 311215 , country= China
本文提出DA3方法，通过领域适应利用未标记数据提升真实世界镜头主动对齐的精度和效率
2026-01-08 cs.CV eess.IV physics.optics
Combining Discrepancy-Confusion Uncertainty and Calibration Diversity for Active Fine-Grained Image Classification
Jilin University（吉林大学）
研究针对细粒度图像分类中可靠评估样本信息难的问题，提出DECERN方法，结合差异-混淆不确定性和校准多样性来衡量样本信息，经加权聚类和校准多样性，提升主动学习性能。
2026-07-07 cs.CV
Entropic Open-set Active Learning
Johns Hopkins University（约翰斯·霍普金斯大学）；DEVCOM Army Research Laboratory（DEVCOM陆军研究实验室）
提出熵式开放集主动学习框架，利用已知和未知类别的双熵分数有效区分样本，提升开放集场景下的主动学习性能，在多个数据集上超越现有方法。
2023-12-21 cs.CV
Toward Deep Supervised Anomaly Detection: Reinforcement Learning from Partially Labeled Anomaly Data
Australian Institute for Machine Learning（澳大利亚机器学习研究所）；The University of Adelaide（阿德莱德大学）；Advanced Analytics Institute（高级分析研究所）；University of Technology Sydney（悉尼科技大学）
我们考虑的问题的异常检测与一个小的部分标记的异常的例子和一个大规模的未标记的数据集。这是许多重要应用中的常见场景。现有的相关方法要么专门适合通常不跨越整个异常集的有限异常示例，要么从未标记的数据进行无监督学习。相反，我们在这里提出了一种基于深度强化学习的方法，该方法可以对标记和未标记异常的检测进行端到端的优化。该方法通过自动地与异常偏置的模拟环境交互来学习已知的异常，同时连续地将所学习的异常扩展到新的异常类别（即，未知的异常），通过主动探索未标记数据中可能的异常。这是通过联合优化小标记异常数据的利用和罕见的未标记异常的探索来实现的。在48个真实世界数据集上进行的广泛实验表明，我们的模型明显优于五种最先进的竞争方法。
2021-06-10 cs.AI cs.CR cs.CV
Exploiting Unlabeled Data in CNNs by Self-supervised Learning to Rank
Universitat Autònoma de Barcelona（巴塞罗那自治大学）；University of Florence（佛罗伦萨大学）
对于许多应用，标记数据的收集是昂贵的费力的。因此，在训练期间利用未标记的数据是机器学习长期追求的目标。自监督学习通过设定一个辅助任务（与监督任务不同，但与监督任务相关）来解决这个问题，该任务的数据是丰富的。在本文中，我们展示了如何排名可以作为一些回归问题的代理任务。作为另一个贡献，我们提出了一个有效的反向传播技术的暹罗网络，防止冗余计算引入的多分支网络架构。我们将我们的框架应用于两个回归问题：图像质量评估（IQA）和人群计数。对于这两个，我们展示了如何从未标记的数据自动生成排名的图像集。我们的研究结果表明，经过训练回归到标记数据的地面真实目标并同时学习对未标记数据进行排名的网络在IQA和人群计数方面都获得了更好的最先进的结果。此外，我们表明，测量网络的不确定性的自我监督代理任务是一个很好的措施的信息量的未标记的数据。这可以用来驱动主动学习的算法，我们表明，这减少了高达50%的标记工作。
2019-02-17 cs.CV
Training Ensembles with Inliers and Outliers for Semi-supervised Active Learning
Czech Technical University in Prague（布拉格捷克理工大学）
本文提出一种半监督主动学习方法，通过联合训练内点与离群点、伪标签半监督学习和模型集成三个协同组件，无需显式离群点检测即可提升分类器准确率和数据获取质量，性能优于现有方法。
2023-07-07 cs.CV
