Active Labeling: Streaming Stochastic Gradients
Meta；INRIA（法国国家信息与自动化研究所）；ENS（巴黎高等师范学院）；PSL（巴黎文理研究大学）；ENSAE（法国国立统计与经济管理学院）
机器学习的主力是随机梯度下降。为了访问随机梯度，通常会迭代地考虑训练数据集的输入/输出对。有趣的是，似乎不需要完全监督来访问随机梯度，这是本文的主要动机。在形式化的“主动标记”的问题，它侧重于主动学习与部分监督后，我们提供了一个流技术，证明最大限度地减少了样本数的泛化误差的比率。我们深入说明了我们的鲁棒回归技术。
2022-12-07 cs.AI cs.IR cs.LG
Incremental Uncertainty-aware Performance Monitoring with Active Labeling Intervention
Siemens AG（西门子公司）；Goethe University Frankfurt（法兰克福歌德大学）；LMU Munich（慕尼黑大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；German Cancer Research Center (DKFZ)（德国癌症研究中心）；German Cancer Consortium (DKTK)（德国癌症联盟）
针对渐进式分布漂移导致模型性能悄然下降的问题，提出无标签的IUPM方法，利用最优传输估计性能变化并结合不确定性驱动的主动标注，在有限预算下实现更准确监控。
2025-05-11 cs.AI cs.LG stat.ML
The Power of Comparisons for Actively Learning Linear Classifiers
UCSD（加州大学圣地亚哥分校）
在大数据的世界里，大而昂贵的标签数据集主宰着许多领域。主动学习是标准PAC学习模型的一种半监督替代方案，被引入来探索自适应标记是否可以用指数级更少的标记样本来学习概念。虽然以前的结果表明，主动学习执行不优于其监督替代重要的概念类，如线性分隔符，我们表明，通过添加弱分布假设，并允许比较查询，主动学习需要指数更少的样本。此外，我们还证明了这些结果也适用于称为可靠且可能有用（RPU）学习的更强的学习模型。在这个模型中，我们的学习者不允许犯错误，但可能会回答“我不知道”。“虽然之前的负面结果表明，该模型对于标签查询具有难以处理的大样本复杂性，但我们表明，比较查询使RPU学习在被动和主动机制中的成本更高。
2020-05-30 cs.CG cs.LG stat.ML
Multi-Label Bayesian Active Learning with Inter-Label Relationships
Faculty of Information Technology, Monash University（信息科技学院，墨尔本大学）；Faculty of Medicine, Nursing and Health Sciences, Monash University（医学、护理与健康科学学院，墨尔本大学）
针对多标签主动学习中标签相关性利用不足与数据不平衡问题，提出结合动态相关矩阵、集成伪标记和beta评分的贝叶斯主动学习策略，在四个数据集上取得更优性能。
2025-09-04 cs.LG
Deep Active Learning in the Presence of Label Noise: A Survey
University of Hawai’i at Manoa（夏威夷大学马诺阿分校）
本文综述了标签噪声下深度主动学习的现状，分析了各类方法的优缺点，并探讨了视觉Transformer与对比学习在提升样本选择质量方面的潜力，同时呼吁建立统一基准以促进研究可复现性。
2023-09-19 cs.LG
Exploring Active Learning in Meta-Learning: Enhancing Context Set Labeling
University of British Columbia（不列颠哥伦比亚大学）；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所（Amii））
本文探讨了在元学习测试阶段主动选择上下文集标注点的方法，提出了基于高斯混合模型的主动选择算法，在多个基准数据集上优于现有主动学习方法。
2024-07-24 cs.LG
Active learning using region-based sampling
我们提出了一个通用的主动学习计划的数据在度量空间。该算法维护一个不同大小的邻域集合，并使用标签查询来识别那些对一个特定标签有强烈偏见的邻域;当两个这样的邻域相交并具有不同的标签时，重叠区域被视为“已知未知”，并且是未来主动查询的目标。我们给标签的复杂性界限，这种方法不依赖于对数据的假设，我们实例化他们在几种情况下的利益。
2023-03-05 cs.LG
Active Learning with Partial Feedback
Carnegie Mellon University（卡内基梅隆大学）；Amazon AI（亚马逊人工智能）；California Institute of Technology（加州理工学院）
虽然许多主动学习论文假设学习者可以简单地要求一个标签并获得它，但真正的注释通常会在标签的形式（例如，许多类中的一个）和注释的形式（通常是/否二进制反馈）之间出现不匹配。为了注释多类分类的示例语料库，我们可能需要询问多个是/否问题，如果有标签层次结构，则利用标签层次结构。为了解决这个更现实的设置，我们提出了部分反馈的主动学习（ALPF），学习者必须主动选择要标记的例子和要问的二元问题。在每一步，学习者选择一个例子，询问它是否属于一个选定的（可能是复合的）类。每个答案消除了一些类，给学习者留下了部分标签。然后，学习者可能会对同一个例子提出更多的问题（直到发现一个确切的标签），或者立即继续前进，留下第一个例子部分标记。使用部分标签的主动学习需要（i）选择（示例、类）对的采样策略，以及（ii）从轮之间的部分标签学习。在Tiny ImageNet上的实验表明，与i.i.d.相比，我们最有效的方法在前1分类准确率上提高了26%（相对）。基线和标准主动学习者给出注释数据集所需（天真地）注释预算的30%。此外，ALPF学习者完全注释TinyImageNet的成本降低了42%。令人惊讶的是，我们观察到，占每个例子的注释成本可以改变传统的智慧，积极的学习者应该征求标签硬的例子。
2019-07-09 cs.LG
Information Gain Propagation: a new way to Graph Active Learning with Soft Labels
Peking University（北京大学）；Apple（苹果公司）
图神经网络（GNN）在各种任务中取得了巨大的成功，但它们的性能高度依赖于大量的标记节点，这通常需要相当大的人力。提出了基于GNN的主动学习（AL）方法，通过选择最有价值的节点进行标记来提高标记效率。现有的方法假设一个预言机可以正确地对所有选定的节点进行分类，因此只关注节点的选择。然而，这样一个精确的标签任务是昂贵的，特别是当分类是出了域的个人专家（oracle）。本文更进一步，提出了一个软标签的方法，以AL上的GNNs。我们的主要创新是：i）放松查询，其中领域专家（Oracle）仅判断预测标签的正确性（二元问题）而不是识别确切的类（多类问题），以及ii）对于具有放松查询和软标签的主动学习者最大化信息增益传播的新准则。对公共数据集的实证研究表明，我们的方法在准确性和标记成本方面都显着优于最先进的基于GNN的AL方法。
2022-03-02 cs.LG
ActiveLab: Active Learning with Re-Labeling by Multiple Annotators
Cleanlab（Cleanlab公司）
本文提出ActiveLab方法，通过决定下一步标注内容并支持多标注者重新标注，在有限预算下提升分类器准确性。
2023-01-27 cs.LG stat.ML
Active Surrogate Estimators: An Active Learning Approach to Label-Efficient Model Evaluation
University of Oxford（牛津大学）；DeepMind（深度思维）
我们提出了主动替代估计器（ASES），标签有效的模型评估的一种新方法。当标签昂贵时，评估模型性能是一个具有挑战性和重要的问题。ASE使用基于代理的估计方法来解决这个主动测试问题，该方法对具有未知标签的点的误差进行插值，而不是形成蒙特卡洛估计。ASES积极学习的基础代理，我们提出了一种新的收购策略，XWED，量身定制这种学习的最终估计任务。我们发现，ASE提供更大的标签效率比目前最先进的应用到具有挑战性的模型评估问题的深度神经网络。
2022-10-18 cs.LG stat.ML
Cost-minimising strategies for data labelling : optimal stopping and active learning
University of Leoben（莱奥本大学）
监督学习处理以观测空间$\CX$中的点为条件的输出或标签空间$\CY$上的分布的推断，给定$\CX \times \CY$中的对的训练数据集$D$。然而，在许多感兴趣的应用中，获取大量的观察是容易的，而生成标签的过程是耗时或昂贵的。处理这个问题的一种方法是{ \em主动}学习，其中选择要标记的点，目的是创建一个比在相同数量的随机采样点上训练的模型性能更好的模型。在本文中，我们建议直接处理标签成本：学习目标被定义为成本的最小化，该成本是预期模型性能和所使用标签的总成本的函数。这允许开发一般策略和特定算法，用于（a）最佳停止，其中预期成本决定标签获取是否应该继续（b）经验评估，其中成本用作推断、停止和采样方法的给定组合的性能度量。虽然本文的主要焦点是最佳停止，我们也旨在为进一步发展和讨论主动学习的相关领域的背景。
2007-11-15 cs.LG
Active Refinement for Multi-Label Learning: A Pseudo-Label Approach
National Taiwan University（台湾大学）；The University of Queensland（昆士兰大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能研究中心）；The University of Tokyo（东京大学）
多标签学习（MLL）的目标是从一组概念中将给定实例与其相关标签相关联。以往的MLL研究主要集中在假设概念集合是固定的情况下，而现实世界中的许多应用需要在概念集合中引入新的概念来满足新的需求。一个常见的需求是细化原始的粗糙概念，并将它们分成更细粒度的概念，其中细化过程通常从更细粒度概念的有限标记数据开始。为了满足这一需求，我们将问题形式化为一个特殊的弱监督MLL问题，不仅可以有效地学习细粒度概念，还可以允许交互式查询策略性地收集更多信息注释，以进一步改进分类器。我们方法的关键思想是学习为未标记的条目分配伪标签，然后利用伪标签来训练底层分类器并提供更好的查询策略。实验结果表明，我们的伪标签方法能够准确地恢复丢失的地面真相，提高预测性能显着超过基线方法，并促进竞争性的主动学习策略。
2021-09-29 cs.LG
Importance Weighted Active Learning
IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心）；University of California, San Diego（加利福尼亚大学圣迭戈分校）；Yahoo! Research（雅虎研究院）
我们提出了一个实用的和统计上一致的计划，积极学习一般损失函数下的二进制分类器。我们的算法使用重要性加权来校正采样偏差，并通过控制方差，我们能够为学习过程提供严格的标签复杂度界限。在被动标记数据上的实验表明，这种方法降低了在许多学习问题上实现良好预测性能所需的标签复杂度。
2009-05-20 cs.LG
Active Learning from Weak and Strong Labelers
University of California, San Diego（加州大学圣地亚哥分校）
主动学习者被赋予一个假设类，一个大的未标记的例子和交互式查询标签的能力，这些例子的一个子集的预言;学习者的目标是学习类中的一个假设，适合数据尽可能少的标签查询。这项工作解决了主动学习的标签从强和弱标签，除了标准的主动学习设置，我们有一个额外的弱标签，偶尔可能会提供不正确的标签。一个例子是学习对医学图像进行分类，其中昂贵的标签可以从医生（oracle或强标签）获得，或者便宜但偶尔不正确的标签可以从医疗居民（弱标签）获得。我们的目标是学习一个分类器，对由Oracle标记的数据具有低错误，同时使用弱标记器来减少对该标记器的标签查询的数量。我们为这种设置提供了一个主动学习算法，建立其统计一致性，并分析其标签复杂性，以表征何时可以提供标签节省单独使用强大的标签。
2015-10-16 cs.LG stat.ML
ActiveDP: Bridging Active Learning and Data Programming
University of Toronto（多伦多大学）
本文提出ActiveDP框架，结合主动学习与数据编程，以生成高准确率和高覆盖率的标签，实验证明其在不同标注预算下优于现有方法。
2024-02-08 cs.DB cs.LG
How to Allocate your Label Budget? Choosing between Active Learning and Learning to Reject in Anomaly Detection
KU Leuven（鲁汶大学）
异常检测试图找到偏离预期行为的示例。通常，异常检测是从无监督的角度来处理的，因为异常标签是罕见的，难以获取。然而，标签的缺乏使得异常检测器在某些区域具有较高的不确定性，这通常导致预测性能差或用户对预测的信任度低。人们可以通过使用主动学习（AL）收集特定的标签来减少这种不确定性，AL的目标是接近检测器的决策边界的示例。或者，可以通过允许检测器放弃做出高度不确定的预测来增加用户信任，这被称为学习预测（LR）。实现这一点的一种方法是根据检测器的性能较低的地方对检测器的不确定性进行阈值化，这需要对标签进行评估。虽然AL和LR都需要标签，但它们使用不同类型的标签：AL寻求明显有偏见的战略标签，而LR需要i.i.d.。标签来评估检测器的性能并设置拒绝阈值。由于通常有一个独特的标签预算，决定如何最佳地分配它是具有挑战性的。在本文中，我们提出了一种混合策略，给定标签预算，在多轮中决定是否使用预算来收集AL标签或LR标签。该策略基于一个奖励函数，该函数在将预算分配给任何一方时衡量预期收益。我们在18个基准数据集上评估了我们的策略，并将其与一些基线进行了比较。
2023-01-07 cs.LG
Topology-Aware Active Learning on Graphs
Department of Mathematics, University of California Los Angeles（加州大学洛杉矶分校数学系）
本文提出一种图拓扑方法用于主动学习，通过构造基于平衡Forman曲率的coreset算法，引导探索并实现从探索到利用的动态切换，提升半监督学习性能。
2026-04-15 cs.LG
Hitting the Target: Stopping Active Learning at the Cost-Based Optimum
University of Auckland（奥克兰大学）；University of Waikato（怀卡托大学）
本文针对主动学习缺乏有效停止机制的问题，首次大规模比较了基于池的主动学习中的停止准则，利用成本度量量化准确率与标签权衡，并提供了开源评估框架，帮助从业者选择最优准则以大幅降低标注成本。
2022-09-02 cs.LG
Multi-Label Active Learning from Crowds
Nanjing University（南京大学）
多标签主动学习是一个热门话题，在减少标签成本，通过最佳选择最有价值的实例查询其标签从一个预言。在本文中，我们认为基于池的多标签主动学习下的众包设置，在主动查询过程中，而不是诉诸于高成本的预言机的地面真相，多个低成本的不完美的注释器与各种专业知识的标签。为了解决这个问题，我们提出了MAC（Multi-label主动学习from Crowds）方法，该方法结合标签相关性的局部影响，在多标签分类器和注释器上建立概率模型。基于该模型，我们可以估计实例的标签以及每个注释者的专业知识。然后，我们提出了实例选择和注释器选择标准，考虑实例的不确定性/多样性和注释器的可靠性，这样最可靠的注释器将被查询最有价值的实例。实验结果证明了该方法的有效性。
2015-08-04 cs.LG cs.SI
SeqMix: Augmenting Active Sequence Labeling via Sequence Mixup
Georgia Tech（佐治亚理工学院）
主动学习是低资源序列标记任务的一种重要技术。然而，目前的主动序列标记方法在每次迭代中仅使用查询的样本，这是利用人类注释的低效方式。我们提出了一种简单但有效的数据增强方法来提高活性序列标记的标记效率。我们的方法SeqMix通过在每次迭代中生成额外的标记序列来简单地增加查询样本。关键的困难是生成合理的序列以及标记级别的标签。在SeqMix中，我们通过对查询样本的序列和标记级标签进行混合来解决这一挑战。此外，我们还设计了一个序列混淆时的判断器，用来判断产生的序列是否可信。我们在命名实体识别和事件检测任务上的实验表明，SeqMix可以通过$2.27\%$ -- $3.75\%$在$F_1$得分方面改进标准的活动序列标记方法。SeqMix的代码和数据可以在https://github.com/rz-zhang/SeqMix上找到
2020-10-05 cs.CL cs.LG
Active WeaSuL: Improving Weak Supervision with Active Learning
ING Wholesale Banking Advanced Analytics（ING批发银行高级分析部）；University of Amsterdam（阿姆斯特丹大学）；Feebris（Feebris公司）
标记数据的可用性是机器学习的主要限制之一。我们可以使用弱监督来缓解这种情况：一个使用专家定义的规则$\boldsymbolλ$来估计整个数据集的概率标签$p(y|\boldsymbolλ)$的框架。然而，这些规则依赖于专家对问题的了解，因此可能是不准确的，或者可能无法捕获问题空间的重要部分。为了缓解这一问题，我们提出了主动WeaSuL：一种将主动学习纳入弱监督的方法。在Active WeaSuL中，专家不仅定义规则，而且还迭代地为弱监督模型最有可能出错的一小部分点提供真实标签，然后用于更好地估计概率标签。通过这种方式，弱标签提供了一个温暖的开始，然后主动学习进行改进。我们做两个贡献：1）弱监督损失函数的修改，使得专家标记的数据通知并改进弱标记的组合;以及2）maxKL发散采样策略，其确定专家标记对于哪些数据点最有益。我们的实验表明，当标记数据的预算有限时（例如$\leq 60$数据点），Active WeaSuL优于弱监督，主动学习和竞争策略，只有少数标记的数据点。这使得Active WeaSuL非常适合难以获得标记数据的情况。
2021-04-30 cs.LG stat.ML
Semi-supervised Active Regression
University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of California, Berkeley（加州大学伯克利分校）；Google Research（谷歌研究院）；Rutgers University（罗格斯大学）
标记数据通常需要很高的成本，因为它可能需要招募人类标记人员或进行昂贵的实验。与此同时，在许多实际场景中，人们已经可以访问部分标记的、可能有偏见的数据集，这些数据集可以帮助完成手头的学习任务。基于这样的背景，我们通过线性回归的框架正式启动了对$semi-supervised$ $active$ $learning$的研究。在这种设置中，学习者可以访问数据集$X \in \mathbb{R}^{(n_1+n_2) \times d}$，该数据集由算法可以主动查询的$n_1$未标记示例和标记为先验的$n_2$示例组成。具体地，通过$Y \in \mathbb{R}^{n_1 + n_2}$表示真实标签，学习者的目标是找到$\widehatβ \in \mathbb{R}^d$，使得\begin{equation} \| X \widehatβ - Y \|_2^2 \le (1 + ε) \min_{β\in \mathbb{R}^d} \| X β- Y \|_2^2 \end{equation}同时尽可能少地进行附加标签查询。为了约束标签查询，我们引入了一个依赖于实例的参数称为减少的秩，表示为$R_X$，并提出了一个有效的算法与查询复杂度$O(R_X/ε)$。这个结果直接意味着两个重要的特殊情况下的改进的上界：（i）主动岭回归，和（ii）主动核岭回归，其中降秩分别等于问题的统计维数$…
2021-06-12 cs.LG
Average-Case Active Learning with Costs
University of Washington（华盛顿大学）
我们分析了一个贪婪的主动学习算法的期望成本。我们的分析扩展了以前的工作，以更一般的设置，不同的查询有不同的成本。此外，查询可能具有两个以上的可能响应，并且在假设上的分布可能是不均匀的。具体应用包括具有标签成本的主动学习、用于多类和部分标签查询的主动学习以及批处理模式主动学习。我们还讨论了一个近似版本的兴趣时，有很多查询。
2009-05-18 cs.LG
Search Improves Label for Active Learning
Yahoo Research（雅虎研究院）；Columbia University（哥伦比亚大学）；Microsoft Research（微软研究院）；University of California, San Diego（加利福尼亚大学圣地亚哥分校）
我们研究了主动学习与访问两个不同的预言：标签（这是标准的）和搜索（这不是）。搜索预言机模拟了人类搜索数据库以播种或反例现有解决方案的情况。搜索比标签更强大，同时在许多情况下自然实现。我们表明，使用这两个预言机的算法可以提供指数级大的问题依赖的标签单独的改进。
2016-10-24 cs.LG stat.ML
Disentanglement based Active Learning
Flytxt Mobile Solutions（Flytxt移动解决方案公司）；TCS Research（塔塔咨询服务研究中心）；Indian Institute of Space Science and Technology（印度空间科学与技术研究所）
我们提出了基于解纠缠的主动学习（DAL），一种新的基于自我监督的主动学习技术，它利用了解纠缠的概念。我们的方法不是从人类预言机请求标签，而是自动标记大多数数据点，从而大大减少了基于生成对抗网络（GAN）的主动学习方法中的人类标记预算。该方法使用信息最大化生成对抗网（InfoGAN）来学习解纠缠的类类别表示。主动学习者预测和InfoGAN标签之间的不一致决定了数据点是否需要人工标记。我们还介绍了一个标签校正机制，旨在过滤掉标签噪音，由于自动标注。图像分类任务的三个基准数据集上的结果表明，与现有的基于GAN的主动学习方法相比，我们的方法具有更好的性能。
2021-09-25 cs.LG stat.ML
The Label Complexity of Active Learning from Observational Data
University of California San Diego（加州大学圣地亚哥分校）
从观察数据中进行反事实学习涉及基于选择策略条件下观察到的数据来学习整个种群的分类器。这项工作考虑了这个问题在一个积极的设置，学习者还可以访问未标记的例子，并可以选择得到这些标记的一个子集的预言。之前在这个问题上的工作使用基于分歧的主动学习，以及重要性加权损失估计器来考虑反事实，这导致了高标签复杂性。我们展示了如何将一个更有效的反事实风险最小化到主动学习算法中。这就要求我们既要修改反事实风险，使其适合主动学习，也要修改主动学习过程，使其适合风险。我们证明，这是一个算法，这是统计上一致的，以及更标签效率比以前的工作的结果。
2019-10-28 cs.LG stat.ML
Robust and Discriminative Labeling for Multi-label Active Learning Based on Maximum Correntropy Criterion
Wuhan University（武汉大学）；University of Sydney（悉尼大学）
多标签学习在许多现实世界的应用中引起了极大的兴趣。由oracle为一个实例分配多个标签是一项代价很高的任务。同时，如果不诊断有区别的标签，也很难建立一个好的模型。我们能否降低标签成本并提高同时训练多标签学习的良好模型的能力？主动学习通过查询最有价值的样本来解决训练样本较少的问题，从而以较小的代价获得更好的性能。在多标签主动学习中，人们研究了用较少的训练样本查询相关标签，或者在不诊断判别信息的情况下查询所有标签。它们都不能有效地处理测量不确定度的离群值标签。最大相关熵准则（MCC）为许多机器学习和数据采掘算法中的离群点提供了鲁棒性分析，本文将不确定性和代表性融合在一起，推导出基于MCC的鲁棒多标记主动学习算法，并提出了一种高效的交替优化方法来求解该算法。我们的方法可以消除不具有区分性的离群值标签对测量不确定度的影响。为了进一步提高信息度量的能力，我们将不确定性和代表性与未知数据的预测标签相融合。它不仅可以增强不确定性，而且可以提高多标签数据的标签信息的相似性度量。在基准多标签数据集上的实验表明，该方法的性能优于现有的方法。
2019-04-14 cs.CV cs.LG
Hybrid Active-Online Learning Framework for Label-Efficient Concept Drift Adaptation in Optical Network Failure Detection
提出混合主动在线学习框架，通过基于间隔的选择性标记仅查询3.4%的流样本，实现接近上限的准确率和AUC，且延迟开销可忽略。
2026-06-29 cs.LG eess.SP
ALiPy: Active Learning in Python
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；MIIT Key Laboratory of Pattern Analysis and Machine Intelligence（工业和信息化部模式分析与机器智能重点实验室）
有监督的机器学习方法通常需要大量的标记样本来进行模型训练。然而，在许多实际应用中，存在大量的未标记数据和有限的标记数据，并且标记的获取是昂贵的。主动学习（AL）通过迭代地选择最有价值的数据来从注释器查询它们的标签，从而降低了标签成本。本文介绍了一个用于主动学习的Python工具箱ALiPy。ALiPy提供了一个基于模块的主动学习框架的实现，它允许用户方便地评估，比较和分析主动学习方法的性能。在工具箱中，学习框架的每个组件都有多个选项可供选择，包括数据处理、主动选择、标签查询、结果可视化等，除了实现20多种最先进的主动学习算法外，ALiPy还支持用户在不同的主动学习设置下轻松配置和实现自己的方法，如AL用于多标签数据，带有噪声注释器的AL，带有不同成本的AL等等。工具箱在Github上有很好的文档和开源，可以通过PyPI轻松安装。
2019-01-12 cs.LG stat.ML
Combining MixMatch and Active Learning for Better Accuracy with Fewer Labels
Google Research（谷歌研究院）
我们提出使用基于主动学习的技术来进一步改进最先进的半监督学习MixMatch算法。我们对几种主动学习和基线方法进行了全面的实证评估，这些方法成功地证明了基准CIFAR-10，CIFAR-100和SVHN数据集的显着改进（绝对准确率高达1.5%）。我们还提供了一个实证分析的成本权衡之间的增量收集更多的标记与未标记的数据。这种分析可以用来测量标记/未标记数据在学习曲线不同点的相对值，我们发现，尽管标记数据的增量值可以高达未标记数据的20倍，但一旦观察到超过2,000个标记示例，它就会迅速减少到不到3倍。代码可以在https://github.com/google-research/mma上找到。
2019-12-03 cs.LG stat.ML
An Exploration of Active Learning for Affective Digital Phenotyping
Stanford University（斯坦福大学）
阻碍人类行为机器学习模型广泛发展的一些最严重的瓶颈包括缺乏标记的训练数据和难以获得高质量的标签。主动学习是一种使用算法来计算地选择数据点的有用子集以使用模型不确定性和数据相似性的度量来标记的范例。我们探索自然的计算机视觉情感数据，一个特别异构和复杂的数据空间，由于固有的主观标签的主动学习。使用从自闭症儿童的治疗性智能手机游戏中获得的游戏玩法收集的帧，我们使用游戏玩法提示作为元数据来帮助主动学习过程，运行主动学习的模拟。我们发现，使用在游戏过程中产生的信息的主动学习稍微优于随机选择相同数量的标记帧。接下来，我们研究一种利用主观数据进行主动学习的方法，例如在情感计算中，并且可以为每个图像获取多个众包标签。使用儿童情感面部表情（CAFE）数据集，我们模拟了众包许多标签的主动学习过程，并发现使用众包标签分布的熵对帧进行优先级排序导致与随机帧选择相比分类交叉熵损失较低。总的来说，这些结果表明试点评估的两种新的主动学习方法的主观情感数据收集在嘈杂的设置。
2022-04-06 cs.CV cs.LG
Active label cleaning for improved dataset quality under resource constraints
Microsoft Research Cambridge（微软剑桥研究院）；Stanford University（斯坦福大学）
数据注释中的不完善，即标签噪声，对机器学习模型的训练有害，并且对模型性能的评估具有经常被忽视的混杂影响。然而，聘请专家通过完全重新注释大型数据集来消除标签噪声在资源受限的环境中是不可行的，例如医疗保健。这项工作倡导一种数据驱动的方法来优先考虑重新注释的样本-我们称之为“主动标签清洗”。我们建议根据估计的标签正确性和标签的难度，每个样本的实例进行排名，并引入一个模拟框架来评估重新标记的功效。我们在自然图像和一个新的医学成像基准上的实验表明，清理噪声标签可以减轻它们对模型训练、评估和选择的负面影响。至关重要的是，所提出的主动标签清理能够在现实条件下比典型的随机选择更有效地校正标签高达4倍，从而更好地利用专家的宝贵时间来提高数据集质量。
2022-02-10 cs.CV cs.LG
Exploiting Context for Robustness to Label Noise in Active Learning
University of California, Riverside（加州大学河滨分校）；University of California, Santa Barbara（加州大学圣巴巴拉分校）
计算机视觉中的一些工作已经证明了主动学习在新的未标记数据可用时用于适应识别模型的有效性。这些著作大多认为从注释者那里获得的标签是正确的。然而，在实际场景中，由于标签的质量取决于注释器，因此一些标签可能是错误的，这导致识别性能下降。在本文中，我们解决的问题，i）系统如何可以识别哪些查询标签是错误的，以及ii）如何多类主动学习系统可以适应标签噪声的负面影响最小化。为了解决这些问题，我们提出了一种基于噪声标签过滤的学习方法，其中利用自然数据中非常常见的相互关系（上下文）来检测错误的标签。我们构建了一个图形表示的未标记的数据来编码这些关系，并获得新的信念图时，嘈杂的标签。将新的信念与先前的关系信息进行比较，我们生成一个相异性分数来检测不正确的标签，并使用正确的标签更新识别模型，从而获得更好的识别性能。这在三个不同的应用中得到了证明：场景分类、活动分类和文档分类。
2020-10-18 cs.CV cs.LG
Adversarial Representation Active Learning
Stanford University（斯坦福大学）
主动学习的目标是通过查询由预言机标记的信息量最大的样本来开发标记有效的算法。设计需要更少标签的高效训练方法是一个重要的研究方向，它允许更有效地使用计算和人力资源来标记和训练深度神经网络。在这项工作中，我们展示了如何利用深度生成模型的最新进展，在使用尽可能少的标签实现最高分类精度方面超越最先进的技术。与以前的方法不同，我们的方法不仅使用标记的图像来训练分类器，而且还使用未标记的图像和生成的图像来共同训练整个模型。我们的实验表明，该方法在广泛的数据集（MNIST，CIFAR-10，SVHN，CelebA和ImageNet）上的主动学习性能明显优于现有方法。
2019-12-20 cs.CV cs.LG
LSCALE: Latent Space Clustering-Based Active Learning for Node Classification
National University of Singapore（新加坡国立大学）
图上的节点分类是许多实际领域中的一个重要课题。它通常需要标签进行培训，这在实践中可能很难或昂贵。给定标记预算，主动学习旨在通过仔细选择标记哪些节点来提高性能。以前的图主动学习方法使用标记的节点学习表示，并选择一些未标记的节点进行标记获取。然而，它们没有充分利用未标记节点中存在的表示能力。我们认为，在未标记的节点的表示能力可以是有用的主动学习和进一步提高节点分类的主动学习的性能。在本文中，我们提出了一个潜在的空间聚类为基础的主动学习框架节点分类（LSCALE），我们充分利用标记和未标记的节点的表示能力。具体来说，为了选择用于标记的节点，我们的框架在基于无监督特征和监督特征的动态组合的潜在空间上使用K-Medoids聚类算法。此外，我们还设计了一个增量式分簇模块，以避免在不同步骤中选择的节点之间的冗余。在五个数据集上进行的大量实验表明，我们提出的框架LSCALE始终显著优于最先进的方法。
2022-07-20 cs.LG cs.SI
Beyond Disagreement-based Agnostic Active Learning
University of California, San Diego（加州大学圣地亚哥分校）
我们研究不可知的主动学习，其目标是在一个预先指定的假设类中学习一个分类器，尽可能少的标签查询，同时不对生成标签的真实函数进行假设。解决此问题的主要算法是{ \em{disagreement-based active learning} }和{ \em{margin-based active learning}}，前者具有较高的标签要求，后者仅适用于相当受限的设置。一个主要的挑战是找到一个算法，实现更好的标签复杂性，是一致的不可知设置，并适用于一般的分类问题。在本文中，我们提供了这样一个算法。我们的解决方案是基于两个新的贡献-从一致的主动学习减少到保证误差的置信度预测，和一个新的置信度预测。
2014-07-11 cs.LG stat.ML
Activized Learning: Transforming Passive to Active with Improved Label Complexity
Carnegie Mellon University（卡内基梅隆大学）
我们研究了主动学习相对于被动学习的理论优势。具体来说，我们证明了，在无噪声分类器学习VC类，任何被动学习算法可以转化为一个主动学习算法，渐近严格优越的标签复杂性的所有非平凡的目标函数和分布。我们进一步提供了一个一般的表征，这些改进的幅度方面的一种新的泛化的不一致系数。我们还将这些结果扩展到标签噪声存在下的主动学习，并发现即使在广泛的噪声分布下，我们通常也可以保证严格改进被动学习的已知结果。
2011-08-08 cs.LG math.ST stat.ML
Active Label Refinement for Robust Training of Imbalanced Medical Image Classification Tasks in the Presence of High Label Noise
Center for Imaging Science, Rochester Institute of Technology（罗切斯特理工学院成像科学中心）；University of Aberdeen（阿伯丁大学）；Biomedical Engineering, Rochester Institute of Technology（罗切斯特理工学院生物医学工程系）
本文提出结合LNL与主动学习的两阶段标签精炼框架，引入梯度方差采样少数类，在有限预算下提升高噪声、类别不平衡医学图像分类的鲁棒性。
2024-10-24 cs.CV cs.LG
Active Testing: Sample-Efficient Model Evaluation
OATML, Department of Computer Science（牛津大学计算机科学系OATML）；Department of Statistics, Oxford（牛津大学统计系）
我们引入了一个新的框架，我们称之为主动测试的样本效率的模型评估。虽然主动学习等方法减少了模型训练所需的标签数量，但现有文献在很大程度上忽略了标记测试数据的成本，通常不切实际地假设模型评估的测试集很大。这就造成了与实际应用的脱节，在实际应用中，测试标签很重要，也同样昂贵，例如用于优化超参数。主动测试通过仔细选择要标记的测试点来解决这个问题，确保模型评估是样本有效的。为此，我们推导出理论上的接地和直观的收购策略，专门针对主动测试的目标，注意到这些是不同的主动学习。由于主动选择标签会引入偏差，我们进一步展示了如何在减少估计量方差的同时消除这种偏差。主动测试易于实现，可以应用于任何有监督的机器学习方法。我们在包括Fashion-MNIST和CIFAR-100在内的数据集上证明了它在包括WideResNets和高斯过程在内的模型上的有效性。
2021-06-14 cs.LG stat.ML
Hide and Seek in Noise Labels: Noise-Robust Collaborative Active Learning with LLM-Powered Assistance
Zhejiang University（浙江大学）；Ant Group（蚂蚁集团）
提出基于主动学习的协作框架NoiseAL，结合大模型与小模型，通过动态阈值策略划分子集并利用LLM纠正噪声标签，有效提升噪声标签学习的鲁棒性。
2025-04-03 cs.AI cs.LG
Pool-Based Unsupervised Active Learning for Regression Using Iterative Representativeness-Diversity Maximization (iRDM)
Huazhong University of Science and Technology（华中科技大学）
主动学习（AL）选择最有益的未标记样本进行标记，因此可以从相同数量的标记样本训练更好的机器学习模型。大多数现有的回归主动学习（ALR）方法都是有监督的，这意味着采样过程必须使用一些标签信息或现有的回归模型。本文考虑完全无监督的ALR，即，如何在不知道任何真实标签信息的情况下选择要标记的样品。我们提出了一种新的无监督ALR方法，迭代代表性多样性最大化（iRDM），以最佳平衡的代表性和多样性的选择样本。在不同领域的12个数据集上的实验证明了该方法的有效性。我们的iRDM可以应用于线性回归和核回归，当标记样本数量较少时，它甚至显着优于监督ALR。
2020-03-31 cs.LG stat.ML
Combating Label Distribution Shift for Active Domain Adaptation
POSTECH（浦项科技大学）
我们考虑的问题，主动领域自适应（ADA）的未标记的目标数据，其中的子集是积极选择和标记给定的预算约束。受最近对领域自适应中源和靶之间标签分布失配的关键问题的分析的启发，我们设计了一种方法，该方法首次在ADA中解决了该问题。其核心是一种新颖的采样策略，该策略寻求最接近整个目标分布的目标数据，并且具有代表性，多样性和不确定性。采样的目标数据，然后不仅用于监督学习，但也用于匹配源和目标域的标签分布，导致显着的性能改善。在四个公共基准测试中，我们的方法在每一个适应场景中都大大优于现有方法。
2022-08-13 cs.AI cs.CV cs.LG
Label-Efficient Learning for Ground-Based Sky-Image Classification: A Benchmark of Transfer Learning, Active Learning, and Pseudo-Labeling on GCD
Université Paris Dauphine-PSL（巴黎第九大学）；Anglia Ruskin University（安格利亚鲁斯金大学）；Polish Academy of Sciences（波兰科学院）
本研究在GCD数据集上基准测试迁移学习、主动学习和伪标签三种策略，发现迁移学习在少量标签下即可接近全标签性能，而主动学习和伪标签增益有限。
2026-09-23 cs.CV cs.LG
Active Learning with Neural Networks: Insights from Nonparametric Statistics
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
本文提出基于非参数统计学的深度主动学习方法，首次提供了近最优的标签复杂性保证，无需低噪声假设，并扩展至Radon BV²空间。
2025-12-30 cs.LG stat.ML
Incentivized Collaboration in Active Learning
针对多个理性代理在共同假设上协作学习标签的问题，提出一种激励性协作框架，通过设计严格个体理性协议确保代理参与协作不增加预期标签复杂度，并给出与已知可处理近似算法标签复杂度相当的协作协议。
2026-06-01 cs.GT cs.LG
Just Label What You Need: Fine-Grained Active Selection for Perception and Prediction through Partially Labeled Scenes
University of Toronto（多伦多大学）；Uber ATG（优步先进技术集团）；Brown University（布朗大学）
自动驾驶汽车必须感知和预测附近行动者的未来位置，以避免碰撞和安全驾驶。一个学习过的深度学习模块通常负责这项任务，需要大规模、高质量的训练数据集。由于数据汇集通常比在该领域中标记便宜得多，因此标记哪个示例子集的决定可能对模型性能产生深远的影响。主动学习技术利用当前模型的状态来迭代地选择用于标记的示例，为这个问题提供了一个有前途的解决方案。然而，尽管这种方法很有吸引力，但对于感知和预测（P&P）问题的主动学习方法却很少有科学分析。在这项工作中，我们研究了P&P的主动学习技术，发现传统的主动学习公式不适合P&P设置。因此，我们引入泛化，确保我们的方法是成本意识，并允许细粒度的选择的例子，通过部分标记的场景。我们在真实世界的大规模自动驾驶数据集上的实验表明，细粒度选择可以提高感知，预测和下游规划任务的性能。
2021-04-08 cs.AI cs.CV cs.LG
Active Learning for Cost-Sensitive Classification
Microsoft Research（微软研究院）；Uber Advanced Technology Center（优步先进技术中心）
我们设计了一个主动学习算法的成本敏感的多类分类：不同的错误有不同的成本的问题。我们的算法COAL通过回归每个标签的成本并预测最小的成本来进行预测。在一个新的例子中，它使用了一组对过去数据表现良好的回归器来估计每个标签的可能成本。它只查询可能是最好的标签，忽略了肯定会失败的标签。我们证明了COAL可以有效地实现任何回归家庭，承认平方损失优化，它也享有强有力的保证方面的预测性能和标签的努力。我们将COAL与被动学习和几个主动学习基线进行了经验比较，显示出在真实世界数据集上标记工作和测试成本方面的显着改进。
2021-10-11 cs.LG stat.ML
Active Multi-Label Crowd Consensus
College of Computer and Information Sciences, Southwest University（西南大学计算机与信息科学学院）；George Mason University（乔治梅森大学）；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
众包是一种经济有效的策略，旨在通过在线平台收集数据注释。具有不同专业知识的人群工作者为他们的服务付费，任务请求者通常预算有限。如何为多标签数据收集可靠的注释以及如何在预算范围内计算共识是一个有趣且具有挑战性但很少研究的问题。在本文中，我们提出了一种新的方法来实现主动多标签群体共识（AMCC）。AMCC考虑了工人的共性和个性，并假设工人可以被组织成不同的群体。每个组都包括一组共享类似注释行为和标签相关性的工作者。为了实现有效的多标签共识，AMCC通过共性和个性的线性组合对工作者的注释进行建模，并通过为组分配较小的权重来减少不可靠工作者的影响。为了以更低的成本收集可靠的注释，AMCC引入了一种主动的众包学习策略，该策略选择样本-标签-工作者三元组。在三元组中，所选样本和标签对于共识模型来说是最具信息性的，并且所选工作人员可以以低成本可靠地注释样本。我们在多标签数据集上的实验结果证明了AMCC在计算人群共识和通过选择具有成本效益的三元组来减少预算方面优于最先进的解决方案。
2019-11-07 cs.HC cs.LG
Deep Bayesian Active Semi-Supervised Learning
Bergische Universiatät Wuppertal（伍珀塔尔贝吉施大学）
在许多应用中，生成标签信息的过程是昂贵且耗时的。我们提出了一种结合主动和半监督深度学习的新方法，以尽可能少的已知标签从深度卷积神经网络实现高泛化性能。在少量标记数据和大量未标记数据可用的情况下，我们的方法首先学习标记数据集。该初始化之后是期望最大化算法，其中进一步的训练通过以与标记数据一致的低熵拟合为目标来降低未标记数据上的分类熵。此外，该算法要求在一个特定的频率的预言机的标签的数据与熵高于一定的熵分位数。使用这个主动学习组件，我们获得了一个敏捷的标签过程，实现了高精度，但只需要少量的已知标签。对于MNIST数据集，我们报告仅使用300个标签的出错率为2.06%，使用1000个标签的错误率为1.06%。这些结果是在不采用任何特殊的网络结构或数据增强的情况下获得的。
2018-03-03 cs.CV cs.LG stat.ML
BI-LAVA: Biocuration with Hierarchical Image Labeling through Active Learning and Visual Analysis
University of Illinois Chicago（伊利诺伊大学芝加哥分校）；Universidad Nacional de Ingenieria（国立工程大学）；University of Delaware（特拉华大学）
本文提出 BI-LAVA 系统，结合层次化分类器、主动学习与可视化分析，辅助专家在标签不完整的生物医学图像数据中探索、修正并生成层次化标签，提升数据质量。
2023-08-15 cs.HC cs.LG
Robust Deep Learning with Active Noise Cancellation for Spatial Computing
Facebook（脸书）
本文提出了CANC，一种协同教学主动噪声消除方法，应用于空间计算，以解决用极端噪声标签训练的深度学习。深度学习算法在土地或建筑物足迹识别的空间计算中取得了成功。然而，由于空间计算和卫星图像中标签的收集方式，地面真值标签中存在大量噪声。处理极端标签噪声的现有方法进行干净的样本选择，并且不利用剩余的样本。由于数据检索的成本，这种技术可能是浪费的。我们提出的CANC算法不仅保留了高成本的训练样本，还提供了主动标签校正，以更好地提高具有极端噪声标签的鲁棒深度学习。我们证明了CANC的有效性，为空间计算的建筑足迹识别。
2020-11-16 cs.AI cs.CV cs.LG
TrustAL: Trustworthy Active Learning using Knowledge Distillation
Yonsei University（延世大学）；Seoul National University（首尔大学）
主动学习可以定义为数据标记、模型训练和数据采集的迭代，直到获得足够的标签。数据采集的传统观点是，通过迭代，来自人类标签和模型的知识被隐式地提取，以单调地增加准确性和标签一致性。在此假设下，最近训练的模型是当前标记数据的良好替代，基于不确定性/多样性请求从当前标记数据获取数据采集。我们的贡献是揭穿这个神话，并提出一个新的蒸馏目标。首先，我们发现了示例遗忘，这表明在迭代过程中学习到的知识会丢失。其次，由于这个原因，最后一个模型不再是最好的老师-为了减轻这种被遗忘的知识，我们选择了它的前任模型之一作为老师，通过我们提出的“一致性”概念。我们表明，这种新的蒸馏是独特的，在以下三个方面：第一，一致性确保避免忘记标签。其次，一致性改善了标记数据的不确定性/多样性。最后，一致性弥补了人类注释者产生的有缺陷的标签。
2022-01-26 cs.AI cs.LG
Two-Step Active Learning for Instance Segmentation with Uncertainty and Diversity Sampling
University of Pittsburgh（匹兹堡大学）；Google（谷歌）；Boston University（波士顿大学）
针对实例分割标注成本高的问题，提出一种融合不确定性与多样性采样的两步事后主动学习算法，在多数据集上表现更优，并将真实俯视图像标注效率提升五倍。
2023-09-28 cs.CV cs.LG
