The Label Complexity of Active Learning from Observational Data
University of California San Diego（加州大学圣地亚哥分校）
从观察数据中进行反事实学习涉及基于选择策略条件下观察到的数据来学习整个种群的分类器。这项工作考虑了这个问题在一个积极的设置，学习者还可以访问未标记的例子，并可以选择得到这些标记的一个子集的预言。之前在这个问题上的工作使用基于分歧的主动学习，以及重要性加权损失估计器来考虑反事实，这导致了高标签复杂性。我们展示了如何将一个更有效的反事实风险最小化到主动学习算法中。这就要求我们既要修改反事实风险，使其适合主动学习，也要修改主动学习过程，使其适合风险。我们证明，这是一个算法，这是统计上一致的，以及更标签效率比以前的工作的结果。
2019-10-28 cs.LG stat.ML
ALiPy: Active Learning in Python
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；MIIT Key Laboratory of Pattern Analysis and Machine Intelligence（工业和信息化部模式分析与机器智能重点实验室）
有监督的机器学习方法通常需要大量的标记样本来进行模型训练。然而，在许多实际应用中，存在大量的未标记数据和有限的标记数据，并且标记的获取是昂贵的。主动学习（AL）通过迭代地选择最有价值的数据来从注释器查询它们的标签，从而降低了标签成本。本文介绍了一个用于主动学习的Python工具箱ALiPy。ALiPy提供了一个基于模块的主动学习框架的实现，它允许用户方便地评估，比较和分析主动学习方法的性能。在工具箱中，学习框架的每个组件都有多个选项可供选择，包括数据处理、主动选择、标签查询、结果可视化等，除了实现20多种最先进的主动学习算法外，ALiPy还支持用户在不同的主动学习设置下轻松配置和实现自己的方法，如AL用于多标签数据，带有噪声注释器的AL，带有不同成本的AL等等。工具箱在Github上有很好的文档和开源，可以通过PyPI轻松安装。
2019-01-12 cs.LG stat.ML
Combining MixMatch and Active Learning for Better Accuracy with Fewer Labels
Google Research（谷歌研究院）
我们提出使用基于主动学习的技术来进一步改进最先进的半监督学习MixMatch算法。我们对几种主动学习和基线方法进行了全面的实证评估，这些方法成功地证明了基准CIFAR-10，CIFAR-100和SVHN数据集的显着改进（绝对准确率高达1.5%）。我们还提供了一个实证分析的成本权衡之间的增量收集更多的标记与未标记的数据。这种分析可以用来测量标记/未标记数据在学习曲线不同点的相对值，我们发现，尽管标记数据的增量值可以高达未标记数据的20倍，但一旦观察到超过2,000个标记示例，它就会迅速减少到不到3倍。代码可以在https://github.com/google-research/mma上找到。
2019-12-03 cs.LG stat.ML
Beyond Disagreement-based Agnostic Active Learning
University of California, San Diego（加州大学圣地亚哥分校）
我们研究不可知的主动学习，其目标是在一个预先指定的假设类中学习一个分类器，尽可能少的标签查询，同时不对生成标签的真实函数进行假设。解决此问题的主要算法是{ \em{disagreement-based active learning} }和{ \em{margin-based active learning}}，前者具有较高的标签要求，后者仅适用于相当受限的设置。一个主要的挑战是找到一个算法，实现更好的标签复杂性，是一致的不可知设置，并适用于一般的分类问题。在本文中，我们提供了这样一个算法。我们的解决方案是基于两个新的贡献-从一致的主动学习减少到保证误差的置信度预测，和一个新的置信度预测。
2014-07-11 cs.LG stat.ML
Active Testing: Sample-Efficient Model Evaluation
OATML, Department of Computer Science（牛津大学计算机科学系OATML）；Department of Statistics, Oxford（牛津大学统计系）
我们引入了一个新的框架，我们称之为主动测试的样本效率的模型评估。虽然主动学习等方法减少了模型训练所需的标签数量，但现有文献在很大程度上忽略了标记测试数据的成本，通常不切实际地假设模型评估的测试集很大。这就造成了与实际应用的脱节，在实际应用中，测试标签很重要，也同样昂贵，例如用于优化超参数。主动测试通过仔细选择要标记的测试点来解决这个问题，确保模型评估是样本有效的。为此，我们推导出理论上的接地和直观的收购策略，专门针对主动测试的目标，注意到这些是不同的主动学习。由于主动选择标签会引入偏差，我们进一步展示了如何在减少估计量方差的同时消除这种偏差。主动测试易于实现，可以应用于任何有监督的机器学习方法。我们在包括Fashion-MNIST和CIFAR-100在内的数据集上证明了它在包括WideResNets和高斯过程在内的模型上的有效性。
2021-06-14 cs.LG stat.ML
Pool-Based Unsupervised Active Learning for Regression Using Iterative Representativeness-Diversity Maximization (iRDM)
Huazhong University of Science and Technology（华中科技大学）
主动学习（AL）选择最有益的未标记样本进行标记，因此可以从相同数量的标记样本训练更好的机器学习模型。大多数现有的回归主动学习（ALR）方法都是有监督的，这意味着采样过程必须使用一些标签信息或现有的回归模型。本文考虑完全无监督的ALR，即，如何在不知道任何真实标签信息的情况下选择要标记的样品。我们提出了一种新的无监督ALR方法，迭代代表性多样性最大化（iRDM），以最佳平衡的代表性和多样性的选择样本。在不同领域的12个数据集上的实验证明了该方法的有效性。我们的iRDM可以应用于线性回归和核回归，当标记样本数量较少时，它甚至显着优于监督ALR。
2020-03-31 cs.LG stat.ML
Active Learning with Neural Networks: Insights from Nonparametric Statistics
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
本文提出基于非参数统计学的深度主动学习方法，首次提供了近最优的标签复杂性保证，无需低噪声假设，并扩展至Radon BV²空间。
2025-12-30 cs.LG stat.ML
Active Learning for Cost-Sensitive Classification
Microsoft Research（微软研究院）；Uber Advanced Technology Center（优步先进技术中心）
我们设计了一个主动学习算法的成本敏感的多类分类：不同的错误有不同的成本的问题。我们的算法COAL通过回归每个标签的成本并预测最小的成本来进行预测。在一个新的例子中，它使用了一组对过去数据表现良好的回归器来估计每个标签的可能成本。它只查询可能是最好的标签，忽略了肯定会失败的标签。我们证明了COAL可以有效地实现任何回归家庭，承认平方损失优化，它也享有强有力的保证方面的预测性能和标签的努力。我们将COAL与被动学习和几个主动学习基线进行了经验比较，显示出在真实世界数据集上标记工作和测试成本方面的显着改进。
2021-10-11 cs.LG stat.ML
Efficient active learning of sparse halfspaces with arbitrary bounded noise
University of Arizona（亚利桑那大学）；Stevens Institute of Technology（史蒂文斯理工学院）；Google Research（谷歌研究院）；Rutgers University（罗格斯大学）
我们研究了齐次$s$ -稀疏半空间的主动学习，在$\mathbb{R}^d$的设置下，未标记的数据分布是各向同性对数凹的，每个标签被翻转的概率最多$η$的参数$η\in \big[0, \frac12\big)$，称为有界噪声。即使在存在轻度标签噪声的情况下，即$η$是一个小常数，这也是一个具有挑战性的问题，并且直到最近才在[Zhang，2018]中建立了$\tilde{O}\big(s \cdot \mathrm{polylog}(d, \frac{1}ε)\big)$形式的标签复杂度界限，用于计算高效算法。相比之下，在高水平的标签噪声下，通过计算高效算法实现的标签复杂度界限要差得多：[Awasthi et al.，2016]提供了具有标签复杂度$\tilde{O}\big((\frac{s \ln d}ε)^{2^{\mathrm{poly}(1/(1-2η))}} \big)$的计算高效算法，其仅在噪声率$η$是固定常数时是标签高效的。在这项工作中，我们大大提高了它的设计一个多项式时间的主动学习的$s$ -稀疏半空间的算法，标签的复杂度为$\tilde{O}\big(\frac{s}{(1-2η)^4} \mathrm{polylog} (d, \frac 1 ε) \big)$。这是第一个有效的算法与标签复杂度多项式在$\frac{1}{1-2η}$在此设置，这是标签有效的…
2021-08-13 cs.LG stat.ML
S2: An Efficient Graph Based Active Learning Algorithm with Application to Nonparametric Classification
Carnegie Mellon University（卡内基梅隆大学）；University of Wisconsin, Madison（威斯康星大学麦迪逊分校）
本文研究了图上二值标签预测的主动学习问题。我们引入了一个简单的和标签效率的算法称为S2的这项任务。在每一步中，S2根据图的结构和所有先前收集的标签选择要标记的顶点。具体来说，S2查询将任何一对相反标记的顶点之间的 * 最短最短 * 路径平分的顶点的标签。我们提出了一个理论估计的查询S2的数量需要在一个新的参数化的二进制函数图的复杂性。我们还提出了实验结果，证明了真实和合成数据上的S2的性能。虽然其他基于图的主动学习算法在实践中表现出了希望，我们的算法是第一个既有良好的性能和理论保证。最后，我们展示了S2算法的影响，非参数主动学习的理论。特别是，我们证明了S2实现了一个重要的非参数分类问题类的最优超额风险附近的极大极小。
2015-06-29 cs.LG stat.ML
Active Bayesian Assessment for Black-Box Classifiers
University of California, Irvine（加州大学欧文分校）
机器学习的最新进展已经导致在各种各样的应用中增加了黑盒分类器的部署。在许多这样的情况下，迫切需要可靠地评估这些预先训练的模型的性能，并以标签有效的方式执行这种评估（考虑到标签可能稀缺且收集成本高）。在本文中，我们介绍了一种主动贝叶斯方法来评估分类器的性能，以满足desiderata的可靠性和标签效率。我们首先开发推理策略，以量化常见的评估指标，如准确性，误分类成本和校准误差的不确定性。然后，我们提出了一个通用的框架，主动贝叶斯评估使用推断的不确定性，以指导有效的选择标签的实例，使更好的性能评估与更少的标签。我们通过一系列评估现代神经分类器性能的系统经验实验（例如，ResNet和BERT）在几个标准的图像和文本分类数据集上进行了测试。
2021-03-15 cs.LG stat.ML
Active Feature Selection for the Mutual Information Criterion
Ben-Gurion University of the Negev（内盖夫本-古里安大学）
我们研究了主动特征选择，一种新的特征选择设置，其中未标记的数据是可用的，但标签的预算是有限的，和标签的例子可以主动选择的算法。我们专注于使用经典的互信息标准，选择最大的互信息与标签的$k$功能的特征选择。在活动特征选择设置中，目标是使用比数据集大小少得多的标签，并且仍然找到其与基于\emph{entire}数据集的标签的互信息大的$k$特征。我们解释和实验研究的选择，我们在算法中，并表明，他们导致一个成功的算法，相比其他更天真的方法。我们的设计借鉴了将主动特征选择的问题与纯探索多臂强盗设置的研究相关联的见解。虽然我们在这里关注的是互信息，但我们的一般方法也可以适用于其他特征质量度量。该代码可在以下网址获得：https://github.com/ShacharSchnapp/ActiveFeatureSelection。
2020-12-13 cs.LG stat.ML
Deep Active Learning with a Neural Architecture Search
Technion – Israel Institute of Technology（以色列理工学院）
我们考虑深度神经网络的主动学习。大多数主动学习作品在这方面的重点是研究有效的查询机制，并假设一个合适的网络架构是先验已知的问题。我们挑战这一假设，并提出了一种新的主动策略，使学习算法搜索有效的架构上飞，同时积极学习。我们应用我们的策略使用三个已知的查询技术（softmax响应，MC-辍学，和coresets），并表明所提出的方法压倒性地优于使用固定架构的主动学习。
2019-09-05 cs.LG stat.ML
Diffusion-based Deep Active Learning
Bell Laboratories, Nokia（诺基亚贝尔实验室）；Courant Institute of Mathematical Sciences, New York University（纽约大学库朗数学科学研究所）
深度神经网络的卓越性能取决于海量标记数据的可用性。为了减轻数据标注的负担，主动深度学习旨在选择要标记的训练点的最小集合，从而产生最大的模型准确度。大多数现有的方法实现一个“探索”型的选择标准，其目的是探索数据和标签的联合分布，或一个“细化”型的标准，其目的是定位检测到的决策边界。我们提出了一个通用的和有效的标准，自动切换从探索细化时，分布已被充分映射。我们的标准依赖于一个过程，扩散现有的标签信息的图形构建的数据集的隐藏表示所提供的神经网络。该图形表示捕获了近似标记函数的内在几何形状。基于扩散的标准被证明是有利的，因为它优于现有的深度主动学习的标准。
2020-03-23 cs.LG stat.ML
Efficient Active Learning with Abstention
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
本文提出了一种高效的主动学习算法，允许在困难样本上回避预测，从而显著降低标签复杂性，同时避免噪声寻求行为。
2025-12-29 cs.LG stat.ML
Limitations of Assessing Active Learning Performance at Runtime
University of Kassel（卡塞尔大学）
分类算法旨在预测未知标签（例如，质量等级）用于新实例（例如，产品）。因此，训练样本（实例和标签）用于推导分类假设。通常，捕获实例相对容易，但获取相应的标签仍然困难或昂贵。主动学习算法选择最有益的实例进行标记以降低成本。在研究中，这种标记过程是模拟的，因此可以获得地面实况。但是在部署过程中，主动学习是一次性问题，并且评估集不可用。因此，不可能在学习期间可靠地估计分类系统的性能，并且难以决定系统何时满足质量要求（停止标准）。在这篇文章中，我们正式的任务，并审查现有的策略，以评估在训练过程中积极训练分类器的性能。此外，我们确定了三个主要挑战：1）导出性能分布，2）保持标记子集的代表性，以及3）纠正智能选择策略引起的采样偏差。在定性分析中，我们评估了不同的现有方法，并表明，他们都没有可靠的估计主动学习性能，这是未来研究此类系统的一个重大挑战。所有的图和实验都在一个可供下载的笔记本中提供。
2019-01-29 cs.LG stat.ML
Uncertainty Herding: One Active Learning Method for All Label Budgets
University of British Columbia（不列颠哥伦比亚大学）；Borealis AI；Amii
本文提出不确定性覆盖目标及不确定性聚集方法，通过贪心优化实现低高预算下均优的主动学习，实验证明其性能全面领先。
2025-02-27 cs.LG stat.ML
SoQal: Selective Oracle Questioning in Active Learning
University of Oxford（牛津大学）
医疗保健领域内的大量未标记数据仍然没有得到充分利用。主动学习提供了一种利用这些数据集的方法，它通过迭代地请求oracle（例如医疗专业人员）来标记实例。这个过程可能是昂贵和耗时的，过度依赖于Oracle。为了减轻这一负担，我们提出了SoQal，一个提问策略，动态地确定何时应该从Oracle请求标签。我们在五个公开的数据集上进行了实验，并说明了SoQal相对于基线方法的优越性，包括其将Oracle标签请求减少高达35%的能力。SoQal在存在标签噪声的情况下也具有竞争力：这种情况模拟了临床医生在面临困难的分类任务时的不确定诊断。
2020-04-22 cs.LG stat.ML
Active Learning in Incomplete Label Multiple Instance Multiple Label Learning
Oregon State University（俄勒冈州立大学）
在多实例多标签学习中，每个样本，一个袋子，由多个实例组成。为了减轻标记的复杂性，每个样本都与一组袋级标签相关联，使袋内的实例未标记。这种设置对于表示具有多个语义含义的复杂对象更方便和自然。与单实例标记相比，这种方法允许以相等的标记成本标记更大的数据集。然而，对于足够大的数据集，标记所有袋子可能变得过于昂贵。主动学习使用迭代标记和再训练方法，旨在使用少量标记样本提供合理的分类性能。据我们所知，只有少数作品在该地区的主动学习在MIML设置。这些方法可以提供实际的解决方案，以降低标签成本，但其有效性仍不清楚。在本文中，我们提出了一种新的袋类对为基础的主动学习方法在MIML设置。由于袋级标签的部分可用性，我们专注于所提出的主动学习方法的不完整标签MIML设置。我们的方法是基于一个有效率和准确的推理判别图形模型。对于查询过程中，我们适应主动学习标准的新袋类对选择策略。此外，我们引入了一个在线的随机梯度下降算法，以提供一个有效的模型更新后，每次查询。基准数据集上的数值实验表明了该方法的鲁棒性。
2021-07-26 cs.LG
Integrating Informativeness, Representativeness and Diversity in Pool-Based Sequential Active Learning for Regression
Huazhong University of Science and Technology（华中科技大学）
在许多现实世界的机器学习应用中，未标记的样本很容易获得，但标记它们是昂贵的和/或耗时的。主动学习是减少这种数据标记工作的常用方法。它最佳地选择最好的几个样本进行标记，以便可以从相同数量的标记样本中训练出更好的机器学习模型。本文研究了回归问题的主动学习方法。ALR提出了三个基本标准--信息性、代表性和多样性。然而，文献中很少有方法同时考虑所有这三个方面。我们提出了三个新的ALR方法，与不同的战略，整合三个标准。在不同领域的12个数据集上进行的广泛实验证明了它们的有效性。
2020-03-26 cs.LG stat.ML
Efficient active learning of sparse halfspaces
Microsoft Research（微软研究院）
我们研究了$\mathbb{R}^d$中齐次线性分类器（半空间）的高效PAC主动学习问题，其目标是使用尽可能少的标签查询来学习具有低错误的半空间。在额外的假设下，有一个$t$ -稀疏半空间，在数据上表现良好（$t \ll d$），我们希望我们的主动学习算法是{ \em属性有效}，即在$d$中具有次线性的标签要求。在本文中，我们提供了一个计算效率高的算法，实现这一目标。在一定的数据分布假设下，我们的算法实现了$O(t \cdot \mathrm{polylog}(d, \frac 1 ε))$的标签复杂度。相比之下，该设置中的现有算法要么计算效率低，要么受制于$d$或$\frac 1 ε$中的标签要求多项式。
2018-06-02 cs.LG stat.ML
Deep Bayesian Active Semi-Supervised Learning
Bergische Universiatät Wuppertal（伍珀塔尔贝吉施大学）
在许多应用中，生成标签信息的过程是昂贵且耗时的。我们提出了一种结合主动和半监督深度学习的新方法，以尽可能少的已知标签从深度卷积神经网络实现高泛化性能。在少量标记数据和大量未标记数据可用的情况下，我们的方法首先学习标记数据集。该初始化之后是期望最大化算法，其中进一步的训练通过以与标记数据一致的低熵拟合为目标来降低未标记数据上的分类熵。此外，该算法要求在一个特定的频率的预言机的标签的数据与熵高于一定的熵分位数。使用这个主动学习组件，我们获得了一个敏捷的标签过程，实现了高精度，但只需要少量的已知标签。对于MNIST数据集，我们报告仅使用300个标签的出错率为2.06%，使用1000个标签的错误率为1.06%。这些结果是在不采用任何特殊的网络结构或数据增强的情况下获得的。
2018-03-03 cs.CV cs.LG stat.ML
Multi-Label Bayesian Active Learning with Inter-Label Relationships
Faculty of Information Technology, Monash University（信息科技学院，墨尔本大学）；Faculty of Medicine, Nursing and Health Sciences, Monash University（医学、护理与健康科学学院，墨尔本大学）
针对多标签主动学习中标签相关性利用不足与数据不平衡问题，提出结合动态相关矩阵、集成伪标记和beta评分的贝叶斯主动学习策略，在四个数据集上取得更优性能。
2025-09-04 cs.LG
Activized Learning: Transforming Passive to Active with Improved Label Complexity
Carnegie Mellon University（卡内基梅隆大学）
我们研究了主动学习相对于被动学习的理论优势。具体来说，我们证明了，在无噪声分类器学习VC类，任何被动学习算法可以转化为一个主动学习算法，渐近严格优越的标签复杂性的所有非平凡的目标函数和分布。我们进一步提供了一个一般的表征，这些改进的幅度方面的一种新的泛化的不一致系数。我们还将这些结果扩展到标签噪声存在下的主动学习，并发现即使在广泛的噪声分布下，我们通常也可以保证严格改进被动学习的已知结果。
2011-08-08 cs.LG math.ST stat.ML
ActiveDP: Bridging Active Learning and Data Programming
University of Toronto（多伦多大学）
本文提出ActiveDP框架，结合主动学习与数据编程，以生成高准确率和高覆盖率的标签，实验证明其在不同标注预算下优于现有方法。
2024-02-08 cs.DB cs.LG
Multi-Label Active Learning from Crowds
Nanjing University（南京大学）
多标签主动学习是一个热门话题，在减少标签成本，通过最佳选择最有价值的实例查询其标签从一个预言。在本文中，我们认为基于池的多标签主动学习下的众包设置，在主动查询过程中，而不是诉诸于高成本的预言机的地面真相，多个低成本的不完美的注释器与各种专业知识的标签。为了解决这个问题，我们提出了MAC（Multi-label主动学习from Crowds）方法，该方法结合标签相关性的局部影响，在多标签分类器和注释器上建立概率模型。基于该模型，我们可以估计实例的标签以及每个注释者的专业知识。然后，我们提出了实例选择和注释器选择标准，考虑实例的不确定性/多样性和注释器的可靠性，这样最可靠的注释器将被查询最有价值的实例。实验结果证明了该方法的有效性。
2015-08-04 cs.LG cs.SI
Deep Active Learning in the Presence of Label Noise: A Survey
University of Hawai’i at Manoa（夏威夷大学马诺阿分校）
本文综述了标签噪声下深度主动学习的现状，分析了各类方法的优缺点，并探讨了视觉Transformer与对比学习在提升样本选择质量方面的潜力，同时呼吁建立统一基准以促进研究可复现性。
2023-09-19 cs.LG
Exploring Active Learning in Meta-Learning: Enhancing Context Set Labeling
University of British Columbia（不列颠哥伦比亚大学）；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所（Amii））
本文探讨了在元学习测试阶段主动选择上下文集标注点的方法，提出了基于高斯混合模型的主动选择算法，在多个基准数据集上优于现有主动学习方法。
2024-07-24 cs.LG
MCAL: Minimum Cost Human-Machine Active Labeling
University of Southern California（南加州大学）；Microsoft Research（微软研究院）
如今，地面实况生成使用由基于云的注释服务注释的数据集。这些服务依赖于人工注释，这可能非常昂贵。在本文中，我们考虑混合人机标记的问题，训练分类器准确地自动标记数据集的一部分。然而，训练分类器也可能是昂贵的。我们提出了一种迭代方法，通过在每一步共同确定使用人类标记哪些样本以及使用训练的分类器标记哪些样本，来最大限度地降低总成本。我们在Fashion-MNIST、CIFAR-10、CIFAR-100和ImageNet等公知的公共数据集上验证了我们的方法。在某些情况下，我们的方法相对于人类标记整个数据集的总成本低6倍，并且总是比最便宜的竞争策略便宜。
2023-02-27 cs.CV cs.LG stat.ML
SeqMix: Augmenting Active Sequence Labeling via Sequence Mixup
Georgia Tech（佐治亚理工学院）
主动学习是低资源序列标记任务的一种重要技术。然而，目前的主动序列标记方法在每次迭代中仅使用查询的样本，这是利用人类注释的低效方式。我们提出了一种简单但有效的数据增强方法来提高活性序列标记的标记效率。我们的方法SeqMix通过在每次迭代中生成额外的标记序列来简单地增加查询样本。关键的困难是生成合理的序列以及标记级别的标签。在SeqMix中，我们通过对查询样本的序列和标记级标签进行混合来解决这一挑战。此外，我们还设计了一个序列混淆时的判断器，用来判断产生的序列是否可信。我们在命名实体识别和事件检测任务上的实验表明，SeqMix可以通过$2.27\%$ -- $3.75\%$在$F_1$得分方面改进标准的活动序列标记方法。SeqMix的代码和数据可以在https://github.com/rz-zhang/SeqMix上找到
2020-10-05 cs.CL cs.LG
Active Labeling: Streaming Stochastic Gradients
Meta；INRIA（法国国家信息与自动化研究所）；ENS（巴黎高等师范学院）；PSL（巴黎文理研究大学）；ENSAE（法国国立统计与经济管理学院）
机器学习的主力是随机梯度下降。为了访问随机梯度，通常会迭代地考虑训练数据集的输入/输出对。有趣的是，似乎不需要完全监督来访问随机梯度，这是本文的主要动机。在形式化的“主动标记”的问题，它侧重于主动学习与部分监督后，我们提供了一个流技术，证明最大限度地减少了样本数的泛化误差的比率。我们深入说明了我们的鲁棒回归技术。
2022-12-07 cs.AI cs.IR cs.LG
Batch Bayesian Active Learning with Partial Batch Label Sampling
Georgia Institute of Technology（佐治亚理工学院）
本文提出ParBaLS方法，用于改进EPIG算法在大规模批量中的性能，通过实验验证其在固定预算下优于其他方法，适用于基于大预训练模型的贝叶斯逻辑回归。
2026-10-14 cs.AI cs.LG stat.ML
Active learning using region-based sampling
我们提出了一个通用的主动学习计划的数据在度量空间。该算法维护一个不同大小的邻域集合，并使用标签查询来识别那些对一个特定标签有强烈偏见的邻域;当两个这样的邻域相交并具有不同的标签时，重叠区域被视为“已知未知”，并且是未来主动查询的目标。我们给标签的复杂性界限，这种方法不依赖于对数据的假设，我们实例化他们在几种情况下的利益。
2023-03-05 cs.LG
Incremental Uncertainty-aware Performance Monitoring with Active Labeling Intervention
Siemens AG（西门子公司）；Goethe University Frankfurt（法兰克福歌德大学）；LMU Munich（慕尼黑大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；German Cancer Research Center (DKFZ)（德国癌症研究中心）；German Cancer Consortium (DKTK)（德国癌症联盟）
针对渐进式分布漂移导致模型性能悄然下降的问题，提出无标签的IUPM方法，利用最优传输估计性能变化并结合不确定性驱动的主动标注，在有限预算下实现更准确监控。
2025-05-11 cs.AI cs.LG stat.ML
Active Learning with Partial Feedback
Carnegie Mellon University（卡内基梅隆大学）；Amazon AI（亚马逊人工智能）；California Institute of Technology（加州理工学院）
虽然许多主动学习论文假设学习者可以简单地要求一个标签并获得它，但真正的注释通常会在标签的形式（例如，许多类中的一个）和注释的形式（通常是/否二进制反馈）之间出现不匹配。为了注释多类分类的示例语料库，我们可能需要询问多个是/否问题，如果有标签层次结构，则利用标签层次结构。为了解决这个更现实的设置，我们提出了部分反馈的主动学习（ALPF），学习者必须主动选择要标记的例子和要问的二元问题。在每一步，学习者选择一个例子，询问它是否属于一个选定的（可能是复合的）类。每个答案消除了一些类，给学习者留下了部分标签。然后，学习者可能会对同一个例子提出更多的问题（直到发现一个确切的标签），或者立即继续前进，留下第一个例子部分标记。使用部分标签的主动学习需要（i）选择（示例、类）对的采样策略，以及（ii）从轮之间的部分标签学习。在Tiny ImageNet上的实验表明，与i.i.d.相比，我们最有效的方法在前1分类准确率上提高了26%（相对）。基线和标准主动学习者给出注释数据集所需（天真地）注释预算的30%。此外，ALPF学习者完全注释TinyImageNet的成本降低了42%。令人惊讶的是，我们观察到，占每个例子的注释成本可以改变传统的智慧，积极的学习者应该征求标签硬的例子。
2019-07-09 cs.LG
Information Gain Propagation: a new way to Graph Active Learning with Soft Labels
Peking University（北京大学）；Apple（苹果公司）
图神经网络（GNN）在各种任务中取得了巨大的成功，但它们的性能高度依赖于大量的标记节点，这通常需要相当大的人力。提出了基于GNN的主动学习（AL）方法，通过选择最有价值的节点进行标记来提高标记效率。现有的方法假设一个预言机可以正确地对所有选定的节点进行分类，因此只关注节点的选择。然而，这样一个精确的标签任务是昂贵的，特别是当分类是出了域的个人专家（oracle）。本文更进一步，提出了一个软标签的方法，以AL上的GNNs。我们的主要创新是：i）放松查询，其中领域专家（Oracle）仅判断预测标签的正确性（二元问题）而不是识别确切的类（多类问题），以及ii）对于具有放松查询和软标签的主动学习者最大化信息增益传播的新准则。对公共数据集的实证研究表明，我们的方法在准确性和标记成本方面都显着优于最先进的基于GNN的AL方法。
2022-03-02 cs.LG
The Power of Comparisons for Actively Learning Linear Classifiers
UCSD（加州大学圣地亚哥分校）
在大数据的世界里，大而昂贵的标签数据集主宰着许多领域。主动学习是标准PAC学习模型的一种半监督替代方案，被引入来探索自适应标记是否可以用指数级更少的标记样本来学习概念。虽然以前的结果表明，主动学习执行不优于其监督替代重要的概念类，如线性分隔符，我们表明，通过添加弱分布假设，并允许比较查询，主动学习需要指数更少的样本。此外，我们还证明了这些结果也适用于称为可靠且可能有用（RPU）学习的更强的学习模型。在这个模型中，我们的学习者不允许犯错误，但可能会回答“我不知道”。“虽然之前的负面结果表明，该模型对于标签查询具有难以处理的大样本复杂性，但我们表明，比较查询使RPU学习在被动和主动机制中的成本更高。
2020-05-30 cs.CG cs.LG stat.ML
Robust and Discriminative Labeling for Multi-label Active Learning Based on Maximum Correntropy Criterion
Wuhan University（武汉大学）；University of Sydney（悉尼大学）
多标签学习在许多现实世界的应用中引起了极大的兴趣。由oracle为一个实例分配多个标签是一项代价很高的任务。同时，如果不诊断有区别的标签，也很难建立一个好的模型。我们能否降低标签成本并提高同时训练多标签学习的良好模型的能力？主动学习通过查询最有价值的样本来解决训练样本较少的问题，从而以较小的代价获得更好的性能。在多标签主动学习中，人们研究了用较少的训练样本查询相关标签，或者在不诊断判别信息的情况下查询所有标签。它们都不能有效地处理测量不确定度的离群值标签。最大相关熵准则（MCC）为许多机器学习和数据采掘算法中的离群点提供了鲁棒性分析，本文将不确定性和代表性融合在一起，推导出基于MCC的鲁棒多标记主动学习算法，并提出了一种高效的交替优化方法来求解该算法。我们的方法可以消除不具有区分性的离群值标签对测量不确定度的影响。为了进一步提高信息度量的能力，我们将不确定性和代表性与未知数据的预测标签相融合。它不仅可以增强不确定性，而且可以提高多标签数据的标签信息的相似性度量。在基准多标签数据集上的实验表明，该方法的性能优于现有的方法。
2019-04-14 cs.CV cs.LG
Active Learning with Label Comparisons
Google（谷歌）；Weizmann Institute of Science（魏茨曼科学研究所）；Technion（以色列理工学院）；Hebrew University（希伯来大学）；Tel Aviv University（特拉维夫大学）
监督学习通常依赖于真实标签的手动注释。当有许多潜在的类时，搜索最好的类对于注释人员来说是令人望而却步的。另一方面，比较两个候选标签通常要容易得多。我们专注于这种类型的成对监督，并询问它如何有效地用于学习，特别是在主动学习。在此背景下，我们得到了一些有见地的结果。原则上，可以使用$k-1$主动查询来找到最佳的$k$标签。我们发现，有一个自然的类，这种方法是次优的，并且有一个比较有效的主动学习计划。我们分析中的一个关键要素是真实分布的“标签邻域图”，如果两个类共享一个决策边界，则它们之间有一个边缘。我们还表明，在PAC设置，成对比较不能提供改进的样本复杂性在最坏的情况下。我们用实验来补充我们的理论结果，清楚地表明了邻域图对样本复杂性的影响。
2022-08-14 cs.LG
Active learning with biased non-response to label requests
London School of Economics（伦敦政治经济学院）；Meta
本研究针对主动学习场景中有偏标注无响应损害模型性能的问题，提出基于成本的采样修正方法UCB-EU，经多场景实验及电商真实数据验证可有效缓解性能下降，同时明确了该方法仍存在局限的场景。
2024-03-11 cs.LG stat.ME stat.ML
Minimax Analysis of Active Learning
IBM T. J. Watson Research Center（IBM T·J·沃森研究中心）
本文建立了在各种噪声模型下，具有一般假设类的主动学习的极大极小标签复杂度的分布自由上界和下界。结果揭示了一些令人惊讶的事实。特别地，在Tsybakov（2004）的噪声模型下，具有VC类的主动学习的极小极大标签复杂度总是渐近小于被动学习的极小极大标签复杂度，并且通常显著小于主动学习文献中先前公布的最佳上限。在高噪声条件下，所有给定VC维的主动学习问题具有大致相同的极大极小标签复杂度，这与有界噪声的著名结果形成对比。在低噪音制度，我们发现，标签的复杂性是很好的特点，一个简单的组合复杂性措施，我们称之为星数。有趣的是，我们发现，几乎所有的复杂性措施，以前探讨的主动学习文献中有最坏的情况下的值正好等于星数。我们还提出了新的主动学习策略，几乎实现这些极大极小标签的复杂性。
2014-10-03 cs.LG math.ST stat.ML
Hybrid Active-Online Learning Framework for Label-Efficient Concept Drift Adaptation in Optical Network Failure Detection
提出混合主动在线学习框架，通过基于间隔的选择性标记仅查询3.4%的流样本，实现接近上限的准确率和AUC，且延迟开销可忽略。
2026-06-29 cs.LG eess.SP
Active Covering
Google Research（谷歌研究院）
我们分析了主动覆盖的问题，其中学习者被赋予一个未标记的数据集，并可以顺序标记查询示例。目标是在最少的标签查询总数中对所有的正例进行标签查询。我们表明，在标准的非参数假设下，一个经典的支持估计可以被重新利用作为一个离线算法，实现额外的查询成本相比，最佳的学习者，$\widetildeΘ(n^{D/(D+1)})$，其中$n$是数据点的数量和$D$是维度。然后，我们提供了一个简单的主动学习方法，达到了改进的额外查询成本的$\widetilde{O}(n^{(D-1)/D})$。此外，所提出的算法只需要访问正标记的示例，这在某些设置中提供了额外的计算和隐私优势。最后，我们表明，主动学习方法始终优于离线方法，以及各种基准上的广泛的基于图像的数据集。
2021-06-04 cs.AI cs.LG stat.ML
An Exploration of Active Learning for Affective Digital Phenotyping
Stanford University（斯坦福大学）
阻碍人类行为机器学习模型广泛发展的一些最严重的瓶颈包括缺乏标记的训练数据和难以获得高质量的标签。主动学习是一种使用算法来计算地选择数据点的有用子集以使用模型不确定性和数据相似性的度量来标记的范例。我们探索自然的计算机视觉情感数据，一个特别异构和复杂的数据空间，由于固有的主观标签的主动学习。使用从自闭症儿童的治疗性智能手机游戏中获得的游戏玩法收集的帧，我们使用游戏玩法提示作为元数据来帮助主动学习过程，运行主动学习的模拟。我们发现，使用在游戏过程中产生的信息的主动学习稍微优于随机选择相同数量的标记帧。接下来，我们研究一种利用主观数据进行主动学习的方法，例如在情感计算中，并且可以为每个图像获取多个众包标签。使用儿童情感面部表情（CAFE）数据集，我们模拟了众包许多标签的主动学习过程，并发现使用众包标签分布的熵对帧进行优先级排序导致与随机帧选择相比分类交叉熵损失较低。总的来说，这些结果表明试点评估的两种新的主动学习方法的主观情感数据收集在嘈杂的设置。
2022-04-06 cs.CV cs.LG
Active Learning of Strict Partial Orders: A Case Study on Concept Prerequisite Relations
The Pennsylvania State University（宾夕法尼亚州立大学）；Carnegie Mellon University（卡内基梅隆大学）
严格偏序是关系数据中常见的数学结构。大规模提取此类关系的一个障碍是缺乏用于构建有效数据驱动解决方案的大规模标签。我们开发了一个主动学习的框架，挖掘这种关系受到严格的秩序。我们的方法采用关系推理，不仅在寻找新的未标记的对，其标签可以推断出现有的标签集，但也在设计新的查询策略，考虑标签的关系结构。我们的实验表明，我们提出的框架可以大大提高分类性能与相同的查询预算相比，其他基线方法。
2018-01-19 cs.AI cs.LG stat.ML
Active label cleaning for improved dataset quality under resource constraints
Microsoft Research Cambridge（微软剑桥研究院）；Stanford University（斯坦福大学）
数据注释中的不完善，即标签噪声，对机器学习模型的训练有害，并且对模型性能的评估具有经常被忽视的混杂影响。然而，聘请专家通过完全重新注释大型数据集来消除标签噪声在资源受限的环境中是不可行的，例如医疗保健。这项工作倡导一种数据驱动的方法来优先考虑重新注释的样本-我们称之为“主动标签清洗”。我们建议根据估计的标签正确性和标签的难度，每个样本的实例进行排名，并引入一个模拟框架来评估重新标记的功效。我们在自然图像和一个新的医学成像基准上的实验表明，清理噪声标签可以减轻它们对模型训练、评估和选择的负面影响。至关重要的是，所提出的主动标签清理能够在现实条件下比典型的随机选择更有效地校正标签高达4倍，从而更好地利用专家的宝贵时间来提高数据集质量。
2022-02-10 cs.CV cs.LG
Cost-minimising strategies for data labelling : optimal stopping and active learning
University of Leoben（莱奥本大学）
监督学习处理以观测空间$\CX$中的点为条件的输出或标签空间$\CY$上的分布的推断，给定$\CX \times \CY$中的对的训练数据集$D$。然而，在许多感兴趣的应用中，获取大量的观察是容易的，而生成标签的过程是耗时或昂贵的。处理这个问题的一种方法是{ \em主动}学习，其中选择要标记的点，目的是创建一个比在相同数量的随机采样点上训练的模型性能更好的模型。在本文中，我们建议直接处理标签成本：学习目标被定义为成本的最小化，该成本是预期模型性能和所使用标签的总成本的函数。这允许开发一般策略和特定算法，用于（a）最佳停止，其中预期成本决定标签获取是否应该继续（b）经验评估，其中成本用作推断、停止和采样方法的给定组合的性能度量。虽然本文的主要焦点是最佳停止，我们也旨在为进一步发展和讨论主动学习的相关领域的背景。
2007-11-15 cs.LG
Active Refinement for Multi-Label Learning: A Pseudo-Label Approach
National Taiwan University（台湾大学）；The University of Queensland（昆士兰大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能研究中心）；The University of Tokyo（东京大学）
多标签学习（MLL）的目标是从一组概念中将给定实例与其相关标签相关联。以往的MLL研究主要集中在假设概念集合是固定的情况下，而现实世界中的许多应用需要在概念集合中引入新的概念来满足新的需求。一个常见的需求是细化原始的粗糙概念，并将它们分成更细粒度的概念，其中细化过程通常从更细粒度概念的有限标记数据开始。为了满足这一需求，我们将问题形式化为一个特殊的弱监督MLL问题，不仅可以有效地学习细粒度概念，还可以允许交互式查询策略性地收集更多信息注释，以进一步改进分类器。我们方法的关键思想是学习为未标记的条目分配伪标签，然后利用伪标签来训练底层分类器并提供更好的查询策略。实验结果表明，我们的伪标签方法能够准确地恢复丢失的地面真相，提高预测性能显着超过基线方法，并促进竞争性的主动学习策略。
2021-09-29 cs.LG
Deep Active Learning for Sequence Labeling Based on Diversity and Uncertainty in Gradient
LG Electronics（LG电子）
最近，一些研究调查了主动学习（AL）的自然语言处理任务，以减轻数据依赖。然而，对于查询选择，这些研究主要依赖于基于不确定性的采样，一般不利用未标记数据的结构信息。这导致批量主动学习设置中的采样偏差，该设置一次选择多个样本。在这项工作中，我们证明了标记的训练数据的量可以减少使用主动学习时，它结合了序列标记任务的不确定性和多样性。我们通过在多个任务，数据集，模型的梯度嵌入方法中选择加权多样性来检查我们基于序列的方法的效果，并始终优于经典的基于不确定性的采样和基于多样性的采样。
2020-11-27 cs.AI cs.CL cs.LG
Exploiting Context for Robustness to Label Noise in Active Learning
University of California, Riverside（加州大学河滨分校）；University of California, Santa Barbara（加州大学圣巴巴拉分校）
计算机视觉中的一些工作已经证明了主动学习在新的未标记数据可用时用于适应识别模型的有效性。这些著作大多认为从注释者那里获得的标签是正确的。然而，在实际场景中，由于标签的质量取决于注释器，因此一些标签可能是错误的，这导致识别性能下降。在本文中，我们解决的问题，i）系统如何可以识别哪些查询标签是错误的，以及ii）如何多类主动学习系统可以适应标签噪声的负面影响最小化。为了解决这些问题，我们提出了一种基于噪声标签过滤的学习方法，其中利用自然数据中非常常见的相互关系（上下文）来检测错误的标签。我们构建了一个图形表示的未标记的数据来编码这些关系，并获得新的信念图时，嘈杂的标签。将新的信念与先前的关系信息进行比较，我们生成一个相异性分数来检测不正确的标签，并使用正确的标签更新识别模型，从而获得更好的识别性能。这在三个不同的应用中得到了证明：场景分类、活动分类和文档分类。
2020-10-18 cs.CV cs.LG
Importance Weighted Active Learning
IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心）；University of California, San Diego（加利福尼亚大学圣迭戈分校）；Yahoo! Research（雅虎研究院）
我们提出了一个实用的和统计上一致的计划，积极学习一般损失函数下的二进制分类器。我们的算法使用重要性加权来校正采样偏差，并通过控制方差，我们能够为学习过程提供严格的标签复杂度界限。在被动标记数据上的实验表明，这种方法降低了在许多学习问题上实现良好预测性能所需的标签复杂度。
2009-05-20 cs.LG
Adversarial Representation Active Learning
Stanford University（斯坦福大学）
主动学习的目标是通过查询由预言机标记的信息量最大的样本来开发标记有效的算法。设计需要更少标签的高效训练方法是一个重要的研究方向，它允许更有效地使用计算和人力资源来标记和训练深度神经网络。在这项工作中，我们展示了如何利用深度生成模型的最新进展，在使用尽可能少的标签实现最高分类精度方面超越最先进的技术。与以前的方法不同，我们的方法不仅使用标记的图像来训练分类器，而且还使用未标记的图像和生成的图像来共同训练整个模型。我们的实验表明，该方法在广泛的数据集（MNIST，CIFAR-10，SVHN，CelebA和ImageNet）上的主动学习性能明显优于现有方法。
2019-12-20 cs.CV cs.LG
Just Label What You Need: Fine-Grained Active Selection for Perception and Prediction through Partially Labeled Scenes
University of Toronto（多伦多大学）；Uber ATG（优步先进技术集团）；Brown University（布朗大学）
自动驾驶汽车必须感知和预测附近行动者的未来位置，以避免碰撞和安全驾驶。一个学习过的深度学习模块通常负责这项任务，需要大规模、高质量的训练数据集。由于数据汇集通常比在该领域中标记便宜得多，因此标记哪个示例子集的决定可能对模型性能产生深远的影响。主动学习技术利用当前模型的状态来迭代地选择用于标记的示例，为这个问题提供了一个有前途的解决方案。然而，尽管这种方法很有吸引力，但对于感知和预测（P&P）问题的主动学习方法却很少有科学分析。在这项工作中，我们研究了P&P的主动学习技术，发现传统的主动学习公式不适合P&P设置。因此，我们引入泛化，确保我们的方法是成本意识，并允许细粒度的选择的例子，通过部分标记的场景。我们在真实世界的大规模自动驾驶数据集上的实验表明，细粒度选择可以提高感知，预测和下游规划任务的性能。
2021-04-08 cs.AI cs.CV cs.LG
Combating Label Distribution Shift for Active Domain Adaptation
POSTECH（浦项科技大学）
我们考虑的问题，主动领域自适应（ADA）的未标记的目标数据，其中的子集是积极选择和标记给定的预算约束。受最近对领域自适应中源和靶之间标签分布失配的关键问题的分析的启发，我们设计了一种方法，该方法首次在ADA中解决了该问题。其核心是一种新颖的采样策略，该策略寻求最接近整个目标分布的目标数据，并且具有代表性，多样性和不确定性。采样的目标数据，然后不仅用于监督学习，但也用于匹配源和目标域的标签分布，导致显着的性能改善。在四个公共基准测试中，我们的方法在每一个适应场景中都大大优于现有方法。
2022-08-13 cs.AI cs.CV cs.LG
