Incremental Uncertainty-aware Performance Monitoring with Active Labeling Intervention
Siemens AG（西门子公司）；Goethe University Frankfurt（法兰克福歌德大学）；LMU Munich（慕尼黑大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；German Cancer Research Center (DKFZ)（德国癌症研究中心）；German Cancer Consortium (DKTK)（德国癌症联盟）
针对渐进式分布漂移导致模型性能悄然下降的问题，提出无标签的IUPM方法，利用最优传输估计性能变化并结合不确定性驱动的主动标注，在有限预算下实现更准确监控。
2025-05-11 cs.AI cs.LG stat.ML
Cost-Accuracy Aware Adaptive Labeling for Active Learning
University of Texas at Austin（德克萨斯大学奥斯汀分校）
传统的主动学习算法假设一个单一的标签，产生无噪声的标签在一个给定的，固定的成本，并旨在实现最佳的泛化性能，为给定的分类器下的预算约束。然而，在许多实际环境中，不同的贴标机具有不同的贴标成本，并且可以产生不同的贴标精度。此外，给定的贴标签器可以针对不同的情况展现不同的贴标签准确度。这种设置可以被称为主动学习，具有不同的成本和准确性的不同标签器，并且它出现在许多重要的实际设置中。因此，了解如何有效地权衡不同实例的标记精度、标记成本以及训练实例的信息量，从而以最低的标记成本实现最佳的泛化性能是有益的。在本文中，我们提出了一个新的算法选择的实例，标签（及其相应的成本和标签精度），采用泛化范围的学习与标签噪声选择信息的实例和标签，以实现更高的泛化精度在较低的成本。我们提出的算法在五个UCI和一个真正的众包数据集上展示了最先进的性能。
2021-05-24 cs.LG stat.AP
The Power of Comparisons for Actively Learning Linear Classifiers
UCSD（加州大学圣地亚哥分校）
在大数据的世界里，大而昂贵的标签数据集主宰着许多领域。主动学习是标准PAC学习模型的一种半监督替代方案，被引入来探索自适应标记是否可以用指数级更少的标记样本来学习概念。虽然以前的结果表明，主动学习执行不优于其监督替代重要的概念类，如线性分隔符，我们表明，通过添加弱分布假设，并允许比较查询，主动学习需要指数更少的样本。此外，我们还证明了这些结果也适用于称为可靠且可能有用（RPU）学习的更强的学习模型。在这个模型中，我们的学习者不允许犯错误，但可能会回答“我不知道”。“虽然之前的负面结果表明，该模型对于标签查询具有难以处理的大样本复杂性，但我们表明，比较查询使RPU学习在被动和主动机制中的成本更高。
2020-05-30 cs.CG cs.LG stat.ML
Active Learning with Label Comparisons
Google（谷歌）；Weizmann Institute of Science（魏茨曼科学研究所）；Technion（以色列理工学院）；Hebrew University（希伯来大学）；Tel Aviv University（特拉维夫大学）
监督学习通常依赖于真实标签的手动注释。当有许多潜在的类时，搜索最好的类对于注释人员来说是令人望而却步的。另一方面，比较两个候选标签通常要容易得多。我们专注于这种类型的成对监督，并询问它如何有效地用于学习，特别是在主动学习。在此背景下，我们得到了一些有见地的结果。原则上，可以使用$k-1$主动查询来找到最佳的$k$标签。我们发现，有一个自然的类，这种方法是次优的，并且有一个比较有效的主动学习计划。我们分析中的一个关键要素是真实分布的“标签邻域图”，如果两个类共享一个决策边界，则它们之间有一个边缘。我们还表明，在PAC设置，成对比较不能提供改进的样本复杂性在最坏的情况下。我们用实验来补充我们的理论结果，清楚地表明了邻域图对样本复杂性的影响。
2022-08-14 cs.LG
Learning from Label Proportions and Covariate-shifted Instances
Google DeepMind（谷歌DeepMind）
本文研究协变量偏移的混合 LLP 问题，在领域适应框架下提出新方法，将目标包标签与源实例标签结合以训练实例级预测器，理论证明目标泛化误差上界，并在公开数据集实验中优于 LLP 和领域适应基线。
2025-07-15 cs.LG
Coping with Label Shift via Distributionally Robust Optimisation
Massachusetts Institute of Technology（麻省理工学院）；Google Research（谷歌研究院）
标签偏移问题是指训练和测试标签分布不匹配的监督学习设置。解决标签偏移的现有工作通常假定访问\emph{unlabelled}测试样品。该样本可用于估计测试标签分布，然后训练适当重新加权的分类器。虽然使用这种想法的方法已被证明是有效的，但它们的范围是有限的，因为它并不总是可行的访问目标域;此外，如果模型要部署在\emph{multiple}测试环境中，它们需要反复重新训练。人们是否可以从一个广泛的家族中学习一个对任意标签偏移鲁棒的\emph{single}分类器？在本文中，我们回答了这个问题，提出了一个模型，最大限度地减少基于分布鲁棒优化（DRO）的目标。然后，我们设计和分析了一个梯度下降近端镜像上升算法为大规模的问题，以优化建议的目标。%，并建立其收敛性。最后，通过在CIFAR-100和ImageNet上的实验，我们证明了我们的技术可以在存在标签偏移的设置中显着提高性能。
2021-08-17 cs.CV cs.LG math.OC
ActiveLab: Active Learning with Re-Labeling by Multiple Annotators
Cleanlab（Cleanlab公司）
本文提出ActiveLab方法，通过决定下一步标注内容并支持多标注者重新标注，在有限预算下提升分类器准确性。
2023-01-27 cs.LG stat.ML
Active Surrogate Estimators: An Active Learning Approach to Label-Efficient Model Evaluation
University of Oxford（牛津大学）；DeepMind（深度思维）
我们提出了主动替代估计器（ASES），标签有效的模型评估的一种新方法。当标签昂贵时，评估模型性能是一个具有挑战性和重要的问题。ASE使用基于代理的估计方法来解决这个主动测试问题，该方法对具有未知标签的点的误差进行插值，而不是形成蒙特卡洛估计。ASES积极学习的基础代理，我们提出了一种新的收购策略，XWED，量身定制这种学习的最终估计任务。我们发现，ASE提供更大的标签效率比目前最先进的应用到具有挑战性的模型评估问题的深度神经网络。
2022-10-18 cs.LG stat.ML
Active Learning from Weak and Strong Labelers
University of California, San Diego（加州大学圣地亚哥分校）
主动学习者被赋予一个假设类，一个大的未标记的例子和交互式查询标签的能力，这些例子的一个子集的预言;学习者的目标是学习类中的一个假设，适合数据尽可能少的标签查询。这项工作解决了主动学习的标签从强和弱标签，除了标准的主动学习设置，我们有一个额外的弱标签，偶尔可能会提供不正确的标签。一个例子是学习对医学图像进行分类，其中昂贵的标签可以从医生（oracle或强标签）获得，或者便宜但偶尔不正确的标签可以从医疗居民（弱标签）获得。我们的目标是学习一个分类器，对由Oracle标记的数据具有低错误，同时使用弱标记器来减少对该标记器的标签查询的数量。我们为这种设置提供了一个主动学习算法，建立其统计一致性，并分析其标签复杂性，以表征何时可以提供标签节省单独使用强大的标签。
2015-10-16 cs.LG stat.ML
Active WeaSuL: Improving Weak Supervision with Active Learning
ING Wholesale Banking Advanced Analytics（ING批发银行高级分析部）；University of Amsterdam（阿姆斯特丹大学）；Feebris（Feebris公司）
标记数据的可用性是机器学习的主要限制之一。我们可以使用弱监督来缓解这种情况：一个使用专家定义的规则$\boldsymbolλ$来估计整个数据集的概率标签$p(y|\boldsymbolλ)$的框架。然而，这些规则依赖于专家对问题的了解，因此可能是不准确的，或者可能无法捕获问题空间的重要部分。为了缓解这一问题，我们提出了主动WeaSuL：一种将主动学习纳入弱监督的方法。在Active WeaSuL中，专家不仅定义规则，而且还迭代地为弱监督模型最有可能出错的一小部分点提供真实标签，然后用于更好地估计概率标签。通过这种方式，弱标签提供了一个温暖的开始，然后主动学习进行改进。我们做两个贡献：1）弱监督损失函数的修改，使得专家标记的数据通知并改进弱标记的组合;以及2）maxKL发散采样策略，其确定专家标记对于哪些数据点最有益。我们的实验表明，当标记数据的预算有限时（例如$\leq 60$数据点），Active WeaSuL优于弱监督，主动学习和竞争策略，只有少数标记的数据点。这使得Active WeaSuL非常适合难以获得标记数据的情况。
2021-04-30 cs.LG stat.ML
Active Learning from Imperfect Labelers
University of California, San Diego（加州大学圣地亚哥分校）
我们研究了主动学习，其中标注者不仅可以返回错误的标签，而且可以放弃标注。我们考虑了贴标机的不同噪声和消声条件。我们提出了一个算法，利用的标注响应，并分析其统计一致性和查询复杂度相当自然的假设下的噪声和标注率。该算法是自适应的，在某种意义上，它可以自动请求更少的查询与更多的信息或更少的噪音标注。我们将我们的算法与下界相结合，以表明在某些技术条件下，它实现了接近最优的查询复杂度。
2016-10-30 cs.LG stat.ML
Search Improves Label for Active Learning
Yahoo Research（雅虎研究院）；Columbia University（哥伦比亚大学）；Microsoft Research（微软研究院）；University of California, San Diego（加利福尼亚大学圣地亚哥分校）
我们研究了主动学习与访问两个不同的预言：标签（这是标准的）和搜索（这不是）。搜索预言机模拟了人类搜索数据库以播种或反例现有解决方案的情况。搜索比标签更强大，同时在许多情况下自然实现。我们表明，使用这两个预言机的算法可以提供指数级大的问题依赖的标签单独的改进。
2016-10-24 cs.LG stat.ML
Disentanglement based Active Learning
Flytxt Mobile Solutions（Flytxt移动解决方案公司）；TCS Research（塔塔咨询服务研究中心）；Indian Institute of Space Science and Technology（印度空间科学与技术研究所）
我们提出了基于解纠缠的主动学习（DAL），一种新的基于自我监督的主动学习技术，它利用了解纠缠的概念。我们的方法不是从人类预言机请求标签，而是自动标记大多数数据点，从而大大减少了基于生成对抗网络（GAN）的主动学习方法中的人类标记预算。该方法使用信息最大化生成对抗网（InfoGAN）来学习解纠缠的类类别表示。主动学习者预测和InfoGAN标签之间的不一致决定了数据点是否需要人工标记。我们还介绍了一个标签校正机制，旨在过滤掉标签噪音，由于自动标注。图像分类任务的三个基准数据集上的结果表明，与现有的基于GAN的主动学习方法相比，我们的方法具有更好的性能。
2021-09-25 cs.LG stat.ML
Online Adaptation to Label Distribution Shift
Cornell University（康奈尔大学）；Facebook AI Research（Facebook 人工智能研究院）
机器学习模型在现实世界中部署时经常遇到分布偏移。在本文中，我们专注于适应标签分布偏移在线设置，测试时的标签分布是不断变化的，模型必须动态地适应它，而不观察到真正的标签。利用一种新的分析，我们表明，缺乏真正的标签并不妨碍估计的预期测试损失，这使得减少在线标签偏移适应传统的在线学习。根据这一观察，我们提出了经典的在线学习技术，如跟随领导者（FTL）和在线梯度下降（OGD）的启发自适应算法，并推导出他们的遗憾界限。我们根据经验验证我们的研究结果在模拟和现实世界的标签分布偏移，并表明OGD是特别有效和强大的各种具有挑战性的标签偏移的情况。
2022-01-05 cs.LG stat.ML
The Label Complexity of Active Learning from Observational Data
University of California San Diego（加州大学圣地亚哥分校）
从观察数据中进行反事实学习涉及基于选择策略条件下观察到的数据来学习整个种群的分类器。这项工作考虑了这个问题在一个积极的设置，学习者还可以访问未标记的例子，并可以选择得到这些标记的一个子集的预言。之前在这个问题上的工作使用基于分歧的主动学习，以及重要性加权损失估计器来考虑反事实，这导致了高标签复杂性。我们展示了如何将一个更有效的反事实风险最小化到主动学习算法中。这就要求我们既要修改反事实风险，使其适合主动学习，也要修改主动学习过程，使其适合风险。我们证明，这是一个算法，这是统计上一致的，以及更标签效率比以前的工作的结果。
2019-10-28 cs.LG stat.ML
Factorizable joint shift revisited
Centre for Business Mathematics and Informatics（商业数学与信息学中心）
本文重新审视可因子化联合位移，提出适用于一般标签空间的分析框架，扩展了现有结果并分析了EM算法在类别先验概率上的扩展，同时重新审视了通用标签位移。
2026-07-08 cs.LG stat.ML
ALiPy: Active Learning in Python
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；MIIT Key Laboratory of Pattern Analysis and Machine Intelligence（工业和信息化部模式分析与机器智能重点实验室）
有监督的机器学习方法通常需要大量的标记样本来进行模型训练。然而，在许多实际应用中，存在大量的未标记数据和有限的标记数据，并且标记的获取是昂贵的。主动学习（AL）通过迭代地选择最有价值的数据来从注释器查询它们的标签，从而降低了标签成本。本文介绍了一个用于主动学习的Python工具箱ALiPy。ALiPy提供了一个基于模块的主动学习框架的实现，它允许用户方便地评估，比较和分析主动学习方法的性能。在工具箱中，学习框架的每个组件都有多个选项可供选择，包括数据处理、主动选择、标签查询、结果可视化等，除了实现20多种最先进的主动学习算法外，ALiPy还支持用户在不同的主动学习设置下轻松配置和实现自己的方法，如AL用于多标签数据，带有噪声注释器的AL，带有不同成本的AL等等。工具箱在Github上有很好的文档和开源，可以通过PyPI轻松安装。
2019-01-12 cs.LG stat.ML
Combining MixMatch and Active Learning for Better Accuracy with Fewer Labels
Google Research（谷歌研究院）
我们提出使用基于主动学习的技术来进一步改进最先进的半监督学习MixMatch算法。我们对几种主动学习和基线方法进行了全面的实证评估，这些方法成功地证明了基准CIFAR-10，CIFAR-100和SVHN数据集的显着改进（绝对准确率高达1.5%）。我们还提供了一个实证分析的成本权衡之间的增量收集更多的标记与未标记的数据。这种分析可以用来测量标记/未标记数据在学习曲线不同点的相对值，我们发现，尽管标记数据的增量值可以高达未标记数据的20倍，但一旦观察到超过2,000个标记示例，它就会迅速减少到不到3倍。代码可以在https://github.com/google-research/mma上找到。
2019-12-03 cs.LG stat.ML
Sequential Harmful Shift Detection Without Labels
J.P. Morgan AI Research（摩根大通人工智能研究院）
提出一种无需标签即可检测生产环境中模型性能下降的分布漂移方法，利用误差估计器预测作为代理，实验证明在多种漂移下具有高检测力和误报控制。
2024-12-17 cs.LG stat.ML
Maximum Likelihood with Bias-Corrected Calibration is Hard-To-Beat at Label Shift Adaptation
Stanford University（斯坦福大学）
标签偏移是指先验类概率p（y）在训练分布和测试分布之间变化，而条件概率p（x）在训练分布和测试分布之间变化的现象。|y）保持固定。标签偏移出现在医疗诊断等环境中，其中训练用于预测给定症状的疾病的分类器必须适应疾病的基线患病率不同的情况。给定p（y）的估计|x），Saerens等人提出了一种有效的最大似然算法来校正不需要模型再训练的标签偏移，但是该算法的限制性假设是p（y| x）被校准，这对现代神经网络来说是不正确的。最近，黑箱移位学习（BBSL）和标签移位下的正则化学习（RLLS）已经成为最先进的技术，以应对分类器不输出校准概率时的标签偏移，但这两种方法都需要使用重要性权重进行模型再训练，并且都没有针对最大似然进行基准测试。在这里，我们（1）表明，结合最大似然与一种类型的校准，我们称之为偏差校正校准优于BBSL和RLLS在不同的数据集和分布偏移，（2）证明，最大似然目标是凹的，（3）介绍了一个原则性的战略，估计源域先验，提高鲁棒性差校准。这项工作表明，最大似然与适当的校准是一个强大的和有效的基线标签偏移适应;笔记本重现实验可在https://github.com/kundajelab/labelshiftexperiments
2020-06-27 cs.LG stat.ML
Anytime-Valid Confirmation of Label-Shift Corrections
Seungjin Choi
针对标签稀缺时预指定偏移修正的确认问题，提出基于条件e值的任意有效序贯检验方法，利用似然比乘积构造非负鞅，将常规模型监测转化为正式检验。
2026-06-15 cs.LG stat.ML
Regularized Learning for Domain Adaptation under Label Shifts
University of California, Irvine（加州大学尔湾分校）；California Institute of Technology（加州理工学院）；Institute of Theoretical Studies, ETH Zürich（苏黎世联邦理工学院理论研究所）
我们提出了正则化学习下的标签偏移（RLLS），一个原则性和实用的域自适应算法，以纠正源和目标域之间的标签分布的变化。我们首先使用标记的源数据和未标记的目标数据来估计重要性权重，然后在加权的源样本上训练分类器。我们推导出一个泛化的目标域上的分类器是独立的（环境）数据维度，而不是只依赖于函数类的复杂性。据我们所知，这是标签移位问题的第一个推广界，其中目标域中的标签不可用。基于这个界限，我们提出了一个正则化估计的小样本制度，占估计权重的不确定性。在CIFAR-10和MNIST数据集上的实验表明，与以前的方法相比，RLLS提高了分类精度，特别是在低样本和大偏移区域。
2019-03-22 cs.LG stat.ML
Marginal Singularity, and the Benefits of Labels in Covariate-Shift
Columbia University（哥伦比亚大学）；Princeton University（普林斯顿大学）
我们提出了新的极大极小的结果，简洁地捕捉源和目标标记的数据，根据协变量移位的相对优势。也就是说，我们表明，目标标签的好处是由一个传输指数$γ$，编码如何奇异Q是本地w.r.t.有趣的是，它允许在以前的见解下似乎不可能转移的情况。事实上，我们新的极大极小分析--就$γ$而言--揭示了一系列的机制，从目标标签几乎没有好处的情况，到目标标签显著改善分类的情况。然后，我们表明，最近提出的半监督程序可以扩展到适应未知的$γ$，因此，只有当有益的标签请求，同时实现极大极小传输速率。
2020-06-16 cs.LG stat.ML
Beyond Disagreement-based Agnostic Active Learning
University of California, San Diego（加州大学圣地亚哥分校）
我们研究不可知的主动学习，其目标是在一个预先指定的假设类中学习一个分类器，尽可能少的标签查询，同时不对生成标签的真实函数进行假设。解决此问题的主要算法是{ \em{disagreement-based active learning} }和{ \em{margin-based active learning}}，前者具有较高的标签要求，后者仅适用于相当受限的设置。一个主要的挑战是找到一个算法，实现更好的标签复杂性，是一致的不可知设置，并适用于一般的分类问题。在本文中，我们提供了这样一个算法。我们的解决方案是基于两个新的贡献-从一致的主动学习减少到保证误差的置信度预测，和一个新的置信度预测。
2014-07-11 cs.LG stat.ML
Active Testing: Sample-Efficient Model Evaluation
OATML, Department of Computer Science（牛津大学计算机科学系OATML）；Department of Statistics, Oxford（牛津大学统计系）
我们引入了一个新的框架，我们称之为主动测试的样本效率的模型评估。虽然主动学习等方法减少了模型训练所需的标签数量，但现有文献在很大程度上忽略了标记测试数据的成本，通常不切实际地假设模型评估的测试集很大。这就造成了与实际应用的脱节，在实际应用中，测试标签很重要，也同样昂贵，例如用于优化超参数。主动测试通过仔细选择要标记的测试点来解决这个问题，确保模型评估是样本有效的。为此，我们推导出理论上的接地和直观的收购策略，专门针对主动测试的目标，注意到这些是不同的主动学习。由于主动选择标签会引入偏差，我们进一步展示了如何在减少估计量方差的同时消除这种偏差。主动测试易于实现，可以应用于任何有监督的机器学习方法。我们在包括Fashion-MNIST和CIFAR-100在内的数据集上证明了它在包括WideResNets和高斯过程在内的模型上的有效性。
2021-06-14 cs.LG stat.ML
Pool-Based Unsupervised Active Learning for Regression Using Iterative Representativeness-Diversity Maximization (iRDM)
Huazhong University of Science and Technology（华中科技大学）
主动学习（AL）选择最有益的未标记样本进行标记，因此可以从相同数量的标记样本训练更好的机器学习模型。大多数现有的回归主动学习（ALR）方法都是有监督的，这意味着采样过程必须使用一些标签信息或现有的回归模型。本文考虑完全无监督的ALR，即，如何在不知道任何真实标签信息的情况下选择要标记的样品。我们提出了一种新的无监督ALR方法，迭代代表性多样性最大化（iRDM），以最佳平衡的代表性和多样性的选择样本。在不同领域的12个数据集上的实验证明了该方法的有效性。我们的iRDM可以应用于线性回归和核回归，当标记样本数量较少时，它甚至显着优于监督ALR。
2020-03-31 cs.LG stat.ML
Active Learning with Neural Networks: Insights from Nonparametric Statistics
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
本文提出基于非参数统计学的深度主动学习方法，首次提供了近最优的标签复杂性保证，无需低噪声假设，并扩展至Radon BV²空间。
2025-12-30 cs.LG stat.ML
A General Framework for Abstention Under Label Shift
Stanford University（斯坦福大学）
在机器学习的安全关键应用中，避免对低置信度示例进行预测通常很重要。标准的弃权方法往往侧重于优化前k的准确性，但在许多应用中，准确性并不是我们感兴趣的指标。此外，标签移位（训练时间和预测时间之间的类比例的移位）在实际设置中是普遍存在的，并且现有的消除方法不能很好地处理标签移位。在这项工作中，我们提出了一个通用的框架，可以应用于优化任何感兴趣的指标，这是适应标签移位在测试时，并与任何分类器，可以校准的开箱即用。我们的方法利用了最近的报告，校准的概率估计可以用作真实类别标签的代理，从而使我们能够估计任意度量的变化，如果一个例子被弃权。我们提出了计算效率高的算法，在我们的框架下优化灵敏度在目标特异性，auROC，和加权科恩的Kappa，并引入了一种新的强基线的基础上，从先验类概率的JS分歧。合成，生物和临床数据的实验支持我们的发现。
2022-06-19 cs.LG stat.ML
Distribution-free uncertainty quantification for classification under label shift
Carnegie Mellon University（卡内基梅隆大学）
ML模型的可信部署需要适当的不确定性度量，特别是在安全关键型应用中。我们专注于不确定性量化（UQ）的分类问题，通过两个途径-预测集使用共形预测和校准的概率预测后，特设分箱-因为这些拥有分布免费保证独立同分布。数据两种常见的归纳方法超越了独立同分布。设置包括处理协变量和标签偏移。在免分配用户数量的背景下，前者已经受到关注，但后者尚未受到关注。众所周知，标签移位会损害预测，我们首先认为它也会损害UQ，因为它会降低覆盖率和校准。借助最近在解决标签偏移（为了更好的预测）方面的进展，我们研究了通过重新加权上述适形和校准程序来实现UQ的正确方法，只要来自目标分布的一些未标记数据可用。我们研究这些技术理论上在一个免费的分布框架，并展示了其出色的实际性能。
2021-07-07 cs.LG stat.ML
Active Learning for Cost-Sensitive Classification
Microsoft Research（微软研究院）；Uber Advanced Technology Center（优步先进技术中心）
我们设计了一个主动学习算法的成本敏感的多类分类：不同的错误有不同的成本的问题。我们的算法COAL通过回归每个标签的成本并预测最小的成本来进行预测。在一个新的例子中，它使用了一组对过去数据表现良好的回归器来估计每个标签的可能成本。它只查询可能是最好的标签，忽略了肯定会失败的标签。我们证明了COAL可以有效地实现任何回归家庭，承认平方损失优化，它也享有强有力的保证方面的预测性能和标签的努力。我们将COAL与被动学习和几个主动学习基线进行了经验比较，显示出在真实世界数据集上标记工作和测试成本方面的显着改进。
2021-10-11 cs.LG stat.ML
On Target Shift in Adversarial Domain Adaptation
Duke University（杜克大学）
训练域和测试域之间的不一致性是机器学习技术推广中的一个基本问题。最近，已经提出了几种方法来通过对抗性深度学习来学习域不变特征表示。然而，标签转移，其中每个类别中的数据的百分比是不同的域之间，受到较少的关注。标签转换在许多情况下自然会出现，特别是在行为研究中，行为是自由选择的。在这项工作中，我们提出了一种名为Domain Adversarial nets for Target Shift（DATS）的方法，用于在学习域不变表示的同时解决标签移位问题。这是通过使用分布匹配来估计盲测试集中的标签比例来实现的。我们扩展这个框架来处理多个域，通过开发一个计划来增加源域最相似的目标域。实验结果表明，该框架在大的标签移位下表现良好，具有一定的实用价值。
2019-03-15 cs.LG stat.ML
S2: An Efficient Graph Based Active Learning Algorithm with Application to Nonparametric Classification
Carnegie Mellon University（卡内基梅隆大学）；University of Wisconsin, Madison（威斯康星大学麦迪逊分校）
本文研究了图上二值标签预测的主动学习问题。我们引入了一个简单的和标签效率的算法称为S2的这项任务。在每一步中，S2根据图的结构和所有先前收集的标签选择要标记的顶点。具体来说，S2查询将任何一对相反标记的顶点之间的 * 最短最短 * 路径平分的顶点的标签。我们提出了一个理论估计的查询S2的数量需要在一个新的参数化的二进制函数图的复杂性。我们还提出了实验结果，证明了真实和合成数据上的S2的性能。虽然其他基于图的主动学习算法在实践中表现出了希望，我们的算法是第一个既有良好的性能和理论保证。最后，我们展示了S2算法的影响，非参数主动学习的理论。特别是，我们证明了S2实现了一个重要的非参数分类问题类的最优超额风险附近的极大极小。
2015-06-29 cs.LG stat.ML
Active Bayesian Assessment for Black-Box Classifiers
University of California, Irvine（加州大学欧文分校）
机器学习的最新进展已经导致在各种各样的应用中增加了黑盒分类器的部署。在许多这样的情况下，迫切需要可靠地评估这些预先训练的模型的性能，并以标签有效的方式执行这种评估（考虑到标签可能稀缺且收集成本高）。在本文中，我们介绍了一种主动贝叶斯方法来评估分类器的性能，以满足desiderata的可靠性和标签效率。我们首先开发推理策略，以量化常见的评估指标，如准确性，误分类成本和校准误差的不确定性。然后，我们提出了一个通用的框架，主动贝叶斯评估使用推断的不确定性，以指导有效的选择标签的实例，使更好的性能评估与更少的标签。我们通过一系列评估现代神经分类器性能的系统经验实验（例如，ResNet和BERT）在几个标准的图像和文本分类数据集上进行了测试。
2021-03-15 cs.LG stat.ML
A study of data and label shift in the LIME framework
KTH Royal Institute of Technology（KTH皇家理工学院）
LIME是一种流行的方法，用于通过可解释的模型来解释黑盒预测，该模型是在预测实例附近的实例上训练的。为了生成这些实例，LIME随机选择预测实例的非零特征的子集。之后，扰动实例被送入黑盒模型以获得这些实例的标签，然后用于训练可解释模型。在这项研究中，我们对LIME输出的可解释模型进行了系统的评估，这些模型是在介绍该方法的原始论文中考虑的两个用例上输出的;文本分类和对象检测。研究表明，扰动和标记阶段导致数据和标签移位。此外，我们还研究了可解释模型的偏移和保真度之间的相关性，并表明在某些情况下，偏移与保真度呈负相关。基于这些研究结果，有人认为，有必要采取一种新的抽样方法，以减轻在石灰的框架的转变。
2019-10-31 cs.LG stat.ML
Active Learning: Problem Settings and Recent Developments
The Institute of Statistical Mathematics（统计数学研究所）
在监督学习中，获取预测模型的标记训练数据可能非常昂贵，但获取大量未标记数据通常非常容易。主动学习是一种通过自适应地选择样本进行标注，以有限的代价获得高精度预测模型的方法。本文阐述了主动学习的基本问题设置和最新研究动态。特别是，学习采集功能的研究，从数据中选择样本进行标记，主动学习算法的理论工作，并停止标准顺序数据采集突出显示。介绍了材料开发和测量的应用实例。
2020-12-16 cs.LG stat.ML
Efficient Active Learning with Abstention
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
本文提出了一种高效的主动学习算法，允许在困难样本上回避预测，从而显著降低标签复杂性，同时避免噪声寻求行为。
2025-12-29 cs.LG stat.ML
RLSbench: Domain Adaptation Under Relaxed Label Shift
Carnegie Mellon University（卡内基梅隆大学）；Amazon Web Services（亚马逊云科技）
本文构建涵盖视觉、表格和语言的 RLSbench 松弛标签偏移基准，评估13种域适应方法，并提出可兼容多数启发式方法的伪平衡与分类器调整两步元算法。
2023-06-05 cs.CV cs.LG stat.ML
Estimating calibration error under label shift without labels
KU Leuven（鲁汶大学）
针对实际部署中目标域标签缺失、无法估计标签偏移下校准误差的问题，提出基于带标签源分布重要性重加权的无标签校准误差估计方法，可实现一致且渐近无偏的估计，经多数据集多场景验证有效可靠。
2023-12-14 cs.CV cs.LG stat.ML
On Label Shift in Domain Adaptation via Wasserstein Distance
Monash University（莫纳什大学）；VinAI Research（VinAI研究院）；University of Michigan, Ann Arbor（密歇根大学安娜堡分校）；University of Texas, Austin（德克萨斯大学奥斯汀分校）
我们研究了一般领域自适应（DA）设置中源域和目标域之间的标签偏移问题。我们考虑将目标转换到源域，这使我们能够对齐源和目标示例。通过这些转换，我们通过最佳传输定义了两个域之间的标签偏移，并发展了理论来研究DA在各种DA设置下的性质（例如，闭集、部分集、开集和通用集）。从发达的理论的启发，我们提出了标签和数据移位减少通过最佳传输（LDROT），可以减轻数据和标签偏移同时。最后，我们进行了全面的实验，以验证我们的理论研究结果，并比较LDROT与国家的最先进的基线。
2022-03-02 cs.LG stat.ME stat.ML
Importance Weight Estimation and Generalization in Domain Adaptation under Label Shift
Purdue University（普渡大学）
本文研究范畴和一般赋范标号空间在标号移位下的推广。我们提出了一系列的方法来估计从标记源到未标记目标域的重要性权重，并提供这些估计的置信界。我们部署这些估计器，并提供在未标记的目标域的泛化范围。
2021-06-05 cs.LG
Deep Bayesian Active Semi-Supervised Learning
Bergische Universiatät Wuppertal（伍珀塔尔贝吉施大学）
在许多应用中，生成标签信息的过程是昂贵且耗时的。我们提出了一种结合主动和半监督深度学习的新方法，以尽可能少的已知标签从深度卷积神经网络实现高泛化性能。在少量标记数据和大量未标记数据可用的情况下，我们的方法首先学习标记数据集。该初始化之后是期望最大化算法，其中进一步的训练通过以与标记数据一致的低熵拟合为目标来降低未标记数据上的分类熵。此外，该算法要求在一个特定的频率的预言机的标签的数据与熵高于一定的熵分位数。使用这个主动学习组件，我们获得了一个敏捷的标签过程，实现了高精度，但只需要少量的已知标签。对于MNIST数据集，我们报告仅使用300个标签的出错率为2.06%，使用1000个标签的错误率为1.06%。这些结果是在不采用任何特殊的网络结构或数据增强的情况下获得的。
2018-03-03 cs.CV cs.LG stat.ML
Multi-Label Bayesian Active Learning with Inter-Label Relationships
Faculty of Information Technology, Monash University（信息科技学院，墨尔本大学）；Faculty of Medicine, Nursing and Health Sciences, Monash University（医学、护理与健康科学学院，墨尔本大学）
针对多标签主动学习中标签相关性利用不足与数据不平衡问题，提出结合动态相关矩阵、集成伪标记和beta评分的贝叶斯主动学习策略，在四个数据集上取得更优性能。
2025-09-04 cs.LG
Activized Learning: Transforming Passive to Active with Improved Label Complexity
Carnegie Mellon University（卡内基梅隆大学）
我们研究了主动学习相对于被动学习的理论优势。具体来说，我们证明了，在无噪声分类器学习VC类，任何被动学习算法可以转化为一个主动学习算法，渐近严格优越的标签复杂性的所有非平凡的目标函数和分布。我们进一步提供了一个一般的表征，这些改进的幅度方面的一种新的泛化的不一致系数。我们还将这些结果扩展到标签噪声存在下的主动学习，并发现即使在广泛的噪声分布下，我们通常也可以保证严格改进被动学习的已知结果。
2011-08-08 cs.LG math.ST stat.ML
ActiveDP: Bridging Active Learning and Data Programming
University of Toronto（多伦多大学）
本文提出ActiveDP框架，结合主动学习与数据编程，以生成高准确率和高覆盖率的标签，实验证明其在不同标注预算下优于现有方法。
2024-02-08 cs.DB cs.LG
Estimating and Explaining Model Performance When Both Covariates and Labels Shift
Stanford University（斯坦福大学）
部署的机器学习（ML）模型经常遇到与其训练数据不同的新用户数据。因此，估计给定模型在新数据上的表现是迈向可靠ML应用的重要一步。然而，这是非常具有挑战性的，因为数据分布可以以灵活的方式变化，并且我们可能没有新数据上的任何标签，这在监控设置中经常发生。在本文中，我们提出了一个新的分布移位模型，稀疏联合移位（SJS），它考虑了两个标签和一些特征的联合移位。这统一和推广了几个现有的移位模型，包括标签移位和稀疏协变量移位，其中只考虑边缘特征或标签分布移位。我们描述的数学条件下，SJS是可识别的。我们进一步提出了SEES，一个算法框架来描述SJS下的分布偏移，并在没有任何标签的情况下估计模型在新数据上的性能。我们在几个真实世界的数据集上进行了大量的实验，使用了各种ML模型。在不同的数据集和分布偏移，SEES实现了显着的（高达一个数量级）偏移估计误差的改善，超过现有的方法。
2022-09-18 cs.AI cs.LG stat.AP
Multi-Label Active Learning from Crowds
Nanjing University（南京大学）
多标签主动学习是一个热门话题，在减少标签成本，通过最佳选择最有价值的实例查询其标签从一个预言。在本文中，我们认为基于池的多标签主动学习下的众包设置，在主动查询过程中，而不是诉诸于高成本的预言机的地面真相，多个低成本的不完美的注释器与各种专业知识的标签。为了解决这个问题，我们提出了MAC（Multi-label主动学习from Crowds）方法，该方法结合标签相关性的局部影响，在多标签分类器和注释器上建立概率模型。基于该模型，我们可以估计实例的标签以及每个注释者的专业知识。然后，我们提出了实例选择和注释器选择标准，考虑实例的不确定性/多样性和注释器的可靠性，这样最可靠的注释器将被查询最有价值的实例。实验结果证明了该方法的有效性。
2015-08-04 cs.LG cs.SI
Deep Active Learning in the Presence of Label Noise: A Survey
University of Hawai’i at Manoa（夏威夷大学马诺阿分校）
本文综述了标签噪声下深度主动学习的现状，分析了各类方法的优缺点，并探讨了视觉Transformer与对比学习在提升样本选择质量方面的潜力，同时呼吁建立统一基准以促进研究可复现性。
2023-09-19 cs.LG
Exploring Active Learning in Meta-Learning: Enhancing Context Set Labeling
University of British Columbia（不列颠哥伦比亚大学）；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所（Amii））
本文探讨了在元学习测试阶段主动选择上下文集标注点的方法，提出了基于高斯混合模型的主动选择算法，在多个基准数据集上优于现有主动学习方法。
2024-07-24 cs.LG
Label Shift Adapter for Test-Time Adaptation under Covariate and Label Shifts
Qualcomm AI Research（高通人工智能研究院）；KAIST（韩国科学技术院）
针对协变量与标签偏移共存时现有TTA方法失效的问题，提出可嵌入各类TTA方法的标签偏移适配器，通过估计目标标签分布并预测部分模型参数实现高效适应，实验显示性能显著提升。
2023-08-17 cs.CV cs.LG
MCAL: Minimum Cost Human-Machine Active Labeling
University of Southern California（南加州大学）；Microsoft Research（微软研究院）
如今，地面实况生成使用由基于云的注释服务注释的数据集。这些服务依赖于人工注释，这可能非常昂贵。在本文中，我们考虑混合人机标记的问题，训练分类器准确地自动标记数据集的一部分。然而，训练分类器也可能是昂贵的。我们提出了一种迭代方法，通过在每一步共同确定使用人类标记哪些样本以及使用训练的分类器标记哪些样本，来最大限度地降低总成本。我们在Fashion-MNIST、CIFAR-10、CIFAR-100和ImageNet等公知的公共数据集上验证了我们的方法。在某些情况下，我们的方法相对于人类标记整个数据集的总成本低6倍，并且总是比最便宜的竞争策略便宜。
2023-02-27 cs.CV cs.LG stat.ML
SeqMix: Augmenting Active Sequence Labeling via Sequence Mixup
Georgia Tech（佐治亚理工学院）
主动学习是低资源序列标记任务的一种重要技术。然而，目前的主动序列标记方法在每次迭代中仅使用查询的样本，这是利用人类注释的低效方式。我们提出了一种简单但有效的数据增强方法来提高活性序列标记的标记效率。我们的方法SeqMix通过在每次迭代中生成额外的标记序列来简单地增加查询样本。关键的困难是生成合理的序列以及标记级别的标签。在SeqMix中，我们通过对查询样本的序列和标记级标签进行混合来解决这一挑战。此外，我们还设计了一个序列混淆时的判断器，用来判断产生的序列是否可信。我们在命名实体识别和事件检测任务上的实验表明，SeqMix可以通过$2.27\%$ -- $3.75\%$在$F_1$得分方面改进标准的活动序列标记方法。SeqMix的代码和数据可以在https://github.com/rz-zhang/SeqMix上找到
2020-10-05 cs.CL cs.LG
Batch Bayesian Active Learning with Partial Batch Label Sampling
Georgia Institute of Technology（佐治亚理工学院）
本文提出ParBaLS方法，用于改进EPIG算法在大规模批量中的性能，通过实验验证其在固定预算下优于其他方法，适用于基于大预训练模型的贝叶斯逻辑回归。
2026-10-14 cs.AI cs.LG stat.ML
Active learning using region-based sampling
我们提出了一个通用的主动学习计划的数据在度量空间。该算法维护一个不同大小的邻域集合，并使用标签查询来识别那些对一个特定标签有强烈偏见的邻域;当两个这样的邻域相交并具有不同的标签时，重叠区域被视为“已知未知”，并且是未来主动查询的目标。我们给标签的复杂性界限，这种方法不依赖于对数据的假设，我们实例化他们在几种情况下的利益。
2023-03-05 cs.LG
Active Learning with Partial Feedback
Carnegie Mellon University（卡内基梅隆大学）；Amazon AI（亚马逊人工智能）；California Institute of Technology（加州理工学院）
虽然许多主动学习论文假设学习者可以简单地要求一个标签并获得它，但真正的注释通常会在标签的形式（例如，许多类中的一个）和注释的形式（通常是/否二进制反馈）之间出现不匹配。为了注释多类分类的示例语料库，我们可能需要询问多个是/否问题，如果有标签层次结构，则利用标签层次结构。为了解决这个更现实的设置，我们提出了部分反馈的主动学习（ALPF），学习者必须主动选择要标记的例子和要问的二元问题。在每一步，学习者选择一个例子，询问它是否属于一个选定的（可能是复合的）类。每个答案消除了一些类，给学习者留下了部分标签。然后，学习者可能会对同一个例子提出更多的问题（直到发现一个确切的标签），或者立即继续前进，留下第一个例子部分标记。使用部分标签的主动学习需要（i）选择（示例、类）对的采样策略，以及（ii）从轮之间的部分标签学习。在Tiny ImageNet上的实验表明，与i.i.d.相比，我们最有效的方法在前1分类准确率上提高了26%（相对）。基线和标准主动学习者给出注释数据集所需（天真地）注释预算的30%。此外，ALPF学习者完全注释TinyImageNet的成本降低了42%。令人惊讶的是，我们观察到，占每个例子的注释成本可以改变传统的智慧，积极的学习者应该征求标签硬的例子。
2019-07-09 cs.LG
