Information Gain Propagation: a new way to Graph Active Learning with Soft Labels
Peking University(北京大学);Apple(苹果公司)
图神经网络(GNN)在各种任务中取得了巨大的成功,但它们的性能高度依赖于大量的标记节点,这通常需要相当大的人力。提出了基于GNN的主动学习(AL)方法,通过选择最有价值的节点进行标记来提高标记效率。现有的方法假设一个预言机可以正确地对所有选定的节点进行分类,因此只关注节点的选择。然而,这样一个精确的标签任务是昂贵的,特别是当分类是出了域的个人专家(oracle)。本文更进一步,提出了一个软标签的方法,以AL上的GNNs。我们的主要创新是:i)放松查询,其中领域专家(Oracle)仅判断预测标签的正确性(二元问题)而不是识别确切的类(多类问题),以及ii)对于具有放松查询和软标签的主动学习者最大化信息增益传播的新准则。对公共数据集的实证研究表明,我们的方法在准确性和标记成本方面都显着优于最先进的基于GNN的AL方法。
2022-03-02 cs.LG
Combining self-labeling and demand based active learning for non-stationary data streams
Bielefeld University(比勒费尔德大学)
从非平稳数据流中学习是一个研究方向,随着越来越多的流形式的数据变得可用,例如来自社交媒体,智能手机或工业过程监控的数据,该方向越来越受到关注。大多数方法都假设样本的真实情况变得可用(可能有一些延迟),并在测试然后训练方案中执行监督在线学习。虽然此假设在某些情况下可能有效,但它并不适用于所有设置。在这项工作中,我们专注于几乎没有标记的数据流,并探索自标记在逐渐漂移的数据流中的潜力。我们正式这个设置,并提出了一种新的在线$k$分类器,结合自标记和基于需求的主动学习。
2023-02-08 cs.LG
Active Learning with Label Comparisons
Google(谷歌);Weizmann Institute of Science(魏茨曼科学研究所);Technion(以色列理工学院);Hebrew University(希伯来大学);Tel Aviv University(特拉维夫大学)
监督学习通常依赖于真实标签的手动注释。当有许多潜在的类时,搜索最好的类对于注释人员来说是令人望而却步的。另一方面,比较两个候选标签通常要容易得多。我们专注于这种类型的成对监督,并询问它如何有效地用于学习,特别是在主动学习。在此背景下,我们得到了一些有见地的结果。原则上,可以使用$k-1$主动查询来找到最佳的$k$标签。我们发现,有一个自然的类,这种方法是次优的,并且有一个比较有效的主动学习计划。我们分析中的一个关键要素是真实分布的“标签邻域图”,如果两个类共享一个决策边界,则它们之间有一个边缘。我们还表明,在PAC设置,成对比较不能提供改进的样本复杂性在最坏的情况下。我们用实验来补充我们的理论结果,清楚地表明了邻域图对样本复杂性的影响。
2022-08-14 cs.LG
ActiveLab: Active Learning with Re-Labeling by Multiple Annotators
Cleanlab(Cleanlab公司)
本文提出ActiveLab方法,通过决定下一步标注内容并支持多标注者重新标注,在有限预算下提升分类器准确性。
2023-01-27 cs.LG stat.ML
Active Learning for Noisy Data Streams Using Weak and Strong Labelers
Delft University of Technology(代尔夫特理工大学)
在机器学习中,正确标记数据是一项昂贵且具有挑战性的任务,特别是对于在线数据流。深度学习模型尤其需要大量干净的标记数据,这在现实世界的问题中是很难获得的。选择有用的数据样本进行标记,同时最大限度地降低标记成本,对于保持训练过程的效率至关重要。当面对多个贴标机具有不同的专业知识和各自的标签成本,决定选择哪个贴标机是不平凡的。在本文中,我们考虑了一种新的弱和强标签问题的启发,人类的自然能力的标签,在存在的数据流与噪声标签和有限的预算约束。我们提出了一个在线的主动学习算法,包括四个步骤:过滤,增加多样性,信息样本选择,标签选择。我们的目标是过滤掉可疑的噪音样本,并以具有成本效益的方式使用强标记器和弱标记器将预算用于各种信息数据。我们推导出一个决策函数,通过结合个体样本的信息量和模型置信度来衡量信息增益。我们评估我们提出的算法上著名的图像分类数据集CIFAR10和CIFAR100高达60%的噪声。实验表明,通过智能地决定查询哪个标签,我们的算法保持相同的准确性相比,只有一个可用的标签,而花费较少的预算的情况下。
2020-10-27 cs.LG
Active Surrogate Estimators: An Active Learning Approach to Label-Efficient Model Evaluation
University of Oxford(牛津大学);DeepMind(深度思维)
我们提出了主动替代估计器(ASES),标签有效的模型评估的一种新方法。当标签昂贵时,评估模型性能是一个具有挑战性和重要的问题。ASE使用基于代理的估计方法来解决这个主动测试问题,该方法对具有未知标签的点的误差进行插值,而不是形成蒙特卡洛估计。ASES积极学习的基础代理,我们提出了一种新的收购策略,XWED,量身定制这种学习的最终估计任务。我们发现,ASE提供更大的标签效率比目前最先进的应用到具有挑战性的模型评估问题的深度神经网络。
2022-10-18 cs.LG stat.ML
Cost-minimising strategies for data labelling : optimal stopping and active learning
University of Leoben(莱奥本大学)
监督学习处理以观测空间$\CX$中的点为条件的输出或标签空间$\CY$上的分布的推断,给定$\CX \times \CY$中的对的训练数据集$D$。然而,在许多感兴趣的应用中,获取大量的观察是容易的,而生成标签的过程是耗时或昂贵的。处理这个问题的一种方法是{ \em主动}学习,其中选择要标记的点,目的是创建一个比在相同数量的随机采样点上训练的模型性能更好的模型。在本文中,我们建议直接处理标签成本:学习目标被定义为成本的最小化,该成本是预期模型性能和所使用标签的总成本的函数。这允许开发一般策略和特定算法,用于(a)最佳停止,其中预期成本决定标签获取是否应该继续(b)经验评估,其中成本用作推断、停止和采样方法的给定组合的性能度量。虽然本文的主要焦点是最佳停止,我们也旨在为进一步发展和讨论主动学习的相关领域的背景。
2007-11-15 cs.LG
Active Refinement for Multi-Label Learning: A Pseudo-Label Approach
National Taiwan University(台湾大学);The University of Queensland(昆士兰大学);RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能研究中心);The University of Tokyo(东京大学)
多标签学习(MLL)的目标是从一组概念中将给定实例与其相关标签相关联。以往的MLL研究主要集中在假设概念集合是固定的情况下,而现实世界中的许多应用需要在概念集合中引入新的概念来满足新的需求。一个常见的需求是细化原始的粗糙概念,并将它们分成更细粒度的概念,其中细化过程通常从更细粒度概念的有限标记数据开始。为了满足这一需求,我们将问题形式化为一个特殊的弱监督MLL问题,不仅可以有效地学习细粒度概念,还可以允许交互式查询策略性地收集更多信息注释,以进一步改进分类器。我们方法的关键思想是学习为未标记的条目分配伪标签,然后利用伪标签来训练底层分类器并提供更好的查询策略。实验结果表明,我们的伪标签方法能够准确地恢复丢失的地面真相,提高预测性能显着超过基线方法,并促进竞争性的主动学习策略。
2021-09-29 cs.LG
SMARTQUERY: An Active Learning Framework for Graph Neural Networks through Hybrid Uncertainty Reduction
Visa Research(维萨研究院)
图神经网络在表示学习方面取得了显著的成功。然而,性能的提高是有代价的;获取用于训练的全面标记数据可能非常昂贵。主动学习通过搜索未探索的数据空间并优先选择数据以最大化模型的性能增益来缓解这个问题。在本文中,我们提出了一种新的方法SMARTQUERY,一个框架来学习图神经网络与非常少的标记节点使用混合不确定性减少功能。这是通过两个关键步骤来实现的:(a)通过利用各种显式图信息来设计多阶段主动图学习框架,以及(b)引入标签传播以有效地利用已知标签来评估隐式嵌入信息。使用三个网络数据集上的一组全面的实验,我们证明了我们的方法在非常少的标记数据(每个类最多5个标记节点)上与最先进的方法相比的竞争性能。
2022-12-02 cs.LG
Importance Weighted Active Learning
IBM Thomas J. Watson Research Center(IBM托马斯·J·沃森研究中心);University of California, San Diego(加利福尼亚大学圣迭戈分校);Yahoo! Research(雅虎研究院)
我们提出了一个实用的和统计上一致的计划,积极学习一般损失函数下的二进制分类器。我们的算法使用重要性加权来校正采样偏差,并通过控制方差,我们能够为学习过程提供严格的标签复杂度界限。在被动标记数据上的实验表明,这种方法降低了在许多学习问题上实现良好预测性能所需的标签复杂度。
2009-05-20 cs.LG
Active Learning from Weak and Strong Labelers
University of California, San Diego(加州大学圣地亚哥分校)
主动学习者被赋予一个假设类,一个大的未标记的例子和交互式查询标签的能力,这些例子的一个子集的预言;学习者的目标是学习类中的一个假设,适合数据尽可能少的标签查询。这项工作解决了主动学习的标签从强和弱标签,除了标准的主动学习设置,我们有一个额外的弱标签,偶尔可能会提供不正确的标签。一个例子是学习对医学图像进行分类,其中昂贵的标签可以从医生(oracle或强标签)获得,或者便宜但偶尔不正确的标签可以从医疗居民(弱标签)获得。我们的目标是学习一个分类器,对由Oracle标记的数据具有低错误,同时使用弱标记器来减少对该标记器的标签查询的数量。我们为这种设置提供了一个主动学习算法,建立其统计一致性,并分析其标签复杂性,以表征何时可以提供标签节省单独使用强大的标签。
2015-10-16 cs.LG stat.ML
ActiveDP: Bridging Active Learning and Data Programming
University of Toronto(多伦多大学)
本文提出ActiveDP框架,结合主动学习与数据编程,以生成高准确率和高覆盖率的标签,实验证明其在不同标注预算下优于现有方法。
2024-02-08 cs.DB cs.LG
How to Allocate your Label Budget? Choosing between Active Learning and Learning to Reject in Anomaly Detection
KU Leuven(鲁汶大学)
异常检测试图找到偏离预期行为的示例。通常,异常检测是从无监督的角度来处理的,因为异常标签是罕见的,难以获取。然而,标签的缺乏使得异常检测器在某些区域具有较高的不确定性,这通常导致预测性能差或用户对预测的信任度低。人们可以通过使用主动学习(AL)收集特定的标签来减少这种不确定性,AL的目标是接近检测器的决策边界的示例。或者,可以通过允许检测器放弃做出高度不确定的预测来增加用户信任,这被称为学习预测(LR)。实现这一点的一种方法是根据检测器的性能较低的地方对检测器的不确定性进行阈值化,这需要对标签进行评估。虽然AL和LR都需要标签,但它们使用不同类型的标签:AL寻求明显有偏见的战略标签,而LR需要i.i.d.。标签来评估检测器的性能并设置拒绝阈值。由于通常有一个独特的标签预算,决定如何最佳地分配它是具有挑战性的。在本文中,我们提出了一种混合策略,给定标签预算,在多轮中决定是否使用预算来收集AL标签或LR标签。该策略基于一个奖励函数,该函数在将预算分配给任何一方时衡量预期收益。我们在18个基准数据集上评估了我们的策略,并将其与一些基线进行了比较。
2023-01-07 cs.LG
Labeled TrustSet Guided: Batch Active Learning with Reinforcement Learning
Prime Video, Amazon(亚马逊Prime视频);Nvidia(英伟达)
本文提出BRAL-T框架,结合TrustSet和强化学习,解决批量主动学习中样本选择的不确定性与多样性平衡问题,提升模型性能和数据效率。
2026-04-14 cs.LG
Topology-Aware Active Learning on Graphs
Department of Mathematics, University of California Los Angeles(加州大学洛杉矶分校数学系)
本文提出一种图拓扑方法用于主动学习,通过构造基于平衡Forman曲率的coreset算法,引导探索并实现从探索到利用的动态切换,提升半监督学习性能。
2026-04-15 cs.LG
Hitting the Target: Stopping Active Learning at the Cost-Based Optimum
University of Auckland(奥克兰大学);University of Waikato(怀卡托大学)
本文针对主动学习缺乏有效停止机制的问题,首次大规模比较了基于池的主动学习中的停止准则,利用成本度量量化准确率与标签权衡,并提供了开源评估框架,帮助从业者选择最优准则以大幅降低标注成本。
2022-09-02 cs.LG
Multi-Label Active Learning from Crowds
Nanjing University(南京大学)
多标签主动学习是一个热门话题,在减少标签成本,通过最佳选择最有价值的实例查询其标签从一个预言。在本文中,我们认为基于池的多标签主动学习下的众包设置,在主动查询过程中,而不是诉诸于高成本的预言机的地面真相,多个低成本的不完美的注释器与各种专业知识的标签。为了解决这个问题,我们提出了MAC(Multi-label主动学习from Crowds)方法,该方法结合标签相关性的局部影响,在多标签分类器和注释器上建立概率模型。基于该模型,我们可以估计实例的标签以及每个注释者的专业知识。然后,我们提出了实例选择和注释器选择标准,考虑实例的不确定性/多样性和注释器的可靠性,这样最可靠的注释器将被查询最有价值的实例。实验结果证明了该方法的有效性。
2015-08-04 cs.LG cs.SI
The Cost of Replicability in Active Learning
Johns Hopkins University(约翰霍普金斯大学);University of Pennsylvania(宾夕法尼亚大学);Penn Institute for Computational Science(宾夕法尼亚大学计算科学研究所)
本文研究了主动学习中可重复性带来的样本复杂性增加,提出两种可重复的主动学习算法,在保证一致性的同时实现标签节省。
2026-03-23 cs.LG
Active Learning under Label Shift
California Institute of Technology(加州理工学院)
我们解决了标签偏移下的主动学习问题:当源域和目标域的类比例不同时。我们引入了一个“中间分布”,将重要性加权和类平衡采样之间的权衡,并提出了在主动学习的组合使用。我们的方法被称为标签偏移下的中介主动学习(MALLS)。它平衡了类别平衡抽样的偏差和重要性加权的方差。我们证明样本的复杂性和泛化保证MALLS表明主动学习降低渐近样本的复杂性,即使在任意标签偏移。我们经验性地证明了MALLS可以扩展到高维数据集,并且可以在深度主动学习任务中将主动学习的样本复杂度降低60%。
2021-02-25 cs.LG stat.ML
SeqMix: Augmenting Active Sequence Labeling via Sequence Mixup
Georgia Tech(佐治亚理工学院)
主动学习是低资源序列标记任务的一种重要技术。然而,目前的主动序列标记方法在每次迭代中仅使用查询的样本,这是利用人类注释的低效方式。我们提出了一种简单但有效的数据增强方法来提高活性序列标记的标记效率。我们的方法SeqMix通过在每次迭代中生成额外的标记序列来简单地增加查询样本。关键的困难是生成合理的序列以及标记级别的标签。在SeqMix中,我们通过对查询样本的序列和标记级标签进行混合来解决这一挑战。此外,我们还设计了一个序列混淆时的判断器,用来判断产生的序列是否可信。我们在命名实体识别和事件检测任务上的实验表明,SeqMix可以通过$2.27\%$ -- $3.75\%$在$F_1$得分方面改进标准的活动序列标记方法。SeqMix的代码和数据可以在https://github.com/rz-zhang/SeqMix上找到
2020-10-05 cs.CL cs.LG
Active WeaSuL: Improving Weak Supervision with Active Learning
ING Wholesale Banking Advanced Analytics(ING批发银行高级分析部);University of Amsterdam(阿姆斯特丹大学);Feebris(Feebris公司)
标记数据的可用性是机器学习的主要限制之一。我们可以使用弱监督来缓解这种情况:一个使用专家定义的规则$\boldsymbolλ$来估计整个数据集的概率标签$p(y|\boldsymbolλ)$的框架。然而,这些规则依赖于专家对问题的了解,因此可能是不准确的,或者可能无法捕获问题空间的重要部分。为了缓解这一问题,我们提出了主动WeaSuL:一种将主动学习纳入弱监督的方法。在Active WeaSuL中,专家不仅定义规则,而且还迭代地为弱监督模型最有可能出错的一小部分点提供真实标签,然后用于更好地估计概率标签。通过这种方式,弱标签提供了一个温暖的开始,然后主动学习进行改进。我们做两个贡献:1)弱监督损失函数的修改,使得专家标记的数据通知并改进弱标记的组合;以及2)maxKL发散采样策略,其确定专家标记对于哪些数据点最有益。我们的实验表明,当标记数据的预算有限时(例如$\leq 60$数据点),Active WeaSuL优于弱监督,主动学习和竞争策略,只有少数标记的数据点。这使得Active WeaSuL非常适合难以获得标记数据的情况。
2021-04-30 cs.LG stat.ML
Unsupervised Learning of Distributional Properties can Supplement Human Labeling and Increase Active Learning Efficiency in Anomaly Detection
University of Toronto(多伦多大学);Sun Life Financial(永明金融)
针对异常检测中标注效率低、罕见异常难检测的问题,提出结合数据分布与模型不确定性的自适应主动学习采样策略,提升了分类器性能,在多个基准及真实数据集上优于现有方法。
2023-07-13 cs.LG
Semi-supervised Active Regression
University of Texas at Austin(德克萨斯大学奥斯汀分校);University of California, Berkeley(加州大学伯克利分校);Google Research(谷歌研究院);Rutgers University(罗格斯大学)
标记数据通常需要很高的成本,因为它可能需要招募人类标记人员或进行昂贵的实验。与此同时,在许多实际场景中,人们已经可以访问部分标记的、可能有偏见的数据集,这些数据集可以帮助完成手头的学习任务。基于这样的背景,我们通过线性回归的框架正式启动了对$semi-supervised$ $active$ $learning$的研究。在这种设置中,学习者可以访问数据集$X \in \mathbb{R}^{(n_1+n_2) \times d}$,该数据集由算法可以主动查询的$n_1$未标记示例和标记为先验的$n_2$示例组成。具体地,通过$Y \in \mathbb{R}^{n_1 + n_2}$表示真实标签,学习者的目标是找到$\widehatβ \in \mathbb{R}^d$,使得\begin{equation} \| X \widehatβ - Y \|_2^2 \le (1 + ε) \min_{β\in \mathbb{R}^d} \| X β- Y \|_2^2 \end{equation}同时尽可能少地进行附加标签查询。为了约束标签查询,我们引入了一个依赖于实例的参数称为减少的秩,表示为$R_X$,并提出了一个有效的算法与查询复杂度$O(R_X/ε)$。这个结果直接意味着两个重要的特殊情况下的改进的上界:(i)主动岭回归,和(ii)主动核岭回归,其中降秩分别等于问题的统计维数$…
2021-06-12 cs.LG
Average-Case Active Learning with Costs
University of Washington(华盛顿大学)
我们分析了一个贪婪的主动学习算法的期望成本。我们的分析扩展了以前的工作,以更一般的设置,不同的查询有不同的成本。此外,查询可能具有两个以上的可能响应,并且在假设上的分布可能是不均匀的。具体应用包括具有标签成本的主动学习、用于多类和部分标签查询的主动学习以及批处理模式主动学习。我们还讨论了一个近似版本的兴趣时,有很多查询。
2009-05-18 cs.LG
Active Transfer Prototypical Network: An Efficient Labeling Algorithm for Time-Series Data
Technical University of Munich(慕尼黑工业大学);Robert Bosch GmbH(罗伯特·博世有限公司);Bosch Rexroth AG(博世力士乐股份公司)
针对汽车时间序列数据标注成本高的问题,提出基于少样本学习的主动迁移原型网络框架,通过主动选择支持集提升学习效率,在UCI HAR/HAPT和制动数据集上以10%和5%标注量达到90%准确率。
2022-09-28 cs.LG
Search Improves Label for Active Learning
Yahoo Research(雅虎研究院);Columbia University(哥伦比亚大学);Microsoft Research(微软研究院);University of California, San Diego(加利福尼亚大学圣地亚哥分校)
我们研究了主动学习与访问两个不同的预言:标签(这是标准的)和搜索(这不是)。搜索预言机模拟了人类搜索数据库以播种或反例现有解决方案的情况。搜索比标签更强大,同时在许多情况下自然实现。我们表明,使用这两个预言机的算法可以提供指数级大的问题依赖的标签单独的改进。
2016-10-24 cs.LG stat.ML
Disentanglement based Active Learning
Flytxt Mobile Solutions(Flytxt移动解决方案公司);TCS Research(塔塔咨询服务研究中心);Indian Institute of Space Science and Technology(印度空间科学与技术研究所)
我们提出了基于解纠缠的主动学习(DAL),一种新的基于自我监督的主动学习技术,它利用了解纠缠的概念。我们的方法不是从人类预言机请求标签,而是自动标记大多数数据点,从而大大减少了基于生成对抗网络(GAN)的主动学习方法中的人类标记预算。该方法使用信息最大化生成对抗网(InfoGAN)来学习解纠缠的类类别表示。主动学习者预测和InfoGAN标签之间的不一致决定了数据点是否需要人工标记。我们还介绍了一个标签校正机制,旨在过滤掉标签噪音,由于自动标注。图像分类任务的三个基准数据集上的结果表明,与现有的基于GAN的主动学习方法相比,我们的方法具有更好的性能。
2021-09-25 cs.LG stat.ML
The Label Complexity of Active Learning from Observational Data
University of California San Diego(加州大学圣地亚哥分校)
从观察数据中进行反事实学习涉及基于选择策略条件下观察到的数据来学习整个种群的分类器。这项工作考虑了这个问题在一个积极的设置,学习者还可以访问未标记的例子,并可以选择得到这些标记的一个子集的预言。之前在这个问题上的工作使用基于分歧的主动学习,以及重要性加权损失估计器来考虑反事实,这导致了高标签复杂性。我们展示了如何将一个更有效的反事实风险最小化到主动学习算法中。这就要求我们既要修改反事实风险,使其适合主动学习,也要修改主动学习过程,使其适合风险。我们证明,这是一个算法,这是统计上一致的,以及更标签效率比以前的工作的结果。
2019-10-28 cs.LG stat.ML
Modulation and signal class labelling using active learning and classification using machine learning
NIT Surathkal(苏拉特卡尔国家理工学院)
机器学习(ML)中的监督学习需要标记数据集。进一步的实时数据分类需要一种易于获得的标记方法。无线调制和信号分类在军事、商业、电子侦察、认知无线电等领域有着广泛的应用。本文主要研究了基于主动学习框架的实时无线调制和信号类别标注问题。进一步的调制和信号分类是用机器学习算法,如KNN,SVM,朴素贝叶斯。主动学习有助于用最少的数据样本来标记属于不同类的数据点。对于信噪比为18 dB的信号,主动学习算法的准确率为86%。此外,基于KNN的调制和信号分类模型在信噪比范围内表现良好,对18 dB信号的准确率为99.8%。这项工作的新颖性存在于应用主动学习无线调制和信号类标签。调制和信号类别都是在给定的时间标记的帮助下,从数据样本的偶联形成。
2022-02-23 cs.LG eess.SP
Robust and Discriminative Labeling for Multi-label Active Learning Based on Maximum Correntropy Criterion
Wuhan University(武汉大学);University of Sydney(悉尼大学)
多标签学习在许多现实世界的应用中引起了极大的兴趣。由oracle为一个实例分配多个标签是一项代价很高的任务。同时,如果不诊断有区别的标签,也很难建立一个好的模型。我们能否降低标签成本并提高同时训练多标签学习的良好模型的能力?主动学习通过查询最有价值的样本来解决训练样本较少的问题,从而以较小的代价获得更好的性能。在多标签主动学习中,人们研究了用较少的训练样本查询相关标签,或者在不诊断判别信息的情况下查询所有标签。它们都不能有效地处理测量不确定度的离群值标签。最大相关熵准则(MCC)为许多机器学习和数据采掘算法中的离群点提供了鲁棒性分析,本文将不确定性和代表性融合在一起,推导出基于MCC的鲁棒多标记主动学习算法,并提出了一种高效的交替优化方法来求解该算法。我们的方法可以消除不具有区分性的离群值标签对测量不确定度的影响。为了进一步提高信息度量的能力,我们将不确定性和代表性与未知数据的预测标签相融合。它不仅可以增强不确定性,而且可以提高多标签数据的标签信息的相似性度量。在基准多标签数据集上的实验表明,该方法的性能优于现有的方法。
2019-04-14 cs.CV cs.LG
Hybrid Active-Online Learning Framework for Label-Efficient Concept Drift Adaptation in Optical Network Failure Detection
提出混合主动在线学习框架,通过基于间隔的选择性标记仅查询3.4%的流样本,实现接近上限的准确率和AUC,且延迟开销可忽略。
2026-06-29 cs.LG eess.SP
ALiPy: Active Learning in Python
Nanjing University of Aeronautics and Astronautics(南京航空航天大学);MIIT Key Laboratory of Pattern Analysis and Machine Intelligence(工业和信息化部模式分析与机器智能重点实验室)
有监督的机器学习方法通常需要大量的标记样本来进行模型训练。然而,在许多实际应用中,存在大量的未标记数据和有限的标记数据,并且标记的获取是昂贵的。主动学习(AL)通过迭代地选择最有价值的数据来从注释器查询它们的标签,从而降低了标签成本。本文介绍了一个用于主动学习的Python工具箱ALiPy。ALiPy提供了一个基于模块的主动学习框架的实现,它允许用户方便地评估,比较和分析主动学习方法的性能。在工具箱中,学习框架的每个组件都有多个选项可供选择,包括数据处理、主动选择、标签查询、结果可视化等,除了实现20多种最先进的主动学习算法外,ALiPy还支持用户在不同的主动学习设置下轻松配置和实现自己的方法,如AL用于多标签数据,带有噪声注释器的AL,带有不同成本的AL等等。工具箱在Github上有很好的文档和开源,可以通过PyPI轻松安装。
2019-01-12 cs.LG stat.ML
Combining MixMatch and Active Learning for Better Accuracy with Fewer Labels
Google Research(谷歌研究院)
我们提出使用基于主动学习的技术来进一步改进最先进的半监督学习MixMatch算法。我们对几种主动学习和基线方法进行了全面的实证评估,这些方法成功地证明了基准CIFAR-10,CIFAR-100和SVHN数据集的显着改进(绝对准确率高达1.5%)。我们还提供了一个实证分析的成本权衡之间的增量收集更多的标记与未标记的数据。这种分析可以用来测量标记/未标记数据在学习曲线不同点的相对值,我们发现,尽管标记数据的增量值可以高达未标记数据的20倍,但一旦观察到超过2,000个标记示例,它就会迅速减少到不到3倍。代码可以在https://github.com/google-research/mma上找到。
2019-12-03 cs.LG stat.ML
An Exploration of Active Learning for Affective Digital Phenotyping
Stanford University(斯坦福大学)
阻碍人类行为机器学习模型广泛发展的一些最严重的瓶颈包括缺乏标记的训练数据和难以获得高质量的标签。主动学习是一种使用算法来计算地选择数据点的有用子集以使用模型不确定性和数据相似性的度量来标记的范例。我们探索自然的计算机视觉情感数据,一个特别异构和复杂的数据空间,由于固有的主观标签的主动学习。使用从自闭症儿童的治疗性智能手机游戏中获得的游戏玩法收集的帧,我们使用游戏玩法提示作为元数据来帮助主动学习过程,运行主动学习的模拟。我们发现,使用在游戏过程中产生的信息的主动学习稍微优于随机选择相同数量的标记帧。接下来,我们研究一种利用主观数据进行主动学习的方法,例如在情感计算中,并且可以为每个图像获取多个众包标签。使用儿童情感面部表情(CAFE)数据集,我们模拟了众包许多标签的主动学习过程,并发现使用众包标签分布的熵对帧进行优先级排序导致与随机帧选择相比分类交叉熵损失较低。总的来说,这些结果表明试点评估的两种新的主动学习方法的主观情感数据收集在嘈杂的设置。
2022-04-06 cs.CV cs.LG
Active label cleaning for improved dataset quality under resource constraints
Microsoft Research Cambridge(微软剑桥研究院);Stanford University(斯坦福大学)
数据注释中的不完善,即标签噪声,对机器学习模型的训练有害,并且对模型性能的评估具有经常被忽视的混杂影响。然而,聘请专家通过完全重新注释大型数据集来消除标签噪声在资源受限的环境中是不可行的,例如医疗保健。这项工作倡导一种数据驱动的方法来优先考虑重新注释的样本-我们称之为“主动标签清洗”。我们建议根据估计的标签正确性和标签的难度,每个样本的实例进行排名,并引入一个模拟框架来评估重新标记的功效。我们在自然图像和一个新的医学成像基准上的实验表明,清理噪声标签可以减轻它们对模型训练、评估和选择的负面影响。至关重要的是,所提出的主动标签清理能够在现实条件下比典型的随机选择更有效地校正标签高达4倍,从而更好地利用专家的宝贵时间来提高数据集质量。
2022-02-10 cs.CV cs.LG
Exploiting Context for Robustness to Label Noise in Active Learning
University of California, Riverside(加州大学河滨分校);University of California, Santa Barbara(加州大学圣巴巴拉分校)
计算机视觉中的一些工作已经证明了主动学习在新的未标记数据可用时用于适应识别模型的有效性。这些著作大多认为从注释者那里获得的标签是正确的。然而,在实际场景中,由于标签的质量取决于注释器,因此一些标签可能是错误的,这导致识别性能下降。在本文中,我们解决的问题,i)系统如何可以识别哪些查询标签是错误的,以及ii)如何多类主动学习系统可以适应标签噪声的负面影响最小化。为了解决这些问题,我们提出了一种基于噪声标签过滤的学习方法,其中利用自然数据中非常常见的相互关系(上下文)来检测错误的标签。我们构建了一个图形表示的未标记的数据来编码这些关系,并获得新的信念图时,嘈杂的标签。将新的信念与先前的关系信息进行比较,我们生成一个相异性分数来检测不正确的标签,并使用正确的标签更新识别模型,从而获得更好的识别性能。这在三个不同的应用中得到了证明:场景分类、活动分类和文档分类。
2020-10-18 cs.CV cs.LG
Adversarial Representation Active Learning
Stanford University(斯坦福大学)
主动学习的目标是通过查询由预言机标记的信息量最大的样本来开发标记有效的算法。设计需要更少标签的高效训练方法是一个重要的研究方向,它允许更有效地使用计算和人力资源来标记和训练深度神经网络。在这项工作中,我们展示了如何利用深度生成模型的最新进展,在使用尽可能少的标签实现最高分类精度方面超越最先进的技术。与以前的方法不同,我们的方法不仅使用标记的图像来训练分类器,而且还使用未标记的图像和生成的图像来共同训练整个模型。我们的实验表明,该方法在广泛的数据集(MNIST,CIFAR-10,SVHN,CelebA和ImageNet)上的主动学习性能明显优于现有方法。
2019-12-20 cs.CV cs.LG
LSCALE: Latent Space Clustering-Based Active Learning for Node Classification
National University of Singapore(新加坡国立大学)
图上的节点分类是许多实际领域中的一个重要课题。它通常需要标签进行培训,这在实践中可能很难或昂贵。给定标记预算,主动学习旨在通过仔细选择标记哪些节点来提高性能。以前的图主动学习方法使用标记的节点学习表示,并选择一些未标记的节点进行标记获取。然而,它们没有充分利用未标记节点中存在的表示能力。我们认为,在未标记的节点的表示能力可以是有用的主动学习和进一步提高节点分类的主动学习的性能。在本文中,我们提出了一个潜在的空间聚类为基础的主动学习框架节点分类(LSCALE),我们充分利用标记和未标记的节点的表示能力。具体来说,为了选择用于标记的节点,我们的框架在基于无监督特征和监督特征的动态组合的潜在空间上使用K-Medoids聚类算法。此外,我们还设计了一个增量式分簇模块,以避免在不同步骤中选择的节点之间的冗余。在五个数据集上进行的大量实验表明,我们提出的框架LSCALE始终显著优于最先进的方法。
2022-07-20 cs.LG cs.SI
Deep Active Learning for Sequence Labeling Based on Diversity and Uncertainty in Gradient
LG Electronics(LG电子)
最近,一些研究调查了主动学习(AL)的自然语言处理任务,以减轻数据依赖。然而,对于查询选择,这些研究主要依赖于基于不确定性的采样,一般不利用未标记数据的结构信息。这导致批量主动学习设置中的采样偏差,该设置一次选择多个样本。在这项工作中,我们证明了标记的训练数据的量可以减少使用主动学习时,它结合了序列标记任务的不确定性和多样性。我们通过在多个任务,数据集,模型的梯度嵌入方法中选择加权多样性来检查我们基于序列的方法的效果,并始终优于经典的基于不确定性的采样和基于多样性的采样。
2020-11-27 cs.AI cs.CL cs.LG
Beyond Disagreement-based Agnostic Active Learning
University of California, San Diego(加州大学圣地亚哥分校)
我们研究不可知的主动学习,其目标是在一个预先指定的假设类中学习一个分类器,尽可能少的标签查询,同时不对生成标签的真实函数进行假设。解决此问题的主要算法是{ \em{disagreement-based active learning} }和{ \em{margin-based active learning}},前者具有较高的标签要求,后者仅适用于相当受限的设置。一个主要的挑战是找到一个算法,实现更好的标签复杂性,是一致的不可知设置,并适用于一般的分类问题。在本文中,我们提供了这样一个算法。我们的解决方案是基于两个新的贡献-从一致的主动学习减少到保证误差的置信度预测,和一个新的置信度预测。
2014-07-11 cs.LG stat.ML
Activized Learning: Transforming Passive to Active with Improved Label Complexity
Carnegie Mellon University(卡内基梅隆大学)
我们研究了主动学习相对于被动学习的理论优势。具体来说,我们证明了,在无噪声分类器学习VC类,任何被动学习算法可以转化为一个主动学习算法,渐近严格优越的标签复杂性的所有非平凡的目标函数和分布。我们进一步提供了一个一般的表征,这些改进的幅度方面的一种新的泛化的不一致系数。我们还将这些结果扩展到标签噪声存在下的主动学习,并发现即使在广泛的噪声分布下,我们通常也可以保证严格改进被动学习的已知结果。
2011-08-08 cs.LG math.ST stat.ML
Mitigating shortage of labeled data using clustering-based active learning with diversity exploration
North Carolina A & T State University(北卡罗来纳农工州立大学);Clark Altanta University(克拉克亚特兰大大学)
本文提出了一种新的基于聚类的主动学习框架,即基于聚类的采样的主动学习(ALCS),以解决标记数据不足的问题。ALCS采用基于密度的聚类方法来探索集群结构的数据,而不需要详尽的参数调整。提出了一种基于双聚类边界的样本查询方法,提高了算法在高重叠类分类时的学习性能。此外,我们开发了一个有效的多样性探索策略,以解决查询样本之间的冗余。我们的实验结果证明了ALCS方法的有效性。
2022-07-06 cs.AI cs.LG
Active Label Refinement for Robust Training of Imbalanced Medical Image Classification Tasks in the Presence of High Label Noise
Center for Imaging Science, Rochester Institute of Technology(罗切斯特理工学院成像科学中心);University of Aberdeen(阿伯丁大学);Biomedical Engineering, Rochester Institute of Technology(罗切斯特理工学院生物医学工程系)
本文提出结合LNL与主动学习的两阶段标签精炼框架,引入梯度方差采样少数类,在有限预算下提升高噪声、类别不平衡医学图像分类的鲁棒性。
2024-10-24 cs.CV cs.LG
Active Testing: Sample-Efficient Model Evaluation
OATML, Department of Computer Science(牛津大学计算机科学系OATML);Department of Statistics, Oxford(牛津大学统计系)
我们引入了一个新的框架,我们称之为主动测试的样本效率的模型评估。虽然主动学习等方法减少了模型训练所需的标签数量,但现有文献在很大程度上忽略了标记测试数据的成本,通常不切实际地假设模型评估的测试集很大。这就造成了与实际应用的脱节,在实际应用中,测试标签很重要,也同样昂贵,例如用于优化超参数。主动测试通过仔细选择要标记的测试点来解决这个问题,确保模型评估是样本有效的。为此,我们推导出理论上的接地和直观的收购策略,专门针对主动测试的目标,注意到这些是不同的主动学习。由于主动选择标签会引入偏差,我们进一步展示了如何在减少估计量方差的同时消除这种偏差。主动测试易于实现,可以应用于任何有监督的机器学习方法。我们在包括Fashion-MNIST和CIFAR-100在内的数据集上证明了它在包括WideResNets和高斯过程在内的模型上的有效性。
2021-06-14 cs.LG stat.ML
Hide and Seek in Noise Labels: Noise-Robust Collaborative Active Learning with LLM-Powered Assistance
Zhejiang University(浙江大学);Ant Group(蚂蚁集团)
提出基于主动学习的协作框架NoiseAL,结合大模型与小模型,通过动态阈值策略划分子集并利用LLM纠正噪声标签,有效提升噪声标签学习的鲁棒性。
2025-04-03 cs.AI cs.LG
Pool-Based Unsupervised Active Learning for Regression Using Iterative Representativeness-Diversity Maximization (iRDM)
Huazhong University of Science and Technology(华中科技大学)
主动学习(AL)选择最有益的未标记样本进行标记,因此可以从相同数量的标记样本训练更好的机器学习模型。大多数现有的回归主动学习(ALR)方法都是有监督的,这意味着采样过程必须使用一些标签信息或现有的回归模型。本文考虑完全无监督的ALR,即,如何在不知道任何真实标签信息的情况下选择要标记的样品。我们提出了一种新的无监督ALR方法,迭代代表性多样性最大化(iRDM),以最佳平衡的代表性和多样性的选择样本。在不同领域的12个数据集上的实验证明了该方法的有效性。我们的iRDM可以应用于线性回归和核回归,当标记样本数量较少时,它甚至显着优于监督ALR。
2020-03-31 cs.LG stat.ML
Combating Label Distribution Shift for Active Domain Adaptation
POSTECH(浦项科技大学)
我们考虑的问题,主动领域自适应(ADA)的未标记的目标数据,其中的子集是积极选择和标记给定的预算约束。受最近对领域自适应中源和靶之间标签分布失配的关键问题的分析的启发,我们设计了一种方法,该方法首次在ADA中解决了该问题。其核心是一种新颖的采样策略,该策略寻求最接近整个目标分布的目标数据,并且具有代表性,多样性和不确定性。采样的目标数据,然后不仅用于监督学习,但也用于匹配源和目标域的标签分布,导致显着的性能改善。在四个公共基准测试中,我们的方法在每一个适应场景中都大大优于现有方法。
2022-08-13 cs.AI cs.CV cs.LG
Label-Efficient Learning for Ground-Based Sky-Image Classification: A Benchmark of Transfer Learning, Active Learning, and Pseudo-Labeling on GCD
Université Paris Dauphine-PSL(巴黎第九大学);Anglia Ruskin University(安格利亚鲁斯金大学);Polish Academy of Sciences(波兰科学院)
本研究在GCD数据集上基准测试迁移学习、主动学习和伪标签三种策略,发现迁移学习在少量标签下即可接近全标签性能,而主动学习和伪标签增益有限。
2026-09-23 cs.CV cs.LG
Active Learning with Neural Networks: Insights from Nonparametric Statistics
University of Wisconsin–Madison(威斯康星大学麦迪逊分校)
本文提出基于非参数统计学的深度主动学习方法,首次提供了近最优的标签复杂性保证,无需低噪声假设,并扩展至Radon BV²空间。
2025-12-30 cs.LG stat.ML
Incentivized Collaboration in Active Learning
针对多个理性代理在共同假设上协作学习标签的问题,提出一种激励性协作框架,通过设计严格个体理性协议确保代理参与协作不增加预期标签复杂度,并给出与已知可处理近似算法标签复杂度相当的协作协议。
2026-06-01 cs.GT cs.LG
The Use of Unlabeled Data versus Labeled Data for Stopping Active Learning for Text Classification
The College of New Jersey(新泽西学院)
训练数据的标注是建立文本分类系统的主要瓶颈。主动学习是减少需要标记的训练数据量的常用技术。主动学习的一个关键方面是确定何时停止标记数据。用于通知何时停止主动学习的三个潜在来源是附加的标记数据集、未标记数据集和在主动学习过程期间标记的训练数据。迄今为止,还没有人比较和对比基于这三种信息源的停止方法的优点和缺点。我们发现,使用未标记数据的停止方法比使用标记数据的方法更有效。
2019-04-22 cs.CL cs.IR cs.LG
Just Label What You Need: Fine-Grained Active Selection for Perception and Prediction through Partially Labeled Scenes
University of Toronto(多伦多大学);Uber ATG(优步先进技术集团);Brown University(布朗大学)
自动驾驶汽车必须感知和预测附近行动者的未来位置,以避免碰撞和安全驾驶。一个学习过的深度学习模块通常负责这项任务,需要大规模、高质量的训练数据集。由于数据汇集通常比在该领域中标记便宜得多,因此标记哪个示例子集的决定可能对模型性能产生深远的影响。主动学习技术利用当前模型的状态来迭代地选择用于标记的示例,为这个问题提供了一个有前途的解决方案。然而,尽管这种方法很有吸引力,但对于感知和预测(P&P)问题的主动学习方法却很少有科学分析。在这项工作中,我们研究了P&P的主动学习技术,发现传统的主动学习公式不适合P&P设置。因此,我们引入泛化,确保我们的方法是成本意识,并允许细粒度的选择的例子,通过部分标记的场景。我们在真实世界的大规模自动驾驶数据集上的实验表明,细粒度选择可以提高感知,预测和下游规划任务的性能。
2021-04-08 cs.AI cs.CV cs.LG
Active Learning for Cost-Sensitive Classification
Microsoft Research(微软研究院);Uber Advanced Technology Center(优步先进技术中心)
我们设计了一个主动学习算法的成本敏感的多类分类:不同的错误有不同的成本的问题。我们的算法COAL通过回归每个标签的成本并预测最小的成本来进行预测。在一个新的例子中,它使用了一组对过去数据表现良好的回归器来估计每个标签的可能成本。它只查询可能是最好的标签,忽略了肯定会失败的标签。我们证明了COAL可以有效地实现任何回归家庭,承认平方损失优化,它也享有强有力的保证方面的预测性能和标签的努力。我们将COAL与被动学习和几个主动学习基线进行了经验比较,显示出在真实世界数据集上标记工作和测试成本方面的显着改进。
2021-10-11 cs.LG stat.ML
Active Multi-Label Crowd Consensus
College of Computer and Information Sciences, Southwest University(西南大学计算机与信息科学学院);George Mason University(乔治梅森大学);King Abdullah University of Science and Technology(阿卜杜拉国王科技大学)
众包是一种经济有效的策略,旨在通过在线平台收集数据注释。具有不同专业知识的人群工作者为他们的服务付费,任务请求者通常预算有限。如何为多标签数据收集可靠的注释以及如何在预算范围内计算共识是一个有趣且具有挑战性但很少研究的问题。在本文中,我们提出了一种新的方法来实现主动多标签群体共识(AMCC)。AMCC考虑了工人的共性和个性,并假设工人可以被组织成不同的群体。每个组都包括一组共享类似注释行为和标签相关性的工作者。为了实现有效的多标签共识,AMCC通过共性和个性的线性组合对工作者的注释进行建模,并通过为组分配较小的权重来减少不可靠工作者的影响。为了以更低的成本收集可靠的注释,AMCC引入了一种主动的众包学习策略,该策略选择样本-标签-工作者三元组。在三元组中,所选样本和标签对于共识模型来说是最具信息性的,并且所选工作人员可以以低成本可靠地注释样本。我们在多标签数据集上的实验结果证明了AMCC在计算人群共识和通过选择具有成本效益的三元组来减少预算方面优于最先进的解决方案。
2019-11-07 cs.HC cs.LG