Deep Active Learning with a Neural Architecture Search
Technion – Israel Institute of Technology(以色列理工学院)
我们考虑深度神经网络的主动学习。大多数主动学习作品在这方面的重点是研究有效的查询机制,并假设一个合适的网络架构是先验已知的问题。我们挑战这一假设,并提出了一种新的主动策略,使学习算法搜索有效的架构上飞,同时积极学习。我们应用我们的策略使用三个已知的查询技术(softmax响应,MC-辍学,和coresets),并表明所提出的方法压倒性地优于使用固定架构的主动学习。
2019-09-05 cs.LG stat.ML
Revisiting Active Sequential Prediction-Powered Mean Estimation
University of California San Diego(加州大学圣地亚哥分校)
本文重新审视主动顺序预测驱动的均值估计问题,提出基于不确定性建议和常数概率的混合方案,并通过非渐近分析建立了数据依赖的置信区间界。
2026-04-20 cs.LG stat.ML
Generative Adversarial Active Learning
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Boston College(波士顿学院)
提出了一种基于生成对抗网络(GAN)的查询综合主动学习方法。与常规的主动学习不同,该算法自适应地合成训练实例进行查询,以提高学习速度。我们根据不确定性原则生成查询,但我们的想法可以与其他主动学习原则。我们报告的结果,从各种数值实验,以证明所提出的方法的有效性。在某些情况下,该算法优于传统的基于池的方法。据我们所知,这是第一个使用GAN的主动学习工作。
2017-11-15 cs.LG stat.ML
RegionFed: Federated Learning for Personalized Query Understanding in Heterogeneous Retail Environments
Walmart Global Tech(沃尔玛全球技术部门)
针对异构零售环境中查询理解的数据异质性问题,提出在梯度层面操作的RegionFed联邦学习框架,在Transformer等模型上大幅提升性能,接近集中式上界且具备差分隐私保障。
2026-09-07 cs.AI cs.LG
Distribution Aware Active Learning
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Simon Fraser University(西蒙弗雷泽大学)
判别式学习机器通常需要大量的标记样本进行训练。主动学习(AL)设置假设学习者有自由要求oracle标记其所需的样本。传统的人工智能算法选择查询样本,目前的学习者是不确定的。这种策略没有很好地利用手头数据集的结构,并且容易被离群值误导。为了缓解这个问题,我们建议提取的结构信息到一个概率生成模型,作为一个\emph{teacher}在我们的模型。主动\emph{learner}在主动学习的每个周期有效地使用该信息。所提出的方法是通用的,不依赖于学习者和教师的类型。然后,我们提出了一个主动学习的查询标准,知道数据的分布,对离群值更强大。我们的方法可以很容易地与其他几个查询标准相结合,主动学习。我们提供的配方和经验表明,我们的想法通过玩具和真实的例子。
2018-05-23 cs.LG stat.ML
Meta-Query-Net: Resolving Purity-Informativeness Dilemma in Open-set Active Learning
KAIST(韩国科学技术院);NAVER AI Lab(NAVER人工智能实验室);NAVER CLOVA
待标注的未标记数据样本不可避免地含有开集噪声。一些主动学习研究试图通过过滤掉噪声样本来处理这种开集噪声。然而,由于关注查询集中示例的纯度会导致忽略示例的信息性,因此纯度和信息性的最佳平衡仍然是一个重要的问题。为了解决开集主动学习中的信息纯度困境,本文提出了一种新的元查询网(MQ-Net),它可以自适应地找到这两个因素之间的最佳平衡。具体来说,通过利用主动学习的多轮属性,我们使用查询集而无需额外的验证集来训练MQ-Net。此外,MQ-Net通过一种新的skyline正则化有效地捕获了未标记示例之间的明显优势关系。在多个开集主动学习场景上的大量实验表明,与最先进的方法相比,所提出的MQ-Net在准确性方面提高了20.14%。
2023-01-12 cs.LG
Active Learning for One-Class Classification Using Two One-Class Classifiers
Institute of Signal Processing(信号处理研究所)
本文介绍了一种新的,通用的主动学习方法的一类分类。在机器学习领域,主动学习方法在减少人工标注的工作量方面发挥着重要作用。虽然在过去的几年里已经提出了许多主动学习方法,他们大多数是限制在二进制或多类问题。单类分类器在训练过程中只使用来自一个类(所谓的目标类)的样本,因此需要特殊的主动学习策略。为一类分类提出的少数策略要么受到特定一类分类器的限制,要么其性能取决于对数据集的特定假设,如不平衡。我们提出的方法基于使用两个单类分类器,一个用于所需的目标类,一个用于所谓的离群值类。它允许发明新的查询策略,使用二进制查询策略和定义简单的停止标准。在此基础上提出了两种查询策略。所提供的实验将所提出的方法与各种数据集上的已知策略进行比较,并在几乎所有情况下显示出改进的结果。
2019-01-10 cs.LG stat.ML
Active Covering
Google Research(谷歌研究院)
我们分析了主动覆盖的问题,其中学习者被赋予一个未标记的数据集,并可以顺序标记查询示例。目标是在最少的标签查询总数中对所有的正例进行标签查询。我们表明,在标准的非参数假设下,一个经典的支持估计可以被重新利用作为一个离线算法,实现额外的查询成本相比,最佳的学习者,$\widetildeΘ(n^{D/(D+1)})$,其中$n$是数据点的数量和$D$是维度。然后,我们提供了一个简单的主动学习方法,达到了改进的额外查询成本的$\widetilde{O}(n^{(D-1)/D})$。此外,所提出的算法只需要访问正标记的示例,这在某些设置中提供了额外的计算和隐私优势。最后,我们表明,主动学习方法始终优于离线方法,以及各种基准上的广泛的基于图像的数据集。
2021-06-04 cs.AI cs.LG stat.ML
Revisiting Uncertainty-based Query Strategies for Active Learning with Transformers
Leipzig University(莱比锡大学)
主动学习是通过有针对性的标记迭代构建分类模型,从而显著节省标记成本。由于大多数关于主动学习的研究都是在基于transformer的语言模型(Transformers)流行之前进行的,尽管它具有实际的重要性,但迄今为止,很少有论文研究如何将Transformers与主动学习相结合。这可以归因于这样一个事实,即对Transformers使用最先进的查询策略会导致令人望而却步的运行时开销,这实际上使所需的成本节省无效,甚至超过了所需的成本节省。出于这个原因,我们重新审视基于不确定性的查询策略,这在很大程度上优于以前,但特别适合在微调Transformers的上下文中。在广泛的评估中,我们将Transformers连接到以前的研究实验中,评估它们在五个广泛使用的文本分类基准上的性能。对于使用Transformers的主动学习,其他几种基于不确定性的方法优于众所周知的预测熵查询策略,从而挑战其作为文本分类的主动学习中最流行的不确定性基线的地位。
2022-03-20 cs.CL cs.LG
Correlation Clustering with Active Learning of Pairwise Similarities
Chalmers University of Technology(查尔姆斯理工大学)
针对成对相似度未预先给出的相关聚类问题,提出通用的主动学习框架,具备反馈灵活、适应任意算法与查询策略及抗噪等优势,并设计了多种新颖查询策略,实验验证了其有效性。
2024-02-12 cs.LG stat.ML
Bayesian active learning for production, a systematic study and a reusable library
Element AI(Element AI公司)
主动学习能够通过使用机器学习模型向用户查询特定输入来减少标记工作量。虽然有许多关于新的主动学习技术的论文,但这些技术很少满足现实世界项目的约束。在本文中,我们分析了当前的主动学习技术的主要缺点,我们提出了方法来减轻他们。我们系统地研究了现实世界数据集最常见的问题对深度主动学习过程的影响:模型收敛,注释错误和数据集不平衡。我们得到两种技术,可以加快主动学习循环,如部分不确定性采样和更大的查询大小。最后,我们介绍了我们的开源贝叶斯主动学习库BaaL。
2020-06-17 cs.LG stat.ML
Memorize Early, Then Query: Inlier-Memorization-Guided Active Outlier Detection
IMBoost通过强化内群记忆效应,结合主动学习提升异常检测性能,实验表明其在准确性和效率上均优于现有方法。
2026-01-19 cs.LG stat.ML
Active Learning from Imperfect Labelers
University of California, San Diego(加州大学圣地亚哥分校)
我们研究了主动学习,其中标注者不仅可以返回错误的标签,而且可以放弃标注。我们考虑了贴标机的不同噪声和消声条件。我们提出了一个算法,利用的标注响应,并分析其统计一致性和查询复杂度相当自然的假设下的噪声和标注率。该算法是自适应的,在某种意义上,它可以自动请求更少的查询与更多的信息或更少的噪音标注。我们将我们的算法与下界相结合,以表明在某些技术条件下,它实现了接近最优的查询复杂度。
2016-10-30 cs.LG stat.ML
Addressing practical challenges in Active Learning via a hybrid query strategy
Kansas State University(堪萨斯州立大学);Indian Institute of Technology Gandhinagar(甘地纳格尔印度理工学院);Viking Analytics(维京分析公司);Luleå University of Technology(吕勒奥理工大学);Indian Institute of Technology Madras(马德拉斯印度理工学院)
主动学习(AL)是一种强大的工具,可以用显著更少的标记训练实例来解决现代机器学习问题。然而,传统的AL方法在实际场景中的实施是伴随着多重挑战,由于固有的假设。有几个障碍,如AL算法的标签在开始时不可用;不可靠的外部来源的标签在查询过程中;或不兼容的机制来评估主动学习者的性能。受这些实际挑战的启发,我们提出了一个混合查询策略为基础的AL框架,同时解决三个实际挑战:冷启动,预言的不确定性和主动学习者的性能评估在地面真理的情况下。虽然预聚类的方法来解决冷启动问题,不确定性周围的专业知识的贴标机和信心在给定的标签被纳入处理甲骨文的不确定性。在查询过程中获得的知识是评估主动学习器性能的基本前提。在三个不同的环境和工业设置的鲁棒性评估建议AL框架。结果表明,所提出的框架,以解决实际的挑战,在AL实施在现实世界中的场景的能力。
2021-10-07 cs.LG
Risk-Aware Active Inverse Reinforcement Learning
University of Texas at Austin(德克萨斯大学奥斯汀分校)
通过演示的主动学习允许机器人向人类询问特定类型的输入,以实现有效的学习。现有的工作已经探索了各种主动查询策略,但是,据我们所知,这些策略都没有直接最大限度地降低机器人学习策略的性能风险。利用逆强化学习性能界限的最新进展,我们提出了一种风险意识主动逆强化学习算法,该算法将主动查询集中在状态空间中具有大泛化误差潜力的区域。我们发现,风险意识主动学习优于标准的主动IRL方法在网格世界,模拟驾驶,表设置任务,同时还提供了一个基于性能的停止标准,让机器人知道它已经收到足够的演示,安全地执行任务。
2019-06-03 cs.LG stat.ML
Robust Contrastive Active Learning with Feature-guided Query Strategies
Intel Labs(英特尔实验室);Intel Corporation(英特尔公司)
我们介绍了监督对比主动学习(SCAL),并提出了有效的查询策略,在主动学习的基础上的特征相似性(featuresim)和主成分分析的特征重建误差(free),以选择信息丰富的数据样本与不同的特征表示。我们证明了我们提出的方法实现了最先进的精度,模型校准和减少采样偏差的主动学习设置平衡和不平衡的数据集上的图像分类任务。我们还评估了模型对主动学习环境中不同查询策略引起的分布偏移的鲁棒性。使用广泛的实验,我们表明,我们提出的方法优于高性能的计算密集型方法的一个大的利润率,导致9.9%的平均腐败错误,7.2%的预期校准误差下的数据集移位和8.9%的AUROC高出分布外检测。
2022-08-14 cs.AI cs.LG
Discriminative Active Learning
the Hebrew University(希伯来大学)
我们提出了一个新的批处理模式主动学习算法设计的神经网络和大批量查询。该方法,判别式主动学习(DAL),构成主动学习作为一个二元分类任务,试图选择的例子,以这样一种方式标记,使标记的集合和未标记的池无法区分。在图像分类任务上进行实验,我们凭经验证明我们的方法在中型和大型查询批量中与最先进的方法不相上下,同时易于实现,并且还扩展到除了分类任务之外的其他领域。我们的实验还表明,没有一个国家的最先进的方法,今天是明显优于不确定性抽样时,批量相对较大,否定了一些报道的结果,在最近的文献。
2019-07-15 cs.LG stat.ML
In Automation We Trust: Investigating the Role of Uncertainty in Active Learning Systems
University of Colorado Boulder(科罗拉多大学博尔德分校)
我们研究如何不同的主动学习(AL)查询政策,再加上分类不确定性可视化影响分析师的信任自动分类系统。AL的当前标准策略是查询oracle(例如,分析员)来细化分类器具有最高不确定性的数据点的标签。这是自动化系统的最佳策略,因为它产生最大的信息增益。然而,以模型为中心的策略忽略了这种不确定性对系统中人类组件的影响,以及人类在训练后与系统交互的方式。在本文中,我们提出了一个实证研究评估如何AL查询政策和可视化贷款透明度的分类影响信任的图像数据自动分类。我们发现,查询策略显着影响分析师的信任在图像分类系统,我们使用这些结果,提出了一套Oracle查询策略和可视化AL训练阶段使用,可以影响分析师的信任分类。
2020-04-02 cs.HC cs.LG stat.ML
Active Learning for Graph Embedding
Advanced Digital Sciences Center(先进数字科学中心);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
图嵌入通过将图转换为保留结构信息的低维空间,为图分析提供了一种有效的解决方案。与图形结构数据相比,i.i.d.节点嵌入可以在时间和空间两个方面被有效地处理。现有的半监督图嵌入算法都假设标记节点是给定的,这在现实世界中并不总是正确的。虽然手动标记所有的训练数据是不适用的,如何选择的训练数据的子集进行标记,以最大限度地提高图形分析任务的性能是非常重要的。这激发了我们提出的主动图嵌入(AGE)框架,在该框架中,我们为任何半监督图嵌入算法设计了一个通用的主动学习查询策略。AGE基于图形信息选择信息量最大的节点作为训练标记节点(即,节点中心性)以及学习的节点嵌入(即,节点分类不确定性和节点嵌入代表性)。不同的查询标准与时间敏感的参数相结合,随着学习的进行,将焦点从基于图的查询标准转移到基于嵌入的标准。在三个公共数据集上进行了实验,结果验证了我们的查询策略的每个组件的有效性和使用时间敏感参数将它们组合起来的能力。我们的代码可在https://github.com/vwz/AGE上获得。
2017-05-15 cs.LG stat.ML
Querying Easily Flip-flopped Samples for Deep Active Learning
KAIST(韩国科学技术院);Korea Institute of Oriental Medicine(韩国东洋医学研究院);Jeonbuk National University(全北国立大学);Kim Jaechul Graduate School of AI, KAIST(韩国科学技术院金在哲人工智能研究生院)
针对多分类任务中样本到决策边界距离难以计算的问题,提出最小不一致度量LDM及其渐近一致估计器,通过查询LDM最小的未标记样本实现主动学习,在多数据集和深度架构上取得SOTA性能。
2024-05-16 cs.AI cs.LG stat.ML
SEAL: Semi-supervised Adversarial Active Learning on Attributed Graphs
University of Technology Sydney(悉尼科技大学)
属性图上的主动学习随着图结构数据的普及而受到越来越多的关注。虽然AL已被广泛研究,以减轻标签稀疏问题与传统的非相关数据,如何使其有效的属性图仍然是一个开放的研究问题。现有的图上AL算法试图重用经典的AL查询策略设计的非相关数据。然而,它们受到两个主要限制。首先,在不同的评分空间中计算的不同AL查询策略通常被天真地组合以确定要标记哪些节点。其次,人工智能查询引擎和分类器的学习被视为两个分离的过程,导致性能不令人满意。在本文中,我们提出了一个基于属性图的SEMI监督对抗主动学习(SEAL)框架,该框架充分利用了深度神经网络的表示能力,并以对抗的方式设计了一种新的AL查询策略。我们的框架学习了两个对抗性组件:一个图嵌入网络,它将未标记和标记的节点编码到一个潜在空间中,期望欺骗网络将所有节点视为已经标记的节点,以及一个半监督网络,它将潜在空间中的未标记节点与现有标记节点区分开来。发散度分数,产生的一个统一的潜在空间中,作为信息量的措施,积极选择最翔实的节点标记的预言。这两个对抗成分形成一个闭环,以相互和同时相互加强,以提高主动学习性能。在四个真实网络上进行的大量实验验证了SEAL框架的有效性,其性能优于最先进的基线。
2020-08-06 cs.LG stat.ML
Active Query Synthesis for Preference Learning
Georgia Institute of Technology(佐治亚理工学院);Gauss Labs(Gauss实验室)
针对偏好学习中的查询反馈可靠性问题和池评估计算瓶颈,提出基于互信息最大化的连续空间主动查询合成框架Info-Synth,并扩展出两种有限池查询策略,在合成数据、文本摘要和机器人控制任务上验证了有效性。
2026-05-25 cs.LG
Query-Efficient Black-Box Attack by Active Learning
Nanjing University(南京大学);JD AI Research(京东人工智能研究院)
深度神经网络(DNN)作为一种流行的机器学习模型,被发现容易受到对抗攻击的攻击。这种攻击通过向原始输入添加小的扰动来构建对抗性示例,虽然在人眼看来没有修改,但会被训练有素的分类器错误分类。在本文中,我们专注于黑盒攻击设置,攻击者几乎没有访问底层模型。为了进行黑盒攻击,一种流行的方法旨在基于从目标DNN查询的信息来训练替代模型。然后,可以使用现有的白盒攻击方法来攻击替代模型,并且生成的对抗性示例将用于攻击目标DNN。尽管其结果令人鼓舞,但这种方法的查询效率很差,即,攻击者通常需要查询大量的时间来收集足够的信息来训练准确的替代模型。为此,我们首先利用最先进的白盒攻击方法来生成查询样本,然后引入一个主动学习策略,以显着减少所需的查询数量。此外,我们还提出了一个多样性准则,以避免抽样偏差。在MNIST和CIFAR-10上的实验结果表明,该方法在保证攻击成功率的前提下,可以减少$90\%$以上的查询次数,并得到与目标oracle相似度大于$85\%$的准确替代模型.
2018-09-13 cs.CR cs.LG stat.ML
A New Framework for Query Efficient Active Imitation Learning
Georgia Institute of Technology(佐治亚理工学院)
我们寻求在强化学习(RL)环境中将代理策略与人类专家行为相结合,而无需任何关于动态,奖励函数和不安全状态的先验知识。有一个人类专家知道的奖励和不安全的状态,基于他的偏好和目标,但查询人类专家是昂贵的。为了解决这一挑战,我们提出了一个新的框架模仿学习(IL)算法,积极和互动地学习用户的奖励函数与有效的查询模型。我们建立了一个对抗性的状态生成模型和一个后继特征(SR)模型,该模型通过学习策略收集的过渡经验进行训练。我们的方法使用这些模型来选择状态-动作对,要求用户评论最优性或安全性,并训练对抗性神经网络来预测奖励。与以往几乎都是基于不确定性采样的文献不同,本文的核心思想是通过区分查询(专家)和未查询(生成)数据,最大化价值函数学习效率,从策略上和策略外的经验中主动有效地选择状态-动作对。我们称这种方法为具有后继表示的对抗性奖励查询。我们评估所提出的方法与模拟人基于状态的2D导航任务,机器人控制任务和基于图像的视频游戏,其中具有高维观测和复杂的状态动态。实验结果表明,该方法在学习奖励模型方面明显优于基于不确定性的方法,获得了更好的查询效率,其中对抗性搜索可以使Agent更有效地学习人类行为,SR可以选择对价值函数影响更大的状态。此外,所提出的方法还可以学习,以避免不安全的状态时,训练的奖励模型。
2019-12-30 cs.AI cs.LG stat.ML
Query Complexity of Active Learning for Function Family With Nearly Orthogonal Basis
Adobe Research(奥多比研究院);Weizmann Institute of Science(魏茨曼科学研究所);Boston University(波士顿大学);Duke University(杜克大学)
本文研究主动学习的查询复杂度,证明目标函数无需严格正交基,仅需近似正交基即可,并给出理论证明及高效主动学习框架应用。
2023-06-06 cs.LG
Support Vector Machine Active Learning Algorithms with Query-by-Committee versus Closest-to-Hyperplane Selection
The College of New Jersey(新泽西学院)
本文研究和评估支持向量机主动学习算法用于不平衡数据集,这通常出现在许多应用中,如信息抽取应用。基于最接近超平面选择和按委员会查询选择的算法与用于解决不平衡的方法相结合,例如基于来自初始随机样本的流行率统计的阳性扩增。三种算法(ClosestPA,QBagPA和QBoostPA)的文本分类和关系抽取的数据集上仔细评估。的ClosestPA算法被证明是一贯优于其他两个在各种方式和见解提供为什么会这样。
2018-05-16 cs.CL cs.IR cs.LG
ALPBench: A Benchmark for Active Learning Pipelines on Tabular Data
LMU Munich(慕尼黑大学);MCML(慕尼黑大学机器学习与计算学习中心)
针对主动学习缺乏标准化基准的问题,提出ALPBench,支持主动学习流水线的定义、执行与监控,包含86个数据集和5种设置生成430个问题,并验证了9种查询策略与8种算法的兼容性。
2024-06-25 cs.AI cs.LG
Active Fairness Auditing
Carnegie Mellon University(卡内基梅隆大学);University of Arizona(亚利桑那大学)
各行各业的公司对机器学习(ML)的快速普及带来了重大的监管挑战。其中一个挑战是可扩展性:监管机构如何有效地审计这些ML模型,确保它们是公平的?在本文中,我们开始研究基于查询的审计算法,该算法可以以查询高效的方式估计ML模型的人口统计学奇偶性。我们提出了一个最佳的确定性算法,以及一个实用的随机,预言机高效的算法具有可比的保证。此外,我们取得进展,了解随机主动公平性估计算法的最佳查询复杂度。我们对主动公平性评估的首次探索旨在将人工智能治理置于更坚实的理论基础之上。
2022-06-16 cs.CY cs.DS cs.LG
Noise-tolerant, Reliable Active Classification with Comparison Queries
UCSD(加州大学圣地亚哥分校)
近年来,随着大量的、广泛可用的未标记数据的爆炸式增长,寻找标签和时间有效的、鲁棒的学习算法在理论和实践中变得越来越重要。我们研究了主动学习的范式,在这种范式中,可以访问大量数据的算法可以自适应地选择标记什么样的样本,希望以指数方式提高效率。通过引入比较,一个额外的类型的查询比较两个点,我们提供了第一时间和查询有效的算法学习非齐次线性分离器有界(Massart)噪声鲁棒。我们还提供了一个流行的Tsybakov低噪声条件的推广算法,并显示如何比较提供了一个强大的可靠性保证,往往是不切实际的或不可能的,只有标签-返回一个分类器,使没有错误的高概率。
2020-01-15 cs.LG stat.ML
On the Query Strategies for Efficient Online Active Distillation
University of Verona(维罗纳大学)
本文评估多种查询策略,结合主动学习与在线蒸馏,在人体姿态估计数据集上验证了边缘轻量模型实时适应新环境的可行性。
2023-09-04 cs.CV cs.LG
ALiPy: Active Learning in Python
Nanjing University of Aeronautics and Astronautics(南京航空航天大学);MIIT Key Laboratory of Pattern Analysis and Machine Intelligence(工业和信息化部模式分析与机器智能重点实验室)
有监督的机器学习方法通常需要大量的标记样本来进行模型训练。然而,在许多实际应用中,存在大量的未标记数据和有限的标记数据,并且标记的获取是昂贵的。主动学习(AL)通过迭代地选择最有价值的数据来从注释器查询它们的标签,从而降低了标签成本。本文介绍了一个用于主动学习的Python工具箱ALiPy。ALiPy提供了一个基于模块的主动学习框架的实现,它允许用户方便地评估,比较和分析主动学习方法的性能。在工具箱中,学习框架的每个组件都有多个选项可供选择,包括数据处理、主动选择、标签查询、结果可视化等,除了实现20多种最先进的主动学习算法外,ALiPy还支持用户在不同的主动学习设置下轻松配置和实现自己的方法,如AL用于多标签数据,带有噪声注释器的AL,带有不同成本的AL等等。工具箱在Github上有很好的文档和开源,可以通过PyPI轻松安装。
2019-01-12 cs.LG stat.ML
ALEVS: Active Learning by Statistical Leverage Sampling
Bilkent University(比尔肯大学)
与通过选择有效查询的被动学习相比,主动学习旨在通过使用更少的标签请求来获得高精度的分类器。在过去的二十年中,已经开发了许多主动学习方法,这些方法基于未标记数据点的信息性或代表性对查询进行采样。在这项工作中,我们探索了一种基于统计杠杆分数的新型查询标准。矩阵中的行的统计杠杆分数是包含其(顶部)左奇异向量的矩阵的平方行范数,并且是行对矩阵的影响的度量。杠杆分数已被用于检测回归诊断中的高影响力点,最近已被证明是有用的数据分析和随机低秩矩阵近似算法。我们探讨如何采样数据实例与高统计杠杆分数执行主动学习。我们在几个二元分类数据集上的实证比较表明,查询高杠杆点是一种有效的策略。
2015-07-15 cs.LG stat.ML
Enhancing Cost Efficiency in Active Learning with Candidate Set Query
POSTECH(浦项科技大学)
本文提出基于候选集查询的成本高效主动学习框架,通过共形预测动态生成可靠候选集并设计低本高效采集函数,在ImageNet64x64上降低48%标注成本。
2025-08-19 cs.CV cs.LG
Auditing: Active Learning with Outcome-Dependent Query Costs
Microsoft Research New England(微软新英格兰研究院);Toyota Technological Institute at Chicago(芝加哥丰田理工学院)
我们提出了一个学习设置,其中未标记的数据是免费的,标签的成本取决于它的价值,这是事先不知道的。我们在一个极端的情况下研究二进制分类,该算法只支付负标签。我们的动机是应用程序,如欺诈检测,在其中调查一个诚实的交易,应尽量避免。我们称之为设置审计,并考虑算法的审计复杂度:算法需要的否定标签的数量,以便学习相对误差较低的假设。我们设计了简单的假设类(阈值和矩形)的审计算法,并表明,这些算法,审计的复杂性可以显着低于活动标签的复杂性。我们还讨论了一个一般的竞争性审计方法和可能的修改框架。
2015-07-12 cs.LG
Semi-Supervised Active Clustering with Weak Oracles
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
半监督主动聚类(SSAC)利用领域专家的知识,通过交互式地进行成对的“同类”查询来聚类数据点。然而,要求人类预言机回答每个成对查询是不切实际的。在本文中,我们研究的影响,允许“不确定”的答案从一个弱的预言,并提出算法,以有效地处理不确定性。不同类型的模型假设进行了分析,以涵盖现实的情况下,甲骨文抽象。在第一个模型中,随机弱预言机,预言机以一定的概率随机弃权。我们还提出了两个距离弱预言机模型,模拟了两点之间的距离在成对查询混淆的情况。对于每个弱预言模型,我们表明,一个小的查询复杂度是足够的有效的$k$手段聚类的概率高。用于保证的充分条件包括数据的$γ$ -余量属性,以及存在接近每个聚类中心的点。此外,我们提供了一个样本的复杂性,降低了集群的利润率的影响,只有对数依赖于数据维度。我们的研究结果允许显着减少相同的集群查询的数量,如果集群的边缘是紧的,即$γ\approx 1$。合成数据的实验结果表明,我们的方法在克服不确定性的有效性能。
2017-09-11 cs.LG stat.ML
A novel active learning framework for classification: using weighted rank aggregation to achieve multiple query criteria
Shanghai Jiao Tong University(上海交通大学)
多查询准则主动学习(MQCAL)方法比传统的主动学习方法具有更高的潜在性能,其中只有一个标准被部署用于样本选择。与MQCAL方法相关的一个中心问题涉及充分利用所有标准的集成标准策略(ICS)的开发。传统的ICS在相关研究中均能达到预期的效果,但仍存在一些局限性。例如,一些策略在设计过程中没有足够的可扩展性,并且所涉及的标准的数量和类型是规定的。因此,除非对算法进行修改,否则用户很难将其他标准整合到原始过程中。其他策略过于依赖经验参数,这些参数只能通过经验或交叉验证获得,因此缺乏通用性;此外,这些策略与主动学习的意图相反,因为在主动学习过程可以开始之前,样本需要在验证集中被标记。为了解决这些局限性,我们提出了一种新的MQCAL方法的分类任务,采用第三种策略,通过加权排名聚合。该方法是一种启发式的方法来选择高价值的样本,具有很强的可扩展性和通用性,并通过三个步骤来实现:(1)样本选择的样本排序和评分的转换,(2)计算的自适应权重的每个标准,(3)加权聚合的每个样本的排名列表。最终,位于聚合排名列表顶部的样本是最有综合价值的,必须被标记。几个实验产生257胜,194平和49输对其他国家的最先进的MQCAL进行验证,所提出的方法可以实现优越的结果。
2018-09-27 cs.AI cs.LG stat.ML
The Application of Active Query K-Means in Text Classification
New York University(纽约大学)
主动学习是一种处理大量未标记数据的最先进的机器学习方法。在自然语言处理领域,通常对所有数据进行注释是昂贵且耗时的。这种低效率启发了我们将主动学习应用于文本分类。本研究首先将传统的无监督k-means聚类方法改进为半监督k-means聚类。然后,一个新的尝试,进一步扩展该算法到主动学习的场景与惩罚最小最大选择,使有限的查询,产生更稳定的初始质心。该方法利用了用户的交互式查询结果和底层的距离表示。在中文新闻数据集上进行测试后,它显示出准确率的一致提高,同时降低了训练成本。
2021-07-16 cs.CL cs.LG math.ST
TypiCore: A Hybrid Active Query Strategy for Class-Incremental Learning on Time Series
Budapest University of Technology and Economics(布达佩斯技术与经济大学);University of Padua(帕多瓦大学)
研究多元时间序列的主动类增量学习,提出TypiCore混合查询策略,结合多种方法评估多种查询策略,揭示基于不确定性和分布感知方法局限性,该策略在多数据集上取得显著改进,减少标注需求。
2026-09-15 cs.AI cs.LG
ActiveHNE: Active Heterogeneous Network Embedding
Southwest University(西南大学);Alibaba Group(阿里巴巴集团);George Mason University(乔治梅森大学);King Abdullah University of Science and Technology(阿卜杜拉国王科技大学)
异构网络嵌入(HNE)是一项具有挑战性的任务,这是由于不同的节点类型和/或节点之间的不同关系。现有的HNE方法通常是无监督的。为了最大限度地利用HNE中稀有和有价值的监督信息,我们开发了一种新的主动异构网络嵌入(ActiveHNE)框架,它包括两个组件:判别异构网络嵌入(DHNE)和异构网络中的主动查询(AQHN)。在DHNE中,我们提出了一种新的基于图卷积神经网络的半监督异构网络嵌入方法。在AQHN中,我们首先介绍了三个主动选择策略的基础上的不确定性和代表性,然后推导出一个批量选择方法,组装这些策略使用多臂强盗机制。ActiveHNE旨在通过将AQHN获得的最有价值的监督反馈到DHNE中来提高HNE的性能。在公共数据集上的实验表明了ActiveHNE的有效性和在降低查询开销方面的优势。
2019-05-15 cs.LG cs.SI stat.ML
Audit Me If You Can: Query-Efficient Active Fairness Auditing of Black-Box LLMs
Weizenbaum Institut Berlin(魏泽恩堡研究所柏林);Technische Universität Berlin(柏林技术大学);FIZ Karlsruhe(卡尔斯鲁厄FIZ);KU Leuven(鲁汶大学);Aleph Alpha(Aleph Alpha公司)
BAFA通过主动查询减少资源消耗,实现高效黑盒LLM公平性审计
2026-09-01 cs.CL cs.CY cs.LG
Sample-Efficient Expert Query Control in Active Imitation Learning via Conformal Prediction
Department of Computer Science, University of Southern California(计算机科学系,南加州大学);Department of Information Technology and Electrical Engineering, ETH Zurich(信息科技与电气工程系,苏黎世联邦理工学院)
CRSAIL通过置信预测实现高效的专家查询控制,在主动模仿学习中减少专家查询次数,提升机器人任务的训练效率。
2025-11-29 cs.AI cs.LG cs.RO
Active Community Detection with Maximal Expected Model Change
Bell Laboratories, Nokia(诺基亚贝尔实验室);Princeton University(普林斯顿大学)
提出了一种新的网络社区发现主动学习算法。我们提出的算法使用最大预期模型变化(MEMC)查询网络节点标签分配的标准。MEMC检测查询后最大程度改变社区分配可能性模型的节点。我们的方法受到基准随机块模型(SBM)中检测的启发,在该模型中,我们使用SBM和真实网络数据为二进制以及多类设置提供样本复杂性分析和实证研究。分析还涵盖了最具挑战性的情况下,稀疏度和低于检测阈值的SBM,我们观察到超线性的错误减少。MEMC被证明是优于随机选择基线和其他国家的最先进的主动学习者。
2020-03-20 cs.LG cs.SI stat.ML
Taming Small-sample Bias in Low-budget Active Learning
Waseda University(早稻田大学);University of Washington(华盛顿大学);Kyoto University(京都大学);University of Maryland, College Park(马里兰大学帕克分校)
针对低预算主动学习中的小样本偏差,提出课程式Firth偏差缩减(CHAIN)自动调整正则化系数,在深度与线性模型上显著提升查询效率与学习进展。
2023-06-19 cs.LG
Message Passing Adaptive Resonance Theory for Online Active Semi-supervised Learning
LG Electronics(LG电子);Seoul National University(首尔国立大学);University of Southern California(南加州大学)
主动学习被广泛用于通过从未标记的数据中重复查询仅最有益的样本来减少标记工作和训练时间。在现实世界中,由于有限的存储或隐私问题,数据不能无限期地存储,查询选择和模型更新应该在观察到新的数据样本时立即执行。各种在线主动学习方法已被研究,以应对这些挑战,然而,有困难的选择有代表性的查询样本和更新模型有效而不会忘记。在这项研究中,我们提出了消息传递自适应共振理论(MPART),学习的分布和拓扑结构的输入数据在线。通过拓扑图上的消息传递,MPART主动查询信息和代表性的样本,并不断提高分类性能使用标记和未标记的数据。我们评估我们的模型在基于流的选择性采样方案与可比的查询选择策略,显示MPART显着优于竞争对手的模型。
2021-07-10 cs.AI cs.LG
Mindful Active Learning
Washington State University(华盛顿州立大学)
我们提出了一种新的主动学习框架,使用可穿戴传感器的活动识别。我们的工作是独特的,因为它考虑到物理和认知的限制,甲骨文选择传感器数据被注释的甲骨文时。我们的方法受到了人类对外部刺激的有限反应能力的启发,例如对移动设备上的提示做出反应。这一能力限制不仅表现在一个人在一定时间内可以答复的询问数目上,而且表现在提出询问的时间与答复时间之间的滞后。我们引入了有意识的主动学习的概念,并提出了一个计算框架,称为EMMA,以最大限度地提高主动学习性能,同时考虑到传感器数据,查询预算和人类记忆的信息。我们制定这个优化问题,提出了一种方法来模拟内存保留,讨论了问题的复杂性,并提出了一个贪婪的启发式来解决这个问题。我们证明了我们的方法在三个公开的数据集上的有效性,并通过模拟具有各种内存强度的神谕。我们表明,活动识别的准确率范围从21%到97%,这取决于记忆强度,查询预算和机器学习任务的难度。我们的研究结果还表明,EMMA实现的准确性水平,平均而言,13.5%的情况下,只有信息的传感器数据被认为是主动学习。此外,我们表明,我们的方法的性能最多比实验上限低20%,比实验下限高80%。我们观察到,正念主动学习是最有益的查询预算时,小和/或甲骨文的内存是薄弱的,从而强调我们的工作在以人为本的移动健康设置和老年人的认知障碍的贡献。
2019-07-28 cs.AI cs.LG stat.ML
On the Discrimination Power and Effective Utilization of Active Learning Measures in Version Space Search
Alpen-Adria Universität Klagenfurt(克拉根福阿尔卑斯-亚德里亚大学)
主动学习(AL)方法已被证明在许多应用领域比被动监督方法节省成本。一个主动的学习者,旨在找到一些目标假设,制定顺序查询一些神谕。与已经回答的查询一致的假设集称为版本空间。已经提出了几个查询选择措施(QSM),以确定最好的查询问下一个。假设binaryoutcome查询,我们分析各种QSM wrt。在当前版本空间内他们选择的查询的辨别力。因此,我们得出这些QSM之间的优越性和等价关系,并引入现有的QSM的改进版本,以克服确定的问题。所获得的图片给出了关于在基于池的AL场景中应该优选使用哪些QSM的提示。此外,我们推导出最优查询wrt的性质。QSM必须满足。在此基础上,我们展示了如何有效的启发式搜索方法的最佳查询,查询合成AL的情况下,可以设计。
2017-09-22 cs.LG
Model-Centric and Data-Centric Aspects of Active Learning for Deep Neural Networks
Chalmers University of Technology(查尔姆斯理工大学);Linköping University(林雪平大学)
我们以一致和统一的方式研究深度神经网络的主动学习的不同方面。i)我们研究了增量和累积训练模式,这些模式指定了如何使用新标记的数据进行训练。ii)我们研究了主动学习。模型配置,如epoch和神经元的数量以及批量大小的选择。iii)我们详细考虑了查询策略的行为及其相应的信息量度量,并相应地提出了更有效的查询过程。iv)我们进行统计分析,例如,关于主动学习类和测试误差估计,揭示了关于主动学习的一些见解。v)我们研究了使用神经网络的主动学习如何受益于伪标签作为实际标签的代理。
2022-12-29 cs.AI cs.LG stat.ML
Deep Active Learning for Regression Using $ε$-weighted Hybrid Query Strategy
Vanderbilt University(范德堡大学)
设计一个廉价的近似代理模型,捕捉一个昂贵的高保真行为的显着特征是一种流行的设计优化方法。近年来,深度学习(DL)模型正被用作工程问题的有前途的替代计算模型。然而,创建基于DL的代理的主要挑战是模拟/标记大量的设计点,这对于计算成本高和/或高维工程问题来说是耗时的。在目前的工作中,我们提出了一种新的采样技术相结合的主动学习(AL)方法与DL。我们称这种方法为$ε$ -加权混合查询策略($ε$ -HQS),它侧重于在每个学习迭代的代理的评估,并提供在设计空间中的代理的失败概率的估计。通过重用已经收集的训练和测试数据,学习的故障概率将下一次迭代的采样过程引导到故障概率高的区域。在实证评估过程中,观察到更好的准确性的替代品相比,其他方法的样本选择。我们经验评估这种方法在两个不同的工程设计领域,基于有限元的潜艇压力容器(计算成本高的过程)和第二潜艇螺旋桨设计(高维问题)的静态应力分析。https://github.com/vardhah/epsilon_weighted_Hybrid_Query_Strategy
2022-07-10 cs.AI cs.LG
Active Query Selection for Crowd-Based Reinforcement Learning
UK Research and Innovation (UKRI) and Thales Training & Simulation Ltd.(英国研究与创新(UKRI)和泰勒斯培训与模拟有限公司)
针对基于偏好的强化学习中人类反馈昂贵且嘈杂的问题,提出结合概率众包建模与主动学习的框架,扩展Advise算法支持多训练者并基于熵选择查询,在多种环境(含血糖控制任务)中验证了更快的学习速度和优于基线的性能。
2025-08-26 cs.LG
Making Your First Choice: To Address Cold Start Problem in Vision Active Learning
Nanyang Technological University(南洋理工大学);Johns Hopkins University(约翰斯·霍普金斯大学);Harvard University(哈佛大学)
主动学习通过迭代地选择最重要的数据首先进行注释来提高注释效率。然而,我们发现了一个与这一承诺惊人的矛盾:主动学习在最初的几个选择中无法像随机选择那样有效地选择数据。我们认为这是视觉主动学习中的冷启动问题,由有偏见和离群的初始查询引起。本文试图通过利用对比学习的三个优点来解决冷启动问题:(1)不需要注释;(2)通过伪标签来确保标签多样性以减轻偏差;(3)通过对比特征来确定典型数据以减少离群值。实验在CIFAR-10-LT和三个医学成像数据集(即结肠病理学、腹部CT和血细胞显微镜)上进行。我们的初始查询不仅显着优于现有的主动查询策略,但也超过了随机选择的大幅度。我们预见我们的冷启动问题的解决方案作为一个简单而强大的基线来选择视觉主动学习的初始查询。代码可用:https://github.com/c-liangyu/CSVAL
2022-10-05 cs.AI cs.CV cs.LG
Active Learning of Strict Partial Orders: A Case Study on Concept Prerequisite Relations
The Pennsylvania State University(宾夕法尼亚州立大学);Carnegie Mellon University(卡内基梅隆大学)
严格偏序是关系数据中常见的数学结构。大规模提取此类关系的一个障碍是缺乏用于构建有效数据驱动解决方案的大规模标签。我们开发了一个主动学习的框架,挖掘这种关系受到严格的秩序。我们的方法采用关系推理,不仅在寻找新的未标记的对,其标签可以推断出现有的标签集,但也在设计新的查询策略,考虑标签的关系结构。我们的实验表明,我们提出的框架可以大大提高分类性能与相同的查询预算相比,其他基线方法。
2018-01-19 cs.AI cs.LG stat.ML
Near-Optimal Active Learning of Halfspaces via Query Synthesis in the Noisy Setting
Yale University(耶鲁大学);ETH Zürich(苏黎世联邦理工学院)
在本文中,我们考虑的问题,积极学习的线性分类器通过查询合成,学习者可以构建人工查询,以估计真实的决策边界。这个问题最近在自动化科学和对抗性逆向工程中获得了很大的兴趣,其中只有启发式算法是已知的。在这样的应用中,可以重新构造查询以引出信息(例如,自动化科学)或以最小的成本逃避检测(例如,对抗性逆向工程)。我们开发了一个通用框架,称为维度耦合(DC),1)将d维学习问题简化为d-1个低维子问题,2)有效地解决每个子问题,3)适当地聚合结果并输出线性分类器,以及4)为所有可能的聚合方案提供理论保证。所提出的方法被证明是弹性的噪声。我们表明,DC框架避免了维数灾难:它的计算复杂性尺度与维度线性。此外,我们表明,DC的查询复杂度是接近最佳的(在一个常数因子的最佳算法)。为了进一步支持我们的理论分析,我们将DC的性能与现有的工作进行了比较。我们观察到DC在查询复杂度方面始终优于现有技术,同时通常运行速度更快。
2016-11-12 cs.AI cs.IT cs.LG
Exploring Connections Between Active Learning and Model Extraction
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);University of California San Diego(加州大学圣迭戈分校);Protocol Labs(协议实验室)
机器学习越来越多地被个人、研究机构和公司使用。这导致了机器学习即服务(MLaaS)云服务的激增,这些服务提供(a)学习模型的工具和资源,以及(b)访问模型的用户友好的查询界面。然而,这样的MLaaS系统会引起隐私问题,例如模型提取。在模型窃取攻击中,攻击者恶意地利用查询接口来窃取模型。更确切地说,在模型窃取攻击中,由服务器持有的敏感或专有模型的良好近似由仅经由查询接口与服务器交互的不诚实用户提取(即,学习)。Tramer等人在2016年USENIX安全研讨会上介绍了这种攻击,并展示了各种模型的实际攻击。我们认为,更好地理解模型窃取攻击的有效性对于设计安全的MLaaS系统至关重要。为此,我们采取的第一步是(a)形式化模型提取和讨论可能的防御策略,(b)绘制模型提取和主动学习的既定领域之间的相似之处。特别是,我们表明,在主动学习领域的最新进展,可以用来实现强大的模型窃取攻击,并调查可能的防御策略。
2019-11-20 cs.CR cs.LG stat.ML
Mitigating Sampling Bias and Improving Robustness in Active Learning
Intel Labs(英特尔实验室);Intel Corporation(英特尔公司)
本文提出了简单有效的方法,以减轻采样偏差在主动学习,同时实现最先进的精度和模型的鲁棒性。我们引入了监督对比主动学习,利用对比损失的主动学习在监督设置。我们提出了一个无偏的查询策略,选择信息丰富的数据样本的不同特征表示与我们的方法:监督对比主动学习(SCAL)和深度特征建模(DFM)。我们经验证明,我们提出的方法减少采样偏差,实现最先进的准确性和模型校准的主动学习设置与查询计算26倍的速度比贝叶斯主动学习的分歧和11倍的速度比CoreSet。所提出的SCAL方法在对数据集移位和分布外的鲁棒性方面有很大的优势。
2021-09-13 cs.LG