Stopping criterion for active learning based on deterministic generalization bounds
Kyushu Institute of Technology(九州工业大学);The Institute of Statistical Mathematics(统计数学研究所);RIKEN AIP(理化学研究所人工智能研究中心)
主动学习是一种框架,学习机可以在其中选择要用于训练的样本。这种技术是有前途的,特别是当数据采集和标记的成本很高。在主动学习中,确定学习应该停止的时机是一个关键问题。在这项研究中,我们提出了一个自动停止主动学习的标准。提出的停止准则是基于期望泛化误差和假设检验的差异。我们推导出一个新的上限的差异,在获得一个新的训练数据的基础上的PAC-Bayesian理论的预期泛化误差。然而,与普通的PAC-贝叶斯边界不同,所提出的边界是确定性的;因此,在不等式的置信度和紧密度之间没有不可控的权衡。我们结合上界与统计测试,以获得主动学习的停止标准。我们通过人工和真实数据集的实验证明了所提出的方法的有效性。
2020-05-15 cs.LG stat.ML
Deciding when to stop: Efficient stopping of active learning guided drug-target prediction
Freiburg Institute for Advanced Studies, University of Freiburg(弗赖堡大学弗赖堡高等研究院);Carnegie Mellon University(卡内基梅隆大学)
主动学习已经证明可以减少获得高置信度药物靶点预测所需的实验数量。然而,为了使用主动学习实际保存实验,关键是要有一种方法来评估当前预测的质量并决定何时停止实验过程。只有将可靠的停止准则应用于主动学习,才能真正节省实验过程中的时间和成本。我们在模拟药物-目标矩阵上计算主动学习痕迹,以便学习主动学习者准确性的回归模型。通过分析回归模型在模拟数据上的性能,我们设计了以前看不见的实验矩阵的停止准则。我们在四个先前表征的药物效应数据集上证明,应用停止标准可以节省高达40%的总实验,以实现高度准确的预测。
2015-04-09 cs.LG q-bio.QM stat.ML
Hitting the Target: Stopping Active Learning at the Cost-Based Optimum
University of Auckland(奥克兰大学);University of Waikato(怀卡托大学)
本文针对主动学习缺乏有效停止机制的问题,首次大规模比较了基于池的主动学习中的停止准则,利用成本度量量化准确率与标签权衡,并提供了开源评估框架,帮助从业者选择最优准则以大幅降低标注成本。
2022-09-02 cs.LG
Analysis of Stopping Active Learning based on Stabilizing Predictions
Center for Advanced Study of Language(语言高级研究中心);University of Maryland(马里兰大学);Raytheon BBN Technologies(雷神BBN技术公司)
在自然语言处理(NLP)社区中,主动学习已经被广泛研究和应用,以减轻新的NLP系统和技术的开发者所面临的注释瓶颈。本文首次提出了基于稳定化预测(SP)的停止主动学习的理论分析。分析揭示了SP方法成功的三个核心要素:(1)连续训练模型之间Cohen Kappa一致性的界限对模型的F度量性能差异施加了界限;(2)由于止动装置不必被标记,因此在实践中可以将其制造得很大,有助于保证结果在测试/应用时转移到先前看不见的示例流;以及(3)可以获得连续模型之间的Kappa的良好(低方差)样本估计。的Kappa协议和连续模型之间的性能差异的水平之间的关系的证明。具体地,如果两个模型之间的Kappa一致性超过阈值T(其中$T>0$),则在所有情况下,这些模型之间的F测量性能的差异都以$\frac{4(1-T)}{T}$为界。如果模型的正合取精度被假定为$p$,则边界可以被收紧为$\frac{4(1-T)}{(p+1)T}$。
2015-04-23 cs.CL cs.LG stat.ML
Small-Text: Active Learning for Text Classification in Python
Leipzig University(莱比锡大学);Institute for Applied Informatics (InfAI)(应用信息学研究所(InfAI))
研究推出Python主动学习库small-text,支持多类文本分类场景,集成主流机器学习库,通过实验验证SetFit训练范式在准确率与transformer微调相当、AUC更优,为主动学习实验与应用开发提供便捷工具。
2023-10-07 cs.CL cs.LG
Cost-minimising strategies for data labelling : optimal stopping and active learning
University of Leoben(莱奥本大学)
监督学习处理以观测空间$\CX$中的点为条件的输出或标签空间$\CY$上的分布的推断,给定$\CX \times \CY$中的对的训练数据集$D$。然而,在许多感兴趣的应用中,获取大量的观察是容易的,而生成标签的过程是耗时或昂贵的。处理这个问题的一种方法是{ \em主动}学习,其中选择要标记的点,目的是创建一个比在相同数量的随机采样点上训练的模型性能更好的模型。在本文中,我们建议直接处理标签成本:学习目标被定义为成本的最小化,该成本是预期模型性能和所使用标签的总成本的函数。这允许开发一般策略和特定算法,用于(a)最佳停止,其中预期成本决定标签获取是否应该继续(b)经验评估,其中成本用作推断、停止和采样方法的给定组合的性能度量。虽然本文的主要焦点是最佳停止,我们也旨在为进一步发展和讨论主动学习的相关领域的背景。
2007-11-15 cs.LG
Finite-Sample Analysis of Elimination in Active Hypothesis Testing
Department of Electrical and Computer Engineering, University of Florida(佛罗里达大学电气与计算机工程系)
本文研究了主动假设检验中消除对停止时间的影响,提出消除增强的Track-and-Stop算法,通过逐步修剪候选集并重新分配传感努力,推导出非渐近的停止时间上界,并引入 aggressiveness 参数调节消除速度与置信度的权衡。
2026-05-01 cs.LG
Risk-Aware Active Inverse Reinforcement Learning
University of Texas at Austin(德克萨斯大学奥斯汀分校)
通过演示的主动学习允许机器人向人类询问特定类型的输入,以实现有效的学习。现有的工作已经探索了各种主动查询策略,但是,据我们所知,这些策略都没有直接最大限度地降低机器人学习策略的性能风险。利用逆强化学习性能界限的最新进展,我们提出了一种风险意识主动逆强化学习算法,该算法将主动查询集中在状态空间中具有大泛化误差潜力的区域。我们发现,风险意识主动学习优于标准的主动IRL方法在网格世界,模拟驾驶,表设置任务,同时还提供了一个基于性能的停止标准,让机器人知道它已经收到足够的演示,安全地执行任务。
2019-06-03 cs.LG stat.ML
Identifying Wrongly Predicted Samples: A Method for Active Learning
Toyota Motor Europe(丰田汽车欧洲公司)
最先进的机器学习模型需要访问大量的注释数据,以实现所需的性能水平。虽然未标记的数据可以大量使用,甚至是丰富的,但注释过程可能非常昂贵和有限。在假设某些样本对于给定任务比其他样本更重要的情况下,主动学习的目标是识别应该为其获取注释的信息量最大的样本的问题。而不是传统的依赖模型的不确定性作为代理,以利用新的未知标签,在这项工作中,我们提出了一个简单的样本选择标准,超越不确定性。通过先接受模型预测,再判断其对泛化误差的影响,可以更好地识别错误预测样本。我们进一步提出了一个近似我们的标准,是非常有效的,并提供了一个基于相似性的解释。除了在主动学习的标准基准上评估我们的方法之外,我们还考虑了具有挑战性但又现实的不平衡数据场景,其中类别不平等。我们展示了最先进的结果和更好的识别错误预测样本的速度。我们的方法很简单,与模型无关,并且依赖于当前的模型状态,而不需要从头开始重新训练。
2020-10-14 cs.CV cs.LG stat.ML
Active Learning for One-Class Classification Using Two One-Class Classifiers
Institute of Signal Processing(信号处理研究所)
本文介绍了一种新的,通用的主动学习方法的一类分类。在机器学习领域,主动学习方法在减少人工标注的工作量方面发挥着重要作用。虽然在过去的几年里已经提出了许多主动学习方法,他们大多数是限制在二进制或多类问题。单类分类器在训练过程中只使用来自一个类(所谓的目标类)的样本,因此需要特殊的主动学习策略。为一类分类提出的少数策略要么受到特定一类分类器的限制,要么其性能取决于对数据集的特定假设,如不平衡。我们提出的方法基于使用两个单类分类器,一个用于所需的目标类,一个用于所谓的离群值类。它允许发明新的查询策略,使用二进制查询策略和定义简单的停止标准。在此基础上提出了两种查询策略。所提供的实验将所提出的方法与各种数据集上的已知策略进行比较,并在几乎所有情况下显示出改进的结果。
2019-01-10 cs.LG stat.ML
Limitations of Assessing Active Learning Performance at Runtime
University of Kassel(卡塞尔大学)
分类算法旨在预测未知标签(例如,质量等级)用于新实例(例如,产品)。因此,训练样本(实例和标签)用于推导分类假设。通常,捕获实例相对容易,但获取相应的标签仍然困难或昂贵。主动学习算法选择最有益的实例进行标记以降低成本。在研究中,这种标记过程是模拟的,因此可以获得地面实况。但是在部署过程中,主动学习是一次性问题,并且评估集不可用。因此,不可能在学习期间可靠地估计分类系统的性能,并且难以决定系统何时满足质量要求(停止标准)。在这篇文章中,我们正式的任务,并审查现有的策略,以评估在训练过程中积极训练分类器的性能。此外,我们确定了三个主要挑战:1)导出性能分布,2)保持标记子集的代表性,以及3)纠正智能选择策略引起的采样偏差。在定性分析中,我们评估了不同的现有方法,并表明,他们都没有可靠的估计主动学习性能,这是未来研究此类系统的一个重大挑战。所有的图和实验都在一个可供下载的笔记本中提供。
2019-01-29 cs.LG stat.ML
Stream-based Active Learning by Exploiting Temporal Properties in Perception with Temporal Predicted Loss
BMW Group(宝马集团);Technical University of Munich(慕尼黑工业大学)
本文提出时间预测损失TPL,利用图像流时间特性实现流式主动学习,并构建数据集与池式方法比较框架,在多样性、性能、数据量和速度上取得优势。
2023-09-26 cs.CV cs.LG
Pepti-drift: Scalable Safe-Active Peptide Generation Without Inference-Time Guidance
SB Intuitions
提出Pepti-drift框架,通过单一抗原条件漂移步骤生成肽候选,在嵌入空间中吸引抗原匹配结合肽并排斥毒性相关区域,采用预热策略稳定竞争目标。
2026-10-02 cs.AI cs.LG
Simple Techniques Work Surprisingly Well for Neural Network Test Prioritization and Active Learning (Replicability Study)
Università della Svizzera italiana(瑞士意大利语大学)
用于深度神经网络(DNN)的测试输入优先级排序器(TIP)是有效处理通常非常大的测试数据集、节省计算和标记成本的重要技术。这对于大规模部署的系统尤其如此,其中在生产中观察到的输入被记录以用作系统的下一版本的潜在测试或训练数据。Feng et.提出了DeepGini,一种非常快速和简单的TIP,并表明它优于更复杂的技术,如神经元和惊喜覆盖。在一个大规模的研究中(4个案例研究,8个测试数据集,32'200个训练模型),我们验证了他们的发现。然而,我们还发现,来自不确定性量化领域的其他可比甚至更简单的基线,例如预测的softmax似然或预测的softmax似然的熵,与DeepGini的表现一样好。
2022-05-24 cs.AI cs.LG cs.SE
Almost Asymptotically Optimal Active Clustering Through Pairwise Observations
National University of Singapore(国立新加坡大学);Indian Institute of Technology Hyderabad(印度海得拉巴理工学院);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
通过成对观测实现近似最优的主动聚类,利用测度变化技术建立查询次数下界,并设计渐近最优算法。
2026-02-05 cs.IT cs.LG math.IT