On Discarding, Caching, and Recalling Samples in Active Learning
Microsoft Research(微软研究院)
我们解决的挑战,主动学习在非静态环境下的信息资源稀缺。在现实环境中,标记并集成到预测模型中的数据可能会随着时间的推移而变得无效。然而,随着上下文中的切换,数据可以再次变得信息丰富,并且这样的变化可以指示未建模的循环或其他时间动态。我们探讨原则丢弃,缓存,并召回标记的数据点在主动学习的基础上计算的信息的价值。我们审查的关键概念和研究的价值的方法,通过调查的预测性能和成本的模拟和真实世界的数据集获取数据。
2012-06-20 cs.LG stat.ML
Active Learning under Label Shift
California Institute of Technology(加州理工学院)
我们解决了标签偏移下的主动学习问题:当源域和目标域的类比例不同时。我们引入了一个“中间分布”,将重要性加权和类平衡采样之间的权衡,并提出了在主动学习的组合使用。我们的方法被称为标签偏移下的中介主动学习(MALLS)。它平衡了类别平衡抽样的偏差和重要性加权的方差。我们证明样本的复杂性和泛化保证MALLS表明主动学习降低渐近样本的复杂性,即使在任意标签偏移。我们经验性地证明了MALLS可以扩展到高维数据集,并且可以在深度主动学习任务中将主动学习的样本复杂度降低60%。
2021-02-25 cs.LG stat.ML
Active Preference Learning for Ordering Items In- and Out-of-sample
Chalmers University of Technology(查尔姆斯理工大学);University of Gothenburg(哥德堡大学);Sleep Cycle AB(Sleep Cycle公司)
本文研究带上下文属性物品的样本内外主动偏好排序,提出基于 logistic 模型误差界并融合偶然与认知不确定性的采样策略,实验证明其样本效率和泛化优于基线。
2024-10-27 cs.LG stat.ML
Pool-Based Unsupervised Active Learning for Regression Using Iterative Representativeness-Diversity Maximization (iRDM)
Huazhong University of Science and Technology(华中科技大学)
主动学习(AL)选择最有益的未标记样本进行标记,因此可以从相同数量的标记样本训练更好的机器学习模型。大多数现有的回归主动学习(ALR)方法都是有监督的,这意味着采样过程必须使用一些标签信息或现有的回归模型。本文考虑完全无监督的ALR,即,如何在不知道任何真实标签信息的情况下选择要标记的样品。我们提出了一种新的无监督ALR方法,迭代代表性多样性最大化(iRDM),以最佳平衡的代表性和多样性的选择样本。在不同领域的12个数据集上的实验证明了该方法的有效性。我们的iRDM可以应用于线性回归和核回归,当标记样本数量较少时,它甚至显着优于监督ALR。
2020-03-31 cs.LG stat.ML
Batch Active Learning Using Determinantal Point Processes
Stanford University(斯坦福大学)
数据汇集和标记是在具有有限数据的各种现实世界应用中采用机器学习算法的主要挑战之一。虽然主动学习方法试图通过仅标记提供高信息的数据样本来解决这个问题,但它们通常具有较大的计算成本,并且在可以并行收集数据的设置中是不切实际的。批量主动学习方法试图通过一次查询批量样本来克服这种计算负担。为了避免样本之间的冗余,以前的作品依赖于一些特设的样本质量和多样性的组合。在本文中,我们提出了一个新的原则批主动学习方法使用行列式点过程,排斥点过程,使不同批次的样本。我们开发了易于处理的算法来近似DPP分布的模式,并提供理论保证的近似程度。我们进一步证明了一个迭代贪婪的方法DPP最大化,具有较低的计算成本,但更差的理论保证,仍然给批量主动学习的竞争力的结果。我们的实验显示了我们的方法在几个数据集上对最先进的基线的价值。
2019-06-19 cs.LG stat.ML
Active Bias: Training More Accurate Neural Networks by Emphasizing High Variance Samples
University of Massachusetts, Amherst(马萨诸塞大学阿默斯特分校)
自定进度学习和硬示例挖掘重新加权训练实例,以提高学习准确性。本文提出了两种改进的替代方案的基础上轻量级估计的样本不确定性的随机梯度下降(SGD):方差预测概率的正确类跨迭代的小批量SGD,正确的类概率的决策阈值的接近。在六个数据集上进行的大量实验结果表明,我们的方法可靠地提高了各种网络架构的准确性,包括在其他流行的训练技术(如残差学习、动量、ADAM、批量归一化、dropout和蒸馏)之上的额外增益。
2018-01-06 cs.LG stat.ML
Deep Active Learning by Model Interpretability
RealAI(睿尔人工智能);Tsinghua University(清华大学);Sun Yat-sen University(中山大学)
然而,深度神经网络(DNN)最近在各种研究任务中的成功在很大程度上依赖于大量的标记样本。这在实际应用中可能需要相当大的注释成本。幸运的是,主动学习是一种很有前途的方法,训练高性能的模型,以最小的注释成本。在深度学习背景下,主动学习的关键问题是如何精确识别DNN样本的信息量。本文受DNN中分段线性可解释性的启发,将样本的线性可分区域引入到主动学习问题中,提出了一种基于模型可解释性(DAMI)的深度主动学习方法。为了保持整个未标记数据的最大代表性,DAMI试图在DNN中分段线性可解释性引入的不同线性可分离区域上选择和标记样本。我们专注于建模多层感知(MLP)建模表格数据。具体来说,我们使用MLP中的局部分段解释作为每个样本的表示,并直接运行K-Center聚类来选择和标记样本。需要注意的是,DAMI的整个过程不需要手动调整任何超参数。为了验证我们的方法的有效性,广泛的实验已经进行了几个表格数据集。实验结果表明,DAMI不断优于几个国家的最先进的比较方法。
2020-09-06 cs.LG stat.ML
Active and Adaptive Sequential learning
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Tsinghua University(清华大学)
介绍了一个框架,用于主动和自适应地解决一系列机器学习问题,这些问题从一个时间步到下一个时间步以有界的方式变化。开发了一种算法,该算法从未标记的数据池中主动查询信息量最大的样本的标签,并通过利用在前面的步骤中获得的信息来适应变化。我们的分析表明,所提出的主动学习算法的基础上随机梯度下降实现了一个接近最优的超额风险性能的最大似然估计。此外,使用主动学习样本的学习问题的变化的估计器被构造,这提供了一个自适应的样本大小选择规则,保证超额风险是有界的足够大的时间步长。仿真和真实数据的实验验证了我们的算法和理论结果。
2018-05-29 cs.LG stat.ML
Distribution Aware Active Learning
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Simon Fraser University(西蒙弗雷泽大学)
判别式学习机器通常需要大量的标记样本进行训练。主动学习(AL)设置假设学习者有自由要求oracle标记其所需的样本。传统的人工智能算法选择查询样本,目前的学习者是不确定的。这种策略没有很好地利用手头数据集的结构,并且容易被离群值误导。为了缓解这个问题,我们建议提取的结构信息到一个概率生成模型,作为一个\emph{teacher}在我们的模型。主动\emph{learner}在主动学习的每个周期有效地使用该信息。所提出的方法是通用的,不依赖于学习者和教师的类型。然后,我们提出了一个主动学习的查询标准,知道数据的分布,对离群值更强大。我们的方法可以很容易地与其他几个查询标准相结合,主动学习。我们提供的配方和经验表明,我们的想法通过玩具和真实的例子。
2018-05-23 cs.LG stat.ML
Active Sequential Posterior Estimation for Sample-Efficient Simulation-Based Inference
Google Research(谷歌研究院);HEC Montréal(蒙特利尔高等商学院)
针对基于模拟的推断存在样本需求大、难扩展至高维场景的问题,提出主动序贯神经后验估计方法,通过主动学习评估参数效用,以低开销提升样本效率,在交通等高维场景及SBI基准上均优于现有方法。
2024-12-07 cs.LG stat.ML
Active Learning: Problem Settings and Recent Developments
The Institute of Statistical Mathematics(统计数学研究所)
在监督学习中,获取预测模型的标记训练数据可能非常昂贵,但获取大量未标记数据通常非常容易。主动学习是一种通过自适应地选择样本进行标注,以有限的代价获得高精度预测模型的方法。本文阐述了主动学习的基本问题设置和最新研究动态。特别是,学习采集功能的研究,从数据中选择样本进行标记,主动学习算法的理论工作,并停止标准顺序数据采集突出显示。介绍了材料开发和测量的应用实例。
2020-12-16 cs.LG stat.ML
Integrating Informativeness, Representativeness and Diversity in Pool-Based Sequential Active Learning for Regression
Huazhong University of Science and Technology(华中科技大学)
在许多现实世界的机器学习应用中,未标记的样本很容易获得,但标记它们是昂贵的和/或耗时的。主动学习是减少这种数据标记工作的常用方法。它最佳地选择最好的几个样本进行标记,以便可以从相同数量的标记样本中训练出更好的机器学习模型。本文研究了回归问题的主动学习方法。ALR提出了三个基本标准--信息性、代表性和多样性。然而,文献中很少有方法同时考虑所有这三个方面。我们提出了三个新的ALR方法,与不同的战略,整合三个标准。在不同领域的12个数据集上进行的广泛实验证明了它们的有效性。
2020-03-26 cs.LG stat.ML
Stopping Criterion for Active Learning Based on Error Stability
Kyushu Institute of Technology(九州工业大学);The Institute of Statistical Mathematics(统计数理研究所);RIKEN AIP(理化学研究所革新智能统合研究中心)
主动学习是一种监督学习框架,通过自适应地标注少量样本来提高预测性能。为了实现有效的主动学习,应该考虑确定下一个数据的采集函数和确定何时停止学习的停止标准。在这项研究中,我们提出了一个基于误差稳定性的停止准则,它保证了添加新样本时泛化误差的变化受注释成本的限制,并且可以应用于任何贝叶斯主动学习。我们证明了所提出的标准在各种学习模型和真实数据集的适当时机停止主动学习。
2021-04-09 cs.LG stat.ML
Active Sampler: Light-weight Accelerator for Complex Data Analytics at Scale
National University of Singapore(新加坡国立大学);University of Michigan(密歇根大学)
近年来,“大数据”训练的“大模型”取得了惊人的成果。大多数流行的模型训练算法都是迭代的。由于数据量激增,我们通常只能在每次迭代中处理一小部分训练数据。通常,数据被均匀地采样或顺序地访问。在本文中,我们研究了数据访问模式如何影响模型训练。我们提出了一个主动采样算法,其中训练数据与更多的“学习价值”的模型更频繁地采样。目标是将训练工作集中在分类边界附近的有价值的实例上,而不是明显的案例,噪声数据或离群值。我们从理论上证明了主动采样器的正确性和最优性,并在此基础上设计了一个轻量级的矢量化实现。主动采样器与大多数优化大规模数据分析效率的方法正交,并且可以应用于大多数由随机梯度下降(SGD)算法训练的分析模型。广泛的实验评估表明,Active Sampler可以加快SVM、特征选择和深度学习的训练过程,使训练质量提高1.6- 2.2倍。
2015-12-12 cs.DB cs.LG stat.ML
Be More Active! Understanding the Differences between Mean and Sampled Representations of Variational Autoencoders
University of Kent(肯特大学)
本文通过选择性后验坍缩视角,发现变分自编码器的均值表示与采样表示差异源于被动变量,但均值表示仍适用于下游任务,移除被动变量可能有益。
2023-12-25 cs.LG stat.ML
On Deep Unsupervised Active Learning
Beijing Institute of Technology(北京理工大学);University of Electronic Science and Technology of China(电子科技大学);Chinese Academy of Sciences(中国科学院)
无监督主动学习近年来受到越来越多的关注,其目标是在无监督的环境中选择具有代表性的样本供人类注释。大多数现有的工作都是基于浅线性模型,假设每个样本可以很好地近似于跨度(即,所有线性组合的集合),然后将这些选定的样本作为代表样本进行标记。然而,在实际应用中,数据并不一定符合线性模型,如何对数据的非线性进行建模往往成为成功的关键。在本文中,我们提出了一种用于无监督主动学习的新型深度神经网络框架,称为DUAL。DUAL可以显式地学习非线性嵌入,以通过编码器-解码器架构将每个输入映射到潜在空间,并引入选择块来选择学习的潜在空间中的代表性样本。在选择块中,DUAL考虑同时保持整个输入模式以及数据的聚类结构。在六个公开的数据集上进行了大量的实验,实验结果清楚地表明了我们的方法的有效性,与最先进的方法相比。
2020-07-28 cs.LG stat.ML
Chernoff Sampling for Active Testing and Extension to Active Regression
UW-Madison(威斯康星大学麦迪逊分校);Missouri S&T(密苏里科技大学)
主动学习可以减少执行假设检验和估计模型参数所需的样本数量。在本文中,我们重新审视的工作,描述了一个渐进的最优算法进行假设检验的Zeroff。我们获得了一个新的样本复杂性界的Zeroff的算法,与一个非渐近项,其特征在于在一个固定的置信水平的性能。我们还开发了一个扩展的Dupff采样,可用于估计各种各样的模型的参数,我们得到的估计误差的非渐近界。我们应用我们的扩展的Brackoff采样主动学习神经网络模型,并估计参数的真实数据的线性和非线性回归的问题,我们的方法表现良好的国家的最先进的方法。
2022-03-11 cs.LG stat.ML
Dependency-aware Maximum Likelihood Estimation for Active Learning
Department of Electrical and Computer Engineering(电气与计算机工程系);Northeastern University(东北大学);Department of Computer Science(计算机科学系);University of Massachusetts Boston(马萨诸塞大学波士顿分校)
针对主动学习中样本存在依赖但传统MLE假设数据独立同分布的问题,提出依赖感知MLE方法修正参数估计,在多基准数据集上实现更早的性能提升,不同批次大小下准确率提升显著。
2025-10-03 cs.LG stat.ML
Bayesian Generative Active Deep Learning
University of Adelaide(阿德莱德大学);University of Liverpool(利物浦大学)
深度学习模型在几个问题上表现出了出色的性能,但它们的训练过程往往需要大量的计算和人力资源来进行训练和标记,从而限制了可以解决的问题类型。因此,设计有效的训练方法,需要小标记的训练集是一个重要的研究方向,将允许更有效地利用资源。在目前的方法,旨在解决这个问题,两个特别有趣的:数据增强和主动学习。数据增强通过人工生成新的训练点来实现这一目标,而主动学习则依赖于选择未标记训练样本的“信息量最大”子集来由oracle标记。虽然在实践中是成功的,但数据增强可能会浪费计算资源,因为它不加区别地生成不能保证是信息性的样本,并且主动学习(从大的未注释集合中)选择可能不足以用于训练过程的信息性样本的小子集。在本文中,我们提出了一种贝叶斯生成主动深度学习方法,将主动学习与数据增强相结合-我们提供了理论和经验证据(MNIST,CIFAR- $\{10,100\}$和SVHN),证明我们的方法比数据增强和主动学习具有更有效的训练和更好的分类结果。
2019-04-26 cs.LG stat.ML
Single Shot Active Learning using Pseudo Annotators
Delft University of Technology(代尔夫特理工大学)
标准的近视主动学习假设每当选择新样本时总是可以获得人类注释。然而,这在许多现实世界的应用中是不现实的,因为人类专家并不是随时都可用。在本文中,我们考虑了Single Shot设置:所有需要的样本应该在Single Shot中选择,并且在选择过程中不能利用人类注释。我们提出了一种新的方法,主动学习通过随机标记(ALRL),它取代了多个,我们将称为,伪注释单个人类注释。每当查询新的未标记样本时,这些伪注释器总是提供统一和随机的标签。这种随机标记使标准主动学习算法也能够表现出Single Shot主动学习所需的探索行为。通过最小化未标记样本和查询样本之间的最近邻距离来选择最具代表性的样本,进一步增强了探索性行为。在真实数据集上的实验表明,该方法优于几种最先进的方法。
2018-05-17 cs.CV cs.LG stat.ML
Active Deep Learning for Classification of Hyperspectral Images
研究了高光谱图像的主动深度学习分类问题。深度学习在许多应用中取得了成功,但需要高质量的标记样本来构建深度学习网络。在高光谱遥感图像中获取高质量的标记样本是一项昂贵的工作。提出了一种基于加权增量字典学习的主动学习算法。该算法选择训练样本,最大限度地提高两个选择标准,即代表性和不确定性。该算法通过在每次迭代中主动选择训练样本来有效地训练深度网络。将该算法应用于高光谱图像的分类,并与其他采用主动学习的分类算法进行了比较。实验结果表明,该算法在高光谱图像分类中是有效的。
2016-11-30 cs.CV cs.LG stat.ML
On the reusability of samples in active learning
Radboud University(拉德堡德大学);Delft University of Technology(代尔夫特理工大学)
在主动学习中,一个有趣但没有被广泛研究的问题是样本的可重用性:为一个学习者选择的样本在多大程度上可以被另一个学习者重用?本文解释了为什么样本的可重用性是实际利益,为什么可重用性可能是一个问题,如何可重用性可以提高重要性加权主动学习,以及普遍的可重用性仍然存在的障碍。通过理论论证和实践论证,本文认为通用的可重用性是不可能的。因为每个主动学习策略都必须对样本空间的某些区域进行欠采样,所以依赖于这些区域中的样本的学习器将从随机样本选择中学习更多。本文描述了几个重要性加权的主动学习的实验,显示在实践中的可重用性问题的影响。实验证实,通用的可重用性并不存在,尽管在某些情况下-在某些数据集和一些分类器对上-有样本可重用性。最后,本文探讨了保证两个分类器之间可重用性的条件。
2022-06-13 cs.LG
Adversarial Sampling for Active Learning
ETH Zürich(苏黎世联邦理工学院)
本文提出了一种新的基于GAN的主动学习方法asal,该方法产生高熵样本。ASAL不是直接注释合成样本,而是从池中搜索类似的样本,并将它们包括在内进行训练。因此,新样本的质量很高,注释也很可靠。据我们所知,ASAL是第一个基于GAN的AL方法适用于多类问题,优于随机样本选择。ASAL的另一个好处是与传统的不确定性采样(线性)相比,它的运行时间复杂度小(次线性)。我们提出了一套全面的实验多个传统的数据集,并表明,ASAL优于类似的方法,并明显超过了既定的基线(随机抽样)。在讨论部分,我们分析了ASAL在哪些情况下表现最好,以及为什么有时很难超越随机样本选择。
2019-12-21 cs.CV cs.LG stat.ML
Identifying Wrongly Predicted Samples: A Method for Active Learning
Toyota Motor Europe(丰田汽车欧洲公司)
最先进的机器学习模型需要访问大量的注释数据,以实现所需的性能水平。虽然未标记的数据可以大量使用,甚至是丰富的,但注释过程可能非常昂贵和有限。在假设某些样本对于给定任务比其他样本更重要的情况下,主动学习的目标是识别应该为其获取注释的信息量最大的样本的问题。而不是传统的依赖模型的不确定性作为代理,以利用新的未知标签,在这项工作中,我们提出了一个简单的样本选择标准,超越不确定性。通过先接受模型预测,再判断其对泛化误差的影响,可以更好地识别错误预测样本。我们进一步提出了一个近似我们的标准,是非常有效的,并提供了一个基于相似性的解释。除了在主动学习的标准基准上评估我们的方法之外,我们还考虑了具有挑战性但又现实的不平衡数据场景,其中类别不平等。我们展示了最先进的结果和更好的识别错误预测样本的速度。我们的方法很简单,与模型无关,并且依赖于当前的模型状态,而不需要从头开始重新训练。
2020-10-14 cs.CV cs.LG stat.ML
Active Learning for Speech Recognition: the Power of Gradients
Baidu Silicon Valley AI Lab(百度硅谷人工智能实验室)
在训练语音识别系统中,标记音频片段可能是昂贵的,并且并非所有数据都具有同等价值。主动学习的目标是只标记信息量最大的样本以降低成本。对于语音识别,置信度分数和其他基于似然的主动学习方法已被证明是有效的。然而,基于顺应性的主动学习方法仍然没有得到很好的理解。本文研究了端到端语音识别主动学习中的期望梯度长度(EGL)方法。我们证明EGL从方差减少的角度来看,并观察到EGL的信息量选择新的样本不相关的置信分数。实验表明,EGL可以减少字错误的11%,或者,减少样本的数量标记的50%,相比随机抽样。
2016-12-10 cs.CL cs.LG stat.ML
Picking groups instead of samples: A close look at Static Pool-based Meta-Active Learning
Universitat Politècnica de Catalunya(加泰罗尼亚理工大学)
主动学习技术用于解决获取训练标签代价高昂的学习问题。在这项工作中,我们使用Meta-主动学习来学习从无监督输入池中选择样本的子集进行进一步的注释。此方案称为基于静态池的Meta-主动学习。我们建议扩展现有的方法,通过执行选择的方式,不像以前的作品,可以处理选择的每个样本的基础上,整个选定的子集。
2019-11-01 cs.CV cs.LG
Active Learning for Regression Using Greedy Sampling
Huazhong University of Science and Technology(华中科技大学);University of Technology, Sydney(悉尼科技大学)
回归问题在现实世界的应用程序中普遍存在。为了建立具有良好泛化能力的回归模型,通常需要大量的标记样本。然而,很多时候,收集大量未标记的样品相对容易,但标记它们耗时或昂贵。回归的主动学习(ALR)是一种通过选择最有益的样本来标记而不是随机选择来减少标记样本数量的方法。本文提出了两种新的基于贪婪采样(GS)的ALR方法。第一种方法(GSy)选择新样本以增加输出空间中的多样性,第二种方法(iGS)选择新样本以增加输入和输出空间中的多样性。在来自不同领域的12个UCI和CMU StatLib数据集上进行了广泛的实验,并对15个基于EEG的驾驶员困倦估计进行了实验,验证了它们的有效性和鲁棒性。
2018-08-08 cs.AI cs.LG stat.ML
Deep Active Learning via Open Set Recognition
Georgia State University(佐治亚州立大学)
在许多应用中,数据很容易获取,但标记昂贵且耗时,突出的例子包括医学成像和NLP。近年来,随着我们收集数据能力的提高,这种差距只会扩大。在这些约束下,从未标记池中仅选择信息量最大的实例并请求oracle(例如,人类专家)来为这些样品提供标签。主动学习的目标是推断未标记样本的信息量,从而最小化对oracle的请求数量。在这里,我们制定主动学习作为一个开集识别问题。在这个范例中,只有一些输入属于已知类;分类器必须将其余的识别为未知。更具体地说,我们利用变分神经网络(VNN),它产生高置信度(即,低熵)预测,仅用于非常类似于训练数据的输入。我们使用这个置信度的倒数来选择oracle应该标记的样本。直觉上,VNN不确定的未标记样本对于未来的训练来说信息量更大。我们对我们新颖的主动学习概率公式进行了广泛的评估,在MNIST、CIFAR-10和CIFAR-100上取得了最先进的结果。此外,与当前的主动学习方法不同,我们的算法可以在不需要任务标签的情况下学习任务。正如我们的实验所示,当未标记池由来自多个数据集的样本混合组成时,我们的方法可以自动区分来自可见任务和不可见任务的样本。
2021-04-05 cs.CV cs.LG stat.ML
The Power of Comparisons for Actively Learning Linear Classifiers
UCSD(加州大学圣地亚哥分校)
在大数据的世界里,大而昂贵的标签数据集主宰着许多领域。主动学习是标准PAC学习模型的一种半监督替代方案,被引入来探索自适应标记是否可以用指数级更少的标记样本来学习概念。虽然以前的结果表明,主动学习执行不优于其监督替代重要的概念类,如线性分隔符,我们表明,通过添加弱分布假设,并允许比较查询,主动学习需要指数更少的样本。此外,我们还证明了这些结果也适用于称为可靠且可能有用(RPU)学习的更强的学习模型。在这个模型中,我们的学习者不允许犯错误,但可能会回答“我不知道”。“虽然之前的负面结果表明,该模型对于标签查询具有难以处理的大样本复杂性,但我们表明,比较查询使RPU学习在被动和主动机制中的成本更高。
2020-05-30 cs.CG cs.LG stat.ML
Multi-View Active Learning in the Non-Realizable Case
Nanjing University(南京大学)
在可实现性假设下,主动学习的样本复杂度已经得到了很好的研究。然而,可实现性假设在实践中很少成立。本文从理论上刻画了多视点环境下不可实现情形下主动学习的样本复杂度。我们证明,与无界Tsybakov噪声,多视图主动学习的样本复杂度可以是$\widetilde{O}(\log\frac{1}ε)$,对比单视图设置,其中多项式的改进是最好的可能的成就。我们还证明,在一般的多视图设置的样本复杂度的主动学习与无界Tsybakov噪声是$\widetilde{O}(\frac{1}ε)$,其中的顺序$1/ε$是独立的参数在Tsybakov噪声,对比以前的多项式边界的顺序$1/ε$是相关的参数在Tsybakov噪声。
2010-10-29 cs.LG
Querying Easily Flip-flopped Samples for Deep Active Learning
KAIST(韩国科学技术院);Korea Institute of Oriental Medicine(韩国东洋医学研究院);Jeonbuk National University(全北国立大学);Kim Jaechul Graduate School of AI, KAIST(韩国科学技术院金在哲人工智能研究生院)
针对多分类任务中样本到决策边界距离难以计算的问题,提出最小不一致度量LDM及其渐近一致估计器,通过查询LDM最小的未标记样本实现主动学习,在多数据集和深度架构上取得SOTA性能。
2024-05-16 cs.AI cs.LG stat.ML
A novel active learning framework for classification: using weighted rank aggregation to achieve multiple query criteria
Shanghai Jiao Tong University(上海交通大学)
多查询准则主动学习(MQCAL)方法比传统的主动学习方法具有更高的潜在性能,其中只有一个标准被部署用于样本选择。与MQCAL方法相关的一个中心问题涉及充分利用所有标准的集成标准策略(ICS)的开发。传统的ICS在相关研究中均能达到预期的效果,但仍存在一些局限性。例如,一些策略在设计过程中没有足够的可扩展性,并且所涉及的标准的数量和类型是规定的。因此,除非对算法进行修改,否则用户很难将其他标准整合到原始过程中。其他策略过于依赖经验参数,这些参数只能通过经验或交叉验证获得,因此缺乏通用性;此外,这些策略与主动学习的意图相反,因为在主动学习过程可以开始之前,样本需要在验证集中被标记。为了解决这些局限性,我们提出了一种新的MQCAL方法的分类任务,采用第三种策略,通过加权排名聚合。该方法是一种启发式的方法来选择高价值的样本,具有很强的可扩展性和通用性,并通过三个步骤来实现:(1)样本选择的样本排序和评分的转换,(2)计算的自适应权重的每个标准,(3)加权聚合的每个样本的排名列表。最终,位于聚合排名列表顶部的样本是最有综合价值的,必须被标记。几个实验产生257胜,194平和49输对其他国家的最先进的MQCAL进行验证,所提出的方法可以实现优越的结果。
2018-09-27 cs.AI cs.LG stat.ML
OFAL: An Oracle-Free Active Learning Framework
Department of Electronic Engineering, Amirkabir University of Technology(电子工程系,阿米尔卡比尔技术大学)
本文提出OFAL框架,利用神经网络不确定性将高置信度未标注样本转化为信息丰富的不确定样本,通过Monte Carlo Dropouts和变分自编码器生成新样本,实现无需oracle的主动学习并提升模型准确率。
2025-08-11 cs.LG
Active Generative Adversarial Network for Image Classification
Hitachi, Ltd. R&D Group(日立制作所研发集团);Hitachi America, Ltd.(日立美国有限公司)
足够的监督信息对于任何机器学习模型提高性能都是至关重要的。然而,标记数据是昂贵的,有时很难获得。主动学习是一种通过选择具有高概率的信息样本来从人类预言机获取数据的注释以增强性能的方法。在最近的新兴研究中,生成对抗网络(GAN)已经与主动学习相结合,以生成要提交给预言机的好候选人。在本文中,我们提出了一种新的模型,能够以更便宜的方式获得数据的标签,而无需查询Oracle。在该模型中,每个样本的一个新的奖励被设计来衡量不确定性的程度,这是从一个分类器训练与现有的标记数据。该奖励用于引导条件GAN生成具有特定标签的更高概率的信息样本。通过广泛的评估,我们已经证实了该模型的有效性,表明生成的样本能够提高流行的图像分类任务的分类性能。
2019-06-17 cs.CV cs.LG stat.ML
On the Sample Complexity of Active Learning with Membership Queries
University of Arizona(亚利桑那大学);University of Southern California(南加利福尼亚大学)
本文研究主动学习中合成查询的能力,发现其能显著改变学习难度,使某些类别从多项式误差衰减变为指数级可学习,并提出了充分条件与推测性视角。
2026-10-19 cs.LG math.ST stat.ML
Finite-Sample Analysis of Elimination in Active Hypothesis Testing
Department of Electrical and Computer Engineering, University of Florida(佛罗里达大学电气与计算机工程系)
本文研究了主动假设检验中消除对停止时间的影响,提出消除增强的Track-and-Stop算法,通过逐步修剪候选集并重新分配传感努力,推导出非渐近的停止时间上界,并引入 aggressiveness 参数调节消除速度与置信度的权衡。
2026-05-01 cs.LG
Targeted Active Learning for Bayesian Decision-Making
Aalto University(阿尔托大学);University of Manchester(曼彻斯特大学)
在监督学习中,主动学习通常用于获取信息数据点的标签,以样本有效的方式最大限度地提高准确性。然而,当结果用于决策时,例如在个性化医疗或经济学中,最大限度地提高准确性并不是最终目标。我们认为,当连续获取样本时,分离学习和决策是次优的,我们引入了一个主动学习策略,该策略考虑到了线下决策问题。具体来说,我们引入了一种新的主动学习标准,最大限度地提高预期的信息增益的后验分布的最优决策。我们将我们的目标主动学习策略与模拟和真实数据上的现有替代方案进行了比较,并在决策准确性方面表现出更好的性能。
2021-10-20 cs.AI cs.LG stat.ML
Deep Active Learning with Contrastive Learning Under Realistic Data Pool Assumptions
Seoul National University of Science and Technology(首尔科学技术大学)
主动学习的目标是从未标记的数据池中识别出信息量最大的数据,使模型能够快速达到所需的准确性。这尤其有利于深度神经网络,其通常需要大量的标记样本来实现高性能。大多数现有的主动学习方法都是在理想环境中进行评估的,在理想环境中只有与目标任务相关的样本,即,分布内样本存在于未标记的数据池中。然而,从野外收集的数据池很可能包括与目标任务完全不相关的样本和/或过于模糊而无法分配单个类标签的样本,即使是对于oracle。我们认为,假设一个未标记的数据池组成的样本来自不同的分布是更现实的。在这项工作中,我们引入了新的主动学习基准,包括模糊的,任务无关的分布以及分布样本。我们还提出了一个主动学习方法,旨在获得信息的分布中的样本优先。所提出的方法利用标记和未标记的数据池,并通过对比学习构建的特征空间上的聚类选择样本。实验结果表明,所提出的方法需要更低的注释预算比现有的主动学习方法,以达到相同的准确率水平。
2023-03-25 cs.CV cs.LG
Taming Small-sample Bias in Low-budget Active Learning
Waseda University(早稻田大学);University of Washington(华盛顿大学);Kyoto University(京都大学);University of Maryland, College Park(马里兰大学帕克分校)
针对低预算主动学习中的小样本偏差,提出课程式Firth偏差缩减(CHAIN)自动调整正则化系数,在深度与线性模型上显著提升查询效率与学习进展。
2023-06-19 cs.LG
Influence Selection for Active Learning
Johns Hopkins University(约翰斯·霍普金斯大学);SenseTime Research(商汤科技研究院);CUHK-SenseTime Joint Lab, The Chinese University of Hong Kong(香港中文大学-商汤科技联合实验室,香港中文大学)
现有的主动学习方法通过评估样本的不确定性或其对基于不同任务特定或模型特定标准的标记数据集的多样性的影响来选择样本。在本文中,我们提出了影响选择的主动学习(ISAL),选择未标记的样本,可以提供最积极的影响模型的性能。为了获得主动学习场景下未标记样本的影响,我们设计了未训练的未标记样本影响计算(UUIC)来估计未标记样本的期望梯度,从而计算其影响。为了证明UUIC的有效性,我们提供了理论和实验分析。由于UUIC只依赖于模型梯度,这可以很容易地从任何神经网络获得,我们的主动学习算法是任务和模型不可知的。ISAL在不同的主动学习设置中针对不同的任务和不同的数据集实现了最先进的性能。在CIFAR10、VOC2012和COCO上,与已有方法相比,该方法分别降低了12%、13%和16%的标注成本。
2021-08-20 cs.CV cs.LG
AL-PINN: Active Learning-Driven Physics-Informed Neural Networks for Efficient Sample Selection in Solving Partial Differential Equations
提出AL-PINN框架,结合不确定性量化与主动学习动态优化偏微分方程求解中的样本选择,在减少训练样本的同时保持或提升了模型精度。
2025-05-02 cs.LG
A Kriging-HDMR-based surrogate model with sample pool-free active learning strategy for reliability analysis
College of Water Conservancy and Civil Engineering, South China Agricultural University(华南农业大学水利与土木工程学院)
针对高维可靠性分析中代理模型面临维数灾难的问题,提出基于Kriging-HDMR的分阶段主动学习代理模型方法,通过低维子模型复合逼近高维极限状态函数,并采用无样本池策略选择信息样本,在保证预测精度的同时显著提升计算效率。
2025-08-30 cs.LG
Active Learning from Positive and Unlabeled Data
Sharif University of Technology(谢里夫理工大学)
近年来,主动学习已经发展成为利用用户反馈来提高学习算法准确性的流行范例。主动学习的工作原理是在未标记的数据中选择信息量最大的样本,并向用户查询该点的标记。在主动学习中,许多不同的方法,如不确定性抽样和最小风险抽样,被用来选择最具信息量的样本。虽然目前已经提出了许多主动学习算法,但大多数算法都适用于二进制或多类分类问题,因此不能应用于只有一类样本和一组未标记数据的问题。这样的问题出现在许多现实世界的情况下,被称为学习的问题,从积极的和未标记的数据。在本文中,我们提出了一个主动学习算法,可以工作时,只有一个类的样本,以及一组未标记的数据。我们的方法通过分别估计正和未标记点的概率密度,然后计算信息量的期望值来摆脱超参数,并具有更好的信息量度量。实验和实证分析表明,有前途的结果相比,其他类似的方法。
2016-02-24 cs.LG
Active Distribution Learning from Indirect Samples
Carnegie Mellon University(卡内基梅隆大学)
本文研究了离散型随机变量$X$的概率分布$P_X$的{ \em学习}问题。在每个时间步,我们选择一个可能的$K$函数$g_1, \ldots, g_K$,并观察相应的样本$g_i(X)$。目标是通过使用最小数量的此类连续样本来估计$X$的概率分布。这个问题有几个实际应用,包括非精确信息下的推理和隐私保护统计估计。我们建立了函数$g_1, \ldots, g_K$的渐近相合估计是可能的充分必要条件。我们还推导出估计误差的下限作为总样本的函数,并表明它是有序的实现。利用这些结果,我们提出了一个迭代算法,i)选择函数观察在每一步的基础上过去的意见;和ii)结合所获得的样本估计$p_X$。该算法的性能进行了研究,在各种情况下的数值,并表现出优于基线方法。
2018-08-16 cs.IT cs.LG math.IT
Forgetful Active Learning with Switch Events: Efficient Sampling for Out-of-Distribution Data
Georgia Institute of Technology(佐治亚理工学院)
本文考虑深度分布外主动学习。在实践中,完全训练的神经网络与分布外(OOD)输入随机交互,并在模型表示空间内随机映射异常样本。由于数据表示是训练分布的直接表现,因此数据选择过程在离群值鲁棒性中起着至关重要的作用。对于诸如主动学习之类的范例,这尤其具有挑战性,因为协议不仅必须最有效地提高训练分布的性能,而且还必须进一步呈现鲁棒的表示空间。然而,现有的策略直接基于未标记数据的数据表示的数据选择,这是随机的OOD样本的定义。为了这个目的,我们介绍了健忘的主动学习与开关事件(开关)-一种新的主动学习协议的分布外主动学习。我们没有直接在数据表示上定义样本的重要性,而是在训练过程中制定了具有学习难度的“信息量”。具体来说,我们估计网络“忘记”未标记样本的频率,并查询最“忘记”的样本进行注释。我们报告了超过270个实验,包括四个常用的协议,两个面向对象的基准测试,一个在分布基准测试,和三个不同的架构高达4.5%的准确性提高。
2023-01-12 cs.CV cs.LG
Boosting Active Learning for Speech Recognition with Noisy Pseudo-labeled Samples
Clova AI Research, NAVER Corp.(NAVER公司Clova人工智能研究院);Search Solution Inc.(搜索解决方案公司);Seoul National University(首尔大学)
为大型语音语料库标注译文的成本成为最大限度地享受基于深度神经网络的自动语音识别模型的潜在能力的瓶颈。在本文中,我们提出了一种新的训练管道,以提高传统的主动学习方法的目标是标签有效的学习,以解决上述问题。现有的主动学习方法只关注在标签预算下选择一组信息样本。更进一步,我们建议通过利用未标记的样本,超过标记预算,通过引入有效地补充监督损失的可配置的无监督损失,可以进一步提高训练效率。我们提出了新的无监督损失的一致性正则化的基础上,我们配置适当的增强技术的话语采用一致性正则化的自动语音识别任务。通过对真实世界数据集和真实使用场景的定性和定量实验,我们证明了所提出的训练管道可以提高主动学习方法的有效性,从而成功地降低了可持续的人工标记成本。
2020-11-05 cs.LG eess.AS
Feature Weighting Improves Pool-Based Sequential Active Learning for Regression
Ministry of Education Key Laboratory of Image Processing and Intelligent Control(教育部图像处理与智能控制重点实验室);Hubei Key Laboratory of Brain-inspired Intelligent Systems(湖北省脑启发智能系统重点实验室);School of Artificial Intelligence and Automation, Huazhong University of Science and Technology(华中科技大学人工智能与自动化学院)
本文提出基于池的顺序主动学习方法,通过特征加权优化样本选择,提升回归模型的准确性,实验表明该方法在单任务和多任务回归中均有效。
2026-04-02 cs.LG
Pareto Optimization for Active Learning under Out-of-Distribution Data Scenarios
City University of Hong Kong(香港城市大学);The Hong Kong Polytechnic University(香港理工大学);Baidu Research(百度研究院)
基于池的主动学习(AL)通过从大型未标记数据池中顺序选择信息丰富的未标记样本并从oracle/注释器查询它们的标签,在最小化标记成本方面取得了巨大的成功。然而,现有的AL采样策略可能无法很好地工作在分布外(OOD)的数据场景,其中未标记的数据池包含一些不属于目标任务的类的数据样本。由于AL采样策略和OOD样本检测之间的自然冲突,在OOD数据场景下实现良好的AL性能是一项具有挑战性的任务。AL选择难以被当前基本分类器分类的数据(例如,其预测类概率具有高熵的样本),而OOD样本倾向于具有更均匀的预测类概率(即,更高熵)。在本文中,我们提出了一个抽样方案,蒙特卡洛帕累托优化主动学习(POAL),它选择最佳子集的未标记的样本与固定批量大小的未标记的数据池。我们将AL采样任务转换为多目标优化问题,并且因此我们基于两个冲突目标利用帕累托优化:(1)正常AL数据采样方案(例如,最大熵),以及(2)不是OOD样本的置信度。实验结果表明,它对经典的机器学习(ML)和深度学习(DL)任务的有效性。
2022-07-04 cs.LG
Active Sequential Two-Sample Testing
Arizona State University(亚利桑那州立大学);Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室);IBM Research(IBM研究中心)
本文提出首个主动序贯双样本检验框架,通过自适应分类模型主动标注高依赖度特征,在控制第一类错误的同时显著提升检验功效。
2024-06-28 cs.LG stat.ME
Active anomaly detection based on deep one-class classification
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院);Harvard University(哈佛大学)
本文针对 Deep SVDD 的主动学习,提出基于自适应边界的不确定样本查询策略和结合噪声对比估计的半监督单类分类方法,并在七个异常检测数据集上验证其有效性。
2023-09-18 cs.LG
Semi-Supervised Active Learning with Temporal Output Discrepancy
Baidu Research(百度研究院);Austin Peay State University(奥斯汀佩伊州立大学);Styling AI
虽然深度学习在广泛的任务中取得了成功,但它高度依赖于大量注释数据的收集,这是昂贵且耗时的。为了降低数据标注的成本,已经提出了主动学习来交互式地查询oracle以标注未标记数据集中的一小部分信息样本。受损失较高的样本通常比损失较低的样本对模型的信息量更大这一事实的启发,在本文中,我们提出了一种新的深度主动学习方法,当未标记的样本被认为包含高损失时,该方法会查询Oracle的数据注释。我们的方法的核心是一个测量时间输出离散(TOD),估计样本损失通过评估模型在不同的优化步骤给出的输出的差异。我们的理论研究表明,TOD下限的累积样本损失,因此它可以用来选择信息的未标记的样本。在此基础上,进一步提出了一种有效的无标记数据采样策略和一种无监督学习准则,通过引入无标记数据来提高模型性能。由于TOD的简单性,我们的主动学习方法是有效的,灵活的,任务不可知的。大量的实验结果表明,我们的方法取得了优于国家的最先进的主动学习方法的图像分类和语义分割任务的性能。
2021-07-29 cs.CV cs.LG
Agnostic Active Learning of Single Index Models with Linear Sample Complexity
New York University(纽约大学);Nanyang Technological University(南洋理工大学);Carnegie Mellon University(卡内基梅隆大学)
针对单指标模型的不可知主动学习需求,提出基于统计杠杆得分采样的方法,在f已知和未知的Lipschitz场景下均实现$\tilde{O}(d)$的线性样本复杂度,较现有结果有二次方级提升。
2024-07-09 cs.LG
Active Contrastive Learning of Audio-Visual Video Representations
Microsoft(微软);Sun Yat-sen University(中山大学);Microsoft Research(微软研究院)
对比学习已被证明通过最大化实例的不同视图之间的互信息(MI)的下限来产生音频和视觉数据的可概括表示。然而,获得严格的下限需要MI中的样本量指数,因此需要大量的阴性样本。我们可以通过构建一个大型的基于负样本的字典来合并更多的样本,但是即使有大量的负样本,性能改进也有理论上的限制。我们假设,\textit{random negative sampling}导致一个高度冗余的字典,导致下游任务的次优表示。在本文中,我们提出了一种主动对比学习方法,该方法构建了一个具有多样性和信息性项目的\textit{actively sampled}字典,该字典提高了负样本的质量,并提高了数据中具有高互信息的任务的性能,例如,视频分类我们的模型在具有挑战性的音频和视频下游基准测试中实现了最先进的性能,包括UCF 101,HMDB 51和ESC 50。\footnote{Code is available at: \url{https://github.com/yunyikristy/CM-ACC}}
2021-04-16 cs.CV cs.LG
Maturity-Aware Active Learning for Semantic Segmentation with Hierarchically-Adaptive Sample Assessment
The Pennsylvania State University(宾夕法尼亚州立大学)
针对语义分割中主动学习面临的类别不平衡和样本定义歧义问题,提出MADBAL方法,通过分层多视图分布和成熟度感知不确定性选择关键像素,在Cityscapes和PASCAL VOC上超越现有方法。
2023-08-28 cs.CV cs.LG