Active Sequential Two-Sample Testing
Arizona State University(亚利桑那州立大学);Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室);IBM Research(IBM研究中心)
本文提出首个主动序贯双样本检验框架,通过自适应分类模型主动标注高依赖度特征,在控制第一类错误的同时显著提升检验功效。
2024-06-28 cs.LG stat.ME
Nonparametric estimation of the interventional disparity indirect effect among the exposed
本文研究暴露组中干预差异间接效应的识别与非参数估计,推导了有效影响函数及双重稳健的TMLE程序,适用于无删失和右删失生存结果,并通过模拟验证了其性能。
2023-05-17 stat.ME
Adaptive Instrument Design for Indirect Experiments
Stanford University(斯坦福大学);UMass Amherst(马萨诸塞大学阿默斯特分校)
本文针对间接实验中样本效率受用户依从性和估计器选择影响的问题,提出利用影响函数自适应设计工具变量数据收集策略以最小化估计器均方误差,并通过多领域实验验证其显著提升样本效率。
2023-12-05 cs.LG
Optimal Derivative Feedback Control for an Active Magnetic Levitation System: An Experimental Study on Data-Driven Approaches
University of New Hampshire(新罕布什尔大学)
本文通过实验研究,提出了一种基于强化学习的直接无模型控制方法,证明其在主动磁悬浮系统中优于传统间接最优控制方法。
2026-02-06 cs.LG cs.SY eess.SY
Structure Learning in Graphical Models from Indirect Observations
Georgia Institute of Technology(佐治亚理工学院)
本文考虑使用参数和非参数方法学习$p$维随机向量$X \in R^p$的图形结构。与以往直接观测$x$的工作不同,本文考虑了间接观测的情况,即样本$y$通过一个感知矩阵$A \in R^{d\times p}$采集,并被一些加性噪声$w$(即$Y = AX + W$)破坏.对于参数化方法,我们假设$X$是高斯的,即,$x\in R^p\sim N(μ, Σ)$和$Σ\in R^{p\times p}$。我们首次证明了在不确定的感知系统($d < p$)下,使用不充分的样本($n < p$)可以正确地恢复正确的图形结构。特别是,我们表明,对于确切的恢复,我们需要尺寸$d = Ω(p^{0.8})$和样本数$n = Ω(p^{0.8}\log^3 p)$。对于非参数方法,我们假设$X$的非超正态分布而不是高斯分布。在适当的条件下,我们证明了我们的图结构估计可以得到正确的结构。我们推导出最小样本数$n$和维数$d$分别为$n\gtrsim (deg)^4 \log^4 n$和$d \gtrsim p + (deg\cdot\log(d-p))^{β/4}$,其中deg是图模型中的最大马尔可夫毯,$β> 0$是某个固定的正常数。此外,我们得到了一个非渐近一致的PDMATHAMT CDF的估计误差的间接观测噪声分布的不精确知识的约束。据我们所知,这个界限是第一次推导出来的,可以作为一个独立的…
2022-05-06 cs.LG eess.SP stat.ML
Sample Noise Impact on Active Learning
Dataiku
本研究探讨了噪声样本选择对主动学习策略的影响。我们在合成问题和现实生活中的用例中表明,样本噪声的知识可以显着提高主动学习策略的性能。在先前工作的基础上,我们提出了一个鲁棒的采样器,增量加权K均值,它对合成任务带来了显着的改进,但对现实生活中的任务只有轻微的提升。我们希望本文提出的问题能引起社会的兴趣,并为主动学习研究开辟新的途径。
2022-10-21 cs.LG stat.ML
Learning to Sample: an Active Learning Framework
Australian National University(澳大利亚国立大学)
主动学习的元学习算法正在成为学习“最佳”主动学习策略的一个有前途的范例。然而,目前基于学习的主动学习方法仍然需要足够的训练数据,以便推广用于主动学习的元学习模型。这与主动学习的本质相反,主动学习通常从少量的标记样本开始。无法获得大量标记样本来训练元学习模型将不可避免地导致性能低下(例如,不稳定性和过拟合)。在我们的论文中,我们提出了一种新的基于学习的主动学习框架,称为学习样本(LTS)来解决这些问题。该框架有两个关键组件:采样模型和提升模型,它们可以在迭代中相互学习,以提高彼此的性能。在此框架内,抽样模型将不确定性抽样和多样性抽样纳入一个统一的优化过程,使我们能够根据不确定性和多样性的优化整合,积极选择最具代表性和信息量的样本。为了评估LTS框架的有效性,我们对三个不同的分类任务进行了广泛的实验:图像分类、工资水平预测和实体解析。实验结果表明,当标签预算有限时,我们的LTS框架显着优于所有基线,特别是对于具有高度不平衡类的数据集。此外,我们的LTS框架可以有效地解决冷启动问题发生在许多现有的主动学习方法。
2019-09-09 cs.LG stat.ML
STEADY: Simultaneous State Estimation and Dynamics Learning from Indirect Observations
University of Texas at Austin(德克萨斯大学奥斯汀分校)
精确的运动动力学模型在许多机器人应用中起着至关重要的作用,如越野导航和高速驾驶。然而,在学习随机Kinodynamic模型中的许多最先进的方法需要精确测量机器人状态作为标记的输入/输出示例,由于有限的传感器能力和缺乏地面实况,这在户外设置中可能难以获得。在这项工作中,我们提出了一种新的技术,学习神经随机kinodynamic模型的噪声和间接的意见,同时进行状态估计和动态学习。所提出的技术迭代地提高了kinodynamic模型的期望最大化循环,其中E步骤使用粒子滤波采样后的状态轨迹,和M步骤更新的动态更一致的采样轨迹通过随机梯度上升。我们评估我们的方法在模拟和现实世界的基准,并比较它与几个基线技术。我们的方法不仅实现了更高的精度,而且对观测噪声也更鲁棒,从而显示出提高许多其他机器人应用性能的希望。
2022-09-23 cs.LG cs.RO
Active Testing: Sample-Efficient Model Evaluation
OATML, Department of Computer Science(牛津大学计算机科学系OATML);Department of Statistics, Oxford(牛津大学统计系)
我们引入了一个新的框架,我们称之为主动测试的样本效率的模型评估。虽然主动学习等方法减少了模型训练所需的标签数量,但现有文献在很大程度上忽略了标记测试数据的成本,通常不切实际地假设模型评估的测试集很大。这就造成了与实际应用的脱节,在实际应用中,测试标签很重要,也同样昂贵,例如用于优化超参数。主动测试通过仔细选择要标记的测试点来解决这个问题,确保模型评估是样本有效的。为此,我们推导出理论上的接地和直观的收购策略,专门针对主动测试的目标,注意到这些是不同的主动学习。由于主动选择标签会引入偏差,我们进一步展示了如何在减少估计量方差的同时消除这种偏差。主动测试易于实现,可以应用于任何有监督的机器学习方法。我们在包括Fashion-MNIST和CIFAR-100在内的数据集上证明了它在包括WideResNets和高斯过程在内的模型上的有效性。
2021-06-14 cs.LG stat.ML
Rethinking Remaining Useful Life Prediction with Scarce Time Series Data: Regression under Indirect Supervision
School of Electrical and Electronic Engineering, Nanyang Technological University, Singapore(电子与电气工程学院,南洋理工大学,新加坡)
本文提出参数化静态回归框架,用于在数据稀缺情况下进行剩余寿命预测,通过参数化校正过程处理间接监督下的时间依赖性,提升预测精度。
2025-04-12 cs.LG stat.ML
Active Structure Learning of Bayesian Networks in an Observational Setting
Ben-Gurion Univesity of the Negev(内盖夫本-古里安大学)
我们研究了贝叶斯网络的主动结构学习在一个观察的设置,其中有外部限制的变量值的数量,可以从相同的样本。从网络变量的联合分布中抽取随机样本,并且算法迭代地选择在下一个样本中观察哪些变量。我们提出了一种新的主动学习算法,这种设置,发现一个高概率的结构与分数是$ε$ -接近最佳分数。我们表明,对于一类分布,我们长期稳定,样本复杂性降低到一个因素的$\widetildeΩ(d^3)$,可以得到,其中$d$是网络变量的数量。我们进一步表明,在最坏的情况下,样本复杂性的主动算法是保证几乎相同的一个天真的基线算法。为了补充理论结果,我们报告的实验,比较新的主动算法的性能,天真的基线,并证明样本复杂度的改善。在https://github.com/noabdavid/activeBNSL上提供了算法和实验的代码。
2022-07-17 cs.LG stat.ML
On Discarding, Caching, and Recalling Samples in Active Learning
Microsoft Research(微软研究院)
我们解决的挑战,主动学习在非静态环境下的信息资源稀缺。在现实环境中,标记并集成到预测模型中的数据可能会随着时间的推移而变得无效。然而,随着上下文中的切换,数据可以再次变得信息丰富,并且这样的变化可以指示未建模的循环或其他时间动态。我们探讨原则丢弃,缓存,并召回标记的数据点在主动学习的基础上计算的信息的价值。我们审查的关键概念和研究的价值的方法,通过调查的预测性能和成本的模拟和真实世界的数据集获取数据。
2012-06-20 cs.LG stat.ML
On the reusability of samples in active learning
Radboud University(拉德堡德大学);Delft University of Technology(代尔夫特理工大学)
在主动学习中,一个有趣但没有被广泛研究的问题是样本的可重用性:为一个学习者选择的样本在多大程度上可以被另一个学习者重用?本文解释了为什么样本的可重用性是实际利益,为什么可重用性可能是一个问题,如何可重用性可以提高重要性加权主动学习,以及普遍的可重用性仍然存在的障碍。通过理论论证和实践论证,本文认为通用的可重用性是不可能的。因为每个主动学习策略都必须对样本空间的某些区域进行欠采样,所以依赖于这些区域中的样本的学习器将从随机样本选择中学习更多。本文描述了几个重要性加权的主动学习的实验,显示在实践中的可重用性问题的影响。实验证实,通用的可重用性并不存在,尽管在某些情况下-在某些数据集和一些分类器对上-有样本可重用性。最后,本文探讨了保证两个分类器之间可重用性的条件。
2022-06-13 cs.LG
Active Learning under Label Shift
California Institute of Technology(加州理工学院)
我们解决了标签偏移下的主动学习问题:当源域和目标域的类比例不同时。我们引入了一个“中间分布”,将重要性加权和类平衡采样之间的权衡,并提出了在主动学习的组合使用。我们的方法被称为标签偏移下的中介主动学习(MALLS)。它平衡了类别平衡抽样的偏差和重要性加权的方差。我们证明样本的复杂性和泛化保证MALLS表明主动学习降低渐近样本的复杂性,即使在任意标签偏移。我们经验性地证明了MALLS可以扩展到高维数据集,并且可以在深度主动学习任务中将主动学习的样本复杂度降低60%。
2021-02-25 cs.LG stat.ML
Active Preference Learning for Ordering Items In- and Out-of-sample
Chalmers University of Technology(查尔姆斯理工大学);University of Gothenburg(哥德堡大学);Sleep Cycle AB(Sleep Cycle公司)
本文研究带上下文属性物品的样本内外主动偏好排序,提出基于 logistic 模型误差界并融合偶然与认知不确定性的采样策略,实验证明其样本效率和泛化优于基线。
2024-10-27 cs.LG stat.ML
Single Shot Active Learning using Pseudo Annotators
Delft University of Technology(代尔夫特理工大学)
标准的近视主动学习假设每当选择新样本时总是可以获得人类注释。然而,这在许多现实世界的应用中是不现实的,因为人类专家并不是随时都可用。在本文中,我们考虑了Single Shot设置:所有需要的样本应该在Single Shot中选择,并且在选择过程中不能利用人类注释。我们提出了一种新的方法,主动学习通过随机标记(ALRL),它取代了多个,我们将称为,伪注释单个人类注释。每当查询新的未标记样本时,这些伪注释器总是提供统一和随机的标签。这种随机标记使标准主动学习算法也能够表现出Single Shot主动学习所需的探索行为。通过最小化未标记样本和查询样本之间的最近邻距离来选择最具代表性的样本,进一步增强了探索性行为。在真实数据集上的实验表明,该方法优于几种最先进的方法。
2018-05-17 cs.CV cs.LG stat.ML
Active Deep Learning for Classification of Hyperspectral Images
研究了高光谱图像的主动深度学习分类问题。深度学习在许多应用中取得了成功,但需要高质量的标记样本来构建深度学习网络。在高光谱遥感图像中获取高质量的标记样本是一项昂贵的工作。提出了一种基于加权增量字典学习的主动学习算法。该算法选择训练样本,最大限度地提高两个选择标准,即代表性和不确定性。该算法通过在每次迭代中主动选择训练样本来有效地训练深度网络。将该算法应用于高光谱图像的分类,并与其他采用主动学习的分类算法进行了比较。实验结果表明,该算法在高光谱图像分类中是有效的。
2016-11-30 cs.CV cs.LG stat.ML
Pool-Based Unsupervised Active Learning for Regression Using Iterative Representativeness-Diversity Maximization (iRDM)
Huazhong University of Science and Technology(华中科技大学)
主动学习(AL)选择最有益的未标记样本进行标记,因此可以从相同数量的标记样本训练更好的机器学习模型。大多数现有的回归主动学习(ALR)方法都是有监督的,这意味着采样过程必须使用一些标签信息或现有的回归模型。本文考虑完全无监督的ALR,即,如何在不知道任何真实标签信息的情况下选择要标记的样品。我们提出了一种新的无监督ALR方法,迭代代表性多样性最大化(iRDM),以最佳平衡的代表性和多样性的选择样本。在不同领域的12个数据集上的实验证明了该方法的有效性。我们的iRDM可以应用于线性回归和核回归,当标记样本数量较少时,它甚至显着优于监督ALR。
2020-03-31 cs.LG stat.ML
Batch Active Learning Using Determinantal Point Processes
Stanford University(斯坦福大学)
数据汇集和标记是在具有有限数据的各种现实世界应用中采用机器学习算法的主要挑战之一。虽然主动学习方法试图通过仅标记提供高信息的数据样本来解决这个问题,但它们通常具有较大的计算成本,并且在可以并行收集数据的设置中是不切实际的。批量主动学习方法试图通过一次查询批量样本来克服这种计算负担。为了避免样本之间的冗余,以前的作品依赖于一些特设的样本质量和多样性的组合。在本文中,我们提出了一个新的原则批主动学习方法使用行列式点过程,排斥点过程,使不同批次的样本。我们开发了易于处理的算法来近似DPP分布的模式,并提供理论保证的近似程度。我们进一步证明了一个迭代贪婪的方法DPP最大化,具有较低的计算成本,但更差的理论保证,仍然给批量主动学习的竞争力的结果。我们的实验显示了我们的方法在几个数据集上对最先进的基线的价值。
2019-06-19 cs.LG stat.ML
Picking groups instead of samples: A close look at Static Pool-based Meta-Active Learning
Universitat Politècnica de Catalunya(加泰罗尼亚理工大学)
主动学习技术用于解决获取训练标签代价高昂的学习问题。在这项工作中,我们使用Meta-主动学习来学习从无监督输入池中选择样本的子集进行进一步的注释。此方案称为基于静态池的Meta-主动学习。我们建议扩展现有的方法,通过执行选择的方式,不像以前的作品,可以处理选择的每个样本的基础上,整个选定的子集。
2019-11-01 cs.CV cs.LG
Active Bias: Training More Accurate Neural Networks by Emphasizing High Variance Samples
University of Massachusetts, Amherst(马萨诸塞大学阿默斯特分校)
自定进度学习和硬示例挖掘重新加权训练实例,以提高学习准确性。本文提出了两种改进的替代方案的基础上轻量级估计的样本不确定性的随机梯度下降(SGD):方差预测概率的正确类跨迭代的小批量SGD,正确的类概率的决策阈值的接近。在六个数据集上进行的大量实验结果表明,我们的方法可靠地提高了各种网络架构的准确性,包括在其他流行的训练技术(如残差学习、动量、ADAM、批量归一化、dropout和蒸馏)之上的额外增益。
2018-01-06 cs.LG stat.ML
Deep Active Learning by Model Interpretability
RealAI(睿尔人工智能);Tsinghua University(清华大学);Sun Yat-sen University(中山大学)
然而,深度神经网络(DNN)最近在各种研究任务中的成功在很大程度上依赖于大量的标记样本。这在实际应用中可能需要相当大的注释成本。幸运的是,主动学习是一种很有前途的方法,训练高性能的模型,以最小的注释成本。在深度学习背景下,主动学习的关键问题是如何精确识别DNN样本的信息量。本文受DNN中分段线性可解释性的启发,将样本的线性可分区域引入到主动学习问题中,提出了一种基于模型可解释性(DAMI)的深度主动学习方法。为了保持整个未标记数据的最大代表性,DAMI试图在DNN中分段线性可解释性引入的不同线性可分离区域上选择和标记样本。我们专注于建模多层感知(MLP)建模表格数据。具体来说,我们使用MLP中的局部分段解释作为每个样本的表示,并直接运行K-Center聚类来选择和标记样本。需要注意的是,DAMI的整个过程不需要手动调整任何超参数。为了验证我们的方法的有效性,广泛的实验已经进行了几个表格数据集。实验结果表明,DAMI不断优于几个国家的最先进的比较方法。
2020-09-06 cs.LG stat.ML
Adversarial Sampling for Active Learning
ETH Zürich(苏黎世联邦理工学院)
本文提出了一种新的基于GAN的主动学习方法asal,该方法产生高熵样本。ASAL不是直接注释合成样本,而是从池中搜索类似的样本,并将它们包括在内进行训练。因此,新样本的质量很高,注释也很可靠。据我们所知,ASAL是第一个基于GAN的AL方法适用于多类问题,优于随机样本选择。ASAL的另一个好处是与传统的不确定性采样(线性)相比,它的运行时间复杂度小(次线性)。我们提出了一套全面的实验多个传统的数据集,并表明,ASAL优于类似的方法,并明显超过了既定的基线(随机抽样)。在讨论部分,我们分析了ASAL在哪些情况下表现最好,以及为什么有时很难超越随机样本选择。
2019-12-21 cs.CV cs.LG stat.ML
Identifying Wrongly Predicted Samples: A Method for Active Learning
Toyota Motor Europe(丰田汽车欧洲公司)
最先进的机器学习模型需要访问大量的注释数据,以实现所需的性能水平。虽然未标记的数据可以大量使用,甚至是丰富的,但注释过程可能非常昂贵和有限。在假设某些样本对于给定任务比其他样本更重要的情况下,主动学习的目标是识别应该为其获取注释的信息量最大的样本的问题。而不是传统的依赖模型的不确定性作为代理,以利用新的未知标签,在这项工作中,我们提出了一个简单的样本选择标准,超越不确定性。通过先接受模型预测,再判断其对泛化误差的影响,可以更好地识别错误预测样本。我们进一步提出了一个近似我们的标准,是非常有效的,并提供了一个基于相似性的解释。除了在主动学习的标准基准上评估我们的方法之外,我们还考虑了具有挑战性但又现实的不平衡数据场景,其中类别不平等。我们展示了最先进的结果和更好的识别错误预测样本的速度。我们的方法很简单,与模型无关,并且依赖于当前的模型状态,而不需要从头开始重新训练。
2020-10-14 cs.CV cs.LG stat.ML
Multi-View Active Learning in the Non-Realizable Case
Nanjing University(南京大学)
在可实现性假设下,主动学习的样本复杂度已经得到了很好的研究。然而,可实现性假设在实践中很少成立。本文从理论上刻画了多视点环境下不可实现情形下主动学习的样本复杂度。我们证明,与无界Tsybakov噪声,多视图主动学习的样本复杂度可以是$\widetilde{O}(\log\frac{1}ε)$,对比单视图设置,其中多项式的改进是最好的可能的成就。我们还证明,在一般的多视图设置的样本复杂度的主动学习与无界Tsybakov噪声是$\widetilde{O}(\frac{1}ε)$,其中的顺序$1/ε$是独立的参数在Tsybakov噪声,对比以前的多项式边界的顺序$1/ε$是相关的参数在Tsybakov噪声。
2010-10-29 cs.LG
Deep Active Learning with Contrastive Learning Under Realistic Data Pool Assumptions
Seoul National University of Science and Technology(首尔科学技术大学)
主动学习的目标是从未标记的数据池中识别出信息量最大的数据,使模型能够快速达到所需的准确性。这尤其有利于深度神经网络,其通常需要大量的标记样本来实现高性能。大多数现有的主动学习方法都是在理想环境中进行评估的,在理想环境中只有与目标任务相关的样本,即,分布内样本存在于未标记的数据池中。然而,从野外收集的数据池很可能包括与目标任务完全不相关的样本和/或过于模糊而无法分配单个类标签的样本,即使是对于oracle。我们认为,假设一个未标记的数据池组成的样本来自不同的分布是更现实的。在这项工作中,我们引入了新的主动学习基准,包括模糊的,任务无关的分布以及分布样本。我们还提出了一个主动学习方法,旨在获得信息的分布中的样本优先。所提出的方法利用标记和未标记的数据池,并通过对比学习构建的特征空间上的聚类选择样本。实验结果表明,所提出的方法需要更低的注释预算比现有的主动学习方法,以达到相同的准确率水平。
2023-03-25 cs.CV cs.LG
On the Sample Complexity of Active Learning with Membership Queries
University of Arizona(亚利桑那大学);University of Southern California(南加利福尼亚大学)
本文研究主动学习中合成查询的能力,发现其能显著改变学习难度,使某些类别从多项式误差衰减变为指数级可学习,并提出了充分条件与推测性视角。
2026-10-19 cs.LG math.ST stat.ML
Influence Selection for Active Learning
Johns Hopkins University(约翰斯·霍普金斯大学);SenseTime Research(商汤科技研究院);CUHK-SenseTime Joint Lab, The Chinese University of Hong Kong(香港中文大学-商汤科技联合实验室,香港中文大学)
现有的主动学习方法通过评估样本的不确定性或其对基于不同任务特定或模型特定标准的标记数据集的多样性的影响来选择样本。在本文中,我们提出了影响选择的主动学习(ISAL),选择未标记的样本,可以提供最积极的影响模型的性能。为了获得主动学习场景下未标记样本的影响,我们设计了未训练的未标记样本影响计算(UUIC)来估计未标记样本的期望梯度,从而计算其影响。为了证明UUIC的有效性,我们提供了理论和实验分析。由于UUIC只依赖于模型梯度,这可以很容易地从任何神经网络获得,我们的主动学习算法是任务和模型不可知的。ISAL在不同的主动学习设置中针对不同的任务和不同的数据集实现了最先进的性能。在CIFAR10、VOC2012和COCO上,与已有方法相比,该方法分别降低了12%、13%和16%的标注成本。
2021-08-20 cs.CV cs.LG
Transfer Learning of Multiobjective Indirect Low-Thrust Trajectories Using Diffusion Models and Markov Chain Monte Carlo
Department of Mechanical and Aerospace Engineering, Princeton University(普林斯顿大学机械与航空航天工程系)
本文提出一种结合同伦与马尔可夫链蒙特卡罗的迁移学习框架,用于高效生成训练数据,改进多目标优化问题的求解,提升间接轨迹优化的性能。
2026-10-09 cs.LG cs.SY eess.SY
OFAL: An Oracle-Free Active Learning Framework
Department of Electronic Engineering, Amirkabir University of Technology(电子工程系,阿米尔卡比尔技术大学)
本文提出OFAL框架,利用神经网络不确定性将高置信度未标注样本转化为信息丰富的不确定样本,通过Monte Carlo Dropouts和变分自编码器生成新样本,实现无需oracle的主动学习并提升模型准确率。
2025-08-11 cs.LG
Finite-Sample Analysis of Elimination in Active Hypothesis Testing
Department of Electrical and Computer Engineering, University of Florida(佛罗里达大学电气与计算机工程系)
本文研究了主动假设检验中消除对停止时间的影响,提出消除增强的Track-and-Stop算法,通过逐步修剪候选集并重新分配传感努力,推导出非渐近的停止时间上界,并引入 aggressiveness 参数调节消除速度与置信度的权衡。
2026-05-01 cs.LG
Forgetful Active Learning with Switch Events: Efficient Sampling for Out-of-Distribution Data
Georgia Institute of Technology(佐治亚理工学院)
本文考虑深度分布外主动学习。在实践中,完全训练的神经网络与分布外(OOD)输入随机交互,并在模型表示空间内随机映射异常样本。由于数据表示是训练分布的直接表现,因此数据选择过程在离群值鲁棒性中起着至关重要的作用。对于诸如主动学习之类的范例,这尤其具有挑战性,因为协议不仅必须最有效地提高训练分布的性能,而且还必须进一步呈现鲁棒的表示空间。然而,现有的策略直接基于未标记数据的数据表示的数据选择,这是随机的OOD样本的定义。为了这个目的,我们介绍了健忘的主动学习与开关事件(开关)-一种新的主动学习协议的分布外主动学习。我们没有直接在数据表示上定义样本的重要性,而是在训练过程中制定了具有学习难度的“信息量”。具体来说,我们估计网络“忘记”未标记样本的频率,并查询最“忘记”的样本进行注释。我们报告了超过270个实验,包括四个常用的协议,两个面向对象的基准测试,一个在分布基准测试,和三个不同的架构高达4.5%的准确性提高。
2023-01-12 cs.CV cs.LG
Boosting Active Learning for Speech Recognition with Noisy Pseudo-labeled Samples
Clova AI Research, NAVER Corp.(NAVER公司Clova人工智能研究院);Search Solution Inc.(搜索解决方案公司);Seoul National University(首尔大学)
为大型语音语料库标注译文的成本成为最大限度地享受基于深度神经网络的自动语音识别模型的潜在能力的瓶颈。在本文中,我们提出了一种新的训练管道,以提高传统的主动学习方法的目标是标签有效的学习,以解决上述问题。现有的主动学习方法只关注在标签预算下选择一组信息样本。更进一步,我们建议通过利用未标记的样本,超过标记预算,通过引入有效地补充监督损失的可配置的无监督损失,可以进一步提高训练效率。我们提出了新的无监督损失的一致性正则化的基础上,我们配置适当的增强技术的话语采用一致性正则化的自动语音识别任务。通过对真实世界数据集和真实使用场景的定性和定量实验,我们证明了所提出的训练管道可以提高主动学习方法的有效性,从而成功地降低了可持续的人工标记成本。
2020-11-05 cs.LG eess.AS
Global Search for Optimal Low Thrust Spacecraft Trajectories using Diffusion Models and the Indirect Method
PhD Student, Department of Mechanical and Aerospace Engineering, Princeton University, NJ, USA(普林斯顿大学机械与航空航天工程系博士生);Assistant Professor, Department of Mechanical and Aerospace Engineering, Princeton University, NJ, USA(普林斯顿大学机械与航空航天工程系助理教授)
本文提出利用扩散模型和间接方法加速低推力航天器轨迹的全局搜索,通过训练模型预测共轭解结构变化,提升求解效率。
2025-09-17 cs.LG cs.SY eess.SY
Semi-Supervised Active Learning with Temporal Output Discrepancy
Baidu Research(百度研究院);Austin Peay State University(奥斯汀佩伊州立大学);Styling AI
虽然深度学习在广泛的任务中取得了成功,但它高度依赖于大量注释数据的收集,这是昂贵且耗时的。为了降低数据标注的成本,已经提出了主动学习来交互式地查询oracle以标注未标记数据集中的一小部分信息样本。受损失较高的样本通常比损失较低的样本对模型的信息量更大这一事实的启发,在本文中,我们提出了一种新的深度主动学习方法,当未标记的样本被认为包含高损失时,该方法会查询Oracle的数据注释。我们的方法的核心是一个测量时间输出离散(TOD),估计样本损失通过评估模型在不同的优化步骤给出的输出的差异。我们的理论研究表明,TOD下限的累积样本损失,因此它可以用来选择信息的未标记的样本。在此基础上,进一步提出了一种有效的无标记数据采样策略和一种无监督学习准则,通过引入无标记数据来提高模型性能。由于TOD的简单性,我们的主动学习方法是有效的,灵活的,任务不可知的。大量的实验结果表明,我们的方法取得了优于国家的最先进的主动学习方法的图像分类和语义分割任务的性能。
2021-07-29 cs.CV cs.LG
Parametric Neural Amp Modeling with Active Learning
本文提出PANAMA主动学习框架,利用类WaveNet架构和基于梯度的优化策略,在最少旋钮设置样本下高效训练端到端参数化吉他放大器模型。
2025-07-02 cs.LG cs.SD eess.AS
Combining X-Vectors and Bayesian Batch Active Learning: Two-Stage Active Learning Pipeline for Speech Recognition
本文提出一种结合X向量和贝叶斯批量主动学习的两阶段流程,用于优化语音识别中的主动学习效率与数据利用。
2025-04-25 cs.AI cs.CL cs.LG
A Closer Look at Audio-Visual Multi-Person Speech Recognition and Active Speaker Selection
Google(谷歌)
视听自动语音识别是一种在噪声条件下鲁棒的语音识别方法。然而,直到最近,它一直被传统地孤立地研究,假设单个说话面部的视频与音频匹配,并且当多个人在屏幕上时,在推理时选择活动的说话者被作为一个单独的问题放在一边。作为一种替代方案,最近的工作提出了同时解决这两个问题的注意力机制,烘烤扬声器选择问题直接进入一个完全可微的模型。一个有趣的发现是,注意力间接地学习了音频和说话面部之间的关联,尽管这种对应关系在训练时从未明确提供。在目前的工作中,我们进一步调查这种联系,并检查这两个问题之间的相互作用。通过涉及超过5万小时的公共YouTube视频作为训练数据的实验,我们首先评估了注意力层在主动说话人选择任务中的准确性。其次,我们在更仔细的审查下表明,端到端模型的性能至少与一个相当大的两步系统一样好,该系统在各种噪声条件和平行人脸轨迹数量下利用硬决策边界。
2022-05-11 cs.CV cs.LG cs.SD