Uncertainty Disentanglement with Non-stationary Heteroscedastic Gaussian Processes for Active Learning
IIT Gandhinagar(印度理工学院甘地纳加尔分校);Google(谷歌)
高斯过程是贝叶斯非参数模型,在许多领域都有应用。在这项工作中,我们提出了一个非平稳异方差高斯过程模型,可以学习与基于梯度的技术。我们证明了所提出的模型的可解释性分离成任意(不可约)和认知(模型)的不确定性的整体不确定性。我们说明了派生的认知不确定性的主动学习问题的可用性。我们证明了我们的模型与多个数据集上的各种消融的有效性。
2022-10-20 cs.LG stat.ML
Active Domain Adaptation via Clustering Uncertainty-weighted Embeddings
Georgia Tech(佐治亚理工学院);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Boston University(波士顿大学)
将深度神经网络推广到新的目标域对其现实世界的效用至关重要。在实践中,它可能是可行的,以获得一些目标数据标记,但成本效益,它是可取的,选择一个最大的信息子集通过主动学习(AL)。我们研究了主动领域自适应(Active DA)领域转移下的人工智能问题。我们展示了现有的AL方法仅基于模型的不确定性或多样性采样是不太有效的主动DA。我们提出了聚类不确定性加权嵌入(CLUE),主动DA,执行不确定性加权聚类,以确定目标实例的标签是不确定的模型和不同的特征空间的一种新的标签采集策略。CLUE在图像分类的6个不同域移位的学习设置中始终优于Active DA和AL的竞争标签获取策略。
2021-10-10 cs.CV cs.LG
Improving greedy core-set configurations for active learning with uncertainty-scaled distances
University of Toronto(多伦多大学);Vector Institute(向量研究所)
我们通过一个不确定性因素来缩放核心集算法的感知距离,并搜索低置信度配置,发现CIFAR 10/100和SVHN图像分类的样本效率有显著提高,特别是在较大的采集尺寸中。我们展示了我们的修改的必要性,并解释了如何改进是由于概率二次加速收敛的核心集损失,模型的不确定性和误分类的关系的假设下。
2022-02-09 cs.LG
Deep Active Learning for Sequence Labeling Based on Diversity and Uncertainty in Gradient
LG Electronics(LG电子)
最近,一些研究调查了主动学习(AL)的自然语言处理任务,以减轻数据依赖。然而,对于查询选择,这些研究主要依赖于基于不确定性的采样,一般不利用未标记数据的结构信息。这导致批量主动学习设置中的采样偏差,该设置一次选择多个样本。在这项工作中,我们证明了标记的训练数据的量可以减少使用主动学习时,它结合了序列标记任务的不确定性和多样性。我们通过在多个任务,数据集,模型的梯度嵌入方法中选择加权多样性来检查我们基于序列的方法的效果,并始终优于经典的基于不确定性的采样和基于多样性的采样。
2020-11-27 cs.AI cs.CL cs.LG
Depth Uncertainty Networks for Active Learning
University of Cambridge(剑桥大学)
在主动学习中,训练数据集的大小和复杂性会随着时间的推移而变化。在主动学习开始时由可用数据量很好地指定的简单模型可能会因为更多的点被主动采样而遭受偏差。可能非常适合完整数据集的灵活模型在主动学习开始时可能会出现过拟合。我们使用深度不确定性网络(DUN)来解决这个问题,这是一种BNN变体,可以推断网络的深度及其复杂性。我们发现DUN在几个主动学习任务上优于其他BNN变体。重要的是,我们表明,在任务中,DUN表现最好,他们目前显着低于过拟合比基线。
2022-05-04 cs.LG stat.ML
Revisiting Uncertainty-based Query Strategies for Active Learning with Transformers
Leipzig University(莱比锡大学)
主动学习是通过有针对性的标记迭代构建分类模型,从而显著节省标记成本。由于大多数关于主动学习的研究都是在基于transformer的语言模型(Transformers)流行之前进行的,尽管它具有实际的重要性,但迄今为止,很少有论文研究如何将Transformers与主动学习相结合。这可以归因于这样一个事实,即对Transformers使用最先进的查询策略会导致令人望而却步的运行时开销,这实际上使所需的成本节省无效,甚至超过了所需的成本节省。出于这个原因,我们重新审视基于不确定性的查询策略,这在很大程度上优于以前,但特别适合在微调Transformers的上下文中。在广泛的评估中,我们将Transformers连接到以前的研究实验中,评估它们在五个广泛使用的文本分类基准上的性能。对于使用Transformers的主动学习,其他几种基于不确定性的方法优于众所周知的预测熵查询策略,从而挑战其作为文本分类的主动学习中最流行的不确定性基线的地位。
2022-03-20 cs.CL cs.LG
Poisson Reweighted Laplacian Uncertainty Sampling for Graph-based Active Learning
Oden Institute of Computational Engineering and Sciences, University of Texas(德克萨斯大学奥登计算工程与科学研究所);University of Minnesota(明尼苏达大学)
我们表明,不确定性采样足以实现基于图的主动学习中的探索与利用,只要不确定性的度量与底层模型正确对齐,并且模型正确反映了未探索区域的不确定性。特别是,我们使用最近开发的算法,泊松重新加权拉普拉斯学习(PWLL)的分类器,我们引入了一个采集功能,旨在测量不确定性,在这个基于图形的分类器,识别未探索的数据区域。我们在PWLL中引入对角扰动,它产生解的指数局部化,并控制主动学习中的探索与利用权衡。我们使用PWLL的适定性连续极限来严格分析我们的方法,并给出了一些基于图的图像分类问题的实验结果。
2022-10-27 cs.LG stat.ML
Active Sentence Learning by Adversarial Uncertainty Sampling in Discrete Space
ByteDance AI Lab(字节跳动人工智能实验室);Shanghai Jiao Tong University(上海交通大学)
句子理解的主动学习旨在发现信息丰富的未标记数据进行注释,从而减少对标记数据的需求。我们认为,典型的主动学习的不确定性抽样方法是耗时的,很难实时工作,这可能会导致无效的样本选择。我们提出了离散空间中的对抗性不确定性采样(AUSDS),以更有效地检索信息丰富的未标记样本。AUSDS将句子映射到由流行的预训练语言模型生成的潜在空间中,并通过对抗攻击发现信息丰富的未标记文本样本进行注释。与传统的不确定性采样方法相比,该方法具有超过10倍的加速比。在五个数据集上的实验结果表明,AUSDS的有效性优于强基线。
2020-10-28 cs.CL cs.LG
Active Asymmetric Multi-Agent Multimodal Learning under Uncertainty
University of Maryland, College Park(马里兰大学 College Park分校)
在不确定性下主动非对称多智能体多模态学习通过模态层面协作提升事故检测性能
2026-02-04 cs.AI cs.LG
Multi-Agent Active Search using Detection and Location Uncertainty
Carnegie Mellon University(卡内基梅隆大学)
本文提出了一种联合处理目标检测和位置不确定性的推理方法,并基于Thompson sampling构建去中心化多智能体主动搜索决策算法,仿真和真实环境实验证明其优于仅考虑单一不确定性的基线方法。
2023-05-22 cs.LG cs.MA cs.RO
Deep Bayesian Active Learning, A Brief Survey on Recent Advances
West Virginia University(西弗吉尼亚大学);Amirkabir University of Technology(阿米尔卡比尔理工大学)
主动学习框架提供了有效的数据注释,而没有显著的准确性降低。换句话说,主动学习开始用少量的标记数据训练模型,同时探索未标记数据的空间,以便选择要标记的信息量最大的样本。一般来说,表示不确定性在任何主动学习框架中都是至关重要的,然而,深度学习方法不能表示或操纵模型的不确定性。另一方面,从现实世界的应用角度看,不确定性表示在机器学习界越来越受到关注。深度贝叶斯主动学习框架和通常任何贝叶斯主动学习设置在模型中提供实际考虑,其允许使用小数据进行训练,同时表示模型不确定性以用于进一步有效训练。在本文中,我们简要介绍了贝叶斯主动学习,特别是深度贝叶斯主动学习框架的最新进展。
2022-04-21 cs.LG
On uncertainty estimation in active learning for image segmentation
University of Ghent(根特大学);Technical University of Denmark(丹麦技术大学)
不确定性估计在许多应用中对于解释机器学习模型的可信度是重要的。这在数据驱动的主动学习设置中尤其重要,其中目标是以最小的标记工作实现一定的准确性。在这样的设置中,模型学习根据其估计的不确定性选择信息量最大的未标记样本进行注释。高度不确定的预测被认为是更翔实的,以提高模型的性能。在本文中,我们探讨不确定性校准的主动学习框架内的医学图像分割,标签往往是稀缺的。研究了各种不确定性估计方法和采集策略(区域和全图像)。我们观察到,选择区域而不是完整的图像进行注释会导致更好的校准模型。此外,我们的实验表明,与注释完整图像相比,注释区域可以削减50%需要由人类标记的像素。
2020-07-13 cs.CV cs.LG
Improving Active Learning with a Bayesian Representation of Epistemic Uncertainty
Warwick Mathematics Institute, University of Warwick(华威大学华威数学研究所);Division of Mathematical Sciences, Nanyang Technological University(南洋理工大学数学科学学院)
针对主动学习中两类不确定性难以区分且缺乏通用最优策略的问题,提出结合概率与可能性理论表示认知不确定性的新主动学习策略,引入可能性GP并在分类任务的模拟及真实数据集上验证了优异性能。
2024-12-11 cs.LG stat.ME
Calibrated Uncertainty Sampling for Active Learning
Department of Computer Science, Johns Hopkins University(计算机科学系,约翰斯·霍普金斯大学)
针对基于池的主动学习中DNN不确定性未校准导致获取函数失效的问题,提出优先查询校准误差最高样本的新型AF,并从理论和实验上证明其可降低校准与泛化误差。
2025-10-03 cs.LG
Incorporating uncertainty quantification into travel mode choice modeling: a Bayesian neural network (BNN) approach and an uncertainty-guided active survey framework
Tsinghua University(清华大学)
本文提出贝叶斯神经网络出行方式预测模型BTMP及不确定性引导的主动调查框架,通过量化预测不确定性并动态生成高不确定性调查问题,在减少20%至50%调查回答数量的同时实现与随机调查训练模型相当的性能。
2024-06-16 cs.AI cs.LG
The Relevance of Bayesian Layer Positioning to Model Uncertainty in Deep Bayesian Active Learning
Stanford University(斯坦福大学);NVIDIA(英伟达)
深度学习工具的主要挑战之一是它们无法捕捉模型的不确定性。虽然贝叶斯深度学习可以用来解决这个问题,但贝叶斯神经网络通常需要比确定性网络更多的时间和计算能力来进行训练。我们的工作探讨是否需要完全贝叶斯网络来成功地捕捉模型的不确定性。我们改变贝叶斯层在网络中的数量和位置,并将它们在主动学习上的性能与MNIST数据集进行比较。我们发现,我们可以充分捕捉模型的不确定性,只需使用几个贝叶斯层附近的网络输出,结合确定性和贝叶斯网络的优势。
2018-11-29 cs.AI cs.LG stat.ML
On weighted uncertainty sampling in active learning
Seal Software
本文探讨了主动学习中不确定性加权的概率抽样。这种方法以前曾被使用过,作者对它的有效性进行了简要的评论。该方案具有几个优点:(1)它在计算上是便宜的,(2)它可以以单通道流式方式实现,这在部署在不同子系统执行建议评分和用户反馈提取的现实世界系统中时是有益的,以及(3)它是容易参数化的。在本文中,我们在公开的数据集上表明,使用概率加权通常是有益的,并且在探索和表示之间取得了很好的折衷,特别是当标记点的起始集有偏差时。
2019-09-11 cs.LG stat.ML
When Active Learning Fails, Uncalibrated Out of Distribution Uncertainty Quantification Might Be the Problem
University of Toronto(多伦多大学);King Abdullah University of Science and Technology(卡布斯大学);National Institute of Standards and Technology(美国国家标准与技术研究院);Artificial, Inc.(Artificial公司)
研究发现,在主动学习中,未校准的分布外不确定性量化可能影响模型泛化能力,需关注特征输入空间中的经验不确定性。
2025-11-21 cond-mat.mtrl-sci cs.LG
Improving Model-Based Control and Active Exploration with Reconstruction Uncertainty Optimization
Sapienza University of Rome(罗马第一大学);Curious AI
动态系统的未来轨迹的基于模型的预测经常遭受不准确,迫使基于模型的控制算法经常重新规划,因此计算昂贵、次优且不可靠。在这项工作中,我们提出了一个模型不可知的方法来估计模型的不确定性?的预测的基础上重建误差,使用它的控制和勘探。正如我们的实验所示,这种不确定性估计可用于通过选择模型有信心的预测来改善各种环境下的控制性能。它还可以用于主动学习,通过规划具有高不确定性的轨迹来更有效地探索环境,从而实现更快的模型学习。
2018-12-10 cs.AI cs.LG cs.NE
Addressing Bias in Active Learning with Depth Uncertainty Networks... or Not
University of Cambridge(剑桥大学)
Farquhar等人[2021]表明,用参数化不足的模型纠正主动学习偏差可以改善下游性能。然而,对于过度参数化的模型,如NN,校正导致性能下降或不变。他们认为这是由于“过度拟合偏差”抵消了主动学习偏差。我们表明,深度不确定性网络在低过拟合制度,很像欠参数化模型。因此,他们应该看到通过偏差校正的性能提高。令人惊讶的是,他们没有。我们提出,这个负面结果以及Farquhar等人的结果。[2021],可以通过泛化误差的偏差-方差分解的镜头来解释。
2021-12-13 cs.LG stat.ML
Robust Active Measuring under Model Uncertainty
Radboud University Nijmegen(拉德堡德大学奈梅亨分校);Eindhoven University of Technology(埃因霍温理工大学);KTH Royal Institute of Technology(瑞典皇家理工学院);Ruhr-University Bochum(波鸿鲁尔大学)
针对序贯决策中的部分可观测与模型不确定性问题,该研究提出鲁棒主动测量MDP框架及高效求解启发式,抵消模型不确定性导致的测量减少问题,实验验证其可扩展性与性能优于多个基准。
2023-12-18 cs.AI cs.LG
Bayesian semi-supervised learning for uncertainty-calibrated prediction of molecular properties and active learning
University of Cambridge(剑桥大学)
预测小分子的生物活性和物理性质是药物发现的核心挑战。深度学习正在成为首选方法,但迄今为止的研究都集中在平均准确度作为主要指标。然而,要用模型取代昂贵的关键任务实验,高平均精度是不够的:离群值可能会破坏发现活动,因此模型需要可靠地预测何时会失败,即使训练数据有偏差;实验是昂贵的,因此模型需要数据高效,并使用主动学习建议信息丰富的训练集。我们表明,不确定性量化和主动学习可以实现贝叶斯半监督图卷积神经网络。贝叶斯方法通过从后验分布中采样,以统计学原则的方式估计不确定性。半监督学习将表示学习和回归分离,在低数据限制下保持不确定性估计的准确性,并允许模型从一个小的初始训练数据池开始主动学习。我们的研究强调了贝叶斯深度学习在化学领域的前景。
2019-07-25 cs.LG physics.chem-ph stat.ML
Active Client Selection in Federated Trajectory Prediction with Uncertainty-Awareness and Heterogeneous Complexity
Northeastern University(东北大学);University of Connecticut(康涅狄格大学)
针对联邦轨迹预测中场景不确定性与复杂度异质性挑战,提出不确定性感知及联合复杂度-不确定性感知的主动客户端选择方法,在Argoverse上加速收敛并提升预测性能。
2026-09-25 cs.LG
Bridging Diversity and Uncertainty in Active learning with Self-Supervised Pre-Training
ETH Zürich(苏黎世联邦理工学院)
本研究针对主动学习中多样性与不确定性采样策略的整合问题,提出TCM启发式方法,结合TypiClust多样性采样与Margin不确定性采样,缓解冷启动问题,在多数据集高低数据量场景下均优于现有方法。
2025-01-17 cs.AI cs.CV cs.LG
Multiple instance active learning for object detection
University of Chinese Academy of Sciences(中国科学院大学);Tsinghua University(清华大学)
尽管用于图像识别的主动学习取得了实质性进展,但仍然缺乏用于目标检测的实例级主动学习方法。在本文中,我们提出了多实例主动目标检测(MI-AOD),通过观察实例级的不确定性来选择最具信息量的图像进行检测器训练。MI-AOD定义了一个实例不确定性学习模块,该模块利用在标记集上训练的两个对抗性实例分类器的差异来预测未标记集的实例不确定性。MI-AOD将未标记图像视为实例包,将图像中的特征锚视为实例,并通过多实例学习(MIL)方式重新加权实例来估计图像的不确定性。迭代实例不确定性学习和重新加权有助于抑制噪声实例,从而弥合实例不确定性和图像级不确定性之间的差距。实验验证了MI-AOD为实例级主动学习设置了坚实的基线。在常用的目标检测数据集上,MI-AOD优于最先进的方法,具有显著的裕度,特别是当标记集很小时。代码可在https://github.com/yuantn/MI-AOD上获得。
2021-04-06 cs.AI cs.CV cs.LG
Structure and Distribution Metric for Quantifying the Quality of Uncertainty: Assessing Gaussian Processes, Deep Neural Nets, and Deep Neural Operators for Regression
Massachusetts Institute of Technology(麻省理工学院)
我们提出了两个有界的比较指标,可以实现任意尺寸的回归任务。一个是量化不确定性的结构,另一个是量化不确定性的分布。结构度量评估不确定性的形状和位置与真实误差的相似性,而分布度量量化两者之间的支持幅度。我们将这些指标应用于高维和非线性测试用例中的高斯过程(GP),嵌入式深度神经网络(DNN)和嵌入式深度神经运算符(DNO)。我们发现,比较模型的不确定性估计与模型的平方误差提供了一个令人信服的地面真相评估。我们还观察到,DNN和DNO,特别是与GP相比,在高维数据中提供了令人鼓舞的度量值,无论是稀疏还是丰富的数据。
2022-03-09 cs.LG stat.ML
Leveraging Active Subspaces to Capture Epistemic Model Uncertainty in Deep Generative Models for Molecular Design
本研究利用活动子空间近似后验分布,为JT-VAE分子设计模型提供无需改动架构的认知不确定性量化方法,并验证其对分子优化的潜在价值。
2024-08-15 cs.LG q-bio.QM stat.ML
Uncertainty Characteristics Curves: A Systematic Assessment of Prediction Intervals
IBM Research(IBM研究院)
模型不确定性的准确量化一直被认为是可信AI的基本要求。在回归任务中,通常使用校准到特定操作点的预测区间来量化不确定性,这使得不同研究之间的评估和比较变得困难。我们的工作利用:(1)工作特性曲线的概念和(2)简单参考增益的概念,以导出用于预测区间的新的工作点不可知评估方法。本文描述了相应的算法,提供了理论分析,并演示了其在多种场景下的实用性。我们认为,所提出的方法解决了目前需要全面评估的预测区间,从而代表了一个有价值的除了不确定性量化工具箱。
2021-06-01 cs.AI cs.LG stat.ML
Uncertainty Propagation in Deep Neural Network Using Active Subspace
Tsinghua University(清华大学);Princeton University(普林斯顿大学)
深度神经网络(DNN)的输入来自真实世界的数据,通常带有不确定性。然而,以低计算成本将输入特征中的不确定性传播到DNN预测是具有挑战性的。这项工作采用了基于梯度的子空间方法和响应面技术来加速DNN中的不确定性传播。具体而言,采用主动子空间方法来使用DNN输出到输入的梯度来识别输入特征中最重要的子空间。然后,可以有效地构建该低维子空间内的响应面,并且可以通过评估计算成本低的响应面而不是DNN模型来获得预测的不确定性。此外,子空间可以帮助解释对抗性示例。该方法在MNIST数据集与卷积神经网络。代码可在:https://github.com/jiweiqi/nnsubspace.
2020-01-11 cs.CV cs.LG stat.ML
Learning Active Subspaces for Effective and Scalable Uncertainty Quantification in Deep Neural Networks
Brookhaven National Laboratory(布鲁克海文国家实验室)
提出构建神经网络参数低维主动子空间的新方案,通过识别对输出影响最大的参数方向,结合蒙特卡洛采样或变分推断实现有效且可扩展的贝叶斯推断,为回归任务提供可靠的预测和不确定性估计。
2023-09-06 cs.LG stat.ME stat.ML
Understanding Uncertainty-based Active Learning Under Model Mismatch
Texas A&M University(德克萨斯农工大学);University of California, Los Angeles(加州大学洛杉矶分校);Brookhaven National Laboratory(布鲁克海文国家实验室)
本文研究了模型容量对基于不确定性的主动学习(UAL)有效性的影响,发现当模型容量低且无法覆盖真实分布时,UAL性能可能劣于随机采样,此时应采用直接估计预测性能的获取函数以改善效果。
2024-08-24 cs.LG
Interpretable Active Learning
Haverford College(哈弗福德学院);Google Inc.(谷歌公司)
主动学习一直是机器学习的研究主题。然而,随着越来越复杂和不透明的模式成为标准做法,主动学习的过程也变得越来越不透明。很少有研究解释什么样的具体趋势和模式的主动学习策略可能正在探索。这项工作扩展了本地可解释模型不可知解释框架(LIME),为主动学习建议提供解释。我们展示了如何使用LIME来为主动学习策略生成本地忠实的解释,以及如何使用这些解释来理解不同的模型和数据集如何随着时间的推移探索问题空间。为了量化主动学习策略如何查询空间区域的每个子组差异,我们引入了不确定性偏差的概念(基于不同的影响)来衡量一个子组和另一个子组之间模型预测的置信度差异。使用不确定性偏差的措施,我们表明,我们的查询解释准确地反映了小组的重点主动学习查询,允许一个可解释的解释是什么正在学习的点与类似的不确定性来源有他们的不确定性偏差解决。我们证明,这种技术可以应用于跟踪用户定义的集群或自动生成的集群的基础上的不确定性的来源的不确定性偏差。
2018-06-24 cs.LG stat.ML
SMARTQUERY: An Active Learning Framework for Graph Neural Networks through Hybrid Uncertainty Reduction
Visa Research(维萨研究院)
图神经网络在表示学习方面取得了显著的成功。然而,性能的提高是有代价的;获取用于训练的全面标记数据可能非常昂贵。主动学习通过搜索未探索的数据空间并优先选择数据以最大化模型的性能增益来缓解这个问题。在本文中,我们提出了一种新的方法SMARTQUERY,一个框架来学习图神经网络与非常少的标记节点使用混合不确定性减少功能。这是通过两个关键步骤来实现的:(a)通过利用各种显式图信息来设计多阶段主动图学习框架,以及(b)引入标签传播以有效地利用已知标签来评估隐式嵌入信息。使用三个网络数据集上的一组全面的实验,我们证明了我们的方法在非常少的标记数据(每个类最多5个标记节点)上与最先进的方法相比的竞争性能。
2022-12-02 cs.LG
Two-Step Active Learning for Instance Segmentation with Uncertainty and Diversity Sampling
University of Pittsburgh(匹兹堡大学);Google(谷歌);Boston University(波士顿大学)
针对实例分割标注成本高的问题,提出一种融合不确定性与多样性采样的两步事后主动学习算法,在多数据集上表现更优,并将真实俯视图像标注效率提升五倍。
2023-09-28 cs.CV cs.LG
Bidirectional Uncertainty-Based Active Learning for Open Set Annotation
Nanjing University of Aeronautics and Astronautics(南京航空航天大学);Peking University(北京大学)
本文提出BUAL框架,通过随机标签负学习与双向不确定性采样策略,在开放集场景下联合评估正负学习的不确定性,成功选取高信息量已知类样本,实现了最先进的主动学习性能。
2024-07-07 cs.LG
Uncertainty-Calibrated Recommendations for Low-Active Users
Stanford University(斯坦福大学);ByteDance Inc.(字节跳动公司)
提出一个生产就绪的框架,通过校准模型不确定性来为低活跃用户实施风险规避的去增强策略,为高活跃用户采用风险寻求的UCB策略,从而平衡推荐可靠性与多样性。
2026-05-25 cs.IR cs.LG
CUAL: Continual Uncertainty-aware Active Learner
Intel(英特尔公司)
针对已部署AI需在标注预算极少的情况下适配含未知类的持续未标注数据的问题,提出CUAL模型,结合不确定性估计主动标注模糊新类样本并伪标注高置信预测,经多场景验证有效且将开源代码。
2024-12-12 cs.AI cs.LG
AdaptNTK: Adaptive Uncertainty Quantification and Active Learning for Neural Network Potentials
Center for Applied Mathematics, Cornell University(康奈尔大学应用数学中心);R. F. Smith School of Chemical and Biomolecular Engineering, Cornell University(康奈尔大学R.F.史密斯化学与生物分子工程学院)
AdaptNTK是面向神经网络势的单模型框架,通过神经正切核特征空间的正则化马氏距离量化不确定性,在rMD17和Transition-1X主动学习任务中实现低力误差与2.6倍加速,提升了数据效率。
2026-09-02 cs.LG physics.chem-ph
Assessment of Prediction Intervals Using Uncertainty Characteristics Curves
IBM Thomas J. Watson Research Center(IBM托马斯·J·沃森研究中心)
针对回归任务中预测区间依赖特设工作点、难以跨研究比较评估的问题,提出基于工作特征曲线与零参考增益的不确定性特征曲线方法,为预测区间提供不依赖工作点的全面评估手段,补充了不确定性量化工具库。
2023-10-04 cs.AI cs.LG
Incremental Uncertainty-aware Performance Monitoring with Active Labeling Intervention
Siemens AG(西门子公司);Goethe University Frankfurt(法兰克福歌德大学);LMU Munich(慕尼黑大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心);German Cancer Research Center (DKFZ)(德国癌症研究中心);German Cancer Consortium (DKTK)(德国癌症联盟)
针对渐进式分布漂移导致模型性能悄然下降的问题,提出无标签的IUPM方法,利用最优传输估计性能变化并结合不确定性驱动的主动标注,在有限预算下实现更准确监控。
2025-05-11 cs.AI cs.LG stat.ML
UDF-GMA: Uncertainty Disentanglement and Fusion for General Movement Assessment
School of Computing Science University of Glasgow(计算科学学院格拉斯哥大学)
UDF-GMA针对基于姿态的自动化全身运动评估,显式建模并解耦认知与偶然不确定性,再与运动表示融合以提升分类性能,在Pmi-GMA基准上验证了其有效性和泛化性。
2025-07-07 cs.CV cs.LG eess.IV
Active Bayesian Assessment for Black-Box Classifiers
University of California, Irvine(加州大学欧文分校)
机器学习的最新进展已经导致在各种各样的应用中增加了黑盒分类器的部署。在许多这样的情况下,迫切需要可靠地评估这些预先训练的模型的性能,并以标签有效的方式执行这种评估(考虑到标签可能稀缺且收集成本高)。在本文中,我们介绍了一种主动贝叶斯方法来评估分类器的性能,以满足desiderata的可靠性和标签效率。我们首先开发推理策略,以量化常见的评估指标,如准确性,误分类成本和校准误差的不确定性。然后,我们提出了一个通用的框架,主动贝叶斯评估使用推断的不确定性,以指导有效的选择标签的实例,使更好的性能评估与更少的标签。我们通过一系列评估现代神经分类器性能的系统经验实验(例如,ResNet和BERT)在几个标准的图像和文本分类数据集上进行了测试。
2021-03-15 cs.LG stat.ML
In Automation We Trust: Investigating the Role of Uncertainty in Active Learning Systems
University of Colorado Boulder(科罗拉多大学博尔德分校)
我们研究如何不同的主动学习(AL)查询政策,再加上分类不确定性可视化影响分析师的信任自动分类系统。AL的当前标准策略是查询oracle(例如,分析员)来细化分类器具有最高不确定性的数据点的标签。这是自动化系统的最佳策略,因为它产生最大的信息增益。然而,以模型为中心的策略忽略了这种不确定性对系统中人类组件的影响,以及人类在训练后与系统交互的方式。在本文中,我们提出了一个实证研究评估如何AL查询政策和可视化贷款透明度的分类影响信任的图像数据自动分类。我们发现,查询策略显着影响分析师的信任在图像分类系统,我们使用这些结果,提出了一套Oracle查询策略和可视化AL训练阶段使用,可以影响分析师的信任分类。
2020-04-02 cs.HC cs.LG stat.ML
On the Relationship between Data Efficiency and Error for Uncertainty Sampling
Stanford University(斯坦福大学)
虽然主动学习提供了潜在的成本节约,但实际的数据效率--在实践中观察到的获得相同出错率所需的标记数据量的减少是混合的。本文提出了一个基本问题:什么时候主动学习真正有帮助?我们用流行的主动学习算法,不确定性抽样,为逻辑回归提供了一个答案。根据经验,在OpenML的21个数据集上,我们发现数据效率与最终分类器的出错率之间存在很强的负相关性。从理论上讲,我们表明,对于一个变量的不确定性采样,渐近数据效率是在一个常数因子的逆出错率的限制分类。
2018-06-15 cs.LG stat.ML
An Active Learning Method for Diabetic Retinopathy Classification with Uncertainty Quantification
Turner Institute for Brain and Mental Health, Monash University(莫纳什大学特纳大脑与心理健康研究所);Wellcome Centre for Human Neuroimaging, UCL(伦敦大学学院惠康人类神经成像中心);Information Technology University (ITU) Punjab(旁遮普信息技术大学)
近年来,深度学习(DL)技术在不同的医学成像任务上提供了最先进的性能。然而,由于所涉及的时间限制和专家注释者的可用性,高质量注释的医学数据的可用性是非常具有挑战性的,例如,放射科医生此外,DL是数据饥渴型的,它们的训练需要大量的计算资源。深度学习的另一个问题是它的黑盒子性质和内部工作缺乏透明度,这抑制了因果理解和推理。在本文中,我们共同解决这些挑战,提出了一个混合模型,它使用贝叶斯卷积神经网络(BCNN)的不确定性量化,和主动学习的方法来注释未标记的数据。BCNN用作特征描述符,然后将这些特征用于在主动学习设置中训练模型。我们评估了糖尿病视网膜病变分类问题的建议框架,并在不同的指标方面取得了最先进的性能。
2020-12-26 cs.LG
Enhancing Active Learning for Sentinel 2 Imagery through Contrastive Learning and Uncertainty Estimation
本文提出结合半监督学习、对比学习与MC Dropout不确定性估计的主动学习方法,在Sentinel-2影像分析中显著提高标注效率并保持高分类准确率。
2024-06-25 cs.CV cs.LG
Reinforcement Learning for Robotics and Control with Active Uncertainty Reduction
基于无模型强化学习的方法,例如近端策略优化或Q学习,通常需要与环境进行数千次交互,以近似最佳控制器,由于安全性和时间消耗,这在机器人技术中可能并不总是可行的。基于模型的方法,如PILCO或BlackDrops,虽然数据效率高,但提供的解决方案具有有限的鲁棒性和复杂性。为了解决这一问题,我们引入了基于主动不确定性减少的虚拟环境,它是通过在原始环境中进行有限的试验形成的。我们提供了一个有效的方法不确定性管理,这是用来作为一个度量自我改进的点,通过自适应采样的最大预期改善的识别。捕捉不确定性还允许更好地模仿原始系统的奖励响应。我们的方法可以通过基于模型和无模型方法的独特组合来使用复杂的策略结构和奖励函数,同时仍然保持数据效率。我们在OpenAI gym中的几个经典强化学习问题上证明了我们方法的有效性。我们证明,我们的方法提供了一个更好的建模能力,复杂的系统动力学相比,已建立的方法。
2019-05-15 cs.LG cs.RO stat.ML
Fast Neural-Network Approximation of Active Target Search Under Uncertainty
Technical University of Cluj-Napoca(克卢日-纳波卡技术大学)
本文提出用卷积神经网络近似主动搜索算法,以降低在线计算成本,通过多通道网格训练实现目标检测率与传统方法相当。
2026-04-24 cs.LG cs.MA
Evaluating Epistemic Uncertainty: Beyond OOD Detection and Active Learning
Czech Technical University in Prague(布拉格捷克技术大学);Ghent University(根特大学);LMU Munich(慕尼黑大学);MCML(机器学习与数据挖掘中心);DFKI(德国人工智能研究中心)
研究认知不确定性评估,基于认知拒绝选项框架,通过将选择性预测表述为约束优化证明最优选择器,揭示现有文献弱点,提议评估分解的可实现风险等作为诊断,实验表明决策理论排名与代理任务排名有差异。
2026-11-10 cs.AI cs.LG
Gradient-Discrepancy Acquisition for Pool-Based Active Learning
University of Regina(里贾纳大学)
本文提出基于梯度的获取准则,用于替代不确定性采样中的不确定性度量,或整合到考虑采样点分布和标签不确定性的多样性方法中,理论和实验证明其有效性。
2026-05-15 cs.LG
SepsisLab: Early Sepsis Prediction with Uncertainty Quantification and Active Sensing
The Ohio State University(俄亥俄州立大学);IBM Research(IBM研究院);The Ohio State University Wexner Medical Center(俄亥俄州立大学韦克斯纳医学中心)
本研究提出SepsisLab系统,通过定义和量化插补带来的传播不确定性,并结合鲁棒主动感知算法推荐最具信息量的变量,提升了早期脓毒症预测在存在缺失值时的准确性和置信度。
2024-07-24 cs.AI cs.HC cs.LG
Uncertainty Herding: One Active Learning Method for All Label Budgets
University of British Columbia(不列颠哥伦比亚大学);Borealis AI;Amii
本文提出不确定性覆盖目标及不确定性聚集方法,通过贪心优化实现低高预算下均优的主动学习,实验证明其性能全面领先。
2025-02-27 cs.LG stat.ML
Active Learning Using Uncertainty Information
Delft University of Technology(代尔夫特理工大学);National University of Defense Technology(国防科技大学);University of Copenhagen(哥本哈根大学)
许多主动学习方法都属于基于再训练的方法,即选择一个未标记的实例,将其添加到训练集,再训练分类模型,并评估我们选择的标准。然而,由于所选实例的真实标签是未知的,这些方法诉诸于计算关于未知标签的平均情况或最差情况的性能。在本文中,我们提出了一种不同的方法来解决这个问题。特别是,我们的方法旨在利用不确定性信息来提高基于再训练的模型的性能。我们将我们的方法应用于两种最先进的算法,并在各种真实世界的数据集上进行了广泛的实验。结果清楚地表明了所提出的方法的有效性,并表明它可以减少人类标记的努力,在许多现实生活中的应用。
2017-02-27 cs.LG stat.ML
FAL-CUR: Fair Active Learning using Uncertainty and Representativeness on Fair Clustering
Eindhoven University of Technology(埃因霍温理工大学);Leiden University(莱顿大学)
针对现有主动学习方法提升公平性时易降低准确率的问题,提出结合公平聚类与基于不确定性、代表性的采集函数的FAL-CUR策略,在四个真实数据集上实现公平性15%-20%提升且准确率稳定。
2023-12-19 cs.LG