Thompson Sampling via Local Uncertainty
McCombs School of Business, The University of Texas at Austin(德克萨斯大学奥斯汀分校麦库姆斯商学院)
汤普森抽样是一种有效的序贯决策算法,它利用后验不确定性来解决探索-开发困境。最近,人们对将贝叶斯神经网络集成到汤普森采样中产生了极大的兴趣。这些方法大多依赖于全局变量的不确定性进行探索。在本文中,我们提出了一个新的概率建模框架汤普森采样,局部潜变量的不确定性被用来采样的平均回报。采用变分推断逼近局部变量的后验,并进一步引入半隐式结构以增强其表达能力。我们在八个上下文bandit基准数据集上的实验结果表明,由局部不确定性引导的Thompson采样在具有低计算复杂度的同时实现了最先进的性能。
2020-08-05 cs.LG stat.ME stat.ML
Sampling-free Epistemic Uncertainty Estimation Using Approximated Variance Propagation
Technical University Munich(慕尼黑工业大学);Autonomous Intelligent Driving GmbH(自主智能驾驶有限公司);Google(谷歌)
提出了一种计算神经网络认知不确定性的无采样方法。认知不确定性是在安全关键型应用中部署深度神经网络的重要数量,因为它代表了人们可以在多大程度上信任对新数据的预测。最近提出了有前途的工作,使用噪声注入结合蒙特卡洛采样在推理时间来估计这个数量(例如蒙特卡洛dropout)。我们的主要贡献是近似的认识不确定性估计这些方法,不需要采样,从而显着降低了计算开销。我们将我们的方法应用于大规模的视觉任务(即,语义分割和深度回归),以证明我们的方法相比,基于采样的方法在质量的不确定性估计以及计算开销方面的优势。
2019-12-02 cs.LG stat.ML
Uncertainty Sampling is Preconditioned Stochastic Gradient Descent on Zero-One Loss
Stanford University(斯坦福大学)
不确定性采样是一种流行的主动学习算法,用于减少学习分类器所需的数据量,但在实践中已经观察到根据初始化收敛到不同的参数,有时甚至收敛到比所有数据上的标准训练更好的参数。在这项工作中,我们给出了这种现象的理论解释,表明凸损失上的不确定性采样可以被解释为执行一个预处理的随机梯度步骤的平滑版本的人口零-一损失,收敛到人口零-一损失。此外,不确定性抽样沿下降方向移动,并收敛到平滑总体的平稳点。合成和真实数据集上的实验支持这种联系。
2018-12-05 cs.LG stat.ML
Improving Uncertainty Sampling with Bell Curve Weight Function
Kwansei Gakuin University(关西学院大学);Universiti Tunku Abdul Rahman(拉曼大学)
针对不确定性采样易受 AUR 与数据集性质影响的问题,提出以 p=0.5 为中心的钟形曲线权重采样,在优先选择不确定实例的同时兼顾其他样本,并在多类数据集上取得更优表现。
2024-03-03 cs.LG
On the Relationship between Data Efficiency and Error for Uncertainty Sampling
Stanford University(斯坦福大学)
虽然主动学习提供了潜在的成本节约,但实际的数据效率--在实践中观察到的获得相同出错率所需的标记数据量的减少是混合的。本文提出了一个基本问题:什么时候主动学习真正有帮助?我们用流行的主动学习算法,不确定性抽样,为逻辑回归提供了一个答案。根据经验,在OpenML的21个数据集上,我们发现数据效率与最终分类器的出错率之间存在很强的负相关性。从理论上讲,我们表明,对于一个变量的不确定性采样,渐近数据效率是在一个常数因子的逆出错率的限制分类。
2018-06-15 cs.LG stat.ML
Active Sentence Learning by Adversarial Uncertainty Sampling in Discrete Space
ByteDance AI Lab(字节跳动人工智能实验室);Shanghai Jiao Tong University(上海交通大学)
句子理解的主动学习旨在发现信息丰富的未标记数据进行注释,从而减少对标记数据的需求。我们认为,典型的主动学习的不确定性抽样方法是耗时的,很难实时工作,这可能会导致无效的样本选择。我们提出了离散空间中的对抗性不确定性采样(AUSDS),以更有效地检索信息丰富的未标记样本。AUSDS将句子映射到由流行的预训练语言模型生成的潜在空间中,并通过对抗攻击发现信息丰富的未标记文本样本进行注释。与传统的不确定性采样方法相比,该方法具有超过10倍的加速比。在五个数据集上的实验结果表明,AUSDS的有效性优于强基线。
2020-10-28 cs.CL cs.LG
Convergence of Uncertainty Sampling for Active Learning
Inria(法国国家信息与自动化研究所);Ecole Normale Supérieure(巴黎高等师范学院);PSL Research University(巴黎文理研究大学)
主动学习中的不确定性采样在实践中被大量使用以降低标注成本。然而,一直没有广泛的共识的功能,用于不确定性估计在二进制分类任务和相应的主动学习算法的收敛保证没有得到很好的理解。对于多类别分类来说,这种情况更具挑战性。在这项工作中,我们提出了一个有效的不确定性估计的二进制分类,我们也扩展到多个类,并提供了一个非渐近收敛速度为我们的不确定性采样为基础的主动学习算法在这两种情况下,在无噪声条件下(即,线性可分离数据)。我们还扩展我们的分析,噪声的情况下,我们的算法在噪声的影响下,在二进制和多类分类任务提供理论保证。
2021-10-29 cs.LG math.OC
STUaNet: Understanding uncertainty in spatiotemporal collective human mobility
University of Science and Technology of China(中国科学技术大学);Beijing Institute of Control Engineering(北京控制工程研究所)
在复杂的城市系统中的高动态性和异构的相互作用,提出了时空人类流动的不确定性量化的问题,以支持关键的决策风险意识的Web应用程序,如城市事件预测的波动是显着的利益。由于不确定性量化了预测结果周围的潜在变化,传统的学习方案总是缺乏不确定性标签,并且传统的不确定性量化方法主要依赖于贝叶斯神经网络或集成方法的统计估计。然而,它们从未涉及到各种背景下不确定性的时空演化,并且在多次训练模型时,统计不确定性估计的效率一直很低。为了提供高质量的不确定性量化的时空预测,我们提出了一个不确定性学习机制,同时估计内部数据质量和量化外部不确定性的各种上下文的相互作用。为了解决缺乏标签的不确定性的问题,我们提出了一个分层的数据湍流计划,我们可以主动注入可控的不确定性的指导,从而提供见解的不确定性量化和弱监督学习。最后,我们通过设计一个基于门控的桥来重新校准和提高预测性能,以自适应地利用学习到的不确定性进行预测。三个真实世界的时空流动集上的广泛实验证实了我们提出的模型在预测和不确定性量化方面的优越性。
2021-02-09 cs.LG cs.NA math.NA
Hard Cases, Bad Labels: Testing Error Exposure and Error Location in Uncertainty Sampling Under Bounded Label Noise
本研究在三种噪声场景下对比不确定性采样与随机采样,发现其标签效率受数据集、预算等因素影响,未找到结构化错误定位带来普遍额外惩罚的证据。
2026-08-17 cs.LG
Enhancing Diffusion-Based Sampling with Molecular Collective Variables
FAIR at Meta(Meta的FAIR);MIT(麻省理工学院);University of Geneva(日内瓦大学);ETH Zurich(苏黎世联邦理工学院)
通过引入集体变量的偏置,提升扩散采样在分子采样中的效率和模式发现能力,首次实现反应采样的高精度模拟。
2025-12-30 cond-mat.mtrl-sci cs.LG physics.chem-ph
Uncertainty for Active Learning on Graphs
Technical University of Munich(慕尼黑工业大学);Munich Data Science Institute(慕尼黑数据科学研究所)
本研究首次系统评估了图上节点分类中的不确定性采样主动学习策略,发现其性能差距,提出基于数据生成过程的贝叶斯不确定性估计及近似方法,以指导最优查询并提升模型数据效率。
2025-02-27 cs.LG
Dropout Strikes Back: Improved Uncertainty Estimation via Diversity Sampling
Skolkovo Institute of Science and Technology (Skoltech)(斯科尔科沃科技学院(Skoltech));Yandex(Yandex(扬德克斯))
机器学习模型的不确定性估计在许多场景中非常重要,例如构建模型预测的置信区间和检测分布外或不利生成的点。在这项工作中,我们表明,修改神经网络中的辍学层的采样分布,提高了不确定性估计的质量。我们的主要思想包括两个主要步骤:计算神经元之间的数据驱动相关性和生成样本,其中包括最大限度地多样化的神经元。在模拟和真实世界的数据上进行的一系列实验中,我们证明了通过基于决定点过程的采样的多样化在回归和分类任务的不确定性估计中实现了最先进的结果。我们的方法的一个重要特征是,它不需要对模型或训练过程进行任何修改,可以直接应用于任何具有dropout层的深度学习模型。
2022-05-04 cs.LG stat.ML
Sampling-free Uncertainty Estimation in Gated Recurrent Units with Exponential Families
University of Wisconsin - Madison(威斯康星大学麦迪逊分校)
最近有一个共同的努力,以获得视觉和机器学习系统中的机制,以提供他们所做的预测的不确定性估计。显然,一个不仅准确,而且在不确定的时候也有感觉的系统有巨大的好处。现有的建议围绕现代深度架构的贝叶斯解释-这些是有效的,但通常需要计算。我们展示了如何经典的想法在文献中的指数族概率网络提供了一个很好的起点,得到门控递归单位(GRU)的不确定性估计。我们的建议直接量化的不确定性确定性,而不需要昂贵的采样为基础的估计。我们演示了如何使用我们的模型来定量和定性地测量无监督图像序列预测中的不确定性。据我们所知,这是第一个结果描述无采样不确定性估计的强大的序列模型,如GRU。
2018-09-02 cs.CV cs.LG stat.ML
Diffusion Model Guided Sampling with Pixel-Wise Aleatoric Uncertainty Estimation
针对扩散模型缺乏图像质量定量评估的问题,提出在采样阶段利用扰动去噪分数方差估计逐像素任意不确定性,并以此引导采样,在 ImageNet 和 CIFAR-10 上改善低质样本过滤与 FID。
2024-11-29 cs.CV cs.LG stat.ML
On weighted uncertainty sampling in active learning
Seal Software
本文探讨了主动学习中不确定性加权的概率抽样。这种方法以前曾被使用过,作者对它的有效性进行了简要的评论。该方案具有几个优点:(1)它在计算上是便宜的,(2)它可以以单通道流式方式实现,这在部署在不同子系统执行建议评分和用户反馈提取的现实世界系统中时是有益的,以及(3)它是容易参数化的。在本文中,我们在公开的数据集上表明,使用概率加权通常是有益的,并且在探索和表示之间取得了很好的折衷,特别是当标记点的起始集有偏差时。
2019-09-11 cs.LG stat.ML
Uncertainty-Aware Learning from Demonstration using Mixture Density Networks with Sampling-Free Variance Modeling
Seoul National University(首尔国立大学);Korea University(高丽大学)
在本文中,我们提出了一种不确定性感知的示教学习方法,提出了一种新的不确定性估计方法,利用混合密度网络建模复杂和嘈杂的人类行为。建议的不确定性采集可以用一个单一的前向路径,而无需蒙特卡罗采样,是适合于实时机器人应用。通过三个不同的合成例子,没有数据,重测量噪声,和组合功能的情况下,建议的不确定性度量的属性进行了分析。我们表明,每种情况下,可以区分使用所提出的不确定性措施,并提出了一个不确定性意识的学习,从演示方法的自动驾驶使用此属性。所提出的不确定性感知的示教学习方法在使用复杂的真实世界驾驶数据集的安全性方面优于其他比较方法。
2017-09-08 cs.AI cs.CV cs.LG
A Strategy for Adaptive Sampling of Multi-fidelity Gaussian Process to Reduce Predictive Uncertainty
General Electric Research(通用电气研究中心)
多保真度高斯过程是解决优化、校准和不确定度量化等计算量大的算法的常用方法。多保真度高斯过程的自适应采样是一个不断变化的任务,因为我们不仅要估计设计变量的下一个采样位置,而且还要估计模拟器的保真度。这个问题通常通过将模拟器的成本作为搜索标准中的另一个因素与不确定性降低度量结合来解决。在这项工作中,我们扩展了传统的设计实验框架的多保真度高斯过程的预测不确定性的基础上的保真度水平和相关的执行成本进行分区。此外,我们利用的概念,量化的影响,增加一个探索性的设计点上的高斯过程的不确定性预测的信徒。我们使用理论实例以及流化床过程稳态热力学操作点的工业应用来证明我们的框架
2019-07-26 cs.LG stat.ML
Poisson Reweighted Laplacian Uncertainty Sampling for Graph-based Active Learning
Oden Institute of Computational Engineering and Sciences, University of Texas(德克萨斯大学奥登计算工程与科学研究所);University of Minnesota(明尼苏达大学)
我们表明,不确定性采样足以实现基于图的主动学习中的探索与利用,只要不确定性的度量与底层模型正确对齐,并且模型正确反映了未探索区域的不确定性。特别是,我们使用最近开发的算法,泊松重新加权拉普拉斯学习(PWLL)的分类器,我们引入了一个采集功能,旨在测量不确定性,在这个基于图形的分类器,识别未探索的数据区域。我们在PWLL中引入对角扰动,它产生解的指数局部化,并控制主动学习中的探索与利用权衡。我们使用PWLL的适定性连续极限来严格分析我们的方法,并给出了一些基于图的图像分类问题的实验结果。
2022-10-27 cs.LG stat.ML
Sampling-based Bayesian Inference with gradient uncertainty
Seoul National University(首尔国立大学)
深度神经网络(NN)已经取得了令人印象深刻的性能,在许多计算机视觉任务上往往超过人类的性能。然而,仍然存在的最具挑战性的问题之一是,神经网络对它们的预测过于自信,当这在安全关键应用中出现时,这可能是非常有害的。在本文中,我们表明,预测的不确定性,可以有效地估计时,我们将梯度不确定性的概念后验抽样。该方法在两个不同的数据集上进行了测试,MNIST用于分布中混淆的示例,notMNIST用于分布外的数据。我们表明,我们的方法能够有效地表示两个数据集上的预测不确定性。
2019-12-27 cs.AI cs.LG stat.ML
Stochastic Optimal Control for Collective Variable Free Sampling of Molecular Transition Paths
University of Oxford(牛津大学);University of Amsterdam(阿姆斯特丹大学);Google DeepMind(谷歌DeepMind)
本文将分子跃迁路径采样关联到Schrödinger桥与随机最优控制,提出不依赖集体变量的PIPS机器学习方法,并在丙氨酸二肽、聚脯氨酸和Chignolin上生成低能跃迁路径。
2023-07-18 cs.LG physics.chem-ph q-bio.BM
High Accuracy Uncertainty-Aware Interatomic Force Modeling with Equivariant Bayesian Neural Networks
针对贝叶斯神经网络在原子间力建模中缺乏高效蒙特卡洛马尔可夫链采样算法的挑战,本文提出一种新采样算法和基于NequIP架构的随机神经网络模型,实现了最先进的预测精度和不确定性度量。
2023-04-05 cs.LG physics.chem-ph physics.comp-ph
Robustly representing uncertainty in deep neural networks through sampling
MRC Cognition and Brain Sciences Unit(MRC认知与脑科学组);University of Cambridge(剑桥大学);Columbia University(哥伦比亚大学)
随着深度神经网络(DNN)被应用于越来越具有挑战性的问题,它们将需要能够表示自己的不确定性。建模不确定性是贝叶斯方法的关键特征之一。最近提出了使用Bernoulli dropout在预测时间采样作为DNN的高效且性能良好的变分推理方法。然而,从其他基于乘性噪声的变分分布的采样尚未被深入研究。我们评估了使用伯努利或高斯乘法掩蔽单元(dropout)或权重(dropconnect)训练的贝叶斯DNN。我们在MNIST和CIFAR-10上测试了贝叶斯卷积神经网络(CNN)概率预测的校准。在预测时间采样增加了DNN的概率预测的校准。采样权重,无论是高斯或伯努利,导致更强大的代表性的不确定性相比,采样的单位。然而,使用高斯或伯努利dropout导致测试集分类精度增加。基于这些发现,我们同时使用了Bernoulli dropconnect和Gaussian dropconnect,我们表明这近似于使用尖峰和平板变分分布,而不增加学习参数的数量。我们发现,尖峰和平板采样具有更高的测试集性能比高斯dropconnect和更鲁棒地表示其不确定性相比,伯努利dropout。
2018-01-20 cs.CV cs.LG cs.NE
Adaptive Sampling to Reduce Epistemic Uncertainty Using Prediction Interval-Generation Neural Networks
Montana State University(蒙大拿州立大学)
本文提出一种利用预测区间生成神经网络度量认知不确定性,并结合高斯过程批量采样策略的自适应采样方法,在合成与农业数据集上比现有方法更快收敛到最低不确定性。
2024-12-13 cs.LG stat.ML
Machine Learning of Slow Collective Variables and Enhanced Sampling via Spatial Techniques
Nicolaus Copernicus University(尼古拉斯·哥白尼大学);Institute of Physics(物理研究所)
本文聚焦于利用数据空间特征而非时间轨迹来识别慢集体变量的机器学习技术,综述了该方向的最新进展并展望了热力学信息驱动的空间学习路径。
2024-12-30 cs.LG physics.chem-ph
ScatterSample: Diversified Label Sampling for Data Efficient Graph Neural Network Learning
Rice University(莱斯大学);Amazon Web Services(亚马逊云科技)
什么样的目标标签对图神经网络(GNN)训练最有效?在某些GNN擅长的应用中,如药物设计或欺诈检测,标记新实例是昂贵的。我们开发了一个数据高效的主动采样框架ScatterSample,在主动学习设置下训练GNN。ScatterSample使用一个名为DiverseUncertainty的采样模块,从样本空间的不同区域收集具有较大不确定性的实例进行标记。为了确保所选节点的多样化,DiverseUncertainty对高不确定性节点进行聚类,并从每个聚类中选择代表性节点。我们的ScatterSample算法得到了严格的理论分析的进一步支持,证明了其与标准主动采样方法相比的优势,标准主动采样方法的目的是简单地最大化不确定性,而不是使样本多样化。特别是,我们证明了ScatterSample能够有效地降低整个样本空间的模型不确定性。我们在五个数据集上的实验表明,ScatterSample的性能明显优于其他GNN主动学习基线,特别是在达到相同测试精度的同时,它将采样成本降低了50%。
2022-06-09 cs.LG
Uncertainty estimation for molecular dynamics and sampling
École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院);Xiamen University(厦门大学);University of Cambridge(剑桥大学)
机器学习模型已经成为一种非常有效的策略,可以避开耗时的电子结构计算,从而实现更大规模、更长时间和更复杂的精确模拟。考虑到这些模型的插值性质,预测的可靠性取决于相空间中的位置,并且获得来自模型训练期间包括的有限数量的参考结构的误差的估计是至关重要的。当使用机器学习潜力对有限温度系综进行采样时,单个配置的不确定性转化为热力学平均值的误差,并在模拟进入先前未探索的区域时提供准确性损失的指示。在这里,我们讨论如何使用不确定性量化,与基线能量模型,或更强大的,但不太准确的原子间的潜力,以获得更有弹性的模拟和支持主动学习策略。此外,我们引入了一个在飞重新称重计划,使它能够估计的不确定性,从长轨迹提取的热力学平均值。我们提出的例子涵盖不同类型的结构和热力学性质,以及水和液体镓等不同的系统。
2021-01-14 cs.LG physics.chem-ph physics.comp-ph
Deep Active Learning for Sequence Labeling Based on Diversity and Uncertainty in Gradient
LG Electronics(LG电子)
最近,一些研究调查了主动学习(AL)的自然语言处理任务,以减轻数据依赖。然而,对于查询选择,这些研究主要依赖于基于不确定性的采样,一般不利用未标记数据的结构信息。这导致批量主动学习设置中的采样偏差,该设置一次选择多个样本。在这项工作中,我们证明了标记的训练数据的量可以减少使用主动学习时,它结合了序列标记任务的不确定性和多样性。我们通过在多个任务,数据集,模型的梯度嵌入方法中选择加权多样性来检查我们基于序列的方法的效果,并始终优于经典的基于不确定性的采样和基于多样性的采样。
2020-11-27 cs.AI cs.CL cs.LG
Calibrated Uncertainty Sampling for Active Learning
Department of Computer Science, Johns Hopkins University(计算机科学系,约翰斯·霍普金斯大学)
针对基于池的主动学习中DNN不确定性未校准导致获取函数失效的问题,提出优先查询校准误差最高样本的新型AF,并从理论和实验上证明其可降低校准与泛化误差。
2025-10-03 cs.LG
Understanding Uncertainty Sampling via Equivalent Loss
Imperial College Business School, Imperial College London(帝国理工学院商学院,帝国理工学院)
本文通过等价损失概念系统研究二分类问题中的不确定性采样算法,证明其等价损失优化特性,并讨论其在主动学习中的优势及扩展应用。
2026-09-09 cs.LG stat.ML
Differentiable sampling of molecular geometries with uncertainty-based adversarial attacks
Massachusetts Institute of Technology(麻省理工学院)
神经网络(NN)原子间势提供势能面的快速预测,与用于产生训练数据的电子结构方法的精度紧密匹配。然而,NN预测仅在学习良好的训练域中是可靠的,并且在外推时显示出不稳定的行为。不确定性量化方法可以标记预测置信度低的原子配置,但是到达这样的不确定区域需要对NN相空间进行昂贵的采样,通常使用原子模拟。在这里,我们利用自动微分驱动原子系统对高可能性,高不确定性的配置,而不需要分子动力学模拟。通过对不确定性度量执行对抗攻击,对扩展NN的训练域的信息几何进行采样。当与主动学习循环结合时,该方法引导并改进NN潜力,同时减少对地面实况方法的调用次数。这种效率被证明采样的动力学障碍和集体变量的分子,并可以扩展到任何NN潜在的架构和材料系统。
2021-03-29 cond-mat.stat-mech cs.LG physics.chem-ph
CertainNet: Sampling-free Uncertainty Estimation for Object Detection
Technische Universität München (TUM)(慕尼黑工业大学);BMW Group(宝马集团);Johns Hopkins University(约翰斯·霍普金斯大学)
估计神经网络的不确定性在安全关键设置中起着重要作用。在自动驾驶的感知中,测量不确定性意味着为下游任务提供额外的校准信息,例如路径规划,可以将其用于安全导航。在这项工作中,我们提出了一种新的无采样不确定性估计方法的目标检测。我们称之为CNET,它是第一个为每个输出信号提供单独的不确定性:对象,类别,位置和大小。为了实现这一点,我们提出了一个不确定性感知的热图,并利用检测器在推理时提供的相邻边界框。我们分别评估了不同不确定性估计的检测性能和质量,以及具有挑战性的域外样本:BDD100K和nuImages,模型在KITTI上训练。此外,我们提出了一个新的度量来评估位置和大小的不确定性。当传输到看不见的数据集时,CNONet的泛化能力比以前的方法和集合要好得多,同时是实时的,并提供高质量和全面的不确定性估计。
2021-12-28 cs.CV cs.LG cs.RO
Gradient and Uncertainty Enhanced Sequential Sampling for Global Fit
ZF Friedrichshafen AG(采埃孚股份公司);Niederrhein University of Applied Sciences(下莱茵应用科学大学);Zalando SE(扎兰多股份公司);PI Probaligence GmbH(PI Probaligence有限公司)
本文提出GUESS自适应序贯采样策略,融合后验不确定性探索与高阶Taylor近似利用,并在26个1至8维基准上对比9种方法,验证其平均样本效率最优。
2023-09-29 cs.LG stat.ML
How Uncertainty Estimation Scales with Sampling in Reasoning Models
Institute of Computer Science(计算机科学研究所);University of Tartu(塔尔图大学)
研究推理模型中不确定性估计随采样规模变化的机制,通过平行采样方法分析自一致性与置信度信号的扩展链式推理表现,发现信号组合能显著提升AUROC性能,且领域依赖性明显。
2026-03-19 cs.AI cs.CL cs.LG
Two-Step Active Learning for Instance Segmentation with Uncertainty and Diversity Sampling
University of Pittsburgh(匹兹堡大学);Google(谷歌);Boston University(波士顿大学)
针对实例分割标注成本高的问题,提出一种融合不确定性与多样性采样的两步事后主动学习算法,在多数据集上表现更优,并将真实俯视图像标注效率提升五倍。
2023-09-28 cs.CV cs.LG
Quantification of Predictive Uncertainty via Inference-Time Sampling
ETH Zurich(苏黎世联邦理工学院);Apagom AG(Apagom股份公司);Microsoft Mixed Reality and AI lab(微软混合现实与人工智能实验室)
提出一种架构无关的事后采样策略,通过推理时采样为前馈确定性网络估计预测不确定性,无需修改架构或训练,能生成多模态预测分布且不确定性与误差高度相关。
2023-08-03 cs.CV cs.LG
Estimating Uncertainty in PET Image Reconstruction via Deep Posterior Sampling
Faculty of Electrical Engineering and Computing, University of Zagreb(萨格勒布大学电气工程与计算学院)
针对PET图像重建的不适定性及现有方法缺乏不确定性量化的问题,提出一种基于条件生成对抗网络的深度后验采样方法,以低剂量PET重建图和高质量MRI为条件生成后验样本,得到具物理意义的不确定性估计。
2023-06-07 cs.CV cs.LG eess.IV
ZigZag: Universal Sampling-free Uncertainty Estimation Through Two-Step Inference
EPFL(洛桑联邦理工学院);RWTH Aachen(亚琛工业大学)
本文提出ZigZag,一种无需采样的通用不确定性估计方法,通过两步推理利用网络自身预测作为额外信息,以较低计算成本获得与集成方法相当的可靠性。
2024-05-26 cs.CV cs.LG
On Feature Relevance Uncertainty: A Monte Carlo Dropout Sampling Approach
EFS(EFS公司)
本文提出蒙特卡洛相关性传播(MCRP)方法,通过蒙特卡洛估计特征相关性分布来计算不确定性分数,弥补现有解释技术无法量化特征相关性不确定性的不足。
2023-04-11 cs.LG stat.ML
On Thompson Sampling and Bilateral Uncertainty in Additive Bayesian Optimization
本文研究加性贝叶斯优化中忽略双边不确定性的汤普森采样近似,通过利用条件独立性实现高效采样,实证表明该近似性能略逊但实际影响微小,支持其实际应用。
2025-10-13 cs.LG stat.ML
Local Uncertainty Sampling for Large-Scale Multi-Class Logistic Regression
Tencent AI Lab(腾讯人工智能实验室);University of Minnesota(明尼苏达大学);Rutgers University(罗格斯大学)
大数据时代构建统计模型的一大挑战是可用数据量远远超过计算能力。解决这个问题的一种常见方法是采用可以由可用计算资源处理的二次采样数据集。在本文中,我们提出了一个一般的子抽样方案的大规模多类逻辑斯谛回归和检查所得的估计量的方差。我们表明,渐近,所提出的方法总是实现一个较小的方差比均匀随机抽样。此外,当类是有条件的不平衡,显着改善均匀采样可以实现。在模拟和真实数据集上将该方法的经验性能与其他方法进行了比较,这些结果与我们的理论分析相匹配并证实了我们的理论分析。
2018-09-13 cs.LG stat.CO stat.ML
Uncertainty-Aware Diffusion Model for Multimodal Highway Trajectory Prediction via DDIM Sampling
本文提出cVMDx模型,通过DDIM采样提升效率和鲁棒性,实现高效多模态轨迹预测并增强不确定性估计能力。
2026-02-24 cs.CV cs.LG cs.RO
Deep Gaussian Covariance Network with Trajectory Sampling for Data-Efficient Policy Search
Zalando SE(扎兰多公司);Institute for Modelling and High Performance Computing(建模与高性能计算研究所);Niederrhein University of Applied Sciences(下莱茵应用科学大学)
提出结合轨迹采样与深度高斯协方差网络(DGCN)的方法,通过概率世界模型提升基于模型的强化学习在最优控制中的数据效率与策略鲁棒性。
2024-03-23 cs.LG stat.ML
Output-Weighted Optimal Sampling for Bayesian Experimental Design and Uncertainty Quantification
Massachusetts Institute of Technology(麻省理工学院)
我们介绍了一类采集功能的样本选择,导致更快的收敛,贝叶斯试验设计和不确定性量化相关的应用程序。该方法遵循主动学习的范式,即利用黑盒函数的现有样本来优化下一个信息量最大的样本。所提出的方法旨在利用黑盒函数的某些输入方向对输出的影响比其他方向更大的事实,这对于表现出罕见和极端事件的系统尤其重要。在这项工作中引入的采集函数利用了似然比的属性,该似然比是一个充当概率采样权重并将主动学习算法引导到被认为最相关的输入空间区域的量。我们证明了所提出的方法在水文系统的不确定性量化以及动力系统中罕见事件的概率量化及其前兆识别方面的优越性。
2021-04-08 cs.IT cs.LG math.IT
EAGLE: Speculative Sampling Requires Rethinking Feature Uncertainty
Peking University(北京大学);Microsoft Research(微软研究院);University of Waterloo(滑铁卢大学);Vector Institute(矢量研究院)
本文提出高效推测采样框架EAGLE,通过引入提前一步的词元序列解决特征级自回归的不确定性,实现精确的次顶层特征预测,在LLaMA2-Chat 70B上取得2.7-3.5倍加速且不改变文本分布。
2025-03-04 cs.CL cs.LG
User-defined Event Sampling and Uncertainty Quantification in Diffusion Models for Physical Dynamical Systems
New York University(纽约大学);Google Research(谷歌研究院)
本研究针对扩散模型在混沌动力系统应用中难以查询隐式极端事件知识的问题,提出条件得分函数的概率近似方案,可实现推理阶段非线性用户自定义事件的条件采样并匹配数据统计特性。
2023-06-13 cs.AI cs.LG
Sparse Uncertainty-Informed Sampling from Federated Streaming Data
Technical UAS Würzburg-Schweinfurt(维尔茨堡-施韦因富特应用技术大学);Bielefeld University(比勒费尔德大学);Center for Artificial Intelligence and Robotics(人工智能与机器人中心)
本文针对联邦客户端系统中资源受限且标注数据稀缺的非I.I.D.数据流采样问题,提出一种稀疏不确定性知情采样方法,可在本地标注预算内即时识别相关观测并做出标注决策,无需内存缓冲,实验证明其能提升训练批次多样性和数值稳健性。
2024-08-30 cs.CV cs.LG
Practical Probabilistic Model-based Deep Reinforcement Learning by Integrating Dropout Uncertainty and Trajectory Sampling
University of Chinese Academy of Sciences(中国科学院大学);Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院)
本文提出DPETS方法,将蒙特卡洛Dropout与轨迹采样结合,通过修正损失函数和过滤偶然不确定性,提升概率MBRL的预测稳定性、精度与控制能力,并在Mujoco和机器人臂任务中验证了其优越性能。
2023-09-20 cs.AI cs.LG cs.SY
Spatial Uncertainty Sampling for End-to-End Control
MIT(麻省理工学院);Harvard(哈佛大学)
端到端训练的神经网络(NN)是自动车辆控制的一种引人注目的方法,因为它们能够学习复杂的任务,而无需手动设计基于规则的决策。然而,具有挑战性的道路条件,模糊的导航情况和安全考虑需要可靠的不确定性估计,以最终采用全尺寸自动驾驶汽车。贝叶斯深度学习方法提供了一种通过在给定一组训练数据的情况下近似权重的后验分布来估计不确定性的方法。深度NN中的丢弃训练近似于深度高斯过程中的贝叶斯推理,因此可以用于估计模型的不确定性。在本文中,我们提出了一种用于端到端控制的贝叶斯NN,该NN通过在训练期间利用特征图相关性来估计不确定性。这种方法实现了改进的模型拟合,以及更严格的不确定性估计,比传统的元素明智的辍学。我们在许多不同道路类型、一天中的时间和天气条件下收集的具有挑战性的数据集上评估了我们的算法,并演示了如何在并行自主设置中将不确定性与人类控制器结合使用。
2019-05-24 cs.AI cs.LG cs.RO
Uncertainty quantification of neural network models of evolving processes via Langevin sampling
Sandia National Laboratories(桑迪亚国家实验室);University of Maryland(马里兰大学)
本研究提出一种基于朗之万采样的可扩展近似推理超网络框架,用于历史依赖过程NODE模型的不确定性量化,可灵活平衡计算成本,在化学反应与材料物理数据上性能优于标准变分推理。
2025-05-19 cs.LG stat.ML
Bridging Diversity and Uncertainty in Active learning with Self-Supervised Pre-Training
ETH Zürich(苏黎世联邦理工学院)
本研究针对主动学习中多样性与不确定性采样策略的整合问题,提出TCM启发式方法,结合TypiClust多样性采样与Margin不确定性采样,缓解冷启动问题,在多数据集高低数据量场景下均优于现有方法。
2025-01-17 cs.AI cs.CV cs.LG
Image segmentation of liver stage malaria infection with spatial uncertainty sampling
Massachusetts Institute of Technology(麻省理工学院);Harvard University(哈佛大学);Howard Hughes Medical Institute(霍华德·休斯医学研究所)
在全球范围内根除疟疾取决于开发有效治疗该病的无声但专性肝脏阶段的药物。药物开发的金标准仍然是体外细胞培养模型中肝脏阶段寄生虫的显微成像。图像分析是这一流程中的主要瓶颈,因为寄生虫在这些模型中的大小、形状和密度具有显著的可变性。与其他高度可变的数据集一样,传统的分割模型由于依赖于手工制作的特征而具有较差的泛化能力;因此,肝脏阶段疟疾图像的手动注释仍然是标准的。为了满足这一需求,我们开发了一个卷积神经网络架构,利用空间丢弃采样的寄生虫分割和认识的不确定性估计的肝脏阶段疟疾的图像。我们的管道产生了与专家注释几乎相同的高精度分割,在肝脏阶段疟疾寄生虫的不同数据集上进行了很好的概括,并促进了学习特征图之间的独立性,以模拟生成的预测的不确定性。
2019-11-30 cs.CV cs.LG eess.IV
Robust Sampling for Active Statistical Inference
Department of Statistics(统计学系);Stanford Data Science(斯坦福数据科学);Department of Mathematics(数学系);Stanford University(斯坦福大学)
针对主动统计推断中不确定性估计不准确导致结果噪声大的问题,提出稳健抽样策略,确保估计器不逊于均匀抽样,在不确定性估计可靠时优于标准主动推断,并在真实数据集上验证了其有效性。
2025-11-12 cs.LG stat.ML
Learning Collective Variables with Synthetic Data Augmentation through Physics-Inspired Geodesic Interpolation
Massachusetts Institute of Technology(麻省理工学院);Systems Biology Program(系统生物学项目);Department of Materials Science and Engineering(材料科学与工程系)
提出一种无模拟的数据增强策略,通过物理启发的测地线插值生成类似蛋白质折叠转变的合成数据,以提升集体变量学习的准确性和采样效率。
2024-07-19 cs.LG physics.chem-ph q-bio.BM
High-Dimensional Uncertainty Quantification via Tensor Regression with Rank Determination and Adaptive Sampling
University of California, Santa Barbara(加州大学圣巴巴拉分校)
制造工艺的变化可以显著影响纳米级电子和光子电路的性能和产量。随机谱方法在量化过程变化的影响方面取得了巨大的成功,但它们受到维数灾难的影响。最近,低秩张量方法已经被开发出来,以减轻这个问题,但两个基本的挑战仍然存在:如何自动确定张量秩和如何自适应地选择信息的模拟样本。本文提出了一种新的张量回归方法来解决这两个挑战。我们使用$\ell_{q}/ \ell_{2}$组稀疏正则化来确定张量秩。由此产生的优化问题可以有效地解决通过交替最小化求解器。我们还提出了一个两阶段的自适应采样方法,以减少模拟成本。我们的方法通过估计Voronoi细胞体积和非线性测量分别考虑勘探和开发。仿真结果表明,该方法仅用100~600个仿真样本就能很好地捕捉到由19~100个随机变量引起的不确定性。
2021-06-27 cs.LG cs.NA math.NA