Intrinsic uncertainties and where to find them
GSK.ai, GlaxoSmithKline(葛兰素史克 GSK.ai)
我们介绍了一个框架不确定性估计,既描述和扩展了许多现有的方法。我们将经典训练中涉及的典型超参数视为随机变量,并将其边缘化以捕获参数空间中的各种不确定性来源。我们调查的边缘化的形式和组合是最有用的,从实际的角度来看,标准的基准数据集。此外,我们讨论了一些边缘化可能会产生可靠的估计不确定性,而不需要广泛的超参数调整和/或大规模集成。
2021-07-06 cs.LG stat.ML
Uncertainty-Aware (UNA) Bases for Deep Bayesian Regression Using Multi-Headed Auxiliary Networks
Harvard University(哈佛大学)
神经线性模型(NLM)是深度贝叶斯模型,通过从数据中学习特征,然后对这些特征执行贝叶斯线性回归,从而产生预测不确定性。尽管他们的流行,很少有作品集中在有条不紊地评估这些模型的预测不确定性。在这项工作中,我们证明了NLM的传统训练程序大大低估了分布外输入的不确定性,因此它们不能天真地部署在风险敏感的应用程序中。我们确定了这种行为的根本原因,并提出了一个新的训练框架,捕捉有用的预测不确定性的下游任务。
2021-12-15 cs.LG stat.ML
Accurate Uncertainties for Deep Learning Using Calibrated Regression
Stanford University(斯坦福大学)
在不确定性条件下进行推理的方法是准确可靠的机器学习系统的关键组成部分。贝叶斯方法提供了一个量化不确定性的一般框架。然而,由于模型错误指定和近似推理的使用,贝叶斯不确定性估计通常是不准确的-例如,90%的可信区间可能不包含90%的真实结果。在这里,我们提出了一个校准任何回归算法的简单过程;当应用于贝叶斯和概率模型时,它保证在给定足够数据的情况下产生校准的不确定性估计。我们的程序的灵感来自普拉特缩放和扩展以前的工作分类。我们在贝叶斯线性回归、前馈和递归神经网络上评估了这种方法,发现它始终输出校准良好的可信区间,同时提高了时间序列预测和基于基于模型的强化学习任务的性能。
2018-07-01 cs.LG stat.ML
Cooperative Variance Estimation and Bayesian Neural Networks for Disentangling Aleatoric and Epistemic Uncertainties
Faculty of Mechanical Engineering, Delft University of Technology, Mekelweg 2, Delft, 2628 CD, The Netherlands(代尔夫特理工大学机械工程学院);School of Engineering, Brown University, 184 Hope St., Providence, RI 02912, USA(布朗大学工程学院)
提出通过合作训练方差估计网络与贝叶斯神经网络,实现偶然不确定性与认知不确定性的分离,并提升均值估计性能。
2026-08-03 cs.LG stat.ML
Information-theoretic Analysis of Test Data Sensitivity in Uncertainty
Osaka university(大阪大学)
针对现有不确定性信息论分析无法解释测试-训练数据敏感性的问题,本研究提出新型预测不确定性分解方法,用信息论量定义该敏感性,还扩展贝叶斯元学习分析,首次揭示任务间新型敏感性。
2023-07-23 cs.LG stat.ML
On the role of Model Uncertainties in Bayesian Optimization
Technical University of Denmark(丹麦技术大学)
贝叶斯优化(BO)是一种流行的黑盒优化方法,它依赖于不确定性作为其决策过程的一部分,当决定下一步执行哪个实验。然而,没有太多的工作已经解决了BO算法的性能上的不确定性的影响,并在何种程度上校准的不确定性提高了找到全局最优解的能力。在这项工作中,我们提供了一个广泛的研究BO性能(后悔)和流行的代理模型的不确定性校准之间的关系,并比较它们在合成和现实世界的实验。我们的研究结果证实,高斯过程是强代理模型,他们往往优于其他流行的模型。我们的研究结果进一步显示了校准误差和后悔之间的正相关,但有趣的是,当我们控制分析中的模型类型时,这种关联就消失了。我们还研究了重新校准的效果,并证明它通常不会导致改善遗憾。最后,我们提供了理论上的理由,为什么不确定性校准可能很难结合BO由于小样本量常用。
2023-01-14 cs.LG stat.ML
Uncertainty-aware Attention Graph Neural Network for Defending Adversarial Attacks
University of California, Santa Barbara(加利福尼亚大学圣巴巴拉分校)
随着基于图的学习的日益普及,图神经网络(GNN)成为从图中获得洞察力的重要工具。然而,与已经被广泛探索和彻底测试的传统CNN不同,人们仍然担心GNN在关键环境下的鲁棒性,例如金融服务。主要原因是现有的GNN通常在预测中充当黑箱,并且不提供预测的不确定性。另一方面,贝叶斯深度学习在CNN上的最新进展已经证明了它在量化和解释这种不确定性以加强CNN模型方面的成功。受这些观察的启发,我们提出了UAG,这是第一个通过识别和利用GNN中的层次不确定性来防御对GNN的对抗攻击的系统解决方案。UAG开发了贝叶斯不确定性技术(BUT)来明确捕获GNN中的不确定性,并进一步采用不确定性感知注意力技术(UAT)来防御对GNN的对抗攻击。密集的实验表明,我们提出的防御方法优于国家的最先进的解决方案的显着保证金。
2020-09-22 cs.LG stat.ML
DiffLoad: Uncertainty Quantification in Electrical Load Forecasting with the Diffusion Model
The University of Hong Kong(香港大学);DAMO Academy, Alibaba Group(阿里巴巴达摩院)
本文提出DiffLoad方法,利用扩散Seq2Seq结构估计认知不确定性,并用加性柯西分布估计偶然不确定性,实现负荷预测中两类不确定性的有效分离,同时保证预测精度并适用于不同负荷水平。
2024-09-02 cs.AI cs.LG stat.ML
Pretrained Visual Uncertainties
University of Tübingen(蒂宾根大学);Google Research(谷歌研究院);TUM University(慕尼黑工业大学)
本文提出首批视觉模型预训练不确定性模块,通过解决梯度冲突并加速训练,实现不确定性的零样本迁移,可分离偶然与认知不确定性并支持安全检索。
2024-02-27 cs.CV cs.LG
Temporal Difference Uncertainties as a Signal for Exploration
DeepMind(深度思维)
强化学习中探索的一种有效方法是依赖于智能体对最优策略的不确定性,这可以在表格设置中产生接近最优的探索策略。然而,在涉及函数逼近器的非表格设置中,获得准确的不确定性估计几乎是一个具有挑战性的问题。在本文中,我们强调,价值估计很容易偏置和时间不一致。鉴于此,我们提出了一种新的方法来估计不确定性的价值函数,依赖于诱导分布的时间差误差。该探索信号控制状态-动作转换,以便隔离由于代理参数的不确定性而导致的值的不确定性。因为我们的不确定性度量是以状态-动作转换为条件的,所以我们不能直接作用于这个度量。相反,我们将其作为一个内在的奖励和治疗探索作为一个单独的学习问题,引起代理的时间差的不确定性。我们引入了一个独特的探索策略,学习收集具有高估计不确定性的数据,这使得课程在整个学习过程中平稳变化,并在完美值估计的限制下消失。我们评估了我们的方法在硬勘探任务,包括深海和雅达利2600环境,发现我们提出的探索形式有利于多样化和深入的探索。
2021-07-01 cs.AI cs.LG stat.ML
Retrospective Uncertainties for Deep Models using Vine Copulas
Prescient Design, Genentech(基因泰克Prescient Design部门);Swiss Data Science Center(瑞士数据科学中心);EPFL(洛桑联邦理工学院);ETHZ(苏黎世联邦理工学院);Barcelona Supercomputing Center(巴塞罗那超级计算中心)
尽管深度模型作为学习机器取得了重大进展,但不确定性估计仍然是一个重大挑战。现有的解决方案依赖于修改的损失函数或架构改变。我们建议通过补充任何网络来弥补缺乏内置的不确定性估计,回顾性地,在一个整体复合中,我们称之为Vine-Copula神经网络(VCNN)。通过合成和真实数据实验,我们表明VCNN可以是任务(回归/分类)和架构(循环,完全连接)不可知的,同时提供可靠和更好的校准不确定性估计,与最先进的内置不确定性解决方案相当。
2023-02-24 cs.LG
A Deeper Look into Aleatoric and Epistemic Uncertainty Disentanglement
University of Groningen(格罗宁根大学);Pontifical Catholic University of Peru(秘鲁天主大学)
神经网络在许多任务中无处不在,但信任它们的预测是一个悬而未决的问题。不确定性量化是许多应用所需要的,而解开任意和认知的不确定性是最好的。在本文中,我们概括的方法,以产生解开的不确定性与不同的不确定性量化方法,并评估其能力,产生解开的不确定性。我们的研究结果表明:在学习任意性和认知不确定性之间存在交互作用,这是出乎意料的并且违反了关于任意性不确定性的假设,一些方法如Flipout产生零认知不确定性,任意性不确定性在分布外设置中是不可靠的,并且集合提供总体上最好的解开质量。我们还探讨了采样softmax函数中的样本数超参数所产生的误差,推荐N > 100个样本。我们希望我们的公式和结果可以帮助从业者和研究人员选择不确定性方法,并扩大使用解开的不确定性,以及激励更多的研究这一主题。
2022-04-20 cs.CV cs.LG
DEMAU: Decompose, Explore, Model and Analyse Uncertainties
Université de Rennes(雷恩大学);CNRS(法国国家科学研究中心);Orange innovation(奥兰治创新公司);IRISA(法国国家信息与自动化研究所雷恩-南特信息技术研究院);DRUID(德鲁伊德研究所)
针对机器学习中模型不确定性的量化分解需求,研究团队推出开源工具DEMAU,可可视化探索分类模型的总、认知及偶然不确定性,助力主动学习等交互场景。
2024-09-12 cs.LG
Exploiting Uncertainties from Ensemble Learners to Improve Decision-Making in Healthcare AI
University of California, Berkeley(加州大学伯克利分校);University of Chicago(芝加哥大学);Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室)
包围学习被广泛应用于机器学习(ML)中,以提高模型性能并降低决策风险。在这种方法中,来自不同学习者集合的预测被组合以获得联合决策。最近,在文献中已经探索了各种方法,用于使用集成学习来估计决策不确定性;然而,确定哪些度量更适合某些决策应用仍然是一项具有挑战性的任务。在本文中,我们研究了以下关键的研究问题,在选择的不确定性度量:当一个不确定性度量优于其他?我们通过对集成学习中两个常用的不确定性度量,即集成均值和集成方差的严格分析来回答这个问题。我们表明,在温和的假设下,集成学习器,集成平均值是最好的集成方差作为决策的不确定性度量。我们经验验证我们的假设和理论结果,通过广泛的案例研究:糖尿病视网膜病变的诊断。
2020-07-12 cs.CV cs.LG stat.ML
Combined Data and Deep Learning Model Uncertainties: An Application to the Measurement of Solid Fuel Regression Rate
Data Intensive Studies Center(数据密集型研究中心);Tufts University(塔夫茨大学);University at Buffalo, The State University of New York(纽约州立大学布法罗分校)
在复杂的物理过程表征中,例如测量固体混合火箭燃料的回归率,其中观测数据和所使用的模型都具有来自多个来源的不确定性,以系统的方式将这些数据结合起来以获得感兴趣的量(QoI)仍然是一个挑战。在本文中,我们提出了一个前向传播不确定性量化(UQ)的过程,以产生一个概率分布的观测回归率$\dot{r}$。我们表征了来自实验的两个输入数据不确定性来源(来自相机$U_c$和非零角度燃料放置$U_γ$的失真)、来自深度神经网络($U_m$)的预测和模型形式不确定性以及来自用于训练它的手动分割图像($U_s$)的可变性。我们进行了七个案例研究,这些不确定性来源的组合与模型形式的不确定性。本文的主要贡献是调查和列入实验图像数据的不确定性,以及如何将它们包括在一个工作流程时,生活质量是多个顺序过程的结果。
2023-03-18 cs.LG
Global Convolutional Neural Processes
University of New South Wales(新南威尔士大学);University of Technology Sydney(悉尼科技大学);University of Queensland(昆士兰大学)
处理机器学习模型中的不确定性的能力对它们的预测能力本身来说已经变得同等重要,如果不是更重要的话。例如,在大流行期间,政府政策和个人决策不断围绕不确定性做出。针对这一点,神经过程族(NPF)最近通过桥接高斯过程和神经网络来照亮具有不确定性的预测。潜神经过程是NPF的一个成员,被认为能够模拟某些点上的不确定性(局部不确定性)以及一般函数先验(全局不确定性)。尽管如此,一些关键问题仍然没有得到解决,例如全球不确定性的正式定义,全球不确定性背后的因果关系,以及生成模型对全球不确定性的操纵。关于这一点,我们建立了一个成员GloBal卷积神经过程(GBCoNP),它在潜在的NPF中实现了SOTA对数似然。它设计了一个全局不确定性表示p(z),它是离散输入空间上的一个聚合。讨论了全局不确定性程度与任务内多样性之间的因果关系。在各种场景下分析学习的先验知识,包括1D,2D和新提出的时空COVID数据集。我们对全局不确定性的操作不仅实现了生成所需的样本来解决少样本学习,而且还实现了对函数先验的概率评估。
2021-09-02 cs.LG
Estimating Risk and Uncertainty in Deep Reinforcement Learning
Ecole des Ponts Paristech(巴黎高科路桥学院)
强化学习代理面临两种类型的不确定性。认知的不确定性源于有限的数据,是有用的探索,而随机的不确定性来自随机环境,必须考虑在风险敏感的应用。我们强调了同时估计这两者所面临的挑战,并提出了一个框架来解开和估计这些不确定性的学习Q值。我们推导出这些不确定性的无偏估计,并引入了一个不确定性感知的DQN算法,我们展示了安全的学习行为,并在MinAtar测试平台上优于其他DQN变体。
2020-09-09 cs.AI cs.LG stat.ML
Adaptive Bounding Box Uncertainties via Two-Step Conformal Prediction
University of Amsterdam(阿姆斯特丹大学);Robert Bosch GmbH(罗伯特·博世有限公司);Bosch Center for AI(博世人工智能中心)
针对多目标检测中边界框不确定性量化问题,提出两步保形预测方法,将类别标签预测的不确定性传播至边界框区间,并结合集成与分位数回归实现适应物体大小的均衡覆盖率,在真实数据集上验证了其满足期望覆盖率且区间紧凑。
2024-07-30 cs.CV cs.LG stat.ML
Learning to Forecast Aleatoric and Epistemic Uncertainties over Long Horizon Trajectories
University of Colorado Boulder(科罗拉多大学博尔德分校);The Charles Stark Draper Laboratory, Inc.(查尔斯·斯塔克·德雷珀实验室公司)
赋予自主智能体预测自己的结果和不确定性的能力,将使它们能够交流自己的能力,并更安全地使用。我们完成这一点,通过使用一个学习的世界模型的代理系统,以预测在很长一段时间内的全部代理轨迹。现实世界的系统涉及任意和认知不确定性的重要来源,它们在轨迹预测中随着时间的推移而复合和相互作用。我们开发了一个深度生成的世界模型,它量化了任意的不确定性,同时在学习过程中纳入了认知不确定性的影响。我们展示了两个强化学习问题,我们的不确定性模型在整个轨迹范围内产生校准的结果不确定性估计。
2023-02-17 cs.AI cs.LG cs.RO
Position: Uncertainty Quantification Needs Reassessment for Large-language Model Agents
Apple(苹果公司);Technical University of Munich(慕尼黑工业大学)
本文指出传统偶然与认知不确定性二分法不适用于交互式LLM智能体,提出未明确指定不确定性、交互式学习和输出不确定性三个新研究方向,以提升交互的透明度、可信度与直观性。
2025-05-28 cs.AI cs.CL cs.LG
Continual Uncertainty Learning for Robust Control of Nonlinear Systems with Multiple Heterogeneous Uncertainties
本研究提出基于课程的学习框架,用于鲁棒控制问题中的多重不确定性处理,通过分解复杂问题为持续学习任务,提升学习效率和控制器鲁棒性。
2026-08-25 cs.AI cs.LG cs.SY
Understanding Event-Generation Networks via Uncertainties
Universität Heidelberg(海德堡大学);Heidelberg Collaboratory for Image Processing(海德堡图像处理合作实验室)
随着生成神经网络在LHC模拟中的日益成功,关键问题是如何控制网络并为其事件输出分配不确定性。我们展示了贝叶斯规范化流或可逆网络如何从训练中捕获不确定性,并将其转化为事件权重的不确定性。从根本上说,密度和不确定性估计之间的相互作用表明,这些网络学习函数类似于参数拟合,而不是分箱事件计数。
2021-10-01 cs.LG hep-ph
Evaluating Point-Prediction Uncertainties in Neural Networks for Drug Discovery
Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室);Frederick National Laboratory for Cancer Research(弗雷德里克国家癌症研究实验室)
神经网络(NN)模型提供了加速药物发现过程并降低其失败率的潜力。NN模型的成功需要不确定性量化(UQ),因为药物发现探索了训练数据分布之外的化学空间。标准NN模型不提供不确定性信息。将贝叶斯模型与NN模型相结合的方法解决了这个问题,但是难以实现并且训练更昂贵。有些方法需要改变神经网络的结构或训练过程,限制了神经网络模型的选择。此外,预测的不确定性可能来自不同的来源。有能力分别对不同类型的预测不确定性进行建模是很重要的,因为模型可以根据不确定性的来源采取各种行动。在本文中,我们研究了UQ方法,估计不同来源的预测不确定性的NN模型,旨在药物发现。我们利用我们对化合物的先验知识来设计实验。通过利用可视化方法,我们从化合物的集合中创建非重叠和化学上不同的分区。这些分区被用作训练集和测试集分割,以探索NN模型的不确定性。我们展示了所选方法估计的不确定性如何描述不同分区和特征化方案下的不确定性来源以及与预测误差的关系。
2022-10-31 cs.LG stat.AP
Uncertainties of Latent Representations in Computer Vision
Eberhard Karls Universität Tübingen(图宾根大学)
本论文通过将不确定性估计直接添加到预训练计算机视觉模型的潜在表示向量中,提出MCInfoNCE和损失预测等方法,并构建URL基准,使不确定性量化易于获取且可证明正确。
2024-08-26 cs.AI cs.CV cs.LG
Uncertainty Modeling of Emerging Device-based Computing-in-Memory Neural Accelerators with Application to Neural Architecture Search
University of Notre Dame(圣母大学);National Tsing Hua University(国立清华大学)
新兴的基于设备的内存计算(CiM)已被证明是高能效深度神经网络(DNN)计算的一个有前途的候选者。然而,大多数新兴设备都存在不确定性问题,导致存储的实际数据与其设计的权重值之间存在差异。这导致从训练模型到实际部署平台的准确性下降。在这项工作中,我们对DNN模型中这种不确定性引起的变化的影响进行了全面的分析。为了减少设备不确定性的影响,我们提出了UAE,这是一种不确定性感知的神经架构搜索方案,用于识别对设备不确定性既准确又鲁棒的DNN模型。
2021-07-06 cs.AR cs.LG
Learning Enhanced Structural Representations with Block-Based Uncertainties for Ocean Floor Mapping
本文提出一种基于块状不确定性的方法,利用VQ-VAE架构在保持地形特征的同时,通过离散潜在表示实现空间自适应的置信度估计,提升海底制图的重建质量和不确定性估计可靠性。
2025-04-19 cs.AI cs.CE cs.CV
Conformal Prediction on Quantifying Uncertainty of Dynamic Systems
Zhejiang University(浙江大学)
本文提出将保形预测用于动态系统不确定性量化,结合基准算子学习方法,并在偏微分方程数据集上比较蒙特卡洛Dropout和集成方法,通过直接滚动预测实现有效评估。
2024-12-17 cs.AI cs.LG
Improved Uncertainty Quantification in Physics-Informed Neural Networks Using Error Bounds and Solution Bundles
Departamento de Ciencia de la Computación, Pontificia Universidad Católica de Chile(计算机科学系,天主教智利大学);Department of Computer Science, University of Tübingen(计算机科学系,图宾根大学);John A. Paulson School of Engineering and Applied Sciences, Harvard University(工程与应用科学学院,哈佛大学)
本文提出利用误差界构建异方差方差并结合解束训练贝叶斯神经网络,以改进物理信息神经网络的不确定性量化,并将其应用于宇宙学反问题的参数估计。
2025-06-04 cs.AI cs.LG physics.comp-ph
A unified uncertainty-aware exploration: Combining epistemic and aleatory uncertainty
University of Toronto(多伦多大学);Defence Research and Development Canada (DRDC) Toronto Research Centre(加拿大国防研究与发展署多伦多研究中心)
本文提出一种统一算法,通过扩展分布式RL量化认知与偶然不确定性的综合效应,解决现有加性组合导致过度冒险的问题,实现了更优的风险敏感探索。
2024-01-05 cs.LG
Combining Model and Parameter Uncertainty in Bayesian Neural Networks
Norwegian Computing Center(挪威计算中心);University of Oslo(奥斯陆大学)
由于可扩展的近似贝叶斯推断技术的发展,贝叶斯神经网络(BNN)最近在深度学习社区重新获得了大量的关注。使用贝叶斯方法有几个优点:参数和预测的不确定性变得容易获得,便于严格的统计分析。此外,还可以纳入先前的知识。然而,到目前为止,还没有可扩展的技术能够结合模型(结构)和参数的不确定性。本文在BNN中引入模型不确定性的概念,从而在模型和参数的联合空间中进行推理。此外,我们建议一个适应的可扩展的变分推断方法与重新参数化的边际包含概率,将模型空间的约束。最后,我们表明,通过贝叶斯模型平均和贝叶斯模型选择模型的不确定性,允许大幅稀疏的BNN的结构。
2019-05-25 cs.LG math.OC stat.CO
Uncertainty categories in medical image segmentation: a study of source-related diversity
The University of Adelaide(阿德莱德大学);University of Oxford(牛津大学)
测量深度学习方法输出的不确定性在几个方面是有用的,例如帮助解释输出,帮助建立最终用户的信心,以及改善网络的训练和性能。已经提出了几种不同的方法来估计不确定性,包括分别使用测试时丢弃和增强的认知(与所使用的模型有关)和任意(与数据有关)来源。这些不确定性来源不仅不同,而且受参数设置(例如,辍学率或类型和水平的增加),建立更明显的不确定性类别。这项工作调查如何不同的不确定性是从这些类别,规模和空间格局,以经验解决的问题,他们是否提供有用的不同的信息,应该被捕获时使用的不确定性。我们采用特征良好的BraTS挑战数据集来证明,不同类别的不确定性在幅度和空间模式上都存在实质性差异,并讨论了这些不确定性在各种用例中的影响。
2022-09-17 cs.AI cs.CV cs.LG
Ensemble models outperform single model uncertainties and predictions for operator-learning of hypersonic flows
Johns Hopkins University Applied Physics Laboratory(约翰斯·霍普金斯大学应用物理实验室)
针对高超声速流高保真数据有限、SciML模型缺乏不确定性评估的问题,本研究用三种机制扩展DeepONet并在钝锥高超声速流数据上测试,发现集成模型在误差和不确定性校准上均更优。
2023-11-03 cs.LG physics.flu-dyn
Bayesian Methods in Automated Vehicle's Car-following Uncertainties: Enabling Strategic Decision Making
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本文提出了一种方法来估计不确定性的自动车辆(AV)动态实时通过贝叶斯推理。基于估计的不确定性,该方法的目的是不断监测车辆跟随(CF)性能的AV,以支持战略行动,以保持所需的性能。我们的方法包括三个连续的组成部分:(i)随机梯度Langevin动力学(SGLD)采用估计参数的不确定性相对于车辆动态实时,(ii)动态监测的车辆跟驰稳定性(本地和字符串明智),和(iii)的战略行动,控制调整,如果检测到异常。所提出的方法提供了手段,以衡量AV汽车跟随性能的实时和保持所需的性能对实时的不确定性,在车辆控制算法中未考虑。
2022-10-25 cs.LG cs.RO cs.SY
Uncertainty Injection: A Deep Learning Method for Robust Optimization
University of Toronto(多伦多大学)
本文提出了一种不确定性注入的范例来训练深度学习模型来解决鲁棒优化问题。现有的大多数关于深度学习的研究都集中在模型学习能力上,同时假设输入数据的质量和准确性可以得到保证。然而,在解决优化问题的深度学习的实际应用中,输入的准确性(在这种情况下是问题参数)起着很大的作用。这是因为,在许多情况下,准确地获得问题参数通常是昂贵的或有时是不可能的,并且相应地,非常期望开发能够考虑输入中的不确定性并产生对这些不确定性鲁棒的解决方案的学习算法。本文提出了一种新的不确定性注入方案,用于训练机器学习模型,该模型能够隐式地考虑不确定性并产生统计上鲁棒的解决方案。我们进一步确定的无线通信作为一个应用领域的不确定性是普遍存在的问题参数,如信道系数。我们在两个应用程序中所提出的训练方案的有效性:多用户多输入多输出(MIMO)下行链路传输的鲁棒功率加载;和设备到设备(D2 D)网络的鲁棒功率控制。
2023-02-27 cs.AI cs.LG cs.NI
DeepUQ: Assessing the Aleatoric Uncertainties from two Deep Learning Methods
Fermi National Accelerator Laboratory(费米国家加速器实验室);University of Chicago(芝加哥大学);Kavli Institute for Cosmological Physics(卡弗里宇宙物理研究所)
本文系统比较了Deep Ensembles和Deep Evidential Regression在0D和2D数据上的偶然不确定性量化表现,发现预测不确定性随噪声缩放但存在校准偏差,表明高噪声高维场景需进一步事后校准。
2024-11-13 cs.AI cs.LG
A Robust Learning Methodology for Uncertainty-aware Scientific Machine Learning models
Universidade Federal da Bahia(巴伊亚联邦大学);Faculty of Engineering, University of Porto(波尔图大学工程学院)
鲁棒学习是科学机器学习(SciML)中的一个重要问题。有几个作品在文学解决这个问题。然而,对于能够同时考虑SciML模型识别中涉及的所有不同不确定性分量的方法的需求越来越大。因此,这项工作提出了一个全面的方法,SciML的不确定性评估,也考虑了几个可能的来源,在识别过程中涉及的不确定性。在所提出的方法中考虑的不确定性是缺乏理论和因果模型,对数据损坏或不完善的敏感性,以及计算工作量。因此,有可能为SciML领域的不确定性感知模型提供一个整体策略。该方法通过一个实例进行了验证,开发了一个聚合反应器的软测量。结果表明,所识别的软测量是强大的不确定性,证实了所提出的方法的一致性。
2022-09-05 cs.AI cs.LG
Non-Linear Spectral Dimensionality Reduction Under Uncertainty
Tampere University(坦佩雷大学);Finnish Environment Institute(芬兰环境研究所);Aristotle University of Thessaloniki(塞萨洛尼基亚里士多德大学);Aarhus University(奥胡斯大学)
本文从理论和算法两个方面研究了不确定条件下的非线性降维问题。由于真实世界的数据通常包含测量与不确定性和文物,在所提出的框架中的输入空间由概率分布来建模与每个样本相关的不确定性。我们提出了一个新的降维框架,称为NGEU,它利用不确定性信息,并直接扩展了几种传统的方法,例如,KPCA,MDA/KMFA,接收概率分布而不是原始数据作为输入。我们表明,建议的NGEU制定具有全球性的封闭形式的解决方案,我们分析,基于Rademacher复杂性,基本的不确定性理论上如何影响框架的泛化能力。在不同数据集上的实验结果表明了该框架的有效性。
2022-02-09 cs.AI cs.LG math.SP
A Cautionary Tale of Decorrelating Theory Uncertainties
University of California, Irvine(加利福尼亚大学尔湾分校);Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室);Berkeley Institute for Data Science, University of California, Berkeley(加利福尼亚大学伯克利分校伯克利数据科学研究所);Department of Physics and Astronomy, University of California, Irvine(加利福尼亚大学尔湾分校物理与天文学系)
已经提出了各种技术来训练独立于给定特征的机器学习分类器。虽然这可能是实现背景估计的必要技术,但它也可能有助于减少不确定性。我们仔细研究理论的不确定性,这通常没有统计的起源。我们将提供两点(碎片建模)和连续(高阶校正)不确定性的明确例子,其中去相关显着降低了表观不确定性,而实际的不确定性要大得多。这些结果表明,在使用这些类型的不确定性去相关时,只要我们没有完全分解成统计上有意义的成分,就应该谨慎。
2021-09-30 cs.LG hep-ex hep-ph
Towards the Development of an Uncertainty Quantification Protocol for the Natural Gas Industry
Gas Technology Institute(天然气技术研究所)
本文提出一种面向天然气行业的不确定性量化协议,系统识别ML与机理模型的不确定性来源、传播方法和估计量,并通过输配案例验证其建立可信预测边界和评估模型充分性的能力。
2023-08-05 cs.LG physics.data-an physics.flu-dyn
Measurement Uncertainty: Relating the uncertainties of physical and virtual measurements
RWTH Aachen University(亚琛工业大学);Fraunhofer Institute for Production Technology(弗劳恩霍夫生产技术研究所)
本文建立了概率机器学习模型预测不确定度与物理检测测量不确定度之间的对应关系,使虚拟测量可融入现有质量管理体系,实现基于过程数据的100%检测率,从而及时识别缺陷产品并中止后续工艺步骤。
2024-02-21 cs.LG math.PR stat.AP
On the Generalization of Representation Uncertainty in Earth Observation
National Observatory of Athens(雅典国家天文台);National Technical University of Athens(雅典技术大学);University of Valencia(瓦伦西亚大学);Harokopio University of Athens(雅典惠克罗波利斯大学);Technical University of Munich(慕尼黑技术大学);Munich Center for Machine Learning(慕尼黑机器学习中心);Archimedes/Athena RC(阿基米德/雅典RC)
研究预训练表征不确定性在地球观测(EO)中的泛化能力,提出评估框架验证其在多标签分类和分割任务中的零样本性能,发现EO预训练展现出强大的跨域泛化能力并保持对地面采样距离的敏感性。
2025-09-15 cs.AI cs.CV cs.LG
Uncertainty Representation in a SOTIF-Related Use Case with Dempster-Shafer Theory for LiDAR Sensor-Based Object Detection
Institute for Driver Assistance and Connected Mobility(驾驶员辅助与车联网研究所);Kempten University of Applied Sciences(科佩滕应用科学大学)
本文提出了一种系统的方法,利用Dempster-Shafer理论构建判定框架,以表示LiDAR传感器目标检测中的不确定性,并通过方差敏感性分析量化和优先处理这些不确定性,以确保自动驾驶场景的安全性。
2025-03-03 cs.LG cs.RO cs.SY