Towards Uncertainty Quantification in Generative Model Learning
Normandie Univ, UNICAEN, ENSICAEN, CNRS, GREYC(诺曼底大学、UNICAEN、ENSICAEN、CNRS、GREYC)
本文针对生成模型评估忽略测量固有不确定性的问题,形式化定义生成模型学习的不确定性量化问题,提出基于集成的精确率-召回率曲线方法,经合成数据集实验验证该方法可有效捕捉模型近似不确定性,支撑不同架构的系统性比较。
2025-11-13 cs.AI cs.LG
Uncertainty Quantification for Rule-Based Models
IBM Research(IBM研究院)
以逻辑语言描述的基于规则的分类模型直接预测布尔值,而不是像统计模型那样对概率建模并将其转换为预测。绝大多数现有的不确定性量化方法依赖于提供基于规则的模型所不能提供的连续输出的模型。在这项工作中,我们提出了一个元模型形式的不确定性量化框架,该框架将具有二进制输出的任何二进制分类器作为黑盒,并估计该基础模型在给定输入下的预测准确性以及对该估计的置信度。信心取决于输入区域的探索程度,并且旨在适用于任何OOD场景。我们证明了这种不确定性模型的有用性,通过构建一个由它驱动的弃权分类器,并观察其在各种情况下的性能。
2022-11-03 cs.AI cs.LG
Deep Uncertainty Quantification: A Machine Learning Approach for Weather Forecasting
University of Technology Sydney(悉尼科技大学);Southwest Jiaotong University(西南交通大学);JD Digits(京东数科)
天气预报通常是通过数值天气预报(NWP)来解决的,这有时会导致不满意的性能,由于初始状态的设置不当。在本文中,我们设计了一个数据驱动的方法增强了有效的信息融合机制,从历史数据,结合NWP的先验知识学习。我们将天气预报问题转化为端到端的深度学习问题,并通过提出一种新的负对数似然误差(NLE)损失函数来解决它。我们提出的方法的一个显着优势是,它同时实现了单值预测和不确定性量化,我们称之为深度不确定性量化(DUQ)。还探索了有效的深度集成策略以进一步提高性能。这种新的方法进行了评估,从中国北京的气象站收集的公共数据集。实验结果表明,所提出的NLE损失显着提高泛化比均方误差(MSE)损失和平均绝对误差(MAE)损失。与NWP相比,该方法将准确率显著提高了47.76%,这是该基准数据集上的最先进结果。该方法的初步版本在每日天气预报的在线竞赛中获得了第二名。
2019-02-04 cs.LG stat.ML
A framework for benchmarking uncertainty in deep regression
Physikal.-Techn. Bundesanstalt(德国联邦物理技术研究院)
我们提出了一个评估深度回归中不确定性量化的框架。该框架是基于回归问题,其中回归函数是非线性函数的线性组合。基本上,任何级别的复杂性都可以通过选择非线性函数及其域的维数来实现。深度回归的不确定性量化结果与通过统计参考方法获得的结果进行比较。参考方法利用了基础非线性函数的知识,并基于使用参考先验的贝叶斯线性回归。不确定性量化的可靠性评估的覆盖概率,并通过计算的不确定性的大小的准确性。我们通过将其应用于深度回归中的不确定性量化的当前方法来说明所提出的框架。这种灵活性,加上参考解决方案的可用性,使该框架适合于定义不确定性量化的基准集。
2021-09-10 cs.AI cs.LG
Uncertainty quantification and exploration-exploitation trade-off in humans
University of Milano-Bicocca(米兰比可卡大学)
本文的主要目的是勾勒出一个理论框架,分析人类的决策策略下的不确定性管理信息收集(探索)和奖励寻求(剥削)之间的权衡。一个关键的观察,激励这一系列的研究,是认识到人类学习者是惊人的快速和有效地适应陌生的环境,并纳入即将到来的知识:这是一个有趣的行为认知科学以及机器学习的一个重要挑战。所考虑的目标问题是黑盒优化任务中的主动学习,更具体地说,如何在基于高斯过程的贝叶斯优化框架内对探索/开发困境进行建模,该框架又基于不确定性量化。主要贡献是分析人类的决策帕累托理性的两个目标是改善预期和不确定性量化。根据这个帕累托理性模型,如果一个决策集包含一个帕累托有效(主导)策略,理性的决策者应该总是选择主导策略。离帕累托边界的距离决定了一个选择是否是(帕累托)理性的(即,位于边境)或与“令人恼火”的探索有关。然而,由于不确定性是定义帕累托前沿的两个目标之一,我们已经研究了三种不同的不确定性量化措施,并选择了一个更符合帕累托理性模型的建议。关键的结果是一个分析框架来描述偏离“理性”如何依赖于不确定性量化和寻求奖励过程的演变。
2021-02-05 cs.AI cs.LG
Fair Uncertainty Quantification for Depression Prediction
School of Intelligent Engineering and Automation, Beijing University of Posts and Telecommunications(智能工程与自动化学院,北京邮电大学)
本文针对抑郁症预测中不确定性量化的群体公平问题,提出基于保形预测和EOC约束优化的FUQ框架,在多模态抑郁数据集上验证其可兼顾可靠性与公平性。
2025-09-30 cs.AI cs.LG
Uncertainty Quantification for Forward and Inverse Problems of PDEs via Latent Global Evolution
Westlake University(西湖大学);University of Southern California(南加州大学);Stanford University(斯坦福大学)
提出LE-PDE-UQ方法,通过在潜空间中联合演化系统状态及其不确定性估计,为PDE正逆问题提供高效精确的不确定性量化,在长期预测中超越强基线。
2024-02-13 cs.AI cs.LG
Gluformer: Transformer-Based Personalized Glucose Forecasting with Uncertainty Quantification
University of YYY(YYY大学);Institute of WWW(WWW研究所)
深度学习模型在预测血糖轨迹方面取得了最先进的成果,并提出了各种架构。然而,这种模型在临床实践中的适应是缓慢的,主要是由于缺乏所提供的预测的不确定性量化。在这项工作中,我们提出将以过去为条件的未来葡萄糖轨迹建模为基础分布的无限混合(即,高斯、拉普拉斯等)。这种变化使我们能够学习不确定性,并在轨迹具有异质或多模态分布的情况下更准确地预测。为了估计预测分布的参数,我们利用Transformer架构。我们经验证明,我们的方法优于现有的国家的最先进的技术,无论是在合成和基准葡萄糖数据集的准确性和不确定性。
2023-03-07 cs.LG
Analyzing Uncertainty Quantification in Statistical and Deep Learning Models for Probabilistic Electricity Price Forecasting
Institute of Energy Engineering and Energy Economics, Ulm University of Applied Sciences(能源工程与经济学研究所,乌尔姆应用科学大学);Faculty of Mathematics and Economics, Ulm University(数学与经济学学院,乌尔姆大学);Faculty of Statistics, TU Dortmund University(统计学院,多特蒙德技术大学)
本研究针对德国市场电价预测,对比分析了结合不同不确定性量化方法的LEAR统计模型与DDNN深度学习模型,发现两类模型各有优势,共形预测的不确定性捕捉效果最佳。
2025-10-08 cs.LG math.ST stat.TH
Fortuna: A Library for Uncertainty Quantification in Deep Learning
AWS(亚马逊云科技);Amazon(亚马逊公司);New York University(纽约大学)
我们介绍了一个开源库,用于深度学习中的不确定性量化。Corona支持一系列校准技术,例如可应用于任何经过训练的神经网络以生成可靠的不确定性估计的共形预测,以及可应用于从头开始训练的基于Flax的深度神经网络以提高不确定性量化和准确性的可扩展贝叶斯推理方法。通过为先进的不确定性量化方法提供一个连贯的框架,Rifa简化了基准测试的过程,并帮助从业者构建强大的人工智能系统。
2023-02-08 cs.LG stat.ML
ESI: Epistemic Uncertainty Quantification via Semantic-preserving Intervention for Large Language Models
Harbin Institute of Technology(哈尔滨工业大学);Kunming University of Science and Technology(昆明理工大学)
本文提出一种基于因果视角的灰盒不确定性量化方法,通过测量语义保持干预前后模型输出的变化来估计大语言模型的认知不确定性,实验证明该方法在有效性和计算效率上均表现优异。
2025-10-15 cs.AI cs.CL cs.LG
Robustness Quantification and Uncertainty Quantification: Comparing Two Methods for Assessing the Reliability of Classifier Predictions
Foundations Lab for imprecise probabilities(不精确概率基础实验室);Ghent University(根特大学)
本文比较了鲁棒性量化和不确定性量化两种方法,发现鲁棒性量化在标准设置和分布偏移下均优于不确定性量化,并展示两者的互补性。
2026-03-24 cs.LG
Bayesian deep learning framework for uncertainty quantification in high dimensions
Pohang University of Science and Technology (POSTECH)(浦项科技大学)
提出了一种基于贝叶斯神经网络(BNN)和哈密顿蒙特卡罗(HMC)的随机偏微分方程不确定性量化深度学习方法。BNN通过对网络参数执行贝叶斯推断来有效地学习深度神经网络中参数的后验分布。利用HMC对系统的后验分布进行有效采样,以量化系统中的不确定性。数值算例表明,在高维的正问题和反问题的不确定性量化所提出的方法的有效性。这些也显示出有希望的结果,计算成本几乎是独立的维度的问题,展示了潜在的方法,用于解决所谓的灾难的维度。
2022-10-21 cs.AI cs.LG stat.ML
Uncertainty Quantification for cross-subject Motor Imagery classification
University of Groningen(格罗宁根大学)
本研究将多种不确定性量化方法应用于运动想象脑机接口,以预测因被试间变异性导致的错误分类,发现深度集成性能最佳,而标准CNN优于部分先进方法。
2024-03-14 cs.CV cs.LG
Uncertainty Quantification by Ensemble Learning for Computational Optical Form Measurements
Physikalisch-Technische Bundesanstalt(德国联邦物理技术研究院)
集成学习的不确定性量化的计算光学形式测量的应用方面进行了探讨。该应用程序需要解决一个大规模的,非线性反问题。包围学习用于扩展最近开发的用于该应用的深度学习方法,以便提供其预测的逆问题的解的不确定性量化。通过系统地插入分布外误差以及噪声数据的可靠性开发的不确定性量化进行了探讨。结果是令人鼓舞的,所提出的应用证明了集成方法在现实世界中的应用中对高维数据进行可靠预测的能力。
2021-03-01 cs.LG eess.IV
Empirical Frequentist Coverage of Deep Learning Uncertainty Quantification Procedures
Harvard Medical School(哈佛医学院);Google Research(谷歌研究院);Harvard School of Public Health(哈佛公共卫生学院)
复杂深度学习模型的不确定性量化越来越重要,因为这些技术在高风险的现实环境中的使用越来越多。目前,模型的不确定性的质量是使用点预测度量来评估的,例如负对数似然或保留数据的Brier得分。在这项研究中,我们提供了第一个大规模的评估经验频率覆盖属性的知名的不确定性量化技术的回归和分类任务套件。我们发现,在一般情况下,一些方法确实实现了理想的覆盖率分布样本上的属性,但覆盖率不保持分布外的数据。我们的研究结果表明,随着数据集偏移的增加,当前不确定性量化技术的失败,并将覆盖率作为开发现实应用模型的重要指标。
2021-02-24 cs.LG
Bagging, optimized dynamic mode decomposition (BOP-DMD) for robust, stable forecasting with spatial and temporal uncertainty-quantification
University of Washington(华盛顿大学)
动态模式分解(DMD)提供了一个回归框架,用于在时间或时空数据的快照上自适应地学习最佳拟合线性动态模型。已经开发了多种回归技术来产生线性模型近似,其解是时间上的指数。对于时空数据,DMD以主导模态结构的形式提供低秩和可解释的模型,以及它们在时间上的指数/振荡行为。然而,大多数DMD算法容易因动态的噪声测量而产生偏差误差,导致模型拟合差和预测能力不稳定。优化的DMD算法通过变量投影优化使模型偏差最小化,从而获得稳定的预测能力。这里,通过使用统计装袋方法来改进优化的DMD算法,由此使用单组快照来产生优化的DMD模型的集合。这些模型的输出被平均以产生装袋优化动态模式分解(BOP-DMD)。BOP-DMD不仅提高了性能,还增强了模型的鲁棒性,并提供了空间和时间不确定性量化(UQ)。因此,与目前可用的DMD算法不同,BOP-DMD提供了一个稳定和鲁棒的模型,用于概率或贝叶斯预测,具有全面的UQ指标。
2021-07-22 cs.LG math.DS math.OC
Kernel Language Entropy: Fine-grained Uncertainty Quantification for LLMs from Semantic Similarities
Aalto University(阿尔托大学);University of Oxford(牛津大学)
提出核语言熵(KLE)方法,通过半正定单位迹核编码语义相似度并利用von Neumann熵量化大语言模型的不确定性,相比语义熵考虑了成对语义依赖,在多个数据集和架构上提升了不确定性量化性能。
2024-05-30 cs.AI cs.CL cs.LG
Uncertainty Quantification for Transformer Models for Dark-Pattern Detection
Advantx Technological Foundation (Funditec)(Advantx技术基金会(Funditec))
针对Transformer模型在暗模式检测中的不透明性问题,提出差异微调结合SNGPs/BNNs不确定性量化方法,在保持性能的同时提升透明度与可解释性,为高可信度模型开发提供支持。
2024-12-06 cs.AI cs.CL cs.LG
Uncertainty Wrapper in the medical domain: Establishing transparent uncertainty quantification for opaque machine learning models in practice
Fraunhofer IESE(弗劳恩霍夫 IESE);Fraunhofer IZI(弗劳恩霍夫 IZI)
针对医学领域不透明机器学习模型结果存在错误风险、决策过程不透明的问题,本文提出Uncertainty Wrapper方法,以流式细胞术为应用场景,验证了该方法实现可靠透明不确定性量化的适用性与实用价值。
2023-11-09 cs.AI cs.LG stat.ML
Position: There Is No Free Bayesian Uncertainty Quantification
Department of Statistics LMU Munich(慕尼黑大学统计系)
本文从优化视角质疑贝叶斯不确定性量化的有效性,提出与优化表示一致的解释、推断质量度量及未来研究方向。
2025-06-04 cs.LG stat.ML
Subjective Risk Decomposition: A New View for Uncertainty Quantification
The University of Manchester(曼彻斯特大学);University of Warwick(沃里克大学)
该研究提出不确定性量化新观点,基于严格恰当损失通过主观风险分解推导认知和偶然不确定性度量,恢复众多UQ度量并提供理论基础,还扩展到学习理论,为不确定性量化完整学习理论框架迈出第一步。
2026-09-17 cs.AI cs.LG stat.ML
Epistemic Wrapping for Uncertainty Quantification
Oxford Brookes University(奥克斯福德布鲁克斯大学);Delft University of Technology(代尔夫特理工大学);KU Leuven University(根特大学)
本文提出认知包装方法,将贝叶斯神经网络输出转化为信念函数后验,以高效捕捉认知不确定性,并在多个图像分类数据集上验证其显著提升泛化能力与不确定性量化效果。
2025-08-18 cs.LG
Uncertainty Toolbox: an Open-Source Library for Assessing, Visualizing, and Improving Uncertainty Quantification
Language Technologies Institute, Carnegie Mellon University(卡内基梅隆大学语言技术研究所);Computer Science Department, Stanford University(斯坦福大学计算机科学系)
随着机器学习系统在各种现实任务中的部署越来越多,对预测不确定性的准确量化的需求也越来越大。虽然机器学习中的不确定性量化(UQ)的共同目标是近似目标数据的真实分布,但UQ中的许多工作在所使用的评估指标中往往是不相交的,并且每个指标的不同实现导致在不同工作中不能直接比较的数值结果。为了解决这个问题,我们引入了Uncertainty,这是一个开源的Python库,可以帮助评估,可视化和改进UQ。Uncertainty还提供教学资源,例如关键术语词汇表和有组织的关键论文参考资料。我们希望这个工具箱有助于加速和统一机器学习中不确定性的研究工作。
2021-09-21 cs.LG stat.ML
A General Framework for Uncertainty Quantification via Neural SDE-RNN
Kansas State University(堪萨斯州立大学);Pacific Northwest National Laboratory(太平洋西北国家实验室)
针对不规则采样时间序列插补的不确定性量化难题,提出融合 RNN 与神经 SDE 的框架,可在任意时间尺度插补并解析传播两类不确定性,实验显示性能优于现有方法。
2023-06-01 cs.LG
Ensemble-based Uncertainty Quantification: Bayesian versus Credal Inference
Paderborn University(帕德博恩大学);University of Munich (LMU)(慕尼黑大学)
区分和量化两种重要类型的不确定性(通常称为任意性和认知性)的想法在过去几年的机器学习研究中受到了越来越多的关注。在本文中,我们考虑基于集成的方法来量化不确定性。区分不同类型的不确定性感知的学习算法,我们特别关注贝叶斯方法和基于所谓的信任集的方法,这自然会从集成学习的角度提出自己。对于这两种方法,我们都解决了如何量化任意和认识不确定性的问题。在一个带有拒绝选项的分类问题的实证研究中,对相应措施的有效性进行了评估和比较。
2021-12-10 cs.LG
Multivariate Bayesian Last Layer for Regression with Uncertainty Quantification and Decomposition
Université Paris Saclay(巴黎萨克雷大学);CEA LIST(法国原子能和替代能源委员会LIST研究所);CEA(法国原子能和替代能源委员会)
本文提出了一种多变量回归中的贝叶斯最后层模型,通过EM算法实现参数学习,能够分离不确定性并增强神经网络的不确定性感知能力。
2026-01-30 cs.LG stat.ML
Predictive Uncertainty Quantification for Bird's Eye View Segmentation: A Benchmark and Novel Loss Function
The University of Texas at Dallas(德克萨斯大学达拉斯分校);Cypress Woods High School(赛普拉斯伍兹高中)
本文提出了一个针对鸟瞰图分割预测不确定性量化的综合基准,并设计了新型损失函数UFCE及正则化项,有效改进了误分类与OOD像素检测及模型校准。
2025-03-02 cs.CV cs.LG
Bayesian meta learning for trustworthy uncertainty quantification
Virginia Tech(弗吉尼亚理工大学)
本文研究具有可信不确定性量化的贝叶斯回归问题,提出了一种无需先验假设的贝叶斯元学习优化框架Trust-Bayes,刻画了概率下界与样本复杂度,并通过高斯过程回归的Monte Carlo模拟验证了其有效性。
2024-07-27 cs.LG cs.SY eess.SY
Label-wise Aleatoric and Epistemic Uncertainty Quantification
LMU Munich(慕尼黑大学);Munich Center for Machine Learning(慕尼黑机器学习中心)
本文提出一种基于标签级分解的不确定性量化新方法,在单个类别层面量化分类任务中的总、偶然和认知不确定性,采用方差等非类别度量克服了基于熵方法的局限,并在多种基准数据集上验证了其有效性和理想性质。
2024-06-04 cs.LG stat.ML
Isotonic Quantile Regression Averaging for uncertainty quantification of electricity price forecasts
Doctoral School, Faculty of Management, Wrocław University of Science and Technology(沃斯克拉大学管理学院博士学院);Department of Operations Research and Business Intelligence, Wrocław University of Science and Technology(沃斯克拉大学运筹学与商业智能系)
本文提出保序分位数回归平均(iQRA)方法,通过在分位数回归平均框架中引入随机序约束,为电价点预测集成生成校准良好的概率预测,并在德国日前电力市场中验证其在可靠性和锐度上优于现有后处理方法。
2026-11-09 cs.LG q-fin.ST stat.AP
Generative Parameter Sampler For Scalable Uncertainty Quantification
Harvard Data Science Initiative(哈佛数据科学倡议);Harvard University(哈佛大学)
不确定性量化一直是统计机器学习的核心问题,但其计算瓶颈一直是贝叶斯学派和频率学派面临的严峻挑战。我们提出了一个基于模型的框架,在量化的不确定性,称为预测匹配生成参数采样器(GPS)。此过程考虑目标参数的不确定性量化(UQ)分布,该分布将对应的预测分布与观测数据相匹配。该框架采用分层建模的观点,使每个观察是由一个单独的参数建模。这种单独的参数化允许所得到的推断在计算上是可扩展的并且对离群值是鲁棒的。我们的方法说明了线性模型,泊松过程和深层神经网络分类。结果表明,全球定位系统是成功的,在提供不确定性量化以及额外的灵活性超出了经典的统计程序所允许的假设的统计模型。
2019-06-02 cs.LG stat.ME stat.ML
Exploring the Limits of Epistemic Uncertainty Quantification in Low-Shot Settings
German Research Center for Artificial Intelligence(德国人工智能研究中心)
神经网络中的不确定性量化有望提高人工智能系统的安全性,但目前尚不清楚性能如何随训练集大小而变化。在本文中,我们评估了七种不确定性方法对时尚MNIST和CIFAR10,因为我们子样本和产生不同的训练集大小。我们发现,校准误差和分布外检测性能强烈依赖于训练集的大小,与大多数方法被误校准的测试集与小的训练集。基于认知的方法似乎很难估计认知的不确定性,并且受训练集大小的影响最大。我们希望我们的结果可以指导未来的研究不确定性量化,并帮助从业者选择基于他们特定的可用数据的方法。
2021-11-18 cs.CV cs.LG
Linear Opinion Pooling for Uncertainty Quantification on Graphs
Institute of Informatics, LMU Munich(慕尼黑大学信息学研究所);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心)
本文针对图上半监督节点分类的不确定性量化问题,提出用狄利克雷分布混合表示认知不确定性,并利用线性意见池化在相邻节点间传播信息,实验验证了方法的有效性。
2024-06-06 cs.LG
Uncertainty-Wizard: Fast and User-Friendly Neural Network Uncertainty Quantification
Università della Svizzera italiana(瑞士意大利语区大学)
不确定性和置信度已被证明是用于深度学习测试的各种技术中的有用指标,包括测试数据选择和系统监督。我们提出了不确定性向导,一个允许量化人工神经网络中的不确定性和置信度的工具。它构建在行业领先的tf.keras深度学习API之上,提供了一个近乎透明且易于理解的界面。同时,它还包括我们在两台不同机器和不同配置上进行基准测试的主要性能优化。
2021-01-28 cs.LG cs.SE
Light-Weight Diffusion Multiplier and Uncertainty Quantification for Fourier Neural Operators
PhysicsX London, UK(PhysicsX伦敦)
针对傅里叶神经算子过度参数化且缺乏不确定性量化的问题,提出基于扩散乘子的轻量参数化DINOZAUR,以单时间参数替代稠密张量乘子,并借助贝叶斯先验实现校准的不确定性估计,在多个PDE基准上性能优异。
2025-10-17 cs.LG
Uncertainty Quantification with Proper Scoring Rules: Adjusting Measures to Prediction Tasks
LMU Munich(慕尼黑大学);Munich Center for Machine Learning(慕尼黑机器学习中心);German Centre for Artificial Intelligence (DFKI)(德国人工智能中心);DSA(数据科学与应用中心)
本文基于适当评分规则的分解提出了一种灵活的不确定性量化框架,可针对不同预测任务定制度量,实验证明在选择性预测、分布外检测和主动学习任务中均展现出优势。
2025-05-28 cs.LG stat.ML
Functional-level Uncertainty Quantification for Calibrated Fine-tuning on LLMs
Department of Computer Science and Engineering, University of California San Diego(加州大学圣地亚哥分校计算机科学与工程系)
本文提出UQ4CT方法,通过混合专家微调框架校准LLM微调中的功能空间不确定性,减少ECE并提升可靠性与泛化能力。
2026-05-13 cs.LG
Uncertainty Quantification on Graph Learning: A Survey
本文综述了图学习中不确定性量化技术,重点分析了图神经网络和图基础模型的不确定性表示与处理方法,旨在填补对图学习中不确定性量化关键挑战和机遇的理解空白。
2026-04-14 cs.LG
Uncertainty Quantification With Noise Injection in Neural Networks: A Bayesian Perspective
本文从贝叶斯视角建立噪声注入与不确定性量化的联系,提出蒙特卡洛噪声注入方法,在训练时注入噪声、推断时多次前向传播,实验证明其性能优于基线模型。
2025-04-24 cs.LG stat.ML
Old Rules in a New Game: Mapping Uncertainty Quantification to Quantum Machine Learning
Quantum Security Technologies(量子安全技术);Fraunhofer Institute for Applied and Integrated Security(弗劳恩霍夫应用与集成安全研究所)
本文针对量子机器学习黑箱问题,将经典不确定性量化方法映射到量子领域,通过理论构建与实证评估证明在设计量子模型时引入不确定性意识的必要性。
2025-07-20 cs.LG quant-ph
BayesIMP: Uncertainty Quantification for Causal Data Fusion
University of Oxford(牛津大学);Microsoft Research Cambridge(微软研究院剑桥分院)
虽然因果模型正在成为机器学习的支柱之一,但因果推断中的不确定性量化问题仍然具有挑战性。在本文中,我们研究的因果数据融合问题,其中有关多个因果图的数据集相结合,以估计目标变量的平均处理效应。由于数据来自多个来源,并且可能在质量和数量上有所不同,因此原则性的不确定性量化变得至关重要。为此,我们引入了贝叶斯干预均值过程,这是一个框架,它结合了概率积分和核均值嵌入的思想来表示再生核希尔伯特空间中的干预分布,同时考虑到每个因果图中的不确定性。为了证明我们的不确定性估计的实用性,我们将我们的方法应用于因果贝叶斯优化任务,并显示了对最先进方法的改进。
2021-06-07 cs.LG stat.ML
Score Matching-based Pseudolikelihood Estimation of Neural Marked Spatio-Temporal Point Process with Uncertainty Quantification
Georgia Tech(佐治亚理工学院);The Chinese University of Hong Kong(香港中文大学)
针对时空点过程学习中的分布受限、积分近似不准及缺乏不确定性量化问题,提出基于分数匹配的伪似然估计器SMASH,采用无归一化目标并通过置信区域实现预测的不确定性量化,实验证明其性能优越。
2023-10-25 cs.LG
Uncertainty Quantification and Resource-Demanding Computer Vision Applications of Deep Learning
University of Wuppertal(伍珀塔尔大学)
将深度神经网络(DNN)引入自动驾驶、医疗成像和金融等安全关键应用中,需要彻底处理模型的不确定性。训练深度神经网络已经是资源需求,因此它们的不确定性量化也是如此。在这篇概述文章中,我们调查了我们开发的方法,这些方法用于教导DNN在遇到新对象类时不确定。此外,我们还提出了训练方法,以便在不确定性量化的帮助下仅从少数标签中学习。请注意,与普通的网络训练相比,这通常需要大量的计算开销。最后,我们回顾了我们在神经结构搜索方面的工作,这也是一个数量级的资源需求,然后普通的网络训练。
2022-05-30 cs.CV cs.LG
An Axiomatic Assessment of Entropy- and Variance-based Uncertainty Quantification in Regression
LMU Munich(慕尼黑莱布尼茨大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心);DLR-German Aerospace Center University of Tromsø(德国航空航天中心图勒大学);German Research Center for Artificial Intelligence (DFKI, DSA)(德国人工智能研究中心)
针对机器学习中不确定性量化研究多聚焦分类、回归领域形式化论证与评估有限的问题,用通用参数公式表示连续空间不确定性,提出公理集严格评估相关不确定性测度,以熵和方差测度为例分析其局限性。
2026-07-07 cs.LG stat.ML
Uncertainty Quantification for Machine Learning: One Size Does Not Fit All
本文提出了一种灵活的不确定性度量方法,适用于不同任务和场景,强调根据具体应用定制不确定性量化的重要性。
2025-12-13 cs.LG stat.ML
Interventional Processes for Causal Uncertainty Quantification
Gatsby Unit, University College London, London, United Kingdom(伦敦大学学院Gatsby单元)
本文提出一种基于高斯过程的方法,通过将干预函数表示为再生核希尔伯特空间中观测函数的内积,实现干预函数的不确定性量化,并给出闭式后验矩和可处理的训练推理过程。
2026-06-01 cs.LG stat.ME stat.ML
Uncertainty Quantification in Detecting Choroidal Metastases on MRI via Evolutionary Strategies
Memorial Sloan Kettering Cancer Center(纪念斯隆凯特琳癌症中心)
针对放射学小数据场景,本研究采用深度神经进化训练CNN进行眼部MRI脉络膜转移瘤二分类,通过保存的高准确率模型构建集成方法实现不确定性量化,发现高不确定性影像与放射科医生识别的主观特征相关,验证了其在AI放射分析中的价值。
2024-04-12 cs.CV cs.LG cs.NE
Uncertainty Quantification for Scientific Machine Learning using Sparse Variational Gaussian Process Kolmogorov-Arnold Networks (SVGP KAN)
UCLA(加州大学洛杉矶分校)
本文提出一种结合稀疏变分高斯过程与柯尔莫戈洛夫-阿诺德拓扑的网络架构,用于科学机器学习中的不确定性量化,通过解析矩匹配实现不确定性传播并保持可解释性。
2025-12-09 cs.LG stat.ML
Teaching Uncertainty Quantification in Machine Learning through Use Cases
German Research Center for Artificial Intelligence(德国人工智能研究中心)
机器学习中的不确定性通常不作为一般知识在机器学习课程中教授。在本文中,我们提出了一个关于机器学习中不确定性的短期课程,并通过选择用例来补充课程,旨在引发讨论,让学生在编程环境中使用不确定性的概念。我们的用例涵盖了输出不确定性的概念、贝叶斯神经网络和权重分布、不确定性的来源以及分布外检测。我们希望这套课程和用例能够激励社区将这些重要的概念纳入人工智能安全课程。
2021-08-19 cs.LG stat.ML
Velocity continuation with Fourier neural operators for accelerated uncertainty quantification
Georgia Institute of Technology(佐治亚理工学院)
震波成像是一个不适定的逆问题,它受到噪声数据和建模不准确的挑战--由于背景平方慢度模型中的误差。不确定性量化对于确定背景模型中的可变性如何影响震波成像是必不可少的。由于与正演Born建模算子相关联的成本以及地震图像的高维度,不确定性的量化在计算上是昂贵的。因此,这项工作的主要贡献是一个调查特定的傅立叶神经算子代理速度延续,映射与一个背景模型的地震图像到另一个几乎免费。虽然仅用200个背景和地震图像对进行训练,但该代理能够准确地预测与新背景模型相关联的地震图像,从而加速震波成像不确定性量化。我们支持我们的方法与一个现实的数据的例子中,我们量化的震波成像的不确定性使用傅立叶神经算子代理,说明如何在背景模型的变化影响的反射层在地震图像中的位置。
2022-03-27 cs.LG eess.IV physics.geo-ph
In-Context Residual Calibration for Uncertainty Quantification of Energy Time Series over Graphs
提出STOIC框架,结合图神经网络与表格基础模型,通过零样本校准实现图结构能源时间序列的共形预测,提供可靠的不确定性估计。
2026-10-08 cs.LG stat.ML
Neural parameter calibration and uncertainty quantification for epidemic forecasting
本文提出用神经网络校准流行病ODE模型并量化预测不确定性,在柏林COVID-19数据上比MCMC更准确且速度更快,并在简化SIR模型和缩减数据集上验证了方法的收敛性与学习能力。
2023-12-05 cs.LG math.OC physics.soc-ph
Variable Selection with Rigorous Uncertainty Quantification using Deep Bayesian Neural Networks: Posterior Concentration and Bernstein-von Mises Phenomenon
Google Research(谷歌研究院);Harvard University(哈佛大学)
该工作为深度贝叶斯神经网络(BNN)是一种具有严格不确定性量化的高维变量选择的有效工具这一事实提供了严格的理论基础。我们开发了新的贝叶斯非参数定理,以表明正确配置的深度BNN(1)在高维中有效地学习变量重要性,其学习率有时可以“打破”维数灾难。(2)BNN对变量重要性的不确定性量化是严格的,在这个意义上,它对变量重要性的95%可信区间确实覆盖了95%的时间的真相(即,Bernstein-von Mises(BvM)现象。理论结果提出了一种简单的基于BNN可信区间的变量选择算法。大量的模拟证实了理论研究结果,并表明,该算法优于现有的经典和基于神经网络的变量选择方法,特别是在高维。
2019-12-03 cs.LG stat.ML