Temporal Distribution Shift in Real-World Pharmaceutical Data: Implications for Uncertainty Quantification in QSAR Models
AstraZeneca(阿斯利康);KU Leuven(鲁汶大学);Johannes Kepler University Linz(约翰开普勒林茨大学);Chalmers University of Technology(查尔姆斯理工大学)
本文利用真实药物数据系统评估时间分布偏移对QSAR模型不确定性量化方法的影响,发现标签与描述符空间均存在显著偏移,且偏移幅度与检测类型相关,显著偏移会损害集成和贝叶斯等常用不确定性估计方法的可靠性。
2025-02-06 cs.LG
Uncertainty Quantification in CNN-Based Surface Prediction Using Shape Priors
ETH Zurich(苏黎世联邦理工学院);Aimbrain ltd.(Aimbrain有限公司);HeartFlow Inc.(HeartFlow公司);King’s College London(伦敦国王学院);Microsoft(微软)
表面重建是医学图像分析和临床研究的重要工具。尽管事实上,许多方法已经提出了解决方案的重建问题,大多数,由于其确定性的性质,不直接解决的问题,量化的不确定性与他们的预测。我们通过提出一种新的概率深度学习方法来解决这个问题,该方法能够同时进行表面重建和相关的不确定性预测。该方法采用了主成分分析(PCA)模型的形式的先验形状信息。使用英国生物银行数据的实验表明,我们的概率方法优于一个类似的确定性PCA为基础的方法在任务的二维器官划定和量化的不确定性,通过制定分布在预测的表面顶点位置。
2018-07-30 cs.AI cs.CV cs.LG
From Uncertainty to Failure Attribution: Self-Diagnosing Models for Failure Attribution under Distribution Shift
针对分布偏移下机器学习模型鲁棒性问题,提出自诊断模型,联合学习预测输出、不确定性及失效归因信号,构建含预定义偏移机制的基准以评估模型失效归因能力。
2026-09-01 cs.LG
Estimating Predictive Uncertainty Under Program Data Distribution Shift
University of Texas at Dallas(德克萨斯大学达拉斯分校)
深度学习(DL)技术在各种任务的预测准确性方面取得了巨大成功,但深度神经网络(DNN)被证明即使对于异常样本也会产生高度过度自信的分数。定义良好的不确定性表明模型的输出是否应该(或不应该)被信任,因此在现实世界的场景中变得至关重要,这些场景通常涉及由于许多因素而导致的输入分布变化。现有的不确定性方法假设测试来自不同数据分布的样本会导致不可靠的模型预测,因此具有较高的不确定性得分。他们通过校准DL模型对给定输入的置信度来量化模型的不确定性,并评估计算机视觉(CV)和自然语言处理(NLP)相关任务的有效性。然而,他们的方法的可靠性可能会受到影响,在编程任务,由于不同的数据表示和转移模式。在本文中,我们首先定义了三种不同类型的分布偏移的程序数据,并建立了一个大规模的移动Java数据集。我们在我们的数据集上实现了两个常见的程序设计语言任务,以研究每个分布偏移对DL模型性能的影响。我们还提出了一个大规模的基准现有的最先进的预测不确定性编程任务,并调查其有效性下的数据分布偏移。实验表明,程序分布偏移确实会不同程度地降低DL模型的性能,现有的不确定性方法在量化程序数据集的不确定性方面都存在一定的局限性。
2021-07-23 cs.LG cs.SE
Benchmarking Uncertainty Quantification on Biosignal Classification Tasks under Dataset Shift
University of Cambridge(剑桥大学)
生物信号是可以从人体连续测量的信号,例如呼吸声、心脏活动(ECG)、脑电波(EEG)等,基于这些信号,机器学习模型已经被开发出用于自动疾病检测和健康状态监测的非常有前途的性能。然而,数据集转移,即,推断的数据分布不同于训练的分布,这对于基于真实生物信号的应用并不罕见。为了提高鲁棒性,采用具有不确定性量化的概率模型来捕获预测的可靠性。然而,评估估计的不确定性的质量仍然是一个挑战。在这项工作中,我们提出了一个框架,以评估能力的估计不确定性,在捕捉不同类型的生物信号数据集的变化与不同程度的。特别是,我们使用三个分类任务的基础上呼吸音和心电图信号基准五个代表性的不确定性量化方法。大量的实验表明,尽管Entrance和Bayesian模型在数据集漂移的情况下能够提供相对较好的不确定性估计,但所有被测试的模型在可信预测和模型校正方面都未能达到预期的效果。我们的工作为全面评估任何新开发的生物信号分类器铺平了道路。
2022-01-25 cs.LG
Quantifying Uncertainty in the Presence of Distribution Shifts
本文提出了一种适应性先验的贝叶斯框架,用于在存在分布偏移时提高神经网络的不确定性估计性能。
2025-12-18 cs.LG stat.ML
Can input reconstruction be used to directly estimate uncertainty of a regression U-Net model? -- Application to proton therapy dose prediction for head and neck cancer patients
Institut de Recherche Expérimentale et Clinique (IREC), UCLouvain(比利时鲁汶大学实验与临床研究所(IREC));UT Southwestern Medical Center(德克萨斯大学西南医学中心)
本文提出一种基于输入重建误差的直接不确定性估计方法,用于回归 U-Net 模型,并在头颈癌质子治疗剂量预测中验证其比 MCDO 和 DE 具有更高相关性、更强 OOD 检测能力和更低计算开销。
2023-10-30 cs.AI cs.LG physics.med-ph
Frustratingly Easy Uncertainty Estimation for Distribution Shift
Mila(米拉研究所);McGill University(麦吉尔大学);Université de Montréal(蒙特利尔大学);UBC Okanagan(不列颠哥伦比亚大学奥卡那根分校)
分布偏移是深度图像分类中的一个重要问题,由源图像的损坏或完全改变产生,解决方案涉及域自适应。虽然主要目标是提高分布偏移下的准确性,但一个重要的次要目标是不确定性估计:评估模型预测正确的概率。虽然提高精度很难,但不确定性估计却容易得令人沮丧。先前的工作已经以各种方式将不确定性估计附加到模型和训练范例中。相反,我们表明,我们可以通过简单地将原始模型暴露于损坏的图像,并对图像输出进行简单的统计校准来估计不确定性。我们令人沮丧的简单方法在广泛的分布变化以及无监督域适应任务上表现出卓越的性能,通过广泛的实验进行测量。
2021-10-17 cs.LG stat.ML
Predictive uncertainty estimation in deep learning for lung carcinoma classification in digital pathology under real dataset shifts
KU Leuven(鲁汶大学);Gauhati University(古瓦哈蒂大学);UZ Leuven(鲁汶大学医院)
该研究针对真实数据集偏移下肺癌分类深度学习模型的可靠性问题,系统评估三种主流预测不确定性估计方法在不同临床相关分布偏移下的性能与校准效果,填补了该领域大规模基准研究的空白。
2024-08-15 cs.AI cs.CV cs.LG
Shifting Uncertainty to Critical Moments: Towards Reliable Uncertainty Quantification for VLA Model
Rutgers University(罗格斯大学);Kent State University(肯特州立大学)
本文提出统一的不确定性量化方法,通过最大值滑动窗口池化保留瞬时风险信号,结合运动感知稳定性加权强调不稳定行为的高频动作振荡,并通过贝叶斯优化进行DOF自适应校准,提升失败预测准确性和故障检测可靠性。
2026-03-18 cs.AI cs.LG cs.RO
Can You Trust Your Model's Uncertainty? Evaluating Predictive Uncertainty Under Dataset Shift
Google Research(谷歌研究院);DeepMind
包括深度学习在内的现代机器学习方法在监督学习任务的预测准确性方面取得了巨大成功,但在对其预测{ \em不确定性}给出有用的估计方面可能仍然不足。量化不确定性在现实世界中尤其重要,因为现实世界中的输入分布通常会由于样本偏差和非平稳性等多种因素而偏离训练分布。在这种情况下,经过良好校准的不确定性估计传达了关于模型输出何时应该(或不应该)可信的信息。文献中已经提出了许多概率深度学习方法,包括贝叶斯和非贝叶斯方法,用于量化预测不确定性,但据我们所知,以前还没有对这些方法在数据集偏移下进行严格的大规模实证比较。我们提出了一个大规模的基准现有国家的最先进的方法分类问题,并调查数据集的准确性和校准的影响。我们发现,传统的事后校准确实达不到要求,因为其他几个以前的方法。然而,一些边缘化模型的方法在广泛的任务中给出了令人惊讶的强大结果。
2019-12-17 cs.LG stat.ML
A local squared Wasserstein-2 method for efficient reconstruction of models with uncertainty
Courant Institute of Mathematical Sciences, New York University(纽约大学柯朗数学科学研究所);Nuffield Department of Medicine, University of Oxford(牛津大学纳菲尔德医学系)
本文提出局部平方Wasserstein-2方法,无需潜变量先验即可基于观测数据经验分布高效重建含不确定性模型,并在线性回归、贝叶斯神经网络和随机ODE等UQ任务中验证了有效性。
2024-06-10 cs.LG math.PR stat.ML
Learning to Predict Error for MRI Reconstruction
University of Amsterdam(阿姆斯特丹大学);Philips Research(飞利浦研究院);Eindhoven University of Technology(埃因霍温理工大学)
在医疗保健应用中,预测不确定性已被用于评估预测准确性。本文通过将预测误差分解为随机误差和系统误差,证明了当前方法估计的预测不确定性与预测误差之间的相关性并不高,并证明了前者等价于随机误差的方差。此外,我们观察到,目前的方法通过修改模型和训练损失来联合估计目标和不确定性,从而不必要地损害性能。我们表明,估计它们单独没有修改,提高了性能。在此之后,我们提出了一种新的方法,该方法分两步估计目标标签和预测误差的大小。我们证明了这种方法在大规模的MRI重建任务,并取得了显着优于国家的最先进的不确定性估计方法的结果。
2021-07-07 cs.LG stat.ML
CUQDS: Conformal Uncertainty Quantification under Distribution Shift for Trajectory Prediction
University of Connecticut(康涅狄格大学);University of Texas at Arlington(德克萨斯大学阿灵顿分校)
本文提出 CUQDS 框架,结合学习型高斯过程回归与统计型共形 P 控制,在分布偏移下对现有轨迹预测模型进行在线不确定性量化,并同时提升预测精度、降低估计不确定性。
2025-02-04 cs.LG cs.RO
Uncertainty Estimation and Out-of-Distribution Detection for Deep Learning-Based Image Reconstruction using the Local Lipschitz
Harvard University(哈佛大学);Google Research(谷歌研究院);Harvard Medical School(哈佛医学院);Massachusetts General Hospital(麻省总医院);Boston University(波士顿大学)
本文提出基于局部Lipschitz度量的方法,用于深度学习医学图像重建中的分布外检测与不确定性估计,AUC达99.94%,并通过其与MAE的强相关性指导数据增强以降低模型不确定性。
2023-12-01 cs.CV cs.LG eess.IV
Generative imaging for radio interferometry with fast uncertainty quantification
Mullard Space Science Laboratory (MSSL)(穆拉德空间科学实验室);University College London (UCL)(伦敦大学学院);Leiden Observatory(莱顿天文台);Leiden University(莱顿大学);IRFU CEA Université Paris-Saclay(CEA巴黎-萨克雷大学IRFU);Department of Computer Science(计算机科学系);Alan Turing Institute(艾伦·图灵研究所)
针对大型射电干涉望远镜图像重建计算量大、难实现不确定性量化的问题,提出整合GU-Net的RI-GAN框架,基于rcGAN和Wasserstein GAN实现高效高质量重建与快速不确定性量化,为下一代射电望远镜成像提供新方案。
2025-07-28 astro-ph.IM cs.LG
Density-Regression: Efficient and Distance-Aware Deep Regressor for Uncertainty Estimation under Distribution Shifts
Johns Hopkins University(约翰斯·霍普金斯大学)
针对深度集成方法不确定性估计存在的存储高、推理慢问题,提出单次前向传播的Density-Regression方法,证明其具备距离感知能力,实验验证其在多任务分布偏移场景下性能相当且更高效。
2024-03-07 cs.LG stat.ML
How Reliable is Your Regression Model's Uncertainty Under Real-World Distribution Shifts?
Uppsala University(乌普萨拉大学);ETH Zürich(苏黎世联邦理工学院)
该研究针对真实世界分布偏移下回归模型不确定性估计的可靠性问题,构建含8个图像回归数据集的基准,评估多种常用方法后发现无偏移时校准良好的方法在多数据集上会过度自信,为领域研究提出新挑战。
2023-11-07 cs.CV cs.LG
Low-Order Flow Reconstruction and Uncertainty Quantification in Disturbed Aerodynamics Using Sparse Pressure Measurements
UCLA(美国大学)
本文提出基于稀疏压力测量的机器学习框架,重构低阶阵风流场与升力系数,并采用蒙特卡洛丢弃法和统计参数分别量化认知与偶然不确定性,实现高效准确预测。
2025-01-06 cs.LG physics.flu-dyn
R2D2 image reconstruction with model uncertainty quantification in radio astronomy
Institute of Sensors, Signals and Systems, Heriot-Watt University(赫瑞瓦特大学传感器、信号与系统研究所)
本研究评估R2D2射电干涉成像算法的稳健性,通过集成多实例生成样本以量化模型不确定性,实验表明其重建能力优于现有算法且不确定性极低。
2024-05-27 astro-ph.IM cs.LG eess.IV
Distribution-free uncertainty quantification for classification under label shift
Carnegie Mellon University(卡内基梅隆大学)
ML模型的可信部署需要适当的不确定性度量,特别是在安全关键型应用中。我们专注于不确定性量化(UQ)的分类问题,通过两个途径-预测集使用共形预测和校准的概率预测后,特设分箱-因为这些拥有分布免费保证独立同分布。数据两种常见的归纳方法超越了独立同分布。设置包括处理协变量和标签偏移。在免分配用户数量的背景下,前者已经受到关注,但后者尚未受到关注。众所周知,标签移位会损害预测,我们首先认为它也会损害UQ,因为它会降低覆盖率和校准。借助最近在解决标签偏移(为了更好的预测)方面的进展,我们研究了通过重新加权上述适形和校准程序来实现UQ的正确方法,只要来自目标分布的一些未标记数据可用。我们研究这些技术理论上在一个免费的分布框架,并展示了其出色的实际性能。
2021-07-07 cs.LG stat.ML
Assessing Uncertainty Estimation Methods for 3D Image Segmentation under Distribution Shifts
Digital Health-Machine Learning(数字健康与机器学习);Hasso-Plattner-Institute(哈索·普拉特纳研究所);Faculty of Sciences(理学院);University of Potsdam(波茨坦大学)
本文评估了贝叶斯与非贝叶斯不确定性估计方法在3D医学图像分割中应对分布偏移的能力,发现能捕获后验分布多模态特征的方法可提供更可靠的不确定性估计。
2024-02-10 cs.CV cs.LG
Density-Softmax: Efficient Test-time Model for Uncertainty Estimation and Robustness under Distribution Shifts
Johns Hopkins University(约翰斯·霍普金斯大学)
提出Density-Softmax无采样确定性框架,结合密度函数与softmax,降低模型规模与测试延迟,在分布偏移下提升不确定性估计与鲁棒性。
2024-05-28 cs.LG stat.ML
Uncertainty Awareness of Large Language Models Under Code Distribution Shifts: A Benchmark Study
University of California, Riverside(加利福尼亚大学河滨分校);University of Texas at Dallas(德克萨斯大学达拉斯分校)
本研究构建大规模基准数据集,系统评估概率方法在代码分布偏移下对CodeLlama不确定性意识的影响,发现其提升校准与估计精度,但需依情境权衡选择方法。
2024-01-12 cs.CL cs.LG cs.SE
Quantification of total uncertainty in the physics-informed reconstruction of CVSim-6 physiology
Brown University(布朗大学);University of Notre Dame(圣母大学)
本研究针对生理系统物理信息重建的多源不确定性问题,提出基于随机投影与蒙特卡洛采样的MC X-TFC方法,在CVSim-6模型上验证了其在数据受限、含噪及模型误设场景下的鲁棒估计能力。
2024-08-13 cs.LG q-bio.QM
Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift
University of Cambridge(剑桥大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Alan Turing Institute(艾伦图灵研究所)
现代神经网络已被证明是功能强大的函数逼近器,在许多应用中提供最先进的性能。然而,他们缺乏量化预测信心的能力-这在涉及关键决策的高风险应用中至关重要。贝叶斯神经网络(BNN)的目标是通过在网络参数上放置先验分布来解决这个问题,从而诱导出封装预测不确定性的后验分布。虽然基于蒙特卡罗丢弃的BNN的现有变体对分布内数据产生可靠的(尽管是近似的)不确定性估计,但它们倾向于在对特征分布与训练数据不同的目标数据进行的预测中表现出过度自信,即,协变量偏移设置。在本文中,我们开发了一个近似的贝叶斯推断计划的基础上后验正则化,其中未标记的目标数据被用作“伪标签”的模型的信心,用于正则化模型的损失标记的源数据。我们表明,这种方法显着提高了协变量移位数据集的不确定性量化的准确性,对底层模型架构的修改最小。我们证明了我们的方法在全球不同人群中转移前列腺癌预后模型的背景下的实用性。
2020-06-26 cs.LG stat.ML
Uncertainty Guided Ensemble Self-Training for Semi-Supervised Global Field Reconstruction
Defense Innovation Institute, Chinese Academy of Military Science(中国人民解放军军事科学院国防科技创新研究院)
从有限的传感器中恢复出全局精确的复杂物理场是航天工程测量与控制的关键。一般的重建方法,尤其是参数较多、表征能力较强的深度学习方法,通常需要大量的标注数据,这是难以承受的。针对这一问题,本文提出了不确定性引导的嵌入式自训练算法(UGE-ST),利用大量的未标记数据来提高重构性能。首先提出了一种新的自训练框架,该框架具有集成教师和预训练学生,旨在提高伪标签的准确性并弥补噪声的影响。另一方面,提出了不确定性引导的学习,以鼓励模型专注于伪标签的高置信度区域,并减轻错误的伪标签在自训练中的影响,提高重建模型的性能。翼型压力场、速度场和飞机系统温度场重建实验表明,UGE-ST在保持监督学习精度的同时,可以节省高达90%的数据。
2023-02-23 cs.AI cs.LG
PixCUE: Joint Uncertainty Estimation and Image Reconstruction in MRI using Deep Pixel Classification
Monash University(莫纳什大学)
深度学习(DL)模型能够成功地利用MR数据中的潜在表示,并已成为加速MRI重建的最新技术。然而,k空间中的测量值采样不足以及DL的过度或欠参数化和不透明性质使这些模型暴露于不确定性。因此,不确定性估计已成为DL MRI重建中的主要问题。为了估计不确定性,蒙特卡罗(MC)推断技术已经成为一种常见的实践,其中利用多次重建来计算重建中的方差作为不确定性的测量。然而,这些方法需要高的计算成本,因为它们需要通过DL模型进行多次推断。为此,我们介绍了一种方法来估计在MRI重建过程中使用像素分类框架的不确定性。所提出的方法PixCUE(代表像素分类不确定性估计)在通过DL模型的单个前向传递期间产生重建图像以及不确定性图。我们证明,这种方法产生的不确定性地图,高度相关的重建误差相对于各种MR成像序列和许多敌对条件下。我们还表明,估计的不确定性相关的传统MC方法。我们还提供了使用PixCUE和公认的重建指标,如NMSE,PSNR和SSIM的不确定性估计之间的经验关系。我们的结论是,PixCUE是能够可靠地估计在MRI重建的不确定性,以最小的额外计算成本。
2023-03-08 cs.AI cs.CV cs.LG
Conditional deep generative models as surrogates for spatial field solution reconstruction with quantified uncertainty in Structural Health Monitoring applications
National Technical University of Athens(雅典国立技术大学);School of Naval Architecture and Marine Engineering(船舶与海洋工程学院)
本文提出一种基于CNN的条件变分自编码器作为代理模型,用于结构健康监测中高维随机结构模拟的空间场重建,在保证重建精度的同时有效量化荷载不确定性。
2023-02-14 cs.AI cs.LG
Sources of Uncertainty in 3D Scene Reconstruction
Aalto University(阿尔托大学);University of Oulu(奥卢大学)
本文梳理NeRF与3D Gaussian Splatting在3D重建中的不确定性来源,并通过学习不确定性输出与集成等方法扩展模型,实证评估其捕捉重建敏感性的能力。
2024-09-10 cs.CV cs.LG
Improving Model-Based Control and Active Exploration with Reconstruction Uncertainty Optimization
Sapienza University of Rome(罗马第一大学);Curious AI
动态系统的未来轨迹的基于模型的预测经常遭受不准确,迫使基于模型的控制算法经常重新规划,因此计算昂贵、次优且不可靠。在这项工作中,我们提出了一个模型不可知的方法来估计模型的不确定性?的预测的基础上重建误差,使用它的控制和勘探。正如我们的实验所示,这种不确定性估计可用于通过选择模型有信心的预测来改善各种环境下的控制性能。它还可以用于主动学习,通过规划具有高不确定性的轨迹来更有效地探索环境,从而实现更快的模型学习。
2018-12-10 cs.AI cs.LG cs.NE
Uncertainty-Aware Flow Field Reconstruction Using SVGP Kolmogorov-Arnold Networks
University of California, Los Angeles(加州大学洛杉矶分校)
本文提出基于SVGP Kolmogorov-Arnold网络的流场重建方法,实现不确定性感知的高精度重建与可靠不确定性校准。
2025-12-27 cs.LG physics.flu-dyn
Estimating Uncertainty in PET Image Reconstruction via Deep Posterior Sampling
Faculty of Electrical Engineering and Computing, University of Zagreb(萨格勒布大学电气工程与计算学院)
针对PET图像重建的不适定性及现有方法缺乏不确定性量化的问题,提出一种基于条件生成对抗网络的深度后验采样方法,以低剂量PET重建图和高质量MRI为条件生成后验样本,得到具物理意义的不确定性估计。
2023-06-07 cs.CV cs.LG eess.IV
Bayesian Uncertainty Estimation of Learned Variational MRI Reconstruction
Graz University of Technology(格拉茨技术大学);Silicon Austria Labs(奥地利硅谷实验室);University of Bonn(波恩大学);Johannes Kepler University(约翰·开普勒大学);Technical University of Munich(慕尼黑工业大学);Imperial College London(伦敦帝国理工学院);NYU School of Medicine(纽约大学医学院)
最近的深度学习方法专注于提高专用基准的定量分数,因此只减少与观察相关的(任意的)不确定性。然而,模型内在(认识)不确定性不太经常被系统地分析。在这项工作中,我们引入了贝叶斯变分框架来量化认知不确定性。为此,我们解决了变分设置中的欠采样MRI重建的线性逆问题。相关的能量泛函由数据保真度项和作为学习参数正则化的总深度变差(TDV)组成。为了估计认识不确定性,我们从多元高斯分布中提取TDV正则化子的参数,其均值和协方差矩阵是在随机最优控制问题中学习的。在几个数值实验中,我们证明了我们的方法产生了有竞争力的结果欠采样的MRI重建。此外,我们可以准确地量化像素的认知不确定性,这可以为放射科医生作为一个额外的资源,可视化重建的可靠性。
2021-10-22 cs.CV cs.LG eess.IV
Uncertainty in Neural Relational Inference Trajectory Reconstruction
University of Cambridge(剑桥大学)
用于多交互轨迹重构的神经网络缺乏估计其输出中的不确定性的能力,这将有助于更好地分析和理解它们所建模的系统。在本文中,我们扩展了因子化神经关系推理模型输出的相空间向量的每个组成部分的平均值和标准差,这与一个适当的损失函数,可以考虑到不确定性。各种损失函数的研究,包括凸化和贝叶斯处理的问题的想法。我们表明,当考虑不确定性时,变量的物理意义是重要的,并证明了在训练过程中难以避免的病态局部极小值的存在。
2020-06-25 cs.LG stat.ML
Uncertainty Estimation and Propagation in Accelerated MRI Reconstruction
University of Tübingen(图宾根大学);University Hospital of Tübingen(图宾根大学医院)
本文提出基于条件分层变分自编码器的概率重建方法 PHiRec,在保证高质量加速 MRI 重建的同时实现良好校准的不确定性量化,并支持将重建不确定性传播到下游分割任务。
2023-08-04 cs.CV cs.LG eess.IV
Uncertainty-aware Physics-informed Neural Networks for Robust CARS-to-Raman Signal Reconstruction
Computer Vision Group, Friedrich Schiller University Jena(尤斯图斯-施莱尔大学计算机视觉组)
针对现有CARS拉曼信号重建模型无法量化不确定性的问题,本研究评估对比多种UQ技术,验证引入物理信息约束可提升模型校准效果,助力可信CARS数据分析。
2025-11-17 cs.LG
Semantic Shift Estimation via Dual-Projection and Classifier Reconstruction for Exemplar-Free Class-Incremental Learning
South China University of Technology(华南理工大学);The Hong Kong Polytechnic University(香港理工大学)
针对无样本类别增量学习中的语义偏移与决策偏差问题,提出结合可学习变换与行空间投影的双投影偏移估计及岭回归分类器重构的DPCR方法,有效平衡新旧任务,性能超越现有最优方法。
2025-05-18 cs.AI cs.CV cs.LG
Deep Monte Carlo Quantile Regression for Quantifying Aleatoric Uncertainty in Physics-informed Temperature Field Reconstruction
College of Aerospace Science and Engineering National University of Defense Technology(国防科技大学航空航天学院);Defense Innovation Institute Chinese Academy of Military Science(中国人民解放军军事科学院国防创新研究院)
对于温度场重建(TFR)这一复杂的图像到图像回归问题,由于卷积层具有良好的图像特征提取能力,卷积神经网络(CNN)是一种强大的代理模型。然而,训练CNN需要大量的标记数据,而普通的CNN无法量化数据噪声引起的随机不确定性。在实际工程中,很难获得无噪声的、有标记的TFR训练数据。针对这两个问题,提出了一种深度蒙特卡罗分位数回归(Deep MC-QR)方法,用于温度场重建和量化数据噪声引起的随机不确定性。一方面,Deep MC-QR方法利用物理知识指导CNN的训练。因此,深度MC-QR方法可以在没有任何标记的训练数据的情况下重建准确的TFR代理模型。另一方面,Deep MC-QR方法为每个训练时期中的每个输入构建分位数级别图像。然后,训练好的CNN模型可以在预测阶段通过分位数水平的图像采样来量化任意的不确定性。最后,通过大量实验验证了所提出的Deep MC-QR方法的有效性,并分析了数据噪声对TFR的影响。
2022-02-14 cs.LG
PSBD: Prediction Shift Uncertainty Unlocks Backdoor Detection
Illinois Institute of Technology(伊利诺伊理工学院);IBM Research(IBM研究院);Michigan State University(密歇根州立大学)
针对深度神经网络后门攻击中识别可疑训练数据的挑战,本文提出PSBD方法,利用预测偏移不确定性(PSU),仅需少量无标签干净验证数据,通过检测dropout下模型预测偏移识别后门样本,实验证明其效果优于主流方法。
2025-04-16 cs.AI cs.CR cs.LG
Quantifying uncertainty for deep learning based forecasting and flow-reconstruction using neural architecture search ensembles
Argonne National Laboratory(阿贡国家实验室);Université Paris-Saclay(巴黎萨克雷大学)
计算物理中的经典问题,例如数据驱动的预测和来自稀疏传感器的信号重建,最近在基于深度神经网络(DNN)的算法方法中出现了爆炸式增长。然而,大多数DNN模型不提供不确定性估计,这对于在下游决策任务和场景中建立这些技术的可信度至关重要。近年来,基于集成的方法在DNN中的不确定性量化方面取得了重大成功。然而,它们在实际应用中的性能仍然没有得到充分的研究。在这项工作中,我们提出了一种自动化的DNN发现方法,并演示了如何将其用于基于集合的不确定性量化。具体来说,我们建议使用一个可扩展的神经和超参数架构搜索发现一个复杂的动态系统的DNN模型的合奏。我们强调了所提出的方法不仅可以为我们的任务发现高性能的神经网络集合,而且还可以无缝地量化不确定性。这是通过使用遗传算法和贝叶斯优化对神经网络架构和超参数的搜索空间进行采样来实现的。随后,使用模型选择方法来识别用于系综集构造的候选模型。之后,方差分解方法被用来估计从合奏的预测的不确定性。我们证明了这一框架的可行性,两个任务-预测从历史数据和流量重建稀疏传感器的海面温度。我们展示了优越的性能,从合奏与个人的高性能模型和其他基准相比。
2023-02-20 cs.LG math.DS
Estimating Uncertainty For Vehicle Motion Prediction on Yandex Shifts Dataset
VTB Bank(俄罗斯外贸银行);Rosgosstrakh(俄罗斯国家保险)
周围智能体的运动预测是自动驾驶环境中的一项重要任务,因为它与驾驶员的安全密切相关。车辆运动预测(VMP)轨道的移位挑战的重点是开发模型,这是强大的分布转移,并能够衡量其预测的不确定性。在这项工作中,我们提出的方法,显着改善提供的基准,并采取了第二位的排行榜。
2021-12-15 cs.LG cs.RO stat.ML
GLU: Global-Local-Uncertainty Fusion for Scalable Spatiotemporal Reconstruction and Forecasting
Massachusetts Institute of Technology(麻省理工学院)
GLU通过统一状态表示问题,结合全局总结、局部测量锚点和不确定性驱动的重要性场,提升空间时间重建与预测的精度和可扩展性。
2026-03-27 cs.LG
Bayesian MRI Reconstruction with Joint Uncertainty Estimation using Diffusion Models
Graz University of Technology(格拉茨技术大学);University Medical Center Göttingen(哥廷根大学医学中心);German Centre for Cardiovascular Research (DZHK)(德国心血管研究中心);University of Göttingen(哥廷根大学)
该研究提出一种基于扩散模型的贝叶斯MRI重建框架,采用MCMC从后验分布采样,可输出MAP、MMSE估计及不确定性图,且适配不同采样方案与接收线圈,已在10倍欠采样公开数据集上验证性能。
2023-02-09 cs.LG
Modeling Mask Uncertainty in Hyperspectral Image Reconstruction
Santa Clara University(圣克拉拉大学);ETH Zürich(苏黎世联邦理工学院);Westlake University(西湖大学);Kuaishou Technology(快手科技)
近年来,高光谱成像(HSI)受到了越来越多的研究关注,特别是基于编码孔径快拍光谱成像(CASSI)系统的高光谱成像。现有的深度HSI重建模型通常在成对数据上进行训练,以在CASSI中的特定光学硬件掩模给出的2D压缩测量值上检索原始信号,在此期间,掩模在很大程度上影响重建性能,并且可以作为控制数据增强的“模型超参数”。这种特定于掩码的训练风格将导致硬件误校准问题,这为在不同的硬件和噪声环境中部署深度HSI模型设置了障碍。为了应对这一挑战,我们引入了HSI的掩模不确定性与一个完整的变分贝叶斯学习处理,并明确地通过掩模分解的真实硬件的启发建模。具体来说,我们提出了一种新的基于图的自调整(GST)网络的原因,适应不同的硬件之间的掩模的空间结构的不确定性。此外,我们开发了一个两级优化框架来平衡HSI重建和不确定性估计,并考虑到掩模的超参数属性。大量的实验结果和模型讨论验证了所提出的GST方法的有效性(超过33/30 dB)在两个误校准的情况下,并表现出高度竞争力的性能相比,最先进的良好校准的方法。我们的代码和预训练模型可在https://github.com/Jiamian-Wang/mask_uncertainty_spectral_SCI上获得
2022-09-24 cs.CV cs.LG eess.IV
Uncertainty-Aware Global-View Reconstruction for Multi-View Multi-Label Feature Selection
College of Computer Science and Technology, Jilin University(吉林大学计算机科学与技术学院);Key Laboratory of Symbolic Computation and Knowledge Engineering of Ministry of Education, Jilin University(吉林大学符号计算与知识工程教育部重点实验室);Department of Computer Science, Portland State University(波特兰州立大学计算机科学系)
针对多视图多标签学习中特征选择的噪声与样本不确定性问题,提出基于全局视图重构的统一模型,通过样本图结构、置信度和视图关系重构视图并建立标签映射,提升了特征选择性能与可靠性。
2025-03-18 cs.CV cs.LG
Training Data Reconstruction: Privacy due to Uncertainty?
University of Cambridge(剑桥大学);University of Siegen(锡根大学);ELLIS Institute Tübingen(埃利斯研究所蒂宾根分所);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Tübingen AI Center(蒂宾根人工智能中心)
该研究针对神经网络训练数据重构的隐私问题,将重构建模为双层优化问题,通过实验发现重构结果高度依赖初始化,随机初始化可生成看似真实但不在训练集中的样本,使攻击者无法判定重构图像是否属于训练集。
2024-12-11 cs.CR cs.LG
Study of Robust Adaptive Beamforming with Covariance Matrix Reconstruction Based on Power Spectral Estimation and Uncertainty Region
针对均匀线性阵列,本文提出基于功率谱估计与不确定区域的IPN-PSEUR鲁棒自适应波束形成方法,实现干扰角区更新和协方差矩阵重构,性能在宽信噪比范围内接近最优。
2023-03-18 cs.LG cs.NI
UMIX: Improving Importance Weighting for Subpopulation Shift via Uncertainty-Aware Mixup
Tianjin University(天津大学);Hong Kong University of Science and Technology(香港科技大学);Tencent AI Lab(腾讯人工智能实验室)
子群迁移广泛存在于现实世界的机器学习应用中,指的是训练分布和测试分布包含相同的子群组,但子群频率不同。重要性重新加权是一种处理子群体偏移问题的正常方法,通过对训练数据集中的每个样本施加恒定或自适应的采样权重。然而,最近的一些研究已经认识到,这些方法中的大多数未能提高经验风险最小化的性能,特别是当应用于过度参数化的神经网络。在这项工作中,我们提出了一个简单而实用的框架,称为不确定性感知mixup(UMIX),以减轻过参数化模型中的过拟合问题,根据样本的不确定性重新加权“混合"样本。建议的UMIX为每个样本配备了基于训练轨迹的不确定性估计,以灵活地表征亚群分布。我们还提供了有见地的理论分析,以验证UMIX实现了更好的泛化范围比以前的作品。此外,我们在广泛的任务中进行了广泛的实证研究,以定性和定量地验证我们的方法的有效性。代码可在https://github.com/TencentAILabHealthcare/UMIX上获得。
2023-01-03 cs.LG
Amortized Normalizing Flows for Transcranial Ultrasound with Uncertainty Quantification
Georgia Institute of Technology(佐治亚理工学院);Rice University(莱斯大学);University Medical Center Utrecht(乌得勒支大学医学中心);Centrum Wiskunde & Informatica(荷兰数学与计算机科学研究院)
我们提出了一种新的方法,经颅超声计算机断层扫描,利用归一化流量,以提高成像速度,并提供贝叶斯不确定性量化。我们的方法结合了物理信息方法和数据驱动方法,以加速最终图像的重建。我们利用物理信息汇总统计,将已知的超声物理压缩大的传入观测的目标。这种压缩使得能够有效地训练归一化流,并且无论成像配置如何都能够简化数据的大小。这些方法的组合导致快速的不确定性感知的图像重建,其推广到各种换能器配置。我们评估我们的方法与硅片实验,并证明它可以显着提高成像速度,同时量化的不确定性。我们通过与传统的纯物理方法进行比较,验证了我们的图像重建的质量,并验证了我们提供的不确定性与误差进行了校准。
2023-03-06 cs.LG eess.IV
X-Ray2EM: Uncertainty-Aware Cross-Modality Image Reconstruction from X-Ray to Electron Microscopy in Connectomics
Harvard University(哈佛大学);Harvard Medical School(哈佛医学院);Boston Children’s Hospital(波士顿儿童医院);ESRF, The European Synchrotron(欧洲同步辐射装置)
全面的、突触分辨率的大脑成像对于理解神经元的计算和功能至关重要。在连接组学中,这一直是体积电子显微镜(EM)的唯一范围,这需要一个极其困难的过程,因为它需要将组织切割成许多薄而脆弱的切片,然后需要成像,对齐和重建。与EM不同,硬X射线成像与厚组织兼容,消除了对薄切片的需要,并提供快速采集、内在对准和各向同性分辨率。不幸的是,目前最先进的X射线显微镜提供的分辨率低得多,以至于分割膜非常具有挑战性。我们提出了一种不确定性感知的3D重建模型,该模型将X射线图像转换为具有增强的膜分割质量的EM样图像,显示了其开发更简单,更快,更准确的基于X射线的连接组学管道的潜力。
2023-03-02 cs.CV cs.LG eess.IV
Uncertainty Estimation for Computed Tomography with a Linearised Deep Image Prior
University of Cambridge(剑桥大学);University College London(伦敦大学学院);University of Bremen(不来梅大学);The Chinese University of Hong Kong(香港中文大学)
现有的基于深度学习的断层图像重建方法不能提供重建不确定性的准确估计,这阻碍了它们在现实世界中的部署。本文开发了一种方法,称为线性化的深度图像先验(DIP),估计与重建产生的DIP与总变分正则化(TV)的不确定性。具体来说,我们赋予DIP共轭高斯线性模型类型的误差条,从神经网络的局部线性化计算其优化参数。为了保持共轭性,我们用高斯代理近似TV正则化器。这种方法提供了逐像素的不确定性估计和超参数优化的边际似然目标。我们证明了合成数据和实测高分辨率二维$μ$ CT数据的方法,并表明,它提供了优越的校准相对于以前的概率公式的DIP的不确定性估计。我们的代码可在https://github.com/educating-dip/bayes_dip上获得。
2022-11-04 cs.LG eess.IV stat.ML
Neural Ensemble Search for Uncertainty Estimation and Dataset Shift
University of Oxford(牛津大学);University of Freiburg(弗莱堡大学);Bosch Center for Artificial Intelligence(博世人工智能中心)
与独立网络相比,神经网络的集成在准确性、不确定性校准和对数据集移位的鲁棒性方面实现了优异的性能。\emph{Deep ensembles}是一种用于不确定性估计的现有技术方法,仅对\emph{fixed}架构进行集合随机初始化。相反,我们提出了两种方法自动构建合奏与\emph{varying}架构,这隐含的权衡个别架构的优势对合奏的多样性,并利用建筑变化的多样性来源。在各种分类任务和现代架构的搜索空间,我们表明,所得到的合奏优于深度合奏不仅在准确性,而且不确定性校准和鲁棒性数据集移位。我们的进一步分析和消融研究提供了更高的合奏多样性的证据,由于架构的变化,导致合奏,可以优于深合奏,即使有较弱的平均基础学习者。为了促进可重复性,我们提供了代码:\url{https://github.com/automl/nes}
2022-02-21 cs.LG stat.ML
Probabilistic 3D surface reconstruction from sparse MRI information
ETH Zurich(苏黎世联邦理工学院);Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Imperial College London(帝国理工学院);King’s College London(伦敦国王学院);Microsoft Mixed Reality and AI lab(微软混合现实与人工智能实验室)
从磁共振(MR)成像数据中重建表面是医学图像分析和临床研究中不可缺少的。一个可靠有效的重建工具应该:快速预测准确的井局部和高分辨率模型,评估预测的不确定性,尽可能少的输入数据工作。然而,当前的深度学习最新技术水平(SOTA)3D重建方法通常仅产生定位在规范位置中的有限可变性的形状或缺乏不确定性评估。在本文中,我们提出了一种新的概率深度学习方法,用于从稀疏的2D MR图像数据和任意不确定性预测进行并发3D表面重建。我们的方法是能够重建大的表面网格从三个准正交的MR成像切片从有限的训练集,同时通过高斯分布建模的每个网格顶点的位置。使用内置的线性主成分分析(PCA)模型对先验形状信息进行编码。对心脏MR数据的大量实验表明,我们的概率方法成功地评估了预测的不确定性,同时在定性和定量方面优于SOTA方法的形状预测。与SOTA相比,我们能够通过使用空间感知神经网络来正确定位和定向预测。
2020-10-05 cs.CV cs.LG eess.IV