Laplace Approximation for Bayesian Tensor Network Kernel Machines
Delft Center for Systems and Control(代尔夫特系统与控制中心);Delft University of Technology(代尔夫特理工大学)
本文提出了一种基于拉普拉斯近似的贝叶斯张量网络核机,用于在张量网络假设下实现原理化的不确定性估计,在UCI回归基准测试中表现优异。
2026-04-29 cs.LG stat.ML
Learnable Bernoulli Dropout for Bayesian Deep Learning
Texas A&M University(得克萨斯农工大学);The University of Texas at Austin(得克萨斯大学奥斯汀分校)
在这项工作中,我们提出了可学习的伯努利辍学(LBD),一个新的模型不可知的辍学计划,认为辍学率的参数联合优化与其他模型参数。通过对Bernoulli dropout进行概率建模,我们的方法可以在深度模型中实现更鲁棒的预测和不确定性量化。特别地,当与变分自动编码器(VAE)相结合时,LBD使灵活的半隐式后验表示成为可能,从而产生新的半隐式VAE~(SIVAE)模型。我们使用Augment-REINFORCE-Merge(ARM),一种无偏和低方差梯度估计器,解决了关于辍学参数的训练优化问题。我们的一系列任务的实验表明,我们的方法相比,其他常用的辍学计划的优越性能。总体而言,LBD导致图像分类和语义分割中的准确性和不确定性估计的提高。此外,使用SIVAE,我们可以在几个公共数据集上实现最先进的协同过滤性能。
2020-02-12 cs.LG stat.ML
Identity Curvature Laplace Approximation for Improved Out-of-Distribution Detection
AIRI;NUST MISIS;T-Bank(T银行);MIPT(莫斯科物理技术学院);National University of Science and Technology MISIS(国立科技大学MISIS)
本文提出恒等曲率拉普拉斯近似(ICLA)方法,通过恒等曲率与先验精度优化改进分布外检测,在CIFAR-10、CIFAR-100和ImageNet上显著提升性能,并揭示特征嵌入与Fisher曲率对齐问题。
2024-11-05 cs.AI cs.CV cs.LG
Low Rank Based Subspace Inference for the Laplace Approximation of Bayesian Neural Networks
Physikalisch-Technische Bundesanstalt(德国联邦物理技术研究院)
本文通过低秩技术验证了神经网络子空间推断的有效性,提出了一种基于拉普拉斯近似的子空间模型,并展示了其在实际应用中的优越性。
2026-04-10 cs.LG
Uncertainty and Structure in Neural Ordinary Differential Equations
Bosch Center for Artificial Intelligence(博世人工智能中心);University of Tübingen(图宾根大学);MPI for Intelligent Systems Tübingen(马克斯·普朗克智能系统研究所(图宾根))
本文研究了神经常微分方程在科学与工程应用中的不确定性与结构问题,提出利用Laplace近似等贝叶斯深度学习技术实现结构化的不确定性量化,并探讨了机制知识(如守恒定律)与不确定性估计在辛神经ODE等框架中的相互作用,实验证明该方法在低维ODE和高维偏微分方程上均有效。
2023-05-22 cs.LG
Improving the Linearized Laplace Approximation via Quadratic Approximations
Machine Learning Group - Computer Science Department(计算机科学系机器学习小组);Escuela Politécnica Superior(理工大学);Department of Computer Science(计算机科学系);University of Granada Spain(西班牙格拉纳达大学);Information and Communication Technologies Research Centre (CITIC)(信息与通信技术研究中心(CITIC));Centro de Investigación Avanzada en Física Fundamental(先进物理基础研究中心)
本文提出QLA方法,通过二次近似改进线性化拉普拉斯近似,以提升深度神经网络的不确定性估计精度。
2026-02-03 cs.LG stat.ML
L2M: Practical posterior Laplace approximation with optimization-driven second moment estimation
Machine Learning Porto Alegre(阿雷格里港机器学习机构)
深度神经网络的不确定性量化最近已经通过许多技术发展。在这项工作中,我们重温拉普拉斯近似,一个经典的后验近似方法,是计算上的吸引力。然而,而不是计算曲率矩阵,我们表明,在一定的正则性条件下,拉普拉斯近似可以很容易地构造使用梯度二阶矩。这个量已经被Adagrad的许多指数移动平均变体(如Adam和RMSprop)估计,但传统上在训练后被丢弃。我们证明了我们的方法(L2M)不需要改变模型或优化,可以在几行代码中实现以产生合理的结果,并且除了优化器已经计算的内容之外,它不需要任何额外的计算步骤,而不需要引入任何新的超参数。我们希望我们的方法可以打开新的研究方向,使用已经计算的数量的优化不确定性估计在深度神经网络。
2021-07-09 cs.LG stat.ML
Self-Supervised Laplace Approximation for Bayesian Uncertainty Quantification
Rational Intelligence Lab, CISPA Helmholtz Center for Information Security Department of Statistics, LMU Munich(理性智能实验室,CISPA海德堡信息安全中心统计学系,慕尼黑大学);Department of Statistics, LMU Munich(统计学系,慕尼黑大学);Department of Computer Science, The University of Manchester(计算机科学系,曼彻斯特大学)
提出自监督拉普拉斯近似(SSLA),通过重新拟合自预测数据直接近似后验预测分布,实现确定性、无采样的贝叶斯不确定性量化,并在回归任务中优于经典拉普拉斯近似。
2026-05-28 cs.AI cs.LG stat.CO
Adaptive Two Sided Laplace Transforms: A Learnable, Interpretable, and Scalable Replacement for Self-Attention
School of Information, UC Berkeley(信息学院,伯克利大学)
本文提出可学习的双边短时拉普拉斯变换(STLT)替代自注意力,通过可训练节点和自适应分配实现高效、可解释的Transformer,在多项任务上达到同等或更优性能并支持超长上下文。
2025-06-01 cs.CL cs.LG
Gluformer: Transformer-Based Personalized Glucose Forecasting with Uncertainty Quantification
University of YYY(YYY大学);Institute of WWW(WWW研究所)
深度学习模型在预测血糖轨迹方面取得了最先进的成果,并提出了各种架构。然而,这种模型在临床实践中的适应是缓慢的,主要是由于缺乏所提供的预测的不确定性量化。在这项工作中,我们提出将以过去为条件的未来葡萄糖轨迹建模为基础分布的无限混合(即,高斯、拉普拉斯等)。这种变化使我们能够学习不确定性,并在轨迹具有异质或多模态分布的情况下更准确地预测。为了估计预测分布的参数,我们利用Transformer架构。我们经验证明,我们的方法优于现有的国家的最先进的技术,无论是在合成和基准葡萄糖数据集的准确性和不确定性。
2023-03-07 cs.LG
Fast Predictive Uncertainty for Classification with Bayesian Deep Networks
University of Tübingen(图宾根大学);Max-Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
在贝叶斯深度学习中,分类神经网络输出的分布通常通过首先在权重上构建高斯分布来近似,然后从中采样以接收softmax输出的分布。这是昂贵的。我们重新考虑旧的工作(拉普拉斯桥)来构建这个softmax输出分布的Dirichlet近似,它产生了logit空间中的高斯分布和输出空间中的Dirichlet分布(分类分布之前的共轭)之间的解析映射。重要的是,香草拉普拉斯桥有一定的局限性。我们分析了这些,并提出了一个简单的解决方案,相比其他常用的估计的softmax-Gaussian积分。我们证明了由此产生的Dirichlet分布具有多种优势,特别是更有效地计算不确定性估计和扩展到大型数据集和网络,如ImageNet和DenseNet。我们进一步证明了这种Dirichlet近似的有用性,使用它来构建ImageNet的轻量级不确定性感知输出排名。
2022-05-31 cs.LG stat.ML
Light-Weight Diffusion Multiplier and Uncertainty Quantification for Fourier Neural Operators
PhysicsX London, UK(PhysicsX伦敦)
针对傅里叶神经算子过度参数化且缺乏不确定性量化的问题,提出基于扩散乘子的轻量参数化DINOZAUR,以单时间参数替代稠密张量乘子,并借助贝叶斯先验实现校准的不确定性估计,在多个PDE基准上性能优异。
2025-10-17 cs.LG
Hypergraph Neural Stochastic Diffusion: An SDE Framework for Uncertainty Estimation
School of Mathematics and Statistics, Shandong University, Weihai(山东大学(威海)数学与统计学院);Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院);University of Chinese Academy of Sciences(中国科学院大学)
研究超图神经网络预测不确定性,提出超图神经随机扩散框架HyperNSD,将超图表示建模为随机过程,通过可学习函数量化不确定性,经理论分析和实验验证,能可靠估计不确定性并保持预测精度,提供随机动力学框架。
2026-07-09 cs.AI cs.LG
Optimality of Sub-network Laplace Approximations: New Results and Methods
Linkedin Inc.(LinkedIn公司)
本文研究子网络拉普拉斯近似法的最优性,提出两种新方法并证明其理论保证,展示其优于现有启发式方法。
2026-07-30 cs.LG stat.ML
Bayesian Metric Learning for Uncertainty Quantification in Image Retrieval
Technical University of Denmark(丹麦技术大学)
我们提出了第一个贝叶斯编码器的度量学习。我们不像以前的工作那样依赖于神经摊销,而是使用拉普拉斯近似来学习网络权重的分布。我们实现这一点,首先证明对比损失是一个有效的对数后验。然后,我们提出了三种方法,以确保一个正定的海森。最后,我们提出了一种新的广义高斯-牛顿近似的分解。从经验上讲,我们表明,我们的拉普拉斯度量学习器(LAM)估计校准良好的不确定性,可靠地检测出分布的例子,并产生最先进的预测性能。
2023-02-04 cs.CV cs.LG
Maximum Likelihood Uncertainty Estimation: Robustness to Outliers
Bonn-Rhein-Sieg University of Applied Sciences(波恩-莱茵-锡格应用技术大学);German Aerospace Center (DLR)(德国航空航天中心);University of Luxembourg(卢森堡大学)
我们基准的鲁棒性最大似然为基础的不确定性估计方法的离群值在训练数据回归任务。训练数据中的异常值或噪声标签会导致性能下降以及不确定性的不正确估计。我们建议使用重尾分布(拉普拉斯分布),以提高对离群值的鲁棒性。使用标准回归基准和单目深度估计的高维回归任务来评估此属性,两者都包含离群值。特别地,基于重尾分布的最大似然提供了更好的不确定性估计,更好地分离分布外数据的不确定性,以及在存在离群值的情况下更好地检测对抗攻击。
2022-02-03 cs.AI cs.LG
Bayesian Deep Learning via Subnetwork Inference
University of Cambridge(剑桥大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Amsterdam(阿姆斯特丹大学);Microsoft Research(微软研究院);The Alan Turing Institute(艾伦·图灵研究所)
贝叶斯范式有可能解决深度神经网络的核心问题,如校准不良和数据效率低下。唉,将贝叶斯推理扩展到大的权重空间通常需要限制性近似。在这项工作中,我们表明,它足以执行推理模型权重的一个小的子集,以获得准确的预测后验。其他权重保持为点估计值。这个子网络推理框架使我们能够在这些子集上使用表达性的,否则难以处理的后验近似。特别是,我们将子网络线性化拉普拉斯实现为一种简单的、可扩展的贝叶斯深度学习方法:我们首先获得所有权重的MAP估计,然后使用线性化拉普拉斯近似来推断子网络上的全协方差高斯后验。我们提出了一个子网络选择策略,旨在最大限度地保持模型的预测不确定性。从经验上讲,我们的方法在完整的网络上比合奏和表达较少的后验近似更有利。我们提出的子网络(线性化)拉普拉斯方法在https://github.com/AlexImmer/Laplace的laplace PyTorch库中实现。
2022-03-14 cs.LG stat.ML
'In-Between' Uncertainty in Bayesian Neural Networks
University of Cambridge(剑桥大学);Microsoft Research(微软研究院);Alan Turing Institute(艾伦·图灵研究所)
我们描述了平均场变分推理(MFVI),贝叶斯神经网络的一种流行的近似推理方法的预测不确定性估计的表达能力的限制。特别是,MFVI未能在不同的观测区域之间提供校准的不确定性估计。这可能会导致灾难性的过度自信的预测时,测试分布外的数据。避免这种过度自信对于主动学习、贝叶斯优化和分布外鲁棒性至关重要。相反,我们发现,一个经典的技术,线性化的拉普拉斯近似,可以处理"之间"的不确定性更好地为小型网络架构。
2019-06-27 cs.AI cs.LG stat.ML
Sampling-based inference for large linear models, with application to linearised Laplace
University of Cambridge(剑桥大学);University of Amsterdam(阿姆斯特丹大学);University College London(伦敦大学学院);University of Alberta(阿尔伯塔大学)
大规模线性模型在机器学习中无处不在,当代的应用是作为神经网络不确定性量化的替代模型;即线性化拉普拉斯方法。唉,与贝叶斯线性模型相关的计算成本限制了这种方法在小网络、小输出空间和小数据集上的应用。我们通过引入共轭高斯多输出线性模型的可扩展的基于样本的贝叶斯推断方法,以及超参数(正则化)选择的匹配方法来解决这个限制。此外,我们使用经典的特征归一化方法(g先验)来解决线性拉普拉斯方法的先前突出显示的病理。总之,这些贡献使我们能够在CIFAR 100上使用ResNet-18(11 M参数,100个输出x 50 k数据点),在Imagenet上使用ResNet-50(50 M参数,1000个输出x 1.2M数据点)以及在高分辨率断层重建任务上使用U-Net(2 M参数,251 k输出尺寸)执行线性神经网络推理。
2023-03-16 cs.AI cs.LG stat.ML
Laplace Redux -- Effortless Bayesian Deep Learning
University of Cambridge(剑桥大学);MPI for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Tübingen(蒂宾根大学);ETH Zurich(苏黎世联邦理工学院);Max Planck ETH Center for Learning Systems(马克斯·普朗克-苏黎世联邦理工学院学习系统中心);DeepMind(深度思维)
深度学习的贝叶斯公式已被证明具有令人信服的理论特性,并提供实际的功能优势,例如改进的预测不确定性量化和模型选择。拉普拉斯近似(LA)是一个经典的,可以说是最简单的近似族,用于深度神经网络的棘手后验。然而,尽管它很简单,LA并不像变分贝叶斯或深度集成那样受欢迎。这可能是由于假设LA是昂贵的,由于所涉及的海森计算,它是难以实现的,或者它产生较差的结果。在这项工作中,我们表明这些都是误解:我们(i)审查了LA的变体范围,包括具有最小成本开销的版本;(ii)引入“laplace”,一个易于使用的PyTorch软件库,提供对LA所有主要风格的用户友好访问;以及(iii)通过广泛的实验证明LA在性能方面与更流行的替代品具有竞争力,同时在计算成本方面表现出色。我们希望这项工作将成为LA在实际深度学习中更广泛采用的催化剂,包括目前通常不考虑贝叶斯方法的领域。
2022-03-14 cs.LG stat.ML
LAPLEX: The FFT of Learnable Laplace Kernels
Faculty of Mathematics and Computer Science, Jagiellonian University(杰里戈尼亚大学数学与计算机科学系);Doctoral School of Exact and Natural Sciences, Jagiellonian University(杰里戈尼亚大学精确与自然科学博士学院);Centre for Credible Artificial Intelligence, Warsaw University of Technology(华沙技术大学可信人工智能中心)
提出LAPLEX算子,通过可学习坐标锚点隐式定义满秩稠密矩阵,实现FFT规模的可训练矩阵-向量运算,分离表达性与存储成本。
2026-11-09 cs.AI cs.LG
Debiasing Mini-Batch Quadratics for Applications in Deep Learning
Tübingen AI Center(蒂宾根人工智能中心);University of Tübingen(蒂宾根大学)
本文分析了小批量计算导致的二次逼近系统性偏差及其对二阶优化和不确定性量化的不利影响,并开发评估了相应的去偏策略。
2025-01-28 cs.LG stat.ML
Towards Integrating Uncertainty for Domain-Agnostic Segmentation
UvA-Bosch Delta Lab, University of Amsterdam(阿姆斯特丹大学)
本文提出UncertSAM基准测试,评估不确定性量化对分割模型在领域无关场景下的泛化能力提升效果。
2025-12-29 cs.CV cs.LG
Ribbon: Scalable Approximation and Robust Uncertainty Quantification
提出Ribbon方法,通过影响函数线性化近似贝叶斯自举不确定性,避免重复模型重拟合,在合成回归、MNIST分类和加州房价基准上实现竞争性预测与改进校准。
2026-06-26 cs.LG stat.ML
Laplacian Segmentation Networks Improve Epistemic Uncertainty Quantification
Technical University of Denmark(丹麦技术大学);Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室)
本文提出拉普拉斯分割网络(LSN),通过联合建模认知和偶然不确定性解决图像分割中的OOD检测问题,并首次提出可扩展至带跳跃连接大型网络的权重后验拉普拉斯近似,在三个数据集上实现更优的OOD检测。
2024-07-23 cs.CV cs.LG
Cocoon: Robust Multi-Modal Perception with Uncertainty-Aware Sensor Fusion
University of Michigan(密歇根大学);NVIDIA Research(英伟达研究院);Stanford University(斯坦福大学);Harvard University(哈佛大学)
提出Cocoon,一个目标级和特征级的不确定性感知融合框架,通过特征对齐器和可学习替代真值实现跨模态公平比较,在正常和挑战性条件下均优于现有方法。
2024-10-16 cs.CV cs.LG
Possibilistic Predictive Uncertainty for Deep Learning
University of Cambridge(剑桥大学);National University of Singapore(新加坡国立大学);University of Warsaw(华沙大学)
提出基于可能性理论的Dirichlet近似可能性后验预测(DAPPr)框架,通过投影-近似策略实现高效且原则性的认知不确定性量化,在多个基准上达到竞争性能。
2026-06-12 cs.AI cs.CV cs.LG
Variation Due to Regularization Tractably Recovers Bayesian Deep Learning
Netflix Research(Netflix研究)
提出基于正则化变分的RegVar方法,通过微调阶段调整训练损失来量化深度网络的不确定性,可扩展至大网络,并在极限下恢复贝叶斯拉普拉斯近似,实验验证其有效性与稳定性洞察。
2025-04-24 cs.LG stat.ML
Rethinking Feature Uncertainty in Stochastic Neural Networks for Adversarial Robustness
National University of Defense Technology(国防科技大学)
众所周知,深度神经网络(DNN)在许多领域都取得了显著的成功。然而,当在模型输入上添加不可感知的幅度扰动时,模型性能可能会迅速下降。为了解决这个问题,最近提出了一种随机技术,称为随机神经网络(SNN)。具体来说,SNN将随机性注入模型中,以抵御不可见的攻击并提高对抗性鲁棒性。然而,现有的SNNs的研究主要集中在注入固定或可学习的噪声模型的权重/激活。在本文中,我们发现,现有的SNNs的性能在很大程度上是由特征表示能力。令人惊讶的是,简单地最大化特征分布的每个维度的方差会导致比所有以前的方法都有相当大的提升,我们将其命名为最大化特征分布方差随机神经网络(MFDV-SNN)。对已知的白盒和黑盒攻击的实验表明,MFDV-SNN比现有方法有显著的改进,是一种简单而有效的提高模型鲁棒性的方法。
2022-01-01 cs.CR cs.CV cs.LG
Approximating Full Conformal Prediction for Neural Network Regression with Gauss-Newton Influence
University of Amsterdam(阿姆斯特丹大学);Qualcomm AI Research(高通人工智能研究院);Johns Hopkins University(约翰斯·霍普金斯大学)
针对事后不确定性量化中 split-CP 统计效率低的问题,提出用高斯-牛顿影响和网络线性化逼近 full-CP,无需留出数据即可生成更紧的局部自适应预测区间。
2025-07-27 cs.LG stat.ML
Contrastive Linearized Laplace: Loss Geometry, Valid Repairs, and Reliable Cores
University of Granada(格拉纳达大学);Aalborg University(奥尔堡大学)
本文针对对比学习无法提供可靠逐点不确定性估计的问题,提出基于线性化拉普拉斯近似的事后框架,通过半正定修复获得有效局部高斯近似,在宏基因组分箱和图像分类任务上实现了性能与校准度的提升。
2026-10-14 cs.LG
Introducing Interval Neural Networks for Uncertainty-Aware System Identification
Istanbul Technical University(伊斯坦布尔技术大学)
本文提出构建和学习区间神经网络(INNs)的系统框架,通过将预训练网络参数转换为区间值参数并利用区间算术,为系统辨识任务提供无需概率假设的不确定性量化方法。
2025-04-26 cs.AI cs.LG
Discretization-Induced Dirichlet Posterior for Robust Uncertainty Quantification on Regression
Paris-Saclay University(巴黎-萨克雷大学);ENSTA Paris, Institut Polytechnique de Paris(巴黎综合理工学院 ENSTA 巴黎);University of Oxford(牛津大学)
针对视觉回归任务现有AuxUE仅侧重偶然不确定性、缺乏鲁棒性的问题,提出通用AuxUE方案,用拉普拉斯分布估计偶然不确定性,以DIDO方法建模离散预测误差的Dirichlet后验实现认知不确定性,在多任务上验证了噪声输入下的鲁棒性与可扩展性。
2023-12-13 cs.CV cs.LG stat.ML
Augmented Inverse Hybrid Weighting: Robust Inference under Deterministic and Random Distribution Shifts
该研究针对分布偏移问题,提出AIHW方法,通过分离系统偏移与残余随机扰动并权衡两类不确定性,在多站点数据集上验证其可降低均方误差、提升覆盖范围,具有良好鲁棒性。
2026-08-04 cs.LG math.ST stat.ME
Learnable Conformal Prediction with Context-Aware Nonconformity Functions for Robotic Planning and Perception
University of Illinois at Chicago(伊利诺伊大学香槟分校);Intel Labs(英特尔实验室)
本文提出可学习共形预测(LCP),用轻量级神经函数替代固定非一致性分数,在保持理论覆盖保证的同时,显著缩小预测集、收紧检测区间并提升路径规划安全性,且计算开销极低,适用于资源受限的自主系统。
2025-09-26 cs.LG cs.RO math.ST
PiGGO: Physics-Guided Learnable Graph Kalman Filters for Virtual Sensing of Nonlinear Dynamic Structures under Uncertainty
Department of Civil, Environmental and Geomatic Engineering, ETH Zürich(土木、环境与地理工程系,苏黎世联邦理工学院);Future Resilient Systems(未来韧性系统)
本文提出PiGGO框架,结合物理引导的图神经ODE与扩展卡尔曼滤波,实现非线性动态结构的在线虚拟传感和不确定性感知状态估计,优于传统方法和开环图神经模型。
2026-04-29 cs.LG physics.app-ph
Laplace HypoPINN: Physics-Informed Neural Network for hypocenter localization and its predictive uncertainty
King Abdulllah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学);King Fahd University of Petroleum and Minerals (KFUPM)(法赫德国王石油与矿产大学)
多年来,已经提出了几种用于震源自动定位的技术。虽然这些技术有利弊,权衡计算效率和陷入局部最小值的敏感性,需要一种替代方法,允许强大的定位性能,并保持潜力,使实时微震监测的难以捉摸的目标成为可能。物理信息神经网络(PINN)作为一种灵活、通用的框架出现在现场,用于求解偏微分方程(PDE)以及相关的初始或边界条件。我们开发了HypoPINN --一个基于PINN的震源定位反演框架,并引入了一个近似贝叶斯框架来估计其预测的不确定性。这项工作的重点是预测的震源位置使用HypoPINN和调查传播的不确定性从随机实现HypoPINN的权重和偏差使用拉普拉斯近似。我们训练HypoPINN以获得用于预测震源位置的优化权重。接下来,我们用拉普拉斯近似在优化的HypoPINN的权重处近似协方差矩阵,用于后验采样。后验样本表示HypoPINN权重的各种实现。最后,我们预测与这些权重的实现相关联的震源的位置,以研究来自这些实现的不确定性传播。我们展示了这种方法的特点,通过几个数值例子,包括使用Otway速度模型的基础上,在澳大利亚的Otway项目。
2022-05-28 cs.LG physics.geo-ph
Active Learning with Bayesian Multi-Fidelity Laplace Neural Operators for Oscillatory Parametric PDEs
Purdue University(普渡大学);Sandia National Laboratories(桑迪亚国家实验室)
针对参数动力系统代理建模中高保真数据获取昂贵的问题,提出贝叶斯多保真度拉普拉斯神经算子,利用不确定性引导主动学习高效获取高保真轨迹,在多个振荡系统上优于随机采样和MF-DeepONet。
2026-09-15 cs.LG cs.NA math.NA
Uncertainty Propagation Networks for Neural Ordinary Differential Equations
York University(约克大学)
UPN通过耦合微分方程建模状态演变与不确定性,提供连续时间建模中的不确定性量化,适用于多种动态系统预测任务。
2026-02-24 cs.LG
Tubular Riemannian Laplace Approximations for Bayesian Neural Networks
National Institute of Metrology, Technology and Quality (Inmetro)(国家计量技术质量研究院)
TRL 通过管状黎曼拉普拉斯近似在高维参数空间中实现高效且可靠的贝叶斯神经网络推断。
2026-01-04 cs.AI cs.LG
Sequential sparse Gaussian process quantile regression
Inria(法国国家信息与自动化研究所);Center for Applied Mathematics, École polytechnique, Institut Polytechnique de Paris(巴黎综合理工学院应用数学中心);CNRS(法国国家科学研究中心)
提出一种稀疏高斯过程框架,通过拉普拉斯近似进行后验推断,并利用预测不确定性分解驱动诱导点填充和数据获取的序贯算法,以高效实现贝叶斯分位数回归。
2026-10-22 cs.LG stat.ML
Quantifying Epistemic Uncertainty in Diffusion Models
Berkeley Lab & ICSI(伯克利实验室与ICS实验室);UC Berkeley & ICSI(加州大学伯克利分校与ICS实验室);Berkeley Lab(伯克利实验室);New York University(纽约大学)
本文提出FLARE方法,通过基于信息量的随机近似技术,有效分离扩散模型的先验不确定性,提升生成数据的可信度评估。
2026-02-09 cs.AI cs.LG stat.ML
Addressing the Inconsistency in Bayesian Deep Learning via Generalized Laplace Approximation
School of Engineering Deakin University Melbourne, VIC, 3216, Australia(工程学院 德堪大学 澳大利亚墨尔本 VIC 3216);Faculty of Mathematics(数学与计算机科学学院);Department of Computing Technologies Swinburne University of Technology Hawthorn, VIC, 3122, Australia(计算技术系 斯winburne技术大学 澳大利亚霍斯顿 VIC 3122)
本文提出广义拉普拉斯近似方法,通过简单修改海森矩阵计算实现可扩展的高质量后验推断,并将后验温度调节解释为对模型误设和先验不确定性的修正,在真实数据上验证了其提升预测性能的效果。
2025-09-22 cs.LG stat.ML
FSP-Laplace: Function-Space Priors for the Laplace Approximation in Bayesian Deep Learning
Tübingen AI Center, University of Tübingen(蒂宾根大学蒂宾根人工智能中心);Helmholtz AI, TU Munich(慕尼黑工业大学亥姆霍兹人工智能研究所)
针对贝叶斯深度学习中拉普拉斯近似常用的各向同性高斯权重先验随深度增加出现病态的问题,提出FSP-Laplace方法,在函数空间设置GP先验并结合无矩阵线性代数实现可扩展拉普拉斯近似,在科学推断任务上效果更优且在黑盒监督学习中保持竞争力。
2024-10-31 cs.AI cs.LG
Post-Hoc Uncertainty Quantification in Pre-Trained Neural Networks via Activation-Level Gaussian Processes
Siemens AG(西门子股份公司)
本文提出GAPA方法,通过激活层面高斯过程在预训练神经网络中进行事后不确定性量化,提升模型的鲁棒性和泛化能力。
2025-02-28 cs.LG math.ST stat.ML
Uncertainty Estimation and Generalization Bounds for Modern Deep Learning
Andrés Department of Computer Science Machine Learning Group(安德烈斯计算机科学系机器学习组);Madrid, June 2026(马德里,2026年6月)
本文从贝叶斯角度统一推断、函数空间建模和大偏差理论,提出DVIP、VaLLA和FMGP等方法改进不确定性估计,并利用PAC-贝叶斯和大偏差理论解释过参数化神经网络的泛化能力。
2026-06-15 cs.LG
Learning Uncertainty with Artificial Neural Networks for Improved Predictive Process Monitoring
Research Centre for Information Systems Engineering(信息系统工程研究中心)
人工神经网络无法评估其预测的不确定性是其广泛使用的障碍。我们区分两种类型的可学习的不确定性:由于缺乏训练数据和噪声引起的观测不确定性模型的不确定性。贝叶斯神经网络使用坚实的数学基础来学习其预测的模型不确定性。观测不确定度可以通过在这些网络上增加一层并增加其损失函数来计算。我们的贡献是将这些不确定性概念应用于预测过程监控任务,以训练基于不确定性的模型来预测剩余时间和结果。我们的实验表明,不确定性估计允许更多和更少的准确的预测进行区分,并在回归和分类任务中构建置信区间。即使在运行过程的早期阶段,这些结论仍然是正确的。此外,部署的技术速度快,预测更准确。学习到的不确定性可以增加用户对过程预测系统的信心,促进人类与这些系统之间更好的合作,并使更早的实现具有更小的数据集。
2022-06-13 cs.AI cs.LG
Non-Volatile Memory Accelerated Posterior Estimation
Boston University(波士顿大学);IBM Research(IBM研究院);Hasso Plattner Institute(哈索·普拉特纳研究所)
贝叶斯推理允许机器学习模型表达不确定性。当前的机器学习模型在进行预测时只使用单个可学习的参数组合,因此当它们的预测错误时,它们会非常自信。为了有效地使用更多可学习的参数组合,这些样本必须从后验分布中提取。不幸的是,直接计算后验是不可行的,所以研究人员经常用一个众所周知的分布(如高斯分布)来近似它。在本文中,我们表明,通过使用高容量持久存储,后验分布太大而无法近似的模型现在是可行的,从而改善了下游任务的预测。
2022-02-21 cs.AR cs.LG
Improving Group Fairness in Knowledge Distillation via Laplace Approximation of Early Exits
EESC KTH Royal Institute of Technology(皇家理工学院电子与系统工程系);CSE IIT Bombay(印度理工学院班加罗尔计算机科学与工程系)
本文提出利用拉普拉斯近似获得校准良好的不确定性估计,对知识蒸馏中的困难实例进行重新加权,以改善学生模型的群体公平性,并在MultiNLI数据集上验证了其优于边际方法的稳健性。
2025-05-02 cs.AI cs.LG
Towards Spatio-temporal Sea Surface Temperature Forecasting via Static and Dynamic Learnable Personalized Graph Convolution Network
Beijing University of Posts and Telecommunications(北京邮电大学)
针对海表温度预测中动态时空依赖建模不足的问题,本文提出SD-LPGC,用两个图学习层分别刻画长期稳定与短期演化模式,并通过个性化卷积融合,实验达到最先进性能。
2023-04-12 cs.AI cs.LG physics.ao-ph
Bi-level Meta-Policy Control for Dynamic Uncertainty Calibration in Evidential Deep Learning
针对证据深度学习静态超参数导致校准不佳的问题,提出元策略控制器(MPC),通过双层优化动态调整KL系数和狄利克雷先验,提升不确定性校准与预测性能。
2025-10-10 cs.CV cs.LG
Augmenting Physical Simulators with Stochastic Neural Networks: Case Study of Planar Pushing and Bouncing
Massachusetts Institute of Technology(麻省理工学院)
具有通用不确定性估计的有效的、可推广的物理仿真器在机器人状态估计、规划和控制中具有广泛的应用。在本文中,我们建立这样一个模拟器的两种情况下,平面推动和球反弹,通过增强分析刚体模拟器与神经网络,学习模型的不确定性作为残差。将符号的、确定性的模拟器与可学习的、随机的神经网络相结合,同时为我们提供了表现力、效率和可推广性。我们的模型在真实的标准基准测试中始终优于纯分析和纯学习的模拟器。与使用高斯过程建模不确定性的方法相比,我们的模型运行速度更快,更好地推广到新的对象形状,并且能够表征对象轨迹的复杂分布。
2018-08-09 cs.LG cs.RO
Fractional Laplace Neural Operators: Exact Architectures, an Expressivity Frontier at Criticality, and Certified Stability for Memory-Driven Network Dynamics
Universidad del Desarrollo(发展大学)
本文提出分数阶拉普拉斯神经算子(fLNO),精确嵌入沃尔泰拉记忆结构,在临界状态展现表达力前沿,并通过认证参数化保证稳定性,实现高精度跨尺度迁移。
2026-10-02 cs.LG stat.ML
Reparameterization invariance in approximate Bayesian inference
Technical University of Denmark(丹麦技术大学);University of Cambridge(剑桥大学);Karolinska Institutet(卡罗林斯卡学院);University of Tübingen(蒂宾根大学);Tübingen AI Center(蒂宾根人工智能中心)
针对贝叶斯神经网络(BNNs)近似后验在重参数化下缺乏不变性的问题,本文基于线性化拉普拉斯近似提出重参数化几何视角解释线性化成功原因,并通过黎曼扩散过程将不变性扩展到原始网络预测,提出采样算法并提升后验拟合效果。
2025-02-10 cs.LG stat.ML