Stochastic Model Predictive Control Utilizing Bayesian Neural Networks
Yokogawa Insilico Biotechnology GmbH（横河因西利科生物技术有限公司）
集成测量和历史数据可以通过基于学习的技术增强控制系统，但确保性能和安全性具有挑战性。鲁棒模型预测控制策略，如随机模型预测控制，可以通过考虑不确定性来解决这个问题。高斯过程经常使用，但对于较大的模型和数据集有局限性。我们探索贝叶斯神经网络的随机学习辅助控制，比较其性能的高斯过程的污水处理厂模型。结果表明，贝叶斯神经网络实现了类似的性能，突出了它们作为控制设计替代方案的潜力，特别是在处理大量数据集时。
2023-03-25 cs.LG cs.SY eess.SY
Local Interpretable Model-agnostic Explanations of Bayesian Predictive Models via Kullback-Leibler Projections
Helsinki Institute for Information Technology HIIT（赫尔辛基信息技术研究所（HIIT））；Aalto University（阿尔托大学）
我们介绍了一种方法，KL-LIME，用于解释贝叶斯预测模型的预测，通过将预测分布中的信息局部投影到一个更简单，可解释的解释模型。所提出的方法结合了最近的本地可解释模型不可知推理（LIME）方法与贝叶斯投影预测变量选择方法的想法。信息论的基础有助于导航之间的权衡解释的保真度和复杂性。我们展示了解释贝叶斯深度卷积神经网络的MNIST数字分类的方法。
2018-10-05 cs.LG stat.ML
Quasi-Bayesian Nonparametric Density Estimation via Autoregressive Predictive Updates
University of Oxford（牛津大学）；Novo Nordisk（诺和诺德）；University College London（伦敦大学学院）
贝叶斯方法是一种流行的选择，统计推断在小数据制度，由于正则化效应引起的先验。在密度估计的背景下，标准的非参数贝叶斯方法是针对Dirichlet过程混合模型的后验预测。通常，后验预测的直接估计是棘手的，因此方法通常求助于近似后验分布作为中间步骤。然而，最近发展的准贝叶斯预测copula更新，使得有可能进行易于处理的预测密度估计，而不需要后验近似。虽然这些估计在计算上是有吸引力的，但它们往往在非光滑数据分布上挣扎。这是由于提出的copula更新所依据的似然模型的相对限制性形式。为了解决这个问题，我们考虑了一个贝叶斯非参数模型与自回归似然分解和高斯过程先验。虽然这样的模型的预测更新通常是棘手的，我们得到一个准贝叶斯预测更新，实现国家的最先进的结果在小数据制度。
2023-02-18 cs.LG stat.ME stat.ML
Nonlinear sparse variational Bayesian learning based model predictive control with application to PEMFC temperature control
College of Control Science and Engineering（控制科学与工程学院）；Zhejiang University（浙江大学）
针对模型预测控制依赖准确系统模型的问题，提出基于非线性稀疏变分贝叶斯学习的MPC方法，通过变分推断量化不确定性，保证稳定性与约束可行性，经PEMFC温控实验验证有效。
2024-04-15 cs.LG cs.SY eess.SY
Beyond Marginal Uncertainty: How Accurately can Bayesian Regression Models Estimate Posterior Predictive Correlations?
University of Chicago（芝加哥大学）；University of Toronto（多伦多大学）；Vector Institute（矢量研究所）
虽然不确定性估计是深度学习中一个研究得很好的主题，但大多数此类工作都集中在边际不确定性估计上，即各个输入位置的预测均值和方差。但是，估计不同输入位置处的函数值之间的预测相关性通常更有用。在本文中，我们考虑的问题，基准如何准确贝叶斯模型可以估计预测相关性。我们首先考虑一个依赖于后验预测相关性的下游任务：转导主动学习（TAL）。我们发现TAL比普通的主动学习更好地利用了模型的不确定性估计，并推荐将其作为评估贝叶斯模型的基准。由于TAL太昂贵和间接的指导算法的开发，我们引入了两个指标，更直接地评估预测相关性，可以有效地计算：元相关性（即模型相关性估计和真实值之间的相关性），和交叉归一化似然（XLL）。我们通过证明它们与TAL性能的一致性来验证这些指标，并了解当前贝叶斯神经网络和高斯过程模型的相对性能。
2021-03-01 cs.LG stat.ML
Efficient Bayesian Deep Ensembles via Analytic Predictive Inference
Wm Michael Barnes ’64 Department of Industrial and Systems Engineering（工业与系统工程系）
该研究提出一种高效贝叶斯深度集成方法用于预测回归，结合贝叶斯推理与深度集成优势。通过低维集成表示、闭式贝叶斯聚合和独立集成训练三个关键组件，在保持可靠不确定性估计时实现了有竞争力的预测性能。
2026-07-09 cs.LG stat.ME
Marginal and Joint Cross-Entropies & Predictives for Online Bayesian Inference, Active Learning, and Active Sampling
University of Oxford（牛津大学）
当我们只关注边际预测分布（边际预测）时，原则贝叶斯深度学习（BDL）并没有发挥出它的潜力。最近的工作突出了联合预测（贝叶斯）顺序决策的重要性，从理论和合成的角度。我们提供了更多的实际论据，立足于现实世界的应用，专注于联合预测：我们讨论在线贝叶斯推理，这将使我们能够作出预测，同时考虑到额外的数据，而无需再培训，我们提出了新的具有挑战性的评估设置使用主动学习和主动采样。这些设置的动机是检查边缘和联合预测，他们各自的交叉熵，以及他们在离线和在线学习的地方。它们比以前建议的更现实，建立在Wen等人的工作基础上。（2021）和Osband等人。（2022），并专注于评估在线监督环境中近似BNN的性能。然而，最初的实验，这些想法在高维参数空间与当前BDL推理技术的可行性提出了问题，我们建议的实验，可能有助于进一步阐明这些问题的实用性，目前的研究。重要的是，我们的工作突出了当前研究中以前未发现的差距，以及对更好的近似联合预测的需求。
2022-05-18 cs.LG stat.ML
Do Bayesian Neural Networks Improve Weapon System Predictive Maintenance?
Naval Surface Warfare Center – Corona Division（海军水面战中心科罗纳分部）
本文提出基于贝叶斯推断的LaplaceNN方法，用于建模高可靠武器系统在区间删失数据下的失效时间，并通过标准分类指标在合成与真实数据集上验证了其有效性。
2024-01-06 cs.LG stat.AP
The Bayesian Reflex: A Predictive Coding Engine for Artificial Intelligence
Indian Statistical Institute（印度统计研究所）
该研究提出贝叶斯反射计算框架，结合预测编码三大支柱，利用近期算法突破实现可扩展的类脑持续学习、感知与决策，通过多领域应用为自适应AI提供蓝图。
2026-08-04 cs.AI cs.LG
From Risk to Uncertainty: Generating Predictive Uncertainty Measures via Bayesian Estimation
CMAP, École polytechnique（巴黎综合理工学院CMAP实验室）
本文通过将逐点风险分解为偶然不确定性与认知不确定性，并结合贝叶斯近似，提出可生成多种预测不确定性度量的框架，且在图像 OOD 与误分类检测任务上验证其有效性。
2025-02-17 cs.LG stat.ML
Big Batch Bayesian Active Learning by Considering Predictive Probabilities
AstraZeneca（阿斯利康）；University of Bristol（布里斯托尔大学）；Lancaster University（兰卡斯特大学）
针对BatchBALD采集函数混淆两类不确定性导致性能不佳的问题，提出基于仅含认知不确定性的预测概率的批量贝叶斯主动学习采集函数，兼具更优性能与更快评估速度，可支持更大批量。
2025-01-14 cs.LG stat.ML
Evasion Attacks Against Bayesian Predictive Models
Inst. Math. Sciences, Spanish Nat. Research Council（数学科学研究所，西班牙国家研究理事会）；Universidad Autónoma de Madrid, Escuela de Doctorado（马德里自治大学，博士学院）；CUNEF Universidad Madrid, Spain（CUNEF马德里大学，西班牙）
针对贝叶斯预测模型对抗攻击脆弱性研究不足的问题，本文提出了设计最优规避攻击的通用方法，针对两类对抗目标提出基于梯度的新型攻击并分析其在不同计算设置下的特性。
2025-06-11 cs.LG stat.ML
High-Dimensional Surrogate Modeling for Closed-Loop Learning of Neural-Network-Parameterized Model Predictive Control
Control and Cyber-Physical Systems Laboratory, Technical University of Darmstadt（控制与物理系统实验室，德累斯顿技术大学）
本文提出使用贝叶斯神经网络替代模型改进高维控制器参数化学习，通过实验验证其在闭环优化中的有效性与稳定性。
2025-12-12 cs.LG cs.SY eess.SY
Robust Predictive Uncertainty and Double Descent in Contaminated Bayesian Random Features
The University of Manchester, UK（英国曼彻斯特大学）；University of Pisa, Italy（意大利比萨大学）；Nanyang Technological University, Singapore（新加坡南洋理工大学）；Max Planck Institute for Mathematics in the Sciences, Germany（德国马克斯·普朗克数学研究所）
提出一种鲁棒贝叶斯随机特征回归方法，通过Huber污染集处理先验和似然误设，推导出后验预测密度的上下界，并引入不精确最高密度区域进行鲁棒不确定性量化，证明预测不确定性保持计算可行性并继承经典双重下降相位结构。
2026-06-01 cs.LG math.PR math.ST
Predictive Coding with Bayesian Priors via Proximal Gradients
Department of Mechanical Engineering and Dynamical Neuroscience Program（机械工程与动力神经科学项目部）；UC Santa Barbara
将预测编码重新表述为应用于正则化最大后验目标的连续时间近端梯度下降，揭示了其与漏泄发放率网络的等价性，并推广到分层结构。
2026-06-06 cs.LG cs.SY eess.SY
Calibrated One Round Federated Learning with Bayesian Inference in the Predictive Space
University of Waterloo（滑铁卢大学）；Vector Institute（矢量研究所）
针对贝叶斯联邦学习中局部预测后验乘积导致过度自信的问题，提出β-Predictive Bayes算法，通过可调参数β在混合与乘积之间插值以改善全局集成校准，并在多种数据集上验证了其优于基线。
2024-01-09 cs.LG stat.ML
Accelerating Multi-Objective Bayesian Optimisation via Predictive-Gradient Catalysts
Loughborough University（洛辛厄姆大学）；University of Exeter（埃克塞特大学）；The University of Manchester（曼彻斯特大学）
提出利用高斯过程预测梯度作为辅助信号，增强现有Pareto兼容采集函数，加速多目标贝叶斯优化收敛到全局Pareto集。
2026-06-05 cs.LG
Graph Posterior Network: Bayesian Predictive Uncertainty for Node Classification
Technical University of Munich（慕尼黑工业大学）
图中节点之间的相互依赖性是改进节点上的类预测的关键，并用于标签传播（LP）或图神经网络（GNN）等方法。尽管如此，非独立节点级预测的不确定性估计还未得到充分探索。在这项工作中，我们从三个方面探索了节点分类的不确定性量化：（1）我们导出了三个公理，明确描述了同构属性图中预期的预测不确定性行为。(2)我们提出了一个新的模型图后验网络（GPN），明确执行贝叶斯后验更新的预测相互依赖的节点。GPN可证明遵守所提出的公理。(3)我们广泛评估了GPN和一组强大的半监督节点分类基线，包括异常特征的检测和遗漏类的检测。在实验中，GPN优于现有的不确定性估计方法。
2021-10-26 cs.LG stat.ML
Split Conformal Prediction with Label-Shift-Adjusted Bayesian Scores
MOGAM Institute for Biomedical Research（MOGAM生物医学研究所）；CROID Research（CROID研究）；aSSIST University（aSSIST大学）
针对标签偏移下共形预测失效问题，提出标签偏移调整的贝叶斯分数（LSA分数），通过后验预测倾斜恒等式修正贝叶斯分数，在分子性质预测中生成更短区间且覆盖相当。
2026-09-14 cs.LG
Simple and Scalable Predictive Uncertainty Estimation using Deep Ensembles
DeepMind
深度神经网络（NN）是功能强大的黑盒预测器，最近在广泛的任务上取得了令人印象深刻的性能。量化神经网络中的预测不确定性是一个具有挑战性且尚未解决的问题。贝叶斯神经网络学习权重分布，是目前估计预测不确定性的最先进方法;然而，与标准（非贝叶斯）神经网络相比，这些方法需要对训练过程进行重大修改，并且计算成本很高。我们提出了一种替代贝叶斯神经网络，是简单的实现，易于并行化，需要很少的超参数调整，并产生高质量的预测不确定性估计。通过对分类和回归基准的一系列实验，我们证明了我们的方法可以产生校准良好的不确定性估计，这些估计与近似贝叶斯神经网络一样好或更好。为了评估对数据集偏移的鲁棒性，我们评估了已知和未知分布的测试示例的预测不确定性，并表明我们的方法能够在分布外的示例中表达更高的不确定性。我们通过评估ImageNet上的预测不确定性估计来证明我们方法的可扩展性。
2017-11-04 cs.LG stat.ML
PAC$^m$-Bayes: Narrowing the Empirical Risk Gap in the Misspecified Bayesian Regime
Google Research（谷歌研究院）
贝叶斯后验最小化“推断风险”，其本身限制了“预测风险”。当可能性和先验信息明确指定时，该界限很紧。然而，由于误设定导致间隙，贝叶斯后验预测分布可能具有较差的泛化性能。这项工作开发了一个多样本损失（PAC $^m$），它可以通过跨越两个风险之间的权衡来缩小差距。损失是计算上有利的，并提供PAC泛化保证。实证研究表明，改善的预测分布。
2022-05-23 cs.LG stat.ML
Bayesian Predictive Coding
VERSES AI Research Lab（VERSES AI研究实验室）；School of Engineering and Informatics, University of Sussex（萨塞克斯大学工程与信息学院）；Max Planck Institute of Animal Behavior（马克斯·普朗克动物行为研究所）；Duke University（杜克大学）
本文提出了一种PC的贝叶斯扩展方法BPC，通过估计网络参数的后验分布来量化不确定性，同时保留了PC的局部性并产生闭式Hebbian权重更新，在保证生物合理性的同时改善了收敛性能。
2025-03-31 cs.AI cs.LG stat.ML
Accelerating Monte Carlo Bayesian Inference via Approximating Predictive Uncertainty over Simplex
估计贝叶斯学习模型的预测不确定性在各种决策问题中至关重要，例如，强化学习，检测对抗攻击，自动驾驶汽车。由于模型后验几乎总是难以处理的，因此大多数努力都是为了找到一个准确的近似真实后验。即使获得了模型后验的适当估计，也需要另一种近似来计算期望输出的预测分布。一种常见的精确解是使用蒙特卡罗（MC）积分。然而，它需要维护大量的样本，反复评估模型并对多个模型输出进行平均。在许多现实世界的情况下，这在计算上是禁止的。在这项工作中，假设获得精确的后验或体面的近似，我们提出了一个通用的框架来近似模型后验引起的输出概率分布与参数化模型和摊销的方式。其目的是近似一个特定的贝叶斯模型的真实不确定性，同时减轻MC集成在测试时的繁重工作量。所提出的方法是普遍适用于贝叶斯分类模型，允许后验抽样。从理论上讲，我们表明，摊销的想法不会产生额外的成本近似性能。实证结果验证了我们的方法的强大的实际性能。
2019-09-26 cs.LG stat.ML
Bayesian Regression Approach for Building and Stacking Predictive Models in Time Series Analytics
Ivan Franko National University of Lviv（利沃夫伊万·弗兰科国立大学）
本文介绍了使用贝叶斯回归建立时间序列模型和堆叠不同的预测模型的时间序列。分析了贝叶斯回归在非线性趋势时间序列建模中的应用。这种方法使得有可能估计时间序列预测的不确定性并计算风险值特性。本文讨论了一种基于贝叶斯回归的时间序列分层模型。在这种方法中，一组参数对于所有数据样本是相同的，其他参数对于不同组的数据样本可以是不同的。这种方法允许在指定时间序列的短历史数据的情况下使用该模型，例如在销售预测问题中的新店或新产品的情况下。在预测模型的叠加研究中，采用ARIMA、神经网络、随机森林、Extra Tree等模型进行了第一层的预测。在第二个层次上，这些模型对验证集的时间序列预测用于贝叶斯回归的叠加。这种方法给出了这些模型的回归系数的分布。这使得它有可能估计的不确定性，由每个模型叠加结果的贡献。关于这些分布的信息使我们能够选择一组最佳的堆叠模型，同时考虑到领域知识。堆叠预测模型的概率方法使我们能够对决策过程中重要的预测进行风险评估。
2022-01-06 cs.AI cs.CL cs.LG
Divide-and-Conquer Predictive Coding: a structured Bayesian inference algorithm
Vanderbilt University（范德堡大学）；VERSES AI Research Lab（VERSES AI研究实验室）；Vienna University of Technology（维也纳技术大学）
本文提出分治预测编码（DCPC），在保持生物合理性的同时尊重生成模型相关结构并实现最大似然参数更新，在多个结构化推理问题上优于现有预测编码方法。
2024-10-17 cs.AI cs.LG q-bio.NC
Holdout predictive checks for Bayesian model criticism
Rutgers University（罗格斯大学）；Columbia University（哥伦比亚大学）；New York University（纽约大学）
针对后验预测检验因重复使用数据导致p值未校准的问题，提出结合贝叶斯建模与频率学派评估的留存预测检验方法，证明其校准性并在多场景验证。
2026-08-14 cs.LG stat.ME
Bayesian Portfolio Optimization by Predictive Synthesis
Data Analytics Department（数据分析部门）；Mizuho-DL Financial Technology Co., Ltd.（Mizuho-DL金融科技有限公司）
针对金融市场不确定性导致单一预测模型失效的问题，提出基于贝叶斯预测合成（BPS）的投资组合优化方法，通过动态线性模型组合多个资产收益预测，构建均值-方差和分位数投资组合。
2025-10-08 cs.LG econ.EM q-fin.CP
Uncertainty-Aware (UNA) Bases for Deep Bayesian Regression Using Multi-Headed Auxiliary Networks
Harvard University（哈佛大学）
神经线性模型（NLM）是深度贝叶斯模型，通过从数据中学习特征，然后对这些特征执行贝叶斯线性回归，从而产生预测不确定性。尽管他们的流行，很少有作品集中在有条不紊地评估这些模型的预测不确定性。在这项工作中，我们证明了NLM的传统训练程序大大低估了分布外输入的不确定性，因此它们不能天真地部署在风险敏感的应用程序中。我们确定了这种行为的根本原因，并提出了一个新的训练框架，捕捉有用的预测不确定性的下游任务。
2021-12-15 cs.LG stat.ML
Understanding Uncertainty in Bayesian Deep Learning
Harvard University（哈佛大学）
神经线性模型（NLM）是深度贝叶斯模型，通过从数据中学习特征，然后对这些特征执行贝叶斯线性回归，从而产生预测不确定性。尽管他们的流行，很少有作品集中在正式评估这些模型的预测不确定性。此外，现有的作品指出，编码领域知识的模型，如NLM的困难，使他们不适合的应用程序，需要可解释性。在这项工作中，我们表明，传统的NLM训练程序可以大大低估数据稀缺地区的不确定性。我们确定了这种行为的根本原因，并提出了一种新的训练方法，既可以捕捉有用的预测不确定性，以及允许纳入领域知识。
2021-05-21 cs.LG stat.ML
Uncertainty Decomposition for Bayes-Filtered Transformers via Bayesian Predictive Inference
Bocconi University（博科尼大学）；Monash University（墨尔本大学）；University of Oxford（牛津大学）
本文提出在TabPFN中进行不确定性分解的原理框架，通过贝叶斯预测推断方法，推导出基于预测更新波动性的方差估计器，并实现快速计算的可信区间，同时针对分类任务提出基于熵的不确定性分解方法。
2026-07-21 cs.LG stat.ME stat.ML
Correcting Predictions for Approximate Bayesian Inference
Helsinki Institute for Information Technology HIIT（赫尔辛基信息技术研究所 HIIT）；University of Helsinki（赫尔辛基大学）
贝叶斯模型量化不确定性，并促进下游应用的最佳决策。然而，对于大多数模型，从业者被迫使用近似推理技术，由于不正确的后验预测分布，导致次优决策。我们提出了一种新的方法，通过改变决策过程来纠正后验推理的不准确性。我们训练一个单独的模型，使最佳决策下的近似后验，结合可解释的贝叶斯建模与优化的直接预测精度的原则性的方式。该解决方案是一般适用于作为一个插件模块的预测决策的任意概率程序，无论后验推理策略。我们证明了经验的方法在几个问题，确认其潜力。
2019-09-11 cs.LG stat.ML
Bayesian Neural Networks for Reversible Steganography
University of Warwick（华威大学）
深度学习的最新进展导致可逆隐写术领域的范式转变。可逆隐写术的一个基本支柱是预测建模，它可以通过深度神经网络实现。然而，非平凡的错误存在于一些分布和噪声数据的推断。鉴于这个问题，我们建议考虑基于贝叶斯深度学习理论框架的预测模型中的不确定性，从而创建自适应隐写系统。大多数现代深度学习模型被认为是确定性的，因为它们只提供预测，而不能提供不确定性测量。贝叶斯神经网络为深度学习带来了概率视角，可以被视为具有自我意识的智能机器;也就是说，一台知道自己局限性的机器。为了量化不确定性，我们应用贝叶斯统计对预测分布进行建模，并通过随机向前传递的蒙特卡罗抽样对其进行近似。我们进一步表明，预测的不确定性可以分解为任意和认知的不确定性，这些量可以在无监督的情况下学习。实验结果表明，贝叶斯不确定性分析对隐写率失真性能的改善。
2023-03-07 cs.CV cs.LG cs.MM
Density Regression and Uncertainty Quantification with Bayesian Deep Noise Neural Networks
University of Pennsylvania（宾夕法尼亚大学）；Purdue University（普渡大学）；University of Michigan（密歇根大学）
深度神经网络（DNN）模型在广泛的监督学习应用中实现了最先进的预测精度。然而，准确量化DNN预测中的不确定性仍然是一项具有挑战性的任务。对于连续的结果变量，一个更困难的问题是估计预测密度函数，它不仅提供了预测不确定性的自然量化，而且还完全捕获了结果中的随机变化。在这项工作中，我们提出了贝叶斯深度噪声神经网络（B-DeepNoise），它通过将随机噪声变量从输出层扩展到所有隐藏层来推广标准贝叶斯DNN。潜在的随机噪声使B-DeepNoise能够灵活地近似高度复杂的预测分布，并准确量化预测的不确定性。对于后验计算，B-DeepNoise的独特结构导致了一种封闭形式的Gibbs采样算法，该算法从模型参数的后验全条件分布迭代模拟，从而规避了计算密集型Metropolis-Hastings方法。B-DeepNoise的理论分析建立了预测分布的递归表示，并分解了关于潜在参数的预测方差。我们在基准回归数据集上对B-DeepNoise与现有方法进行了评估，证明了其在预测精度、不确定性量化精度和不确定性量化效率方面的卓越性能。为了说明我们的方法在科学研究中的有用性，我们在青少年大脑认知发展（ABCD）项目中应用B-DeepNoise来预测神经成像特征的一般智力。
2022-06-12 cs.LG stat.ML
Incorporating Unlabelled Data into Bayesian Neural Networks
University of Oxford（牛津大学）；Helmholtz AI（亥姆霍兹人工智能研究所）；Technical University of Munich（慕尼黑工业大学）
本文提出自监督贝叶斯神经网络，通过对比预训练和变分下界优化利用无标签数据学习更好的先验预测分布，从而在低预算场景下提升预测性能。
2024-08-30 cs.AI cs.LG stat.ML
Design-marginal calibration of Gaussian process predictive distributions: Bayesian and conformal approaches
Transvalor S.A.；Univ. Paris-Saclay（巴黎-萨克雷大学）；CNRS（国家科学研究中心）；CentraleSupélec（中央超导大学）；L2S（L2S实验室）
本文提出两种高斯过程预测分布的校准方法，通过改进的符合预测系统和广义正态模型，提升预测分布的准确性和稳定性。
2025-12-05 cs.LG stat.ME stat.ML
Performance Evaluation of Predictive Classifiers For Knowledge Discovery From Engineering Materials Data Sets
Mangalore University（芒伽罗大学）
本文将朴素贝叶斯分类器和C4. 5决策树分类器（DTC）分别应用于材料信息学中，对工程材料进行分类，以选择符合设计要求的材料。本文对分类器进行了单独分析，并利用混淆矩阵预测参数和标准测度对分类器的性能评估进行了分析，对不同类别的材料进行了分类结果分析。分类器的比较发现，朴素贝叶斯分类器是更准确，优于C4.5 DTC。朴素贝叶斯分类器发现的知识可用于制造业的材料选择决策。
2012-09-12 cs.LG
Practical Bayesian Inference for Speech SNNs: Uncertainty and Loss-Landscape Smoothing
Idiap Research Institute（Idiap 研究所）
本文研究了贝叶斯学习对语音SNNs预测景观的影响，通过改进变分在线牛顿方法实现损失景观平滑，实验显示在负对数似然和Brier分数上表现提升。
2026-04-09 cs.AI cs.LG
Predictive Collective Variable Discovery with Deep Bayesian Models
University of Notre Dame（圣母大学）；Technical University of Munich（慕尼黑工业大学）
生物化学和材料科学中考虑的复杂原子系统模型的时空尺度限制需要开发增强的采样方法。通过增强的采样方法探索构型空间的潜在加速取决于集体变量（CV）的选择。在这项工作中，我们制定的CV的发现作为一个贝叶斯推断的问题，并考虑CV作为隐藏的发电机的全原子的轨迹。使用有限的训练数据生成精细尺度原子结构样本的能力使我们能够计算可观测量的估计以及我们对它们的概率置信度。该方法是基于机器学习和变分推断的新兴方法进步。所发现的CV与物理化学性质有关，这对于理解机制，特别是在未探索的复杂系统中至关重要。我们提供了定量评估的CV在其预测能力丙氨酸二肽（ALA-2）和ALA-15肽。
2019-01-16 cs.LG physics.chem-ph physics.comp-ph
Population Empirical Bayes
Columbia University（哥伦比亚大学）
贝叶斯预测推理分析数据集以预测新的观察结果。当模型与数据不匹配时，预测准确性就会受到影响。我们开发了人口经验贝叶斯（POP-EB），一个分层框架，明确建模的经验总体分布的贝叶斯分析的一部分。我们引入了一个新概念，即潜在数据集，作为分层变量，并将经验总体设置为其先验。这导致了新的预测密度，减轻了模型失配。我们有效地将这种方法应用到复杂的模型，提出了一种随机变分推断算法，称为碰撞变分推断（BUMP-VI）。我们证明了改进的预测精度超过经典的贝叶斯推断在三个模型：健康数据的线性回归模型，自然图像的贝叶斯混合模型，和潜在的Dirichlet分配主题模型的科学文献。
2015-06-08 cs.LG stat.ML
Predictive variational inference: Learn the predictively optimal posterior distribution
College of Information and Computer Sciences, University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校信息与计算机科学学院）；Department of Statistics and Data Sciences, University of Texas, Austin（德克萨斯大学奥斯汀分校统计与数据科学系）
提出预测变分推断（PVI）框架，通过优化后验分布使预测分布逼近真实数据生成过程，解决模型误设问题，并实现自动模型诊断。
2026-06-24 cs.LG stat.ME stat.ML
Prior Specification for Bayesian Matrix Factorization via Prior Predictive Matching
Norwegian University of Science and Technology（挪威科技大学）；University of Helsinki（赫尔辛基大学）
针对贝叶斯模型先验选择需反复高成本后验推断的问题，提出基于先验预测匹配的无后验推断先验选择方法，可解析确定泊松分解超参数，还给出通用随机优化方案并在层次矩阵分解中验证。
2022-09-30 cs.LG stat.ML
Bayesian Cross Validation and WAIC for Predictive Prior Design in Regular Asymptotic Theory
Tokyo Institute of Technology（东京工业大学）
先验设计是统计学和机器学习中最重要的问题之一。交叉验证（CV）和广泛适用的信息准则（WAIC）是贝叶斯估计的预测措施，但由于它们在先验估计中的数学性质未知以及超参数的区域太宽而难以检查，因此很难将它们应用于寻找最优先验。本文推导了一个新的公式，通过该公式阐明了CV、WAIC和推广损失之间的理论关系，并可以直接找到最佳超参数，通过该公式阐明了预测先验设计的三个事实。首先，CV和WAIC具有相同的二阶渐近展开式，因此它们作为超参数的优化器是渐近等价的。其次，使CV或WAIC最小的超参数使平均推广损失渐近最小，但不使随机推广损失渐近最小。最后，利用先验之间的数学关系，使CV和WAIC优化超参数的方差更小，计算量更小。此外，我们表明，优化的超参数DIC或边际似然并不最小化一般的平均或随机泛化损失。
2015-03-27 cs.LG stat.ML
Robust One Round Federated Learning with Predictive Space Bayesian Inference
University of Waterloo（滑铁卢大学）；Vector Institute（向量研究所）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
做出可靠的预测是一个重要的挑战。联邦学习（FL）中的另一个挑战是减少通信回合的数量，特别是因为这样做会降低异构数据设置中的性能。为了解决这两个问题，我们从贝叶斯的角度来看待学习全局模型的问题。我们展示了如何使用客户端预测后验来近似全局预测后验。这与将局部模型空间后验集合到全局模型空间后验中的其他作品不同，并且由于后验的高维多模态性质而容易受到高近似误差的影响。相比之下，我们的方法对预测后验进行聚合，由于输出空间的低维性，预测后验通常更容易近似。我们提出了一种算法，基于这个想法，它执行MCMC采样在每个客户端获得估计的局部后验，然后聚合这些在一个回合，以获得一个全球集成模型。通过对几个分类和回归任务的实证评估，我们表明，尽管使用一轮通信，该方法与其他FL技术相比具有竞争力，并且在异构环境中优于它们。该代码可在https://github.com/hasanmohsin/FedPredSpace_1Round上公开获取。
2022-06-20 cs.LG stat.ML
Bayesian Experimental Design for Symbolic Discovery
IBM Research（IBM研究院）；Samsung AI Research（三星人工智能研究院）
本文研究了贝叶斯最优实验设计在符号发现中的应用，符号发现是从具有一般函数形式的预测模型的观测数据中推断出来的。我们应用约束一阶方法来优化一个适当的选择标准，使用哈密顿蒙特卡罗样本从先验。用于计算预测分布的步骤（涉及卷积）经由数值积分或经由快速变换方法来计算。
2022-11-29 cs.LG stat.CO
Multi-Task Bayesian In-Context Learning
New York University（纽约大学）
提出多任务上下文学习框架，通过将先验信息表示为上下文数据集前缀，训练Transformer实现分层贝叶斯预测推理，在多种分布偏移下匹配最优贝叶斯性能且速度提升数个数量级。
2026-06-19 cs.LG
Bayesian Neural Network Inference via Implicit Models and the Posterior Predictive Distribution
Data61, CSIRO（联邦科学与工业研究组织数据61研究所）
我们提出了一种新的方法来执行近似贝叶斯推断在复杂的模型，如贝叶斯神经网络。该方法比马尔可夫链蒙特卡罗更适合大数据，它比变分推断包含更多表达模型，并且它不依赖于对抗训练（或密度比估计）。我们采用最近的方法构建两个模型：（1）主要模型，负责执行回归或分类;（2）次要的，表达（例如隐式）模型，定义了主要模型参数的近似后验分布。然而，我们根据后验预测分布的蒙特卡罗估计通过梯度下降来优化后验模型的参数-这是我们唯一的近似值（后验模型除外）。只需要指定可能性，它可以采取各种形式，如损失函数和合成可能性，从而提供一种形式的无可能性方法。此外，我们制定的方法，使后验样本可以是独立的，或有条件地依赖于主模型的输入。后一种方法被证明是能够增加的主要模型的明显的复杂性。我们认为这在诸如代理和基于物理的模型等应用中很有用。为了促进贝叶斯范式提供的不仅仅是不确定性量化，我们展示了：不确定性量化，多模态，以及最近的深度预测神经网络架构的应用。
2022-09-06 cs.LG stat.ML
LLMs are Bayesian, In Expectation, Not in Realization
Hassana Labs（哈萨纳实验室）；Harvard University（哈佛大学）
针对上下文学习的贝叶斯解释面临顺序不变性反驳，本文通过预序编码长度分解和实验证明，Transformer在期望上接近贝叶斯后验预测，但具体实现不要求交换性。
2026-06-24 cs.LG stat.ML
Logit Disagreement: OoD Detection with Bayesian Neural Networks
University of Ottawa（渥太华大学）
针对贝叶斯神经网络中互信息分数用于OoD检测表现不佳的问题，本文提出基于修正logits不一致性的认知不确定性度量，在多个实验中性能优于互信息、与预测熵基准相当。
2025-02-21 cs.CV cs.LG stat.ML
AutoStan: Autonomous Bayesian Model Improvement via Predictive Feedback
Thurgau Institute for Digital Transformation (TIDIT)（图尔高数字转型研究所）
AutoStan通过预测反馈机制，使CLI编码代理自主构建并迭代改进Stan中的贝叶斯模型，展示了无需搜索算法或领域指令即可处理多样化贝叶斯建模问题的能力。
2026-03-29 cs.LG stat.ML
Challenges in Markov chain Monte Carlo for Bayesian neural networks
The University of Manchester（曼彻斯特大学）；Oak Ridge National Laboratory（橡树岭国家实验室）
马尔可夫链蒙特卡罗（MCMC）方法在贝叶斯神经网络（BNN）中尚未得到广泛应用。本文首先回顾了用MCMC从神经网络的参数后验中采样的主要挑战。这些挑战最终导致缺乏对参数后验的收敛。尽管如此，本文表明，通过从神经网络参数空间进行MCMC采样生成的非收敛马尔可夫链可以通过贝叶斯边缘化产生神经网络输出的有价值的后验预测分布。基于多层感知器的分类示例展示了高度准确的后验预测分布。在BNN中MCMC发展的有限范围的假设是部分有效的;渐近精确的参数后验似乎不太合理，但准确的后验预测分布是一个站得住脚的研究途径。
2021-10-01 cs.LG stat.CO stat.ME
A Framework for Variational Inference of Lightweight Bayesian Neural Networks with Heteroscedastic Uncertainties
Teledyne Scientific & Imaging（泰勒-扬科学与成像）
本文提出一种轻量级贝叶斯神经网络异方差不确定性变分推断框架，通过将异方差aleatoric和epistemic方差嵌入到学习参数的方差中，提升预测性能。
2026-04-30 cs.LG stat.ML
Comparison of Bayesian predictive methods for model selection
Aalto University（阿尔托大学）
本文的目的是比较几个广泛使用的贝叶斯模型选择方法在实际的模型选择问题，突出他们的差异，并给出建议的首选方法。我们专注于回归和分类的变量子集选择，并使用模拟和真实世界的数据进行了几个数值实验。结果表明，由于数据稀缺时效用估计的方差相对较高，因此交叉验证（CV）评分等效用估计的优化容易发现过拟合模型。这也可能导致在对所选模型的性能评估中产生大量选择诱导的偏见和乐观。从预测的角度来看，最好的结果是通过考虑模型的不确定性，形成完整的包容性模型，如贝叶斯模型平均解决方案的候选模型。如果包含模型过于复杂，则可以通过投影方法对其进行鲁棒简化，在该方法中，完整模型的信息被投影到子模型上。这种方法比基于CV分数的选择更不容易过拟合。总体而言，投影方法似乎也优于最大后验模型和最可能的变量的选择。研究还表明，模型选择可以大大受益于使用交叉验证搜索过程之外的指导模型大小的选择和评估的预测性能的最终选择的模型。
2016-03-23 cs.LG stat.ME
Is MC Dropout Bayesian?
Imperial College London（帝国理工学院）；King’s College London（伦敦国王学院）；University College London（伦敦大学学院）
MC Dropout是医学成像中用于近似贝叶斯计算（ABC）的主流“免费午餐”方法。它的吸引力是解决了开箱即用的ABC和神经网络（NN）中的不确定性量化的艰巨任务;属于变分推理（VI）框架;并提出了一个高度多模态，忠实的预测后验。我们质疑MC Dropout的近似推理属性，因为事实上MC Dropout改变了贝叶斯模型;其预测后验概率在封闭形式的基准上将$0$概率分配给真实模型;其预测后验的多模态不是真实预测后验的属性，而是设计假象。为了满足任意模型对VI的需求，我们在pytorch框架中共享了一个通用的VI引擎。该代码包括一个精心设计的结构化（对角线加低秩）多元正常变分家庭，及其混合物的实现。它的目的是作为一个去没有免费午餐的方法，解决了平均场VI的缺点与可调的表达性和计算复杂性之间的权衡。
2021-10-08 cs.LG stat.ML
Hidden Axis of Uncertainty: Latent-Posterior Alignment in Graph Neural Networks with Bayesian Output Layers
Korea Institute of Science and Technology（韩国科学技术研究院）；Clean Energy Research Center（清洁能源研究中心）
该研究针对带贝叶斯输出层的图神经网络，发现潜在-后验对齐现象，提出对齐引导学习方法，可降低预测不确定性并改善结构校准，为不确定性动力学提供新视角。
2026-08-24 cs.LG
