Training Binary Neural Networks using the Bayesian Learning Rule
RIKEN Center for Advanced Intelligence Project (AIP)（理化学研究所革新智能综合研究中心）；École polytechnique fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
具有二进制权重的神经网络是计算高效且硬件友好的，但它们的训练具有挑战性，因为它涉及离散优化问题。令人惊讶的是，忽略问题的离散性并使用基于梯度的方法，例如直通估计，在实践中仍然有效。这就提出了一个问题：是否有原则性的办法可以证明这种方法是合理的？在本文中，我们提出了这样一种方法，使用贝叶斯学习规则。当应用该规则来估计二进制权重上的伯努利分布时，会产生一种算法，该算法证明了先前方法所做的一些算法选择是合理的。该算法不仅获得了最先进的性能，但也使不确定性估计的持续学习，以避免灾难性遗忘。我们的工作为训练二进制神经网络提供了一种原则性的方法，它证明并扩展了现有的方法。
2020-08-18 cs.LG stat.ML
Update Rules for Parameter Estimation in Bayesian Networks
Stanford University（斯坦福大学）；AT&T Labs（AT&T实验室）
本文从在线学习的角度重新研究了具有缺失值和隐变量的贝叶斯网络中的参数估计问题。我们提供了一个统一的参数估计框架，包括在线学习，其中模型不断适应新的数据情况，因为他们到达，和更传统的批量学习，其中一个预先积累的样本集用于一次性模型选择过程。在批处理的情况下，我们的框架包括贝叶斯网络的梯度投影算法和EM算法。该框架还导致新的在线和批量参数更新计划，包括EM的参数化版本。我们提供的经验和理论结果表明，参数化EM允许更快的收敛到最大似然参数比标准EM。
2013-02-06 cs.LG stat.ML
On Bayesian Exponentially Embedded Family for Model Order Selection
The University of Rhode Island（罗德岛大学）
本文利用指数嵌入族方法推导了贝叶斯模型的序选择规则，称为贝叶斯EEF。与许多其他贝叶斯模型选择方法不同，贝叶斯EEF可以使用模糊的正确先验和不正确的无信息先验来客观地提取参数先验。此外，该规则的惩罚项是参数维数的一半和参数与观测数据之间的估计互信息之和。这有助于揭示EEF在模型阶数选择中的作用机制，并从信息论的角度对模型阶数选择的最优惩罚项选择和先验选择等问题提供新的见解.最后给出了线性模型选阶的重要实例，说明了算法和参数的选取。最后，使用Jeffreys先验的贝叶斯EEF与频率主义策略导出的EEF规则一致。这显示了频率论和贝叶斯哲学在模型选择中的另一个有趣的关系。
2018-12-21 cs.LG stat.ML
You say Normalizing Flows I see Bayesian Networks
University of Liège（列日大学）
规范化流已经成为一个重要的深度神经网络家族，用于对复杂的概率分布进行建模。在本文中，我们将其耦合和自回归变换层作为概率图模型进行了重新审视，并表明它们可以简化为贝叶斯网络，每个节点具有预定义的拓扑结构和可学习的密度。从这个新的角度来看，我们提供了三个结果。首先，我们证明了在一个规范化流中堆叠多个变换放松了独立性假设，并使模型分布纠缠在一起。其次，我们表明，一个根本性的飞跃的能力出现时，仿射流的深度超过3个转换层。第三，我们证明了非普适性的仿射正规化流，无论其深度。
2020-06-03 cs.LG stat.ML
Bayesian Inverse Reinforcement Learning for Collective Animal Movement
University of Missouri（密苏里大学）；U. S. Geological Survey（美国地质调查局）；Colorado State University（科罗拉多州立大学）
基于代理的方法允许定义生成复杂群体行为的简单规则。这种模型的管理规则通常是先验设置的，并且参数是根据观察到的行为轨迹来调整的。反向强化学习不是对所有预期场景进行简化假设，而是通过使用马尔可夫决策过程的属性来提供对管理长期行为策略的短期（局部）规则的推断。我们使用计算效率的线性可解马尔可夫决策过程学习的本地规则集体运动的模拟的自推进粒子（SPP）模型和数据应用程序的捕获孔雀鱼人口。行为决策成本的估计是在贝叶斯框架与基函数平滑。我们在SPP模拟中恢复了真实的成本，发现孔雀鱼更重视集体运动而不是有针对性的运动。
2022-06-11 cs.LG stat.ML
Towards E-Value Based Stopping Rules for Bayesian Deep Ensembles
LMU Munich（慕尼黑莱布尼茨大学）
本文提出基于E值的停止规则，用于决定贝叶斯深度集合的采样持续时间，以在优化后的基线模型上实现显著改进。
2026-04-20 cs.LG stat.ML
Analysis of Estimating the Bayes Rule for Gaussian Mixture Models with a Specified Missing-Data Mechanism
University of New South Wales（新南威尔士大学）
本研究证明在部分分类样本中，带缺失数据机制的贝叶斯分类器优于完全监督分类器，并通过模拟和真实数据集验证其有效性。
2023-12-29 cs.LG stat.ML
Multiplicative Normalizing Flows for Variational Bayesian Neural Networks
University of Amsterdam（阿姆斯特丹大学）；TNO Intelligent Imaging（荷兰应用科学研究组织智能成像）；Canadian Institute For Advanced Research (CIFAR)（加拿大高级研究院）
我们重新解释神经网络中的乘性噪声作为辅助随机变量，增加贝叶斯神经网络的变分设置中的近似后验。我们表明，通过这种解释，它是有效的和简单的，以提高近似采用规范化流，同时仍然允许局部重新参数化和一个听话的下限。在实验中，我们表明，这种新的近似，我们可以显着改善经典的贝叶斯神经网络的平均场的预测精度以及预测的不确定性。
2017-06-12 cs.LG stat.ML
Replacing the do-calculus with Bayes rule
The Gradient Institute（梯度研究所）；Criteo AI Lab（Criteo人工智能实验室）
因果关系的概念有一个有争议的历史。关于是否有可能用概率论来表示和解决因果问题的问题，或者是否需要像微积分这样的全新数学，已经引起了激烈的争论，例如Pearl（2001）指出：“我们科学和日常知识的基石是基本的事实，如“泥不会导致下雨”和“症状不会导致疾病”，而这些事实，奇怪的是，不能用概率演算的词汇表来表达”。这导致了因果图建模和微积分的倡导者和应用贝叶斯方法的研究人员之间的二分法。在本文中，我们证明，虽然它是至关重要的，明确地模拟我们的假设干预系统的影响，只要我们这样做，估计因果关系的影响可以完全在标准贝叶斯范式。因果图模型下的不变性假设可以编码在普通的概率图模型中，允许用贝叶斯统计进行因果估计，相当于做微积分。阐明这些方法之间的联系是使每种方法提供的见解能够结合起来解决实际问题的关键一步。
2021-12-10 cs.LG stat.ML
Rule-State Inference (RSI): A Bayesian Framework for Compliance Monitoring in Rule-Governed Domains
Institut National des Postes et Télécommunications（摩洛哥邮政和电信国家研究院）；Togo DataLab（多哥数据实验室）；Ministry of Digital Economy（数字经济部）
本文提出了一种名为规则状态推断（RSI）的贝叶斯框架，用于解决规则治理领域中合规监控的三大结构性挑战：部署时缺乏标记结果、非合规实体战略性缺失观察以及监管环境变化速度超过任何监督模型的重新训练速度。RSI通过将权威、形式化的规则集作为结构化的贝叶斯先验，利用变分推断和精确坐标上升更新来推断人口的潜在合规状态。
2026-05-21 cs.AI cs.LG stat.ML
Overfitting and Generalizing with (PAC) Bayesian Prediction in Noisy Binary Classification
The University of Chicago（芝加哥大学）；The University of Illinois at Chicago（伊利诺伊大学香槟分校）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
本文研究了PAC-Bayes类型学习规则在二分类中的应用，通过平衡随机后验预测的训练误差与KL散度，提出了一种在噪声环境下改进泛化的学习方法，揭示了不同正则化参数λ对过拟合的影响。
2026-03-23 cs.LG stat.ML
Bayesian fairness
University of Oslo（奥斯陆大学）；Chalmers University（查尔姆斯理工大学）；UC Santa Cruz（加州大学圣克鲁兹分校）；Harvard University（哈佛大学）
我们考虑的问题，如何决策可以是公平的，当世界的基本概率模型是不确定的。我们认为，最近的机器学习中的公平性的概念需要明确地纳入参数的不确定性，因此，我们引入了{ \em贝叶斯公平性}的概念作为一个合适的候选人公平的决策规则。使用平衡，Kleinberg et al（2016）引入的公平性定义，我们展示了贝叶斯观点如何导致即使在高度不确定性下也能表现良好，公平的决策规则。
2018-11-04 cs.LG stat.ML
Bayesian Learning via Neural Schrödinger-Föllmer Flows
Cambridge University（剑桥大学）；University of Potsdam（波茨坦大学）；University Of Bath（巴斯大学）
在这项工作中，我们探索了一个新的框架，近似贝叶斯推断在大型数据集的基础上随机控制（即薛定谔桥）。我们提倡随机控制作为一个有限的时间和低方差替代流行的稳态方法，如随机梯度Langevin动力学（SGLD）。此外，我们讨论和适应这个框架的现有理论保证，并建立连接到现有的VI例程在基于PDE的模型。
2022-10-25 cs.LG stat.ML
Rule-based Bayesian regression
The Alan Turing Institute（艾伦图灵研究所）；Imperial College London（伦敦帝国理工学院）
我们介绍了一种新的基于规则的方法来处理回归问题。新的方法进行元素从两个框架：（一）它提供了有关的参数的不确定性使用贝叶斯推断的信息，（二）它允许通过规则为基础的系统纳入专家知识。这两种不同框架的混合对于各个领域（例如工程）特别有益，尽管不确定性量化的重要性激发了贝叶斯方法，但没有简单的方法将研究人员的直觉纳入模型中。我们验证我们的模型，将它们应用到合成应用程序：一个简单的线性回归问题和两个更复杂的结构偏微分方程的基础上。最后，我们回顾了我们的方法的优点，其中包括简单的实施，由于增加的信息和不确定性降低，在某些情况下，推导出更好的点预测，我们解决的局限性，主要是从计算复杂性的角度来看，如在选择合适的算法和增加的计算负担的困难。
2021-10-08 cs.LG stat.ME stat.ML
SIReN-VAE: Leveraging Flows and Amortized Inference for Bayesian Networks
Stellenbosch University（斯泰伦博斯大学）；National Institute for Theoretical and Computational Sciences（国家理论与计算科学研究所）
变分自编码器的初始工作假设具有简单分布的独立潜变量。随后的工作探索了合并更复杂的分布和依赖结构：包括编码器网络中的规范化流允许潜变量非线性地纠缠，为近似后验创建更丰富的分布类别，并且堆叠潜变量层允许为生成模型指定更复杂的先验。这项工作探讨将任意依赖结构，指定的贝叶斯网络，到VAE。这是通过用图形残差流扩展先验和推理网络来实现的-残差流通过掩蔽流的残差块的权重矩阵来编码条件独立性。我们比较了我们的模型在几个合成数据集上的性能，并展示了它在数据稀疏环境中的潜力。
2022-04-23 cs.LG stat.ML
Automatic Setting of DNN Hyper-Parameters by Mixing Bayesian Optimization and Tuning Rules
University of Ferrara（费拉拉大学）
深度学习技术由于其出色的效果，在工业和研究环境中发挥着越来越重要的作用。然而，要设置的大量超参数如果手动设置则可能导致错误。最先进的超参数调整方法是网格搜索，随机搜索和贝叶斯优化。前两种方法是昂贵的，因为它们分别尝试超参数的所有可能组合和随机组合。相反，贝叶斯优化构建目标函数的代理模型，使用高斯过程回归量化代理中的不确定性，并使用获取函数来决定在何处对新的超参数集进行采样。该工作面向超参数优化领域。目的是改进贝叶斯优化应用于深度神经网络。为此，我们建立了一个新的算法来评估和分析网络的训练和验证集的结果，并使用一组调整规则来添加新的超参数和/或减少超参数搜索空间，以选择一个更好的组合。
2020-06-03 cs.CV cs.LG stat.ML
Model-Informed Flows for Bayesian Inference
Manning College of Information and Computer Sciences（信息与计算机科学学院）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
本文揭示VIP与满秩高斯可精确表示为带平移项和先验输入的前向自回归流，并据此提出模型信息流MIF架构，在层次与非层次基准上实现更优后验近似。
2025-11-04 cs.LG stat.ML
Information-Theoretic Scoring Rules to Learn Additive Bayesian Network Applied to Epidemiology
University of Zurich（苏黎世大学）
贝叶斯网络建模是一种非常适合研究杂乱和高度相关的数据集的方法，这些数据集在例如，系统流行病学从观测数据集学习贝叶斯网络的一种流行方法是在搜索和评分方法中识别最大后验网络。许多分数都是基于贝叶斯或频率论提出的。从应用的角度来看，一个合适的方法将允许数据的多个分布，并且足够强大，可以自主运行。计算分数的一个有前途的框架是广义线性模型。事实上，存在快速估计算法和许多针对常见流行病学问题的定制解决方案。本文的目的是提出一个R包ABN，它具有多个频率论分数的实现和一些现实的模拟，显示其可用性和性能。它包括有效处理数据分离和调整的功能，这在系统流行病学中非常常见。
2018-08-03 cs.LG stat.CO stat.ML
Oblique Bayesian additive regression trees
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
针对轴对齐BART的局限，提出基于线性组合的斜BART方法，利用数据自适应先验沿随机超平面递归划分特征空间，实验证明其预测性能具竞争力且有时更优。
2024-11-13 cs.LG stat.ML
Stopping Bayesian Optimization with Probabilistic Regret Bounds
Morgan Stanley（摩根士丹利）
针对贝叶斯优化传统预算耗尽停止规则的问题，提出基于$(ε, δ)$概率准则的停止方法，证明其在高斯过程先验下满足条件，给出高效鲁棒的蒙特卡洛评估算法并通过实验验证优劣。
2024-12-10 cs.LG stat.ML
Numerical Sequence Prediction using Bayesian Concept Learning
Courant Institute of Mathematical Sciences, New York University（纽约大学库朗数学科学研究所）
当人们学习数学模式或序列时，他们能够识别这些模式背后的概念（或规则）。在学习了基本概念之后，人类也能够将这些概念推广到其他数字，甚至可以识别这些规则的前所未见的组合。目前最先进的RNN架构（如LSTM）在预测连续数据的连续元素方面表现良好，但需要大量的训练样本。即使有大量的数据，这些模型也很难概括概念。从我们的行为研究中，我们还发现人类能够忽视噪音并识别产生损坏序列的潜在规则。因此，我们提出了一个贝叶斯模型，它可以捕获这些类似人类的学习能力，以预测给定序列中的下一个数字，比传统的LSTM更好。
2020-01-13 cs.LG stat.ML
A Quantum Bayes' Rule and Related Inference
在这项工作中，量子模拟的贝叶斯推断被认为是。基于仪器的概念，我们提出了一个量子模拟贝叶斯规则，阐述了如何在观察下更新的先验正常状态。此外，我们还研究了当观测数趋于无穷大时后验正态的极限。然后，根据量子贝叶斯规则，推广了贝叶斯推断的基本概念和结果。我们的理论不仅保留了经典理论的特例，而且具有许多新的特点。
2023-01-09 math.ST quant-ph stat.TH
A discussion of "Bayesian model selection based on proper scoring rules" by A.P. Dawid and M. Musio
本文是对A.P. Dawid和M. Musio，出现在贝叶斯分析中。虽然赞赏背后的概念使用适当的评分规则，包括不适当的先验知识，我们在这里指出一些可能的实际困难与提倡的方法。
2015-02-26 stat.ME
Interpretable classifiers using rules and Bayesian analysis: Building a better stroke prediction model
Massachusetts Institute of Technology（麻省理工学院）；University of Washington（华盛顿大学）；Columbia University（哥伦比亚大学）
我们的目标是生成不仅准确，而且可由人类专家解释的预测模型。我们的模型是决策列表，其中包括一系列的如果...然后...语句（例如，如果是高血压，则是中风），其将高维、多变量特征空间离散化为一系列简单、易于解释的决策语句。我们引入了一个生成模型称为贝叶斯规则列表，产生一个后验分布可能的决策列表。它采用了一种新的先验结构，以鼓励稀疏。我们的实验表明，贝叶斯规则列表的预测精度与当前机器学习中的顶级预测算法相当。我们的方法是由个性化医疗的最新发展，并可用于产生高度准确和可解释的医疗评分系统的动机。我们通过产生CHADS $_2$评分的替代方案来证明这一点，该评分在临床实践中被积极用于估计房颤患者的卒中风险。我们的模型与CHADS $_2$一样可解释，但更准确。
2015-11-05 cs.LG stat.AP stat.ML
Training Restricted Boltzmann Machines with Binary Synapses using the Bayesian Learning Rule
RIKEN Center for Advanced Intelligence Project（日本理化学研究所先进智能项目中心）；Institute for Physics of Intelligence（智能物理研究所）；The University of Tokyo（东京大学）
具有低精度突触的受限玻尔兹曼机（RBM）具有高能量效率。然而，由于突触的离散性质，训练具有二元突触的RBM是具有挑战性的。最近Huang提出了一种在变分推理框架下结合梯度上升和消息传递算法来训练具有二元突触的RBM的有效方法。然而，需要额外的启发式裁剪操作。在本技术说明中，受Huang工作的启发，我们提出了一种使用贝叶斯学习规则的替代优化方法，这是一种自然梯度变分推理方法。与Huang的方法相反，我们更新变分对称Bernoulli分布的自然参数而不是期望参数。由于自然参数在整个实域中取值，因此不需要额外的裁剪。有趣的是，\cite{huang2019data}中的算法可以被视为所提出的算法的一阶近似，这证明了其启发式裁剪的有效性。
2020-07-09 cond-mat.dis-nn cs.LG stat.ML
From Bayes' Rule to Bayes Rules: Optimal Information Processing and Axiomatic Foundations Beyond Probability
Nanyang Technological University（南洋理工大学）；CNRS, LPSM, Sorbonne Université（法国国家科学研究中心，LPSM，索邦大学）
研究可能性推理的更新规则，从信息守恒和公理两个互补基础出发，推导出规范更新，即后验为先验 - 似然乘积经上确界归一化，明确学习率参数作用，阐明其在广义贝叶斯更新中的角色。
2026-07-10 cs.IT math.IT math.ST
Model-based Kernel Sum Rule: Kernel Bayesian Inference with Probabilistic Models
核贝叶斯推断是概率图模型中非参数推理的一种原则性方法，其中变量之间的概率关系以非参数方式从数据中学习。核贝叶斯推断的各种算法已经通过结合核化的基本概率运算，如核求和规则和核贝叶斯规则而发展起来。然而，目前的框架是完全非参数的，它不允许用户灵活地结合非参数和基于模型的推理。当图形模型的某些部分有好的概率模型（或仿真模型）可用时，这是低效的;在“模型”是研究的中心主题的科学领域中尤其如此。我们在本文中的贡献是介绍一种新的方法，称为{ \em模型为基础的内核和规则}（Mb-KSR），结合概率模型和内核贝叶斯推断。通过将Mb-KSR与现有的核化概率规则相结合，可以开发用于混合（即，非参数和基于模型的）推断。作为一个说明性的例子，我们考虑贝叶斯滤波的状态空间模型，通常存在一个准确的概率模型的状态转换过程。我们提出了一种新的过滤方法，结合基于模型的推理的状态转换过程和数据驱动的，非参数的观察生成过程的推断。我们经验验证我们的方法与合成和真实数据的实验，后者是基于视觉的移动机器人定位在机器人技术，这说明了所提出的混合方法的有效性的问题。
2019-04-17 stat.ME stat.ML
Bayesian Flow Networks in Continual Learning
IDEAS NCBR（IDEAS国家计算智能研究中心）；Jagiellonian University（雅盖隆大学）；Warsaw University of Technology（华沙理工大学）；Autonomous University of Barcelona（巴塞罗那自治大学）
本文探究贝叶斯流网络（BFN）在持续学习中的适用性，通过实验验证其在非平稳数据上的生成能力。
2023-10-18 cs.CV cs.LG stat.ML
When Is Generalized Bayes Bayesian? A Decision-Theoretic Characterization of Loss-Based Updating
Temple University（天普大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）
本文通过决策理论特征化，区分了信念后验与决策后验，并证明基于损失的后验在特定条件下等同于普通贝叶斯，同时揭示了决策后验需要非线性偏好及熵惩罚的变分表示。
2026-02-02 stat.ME stat.ML
Uncertainty-Aware Bayes' Rule and Its Applications
Imperial College London（帝国理工学院）
本文提出不确定性感知的贝叶斯法则，用于应对模型不确定性，应用于分类和估计中的多种滤波器和分类器。
2026-02-12 eess.SP stat.ME
Bayesian inference via sparse Hamiltonian flows
University of British Columbia（不列颠哥伦比亚大学）
贝叶斯核心集是数据的一个小的加权子集，在贝叶斯推断期间替换完整的数据集，目的是降低计算成本。虽然过去的工作经验表明，经常存在一个低推理误差的核心集，有效地构建这样的核心集仍然是一个挑战。当前的方法往往速度很慢，需要在核心集构建后进行二次推理步骤，并且不提供数据边缘证据的界限。在这项工作中，我们介绍了一种新的方法-稀疏哈密顿流-解决所有这三个挑战。该方法首先对数据进行均匀子采样，然后优化由核心集权重参数化的哈密顿流，并包括周期性动量准刷新步骤。理论结果表明，该方法能够指数压缩的数据集在一个代表性的模型，和准刷新步骤减少库尔贝克-莱布勒散度的目标。真实的和合成的实验表明，稀疏哈密顿流提供准确的后验近似显着减少运行时间相比，竞争的动态系统为基础的推理方法。
2023-01-12 cs.LG stat.CO stat.ML
Frequentist optimality of Bayesian wavelet shrinkage rules for Gaussian and non-Gaussian noise
本文研究了独立同分布非参数回归模型中各种贝叶斯小波收缩规则的理论性能。误差不一定是正态分布的。主要目的是比较各种贝叶斯模型在Sobolev和Besov空间中的频率论渐近最优性。我们建立了超参数之间的关系，验证了迄今为止研究的大多数贝叶斯模型都达到了理论最优，说明了哪些贝叶斯模型不能达到最优收敛速度，并解释了为什么会发生这种情况。
2006-07-01 math.ST stat.TH
Efficient acquisition rules for model-based approximate Bayesian computation
近似贝叶斯计算（ABC）是当可能性不可用但从模型进行模拟是可能的时用于贝叶斯推断的方法。然而，许多ABC算法需要大量的模拟，这可能是昂贵的。为了减少计算成本，贝叶斯优化（BO）和代理模型，如高斯过程已经提出。贝叶斯优化使人们能够智能地决定下一步在哪里评估模型，但常见的BO策略并不是为了估计后验分布而设计的。我们的论文解决了文献中的这一空白。我们建议计算ABC后验密度的不确定性，这是由于缺乏模拟来准确估计这个数量，并定义一个损失函数来测量这种不确定性。然后，我们建议选择下一个评估位置，以尽量减少预期损失。实验表明，该方法往往产生最准确的近似相比，常见的BO策略。
2018-08-08 stat.CO stat.ME stat.ML
Admissibility of a posterior predictive decision rule
近几十年来，人们对贝叶斯方法被广泛使用的预测问题产生了兴趣。从贝叶斯模型中的后验预测分布中采样或近似，允许人们对给定观测数据的潜在可观测随机量进行推断。本说明的目的是使用统计决策论作为基础来证明使用后验预测分布进行点预测的合理性。
2017-09-09 stat.ML
Bayesian rules and stochastic models for high accuracy prediction of solar radiation
CHD Castelluccio（卡斯泰卢乔医院）；University of Corsica（科西嘉大学）；CNRS（法国国家科学研究中心）
必须找到太阳能预测方法，以便在配电网上大规模插入可再生能源。本研究的目的是找到最好的方法，可以预测高精度的每小时全球辐射。这个量的知识对于电网管理者或私人光伏生产商来说是必不可少的，以便预测与云发生相关的波动并稳定注入的光伏功率。在本文中，我们测试两种方法：单一和混合预测。在第一类中，我们包括多层感知器（MLP），自回归和移动平均（ARMA）和持久性模型。在第二类中，我们将这些预测因子与贝叶斯规则混合，以获得ad-hoc模型选择和与单个模型相关的贝叶斯平均输出。如果MLP和ARMA相等（两者的nRMSE接近40.5%），则与持久性估计相比，这种混合允许nRMSE增益高于14个百分点（nRMSE=37% vs 51%）。
2013-09-18 cs.LG stat.AP
Efficient Bayesian Sampling Using Normalizing Flows to Assist Markov Chain Monte Carlo Methods
Flatiron Institute（熨斗研究所）；Center for Data Science, New York University（纽约大学数据科学中心）；Stanford University（斯坦福大学）；Courant Institute, New York University（纽约大学柯朗研究所）
规范化流可以生成复杂的目标分布，因此在贝叶斯统计的许多应用中显示出希望，作为MCMC的替代或补充。由于事先没有来自目标后验分布的数据集可用，因此通常使用仅需要来自基础分布的样本的反向Kullback-Leibler（KL）发散来训练流程。当后验复杂且难以用未经训练的归一化流进行采样时，该策略可能表现不佳。在这里，我们探索了一种独特的训练策略，使用直接库尔贝克-莱布勒散度作为损失，其中来自后验的样本通过以下方式生成：（i）在后验上使用归一化流来辅助局部MCMC算法以加速其混合速率，以及（ii）使用以这种方式生成的数据来训练流。该方法只需要有限数量的\textit{a~priori}输入后验，并可用于估计模型验证所需的证据，我们举例说明。
2021-07-16 cs.LG physics.data-an stat.ML
SBAMDT: Bayesian Additive Decision Trees with Adaptive Soft Semi-multivariate Split Rules
Texas A&M University（德克萨斯农工大学）；University of Cincinnati（辛辛那提大学）；Shell International Exploration and Production Inc（壳牌国际勘探与生产公司）
针对标准决策树单变量确定性分裂规则难以捕捉复杂决策边界的问题，提出采用自适应软半多变量分裂规则的SBAMDT概率加性决策树模型，可适配不同平滑度，经多数据集对比验证了其实用性。
2025-01-17 cs.LG math.ST stat.ME
A Note on Bayesian Model Selection for Discrete Data Using Proper Scoring Rules
我们考虑的问题之间的选择参数模型的离散观察，采用贝叶斯方法，其中模型内的先验分布是允许不适当的。为了避免这种情况下边缘似然函数的模糊性，我们采用了齐次评分规则。对于区分泊松和负二项模型的特定情况下，我们进行模拟表明，应用prequentially，该方法将始终选择真正的模型。
2017-03-09 math.ST stat.TH
Bayesian Mediation Analysis for Individualized Treatment Rules
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；Duke University（杜克大学）
本研究提出贝叶斯中介框架，将个体化治疗规则的价值对比分解为直接与间接成分，采用贝叶斯因果中介森林估计，经模拟与TRIUMPH试验数据验证，可实现ITR的机制评估与解释。
2026-08-03 stat.ME stat.ML
Bayesian Model Selection Based on Proper Scoring Rules
贝叶斯模型选择与不适当的先验是没有很好的定义，因为依赖于模型内先验密度的任意缩放常数的边际似然。我们展示了如何可以通过用一个均匀的适当的评分规则，这是不敏感的缩放常数取代边际对数似然来规避这个问题。适当地应用，这通常将使得能够一致地选择真实模型。
2015-05-08 math.ST stat.TH
A bayesian wavelet shrinkage rule under LINEX loss function
本文针对具有高斯误差的非参数回归模型，提出了一种基于非对称LINEX损失函数的贝叶斯小波收缩规则，采用零点质点与逻辑斯蒂分布的混合先验，推导了其统计性质，并通过模拟和红外光谱数据验证了其有效性。
2023-07-26 stat.ME
Minimaxity and Admissibility of Bayesian Neural Networks
Department of Statistics and Data Science, Cornell University（康奈尔大学统计与数据科学系）
本文研究了基于ReLU激活函数的深度全连接前馈BNN在正态位置模型下的决策规则，证明其非极小大，并提出超前先验以获得同时可接受和极小大的决策规则，进一步扩展到KL损失下的预测密度估计。
2026-10-27 cs.LG math.ST stat.ML
Bayesian hierarchical rule modeling for predicting medical conditions
我们提出了一种统计建模技术，称为层次关联规则模型（HARM），预测患者的当前和过去的历史报告的条件下，患者的未来可能的医疗条件。我们的技术的核心是一个贝叶斯层次模型，用于从一个大的候选规则集选择预测关联规则（如“条件1和条件2 $\rightarrow$条件3”）。因为这种方法使用许多类似患者的状况“借用力量”，所以即使在关于患者的病史的信息很少的情况下，它也能够提供针对任何给定患者的预测。
2012-06-28 stat.AP
Differences Among Noninformative Stopping Rules Are Often Relevant to Bayesian Decisions
萨维奇曾经希望表明，“表面上不相容的思想体系一方面与[主观贝叶斯主义]有关，另一方面与[古典统计学]有关.互相支持和澄清。然而，到了1972年，他已经基本上“对经典统计学的方法失去了信心”。他发现这些“装置”的一个方面令人反感的是，用于决定何时结束实验的“停止规则“之间的差异从贝叶斯的角度来看是“无信息”的，可能会影响使用经典方法做出的决定。使用不同的停止规则产生相同数据的两个实验，似乎只在实验者的意图上有所不同，即如果数据不同，他们是否会继续进行，这似乎与数据的证据输入无关，因此与数据证明什么行为的事实无关。我认为，古典和贝叶斯关于停止规则的想法实际上确实“互相借”了萨维奇最初希望找到的那种“相互支持和澄清”。他们这样做是在一种科学实践中常见的情况下，在这种情况下，设计实验的人与根据实验结果做出决定的人有不同的利益。我表明，在这种情况下，贝叶斯原理提供了合格的支持经典的统计实践的“惩罚”“有偏见的”停止规则。然而，与传统原则相比，这些原则要求在更窄的范围内实行这一做法，而且原因也不同。我认为，这种做法的经典论点是令人信服的，正是在这类情况下，贝叶斯原则也需要它，因此，我们应该把贝叶斯原则作为澄清经典统计思想的停止规则，而不是相反。
2017-07-01 math.ST stat.TH
Compound decisions and empirical Bayes via Bayesian nonparametrics
University of Chicago（芝加哥大学）
本文通过贝叶斯非参数方法研究高斯序列复合决策问题，证明基于狄利克雷过程的估计器可实现接近最优的懊悔界，并展示后验均值贝叶斯规则的可接受性。
2026-09-10 econ.EM math.ST stat.ME
Rejoinder to "Bayesian Model Selection Based on Proper Scoring Rules"
我们非常感谢编辑玛丽娜·瓦努奇主动要求对我们的文件进行讨论，并非常感谢所有讨论者提出的富有洞察力和发人深思的意见。我们按字母顺序对讨论作出回应[arXiv：1409.5291]。
2015-05-11 math.ST stat.TH
Flow-based Bayesian filtering for high-dimensional nonlinear stochastic dynamical systems
School of Mathematical Sciences, Tongji University（同济大学数学科学学院）；Department of Mathematics, Shanghai Normal University（上海师范大学数学系）
针对高维非线性随机动力系统的贝叶斯滤波问题，提出基于流的贝叶斯滤波器（FBF），利用归一化流构建具有高斯滤波分布的潜在线性状态空间模型，实现高效数据驱动的滤波。
2025-03-05 cs.LG cs.NA math.NA
Fully Automatic Brain Tumor Segmentation using a Normalized Gaussian Bayesian Classifier and 3D Fluid Vector Flow
University of Alberta（阿尔伯塔大学）
从磁共振图像（MRI）分割脑肿瘤是测量肿瘤对治疗的反应的重要任务。然而，自动分割非常具有挑战性。提出了一种基于归一化高斯贝叶斯分类和新的三维流体矢量流（FVF）算法的脑肿瘤自动分割方法。在我们的方法中，归一化高斯混合模型（NGMM）的建议，并用于健康的脑组织建模。利用高斯贝叶斯分类器从测试脑MR图像中获取高斯贝叶斯脑图（GBBM）。进一步处理GBBM以初始化3D FVF算法，该算法分割脑肿瘤。该算法有两个主要贡献。首先，我们提出了一个NGMM模型健康的大脑。其次，我们将我们的2D FVF算法扩展到3D空间，并将其用于脑肿瘤分割。所提出的方法是在一个公开的数据集上进行验证。
2019-05-01 cs.CV cs.LG cs.MM
Bayesian Optical Flow with Uncertainty Quantification
Clarkson University（克拉克森大学）
光流是指在两个连续图像之间观察到的视觉运动。由于自由度通常比图像观测所施加的约束大得多，因此光流作为逆问题的直接公式化是不适定的。确定光流的标准方法依赖于公式化和求解包含数据保真度项和正则化项的优化问题，后者有效地解决了逆问题的不适定性。在这项工作中，我们离开了确定性的形式主义，而不是把光流作为一个统计逆问题。我们讨论了如何一个经典的光流解决方案可以被解释为一个点估计在这个更一般的框架。统计方法，其“解决方案”是流场的分布，我们称之为贝叶斯光流，不仅允许“点”估计（例如，平均流场的计算），而且统计估计（例如，不确定性的量化），其超出了用于光流的任何标准方法。作为应用，我们基准贝叶斯光流一起使用几种类型的规定地面实况流场和图像的不确定性量化。
2018-08-20 cs.CV physics.data-an stat.ML
Objective Bayesian inference with proper scoring rules
当完全似然性以及完全后验分布过于复杂且难以指定时，或者如果需要对数据或模型错误指定的稳健性，则可能难以执行标准贝叶斯分析。在这些情况下，我们建议根据适当的评分规则，对感兴趣的参数采用后验分布。评分规则是一种损失函数，设计用于测量随机变量的概率分布的质量（给定其观测值）。重要的例子是Tsallis评分和Hyvärinen评分，它们允许我们处理模型错误指定或复杂模型。此外，完全似然和合成似然都是评分规则的特殊实例。该文致力于研究两个问题.首先，我们讨论了在贝叶斯公式中使用评分规则来计算一个后验分布，称为SR-后验分布，并推导了它的渐近正态性。其次，我们提出了一个为感兴趣的未知参数建立默认先验的过程，该过程可以用于更新SR-后验分布中的评分规则所提供的信息。特别地，通过最大化来自SR-后验分布的平均$α-$散度来获得参考先验.对于$0 \leq |α|<1$，结果是Jeffreys型先验，其与关联于评分规则的Godambe信息矩阵的行列式的平方根成比例。文中还讨论了一些实例。
2019-01-06 math.ST stat.ME stat.TH
Improved Variational Bayesian Phylogenetic Inference with Normalizing Flows
变分贝叶斯系统发育推断（VBPI）提供了一个有前途的通用变分框架，有效地估计系统发育后验。然而，目前的对角对数正态分支长度近似将显着限制近似分布的质量。在本文中，我们提出了一种新型的VBPI，VBPI-NF，作为使用深度学习技术进行系统发育后验估计的第一步。通过使用精心设计的置换等变变换处理系统发育模型的非欧几里德分支长度空间，VBPI-NF使用规范化流来提供丰富的灵活分支长度分布家族，这些分支长度分布可以在不同的树拓扑中进行推广。我们表明，VBPI-NF显着改善香草VBPI的基准挑战真实数据贝叶斯系统发育推理问题。进一步的研究还表明，在这些置换等变变换中的结构化参数化可以提供额外的摊销收益。
2020-12-01 q-bio.PE stat.ML
Transfer Learning for Classification under Decision Rule Drift with Application to Optimal Individualized Treatment Rule Estimation
Department of Statistics and Data Science, Cornell University（统计与数据科学系，康奈尔大学）
本文提出面向决策规则漂移的迁移学习分类方法，利用 Bayes 决策边界几何变换将后验漂移建模转化为低维经验风险最小化，证明一致性与风险界，并在个体化治疗规则、模拟及真实数据中验证其优势。
2025-08-28 cs.LG math.ST stat.ME
Bayesian wavelet shrinkage for low SNR data based on the Epanechnikov kernel
针对低信噪比数据，提出一种基于Epanechnikov分布与零点质量混合先验的贝叶斯小波收缩规则，并验证了其统计性质及在模拟与真实EEG数据上的优越性。
2025-07-15 stat.ME
Traffic Flow Forecasting Using a Spatio-Temporal Bayesian Network Predictor
Tsinghua University（清华大学）
提出了一种新的交通流预测模型--时空贝叶斯网络预测模型。与现有的方法不同，我们的方法结合了所有的空间和时间信息，在交通网络进行我们的交通流量预测的当前站点。采用Pearson相关系数对输入变量（交通流）进行排序预测，并采用最佳优先策略选择一个子集作为贝叶斯网络的原因节点。在时空贝叶斯网络中，给定导出的原因节点和相应的结果节点，采用高斯混合模型描述输入和输出之间的统计关系。最后，在最小均方误差（M.M.S.E.）准则下进行交通流预测。北京市城市车流数据的实验结果验证了时空贝叶斯网络预测器的有效性。
2017-12-24 cs.AI stat.AP
