PAC-Bayesian Policy Evaluation for Reinforcement Learning
McGill University（麦吉尔大学）；University of Alberta（阿尔伯塔大学）
贝叶斯先验提供了一种紧凑而通用的方法，将领域知识纳入许多学习任务。然而，贝叶斯分析和推理的正确性在很大程度上取决于这些先验的准确性和正确性。PAC-Bayesian方法通过提供与先验分布的正确性无关的界限来克服这个问题。针对具有函数逼近的批量强化学习问题，给出了PAC-Bayesian第一界。我们展示了如何使用此界限在迁移学习场景中执行模型选择。我们的实证结果证实，PAC贝叶斯政策评估是能够利用先验分布时，他们是翔实的，不像标准的贝叶斯RL方法，忽略他们时，他们是误导。
2012-02-14 cs.LG stat.ML
Towards Expressive Priors for Bayesian Neural Networks: Poisson Process Radial Basis Function Networks
Harvard University（哈佛大学）
虽然贝叶斯神经网络有许多吸引人的特点，目前的先验不容易让用户指定的基本属性，如预期的长度尺度或幅度方差。在这项工作中，我们引入泊松过程径向基函数网络，一种新的先验，能够编码幅度平稳性和输入相关的lengthscale。我们证明了我们的新配方允许这些属性的解耦规范，估计的回归函数是一致的，因为观测的数量趋于无穷大。我们证明了它的行为合成和真实的例子。
2019-12-12 cs.LG stat.ML
Learning optimal Bayesian prior probabilities from data
无信息一致先验是贝叶斯推理的主要内容，特别是在贝叶斯机器学习中。这项研究挑战的假设，他们是最佳的，他们在贝叶斯推理的使用产生最佳结果。我们提出了一种基于机器学习的替代方法，而不是使用任意的无信息的统一先验，通过最大化感兴趣的目标函数从数据中学习最佳先验。应用朴素贝叶斯文本分类方法和为此研究开发的搜索算法，我们的系统使用阳性预测值度量作为目标函数从数据中学习先验。任务是找到没有（但应该）被归类在某些维基百科类别下的维基百科条目。我们使用不同的维基百科类别进行了五组实验。虽然基线模型使用流行的贝叶斯-拉普拉斯先验，但研究模型在使用它们之前分别学习每组实验的最佳先验。结果显示，研究模型始终优于基线模型，具有广泛的统计学显著性（p < 0.001）。该研究模型在基线上的测量性能改善高达443%，在五个维基百科类别上的平均值为193%。
2021-01-03 cs.LG stat.ML
Bayesian neural network unit priors and generalized Weibull-tail property
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；LJK（约瑟夫·傅立叶实验室）
贝叶斯神经网络和高斯过程之间的联系在过去的几年里得到了很多关注。当层宽趋于无穷大时，隐藏单元被证明遵循一个高斯过程极限。最近的研究表明，有限贝叶斯神经网络可能优于无限贝叶斯神经网络，因为它们灵活地调整其内部表示。为了给有限宽度神经网络的进一步研究奠定坚实的基础，我们的目标是研究隐含单元上的先验诱导。我们的主要结果是一个准确的描述隐藏单位的尾巴，这表明，单位先验成为更深的，由于广义威布尔尾的概念。这一发现揭示了有限贝叶斯神经网络的隐藏单元的行为。
2021-10-06 cs.LG stat.ML
Understanding Priors in Bayesian Neural Networks at the Unit Level
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立高等物理、数学与信息学院）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Andalusian Research Institute in Data Science and Computational Intelligence (DaSCI)（安达卢西亚数据科学与计算智能研究所）；University of Granada（格拉纳达大学）
我们研究了具有高斯权重先验和一类ReLU非线性的深度贝叶斯神经网络。众所周知，具有高斯先验的贝叶斯神经网络会引起L2，“权重衰减”，正则化。我们的研究结果表征了一个更复杂的正则化效应的水平上的单位激活。我们的主要结果建立了诱导先验分布的单位之前和之后的激活变得越来越重尾层的深度。我们发现，第一层单位是高斯，第二层单位是次指数，和单位在更深的层的特点是分韦布尔分布。我们的研究结果为深度贝叶斯神经网络提供了新的理论见解，并与模拟实验进行了验证。
2019-05-10 cs.LG stat.ML
Bayesian Transfer Reinforcement Learning with Prior Knowledge Rules
Athens University of Economics and Business（雅典经济与商业大学）
我们提出了一个概率框架，直接插入先验知识的强化学习（RL）算法定义的行为政策作为贝叶斯后验分布。这样的后验将任务特定信息与先验知识相结合，从而允许实现跨任务的迁移学习。所得到的方法是灵活的，它可以很容易地结合到任何标准的政策和政策上的算法，如那些基于时间差异和策略梯度。我们通过将先验知识表达为一般确定性规则来开发这种贝叶斯传输RL框架的具体实例，这些规则可以在各种各样的任务（例如导航任务）中使用。此外，我们详细阐述了最近的概率和熵正则化RL开发一种新的时间学习算法，并展示了如何将其与贝叶斯传输RL。最后，我们展示了我们的方法解决迷宫，并表明可以获得显着的速度提升。
2018-09-30 cs.LG stat.ML
Sample Complexity and Decision-Theoretic Guarantees for Bayesian Model Averaging over Decision Trees with Catalan-Exponential Priors
School of Computing and Engineering University of Bedfordshire, Luton, UK（计算与工程学院贝德福德郡大学，卢顿，英国）
针对具有Dirichlet-Multinomial叶模型和Catalan指数树大小先验的贝叶斯决策树，建立了理性承诺阈值的完整非渐近理论，回答了贝叶斯模型平均权重何时蕴含足够认知信息以证明对平均分布的承诺利用是合理的。
2026-06-02 cs.LG stat.ML
The Effect of Prior Lipschitz Continuity on the Adversarial Robustness of Bayesian Neural Networks
University of Oxford（牛津大学）；Oxford-Man Institute（牛津-曼学院）
机器学习模型对对抗性攻击具有鲁棒性是理想的，并且通常是必要的。贝叶斯模型尤其如此，因为它们非常适合安全关键型应用，在这些应用中，对抗性攻击可能会产生灾难性的后果。在这项工作中，我们深入研究了贝叶斯神经网络（BNN）的对抗鲁棒性。特别是，我们考虑BNN的对抗鲁棒性是否可以通过模型选择来增加，特别是由先验引起的Lipschitz连续性。对i.i.d.的案例进行深入分析，零均值高斯先验和后验近似通过平均场变分推断，我们发现证据表明，对抗鲁棒性确实是敏感的先验方差。
2021-01-07 cs.LG stat.ML
On Bayesian Exponentially Embedded Family for Model Order Selection
The University of Rhode Island（罗德岛大学）
本文利用指数嵌入族方法推导了贝叶斯模型的序选择规则，称为贝叶斯EEF。与许多其他贝叶斯模型选择方法不同，贝叶斯EEF可以使用模糊的正确先验和不正确的无信息先验来客观地提取参数先验。此外，该规则的惩罚项是参数维数的一半和参数与观测数据之间的估计互信息之和。这有助于揭示EEF在模型阶数选择中的作用机制，并从信息论的角度对模型阶数选择的最优惩罚项选择和先验选择等问题提供新的见解.最后给出了线性模型选阶的重要实例，说明了算法和参数的选取。最后，使用Jeffreys先验的贝叶斯EEF与频率主义策略导出的EEF规则一致。这显示了频率论和贝叶斯哲学在模型选择中的另一个有趣的关系。
2018-12-21 cs.LG stat.ML
Semi-parametric Expert Bayesian Network Learning with Gaussian Processes and Horseshoe Priors
National University of Singapore（新加坡国立大学）；Harvard University（哈佛大学）
该研究提出带线性约束的半参数专家贝叶斯网络学习模型，结合高斯过程与差异化尺度马蹄先验引入少量非线性，可生成多样适配用户输入的图，在合成及UCI肝病数据集上性能优于现有半参数贝叶斯网络模型。
2024-01-29 cs.LG stat.ML
Are Bayesian neural networks intrinsically good at out-of-distribution detection?
Institute of Neuroinformatics（神经信息学研究所）；University of Zürich（苏黎世大学）；ETH Zürich（苏黎世联邦理工学院）
避免对不熟悉数据进行自信预测的需求引发了对分布外（OOD）检测的兴趣。人们普遍认为贝叶斯神经网络（BNN）非常适合这项任务，因为赋予的认知不确定性会导致对离群值的预测出现分歧。在本文中，我们质疑这一假设，并提供经验证据表明，适当的贝叶斯推理与常见的神经网络架构并不一定会导致良好的OOD检测。为了避免使用近似推理，我们开始研究无限宽的情况下，贝叶斯推理可以考虑相应的高斯过程是准确的。引人注目的是，在常见的架构选择下诱导的内核导致不确定性，不反映底层的数据生成过程，因此不适合OOD检测。最后，我们使用HMC研究有限宽度网络，并观察到与无限宽度情况一致的OOD行为。总的来说，我们的研究揭示了天真地使用BNN进行OOD检测时的基本问题，并为未来的研究开辟了有趣的途径。
2021-07-26 cs.LG stat.ML
Bayesian Neural Network Priors Revisited
ETH Zürich（苏黎世联邦理工学院）；University of Cambridge（剑桥大学）；Google AI Berlin（谷歌柏林人工智能研究院）；Imperial College London（伦敦帝国理工学院）；University of Bristol（布里斯托尔大学）
各向同性高斯先验是现代贝叶斯神经网络推理的事实标准。然而，目前还不清楚这些先验是否准确地反映了我们对权重分布的真实信念或给出最佳性能。为了找到更好的先验，我们研究了使用随机梯度下降（SGD）训练的网络中神经网络权重的汇总统计。我们发现卷积神经网络（CNN）和ResNet权重显示出很强的空间相关性，而全连接网络（FCNN）显示出重尾权重分布。我们表明，将这些观察结果构建到先验中可以提高各种图像分类数据集的性能。令人惊讶的是，这些先验减轻了FCNN中的冷后验效应，但略微增加了ResNets中的冷后验效应。
2022-03-16 cs.LG stat.ML
Structured Variational Learning of Bayesian Neural Networks with Horseshoe Priors
IBM research（IBM研究院）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；Harvard University（哈佛大学）
贝叶斯神经网络（BNN）最近受到越来越多的关注，因为它们能够提供良好校准的后验不确定性。然而，模型选择-甚至选择节点的数量-仍然是一个悬而未决的问题。最近的工作提出了在贝叶斯神经网络的节点预激活上使用马蹄铁先验，这有效地关闭了无助于解释数据的节点。在这项工作中，我们提出了几个建模和推理的进步，不断提高学习模型的紧凑性，同时保持预测性能，特别是在小样本设置，包括强化学习。
2018-07-31 cs.LG stat.ML
Stabilising priors for robust Bayesian deep learning
Stellenbosch University（斯泰伦博斯大学）
贝叶斯神经网络（BNN）已经发展成为有用的工具，概率建模由于最近的进展，变分推理，使大规模BNN。然而，BNN仍然很脆弱，难以训练，特别是：（1）当使用由许多隐藏层组成的深层架构时，以及（2）在权重变化较大的情况下。我们使用信号传播理论来量化这些挑战，并提出自稳定先验。这是通过ELBO的重新表述来实现的，以允许先前影响网络信号传播。然后，我们开发了一个稳定的先验，在每个前向传递之前调整先验的分布参数，以确保传播信号的稳定性。这种稳定的信号传播导致改进的收敛性和鲁棒性，使得可以在更嘈杂的环境中训练更深的网络。
2019-10-23 cs.LG stat.ML
Implicit Priors for Knowledge Sharing in Bayesian Neural Networks
University of Oxford（牛津大学）
神经网络的贝叶斯解释有着悠久的历史，可以追溯到20世纪90年代的早期工作，最近又重新受到关注，因为它们的理想属性，如不确定性估计，模型鲁棒性和正则化。我们想在这里讨论贝叶斯模型在神经网络之间的知识共享中的应用。知识共享来自不同的方面，例如迁移学习，模型蒸馏和共享嵌入。所有这些任务都有一个共同点，即学习到的“特征”应该在不同的网络中共享。从理论上讲，这项工作植根于贝叶斯神经网络的概念，广泛应用于一般的深度学习。
2019-12-02 cs.LG stat.ML
Exact marginal prior distributions of finite Bayesian neural networks
Harvard University（哈佛大学）
贝叶斯神经网络理论上仅在无限宽度限制下才被很好地理解，其中网络权重的高斯先验产生网络输出的高斯先验。最近的工作表明，有限贝叶斯网络可能优于他们的无限同行，但他们的非高斯函数空间先验的特点，只有通过微扰的方法。在这里，我们推导出精确的解决方案的函数空间先验的一类有限的全连接前馈贝叶斯神经网络的个人输入的例子。对于深度线性网络，先验知识有一个简单的Meijer $G$函数表达式。有限ReLU网络的先验是较小宽度的线性网络的先验的混合，对应于每层中不同数量的活动单元。我们的研究结果统一了以前的描述有限网络先验的尾部衰减和大宽度的行为。
2021-10-18 cond-mat.dis-nn cs.LG stat.ML
Regret bounds for meta Bayesian optimization with an unknown Gaussian process prior
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
贝叶斯优化通常假设贝叶斯先验是给定的。然而，在贝叶斯优化的强大的理论保证，往往是令人遗憾的是，在实践中，因为在先验的未知参数妥协。在本文中，我们采用了一种变体的经验贝叶斯，并表明，通过估计高斯过程之前从离线数据采样从相同的先验和构造无偏估计的后验，变体的GP-UCB和概率的改善实现了接近零的遗憾界，这减少到一个常数成比例的观测噪声的离线数据的数量和在线评估的数量增加。经验上，我们已经验证了我们的方法具有挑战性的模拟机器人问题的任务和运动规划。
2018-11-23 cs.AI cs.LG stat.ML
Specifying Weight Priors in Bayesian Deep Neural Networks with Empirical Bayes
Intel Labs（英特尔实验室）
贝叶斯深度神经网络（DNN）的随机变分推理需要指定神经网络权重的先验和近似后验分布。有意义的权重先验是一个具有挑战性的问题，特别是对于将变分推理扩展到涉及高维权重空间的更深体系结构。提出了一种基于DNN的经验贝叶斯先验模型（MOPED）方法，用于贝叶斯神经网络中先验权重的选择。我们制定了一个两阶段的分层建模，首先找到最大似然估计的权重DNN，然后设置权重先验经验贝叶斯方法推断后验变分推理。我们经验评估所提出的方法对现实世界的任务，包括图像分类，视频活动识别和音频分类与不同的复杂神经网络架构。我们还评估了我们提出的糖尿病视网膜病变诊断任务的方法和最先进的贝叶斯深度学习技术的基准。我们证明了MOPED方法可以实现可扩展的变分推理，并提供可靠的不确定性量化。
2019-12-28 cs.LG cs.NE stat.ML
Flexible Bayesian Last Layer Models Using Implicit Priors and Diffusion Posterior Sampling
Columbia University（哥伦比亚大学）
本文针对贝叶斯最后一层模型高斯先验表达能力受限的问题，提出结合扩散技术与隐式先验的变分学习方法，通过扩散采样近似后验预测，在保证计算效率的同时提升模型精度、校准和分布外检测性能。
2024-08-07 cs.AI cs.LG stat.ML
Bayesian sparse convex clustering via global-local shrinkage priors
NTT Advanced Technology Corporation（NTT先进技术公司）；The University of Electro-Communications（电气通信大学）
稀疏凸聚类是在凸聚类框架下对观测值进行聚类的同时进行变量选择。虽然加权$L_1$范数通常用于稀疏凸聚类中的正则化项，但如果样本量不足，则其使用增加了对数据的依赖性并降低了估计精度。针对这些问题，本文提出了一种基于贝叶斯套索和全局-局部收缩先验的贝叶斯稀疏凸聚类方法。我们引入吉布斯抽样算法，我们的方法使用的比例混合正态分布。仿真研究和实际数据分析表明了所提出方法的有效性。
2020-05-26 cs.LG stat.ME stat.ML
Functional-prior-based approaches to Bayesian PDE-constrained inversion using physics-informed neural networks
Disaster Prevention Research Institute, Kyoto University（京都大学灾害预防研究所）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）
本文提出功能先验方法，用于贝叶斯偏微分方程约束反演，通过结合物理信息神经网络，引入功能先验以提高反演精度，并展示了两种互补方法：FPI-BPINN和fParVI-PINN，分别在权重空间和函数空间进行贝叶斯推断。
2026-08-14 cs.LG physics.comp-ph physics.geo-ph
Flexible and Hierarchical Prior for Bayesian Nonnegative Matrix Factorization
在本文中，我们介绍了一个概率模型学习非负矩阵分解（NMF），通常用于预测缺失值和发现隐藏模式的数据，其中矩阵因子是与每个数据维度相关的潜在变量。潜在因子的非负约束通过选择在非负子空间上具有支持度的先验来处理。贝叶斯推理过程的基础上吉布斯抽样。我们在几个真实世界的数据集上评估了该模型，包括具有不同大小和维度的MovieLens 100K和MovieLens 1M，并表明与现有的贝叶斯NMF方法相比，所提出的贝叶斯NMF GRRN模型可以实现更好的预测并避免过拟合。
2022-06-20 cs.IT cs.LG math.IT
Model Selection in Bayesian Neural Networks via Horseshoe Priors
贝叶斯神经网络（BNN）最近受到越来越多的关注，因为它们能够提供良好校准的后验不确定性。然而，模型选择-甚至选择节点的数量-仍然是一个悬而未决的问题。在这项工作中，我们将马蹄铁先验应用于贝叶斯神经网络的节点预激活，这有效地关闭了无助于解释数据的节点。我们证明了我们的先验知识可以防止BNN拟合不足，即使所需的节点数量被严重高估。此外，这种对节点数量的模型选择并不以牺牲预测或计算性能为代价;事实上，我们学习的是更小的网络，其预测性能与当前方法相当。
2017-05-29 stat.ML
An Equivalence between Bayesian Priors and Penalties in Variational Inference
Université Paris-Saclay（巴黎萨克雷大学）；Inria Saclay（法国国家信息与自动化研究所萨克雷分部）；Meta AI Research（元人工智能研究部门）
本文证明了变分推断中贝叶斯先验与正则化惩罚之间的等价性，给出了从惩罚计算先验的系统方法，并揭示了保持贝叶斯性质的约束条件。
2024-02-07 cs.LG math.ST stat.ML
Prior and Likelihood Choices for Bayesian Matrix Factorisation on Small Datasets
在本文中，我们研究了贝叶斯矩阵分解的不同先验和似然选择的影响，重点是小数据集。这些选择可以极大地影响方法的预测性能。我们确定了四组方法：高斯似然与实值先验，非负先验，半非负模型，最后泊松似然方法。对于每一组，我们回顾了文献中的几种模型，总共考虑了16种，并讨论了不同先验和矩阵范数之间的关系。我们在三个应用领域的八个真实数据集上广泛比较了这些方法，并进行了组间和组内比较。我们测量收敛运行时速度，交叉验证性能，稀疏和噪声预测性能，以及模型选择鲁棒性。我们提供了几个见解的先验和似然选择之间的权衡贝叶斯矩阵因式分解小数据集-如泊松模型给出差的预测，非负模型比实值的约束。
2017-12-01 stat.ML
Bayesian Compressive Sensing Using Normal Product Priors
University of Electronic Science and Technology of China（电子科技大学）
在本文中，我们引入了一个新的稀疏促进先验，即“正常产品”的先验，并开发了一个有效的算法稀疏信号恢复贝叶斯框架下。正态乘积分布是两个均值为零且方差可能不同的正态分布变量的乘积的分布。与其他稀疏性鼓励分布（如学生$t$分布）一样，正态积分布在原点有一个尖峰，这使其成为鼓励稀疏解的合适先验。提出了一种基于正态产品的两阶段递阶模型。我们诉诸变分贝叶斯（VB）方法来执行推理。仿真结果表明，我们提出的算法相比，其他国家的最先进的压缩感知算法的有效性。
2017-08-24 cs.IT cs.LG math.IT
Bayesian decision-making under misspecified priors with applications to meta-learning
UC Berkeley（加州大学伯克利分校）；Columbia University（哥伦比亚大学）；Microsoft Research NYC（微软研究院纽约）；Massachusetts Institute of Technology（麻省理工学院）
汤普森采样和其他贝叶斯顺序决策算法是解决（上下文）强盗中探索/利用权衡的最流行方法之一。这些算法中先验的选择提供了对领域知识进行编码的灵活性，但当错误指定时也会导致性能不佳。在本文中，我们证明了性能下降优雅的错误。我们证明了汤普森采样（TS）与一个错误指定的先验知识的预期奖励相差最多$\tilde{\mathcal{O}}(H^2 ε)$从TS与一个良好指定的先验知识，其中$ε$是先验知识之间的总变差距离和$H$是学习视野。我们的界不要求先验具有任何参数形式。对于先验有界支持，我们的界是独立的基数或结构的行动空间，我们表明，它是紧到普遍常数在最坏的情况下。我们的敏感性分析的基础上，我们建立通用PAC保证算法在最近研究的贝叶斯元学习设置和推导推论的各种家庭的先验。我们的结果沿着两个轴进行推广：（1）它们适用于更广泛的贝叶斯决策算法家族，包括知识梯度算法（KG）的蒙特卡罗实现，（2）它们适用于贝叶斯POMDP，最一般的贝叶斯决策设置，包括上下文强盗作为特例。通过数值模拟，我们说明了如何事先错误指定和部署的一步前瞻（如在KG）可以影响的收敛元学习在多武装和上下文土匪结构和相关的先验。
2021-07-03 cs.LG math.ST stat.ML
EP-GIG Priors and Applications in Bayesian Sparse Learning
在本文中，我们提出了一个新的框架，稀疏诱导先验的建设。特别是，我们定义这样的先验混合指数幂分布与广义逆高斯密度（EP-GIG）。EP-GIG是广义双曲分布的一种变体，其特殊情况包括高斯尺度混合和拉普拉斯尺度混合。此外，拉普拉斯尺度的混合物可以subserve的贝叶斯框架稀疏学习与非凸惩罚。EP-GIG的密度可以明确表达。此外，相应的后验分布也遵循广义逆高斯分布。这些属性使我们的期望最大化算法贝叶斯稀疏学习。我们发现，这些算法承担一个有趣的相似之处，迭代重新加权$\ell_2$或$\ell_1$方法。此外，我们提出了两个扩展的分组变量选择和逻辑斯谛回归。
2012-04-19 stat.ML
Quantification of observed prior and likelihood information in parametric Bayesian modeling
本文提出了两种与数据相关的信息度量来量化参数贝叶斯模型中先验和似然函数的信息，其中一种与Berger，Bernardo和Sun提出的参考先验和Lindley提出的信息度量密切相关.理论，经验和计算支持的组合提供的证据表明，这些信息理论指标可能是有用的诊断工具时，执行贝叶斯分析。
2017-09-07 cs.IT math.IT stat.AP
Bayesian Modeling via Goodness-of-fit
现代贝叶斯统计的两个关键问题是：（i）建立从初始可信的科学先验中提取与给定数据一致的统计先验的原则性方法;（ii）开发比两者中的任何一个都更有效的贝叶斯-频率主义统一数据分析工作流程。在本文中，我们提出了“贝叶斯通过拟合优度”的想法作为探索这些基本问题的框架，在某种程度上，是一般足以涵盖几乎所有的熟悉的概率模型。几个说明性的例子显示了这种新的观点作为一种实用的数据分析工具的好处。与其他贝叶斯文化的关系也进行了讨论。
2018-04-16 math.ST stat.ME stat.ML
Variable fusion for Bayesian linear regression via spike-and-slab priors
在线性回归模型中，系数的融合用于识别与响应具有相似关系的预测因子。这就是所谓的可变融合。提出了一种基于贝叶斯线性回归模型的变量融合方法。我们专注于分层贝叶斯模型的基础上的尖峰和板坯事先的方法。一个尖峰和平板先验是定制的，以执行可变融合。为了获得参数的估计，我们开发了一个吉布斯采样器的参数。仿真研究和实际数据分析表明，我们提出的方法取得了更好的性能比以前的方法。
2020-12-02 stat.ME stat.ML
Beyond Uniform Priors in Bayesian Network Structure Learning
贝叶斯网络结构学习通常在贝叶斯设置中执行，使用给定数据集的后验概率评估候选结构。然后，基于分数的算法使用这些后验概率作为目标函数，并返回最大后验网络作为学习模型。对于离散贝叶斯网络，后验得分的规范选择是具有均匀（U）图先验的贝叶斯狄利克雷等效均匀（BDeu）边缘似然，其假设网络结构和网络参数都具有均匀先验。在本文中，我们调查这些假设所产生的问题，专注于小样本量和稀疏数据所造成的问题。然后，我们提出了一种替代后验分数：贝叶斯狄利克雷稀疏（BD）边缘似然与边缘均匀（MU）图先验。与U+BDeu一样，MU+ BD不需要任何关于数据概率结构的先验信息，可以用作替代非信息性得分。我们研究了它的理论特性，并在广泛的模拟研究中评估了它的性能，结果表明MU+ BD在学习网络结构方面比U+BDeu更准确，在预测功率方面也更有竞争力，同时计算上并不复杂。
2017-04-12 stat.ME stat.ML
A note on Bayesian convergence rates under local prior support conditions
贝叶斯后收敛速度的界限，假设先验满足局部和全局支持条件，现在很容易获得。在本文中，我们探讨，在密度估计的背景下，贝叶斯收敛速度假设只有当地的先验支持条件。我们的研究结果给出了最优利率在最小条件下使用非常简单的参数。
2013-12-24 math.ST stat.TH
Bayesian Fused Lasso Modeling via Horseshoe Prior
贝叶斯融合套索方法是一种稀疏贝叶斯方法，它同时收缩回归系数和它们的连续差。在本文中，我们提出了一个贝叶斯融合套索模型通过马蹄先验。通过假设连续回归系数的差异具有马蹄形先验，所提出的方法使我们能够防止这些差异的过度收缩。我们还提出了一个贝叶斯六边形算子的回归收缩和平等的选择（HORSES）与马蹄事先，它对所有组合的差异回归系数的先验。仿真研究和实际数据的应用表明，所提出的方法比现有的方法有更好的性能。
2022-01-20 stat.ME
Order-invariant prior specification in Bayesian factor analysis
在（探索性）因子分析中，载荷矩阵仅确定为正交旋转。为了可识别性，人们因此经常将载荷矩阵取为具有正对角元素的下三角形。在贝叶斯推断中，标准的做法是指定一个先验，在该先验下载荷是独立的，非对角载荷是正态分布的，对角载荷遵循截断的正态分布。然而，这种先前的规范在很大程度上取决于加载矩阵的变量和相关联的行如何排序。我们展示了如何一个小的修改的方法允许一个计算与可识别的下三角加载矩阵，但保持不变的属性下重新排序的变量。
2014-09-26 stat.ME stat.ML
Shrinkage priors for nonparametric Bayesian prediction of nonhomogeneous Poisson processes
研究强度函数未知的非齐次泊松过程模型的非参数贝叶斯估计和预测问题。我们提出了一类强度函数的非正常先验。非参数贝叶斯推理与核混合的基础上类不当的先验被证明是有用的，虽然不当的先验还没有被广泛用于非参数贝叶斯问题。与有限维独立泊松模型相应的几个定理对具有无限维参数空间的非齐次泊松过程模型也成立。在Kullback-Leibler损失下证明了基于不适当先验的贝叶斯估计和预测是可容许的。研究了基于先验信息的贝叶斯推理的数值方法。
2021-05-08 math.ST stat.TH
Comparison between Suitable Priors for Additive Bayesian Networks
加性贝叶斯网络是一种图形模型，它通过对基础变量的联合概率分布进行因子分解，将通常的贝叶斯广义线性模型扩展到多个因变量。在拟合ABN模型时，参数先验的选择至关重要。如果使用不充分的先验--如信息量太弱的先验--数据分离和数据稀疏会导致模型选择过程中的问题。在这项工作中，两个弱和一个强信息先验之间的模拟研究。作为弱信息先验，我们使用具有大方差的零均值高斯先验，目前在R包abn中实现。第二个先验属于学生t分布，专门为逻辑斯谛回归设计，最后，强信息先验再次是高斯分布，平均值等于真实参数值且方差较小。我们比较了这些先验知识对学习的加性贝叶斯网络在不同参数下的准确性的影响。我们创建了一个模拟研究来说明林德利的悖论的基础上的优先选择。然后，我们的结论是突出了良好的性能的信息学生的t先验和有限的影响林德利悖论。最后，对今后的发展提出了建议。
2018-09-18 stat.AP stat.ME stat.ML
Bayesian Selective Inference: Non-informative Priors
我们讨论贝叶斯推断的参数选择使用的数据。首先，我们提供了一个批判性的分析，在文献中的正确的贝叶斯方法下选择的现有位置。其次，我们提出了两种类型的选择模型的非信息先验。这些先验可用于在没有先验信息的情况下产生后验分布，以及为所选参数提供良好校准的频率论推断。我们在几种情况下测试所提出的先验经验。
2021-05-11 math.ST stat.TH
Bayesian high-dimensional linear regression with generic spike-and-slab priors
Spike-and-slab先验是高维线性回归问题的常用贝叶斯解。以往的spike-and-slab方法的理论研究主要集中在特定的先验公式上，使用先验相关的条件和分析，因此不能直接推广。在本文中，我们提出了一类通用的尖峰和板先验，并制定了一个统一的框架，严格评估其理论性质。从技术上讲，我们提供了一般的条件下，通用的尖峰和板先验可以实现接近最优的后验收缩率和模型选择的一致性。我们的结果包括Narisetty和He（2014）和Castillo等人的结果。（2015）作为特例。
2020-02-12 math.ST stat.ME stat.ML
Nonparametric Bayesian label prediction on a graph
一个非参数贝叶斯方法来解决图上的二进制分类问题的实现。被认为是一个随机缩放高斯先验的分层贝叶斯方法。先验使用图拉普拉斯算子来考虑图的底层几何形状。提出了一种基于理论上最优先验的方法和一种更灵活的利用部分共轭的方法。两个模拟数据的例子和两个例子，使用真实数据，以说明所提出的方法。
2017-06-15 stat.CO stat.ML
Nonparametric Bayesian label prediction on a large graph using truncated Laplacian regularization
本文描述了一个非参数贝叶斯方法来解决图上的二进制分类问题的实现。我们考虑一个分层贝叶斯方法与前，通过截断一系列扩展的软标签函数使用图形拉普拉斯特征函数作为基函数。我们比较我们的截断之前的未截断的拉普拉斯算子为基础的模拟和真实数据的例子，以说明改进的可扩展性方面的基础图形的大小。
2018-04-13 stat.CO stat.ML
Bayesian Multiplicity Correction in the Probabilistic Forward Stepwise Framework
Department of Mathematics and Statistics, Portland State University（波特兰州立大学数学与统计系）
本文在回归问题的概率前向逐步模型空间先验表示中，提出一种自然的贝叶斯多重校正先验分布，通过类比Holm过程实现，并与Matryoshka doll先验行为一致，论证了多重校正为回归模型空间先验设定提供了原则性且透明的标准。
2026-05-27 math.ST stat.ME stat.ML
Shrinkage priors for Bayesian prediction
我们研究收缩先验构造贝叶斯预测分布。证明了当模型流形满足一定的微分几何条件时，基于Jeffreys先验或其它Vague先验，存在收缩预测分布渐近优于贝叶斯预测分布.从真实分布到预测分布的Kullback-Leibler偏差被采用作为损失函数。引入了模型流形对应于Vague先验的共形变换。我们展示了几个例子，收缩预测分布占主导地位的贝叶斯预测分布的基础上模糊的先验。
2006-07-01 math.ST stat.TH
Optimal Robustness Results for Some Bayesian Procedures and the Relationship to Prior-Data Conflict
基于统计证据的措施的贝叶斯推理程序的先验的鲁棒性被认为是。这些推论被证明具有最佳性能的鲁棒性。此外，鲁棒性和先验数据冲突之间的联系建立。特别是，推理被证明是有效的鲁棒性时，先验的选择不会导致先验数据冲突。然而，当存在先验数据冲突时，鲁棒性可能无法保持。
2015-04-27 math.ST stat.TH
Anatomically informed Bayesian spatial priors for fMRI analysis
现有的贝叶斯空间先验的功能性磁共振成像（fMRI）数据对应于静态各向同性平滑滤波器，可能过度平滑解剖边界。我们提出了两个解剖学上知情的贝叶斯空间模型的功能磁共振成像数据与局部平滑的基础上，从T1加权的解剖图像估计的张量场在每个体素。我们表明，我们的解剖学上知情的贝叶斯空间模型的结果在后验概率地图，遵循解剖结构。
2019-10-18 eess.IV q-bio.NC stat.ME
Singular Value Shrinkage Priors for Bayesian Prediction
在已知协方差阵的矩阵变量正态模型中，我们建立了均值矩阵参数的奇异值收缩先验。我们的先验是超调和的，并且对具有较小奇异值的矩阵赋予更多权重。它们是Stein先验的自然推广。在有限样本下，基于先验的贝叶斯估计和贝叶斯预测密度是极大极小的，并且优于基于一致先验的估计和贝叶斯预测密度。特别是，当参数的真实值具有低秩时，我们的先验工作得很好。
2021-04-02 math.ST stat.TH
Bayesian inference under small sample size -- A noninformative prior approach
本文提出了一种适用于小样本、稀疏数据问题的贝叶斯推断方法。提出了一种一般的先验（$\propto 1/σ^{q}$），用于小样本量下的贝叶斯后验推理问题。它表明，这种类型的先验可以代表广泛的先验，如经典的无信息先验和渐近局部不变的先验。它进一步表明，在这项研究中，这样的先验可以推导出的正态-逆-伽玛共轭先验的极限状态，允许贝叶斯后验和预测的分析评估。在小样本量条件下，利用全局似然法比较了不同无信息先验的性能。采用拉普拉斯近似的方法来估计全局似然。数值线性回归问题和实际的疲劳可靠性问题被用来证明该方法和确定最佳的无信息先验。结果表明，使用Jeffreys的先验的预测优于其他人。在小样本量条件下，证明了无信息贝叶斯估计量优于常规最小二乘估计量。
2020-10-13 stat.AP stat.ME
A Bayesian dawn in linguistics: Trends, benefits and good practices
本文综述了贝叶斯方法在语言学中从边缘走向主流的趋势，分析其兴起原因、方法论优势及实践挑战，并为研究者提供采用贝叶斯方法的良好实践建议。
2025-09-21 stat.AP
A Hadamard fractioal total variation-Gaussian (HFTG) prior for Bayesian inverse problems
研究了基于Hadamard分数全变差-高斯（HFTG）先验的无穷维贝叶斯反问题推理方法。首先，建立了Hadamard分式索伯列夫空间，并在一定条件下证明了它是可分的巴拿赫空间.然后，在该可分分数维空间中构造HFTG先验，该混合先验不仅能捕捉到区域的纹理细节，避免了阶跃效应，而且为无限维贝叶斯反演提供了完整的理论分析.基于HFTG先验，给出了贝叶斯反问题后验测度的适定性和有限维近似，并利用标准pCN算法从后验分布中提取样本.最后，不同模型下的数值结果表明，HFTG先验贝叶斯推理方法是有效的和准确的。
2021-10-29 math-ph math.MP math.ST
Learning Informative Prior with Infinite-Dimensional Continuous Normalizing Flow for Bayesian Inverse Problem
Academy of Mathematics and Systems Sciences, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）
本文针对无穷维贝叶斯推理问题，提出基于无穷维连续归一化流的先验模型，结合训练与采样算法，在三类逆问题上验证了算法有效性。
2026-09-24 cs.LG cs.NA math.NA
Generalized Cumulative Shrinkage Process Priors with Applications to Sparse Bayesian Factor Analysis
本文讨论了收缩先验的参数序列中施加不断增加的收缩。我们回顾了Legramanti等人（2020）的累积收缩过程（CUSP）先验，这是一种尖峰和平板收缩先验，其中尖峰概率随机增加，并从Dirichlet过程先验的棒断裂表示构建。作为第一个贡献，这个CUSP先验扩展到任意棒断裂表示所产生的β分布。作为第二个贡献，我们证明了可交换的尖峰和板先验，这是流行和广泛使用的稀疏贝叶斯因子分析，可以表示为有限的广义CUSP先验，这是很容易从板概率的下降顺序统计量。因此，可交换钉和板收缩先验意味着增加收缩的列索引在加载矩阵中的增加，而不施加显式的顺序约束的板的概率。稀疏贝叶斯因子分析的应用程序说明了本文的研究结果的有用性。介绍了一种新的基于Cadonna等人（2020）的三重伽马先验的可交换钉板收缩先验，并证明其有助于估计模拟研究中未知数量的因素。
2023-03-01 econ.EM stat.CO stat.ME
From Estimation to Sampling for Bayesian Linear Regression with Spike-and-Slab Prior
本文针对带尖峰-厚板先验的贝叶斯稀疏线性回归，利用后验收缩性质设计了基于吉布斯采样和随机局部化的高效采样算法，并证明随机局部化采样器在数据矩阵设计不佳时优势更明显。
2023-07-09 stat.CO stat.ME stat.ML
Evaluating Sensitivity to the Stick-Breaking Prior in Bayesian Nonparametrics
基于狄利克雷过程和其他棒打破先验的贝叶斯模型已被提出作为聚类，主题建模和其他无监督学习任务的核心成分。然而，对于这些模型来说，事先说明相对困难，因为它们的灵活性意味着事先选择的后果往往相对不透明。此外，这些选择可能对后验推理产生重大影响。因此，鲁棒性的考虑需要与非参数建模齐头并进。在本文中，我们利用变分贝叶斯方法，除了在拟合复杂的非参数模型的计算优势，还产生灵敏度方面的贝叶斯模型的参数和非参数方面的事实来应对这一挑战。特别是，我们演示了如何评估的灵敏度的结论选择的浓度参数和棒断裂分布的Dirichlet过程的混合物和相关的混合物模型下的推断。我们提供了理论和经验支持，我们的变分方法贝叶斯敏感性分析。
2021-10-25 stat.CO stat.ME stat.ML
On default priors for robust Bayesian estimation with divergences
本文提出了基于分歧的抗野值贝叶斯估计的客观先验。最小$γ$ -散度估计是众所周知的工作，以及对严重污染的估计。近年来，基于分歧的准后验分布的稳健贝叶斯方法也被提出。在客观贝叶斯框架下，在这种准后验分布下，违约先验分布的选择是一个重要问题。本文基于$γ$ -散度，给出了准后验分布下参考先验和矩匹配先验的一些性质。特别是，我们表明，所提出的先验近似鲁棒的污染分布的条件下，不假设任何条件的污染率。一些模拟研究也被提出。
2020-12-18 stat.ME
