The Ridgelet Prior: A Covariance Function Approach to Prior Specification for Bayesian Neural Networks
Newcastle University（纽卡斯尔大学）；University College London（伦敦大学学院）
贝叶斯神经网络试图将神经网络的强预测性能与贝叶斯框架中与预测输出相关联的不确定性的正式量化相结合。然而，目前还不清楚如何赋予网络的参数一个先验分布，这是有意义的，当提升到网络的输出空间。提出了一种可能的解决方案，使用户能够为手头的任务选择适当的高斯过程协方差函数。我们的方法为网络的参数构造了一个先验分布，称为脊波先验，它近似于网络输出空间中假定的高斯过程。与现有的神经网络和高斯过程之间的连接的工作相比，我们的分析是非渐近的，提供有限的样本大小的误差界。这建立了贝叶斯神经网络可以近似任何高斯过程的协方差函数是足够规则的普适性。我们的实验评估仅限于概念验证，我们证明脊波先验可以在回归问题上优于非结构化先验，可以提供合适的高斯过程先验。
2022-01-11 cs.LG stat.ML
Invariant Priors for Bayesian Quadrature
University College London（伦敦大学学院）；Microsoft Research Cambridge（微软剑桥研究院）；University of Tübingen（蒂宾根大学）
贝叶斯求积（Bayesian quadrature，BQ）是一种基于模型的数值积分方法，能够通过编码和利用手头的积分任务的已知结构来提高样本效率。在本文中，我们探讨了先验编码下的输入域中的双射变换，特别是一些酉变换，如旋转，轴翻转，或点对称的被积函数的不变性。我们展示了在几个合成和一个现实世界中的应用相比，标准贝叶斯正交的优越性能的初步结果。
2021-12-02 cs.LG stat.ML
BNNpriors: A library for Bayesian neural network inference with different prior distributions
ETH Zürich（苏黎世联邦理工学院）；University of Cambridge（剑桥大学）；Imperial College London（帝国理工学院）；University of Bristol（布里斯托大学）
贝叶斯神经网络在许多应用中显示出巨大的前景，其中校准的不确定性估计是至关重要的，并且通常还可以导致更高的预测性能。然而，它仍然具有挑战性的选择一个良好的先验分布的权重。虽然各向同性高斯先验由于其简单性而在实践中经常被选择，但它们不能很好地反映我们真实的先验信念，并且可能导致次优性能。我们的新库BNN priors可以在贝叶斯神经网络上进行最先进的马尔可夫链蒙特卡罗推理，并具有广泛的预定义先验，包括重尾先验，分层先验和混合先验。此外，它遵循模块化的方法，简化了新的自定义先验的设计和实现。它促进了贝叶斯神经网络中冷后验效应性质的基础性发现，并有望促进该领域未来的研究和实际应用。
2021-05-14 cs.LG stat.ML
Species Sensitivity Distribution revisited: a Bayesian nonparametric approach
Bocconi Institute for Data Science & Analytics, Bocconi University（博科尼数据科学与分析学院，博科尼大学）；Univ. Grenoble Alpes, CNRS, Inria, Grenoble INP, LJK（格勒诺布尔阿尔卑斯大学，法国国家科学研究中心，法国国家信息与自动化研究所，格勒诺布尔理工学院）；Université Paris-Saclay, INRAE, MaIAGE（巴黎萨克雷大学，法国国家农业食品与环境研究院）
本文提出了一种基于贝叶斯非参数方法的物种敏感分布改进方法，以提高生态风险评估的准确性与鲁棒性。
2026-02-04 stat.AP stat.ME
Robust learning Bayesian networks for prior belief
Graduate School of Information Systems, University of Electro-Communications（电气通信大学信息系统研究生院）
最近的报告描述了学习贝叶斯网络是高度敏感的选择等效样本容量（ESS）的贝叶斯狄利克雷等价均匀（BDeu）。这种敏感性往往会产生一些不稳定或不希望的结果。本文描述了BDeu的一些渐近分析，以解释敏感性及其影响的原因。此外，本文提出了一个强大的ESS学习分数的建议，通过消除从log-BDeu近似的敏感因素。
2012-02-14 cs.LG stat.ML
Likelihoods and Parameter Priors for Bayesian Networks
我们开发了构建似然性和参数先验的简单方法，以了解贝叶斯网络的参数和结构。特别是，我们引入了几个假设，允许建设的似然性和参数先验的大量贝叶斯网络结构，从一个小的评估。最值得注意的假设是似然等价，即数据不能帮助区分编码相同条件独立断言的网络结构。我们描述了从这些假设遵循的结构，并提出了一种方法，用于直接计算的边际似然的随机样本没有丢失的意见。此外，我们展示了这些假设如何导致一个一般的框架来表征参数先验的多元分布。
2021-06-29 cs.LG stat.ML
PAC-Bayesian Policy Evaluation for Reinforcement Learning
McGill University（麦吉尔大学）；University of Alberta（阿尔伯塔大学）
贝叶斯先验提供了一种紧凑而通用的方法，将领域知识纳入许多学习任务。然而，贝叶斯分析和推理的正确性在很大程度上取决于这些先验的准确性和正确性。PAC-Bayesian方法通过提供与先验分布的正确性无关的界限来克服这个问题。针对具有函数逼近的批量强化学习问题，给出了PAC-Bayesian第一界。我们展示了如何使用此界限在迁移学习场景中执行模型选择。我们的实证结果证实，PAC贝叶斯政策评估是能够利用先验分布时，他们是翔实的，不像标准的贝叶斯RL方法，忽略他们时，他们是误导。
2012-02-14 cs.LG stat.ML
Towards Expressive Priors for Bayesian Neural Networks: Poisson Process Radial Basis Function Networks
Harvard University（哈佛大学）
虽然贝叶斯神经网络有许多吸引人的特点，目前的先验不容易让用户指定的基本属性，如预期的长度尺度或幅度方差。在这项工作中，我们引入泊松过程径向基函数网络，一种新的先验，能够编码幅度平稳性和输入相关的lengthscale。我们证明了我们的新配方允许这些属性的解耦规范，估计的回归函数是一致的，因为观测的数量趋于无穷大。我们证明了它的行为合成和真实的例子。
2019-12-12 cs.LG stat.ML
Learning optimal Bayesian prior probabilities from data
无信息一致先验是贝叶斯推理的主要内容，特别是在贝叶斯机器学习中。这项研究挑战的假设，他们是最佳的，他们在贝叶斯推理的使用产生最佳结果。我们提出了一种基于机器学习的替代方法，而不是使用任意的无信息的统一先验，通过最大化感兴趣的目标函数从数据中学习最佳先验。应用朴素贝叶斯文本分类方法和为此研究开发的搜索算法，我们的系统使用阳性预测值度量作为目标函数从数据中学习先验。任务是找到没有（但应该）被归类在某些维基百科类别下的维基百科条目。我们使用不同的维基百科类别进行了五组实验。虽然基线模型使用流行的贝叶斯-拉普拉斯先验，但研究模型在使用它们之前分别学习每组实验的最佳先验。结果显示，研究模型始终优于基线模型，具有广泛的统计学显著性（p < 0.001）。该研究模型在基线上的测量性能改善高达443%，在五个维基百科类别上的平均值为193%。
2021-01-03 cs.LG stat.ML
Bayesian neural network unit priors and generalized Weibull-tail property
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；LJK（约瑟夫·傅立叶实验室）
贝叶斯神经网络和高斯过程之间的联系在过去的几年里得到了很多关注。当层宽趋于无穷大时，隐藏单元被证明遵循一个高斯过程极限。最近的研究表明，有限贝叶斯神经网络可能优于无限贝叶斯神经网络，因为它们灵活地调整其内部表示。为了给有限宽度神经网络的进一步研究奠定坚实的基础，我们的目标是研究隐含单元上的先验诱导。我们的主要结果是一个准确的描述隐藏单位的尾巴，这表明，单位先验成为更深的，由于广义威布尔尾的概念。这一发现揭示了有限贝叶斯神经网络的隐藏单元的行为。
2021-10-06 cs.LG stat.ML
Understanding Priors in Bayesian Neural Networks at the Unit Level
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立高等物理、数学与信息学院）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Andalusian Research Institute in Data Science and Computational Intelligence (DaSCI)（安达卢西亚数据科学与计算智能研究所）；University of Granada（格拉纳达大学）
我们研究了具有高斯权重先验和一类ReLU非线性的深度贝叶斯神经网络。众所周知，具有高斯先验的贝叶斯神经网络会引起L2，“权重衰减”，正则化。我们的研究结果表征了一个更复杂的正则化效应的水平上的单位激活。我们的主要结果建立了诱导先验分布的单位之前和之后的激活变得越来越重尾层的深度。我们发现，第一层单位是高斯，第二层单位是次指数，和单位在更深的层的特点是分韦布尔分布。我们的研究结果为深度贝叶斯神经网络提供了新的理论见解，并与模拟实验进行了验证。
2019-05-10 cs.LG stat.ML
Bayesian Transfer Reinforcement Learning with Prior Knowledge Rules
Athens University of Economics and Business（雅典经济与商业大学）
我们提出了一个概率框架，直接插入先验知识的强化学习（RL）算法定义的行为政策作为贝叶斯后验分布。这样的后验将任务特定信息与先验知识相结合，从而允许实现跨任务的迁移学习。所得到的方法是灵活的，它可以很容易地结合到任何标准的政策和政策上的算法，如那些基于时间差异和策略梯度。我们通过将先验知识表达为一般确定性规则来开发这种贝叶斯传输RL框架的具体实例，这些规则可以在各种各样的任务（例如导航任务）中使用。此外，我们详细阐述了最近的概率和熵正则化RL开发一种新的时间学习算法，并展示了如何将其与贝叶斯传输RL。最后，我们展示了我们的方法解决迷宫，并表明可以获得显着的速度提升。
2018-09-30 cs.LG stat.ML
Sample Complexity and Decision-Theoretic Guarantees for Bayesian Model Averaging over Decision Trees with Catalan-Exponential Priors
School of Computing and Engineering University of Bedfordshire, Luton, UK（计算与工程学院贝德福德郡大学，卢顿，英国）
针对具有Dirichlet-Multinomial叶模型和Catalan指数树大小先验的贝叶斯决策树，建立了理性承诺阈值的完整非渐近理论，回答了贝叶斯模型平均权重何时蕴含足够认知信息以证明对平均分布的承诺利用是合理的。
2026-06-02 cs.LG stat.ML
The Effect of Prior Lipschitz Continuity on the Adversarial Robustness of Bayesian Neural Networks
University of Oxford（牛津大学）；Oxford-Man Institute（牛津-曼学院）
机器学习模型对对抗性攻击具有鲁棒性是理想的，并且通常是必要的。贝叶斯模型尤其如此，因为它们非常适合安全关键型应用，在这些应用中，对抗性攻击可能会产生灾难性的后果。在这项工作中，我们深入研究了贝叶斯神经网络（BNN）的对抗鲁棒性。特别是，我们考虑BNN的对抗鲁棒性是否可以通过模型选择来增加，特别是由先验引起的Lipschitz连续性。对i.i.d.的案例进行深入分析，零均值高斯先验和后验近似通过平均场变分推断，我们发现证据表明，对抗鲁棒性确实是敏感的先验方差。
2021-01-07 cs.LG stat.ML
Exact marginal prior distributions of finite Bayesian neural networks
Harvard University（哈佛大学）
贝叶斯神经网络理论上仅在无限宽度限制下才被很好地理解，其中网络权重的高斯先验产生网络输出的高斯先验。最近的工作表明，有限贝叶斯网络可能优于他们的无限同行，但他们的非高斯函数空间先验的特点，只有通过微扰的方法。在这里，我们推导出精确的解决方案的函数空间先验的一类有限的全连接前馈贝叶斯神经网络的个人输入的例子。对于深度线性网络，先验知识有一个简单的Meijer $G$函数表达式。有限ReLU网络的先验是较小宽度的线性网络的先验的混合，对应于每层中不同数量的活动单元。我们的研究结果统一了以前的描述有限网络先验的尾部衰减和大宽度的行为。
2021-10-18 cond-mat.dis-nn cs.LG stat.ML
Regret bounds for meta Bayesian optimization with an unknown Gaussian process prior
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
贝叶斯优化通常假设贝叶斯先验是给定的。然而，在贝叶斯优化的强大的理论保证，往往是令人遗憾的是，在实践中，因为在先验的未知参数妥协。在本文中，我们采用了一种变体的经验贝叶斯，并表明，通过估计高斯过程之前从离线数据采样从相同的先验和构造无偏估计的后验，变体的GP-UCB和概率的改善实现了接近零的遗憾界，这减少到一个常数成比例的观测噪声的离线数据的数量和在线评估的数量增加。经验上，我们已经验证了我们的方法具有挑战性的模拟机器人问题的任务和运动规划。
2018-11-23 cs.AI cs.LG stat.ML
Specifying Weight Priors in Bayesian Deep Neural Networks with Empirical Bayes
Intel Labs（英特尔实验室）
贝叶斯深度神经网络（DNN）的随机变分推理需要指定神经网络权重的先验和近似后验分布。有意义的权重先验是一个具有挑战性的问题，特别是对于将变分推理扩展到涉及高维权重空间的更深体系结构。提出了一种基于DNN的经验贝叶斯先验模型（MOPED）方法，用于贝叶斯神经网络中先验权重的选择。我们制定了一个两阶段的分层建模，首先找到最大似然估计的权重DNN，然后设置权重先验经验贝叶斯方法推断后验变分推理。我们经验评估所提出的方法对现实世界的任务，包括图像分类，视频活动识别和音频分类与不同的复杂神经网络架构。我们还评估了我们提出的糖尿病视网膜病变诊断任务的方法和最先进的贝叶斯深度学习技术的基准。我们证明了MOPED方法可以实现可扩展的变分推理，并提供可靠的不确定性量化。
2019-12-28 cs.LG cs.NE stat.ML
The split Gibbs sampler revisited: improvements to its algorithmic structure and augmented target distribution
针对成像逆问题贝叶斯计算的挑战，提出结合光滑近似与增广松弛优势的ls SK-ROCK加速近端MCMC方法，将增广后验视为模型推广，通过随机优化寻最优松弛参数，提升了收敛速度与模型精度。
2023-05-03 stat.CO stat.ML
Flexible Bayesian Last Layer Models Using Implicit Priors and Diffusion Posterior Sampling
Columbia University（哥伦比亚大学）
本文针对贝叶斯最后一层模型高斯先验表达能力受限的问题，提出结合扩散技术与隐式先验的变分学习方法，通过扩散采样近似后验预测，在保证计算效率的同时提升模型精度、校准和分布外检测性能。
2024-08-07 cs.AI cs.LG stat.ML
Bayesian interpretation of periodograms
通常的非参数谱分析的方法是在正则化框架内重新审视。通常和加窗周期图作为正则化最小二乘准则的最小值的平方模获得。然后，特别注意他们的解释贝叶斯统计框架内。最后，无监督超参数和窗口选择的问题得到解决。结果表明，极大似然解在形式上是可实现的，在实际中也是有用的。
2009-08-22 stat.AP
Functional-prior-based approaches to Bayesian PDE-constrained inversion using physics-informed neural networks
Disaster Prevention Research Institute, Kyoto University（京都大学灾害预防研究所）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）
本文提出功能先验方法，用于贝叶斯偏微分方程约束反演，通过结合物理信息神经网络，引入功能先验以提高反演精度，并展示了两种互补方法：FPI-BPINN和fParVI-PINN，分别在权重空间和函数空间进行贝叶斯推断。
2026-08-14 cs.LG physics.comp-ph physics.geo-ph
Flexible and Hierarchical Prior for Bayesian Nonnegative Matrix Factorization
在本文中，我们介绍了一个概率模型学习非负矩阵分解（NMF），通常用于预测缺失值和发现隐藏模式的数据，其中矩阵因子是与每个数据维度相关的潜在变量。潜在因子的非负约束通过选择在非负子空间上具有支持度的先验来处理。贝叶斯推理过程的基础上吉布斯抽样。我们在几个真实世界的数据集上评估了该模型，包括具有不同大小和维度的MovieLens 100K和MovieLens 1M，并表明与现有的贝叶斯NMF方法相比，所提出的贝叶斯NMF GRRN模型可以实现更好的预测并避免过拟合。
2022-06-20 cs.IT cs.LG math.IT
Model Selection in Bayesian Neural Networks via Horseshoe Priors
贝叶斯神经网络（BNN）最近受到越来越多的关注，因为它们能够提供良好校准的后验不确定性。然而，模型选择-甚至选择节点的数量-仍然是一个悬而未决的问题。在这项工作中，我们将马蹄铁先验应用于贝叶斯神经网络的节点预激活，这有效地关闭了无助于解释数据的节点。我们证明了我们的先验知识可以防止BNN拟合不足，即使所需的节点数量被严重高估。此外，这种对节点数量的模型选择并不以牺牲预测或计算性能为代价;事实上，我们学习的是更小的网络，其预测性能与当前方法相当。
2017-05-29 stat.ML
An Equivalence between Bayesian Priors and Penalties in Variational Inference
Université Paris-Saclay（巴黎萨克雷大学）；Inria Saclay（法国国家信息与自动化研究所萨克雷分部）；Meta AI Research（元人工智能研究部门）
本文证明了变分推断中贝叶斯先验与正则化惩罚之间的等价性，给出了从惩罚计算先验的系统方法，并揭示了保持贝叶斯性质的约束条件。
2024-02-07 cs.LG math.ST stat.ML
Prior and Likelihood Choices for Bayesian Matrix Factorisation on Small Datasets
在本文中，我们研究了贝叶斯矩阵分解的不同先验和似然选择的影响，重点是小数据集。这些选择可以极大地影响方法的预测性能。我们确定了四组方法：高斯似然与实值先验，非负先验，半非负模型，最后泊松似然方法。对于每一组，我们回顾了文献中的几种模型，总共考虑了16种，并讨论了不同先验和矩阵范数之间的关系。我们在三个应用领域的八个真实数据集上广泛比较了这些方法，并进行了组间和组内比较。我们测量收敛运行时速度，交叉验证性能，稀疏和噪声预测性能，以及模型选择鲁棒性。我们提供了几个见解的先验和似然选择之间的权衡贝叶斯矩阵因式分解小数据集-如泊松模型给出差的预测，非负模型比实值的约束。
2017-12-01 stat.ML
Harold Jeffreys's Theory of Probability Revisited
Jeffreys的《概率论》（Theory of Probability，1939）发表于70年前，对贝叶斯社会产生了独特的影响，现在被认为是贝叶斯统计学的主要经典之一，也是客观贝叶斯学派的创始人。特别是，它在推导无信息先验以及贝叶斯因子缩放方面的进展对该领域产生了持久的影响。然而，这本书反映了当时的特点，特别是在数学严谨性方面。在本文中，我们指出了这个参考工作的基本方面，特别是彻底覆盖测试问题和建设的估计和测试noninformative先验函数分歧的基础上。我们在这里的主要目的是帮助现代读者在这个困难的文本中导航，并集中在今天仍然相关的段落。
2010-01-18 math.HO math.ST stat.TH
Bayesian Compressive Sensing Using Normal Product Priors
University of Electronic Science and Technology of China（电子科技大学）
在本文中，我们引入了一个新的稀疏促进先验，即“正常产品”的先验，并开发了一个有效的算法稀疏信号恢复贝叶斯框架下。正态乘积分布是两个均值为零且方差可能不同的正态分布变量的乘积的分布。与其他稀疏性鼓励分布（如学生$t$分布）一样，正态积分布在原点有一个尖峰，这使其成为鼓励稀疏解的合适先验。提出了一种基于正态产品的两阶段递阶模型。我们诉诸变分贝叶斯（VB）方法来执行推理。仿真结果表明，我们提出的算法相比，其他国家的最先进的压缩感知算法的有效性。
2017-08-24 cs.IT cs.LG math.IT
Bayesian decision-making under misspecified priors with applications to meta-learning
UC Berkeley（加州大学伯克利分校）；Columbia University（哥伦比亚大学）；Microsoft Research NYC（微软研究院纽约）；Massachusetts Institute of Technology（麻省理工学院）
汤普森采样和其他贝叶斯顺序决策算法是解决（上下文）强盗中探索/利用权衡的最流行方法之一。这些算法中先验的选择提供了对领域知识进行编码的灵活性，但当错误指定时也会导致性能不佳。在本文中，我们证明了性能下降优雅的错误。我们证明了汤普森采样（TS）与一个错误指定的先验知识的预期奖励相差最多$\tilde{\mathcal{O}}(H^2 ε)$从TS与一个良好指定的先验知识，其中$ε$是先验知识之间的总变差距离和$H$是学习视野。我们的界不要求先验具有任何参数形式。对于先验有界支持，我们的界是独立的基数或结构的行动空间，我们表明，它是紧到普遍常数在最坏的情况下。我们的敏感性分析的基础上，我们建立通用PAC保证算法在最近研究的贝叶斯元学习设置和推导推论的各种家庭的先验。我们的结果沿着两个轴进行推广：（1）它们适用于更广泛的贝叶斯决策算法家族，包括知识梯度算法（KG）的蒙特卡罗实现，（2）它们适用于贝叶斯POMDP，最一般的贝叶斯决策设置，包括上下文强盗作为特例。通过数值模拟，我们说明了如何事先错误指定和部署的一步前瞻（如在KG）可以影响的收敛元学习在多武装和上下文土匪结构和相关的先验。
2021-07-03 cs.LG math.ST stat.ML
Minimum Description Length Revisited
CWI；Leiden University（莱顿大学）；University of Helsinki（赫尔辛基大学）
这是对最小描述长度（MDL）原则的最新介绍和概述，这是一种归纳推理理论，可应用于统计，机器学习和模式识别中的一般问题。虽然MDL最初是基于数据压缩的思想，但这篇介绍可以在没有任何相关知识的情况下阅读。报告考虑到了自2007年以来的所有重大发展，2007年是上一次编写全面概述的时候。这些包括模型选择和平均和假设检验的新方法，以及{ \em MDL估计量}的第一个完全通用的定义。为了说明这些发展，MDL可以被看作是惩罚似然和贝叶斯方法的强大扩展，其中惩罚函数和先验分布被更一般的幸运函数取代，平均情况方法被更鲁棒的最坏情况方法取代，并且其中传统上被视为高度不同的方法，例如AIC与BIC和交叉验证与贝叶斯，在很大程度上，从统一的角度来看。
2019-12-18 cs.IT cs.LG math.IT
Prior-mean-assisted Bayesian optimization application on FRIB Front-End tunning
Facility for Rare Isotope Beams（稀有同位素束流装置）
由于贝叶斯优化算法具有较高的采样效率，常用于加速器的调谐。然而，在大数据集上训练的计算可扩展性可能是有问题的，并且以计算高效的方式采用历史数据并不是微不足道的。在这里，我们利用在历史数据上训练的神经网络模型作为FRIB前端调谐的BO的先验均值。
2022-11-11 cs.LG physics.acc-ph
Meta-Learning Conjugate Priors for Few-Shot Bayesian Optimization
Leiden Institute of Advanced Computer Science（莱顿高级计算机科学研究所）；Leiden University（莱顿大学）
贝叶斯优化（Bayesian Optimization）是统计建模中使用的一种方法，它利用高斯过程先验分布来迭代更新后验分布，使其接近数据的真实分布。找到无偏的信息先验样本是具有挑战性的，如果只有很少的数据，可以极大地影响后验分布的结果。在本文中，我们提出了一种新的方法，利用元学习自动估计的信息共轭先验分布给定的分布类。从这个过程中，我们生成的先验，只需要很少的数据来估计原始分布的数据的形状参数。
2021-01-03 cs.AI cs.LG
Quantification of observed prior and likelihood information in parametric Bayesian modeling
本文提出了两种与数据相关的信息度量来量化参数贝叶斯模型中先验和似然函数的信息，其中一种与Berger，Bernardo和Sun提出的参考先验和Lindley提出的信息度量密切相关.理论，经验和计算支持的组合提供的证据表明，这些信息理论指标可能是有用的诊断工具时，执行贝叶斯分析。
2017-09-07 cs.IT math.IT stat.AP
Variable fusion for Bayesian linear regression via spike-and-slab priors
在线性回归模型中，系数的融合用于识别与响应具有相似关系的预测因子。这就是所谓的可变融合。提出了一种基于贝叶斯线性回归模型的变量融合方法。我们专注于分层贝叶斯模型的基础上的尖峰和板坯事先的方法。一个尖峰和平板先验是定制的，以执行可变融合。为了获得参数的估计，我们开发了一个吉布斯采样器的参数。仿真研究和实际数据分析表明，我们提出的方法取得了更好的性能比以前的方法。
2020-12-02 stat.ME stat.ML
Beyond Uniform Priors in Bayesian Network Structure Learning
贝叶斯网络结构学习通常在贝叶斯设置中执行，使用给定数据集的后验概率评估候选结构。然后，基于分数的算法使用这些后验概率作为目标函数，并返回最大后验网络作为学习模型。对于离散贝叶斯网络，后验得分的规范选择是具有均匀（U）图先验的贝叶斯狄利克雷等效均匀（BDeu）边缘似然，其假设网络结构和网络参数都具有均匀先验。在本文中，我们调查这些假设所产生的问题，专注于小样本量和稀疏数据所造成的问题。然后，我们提出了一种替代后验分数：贝叶斯狄利克雷稀疏（BD）边缘似然与边缘均匀（MU）图先验。与U+BDeu一样，MU+ BD不需要任何关于数据概率结构的先验信息，可以用作替代非信息性得分。我们研究了它的理论特性，并在广泛的模拟研究中评估了它的性能，结果表明MU+ BD在学习网络结构方面比U+BDeu更准确，在预测功率方面也更有竞争力，同时计算上并不复杂。
2017-04-12 stat.ME stat.ML
Comparison between Suitable Priors for Additive Bayesian Networks
加性贝叶斯网络是一种图形模型，它通过对基础变量的联合概率分布进行因子分解，将通常的贝叶斯广义线性模型扩展到多个因变量。在拟合ABN模型时，参数先验的选择至关重要。如果使用不充分的先验--如信息量太弱的先验--数据分离和数据稀疏会导致模型选择过程中的问题。在这项工作中，两个弱和一个强信息先验之间的模拟研究。作为弱信息先验，我们使用具有大方差的零均值高斯先验，目前在R包abn中实现。第二个先验属于学生t分布，专门为逻辑斯谛回归设计，最后，强信息先验再次是高斯分布，平均值等于真实参数值且方差较小。我们比较了这些先验知识对学习的加性贝叶斯网络在不同参数下的准确性的影响。我们创建了一个模拟研究来说明林德利的悖论的基础上的优先选择。然后，我们的结论是突出了良好的性能的信息学生的t先验和有限的影响林德利悖论。最后，对今后的发展提出了建议。
2018-09-18 stat.AP stat.ME stat.ML
Bayesian high-dimensional linear regression with generic spike-and-slab priors
Spike-and-slab先验是高维线性回归问题的常用贝叶斯解。以往的spike-and-slab方法的理论研究主要集中在特定的先验公式上，使用先验相关的条件和分析，因此不能直接推广。在本文中，我们提出了一类通用的尖峰和板先验，并制定了一个统一的框架，严格评估其理论性质。从技术上讲，我们提供了一般的条件下，通用的尖峰和板先验可以实现接近最优的后验收缩率和模型选择的一致性。我们的结果包括Narisetty和He（2014）和Castillo等人的结果。（2015）作为特例。
2020-02-12 math.ST stat.ME stat.ML
A note on Bayesian convergence rates under local prior support conditions
贝叶斯后收敛速度的界限，假设先验满足局部和全局支持条件，现在很容易获得。在本文中，我们探讨，在密度估计的背景下，贝叶斯收敛速度假设只有当地的先验支持条件。我们的研究结果给出了最优利率在最小条件下使用非常简单的参数。
2013-12-24 math.ST stat.TH
Bayesian Fused Lasso Modeling via Horseshoe Prior
贝叶斯融合套索方法是一种稀疏贝叶斯方法，它同时收缩回归系数和它们的连续差。在本文中，我们提出了一个贝叶斯融合套索模型通过马蹄先验。通过假设连续回归系数的差异具有马蹄形先验，所提出的方法使我们能够防止这些差异的过度收缩。我们还提出了一个贝叶斯六边形算子的回归收缩和平等的选择（HORSES）与马蹄事先，它对所有组合的差异回归系数的先验。仿真研究和实际数据的应用表明，所提出的方法比现有的方法有更好的性能。
2022-01-20 stat.ME
Shrinkage priors for nonparametric Bayesian prediction of nonhomogeneous Poisson processes
研究强度函数未知的非齐次泊松过程模型的非参数贝叶斯估计和预测问题。我们提出了一类强度函数的非正常先验。非参数贝叶斯推理与核混合的基础上类不当的先验被证明是有用的，虽然不当的先验还没有被广泛用于非参数贝叶斯问题。与有限维独立泊松模型相应的几个定理对具有无限维参数空间的非齐次泊松过程模型也成立。在Kullback-Leibler损失下证明了基于不适当先验的贝叶斯估计和预测是可容许的。研究了基于先验信息的贝叶斯推理的数值方法。
2021-05-08 math.ST stat.TH
Bayesian Multiplicity Correction in the Probabilistic Forward Stepwise Framework
Department of Mathematics and Statistics, Portland State University（波特兰州立大学数学与统计系）
本文在回归问题的概率前向逐步模型空间先验表示中，提出一种自然的贝叶斯多重校正先验分布，通过类比Holm过程实现，并与Matryoshka doll先验行为一致，论证了多重校正为回归模型空间先验设定提供了原则性且透明的标准。
2026-05-27 math.ST stat.ME stat.ML
Bayesian Selective Inference: Non-informative Priors
我们讨论贝叶斯推断的参数选择使用的数据。首先，我们提供了一个批判性的分析，在文献中的正确的贝叶斯方法下选择的现有位置。其次，我们提出了两种类型的选择模型的非信息先验。这些先验可用于在没有先验信息的情况下产生后验分布，以及为所选参数提供良好校准的频率论推断。我们在几种情况下测试所提出的先验经验。
2021-05-11 math.ST stat.TH
Generalized Cumulative Shrinkage Process Priors with Applications to Sparse Bayesian Factor Analysis
本文讨论了收缩先验的参数序列中施加不断增加的收缩。我们回顾了Legramanti等人（2020）的累积收缩过程（CUSP）先验，这是一种尖峰和平板收缩先验，其中尖峰概率随机增加，并从Dirichlet过程先验的棒断裂表示构建。作为第一个贡献，这个CUSP先验扩展到任意棒断裂表示所产生的β分布。作为第二个贡献，我们证明了可交换的尖峰和板先验，这是流行和广泛使用的稀疏贝叶斯因子分析，可以表示为有限的广义CUSP先验，这是很容易从板概率的下降顺序统计量。因此，可交换钉和板收缩先验意味着增加收缩的列索引在加载矩阵中的增加，而不施加显式的顺序约束的板的概率。稀疏贝叶斯因子分析的应用程序说明了本文的研究结果的有用性。介绍了一种新的基于Cadonna等人（2020）的三重伽马先验的可交换钉板收缩先验，并证明其有助于估计模拟研究中未知数量的因素。
2023-03-01 econ.EM stat.CO stat.ME
Shrinkage priors for Bayesian prediction
我们研究收缩先验构造贝叶斯预测分布。证明了当模型流形满足一定的微分几何条件时，基于Jeffreys先验或其它Vague先验，存在收缩预测分布渐近优于贝叶斯预测分布.从真实分布到预测分布的Kullback-Leibler偏差被采用作为损失函数。引入了模型流形对应于Vague先验的共形变换。我们展示了几个例子，收缩预测分布占主导地位的贝叶斯预测分布的基础上模糊的先验。
2006-07-01 math.ST stat.TH
Optimal Robustness Results for Some Bayesian Procedures and the Relationship to Prior-Data Conflict
基于统计证据的措施的贝叶斯推理程序的先验的鲁棒性被认为是。这些推论被证明具有最佳性能的鲁棒性。此外，鲁棒性和先验数据冲突之间的联系建立。特别是，推理被证明是有效的鲁棒性时，先验的选择不会导致先验数据冲突。然而，当存在先验数据冲突时，鲁棒性可能无法保持。
2015-04-27 math.ST stat.TH
Anatomically informed Bayesian spatial priors for fMRI analysis
现有的贝叶斯空间先验的功能性磁共振成像（fMRI）数据对应于静态各向同性平滑滤波器，可能过度平滑解剖边界。我们提出了两个解剖学上知情的贝叶斯空间模型的功能磁共振成像数据与局部平滑的基础上，从T1加权的解剖图像估计的张量场在每个体素。我们表明，我们的解剖学上知情的贝叶斯空间模型的结果在后验概率地图，遵循解剖结构。
2019-10-18 eess.IV q-bio.NC stat.ME
Singular Value Shrinkage Priors for Bayesian Prediction
在已知协方差阵的矩阵变量正态模型中，我们建立了均值矩阵参数的奇异值收缩先验。我们的先验是超调和的，并且对具有较小奇异值的矩阵赋予更多权重。它们是Stein先验的自然推广。在有限样本下，基于先验的贝叶斯估计和贝叶斯预测密度是极大极小的，并且优于基于一致先验的估计和贝叶斯预测密度。特别是，当参数的真实值具有低秩时，我们的先验工作得很好。
2021-04-02 math.ST stat.TH
Bayesian inference under small sample size -- A noninformative prior approach
本文提出了一种适用于小样本、稀疏数据问题的贝叶斯推断方法。提出了一种一般的先验（$\propto 1/σ^{q}$），用于小样本量下的贝叶斯后验推理问题。它表明，这种类型的先验可以代表广泛的先验，如经典的无信息先验和渐近局部不变的先验。它进一步表明，在这项研究中，这样的先验可以推导出的正态-逆-伽玛共轭先验的极限状态，允许贝叶斯后验和预测的分析评估。在小样本量条件下，利用全局似然法比较了不同无信息先验的性能。采用拉普拉斯近似的方法来估计全局似然。数值线性回归问题和实际的疲劳可靠性问题被用来证明该方法和确定最佳的无信息先验。结果表明，使用Jeffreys的先验的预测优于其他人。在小样本量条件下，证明了无信息贝叶斯估计量优于常规最小二乘估计量。
2020-10-13 stat.AP stat.ME
A Hadamard fractioal total variation-Gaussian (HFTG) prior for Bayesian inverse problems
研究了基于Hadamard分数全变差-高斯（HFTG）先验的无穷维贝叶斯反问题推理方法。首先，建立了Hadamard分式索伯列夫空间，并在一定条件下证明了它是可分的巴拿赫空间.然后，在该可分分数维空间中构造HFTG先验，该混合先验不仅能捕捉到区域的纹理细节，避免了阶跃效应，而且为无限维贝叶斯反演提供了完整的理论分析.基于HFTG先验，给出了贝叶斯反问题后验测度的适定性和有限维近似，并利用标准pCN算法从后验分布中提取样本.最后，不同模型下的数值结果表明，HFTG先验贝叶斯推理方法是有效的和准确的。
2021-10-29 math-ph math.MP math.ST
On default priors for robust Bayesian estimation with divergences
本文提出了基于分歧的抗野值贝叶斯估计的客观先验。最小$γ$ -散度估计是众所周知的工作，以及对严重污染的估计。近年来，基于分歧的准后验分布的稳健贝叶斯方法也被提出。在客观贝叶斯框架下，在这种准后验分布下，违约先验分布的选择是一个重要问题。本文基于$γ$ -散度，给出了准后验分布下参考先验和矩匹配先验的一些性质。特别是，我们表明，所提出的先验近似鲁棒的污染分布的条件下，不假设任何条件的污染率。一些模拟研究也被提出。
2020-12-18 stat.ME
Informative extended Mallows priors in the Bayesian Mallows model
这项工作的目的是研究马洛斯模型与斯皮尔曼的距离，一个流行的基于距离的排名或排列数据模型的先验启发的问题。以往的贝叶斯推断，这种模型已被限制到使用的统一先验空间的排列。我们提出了一种新的策略，以引起主观先验信念的位置参数的模型，讨论超参数的解释和先验选择的后验分析的含义。
2019-01-30 stat.ME
Asymptotically minimax Bayesian predictive densities for multinomial models
考虑了多项模型的一步预测。预测密度的性能通过从真实密度到预测密度的平均Kullback-Leibler散度来评估。得到了基于Dirichlet先验的贝叶斯预测密度的风险函数的渐近逼近。证明了基于特定Dirichlet先验的贝叶斯预测密度是渐近极小极大的。渐近极大极小先验不同于已知的客观先验，如Jeffreys先验或一致先验。
2011-12-05 math.ST stat.TH
Grouping Priors and the Bayesian Elastic Net
在贝叶斯惩罚回归的文献中，回归系数的先验分布的两个主要选择是零均值高斯和拉普拉斯。虽然这两种方法都在数字和理论上进行了比较，但在现实生活中使用的指导仍然很少。我们提出了两个可行的解决方案，这个问题的先验分布的形式结合和拉普拉斯和高斯先验之间的妥协，分别。通过交叉验证，自动选择优化预测性能的先验。然后，我们证明了这些新的先验分布相对于拉普拉斯和高斯先验在模拟和实验环境中的改进性能。
2010-01-22 stat.ME
Bayesian Elastic Net Regression with Structured Prior Dependence
The Ohio State University（俄亥俄州立大学）
本文提出了一种具有结构先验依赖的贝叶斯弹性网回归方法，通过正交正态分布和L1正则化g先验提升模型灵活性，并通过模拟和实验验证其有效性。
2025-12-31 stat.ME
Bayesian Fusion Estimation via t-Shrinkage
收缩先验在许多数据分析中取得了很大的成功，但其应用主要集中在稀疏参数的贝叶斯建模。在这项工作中，我们将贝叶斯收缩模型的高维参数，拥有一个未知的块结构。我们建议在此之前进行重尾收缩，例如，$t$先验，并且这样的融合先验将使连续的差异朝向零收缩，因此引起后阻滞。与传统的基于Laplace融合先验的贝叶斯融合套索算法相比，$t$融合先验具有更强的收缩效应和良好的后验一致性。仿真研究和实际数据分析表明，$t$融合具有优于频率论融合估计和贝叶斯拉普拉斯融合先验的性能。将这种$t$融合策略进一步发展，进行贝叶斯聚类分析，仿真结果表明，该算法比经典Dirichlet过程建模具有更好的后验分布收敛性。
2018-12-27 stat.ME
