PAC-Bayesian Generalization Bounds for MultiLayer Perceptrons
University of Delaware（特拉华大学）
研究了交叉熵损失下多层感知器的PAC-Bayes推广界。首先，我们从两个方面对MLP问题进行了概率解释：（i）MLP问题形成了一个Gibbs分布族;（ii）MLP问题的交叉熵损失最小化等价于贝叶斯变分推理，这为研究MLP问题的PAC-Bayesian界奠定了坚实的概率基础。基于证据下界（ELBO），证明了具有交叉熵损失的MLP本质上保证了PAC-Bayesian泛化界，并且最小化MLP的PAC-Bayesian泛化界等价于最大化ELBO.最后，我们在基准数据集上验证了所提出的PAC-Bayesian泛化界。
2020-06-17 cs.LG stat.ML
Self-Correcting Bayesian Optimization through Bayesian Active Learning
Lund University（隆德大学）；University of Freiburg（弗莱堡大学）；Stanford University（斯坦福大学）；DBtune
提出SAL和SCoreBO两种采集函数，通过贝叶斯主动学习优化高斯过程超参数，在主动学习和贝叶斯优化任务中超越现有方法。
2024-02-15 cs.LG stat.ML
Is Bayesian Model-Agnostic Meta Learning Better than Model-Agnostic Meta Learning, Provably?
Rensselaer Polytechnic Institute（伦斯勒理工学院）
元学习的目标是学习一个能够快速适应看不见的任务的模型。广泛使用的元学习方法包括模型不可知元学习（MAML）、隐式MAML、贝叶斯MAML。由于其建模不确定性的能力，贝叶斯MAML往往具有优越的经验性能。然而，对贝叶斯MAML的理论理解仍然有限，特别是在贝叶斯MAML是否以及何时具有比MAML更好的性能等问题上。在本文中，我们的目的是提供理论上的理由贝叶斯MAML的优势性能比较MAML和贝叶斯MAML的Meta测试风险。在Meta线性回归中，在分布不可知和线性质心的情况下，我们已经建立了贝叶斯MAML确实具有可证明的较低的Meta测试风险比MAML。我们通过实验验证了我们的理论结果。
2022-03-06 cs.LG stat.ML
Bayesian--AI Fusion for Epidemiological Decision Making: Calibrated Risk, Honest Uncertainty, and Hyperparameter Intelligence
Department of Statistics, Visva–Bharati University（统计系，维萨-巴哈蒂大学）；S. N. Bose National Centre for Basic Sciences（S. N. Bose基础科学国家中心）
针对流行病学AI模型不确定性校准不足、贝叶斯方法难与现有AI工作流整合的问题，本文提出融合贝叶斯预测与贝叶斯超参数优化的双层框架，经多数据集验证可输出校准风险、优化模型性能，支撑流行病学决策。
2025-11-15 cs.LG stat.ML
PAC-Bayesian Policy Evaluation for Reinforcement Learning
McGill University（麦吉尔大学）；University of Alberta（阿尔伯塔大学）
贝叶斯先验提供了一种紧凑而通用的方法，将领域知识纳入许多学习任务。然而，贝叶斯分析和推理的正确性在很大程度上取决于这些先验的准确性和正确性。PAC-Bayesian方法通过提供与先验分布的正确性无关的界限来克服这个问题。针对具有函数逼近的批量强化学习问题，给出了PAC-Bayesian第一界。我们展示了如何使用此界限在迁移学习场景中执行模型选择。我们的实证结果证实，PAC贝叶斯政策评估是能够利用先验分布时，他们是翔实的，不像标准的贝叶斯RL方法，忽略他们时，他们是误导。
2012-02-14 cs.LG stat.ML
Priors in Bayesian Deep Learning: A Review
ETH Zürich（苏黎世联邦理工学院）
虽然先验的选择是贝叶斯推断工作流程中最关键的部分之一，但最近的贝叶斯深度学习模型往往依赖于模糊的先验，例如标准高斯。在这篇综述中，我们强调了贝叶斯深度学习先验选择的重要性，并概述了（深度）高斯过程，变分自编码器和贝叶斯神经网络提出的不同先验。我们还概述了从数据中学习这些模型的先验知识的不同方法。我们希望激励贝叶斯深度学习的从业者更仔细地思考他们模型的先验规范，并在这方面为他们提供一些启发。
2022-03-18 cs.LG stat.ML
Bayesian Discovery of Multiple Bayesian Networks via Transfer Learning
University of New Mexico（新墨西哥大学）；Google, Inc（谷歌公司）
具有有限数据的贝叶斯网络结构学习算法正用于系统生物学和神经科学等领域，以深入了解产生观测数据的底层过程。从有限的数据中学习可靠的网络是困难的，因此迁移学习可以通过利用来自相关任务的数据来提高学习网络的鲁棒性。现有的贝叶斯网络结构学习的迁移学习算法给出了一个单一的最大后验估计的网络模型。然而，许多其他模型可能同样可能，因此贝叶斯结构发现提供了更多信息的结果。贝叶斯结构发现算法估计诸如边缘的结构特征的后验概率。我们提出了贝叶斯结构发现的迁移学习，它允许我们探索相关任务之间共享和独特的结构特征。有效的计算要求我们将学习的客观因素转移到本地计算中，我们证明了这是由广泛的转移偏差。从理论上讲，我们证明了我们的方法的效率。从经验上讲，我们表明，与单任务学习相比，迁移学习能够更好地积极识别真正的边缘。我们将该方法应用于全脑神经成像数据。
2013-07-09 cs.LG stat.ML
Measuring Uncertainty through Bayesian Learning of Deep Neural Network Structure
Tsinghua University（清华大学）
贝叶斯神经网络（BNN）通过贝叶斯处理网络权重来增强具有不确定性量化的深度网络。然而，这样的模型面临的挑战，贝叶斯推理在一个高维的，通常过参数化的空间。本文通过对网络结构进行贝叶斯推理来研究贝叶斯深度学习的一条新路线。我们不是从零开始低效地构建结构，而是从神经架构搜索中获得灵感来表示网络结构。然后，我们开发了一个有效的随机变分推理方法，它统一了网络结构和权重的学习。从经验上讲，我们的方法表现出有竞争力的预测性能，同时保留了贝叶斯原理在具有挑战性的场景中的优势。我们还提供了令人信服的实验理由，我们的建模选择。
2021-03-27 cs.LG stat.ML
Bayesian Perceptron: Towards fully Bayesian Neural Networks
University of Stuttgart（斯图加特大学）；Fraunhofer Institute for Manufacturing Engineering and Automation IPA（弗劳恩霍夫制造工程与自动化研究所）
人工神经网络（NN）已经成为机器学习中事实上的标准。它们允许在大量应用中学习高度非线性变换。然而，NN通常仅提供点估计，而没有系统地量化相应的不确定性。在本文中，提出了一种新的方法对完全贝叶斯神经网络，训练和预测的感知器内的贝叶斯推断框架内的封闭形式。感知器的权重和预测被认为是高斯随机变量。为常用的激活函数（如sigmoid或ReLU）提供了用于预测感知器输出和学习权重的分析表达式。这种方法不需要计算上昂贵的梯度计算，并进一步允许顺序学习。
2020-09-10 cs.LG stat.ML
Safe Imitation Learning via Fast Bayesian Reward Inference from Preferences
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Applied Research Laboratories, The University of Texas at Austin（德克萨斯大学奥斯汀分校应用研究实验室）
通过演示进行贝叶斯奖励示教学习，可在执行模仿学习时进行严格的安全性和不确定性分析。然而，贝叶斯奖励学习方法对于复杂的控制问题通常是计算上难以处理的。我们提出了贝叶斯奖励外推（贝叶斯REX），一个高效的贝叶斯奖励学习算法，规模高维模仿学习的问题，通过预训练低维特征编码通过自我监督的任务，然后利用偏好的演示，以执行快速贝叶斯推理。Bayesian REX可以从演示中学习玩Atari游戏，而无需访问游戏分数，并且可以在个人笔记本电脑上仅用5分钟就从奖励函数中生成100，000个样本。贝叶斯REX还导致模仿学习性能与仅学习奖励函数的点估计的最新方法竞争或更好。最后，Bayesian REX能够在不访问奖励函数样本的情况下进行高效的高置信度策略评估。这些高置信度性能界限可用于对各种评估策略的性能和风险进行排名，并提供一种检测奖励投机行为的方法。
2020-12-17 cs.LG stat.ML
Local Nonstationarity for Efficient Bayesian Optimization
Centro Universitario de la Defensa（国防大学中心）
贝叶斯优化已被证明是一个基本的全局优化算法在许多应用中：从自动机器学习，机器人，强化学习，实验设计，仿真等最流行和有效的贝叶斯优化依赖于一个代理模型的形式，高斯过程，由于其灵活性，以代表一个先验函数。然而，许多算法和设置依赖于高斯过程的平稳性假设。在本文中，我们提出了一种新的非平稳贝叶斯优化策略，能够在静态和非平稳问题中超越贝叶斯优化的最新技术水平。
2015-06-05 cs.LG stat.ML
Bayesian Computation in Deep Learning
Imperial College London（伦敦帝国学院）；Purdue University（普渡大学）
本章综述SG-MCMC与VI两类近似贝叶斯计算方法，介绍其在贝叶斯神经网络和深度生成模型中的后验推理挑战及解决方案。
2025-10-19 cs.LG stat.ML
Bayesian Model Averaging Using the k-best Bayesian Network Structures
Iowa State University（爱荷华州立大学）
我们研究了从数据中学习贝叶斯网络结构的问题。我们开发了一个算法来寻找k-最好的贝叶斯网络结构。我们建议通过贝叶斯模型在k-best贝叶斯网络上平均来计算感兴趣的假设的后验概率。我们提出的实证结果结构发现几个真实的和合成数据集，并表明该方法优于模型选择方法和最先进的MCMC方法。
2012-03-15 cs.AI cs.LG stat.ML
The Relevance of Bayesian Layer Positioning to Model Uncertainty in Deep Bayesian Active Learning
Stanford University（斯坦福大学）；NVIDIA（英伟达）
深度学习工具的主要挑战之一是它们无法捕捉模型的不确定性。虽然贝叶斯深度学习可以用来解决这个问题，但贝叶斯神经网络通常需要比确定性网络更多的时间和计算能力来进行训练。我们的工作探讨是否需要完全贝叶斯网络来成功地捕捉模型的不确定性。我们改变贝叶斯层在网络中的数量和位置，并将它们在主动学习上的性能与MNIST数据集进行比较。我们发现，我们可以充分捕捉模型的不确定性，只需使用几个贝叶斯层附近的网络输出，结合确定性和贝叶斯网络的优势。
2018-11-29 cs.AI cs.LG stat.ML
A Bayesian Approach to Learning Bayesian Networks with Local Structure
Microsoft Research（微软研究院）
最近，一些研究人员研究了使用数据来学习贝叶斯网络的技术，该网络包含存储在每个节点处的条件概率分布（CPD）的紧凑表示。这项工作的大部分集中在使用决策树表示的CPD。此外，研究人员通常应用非贝叶斯（或渐近贝叶斯）评分函数（如MDL）来评估网络对数据的拟合优度。在本文中，我们研究了贝叶斯方法来学习贝叶斯网络，包含更一般的决策图表示的CPD。首先，我们描述了如何评估后验概率，也就是这样一个网络的贝叶斯得分，给定一个数据库的观察情况。其次，我们描述了各种搜索空间，可以使用，结合评分函数和搜索过程，以确定一个或多个高分网络。最后，我们提出了一个实验评估的搜索空间，使用贪心算法和贝叶斯评分函数。
2015-05-16 cs.AI cs.LG stat.ML
Comments on: "Hybrid Semiparametric Bayesian Networks"
Istituto Dalle Molle di Studi sull’Intelligenza Artificiale (IDSIA)（达莱莫勒人工智能研究所（IDSIA））
邀请讨论David Atienza，Pedro Larranaga和Concha Bielza的论文“混合半参数贝叶斯网络”（TEST，2022）。
2022-05-12 cs.LG stat.ME stat.ML
A Generalization of Amari's Bayesian Duality
RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）；Technische Universität Darmstadt（达姆施塔特工业大学）；The Hessian Center for Artificial Intelligence（黑森人工智能中心）
本文通过连接Amari贝叶斯对偶性与贝叶斯规则的凸对偶性，提出其推广形式，并探讨对现代AI的意义。
2026-09-09 cs.AI cs.LG stat.ML
A Note on Bayesian Networks with Latent Root Variables
IDSIA（伊迪西亚研究所）
本文研究含潜在根变量的贝叶斯网络，提出经验贝叶斯网络概念，并证明原始模型似然受经验模型全局最大值支配且一致性条件等价。
2024-02-26 cs.AI cs.LG stat.ML
Bayesian Outdoor Defect Detection
University of Hong Kong（香港大学）
我们引入贝叶斯缺陷检测器，以促进粗糙纹理表面上的运动模糊图像的缺陷检测。为了提高贝叶斯检测去除非缺陷像素的准确性，我们开发了一类反射非局部先验分布，这是通过使用分布的模式减去其密度构造的。反射的非局部先验迫使贝叶斯检测器在非缺陷位置处接近0。我们进行了实验研究，以证明贝叶斯检测器在消除非缺陷点的优越性能。我们在运动模糊的无人机图像中实现了贝叶斯检测器，其中检测器成功地识别了粗糙表面上的冰雹损坏，并大大提高了整个缺陷检测流水线的准确性。
2018-08-30 cs.CV cs.LG stat.ML
New Heuristics for Parallel and Scalable Bayesian Optimization
Center for Theoretical Neuroscience（理论神经科学中心）；Columbia University（哥伦比亚大学）
贝叶斯优化已成为一个强大的候选工具，为全球优化的功能与昂贵的评价成本。然而，由于贝叶斯方法研究的动态性质，以及计算技术的发展，在并行计算环境中使用贝叶斯优化对于非专家来说仍然是一个挑战。在这份报告中，我回顾了最先进的并行和可扩展的贝叶斯优化方法。此外，我还提出了一些实用的方法来避免贝叶斯优化的一些陷阱，如边缘参数的过采样和高性能参数的过度利用。最后，我提供了相对简单的启发式算法，以及它们的开源软件实现，这些算法可以立即轻松地部署在任何计算环境中。
2018-08-23 cs.LG stat.AP stat.ML
Multiple Adaptive Bayesian Linear Regression for Scalable Bayesian Optimization with Warm Start
贝叶斯优化（BO）是一种基于模型的无梯度黑箱函数优化方法。通常，BO由高斯过程（GP）驱动，其算法复杂度是评估数量的立方。因此，基于GP的BO不能利用大量的过去或相关的函数评估，例如，来热启动BO过程。我们开发了一个多自适应贝叶斯线性回归模型作为一个可扩展的替代方案，其复杂性是线性的观察。多个贝叶斯线性回归模型通过共享的前馈神经网络耦合，该前馈神经网络学习联合表示并跨机器学习问题传递知识。
2017-12-08 stat.ML
Bayesian Screening: Multi-test Bayesian Optimization Applied to in silico Material Screening
我们提出了新的多测试贝叶斯优化模型和算法，用于大规模的材料筛选应用。我们的筛选问题是围绕两个测试设计的，一个昂贵，一个便宜。本文不同于其他最近的工作多测试贝叶斯优化通过使用一个灵活的模型，允许复杂的，非线性关系之间的廉价和昂贵的测试成绩。这种额外的建模灵活性在我们描述的材料筛选应用中是必不可少的。我们证明了我们的新算法的力量，一个家庭的合成玩具问题，以及从两个大规模的筛选研究的真实数据。
2020-09-11 cs.LG math.OC stat.AP
Bayesian Reconstruction of Missing Observations
本文重点研究了一种基于贝叶斯重建的插值方法。在标准插值方法中，缺失数据是确定性插值的，而在贝叶斯重建中，缺失数据是使用贝叶斯处理概率性插值的。在本文中，我们将讨论贝叶斯重建的框架和它的应用在交通工程领域的交通数据重建问题。在本文的后半部分，我们描述了我们的贝叶斯流量重建模型的统计性能的评估，使用统计机械的方法，并澄清其统计行为。
2015-03-26 stat.ML
Exploiting gradients and Hessians in Bayesian optimization and Bayesian quadrature
机器学习研究的一个令人兴奋的分支集中在学习，优化和集成未知函数的方法上，这些方法很难或昂贵地进行评估。一个流行的贝叶斯方法来解决这个问题使用高斯过程（GP），以构建一个后验分布的功能的利益，给定一组观察到的测量，并选择新的点来评估使用这个后验的统计。在这里，我们将这些方法扩展到利用未知函数的导数信息。我们描述了贝叶斯优化（BO）和贝叶斯求积（BQ）的方法，其中一阶和二阶导数可以与函数本身一起评估。我们进行基于采样的推理，以纳入超参数的不确定性，并表明超参数和功能的不确定性降低得更快，当使用导数信息。此外，我们介绍了技术，克服病态的问题，困扰早期的方法梯度增强高斯过程和克里金。我们说明了这些方法的有效性，使用实际和模拟的贝叶斯优化和正交问题的应用程序，并表明，开发衍生工具可以提供大量的收益超过标准方法。
2018-03-29 stat.ML
Big Learning with Bayesian Methods
Tsinghua University（清华大学）
数据的爆炸式增长和廉价计算资源的可用性引发了人们对大学习的兴趣，大学习是一个新兴的子领域，研究可扩展的机器学习算法，系统和大数据应用。贝叶斯方法代表了机器学习的一类重要的统计方法，在自适应、灵活和可扩展的贝叶斯学习方面有了很大的发展。本文综述了大规模贝叶斯学习的最新进展，包括用于自适应推断模型复杂性的非参数贝叶斯方法、通过后验正则化提高灵活性的正则化贝叶斯推理，以及用于处理大规模应用的基于随机子采样和分布式计算的可扩展算法和系统。
2017-03-01 cs.LG stat.AP stat.CO
ZhuSuan: A Library for Bayesian Deep Learning
Tsinghua University（清华大学）；University of Toronto（多伦多大学）
在本文中，我们介绍了用于贝叶斯深度学习的Python概率编程库ZhuSuan，它结合了贝叶斯方法和深度学习的互补优势。ZhuSuan基于Tensorflow构建。与现有的深度学习库主要针对确定性神经网络和监督任务而设计不同，ZhuSuan的特点是它深深植根于贝叶斯推断，从而支持各种概率模型，包括传统的分层贝叶斯模型和最近的深度生成模型。我们使用运行的例子来说明竹算上的概率规划，包括贝叶斯逻辑斯谛回归，变分自动编码器，深度sigmoid信念网络和贝叶斯递归神经网络。
2017-09-18 cs.AI cs.LG cs.NE
BayesPy: Variational Bayesian Inference in Python
BayesPy是一个开源Python软件包，用于执行变分贝叶斯推断。它基于变分消息传递框架，支持共轭指数族模型。通过消除实现变分贝叶斯更新方程的繁琐任务，用户可以更快地构建模型，并且不易出错。简单的语法，灵活的模型构造和高效的推理使BayesPy适合普通和专家贝叶斯用户。它还支持一些先进的方法，如随机和崩溃的变分推断。
2015-06-05 stat.CO stat.ML
A Kernel Approach to Tractable Bayesian Nonparametrics
流行的非参数贝叶斯模型中的推断通常依赖于采样或其他近似。本文提出了一个一般的方法来构造新的易处理的非参数贝叶斯方法，通过应用核技巧的推断参数贝叶斯模型。例如，可以从贝叶斯线性回归以这种方式导出高斯过程回归。尽管高斯过程框架取得了成功，但在贝叶斯文献中很少明确考虑内核技巧。在本文中，我们的目标是填补这一空白，并展示了在更广泛的背景下，而不仅仅是回归，将内核技巧应用于易于处理的贝叶斯参数模型的潜力。作为一个例子，我们提出了一个直观的贝叶斯核机的密度估计，是通过应用核技巧高斯生成模型在特征空间。
2011-08-12 stat.ME stat.ML
SOBER: Highly Parallel Bayesian Optimization and Bayesian Quadrature over Discrete and Mixed Spaces
University of Oxford（牛津大学）
SOBER通过将批量全局优化重构为求积问题，把非凸采集函数最大化松弛为凸核重组，从而在离散与混合空间上实现可扩展、多样化的并行贝叶斯优化与求积，并在12项任务上超越11个基线。
2023-07-05 cs.LG cs.NA math.NA
On the Differential Privacy of Bayesian Inference
The University of Melbourne（墨尔本大学）；Univ-Lille-3（里尔第三大学）；Chalmers University of Technology（查尔姆斯理工大学）
我们研究了如何将贝叶斯推理的结果传达给第三方，同时保持差分隐私的强有力保证。我们的主要贡献是概率图模型上的私有贝叶斯推理的四种不同算法。这些包括两种机制，用于将噪声添加到贝叶斯更新，或者直接添加到后验参数，或者添加到其傅立叶变换，以保持更新一致性。我们还利用最近推出的后验抽样机制，我们证明了离散贝叶斯网络的具体但一般情况下的界限，我们引入了最大后验私有机制。我们的分析包括效用和隐私边界，一个新的重点是图结构对隐私的影响。工作的例子和实验与贝叶斯朴素贝叶斯和贝叶斯线性回归说明我们的机制的应用。
2015-12-22 cs.AI cs.CR cs.LG
Bayesian structure learning and sampling of Bayesian networks with the R package BiDAG
R包BiDAG实现了马尔可夫链蒙特卡罗（MCMC）方法，用于贝叶斯网络的结构学习和采样。该软件包包括搜索最大后验（MAP）图和从给定数据的后验分布中采样图的工具。一种新的混合结构学习方法可以在大型图中进行推理。在第一步中，我们通过PC算法或基于先验知识定义一个缩减的搜索空间。在第二步中，迭代顺序MCMC方案进行优化的限制搜索空间内，估计MAP图。从后验分布采样是使用顺序或分区MCMC。模型和算法可以处理离散和连续数据。BiDAG包还提供了MCMC方案的实现，用于动态贝叶斯网络的结构学习和采样。
2021-05-02 stat.CO stat.ML
The Bayesian SLOPE
SLOPE通过使用排序的$\ell_1$范数惩罚最小化正则化残差平方和来估计回归系数。SLOPE结合了回归问题中的测试和估计。它具有合适的变量选择和预测属性，以及极大极小最优性。本文介绍了线性回归的贝叶斯斜率法。经典的SLOPE估计是正态回归问题中的后验模式，具有适当的系数先验。Bayesian SLOPE考虑了完整的Bayesian模型，并具有为参数提供可信集和标准误估计值的优势。此外，分层贝叶斯框架允许完整的贝叶斯和经验贝叶斯处理的惩罚系数，而目前尚不清楚如何选择这些系数时，使用的SLOPE对一般的设计矩阵。后提供了一个直接的表征，这表明吉布斯采样器，不涉及潜在变量。本文介绍了一种有效的贝叶斯斜率混合Gibbs采样器。突出显示了使用后验均值的点估计，这自动促进了对未来观测的贝叶斯预测。这些都证明了真实和合成数据。
2016-09-01 stat.ME stat.ML
A Bayesian computer model analysis of Robust Bayesian analyses
我们利用贝叶斯仿真技术的力量，旨在帮助复杂的计算机模型的分析，检查复杂的贝叶斯分析本身的结构。这些技术有助于对复杂问题进行稳健的贝叶斯分析和/或敏感性分析，从而允许在可能性和先验规范中对选择的影响进行全局探索。我们展示了如何在鲁棒性研究中以前棘手的问题可以克服使用仿真技术，以及这些方法如何让其他科学家快速提取近似后的结果对应于自己的特定的主观规范。我们的方法的实用性和灵活性证明了一个真正的应用程序，贝叶斯方法被用来捕捉河流流量的信念的重新分析。我们讨论了这种方法开辟的未来研究的明显扩展和方向。
2017-03-03 stat.AP stat.CO stat.ME
Learning and Optimization with Bayesian Hybrid Models
贝叶斯混合模型将基于物理的见解与机器学习结构融合在一起，以纠正系统偏差。在本文中，我们比较贝叶斯混合模型对基于物理的玻璃盒和高斯过程黑箱代理模型。我们认为弹道射击作为一个说明性的案例研究贝叶斯决策工作流程。首先，进行贝叶斯校准以估计模型参数。然后，我们使用从贝叶斯分析的后验分布计算最佳的射击条件，通过一个单阶段的随机程序击中目标。该案例研究证明了贝叶斯混合模型克服系统偏差的能力，该系统偏差来自于与纯机器学习方法相比更少的数据。最后，我们认为贝叶斯混合模型是一个新兴的范例，数据知情的决策下参数和认知的不确定性。
2019-12-12 cs.SY eess.SY math.OC
A Bayesian Statistics Course for Undergraduates: Bayesian Thinking, Computing, and Research
我们提出了一个学期的贝叶斯统计过程中，微积分和概率背景的本科生。通过将贝叶斯方法应用于实际数据问题，培养学生的贝叶斯思维。我们利用现代贝叶斯计算技术，不仅实现贝叶斯方法，而且加深学生对方法的理解。合作案例研究进一步丰富了学生的学习，并提供解决开放式应用问题的经验。本课程强调本科生的研究，在课堂上阅读，讨论和评论可访问的学术期刊文章。随着信心和熟悉程度的提高，学生们接受阅读，实施，有时扩展期刊文章中的方法的挑战，以完成他们的课程项目。
2020-08-28 stat.OT
High-Dimensional Bayesian Regularised Regression with the BayesReg Package
贝叶斯惩罚回归技术，如贝叶斯套索和贝叶斯马蹄估计，最近在统计文献中受到了大量的关注。然而，在通用马尔可夫链蒙特卡罗平台（如STAN）之外，实现最先进的贝叶斯惩罚回归的软件相对较少。本文介绍了一个新的工具箱bayesreg，用于拟合具有连续收缩先验密度的贝叶斯惩罚回归模型。该工具箱的特点是具有高斯或重尾误差模型的贝叶斯线性回归和具有岭、套索、马蹄和马蹄$+$估计量的贝叶斯逻辑斯谛回归。该工具箱是免费的，开源的，可用于MATLAB和R数值平台。
2016-12-20 stat.CO
Dependent Bayesian Lenses: Categories of Bidirectional Markov Kernels with Canonical Bayesian Inversion
我们概括了现有的贝叶斯透镜的结构，以允许在向后的对象依赖于向前的对象的状态（解释为概率分布）的对象对之间的透镜。这给了一个自然的设置，研究随机地图与贝叶斯逆限制在一个给定的先验支持的点。为了正式说明这一点，我们提出了一个定义弗里茨的支持对象在马尔可夫范畴，并表明，这些产生了一个部分到类别的依赖贝叶斯镜头编码一个更规范的概念贝叶斯反演。
2022-09-29 cs.LO math.CT math.PR
Some Case Studies Using Bayesian Statistical Models
我们提供了四个案例研究，使用贝叶斯机器进行归纳推理。我们的主要动机在于提供几个实例，其中贝叶斯数据分析方法被最好地利用来执行复杂的任务，例如描述，测试，估计和预测。这项工作并不意味着是一个参考文本或调查在贝叶斯统计推断。我们的目标只是提供几个使用贝叶斯方法来解决数据驱动问题的例子。我们在这里涉及的主题，包括贝叶斯非参数，时间序列的贝叶斯分析和空间数据的贝叶斯分析的问题。
2021-11-17 stat.AP stat.ME
Bayesian and empirical Bayesian forests
我们通过非参数贝叶斯模型获得决策树的集合，使我们能够将随机森林视为来自后验分布的样本。这种见解提供了大量的收益，在可解释性，并激励一类贝叶斯森林（BF）算法，产生小，但可靠的性能增益。基于BF框架，我们能够证明，高层次树层次结构是稳定的大样本。这导致了一个经验贝叶斯森林（EBF）算法建立近似的BF上的大规模分布式数据集，我们表明，EBF优于子采样为基础的替代品的大幅度。
2015-05-15 stat.AP
Bayesian Posteriors Without Bayes' Theorem
经典的贝叶斯后验作为几个不同最优化问题的唯一解自然出现，而不需要将数据解释为条件概率，然后使用贝叶斯定理。例如，经典的贝叶斯后验是唯一的后验，它最大限度地减少了在结合先验分布和似然分布时香农信息的损失。这些结果，最近的结果合并的概率分布的直接推论，加强使用贝叶斯后验，并可能有助于部分调和经典和贝叶斯统计之间的一些差异。
2012-03-01 cs.IT math.IT math.PR
Bayesian Conformal Prediction via the Bayesian Bootstrap
针对贝叶斯方法预测区间频率派校准效果差的问题，提出基于影响函数贝叶斯自助法、数据驱动调优狄利克雷参数α的贝叶斯共形方法，可构建校准性好且锐利的预测区间与分布，性能优于标准贝叶斯后验，且实现简便灵活。
2025-08-02 math.ST stat.ME stat.TH
On posterior distribution of Bayesian wavelet thresholding
我们调查后收敛速率小波收缩使用贝叶斯方法在一般Besov空间。而不是研究与特定损失函数相关的贝叶斯估计，我们专注于后验分布本身从非参数贝叶斯渐近的角度来看，并研究其收敛速率。我们得到相同的速度在\citet{abramovich04}，其中作者研究了几个贝叶斯估计的收敛性。
2007-09-21 math.ST stat.TH
The two envelopes paradox in non-Bayesian and Bayesian statistics
本文的目的是澄清（非贝叶斯和贝叶斯）双信封问题的量子语言（或测量理论），这是最近提出的量子力学的语言转向（哥本哈根解释）。两个信封悖论只是一种高中生的概率难题，说这是一个未解之谜可能有些夸张。然而，由于我们确信量子语言只是未来的统计，我们相信没有量子语言的描述就没有明确的答案。从这个意义上说，读者会发现量子语言提供了最终的答案（即，最简单和最深刻的理解）的两个问题，在非贝叶斯和贝叶斯统计。此外，我们还增加了对圣彼得堡双信封悖论的讨论。
2014-09-15 quant-ph stat.OT
Bayesian Computing in the Undergraduate Statistics Curriculum
自20世纪90年代计算发展以来，贝叶斯统计获得了巨大的发展势头。逐渐地，贝叶斯方法和软件的进步使得贝叶斯技术更容易被应用统计学家所使用，反过来，也可能改变本科阶段的贝叶斯教育。本文概述了实现贝叶斯计算方法的各种选择，以实现特定的学习成果。根据作者在课堂上使用这些方法的经验，描述了每种计算方法的优点和缺点。我们的目标是目前的指导计算的教师谁是介绍贝叶斯方法在他们的本科统计课程的选择。
2020-11-03 stat.CO
Non-Bayesian Learning in Misspecified Models
该研究挑战了将偏离贝叶斯更新视为次优的传统观点，证明在模型误设的学习场景中，非贝叶斯更新的表现能够优于贝叶斯更新。
2025-10-03 econ.TH math.ST stat.TH
Adjusted Bayesian inference for selected parameters
我们解决的问题，从贝叶斯的角度来看，查看数据后选择的参数提供推断。我们提出了一个贝叶斯框架，为选定的参数提供推断，根据观察，为选定的参数提供贝叶斯推断是一个截断数据的问题。我们表明，如果参数的先验是非信息的，或者如果参数是一个“固定的”未知常数，那么有必要调整选择的贝叶斯推断。我们的第二个贡献是引入了贝叶斯错误发现率控制方法，它推广了现有的贝叶斯FDR方法，这些方法只定义在两组混合模型中，我们将这些结果应用于模拟数据和来自微阵列实验的数据。
2011-09-15 stat.CO stat.ME
A Bayesian approach to modeling mortgage default and prepayment
在本文中，我们提出了一个贝叶斯竞争风险比例风险模型来描述抵押贷款违约和提前还款。我们使用马尔可夫链蒙特卡罗方法对模型进行贝叶斯推断。该模型的实施说明使用实际违约/提前还款数据和其他见解，可以从贝叶斯分析进行了讨论。
2017-06-23 stat.AP
On Bayesian Data Analysis
这介绍贝叶斯统计提出的主要概念，以及主张的主要原因，有利于贝叶斯建模。我们涵盖了各种方法事先确定以及基础渐近参数有利于使用贝叶斯估计。对贝叶斯推断的测试方面也作了详细的研究。
2010-02-09 stat.ME
Approximate Gibbs sampler for Bayesian Huberized lasso
贝叶斯套索是众所周知的贝叶斯替代套索。虽然贝叶斯套索的优点是能够对参数进行完全概率不确定性量化，但相应的后验分布可能对离群值敏感。为了克服这一问题，近年来提出了鲁棒贝叶斯回归模型。本文从完全贝叶斯的角度研究了贝叶斯Huberized套索回归的稳健有效估计。提出了一种新的贝叶斯Huberized Lasso回归的后验计算算法。建议的近似吉布斯采样器是基于全条件分布的近似，它是可能的，以估计一个调谐参数的伪Huber损失函数的鲁棒性。本文还导出了后验分布的一些理论性质。我们通过仿真研究和实际数据的例子来说明所提出的方法的性能。
2022-07-05 stat.ME
Being Bayesian in the 2020s: opportunities and challenges in the practice of modern applied Bayesian statistics
Queensland University of Technology（昆士兰科技大学）；The University of Queensland（昆士兰大学）
本文探讨了现代应用贝叶斯统计中的六个机遇与挑战，包括智能数据收集、新数据源、联邦分析、隐式模型推断、模型迁移及有目的的软件产品。
2023-01-17 stat.AP
Generalized Bayesian Inference using the Bayesian Bootstrap for Survival Models
The University of Sydney（悉尼大学）；Kids Research Institute, The Children’s Hospital at Westmead（西梅德儿童医院儿童研究所）
本文提出结合贝叶斯自助法与广义贝叶斯更新的生存分析贝叶斯方法，可稳健量化不确定性、整合先验信息，已开发Cox比例风险模型框架并通过模拟与实际数据验证，对应开源R包为BayesBoots。
2026-09-09 stat.AP stat.ME
Bayesian nonparametric statistics, St-Flour lecture notes
本文为2023年圣弗卢尔暑期学校讲义，系统介绍贝叶斯非参数统计的理论与方法。
2024-02-26 math.ST stat.TH
On Bayesian Estimation via Divergences
在本说明中，我们介绍了一种新的方法，贝叶斯推理通过使用$ϕ$ -分歧和对偶技术。建立了估计的渐近律。
2011-12-26 math.ST stat.ME stat.TH
Bayesian Optimization Sequential Surrogate (BOSS) Algorithm: Fast Bayesian Inference for a Broad Class of Bayesian Hierarchical Models
本文提出BOSS算法，结合贝叶斯优化与近似贝叶斯推断，大幅减少拟合条件潜在高斯模型的计算开销，并通过模拟及多领域实际应用验证其高效性与准确性。
2024-03-18 stat.AP stat.CO stat.ME
