A Theoretical Framework for Bayesian Nonparametric Regression
我们开发了一个统一的框架贝叶斯非参数回归研究的收缩率相对于集成的$L_2$ -距离，而不假设回归函数空间是一致有界的。该框架是非常灵活的，可以适用于广泛的一类非参数先验模型。三个非平凡的应用所提出的框架提供：有限的随机序列回归的$α$ -Hölder函数，自适应率的收缩到对数因子;未修改的块先验回归的$α$ -Sobolev函数，自适应和精确的收缩率;高斯样条回归的$α$ -Hölder函数，与近最优的后收缩。这些应用是文献中相应结果的推广或补充。扩展到固定设计的回归问题和稀疏添加剂模型在高维进行了讨论。
2019-04-26 math.ST stat.TH
Continuity of the Solution of a Non-Parametric Bayesian Statistical Calibration Procedure
Simon Fraser University（西蒙菲莎大学）
研究非参数贝叶斯校准方法中解算子对输入参数分布的连续性，证明其在总变差度量下一致连续且在广泛分布类中弱连续。
2026-03-21 math.ST stat.ME stat.TH
On the Bayesian analysis of a non-identifiable Binomial model
Université de Sherbrooke（舍布鲁克大学）
针对不可识别的二项式模型，利用截断Beta分布、有限混合Beta分布和调和数，推导了后验期望和归一化常数的大样本近似。
2026-05-28 math.ST stat.TH
Adaptive Metropolis Algorithm Using Variational Bayesian Adaptive Kalman Filter
马尔可夫链蒙特卡罗（MCMC）方法是分析复杂统计问题的有力计算工具。然而，它们的计算效率高度依赖于所选择的建议分布，这通常很难找到。解决这个问题的一种方法是使用自适应MCMC算法，该算法在MCMC运行期间自动调整提案分布的统计信息。提出了一种新的自适应MCMC算法--变分贝叶斯自适应Metropolis（VBAM）算法. VBAM算法使用变分贝叶斯自适应卡尔曼滤波器（VB-AKF）来更新提议的协方差阵。证明了VBAM算法的一个强大数律。文中还给出了三个模拟算例和两个实际数据算例的经验收敛结果。
2014-10-01 math.ST stat.TH
Ideal Bayesian Spatial Adaptation
许多现实生活中的应用涉及估计曲线，表现出复杂的形状，包括跳跃或变化的频率振荡。已经设计出可以适应未知函数的局部变化复杂度的实用方法（例如，可变结样条、稀疏小波重建、核方法或树/森林）。然而，绝大多数现有的渐近极大极小理论都是基于齐次光滑性假设的。针对白噪声和非参数回归中广泛使用的贝叶斯机器学习技术，我们在上确界损失下，针对局部Holderian函数，提供了新的局部自适应后验集中率结果。特别是，我们表明，流行的尖峰和板坯先验和贝叶斯CART是均匀的局部自适应。此外，我们提出了一类新的排斥分区先验，涉及到可变结样条和准确率自适应。对于不确定性量化，我们构造了局部自适应置信带，其宽度取决于局部光滑性，并在局部自相似性下实现均匀的渐近覆盖。为了说明空间自适应不是自动的，我们提供了下界结果，表明流行的分层高斯过程先验达不到空间自适应。
2021-05-26 math.ST stat.TH
Are Bayesian networks typically faithful?
VU Amsterdam（阿姆斯特丹自由大学）；Korteweg-de Vries Institute for Mathematics, University of Amsterdam（阿姆斯特丹大学科特维格-德弗里斯数学研究所）
研究证明贝叶斯网络在特定条件下忠实性构成开放密集集，扩展了线性高斯和离散网络的结果，并表明基于约束的因果发现算法在典型网络集上一致。
2026-09-09 math.PR math.ST stat.ML
WIKS: A general Bayesian nonparametric index for quantifying differences between two populations
确定两个样本是否来自同一分布的问题往往是许多研究调查中感兴趣的问题。许多统计方法已经致力于这个问题，但只有少数人认为贝叶斯非参数方法。我们提出了一个非参数贝叶斯指数（WIKS），它的目标是量化两个人口之间的差异$P_1$和$P_2$基于他们的样本。WIKS指数由$P_1$和$P_2$之间的Kolmogorov-Smirnov距离的加权后验期望定义，并且与大多数现有方法不同，可以使用$(P_1,P_2)$上的任何先验分布来容易地计算。此外，WIKS计算速度快，可以证明贝叶斯决策理论框架下。我们提出了一个模拟研究表明，WIKS方法是更强大的竞争方法在几个设置，甚至在多变量设置。我们还证明，WIKS是一个一致的程序，并控制的显着性水平均匀的原假设。最后，我们将WIKS应用于三组不同患者的量表测量数据集，这些患者提交了阿尔茨海默病诊断问卷。
2018-06-22 math.ST stat.TH
Uniformly most powerful unbiased test for conditional independence in Gaussian graphical model
高斯浓度图的模型选择是基于成对条件独立性的多重检验。在实际应用中，偏相关检验被广泛应用。然而，目前还不知道是否偏相关测试是最强大的成对条件独立性测试。这个问题在论文中得到了回答。得到了Neymann结构的一致最强无偏检验。结果表明，该检验可简化为通常的偏相关检验。这意味着偏相关检验是一致最有效的无偏检验。
2016-10-02 math.ST stat.TH
The Bayesian Analysis of Complex, High-Dimensional Models: Can It Be CODA?
我们认为贝叶斯分析的一些复杂的，高维的模型，并表明，直观的先验，这是不适合的模型和估计的参数的细节，产生估计，表现不佳的情况下，在良好的，简单的频率估计存在。我们考虑的模型是：分层抽样、部分线性模型、白噪声的线性和二次泛函以及带停时的估计。我们提出了一个强版本的Doob的一致性定理，它表明存在一个一致的$\sqrt{n}$一致的估计，确保贝叶斯后验是$\sqrt{n}$一致的参数值的子集的先验概率1。我们还表明，它是，至少在原则上，可以构建贝叶斯先验，同时给出全球和当地的极大极小率，使用适当的组合损失函数。我们认为，在这些明显相互矛盾的发现中没有矛盾。
2015-01-30 math.ST stat.TH
The Computational Power of Dynamic Bayesian Networks
University of Maryland（马里兰大学）
本文研究了定长动态贝叶斯网络的计算能力。虽然离散动态贝叶斯网络并不比隐马尔可夫模型更强大，但具有连续随机变量和连续父节点的离散子节点的动态贝叶斯网络能够执行图灵完备计算。利用现有的用于置信度传播的算法的修改版本，可以实时的进行这样的模拟。这一结果表明，动态贝叶斯网络可能比以前认为的更强大。因果模型和递归神经网络的关系也进行了讨论。
2016-03-19 cs.AI stat.ML
Bayesian Network Models for Incomplete and Dynamic Data
贝叶斯网络是一种多功能和强大的工具，可以以概率原则的方式对复杂现象及其组件的相互作用进行建模。超越了相对简单的情况下，完全观察到的，静态数据，这在文献中得到了最多的关注，在本文中，我们将审查贝叶斯网络如何建模动态数据和数据与不完整的观察。这些数据是研究前沿和实际应用中的标准，贝叶斯网络由于其可解释性和可解释性而独特地定位于对它们进行建模。
2019-10-24 math.ST stat.ME stat.ML
The Pearson IV distribution: Random variate generation and applications
McGill University（麦吉尔大学）；QBX Consulting（QBX咨询公司）
本文提出一种高效生成Pearson IV分布随机变量的方法，适用于所有形状参数范围，并在贝叶斯设定中探讨其应用。
2026-05-02 math.ST stat.CO stat.TH
A Fully Bayesian, Logistic Regression Tracking Algorithm for Mitigating Disparate Misclassification
我们开发了一个完全贝叶斯，逻辑跟踪算法的目的是提供分类结果时，均匀地应用到个人与不同的敏感变量值是无偏的。在这里，我们考虑不同敏感变量组之间错误预测率差异形式的偏差。鉴于该方法是完全贝叶斯的，它非常适合于组参数或逻辑斯谛回归系数是动态量的情况。我们说明了我们的方法，与其他人相比，模拟数据集和著名的ProPublica COMPAS数据集。
2020-09-24 stat.AP
Conditional Generative Models are Provably Robust: Pointwise Guarantees for Bayesian Inverse Problems
Humboldt-Universität zu Berlin（柏林洪堡大学）；Technische Universität Berlin（柏林工业大学）
本文首次证明适当学习的条件生成模型在贝叶斯反问题中对单个观测值的扰动具有可证明的鲁棒性。
2024-07-19 cs.LG math.ST stat.TH
Convergence Guarantees for Adaptive Bayesian Quadrature Methods
EURECOM（欧洲电信学院）；University of Tübingen（图宾根大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
自适应贝叶斯求积（ABQ）是一种强大的数值积分方法，在中等维度（非自适应求积不具有竞争力）的问题上，它与蒙特卡罗积分相比具有优势。它的关键成分是一个获取函数，该函数作为先前收集的被积函数值的函数而变化。虽然这种适应性在经验上似乎很强大，但它使分析复杂化。因此，到目前为止，这类方法还没有理论上的保证。在这项工作中，对于广泛的自适应贝叶斯求积方法，我们证明了一致性，推导出非紧但信息量大的收敛速度。为了做到这一点，我们引入了一个新的概念，我们称之为弱适应性。我们的研究结果确定了一个大的和灵活的自适应贝叶斯求积规则一致，从业者可以开发经验有效的方法。
2019-10-28 cs.LG cs.NA math.NA
Bayesian Hyperparameter Optimization with BoTorch, GPyTorch and Ax
IBM（国际商业机器公司）
深度学习模型充满了超参数，这些超参数在学习过程开始之前被手动设置。要在如此高维的空间中找到这些超参数的最佳配置，需要耗时且昂贵的模型训练/验证，这不是一个简单的挑战。贝叶斯优化是超参数联合优化的有力工具，有效地权衡了超参数空间的探索和利用。本文讨论了贝叶斯超参数优化，包括超参数优化、贝叶斯优化和高斯过程。我们还回顾了BoTorch，GPyTorch和Ax，我们分别用于贝叶斯优化，高斯过程推理和自适应实验的新开源框架。对于实验，我们应用贝叶斯超参数优化，优化组权重，加权组池，耦合无监督分层图自动编码器学习和监督图预测学习的分子图。我们发现，Ax，BoTorch和GPyTorch一起提供了一个简单易用但功能强大的框架贝叶斯超参数优化，使用Ax的高级API，构建和运行一个完整的优化循环，并返回最佳的超参数配置。
2021-07-02 cs.LG stat.ML
Operator-Split Bayesian Learning for Elliptic PDEs with Unequal Interior and Boundary Data
Oregon State University（俄勒冈州立大学）
针对具有不等内部和边界观测值的椭圆型偏微分方程，提出算子分裂贝叶斯学习框架，为域内源和边界值分配独立BNN先验，经椭圆解算子得到收缩后验，结合极小极大下界得出近似上界，并通过数值实验展示相关影响。
2026-07-17 cs.NA math.NA math.ST
Efficient computation of the Knowledge Gradient for Bayesian Optimization
University of Warwick（华威大学）；Zenith AI；Opentrons
贝叶斯优化是优化随机昂贵黑盒函数的强大方法集合。贝叶斯优化算法的一个关键组成部分是获取函数，它确定在每次迭代中应该评估哪个解决方案。一个流行且非常有效的选择是知识梯度获取函数，但是没有分析方法来计算它。几种不同的实现方式可以产生不同的近似值。在本文中，我们回顾和比较知识梯度实现的频谱，并提出一种新的方法，结合了几个以前提出的想法，是廉价的计算以及强大和高效的单次混合KG。我们证明了新的方法保留了以前的方法的理论特性和经验表明，大大减少了计算开销，具有相同或更好的性能。所有实验都在BOTorch中实现，代码可以在github上找到。
2022-09-30 cs.LG stat.ML
Differentially Private Uniformly Most Powerful Tests for Binomial Data
我们得出统一的最强大的（UMP）测试的人口比例的框架内的差分隐私（DP），优化有限样本性能的简单和片面的假设。我们表明，在一般情况下，DP假设检验可交换的数据总是可以表示为经验分布的函数。使用这种结构，我们证明了一个'奈曼皮尔逊引理'的二项式数据下DP，DP-UMP只取决于样本和。我们的测试也可以被描述为一个随机变量的后处理，我们将其分布称为“截断均匀拉普拉斯”（Tulap），这是阶梯分布和离散拉普拉斯分布的推广。此外，我们得到精确的p值，这是很容易计算的Tulap随机变量。我们表明，我们的研究结果也适用于分布自由假设检验的连续数据。我们的仿真结果表明，我们的测试有确切的I型错误，比目前的技术更强大。
2018-05-23 math.ST stat.TH
Asymptotically uniformly most powerful tests for diffusion processes with nonsynchronous observations
针对非同步不规则采样下扩散过程检验的难题，提出融合漂移与扩散系数自适应估计的拟似然比检验框架，证明其渐近性质与一致最优性，数值实验显示效果优于现有非参数方法。
2025-03-24 math.ST stat.TH
On the generalization of bayesian deep nets for multi-class classification
Bar-Ilan University（巴伊兰大学）；Technion（以色列理工学院）；University of Illinois（伊利诺伊大学）
评估真实风险和经验风险之间差异的泛化界限已经得到了广泛的研究。然而，为了获得边界，当前技术使用严格的假设，诸如一致有界或Lipschitz损失函数。为了避免这些假设，在本文中，我们通过利用Log-Sobolev不等式的收缩性，提出了一个新的贝叶斯深度网的推广界。使用这些不等式增加了一个额外的损失梯度范数项的推广界，这是直观的模型复杂性的替代品。从经验上讲，我们使用不同的深度网络分析了这种损失梯度范数项的影响。
2020-02-23 cs.LG stat.ML
Bayesian method for inferring the impact of geographical distance on intensity of communication
理论模型和实证研究结果都表明，不同人群之间的沟通强度随着地理隔离程度的降低而降低。有证据表明，通信强度并不是随着距离的增加而均匀衰减，而是在较短和较长的距离上以不同的速度衰减。使用贝叶斯LASSO模型选择，我们引入了一个统计模型，用于估计通信下降的速度与地理距离，允许在这个速度的不连续性。我们将我们的方法应用于匿名的移动电话通信数据集。我们的研究结果是潜在的有用的设置，了解社会和空间混合的人是很重要的，如在集群随机试验设计。
2018-05-23 stat.AP
Inference for max-linear Bayesian networks with noise
Naval Postgraduate School（海军学院）；Technische Universität Berlin（柏林技术大学）
本文研究含噪声的 Max-linear 贝叶斯网络推断，证明 DAG 中边参数估计量服从正态分布，并通过 EM 算法与二次优化验证。
2025-05-01 cs.LG math.OC math.ST
Almost-Uniform Bayesian Convergence to the Truth Is Not Characterized by Countable Additivity on Conditional Hitting Times
The Johns Hopkins University（约翰斯·霍普金斯大学）；The City College of New York & The Graduate Center, The City University of New York（纽约市立学院及纽约市立大学研究生院）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文指出Nielsen关于贝叶斯收敛定理的证明错误，构造反例表明两个性质非充分，并修正了部分结果，揭示可数可加性并非充分条件。
2026-09-18 math.FA math.GN math.LO
Adaptive Sampling for Estimating Distributions: A Bayesian Upper Confidence Bound Approach
University of Southern California（南加州大学）；University of California, San Diego（加州大学圣地亚哥分校）
研究了概率质量函数（pmf）一致估计的自适应抽样问题。采样策略的性能以最差情况下的均方误差来衡量。提出了一种贝叶斯变体现有的置信上限（UCB）为基础的方法。分析表明，这种贝叶斯变体的性能并不比现有的方法差。贝叶斯设置中pmfs上的后验分布允许更严格地计算置信上限，这在实践中导致显著的性能增益。使用这种方法，自适应采样协议提出了估计SARS-CoV-2血清阳性率在不同的群体，如位置和种族。这一战略的有效性进行了讨论，使用从洛杉矶县的血清阳性率调查获得的数据。
2020-12-08 cs.LG stat.ME
Bayesian sequential analysis of adverse events with binary data
提出基于双臂临床试验二元数据的贝叶斯序贯检验方法评估相对风险，通过停止规则原则计算错误概率，并揭示与UMPBT的联系及实证验证。
2025-04-03 stat.AP stat.ME
Cost-aware Multi-objective Bayesian optimisation
贝叶斯优化中的费用概念通常是指在整个搜索空间上函数求值的一致昂贵成本。然而，在某些情况下，黑盒目标函数的评估成本是不均匀的，因为来自搜索空间的不同输入可能导致函数评估的不同成本。通过定义搜索空间上的成本感知约束，我们引入了一个成本感知的多目标贝叶斯优化与非均匀评估成本的目标函数。成本感知约束是索引的排序元组，其基于用户关于其使用成本的先验知识来展示搜索空间的维度的排序。我们制定了一个新的多目标贝叶斯优化采集功能的收敛，结合这种成本意识的约束，同时优化的目标函数的详细分析。我们证明了我们的算法的基础上合成和现实世界中的超参数调整的神经网络和随机森林的问题。
2019-09-09 cs.LG math.OC stat.ML
Bayesian Estimation of Inverse Gaussian Distribution
本文研究逆高斯分布参数的贝叶斯估计。我们的重点是马尔可夫链蒙特卡罗方法。我们提供完整的实施吉布斯采样算法。假设一个信息丰富的先验，贝叶斯估计计算使用吉布斯采样器的输出，也从林德利的近似方法。得到了极大似然和一致最小方差无偏估计。我们还计算最高后验密度可信区间，确切的置信区间以及“百分位数”和“双t”自助近似的确切区间。进行了一项模拟研究，以比较所考虑的各种点和区间估计方法的长期性能。一个真实的数据说明已经提供了一些显着的特点，抽样为基础的推理方法。
2012-10-16 stat.ME
A Bayesian approach for small area population estimates using multiple administrative records
小区域人口估计对私营和公共部门的决策很有用。但是，在小范围内（即，那些难以到达并且人口规模小的地区）计算人口数量是复杂的。贝叶斯方法是使用多个行政记录的数据进行人口统计估计的一种替代方法。在本文中，我们探讨了贝叶斯方法，这是简单而灵活的，并代表了一个替代程序的基础人口估计特别强大的两次人口普查期间。方法程序的适用性说明了在哥伦比亚的哈蒙迪市使用人口金字塔。
2019-05-13 stat.AP stat.ME
Hands-on Bayesian Neural Networks -- a Tutorial for Deep Learning Users
University of Western Australia（西澳大学）；Murdoch University（莫道克大学）；Monash University（莫纳什大学）
现代深度学习方法是解决无数挑战性问题的强大工具。然而，由于深度学习方法作为黑箱运行，因此与其预测相关的不确定性通常难以量化。贝叶斯统计提供了一种形式主义来理解和量化与深度神经网络预测相关的不确定性。本教程概述了相关文献和一个完整的工具集，用于设计，实施，训练，使用和评估贝叶斯神经网络，即使用贝叶斯方法训练的随机人工神经网络。
2022-01-03 cs.LG stat.ML
Bayesian test of significance for conditional independence: The multinomial model
条件独立性检验（CI test）作为衡量模型变量间关系的重要指标，近年来在机器学习和计算智能领域受到了广泛关注。在概率图形模型（PGM）领域-包括贝叶斯网络（BN）模型-CI测试对于从数据中学习PGM结构的任务尤为重要。在本文中，我们提出了完整的贝叶斯显著性检验（FBST）的离散数据集的条件独立性的测试。FBST是一个功能强大的贝叶斯精确假设检验，作为频率论显著性检验（其特征是计算\emph{p-value}）的替代方法。
2013-06-16 stat.CO stat.ML
Bayesian Model Selection for Misspecified Models in Linear Regression
虽然贝叶斯信息准则（BIC）和赤池信息准则（AIC）是线性回归中模型选择的强大工具，但它们建立在不同的先验假设上，因此适用于不同的数据生成场景。我们表明，在有限维的情况下，他们各自的假设可以统一在一个增广的模型加噪声空间，并在这个空间中构建一个先验继承了AIC和BIC的有益特性。这使我们能够调整BIC，使其对信噪比较低的错误指定模型具有鲁棒性。
2017-12-14 stat.ME
Bayesian Wavelet Shrinkage of the Haar-Fisz Transformed Wavelet Periodogram
人们越来越多地认识到，许多现实世界的时间序列是不稳定的，并表现出不断发展的二阶自协方差或频谱结构。本文介绍了一种贝叶斯方法建模的局部平稳小波时间序列的小波谱的演变。我们的新方法的工作原理相结合的Haar-Fisz变换频谱的优点，一个简单的，但功能强大，贝叶斯小波收缩方法。我们的新方法产生优秀和稳定的谱估计，这是通过模拟数据和不同的婴儿心电图数据证明。贝叶斯范式的一个主要的额外好处是，我们得到严格的和有用的可信区间的不断发展的光谱结构。我们展示了如何贝叶斯可信区间提供额外的洞察婴儿心电图数据。
2013-09-10 stat.ME
Bayesian Semisupervised Learning with Deep Generative Models
基于神经网络的具有判别成分的生成模型是一种强有力的半监督学习方法。然而，这些技术a）不能在模型的判别分量的估计中考虑模型不确定性，以及b）缺乏在标签生成过程中捕获复杂随机模式的灵活性。为了避免这些问题，我们首先建议使用具有随机输入的判别分量以增加噪声灵活性。我们展示了如何一个有效的吉布斯抽样程序可以边缘化的随机输入时，推断在这个模型中丢失的标签。在此之后，我们扩展的判别组件是完全贝叶斯和产生的不确定性估计其参数值。这为半监督贝叶斯主动学习打开了大门。
2017-06-29 stat.ML
Bayesian Nonparametrics: An Alternative to Deep Learning
School of Electrical Engineering, Arizona State University（亚利桑那州立大学电气工程学院）
本综述系统阐述了贝叶斯非参数模型的理论基础与应用价值，重点展示其在多目标跟踪等复杂问题中作为深度学习替代方案的灵活性和有效性。
2024-03-29 cs.LG stat.ML
Approximate Bayesian estimation in large coloured graphical Gaussian models
分布式估计方法最近被用来计算大型图形高斯模型精度矩阵的最大似然估计。我们的目的，在本文中，是给贝叶斯估计的精度矩阵的大型图形高斯模型，此外，对称性约束所施加的基础图形是彩色的。我们将精度矩阵的样本后验均值作为我们的估计。我们研究它的渐近行为下，经常渐近制度时，变量p是固定的，双渐近制度下，当p和n都增长到无穷大。我们特别表明，当局部模型的参数的数量是一致有界的，标准的收敛速度，我们得到的渐近一致性，在Frobenius范数，我们的精度矩阵的估计相比，以及在当前文献中的速率的最大似然估计。
2016-05-26 stat.ME
A Causal Bayesian Networks Viewpoint on Fairness
DeepMind（深度思维）
我们提供了一个图形化的解释不公平的数据集作为一个不公平的因果路径中的因果贝叶斯网络表示的数据生成机制的存在。我们使用这个观点来重新审视最近围绕COMPAS审前风险评估工具的争论，更普遍地指出，模型的公平性评估需要仔细考虑训练数据背后的不公平模式。我们表明，因果贝叶斯网络为我们提供了一个强大的工具来衡量不公平的数据集，并在复杂的不公平的情况下设计公平的模型。
2019-07-15 cs.LG stat.ML
Advances in Learning Bayesian Networks of Bounded Treewidth
Universidade de São Paulo（圣保罗大学）；Dalle Molle Institute for Artificial Intelligence（达莱莫莱人工智能研究所）；Rensselaer Polytechnic Institute（伦斯勒理工学院）
这项工作提出了新的算法学习贝叶斯网络结构与有界树宽。精确和近似的方法。精确的方法结合了混合整数线性规划公式的结构学习和树宽计算。近似方法包括均匀采样$k$ -树（树宽$k$的最大图），随后精确或近似地选择其道德图是该$k$ -树的子图的最佳结构。这些方法的一些性质进行了讨论和证明。经验的方法进行比较，彼此和一个国家的最先进的方法，用于学习有界树宽结构的公共数据集的集合，多达100个变量。实验表明，我们的精确算法优于最先进的国家，近似的方法是相当准确的。
2014-06-06 cs.AI cs.LG stat.ML
Pachinko Prediction: A Bayesian method for event prediction from social media data
大型开放数据源与机器学习方法的结合，为预测抗议或社会动荡等事件提供了一种潜在的强大方法。然而，考虑到这些模型中的不确定性，特别是在使用社交媒体等多样化的非结构化数据集时，对于确保适当使用这些方法至关重要。在这里，我们开发了一种贝叶斯方法，用于预测社会动荡事件在澳大利亚使用社交媒体数据。该方法使用机器学习方法将社交媒体的个人帖子分类为相关的，并使用经验贝叶斯方法来计算后验事件概率。我们使用该方法来预测2017/18年度澳大利亚城市的事件。
2018-09-22 cs.CY cs.SI stat.AP
Exact Inference Techniques for the Analysis of Bayesian Attack Graphs
攻击图是一种强大的安全风险评估工具，通过分析网络漏洞和攻击者可以用来危害网络资源的路径。攻击者行为的不确定性使得贝叶斯网络适合于对攻击图进行建模以执行静态和动态分析。以前的方法都集中在形式化的攻击图到贝叶斯模型，而不是提出他们的分析机制。在本文中，我们建议使用有效的算法，使贝叶斯攻击图的准确推理，使静态和动态网络风险评估。为了支持我们的方法的有效性，我们已经进行了广泛的实验评估合成贝叶斯攻击图与不同的拓扑结构，所提出的技术相比，现有的方法在时间和内存使用方面的计算优势。
2016-11-04 cs.CR stat.AP stat.ML
Bayesian inference via sparse Hamiltonian flows
University of British Columbia（不列颠哥伦比亚大学）
贝叶斯核心集是数据的一个小的加权子集，在贝叶斯推断期间替换完整的数据集，目的是降低计算成本。虽然过去的工作经验表明，经常存在一个低推理误差的核心集，有效地构建这样的核心集仍然是一个挑战。当前的方法往往速度很慢，需要在核心集构建后进行二次推理步骤，并且不提供数据边缘证据的界限。在这项工作中，我们介绍了一种新的方法-稀疏哈密顿流-解决所有这三个挑战。该方法首先对数据进行均匀子采样，然后优化由核心集权重参数化的哈密顿流，并包括周期性动量准刷新步骤。理论结果表明，该方法能够指数压缩的数据集在一个代表性的模型，和准刷新步骤减少库尔贝克-莱布勒散度的目标。真实的和合成的实验表明，稀疏哈密顿流提供准确的后验近似显着减少运行时间相比，竞争的动态系统为基础的推理方法。
2023-01-12 cs.LG stat.CO stat.ML
Ordinal Bayesian Optimisation
贝叶斯优化是一个强大的工具，以解决昂贵的黑箱问题，但失败时，对目标函数的静态假设是强烈违反，这是特别是病态或不连续的目标的情况。我们解决这个问题，提出了一个新的贝叶斯优化框架，只考虑变量的顺序，在输入和输出空间，以适应一个高斯过程的潜在空间。通过这样做，我们的方法对原始空间上的原始度量是不可知的。我们提出了两种算法，分别基于乐观策略和汤普森采样。对于乐观策略，我们证明了一个最优性能下的后悔措施的潜在空间。我们说明了我们的框架上的几个具有挑战性的玩具问题的能力。
2019-12-05 cs.LG math.OC stat.ML
Differential Bayesian Neural Nets
Bosch Center for Artificial Intelligence（博世人工智能中心）
神经常微分方程（N-ODE）是学习系统的一个强大的构建模块，它将残差网络扩展到连续时间动力系统。我们提出了一个贝叶斯版本的N-ODE，使校准良好的量化预测的不确定性，同时保持其确定性对应的表达能力。我们将贝叶斯神经网络（BNN）分配给随机微分方程（STD）的漂移和扩散项，该方程模拟了激活图在时间上的流动。我们使用随机梯度朗之万动力学（SGLD）的直接适应来推断BNN权重的后验。我们说明了显着提高稳定性的两个合成时间序列预测任务，并报告更好的模型拟合UCI回归基准与我们的方法相比，其非贝叶斯对应。
2020-02-18 cs.LG stat.ML
Bayesian Gamma-Negative Binomial Modeling of Single-Cell RNA Sequencing Data
背景：单细胞RNA测序（scRNA-seq）是一种功能强大的单细胞分析技术。scRNA-seq数据的适当分析可以表征分子异质性，并揭示潜在的细胞过程，以更好地了解发育和疾病机制。独特的分析挑战是对高度过度分散的scRNA-seq计数数据进行适当建模，其中普遍存在辍学（零计数），使零膨胀降维技术在scRNA-seq数据分析中流行。然而，采用零膨胀分布可能会额外强调零计数，从而在识别数据的潜在结构时导致潜在偏差。结果如下：在本文中，我们提出了scRNA-seq数据的完全生成分层伽马负二项（hGNB）模型，避免了明确建模零通货膨胀的需要。同时，hGNB可以自然地解释基因和细胞水平的协变量效应，以识别scRNA-seq数据的复杂潜在表征，而不需要通常采用的预处理步骤，如归一化。有效的贝叶斯模型推理是通过利用条件共轭通过新的数据增强技术。结论：模拟数据和几个真实scRNA-seq数据集的实验结果表明，hGNB是细胞簇发现和细胞谱系推断的有力工具。
2019-08-01 stat.AP
Machine Learning and the Future of Bayesian Computation
Duke University（杜克大学）；University of British Columbia（不列颠哥伦比亚大学）；University of Notre Dame（圣母大学）；University of Iowa（爱荷华大学）
本文针对 MCMC 在高维、大规模贝叶斯后验计算中的计算瓶颈，综述利用机器学习改进后验推断的方向，并梳理 normalizing flows、Bayesian coresets、分布式推断与变分推断等路径。
2023-04-21 cs.LG stat.ML
Bayesian radiocarbon modelling for beginners
由于可免费获得的定制软件，贝叶斯统计正在迅速成为考古年代学构建的主导范式。这样的软件为用户提供了强大的工具，贝叶斯推断的时序模型，几乎不需要进行正式的研究统计建模或计算机编程。这有可能使其沦为黑箱状态，考虑到其实现的建模工具的功能和复杂性，这是不明智的。在本文中，我们试图提供直观的见解，以确保读者从考古研究界谁使用贝叶斯时序建模软件将能够更好地作出良好的教育选择的工具和技术，他们采用。我们希望他们能够更好地了解自己的研究设计，并更好地准备对其他人进行的建模进行建设性的批判性评估。
2017-04-24 stat.AP
Identifying Informative Environments for Cognition Parameter Inference via Bayesian Experimental Design
该研究针对认知参数推断的环境选择问题，将认知规划实验建模为贝叶斯实验设计问题，提出摊销贝叶斯实验设计框架，经Mouselab-MDP实验验证其高效性，揭示了环境选择的权衡关系。
2026-08-04 cs.AI stat.ML
Beyond Whittle: Nonparametric correction of a parametric likelihood with a focus on Bayesian time series analysis
Whittle似然被广泛用于平稳时间序列谱密度的贝叶斯非参数估计。然而，非高斯时间序列的效率损失可能是相当大的。另一方面，如果模型被很好地指定，则参数方法更强大，但否则可能完全失败。因此，我们建议利用参数模型的效率，同时通过非参数修正来降低敏感性，对参数似然进行非参数修正。使用Bernstein-Dirichlet先验的非参数谱校正，我们显示后验的一致性，并说明我们的程序在模拟研究和LIGO引力波数据的性能。
2017-01-17 stat.ME
On the Equivalence between Bayesian and Classical Hypothesis Testing
对于H_0：theta=theta_0与H_1：theta ne theta_0类型的假设，我们证明了使用贝叶斯因子的贝叶斯假设检验与相应的经典检验对于一大类模型的等价性，这在本文中有详细说明。特别是，我们表明，贝叶斯因子检验的先验和关键区域的作用是只指定的第一类错误。这是他们唯一的作用，因为，正如我们所示，功率函数的贝叶斯因子检验正好与经典的测试，一旦第一类错误已被修复。对于更复杂的测试，涉及滋扰参数，我们恢复了经典的测试，通过使用Jeffreys先验的滋扰参数，而先验的假设参数可以是任意的一个大类。另一方面，我们表明，使用适当的先验的滋扰参数的结果，在一个测试，均匀的功率比经典的测试。
2013-12-02 stat.ME
Fast Bayesian Coresets via Subsampling and Quasi-Newton Refinement
University of Oxford（牛津大学）；University of British Columbia（不列颠哥伦比亚大学）
贝叶斯核心集通过构建数据点的小加权子集来近似后验分布。任何在计算上过于昂贵而不能在完整后验上运行的推理过程都可以在核心集上廉价地运行，其结果近似于完整数据上的结果。然而，目前的方法是有限的，无论是一个显着的运行时间或需要用户指定一个低成本的近似完整的后验。我们提出了一个贝叶斯核心集的构造算法，首先选择一个均匀随机的数据子集，然后使用一种新的拟牛顿法优化的权重。我们的算法是一个简单的实现，黑盒方法，不需要用户指定一个低成本的后验近似。这是第一个来与一般的高概率界的库尔贝克-莱布勒散度的输出coreset后。实验表明，我们的方法提供了显着的改善coreset质量与可比的建设时间的替代品，存储成本和用户输入所需的少得多。
2023-01-15 cs.LG stat.CO stat.ML
PAC-Bayesian AUC classification and scoring
我们开发了一个评分和分类程序的基础上的PAC贝叶斯方法和AUC（曲线下面积）标准。我们首先集中在类的线性得分函数。我们推导出两种类型的先验的评分参数的PAC贝叶斯非渐近界：高斯先验，和尖峰和板先验;后者使得有可能进行特征选择。我们的方法的一个重要优势是，它是服从于强大的贝叶斯计算工具。我们特别推导出一个序贯蒙特卡罗算法，作为一个有效的方法，可用作黄金标准，和期望传播算法，作为一个更快，但近似的方法。我们还将我们的方法扩展到一类非线性得分函数，基本上导致一个非参数的过程，通过考虑一个高斯过程前。
2014-10-13 stat.CO stat.ML
On the Importance of Gradient Norm in PAC-Bayesian Bounds
Technion（以色列理工学院）；Meta AI Research（元人工智能研究院）；The Hebrew University of Jerusalem（希伯来大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
评价真实风险和经验风险之间差异的泛化界限已被广泛研究。然而，为了获得边界，当前技术使用严格的假设，诸如一致有界或Lipschitz损失函数。为了避免这些假设，在本文中，我们遵循另一种方法：我们放松一致的边界假设，使用平均有界损失和平均有界梯度范数假设。在这种放松之后，我们提出了一个新的推广界，利用log-Sobolev不等式的收缩性。这些不等式增加了一个额外的损失梯度范数项的推广界，这是直观的模型复杂性的替代品。我们将提出的边界应用于贝叶斯深度网络，并实证分析了这种新的损失梯度范数项对不同神经架构的影响。
2022-11-02 cs.LG stat.ML
Practical Bayesian Inference for Record Linkage
概率记录链接（ProbabilityRecordLinkage，PRL）是在没有唯一标识符的情况下确定两个数据库中的哪些记录对应于同一基础实体的过程。这个问题的贝叶斯解决方案提供了一个强大的机制，传播不确定性，由于不确定的记录之间的联系（通过后验分布）。然而，计算上的考虑严重限制了现有的贝叶斯方法的实用性。我们提出了一种新的计算方法，提供了一个快速算法，用于获得点估计的链接结构，适当占一对一的匹配和一个受限制的MCMC算法，从一个近似的后验分布的样本。我们的进步使得有可能进行贝叶斯PRL更大的问题，并评估结果的灵敏度，以不同的先验规范。我们展示了模拟数据和应用程序的方法，在意大利人口普查覆盖率估计后枚举调查。
2017-12-01 stat.ME
Bayesian Learning of Graph Substructures
该研究将贝叶斯非参数随机块模型嵌入图模型框架，扩展模型适配团块与多图场景，设计贝叶斯因子计算策略检验图的大规模结构，经模拟与真实数据验证有效。
2022-10-11 stat.ME
