Efron-Stein PAC-Bayesian Inequalities
DeepMind
证明了随机变量为独立随机变量的可能非线性函数的半经验集中不等式。这些不等式描述的浓度的随机变量的数据/分布相关的Efron-Stein(ES)估计的方差,他们不需要任何额外的假设的时刻。特别是,这使我们能够陈述无界随机变量一般函数的半经验伯恩斯坦型不等式,这为相关方法(例如有界差)可能应用起来更具挑战性的情况提供了用户友好的浓度界限。我们将这些结果扩展到Efron-Stein PAC-贝叶斯不等式,该不等式适用于任意概率核,定义了一个随机的,数据相关的函数选择。最后,我们展示了一些应用程序,包括PAC贝叶斯推广界的无界损失函数,经验伯恩斯坦型推广界,新的截断自由界的政策外评估加权重要性采样(WIS),和政策外PAC贝叶斯学习与WIS。
2020-02-03 cs.LG stat.ML
PAC-Bayesian Transportation Bound
IBM Research(IBM研究院)
经验上,已知PAC-Bayesian分析为实际机器学习算法产生严格的风险界限。然而,在其朴素的形式,它只能处理随机预测,而这样的预测很少使用和确定性预测往往在实践中表现良好。为了填补这一空白,我们开发了一个新的泛化误差界,PAC-Bayesian运输界,统一的PAC-Bayesian分析和链接方法的最优运输。它是第一个PAC-Bayesian界,根据它们的距离将任何两个预测变量的风险联系起来,并且能够评估面临连续损失函数的随机预测变量的去随机化成本。作为一个例子,我们给出了一个上界的谱归一化神经网络(NN)的去随机化成本,以评估有多少随机性有助于NN的推广。
2019-11-21 cs.LG stat.ML
Randomized Kriging Believer for Parallel Bayesian Optimization with Regret Bounds
Department of Engineering, Nagoya University(名古屋大学工学部);RIKEN AIP(理化学研究所AIP)
提出随机克里金信徒法用于并行贝叶斯优化,结合KB启发式,具有低计算复杂度、易实现、通用性强和异步并行适用性,并给出贝叶斯期望遗憾界。
2026-06-25 cs.LG stat.ML
Combinatorial Bayesian Optimization with Random Mapping Functions to Convex Polytopes
POSTECH(浦项科技大学);Intellicode
贝叶斯优化是求解费用高的黑箱函数全局优化问题的一种常用方法。它依赖于目标函数的概率代理模型,在此基础上建立获取函数以确定下一步在哪里评估目标函数。通常,具有高斯过程回归的贝叶斯优化在连续空间上操作。当输入变量是分类变量或离散变量时,需要格外小心。一种常见的方法是使用独热编码或布尔表示的分类变量,这可能会产生组合爆炸问题。本文提出了一种在组合空间中求解贝叶斯优化的方法,该方法能在较大的组合空间中很好地工作。其主要思想是利用一个随机映射将组合空间嵌入到连续空间的凸多面体中,在此基础上进行所有必要的处理以确定组合空间中黑箱优化的解。我们描述了我们的组合贝叶斯优化算法,并提出其遗憾分析。数值实验表明,我们的方法显示出令人满意的性能相比,现有的方法。
2022-06-20 cs.LG stat.ML
Random Exploration in Bayesian Optimization: Order-Optimal Regret and Computational Efficiency
School of Electrical & Computer Engineering, Cornell University(康奈尔大学电气与计算机工程学院);MediaTek Research, UK(联发科英国研究院)
该研究针对高斯过程贝叶斯优化问题,提出带定义域收缩的随机探索算法,证明其在有无噪声场景下均达阶最优后悔值,填补无噪声场景研究空白,且计算效率更优。
2024-02-02 cs.LG stat.ML
Bayesian Random Fields: The Bethe-Laplace Approximation
UC Irvine(加州大学欧文分校)
虽然学习无向图模型参数的最大似然值很难,但对给定数据的参数的后验分布建模更难。然而,无向模型在计算机视觉和文本建模(例如条件随机场)中无处不在。但是,在有向模型的贝叶斯方法已经非常成功的地方,无向模型的正确贝叶斯处理仍然处于婴儿阶段。提出了一种基于拉普拉斯近似的参数后验估计方法。这种近似需要计算特征上的协方差矩阵,我们使用基于循环置信传播的线性响应近似来计算。我们发展的理论,有条件和无条件的随机场或无隐变量。在条件设置中,我们引入了一个新的变形适合结构域的装袋。在这里,我们运行循环最大乘积算法的“super-graph”组成的图形的个别模型从后验采样和连接的约束。在真实数据上的实验验证了所提方法的有效性。
2012-06-27 cs.LG stat.ML
Uniform Generalization Bounds on Data-Dependent Hypothesis Sets via PAC-Bayesian Theory on Random Sets
INRIA(法国国家信息与自动化研究所);PSL Research University(巴黎文理研究大学);Univ Rennes(雷恩大学);CNRS(法国国家科学研究中心);University of Oxford(牛津大学)
本文通过将PAC-Bayesian理论严格应用于随机集,提出数据依赖的统一泛化界,并用于统一基于分形维数的泛化界及证明Langevin动力学轨迹上的新泛化性质。
2025-02-10 cs.LG stat.ML
Bayesian integration G-formula for platform SMART designs allowing for adding new treatments
Duke-NUS Medical School(杜克-国大医学院);National University of Singapore(新加坡国立大学);Duke University(杜克大学);University of Melbourne(墨尔本大学)
本文提出了一种整合平台试验和SMART设计的新型平台SMART,引入贝叶斯整合G公式(BIG)估计量以处理非同步治疗比较,并通过模拟和SNAP试验验证其有效性。
2026-04-28 stat.ME
PAC-Bayesian Theorems for Domain Adaptation with Specialization to Linear Classifiers
INRIA(法国国家信息与自动化研究所);École Normale Supérieure(巴黎高等师范学院);Univ Lyon(里昂大学);UJM-Saint-Etienne(圣艾蒂安大学);CNRS(法国国家科学研究中心);Institut d’Optique Graduate School(光学研究所研究生院);Université Laval(拉瓦尔大学)
在本文中,我们提供了两个主要贡献PAC贝叶斯理论域适应的目标是学习,从一个源分布,一个表现良好的多数票在不同的目标分布。一方面,我们提出了对Germain等人(2013)提出的先前方法的改进,该方法依赖于基于不一致平均的新分布伪距离,使我们能够为随机Gibbs分类器推导出一个新的更严格的PAC-Bayesian域自适应边界。我们将其专门用于线性分类器,并设计了一种学习算法,该算法在合成问题和流行的情感注释任务上显示了有趣的结果。另一方面,我们将这些结果推广到多频域适应,使我们能够考虑到不同的源域。这项研究打开了大门,以解决域适应任务,利用所有的PAC贝叶斯工具。
2016-08-09 cs.LG stat.ML
Multiplicative Normalizing Flows for Variational Bayesian Neural Networks
University of Amsterdam(阿姆斯特丹大学);TNO Intelligent Imaging(荷兰应用科学研究组织智能成像);Canadian Institute For Advanced Research (CIFAR)(加拿大高级研究院)
我们重新解释神经网络中的乘性噪声作为辅助随机变量,增加贝叶斯神经网络的变分设置中的近似后验。我们表明,通过这种解释,它是有效的和简单的,以提高近似采用规范化流,同时仍然允许局部重新参数化和一个听话的下限。在实验中,我们表明,这种新的近似,我们可以显着改善经典的贝叶斯神经网络的平均场的预测精度以及预测的不确定性。
2017-06-12 cs.LG stat.ML
Bayesian optimization of variable-size design space problems
在复杂系统设计框架内,经常需要求解混合变量最优化问题,其中目标函数和约束函数可以同时依赖于连续变量和离散变量。此外,复杂的系统设计问题偶尔会出现可变大小的设计空间。这导致最优化问题,其中搜索空间作为特定离散决策变量的值的函数沿着优化过程动态地变化(关于变量的数量和类型)。类似地,约束的数量和类型也可以变化。在本文中,两种替代贝叶斯优化的方法,提出了解决这类最优化问题。第一个是预算分配策略,允许将计算预算集中在最有前途的设计子空间上。相反,第二种方法是基于核函数的定义,允许计算由部分不同的变量集表征的样本之间的协方差。分析和工程相关的测试情况下得到的结果表明,这两种方法的标准方法更快,更一致的收敛。
2020-03-06 math.OC stat.ML
A Flexible Framework for Multi-Objective Bayesian Optimization using Random Scalarizations
Carnegie Mellon University(卡内基梅隆大学);UC Berkeley(加州大学伯克利分校)
许多现实世界的应用程序可以被框定为多目标优化问题,我们希望同时优化多个标准。贝叶斯优化技术的多目标设置是相关的功能时,评估的问题是昂贵的。传统的多目标优化方法,贝叶斯和其他方法,旨在恢复这些目标的帕累托前沿。然而,在某些情况下,由于外部考虑,从业者可能希望仅在帕累托前沿的子集中识别帕累托最优点。在这项工作中,我们提出了一个基于随机标量化的目标,解决这个问题的战略。我们的方法能够灵活地从帕累托前沿的期望区域采样,并且在计算上比大多数MOO方法便宜得多。我们还研究了多目标环境中的后悔概念,并表明我们的策略实现了次线性后悔。我们的实验与合成和现实生活中的问题,并证明我们所提出的算法的灵活性和遗憾方面的优越性能。
2019-06-20 cs.LG stat.ML
Depth induces scale-averaging in overparameterized linear Bayesian neural networks
Harvard University(哈佛大学)
深度贝叶斯神经网络中的推理只有在无限宽度限制下才能得到充分理解,其中深度增加所提供的后验灵活性消失,后验预测崩溃为浅高斯过程。在这里,我们将有限深度线性贝叶斯神经网络解释为跨输出通道的高斯过程预测器的数据依赖尺度混合。我们利用这一观察来研究这些网络中的表示学习,使我们能够在一个统一的框架内连接以前研究中获得的有限结果。总的来说,这些结果推进了我们对深度如何影响简单贝叶斯神经网络中的推理的分析理解。
2021-11-23 cs.LG stat.ML
Structure learning of Bayesian networks involving cyclic structures
许多生物网络包括环状结构。在这种情况下,贝叶斯网络(BN)必须是非循环的,不是结构学习的可靠模型。可以使用动态BN,但是需要相对大的时间序列数据。我们讨论了一种替代模型,嵌入循环结构内无环BN,使我们仍然可以使用网络结构的因式分解属性和信息先验。我们提出了一个实现在线性高斯的情况下,循环结构被视为多变量节点。我们使用一个马尔可夫链蒙特卡罗算法的推理,使我们能够与后验分布的空间图。
2020-02-17 stat.ME
Randomised Bayesian Least-Squares Policy Iteration
École Polytechnique(巴黎综合理工学院);University of Oslo(奥斯陆大学);Athens University of Economics and Business(雅典经济与商业大学)
我们介绍了贝叶斯最小二乘策略迭代(BLSPI),一个关闭的政策,无模型,政策迭代算法,使用贝叶斯最小二乘时间差(BLSTD)学习算法评估政策。BLSPI的在线变体也被提出,称为随机化BLSPI(RBLSPI),它基于不完整的策略评估步骤来改进其策略。在在线环境中,探索-开发的困境应该得到解决,因为我们试图通过使用自己收集的样本来发现最优策略。RBLSPI利用BLSTD的优势来量化我们关于价值函数的不确定性。受Thompson采样的启发,RBLSPI首先从价值函数的后验分布中采样值函数,然后基于采样的价值函数选择动作。实验证明了RBLSPI的有效性和探测能力。
2019-04-06 cs.AI cs.LG stat.ML
PAC-Bayesian Analysis of Martingales and Multiarmed Bandits
Max Planck Institute(马克斯·普朗克研究所);Université Laval(拉瓦尔大学);University College London(伦敦大学学院);University of Leoben(莱奥本大学)
我们提出了两种替代的方法来应用PAC贝叶斯分析的相依随机变量序列。第一个是基于一个新的引理,使约束期望的凸函数的某些依赖随机变量的期望相同的功能的独立伯努利随机变量。这个引理为Hoeffding-Azuma不等式提供了一个替代工具,以限制鞅值的集中。我们的第二种方法是基于整合Hoeffding-Azuma不等式与PAC-Bayesian分析。我们还介绍了一种方法,应用PAC贝叶斯分析的情况下,有限的反馈。我们结合新的工具,以获得PAC贝叶斯推广和遗憾界的多臂强盗问题。虽然我们的遗憾边界还没有像基于其他成熟技术的最先进的遗憾边界那样紧密,但我们的结果显着扩展了PAC贝叶斯分析的潜在应用范围,并为强化学习和许多其他领域引入了一种新的分析工具,其中遇到了鞅和有限反馈。
2011-05-19 cs.LG stat.ML
PAC-Bayesian Bounds for Randomized Empirical Risk Minimizers
本文的目的是推广的PAC贝叶斯定理证明的Catoni在分类设置更一般的问题的统计推断。我们展示了如何控制随机估计的风险偏差。一个特别注意的是在一个小邻域的经典估计,其研究导致控制后者的风险随机估计。这些结果允许约束非常一般的估计程序的风险,以及执行模型选择。
2009-01-09 math.ST stat.ML stat.TH
Bayesian inference as iterated random functions with applications to sequential inference in graphical models
本文提出了具有半群性质的迭代随机函数的一般形式,在此形式下,精确和近似的贝叶斯后验更新可以看作是具体的例子。给出了迭代随机函数的一个收敛定理。作为一般理论的应用,我们分析的收敛行为的精确和近似的消息传递算法中出现的顺序变点检测问题,制定通过一个潜在的变量有向图模型。通过仿真实例说明了顺序推理算法及其支持理论。
2013-11-01 math.ST stat.ME stat.ML
Linear-Time Algorithm in Bayesian Image Denoising based on Gaussian Markov Random Field
Yamagata University(山形大学);Tohoku University(东北大学)
在本文中,我们考虑贝叶斯图像去噪的高斯马尔可夫随机场(GMRF)模型的基础上,我们提出了一种新的算法。我们的方法可以解决贝叶斯图像去噪问题,包括超参数估计,在$O(n)$时间,其中$n$是在给定的图像中的像素的数量。从计算时间的顺序的角度来看,这是一个国家的最先进的算法,目前的问题设置。此外,我们的数值实验结果表明我们的方法在实践中是有效的。
2020-03-03 cond-mat.dis-nn cs.CV stat.ML
Bayesian inference on random simple graphs with power law degree distributions
我们提出了一个随机简单图的模型,其度分布服从幂律(即,重尾)。为了实现这种行为,在图中的边缘概率构造从Bertoin-Fujita-Roynette-Yor(BFRY)随机变量,最近已被利用在贝叶斯统计的幂律模型在几个应用中的建设。我们的构造很容易扩展到捕获潜在因素的结构,类似于随机块模型,同时保持其幂律度分布。在变分贝叶斯推断例程中,BFRY随机变量很好地近似于伽马随机变量,我们将其应用于幂律度分布是自然假设的几个网络数据集。通过概率推理学习BFRY分布的参数,我们能够从数据中自动选择适当的幂律行为。为了进一步扩展我们的推理过程,我们采用随机梯度上升例程,其中梯度是在小批量上计算的(即,图中的边的子集)。
2017-06-18 stat.ML
Combining Random Walks and Nonparametric Bayesian Topic Model for Community Detection
几十年来,社区检测一直是一个活跃的研究领域。在所有的概率模型中,随机块模型一直是最流行的一种。提出了一种基于随机游动和分层Dirichlet过程的社区抽取概率模型RW-HDP。在RW-HDP中,在社交网络中进行的随机游动被视为文档;节点被视为单词。通过使用分层狄利克雷过程,一个非参数贝叶斯模型,我们不仅能够聚类节点到不同的社区,而且可以自动确定社区的数量。我们使用随机变分推断为我们的模型推理,这使得我们的方法的时间效率,可以很容易地扩展到一个在线学习算法。
2016-08-03 stat.AP stat.ML
Bayesian Exponential Random Graph Models with Nodal Random Effects
我们扩展了著名的和广泛使用的指数随机图模型(ERGM),包括节点的随机效应,以补偿网络节点的异质性。Caimo和Friel(2011)提出的ERGM的贝叶斯框架为我们的建模算法提供了基础。网络模型中的一个中心问题是模型选择问题,并且遵循贝叶斯范式,我们专注于估计贝叶斯因子。要做到这一点,我们开发了一个近似的,但可行的计算贝叶斯因子,允许一个追求模型选择。两个数据示例和一个小型模拟研究说明了我们的混合模型方法和相应的模型选择。
2015-01-12 stat.AP stat.ME
Bergm: Bayesian Exponential Random Graphs in R
在本文中,我们描述了Bergm软件包的主要特点,它提供了一个全面的框架指数随机图模型的贝叶斯分析:参数估计,模型选择和拟合优度诊断工具。我们通过对两个著名网络数据集的教程分析来说明这个软件包描述算法的功能。
2014-01-28 stat.AP stat.CO
Bayesian Models of Graphs, Arrays and Other Exchangeable Random Structures
大多数贝叶斯方法的自然栖息地是由可交换的观测序列表示的数据,其中de Finetti定理提供了理论基础。狄利克雷过程聚类、高斯过程回归和许多其他参数和非参数贝叶斯模型都属于这个框架的范围;现代数据分析中出现的许多问题都不属于这个框架。本文介绍了可以通过随机结构建模的图、矩阵和其他数据的贝叶斯模型。我们描述的结果在概率论,推广de Finetti的定理,这样的数据,并讨论其相关性的非参数贝叶斯建模。基本思想到位,我们调查的例子模型在文献中,这些模型的应用包括协同过滤,链接预测,图形和网络分析。我们还强调了图论和概率的最新发展的连接,并勾勒出更一般的贝叶斯方法的其他类型的数据序列和数组以外的数学基础。
2015-02-13 math.ST stat.ML stat.TH
Practical Bayesian Optimization for Variable Cost Objectives
我们提出了一种新的贝叶斯优化方法与环境变量的黑盒函数,其值决定评估成本和评估的保真度之间的权衡。此外,我们使用一种新的方法来采样支持点,允许更快的采集功能的建设。这使我们能够实现优化与较低的开销比以前的方法,并实现了更一般的一类问题。我们证明这种方法是有效的合成和现实世界的基准问题。
2018-05-15 stat.ML
Randomized Maximum Likelihood via High-Dimensional Bayesian Optimization
本文提出基于高斯过程代理模型的高维贝叶斯优化方法求解随机最大似然问题,并在医学和磁流体动力学等贝叶斯逆问题中验证了其优于传统优化方法。
2024-09-04 stat.CO
On the Equivalence of Random Network Distillation, Deep Ensembles, and Bayesian Inference
Delft University of Technology(代尔夫特理工大学)
本文揭示了随机网络蒸馏与深度集合、贝叶斯推断在理论上的等价性,提出了基于贝叶斯RND的后验抽样算法,为不确定性量化提供了新的理论基础。
2026-02-26 cs.AI cs.LG math.PR
Bayesian and Variational Bayesian approaches for flows in heterogenous random media
本文研究非均质随机介质中的渗流问题。我们提出了一种高效的正演模拟技术,是专为变分贝叶斯反演。作为一个出发点,提出的前向模拟技术分解的解决方案到可分离的函数(相对于随机性和空间),其中每一项计算的基础上变分方法的总和。这类似于适当的广义分解(PGD)。接下来,我们应用多尺度技术来求解每个项,并进一步将随机函数分解为1D字段。因此,我们提出的方法提供了一个近似层次的解决方案,因为我们增加了扩展中的术语数量,也增加了每个术语的空间分辨率。我们使用变分贝叶斯近似的分层解决方案分布进行反问题的不确定性量化。我们进行了详细的数值研究,以探讨所提出的不确定性量化技术的性能,并显示理论后验浓度。
2018-02-09 stat.AP stat.CO
Unbiased Bayesian Inference for Population Markov Jump Processes via Random Truncations
我们考虑连续时间马尔可夫过程中的人口的个体代理相互作用随机根据动力学规则。尽管这些模型在从生物学到智能城市等领域越来越突出,但此类系统的贝叶斯推断仍然具有挑战性,因为这些是具有潜在无限状态空间的连续时间离散状态系统。在这里,我们提出了一种新的有效的算法,联合状态/参数后验抽样人口马尔可夫跳跃过程。我们介绍了一类伪边缘采样算法的基础上的随机截断方法,使无限状态空间的原则性治疗。大量的基准模型的广泛评估表明,这种方法实现了相当大的节省相比,最先进的方法,保持精度和快速收敛。我们还介绍了合成生物学数据集的结果,显示了我们的工作的实际用途的潜力。
2016-05-13 stat.ML
A Tutorial on Bayesian Nonparametric Models
统计建模中的一个关键问题是模型选择,即如何在适当的复杂程度上选择模型。这个问题出现在许多设置中,最突出的是在混合模型中选择聚类数或因子分析中选择因子数。在本教程中,我们将描述贝叶斯非参数方法,这是一类通过允许数据确定模型复杂性来回避这个问题的方法。本教程是对贝叶斯非参数方法的高级介绍,并包含其应用的几个示例。
2011-08-04 stat.ME stat.ML
Random forward models and log-likelihoods in Bayesian inverse problems
我们考虑使用随机正向模型和对数似然内的贝叶斯方法来反问题。当使用更便宜的随机替代来近似计算上昂贵的模型时,如在高斯过程仿真(克里金法)中或在概率数值方法领域中,自然会出现对精确正演模型或对数似然的这种随机近似。我们证明了精确和近似贝叶斯后验之间的Hellinger距离是由真实和近似对数似然之间的差异的矩所限定的。这些稳定性结果的应用实例给出随机失配模型在大数据应用和概率解的常微分方程。
2018-09-28 cs.NA math.NA math.PR
Inference in Graded Bayesian Networks
Hamburg University of Technology(汉堡工业大学)
机器学习提供了可以从数据中学习并对数据进行推断或预测的算法。贝叶斯网络是一类图形模型,它允许通过有向无环图来表示随机变量的集合及其条件依赖关系。本文利用观测变量边际分布的热带化,给出了贝叶斯网络隐随机变量的一种推断算法。通过限制分级网络的拓扑结构,将建立分级贝叶斯网络的推理算法,该算法逐级评估隐随机变量,并以这种方式产生隐变量的最可能状态。该算法可以看作是分级贝叶斯网络的Viterbi算法的推广版本。
2018-12-23 cs.AI stat.ML
Bayesian Analysis of Simple Random Densities
Instituto de Matemática e Estatística da Universidade de São Paulo(圣保罗大学数学与统计学院)
该研究提出一种易处理的密度非参数先验,满足采样封闭性且具有恰当的后验渐近性,为密度的贝叶斯非参数分析提供新的先验选择。
2014-06-10 math.ST stat.TH
Bayesian Model Selection on Random Networks
随机网络模型的模型选择的一般贝叶斯框架,考虑其功能。我们的目标是开发一个原则贝叶斯模型选择的方法来比较不同的适合,不一定嵌套,模型的推理对这些网络的实现。随机网络模型的比较准则是通过贝叶斯因子和使用最广泛使用的损失函数的惩罚来制定的。参数化在不同的空间是不同的。为了克服这个问题,我们结合和编码的不同方面的复杂性的可观察空间。因此,给定一个特征的值范围,网络实现被提取。所提出的原则方法是基于寻找随机网络模型,这样,在感兴趣的特征和模型的复杂性之间保持合理的权衡,避免过拟合问题。
2020-04-28 stat.AP stat.ME
Regression in random design and Bayesian warped wavelets estimators
本文研究随机设计下的回归问题。我们调查的最小最大的角度来看,各种贝叶斯规则的基础上扭曲小波的渐近最优性,并表明他们几乎达到最佳的最小最大的收敛速度超过Besov光滑类考虑。翘曲小波是近年来出现的一种新的小波,它具有很好的可计算性和易于实现的特性,同时也很好地适应了统计问题。我们特别强调贝叶斯规则的小方差和大方差高斯先验知识,并讨论他们的模拟性能比较硬阈值程序。
2009-08-20 math.ST stat.TH
Compound random measures and their use in Bayesian nonparametrics
提出了一类新的相依随机测度,我们称之为{ \it复合随机测度},并考虑了在贝叶斯非参数混合模型中使用这些随机测度的归一化形式作为先验.它们的易处理性允许复合随机措施和归一化复合随机措施的属性来推导。特别是,我们展示了如何复合随机措施,可以与伽玛,$σ$稳定和广义伽玛过程边际。我们还推导了拉普拉斯指数的几种形式,并通过Lévy copula和相关函数来描述依赖性。在非参数混合模型中,当混合测度为归一化复合随机测度时,给出了用于后验推断的切片采样器和增广Pólya urn方案采样器,并给出了数据实例.
2015-09-02 stat.ME
Bayesian nonparametric scalar-on-image regression via Potts-Gibbs random partition models
标量图像回归旨在研究基于高维成像数据的感兴趣标量响应的变化。我们提出了一种新的贝叶斯非参数标量图像回归模型,利用体素的空间坐标组体素具有相似的影响的响应有一个共同的系数。我们采用Potts-Gibbs随机分区模型作为随机分区的先验,其中分区过程是空间依赖的,从而鼓励代表空间连续区域的组。此外,贝叶斯收缩先验用于识别与预测最相关的协变量和区域。使用模拟数据集说明了所提出的模型。
2022-06-22 stat.AP stat.ME
Bayesian Optimal Phase II design with optimised stopping boundaries and response-adaptive randomisation
MRC Biostatistics Unit, University of Cambridge(剑桥大学医学研究委员会生物统计学单位);Population Health Sciences Institute, Newcastle University(纽卡斯尔大学人口健康科学研究所)
针对原始BOP2框架等比例随机化、等间隔期中分析的设置缺陷,本研究引入BRAR与最优期中分析节点,在几乎不损失检验效能的前提下优化受试者分配与样本量,提供实操建议并开放仿真代码。
2025-11-18 stat.AP
On Bayesian Asymptotics in Stochastic Differential Equations with Random Effects
Delattre等人(2013)研究了与n个独立随机微分方程(SDEs)相关的随机效应总体参数的最大似然估计的渐近性质,假设SDEs是独立和相同的(iid)。在这篇文章中,我们考虑的贝叶斯方法来学习的总体参数,并证明了一致性和渐近正态性的相应的后验分布在iid设置以及当SDES是独立的,但不相同的。
2016-05-11 math.ST stat.TH
Fast Bayesian Non-Negative Matrix Factorisation and Tri-Factorisation
University of Cambridge(剑桥大学)
本文提出一种快速变分贝叶斯算法,用于非负矩阵分解和三因子分解,相比Gibbs采样和非概率方法,该方法在迭代和时间步收敛速度更快,且无需额外样本估计后验。
2016-10-26 cs.AI cs.LG cs.NA
Determination of hysteresis in finite-state random walks using Bayesian cross validation
考虑使用高阶马尔可夫链对有限状态随机游动的滞后建模问题。这封信介绍了一个贝叶斯框架,以确定,从数据中,在最近的历史上,一个轨迹是统计依赖的先前状态的数量。一般的建议是使用留一交叉验证,使用以封闭形式提供的易于计算的公式。重要的是,当存在大量数据时,使用平面模型先验的贝叶斯因子偏向于过于复杂的模型(更多滞后),而赤池信息准则(AIC)偏向于过于稀疏的模型(较少滞后)。
2018-07-20 cs.LG physics.data-an q-bio.QM
High dimensional Bayesian Optimization via Condensing-Expansion Projection
ISTBI, Fudan University(复旦大学ISTBI)
针对高维贝叶斯优化中随机嵌入依赖有效子空间假设的问题,提出CEPBO随机投影方法及高斯、哈希两种算法,实验表明其性能更优。
2024-08-09 cs.LG
Bayesian and empirical Bayesian forests
我们通过非参数贝叶斯模型获得决策树的集合,使我们能够将随机森林视为来自后验分布的样本。这种见解提供了大量的收益,在可解释性,并激励一类贝叶斯森林(BF)算法,产生小,但可靠的性能增益。基于BF框架,我们能够证明,高层次树层次结构是稳定的大样本。这导致了一个经验贝叶斯森林(EBF)算法建立近似的BF上的大规模分布式数据集,我们表明,EBF优于子采样为基础的替代品的大幅度。
2015-05-15 stat.AP
Dimension-free PAC-Bayesian bounds for the estimation of the mean of a random vector
本文给出了一个新的随机向量均值的估计,它是通过对范数应用某种门限函数来计算的。在弱矩假设下,利用PAC-Bayesian不等式证明了非渐近无量纲的几乎亚高斯界。
2018-02-12 math.ST stat.TH
Bayesian inference for exponential random graph models
指数随机图模型从统计学的角度来看是非常难以处理的模型,因为它们的归一化常数取决于模型参数,仅在非常平凡的情况下可用。我们展示了如何使用MCMC算法在贝叶斯框架中进行推理,从而避免了计算归一化常数的需要。我们使用的人口MCMC方法,加快收敛和改善混合的马尔可夫链。这种方法相对于Geyer和Thompson(1992)的蒙特卡罗极大似然方法改进了性能。
2010-09-29 stat.AP
Bayesian random-effects meta-analysis using the bayesmeta R package
随机效应或正态-正态分层模型常用于广泛的荟萃分析应用中。在这种情况下,贝叶斯推理方法非常有吸引力,特别是当荟萃分析仅基于少数研究时。bayesmeta R包提供了易于访问的工具来执行贝叶斯元分析并生成图表和摘要,而不必担心计算细节。它允许灵活的事先规范和即时访问所产生的后验分布,包括预测和收缩估计,并促进例如快速灵敏度检查。本文介绍了基本理论和展示其使用。
2018-10-10 stat.CO
Bayesian Inference of Online Social Network Statistics via Lightweight Random Walk Crawls
在线社交网络(OSN)包含了大量关于潜在社会的信息,这些信息尚未被探索。从OSN获取信息的最可行的技术之一,通过应用程序编程接口(API)请求爬行,对估计的保证提出了严重的问题。在这项工作中,我们专注于使用有限的API抓取进行可靠的统计推断。基于随机游动的再生性,提出了一种关于边上函数聚集和的无偏估计,并证明了估计方差与谱间隙之间的关系.为了便于贝叶斯推断估计的真实值,我们推导出估计的近似后验分布。最后,通过对真实网络中的推理问题进行数值实验,验证了所提出的思想。
2015-12-18 cs.SI physics.soc-ph stat.ML
PAC-Bayesian bounds for the Gram matrix and least squares regression with a random design
本文讨论的问题来源于由n个独立样本构成的随机向量的Gram矩阵的估计。它们包括协方差阵的估计和随机设计的最小二乘回归研究。我们提出了四种类型的结果,基于非渐近PAC-贝叶斯推广界:一个新的鲁棒估计的革兰氏矩阵协方差阵,经验革兰氏矩阵的新成果,新的鲁棒最小二乘估计和普通最小二乘估计的新成果,包括其确切的收敛速率多项式矩假设下。
2016-03-16 math.ST stat.TH
Bayesian inference for Gibbs random fields using composite likelihoods
吉布斯随机场在统计学中起着重要的作用,例如,自逻辑模型通常用于对定义在网格上的二进制变量的空间分布建模。然而,由于似然函数的复杂性,它们的工作是复杂的。因此,考虑对似然函数的易处理的近似是很自然的。复合似然提供了一个原则性的方法来构建这样的近似。本文的贡献是研究的性能的一组复合似然近似的背景下,贝叶斯推断。
2012-07-24 stat.CO
Nonnegative Bayesian nonparametric factor models with completely random measures for community detection
我们提出了一个贝叶斯非参数泊松因子分解模型建模网络数据的未知和潜在的重叠社区的数量不断增加。该构造基于完全随机的措施,并允许社区的数量以指定的对数或多项式速率随节点的数量增加,或者有界。我们开发的节点数量和网络的度分布的渐近性,并推导出一个马尔可夫链蒙特卡罗算法,针对这个模型的确切后验分布。该方法的实用性说明了各种真实的网络。
2019-02-27 cs.SI stat.ME
DPGLM: A Semiparametric Bayesian GLM with Inhomogeneous Normalized Random Measures
提出一种变权重相依狄利克雷过程模型,扩展半参数广义线性模型,通过非参数先验和指数倾斜实现非齐次随机测度,并验证其有效性与应用。
2025-03-28 stat.ME
Bayesian nonparametric models for spatially indexed data of mixed type
我们开发贝叶斯非参数模型的混合类型的空间索引数据。我们的工作受到环境流行病学中出现的挑战的激励,通常存在几个表现出复杂相互作用和高度相关性的混杂变量,这使得难以估计和理解风险因素对健康结果的影响。我们采用的建模方法假设响应和混杂变量是连续潜变量的表现形式,并使用多变量高斯来联合建模。响应和混杂变量未被同等对待,因为响应分布的相关参数仅根据解释变量或风险因素建模。空间依赖性是通过允许的非参数过程先验的权重是位置特定的,高斯马尔可夫随机场的概率变换获得的。混杂变量和空间配置在模型中具有类似的作用,因为它们只影响,以及响应,分配到混合物成分的区域的概率,从而允许灵活调整观察到的混杂因素的影响,同时允许剩余空间结构的可能性,可能由于未测量或未发现的空间变化因素而发生。该模型的各个方面都说明了在模拟研究和应用程序的一个真正的数据集。
2014-10-15 stat.ME
Bayesian composite confidence interval for the tail index under randomly right-censored data
本文针对随机右删失数据下的重尾分布尾部指数,提出基于Jeffrey先验的贝叶斯复合似然估计方法,并利用后验分布构造置信区域,通过模拟和真实数据验证其性能。
2024-06-17 math.ST stat.TH
A PAC-Bayesian Analysis of Randomized Learning with Application to Stochastic Gradient Descent
Amazon AI(亚马逊人工智能)
我们研究了随机学习算法的泛化误差--重点是随机梯度下降(SGD)--使用PAC贝叶斯和算法稳定性的新组合。重要的是,我们的泛化边界适用于算法随机超参数的所有后验分布,包括依赖于训练数据的分布。这启发了SGD的自适应采样算法,该算法在运行时优化后验。我们分析了这个算法的背景下,我们的泛化范围和基准数据集上进行评估。我们的实验表明,自适应采样可以降低经验风险比均匀采样,同时也提高了样本外的准确性。
2020-06-20 cs.LG