Convergence Rates of Nonparametric Posterior Distributions
研究了后验分布的渐近性态。给出了一般的后验收敛速度定理，推广了Ghosal和Van der Vaart（2000），Shen和Wasserman（2001）以及Walker，Lijor和Prunster（2007）关于后验收敛速度的结果.我们的主要工具是Hausdorff $α$ -熵（Xing and Ranneby，2008）和先验集中度的新概念，它是Ghosal和Van der Vaart（2000）提供的通常先验集中度的轻微改进。我们将我们的结果应用到几个统计模型。
2008-04-17 math.ST stat.TH
Efficient Bayesian estimation and use of cut posterior in semiparametric hidden Markov models
本文研究了具有有限状态空间和非参数发射分布的隐马尔可夫模型的估计问题。给出了转移阵的有效估计，并推导出半参数Bernstein-von Mises结果.在此基础上，我们提出了一个模块化的方法，使用切割后联合估计的转移阵和发射密度。我们推导出这种方法的收缩率的一般定理。然后，我们将展示如何将这一结果可以应用于获得收缩率的结果，在我们的设置中的发射密度，一个关键的中间步骤是一个反演不等式有关$L^1$之间的距离的边缘密度之间的$L^1$距离的排放量。最后给出了平滑概率的压缩结果，避免了常用的样本分裂方法。仿真证明了理论和易于实现。
2023-03-08 math.ST stat.ME stat.TH
Percolation Thresholds of Updated Posteriors for Tracking Causal Markov Processes in Complex Networks
复杂网络上的渗流已经被用来研究计算机病毒、流行病和其他偶然过程。在这里，我们提出了一个网络特定的，观察依赖的，相变的节点状态的更新后，积极监测网络的存在条件。由于传统的逾渗阈值是使用独立于观察的马尔可夫链导出的，因此后验的阈值应该更准确地模拟网络的真实相变，因为更新后的后验更准确地跟踪该过程。这些条件应该提供洞察建模的动态响应更新后的积极干预和控制政策，同时监测大型复杂网络。
2009-05-14 stat.AP stat.ML
On convergence rates of Bayesian predictive densities and posterior distributions
贝叶斯后验分布的频率型大样本性质，如一致性和收敛速度，在非参数问题中是重要的考虑因素。在本文中，我们给出了贝叶斯渐近分析的基础上，主要是预测密度。我们的分析是统一的，在这个意义上，基本上可以采取相同的方法来开发收敛速度的结果在iid，错误指定的iid，独立的非iid，和依赖的数据情况。
2012-09-29 math.ST stat.TH
Convergence Rates of Variational Posterior Distributions
本文研究了变分后验分布在非参数和高维推断下的收敛速度。我们制定了一般条件的前，似然，变分类的特点收敛速度。在文献中考虑的类似“先验质量和测试”条件下，发现该速率是两项的总和。首项表示真实后验分布的收敛速度，第二项由变分逼近误差贡献。对于一类先验，我们提出了一个新的先验质量条件，在该条件下，平均场类的变分逼近误差由真后验的收敛速度决定.通过推导相应变分后验的收敛速度，我们证明了我们的一般结果对各种模型、先验分布和变分类的适用性。
2019-06-17 math.ST stat.ML stat.TH
Convergence rates for posterior distributions and adaptive estimation
本文的目的是提供后验分布的收敛速度的定理，可以应用于获得良好的收敛速度的背景下，密度估计以及回归。我们展示了如何选择先验，使后验分布收敛于最佳速率，而无需事先知道的光滑程度的密度函数或回归函数估计。
2004-10-05 math.ST stat.TH
Posterior Convergence and Model Estimation in Bayesian Change-point Problems
研究了变点个数和位置未知时贝叶斯多变点回归问题的后验分布。虽然它是相对容易应用的一般理论，以获得$O(1/\sqrt{n})$率到一些对数因子，显示精确的参数收敛速率的后验分布需要额外的工作和假设。此外，我们证明了在这些假设下的段水平的渐近正态性。对于变点数量的推断，我们表明贝叶斯方法可以产生一致的后验估计。最后，我们认为，逐点后验收敛性能证明可能有坏的有限样本性能，一致的后验模型选择必然意味着最大平方风险将渐近大于最佳$O(1/\sqrt{n})$率。这是其他作者已经注意到并研究过的同一现象的贝叶斯版本。
2008-08-20 math.ST stat.TH
About the posterior distribution in hidden Markov models with unknown number of states
本文研究了有限状态空间平稳隐马尔可夫模型（HMM）在隐状态数未知的情况下。我们提供了一个频率论的贝叶斯分析方法的渐近评价。我们的主要结果给出了边缘密度的后验集中率，即对于固定数量的连续观测的密度。使用先验条件，我们就能够定义一个一致的贝叶斯估计的隐藏状态的数量。已知过拟合Hyndrome的似然比检验统计量具有非标准行为且是无界的。我们对先验的条件可以被看作是一种惩罚参数以避免这种现象的方法。参数的推断是一个更困难的任务比推断的边缘密度，我们仍然提供了一个精确的描述的情况下，观察是独立同分布。并且我们允许$2$可能的隐藏状态。
2014-10-24 math.ST stat.TH
On rates of convergence for posterior distributions in infinite-dimensional models
本文介绍一种研究后验分布收敛速度的新方法。它是最近贝叶斯一致性研究方法的自然扩张。特别地，我们改进了Dirichlet过程模型和随机伯恩斯坦多项式模型的混合模型的收敛速度。
2007-08-14 math.ST stat.TH
On rates of convergence for posterior distributions under misspecification
我们将Walker（2003，2004）的方法推广到错误指定模型的情况。基于一个涉及鞅的关键恒等式，给出了判定收敛速度的一个充分条件。我们还粗略地表明，通过使用测试得到的结果也可以得到我们的方法，这表明了潜在的更广泛的适用性，这种方法。
2007-02-06 math.ST stat.TH
Exactly Optimal Quickest Change Detection of Markov Chains
本文建立了马尔可夫链贝叶斯最快变化检测（QCD）的一个精确最优规则是不变后验的阈值检验。我们还提供了一个计算效率的标量过滤器的无变化后验的努力是独立的尺寸的链。证明了当前后链在相对熵率意义下过于接近时，不变后验概率可以表现出（不希望的）弱实用上鞅现象。在模拟研究中检查所提出的检测器。
2023-03-24 cs.SY eess.SY math.ST
On posterior distribution of Bayesian wavelet thresholding
我们调查后收敛速率小波收缩使用贝叶斯方法在一般Besov空间。而不是研究与特定损失函数相关的贝叶斯估计，我们专注于后验分布本身从非参数贝叶斯渐近的角度来看，并研究其收敛速率。我们得到相同的速度在\citet{abramovich04}，其中作者研究了几个贝叶斯估计的收敛性。
2007-09-21 math.ST stat.TH
Posterior concentration and fast convergence rates for generalized Bayesian learning
Dalhousie University（达尔豪斯大学）；University of Science（理大学）；Vietnam National University（越南国立大学）；AISIA Research Lab（AISIA研究实验室）；University of Delaware（特拉华大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文研究了一般情形下广义Bayes估计的学习率，其中假设类可以是不可数的且形状不规则，损失函数可以有重尾，最优假设可能不唯一.证明了在多尺度Bernstein条件下，广义后验分布集中在最优假设集附近，广义Bayes估计具有较快的学习速度.我们的结果表明，标准的贝叶斯线性回归是强大的重尾分布。
2021-11-19 cs.LG math.ST stat.TH
Blankets Joint Posterior score for learning Markov network structures
Universidad Tecnológica Nacional（国立科技大学）；Research Institute for Signals, Systems and Computational Intelligence（信号、系统与计算智能研究所）；CONICET（阿根廷国家科学与技术研究理事会）
马尔可夫网络被广泛用于在广泛的领域中对复杂的顺序、空间和关系交互进行建模。通过学习域的独立性结构，可以获得更准确的联合概率分布，用于推理任务，或者更直接地用于解释变量之间最重要的关系。最近，一些研究人员已经研究了通过获得给定可用数据的概率最大后验结构来从数据中自动学习结构的技术。然而，所有提出的近似分解后的整个结构到局部的子问题，通过假设所有变量的马尔可夫毯的后验是相互独立的。在这项工作中，我们提出了一个评分函数放松这样的假设。毯式联合后验分数将结构的联合后验计算为其马尔可夫毯式集合的联合分布。从本质上讲，整个后验是通过计算每个变量的毯子的后验作为条件分布来获得的，该条件分布考虑了网络中其他毯子的信息。我们在实验结果中表明，在学习复杂网络时，所提出的近似可以提高最先进分数的样本复杂性，其中覆盖变量之间的独立性假设显然是不正确的。
2017-03-27 cs.AI stat.ML
Geometric ergodicity of Gibbs samplers for the Horseshoe and its regularized variants
马蹄铁是高维贝叶斯线性回归中广泛使用的一种连续收缩先验。最近，正则化版本的马蹄事先也已在文献中介绍。在文献中已经开发了各种吉布斯采样马尔可夫链，以从相应的难处理的后验密度生成近似样本。建立这些马尔可夫链的几何遍历性为基于马尔可夫链的后验量估计的渐近标准误差的准确性提供了关键的技术依据。在本文中，我们建立了几何遍历对应于马蹄先验及其正则化变量的线性回归的背景下，各种吉布斯采样。首先，我们建立了几何遍历的吉布斯采样器的原始马蹄后严格弱于现有的分析文献中的条件下。其次，我们考虑了Piironen和Vehtari（2017）中引入的正则化马蹄先验，并证明了Gibbs采样马尔可夫链从相应的后验中采样的几何遍历性，而无需对全局和局部收缩参数进行任何截断约束。最后，我们考虑Nishimura和Suchard（2020）中引入的正则化马蹄先验的一个变体，并再次建立Gibbs采样马尔可夫链的几何遍历性，以从相应的后验中采样。
2021-01-02 math.ST stat.TH
Convergence rates of posterior distributions for observations without the iid structure
在贝叶斯非参数过程的渐近性研究中，一致指数相容检验存在的经典条件被广泛采用。因为我们遵循贝叶斯方法，所以探索包含先验分布的替代和适当条件似乎更自然。本文给出了一个新的先验相关积分条件，建立了不一定独立同分布观测值的一般后验收敛速度定理。Ghosal和van der Vaart \cite{ghv1}最近研究了这种观测的后验收敛速度。我们还采用了Xing和Ranneby给出的Hausdorff $α$ -熵\cite{xir1} \cite{xi1}，它也是先验依赖的，并且比广泛使用的度量熵要小.这导致了几个现有定理的扩展。特别地，我们建立了一般Markov过程的后验收敛速度定理，并作为其应用，改进了目前已知的非线性自回归模型的后验收敛速率.
2008-11-28 math.PR math.ST stat.TH
Posterior convergence for approximated unknowns in non-Gaussian statistical inverse problems
在贝叶斯框架下，研究了在有噪声的间接观测下，估计无穷维未知量的概率分布的统计逆问题。在实践中，人们通常只考虑有限维的未知数，并在数值上研究它们的概率。由于许多未知数是函数值的，所以当对未知数的有限维近似进行细化时，了解估计的概率是否收敛是有意义的。在这项工作中，广义贝叶斯公式是一个强有力的工具，在收敛性的研究。借助于广义贝叶斯公式，将后验分布的收敛问题归结为未知量的有限维（或任何其他）近似的收敛问题。该方法允许多种先验分布，而限制主要针对噪声模型和直接理论。讨论了后验分布的三种收敛模式：弱收敛、集态收敛和变分收敛。研究了条件均值估计的收敛性。提供了几个适用的无限维非高斯噪声模型的例子，包括某些非高斯措施的Cameron-Martin公式的推广。研究了贝叶斯统计反问题的适定性。
2011-12-05 math.ST stat.TH
Convergence Rates of Empirical Bayes Posterior Distributions: A Variational Perspective
本文研究了经验贝叶斯后验分布在非参数和高维推断下的收敛速度。证明了只要超参数集是离散的，由极大边际似然估计量导出的经验Bayes后验分布可以看作是分层Bayes后验分布的变分逼近.经验贝叶斯和变分贝叶斯之间的这种联系使我们能够利用变分贝叶斯文献中的最新结果，并从变分的角度直接获得经验贝叶斯后验分布的收敛速度。对于一个更一般的超参数集，不一定是离散的，我们引入了一种新的技术，称为“先验分解”来处理先验分布，可以写为凸组合的概率测度，其支持是低维子空间。这导致了经验贝叶斯的收敛速度的经典“先验质量和检验”条件的广义版本。我们的理论被应用到一些统计估计问题，包括非参数密度估计和稀疏线性回归。
2020-09-08 math.ST stat.ML stat.TH
Posterior Convergence of Nonparametric Binary and Poisson Regression Under Possible Misspecifications
在这篇文章中，我们研究了非参数二元和Poisson回归在可能的模型误设定下的后验收敛性，假设一般的随机过程具有适当的性质。我们的二元回归模型设置和目标类似于Ghosal和Roy（2006），其中作者使用了熵界和指数相合检验的方法，并使用了筛法来实现与高斯过程先验的一致性。相比之下，对于二元和泊松回归，使用一般的随机过程先验，我们的方法包括验证渐近均分性质以及筛分方法，这是Shalizi（2009）的一般结果的一种机动，甚至对错误指定的模型也有用。此外，我们不仅要建立后验一致性，还要建立后验概率收敛的速率，即Kullback-Leibler发散速率。我们还研究了传统的后验收敛速度。有趣的是，从主观贝叶斯的角度来看，我们将表明，后验预测分布可以准确地近似最好的可能的预测分布在这个意义上的Hellinger距离，以及两个分布之间的全变差距离可以趋于零，尽管误指定。
2020-05-01 math.ST stat.TH
Parallel Markov Chain Monte Carlo for Non-Gaussian Posterior Distributions
大数据和分析研究的最新发展产生了大量的大型数据集，由于计算机内存或存储容量的限制，这些数据集太大而无法进行整体分析。为了解决这些问题，已经开发了用于大数据的贝叶斯分析的无通信并行马尔可夫链蒙特卡罗（MCMC）方法。这些方法将数据划分为可管理的子集，对每个子集执行独立的贝叶斯MCMC分析，并结合子集后验样本来估计完整的数据后验。目前的方法组合子集后验样本包括样本平均，加权平均，和内核平滑技术。虽然这些方法对于高斯后验分布效果很好，但是对于非高斯后验分布，它们并不十分适合。在这里，我们开发了一个新的直接密度乘积方法，结合子集的边缘后验样本估计全数据的边缘后验密度。使用一个常用的实现距离度量，我们在模拟研究的贝叶斯模型与非高斯后验，我们的方法优于现有的方法在近似的完整数据的边缘后验。由于我们的方法只估计边缘密度，因此对分析的模型参数数量没有限制。我们的方法适用于连续参数空间中具有固定维数的未知参数的贝叶斯模型。
2015-06-10 stat.ME
Computing the Bayesian Factor from a Markov chain Monte Carlo Simulation of the Posterior Distribution
从模拟的后验分布的边缘似然计算是贝叶斯模型选择的核心，但计算困难。我认为，边际可能性可以可靠地计算出后验样本仔细注意的概率积分的数值。假定边缘似然的表达式为勒贝格积分，我们可以将调和平均近似从样本统计量转换为求积规则。作为一种求积方法，调和平均近似会产生巨大的截断误差。此外，我证明了调和平均近似的积分表达式收敛缓慢，在最好的高维问题与无信息的先验分布。这些意见导致两个计算适度的正交算法，使用完整的一般性样本后验，但没有不稳定的家庭。第一种算法自动消除了样本中截断误差较大的部分。第二种算法利用后验样本将概率分配给样本空间的一个分区，并直接进行边缘似然积分。这消除了收敛问题。第一种算法类似于标准求积，但只能应用于收敛问题。第二种是体积的混合：它使用后验来发现和镶嵌样本空间的子集，并使用分位数来计算代表性的字段值。这两种算法都没有对后验分布的形状做出强有力的假设，也不是敏感的离群值。[删节]
2010-06-22 astro-ph.CO astro-ph.IM math.ST
Some Simple Formulas for Posterior Convergence Rates
我们推导出一些简单的关系，展示了如何后验收敛速度与两个驱动因素：一个“惩罚发散”的前，这措施的能力，提出了一个不可忽略的工作模型，以近似真实的模型和“规范复杂性”的前，这措施的复杂性的前支持，加权的先验概率群众的先验分布。这些公式是明确的，不涉及任何必要的假设，易于应用。我们将这种方法应用到模型平均的情况下，得到一些有用的预言不等式，可以优化性能自适应不知道真正的模型。
2014-11-11 math.ST stat.TH
Advanced posterior analyses of hidden Markov models: finite Markov chain imbedding and hybrid decoding
National Centre for Register-based Research, Department of Public Health, Aarhus University（丹麦奥胡斯大学公共卫生系注册基于研究国家中心）；Bioinformatics Research Centre, Aarhus University（丹麦奥胡斯大学生物信息学研究中心）；Section for Evolutionary Genomics, Globe Institute, University of Copenhagen（丹麦哥本哈根大学全球研究所进化基因组学部门）；Department of Mathematics, Aarhus University（丹麦奥胡斯大学数学系）
本文提出有限马尔可夫链嵌入与混合解码方法，分别用于计算隐马尔可夫模型隐状态汇总统计量的后验分布和改进解码性能，并引入调谐参数选择新程序，在经典数据集上验证了优越性。
2025-04-21 cs.LG stat.ML
Bayes posterior convergence for loss functions via almost additive Thermodynamic Formalism
统计推断可以看作是涉及输入信息和输出信息的信息处理过程，它更新了对某些未知参数的信念。我们认为贝叶斯框架的动力系统从遍历的观察，贝叶斯过程是基于吉布斯后验推理，一个决策过程推广的标准贝叶斯推理的可能性是由指数的损失函数。在直接观测和几乎可加损失函数的情形下，证明了后验测度在极限测度下的指数收敛性。我们对直接观测的贝叶斯后验收敛的估计是相关的，并推广了K。McGoff，S. Mukherjee和A.诺贝尔奖我们的方法利用非添加剂的热力学形式主义和大偏差属性，而不是连接。
2022-01-13 math.DS math.PR math.ST
Convergence rates of posterior distributions for noniid observations
研究了基于既不独立又不同分布观测值的后验分布和Bayes估计的渐近性态。我们给出了一般结果的收敛速率的后验测量相对于来自测试标准的距离。然后，我们专门研究我们的结果，独立的，非同分布的观测，马尔可夫过程，平稳高斯时间序列和白噪声模型。我们将我们的一般结果应用到无限维统计模型的几个例子中，包括带正态误差的非参数回归、二元回归、泊松回归、区间删失模型、时间序列谱密度的Whittle估计和非线性自回归模型。
2007-08-03 math.ST stat.TH
Empirical Bayes analysis of spike and slab posterior distributions
在稀疏正态均值模型中，考虑了与尖峰和平板先验分布相关的贝叶斯后验分布的收敛性。通过边际最大似然经验贝叶斯校准的关键稀疏超参数。插件的后验平方$L^2$规范收敛于最小最大速率的欧几里德规范适当选择的尖峰和板分布。可能的选择包括标准的道钉和厚尾板，以及Rocková和George的道钉和厚尾板LASSO。令人惊讶的是，流行的拉普拉斯平板显示，导致一个次优率的完整的经验贝叶斯后验。这提供了一个引人注目的例子，其中经验贝叶斯后验的各方面的收敛并不需要完整的经验贝叶斯后验本身的收敛。
2018-10-16 math.ST stat.TH
Posterior convergence rates of Dirichlet mixtures at smooth densities
研究了正态分布的Dirichlet混合分布作为先验的贝叶斯密度估计的后验分布的收敛速度。假设真密度是连续可微的两倍。带宽由先验序列给出，该先验序列是通过按适当的顺序缩放单个先验而获得的。为了处理这个问题，我们推导出一个新的一般率定理，考虑可数覆盖的参数空间的先验概率满足可和性条件以及某些个人的界限上的Hellinger度量熵。我们应用这一新的一般定理后收敛速度计算界Hellinger（括号）熵数的参与类的密度，在一个光滑的密度的近似正常的混合物和浓度率的前。最好的可获得的收敛速率的后变成是等同于众所周知的频率论率的综合均方误差$n^{-2/5}$的对数因子。
2007-08-14 math.ST stat.TH
General Robust Bayes Pseudo-Posterior: Exponential Convergence results with Applications
虽然贝叶斯推理在包括统计学家在内的很大一部分科学家中是一种非常流行的范式，但大多数应用都考虑了客观的先验知识，需要进行严格的调查（Efron，2013，Science）。虽然它有几个最佳的属性，贝叶斯推理的一个主要缺点是缺乏对数据污染和模型错误指定的鲁棒性，这在使用客观先验时变得有害。本文给出了一种能产生稳健推断的Bayes伪后验分布的一般形式。在一般的参数设置下建立了与新的伪后验估计和相应的Bayes估计相关的指数收敛结果，并对独立平稳和非齐次模型进行了说明.几个额外的细节和属性的过程中描述，包括固定设计回归模型下的估计。
2020-09-10 math.ST stat.ME stat.TH
Posterior Convergence Analysis of $α$-Stable Sheets
本文讨论了$α$ -稳定片$U$在$\mathbb{R}^d$上的理论认识.我们这样做的动机是在贝叶斯逆问题的背景下，我们认为这些过程作为先验分布，旨在量化后验信息。我们得到的收敛结果指的是无限维随机变量的有限维近似。在这样做时，我们使用了一些变量，这些表可以采取，如随机整表示，但也随机系列扩展通过泊松过程。我们的证明将依赖于$U$是否可以省略$L^p$ -样本路径的事实。为了帮助有限近似的收敛，我们提供了一个自然的离散化来表示先验。除了收敛这些稳定的床单，我们解决是否同时适定性和良好的明确性的反问题可以实现。
2019-08-12 math.PR math.ST stat.TH
Gibbs posterior convergence and the thermodynamic formalism
在本文中，我们考虑了贝叶斯框架的推断动力系统遍历观测。建议的贝叶斯过程是基于吉布斯后验，标准贝叶斯推理的决策理论概括。我们把一个先验模型类组成的参数化家庭的吉布斯措施的混合移位的有限型。这个模型类通过允许长范围依赖性来概括（隐藏）马尔可夫链模型，包括任意大阶的马尔可夫链。我们刻画了当观测值个数趋于无穷大时，Gibbs后验分布在参数空间上的渐近行为。特别是，我们定义了一个有限的变分问题的空间上的连接的模型系统与观察到的系统，我们表明，吉布斯后验分布集中在这个变分问题的解决方案。在适当指定的模型的情况下，我们的收敛结果可以用来建立后验一致性。这项工作建立了吉布斯后验推理和热力学形式主义之间的紧密联系，这可能会激发新的证明技术在相依过程的贝叶斯后验一致性的研究。
2019-01-24 math.DS math.PR math.ST
Posterior Convergence of Gaussian and General Stochastic Process Regression Under Possible Misspecifications
本文研究了非参数回归模型的后验收敛性，其中未知的回归函数由适当的随机过程建模。在这方面，我们考虑两个设置。第一种设置是基于高斯过程，其中协变量是随机的或非随机的，噪声可以是正态分布或双指数分布。在第二种设置中，我们假设基本的回归函数是由一些合理光滑的，但未指定的随机过程满足合理的条件。噪声的分布也未指定，但假设是厚尾的。在以前的研究中，关于同样的问题，我们不假设真理在于假设的参数空间，从而明确允许的可能性误指定。我们利用Shalizi（2009）的一般结果，不仅建立了后验一致性，而且建立了后验概率收敛的速率，即Kullback-Leibler发散速率。我们还研究了更熟悉的后验收敛速度。有趣的是，我们表明，后验预测分布可以准确地近似最好的可能的预测分布的意义上说，Hellinger距离，以及两个分布之间的全变差距离可以趋于零，尽管误指定。
2020-05-01 math.ST stat.ME stat.TH
Overfitting hidden Markov models with an unknown number of states
本文提出了有限状态空间下过拟合隐马尔可夫模型的贝叶斯估计的新理论和方法。然后，目标是实现额外状态的后空。一个先验的配置，有利于配置的隐马尔可夫链保持遍历，虽然它清空了一些状态。从理论上证明了渐近后验收敛速度，并通过大样本模拟进行了验证。过拟合的障碍的问题，然后被认为是在较小的样本量的背景下，由于计算和混合的问题，两个替代的先验结构进行了研究，一个常用的在实践中，和两个先验的混合物。van Havre（2015）的先验并行回火方法也扩展到Hynomial，以允许复杂后验空间的MCMC估计。一个重复的模拟研究和深入的探索进行比较的三个先验与超参数选择的渐近约束旁边的信息较少的替代品。
2016-02-08 math.ST stat.ME stat.TH
Adaptive Posterior Convergence Rates in Bayesian Density Deconvolution with Supersmooth Errors
使用非参数先验分布的贝叶斯密度反卷积是基于频率核的反卷积估计的有用替代方案，这是由于其潜在的广泛适用性、直接的不确定性量化和对更复杂模型的可推广性。这篇文章是第一个实质性的努力，从理论上量化的行为，在最近的研究路线。特别地，假设已知的超光滑误差密度，在真密度上的法线的狄利克雷过程混合导致与在适当的密度的霍德尔空间的光滑度$η$上自适应的极小极大速率$(\log n)^{-η/β}$相同的后验收敛速度，其中$β$是误差分布的光滑度。我们的主要贡献是实现自适应极小极大率相对于$L_p$规范$2 \leq p \leq \infty$在温和的正则性条件下的真密度。途中，我们开发了严格的浓度范围的一类核为基础的反卷积估计，这可能是独立的利益。
2013-09-09 math.ST stat.TH
Γ-convergence of Onsager-Machlup functionals. Part I: With applications to maximum a posteriori estimation in Bayesian inverse problems
统计逆问题的贝叶斯解可以用后验分布的一种模式来概括，即MAP估计量。MAP估计基本上与逆问题的（正则化）变分解相一致，被视为后验测量的Onsager-Machlup泛函的最小化。反问题稳定性分析中的一个公开问题是建立由变分方法和贝叶斯方法获得的解的收敛性质之间的关系。为了解决这个问题，我们提出了一个通用的收敛理论的模式，是基于$Γ$收敛的Onsager-Machlup泛函，并将此理论应用到贝叶斯逆问题与高斯和边缘保持Besov先验。本文的第二部分考虑更一般的先验分布。
2021-11-29 cs.NA math.NA math.PR
A remarkably simple and accurate method for computing the Bayes Factor from a Markov chain Monte Carlo Simulation of the Posterior Distribution in high dimension
Weinberg（2012）描述了一种用于从后验分布的马尔可夫链模拟计算边际似然Z的构造性算法。其要点是：积分子域的选择，消除了由于后验概率的低尾值而导致的采样差的子体积。相反，这个相同的想法可以用于选择优化Z的准确度的子域。在这里，我们探索使用模拟分布来定义高后验概率的小区域，然后使用Weinberg（2012）中描述的体积镶嵌算法对选定区域中的样本进行数值积分。更有希望的是这个小区域的restling，然后是一个天真的蒙特卡罗积分。新的增强算法是计算平凡的，并导致显着提高精度。例如，这种新算法的应用程序的四个组成部分的混合物与随机位置在16个维度产生准确的评估Z与5%的误差。这使得贝叶斯因子模型选择的现实世界的问题，已经不可行的与以前的方法。
2013-01-14 astro-ph.IM stat.ME
Efficient Bayesian Sampling Using Normalizing Flows to Assist Markov Chain Monte Carlo Methods
Flatiron Institute（熨斗研究所）；Center for Data Science, New York University（纽约大学数据科学中心）；Stanford University（斯坦福大学）；Courant Institute, New York University（纽约大学柯朗研究所）
规范化流可以生成复杂的目标分布，因此在贝叶斯统计的许多应用中显示出希望，作为MCMC的替代或补充。由于事先没有来自目标后验分布的数据集可用，因此通常使用仅需要来自基础分布的样本的反向Kullback-Leibler（KL）发散来训练流程。当后验复杂且难以用未经训练的归一化流进行采样时，该策略可能表现不佳。在这里，我们探索了一种独特的训练策略，使用直接库尔贝克-莱布勒散度作为损失，其中来自后验的样本通过以下方式生成：（i）在后验上使用归一化流来辅助局部MCMC算法以加速其混合速率，以及（ii）使用以这种方式生成的数据来训练流。该方法只需要有限数量的\textit{a~priori}输入后验，并可用于估计模型验证所需的证据，我们举例说明。
2021-07-16 cs.LG physics.data-an stat.ML
Efficient Exploration of Multi-Modal Posterior Distributions
马尔可夫链蒙特卡罗（MCMC）算法是一种被广泛认为是一种有效的方法来采样指定的后验分布。然而，当后验是多模态的，传统的MCMC算法要么往往会陷入一个局部模式，成为非马尔可夫或需要一个过长的时间来探索的分布的全局属性。我们提出了一种新的MCMC的变体，混合MCMC，它利用了一个专门设计的建议密度，允许从任何一个不同的模式生成候选点。这种新方法是有效的设计，是严格的马尔可夫。我们提出了我们的方法，并将其应用到一个玩具模型推理问题，以证明其有效性。
2014-08-18 astro-ph.IM stat.CO
Equivalence of Convergence Rates of Posterior Distributions and Bayes Estimators for Functions and Nonparametric Functionals
研究了非参数回归中具有高斯过程先验的贝叶斯方法的后验收缩率及其对微分算子的插入性。对于一般类的内核，我们建立收敛速度的后验测量的回归函数及其衍生物，这都是最小最大优化的对数因子的功能在某些类。计算结果表明，回归函数及其导数的率优估计具有相同的超参数选择，表明贝叶斯方法对导数阶数有很强的适应性，并具有将实值泛函推广到函数值泛函的广义插入性质.这导致了一个实际上简单的方法来估计的回归函数及其衍生物，其有限样本的性能进行评估，使用模拟。证明了在一定条件下，Bayes估计的任何收敛速度都对应于后验分布的相同收敛速度（即，后收缩率），反之亦然。这种等价性适用于一般的高斯过程，并涵盖了$L_2$和$L_{\infty}$规范下的回归函数及其导数泛函。除了连接这两个基本的大样本性质在贝叶斯和非贝叶斯制度，这样的等价性，使一个新的例程，建立后验收缩率计算收敛速度的非参数点估计。在我们的论点的核心是一个运营商的理论框架内核岭回归和等价的内核技术。我们推导出一系列尖锐的非渐近界，在建立非参数点估计的收敛速度和等价理论，这可能是独立的兴趣是关键。
2020-11-27 math.ST stat.ME stat.ML
A path integral approach to Bayesian inference in Markov processes
我们利用路径积分技术在马尔可夫过程中建立贝叶斯更新，并推导出具有似然的时间薛定谔方程，以指导作为后验概率分布势的推理
2017-10-21 cond-mat.stat-mech math.ST stat.TH
Posterior convergence rates in non-linear latent variable models
非线性潜变量模型在各种应用中变得越来越流行。然而，对这些模型的理论性质的研究却很少。本文研究了一类非线性潜变量模型的单变量密度估计的后验收缩率，其中U（0，1）潜变量与响应变量通过带可加误差的随机非线性回归相关.我们的方法依赖于将由上述模型引起的密度空间表征为具有一般类连续混合测度的核卷积。关于密度估计中后验收缩率的文献几乎全部集中在有限或可数无限混合模型上。我们发展我们的连续混合措施类的近似结果。在未知的回归函数上使用适当的高斯过程先验，在真密度上的标准正则性条件下，我们得到了最优的对数因子的频率论速率。
2011-09-23 math.ST stat.TH
Divide-and-Conquer Bayesian Inference in Hidden Markov Models
分治贝叶斯方法由三个步骤组成：将数据划分为较小的计算可管理的子集，在所有子集上并行运行采样算法，并结合所有子集的参数提取。组合参数绘制用于在海量数据设置中进行有效的后验推断。现有分治方法的一个主要限制是它们的前两步假设观测是独立的。我们解决这个问题，通过开发一个分而治之的方法贝叶斯推断参数隐马尔可夫模型，其中的状态空间是已知的和有限的。我们的主要贡献有两方面。首先，在将数据划分为较小的连续观测块后，我们修改了对子集进行后验计算的可能性，使得子集的后验方差和真实的后验分布具有相同的渐近阶。其次，如果选择适当的子集的数量取决于隐马尔可夫链的混合属性，然后我们表明，使用修改后的似然定义的子集后验分布是渐近正态的子集样本量趋于无穷大。后一个结果也意味着我们可以在第三步中使用任何现有的组合算法。我们表明，组合后验分布使用这样的算法得到的是接近真实的后验分布在1-瓦瑟斯坦距离下广泛使用的规律性假设。我们的数值结果表明，所提出的方法提供了一个准确的近似真实的后验分布比它的竞争对手在不同的模拟研究和实际数据分析。
2021-05-30 stat.CO stat.ME
Adaptive posterior convergence rates in non-linear latent variable models
非线性潜变量模型在各种应用中变得越来越流行。然而，对这些模型的理论性质的研究却很少。本文研究了一类非线性潜变量模型的单变量密度估计的后验收缩率，其中U（0，1）潜变量与响应变量通过带可加误差的随机非线性回归相关.我们的方法依赖于将由上述模型引起的密度空间表征为具有一般类连续混合测度的核卷积。关于密度估计中后验收缩率的文献几乎全部集中在有限或可数无限混合模型上。我们发展我们的连续混合措施类的近似结果。在未知的回归函数上使用适当的高斯过程先验，在真密度上的标准正则性条件下，我们得到了最优的对数因子的频率论速率。
2017-01-26 math.ST stat.TH
Federated Bayesian Computation via Piecewise Deterministic Markov Processes
当在实践中执行贝叶斯计算时，人们经常面临这样的挑战，即组成模型组件和/或数据仅以分布式方式可用，例如由于隐私问题或庞大的体积。虽然已经提出了各种方法用于在这样的联合设置中执行后验推断，但是这些方法要么对数据和/或模型做出非常强的假设，要么在局部后验被组合以形成目标后验的近似时引入显著的偏差。通过利用最近开发的方法马尔可夫链蒙特卡罗（MCMC）的分段确定性马尔可夫过程（PDMP）的基础上，我们开发了一个计算-和通信-有效的家庭后验推理算法（联邦PDMC），它提供了一个大类的贝叶斯模型，允许异质模型和数据的贡献，从每个客户端的完整后验渐近精确近似。我们表明，客户端和服务器之间的通信保留了个人数据源的隐私，通过建立差分隐私保证。我们量化了一类说明性的分析案例研究的性能Fed-PDMC，并证明了其有效性的一些合成的例子，以及现实的贝叶斯计算基准。
2022-10-25 cs.DC stat.CO
A Differential Evaluation Markov Chain Monte Carlo algorithm for Bayesian Model Updating
在过去的十年中，贝叶斯工具在系统辨识和模型更新范例中的使用已经增加。通常情况下，贝叶斯技术可以实现与测量相关联的不确定性，以及有限元模型（FEM）的预测到有限元更新过程。在这种情况下，后验分布函数描述了FE模型预测和实验数据中的不确定性。由于建模系统的复杂性，后验分布函数的解析解可能不存在。这导致使用数值方法，如马尔可夫链蒙特卡罗技术，以获得后验分布函数的近似解。本文采用差分评价马尔可夫链蒙特卡罗（DE-MC）方法来逼近后验函数和修正有限元模型。DE-MC方法的主要思想是结合差分进化，这是一个有效的全局优化算法在实参数空间，马尔可夫链蒙特卡罗（MCMC）技术来产生样本的后验分布函数。本文对DE-MC方法进行了详细的讨论，并通过两个结构算例对该算法的性能和精度进行了研究。
2017-10-25 cs.CE stat.CO
Fully Bayesian binary Markov random field models: Prior specification and posterior simulation
本文提出了一种基于矩形格点的二进制马尔可夫随机场（MRF）参数的灵活先验模型，其最大团由模板最大团定义。先验模型允许包含高阶相互作用。我们还定义了一个可逆跳马尔可夫链蒙特卡罗（RJMCMC）算法从相关的后验分布进行采样。具有例如k X l个最大团的MRF的可能参数的数量即使对于小的k和l值也变得很高。为了得到一个灵活的模型，它可以适应一个特定的观察到的图像的结构，我们不把任何绝对的限制参数化。相反，我们定义了一个参数形式的MRF的参数有解释为潜在的各种集团配置，并通过分配先验离散概率的参数值相等的事件，限制有效的参数数。为了运行我们的RJMCMC算法，我们必须处理MRF的计算上难以处理的归一化常数。为此，我们采用了先前定义的近似二进制MRF，但我们也简要讨论了其他替代方案。我们证明了我们的前配方的灵活性与模拟和真实数据的例子。
2015-01-19 stat.ME
Posterior Representations for Bayesian Context Trees: Sampling, Estimation and Convergence
我们重新审视贝叶斯上下文树（BCT）建模框架的离散时间序列，这是最近发现是非常有效的，在许多任务，包括模型选择，估计和预测。一种新的表示形式的诱导后验分布的模型空间中的一个简单的分支过程，并在理论和实践中探讨了一些后果。首先，它示出的分支过程表示导致一个简单的可变维的蒙特卡罗采样器的联合后验分布的模型和参数，它可以有效地产生独立的样本。这个采样器被发现是更有效的比以前的MCMC采样器相同的任务。然后，分支过程表示被用来建立BCT后验的渐近一致性，包括推导的几乎必然收敛速度。最后，对诱导贝叶斯熵估计的性能进行了广泛的研究。它的效用说明通过模拟实验和现实世界的应用程序，它被发现优于几个国家的最先进的方法。
2023-03-20 cs.IT math.IT math.ST
Fast Approximate Bayesian Computation for discretely observed Markov models using a factorised posterior distribution
许多现代统计应用涉及复杂随机模型的推断，对于这些随机模型，似然函数很难甚至不可能计算，因此不能使用传统的基于似然的推断技术。在这样的设置中，可以使用近似贝叶斯计算（ABC）来执行贝叶斯推断。然而，尽管ABC方法最近取得了许多进展，但在许多应用中，ABC的计算成本需要选择汇总统计量和公差，这可能会严重影响后验估计。我们提出了一种新的“分段”ABC方法适用于离散观测马尔可夫模型，涉及到写作的后验密度的参数作为一个产品的因素，每个功能的数据的一个子集，然后使用ABC内的每个因素。该方法的优点是不需要选择汇总统计量，并且可以设置严格的公差，使后验“不那么近似”。我们研究两种方法来估计后验密度的基础上ABC样本的每个因素：第一个是使用高斯近似的每个因素，第二个是使用核密度估计。两种方法各有优点。高斯近似是简单、快速的，并且可能适合于许多应用。另一方面，使用核密度估计具有一致地估计真实ABC后验的好处，因为ABC样本的数量趋于无穷大。我们举例说明了分段ABC方法的三个例子，在每种情况下，该方法使模拟和数据之间的“精确匹配”，并提供快速，准确的推理。
2013-05-28 stat.AP stat.CO stat.ME
Convergence of the groups posterior distribution in latent or stochastic block models
我们提出了一个统一的框架来研究潜在的和随机的块模型，这是用来同时聚类的数据矩阵的行和列。在这个新的框架中，我们研究的行为的群体后验分布，给定的数据。我们的特点是是否有可能渐近恢复矩阵的行和列上的实际组，依赖于参数的相合估计。换句话说，我们建立了充分条件的群体后验分布收敛（随着数据的大小增加）的狄拉克质量位于实际（随机）群体配置。特别是，我们强调了一些情况下，该模型假设的对称性矩阵的连接概率，防止恢复原始组。我们还讨论了这些结果的有效性时，在数据矩阵中的非空元素的比例收敛到零。
2015-04-14 math.ST stat.TH
Convergence Rates for Bayesian Estimation and Testing in Monotone Regression
形状限制，如函数的单调性，通常在统计建模中自然出现。我们考虑一个贝叶斯方法的问题估计的单调回归函数和测试的单调性。我们使用分段常数函数构造一个先验分布。对于估计，这些步骤的高度的先验施加单调性是合理的，但由此产生的后验更难从理论上分析。我们考虑一个"投影后验"的方法，其中使用共轭正常的前，但单调性约束施加在后验样本的单调函数的空间上的投影映射。我们表明，由此产生的后合同在$L_1$度量下的最佳速率$n^{-1/3}$和在经验$L_p$度量下的接近最佳速率$0<p\le 2$。投影后验方法在计算上也更方便。我们还构造了一个贝叶斯检验的假设，单调性使用后验概率的收缩邻域的一组单调函数。我们表明，由此产生的测试具有普遍的一致性属性，并获得分离率，确保所产生的幂函数接近1。
2020-08-03 math.ST stat.TH
Bayesian Inference for Discrete Markov Random Fields Through Coordinate Rescaling
University of Amsterdam（阿姆斯特丹大学）
本文提出了一种基于坐标重新缩放的采样方法，用于提高离散马尔可夫随机场中贝叶斯推断的效率和准确性。
2026-10-02 stat.ME
Linear chain conditional random fields, hidden Markov models, and related classifiers
IBM France（IBM法国）；Telecom SudParis, Institut Polytechnique de Paris（巴黎电信学院，巴黎综合理工学院）
从业者在不同的问题中使用隐马尔可夫模型（HMRM）大约60年。此外，条件随机场（CRF）是一种替代HSPINAL，并出现在文献中作为不同的和有点并发的模型。我们提出两个贡献。首先，我们表明，基本的线性链CRF（LC-CRF），被认为是不同的障碍，实际上是等价的，在这个意义上，对于每个LC-CRF存在一个HMM -我们指定-谁的后验分布是相同的给定的LC-CRF。第二，我们表明，它是可能的重新制定的生成贝叶斯分类器最大后验模式（MPM）和最大后验概率（MAP）中使用的障碍，歧视性的。最后一点在许多领域都很重要，特别是在自然语言处理（NLP）中，因为它表明在某些情况下，放弃Hacking而支持CRF是不必要的。
2023-02-27 cs.LG stat.ML
Prior specification for binary Markov mesh models
我们提出了先验分布的马尔可夫网格模型的规范的所有部分。在制定中，我们定义先验的顺序邻域，参数形式的条件分布和参数值。通过模拟从所得到的后验分布条件下观察到的场景，我们从而获得一个自动的模型选择过程的马尔可夫网格模型。为了从这样的后验分布中采样，我们构造了一个可逆跳马尔可夫链蒙特卡罗算法（RJMCMC）。我们证明了我们的事先制定的有用性和我们的RJMCMC算法的局限性在两个例子中。
2017-07-26 stat.CO stat.ME
Convergence properties of Gibbs samplers for Bayesian probit regression with proper priors
贝叶斯概率回归模型（Albert和Chib（1993））是流行的，广泛用于二元回归。虽然在没有任何先验信息的情况下，回归系数的不适当的平坦先验是适当的选择，但是当先验信息可用时或者在系数的数量（$p$）大于样本大小（$n$）的现代高维设置中，适当的正态先验是期望的。对于这两种选择的先验，由此产生的后验密度是棘手的，数据Dugmentation（DA）马尔可夫链是用来产生近似样本的后验分布。建立这个DA马尔可夫链的几何遍历性是很重要的，因为它提供了理论保证构造标准误差的马尔可夫链为基础的后验量的估计。在本文中，我们首先表明，在正常的先验的情况下，DA马尔可夫链是几何遍历 * 的所有 * 选择的设计矩阵$X$，$n$和$p$（不像不适当的先验的情况下，其中$n \geq p$和另一个条件$X$后的适当性本身）。我们还得到了DA马尔可夫链是迹类的充分条件，即，相应算子的本征值是可求和的。特别是，这使我们能够得出结论，Haar PX-DA三明治算法（通过在DA算法的两个步骤之间插入一个廉价的额外步骤获得）在适当的意义上严格优于DA算法。
2017-01-03 math.ST stat.ME stat.TH
Bayesian Markov Blanket Estimation
University of Basel（巴塞尔大学）
本文考虑了一个贝叶斯观点估计一个子网络在马尔可夫随机场。子网络对应于一组查询变量的马尔可夫毯，其中潜在邻居的集合很大。我们因式分解后验，使马尔可夫毯有条件地独立于网络的潜在邻居。通过利用这种分块解耦，我们推导出后验条件的解析表达式。随后，我们开发了一个推理方案，利用因式分解。结果，可以在不推断整个网络的情况下估计子网络。由于得到的吉布斯采样器与变量的数量呈线性关系，因此它可以处理相对较大的邻域。所提出的方案的结果更快的收敛速度和优越的混合比现有的贝叶斯网络估计技术的马尔可夫链。
2015-10-06 cs.LG stat.ML
