Estimating the Mixing Coefficients of Geometrically Ergodic Markov Processes
本文提出了一种方法，用于估计几何递消马尔可夫过程的β-混合系数，并在不同条件下给出了误差的收敛速率和高概率界。
2025-12-01 math.ST stat.ML stat.TH
Variable transformation to obtain geometric ergodicity in the random-walk Metropolis algorithm
一个随机游动Metropolis采样器是几何遍历的，如果它的平衡密度是超指数轻的，并且满足曲率条件[随机过程]. 85（2000）341-361]。许多应用，包括贝叶斯分析与共轭先验的逻辑和泊松回归和对数线性模型的分类数据的结果在后验分布，不是超指数轻。我们展示了如何应用变量的变化公式，以获得新的密度，满足几何遍历的条件。对新变量进行采样，并将结果映射回旧变量，从而为原始变量提供几何遍历采样器。这种获得几何遍历性的方法具有很广的适用性。
2013-12-11 math.ST stat.TH
Uniform Time Average Consistency of Monte Carlo Particle Filters
证明了当信号遍历且粒子系统满足紧性时，自举型Monte Carlo粒子滤波器在时间平均意义下关于时域一致逼近最优非线性滤波.当信号状态空间是紧的，以及在非紧的设置时，信号是几何遍历和观察满足额外的规律性假设，后者是满足没有进一步的假设。
2009-09-03 math.PR math.ST stat.TH
A Short Note on the Efficiency of Markov Chains for Bayesian Linear Regression Models with Heavy-Tailed Errors
本文证明了在重尾误差和条件共轭正态-逆Wishart先验下，Backlund和Hobert（2020）的采样器仍保持一致的几何遍历性，并进一步在更温和条件下证明了Roy和Hobert（2010）采样器在非正常先验情形下的几何遍历性。
2024-10-28 math.ST stat.CO stat.TH
Geometric ergodicity of trans-dimensional Markov chain Monte Carlo algorithms
本文研究了模型总数有限时跨维度MCMC算法的收敛性，证明在温和条件下，若模型内移动的马尔可夫链几何遍历，则可逆及部分非可逆跨维度链可保证几何收敛，并将该理论应用于三种贝叶斯模型。
2024-10-16 math.ST stat.TH
Fast Monte Carlo Markov chains for Bayesian shrinkage models with random effects
当使用一般线性混合模型执行贝叶斯数据分析时，所得的后验密度几乎总是难以解析的。然而，如果使用适当的条件共轭先验，则存在一个简单的两块吉布斯采样器，该采样器在几乎所有实际设置中都是几何遍历的，包括$p > n$的情况（Abrahamsen和Hobert，2017）。不幸的是，$β$的（条件共轭）多元正态先验在$p \gg n$的高维环境中表现不佳。在本文中，我们考虑一种替代模型，其中多元正态先验被Griffin和Brown（2010）开发的正态-gamma收缩先验所取代。这一变化导致了更为复杂的后验密度，我们开发了一个简单的MCMC算法来探索它，该算法具有确定性和随机扫描组件，比更明显的三步Gibbs采样器更容易分析。事实上，我们证明了新算法是几何遍历在大多数实际设置。
2017-11-18 math.ST stat.TH
Multivariate strong invariance principles in Markov chain Monte Carlo
本文利用宽义再生性质，在无需1步小化条件下建立了多项式和几何遍历马尔可夫链的多元强不变性原理，并给出紧致显式收敛速率，为方差估计量的强一致性验证提供理论支撑。
2023-03-29 math.PR math.ST stat.CO
Limit theorems for some adaptive MCMC algorithms with subgeometric kernels: Part II
证明了一类由亚几何遍历马尔可夫核驱动的自适应马尔可夫链蒙特卡罗算法的中心极限定理。我们详细讨论了随机逼近的特殊情况。我们使用的结果来分析的Metropolis调整Langevin算法的自适应版本的重尾目标密度的渐近行为。
2009-11-02 math.PR math.ST stat.CO
Learning Nonlinear Couplings in Network of Agents from a Single Sample Trajectory
Lehigh University（理海大学）；University of Central Florida（中佛罗里达大学）
我们考虑一类随机动态网络，其控制动态可以使用耦合函数建模。它表明，这种网络的动力学可以产生几何遍历轨迹在一些合理的假设。我们表明，一般类的耦合函数可以学习，只使用一个样本轨迹从网络。这实际上是合理的，因为在许多应用中，期望仅运行一次实验，但持续更长的时间段，而不是从不同的初始条件重复相同的实验多次。从几何遍历马尔可夫链的浓度不等式的想法的基础上，我们制定了几个结果的经验估计的收敛到真正的耦合函数。我们的理论研究结果得到了广泛的模拟结果的支持。
2022-11-20 cs.LG cs.SY eess.SY
Trace-class Monte Carlo Markov Chains for Bayesian Multivariate Linear Regression with Non-Gaussian Errors
令$π$表示当来自多变量线性回归模型的可能性与标准非信息先验结合时产生的难以处理的后验密度，该模型具有来自正态的尺度混合的误差。有一种简单的数据增强算法（基于来自混合密度的潜在数据）可用于探索$π$。令$h(\cdot)$和$d$分别表示混合密度和回归模型的维数。Hobert等人（2016）[arXiv：1506.03113v2]最近表明，如果$h$以适当的速率在原点收敛到0，并且$\int_0^\infty u^{\frac{d}{2}} \, h(u) \, du < \infty$，则DA算法和替代Haar PX-DA算法的马尔可夫链都是几何遍历的。事实上，比几何遍历性更强的东西常常成立。本文证明了在$h$上的简单条件下，由DA和Haar PX-DA马尔可夫链定义的马氏算子是迹族，即，具有可和特征值的紧致的。许多混合密度，满足霍伯特等人。（2016）的条件也满足本文提出的新条件。因此，对于这组混合密度，新的结果提供了一个实质性的加强霍伯特等人。”（2016年）的结论，没有任何额外的假设。例如，Hobert et al.（2016）表明，只要混合密度是广义逆高斯、对数正态、Fréchet（形状参数大于$d/2$）或逆伽马（形状参数大于$d/2$），DA和Haar PX-DA马尔可夫链就是几何遍历的。本文的结果表明，在这些情况下，DA和Haar PX DA马尔可夫算子，事实上，迹…
2016-06-01 math.ST stat.TH
Convergence Analysis of a Collapsed Gibbs Sampler for Bayesian Vector Autoregressions
我们研究了具有预测变量或外生变量的贝叶斯向量自回归的一个塌陷吉布斯采样器的收敛性质。证明了由该算法生成的马尔可夫链是几何遍历的，而与向量自回归的阶数和维数无关，并在收敛复杂性分析中给出了当观测数趋于无穷大时几何遍历渐近稳定的条件.具体而言，几何收敛速度被证明是有界的渐近远离团结，几乎肯定或概率趋于一，这取决于什么是假设的数据生成过程。这一结果是第一个实际相关的马尔可夫链蒙特卡罗算法的同类。我们的收敛结果保持在接近任意的模型误指定。
2020-10-02 math.ST stat.TH
Large deviations for Independent Metropolis Hastings and Metropolis-adjusted Langevin algorithm
Institute for Computational and Experimental Research in Mathematics (ICERM), Brown University（布朗大学计算与实验数学研究所）；Department of Mathematical Sciences, Chalmers University of Technology and University of Gothenburg（查尔姆斯理工大学和哥德堡大学数学科学系）
本文研究了独立Metropolis-Hastings和Metropolis调整 Langevin算法的大偏差原理，揭示了现有框架无法涵盖随机游走Metropolis采样器的问题。
2026-02-19 math.PR math.ST stat.TH
On the convergence of dynamic implementations of Hamiltonian Monte Carlo and No U-Turn Samplers
本文提出动态HMC一般框架并证明其涵盖NUTS，建立了NUTS不可约、非周期、遍历及几何遍历的条件，并改进HMC在高斯扰动目标下无需步长有界条件的遍历性结果。
2024-10-18 math.PR math.ST stat.CO
Geometric convergence of elliptical slice sampling
Georg-August-Universität Göttingen（哥廷根大学）；Technische Universität Bergakademie Freiberg（弗赖贝格工业大学）
对于贝叶斯学习，给定似然函数和高斯先验，Murray，Adams和MacKay 2010年引入的椭圆切片采样器提供了一种用于构建马尔可夫链的工具，用于对底层后验分布进行近似采样。除了它的广泛适用性和简单性之外，它的主要特点是不需要调优。在弱正则性的假设下，我们证明了相应的马尔可夫链是几何遍历的，因此产生定性的收敛保证。我们说明我们的结果高斯后验，因为它们出现在高斯过程回归，以及在设置的多模态分布。值得注意的是，我们的数值实验表明，即使在我们的遍历性结果不适用的情况下，椭圆切片采样的维度无关的性能。
2021-07-23 cs.LG math.ST stat.ML
Nonasymptotic bounds on the estimation error of MCMC algorithms
我们解决的问题上界的MCMC估计的均方误差。我们的分析是非渐近的。我们首先建立了一个普遍的结果，基本上所有遍历马尔可夫链中遇到的贝叶斯计算和可能无界的目标函数$f$有效。在前导项正好是$σ_{\mathrm {as}}^2(P,f)/n$的意义上，该界是尖锐的，其中$σ_{\mathrm{as}}^2(P,f)$是CLT渐近方差。接下来，我们进行具体的额外的假设，并给出明确的几何和多项式遍历马尔可夫链定量漂移条件下的可计算的界限。作为一个推论，我们提供的置信估计的结果。
2013-12-11 math.ST stat.CO stat.ME
Adaptive confidence bands for Markov chains and diffusions: Estimating the invariant measure and the drift
作为一个出发点，我们证明了一个功能中心极限定理的估计的不变测度的几何遍历哈里斯经常马尔可夫链在多尺度空间。这允许构造置信带的不变密度与最佳的（欠平滑）$L^{\infty}$直径通过使用小波投影估计。此外，我们的设置适用于漂移估计离散观察固定的观察距离的扩散。我们证明了一个功能的中心极限定理的漂移函数的估计，并通过使用一个完全的数据驱动的估计，最后构造自适应置信带的漂移。
2016-07-07 math.ST stat.TH
A note on concentration inequalities for the overlapped batch mean variance estimators for Markov chains
本文借助鞅分解方法，为一致几何遍历马尔可夫链渐近方差的 OBM 估计量建立集中不等式，给出误差 p 阶矩随 p 与混合时间变化的显式界。
2025-05-13 math.PR math.ST stat.ML
Rosenthal-type inequalities for linear statistics of Markov chains
本文为几何遍历马尔可夫链的可加泛函建立了类似Rosenthal不等式的集中不等式，显式界依赖于混合时间，并采用基于泊松分解的新证明方法。
2025-09-25 math.PR math.ST stat.ML
Convergence Analysis of the Data Augmentation Algorithm for Bayesian Linear Regression with Non-Gaussian Errors
在多元线性回归设置中，高斯误差有时是不合适的，例如，因为数据包含离群值。在这种情况下，通常假设误差密度是多元正态密度的尺度混合，其形式为$f(\varepsilon) = \int_0^\infty |Σ|^{-\frac{1}{2}} u^{\frac{d}{2}} \, ϕ_d \big( Σ^{-\frac{1}{2}} \sqrt{u} \, \varepsilon \big) \, h(u) \, du$，其中$d$是响应的维数，$ϕ_d(\cdot)$是标准$d$ -变量正态密度，$Σ$是未知的$d \times d$正定尺度矩阵，而$h(\cdot)$是某个固定的混合密度。将这种替代回归模型与未知参数的默认先验相结合会导致高度棘手的后验密度。幸运的是，有一个简单的数据增强（DA）算法和相应的Haar PX-DA算法可以用来探索这个后验。本文提供了条件（$h$上）的几何遍历的马尔可夫链的马尔可夫链蒙特卡罗（MCMC）算法的基础。这些结果是非常重要的，从实用的角度来看，因为几何遍历性保证存在的中心极限定理，形成的基础上，所有的标准方法计算有效的渐近标准误差MCMC为基础的估计。主要结果是，如果$h$在原点以适当的速率收敛到0，而$\int_0^\infty u^{\frac{d}{2}} \, h(u) \, du < \infty$，则DA和Haar PX DA马氏链都…
2016-01-27 math.ST stat.TH
A perturbation analysis of some Markov chains models with time-varying parameters
我们研究了局部平稳马尔可夫模型中的一些规律性性质，这些性质对于控制非参数核估计量的偏差至关重要。特别是，我们提供了一个替代的标准概念的衍生过程中开发的文献，可用于研究广泛的一类马尔可夫过程。为此，对于一些家庭的V-几何遍历马尔可夫核指标的一个真正的参数u，我们给出的条件下，不变的概率分布是可微的关于u，在带号测度的意义。我们的结果也完成了现有文献的扰动分析的马尔可夫链，特别是当指数矩不是有限的。我们的条件检查几个原始的本地平稳过程，如整数值自回归过程，分类时间序列或阈值自回归过程的例子。
2018-12-05 math.ST stat.TH
On the convergence rate of the "out-of-order" block Gibbs sampler
它表明，一个看似无害的块吉布斯采样器中的步骤重新排序，实际上可以使算法无效。特别地，由"无序"块吉布斯采样器模拟的马尔可夫链不具有正确的不变概率分布。然而，尽管具有错误的不变分布，马尔可夫链以与原始块吉布斯马尔可夫链相同的速率收敛。更具体地说，它表明，要么两个马尔可夫链是几何遍历（具有相同的几何收敛速率），或者都不是。这些结果从实际的观点来看是重要的，因为（无效的）无序算法可能比（有效的）块吉布斯采样器更容易分析（参见，例如，Yang和Rosenthal [2019]）。
2021-10-27 math.ST stat.CO stat.TH
Convergence properties of Gibbs samplers for Bayesian probit regression with proper priors
贝叶斯概率回归模型（Albert和Chib（1993））是流行的，广泛用于二元回归。虽然在没有任何先验信息的情况下，回归系数的不适当的平坦先验是适当的选择，但是当先验信息可用时或者在系数的数量（$p$）大于样本大小（$n$）的现代高维设置中，适当的正态先验是期望的。对于这两种选择的先验，由此产生的后验密度是棘手的，数据Dugmentation（DA）马尔可夫链是用来产生近似样本的后验分布。建立这个DA马尔可夫链的几何遍历性是很重要的，因为它提供了理论保证构造标准误差的马尔可夫链为基础的后验量的估计。在本文中，我们首先表明，在正常的先验的情况下，DA马尔可夫链是几何遍历 * 的所有 * 选择的设计矩阵$X$，$n$和$p$（不像不适当的先验的情况下，其中$n \geq p$和另一个条件$X$后的适当性本身）。我们还得到了DA马尔可夫链是迹类的充分条件，即，相应算子的本征值是可求和的。特别是，这使我们能够得出结论，Haar PX-DA三明治算法（通过在DA算法的两个步骤之间插入一个廉价的额外步骤获得）在适当的意义上严格优于DA算法。
2017-01-03 math.ST stat.ME stat.TH
Explicit Mean-Square Error Bounds for Monte-Carlo and Linear Stochastic Approximation
University of Florida（佛罗里达大学）；Inria（法国国家信息与自动化研究所）；École Normale Supérieure（巴黎高等师范学院）；CNRS（法国国家科学研究中心）；PSL Research University（巴黎文理研究大学）
本文研究了带有马尔可夫扰动的递归方程的误差界。在马尔可夫链蒙特卡罗（MCMC）和强化学习（RL）领域中有很多令人鼓舞的例子，其中许多算法可以被解释为随机逼近（SA）的特殊情况。有人认为，它是不可能的，在一般情况下，以获得一个Hoeffding界的差错序列，即使当潜在的马尔可夫链是可逆的和几何遍历，如M/M/1队列。这是聚焦于参数估计的均方误差界的动机。结果表明，均方误差达到最佳速率的$O(1/n)$，受到的条件上的步长序列。此外，还得到了速率常数的精确表达式，这对算法设计具有重要的参考价值。
2020-02-07 cs.LG cs.SY eess.SY
Exact sampling for intractable probability distributions via a Bernoulli factory
统计学领域的许多应用都需要马尔可夫链蒙特卡罗方法。确定适当的起始值和运行长度在分析和经验上都具有挑战性。克服这些问题的愿望导致了精确的或完美的采样算法的发展，该算法将马尔可夫链转换成产生i.i.d.从平稳分布中抽取样本。不幸的是，这些算法中很少有被开发用于统计应用中出现的分布，这些分布通常具有不可数的支持。本文研究了一般状态空间上几何遍历马尔可夫链的精确采样算法。我们的工作提供了一个显着减少的输入绘制所需的伯努利工厂，这使得通过拒绝抽样方法的精确采样的数量。我们说明了一个单变量的大都会黑斯廷斯采样器和二元吉布斯采样器，这提供了一个概念证明和洞察超参数选择的算法。最后，我们说明了算法的贝叶斯版本的单向随机效应模型的数据从苯乙烯暴露研究。
2012-03-08 math.ST stat.CO stat.TH
Lower bounds on the rate of convergence for accept-reject-based Markov chains in Wasserstein and total variation distances
本文在全变差和Wasserstein距离下建立基于接受-拒绝的Markov链收敛速率下界，用于指导调参并揭示参数不随集中速率变化时Metropolis-Hastings链可能任意缓慢收敛。
2024-07-03 math.ST stat.TH
Convergence analysis of block Gibbs samplers for Bayesian linear mixed models with $p>N$
探索与一般线性混合模型的贝叶斯版本相关的棘手的后验分布，经常使用马尔可夫链蒙特卡罗。特别地，如果使用条件共轭先验，则存在可用的简单两块吉布斯采样器。Román和Hobert [线性代数Appl. 473（2015）54-77]表明，当先验是适当的并且$X$矩阵具有满列秩时，这些Gibbs采样器下的马尔可夫链几乎总是几何遍历的。在本文中，Román和Hobert（2015）的结果通过允许方差分量上的不适当先验，更重要的是，通过删除$X$矩阵上的所有假设来扩展。因此，$X$不仅允许（列）秩亏，这在参数化固定效应时提供了额外的灵活性，还允许列数多于行数，这在$p>N$越来越重要的情况下是必要的。关于$X$的满秩假设是Román和Hobert（2015）证明的核心。因此，扩展到无限制的$X$需要一个完全不同的分析。
2016-09-30 math.ST stat.TH
Efficient shape-constrained inference for the autocovariance sequence from a reversible Markov chain
针对可逆马尔可夫链自协方差序列估计问题，提出基于矩序列形状约束的新型估计器，证明其强一致性并通过实验验证优于现有主流方法。
2023-11-09 math.ST stat.ME stat.TH
