A Geometric Reduction Approach for Identity Testing of Reversible Markov Chains
我们考虑的问题，测试的身份的可逆马尔可夫链对一个参考从一个单一的轨迹的意见。采用最近推出的概念的一个集块一致的马尔可夫嵌入，我们表明，至少在一个温和的限制设置，测试身份的可逆链减少到测试的对称链在一个更大的状态空间和恢复国家的最先进的样本复杂性的问题。
2023-02-16 cs.IT math.IT math.PR
Asymptotic Expansions for Stationary Distributions of Perturbed Semi-Markov Processes
本文提出了计算非线性扰动半马尔可夫过程平稳分布渐近展开的新算法。该算法基于特殊的序贯相空间约简技术，可应用于具有渐近耦合和非耦合有限相空间的过程。
2016-03-12 math.PR
Reward Algorithms for Semi-Markov Processes
计算半马尔可夫过程击中型首中时和累积报酬的幂矩的新算法。该算法是基于特殊的技术顺序相空间减少和递归关系连接时刻的奖励。应用程序进行了讨论，以及可能的概括提出的结果和实验研究的结果。
2016-03-17 math.PR
Sleeping Beauty and Markov chains
本文利用遍历马尔可夫链分析睡美人问题，形式化地连接两种不同答案，并澄清频率学派分析中的相关错误。
2025-04-13 math.PR
Variance reduction for Markov chains with application to MCMC
Duisburg-Essen University（杜伊斯堡-埃森大学）；HSE University（高等经济大学）；Ecole Polytechnique（巴黎综合理工学院）
在本文中，我们提出了一种新的方差减少方法的马尔可夫链的可加泛函的基础上，这些泛函的渐近方差的估计在适当的控制变量类的最小化。所提出的方法的一个显着特点是它能够显着降低整体有限样本方差。这一功能从理论上证明了通过一个深刻的非渐近分析的方差减少功能，以及通过一个彻底的模拟研究。特别是我们将我们的方法应用到各种MCMC贝叶斯估计问题，它有利地比较现有的方差减少方法。
2020-02-15 cs.LG math.PR math.ST
Asymptotic Expansions for Stationary Distributions of Nonlinearly Perturbed Semi-Markov Processes. II
对于有限相空间的非线性扰动半马氏过程的平稳分布，给出了具有显式上界的渐近展开式渐近展开。相应的算法是基于一种特殊的技术，顺序相空间减少，它可以适用于与任意渐近通信结构的相空间的过程。
2016-03-15 math.PR
Componentwise accurate Brownian motion computations using Cyclic Reduction
马尔可夫调制的布朗运动是一个流行的工具，在随机环境中模拟连续时间现象。感兴趣的主要量是不变密度，其满足与二次矩阵多项式$P(z) = Vz^2-Dz +Q$相关联的微分方程，其中矩阵$V$和$D$是对角的，并且$Q$是离散时间马尔可夫链的转移矩阵。其解通常通过计算与左半平面中的特征值相关联的$P(z)$的不变对来构造，或者通过求解矩阵方程$X^2V-XD+Q=0$来构造。我们表明，这些任务可以解决使用基于循环减少的组件精确算法，推广最近出现的算法的线性情况下（$V=0$）。我们给出了证明我们的算法的数值稳定性在组件的意义上，同样的证明适用于循环减少在一个更一般的M-矩阵设置出现在其他应用程序，如QBD过程的建模。
2016-05-05 math.PR
Algebraic Reduction of Hidden Markov Models
University of Padova（帕多瓦大学）
该研究采用系统论与代数表示方法，提出两种基于随机投影的隐马尔可夫模型粗粒度约简算法，分别保留单时刻与多时刻分布，还针对可观测HMM推导了最优算法。
2023-05-19 cs.LG math.OC math.PR
Reduction and classification of higher-order Markov chains
Universidade Estadual de Campinas（坎皮纳斯州立大学）；Universidade Federal do Rio Grande do Norte（北里奥格兰德联邦大学）
本文研究有限字母马尔可夫链的结构，通过引入高阶转移核的骨架，简化并分类其通信类结构，从而确定原始高阶马尔可夫链的复发类及其周期。
2026-04-22 math.PR math.ST stat.TH
Maximum Entropy Estimator for Hidden Markov Models: Reduction to Dimension 2
本文在样本量较大的情况下，针对经典的Baum-Welch EM算法计算极大似然估计量的耗时问题，提出了基于隐马尔可夫模型观测序列二维经验分布的最大熵估计量。在一个相当一般的框架下证明了最大熵估计的相合性和渐近正态性，其中渐近协方差阵是用二维Fisher信息显式估计的.作为补充，本文巧妙地利用二维相对熵来研究假设检验问题。此外，我们提出了二维的最大熵算法来寻找最大熵估计，它适用于非常大的观测数据集和大的隐藏状态集。给出了一些数值例子，并对结果进行了评述.
2023-02-18 math.PR math.ST stat.TH
Optimal State-Space Reduction for Pedigree Hidden Markov Models
为了分析家族中遗传的全基因组遗传数据，通常从具有2 ^n个隐藏状态的状态空间的隐马尔可夫模型（HMM）获得似然性，其中n是谱系中减数分裂或边缘的数量。已经有几种尝试通过减少HMM的状态空间来加速该计算。这些方法中的一种已经在比朴素HMM计算更有效的计算中自动化;然而，该方法处理特殊情况，并且效率增益仅适用于那些包含长链独生子谱系的罕见谱系。另一种现有的状态空间约简方法处理的是一般情况，但现有的算法具有超指数的运行时间。我们提出了三个配方的状态空间减少问题，两个处理组和分区之一。其中最大等距群问题由Browning和Browning详细讨论过。我们表明，谱系，所有这三个问题有相同的解决方案。此外，我们能够证明的唯一性的解决方案，使用我们介绍的算法。该算法利用划分和组公式之间的等价性，快速找到一般谱系的最佳状态空间约简。我们提出了一个新的似然计算，这是一个两阶段的过程：找到最佳的状态空间，然后运行HMM的前向-后向算法的最佳状态空间。与单阶段HMM计算相比，该方法可以更快地计算出精确的谱系似然。
2013-10-04 cs.DM math.PR
Non-Stationary Stochastic Global Optimization Algorithms
戈麦斯提出了一种正式而系统的方法来表征随机全局优化算法。使用它，戈麦斯形式化算法与固定的下一个人口随机方法，即，算法定义为平稳马尔可夫过程。这些是标准版本的爬山算法、并行爬山算法、世代遗传算法、稳态遗传算法和差分进化算法的情况。本文延续了这种系统的形式化方法。首先，我们将平稳马氏过程收敛的充分条件引理推广到非平稳马氏过程。其次，我们开发了一些选择方案的马尔可夫核。最后，我们正式模拟退火和进化策略使用系统的形式化方法。
2020-10-11 cs.NE math.OC math.PR
Dimension reduction for maximum matchings and the Fastest Mixing Markov Chain
设$G = (V,E)$是具有最大度$Δ$和顶点电导$Ψ^*(G)$的无向图.我们证明了存在一个对称的随机矩阵$P$，其非对角元素支持$E$，其谱隙$γ^*(P)$满足\[Ψ^*(G)^{2}/\logΔ\lesssim γ^*(P) \lesssim Ψ^*(G).\]我们的界是最优的小集合扩展假设下，并回答了一个问题的Olesker-Taylor和Zanetti，谁得到了这样的结果与$\logΔ$取代$\log|V|$。为了得到我们的结果，我们展示了如何嵌入一个负型半度量$d$上定义的$V$到一个负型半度量$d'$支持$\mathbb{R}^{O(\logΔ)}$，使（分数）匹配数的加权图$(V,E,d)$是近似等于$(V,E,d')$。
2022-03-23 cs.DS math.CO math.PR
Local limit theorems for inhomogeneous Markov chains
该研究证明了一致椭圆非齐次Markov阵列有界可加泛函的局部极限定理，得到其大偏差精确渐近性，证明基于新的Markov阵列约化定理。
2021-09-12 math.DS math.PR
Evaluation of Formal posterior distributions via Markov chain arguments
我们考虑从不适当的先验分布得到的适当的后验分布的评估。我们的背景是估计一个参数的有界函数$ϕ$时的损失是二次的。如果$ϕ$的后验均值对于所有有界$ϕ$都是可容许的，则后验均值是强可容许的。给出了强容许性的充分条件。这些条件涉及与估计问题相关联的马尔可夫链的递归。我们开发的一般状态空间马尔可夫链，也是独立的兴趣复发的一般充分条件。我们的主要例子涉及$p$ -维多元正态分布与平均向量$θ$时，先验分布的形式$g(\|θ\|^2) dθ$的参数空间$\mathbb{R}^p$。在$g$上给出了后验强容许性的条件。
2008-11-05 math.PR math.ST stat.TH
A thermodynamic formalism for continuous time Markov chains with values on the Bernoulli Space: entropy, pressure and large deviations
本文分析了一维自旋格1，.上连续时间马尔可夫链的遍历性，d}^N（也称为伯努利空间）。最初，我们考虑算子$L={\mc L}_A -I$作为无穷小生成元，其中\mc L_A是离散时间Ruelle算子（转移算子），并且A：{1，.，d}^N \to R是给定的固定Lipschitz函数。相关的连续时间平稳马尔可夫链将定义\emph{a priori}概率。给定Lipschitz相互作用V：\{1，.，d\}^{ \bb N} \to \mathbb{R}，我们对这种$V$的Gibbs（平衡）态感兴趣。这将是另一个连续时间平稳马尔可夫链。为了分析这个问题，我们将使用一个连续时间Ruelle算子（转移算子）自然地与V相关联。除此之外，我们将证明，连续时间Perron Frobenius定理在V是Lipschitz函数的情况下是正确的。我们还引入了一个熵，这是负的，我们考虑的变分原理的压力。最后，利用Y.基弗
2013-07-26 cond-mat.stat-mech math.DS math.PR
Thermodynamic Formalism for Topological Markov Chains on Borel Standard Spaces
本文给出了数列空间$X\equiv E^{\mathbb{N}}$上有界连续势的热力学形式，其中$E$是一般的Borel标准空间.特别是，我们引入了有意义的概念的熵和压力的移位作用于$X$和获得的存在性的平衡态作为添加剂的概率测度任何有界连续的潜力。此外，我们建立凸性和其他结构性质的一组平衡态，证明了一个版本的Perron-Frobenius-Ruelle定理的附加假设下的潜力的正则性，并表明这些平衡态的Yosida-Hewitt分解没有一个纯粹的加法部分。然后将所得结果应用于一般Borel标准空间上取值的时齐马尔可夫链的不变测度的构造，得到了一类马氏算子的指数渐近稳定性.我们还构造共形措施的相互作用的随机路径，这是相关的潜在依赖于无限多个坐标的无限集合。在一个额外的可微性假设下，我们展示了这个过程是如何在适当的尺度限制后与某个无限维扩散相关的。
2019-07-27 math-ph math.DS math.MP
Rao-Blackwellized Markov chain Monte Carlo Light Transport
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Advanced Micro Devices, Inc. (AMD)（超威半导体有限公司）；Saarland University（萨尔兰大学）
本文提出一种高效的Rao-Blackwell化技术，用于改进Markov链MCMC在光运输模拟中的方差减少和收敛速度，通过实验验证其优于传统方法。
2026-05-09 cs.CE cs.NA math.FA
Control variates and Rao-Blackwellization for deterministic sweep Markov chains
研究了在确定性扫描采样下，使用$K\geq 2$转移核的马尔可夫链蒙特卡罗（MCMC）控制变量方法。新的方差减少结果提供MCMC平均值的基础上扫描一般的过渡内核，导致一个特别简单的控制变量估计的确定性扫描吉布斯采样的设置。我们提出的控制变量估计与现有文献的理论比较，并进行了模拟研究，以检查在某些情况下的方差减少量。我们还涉及控制变量的方法的基础上调节（或劳Blackwellization）的方法，并表明，后者可以被视为前者的近似。我们的理论结果适用于标准几何漂移假设下的马尔可夫链。
2019-12-14 math.PR math.ST stat.ME
A hybrid approach to model reduction of Generalized Langevin Dynamics
本文提出一种基于不变流形方法和涨落-耗散定理的混合降阶方案，通过忽略惯性项和热浴变量，从广义朗之万方程推导出保持正确耗散结构的马尔可夫描述，并证明降阶路径的交换性。
2024-05-25 cond-mat.stat-mech math-ph math.MP
Solving Elliptic Equations with Brownian Motion: Bias Reduction and Temporal Difference Learning
费曼-卡茨公式提供了一种方法来理解解决方案的椭圆偏微分方程的期望连续时间马尔可夫过程。这种连接允许创建基于这些马尔可夫过程的样本的解决方案的数值方案，在某些情况下，这些马尔可夫过程比传统的数值方法具有优势。然而，简单的数值实现会受到统计偏差和抽样误差的影响。我们提出的方法来离散的随机过程中出现的Feynman-Kac公式，减少偏差的数值方案。我们还建议使用时间差学习来组装信息从随机样本的方式，是更有效的比传统的蒙特卡罗方法。
2020-08-01 cs.NA math.NA math.PR
Characterization and computation of infinite horizon specifications over Markov processes
Delft University of Technology（代尔夫特理工大学）；University of Oxford（牛津大学）
本文针对一般离散时间马尔可夫过程，研究无限时域规约的形式化验证，通过分析吸收集等结构特征对Bellman方程解唯一性的影响，提出具有显式收敛率和形式误差界的近似计算方法。
2014-07-22 cs.LO cs.SY eess.SY
