Uniform Markov Renewal Theory and Ruin Probabilities in Markov Random Walks
设{X_n，n \geq 0}是一般状态空间X上具有转移概率P和平稳概率π的马尔可夫链.假设一个可加分量S_n在实数直线R上取值，并与链邻接，使得{（X_n，S_n），n \geq 0}是马尔可夫随机游动.在本文中，我们证明了一个一致的马尔可夫更新定理，估计的收敛速率。这个结果被应用于{（X_n，S_n），n \geq 0}的边界交叉问题.更精确地说，对于给定的b \geq 0，定义停时τ=τ（b）=inf{n：S_n>b}。当随机游动S_n的漂移μ为0时，我们得到了首达概率P_π{τ<m}和P_π{τ<m，S_m<c}的一项Edgeworth型渐近展开式，其中m为\infty，c为\leq b，P_π表示在初始分布π下的概率.当μ \neq为0时，导出了带修正项的首次通过概率的布朗近似.
2004-07-08 math.PR
Multivariate Juggling Probabilities
我们考虑改进版本的马尔可夫链有关杂耍介绍沃灵顿。我们进一步推广的建设杂耍任意高度以及无限多个球，这是更简洁地表示在整数分区的马尔可夫链。在所有情况下，我们给出了明确的产品公式的平稳概率。在一种情况下，归一化因子可以明确地写为齐次对称多项式。我们还改进和推广了集划分上的丰富马尔可夫链。最后，我们证明了在一种情况下，平稳分布是在有界时间。
2015-01-16 math.CO math.PR
Asymptotics and approximations of ruin probabilities for multivariate risk processes in a Markovian environment
本文研究了多变量风险下破产概率的渐近性和近似性。我们考虑一个模型，其中的个人储备过程是由一个共同的马尔可夫环境过程。随后，我们考虑一个制度，其中的索赔到达强度和过渡率的环境过程共同加快，和一个在其中有（以压倒性的概率）最大的一个过渡的环境过程中考虑的时间间隔。在一系列的数值实验中的近似进行了广泛的测试。
2018-12-21 math.PR
A Note on Exact State Visit Probabilities in Two-State Markov Chains
本文推导了两状态马尔可夫链中特定状态在N次转移后恰好被访问k次的精确闭式概率，修正并扩展了先前不完整结果，并通过数值模拟验证了其在随机建模中的适用性。
2025-02-06 math.PR
Cell Escape Probabilities for Markov Processes on a Grid
本文针对网格上马尔可夫过程推导了一至三维常见单元的逃逸概率公式，并提出一种更稳健的随机蒙特卡洛算法以应对高维积分困难。
2024-03-30 math-ph math.MP math.PR
Maxentropy completion and properties of some partially defined Stationary Markov chains
针对状态空间部分转移概率未知的平稳 Markov 链，在已知输入输出概率及约束条件下，提出满足最大熵原理的转移概率补全方法。
2024-09-27 math.PR
The effect of reducible Markov modulation on tail probabilities in models of random growth
University of Sydney（悉尼大学）；Emory University（埃默里大学）
本文研究了可约马尔可夫调制对随机增长模型尾概率的影响，发现其上尾行为类似于 Erlang 分布，通过扩展 Rothblum 指数定理表征了形状参数。
2026-02-16 math.PR
Revisiting the forward equations for inhomogeneous semi-Markov processes
本文考虑了一类直接基于强度过程的非齐次半马氏过程的标点过程。我们证明了这个类满足文献中其他地方定义的半马尔可夫性。我们使用的标值点过程设置，以获得强上界的各种概率的半马尔可夫过程。利用这些边界，我们严格证明了可数无限状态空间的情况下，过渡强度是右导数的转移概率，我们证明了有限状态空间的情况下，转移概率满足向前方程，只需要右连续的过渡强度的时间和持续时间的参数和有界性条件。我们还显示了文献中考虑的几类半马尔可夫过程之间的关系，我们证明了在持续时间参数的转移概率的左导数的整表示。
2015-04-12 math.PR
Computing Lower and Upper Hitting Probabilities for Imprecise Markov Chains
Eindhoven University of Technology（埃因霍温理工大学）
本文研究了不精确马尔可夫链中目标状态集的下击中概率和上击中概率的计算，探讨了不精确设置下的可达性概念，并提出迭代算法用于实际计算。
2026-03-17 math.PR
Relation between Hitting Times and Probabilities for Imprecise Markov Chains
Eindhoven University of Technology（埃因霍温理工大学）
研究不精确离散时间马尔可夫链中击中时间与概率的关系，证明击中时间有限性与概率为一的等价性，并展示逆向关系可能失效的反例。
2026-11-02 math.PR
Markov chains on graded posets: Compatibility of up-directed and down-directed transition probabilities
考虑了两类离散时间马尔可夫链，其中状态空间是分次偏序集，转移是沿着偏序集的覆盖关系进行的。第一种类型的马尔可夫链只在一个方向上运行，在偏序集中向上或向下（\emph{up chain}或\emph{down chain}）。第二种类型在两个相邻的等级之间切换（\emph{up-and-down chain}）。我们引入两个兼容性的概念之间的向上定向的转移概率（\emph{up rule}）和向下定向的（一个\emph{down rule}），我们将这些向上和向下链之间的兼容性。这个框架被用来证明一个猜想的一个极限形状的过程中的杨格。最后，我们解决了上链的逆是否是下链的一些下降规则，是否存在一个上链或下链在所有的秩函数是没有界的问题。
2015-12-11 math.PR
Iterated function systems with place dependent probabilities and application to the Diaconis-Friedman's chain on [0,1]
我们研究了概率可能依赖于位置的迭代Lipschitz函数系统生成的马尔可夫链。在一般条件下，利用拟紧线性算子技巧，证明了马尔可夫链不变概率测度的唯一性。我们使用相同的方法来描述[0，1]上的Diaconis-Friedman链的行为，其中可能存在位置相关概率。
2017-07-23 math.PR
Graph-theoretic framework for semi-Markov networks: transient and stationary occupation probabilities, hitting times and weak ergodicity breaking
Institute for Theoretical Physics, Heidelberg University（海德堡大学理论物理研究所）；BioQuant-Center for Quantitative Biology, Heidelberg University（海德堡大学生物定量中心）
本文提出半马尔可夫网络的图论框架，给出占有概率等的组合表示，推广马尔可夫链树定理，证明有限平均半马尔可夫网络凯梅尼常数恒定，并揭示重尾半马尔可夫网络中弱遍历性破缺的普遍存在。
2026-11-06 cond-mat.stat-mech math.PR
First-passage probabilities and invariant distributions of Kac-Ornstein-Uhlenbeck processes
本文研究了具有马尔可夫调制的Ornstein-Uhlenbeck过程，其参数依赖于外部的两态马尔可夫过程.从首达概率和不变测度的角度研究了这类过程在给定调制下的条件均值和方差。它还研究了类似于Kac标度的标度条件下的极限行为。
2021-03-10 math.PR
Loop measures without transition probabilities
我们构造马尔可夫环措施，而不假设存在的密度转移概率。
2015-01-31 math.PR
Symmetric Markov chains on $\Bbb Z^d$ with unbounded range
我们考虑$\Bbb Z^d$上的对称马尔可夫链，其中我们{ \bf not}假设两点之间的电导必须为零，如果两点相距很远。在电导的均匀二阶矩条件下，我们得到了转移概率的上界，退出时间概率的估计，以及转移概率的某些下界。我们表明，一个统一的Harnack不等式举行，如果一个额外的假设，但没有这个假设，这样的不等式不需要举行。建立了一个中心极限定理，给出了一列规范化对称马尔可夫链收敛到$\Bbb R^d$上对应于散度型椭圆算子的扩散的条件.
2005-08-30 math.PR
Negative Entropy, Zero temperature and stationary Markov Chains on the interval
本文分析了Bernoulli空间$[0,1]^\mathbb{N}$上极大化平稳马尔可夫概率的一些性质，更确切地说，我们考虑了连续势$[0,1]^\mathbb{N}$的遍历优化，其中$A: [0,1]^\mathbb{N}\to \mathbb{R}$只依赖于前两个坐标.我们感兴趣的是找到$ [0,1]^\mathbb{N}$上的平稳马尔可夫概率$μ_\infty$，该概率在$[0,1]^\mathbb{N}$上的所有平稳马尔可夫概率$μ$中使值$ \int A d μ,$最大化。这个问题对应于统计力学中的零温度情况下的相互作用所描述的潜在PDMATHAMN。本文的主要目的是在极大概率唯一性的假设下，证明一族绝对连续的马氏概率$μ_β$弱收敛于$μ_\infty$的大偏差原理.概率$μ_β$由Perron算子的信息得到，满足类似于压力的变分原理。在$A$是$C^2$的假设下，在扭转条件下，即$\frac{\partial^2 A}{\partial_x \partial_y} (x,y) \neq 0$，对所有的$(x,y) \in [0,1]^2$，我们证明了图的性质。
2009-01-06 math.DS math.PR
Markov chain Monte Carlo for computing rare-event probabilities for a heavy-tailed random walk
本文提出了一种基于马尔可夫链蒙特卡罗（MCMC）算法的计算罕见事件概率的方法。给定稀有事件发生的基本过程的条件分布以稀有事件的概率作为其归一化常数。利用MCMC方法模拟了一个马尔可夫链，将该条件分布作为其不变分布，并从其轨迹中提取了关于归一化常数的信息。该算法被描述在充分的一般性和应用的问题计算的概率，一个重尾随机游动超过一个高阈值。构造了倒概率的一个无偏估计，其归一化方差渐近为零。该算法被扩展到随机和其性能的数值说明，并与现有的重要性抽样算法。
2012-11-09 math.PR stat.CO
Perturbation analysis of Markov modulated fluid models
我们考虑正常返马尔可夫调制流体模型的扰动。除了相位的无穷小生成元外，我们还对速率矩阵进行了扰动，并分析了这些扰动对初始水平的首次返回概率矩阵的影响。我们的主要贡献是第一返回概率矩阵的替代品的建设，这使我们能够分析所考虑的扰动的影响。
2017-02-08 math.PR
Juggling probabilities
如果我们假设变戏法的人抛向随机的高度，那么变戏法的行为可以被看作是一个马尔可夫过程。我使这个协会的最简单的合理模型的随机杂耍和计算的稳态概率的第二类斯特林数。我还探索了几种杂耍的替代模式。
2003-02-20 math.CO math.PR
Properties of the Promotion Markov Chain on Linear Extensions
Tsetlin图书馆是一个很好的研究模型，可以用来描述图书馆书架上书籍的排列方式随着时间的推移而演变。这个马尔可夫链最有趣的性质之一是它的谱可以精确计算，并且特征值在转移概率中是线性的。这一结果已被不同的人以不同的方式加以推广。在这项工作中，我们研究了由Ayyer，Klee和Schilling在2014年引入的偏序集$P$的线性扩展上的扩展推广马尔可夫链给出的推广之一。他们证明，如果偏序集$P$是一个有根森林，这个马尔可夫链的转移阵的特征值在转移概率中是线性的，并描述了它们的多重性。我们表明，同样的属性适用于更大的一类偏序集，我们也得到收敛平稳性的结果。
2017-08-08 math.CO math.PR
Central Limit Theorems for Transition Probabilities of Controlled Markov Chains
Northwestern University（西北大学）
本文研究了受控马尔可夫链转移矩阵非参数估计的中心极限定理，揭示了日志策略下渐近正态性条件及CLT不存在的场景，推导了价值函数、Q函数和优势函数的CLT，并提出 goodness-of-fit检验用于检验日志数据的随机性。
2026-03-25 math.PR math.ST stat.ML
Convergence of Probability Measures and Markov Decision Models with Incomplete Information
本文讨论了度量空间上概率测度的三种主要收敛类型：弱收敛、集态收敛和全变差收敛。首先，它描述和比较充要条件，这些类型的收敛，其中一些是众所周知的，在开集和闭集的概率的收敛方面，以及在实数线上的概率，在分布函数的收敛方面。其次，给出了概率测度弱收敛和集态收敛以及随机核连续性的方便判据，这些判据是由度量生成的拓扑所定义的概率收敛的结果.第三，它提供了部分可观测马尔可夫决策过程的控制，特别是不完全信息的马尔可夫决策模型的应用。
2014-07-03 math.PR
Embeddability of Kimura 3ST Markov matrices
本文用特征值刻画了一般Kimura 3ST Markov矩阵的可嵌入性。因此，我们能够计算这些矩阵的体积相对于模型中所有马尔可夫矩阵的体积。我们还提供的例子表明，在一般情况下，突变率是不能识别的替代概率。这些例子还说明突变概率之间的对称性不一定来自相应的突变率之间的对称性。
2019-02-22 math.PR q-bio.PE
An Analysis of the Diaconis-Holmes-Neal Markov Chain Sampler Under Generalized Unimodal Underlying Probabilities
University at Albany, SUNY（奥尔巴尼州立大学纽约州立大学系统）
本文分析了Diaconis-Holmes-Neal采样器在一般单峰概率分布下的收敛性，探讨了其在统计物理中的应用及收敛步骤数。
2026-09-18 math.PR
Graph theoretic derivation of mutual linearity for transient probabilities and hitting time distributions in Markov networks
Institute for Theoretical Physics, Heidelberg University（海德堡大学理论物理研究所）；BioQuant-Center for Quantitative Biology, Heidelberg University（海德堡大学生物定量中心）
研究通过图论方法推导了马尔可夫网络中瞬态概率和击中时间分布的互线性性质，并给出了非稳态响应比的组合表达式。
2026-08-18 cond-mat.stat-mech math.PR
Computation of ruin probabilities for general discrete-time Markov models
研究了离散时间马氏模型下的破产问题。与以前的研究，专注于破产概率的渐近行为的初始资本的大值，我们提供了一种新的技术来计算的数量的利息为任何初始值，并与任何给定的精度。而不是专注于一个特定的风险过程模型，我们给出了破产概率的一般特征，提供相应的递归和不动点方程。由于这样的破产概率方程是不适定的，在这个意义上，他们不允许唯一的解决方案，我们近似的破产概率的两个障碍破产概率，其中不动点方程是适定的。我们还展示了如何引入近似是通过提供一个明确的边界上的错误和特征的情况下，错误收敛到零。所提出的技术和结果支持的两个计算实例在文献中已知的模型，其中之一是非常重尾。
2013-08-23 math.OC math.PR q-fin.RM
Perturbed Markov Chains and Information Networks
本文研究了描述信息网络的扰动马尔可夫链。在这样的模型中，相应的马尔可夫链的转移概率矩阵通常通过添加一个特殊的阻尼矩阵乘以一个小的阻尼（扰动）参数$\varepsilon$来正则化。本文给出了转移概率正则化矩阵的扰动马氏链的平稳分布对未扰动马氏链的平稳分布的逼近速度的有效上界，关于阻尼参数的平稳分布逼近的渐近展开式，以及三角阵模式下$n$ -步转移概率的遍历定理的收敛速率的显式上界，其中扰动参数$\varepsilon \to 0$和$n \to \infty$同时。文中还给出了数值试验的结果
2019-05-02 math.PR
Formulas for Rational-Valued Separability Probabilities of Random Induced Generalized Two-Qubit States
以前，一个包含$5F4$超几何函数的公式，用于$4 \times 4$密度矩阵的希尔伯特-施密特平均行列式矩$\left\langle \left\vert ρ^{PT}\right\vert ^{n}\left\vert ρ\right\vert ^{k}\right\rangle /\left\langle \left\vert ρ\right\vert ^{k}\right\rangle$（$ρ$）及其部分转置（$ρ^{PT}|$），并与$k=0$一起应用于广义两量子比特分离概率问题。此外，我们在这里注意到，该公式可以被看作是对“混合量子态空间中的诱导测量”的平均。相关的诱导测量可分性概率（$k =1, 2,\ldots$）被发现--{ \it via}一个高精度密度近似过程--在两重比特（$α= \frac{1}{2}$）、（标准）两量子比特（$α= 1$）和两四重比特（$α=2$）的情况下假设有趣的、相对简单的有理值。我们推导出相当简单的同伴（rebit，qubit，quaterbit，\ldots）公式，成功地再现了合理的值为{ \it一般} $k$。据观察，这些配方具有某些共同特征，可能允许它们被纳入单个主配方中。
2015-05-13 math-ph math.MP math.PR
Rare Event Simulation for Steady-State Probabilities via Recurrency Cycles
本文提出了一种新的算法，用于估计具有连续状态空间$\mathbb R^d$和离散时间步长的马尔可夫随机过程（即离散时间$\mathbb R^d$值马尔可夫链）的稳态概率.该算法，我们硬币的递归多级分裂（RMS），依赖于马尔可夫链的底层递归结构，结合多级分裂方法。进行了大量的模拟实验，包括具有复杂气候模式的一些特征的非线性随机模式的实验。数值实验表明，RMS方法与蒙特卡罗方法相比，可以将计算效率提高几个数量级。
2019-04-05 math.PR stat.CO
Surprise probabilities in Markov chains
在状态$x$开始的马尔可夫链中，命中时间$τ(y)$是链第一次到达另一个状态$y$。我们研究概率$\mathbf{P}_x(τ(y) = t)$，第一次访问$y$恰好发生在一个给定的时间$t$。非正式地说，在大时间$t$访问新状态的事件可以被认为是"惊喜"。我们证明了以下三个界：1）在任何具有$n$状态的马尔可夫链中，$\mathbf{P}_x(τ(y) = t) \le \frac{n}{t}$。2)在具有$n$状态的可逆链中，$\mathbf{P}_x(τ(y) = t) \le \frac{\sqrt{2n}}{t}$为$t \ge 4n + 4$。3)对于具有$n \ge 2$个顶点的简单图上的随机游动，得到了$\mathbf{P}_x(τ(y) = t) \le \frac{4e \log n}{t}$.我们构造的例子表明，这些界限接近最优。我们的边界的主要特点是，他们需要很少的知识的马尔可夫链的结构。为了证明图上随机游动的界，我们建立了Aldous，Ding和Oveis-Gharan（private communication）的估计：对于$n$-顶点图上的随机游动，对每个初始顶点$x$，\[ \sum_y \left( \sup_{t \ge 0} p^t(x, y) \right) = O(\log n). \]
2014-08-04 math.PR
Quasi-Stationary Asymptotics for Perturbed Semi-Markov Processes in Discrete Time
考虑一个离散时间半马尔可夫过程，其中定义过程的特征依赖于一个小扰动参数。假设状态空间由一个有限通信状态类和一个吸收状态组成。我们感兴趣的主要对象是半马尔可夫过程和非吸收事件的位置的联合概率的渐近行为，随着时间趋于无穷大和扰动参数趋于零。主要结果给出了这些概率的指数展开式以及用于计算展开式中的系数的递归算法。
2016-03-18 math.PR
Ruin Probabilities for Risk Process in a Regime Switching Environment
在本文中，我们给出了几个表达式和渐近的马尔可夫调制风险过程的破产概率的不同制度的时间范围，初始准备金和索赔额分布。我们还考虑了几种不同的破产时间。
2021-10-02 math.PR
Visible absorbing decompositions and uniqueness of invariant probabilities
De Vinci Higher Education, De Vinci Research Center（德芬奇高等教育、德芬奇研究中心）
本文研究了马尔可夫核中不变概率唯一性的条件，通过可见吸收分解证明了存在多个不变概率当且仅当存在两个互不相交的吸收集，每个集对一个不变概率有完全质量。
2026-05-11 math.PR q-fin.MF
$L^{2}$-spectral gaps, weak-reversible and very weak-reversible Markov chains
可逆马尔可夫链的$L^2$ -谱间隙理论已被许多作者研究过。本文考虑一般状态空间正常返马尔可夫链的平稳转移概率。将可逆性假设替换为不太强的假设，我们仍然获得了相关Markov算子的谱间隙性质在等周常数方面的简单充要条件。此外，我们定义了一个新的序列的等周常数，这提供了一个充要条件的谱间隙的存在，在一个非常一般的设置。最后，这些结果被用来获得一个简单的充分条件，存在的光谱间隙的一阶和二阶转移概率。
2009-08-06 math.PR
Approximating Performance Measures for Slowly Changing Non-stationary Markov Chains
本文主要研究与具有非平稳转移概率的马尔可夫链和过程相关的各种期望的严格近似。这种非平稳模型自然出现在需要纳入时间效应或季节性效应的背景下。在转移概率随时间缓慢变化的情况下，我们的近似是渐近有效的。具体来说，我们开发的预期无限地平线折扣奖励，预期奖励的首中时的一组，预期奖励与链所占据的状态在时间$n$，并在一个间隔$[0,n]$的预期累积奖励的近似。在每种情况下，近似都涉及一个线性方程组，其形式与计算具有平稳转移概率的马尔可夫模型的相应量所需求解的方程组相同。在这个意义上，该理论提供了一个近似值，计算起来并不比传统的静态环境更困难。虽然大部分的理论是有限状态马尔可夫链，我们也提供了推广到连续状态马尔可夫链，和有限状态马尔可夫跳过程在连续时间。在后一种情况下，我们的一个近似与Massey和Whitt（1998）的匀加速渐近一致。
2018-05-04 math.PR
Connectivity patterns in loop percolation I: the rationality phenomenon and constant term identities
圈逾渗，也称为稠密O（1）圈模型，是正方形晶格Z ^2中临界键逾渗的一种变体，其图形结构由不相交的圈并组成。我们研究了它的连通性模式，这是一个随机的非交叉匹配与循环渗流配置。这些连接模式表现出一个惊人的合理性属性，自然发生的事件的概率是二元有理数或有理函数的大小参数n，但其原因还没有完全理解。我们证明了在少数情况下的合理性现象，并证明了一个明确的公式表示的概率在“圆柱几何”的系数在某些多元多项式。这减少了合理性问题，在一般情况下，证明一个家庭的结构常数项身份推广身份由于迪弗朗西斯科和津恩贾斯汀。我们的结果利用，并扩展，代数技术相关的量子Knizhnik-Zamolodchikov方程。
2013-10-02 math-ph math.CO math.MP
Transition probabilities for degenerate diffusions arising in population genetics
我们提供了一个详细的描述结构的转移概率和首中分布的边界组件的一个流形的角落退化强马尔可夫过程在人口遗传学。我们研究的马尔可夫过程是经典Wright-Fisher过程的推广。在我们的证明的主要成分是基于分析的正则性的解决方案的前向Kolmogorov方程定义在一个紧凑的流形上的角落，这是退化的意义上，它不是严格的椭圆和系数的一阶漂移项有轻微的对数奇异性。
2017-07-25 math.AP math.PR
Optimal bounds for bit-sizes of stationary distributions in finite Markov chains
一个有理元素不可约的随机阵有一个由有理数向量给出的平稳分布。我们给出了这个向量的最小公分母的上界。这类界被用来研究求解随机平均支付博弈的算法的复杂性。它们通常使用Hadamard不等式导出，但这会导致次优结果。我们用马尔可夫链树公式代替Hadamard不等式，得到了最优界。我们还调整我们的方法，以获得有限马尔可夫链的吸收概率和收益和偏置向量的马尔可夫链的奖励上的界限。
2021-09-10 cs.GT math.CO math.PR
Distributed Algorithms in an Ergodic Markovian Environment
当转移概率可能依赖于时间和空间时，我们提供了银行家算法的概率分析。随着时间的推移，转移概率沿着遍历马尔可夫环境的轨迹演化，而空间参数只是长期作用。我们的模型似乎是朝着更一般的时间和空间相关协议迈出的新的（一小步）。我们的分析依赖于著名的随机均匀化理论的结果，并调查的渐近行为的重新缩放算法的总资源分配趋于无穷大。在二维情形下，我们对极限系统的死锁时间给出了三种可能的机制。
2005-07-06 math.PR
Imprecise Markov chains and their limit behaviour
当离散时间有限马尔可夫链的初始概率和转移概率不为人知时，需要进行灵敏度分析。这可以通过将这些概率已知或被认为属于的所谓的置信集视为基本不确定性模型，并通过允许概率在这些集合上变化来实现。这导致了一个不精确的马尔可夫链的定义。我们表明，这样一个系统的时间演化可以非常有效地研究使用所谓的下限和上限的期望，这是等价的数学表示的信用集。我们还研究了如何推断credal集的状态，在时间n演变为n走向无穷大：在相当不受限制的条件下，它收敛到一个唯一不变的credal集，无论credal集的初态。这导致了一个非平凡的推广的经典Perron Frobenius定理不精确的马尔可夫链。
2009-02-20 math.DS math.PR
Stability of a Markov-modulated Markov Chain, with application to a wireless network governed by two protocols
我们考虑一个离散时间的马尔可夫链$(X^t,Y^t)$，$t=0,1,2,...$，其中$X$分量本身形成一个马尔可夫链.假设$(X^t)$是哈里斯遍历的，并考虑辅助马尔可夫链${\hat{Y}^t}$，其转移概率是$(X,Y)$链的$Y$分量的转移概率的平均值，其中平均值由$X$分量的平稳分布加权。我们首先提供自然条件的测试功能，确保$\hat{Y}$链是积极的经常性，然后证明这些条件也是足够的积极复发的原始链$(X^t,Y^t)$。我们证明了一个“多维”的扩展所获得的结果。在论文的第二部分中，我们将我们的结果应用于由两个随机协议管理的多址无线模型的两个版本。
2012-12-25 math.PR
Metastable Distributions of Semi-Markov Processes
本文针对参数依赖的半马尔可夫过程，引入完全渐近正则性条件，确保各初始点在给定时间尺度下亚稳态分布存在，推广了遍历定理。
2024-11-07 math.PR
Monotonicity of Markov chain transition probabilities via quasi-stationarity -- an application to Bernoulli percolation on $C_k \times Z$
该研究通过马尔可夫链准平稳分布的收敛速率界得到转移概率单调性阈值的显式界，并将其应用于柱图伯努利渗流，证明了连通概率的一致单调性结果。
2025-03-24 math-ph math.MP math.PR
Computing transient probabilities in Markovian queues with balking conditional on a fixed number of joined customers
Department of Information and Communications Technology, The University of Osaka, Japan（大阪大学信息与通信技术系）
该研究针对有限时间内恰好K名顾客加入的带弃权马尔可夫排队系统，推导概率生成函数相关方程与线性微分方程，开发数值方法计算相关矩，解释了条件下的反直觉行为。
2026-08-21 math.PR
A Recursive Algorithm for Computing Inferences in Imprecise Markov Chains
我们提出了一种算法，可以有效地计算广泛的一类离散时间不精确的马尔可夫链，广义类型的马尔可夫链，允许考虑到部分指定的概率和其他类型的模型的不确定性的推断。类的推论，我们认为包含，作为特殊情况下，严格的下限和上界的预期首中时，击中概率和期望的功能，是一个简单的总和或产品。我们的算法利用了所有这些推论所固有的特定结构：它们允许一般的递归分解。这允许我们实现计算复杂性，其在推断所依赖的时间点的数量上线性地缩放，而不是对于朴素方法典型的指数缩放。
2019-07-01 math.PR
Ergodicity of inhomogeneous Markov processes under general criteria
本文针对非齐次马尔可夫过程，通过推广Krylov-Bogolyubov方法或采用Lyapunov准则建立不变测度族的存在性，并在压缩假设下证明唯一性与指数遍历性，以三个实例验证方法的实用性。
2025-01-23 math.DS math.PR
Continuity properties of a factor of Markov chains
从一个有限字母表的马尔可夫链出发，我们考虑当除了一个符号之外的所有符号对于从业者来说都是不可区分的时所得到的链。我们研究的充要条件，这个链有连续的转移概率相对于过去。
2014-09-22 math.PR
Robust Parametric Inference for Finite Markov Chains
我们考虑的问题，在一个参数有限马尔可夫链模型的统计推断和开发一个强大的估计参数定义的转移概率通过最小化一个合适的（经验）版本的流行的密度功率发散。基于一阶平稳马尔可夫链的长观测序列，定义了参数的最小密度幂离估计（MDPDE），并在适当的条件下严格推导了其渐近性质和鲁棒性质. MDPDE的性能说明了理论以及经验有限马尔可夫链模型的一些常见的例子。并结合两个马尔可夫链序列的参数比较，讨论了它在统计假设稳健性检验中的应用。对于多重马尔可夫链、高阶马尔可夫链和具有时间依赖转移概率的非平稳马尔可夫链，也简要讨论了MDPDE的几个扩展方向和相关的推论.最后，我们的建议被应用于分析企业信用评级迁移数据的三个国际市场。
2021-03-21 math.PR stat.ME
Imprecise Markov Models for Scalable and Robust Performance Evaluation of Flexi-Grid Spectrum Allocation Policies
灵活分配频谱资源的可能性，不同大小的信道大大提高了光网络的频谱效率，但也可能导致不必要的频谱fragmentation.We研究这个问题的情况下，流量需求分为两种类型（低或高比特率）通过评估三个分配政策的性能。我们的第一个贡献包括精确的马尔可夫链模型，这些分配政策，使我们能够数值计算相关的性能指标。然而，这些精确的模型不能扩展到大型系统，在这个意义上，确定阻塞概率所需的计算-衡量分配策略的性能-变得棘手。为了解决这一问题，我们首先扩展了一个近似的减少状态马尔可夫链模型，在文献中的三个考虑分配政策。这些减少状态马尔可夫链模型允许我们可追踪地计算阻塞概率的近似值，但这些近似值的准确性不能很容易地验证。然后，我们的主要贡献是引入减少状态不精确马尔可夫链模型，使我们能够得到保证的下限和上限的阻塞概率，分别为三个分配政策或所有可能的分配政策同时。
2018-04-27 cs.NI math.PR
Zipf and non-Zipf Laws for Homogeneous Markov Chain
考虑一个具有离散时间的齐次马氏链，它具有一个有限的状态集$E_0,\ldots,E_n$，使得状态$E_0$是吸收的，状态$E_1,\ldots,E_n$是非回归的.这项工作的目标是研究频率的轨迹在这个链，即，由符号$E_1,\ldots,E_n$组成的“单词”，以“空格”$E_0$结尾。让我们根据单词的概率对单词进行排序;用$p(t)$表示列表中第$t$个单词的概率。本文证明了函数$p(t)$的渐近性在一个典型情况下具有幂特征，并由转移概率矩阵定义了它的指数。如果这个矩阵是块对角的，那么对于一些特定的转移概率值，幂渐近性得到（对数）adjacent。但如果这个矩阵相当稀疏，那么概率会迅速下降;也就是说，渐近的速度大于幂1，但不大于指数1。我们还建立了指数级下降的必要条件和充分条件，并得到了一个公式，确定指数的转移概率矩阵和初始分布向量。
2013-08-22 cs.IT math.IT math.PR
Algebraic formulas for first-passage times of Markov processes in the linear framework: generalising the work of Hill and Kac
Harvard Medical School（哈佛医学院）；Yale University（耶鲁大学）；Pompeu Fabra University（庞培法布拉大学）
本文在图论线性框架下，引入Hill算子与unraveling算子，推广Hill和Kac的工作，得到马尔可夫过程首达时间、首达时间矩、平均 recurrence 时间等的有理代数公式，整合了瞬态与稳态性质的关系。
2026-08-11 math.PR q-bio.QM
Hoeffding's inequalities for geometrically ergodic Markov chains on general state space
考虑$L^2$空间中具有谱隙的马尔可夫链.假设$f$是一个有界函数。则平均值沿轨迹出现大偏差的概率满足Hoeffding型不等式。这些界限只取决于平稳的平均值，频谱间隙和端点支持的$f$。
2013-06-13 math.PR
Multi-scale metastable dynamics and the asymptotic stationary distribution of perturbed Markov chains
考虑一类简单但重要的亚稳态离散时间马尔可夫链，我们称之为扰动马尔可夫链。基本上，我们假设转移阵依赖于参数$\varepsilon$，并且收敛为$\varepsilon$。我们进一步假设链对于$\varepsilon$是不可约的，但是当$\varepsilon$。这可能在多个时间尺度上导致亚稳态行为。对于每个相关的时间尺度，我们得到两个有效的链。第一个描述了（可能不可逆的）亚稳态动力学，而第二个是可逆的，并描述亚稳态逃逸概率。封闭的概率表达式给出了这些链的渐近转移概率，但我们也展示了如何计算它们在一个快速和数值稳定的方式。因此，我们得到有效的算法计算的提交函数和限制平稳分布。
2014-12-22 math.PR
