The elapsed time between two transient state observations for an absorbing Markov chain
考虑一个系统按照具有已知转移阵的吸收离散时间马尔可夫链演化。在两个时间点观察系统的状态,这两个时间点之间相隔未知数代。我们感兴趣的是计算期望的运行时间及其方差。我们提供了一个新的,精确解,这是可计算的基本矩阵的相关吸收马尔可夫链。这个解决方案可能是有用的,在人口遗传学计算预期年龄的分离等位基因,而不需要扩散近似。
2015-11-03 math.PR q-bio.PE
A note on weak compactness of occupation measures for an absorbing Markov decision process
本文研究了具有Borel状态和动作空间的吸收马尔可夫决策过程,给出了使其一致吸收且占用测度集在弱拓扑下紧致的条件,推广了已有结果并回答了相关文献中的猜想。
2024-04-29 math.OC math.PR
Polynomial Decay in Absorbing Continuous-Time Markov Chains
研究吸收连续时间马尔可夫链转移函数的多项式衰减渐近性,给出系数矩阵秩为一的充分条件,并构造不可约反例说明不可约性不蕴含秩一渐近性。
2026-11-16 math.PR
Conditional Joint Probability Distributions of First Exit Times to Overlapping Absorbing Sets of the Mixture of Markov Jump Processes
给出了连续时间随机过程首次退出时间的条件联合概率分布的新结果,该连续时间随机过程定义为在同一有限状态空间上以不同速度运动的Markov跳过程的混合,而该混合发生在随机时间.这种混合物首先由Frydman \cite{Frydman2005}和Frydman和Schuermann \cite{Frydman2008}提出,作为Blumen等人的移动-停留模型的推广。\cite{Blumen},最近由Surya \cite{Surya2018}推广,其中给出了过程的显式分布恒等式,特别是在吸收态存在的情况下.我们重新\cite{Surya2018}有限混合重叠吸收集。本文的贡献是双重的。首先,我们推广了\cite{Frydman2008}和\cite{Surya2018}中讨论的混合物的分布性质。其次,我们给出的第一个退出时间的分布身份明确的强度矩阵的基本马尔可夫过程和贝叶斯更新的切换概率和状态的概率分布,尽管事实上,混合本身是非马尔可夫。它们形成时间的非平稳函数,并且当以过程的可用信息(全部或部分)为条件时,具有捕获异质性和路径依赖性的能力。特别地,Assaf等人的多元相型分布的广义混合物的分布形式的初始轮廓\cite{Assaf1984}。当底层过程以相同的速度移动时,在这种情况下,混合成为一个简单的马尔可夫过程,这些特征被删除,初始分布减少到\cite{Assaf1984}。一些…
2018-09-15 math.PR
Markov Rewards Processes with Impulse Rewards and Absorbing States
研究了具有吸收状态的离散时间Markov报酬模型的期望累积报酬。奖励是冲动奖励,其中当从状态$i$转换到状态$j$时累积奖励$ρ_{ij}$。我们推导出一个明确的,单字母表达式的预期累积奖励的时间步长$n$的数量的函数,并包括在我们的分析中的限制,其中$n \to \infty$。
2021-05-01 cs.IT math.IT math.PR
On the conditional joint probability distributions of phase-type under the mixture of finite-state absorbing Markov jump processes
本文给出了在同一有限状态空间$\mathbb{S}$上以不同速度运动的具有吸收项的右连续Markov跳过程的混合过程的条件联合概率分布的一些新结果,其中混合过程发生在随机时刻.这种混合物首先由Frydman \cite{Frydman2005}和Frydman和Schuermann \cite{Frydman2008}提出,作为Blumen等人的移动-停留模型的推广。\cite{Blumen},最近由Surya \cite{Surya2018}扩展。当条件的所有以前和当前的信息$\mathcal{F}_{t,i}=\mathcal{F}_{t-}\cup\{X_t=i\}$,与$\mathcal{F}_{t-}=\{X_s, 0<s\leq t-\}$和$i\in\mathbb{S}$,混合过程$X$,分布的身份是明确的切换概率的贝叶斯更新,观察样本路径的可能性,和强度矩阵的基本马尔可夫过程,尽管事实上,混合本身是非马尔可夫。它们是时间的非平稳函数,具有捕获异质性和路径依赖的能力.当基础过程以相同的速度移动时,在这种情况下,混合物简化为简单的马尔可夫跳跃过程,这些特征被去除,并且分布与Neuts \cite{Neuts1975}和Assaf等人给出的分布一致。\cite{Assaf1984}。此外,当条件对$\mathcal{F}_{t-}$和没有出口的吸收集已被观察到在时间$t$…
2018-07-21 math.PR
Hitting Time Distribution for Skip-Free Markov Chains: A Simple Proof
对于具有吸收状态$d$的不可约无跳链,在一定条件下,状态$d$从状态0开始的命中(吸收)时间服从$d$的几何(或指数)独立随机变量之和分布.本文的目的是在离散和连续时间无跳马尔可夫链的情况下给出该定理的一个直接而简单的证明。我们的证明是用迭代法直接计算首中时的母函数(或拉普拉斯变换)。
2013-01-30 math.PR
Computing the Yaglom limit of Markov chains with a single exit state using their excursion measure
本文针对吸收状态仅可从单一非吸收状态到达的离散马尔可夫链,利用偏移表示将Yaglom极限与出口状态局部时间倒数的大偏差行为关联,并计算其最小准平稳分布。
2024-06-10 math.PR
Further remarks on absorbing Markov decision processes
该研究基于已有成果推导了吸收马尔可夫决策过程的占用测度空间在弱拓扑与弱-强拓扑下收敛序列一致的结论,通过反例说明条件不可替代且结论不适用于边缘分布空间,同时澄清了过往文献的相关结果。
2024-09-11 math.OC math.PR
Visible absorbing decompositions and uniqueness of invariant probabilities
De Vinci Higher Education, De Vinci Research Center(德芬奇高等教育、德芬奇研究中心)
本文研究了马尔可夫核中不变概率唯一性的条件,通过可见吸收分解证明了存在多个不变概率当且仅当存在两个互不相交的吸收集,每个集对一个不变概率有完全质量。
2026-05-11 math.PR q-fin.MF
Quasi-stationary distributions of non-absorbing Markov chains
本文针对有限状态可逆遍历马尔可夫链,提出不依赖吸收态的准平稳分布新概念,用最优强平稳时间替代吸收集命中时间,证明其对应Yaglom极限的推广并可用马尔可夫核特征向量表示,同时恢复指数行为并通过反例说明可逆性假设不可削弱。
2024-09-28 math-ph math.MP math.PR
Tighter Bounds on the Expected Absorbing Time of Ungarian Markov Chains
本文研究有限格上Ungarian马尔可夫链的期望吸收时间,证明其在对称群弱序上关于n线性,在Tamari格上满足n^{1-o(1)}下界,从而完全解决Defant和Li的一个猜想并部分解决另一个。
2025-09-19 math.CO math.PR
Representation and Characterization of Quasistationary Distributions for Markov Chains
University of Connecticut(康涅狄格大学)
本文针对具有唯一吸收状态和不可约非吸收状态集的马尔可夫链,根据吸收时间矩生成函数的有限/无限情形分析拟平稳分布(QSDs)的存在性与表示,给出应用并重新审视经典结果。
2025-11-13 math.PR
Conditional Stable Laws and Rare-Event Limits for Absorbing Markov Chains
本文针对紧致度量空间上的吸收马尔可夫链,建立了条件极限定理,证明归一化观测点过程收敛于泊松随机测度,导出稳定律及非标准高斯极限,并给出条件中心极限定理、指数偏差界和收缩目标访问的泊松律。
2026-10-26 math.DS math.PR
Absorption in Time-Varying Markov Chains: Graph-Based Conditions
我们研究吸收,即,在有限状态空间的时变(非齐次)离散时间马尔可夫链中,几乎必然收敛到一个吸收状态。我们考虑的系统,可以切换之间的一组有限的过渡矩阵,我们称之为模式。我们的分析集中在两个性质:1)几乎必然收敛到一个吸收状态下的任何切换,和2)几乎必然收敛到一个所需的一组吸收状态通过适当的切换策略。我们得到的必要条件和充分条件的基础上的过渡图的模式。更具体地说,我们表明,切换策略,确保几乎肯定收敛到所需的一组吸收状态从任何初始状态存在的,当且仅当这些吸收状态是可达到的从任何国家的联盟的简化过渡图。然后,我们展示了任意开关下吸收的三个充分条件。前两个条件依赖于简化的过渡图的并集(交集)的无环性(弱无环性),而第三个条件是基于每个状态到所有模式中的吸收状态的距离。这些图论条件可以验证吸收状态的稳定性和稳定性的基础上,只有在每个模式的过渡的可行性。
2020-08-17 cs.SY eess.SY math.OC
On the quasi-ergodicity of absorbing Markov chains with unbounded transition densities, including random logistic maps with escape
本文研究具有无界转移密度的吸收马尔可夫链的准遍历性,给出准遍历测度存在及Yaglom极限收敛的条件,并将其应用于带逃逸的随机逻辑斯蒂映射。
2024-03-26 math.DS math.PR
Analytic-geometric methods for finite Markov chains with applications to quasi-stationarity
对于一类相对较大的行为良好的吸收(或杀死)有限马尔可夫链,我们给出了详细的定量估计链的行为之前,它被吸收(或杀死)。典型的例子是在正方形格点$\mathbb Z^d$的盒状有限子集上的随机游动,这些有限子集在边界处被吸收(或杀死)。分析是基于庞加莱,纳什和Harnack不等式,适度增长,约翰和内部一致域的概念。
2019-06-12 math.PR
On reachability of Markov decision processes: a novel state-classification-based PI approach
本文研究离散时间受控马尔可夫系统的可靠性,通过引入平稳策略吸收集概念构建新最优性方程,提出有限步收敛的策略迭代算法以获取最大可靠性最优策略。
2025-05-05 math.OC math.PR
Entropy of absorbed Markov chains
本文考虑了严格次随机阵和具有吸收状态的随机阵。利用拟平稳分布证明了存在一个典型的相关平稳马尔可夫链。基于复活链的$2-$串表示,我们提供了被杀死和被吸收链的静态表示。当人们确定自然因素的概率测度时,这些表示的熵具有明确的意义。这些表示的熵和规范链之间的平衡,用于检查整个结构的适用性。
2019-10-02 math.PR
Estimates on the amplitude of the first Dirichlet eigenvector in discrete frameworks
考虑一个有限吸收马尔可夫生成元,它在非吸收状态上不可约. Perron-Frobenius理论保证了相应的正特征向量$φ$的存在。本文的目的是给出振幅$\max φ/\minφ$的界。提出了两种方法:一种是使用路径方法,另一种是基于谱估计,仅限于可逆情况。后一种方法被扩展到可数的出生和死亡过程吸收在0无穷大是一个入口边界。估计该比率的兴趣在于将收敛到拟平稳性的定量研究减少到收敛到相关遍历过程的平衡点,如[7]所示。
2015-05-28 math.PR
Noncolliding Macdonald Walks with an Absorbing Wall
分支规则是Macdonald对称多项式最基本的性质之一。它将Macdonald多项式表示为具有较少变量的Macdonald多项式的非负线性组合。当变量数趋于无穷大时,取主特化分支规则的一个极限,得到了一个具有负漂移和零吸收壁的$m$非碰撞粒子的马尔可夫链.该链依赖于麦克唐纳参数$(q,t)$,并且可以被视为戴森布朗运动的离散变形。马尔可夫链的轨迹相当于具有任意叶栅前壁的平面分区的吉布斯系综。在Jack极限$t=q^{β/2}\to 1$中,吸收壁消失,Macdonald非碰撞游动转化为$β$ [Int.Math.Res.Not. 2021(2021),5898-5942,arXiv:1708.07115]。利用$q=0$(Hall-Littlewood degeneration),进一步发送$t\to 1$,得到了$\mathbb{Z}_{\ge 0}$上具有非均匀跳跃率和零吸收壁的连续时间粒子系统.
2022-10-20 math.CO math.PR math.QA
On Dirichlet eigenvectors for neutral two-dimensional Markov chains
我们考虑一类离散的,二维的马尔可夫链建模动态的人口有两种类型,没有突变或移民,和中性的意义上说,类型对每个人的出生或死亡参数没有影响。我们证明了相应的转移阵或无穷小生成元的所有特征向量可以表示为两个变量的“通用”多项式的乘积,取决于每个类型的大小,但不取决于特定的动态转换,和功能只取决于总的总体规模。这些特征向量似乎是Dirichlet特征向量的三角形子域的补充上的Dirichlet特征向量,因此相应的特征值以特定的方式排序。作为应用,我们研究了有限的,近中性的,二维马尔可夫链的拟平稳行为,在这个意义上,0是一个吸收状态的过程中的每个组件。
2012-02-21 math.PR
A Greedy Chip-firing Game
论文提出确定性的 hunger game,以转子路由式机制模拟有限常返和吸收马尔可夫链,并证明其分布、击中测度与期望击中时间的偏差以 N^{-1} 收敛。
2022-07-09 math.CO math.PR
Antiduality and Möbius monotonicity: Generalized Coupon Collector Problem
对于有限状态空间上的吸收马尔可夫链$X^*$,如果链$X$的最快强平稳时间在分布上等于$X^*$的吸收时间,则链$X$是$X^*$的锐反对偶.在本文中,我们展示了一个系统的方法来找到这样一个反对偶的基础上的状态空间的一些偏序。我们使用的强平稳对偶理论最近开发的Möbius单调马尔可夫链。给出了一类广义息票回收问题对应的马尔可夫链的几个尖锐的反对偶链。因此-利用已知的结果上的吸收时间的限制分布-我们表明分离截止(其窗口大小)在几个链。我们还提出了一个链,(在某些条件下)有一个规定的平稳分布,其最快的强平稳时间分布作为一个规定的混合几何随机变量的总和。
2019-03-01 math.PR
General diffusion processes as the limit of time-space Markov chains
本文证明网格值随机游动(时空马尔可夫链)的分布收敛于一般扩散过程,并给出在任意 $p$-Wasserstein 距离下基于网格单元尺寸的收敛速率及最优速率,进而建立渐近最优近似格式并通过数值实验验证。
2022-06-08 math.PR
The Markov Accessibility Topology and its Probabilistic Structure
Escuela Superior Politécnica del Litoral(厄瓜多尔高等理工学院)
本文将典范拓扑与离散时间马尔可夫链的转移算子关联,定义了马尔可夫可达拓扑,建立了概率可达性与序理论拓扑的联系,还刻画了吸收子集等概念并研究了通信商与可 lump 性的关系。
2026-10-09 math.HO math.PR
Markov Chains for Collaboration
考虑一个由\(n\)玩家组成的系统,其中每个玩家最初在不同的团队中开始。在每个时间步,我们随机选择一个赢家和一个输家,输家加入赢家的团队。由此产生的马尔可夫链和随机阵显然有一个吸收状态,在这个状态下,所有的参与者都在同一个团队中,但这一过程中的组合学却令人惊讶地优雅。直到每个队被淘汰的期望时间步数是二项式系数的比率。当一个队被淘汰时,玩家在\(n\)的各个分区中被配置成\(t\)队的概率由多项式系数给出。吸收时间的期望值为\((n-1)^2\)步。结果依赖于初等组合学、线性代数和马尔可夫链理论。
2014-01-13 math.CO math.PR
Asymptotics of Quasi-Stationary Distributions of Small Noise Stochastic Dynamical Systems in Unbounded Domains
我们考虑一个集合的马尔可夫链模型的进化多类型的生物种群。链的状态空间是正正交线,正交线的边界是吸收的,代表了不同种群类型的灭绝状态。我们感兴趣的长期行为的马尔可夫链远离灭绝,在一个小的噪声标度。在这种尺度下,马尔可夫过程在任意紧区间上的轨迹按分布收敛于一个在正正交方向上演化的常微分方程的解。我们研究了在这种标度下准平稳分布的渐近行为。我们的主要结果表明,QSD的极限点支持在由常微分方程确定的流的内部吸引子的并上。我们还给出了预期的消亡时的下限,其规模与系统的大小呈指数关系。Faure and Schreiber(2014)研究了当在标度极限下获得的确定性动力系统由离散时间发展方程给出并且动力学本质上在紧空间中(即,一步映射是有界函数)时的这种类型的结果。我们的结果扩展到一个无界的状态空间和连续时间动态的设置。证明依赖于小噪声随机动力系统的一致大偏差结果和动力系统理论的方法。一般情况下,具有吸收状态和无界状态空间的马尔可夫链的QSD可能不存在。本文研究一类基本的二项Poisson模型在正正交点上的QSD的存在性,并讨论了马尔可夫链标度序列QSD的紧性.第一部分的结果,然后使用的QSD序列的极限点的支持的特征。
2019-11-15 math.PR q-bio.PE
How old is this bird? The age distribution under some phase sampling schemes
在本文中,我们使用一个有限状态的连续时间马尔可夫链与一个吸收状态来模拟个人的寿命。在这个模型下,死亡时间遵循相型分布,而马尔可夫链的非常返状态被称为相。然后,我们试图提供一个简单的问题的答案“什么是个人的条件年龄分布,鉴于其当前阶段”?我们表明,答案取决于我们如何解释这个问题,特别是在考虑中的相位观测计划。然后,我们将我们的研究结果计算的年龄金字塔的濒危查塔姆岛黑知更鸟Petroica traversi在1980年至1989年的密集保护工作。
2015-04-14 math.PR q-bio.PE
Zipf and non-Zipf Laws for Homogeneous Markov Chain
考虑一个具有离散时间的齐次马氏链,它具有一个有限的状态集$E_0,\ldots,E_n$,使得状态$E_0$是吸收的,状态$E_1,\ldots,E_n$是非回归的.这项工作的目标是研究频率的轨迹在这个链,即,由符号$E_1,\ldots,E_n$组成的“单词”,以“空格”$E_0$结尾。让我们根据单词的概率对单词进行排序;用$p(t)$表示列表中第$t$个单词的概率。本文证明了函数$p(t)$的渐近性在一个典型情况下具有幂特征,并由转移概率矩阵定义了它的指数。如果这个矩阵是块对角的,那么对于一些特定的转移概率值,幂渐近性得到(对数)adjacent。但如果这个矩阵相当稀疏,那么概率会迅速下降;也就是说,渐近的速度大于幂1,但不大于指数1。我们还建立了指数级下降的必要条件和充分条件,并得到了一个公式,确定指数的转移概率矩阵和初始分布向量。
2013-08-22 cs.IT math.IT math.PR
On a random recursion related to absorption times of death Markov chains
令$X_1,X_2,...$是满足$n=2,3,...$的分布递归$X_1=0$和$X_n= X_{n-I_n}+1$的随机变量序列,其中$I_n$是具有独立于$X_2,...,X_{n-1}$的$\{1,...,n-1\}$中的值的随机变量。随机变量$X_n$可以被解释为具有状态空间${\mathbb N}:=\{1,2,...\}$和吸收状态1的适当死亡马尔可夫链的吸收时间,条件是该链从初始状态$n$开始。本文主要讨论了当$n$趋于无穷大时,$X_n$的渐近性,在一个特殊但重要的假设下,即对于给定的概率分布$p_k={\mathbb P}\{ξ=k\}$,$k\in{\mathbb N}$,$I_n$的分布满足${\mathbb P}\{I_n=k\}=p_k/(p_1+...+p_{n-1})$.根据$ξ$分布的尾部行为,$X_n$和相应的极限分布的几个标度开始发挥作用,其中包括稳定分布和从属指数积分的分布。本文采用的方法主要是概率方法。关键的工具是一个耦合技术,它涉及到PDMATHAMT的分布的随机游走,这解释了,例如,在这种情况下的Mittag-Leffler分布的外观。的结果被施加到描述的渐近的碰撞次数为某些β-合并过程。
2007-10-31 math.PR math.ST stat.TH
Quasi-stationary distributions for randomly perturbed dynamical systems
我们分析了一类马尔可夫链$\{X^{\varepsilon}\}_{\varepsilon>0}$的拟平稳分布$\{μ^{\varepsilon}\}_{\varepsilon>0}$,这类马尔可夫链是有界连续映射$F:M\to M$的随机扰动,其中$M$是$\mathbb{R}^k$的闭子集.与生物学中的许多模型一致,这些马尔可夫链具有封闭的吸收集$M_0\subset M$,使得$F(M_0)=M_0$和$F(M\setminus M_0)=M\setminus M_0$。在随机扰动的大偏差假设下,我们证明了,如果$F$存在正吸引子(即,$F$在$M\setminus M_0$中的吸引子),则$μ_{\varepsilon}$的弱 * 极限点由$F$的正吸引子支持。为了说明这些结果的广泛适用性,我们将其应用到集合种群,竞争物种,主机寄生虫的相互作用和进化游戏的非线性分支过程模型。
2014-04-15 math.DS math.PR
The boundary-driven multispecies harmonic process
KU Leuven(荷语鲁汶大学);University of Modena and Reggio Emilia(摩德纳与雷焦艾米利亚大学)
该研究引入与边界储库接触的一维链上的多物种调和过程,推导其R矩阵和K矩阵并构造双行转移矩阵,还定义了三个对偶模型。
2026-07-30 cond-mat.stat-mech math-ph math.MP