On the rate of convergence to equilibrium for countable ergodic Markov chains
本文用初等方法证明了：对于遍历度为$d > 0$的可数马氏链$P$，只要初始分布满足一定的渐近衰减条件，其向平稳分布的收敛速度收敛速率是$n^{-d}$阶的次几何.以动力系统理论中更新过程的建模和马尔可夫近似方案为例，详细说明了Banach空间$\ell_1$上马尔可夫算子$P$的收敛性、转移概率生成函数的解析性质和谱性质之间的关系.明确的条件，允许获得实际的渐近的收敛速率进行了讨论。
2003-08-04 math.DS math.PR
Countable Partially Exchangeable Mixtures
可表示为马尔可夫链的混合的部分可交换序列完全由de Finetti混合测度指定。本文利用隐马尔可夫模型的一个子类刻画了离散值序列和波兰值序列的混合测度集中在可数集上的部分可交换序列。
2015-06-03 math.PR
Büchi Objectives in Countable MDPs
我们研究可数无限马尔可夫决策过程的Büchi目标，要求访问一个给定的状态子集无限频繁。T. P. Hill在1979年提出的一个问题是，是否总是存在$\varepsilon$ -最优马尔可夫策略，即，仅根据当前状态和迄今为止采取的步骤数量做出决策的战略。我们通过构造一个非平凡的反例对这个问题给出了否定的回答。另一方面，我们证明了只有1位额外内存的马尔可夫策略是足够的。
2019-04-30 cs.FL math.OC math.PR
Central Limit Theorem and Moderate deviation for nonhomogenenous Markov chains
在Cesàro意义下，证明了可列非齐次马尔可夫链的转移概率阵一致收敛性的条件下，可列非齐次马尔可夫链的中心极限定理.利用Gärtner-Ellis定理和指数等价方法，得到了可列非齐次马尔可夫链相应的中偏差定理.
2020-10-14 math.PR math.ST stat.TH
Weak KAM methods and ergodic optimal problems for countable Markov shifts
令$σ:\boldsymbolΣ\to\boldsymbolΣ$是作用于$ \boldsymbolΣ $的左移位，$ \boldsymbolΣ $是可数字母表上的单侧马尔可夫子移位。我们的目的是保证存在的$σ$不变的Borel概率，最大化的积分的一个给定的本地Hölder连续潜在的$ A : \boldsymbolΣ \to \mathbb R $。在一定条件下，我们不仅能够证明$A$ -最大化概率确实存在，而且证明它们的特征在于它们的支持实际上存在于有限字母表上的特定马尔可夫子移位中。为此，我们利用对象的对偶最大化措施，所谓的子行动（概念类似于哈密尔顿-雅可比方程的子解），特别是校准的子行动（概念类似于弱KAM解决方案）。
2010-03-29 math.DS math.PR
Large Deviation Principles for countable Markov shifts
我们建立了无限字母表上拓扑马尔可夫移位的大偏差原理，它满足强组合假设，称为"有限不可约性“或"有限本原性”。更准确地说，我们假设了Bowen意义下的$ϕ$存在吉布斯态，并证明了吉布斯态下经验平均值分布的二级大偏差原理，以及加权周期点和迭代原像的二级大偏差原理.速率函数用压力和与势$ϕ$相关的自由能来表示。
2019-03-17 math.DS math.PR
Moderate deviations for empirical measures for nonhomogeneous Markov chains
在Cesàro意义下，证明了可列非齐次马尔可夫链的经验测度的中偏差在可列非齐次马尔可夫链的转移概率矩阵一致收敛性的假设下成立.
2020-10-15 math.PR math.ST stat.TH
Existence of the zero temperature limit of equilibrium states on topologically transitive countable Markov shifts
本文证明了拓扑传递可数马尔可夫移位上满足有限 Gurevich 压力和可和条件的马尔可夫势的平衡态在零温极限下的存在性，并给出了更一般条件下的例子。
2022-01-06 math-ph math.DS math.MP
Recurrence to rare events for all points in countable Markov shifts
研究了可数马尔可夫转移中罕见事件的复发行为，揭示了不同点的返回时间统计分布特性及极限定律分类。
2025-12-15 math.DS math.PR
Simulation of quasi-stationary distributions on countable spaces
自Kolmogorov（1938）、Yaglom（1947）和Sevastyanov（1951）的开创性工作以来，准平稳分布（QSD）得到了广泛的研究。当考虑马尔可夫过程时，它们作为自然对象出现，因为它们对于以不被吸收为条件的过程的分布的演化是不变的。因此，它们适当地描述了非吸收路径在大时间的过程状态。与马尔可夫过程的不变分布不同，QSD是非线性方程的解，并且可以有0，1或无穷多个。此外，它们不能作为马尔可夫动力学的Cesàro极限得到。这些事实使得QSD的计算成为一个重要的问题。我们回顾不同的近似方法QSD是有用的模拟目的，主要集中在弗莱明-维奥特动力学。我们也给出了一些可供选择的证明和已知结果的推广。
2012-06-28 math.PR
Strategy Complexity of Limsup and Liminf Threshold Objectives in Countable MDPs, with Applications to Optimal Expected Payoffs
该研究刻画了可数状态MDPs中limsup/liminf阈值目标的策略复杂性（ε-最优与最优策略的记忆上下界），并应用该结果解决了Sudderth 2020年提出的两个关于期望limsup/liminf收益最优策略复杂性的开放问题。
2024-09-18 math.OC math.PR
Tunneling and Metastability of continuous time Markov chains
提出了可数状态空间上马氏过程亚稳定性的一个新定义。我们得到了过程序列是亚稳态的充分条件。在可逆的情况下，这些条件表示的能力和稳定措施的亚稳态。
2009-10-21 math.PR
Bounding the Difference between the Values of Robust and Non-Robust Markov Decision Problems
本文推导出分布鲁棒与非鲁棒马尔可夫决策问题值函数差异的上界，证明该上界与维度无关且线性依赖于Wasserstein球半径。
2024-05-05 math.OC math.PR
Skew product Smale endomorphisms over countable shifts of finite type
本文引入并研究了可数字母表拓扑马氏移位上的斜积Smale自同态。我们证明了几乎所有可和局部H的平衡态的条件测度较老的连续势在维数上是精确的，它们的维数等于（整体）熵与李雅普诺夫指数之比。我们还证明了所有纤维的豪斯多夫维数的Bowen型公式。我们开发了一个版本的热力学形式主义的n不可约双边拓扑马尔可夫移位可数字母。然后我们描述了可数到1自同态上Smale斜积的热力学形式，并给出了自同态的自然扩张上测度的几个应用。我们证明了纤维上条件测度的精确维数，在某些情况下，暗示了测度的整体精确维数。然后，我们研究平衡态的斜产品产生的自同态图导向马尔可夫系统，特别是斜产品的扩展Markov-Renyi（EMR）地图，我们解决的问题，这些措施的确切维数。特别地，这适用于在连分数变换上和在抛物映射上的斜积。我们证明了与丢番图逼近有关的两个结果，这使得著名的Doeblin-Lenstra猜想比经典情况下的更一般和更精确。最后，我们证明了β-映射的自然扩张$\mathcal T_β$的诱导映射的精确维数，并给出了β> 1时的平衡测度维数的计算公式.
2019-04-18 math.DS math.MG math.NT
Markov decision processes: on the convergence of the Monte-Carlo first visit algorithm
本文研究有限状态与有限动作马尔可夫决策过程中的蒙特卡洛首次访问算法，证明了当折扣因子小于1/2时该算法收敛。
2025-09-22 math.OC math.PR
The Invariant Measure of Homogeneous Markov Processes in The Quarter-Plane: Representation in Geometric Terms
本文考虑四分之一平面上齐次连续时间马尔可夫过程的不变测度。整体平衡方程的基本解是几何分布。我们首先证明了不变测度不可能是基本几何分布的有限线性组合，除非它由单个基本几何分布组成。其次，我们证明了几何项的可数线性组合只有在由成对耦合项组成时才能成为不变测度。因此，我们得到了四分之一平面上的齐次连续时间马尔可夫过程的所有可数几何分布的线性组合的一个完整的特征，这些几何分布可以产生一个不变测度。
2014-02-24 math.PR
The existence of optimal control for continuous-time Markov decision processes in random environments
在这项工作中，我们研究的最优控制问题的连续时间马尔可夫决策过程的随机环境的影响。在有限时域准则下，我们给出了最优控制存在的条件。在适当的条件下，该值函数是连续的，并满足动态规划原理。这些结果是通过对最优控制的正则性引入一些限制和发展一种新的连续时间Markov决策过程的紧化方法而建立的，这种紧化方法最初用于求解跳扩散过程的最优控制问题.
2020-06-21 math.OC math.PR
Infinite Excess Entropy Processes with Countable-State Generators
我们提出了两个例子，有限字母表，无限的过剩熵过程产生的不变的隐马尔可夫模型（HALTH）与可数状态集。第一个简单的例子不是遍历的，但第二个是。这似乎是这种类型的过程的第一个结构。以前的例子中，无限的过剩熵过程在有限的字母承认只有不变的HMM表示与不可数的状态集。
2011-11-14 cond-mat.stat-mech cs.IT math.IT
Sublinear expectations for countable-state uncertain processes
针对不确定过程次线性期望扩展定义域受限的问题，本文在可数状态下温和条件里将其扩展到càdlàg路径的广义实值可测函数，并研究次线性马尔可夫半群诱导满足条件的次线性期望的情形。
2023-05-04 math.PR
A new proof of finitary isomorphism for Markov chains
本文为Rudolph关于可数状态混合马尔可夫链与IID过程有限同构的结论提供了一个简短直接的新证明，并将适用范围扩展到有限熵与无限熵过程。
2025-06-04 math.DS math.PR
Large deviations of the empirical flow for continuous time Markov chains
我们考虑一个可数状态空间上的连续时间马尔可夫链，并证明了经验测度和经验流的联合大偏差原理，该原理说明了状态对之间的跳跃总数。我们从经验过程出发，用倾斜法给出了一个直接证明，用收缩法给出了一个间接证明。
2015-01-15 math.PR
Some notes on a semi-Markov matrix occurring in the MMinf queue parameters study
本文的主要目的是对可数无限空间中的马氏更新过程给出一个计算马氏更新矩阵的方法，其中半马氏矩阵是移民死亡型的，且具有三对角形式.这些过程在实际应用中经常发生。而该矩阵难以得到友好的结果是其在实际案例建模中应用的一大障碍。它被认为是应用于MMinf队列的特殊情况。
2021-10-10 math.PR
Order estimation of Markov chains
我们描述的估计量$χ_n(X_0,X_1,...,X_n)$，当应用到一个未知的平稳过程，从一个可数字母表${\cal X}$的值，几乎肯定会收敛到$k$的情况下，该过程是一个$k$阶马尔可夫链和无穷大，否则。
2007-11-03 cs.IT math.IT math.PR
On Convergence of a Truncation Scheme for Approximating Stationary Distributions of Continuous State Space Markov Chains and Processes
在马尔可夫链和过程的分析中，有时用“截断的”有界状态空间代替无界状态空间是方便的。当进行这样的替换时，人们常常想知道截断链或过程的平衡行为是否接近于未截断系统的平衡行为。例如，当考虑计算无界状态空间上的平稳分布的数值方法时，自然会出现这样的问题。本文利用“再生”原理证明了当非截断链为正Harris常返链时，“固定状态”截断的平稳分布在很大程度上（在全变差范数下）收敛于非截断极限的平稳分布.即使在可数状态空间中，我们的理论也扩展了已知的结果，证明了增广可以对应于一个$r$ -正则测度。此外，我们扩展我们的理论，以涵盖一个重要的子类哈里斯经常马尔可夫过程，包括非爆炸马尔可夫跳过程的可数状态空间。
2022-06-23 cs.NA math.NA math.PR
The Value Functions of Markov Decision Processes
我们提供了一个完整的马尔可夫决策过程的价值函数集的特征。
2015-11-07 math.PR
Structure recovery for partially observed discrete Markov random fields on graphs under not necessarily positive distributions
我们提出了一个惩罚伪似然准则来估计可部分观测的离散马尔可夫随机场中的条件依赖图。我们证明了在有限或可数无限节点集的情况下估计的收敛性。在有限的情况下，底层图可以以概率1恢复，而在可数无限的情况下，我们可以通过允许候选邻域作为函数o（log n）增长来以概率1恢复任何有限的子图，其中n是样本量。我们的方法需要最小的假设的概率分布，并在文献中的其他方法相反，通常的积极性条件是不需要的。我们评估模拟数据上的估计器的性能，我们将该方法应用于不同国家的股票指数市场的真实数据集。
2022-09-01 math.PR math.ST stat.ME
Markov process representation of semigroups whose generators include negative rates
可列状态空间上马氏过程的生成元可以表示为有限或无限矩阵。一个关键性质是对应于马尔可夫过程的跳跃率的非对角项是非负的。在这里，我们提出的随机特征的生成半群生成的可能负率。这是通过考虑一个具有一个或多个粒子和反粒子的更大的状态空间来实现的，其中反粒子是携带负号的粒子。
2020-09-10 math.PR
Reversible Markov decision processes and the Gaussian free field
如果平稳受控马尔可夫链在每个平稳马尔可夫策略下都是可逆的，则称马尔可夫判定问题是可逆的。一个自然的应用，其中出现这样的问题是在大都会黑斯廷斯型动力学的控制。我们刻画了所有具有有限状态空间和有限动作空间的离散时间可逆马尔可夫决策过程。我们表明，政策迭代算法找到一个最佳的政策，可以显着简化马尔可夫判定问题这种类型。我们还强调了有限时间演化之间的关系的应计报酬和高斯自由场相关联的受控马尔可夫链。
2022-07-11 cs.SY eess.SY math.OC
Markov chains with exponential return times are finitary
本文证明可数状态空间上返回时间呈指数尾的遍历马尔可夫链的平稳版本是独立同分布过程的有限因子，关键步骤涉及平稳更新过程的有限因子性质。
2019-08-17 math.PR
Exchangeable Markov processes on graphs: Feller case
可数图空间上的可交换Feller过程的转移律由$\{0,1\}\times\{0,1\}$值阵列空间上的$σ$ -有限测度决定.在离散时间中，这种特征相当于从独立的、同分布的可交换随机函数序列构造。在连续时间中，行为是丰富的Lévy-Itô型分解的跳跃测量到相互奇异的组件，管理全球，顶点级，和边缘级的动态。此外，每一个这样的过程几乎肯定投影到一个费勒过程中的空间图的限制。
2015-09-22 math.PR
Ergodicity of regime-switching diffusions in Wasserstein distances
基于M-矩阵理论和Perron-Frobenius定理，给出了在Wasserstein距离下状态转换扩散过程收敛性的判别准则.我们用来定义Wasserstein距离的费用函数不一定是有界的。研究了具有有限可数状态空间的连续时间马尔可夫链。对于可数状态空间，我们提出了有限划分方法。研究了无限状态空间中状态相关的区域切换扩散的有界性。
2014-03-03 math.PR
Switching Diffusion Systems with Past-Dependent Switching and Countable State Space: Successful Couplings and Strong Ergodicity
Beijing Institute of Technology（北京理工大学）；University of Wisconsin-Milwaukee（威斯康星大学密尔沃基分校）
本文研究历史依赖切换的扩散系统，构造成功耦合，证明分段过程的稳定性和强遍历性，并用N体平均场模型验证。
2026-09-15 math.PR
On the expected total reward with unbounded returns for Markov decision processes
本文考虑一个离散时间马尔可夫决策过程，其状态空间和动作空间为Borel空间。性能准则是最大化由无界收益函数确定的总期望效用。它示出了存在的最优策略在一般条件下允许的报酬函数是无界的，从上到下，在每一步决策者的行动集不一定是紧凑的。为了处理无界报酬函数，给出了概率测度弱收敛的一个新的刻画。我们的结果通过例子说明。
2018-10-05 math.PR
Combinations and Mixtures of Optimal Policies in Unichain Markov Decision Processes are Optimal
我们表明，在单链马尔可夫决策过程中的最优（平稳）政策的组合是最优的。也就是说，设M是一个具有状态空间S，动作空间A和策略π_j^* 的单链马尔可夫决策过程：S -> A（1 \leq j \leq n），具有最优的平均无限时域报酬。然后这些策略的任何组合π，其中对于S中的每个状态i，存在j使得π（i）=π_j^*（i），也是最优的。此外，我们证明了任何最优策略的混合，其中在状态i的每次访问中，选择最优策略的任意动作π_j^*（i），也会产生最优平均奖励。
2005-08-17 cs.DM cs.LG math.CO
Robust $Q$-learning Algorithm for Markov Decision Processes under Wasserstein Uncertainty
National University of Singapore（新加坡国立大学）
该研究提出一种针对Wasserstein不确定性下分布鲁棒马尔可夫决策问题的新型$Q$-学习算法，证明了其收敛性，通过含真实数据的示例验证了算法的可行性与分布鲁棒性在随机最优控制中的优势。
2024-06-20 cs.AI cs.LG math.OC
Optimistic Estimation of Convergence in Markov Chains with the Average-Mixing Time
Tokyo University of Agriculture and Technology（东京农工大学）；ESSEC Business School（ESSEC高等商学院）
本文提出使用平均混合时间作为更乐观的马尔可夫链收敛性估计方法，并探讨其在不同空间设置中的应用及实际意义。
2026-09-18 math.PR math.ST stat.TH
Mean field for Markov Decision Processes: from Discrete to Continuous Optimization
INSTITUT NATIONAL DE RECHERCHE EN INFORMATIQUE ET EN AUTOMATIQUE（法国国家信息与自动化研究所）
研究大量对象组成的马尔可夫决策过程收敛到常微分方程优化问题，通过平均场近似得到连续HJB方程，并给出奖励差异界限及构造性算法。
2011-05-19 cs.AI cs.PF cs.SY
A Countable-Type Branching Process Model for the Tug-of-War Cancer Cell Dynamics
该研究提出一个可数类型分支过程模型，模拟癌症细胞中驱动与乘客突变的拔河竞争，分析类型转换的长期行为及其对癌症动力学和群体遗传学的意义。
2024-02-04 math.PR q-bio.PE
