Stability of multidimensional skip-free Markov modulated reflecting random walks: Revisit to Malyshev and Menshikov's results and application to queueing networks
设$\{\boldsymbol{X}_n\}$是$\mathbb{Z}_+^d$上的一个离散时间$d$维过程，在有限集合上有一个补充（背景）过程$\{J_n\}$，并假设联合过程$\{\boldsymbol{Y}_n\}=\{(\boldsymbol{X}_n,J_n)\}$是马尔可夫的。然后，过程$\{\boldsymbol{X}_n\}$可以看作是一种反射随机游动（RRW），其中RRW的转移概率根据背景过程$\{J_n\}$的状态进行调制，我们假设这种调制在$\mathbb{Z}_+^d$内部和在$\mathbb{Z}_+^d$的每个边界面上都是空间均匀的。进一步我们假设过程$\{\boldsymbol{X}_n\}$在所有坐标系下都是无跳的，并将联合过程$\{\boldsymbol{Y}_n\}$称为$d$ -维无跳马尔可夫调制反射随机游动（简称MMRRW）。MMRRW是普通RRW的扩展，Malyshev和Menshikov已经研究了普通RRW的稳定性。根据他们的结果，我们得到的稳定性和不稳定性条件MMRRW和应用我们的结果，两站网络的稳定性分析。
2015-02-16 math.PR
The ODE method for stability of skip-free Markov chains with applications to MCMC
在过去的十年中，流体极限技术已经成为分析排队网络的核心工具，并应用于性能分析、模拟和优化。在本文中，这些技术的一些推广到一般类的无跳马尔可夫链。在排队模型的情况下，流体近似是通过缩放时间，空间和初始条件由一个大的常数。所得到的流体极限是状态空间的“大部分”中的常微分方程（ODE）的解。随机模型的稳定性和更精细的遍历性质，然后从流体极限的稳定性。此外，类似于流体模型通常用于设计控制策略的嵌入式上下文，在此一般设置中的限制ODE的结构提供了对马尔可夫链的动力学的理解。这些结果通过应用到马尔可夫链蒙特卡罗方法来说明。
2008-04-02 math.PR
Upward and Downward Runs on Partially Ordered Sets
本文研究偏序集上的马尔可夫链，推广了可靠性理论中的成功运行链和剩余寿命链。我们发现条件的复发和瞬态，并给出简单的表达式不变的分布。我们研究了一些特殊的情况，包括有根树，一致偏序集，偏序集与正半群。
2010-04-06 math.PR
Asymptotic property of the occupation measures in a two-dimensional skip-free Markov modulated random walk
我们考虑一个离散时间二维过程$\{(X_{1,n},X_{2,n})\}$在$\mathbb{Z}^2$上，背景过程$\{J_n\}$在有限集合$S_0$上，其中单个过程$\{X_{1,n}\}$和$\{X_{2,n}\}$都是无跳的。我们假设联合过程$\{\boldsymbol{Y}_n\}=\{(X_{1,n},X_{2,n},J_n)\}$是马尔可夫的，并且二维过程$\{(X_{1,n},X_{2,n})\}$的转移概率根据背景过程$\{J_n\}$的状态而变化。这种调制被假定为空间均匀的。我们把这个过程称为二维无跳马尔可夫调制随机游动。对于$\boldsymbol{Y}, \boldsymbol{Y}'\in \mathbb{Z}_+^2\times S_0$，考虑从状态$\boldsymbol{Y}$开始的过程$\{\boldsymbol{Y}_n\}_{n\ge 0}$，并设$\tilde{q}_{\boldsymbol{Y},\boldsymbol{Y}'}$为过程第一次离开非负区域$\mathbb{Z}_+^2\times S_0$之前访问状态$\boldsymbol{Y}'$的预期次数。对于$\boldsymbol{Y}=(x_1,x_2,j)\in \mathbb{Z}_+^2\times S_0$，度量$(\tilde{q}_{\boldsymbol{Y},\…
2020-02-21 math.PR
Asymptotic property of the occupation measures in a multi-dimensional skip-free Markov modulated random walk
我们考虑一个离散时间$d$维过程$\{\boldsymbol{X}_n\}=\{(X_{1,n},X_{2,n},...,X_{d,n})\}$在$\mathbb{Z}^d$上，背景过程$\{J_n\}$在一个可数集$S_0$上，其中单个过程$\{X_{i,n}\},i\in\{1,2,...,d\},$是无跳的。我们假设联合过程$\{\boldsymbol{Y}_n\}=\{(\boldsymbol{X}_n,J_n)\}$是马尔可夫的，并且$d$维过程$\{\boldsymbol{X}_n\}$的转移概率根据背景过程$\{J_n\}$的状态而变化。这种调制被假定为空间均匀的。我们把这个过程称为$d$维无跳马尔可夫调制随机游动。对于$\boldsymbol{y}, \boldsymbol{y}'\in \mathbb{Z}_+^d\times S_0$，考虑从状态$\boldsymbol{y}$开始的进程$\{\boldsymbol{Y}_n\}_{n\ge 0}$，并设$\tilde{q}_{\boldsymbol{y},\boldsymbol{y}'}$为进程第一次离开非负区域$\mathbb{Z}_+^d\times S_0$之前访问状态$\boldsymbol{y}'$的预期次数。对于$\boldsymbol{y}=(\boldsymbol{x},j)\in \mathb…
2020-03-30 math.PR
On hitting times and fastest strong stationary times for skip-free and more general chains
以非负整数的集合作为状态空间的（向上）无跳马尔可夫链是这样的链，其中向上的跳跃可能只有单位大小，向下的跳跃没有限制。在1987年的一篇论文中，布朗和邵确定了一个不可约的连续时间无跳跃链和任何d，从状态0到状态d的通过时间分布。当生成元的非零特征值nu_j均为实数时，他们的结果表明，通过时间服从d个独立指数随机变量之和的分布，其速率为nu_j.本文给出了他们定理的另一个证明.在生死链的情况下，我们的证明导致一个明确的表示的通过时间作为一个独立的指数随机变量的总和。Diaconis和Miclo最近获得了第一个这样的表示，但我们的构造要简单得多。我们得到了类似的（和新的）结果的最快的强平稳时间T的遍历连续时间跳跃无链与随机单调时间反转开始于状态0，我们也得到了离散时间模拟我们所有的结果。在本文的最后一节中，我们提出了我们的结果更一般的链的扩展。
2009-05-06 math.PR
Stochastic Comparisons between hitting times for Markov Chains and words' occurrences
给出了两条马尔可夫链在固定状态下首中时之间随机序的一些充分条件。特别是，我们把注意力集中在所谓的\emph{skip-free}的情况下。在分析这种情况下，我们开发了一种特殊类型的耦合。我们还比较了不同类型的关系，两个，不一定跳过自由，马尔可夫链在同一状态空间。这种关系在建立首中时的概率分布之间的通常和渐近随机排序中具有自然的作用。最后，我们给出了一些与词的出现相关的讨论和例子。
2014-03-24 math.PR
Clearing Analysis on Phases: Exact Limiting Probabilities for Skip-free, Unidirectional, Quasi-birth-death Processes
计算、服务和制造系统中的许多问题都可以通过具有无限个层次和有限个阶段的无限重复马尔可夫链来建模。许多这样的链是准生灭过程（QBD），其过渡在级别上是无跳跃的，因为人们只能在连续的级别之间过渡，并且在相位上是单向的，因为人们只能从较低编号的相位过渡到较高编号的相位。我们提出了一个程序，我们称之为清除分析阶段（CAP），以确定这种马尔可夫链的极限概率准确。CAP方法产生链的重复部分中的每个状态的极限概率，作为提升到对应于状态水平的幂的标量基的线性组合。这些线性组合中的权重可以通过求解有限的线性方程组线性方程组来确定。
2015-10-11 math.PR
Some harmonic functions for killed Markov branching processes with immigration and culling
对于一个连续时间Bienaymé-Galton-Watson过程，$X$，以$0$为吸收状态，在迁移和剔除的情况下，称$X^q$为以$q\in (0,\infty)$速率杀死$X$，然后在灭绝或爆炸时停止的过程。然后，对$X^q$的相关调和函数的显式识别允许确定$X$的第一次向下通过时间和爆炸时间的拉普拉斯变换（在参数$q$处）。严格地说，只有当杀灭率$q$足够大时（但总是当分支机制不是超临界或如果没有剔除时），才能实现这一点。特别是，取极限$q\downarrow 0$（只要可能），就可以得到$X$的向下通过概率和爆炸概率。这些结果的其他一些后果。
2021-07-22 math.PR
Downward conditional monotonicity gives survival and extinction for contact processes in random environments
Gonzaga University（冈萨加大学）
引入马尔可夫调制泊松过程的向下条件单调性，通过标准泊松过程的最优随机占优，推导出接触过程在有限状态随机环境中的生存与灭绝条件。
2026-06-08 math.PR
Models and algorithms for skip-free Markov decision processes on trees
University of Bristol（布里斯托大学）
我们介绍了一类模型的多维控制问题，我们称之为无跳马尔可夫决策过程的树。我们描述和分析的算法适用于这种类型的马尔可夫决策过程中，跳过免费的负方向。从有限的平均成本的情况下，我们表明，该算法结合了价值迭代和政策迭代的优点-它是保证收敛到一个最优的政策和最优值函数经过有限次数的迭代，但每个迭代步骤所需的计算工作量是可比的价值迭代。我们表明，该算法也可以用来解决折扣成本模型和连续时间模型，并适当修改的算法可以用来解决通信模型。
2013-11-08 cs.AI math.OC math.PR
On entire moments of self-similar Markov processes
Bertoin和Yor（2002）已经证明，在有限时间内只向下跳且不达到零的正自相似马尔可夫过程（pssMps）的定律是由它们的全部矩唯一确定的，并且已经导出了明确的公式。我们用最近的一种跳型随机微分方程方法来修正和推广他们的公式。
2012-09-10 math.PR
On geometric and algebraic transience for discrete-time Markov chains
遍历马尔可夫链的一般特征已得到相当详细的发展。本文研究一般状态空间上离散时间马尔可夫链的瞬时性，包括几何瞬时性和代数瞬时性。通过建立漂移条件和考虑首次返回时间，给出了判断准则。作为应用，我们给出了射线上的随机游动和非负整数上的无跳链的判别准则。
2013-01-07 math.PR
On diffusions with discontinuous scales
众所周知，区间$I$上的正则扩散（内部没有杀死）由正则尺度函数$s$和正则速度测度$m$唯一确定。请注意，$s$是一个严格递增的连续函数，$m$是$I$上完全支持的Radon测度。在本文中，我们将一个一般的三元组$(I,s,m)$，其中$s$只假设是增加的，$m$不一定是完全支持的，某些马尔可夫过程的Dirichlet形式的方式。利用标度完备化和织补两种变换重建$I$的拓扑结构，将三元组$(I,s,m)$正则化，得到相应的正则Dirichlet型，相应的马尔可夫过程称为与$(I,s,m)$相关的正则化马尔可夫过程.事实上，这是唯一的马尔可夫过程同胚，可以与$(I,s,m)$的上下文中的正则表示的狄利克雷形式。作为正则化马尔可夫过程的一个副产品，一个不满足强马尔可夫性的连续简单马尔可夫过程也将被提升为关联到$(I,s,m)$，而不需要运行正则化程序.此外，我们还证明了正则化的马尔可夫过程是一维无跳Hunt过程，也是一维无杀的拟扩散过程.请注意，无跳跃亨特过程推广了正则扩散的概念，并以类似的方式允许尺度函数和速度测度。
2022-08-21 math.PR
Gerber-Shiu Theory for Discrete Risk Processes in a Regime Switching Environment
在本文中，我们开发的Gerber-Shiu理论的经典和对偶离散风险过程中的马尔可夫（政权切换）环境。特别是，通过用向上（向下）无跳离散时间和离散空间马尔可夫加法过程（MAP）的潜在测量来表达Gerber-Shiu函数，我们推导出Gerber-Shiu函数用所谓的（离散）$\boldsymbol{W}_v$和$\boldsymbol{Z}_v$尺度矩阵的封闭形式表达式，这些矩阵在arXiv：2008.06697中引入。我们表明，离散尺度矩阵允许一个统一的方法来确定Gerber-Shiu函数以及相关的常数股息障碍问题的值函数。
2022-09-01 math.PR
Level-wise Subgeometric Convergence of the Level-increment Truncation Approximation of M/G/1-type Markov Chains
本文研究M/G/1型马尔可夫链的水平增量截尾逼近。LI截断近似对于实现M/G/1范式是有用的，M/G/1范式是计算M/G/1型马尔可夫链的平稳分布的框架。本文的主要结果是原平稳分布与其LI截断近似之间的全变差距离的一个亚几何收敛公式。假设平衡水平增量分布是次指数分布，向下转移阵是秩1。证明了L1截断近似的全变差误差的收敛速度等于平衡水平增量分布的尾部和原平稳分布的尾部的收敛速度.
2022-08-22 math.PR
Markov chain approximations to scale functions of Lévy processes
基于$X$通过具有平稳独立增量的向上无跳连续时间马尔可夫链的自然弱逼近，给出了计算谱负Lévy过程$X$标度函数的一般算法.该算法包括评估一个有限的线性递归，其（非负）系数明确给出的$X$的Lévy三元组。因此，它易于实现和数值稳定。我们的主要结果建立了该算法的收敛速度，提供了一个明确的联系之间的半鞅特性的$X$和它的尺度函数，不像一维伊藤扩散设置，其中尺度函数表示在某些积分的系数的管理的控制项。
2015-04-20 math.PR
Some characterizations for Markov processes at first passage
假设$X$是一个实直线上（或某个区间上）的马尔可夫过程。它的向下首次通过时间（fptd）的分布决定了它的定律吗？在本文中，我们处理这个问题的一些特殊情况。证明了如果fptd过程有从属律，则$X$必然是无负跳的Lévy过程;指定从属律唯一地确定了$X$的律.我们进一步表明，同样，连续状态分支过程和自相似过程类没有负跳也分别由其fptd分布的一定结构的特点;和这些类的每个成员分别是唯一确定的精确家庭的fptd法律。通往这些结果的道路是由（i）根据其fptd定律的性质识别没有负跳的马尔可夫过程，以及（ii）关于识别此类过程的fptd分布的一些一般结果铺成的。
2022-09-17 math.PR
Quasi-stationary distributions for single death processes with killing
本文利用 Doob 的 h-变换、位势理论与概率方法，研究带三类杀死项的单死过程，证明了拟平稳分布的存在唯一性，并给出全变差范数下指数收敛的条件。
2024-08-11 math.PR
Positive recurrence and transience of a two-station network with server states
我们研究了两站网络的正常返性和瞬态性，其中每个站的服务器的行为由有限数量的服务器状态的马尔可夫链控制，这个服务过程可以代表各种服务规则，如非强占型优先权服务和K-限制服务.假设外生顾客按独立的马尔可夫到达过程到达，将整个网络的行为表示为连续时间的马尔可夫链，并利用一致化技术得到相应的离散时间马尔可夫链，该链是正常返（瞬态）的当且仅当原连续时间马尔可夫链是正常返的（分别为瞬变）。这个离散时间的马尔可夫链是一个四维无跳马尔可夫调制反射随机游动（MMRRW），并将MMRRW的几个已有结果应用于该马尔可夫链，得到了该马尔可夫链是正常返的和瞬态的条件.该条件用每个诱导马尔可夫链中每个队列的输入速率和输出速率之差来表示。为了说明我们的结果在两站网络中是如何工作的，我们给出了几个例子。
2013-08-28 math.PR
Exit problems for additive-increase and multiplicative-decrease Markov-modulated processes
University of Padua（帕多瓦大学）；Wrocław University of Science and Technology（弗罗茨瓦夫科技大学）
研究有限状态马尔可夫调制加性增加乘性减少过程的一侧、两侧及反射退出问题，通过首次跳跃分解、拉普拉斯变换和递归方法推导退出矩阵，并构造相关杜布鞅。
2026-09-30 math.PR
One-sided Markov additive processes with lattice and non-lattice increments
本文并行研究单边格点与非格点马尔可夫加性过程，通过跨传统解读标准结果获得新视角，利用三个基本矩阵分析首达、双边退出及蠕变概率，拓展了矩阵解析方法的应用范围。
2024-07-10 math.PR
Average optimality for continuous-time Markov decision processes in polish spaces
本文研究了具有一般状态空间和行动空间的连续时间马氏决策过程的平均最优性问题。最大化的标准是期望平均回报。允许连续时间跳马氏过程的转移率是无界的，且报酬率既没有上界也没有下界。首先给出了两个方向相反的最优性不等式，并给出了保证这两个最优性不等式解存在的适当条件。然后，从这两个最优性不等式出发，利用Dynkin公式证明了最优（确定性）平稳策略的存在性。此外，我们提出了一个最优的平稳策略的“半鞅特征”。最后，我们用一个带控制的广义Potlach过程来说明我们的条件与前人文献的差异，然后进一步将我们的结果应用于广义生灭系统、向上无跳过程和两个排队系统的平均最优控制问题。本文中开发的方法是略有不同的“最优性不等式的方法”广泛使用在以前的文献。
2006-07-04 math.PR
Asymptotics for the ruin time of a piecewise exponential Markov process with jumps
本文考虑一类由复合Poisson过程驱动的Ornstein-Uhlenbeck过程.跳跃以指数等待时间到达，并且允许是双侧的。假设跳跃形成一个独立于其他一切的指数分布的混合分布（不一定是凸的）的iid序列。允许向下跳跃的事实使得通过连续性和跳跃都可能通过给定的较低水平。考虑了这种通过的时间和可能的下冲（在跳跃情况下）。通过求过程的无穷小生成元的部分特征函数，得到了通过时间和下冲的联合拉普拉斯变换的表达式，并由拉普拉斯变换得到了过水平的破产概率.当漂移为负时，这个概率小于1，并且当过程的初态趋于无穷大时，它的渐近行为被明确地确定。交叉能级降到负无穷大的情况更加复杂：交叉能级在联合拉普拉斯变换的表达式中比过程的初态起着更基本的作用。给出了正漂移情形下的破产概率的极限和负漂移情形下的下冲分布的极限。
2016-08-31 math.PR
Sublinear expectations for countable-state uncertain processes
针对不确定过程次线性期望扩展定义域受限的问题，本文在可数状态下温和条件里将其扩展到càdlàg路径的广义实值可测函数，并研究次线性马尔可夫半群诱导满足条件的次线性期望的情形。
2023-05-04 math.PR
Discrete self-similar and ergodic Markov chains
本文的第一个目的是引入一类$\mathbb{Z}_+$上的马尔可夫链，它们是离散自相似的，即它们的半群满足用离散随机伸缩算子表示的不变性.在证明了后一个性质要求链是向上无跳的之后，我们首先在这样的链的半群和$\mathbb{R}_+$上的谱负自相似马氏过程的半群之间建立了一个网关关系，这是在[26]中引入的一个概念。作为一个副产品，我们证明了这些马尔可夫链，经过适当的缩放，收敛于Skorohod度量，相关的自相似马尔可夫过程。通过对这些马尔可夫链的生成元的线性扰动，得到了一类遍历的不可逆马尔可夫链。利用文献[27]中引入的交织关系，我们得到了这类遍历链的一些深层次的分析性质，包括谱的描述，半群的谱展开，在$Φ$ -熵意义下收敛到平衡点的研究，以及超压缩性质.
2022-03-04 math.FA math.PR math.SP
Exact asymptotic formulae of the stationary distribution of a discrete-time two-dimensional QBD process
我们考虑一个离散时间二维过程$\{(L_{1,n},L_{2,n})\}$在$\mathbb{Z}_+^2$与补充过程$\{J_n\}$上的有限集，其中个别过程$\{L_{1,n}\}$和$\{L_{2,n}\}$都是无跳的。我们假设联合过程$\{Y_n\}=\{(L_{1,n},L_{2,n},J_n)\}$是马尔可夫的，并且二维过程$\{(L_{1,n},L_{2,n})\}$的转移概率取决于背景过程$\{J_n\}$的状态而被调制。除了$\mathbb{Z}_+^2$的边界之外，这种调制是空间均匀的。我们称这个过程为离散时间二维拟生灭（2D-QBD）过程，并在一定条件下得到了平稳分布在坐标方向上的精确渐近公式。
2017-07-18 math.PR
Numerical methods for piecewise deterministic Markov processes with boundary
Université Paris-Est（巴黎东大学）；Laboratoire d’Analyse et de Mathématiques Appliquées (CNRS - UMR 8050)（应用数学与分析实验室（CNRS - UMR 8050））
本文研究了具有边界的分段确定性马尔可夫过程的数值方法，证明了广义柯尔莫戈洛夫方程在测试函数空间中的唯一解的存在性，分析了有限体积方案的正解，并通过不同传输控制协议窗口大小过程的模拟展示了该数值方法在描述具有边界的分段确定性马尔可夫过程密度演化中的有效性。
2018-10-24 cs.NA math.AP math.NA
Exact asymptotic formulae of the stationary distribution of a discrete-time 2d-QBD process: an example and additional proofs
离散时间二维拟生灭过程（2d-QBD过程），$\{\boldsymbol{Y}_n\}=\{(X_{1,n},X_{2,n},J_n)\}$，是在$\mathbb{Z}_+^2$上的二维无跳随机游动$\{(X_{1,n},X_{2,n})\}$，其补充过程$\{J_n\}$在有限集$S_0$上。补充过程$\{J_n\}$称为阶段过程。2d-QBD过程$\{\boldsymbol{Y}_n\}$是其中二维过程$\{(X_{1,n},X_{2,n})\}$的转移概率根据相位过程$\{J_n\}$的状态而变化的马尔可夫链。假设除了$\mathbb{Z}_+^2$的边界之外，该调制是空间均匀的。在一定条件下，我们得到了2d-QBD过程平稳分布的方向精确渐近公式。Ozawa和M. Kobayashi，离散时间二维QBD过程的平稳分布的精确渐近公式，离散系统（2018）DOI：10.1007/s11134-018-9586-x。本文给出了2d-QBD过程的一个例子，并证明了文中的一些引理和命题。
2018-07-20 math.PR
