Lyapunov Conditions for Differentiability of Markov Chain Expectations: the Absolutely Continuous Case
考虑一类马尔可夫链，其转移动力学受模型参数的影响。理解这种马尔可夫链的（复杂的）性能度量的参数依赖性通常是重要的兴趣。业绩计量的衍生工具w.r.t.例如，当来自统计估计过程的参数中存在不确定性时，参数在性能测量的数值优化和性能测量中的不确定性的量化中起重要作用。在本文中，我们建立的条件，保证微分的各种类型的棘手的性能措施-如平稳和随机地平线折扣性能措施-一般状态空间马尔可夫链，并提供概率表示的衍生物。
2017-07-12 math.PR
On extension of the Markov chain approximation method for computing Feynman--Kac type expectations
Liang和Borovkov（2021）最近提出了一种有效的离散时空马尔可夫链近似，采用布朗桥校正来计算一般扩散过程的曲线边界穿越概率。该方法优于其他方法的优点之一是，它可以很容易地扩展到计算过程轨迹停留在两个曲线边界之间的事件上的路径依赖泛函的期望。在本文中，我们扩展的计划，以计算经常出现在期权定价的Feynman-Kac型的期望。为了说明我们的近似方案，我们将其应用于三种特殊情况。对于足够光滑的被积函数，数值实验表明，所提出的近似以速率$O(n^{-2})$收敛，其中$n$是所使用的均匀时间网格上的步数
2023-02-22 math.PR
On estimation of expectation of simultaneous renewal time of time-inhomogeneous Markov chains using dominating sequence
本文主要研究了两个非时齐马尔可夫链的同时更新时间问题，这两个链的起始点是任意的初始分布。通过同时更新，我们指的是两个过程联合命中特定集合$C$的第一次。在链生成的更新序列存在控制序列和更新概率满足非格条件的条件下，得到了同时更新时间期望的上界.
2020-01-08 math.PR
An estimate for an expectation of the simultaneous renewal for time-inhomogeneous Markov chains
本文考虑一般状态空间上两个时间非齐次的离散马尔可夫链$X^{(l)}_t$，$l\in\{1,2\}$.我们假设存在更新集$C$，并研究同时更新的时间，即链同时到达更新集$C$的第一个正时间.两个链的初始分布可以是任意的。在两个更新过程均为随机控制和非格条件下，得到了同时更新时间期望的一个上界。计算了两个非齐次生灭马尔可夫链的上界。
2017-01-05 math.PR
A Markov model of land use dynamics
应用马尔可夫链模拟农业演替是众所周知的。在大多数情况下，主要问题是模型的推断，即转移阵的估计。在这项工作中，我们提出的方法来估计的转移阵从历史的观察。除了最大似然估计（MLE），我们还考虑了与Jeffreys先验相关的贝叶斯估计。该贝叶斯估计量将通过马尔可夫链蒙特卡罗（MCMC）方法近似。我们还提出了一种基于逗留时间的方法来检验马尔可夫链模型对数据集的适用性。
2011-07-05 math.PR
Algorithms of Phase Space Reduction and Asymptotics of Hitting Times for Perturbed Semi-Markov Processes
本文给出了正则和奇摄动半马尔可夫过程相空间约化的新的渐近递归算法。这些算法给出了分布弱收敛和首中时期望收敛的有效条件以及计算相应的归一化函数、极限分布的拉普拉斯变换和期望极限的递归公式。
2019-07-08 math.PR
Asymptotic normality in multi-dimension of nonparametric estimators for discrete-time semi-Markov chains
本文证明了马尔可夫更新链转移概率非参数估计量的多维渐近正态性，并将其应用于相关半马尔可夫链的其他非参数估计量。
2023-04-08 math.PR math.ST stat.TH
A Short Review of Ergodicity and Convergence of Markov chain Monte Carlo Estimators
这篇短文回顾了量化马尔可夫链蒙特卡罗估计的渐近收敛和前渐近收敛的基本理论。
2021-10-13 math.PR math.ST stat.ME
On the strong Markov property for stochastic differential equations driven by $G$-Brownian motion
本文研究了由$G$ -布朗运动驱动的随机微分方程（简称$G$ -SDEs）.我们将条件$G$ -期望的概念从确定性时间扩展到更一般的可选时间情况。然后，通过这个条件期望，我们得到了$G$ -随机微分方程的强马尔可夫性。特别地，我们得到了$G$ -布朗运动的强马尔可夫性.并给出了$G$ -布朗运动的反射原理等应用。
2017-11-28 math.PR
Steady State Sensitivity Analysis of Continuous Time Markov Chains
本文研究稳态灵敏度的似然比方法的蒙特卡罗估计。本文首先将Glynn和Olvera-Cravioto [doi：doi：10.1287/stsy.2018.002]的结果推广到具有可数状态空间的连续时间马尔可夫链的情形，其中包括随机反应动力学和动力学Monte Carlo格点系统等模型。我们证明了中心似然比估计量的方差不随时间增长。这一结果表明，中心似然比估计应有利于灵敏度分析时，潜在的连续时间马尔可夫链的混合时间是大的，这是典型的情况下，当系统表现出多尺度行为。我们证明了这种分析的实际意义上的生化反应网络的两个例子的数值基准。
2019-01-21 math.PR
Comparison and converse comparison theorems for backward stochastic differential equations with Markov chain noise
比较与逆比较定理是倒向随机微分方程研究的重要内容。本文在自然和简化的假设下，推广和推广了前人的工作，得到了带马尔可夫链噪声的一维倒向随机微分方程的比较结果，并在给出一类非线性期望：$f$ -期望的定义和性质后，建立了该类方程的逆比较定理.
2014-11-24 math.PR
Two new Markov order estimators
本文提出了两种新的估计有限字母表马尔可夫链阶数（记忆深度）的方法，一种是基于模式递归时间的熵估计，另一种是基于经验条件概率的比较.这两种方法的关键是当参数（顺序的候选者）通过真实顺序时发生的质变。我们还提出了扩展马尔可夫随机场的顺序估计。
2005-06-04 math.PR math.ST stat.TH
Markov Chain Decomposition Based On Total Expectation Theorem
分而治之的方法来分析马尔可夫链（MC）没有得到广泛的使用，因为它可以，尽管它的潜在好处。其中一个主要原因是大多数MC分解方法涉及复杂且不灵活的方法：分解的子链必须是不相交的，这些分解的子链的转换速率必须以针对特定MC模型的方式进行更改，并且聚合子链的过程需要包含非线性归一化约束，从而使性能度量的分析表达式复杂化。相比之下，我们提出了一个通用而简单的分解方法的基础上连续时间MC的总期望定理。利用该定理的性质，我们的方法在选择子链时具有很大的灵活性，并且获得感兴趣的期望值的过程只是子链性质的线性求和，这不受归一化约束的影响。我们证明，要保持正确的分解子链的分布，可以使用我们的新的终止方案，修改的过渡率，确保在边界状态的部分流守恒。这种终止方案适用于任何结构的MC，因为该方案只依赖于边界态分布，而不依赖于MC的结构。为了证明我们的方法的通用性和能力，我们解析地解决各种模型，如基于招聘的人员配置队列和马尔可夫调制的Mt/Mt/1队列。由于不是所有的系统承认一个解析解，我们补充这种分析与数值研究的MC与各种大小的算法，我们的方法的基础上。
2021-02-24 math.PR
A note on concentration inequalities for the overlapped batch mean variance estimators for Markov chains
本文借助鞅分解方法，为一致几何遍历马尔可夫链渐近方差的 OBM 估计量建立集中不等式，给出误差 p 阶矩随 p 与混合时间变化的显式界。
2025-05-13 math.PR math.ST stat.ML
Nonparametric estimation of jump rates for a specific class of Piecewise Deterministic Markov Processes
本文考虑了一个具有已知流和确定转移测度，未知跳率$λ$的分段确定马尔可夫过程.为了非参数地估计跳跃率，我们首先构造了平稳密度的自适应估计，然后导出了$λ$的商估计$\hatλ_n$.我们提供了统一的界限，这些估计的风险，并证明了估计的跳跃率是近minimax（高达$\ln^2(n)$因素）。模拟说明了我们的估计的行为。
2020-12-08 math.PR math.ST stat.TH
Maximum Likelihood Estimator for Hidden Markov Models in continuous time
本文研究了在白噪声中连续时间马尔可夫链参数的极大似然估计的大样本渐近性质。利用I.Zagimov和R.Khasminskii的似然弱收敛方法，在链的强遍历性条件下，证明了极大似然估计的相合性、渐近正态性和矩的收敛性.
2009-06-18 math.PR math.ST stat.TH
Error bounds for computing the expectation by Markov chain Monte Carlo
Friedrich Schiller University Jena（耶拿弗里德里希·席勒大学）
针对可逆马尔可夫链蒙特卡洛方法逼近函数期望的误差，证明了关于函数不同范数的显式误差界，并讨论了烧入期对误差的影响及优化算法。
2011-01-16 cs.NA math.NA math.PR
Asymptotic properties of the maximum likelihood estimator for Hidden Markov Models indexed by binary trees
本文研究以二叉树为索引、隐状态为一般度量空间的隐马尔可夫模型，在平稳与非平稳情形下证明最大似然估计量的强相合性与渐近正态性，并借助树索引马尔可夫链的遍历定理完成证明。
2024-09-10 math.PR math.ST stat.TH
Maximum Entropy Estimator for Hidden Markov Models: Reduction to Dimension 2
本文在样本量较大的情况下，针对经典的Baum-Welch EM算法计算极大似然估计量的耗时问题，提出了基于隐马尔可夫模型观测序列二维经验分布的最大熵估计量。在一个相当一般的框架下证明了最大熵估计的相合性和渐近正态性，其中渐近协方差阵是用二维Fisher信息显式估计的.作为补充，本文巧妙地利用二维相对熵来研究假设检验问题。此外，我们提出了二维的最大熵算法来寻找最大熵估计，它适用于非常大的观测数据集和大的隐藏状态集。给出了一些数值例子，并对结果进行了评述.
2023-02-18 math.PR math.ST stat.TH
Kernel estimators of asymptotic variance for adaptive Markov chain Monte Carlo
研究了一类自适应马尔可夫链渐近方差（或长期方差）核估计的渐近性态。收敛性研究都在$L^p$和几乎必然。结果也适用于马尔可夫链和改进现有的文献中施加较弱的条件。我们说明的结果与应用程序的$\operatorname {GARCH}(1,1)$马尔可夫模型和贝叶斯逻辑斯谛回归的自适应MCMC算法。
2011-05-16 math.PR math.ST stat.CO
An Imprecise Probabilistic Estimator for the Transition Rate Matrix of a Continuous-Time Markov Chain
Ghent University（根特大学）
我们考虑的问题，估计的转移率矩阵的连续时间马尔可夫链从有限持续时间实现这个过程。我们在一个不精确的概率框架中处理这个问题，使用一组关于未知转移率矩阵的先验分布。由此产生的估计是一组转移率矩阵，由于共轭的原因，很容易找到。为了确定先验集合的超参数，我们在离散时间中重新考虑这个问题，在那里我们可以使用著名的不精确狄利克雷模型。特别是，我们将展示如何限制所得到的离散时间估计是一个连续时间估计。它对应于超参数的特定选择，并且具有非常简单的封闭形式表达式。
2018-07-11 cs.LG math.PR stat.ML
Moderate deviation principles for kernel estimator of invariant density in bifurcating Markov chains models
Bitseki和Delmas（2021）研究了分支马尔可夫链模型不变密度核估计的中心极限定理。我们完成他们的工作，证明了这个估计量的适度偏差原则。与Bitseki和Gorgui（2021）的工作不同，有趣的是，这两种机制的区别消失了，我们能够得到遍历率大值的适度偏差原理。同样有趣和令人惊讶的是，对于中等偏差原理，遍历率开始对小于Bitseki和Delmas（2021）研究的中心极限定理的值的带宽选择产生影响。
2021-09-02 math.PR math.ST stat.TH
Computation of expectations by Markov chain Monte Carlo methods
Friedrich Schiller University Jena（耶拿弗里德里希·席勒大学）
本文探讨了马尔可夫链蒙特卡洛方法在计算积分和期望中的误差界、烧入期选择规则、高维问题及可处理性与维度灾难的对比。
2014-09-08 cs.NA math.NA math.PR
On the Expectation of the First Exit Time of a Nonnegative Markov Process Started at a Quasistationary Distribution
设{M_n}_{\ge 0} $ be a nonnegative Markov process with stationary transition probabilities. The quasistationary distributions referred to in this note are of the form Q_A(x) = lim_{n\to\infty} P(M_n \le x | M_0 \le A, M_1 \le A, ..., M_n \le A) . Suppose that $ M_0 $ has distribution $ \Qb_A $ and define T_A^{Q_A} = \min\{n | M_n > A, n\ge 1\}, the first time when M_n exceeds A. We provide sufficient conditions for E T_A^{Q_A}$是A的一个增函数.
2010-06-04 math.PR math.ST stat.TH
Central limit theorem for kernel estimator of invariant density in bifurcating Markov chains models
分叉马尔可夫链（BMC）是一种以全二叉树为索引的马尔可夫链，它表示一个个体具有两个子女的群体中一个性状的进化。受表现为特征渐进分布的不变概率测度密度的函数估计的启发，我们证明了基于后代的该密度的核估计的一致性和高斯波动。在这种情况下，有趣的是，注意到在以前的工作中确定的遍历速率的三个制度的区别（对于大世代的平均波动）消失了。这一结果是第一步，超越阈值条件的遍历率在以前的统计论文中给出的功能估计。
2021-06-16 math.PR math.ST stat.TH
Perturbation approach to scaled type Markov renewal processes with infinite mean
标度型马尔可夫更新过程是经典更新过程的推广：更新时间来自单参数概率律族，参数序列是遍历马尔可夫链的轨迹.我们主要关心的是马尔可夫参数在时间t \to \infty的渐近分布。当然，极限取决于马尔可夫链的平稳分布。然而，结果是本质上不同的取决于是否更新的期望是有限的或无限的。如果期望值是一致有界的，那么我们可以给出一般的极限（超出标度型过程的范围），其中所讨论的概率律的期望值也会出现。如果均值是无限的，那么--通过假设更新时间是指数为0 \leq alpha \leq 1的规则变化概率定律的重新标度版本--在极限中出现的是指数a。
2010-04-30 math.DS math.PR
Comparisons for backward stochastic differential equations on Markov chains and related no-arbitrage conditions
以往对倒向随机微分方程的研究，以及与之相关的非线性期望和动态风险测度理论，都是在连续时间扩散或跳跃扩散的框架下进行的。利用有限状态连续时间马氏链空间上的倒向随机微分方程的解，在[Dynamically consistent nonlinear evaluations and expectations（2005）Shandong Univ.]的基础上，建立了一个非线性期望理论.我们证明了这些期望的基本性质，并展示了它们在动态风险度量中的应用。特别是，我们证明了比较定理的标量和向量值的解决方案，BSDES，并讨论了套利和风险措施的标量情况下。
2010-01-14 math.PR q-fin.CP
Finite Sample Complexity of Sequential Monte Carlo Estimators on Multimodal Target Distributions
我们证明了有限样本复杂性的序贯蒙特卡罗（SMC）算法，只需要当地的混合时间相关联的马尔可夫内核。我们的边界是特别有用的，当目标分布是多模态和全球混合的马尔可夫内核是缓慢的，在这种情况下，我们的方法建立了相应的马尔可夫链蒙特卡罗（MCMC）估计SMC的好处。通过顺序控制由SMC再循环程序引入的偏差来解决全局混合的缺乏。我们应用这些结果来获得的复杂性界限下的混合物的对数凹分布的近似期望，并表明SMC提供了一个完全多项式时间的随机逼近方案，一些困难的多峰问题，相应的马尔可夫链采样器是指数缓慢。最后，我们比较我们的方法得到的边界，现有的边界上的回火马尔可夫链相同的问题。
2022-08-13 math.PR stat.CO stat.ML
Imprecise Transition Matrices for Markov Cohort Models: Lower and Upper Expectations with a Practical Health Economic Application
Medtronic Trading Sàrl（美敦力贸易公司）；Center for Evidence Synthesis in Health, Department of Health Services, Policy, and Practice, Brown University（布朗大学健康服务、政策与实践系健康证据综合中心）
针对马尔可夫队列模型中转移概率证据不足的问题，提出基于不精确概率的上下期望方法，通过贝尔曼算子精确计算累积结果，并在隐源性卒中后卵圆孔未闭封堵术的成本效果分析中展示其决策诊断价值。
2026-06-25 math.PR stat.ME
On structural parameter estimation of the Markov Q-process
本文考虑一个称为马尔可夫Q过程的随机模型，它构成一个连续时间的马尔可夫人口系统。马尔可夫Q-过程是指具有在遥远的未来继续的轨迹的随机马尔可夫分支过程。本文的主要目的是估计马尔可夫Q过程的结构参数。为了估计这个参数，提出了一个无偏估计的Lotka-Nagaev型。发现了该估计量方差的一个渐近展开。
2022-03-31 math.PR math.ST stat.TH
Kernel estimation of the transition density in bifurcating Markov chains
研究了分支马尔可夫链转移密度的核估计。在一定的遍历性和正则性条件下，证明了该估计是相合的且渐近正态的。接下来，在数值研究中，我们提出了两种数据驱动的方法来选择带宽参数。这些方法基于所谓的双带宽方法。
2023-03-27 math.PR math.ST stat.TH
Local bandwidth selection for kernel density estimation in bifurcating Markov chain model
本文提出了一个关于$\mathbb R^d$上分叉马尔可夫链平稳分布的自适应估计。分支马尔可夫链（BMC）是一类以正则二叉树为索引的随机过程。提出了一种核估计器，其带宽由Goldenshluger和Lepski [18]的工作启发的方法选择。从跳维模型选择方法中得到启发，我们还提供了一个算法来选择惩罚中的最佳常数。
2017-06-21 math.PR math.ST stat.TH
Unbiased Derivative Estimation for Stationary Mean of Parameterized Markov chains
提出一种针对参数化马尔可夫链平稳均值梯度的无偏估计方法，在慢混合率下高效，无需密度函数先验知识，适用于神经网络参数化。
2026-06-11 math.PR math.ST stat.ML
Maximum Likelihood Estimation for Maximal Distribution under Sublinear Expectation
极大似然估计是从给定样本估计概率分布的参数的常用方法。本文在次线性期望的框架下引入了极大似然估计。通过求解相应的极大极小问题，得到了极大分布参数的极大似然估计，这与Jin和Peng \cite{JP21}给出的最优无偏估计一致.并给出了结构相依样本的一般估计方法。这一结果为金融界广泛应用的G-VaR预测模型中上下方差的估计提供了理论基础。
2023-01-13 math.PR math.ST stat.TH
A New Truncation Algorithm for Markov Chain Equilibrium Distributions with Computable Error Bounds
本文介绍了一种新的算法，用于数值计算具有非常大的有限状态空间或可数无限状态空间的马尔可夫链和马尔可夫跳过程的平衡（即平稳）分布。该算法基于均衡期望的比率表示，其中分子和分母对应于在给定返回集$K$内开始和结束的路径上定义的期望。当$K$是单例时，这种表示是再生过程理论的一个众所周知的结果。对于计算的易处理性，我们忽略对应于给定截断集$A$的偏移的路径期望的贡献。这产生了一个截断算法，该算法在$A$变大时可证明收敛。此外，在一个合适的李雅普诺夫函数的存在下，我们可以绑定的路径期望，从而提供可计算的和收敛的误差界，我们的数值程序。我们的论文还提供了一个计算比较与其他两个截断方法来计算误差界。结果与观察结果一致，即我们的边界具有相关的计算复杂性，通常随着截断集变大而扩展得更好。
2022-08-30 cs.NA math.NA math.PR
On the minimal penalty for Markov order estimation
我们发现，大规模的典型性的马尔可夫样本路径意味着似然比统计量满足重对数律一致相同的规模。因此，惩罚似然马尔可夫顺序估计是强一致的处罚增长缓慢的log log n时，施加的上界的顺序，可以快速增长的log n。我们的证明方法，使用技术从经验过程理论，不依赖于显式表达式的最大似然估计在马尔可夫的情况下，因此可以适用于其他设置。
2009-08-25 cs.IT math.IT math.PR
