A discontinuous Galerkin method for approximating the stationary distribution of stochastic fluid-fluid processes
由Bean和O 'Reilly(2014)引入的随机流体-流体过程是马尔可夫过程$\{X_t, Y_t, φ_t\}_{t \geq 0}$,其中第一流体$X_t$由马尔可夫链$φ_t$驱动,并且第二流体$Y_t$由$φ_t$以及$X_t$驱动。那篇论文推导出了联合平稳分布的封闭式表达式,用作用于测度的算子表示,但它不易于进行数值计算。在这里,我们构建了一个不连续的Galerkin方法来近似这个平稳分布,并说明了使用的开-关带宽共享系统,这是一个特殊的情况下,随机流体-流体过程的方法。
2019-01-30 math.PR
Wasserstein convergence rates for random bit approximations of continuous Markov processes
我们确定了一个数值格式逼近一维连续强马尔可夫过程的收敛速度。该方案是基于构造抛硬币马尔可夫链的法律可以嵌入到一个序列的停时的过程。在过程速度测度的一个较弱条件下,证明了逼近马尔可夫链关于每$p$ -th Wasserstein距离以$1/4$的速度收敛于固定时刻.对于路径的收敛性,我们证明了任何严格小于$1/4$的速率.我们的结果适用于,特别是,不规则的行为,如解决方案的不规则系数和粘性点的过程的SDES过程。
2020-08-25 math.PR
Markov Chain Approximations to Singular Stable-like Processes
考虑奇异类稳定过程的马尔可夫链逼近。首先,我们得到了一些马尔可夫链的性质。然后构造了近似马尔可夫链,并给出了这类马氏链弱收敛于奇异类稳定过程的一个必要条件。
2012-10-10 math.PR
Decoupling for Markov Chains
Rutgers University–Camden(罗格斯大学-卡姆登分校);Center for Computational Mathematics, Flatiron Institute, Simons Foundation(西蒙斯基金会Flatiron研究所计算数学中心);Columbia University(哥伦比亚大学)
该研究提出了一种马尔可夫链的解耦方法,通过引入切线解耦过程,实现了非马尔可夫链的遍历性分析,并得出了时间平均方差的不等式。
2025-12-22 math.PR
Scaling limits of loop-erased Markov chains on resistance spaces via a partial loop-erasing procedure
我们引入部分循环擦除算子。我们证明了通过对有限马尔可夫链应用部分环擦除算子的加细序列,我们得到了一个等价于时间环擦除马尔可夫链的过程。作为应用,我们在电阻空间的有界域上构造了环擦除随机路,作为马尔可夫链在逼近电阻空间的有限集序列上的环擦除的弱极限,且该极限与逼近序列无关.我们构造的随机路径几乎必然是简单路径,它们可以看作是扩散过程路径的环擦除。最后,我们证明了Sierpienski地毯图上的环擦除随机游动的标度极限是存在的,并且等价于Sierpienski地毯上的环擦除随机路.
2022-09-15 math.PR
Approximations of Geometrically Ergodic Reversible Markov Chains
本文提出基于希尔伯特空间$ L_2(π) $的工具,用于评估几何性渐近可逆马尔可夫链近似的准确性和效率,扩展了Johndrow等人[18]的结果,并应用于多种近似MCMC算法。
2021-01-20 math.PR
Approximating class approach for empirical processes of dependent sequences indexed by functions
研究了以函数类为指标的相依数据$(X_i)_{i\geq0}$的经验过程的弱收敛性.我们的结果特别适合于动力系统和马尔可夫链的数据,其中观测量部分和的中心极限定理通常是通过谱隙技术推导出来的。我们特别感兴趣的情况下,索引类${\mathcal{F}}$是不同的类的功能$f$,我们有良好的性能的可观$(f(X_i))_{i\geq0}$。我们引入了一个新的括号数来衡量适合此设置的索引类${\mathcal{F}}$的大小。我们的结果适用于经验过程的数据$(X_i)_{i\geq0}$满足多重混合条件。这包括动力系统和马尔可夫链,如果Perron-Frobenius算子或马尔可夫算子具有谱间隙,但也扩展到这类之外,例如遍历环面自同构。
2014-07-04 math.PR
A Comment on the Book "Continuous-Time Markov Chains" by W.J. Anderson
连续时间马尔可夫链是W。J.安德森收集了过去三十年发展的很大一部分。它现在是这个主题或相关领域研究人员的热门参考。不幸的是,由于对近似方法的误解,书中的几个结果被错误地陈述或证明。由于结果与本作者的工作有关,因此有责任纠正错误,以避免进一步的混乱。我们强调逼近方法,因为它们在许多情况下都很有用。
2015-01-21 math.PR
Markov Jump Processes Approximating a Nonsymmetric Generalized Diffusion: numerics explained to probabilists
考虑由微分算子$A(\msx)=-\sum_{ij} \partial_ia_{ij}(\msx)\partial_j +\sum_i b_i(\msx)\partial_i$确定的${\bbR}^d$中的非对称广义扩散$X(\cdot)$。本文在均匀各向同性网格$G_n \subset {\bbR}^d$中用马尔可夫跳过程$X_n(\cdot)$来逼近扩散过程,它按分布收敛于扩散过程$X(\cdot)$ . $X_n(\cdot)$的生成器是显式构造的。由于网格的均匀性和各向同性,所提出的方法可以应用于扩散张量$d\geq3$满足附加条件的过程。该构造为非对称广义扩散样本路径的模拟提供了一种简单的方法。根据跳跃过程$X_n(\cdot)$进行仿真。对于$d=2$,构造可以容易地实现为计算机代码。
2010-03-14 math.FA math.PR
On Convergence of a Truncation Scheme for Approximating Stationary Distributions of Continuous State Space Markov Chains and Processes
在马尔可夫链和过程的分析中,有时用“截断的”有界状态空间代替无界状态空间是方便的。当进行这样的替换时,人们常常想知道截断链或过程的平衡行为是否接近于未截断系统的平衡行为。例如,当考虑计算无界状态空间上的平稳分布的数值方法时,自然会出现这样的问题。本文利用“再生”原理证明了当非截断链为正Harris常返链时,“固定状态”截断的平稳分布在很大程度上(在全变差范数下)收敛于非截断极限的平稳分布.即使在可数状态空间中,我们的理论也扩展了已知的结果,证明了增广可以对应于一个$r$ -正则测度。此外,我们扩展我们的理论,以涵盖一个重要的子类哈里斯经常马尔可夫过程,包括非爆炸马尔可夫跳过程的可数状态空间。
2022-06-23 cs.NA math.NA math.PR
Approximation of target problems in Blackwell spaces
在弱Blackwell空间上,我们展示了如何定义一个马尔可夫链逼近问题,为目标问题。在不同的伪度量下,证明了逼近问题收敛于最优约化问题。讨论了信息压缩的一个计算实例。
2009-01-13 math.PR
On Convergence of General Truncation-Augmentation Schemes for Approximating Stationary Distributions of Markov Chains
在分析马尔可夫链和过程时,有时用"截断的"有界状态空间代替无界状态空间是方便的。当进行这样的替换时,人们常常想知道截断链或过程的平衡行为是否接近于未截断系统的平衡行为。例如,当考虑用于计算无界状态空间上的平稳分布的数值方法时,自然会出现这样的问题。本文研究了一般的截断-增广格式,其中转移阵或核的次随机截断"西北角"被任意随机化(或增广)。在涉及强制函数的李雅普诺夫条件的存在下,我们表明,这样的计划一般是收敛的可数状态空间,截断被选为一个子水平集的李雅普诺夫函数。对于$\mathbb Z_+$上的随机单调马氏链,我们证明了我们总是可以选择$\{0,1,...,n\}$形式的截断集.然后,我们提供了弱连续马尔可夫链的充分条件下,一般截断增广计划弱收敛在连续状态空间。最后,我们简要地讨论了该理论的扩展到连续时间马尔可夫跳过程。
2022-03-29 cs.NA math.NA math.PR
Markov chain approximations for one dimensional diffusions
本文研究一维对称扩散的马尔可夫链逼近。给定闭区间上的不可约反射扩散,其尺度函数为$s$,速度测度为$m$,通过扩散对应的Dirichlet型的迹,显式地构造了近似马尔可夫链.该方法的一个特点是不要求极限对象的扩散系数具有一致椭圆性,也不要求近似马尔可夫链的电导具有一致正则性.
2020-04-15 math.PR
A probability approximation framework: Markov process approach
我们将经典的Lindeberg原理置于一个马尔可夫过程中,通过相关的伊藤公式和马尔可夫算子建立一个概率近似框架。作为应用,我们研究了以下三种近似的误差界:一类在线随机梯度下降(SGD)的乘性布朗运动驱动的随机微分方程近似,多维Ornstein-Uhlenbeck稳定过程的Euler-Maruyama(EM)离散化,以及多元正态近似.所有这些误差界都在Wasserstein-1距离内。
2022-06-14 math.PR
Existence, Uniqueness and Regularity of Decoupling Fields to Multidimensional Fully Coupled FBSDEs
利用所谓的解耦场,我们建立了一般多维强耦合FBB-D的存在性、唯一性和正则性理论。我们从局部结果开始,并通过连接将其扩展到全局理论。整体理论的基石是所谓的最大区间,粗略地说,这是合理的解决方案存在的最大区间。提出了一种方法来验证的最大区间是整个区间,在这是明确的问题,提出。作为我们研究的一部分,我们构造的解决方案的正则性变分微分Lipschitz假设下。额外的重点放在更特殊的马尔可夫的情况下,在该假设的Lipschitz连续的FBbundle可以被削弱到本地的,并出现额外的正则性。
2013-10-15 math.PR
On strong stationary times and approximation of Markov chain hitting times by geometric sums
考虑一个离散时间、遍历的马尔可夫链,其有限状态空间从平稳性出发。Fill和Lyzinski(2014)表明,在某些情况下,给定状态的首中时可以表示为IID随机变量的几何数量之和。我们扩展了这一结果,给出明确的界限之间的距离,任何这样的首中时和适当选择的几何和,以及其他相关的近似。复合随机变量在我们的近似几何和是一个强平稳时间的基础马尔可夫链,我们还讨论了这种分布的近似和建设。
2018-12-19 math.PR
Transfer of regularity for Markov semigroups
研究了马氏半群$(P_t)_{t>0}$的正则性,即当$P_t(x,dy)=p_t(x,y)dy$对于一个合适的光滑函数$p_t(x,y)$ .这是通过从一个近似的马尔可夫半群序列$(P^n_t)_{t>0}$,$n\in\mathbb{N}$,其相关的密度$p^n_t(x,y)$是光滑的,可以吹成$n\to\infty$的正则性。我们使用的插值型的结果,我们表明,如果存在一个良好的平衡之间的爆破和收敛速度,然后$P_{t}(x,dy)=p_{t}(x,y)dy$和$p_{t}$有一些规律性。
2022-02-07 math.PR
GTH Algorithm, Censored Markov Chains, and $RG$-Factorization
GTH算法是计算马尔可夫链平稳概率的一种数值稳定算法。在数学上,GTH算法是高斯消去法的重排,因此它们在数学上是等价的。GTH算法中的所有组件都可以基于删失概念进行概率解释,并且GTH算法中的每个消除都会导致删失的马尔可夫链。$RG$ -因子分解是高斯消去法的LU-分解的对应物。对于无穷多个线性方程组成的系统,删失马尔可夫链也可以看作是GTH算法的一个扩展版本。在$l_1$ -范数下,删失马尔可夫链对原链的逼近误差最小.
2021-01-30 math.PR
Markov Chain Approximations to Stochastic Differential Equations by Recombination on Lattice Trees
我们重新讨论了离散时间和离散空间马尔可夫链逼近随机微分方程的经典问题。我们的构造迭代Caratheodory定理随着时间的推移,以匹配本地的增量的时刻。这允许构建具有稀疏转移阵的马尔可夫链,其中可达到的状态的数量随着时间的增加至多多项式地增长。此外,MC进化的树,其节点位于“通用格”的意义上,任意数量的不同的SDES可以近似在同一棵树上。该构造不针对特定的模型,我们讨论了单变量和多变量情况下的SDES,并提供了一个实现和数值实验。
2021-11-05 math.PR
Approximating stochastic volatility by recombinant trees
提出了构造随机波动率模型重组树近似的一般方法,并将其应用于股票价格动态的Heston模型。在这个应用中,得到的近似是一个四元组马尔可夫过程。前两个组成部分与股票和波动过程有关,并在二维二叉树中取值。马尔可夫过程的其他两个组成部分是随机游动的增量,其简单值在$\{-1,+1\}$中。数值求解了一般美式和欧式期权的有效期权定价方程,包括标准看跌期权和看涨期权、障碍期权、回望期权和亚式期权的支付。证明了弱收敛和推广的弱收敛。
2014-07-03 math.PR q-fin.CP
Markov chain approximations for symmetric jump processes
研究了对称跳过程的马尔可夫链逼近。建立了紧性结果和一个中心极限定理。此外,给出了状态空间为$\mathbbm{R}^d$的对称跳过程的生成元,并明确地构造了近似马尔可夫链。作为一个副产品,我们得到了定义的索伯列夫空间$H^{α/2}(\mathbbm{R}^d)$,$α\in (0,2)$,这是等价的标准。
2006-11-30 math.FA math.PR
Exact finite approximations of average-cost countable Markov Decision Processes
对于可数状态马尔可夫决策过程,我们引入一个嵌入,它产生一个有限状态马尔可夫决策过程。有限状态嵌入过程具有相同的最优成本,而且,当约束到近似集时,它具有与原过程相同的动力学特性。嵌入过程可以作为一种近似,它是有限的,更便于计算和实现。
2007-11-14 math.OC math.PR
Translated Poisson approximation for Markov chains
本文讨论了n个整数值随机变量Y_i的和W的分布的逼近问题,其中Y_i的分布依赖于马尔可夫链X的状态。近似是在一个翻译的泊松分布,与平均值和方差选择接近W,和误差测量相对于全变差规范。假设X到一个参考状态的连续访问之间的Y_i的和的分布是非周期性的,则建立了与关于较弱Kolmogorov距离的正态近似的误差界。如果没有这个假设,就不能期望全变差的近似是好的。
2008-10-03 math.PR
Perturbed Markov Chains and Information Networks
本文研究了描述信息网络的扰动马尔可夫链。在这样的模型中,相应的马尔可夫链的转移概率矩阵通常通过添加一个特殊的阻尼矩阵乘以一个小的阻尼(扰动)参数$\varepsilon$来正则化。本文给出了转移概率正则化矩阵的扰动马氏链的平稳分布对未扰动马氏链的平稳分布的逼近速度的有效上界,关于阻尼参数的平稳分布逼近的渐近展开式,以及三角阵模式下$n$ -步转移概率的遍历定理的收敛速率的显式上界,其中扰动参数$\varepsilon \to 0$和$n \to \infty$同时。文中还给出了数值试验的结果
2019-05-02 math.PR
Approximating Quasi-Stationary Distributions with Interacting Reinforced Random Walks
本文提出了两种数值方法来逼近具有吸收状态的有限状态马尔可夫链的准平稳分布。这两种方案都描述了某些相互作用的链,其中的相互作用是在系统中的所有粒子的总时间占用措施,并加强过渡的影响,以适当的方式,状态的粒子的集合已经花了更多的时间。这些方案可以被看作是结合了两种基本的基于模拟的方法的关键特征,用于近似分别源自Fleming和Viot(1979)和Aldous,Flannery和Palacios(1998)的工作的QSD。这里研究的两种方案之间的关键区别在于,在第一种方法中,在时间$0$处从$a(n)$粒子开始,并且粒子数量随时间保持恒定,而在第二种方法中,我们从一个粒子开始,并且在每个时刻最多添加一个粒子,使得在时间$n$处存在$a(n)$粒子。在关键假设$a(n)=o(n)$的条件下,我们证明了这两个格式几乎必然收敛到唯一的QSD,并建立了中心极限定理。当为$a(n)\sim n$时,波动行为预期为非标准的。一些探索性的数值结果来说明这两个近似方案的性能。
2020-10-20 math.PR
Soft local times and decoupling of random interlacements
在本文中,我们建立了一个解耦功能的随机隔行扫描过程I^u在Z^d,在水平u,为d \geq 3。粗略地说,我们证明了,一旦我们通过稍微增加参数u来给过程I^u添加一个散点,那么限制在Z^d的两个不相交子集A_1和A_2上的I^u的观测值是近似独立的。我们的结果不同于以前的结果,因为我们允许集合A_1和A_2之间的相互距离比它们的直径小小于得多。然后,我们提供了这种解耦的一个重要应用,这种灵活性是至关重要的。更准确地说,我们证明了,在某个临界阈值u** 之上,具有避开I^u的长路径的概率是指数小的,对于d=3,具有对数校正。为了获得上述解耦,我们首先发展了一种比较两个马尔可夫链在同一状态空间上留下的迹的一般方法。这种方法基于我们所说的链的软本地时间。在我们的主要结果的另一个关键步骤中,我们还证明了任何离散集可以“平滑”成一个稍微扩大的离散集,其平衡测度的行为在一个规则的方式。这两个辅助结果本身是有趣的,并独立于其余的文件。
2015-07-28 math.PR
Strong Stationary Duality for Diffusion Processes
本文发展了紧区间上扩散过程的强平稳对偶理论。我们解析地导出了对偶过程的生成元和边界表现,并通过将原始扩散中的分离距离与对偶扩散中的吸收时间联系起来,恢复了扩散环境中经典马尔可夫链理论的一个中心原则.我们还展示了我们的强平稳对偶的自然限制过程的强平稳对偶序列的一个精心挑选的序列的近似出生和死亡马尔可夫链,允许同时数值模拟我们的原始和对偶扩散过程。最后,我们展示了我们的新定义的扩散对偶允许截断现象的谱理论自然地从出生和死亡马尔可夫链扩展到目前的扩散背景。
2015-04-17 math.PR
Approximations for the Moments of Nonstationary and State Dependent Birth-Death Queues
本文提出一种新的方法来逼近一维马氏生灭过程的非平稳矩动力学。通过用Poisson-Charlier多项式展开马尔可夫过程的转移概率,即使矩方程组可能不封闭,我们也能估计马尔可夫过程的任何矩.使用新的加权离散索伯列夫空间,我们得到明确的误差界的转移概率和新的弱先验估计近似的马尔可夫过程的时刻,使用截断形式的扩展。使用我们的误差界和估计,我们能够表明,我们的近似收敛到真正的随机过程,因为我们增加了更多的条款的扩展,并给出明确的界上的截断误差。其结果是,我们是第一篇论文中提供的误差界和估计的性能的矩封闭近似。最后,我们对排队论文献中的一些重要模型进行了数值实验,结果表明,我们的扩展技术在估计这些马尔可夫过程的矩动力学方面是准确的,只有少数几项的扩展。
2014-09-22 cs.NA math.DS math.NA
Error bounds for computing the expectation by Markov chain Monte Carlo
Friedrich Schiller University Jena(耶拿弗里德里希·席勒大学)
针对可逆马尔可夫链蒙特卡洛方法逼近函数期望的误差,证明了关于函数不同范数的显式误差界,并讨论了烧入期对误差的影响及优化算法。
2011-01-16 cs.NA math.NA math.PR
Discretisation of stochastic control problems for continuous time dynamics with delay
作为连续时间控制问题的数值解的一个主要步骤,被控过程被控制的马尔可夫链序列近似,从而离散时间和空间。这方面的一个新特征是允许动态延迟。在松弛控制类中,可以保证关于成本泛函的最优策略的存在性。证明了扩展马尔可夫链逼近原过程的弱收敛性以及相应的最优策略的收敛性。
2006-02-17 math.OC math.PR
Homogenization of Multi-agent Learning Dynamics in Finite-state Markov Games
École Normale Supérieure de Paris-Saclay(巴黎萨克雷高等师范学院)
本文提出通过降低学习率和提高更新频率重标度学习过程,将智能体参数视为慢变量,证明了多智能体在有限状态马尔可夫博弈中的学习动力学收敛于常微分方程,提供了确定性的近似方法。
2025-06-26 cs.LG math.PR stat.ML
Probabilistic limit behaviors of numerical discretizations for time-homogeneous Markov processes
本文研究时间齐次马尔可夫过程数值离散的时间平均估计量的概率极限行为,提出可验证的充分条件,适用于低正则性测试泛函,并涵盖多种随机系统。
2023-10-12 cs.NA math.NA math.PR
Finite Sample Complexity of Sequential Monte Carlo Estimators on Multimodal Target Distributions
我们证明了有限样本复杂性的序贯蒙特卡罗(SMC)算法,只需要当地的混合时间相关联的马尔可夫内核。我们的边界是特别有用的,当目标分布是多模态和全球混合的马尔可夫内核是缓慢的,在这种情况下,我们的方法建立了相应的马尔可夫链蒙特卡罗(MCMC)估计SMC的好处。通过顺序控制由SMC再循环程序引入的偏差来解决全局混合的缺乏。我们应用这些结果来获得的复杂性界限下的混合物的对数凹分布的近似期望,并表明SMC提供了一个完全多项式时间的随机逼近方案,一些困难的多峰问题,相应的马尔可夫链采样器是指数缓慢。最后,我们比较我们的方法得到的边界,现有的边界上的回火马尔可夫链相同的问题。
2022-08-13 math.PR stat.CO stat.ML
Simulation of Multidimensional Diffusions with Sticky Boundaries via Markov Chain Approximation
本文提出了一种新的粘性边界多维扩散问题的模拟方法。挑战来自于模拟粘性边界表现,对于这一点,欧拉方案等标准方法是失败的。我们用一个多维连续时间马尔可夫链(CTMC)来近似粘性扩散过程,这样我们可以很容易地进行模拟。我们开发了两种构造CTMC的方法:使用标准坐标方向通过有限差分逼近粘性扩散的无穷小生成元,以及使用漂移和协方差阵的特征向量作为过渡方向匹配局部矩。第一种方法并不总是保证有效的马尔可夫链,而第二种方法可以。我们表明,这两种构造方法产生一个一阶模拟方案,它可以捕捉粘性行为,它是免费的维数灾难。我们将我们的方法应用于两个应用:一个多维布朗运动的所有维度粘性的排队系统的极限与例外的服务政策,和一个多因素的短期利率模型的低利率环境中的随机因素是无界的,但短期利率是粘在零。
2021-07-09 math.PR q-fin.CP
Inference and rare event simulation for stopped Markov processes via reverse-time sequential Monte Carlo
我们提出了一个序贯蒙特卡罗算法的马尔可夫链轨迹的建议,在逆时间,这是有利的,当路径的条件结束在一个罕见的集合。逆时间提案分布是通过近似Nagasawa公式中的格林函数的比率来构造的。条件参数可以用来解释这些比率作为低维条件抽样分布的一些坐标的过程给定的其他。从而大大降低了设计高维SMC方案的难度。我们说明了我们的方法估计的溢出概率在一个扩散模型,扩散遵循一个狭窄的走廊的概率,以及在网络上的传染病模型中的感染的初始位置。
2017-01-02 math.PR q-bio.PE stat.CO
Maximum Likelihood Estimation of Diffusions by Continuous Time Markov Chain
本文提出了一种估计参数扩散过程参数的新方法。我们的方法是基于一个封闭形式的极大似然估计的近似连续时间马尔可夫链(CTMC)的扩散过程。与典型的时间离散化方法不同,例如Shoji-Ozaki或Kessler方法的伪似然近似,CTMC近似在参数估计期间不引入时间离散化误差,因此非常适合于具有不频繁采样数据的典型计量经济学情况。由于CTMC的结构,我们能够获得封闭形式的近似样本的可能性,一般单变量扩散。状态离散化方法与近似MLE(时间离散化)和精确MLE(适用时)的比较表明CMTC估计器具有良好的性能。除了真实数据实验与外汇利率和固定到期利率的模拟例子。
2021-08-28 math.PR math.ST stat.ME