Reversible Imprecise Markov Chains
本文为可逆不精确马尔可夫链建立理论框架，引入基于两步联合分布矩阵信任集的对称表示，将可逆性简化为矩阵对称性，并用于计算路径依赖泛函的期望。
2025-10-27 math.PR
Hitting Times for Continuous-Time Imprecise-Markov Chains
研究了连续时间马尔可夫链的鲁棒推广的期望首中时的特征问题。这种推广是基于不精确概率理论，我们工作的模型基本上构成了一组随机过程。他们的推论是严格的下限和上界相对于这些集内的变化。我们考虑三种不同类型的这些模型，对应于不同层次的一般性和结构独立性假设的组成过程。我们的主要结果是双重的，首先，我们证明了所有三种类型的首中时是相等的。此外，我们表明，这些推论所描述的一个众所周知的线性方程组，其特征在于传统的时间齐次连续时间马尔可夫链的预期首中时的一个简单的概括。
2022-06-26 math.PR
A Recursive Algorithm for Computing Inferences in Imprecise Markov Chains
我们提出了一种算法，可以有效地计算广泛的一类离散时间不精确的马尔可夫链，广义类型的马尔可夫链，允许考虑到部分指定的概率和其他类型的模型的不确定性的推断。类的推论，我们认为包含，作为特殊情况下，严格的下限和上界的预期首中时，击中概率和期望的功能，是一个简单的总和或产品。我们的算法利用了所有这些推论所固有的特定结构：它们允许一般的递归分解。这允许我们实现计算复杂性，其在推断所依赖的时间点的数量上线性地缩放，而不是对于朴素方法典型的指数缩放。
2019-07-01 math.PR
Lower and Upper Expected Hitting Times for Weighted Imprecise Markov Chains
Eindhoven University of Technology（埃因霍温理工大学）
本文将不精确马尔可夫链的击中时间扩展到加权不精确马尔可夫链框架，定义了下界和上界期望击中时间，并通过非线性固定点方程刻画这些量，利用现有理论和算法计算。
2026-11-02 math.PR
Limit Behaviour of Upper and Lower Expected Time Averages in Discrete-Time Imprecise Markov Chains
我们研究的极限行为的上限和下界预期的时间平均值在不精确的马尔可夫链，广义类型的马尔可夫链的本地动态，传统上其特征在于转移概率，现在表示的“似是而非”的转移概率集。我们的主要结果是一组充要条件，在此条件下，这些上限和下界，称为上，下预期的时间平均值，将收敛到不依赖于过程的初态的极限值，随着时间的推移向无穷大。值得注意的是，我们的条件比那些需要建立类似的结果，所谓的极限-或稳态-上限和下限的期望，这往往是用来提供近似信息的时间平均值的极限行为，以及弱得多。我们表明，这样的近似是次优的，它可以显着改善直接使用上下预期的时间平均值。
2020-03-26 math.PR
Computing Expected Hitting Times for Imprecise Markov Chains
提出了一种求解非线性方程组的新算法，该方程组的解可以解释为一个转移概率仅部分指定的马尔可夫链的期望首中时向量的一个紧下界。我们还简要地勾画了如何修改这种方法，以解决共轭方程组，从而产生相应的上界。我们证明了我们的方法的正确性，并表明，它收敛到正确的解决方案，在有限的步骤在温和的条件下的系统。我们比较我们的方法的运行时复杂性，以前发表的方法从文献中，并确定条件下，我们的新方法是更有效的。
2021-04-20 math.PR
Computing Lower and Upper Hitting Probabilities for Imprecise Markov Chains
Eindhoven University of Technology（埃因霍温理工大学）
本文研究了不精确马尔可夫链中目标状态集的下击中概率和上击中概率的计算，探讨了不精确设置下的可达性概念，并提出迭代算法用于实际计算。
2026-03-17 math.PR
Relation between Hitting Times and Probabilities for Imprecise Markov Chains
Eindhoven University of Technology（埃因霍温理工大学）
研究不精确离散时间马尔可夫链中击中时间与概率的关系，证明击中时间有限性与概率为一的等价性，并展示逆向关系可能失效的反例。
2026-11-02 math.PR
Robust Model Checking with Imprecise Markov Reward Models
近年来，由于随机性质的计算系统的扩散，概率模型检验已成为一个重要的研究领域。尽管它取得了巨大的成功，标准的概率模型检验遭受的限制，需要一个尖锐的规范的概率管理模型的行为。不精确概率理论提供了一种自然的方法，通过对这些参数的值进行敏感性分析来克服这种限制。然而，到目前为止，只有基于离散时间不精确马尔可夫链的扩展被认为是这样一个强大的模型检验方法。我们提出了一个进一步的扩展不精确的马尔可夫奖励模型的基础上。特别是，我们推导出有效的算法来计算上下界的预期累积奖励和概率有界奖励的基础上现有的结果不精确马尔可夫链。这些想法进行测试的一个真正的案例研究，涉及花费了老年医学部门的成本。
2021-05-18 cs.LO math.LO math.PR
Imprecise Markov chains and their limit behaviour
当离散时间有限马尔可夫链的初始概率和转移概率不为人知时，需要进行灵敏度分析。这可以通过将这些概率已知或被认为属于的所谓的置信集视为基本不确定性模型，并通过允许概率在这些集合上变化来实现。这导致了一个不精确的马尔可夫链的定义。我们表明，这样一个系统的时间演化可以非常有效地研究使用所谓的下限和上限的期望，这是等价的数学表示的信用集。我们还研究了如何推断credal集的状态，在时间n演变为n走向无穷大：在相当不受限制的条件下，它收敛到一个唯一不变的credal集，无论credal集的初态。这导致了一个非平凡的推广的经典Perron Frobenius定理不精确的马尔可夫链。
2009-02-20 math.DS math.PR
Imprecise Continuous-Time Markov Chains
连续时间马尔可夫链是描述随机不确定性下动力系统状态演化的数学模型，在各个领域都有广泛的应用。为了使这些模型在计算上易于处理，它们依赖于一些假设，这些假设对于应用领域可能是不现实的;特别是，提供精确的数值参数评估的能力，以及时间均匀性和epsilon马尔可夫性的适用性。在这项工作中，我们将这些模型扩展到不精确的连续时间马尔可夫链（ICTMC），这是一个强大的概括，放松这些假设，同时保持计算上易于处理。从技术上讲，ICTMC是一组“精确”的连续时间有限状态随机过程，我们试图计算较低的期望值，而不是计算函数的期望值，这是与这样一组“精确”模型相对应的期望值的严格下界。请注意，与贝叶斯方法不同，这样一个集合的所有元素都是平等对待的;我们不考虑这个集合上的分布。本文的第一部分发展了一种描述连续时间有限状态随机过程的形式主义，它不需要前面提到的简化假设。接下来，这种形式主义是用来证明ICTMC的，并调查他们的属性。利用下转移算子给出了下期望的另一种算子理论刻画，并研究了下转移算子的性质。最后，我们使用这个较低的转换算子来推导出易于处理的算法（具有多项式运行时复杂度w.r.t.最大数值误差）用于计算依赖于任何有限数量的时间点处的状态的函数的较低期望。
2017-06-20 math.PR
Average Behaviour in Discrete-Time Imprecise Markov Chains: A Study of Weak Ergodicity
我们研究的极限行为的上限和下界预期的时间平均值在不精确的马尔可夫链，一个广义的马尔可夫链的本地动态，传统上特点是转移概率，现在表示的“似是而非”的转移概率集。我们的第一个主要结果是一个充要条件，在这个条件下，这些上界和下界，称为上、下期望时间平均值，将收敛到不依赖于过程的初态的极限值。我们的条件比遍历行为所需的条件弱得多;一个类似的概念，它要求函数在单个时刻的边际上下期望收敛到所谓的极限或稳态上下期望。为此，我们把我们的概念称为“弱遍历性”。我们的第二个主要结果表明，就这种弱遍历行为而言，人们不应该担心采用哪种类型的独立性假设--认知无关性、完全独立性或重复独立性。弱遍历性的特征以及期望时间平均值的上限和下限并不依赖于这样的选择。值得注意的是，这种类型的鲁棒性并没有表现出遍历性的概念和相关的推理限制上限和下限的期望。最后，虽然限制上限和下限的期望通常用于提供近似的信息的时间平均值的限制行为，我们表明，这样的近似是次优的，它可以显着改善直接使用上限和下限的预期时间平均值。
2021-02-09 math.PR
An Imprecise Probabilistic Estimator for the Transition Rate Matrix of a Continuous-Time Markov Chain
Ghent University（根特大学）
我们考虑的问题，估计的转移率矩阵的连续时间马尔可夫链从有限持续时间实现这个过程。我们在一个不精确的概率框架中处理这个问题，使用一组关于未知转移率矩阵的先验分布。由此产生的估计是一组转移率矩阵，由于共轭的原因，很容易找到。为了确定先验集合的超参数，我们在离散时间中重新考虑这个问题，在那里我们可以使用著名的不精确狄利克雷模型。特别是，我们将展示如何限制所得到的离散时间估计是一个连续时间估计。它对应于超参数的特定选择，并且具有非常简单的封闭形式表达式。
2018-07-11 cs.LG math.PR stat.ML
Imprecise Transition Matrices for Markov Cohort Models: Lower and Upper Expectations with a Practical Health Economic Application
Medtronic Trading Sàrl（美敦力贸易公司）；Center for Evidence Synthesis in Health, Department of Health Services, Policy, and Practice, Brown University（布朗大学健康服务、政策与实践系健康证据综合中心）
针对马尔可夫队列模型中转移概率证据不足的问题，提出基于不精确概率的上下期望方法，通过贝尔曼算子精确计算累积结果，并在隐源性卒中后卵圆孔未闭封堵术的成本效果分析中展示其决策诊断价值。
2026-06-25 math.PR stat.ME
Imprecise Markov Models for Scalable and Robust Performance Evaluation of Flexi-Grid Spectrum Allocation Policies
灵活分配频谱资源的可能性，不同大小的信道大大提高了光网络的频谱效率，但也可能导致不必要的频谱fragmentation.We研究这个问题的情况下，流量需求分为两种类型（低或高比特率）通过评估三个分配政策的性能。我们的第一个贡献包括精确的马尔可夫链模型，这些分配政策，使我们能够数值计算相关的性能指标。然而，这些精确的模型不能扩展到大型系统，在这个意义上，确定阻塞概率所需的计算-衡量分配策略的性能-变得棘手。为了解决这一问题，我们首先扩展了一个近似的减少状态马尔可夫链模型，在文献中的三个考虑分配政策。这些减少状态马尔可夫链模型允许我们可追踪地计算阻塞概率的近似值，但这些近似值的准确性不能很容易地验证。然后，我们的主要贡献是引入减少状态不精确马尔可夫链模型，使我们能够得到保证的下限和上限的阻塞概率，分别为三个分配政策或所有可能的分配政策同时。
2018-04-27 cs.NI math.PR
An efficient algorithm for estimating state sequences in imprecise hidden Markov models
我们提出了一个有效的精确算法估计状态序列的输出（或观察）在不精确的隐马尔可夫模型（iHMM），其中两个不确定性连接一个状态到下一个，并连接一个状态到其输出，表示使用相干较低的预测。我们与代表iHMM的信用网络相关联的独立性概念是认知无关性。我们认为作为最佳估计的状态序列的（瓦利-森）最大序列的后联合状态模型的条件下观察到的输出序列，与增益函数，这是状态序列的指标。这对应于（并概括）找到具有精确转移和输出概率（pHspeed）的Hspeed中具有最高后验概率的状态序列。我们认为，计算复杂性是在最坏的马尔可夫链的长度，立方的状态数的平方和最大状态序列的数量基本上是线性的。对于二进制iHynth，我们实验研究如何最大状态序列的数量依赖于模型参数。我们还提出了一个简单的玩具应用程序在光学字符识别，证明我们的算法可以用来鲁棒精确的概率模型的推断。
2012-10-05 cs.AI math.PR
Computing bounds for imprecise continuous-time Markov chains using normal cones
不精确马尔可夫链理论近年来取得了重大进展。然而，它的适用性仍然非常有限，这在很大程度上是由于缺乏有效的计算方法来计算高维模型。高的计算复杂性尤其表现在Kolmogorov向后方程的不精确版本的计算中。该方程以最小化问题的形式在区间的每一点处表示，仅用线性规划技术就可求解。因此，在整个区间上找到一个精确解是不可行的，因此近似方法已经被开发出来。为了达到足够的精度，一般情况下，需要在大量的时间点上使用线性规划最优化方法。本文的主要目的是提供一种新的，更有效的方法来解决不精确的Kolmogorov向后方程。它是基于方程的解关于时间的Lipschitz连续性，使得出现在时间间隔的邻近点的线性规划问题具有相似的最优解。利用凸集的正规锥理论，利用了这一性质。本文主要致力于为新技术提供理论基础，然而，初步测试表明，在大多数情况下，它决定性地优于现有的方法。
2020-12-02 math.DS math.OC math.PR
Imprecise Markov Semigroups and their Ergodicity
The University of Manchester（曼彻斯特大学）；University of Warwick（华威大学）
本文提出不精确马尔可夫半群的概念，通过拓扑、几何和概率方法分析模型不确定性下的平稳极限，研究了长期界限的统一性和渐进行为中不精确性的消失。
2026-03-02 math.PR math.ST stat.ML
Epistemic irrelevance in credal nets: the case of imprecise Markov trees
Ghent University（根特大学）；IDSIA（瑞士人工智能研究所）
我们专注于credal网，这是图形模型，概括贝叶斯网不精确的概率。我们用较弱的认知无关性概念取代了信用网中常用的强独立性概念，这可以说更适合于概率的行为理论。专注于有向树，我们展示了如何将给定的局部不确定性模型在节点的图形到一个全球性的模型，我们用它来构建和证明一个精确的消息传递算法，计算更新的信念在树中的一个变量。该算法，这是线性的节点数，制定完全一致的较低的previsions方面，并示出满足一些合理性要求。我们提供的算法的操作的例子，并报告一个应用程序，以说明我们的预测方法的优势，在线字符识别。我们评论的观点，开放的可用性，第一次，一个真正有效的算法的基础上认识无关性。
2010-08-15 cs.AI math.PR stat.ML
Computing Inferences for Large-Scale Continuous-Time Markov Chains by Combining Lumping with Imprecision
如果一个齐次连续时间马尔可夫链的状态空间太大，那么进行推断--这里仅限于确定边际或极限期望--在计算上变得不可行。幸运的是，这样一个链的状态空间对于我们感兴趣的推理来说通常过于详细，在这个意义上，一个不太详细的--更小的--状态空间就足以明确地形式化推理。然而，通常，这种所谓的集总状态空间抑制计算精确推断，因为对应的动态是未知的和/或难以获得的。我们解决这个问题，考虑一个不精确的连续时间马尔可夫链。通过这种方式，我们能够为感兴趣的推断提供有保证的下限和上界，而不会遭受维数灾难。
2018-05-31 math.PR
Bounds on Spectral Gaps for Non-Reversible Markov Chains with Applications to Temporal Difference Learning
University of Minnesota（明尼苏达大学）
本文为分析时序差分算法，通过Dirichlet谱间隙界定非可逆马尔可夫链的特征值，推广了稳定性充分条件，并给出离散时间线性高斯系统的显式界。
2026-06-05 math.PR
Markov processes on quasi-random graphs
研究了大型图上的马氏种群过程，其中单个顶点的局部状态转移率是其邻域的线性函数。一个简单的方法来近似这样的过程是由常微分方程系统称为齐次平均场近似（HMFA）。我们的主要结果是证明了HMFA是有限时域上随机动力系统的大图极限当且仅当图序列是拟随机的。给出了显式误差界，其阶为$\frac{1}{\sqrt{N}}$加上图的最大偏差.对于Erdens-Rényi图和随机正则图，我们给出了平均度的倒数平方根阶的误差界.在一般情况下，发散的平均度被证明是一个必要条件的HMFA是准确的。在特殊条件下，这些结果也适用于更详细的近似类型，如非齐次平均场近似（IHMFA）。我们特别关注流行病应用，如SIS过程。
2021-08-27 math.PR
Almost triangular Markov chains on $\mathbb{N}$
如果$\mathbb{N}$上的转移矩阵$[U_{i,j}]_{i,j\geq 0}$是几乎上三角的，则$U_{i,j}\geq 0\Rightarrow j\geq i-1$，使得相应的马尔可夫链的增量至少是$-1$ ;如果$L_{i,j}\geq 0\Rightarrow j\leq i+1$，则转移矩阵$[L_{i,j}]_{i,j\geq 0}$是几乎下三角的，则相应的马尔可夫链的增量至多是$+1$。本文刻画了几乎三角转移矩阵类的常返性、正常返性和不变分布。在许多方面，上面的情况似乎是最简单的，具有不变测度的存在性和唯一性，而在下面的情况下，不保证存在性和唯一性。给出了上几乎三角转移矩阵和下几乎三角转移矩阵之间的时间反演关系，从而给出了一类可积的下三角转移矩阵。这些结果包括了著名的马尔可夫链（或过程）生灭过程（BDP）的情形，它们的值取在$\mathbb{N}$中，同时是几乎上三角和几乎下三角的，其研究是由Karlin和McGregor在20世纪50年代开始的。他们发现不变的措施，标准复发，零复发，除其他外，他们的方法依赖于一些深刻的联系，他们发现之间的理论BDP，光谱性质的过渡矩阵，矩问题，和理论的正交多项式。我们的方法主要是组合的，并使用初等代数方法，它是某种程度上更直接，不使用相同的工具。
2021-09-14 math.PR
Discretisation of stochastic control problems for continuous time dynamics with delay
作为连续时间控制问题的数值解的一个主要步骤，被控过程被控制的马尔可夫链序列近似，从而离散时间和空间。这方面的一个新特征是允许动态延迟。在松弛控制类中，可以保证关于成本泛函的最优策略的存在性。证明了扩展马尔可夫链逼近原过程的弱收敛性以及相应的最优策略的收敛性。
2006-02-17 math.OC math.PR
Mirror Langevin diffusions: Convergence rates and Markov chain approximations
Université Paris-Saclay（巴黎萨克雷大学）；University of British Columbia（不列颠哥伦比亚大学）；University of Washington（华盛顿大学）
研究给定概率密度\(\mu\)时，能否选强凸函数\(u\)使镜像朗之万扩散指数收敛到平衡态，基于李雅普诺夫函数方法给出条件。还引入马尔可夫链逼近，证明其在\(\chi^2\)中有与扩散时间尺度一致的收敛速率。
2026-07-28 math.PR stat.ML
Interpretable Neural Approximation of Stochastic Reaction Dynamics with Guaranteed Reliability
Department of Biosystems Science and Engineering, ETH Zurich（1 生物系统科学与工程系，苏黎世联邦理工学院）
DeepSKA通过结合可解释性、可靠性保证和高效计算，为随机反应动力学提供了一种新的神经近似方法。
2025-12-06 cs.LG math.PR q-bio.MN
Should I stay or should I go? Zero-size jumps in random walks for Lévy flights
我们研究马尔可夫连续时间随机游走模型的Lévy航班，我们展示了一个例子，其中的收敛到稳定的密度是不能保证跳跃遵循双峰幂律分布，等于零的零。这一结果的意义是双重的：i）关于分数扩散方程的概率推导，以及ii）关于野生动物类列维运动框架中的场地保真度概念。
2021-03-11 cond-mat.stat-mech math.PR
