Checking Continuous Stochastic Logic against Quantum Continuous-Time Markov Chains
East China Normal University(华东师范大学);Shanghai Qi Zhi Institute(上海人工智能实验室);Leiden University(莱顿大学);Chinese Academy of Sciences(中国科学院);Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所);Shanghai University of Finance and Economics(上海财经大学);Stony Brook University(石溪大学)
本文针对量子连续时间马尔可夫链,提出结合代数与数值方法的连续随机逻辑模型检验方案,确立了CSL的可判定性并保证计算效率,还给出示例演示方法应用。
2025-11-10 cs.LO
Lightweight Monte Carlo Verification of Markov Decision Processes with Rewards
马尔可夫决策过程是并发优化问题的有用模型,但对于穷举验证方法来说往往是棘手的。最近的工作已经引入了轻量级的近似技术,直接从调度空间采样,带来了可扩展的替代标准的数值模型检验算法的前景。到目前为止,重点一直是优化一个属性的概率,但许多问题需要定量分析的回报。因此,在这项工作中,我们提出了轻量级的统计模型检验算法,以优化马尔可夫决策过程的奖励。我们认为标准的定义中使用的奖励模型检验,引入一个辅助的假设检验,以适应可达性奖励。我们证明了我们的方法在一些标准的案例研究的性能。
2015-03-23 cs.LO
Probabilistic Model Checking for Propositional Projection Temporal Logic
命题投影时序逻辑(Propositional Projection Temporal Logic,PPTL)是一种用于硬件和软件系统中时间段推理的有用形式,可以处理顺序和并行组合。本文基于离散时间马尔可夫链,研究了PPTL的概率模型检验方法,用于检验任意线性时间性质。我们首先定义一个范式图,表示为NFG_inf,捕捉PPTL公式的无限路径。由于离散时间马尔可夫链是确定性的概率模型,我们进一步根据Safra的构造方法给出了确定和最小化非确定性NFG_inf的算法。
2010-11-05 cs.LO
An Algebraic Method to Fidelity-based Model Checking over Quantum Markov Chains
本文提出QCTL逻辑在量子马尔可夫链上进行基于保真度的模型检测,通过归约到实数存在理论的量词消去实现精确计算,证明QCTL公式指数时间可判定,并以量子IPv4协议验证有效性。
2021-01-13 cs.LO
Model checking quantum Markov chains
虽然量子密码的安全性是基于量子力学的原理可证明的,但它可能会受到量子协议设计中的缺陷和物理实现中的噪声的影响。因此,研究量子密码系统的验证和调试技术是十分必要的。模型检验在经典密码协议的验证中已被证明是有效的,但当它被应用于量子系统时,出现了一个基本的困难:即使量子系统的维数是有限的,它的状态空间也总是连续的。为了克服这个困难,我们引入了一个新的量子马尔可夫链的概念,特别适合于模型的量子密码协议,其中量子效应完全编码到超运营商标签的过渡,离开的位置信息(节点)是经典的。然后,我们定义了一个量子扩展的概率计算树逻辑(PCTL)和量子马尔可夫链的模型检测算法。
2013-11-14 cs.LO quant-ph
UMB: A Unified Markov Binary Format for Probabilistic Model Checking (extended version)
Brno University of Technology(布尔诺工业大学);University of Twente(特温特大学);Utah State University(犹他州立大学);Radboud University(拉德堡德大学);Lancaster University Leipzig(兰开斯特大学莱比锡分校);University of Oxford(牛津大学);RWTH Aachen University(亚琛工业大学);Ruhr-University Bochum(鲁尔大学波鸿分校)
提出UMB格式,一种高效、可扩展的显式状态文件格式,用于表示多种概率系统,解决低层模型交换问题,已被主流工具采用并提供Python库支持。
2026-06-17 cs.LO
Efficient Checking of Individual Rewards Properties in Markov Population Models
Saarland University(萨尔兰大学);University of Trieste(的里雅斯特大学);CNR/ISTI, Pisa(意大利国家研究委员会信息技术与系统工程研究所(比萨));School of Informatics, University of Edinburgh(爱丁堡大学信息学院)
本文提出在马尔可夫种群模型中检查包含奖励属性的CSL属性的方法,扩展了个体代理属性检查的范围。
2015-09-29 cs.LO cs.PF cs.SY
Robust Model Checking with Imprecise Markov Reward Models
近年来,由于随机性质的计算系统的扩散,概率模型检验已成为一个重要的研究领域。尽管它取得了巨大的成功,标准的概率模型检验遭受的限制,需要一个尖锐的规范的概率管理模型的行为。不精确概率理论提供了一种自然的方法,通过对这些参数的值进行敏感性分析来克服这种限制。然而,到目前为止,只有基于离散时间不精确马尔可夫链的扩展被认为是这样一个强大的模型检验方法。我们提出了一个进一步的扩展不精确的马尔可夫奖励模型的基础上。特别是,我们推导出有效的算法来计算上下界的预期累积奖励和概率有界奖励的基础上现有的结果不精确马尔可夫链。这些想法进行测试的一个真正的案例研究,涉及花费了老年医学部门的成本。
2021-05-18 cs.LO math.LO math.PR
Significant Diagnostic Counterexamples in Probabilistic Model Checking
提出了一种新的马尔可夫链和马尔可夫决策过程概率模型检验中的反例生成技术。反例中的(有限)路径在可能向用户提供类似调试信息的证人中被分组在一起。我们列出了五个属性,证人应该满足,以作为调试援助有用:相似性,准确性,独创性,重要性和有限性。我们的见证者包含在强连接组件之外表现相似的路径。本文展示了如何计算这些证人减少的问题,生成反例的一般属性在马尔可夫决策过程中,在几个步骤,生成反例的可达性属性在非循环马尔可夫链的简单问题。
2008-06-06 cs.LO cs.PF
Model Checking of Continuous-Time Markov Chains Against Timed Automata Specifications
我们研究了验证有限连续时间马尔可夫链(CTMC)C对线性实时规范作为一个确定性的时间自动机(DTA)A有限或穆勒接受条件。我们要解决的中心问题是:C的路径集合被A接受的概率是多少,即,C满足A的可能性结果表明,在有限的验收标准,这等于在有限的分段确定性马尔可夫过程(PDP)的可达概率,而Muller验收标准,它符合终端强连通组件在这样的PDP的可达概率。定性验证显示相当于PDP的图形分析。在我们的PDP的可达性概率,然后其特征在于作为第二类Volterra积分方程系统的最小解,并示出近似的偏微分方程系统的解决方案。对于单时钟DTA,该积分方程系统可以被变换成线性方程系统,其中系数是常微分方程的解。由于系数实际上是CTMC中的瞬态概率,因此该结果意味着CTMC分析的标准算法足以验证单时钟DTA规范。
2011-03-27 cs.LO
Quantum Markov chains: description of hybrid systems, decidability of equivalence, and model checking linear-time properties
在本文中,我们研究了一个模型的量子马尔可夫链,这是一个量子模拟的马尔可夫链,并得到取代概率的转移矩阵与量子操作。我们表明,这个模型是非常适合描述的混合动力系统,包括一个量子组件和一个经典的,虽然它具有相同的表达能力,另一个量子马尔可夫模型在文献中提出的。事实上,在量子信息处理中经常会遇到混合系统;例如,量子程序和量子协议都可以被视为混合系统。因此,我们进一步提出了一个称为混合量子自动机(HQA)的模型,可以用来描述这些从外部世界接收输入(动作)的混合系统。我们证明了HQA的语言等价问题是多项式时间可判定的。此外,我们将这个结果应用到量子马尔可夫链的迹等价问题,从而它也是多项式时间可判定的。最后,我们讨论了量子马尔可夫链的线性时间性质的模型检验,并表明可以成功地解决正则安全性的定量分析。
2015-06-30 cs.LO quant-ph
Linear-Time Model Checking Branching Processes
(多类型)分支过程是生成随机无限树的自然和充分研究的模型。分支过程具有非确定性和概率性分支,推广了转移系统和马尔可夫链(但不是一般的马尔可夫决策过程)。我们研究了模型检验分支过程对线性时间ω-正则规范的复杂性:它是几乎肯定的情况下,由分支过程随机生成的树的每个分支满足ω-正则规范?主要结果是,对于LTL规格这个问题是在PSPACE,包含经典的结果,分别为过渡系统和马尔可夫链。底层的一般模型检查算法是基于自动机理论的方法,使用明确的Büchi自动机。
2021-07-04 cs.FL cs.LO
A Probabilistic Logic for Verifying Continuous-time Markov Chains
连续时间马尔可夫链(CTMC)执行是状态上连续的一类概率分布。本文提出了一种概率线性时序逻辑,即连续时间线性逻辑(CLL),用于推理CTMC的概率分布执行。我们定义的概率分布的空间上的CLL的语法。CLL的语法包括多相定时直到公式,并且CLL的语义允许时间重置以研究相对时间属性。我们推导出相应的CLL公式的模型检测算法。模型检测算法的正确性依赖于Schanuel猜想,这是超越数论中的一个中心开放问题。此外,我们提供了一个运行的CTMC的例子来说明我们的方法。
2022-04-14 cs.LO
Verifying Reachability Properties in Markov Chains via Incremental Induction
在概率验证和非概率验证之间存在可扩展性差距。概率模型检验工具基于显式引擎或(多端)二元决策图。这些结构在非概率验证领域得到了更可扩展的技术(如IC3)的补充。我们提出了一个符号概率模型检验算法的基础上IC3类增量建设的归纳条款划分的状态空间,交错与增量建设的线性不等式系统。本文比较了我们的实现标准的定量验证的替代方案:我们的实验表明,我们的算法是一个步骤,以更可扩展的符号验证有限状态马尔可夫链中的罕见事件。
2019-09-19 cs.LO
Model Checking CSL for Markov Population Models
Saarland University(萨尔兰大学)
针对无限状态连续时间马尔可夫链的马尔可夫种群模型,提出了一种完整的连续随机逻辑(CSL)模型检验算法,能够有效验证概率可达性、生存性、振荡等生物系统关键性质。
2014-06-09 cs.LO cs.NA math.NA
Compositional Reasoning for Interval Markov Decision Processes
Puggelli等人最近研究了具有凸不确定性的Markov决策过程的模型检验概率CTL性质,这类模型检验算法通常存在状态空间爆炸问题.在本文中,我们解决概率互模拟,以减少这样的MDP的大小,同时保持概率CTL属性,它满足。特别是,我们讨论的关键成分,建立在运行时组成间隔MDP组件的并行组合操作。更确切地说,我们研究如何并行组合操作的区间MDP可以定义,以便达到一个同余闭包。其结果是,我们表明,概率互模拟区间MDPs是一致的两个方面的并行性,即同步产品和交织。
2016-07-28 cs.LO
Tensor Probabilistic Model Checking of Finite-Horizon Markov Chains (Extended Version)
University of Waterloo(滑铁卢大学)
该研究针对步长有界可达概率的马尔可夫链验证问题,提出将概率模型检测转化为稠密张量计算的方法,实现为工具Tessa,在基准测试上较现有方法大幅加速。
2026-08-04 cs.AI cs.LO cs.MS
Model Checking Quantum Continuous-Time Markov Chains
本文首次对量子连续时间马尔可夫链进行模型检测,提出基于Schanuel猜想的实根隔离算法并结合自底向上区间运算检测信号时序逻辑公式,实现了与公式规模线性相关的查询复杂度。
2021-05-02 cs.LO math.NT quant-ph
Faster Statistical Model Checking for Unbounded Temporal Properties
针对马尔可夫链的无界时态性质,如可达性和完全线性时态逻辑,提出了一种新的统计模型检验算法。其主要思想是,我们监视每个模拟运行的飞行,以快速检测,如果一个底部强连接的组件是进入高概率,在这种情况下,模拟运行可以提前终止。因此,我们的模拟运行往往比所需的终止边界,计算先验的期望水平的置信度和状态空间的大小短得多。与以前的统计模型检验算法相比,对于给定的置信度,我们的方法不仅在许多情况下更快,而且需要更少的系统信息,即,只有最小的转移概率发生在马尔可夫链,从而使几乎完整的黑盒验证。此外,我们的方法可以推广到无界的定量属性,如平均回报界。
2016-03-03 cs.LO
Stability Checking of Markov Jump Linear Systems via Probabilistic Temporal Logic (Extended Version)
Saarland University(萨尔兰大学)
针对马尔可夫跳变线性系统,提出基于概率计算树逻辑的模型检验方法,通过线性代数技术扩展逻辑以处理特定初始状态集下的矩稳定性,解决了经典稳定性判据的保守性问题。
2026-06-24 cs.FL cs.LO
Compositional Probabilistic Model Checking with String Diagrams of MDPs
本文提出基于字符串图范畴语言的 MDP 组合式模型检测算法,利用期望回报分解等式计算最优期望回报,并通过实验验证性能优势。
2023-07-17 cs.LO
Markov Chains and Unambiguous Automata
本文提出一种多项式时间算法,用于对表示为无歧义自动机的ω-正则规范进行离散时间Markov链的模型检测,证明其复杂度属于NC,与确定性自动机界限匹配且更具简洁性。
2023-04-07 cs.FL cs.LO
Smoothed Model Checking for Uncertain Continuous Time Markov Chains
University of Saarland(萨尔兰大学);University of Trieste(的里雅斯特大学);CNR/ISTI, Pisa, Italy(意大利比萨国家研究委员会信息与通信技术研究所);University of Edinburgh(爱丁堡大学);SynthSys, Centre for Synthetic and Systems Biology, University of Edinburgh(爱丁堡大学合成与系统生物学中心合成生物学中心)
本文提出了一种基于平滑函数的贝叶斯统计算法,用于高效评估参数不确定连续时间马尔可夫链中公式满足概率,通过高斯过程建模实现快速准确的模型检查。
2014-10-22 cs.LO cs.SY eess.SY
Computing Quantiles in Markov Reward Models
概率模型检验主要集中于推理某些路径属性或某些随机变量的期望值的概率的技术。然而,对于定量系统分析,还有另一种有趣的性能度量,即分位数。一个典型的分位数查询需要输入一个概率下界p和一个可达性属性。然后,任务是计算最小奖励界限r,使得在累积奖励超过r之前,至少有概率p到达目标集。分位数在数理统计中是众所周知的,但据我们所知,到目前为止,模型检验社区还没有解决它们。在本文中,我们研究了在离散时间有限状态马尔可夫决策过程的状态上具有非负回报的直到性质的分位数查询的复杂性。我们表明,定性分位数查询可以在多项式时间内进行评估,并提出了一个指数算法的定量分位数查询的评估。对于马尔可夫链的特殊情况下,我们表明,定量分位数查询可以评估在时间多项式中的链的大小和最大奖励。
2013-01-10 cs.LO
Learning Markov Decision Processes for Model Checking
Aalborg University(奥尔堡大学)
构建一个精确的系统模型进行形式化模型验证可能既需要资源又耗时。为了缓解这一缺点,已经提出了基于观察到的系统行为来自动学习系统模型的算法。在本文中,我们将学习概率自动机的算法扩展到反应式系统,其中观察到的系统行为是输入和输出的交替序列的形式。我们提出了一个算法,自动学习一个确定性的标记马尔可夫决策过程模型从观察到的反应系统的行为。所提出的学习算法是从学习确定性概率有限自动机的算法,并扩展到包括概率和非确定性的过渡。通过学习老虎机系统模型对算法进行了实证分析和评价。通过分析系统的概率线性时序逻辑特性以及通过分析由学习模型引起的错误,特别是最优错误来执行评估。
2012-12-17 cs.LG cs.LO cs.SE
Active and sparse methods in smoothed model checking
University of Edinburgh(爱丁堡大学)
基于高斯过程分类的平滑模型检验为参数连续时间马尔可夫链模型的统计模型检验提供了一种强有力的方法。该方法建立了满意概率对马尔可夫链参数的函数依赖模型。这是通过高斯过程推断方法从有限数量的观察不同的参数组合。在这项工作中,我们考虑扩展到平滑模型检验的基础上稀疏变分方法和主动学习。这两种方法都被成功地用于提高平滑模型检验的可扩展性。特别是,我们看到,基于主动学习的思想,用于迭代查询仿真模型的观察结果,可以用来引导模型检查参数空间的更多信息的区域,从而提高样本效率。稀疏变分高斯过程推理算法的在线扩展被证明为实现平滑模型检验的主动学习方法提供了一种可扩展的方法。
2021-04-20 cs.LG cs.LO cs.SY
Certificates and Witnesses for Multi-objective ω-regular Queries in Markov Decision Processes
针对马尔可夫决策过程中多目标ω-正则查询,提出独立可验证的证书与证据,扩展改进现有证书推导MILPs找最小见证子系统,特例下用无歧义Büchi自动机获单指数空间算法,实现并验证技术有效性。
2025-08-25 cs.LO
The Bouquet Algorithm for Model Checking Unbounded Until
时态逻辑公式中“Unbounded Until”片段的验证问题在过去已经得到了广泛的研究,特别是在统计模型检验的背景下。统计模型检验是一种基于计算成本较低的采样的替代更昂贵的数值模型检验技术,它提出了以下决策困境--一般情况下样本的长度是足够的?在本文中,我们讨论了这个问题的算法,结合了图论,统计模型检验和数值模型检验的思想。我们分析了算法,并通过实验表明,该方法优于标准的统计模型检验算法验证无界直到低密度离散时间马尔可夫链。
2019-11-24 cs.FL cs.LO
Lazy Probabilistic Model Checking without Determinisation
在定量分析的马尔可夫链和马尔可夫决策过程对规范的LTL或作为某种形式的不确定的Büchi自动机的瓶颈是列入一个确定步骤的自动机正在考虑。在本文中,我们表明,完全确定可以避免:子集和断点的建设就足够了。我们已经实现了我们的方法-明确和符号的版本-在一个原型工具。我们的实验表明,我们的原型可以与成熟的工具,如PRISM竞争。
2015-04-24 cs.FL cs.LO
Computational Complexity of Model-Checking Quantum Pushdown Systems
本文研究了量子栈系统模型检查的计算复杂性,证明了量子栈系统在特定逻辑下的可判定性,并展示了其NP难性。
2026-08-10 cs.CC cs.LO
XPL: An extended probabilistic logic for probabilistic transition systems
广义概率逻辑(Generalized Probabilistic Logic,GPL)是一种基于模态μ演算的时态逻辑,用于描述反应概率系统的属性。我们探讨XPL,GPL的扩展,允许在马尔可夫决策过程(MDPs)中存在的非确定性的语义。XPL的表达能力足够强,许多独立研究的问题--例如递归MDP(RMDP)的终止、MDP的PCTL* 模型检验和分支MDP的可达性--都可以转换为XPL上的模型检验。多出口RMDPs的终止是不可判定的;因此,XPL中的模型检验一般是不可判定的。我们定义了一个子类,称为可分离的XPL,其中模型检验是可判定的。可判定的问题,如1-出口RMDP的终止,MDP的PCTL* 模型检验,以及分支MDP的可达性,可以减少到模型检验可分离的XPL。因此,XPL形成了一个统一的框架,用于研究涉及具有非确定性和概率行为的系统的问题,而可分离的XPL提供了一种解决这些问题的可判定片段的方法。
2017-05-09 cs.LO
Multi-Objective Model Checking of Markov Decision Processes
研究并给出了马尔可夫决策过程多目标模型检验问题的有效算法。给定MDP,M,以及给定多个线性时间(ω-正则或LTL)性质φ i,以及概率ri ε[0,1],i=1,.,k,我们问是否存在控制器的策略σ,使得对于所有i,由σ控制的M的轨迹满足φ i的概率至少为ri。我们提供了一个算法,决定是否存在这样的策略,如果是这样产生它,并运行在时间多项式中的MDP的大小。这种策略可能需要同时使用随机化和内存。我们还考虑了更一般的多目标ω-正则查询,我们激励与应用的假设保证组合推理的概率系统。注意,在不同属性之间可以存在折衷:以高概率满足属性φ 1可能需要以低概率满足φ 2。将其视为多目标优化问题,我们需要关于“权衡曲线”或帕累托曲线的信息,以最大化不同属性的概率。我们证明了在MDP的大小下,可以计算关于时间多项式中的一组ω-正则性质的近似Pareto曲线。我们的定量上限使用LP方法。我们还研究了定性的多目标模型检验问题,我们表明,这些可以通过纯粹的图论方法进行分析,即使策略可能仍然需要随机化和内存。
2008-11-11 cs.CC cs.GT cs.LO
Decisiveness for countable MDPs and insights for NPLCSs and POMDPs
IRISA -- Inria, CNRS, Univ. Rennes(IRISA - Inria, CNRS, 雷恩大学)
本文扩展决断性概念至可数MDP,提出通用框架,以对抗或合作方式处理非确定性,实现可达性和安全性概率的近似计算,并应用于非确定性概率损失信道系统和部分可观察MDP。
2026-10-19 cs.LO
Debugging of Markov Decision Processes (MDPs) Models
在模型检验中,反例被认为是一种有价值的调试工具。在概率模型检验(PMC)中,反例的生成具有定量的特点. PMC中的反例是一组路径,其中路径公式成立,并且它们的累积概率质量违反概率阈值。然而,理解反例并不是一件容易的事情。在本文中,我们解决的任务,反例分析马尔可夫决策过程(MDP)。我们提出了一个辅助诊断方法的基础上的因果关系,责任和责备的概念概率反例。给定一个不适用于MDP模型的概率CTL(PCTL)公式的反例,此方法将引导用户找到导致违规的模型的最相关部分。
2016-08-29 cs.LO cs.SE
Probabilistic Hyperproperties with Nondeterminism
我们研究的问题,形式化和检查概率超性质的模型,允许非确定性的行动。我们扩展的时间逻辑\HyperPCTL,这已经介绍了离散时间马尔可夫链,使规范的超性能也马尔可夫决策过程。我们推广HyperPCTL,允许明确和同时量化的随机数和概率计算树,并表明它可以表达重要的定量要求,在安全和隐私。我们发现,HyperPCTL模型检验在MDP是在一般不可判定的量化与记忆的概率概率的排序,但限制域无记忆的非概率排序把模型检验问题可判定。随后,我们提出了一个基于SMT的编码模型检验这种语言,并评估其性能。
2020-07-16 cs.CR cs.FL cs.LO
Central Limit Model Checking
考虑了随机反应网络(SRN)诱导的连续时间马尔可夫链(CTMC)的概率模型检验问题.基于均匀化的CSL模型检验的经典数值算法局限于有限的CTMC,存在状态空间爆炸问题。另一方面,近似技术,如平均场近似和模拟与统计推断相结合,是更可扩展的,但可能是耗时的,不支持CSL的完整表达。在本文中,我们采用了连续空间近似的CTMC在高斯过程的基础上的中心极限近似(CLA),也被称为线性噪声近似(LNA),其解决方案需要解决一些微分方程,是二次的物种数量和独立的人口规模。然后,我们开发高效和可扩展的近似模型检验算法的高斯过程中,我们限制的目标区域的概率可达凸多面体。这使我们能够推导出一个抽象的时间非齐次离散时间马尔可夫链(DTMC),其尺寸是独立的物种的数量,模型检验进行。利用概率论的结果,我们证明了我们的算法在分布上的收敛到原CTMC上的相应措施。我们实现的技术,并在一组例子中,证明它们使我们能够克服状态空间爆炸问题,同时仍然正确地表征系统的随机行为。我们的方法可用于形式化分析广泛的分布式随机系统,包括生化系统,传感器网络和人口协议。
2018-04-23 cs.LO q-bio.QM
SMC4PEP: Stochastic Model Checking of Product Engineering Processes
产品工程过程(PEP)用于描述汽车和航空电子行业等大型企业的复杂产品开发。业务流程模型表示法(BPMN)是一种广泛使用的语言,用于对此类PEP中的多个参与者之间的交互进行编码。在本文中,我们提出SMC4PEP作为一个工具,转换图形表示的业务流程使用BPMN标准,一个等效的离散时间随机控制过程称为马尔可夫决策过程(MDP)。为了这个目标,我们首先按照在前面的调查中描述的方法来生成一个语义等效的业务流程,这是更能够处理PEP的复杂性。特别是,不同抽象级别之间的交互是通过事件而不是直接的消息流来实现的。然后,SMC4PEP将生成的过程转换为由概率模型检验工具PRISM的语法描述的MDP模型。因此,SMC4PEP为业务流程的自动验证和确认提供了一个框架,特别是针对Automotive SPICE等法律标准的要求。此外,我们的实验结果证实了更快的验证程序,由于较小的MDP模型生成的替代基于事件的BPMN模型。
2022-02-18 cs.LO
Beyond Decisiveness of Infinite Markov Chains
研究无限状态马尔可夫链验证,证明决断性是统计模型检测几乎必然终止的充要条件,提出结合抽象与重要性采样的方法,用决断性链替代非决断性链以统一数值与统计验证,并在概率下推自动机上完成首次原型实现。
2024-09-27 cs.FL cs.LO
QReach: A Reachability Analysis Tool for Quantum Markov Chains
Tsinghua University(清华大学);Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所)
QReach是一种基于CFLOBDD的量子马尔可夫链可达性分析工具,通过新的框架和模型检查子过程提升量子电路和算法的验证效率。
2025-12-04 cs.LO quant-ph
When are Stochastic Transition Systems Tameable?
十年前,Abdulla,Ben Henda和Mayr为可数马尔可夫链引入了决策性的优雅概念[1]。粗略地说,决定性允许一个升降机最好的性能从有限马尔可夫链可数的,因此,以适应现有的验证算法的无限状态模型。然而,决策马尔可夫链不包括随机实时系统,和一般的随机转移系统(简称STS)是必要的。在这篇文章中,我们提供了一个框架来进行定性和定量分析的STS。首先,我们定义了决策性的各种概念(继承自[1]),公平性的概念和吸引子的STS,并明确它们之间的关系。然后,我们定义了一个概念的抽象,连同自然的概念的健全性和完整性,我们给一般的传输特性,这将是中央的几个验证算法的STS。我们进一步设计了一个通用的结构,这将是有用的ω-正则性质的分析,当一个有限的吸引子存在,无论是在系统(如果它是可数的),或在一个健全的可数抽象的系统。接下来,我们提供算法的定性模型检查,和通用的近似程序的定量模型检查。最后,我们实例化我们的框架与随机时间自动机(STA),广义半马尔可夫过程(GSMPs)和随机时间Petri网(STPN),三个模型相结合的密集时间和概率。这使我们能够得出这些模型的验证的可判定性和近似性结果。其中一些结果是从文献中已知的,但我们的通用方法允许在统一的框架中查看它们,并以更少的努力获得它们。我们还得到了有趣的STA,GSMPs和STPN的新的逼近结果。
2018-04-04 cs.LO
On the Total Variation Distance of Labelled Markov Chains
标记马尔可夫链广泛应用于概率验证、语音识别、计算生物学等领域。检查两个LMC的等价性是一个经典的问题,受到广泛的研究,而总变异距离提供了一个自然的措施,“不等价”的两个LMC:它是最大的差异概率LMC分配给同一事件。本文提出了两个LMC之间的总变差距离的理论,着重于算法方面:(1)给出了一个确定两个LMC之间是否有距离1的多项式时间算法,即,它们是否几乎总是可以区分的;(2)我们提供了一种算法,用于以任意精度近似距离;以及(3)我们表明阈值问题,即,距离是否超过给定的阈值,是NP-难的,并且对于平方根和问题是困难的。我们还建立了总变差距离和伯努利卷积之间的联系。
2014-05-12 cs.LO
Policies Grow on Trees: Model Checking Families of MDPs
针对一族马尔可夫决策过程,提出基于博弈抽象递归合成策略树的方法,高效覆盖存在获胜策略的子集,实验显示可扩展性远超朴素基线。
2024-07-17 cs.LO
Path Abstraction for Markov Reward Models
University of Twente(特温特大学)
本文将概率模型检测中的路径抽象技术扩展至马尔可夫奖励模型的期望奖励,证明其保持模型结构与单调吸收性,给出PARI/GP实现的数值求解方法,为相关研究提供支撑。
2026-08-27 cs.FL cs.LO
Shepherding Hordes of Markov Chains
Brno University of Technology(布尔诺理工大学);Radboud University(拉德堡德大学);RWTH Aachen University(亚琛工业大学)
本文考虑了定义在一组参数上的具有有限离散域的马氏链(MC)的大家族。这样的家庭出现在软件产品线,规划下的部分可观测性,和概率程序的草图。简单的问题,比如“至少有一个家庭成员满足一个属性吗?是NP难的。我们解决两个问题:区分满足给定数量特性的家族成员与不满足给定数量特性的家族成员,并且确定最优地满足该特性的家族成员,即,有最高的概率或回报。我们表明,结合两个著名的技术,MDP模型检验和抽象细化,减轻了计算复杂性。一组广泛的基准测试的实验表明,在许多情况下,我们的方法是能够处理数百万个MC的家庭,提供卓越的可扩展性相比,现有的解决方案。
2019-03-26 cs.AI cs.LO
1-2-3-Go! Policy Synthesis for Parameterized Markov Decision Processes via Decision-Tree Learning and Generalization
Technical University of Munich(慕尼黑工业大学);Vali-e-Asr University of Rafsanjan(拉夫桑贾德瓦利阿斯尔大学);Masaryk University(马萨里克大学);Institute of Science and Technology(科学技术研究院)
针对参数化MDP的状态空间爆炸问题,提出利用决策树学习将小实例的最优策略泛化至大实例,无需显式探索大型模型状态空间,在远超现有工具处理规模的模型上表现良好。
2025-04-01 cs.AI cs.LG cs.LO
A Comparison of Sequential and GPU Implementations of Iterative Methods to Compute Reachability Probabilities
我们考虑计算可达性概率的问题:给定一个马尔可夫链,马尔可夫链的初始状态,以及马尔可夫链的一组目标状态,从初始状态到达任何目标状态的概率是多少?这个问题可以简化为求解一个线性方程Ax = b,其中A是一个矩阵,b是一个向量。我们考虑两种求解线性方程的迭代法:Jacobi方法和双共轭梯度稳定(BiCGStab)方法。对于这两种方法,顺序和并行版本已经实施。并行版本已在计算统一设备架构(CUDA)上实现,以便它们可以在NVIDIA图形处理单元(GPU)上运行。从我们的实验中,我们得出结论,随着矩阵大小的增加,CUDA实现优于顺序实现。此外,BiCGStab方法比Jacobi方法更好地执行密集矩阵,而Jacobi方法更好地执行稀疏矩阵。由于可达性概率问题在概率模型检验中起着关键作用,我们还比较了从概率模型检验器获得的矩阵的实现。我们的实验支持Bosnacki等人的猜想,即Jacobi方法优于Krylov子空间方法,这是BiCGStab方法所属的一类,用于概率模型检验。
2012-10-24 cs.DC cs.LO
Runtime Monitoring for Markov Decision Processes
University of California, Berkeley(加州大学伯克利分校)
我们调查的问题,监测部分可观测系统的不确定性和概率动力学。在这样的系统中,每个状态可以与风险相关联,例如,即将发生撞车事故的可能性在运行时,我们获得的部分信息的形式的观察系统的状态。监控器使用此信息来估计(不可观察的)当前系统状态的风险。我们的成果有三个方面。首先,我们表明,扩展的状态估计方法不缩放由于非确定性和概率的组合。虽然凸包算法提高了实际运行时间,但它们不能防止指数存储器爆炸。其次,我们提出了一个基于模型检验条件可达概率的易处理算法。第三,我们提供了原型实现,并体现了我们的算法的适用性,一系列的基准。结果突出了我们的新算法的可能性和边界。
2021-05-26 cs.LO cs.RO
Permissive Supervisor Synthesis for Markov Decision Processes through Learning
University of Notre Dame(圣母大学)
本文提出基于学习和组合模型检查的新型框架,用于在分布式方式下生成宽容的本地监督器,以解决概率系统中的状态空间爆炸问题。
2017-03-21 cs.FL cs.LO cs.SY