Compositional Reasoning for Interval Markov Decision Processes
Puggelli等人最近研究了具有凸不确定性的Markov决策过程的模型检验概率CTL性质,这类模型检验算法通常存在状态空间爆炸问题.在本文中,我们解决概率互模拟,以减少这样的MDP的大小,同时保持概率CTL属性,它满足。特别是,我们讨论的关键成分,建立在运行时组成间隔MDP组件的并行组合操作。更确切地说,我们研究如何并行组合操作的区间MDP可以定义,以便达到一个同余闭包。其结果是,我们表明,概率互模拟区间MDPs是一致的两个方面的并行性,即同步产品和交织。
2016-07-28 cs.LO
Polynomial Analysis Algorithms for Free Choice Probabilistic Workflow Nets
我们研究概率工作流网(PWNs),一个模型扩展范德阿尔斯特的工作流网的概率。我们给出了一个语义的PWNs的马尔可夫决策过程,并介绍了一个奖励模型。使用Varacca和Nielsen的结果,我们表明,一个完整的执行PWN的预期奖励是独立的调度。扩展以前的工作减少非概率工作流网,我们提出了减少规则,保持预期的回报。这些规则导致了PWN(而不是马尔可夫决策过程)大小的多项式时间算法,用于计算预期奖励。相比之下,由于PWN的马尔可夫决策过程可以指数大于PWN本身,所有基于构建马尔可夫决策过程的算法都需要指数时间。我们报告一个样本的实施和它的性能的基准集合。
2016-06-01 cs.LO
Flow Faster: Efficient Decision Algorithms for Probabilistic Simulations
马尔可夫链有强模拟关系和弱模拟关系,概率自动机有强模拟关系和强概率模拟关系。然而,马尔可夫链上的强模拟和弱模拟以及概率自动机上的强模拟的决策算法并不有效,这使得它们是否可以像它们的非概率对应物那样有效地使用还不清楚。本文提出了大幅改进的算法,以决定是否一些(离散或连续时间)马尔可夫链强或弱模拟另一个,或者是否一个概率自动机强模拟另一个。关键的创新是使用参数最大流技术来分期计算。我们还提出了一种新的算法来决定强概率模拟前序的概率自动机,它具有多项式复杂性,通过减少到LP问题。当概率自动机的算法扩展到连续时间对应,我们保留了相同的复杂性强和强概率模拟。
2008-11-18 cs.LO
Mixed Nondeterministic-Probabilistic Interfaces
接口理论是一个强大的框架,支持增量和组合设计的系统,通过完善和构造的连接,并行组合。在本报告中,我们提出了第一个接口理论-|模态混合界面--用于表现出非确定性和随机性的系统。相关的组件模型-混合马尔可夫决策过程-也是新颖的,并包括普通马尔可夫决策过程和概率自动机。
2020-11-05 cs.LO
Probabilistic Model Checking for Continuous Time Markov Chains via Sequential Bayesian Inference
对于状态空间较大或无界的系统,概率模型检验是形式化建模及其应用中的一个具有挑战性的计算问题。数值算法需要状态空间的显式表示,而统计方法需要大量的样本来估计具有高置信度的所需属性。在这里,我们展示了如何模型检验的时间有界路径属性可以被重铸正是贝叶斯推理问题。在这个新的公式化的问题可以有效地近似使用技术从机器学习。我们的方法的灵感来自最近的结果,在统计物理学推导出封闭形式的微分方程的首次通过时间分布的随机过程。我们展示了一些非平凡的案例研究,我们的方法实现了高精度和显着的计算增益相比,统计模型检验。
2018-06-11 cs.LO
Robust Probabilistic Bisimilarity for Labelled Markov Chains
University of Oxford(牛津大学);York University(约克大学)
针对概率双相似性在转移概率微小扰动下缺乏鲁棒性的问题,提出鲁棒概率双相似性概念,保证距离函数连续性,并给出高效算法。
2026-06-26 cs.FL cs.LO
Profinite Techniques for Probabilistic Automata and the Markov Monoid Algorithm
我们考虑有限词上概率自动机的值1问题:它询问给定的概率自动机是否接受概率任意接近1的词。这个问题被认为是不可判定的。然而,已经提出了不同的算法来部分地解决它;最近已经表明,基于代数的马尔可夫Monoid算法是迄今为止最正确的算法。本文的第一个贡献是给出了马尔可夫么半群算法的一个特征。第二个贡献是发展了一个概率自动机的profinite理论,称为prostochastic理论。这个新的框架给出了一个拓扑帐户的价值1的问题,这在这种情况下是作为一个空问题铸造。上述特征是重新使用prostochastic理论,使我们能够给出一个简单的和模块化的证明。
2017-09-09 cs.FL cs.LO
UMB: A Unified Markov Binary Format for Probabilistic Model Checking (extended version)
Brno University of Technology(布尔诺工业大学);University of Twente(特温特大学);Utah State University(犹他州立大学);Radboud University(拉德堡德大学);Lancaster University Leipzig(兰开斯特大学莱比锡分校);University of Oxford(牛津大学);RWTH Aachen University(亚琛工业大学);Ruhr-University Bochum(鲁尔大学波鸿分校)
提出UMB格式,一种高效、可扩展的显式状态文件格式,用于表示多种概率系统,解决低层模型交换问题,已被主流工具采用并提供Python库支持。
2026-06-17 cs.LO
Probabilistic Model Checking for Propositional Projection Temporal Logic
命题投影时序逻辑(Propositional Projection Temporal Logic,PPTL)是一种用于硬件和软件系统中时间段推理的有用形式,可以处理顺序和并行组合。本文基于离散时间马尔可夫链,研究了PPTL的概率模型检验方法,用于检验任意线性时间性质。我们首先定义一个范式图,表示为NFG_inf,捕捉PPTL公式的无限路径。由于离散时间马尔可夫链是确定性的概率模型,我们进一步根据Safra的构造方法给出了确定和最小化非确定性NFG_inf的算法。
2010-11-05 cs.LO
Parameter Synthesis for Markov Models: Faster Than Ever
我们提出了一个简单的技术来验证概率模型的转移概率是参数。关键是用极值的非确定性选择来代替参数转换。使用现成的平均值分析所得到的无参数模型产生参数空间中区域概率的(可细化的)下限和上限。该技术优于现有的分析参数马尔可夫链的几个数量级的运行时间和可扩展性。它的美妙之处在于它适用于各种概率模型。它特别提供了第一个健全的和可行的方法进行参数综合的马尔可夫决策过程。
2016-05-26 cs.LO
Verification and Control of Turn-Based Probabilistic Real-Time Games
定量验证技术已经被开发用于各种概率模型的形式化分析,例如马尔可夫链、马尔可夫决策过程及其变体。它们可用于对系统行为的定量方面产生保证,例如安全性、可靠性和性能,或帮助合成控制器以确保满足这些保证。我们提出了基于回合的概率定时多人游戏模型,它结合了概率选择,实时的【形】时钟和多个玩家之间的不确定性行为。基于概率时间自动机的简单模型的数字时钟方法,我们展示了如何计算定量验证的关键指标,即达到目标的概率和预期累积价格。我们说明了这一点,从计算机安全和任务调度的案例研究。
2019-07-17 cs.LO
MeGARA: Menu-based Game Abstraction and Abstraction Refinement of Markov Automata
马尔可夫自动机将连续时间、概率转移和非确定性结合在一个模型中。它们代表了一种重要而强大的方式来建模各种复杂的现实生活系统。然而,这样的模型往往很大,难以处理,使得抽象和抽象细化成为必要。在本文中,我们提出了一个抽象和抽象细化技术的马尔可夫自动机,基于游戏和菜单的概率自动机的抽象。第一个实验表明,显着减少的大小是可能的使用抽象。
2014-06-09 cs.LO
Control of Probabilistic Systems under Dynamic, Partially Known Environments with Temporal Logic Specifications
我们认为概率系统的控制策略的合成,马尔可夫决策过程建模,在部分已知的环境与时序逻辑规范。环境是由一组马尔可夫链建模。每个马尔可夫链描述了环境在每个模式下的行为。然而,系统不知道环境的模式。两个控制目标被认为是:最大化的期望概率和最大化的最坏情况下的概率,系统满足给定的规格。
2012-03-06 cs.FL cs.LO
Mixing Probabilistic and non-Probabilistic Objectives in Markov Decision Processes
University of Antwerp(安特卫普大学)
在本文中,我们考虑的算法,以确定存在的MDP的目标的布尔组合的战略。这些目标是Ω正则性质,需要强制执行,或者肯定,几乎肯定,存在,或非零概率。在这种情况下,相关的策略是随机无限记忆策略:无限记忆和随机化都可能需要最佳发挥。我们提供的算法来解决一般情况下的布尔组合,我们也调查相关的子情况。我们进一步报告这些问题的复杂性界限。
2020-04-28 cs.AI cs.FL cs.GT
Minimising the Probabilistic Bisimilarity Distance
本文研究带标签MDP中最小化概率互模拟距离的问题,证明无记忆策略下该问题是ExTh(R)-完全的,一般策略下不可判定,并使距离小于一的定性问题在一般策略下为EXPTIME-完全。
2024-06-28 cs.FL cs.LO
Significant Diagnostic Counterexamples in Probabilistic Model Checking
提出了一种新的马尔可夫链和马尔可夫决策过程概率模型检验中的反例生成技术。反例中的(有限)路径在可能向用户提供类似调试信息的证人中被分组在一起。我们列出了五个属性,证人应该满足,以作为调试援助有用:相似性,准确性,独创性,重要性和有限性。我们的见证者包含在强连接组件之外表现相似的路径。本文展示了如何计算这些证人减少的问题,生成反例的一般属性在马尔可夫决策过程中,在几个步骤,生成反例的可达性属性在非循环马尔可夫链的简单问题。
2008-06-06 cs.LO cs.PF
Witnessing subsystems for probabilistic systems with low tree width
证明系统中某个概率属性成立的标准方法是为该属性提供一个见证子系统(也称为临界子系统)。计算最小见证子系统对于非循环马尔可夫链已经是NP难的,但是对于其底层图是树的马尔可夫链可以在多项式时间内完成。本文考虑了类似于树或路的概率系统的问题。它引入了参数有向树划分宽度(dtpw)和有向路径划分宽度(dppw),并表明计算最小的证据仍然是NP-难的马尔可夫链与有界dppw(因此也为马尔可夫链与有界dtpw)。通过观察有界dtpw的图相对于所有已知的有向图的树相似性度量具有有界宽度,硬度结果延续到这些其他树相似性度量。从技术上讲,减少收益通过概念上更简单的矩阵对链问题,这是介绍和证明是NP-完全的非负矩阵的固定尺寸。此外,算法的目的是利用一个给定的有向树划分的系统来计算一个最小的见证子系统。它沿着树的顺序为分区的块枚举部分子系统,并且只保留必要的子系统。初步的实验分析表明,它优于其他方法在一定的基准有方向的树划分的小宽度。
2021-08-18 cs.LO
Interactive verification of Markov chains: Two distributed protocol case studies
像PRISM这样的概率模型检查器只检查固定大小的概率系统。为了保证任意尺寸的所需性能,数学分析是必要的。我们展示了两个案例研究如何可以做到这一点的互动证明助手伊莎贝尔/HOL。第一个案例研究详细描述了我们如何验证ZeroConf协议(一种分散式地址分配协议)的属性。第二个案例研究表明,更涉及验证的匿名属性的人群协议,匿名协议。
2012-12-17 cs.LO
On the Relationship between Bisimulation and Trace Equivalence in an Approximate Probabilistic Context (Extended Version)
这项工作介绍了一个概念的近似概率迹等价标记马尔可夫链,并将这个新的概念,已知的概念近似概率互模拟。特别是这项工作表明,后者的概念诱导一个严格的上限之间的近似有限的地平线的痕迹,所表示的总变化距离。因此,这项工作扩展了相应的结果,确切的概念和类似的结果,非概率模型。这个界限可以被用来关联在有界线性时间属性上的满意概率的接近程度,并且允许通过抽象对具体模型进行概率模型检验。的贡献集中在有限状态和不可数状态标记的马尔可夫链,并要求两个主要的应用:首先,它允许的上界的迹距离被确定为有限状态系统;其次,它可以被用来合成离散近似连续状态模型与任意精度。
2017-04-27 cs.LO
Witnessing Subsystems for Probabilistic Systems with Low Tree Width
证明系统中某个概率属性成立的标准方法是为该属性提供一个见证子系统(也称为临界子系统)。计算最小见证子系统对于非循环马尔可夫链已经是NP难的,但是对于其底层图是树的马尔可夫链可以在多项式时间内完成。本文考虑了类似于树或路的概率系统的问题。它引入了参数有向树划分宽度(dtpw)和有向路径划分宽度(dppw),并表明计算最小的证据仍然是NP-难的马尔可夫链与有界dppw(因此也为马尔可夫链与有界dtpw)。通过观察有界dtpw的图相对于所有已知的有向图的树相似性度量具有有界宽度,硬度结果延续到这些其他树相似性度量。从技术上讲,减少收益通过概念上更简单的矩阵对链问题,这是介绍和证明是NP-完全的非负矩阵的固定尺寸。此外,算法的目的是利用一个给定的有向树划分的系统来计算一个最小的见证子系统。它沿着树的顺序为分区的块枚举部分子系统,并且只保留必要的子系统。初步的实验分析表明,它优于其他方法在一定的基准有方向的树划分的小宽度。
2021-09-17 cs.LO
A Translation of Probabilistic Event Calculus into Markov Decision Processes
University College London(伦敦大学学院);Università del Salento(萨勒诺大学)
本文提出将概率事件演算(PEC)形式化转换为马尔可夫决策过程(MDP)的方法,通过引入动作执行情境保留PEC的灵活语义,使MDP的算法工具可应用于PEC叙事领域,并支持将学习策略映射回可解释的PEC表示。
2025-07-17 cs.AI cs.LO
Foundations of probability-raising causality in Markov decision processes
本文在马尔可夫决策过程中基于概率提升原理建立因果效应关系的数学基础,提出原因条件检验与存在性判定算法,并分析召回率、覆盖率及F-score等质量度量下最优原因的计算复杂度。
2024-01-18 cs.LO
On probability-raising causality in Markov decision processes
本文的目的是在马尔可夫决策过程的基础上的概率提高原则的因果关系的概念,并分析其算法性能。后者包括检查因果关系的算法,以及在给定的影响情景中是否存在概率提高的原因。受统计分析概念的启发,我们研究了原因的质量指标(召回率,覆盖率和f分数),并开发了计算算法。最后,计算复杂性为寻找最佳的原因,这些措施进行了分析。
2022-01-21 cs.LO
Tensor Probabilistic Model Checking of Finite-Horizon Markov Chains (Extended Version)
University of Waterloo(滑铁卢大学)
该研究针对步长有界可达概率的马尔可夫链验证问题,提出将概率模型检测转化为稠密张量计算的方法,实现为工具Tessa,在基准测试上较现有方法大幅加速。
2026-08-04 cs.AI cs.LO cs.MS
Strategies with Parallel Causes
在分布式游戏中,我们想象一个团队玩家以分布式方式与团队对手交战。这样的游戏和他们的战略已正式并发游戏的基础上事件结构。然而,传统的事件结构的创建策略存在局限性。有时,概率分布式策略依赖于某些良性竞争,直观地说,团队中的几个成员可能会互相竞争,以采取共同的行动。虽然存在支持这种平行原因的事件结构,其中一个事件以几种兼容的方式被启用,但它们不支持对策略组成起核心作用的隐藏操作;它们也不充分支持概率。传统的事件结构的扩展设计,支持并行的原因和隐藏,以及混合的概率和非确定性需要考虑概率分布式策略。扩展测试的概率分布策略与并行原因的双范畴的建设。bicategory是丰富的操作相关的概率以及确定性并行编程。
2016-07-13 cs.LO
Stability Checking of Markov Jump Linear Systems via Probabilistic Temporal Logic (Extended Version)
Saarland University(萨尔兰大学)
针对马尔可夫跳变线性系统,提出基于概率计算树逻辑的模型检验方法,通过线性代数技术扩展逻辑以处理特定初始状态集下的矩稳定性,解决了经典稳定性判据的保守性问题。
2026-06-24 cs.FL cs.LO
J-P: MDP. FP. PP.: Characterizing Total Expected Rewards in Markov Decision Processes as Least Fixed Points with an Application to Operational Semantics of Probabilistic Programs (Technical Report)
本文针对现有 MDP 期望奖励最小解刻画要求奖励有限这一限制,提出广义最小不动点刻画,并将其应用于证明最弱前置期望演算相对于操作 MDP 模型的可靠性。
2024-11-25 cs.LO cs.PL
Probabilistic programming interfaces for random graphs: Markov categories, graphons, and nominal sets
本文研究图上概率编程语言的语义模型,建立其与图子的联系,证明良态等式理论与图子一一对应,并通过Markov范畴、测度论概率和名义集合三种构造证明所有图子均源于等式理论,从而构建了图概率编程新模型。
2023-12-28 cs.LO cs.PL math.PR
Debugging of Markov Decision Processes (MDPs) Models
在模型检验中,反例被认为是一种有价值的调试工具。在概率模型检验(PMC)中,反例的生成具有定量的特点. PMC中的反例是一组路径,其中路径公式成立,并且它们的累积概率质量违反概率阈值。然而,理解反例并不是一件容易的事情。在本文中,我们解决的任务,反例分析马尔可夫决策过程(MDP)。我们提出了一个辅助诊断方法的基础上的因果关系,责任和责备的概念概率反例。给定一个不适用于MDP模型的概率CTL(PCTL)公式的反例,此方法将引导用户找到导致违规的模型的最相关部分。
2016-08-29 cs.LO cs.SE
A Higher-Order Language for Markov Kernels and Linear Operators
为概率程序设计语言赋予语义已经做了很多工作。近年来,大多数用于概率程序推理的语义分为两类:基于马尔可夫核的语义和基于线性算子的语义。这两种风格的语义都在概率程序的推理中找到了许多应用,但它们都有自己的优点和缺点。虽然人们认为它们之间有联系,但没有语言可以处理这两种风格的编程。在这项工作中,我们解决这些问题,通过定义一个两级演算和它的分类语义,这使得有可能与这两种语义的程序。从逻辑的角度来看,我们将这种语言视为线性逻辑的替代资源解释,其中跟踪的资源是采样而不是变量使用。
2023-03-02 cs.LO cs.PL
A Counterexample Guided Abstraction-Refinement Framework for Markov Decision Processes
有效地使用抽象的主要挑战是为被验证的系统构造合适的抽象。试图解决这个问题的一种方法是{ \it反例引导的抽象-细化(CEGAR)},其中,从系统的粗略抽象开始,并且基于在先前的模型检验运行中看到的无效反例来逐步细化它,直到抽象证明系统的正确性或者生成有效的反例。虽然CEGAR已成功地用于自动验证非概率系统,但CEGAR尚未应用于概率系统。为了将该方法扩展到概率系统,需要解决的主要问题是“反例”的适当概念,生成反例的算法,检查其有效性,然后基于无效的反例自动细化抽象。在本文中,我们解决这些问题,并提出了一个马尔可夫决策过程的CEGAR框架。
2008-07-08 cs.LO cs.SE
Decisive Markov Chains
我们考虑定性和定量验证问题的无限状态马尔可夫链。我们称马尔可夫链为决定性w.r.t.给定的一组目标状态F,如果它几乎肯定最终达到F或一个不再能达到F的状态。虽然所有的有限马尔可夫链都是平凡决定的(对于每一个集合F),这也适用于许多类的无限马尔可夫链。含有有限吸引子的无穷马氏链是决定性的。每个集合F.特别地,这适用于概率有损信道系统(PLCS)。此外,所有全局粗马尔可夫链都是决定性的。这一类包括概率向量加法系统(PVASS)和概率噪声图灵机(PNTM)。我们考虑了决定性马尔可夫链的安全性和活性问题,即,一组给定的状态F最终达到或无限频繁地达到的概率。1.我们表达的定性问题在抽象的条件下,决定性的马尔可夫链,并显示了一个几乎完整的图片,其可决定性的PLCS,PVASS和PNTM。2.我们还表明,Iyer和Narasimha的路径枚举算法终止的决定性马尔可夫链,因此可以用来解决近似定量的安全问题。该算法的一个修改的变体解决了近似定量活性问题。3.最后,我们证明了(重复)到达F的确切概率不能有效地表示(以统一的方式)在塔斯基代数的PLCS,PVASS或(P)NTM。
2007-11-08 cs.DM cs.LO
Probabilistic Hyperproperties with Nondeterminism
我们研究的问题,形式化和检查概率超性质的模型,允许非确定性的行动。我们扩展的时间逻辑\HyperPCTL,这已经介绍了离散时间马尔可夫链,使规范的超性能也马尔可夫决策过程。我们推广HyperPCTL,允许明确和同时量化的随机数和概率计算树,并表明它可以表达重要的定量要求,在安全和隐私。我们发现,HyperPCTL模型检验在MDP是在一般不可判定的量化与记忆的概率概率的排序,但限制域无记忆的非概率排序把模型检验问题可判定。随后,我们提出了一个基于SMT的编码模型检验这种语言,并评估其性能。
2020-07-16 cs.CR cs.FL cs.LO
Robust Model Checking with Imprecise Markov Reward Models
近年来,由于随机性质的计算系统的扩散,概率模型检验已成为一个重要的研究领域。尽管它取得了巨大的成功,标准的概率模型检验遭受的限制,需要一个尖锐的规范的概率管理模型的行为。不精确概率理论提供了一种自然的方法,通过对这些参数的值进行敏感性分析来克服这种限制。然而,到目前为止,只有基于离散时间不精确马尔可夫链的扩展被认为是这样一个强大的模型检验方法。我们提出了一个进一步的扩展不精确的马尔可夫奖励模型的基础上。特别是,我们推导出有效的算法来计算上下界的预期累积奖励和概率有界奖励的基础上现有的结果不精确马尔可夫链。这些想法进行测试的一个真正的案例研究,涉及花费了老年医学部门的成本。
2021-05-18 cs.LO math.LO math.PR
Learning Markov Decision Processes for Model Checking
Aalborg University(奥尔堡大学)
构建一个精确的系统模型进行形式化模型验证可能既需要资源又耗时。为了缓解这一缺点,已经提出了基于观察到的系统行为来自动学习系统模型的算法。在本文中,我们将学习概率自动机的算法扩展到反应式系统,其中观察到的系统行为是输入和输出的交替序列的形式。我们提出了一个算法,自动学习一个确定性的标记马尔可夫决策过程模型从观察到的反应系统的行为。所提出的学习算法是从学习确定性概率有限自动机的算法,并扩展到包括概率和非确定性的过渡。通过学习老虎机系统模型对算法进行了实证分析和评价。通过分析系统的概率线性时序逻辑特性以及通过分析由学习模型引起的错误,特别是最优错误来执行评估。
2012-12-17 cs.LG cs.LO cs.SE
Distributed Markov Chains
大型概率模型的形式化验证是一个重要且具有挑战性的问题。利用通常存在的并发性是解决此问题的一种方法。在这里,我们研究了一类受限制的异步分布式概率系统,其中的同步决定了参与代理的下一个动作的概率分布。我们施加的关键限制是,同步是确定性的,在这个意义上,任何两个同时启用同步必须涉及不相交的代理集。因此,这个代理网络可以被看作是一个大的全球马尔可夫链的简洁和分布式表示。一个丰富的马尔可夫链类可以表示这种方式。我们定义了一个交错语义我们的模型在本地同步动作。网络结构在这些动作上产生独立关系,而独立关系又以通常的方式在交错运行上产生等价关系。利用Mazurkiewicz迹理论和相关的全局马尔可夫链的概率测度空间,我们构造了这些等价类上的自然概率测度。事实证明,验证我们的模型,称为DMC(分布式马尔可夫链),往往可以有效地进行利用交错语义的偏序性质。为了证明这一点,我们开发了一个统计模型检验(SMC)程序,并使用它来验证两个大型分布式概率网络。
2014-08-05 cs.DC cs.LO
Lazy Probabilistic Model Checking without Determinisation
在定量分析的马尔可夫链和马尔可夫决策过程对规范的LTL或作为某种形式的不确定的Büchi自动机的瓶颈是列入一个确定步骤的自动机正在考虑。在本文中,我们表明,完全确定可以避免:子集和断点的建设就足够了。我们已经实现了我们的方法-明确和符号的版本-在一个原型工具。我们的实验表明,我们的原型可以与成熟的工具,如PRISM竞争。
2015-04-24 cs.FL cs.LO
Permissive Supervisor Synthesis for Markov Decision Processes through Learning
University of Notre Dame(圣母大学)
本文提出基于学习和组合模型检查的新型框架,用于在分布式方式下生成宽容的本地监督器,以解决概率系统中的状态空间爆炸问题。
2017-03-21 cs.FL cs.LO cs.SY