Scenario-Based Verification of Uncertain Parametric MDPs
我们考虑参数马尔可夫决策过程(pMDP),该过程在参数值上增加了未知的概率分布。问题是计算概率,以满足时序逻辑规范与任何具体的MDP,对应于从这些分布的样本。由于精确地解决这个问题是不可行的,我们采取抽样技术,利用所谓的场景方法。基于有限数量的样本的参数,所提出的方法产生高置信度界的概率满足规格。在这些界限上获得高置信度所需的样本数与状态数和随机参数数无关。在大量基准测试集上的实验表明,几千个样本就足以获得满意概率的严格和高置信度的上下界。
2022-06-21 cs.LO math.OC
Verification of indefinite-horizon POMDPs
RWTH Aachen University(亚琛工业大学);University of California, Berkeley(加州大学伯克利分校)
MDP中的验证问题是,对于任何解决不确定性的策略,发生不好的事情的概率是否受某个给定阈值的限制。这个验证问题通常过于悲观,因为它考虑的策略可能依赖于完整的系统状态。本文考虑了部分可观测MDP的验证问题,其中策略根据系统发出的观测(历史)做出决策。我们提出了一个抽象细化框架扩展以前的实例化的Lovejoy的方法。我们的实验表明,该框架显着提高了方法的可扩展性。
2020-06-30 cs.AI cs.LO
Near-Linear Time Algorithms for Streett Objectives in Graphs and MDPs
基本的模型检查问题,作为输入的模型和规格,要求的算法验证模型是否满足规格。反应系统的两个经典模型是图和马尔可夫决策过程(MDP)。反应式系统验证中的一个基本规范形式主义是强公平性(又称Streett)目标,其中给定不同类型的请求和相应的授权,要求是对于每种类型,如果请求事件无限频繁地发生,则相应的授权事件也必须无限频繁地发生。所有的Ω正则目标都可以表示为Streett目标,因此它们在验证中是规范的。考虑具有n个顶点、m条边和a个具有k对的Streett目标的图/MDP,并且让b表示请求和授权的集合的Streett目标的描述的大小。目前最著名的算法的问题需要时间$O(min(n^2, m \sqrt{m \log n}) + b \log n)$。在这项工作中,我们提出了随机的近线性时间算法,与预期的运行时间$\widetilde{O}(m + b)$,其中的$\widetilde{O}$符号隐藏多对数因子。我们的随机算法在输入的大小上是近线性的,因此最佳的多对数因子。
2019-09-12 cs.GT cs.LO
Leveraging the Power of Graph Algorithms: Efficient Algorithms for Computer-Aided Verification
本论文的目标是利用快速图算法和现代算法技术解决图、MDP和博弈图上的模型检验和综合问题。结果包括符号算法,一个众所周知的算法在模型检验,贸易有限的访问输入模型的有效表示。特别是,我们提出了以下结果:算法的游戏图的平均回报Büchi目标和平均回报coBüchi目标相匹配的最佳运行时间的平均回报目标的界限之一。图和MDP中Streett目标的近线性时间随机算法。图中有界Büchi目标的次三次时间算法和对策图的三次时间算法。博弈图和MDP中可达性目标查询的条件下界。图和MDP中顺序可达性目标的线性和近线性时间算法。博弈图中奇偶目标的第一个拟多项式时间符号算法。我们打破了一个长期的运行时间界MEC分解从90年代提供了一个次二次时间符号算法。
2022-02-05 cs.DS cs.LO
Verification of Markov Decision Processes using Learning Algorithms
我们提出了一个通用的框架,应用机器学习算法的马尔可夫决策过程(MDP)的验证。这些技术的主要目标是通过避免状态空间的穷举探索来提高性能。我们的框架侧重于概率可达性,这是一个核心属性验证,并说明通过两个不同的实例。第一个假设,MDP的全部知识是可用的,并执行一个数学驱动的部分探索的模型,产生精确的下限和上限所需的概率。第二个处理的情况下,我们可能只采样的MDP,并产生概率的保证,再次在上下界,这提供了有效的停止标准的近似。后者是第一次扩展的统计模型检查的无界属性在MDPs。与其他相关的方法相比,我们不限制我们的注意力时间有界(有限的地平线)或折扣属性,也不假设任何特定的属性的MDP。我们还展示了我们的技术如何扩展到LTL目标。我们目前的实验结果显示,我们的框架上的几个例子的性能。
2015-03-30 cs.LO
Fixed Point Certificates for Reachability and Expected Rewards in MDPs
本文提出基于初等不动点理论的证书,用于马尔可夫决策过程的可达性与期望奖励模型检查,并在Isabelle/HOL中形式化验证,增强Storm模型检查器生成证书,实现基准集的首次正式认证。
2025-01-20 cs.DM cs.LO cs.SY
Certified Policy Verification and Synthesis for MDPs under Distributional Reach-avoidance Properties
Indian Institute of Technology Bombay(印度理工学院孟买分校);Institute of Science and Technology Austria (ISTA)(奥地利科学技术研究所);Lancaster University Leipzig(莱斯特兰卡斯特大学);Singapore Management University(新加坡管理大学)
针对 MDP 的分布可达-规避规范,提出可检查的分布可达-规避证书及策略验证、策略-证书联合综合方法,并在机器人集群等示例中验证有效性。
2024-05-07 cs.AI cs.LO
Probabilistic Bisimulations for PCTL Model Checking of Interval MDPs
Puggelli等人最近研究了具有凸不确定性的MDP的PCTL性质的验证。然而,模型检验算法通常遭受状态空间爆炸。在本文中,我们解决概率互模拟,以减少这样的MDP的大小,同时保持PCTL性能,它满足。我们讨论了在文献中研究的模型中的不确定性的不同解释,并导致两种不同的互模拟定义。我们给出了算法来计算这些互模拟的时间多项式的模型的大小和指数的不确定分支的同分性。最后,我们通过一个案例研究表明,在实践中的大型模型可以有小的分支,并通过我们的方法可以实现大量的状态空间减少。
2014-04-10 cs.FL cs.LO
Simple Strategies in Multi-Objective MDPs (Technical Report)
RWTH Aachen University(亚琛工业大学);UMONS – Université de Mons(蒙斯大学);Vrije Universiteit Brussel(布鲁塞尔自由大学)
我们考虑在马尔可夫决策过程(MDP)上同时验证多个期望奖励目标。这使得能够通过获得帕累托前沿在多个目标之间进行权衡分析。我们专注于易于使用和实施的战略。也就是说,策略是纯的(没有随机化),并且具有有限的记忆。我们表明,检查一个点是否可以实现一个纯静态策略是NP完全的,即使是两个目标,我们提供了一个MILP编码来解决相应的问题。有界记忆情形可以通过乘积构造化为平稳情形。使用\Storm和Guidelines的实验结果表明了我们的算法的可行性。
2020-02-17 cs.AI cs.LO
Refinement-based verification of sequential implementations of Stateflow charts
Simulink/Stateflow图在工业中广泛用于控制系统的规范,这些控制系统通常是安全关键的。这表明有必要对这种模式进行正式处理。在以前的工作中,我们已经提出了一种技术自动生成的正式模型的Stateflow块,以支持基于细化的推理。在这篇文章中,我们提出了一个细化策略,支持自动生成的顺序C实现的Stateflow图的验证。特别是,我们将讨论如何将这种策略专门化,以利用架构功能,从而实现更高水平的自动化。
2011-06-21 cs.LO
Compositional Value Iteration with Pareto Caching
针对MDP验证效率问题,提出带Pareto缓存的组合式值迭代框架,通过复用组件验证结果提升效率,设计两种停止准则保障可靠性,实验验证了其有效性。
2024-05-16 cs.LO
Multiple-Environment Markov Decision Processes
本文提出多环境马尔可夫决策过程,旨在设计一个控制器以保证在未知环境中性能,解决了部分可观测MDP中不可判定的问题。
2014-12-03 cs.LO cs.SY eess.SY
Verification of Sequential Circuits by Tests-As-Proofs Paradigm
介绍了一种检测时序电路中缺陷的算法。这个算法是不完整的,即它没有找到一个破坏属性P的bug并不意味着P成立。不完整算法的吸引力在于它们比完整算法更好地扩展。然而,要使一个不完整的算法有效,需要保证找到bug的概率相当高。我们试图通过采用测试即证明(TAP)范式来实现这种有效性。在我们的TAP为基础的方法中,一个反例是建立作为一个序列的状态提取的证明,一些局部变化的属性P举行。这增加了概率,a)一组代表性的状态进行检查,b)所考虑的状态是相关的属性P。我们描述了一种算法的测试生成的基础上的TAP范式,并给出初步的实验结果。
2013-09-25 cs.LO
HHLPy: Practical Verification of Hybrid Systems using Hoare Logic
我们提出了一个工具,用于验证的混合系统表示的顺序片段的HCSP(混合通信顺序进程)。该工具允许注释HCSP程序与前,后条件,不变量,并证明规则的推理常微分方程。验证条件是根据混合霍尔逻辑的规则从注释中生成的。我们设计了标记和突出显示机制来区分和可视化不同的验证条件。该工具使用Python实现,并具有基于Web的用户界面。我们评估了翻译的Simulink/Stateflow模型和KeYmaera X基准工具的有效性。
2023-02-21 cs.LO
J-P: MDP. FP. PP.: Characterizing Total Expected Rewards in Markov Decision Processes as Least Fixed Points with an Application to Operational Semantics of Probabilistic Programs (Technical Report)
本文针对现有 MDP 期望奖励最小解刻画要求奖励有限这一限制,提出广义最小不动点刻画,并将其应用于证明最弱前置期望演算相对于操作 MDP 模型的可靠性。
2024-11-25 cs.LO cs.PL
Faster Algorithms for Markov Decision Processes with Low Treewidth
我们考虑两个核心算法的概率验证问题:最大端部分解和几乎确定的可达集计算的马尔可夫决策过程(MDP)。对于MDPs与树宽$k$,我们提出了两个改进的静态算法,分别运行在时间$O(n \cdot k^{2.38} \cdot 2^k)$和$O(m \cdot \log n \cdot k)$的问题,其中$n$是状态的数量和$m$是边缘的数量,显着提高了以前已知的$O(n\cdot k \cdot \sqrt{n\cdot k})$约束低树宽。我们还提出了递减算法,这两个问题的MDPs与恒定的树宽,运行在摊销对数时间,这是一个巨大的改进,以前已知的算法,需要摊销线性时间。
2013-10-30 cs.DS cs.LO
Tableaux for Policy Synthesis for MDPs with PCTL* Constraints
Data61/CSIRO(澳大利亚联邦科学与工业研究组织数据61);Research School of Computer Science, ANU(澳大利亚国立大学计算机科学研究学院)
马尔可夫决策过程(MDP)是在随机环境中建模序列决策的标准形式。策略合成解决了如何控制或限制代理做出的决策的问题,以便满足给定的规范。在本文中,我们考虑PCTL*,CTL* 的概率对应,作为规约语言。因为在一般情况下的政策综合问题PCTL* 是不可判定的,我们限制的政策,其执行历史的记忆是有界的先验。令人惊讶的是,没有算法的政策合成这个自然和表达框架已经开发到目前为止。我们缩小了这一差距,并描述了一种基于表格的算法,在给定MDP和PCTL* 规范的情况下,该算法以非确定性的方式推导出(可能是非线性的)等式和不等式系统。这个系统的解决方案,如果有的话,描述所需的(随机)政策。本文的主要结果是我们方法的正确性,即,健全性、完整性和终止性。
2017-10-06 cs.AI cs.LO
Convex Optimization for Parameter Synthesis in MDPs
Radboud University Nijmegen(拉德堡德大学(奈梅亨));University of California at Berkeley(加州大学伯克利分校);RWTH Aachen University(亚琛工业大学)
概率模型检验的目的是证明马尔可夫决策过程是否满足时态逻辑规范。基本方法依赖于一个通常不切实际的假设,即MDP是精确已知的。因此,参数MDP(pMDP)扩展MDP的转移概率,是在未指定的参数的函数。参数合成问题是计算这些未指定参数的实例化,使得所得MDP满足时态逻辑规范。我们制定的参数综合问题作为一个二次约束二次规划(QCQP),这是非凸的,是NP-难解决的一般。我们开发了两种方法,迭代获得局部最优解。第一种方法利用所谓的凸-凹过程(CCP),第二种方法利用顺序凸规划(SCP)方法。通过融合凸优化和概率模型检测的思想,与黑盒CCP和SCP相比,该技术将运行时间和可扩展性提高了多个数量级。我们展示了卫星防撞问题的方法,数十万个国家和数万个参数和它们的可扩展性在广泛的常用基准。
2021-06-30 cs.AI cs.LO math.OC
Symbolic Time and Space Tradeoffs for Probabilistic Verification
我们提出了一个更快的符号算法的概率验证中的中心问题:计算马尔可夫决策过程(MDP)的最大端分量(MEC)分解。这个问题推广了图的SCC分解问题和马氏链的闭递归集问题。符号算法的模型广泛用于形式验证和模型检查,其中对输入模型的访问仅限于符号操作(例如,基本集合运算和一步邻域的计算)。对于具有$n$顶点和$m$边的输入MDP,20世纪90年代用于MEC分解的经典符号算法需要$O(n^2)$符号运算和$O(1)$符号空间。用于MEC分解的唯一其它符号算法需要$O(n \sqrt{m})$符号运算和$O(\sqrt{m})$符号空间。一个主要的未决问题是,符号运算的最坏情况$O(n^2)$是否可以被击败。我们提出了一个符号算法,需要$\widetilde{O}(n^{1.5})$符号操作和$\widetilde{O}(\sqrt{n})$符号空间。此外,我们的算法的参数化提供了符号操作和符号空间之间的权衡:对于所有的$0<ε\leq 1/2$的符号算法需要$\widetilde{O}(n^{2-ε})$符号操作和$\widetilde{O}(n^ε)$符号空间($\widetilde{O}$隐藏多对数因子)。使用我们的技术,我们提出了更快的算法,用于计算$ω$的几乎肯定获胜的地区-MDPs的常规目标。我们认为$ω$ -定期目标的规范奇偶校验目标,并与$d$ -优先级的奇偶校验目标,我们提出…
2021-04-15 cs.GT cs.LO
Q-Learning for Reachability in MEC-Free MDPs
Georgia Institute of Technology(佐治亚理工学院)
本文提出Quasar,首个无模型Q学习算法,用于无最大端分量MDP的可达性,通过时序差分更新实现渐近最优,内存从O(|S|^2|A|)降至O(|S||A|),样本效率显著优于基于模型方法。
2026-10-02 cs.AI cs.LG cs.LO
Counterexample-guided Abstraction Refinement for POMDPs
University of Notre Dame(圣母大学)
本文提出针对POMDPs的反例引导抽象细化方法,设计了新的抽象系统模型和模拟关系,并开发了新的细化算法,以实现POMDPs的验证。
2017-03-10 cs.LO cs.SY eess.SY
Taming Infinity one Chunk at a Time: Concisely Represented Strategies in One-Counter MDPs
Masaryk University(马萨里克大学);UMONS – Université de Mons(蒙斯大学);Fonds de la Recherche Scientifique – FNRS(科学研究基金会);TRAIL institute(TRAIL研究所)
针对单计数器 MDPs 中无穷配置空间导致策略难以构建的问题,提出了两类基于区间划分的简洁表示策略,并通过压缩无穷 MDP 的通用方法在 PSPACE 复杂度内解决了验证与综合问题。
2025-03-02 cs.AI cs.FL cs.GT
Pragmatic Formal Verification of Sequential Error Detection and Correction Codes (ECCs) used in Safety-Critical Design
Infineon Technologies(英飞凌科技)
针对安全关键系统中复杂ECC验证空间庞大导致证明有界的问题,提出结合校验子线性辅助断言、抽象模型、k-induction和数学属性等降复杂度技术的实用形式化验证方法,实现24小时内无界证明。
2024-04-28 cs.AI cs.LO
1-2-3-Go! Policy Synthesis for Parameterized Markov Decision Processes via Decision-Tree Learning and Generalization
Technical University of Munich(慕尼黑工业大学);Vali-e-Asr University of Rafsanjan(拉夫桑贾德瓦利阿斯尔大学);Masaryk University(马萨里克大学);Institute of Science and Technology(科学技术研究院)
针对参数化MDP的状态空间爆炸问题,提出利用决策树学习将小实例的最优策略泛化至大实例,无需显式探索大型模型状态空间,在远超现有工具处理规模的模型上表现良好。
2025-04-01 cs.AI cs.LG cs.LO
Deductive Verification of Weak Memory Programs with View-based Protocols (extended version)
University of Twente(特温特大学);TU Delft(代尔夫特理工大学);Eindhoven University of Technology(埃因霍温理工大学)
本文提出在VerCors中编码弱内存并发的方案,通过扩展原子操作支持并引入协议自动机概念,实现基于许可的分离逻辑,用于验证弱内存并发程序的正确性。
2026-04-22 cs.LO
A Practitioner's Guide to MDP Model Checking Algorithms
马尔可夫决策过程(MDP)的模型检验非折扣可达性和期望回报特性是验证不确定系统的关键。流行的算法是策略迭代和价值迭代的变体;在工具竞争中,大多数参与者都依赖后者。这些算法通常需要最坏情况下的指数时间。然而,这个问题同样可以用公式表示为线性规划,在多项式时间内可解。在本文中,我们给出了一个详细的概述,今天的国家的最先进的算法MDP模型检验的重点是性能和正确性。我们强调它们的根本区别,并描述各种优化和实施变体。我们实验比较浮点和精确算术实现的所有算法在三个基准集使用两个概率模型检查器。我们的研究结果表明,(乐观)值迭代是一个明智的默认值,但其他算法在特定的设置是更可取的。因此,本文为MDP验证实践者-工具构建者和用户提供了指南。
2023-01-24 cs.LO
Learning Algorithms for Verification of Markov Decision Processes
Masaryk University(马萨里克大学);IST Austria(奥地利科学技术研究所);Google LLC(谷歌有限责任公司);University of Oxford(牛津大学);Lancaster University Leipzig(莱比锡兰卡斯特大学);Rogers Communications(罗杰斯通信公司)
提出一个将学习算法与启发式指导应用于马尔可夫决策过程验证的通用框架,通过部分探索和统计模型检验在两种场景下提供概率上下界保证,有效提升了验证性能。
2025-03-31 cs.AI cs.LO cs.SY
Rational Verification for Probabilistic Systems
Monash University(莫纳什大学);University of Oxford(牛津大学);University of Kaiserslautern(凯泽斯劳滕大学)
理性验证是确定在多智能体系统中,在系统中的智能体理性行动的假设下,通过选择共同形成博弈论均衡的策略,将持有哪些时间逻辑属性的问题。以前在这方面的工作主要集中在确定性系统。在本文中,我们发展的理论和算法的合理性验证概率系统。我们专注于并发随机游戏(CSG),它可以用来模拟复杂的多智能体环境中的不确定性和随机性。在定性概率环境下,研究了非合作博弈和合作博弈的理性验证问题。在前一种情况下,我们认为LTL性质满足的纳什均衡的游戏,在后一种情况下,LTL性质满足的核心。在这两种情况下,我们表明,问题是2 EXPTIME-完全的,因此不困难比简单得多的验证问题的模型检验LTL性能的系统建模为马尔可夫决策过程(MDPs)。
2021-07-26 cs.AI cs.GT cs.LO
Synthesis of Sequential Extended Regular Expressions for Verification
综合技术采用可实现的线性时序逻辑规范,并产生实现规范的正确电路。生成的电路可以直接使用,也可以用作检查逻辑设计正确性的斜接。通常,这些技术生成非确定性有限状态自动机,其可以以可能的指数代价确定。最近的研究结果表明,使用确定性自动机的符号和有界模型检验的LTL安全性能的多个优点。在本文中,我们提出了一种技术与支持工具,采取一个顺序扩展的正则表达式规范Φ,和一个逻辑设计实现S,并生成一个时序电路C,表示为一个与反转图,检查是否S满足Φ。该技术将生成的电路C传递给有界模型检查器ABC,以验证正确性。我们用自由输入变量对Φ中的不确定性进行编码,得到了许多状态,它们与Φ的大小成斜接线性关系。我们的技术成功地生成了模型检查器的输入,而其他技术由于指数爆破而失败,并且在大多数情况下,ABC成功地找到了设计中的缺陷,否则无法检查,或者验证了设计。我们评估了我们的技术对几个工业基准,包括IBM仲裁器,负载平衡器,和交通灯系统,并比较我们的结果与NuSMV框架。我们的方法发现了缺陷,并且验证了NuSMV无法验证的系统。
2014-01-14 cs.FL cs.LO
Convex-Analytic View of Query Selection for Safety Verification of Markov Decision Processes
The Institute of Statistical Mathematics(统计数学研究所);Tohoku University(东北大学);RIKEN AIP(理化学研究所人工智能中心);CyberAgent;National Institute of Informatics(信息学国立研究所)
该研究针对MDP安全验证的查询选择问题,提出基于凸分析的统一框架,引入新的误差单位测量规则,通过实验验证其对安全验证性能的影响。
2026-10-14 cs.AI cs.LO math.OC
Software Verification for Weak Memory via Program Transformation
尽管多处理器实现弱内存模型,验证方法往往假设顺序一致性(SC),因此可能会错过错误,由于弱内存。我们提出了一个健全的改造方案进行验证,使SC工具进行验证w.r.t.记忆力差我们提出了各种各样的模型(从x86/TSO到Power/ARM)和各种各样的验证工具的实验,量化了转换的额外成本,并强调了我们可以大幅降低它的情况。
2012-07-30 cs.LO cs.SE