Are Parametric Markov Chains Monotonic?
本文给出了一个检验参数马氏链的可达概率在某些参数下是否单调的简单算法。我们的想法是构造-只使用图结构的马尔可夫链和局部转移概率-一个前序的状态。我们的算法廉价检查单调性的充分条件。实验表明，单调性在几个基准自动检测，单调性可以加快参数合成的数量级快于一个符号的基线。
2019-07-19 cs.LO
Qualitative Controller Synthesis for Consumption Markov Decision Processes
消费马尔可夫决策过程（CMDPs）是资源受限系统的概率决策模型。在CMDP中，控制器拥有一定量的关键资源，例如电力。控制器的每个动作都可以消耗一定量的资源。只有在特殊的重新加载状态下，资源补充才是可能的，在这种状态下，资源水平可以重新加载到系统的全部容量。控制器的任务是防止资源耗尽，即确保资源的可用量保持非负，同时确保额外的线性时间属性。我们研究了具有几乎确定的Büchi目标的消费MDP的战略合成的复杂性。我们证明了该问题可以在多项式时间内求解。我们实现了我们的算法，并表明它可以有效地解决CMDPs建模现实世界的场景。
2020-05-14 cs.FL cs.LO
Parametric Markov Chains: PCTL Complexity and Fraction-free Gaussian Elimination
参数马尔可夫链已被引入作为依赖于相同的图结构，但在具体的转移概率不同的随机系统的家庭的模型。后者由参数的多项式约束指定。在参数马尔可夫链的分析中通常处理的任务是（1）计算可达性概率和其他定量度量的封闭形式的解决方案，以及（2）找到给定时间逻辑公式适用的参数赋值集的符号表示，以及（3）（2）的决策变量。它询问是否存在时间逻辑公式成立的参数赋值。我们对（1）的贡献是表明，在参数马尔可夫链中计算可达概率或期望成本的有理函数的现有实现可以通过使用无分数高斯消去法来改进，这是一种用于具有参数系数的线性方程系统的长期已知技术。我们对（2）和（3）的贡献是对参数马尔可夫链和概率计算树逻辑（PCTL）公式的模型检验问题的复杂性理论讨论。我们给出了（2）的指数时间算法和（3）的PSPACE上界。此外，我们确定片段的PCTL和子类的参数马尔可夫链（1）和（3）是可解的多项式时间和建立NP-硬度的其他PCTL片段。
2017-09-07 cs.LO
Parameter Synthesis Problems for one parametric clock Timed Automata
RISE, Southwest University（西南大学 RISE）；Department of Computer Science and Informatioin Systems, Birkbeck, University of London（伦敦大学伯贝克学院计算机科学与信息系统系）；LMAM & School of Mathematical Sciences, Peking University（北京大学数学科学学院 LMAM）；State Key Laboratory of Computer Science, Institute of Software, CAS（中国科学院软件研究所 计算机科学国家重点实验室）；CISS, CS, Aalborg University（奥尔堡大学计算机科学与工程系 CISS）
本文研究了一类参数时钟时序自动机的参数合成问题，通过线性表达式和参数多项式不等式约束，确定参数估值的可行区域以满足特定属性。
2018-09-15 cs.FL cs.LO cs.SY
Accelerated Model Checking of Parametric Markov Chains
参数马尔可夫链很自然地出现在各种应用中：它们可以用于概率系统的保守分析（无论如何选择参数，系统都按照规范工作）;它们可以用于找到参数的最佳设置;它们可以用于可视化系统参数的影响;并且它们可以用于使得对于参数改变的情况容易地调整分析。不幸的是，这些进步是有代价的：参数模型检验通常很慢。为了使参数马尔可夫模型的分析规模化，我们需要三个要素：巧妙的算法，正确的数据结构和良好的工程。聪明的算法通常是主要的（或唯一的）卖点;我们面临着本文关注的问题--有效的模型检验的后一种成分。因此，我们最容易成名的是我们在与最先进的技术进行比较时经常意识到的速度。
2018-11-02 cs.LO
Parameter Synthesis for Markov Models: Faster Than Ever
我们提出了一个简单的技术来验证概率模型的转移概率是参数。关键是用极值的非确定性选择来代替参数转换。使用现成的平均值分析所得到的无参数模型产生参数空间中区域概率的（可细化的）下限和上限。该技术优于现有的分析参数马尔可夫链的几个数量级的运行时间和可扩展性。它的美妙之处在于它适用于各种概率模型。它特别提供了第一个健全的和可行的方法进行参数综合的马尔可夫决策过程。
2016-05-26 cs.LO
The Complexity of Reachability in Parametric Markov Decision Processes
本文介绍了参数马尔可夫决策过程（pMDP）的可达性决策问题的复杂性，马尔可夫决策过程（MDP）的扩展，其中转移概率由多项式描述的一个有限的参数集。特别是，我们研究了这些参数的值，使诱导MDP满足一些最大或最小的可达性概率约束的复杂性。我们讨论不同的变体取决于比较运算符的约束和域的参数值。我们改进了所有已知的下界这个问题，并特别提供了ETR的完整性结果，这个问题的不同变体。
2020-09-28 cs.LO
Verification of Parametric Markov Automata under Time-bounded Reachability
Eindhoven University of Technology（埃因霍温理工大学）
针对参数化马尔可夫自动机（pMA），提出通过离散化为参数化马尔可夫决策过程（pMDP）并分析，解决时间有界可达性概率的合成问题，实现参数空间的满足/违反区域划分。
2026-06-23 cs.LO
Scenario Approach for Parametric Markov Models
本文提出利用场景方法为参数马尔可夫模型生成PAC多项式近似，以高效检查属性，实验证明其优于PRISM和Storm等工具。
2023-11-14 cs.LO
Permissive Supervisor Synthesis for Markov Decision Processes through Learning
University of Notre Dame（圣母大学）
本文提出基于学习和组合模型检查的新型框架，用于在分布式方式下生成宽容的本地监督器，以解决概率系统中的状态空间爆炸问题。
2017-03-21 cs.FL cs.LO cs.SY
On the Complexity of Reachability in Parametric Markov Decision Processes
本文研究了参数马尔可夫决策过程（pMDP），它是马尔可夫决策过程（MDP）的一种扩展，其中转移概率由有限参数集上的多项式描述。固定所有参数的值会产生MDP。特别是，本文研究了这些参数的值，使诱导MDP满足一些可达性约束的复杂性。我们讨论不同的变体取决于比较运算符的约束和域的参数值。我们改进了该问题的所有已知下界，并特别提供了该问题不同变体的ETR完整性结果。此外，我们提供的见解在功能描述诱导可达性概率，以及如何pMDPs概括并发随机可达性游戏。
2019-04-02 cs.CC cs.LO
A rewriting-logic-with-SMT-based formal analysis and parameter synthesis framework for parametric time Petri nets
LIPN CNRS UMR 7030 Université Sorbonne Paris Nord（巴黎北大学国家科学研究中心联合研究实验室）；Pohang University of Science and Technology（韩国科学技术院）；University of Oslo（奥斯陆大学）
本文提出了一种用于参数时间Petri网的形式化分析与参数综合框架，利用重写逻辑与SMT求解器实现精确语义分析，通过符号可达性方法实现参数综合，实验表明方法在多个方面优于现有工具。
2024-09-12 cs.LO
Minimal-Time Synthesis for Parametric Timed Automata
参数时间自动机（PTA）通过允许时钟约束中的参数来扩展时间自动机。这样的形式主义是有用的，例如推理时，在一个定时系统中的未知延迟。使用现有技术，用户可以合成允许系统到达指定目标位置的参数约束，而不管内部时钟已经过去了多少时间。我们专注于综合参数，不仅达到目标位置，但我们也解决了以下问题：什么是最短的时间到达目标位置？对于哪些参数值，我们可以实现这一点？我们分析了这个问题，并提出了一个算法来解决它。我们还讨论了最小化一个特定的参数值，仍然达到目标，并提供解决方案。我们实证研究这些算法的性能在一个基准集的PTA和最小时间可达性合成是更有效的计算比标准的合成算法的可达性。
2019-02-08 cs.LO
Parameter Synthesis in Markov Models: A Gentle Survey
本文综述了参数马尔可夫模型的分析，其转移标记的功能在一个有限的参数集。这些模型是无数具体概率模型的符号表示，每个模型都是通过实例化参数获得的。我们考虑给定逻辑规范$φ$的各种分析问题：给定参数值区域内的所有参数实例是否满足$φ$？哪些实例化满足$φ$，哪些不满足？以及如何准确或近似地描述所有这些实例？我们解决了理论复杂性结果，并描述了最先进算法的主要思想，这些算法在过去十年中实现了令人印象深刻的飞跃，使具有数百万个状态和数千个参数的模型能够完全自动化分析。
2022-07-14 cs.LO
Supermartingale Certificates for Parametric MDPs
IMDEA Software Institute（IMDEA软件研究所）；Nanyang Technological University（南洋理工大学）
本文提出参数展平变换和参数化超鞅证书，用于一般状态和动作空间的参数化MDPs，实现首个验证与近似综合算法，并在连续参数化随机游走基准上验证有效性。
2026-09-14 cs.AI cs.LO cs.SY
Dense Integer-Complete Synthesis for Bounded Parametric Timed Automata
Université Sorbonne Paris Nord（索邦巴黎北大学）；Institut Universitaire de France (IUF)（法国大学研究院）；Nantes Université, École Centrale Nantes, CNRS, LS2N（南特大学，中央理工-南特学院，法国国家科学研究中心，LS2N）
本文提出了一种参数外推方法，用于在有界参数域内合成参数估值集，确保可达性和无避免性，同时保持与参考估值的无时行为。
2026-04-27 cs.LO
Mean-Payoff Optimization in Continuous-Time Markov Chains with Parametric Alarms
带有警报的连续时间马尔可夫链（ACTMCs）允许警报事件可以是非指数分布的。在参数ACTMC中，报警事件分布的参数没有明确给出，并且可以是参数合成的主题。提出了一种求解以长期平均为优化目标的参数ACTMC的$\varepsilon$ -最优参数综合问题的算法。我们的方法是基于减少的问题，以寻找长期平均最优策略，在半马尔可夫决策过程（半MDP）和充分离散化的参数（即，动作）空间。由于在离散化的半MDP的动作集可以是非常大的，一个简单的方法，基于显式的动作空间的建设未能解决甚至简单的情况下的问题。所提出的算法使用了增强的政策迭代符号表示的动作空间。该算法的合理性建立参数ACTMCs与报警事件分布满足四个温和的假设，被证明是持有均匀，狄拉克和Weibull分布，特别是，但满足许多其他分布以及。实验结果表明，符号技术大大提高了合成算法的效率，并允许解决现实大小的实例。
2017-06-20 cs.LO cs.PF
Symbolic Analysis and Parameter Synthesis for Time Petri Nets Using Maude and SMT Solving
带抑制弧的参数时间Petri网（PITPN）允许参数在触发范围内，从而支持时间系统的灵活性。本文提出并证明了PITPN的一种具体的和符号化的重写逻辑语义。我们将展示如何使用Maude结合SMT解决方案，为PITPN提供完善的正式分析。我们开发了一个新的通用折叠符号可达性的方法，终止时的参数状态类图的PITPN是有限的。我们解释了几乎所有的形式分析和参数合成支持的国家的最先进的PITPN工具Roméo可以在Maude与SMT。此外，我们还支持从参数化初始标记进行分析和参数合成，以及使用用户定义的执行策略进行完整的LTL模型检验和分析。在三个基准上的实验表明，我们的方法在许多情况下优于Roméo。
2023-03-15 cs.LO
Incremental Verification of Parametric and Reconfigurable Markov Chains
参数化系统的分析在验证中是一个不断发展的领域，但参数化概率系统的分析仍处于起步阶段。这部分是因为它要困难得多：虽然非随机系统有漂亮的截止结果，只允许关注小的实例，但这种方法几乎没有希望扩展到概率系统的定量分析，因为概率取决于系统的大小。独角兽将是一个参数化系统到公式的自动转换，可以根据系统的参数绘制实现目标的可能性或实现目标的预期成本。虽然这种分析存在于狭窄的系统类别，如排队等候，我们的目标都较低-逐步探索参数空间-和较高-考虑一般系统。新颖之处在于大量利用参数化系统实例之间的相似性。当参数增大时，参数较小的系统一般存在于较大的系统中。我们使用这个观察结果来指导参数马尔可夫链的优雅状态消除方法，使得模型转换将从系统中在增加参数时稳定的部分开始。我们认为，这可能会导致一个非常便宜的迭代方法来分析参数系统，显示这种方法如何扩展到可重构系统，并在两个基准上证明这种方法的规模。
2018-04-05 cs.LO
Learning Robust Policies for Uncertain Parametric Markov Decision Processes
该研究针对不确定参数化马尔可夫决策过程，结合场景方法理论提出可验证安全的策略综合方法，在满足PCTL公式保证的同时避免过度保守，并在多个基准上验证了效果。
2024-05-15 cs.LO cs.SY eess.SY
PAC Approximation and DIRECT Optimization for Parametric Markov Models
Key Laboratory of System Software (Chinese Academy of Sciences)（中国科学院系统软件重点实验室）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Institute of Optics and Electronics, Chinese Academy of Sciences（中国科学院光电技术研究所）；Institute of Intelligent Software Guangzhou（广州智能软件研究所）
本文针对参数马尔可夫决策过程，采用场景方法合成PAC近似，结合统计模型检查分析黑盒参数模型，集成DIRECT算法实现无导数全局优化，在2997个基准上验证了DIRECT优化组件的性能。
2026-08-04 cs.AI cs.FL cs.LO
Parameter Synthesis for Markov Models: Covering the Parameter Space
针对马尔可夫模型概率参数未知的问题，提出参数化离散时间马尔可夫链与马尔可夫决策过程的三类分析算法，实现对应工具并通过多领域基准完成广泛实验评估。
2023-11-07 cs.LO cs.SY eess.SY
Efficient Sensitivity Analysis for Parametric Robust Markov Chains
Radboud University（拉德堡德大学）；Eindhoven University of Technology（埃因霍温理工大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
本研究针对参数化鲁棒马尔可夫链，提出基于线性规划的高效灵敏度分析方法，可筛选高影响参数，适配百万状态、千级参数的模型，并可嵌入迭代学习方案提升性能。
2023-05-01 cs.LG cs.LO math.OC
Automated Experiment Design for Data-Efficient Verification of Parametric Markov Decision Processes
Department of Computer Science, University of Oxford（牛津大学计算机科学系）；Department of Electrical Engineering, Eindhoven University of Technology（埃因霍温理工大学电气工程系）
本文提出一种利用参数模型和实验数据进行统计验证的新方法，通过参数综合确定可行参数集，主动合成实验提高数据相关性，并传播信息以获得验证结果。
2017-07-05 cs.LG cs.LO cs.SY
Analyzing Value Functions of States in Parametric Markov Chains
University of Antwerp（安特卫普大学）
本文研究参数马尔可夫链验证，将单调性问题归约为状态间可达性概率比较，利用坍缩同值等价类的高效算法减小模型规模，并加速单调性检查与参数提升，可作为快速预处理步骤。
2025-04-26 cs.AI cs.LO
Symblicit algorithms for optimal strategy synthesis in monotonic Markov decision processes
Université de Mons（蒙斯大学）；Université Libre de Bruxelles（布鲁塞尔自由大学）
本文提出基于伪反链的符号算法，用于解决单调马尔可夫决策过程中的最优策略综合问题，适用于期望均值收益和随机最短路径两种量化设置，并在自动规划和LTL综合中展现出良好的性能。
2014-07-21 cs.DS cs.LO cs.SY
Graph-Based Reductions for Parametric and Weighted MDPs
University of Antwerp（安特卫普大学）；Flanders Make（法兰德斯制造研究院）
本文研究参数化马尔可夫决策过程中加权可达性的归约复杂性，证明判定状态间不劣关系为coETR完全，并提出多项式时间算法及两个推理规则用于高效预处理。
2023-05-09 cs.AI cs.LO
Strategy Synthesis for Global Window PCTL
给定一个马尔可夫决策过程（MDP）$M$和一个公式$Φ$，策略综合问题询问是否存在一个策略$σ$ s.t.所得到的马尔可夫链$M[σ]$满足$Φ$。这个问题是已知的概率时序逻辑PCTL的不可判定。我们研究了一类公式，可以被看作是一个片段的PCTL的地方，有界的地平线属性是强制执行所有沿执行。此外，我们允许线性表达式的概率不等式。这种逻辑处于可判定性的前沿，这取决于所考虑的策略类型。特别地，当策略是确定性的而一般问题是不可判定的时，策略合成是可判定的。
2022-04-25 cs.GT cs.LO
SEA-PARAM: Exploring Schedulers in Parametric MDPs
我们研究参数马尔可夫决策过程（PMDPs）和他们的可达概率“独立”的参数。与现有的参数合成工作（在工具PARAM和PRISM中实现）不同，我们的主要重点是描述不同类型的最佳确定性无记忆神经网络的整个参数范围。我们实现了一个简单的原型工具SEA-PARAM，计算这些最佳的搜索引擎，并显示实验结果。
2017-07-13 cs.LO
Policy Synthesis for Factored MDPs with Graph Temporal Logic Specifications
我们研究了多智能体系统实现时空任务的策略合成。我们正式的问题作为一个因素马尔可夫决策过程受到所谓的图形时序逻辑规范。每个智能体的转移功能和时空任务取决于智能体本身及其邻近的智能体。在模型和规格的结构，使开发一个分布式算法，给定一个因子马尔可夫决策过程和图形时序逻辑公式，分解成一组较小的合成问题，每个代理的合成问题。我们证明了该算法运行在时间上的总代理数的线性。每个代理的合成问题的大小仅在相邻代理的数量上是指数的，这通常比代理的数量小得多。我们在疾病控制和城市安全的案例研究中证明了该算法。数值算例表明，该算法可以扩展到数百个智能体。
2020-01-24 cs.LO cs.MA math.OC
1-2-3-Go! Policy Synthesis for Parameterized Markov Decision Processes via Decision-Tree Learning and Generalization
Technical University of Munich（慕尼黑工业大学）；Vali-e-Asr University of Rafsanjan（拉夫桑贾德瓦利阿斯尔大学）；Masaryk University（马萨里克大学）；Institute of Science and Technology（科学技术研究院）
针对参数化MDP的状态空间爆炸问题，提出利用决策树学习将小实例的最优策略泛化至大实例，无需显式探索大型模型状态空间，在远超现有工具处理规模的模型上表现良好。
2025-04-01 cs.AI cs.LG cs.LO
