Multi-weighted Markov Decision Processes with Reachability Objectives
在本文中,我们感兴趣的是在双加权马尔可夫决策过程中,它既满足百分位数约束的加权可达性条件,并使用加权可达性条件定义的随机变量的期望值的定量约束的合成。这个问题的灵感来自电动汽车充电问题的模型化。我们研究的问题的制图,当一个参数变化,并显示如何部分制图可以通过两个序列的优化问题。讨论了该方法的完备性和可行性。
2018-09-10 cs.LO
Reachability of Communicating Timed Processes
我们研究的可达性问题的通信时间进程,在离散和密集的时间。我们的模型包括自动机与本地的时间限制通信无界FIFO通道。每个自动机只能访问其本地时钟集;所有时钟都以相同的速率进化。我们的主要贡献是一个完整的表征的可判定和不可判定的通信拓扑结构,离散和密集的时间。我们也得到了复杂性的结果,通过显示,通信时间的进程至少是硬的Petri网,在离散时间,我们也表现出等价的Petri网。我们的研究结果遵循相互拓扑保持时间自动机和(非定时)计数器自动机之间的减少。
2012-10-17 cs.LO
Conditional Value-at-Risk for Reachability and Mean Payoff in Markov Decision Processes
我们提出了条件风险价值(CVaR)的背景下,马尔可夫链和马尔可夫决策过程的可达性和平均收益的目标。CVaR通过对最差p分位数的期望来量化风险。因此,它可以用来设计风险规避系统。我们不仅考虑CVaR约束,而且还介绍了他们与期望约束和分位数约束(风险价值,VaR)。我们推导出各自的决策问题的计算复杂性上下限和上界,并描述了内存和随机化的策略结构。
2018-05-08 cs.LO
Symbolic Reachability Analysis of Higher-Order Context-Free Processes
我们考虑高阶上下文无关过程的符号可达性分析问题。这些模型是上下文无关过程(也称为BPA过程)的一般化,其中每个过程操纵一个数据结构,该数据结构可以被视为堆栈的嵌套堆栈。我们的主要结果是,对于任何高阶上下文无关的过程,一个给定的正则配置集的所有前辈的集合是正则的,有效地构造。这个结果推广了类似的结果,这是已知的1级上下文无关的过程。我们表明,这一结果也持有的情况下,向后可达性分析下,经常约束的配置。作为推论,我们得到了具有规则原子谓词的时态逻辑E(U,X)的符号模型检验算法,即,CTL片段仅限于EU和EX模式。
2007-05-28 cs.LO
Combining Refinement of Parametric Models with Goal-Oriented Reduction of Dynamics
参数化模型通过积分参数来抽象动力学模型的部分规范。例如,它们被用于计算系统生物学,特别是参数调节网络,它指定了网络的全局结构(相互作用),同时参数化了绘制组件状态可能的时间演变的精确规则。一个关键的挑战是,然后确定所需的动态特性的具体模型对应的离散参数。本文通过对可达性(目标状态)的静态分析,讨论了参数调节(离散)网络抽象执行的限制。最初定义在具体的参数化模型的水平上,面向目标的动力学减少被提升到参数网络,并被证明保持所有的最小轨迹到指定的目标状态。它的结果是,一个可以共同执行参数网络的细化(参数域的限制),同时减少必要的过渡,以探索和保留感兴趣的可达性属性。
2018-11-29 cs.LO
Monte Carlo Tree Search for Verifying Reachability in Markov Decision Processes
马尔可夫决策过程中的最大可达概率可以使用值迭代(VI)来计算。最近,基于仿真的启发式扩展VI,如有界实时动态规划(BRTDP),它往往设法避免整个状态空间的显式分析,同时保持对计算结果的保证。在本文中,我们介绍了一类新的算法,基于蒙特卡罗树搜索(MCTS),在各种机器学习设置庆祝的技术。我们提供了一系列的算法,从MCTS到BRTDP。我们评估这些技术,并表明,对于较大的例子,VI是没有更多的适用,我们的技术是更广泛的适用于比BRTDP只有一个小的额外开销。
2018-09-10 cs.LO
Parametric Timed Broadcast Protocols
在本文中,我们认为在网络中的状态可达性由许多相同的进程运行参数定时广播协议(PTBP)。PTBP是一个新的模型扩展了广播协议和参数时间自动机。这项工作是,据我们所知,第一个考虑的时钟保护约束的参数网络的大小和定时参数的组合。由于通信拓扑结构在广播协议中是至关重要的,我们调查的可达性问题,在两个团语义,每个消息到达每个进程,并在可重构语义的接收器的集合是非确定性的选择。此外,我们调查的可判定性状态取决于是否出现在警卫的时间参数仅作为上限警卫,作为下限或当一组参数被划分在下限和上限参数。
2019-04-04 cs.LO
Reachability in Networks of Register Protocols under Stochastic Schedulers
我们研究的几乎肯定的可达性问题,在分布式系统中获得的异步组合的N个副本(称为进程)的同一个自动机(称为协议),可以通过一个共享寄存器与有限域进行通信。自动机有两种类型的转换:写转换更新寄存器的值,而读转换根据寄存器的内容移动到一个新的状态。非确定性是解决了随机调度。给定一个协议,我们专注于一个进程的目标状态的几乎肯定的可达性。这个问题的答案自然取决于进程的数量N。然而,我们证明了我们的设置有一个截止属性:几乎肯定的可达性问题的答案是恒定的,当N是足够大的,然后我们开发了一个EXPSPACE算法,决定这个恒定的答案是积极的还是消极的。
2016-05-05 cs.LO
Reachability Analysis of Quantum Markov Decision Processes
我们引入量子马尔可夫决策过程(qMDP)的概念作为一个语义模型的不确定性和并发量子程序。通过实例表明,qMDP可用于量子算法和协议的分析。我们研究了各种qMDP的可达性问题的有限地平线和无限地平线。解决了这些问题的(不)可判定性和复杂性,或者澄清了它们与某些长期未决问题的关系。我们还开发了一个算法,找到最佳的调度程序,达到上确界可达概率。
2014-07-09 cs.LO quant-ph
New Lower Bounds for Reachability in Vector Addition Systems
研究向量加法系统及其带下推栈扩展的可达性问题的维度参数复杂度,提出新构造将VASS的F_k-难度下界降至维度2k+3,并首次为下推VASS建立维度k/2+4的F_k-难度下界,表明其复杂度可能高于VASS。
2023-11-13 cs.FL cs.LO
The Complexity of Graph-Based Reductions for Reachability in Markov Decision Processes
Technische Universität Darmstadt(达姆施塔特工业大学);Université libre de Bruxelles(布鲁塞尔自由大学);Departement d’Informatique(计算机系)
研究了具有无限时域可达性目标的马尔可夫决策过程的永不变差关系。如果从p到达目标状态集的最大概率至多与从q到达的最大概率相同,则状态q永远不会比状态p差,而不考虑标记转移的概率。极端概率态、终结分量和本质态都是由NWR导出的等价关系的特例。使用NWR,可以折叠相同等价类中的状态。然后,可以移除导致次优状态的动作。我们证明了与计算NWR相关的自然决策问题是CONP完全的。最后,我们扩展了以前已知的不完全多项式时间迭代算法下近似的NWR。
2018-02-24 cs.AI cs.LO
Certificates and Witnesses for Multi-Objective Queries in Markov Decision Processes
本文研究Markov决策过程中多目标可达性、不变性与平均收益查询的可验证性,将线性规划方法改造为认证算法,并生成调度器和子系统见证。
2025-01-10 cs.LO
Checking Presence Reachability Properties on Parameterized Shared-Memory Systems
本文研究由任意数量异步进程组成的参数化共享内存系统的验证问题,证明基于轮次模型的存在性可达性质参数化验证是 PSPACE 完全的,而无轮次模型降至 NP 完全,并给出多项式时间可解的限制条件。
2023-07-31 cs.DC cs.FL cs.LO
Analyzing Value Functions of States in Parametric Markov Chains
University of Antwerp(安特卫普大学)
本文研究参数马尔可夫链验证,将单调性问题归约为状态间可达性概率比较,利用坍缩同值等价类的高效算法减小模型规模,并加速单调性检查与参数提升,可作为快速预处理步骤。
2025-04-26 cs.AI cs.LO
Asymptotic Bounds for Quantitative Verification of Perturbed Probabilistic Systems
大多数现有的概率模型检验案例研究是基于很好理解的理论模型和分布。然而,现实生活中的概率系统通常涉及分布参数,其值是通过经验测量获得的,因此受到小扰动。在本文中,我们考虑这些系统的参数模型(即,参数马尔可夫链)配备了绝对距离的范数。我们的主要贡献是一种方法来计算渐近界的形式的条件数的约束可达概率对扰动的分布参数的系统。通过Zeroconf协议和跳蛙问题的实验证明了该方法的有效性。
2013-08-28 cs.LO cs.SE
Markov Automata with Multiple Objectives
马尔可夫自动机结合了非确定性,概率分支和指数分布延迟。这种连续时间马尔可夫决策过程的组合变体被用于可靠性工程、性能评估和随机调度。到目前为止,它们的核查侧重于单一目标,如(定时)可达性和预期成本。在实践中,这些目标往往是相互依赖的,目的是揭示权衡取舍。我们提出的算法,同时分析几个目标和近似帕累托曲线。这包括,例如,多个(定时)可达性目标或各种预期成本目标。我们还考虑其组合,如在预算内的时间目标-哪些政策保证达到目标状态的最后期限内至少有概率$p$,同时保持允许的平均成本低于阈值?我们采用现有的方法为经典的马尔可夫决策过程。主要的挑战是如何对待利用国家居留时间的政策,即使是为了不定时的目标。实验结果表明了该方法的可行性和可扩展性。
2017-05-10 cs.LO
Parametric LTL on Markov Chains
研究了有限马氏链对参数化LTL(pLTL)公式的验证问题.在pLTL中,直到模态配备有包含变量的界限;例如,$\Diamond_{\le x}\ φ$断言$φ$在$x$时间步长内成立,其中$x$是自然数上的变量。本文研究的中心问题是确定一组参数赋值$V_{\prec p} (φ)$,使得在马尔可夫链中满足pLTL公式$φ$的概率满足给定的阈值$\prec p$,其中$\prec$是实数的比较,$p$是概率.对于pLTL判定$V_{> 0}(φ)$的空性是不可判定的,我们考虑了几个逻辑片段。我们考虑参数可达性的属性,一个子逻辑的pLTL限制到下一个和$\Diamond_{\le x}$,参数Büchi属性,最后,一个最大的子类的pLTL的空$V_{> 0}(φ)$是可判定的。
2014-06-25 cs.FL cs.LO
Graph-Based Reductions for Parametric and Weighted MDPs
University of Antwerp(安特卫普大学);Flanders Make(法兰德斯制造研究院)
本文研究参数化马尔可夫决策过程中加权可达性的归约复杂性,证明判定状态间不劣关系为coETR完全,并提出多项式时间算法及两个推理规则用于高效预处理。
2023-05-09 cs.AI cs.LO
Model-checking parametric lock-sharing systems against regular constraints
本文研究参数化锁共享系统在强公平性下的无限行为验证问题,证明其在嵌套锁使用下可判定且为 Exptime 完全,并在 spawn 参数有界时对固定秩奇偶自动机性质给出 Ptime 算法。
2023-07-10 cs.DC cs.FL cs.LO