Profinite Techniques for Probabilistic Automata and the Markov Monoid Algorithm
我们考虑有限词上概率自动机的值1问题：它询问给定的概率自动机是否接受概率任意接近1的词。这个问题被认为是不可判定的。然而，已经提出了不同的算法来部分地解决它;最近已经表明，基于代数的马尔可夫Monoid算法是迄今为止最正确的算法。本文的第一个贡献是给出了马尔可夫么半群算法的一个特征。第二个贡献是发展了一个概率自动机的profinite理论，称为prostochastic理论。这个新的框架给出了一个拓扑帐户的价值1的问题，这在这种情况下是作为一个空问题铸造。上述特征是重新使用prostochastic理论，使我们能够给出一个简单的和模块化的证明。
2017-09-09 cs.FL cs.LO
Model Checking Finite-Horizon Markov Chains with Probabilistic Inference
我们重新审视马尔可夫链的符号验证有限时域可达性。流行的方法迭代计算步骤有界状态可达概率。相比之下，概率推理的最新进展建议用符号表示通过马尔可夫链的所有水平长度路径。我们问这种观点是否推进了概率模型检验的最新技术。首先，我们正式描述这两种方法，以突出其主要区别。然后，利用这些见解，我们开发了Rubicon，一个将Prism模型转换为概率推理工具Dice的工具。最后，我们证明了更好的可扩展性相比，概率模型检查器在选定的基准。总之，我们的研究结果表明，概率推理是一个有价值的除了概率模型检验投资组合-与Rubicon作为第一步集成两个角度。
2021-06-30 cs.LO
Control of Probabilistic Systems under Dynamic, Partially Known Environments with Temporal Logic Specifications
我们认为概率系统的控制策略的合成，马尔可夫决策过程建模，在部分已知的环境与时序逻辑规范。环境是由一组马尔可夫链建模。每个马尔可夫链描述了环境在每个模式下的行为。然而，系统不知道环境的模式。两个控制目标被认为是：最大化的期望概率和最大化的最坏情况下的概率，系统满足给定的规格。
2012-03-06 cs.FL cs.LO
Minimising the Probabilistic Bisimilarity Distance
本文研究带标签MDP中最小化概率互模拟距离的问题，证明无记忆策略下该问题是ExTh(R)-完全的，一般策略下不可判定，并使距离小于一的定性问题在一般策略下为EXPTIME-完全。
2024-06-28 cs.FL cs.LO
A Decidable Probability Logic for Timed Probabilistic Systems
在本文中，我们扩展的谓词逻辑介绍[Beauquier等人。2002]，以处理半马尔可夫过程。我们证明，相对于定性概率性质，模型检验是可判定的这种逻辑应用于半马尔可夫过程。此外，我们将我们的逻辑概率时间自动机考虑经典和紧急语义，并考虑时钟上的谓词。我们证明，半马尔可夫过程的结果也举行概率时间自动机的两个语义考虑。此外，我们证明了马尔可夫过程的结果[Beauquier et al. 2002]是可扩展的概率时间自动机，其中紧急语义被认为是。
2006-03-29 cs.LO
Probabilistic Hyperproperties of Markov Decision Processes
超属性是将系统的正确性描述为多个执行之间的关系的属性。超属性概括了跟踪属性，包括信息流安全要求，如不干扰，以及对称性、部分观察、鲁棒性和容错等要求。我们开始研究马尔可夫决策过程（MDP）的超性质的规范和验证。我们介绍了时间逻辑PHL（概率超逻辑），它扩展了经典的概率逻辑量化的标记和痕迹。PHL可以表达概率系统的各种超性质，包括经典应用，如概率不干扰，以及机器人和规划等领域的新应用。虽然PHL的模型检验问题一般是不可判定的，我们提供的方法证明和反驳公式的逻辑片段。该片段包括许多感兴趣的概率超性质。
2020-10-13 cs.LO
Tensor Probabilistic Model Checking of Finite-Horizon Markov Chains (Extended Version)
University of Waterloo（滑铁卢大学）
该研究针对步长有界可达概率的马尔可夫链验证问题，提出将概率模型检测转化为稠密张量计算的方法，实现为工具Tessa，在基准测试上较现有方法大幅加速。
2026-08-04 cs.AI cs.LO cs.MS
Probabilistic causes in Markov chains
本文研究了马尔可夫链中原因的概率概念，它依赖于反事实性原理和概率提高属性。这一概念的动机是利用原因进行监测，目的是在错误或不受欢迎的行为实际发生之前发现这些行为。原因是系统的一组有限执行，在此之后，结果的概率超过给定的阈值。我们介绍了多种类型的成本，从不同的角度捕捉资源的消耗，并研究了计算成本最小的原因的复杂性。
2021-07-08 cs.LO
Approximate Probabilistic Bisimulation for Continuous-Time Markov Chains
该研究提出一种面向连续时间马尔可夫链的新型(ε, δ)-近似概率互模拟，支持转移概率与总退出速率采用不同容差，同时确立了该概念的基本性质及相关可达概率差的界。
2025-05-22 cs.LO
A Probabilistic Logic for Verifying Continuous-time Markov Chains
连续时间马尔可夫链（CTMC）执行是状态上连续的一类概率分布。本文提出了一种概率线性时序逻辑，即连续时间线性逻辑（CLL），用于推理CTMC的概率分布执行。我们定义的概率分布的空间上的CLL的语法。CLL的语法包括多相定时直到公式，并且CLL的语义允许时间重置以研究相对时间属性。我们推导出相应的CLL公式的模型检测算法。模型检测算法的正确性依赖于Schanuel猜想，这是超越数论中的一个中心开放问题。此外，我们提供了一个运行的CTMC的例子来说明我们的方法。
2022-04-14 cs.LO
Verifying Reachability Properties in Markov Chains via Incremental Induction
在概率验证和非概率验证之间存在可扩展性差距。概率模型检验工具基于显式引擎或（多端）二元决策图。这些结构在非概率验证领域得到了更可扩展的技术（如IC3）的补充。我们提出了一个符号概率模型检验算法的基础上IC3类增量建设的归纳条款划分的状态空间，交错与增量建设的线性不等式系统。本文比较了我们的实现标准的定量验证的替代方案：我们的实验表明，我们的算法是一个步骤，以更可扩展的符号验证有限状态马尔可夫链中的罕见事件。
2019-09-19 cs.LO
Stability Checking of Markov Jump Linear Systems via Probabilistic Temporal Logic (Extended Version)
Saarland University（萨尔兰大学）
针对马尔可夫跳变线性系统，提出基于概率计算树逻辑的模型检验方法，通过线性代数技术扩展逻辑以处理特定初始状态集下的矩稳定性，解决了经典稳定性判据的保守性问题。
2026-06-24 cs.FL cs.LO
Significant Diagnostic Counterexamples in Probabilistic Model Checking
提出了一种新的马尔可夫链和马尔可夫决策过程概率模型检验中的反例生成技术。反例中的（有限）路径在可能向用户提供类似调试信息的证人中被分组在一起。我们列出了五个属性，证人应该满足，以作为调试援助有用：相似性，准确性，独创性，重要性和有限性。我们的见证者包含在强连接组件之外表现相似的路径。本文展示了如何计算这些证人减少的问题，生成反例的一般属性在马尔可夫决策过程中，在几个步骤，生成反例的可达性属性在非循环马尔可夫链的简单问题。
2008-06-06 cs.LO cs.PF
Compositional Reasoning for Interval Markov Decision Processes
Puggelli等人最近研究了具有凸不确定性的Markov决策过程的模型检验概率CTL性质，这类模型检验算法通常存在状态空间爆炸问题.在本文中，我们解决概率互模拟，以减少这样的MDP的大小，同时保持概率CTL属性，它满足。特别是，我们讨论的关键成分，建立在运行时组成间隔MDP组件的并行组合操作。更确切地说，我们研究如何并行组合操作的区间MDP可以定义，以便达到一个同余闭包。其结果是，我们表明，概率互模拟区间MDPs是一致的两个方面的并行性，即同步产品和交织。
2016-07-28 cs.LO
Polynomial Analysis Algorithms for Free Choice Probabilistic Workflow Nets
我们研究概率工作流网（PWNs），一个模型扩展范德阿尔斯特的工作流网的概率。我们给出了一个语义的PWNs的马尔可夫决策过程，并介绍了一个奖励模型。使用Varacca和Nielsen的结果，我们表明，一个完整的执行PWN的预期奖励是独立的调度。扩展以前的工作减少非概率工作流网，我们提出了减少规则，保持预期的回报。这些规则导致了PWN（而不是马尔可夫决策过程）大小的多项式时间算法，用于计算预期奖励。相比之下，由于PWN的马尔可夫决策过程可以指数大于PWN本身，所有基于构建马尔可夫决策过程的算法都需要指数时间。我们报告一个样本的实施和它的性能的基准集合。
2016-06-01 cs.LO
Flow Faster: Efficient Decision Algorithms for Probabilistic Simulations
马尔可夫链有强模拟关系和弱模拟关系，概率自动机有强模拟关系和强概率模拟关系。然而，马尔可夫链上的强模拟和弱模拟以及概率自动机上的强模拟的决策算法并不有效，这使得它们是否可以像它们的非概率对应物那样有效地使用还不清楚。本文提出了大幅改进的算法，以决定是否一些（离散或连续时间）马尔可夫链强或弱模拟另一个，或者是否一个概率自动机强模拟另一个。关键的创新是使用参数最大流技术来分期计算。我们还提出了一种新的算法来决定强概率模拟前序的概率自动机，它具有多项式复杂性，通过减少到LP问题。当概率自动机的算法扩展到连续时间对应，我们保留了相同的复杂性强和强概率模拟。
2008-11-18 cs.LO
Mixed Nondeterministic-Probabilistic Interfaces
接口理论是一个强大的框架，支持增量和组合设计的系统，通过完善和构造的连接，并行组合。在本报告中，我们提出了第一个接口理论-|模态混合界面--用于表现出非确定性和随机性的系统。相关的组件模型-混合马尔可夫决策过程-也是新颖的，并包括普通马尔可夫决策过程和概率自动机。
2020-11-05 cs.LO
Probabilistic Model Checking for Continuous Time Markov Chains via Sequential Bayesian Inference
对于状态空间较大或无界的系统，概率模型检验是形式化建模及其应用中的一个具有挑战性的计算问题。数值算法需要状态空间的显式表示，而统计方法需要大量的样本来估计具有高置信度的所需属性。在这里，我们展示了如何模型检验的时间有界路径属性可以被重铸正是贝叶斯推理问题。在这个新的公式化的问题可以有效地近似使用技术从机器学习。我们的方法的灵感来自最近的结果，在统计物理学推导出封闭形式的微分方程的首次通过时间分布的随机过程。我们展示了一些非平凡的案例研究，我们的方法实现了高精度和显着的计算增益相比，统计模型检验。
2018-06-11 cs.LO
Probabilistic Hyperproperties with Nondeterminism
我们研究的问题，形式化和检查概率超性质的模型，允许非确定性的行动。我们扩展的时间逻辑\HyperPCTL，这已经介绍了离散时间马尔可夫链，使规范的超性能也马尔可夫决策过程。我们推广HyperPCTL，允许明确和同时量化的随机数和概率计算树，并表明它可以表达重要的定量要求，在安全和隐私。我们发现，HyperPCTL模型检验在MDP是在一般不可判定的量化与记忆的概率概率的排序，但限制域无记忆的非概率排序把模型检验问题可判定。随后，我们提出了一个基于SMT的编码模型检验这种语言，并评估其性能。
2020-07-16 cs.CR cs.FL cs.LO
Probabilistic programming interfaces for random graphs: Markov categories, graphons, and nominal sets
本文研究图上概率编程语言的语义模型，建立其与图子的联系，证明良态等式理论与图子一一对应，并通过Markov范畴、测度论概率和名义集合三种构造证明所有图子均源于等式理论，从而构建了图概率编程新模型。
2023-12-28 cs.LO cs.PL math.PR
J-P: MDP. FP. PP.: Characterizing Total Expected Rewards in Markov Decision Processes as Least Fixed Points with an Application to Operational Semantics of Probabilistic Programs (Technical Report)
本文针对现有 MDP 期望奖励最小解刻画要求奖励有限这一限制，提出广义最小不动点刻画，并将其应用于证明最弱前置期望演算相对于操作 MDP 模型的可靠性。
2024-11-25 cs.LO cs.PL
Debugging of Markov Decision Processes (MDPs) Models
在模型检验中，反例被认为是一种有价值的调试工具。在概率模型检验（PMC）中，反例的生成具有定量的特点. PMC中的反例是一组路径，其中路径公式成立，并且它们的累积概率质量违反概率阈值。然而，理解反例并不是一件容易的事情。在本文中，我们解决的任务，反例分析马尔可夫决策过程（MDP）。我们提出了一个辅助诊断方法的基础上的因果关系，责任和责备的概念概率反例。给定一个不适用于MDP模型的概率CTL（PCTL）公式的反例，此方法将引导用户找到导致违规的模型的最相关部分。
2016-08-29 cs.LO cs.SE
