首页/论文/2007.05065

arXiv 2007.050652020-07-07cs.LO

可数MDP中奇偶性目标的策略复杂性

Strategy Complexity of Parity Objectives in Countable MDPs

Stefan Kiefer, Richard Mayr, Mahsa Shirmohammadi, Patrick Totzke

备注：: This is the full version of a paper presented at CONCUR 2020

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

摘要英文摘要相关论文

摘要：

我们研究可数无限MDP奇偶目标。与有限MDP不同，最优策略不需要存在，如果存在，可能需要无限内存。我们提供了一个完整的图片的确切的策略复杂性的$\varepsilon$ -最优策略（和最优策略，如果它们存在）的所有子类的奇偶校验目标的Mostowski层次结构。根据颜色的数量、MDP的分支度以及是否考虑$\varepsilon$ -最优或最优策略，MD策略、马尔可夫策略或1位马尔可夫策略都是必要且充分的。特别地，1比特马尔可夫策略对于$\varepsilon$ -最优（分别为：最优）策略。

英文摘要：

We study countably infinite MDPs with parity objectives. Unlike in finite MDPs, optimal strategies need not exist, and may require infinite memory if they do. We provide a complete picture of the exact strategy complexity of $\varepsilon$-optimal strategies (and optimal strategies, where they exist) for all subclasses of parity objectives in the Mostowski hierarchy. Either MD-strategies, Markov strategies, or 1-bit Markov strategies are necessary and sufficient, depending on the number of colors, the branching degree of the MDP, and whether one considers $\varepsilon$-optimal or optimal strategies. In particular, 1-bit Markov strategies are necessary and sufficient for $\varepsilon$-optimal (resp. optimal) strategies for general parity objectives.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

阅读原文

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

本文内容

摘要英文摘要相关论文

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

继续探索

相关论文

可数MDP的决断性及其对NPLCSs和POMDPs的启示

Decisiveness for countable MDPs and insights for NPLCSs and POMDPs

IRISA -- Inria, CNRS, Univ. Rennes（IRISA - Inria, CNRS, 雷恩大学）

本文扩展决断性概念至可数MDP，提出通用框架，以对抗或合作方式处理非确定性，实现可达性和安全性概率的近似计算，并应用于非确定性概率损失信道系统和部分可观察MDP。

2026-10-19cs.LO

可数MDP中的均等目标

Parity Objectives in Countable MDPs

我们研究可数无限MDPs奇偶目标，和特殊情况下，有界数量的颜色在Mostowski层次结构（包括可达性，安全性，Buchi和合作Buchi）。在有限的MDP总是存在最佳的无记忆确定性（MD）的奇偶校验目标的策略，但这通常不适用于可数无限的MDP。特别是，最优策略不一定存在。对于可数无限MDP，我们提供了一个完整的图片的内存需求的最佳（分别为，$ε$ -最优）策略。特别是，两种不同类型的目标之间存在着强烈的二分法。对于第一种类型，最优策略，如果它们存在，可以选择MD，而对于第二种类型的最优策略需要无限的记忆。(I.e.,对于Mostowski层次中的所有目标，如果有限记忆随机化策略足够，那么MD策略也足够。类似地，某些目标允许$ε$ -最优MD-策略，而对于其他目标，$ε$ -最优策略需要无限内存。这样的二分法也适用于可数无限的MDPs的子类，这些MDPs是分枝的，尽管这里有更多的目标允许MD策略。

2017-04-17cs.LO

具有能源平价目标的MDP

MDPs with Energy-Parity Objectives

能量平价目标将$ω$ -常规与奖励MDP的定量目标相结合。控制器需要在满足奇偶性目标的同时避免耗尽能量。我们驳斥了共同的信念，如果一个能量奇偶性的目标几乎肯定，那么这可以实现一些有限的记忆策略。我们提供了一个令人惊讶的简单的反例，只使用coBüchi条件。我们引入一类新的有界（能量）存储目标，当结合奇偶校验目标，保持有限的内存属性。在此基础上，我们表明，几乎肯定和有限肯定的能量奇偶性目标，以及几乎肯定和有限肯定的存储奇偶性目标，是在$\mathit{NP}\cap \mathit{coNP}$，可以解决在伪多项式时间的能量奇偶性MDP。

2017-04-18cs.LO

多环境马尔可夫决策过程在奇偶目标下的值问题

The Value Problem for Multiple-Environment MDPs with Parity Objective

本文研究多环境马尔可夫决策过程的奇偶目标值问题，证明值为1的判定是PSPACE完全，固定环境数时为P，并提出双指数空间近似算法。

2025-04-22cs.LO

Büchi目标马氏决策过程经典算法的平均情况分析

Average Case Analysis of the Classical Algorithm for Markov Decision Processes with Büchi Objectives

我们认为马尔可夫决策过程（MDP）与$ω$ -定期规格作为奇偶校验的目标。我们考虑的问题，计算的一组几乎肯定获胜的顶点，从那里可以确保目标的概率为1。用于计算奇偶目标的几乎确定获胜集的算法迭代地使用Büchi目标（奇偶目标的特殊情况）的几乎确定获胜集的解。我们首次研究了经典算法的平均情况下的复杂性计算几乎肯定获胜的顶点MDP Büchi目标。我们的贡献如下：首先，我们表明，对于恒定的出度的MDP的预期迭代次数是最多对数和平均情况下的运行时间是线性的（相比最坏情况下的线性迭代次数和二次时间复杂度）。其次，我们表明，一般MDPs的预期迭代次数是恒定的，平均情况下的运行时间是线性的（再次相比，最坏情况下的线性迭代次数和二次时间复杂度）。最后，我们还表明，给定所有的图是同样可能的，经典算法需要超过常数的迭代次数的概率是指数小。

2014-11-19cs.LO

基于线性分类器的决策树策略表示

Strategy Representation by Decision Trees with Linear Classifiers

图博弈和马尔可夫决策过程（MDP）是不确定性概率系统反应式综合和验证的标准模型。$ω$类-常规获胜条件;例如，安全性，可达性，活性，奇偶校验条件;提供了一个强大的和表达规范形式主义的属性，出现在反应系统的分析。在游戏和MDPs的非决定性的决议表示为战略，我们认为这种战略的简洁表示。机器学习的决策树数据结构保留了策略决策的味道，并允许基于熵的最小化来获得简洁的树。然而，与允许小错误的传统机器学习问题相反，对于图游戏和MDP中的获胜策略，不允许错误，并且决策树必须代表整个策略。在这项工作中，我们提出了决策树与线性分类器表示的战略图游戏和MDPs。我们已经实现了使用这种数据结构的战略表示，我们提出的实验结果，图游戏和MDPs的问题，这表明，这种新的数据结构提出了一个更有效的战略表示相比，标准的决策树。

2019-06-27cs.LO

更多相关论文收起更多论文

Omega正则约束下未知MDP的基于学习的平均收益优化

Learning-Based Mean-Payoff Optimization in an Unknown MDP under Omega-Regular Constraints

Technische Universität München（慕尼黑工业大学）；Université libre de Bruxelles（布鲁塞尔自由大学）

我们形式化的问题，最大化的平均支付值的高概率，同时满足奇偶性目标的马尔可夫决策过程（MDP）未知的概率转移函数和未知的奖励函数。假设支持的未知的过渡函数和最小的转移概率的下限是已知的，我们表明，在MDP组成的一个单一的端组件，两个组合的保证奇偶校验和平均回报的目标可以实现取决于有多少内存的人愿意使用。(i)对于所有的$ε$和$γ$，我们可以构造一个在线学习的有限记忆策略，该策略几乎肯定满足奇偶性目标，并且以至少$1 - γ$的概率实现$ε$ -最优平均收益。(ii)或者，对于所有的$ε$和$γ$，存在一个在线学习的无限记忆策略，它肯定满足奇偶性目标，并以至少$1 - γ$的概率实现$ε$ -最优平均收益。我们将上述结果推广到由一个以上的终端组件在一个自然的方式MDP。最后，我们表明，上述保证是紧的，即有MDP的更强的组合的保证不能确保。

2018-08-23cs.AIcs.LO

利用图算法的力量：计算机辅助验证的有效算法

Leveraging the Power of Graph Algorithms: Efficient Algorithms for Computer-Aided Verification

本论文的目标是利用快速图算法和现代算法技术解决图、MDP和博弈图上的模型检验和综合问题。结果包括符号算法，一个众所周知的算法在模型检验，贸易有限的访问输入模型的有效表示。特别是，我们提出了以下结果：算法的游戏图的平均回报Büchi目标和平均回报coBüchi目标相匹配的最佳运行时间的平均回报目标的界限之一。图和MDP中Streett目标的近线性时间随机算法。图中有界Büchi目标的次三次时间算法和对策图的三次时间算法。博弈图和MDP中可达性目标查询的条件下界。图和MDP中顺序可达性目标的线性和近线性时间算法。博弈图中奇偶目标的第一个拟多项式时间符号算法。我们打破了一个长期的运行时间界MEC分解从90年代提供了一个次二次时间符号算法。

2022-02-05cs.DScs.LO

关于鲁棒马尔可夫决策过程和仿射度量的复杂性

On the Complexity of Robust Markov Decision Processes and Bisimulation Metrics

University of Antwerp（安特卫普大学）

本文研究了鲁棒马尔可夫决策过程在多面体不确定性集下的复杂性，证明了(s,a)-矩形RMDP的鲁棒策略评估在P中，阈值问题在NP中，同时通过将奇偶游戏和马尔可夫过程状态间的仿射度量归约到RMDP阈值问题，建立了下界。

2026-06-25cs.LO

无限图上无限时长博弈中的位置性刻画

Characterizing Positionality in Games of Infinite Duration over Infinite Graphs

本文刻画了无限博弈图上主角具有最优位置策略的估值条件，利用泛图框架统一并扩展了位置性结果，并证明了关于字典序积的封闭性。

2023-01-30cs.GTcs.LO