Energy Parity Games
能量平价游戏是在加权图上进行的无限两人回合制游戏。游戏的目标结合了（定性）奇偶条件和（定量）要求，即权重之和（即，游戏中的能量水平）必须保持积极。除了他们自己的兴趣在设计和合成的资源受限的ω-正规规格，能量平价游戏提供了一个最简单的模型，结合定性和定量的目标。我们的主要结果如下：（a）指数记忆对于能量奇偶博弈中的获胜策略是必要的和充分的;（b）能量奇偶博弈中的获胜者决定问题可以在NP \cap coNP中解决;（c）我们给出了一个通过还原为能量博弈来求解能量奇偶的算法.我们还表明，在能量平价游戏中决定赢家的问题是多项式等价的平均收益平价游戏中决定赢家的问题，而最佳策略可能需要无限的内存在平均收益平价游戏。因此，我们得到了一个概念上简单的算法来解决平均支付平价游戏。
2012-04-03 cs.GT cs.LO
Expected Window Mean-Payoff
在窗口平均收益目标中，给定一条无限长的路径，我们考虑的不是长期平均收益，而是在整个路径上滑动的有限窗口上，在路径的每个位置上可以确保的最小收益。Chatterjee等人研究了这个问题，以确定在一个两人游戏中，玩家1是否有一个策略来确保窗口平均收益至少为0。在这项工作中，我们考虑一个函数，给定的路径返回的上确界值的窗口平均支付，可以确保在路径，我们展示了如何计算其期望值的马尔可夫链和马尔可夫决策过程。我们考虑两个变量的功能：固定窗口平均回报，其中提供了一个固定的窗口长度$l_{max}$;和有界窗口平均回报，其中我们计算的最大可能值的窗口平均回报在所有可能的窗口长度。此外，对于这两种变体，我们考虑（i）问题的直接版本，其中对于每条路径，可以从一开始就确保收益，以及（ii）非直接版本，这是问题的直接版本的前缀独立对应物。
2019-12-05 cs.GT
Window Parity Games: An Alternative Approach Toward Parity Games with Time Bounds
图上两人零和博弈的经典目标通常处理无限博弈的极限行为：例如，在定量环境中的平均收益和总收益，或在定性环境中的奇偶性（编码Ω正则性质的规范方法）。这些目标提供了强大的抽象机制，并经常产生良好的属性，如无记忆的确定性。然而，它们的性质本身并不能保证在一定的时间范围内可以看到一些好的东西。在这项工作中，我们考虑两种方法对包含时间界限的奇偶性游戏。第一个是奇偶反应博弈，它是基于有限奇偶博弈[CHH 09]和有成本的奇偶博弈[FZ 14，WZ 16]的概念。第二个是窗口平价博弈，它的灵感来自于窗口平均收益博弈[CDRR 15]。我们比较了这两种方法，并表明，虽然它们被证明是等价的，在某些情况下，窗口奇偶校验游戏提供了一个更容易处理的替代方案时，时间界限作为一个参数（P-C。vs. PSPACE-c.）。特别是，它提供了一个保守的近似奇偶游戏可计算的多项式时间。此外，我们将这两种方法扩展到多维设置。我们给这两种类型的游戏的复杂性和内存边界的全貌。[CHH09] K. Chatterjee，T.A. Henzinger，F. Horn（2009）：在omega常规游戏中最终获胜。ACM Trans. Comput. Log. 11（1）. [FZ14] N. Fijalkow，M. Zimmermann（2014）：Parity and Streett Games with Costs. LMC…
2016-09-14 cs.FL cs.GT cs.LO
Window Parity Games: An Alternative Approach Toward Parity Games with Time Bounds (Full Version)
图上两人零和博弈的经典目标通常处理无限博弈的极限行为：例如，在定量环境中的平均收益和总收益，或在定性环境中的奇偶性（编码Ω正则性质的规范方法）。这些目标提供了强大的抽象机制，并经常产生良好的属性，如无记忆的确定性。然而，它们的性质本身并不能保证在一定的时间范围内可以看到一些好的东西。在这项工作中，我们考虑两种方法对包含时间界限的奇偶性游戏。第一个是奇偶反应博弈，它是基于有限奇偶博弈[CHH 09]和有成本的奇偶博弈[FZ 14，WZ 16]的概念。第二个是窗口平价博弈，它的灵感来自于窗口平均收益博弈[CDRR 15]。我们比较了这两种方法，并表明，虽然它们被证明是等价的，在某些情况下，窗口奇偶校验游戏提供了一个更容易处理的替代方案时，时间界限作为一个参数（P-C。vs. PSPACE-C.）。特别是，它提供了一个保守的近似奇偶游戏可计算的多项式时间。此外，我们将这两种方法扩展到多维设置。我们给这两种类型的游戏的复杂性和内存边界的全貌。[CHH09] K. Chatterjee，T.A. Henzinger，F. Horn（2009）：在omega常规游戏中最终获胜。ACM trans. comput. log. 11（1）. [FZ14] N. Fijalkow，M. Zimmermann（2014）：Parity and Streett Games with Costs. LMC…
2016-09-15 cs.FL cs.GT cs.LO
Playing Markov Games Without Observing Payoffs
Department of Electrical Engineering, University of Tel Aviv, Tel Aviv, Israel（电信工程系，特拉维夫大学，特拉维夫，以色列）
本文提出了一种在不观察收益情况下，通过在线学习与对手竞争的马尔可夫游戏方法，扩展了对称性概念并实现了多项式时间复杂度的算法。
2026-01-28 cs.GT cs.LG
The Theory of Universal Graphs for Infinite Duration Games
本文提出通用图理论，用于构造求解奇偶博弈和平均收益博弈等无限持续时间博弈的算法，并给出四个应用，达到或改进已知最佳复杂度。
2022-09-06 cs.FL cs.GT
Time Flies When Looking out of the Window: Timed Games with Window Parity Objectives
窗口机制是由Chatterjee等人引入的，用于在图上的两人回合制游戏中加强具有时间界限的平均支付和总支付目标。从那以后，它被证明在各种环境中都很有用，包括游戏中的奇偶性目标和马尔可夫决策过程中的平均收益和奇偶性目标。我们研究时间自动机和定时游戏中的窗口奇偶性目标：给定窗口大小的界限，如果在路径上的所有状态中，我们看到一个足够小的窗口，其中最小的优先级是偶数，则路径满足这样的目标。我们发现，检查时间自动机的所有时间发散路径满足这样的窗口奇偶校验目标可以在多项式空间中完成，并且相应的时间游戏可以在指数时间内求解。这与计时奇偶游戏的复杂性相匹配，同时增加了推理时间界限的能力。我们还考虑了多维目标，并表明复杂性类不会增加。据我们所知，这是第一次在实时设置中研究窗口机制。
2021-08-11 cs.FL cs.GT cs.LO
On Zero-Sum Two Person Perfect Information Semi-Markov Games
零和二人完全信息半马尔可夫博弈在有限比率平均支付下存在一个值，最大者和最小者都有最优纯半平稳策略。我们得到的结果，首先固定一个任意的初始状态，并形成对应于每对纯静态策略的两个球员的未贴现收益矩阵，并证明该矩阵有一个纯鞍点。
2023-02-14 cs.GT math.OC
The complexity of mean payoff games using universal graphs
研究了求解平均支付博弈的计算复杂性。这类博弈可以被看作是奇偶博弈的延伸，它们具有相似的复杂性状态：在这两种情况下，解决它们都是在$\textbf{NP} \cap \textbf{coNP}$中，而不知道是在$\textbf{P}$中。Calude、Jain、Khoussainov、Li和Stephan在2017年的一项突破性成果中构建了一个求解奇偶博弈的准多项式时间算法，随后很快又有另外两个具有相同复杂度的算法。我们的目标是调查如何将这些技术可以扩展到平均支付游戏的研究。出发点是分离自动机的概念，它已被用来提出所有三个准多项式时间算法的奇偶校验游戏，并给出了最好的复杂性。这个概念自然地延伸到平均支付游戏，并产生了一类求解平均支付游戏的算法。本文的贡献是证明紧界算法的复杂性在这一类。构造了两个求解平均支付对策的新算法。我们的第一个算法依赖于图中出现的最大权重$N$（绝对值），并在$N$中以次线性时间运行，从而改进了$N$中先前已知的线性相关性。我们的第二个算法在多项式时间内运行一个固定数量的$k$的权重。我们补充我们的上限，在这两种情况下提供几乎匹配的下限，显示分离自动机方法的局限性。我们表明，我们不能希望改善$N$的依赖性，也不能打破指数的线性依赖性的权重数$k$。特别是，这表明，分离自动机不产生一个quasipolynomial算法求解平均支付游戏。
2019-02-04 cs.FL cs.GT cs.LO
New Algorithms for Combinations of Objectives using Separating Automata
分离自动机的概念是由Bojanczyk和Czerwinski为了理解奇偶博弈的第一个拟多项式时间算法而引入的。在本文中，我们表明，分离自动机是一个强大的工具，构建算法解决游戏的目标组合。我们构建两个新的算法：第一个为分离的奇偶性和平均收益目标，匹配的最佳已知的复杂性，和第二个为分离的平均收益目标，提高了最先进的。在这两种情况下，通过小分离自动机的建设，作为黑盒子使用现有的结构奇偶性目标和平均收益目标的算法。
2021-09-17 cs.CC cs.GT cs.LO
Dynamic Sender-Receiver Games
我们考虑一个动态版本的发送者-接收者的游戏，其中的状态序列遵循一个不可约的马尔可夫链观察到的发送者。在温和的假设下，我们提供了一个简单的表征的极限集的均衡收益，玩家变得非常耐心。在这些假设下，极限集仅通过其不变测度依赖于马尔可夫链。（极限）均衡收益是指接收者满足个体理性条件，发送者满足激励相容条件的可行收益。
2012-04-02 cs.GT math.PR
Markov Decision Processes with Sure Parity and Multiple Reachability Objectives
本文研究马尔可夫决策过程中同时满足确定奇偶性目标与多个概率可达性阈值目标的策略求解问题，证明严格阈值和字典序最大化情形可归约为奇偶博弈，非严格阈值情形可在EXPTIME内求解，并给出各情形的策略复杂度与算法。
2024-08-02 cs.GT
Solving Mean-Payoff Games via Quasi Dominions
我们提出了一种新的算法的平均收益游戏的解决方案，合并在一起的奇偶校验游戏，小的进步措施和准domestic的背景下引入的两个看似无关的概念。我们表明，这两个概念的整合可以是非常有益的，并显着加快收敛到问题的解决方案。实验表明，所得到的算法执行数量级优于目前已知的渐近最佳解决方案算法，而不会牺牲最坏情况下的复杂性。
2019-07-14 cs.FL cs.GT cs.LO
Connecting Strategy Improvement, the Simplex Algorithm and Lopsidedness
University of Twente（特温特大学）
本文证明了策略改进算法与单纯形算法在温和非退化假设下存在形式化直接联系，并由此推导出图上相关博弈策略集的组合性质及其与偏斜集的关联。
2026-10-22 cs.GT
Sure-almost-sure and Sure-limit-sure Window Mean Payoff in Markov Decision Processes
Tata Institute of Fundamental Research（塔塔基础研究所）
本文研究了马尔可夫决策过程中的窗口平均收益问题，解决sure-almost-sure和sure-limit-sure问题，分析了固定和有界窗口长度下的计算复杂度及策略记忆需求。
2026-07-07 cs.GT math.PR
Strategy Synthesis for Multi-dimensional Quantitative Objectives
多维平均收益和能量博弈为反应系统的定量研究提供了数学基础，并在新兴的定量验证和综合理论中发挥着核心作用。在这项工作中，我们研究的策略合成问题，这样的多维目标随着奇偶校验条件，一个典型的方式来表达$ω$ -正则条件的游戏。虽然一般来说，这类游戏中的获胜策略可能需要无限的记忆，但对于合成来说，最相关的问题是构建有限记忆的获胜策略（如果存在的话）。我们的主要贡献如下。首先，我们展示了一个紧密的指数界（匹配的上限和下限）的内存所需的有限内存获胜的策略，在多维的平均回报和能源游戏以及奇偶校验的目标。这显着提高了三重指数上限的多能量游戏（没有奇偶校验），可以从文献中的结果VASS（矢量加法系统与状态）的游戏。其次，我们提出了一个最佳的符号和增量算法来计算有限内存的获胜策略（如果存在）在这样的游戏。最后，我们给出了一个完整的特征时，有限的记忆策略可以权衡随机性。特别是，我们表明，一维平均支付奇偶博弈，随机无记忆策略是强大的，因为他们的纯有限记忆的同行。
2014-11-03 cs.GT cs.LO
Zero-Sum Semi-Markov Games with State-Action-Dependent Discount Factors
半马尔可夫模型是随机动态系统的最一般模型之一。本文研究半马氏过程的二人零和对策。我们专注于期望贴现支付准则与国家行动依赖的折扣因子。状态空间和动作空间都是波兰空间，支付函数是$ω$ -有界的。我们首先在一个给定的半马尔可夫核和一对策略下构造了一个相当一般的半马尔可夫博弈模型。其次，基于半马尔可夫对策的标准正则性条件和连续紧性条件，在半马尔可夫核上导出了一个“漂移条件”，并假设折扣因子有一个正下界，在此条件下，利用Shapley方程证明了半马尔可夫对策的价值函数和一对最优平稳策略的存在性.此外，当状态和行动空间都是有限的，价值迭代型算法计算的价值函数和$\varepsilon$ -纳什均衡的游戏。并证明了算法的收敛性。最后，我们进行数值例子来证明我们的主要结果。
2021-03-06 cs.GT math.OC
Timed Games with Bounded Window Parity Objectives
Chatterjee等人为图上的两人回合制游戏中的平均收益和总收益目标引入了窗口机制，该机制细化了具有时间界限的长期目标。这种机制已被证明在各种设置中是有用的，最近在定时系统中也是如此。在定时设置中，研究了所谓的固定定时窗口奇偶校验目标。固定定时窗口奇偶性目标是相对于某个时间界限定义的，并且要求我们始终见证时间帧，即，一个窗口，其大小小于最小优先级为偶数的固定范围。在这项工作中，我们专注于有界定时窗口奇偶校验目标。如果存在满足固定目标的某个界，则满足这样的目标。有界目标的满意度是鲁棒的建模选择，如常数出现在约束，不像固定的目标，常数的选择可能会影响一个给定的范围的满意度。我们证明了时间自动机中有界时间窗口目标的验证可以在多项式空间中进行，并且即使对于多目标扩展，具有这些目标的时间游戏也可以在指数时间内解决。这与固定情况的复杂性类相匹配。我们还提供了一个窗口奇偶性目标的不同变体的比较。
2022-05-09 cs.FL cs.GT cs.LO
Reducing Stochastic Games to Semidefinite Program Feasibility
TU Dresden（德累斯顿工业大学）；FU Berlin（柏林自由大学）；U Twente（特温特大学）；LAAS-CNRS, Université de Toulouse, CNRS（图卢兹大学/法国国家科学研究中心拉塞拉斯实验室）
通过多项式时间还原，将随机游戏问题转化为半定程序可行性问题，扩展了半定规划在博弈论中的应用范围。
2025-12-02 cs.CC cs.GT math.OC
Finite-memory Strategies for Almost-sure Energy-MeanPayoff Objectives in MDPs
该研究针对有限状态马尔可夫决策过程中的能量-平均收益目标，证明有限内存足以实现几乎必然获胜策略，并给出指数内存的充分必要性及伪多项式时间可判定性。
2025-10-09 cs.GT
Markov Decision Processes with Multiple Long-run Average Objectives
研究了具有多个极限平均（或平均支付）函数的马尔可夫决策过程。我们考虑两个不同的目标，即期望和满意度目标。给定具有k个极限平均函数的MDP，在期望目标中，目标是最大化期望的极限平均值，并且在满意度目标中，目标是最大化运行的概率，使得极限平均值保持在给定向量之上。我们表明，在期望目标下，在一个极限平均函数的情况下，随机化和记忆是必要的策略，即使是ε-近似，有限记忆随机化策略是足够的实现帕累托最优值。在满意度目标下，与一个极限平均函数的情况相反，无限记忆对于实现特定值的策略是必要的（即随机有限记忆策略是不够的），而无记忆随机策略对于ε近似是足够的，对于所有ε>0。我们进一步证明了期望和满意度目标的决策问题都可以在多项式时间内求解，并且对于所有的ε>0，权衡曲线（Pareto曲线）可以在时间多项式中以MDP和1/ε的大小近似，并且在极限平均函数的数量上是指数的。我们的分析还揭示了缺陷，在以前的工作中的MDPs与多个均值支付函数的期望目标，纠正了缺陷，并使我们能够获得改进的结果。
2014-02-12 cs.GT
Strategy Complexity of Point Payoff, Mean Payoff and Total Payoff Objectives in Countable MDPs
University of Edinburgh（爱丁堡大学）
本文研究了可数MDPs中点收益、平均收益和总收益目标的策略复杂性，确定了实现ε-最优或最优策略所需的内存，部分情况仅需无记忆确定性策略，部分需计数器。
2023-03-03 cs.AI cs.CC cs.GT
Cycle Patterns and Mean Payoff Games
该研究提出有向图环模式概念，分析其结构与权重实现难度，证明有限信息下求解图博弈的难度，并提出平均收益博弈的新型几何难度度量及对应算法下界。
2025-03-21 cs.GT math.CO
Markov Persuasion Processes with Endogenous Agent Beliefs
针对接收者信念依赖已实现历史的马尔可夫说服过程，论文提出 ℓ 期滞后局部信息模型，刻画收益排序并给出基准最优算法，还设计了大 ℓ 下近似最优的历史无关信号机制。
2023-07-13 cs.GT econ.TH
Policy iteration algorithm for zero-sum multichain stochastic games with mean payoff and perfect information
我们考虑零和随机对策与有限的状态和行动空间，完美的信息，平均支付标准，没有任何不可约的假设，马尔可夫链相关的战略（多链游戏）。这种游戏的价值可以用一个非线性方程组来描述，包括平均支付向量和一个辅助向量（相对价值或偏差）。我们在这里开发了一个策略迭代算法的零和随机对策的平均回报，以下的两个作者的想法（Cochet-Terrasson和Gaubert，C。R.数学学院Sci.巴黎，2006年）。该算法依赖于非线性谱投影的概念（Akian和Gaubert，Nonlinear Analysis TMA，2003），其类似于线性位势论中的超调和函数的约化的概念。为了避免循环，在每次退化迭代（其中平均支付向量没有改进），通过减少先前的相对值来获得新的相对值。我们表明，序列的值和相对值满足字典序单调性，这意味着该算法不终止。我们说明了算法的平均支付版本的里奇曼游戏（随机拔河或离散无穷拉普拉斯型方程），其中退化迭代是频繁的。我们报告的数值实验大规模的情况下，从后者的游戏，以及从单调离散化的平均回报追求逃避确定性微分对策。
2012-08-02 cs.GT math.OC
Compositional Solution of Mean Payoff Games by String Diagrams
本文利用幺半范畴与字符串图构建平均支付博弈的组合式求解框架，并以 Haskell 实现，在部分基准上较现有算法提速一个数量级。
2023-07-16 cs.GT cs.LO
Hyperplane Separation Technique for Multidimensional Mean-Payoff Games
我们考虑有限状态博弈图和递归博弈图（或下推博弈图），可以模拟具有递归的顺序程序的控制流，具有多维平均收益目标。在下推博弈中，有两种策略是相关的：全局策略，依赖于整个全局历史;模块策略，只有局部记忆，因此不依赖于调用的上下文。我们提出了几个基本的算法问题的解决方案，我们的主要贡献如下：（1）我们表明，有限状态多维平均支付游戏可以在多项式时间内解决，如果维数和最大绝对值的重量是固定的;而如果维数是任意的，那么问题已经是已知的coNP-完全的。(2)我们证明了具有多维平均收益目标的下推图可以在多项式时间内求解。(3)对于下推游戏的全局策略下的单和多维平均支付目标的问题是已知的不可判定的，我们表明，在模块化策略下的多维问题也是不可判定的（而在模块化策略下的单维问题是NP-完全的）。我们证明了，如果模块数、出口数和权重的最大绝对值都是固定的，则在一维平均支付目标下的模块化策略下的下推博弈可以在多项式时间内求解;如果出口数或模块数都没有界，则该问题是NP-难的. (4)最后，我们表明，一个固定参数的易处理的算法有限状态的多维平均支付游戏或下推游戏的模块化策略与单维平均支付目标将意味着解决长期开放的问题固定参数易处理的奇偶游戏。
2013-08-08 cs.GT cs.LO
Mixing Any Cocktail with Limited Ingredients: On the Structure of Payoff Sets in Multi-Objective POMDPs and its Impact on Randomised Strategies
TRAIL institute（TRAIL研究院）；F.R.S.-FNRS（比利时科学基金会）；UMONS – Université de Mons（蒙斯大学）
本文研究多目标 POMDP 的期望收益向量集结构，证明有限纯策略的初始混合可任意逼近或精确实现可达收益。
2025-09-29 cs.AI cs.FL cs.GT
Decentralized Q-Learning in Zero-sum Markov Games
Bilkent University（比尔肯特大学）；MIT（麻省理工学院）；Lancaster University（兰卡斯特大学）；UIUC（伊利诺伊大学厄巴纳-香槟分校）
我们研究了无限时域折扣零和马尔可夫博弈中的多智能体强化学习（MARL）。我们专注于分散MARL的实际但具有挑战性的设置，其中代理人在没有集中控制器协调的情况下做出决策，但仅基于他们自己的收益和执行的本地操作。代理人不需要观察对手的行动或收益，甚至可能忘记对手的存在，也不知道潜在游戏的零和结构，这种设置在游戏学习的文献中也被称为根本解耦。在本文中，我们开发了一个从根本上解耦的Q-学习动力学，是理性和收敛的：学习动力学收敛到对手的策略时，对手遵循一个渐近平稳的战略，当两个代理采用的学习动力学，他们收敛到游戏的纳什均衡的最佳反应。在这种分散设置的关键挑战是从代理的角度来看，环境的非平稳性，因为她自己的收益和系统的演变取决于其他代理的行动，每个代理同时和独立地调整她的政策。为了解决这个问题，我们开发了一个两个时标的学习动态，每个代理更新她的本地Q函数和价值函数估计同时，后者发生在一个较慢的时标。
2021-12-12 cs.GT cs.LG cs.MA
Better Quality in Synthesis through Quantitative Objectives
大多数规约语言只表达定性约束。然而，在满足给定规范的两个实现中，一个可能优于另一个。例如，如果一个规范要求每个请求后面都有一个响应，那么人们可能更喜欢快速生成响应但不生成不必要的响应的实现。我们使用定量属性来衡量一个实现的“好”。使用具有相应量化目标的游戏，我们可以合成“最佳”实现，这是满足给定规范的可能实现集合中的首选。特别是，我们展示了如何自动机与字典的平均支付条件可以用来表达许多有趣的定量反应系统的属性。在这个框架中，最佳实现的合成需要解决的字典的平均回报游戏（安全要求），和解决的游戏与字典的平均回报和奇偶性的目标（活性要求）。我们提出了解决这两种新型图游戏的算法。
2013-05-28 cs.GT cs.LO
Optimizing Expectation with Guarantees in POMDPs (Technical Report)
IST Austria（奥地利科学技术研究所）；Université Libre de Bruxelles（布鲁塞尔自由大学）；University of Cambridge（剑桥大学）
部分可观测马尔可夫决策过程（POMDPs）的一个标准目标是找到一个最大化预期贴现和收益的策略。然而，这样的策略可能仍然允许不太可能但非常不期望的结果，这是有问题的，特别是在安全关键应用中。最近，人们对POMDPs的兴趣激增，其目标是最大化概率以确保回报至少是给定的阈值，但这些方法不考虑任何超出满足此阈值约束的优化。在这项工作中，我们超越了“期望”和“阈值”的方法，并考虑了POMDPs的“保证收益优化（PMM）”问题，其中我们给出了一个阈值$t$，目标是找到一个策略$σ$，使得a）$σ$的每个可能结果产生至少$t$的折扣和收益，以及b）在满足a）的所有策略中，$σ$的预期贴现和收益是最优的（或接近最优的）。我们提出了一个实用的方法来解决这个问题，并评估它的标准POMDP基准。
2017-01-29 cs.AI cs.GT
Optimal control and zero-sum games for Markov chains of mean-field type
利用全变差距离，通过不动点论证，证明了具有无界跳强度的平均场型马尔可夫链的存在性。我们进一步证明了近最优控制的存在性，并利用马尔可夫链后向近似方法，分别给出了平均场型支付泛函的控制问题和零和微分对策在平均场型马尔可夫链驱动下的最优控制和鞍点的存在条件.
2017-08-27 cs.GT math.OC math.PR
Mean Field Asymptotics of Markov Decision Evolutionary Games and Teams
我们引入了具有$N$参与者的平均场马尔可夫博弈，在这个博弈中，大种群中的每个个体与其他随机选择的参与者进行交互。每个参与者在互动中的状态和行为共同决定了所有参与者的瞬时收益。它们还确定移动到下一个状态的转移概率。每个人都希望在无限的时间范围内最大化总的预期贴现收益。我们提供了一个严格的推导这个系统的人口规模增长到无穷大的渐近行为。在每种类型的假设下，我们证明了在任何马尔可夫策略下，由一个特定的玩家和剩余的人口组成的随机过程弱收敛到一个由微分方程的解驱动的跳跃过程。我们的特点的解决方案的团队和游戏问题的限制，无穷总体，并使用这些构建近最优策略的情况下，有限的，但大量的球员。我们表明，大人口渐近的微观模型是等价的（宏观）平均场随机对策，其中一个本地的相互作用是由一个单一的球员对人口配置文件（平均场限制）。我们举例说明我们的模型，推导出一个动态进化的鹰和鸽子的游戏与能量水平的方程。
2012-01-11 cs.GT math.OC
Synthesis from LTL Specifications with Mean-Payoff Objectives
经典的LTL综合问题是纯定性的：给定的LTL规范是否由反应系统实现。LTL在一些定量方面的表达能力不足以形式化反应系统的正确性。本文将定性LTL合成设置扩展到定量设置。字母表的行动是扩展的权重函数范围内的有理数。无限单词的价值是其字母权重的平均回报。然后，合成问题相当于自动构建（如果可能的话）一个反应系统，其执行都满足给定的LTL公式，并具有大于或等于某个给定阈值的平均回报值。后一个问题被称为LTLMP合成和LTLMP可实现性问题要求检查是否存在这样的系统。我们首先证明了LTLMP的可实现性并不比LTL的可实现性更难：它是2 ExpTime-Complete的。这是通过减少到两个玩家的平均收益平价游戏。虽然需要无限的内存策略来实现LTLMP规范一般，我们表明，ε-最优性可以得到有限的内存策略，任何ε> 0。为了在实践中获得一个有效的算法，我们定义了一个Safraless过程来决定是否存在一个有限的内存策略，实现了给定的规格为一些给定的阈值。这个过程是基于减少到两个玩家的能源安全游戏，这反过来又减少到安全游戏。最后，我们表明，这些安全游戏可以有效地解决利用其状态空间的结构，并通过使用反链作为一个符号的数据结构。我们的所有结果扩展到多维权重。我们已经实现了一个反链为基础的程序，我们报告一些有前途的实验结果。
2013-01-09 cs.GT cs.LO
Tolling for Constraint Satisfaction in Markov Decision Process Congestion Games
马尔可夫决策过程（Markov decision process，MDP）拥塞博弈是经典拥塞博弈的一种扩展，其中自私代理的连续种群解决了具有拥塞的马尔可夫决策过程：策略的收益随着更多的种群使用它而减少。特别是，我们表明，在MDP拥挤游戏中的人口质量约束相当于对奖励函数施加通行费/激励，社会规划者可以利用它来实现辅助目标。我们在一个模拟的西雅图乘车共享模型中演示了这种方法，其中收费和激励措施是为了两个独立的目标而实施的：保证西雅图市中心的最小驾驶员密度，并将游戏均衡转向最大的社会产出。
2019-03-02 cs.GT math.OC
Symbolic Algorithms for Qualitative Analysis of Markov Decision Processes with Büchi Objectives
我们考虑具有ω-正则规格的马尔可夫决策过程（MDP）作为奇偶目标.我们考虑的问题，计算一组几乎肯定获胜的状态，从那里可以确保目标的概率为1。用于计算奇偶目标的几乎确定获胜集的算法迭代地使用Büchi目标（奇偶目标的特殊情况）的几乎确定获胜集的解。我们的贡献如下：首先，我们提出了第一个次二次符号算法来计算Büchi目标的MDP的几乎肯定获胜集;我们的算法需要O（n \sqrt{m}）的符号步骤相比，以前已知的算法，需要O（n^2）的符号步骤，其中$n$是状态的数量和$m$是MDP的边缘的数量。在实践中，MDP有恒定的出度，然后我们的符号算法需要O（n \sqrt{n}）的符号步骤，相比以前已知的$O(n^2)$符号步骤算法。其次，我们提出了一个新的算法，即Win-Lose算法，它具有以下两个性质：（a）与以往的算法相比，该算法迭代地计算几乎必然获胜集及其补集的子集，而以往的算法都是在终止时发现几乎必然获胜集;和（b）需要O（n \sqrt{K}）个符号步骤，其中K是MDP的强连通分量（SCC's）的最大边数。输赢算法需要对SCC进行符号计算。第三，我们改进了符号SCC计算的算法;以前已知的算法需要线性符号步骤，我们的新算法改进了与线性步骤数相关的常数。在最坏的情况下，以前已知的算法需要5 n个符号步骤，而我们的新算法需要4 n个符号步骤。
2014-11-19 cs.GT
The Power of Counting Steps in Quantitative Games
该研究聚焦无限图上定量博弈的策略复杂度，证明有限分支场景下部分上极限收益目标可用步计数器类策略实现获胜，同时指出部分下极限总收益目标此类策略不足，完善了波莱尔层级内经典定量目标的策略复杂度结论。
2024-06-25 cs.FL cs.GT cs.LO
Threshold Constraints with Guarantees for Parity Objectives in Markov Decision Processes
ENS Rennes（雷恩高等师范学院）；ULB - Université libre de Bruxelles（布鲁塞尔自由大学）
Bruyère等人最近引入了超越最坏情况综合问题。[BFRR 14]：它旨在构建系统控制器，该控制器针对对抗性环境提供严格的最坏情况性能保证，同时确保针对环境的随机模型的更高预期性能。我们的工作扩展了[BFRR 14]和后续论文的框架，这些论文专注于定量目标，通过解决$ω$的情况-编码为奇偶目标的正则条件，一种自然的方式来表示系统的功能需求。我们建立的策略，满足所有播放的主要平价目标，同时确保有足够的概率次要的。与定量目标相比，这种设置提出了新的挑战，因为人们无法在不危及系统功能特性的情况下轻松混合不同的策略。我们建立，对于这个问题的所有变体，决定存在的战略在于${\sf NP} \cap {\sf coNP}$，相同的复杂性类的经典奇偶游戏。因此，我们的框架提供了额外的建模能力，同时保持在相同的复杂性类。[BFRR 14] Véronique Bruyère，Emmanuel Filiot，Mickael Randour和Jean-François Raskin。保证满足您的期望：超越量化游戏中的最坏情况合成。在Ernst W. Mayr和Natacha Portier，编辑，第31届计算机科学理论方面国际研讨会，STACS 2014，2014年3月5-8日，法国里昂，LIPICS第25卷，第199-213页。Schloss Dagstuhl - Leibniz - Zentru…
2017-04-27 cs.AI cs.FL cs.GT
Altruism and Fair Objective in Mixed-Motive Markov games
Orange Labs Lannion（Orange实验室）
本文提出通过比例公平性替代功利目标，促进更公平的合作，设计了公平马尔可夫游戏和Actor-Critic算法，并在社会困境环境中验证了其有效性。
2026-02-09 cs.AI cs.GT cs.LG
