Breaking the Curse of Multiagents in a Large State Space: RL in Markov Games with Independent Linear Function Approximation
University of Washington（华盛顿大学）；University of Maryland, College Park（马里兰大学帕克分校）
针对大状态空间多智能体强化学习，提出独立线性马尔可夫博弈模型及新算法，以多项式样本复杂度学习均衡，打破多智能体诅咒，并改进表格情形下的最优结果。
2023-06-21 cs.AI cs.GT cs.LG
PerfectDou: Dominating DouDizhu with Perfect Information Distillation
NetEase Games AI Lab（网易游戏人工智能实验室）；Shanghai Jiao Tong University（上海交通大学）；Carnegie Mellon University（卡内基梅隆大学）
本文提出斗地主 AI 系统 PerfectDou，通过 actor-critic 框架中的完美信息蒸馏实现完美训练、不完美执行，并结合 PPO 与 GAE 并行训练，击败现有 AI 程序。
2024-02-28 cs.AI cs.GT cs.LG
Optimistic Policy Gradient in Multi-Player Markov Games with a Single Controller: Convergence Beyond the Minty Property
Meta AI；University of California Irvine（加州大学欧文分校）；Archimedes research unit（阿基米德研究单元）；Massachusetts Institute of Technology（麻省理工学院）；Strategy Robot, Inc.（战略机器人公司）；Strategic Machine, Inc.（战略机器公司）；Optimized Markets, Inc.（优化市场公司）；Carnegie Mellon University（卡内基梅隆大学）
本文提出新框架，证明在均衡坍缩假设下，单控制器多玩家马尔可夫博弈的乐观策略梯度方法以O(1/ε²)迭代收敛到平稳ε-NE，并引入推广的Minty性质绕过复杂性障碍。
2023-12-21 cs.GT cs.LG
When is Offline Two-Player Zero-Sum Markov Game Solvable?
我们研究什么样的数据集假设允许解决离线两个玩家零和马尔可夫游戏。在形成鲜明对比的离线单代理马尔可夫决策过程中，我们表明，单一的战略浓度假设是不足以学习的纳什均衡（NE）的策略，在离线两个球员零和马尔可夫游戏。另一方面，我们提出了一个新的假设命名为单边浓度，并设计了一个悲观型算法，证明是有效的，在此假设下。此外，我们表明，单边浓度的假设是必要的学习NE策略。此外，我们的算法可以实现极大极小样本的复杂性没有任何修改的两个广泛研究的设置：数据集与均匀浓度假设和回合为基础的马尔可夫游戏。我们的工作是理解离线多智能体强化学习的重要的第一步。
2022-10-14 cs.AI cs.GT cs.LG
High-Probability Nash Regret for Decentralized Learning in Markov $α$-Potential Games: Episodic and Fully Online Asynchronous Algorithms with Applications to Markov Congestion Games
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对马尔可夫α-势博弈，提出KL投影自然策略梯度算法，在情节式和完全在线异步设置下实现高概率纳什遗憾界，消除分布不匹配系数，并应用于马尔可夫拥塞博弈的在线作业调度。
2026-09-15 cs.GT cs.LG cs.MA
Extended Markov Games to Learn Multiple Tasks in Multi-Agent Reinforcement Learning
Imperial College London（帝国理工学院）
形式化方法与强化学习（RL）的结合最近引起了人们的兴趣，作为单智能体RL学习多任务规范的一种方式。在本文中，我们将这种收敛扩展到多智能体设置，并正式定义扩展马尔可夫博弈作为一个通用的数学模型，允许多个RL代理同时学习各种非马尔可夫规范。为了介绍这个新的模型，我们提供了正式的定义和证明，以及经验测试的RL算法运行在这个框架上。具体来说，我们使用我们的模型训练两个不同的基于逻辑的多智能体RL算法，以解决不同的设置非马尔可夫共同安全的LTL规范。
2020-02-14 cs.AI cs.LG cs.LO
Independent Reinforcement Learning in Discounted Markov Games
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对折扣一般和马尔可夫博弈，在假设ETH与PPAD等价下证明独立学习无多项式时间算法，提出首个完全解耦的分层乐观镜像下降算法，保证次指数收敛并开发全反馈与部分反馈版本。
2026-09-02 cs.AI cs.GT cs.LG
A Multi-Step Minimax Q-learning Algorithm for Two-Player Zero-Sum Markov Games
本文针对两人零和马尔可夫博弈提出一种多步极小极大Q-learning算法，在模型信息未知时以概率1收敛到博弈论最优值，并通过数值仿真验证其有效性与易实现性。
2024-10-13 cs.LG
Online Learning in Unknown Markov Games
Massachusetts Institute of Technology（麻省理工学院）；Princeton University（普林斯顿大学）
我们研究了未知马尔可夫博弈中的在线学习，这是一个在对手的行为不可观察的情景多智能体强化学习中出现的问题。我们表明，在这种具有挑战性的设置，实现次线性后悔对最佳对策事后诸葛亮是统计上很难。然后，我们考虑一个较弱的概念的遗憾与\emph{minimax value}的游戏，并提出了一个算法，实现了次线性$\tilde{\mathcal{O}}(K^{2/3})$遗憾后，$K$事件。这是未知马尔可夫博弈中在线学习的第一个次线性后悔界（据我们所知）。重要的是，我们的后悔界限与对手行动空间的大小无关。因此，即使对手的行为是完全可观察的，我们的遗憾界限也会改善现有的分析（例如，(Xie例如，2020年））的对手数量的指数因子。
2021-02-06 cs.LG stat.ML
Homogenization of Multi-agent Learning Dynamics in Finite-state Markov Games
École Normale Supérieure de Paris-Saclay（巴黎萨克雷高等师范学院）
本文提出通过降低学习率和提高更新频率重标度学习过程，将智能体参数视为慢变量，证明了多智能体在有限状态马尔可夫博弈中的学习动力学收敛于常微分方程，提供了确定性的近似方法。
2025-06-26 cs.LG math.PR stat.ML
Decentralized Bandit Learning of Markov Perfect Equilibria
Booth School of Business, The University of Chicago（芝加哥大学布斯商学院）；Princeton University（普林斯顿大学）
针对具有连续动作的一般和马尔可夫博弈，提出分散式多臂老虎机学习方法，基于同时扰动随机近似更新动作，证明其几乎必然收敛到唯一平稳马尔可夫完美均衡，收敛速率为$O(n^{-1/2})$，并扩展至情节有限时域学习。
2026-10-14 cs.LG math.OC
Almost Optimal Algorithms for Two-player Zero-Sum Linear Mixture Markov Games
University of California, Los Angeles（加州大学洛杉矶分校）
我们研究了有限时间内两人零和马尔可夫博弈的强化学习，其中底层马尔可夫博弈的转移核可以通过当前状态、两个玩家的动作和下一个状态的线性函数来参数化。特别是，我们假设我们可以控制双方的球员，并旨在找到纳什均衡通过最小化的二元差距。我们提出了一个算法Nash-UCRL的基础上的原则“乐观面对不确定性”。我们的算法只需要找到一个粗相关均衡（CCE），这是计算效率。具体来说，我们证明了纳什UCRL可以证明实现$\tilde{O}(dH\sqrt{T})$遗憾，其中$d$是线性函数的尺寸，$H$是游戏的长度和$T$是在游戏中的步骤总数。为了评估我们的算法的最优性，我们还证明了一个$\tildeΩ( dH\sqrt{T})$下界的遗憾。我们的上限匹配的下限对数因子，这表明我们的算法的最优性。
2022-04-20 cs.LG math.OC stat.ML
Well-Founded Extensive Games with Perfect Information
我们考虑了具有完备信息和良基博弈树的广义博弈，并研究了这些博弈中子博弈完美均衡集的存在性和刻画问题。我们还提供了这样的两类游戏中存在子博弈完美均衡的刻画：两个玩家零和游戏，分别有两个和三个结果。
2021-06-22 cs.GT
Beyond Theorems: A Counterexample to Potential Markov Game Criteria
针对Mguni等人提出的放宽版马尔可夫势博弈必要条件下可高效计算确定性纳什均衡的主张，本文通过构造反例对其进行了反驳。
2024-05-13 cs.GT cs.MA
Optimal Strategies in Perfect-Information Stochastic Games with Tail Winning Conditions
我们证明了在具有多个状态和行动的完全信息随机博弈中，最优策略存在于尾赢条件下。
2013-11-19 cs.GT
The complexity of approximating a trembling hand perfect equilibrium of a multi-player game in strategic form
我们考虑的任务是计算一个近似的颤抖的手完美均衡的n-玩家游戏的战略形式，n >= 3。我们证明了这个任务对于复杂性类FIXP_a是完全的。特别是，任务是多项式时间相当于计算一个近似的纳什均衡的战略形式的游戏与三个（或更多）的球员的任务。
2014-08-05 cs.CC cs.GT
On Subgame Perfect Equilibria in Turn-Based Reachability Timed Games
我们研究多人回合制定时游戏与可达性目标。特别是，我们对子博弈完美均衡（SPE）的概念感兴趣。我们证明，决定在这种情况下的SPE的约束存在是EXPTIME完全的。
2020-06-18 cs.GT
Existential Theory of the Reals Completeness of Stationary Nash Equilibria in Perfect Information Stochastic Games
我们证明了在多人完全信息递归博弈（即具有终端报酬的随机博弈）中，是否存在一个确保每个人都有一定收益的稳态纳什均衡的问题是实数势理论完备的.我们的结果适用于非循环游戏，其中纳什均衡可以通过逆向归纳法有效地计算，甚至适用于具有非负终端奖励的确定性非循环游戏。我们进一步扩展我们的结果，一个单一的球员肯定是赢家的纳什均衡的存在。将所得结果与已知的无平稳纳什均衡的小工具博弈相结合，得到了对于循环博弈，只要判定存在平稳纳什均衡就是势理论的实数完备性.这适用于到达集合博弈、停留集合博弈和确定性递归博弈。
2020-07-06 cs.CC cs.GT
On the Complexity of Stationary Nash Equilibria in Discounted Perfect Information Stochastic Games
从计算复杂性角度研究折扣完美信息随机博弈中平稳纳什均衡的计算问题，证明了双人博弈为 PPAD 完全，并给出了 3 人与 4 人博弈中相关计算的困难性证明。
2025-10-13 cs.CC cs.GT
Perfect Prediction in Minkowski Spacetime: Perfectly Transparent Equilibrium for Dynamic Games with Imperfect Information
关于策略的必要理性和必要知识的假设，也被称为完美预测，导致最多一个幸存的结果，不受参与者对它们的知识的影响。实现这种方法的解决方案的概念已被定义在两个动态游戏与完美的信息和没有关系，完美的预测均衡，和战略游戏没有关系，完全透明的均衡。本文将完全透明均衡推广到不完全信息和无约束的广义博弈。战略博弈的完全预测均衡和完全透明均衡都是这一广义均衡概念的特例。如果收益之间没有联系，广义均衡最多是唯一的，并且是帕累托最优的。我们还对具有不完美信息的广泛形式的游戏子类进行了特殊相对论解释，作为任何数量的代理所做决策的有向非循环图，每个决策位于闵可夫斯基时空中的特定位置，并且信息集和游戏结构来自因果结构。战略博弈对应于只有空间分离决策的设置，动态博弈对应于只有时间分离决策的设置。因此，广义的完全透明均衡描述了在一个一般设置中达到的结果和收益，在这个设置中，决策可以位于闵可夫斯基时空中的任何一般位置，在必要的理性和必要的策略知识下。我们还认为，这提供了一个直接可用的数学框架的设计与削弱自由选择假设的量子物理学的扩展理论。
2019-05-22 cs.GT
Student of Games: A unified learning algorithm for both perfect and imperfect information games
EquiLibre Technologies（EquiLibre 科技公司）；Google DeepMind（谷歌DeepMind）；Sony AI（索尼人工智能）；Amii（阿尔伯塔机器智能研究所）；Midjourney（Midjourney 公司）；University of Alberta（阿尔伯塔大学）
本文提出统一算法“游戏的学生”，结合搜索、自我对弈与博弈论推理，在完全与不完全信息博弈中表现强劲，并证明其收敛性，击败扑克和苏格兰场的最优智能体。
2023-11-15 cs.AI cs.GT cs.LG
Robustness and sample complexity of model-based MARL for general-sum Markov games
多智能体强化学习（MARL）通常使用马尔可夫博弈（也称为随机博弈或动态博弈）的框架建模。现有的文献大多集中在零和马尔可夫博弈，但不适用于一般和马尔可夫博弈。众所周知，一般和马尔可夫博弈中的最佳反应动态不是收缩。因此，一般和马尔可夫博弈中的不同均衡可以有不同的值。此外，Q函数不足以完全表征平衡。考虑到这些挑战，基于模型的学习是一个有吸引力的方法MARL在一般和马尔可夫游戏。在本文中，我们调查的基本问题，\emph{sample complexity}的一般和马尔可夫博弈模型为基础的MARL算法。我们展示了两个结果。我们首先使用Hoeffding不等式为基础的界限表明，$\tilde{\mathcal{O}}( (1-γ)^{-4} α^{-2})$样本每个状态-动作对是足够的，以获得一个$α$近似马尔可夫完美均衡与高概率，其中$γ$是折扣因子，和$\tilde{\mathcal{O}}(\cdot)$符号隐藏对数项。然后，我们使用Bernstein不等式为基础的界限表明，$\tilde{\mathcal{O}}( (1-γ)^{-1} α^{-2} )$样本是足够的。为了得到这些结果，我们研究了马尔可夫完美均衡对模型近似的鲁棒性。我们证明了近似（或扰动）博弈的马尔可夫完美均衡总是原博弈的近似马尔可夫完美均衡，并提供了近似误差的明确界。我们通过一个数值例子来说明结果。
2022-12-19 cs.GT cs.MA cs.SY
Robust perfect equilibrium in large games
本文提出了一个新的均衡概念“鲁棒完美均衡”的非合作对策与连续的局中人，包括三种类型的扰动。这样的均衡是存在的（在对称混合策略和纯策略），并满足重要的性质，容许性，总的鲁棒性，和事后强大的完善。这些属性加强了大量文献中关于大量代理之间的战略互动的相关均衡结果。拥塞游戏和潜在的游戏的说明性应用。在成本函数严格递增的拥塞博弈的特殊情况下，我们证明了存在唯一的对称鲁棒完美均衡。
2021-05-05 cs.GT econ.TH
Study and Improvement of Search Algorithms in Multi-Player Perfect-Information Games
LAMSADE, Université Paris-Dauphine, PSL, CNRS（LAMSADE，巴黎Dauphine大学，PSL，CNRS）
本文将最先进的零和双人完全信息游戏搜索算法Unbounded Minimax推广到多玩家完全信息游戏框架，实验表明该算法在多玩家搜索算法中表现更优。
2026-04-19 cs.AI cs.GT
The Power Allocation Game on Dynamic Networks: Subgame Perfection
在博弈论文献中，对于具有无限策略空间和不连续效用函数的正规型博弈的均衡选择，似乎很少有研究。此外，许多现有的选择方法不适用于涉及合作和非合作场景的游戏（例如，“games on signed graphs”）。以均衡选择为目的，将\cite{allocation}中的权力分配博弈（符号图上的静态资源分配博弈）转化为扩展形式。给出了扩展型博弈的子博弈完美纳什均衡的结果。这似乎是第一次，基于时变图的子博弈完美用于网络游戏中的均衡选择。本文提出的子博弈完美性的思想可以推广到其他网络博弈中，并以拥塞博弈为例进行说明。
2018-09-21 cs.GT cs.SI
Markov $α$-Potential Games
Imagination Corp.（想象力公司）；Fictional University（虚构大学）
本文提出了 Markov $α$-势博弈框架来研究有限状态和动作的 Markov 博弈，证明了 $α$-势函数优化器即为 $α$-平稳纳什均衡，并分析了两种实际博弈类别与两种均衡近似算法的 Nash 后悔。
2025-04-01 cs.AI cs.GT cs.MA
Perfect Half Space Games
我们介绍完美的半空间游戏，其中玩家2的目标是使所遇到的多维权重的总和在一个方向上发散，该方向与所选择的完美半空间序列（由玩家2动态选择）一致。我们建立了Jurdzienski等人（ICALP 2015）的边界博弈可以简化为完美半空间博弈，这反过来又可以转化为Colcombet和Niwienski的词典能量博弈，并且在很强的意义上是位置确定的（参与人2可以在不知道当前完美半空间的情况下进行博弈）。最后，我们展示了如何完美的半空间游戏和边界游戏可以用来解决多维能量奇偶游戏在伪多项式时间的能量维度和优先级的数量是固定的，无论是否初始信用的输入或存在量化的一部分。这也产生了一个最佳的2-EXPTIME复杂度与给定的初始信用，其中最知名的上限是非初等的。
2017-04-20 cs.GT cs.LO
Approximate State Abstraction for Markov Games
The University of Electro-Communications（电气通信大学）；CyberAgent
本文研究双人零和马尔可夫博弈的状态抽象方法，通过合并状态降低计算均衡的难度，推导了对偶间隙的界限以评估抽象后博弈均衡解与原博弈的距离，并在马尔可夫足球中验证了该方法。
2024-12-20 cs.AI cs.GT cs.MA
Coalgebraic Analysis of Subgame-perfect Equilibria in Infinite Games without Discounting
我们提出了一个新的无限可拓对策的共代数公式。我们定义的博弈树和战略配置文件可能无限系统的共递归方程。使用谓词共归纳的新的证明原理，某些策略配置文件被证明是子博弈完美均衡。我们刻画了美元拍卖博弈的所有子博弈完美均衡。经济上有趣的特点是，为了证明这些结果，我们不需要依赖于连续性假设的收益相当于贴现未来。特别是，我们证明了一种形式的一偏差原理没有任何这样的假设。这表明余代数支持在博弈论和经济学中更充分地处理无限时域模型。
2013-06-06 cs.GT
$Q$ Can Play That Game: Online Fitted $Q$-Iteration for Continuous-Action Zero-Sum Markov Games with Convex-Concave Function Approximation
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；The University of California, Berkeley（加州大学伯克利分校）；Massachusetts Institute of Technology (MIT) Lincoln Labs（麻省理工学院林肯实验室）
针对连续动作零和马尔可夫博弈，提出凸-凹函数逼近的在线拟合Q-迭代方法，首次为非LQ博弈提供有限样本保证。
2026-10-06 cs.GT cs.MA
A Sequence-Form Characterization and Differentiable Path-Following Method for Computing Normal-Form Perfect Equilibria in Extensive-Form Games
针对n人完美记忆扩展式博弈的策略式完美均衡计算缺口，本文给出序列形式刻画，提出可证明收敛的可微路径跟踪方法及两种扩展替代方法，实验验证了方法的有效性与效率。
2025-11-18 cs.GT
Pure and Stationary Optimal Strategies in Perfect-Information Stochastic Games with Global Preferences
本文研究了两个局中人对抗的最优确定性平稳策略的存在性问题本文讨论了具有多个状态和行动的完全信息随机对策的最优稳定策略的存在性问题，证明了这类策略的存在性是由某些单局人对策的最优稳定策略的存在性导出的，从而将问题从两局人对策归结为单局人对策（马尔可夫决策问题），通常它是更容易处理。减少是非常普遍的，它不仅适用于所有可能的支付映射，但也适用于更一般的情况下，球员的偏好不表示的支付。
2016-11-25 cs.GT
Markov Games with Decoupled Dynamics: Price of Anarchy and Sample Complexity
本文研究动态解耦但奖励可耦合的马尔可夫博弈，引入平滑性概念界定无政府代价，并为马尔可夫势博弈提出可证明收敛至纳什均衡的分布式学习算法MA-SPI及样本复杂度。
2023-04-07 cs.GT math.OC
Zero-sum Polymatrix Markov Games: Equilibrium Collapse and Efficient Computation of Nash Equilibria
本文针对零和多人矩阵马尔可夫博弈，通过证明粗相关均衡坍缩为纳什均衡，实现了ε-近似纳什均衡的高效计算。
2023-05-29 cs.GT cs.MA cs.SI
Data Poisoning to Fake a Nash Equilibrium in Markov Games
University of Wisconsin - Madison（威斯康星大学麦迪逊分校）
该研究刻画了离线多智能体强化学习的数据投毒攻击，提出唯一纳什集概念，通过线性规划高效计算最优投毒策略，为设计鲁棒MARL算法奠定基础。
2024-06-18 cs.AI cs.CR cs.GT
$O(T^{-1})$ Convergence of Optimistic-Follow-the-Regularized-Leader in Two-Player Zero-Sum Markov Games
University of Chicago（芝加哥大学）
我们证明了乐观跟随正则化领导者（OFTRL），连同光滑的值更新，发现一个$O(T^{-1})$ -近似纳什均衡在$T$迭代的两个球员零和马尔可夫游戏的充分信息。这提高了最近在Zhang等人（2022）的论文中显示的$\tilde{O}(T^{-5/6})$收敛速度。精确的分析取决于两个基本要素。首先，两个参与者的遗憾之和，虽然不一定像正规型博弈那样为非负，但在马尔可夫博弈中近似为非负。这个属性允许我们限制学习动态的二阶路径长度。其次，我们证明了一个更严格的代数不等式部署OFTRL的权重剃一个额外的$\log T$因素。这一关键改进使得能够进行归纳分析，从而得出最终的$O(T^{-1})$速率。
2023-02-09 cs.GT cs.LG
Playing Markov Games Without Observing Payoffs
Department of Electrical Engineering, University of Tel Aviv, Tel Aviv, Israel（电信工程系，特拉维夫大学，特拉维夫，以色列）
本文提出了一种在不观察收益情况下，通过在线学习与对手竞争的马尔可夫游戏方法，扩展了对称性概念并实现了多项式时间复杂度的算法。
2026-01-28 cs.GT cs.LG
The price of re-establishing perfect, almost perfect or public monitoring in games with arbitrary monitoring
建立了博弈论中的观察（或监控）结构概念与香农理论中的沟通渠道概念之间的联系。目标之一是了解在何种条件下可以将任意监测结构转变为更相关的监测结构。为此，在游戏中添加了一个中介。调解人的目标是选择一个信号方案，使球员有完美的，几乎完美的或公开的监测和所有这一切，在信号方面的成本最低。利用图着色、信源编码和信道编码来处理这些问题。一个无线电源控制游戏是用来说明这些概念，但所提供的结果的适用性，更重要的是，转换监控结构的框架远远超出了这个例子。
2012-10-23 cs.GT cs.IT math.IT
The complexity of computing a (quasi-)perfect equilibrium for an n-player extensive form game of perfect recall
研究了有限n人完全回忆扩展型博弈（EFGPR）的纳什均衡的计算或近似精化的复杂性，其中n >= 3。我们的结果适用于一些研究完善，包括顺序（SE），扩展形式完美（PE），和准完美平衡（QPE）。这些改进了纳什均衡和子博弈完美均衡。其中，最精细的概念是PE和QPE。根据经典的结果，所有这些平衡点都存在于任何EFGPR中。我们表明，对于所有这些概念的平衡，近似一个给定的EFGPR的平衡，在给定的期望精度，是FIXP_a-完全的。我们还考虑了相应的“几乎”均衡概念的复杂性，并表明它们是PPAD完备的。特别地，我们定义了“delta几乎完全（准）完美”均衡，并证明了计算一个是PPAD完全的。我们表明，这些概念细化“三角洲几乎子博弈完美均衡”EFGPR，这是PPAD完成。因此，对于n个参与者EFGPR（n >= 3），近似一个这样的（delta-几乎）均衡是P-时间等价于近似具有3个或更多参与者的范式博弈（NFG）的（delta-几乎）NE。NFG可被平凡地编码为EFGPR，而不会在大小上爆炸。因此，我们的研究结果扩展了著名的复杂性结果NFG的平衡在更一般的设置EFGPR的改进。对于2人EFGPR，类似的复杂度结果来自Koller，Megiddo和von Stengel（1996），von Stengel，van den Elzen和Talman（2002）以及Miltersen和Soere…
2014-12-03 cs.CC cs.GT
Corruption-Robust Offline Two-Player Zero-Sum Markov Games
University of Warwick（华威大学）
研究离线双人零和马尔可夫博弈中数据腐败的鲁棒性，提出鲁棒悲观极小极大值迭代算法，在腐败数据或仅干净数据覆盖下实现近最优次优性差距，首次给出此类问题的刻画。
2024-03-04 cs.GT cs.LG
A tutorial for computer scientists on finite extensive games with perfect information
我们提供了一个自我包含的介绍有限广泛的游戏完美的信息。在这些游戏中，参与者轮流进行，在每个阶段，有许多移动供他们处置，每一局总是结束，在每一局中，参与者都完全知道以前的移动。几乎所有讨论的结果都是众所周知的，但它们往往不是以最佳形式呈现的。此外，它们通常出现在针对经济学家或数学家的文献中，因此算法或逻辑方面的代表性不足。
2022-04-19 cs.GT
On Zero-Sum Two Person Perfect Information Semi-Markov Games
零和二人完全信息半马尔可夫博弈在有限比率平均支付下存在一个值，最大者和最小者都有最优纯半平稳策略。我们得到的结果，首先固定一个任意的初始状态，并形成对应于每对纯静态策略的两个球员的未贴现收益矩阵，并证明该矩阵有一个纯鞍点。
2023-02-14 cs.GT math.OC
Soft-Bellman Equilibrium in Affine Markov Games: Forward Solutions and Inverse Learning
Oden Institute for Computational Engineering and Sciences（奥登计算工程与科学研究所）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
提出仿射马尔可夫博弈与软贝尔曼均衡概念，给出存在唯一性条件，并用非线性最小二乘和投影梯度算法分别求解前向均衡与逆奖励参数推断问题，实验证明推断精度显著优于基线。
2023-09-08 cs.GT cs.LG
Study and improvement of search algorithms in two-players perfect information games
LAMSADE, Université Paris Dauphine - PSL, CNRS（LAMSADE，巴黎政治经济大学-PSL，国家科学研究中心）
针对双人零和完美信息博弈，本文评估现有搜索算法的通用性能，并提出一种新搜索算法，在短时间和中等搜索时间设置下均取得显著优于既有算法的表现。
2025-05-06 cs.AI cs.GT
Provably Efficient Policy Optimization for Two-Player Zero-Sum Markov Games
Tsinghua University（清华大学）；Meta AI Research（Meta人工智能研究院）；Princeton University（普林斯顿大学）；University of Washington（华盛顿大学）
基于策略的函数逼近方法被广泛用于求解具有较大状态和/或动作空间的两人零和博弈。然而，它仍然难以捉摸如何获得优化和统计保证这样的算法。我们提出了一个新的政策优化算法与函数逼近，并证明了在标准的正则性条件下的马尔可夫博弈和函数逼近类，我们的算法发现一个接近最优的政策内的多项式数量的样本和迭代。据我们所知，这是第一个证明有效的政策优化算法与函数近似，解决两个球员零和马尔可夫游戏。
2022-02-26 cs.GT cs.LG math.OC
Existence of structured perfect Bayesian equilibrium in dynamic games of asymmetric information
在文献[1]中，作者考虑了一个一般的非对称信息动态博弈有限时间模型，其中N个局中人的类型按独立的马尔可夫过程演化，每个局中人完全观察自己的类型和所有局中人的行动。作者提出了一个序列分解算法，以找到所有结构完美的贝叶斯均衡的游戏。该算法由求解一类方程组的不动点组成，每次$t,π_t$，其存在性是一个开放的问题。本文在紧度量空间中证明了这类不动点方程的存在性。
2020-05-29 cs.GT cs.SY econ.TH
On (Subgame Perfect) Secure Equilibrium in Quantitative Reachability Games
我们研究了有限图上可达目标的回合制定量多人非零和博弈。在这样的博弈中，每个参与者的目标都是尽快达到自己的目标状态集。以前对这个模型的研究表明，纳什均衡（分别为）。安全均衡）被保证存在于多人游戏中（相应地，两个玩家）的情况下。在多人情况下安全均衡的存在性仍然是一个悬而未决的问题。在本文中，我们集中研究子博弈完美均衡的概念，一个完善的纳什均衡非常适合在框架内的游戏玩的图。我们还引入了子博弈完美安全均衡的新概念。我们证明了子博弈完美均衡的存在性（分别为）。子博弈完美安全均衡）在多人游戏（分别）。两人）定量可达性游戏。此外，我们还提供了一个确定多人情况下安全均衡存在性的算法。
2013-02-26 cs.GT cs.LO
Zero-Sum Semi-Markov Games with State-Action-Dependent Discount Factors
半马尔可夫模型是随机动态系统的最一般模型之一。本文研究半马氏过程的二人零和对策。我们专注于期望贴现支付准则与国家行动依赖的折扣因子。状态空间和动作空间都是波兰空间，支付函数是$ω$ -有界的。我们首先在一个给定的半马尔可夫核和一对策略下构造了一个相当一般的半马尔可夫博弈模型。其次，基于半马尔可夫对策的标准正则性条件和连续紧性条件，在半马尔可夫核上导出了一个“漂移条件”，并假设折扣因子有一个正下界，在此条件下，利用Shapley方程证明了半马尔可夫对策的价值函数和一对最优平稳策略的存在性.此外，当状态和行动空间都是有限的，价值迭代型算法计算的价值函数和$\varepsilon$ -纳什均衡的游戏。并证明了算法的收敛性。最后，我们进行数值例子来证明我们的主要结果。
2021-03-06 cs.GT math.OC
On Non-Cooperative Perfect Information Semi-Markov Games
本文证明N人非合作完全信息半马尔可夫博弈在极限比率平均收益下存在纯半平稳纳什均衡，通过归约为SMDP简化证明，并用Mondal算法求解。
2024-02-26 cs.GT math.OC
A Pseudo-Polynomial Algorithm for Mean Payoff Stochastic Games with Perfect Information and Few Random Positions
我们考虑两个人零和随机平均支付博弈的完美信息，或BWR-游戏，给出了一个有向图$G = (V, E)$，局部奖励$r: E \to \ZZ$，和三种类型的位置：黑色$V_B$，白色$V_W$，和随机$V_R$形成一个分区的$V$。这是一个长期存在的公开问题是否存在多项式时间算法的BWR游戏，或没有，即使当$|V_R|=0$。事实上，BWR-对策的伪多项式算法已经暗示了它们的多项式可解性。在本文中，我们证明了具有常数随机位置的BWR-对策可以在伪多项式时间内求解。更准确地说，在任何具有$|V_R|=O(1)$的BWR博弈中，一致最优纯平稳策略的鞍点可以在$|V_W|+|V_B|$的时间多项式中找到，最大绝对局部奖励和转移概率的公分母。
2017-03-23 cs.GT
The Lagrangian Method for Solving Constrained Markov Games
本文提出拉格朗日博弈概念，并通过原始-对偶迭代方法求解带约束马尔可夫博弈，证明其解序列收敛到原博弈的非平稳纳什解。
2025-03-13 cs.GT math.OC
Existence of Secure Equilibrium in Multi-Player Games with Perfect Information
安全均衡是纳什均衡的一种改进，它为局中人在改变策略时提供了一定的安全性。安全均衡的概念是专门为假设-保证综合而提出的，并已在这方面得到应用。然而，对于它在两个以上参与者的游戏中的存在，人们知之甚少。在本文中，我们建立了两类多局中人完全信息回合制博弈的安全均衡的存在性：（1）在可能有概率转移的博弈中，具有可数状态和有限动作空间以及有界和连续的支付函数，（2）在只有确定性转移的博弈中，具有任意状态和动作空间以及有限范围的Borel支付函数（特别是定性的Borel支付函数）。我们表明，这些结果适用于几种类型的游戏在文献中研究。
2014-05-07 cs.GT
On the characterization of constrained correlated equilibria in Markov games
SYCAMORE, EPFL（SYCAMORE, 洛桑联邦理工学院）
本文形式化并刻画了马尔可夫博弈中约束关联均衡的概念，证明了在耦合约束下此类均衡的存在性。
2026-08-20 cs.GT
Tolling for Constraint Satisfaction in Markov Decision Process Congestion Games
马尔可夫决策过程（Markov decision process，MDP）拥塞博弈是经典拥塞博弈的一种扩展，其中自私代理的连续种群解决了具有拥塞的马尔可夫决策过程：策略的收益随着更多的种群使用它而减少。特别是，我们表明，在MDP拥挤游戏中的人口质量约束相当于对奖励函数施加通行费/激励，社会规划者可以利用它来实现辅助目标。我们在一个模拟的西雅图乘车共享模型中演示了这种方法，其中收费和激励措施是为了两个独立的目标而实施的：保证西雅图市中心的最小驾驶员密度，并将游戏均衡转向最大的社会产出。
2019-03-02 cs.GT math.OC
