Independent Reinforcement Learning in Discounted Markov Games
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对折扣一般和马尔可夫博弈，在假设ETH与PPAD等价下证明独立学习无多项式时间算法，提出首个完全解耦的分层乐观镜像下降算法，保证次指数收敛并开发全反馈与部分反馈版本。
2026-09-02 cs.AI cs.GT cs.LG
High-Probability Nash Regret for Decentralized Learning in Markov $α$-Potential Games: Episodic and Fully Online Asynchronous Algorithms with Applications to Markov Congestion Games
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对马尔可夫α-势博弈，提出KL投影自然策略梯度算法，在情节式和完全在线异步设置下实现高概率纳什遗憾界，消除分布不匹配系数，并应用于马尔可夫拥塞博弈的在线作业调度。
2026-09-15 cs.GT cs.LG cs.MA
The Lagrangian Method for Solving Constrained Markov Games
本文提出拉格朗日博弈概念，并通过原始-对偶迭代方法求解带约束马尔可夫博弈，证明其解序列收敛到原博弈的非平稳纳什解。
2025-03-13 cs.GT math.OC
Robust optimal policies for team Markov games
Peking University（北京大学）；University of Groningen（格罗宁根大学）
在随机动态环境中，团队马尔可夫博弈已经成为研究完全合作多智能体系统序列决策问题的通用范式。然而，导出的策略的最优性通常是敏感的模型参数，这通常是未知的，并需要估计噪声数据在实践中。为了减轻最优策略对这些不确定参数的敏感性，本文提出了一种鲁棒的团队马尔可夫博弈模型，其中代理利用鲁棒优化方法来更新策略。该模型将团队马尔可夫博弈扩展到不完全信息的情形，同时提供了一种鲁棒团队最优性的替代解概念。为了寻求这样的解决方案，我们开发了一个强大的迭代学习算法的团队政策，并证明其收敛性。与鲁棒动态规划相比，该算法不仅具有更快的收敛速度，而且允许使用近似计算来减轻维数灾难。此外，通过将序列社会困境的对策模型推广到不确定场景，给出了一些数值模拟来证明算法的有效性。
2022-05-02 cs.AI cs.GT cs.MA
Tolling for Constraint Satisfaction in Markov Decision Process Congestion Games
马尔可夫决策过程（Markov decision process，MDP）拥塞博弈是经典拥塞博弈的一种扩展，其中自私代理的连续种群解决了具有拥塞的马尔可夫决策过程：策略的收益随着更多的种群使用它而减少。特别是，我们表明，在MDP拥挤游戏中的人口质量约束相当于对奖励函数施加通行费/激励，社会规划者可以利用它来实现辅助目标。我们在一个模拟的西雅图乘车共享模型中演示了这种方法，其中收费和激励措施是为了两个独立的目标而实施的：保证西雅图市中心的最小驾驶员密度，并将游戏均衡转向最大的社会产出。
2019-03-02 cs.GT math.OC
On Zero-Sum Two Person Perfect Information Semi-Markov Games
零和二人完全信息半马尔可夫博弈在有限比率平均支付下存在一个值，最大者和最小者都有最优纯半平稳策略。我们得到的结果，首先固定一个任意的初始状态，并形成对应于每对纯静态策略的两个球员的未贴现收益矩阵，并证明该矩阵有一个纯鞍点。
2023-02-14 cs.GT math.OC
Stochastic Game with Interactive Information Acquisition: Pipelined Perfect Markov Bayesian Equilibrium
本文针对带双阶段信息获取与行动结构的多参与者一般和随机博弈，提出融合马尔可夫完美均衡与完美贝叶斯均衡的PPME概念，通过不动点对齐原理给出其可验证充要条件。
2023-10-05 cs.GT cs.SY eess.SY
PAC Reinforcement Learning Algorithm for General-Sum Markov Games
University of Delaware（特拉华大学）
本文提出了一个理论框架，可能近似正确（PAC）的多智能体强化学习（MARL）算法的马尔可夫博弈。本文利用延迟Q学习的思想，对著名的Nash Q-学习算法进行了扩展，建立了一种新的求解一般和马尔可夫对策的PAC MARL算法。除了指导可证明的PAC MARL算法的设计外，该框架还可以检查任意MARL算法是否是PAC。比较数值结果表明性能和鲁棒性。
2020-09-05 cs.GT cs.LG math.OC
Markov perfect equilibria in non-stationary mean-field games
University of Texas, Austin（德克萨斯大学奥斯汀分校）
本文研究了有限和无限时间 horizon 折扣动态均场博弈中的非平稳群体状态动态，提出了一种新的递归算法来计算依赖于玩家私人类型和当前动态群体状态的马尔可夫完美均衡，并应用该算法研究了网络系统安全问题。
2019-10-21 cs.GT cs.SY eess.SY
Convergence of Decentralized Actor-Critic Algorithm in General-sum Markov Games
Electrical Engineering and Computer Sciences (EECS) at UC Berkeley（加州大学伯克利分校电子工程与计算机科学系）；Operations Research and Information Engineering (ORIE) at Cornell University（康奈尔大学运筹学与信息工程系）
针对现有去中心化学习算法收敛性仅适用于特殊马尔可夫博弈的不足，提出马尔可夫近似势函数作为近似李雅普诺夫函数，刻画了一般和马尔可夫博弈下异步步长去中心化演员-评论家算法的策略收敛集并在特定条件下强化结论。
2025-06-11 cs.AI cs.GT cs.MA
On Non-Cooperative Perfect Information Semi-Markov Games
本文证明N人非合作完全信息半马尔可夫博弈在极限比率平均收益下存在纯半平稳纳什均衡，通过归约为SMDP简化证明，并用Mondal算法求解。
2024-02-26 cs.GT math.OC
Decentralized MARL for Coarse Correlated Equilibrium in Aggregative Markov Games
The School of Mathematical Sciences University of Chinese Academy of Sciences（中国科学院大学数学科学学院）；SKLMS AMSS, CAS（中国科学院数学与系统科学研究院数学与应用数学国家重点实验室）
本文提出一种适应性阶段式V学习算法，用于在聚合马尔可夫游戏中去中心化学习粗相关均衡，通过调整阶段长度和无遗憾更新实现高效学习。
2026-03-29 cs.GT cs.SY eess.SY
Optimal control and zero-sum games for Markov chains of mean-field type
利用全变差距离，通过不动点论证，证明了具有无界跳强度的平均场型马尔可夫链的存在性。我们进一步证明了近最优控制的存在性，并利用马尔可夫链后向近似方法，分别给出了平均场型支付泛函的控制问题和零和微分对策在平均场型马尔可夫链驱动下的最优控制和鞍点的存在条件.
2017-08-27 cs.GT math.OC math.PR
Near Optimal Convergence to Coarse Correlated Equilibrium in General-Sum Markov Games
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文改进了一般和马尔可夫博弈中向粗相关均衡的收敛速率，通过将自适应步长技术扩展至马尔可夫设定并定制OFTRL算法，实现了已知最快的收敛速率。
2025-11-04 cs.AI cs.GT cs.LG
Markov Chains of Evolutionary Games with a Small Number of Players
本文构建并研究了有限参与者演化博弈的马尔可夫链转移概率矩阵，基于Sandholm的简化种群博弈框架，通过迭代囚徒困境等示例及多种修正协议，显式构建MC转移概率矩阵并分析其性质。
2025-06-29 cs.GT math.OC
Beyond Theorems: A Counterexample to Potential Markov Game Criteria
针对Mguni等人提出的放宽版马尔可夫势博弈必要条件下可高效计算确定性纳什均衡的主张，本文通过构造反例对其进行了反驳。
2024-05-13 cs.GT cs.MA
Sensitivity Analysis for Markov Decision Process Congestion Games
我们考虑一个非原子拥塞游戏，每个决策者执行自私的优化状态的一个共同的MDP。决策者对自己的期望成本进行优化，并通过阻塞效应对国家行动成本的影响相互影响。我们分析了MDP拥塞博弈均衡对状态-行动成本的不确定性和扰动的敏感性。定义了随机Braess悖论的发生，基于博弈均衡的敏感性进行了分析，并在仿真中进行了演示。我们进一步分析了与确定性动力学相比，随机动力学的引入如何影响布雷斯悖论的大小。
2019-09-12 cs.GT math.OC
Provably Efficient Policy Optimization for Two-Player Zero-Sum Markov Games
Tsinghua University（清华大学）；Meta AI Research（Meta人工智能研究院）；Princeton University（普林斯顿大学）；University of Washington（华盛顿大学）
基于策略的函数逼近方法被广泛用于求解具有较大状态和/或动作空间的两人零和博弈。然而，它仍然难以捉摸如何获得优化和统计保证这样的算法。我们提出了一个新的政策优化算法与函数逼近，并证明了在标准的正则性条件下的马尔可夫博弈和函数逼近类，我们的算法发现一个接近最优的政策内的多项式数量的样本和迭代。据我们所知，这是第一个证明有效的政策优化算法与函数近似，解决两个球员零和马尔可夫游戏。
2022-02-26 cs.GT cs.LG math.OC
Independent Policy Gradient for Large-Scale Markov Potential Games: Sharper Rates, Function Approximation, and Game-Agnostic Convergence
University of Southern California（南加州大学）；Massachusetts Institute of Technology（麻省理工学院）
研究了马尔可夫势博弈中多智能体强化学习（RL）问题的策略梯度方法的全局非渐近收敛性.为了学习纳什均衡的MPG中的状态空间的大小和/或玩家的数量可以是非常大的，我们提出了新的独立的策略梯度算法，是由所有玩家串联运行。当梯度评估中没有不确定性时，我们证明了我们的算法找到了具有$O(1/ε^2)$迭代复杂度的$ε$ -纳什均衡，该迭代复杂度不显式地依赖于状态空间大小。当精确的梯度是不可用的，我们建立$O(1/ε^5)$样本复杂性界在一个潜在的无限大的状态空间的基于样本的算法，利用函数逼近。此外，我们确定了一类独立的策略梯度算法，享有收敛的零和马尔可夫游戏和马尔可夫合作游戏的球员，是不知道正在玩的游戏类型。最后，我们提供了计算实验来证实我们的理论发展的优点和有效性。
2022-08-04 cs.GT cs.LG cs.MA
On the characterization of constrained correlated equilibria in Markov games
SYCAMORE, EPFL（SYCAMORE, 洛桑联邦理工学院）
本文形式化并刻画了马尔可夫博弈中约束关联均衡的概念，证明了在耦合约束下此类均衡的存在性。
2026-08-20 cs.GT
Approximate State Abstraction for Markov Games
The University of Electro-Communications（电气通信大学）；CyberAgent
本文研究双人零和马尔可夫博弈的状态抽象方法，通过合并状态降低计算均衡的难度，推导了对偶间隙的界限以评估抽象后博弈均衡解与原博弈的距离，并在马尔可夫足球中验证了该方法。
2024-12-20 cs.AI cs.GT cs.MA
Convex-Concave Zero-sum Markov Stackelberg Games
针对连续状态与动作空间的零和 Markov Stackelberg 博弈，提出基于含噪轨迹梯度的策略梯度方法，证明凸-凹情形下多项式时间收敛，并说明其在 reach-avoid 问题中优于 Nash 策略。
2024-01-23 cs.GT
Finite-Time Analysis of Minimax Q-Learning for Two-Player Zero-Sum Markov Games: Switching System Approach
KAIST（韩国科学技术院）
针对双人零和马尔可夫博弈的Q学习有限时间分析问题，采用切换系统方法对minimax Q学习及对应值迭代建立有限时间分析，提供收敛分析新视角，推动控制理论与强化学习领域交叉协作。
2023-06-12 cs.GT cs.LG cs.SY
Globalized Robust Markov Perfect Equilibrium for Discounted Stochastic Games and its Application on Intrusion Detection in Wireless Sensor Networks: Part I -- Theory
在这篇文章中，我们研究了一个折扣随机博弈模型的无线传感器网络中的资源最优入侵检测。为了解决网络参数不确定性的问题，我们提出了一个全球化的折扣鲁棒随机博弈的鲁棒博弈理论框架。一个强大的解决方案所考虑的问题是一个最佳的点，是可行的所有实现的数据从一个给定的不确定性集。为了允许在参数移出不确定性集时有控制地违反约束，全球化鲁棒框架的概念应运而生。在这篇文章中，我们制定了一个全球化的鲁棒对应的折扣随机博弈考虑。借助全局鲁棒优化的思想，提出了全局鲁棒马尔可夫完美均衡的概念。当参与人的行动次数有限时，折扣随机博弈证明了这种均衡的存在性。利用压缩映射定理、Kakutani不动点定理和等度连续的概念证明了该结果的存在性。为了计算所考虑的折扣随机博弈的全球化鲁棒马尔可夫完美均衡，还提供了所提出的全球化鲁棒对应物的易于处理的表示。使用推导出的易处理的表示，我们制定了一个全球化的强大的无线传感器网络入侵检测系统。仿真结果表明，所提出的全球化解决方案是更少的数据扰动的敏感性比鲁棒解决方案。
2019-10-28 cs.GT math.OC
When is Offline Two-Player Zero-Sum Markov Game Solvable?
我们研究什么样的数据集假设允许解决离线两个玩家零和马尔可夫游戏。在形成鲜明对比的离线单代理马尔可夫决策过程中，我们表明，单一的战略浓度假设是不足以学习的纳什均衡（NE）的策略，在离线两个球员零和马尔可夫游戏。另一方面，我们提出了一个新的假设命名为单边浓度，并设计了一个悲观型算法，证明是有效的，在此假设下。此外，我们表明，单边浓度的假设是必要的学习NE策略。此外，我们的算法可以实现极大极小样本的复杂性没有任何修改的两个广泛研究的设置：数据集与均匀浓度假设和回合为基础的马尔可夫游戏。我们的工作是理解离线多智能体强化学习的重要的第一步。
2022-10-14 cs.AI cs.GT cs.LG
Dynamics and Convergences for Markov Coevolutionary Opinion Formation Games in Dynamic Social Networks
National Yang Ming Chiao Tung University（国立阳明交通大学）；Academia Sinica（中央研究院）；National Taiwan Ocean University（国立台湾海洋大学）；New Jersey Institute of Technology（新泽理工学院）；National Chung Hsin University（国立中兴大学）
研究动态社交网络中K-NN马尔可夫博弈的收敛性，整合多智能体强化学习和在线学习技术，分析乐观梯度上升算法在一般和马尔可夫博弈中的收敛情况，得出较弱意义上收敛到近似纳什均衡的结果。
2026-08-10 cs.GT
The Complexity of Markov Equilibrium in Stochastic Games
我们表明，计算近似平稳马尔可夫粗相关均衡（CCE）的一般和随机游戏是计算上难以处理的，即使有两个球员，游戏是回合制的，折扣因子是一个绝对常数，和近似是一个绝对常数。我们的棘手的结果形成鲜明对比，正规形式的游戏，确切的CCE是有效的计算。更重要的是，我们的研究结果意味着，有没有有效的算法学习平稳马尔可夫CCE政策在多智能体强化学习（MARL），即使是当互动是两个球员和回合为基础的，和折扣因子和所需的近似学习的政策是一个绝对常数。反过来，这些结果与单智能体强化学习（RL）形成鲜明对比，其中可以有效地学习接近最优的平稳马尔可夫策略。补充我们的棘手的结果平稳马尔可夫CCE，我们提供了一个分散的算法（假设玩家之间共享的随机性）学习非平稳马尔可夫CCE政策与多项式时间和样本的复杂性，在所有的问题参数。以前学习马尔可夫CCE策略的工作都需要指数时间和参与者数量的样本复杂度。
2022-04-08 cs.GT cs.LG
Independent Natural Policy Gradient Always Converges in Markov Potential Games
University of California, Irvine（加州大学欧文分校）
多智能体强化学习已经成功地应用于完全合作和完全竞争的环境中，但目前对混合合作/竞争环境知之甚少。在本文中，我们专注于一类特殊的多智能体混合合作/竞争的随机游戏称为马尔可夫势游戏（MPGs），其中包括合作游戏作为一种特殊情况。最近的研究结果表明，独立的策略梯度收敛MPG，但它是不知道是否独立的自然策略梯度收敛MPG以及。我们证明了独立自然策略梯度总是收敛在最后一个收敛使用常数学习率。证明偏离了现有的方法，主要的挑战在于马尔可夫势博弈没有唯一的最优值（如单智能体设置所示），因此不同的初始化可能导致不同的极限点值。我们补充我们的理论结果与实验表明，自然策略梯度优于策略梯度在路由游戏和拥塞游戏。
2021-10-20 cs.GT cs.LG
Zero-sum Polymatrix Markov Games: Equilibrium Collapse and Efficient Computation of Nash Equilibria
本文针对零和多人矩阵马尔可夫博弈，通过证明粗相关均衡坍缩为纳什均衡，实现了ε-近似纳什均衡的高效计算。
2023-05-29 cs.GT cs.MA cs.SI
Computing Pure Nash Equilibria via Markov Random Fields
在本文中，我们提出了一种新的通用图形游戏和马尔可夫随机场之间的映射，使纯纳什均衡在前者可以找到统计推断后者。因此，决定一个图形游戏是否有一个纯纳什均衡的问题，一个众所周知的棘手的问题，可以攻击的良好建立的算法，如信念传播，连接树，马尔可夫链蒙特卡罗和模拟退火。大类的图形游戏变得易于处理，包括所有已知的类，但也有新的类，如树宽为O（log n）的游戏。
2005-10-13 cs.GT
Global Convergence of Multi-Agent Policy Gradient in Markov Potential Games
SUTD（新加坡科技设计大学）；UC Irvine（加州大学尔湾分校）
本文提出马尔可夫势博弈的新定义，揭示其与规范形式势博弈的关键差异，并证明独立策略梯度在多智能体设置下能快速收敛到纳什策略。
2025-09-23 cs.GT cs.LG
Minimax-Optimal Multi-Agent RL in Markov Games With a Generative Model
University of Pennsylvania（宾夕法尼亚大学）；Carnegie Mellon University（卡内基梅隆大学）
本文研究了马尔可夫博弈中的多智能体强化学习，目标是学习纳什均衡或粗相关均衡（CCE）样本最优。所有先前的结果遭受至少两个障碍之一：多个代理人的诅咒和长视野的障碍，无论使用的采样协议。我们采取一个步骤来解决这个问题，假设访问一个灵活的采样机制：生成模型。针对非平稳有限时域马尔可夫博弈，我们开发了一种快速学习算法\myalg ~和一种自适应采样方案，该方案利用在线对抗学习中的乐观原则（特别是Follow-the-Regularized-Leader（FTRL）方法）。我们的算法在一般和马尔可夫博弈中使用$$ \widetilde{O}\bigg( \frac{H^4 S \sum_{i=1}^m A_i}{\varepsilon^2} \bigg) $$样本学习$\varepsilon$ -近似CCE，其中$m$是玩家的数量，$S$表示状态的数量，$H$是地平线，$A_i$表示第$i$玩家的动作数量。当玩家数量固定时，这是最小最大最优的（直到对数因子）。当应用到两个球员零和马尔可夫游戏，我们的算法证明找到一个$\varepsilon$ -近似纳什均衡与最小样本。一路上，我们得到一个精致的遗憾界FTRL，明确的方差型量的作用，这可能是独立的利益。
2022-10-12 cs.GT cs.IT cs.LG
Minimally Modifying a Markov Game to Achieve Any Nash Equilibrium and Value
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）；Cornell University（康奈尔大学）
研究零和马尔可夫博弈修改问题，通过最小化成本修改奖励函数使目标策略成为唯一纳什均衡，提出基于凸优化的高效算法并给出成功安装的充要条件。
2024-08-24 cs.AI cs.GT
$Q$ Can Play That Game: Online Fitted $Q$-Iteration for Continuous-Action Zero-Sum Markov Games with Convex-Concave Function Approximation
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；The University of California, Berkeley（加州大学伯克利分校）；Massachusetts Institute of Technology (MIT) Lincoln Labs（麻省理工学院林肯实验室）
针对连续动作零和马尔可夫博弈，提出凸-凹函数逼近的在线拟合Q-迭代方法，首次为非LQ博弈提供有限样本保证。
2026-10-06 cs.GT cs.MA
Fictitious Play in Markov Games with Single Controller
某些但重要的策略形式游戏，包括零和相同利益游戏，具有虚拟游戏属性（FPP），即，在虚拟游戏动态中形成的信念在这些游戏的重复游戏中总是收敛到纳什均衡（NE）。这样的收敛结果被视为博弈论均衡分析的（行为）理由。马尔可夫博弈（MG），也被称为随机博弈，将策略形式的重复博弈推广到具有马尔可夫状态转移的动态多状态设置。特别是，MG是多智能体强化学习的标准模型--这是学习和游戏中的一个复兴研究领域，它们的游戏理论均衡分析也被广泛进行。然而，某些类别的MG是否具有FPP（即，是否存在均衡分析的行为正当性）在很大程度上仍然难以捉摸。在本文中，我们研究了一个新的变体的虚拟游戏动态的MG，并显示其收敛到一个NE在n个球员的相同利益的MG，其中一个单一的球员控制的状态转换。这种游戏在通信、控制和经济应用中很有意义。我们的结果与[Sayin et al. 2020]中的最新结果一起建立了具有单个控制器的两个玩家零和MG和n个玩家相同兴趣MG的FPP（站在MG频谱的两个不同端，从完全竞争到完全合作）。
2022-05-23 cs.GT
Mean Field Asymptotics of Markov Decision Evolutionary Games and Teams
我们引入了具有$N$参与者的平均场马尔可夫博弈，在这个博弈中，大种群中的每个个体与其他随机选择的参与者进行交互。每个参与者在互动中的状态和行为共同决定了所有参与者的瞬时收益。它们还确定移动到下一个状态的转移概率。每个人都希望在无限的时间范围内最大化总的预期贴现收益。我们提供了一个严格的推导这个系统的人口规模增长到无穷大的渐近行为。在每种类型的假设下，我们证明了在任何马尔可夫策略下，由一个特定的玩家和剩余的人口组成的随机过程弱收敛到一个由微分方程的解驱动的跳跃过程。我们的特点的解决方案的团队和游戏问题的限制，无穷总体，并使用这些构建近最优策略的情况下，有限的，但大量的球员。我们表明，大人口渐近的微观模型是等价的（宏观）平均场随机对策，其中一个本地的相互作用是由一个单一的球员对人口配置文件（平均场限制）。我们举例说明我们的模型，推导出一个动态进化的鹰和鸽子的游戏与能量水平的方程。
2012-01-11 cs.GT math.OC
Model and Reinforcement Learning for Markov Games with Risk Preferences
我们提出了一个新的非合作马尔可夫博弈模型，考虑了风险意识的球员之间的相互作用。这个模型的特点是时间一致的动态“风险”从随机状态转换（固有的游戏）和随机混合策略（由于所有其他球员）。一个适当的风险意识的均衡的概念，提出了这样的平衡的存在性证明在平稳策略的应用角谷不动点定理。我们进一步提出了一个基于模拟的Q学习型算法的风险意识的均衡计算。该算法适用于一种特殊形式的极小极大风险度量，这种风险度量可以自然地写成鞍点随机优化问题，并且覆盖了许多广泛研究的风险度量。最后，在一些较弱的条件下，证明了该算法几乎必然收敛于平衡点。通过一个两人排队博弈的数值实验，验证了模型和算法的性质，并证明了它们在现实竞争决策中的价值和适用性。
2019-11-21 cs.GT cs.MA math.OC
Optimistic Policy Gradient in Multi-Player Markov Games with a Single Controller: Convergence Beyond the Minty Property
Meta AI；University of California Irvine（加州大学欧文分校）；Archimedes research unit（阿基米德研究单元）；Massachusetts Institute of Technology（麻省理工学院）；Strategy Robot, Inc.（战略机器人公司）；Strategic Machine, Inc.（战略机器公司）；Optimized Markets, Inc.（优化市场公司）；Carnegie Mellon University（卡内基梅隆大学）
本文提出新框架，证明在均衡坍缩假设下，单控制器多玩家马尔可夫博弈的乐观策略梯度方法以O(1/ε²)迭代收敛到平稳ε-NE，并引入推广的Minty性质绕过复杂性障碍。
2023-12-21 cs.GT cs.LG
Independent and Decentralized Learning in Markov Potential Games
University of California, Berkeley（加州大学伯克利分校）
研究无限期折扣马尔可夫势博弈中的独立去中心化多智能体强化学习，提出基于双时间尺度的异步Q函数与策略更新动力学，并证明其收敛性。
2025-04-01 cs.AI cs.GT cs.LG
$O(T^{-1})$ Convergence of Optimistic-Follow-the-Regularized-Leader in Two-Player Zero-Sum Markov Games
University of Chicago（芝加哥大学）
我们证明了乐观跟随正则化领导者（OFTRL），连同光滑的值更新，发现一个$O(T^{-1})$ -近似纳什均衡在$T$迭代的两个球员零和马尔可夫游戏的充分信息。这提高了最近在Zhang等人（2022）的论文中显示的$\tilde{O}(T^{-5/6})$收敛速度。精确的分析取决于两个基本要素。首先，两个参与者的遗憾之和，虽然不一定像正规型博弈那样为非负，但在马尔可夫博弈中近似为非负。这个属性允许我们限制学习动态的二阶路径长度。其次，我们证明了一个更严格的代数不等式部署OFTRL的权重剃一个额外的$\log T$因素。这一关键改进使得能够进行归纳分析，从而得出最终的$O(T^{-1})$速率。
2023-02-09 cs.GT cs.LG
Convergent Q-Learning for Infinite-Horizon General-Sum Markov Games through Behavioral Economics
本文研究双人正则形式博弈和折扣无限期马尔可夫博弈中风险厌恶量化响应均衡（RQE）的计算，通过定义收缩的风险厌恶量化响应Bellman算子，提出了一种适用于所有无限期一般和马尔可夫博弈且具有收敛保证的Q学习算法。
2025-08-12 cs.GT
Playing Markov Games Without Observing Payoffs
Department of Electrical Engineering, University of Tel Aviv, Tel Aviv, Israel（电信工程系，特拉维夫大学，特拉维夫，以色列）
本文提出了一种在不观察收益情况下，通过在线学习与对手竞争的马尔可夫游戏方法，扩展了对称性概念并实现了多项式时间复杂度的算法。
2026-01-28 cs.GT cs.LG
Last-Iterate Convergence of Policy Dynamics in Zero-Sum Networked Separable Markov Games
Peking University（北京大学）
针对零和网络化可分离马尔可夫博弈，提出熵正则化乐观乘法权重更新算法，实现末次迭代近似纳什均衡，并证明近线性收敛速率。
2026-10-08 cs.GT
Corruption-Robust Offline Two-Player Zero-Sum Markov Games
University of Warwick（华威大学）
研究离线双人零和马尔可夫博弈中数据腐败的鲁棒性，提出鲁棒悲观极小极大值迭代算法，在腐败数据或仅干净数据覆盖下实现近最优次优性差距，首次给出此类问题的刻画。
2024-03-04 cs.GT cs.LG
Breaking the Curse of Multiagents in a Large State Space: RL in Markov Games with Independent Linear Function Approximation
University of Washington（华盛顿大学）；University of Maryland, College Park（马里兰大学帕克分校）
针对大状态空间多智能体强化学习，提出独立线性马尔可夫博弈模型及新算法，以多项式样本复杂度学习均衡，打破多智能体诅咒，并改进表格情形下的最优结果。
2023-06-21 cs.AI cs.GT cs.LG
Soft-Bellman Equilibrium in Affine Markov Games: Forward Solutions and Inverse Learning
Oden Institute for Computational Engineering and Sciences（奥登计算工程与科学研究所）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
提出仿射马尔可夫博弈与软贝尔曼均衡概念，给出存在唯一性条件，并用非线性最小二乘和投影梯度算法分别求解前向均衡与逆奖励参数推断问题，实验证明推断精度显著优于基线。
2023-09-08 cs.GT cs.LG
Infinite Horizon Markov Economies
本文提出马尔可夫伪博弈模型，证明其博弈论均衡存在性及对应经济体一般均衡存在性，引入多项式时间收敛的求解方法，将其应用于无限期界马尔可夫交换经济体，确立递归拉德纳均衡存在性并提供逼近方法，通过神经网络验证有效性。
2025-08-20 cs.GT
Independent Learning of Nash Equilibria in Partially Observable Markov Potential Games with Decoupled Dynamics
SYCAMORE, EPFL（SYCAMORE，瑞士联邦理工学院）
本文研究了在可部分观测马尔可夫博弈（POMG）中纳什均衡的学习问题，提出了一种独立学习算法，通过不通信的方式，使玩家在仅观察自身动作和观测的情况下，联合收敛到近似纳什均衡，从而实现高效的样本和计算复杂度。
2026-11-10 cs.GT cs.LG cs.MA
Data Poisoning to Fake a Nash Equilibrium in Markov Games
University of Wisconsin - Madison（威斯康星大学麦迪逊分校）
该研究刻画了离线多智能体强化学习的数据投毒攻击，提出唯一纳什集概念，通过线性规划高效计算最优投毒策略，为设计鲁棒MARL算法奠定基础。
2024-06-18 cs.AI cs.CR cs.GT
Near-Optimal Policy Optimization for Correlated Equilibrium in General-Sum Markov Games
Yale University（耶鲁大学）；University of Southern California（南加州大学）；University of Virginia（弗吉尼亚大学）
本文针对一般和马尔可夫博弈中的相关均衡计算问题，提出一种结合平滑值更新与乐观跟随正则化领导者算法的无耦合策略优化方法，将收敛速率提升至近最优水平。
2024-05-01 cs.GT cs.LG math.OC
Achieving Logarithmic Regret in KL-Regularized Zero-Sum Markov Games
Carnegie Mellon University（卡内基梅隆大学）；Yale University（耶鲁大学）
本文提出OMG和SOMG算法，在KL正则化下实现对数遗憾，提升样本效率。
2026-02-04 cs.GT cs.LG math.OC
Empirical Policy Optimization for $n$-Player Markov Games
在单主体马尔可夫决策过程中，主体可以根据与环境的交互来优化其策略。然而，在多人马尔可夫博弈中，由于其他参与人的行为，交互是非平稳的，因此代理没有固定的优化目标。在本文中，我们把局中人策略的演化视为一个动态过程，并提出了一个新的学习方案的纳什均衡。其核心是不仅根据当前游戏中的表现，而且还根据历史上的表现来制定策略。我们表明，对于各种MG，玩家在我们的学习计划将证明收敛到一个点，这是一个近似的纳什均衡。结合神经网络，我们开发了\emph{empirical policy optimization}算法，该算法在一个学习框架中实现，并以分布式方式运行，每个玩家根据自己的观察优化其策略。我们用两个数值例子来验证小规模的MG与$n\ge 2$球员的收敛性，和一个乒乓球的例子来显示我们的算法在大型游戏的潜力。
2021-10-18 cs.GT
Learning Two-Player Mixture Markov Games: Kernel Function Approximation and Correlated Equilibrium
University of California, Berkeley（加州大学伯克利分校）；University of California, Los Angeles（加州大学洛杉矶分校）
研究了具有非线性函数逼近的两人零和马尔可夫博弈的纳什均衡学习问题，其中作用价值函数由再生核希尔伯特空间（RKHS）中的函数逼近.关键的挑战是如何在高维函数空间中进行探索。我们提出了一种新的在线学习算法，以找到一个纳什均衡通过最小化的对偶差距。我们算法的核心是置信上限和置信下限，它们是基于面对不确定性时的乐观原则得出的。我们证明了我们的算法是能够达到一个$O(\sqrt{T})$遗憾多项式计算复杂性，非常温和的假设下的奖励函数和潜在的动态马尔可夫游戏。我们还提出了我们的算法的几个扩展，包括一个算法与伯恩斯坦型奖金，可以实现更严格的遗憾界，和另一种算法模型误指定，可应用于神经函数逼近。
2022-08-10 cs.AI cs.GT cs.LG
Convergence of Fast Policy Iteration in Markov Games and Robust MDPs
University of New Hampshire（新罕布什尔大学）；Naval Postgraduate School（海军研究生学院）
针对马尔可夫博弈与鲁棒MDPs的鞍点策略计算问题，指出FT算法存在收敛失效问题，提出基于FT的残差条件策略迭代（RCPI）算法，保证收敛到鞍点且性能远超其他收敛算法。
2025-11-16 cs.GT
