Minimally Modifying a Markov Game to Achieve Any Nash Equilibrium and Value
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）；Cornell University（康奈尔大学）
研究零和马尔可夫博弈修改问题，通过最小化成本修改奖励函数使目标策略成为唯一纳什均衡，提出基于凸优化的高效算法并给出成功安装的充要条件。
2024-08-24 cs.AI cs.GT
Independent Learning of Nash Equilibria in Partially Observable Markov Potential Games with Decoupled Dynamics
SYCAMORE, EPFL（SYCAMORE，瑞士联邦理工学院）
本文研究了在可部分观测马尔可夫博弈（POMG）中纳什均衡的学习问题，提出了一种独立学习算法，通过不通信的方式，使玩家在仅观察自身动作和观测的情况下，联合收敛到近似纳什均衡，从而实现高效的样本和计算复杂度。
2026-11-10 cs.GT cs.LG cs.MA
Last-Iterate Convergence of Policy Dynamics in Zero-Sum Networked Separable Markov Games
Peking University（北京大学）
针对零和网络化可分离马尔可夫博弈，提出熵正则化乐观乘法权重更新算法，实现末次迭代近似纳什均衡，并证明近线性收敛速率。
2026-10-08 cs.GT
Deep Fictitious Play for Finding Markovian Nash Equilibrium in Multi-Agent Games
Princeton University（普林斯顿大学）；Columbia University（哥伦比亚大学）
我们提出了一种基于深度神经网络的算法来识别一般大型$N$ -玩家随机微分对策的马尔可夫纳什均衡。根据虚拟游戏的思想，我们将$N$ -玩家游戏转换为$N$解耦的判定问题（每个玩家一个）并迭代求解。个人判定问题的特点是一个半线性Hamilton-Jacobi-Bellman方程，我们采用最近发展的深度Boundary方法来解决。由此产生的算法可以解决大型$N$玩家的游戏，传统的数值方法将遭受灾难的维数。多个数值例子涉及相同或异构代理，风险中性或风险敏感的目标，进行测试，以验证所提出的算法在大型群体游戏的准确性。即使是一个50人的游戏存在共同的噪音，该算法仍然找到近似的纳什均衡准确，这是据我们所知，很难实现的其他数值算法。
2020-06-05 cs.GT cs.LG math.OC
Provably Learning Nash Policies in Constrained Markov Potential Games
ETH Zurich（苏黎世联邦理工学院）；ETH AI Center（苏黎世联邦理工学院人工智能中心）
针对安全多智能体强化学习中约束马尔可夫博弈难求解的问题，提出约束马尔可夫势博弈框架及坐标上升算法CA-CMPG，证明其在表格有限场景下收敛到Nash策略并给出首个未知场景的样本复杂度界。
2023-06-13 cs.GT cs.LG cs.MA
Can Reinforcement Learning Find Stackelberg-Nash Equilibria in General-Sum Markov Games with Myopic Followers?
Peking University（北京大学）；Princeton University（普林斯顿大学）；Northwestern University（西北大学）；UC Berkeley（加州大学伯克利分校）
本文研究了多人一般和马氏对策，其中一个人被指定为领导者，其他人被视为追随者。特别是，我们专注于一类游戏的追随者是近视，即，他们的目标是最大化他们的即时回报。对于这样的博弈，我们的目标是找到一个斯塔克伯格-纳什均衡（SNE），它是一个策略对$(π^*, ν^*)$，使得（i）当跟随者总是采取他们的最佳对策时，$π^*$是领导者的最优策略，（ii）$ν^*$是跟随者的最佳对策，这是由$π^*$诱导的跟随者博弈的纳什均衡。我们开发了样本高效的强化学习（RL）算法，用于在线和离线设置中求解SNE。我们的算法是乐观和悲观的最小二乘值迭代的变种，他们很容易能够将函数逼近工具在大的状态空间的设置。此外，对于线性函数逼近的情况，我们证明了我们的算法分别在在线和离线设置下实现次线性遗憾和次最优。据我们所知，我们建立了第一个可证明有效的RL算法求解SNE在一般和马尔可夫游戏近视的追随者。
2021-12-27 cs.GT cs.LG stat.ML
Learning Closed-Loop Parametric Nash Equilibria of Multi-Agent Collaborative Field Coverage
Department of Electrical, Computer, and Systems Engineering, Rensselaer Polytechnic Institute（电气、计算机与系统工程系，罗切斯特理工学院）
针对多智能体强化学习的非平稳与耦合难题，证明多智能体协同区域覆盖可建模为马尔可夫势博弈，通过求解等价单目标最优控制问题学习参数化闭环纳什均衡，训练速度较博弈论基线快10倍且执行收敛更快。
2025-10-06 cs.GT cs.MA cs.RO
Nash Equilibria for Stochastic Games with Asymmetric Information-Part 1: Finite Games
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对多个控制器具有不同信息访问权限的随机博弈，通过公共信息将其转化为对称信息博弈，并识别马尔可夫状态，提出基于公共信息的马尔可夫完美均衡及其逆向归纳算法。
2012-09-17 cs.GT cs.SY eess.SY
Convex Markov Games and Beyond: New Proof of Existence, Characterization and Learning Algorithms for Nash Equilibria
Singapore University of Technology and Design（新加坡科技设计大学）；University of California Irvine, USA（加州大学 Irvine 分校）；Centre for Quantum Technologies, National University of Singapore（新加坡国立大学量子中心）；Archimedes/Athena Research Center, Greece（阿基米德/雅典娜研究中心）
本文提出通用效用马尔可夫游戏（GUMGs）理论框架，证明Nash均衡的存在性与一阶静态点一致，并设计无模型策略梯度算法，扩展了传统cMGs的理论边界。
2026-02-12 cs.GT cs.LG cs.MA
Complexity Results about Nash Equilibria
非合作博弈论为分析战略互动提供了一个规范性的框架。但是，要使工具箱可操作，必须计算它定义的解决方案。在本文中，我们提供了一个单一的约简，1）证明了确定具有某些自然属性的纳什均衡是否存在的NP-困难，2）证明了计数纳什均衡（或纳什均衡的连通集）的#P-困难。我们还表明，3）确定是否存在纯策略贝叶斯-纳什均衡是NP-难的，和4）确定是否存在纯策略纳什均衡在随机（马尔可夫）游戏是PSPACE-难的，即使游戏是不可见的（这仍然是NP-难的，如果游戏是有限的）。即使只有两个参与者且博弈是对称的，我们所有的硬度结果也成立。保留字：纳什均衡;博弈论;计算复杂性;非合作博弈论;范式对策;随机博弈;马尔可夫博弈;贝叶斯-纳什均衡;多智能体系统。
2002-05-28 cs.CC cs.GT cs.MA
Efficiently Computing Nash Equilibria in Adversarial Team Markov Games
University of California, Irvine（加州大学欧文分校）；Carnegie Mellon University（卡内基梅隆大学）；Columbia University（哥伦比亚大学）；University of California, Santa Cruz（加州大学圣克鲁兹分校）
纳什均衡策略的求解是多智能体强化学习的核心问题，在理论和实践中都受到了广泛的关注。然而，迄今为止，可证明的保证要么仅限于完全竞争或合作的情况，要么强加了在大多数实际应用中难以满足的强有力的假设。在这项工作中，我们离开这些先前的结果调查无限地平线\emph{adversarial team Markov games}，一个自然的和动机良好的一类游戏中，一队同样感兴趣的球员-在没有任何明确的协调或沟通-是竞争对手的球员。这种设置允许零和马尔可夫博弈和马尔可夫势博弈的统一处理，并作为一个步骤，以模拟更现实的战略互动，同时具有竞争和合作的利益。我们的主要贡献是第一个算法计算平稳$ε$ -近似纳什均衡的对抗团队马尔可夫游戏的计算复杂性是多项式的所有自然参数的游戏，以及$1/ε$。所提出的算法是特别自然和实用的，它是基于执行独立的策略梯度步骤，为每个球员在团队中，在串联与最佳对策从对手的一方，反过来，对手的政策，然后通过求解一个精心构造的线性规划。我们的分析利用非标准的技术来建立KKT最优性条件的非凸约束的非线性规划，从而导致自然的解释诱导拉格朗日乘子。一路上，我们显着扩展了对抗（正常形式）团队游戏中的最优策略的重要特征，由于Von Stengel和Koller（GEB '97）。
2022-08-03 cs.GT cs.LG cs.MA
Empirical Policy Optimization for $n$-Player Markov Games
在单主体马尔可夫决策过程中，主体可以根据与环境的交互来优化其策略。然而，在多人马尔可夫博弈中，由于其他参与人的行为，交互是非平稳的，因此代理没有固定的优化目标。在本文中，我们把局中人策略的演化视为一个动态过程，并提出了一个新的学习方案的纳什均衡。其核心是不仅根据当前游戏中的表现，而且还根据历史上的表现来制定策略。我们表明，对于各种MG，玩家在我们的学习计划将证明收敛到一个点，这是一个近似的纳什均衡。结合神经网络，我们开发了\emph{empirical policy optimization}算法，该算法在一个学习框架中实现，并以分布式方式运行，每个玩家根据自己的观察优化其策略。我们用两个数值例子来验证小规模的MG与$n\ge 2$球员的收敛性，和一个乒乓球的例子来显示我们的算法在大型游戏的潜力。
2021-10-18 cs.GT
Near-Optimal Last-iterate Convergence of Policy Optimization in Zero-sum Polymatrix Markov games
针对有限时域多人零和多矩阵 Markov 博弈，提出 ER-OMWU 单循环策略优化算法，以近最优的 $\ ilde{O}(1/ε)$ 最后迭代复杂度求得 $ε$-近似 Nash 均衡。
2023-08-16 cs.GT
Can We Find Nash Equilibria at a Linear Rate in Markov Games?
Fudan University（复旦大学）；Princeton University（普林斯顿大学）；Yale University（耶鲁大学）
我们研究了两个玩家零和折扣马尔可夫博弈中的分散学习，其目标是为满足两个属性的任何一个代理设计一个策略优化算法。首先，玩家不需要知道对手的策略来更新其策略。第二，当双方都采用该算法时，他们的联合策略收敛到博弈的一个纳什均衡。为此，我们构建了一个Meta算法，称为$\texttt{Homotopy-PO}$，可证明发现一个纳什均衡在一个全球性的线性速率。特别地，$\texttt{Homotopy-PO}$通过同伦延拓交织两个基本算法$\texttt{Local-Fast}$和$\texttt{Global-Slow}$。$\texttt{Local-Fast}$是一种局部线性收敛的算法，而$\texttt{Global-Slow}$是一种全局收敛但次线性速度较慢的算法。通过在这两个基本算法之间切换，$\texttt{Global-Slow}$基本上充当"向导“，其识别$\texttt{Local-Fast}$享有快速收敛的良性邻域。然而，由于这样的邻域的确切大小是未知的，我们应用加倍技巧来在这两个基本算法之间切换。切换方案被精心设计，使得算法的聚合性能由$\texttt{Local-Fast}$驱动。此外，我们证明了$\texttt{Local-Fast}$和$\texttt{Global-Slow}$都可以实例化的乐观梯度下降/上升（OGDA）方法，这是独立的利益的变种。
2023-03-03 cs.GT cs.LG math.OC
A three-person deterministic graphical game without Nash equilibria
我们给出了一个三人确定性图形游戏的例子，在纯静态策略中没有纳什均衡。游戏有七个位置，四个结果（一个唯一的循环和三个终端位置），其范式的大小只有2 x 2 x 4。因此，我们的例子大大加强了Gurvich和Oudalov在2014年得到的结果;后者有四个参与者，五个终端，以及一个2 x 4 x 6 x 8的范式。此外，我们的例子在玩家数量方面是最小的。这两个例子都是紧的，但不是纳什可解的。这样的例子自1975年以来就被人们所知，但它们与确定性图形游戏无关。此外，由于我们的例子规模较小，我们可以通过证明它不仅在纯策略中而且在独立混合策略中都没有纳什均衡来进一步加强它，对于马尔可夫和先验评估。
2017-07-23 cs.GT
Beyond Theorems: A Counterexample to Potential Markov Game Criteria
针对Mguni等人提出的放宽版马尔可夫势博弈必要条件下可高效计算确定性纳什均衡的主张，本文通过构造反例对其进行了反驳。
2024-05-13 cs.GT cs.MA
High-Probability Nash Regret for Decentralized Learning in Markov $α$-Potential Games: Episodic and Fully Online Asynchronous Algorithms with Applications to Markov Congestion Games
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对马尔可夫α-势博弈，提出KL投影自然策略梯度算法，在情节式和完全在线异步设置下实现高概率纳什遗憾界，消除分布不匹配系数，并应用于马尔可夫拥塞博弈的在线作业调度。
2026-09-15 cs.GT cs.LG cs.MA
Mutual cooperation and tolerance to defection in the context of socialization: the theoretical model and experimental evidence
对人类合作性质的研究仍有一些空白需要调查。之前的研究结果表明，社会化有效地促进了著名的囚徒困境（PD）游戏中的合作。然而，理论概念无法描述经验观察到的高水平合作（概率高于50%）。在本文中，我们推导出一个对称的量子响应均衡（QRE）在PD的马尔可夫策略和测试它对实验数据。我们的研究结果表明，低水平的合理性，QRE管理描述高合作。相反，对于高理性，QRE收敛于纳什均衡，并描述了参与者的低合作行为。在中等理性的区域，QRE匹配表示马尔可夫策略中的纳什均衡集的曲线。此外，我们发现，QRE作为一个分界线的行为之前和之后的社会化，根据实验数据。最后，我们成功地突出了理论预测的交叉点的纳什均衡集的马尔可夫策略和QRE曲线。
2022-03-18 cs.GT physics.soc-ph
Game-Theoretic Understandings of Multi-Agent Systems with Multiple Objectives
University of Central Florida（中佛罗里达大学）；University of Texas at Arlington（德克萨斯大学阿灵顿分校）
本文提出多目标马尔可夫博弈 MOMG 与 Pareto-Nash 均衡概念，证明其存在性及与线性标量化博弈 Nash 均衡的等价性，并给出在线学习和无需偏好的两阶段算法以高效刻画整个 Pareto-Nash 前沿。
2026-10-11 cs.GT cs.MA
Corruption-Robust Offline Two-Player Zero-Sum Markov Games
University of Warwick（华威大学）
研究离线双人零和马尔可夫博弈中数据腐败的鲁棒性，提出鲁棒悲观极小极大值迭代算法，在腐败数据或仅干净数据覆盖下实现近最优次优性差距，首次给出此类问题的刻画。
2024-03-04 cs.GT cs.LG
Online Learning for Uninformed Markov Games: Empirical Nash-Value Regret and Non-Stationarity Adaptation
University of Washington（华盛顿大学）；University of Southern California（南加州大学）；Hong Kong University of Science and Technology（香港科学与技术大学）
本文提出了一种参数无关算法，通过经验纳什价值遗憾度量，在对手非平稳性适应下实现O(min{√K + (CK)^{1/3},√LK})的遗憾界。
2026-02-06 cs.GT cs.LG stat.ML
Actor-Critic Provably Finds Nash Equilibria of Linear-Quadratic Mean-Field Games
Northwestern University（西北大学）；Princeton University（普林斯顿大学）；Georgia Institute of Technology（佐治亚理工学院）
我们研究离散时间平均场马尔可夫博弈与无限数量的代理，每个代理的目标是最小化其遍历成本。我们认为设置代理具有相同的线性状态转换和二次费用函数，而代理的聚集效应被捕获的人口平均他们的状态，即平均场状态。对于这样的博弈，基于纳什确定性等价原理，给出了其纳什均衡存在唯一的充分条件。此外，为了找到纳什均衡，我们提出了一个平均场的线性函数近似的行动者-评论家算法，它不需要知道的动力学模型。具体来说，在我们的算法的每次迭代中，我们使用单代理actor-critic算法来近似地获得每个代理的最优策略给定当前的平均场状态，然后更新平均场状态。特别是，我们证明了我们的算法收敛到纳什均衡的线性速率。据我们所知，这是第一次成功地将无模型强化学习与函数逼近应用于离散时间平均场马尔可夫博弈，并具有可证明的非渐近整体收敛保证。
2019-10-16 cs.GT cs.LG cs.MA
The Complexity of Computing Coarse Correlated Equilibria in Markov Games with a Single Controller
Massachusetts Institute of Technology（麻省理工学院）；National Technical University of Athens（雅典国立技术大学）；Archimedes, Athena Research Center（阿基米德，雅典研究中心）；University of California, Irvine（加州大学尔湾分校）；National and Kapodistrian University of Athens（雅典国家与卡波迪斯特里阿斯大学）
研究两人单控制器随机博弈中计算近似平稳马尔可夫粗相关均衡的复杂性，证明其为PPAD - 完全，不依赖均衡坍缩或类似纳什结构，通过构造单控制器小装置，在不同精度要求下得出难性结论。
2026-07-14 cs.CC cs.GT
Common Information based Markov Perfect Equilibria for Linear-Gaussian Games with Asymmetric Information
University of Southern California（南加州大学）；Coordinated Science Laboratory at the University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校联合科学实验室）
本文研究了具有不对称信息的线性高斯博弈，提出基于公共信息的马尔可夫完美均衡概念，通过求解线性方程组计算均衡，并讨论了二次成本函数下的唯一性及与其他纳什均衡的区别。
2014-01-20 cs.GT cs.SY eess.SY
Dynamics and Convergences for Markov Coevolutionary Opinion Formation Games in Dynamic Social Networks
National Yang Ming Chiao Tung University（国立阳明交通大学）；Academia Sinica（中央研究院）；National Taiwan Ocean University（国立台湾海洋大学）；New Jersey Institute of Technology（新泽理工学院）；National Chung Hsin University（国立中兴大学）
研究动态社交网络中K-NN马尔可夫博弈的收敛性，整合多智能体强化学习和在线学习技术，分析乐观梯度上升算法在一般和马尔可夫博弈中的收敛情况，得出较弱意义上收敛到近似纳什均衡的结果。
2026-08-10 cs.GT
Convex-Concave Zero-sum Markov Stackelberg Games
针对连续状态与动作空间的零和 Markov Stackelberg 博弈，提出基于含噪轨迹梯度的策略梯度方法，证明凸-凹情形下多项式时间收敛，并说明其在 reach-avoid 问题中优于 Nash 策略。
2024-01-23 cs.GT
A Deep Reinforcement Learning Approach for Finding Non-Exploitable Strategies in Two-Player Atari Games
Princeton University（普林斯顿大学）
本文提出了新的端到端深度强化学习算法，用于学习两人零和马尔可夫博弈。不同于以往的努力，训练代理击败一组固定的对手，我们的目标是找到纳什均衡政策，甚至从剥削的敌对对手。我们提出了（a）Nash-DQN算法，该算法将单个DQN的深度学习技术集成到求解表格马尔可夫博弈的经典Nash Q-学习算法中;（b）Nash-DQN-Exploiter算法，该算法额外采用一个Exploiter来指导主Agent的探索。我们进行实验评估表格的例子，以及各种两个球员雅达利游戏。我们的实证结果表明，（i）通过许多现有方法（包括神经虚拟自玩和策略空间响应Oracle）发现的策略可能容易被敌对对手利用;（ii）我们算法的输出策略对利用具有鲁棒性，因此优于现有方法。
2023-03-07 cs.AI cs.GT cs.LG
Learning in Zero-Sum Markov Games: Relaxing Strong Reachability and Mixing Time Assumptions
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
针对无限 horizon 零和马尔可夫博弈中基于收益的去中心化学习问题，提出引入 Tsallis 熵正则化的收敛算法，放宽强可达性与混合时间假设，仅需单一有界策略即可确保有限时间收敛至近似纳什均衡。
2025-02-10 cs.GT cs.LG
Scalable and Independent Learning of Nash Equilibrium Policies in $n$-Player Stochastic Games with Unknown Independent Chains
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文针对具有独立链和未知转移矩阵的n人随机博弈，提出一种基于占用测度对偶形式与置信集的去中心化镜像下降算法，在温和假设下以多项式时间高概率收敛到ε-纳什均衡策略。
2023-12-04 cs.GT cs.LG
Roping in Uncertainty: Robustness and Regularization in Markov Games
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文研究s-矩形不确定性的鲁棒马尔可夫博弈，建立鲁棒纳什均衡与正则化博弈纳什均衡的等价性，并针对一般情形证明PPAD难，进而提出高效玩家可分解性结构，使两人零和RMG可在多项式时间内求解。
2024-06-13 cs.DS cs.GT cs.LG
Independent Learning in Constrained Markov Potential Games
ETH Zürich（苏黎世联邦理工学院）
针对约束 Markov 势博弈，提出无需集中协调的独立策略梯度算法，结合正则化约束集的邻近点更新与随机切换梯度求解，并证明其收敛至近似约束 Nash 均衡。
2024-02-27 cs.GT cs.LG cs.MA
PAC Reinforcement Learning Algorithm for General-Sum Markov Games
University of Delaware（特拉华大学）
本文提出了一个理论框架，可能近似正确（PAC）的多智能体强化学习（MARL）算法的马尔可夫博弈。本文利用延迟Q学习的思想，对著名的Nash Q-学习算法进行了扩展，建立了一种新的求解一般和马尔可夫对策的PAC MARL算法。除了指导可证明的PAC MARL算法的设计外，该框架还可以检查任意MARL算法是否是PAC。比较数值结果表明性能和鲁棒性。
2020-09-05 cs.GT cs.LG math.OC
Markov $α$-Potential Games
Imagination Corp.（想象力公司）；Fictional University（虚构大学）
本文提出了 Markov $α$-势博弈框架来研究有限状态和动作的 Markov 博弈，证明了 $α$-势函数优化器即为 $α$-平稳纳什均衡，并分析了两种实际博弈类别与两种均衡近似算法的 Nash 后悔。
2025-04-01 cs.AI cs.GT cs.MA
Global Convergence of Multi-Agent Policy Gradient in Markov Potential Games
SUTD（新加坡科技设计大学）；UC Irvine（加州大学尔湾分校）
本文提出马尔可夫势博弈的新定义，揭示其与规范形式势博弈的关键差异，并证明独立策略梯度在多智能体设置下能快速收敛到纳什策略。
2025-09-23 cs.GT cs.LG
Learning Two-Player Mixture Markov Games: Kernel Function Approximation and Correlated Equilibrium
University of California, Berkeley（加州大学伯克利分校）；University of California, Los Angeles（加州大学洛杉矶分校）
研究了具有非线性函数逼近的两人零和马尔可夫博弈的纳什均衡学习问题，其中作用价值函数由再生核希尔伯特空间（RKHS）中的函数逼近.关键的挑战是如何在高维函数空间中进行探索。我们提出了一种新的在线学习算法，以找到一个纳什均衡通过最小化的对偶差距。我们算法的核心是置信上限和置信下限，它们是基于面对不确定性时的乐观原则得出的。我们证明了我们的算法是能够达到一个$O(\sqrt{T})$遗憾多项式计算复杂性，非常温和的假设下的奖励函数和潜在的动态马尔可夫游戏。我们还提出了我们的算法的几个扩展，包括一个算法与伯恩斯坦型奖金，可以实现更严格的遗憾界，和另一种算法模型误指定，可应用于神经函数逼近。
2022-08-10 cs.AI cs.GT cs.LG
Distributionally Robust Markov Games with Average Reward
University of Central Florida（中佛罗里达大学）
提出平均奖励准则下的分布鲁棒马尔可夫博弈（DR-MG）框架，通过鲁棒贝尔曼方程证明平稳纳什均衡存在性，设计两种收敛算法，并证明折扣因子趋近1时均衡可近似。
2026-06-23 cs.GT cs.MA
Epsilon-Nash Equilibria in History-Dependent SA-MDPs
Department of Engineering Science, University of Oxford（牛津大学工程科学系）；Department of Computer Science, University of Oxford（牛津大学计算机科学系）
本文研究历史依赖型状态对抗马尔可夫决策过程，证明通用历史依赖均衡策略不存在，并提出计算初始状态依赖ε-纳什均衡的首个算法，通过约简为约束零和部分可观测随机博弈，在小型及Atari基准上验证了可扩展性。
2026-09-17 cs.CR cs.GT
Using Simulated Annealing to Calculate the Trembles of Trembling Hand Perfection
在非合作博弈论的文献中，已经有一些尝试提出计算纳什均衡的对数。而不是推导出一个新的算法，本文表明，家庭的算法称为马尔可夫链蒙特卡罗（MCMC）可以用来计算纳什均衡。MCMC是一种蒙特卡洛模拟，它依赖于马尔可夫链来确保其规则性条件。MCMC在统计学和优化文献中得到了广泛的应用，该算法的变体被称为模拟退火。本文表明，有一个有趣的连接之间的颤抖，该算法的运作和纳什细化类型的颤抖的手被称为完美。
2003-09-10 cs.CC cs.DS cs.GT
Coevolutionary Genetic Algorithms for Establishing Nash Equilibrium in Symmetric Cournot Games
Technical University of Crete（克里特理工大学）
我们使用协同进化的遗传算法模拟球员的学习过程中的古诺模型，并评估他们的收敛到纳什均衡。我们介绍的两种共同进化算法的“社会学习”版本在这些模型中建立了纳什均衡，与之相反的是“个体学习”版本，正如我们在这里看到的，并不意味着玩家的策略收敛到纳什结果。当博弈者使用“规范协同进化遗传算法“作为学习算法时，博弈过程是一个遍历马尔可夫链，因此我们使用相关方法和更一般的统计检验来分析模拟结果，发现在“社会”情况下，导致NE博弈的状态在链的平稳分布处非常频繁，与“个体学习”情况相反，当在我们的模拟中根本没有达到NE时，发现在极限分布处的状态与“NE状态”的预期汉明距离在“社会”中比在“个体学习情况”中显著更小;为了估计“社交”算法需要到达“NE状态”的预期时间，并验证它们的鲁棒性，最后证明大部分博弈确实处于纳什均衡。
2009-05-22 cs.GT cs.LG
Fast Planning in Stochastic Games
AT&T Labs（AT&T实验室）；Tel Aviv University（特拉维夫大学）
随机游戏将马尔可夫决策过程（MDP）推广到多智能体环境，允许状态转换共同依赖于所有玩家的行为，并在每个状态下由多人矩阵游戏确定奖励。我们考虑在随机博弈中计算纳什均衡的问题，类似于MDP中的规划。首先，我们提供了一个推广的有限时域值迭代计算的纳什策略，为每个球员在generalsum随机游戏。该算法采用任意的纳什选择函数作为输入，它允许将多个纳什均衡之间的局部选择转化为单个全局纳什均衡的选择。我们的主要技术成果是一个算法计算近纳什均衡在大型或无限的状态空间。该算法建立在我们的有限时域值迭代算法的基础上，并将Kearns，Mansour和Ng（1999）的稀疏采样方法应用于随机博弈。最后给出了一个反例，证明了在零和情形下Shapely收敛的无穷时域折现值迭代（本文的结果作了一点推广）在一般和情形下不收敛.
2013-01-16 cs.AI cs.GT
Independent Policy Gradient for Large-Scale Markov Potential Games: Sharper Rates, Function Approximation, and Game-Agnostic Convergence
University of Southern California（南加州大学）；Massachusetts Institute of Technology（麻省理工学院）
研究了马尔可夫势博弈中多智能体强化学习（RL）问题的策略梯度方法的全局非渐近收敛性.为了学习纳什均衡的MPG中的状态空间的大小和/或玩家的数量可以是非常大的，我们提出了新的独立的策略梯度算法，是由所有玩家串联运行。当梯度评估中没有不确定性时，我们证明了我们的算法找到了具有$O(1/ε^2)$迭代复杂度的$ε$ -纳什均衡，该迭代复杂度不显式地依赖于状态空间大小。当精确的梯度是不可用的，我们建立$O(1/ε^5)$样本复杂性界在一个潜在的无限大的状态空间的基于样本的算法，利用函数逼近。此外，我们确定了一类独立的策略梯度算法，享有收敛的零和马尔可夫游戏和马尔可夫合作游戏的球员，是不知道正在玩的游戏类型。最后，我们提供了计算实验来证实我们的理论发展的优点和有效性。
2022-08-04 cs.GT cs.LG cs.MA
Provable Policy Gradient Methods for Average-Reward Markov Potential Games
Texas A&M University（德克萨斯农工大学）；Univeristy of California, LA（加州大学洛杉矶分校）
该研究针对平均回报马尔可夫势博弈，证明了多种策略梯度算法的全局收敛性，给出了时间与样本复杂度分析，并通过仿真验证了相关结论。
2024-03-09 cs.GT cs.LG
Independent Policy Mirror Descent for Markov Potential Games: Scaling to Large Number of Players
ETH Zurich（苏黎世联邦理工学院）
针对多智能体强化学习中纳什均衡学习算法难适配大量智能体的问题，提出带KL正则化的独立策略镜像下降算法，将迭代复杂度与智能体数的依赖从线性降至√N，且与动作空间规模无关。
2024-08-15 cs.GT cs.LG cs.MA
Indirect Dynamic Negotiation in the Nash Demand Game
Czech University of Life Sciences（捷克生命科学大学）；The Czech Academy of Sciences（捷克科学院）；Czech Technical University（捷克技术大学）
本文针对不完全信息下的序贯双边讨价还价问题，提出一种基于贝叶斯学习和马尔可夫决策过程的间接动态谈判决策模型，并在纳什需求博弈中验证其能协调行动、提高成功率并增加个体收益。
2024-09-10 cs.AI cs.GT math.OC
Bounding Fixed Points of Set-Based Bellman Operator and Nash Equilibria of Stochastic Games
受马尔可夫决策过程和随机博弈中参数不确定性的影响，在集合框架下研究了参数不确定性对Bellman算子算法的影响.具体来说，我们首先考虑一个家庭的MDP的成本参数是在一个给定的紧凑集，然后我们定义一个贝尔曼算子作用于一组价值函数，以产生一组新的价值函数作为输出下的成本参数的所有可能的变化。我们证明了这个基于集合的Bellman算子的不动点的存在性，证明了它在完备度量空间上是压缩的，并探讨了它与相应的MDP族和随机博弈的关系。此外，我们还证明了在给定区间集有界费用参数的情况下，我们可以在最优价值函数集上形成精确的界。最后，我们利用我们的结果来限制的价值函数轨迹的局中人在随机博弈。
2020-10-10 cs.GT math.OC
Markov Games with Decoupled Dynamics: Price of Anarchy and Sample Complexity
本文研究动态解耦但奖励可耦合的马尔可夫博弈，引入平滑性概念界定无政府代价，并为马尔可夫势博弈提出可证明收敛至纳什均衡的分布式学习算法MA-SPI及样本复杂度。
2023-04-07 cs.GT math.OC
Equilibria, Fixed Points, and Complexity Classes
来自不同领域的许多模型都涉及到某种平衡点或不动点的计算。例子包括游戏中的纳什均衡;市场均衡;计算最优策略和竞争游戏（随机和其他游戏）的值;神经网络的稳定配置;分析基本的随机模型，如分支过程和语言，如随机上下文无关文法;以及模型，包括概率和递归的基本原语，如递归马尔可夫链。这些问题是否能在多项式时间内解决还不知道。不同类型的均衡背后有一些共同的计算原则，这些原则被复杂性类PLS、PPAD和FIXP捕获。这些类的代表完整的问题分别是，纯纳什均衡的游戏，他们保证存在，（混合）纳什均衡2-玩家范式游戏，（混合）纳什均衡在范式游戏与3（或更多）的球员。本文回顾了基本的计算原理和相应的类。
2008-02-20 cs.CC cs.GT
Approximating Nash Equilibrium in Random Graphical Games
Massachusetts Institute of Technology（麻省理工学院）
计算多智能体博弈中的纳什均衡是博弈论和计算机科学之间的一个长期挑战。众所周知，N个参与人和k个策略的一般范式博弈需要指数空间来简单地写下。这种多智能体的诅咒促进了对简洁游戏的研究，这些游戏可以有效地写下来。一个简洁游戏的典型例子是图形游戏，它将玩家建模为图中的节点，只与他们的邻居相互作用，直接类比于马尔可夫随机场。图形游戏已经在无线、金融和社交网络中得到应用。然而，计算图形游戏的纳什均衡已被证明具有挑战性。即使对于多矩阵博弈，一个代理人的收益可以写为与代理人的邻居相互作用的收益之和的模型，它已被证明，计算一个近似的纳什均衡是PPAD很难为小于一个常数。这项工作的重点是通过考虑平均情况图模型，即随机图来规避这种计算难度。本文给出了一个拟多项式时间近似方案（QPTAS），用于计算边密度大于poly（k，1/n，ln（N））$的随机图上的多项式矩阵对策的高概率近似纳什均衡.此外，在相同的运行时间内，我们可以计算出一个ε-近似的纳什均衡，该均衡ε-近似于博弈中任何纳什均衡的最大社会福利。我们的主要技术创新是“加速舍入”的一个新的层次凸计划的纳什均衡问题。我们的加速舍入也产生了更快的算法Max-2CSP在同一个家庭的随机图，这可能是独立的利益。
2021-12-07 cs.DS cs.GT cs.LG
Minimax-Optimal Multi-Agent RL in Markov Games With a Generative Model
University of Pennsylvania（宾夕法尼亚大学）；Carnegie Mellon University（卡内基梅隆大学）
本文研究了马尔可夫博弈中的多智能体强化学习，目标是学习纳什均衡或粗相关均衡（CCE）样本最优。所有先前的结果遭受至少两个障碍之一：多个代理人的诅咒和长视野的障碍，无论使用的采样协议。我们采取一个步骤来解决这个问题，假设访问一个灵活的采样机制：生成模型。针对非平稳有限时域马尔可夫博弈，我们开发了一种快速学习算法\myalg ~和一种自适应采样方案，该方案利用在线对抗学习中的乐观原则（特别是Follow-the-Regularized-Leader（FTRL）方法）。我们的算法在一般和马尔可夫博弈中使用$$ \widetilde{O}\bigg( \frac{H^4 S \sum_{i=1}^m A_i}{\varepsilon^2} \bigg) $$样本学习$\varepsilon$ -近似CCE，其中$m$是玩家的数量，$S$表示状态的数量，$H$是地平线，$A_i$表示第$i$玩家的动作数量。当玩家数量固定时，这是最小最大最优的（直到对数因子）。当应用到两个球员零和马尔可夫游戏，我们的算法证明找到一个$\varepsilon$ -近似纳什均衡与最小样本。一路上，我们得到一个精致的遗憾界FTRL，明确的方差型量的作用，这可能是独立的利益。
2022-10-12 cs.GT cs.IT cs.LG
$O(T^{-1})$ Convergence of Optimistic-Follow-the-Regularized-Leader in Two-Player Zero-Sum Markov Games
University of Chicago（芝加哥大学）
我们证明了乐观跟随正则化领导者（OFTRL），连同光滑的值更新，发现一个$O(T^{-1})$ -近似纳什均衡在$T$迭代的两个球员零和马尔可夫游戏的充分信息。这提高了最近在Zhang等人（2022）的论文中显示的$\tilde{O}(T^{-5/6})$收敛速度。精确的分析取决于两个基本要素。首先，两个参与者的遗憾之和，虽然不一定像正规型博弈那样为非负，但在马尔可夫博弈中近似为非负。这个属性允许我们限制学习动态的二阶路径长度。其次，我们证明了一个更严格的代数不等式部署OFTRL的权重剃一个额外的$\log T$因素。这一关键改进使得能够进行归纳分析，从而得出最终的$O(T^{-1})$速率。
2023-02-09 cs.GT cs.LG
Zero-Sum Semi-Markov Games with State-Action-Dependent Discount Factors
半马尔可夫模型是随机动态系统的最一般模型之一。本文研究半马氏过程的二人零和对策。我们专注于期望贴现支付准则与国家行动依赖的折扣因子。状态空间和动作空间都是波兰空间，支付函数是$ω$ -有界的。我们首先在一个给定的半马尔可夫核和一对策略下构造了一个相当一般的半马尔可夫博弈模型。其次，基于半马尔可夫对策的标准正则性条件和连续紧性条件，在半马尔可夫核上导出了一个“漂移条件”，并假设折扣因子有一个正下界，在此条件下，利用Shapley方程证明了半马尔可夫对策的价值函数和一对最优平稳策略的存在性.此外，当状态和行动空间都是有限的，价值迭代型算法计算的价值函数和$\varepsilon$ -纳什均衡的游戏。并证明了算法的收敛性。最后，我们进行数值例子来证明我们的主要结果。
2021-03-06 cs.GT math.OC
When is Offline Two-Player Zero-Sum Markov Game Solvable?
我们研究什么样的数据集假设允许解决离线两个玩家零和马尔可夫游戏。在形成鲜明对比的离线单代理马尔可夫决策过程中，我们表明，单一的战略浓度假设是不足以学习的纳什均衡（NE）的策略，在离线两个球员零和马尔可夫游戏。另一方面，我们提出了一个新的假设命名为单边浓度，并设计了一个悲观型算法，证明是有效的，在此假设下。此外，我们表明，单边浓度的假设是必要的学习NE策略。此外，我们的算法可以实现极大极小样本的复杂性没有任何修改的两个广泛研究的设置：数据集与均匀浓度假设和回合为基础的马尔可夫游戏。我们的工作是理解离线多智能体强化学习的重要的第一步。
2022-10-14 cs.AI cs.GT cs.LG
Small-Gain Nash: Certified Contraction to Nash Equilibria in Differentiable Games
本文提出SGN方法，通过自定义块加权几何认证非单调博弈中的收敛性，提供可计算的收缩证书和安全步长。
2025-12-12 cs.GT cs.LG math.OC
When Can We Learn General-Sum Markov Games with a Large Number of Players Sample-Efficiently?
Peking University（北京大学）；UC Berkeley（加州大学伯克利分校）；Salesforce Research（Salesforce研究院）
多智能体强化学习在解决具有大量玩家的游戏方面取得了实质性的经验进展。然而，从理论上讲，在一般和博弈中寻找纳什均衡的最著名的样本复杂度由于联合行动空间的大小而在参与者的数量上呈指数级增长，并且存在匹配的指数下界。本文研究了什么样的学习目标允许更好的样本复杂性，在设置$m$ -玩家一般和马尔可夫游戏与$H$步骤，$S$状态，和$A_i$行动每个球员。首先，我们设计了用于学习$\widetilde{\mathcal{O}}(H^5S\max_{i\le m} A_i / ε^2)$事件中的$ε$ -粗相关均衡（CCE）和$\widetilde{\mathcal{O}}(H^6S\max_{i\le m} A_i^2 / ε^2)$事件中的$ε$ -相关均衡（CE）的算法。这是在$\max_{i\le m} A_i$中学习具有样本复杂度多项式的CCE和CE的第一行结果。我们的算法学习CE集成了一个对抗土匪子程序，最大限度地减少了加权交换遗憾，以及几个新的设计外循环。其次，我们考虑马尔可夫势博弈的重要特例，并设计了一种算法，该算法在$\widetilde{\mathcal{O}}(S\sum_{i\le m} A_i / ε^3)$事件内学习$ε$ -近似纳什均衡（当仅突出对$S$，$A_i$和$ε$的依赖时），该算法仅线性依赖于$\sum_{i\le m} A_i$，并在$ε$依赖性方面显…
2022-03-31 cs.GT cs.LG stat.ML
