Introducing Hierarchy in Energy Games
在这项工作中，我们介绍了层次结构的无线网络，可以模拟由一个分散的多址接入信道和能源效率是主要的性能指标。在这些网络中，用户可以自由地选择他们的功率控制策略，自私地最大化他们的能量效率。具体来说，我们以两种不同的方式引入层次结构：1。假设单用户解码在接收器，我们调查的Stackelberg制定的游戏，其中一个用户是领导者，而其他用户被假定为能够作出反应的领导者的决定; 2。假设既没有领导者，也没有追随者之间的用户，我们通过假设连续的干扰消除在接收机引入层次结构。结果表明，在非合作功率控制游戏中引入一定程度的层次结构，不仅提高了所有用户的个人能量效率，但也可以是一种方式，确保存在的非饱和均衡，并达到所需的平衡点的全局网络性能和所需的信令量之间的权衡。在这方面，一个节能网络的全球性能的测量方法被证明是一个关键问题。
2009-03-17 cs.GT
Beating humans in a penny-matching game by leveraging cognitive hierarchy theory and Bayesian learning
University of Michigan（密歇根大学）
人工智能（AI）的长期目标是在决策方面优于人类。游戏适合测试人工智能在非数字任务中做出正确决策的能力。在本文中，我们开发了一种新的人工智能算法来玩香农的“读心机”（1953）中考虑的便士匹配游戏。特别是，我们利用认知层次理论和贝叶斯学习技术来不断发展预测人类玩家决策的模型，并让AI玩家根据模型预测做出决策，以追求最佳的获胜机会。实验结果表明，我们的AI算法击败了30名志愿者中的27名。
2021-02-13 cs.AI cs.GT cs.LG
Infinite subgame perfect equilibrium in the Hausdorff difference hierarchy
子博弈完美均衡是完全信息博弈中的一种特殊的纳什均衡。它们很重要，因为它们关系到参与者的理性。它们总是存在于具有连续实值收益的无限博弈中，但即使在具有轻微不连续收益的简单博弈中也可能不存在。本文只考虑其结果函数在开集的Hausdorff差分层次中可测的博弈（在Baire空间中时为\textit{i.e.} $Δ^0_2$），它刻画了线性偏好族，使得每个使用这些偏好的博弈都有一个子博弈完美均衡：没有无限上升链的偏好（当然），因此对于所有参与者$a$和$b$以及结果$x,y,z$，我们有$\neg(z <_a y <_a x \,\wedge\, x <_b z <_b y)$。此外，在博弈的每个节点上，证明所构造的均衡在子博弈中发生的所有结果中都是帕累托最优的。非线性偏好的其他结果。
2015-09-30 cs.GT math.LO
Improving Cooperation in Language Games with Bayesian Inference and the Cognitive Hierarchy
Brigham Young University（杨百翰大学）
本文提出结合贝叶斯推断与认知层级建模伙伴类型，处理语义和语用不确定性，在Codenames游戏中提升合作表现。
2024-12-16 cs.AI cs.GT
On the completeness of several fortification-interdiction games in the Polynomial Hierarchy
Università degli Studi di Milano（米兰大学）；Université de Montréal（蒙特利尔大学）；Università degli Studi di Torino（都灵大学）
本文研究了多项式层次中几种加固-干扰博弈的完备性，证明了多个问题在该层次中的完备性，为进一步研究保护-干扰博弈的完备性提供了基础。
2026-09-16 cs.CC cs.GT math.OC
Independent Natural Policy Gradient Always Converges in Markov Potential Games
University of California, Irvine（加州大学欧文分校）
多智能体强化学习已经成功地应用于完全合作和完全竞争的环境中，但目前对混合合作/竞争环境知之甚少。在本文中，我们专注于一类特殊的多智能体混合合作/竞争的随机游戏称为马尔可夫势游戏（MPGs），其中包括合作游戏作为一种特殊情况。最近的研究结果表明，独立的策略梯度收敛MPG，但它是不知道是否独立的自然策略梯度收敛MPG以及。我们证明了独立自然策略梯度总是收敛在最后一个收敛使用常数学习率。证明偏离了现有的方法，主要的挑战在于马尔可夫势博弈没有唯一的最优值（如单智能体设置所示），因此不同的初始化可能导致不同的极限点值。我们补充我们的理论结果与实验表明，自然策略梯度优于策略梯度在路由游戏和拥塞游戏。
2021-10-20 cs.GT cs.LG
Last-Iterate Convergence of Policy Dynamics in Zero-Sum Networked Separable Markov Games
Peking University（北京大学）
针对零和网络化可分离马尔可夫博弈，提出熵正则化乐观乘法权重更新算法，实现末次迭代近似纳什均衡，并证明近线性收敛速率。
2026-10-08 cs.GT
TUC-PPO: Team Utility-Constrained Proximal Policy Optimization for Spatial Public Goods Games
本文提出TUC-PPO框架，通过双层优化和自适应拉格朗日乘子将团队效用约束整合进PPO策略更新，在空间公共物品博弈中实现更快收敛到合作均衡并增强对背叛者入侵的稳定性。
2025-07-03 cs.GT
Policy Invariance under Reward Transformations for General-Sum Stochastic Games
Carleton University（卡尔顿大学）；Royal Military College of Canada（加拿大皇家军事学院）
我们扩展了潜在的成形方法从马尔可夫决策过程的多人一般和随机游戏。我们证明了纳什均衡在一个随机游戏保持不变后，潜在的塑造应用于环境。策略不变性的性质提供了一种可能的方法来加快收敛时，学习玩随机游戏。
2014-01-16 cs.GT cs.LG
Bounded rationality for relaxing best response and mutual consistency: The Quantal Hierarchy model of decision-making
The University of Sydney（悉尼大学）
虽然博弈论对决策具有变革性，但在某些情况下，所做的假设可能过于严格。在这项工作中，我们调查的合理性，如相互一致性和最佳对策的一些基本假设，并考虑如何放松这些假设，分别使用水平$k$推理和量子响应均衡（QRE）的概念。具体而言，我们提出了一个信息理论的双参数模型称为量子层次模型，它可以放松相互一致性和最佳对策，同时仍然近似水平- $k$，QRE，或典型的纳什均衡行为的限制情况下。该模型是基于递归形式的变分自由能原理，表示高阶推理（伪）顺序决策的广泛形式的博弈树。这种表示使我们能够以类似于顺序游戏的方式处理同时游戏，其中推理资源在整个游戏树中耗尽。玩家处理能力的界限被捕获为信息成本，未来的推理分支被打折，这意味着玩家的层次结构，其中较低级别的玩家具有较少的处理资源。我们证明了量子层次模型的有效性，在几个典型的经济游戏，{同时和顺序}，使用样本外建模。
2023-03-15 cs.AI cs.GT cs.IT
Empirical Policy Optimization for $n$-Player Markov Games
在单主体马尔可夫决策过程中，主体可以根据与环境的交互来优化其策略。然而，在多人马尔可夫博弈中，由于其他参与人的行为，交互是非平稳的，因此代理没有固定的优化目标。在本文中，我们把局中人策略的演化视为一个动态过程，并提出了一个新的学习方案的纳什均衡。其核心是不仅根据当前游戏中的表现，而且还根据历史上的表现来制定策略。我们表明，对于各种MG，玩家在我们的学习计划将证明收敛到一个点，这是一个近似的纳什均衡。结合神经网络，我们开发了\emph{empirical policy optimization}算法，该算法在一个学习框架中实现，并以分布式方式运行，每个玩家根据自己的观察优化其策略。我们用两个数值例子来验证小规模的MG与$n\ge 2$球员的收敛性，和一个乒乓球的例子来显示我们的算法在大型游戏的潜力。
2021-10-18 cs.GT
Look-ahead Search on Top of Policy Networks in Imperfect Information Games
提出一种为不完全信息博弈中任意策略梯度算法添加测试时搜索的方法，通过训练评论家网络估计期望值进行深度受限搜索，在多个基准游戏中验证了有效性。
2025-01-29 cs.GT
PPO-ACT: Proximal Policy Optimization with Adversarial Curriculum Transfer for Spatial Public Goods Games
本文提出PPO-ACT框架，通过两阶段对抗课程迁移训练将近端策略优化用于空间公共物品博弈，实验表明其比PPO、Q学习和费米更新规则更早实现合作相变并保持稳定合作均衡，为复杂系统合作涌现研究提供了新计算框架。
2025-07-02 cs.GT
Infinite games with uncertain moves
我们研究无限的两个玩家的游戏，其中一个球员是不确定的一套移动提供给其他球员。特别是，另一个参与者的移动集合是她所假设的移动集合的严格超集。我们将探讨在这种情况下，在不同层次的博雷尔层次集发生了什么。我们表明，在每一个层次结构的交替级别跳到下一个更高的水平。
2013-03-04 cs.GT cs.LO
Reinforcement Learning in Nonzero-sum Linear Quadratic Deep Structured Games: Global Convergence of Policy Optimization
我们研究基于模型和无模型的政策优化一类非零和随机动态博弈称为线性二次（LQ）的深度结构游戏。在这样的游戏中，玩家通过一组状态和动作的加权平均（线性回归）相互作用。在本文中，我们专注于齐次权重，然而，对于无限人口的特殊情况下，所得到的结果扩展到渐近消失的权重，其中玩家学习序列加权平均场均衡。尽管在政策空间中的优化的非凸性和政策优化一般不收敛于游戏设置的事实，我们证明了所提出的基于模型和无模型的策略梯度下降和自然策略梯度下降算法全局收敛到子游戏完美纳什均衡。据我们所知，这是第一个结果，提供了一个全局收敛的证明，在一个非零和LQ游戏的政策优化。所提出的算法的显着特点之一是，他们的参数空间是独立的球员的数量，当状态空间的维度是显着大于动作空间，他们提供了一个更有效的计算方式相比，在行动空间中的规划和学习的算法。最后，通过数值模拟验证了理论结果。
2020-12-14 cs.GT math.OC
Provably Efficient Policy Optimization for Two-Player Zero-Sum Markov Games
Tsinghua University（清华大学）；Meta AI Research（Meta人工智能研究院）；Princeton University（普林斯顿大学）；University of Washington（华盛顿大学）
基于策略的函数逼近方法被广泛用于求解具有较大状态和/或动作空间的两人零和博弈。然而，它仍然难以捉摸如何获得优化和统计保证这样的算法。我们提出了一个新的政策优化算法与函数逼近，并证明了在标准的正则性条件下的马尔可夫博弈和函数逼近类，我们的算法发现一个接近最优的政策内的多项式数量的样本和迭代。据我们所知，这是第一个证明有效的政策优化算法与函数近似，解决两个球员零和马尔可夫游戏。
2022-02-26 cs.GT cs.LG math.OC
A Payoff-Based Policy Gradient Method in Stochastic Games with Long-Run Average Payoffs
本文针对长期平均收益随机博弈学习算法匮乏的问题，通过定义有界优势函数推导收益梯度性质，结合正则化罗宾斯-门罗方法构建老虎机学习算法，证明其在满足稳定性条件下以概率1收敛到纳什均衡。
2024-05-16 cs.GT
Convergence of Fast Policy Iteration in Markov Games and Robust MDPs
University of New Hampshire（新罕布什尔大学）；Naval Postgraduate School（海军研究生学院）
针对马尔可夫博弈与鲁棒MDPs的鞍点策略计算问题，指出FT算法存在收敛失效问题，提出基于FT的残差条件策略迭代（RCPI）算法，保证收敛到鞍点且性能远超其他收敛算法。
2025-11-16 cs.GT
Achieving Hierarchy-Free Approximation for Bilevel Programs With Equilibrium Constraints
在本文中，我们开发了一个近似计划求解具有平衡约束的双层规划，这通常是很难解决的。除此之外，在这样的问题中计算一阶导数需要跨层次的微分，这是计算密集型的，如果不是禁止的话。为了绕过层次结构，我们建议绑定这样的双层计划，相当于多个追随者Stackelberg游戏，与两个新的层次自由的问题：一个$T$步骤古诺游戏和一个$T$步骤垄断模型。因为它们是标准的平衡或最优化问题，所以两者都可以通过一阶方法有效地求解。重要的是，我们表明，这些问题提供的界限-由$T$步骤古诺游戏的上界和下界由$T$步骤垄断模型-可以任意紧增加步骤参数$T$的广泛的问题。我们证明，一个小的$T$通常足以在适当的条件下达到最实用的目的，可接受的近似。最后，通过数值例子突出的分析见解。
2023-02-20 cs.GT cs.MA math.OC
Regularized policy gradient with learned mixtures of Gaussians for games with continuous actions
Czech Technical University in Prague（布拉格捷克理工大学）；Carnegie Mellon University（卡内基梅隆大学）；Artificial Intelligence Center（人工智能中心）；Strategy Robot, Inc.（策略机器人公司）；Strategic Machine, Inc.（战略机器公司）；Optimized Markets, Inc.（优化市场公司）
提出一种结合磁镜下降与高斯混合重参数化的策略梯度算法，用于连续动作博弈，通过自我对弈训练，在多个博弈中优于现有方法并减少样本需求。
2026-09-30 cs.GT cs.MA
Population-size-Aware Policy Optimization for Mean-Field Games
Nanyang Technological University（南洋理工大学）；University of Nebraska, Lincoln（内布拉斯加大学林肯分校）
在这项工作中，我们试图桥接两个领域的有限代理和无限代理游戏，通过研究代理的最优策略如何演变与代理的数量（人口规模）在平均场游戏，代理为中心的角度来看，在现有的作品通常集中在人口的经验分布的收敛。为此，前提是获得一组有限主体博弈的最优策略具有不同的人口规模。然而，要么推导每个游戏的封闭形式的解决方案在理论上是棘手的，为每个游戏训练不同的策略是计算密集型的，或者直接将在游戏中训练的策略应用于其他游戏是次优的。我们通过人口规模意识政策优化（PAPO）来应对这些挑战。我们的贡献是三方面的。首先，为了有效地为不同人口规模的游戏生成有效的策略，我们提出了PAPO，它统一了两个自然选项（增强和超网络），并实现了显着更好的性能。PAPO由三个部分组成：i）人口规模编码，将人口规模的原始值转换为等效编码以避免训练崩溃，ii）超网络，以根据人口规模为条件为每个游戏生成不同的策略，以及iii）人口规模作为生成策略的额外输入。接下来，我们构建了一个基于多任务的训练过程，有效地训练的神经网络的PAPO从多个游戏不同的人口规模的采样数据。最后，在多个环境中进行的大量实验显示了PAPO算法相对于基线的显著优势，对生成策略演化的分析进一步加深了我们对有限代理和无限代理博弈两个领域的理解。
2023-02-07 cs.AI cs.GT cs.LG
Off-Policy Exploitability-Evaluation in Two-Player Zero-Sum Markov Games
CyberAgent, Inc.（赛博艾坚特公司）
政策外评估（OPE）是使用从不同政策获得的历史数据来评估新政策的问题。在最近的OPE背景下，大多数研究都集中在单人情况下，而不是多人情况下。在这项研究中，我们提出了OPE估计构造的双重鲁棒和双重强化学习估计在两个球员零和马尔可夫游戏。所提出的估计器预测了可利用性，该可利用性通常用作确定策略配置文件（即，一组策略）是两个玩家零和博弈中的纳什均衡。我们证明了所提出的估计的可利用性估计误差界。然后，我们提出的方法来找到最佳的候选人的政策配置文件，选择的政策配置文件，最大限度地减少估计利用从一个给定的政策配置文件类。我们证明了我们的方法选择的政策配置文件的遗憾界。最后，我们通过实验证明了所提出的估计器的有效性和性能。
2020-12-24 cs.GT cs.LG econ.EM
Global Convergence of Policy Gradient Methods in Reinforcement Learning, Games and Control
Carnegie Mellon University（卡内基梅隆大学）
本文综述了强化学习、博弈与控制领域中具备全局收敛保证的策略梯度方法的最新研究进展，重点关注其有限时间收敛速率，回应了价值函数非凹导致的全局最优性难保证的问题。
2023-10-08 cs.GT cs.IT cs.LG
Mastering Strategy Card Game (Legends of Code and Magic) via End-to-End Policy and Optimistic Smooth Fictitious Play
ByteDance（字节跳动）
深度强化学习结合Fictionary Play在许多基准测试游戏上显示出令人印象深刻的结果，然而，其中大多数都是单阶段的。相比之下，现实世界的决策问题可能由多个阶段组成，其中观察空间和行动空间在各个阶段之间可能完全不同。我们研究了一个两阶段的策略纸牌游戏Legends of Code and Magic，并提出了一个端到端的策略来解决多阶段游戏中出现的困难。我们还提出了一个乐观光滑虚拟博弈算法来寻找两人博弈的纳什均衡。我们的方法赢得了COG2022比赛的双重冠军。大量的研究验证并显示了我们方法的先进性。
2023-03-07 cs.AI cs.GT cs.LG
MAPPO-LCR: Multi-Agent Proximal Policy Optimization with Local Cooperation Reward in Spatial Public Goods Games
Guizhou University（贵州大学）
MAPPO-LCR通过引入局部合作奖励，解决了空间公共物品游戏中个体收益耦合问题，提升了多智能体近端策略优化的群体协作能力。
2025-12-22 cs.GT cs.MA
A Policy-Gradient Approach to Solving Imperfect-Information Games with Best-Iterate Convergence
本文首次证明策略梯度方法在两人零和不完美信息扩展式博弈中可实现最佳迭代收敛到正则化纳什均衡，为策略梯度在博弈论中的应用奠定理论基础。
2025-07-09 cs.AI cs.GT cs.LG
Independent Policy Gradient for Large-Scale Markov Potential Games: Sharper Rates, Function Approximation, and Game-Agnostic Convergence
University of Southern California（南加州大学）；Massachusetts Institute of Technology（麻省理工学院）
研究了马尔可夫势博弈中多智能体强化学习（RL）问题的策略梯度方法的全局非渐近收敛性.为了学习纳什均衡的MPG中的状态空间的大小和/或玩家的数量可以是非常大的，我们提出了新的独立的策略梯度算法，是由所有玩家串联运行。当梯度评估中没有不确定性时，我们证明了我们的算法找到了具有$O(1/ε^2)$迭代复杂度的$ε$ -纳什均衡，该迭代复杂度不显式地依赖于状态空间大小。当精确的梯度是不可用的，我们建立$O(1/ε^5)$样本复杂性界在一个潜在的无限大的状态空间的基于样本的算法，利用函数逼近。此外，我们确定了一类独立的策略梯度算法，享有收敛的零和马尔可夫游戏和马尔可夫合作游戏的球员，是不知道正在玩的游戏类型。最后，我们提供了计算实验来证实我们的理论发展的优点和有效性。
2022-08-04 cs.GT cs.LG cs.MA
Convergence and Price of Anarchy Guarantees of the Softmax Policy Gradient in Markov Potential Games
University of South Carolina（南卡罗来纳大学）；Virginia Tech（弗吉尼亚理工大学）
我们研究的性能的策略梯度方法的马尔可夫游戏的子类称为马尔可夫潜在的游戏（MPG），它扩展了正常形式的潜在游戏的概念，有状态的设置，包括重要的特殊情况下，完全合作的设置，其中代理共享一个相同的奖励函数。我们在本文中的重点是研究的收敛性的策略梯度方法求解MPG下softmax政策参数化，表格和参数化的一般函数逼近器，如神经网络。我们首先证明了这种方法的渐近收敛到一个纳什均衡的MPG表格softmax政策。其次，我们推导了两种设置下的策略梯度的有限时间性能：1）使用对数屏障正则化，以及2）使用最佳响应动态（NPG-BR）下的自然策略梯度。最后，通过推广正规型博弈中的无政府无政府代价（POA）和光滑性的概念，我们引入了MPG的POA，并给出了NPG-BR的POA界。据我们所知，这是求解MPG的第一个POA界。为了支持我们的理论结果，我们实证比较了表格和神经softmax政策的策略梯度变体的收敛速度和POA。
2022-06-15 cs.AI cs.GT cs.LG
Improving Quantal Cognitive Hierarchy Model Through Iterative Population Learning
在智能体策略性交互的领域，博弈论被广泛应用于预测智能体的行为。然而，博弈论的预测是基于这样一个假设，即代理人是完全理性的，并且相信均衡策略，不幸的是，当人类决策者参与时，这一假设大多不成立。为了解决这个问题，一些行为博弈论模型被定义来解释人类决策者的有限理性。量子认知层次模型（QCH）是近年来发展起来的一种模型，它被证明是预测正常形式游戏中人类行为的最先进的模型。QCH模型假设博弈中的主体既可以是非战略性的（0级），也可以是战略性的（$k$级）。对于0级代理，他们选择自己的策略，而不考虑其他代理。对于$k$级代理，他们假设其他代理的行为水平低于$k$，并对它们做出最佳响应。然而，QCH模型的一个重要假设是，代理人的水平分布遵循泊松分布。在本文中，我们放松了这一假设，并设计了一个基于学习的方法，在人口水平迭代估计代理的推理水平的经验分布。通过使用来自瑞典最低唯一正整数游戏的真实世界数据集，我们展示了我们的改进QCH模型和迭代求解过程可以用于为代理提供更准确的行为模型。这导致了在拟合真实数据方面的更好性能，并允许我们跟踪智能体在多轮学习策略性游戏方面的进展。
2023-02-25 cs.GT cs.MA econ.TH
Test-time Reinforcement Learning in Imperfect Information Games
Czech Technical University in Prague（布拉格捷克理工大学）；Carnegie Mellon University（卡内基梅隆大学）；Artificial Intelligence Center（人工智能中心）；Strategy Robot, Inc.（策略机器人公司）；Strategic Machine, Inc.（战略机器公司）；Optimized Markets, Inc.（优化市场公司）
本研究针对两人零和非完美信息博弈，提出将小工具博弈扩展至强化学习场景的策略梯度算法，通过隐式表示消除子博弈规模限制，经实验验证可提升策略性能。
2026-09-01 cs.GT
Global Convergence of Multi-Agent Policy Gradient in Markov Potential Games
SUTD（新加坡科技设计大学）；UC Irvine（加州大学尔湾分校）
本文提出马尔可夫势博弈的新定义，揭示其与规范形式势博弈的关键差异，并证明独立策略梯度在多智能体设置下能快速收敛到纳什策略。
2025-09-23 cs.GT cs.LG
Policy Optimization for Markov Games: Unified Framework and Faster Convergence
Harvard University（哈佛大学）；Princeton University（普林斯顿大学）；Salesforce Research（赛富时研究院）
研究了多智能体强化学习的策略优化算法。首先，我们提出了一个算法框架，两个球员零和马尔可夫游戏在全信息设置，其中每次迭代包括一个策略更新步骤，在每个状态下使用一定的矩阵游戏算法，并与一定的学习率的值更新步骤。该框架统一了许多现有的和新的策略优化算法。我们表明，该算法的状态明智的平均政策收敛到一个近似的纳什均衡（NE）的游戏，只要矩阵游戏算法实现低加权遗憾在每个状态，相对于由值更新的速度确定的权重。接下来，我们表明，这个框架实例化的乐观跟随正则化领导者（OFTRL）算法在每个状态（和平滑值更新）可以找到一个$\mathcal{\widetilde{O}}(T^{-5/6})$近似NE在$T$迭代，和一个类似的算法略有修改的值更新规则实现了更快的$\mathcal{\widetilde{O}}(T^{-1})$收敛速度。这些改进了对称策略优化型算法的当前最佳$\mathcal{\widetilde{O}}(T^{-1/2})$速率。我们还将该算法扩展到多人一般和马尔可夫博弈，并证明了$\mathcal{\widetilde{O}}(T^{-3/4})$收敛到粗相关均衡（CCE）的速度。最后，我们提供了一个数值例子来验证我们的理论和调查的重要性，光滑的值更新，并发现使用“渴望”的值更新，而不是（相当于独立的自然策略梯度算法）可能会显着减慢收敛，即使在一个简单的游戏与$H=2$层。
2022-07-22 cs.GT cs.LG cs.MA
Policy Gradient Methods Find the Nash Equilibrium in N-player General-sum Linear-quadratic Games
University of Oxford（牛津大学）
考虑有限时间内具有随机动态的一般和N-局中人线性二次对策，证明了自然策略梯度法对Nash均衡的整体收敛.为了证明该方法的收敛性，我们要求系统中存在一定量的噪声。我们给出了一个条件，基本上是一个下界的噪声的模型参数的协方差，以保证收敛。我们用数值实验来说明我们的结果，表明即使在政策梯度法可能不会收敛于确定性设置的情况下，噪声的加入导致收敛。
2022-08-15 cs.GT cs.LG math.OC
Provably Efficient Fictitious Play Policy Optimization for Zero-Sum Markov Games with Structured Transitions
University of Chicago（芝加哥大学）；Meta Platforms, Inc.（元平台公司）；University of Michigan（密歇根大学）；Northwestern University（西北大学）；Yale University（耶鲁大学）
虽然在固定环境中的单智能体策略优化最近在强化学习社区引起了很多研究关注，但当有多个智能体在潜在竞争环境中玩耍时，理论上知之甚少。我们采取措施，提出和分析新的虚拟播放策略优化算法的零和马尔可夫游戏结构化，但未知的过渡。我们考虑两类转移结构：因子独立转移和单控制器转移。对于这两种情况下，我们证明了紧$\widetilde{\mathcal{O}}(\sqrt{K})$遗憾界后，$K$情节在两个代理竞争的游戏场景。每个代理人的遗憾是衡量对一个潜在的敌对对手谁可以选择一个最好的政策后，在事后观察整个政策序列。我们的算法结合了上置信界（UCB）型乐观和虚构的发挥范围内的同时在非平稳环境中的政策优化。当两个玩家都采用所提出的算法时，他们的总体最优性差距是$\widetilde{\mathcal{O}}(\sqrt{K})$。
2022-07-25 cs.AI cs.GT cs.LG
Provable Fictitious Play for General Mean-Field Games
Princeton University（普林斯顿大学）；Northwestern University（西北大学）；Cornell University（康奈尔大学）
我们提出了一个平稳平均场博弈的强化学习算法，目标是学习一对平均场状态和平稳策略，构成纳什均衡。将平均场状态和策略看作两个局中人，提出了一种虚拟博弈算法，分别通过梯度下降和近端策略优化交替更新平均场状态和策略.我们的算法与以前的文献形成鲜明对比，以前的文献解决了由迭代平均场状态引起的每个单智能体强化学习问题。此外，我们证明了我们的虚拟播放算法收敛到纳什均衡在一个次线性的速度。据我们所知，这似乎是第一个可证明收敛的单循环强化学习算法的平均场游戏的基础上迭代更新的平均场状态和政策。
2020-10-08 cs.GT cs.LG
Policy Iteration for Two-Player General-Sum Stochastic Stackelberg Games
本文提出了一种新的策略迭代算法，保证领导者策略的单调改进，并引入帕累托最优作为SSE的扩展最优性，证明在领导者短视时算法收敛到帕累托前沿。
2026-03-16 cs.GT cs.LG cs.MA
A New Policy Iteration Algorithm For Reinforcement Learning in Zero-Sum Markov Games
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；c3.ai DTI
本文针对零和马尔可夫博弈提出一种在朴素策略迭代中加入前瞻策略的简单变体，证明其以指数速度收敛，并在线性马尔可夫博弈的函数逼近设置下实现高效前瞻，同时为基于策略的强化学习算法提供了性能界。
2023-10-28 cs.AI cs.GT cs.LG
Policy Optimization finds Nash Equilibrium in Regularized General-Sum LQ Games
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Coordinated Science Laboratory（协调科学实验室）
该研究探究相对熵正则化对一般和N智能体博弈纳什均衡的影响，证明满足熵正则化条件时策略优化算法可线性收敛到纳什均衡，还提出δ增强技术在正则化不足时实现ε-纳什均衡。
2024-09-13 cs.AI cs.GT cs.LG
Policy Optimization for Linear-Quadratic Zero-Sum Mean-Field Type Games
Princeton University（普林斯顿大学）
本文研究了无限时间折扣效用函数下具有线性动态和二次效用的零和平均场型对策。ZSMFTG是一类博弈，其中两个效用总和为零的决策者竞争影响大量代理。特别是，在这种情况下，过渡和效用函数依赖于状态，控制器的动作，和状态和动作的平均值，进行了研究。博弈分析和明确的表达式的纳什均衡策略。此外，两个策略最优化方法，依赖于策略梯度提出了基于模型和基于样本的框架。在第一种情况下，使用模型精确地计算梯度，而在第二种情况下，使用蒙特卡罗模拟来估计梯度。数值实验表明，收敛的两个球员的控制，以及效用函数时，这两个算法被用于不同的场景。
2020-09-02 cs.GT cs.LG math.OC
On the convergence of policy gradient methods to Nash equilibria in general stochastic games
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Stanford University（斯坦福大学）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Grenoble INP（格勒诺布尔理工学院）；Criteo AI Lab（科韬人工智能实验室）；University of California, Berkeley（加州大学伯克利分校）
在随机博弈中学习是一个非常困难的问题，因为除了彼此的战略决策外，参与者还必须面对这样一个事实，即博弈本身会随着时间的推移而演变，可能会以非常复杂的方式演变。正因为如此，流行的学习算法（如策略梯度及其变体）的收敛特性知之甚少，除了特定类别的游戏（如潜在或两人零和游戏）。有鉴于此，我们研究长期的行为策略梯度方法相对于纳什均衡政策，是二阶平稳（SOS）在某种意义上类似的充分条件的类型在优化。我们的第一个结果是，SOS政策是本地吸引的概率很高，我们表明，策略梯度轨迹与梯度估计提供的REINFORCE算法实现了$\mathcal{O}(1/\sqrt{n})$距离平方收敛速度，如果该方法的步长选择适当。随后，专门的类确定性纳什政策，我们表明，这一速度可以显着提高，事实上，策略梯度方法收敛在有限数量的迭代在这种情况下。
2022-10-17 cs.GT cs.LG math.OC
Policy iteration algorithm for zero-sum multichain stochastic games with mean payoff and perfect information
我们考虑零和随机对策与有限的状态和行动空间，完美的信息，平均支付标准，没有任何不可约的假设，马尔可夫链相关的战略（多链游戏）。这种游戏的价值可以用一个非线性方程组来描述，包括平均支付向量和一个辅助向量（相对价值或偏差）。我们在这里开发了一个策略迭代算法的零和随机对策的平均回报，以下的两个作者的想法（Cochet-Terrasson和Gaubert，C。R.数学学院Sci.巴黎，2006年）。该算法依赖于非线性谱投影的概念（Akian和Gaubert，Nonlinear Analysis TMA，2003），其类似于线性位势论中的超调和函数的约化的概念。为了避免循环，在每次退化迭代（其中平均支付向量没有改进），通过减少先前的相对值来获得新的相对值。我们表明，序列的值和相对值满足字典序单调性，这意味着该算法不终止。我们说明了算法的平均支付版本的里奇曼游戏（随机拔河或离散无穷拉普拉斯型方程），其中退化迭代是频繁的。我们报告的数值实验大规模的情况下，从后者的游戏，以及从单调离散化的平均回报追求逃避确定性微分对策。
2012-08-02 cs.GT math.OC
Policy Regret in Repeated Games
Johns Hopkins University（约翰斯·霍普金斯大学）；Courant Institute（库朗研究所）；Google Research（谷歌研究院）
在线学习中的\emph{policy regret}的概念是一个很好的定义？适应性对手的常见情况下的性能指标，更传统的数量，如外部遗憾不考虑。我们重新审视政策后悔的概念，并首先表明，有在线学习设置中，政策后悔和外部后悔是不相容的：任何序列的发挥，实现了有利的遗憾方面的一个定义必须做差的方面。然后，我们专注于博弈论的设置，对手是一个自私的代理。在这种情况下，我们表明，外部遗憾和政策遗憾是不冲突的，事实上，一个广泛的类的算法可以确保一个有利的遗憾就这两个定义，只要对手也使用这样的算法。我们还表明，发挥无政策遗憾算法的序列收敛到一个\emph{policy equilibrium}，一个新的概念，我们引进的均衡。将其与外部遗憾联系起来，我们证明了无外部遗憾参与者收敛到的粗糙相关均衡是政策均衡的严格子集。因此，在博弈论的背景下，没有外部后悔的每一个博弈序列也不承认政策后悔，但反之则不成立。
2020-03-22 cs.GT cs.LG stat.ML
Optimistic Policy Gradient in Multi-Player Markov Games with a Single Controller: Convergence Beyond the Minty Property
Meta AI；University of California Irvine（加州大学欧文分校）；Archimedes research unit（阿基米德研究单元）；Massachusetts Institute of Technology（麻省理工学院）；Strategy Robot, Inc.（战略机器人公司）；Strategic Machine, Inc.（战略机器公司）；Optimized Markets, Inc.（优化市场公司）；Carnegie Mellon University（卡内基梅隆大学）
本文提出新框架，证明在均衡坍缩假设下，单控制器多玩家马尔可夫博弈的乐观策略梯度方法以O(1/ε²)迭代收敛到平稳ε-NE，并引入推广的Minty性质绕过复杂性障碍。
2023-12-21 cs.GT cs.LG
Linear-Quadratic Zero-Sum Mean-Field Type Games: Optimality Conditions and Policy Optimization
Department of Operations Research and Financial Engineering, Princeton University（普林斯顿大学运筹学与金融工程系）
本文研究了无限时间折扣效用函数下具有线性动态和二次费用的零和平均场型对策。ZSMFTG是一类博弈，其中两个效用总和为零的决策者竞争影响大量不可区分的代理人。特别是，在这种情况下，过渡和效用函数依赖于状态，控制器的动作，和状态和动作的平均值，进行了研究。分析了开环控制和闭环控制下博弈的最优性条件，并给出了纳什均衡策略的显式表达式。此外，两个策略最优化方法，依赖于策略梯度提出了基于模型和基于样本的框架。在基于模型的情况下，使用模型精确地计算梯度，而在基于样本的情况下，使用蒙特卡罗模拟来估计梯度。数值实验表明，效用函数的收敛性以及两个球员的控制。
2020-09-01 cs.GT cs.LG math.OC
Learning Nash Equilibria in Zero-Sum Stochastic Games via Entropy-Regularized Policy Approximation
Mastercard Corporation（万事达卡公司）；Georgia Institute of Technology（佐治亚理工学院）
我们探讨使用政策近似，以减少零和随机博弈中学习纳什均衡的计算成本。我们提出了一种新的Q学习型算法，它使用一系列熵正则化的软策略来近似纳什策略在Q函数更新。我们证明了在一定条件下，通过更新正则化Q函数，算法收敛到一个纳什均衡。我们还证明了所提出的算法的能力，转移以前的训练经验，使代理能够快速适应新的环境。我们提供了一个动态的超参数调度方案，以进一步加快收敛。应用于一些随机游戏的实证结果验证了该算法收敛到纳什均衡，同时表现出一个主要的速度比现有的算法。
2021-06-27 cs.GT cs.LG cs.SY
Policy Optimization Provably Converges to Nash Equilibria in Zero-Sum Linear Quadratic Games
Department of Electrical and Computer Engineering & Coordinated Science Laboratory, University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校电子工程与协调科学实验室部门）；Department of Operations Research and Financial Engineering, Princeton University（普林斯顿大学运筹学与金融工程系）
本文研究了策略优化在零和线性二次博弈中寻找纳什均衡的全局收敛性，通过分析LQ博弈的优化景观，证明了线性反馈控制策略的 stationary 点构成博弈的纳什均衡，并提出三种保证收敛到纳什均衡的投影嵌套梯度方法，同时展示了这些算法具有全局次线性和局部线性收敛率。
2021-02-10 cs.GT cs.LG cs.SY
$\aleph$-IPOMDP: Mitigating Deception in a Cognitive Hierarchy with Off-Policy Counterfactual Anomaly Detection
Max Planck Institute for Biological Cybernetics（马克斯·普朗克生物控制论研究所）；Edith Cowan University（伊迪丝·考恩大学）；University of Lincoln（林肯大学）；The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
$\aleph$-IPOMDP通过非策略反事实异常检测机制，缓解认知层级中的欺骗问题，提升博弈中的公平性和安全性。
2026-01-12 cs.GT cs.MA
Competitive Policy Optimization
ETH Zürich（苏黎世联邦理工学院）；California Institute of Technology（加州理工学院）
在竞争马尔可夫决策过程中，策略优化的一个核心挑战是设计具有理想收敛性和稳定性的有效优化方法。为了解决这个问题，我们提出了竞争政策优化（CoPO），一种新的策略梯度的方法，利用竞争游戏的博弈论性质，以获得政策更新。受竞争梯度优化方法的启发，我们得到了一个双线性近似的游戏目标。相比之下，现成的策略梯度方法仅利用线性近似，因此不捕获参与者之间的交互。我们以两种方式实例化CoPO：（i）竞争性策略梯度，以及（ii）信任区域竞争性策略优化。我们从理论上研究了这些方法，并在一组全面的，但具有挑战性的，竞争性的游戏上实证研究了它们的行为。我们观察到，他们提供了稳定的优化，收敛到复杂的战略，以及更高的分数时，发挥对基线策略梯度方法。
2020-06-18 cs.GT cs.LG cs.MA
Identity Concealment Games: How I Learned to Stop Revealing and Love the Coincidences
本文提出身份隐藏博弈模型，证明均衡策略对存在并给出最优性方程，进而基于平均玩家轨迹设计可证明近优的离线学习算法及样本复杂度上界。
2024-03-03 cs.GT cs.MA math.OC
Routing Games over Time with FIFO policy
我们研究原子路由游戏，每个代理人都沿着它决定的边缘和通过时间旅行。到达边缘的代理首先在\emph{first-in-first-out}队列中排队，并且可以等待：边缘与容量相关联，该容量定义了每个时间步长有多少代理可以从队列的头部弹出并进入边缘，以在固定延迟内进行传输。我们表明，最佳响应优化问题是不可近似的，并决定存在一个纳什均衡是完整的第二层次的多项式。然后，我们放弃了合理性假设，引入了基于GPS导航的行为概念，并研究了其最坏情况下的效率比协调。
2017-08-04 cs.CC cs.GT
Distributed Asynchronous Policy Iteration for Sequential Zero-Sum Games and Minimax Control
我们介绍了一个压缩抽象动态规划框架和相关的政策迭代算法，专门设计的顺序零和游戏和极大极小问题的一般结构。除了更大的一般性，我们的算法优于替代方案的优点是，它们解决了一些长期存在的收敛困难的“自然”的政策迭代算法，这是已知的，因为Pollatschek和Avi-Itzhak方法[PoA 69]有限状态马尔可夫博弈。在数学上，这种“自然”算法是牛顿方法的一种形式，用于求解贝尔曼方程，但牛顿方法，与单人DP问题的情况相反，在极大极小问题的情况下不是全局收敛的，因为贝尔曼算子可能具有既不是凸也不是凹的分量。我们的算法通过引入交替的玩家选择来解决这个困难，并通过使用具有统一超范数收缩属性的策略依赖映射，类似于Bertsekas和Yu的早期作品[BeY 10]，[BeY 12]，[YuB 13]。此外，我们的算法允许一个收敛和高度并行化的实现，这是基于状态空间分区，和分布式异步策略评估和策略改进操作内的每一组分区。我们的框架也适合使用基于聚合的强化学习方法，这可能对大规模问题实例有用。
2021-10-20 cs.GT cs.SY eess.SY
Joint Policy Search for Multi-agent Collaboration with Imperfect Information
Facebook AI Research（脸书人工智能研究院）
在信息不完全的情况下，学习多智能体协作的联合策略仍然是一个根本性的挑战。而对于两人零和博弈，坐标上升方法（每次优化一个代理的策略，例如，自博弈）在有保证的情况下工作，在多智能体合作环境中，它们经常收敛到次优纳什均衡。另一方面，由于政策之间的复杂相互作用（例如，上游更新影响下游状态可达性）。在本文中，我们证明了全局变化的博弈值可以分解为本地化的每个信息集的政策变化，与一个新的术语命名为政策变化密度。在此基础上，我们提出了联合策略搜索（JPS），迭代地提高不完全信息博弈中协作代理的联合策略，而无需重新评估整个博弈。在多智能体协作表格游戏中，JPS被证明永远不会恶化性能，并且可以改善单边方法（例如CFR）提供的解决方案，优于为协作策略学习设计的算法（例如BAD）。此外，对于现实世界的游戏，JPS有一个在线形式，自然与梯度更新链接。我们测试它的合同桥，一个4人的信息游戏，其中一个团队的$2$合作，以对抗其他。在投标阶段，参与者通过有限的信息渠道依次投标以找到一个好的合同。基于一个强大的基线代理，投标竞争性桥梁纯粹通过域不可知的自我发挥，JPS改善了团队球员的合作，并优于WBridge 5，一个冠军获奖软件，通过$+0.63$ IMP（国际匹配点）每板超过1000场比赛，大大优于以前的SoTA（$+0.41$ IMP/b）在双假人评估。
2020-12-06 cs.AI cs.GT cs.LG
Leveraging Team Correlation for Approximating Equilibrium in Two-Team Zero-Sum Games
针对大型两队零和博弈中联合策略难以指数级评估的问题，提出受限相关团队最大最小均衡与序贯相关机制，以更低可剥削性逼近不可剥削均衡。
2024-03-01 cs.GT cs.MA
Near-Optimal Policy Optimization for Correlated Equilibrium in General-Sum Markov Games
Yale University（耶鲁大学）；University of Southern California（南加州大学）；University of Virginia（弗吉尼亚大学）
本文针对一般和马尔可夫博弈中的相关均衡计算问题，提出一种结合平滑值更新与乐观跟随正则化领导者算法的无耦合策略优化方法，将收敛速率提升至近最优水平。
2024-05-01 cs.GT cs.LG math.OC
