Learning Nash Equilibria in Zero-Sum Stochastic Games via Entropy-Regularized Policy Approximation
Mastercard Corporation（万事达卡公司）；Georgia Institute of Technology（佐治亚理工学院）
我们探讨使用政策近似，以减少零和随机博弈中学习纳什均衡的计算成本。我们提出了一种新的Q学习型算法，它使用一系列熵正则化的软策略来近似纳什策略在Q函数更新。我们证明了在一定条件下，通过更新正则化Q函数，算法收敛到一个纳什均衡。我们还证明了所提出的算法的能力，转移以前的训练经验，使代理能够快速适应新的环境。我们提供了一个动态的超参数调度方案，以进一步加快收敛。应用于一些随机游戏的实证结果验证了该算法收敛到纳什均衡，同时表现出一个主要的速度比现有的算法。
2021-06-27 cs.GT cs.LG cs.SY
Robust Reinforcement Learning as a Stackelberg Game via Adaptively-Regularized Adversarial Training
Carnegie Mellon University（卡内基梅隆大学）
鲁棒强化学习（RL）专注于提高模型错误或对抗攻击下的性能，这有助于RL代理的实际部署。鲁棒对抗性强化学习（RARL）是最流行的鲁棒强化学习框架之一。然而，大多数现有的文献模型RARL作为一个零和同步游戏的纳什均衡作为解决方案的概念，这可能会忽略RL部署的顺序性，产生过于保守的代理，并诱导训练不稳定。在本文中，我们介绍了一种新的层次制定的强大的RL -一般和Stackelberg游戏模型称为RRL-Stack -正式的顺序性质，并提供额外的灵活性，强大的训练。我们开发了Stackelberg策略梯度算法来解决RRL-Stack，通过考虑对手的响应来利用Stackelberg学习动态。我们的方法生成具有挑战性但可解决的对抗环境，有利于RL代理的鲁棒学习。在单智能体机器人控制和多智能体高速公路合并任务中，我们的算法对不同的测试条件表现出更好的训练稳定性和鲁棒性。
2022-09-24 cs.AI cs.GT cs.LG
Entropy Regularized Reinforcement Learning for Zero-Sum Stochastic Differential Games in a Regime-Switching Jump-Diffusion Process
School of Mathematics and Statistics（数学与统计学学院）；Department of Actuarial Studies and Business Analytics（精算学与商业分析系）；School of Statistics, KLATASDS-MOE, China Inclusive Ageing Finance Research Center（统计学学院，KLATASDS-MOE，中国包容性老龄化金融研究中心）；East China Normal University（华东师范大学）
针对随机微分博弈中参数误设和环境突变问题，提出分布控制方法，将最优策略建模为条件概率分布，并推导熵正则化零和随机微分博弈的耦合HJBI方程，通过Actor-Critic算法求解均衡策略。
2026-06-27 cs.LG
Entropy-Regularized Mean-Field Games with Average-Reward Criterion: Span-Seminorm Contractions and Model-Free Learning
Bilkent University（比尔肯特大学）；Özyeğin University（奥兹耶金大学）
该研究针对平均奖励准则下带熵正则化的有限状态动作空间平均场博弈，证明了相关算子的收缩性，提出结合软Q学习与经验转移核的无模型学习方法，给出有限样本界与收敛速率，并用路由博弈验证结果。
2026-10-14 cs.GT cs.LG math.OC
Survival of the strictest: Stable and unstable equilibria under regularized learning with partial information
National Technical University of Athens（雅典国立技术大学）；Columbia University（哥伦比亚大学）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Criteo AI Lab（Criteo人工智能实验室）
本文研究了一般N人对策中无悔学习的纳什均衡收敛性质。具体来说，我们专注于原型遵循正则化领导者（FTRL）家族的算法，我们认为全谱的不确定性，玩家可能会遇到的-从嘈杂的，基于预言的反馈，强盗，基于回报的信息。在这个一般的背景下，我们建立了纳什均衡的稳定性和它的支持之间的全面等价：一个纳什均衡是稳定的，并以任意高的概率吸引，当且仅当它是严格的（即，每个均衡策略具有唯一的最佳响应）。这种等价性将现有的进化博弈论民间定理的连续时间版本扩展到真正的算法学习环境，并且为预测游戏中无悔学习的日常行为提供了明确的细化标准
2021-02-04 cs.GT cs.LG cs.MA
The equivalence of dynamic and strategic stability under regularized learning in games
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Grenoble INP（格勒诺布尔国立理工学院）
该研究针对有限博弈中无悔学习策略演化认知不足的问题，通过优反应闭包的集合式稳定性标准，证明了正则化学习下策略稳定性与动态稳定性的等价性，并给出了不同正则化方法的收敛速率。
2023-11-04 cs.GT cs.LG math.OC
Entropy-Regularized Reinforcement Learning for Linear-Quadratic Stackelberg Differential Games in Regime-Switching Diffusion Models
School of Mathematics and Statistics, Anhui Normal University（安徽师范大学数学与统计学学院）；School of Statistics, Key Laboratory of Advanced Theory and Application in Statistics and Data Science-MOE, Faculty of Economics and Management, East China Normal University（东华大学统计学院）；School of Mathematics, Southeast University（东南大学数学学院）
提出熵正则化强化学习方法求解连续时间体制切换扩散模型下的线性二次Stackelberg微分博弈，通过探索性耦合HJBI方程和神经网络逼近，有效避免次优均衡并处理高维PDE。
2026-06-27 cs.LG
Data-Augmented Game Starts for Accelerating Self-Play Exploration in Imperfect Information Games
本文提出数据增强游戏起始策略，通过离线数据采样加速策略梯度方法在不完全信息游戏中的探索，降低可利用性并提高策略效果。
2026-05-14 cs.AI cs.GT cs.LG
ARAC: Adaptive Regularized Multi-Agent Soft Actor-Critic in Graph-Structured Adversarial Games
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
针对图结构多智能体对抗任务中稀疏奖励阻碍策略学习的问题，提出ARAC方法，结合注意力图神经网络建模智能体依赖与自适应散度正则化机制，实验证明其收敛更快、成功率更高且可扩展性更强。
2025-11-11 cs.LG
Achieving Logarithmic Regret in KL-Regularized Zero-Sum Markov Games
Carnegie Mellon University（卡内基梅隆大学）；Yale University（耶鲁大学）
本文提出OMG和SOMG算法，在KL正则化下实现对数遗憾，提升样本效率。
2026-02-04 cs.GT cs.LG math.OC
Learning Regularized Graphon Mean-Field Games with Unknown Graphons
National University of Singapore（新加坡国立大学）；Northwestern University（西北大学）；Yale University（耶鲁大学）
本文针对图子未知的正则化图子平均场博弈，提出GMFG-PPO优化算法及基于核嵌入的图子估计算法，首次实现从采样智能体中学习图子，并证明其收敛性与降低可利用性的有效性。
2023-10-26 cs.GT cs.LG stat.ML
Divergence-Regularized Multi-Agent Actor-Critic
Peking University（北京大学）
熵正则化是强化学习中的一种常用方法。虽然它有很多优点，但它改变了原始马尔可夫决策过程（MDP）的RL目标。虽然发散正则化被提出来解决这个问题，但它不能简单地应用于协作多智能体强化学习（MARL）。本文研究了协作MARL中的发散正则化问题，并提出了一种新的非策略协作MARL框架，发散正则化的多智能体行动者-评论者（DMAC）。理论上，我们推导出了DMAC的更新规则，该规则是自然偏离策略的，并且保证了原始MDP和发散正则化MDP的单调策略改进和收敛。我们还给出了收敛策略与原MDP中最优策略之间的差异的界。DMAC是一个灵活的框架，可以与许多现有的MARL算法相结合。经验上，我们评估DMAC在教学随机游戏和星际争霸多智能体挑战赛，并表明DMAC大大提高了现有的MARL算法的性能。
2022-06-21 cs.AI cs.LG cs.MA
Differentiable Arbitrating in Zero-sum Markov Games
New York University（纽约大学）；Stony Brook University（石溪大学）；Tsinghua University（清华大学）；Northwestern University（西北大学）；Shanghai Qi Zhi Institute（上海期智研究院）
本文首先研究了如何在两人零和马尔可夫博弈中扰动报酬，使之达到理想的纳什均衡，即仲裁。这样的问题承认一个双层优化配方。较低的层次要求在给定的奖励函数下求解纳什均衡，这使得整个问题具有端到端优化的挑战性。我们提出了一个反向传播方案，区分通过纳什均衡，它提供了梯度反馈的上层。特别是，我们的方法只需要一个黑盒求解器（正则化）纳什均衡（NE）。我们开发了适当的黑盒NE求解器的收敛性分析，并证明了经验的成功，在两个多智能体强化学习（MARL）环境。
2023-02-20 cs.AI cs.LG cs.MA
Online Convex Optimization for Sequential Decision Processes and Extensive-Form Games
Carnegie Mellon University（卡内基梅隆大学）
后悔最小化是求解大规模可拓形式博弈的有力工具。最先进的方法依赖于在每个决策点局部最小化后悔。在这项工作中，我们推导出一个新的框架后悔最小化的顺序决策问题和扩展形式的游戏一般紧凸集在每个决策点和一般凸损失，而不是以前的工作，已为单纯形决策点和线性损失。我们称这个框架为层流后悔分解。它将CFR算法推广到这种更一般的设置。此外，我们的框架，即使在已知的设置，这是来自分解多面体遗憾的角度来看，CFR的新的证明，从而导致可以说是一个更简单的解释算法。我们的推广凸紧集和凸损失，使我们能够开发新的算法的几个问题：正则化的顺序决策，正则化的纳什均衡在扩展形式的游戏，计算近似的扩展形式的完美均衡。我们的推广也导致了第一个遗憾最小化算法计算减少正规型量子响应平衡的基础上，最大限度地减少本地遗憾。实验表明，我们的框架导致的算法，规模的速度可比的最快的变种反事实遗憾最小化计算纳什均衡，因此，我们的方法导致的第一个算法计算量子响应均衡在非常大的游戏。最后，我们表明，我们的框架，使一种新的可扩展的对手剥削的方法。
2018-09-10 cs.AI cs.GT cs.LG
Independent Natural Policy Gradient Methods for Potential Games: Finite-time Global Convergence with Entropy Regularization
Carnegie Mellon University（卡内基梅隆大学）；Peking University（北京大学）
多智能体系统中的一个主要挑战是，系统复杂性随着智能体的数量及其动作空间的大小而急剧增长，这在现实世界的场景中是典型的，例如自动驾驶汽车，机器人团队，网络路由，因此，迫切需要设计分散或独立的算法，其中每个代理的更新仅基于其局部观察，而不需要引入复杂的通信/协调机制。在这项工作中，我们研究了有限时间收敛的独立的熵正则化自然政策梯度（NPG）方法的潜在的游戏，在代理的效用函数的差异，由于单边偏差完全匹配的一个共同的势函数。所提出的熵正则化NPG方法使每个代理根据自己的收益部署对称，分散和乘法更新。我们表明，所提出的方法收敛到量子响应均衡（QRE）-均衡的熵正则化游戏-在一个次线性的速度，这是独立的动作空间的大小和增长最次线性与代理的数量。吸引人的是，收敛速度进一步成为独立的代理商的数量的重要特殊情况下，相同的利益游戏，导致第一种方法，收敛在一个无量纲的速度。我们的方法可以作为一种平滑技术，找到一个近似的纳什均衡（NE）的非正则化问题，而无需假设平稳策略是孤立的。
2022-08-29 cs.GT cs.IT cs.LG
Post-Training at the Edge of Detectability: A Game-Theoretic Approach to Fine-Tuning
University of California, Berkeley（加州大学伯克利分校）；Inria（法国国家信息与自动化研究所）；École Normale Supérieure（巴黎高等师范学院）
该研究提出博弈论框架解决RL微调中KL正则化系数设置问题，将均衡系数归约为KL正则化RL目标，在Qwen3-8B等模型实验中实现良好奖励-保留权衡，可用于审计开源模型API提供商。
2026-09-29 cs.AI cs.GT cs.LG
Stability-penalty-adaptive follow-the-regularized-leader: Sparsity, game-dependency, and best-of-both-worlds
Kyoto University（京都大学）；RIKEN（理化学研究所）；The University of Tokyo（东京大学）；NEC Corporation（日本电气公司）
本文提出FTRL的SPA自适应学习率，实现了稀疏性、博弈依赖性和BOBW三种适应性，建立了首个稀疏依赖的BOBW算法并在部分监测中同时实现博弈依赖界与BOBW。
2024-02-13 cs.LG stat.ML
Faster Last-iterate Convergence of Policy Optimization in Zero-Sum Markov Games
Carnegie Mellon University（卡内基梅隆大学）；University of Washington（华盛顿大学）；Meta AI Research（Meta人工智能研究院）
多智能体强化学习（MARL）--多个智能体学习在共享的动态环境中进行交互--渗透到广泛的关键应用中。虽然在理解单智能体强化学习中策略优化方法的全局收敛性方面取得了实质性进展，但在MARL环境中设计和分析有效的策略优化算法提出了重大挑战，不幸的是，现有理论仍然高度不足。在本文中，我们专注于竞争性多智能体RL的最基本的设置，即两个玩家零和马尔可夫游戏，并研究在无限时域折扣设置和有限时域情节设置的均衡发现算法。我们提出了一个单循环的策略优化方法与对称更新从两个代理，其中的政策是通过熵正则化的乐观乘性权重更新（OMWU）的方法更新和更新的值在一个较慢的时间尺度。我们表明，在全信息表格设置中，所提出的方法实现了有限时间的最后一个线性收敛到正则化问题的量子响应平衡，这转化为一个次线性最后一个收敛到纳什均衡通过控制正则化量。我们的收敛结果提高了最知名的迭代复杂性，并导致更好地理解竞争性马尔可夫博弈中的策略优化。
2022-10-04 cs.AI cs.GT cs.LG
Learning Probably Approximately Correct Maximin Strategies in Simulation-Based Games with Infinite Strategy Spaces
Politecnico di Milano（米兰理工大学）
我们解决了基于模拟的游戏中的学习均衡问题。在这样的游戏中，玩家的效用函数不能用分析的方法来描述，因为它们是通过一个黑盒模拟器给出的，可以通过查询来获得对效用的噪声估计。这是许多现实世界游戏的情况，其中所涉及的元素的完整描述是不可用的前期，如复杂的军事设置和在线拍卖。在这些情况下，人们通常需要运行昂贵的模拟过程，以获得对游戏结果的准确估计。因此，解决这些游戏带来了设计学习算法的挑战，这些算法可以使用尽可能少的模拟器查询来找到具有高置信度的（近似）均衡。此外，由于在游戏期间运行模拟器是不可行的，因此算法必须首先执行纯探索学习阶段，然后使用这种方式学习的（近似）均衡来玩游戏。在这项工作中，我们专注于两个玩家零和游戏无限的战略空间。借鉴最好的手臂识别文献，我们设计了两个算法的理论保证，在这些游戏中学习最大最小的策略。第一个在固定置信度设置下工作，保证期望的置信度水平，同时最小化查询的数量。相反，第二个算法适合固定预算设置，在不超过给定的最大查询数量的情况下最大化置信度。首先，我们正式证明了δ-PAC理论保证我们的算法在一定的规律性假设下，这是通过让效用函数从高斯过程中提取编码。然后，我们在一个由随机生成的游戏和代表简单现实世界安全设置的实例组成的测试平台上对我们的技术进行了实验评估。
2020-02-25 cs.GT cs.LG
Multi-Objective Reinforcement Learning with Max-Min Criterion: A Game-Theoretic Approach
本文提出基于最大最小准则的多目标强化学习框架，通过博弈论重述和镜像下降算法实现全局收敛，并显著超越基线。
2025-10-23 cs.AI cs.LG
Regularized Soft Actor-Critic for Behavior Transfer Learning
Ubisoft（育碧）
现有的模仿学习方法主要集中在使智能体有效地模仿被演示的行为，但没有解决行为风格与任务目标之间的潜在矛盾。目前普遍缺乏有效的方法，允许代理在不同程度上部分模仿演示的行为，同时完成任务的主要目标。在本文中，我们提出了一种方法称为正则化软Actor-Critic的约束马尔可夫决策过程框架（CMDP）下制定的主要任务和模仿任务。主任务被定义为最大熵的目标中使用的软演员批评（SAC）和模仿任务被定义为一个约束。我们评估我们的方法对视频游戏应用程序相关的连续控制任务。
2022-09-27 cs.LG
Mastering the Game of Go with Self-play Experience Replay
NetEase AI Lab（网易人工智能实验室）
QZero通过自我对战和非策略经验回放，首次展示了无模型强化学习在掌握围棋中的高效性与可行性。
2026-01-06 cs.AI cs.LG
Unified Policy Optimization for Continuous-action Reinforcement Learning in Non-stationary Tasks and Games
Nanjing University（南京大学）；East China Normal University（华东师范大学）
本文讨论了非平稳环境下的策略学习和连续动作博弈。受FTRL（follow-the-regularized-leader）和MD（mirror descent）更新思想的启发，我们提出了一种无遗憾风格的强化学习算法PORL，而不是经典的奖励最大化机制.我们证明了PORL具有最后收敛保证，这对于对抗和合作博弈都很重要。实证研究表明，在静态环境中，如MuJoCo运动控制任务，PORL的表现与软演员-评论家（SAC）算法一样好，如果不是更好的话;在非静态环境中，包括动态环境，对抗训练和竞争游戏，PORL优于SAC在更好的最终政策性能和更稳定的训练过程。
2022-08-19 cs.LG
Two-Timescale Q-Learning with Function Approximation in Zero-Sum Stochastic Games
University of Maryland, College Park（马里兰大学帕克分校）；MIT（麻省理工学院）；Caltech（加州理工学院）
针对两人零和随机博弈，提出对称、基于收益的双时间尺度函数逼近 Q-learning，并利用 Lyapunov 分析首次给出线性逼近下末次迭代有限样本界。
2023-12-08 cs.LG cs.MA
Regret, equilibrium, and learning in games: A guided tour
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Grenoble INP（格勒诺布尔国立理工学院）；LIG（格勒诺布尔信息学实验室）
本文围绕博弈学习的遗憾、均衡与学习，结合单智能体和多智能体场景，研究正则化学习策略及相关理论，为该领域提供入门性阐述。
2026-08-11 cs.GT cs.LG math.OC
A Policy-Gradient Approach to Solving Imperfect-Information Games with Best-Iterate Convergence
本文首次证明策略梯度方法在两人零和不完美信息扩展式博弈中可实现最佳迭代收敛到正则化纳什均衡，为策略梯度在博弈论中的应用奠定理论基础。
2025-07-09 cs.AI cs.GT cs.LG
Utilizing Prior Solutions for Reward Shaping and Composition in Entropy-Regularized Reinforcement Learning
University of Massachusetts Boston（马萨诸塞大学波士顿分校）；San Jose State University（圣何塞州立大学）
在强化学习（RL）中，利用先前解决的任务的先验知识的能力可以允许代理快速解决新问题。在某些情况下，这些新的问题可以通过组合先前解决的原始任务的解决方案（任务组合）来近似解决。否则，可以使用先验知识来调整新问题的奖励函数，以保持最优策略不变但能够更快学习的方式（奖励塑造）。在这项工作中，我们开发了一个通用的框架，奖励塑造和任务组成熵正则化强化学习。为了做到这一点，我们推导出一个精确的关系连接的最佳软价值函数的两个熵正则化RL问题具有不同的奖励函数和动态。我们展示了如何导出的关系导致一个一般的结果，奖励塑造在熵正则化RL。然后，我们推广这种方法，推导出一个精确的关系连接最佳价值函数的熵正则化RL的多个任务的组成。我们通过实验验证了这些理论贡献，实验表明奖励塑造和任务组合可以在各种环境中更快地学习。
2022-12-30 cs.LG
Self-Play PSRO: Toward Optimal Populations in Two-Player Zero-Sum Games
Carnegie Mellon University（卡内基梅隆大学）；University of California, Irvine（加州大学欧文分校）；Strategy Robot, Inc.（战略机器人公司）；Optimized Markets, Inc.（优化市场公司）；Strategic Machine, Inc.（战略机器公司）
在竞争性双智能体环境中，基于\emph{Double Oracle (DO)}算法的深度强化学习（RL）方法（如\emph{Policy Space Response Oracles (PSRO)}和\emph{Anytime PSRO (APSRO)}）迭代地将RL最佳响应策略添加到种群中。最终，这些人口政策的最佳混合将接近纳什均衡。但是，这些方法可能需要在收敛之前添加所有确定性策略。在这项工作中，我们介绍了\emph{Self-Play PSRO (SP-PSRO)}，一种方法，增加了一个近似最优的随机政策的人口在每次迭代。SP-PSRO不是只将确定性最佳对策添加到对手最少可利用的种群混合中，而是学习一个近似最优的随机策略，并将其添加到种群中。因此，SP-PSRO在经验上往往比APSRO收敛得更快，并且在许多游戏中只需几次迭代即可收敛。
2022-07-13 cs.GT cs.LG cs.MA
Independent Learning in Constrained Markov Potential Games
ETH Zürich（苏黎世联邦理工学院）
针对约束 Markov 势博弈，提出无需集中协调的独立策略梯度算法，结合正则化约束集的邻近点更新与随机切换梯度求解，并证明其收敛至近似约束 Nash 均衡。
2024-02-27 cs.GT cs.LG cs.MA
$\widetilde{O}(T^{-1})$ Convergence to (Coarse) Correlated Equilibria in Full-Information General-Sum Markov Games
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；IBM Research（IBM研究院）
针对马尔可夫博弈中缺乏近优收敛速率的问题，本文证明OFTRL算法结合适当价值更新过程能在全信息一般和马尔可夫博弈中于T次迭代内找到 $\widetilde{O}(T^{-1})$-近似的（粗）相关均衡。
2024-04-23 cs.AI cs.GT cs.LG
Fast Exploration with Simplified Models and Approximately Optimistic Planning in Model Based Reinforcement Learning
Stanford University（斯坦福大学）
人类学习玩视频游戏的速度明显快于最先进的强化学习（RL）算法。人们似乎建立简单的模型，易于学习，以支持规划和战略探索。受此启发，我们研究了利用基于模型的RL提高样本效率的两个问题。首先，我们研究如何进行战略探索时，精确的规划是不可行的，经验表明，乐观的蒙特卡罗树搜索优于后验抽样方法。其次，我们展示了如何学习简单的确定性模型，以支持使用对象表示的快速学习。我们说明了这些想法的好处，通过引入一种新的算法，战略面向对象的强化学习（SOORL），在陷阱的游戏中表现优于国家的最先进的算法！在不到50集里。
2018-11-26 cs.AI
Distributional Reinforcement Learning with Regularized Wasserstein Loss
University of Alberta（阿尔伯塔大学）；Harbin Engineering University（哈尔滨工程大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
本文提出SinkhornDRL算法，利用正则化Wasserstein损失（Sinkhorn散度）最小化Bellman回报分布差异，理论证明其收缩性质，并在Atari游戏及多维奖励设定中表现优异。
2024-10-14 cs.LG stat.ML
PAC Reinforcement Learning Algorithm for General-Sum Markov Games
University of Delaware（特拉华大学）
本文提出了一个理论框架，可能近似正确（PAC）的多智能体强化学习（MARL）算法的马尔可夫博弈。本文利用延迟Q学习的思想，对著名的Nash Q-学习算法进行了扩展，建立了一种新的求解一般和马尔可夫对策的PAC MARL算法。除了指导可证明的PAC MARL算法的设计外，该框架还可以检查任意MARL算法是否是PAC。比较数值结果表明性能和鲁棒性。
2020-09-05 cs.GT cs.LG math.OC
On Feasible Rewards in Multi-Agent Inverse Reinforcement Learning
Department of Computer Science University of Zurich（计算机科学系苏黎世大学）
本文提出熵正则化的马尔可夫博弈，解决多智能体逆强化学习中奖励函数的可行集问题，并分析误差对策略学习的影响。
2025-11-25 cs.LG
Pessimism-Free Offline Learning in General-Sum Games via KL Regularization
California Institute of Technology（加州理工学院）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出了一种基于KL正则化的离线学习方法，能够在一般和博弈中实现无悲观的均衡恢复，通过加速的统计速率和计算高效的算法提升学习效率。
2026-05-18 cs.GT cs.LG
Regularized policy gradient with learned mixtures of Gaussians for games with continuous actions
Czech Technical University in Prague（布拉格捷克理工大学）；Carnegie Mellon University（卡内基梅隆大学）；Artificial Intelligence Center（人工智能中心）；Strategy Robot, Inc.（策略机器人公司）；Strategic Machine, Inc.（战略机器公司）；Optimized Markets, Inc.（优化市场公司）
提出一种结合磁镜下降与高斯混合重参数化的策略梯度算法，用于连续动作博弈，通过自我对弈训练，在多个博弈中优于现有方法并减少样本需求。
2026-09-30 cs.GT cs.MA
A Controllability Perspective on Steering Follow-the-Regularized-Leader Learners in Games
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文从可控性角度研究游戏中的引导正规化领导者学习者，提出通过控制器策略引导学习者收敛到目标状态的方法，针对双玩家和多玩家情况给出可控性条件。
2026-03-28 cs.MA cs.SY eess.SY
Body-Reservoir Governance in Repeated Games: Embodied Decision-Making, Dynamic Sentinel Adaptation, and Complexity-Regularized Optimization
The Open University of Japan（日本开放大学）
本文提出身体储备治理架构，通过动态哨兵和复杂性正则化优化，在重复博弈中实现高效合作，减少计算成本并提升适应性。
2026-02-24 cs.GT cs.MA cs.NE
Robust Multi-Agent Decision-Making in Finite-Population Games
本文研究有限种群博弈中KLD-RL决策模型的鲁棒性，分析模型参数对噪声和建模误差影响的作用，并通过数值仿真给出参数调节策略。
2025-11-06 cs.MA cs.SY eess.SY
Approximate Feedback Nash Equilibria with Sparse Inter-Agent Dependencies
Oden Institute for Computational Engineering and Sciences, The University of Texas at Austin（德克萨斯大学奥斯汀分校奥登计算工程与科学研究所）；Department of Electrical Engineering and Computer Sciences, University of California, Berkeley（加州大学伯克利分校电气工程与计算机科学系）；DEVCOM Army Research Laboratory（DEVCOM陆军研究实验室）
本文针对多智能体动态博弈中全状态反馈成本高且对噪声脆弱的问题，提出一种正则化动态规划方法，通过求解凸自适应组 Lasso 问题计算稀疏反馈策略以近似纳什均衡，并在 LQ 及非 LQ 博弈中验证了其收敛性和在噪声观测下最高降低 77% 成本的优势。
2025-04-09 cs.GT cs.MA cs.RO
Nash Equilibria in Games with Playerwise Concave Coupling Constraints: Existence and Computation
EPFL, Switzerland（苏黎世联邦理工学院）
本文研究了具有玩家间凹耦合约束的游戏中的纳什均衡存在性与计算，提出了一种收敛算法以在非凸可行区域中找到近似纳什均衡。
2026-02-06 cs.GT cs.LG cs.MA
Nash Equilibrium and Learning Dynamics in Three-Player Matching $m$-Action Games
本研究构建了一个三人竞争匹配行动的极简博弈，全面分析了其复杂的纳什均衡，并基于Follow the Regularized Leader算法从理论和实验两方面刻画了三人互动的学习动态。
2025-03-05 cs.GT cs.MA math.OC
