Achieving Logarithmic Regret in KL-Regularized Zero-Sum Markov Games
Carnegie Mellon University（卡内基梅隆大学）；Yale University（耶鲁大学）
本文提出OMG和SOMG算法，在KL正则化下实现对数遗憾，提升样本效率。
2026-02-04 cs.GT cs.LG math.OC
Entropy Regularized Reinforcement Learning for Zero-Sum Stochastic Differential Games in a Regime-Switching Jump-Diffusion Process
School of Mathematics and Statistics（数学与统计学学院）；Department of Actuarial Studies and Business Analytics（精算学与商业分析系）；School of Statistics, KLATASDS-MOE, China Inclusive Ageing Finance Research Center（统计学学院，KLATASDS-MOE，中国包容性老龄化金融研究中心）；East China Normal University（华东师范大学）
针对随机微分博弈中参数误设和环境突变问题，提出分布控制方法，将最优策略建模为条件概率分布，并推导熵正则化零和随机微分博弈的耦合HJBI方程，通过Actor-Critic算法求解均衡策略。
2026-06-27 cs.LG
Robust Reinforcement Learning as a Stackelberg Game via Adaptively-Regularized Adversarial Training
Carnegie Mellon University（卡内基梅隆大学）
鲁棒强化学习（RL）专注于提高模型错误或对抗攻击下的性能，这有助于RL代理的实际部署。鲁棒对抗性强化学习（RARL）是最流行的鲁棒强化学习框架之一。然而，大多数现有的文献模型RARL作为一个零和同步游戏的纳什均衡作为解决方案的概念，这可能会忽略RL部署的顺序性，产生过于保守的代理，并诱导训练不稳定。在本文中，我们介绍了一种新的层次制定的强大的RL -一般和Stackelberg游戏模型称为RRL-Stack -正式的顺序性质，并提供额外的灵活性，强大的训练。我们开发了Stackelberg策略梯度算法来解决RRL-Stack，通过考虑对手的响应来利用Stackelberg学习动态。我们的方法生成具有挑战性但可解决的对抗环境，有利于RL代理的鲁棒学习。在单智能体机器人控制和多智能体高速公路合并任务中，我们的算法对不同的测试条件表现出更好的训练稳定性和鲁棒性。
2022-09-24 cs.AI cs.GT cs.LG
Approximately Solving Mean Field Games via Entropy-Regularized Deep Reinforcement Learning
Technische Universität Darmstadt（达姆施塔特工业大学）
最近的平均场博弈（MFG）的形式主义，否则难以计算的近似纳什均衡在许多代理设置。在本文中，我们考虑离散时间有限MFG有限时域目标。我们发现，所有的离散时间有限MFG与非常数不动点算子未能压缩通常假设在现有的MFG文献，除非通过不动点迭代收敛。相反，我们将熵正则化和玻尔兹曼政策到不动点迭代。结果，我们获得了可证明的收敛到现有方法失败的近似不动点，并达到了近似纳什均衡的原始目标。所有提出的方法进行评估，就其可利用性，在两个有指导意义的例子与易于处理的精确解和高维问题的精确方法变得棘手。在高维场景中，我们应用已建立的深度强化学习方法，并根据经验将虚拟游戏与我们的近似值结合起来。
2022-07-08 cs.AI cs.LG cs.MA
Survival of the strictest: Stable and unstable equilibria under regularized learning with partial information
National Technical University of Athens（雅典国立技术大学）；Columbia University（哥伦比亚大学）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Criteo AI Lab（Criteo人工智能实验室）
本文研究了一般N人对策中无悔学习的纳什均衡收敛性质。具体来说，我们专注于原型遵循正则化领导者（FTRL）家族的算法，我们认为全谱的不确定性，玩家可能会遇到的-从嘈杂的，基于预言的反馈，强盗，基于回报的信息。在这个一般的背景下，我们建立了纳什均衡的稳定性和它的支持之间的全面等价：一个纳什均衡是稳定的，并以任意高的概率吸引，当且仅当它是严格的（即，每个均衡策略具有唯一的最佳响应）。这种等价性将现有的进化博弈论民间定理的连续时间版本扩展到真正的算法学习环境，并且为预测游戏中无悔学习的日常行为提供了明确的细化标准
2021-02-04 cs.GT cs.LG cs.MA
Mastering the Game of No-Press Diplomacy via Human-Regularized Reinforcement Learning and Planning
Meta AI；MIT（麻省理工学院）
No-press Diplomacy是一个复杂的策略游戏，涉及合作和竞争，是多智能体AI研究的基准。虽然自我游戏强化学习在国际象棋、围棋和扑克等纯粹的对抗性游戏中取得了许多成功，但在涉及与人类合作的领域中，自我游戏本身并不足以实现最佳性能。我们首先引入了一个规划算法，我们称之为DiL-piKL，规范化的奖励最大化的政策对人类模仿学习的政策，以解决这个缺点。我们证明了这是一个修正效用函数下的无遗憾学习算法。然后，我们表明，DiL-piKL可以扩展到一个自我发挥的强化学习算法，我们称之为RL-DiL-piKL，它提供了一个模型的人类发挥，同时训练代理，以及响应这个人类模型。我们用RL-DiL-piKL训练了一个我们叫梁龙的特工在一场200局的无媒体外交比赛中，62名人类参与者的技能水平从初学者到专家，两名梁龙代理人的平均得分都高于所有其他参与者，他们玩了两局以上，根据Elo评级模型排名第一和第三。
2022-10-11 cs.AI cs.GT cs.LG
Entropy-Regularized Reinforcement Learning for Linear-Quadratic Stackelberg Differential Games in Regime-Switching Diffusion Models
School of Mathematics and Statistics, Anhui Normal University（安徽师范大学数学与统计学学院）；School of Statistics, Key Laboratory of Advanced Theory and Application in Statistics and Data Science-MOE, Faculty of Economics and Management, East China Normal University（东华大学统计学院）；School of Mathematics, Southeast University（东南大学数学学院）
提出熵正则化强化学习方法求解连续时间体制切换扩散模型下的线性二次Stackelberg微分博弈，通过探索性耦合HJBI方程和神经网络逼近，有效避免次优均衡并处理高维PDE。
2026-06-27 cs.LG
Learning Regularized Graphon Mean-Field Games with Unknown Graphons
National University of Singapore（新加坡国立大学）；Northwestern University（西北大学）；Yale University（耶鲁大学）
本文针对图子未知的正则化图子平均场博弈，提出GMFG-PPO优化算法及基于核嵌入的图子估计算法，首次实现从采样智能体中学习图子，并证明其收敛性与降低可利用性的有效性。
2023-10-26 cs.GT cs.LG stat.ML
ARAC: Adaptive Regularized Multi-Agent Soft Actor-Critic in Graph-Structured Adversarial Games
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
针对图结构多智能体对抗任务中稀疏奖励阻碍策略学习的问题，提出ARAC方法，结合注意力图神经网络建模智能体依赖与自适应散度正则化机制，实验证明其收敛更快、成功率更高且可扩展性更强。
2025-11-11 cs.LG
A Regularized Opponent Model with Maximum Entropy Objective
University College London（伦敦大学学院）；University of Alberta（阿尔伯塔大学）
在单智能体环境中，强化学习（RL）任务可以通过引入代表“最优性”的二进制随机变量o来转换为推理问题。在本文中，我们重新定义了二进制随机变量o的多智能体设置和形式化的多智能体强化学习（MARL）的概率推理。我们推导出一个变分下界的可能性达到最优，并将其命名为正则化的对手模型与最大熵目标（ROMMEO）。从ROMMEO，我们提出了一个新的角度对对手建模，并显示它如何可以提高性能的训练代理的理论和经验合作游戏。为了优化ROMMEO，我们首先介绍了一个表格Q迭代方法ROMMEO-Q的收敛性证明。我们提出了一个近似的版本，ROMMEO-AC的精确算法扩展到复杂的环境。我们分别在具有挑战性的迭代矩阵博弈和微分博弈上对这两种算法进行了评估，并表明它们的性能优于强MARL基线。
2019-08-19 cs.AI cs.LG cs.MA
Independent Natural Policy Gradient Methods for Potential Games: Finite-time Global Convergence with Entropy Regularization
Carnegie Mellon University（卡内基梅隆大学）；Peking University（北京大学）
多智能体系统中的一个主要挑战是，系统复杂性随着智能体的数量及其动作空间的大小而急剧增长，这在现实世界的场景中是典型的，例如自动驾驶汽车，机器人团队，网络路由，因此，迫切需要设计分散或独立的算法，其中每个代理的更新仅基于其局部观察，而不需要引入复杂的通信/协调机制。在这项工作中，我们研究了有限时间收敛的独立的熵正则化自然政策梯度（NPG）方法的潜在的游戏，在代理的效用函数的差异，由于单边偏差完全匹配的一个共同的势函数。所提出的熵正则化NPG方法使每个代理根据自己的收益部署对称，分散和乘法更新。我们表明，所提出的方法收敛到量子响应均衡（QRE）-均衡的熵正则化游戏-在一个次线性的速度，这是独立的动作空间的大小和增长最次线性与代理的数量。吸引人的是，收敛速度进一步成为独立的代理商的数量的重要特殊情况下，相同的利益游戏，导致第一种方法，收敛在一个无量纲的速度。我们的方法可以作为一种平滑技术，找到一个近似的纳什均衡（NE）的非正则化问题，而无需假设平稳策略是孤立的。
2022-08-29 cs.GT cs.IT cs.LG
Stability-penalty-adaptive follow-the-regularized-leader: Sparsity, game-dependency, and best-of-both-worlds
Kyoto University（京都大学）；RIKEN（理化学研究所）；The University of Tokyo（东京大学）；NEC Corporation（日本电气公司）
本文提出FTRL的SPA自适应学习率，实现了稀疏性、博弈依赖性和BOBW三种适应性，建立了首个稀疏依赖的BOBW算法并在部分监测中同时实现博弈依赖界与BOBW。
2024-02-13 cs.LG stat.ML
Data-Augmented Game Starts for Accelerating Self-Play Exploration in Imperfect Information Games
本文提出数据增强游戏起始策略，通过离线数据采样加速策略梯度方法在不完全信息游戏中的探索，降低可利用性并提高策略效果。
2026-05-14 cs.AI cs.GT cs.LG
Faster Last-iterate Convergence of Policy Optimization in Zero-Sum Markov Games
Carnegie Mellon University（卡内基梅隆大学）；University of Washington（华盛顿大学）；Meta AI Research（Meta人工智能研究院）
多智能体强化学习（MARL）--多个智能体学习在共享的动态环境中进行交互--渗透到广泛的关键应用中。虽然在理解单智能体强化学习中策略优化方法的全局收敛性方面取得了实质性进展，但在MARL环境中设计和分析有效的策略优化算法提出了重大挑战，不幸的是，现有理论仍然高度不足。在本文中，我们专注于竞争性多智能体RL的最基本的设置，即两个玩家零和马尔可夫游戏，并研究在无限时域折扣设置和有限时域情节设置的均衡发现算法。我们提出了一个单循环的策略优化方法与对称更新从两个代理，其中的政策是通过熵正则化的乐观乘性权重更新（OMWU）的方法更新和更新的值在一个较慢的时间尺度。我们表明，在全信息表格设置中，所提出的方法实现了有限时间的最后一个线性收敛到正则化问题的量子响应平衡，这转化为一个次线性最后一个收敛到纳什均衡通过控制正则化量。我们的收敛结果提高了最知名的迭代复杂性，并导致更好地理解竞争性马尔可夫博弈中的策略优化。
2022-10-04 cs.AI cs.GT cs.LG
Regret, equilibrium, and learning in games: A guided tour
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Grenoble INP（格勒诺布尔国立理工学院）；LIG（格勒诺布尔信息学实验室）
本文围绕博弈学习的遗憾、均衡与学习，结合单智能体和多智能体场景，研究正则化学习策略及相关理论，为该领域提供入门性阐述。
2026-08-11 cs.GT cs.LG math.OC
Regularized Soft Actor-Critic for Behavior Transfer Learning
Ubisoft（育碧）
现有的模仿学习方法主要集中在使智能体有效地模仿被演示的行为，但没有解决行为风格与任务目标之间的潜在矛盾。目前普遍缺乏有效的方法，允许代理在不同程度上部分模仿演示的行为，同时完成任务的主要目标。在本文中，我们提出了一种方法称为正则化软Actor-Critic的约束马尔可夫决策过程框架（CMDP）下制定的主要任务和模仿任务。主任务被定义为最大熵的目标中使用的软演员批评（SAC）和模仿任务被定义为一个约束。我们评估我们的方法对视频游戏应用程序相关的连续控制任务。
2022-09-27 cs.LG
Post-Training at the Edge of Detectability: A Game-Theoretic Approach to Fine-Tuning
University of California, Berkeley（加州大学伯克利分校）；Inria（法国国家信息与自动化研究所）；École Normale Supérieure（巴黎高等师范学院）
该研究提出博弈论框架解决RL微调中KL正则化系数设置问题，将均衡系数归约为KL正则化RL目标，在Qwen3-8B等模型实验中实现良好奖励-保留权衡，可用于审计开源模型API提供商。
2026-09-29 cs.AI cs.GT cs.LG
Convergence of Policy Gradient for Entropy Regularized MDPs with Neural Network Approximation in the Mean-Field Regime
University of Edinburgh（爱丁堡大学）；Imperial College London（帝国理工学院）；Vega Protocol（维加协议）；The Alan Turing Institute（艾伦·图灵研究所）
研究了无限时域、连续状态和动作空间以及熵正则化马尔可夫决策过程（MDP）下策略梯度的整体收敛。我们考虑一个softmax政策（一个隐藏层）神经网络近似的平均场制度。在相关的平均场概率测度中增加了额外的熵正则化，并在2-Wasserstein度量中研究了相应的梯度流。我们表明，目标函数是增加沿梯度流。此外，我们证明了，如果正则化的平均场措施是足够的，梯度流指数快速收敛到唯一的固定的解决方案，这是唯一的最大化的正则化MDP目标。最后，我们研究了沿梯度流的值函数关于正则化参数和初始条件的灵敏度。我们的结果依赖于对非线性Fokker-Planck-Kolmogorov方程的仔细分析，并扩展了Mei et al. 2020和Agarwal et al. 2020的开创性工作，这些工作量化了表格设置中熵正则化MDP的政策梯度的整体收敛率。
2022-06-16 cs.AI cs.LG math.OC
Unified Policy Optimization for Continuous-action Reinforcement Learning in Non-stationary Tasks and Games
Nanjing University（南京大学）；East China Normal University（华东师范大学）
本文讨论了非平稳环境下的策略学习和连续动作博弈。受FTRL（follow-the-regularized-leader）和MD（mirror descent）更新思想的启发，我们提出了一种无遗憾风格的强化学习算法PORL，而不是经典的奖励最大化机制.我们证明了PORL具有最后收敛保证，这对于对抗和合作博弈都很重要。实证研究表明，在静态环境中，如MuJoCo运动控制任务，PORL的表现与软演员-评论家（SAC）算法一样好，如果不是更好的话;在非静态环境中，包括动态环境，对抗训练和竞争游戏，PORL优于SAC在更好的最终政策性能和更稳定的训练过程。
2022-08-19 cs.LG
Divergence-Regularized Multi-Agent Actor-Critic
Peking University（北京大学）
熵正则化是强化学习中的一种常用方法。虽然它有很多优点，但它改变了原始马尔可夫决策过程（MDP）的RL目标。虽然发散正则化被提出来解决这个问题，但它不能简单地应用于协作多智能体强化学习（MARL）。本文研究了协作MARL中的发散正则化问题，并提出了一种新的非策略协作MARL框架，发散正则化的多智能体行动者-评论者（DMAC）。理论上，我们推导出了DMAC的更新规则，该规则是自然偏离策略的，并且保证了原始MDP和发散正则化MDP的单调策略改进和收敛。我们还给出了收敛策略与原MDP中最优策略之间的差异的界。DMAC是一个灵活的框架，可以与许多现有的MARL算法相结合。经验上，我们评估DMAC在教学随机游戏和星际争霸多智能体挑战赛，并表明DMAC大大提高了现有的MARL算法的性能。
2022-06-21 cs.AI cs.LG cs.MA
Continuous Mean-Zero Disagreement-Regularized Imitation Learning (CMZ-DRIL)
Johns Hopkins University Applied Physics Laboratory（约翰斯·霍普金斯大学应用物理实验室）
针对少量专家示范且无环境奖励的模仿学习问题，提出CMZ-DRIL，利用智能体集成动作分歧构造连续均值零奖励并强化优化，在导航和MuJoCo任务中优于既有方法。
2024-03-02 cs.LG
Distributional Reinforcement Learning with Regularized Wasserstein Loss
University of Alberta（阿尔伯塔大学）；Harbin Engineering University（哈尔滨工程大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
本文提出SinkhornDRL算法，利用正则化Wasserstein损失（Sinkhorn散度）最小化Bellman回报分布差异，理论证明其收缩性质，并在Atari游戏及多维奖励设定中表现优异。
2024-10-14 cs.LG stat.ML
Multi-Objective Reinforcement Learning with Max-Min Criterion: A Game-Theoretic Approach
本文提出基于最大最小准则的多目标强化学习框架，通过博弈论重述和镜像下降算法实现全局收敛，并显著超越基线。
2025-10-23 cs.AI cs.LG
A Policy-Gradient Approach to Solving Imperfect-Information Games with Best-Iterate Convergence
本文首次证明策略梯度方法在两人零和不完美信息扩展式博弈中可实现最佳迭代收敛到正则化纳什均衡，为策略梯度在博弈论中的应用奠定理论基础。
2025-07-09 cs.AI cs.GT cs.LG
Differentiable Arbitrating in Zero-sum Markov Games
New York University（纽约大学）；Stony Brook University（石溪大学）；Tsinghua University（清华大学）；Northwestern University（西北大学）；Shanghai Qi Zhi Institute（上海期智研究院）
本文首先研究了如何在两人零和马尔可夫博弈中扰动报酬，使之达到理想的纳什均衡，即仲裁。这样的问题承认一个双层优化配方。较低的层次要求在给定的奖励函数下求解纳什均衡，这使得整个问题具有端到端优化的挑战性。我们提出了一个反向传播方案，区分通过纳什均衡，它提供了梯度反馈的上层。特别是，我们的方法只需要一个黑盒求解器（正则化）纳什均衡（NE）。我们开发了适当的黑盒NE求解器的收敛性分析，并证明了经验的成功，在两个多智能体强化学习（MARL）环境。
2023-02-20 cs.AI cs.LG cs.MA
Regularized Bayesian best response learning in finite games
我们引入了正则化贝叶斯最佳对策（RBBR）学习动态的概念在非齐性总体游戏。我们得到这样一个动态通过扰动的任意低连续，强凸正则化贝叶斯人口游戏与多个战略。我们给出了RBBR学习动态系统存在静止点的充分条件，从而证明了贝叶斯种群博弈中正则化贝叶斯均衡的存在性。这些均衡近似原来的贝叶斯平衡消失的小扰动。我们还探讨了RBBR学习动态的基本属性，其中包括存在唯一的连续解决方案，从任意初始条件，以及连续的解决方案轨迹，从而获得相对于初始条件。最后，作为理论的应用，我们引入了贝叶斯势和贝叶斯负半定对策的概念，并给出了这类对策的收敛性结果。
2023-03-09 math.OC math.PR
Distributed Nash Equilibrium Seeking for Monotone Generalized Noncooperative Games by a Regularized Penalty Method
本文研究了具有集合约束和共享仿射不等式约束的单调广义非合作对策的分布式Nash均衡求解问题。提出了一种分布式正则化惩罚方法。其思想是使用一个具有时变罚参数的可微罚函数来处理不等式约束。通过引入时变正则化项，解决了单调性假设和时变惩罚项引起的病态问题。证明了该对策的最小范数变分均衡的渐近收敛。数值算例表明了该算法的有效性和效率。
2020-10-25 math.OC
Entropy-Regularized Stochastic Games
在二人零和随机对策中，两个竞争的局中人在不确定性条件下进行决策，传统上一对最优策略由纳什均衡描述，并在局中人对环境的随机转移模型具有完全信息的假设下计算。然而，实施这种战略可能会使参与者容易受到环境中不可预见的变化的影响。在本文中，我们引入了熵正则化的随机对策，其中每个玩家的目标是最大化的因果熵的战略，除了其预期的回报。正则化项平衡了每个参与者的理性与其对过渡模型错误信息水平的信念。我们考虑熵正则化的$N$阶段和熵正则化的折扣随机对策，并建立在这两个游戏中的值的存在。此外，我们证明了充分的马尔可夫和平稳的混合策略，以达到价值，分别在$N$阶段和折扣游戏。最后，我们提出了算法，这是基于凸优化问题，计算的最优策略。在一个数值例子中，我们演示了所提出的方法的运动规划方案，并说明了预期收益的正则化项的效果。
2019-07-29 math.OC
Variational Contraction Conditions for Iterative Algorithms in Multi-Population Discrete-Time Regularized Mean-Field Games
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对多总体离散时间正则化平均场博弈，基于Lipschitz连续性假设，提出各迭代算法在任意赋范空间中的显式（最终）收缩条件，并给出有限时域均衡向无限时域均衡收敛的速率。
2026-09-04 cs.SY eess.SY math.OC
Horizon-Independent Contraction for Continuous-Time Discounted Regularized Mean-Field Games
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
该研究针对带折扣和熵正则化的非平稳连续时间平均场博弈，证明大折扣率下有限时域MFG满足与时域无关的收缩条件，推导了有限与无限时域均衡的收敛率及相关误差界。
2026-08-31 cs.GT cs.SY eess.SY
Regularized Gradient Descent Ascent for Two-Player Zero-Sum Markov Games
Georgia Institute of Technology（佐治亚理工学院）；Virginia Tech（弗吉尼亚理工大学）
研究了两人零和马尔可夫博弈的纳什均衡问题。由于其公式化为极大极小优化程序，解决该问题的自然方法是以交替方式相对于每个玩家执行梯度下降/上升。然而，由于底层目标函数的非凸性/非线性，对该方法的理论理解是有限的。在我们的论文中，我们考虑解决马尔可夫博弈的熵正则化的变体。正则化将结构引入优化景观，使解决方案更可识别，并允许更有效地解决问题。我们的主要贡献是表明，在适当的正则化参数的选择，梯度下降上升算法收敛到原来的非正则化问题的纳什均衡。我们明确地描述了我们的算法，大大提高了现有的收敛范围的梯度下降上升算法没有正则化的最后一个周期的有限时间性能。最后，我们补充的分析与数值模拟，说明加速收敛的算法。
2022-10-12 cs.LG math.OC
Regularized Box-Simplex Games and Dynamic Decremental Bipartite Matching
盒子-单纯形博弈是一类双线性极大极小目标，它封装了图结构的问题，如最大流[She 17]，最优运输[JST 19]和二分匹配[AJJ+22]。我们为这些游戏的正则化变体开发了高效的近线性时间，高精度的求解器。除了直接应用这些求解器计算Sinkhorn距离，在机器学习中的一个突出的工具，我们表明，这些求解器可以用来获得改善的运行时间，以保持（分数）$ε$ -近似最大匹配的动态递减二分图对自适应对手。我们给出了一个通用的框架，降低了这个动态匹配问题，解决正则化图结构的优化问题，以高精度。通过我们的简化框架，我们的正则化盒单纯形游戏求解器意味着一个新的算法，动态递减二分匹配总时间$\tilde{O}(m \cdot ε^{-3})$，从一个初始图与$m$边和$n$节点。我们进一步展示了如何使用流优化[CKL+22]的最新进展，以提高我们的运行时间$m^{1 + o(1)} \cdot ε^{-2}$，从而展示了我们的减少为基础的方法的多功能性。这些结果改进了$\tilde{O}(m \cdot ε^{-4})$ [BGS 20]之前的最佳运行时间，并说明了使用正则化优化问题求解器设计动态算法的实用性。
2022-06-14 cs.DS math.OC
Learning in nonatomic games, Part I: Finite action spaces and population games
Tweag I/O（Tweag I/O公司）；CNRS（法国国家科学研究中心）；University of Dauphine-PSL（巴黎多芬大学-巴黎文理研究大学）；University of Liverpool（利物浦大学）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；Grenoble INP（格勒诺布尔国立理工学院）；Sorbonne Université（索邦大学）；UPMC（巴黎第六大学）
我们研究了在非原子游戏中学习的各种动态的长期行为，在离散和连续的时间。我们考虑的动力学类型包括虚拟游戏及其正则化变体、最佳回复动力学（同样，可能是正则化的），以及双重平均/“跟随正则化领导者”的动力学（它们本身包括作为特例的复制者动力学和弗里德曼的投影动力学）。我们的分析关注的实际轨迹的发挥和它的时间平均，我们涵盖潜在的和单调的游戏，以及游戏的进化稳态（全球或其他）。我们专注于有限行动空间的游戏，连续行动空间的非原子游戏在本文的第二部分中详细讨论。
2021-07-04 cs.GT cs.LG math.OC
A regularized variance-reduced modified extragradient method for stochastic hierarchical games
针对含期望值与分层项的N参与者随机分层博弈，提出迭代正则化、平滑的方差缩减修正超梯度框架，并给出收敛速率、复杂度及非精确下层求解扩展。
2024-01-25 cs.GT math.OC
Exploratory LQG Mean Field Games with Entropy Regularization
研究了一类具有$K$不同子种群的连续时间下的熵正则化多变量LQG平均场对策。我们扩展的概念，行动的行动分布（探索性行动），并明确推导出最佳的行动分布的限制MFG中的个别代理。我们证明，最佳的一组动作分布产生一个$ε$ -纳什均衡的有限人口熵正则化MFG。此外，我们将所得解与经典LQG MFG的解进行了比较，并建立了它们存在的等价性。
2021-11-29 cs.SY eess.SY math.OC
Accelerated regularized learning in finite N-person games
Stanford University（斯坦福大学）；University of Wisconsin–Madison（威斯康星大学麦迪逊分校）；Univ. Grenoble Alpes（格勒诺布尔大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Grenoble INP（格勒诺布尔理工学院）；LIG（信息与信号处理实验室）
本文提出“跟随加速领导者”（FTXL）方法，将Nesterov动量引入正则化学习，在有限N人博弈中实现对严格纳什均衡的超线性收敛，并在多种反馈结构下保持指数级加速优势。
2024-12-29 cs.GT cs.LG math.OC
The planning problem in Mean Field Games as regularized mass transport
本文利用变分方法研究了平均场对策理论中的一阶规划问题。我们证明了在无穷远处具有任意超线性增长阶和局部耦合函数的一类Hamilton算子的情况下，问题的弱解的存在性和唯一性.我们要求初始和最终的度量值仅仅是可求和的。在同一时间（依赖于最近开发的技术由Graber和Mészáros），在较强的单调性和凸性条件下的数据，我们获得Sobolev估计的空间和时间导数的规划问题的解决方案。
2019-05-18 math.AP math.OC
The impact of uncertainty on regularized learning in games
Univ. Grenoble Alpes, CNRS, Inria, Grenoble INP, LIG（格勒诺布尔阿尔卑斯大学、国家科学研究中心、Inria、格勒诺布尔INP、LIG）
该研究考察带随机冲击的FTRL博弈学习动力学，发现不确定性使策略趋近纯策略，明确其极限为纯纳什均衡及稳定集条件，还证明随机性会破坏零和博弈等的确定性回复性，使动力学向边界漂移。
2025-06-16 cs.GT cs.LG math.OC
A Regularized Nikaido-Isoda Function Approach to Multi-Leader-Follower Games
Graduate School of Engineering, Nagoya Institute of Technology（名古屋工业大学大学院工学研究科）；Faculty of Science and Technology, Seikei University（圣德大学理工学部）；Graduate School of Informatics, Kyoto University（京都大学大学院情报学研究科）
提出一种基于正则化Nikaido-Isoda函数的新重构方法，将多领导者-跟随者博弈近似为单层可微纳什均衡问题，避免高阶导数需求，适用于更广泛的博弈类。
2026-06-19 math.OC
Distributed Nash Equilibrium Seeking in Non-Monotone Games over the Simplex
本文研究单纯形上非单调凸博弈的分布式纳什均衡求解问题，通过香农熵正则化和多目标优化刻画近似均衡，并提出两种分布式启发式算法。
2025-07-17 math.OC
Entropy Regularization in Mean-Field Games of Optimal Stopping
本文通过熵正则化将最优停止平均场博弈转化为奇异随机控制平均场博弈，建立均衡存在性与稳定性，并提出可收敛的虚拟对局算法，为无模型学习求解OS-MFG奠定理论基础。
2025-09-23 math.OC
Regularization of Stationary Second-order Mean Field Game Partial Differential Inclusions
本文研究不可微哈密顿量的二阶平均场博弈偏微分包含，通过正则化PDE逼近并证明解在子序列意义下收敛，给出收敛速率及精确性示例。
2025-02-17 math.AP math.OC
Learning in quantum games
Stanford University（斯坦福大学）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Grenoble INP（格勒诺布尔国立理工学院）
在本文中，我们介绍了一类学习动力学的一般量子游戏，我们称之为“跟随量子正则化的领导者”（FTQL），在参考经典的“跟随正则化的领导者”（FTRL）模板学习有限的游戏。我们表明，诱导量子态动力学分解成（i）一个经典的，交换的组件，它管理的方式类似于FTRL下的混合策略的演变系统的本征值的动力学;和（ii）一个非交换的组件系统的本征向量，没有经典的对应。尽管这个非经典的组件带来的并发症，我们发现，FTQL动力学招致不超过不断的遗憾，在所有的量子游戏。此外，调整经典概念的稳定性，以占量子游戏的状态空间的非线性几何，我们表明，只有纯量子平衡可以是稳定的，吸引下FTQL，而作为一个部分的逆，满足一定的“变分稳定”条件的纯平衡总是吸引。最后，我们证明了FTQL动力学在量子最小-最大博弈中是庞加莱递归的，以这种方式扩展了量子复制子动力学的一个非常新的结果。
2023-02-05 cs.GT cs.LG math.OC
Equilibrium for Time-inconsistent Mean Field Games: A Systematic Analysis by Entropy Regularization
University of Michigan（密歇根大学）；Zhongtai Securities Institute for Financial Studies, Shandong University（山东大学中泰证券金融研究院）；The Hong Kong Polytechnic University（香港理工大学）；Tsinghua University（清华大学）
针对时间不一致平均场博弈问题，提出熵正则化方法处理非局部均衡HJB系统，证明正则化均衡的存在性及收敛到原均衡，并给出策略迭代算法。
2026-05-28 math.OC
Local Stackelberg equilibrium seeking in generalized aggregative games
我们提出了一个两层，半分散算法计算局部解的Stackelberg均衡问题的聚合游戏耦合约束。具体来说，我们专注于一个单一的领导者，多个追随者的问题，等价重铸后的Stackelberg游戏作为一个数学规划与互补约束（MPCC），我们迭代凸化的正则化版本的MPCC作为内部问题，其解决方案产生一个序列的可行下降方向为原来的MPCC。因此，通过在每一个外迭代追求一个下降方向，我们建立收敛到一个局部Stackelberg平衡。最后，所提出的算法进行了测试的数值案例研究，涉及一个层次的实例充电协调的插电式电动汽车（PEVs）。
2020-06-06 cs.GT cs.MA cs.SY
Multi-agent learning under uncertainty: Recurrence vs. concentration
Stanford University（斯坦福大学）；Univ. Grenoble Alpes, CNRS, Inria, Grenoble INP, LIG（格勒诺布尔阿尔卑斯大学、法国国家科学研究中心、法国国家信息与自动化研究所、格勒诺布尔INP、LIG）
本文研究了在不确定性下多智能体学习的收敛性，发现强单调博弈中正则化学习的动力学可能无限次远离均衡，但总能返回附近并集中于该区域。
2025-12-09 cs.GT cs.LG math.OC
Cautious Optimism: A Meta-Algorithm for Near-Constant Regret in General Games
MIT（麻省理工学院）；Google DeepMind（谷歌DeepMind）
本文提出谨慎乐观元算法框架COFTRL，可自适应调控FTRL学习节奏，在一般博弈自博弈场景达近最优对数遗憾，对抗场景保平方根遗憾，无需单调步长且对动作空间维度依赖指数级优于既往方法。
2025-11-14 cs.GT cs.LG math.OC
Game on Random Environment, Mean-field Langevin System and Neural Networks
Ecole Polytechnique, IP Paris（巴黎理工学院（IP Paris））；Université Paris-Saclay（巴黎-萨克雷大学）；Université Paris-Dauphine, PSL Research University（巴黎多芬纳大学（PSL研究大学））
本文研究了一类由相对熵正则化的对策，其中局中人的策略通过一个随机环境变量耦合。除了这类博弈的平衡点的存在唯一性外，我们还证明了相应的平均场Langevin系统的边际律在不同的情况下都能收敛到博弈的平衡点.作为应用，当将时间范围视为环境时，动态游戏可以被视为随机环境下的游戏。在实践中，我们的结果可以应用于分析监督学习背景下的深度神经网络以及生成对抗网络的随机梯度下降算法。
2020-04-22 cs.GT cs.LG cs.NE
Major-Minor Mean Field Game of Stopping: An Entropy Regularization Approach
本文针对离散时间 major-minor 平均场博弈停时问题，提出熵正则化方法构造辅助问题，证明松弛均衡存在性，并推广至次要参与者选最优控制的情形。
2025-10-10 math.OC
Regularized Frank-Wolfe for Dense CRFs: Generalizing Mean Field and Beyond
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立理工学院）
我们介绍了正则化的Frank-Wolfe，一个通用的和有效的算法的推理和学习的稠密条件随机场（CRF）。该算法优化了一个非凸连续松弛的CRF推理问题，使用香草弗兰克-沃尔夫近似更新，这相当于最小化一个正则化的能量函数。我们所提出的方法是现有的算法，如平均场或凹凸过程的推广。这种观点不仅提供了对这些算法的统一分析，而且还允许探索可能产生更好性能的不同变体的简单方法。我们在标准语义分割数据集上的经验结果中说明了这一点，其中我们正则化的Frank-Wolfe的几个实例优于平均场推理，无论是作为独立组件还是作为神经网络中的端到端可训练层。我们还表明，密集的CRF，加上我们的新算法，产生显着的改善强CNN基线。
2022-09-07 cs.CV cs.LG math.OC
Entropy-Regularized Mean-Variance Portfolio Optimization with Jumps
本研究针对存在跳跃的连续时间熵正则化均值-方差投资组合问题，提出探索性SDE并证明最优控制为高斯分布，且最优财富过程满足线性SDE。
2025-02-25 math.OC math.PR
Sparsity Regularized and Robust Mean Variance Portfolio Selection Under Ellipsoidal Uncertainty
Bilkent University（比尔肯特大学）；EPFL（洛桑联邦理工学院）
针对椭球不确定性下的均值-方差投资组合选择，提出带$\ell_0$惩罚的稳健稀疏优化框架，刻画极值结构并设计分支定界算法及高效剪枝规则，实验验证其有效性与竞争力。
2026-09-11 cs.LG math.OC stat.ML
Near-Optimal Policy Optimization for Correlated Equilibrium in General-Sum Markov Games
Yale University（耶鲁大学）；University of Southern California（南加州大学）；University of Virginia（弗吉尼亚大学）
本文针对一般和马尔可夫博弈中的相关均衡计算问题，提出一种结合平滑值更新与乐观跟随正则化领导者算法的无耦合策略优化方法，将收敛速率提升至近最优水平。
2024-05-01 cs.GT cs.LG math.OC
Learning in Mean Field Games: the Fictitious Play
平均场博弈系统描述了具有无穷多个无穷小相互作用主体的微分对策中的均衡配置。我们介绍了这些游戏的学习过程（类似于虚拟游戏），并显示其收敛时，平均场游戏是潜在的。
2015-07-31 math.OC
