MF-OML: Online Mean-Field Reinforcement Learning with Occupation Measures for Large Population Games
Department of IEOR, Columbia University(哥伦比亚大学工业工程与运营研究系);Mathematical Institute, University of Oxford(牛津大学数学系);Citadel Securities(Citadel证券公司)
多智能体游戏的强化学习最近引起了很多关注。然而,鉴于解决大型人口博弈的纳什均衡的挑战,现有的保证多项式复杂性的作品要么专注于零和潜在博弈的变体,要么旨在解决(粗)相关均衡,要么需要访问模拟器,要么依赖于某些难以验证的假设。本文提出了一种在线平均场强化学习算法MF-OML(Mean-Field Occupation-Measure Learning),用于求解大种群序贯对称对策的近似纳什均衡。MF-OML是第一个完全多项式的多智能体强化学习算法,用于可证明地解决纳什均衡(直到平均场近似差距,随着参与者$N$的数量变为无穷大而消失),超越零和潜在游戏的变体。当评估从纳什均衡的累积偏差,该算法被证明是实现一个高概率的遗憾界$\tilde{O}(M^{3/4}+N^{-1/2}M)$的强Lasry-Lions单调性条件的游戏,和遗憾界$\tilde{O}(M^{11/12}+N^{- 1/6}M)$只有Lasry-Lions单调性条件的游戏,其中$M$是总的情节和$N$是游戏的代理人的数量。作为一个副产品,我们还获得了第一个易于处理的全局收敛的计算算法计算近似纳什均衡的单调平均场游戏。
2025-09-03 cs.AI cs.GT cs.LG
Pipeline PSRO: A Scalable Approach for Finding Approximate Nash Equilibria in Large Games
University of California, Irvine(加利福尼亚大学欧文分校)
当信息状态数很大时,在零和信息博弈中寻找近似纳什均衡是一个挑战。策略空间响应预言机(PSRO)是一种基于博弈论的深度强化学习算法,保证收敛到近似纳什均衡。然而,PSRO需要在每次迭代时训练强化学习策略,这对于大型游戏来说太慢了。我们通过反例和实验表明,DCH和整流PSRO,现有的两种方法来扩大PSRO,未能收敛,即使在小游戏。我们介绍管道PSRO(P2SRO),第一个可扩展的一般方法,在大型零和信息博弈中寻找近似纳什均衡。P2SRO能够通过维护强化学习工作者的分层管道来并行化PSRO,并保证收敛,每个工作者都针对层次结构中较低级别生成的策略进行训练。我们发现,与现有的方法不同,P2SRO收敛到一个近似的纳什均衡,这样做的速度更快的并行工人的数量增加,在各种不完美的信息游戏。我们还介绍了一个开源的环境,拦河坝,一个变种的拦河坝,一个近似的游戏树的复杂性$10^{50}$。P2SRO能够在弹幕机器人上实现最先进的性能,并击败所有现有的机器人。实验代码可在https://www.example.com上获得。github.com/JBLanier/pipeline-psro
2021-02-18 cs.AI cs.GT cs.LG
NePPO: Near-Potential Policy Optimization for General-Sum Multi-Agent Reinforcement Learning
UC Berkeley(加州大学伯克利分校);Johns Hopkins University(约翰霍普金斯大学)
本文提出NePPO方法,通过学习玩家无关的势函数近似纳什均衡,解决多智能体强化学习中一般和合作-竞争环境下的收敛问题,实验证明其优于IPPO和MAPPO。
2026-10-15 cs.AI cs.GT cs.LG
Computational Performance of Deep Reinforcement Learning to find Nash Equilibria
Program on Energy and Sustainable Development (PESD), Stanford University(能源与可持续发展项目,斯坦福大学);Institute for Sustainable Economic Development, University of Natural Resources and Life Sciences(可持续经济发展的研究所,自然资源与生命科学大学)
本文系统评估 DDPG 在价格竞争中学习 Bertrand 纳什均衡时的参数敏感性,发现合适配置可实现最高 99% 的收敛率。
2021-04-26 cs.AI cs.GT cs.LG
Learning Approximate Nash Equilibria in Cooperative Multi-Agent Reinforcement Learning via Mean-Field Subsampling
Georgia Institute of Technology(佐治亚理工学院);Stanford University(斯坦福大学)
本文研究了在通信受限条件下,通过均值场采样方法学习合作多智能体强化学习中的近似纳什均衡,证明了该方法能收敛到近似纳什均衡,并在多机器人控制中进行了验证。
2026-05-11 cs.AI cs.LG cs.MA
Reinforcement Learning In Two Player Zero Sum Simultaneous Action Games
两个玩家零和同时动作游戏在视频游戏、金融市场、战争、商业竞争和许多其他设置中很常见。我们首先介绍了强化学习的基本概念,在两个玩家零和同时行动游戏,并讨论了这种类型的游戏所带来的独特挑战。然后,我们介绍了两个新的代理,试图通过使用联合行动深度Q网络(DQN)来处理这些挑战。第一个代理,称为最佳反应策略(BRAT),使用模仿学习建立对手策略的显式模型,然后使用该模型找到最佳反应以利用对手的策略。第二个代理,元纳什DQN,建立一个隐式模型,其对手的政策,以产生一个上下文变量,用作Q值计算的一部分。一个明确的极小极大的Q值是用来找到行动接近纳什均衡。我们发现经验,这两个代理收敛到纳什均衡在一个简单的矩阵游戏的自我发挥设置,同时也表现良好的游戏具有较大的状态和动作空间。这些新的算法进行评估香草RL算法,以及最新的最先进的多代理和两个代理算法。这项工作结合了传统的强化学习,博弈论和元学习的思想。
2021-10-10 cs.GT cs.LG
Population-aware Online Mirror Descent for Mean-Field Games by Deep Reinforcement Learning
UCLA(加州大学洛杉矶分校);NYU Shanghai(纽约大学上海分校);Cohere(Cohere公司)
针对平均场博弈中纳什均衡学习难的问题,提出一种结合Munchausen RL与在线镜像下降的深度强化学习算法,通过内环回放缓冲区缓解灾难性遗忘,在四个经典算例上收敛性优于现有最优算法。
2024-03-06 cs.GT cs.LG cs.MA
On Reinforcement Learning for Turn-based Zero-sum Markov Games
MIT(麻省理工学院);Cornell University(康奈尔大学)
研究了两人回合制零和博弈的纳什均衡求解问题。受AlphaGo Zero(AGZ)算法的启发,我们开发了一种基于强化学习的方法。具体来说,我们提出了探索-改进-监督(EIS)方法,结合“探索”,“政策改进”“和“监督学习“,以找到价值函数和政策相关的纳什均衡。我们确定这样的方法的收敛性和正确性的充分条件。对于EIS的一个具体实例,其中随机策略用于“探索”,蒙特卡罗树搜索用于“策略改进”,最近邻用于“监督学习“,我们建立了这种方法找到一个$\varepsilon$ -近似价值函数的纳什均衡在$\widetilde{O}(\varepsilon^{-(d+4)})$步骤时,潜在的状态空间的游戏是连续的和$d$维。这几乎是最优的,因为我们为任何策略建立了$\widetildeΩ(\varepsilon^{-(d+2)})$的下限。
2020-02-25 cs.LG stat.ML
Competitive Multi-agent Inverse Reinforcement Learning with Sub-optimal Demonstrations
Northwestern University(西北大学);Department of Industrial Engineering and Management Sciences(工业工程与管理科学系)
本文考虑了零和随机对策中专家论证非最优时的逆强化学习问题。与之前通过假设专家策略中的最优性来解耦游戏中的代理的工作相比,我们引入了一个新的目标函数,直接将专家与纳什均衡策略相比较,并且我们设计了一个算法来解决反向强化学习中的奖励函数,并将深度神经网络作为模型近似。在我们的设置中,模型和算法不通过代理解耦。为了寻找大规模博弈的纳什均衡,我们还提出了一个零和随机对策的对抗训练算法,并证明了其目标函数不存在局部最优解的理论吸引力。在我们的数值实验中,我们证明了我们的纳什均衡和反向强化学习算法解决了以前使用表格表示的方法不适用的游戏。此外,次优专家演示我们的算法恢复奖励函数和战略具有良好的质量。
2018-06-05 cs.LG stat.ML
Reinforcement Learning With Reward Machines in Stochastic Games
Arizona State University(亚利桑那州立大学);University of Texas at Austin(得克萨斯大学奥斯汀分校)
针对随机博弈中非马尔可夫奖励的复杂任务,提出QRM-SG算法,利用奖励机整合高层知识,在增广状态空间学习纳什均衡下的最佳响应策略,并通过案例验证其有效性。
2023-08-28 cs.AI cs.GT cs.LG
Reinforcement Learning for Finite Space Mean-Field Type Games
Shanghai Frontiers Science Center of Artificial Intelligence and Deep Learning(上海前沿科学中心人工智能与深度学习中心);NYU Shanghai(纽约大学上海校区);NYU Center for Data Science(纽约大学数据科学中心);NYU-ECNU Institute of Mathematical Sciences(纽约大学-东华大学数学科学研究所)
针对有限空间平均场类型博弈缺乏可扩展计算方法的问题,提出基于量化与Nash Q-learning及深度强化学习的算法,并证明近似均衡与实验有效性。
2025-07-26 cs.GT cs.LG math.OC
Combining Deep Reinforcement Learning and Search for Imperfect-Information Games
Facebook AI Research(脸书人工智能研究院)
深度强化学习和搜索在训练和测试时的结合是一个强大的范例,它在单智能体设置和完美信息游戏中取得了许多成功,AlphaZero就是最好的例子。然而,这种形式的先前算法不能应付的信息游戏。本文提出了ReBeL,一个自我发挥强化学习和搜索的一般框架,可证明收敛到任何两个玩家零和游戏中的纳什均衡。在完全信息博弈的简单设置中,ReBeL简化为类似于AlphaZero的算法。在两个不同的信息博弈中的结果表明,ReBeL收敛到一个近似的纳什均衡。我们还展示了ReBeL在单挑无限制德州扑克中实现了超人的表现,同时使用的领域知识远远少于任何先前的扑克AI。
2020-11-29 cs.AI cs.GT cs.LG
Near-Optimal Reinforcement Learning with Self-Play
Salesforce Research(Salesforce研究院);Princeton University(普林斯顿大学);MIT(麻省理工学院)
研究了二人零和博弈中强化学习的最优算法设计问题。我们专注于自我发挥算法,学习最优策略,通过发挥自己没有任何直接的监督。在具有$S$状态、$A$最大参与者行动和$B$最小参与者行动的表格式情景马尔可夫博弈中,当仅突出对$(S,A,B)$的依赖性时,找到近似纳什均衡的最佳现有算法需要$\tilde{\mathcal{O}}(S^2AB)$博弈步骤。相比之下,现有的最佳下限尺度为$Ω(S(A+B))$,并且与上限有显著的差距。本文关闭这一差距的第一次:我们提出了一个乐观的\emph{Nash Q-learning}算法的样本复杂度$\tilde{\mathcal{O}}(SAB)$的变体,和一个新的\emph{Nash V-learning}算法的样本复杂度$\tilde{\mathcal{O}}(S(A+B))$。后一个结果匹配的信息理论的下限,在所有的问题相关的参数,除了一个多项式因子的长度,每个情节。此外,我们提出了一个计算硬度的结果,学习最佳对策对一个固定的对手在马尔可夫游戏-学习目标不同,从寻找纳什均衡。
2020-07-14 cs.AI cs.LG stat.ML
Safe Multi-Agent Reinforcement Learning with Convergence to Generalized Nash Equilibrium
MIT(麻省理工学院)
本文针对安全多智能体强化学习中的全时程约束与可行性问题,提出基于控制不变集和对偶策略迭代的框架,并设计MADAC算法,在保证收敛到广义纳什均衡的同时实现更高奖励和更少约束违反。
2026-11-17 cs.LG cs.SY eess.SY
Strategically Robust Multi-Agent Reinforcement Learning with Linear Function Approximation
RQRE-OVI 通过线性函数近似在大或连续状态空间中计算稳健均衡,通过有限样本分析证明收敛性,并展示在交叉博弈中比纳什方法更稳健的性能。
2026-03-10 cs.GT cs.LG cs.MA
Welfare and Fairness in Multi-objective Reinforcement Learning
Duke University(杜克大学)
本文研究公平多目标强化学习,将问题建模为期望福利最大化,证明纳什社会福利优化在计算上难以处理,并提出一种结合非线性标量化与非平稳动作选择的Q学习算法,可证明收敛且实验优于现有方法。
2023-11-13 cs.AI cs.GT cs.LG
Deep Q-Learning for Nash Equilibria: Nash-DQN
ETH Zurich(苏黎世联邦理工学院);University of Toronto(多伦多大学)
多智能体随机博弈的无模型学习是一个活跃的研究领域。然而,现有的强化学习算法通常限于零和博弈,并且仅适用于小的状态-动作空间或其他简化设置。在这里,我们开发了一种新的数据高效的Deep-Q-learning方法,用于一般和随机游戏的纳什均衡的无模型学习。该算法使用的随机游戏,这导致分析可解的最佳行动的局部线性二次扩展。扩展由深度神经网络参数化,以使其具有足够的灵活性来学习环境,而无需体验所有状态-动作对。我们研究的对称性的算法源于标签不变的随机游戏,并作为一个概念的证明,我们的算法学习在竞争激烈的电子市场中的最佳交易策略。
2022-10-23 cs.GT cs.LG q-fin.CP
Socially Fair Reinforcement Learning
Max Planck Institute for Software Systems(马克斯·普朗克软件系统研究所);University of Oxford(牛津大学)
我们考虑了情景强化学习的问题,其中有多个利益相关者具有不同的奖励函数。我们的目标是输出一个政策,是社会公平的不同的奖励功能。先前的工作提出了不同的目标,一个公平的政策必须优化,包括最低福利,广义基尼福利。我们首先采取一个公理化的观点的问题,并提出四个公理,任何这样的公平的目标必须满足。我们表明,纳什社会福利是唯一的目标,唯一满足所有四个目标,而先验目标未能满足所有四个公理。然后,我们考虑问题的学习版本,其中底层模型,即马尔可夫决策过程是未知的。我们考虑的问题,最小化遗憾的公平政策最大化三个不同的公平目标-最低福利,广义基尼福利,纳什社会福利。基于乐观规划,我们提出了一个通用的学习算法,并推导出其遗憾界关于三种不同的政策。对于纳什社会福利的目标,我们还得到了一个下限的遗憾,$n$,代理的数量呈指数增长。最后,我们表明,对于最低福利的目标,可以改善遗憾的$O(H)$的一个因素,为一个较弱的概念遗憾。
2023-02-03 cs.CY cs.GT cs.LG
Learning in games via reinforcement and regularization
CNRS (French National Center for Scientific Research)(法国国家科学研究中心);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);University of Wisconsin(威斯康星大学)
我们研究了一类强化学习动态,其中玩家根据他们的行动随时间的累积收益调整他们的策略-具体来说,通过玩混合策略来最大化他们的预期累积收益减去正则化项。一个被广泛研究的例子是指数强化学习,这是一个由熵正则化项引起的过程,它导致混合策略根据复制动力学进化。然而,与用于在随机虚拟游戏模型中定义平滑最佳响应的正则化函数类相反,本文中使用的函数在单纯形的边界处不需要无限陡峭;事实上,放弃这一要求会导致陡峭和非陡峭情况之间的重要二分法。在这个一般框架中,我们扩展了指数学习的几个性质,包括消除支配策略,严格纳什均衡的渐近稳定性,以及在具有内部纳什均衡的零和对策中时间平均轨迹的收敛性。
2016-02-08 cs.GT cs.LG math.OC
NashPG: A Policy Gradient Method with Iteratively Refined Regularization for Finding Nash Equilibria
University of Sydney(悉尼大学);Nanyang Technological University(南洋理工大学)
本文提出NashPG算法,通过在策略优化目标中直接引入正则化,解决了多智能体强化学习中两玩家零和不完全信息游戏寻找纳什均衡的挑战,实现了在经典基准游戏和大型领域中的高效收敛与高收益。
2026-08-04 cs.GT cs.LG
Provable Memory Efficient Self-Play Algorithm for Model-free Reinforcement Learning
College of Information Science and Electronic Engineering(信息科学与电子工程学院);Zhejiang University(浙江大学);School of Information and Electronics(信息与电子学院);Beijing Institute of Technology(北京理工大学);Institute of Acoustics(声学研究所);Chinese Academy of Sciences(中国科学院)
本文提出了一种内存高效的自博弈算法,用于解决多智能体强化学习中的内存效率、样本复杂度和预热成本问题。
2025-11-29 cs.LG stat.ML
Combining Tree-Search, Generative Models, and Nash Bargaining Concepts in Game-Theoretic Reinforcement Learning
Google DeepMind(谷歌DeepMind);University of Waterloo(滑铁卢大学);University of Michigan(密歇根大学)
本文提出基于深度博弈论强化学习的多智能体训练框架,通过生成最佳响应算法GenBR和纳什谈判理论构建对手混合策略,提升在不完全信息域中的对手建模能力。
2026-04-05 cs.AI cs.GT cs.LG
On Information Asymmetry in Competitive Multi-Agent Reinforcement Learning: Convergence and Optimality
Technische Universität München(慕尼黑工业大学);Munich Center for Quantum Science and Technology(慕尼黑量子科学与技术中心)
在这项工作中,我们研究了系统的互动非合作的两个Q-学习代理,其中一个代理有特权观察其他的行动。我们表明,这种信息不对称可以导致一个稳定的结果,人口学习,这通常不会发生在一般的独立学习者的环境。由此产生的后学习策略在潜在的博弈意义上几乎是最优的,即,它们就形成了一个纳什均衡。此外,我们在这项工作中提出了一个Q-学习算法,需要预测观察两个后续对手的行动,产生一个最佳的战略,后者适用于一个固定的战略,并讨论存在的纳什均衡在潜在的信息不对称的游戏。
2021-01-22 cs.GT cs.LG cs.MA
Provable Fictitious Play for General Mean-Field Games
Princeton University(普林斯顿大学);Northwestern University(西北大学);Cornell University(康奈尔大学)
我们提出了一个平稳平均场博弈的强化学习算法,目标是学习一对平均场状态和平稳策略,构成纳什均衡。将平均场状态和策略看作两个局中人,提出了一种虚拟博弈算法,分别通过梯度下降和近端策略优化交替更新平均场状态和策略.我们的算法与以前的文献形成鲜明对比,以前的文献解决了由迭代平均场状态引起的每个单智能体强化学习问题。此外,我们证明了我们的虚拟播放算法收敛到纳什均衡在一个次线性的速度。据我们所知,这似乎是第一个可证明收敛的单循环强化学习算法的平均场游戏的基础上迭代更新的平均场状态和政策。
2020-10-08 cs.GT cs.LG
NashFormer: Leveraging Local Nash Equilibria for Semantically Diverse Trajectory Prediction
Princeton University(普林斯顿大学);Toyota Research Institute(丰田研究所);Massachusetts Institute of Technology(麻省理工学院)
NashFormer利用博弈论逆强化学习,通过训练时局部纳什均衡分析作为辅助损失,在不预设动作分类的情况下提升多智能体轨迹预测的覆盖率和准确性,在Waymo交互数据集上比基线多覆盖33%的潜在交互。
2023-11-11 cs.CV cs.GT cs.LG
PAC Reinforcement Learning Algorithm for General-Sum Markov Games
University of Delaware(特拉华大学)
本文提出了一个理论框架,可能近似正确(PAC)的多智能体强化学习(MARL)算法的马尔可夫博弈。本文利用延迟Q学习的思想,对著名的Nash Q-学习算法进行了扩展,建立了一种新的求解一般和马尔可夫对策的PAC MARL算法。除了指导可证明的PAC MARL算法的设计外,该框架还可以检查任意MARL算法是否是PAC。比较数值结果表明性能和鲁棒性。
2020-09-05 cs.GT cs.LG math.OC
Finite-sample Guarantees for Nash Q-learning with Linear Function Approximation
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Stanford University(斯坦福大学);Google Research(谷歌研究院)
纳什Q学习可以被认为是多智能体强化学习(MARL)中的第一个也是最知名的算法之一,用于学习构成底层一般和马尔可夫博弈的纳什均衡的策略。它的原始证明提供了渐近保证,并且是针对表格的情况。最近,有限样本的保证已经提供了使用更现代的RL技术的表格的情况下。我们的工作分析纳什Q学习使用线性函数近似-表示制度时,状态空间是大的或连续的-并提供有限样本保证,表明其样本效率。我们发现,所获得的性能几乎匹配现有的有效的结果,单代理RL在相同的表示,并具有多项式的差距相比,最有名的结果为表格的情况下。
2023-03-01 cs.AI cs.LG
Large-Scale Traffic Signal Control by a Nash Deep Q-network Approach
强化学习(Reinforcement Learning,RL)是目前最常用的交通信号控制(Traffic Signal Control,TSC)技术之一,能够根据实时交通数据自适应地调整交通信号的相位和时长。然而,一个完全集中的强化学习方法在多网络场景中遇到了困难,因为状态-动作空间随着交叉点的增加而呈指数增长。多智能体强化学习(MARL)通过对每个局部强化学习智能体的全局控制来克服高维问题,但也带来了新的挑战,如非平稳马尔可夫决策过程(MDP)导致的收敛失败。在本文中,我们介绍了一种非策略纳什深度Q网络(OPNDQN)算法,它减轻了完全集中式和MARL方法的弱点。OPNDQN算法解决了传统算法不能用于大型状态-行为空间交通模型的问题,在每次迭代中利用虚拟博弈方法找到相邻交叉口之间的纳什均衡,没有交叉口有动机单方面偏离该均衡。OPNDQN的主要优点之一是减轻非平稳性的多智能体马尔可夫过程,因为它考虑了相邻交叉口之间的相互影响,通过共享他们的行动。另一方面,对于训练一个大的交通网络,OPNDQN的收敛速度高于现有的MARL方法,因为它不包括每个代理的所有状态信息。我们进行了广泛的实验,使用模拟城市流动性模拟器(SUMO),并显示了显着的优越性OPNDQN超过现有的几个MARL方法的平均队列长度,情节训练奖励和平均等待时间。
2023-01-02 cs.AI cs.GT cs.LG
Non-zero-sum Game Control for Multi-vehicle Driving via Reinforcement Learning
Tsinghua University(清华大学)
车辆在道路上行驶时,其行为会受到周围车辆的影响。预测和决策不应该被认为是两个独立的阶段,因为所有的车辆都是交互式地做出决策的。本文将多车驾驶场景构建为一个非零和博弈,提出了一个集预测、决策和控制为一体的博弈控制框架。在此框架中考虑了车辆之间相互作用的相互影响,因为决策是由纳什均衡策略做出的。为了有效地获得该策略,ADP,一个基于基于模型的强化学习方法,被用来解决耦合Hamilton-Jacobi-Bellman方程。驾驶性能通过跟踪、效率、安全性和舒适性指标进行评估。实验表明,我们的算法可以通过直接控制加速度和转向角来实现完美的驾驶。车辆可以学习超车和超车等互动行为。综上所述,本文提出了一个多车驾驶非零和博弈模型,为解决多车驾驶的纳什均衡策略提供了一种有效的方法,并在无信号交叉口进行了验证。
2023-02-08 cs.AI cs.LG
Corruption-robust Offline Multi-agent Reinforcement Learning From Human Feedback
MPI-SWS(马克斯·普朗克软件系统研究所);University of Warwick(华威大学);Visa(Visa公司)
本文研究了在强污染模型下,从人类反馈中进行离线多智能体强化学习(MARLHF)的鲁棒性问题,提出了一种鲁棒估计器和基于粗相关均衡的算法,解决了计算复杂性问题。
2026-04-09 cs.LG
Approximately Solving Mean Field Games via Entropy-Regularized Deep Reinforcement Learning
Technische Universität Darmstadt(达姆施塔特工业大学)
最近的平均场博弈(MFG)的形式主义,否则难以计算的近似纳什均衡在许多代理设置。在本文中,我们考虑离散时间有限MFG有限时域目标。我们发现,所有的离散时间有限MFG与非常数不动点算子未能压缩通常假设在现有的MFG文献,除非通过不动点迭代收敛。相反,我们将熵正则化和玻尔兹曼政策到不动点迭代。结果,我们获得了可证明的收敛到现有方法失败的近似不动点,并达到了近似纳什均衡的原始目标。所有提出的方法进行评估,就其可利用性,在两个有指导意义的例子与易于处理的精确解和高维问题的精确方法变得棘手。在高维场景中,我们应用已建立的深度强化学习方法,并根据经验将虚拟游戏与我们的近似值结合起来。
2022-07-08 cs.AI cs.LG cs.MA
Exploiting Approximate Symmetry for Efficient Multi-Agent Reinforcement Learning
ETH Zürich(苏黎世联邦理工学院);Department of Computer Science(计算机科学系)
针对现实场景中缺乏精确对称性和已知模型的问题,提出将有限玩家非对称博弈扩展为诱导MFG的方法,利用近似对称性实现无需显式模型的对称化学习,并证明了其近似Nash策略的收敛性与样本复杂度。
2024-08-27 cs.GT cs.LG math.OC
A Sharp Analysis of Model-based Reinforcement Learning with Self-Play
Princeton University(普林斯顿大学);MIT(麻省理工学院);Salesforce Research(Salesforce研究院)
基于模型的算法--通过构建和利用估计模型来探索环境的算法--广泛用于强化学习实践,理论上可以实现马尔可夫决策过程(MDP)中单代理强化学习的最佳样本效率。然而,对于马尔可夫博弈中的多智能体强化学习,基于模型的算法目前最知名的样本复杂度是次优的,与最近的无模型方法相比是不利的。在本文中,我们提出了一个尖锐的分析模型为基础的自我发挥算法的多智能体马尔可夫游戏。我们设计了一个两人零和马尔可夫博弈的算法--乐观纳什值迭代算法(Nash-VI),该算法能够在博弈的$\tilde{\mathcal{O}}(H^3SAB/ε^2)$情节中输出一个$ε$ -近似纳什策略,其中$S$是状态数,$A,B$是两人各自的行动数,$H$是视界长度.这显著地改进了$\tilde{\mathcal{O}}(H^4S^2AB/ε^2)$的最佳已知的基于模型的保证,并且是除了$\min\{A,B\}$因子之外第一个匹配信息理论下限$Ω(H^3S(A+B)/ε^2)$的保证。此外,我们的保证比较有利的最知名的无模型算法,如果$\min \{A,B\}=o(H^3)$,并输出一个单一的马尔可夫策略,而现有的样本效率的无模型算法输出的马尔可夫策略,一般是非马尔可夫的嵌套混合,而不方便存储和执行。我们进一步调整我们的分析,以设计一个可证明有效的零和马尔可夫游戏的任务不可知算法,并设计第一行的可证明样本有效的多玩家一般和马尔…
2021-02-07 cs.AI cs.LG stat.ML
Strategic bidding in freight transport using deep reinforcement learning
提出了一种多智能体强化学习算法来表征货运市场中的策略性投标行为。使用该算法,我们调查是否可行的市场均衡出现没有任何中央控制或代理之间的通信。在这样的环境中研究行为可能会成为像物理互联网这样的自组织物流系统的垫脚石。我们模拟一个基于代理的环境中,托运人和承运人积极学习投标策略,使用策略梯度方法,提出出价和要价在个别集装箱水平。这两个代理的目标是学习最好的反应给定的预期行为的对手。中立经纪人根据买卖价差分配工作。我们的博弈理论分析和数值实验专注于行为洞察。为了评估系统的性能,我们衡量坚持纳什均衡,公平的奖励分工和利用的运输能力。我们在可预测的、确定性的环境(约95%符合纳什均衡)和高度随机的环境(约85%符合)中都观察到了良好的性能。风险寻求行为可能会增加代理人的奖励份额,只要策略不是过于激进。研究结果表明,货运市场有可能实现完全自动化和分散化。
2021-02-18 cs.LG
Independent Learning of Nash Equilibria in Partially Observable Markov Potential Games with Decoupled Dynamics
SYCAMORE, EPFL(SYCAMORE,瑞士联邦理工学院)
本文研究了在可部分观测马尔可夫博弈(POMG)中纳什均衡的学习问题,提出了一种独立学习算法,通过不通信的方式,使玩家在仅观察自身动作和观测的情况下,联合收敛到近似纳什均衡,从而实现高效的样本和计算复杂度。
2026-11-10 cs.GT cs.LG cs.MA
Actor-Critic Provably Finds Nash Equilibria of Linear-Quadratic Mean-Field Games
Northwestern University(西北大学);Princeton University(普林斯顿大学);Georgia Institute of Technology(佐治亚理工学院)
我们研究离散时间平均场马尔可夫博弈与无限数量的代理,每个代理的目标是最小化其遍历成本。我们认为设置代理具有相同的线性状态转换和二次费用函数,而代理的聚集效应被捕获的人口平均他们的状态,即平均场状态。对于这样的博弈,基于纳什确定性等价原理,给出了其纳什均衡存在唯一的充分条件。此外,为了找到纳什均衡,我们提出了一个平均场的线性函数近似的行动者-评论家算法,它不需要知道的动力学模型。具体来说,在我们的算法的每次迭代中,我们使用单代理actor-critic算法来近似地获得每个代理的最优策略给定当前的平均场状态,然后更新平均场状态。特别是,我们证明了我们的算法收敛到纳什均衡的线性速率。据我们所知,这是第一次成功地将无模型强化学习与函数逼近应用于离散时间平均场马尔可夫博弈,并具有可证明的非渐近整体收敛保证。
2019-10-16 cs.GT cs.LG cs.MA
Policy-Gradient Algorithms Have No Guarantees of Convergence in Linear Quadratic Games
University of California, Berkeley(加州大学伯克利分校);University of Washington(华盛顿大学)
我们通过反例表明,策略梯度算法没有保证,甚至局部收敛到纳什均衡在连续的行动和状态空间多智能体设置。要做到这一点,我们分析梯度发挥N-玩家一般和线性二次游戏,一个经典的游戏设置,最近出现的多智能体学习领域的基准。在这种博弈中,状态空间和行动空间是连续的,全局纳什均衡可以通过求解耦合的Ricatti方程来找到。此外,LQ博弈中的梯度博弈等价于多智能体策略梯度。我们首先表明,这些游戏是令人惊讶的不是凸的游戏。尽管如此,我们仍然能够证明梯度动力学的唯一临界点是全局纳什均衡。然后,我们给出了充分条件下,策略梯度将避免纳什均衡,并产生大量的一般和线性二次博弈,满足这些条件。在这样的博弈中,我们凭经验观察到参与者收敛到极限环,对于极限环,时间平均值不符合纳什均衡。这种游戏的存在表明,在经典的强化学习设置中解决强化学习问题的最流行的方法之一在多智能体设置中没有局部收敛保证。此外,我们可以很容易地生成这些反例,这表明这种情况不仅仅是边缘情况,实际上是很常见的。
2019-12-16 cs.LG stat.ML
Nash Learning from Human Feedback
Google DeepMind(谷歌DeepMind);ENSAE Paris(巴黎经济与统计学院);Cohere
本文提出纳什学习框架 NLHF,通过偏好模型定义纳什均衡,并设计 Nash-MD 算法及深度学习梯度方法,用于将大语言模型与人类偏好对齐。
2024-06-11 cs.AI cs.GT cs.LG
Policy Optimization finds Nash Equilibrium in Regularized General-Sum LQ Games
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Coordinated Science Laboratory(协调科学实验室)
该研究探究相对熵正则化对一般和N智能体博弈纳什均衡的影响,证明满足熵正则化条件时策略优化算法可线性收敛到纳什均衡,还提出δ增强技术在正则化不足时实现ε-纳什均衡。
2024-09-13 cs.AI cs.GT cs.LG
Robust Adversarial Reinforcement Learning via Bounded Rationality Curricula
TU Darmstadt(达姆施塔特工业大学);Hessian Center for Artificial Intelligence (Hessian.ai)(黑森人工智能中心);German Research Center for AI (DFKI)(德国人工智能研究中心);University of Magdeburg(马格德堡大学);JLU Gießen(吉森大学);University of Würzburg(维尔茨堡大学)
针对对抗强化学习中鞍点优化困难的问题,论文提出 QARL,利用熵正则化与 QRE 的联系,以课程方式逐步提升对手理性,并在 MuJoCo 任务中取得更优性能与鲁棒性。
2023-11-03 cs.LG
Preference-Based Multi-Agent Reinforcement Learning: Data Coverage and Algorithmic Techniques
Tsinghua University(清华大学);University of Washington(华盛顿大学);Harvard University(哈佛大学)
该研究提出 PbMARL 框架,从仅含偏好的离线数据中识别一般和博弈 Nash 均衡,证明单边数据覆盖的必要性,并给出时间轴 MSE 正则化与数据分布悲观惩罚两种技术。
2025-01-09 cs.AI cs.GT cs.LG
Population-aware Online Mirror Descent for Mean-Field Games with Common Noise by Deep Reinforcement Learning
UCLA(美国大学洛杉矶分校);New York University Shanghai(纽约大学上海分校);Cohere(Cohere公司);University of Lille(里尔大学)
针对带公共噪声、初始分布未知的平均场博弈纳什均衡学习难题,提出结合Munchausen RL与在线镜像下降的深度强化学习算法,在7个算例上验证了其收敛性与鲁棒性优势。
2025-09-03 cs.LG cs.MA cs.RO
Reinforcement learning with restrictions on the action set
Aix-Marseille University(艾克斯-马赛大学);CNRS(法国国家科学研究中心);EHESS(法国高等社会科学研究院)
考虑一个2人标准型博弈,随着时间的推移不断重复。我们引入了一个自适应学习过程,在每个阶段,玩家只观察自己实现的收益。我们假设代理人不知道自己的支付函数,也没有其他球员的信息。此外,我们假设他们有自己的行动集的限制,这样,在每个阶段,他们的选择是有限的,他们的行动集的一个子集。我们证明了经验分布的发挥收敛到纳什均衡的零和和潜在的游戏,游戏中一个球员有两个行动。
2013-06-12 cs.GT cs.LG math.PR
Decentralized model-free reinforcement learning in stochastic games with average-reward objective
Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔理工学院)
我们提出了第一个无模型算法,在具有无限水平平均奖励目标的两人零和表格随机游戏中实现分散学习的低遗憾性能。在分散式学习中,学习代理只控制一个玩家,并试图实现对任意对手的低后悔性能。这与集中式学习形成对比,在集中式学习中,代理试图通过控制两个参与者来近似纳什均衡。在我们的无限时域未贴现设置中,需要额外的结构假设来提供学习过程的良好行为:这里我们假设对于对手的每一个策略,代理都有一种从任何状态到任何其他状态的方式。该假设类似于MDP设置中的“通信”假设。我们表明,我们的分散式乐观纳什Q学习(DONQ学习)算法实现了次线性高概率遗憾的顺序$T^{3/4}$和次线性预期遗憾的顺序$T^{2/3}$。此外,与相同设置下的(Wei et al. 2017)和(Jafarnia-Jahromi et al. 2021)之前的工作相比,我们的算法具有较低的计算复杂性和较低的内存空间需求。
2023-01-13 cs.AI cs.GT cs.LG
Differentiable Arbitrating in Zero-sum Markov Games
New York University(纽约大学);Stony Brook University(石溪大学);Tsinghua University(清华大学);Northwestern University(西北大学);Shanghai Qi Zhi Institute(上海期智研究院)
本文首先研究了如何在两人零和马尔可夫博弈中扰动报酬,使之达到理想的纳什均衡,即仲裁。这样的问题承认一个双层优化配方。较低的层次要求在给定的奖励函数下求解纳什均衡,这使得整个问题具有端到端优化的挑战性。我们提出了一个反向传播方案,区分通过纳什均衡,它提供了梯度反馈的上层。特别是,我们的方法只需要一个黑盒求解器(正则化)纳什均衡(NE)。我们开发了适当的黑盒NE求解器的收敛性分析,并证明了经验的成功,在两个多智能体强化学习(MARL)环境。
2023-02-20 cs.AI cs.LG cs.MA
A Multiagent Reinforcement Learning Algorithm with Non-linear Dynamics
The British University in Dubai(迪拜英国大学);University of Edinburgh(爱丁堡大学);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
多智能体强化学习(MARL)算法已经被提出来优化代理决策。由于问题的复杂性,大多数以前开发的MARL算法假设代理人对底层游戏(如纳什均衡)有一定的了解和/或观察其他代理人的行为和他们收到的奖励。我们引入了一个新的MARL算法称为加权策略学习器(WPL),它允许代理达到一个纳什均衡(NE)在基准2-球员2-动作游戏的最小知识。使用WPL,代理需要的唯一反馈是它自己的本地奖励(代理不观察其他代理的动作或奖励)。此外,WPL并不假设代理人知道潜在的游戏或相应的纳什均衡先验。我们的实验表明,我们的算法收敛于基准两个玩家两个动作的游戏。我们还表明,我们的算法收敛在具有挑战性的Shapleys游戏,以前的MARL算法未能收敛,不知道底层的游戏或NE。此外,我们表明,WPL优于国家的最先进的算法,在一个更现实的设置100代理互动和学习的同时。理解MARL算法行为的一个重要方面是分析算法的动态:多个学习代理的策略如何随着代理之间的交互而随时间演变。这样的分析不仅验证了使用给定MARL算法的代理是否最终会收敛,而且还揭示了MARL算法在收敛之前的行为。我们分析了我们的算法在两个球员,两个动作的游戏,并表明,象征性地证明WPLs收敛是困难的,因为WPLs动态的非线性性质,不像以前的MARL算法,无论是线性或分段线性动态。相反,我们数值求解WPLs动力学微分方程,并比较以前的MARL算法的动态的解决方案…
2014-01-15 cs.LG cs.MA
Proximal Point Nash Learning from Human Feedback
CMAP, CNRS, École Polytechnique, IPP(CMAP、CNRS、巴黎高等学院、IPP);LMO, Université Paris-Saclay(LMO、巴黎萨克雷大学);Google DeepMind(谷歌DeepMind);Duisburg-Essen University(杜伊斯堡-埃森大学);HSE University(俄罗斯高等经济大学);Mohamed Bin Zayed University of AI(穆罕默德·本·扎耶德人工智能大学);LRE EPITA(EPITA LRE);Hugging Face;Isara Labs(Isara实验室);ENS Lyon(里昂大学)
本文提出Nash Prox算法,通过近端点框架稳定纳什学习过程,解决传统RLHF中偏好结构建模不准确的问题,并在大语言模型训练中验证其有效性。
2026-03-22 cs.LG stat.ML
Taming Equilibrium Bias in Risk-Sensitive Multi-Agent Reinforcement Learning
Department of Statistics and Data Science, Yale University(耶鲁大学统计与数据科学系)
本文针对一般和马尔可夫博弈中风险敏感多智能体强化学习的均衡偏差问题,提出风险平衡遗憾新概念,并设计自博弈算法学习多种均衡,证明其具有近最优遗憾保证。
2024-05-04 cs.GT cs.LG
On Feasible Rewards in Multi-Agent Inverse Reinforcement Learning
Department of Computer Science University of Zurich(计算机科学系苏黎世大学)
本文提出熵正则化的马尔可夫博弈,解决多智能体逆强化学习中奖励函数的可行集问题,并分析误差对策略学习的影响。
2025-11-25 cs.LG
Multi-Agent Reinforcement Learning in Cournot Games
University of Washington(华盛顿大学)
在这项工作中,我们研究了有限信息反馈的连续行动古诺博弈中战略代理人的相互作用。古诺博弈是许多社会经济系统中必不可少的市场模型,在这种模型中,代理人在不完全了解系统或彼此的情况下学习和竞争。我们考虑了凹古诺博弈中策略梯度算法的动态性,这是一种被广泛采用的连续控制强化学习算法。证明了当价格函数为线性函数或代理商个数为2时,策略梯度动态收敛于纳什均衡。这是第一个结果(据我们所知)的收敛性的学习算法与连续的行动空间,不属于无遗憾类。
2020-09-14 cs.GT cs.LG cs.MA
Reinforcement Learning in High-frequency Market Making
Princeton University(普林斯顿大学)
本文针对高频做市中的强化学习应用开展理论分析,揭示了采样频率下算法误差与复杂度的权衡关系,证明了双人场景下纳什均衡的收敛性,相关理论可推广至其他高频金融决策问题。
2024-08-12 cs.LG econ.EM q-fin.ST
Extragradient Preference Optimization (EGPO): Beyond Last-Iterate Convergence for Nash Learning from Human Feedback
University of Washington(华盛顿大学)
针对非传递性人类偏好,提出外梯度偏好优化(EGPO)算法,实现纳什均衡的快速收敛,并在实验中优于基线方法,用于语言模型对齐。
2025-07-09 cs.LG
A Limited-Capacity Minimax Theorem for Non-Convex Games or: How I Learned to Stop Worrying about Mixed-Nash and Love Neural Nets
Mila, Université de Montréal(蒙特利尔大学米拉研究所);XTX Markets;DeepMind
对抗性训练是多目标优化的一种特殊情况,是一种越来越流行的机器学习技术:它的一些最显着的应用包括基于GAN的生成建模和强化学习中的自玩技术,这些技术已应用于围棋或扑克等复杂游戏。在实践中,通常训练一对\emph{single}网络,以便找到高度非凹-非凸对抗问题的近似平衡。然而,虽然博弈论中的一个经典结果表明,这样的均衡存在于凹凸博弈中,但如果收益是非凹凸的,则没有类似的保证。我们的主要贡献是提供了一个近似的极大极小定理的一大类游戏,玩家选择神经网络,包括WGAN,星际争霸II,和Blotto游戏。我们的发现依赖于这样一个事实,即尽管相对于神经网络参数是非凹-非凸的,但这些游戏相对于实际模型是凹-凸的(例如,函数或分布)由这些神经网络表示。
2021-03-15 cs.GT cs.LG stat.ML
Multi-agent Bayesian Deep Reinforcement Learning for Microgrid Energy Management under Communication Failures
University of Ottawa(渥太华大学);University of Vienna(维也纳大学);Vienna University of Technology(维也纳工业大学)
微电网(MG)是未来交互式能源系统的重要参与者,其中许多智能物联网(IoT)设备在智能电网中交互以进行能源管理。虽然已经有许多关于MG能量管理的工作,但大多数研究假设一个完美的通信环境,其中不考虑通信故障。在本文中,我们认为MG是一个多Agent环境,其中AI Agent与其对等体交换信息以进行协作。然而,协作信息可能由于通信故障或分组丢失而丢失。这些事件可能会影响整个MG的运行。为此,我们提出了一种多智能体贝叶斯深度强化学习(BA-DRL)方法,用于通信故障下的MG能量管理。我们首先定义了一个多智能体部分可观察的马尔可夫决策过程(MA-POMDP)来描述通信故障下的代理,其中每个代理可以更新其信念的行动,它的同行。然后,我们将双深度Q学习(DDQN)架构应用于BA-DRL中的Q值估计,并提出了一种基于信念的相关均衡用于多智能体BA-DRL的联合行动选择。仿真结果表明,BA-DRL对电源不确定性和通信故障不确定性具有鲁棒性。在1%的通信失败概率下,BA-DRL比Nash深度Q学习(Nash-DQN)和交替方向乘法器(ADMM)分别高出4.1%和10.3%。
2021-11-22 cs.LG cs.SY eess.SY