From Behavioral Theories to Econometrics: Inferring Preferences of Human Agents from Data on Repeated Interactions
Harvard University（哈佛大学）；The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
我们考虑的问题，估计偏好的人代理商的数据的战略系统，代理商反复互动。最近，它被证明是一种新的估计方法，称为“量子遗憾”产生更准确的估计人类代理比经典的方法，假设代理是理性的，并达到纳什均衡，但是，这种方法还没有被比较的方法，考虑到行为方面的人类发挥。在本文中，我们利用行为经济学的均衡概念，并询问它们与量子后悔和纳什均衡方法相比的表现如何。我们开发了四种估计方法的基础上建立的行为均衡模型来推断效用的人类代理人从观察数据的正常形式的游戏。我们研究的均衡模型有：数量反应均衡、行动抽样均衡、回报抽样均衡和脉冲平衡均衡。我们表明，在其中一些概念中，推理是通过封闭公式分析实现的，而在其他概念中，推理仅通过算法实现。我们使用2x2游戏的实验数据来评估这些行为均衡方法的估计成功。结果表明，它们产生的估计比纳什均衡的估计更准确。与数量后悔方法的比较表明，行为方法有更好的命中率，但数量后悔方法的整体均方误差方面表现更好，我们讨论了方法之间的差异。
2021-12-30 cs.AI cs.GT
Regret Minimization in Population Network Games: Vanishing Heterogeneity and Convergence to Equilibria
School of Mechanical Engineering, Northwestern Polytechnical University（西北工业大学机械工程学院）；Department of Computing, Hong Kong Polytechnic University（香港理工大学计算机学院）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；School of Statistics and Mathematics, Yunnan University of Finance and Economics（云南财经大学统计与数学学院）；School of Artificial Intelligence, Optics and Electronics (iOPEN), Northwestern Polytechnical University（西北工业大学人工智能、光学与电子学院（iOPEN））；School of Cybersecurity, Northwestern Polytechnical University（西北工业大学网络安全学院）
本文用遗憾概率分布与连续性方程分析平滑遗憾匹配，证明大规模异质多智能体的遗憾方差会衰减并形成共识，从而在竞争与合作场景中收敛至量子响应均衡。
2025-07-23 cs.AI cs.GT cs.MA
Multi-Agent Training beyond Zero-Sum with Correlated Equilibrium Meta-Solvers
DeepMind（深度思维）；University College London（伦敦大学学院）；Université Gustave Eiffel（古斯塔夫·埃菲尔大学）
提出JPSRO算法，用于n人一般和扩展型博弈中的智能体训练，证明收敛到均衡，并引入最大基尼关联均衡（MGCE）作为高效的关联均衡元求解器，实验验证其收敛性。
2024-04-18 cs.AI cs.GT cs.LG
Hardness of Independent Learning and Sparse Equilibrium Computation in Markov Games
Microsoft（微软）
我们考虑马尔可夫博弈中的分散式多智能体强化学习问题。一个基本的问题是，是否存在这样的算法，当所有的智能体都采用这种算法，并以分散的方式独立运行时，每个玩家都不会后悔，类似于标准形式游戏中著名的收敛结果。虽然最近的工作表明，这种算法存在的限制设置（特别是，当后悔的定义相对于偏差马尔可夫政策），独立的无遗憾学习是否可以实现在标准的马尔可夫博弈框架的问题是开放的。我们提供了一个决定性的消极解决这个问题，无论是从计算和统计的角度来看。我们证明：- 在普遍认为PPAD困难问题不能在多项式时间内解决的假设下，没有多项式时间算法可以在所有参与者独立执行时在一般和马尔可夫博弈中获得无遗憾，即使算法设计者知道博弈并且参与者的数量是一个小常数。- 当游戏是未知的，没有算法，不管计算效率如何，可以实现无遗憾，而不观察到的事件数量是指数的球员。也许令人惊讶的是，我们的下限甚至适用于看似更容易的设置，其中所有代理都由集中式算法控制。他们证明通过一个更简单的问题，我们称之为SparseCCE，其中的目标是计算一个粗略的相关均衡，稀疏的意义上说，它可以表示为一个混合物的一小部分产品政策的下限。我们的方法的关键是一个新的应用程序的聚合技术从在线学习，从而我们表明，任何算法的SparseCCE问题可以用来计算近似纳什均衡的非零和正规形式的游戏。
2023-03-22 cs.AI cs.GT cs.LG
Reduced Space and Faster Convergence in Imperfect-Information Games via Regret-Based Pruning
Carnegie Mellon University（卡内基梅隆大学）
反事实后悔最小化（CFR）算法是求解零和信息博弈的最常用的迭代算法。基于后悔的修剪（RBP）是一种改进，允许临时修剪性能不佳的操作，从而加快CFR。我们引入了Total RBP，这是一种新形式的RBP，它可以减少CFR的空间需求，因为动作被修剪。我们证明，在零和游戏中，它渐近修剪任何行动，不是一个最佳对策的一部分，一些纳什均衡。这导致可证明的更快收敛和更低的空间要求。实验表明，总RBP结果在空间上减少了一个数量级，减少因子随着游戏大小的增加而增加。
2016-09-12 cs.AI cs.GT
Minimizing Weighted Counterfactual Regret with Optimistic Online Mirror Descent
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Tencent AI Lab（腾讯AI实验室）；Tsinghua University（清华大学）；School of Future Technology, University of Chinese Academy of Sciences（中国科学院大学未来技术学院）
针对PCFR+面对占优行动时遗憾较大的问题，提出整合PCFR+与DCFR的新型CFR变体PDCFR+，经理论和实验验证其在不完美信息博弈中收敛更快且能达到纳什均衡。
2024-05-14 cs.AI cs.GT cs.LG
Optimize Neural Fictitious Self-Play in Regret Minimization Thinking
College of Computer Science, Zhejiang University（浙江大学计算机科学学院）
优化深度学习算法以接近纳什均衡仍然是不完美信息游戏中的一个重要问题，例如星际争霸和扑克。神经虚拟自博弈（NFSP）为不完全信息博弈中不需要先验领域知识的近似纳什均衡的学习提供了一种有效的方法。然而，最优性间隙作为NFSP的优化问题而被留下，通过解决该问题，NFSP的性能可以得到改善。在本研究中，针对NFSP的最优性缺口，我们提出一种新的方法来取代NFSP的最佳反应计算与遗憾匹配方法。新算法在迭代过程中能使最优性间隙收敛到零，从而比原NFSP算法收敛更快。我们在OpenSpiel中的三种典型的完全信息博弈和不完全信息博弈环境下进行了实验，实验结果表明，新算法的性能优于原NFSP算法。
2021-04-22 cs.AI
Conservative Equilibrium Discovery in Offline Game-Theoretic Multiagent Reinforcement Learning
针对离线多智能体博弈学习问题，提出COffeE-PSRO方法，通过量化博弈动态不确定性并修改强化学习目标，偏向于在真实博弈中具有低遗憾的解，实验证明其优于现有离线方法。
2026-06-29 cs.AI cs.MA
Learning Two-Player Mixture Markov Games: Kernel Function Approximation and Correlated Equilibrium
University of California, Berkeley（加州大学伯克利分校）；University of California, Los Angeles（加州大学洛杉矶分校）
研究了具有非线性函数逼近的两人零和马尔可夫博弈的纳什均衡学习问题，其中作用价值函数由再生核希尔伯特空间（RKHS）中的函数逼近.关键的挑战是如何在高维函数空间中进行探索。我们提出了一种新的在线学习算法，以找到一个纳什均衡通过最小化的对偶差距。我们算法的核心是置信上限和置信下限，它们是基于面对不确定性时的乐观原则得出的。我们证明了我们的算法是能够达到一个$O(\sqrt{T})$遗憾多项式计算复杂性，非常温和的假设下的奖励函数和潜在的动态马尔可夫游戏。我们还提出了我们的算法的几个扩展，包括一个算法与伯恩斯坦型奖金，可以实现更严格的遗憾界，和另一种算法模型误指定，可应用于神经函数逼近。
2022-08-10 cs.AI cs.GT cs.LG
Efficient Nash Equilibrium Computation for Cybersecurity Games
Washington University in St. Louis（圣路易斯华盛顿大学）
针对仿真型网络安全博弈中PSRO的收益估计瓶颈，提出RWPS预算估计器，仅模拟敏感单元并利用替代模型，通过实例相关界与覆盖结果提升效率，实验显示在多个博弈中达到更低利用度。
2026-09-23 cs.AI cs.GT
Near Optimal Convergence to Coarse Correlated Equilibrium in General-Sum Markov Games
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文改进了一般和马尔可夫博弈中向粗相关均衡的收敛速率，通过将自适应步长技术扩展至马尔可夫设定并定制OFTRL算法，实现了已知最快的收敛速率。
2025-11-04 cs.AI cs.GT cs.LG
The Advantage Regret-Matching Actor-Critic
DeepMind；University of Alberta（阿尔伯塔大学）；NYU（纽约大学）
遗憾最小化在在线学习、博弈均衡计算和强化学习（RL）中起着关键作用。在本文中，我们描述了一个通用的无模型强化学习方法，基于对过去行为的反复反思。我们提出了一种无模型的RL算法，即ARMAC（Reputation-Matching Actor-Critic）：ARMAC保存了过去的策略缓冲区，而不是保存过去的状态-动作数据，通过它们重播以重建对过去行为的事后评估。这些追溯值估计被用来预测条件优势，结合遗憾匹配，产生一个新的政策。特别是，ARMAC从集中训练环境中的采样轨迹中学习，而不需要应用蒙特卡洛反事实遗憾（CFR）最小化中常用的重要性采样;因此，它不会在大环境中受到过度方差的影响。在单智能体环境中，ARMAC通过保持过去的策略不变，展示了一种有趣的探索形式。在多智能体环境中，ARMAC在自我游戏中接近纳什均衡，在一些部分可观察的零和基准。我们提供了利用率估计，在显着更大的游戏投注抽象无限制德州扑克。
2020-08-27 cs.AI cs.LG
Stable-Predictive Optimistic Counterfactual Regret Minimization
Carnegie Mellon University（卡内基梅隆大学）；Columbia University（哥伦比亚大学）
CFR框架在实际中已经成为求解大规模可拓形式博弈的有力工具。然而，过去基于CFR的算法收敛到纳什均衡的理论速率是$O(T^{-1/2})$的量级，其中$T$是迭代次数。相比之下，一阶方法可用于实现对迭代的$O(T^{-1})$依赖性，然而这些方法在实践中不太成功。在这项工作中，我们提出了第一个CFR的变种，打破了平方根依赖迭代。通过结合和扩展最近的进展预测和稳定的后悔最小化矩阵游戏设置，我们表明，它是可能的，利用“乐观”后悔最小化实现$O(T^{-3/4})$收敛速度内CFR。这是通过引入一个新的概念，稳定的预测，并通过设置每个反事实的遗憾最小化相对于其在决策树中的位置的稳定性。实验表明，该方法比原来的CFR算法更快，虽然不如新的变种，尽管他们的最坏情况下的$O(T^{-1/2})$依赖于迭代。
2019-02-13 cs.AI cs.GT cs.LG
Decentralized Spatial Reuse Optimization in Wi-Fi: An Internal Regret Minimization Approach
本文提出基于内部懊悔最小化的去中心化算法，用于优化无线局域网中的空间复用，以提高频谱效率并减少对集中化解决方案的依赖。
2026-02-09 cs.AI cs.NI
Proximal Regret and Proximal Correlated Equilibria: A New Tractable Solution Concept for Online Learning and Games
Yale University（耶鲁大学）；MIT CSAIL（麻省理工学院CSAIL）；University of Southern California（南加州大学）；University of Virginia（弗吉尼亚大学）
本文提出介于外部遗憾与交换遗憾之间的近端遗憾概念，证明经典在线梯度下降无需修改即可达到最优近端遗憾界，并据此定义近端相关均衡，统一并拓展了在线学习与博弈论中的多种均衡概念。
2025-11-05 cs.GT cs.LG
Swap Regret and Correlated Equilibria Beyond Normal-Form Games
University of Pennsylvania（宾夕法尼亚大学）；Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）；Courant Institute of Mathematical Sciences（柯朗数学科学研究所）
本文提出多面体博弈中的轮廓交换遗憾概念，证明其亚线性最小化是学习算法不可被对手操纵的充要条件，并给出高效算法保证$O(\sqrt{T})$遗憾，同时揭示其诱导的相关均衡与第三方调解可实现结果间的差距。
2025-02-27 cs.GT cs.LG
Near-Optimal No-Regret Learning for Correlated Equilibria in Multi-Player General-Sum Games
Carnegie Mellon University（卡内基梅隆大学）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Strategy Robot, Inc.（Strategy Robot 公司）；Optimized Markets, Inc.（Optimized Markets 公司）；Strategic Machine, Inc.（Strategic Machine 公司）
最近，Daskalakis，Fishelson和Golowich（DFG）（NeurIPS '21）表明，如果多人一般和正规型博弈中的所有代理都采用乐观乘法权重更新（OMWU），则每个玩家的外部遗憾是$O(\textrm{polylog}(T))$在$T$重复博弈后。我们将他们的结果从外部遗憾扩展到内部遗憾和交换遗憾，从而建立了以$\tilde{O}(T^{-1})$的速率收敛到近似相关均衡的解耦学习动态。由于Chen和Peng（NeurIPS '20），这大大提高了$O(T^{-3/4})$相关均衡的先前最佳收敛速度，并且在无遗憾框架内，它是最佳的-直到$T$中的多对数因子。为了获得这些结果，我们开发了新的技术，用于建立高阶光滑的学习动态涉及不动点运算。具体来说，我们建立了无内部后悔学习动力学的Stoltz和Lugosi（马赫学习'05）等效模拟无外部后悔动力学的组合空间。这使我们能够将多项式大小的马尔可夫链上的平稳分布的计算转换为指数大小的集合上的（表现更好的）线性变换，使我们能够利用与DFG类似的技术来接近最优地约束内部遗憾。此外，我们建立了一个$O(\textrm{polylog}(T))$无交换遗憾界的经典算法的Blum和Mansour（BM）（JMLR '07）。我们这样做是通过引入一种技术的基础上的柯西积分公式，规避了更有限的组合参数DFG。除了澄清BM的接近最优的遗…
2023-01-24 cs.GT cs.LG
Bayes correlated equilibria, no-regret dynamics in Bayesian games, and the price of anarchy
National Institute of Informatics（信息学研究所）
本文研究贝叶斯博弈的均衡计算与无政府代价，提出不真实交换遗憾变体及其高效最小化算法，证明动力学收敛至通信均衡，并将无政府代价下界从Bayes-Nash均衡扩展至所提动力学获得的均衡。
2025-06-29 cs.GT cs.LG
Simple Uncoupled No-Regret Learning Dynamics for Extensive-Form Correlated Equilibrium
Carnegie Mellon University（卡内基梅隆大学）
在规范型博弈中存在简单的非耦合无悔学习动态收敛到相关均衡是多智能体系统理论中的一个著名结果。具体来说，20多年前就已经知道，当所有参与者在重复的正态形式博弈中寻求最小化他们的内部遗憾时，经验的博弈频率收敛到正态形式相关均衡。可拓形式博弈通过模拟连续和同时的行动以及不完美信息来概括正规形式博弈。由于博弈中私人信息的连续性和存在性，扩展形式博弈中的相关性与正规形式博弈中的相关性具有显著不同的性质，其中许多仍然是开放的研究方向。可拓形式相关均衡（EFCE）被认为是标准形式博弈中相关均衡概念的自然可拓形式对应。与后者相比，定义EFCE集合的约束要复杂得多，因为相关设备必须考虑每个参与者在整个游戏中进行观察时的信念演变。由于这种显著增加的复杂性，导致EFCE的非耦合学习动态的存在长期以来一直是一个具有挑战性的开放研究问题。在这篇文章中，我们解决了这个问题，给出了第一个解耦的无悔动力学，收敛到一组EFCE在n-玩家一般和扩展形式的游戏完美的回忆。我们证明了每个博弈次数可以用博弈树大小的时间多项式来计算，并且当所有参与者根据我们的学习动态重复博弈时，博弈的经验频率被证明是O（T^-0.5）-近似的EFCE，并且在T次博弈重复之后具有高概率，并且EFCE几乎肯定在极限范围内。
2021-05-27 cs.GT cs.LG cs.MA
Strategizing against No-regret Learners
Duke University（杜克大学）；Google Research（谷歌研究）
研究玩家与无遗憾学习者反复博弈时的策略制定问题，证明其效用下限为Stackelberg均衡，在学习者行动数超2且用均值无遗憾策略时可获更高效用，而无交换遗憾时无法超越该均衡。
2025-11-11 cs.GT cs.LG
Equilibrium Finding in Normal-Form Games Via Greedy Regret Minimization
我们扩展了经典的遗憾最小化框架，在范式的游戏近似均衡greenweighting迭代的基础上，在运行时观察到的遗憾。理论上，我们的方法保留了所有以前的收敛速度保证。从经验上讲，在人工智能基准测试Diplomacy的大型随机生成游戏和范式子游戏上的实验表明，无论何时使用采样，贪婪权重都优于以前的方法，有时甚至是几个数量级。
2022-04-11 cs.GT
Taming Equilibrium Bias in Risk-Sensitive Multi-Agent Reinforcement Learning
Department of Statistics and Data Science, Yale University（耶鲁大学统计与数据科学系）
本文针对一般和马尔可夫博弈中风险敏感多智能体强化学习的均衡偏差问题，提出风险平衡遗憾新概念，并设计自博弈算法学习多种均衡，证明其具有近最优遗憾保证。
2024-05-04 cs.GT cs.LG
Geometrical Regret Matching
China Mobile Research Institute（中国移动研究院）
我们认为，现有的遗憾匹配的纳什均衡近似进行“跳跃”的战略更新时，未来的发挥的概率是成正比的积极遗憾措施。我们提出了一个几何遗憾匹配的特点是“平滑”的策略更新。我们的方法简单、直观、自然。分析和数值计算结果表明，连续且“平滑”地抑制“无利可图”的纯策略足以使博弈向纳什均衡演化，这表明在现实中均衡的趋势可能是普遍的和不可阻挡的。从技术上讲，迭代后悔匹配产生了一系列调整后的混合策略，我们的研究其近似于真正的均衡点。这个序列可以在度量空间中进行研究，并很好地可视化为通往平衡点的清晰路径。我们的理论在优化近似精度方面有局限性。
2020-01-23 cs.GT cs.LG math.OC
Adaptive Learning in Continuous Games: Optimal Regret Bounds and Convergence to Nash Equilibrium
Univ. Grenoble Alpes（格勒诺布尔大学）；Inria（法国国家信息与自动化研究所）；LJK（让·昆廷诺实验室）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔理工学院）；LIG（格勒诺布尔信息与信号处理实验室）；Criteo AI Lab（Criteo人工智能实验室）
在博弈论学习中，多个智能体同时遵循各自的利益，因此从每个参与者的角度来看，环境是不稳定的。在这种情况下，学习算法的性能通常由其遗憾来衡量。然而，无悔算法在博弈论保证方面并不平等：根据它们的调整方式，其中一些可能会使系统达到平衡，而另一些可能会产生循环，混乱或其他发散的轨迹。为了解决这个问题，我们提出了一系列基于乐观镜像下降的无遗憾策略，具有以下理想的属性：i）它们不需要任何事先调整或游戏知识; ii）它们都实现了O（\sqrt{T}）对任意的，对抗性的对手的遗憾; iii）它们收敛到收敛对手的最佳对策。此外，如果所有参与者都使用，则iv）它们保证O（1）社会遗憾;而v）在所有变分稳定博弈（包括所有单调和凹凸零和博弈的一类博弈）中，诱导的博弈序列收敛到纳什均衡，个人遗憾为O（1）。
2021-10-16 cs.GT cs.LG math.OC
No-Regret Learning in Unknown Games with Correlated Payoffs
ETH Zürich（苏黎世联邦理工学院）
我们考虑的问题，学习玩一个重复的多智能体游戏与未知的奖励函数。单人在线学习算法在提供完全信息反馈时获得强遗憾边界，不幸的是，这在许多现实世界的场景中是不可用的。仅仅是Bandit反馈，即，仅观察所选动作的结果产生了实质上更差的性能。在本文中，我们考虑了一个自然的模型，除了获得奖励的嘈杂测量，玩家还可以观察对手的行动。这个反馈模型，再加上奖励函数的规律性假设，使我们能够利用高斯过程（GP）的不同游戏结果之间的相关性。我们提出了一种新的基于置信区间的强盗算法GP-MW，它利用GP模型的奖励函数和运行的乘法权重（MW）的方法。我们得到了新的依赖于核的遗憾界，可与已知的界限在全信息设置，同时大大改善现有的强盗的结果。我们实验证明了GP-MW在随机矩阵游戏中的有效性，以及现实世界中的交通路由和电影推荐问题。在我们的实验中，GP-MW始终优于几个基线，而其性能通常与能够获得完整信息反馈的方法相当。
2019-10-28 cs.GT cs.LG cs.MA
No-Regret Learning in Bayesian Games
Northwestern University（西北大学）；Microsoft Research（微软研究院）；Cornell University（康奈尔大学）
最近的价格的无政府状态分析游戏的完全信息表明，粗糙的相关均衡，其特点是从无悔学习动态的结果，有接近最优的福利。这项工作提供了两个主要的技术成果，将这一结论提升到不完全信息的游戏，即，贝叶斯博弈首先，贝叶斯博弈中的近最优福利直接来自于当私有信息公开时，在同一博弈中的近最优福利的基于平滑性的证明。其次，在这些不完全信息博弈中，无悔学习动态收敛于贝叶斯粗相关均衡。这些结果是通过将贝叶斯博弈解释为完全信息的随机博弈来实现的。
2015-11-19 cs.GT cs.LG
Convergence to Nash Equilibrium and No-regret Guarantee in (Markov) Potential Games
Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；University of Waterloo（滑铁卢大学）
针对随机成本与赌博机反馈下的势博弈及马尔可夫势博弈，提出带充分探索和递归梯度估计的 Frank-Wolfe 变体，实现纳什均衡收敛、次线性遗憾，并将马尔可夫情形的纳什遗憾改进至 O(T^{4/5})。
2024-04-04 cs.GT cs.LG
Revisiting the Bertrand Paradox via Equilibrium Analysis of No-regret Learners
University of Washington（华盛顿大学）
本文通过无遗憾学习者的重复博弈模型，分析 Bertrand 定价博弈中高价格均衡出现的条件，并比较外部遗憾与交换遗憾对竞争行为的影响。
2026-05-28 cs.GT cs.LG
ReLExS: Reinforcement Learning Explanations for Stackelberg No-Regret Learners
ETH Zurich（苏黎世联邦理工学院）
本文研究了双人 Stackelberg 博弈中跟随者受无悔约束时的均衡问题，证明了在无悔约束及特定跟随者策略下玩家仍能达到 Stackelberg 均衡，并给出了效用差的严格上界及常和博弈下总效用的有界性保证。
2024-08-26 cs.GT cs.LG
Faster No-Regret Learning Dynamics for Extensive-Form Correlated and Coarse Correlated Equilibria
最近出现的趋势，在游戏中学习的文献一直关注提供更快的学习动力学相关和粗糙的相关均衡正规形式的游戏。对于具有更大挑战性的扩展形式游戏，人们所知甚少，这种游戏可以捕捉连续和同时的动作，以及不完美的信息。在本文中，我们建立了快速的无遗憾学习动力学\textit{extensive-form correlated equilibria (EFCE)}在多人一般和信息扩展形式的游戏。当所有玩家都遵循我们的加速动态时，游戏的相关分布是$O(T^{-3/4})$近似EFCE，其中$O(\cdot)$符号在游戏描述中抑制参数多项式。这显著提高了$O(T^{-1/2})$的最佳先验率。为了实现这一点，我们开发了一个框架，通过预测执行加速\emph{Phi-regret minimization}。我们的关键技术贡献之一-使我们能够使用我们的通用模板-是通过结构化马尔可夫链的精细扰动分析来表征与\emph{trigger deviation functions}相关的不动点的稳定性。此外，对于更简单的解决方案的概念的扩展形式的\emph{coarse}相关平衡（EFCCE），我们给出了一个新的简洁的封闭形式的相关不动点的特征，绕过昂贵的计算所需的平稳分布的EFCE。我们的结果将EFCCE更接近\emph{normal-form coarse correlated equilibria}的每迭代的复杂性…
2022-02-11 cs.GT
Regret Minimization in Behaviorally-Constrained Zero-Sum Games
Carnegie Mellon University（卡内基梅隆大学）
无遗憾学习已经成为解决扩展形式游戏的强大工具。这是由反事实遗憾最小化（CFR）框架，它依赖于实例化的遗憾最小化的单形在每个信息集的游戏。我们使用的CFR框架的实例开发算法解决行为约束（作为一种特殊情况，在Selten意义上扰动）的扩展形式的游戏，这使我们能够计算近似的纳什均衡的改进。纳什均衡的改进是由纳什均衡中的一个主要缺陷引起的：它实际上没有保证它将如何在博弈树中以零概率到达的部分中发挥作用。改进可以解决这个问题，但尚未在实践中采用，主要是由于缺乏可扩展的算法。我们表明，相比标准算法，我们的方法找到的解决方案，有更好的细化性能，同时享受的收敛速度，是最先进的算法纳什均衡计算在理论和实践中。
2017-11-09 cs.GT cs.LG
Beyond Bayesian Nash: Learning Minimax-Regret Equilibria for Adversarial Team Games under Asymmetric Information
Massachusetts Institute of Technology（麻省理工学院）；Aerospace Control Laboratory（航空控制实验室）；Laboratory of Information and Decision Systems（信息与决策系统实验室）
研究非对称信息下对抗团队博弈，提出概率鲁棒极小极大遗憾均衡（PR-MRE），结合极小极大遗憾推理的无分布鲁棒性与概率信息，通过鲁棒双线性规划及新型元求解器 PRMRE-PSRO 实现策略学习，实验证明其在隐藏类型上性能更优，行为更稳健。
2026-07-14 cs.AI cs.GT cs.LG
Polynomial-Time Linear-Swap Regret Minimization in Imperfect-Information Sequential Games
该研究针对序贯博弈中可高效实现的最强理性概念这一长期开放问题，证明可通过多项式时间迭代实现无线性交换遗憾，且该理性概念强于无触发遗憾，可高效逼近线性偏离相关均衡。
2023-11-07 cs.GT
Actively Learning to Coordinate in Convex Games via Approximate Correlated Equilibrium
研究凸博弈中协调者如何在未知玩家成本函数时，通过主动查询玩家遗憾并利用贝叶斯优化学习近似相关均衡，提出的学习框架在交通分配博弈实验中得到验证。
2025-09-13 cs.GT
Phi-Actor-Critic: Steering General-Sum Games to Pareto-Efficient Correlated Equilibria
Politecnico di Milano（米兰理工大学）；Tilburg University（蒂尔堡大学）；University of Applied Sciences and Arts of Southern Switzerland（瑞士南瑞士应用科学与艺术大学）
提出Φ-Actor-Critic框架，通过交换遗憾最小化引导多智能体学习向高社会福利的关联均衡收敛，并采用集中式注意力批评家高效估计反事实遗憾，结合拉格朗日均衡选择机制优化社会福利。
2026-06-11 cs.GT cs.LG cs.MA
Last-Iterate Convergence in Adaptive Regret Minimization for Approximate Extensive-Form Perfect Equilibrium
针对扩展型完美均衡（EFPE）求解中平均策略计算成本高和固定扰动存在权衡的问题，提出自适应遗憾最小化算法RTCFR，通过动态调整扰动实现末次迭代收敛，显著提升了求解性能。
2025-08-11 cs.GT
Semi Bandit Dynamics in Congestion Games: Convergence to Nash Equilibrium and No-Regret Guarantees
本文提出一种在线梯度下降新变体，在半老虎机反馈下使拥塞游戏收敛至纳什均衡并取得次线性遗憾，收敛速率仅多项式依赖于玩家和设施数量，解决了Du等人2022年的开放问题。
2023-06-27 cs.GT
Deep Counterfactual Regret Minimization
Facebook AI Research（Facebook人工智能研究院）；Carnegie Mellon University（卡内基梅隆大学）
反事实遗憾最小化（CFR）是解决大型非对称信息博弈的主要框架。它通过迭代遍历博弈树收敛到一个均衡。为了处理非常大的游戏，通常在运行CFR之前应用抽象。抽象的游戏是解决与表CFR，其解决方案被映射回完整的游戏。这个过程可能是有问题的，因为抽象的方面通常是手动的和特定于领域的，抽象算法可能会错过游戏的重要战略细微差别，并且存在鸡和蛋的问题，因为确定一个好的抽象需要了解游戏的均衡。本文介绍了深度反事实遗憾最小化，CFR的一种形式，避免了抽象的需要，而是使用深度神经网络近似CFR在整个游戏中的行为。我们表明，深CFR是原则性的，并在大型扑克游戏中取得了很好的表现。这是CFR的第一个非表格变体在大型游戏中获得成功。
2019-05-22 cs.AI cs.GT cs.LG
Solving imperfect-information games via exponential counterfactual regret minimization
一般来说，两个代理人的决策问题可以建模为一个两个球员的游戏，一个典型的解决方案是找到一个纳什均衡在这样的游戏。反事实后悔最小化（CFR）是一种求解不完全信息下两人零和博弈纳什均衡策略的著名方法。CFR方法采用后悔匹配算法迭代地逐步降低后悔值，使平均策略接近纳什均衡。虽然基于CFR的方法在不完全信息博弈领域取得了显著的成功，但在收敛效率方面仍有改进的余地。为了解决这个问题，我们提出了一种新的基于CFR的方法命名为指数反事实后悔最小化（ECFR）。在ECFR算法中，采用指数加权技术对迭代过程中的瞬时后悔值进行加权。从理论上证明了ECFR算法的收敛性。一组广泛的实验测试的结果表明，ECFR算法的收敛速度比当前国家的最先进的基于CFR的方法。
2020-12-04 cs.GT
The ZERO Regrets Algorithm: Optimizing over Pure Nash Equilibria via Integer Programming
设计有效的算法来计算纳什均衡在数学对策论和优化中提出了相当大的挑战。在这项工作中，我们采用整数规划技术来计算纳什均衡的整数规划游戏，一类同时和非合作对策，每个球员解决一个参数化的整数规划。我们介绍零遗憾，一个通用的和有效的切割平面算法计算，枚举，并选择纳什均衡。我们的框架利用了均衡不平等的概念，对任何纳什均衡有效的不平等，以及相关的均衡分离预言。我们评估我们的算法框架上的广泛的实际和方法的问题，从文献中，提供了一个坚实的基准对现有的方法。
2022-09-15 cs.GT math.OC
Mediator Interpretation and Faster Learning Algorithms for Linear Correlated Equilibria in General Extensive-Form Games
本文揭示了线性交换遗憾与非定时通信偏差的等价性，并据此开发了更快的无遗憾算法，用于在一般扩展式博弈中高效计算线性相关均衡，理论和实践性能均大幅提升。
2024-03-16 cs.GT
DREAM: Deep Regret minimization with Advantage baselines and Model-free learning
Facebook AI Research（Facebook人工智能研究院）
我们介绍了DREAM，这是一种深度强化学习算法，可以在多代理的信息博弈中找到最优策略。形式上，DREAM在两人零和博弈中收敛于一个纳什均衡，在所有其他博弈中收敛于一个扩展形式的粗略相关均衡。我们的主要创新是一种有效的算法，与其他基于遗憾的深度学习算法相比，它不需要访问完美的游戏模拟器来实现良好的性能。我们表明，梦想经验达到国家的最先进的性能在流行的基准测试游戏中的无模型算法，甚至是有竞争力的算法，使用完美的模拟器。
2020-11-29 cs.GT cs.LG stat.ML
Approximating Nash Equilibria in General-Sum Games via Meta-Learning
Charles University Prague（布拉格查尔斯大学）；University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute（阿尔伯塔机器智能研究所）；Brown University（布朗大学）
针对一般和博弈中寻找纳什均衡的难题，提出基于元学习的遗憾最小化方法以降低策略相关性，促使算法逼近纳什均衡，实验证明其近似效果显著优于现有技术。
2025-04-26 cs.GT cs.LG
Efficient Regret Minimization in Non-Convex Games
Department of Computer Science, Princeton University（普林斯顿大学计算机科学系）
本文研究非凸损失函数重复博弈中的后悔最小化问题。最小化后悔的标准概念在计算上是困难的。因此，我们定义了一个自然的概念，遗憾，允许有效的优化和推广离线保证收敛到近似的局部最优。我们给出了基于梯度的方法，实现最佳遗憾，这反过来又保证收敛到平衡在这个框架中。
2017-07-31 cs.GT cs.LG stat.ML
Policy Regret in Repeated Games
Johns Hopkins University（约翰斯·霍普金斯大学）；Courant Institute（库朗研究所）；Google Research（谷歌研究院）
在线学习中的\emph{policy regret}的概念是一个很好的定义？适应性对手的常见情况下的性能指标，更传统的数量，如外部遗憾不考虑。我们重新审视政策后悔的概念，并首先表明，有在线学习设置中，政策后悔和外部后悔是不相容的：任何序列的发挥，实现了有利的遗憾方面的一个定义必须做差的方面。然后，我们专注于博弈论的设置，对手是一个自私的代理。在这种情况下，我们表明，外部遗憾和政策遗憾是不冲突的，事实上，一个广泛的类的算法可以确保一个有利的遗憾就这两个定义，只要对手也使用这样的算法。我们还表明，发挥无政策遗憾算法的序列收敛到一个\emph{policy equilibrium}，一个新的概念，我们引进的均衡。将其与外部遗憾联系起来，我们证明了无外部遗憾参与者收敛到的粗糙相关均衡是政策均衡的严格子集。因此，在博弈论的背景下，没有外部后悔的每一个博弈序列也不承认政策后悔，但反之则不成立。
2020-03-22 cs.GT cs.LG stat.ML
Robust No-Regret Learning in Min-Max Stackelberg Games
Brown University（布朗大学）；Pomona College（波莫纳学院）
无遗憾学习算法的行为在两个玩家的最小-最大（即零和）游戏中得到了很好的理解。本文研究了具有依赖策略集的最小-最大博弈中的无悔学习行为，其中第一个局中人的策略约束第二个局中人的行为。这种游戏最好理解为顺序游戏，即，最小最大Stackelberg，游戏。我们考虑两种设置，一种是只有第一个玩家使用无遗憾算法选择他们的行动，而第二个玩家最好的反应，另一种是两个玩家都使用无遗憾算法。对于前一种情况下，我们表明，无悔动力学收敛到Stackelberg均衡。对于后者的情况下，我们引入了一种新的类型的遗憾，我们称之为拉格朗日遗憾，并表明，如果双方球员最大限度地减少他们的拉格朗日遗憾，然后发挥收敛到Stackelberg均衡。然后，我们观察到这两种设置中的在线镜像下降（OMD）动态分别对应于已知的嵌套（即，顺序）梯度下降-上升（GDA）算法和一个新的同步GDA类算法，从而建立这些算法的收敛到Stackelberg平衡。最后，我们分析了OMD动态的鲁棒性扰动调查在线最小-最大Stackelberg游戏。我们证明了OMD动力学是强大的一个大类的在线最小最大游戏独立的策略集。在依赖的情况下，我们证明了OMD动态的鲁棒性实验模拟他们在网上费舍尔市场，一个典型的例子，一个最小-最大的Stackelberg游戏依赖的策略集。
2022-04-13 cs.GT cs.LG econ.TH
No-Regret Learning and Equilibrium Computation in Quantum Games
本文研究量子智能体在去中心化系统中采用无悔算法的动态，证明其收敛于可分离量子纳什均衡，并提出可分离量子粗略相关均衡（QCCE）作为一般多人量子博弈的解决方案，且计算可化为半定规划，同时发现不可学习的纠缠QCCE。
2024-12-02 cs.GT quant-ph
Convergence Analysis of No-Regret Bidding Algorithms in Repeated Auctions
游戏和无悔算法之间的联系在文献中得到了广泛的研究。一个基本的结果是，当所有参与者都采取无悔策略时，这会产生一个行动序列，其时间平均值是博弈的粗相关均衡。然而，在存在多个均衡的情况下，对均衡选择的了解要少得多。在这项工作中，我们研究了拍卖中无遗憾出价算法的收敛性。除了理论上的兴趣，出价动态拍卖是一个重要的问题，从实践的角度来看，以及。我们研究了投标人之间的重复博弈，其中在每个时间步出售单个物品，投标人的价值来自未知分布。我们表明，如果投标人使用任何基于均值的学习规则，那么投标人收敛到真实的纯纳什均衡在第二价格拍卖，在VCG拍卖中的多插槽设置和贝叶斯纳什均衡在第一价格拍卖的高概率。我们注意到基于平均值的算法涵盖了各种各样的已知的无悔算法，如Exp3，UCB，$ε$贪婪等。此外，我们分析的收敛性的个别迭代产生这样的学习算法，而不是序列的时间平均值。我们的实验证实了我们的理论发现，并且在使用其他策略（如深度Q学习）时也发现了类似的收敛。
2020-09-14 cs.GT
Optimistic Mirror Descent Either Converges to Nash or to Strong Coarse Correlated Equilibria in Bimatrix Games
我们证明了，对于任何足够小的固定$ε> 0$，当两个局中人都是一般和两个局中人时，（双矩阵）游戏采用乐观镜像下降（OMD），具有平滑正则化，学习率$η= O(ε^2)$和$T = Ω(\text{poly}(1/ε))$重复，或者动态达到$ε$ -近似纳什均衡（NE），或者游戏的平均相关分布是$Ω(\text{poly}(ε))$ -强粗相关均衡（CCE）：任何可能的单方面偏离不仅使玩家更糟，而且将使其效用降低$Ω(\text{poly}(ε))$。作为一个直接的后果，当OMD的迭代是有界远离纳什均衡的双矩阵游戏，我们保证收敛到一个确切的CCE后，只有$O(1)$迭代。我们的研究结果表明，解耦的无遗憾学习算法可以收敛到CCE的一般和游戏显着快于NE，例如，零和游戏。为了建立这一点，我们表明，当OMD没有达到任意接近NE，（累积）遗憾的两个球员不仅是负面的，但随时间线性衰减。考虑到后悔是在线学习中性能的标准衡量标准，我们的研究结果表明，游戏中的无后悔学习算法的循环行为可以从效率方面得到证明。
2022-10-07 cs.GT
Learning not to Regret
Charles University（查理大学）；Czech Technical University（捷克技术大学）；Google DeepMind（谷歌DeepMind）；University of Alberta（阿尔伯塔大学）；EquiLibre Technologies
本文提出“学习不后悔”框架，通过元学习神经预测后悔匹配算法，在相似博弈分布上实现均衡求解的快速收敛，并在河牌扑克实验中取得超十倍改进。
2024-02-19 cs.GT cs.LG
Model-Free Online Learning in Unknown Sequential Decision Making Problems and Games
Carnegie Mellon University（卡内基梅隆大学）；Strategic Machine, Inc.（Strategic Machine公司）；Strategy Robot, Inc.（Strategy Robot公司）；Optimized Markets, Inc.（Optimized Markets公司）
后悔最小化已被证明是一个通用的工具，树形序贯决策和广泛的形式的游戏。在大型二人零和信息博弈中，反事实遗憾最小化（CFR）的现代扩展是目前计算纳什均衡的实用技术。大多数用于树形顺序决策的后悔最小化算法，包括CFR，都需要（i）玩家决策节点、观察节点以及它们之间如何联系的精确模型，以及（ii）在所有时间t都对收益有充分的了解--即使是在时间t没有遇到的决策空间部分。最近，人们越来越有兴趣放宽其中一些限制，并使遗憾最小化适用于传统上使用强化学习方法的环境-例如，那些只有黑盒访问环境的环境。我们给第一，据我们所知，遗憾最小化算法，保证次线性遗憾的概率很高，即使要求（i）-因此也（ii）-下降。我们形式化的在线学习设置中的策略空间是不知道的代理，并得到逐步揭示每当代理遇到新的决策点。我们给出了一个有效的算法，实现了$O(T^{3/4})$遗憾的设置，即使当代理面临着一个敌对的环境具有很高的概率。我们的实验表明，它显着优于以前的算法的问题，没有这样的保证。它可以用在任何后悔最小化有用的应用中：近似纳什均衡或量子响应均衡，近似多人游戏中的粗略相关均衡，学习最佳对策，学习安全的对手利用，以及在线对抗未知对手/环境。
2021-03-08 cs.GT cs.LG
Exact-Form Regret for Gradient Descent, Mirror Descent and Follow-the-Regularized-Leader
MIT（麻省理工学院）
本文提出精确性作为统一原则，几何刻画了梯度下降、镜像下降和FTRL无遗憾的偏差类别，并引入保守相关均衡，揭示不同一阶方法控制不同偏差类。
2026-09-23 cs.GT cs.LG math.OC
Online Learning for Equilibrium Pricing in Markets under Incomplete Information
Stanford University（斯坦福大学）；Massachusetts Institute of Technology（麻省理工学院）
针对市场均衡定价中供应商成本函数未知的不完全信息问题，提出不同场景下的在线学习算法，证明动态成本下通用次线性遗憾不可行，设计带上下文提示的算法并通过实验验证。
2025-06-16 cs.GT cs.LG
No-Regret Learning in Games is Turing Complete
University of Colorado Boulder（科罗拉多大学博尔德分校）；Singapore University of Technology and Design（新加坡科技设计大学）
游戏是多智能体机器学习设置（例如生成对抗网络（GANs））的自然模型。这些游戏中算法交互的理想结果被编码为游戏理论均衡概念，例如纳什均衡和粗相关均衡。由于直接计算均衡通常是不切实际的，人们通常旨在设计迭代收敛到均衡的学习算法。越来越多的负面结果使人们对这一目标产生了怀疑，从不收敛到混乱甚至武断的行为。在本文中，我们在这个列表中添加了一个强否定结果：游戏中的学习是图灵完备的。具体来说，我们证明图灵完备性的复制动态矩阵游戏，最简单的可能设置之一。我们的结果暗示了博弈中学习算法的可达性问题的不确定性，其中一个特例是确定均衡收敛。
2022-02-24 cs.GT cs.LG math.DS
