Competitive Multi-Agent Deep Reinforcement Learning with Counterfactual Thinking
Central University of Finance and Economics（中央财经大学）；iFLYTEK（科大讯飞）；Zhejiang University（浙江大学）；Amazon（亚马逊）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
反事实思维是指人们对已经发生的事情用不同的解决方案重新推断可能的结果的心理现象。它帮助人们从错误中获得更多的经验，从而在未来类似的任务中表现得更好。本文研究了在多智能体强化学习环境中智能体寻找最优决策策略的反事实思维。特别是，我们提出了一个多智能体深度强化学习模型，其结构模仿人类心理的反事实思维过程，以提高智能体的竞争能力。为此，我们的模型生成了几个可能的行动（意图行动）与一个并行的政策结构，并估计这些意图行动的奖励和遗憾的基础上，其当前的理解环境。我们的模型采用了一个基于ESTA的框架，将估计的遗憾与其内部政策联系起来。在迭代过程中，我们的模型更新的并行策略和相应的基于代理的遗憾。为了验证我们提出的模型的有效性，我们进行了广泛的实验，在两个不同的环境与现实世界的应用程序。实验结果表明，反事实思维实际上可以使智能体在保持高执行效率的同时，通过与对手进行比较，从公平信息的环境中获得更多的累积奖励。
2019-08-16 cs.AI cs.LG cs.MA
Combining No-regret and Q-learning
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Microsoft Research（微软研究院）
反事实后悔最小化（CFR）在扑克等既有终端状态又有完美回忆的环境中取得了成功。我们试图了解如何放宽这些要求。作为第一步，我们介绍了一个简单的算法，局部无遗憾学习（LONR），它使用一个Q学习的更新规则，允许学习没有终端状态或完美的回忆。我们证明了它的收敛的基本情况下的MDPs（和有限的扩展），目前的实证结果表明，它实现了最后的收敛在一些设置，最值得注意的是诺维茨基游戏，一类马尔可夫游戏专门设计的学习是具有挑战性的，没有事先的算法是已知的，甚至平均达到收敛到一个固定的平衡。
2022-01-13 cs.AI cs.GT cs.LG
Online Convex Optimization for Sequential Decision Processes and Extensive-Form Games
Carnegie Mellon University（卡内基梅隆大学）
后悔最小化是求解大规模可拓形式博弈的有力工具。最先进的方法依赖于在每个决策点局部最小化后悔。在这项工作中，我们推导出一个新的框架后悔最小化的顺序决策问题和扩展形式的游戏一般紧凸集在每个决策点和一般凸损失，而不是以前的工作，已为单纯形决策点和线性损失。我们称这个框架为层流后悔分解。它将CFR算法推广到这种更一般的设置。此外，我们的框架，即使在已知的设置，这是来自分解多面体遗憾的角度来看，CFR的新的证明，从而导致可以说是一个更简单的解释算法。我们的推广凸紧集和凸损失，使我们能够开发新的算法的几个问题：正则化的顺序决策，正则化的纳什均衡在扩展形式的游戏，计算近似的扩展形式的完美均衡。我们的推广也导致了第一个遗憾最小化算法计算减少正规型量子响应平衡的基础上，最大限度地减少本地遗憾。实验表明，我们的框架导致的算法，规模的速度可比的最快的变种反事实遗憾最小化计算纳什均衡，因此，我们的方法导致的第一个算法计算量子响应均衡在非常大的游戏。最后，我们表明，我们的框架，使一种新的可扩展的对手剥削的方法。
2018-09-10 cs.AI cs.GT cs.LG
Efficient Deviation Types and Learning for Hindsight Rationality in Extensive-Form Games: Corrections
后见之明理性（英语：Hindsight rationality）是一种玩一般和游戏的方法，它规定了个体代理关于一组偏差的无遗憾学习动态，并进一步描述了多个代理之间的联合理性行为。为了在顺序决策环境中发展后见之明的理性学习，我们将行为偏差形式化为尊重扩展形式游戏结构的一般偏差类。将时间选择的思想集成到反事实遗憾最小化（CFR）中，我们引入了扩展形式的遗憾最小化（EFR）算法，该算法可以对任何给定的行为偏差集实现事后理性，其计算与集合的复杂性密切相关。我们确定的行为偏差子集，部分序列偏差类型，subtermons先前研究的类型，并导致有效的EFR实例中的游戏具有中等长度。此外，我们提出了一个彻底的实证分析EFR实例化与不同的偏差类型在基准游戏中，我们发现，较强的类型通常会导致更好的性能。
2022-06-01 cs.AI cs.GT
Regret Minimization for Partially Observable Deep Reinforcement Learning
University of California, Berkeley（加州大学伯克利分校）
估计状态和状态-动作价值函数的深度强化学习算法已被证明在各种具有挑战性的领域中是有效的，包括从原始图像像素学习控制策略。然而，估计状态和状态-动作价值函数的算法通常假设完全观测的状态，并且必须通过使用有限长度的观测历史或递归网络来补偿部分观测。在这项工作中，我们提出了一个新的深度强化学习算法的基础上反事实遗憾最小化迭代更新近似的一个类似的函数，并部分观察状态是鲁棒的。我们证明了这种新算法在几个部分观察到的强化学习任务上的表现可以大大优于强基线方法：在Doom和Minecraft中学习第一人称3D导航，以及在Doom和Pong中存在部分观察到的对象时采取行动。
2018-10-25 cs.AI cs.LG
Efficient Deviation Types and Learning for Hindsight Rationality in Extensive-Form Games
University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute（阿尔伯塔机器智能研究所）；Université de Montréal（蒙特利尔大学）；Mila（米拉研究所）；DeepMind（深度思维）；Brown University（布朗大学）
后见之明理性（英语：Hindsight rationality）是一种玩一般和游戏的方法，它规定了个体代理关于一组偏差的无遗憾学习动态，并进一步描述了多个代理之间的联合理性行为。为了在顺序决策环境中发展后见之明的理性学习，我们将行为偏差形式化为尊重扩展形式游戏结构的一般偏差类。将时间选择的思想集成到反事实遗憾最小化（CFR）中，我们引入了扩展形式的遗憾最小化（EFR）算法，该算法可以对任何给定的行为偏差集实现事后理性，其计算与集合的复杂性密切相关。我们确定的行为偏差子集，部分序列偏差类型，subtermons先前研究的类型，并导致有效的EFR实例中的游戏具有中等长度。此外，我们提出了一个彻底的实证分析EFR实例化与不同的偏差类型在基准游戏中，我们发现，较强的类型通常会导致更好的性能。
2022-06-22 cs.AI cs.GT
Computing Approximate Nash Equilibria and Robust Best-Responses Using Sampling
本文讨论了两个贡献的决策在复杂的部分可观察的随机博弈。首先，我们应用两个国家的最先进的搜索技术，使用蒙特卡洛抽样的任务，近似纳什均衡（NE）在这样的游戏，即蒙特卡罗树搜索（MCTS）和蒙特卡洛反事实遗憾最小化（MCCFR）。在完全信息博弈中，MCTS已被证明近似于NE。我们表明，该算法快速找到一个合理的强有力的战略（但不是NE）在一个复杂的不完美信息的游戏，即扑克。另一方面，MCCFR在这样的博弈中有理论上的NE收敛保证。我们首次在扑克中应用MCCFR。根据我们的实验，我们可以得出结论，MCTS是一个有效的方法，如果一个人想学习合理的强战略快，而MCCFR是更好的选择，如果战略的质量是最重要的。我们的第二个贡献涉及到的观察，一个NE是不是对球员的最佳对策，没有发挥NE。我们提出了蒙特卡罗限制纳什响应（MCRNR），一个基于样本的算法计算限制纳什策略。这些是稳健的最佳对策策略，（1）利用非NE对手比使用NE更多，（2）不（过度）被其他策略利用。我们结合了两个国家的最先进的算法，即MCCFR和限制纳什响应（RNR）的优点。MCRNR仅对博弈树的相关部分进行采样。我们表明，MCRNR学习速度比标准的RNR在较小的游戏。我们还表明，在扑克中，MCRNR学习强大的最佳反应策略快，这些策略利用对手比玩NE。
2014-01-18 cs.GT
Accelerating Nash Equilibrium Convergence in Monte Carlo Settings Through Counterfactual Value Based Fictitious Play
School of Artificial Intelligence and Automation, Huazhong University of Science and Technology（华中科技大学人工智能与自动化学院）
针对多数CFR改进无法用于蒙特卡洛条件的问题，提出MCCFVFP，融合反事实价值与虚拟博弈最优响应，在高比例被占优策略博弈中收敛更快。
2024-10-27 cs.AI cs.GT cs.LG
Minimizing Weighted Counterfactual Regret with Optimistic Online Mirror Descent
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Tencent AI Lab（腾讯AI实验室）；Tsinghua University（清华大学）；School of Future Technology, University of Chinese Academy of Sciences（中国科学院大学未来技术学院）
针对PCFR+面对占优行动时遗憾较大的问题，提出整合PCFR+与DCFR的新型CFR变体PDCFR+，经理论和实验验证其在不完美信息博弈中收敛更快且能达到纳什均衡。
2024-05-14 cs.AI cs.GT cs.LG
Parallelizing Counterfactual Regret Minimization
CMU Strategic Machine, Inc.（CMU战略机器公司）；Strategy Robot, Inc.（策略机器人公司）；Optimized Markets, Inc.（优化市场公司）
本文提出并行化反事实遗憾最小化算法框架，通过线性代数运算加速大规模不完全信息游戏求解，实验显示GPU实现比CPU快四量级。
2026-05-14 cs.AI cs.GT
An Introduction to Causal Reinforcement Learning
Columbia University（哥伦比亚大学）；Graduate School of Data Science（数据科学研究生院）
本文提出将因果推断与强化学习统一在结构因果模型框架下，引入广义策略学习、模仿学习和反事实学习等新任务，形成因果强化学习（CRL）领域。
2026-06-24 cs.AI
Deep Counterfactual Regret Minimization
Facebook AI Research（Facebook人工智能研究院）；Carnegie Mellon University（卡内基梅隆大学）
反事实遗憾最小化（CFR）是解决大型非对称信息博弈的主要框架。它通过迭代遍历博弈树收敛到一个均衡。为了处理非常大的游戏，通常在运行CFR之前应用抽象。抽象的游戏是解决与表CFR，其解决方案被映射回完整的游戏。这个过程可能是有问题的，因为抽象的方面通常是手动的和特定于领域的，抽象算法可能会错过游戏的重要战略细微差别，并且存在鸡和蛋的问题，因为确定一个好的抽象需要了解游戏的均衡。本文介绍了深度反事实遗憾最小化，CFR的一种形式，避免了抽象的需要，而是使用深度神经网络近似CFR在整个游戏中的行为。我们表明，深CFR是原则性的，并在大型扑克游戏中取得了很好的表现。这是CFR的第一个非表格变体在大型游戏中获得成功。
2019-05-22 cs.AI cs.GT cs.LG
Solving imperfect-information games via exponential counterfactual regret minimization
一般来说，两个代理人的决策问题可以建模为一个两个球员的游戏，一个典型的解决方案是找到一个纳什均衡在这样的游戏。反事实后悔最小化（CFR）是一种求解不完全信息下两人零和博弈纳什均衡策略的著名方法。CFR方法采用后悔匹配算法迭代地逐步降低后悔值，使平均策略接近纳什均衡。虽然基于CFR的方法在不完全信息博弈领域取得了显著的成功，但在收敛效率方面仍有改进的余地。为了解决这个问题，我们提出了一种新的基于CFR的方法命名为指数反事实后悔最小化（ECFR）。在ECFR算法中，采用指数加权技术对迭代过程中的瞬时后悔值进行加权。从理论上证明了ECFR算法的收敛性。一组广泛的实验测试的结果表明，ECFR算法的收敛速度比当前国家的最先进的基于CFR的方法。
2020-12-04 cs.GT
Deep (Predictive) Discounted Counterfactual Regret Minimization
针对现有方法难以整合先进CFR变体的问题，提出一种无模型神经CFR算法，通过方差降低采样、引导拟合累积优势及模拟先进变体更新机制，实现更快收敛与更强对抗性能。
2025-11-11 cs.AI cs.GT cs.LG
ESCHER: Eschewing Importance Sampling in Games by Computing a History Value Function to Estimate Regret
Carnegie Mellon University（卡内基梅隆大学）；DeepMind（深度思维）；Strategy Robot, Inc.（Strategy Robot公司）；Optimized Markets, Inc.（Optimized Markets公司）；Strategic Machine, Inc.（Strategic Machine公司）
最近的技术近似纳什均衡在非常大的游戏杠杆神经网络学习近似最优的政策（战略）。一个有前途的研究方向是使用神经网络来近似反事实后悔最小化（CFR）或其现代变体。DREAM是目前唯一一种基于CFR的神经方法，它是无模型的，因此可以扩展到非常大的游戏，它在估计的遗憾目标上训练神经网络，由于从蒙特卡洛CFR（MCCFR）继承的重要性采样项，该目标可能具有极高的方差。在本文中，我们提出了一个无偏的无模型方法，不需要任何重要性采样。我们的方法，ESCHER，是原则性的，并保证以高概率收敛到一个近似的纳什均衡。我们发现，ESCHER的估计后悔的方差是数量级低于梦想和其他基线。然后，我们表明，ESCHER优于现有的艺术状态-梦想和神经虚构的自我发挥（NFSP）-在一些游戏和差异变得戏剧性的游戏大小的增加。在非常大的黑棋比赛中，ESCHER能够在$90\%$的时间内击败DREAM和NFSP。
2022-10-11 cs.AI cs.GT cs.LG
Solving zero-sum extensive-form games with arbitrary payoff uncertainty models
University of Strathclyde（思克莱德大学）；Zondax GmbH
从博弈论的角度对战略冲突进行建模涉及到对认知不确定性的处理。由于计算限制，回报不确定性模型通常限于简单的概率模型。应用于扑克的人工智能（AI）研究最近取得了突破，产生了新的近似方法，如反事实遗憾最小化，可以成功地处理大规模的不完美游戏。通过借鉴这些思想，这项工作解决了任意连续收益分布的问题。我们提出了一种方法，Harsanyi-Counterfactual遗憾最小化，解决两人零和扩展形式的游戏与任意的支付分布模型。给定一个博弈$Γ$，利用Harsanyi变换，我们生成一个新的博弈$Γ^\#$，然后应用反事实后悔最小化方法，得到$\varepsilon$ -Nash均衡.我们包括数值实验，展示了该方法如何可以应用到以前发表的问题。
2019-04-24 cs.AI cs.GT
GPU-Accelerated Counterfactual Regret Minimization
University of Toronto（多伦多大学）
本文将反事实后悔最小化重构为适合GPU并行的矩阵与向量运算，以更高内存占用换取显著加速，并在多类博弈中大幅超越 OpenSpiel 的 Python 与 C++ 实现。
2024-12-02 cs.GT cs.LG
Sync Pure Counterfactual Regret Minimization in Incomplete Information Extensive Form Games
本文结合同步虚构博弈与纯CFR，提出同步PCFR算法，在不完全信息扩展形式博弈中收敛速度比CFR+快约一个数量级且内存更省。
2023-11-13 cs.GT
Single Deep Counterfactual Regret Minimization
University of Cambridge（剑桥大学）
反事实后悔最小化（CFR）算法是求解不完全信息博弈近似纳什均衡的最成功的算法。然而，CFR对完整游戏树遍历的依赖限制了其可扩展性。出于这个原因，游戏的状态和动作空间通常被抽象（即简化）为CFR，然后将所产生的策略转换回完整的游戏，这需要广泛的专业知识，并且通常会收敛到高度可利用的策略。最近提出的一种方法，深度CFR，将深度学习直接应用于CFR，允许代理从样本中内在地抽象和概括状态空间，而不需要专业知识。在本文中，我们介绍了单深度CFR（SD-CFR），这是深度CFR的简化变体，通过避免训练平均策略网络，具有较低的总体近似误差。我们表明，SD-CFR是更有吸引力的从理论的角度来看，经验上优于深CFR方面的可利用性和一对一的发挥扑克。
2019-10-04 cs.AI cs.GT cs.LG
Stable-Predictive Optimistic Counterfactual Regret Minimization
Carnegie Mellon University（卡内基梅隆大学）；Columbia University（哥伦比亚大学）
CFR框架在实际中已经成为求解大规模可拓形式博弈的有力工具。然而，过去基于CFR的算法收敛到纳什均衡的理论速率是$O(T^{-1/2})$的量级，其中$T$是迭代次数。相比之下，一阶方法可用于实现对迭代的$O(T^{-1})$依赖性，然而这些方法在实践中不太成功。在这项工作中，我们提出了第一个CFR的变种，打破了平方根依赖迭代。通过结合和扩展最近的进展预测和稳定的后悔最小化矩阵游戏设置，我们表明，它是可能的，利用“乐观”后悔最小化实现$O(T^{-3/4})$收敛速度内CFR。这是通过引入一个新的概念，稳定的预测，并通过设置每个反事实的遗憾最小化相对于其在决策树中的位置的稳定性。实验表明，该方法比原来的CFR算法更快，虽然不如新的变种，尽管他们的最坏情况下的$O(T^{-1/2})$依赖于迭代。
2019-02-13 cs.AI cs.GT cs.LG
Monopoly Deal: A Benchmark Environment for Bounded One-Sided Response Games
该研究定义了有界单边响应博弈（BORGs）类别，推出修改版Monopoly Deal作为该类博弈的基准环境，验证了CFR算法可在无扩展下收敛有效策略，并提供了含环境、并行CFR运行时与人机交互界面的全栈研究平台及开源资源。
2025-10-30 cs.AI cs.GT cs.LG
Model-free Neural Counterfactual Regret Minimization with Bootstrap Learning
University of Science and Technology of China（中国科学技术大学）；New York University（纽约大学）
反事实后悔最小化算法在解决大规模不完美信息博弈问题上取得了许多令人瞩目的成果。神经网络近似CFR（neural CFR）是一种很有前途的技术，它通过对相似状态之间的决策信息进行泛化，减少了计算量和内存消耗。目前的神经CFR算法必须近似累积的遗憾。然而，在大规模的IIG中，有效和准确的近似仍然是一个严峻的挑战。在本文中，一个新的CFR变体，递归CFR（ReCFR），提出。在ReCFR中，递归替代值（Recursive Substitute Values，RSV）被学习并用于替代累积的遗憾。证明了ReCFR能够以$O({1}/{\sqrt{T}})$的速度收敛到纳什均衡.在ReCFR的基础上，提出了一种新的具有自举学习的无模型神经CFR（Neural ReCFR-B）。由于RSV的递归和非累积性质，Neural ReCFR-B具有比其他神经CFR更低的方差训练目标。实验结果表明，神经ReCFR-B是具有竞争力的国家的最先进的神经CFR算法在一个更低的训练成本。
2022-04-19 cs.GT cs.LG
Hindsight and Sequential Rationality of Correlated Play
University of Alberta（阿尔伯塔大学）；Amii（阿尔伯塔机器智能研究所）；Université de Montréal（蒙特利尔大学）；Mila（米拉研究所）；Massachusetts Institute of Technology（麻省理工学院）；DeepMind（深度思维）；Brown University（布朗大学）
受最近在两人零和游戏解决和玩方面的成功的推动，人工智能在游戏方面的工作越来越多地集中在产生基于均衡的策略的算法上。然而，在一般和游戏或有两个以上参与者的游戏中，这种方法在产生有能力的参与者方面不如在两个参与者的零和游戏中有效。一个有吸引力的替代方案是考虑自适应算法，以确保事后的强大性能，相对于修改行为所能实现的性能。这种方法也导致了一个博弈论分析，但在相关的发挥，产生于联合学习动态，而不是在均衡的因素代理行为。我们发展和倡导这种后见之明的理性框架的学习一般顺序决策设置。为此，我们重新审视中介均衡和偏离类型的广泛形式的游戏，从而获得一个更完整的理解和解决过去的误解。我们提出了一组例子，说明了不同的优势和弱点，在文献中的每种类型的均衡，并证明，没有听话的概念，包括所有其他。这条线的调查最终在偏差和平衡类，对应于算法的反事实遗憾最小化（CFR）家庭的定义，将它们与所有其他文献。更详细地研究CFR进一步导致了相关游戏中理性的新递归定义，该定义以自然适用于事后评估的方式扩展了顺序理性。
2022-06-22 cs.AI cs.GT
Real-Time Parallel Counterfactual Regret Minimization
IIIS, Tsinghua University（清华大学信息科学技术学院）
本文提出了一种实时深度限制下的CFR求解并行框架，通过剪枝、抽象和高级CFR变体的无缝整合，实现了在几秒内完成近均衡策略计算的高效方法，实验显示在德州扑克中速度提升了3.3-3.4倍。
2026-05-19 cs.AI cs.GT cs.LG
RLCFR: Minimize Counterfactual Regret by Deep Reinforcement Learning
Harbin Institute of Technology, ShenZhen（哈尔滨工业大学（深圳））
反事实后悔最小化（CFR）是处理不完全信息二人零和博弈决策问题的一种常用方法。与现有的研究，主要是探索解决更大规模的问题或加快解决方案的效率，我们提出了一个框架，RLCFR，旨在提高CFR方法的泛化能力。在RLCFR中，博弈策略由CFR在强化学习框架中求解。将交互式策略更新的动态过程建模为马尔可夫决策过程。我们的方法，RLCFR，然后学习一个政策，以选择适当的方式在迭代过程中的遗憾更新。此外，逐步奖励函数制定学习的行动政策，这是成比例的迭代策略是如何在每一步。大量的实验结果表明，我们的方法的泛化能力显着提高，与现有的国家的最先进的方法相比。
2020-09-10 cs.GT cs.LG stat.ML
Reduced Space and Faster Convergence in Imperfect-Information Games via Regret-Based Pruning
Carnegie Mellon University（卡内基梅隆大学）
反事实后悔最小化（CFR）算法是求解零和信息博弈的最常用的迭代算法。基于后悔的修剪（RBP）是一种改进，允许临时修剪性能不佳的操作，从而加快CFR。我们引入了Total RBP，这是一种新形式的RBP，它可以减少CFR的空间需求，因为动作被修剪。我们证明，在零和游戏中，它渐近修剪任何行动，不是一个最佳对策的一部分，一些纳什均衡。这导致可证明的更快收敛和更低的空间要求。实验表明，总RBP结果在空间上减少了一个数量级，减少因子随着游戏大小的增加而增加。
2016-09-12 cs.AI cs.GT
Learning Policies from Human Data for Skat
University of Alberta（阿尔伯塔大学）
大型不完全信息博弈中的决策是困难的。由于最近在扑克中的成功，反事实遗憾最小化（CFR）方法一直处于这些游戏研究的最前沿。然而，大型游戏中的大多数成功都来自于前向模型和强大的状态抽象的使用。在桥牌或滑板之类的纸牌游戏中，大量的信息集以及在不完全确定状态的情况下无法推进模拟，使得向前搜索成为问题。此外，状态抽象可能特别难以构建，因为每个玩家的精确持有直接影响移动值。在本文中，我们探索使用深度神经网络（DNN）从人类游戏数据中学习Skat的无模型策略。我们通过引入方法来产生一个新的最先进的投标和游戏声明系统，a）直接改变投标人的侵略性，b）根据期望值声明游戏，同时减轻很少观察到的状态-动作对的问题。虽然通过模仿学习的纸牌策略比目前最好的基于搜索的方法略弱，但它们的运行速度要快几个数量级。我们还探讨了如何在强化学习环境中直接从经验中学习这些政策，并讨论了将人类数据纳入这项任务的价值。
2019-05-27 cs.AI
Sample-Efficient Regret-Minimizing Double Oracle in Extensive-Form Games
针对扩展式博弈求解中样本复杂度高的问题，提出AdaDO算法将样本复杂度降至多项式级，同时构建RMDO理论框架指导高效DO算法设计，实验验证其性能优于多种强基线。
2024-11-01 cs.GT
Why Alternation Speeds Up Counterfactual Regret Minimization?
Institute for Interdisciplinary Information Sciences, Tsinghua University（清华大学交叉信息研究院）
该研究针对交替更新加快反事实遗憾最小化的直觉，通过对比交替RM⁺与单侧预测RM⁺，得出二分定理，揭示交替加速源于stale成本，为交替更新的作用提供了理论支撑。
2026-10-16 cs.GT
Solving Imperfect-Information Games via Discounted Regret Minimization
Carnegie Mellon University（卡内基梅隆大学）
反事实后悔最小化（CFR）是一类迭代算法，是最流行的，在实践中，最快的方法来近似解决大规模的信息博弈。在本文中，我们引入了新的CFR变体，1）以各种方式从早期迭代中折扣遗憾（在某些情况下，积极和消极的遗憾不同），2）以各种方式重新加权迭代以获得输出策略，3）使用非标准的遗憾最小化器和/或4）利用“乐观遗憾匹配”。它们在许多环境中显著提高了性能。首先，我们引入了一个变体，在每个测试的游戏中，包括大规模的现实设置中，它的性能都优于CFR+，这是现有的最先进的算法。CFR+是一个强大的基准：没有其他算法已经能够胜过it. Finally，我们表明，与CFR+，许多重要的新的变种是兼容的现代信息游戏修剪技术和一个也是兼容的游戏树中的采样。
2019-02-21 cs.AI cs.GT
No-Regret Learning in Extensive-Form Games with Imperfect Recall
University of Alberta（阿尔伯塔大学）
反事实遗憾最小化（CFR）是一种有效的无遗憾学习算法，用于决策问题建模为广泛的游戏。CFR的后悔界限取决于完美回忆的要求：玩家总是记得透露给他们的信息以及信息透露的顺序。然而，在没有完美回忆的游戏中，CFR的保证不适用。在本文中，我们提出了第一个遗憾时，适用于一般类的游戏不完美的回忆CFR界。此外，我们表明，CFR适用于任何抽象属于我们的一般类的结果，不仅为抽象的游戏，但对于完整的游戏以及遗憾界。我们验证了我们的理论，并展示了如何不完美的回忆可以用来交易一个小的增加，在三个领域的记忆显着减少遗憾：骰子卷扑克，幻影井字游戏，虚张声势。
2012-05-03 cs.AI cs.GT
Monte Carlo Continual Resolving for Online Strategy Computation in Imperfect Information Games
在线游戏算法产生高质量的策略，其离线替代方案所需的一小部分内存和计算。连续解析（CR）是最近一种理论上合理的在线游戏方法，已被用于在扑克中超越人类专业人士。然而，该算法的某些部分是扑克特有的，它具有其他不完美信息游戏所不具有的许多特性。我们提出了一个域独立的制定CR适用于任何两个球员的零和扩展形式的游戏，一个抽象的解决算法。我们进一步描述和实现其蒙特卡洛变体（MCCR），它使用蒙特卡洛反事实后悔最小化（MCCFR）作为一个解决方案。我们证明了CR的正确性，并显示了一个$O(T^{-1/2})$依赖MCCR的可利用的计算时间。此外，我们提出了一个实证比较MCCR与增量树建设在线结果抽样和信息集MCTS在几个领域。
2019-03-08 cs.GT
Combining Counterfactual Regret Minimization with Information Gain to Solve Extensive Games with Unknown Environments
针对未知环境下不完美信息扩展式博弈难以应用 CFR 的问题，提出融合信息增益与好奇心驱动探索的 CFR 方法，在 Kuhn poker 和 Leduc poker 上减少交互并得到更准确的近似 Nash 均衡。
2024-10-29 cs.GT
Easy as ABCs: Unifying Boltzmann Q-Learning and Counterfactual Regret Minimization
Harvard University（哈佛大学）；Google Deepmind（谷歌DeepMind）
提出 ABCs 算法统一 BQL 与 CFR，通过测量环境平稳性自适应探索，在单智能体和多智能体环境中均实现收敛且表现优异。
2024-02-19 cs.GT cs.LG cs.MA
Faster Game Solving via Predictive Blackwell Approachability: Connecting Regret Matching and Mirror Descent
Carnegie Mellon University（卡内基梅隆大学）；Columbia University（哥伦比亚大学）；Strategic Machine, Inc.（Strategic Machine 公司）；Strategy Robot, Inc.（Strategy Robot 公司）；Optimized Markets, Inc.（Optimized Markets 公司）
布莱克威尔可接近性是一个推理具有向量值回报的重复博弈的框架。我们引入预测Blackwell可接近性，其中给出下一个回报向量的估计，并且决策者试图基于该估计的准确性来实现更好的性能。为了推导出实现预测Blackwell可接近性的算法，我们首先展示了四个著名算法之间的强大连接。跟随正则化领导者（FTRL）和在线镜像下降（OMD）是在线凸优化中最流行的后悔极小化算法。尽管这种流行，遗憾匹配（RM）和遗憾匹配+（RM+）算法已在解决大型游戏的实践中首选（作为反事实遗憾最小化框架内的局部遗憾最小化）。我们表明，RM和RM+是运行FTRL和OMD的结果，分别选择半空间，以迫使在任何时候在底层的Blackwell可接近性游戏的算法。通过将FTRL或OMD的预测变体应用于该连接，我们获得预测Blackwell可接近性算法，以及RM和RM+的预测变体。在18个常见的零和扩展形式的基准游戏的实验中，我们表明，预测RM+加上反事实遗憾最小化收敛速度远远快于最快的先验算法（CFR+，DCFR，LCFR）在所有的游戏，但两个扑克游戏，有时两个或更多的数量级。
2021-03-08 cs.AI cs.GT cs.LG
Theoretical and Practical Advances on Smoothing for Extensive-Form Games
Carnegie Mellon University（卡内基梅隆大学）；University of Alberta（阿尔伯塔大学）
稀疏迭代法，特别是一阶方法，被认为是解决大规模两人零和扩展形式博弈最有效的方法之一。这些方法的收敛速度在很大程度上取决于距离生成函数的性质，他们是basedon. We调查的加速一阶方法解决扩展形式的游戏通过更好的设计的扩张熵函数-一类距离生成函数相关的域与扩展形式的游戏。通过引入一个新的加权方案的扩张熵函数，我们开发的第一个距离生成函数的战略空间的序列游戏，没有依赖于分支因子的球员。这一结果提高了收敛速度的几个一阶方法的一个因素的$Ω(b^dd)$，其中$b$是分支因子的球员，和$d$是深度的游戏树。到目前为止，反事实遗憾最小化方法在实践中更快，更受欢迎，比一阶方法，尽管他们的理论上的收敛速度较低。使用我们的新的加权方案和实际调整，我们表明，第一次，过度的差距技术可以更快地比最快的反事实遗憾最小化算法，CFR+，在实践中。
2017-05-09 cs.AI cs.GT
GPU-CFR: 80x Faster Counterfactual Regret Minimization by Compiling the Game to Static Dataflow and CUDA Graph Replay
Institute for Interdisciplinary Information Sciences, Tsinghua University（清华大学交叉信息研究院）
GPU-CFR 通过将博弈编译为静态数据流和 CUDA 图重放，消除内核启动开销，实现比先前 GPU 实现快 80 倍、比 CPU 实现快 258 倍的加速。
2026-09-11 cs.AI cs.DC cs.GT
Optimistic Regret Minimization for Extensive-Form Games via Dilated Distance-Generating Functions
Carnegie Mellon University（卡内基梅隆大学）；Columbia University（哥伦比亚大学）；Strategic Machine, Inc.（Strategic Machine公司）；Strategy Robot, Inc.（Strategy Robot公司）；Optimized Markets, Inc.（Optimized Markets公司）
我们研究了乐观的遗憾最小化算法的性能，最小化遗憾，计算纳什均衡，零和扩展形式的游戏。为了将这些算法应用于扩展形式的游戏，需要一个距离生成函数。我们研究了扩张熵和扩张欧氏距离函数的使用。对于扩张的欧氏距离函数，我们证明了一般树丛的强凸性参数的第一个显式界。此外，我们表明，使用扩张的距离生成函数，使我们能够分解的镜像下降算法，其乐观的变体，到本地镜像下降算法在每个信息集。这种分解反映了反事实遗憾最小化框架的结构，并使重要的技术在实践中，如分布式更新和修剪冷部分的游戏树。我们的算法可证明收敛速度为$T^{-1}$，这是优于以前的反事实遗憾最小化算法。我们实验比较流行的算法CFR+，它具有$T^{-0.5}$的理论收敛速度在理论上，但已知的是经常收敛速度$T^{-1}$，或更好，在实践中。我们给出了一个矩阵游戏的例子，CFR+实验收敛速度相对较慢的$T^{-0.74}$，而我们的乐观方法收敛速度比$T^{-1}$。我们继续表明，我们的快速率也持有库恩扑克游戏，这是一个广泛的形式的游戏。然而，对于游戏树更深的游戏，我们发现CFR+仍然更快。最后，我们表明，当目标是最大限度地减少遗憾，而不是计算一个纳什均衡，我们的乐观的方法可以优于CFR+，即使在深游戏树。
2019-10-28 cs.GT cs.LG math.OC
Regret Minimization with Adaptive Opponents in Repeated Games
Massachusetts Institute of Technology（麻省理工学院）；OpenAI；University of Maryland, College Park（马里兰大学学院公园分校）
针对重复博弈中自适应对手的遗憾最小化问题，提出重复策略遗憾（RP-Regret）指标，并设计三种算法实现次线性遗憾，同时证明所有玩家最小化该遗憾可学习子博弈完美均衡。
2026-06-04 cs.AI cs.GT cs.LG
Regret Minimization in Behaviorally-Constrained Zero-Sum Games
Carnegie Mellon University（卡内基梅隆大学）
无遗憾学习已经成为解决扩展形式游戏的强大工具。这是由反事实遗憾最小化（CFR）框架，它依赖于实例化的遗憾最小化的单形在每个信息集的游戏。我们使用的CFR框架的实例开发算法解决行为约束（作为一种特殊情况，在Selten意义上扰动）的扩展形式的游戏，这使我们能够计算近似的纳什均衡的改进。纳什均衡的改进是由纳什均衡中的一个主要缺陷引起的：它实际上没有保证它将如何在博弈树中以零概率到达的部分中发挥作用。改进可以解决这个问题，但尚未在实践中采用，主要是由于缺乏可扩展的算法。我们表明，相比标准算法，我们的方法找到的解决方案，有更好的细化性能，同时享受的收敛速度，是最先进的算法纳什均衡计算在理论和实践中。
2017-11-09 cs.GT cs.LG
Learning in Markov Games with Adaptive Adversaries: Policy Regret, Fundamental Barriers, and Efficient Algorithms
Johns Hopkins University（约翰斯·霍普金斯大学）
本文研究含自适应对手的 Markov 博弈学习，提出以策略遗憾替代外部遗憾，刻画无界记忆、非平稳及指数策略集导致的根本障碍，并在一致对手条件下给出达到 √T 遗憾的高效算法。
2024-12-09 cs.AI cs.GT cs.LG
Solving Large Imperfect Information Games Using CFR+
反事实后悔最小化和变体（例如公共机会抽样CFR和纯CFR）被认为是为不完美信息游戏（如扑克）创建近似纳什均衡解的最佳方法。本文介绍了CFR $^+$，一种新的算法，通常优于以前已知的算法的数量级或更多的计算时间，同时也可能需要更少的内存。
2014-07-18 cs.GT
Last-Iterate Convergence in Adaptive Regret Minimization for Approximate Extensive-Form Perfect Equilibrium
针对扩展型完美均衡（EFPE）求解中平均策略计算成本高和固定扰动存在权衡的问题，提出自适应遗憾最小化算法RTCFR，通过动态调整扰动实现末次迭代收敛，显著提升了求解性能。
2025-08-11 cs.GT
Efficient Last-Iterate Convergence in Regret Minimization via Adaptive Reward Transformation
School of Computer Science and Technology, Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）计算机科学与技术学院）
针对遗憾最小化中Reward Transformation框架对参数敏感且易陷入局部最优的问题，提出动态调参的自适应方法，确保理论一致性并实现线性收敛，显著加速了NFGs和EFGs中的末次迭代收敛。
2025-09-17 cs.GT cs.LG
Finding and Certifying (Near-)Optimal Strategies in Black-Box Extensive-Form Games
在战争游戏、战略游戏和金融模拟中，游戏通常只是作为一个黑盒模拟器提供给我们。在这些设置中，由于游戏可能具有未知的自然动作分布（我们只能从中获得样本）和/或太大而无法完全扩展，因此很难计算保证可利用性的策略。最近的工作\cite{Zhang20:Small}导致了一个概念的证书扩展形式的游戏，允许利用保证，而不是扩大整个游戏树。然而，这项工作假设黑盒可以在任何时候采样或扩展博弈树的任意节点，并且可以进行一系列精确的博弈求解（例如通过线性规划）来计算证书。这两个假设都严重限制了该方法的实际适用性。在这项工作中，我们放松了这两个假设。我们表明，高概率的证书，可以获得一个黑盒子，可以做的只是通过游戏，只使用一个后悔最小化作为一个子程序。作为奖励，我们得到了一个均衡发现算法与$\tilde O(1/\sqrt{T})$收敛速度在广泛形式的游戏设置，不依赖于采样策略与下界到达概率（MCCFR假设）。我们的实验表明，在黑盒设置中，我们的方法能够提供非平凡的可利用性保证，同时只扩大一小部分的游戏树。
2021-03-17 cs.GT
Phi-Actor-Critic: Steering General-Sum Games to Pareto-Efficient Correlated Equilibria
Politecnico di Milano（米兰理工大学）；Tilburg University（蒂尔堡大学）；University of Applied Sciences and Arts of Southern Switzerland（瑞士南瑞士应用科学与艺术大学）
提出Φ-Actor-Critic框架，通过交换遗憾最小化引导多智能体学习向高社会福利的关联均衡收敛，并采用集中式注意力批评家高效估计反事实遗憾，结合拉格朗日均衡选择机制优化社会福利。
2026-06-11 cs.GT cs.LG cs.MA
Regret Minimization in Non-Zero-Sum Games with Applications to Building Champion Multiplayer Computer Poker Agents
在两人零和博弈中，如果两个博弈者都最小化他们的平均外部后悔，那么策略剖面的平均值收敛到一个纳什均衡。然而，对于n人一般和游戏，遗憾最小化的理论保证较少被理解。尽管如此，反事实遗憾最小化（CFR），一个流行的遗憾最小化算法的广泛形式的游戏，产生了获奖的三人德州扑克代理在年度电脑扑克比赛（ACPC）。在本文中，我们提供了第一套理论性质的遗憾最小化算法在非零和游戏证明，解决方案消除迭代严格控制。我们正式定义\emph{dominated actions}在扩展形式的游戏，显示CFR避免迭代严格支配的行动和战略，并证明，删除迭代支配的行动是足以赢得一个模拟锦标赛在一个小的扑克游戏。此外，对于两个玩家的非零和游戏，我们绑定的最坏情况下的性能，并表明，在实践中，后悔最小化可以产生非常接近均衡的策略。我们的理论进步使我们对CFR进行了新的修改，用于两个以上玩家的游戏，更有效，可以用来生成比以前更强大的策略。此外，我们提出了一个新的三人德州扑克代理，是使用CFR和一种新的游戏分解方法。我们的新代理赢得了2012年ACPC的三人项目，并击败了以前比赛中的三人项目，同时需要比2011年冠军更少的资源来产生。最后，我们表明，我们的CFR修改计算出一个战略，我们的新代理在四分之一的时间标准CFR使用一半的内存质量相等。
2013-04-30 cs.GT cs.MA
IR-PRM+ with Previous-Utility Prediction: Constant Regret and Best-Iterate Convergence
University of Illinois Chicago（伊利诺伊大学芝加哥分校）
本研究提出带先前效用预测的IR-PRM+，解决原有IR-PRM+仅适合同步额外梯度更新的局限，实现有限两人零和博弈的恒定遗憾与最优迭代收敛，可扩展到多玩家及扩展型博弈场景。
2026-10-13 cs.GT cs.LG
Pareto-Optimal Algorithms for Learning in Games
研究重复博弈中的最优学习算法，提出渐近帕累托最优概念，证明无交换遗憾算法是帕累托最优的充分条件，并引入渐近菜单证明此类算法策略等价。
2024-02-14 cs.GT
Solving Large Extensive-Form Games with Strategy Constraints
University of Alberta（阿尔伯塔大学）；DeepMind（深度思维公司(DeepMind)（注：DeepMind通常指Google旗下的DeepMind Technologies Limited，作为独立研究机构，此处按常见译法保留））
可拓形式博弈是不完全信息下多主体交互的一种常见模型。在两人零和博弈中，典型的解概念是每个参与者在无约束策略集上的纳什均衡。然而，在许多情况下，我们希望限制这套可能的战略。例如，约束是对有限资源、风险缓解、安全性、与过去行为观察的一致性或代理的其他次要目标进行建模的自然方式。在小型博弈中，线性约束下的最优策略可以通过求解线性规划来找到;然而，用于求解大型博弈的最先进算法无法处理一般约束。在这项工作中，我们介绍了一种广义形式的反事实遗憾最小化，可证明发现任何可行的凸约束下的最佳策略。我们证明了我们的算法的有效性，找到战略，减轻风险的安全游戏，并在扑克游戏中的对手建模时，只有部分私人信息的观察。
2019-02-05 cs.AI cs.GT
Model-Free Online Learning in Unknown Sequential Decision Making Problems and Games
Carnegie Mellon University（卡内基梅隆大学）；Strategic Machine, Inc.（Strategic Machine公司）；Strategy Robot, Inc.（Strategy Robot公司）；Optimized Markets, Inc.（Optimized Markets公司）
后悔最小化已被证明是一个通用的工具，树形序贯决策和广泛的形式的游戏。在大型二人零和信息博弈中，反事实遗憾最小化（CFR）的现代扩展是目前计算纳什均衡的实用技术。大多数用于树形顺序决策的后悔最小化算法，包括CFR，都需要（i）玩家决策节点、观察节点以及它们之间如何联系的精确模型，以及（ii）在所有时间t都对收益有充分的了解--即使是在时间t没有遇到的决策空间部分。最近，人们越来越有兴趣放宽其中一些限制，并使遗憾最小化适用于传统上使用强化学习方法的环境-例如，那些只有黑盒访问环境的环境。我们给第一，据我们所知，遗憾最小化算法，保证次线性遗憾的概率很高，即使要求（i）-因此也（ii）-下降。我们形式化的在线学习设置中的策略空间是不知道的代理，并得到逐步揭示每当代理遇到新的决策点。我们给出了一个有效的算法，实现了$O(T^{3/4})$遗憾的设置，即使当代理面临着一个敌对的环境具有很高的概率。我们的实验表明，它显着优于以前的算法的问题，没有这样的保证。它可以用在任何后悔最小化有用的应用中：近似纳什均衡或量子响应均衡，近似多人游戏中的粗略相关均衡，学习最佳对策，学习安全的对手利用，以及在线对抗未知对手/环境。
2021-03-08 cs.GT cs.LG
Low-Variance and Zero-Variance Baselines for Extensive-Form Games
DeepMind；University of Alberta（阿尔伯塔大学）
可拓形式博弈（Extensive-Form Games，EFG）是不完全信息下多主体交互的一种常见模型。解决这些游戏的最先进的算法通常执行游戏树的完整遍历，这在大型游戏中可能会非常慢。或者，基于采样的方法，如蒙特卡罗反事实后悔最小化，在树中走一个或多个轨迹，每次迭代时只触及一小部分节点，代价是由于采样值的方差而需要更多的迭代来收敛。在本文中，我们扩展了最近的工作，使用基线估计，以减少这种变化。我们引入了一个框架的基线校正值的EFG，概括了以前的工作。在我们的框架内，我们提出了新的基线功能，导致显着降低方差相比，现有的技术。我们表明，这样一个功能的一个特定的选择-预测基线-在某些抽样方案下是可证明的最佳。这允许甚至沿着采样轨迹的零方差值估计的有效计算。
2019-07-22 cs.AI cs.GT
Modeling Other Players with Bayesian Beliefs for Games with Incomplete Information
针对贝叶斯博弈中不完全信息下的决策问题，提出贝叶斯-CFR算法，通过核密度估计更新信念并最小化贝叶斯遗憾，在德州扑克中显著优于现有方法。
2024-05-23 cs.GT
Scale-Invariant Regret Matching and Online Learning with Optimal Convergence: Bridging Theory and Practice in Zero-Sum Games
Massachusetts Institute of Technology（麻省理工学院）；Carnegie Mellon University（卡内基梅隆大学）
本文提出了一种新的尺度不变且参数无关的PRM+变体IREG-PRM+，实现了最优收敛并优于现有方法，同时扩展了零和博弈到更广泛的变分不等式问题。
2026-02-17 cs.GT cs.LG
