Low-Variance and Zero-Variance Baselines for Extensive-Form Games
DeepMind；University of Alberta（阿尔伯塔大学）
可拓形式博弈（Extensive-Form Games，EFG）是不完全信息下多主体交互的一种常见模型。解决这些游戏的最先进的算法通常执行游戏树的完整遍历，这在大型游戏中可能会非常慢。或者，基于采样的方法，如蒙特卡罗反事实后悔最小化，在树中走一个或多个轨迹，每次迭代时只触及一小部分节点，代价是由于采样值的方差而需要更多的迭代来收敛。在本文中，我们扩展了最近的工作，使用基线估计，以减少这种变化。我们引入了一个框架的基线校正值的EFG，概括了以前的工作。在我们的框架内，我们提出了新的基线功能，导致显着降低方差相比，现有的技术。我们表明，这样一个功能的一个特定的选择-预测基线-在某些抽样方案下是可证明的最佳。这允许甚至沿着采样轨迹的零方差值估计的有效计算。
2019-07-22 cs.AI cs.GT
Value Functions for Depth-Limited Solving in Zero-Sum Imperfect-Information Games
Czech Technical University in Prague（布拉格捷克理工大学）
我们提供了一个正式的定义，深度有限的游戏，以及一个访问和严格的解释的基本概念，这两个都是以前缺少的信息游戏。该定义适用于任意的扩展形式博弈，并且不依赖于任何特定的博弈求解算法。此外，这个框架统一并显着扩展了三种方法，以深度有限的解决方案，以前存在于广泛的形式游戏和多智能体强化学习，但不知道是兼容的。这些深度有限游戏的一个关键要素是价值函数。专注于两个球员零和信息博弈，我们展示了如何获得最佳的价值函数，并证明了公共信息提供了必要和充分的上下文计算。我们提供了一个域独立的编码域，允许近似价值函数，甚至通过简单的前馈神经网络，然后能够概括到看不见的游戏部分。我们使用由此产生的价值网络来实现反事实遗憾最小化的深度有限版本。在三个不同的域中，我们表明，该算法的可利用性大致线性依赖于价值网络的质量，并不难训练一个价值网络的深度有限CFR的性能是一样好的CFR与访问完整的游戏。
2022-03-24 cs.AI cs.GT
Temporal Action-Graph Games: A New Representation for Dynamic Games
University of British Columbia（不列颠哥伦比亚大学）；Charles River Analytics（查尔斯河分析公司）
在本文中，我们介绍了时间动作图游戏（TAGGs），一种新的图形表示的信息广泛的形式游戏。我们表明，当一个游戏涉及匿名或特定于上下文的效用独立性，它的编码为TAGG可以比它的直接编码为多智能体影响图（MAID）更紧凑。我们还表明，TAGG可以被理解为间接MAID编码，其中许多确定性的机会节点被引入。我们提供了一个算法，计算与TAGG，并显示理论和经验表明，我们的方法显着提高了以前的最先进的。
2012-05-09 cs.AI cs.GT
Robust Stackelberg Equilibria in Extensive-Form Games and Extension to Limited Lookahead
Carnegie Mellon University（卡内基梅隆大学）
Stackelberg均衡作为计算博弈论中的一个解决方案概念变得越来越重要，主要是受到安全设置等实际问题的启发。然而，在实践中，关于对手的模型通常存在不确定性。本文是，据我们所知，第一次调查Stackelberg均衡下的不确定性，在广泛形式的游戏，最广泛的游戏类之一。我们引入强大的Stackelberg均衡，其中的不确定性是关于对手的收益，以及对手有有限的前瞻性和不确定性是关于对手的节点评价函数。我们开发了一个新的混合整数规划的确定性有限前瞻设置。然后，我们扩展到强大的设置Stackelberg均衡无限和有限的前瞻下的对手。我们表明，对于对手的收益（或对手的节点评价的情况下，有限的前瞻性）的区间不确定性的特定情况下，鲁棒Stackelberg均衡可以计算与混合整数规划，是相同的渐近大小的确定性设置。
2017-11-21 cs.AI cs.GT cs.MA
From Natural Language to Extensive-Form Game Representations
University of Liverpool（利物浦大学）；The Alan Turing Institute（阿兰·图灵研究所）
本文提出一种基于LLM和上下文学习的两阶段框架，通过识别信息集和自调试模块，将自然语言博弈描述转换为pygambit扩展型博弈树，实现Nash均衡自动计算，显著优于基线模型。
2025-01-31 cs.AI cs.CL cs.GT
XDO: A Double Oracle Algorithm for Extensive-Form Games
University of California, Irvine（加州大学尔湾分校）；Department of Computer Science（计算机科学系）
策略空间响应预言机（PSRO）是一种用于两人零和博弈的强化学习（RL）算法，已被经验证明可以在大型博弈中找到近似的纳什均衡。虽然PSRO保证收敛到近似的纳什均衡，并可以处理连续的行动，它可能需要一个指数数量的迭代信息状态（infostates）的数量增长。我们提出了扩展形式双预言机（XDO），一个扩展形式的双预言机算法的两个球员零和游戏，是保证收敛到一个近似的纳什均衡线性的信息状态的数量。与PSRO不同，PSRO在游戏的根源混合最佳对策，XDO在每个信息状态混合最佳对策。我们还介绍了神经XDO（NXDO），其中通过深度RL学习最佳响应。在Leduc扑克的表格实验中，我们发现XDO在比PSRO小一个数量级的迭代次数中达到近似纳什均衡。在一个改进的Leduc扑克游戏和Oshi-Zumo上的实验表明，在相同的计算量下，表格XDO比CFR具有更低的可利用性。我们还发现，NXDO优于PSRO和NFSP的顺序多维连续动作游戏。NXDO是第一个可以在高维连续动作序列游戏中找到近似纳什均衡的深度RL方法。实验代码可在www.example.com获得。
2022-01-28 cs.AI cs.GT cs.LG
No-Regret Learning Dynamics for Extensive-Form Correlated Equilibrium
Politecnico di Milano（米兰理工大学）；Carnegie Mellon University（卡内基梅隆大学）
在规范型博弈中，简单的、解耦的无悔动力学收敛到相关均衡的存在是多智能体系统理论中的一个著名结果。具体来说，20多年前就已经知道，当所有参与者在重复的正态形式博弈中寻求最小化他们的内部遗憾时，经验的博弈频率收敛到正态形式相关均衡。可拓形式（也就是树形）博弈通过对连续和同时移动以及私有信息进行建模来推广正规形式博弈。由于博弈中的序列性质和部分信息的存在，广义形式的相关性与正规形式的相关性有显着不同的性质，其中许多仍然是开放的研究方向。扩展形式相关均衡（EFCE）是规范形式相关均衡的自然扩展形式对应。然而，目前尚不清楚EFCE是否是由于解偶联剂动力学而出现的。在本文中，我们给出了第一个非耦合的无悔动力学收敛到集的EFCE在$n$ -播放器一般和扩展形式的游戏，完美的回忆。首先，我们引入了一个概念的触发遗憾的扩展形式的游戏，扩展了正常形式的游戏中的内部遗憾。当每个玩家都有低触发后悔时，经验的游戏频率接近EFCE。然后，我们给出了一个有效的无触发后悔算法。该算法将触发后悔问题分解为局中人在每个决策点的局部子问题，并由每个决策点的局部解构造局中人的全局策略。
2022-09-02 cs.AI cs.GT cs.LG
From rules to runs: A dynamic epistemic take on imperfect information games
Peking University（北京大学）
在博弈论的文献中，对广义博弈的信息集有不同的解释，这可能导致混乱和悖论的情况。我们认为，问题在于混淆了两种解释的广泛形式的游戏结构：游戏规则或游戏运行并不总是一致的。在本文中，我们试图分离和连接这两种观点，提出了一个动态的认知框架，我们可以计算运行一步一步从游戏规则加上给定的假设的球员。我们提出了一种模态逻辑来描述博弈者的知识及其在博弈过程中的变化，并提供了一个完整的公理化。我们还表明，在一定条件下，混合的规则和运行是无害的，由于两者的结构相似性。
2015-12-07 cs.AI cs.GT cs.LO
A Policy-Gradient Approach to Solving Imperfect-Information Games with Best-Iterate Convergence
本文首次证明策略梯度方法在两人零和不完美信息扩展式博弈中可实现最佳迭代收敛到正则化纳什均衡，为策略梯度在博弈论中的应用奠定理论基础。
2025-07-09 cs.AI cs.GT cs.LG
Near-Optimal Learning of Extensive-Form Games with Imperfect Information
Salesforce Research（Salesforce研究院）；Princeton University（普林斯顿大学）；UC Berkeley（加州大学伯克利分校）；MIT（麻省理工学院）
本文解决了不完全信息扩展型博弈的近似最优学习问题，提出两种新算法将样本复杂度降低至匹配信息论下界，并将结果扩展至多人一般和博弈。
2023-04-03 cs.AI cs.GT cs.LG
Learning in Multi-Player Stochastic Games
Columbia University（哥伦比亚大学）
本文研究了有限时间内多局中人随机博弈中的同时学习问题。虽然随机博弈的典型目标解是一个纳什均衡，但这对许多参与者来说是难以解决的。相反，我们专注于{ \it相关均衡}的变体，如那些广泛的形式的游戏研究。我们从对抗性MDP问题的一个困难结果开始：即使对于3的视野，获得对最佳非平稳策略的次线性遗憾也是\textsf{NP} -当奖励和过渡都是对抗性的时。这意味着，收敛到最弱的自然解概念-正规形式的粗相关equilibrium-是不可能的，通过黑盒减少到一个没有遗憾的算法，即使在随机游戏与恒定的地平线（除非$\textsf{NP}\subseteq\textsf{BPP}$）。相反，我们转向一个不同的目标：当所有参与者使用这些算法时，{ \it生成}一个均衡。我们的主要结果是算法产生的{ \it extensive-form}相关的平衡，其运行时间是指数的地平线，但多项式的所有其他参数。我们给出了一个类似的算法，这是多项式的所有参数的“快速混合”随机游戏。我们还展示了一种方法，有效地达到正常形式的粗相关平衡的“单控制器”随机游戏，遵循传统的无悔的方法。当共享的随机性是可用的，这两个生成算法可以扩展到同时遗憾界和收敛在传统意义上。
2022-10-25 cs.AI cs.GT cs.LG
Toward a Dynamic Stackelberg Game-Theoretic Framework for Agentic AI Defense Against LLM Jailbreaking
Department of Electrical and Computer Engineering（电气与计算机工程系）
本文提出动态Stackelberg博弈框架，用于代理AI防御对抗大语言模型劫持，通过RRT搜索和博弈树分析提升防御效果。
2026-03-02 cs.AI
Degrees of individual and groupwise backward and forward responsibility in extensive-form games with ambiguity, and their application to social choice problems
Potsdam Institute for Climate Impact Research（波茨坦气候影响研究所）；Free University Berlin（柏林自由大学）
许多现实世界中与伦理相关的情况，特别是那些大规模的社会选择，如减缓气候变化，不仅涉及许多代理人的决定以复杂的方式相互作用，而且还涉及各种形式的不确定性，包括可量化的风险和不可量化的模糊性。在这些问题中，评估个人和群体对道德上不受欢迎的结果的道德责任或他们避免这种结果的责任是具有挑战性的，并且容易产生责任确定不足或过度的风险。在现有的方法的基础上严格的因果关系或某些道义逻辑，专注于一个二元分类的“负责任”与“不负责”，我们在这里提出了几个不同的定量责任度量，评估责任程度的概率单位。为此，我们使用一个框架的基础上的一个适应版本的广泛形式的博弈树和公理的方法，指定了一些潜在的理想属性，这样的指标，然后测试开发的候选指标，他们的应用到一些典型的社会选择的情况。我们发现，虽然人们可能希望此类责任指标的大多数属性都可以通过某种变体来实现，但尚未找到明显优于其他指标的最佳指标。
2020-07-09 cs.AI econ.TH
Computing Evolutionarily Stable Strategies in Imperfect-Information Games
Ganzfried Research, Cornell University（甘兹弗里德研究，康奈尔大学）
提出一种算法计算对称完美回忆不完全信息扩展式博弈中的进化稳定策略，适用于两人及多人博弈，能处理退化与非退化情形，并具有任意时间特性。
2026-07-21 cs.AI cs.GT cs.MA
Polynomial-Time Computation of Optimal Correlated Equilibria in Two-Player Extensive-Form Games with Public Chance Moves and Beyond
Carnegie Mellon University（卡内基梅隆大学）；Strategy Robot, Inc.（Strategy Robot 公司）；Strategic Machine, Inc.（Strategic Machine 公司）；Optimized Markets, Inc.（Optimized Markets 公司）
与正规形式博弈不同，相关均衡已经被研究了45年以上，扩展形式相关性仍然没有得到很好的理解。造成这种差距的部分原因是，广泛形式游戏的连续性允许丰富的行为和激励，这在正常形式设置中是不可能的。这种丰富性转化为一个显着不同的复杂性景观周围的广泛形式的相关均衡。到目前为止，已知的是，在两个玩家的扩展形式博弈中找到最优扩展形式相关均衡（EFCE）、扩展形式粗略相关均衡（EFCCE）或正规形式粗略相关均衡（NFCCE）在博弈不包括机会移动时在计算上是易处理的，而在博弈包括机会移动时是难处理的。在本文中，我们显着细化这一复杂性阈值表明，在两个球员的游戏，最佳相关的平衡可以在多项式时间计算，只要满足一定的条件。我们表明，该条件成立，例如，当所有的机会移动是公开的，也就是说，双方球员观察所有的机会移动。这意味着，最佳的EFCE，EFCCE和NFCCE可以在多项式时间内计算的游戏规模在两个球员的游戏与公共机会移动，提供了最大的正复杂性结果周围的广泛形式的相关性在十多年。
2020-09-09 cs.AI cs.GT
Convergence analysis and acceleration of the smoothing methods for solving extensive-form games
近年来，广泛形式的博弈得到了大量的研究。它可以表示具有多个决策点和不完全信息的游戏，因此它有助于制定具有不确定输入的游戏，如扑克。我们考虑一个扩展形式的游戏与两个球员和零和，即，他们的收益之和总是零在这种博弈中，寻找最优策略的问题可以表述为双线性鞍点问题。这个公式根据游戏的大小而变大，因为它有代表每个玩家在所有决策点的策略的变量。为了解决这类大规模的双线性鞍点问题，研究了一种光滑化方法--过量间隙技术。该方法生成一系列近似解，其误差保证收敛于$\mathcal{O}(1/k)$，其中$k$是迭代次数。然而，它的缺点是与游戏大小相关的误差的理论界限很差。这使得它不适用于大型游戏。我们的目标是改进光滑化方法，使其能够应用于大规模的游戏解决广泛的形式的游戏。为此，我们在这项工作中做出了两个贡献。首先，我们稍微修改了平滑方法中使用的强凸函数，以提高与游戏大小相关的理论界。其次，我们提出了一个启发式称为中心技巧，它允许平滑方法与其他方法相结合，从而加快在实践中的收敛。因此，我们将EGT与CFR+相结合，CFR+是一种最先进的扩展形式游戏方法，可以在传统平滑方法表现不佳的游戏中实现良好的性能。所提出的平滑方法被证明有潜力解决大型游戏在实践中。
2023-03-20 cs.AI cs.GT
Computational Results for Extensive-Form Adversarial Team Games
Politecnico di Milano（米兰理工大学）
据我们所知，我们提供了第一个广泛形式的对抗性团队游戏的计算研究。这些游戏是连续的零和游戏，其中一组玩家共享相同的效用函数，面对对手。我们根据团队的沟通能力定义了三种不同的场景。在第一种情况下，队友可以在比赛前和比赛中沟通和联系他们的行动。在第二种情况下，他们只能在演出前交流。在第三种情况下，根本不可能进行通信。我们定义了最合适的解决方案的概念，我们研究了部分或空通信所造成的低效率，表明低效率可以是任意大的游戏树的大小。此外，我们研究了上述三种情况下的均衡寻找问题的计算复杂性，并为每种情况提供了一个精确的算法。最后，我们经验性地评估了算法在随机游戏中的可扩展性以及部分或零通信所造成的效率低下。
2017-11-18 cs.AI cs.GT
Theoretical and Practical Advances on Smoothing for Extensive-Form Games
Carnegie Mellon University（卡内基梅隆大学）；University of Alberta（阿尔伯塔大学）
稀疏迭代法，特别是一阶方法，被认为是解决大规模两人零和扩展形式博弈最有效的方法之一。这些方法的收敛速度在很大程度上取决于距离生成函数的性质，他们是basedon. We调查的加速一阶方法解决扩展形式的游戏通过更好的设计的扩张熵函数-一类距离生成函数相关的域与扩展形式的游戏。通过引入一个新的加权方案的扩张熵函数，我们开发的第一个距离生成函数的战略空间的序列游戏，没有依赖于分支因子的球员。这一结果提高了收敛速度的几个一阶方法的一个因素的$Ω(b^dd)$，其中$b$是分支因子的球员，和$d$是深度的游戏树。到目前为止，反事实遗憾最小化方法在实践中更快，更受欢迎，比一阶方法，尽管他们的理论上的收敛速度较低。使用我们的新的加权方案和实际调整，我们表明，第一次，过度的差距技术可以更快地比最快的反事实遗憾最小化算法，CFR+，在实践中。
2017-05-09 cs.AI cs.GT
No-Regret Learning in Extensive-Form Games with Imperfect Recall
University of Alberta（阿尔伯塔大学）
反事实遗憾最小化（CFR）是一种有效的无遗憾学习算法，用于决策问题建模为广泛的游戏。CFR的后悔界限取决于完美回忆的要求：玩家总是记得透露给他们的信息以及信息透露的顺序。然而，在没有完美回忆的游戏中，CFR的保证不适用。在本文中，我们提出了第一个遗憾时，适用于一般类的游戏不完美的回忆CFR界。此外，我们表明，CFR适用于任何抽象属于我们的一般类的结果，不仅为抽象的游戏，但对于完整的游戏以及遗憾界。我们验证了我们的理论，并展示了如何不完美的回忆可以用来交易一个小的增加，在三个领域的记忆显着减少遗憾：骰子卷扑克，幻影井字游戏，虚张声势。
2012-05-03 cs.AI cs.GT
Efficient Deviation Types and Learning for Hindsight Rationality in Extensive-Form Games: Corrections
后见之明理性（英语：Hindsight rationality）是一种玩一般和游戏的方法，它规定了个体代理关于一组偏差的无遗憾学习动态，并进一步描述了多个代理之间的联合理性行为。为了在顺序决策环境中发展后见之明的理性学习，我们将行为偏差形式化为尊重扩展形式游戏结构的一般偏差类。将时间选择的思想集成到反事实遗憾最小化（CFR）中，我们引入了扩展形式的遗憾最小化（EFR）算法，该算法可以对任何给定的行为偏差集实现事后理性，其计算与集合的复杂性密切相关。我们确定的行为偏差子集，部分序列偏差类型，subtermons先前研究的类型，并导致有效的EFR实例中的游戏具有中等长度。此外，我们提出了一个彻底的实证分析EFR实例化与不同的偏差类型在基准游戏中，我们发现，较强的类型通常会导致更好的性能。
2022-06-01 cs.AI cs.GT
Efficient Deviation Types and Learning for Hindsight Rationality in Extensive-Form Games
University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute（阿尔伯塔机器智能研究所）；Université de Montréal（蒙特利尔大学）；Mila（米拉研究所）；DeepMind（深度思维）；Brown University（布朗大学）
后见之明理性（英语：Hindsight rationality）是一种玩一般和游戏的方法，它规定了个体代理关于一组偏差的无遗憾学习动态，并进一步描述了多个代理之间的联合理性行为。为了在顺序决策环境中发展后见之明的理性学习，我们将行为偏差形式化为尊重扩展形式游戏结构的一般偏差类。将时间选择的思想集成到反事实遗憾最小化（CFR）中，我们引入了扩展形式的遗憾最小化（EFR）算法，该算法可以对任何给定的行为偏差集实现事后理性，其计算与集合的复杂性密切相关。我们确定的行为偏差子集，部分序列偏差类型，subtermons先前研究的类型，并导致有效的EFR实例中的游戏具有中等长度。此外，我们提出了一个彻底的实证分析EFR实例化与不同的偏差类型在基准游戏中，我们发现，较强的类型通常会导致更好的性能。
2022-06-22 cs.AI cs.GT
Safe Search for Stackelberg Equilibria in Extensive-Form Games
Facebook AI Research（脸书人工智能研究院）
Stackelberg均衡是两人博弈中的一个解概念，其中领导者对追随者拥有承诺权。近年来，它已成为许多安全应用的基石，包括机场巡逻和野生动物偷猎预防。尽管这些设置中的许多设置本质上是顺序的，但现有技术提前预先计算整个解决方案。在本文中，我们提出了一个理论上健全和经验有效的方法来应用搜索，它利用额外的在线计算，以改善解决方案，在一般和游戏的Stackelberg平衡的计算。领导者不再试图预先解决整个博弈，而是首先离线计算近似的“蓝图”解决方案，然后针对实际博弈中遇到的特定子博弈在线改进。我们证明了我们的搜索技术保证不会比预先计算的蓝图策略更差，并根据经验证明，与纯离线方法相比，它可以近似解决更大的游戏。我们还表明，我们的搜索操作可以被铸造为一个较小的Stackelberg问题，使我们的方法互补现有的算法的基础上的战略生成。
2021-02-02 cs.AI cs.GT
Double-oracle sampling method for Stackelberg Equilibrium approximation in general-sum extensive-form games
Warsaw Univeristy of Technology（华沙理工大学）
本文提出了一种新的不完全信息和完全回忆一般和序列对策强Stackelberg均衡的近似方法。所提出的方法是通用的，因为它不依赖于任何特定的游戏模型的特定属性。该方法是基于以下两个阶段的迭代交错：（1）引导蒙特卡罗树搜索抽样的追随者的战略空间和（2）建立领导者的行为战略树，抽样追随者的战略是一个最佳的响应。上述解决方案的评估与预期的领导者的效用和时间要求上的三套拦截游戏具有可变的特点，发挥图。与三个国家的最先进的MILP/LP为基础的方法的比较表明，在绝大多数的测试情况下，提出的基于仿真的方法导致最佳的领导者的战略，同时优于竞争力的方法，在更好的时间可扩展性和更低的内存要求。
2019-09-09 cs.AI cs.GT
Computing rational decisions in extensive games with limited foresight
Imperial College London（帝国理工学院）
我们介绍了一类广泛的形式游戏，玩家可能无法预见他们的决定可能产生的后果，并形成一个模型，他们利用对手，以实现更有利可图的结果。我们改进了现有的模型，游戏有限的远见，赋予玩家高阶推理的能力，并提出了一个新的解决方案的概念，以解决来自真实的游戏的直觉。我们分析由此产生的均衡，设计一个有效的程序来计算它们。
2016-05-29 cs.AI cs.GT cs.LO
Solving Large Sequential Games with the Excessive Gap Technique
Carnegie Mellon University（卡内基梅隆大学）
近年来，零和信息扩展型博弈的均衡点求解算法取得了巨大的进展，但理论与实践之间仍存在着令人困惑的差距。一阶方法比任何反事实遗憾最小化（CFR）变体具有更好的理论收敛速度。尽管如此，CFR变体在实践中仍受到青睐。一阶方法的实验只在中小型游戏上进行，因为这些方法在这种环境下实现起来很复杂，而且由于CFR变体已经被广泛增强了十多年，它们在实践中表现良好。在本文中，我们表明，一个特定的一阶方法，一个国家的最先进的变种的过度差距技术-实例化与扩张熵距离函数-可以有效地解决大型现实世界的问题，竞争力与CFR及其变种。我们在Libratus扑克AI遇到的大型残局中展示了这一点，该AI最近在无限制德州扑克中击败了顶级人类扑克专家。我们显示我们的过度间隙技术的变体以及先前的版本的实验结果。我们介绍了一个数值上友好的实现平滑的最佳响应计算与一阶方法的扩展形式的游戏解决。我们目前，据我们所知，第一个GPU实现的一阶方法的扩展形式的游戏。我们提出了几个过度的差距技术和CFR的变种比较。
2018-10-07 cs.AI cs.GT
Coarse Correlation in Extensive-Form Games
Carnegie Mellon University（卡内基梅隆大学）；Politecnico di Milano（米兰理工大学）；Strategic Machine, Inc.（战略机器公司）；Strategy Robot, Inc.（战略机器人公司）；Optimized Markets, Inc.（优化市场公司）
粗糙相关性模型的理性主体的战略相互作用的相关性设备，这是一个中介，可以建议的行为，但不强制执行它。尽管是一个经典的概念，在正常形式的游戏理论超过40年，没有太多的了解粗糙相关性的优点，在广泛的形式设置。在本文中，我们考虑两个实例的想法，粗相关的扩展形式的游戏：规范形式的粗相关均衡（NFCCE），已经在文献中定义，和扩展形式的粗相关均衡（EFCCE），我们介绍的第一次。我们证明了EFCCE是NFCCE的一个子集，也是相关扩展形式相关均衡的一个超集。我们还表明，在两个球员的扩展形式的游戏，社会福利最大化的EFCCE和NFCEEs是双线性鞍点，并给出新的有效算法的特殊情况下的游戏没有机会移动。在我们的实验中，我们提出的NFCCE算法比现有技术快两到四个数量级。
2019-08-26 cs.AI cs.GT cs.MA
LiteEFG: An Efficient Python Library for Solving Extensive-form Games
Massachusetts Institute of Technology（麻省理工学院）；LIDS（林肯实验室）；EECS（电气工程与计算机科学学院）
LiteEFG是一个高效的Python库，通过Python表达计算图并由C++后端执行，实现多人扩展型博弈的快速求解，用户只需定义单节点更新规则即可自动处理整个博弈树结构。
2024-07-29 cs.AI cs.GT cs.LG
Stochastic Regret Minimization in Extensive-Form Games
Carnegie Mellon University（卡内基梅隆大学）；Columbia University（哥伦比亚大学）；Strategic Machine, Inc.（战略机器公司）；Strategy Robot, Inc.（战略机器人公司）；Optimized Markets, Inc.（优化市场公司）
蒙特卡罗反事实后悔最小化算法（MCCFR）是一种最先进的算法，用于解决对于满树遍历来说太大的序列博弈。它通过使用可以通过采样计算的梯度估计来工作。然而，序列博弈的随机方法还没有得到广泛的研究超过MCCFR。在本文中，我们开发了一个用于开发随机后悔最小化方法的新框架。这个框架允许我们使用任何遗憾最小化算法，再加上任何梯度估计。MCCFR算法可以作为我们框架的一个特例进行分析，这种分析导致了更强的收敛性理论，同时得到了一个简化的证明。我们的框架允许我们实例化几个新的随机方法来解决序列游戏。我们在三个游戏上进行了大量的实验，其中我们的方法的一些变体优于MCCFR。
2020-02-19 cs.AI cs.GT cs.LG
Variance Reduction in Monte Carlo Counterfactual Regret Minimization (VR-MCCFR) for Extensive Form Games using Baselines
DeepMind（深度思维）；University of Alberta（阿尔伯塔大学）
从交互样本中学习不完全信息博弈策略是一个具有挑战性的问题。这种情况下的一种常用方法，蒙特卡罗反事实后悔最小化（MCCFR），由于方差很大，长期收敛速度很慢。在本文中，我们介绍了一种方差减少技术（VR-MCCFR），适用于任何采样变量的MCCFR。使用这种技术，每次迭代的估计值和更新被重新制定为采样值和状态动作基线的函数，类似于它们在策略梯度强化学习中的使用。新的公式允许从同一事件中的其他估计中自举估计，沿着采样轨迹传播基线的好处;即使从其他估计中自举，估计仍然是无偏的。最后，我们表明，给定一个完美的基线，值估计的方差可以减少到零。实验结果表明，VR-MCCFR带来了一个数量级的加速，而经验方差减少了三个数量级。降低的方差允许CFR+首次与采样一起使用，将加速提高到两个数量级。
2018-09-09 cs.AI cs.GT
Watermarking Game-Playing Agents in Perfect-Information Extensive-Form Games
Strategic Machine, Inc.（战略机器公司）；Strategy Robot, Inc.（策略机器人公司）；Optimized Markets, Inc.（优化市场公司）
本文研究如何在完美信息扩展型游戏中对策略进行水印，通过调整LLM的KGW水印技术，展示水印检测的统计测试方法，并探讨质量与可检测性之间的权衡。
2026-05-14 cs.AI cs.CR cs.GT
A Generalized Extensive-Form Fictitious Play Algorithm
University of Tennessee（田纳西大学）
提出一种广义扩展式虚拟博弈算法，用于求解两人零和博弈均衡，在存储和计算上优于正规式虚拟博弈，且实现简单直观。
2023-10-14 cs.AI cs.GT
Revisiting Game Representations: The Hidden Costs of Efficiency in Sequential Decision-making Algorithms
Czech Technical University in Prague（捷克技术大学）；Carnegie Mellon University（卡内基梅隆大学）
本文比较扩展式博弈与序贯贝叶斯博弈表示，指出信息状态树虽高效却限制可表示博弈，并揭示现有基准结果可能因测试类别受限而产生偏差。
2023-12-05 cs.AI cs.GT
Online Convex Optimization for Sequential Decision Processes and Extensive-Form Games
Carnegie Mellon University（卡内基梅隆大学）
后悔最小化是求解大规模可拓形式博弈的有力工具。最先进的方法依赖于在每个决策点局部最小化后悔。在这项工作中，我们推导出一个新的框架后悔最小化的顺序决策问题和扩展形式的游戏一般紧凸集在每个决策点和一般凸损失，而不是以前的工作，已为单纯形决策点和线性损失。我们称这个框架为层流后悔分解。它将CFR算法推广到这种更一般的设置。此外，我们的框架，即使在已知的设置，这是来自分解多面体遗憾的角度来看，CFR的新的证明，从而导致可以说是一个更简单的解释算法。我们的推广凸紧集和凸损失，使我们能够开发新的算法的几个问题：正则化的顺序决策，正则化的纳什均衡在扩展形式的游戏，计算近似的扩展形式的完美均衡。我们的推广也导致了第一个遗憾最小化算法计算减少正规型量子响应平衡的基础上，最大限度地减少本地遗憾。实验表明，我们的框架导致的算法，规模的速度可比的最快的变种反事实遗憾最小化计算纳什均衡，因此，我们的方法导致的第一个算法计算量子响应均衡在非常大的游戏。最后，我们表明，我们的框架，使一种新的可扩展的对手剥削的方法。
2018-09-10 cs.AI cs.GT cs.LG
Optimal Private Payoff Manipulation against Commitment in Extensive-form Games
Peking University（北京大学）；Columbia University（哥伦比亚大学）
该研究针对扩展式博弈中领导者依赖追随者收益信息做策略承诺的场景，分析乐观与悲观两类追随者的最优收益操纵行为，刻画可诱导的博弈结果并证明该问题多项式时间可解。
2023-06-13 cs.AI cs.DS cs.GT
Optimal Correlated Equilibria in General-Sum Extensive-Form Games: Fixed-Parameter Algorithms, Hardness, and Two-Sided Column-Generation
Carnegie Mellon University（卡内基梅隆大学）；MIT（麻省理工学院）；Bocconi University（博科尼大学）；Strategy Robot, Inc.（策略机器人公司）；Strategic Machine, Inc（战略机器公司）；Optimized Markets, Inc.（优化市场公司）
研究扩展式博弈中寻找最优相关均衡的问题，提出运行时间仅依赖于博弈信息结构参数的固定参数算法，并证明概念间的复杂度差距，同时引入双边列生成方法改进现有策略优化，实验证明其优于现有技术水平。
2024-10-11 cs.AI cs.GT cs.LG
Efficiently Solving Turn-Taking Stochastic Games with Extensive-Form Correlation
Chinese University of Hong Kong（香港中文大学）；Brown University（布朗大学）；Carnegie Mellon University（卡内基梅隆大学）
研究两人轮流行动随机博弈中的扩展型相关均衡计算，提出计算 SEFCE 的多项式时间算法及近似计算最优 EFCE 的高效算法，突破现有假设限制并首次同时满足近似最优、多对数误差依赖与图形式兼容。
2024-12-22 cs.AI cs.DS cs.GT
ELF: An Extensive, Lightweight and Flexible Research Platform for Real-time Strategy Games
Facebook AI Research（Facebook 人工智能研究院）；Oculus
在本文中，我们提出了ELF，一个广泛的，轻量级的和灵活的基础强化学习研究平台。使用ELF，我们实现了一个高度可定制的实时的【形】策略（RTS）引擎，具有三个游戏环境（迷你RTS，夺旗和塔防）。Mini-RTS作为《星际争霸》的微缩版，能够捕捉关键的游戏动态，并在Macbook Pro笔记本电脑上以每核心40 K帧每秒（FPS）的速度运行。当与现代强化学习方法相结合时，该系统可以在一天内使用6个CPU和1个GPU对内置AI进行端到端的训练完整的游戏机器人。此外，我们的平台是灵活的环境智能体通信拓扑结构，RL方法的选择，游戏参数的变化，并可以托管现有的C/C++为基础的游戏环境，如街机学习环境。使用ELF，我们彻底探索了训练参数，并表明具有Leaky ReLU和批量归一化以及长期训练和渐进课程的网络在Mini-RTS的完整游戏中击败了基于规则的内置AI超过$70\%$。在其他两场比赛中也取得了不错的成绩。在游戏回放中，我们展示了我们的代理学习有趣的策略。ELF及其RL平台在https://github.com/facebookresearch/ELF上开源。
2017-11-10 cs.AI
Faster Algorithms for Optimal Ex-Ante Coordinated Collusive Strategies in Extensive-Form Zero-Sum Games
Carnegie Mellon University（卡内基梅隆大学）；Politecnico di Milano（米兰理工大学）；Strategic Machine, Inc.（战略机器公司）；Strategy Robot, Inc.（战略机器人公司）；Optimized Markets, Inc.（优化市场公司）
我们专注于寻找一个最优策略的问题，一个团队的两个球员，面对一个对手在一个信息零和扩展形式的游戏。队员在比赛中不允许交流，但可以在比赛前协调。在这种情况下，众所周知，团队所能做的最好的事情就是从一个联合（也就是说，每个参与者一个）中抽取一个潜在随机策略的样本。游戏开始时的概率分布。在本文中，我们首先提供了新的建模结果计算这样一个最佳的分布绘制连接到一个不同的文献上的扩展形式的相关性。其次，我们提供了一种算法，该算法通过仅使用其中只有一个团队成员在每个配置文件中随机化的配置文件来计算这样的最优分布。我们还可以限制解决方案中允许的此类配置文件的数量。这通过增加上限产生了一个随时算法。我们发现，往往是少数精心挑选的这样的配置文件足以达到最佳效用的团队。这使团队成员能够通过相对简单和易于理解的计划进行协调。最后，受此观察的启发，并利用我们介绍的理论概念，我们开发了一个有效的列生成算法，为团队找到最佳分布。我们在一套常见的基准游戏上评估它。这是三个数量级的速度比现有的最先进的游戏，后者可以解决，它也可以解决一些游戏，以前无法解决。
2020-09-21 cs.AI cs.GT cs.LG
Solving Large-Scale Extensive-Form Network Security Games via Neural Fictitious Self-Play
Nanyang Technological University（南洋理工大学）；Dartmouth College（达特茅斯学院）
保护网络基础设施在现实世界中非常重要。部署安全资源以防止网络域中的攻击者的问题可以建模为网络安全游戏（NSG）。不幸的是，现有的方法，包括基于深度学习的方法，对于解决大规模的可拓形式的NSG是低效的。在本文中，我们提出了一种新的学习范式，NSG-NFSP，解决大规模的扩展形式的NSG基于神经虚拟自我发挥（NFSP）。我们的主要贡献包括：i）将NFSP中的最佳响应（BR）策略网络改造为从动作-状态对到动作-值的映射，使NSG中的BR计算成为可能; ii）将NFSP代理的平均策略网络转换为基于度量的分类器，帮助代理仅对合法动作而不是所有动作分配分配分布; iii）使NFSP具有高级动作，这可以有益于NSG中的训练效率和稳定性;以及iv）通过学习有效的图节点嵌入来利用NSG的图中包含的信息。我们的算法在可扩展性和解决方案质量方面显着优于最先进的算法。
2021-06-02 cs.AI cs.GT cs.LG
Public Information Representation for Adversarial Team Games
Politecnico di Milano（米兰理工大学）
对抗性团队游戏的特殊性在于游戏过程中团队成员获得的信息不对称，这使得即使在零和收益的情况下也很难计算均衡。文献中的算法采用策略空间的隐式表示，主要采用线性规划和列生成技术来逐步扩大策略空间。这样的表示阻止了标准工具的采用，如抽象生成，博弈求解和子博弈求解，这些工具在解决巨大的现实世界中的两人零和博弈时至关重要。从这些作品中，我们回答了是否有任何合适的游戏表示，使这些工具的采用的问题。特别是，我们的算法转换成一个经典的两人零和游戏的对手的顺序团队游戏。在这个转换的博弈中，团队被转换成一个协调者，他只知道整个团队共同的信息，并为玩家规定任何可能的私人状态的行动。有趣的是，我们表明，我们的游戏比原来的扩展形式的游戏更有表现力，因为任何状态/动作抽象的扩展形式的游戏可以被我们的表示捕捉，而反过来并不成立。由于问题的NP难性质，最终的公共团队博弈可能比原始博弈大。为了限制这种爆炸，我们提供了三个算法，每个算法都返回一个信息无损的抽象，大大减少了树的大小。这些抽象可以在不生成原始游戏树的情况下产生。最后，我们通过对Kuhn和Leduc扑克游戏的实验结果表明了所提出方法的有效性，这些实验结果是通过将最先进的两人零和游戏算法应用于转换后的游戏而获得的
2022-01-25 cs.AI cs.GT cs.MA
CFR-MIX: Solving Imperfect Information Extensive-Form Games with Combinatorial Action Space
Nanyang Technological University（南洋理工大学）；Dartmouth College（达特茅斯学院）
在许多现实世界的场景中，一组代理相互协调，与对手竞争。解决这类博弈的挑战在于，团队的联合行动空间随着智能体的数量呈指数级增长，这导致现有算法的效率低下，例如，反事实遗憾最小化（CFR）。为了解决这个问题，我们提出了一个新的框架CFR：CFR-MIX。首先，我们提出了一个新的策略表示，代表一个联合行动策略，使用个人的所有代理和一致性关系，以保持代理之间的合作。在CFR框架下，为了计算单个策略的均衡，我们将策略之间的一致性关系转化为累积后悔值之间的一致性关系。此外，我们提出了一种新的累积后悔值的分解方法，以保证累积后悔值之间的一致性关系。最后，我们介绍了我们的新算法CFR-MIX，它采用混合层来估计联合行动的累积遗憾值作为个人行动的累积遗憾值的非线性组合。实验结果表明，CFR-MIX算法在各种游戏上的性能明显优于现有算法。
2021-05-18 cs.AI
Function Approximation for Solving Stackelberg Equilibrium in Large Perfect Information Games
School of Computer Science, Carnegie Mellon University（卡内基梅隆大学计算机科学学院）
针对一般和扩展型博弈中缺乏状态价值函数简单对应物的挑战，提出学习可实施收益前沿（EPF）并用神经网络逼近最优 Stackelberg 扩展型相关均衡，首次将函数逼近应用于 Stackelberg 设定，实现了更大规模博弈的扩展并保证了激励相容性与性能。
2023-04-02 cs.AI cs.GT cs.MA
Similarity Measures based on Local Game Trees
Department of Mathematics, Yale University（耶鲁大学数学系）；Department of Computer Science, University of Warwick（华威大学计算机科学系）
我们研究战略相似性的游戏位置在两个球员广泛的游戏的完美信息，通过看他们的本地游戏树的结构，其目的是提高性能的游戏代理在检测强制延续。我们提出了一系列的措施，诱导博弈树，并将它们与国际象棋中的基准问题进行比较，观察到一个有前途的准确性水平匹配陷阱状态。
2019-02-25 cs.AI
Responsibility in Extensive Form Games
University of Southampton（南安普顿大学）
针对多智能体顺序行动场景下现有确保责任定义存在直觉缺陷的问题，本文提出融合两种现有模态的新确保责任定义，证明其与反事实责任不可互定义，并发现引入高阶责任可消除二者的责任缺口。
2023-12-12 cs.AI
Towards Game-Playing AI Benchmarks via Performance Reporting Standards
TH Cologne University（TH Cologne大学）
虽然游戏已被广泛用作评估游戏AI的里程碑，但目前还没有标准化的框架来报告所获得的观察结果。因此，仍然很难对不同的游戏AI算法的优势和劣势得出一般性的结论。在本文中，我们提出了AI游戏性能的报告准则，如果遵循这些准则，可以提供适合于不同AI方法之间无偏比较的信息。我们描述的愿景是基于这些指导方针建立基准和竞赛，以便能够对不同AI算法的行为以及不同游戏构成的挑战类型得出更一般的结论。
2020-07-06 cs.AI
Large Scale Learning of Agent Rationality in Two-Player Zero-Sum Games
Carnegie Mellon University（卡内基梅隆大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）
随着最近的进展，在解决大型，零和广泛的形式的游戏，有越来越多的兴趣在逆问题的推断基本的游戏参数只允许访问代理人的行动。虽然最近的工作提供了一个强大的可区分的端到端学习框架，该框架将游戏求解器嵌入深度学习框架中，允许通过反向传播学习未知的游戏参数，但该框架在应用于有限理性的人类代理和大规模问题时面临重大限制，导致实用性差。在本文中，我们解决这些限制，并提出了一个框架，适用于更实际的设置。首先，为了学习人类智能体在复杂的两人零和游戏中的理性，我们借鉴了决策理论中的著名思想，以获得一个简洁且可解释的智能体行为模型，并推导出端到端学习的求解器和梯度。其次，为了扩展到大型的真实场景，我们提出了一种有效的一阶原始对偶方法，该方法利用了扩展形式游戏的结构，从而大大加快了游戏求解和梯度计算的计算速度。在随机生成的游戏上进行测试时，我们报告了比以前方法多几个数量级的加速。我们还证明了我们的模型在现实世界的一个球员设置和合成数据的有效性。
2019-03-11 cs.AI cs.LG
