Bayesian Poker
Monash University（莫纳什大学）
扑克是测试不确定性下的自动推理的理想工具。不确定性的另一个来源是可用于构建对手心理模型的有限信息，他们的虚张声势，保守，暴露弱点等倾向以及他们的手优势和投注行为之间的关系。所有这些不确定性必须准确地评估和有效地结合任何合理的水平的技能在游戏中要实现，因为良好的决策是高度敏感的这些tasks.We描述我们的贝叶斯扑克程序（BPP），它使用贝叶斯网络来模拟程序扑克手，对手的手和对手的玩行为条件的手，以及在给定获胜概率的情况下控制游戏的投注曲线。与对手的比赛历史被用来提高BPP对他们行为的理解。我们将BPP与以下几种情况进行了实验比较：一个简单的基于规则的系统;一个完全依赖于手牌概率的程序（即，没有对手建模）;与人类玩家。BPP已经证明自己是一个有效的球员对所有这些对手，除了更好的人类。我们也勾勒出一些可能的方式来提高发挥。
2013-01-23 cs.AI cs.GT
Most Important Fundamental Rule of Poker Strategy
Ganzfried Research（甘茨弗里德研究公司）
扑克是一种不完全信息的大型复杂游戏，已被列为人工智能的主要挑战问题。最近有一系列的突破，最终在代理人已经成功地击败了最强大的人类球员在两个球员没有限制德州扑克。最强的代理是基于近似纳什均衡策略的算法，这些算法存储在大量的二进制文件中，人类无法理解。最近的一系列研究探索了从人类可以理解的强博弈论策略中推断知识的方法。当人类是最终决策者时，这将是有用的，并允许人类从大量算法生成的策略中做出更好的决策。使用机器学习的技术，我们发现了一个新的简单的扑克策略的基本规则，导致性能显着改善的最佳先验规则，也可以很容易地应用于人类球员。
2020-02-21 cs.AI cs.GT cs.LG
Beyond Game Theory Optimal: Profit-Maximizing Poker Agents for No-Limit Holdem
KyungHee University（庆熙大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出融合GTO防守基线与实时对手剥削的扑克智能体，并通过CFR类方法验证其在单挑和多人无限注德州扑克中超越GTO、实现利润最大化。
2025-09-28 cs.CL cs.GT
von Neumann and Newman Pokers with Finite Decks
本文利用数值和符号计算研究有限牌堆的 von Neumann 和 Newman 简化扑克，并彻底分析了三人游戏，附带 Maple 实现。
2024-07-23 cs.GT math.CO
Deep Reinforcement Learning from Self-Play in Imperfect-Information Games
University College London（伦敦大学学院）
许多现实世界的应用程序可以被描述为不完美信息的大规模博弈。为了处理这些具有挑战性的领域，以前的工作集中在计算纳什均衡在手工抽象的领域。在本文中，我们介绍了第一个可扩展的端到端的方法来学习近似纳什均衡没有事先领域的知识。我们的方法结合了虚拟的自我游戏和深度强化学习。当应用于Leduc扑克时，神经虚拟自我游戏（NFSP）接近纳什均衡，而常见的强化学习方法则出现分歧。在极限德州扑克（Limit Texas Holdem）中，NFSP学习了一种策略，该策略接近基于重要领域专业知识的最先进的超人算法的性能。
2016-06-28 cs.AI cs.GT cs.LG
Continuous Blackjack: Equilibrium, Deviation and Adaptive Strategy
我们介绍一个经典的扑克游戏二十一点的变种-连续二十一点。我们研究了纳什均衡以及局中人偏离纳什均衡的情形，然后重点研究了一大类适应性策略，得到了一个无模型策略。最后，我们将强化学习技术应用到游戏中，并解决了几个相关的工程挑战。
2022-03-23 cs.GT math.OC
Monte Carlo Continual Resolving for Online Strategy Computation in Imperfect Information Games
在线游戏算法产生高质量的策略，其离线替代方案所需的一小部分内存和计算。连续解析（CR）是最近一种理论上合理的在线游戏方法，已被用于在扑克中超越人类专业人士。然而，该算法的某些部分是扑克特有的，它具有其他不完美信息游戏所不具有的许多特性。我们提出了一个域独立的制定CR适用于任何两个球员的零和扩展形式的游戏，一个抽象的解决算法。我们进一步描述和实现其蒙特卡洛变体（MCCR），它使用蒙特卡洛反事实后悔最小化（MCCFR）作为一个解决方案。我们证明了CR的正确性，并显示了一个$O(T^{-1/2})$依赖MCCR的可利用的计算时间。此外，我们提出了一个实证比较MCCR与增量树建设在线结果抽样和信息集MCTS在几个领域。
2019-03-08 cs.GT
Computing Human-Understandable Strategies
School of Computing and Information Sciences（计算与信息科学学院）；Florida International University（佛罗里达国际大学）
均衡计算的算法通常不试图确保计算出的策略是人类可以理解的。例如，最强的扑克代理的策略被表示为大量的二进制文件。在许多情况下，我们希望计算出人类可以实际实现的策略，人类可能有计算限制，并且可能只能记住已经计算出的策略的少量特征或组件。我们研究的扑克游戏中，私人信息的分布可以是任意的。我们通过随机选择信息概率创建了一个大型的游戏实例和解决方案训练集，并提出了从训练实例中学习的算法，以便在具有未知信息分布的游戏中表现良好。我们能够总结出几个关于扑克策略的新的基本规则，这些规则可以很容易地被人类实施。
2017-02-20 cs.AI cs.GT cs.LG
A Unified View of Large-scale Zero-sum Equilibrium Computation
Carnegie Mellon University（卡内基梅隆大学）
在大型零和扩展形式博弈中计算近似纳什均衡的任务受到了极大的关注，主要是由于年度计算机扑克比赛。在其成立之后，立即出现了两种相互竞争且看似不同的方法-一种是无悔在线学习的应用，另一种是应用于凹凸鞍点公式的复杂梯度方法。从那时起，这两种方法都在相对孤立的情况下发展，一方的进步不会影响另一方。本文通过对这两种观点的剖析，纠正了这一点，并在一定意义上统一了这两种观点。
2014-11-18 cs.AI cs.GT
Robust Deep Monte Carlo Counterfactual Regret Minimization: Addressing Theoretical Risks in Neural Fictitious Self-Play
本文提出鲁棒深度MCCFR框架，通过自适应组件部署提升大规模博弈的对抗性能，实验显示在Kuhn和Leduc扑克中取得显著改进。
2026-01-28 cs.AI cs.GT stat.ML
Variable Bound Tightening for Nash Equilibrium Computation in Multiplayer Imperfect-Information Games
Ganzfried Research, Cornell University（甘茨菲德研究，康奈尔大学）
提出一种通过推导非线性互补问题中松弛变量和乘子变量的有限边界来收紧凸松弛的方法，显著加速多人非完美信息博弈的精确纳什均衡计算。
2026-11-05 cs.AI cs.GT cs.MA
XDO: A Double Oracle Algorithm for Extensive-Form Games
University of California, Irvine（加州大学尔湾分校）；Department of Computer Science（计算机科学系）
策略空间响应预言机（PSRO）是一种用于两人零和博弈的强化学习（RL）算法，已被经验证明可以在大型博弈中找到近似的纳什均衡。虽然PSRO保证收敛到近似的纳什均衡，并可以处理连续的行动，它可能需要一个指数数量的迭代信息状态（infostates）的数量增长。我们提出了扩展形式双预言机（XDO），一个扩展形式的双预言机算法的两个球员零和游戏，是保证收敛到一个近似的纳什均衡线性的信息状态的数量。与PSRO不同，PSRO在游戏的根源混合最佳对策，XDO在每个信息状态混合最佳对策。我们还介绍了神经XDO（NXDO），其中通过深度RL学习最佳响应。在Leduc扑克的表格实验中，我们发现XDO在比PSRO小一个数量级的迭代次数中达到近似纳什均衡。在一个改进的Leduc扑克游戏和Oshi-Zumo上的实验表明，在相同的计算量下，表格XDO比CFR具有更低的可利用性。我们还发现，NXDO优于PSRO和NFSP的顺序多维连续动作游戏。NXDO是第一个可以在高维连续动作序列游戏中找到近似纳什均衡的深度RL方法。实验代码可在www.example.com获得。
2022-01-28 cs.AI cs.GT cs.LG
Safe Opponent Exploitation For Epsilon Equilibrium Strategies
本文提出 prime-safe 对手利用框架，将博弈值重定义为最坏情况收益，使较弱的 epsilon 均衡策略也能在保持博弈论下界保证的同时利用对手。
2023-07-23 cs.GT
Empirical Analysis of Fictitious Play for Nash Equilibrium Computation in Multiplayer Games
Ganzfried Research（甘斯弗里德研究所）
本文实证分析了虚拟博弈在多人博弈中计算纳什均衡的表现，发现其优于遗憾最小化方法，且通过随机初始化多次运行可解决标准版本无法收敛的挑战性问题，提供了首批正面结果。
2024-07-28 cs.AI cs.GT cs.MA
Opponent Modeling in Multiplayer Imperfect-Information Games
Ganzfried Research（甘兹弗里德研究所）
针对多人不完美信息博弈中传统纳什均衡策略忽略对手行为的缺陷，提出一种通过反复交互收集观察的对手建模算法，在三人 Kuhn poker 中显著优于包括精确纳什均衡在内的所有基线智能体。
2024-07-29 cs.AI cs.GT cs.MA
Quadratic Programming Approach for Nash Equilibrium Computation in Multiplayer Imperfect-Information Games
Ganzfried Research（Ganzfried研究）
针对多人非完美信息博弈，提出基于序列形式非线性互补问题的二次约束规划方法，利用非凸二次规划求解器精确计算纳什均衡，在三玩家Kuhn扑克中优于Gambit的logit方法。
2026-07-08 cs.AI cs.GT cs.MA
Meta-Learning in Self-Play Regret Minimization
Charles University Prague（查尔斯大学布拉格）；University of Alberta（阿尔伯塔大学）
本文将离线元学习扩展到更具挑战性的自博弈遗憾最小化设置中，通过在策略选择时整合所有决策状态信息以促进全局通信，在正则形式博弈和河牌扑克子博弈中显著优于现有最先进的遗憾最小化算法。
2025-04-26 cs.GT cs.LG
Sparsified Linear Programming for Zero-Sum Equilibrium Finding
Carnegie Mellon University（卡内基梅隆大学）；Strategic Machine, Inc.（Strategic Machine公司）；Strategy Robot, Inc.（Strategy Robot公司）；Optimized Markets, Inc.（Optimized Markets公司）
在大型零和扩展形式的信息博弈中找到计算均衡，导致了最近的重大人工智能突破。解决这个问题的最快算法是反事实遗憾最小化的新形式[Brown and Sandholm，2019]。在本文中，我们提出了一个完全不同的方法来解决这个问题，这是有竞争力的，往往比现有技术好几个数量级。1994]，但由于LP求解器的内存要求，将其作为LP求解是不可扩展的，LP求解器通常比基于CFR的算法差二次方。我们给出了一个有效的实用算法，因子到两个矩阵的产品，通常是显着稀疏的一个大的回报矩阵。这使我们能够将寻找平衡的问题表示为一个线性规划，其大小仅比CFR差一个对数因子，从而允许线性规划求解器在这样的游戏上运行。通过对扑克残局的实验，我们在实践中首次证明，现代线性规划求解器在解决大型扩展形式游戏时甚至对特定于游戏的CFR现代变体具有竞争力，并且可以用于计算精确解，而不像CFR这样的迭代算法。
2020-06-29 cs.GT cs.LG
Accelerating Nash Equilibrium Convergence in Monte Carlo Settings Through Counterfactual Value Based Fictitious Play
School of Artificial Intelligence and Automation, Huazhong University of Science and Technology（华中科技大学人工智能与自动化学院）
针对多数CFR改进无法用于蒙特卡洛条件的问题，提出MCCFVFP，融合反事实价值与虚拟博弈最优响应，在高比例被占优策略博弈中收敛更快。
2024-10-27 cs.AI cs.GT cs.LG
Guarantees for Self-Play in Multiplayer Games via Polymatrix Decomposability
University of Alberta（阿尔伯塔大学）；Amii（阿尔伯塔机器智能研究所）
本文研究多人博弈中自我博弈的性能保证问题，提出在满足常和多矩阵可分解性和子博弈稳定性条件的博弈中，无外部遗憾自我博弈算法可产生有界脆弱性策略，并通过Leduc扑克实验验证。
2023-11-29 cs.AI cs.GT cs.LG
Empirical Distribution of Equilibrium Play and Its Testing Application
我们表明，在任何$n$ -玩家$m$ -动作规范型博弈中，我们可以通过对任何混合动作均衡进行少量采样来获得近似均衡。我们研究了三种类型的均衡：纳什均衡，相关和粗糙相关。对于其中的每一个，我们得到的样本数量的上限和下限的经验分布所需的采样动作配置文件，以形成一个近似的平衡概率接近一。这些界限意味着，即使在$n$和$m$都很大的博弈中，我们也可以使用少量样本来检验参与者是否按照近似均衡进行博弈。此外，我们的研究结果大大提高了以前已知的上界的支持大小的近似均衡在游戏中有许多球员。特别是，对于所有的三种类型的平衡，我们证明了存在的近似平衡与支持大小polylogarian在$n$和$m$，而以前最有名的上限是多项式在$n$。
2014-10-20 cs.GT
Continual Depth-limited Responses for Computing Counter-strategies in Sequential Games
本文提出将有限前瞻求解与对手模型结合的方法，在大规模不完美信息博弈中近似最佳响应或计算鲁棒性可控的响应，并解决了鲁棒响应与有限前瞻求解不兼容的问题，实验表现优于现有方法。
2024-04-03 cs.GT
Zero-Sum Fictitious Play Cannot Converge to a Point
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文证明在零和博弈中，当均衡集非单点且包含完全混合策略时，虚拟博弈的实证策略无法收敛到任何均衡点，除非初始在均衡集内。
2026-06-15 cs.GT
Extensive-Form Perfect Equilibrium Computation in Two-Player Games
研究了2人博弈中的可拓形式完美均衡（EFPE）的计算问题。这个均衡概念细化了纳什均衡，需要相对于相对于时间的弹性。一个特定的消失扰动（代表每个决策节点上参与者的错误）。科学上的挑战是EFPE定义所固有的：它需要对代理形式进行扰动，但由于存在高度非线性约束，代理形式在计算上效率低下。我们表明，序列形式可以利用在一个非平凡的方式，并为一般和游戏，找到一个EFPE是相当于解决一个适当扰动的线性互补问题。我们证明Lemke的算法可以应用，显示计算EFPE是$\textsf{PPAD}$ -完全的。在著名的零和博弈的情况下，问题是在$\textsf{FP}$中，可以通过线性规划来解决。我们的算法还允许一个人找到一个纳什均衡时，玩家不能完美地控制他们的动作，受到一个给定的执行不确定性，是在最现实的物理设置的情况下。
2016-11-15 cs.GT
Beyond Nash Equilibrium: Achieving Bayesian Perfect Equilibrium with Belief Update Fictitious Play
本文提出信念更新虚拟博弈（BUFP），通过融合虚拟博弈与信念更新并调节迭代步长，在不完全信息扩展式博弈中同时实现纳什均衡和贝叶斯完美均衡，实验表明其在被支配策略场景下收益较传统CFR提升48.53%。
2024-09-04 cs.GT
A bi-convex optimization problem to compute Nash equilibrium in n-player games and an algorithm
在本文中，我们提出了双凸目标函数和线性约束的优化问题，使得优化问题的全局极小值集是相同的一个n人一般和范式对策的纳什均衡集。我们进一步表明，目标函数是一个不变凸函数，并考虑投影梯度下降算法。我们证明了投影梯度下降方案收敛到目标函数的部分最优。我们还提出了某些测试案例的仿真结果显示收敛到一个纳什均衡策略。
2015-04-26 cs.GT
Mastering the Game of No-Press Diplomacy via Human-Regularized Reinforcement Learning and Planning
Meta AI；MIT（麻省理工学院）
No-press Diplomacy是一个复杂的策略游戏，涉及合作和竞争，是多智能体AI研究的基准。虽然自我游戏强化学习在国际象棋、围棋和扑克等纯粹的对抗性游戏中取得了许多成功，但在涉及与人类合作的领域中，自我游戏本身并不足以实现最佳性能。我们首先引入了一个规划算法，我们称之为DiL-piKL，规范化的奖励最大化的政策对人类模仿学习的政策，以解决这个缺点。我们证明了这是一个修正效用函数下的无遗憾学习算法。然后，我们表明，DiL-piKL可以扩展到一个自我发挥的强化学习算法，我们称之为RL-DiL-piKL，它提供了一个模型的人类发挥，同时训练代理，以及响应这个人类模型。我们用RL-DiL-piKL训练了一个我们叫梁龙的特工在一场200局的无媒体外交比赛中，62名人类参与者的技能水平从初学者到专家，两名梁龙代理人的平均得分都高于所有其他参与者，他们玩了两局以上，根据Elo评级模型排名第一和第三。
2022-10-11 cs.AI cs.GT cs.LG
Projected Exploitability Descent for Nash Equilibrium Computation in Multiplayer Imperfect-Information Games
提出投影可利用性下降（PED）算法，通过最小化多人广义可利用性函数来近似纳什均衡，在三人Kuhn扑克上表现稳定，并与FP和CFR对比，提出混合算法FP-PED。
2026-06-28 cs.AI cs.GT cs.MA
Self-confirming Games: Unawareness, Discovery, and Equilibrium
文献中无意识游戏的均衡概念不能被解释为学习过程的稳态，因为玩家可能会在游戏中发现新的动作。从这个意义上说，许多无意识的游戏是“自我毁灭”的，因为玩家在玩过一次游戏后，对游戏的表征必须改变。我们定义的发现过程中，在每一个状态有一个广泛的形式的游戏与无意识，与球员的发挥决定了过渡到可能的另一个广泛的形式的游戏与无意识中，球员现在知道的行动，他们以前发现。如果参与者在无意识的情况下在每一场博弈中采取了广泛形式的合理化策略，那么发现过程就是合理化的。我们表明，对于任何无意识的游戏有一个合理化的发现过程，导致一个自我确认的游戏，拥有一个广泛的形式合理化的自我确认的均衡。这种平衡的概念可以被解释为学习和发现过程的稳态。
2017-07-27 cs.GT cs.MA
Black-Box Strategies and Equilibrium for Games with Cumulative Prospect Theoretic Players
偏好关系的介数性质表明，两种彩票的概率混合应该优先位于它们之间。它是独立性的一种弱化形式，因而满足于期望效用理论。实验违反介数是有据可查的，一些偏好理论，特别是累积前景理论（CPT），不满足介数。我们证明了CPT偏好满足介数当且仅当它们符合EUT偏好。在博弈论中，由于参与者的偏好关系中缺乏中介性，因此有必要区分参与者对混合行动的两种解释--参与者有意识的随机化和对手信念的不确定性。我们详细阐述了这一区别，并研究其含义的定义纳什均衡。这导致了四种不同的均衡概念，其中两种是纯行动和混合行动的纳什均衡。另外两种策略分别称为纯黑箱策略和混合黑箱策略的纳什均衡。我们解决了这样的均衡存在的问题，并研究这些不同的均衡概念如何相互比较。
2020-04-20 cs.GT econ.TH
Data-Augmented Game Starts for Accelerating Self-Play Exploration in Imperfect Information Games
本文提出数据增强游戏起始策略，通过离线数据采样加速策略梯度方法在不完全信息游戏中的探索，降低可利用性并提高策略效果。
2026-05-14 cs.AI cs.GT cs.LG
Offline Fictitious Self-Play for Competitive Games
本文提出OFF-FSP，首个用于竞争性游戏的实用无模型离线强化学习算法，通过重要性采样模拟对手交互并结合虚构自我对弈约束分布外动作，以逼近纳什均衡，实验证明其利用性显著低于现有基线。
2025-10-14 cs.AI cs.GT cs.LG
Deep Fictitious Play for Finding Markovian Nash Equilibrium in Multi-Agent Games
Princeton University（普林斯顿大学）；Columbia University（哥伦比亚大学）
我们提出了一种基于深度神经网络的算法来识别一般大型$N$ -玩家随机微分对策的马尔可夫纳什均衡。根据虚拟游戏的思想，我们将$N$ -玩家游戏转换为$N$解耦的判定问题（每个玩家一个）并迭代求解。个人判定问题的特点是一个半线性Hamilton-Jacobi-Bellman方程，我们采用最近发展的深度Boundary方法来解决。由此产生的算法可以解决大型$N$玩家的游戏，传统的数值方法将遭受灾难的维数。多个数值例子涉及相同或异构代理，风险中性或风险敏感的目标，进行测试，以验证所提出的算法在大型群体游戏的准确性。即使是一个50人的游戏存在共同的噪音，该算法仍然找到近似的纳什均衡准确，这是据我们所知，很难实现的其他数值算法。
2020-06-05 cs.GT cs.LG math.OC
