On Imperfect Recall in Multi-Agent Influence Diagrams
University of Oxford(牛津大学);Imperial College London(伦敦帝国理工学院)
本文针对不完全回忆下行为策略纳什均衡可能不存在的问题,提出用混合策略和两种相关均衡求解多智能体影响图,并分析其计算复杂度及应用场景。
2023-07-11 cs.AI cs.GT cs.MA
Automated Construction of Bounded-Loss Imperfect-Recall Abstractions in Extensive-Form Games
可拓形式博弈(Extensive-form games,EFG)是一种模拟博弈者之间有限连续互动的博弈模型。代表这些游戏所需的内存量是计算最优策略的算法的主要瓶颈,这些策略的大小对于现实世界的应用程序来说往往是不切实际的。解决内存瓶颈的一种常见方法是使用信息抽象,删除玩家可用的部分信息,从而减少游戏中决策点的数量。然而,现有的信息抽象技术要么是特定的特定领域,它们不提供任何质量保证,或者它们适用于非常小的EFG子类。我们提出了独立于域的抽象方法,用于在扩展形式的游戏中创建不完美的召回抽象,允许在原始游戏中(接近)最优的计算策略。为此,我们介绍了两个新的算法,FPIRA和CFR+IRA,基于虚构的发挥和反事实遗憾最小化。这些算法可以从一个任意的领域特定的,或粗略的可能,原始游戏的抽象。该算法迭代地检测缺失的信息,他们需要计算一个战略的抽象游戏,是(近)在原来的游戏最佳。然后,这些信息又被包含到抽象游戏中。此外,我们的算法能够利用记忆召回抽象,让玩家忘记自己的行动甚至历史。然而,这些算法需要遍历完整的未抽象的博弈树。我们的实验表明,我们的算法可以密切接近纳什均衡的大型游戏使用抽象的信息集的原始游戏只有0.9%。此外,结果表明,随着原始游戏规模的增加,内存节省也会增加。
2020-04-15 cs.GT
Solution Concepts in A-Loss Recall Games: Existence and Computational Complexity
不完美回忆游戏代表动态互动,玩家忘记先前已知的信息,如历史上发挥的行动。不完美回忆游戏的重要性源于允许一个简洁的策略表示相比,完美回忆游戏,玩家记住所有信息。然而,大多数算法的结果是否定的不完美回忆游戏-一个纳什均衡~(NE)不一定存在,计算最佳对策或最大最小策略是NP-难的。我们专注于一个子类的不完美的回忆游戏,称为A-损失回忆游戏,其中的最佳对策可以在多项式时间。我们得到了A-损失回忆对策的新性质,包括(1)A-损失回忆对策中NE存在的充分必要条件,(2)NE和maxmin都需要无理数作为有理输入的例子,(3)寻找maxmin策略和NE策略存在性问题的NP-困难性.
2017-05-24 cs.GT
RL-CFR: Improving Action Abstraction for Imperfect Information Extensive-Form Games with Reinforcement Learning
Tsinghua University(清华大学);IIIS, Tsinghua University(清华大学交叉信息研究院)
针对不完美信息扩展式博弈中固定动作抽象性能次优的问题,提出基于强化学习的RL-CFR方法,通过MDP建模动态动作抽象,结合CFR求解策略,在单挑无限注德州扑克实验中显著优于现有基准模型且不增加求解时间。
2024-03-07 cs.GT cs.LG
Application of the EWL protocol to decision problems with imperfect recall
我们证明了实现的Zerwert-Wilkens-Lewenstein计划是yond正规形式的游戏。我们的研究范围包括决策问题,即,一个玩家广泛的游戏。该研究是基于检查他们的功能时,通过EWL协议进行决策问题。我们证明了酉算子在不完全回忆的决策问题中可以扮演策略的角色。此外,我们证明了酉运营商提供的决策者的可能性,是无法访问的经典策略。
2011-01-19 cs.GT quant-ph
No-Regret Learning in Extensive-Form Games with Imperfect Recall
University of Alberta(阿尔伯塔大学)
反事实遗憾最小化(CFR)是一种有效的无遗憾学习算法,用于决策问题建模为广泛的游戏。CFR的后悔界限取决于完美回忆的要求:玩家总是记得透露给他们的信息以及信息透露的顺序。然而,在没有完美回忆的游戏中,CFR的保证不适用。在本文中,我们提出了第一个遗憾时,适用于一般类的游戏不完美的回忆CFR界。此外,我们表明,CFR适用于任何抽象属于我们的一般类的结果,不仅为抽象的游戏,但对于完整的游戏以及遗憾界。我们验证了我们的理论,并展示了如何不完美的回忆可以用来交易一个小的增加,在三个领域的记忆显着减少遗憾:骰子卷扑克,幻影井字游戏,虚张声势。
2012-05-03 cs.AI cs.GT
Solving Imperfect-Recall Games via Sum-of-Squares Optimization
Singapore University of Technology and Design(新加坡科技设计大学);National University of Singapore(新加坡国立大学);Centre for Quantum Technologies, National University of Singapore(新加坡国立大学量子技术中心);Archimedes Research Unit, Greece(希腊阿基米德研究单元)
针对不完美回忆扩展式博弈(IREFGs),提出平方和(SOS)层次结构以计算单玩家最优策略和多玩家纳什均衡,证明渐近收敛性及在非心不在焉单玩家情况下的有限收敛,并引入SOS-凹和SOS-单调类以实现单SDP求解。
2026-05-24 cs.GT
Imperfect-Recall Games: Equilibrium Concepts and Their Complexity
Carnegie Mellon University(卡内基梅隆大学);Yale University(耶鲁大学);University of Oxford(牛津大学);Strategic Machine, Inc.(战略机器公司);Strategy Robot, Inc.(策略机器人公司);Optimized Markets, Inc.(优化市场公司)
该研究在不完美记忆扩展式博弈框架下,分析了多人场景下纳什、EDT多自我、CDT多自我三类均衡的精确与近似计算复杂度,并探讨了特殊博弈场景与P、PPAD等复杂度类的关联。
2024-06-23 cs.AI cs.CC cs.GT
Decision Making under Imperfect Recall: Algorithms and Benchmarks
Computer Science Dept., Carnegie Mellon University, Pittsburgh, USA(卡内基梅隆大学计算机科学系);Foundations of Cooperative AI Lab (FOCAL)(协作人工智能基础实验室(FOCAL));Strategy Robot, Inc.(策略机器人公司);Strategic Machine, Inc.(战略机器公司);Optimized Markets, Inc.(优化市场公司)
本文提出首个不完美回忆决策问题的基准测试集,并引入后悔匹配算法家族,在大规模约束优化中表现优异。
2026-02-16 cs.AI cs.GT cs.LG
Sequential Equilibrium in Computational Games
我们在计算游戏的背景下研究序列均衡,其中代理人负责计算。在这样的博弈中,智能体可以理性地选择遗忘,因此出现了不完美回忆的问题。在这种情况下,我们考虑两个概念的序列均衡。一种是事前概念,即参与人在博弈开始前选择策略,并致力于此,但选择的方式是即使偏离均衡路径也保持最优;另一种是过渡概念,即参与人可以在每个信息集上重新考虑他是否在做“正确”的事情,如果不是,可以改变他的策略。这两个概念在完美回忆游戏中一致,但在不完美回忆游戏中不一致。虽然过渡概念似乎更吸引人,但\fullv {Halpern和Pass [2011]认为,在不完美回忆的标准游戏中,它存在一些深层次的概念问题。我们发现,概念问题在很大程度上消失在计算环境中。此外,在这种情况下,在自然假设下,这两个概念是一致的。
2014-12-19 cs.GT
When Recall Fails, Discord Remembers: A Quantum Analogue of Kuhn's Theorem
本文证明在不完美回忆的扩展型博弈中,利用非零 discord 的可分量子态局部测量,行为量子策略可替代策略记忆并恢复经典设定中丢失的协调,揭示了量子 discord 是超越经典极限的最小稳健资源。
2025-05-13 cs.GT quant-ph
The Computational Complexity of Single-Player Imperfect-Recall Games
Carnegie Mellon University(卡内基梅隆大学);University of Oxford(牛津大学)
本文研究单人非完美回忆博弈的计算复杂性,将事前最优性、(EDT,GDH)-均衡和(CDT,GT)-均衡对应到多项式最大化问题的不同解概念,证明了前两者的NP-hard性与不可近似性,以及后者的CLS-完全性。
2023-05-28 cs.AI cs.CC cs.GT
Look-ahead Reasoning with a Learned Model in Imperfect Information Games
Artificial Intelligence Center, FEE Czech Technical University in Prague(人工智能中心,布拉格捷克技术大学)
LAMIR算法从不完美信息博弈交互中学习抽象模型,用于测试时向前看推理,使理论严谨的推理在大型博弈中可行,并提升预训练智能体性能。
2025-10-06 cs.AI cs.GT
Games on graphs with a public signal monitoring
我们研究纯纳什均衡在图上的不完美的监测的基础上的公共信号。在这样的游戏中,偏差和对这些偏差负责的玩家可能很难检测和跟踪。我们提出了一个通用的认知游戏的抽象,它方便地允许代表这些偏差的球员的知识,并给出了纳什均衡的特征在抽象的获胜策略。然后,我们使用抽象来开发一些支付函数的算法。
2018-02-26 cs.GT cs.LO
Computing Evolutionarily Stable Strategies in Imperfect-Information Games
Ganzfried Research, Cornell University(甘兹弗里德研究,康奈尔大学)
提出一种算法计算对称完美回忆不完全信息扩展式博弈中的进化稳定策略,适用于两人及多人博弈,能处理退化与非退化情形,并具有任意时间特性。
2026-07-21 cs.AI cs.GT cs.MA
Signal Observation Models and Historical Information Integration in Poker Hand Abstraction
本文提出信号观测有序博弈模型、信号观测抽象及分辨率界,并设计整合历史信息的KrwEmd算法,以弥补扑克手牌抽象的理论与性能缺陷。
2025-01-06 cs.GT
Deep Reinforcement Learning from Self-Play in Imperfect-Information Games
University College London(伦敦大学学院)
许多现实世界的应用程序可以被描述为不完美信息的大规模博弈。为了处理这些具有挑战性的领域,以前的工作集中在计算纳什均衡在手工抽象的领域。在本文中,我们介绍了第一个可扩展的端到端的方法来学习近似纳什均衡没有事先领域的知识。我们的方法结合了虚拟的自我游戏和深度强化学习。当应用于Leduc扑克时,神经虚拟自我游戏(NFSP)接近纳什均衡,而常见的强化学习方法则出现分歧。在极限德州扑克(Limit Texas Holdem)中,NFSP学习了一种策略,该策略接近基于重要领域专业知识的最先进的超人算法的性能。
2016-06-28 cs.AI cs.GT cs.LG
Safe and Nested Subgame Solving for Imperfect-Information Games
Carnegie Mellon University(卡内基梅隆大学)
在无信息博弈中,一个子博弈中的最优策略可能依赖于其他未到达子博弈中的策略。因此,子博弈不能孤立地求解,而必须将整个博弈的策略作为一个整体来考虑,这与完全信息博弈不同。然而,可以先近似整个博弈的解,然后通过求解单个子博弈来改进它。这被称为子博弈求解。我们引入子博弈解决技术,在理论和实践中优于以前的方法。我们还展示了如何调整它们,以及过去的子博弈求解技术,以响应原始动作抽象之外的对手动作;这显着优于现有的最先进的方法,动作翻译。最后,我们表明,子博弈求解可以重复的游戏进展下来的游戏树,导致低得多的可利用性。这些技术是Libratus的关键组成部分,Libratus是第一个在单挑无限制德州扑克中击败顶级人类的AI。
2017-11-16 cs.AI cs.GT
Abstraction Agent
Institute for Interdisciplinary Information Sciences, Tsinghua University(清华大学交叉信息研究院)
本研究提出零样本流程Abstraction Agent,利用LLM从自然语言博弈描述中发现特征并聚类,在HUNL等博弈上降低可利用性、击败基准,还可跨博弈转移,将LLM隐式知识转为下游算法的显式特征。
2026-09-07 cs.AI cs.CL cs.GT
The Value of Recall in Extensive-Form Games
本文提出回忆的价值(VoR)来量化扩展式博弈中完美回忆带来的效用增益,通过机会节点结构和心不在焉程度进行参数化,分析其病态情形、计算复杂度及部分回忆的最优分配,并借助平滑性框架在广泛博弈类中刻画VoR。
2024-12-27 cs.GT
Dominated Actions in Imperfect-Information Games
Ganzfried Research(Ganzfried研究)
本文研究不完全信息博弈中的主导动作,提出一种多项式时间算法判断动作是否被混合策略主导,从而有效缩减博弈树规模,用于纳什均衡计算。
2026-07-22 cs.AI cs.GT cs.MA
Deep Counterfactual Regret Minimization
Facebook AI Research(Facebook人工智能研究院);Carnegie Mellon University(卡内基梅隆大学)
反事实遗憾最小化(CFR)是解决大型非对称信息博弈的主要框架。它通过迭代遍历博弈树收敛到一个均衡。为了处理非常大的游戏,通常在运行CFR之前应用抽象。抽象的游戏是解决与表CFR,其解决方案被映射回完整的游戏。这个过程可能是有问题的,因为抽象的方面通常是手动的和特定于领域的,抽象算法可能会错过游戏的重要战略细微差别,并且存在鸡和蛋的问题,因为确定一个好的抽象需要了解游戏的均衡。本文介绍了深度反事实遗憾最小化,CFR的一种形式,避免了抽象的需要,而是使用深度神经网络近似CFR在整个游戏中的行为。我们表明,深CFR是原则性的,并在大型扑克游戏中取得了很好的表现。这是CFR的第一个非表格变体在大型游戏中获得成功。
2019-05-22 cs.AI cs.GT cs.LG
Policy Abstraction and Nash Refinement in Tree-Exploiting PSRO
Michigan Tech Research Institute(密歇根理工研究所);University of Michigan(密歇根大学)
本文改进 TE-PSRO,以 DRL 隐式策略表示可扩展经验博弈树,并用广义逆向归纳计算 SPE 指导探索,实验证明其较 Nash 均衡更快收敛且资源开销合理。
2025-02-15 cs.AI cs.GT
Fictitious Play in Extensive-Form Games of Imperfect Information
研究不完全信息扩展式博弈中虚构博弈的长期行为,推广Monderer-Shapley收敛结果,并借助惯性和遗忘记忆证明实际博弈路径收敛到纯纳什均衡。
2025-04-25 cs.GT math.OC
Competition and Recall in Selection Problems
我们考虑的问题,其中n个项目到达市场顺序随着时间的推移,两个代理商竞争,以选择最好的可能的项目。当一个代理人选择一个项目时,他离开市场并获得由项目价值给出的回报,该回报由一个随机变量表示,该随机变量遵循一个已知的分布,支持度为[0,1]。我们考虑两个不同的设置这个问题。在第一种情况下,即竞争选择问题,没有召回,代理人观察每个项目的价值,并决定是否接受或拒绝它,在这种情况下,他们不会选择它在未来。在第二种情况下,称为竞争选择问题召回,代理商被允许选择任何可用的项目到达目前为止。对于这些问题中的每一个,我们描述的选择问题作为一个不完美的信息序列博弈和研究的子博弈完美的纳什均衡支付的游戏。我们还研究了博弈均衡的有效性。更具体地说,我们要解决的问题是,与“要么接受,要么放弃”的时尚相比,拥有获得任何可用物品的能力会有多大的好处。为此,我们定义和研究的价格的无政府代价和价格的稳定性的游戏实例之间的比率,在任何可行的策略下,玩家获得的最大收益和最坏和最好的子博弈完美的纳什均衡的收益之和。对于没有召回的情况下,我们证明了,如果有两个代理和两个项目到达顺序随着时间的推移,无论是无政府代价和稳定的价格是上界常数4/3的任何价值分布。更重要的是,我们证明了这个界是紧的。
2022-04-11 cs.GT
Bounds for Approximate Regret-Matching Algorithms
University of Alberta(阿尔伯塔大学)
解决大型非真实信息博弈的一个主要方法是反事实遗憾最小化(CFR)。在CFR中,许多后悔最小化问题组合起来解决这个问题。对于非常大型的游戏,通常需要抽象来使CFR易于处理。抽象通常是手动调整的,可能会删除完整游戏中的重要战略差异并损害性能。函数近似提供了一种自然的解决方案,可以找到好的抽象来近似整个游戏。结合函数逼近的一种常见方法是学习后悔最小化算法所需的输入,允许在许多后悔最小化问题中推广。本文给出了当后悔极小化算法使用估计值而不是真值时的后悔界。这种形式的分析是第一个推广到更大类的$(Φ, f)$ -后悔匹配算法,并包括不同形式的后悔,如交换,内部和外部后悔。我们演示了这些结果如何给一个稍微紧的约束回归后悔匹配(RRM),并提出了一个新的结合回归与对冲的约束。
2019-11-28 cs.GT cs.LG
Learning in Games with Progressive Hiding
Criteo AI Lab(Criteo AI 实验室);Google DeepMind(谷歌DeepMind)
本文提出渐进隐藏算法,平衡学习不完美信息博弈基本机制与信息约束,使反事实遗憾最小化适应非完美回忆博弈,实验显示显著改进。
2025-05-26 cs.GT
A Survey on Game Theory Optimal Poker
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文综述了博弈论最优扑克的研究现状,对比其与剥削性扑克的差异,分析抽象技术、下注模型及Tartanian、Pluribus等成功扑克机器人的策略,并探讨多人博弈的局限及机器学习在未来策略开发中的作用。
2024-01-02 cs.AI cs.GT