Self-Play Reinforcement Learning under Imperfect Information in Big 2
University of Pennsylvania(宾夕法尼亚大学)
本文提出一个自我对弈强化学习框架,在四人不完全信息纸牌游戏Big 2中比较策略梯度和值近似方法,发现PPO优于其他方法,并证明中等熵正则化和当前策略自我对弈的有效性。
2026-06-28 cs.AI cs.LG
DouZero+: Improving DouDizhu AI by Opponent Modeling and Coach-guided Learning
University of Science and Technology of China(中国科学技术大学);Institute of Artificial Intelligence, Hefei Comprehensive National Science Center(合肥综合性国家科学中心人工智能研究院)
近年来,深度强化学习(DRL)在各种完全和不完全信息博弈中取得了重大突破。在这些博弈中,中国流行的纸牌游戏斗地主由于信息不完全、状态空间大、协作元素多以及回合间可能的大量移动而极具挑战性。最近,一个名为DouZero的DouDizhu AI系统被提出。DouZero使用传统的蒙特卡洛方法与深度神经网络和自我游戏程序进行训练,而无需提取人类先验知识,DouZero的性能优于所有现有的DouDizhu AI程序。在这项工作中,我们建议通过将对手建模引入DouZero来增强DouZero。此外,我们还提出了一种新的教练网络,以进一步提高DouZero的性能并加快其训练过程。通过将上述两项技术集成到DouZero中,我们的DouDizhu AI系统实现了更好的性能,并在包括DouZero在内的400多个人工智能智能体中排名Botzone排行榜首位。
2022-04-06 cs.AI cs.LG
Depth-Limited Solving for Imperfect-Information Games
Computer Science Department(计算机科学系);Carnegie Mellon University(卡内基梅隆大学)
信息博弈的一个基本挑战是,国家没有明确的价值观。因此,在单智能体设置和完全信息博弈中使用的深度受限搜索算法不适用。本文介绍了一种原则性的方法来进行深度有限的解决方案,在深度有限的信息游戏中,允许对手选择的策略,为游戏的剩余部分。这些策略中的每一个都会导致叶节点的一组不同的值。这迫使代理对对手可能采用的不同策略具有鲁棒性。我们证明了这种方法的有效性,通过建立一个大师级的抬头无限制德州扑克AI,击败了两个以前的顶级代理,只使用一个4核CPU和16 GB的内存。开发如此强大的代理商之前需要一台超级计算机。
2018-05-21 cs.AI cs.GT cs.MA
Limited Lookahead in Imperfect-Information Games
IEOR Department(IEOR系);Columbia University(哥伦比亚大学);Carnegie Mellon University(卡内基梅隆大学);Strategy Robot, Inc.(Strategy Robot公司);Strategic Machine, Inc.(Strategic Machine公司);Optimized Markets, Inc.(Optimized Markets公司);New York City, NY, USA((城市地址,非机构));Pittsburgh, PA, USA((城市地址,非机构));Computer Science Department(计算机科学系)
在完全信息博弈中,有限前瞻已经被研究了几十年。我们发起了一个新的方向,通过两个同时偏离点:推广到信息博弈和博弈论的方法。我们研究的是面对一个前瞻性有限的对手时应该如何行动。我们研究这一点的对手,不同的基础上,他们的前瞻深度,根据他们是否也有不完美的信息,并根据他们如何打破关系。我们的特点的硬度找到一个纳什均衡或最佳的承诺策略,为任何一个球员,表明在这些变化的问题可以解决在多项式时间,而在其他PPAD难,NP难,或不可逼近。我们继续设计算法计算最佳承诺战略-当对手打破领带有利,根据一个固定的规则,或adversarially。然后,我们实验研究有限的前瞻的影响。有限前瞻的球员往往获得游戏的价值,如果她知道的期望值的节点在博弈树的一些均衡-但我们证明这是不够的。最后,我们研究了这些估计和不同的前瞻深度的噪声的影响。
2020-03-19 cs.AI cs.GT cs.MA
Valet: A Standardized Testbed of Traditional Imperfect-Information Card Games
Hendrix College(亨利克斯学院);ICTEAM, UCLouvain(ICTEAM,乌斯特大学)
Valet是一个包含21种传统不完全信息卡牌游戏的标准化测试平台,通过编码规则和实证分析为AI算法提供基准测试环境。
2026-03-03 cs.AI
Monte Carlo Neural Fictitious Self-Play: Approach to Approximate Nash equilibrium of Imperfect-Information Games
Zhejiang University(浙江大学)
人工智能的研究人员已经在大规模完全信息博弈中实现了人类水平的智能,但在大规模完全信息博弈(即战争游戏、足球教练或商业策略)中实现(接近)最优结果(换句话说,近似纳什均衡)仍然是一个挑战。神经虚拟自博弈(NFSP)是一种在没有先验领域知识的情况下,从自博弈中学习多信息博弈近似纳什均衡的有效算法。但它依赖于Deep Q-网络,Deep Q-网络是离线的,在对手策略不断变化的网络游戏中很难收敛,因此在搜索规模大、搜索深度深的游戏中无法逼近近似纳什均衡。本文提出了一种蒙特卡罗神经虚拟自博弈算法(MC-NFSP),它将蒙特卡罗树搜索与NFSP相结合,极大地提高了大规模零和信息博弈的性能。实验表明,提出的Monte Carlo神经虚拟自玩可以收敛到近似纳什均衡的游戏与大规模的搜索深度,而神经虚拟自玩不能。此外,我们开发了异步神经虚拟自我游戏(ANFSP)。它采用异步和并行架构来收集游戏经验。在实验中,我们表明,并行演员学习者有进一步的加速和稳定的效果训练。
2019-04-06 cs.AI
Beyond Tracking or Shortcut: Composition-Bounded Predictive States in Poker Autoregressive Models
研究无范围限注德州扑克自回归模型中隐藏状态探测的模糊性,发现对手范围探测在部分种子中呈阳性,行为头预测有提升。可见投注组合比残余隐藏状态解释更多对手范围信号,提出组合受限的预测支持,强调信念探测需经替代方案解释。
2026-07-23 cs.AI
SAGE: Structured Strategic Reasoning for Efficient LLM Game Playing
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Johns Hopkins University(约翰斯·霍普金斯大学);Microsoft(微软);Fudan University(复旦大学);University of Science and Technology of China(中国科学技术大学)
SAGE是一个无需训练的推理时框架,通过锚定、适应和重新校准三个操作结构化LLM策略推理,在多个不完美信息博弈中显著提升收益并减少令牌使用。
2026-10-15 cs.AI
Combining Tree-Search, Generative Models, and Nash Bargaining Concepts in Game-Theoretic Reinforcement Learning
Google DeepMind(谷歌DeepMind);University of Waterloo(滑铁卢大学);University of Michigan(密歇根大学)
本文提出基于深度博弈论强化学习的多智能体训练框架,通过生成最佳响应算法GenBR和纳什谈判理论构建对手混合策略,提升在不完全信息域中的对手建模能力。
2026-04-05 cs.AI cs.GT cs.LG
CFR-MIX: Solving Imperfect Information Extensive-Form Games with Combinatorial Action Space
Nanyang Technological University(南洋理工大学);Dartmouth College(达特茅斯学院)
在许多现实世界的场景中,一组代理相互协调,与对手竞争。解决这类博弈的挑战在于,团队的联合行动空间随着智能体的数量呈指数级增长,这导致现有算法的效率低下,例如,反事实遗憾最小化(CFR)。为了解决这个问题,我们提出了一个新的框架CFR:CFR-MIX。首先,我们提出了一个新的策略表示,代表一个联合行动策略,使用个人的所有代理和一致性关系,以保持代理之间的合作。在CFR框架下,为了计算单个策略的均衡,我们将策略之间的一致性关系转化为累积后悔值之间的一致性关系。此外,我们提出了一种新的累积后悔值的分解方法,以保证累积后悔值之间的一致性关系。最后,我们介绍了我们的新算法CFR-MIX,它采用混合层来估计联合行动的累积遗憾值作为个人行动的累积遗憾值的非线性组合。实验结果表明,CFR-MIX算法在各种游戏上的性能明显优于现有算法。
2021-05-18 cs.AI
Successful Nash Equilibrium Agent for a 3-Player Imperfect-Information Game
Ganzfried Research(甘茨弗里德研究公司);Florida International University(佛罗里达国际大学)
为超过两个玩家的游戏创建强大的代理是AI中的一个主要开放问题。常见的方法是基于近似博弈论的解决方案的概念,如纳什均衡,这在两个玩家的零和游戏有很强的理论保证,但在非零和游戏或游戏中有两个以上的球员没有保证。我们描述了一个代理,能够击败各种现实的对手,使用一个确切的纳什均衡策略中的3人信息博弈。这表明,尽管缺乏理论保证,但基于纳什均衡策略的代理人毕竟可以在多人游戏中取得成功。
2018-04-13 cs.AI cs.GT cs.MA
Suspicion-Agent: Playing Imperfect Information Games with Theory of Mind Aware GPT-4
The University of Tokyo(东京大学);Allen Institute for AI(艾伦人工智能研究所)
本文提出Suspicion-Agent,利用GPT-4的高阶心智理论能力在不完美信息博弈中进行规划与自适应对战,并在多种纸牌游戏及Leduc Hold'em中验证其可超越传统算法。
2024-08-31 cs.AI
Safe and Nested Subgame Solving for Imperfect-Information Games
Carnegie Mellon University(卡内基梅隆大学)
在无信息博弈中,一个子博弈中的最优策略可能依赖于其他未到达子博弈中的策略。因此,子博弈不能孤立地求解,而必须将整个博弈的策略作为一个整体来考虑,这与完全信息博弈不同。然而,可以先近似整个博弈的解,然后通过求解单个子博弈来改进它。这被称为子博弈求解。我们引入子博弈解决技术,在理论和实践中优于以前的方法。我们还展示了如何调整它们,以及过去的子博弈求解技术,以响应原始动作抽象之外的对手动作;这显着优于现有的最先进的方法,动作翻译。最后,我们表明,子博弈求解可以重复的游戏进展下来的游戏树,导致低得多的可利用性。这些技术是Libratus的关键组成部分,Libratus是第一个在单挑无限制德州扑克中击败顶级人类的AI。
2017-11-16 cs.AI cs.GT
General search techniques without common knowledge for imperfect-information games, and application to superhuman Fog of War chess
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Carnegie Mellon University(卡内基梅隆大学)
Obscuro是首个在雾战国际象棋中实现超人类表现的AI,通过改进不完全信息游戏的搜索技术,实现了强大的推理能力和显著的性能优势。
2026-02-28 cs.AI cs.GT
Agents That Certify Their Own Exploits: Confidence-Scheduled Restricted Responses for Safe Opponent Exploitation
IIIS, Tsinghua University(清华大学交叉信息研究院)
该研究提出CS-RNR方法,通过置信序列跟踪对手行动频率,生成可自我审计的安全利用策略,在Leduc等博弈中实现远超基准的收益且符合预算要求。
2026-07-31 cs.AI cs.GT cs.MA
OpenHoldem: A Benchmark for Large-Scale Imperfect-Information Game Research
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院)
在一些研究机构的不懈努力下,近年来,在大规模非信息博弈研究的主要实验平台--无限制德州扑克(NLTH)中,超人类人工智能的设计取得了重大进展。然而,新的研究人员研究这个问题仍然具有挑战性,因为没有标准的基准与现有的方法进行比较,这严重阻碍了该研究领域的进一步发展。在这项工作中,我们提出了OpenHoldem,一个集成的工具包,用于大规模的信息博弈研究,使用NLTH。OpenHoldem对这个研究方向做出了三个主要贡献:1)一个标准化的评估协议,用于彻底评估不同的NLTH AI,2)四个公开的NLTH AI强基线,3)一个在线测试平台,具有易于使用的API,用于公共NLTH AI评估。我们在holdem.ia.ac.cn上发布了OpenHoldem,希望它能促进对该领域未解决的理论和计算问题的进一步研究,并培养关键的研究问题,如对手建模和人机交互学习。
2021-12-14 cs.AI cs.GT cs.LG
On the Complexity of Reconnaissance Blind Chess
Johns Hopkins University Applied Physics Laboratory(约翰霍普金斯大学应用物理实验室)
本文提供了一个复杂性分析的侦察盲棋(RBC),最近推出的国际象棋的变种,每个玩家不知道对手的棋子先验的位置,但可能会揭示他们的一个子集,通过选择,私人感应行动的游戏。与许多通常研究的不完美信息游戏(如扑克)相反,RBC玩家不知道对手知道什么或选择学习什么,从而指数地扩展游戏信息集的大小(即,与玩家观察到的一致的可能游戏状态的数量)。有效的RBC感知和移动策略必须考虑到双方的不确定性,这是许多现实世界决策问题的基本要素。在这里,我们从博弈论的角度来评估RBC,从锦标赛中选定的典型机器人球员的角度来跟踪信息集的扩散。我们表明,即使是有效的传感策略,游戏大小的RBC相比,去,而在整个RBC游戏的玩家的信息集的平均大小是远远大于一个玩家在抬头限制持有'Em。我们比较这些措施的复杂性不同的播放算法,并提供粗略的评估的各种传感和移动策略。
2019-03-01 cs.AI
A Gold-Standard Study of What Makes a Lightweight Game-Playing Agent Strong
University of Southern California(美国南加州大学)
研究不完美信息纸牌游戏中使轻量级博弈代理强大的因素,构建专家代理作标准,经超百次运行确定有效因素,添加基线并应用于另一游戏,得出通用方法可训练有竞争力代理且无需专家训练。
2026-09-01 cs.AI cs.GT cs.LG
Unsound Search with Policy and Value Networks in Legends of Code and Magic
Georgia Institute of Technology(佐治亚理工学院)
本文在《魔法与代码传奇》中提出基于策略与价值网络的非健全搜索方法,以51.35%胜率击败冠军ByteRL,并增强了对抗攻击的韧性。
2026-09-09 cs.AI
Do Geometry-Aware Positional Encodings Help Transformers in Spatial Imperfect-Information Games?
Research Institute of Economics and Management(经济与管理研究院);Southwestern University of Finance and Economics(西南财经大学)
该研究在六角形海军追捕游戏基准上验证,HexRoPE位置编码可提升Transformer的信念估计与数据高效模仿能力,但未提高整体游戏胜率。
2026-08-18 cs.AI cs.LG stat.ML
Observable Perfect Equilibrium
Ganzfried Research(甘兹弗里德研究)
本文提出了一种新的博弈均衡概念——可观察的完美均衡,用于解决不完全信息序贯博弈中选择纳什均衡的问题,该概念在公开可观察的动作概率下更具鲁棒性,并在德州扑克中展现出不同的解决方案。
2026-10-25 cs.AI cs.GT cs.MA
Solving Large Extensive-Form Games with Strategy Constraints
University of Alberta(阿尔伯塔大学);DeepMind(深度思维公司(DeepMind)(注:DeepMind通常指Google旗下的DeepMind Technologies Limited,作为独立研究机构,此处按常见译法保留))
可拓形式博弈是不完全信息下多主体交互的一种常见模型。在两人零和博弈中,典型的解概念是每个参与者在无约束策略集上的纳什均衡。然而,在许多情况下,我们希望限制这套可能的战略。例如,约束是对有限资源、风险缓解、安全性、与过去行为观察的一致性或代理的其他次要目标进行建模的自然方式。在小型博弈中,线性约束下的最优策略可以通过求解线性规划来找到;然而,用于求解大型博弈的最先进算法无法处理一般约束。在这项工作中,我们介绍了一种广义形式的反事实遗憾最小化,可证明发现任何可行的凸约束下的最佳策略。我们证明了我们的算法的有效性,找到战略,减轻风险的安全游戏,并在扑克游戏中的对手建模时,只有部分私人信息的观察。
2019-02-05 cs.AI cs.GT
Sample-Efficient Reinforcement Learning of Partially Observable Markov Games
Princeton University(普林斯顿大学);DeepMind(深度思维);University of Alberta(阿尔伯塔大学)
针对部分可观测条件下的多智能体强化学习(MARL)问题,提出了一种基于部分可观测性的多智能体强化学习方法.本文在多人一般和部分可观察马尔可夫博弈(POMG)的一般模型下研究了这些任务,POMG模型明显大于不完全信息可拓形式博弈(IIEFG)的标准模型。我们确定了一个丰富的子类POMG-弱揭示POMG-其中样本有效的学习是易于处理的。在自我发挥的设置,我们证明了一个简单的算法相结合的乐观和最大似然估计(MLE)是足够的找到近似纳什均衡,相关的均衡,以及粗糙的相关均衡弱揭示POMG,在多项式数量的样本时,代理的数量很小。在对抗对手的设置中,我们表明,我们的乐观MLE算法的一个变体是能够实现次线性遗憾时,与最佳的最大最小化政策进行比较。据我们所知,这项工作提供了学习POMG的第一行样本有效的结果。
2022-10-17 cs.AI cs.GT cs.LG