Single Deep Counterfactual Regret Minimization
University of Cambridge(剑桥大学)
反事实后悔最小化(CFR)算法是求解不完全信息博弈近似纳什均衡的最成功的算法。然而,CFR对完整游戏树遍历的依赖限制了其可扩展性。出于这个原因,游戏的状态和动作空间通常被抽象(即简化)为CFR,然后将所产生的策略转换回完整的游戏,这需要广泛的专业知识,并且通常会收敛到高度可利用的策略。最近提出的一种方法,深度CFR,将深度学习直接应用于CFR,允许代理从样本中内在地抽象和概括状态空间,而不需要专业知识。在本文中,我们介绍了单深度CFR(SD-CFR),这是深度CFR的简化变体,通过避免训练平均策略网络,具有较低的总体近似误差。我们表明,SD-CFR是更有吸引力的从理论的角度来看,经验上优于深CFR方面的可利用性和一对一的发挥扑克。
2019-10-04 cs.AI cs.GT cs.LG
Bayes' Bluff: Opponent Modelling in Poker
University of Alberta(阿尔伯塔大学)
扑克是人工智能的一个具有挑战性的问题,具有非确定性动力学,部分可观察性,以及未知对手的额外难度。对这一领域的所有不确定性进行建模并非易事。在本文中,我们提出了一个贝叶斯概率模型的扑克游戏,分离的不确定性,在游戏动态的不确定性对手的策略。然后,我们描述了两个关键子问题的方法:(i)推断后验对手的策略,给出了先验分布和观察他们的发挥,以及(ii)发挥适当的反应,该分布。我们展示了一个减少版本的扑克使用狄利克雷先验的整体方法,然后在完整的游戏德州扑克使用更知情的前。我们展示了有效的方法来对付对手,根据后验。
2012-07-04 cs.AI cs.GT
Obvious Manipulability of Voting Rules
UNSW Sydney(悉尼新南威尔士大学)
Gibbard-Satterthwaite定理指出,没有一致和非独裁的投票规则是防策略的。我们重新审视了投票规则,并考虑了Troyan和Morrill(2020)提出的一个较弱的防策略性概念,称为不明显的可操纵性。我们确定了几类投票规则,满足这一概念。我们还表明,一些投票规则,包括k-批准不满足此属性。我们的特征条件下,投票规则显然是操纵。我们的见解之一是,当备选方案的数量与选民数量相比相对较大时,某些规则显然是可以操纵的。与Gibbard-Satterthwaite定理相反,我们研究的许多规则显然是不可操作的。这反映了相对更容易满足的概念和零信息假设不明显的可操作性,而不是完美的信息假设的策略。我们还提出了算法的结果计算明显的操纵和实验报告。
2022-06-14 cs.AI cs.GT cs.MA
Accelerating Nash Equilibrium Convergence in Monte Carlo Settings Through Counterfactual Value Based Fictitious Play
School of Artificial Intelligence and Automation, Huazhong University of Science and Technology(华中科技大学人工智能与自动化学院)
针对多数CFR改进无法用于蒙特卡洛条件的问题,提出MCCFVFP,融合反事实价值与虚拟博弈最优响应,在高比例被占优策略博弈中收敛更快。
2024-10-27 cs.AI cs.GT cs.LG
A Survey of Decision Making in Adversarial Games
Tongji University(同济大学);Shanghai Research Institute for Intelligent Autonomous Systems(上海智能自主系统研究院);Institute for Advanced Study, Tongji University(同济大学高等研究院)
到目前为止,博弈论已经在各个领域得到了广泛的应用,包括经济学、工业、法学和人工智能,其中每个参与者只以非合作或合作的方式关心自己的利益,但对其他参与者没有明显的恶意。然而,在许多实际应用中,如扑克、国际象棋、追捕逃犯、缉毒、海岸警卫队、网络安全和国防等,玩家往往具有明显的对抗性立场,即每个玩家的自私行为不可避免地或故意地对其他玩家造成损失或破坏。沿着这一思路,本文提供了一个系统的调查三个主要的游戏模型广泛应用于对抗游戏,即,零和正规形式和扩展形式游戏,Stackelberg(安全)游戏,零和微分游戏,从一系列的角度,包括游戏模型的基础知识,(近似)均衡概念,问题分类,研究前沿,(近似)最优策略寻求技术,流行的算法和实际应用。最后,也讨论了相关对抗游戏的未来研究方向。
2022-07-16 cs.AI cs.GT
Dominated Actions in Imperfect-Information Games
Ganzfried Research(Ganzfried研究)
本文研究不完全信息博弈中的主导动作,提出一种多项式时间算法判断动作是否被混合策略主导,从而有效缩减博弈树规模,用于纳什均衡计算。
2026-07-22 cs.AI cs.GT cs.MA
Guarantees for Self-Play in Multiplayer Games via Polymatrix Decomposability
University of Alberta(阿尔伯塔大学);Amii(阿尔伯塔机器智能研究所)
本文研究多人博弈中自我博弈的性能保证问题,提出在满足常和多矩阵可分解性和子博弈稳定性条件的博弈中,无外部遗憾自我博弈算法可产生有界脆弱性策略,并通过Leduc扑克实验验证。
2023-11-29 cs.AI cs.GT cs.LG
Computing Human-Understandable Strategies
School of Computing and Information Sciences(计算与信息科学学院);Florida International University(佛罗里达国际大学)
均衡计算的算法通常不试图确保计算出的策略是人类可以理解的。例如,最强的扑克代理的策略被表示为大量的二进制文件。在许多情况下,我们希望计算出人类可以实际实现的策略,人类可能有计算限制,并且可能只能记住已经计算出的策略的少量特征或组件。我们研究的扑克游戏中,私人信息的分布可以是任意的。我们通过随机选择信息概率创建了一个大型的游戏实例和解决方案训练集,并提出了从训练实例中学习的算法,以便在具有未知信息分布的游戏中表现良好。我们能够总结出几个关于扑克策略的新的基本规则,这些规则可以很容易地被人类实施。
2017-02-20 cs.AI cs.GT cs.LG
Implicit Strategic Optimization: Rethinking Long-Horizon Decision-Making in Adversarial Poker Environments
Gradient
本文提出隐式策略优化(ISO)框架,通过预测战略环境和结合战略奖励模型与乐观学习规则,提升对抗性扑克环境中的长 horizon 决策性能。
2026-02-08 cs.AI cs.CL cs.LG
DecisionHoldem: Safe Depth-Limited Solving With Diverse Opponents for Imperfect-Information Games
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Beijing Normal University(北京师范大学)
本文提出DecisionHoldem,一种通过考虑对手手牌范围进行安全深度受限求解的德州扑克AI,击败了Slumbot和Openstack,并开源以促进不完全信息游戏AI发展。
2024-05-28 cs.AI
No-Regret Strategy Solving in Imperfect-Information Games via Pre-Trained Embedding
本文提出Embedding CFR算法,通过预训练嵌入空间解决不完全信息游戏的策略问题,提升求解效率和准确性。
2025-12-09 cs.AI
AIVAT: A New Variance Reduction Technique for Agent Evaluation in Imperfect Information Games
University of Alberta(阿尔伯塔大学)
当结果是随机的并且代理使用随机策略时,评估代理性能可能具有挑战性,因为可用的数据有限。抽样结果的方差可能使简单的蒙特卡罗抽样方法不充分。这是代理人玩单挑无限制德州扑克的情况,其中人机比赛涉及连续多天的比赛,即使获胜者的利润率很高,仍然没有得出统计上显著的结论。在本文中,我们介绍AIVAT,低方差,可证明无偏的价值评估工具,使用任意的启发式估计的状态值,以及明确的策略的一个子集的代理。与现有的技术,减少从机会事件的方差,或只考虑游戏结束的行动,AIVAT减少的差异,从选择的性质和玩家与一个已知的策略。在无限制扑克中,由此产生的估计器可以将得出统计结论所需的手数减少10倍以上。
2017-01-19 cs.AI
Instruction-Driven Game Engines on Large Language Models
Shanghai Jiao Tong University(上海交通大学);Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳))
本文提出指令驱动游戏引擎(IDGE),利用大型语言模型根据自然语言指令自主生成游戏过程,通过下一状态预测任务和课程学习训练模型,并在扑克游戏中验证了其支持多变体、高定制及快速原型化的能力。
2024-08-23 cs.AI
Safe and Nested Subgame Solving for Imperfect-Information Games
Carnegie Mellon University(卡内基梅隆大学)
在无信息博弈中,一个子博弈中的最优策略可能依赖于其他未到达子博弈中的策略。因此,子博弈不能孤立地求解,而必须将整个博弈的策略作为一个整体来考虑,这与完全信息博弈不同。然而,可以先近似整个博弈的解,然后通过求解单个子博弈来改进它。这被称为子博弈求解。我们引入子博弈解决技术,在理论和实践中优于以前的方法。我们还展示了如何调整它们,以及过去的子博弈求解技术,以响应原始动作抽象之外的对手动作;这显着优于现有的最先进的方法,动作翻译。最后,我们表明,子博弈求解可以重复的游戏进展下来的游戏树,导致低得多的可利用性。这些技术是Libratus的关键组成部分,Libratus是第一个在单挑无限制德州扑克中击败顶级人类的AI。
2017-11-16 cs.AI cs.GT
Competing in a Complex Hidden Role Game with Information Set Monte Carlo Tree Search
University of Minnesota(明尼苏达大学)
智能博弈代理的进步导致了像围棋这样的完全信息博弈和像扑克这样的不完全信息博弈的成功。信息集蒙特卡罗树搜索(ISMCTS)系列算法在不完全信息博弈中优于以前使用蒙特卡罗方法的算法。在本文中,单观察者信息集蒙特卡罗树搜索(SO-ISMCTS)被应用到秘密希特勒,一个流行的社会推理棋盘游戏,结合了传统的隐藏角色机制与随机性的卡甲板。这种组合导致了一个比隐藏角色和卡片组机制更复杂的信息模型。在10108个模拟游戏中,SO-ISMCTS和基于规则的智能体一样有效,证明了ISMCTS算法在复杂信息集领域的潜力。
2020-05-14 cs.AI cs.MA
When a Verified World Model Still Loses: Play-Adequacy vs Prediction-Accuracy in LLM-Synthesized Code World Models
AGILabs(AGILabs实验室)
研究大语言模型合成的代码世界模型,发现其虽预测准确率高,但在游戏中仍失败,存在验证与正确的差距,揭示危害规律,指出更多数据无法修复,相同机制在信念推理函数上重现,表明规划世界模型充分性应基于搜索分布或游戏衡量。
2026-07-21 cs.AI cs.LG
Quantitative Rule-Based Strategy modeling in Classic Indian Rummy: A Metric Optimization Approach
Indian Statistical Institute, Kolkata(印度统计研究所,加尔各答);Indian Statistical Institute, Bangalore(印度统计研究所,班加罗尔);Applied Statistics Unit, Indian Statistical Institute, Kolkata(应用统计单元,印度统计研究所,加尔各答);Official Statistics Unit, Indian Statistical Institute, Kolkata(官方统计单元,印度统计研究所,加尔各答)
本文提出了一种基于MinDist度量指标的鲁米耶策略建模方法,通过高效算法和对手建模提升代理胜率,为算法策略设计提供正式且可解释的解决方案。
2025-12-26 cs.AI cs.GT
Doing What They Say, Not What They Reason: Locating the Faithfulness Gap in LLM Agents
University of California, Berkeley(加州大学伯克利分校)
通过将忠实性差距分解为推理-结论和结论-行动两个步骤,在可控的德克萨斯扑克模拟器中研究LLM智能体是否按照其陈述的推理行动。
2026-07-08 cs.AI
Cross-Fusion Rule for Personalized Federated Learning
Zhejiang University of Technology(浙江工业大学)
数据稀缺性和异构性对个性化联邦学习提出了显著的性能挑战,这些挑战主要体现在现有方法的过拟合和低精度上。为了克服这些挑战,本文提出了一种多层多融合策略框架,服务器采用各客户端上传模型的网络层参数作为融合的基本单位进行信息共享计算。然后,有针对性地提出了一种融合个性化与通用性相结合的融合策略,并根据网络层功能设计了每种融合策略的网络层数融合阈值。在该机制下,采用L2-Norm负指数相似性度量计算每个客户端对应的特征提取层参数的融合权重,从而提高了异构数据个性化协作的效率。同时,在网络全连接层采用联邦全局最优模型近似融合策略,避免了强个性化带来的过拟合问题。实验结果表明,该方法优于现有的方法。
2023-02-06 cs.AI cs.LG
Mastering the Game of No-Press Diplomacy via Human-Regularized Reinforcement Learning and Planning
Meta AI;MIT(麻省理工学院)
No-press Diplomacy是一个复杂的策略游戏,涉及合作和竞争,是多智能体AI研究的基准。虽然自我游戏强化学习在国际象棋、围棋和扑克等纯粹的对抗性游戏中取得了许多成功,但在涉及与人类合作的领域中,自我游戏本身并不足以实现最佳性能。我们首先引入了一个规划算法,我们称之为DiL-piKL,规范化的奖励最大化的政策对人类模仿学习的政策,以解决这个缺点。我们证明了这是一个修正效用函数下的无遗憾学习算法。然后,我们表明,DiL-piKL可以扩展到一个自我发挥的强化学习算法,我们称之为RL-DiL-piKL,它提供了一个模型的人类发挥,同时训练代理,以及响应这个人类模型。我们用RL-DiL-piKL训练了一个我们叫梁龙的特工在一场200局的无媒体外交比赛中,62名人类参与者的技能水平从初学者到专家,两名梁龙代理人的平均得分都高于所有其他参与者,他们玩了两局以上,根据Elo评级模型排名第一和第三。
2022-10-11 cs.AI cs.GT cs.LG
Forward Modeling for Partial Observation Strategy Games - A StarCraft Defogger
Facebook(脸书)
我们制定的问题,除雾的状态估计和未来的状态预测,从以前的部分观察的背景下,实时战略游戏。我们建议采用编码器-解码器神经网络来完成这项任务,并引入代理任务和基线进行评估,以评估其捕获基本游戏规则和高级动态的能力。通过结合卷积神经网络和递归网络,我们利用空间和顺序相关性,并在星际争霸:母巢战争的人类游戏的大型数据集上训练性能良好的模型。最后,我们证明了我们的模型的相关性,下游任务,将它们应用于敌人单位预测在一个国家的最先进的,基于规则的星际争霸机器人。我们观察到对几个强大的社区机器人的胜率有所提高。
2018-11-30 cs.AI cs.LG
Adapting Beyond the Depth Limit: Counter Strategies in Large Imperfect Information Games
AI Center, FEE, CTU in Prague(布拉格捷克技术大学电气工程与计算机学院AI中心)
针对大型不完美信息博弈中现有方法仅能适应对手有限行为的问题,提出采用矩阵值状态策略组合的ABD算法,实现对对手模型信息的充分利用,在扑克和战舰游戏中显著提升效用与安全性。
2025-02-09 cs.AI cs.GT
Measuring interesting rules in Characteristic rule
Manchester Metropolitan University(曼彻斯特城市大学);Simon Fraser University(西蒙菲莎大学)
在面向属性归纳的广义关系阈值控制策略的第六步中发现有趣的规则,有可能选择候选属性进行进一步的泛化和相同元组的合并,直到元组的数量不大于阈值,如基本面向属性归纳算法所实现的那样。在该策略步骤中,最终泛化结果中元组的数量仍有可能大于阈值。为了得到最后的泛化结果,只有少量的元组,可以很容易地转换成简单的逻辑公式,规则转换的第七个策略步骤,将有联合或分组相同的属性进行简化。与Fudger和Hamilton的启发式度量方法相反,我们的度量方法在概念层次越复杂的情况下,越可能发现有趣的结果,而在概念层次越简单的情况下,越可能发现有趣的结果,在概念层次越复杂的情况下,越可能发现概念树中复杂的过程泛化。概念树的宽度、长度、深度、层次对规则的发现有重要影响。
2010-06-09 cs.AI cs.DB
Neurophysiological Characteristics of Adaptive Reasoning for Creative Problem-Solving Strategy
Dept. of Artificial Intelligence(人工智能系);Korea University(韩国大学);Dept. of Brain and Cognitive Engineering(脑科学与认知工程系)
本研究探究创造性问题解决中适应性推理的神经机制,通过卡片分类范式结合脑电图发现δ-θ-α动态协同是其神经特征,并指出多模态大型语言模型缺乏真正适应性推理,为类脑人工智能研发提供神经依据。
2025-11-11 cs.AI
StrategyBench: Evaluating Explicit Strategy Induction in Large Language Models
本研究提出StrategyBench基准,评估大语言模型显式策略归纳能力,通过多维度分析揭示策略效用的影响因素,相关基准已公开。
2026-08-25 cs.AI
Game Development as Human-LLM Interaction
Shanghai Jiao Tong University(上海交通大学)
本文提出由LLM驱动的聊天游戏引擎ChatGE,通过自然语言交互让用户开发游戏,采用数据合成和三阶段训练策略,并以扑克游戏验证其交互质量与代码正确性。
2024-12-16 cs.AI cs.CL cs.HC
Learning What to Share and What to Personalize: Hierarchical Strategy Co-Evolution for Agent Memory
University of Science and Technology of China(中国科学技术大学);State Key Laboratory of Cognitive Intelligence(认知智能国家重点实验室)
本研究提出HiPS框架,将智能体记忆管理解耦为全局共享基础与用户特定自适应层,通过协同进化优化策略,使记忆增强智能体的响应性能持续优于基线方法。
2026-08-27 cs.AI cs.CL
Inductive-Deductive Strategy Reuse for Multi-Turn Instructional Dialogues
Kuaishou(快手)
本文提出归纳-演绎策略复用方法,从真实对话中归纳高层指令策略并演绎应用于新场景,以生成多样深入的多轮指令对话,提升下游聊天模型性能。
2024-09-29 cs.AI cs.CL