GIB: Imperfect Information in a Computationally Challenging Game
University of Oregon(俄勒冈大学);CIRL(智能与机器人研究中心)
本文探讨了在构建一个玩合同桥博弈的方案中出现的问题。这些问题包括解决游戏的完美信息变量的困难,以及解决桥牌实际上不是完美信息游戏这一事实所需的技术。GIB,该计划被描述,涉及五个独立的技术进步:分区搜索,蒙特卡洛技术的实际应用,以解决问题的蒙特卡洛方法固有的可实现集的重点,从总订单到任意分布格的α-β修剪的扩展,以及使用吱吱作响的车轮优化,以找到近似最优的解决方案纸牌游戏的问题。GIB目前被认为是近似专家的水平,是目前世界上最强大的计算机桥梁程序。
2011-06-03 cs.AI
Set-Based Retrograde Analysis: Precomputing the Solution to 24-card Bridge Double Dummy Deals
University of Alberta(阿尔伯塔大学);Alberta Machine Intelligence Institute(阿尔伯塔机器智能研究所)
本文提出setrograde分析算法,通过对相同博弈值的状态集合进行操作来优化传统逆推分析,在24张牌桥牌双明手牌局中实现强解,大幅减少搜索操作和数据库条目,使逆推搜索达到前所未有的深度。
2024-11-13 cs.AI
BridgeHand2Vec Bridge Hand Representation
Warsaw University of Technology(华沙理工大学)
本文提出 BridgeHand2Vec 方法,用神经网络将桥牌手牌嵌入向量空间,反映手牌强度并支持可解释距离,在强化学习和开叫分类中有应用,且向量化网络在 DDBP2 问题上达到 SOTA。
2023-10-10 cs.AI
Deduction Game Framework and Information Set Entropy Search
Queen Mary University of London(伦敦玛丽女王大学)
本文提出推理游戏框架与信息集熵搜索算法,通过香农熵变化实现可解释决策,在八个游戏上显著优于SO-ISMCTS。
2024-07-30 cs.AI
Search in Imperfect Information Games
Charles University(查理大学);University of Alberta(阿尔伯塔大学)
从这个领域的黎明开始,带有价值函数的搜索就是计算机游戏研究的一个基本概念。图灵在1950年的国际象棋算法能够提前两步思考,香农在$1950$的国际象棋工作包括一个关于搜索中使用的评估函数的广泛部分。Samuel在1959年开发的跳棋程序已经将搜索和价值函数结合在一起,这两个函数都是通过自我游戏和自举学习的。TD-Gammon改进了这些想法,并使用神经网络来学习那些复杂的价值函数--只是在搜索中再次使用。决策时间搜索和价值函数的结合已经出现在计算机在长期挑战性游戏中击败人类对手的显着里程碑中- DeepBlue for Chess和AlphaGo for Go。直到最近,这个强大的搜索框架与(学习)价值函数的帮助下,已被限制在完美的信息游戏。由于许多有趣的问题并不能为智能体提供环境的完美信息,这是一个不幸的限制。本文介绍了不完全信息博弈下的声音搜索.
2021-11-10 cs.AI
Generating Real-Time Strategy Game Units Using Search-Based Procedural Content Generation and Monte Carlo Tree Search
University of Alberta(阿尔伯塔大学);Alberta Machine Intelligence Institute (Amii)(阿尔伯塔机器智能研究所)
实时的【形】策略(RTS)游戏单元生成是程序化内容生成(PCG)研究中一个尚未探索的领域,如何自动生成有趣且平衡的单元是一个尚未解决的问题。在设计RTS游戏时,创建独特而平衡的单位可能是一项艰巨的任务,即使对人类来说也是如此。拥有一种自动化的设计单元的方法可以帮助开发人员加快创建过程,并找到新的想法。在这项工作中,我们提出了一种生成平衡和有用的RTS单元的方法。我们利用基于搜索的PCG和基于蒙特卡罗树搜索(MCTS)的适应度函数。我们提出了十个单位,我们的系统设计用于游戏microRTS,以及结果表明,这些单位是独特的,有用的,和平衡的。
2022-12-07 cs.AI
Two-Bridge: Exclusive Objectives and Extended Horizon StarCraft II Benchmark
Pennsylvania State University(宾夕法尼亚州立大学)
为解决星际争霸II全游戏与迷你游戏之间的复杂度鸿沟,提出双桥地图套件作为中间基准,通过禁用经济机制隔离远程导航和微操战术技能,实现低计算成本下的连贯机动与交战行为学习。
2026-06-23 cs.AI cs.LG
Combining Strategic Learning and Tactical Search in Real-Time Strategy Games
University of Alberta(阿尔伯塔大学)
在实时的【形】策略(RTS)游戏中管理AI复杂性的一种常用技术是使用动作和/或状态抽象。高层次的抽象通常可以导致良好的战略决策,但战术决策质量可能会受到损失的细节。一种竞争性的方法是对搜索空间进行采样,这通常会导致在简单场景中具有良好的战术性能,但高层规划较差。我们建议使用深度卷积神经网络(CNN)在有限的抽象动作选择中进行选择,并利用剩余的计算时间进行游戏树搜索来改进低级策略。CNN通过监督学习对Puppet Search标记的游戏状态进行训练,Puppet Search是一种使用动作抽象的策略搜索算法。然后,网络被用来选择一个脚本--一个抽象的动作--为所有单元产生低层次的动作。随后,游戏树搜索算法使用仅考虑接近对手单位的单位的游戏状态的有限视图来改进单位子集的战术动作。在microRTS游戏中的实验表明,该组合算法的结果在更高的胜率比它的两个独立的组件和其他国家的最先进的microRTS代理。据我们所知,这是卷积网络在标准游戏地图上玩完整RTS游戏的第一个成功应用,因为以前的工作主要集中在子问题上,例如战斗或非常小的地图。
2017-09-11 cs.AI
Elastic Monte Carlo Tree Search with State Abstraction for Strategy Game Playing
Queen Mary University of London(伦敦玛丽女王大学);Leibniz University Hannover(汉诺威莱布尼茨大学)
战略视频游戏挑战人工智能智能体与他们的组合搜索空间所造成的复杂的游戏元素。状态抽象是一种降低状态空间复杂度的流行技术。然而,目前的游戏状态抽象方法依赖于领域知识,使其应用到新的游戏昂贵。不需要领域知识的状态抽象方法在规划领域得到了广泛的研究。然而,没有证据表明它们可以很好地适应策略游戏的复杂性。在本文中,我们提出了弹性MCTS,一个算法,使用状态抽象玩策略游戏。在Elastic MCTS中,树的节点是动态聚类的,首先通过状态抽象逐渐分组在一起,然后在达到迭代阈值时分离。这种弹性变化既得益于状态抽象带来的高效搜索,又避免了状态抽象对整个搜索的负面影响。为了评估我们的方法,我们利用通用策略游戏平台Stratega来生成不同复杂度的场景。结果表明,弹性MCTS优于MCTS基线有很大的利润,同时减少了$10$的一个因素的树的大小。代码可以在:https://github.com/egg-west/Stratega上找到
2022-05-30 cs.AI
Asymmetric Action Abstractions for Multi-Unit Control in Adversarial Real-Time Games
Universidade Federal de Viçosa(维索萨联邦大学)
动作抽象限制了多单元实时的【形】对抗游戏中搜索过程中可用的合法动作的数量,从而允许算法将搜索集中在一组有希望的动作上。从非抽象空间导出的最优策略保证不比从动作抽象空间导出的最优策略差。然而,在实践中,由于实时的【形】限制和状态空间的大小,人们只能在小规模的游戏中得到良好的战略在非抽象空间。在本文中,我们介绍搜索算法,使用的行动抽象方案,我们称之为非对称抽象。非对称抽象保留了非抽象空间相对于常规抽象空间的理论优势,同时仍然允许搜索算法获得有效的策略,即使在大型游戏中也是如此。在实时的【形】战略游戏中出现的战斗场景的实证结果表明,我们的搜索算法能够大大优于国家的最先进的方法。
2017-11-22 cs.AI
Bayesian Optimization-based Search for Agent Control in Automated Game Testing
Production R\&D, Tencent Amsterdam, Netherlands
本文提出基于贝叶斯优化的自动化游戏测试方法,通过智能体控制角色并结合网格地图专用模型实现样本高效搜索,显著提升地图覆盖的时间效率与探索分布。
2025-08-18 cs.AI
Traditional Wisdom and Monte Carlo Tree Search Face-to-Face in the Card Game Scopone
Politecnico di Milano(米兰理工大学)
我们提出了一个有竞争力的人工智能Scopone,一个流行的意大利纸牌游戏的设计。我们比较了基于规则的球员使用最既定的策略(一个初学者和两个先进的球员)对球员使用蒙特卡罗树搜索(MCTS)和信息集蒙特卡罗树搜索(ISMCTS)与不同的奖励函数和模拟策略。MCTS需要关于游戏状态的完整信息,从而实现作弊玩家,而ISMCTS可以处理不完整信息,从而实现公平玩家。我们的研究结果表明,正如预期的那样,作弊MCTS优于所有其他策略; ISMCTS比所有基于规则的球员实施众所周知的和最先进的战略,它也被证明是一个具有挑战性的对手,人类球员。
2018-07-18 cs.AI
Enhancing the Monte Carlo Tree Search Algorithm for Video Game Testing
Middle East Technical University(中东技术大学)
在本文中,我们研究了几个蒙特卡罗树搜索(MCTS)的修改视频游戏测试的效果。虽然MCTS的修改在游戏中得到了广泛的研究,但它们对发现bug的影响是空白的。我们在之前的研究中专注于bug发现,在那里我们引入了合成的和类似人类的测试目标,并且我们在Sarsa和MCTS代理中使用这些测试目标来发现bug。在这项研究中,我们扩展了MCTS代理的游戏测试目的的几个修改。此外,我们提出了一种新的树重用策略。我们通过在三个测试平台游戏上测试这些修改来进行实验,每个测试平台游戏有四个级别,总共包含45个错误。我们使用通用视频游戏人工智能(GVG-AI)框架来创建测试床游戏,并使用GVG-AI框架收集427个人类测试者轨迹。我们分析了三个部分提出的修改:我们评估其对代理的错误发现性能的影响,我们衡量他们的成功下两个不同的计算预算,我们评估他们的影响,人类相似的人一样的代理。我们的研究结果表明,MCTS修改提高了代理的错误发现性能。
2020-03-17 cs.AI
Towards a Characterisation of Monte-Carlo Tree Search Performance in Different Games
Maastricht University(马斯特里赫特大学)
针对MCTS变体在不同游戏中的性能差异缺乏系统理解的问题,本文构建含1494款游戏、61个智能体、268386次对局的数据集,并训练预测模型以表征其性能。
2024-06-13 cs.AI
Portfolio Search and Optimization for General Strategy Game-Playing
Queen Mary University of London(伦敦玛丽女王大学)
投资组合方法代表了一种简单但有效的动作抽象类型,它已被证明可以提高基于搜索的代理在一系列策略游戏中的性能。我们首先回顾现有的投资组合技术,并提出了一个新的算法的基础上滚动地平线进化算法的优化和行动选择。此外,开发了一系列变体来解决不同方面的问题。我们进一步分析了讨论的代理在一般策略游戏任务的性能。为此,我们运行三个不同的游戏模式的策略框架的实验。对于代理参数和投资组合的优化,我们研究了使用N元组Bandit进化算法。由此产生的投资组合集表明,在发挥风格的高度多样性,同时能够一贯击败样本代理。代理的性能分析表明,所提出的算法推广到所有的游戏模式,能够优于其他投资组合方法。
2021-04-21 cs.AI
Improving Search with Supervised Learning in Trick-Based Card Games
University of Alberta(阿尔伯塔大学)
在纸牌游戏中,状态采样和评估的两步过程被广泛用于近似移动值。虽然评估组件至关重要,但移动值估计的准确性也从根本上与抽样分布与真实分布的对应程度有关。尽管如此,最近在纸牌游戏AI方面的工作主要集中在改进评估算法上,而在改进采样方面的工作有限。在本文中,我们专注于采样对球员的实力的影响,并提出了一种新的方法,采样更现实的状态移动历史。特别是,我们使用深度神经网络对单个卡片的位置进行预测-这种技术与完美信息蒙特卡罗(PIMC)搜索结合使用,在流行的Skat纸牌游戏中提供了纸牌游戏强度的大幅增加。
2019-03-22 cs.AI
Monte-Carlo Tree Search for Simulation-based Strategy Analysis
Georgia Institute of Technology(佐治亚理工学院)
游戏通常被设计成以期望的方式塑造玩家行为;然而,设计决策如何影响游戏中的行为空间可能尚不清楚。设计师通常通过人类游戏测试来探索这个空间,这可能是耗时的,并且在耗尽可能的行为空间方面效果有限。在本文中,我们提出了使用自动规划代理人来模拟人类的不同技能水平,以产生游戏的可玩性。然后,可以从这些游戏数据中收集数据,以评估当前的游戏设计并确定其潜在的缺陷。我们在两个游戏中展示了这种技术:流行的文字游戏拼字游戏和我们自己设计的名为Cardonomicon的收藏卡片游戏。使用这些案例研究,我们展示了如何使用模拟代理模型的人类不同的技能水平,使我们能够提取指标来描述游戏的平衡(在拼字游戏的情况下)和突出潜在的设计缺陷(在Cardonomicon的情况下)。
2019-08-04 cs.AI
Conceptual Game Expansion
University of Alberta(阿尔伯塔大学);Georgia Institute of Technology(佐治亚理工学院)
自动游戏设计是通过计算过程自动生成游戏的问题。传统上,这些方法依赖于设计者对搜索空间的创作,为系统创作定义所有可能游戏的空间。在本文中,我们从游戏视频中学习现有游戏的表示,并使用这些来近似新颖游戏的搜索空间。在一项人类受试者研究中,我们证明了这些新颖的游戏在挑战性方面与人类游戏没有区别,并且其中一个新颖的游戏在乐趣,挫折和可爱性方面与人类游戏相当。
2021-02-19 cs.AI
Which Heroes to Pick? Learning to Draft in MOBA Games with Neural Networks and Tree Search
Tencent AI Lab(腾讯人工智能实验室);Shanghai Jiao Tong University(上海交通大学)
英雄选秀在MOBA游戏中至关重要,因为它建立了每一方的团队,并直接影响比赛结果。最先进的选秀方法没有考虑:1)英雄池扩大时的选秀效率; 2)MOBA 5v5系列赛的多回合性质,即,两支球队打N局两胜制,同一个英雄在整个系列赛中只允许被选中一次。本文将制图过程描述为一个多轮的组合博弈,提出了一种基于神经网络和蒙特卡罗树搜索的制图算法--决无制图。具体来说,我们设计了一个长期的价值估计机制来处理最好的N起草的情况下。以当前最流行的MOBA游戏之一《王者荣耀》为例,通过与现有的绘图方法进行比较,验证了《绝地求生》绘图方法的实用性和有效性。
2021-08-05 cs.AI
Monte Carlo Neural Fictitious Self-Play: Approach to Approximate Nash equilibrium of Imperfect-Information Games
Zhejiang University(浙江大学)
人工智能的研究人员已经在大规模完全信息博弈中实现了人类水平的智能,但在大规模完全信息博弈(即战争游戏、足球教练或商业策略)中实现(接近)最优结果(换句话说,近似纳什均衡)仍然是一个挑战。神经虚拟自博弈(NFSP)是一种在没有先验领域知识的情况下,从自博弈中学习多信息博弈近似纳什均衡的有效算法。但它依赖于Deep Q-网络,Deep Q-网络是离线的,在对手策略不断变化的网络游戏中很难收敛,因此在搜索规模大、搜索深度深的游戏中无法逼近近似纳什均衡。本文提出了一种蒙特卡罗神经虚拟自博弈算法(MC-NFSP),它将蒙特卡罗树搜索与NFSP相结合,极大地提高了大规模零和信息博弈的性能。实验表明,提出的Monte Carlo神经虚拟自玩可以收敛到近似纳什均衡的游戏与大规模的搜索深度,而神经虚拟自玩不能。此外,我们开发了异步神经虚拟自我游戏(ANFSP)。它采用异步和并行架构来收集游戏经验。在实验中,我们表明,并行演员学习者有进一步的加速和稳定的效果训练。
2019-04-06 cs.AI
Experiments with Game Tree Search in Real-Time Strategy Games
Drexel University(德雷塞尔大学)
博弈树搜索算法(如极大极小)已在回合制对抗游戏(如国际象棋或象棋)中取得巨大成功。然而,这样的算法不能直接应用于实时的【形】战略(RTS)游戏,因为一些原因。例如,极小极大假设了一个回合制的游戏机制,这在RTS游戏中是不存在的。在本文中,我们提出了RTMM,一个实时的【形】变种的标准极大极小算法,并讨论其适用性的RTS游戏的背景下。我们讨论了它的优点和缺点,并评估它在两个实时的【形】游戏。
2012-08-09 cs.AI cs.GT
Enhancements for Real-Time Monte-Carlo Tree Search in General Video Game Playing
Maastricht University(马斯特里赫特大学)
本文针对通用视频游戏博弈中实时蒙特卡洛树搜索提出八种增强方法,单独应用多数可显著提升胜率,组合后使六十款游戏平均胜率从31.0%提升至48.4%,接近2015年GVG-AI竞赛顶尖水平。
2024-07-03 cs.AI
Towards solving the 7-in-a-row game
Alfréd Rényi Institute of Mathematics(阿尔弗雷德·雷尼数学研究所);Eötvös Loránd University(厄特沃什·罗兰大学);University of Szeged(塞格德大学)
我们的论文探讨了7连牌博弈的博弈论价值。我们减少了问题,以解决有限的棋盘游戏,我们的目标使用证明数搜索。我们提出了一些启发式的改进证明数搜索,并在这个特定的游戏中检查其效果。虽然我们的论文没有解决7连牌游戏,但我们的实验表明,我们已经取得了重大进展。
2021-07-05 cs.AI
Playing Carcassonne with Monte Carlo Tree Search
Maynooth University(梅努斯大学);National Autonomous University of Mexico(墨西哥国立自治大学)
蒙特卡罗树搜索(MCTS)是文献中一种相对较新的多变量抽样方法。它们可以应用于各种具有挑战性的领域,包括棋盘游戏,视频游戏和基于能量的问题等等。在这项工作中,我们将探讨使用香草MCTS和MCTS与快速行动价值估计(MCTS-RAVE)在卡尔卡松,一个随机游戏的欺骗性评分系统,其中有限的研究已经进行了游戏。我们比较了基于MCTS的方法与Star2.5算法的优势,以前报道过在卡尔卡松游戏中产生竞争力的结果时,特定领域的启发式用于评估游戏状态。我们分析的特殊性时,他们共享一个共同的奖励系统的算法所采用的策略。基于MCTS的方法始终优于Star2.5算法,因为它们能够找到并遵循长期策略,其中香草MCTS表现出比MCTS-RAVE更强大的游戏性。
2020-10-04 cs.AI
Learning to Cooperate via Policy Search
MIT AI Laboratory(麻省理工学院人工智能实验室);Brown University(布朗大学)
合作博弈是两个代理人共享相同收益结构的博弈。基于值的学习算法,如Q学习的变体,已被应用于学习合作游戏,但它们只适用于游戏状态对两个代理完全可观察的情况。对于部分可观察的环境,策略搜索方法是基于值的方法的合理替代方案。在本文中,我们提供了一个基于梯度的分布式策略搜索方法的合作游戏和比较的概念,局部最优的纳什均衡。我们证明了这种方法的有效性实验在一个小的,部分可观察的模拟足球域。
2014-08-07 cs.AI
Combat Models for RTS Games
Drexel University(德雷塞尔大学)
游戏树搜索算法,例如蒙特卡罗树搜索(MCTS),需要访问当前游戏的正向模型(或“模拟器”)。然而,在某些游戏中,这种前向模型并不容易获得。本文提出了三个前向模型的两个球员消耗游戏,我们称之为“战斗模型”,并展示了如何使用它们来模拟RTS游戏中的战斗。我们还展示了如何从重放数据中学习这些战斗模型。我们使用星际争霸作为我们的应用领域。我们报告的实验比较我们的战斗模型预测的战斗输出和它们的影响时,用于在一个真正的游戏中的战术决策。
2016-05-17 cs.AI
Synthesizing Reactive Character Behaviors for Continuous Games via Programmatic Policy Search
Brown University(布朗大学);Roblox(Roblox公司);Clemson University(克莱姆森大学)
提出程序化策略搜索方法,通过领域特定语言和代理式草图绘制合成连续游戏的可读行为程序,在14个游戏基准上优于纯枚举和编码代理。
2026-09-22 cs.AI
Study and improvement of search algorithms in two-players perfect information games
LAMSADE, Université Paris Dauphine - PSL, CNRS(LAMSADE,巴黎政治经济大学-PSL,国家科学研究中心)
针对双人零和完美信息博弈,本文评估现有搜索算法的通用性能,并提出一种新搜索算法,在短时间和中等搜索时间设置下均取得显著优于既有算法的表现。
2025-05-06 cs.AI cs.GT
Knowledge-Based Paranoia Search in Trick-Taking
AI Center at CTU Prague(布拉格捷克理工大学人工智能中心)
本文提出了\emph{knowledge-based paraonoia search}(KBPS)在纸牌游戏Skat中的技巧采取过程中发现强迫赢,为一些最有趣的纸牌游戏之一的三个球员。它将有效的部分信息博弈树搜索与知识表示和推理相结合。这种最坏情况的分析,在少量的技巧后开始,导致优先选择卡。我们提供了KBPS的变种,为竞争者和对手,并近似找到一个强迫赢得对大多数世界的信念空间。通过回放数千场专家比赛,我们的评估表明,采用新算法的人工智能在比赛中的表现优于人类,在评估Skat锦标赛的商定标准(扩展的Seeger系统)中,平均得分超过1,000分。
2021-04-07 cs.AI
The Mathematical Game
Université Paris Dauphine - PSL(巴黎多芬大学-PSL大学);CNRS(法国国家科学研究中心)
本文提出用其他博弈树搜索算法改进结合 MCTS 与神经网络的 Holophrasm 定理证明器,以提升自动定理证明性能。
2023-09-22 cs.AI
Unsound Search with Policy and Value Networks in Legends of Code and Magic
Georgia Institute of Technology(佐治亚理工学院)
本文在《魔法与代码传奇》中提出基于策略与价值网络的非健全搜索方法,以51.35%胜率击败冠军ByteRL,并增强了对抗攻击的韧性。
2026-09-09 cs.AI
Playing 2048 With Reinforcement Learning
Stanford University(斯坦福大学)
《2048》是一款非常容易上瘾的游戏。这是很容易学习的游戏,但很难掌握,因为创建的游戏显示,只有约1%的游戏出数亿曾经玩过已经赢得了。在本文中,我们想探讨强化学习技术,以赢得2048年。我们采用的方法包括深度Q学习和束搜索,其中束搜索达到2048 28.5的时间。
2021-10-20 cs.AI
Study and Improvement of Search Algorithms in Multi-Player Perfect-Information Games
LAMSADE, Université Paris-Dauphine, PSL, CNRS(LAMSADE,巴黎Dauphine大学,PSL,CNRS)
本文将最先进的零和双人完全信息游戏搜索算法Unbounded Minimax推广到多玩家完全信息游戏框架,实验表明该算法在多玩家搜索算法中表现更优。
2026-04-19 cs.AI cs.GT
Strategy Game-Playing with Size-Constrained State Abstraction
Faculty of EECS Leibniz University Hannover, Hannover, Germany
针对策略游戏搜索空间庞大且状态抽象质量难评估的问题,本文提出限制最大聚合节点数的SCSA,无需中途放弃抽象,并在3款游戏中验证其更优且稳健。
2025-02-15 cs.AI
Deep Learning for General Game Playing with Ludii and Polygames
Maastricht University(马斯特里赫特大学);Facebook AI Research(Facebook AI研究院)
结合蒙特卡罗树搜索和深度神经网络,通过自我游戏训练,在许多棋盘游戏中产生了最先进的自动游戏结果。训练和搜索算法不是特定于游戏的,但这些方法应用于的每个游戏仍然需要领域知识来实现游戏规则,并构建神经网络的架构-特别是其输入和输出张量的形状。Ludii是一个通用的游戏系统,已经包含超过500种不同的游戏,由于其强大和用户友好的游戏描述语言,它可以快速增长。Polygames是一个具有训练和搜索算法的框架,它已经为几款棋盘游戏产生了超人玩家。本文描述了Ludii和Polygames之间的桥梁的实现,它使Polygames能够训练和评估通过Ludii实现和运行的游戏模型。我们不再需要任何特定于游戏的领域知识,而是利用我们对Ludii系统及其抽象状态和移动表示的领域知识来编写函数,这些函数可以自动确定在Ludii中实现的任何游戏的输入和输出张量的适当形状。我们描述了在各种不同的棋盘游戏中进行短期训练的实验结果,并讨论了几个开放的问题和未来研究的途径。
2021-01-23 cs.AI
Competitive Bridge Bidding with Deep Neural Networks
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Microsoft Research(微软研究院);School of Computer Science and Engineering, Nanyang Technological University(南洋理工大学计算机科学与工程学院)
桥牌游戏包括叫牌和打牌两个阶段。虽然玩被证明是相对容易的计算机程序,投标是非常具有挑战性的。在叫牌阶段,每个只知道自己牌的玩家需要与他/她的搭档交换信息,同时干扰对手。现有的解决完全信息博弈的方法不能直接应用于投标报价。大多数桥梁程序都是基于人为设计的规则,然而,这些规则不能涵盖所有情况,并且通常是模糊的,甚至相互冲突。在本文中,我们首次提出了一个基于深度学习技术的竞标系统,它具有两个新颖性。首先,我们设计了一个紧凑的表示编码的私人和公共信息提供给一个球员投标。其次,在分析了其他玩家的未知牌对自己最终收益的影响的基础上,设计了两个神经网络来处理不完全信息,第一个神经网络推断出对手的牌,第二个神经网络将第一个神经网络的输出作为其输入的一部分来选择出价。实验结果表明,我们的投标系统优于顶级的基于规则的程序。
2019-03-05 cs.AI
Deep Learning for Reward Design to Improve Monte Carlo Tree Search in ATARI Games
University of Michigan, Ann Arbor(密歇根大学安娜堡分校)
事实证明,蒙特卡罗树搜索(MCTS)方法在规划顺序决策问题(例如围棋和视频游戏)方面非常强大,但当规划深度和采样轨迹有限或奖励稀疏时,它们的性能可能会很差。我们提出了一个自适应的PGRD(策略梯度奖励设计)学习奖励奖金函数,以改善UCT(MCTS算法)。与以前的PGRD应用程序中,奖励奖金函数的空间被限制为手工编码的状态-动作-功能的线性函数不同,我们使用PGRD与多层卷积神经网络,以自动学习原始感知的功能,以及适应非线性奖励奖金函数参数。我们还采用了一个方差减少梯度的方法来改善PGRD的性能。与没有奖励奖金的UCT相比,新方法提高了UCT在多个ATARI游戏上的性能。以这种方式将PGRD和深度学习结合起来,应该会使MCTS算法的适应性奖励比以前更加广泛和实用。
2016-04-24 cs.AI
Nearly Optimal Minimax Tree Search?
University of Alberta(阿尔伯塔大学)
Knuth和Moore提出了一个关于叶子数量的理论下限,任何固定深度的极大极小树搜索算法都必须遍历均匀树,即所谓的最小树。由于现实生活中的极大极小树不是均匀的,因此对于大多数应用程序来说,这棵树的确切大小是未知的。此外,大多数游戏都有换位,这意味着存在一个比最小树小的最小图。对于三个游戏(国际象棋,奥赛罗和跳棋),我们计算最小树和最小图的大小。经验证据表明,在所有三个游戏中,增强的Alpha-Beta搜索能够建立一个大小接近最小图的树。因此,游戏程序似乎构建了近乎最优的搜索树。然而,最小图的传统定义是错误的。有一些方法可以减少最小图的大小:通过最大化搜索中的转置数,并使用导致更小搜索树的分支生成截断。最小图的传统定义只是最左近似。计算实最小图的大小是计算密集型的。然而,上限近似显示它比最左边的最小图小得多。因此,似乎玩游戏的程序并不像人们普遍认为的那样有效地搜索。理解最左和实最小搜索图会为增强Alpha-Beta搜索带来一些新的想法。其中之一,增强换位截止,显着减少搜索树的大小。
2014-04-05 cs.AI
Analysis of Vanilla Rolling Horizon Evolution Parameters in General Video Game Playing
University of Essex(埃塞克斯大学)
蒙特卡罗树搜索技术通常主导一般视频游戏,但最近的研究已经开始关注进化算法及其在匹配树搜索游戏水平甚至优于这些方法的潜力。在线或滚动地平线进化是可用于在一般视频游戏中进化计划动作序列的选项之一,但迄今为止还没有研究探索该算法的香草版本在多个游戏中的功能。本研究旨在批判性地分析来自通用视频游戏AI语料库的一组20个游戏中关于人口规模和个体长度的不同配置。确定性和随机游戏之间的区别,并使用优越的时间预算的影响进行了研究。结果表明,有使用这些技术的范围,在某些配置优于蒙特卡罗树搜索,也表明,在这些方法的进一步研究可以提高他们的性能。
2017-04-24 cs.AI
Competing in a Complex Hidden Role Game with Information Set Monte Carlo Tree Search
University of Minnesota(明尼苏达大学)
智能博弈代理的进步导致了像围棋这样的完全信息博弈和像扑克这样的不完全信息博弈的成功。信息集蒙特卡罗树搜索(ISMCTS)系列算法在不完全信息博弈中优于以前使用蒙特卡罗方法的算法。在本文中,单观察者信息集蒙特卡罗树搜索(SO-ISMCTS)被应用到秘密希特勒,一个流行的社会推理棋盘游戏,结合了传统的隐藏角色机制与随机性的卡甲板。这种组合导致了一个比隐藏角色和卡片组机制更复杂的信息模型。在10108个模拟游戏中,SO-ISMCTS和基于规则的智能体一样有效,证明了ISMCTS算法在复杂信息集领域的潜力。
2020-05-14 cs.AI cs.MA
3D Pathfinding and Collision Avoidance Using Uneven Search-space Quantization and Visual Cone Search
寻路是计算机游戏开发中一个非常流行的领域。针对二维寻路算法在游戏引擎中的广泛应用,提出了一种动态搜索空间优化算法,该算法可以对三维搜索空间进行不均匀的网格划分,从而显著减少生成的节点数。该算法可以与3D游戏引擎中流行的寻路算法一起使用。此外,本文还提出了一种简化的独立式三维路径搜索算法。所提出的算法依赖于光线投射或线视觉在运行时生成一个可行的路径,而不需要划分的搜索空间到一个3D网格。在虚幻引擎上对这两种算法进行了仿真,以显示其内部工作原理以及与A* 的结果路径比较。文中还讨论了这些算法的优点和不足以及未来的发展方向。
2018-06-19 cs.AI
Playing Board Games with the Predict Results of Beam Search Algorithm
Amsterdam(阿姆斯特丹)
本文提出用于完全信息双人确定性游戏的PROBS算法,利用更简单的束搜索替代蒙特卡洛树搜索进行决策,实验证明其在棋盘游戏中胜率显著提升,且在搜索规模远小于游戏回合数时依然有效。
2024-04-23 cs.AI cs.LG
Injecting Combinatorial Optimization into MCTS: Application to the Board Game boop
AIST(日本国立研究开发法人产业技术综合研究所)
本文提出将组合优化注入 Monte Carlo Tree Search 以增强博弈树搜索,并在 boop. 中通过消融实验和人类对战验证了其显著性能。
2024-06-13 cs.AI
Development and Application of a Monte Carlo Tree Search Algorithm for Simulating Da Vinci Code Game Strategies
University of Pittsburgh(匹兹堡大学);Miami University(迈阿密大学);University of Washington(华盛顿大学);Warner Bro. Discovery(华纳兄弟探索公司);Columbia University(哥伦比亚大学);Duke University(杜克大学)
本研究开发并评估了蒙特卡洛树搜索算法的两个变体,发现达芬奇密码游戏的分支发散在GPU上导致非线性性能与低谷,而CPU实现呈线性提升,为并行架构下的策略优化提供了关键见解。
2024-03-15 cs.AI
Evolutionary Search in the Space of Rules for Creation of New Two-Player Board Games
Ghulam Ishaq Khan Institute of Engineering Sciences and Technology(加齐大学工程科学与技术学院);Al Imam Mohammad Ibn Saud Islamic University (IMSIU)(伊玛目穆罕默德·伊本·沙特伊斯兰大学);National University of Computer and Emerging Science(国立计算机与新兴科学大学)
游戏一直是人工智能技术的热门试验平台。游戏开发者总是在不断地寻找能够自动创建计算机游戏的技术,以最小化开发者的任务。在这项工作中,我们提出了一个进化策略为基础的解决方案自动生成的两个球员的棋盘游戏。为了指导游戏的进化过程,这是娱乐,我们提出了一套指标。这些度量基于计算机游戏中的不同娱乐理论。这项工作还比较了娱乐价值的进化游戏与现有的流行的基于棋盘的游戏。进一步地,为了用人类用户的娱乐价值来验证演进游戏的娱乐价值,进行人类用户调查。除了用户调查,我们检查的可学习性的进化游戏使用人工神经网络为基础的控制器。所提出的度量和进化过程可以用于生成新的和有趣的棋盘游戏,提供初始搜索空间给进化算法。
2014-06-01 cs.AI cs.NE
Tree Search for Simultaneous Move Games via Equilibrium Approximation
Boston University(波士顿大学)
针对同时行动博弈,本文提出在树搜索中近似粗相关均衡的自博弈方法,可适配合作、竞争与混合任务,并在多个基准上优于当前最佳 MARL 算法。
2024-06-14 cs.AI cs.MA
Using Tabu Search Algorithm for Map Generation in the Terra Mystica Tabletop Game
禁忌搜索(TS)元启发式算法通过使算法能够逃离局部最优点来改进简单的局部搜索算法(例如最陡爬坡)。它已被证明是有用的解决几个组合优化问题。本文研究了TS的性能,并考虑了禁忌列表的大小和程序内容生成的邻域的大小的影响,特别是一个流行的桌面游戏称为Terra Mystica的地图的生成。结果验证了所提出的方法的可行性,以及它如何可以用来生成地图,改善现有的游戏地图。
2020-06-04 cs.AI cs.NE
Safe Search for Stackelberg Equilibria in Extensive-Form Games
Facebook AI Research(脸书人工智能研究院)
Stackelberg均衡是两人博弈中的一个解概念,其中领导者对追随者拥有承诺权。近年来,它已成为许多安全应用的基石,包括机场巡逻和野生动物偷猎预防。尽管这些设置中的许多设置本质上是顺序的,但现有技术提前预先计算整个解决方案。在本文中,我们提出了一个理论上健全和经验有效的方法来应用搜索,它利用额外的在线计算,以改善解决方案,在一般和游戏的Stackelberg平衡的计算。领导者不再试图预先解决整个博弈,而是首先离线计算近似的“蓝图”解决方案,然后针对实际博弈中遇到的特定子博弈在线改进。我们证明了我们的搜索技术保证不会比预先计算的蓝图策略更差,并根据经验证明,与纯离线方法相比,它可以近似解决更大的游戏。我们还表明,我们的搜索操作可以被铸造为一个较小的Stackelberg问题,使我们的方法互补现有的算法的基础上的战略生成。
2021-02-02 cs.AI cs.GT
The Quest for Content: A Survey of Search-Based Procedural Content Generation for Video Games
University College of London(伦敦大学学院);Universidad San Jorge(圣豪尔赫大学)
针对视频游戏内容制作成本高的问题,本文综述2011-2022年基于搜索的程序内容生成(SBPCG)领域研究,梳理现状、指出挑战,为从业者提供建议并明确未来研究方向。
2023-11-08 cs.AI cs.SE
Combining Deep Reinforcement Learning and Search for Imperfect-Information Games
Facebook AI Research(脸书人工智能研究院)
深度强化学习和搜索在训练和测试时的结合是一个强大的范例,它在单智能体设置和完美信息游戏中取得了许多成功,AlphaZero就是最好的例子。然而,这种形式的先前算法不能应付的信息游戏。本文提出了ReBeL,一个自我发挥强化学习和搜索的一般框架,可证明收敛到任何两个玩家零和游戏中的纳什均衡。在完全信息博弈的简单设置中,ReBeL简化为类似于AlphaZero的算法。在两个不同的信息博弈中的结果表明,ReBeL收敛到一个近似的纳什均衡。我们还展示了ReBeL在单挑无限制德州扑克中实现了超人的表现,同时使用的领域知识远远少于任何先前的扑克AI。
2020-11-29 cs.AI cs.GT cs.LG
Beyond Games: A Systematic Review of Neural Monte Carlo Tree Search Applications
RWTH Aachen University(亚琛工业大学)
本文系统综述了129篇神经蒙特卡洛树搜索在游戏外领域的应用,分析其结构与实践,旨在评估其成功能否扩展至其他领域,并为特定问题设计算法提供原则性指导。
2023-03-14 cs.AI cs.NE
Game Tree Search in a Robust Multistage Optimization Framework: Exploiting Pruning Mechanisms
University of Siegen(锡根大学)
我们研究所谓的量化整数线性规划(QIPs)的搜索树中的剪枝。QIPs由一组线性不等式和一个极大极小目标函数组成,其中一些变量是存在的,另一些变量是普遍量化的。它们一方面可以被解释为存在者和普遍参与者之间的两人零和博弈,另一方面也可以被解释为不确定性下的多阶段优化问题。解决方案是存在参与者的所谓获胜策略,它指定如何对通用参与者的移动做出反应-即通用量化变量的某些分配-以确保赢得游戏。QIP可以通过游戏树搜索来解决,该搜索通过非时间顺序的回跳来增强。我们开发和理论上证实修剪技术的基础上(代数)的属性类似于修剪机制,从线性规划和量化的布尔公式。所提出的策略拷贝修剪机制允许\textit{implicitly}在线性时间内推断策略的存在(通过QIP矩阵的静态检查),而不显式地遍历策略本身。我们表明,我们的研究结果的实施可以大大加快搜索过程。
2018-11-29 cs.AI cs.DM
Playing Go without Game Tree Search Using Convolutional Neural Networks
Stanford University(斯坦福大学)
围棋在东亚国家有着悠久的历史,但计算机围棋领域直到最近几年才赶上人类。虽然围棋的规则很简单,但游戏的策略和组合学非常复杂。即使在过去的几年里,依靠神经网络来评估董事会位置的新程序仍然比专业人士每秒能探索出多出许多数量级的董事会位置。我们试图通过创建一个卷积神经策略网络来模仿人类在游戏中的直觉,该网络在没有任何树搜索的情况下,应该以或高于大多数人类的水平玩游戏。我们介绍了三种结构和训练方法,旨在创建一个强大的围棋选手:非矩形卷积,这将更好地学习棋盘上的形状,监督学习,在53,000场专业比赛的数据集上进行训练,以及强化学习,在不同版本的网络之间进行比赛的训练。我们的网络已经超越了仅仅使用监督学习的中级业余爱好者的技能水平。非矩形卷积和强化学习的进一步训练和实现可能会进一步提高这种技能水平。
2019-07-02 cs.AI cs.LG
General search techniques without common knowledge for imperfect-information games, and application to superhuman Fog of War chess
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Carnegie Mellon University(卡内基梅隆大学)
Obscuro是首个在雾战国际象棋中实现超人类表现的AI,通过改进不完全信息游戏的搜索技术,实现了强大的推理能力和显著的性能优势。
2026-02-28 cs.AI cs.GT