Enhancing the Monte Carlo Tree Search Algorithm for Video Game Testing
Middle East Technical University（中东技术大学）
在本文中，我们研究了几个蒙特卡罗树搜索（MCTS）的修改视频游戏测试的效果。虽然MCTS的修改在游戏中得到了广泛的研究，但它们对发现bug的影响是空白的。我们在之前的研究中专注于bug发现，在那里我们引入了合成的和类似人类的测试目标，并且我们在Sarsa和MCTS代理中使用这些测试目标来发现bug。在这项研究中，我们扩展了MCTS代理的游戏测试目的的几个修改。此外，我们提出了一种新的树重用策略。我们通过在三个测试平台游戏上测试这些修改来进行实验，每个测试平台游戏有四个级别，总共包含45个错误。我们使用通用视频游戏人工智能（GVG-AI）框架来创建测试床游戏，并使用GVG-AI框架收集427个人类测试者轨迹。我们分析了三个部分提出的修改：我们评估其对代理的错误发现性能的影响，我们衡量他们的成功下两个不同的计算预算，我们评估他们的影响，人类相似的人一样的代理。我们的研究结果表明，MCTS修改提高了代理的错误发现性能。
2020-03-17 cs.AI
Monte-Carlo Tree Search for Simulation-based Strategy Analysis
Georgia Institute of Technology（佐治亚理工学院）
游戏通常被设计成以期望的方式塑造玩家行为;然而，设计决策如何影响游戏中的行为空间可能尚不清楚。设计师通常通过人类游戏测试来探索这个空间，这可能是耗时的，并且在耗尽可能的行为空间方面效果有限。在本文中，我们提出了使用自动规划代理人来模拟人类的不同技能水平，以产生游戏的可玩性。然后，可以从这些游戏数据中收集数据，以评估当前的游戏设计并确定其潜在的缺陷。我们在两个游戏中展示了这种技术：流行的文字游戏拼字游戏和我们自己设计的名为Cardonomicon的收藏卡片游戏。使用这些案例研究，我们展示了如何使用模拟代理模型的人类不同的技能水平，使我们能够提取指标来描述游戏的平衡（在拼字游戏的情况下）和突出潜在的设计缺陷（在Cardonomicon的情况下）。
2019-08-04 cs.AI
Playing Carcassonne with Monte Carlo Tree Search
Maynooth University（梅努斯大学）；National Autonomous University of Mexico（墨西哥国立自治大学）
蒙特卡罗树搜索（MCTS）是文献中一种相对较新的多变量抽样方法。它们可以应用于各种具有挑战性的领域，包括棋盘游戏，视频游戏和基于能量的问题等等。在这项工作中，我们将探讨使用香草MCTS和MCTS与快速行动价值估计（MCTS-RAVE）在卡尔卡松，一个随机游戏的欺骗性评分系统，其中有限的研究已经进行了游戏。我们比较了基于MCTS的方法与Star2.5算法的优势，以前报道过在卡尔卡松游戏中产生竞争力的结果时，特定领域的启发式用于评估游戏状态。我们分析的特殊性时，他们共享一个共同的奖励系统的算法所采用的策略。基于MCTS的方法始终优于Star2.5算法，因为它们能够找到并遵循长期策略，其中香草MCTS表现出比MCTS-RAVE更强大的游戏性。
2020-10-04 cs.AI
Competing in a Complex Hidden Role Game with Information Set Monte Carlo Tree Search
University of Minnesota（明尼苏达大学）
智能博弈代理的进步导致了像围棋这样的完全信息博弈和像扑克这样的不完全信息博弈的成功。信息集蒙特卡罗树搜索（ISMCTS）系列算法在不完全信息博弈中优于以前使用蒙特卡罗方法的算法。在本文中，单观察者信息集蒙特卡罗树搜索（SO-ISMCTS）被应用到秘密希特勒，一个流行的社会推理棋盘游戏，结合了传统的隐藏角色机制与随机性的卡甲板。这种组合导致了一个比隐藏角色和卡片组机制更复杂的信息模型。在10108个模拟游戏中，SO-ISMCTS和基于规则的智能体一样有效，证明了ISMCTS算法在复杂信息集领域的潜力。
2020-05-14 cs.AI cs.MA
Elastic Monte Carlo Tree Search with State Abstraction for Strategy Game Playing
Queen Mary University of London（伦敦玛丽女王大学）；Leibniz University Hannover（汉诺威莱布尼茨大学）
战略视频游戏挑战人工智能智能体与他们的组合搜索空间所造成的复杂的游戏元素。状态抽象是一种降低状态空间复杂度的流行技术。然而，目前的游戏状态抽象方法依赖于领域知识，使其应用到新的游戏昂贵。不需要领域知识的状态抽象方法在规划领域得到了广泛的研究。然而，没有证据表明它们可以很好地适应策略游戏的复杂性。在本文中，我们提出了弹性MCTS，一个算法，使用状态抽象玩策略游戏。在Elastic MCTS中，树的节点是动态聚类的，首先通过状态抽象逐渐分组在一起，然后在达到迭代阈值时分离。这种弹性变化既得益于状态抽象带来的高效搜索，又避免了状态抽象对整个搜索的负面影响。为了评估我们的方法，我们利用通用策略游戏平台Stratega来生成不同复杂度的场景。结果表明，弹性MCTS优于MCTS基线有很大的利润，同时减少了$10$的一个因素的树的大小。代码可以在：https://github.com/egg-west/Stratega上找到
2022-05-30 cs.AI
Enhancements for Real-Time Monte-Carlo Tree Search in General Video Game Playing
Maastricht University（马斯特里赫特大学）
本文针对通用视频游戏博弈中实时蒙特卡洛树搜索提出八种增强方法，单独应用多数可显著提升胜率，组合后使六十款游戏平均胜率从31.0%提升至48.4%，接近2015年GVG-AI竞赛顶尖水平。
2024-07-03 cs.AI
Deep Learning for Reward Design to Improve Monte Carlo Tree Search in ATARI Games
University of Michigan, Ann Arbor（密歇根大学安娜堡分校）
事实证明，蒙特卡罗树搜索（MCTS）方法在规划顺序决策问题（例如围棋和视频游戏）方面非常强大，但当规划深度和采样轨迹有限或奖励稀疏时，它们的性能可能会很差。我们提出了一个自适应的PGRD（策略梯度奖励设计）学习奖励奖金函数，以改善UCT（MCTS算法）。与以前的PGRD应用程序中，奖励奖金函数的空间被限制为手工编码的状态-动作-功能的线性函数不同，我们使用PGRD与多层卷积神经网络，以自动学习原始感知的功能，以及适应非线性奖励奖金函数参数。我们还采用了一个方差减少梯度的方法来改善PGRD的性能。与没有奖励奖金的UCT相比，新方法提高了UCT在多个ATARI游戏上的性能。以这种方式将PGRD和深度学习结合起来，应该会使MCTS算法的适应性奖励比以前更加广泛和实用。
2016-04-24 cs.AI
Development and Application of a Monte Carlo Tree Search Algorithm for Simulating Da Vinci Code Game Strategies
University of Pittsburgh（匹兹堡大学）；Miami University（迈阿密大学）；University of Washington（华盛顿大学）；Warner Bro. Discovery（华纳兄弟探索公司）；Columbia University（哥伦比亚大学）；Duke University（杜克大学）
本研究开发并评估了蒙特卡洛树搜索算法的两个变体，发现达芬奇密码游戏的分支发散在GPU上导致非线性性能与低谷，而CPU实现呈线性提升，为并行架构下的策略优化提供了关键见解。
2024-03-15 cs.AI
Perfect Information Monte Carlo with Postponing Reasoning
Potassco Solutions（Potassco解决方案公司）
针对不完美信息博弈中策略融合问题，提出扩展完美信息蒙特卡洛（EPIMC）算法，通过延迟完美信息解析增强PIMC性能，实证显示其在策略融合影响显著的博弈中表现提升，为相关算法提供理论基础。
2024-08-05 cs.AI
Split Moves for Monte-Carlo Tree Search
University of Wrocław（弗罗茨瓦夫大学）；Maastricht University（马斯特里赫特大学）
在许多游戏中，移动由玩家做出的几个决定组成。这些决定可以被视为单独的动作，这在多动作游戏中已经是一种常见的做法，因为效率的原因。这种将一个牌手的棋步划分成一系列简单/较低级别的棋步的做法称为\emph{splitting}。到目前为止，分裂走法只应用于上述简单的情况下，而且几乎没有研究表明它对代理人的发挥强度的影响。以知识自由的角度来看，我们的目标是回答如何有效地使用蒙特卡罗树搜索（MCTS）中的分裂移动和分裂设计对代理人的实力有什么实际影响。本文提出了一个推广的MCTS，工作与任意分割移动。我们设计了几种变化的算法，并尝试分别衡量分裂移动的效率，质量的MCTS，模拟和基于动作的算法的影响。测试进行了一组棋盘游戏，并使用常规的棋盘游戏一般的游戏形式主义，其中不同粒度的分割策略可以自动派生的基础上的抽象描述的游戏。结果给出了一个概述的行为的代理使用分裂设计在不同的方式。我们的结论是，分裂设计可以大大有利于单以及多动作游戏。
2021-12-14 cs.AI
Beyond Games: A Systematic Review of Neural Monte Carlo Tree Search Applications
RWTH Aachen University（亚琛工业大学）
本文系统综述了129篇神经蒙特卡洛树搜索在游戏外领域的应用，分析其结构与实践，旨在评估其成功能否扩展至其他领域，并为特定问题设计算法提供原则性指导。
2023-03-14 cs.AI cs.NE
Combining Monte-Carlo Tree Search with Proof-Number Search
Maastricht University（马斯特里赫特大学）
证明数搜索（PNS）和蒙特卡罗树搜索（MCTS）已成功地应用于一系列游戏的决策。本文提出了一种新的方法称为PN-MCTS，结合这两个树搜索方法，将证明和反证数的概念到MCTS的UCT公式。实验结果表明，PN-MCTS优于基本的MCTS在几个游戏，包括行动线，迷你将棋，骑士通过，Awari，实现胜率高达94.0%。
2022-06-08 cs.AI
Injecting Combinatorial Optimization into MCTS: Application to the Board Game boop
AIST（日本国立研究开发法人产业技术综合研究所）
本文提出将组合优化注入 Monte Carlo Tree Search 以增强博弈树搜索，并在 boop. 中通过消融实验和人类对战验证了其显著性能。
2024-06-13 cs.AI
StarAlgo: A Squad Movement Planning Library for StarCraft using Monte Carlo Tree Search and Negamax
Czech Technical University in Prague（捷克技术大学）
即时战略（RTS）游戏最近已经成为人工智能研究的热门试验平台。它们代表了一个复杂的对抗领域，提供了许多有趣的人工智能挑战。有各种各样的研究支持软件工具，库和框架，特别是一个RTS游戏-星际争霸：母巢战争。这些工具旨在解决各种具体的子问题，如资源分配或对手建模，使研究人员可以专注于与他们相关的任务。我们提出了一个这样的工具-一个名为StarAlgo的库，它可以为游戏世界中的小队（战斗单位组）的协调运动制定计划。StarAlgo库可以使用以下两种算法之一来解决小队移动规划问题：考虑持续时间的蒙特卡罗树搜索（MCTSCD）和Negamax的略微修改版本。我们评估这两种算法，比较它们，并演示它们的用法。这个库是作为一个静态C++库实现的，可以很容易地插入到大多数星际AI机器人中。
2018-12-29 cs.AI
Analysis of Vanilla Rolling Horizon Evolution Parameters in General Video Game Playing
University of Essex（埃塞克斯大学）
蒙特卡罗树搜索技术通常主导一般视频游戏，但最近的研究已经开始关注进化算法及其在匹配树搜索游戏水平甚至优于这些方法的潜力。在线或滚动地平线进化是可用于在一般视频游戏中进化计划动作序列的选项之一，但迄今为止还没有研究探索该算法的香草版本在多个游戏中的功能。本研究旨在批判性地分析来自通用视频游戏AI语料库的一组20个游戏中关于人口规模和个体长度的不同配置。确定性和随机游戏之间的区别，并使用优越的时间预算的影响进行了研究。结果表明，有使用这些技术的范围，在某些配置优于蒙特卡罗树搜索，也表明，在这些方法的进一步研究可以提高他们的性能。
2017-04-24 cs.AI
Population Seeding Techniques for Rolling Horizon Evolution in General Video Game Playing
University of Essex（埃塞克斯大学）
虽然蒙特卡罗树搜索和密切相关的方法已经主导了一般的视频游戏，最近的研究表明滚动地平线进化算法作为一个有趣的替代方案的承诺。然而，在一般的实时视频游戏中，很少有人关注种群初始化技术。因此，本文提出了使用人口播种来提高滚动水平进化的性能，并给出了两种方法的结果，一步向前看和蒙特卡罗树搜索，测试了20个游戏的一般视频游戏AI语料库与多个进化参数值（人口大小和个体长度）。并对这两种播种方法的结果与经典的滚动时域进化算法进行了深入的分析。此外，本文提出了一个比较的蒙特卡罗树搜索算法。结果是有希望的，播种能够显着提高性能超过基线进化，甚至匹配高水平的发挥所获得的蒙特卡罗树搜索。
2017-04-23 cs.AI cs.NE
Monte Carlo Tree Search with Heuristic Evaluations using Implicit Minimax Backups
Maastricht University（马斯特里赫特大学）；University of Denver（丹佛大学）
蒙特卡罗树搜索（MCTS）提高了围棋、十六进制和一般游戏等领域的游戏引擎的性能。MCTS已被证明在难以获得良好启发式评估的游戏中优于经典的alpha-beta搜索。近年来，在MCTS中结合传统的极大极小搜索的思想已经被证明在某些领域是有利的，例如行动线，亚马逊和突破。在本文中，我们提出了一种新的方法来使用启发式评估，以指导MCTS搜索存储的两个来源的信息，估计的胜率和启发式评估，分别。而不是使用启发式的评估，以取代播放，我们的技术支持他们隐式在MCTS模拟。这些极小极大值然后用于指导未来的模拟。我们表明，使用隐式极大极小备份导致更强的发挥性能在卡拉，突破，和行动线。
2014-06-19 cs.AI
Proof Number Based Monte-Carlo Tree Search
Faculty of Mathematics and Computer Science, University of Wrocław（弗罗茨瓦夫大学数学与计算机科学学院）；Department of Advanced Computing Sciences, Maastricht University（马斯特里赫特大学高级计算科学系）
提出结合蒙特卡洛树搜索与证明数搜索的PN-MCTS算法，在多个博弈中超越MCTS，最高胜率达96.2%。
2024-05-29 cs.AI
The Mathematical Game
Université Paris Dauphine - PSL（巴黎多芬大学-PSL大学）；CNRS（法国国家科学研究中心）
本文提出用其他博弈树搜索算法改进结合 MCTS 与神经网络的 Holophrasm 定理证明器，以提升自动定理证明性能。
2023-09-22 cs.AI
Monte Carlo Search Algorithm Discovery for One Player Games
University of Liège（列日大学）
目前人工智能和游戏中的许多研究都致力于蒙特卡罗搜索（MCS）算法。虽然寻求一种能够在所有问题上表现良好的统一MCS算法是人工智能的主要兴趣，但从业者通常提前知道他们想要解决的问题，并花费大量时间利用这些知识以问题驱动的方式定制他们的MCS算法。我们提出了一个MCS算法的发现计划，以自动和可重复的方式来执行这一点。我们首先介绍了一个语法的MCS算法，使诱导一个丰富的候选算法空间。然后，我们在这个空间中搜索对于给定的训练问题分布平均表现最好的算法。我们依靠多武装土匪近似解决这个优化问题。在三个不同的域上生成的实验表明，我们的方法可以发现优于几个著名的MCS算法，如适用于树和嵌套蒙特卡罗搜索的置信上限算法。我们还表明，所发现的算法通常是相当强大的变化在训练问题的分布。
2012-12-18 cs.AI cs.GT
Combat Models for RTS Games
Drexel University（德雷塞尔大学）
游戏树搜索算法，例如蒙特卡罗树搜索（MCTS），需要访问当前游戏的正向模型（或“模拟器”）。然而，在某些游戏中，这种前向模型并不容易获得。本文提出了三个前向模型的两个球员消耗游戏，我们称之为“战斗模型”，并展示了如何使用它们来模拟RTS游戏中的战斗。我们还展示了如何从重放数据中学习这些战斗模型。我们使用星际争霸作为我们的应用领域。我们报告的实验比较我们的战斗模型预测的战斗输出和它们的影响时，用于在一个真正的游戏中的战术决策。
2016-05-17 cs.AI
Know your Enemy: Investigating Monte-Carlo Tree Search with Opponent Models in Pommerman
Technical University of Darmstadt（达姆施塔特工业大学）；DFKI（德国人工智能研究中心）
研究将一般和多人博弈转换为单人或双人游戏的技术，通过结合对手模型与蒙特卡洛树搜索，在Pommerman环境中验证了该多人搜索变体在监督和强化学习中的有效性。
2023-05-22 cs.AI
Accelerating Nash Equilibrium Convergence in Monte Carlo Settings Through Counterfactual Value Based Fictitious Play
School of Artificial Intelligence and Automation, Huazhong University of Science and Technology（华中科技大学人工智能与自动化学院）
针对多数CFR改进无法用于蒙特卡洛条件的问题，提出MCCFVFP，融合反事实价值与虚拟博弈最优响应，在高比例被占优策略博弈中收敛更快。
2024-10-27 cs.AI cs.GT cs.LG
Ordinal Monte Carlo Tree Search
Technische Universität Darmstadt（达姆施塔特工业大学）
在许多问题设置中，最明显的是在游戏中，智能体可能会因其行为而获得延迟的奖励。通常，这些奖励是手工制作的，而不是自然给予的。即使是简单的终端奖励，比如赢等于1，输等于-1，也不能被视为无偏的声明，因为这些值是任意选择的，学习者的行为可能会随着不同的编码而改变，比如将输的值设置为-0：5，这在实践中经常被用来鼓励学习。很难争论好的奖励，代理的表现往往取决于奖励信号的设计。特别地，在状态本质上仅具有顺序排名并且游戏状态值之间的有意义的距离信息不可用的域中，数字奖励信号必然是有偏的。在本文中，我们看一看蒙特卡罗树搜索（MCTS），一个流行的算法来解决MDPs，突出一个重复出现的问题，其使用的奖励，并表明，一个有序的治疗的奖励克服了这个问题。使用一般的视频游戏播放框架，我们展示了我们新提出的顺序MCTS算法的优势，基于偏好的MCTS，香草MCTS和其他各种MCTS变体。
2019-01-14 cs.AI
Multiple Policy Value Monte Carlo Tree Search
National Chiao Tung University（国立交通大学）；Pervasive Artificial Intelligence Research (PAIR) Labs（普适人工智能研究（PAIR）实验室）
许多最强大的游戏程序使用蒙特卡罗树搜索（MCTS）和深度神经网络（DNN）的组合，其中DNN用作策略或值评估器。给定有限的预算，例如在线游戏或在AlphaZero（AZ）训练的自我游戏阶段，需要在准确的状态估计和更多的MCTS模拟之间达到平衡，这两者对于强大的游戏代理都是至关重要的。通常，较大的DNN在泛化和准确评估方面更好，而较小的DNN成本更低，因此可以在相同的预算下产生更多的MCTS模拟和更大的搜索树。本文提出了一种新的策略值MCTS（MPV-MCTS）方法，它将不同规模的多策略值神经网络（PV-NN）结合起来，以保留每个网络的优点，其中使用了两个PV-NN f_S和f_L。我们通过对NoGo博弈的实验表明，组合的f_S和f_L MPV-MCTS优于具有策略值MCTS的单个PV-NN，称为PV-MCTS。此外，MPV-MCTS在AZ训练方面也优于PV-MCTS。
2019-05-31 cs.AI
Improve Value Estimation of Q Function and Reshape Reward with Monte Carlo Tree Search
本文针对非完美信息游戏Uno中Q值高估和奖励稀疏问题，提出利用蒙特卡洛树搜索平均Q值估计并重塑奖励的通用算法，实验证明其优于多种传统方法。
2024-10-23 cs.AI cs.LG cs.MA
Variance Reduction in Monte Carlo Counterfactual Regret Minimization (VR-MCCFR) for Extensive Form Games using Baselines
DeepMind（深度思维）；University of Alberta（阿尔伯塔大学）
从交互样本中学习不完全信息博弈策略是一个具有挑战性的问题。这种情况下的一种常用方法，蒙特卡罗反事实后悔最小化（MCCFR），由于方差很大，长期收敛速度很慢。在本文中，我们介绍了一种方差减少技术（VR-MCCFR），适用于任何采样变量的MCCFR。使用这种技术，每次迭代的估计值和更新被重新制定为采样值和状态动作基线的函数，类似于它们在策略梯度强化学习中的使用。新的公式允许从同一事件中的其他估计中自举估计，沿着采样轨迹传播基线的好处;即使从其他估计中自举，估计仍然是无偏的。最后，我们表明，给定一个完美的基线，值估计的方差可以减少到零。实验结果表明，VR-MCCFR带来了一个数量级的加速，而经验方差减少了三个数量级。降低的方差允许CFR+首次与采样一起使用，将加速提高到两个数量级。
2018-09-09 cs.AI cs.GT
Ordinal Monte Carlo Tree Search
在许多问题设置中，最明显的是在游戏中，智能体可能会因其行为而获得延迟的奖励。通常，这些奖励是手工制作的，而不是自然给予的。即使是简单的终端奖励，比如赢等于1，输等于负1，也不能被视为无偏的声明，因为这些值是任意选择的，学习者的行为可能会随着不同的编码而改变。很难争论好的奖励，代理的表现往往取决于奖励信号的设计。特别地，在状态本质上仅具有顺序排名并且游戏状态值之间的有意义的距离信息不可用的域中，数字奖励信号必然是有偏的。在本文中，我们看看MCTS，一个流行的算法来解决MDPs，突出一个重复出现的问题，其使用的奖励，并表明，有序的治疗的奖励克服了这个问题。使用一般的视频游戏播放框架，我们展示了我们新提出的顺序MCTS算法优于其他MCTS变体的优势，基于一种新的强盗算法，我们还介绍和测试与UCB。
2021-01-26 cs.AI
Learning to Win by Reading Manuals in a Monte-Carlo Framework
Massachusetts Institute of Technology（麻省理工学院）；University College London（伦敦大学学院）
领域知识对于自主控制系统的有效性能至关重要。通常，需要人工努力将这些知识编码到控制算法中。在本文中，我们提出了一种方法，自动解释文本的背景下，一个复杂的控制应用程序，如游戏，并使用领域知识提取的文本，以提高控制性能的语言接地。文本分析和控制策略都只使用应用程序固有的反馈信号来共同学习。为了有效地利用文本信息，我们的方法自动提取与当前游戏状态最相关的文本片段，并使用以任务为中心的谓词结构对其进行标记。然后，这个标记的文本被用来偏向游戏的动作选择策略，将其引导到动作空间的有希望的区域。我们将我们的模型编码为文本分析和多层神经网络中的游戏，通过隐藏层中的潜在变量表示语言决策，并通过输出层表示游戏动作质量。在Monte-Carlo搜索框架内操作，我们使用来自模拟游戏的反馈来估计模型参数。我们将我们的方法应用于复杂的战略游戏文明II，使用官方游戏手册作为文本指南。我们的研究结果表明，一个语言上知情的游戏代理显着优于其语言不知情的对手，产生了34%的绝对改善，并赢得了超过65%的游戏时，对内置的AI文明。
2014-01-18 cs.AI cs.CL cs.LG
MCTS Based Agents for Multistage Single-Player Card Game
Warsaw University of Technology（华沙理工大学）
本文介绍了蒙特卡罗树搜索算法在纸牌游戏《指环王》中的应用。主要的挑战是游戏机制的复杂性，其中每一轮由5个决策阶段和2个随机阶段组成。为了测试各种决策算法，已经实现了一个游戏模拟器。该研究涵盖了基于专家规则的代理，使用平坦的蒙特卡罗搜索，以及完整的MCTS-UCB。此外，不同的播放策略进行了比较。作为实验的结果，最佳的（假设有限的时间）组合的算法制定。基于MCTS的方法比具有专家知识的代理具有优势。
2021-09-24 cs.AI cs.LG
Combinatorial Multi-armed Bandits for Real-Time Strategy Games
Drexel University（德雷塞尔大学）
具有大分支因子的博弈对博弈树搜索算法提出了重大挑战。在本文中，我们解决这个问题的蒙特卡罗树搜索（MCTS）算法的抽样策略称为{ \em天真抽样}，基于一个变种的多臂强盗问题称为{ \em组合多臂强盗}（CMAB）。我们分析了{ \em naïve sampling}的几种变体的理论特性，并将其与文献中其他现有的CMAB策略进行了实证比较。然后，我们评估这些战略的背景下，实时的【形】战略（RTS）游戏，一种类型的计算机游戏，其特点是非常大的分支因子。我们的研究结果表明，随着分支因子的增长，{ \em朴素采样}优于其他采样策略。
2017-10-13 cs.AI
Adapting Improved Upper Confidence Bounds for Monte-Carlo Tree Search
University of Tokyo（东京大学）
UCT算法结合了UCB算法和蒙特卡罗树搜索（MCTS），是目前MCTS最广泛使用的变体。最近，一些调查应用其他强盗算法MCTS产生了有趣的结果。在这项研究中，我们将调查的可能性相结合的改进UCB算法，提出了Auer等人。（2010年），与MCTS。然而，改进的UCB算法的各种特性和属性对于直接应用于MCTS可能不是理想的。为此，对改进的UCB算法进行了改进，使其更适合于博弈树搜索任务。Mi-UCT算法是UCB算法在树上的应用。Mi-UCT的性能在$9\times 9$ Go和$9\times 9$ NoGo的游戏上得到了证明，并且已经表明，当仅给出少量播放时，Mi-UCT的性能优于普通UCT算法，并且当更多播放可用时，Mi-UCT的性能大致相同。
2015-05-11 cs.AI
Valet: A Standardized Testbed of Traditional Imperfect-Information Card Games
Hendrix College（亨利克斯学院）；ICTEAM, UCLouvain（ICTEAM，乌斯特大学）
Valet是一个包含21种传统不完全信息卡牌游戏的标准化测试平台，通过编码规则和实证分析为AI算法提供基准测试环境。
2026-03-03 cs.AI
NSGZero: Efficiently Learning Non-Exploitable Policy in Large-Scale Network Security Games with Neural Monte Carlo Tree Search
Nanyang Technological University（南洋理工大学）
如何部署资源以保护网络中的关键目标可以通过网络安全游戏（NSG）来建模。虽然深度学习（DL）的最新进展提供了处理大规模NSG的强大方法，但是诸如NSG-NFSP的DL方法遭受数据效率低下的问题。此外，由于集中控制，它们无法扩展到具有大量资源的场景。在本文中，我们提出了一种新的基于DL的方法，NSGZero，学习NSG中的不可利用的策略。NSGZero通过使用神经蒙特卡罗树搜索（MCTS）执行规划来提高数据效率。我们的主要贡献有三方面。首先，我们设计了深度神经网络（DNN）来在NSG中执行神经MCTS。其次，我们使神经MCTS与分散控制，使NSGZero适用于NSG与许多资源。第三，我们提供了一个有效的学习范式，以实现NSGZero中DNN的联合训练。与最先进的算法相比，我们的方法实现了更好的数据效率和可扩展性。
2022-01-17 cs.AI cs.CR cs.LG
Ordinal Bucketing for Game Trees using Dynamic Quantile Approximation
TU Darmstadt（达姆施塔特工业大学）
在本文中，我们提出了一个简单而廉价的顺序桶算法，近似产生$q$ -分位数从增量数据流。在桶$q$的量随着所看到的样本的数量而增加的意义上，动态地进行分桶。我们展示了如何使用有序蒙特卡罗树搜索（OMCTS），以产生更好的时间和空间复杂度的界限，特别是在存在噪声的奖励。除了复杂性分析和质量测试的分位数，我们评估我们的方法使用OMCTS在通用视频游戏框架（GVGAI）。我们的研究结果表明，它的优势香草蒙特卡罗树搜索在噪声的存在下，OMCTS没有桶有一个非常糟糕的时间和空间复杂度。
2019-05-31 cs.AI cs.LG
Count-Based Exploration with Neural Density Models
DeepMind
Bellemare et al.（2016）引入了伪计数的概念，它来自密度模型，将基于计数的探索推广到非表格强化学习。该伪计数用于为DQN代理生成探索奖励，并与混合蒙特卡罗更新相结合，足以在Atari 2600游戏Montezuma's Revenge上实现最先进的水平。我们考虑两个问题留下开放的工作：第一，有多重要的是质量的密度模型的勘探？第二，蒙特卡罗更新在探索中扮演什么角色？我们通过演示PixelCNN（一种先进的图像神经密度模型）的使用来回答第一个问题，以提供伪计数。特别是，我们研究的内在困难，在适应贝勒马尔等。的方法时，违反了有关模型的假设。其结果是一个更实用和通用的算法，不需要特殊的设备。我们将PixelCNN伪计数与不同的代理架构相结合，以显着提高几个硬Atari游戏的最新技术水平。一个令人惊讶的发现是，混合蒙特卡罗更新是一个强大的促进剂的探索稀疏的设置，包括蒙特祖玛的复仇。
2017-06-14 cs.AI
A Fast Evolutionary adaptation for MCTS in Pommerman
Queen Mary University of London（伦敦玛丽女王大学）
当人工智能与游戏相结合时，它是研究和推进该领域的理想结构。多智能体游戏对每个智能体都有多个控制，这会产生大量的数据，同时增加搜索的复杂性。因此，我们需要先进的搜索方法来找到解决方案并创建人工智能代理。在本文中，我们提出了我们的新的进化蒙特卡罗树搜索（FEMCTS）代理，它借鉴了进化算法（EA）和蒙特卡罗树搜索（MCTS）玩游戏的Pommerman。它在高可观测性设置中的性能明显优于滚动地平线进化算法（RHEA），并且对于大多数游戏种子，它的性能几乎与MCTS一样好，在某些情况下优于MCTS。
2021-11-26 cs.AI cs.GT
Multiplayer AlphaZero
Georgia Institute of Technology（佐治亚理工学院）
AlphaZero算法在两人、确定性、零和游戏中实现了超人的性能，其中游戏状态的完美信息是可用的。这种成功已经在国际象棋、将棋和围棋中得到了证明，在这些游戏中，学习完全是通过自我游戏进行的。许多现实世界的应用程序（例如，股票交易）需要考虑多人游戏环境。在这项工作中，我们提出了新的修改的AlphaZero算法，以支持多人游戏环境，并在两个简单的3人游戏的方法进行评估。我们的实验表明，多人AlphaZero学习成功，并始终优于竞争方法：蒙特卡罗树搜索。这些结果表明，我们修改后的AlphaZero可以在多人游戏场景中学习有效的策略。我们的工作支持在多人游戏中使用AlphaZero，并建议未来研究更复杂的环境。
2019-12-09 cs.AI
Re-determinizing Information Set Monte Carlo Tree Search in Hanabi
本技术报告记录了2018年Hanabi游戏计算智能（CIG）竞赛的获胜者。我们介绍了重新确定IS-MCTS，一种新的扩展信息集蒙特卡罗树搜索（IS-MCTS），防止泄漏的隐藏信息到对手的模型，可以发生在IS-MCTS，特别是在Hanabi严重。重新确定IS-MCTS分数更高的Hanabi为2-4名球员比以前发表的工作在比赛的时候。考虑到每次移动的40 ms竞争时间限制，我们使用学习的评估函数来估计叶节点值，并避免在MCTS期间进行完全模拟。对于混合赛道比赛，其中其他选手的身份是未知的，使用简单的贝叶斯对手模型，该模型随着每场比赛的进行而更新。
2019-05-14 cs.AI cs.LG
Generalized Proof-Number Monte-Carlo Tree Search
University of Wroc{\l}aw（沃什堡大学）；Maastricht University（马斯特里赫特大学）
针对现有证明数搜索与蒙特卡洛树搜索结合方法的局限，本文提出三项核心改进，推广出广义证明数蒙特卡洛树搜索，在11款测试棋盘游戏中的8款实现了80%左右的性能提升。
2025-06-16 cs.AI
Asymmetric Move Selection Strategies in Monte-Carlo Tree Search: Minimizing the Simple Regret at Max Nodes
University of Tokyo（东京大学）
多臂强盗（MAB）算法与蒙特卡罗树搜索（MCTS）算法的结合在各个研究领域产生了重大影响。将UCB强盗算法与MCTS相结合的UCT算法就是这种结合的成功例子。AlphaGo最近取得的突破，将卷积神经网络与强盗算法融合在MCTS中，也凸显了强盗算法在MCTS中的必要性。然而，尽管对MCTS进行了各种研究，但几乎所有的研究仍然遵循将每个节点视为MAB问题的独立实例的范式，并在每个节点上应用相同的强盗算法和算法。因此，这种范例可能会留下游戏树的一些属性未被利用。在这项工作中，我们提出了最大节点和最小节点有不同的关注点，他们的价值估计，不同的强盗算法应相应地应用。我们开发了Aapric-MCTS算法，这是一个MCTS的变种，适用于一个简单的遗憾算法的最大节点，和最小节点的UCB算法。我们将在$9\times 9$ Go、$9\times 9$ NoGo和Othello游戏上演示AACHIC-MCTS算法的性能。
2016-05-08 cs.AI
Batch Monte Carlo Tree Search
LAMSADE Université Paris-Dauphine, PSL, CNRS（巴黎第九大学多学科应用数学与决策系统实验室，巴黎文理研究大学，法国国家科学研究中心）
使用深度神经网络对一批状态进行推断比使用GPU对一个又一个状态进行推断要快得多。我们建立在这个属性，提出蒙特卡罗树搜索算法，使用批量推理。而不是使用一个搜索树或一个换位表，我们建议在同一算法中使用两者。转置表包含推理的结果，而搜索树包含蒙特卡罗树搜索的统计。我们还建议分析多个算法，提高搜索：$μ$ FPU，虚拟平均值，最后一次迭代和第二次移动算法。它们使用MobileNet神经网络进行围棋比赛的评估。
2021-04-09 cs.AI
Dual Monte Carlo Tree Search
Northeastern University（东北大学）
AlphaZero使用深度神经网络和蒙特卡罗树搜索（MCTS）的组合，成功地以tabula-rasa的方式训练了强化学习代理。神经MCTS算法已经成功地通过自我游戏找到了接近最优的游戏策略。然而，AlphaZero算法有一个明显的缺点;它需要很长的时间来收敛，并需要高的计算能力，由于复杂的神经网络解决像国际象棋，围棋，将棋等游戏，由于这一点，这是很难追求神经MCTS研究没有尖端的硬件，这是许多有抱负的神经MCTS研究人员的一个障碍。在本文中，我们提出了一种新的神经MCTS算法，称为双MCTS，这有助于克服这些缺点。双MCTS使用两种不同的搜索树，一个深度神经网络，以及一种新的搜索树更新技术，该技术使用PUCB、滑动窗口和搜索-贪心算法的组合。该技术适用于任何基于MCTS的算法，以减少对树的更新次数。我们表明，双MCTS表现优于最广泛使用的神经MCTS算法之一，AlphaZero，各种对称和非对称的游戏。
2021-10-10 cs.AI cs.MA
Monte Carlo Graph Coloring
Université Paris-Dauphine（巴黎多芬大学）；PSL University（巴黎文理大学）；CNRS（法国国家科学研究中心）；LAMSADE（决策实验室）
本文针对图着色问题中精确方法难以处理大规模实例的局限，提出将NMCS和NRPA等蒙特卡洛搜索算法高效应用于图着色，并与现有方法进行了对比评估。
2025-04-04 cs.AI
Monte Carlo Permutation Search
提出一种改进GRAVE算法的通用蒙特卡洛树搜索算法MCPS，通过利用路径上所有节点的统计信息，在多种游戏中优于GRAVE，并给出了统计权重公式的数学推导。
2026-05-25 cs.AI cs.LG
Improving Search with Supervised Learning in Trick-Based Card Games
University of Alberta（阿尔伯塔大学）
在纸牌游戏中，状态采样和评估的两步过程被广泛用于近似移动值。虽然评估组件至关重要，但移动值估计的准确性也从根本上与抽样分布与真实分布的对应程度有关。尽管如此，最近在纸牌游戏AI方面的工作主要集中在改进评估算法上，而在改进采样方面的工作有限。在本文中，我们专注于采样对球员的实力的影响，并提出了一种新的方法，采样更现实的状态移动历史。特别是，我们使用深度神经网络对单个卡片的位置进行预测-这种技术与完美信息蒙特卡罗（PIMC）搜索结合使用，在流行的Skat纸牌游戏中提供了纸牌游戏强度的大幅增加。
2019-03-22 cs.AI
Cross-Entropy Games and Frost Training
Xent Labs（Xent实验室）；Université Lyon 1（里昂1大学）
提出Frost训练方法，利用奖励函数在嵌入空间中的梯度改进基于蒙特卡洛的策略优化，用于解决一类称为交叉熵博弈的LLM-as-a-judge任务，在最佳k选择中实现更高最大分数并加速训练。
2026-05-30 cs.AI
Single-Agent Optimization Through Policy Iteration Using Monte-Carlo Tree Search
University of Alberta（阿尔伯塔大学）
蒙特卡罗树搜索（MCTS）和深度强化学习的结合是两人完全信息博弈中的最新技术。在本文中，我们描述了一种搜索算法，使用MCTS的一个变体，我们增强了1）一种新的动作值规范化机制的游戏与潜在的无限奖励（这是在许多优化问题的情况下），2）定义一个虚拟的损失函数，使有效的搜索并行化，和3）的政策网络，训练的几代人的自我发挥，以指导搜索。我们衡量我们的方法在“SameGame”-一个流行的单人游戏测试域的有效性。我们的实验结果表明，我们的方法优于基线算法在几个电路板尺寸。此外，它与最先进的搜索算法在公共位置集上具有竞争力。
2020-05-22 cs.AI cs.LG
Transformer Based Planning in the Observation Space with Applications to Trick Taking Card Games
University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所（Amii））
针对不完全信息博弈中传统搜索算法的局限性，提出GO-MCTS方法，利用仅依赖观察的Transformer模型在观察空间内执行MCTS，并通过基于种群的自我博弈迭代训练，在Hearts等吃墩牌游戏中取得可喜成果。
2024-04-19 cs.AI cs.LG
Requirement-Based Testing: Enhancing Reinforcement Learning with Game Theory
Univ Rennes（雷恩大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Mitsubishi Electrics R&D Centre Europe（三菱电机欧洲研发中心）；Mitsubishi Electric Corporation（三菱电机株式会社）
针对反应式实现的黑盒测试用例在线合成问题，提出基于蒙特卡洛树搜索并结合博弈论启发式的方法，加速算法收敛并提升测试性能。
2026-10-08 cs.AI cs.GT cs.LG
Monte Carlo Tree Search: A Review of Recent Modifications and Applications
Warsaw University of Technology（华沙理工大学）；AGH University of Science and Technology（AGH科技大学）；QED Software（QED软件公司）
本文综述了2012年以来蒙特卡洛树搜索（MCTS）在复杂博弈及实际应用领域中的特定问题修改与混合方法。
2022-06-11 cs.AI cs.LG cs.MA
Robust Deep Monte Carlo Counterfactual Regret Minimization: Addressing Theoretical Risks in Neural Fictitious Self-Play
本文提出鲁棒深度MCCFR框架，通过自适应组件部署提升大规模博弈的对抗性能，实验显示在Kuhn和Leduc扑克中取得显著改进。
2026-01-28 cs.AI cs.GT stat.ML
Lookahead Pathology in Monte-Carlo Tree Search
University of Texas at Dallas（德克萨斯大学达拉斯分校）；Davidson College（戴维森学院）
本文研究蒙特卡洛树搜索中UCT算法在对抗环境下是否会出现“搜索越深决策越差”的前瞻病态现象，通过构造一类可分析的合成博弈，从理论与实验两方面证实了UCT确实存在该病态行为。
2024-06-07 cs.AI cs.MA
From Imitation to Interaction: Mastering Game of Schnapsen with Shallow Reinforcement Learning
Vrije Universiteit Amsterdam（弗里兹大学阿姆斯特丹）
本文研究浅层神经网络代理是否能掌握纸牌游戏斯纳普森，并挑战使用蒙特卡洛采样和前瞻搜索的强搜索基线RdeepBot。通过逐步更复杂的实验设计，首先评估了基于回放数据训练的监督学习代理（MLPBot）以及通过异步蒙特卡洛更新和经验回放训练的强化学习代理（RLBot）。结果表明，监督模仿不足以击败强RdeepBot对手，而强化学习产生了更强的代理。在聚焦RdeepBot深度参数的设置中，最佳性能是在学习的价值函数与游戏过程中更深层次的前瞻搜索结合时实现的，使RLBot在最强的RdeepBot基线下实现了统计显著更高的胜率。在基于样本的设置中，收益更具条件性：最强性能出现在相对较低的训练num_samples参数下，而不是随着更强采样均匀增加。
2026-05-16 cs.AI cs.LG
