Ordinal Monte Carlo Tree Search
在许多问题设置中，最明显的是在游戏中，智能体可能会因其行为而获得延迟的奖励。通常，这些奖励是手工制作的，而不是自然给予的。即使是简单的终端奖励，比如赢等于1，输等于负1，也不能被视为无偏的声明，因为这些值是任意选择的，学习者的行为可能会随着不同的编码而改变。很难争论好的奖励，代理的表现往往取决于奖励信号的设计。特别地，在状态本质上仅具有顺序排名并且游戏状态值之间的有意义的距离信息不可用的域中，数字奖励信号必然是有偏的。在本文中，我们看看MCTS，一个流行的算法来解决MDPs，突出一个重复出现的问题，其使用的奖励，并表明，有序的治疗的奖励克服了这个问题。使用一般的视频游戏播放框架，我们展示了我们新提出的顺序MCTS算法优于其他MCTS变体的优势，基于一种新的强盗算法，我们还介绍和测试与UCB。
2021-01-26 cs.AI
Beyond Monte Carlo Tree Search: Playing Go with Deep Alternative Neural Network and Long-Term Evaluation
Peking University（北京大学）
蒙特卡罗树搜索（MCTS）是计算机围棋中非常流行的一种算法，它通过在一棵广泛而深入的搜索树中进行大量的模拟来确定每一个动作。然而，人类专家通过模式分析和仔细评估来选择大多数动作，而不是对数百万个未来交互的粗暴搜索。在本文中，我们提出了一个计算机围棋系统，遵循专家的思维方式和发挥。我们的系统由两部分组成。第一部分是一个新的深度替代神经网络（DANN），用于生成下一步的候选。与现有的深度卷积神经网络（DCNN）相比，DANN在每个卷积层之后插入递归层，并以交替的方式堆叠它们。我们表明，这样的设置可以保留更多的本地特征及其演变的背景，这是有益的移动预测。第二部分是长期评估（LTE）模块，用于提供候选人的可靠评估，而不是来自移动预测器的单个概率。这与人类专家玩游戏的本质是一致的，因为他们可以预见数十个步骤来准确估计候选人。在我们的系统中，对于每个候选人，LTE计算累积奖励后，几个未来的互动时，解决当地的变化。结合这两部分的标准，我们的系统确定下一步的最佳选择。为了更全面的实验，我们引入了一个新的专业Go数据集（PGD），由253233条专业记录组成。在GoGoD和PGD数据集上的实验表明，DANN可以大大提高纯DCNN的移动预测性能。当结合LTE时，我们的系统优于大多数相关方法和基于MCTS的开放引擎。
2017-06-13 cs.AI cs.LG cs.NE
Split Moves for Monte-Carlo Tree Search
University of Wrocław（弗罗茨瓦夫大学）；Maastricht University（马斯特里赫特大学）
在许多游戏中，移动由玩家做出的几个决定组成。这些决定可以被视为单独的动作，这在多动作游戏中已经是一种常见的做法，因为效率的原因。这种将一个牌手的棋步划分成一系列简单/较低级别的棋步的做法称为\emph{splitting}。到目前为止，分裂走法只应用于上述简单的情况下，而且几乎没有研究表明它对代理人的发挥强度的影响。以知识自由的角度来看，我们的目标是回答如何有效地使用蒙特卡罗树搜索（MCTS）中的分裂移动和分裂设计对代理人的实力有什么实际影响。本文提出了一个推广的MCTS，工作与任意分割移动。我们设计了几种变化的算法，并尝试分别衡量分裂移动的效率，质量的MCTS，模拟和基于动作的算法的影响。测试进行了一组棋盘游戏，并使用常规的棋盘游戏一般的游戏形式主义，其中不同粒度的分割策略可以自动派生的基础上的抽象描述的游戏。结果给出了一个概述的行为的代理使用分裂设计在不同的方式。我们的结论是，分裂设计可以大大有利于单以及多动作游戏。
2021-12-14 cs.AI
Assessing the Potential of Classical Q-learning in General Game Playing
Leiden University（莱顿大学）；Leiden Institute of Advanced Computer Science（莱顿高级计算机科学研究所）
在最近AlphaGo和AlphaZero的突破性成果之后，我们看到了对游戏中的深度强化学习和人工通用智能（AGI）的强烈兴趣。然而，深度学习是资源密集型的，理论尚未得到很好的发展。对于小型游戏，简单的经典基于表格的Q学习可能仍然是首选算法。通用博弈（GGP）为强化学习研究AGI提供了一个很好的实验平台。Q学习是一种典型的强化学习方法，并且已经被（Banerjee $\&$ Stone，IJCAI 2007）用于GGP。在本文中，我们在GGP中实现了三个小棋盘游戏（Tic-Tac-Toe，Connect Four，Hex）\footnote{source code: https://github.com/wh1992v/ggp-rl}的Q学习，以便与Banerjee等人进行比较。我们发现，Q学习收敛到一个高的胜率在GGP。对于$ε$ -贪婪策略，我们提出了第一个增强，动态$ε$算法。此外，受Gelly $\&$ Silver，ICML 2007的启发，我们结合在线搜索（Monte Carlo搜索）来增强离线学习，并提出了GGP的QM学习。这两种增强都提高了经典Q学习的性能。在这项工作中，GGP允许我们展示，如果通过适当的增强来增强，经典的基于表的Q学习可以在小型游戏中表现良好。
2018-10-14 cs.AI
Playing Atari Games with Deep Reinforcement Learning and Human Checkpoint Replay
University Politehnica of Bucharest（布加勒斯特理工大学）
本文介绍了一种使用深度强化学习从Arcade学习环境中学习如何玩最难的Atari 2600游戏的新方法。所提出的方法，人类检查点重放，包括使用从人类游戏中采样的检查点作为学习过程的起点。这是为了弥补当前探索策略的困难，例如ε贪婪，在稀疏奖励的游戏中找到成功的控制策略。与其他深度强化学习架构一样，我们的模型使用了一个卷积神经网络，它只接收原始像素输入来估计状态价值函数。我们在Atari平台上最具挑战性的两款游戏Montezuma's Revenge和Private Eye上测试了我们的方法。我们得到的结果显示了显着的改善相比，以前的学习方法，以及在一个随机的球员。我们还提出了一种使用人类游戏体验来训练深度强化学习代理的方法，我们称之为人类体验重播。
2016-07-18 cs.AI
Towards a Characterisation of Monte-Carlo Tree Search Performance in Different Games
Maastricht University（马斯特里赫特大学）
针对MCTS变体在不同游戏中的性能差异缺乏系统理解的问题，本文构建含1494款游戏、61个智能体、268386次对局的数据集，并训练预测模型以表征其性能。
2024-06-13 cs.AI
Monte Carlo Tree Search with Heuristic Evaluations using Implicit Minimax Backups
Maastricht University（马斯特里赫特大学）；University of Denver（丹佛大学）
蒙特卡罗树搜索（MCTS）提高了围棋、十六进制和一般游戏等领域的游戏引擎的性能。MCTS已被证明在难以获得良好启发式评估的游戏中优于经典的alpha-beta搜索。近年来，在MCTS中结合传统的极大极小搜索的思想已经被证明在某些领域是有利的，例如行动线，亚马逊和突破。在本文中，我们提出了一种新的方法来使用启发式评估，以指导MCTS搜索存储的两个来源的信息，估计的胜率和启发式评估，分别。而不是使用启发式的评估，以取代播放，我们的技术支持他们隐式在MCTS模拟。这些极小极大值然后用于指导未来的模拟。我们表明，使用隐式极大极小备份导致更强的发挥性能在卡拉，突破，和行动线。
2014-06-19 cs.AI
Enhancing the Monte Carlo Tree Search Algorithm for Video Game Testing
Middle East Technical University（中东技术大学）
在本文中，我们研究了几个蒙特卡罗树搜索（MCTS）的修改视频游戏测试的效果。虽然MCTS的修改在游戏中得到了广泛的研究，但它们对发现bug的影响是空白的。我们在之前的研究中专注于bug发现，在那里我们引入了合成的和类似人类的测试目标，并且我们在Sarsa和MCTS代理中使用这些测试目标来发现bug。在这项研究中，我们扩展了MCTS代理的游戏测试目的的几个修改。此外，我们提出了一种新的树重用策略。我们通过在三个测试平台游戏上测试这些修改来进行实验，每个测试平台游戏有四个级别，总共包含45个错误。我们使用通用视频游戏人工智能（GVG-AI）框架来创建测试床游戏，并使用GVG-AI框架收集427个人类测试者轨迹。我们分析了三个部分提出的修改：我们评估其对代理的错误发现性能的影响，我们衡量他们的成功下两个不同的计算预算，我们评估他们的影响，人类相似的人一样的代理。我们的研究结果表明，MCTS修改提高了代理的错误发现性能。
2020-03-17 cs.AI
Towards Playing Full MOBA Games with Deep Reinforcement Learning
Tencent AI Lab（腾讯人工智能实验室）；Tencent TiMi L1 Studio（腾讯天美L1工作室）
MOBA游戏，例如，《王者荣耀》、《英雄联盟》、《Dota 2》等游戏对人工智能系统提出了多智能体、巨大的状态-动作空间、复杂的动作控制等巨大挑战，开发MOBA游戏的人工智能也因此备受关注。然而，现有的工作在处理由代理组合的爆炸引起的原始游戏复杂性方面存在不足，即，阵容，当扩大英雄池的情况下，OpenAI的Dota AI限制发挥只有17个英雄池.因此，没有限制的完整MOBA游戏远远不是任何现有AI系统所能掌握的。在本文中，我们提出了一种MOBA AI学习范式，该范式在方法论上可以通过深度强化学习玩完整的MOBA游戏。具体来说，我们开发了一个新的和现有的学习技术相结合，包括课程自我发挥学习，政策蒸馏，政策外的适应，多头价值估计，和蒙特卡罗树搜索，在训练和发挥了大量的英雄，同时巧妙地解决了可扩展性问题。在流行的MOBA游戏《王者荣耀》上进行测试，我们展示了如何构建能够击败顶级电竞选手的超人人工智能智能体。MOBA人工智能智能体在文献中的首次大规模性能测试证明了我们的AI的优越性。
2020-12-31 cs.AI cs.LG
AlphaDDA: Strategies for Adjusting the Playing Strength of a Fully Trained AlphaZero System to a Suitable Human Training Partner
Komatsu University（小松大学）；University of Electro-Communications（电气通信大学）
人工智能（AI）在围棋、国际象棋和奥赛罗（黑白棋）等棋盘游戏中取得了超人的表现。换句话说，AI系统在此类游戏中超越了强大的人类专家玩家的水平。在这种情况下，人类玩家很难享受与AI一起玩游戏。为了让人类玩家在游戏中保持娱乐和沉浸，人工智能需要动态地平衡其技能与人类玩家的技能。为了解决这个问题，我们提出了AlphaDDA，一个基于AlphaZero的AI，具有动态难度调整（DDA）。AlphaDDA由深度神经网络（DNN）和蒙特卡罗树搜索组成，就像AlphaZero一样。AlphaDDA学习和玩游戏的方式与AlphaZero相同，但可以改变其技能。AlphaDDA使用DNN仅从棋盘状态估计游戏状态的值。AlphaDDA根据估计值改变控制其技能的参数。因此，AlphaDDA根据游戏状态调整其技能。AlphaDDA可以仅使用游戏状态来调整其技能，而无需任何关于对手的先验知识。在这项研究中，AlphaDDA与其他人工智能智能体一起玩Connect4、奥赛罗和6x6奥赛罗。其他人工智能智能体是AlphaZero，蒙特卡罗树搜索，极大极小算法和随机玩家。这项研究表明，AlphaDDA可以平衡其技能与其他人工智能智能体，除了一个随机的球员。AlphaDDA的DDA能力是基于对游戏状态值的准确估计。我们相信，如果DNN可以准确地估计游戏状态的值，并且我们知道控制AI系统技能的参数，那么用于DDA的A…
2022-09-20 cs.AI cs.LG
Competing in a Complex Hidden Role Game with Information Set Monte Carlo Tree Search
University of Minnesota（明尼苏达大学）
智能博弈代理的进步导致了像围棋这样的完全信息博弈和像扑克这样的不完全信息博弈的成功。信息集蒙特卡罗树搜索（ISMCTS）系列算法在不完全信息博弈中优于以前使用蒙特卡罗方法的算法。在本文中，单观察者信息集蒙特卡罗树搜索（SO-ISMCTS）被应用到秘密希特勒，一个流行的社会推理棋盘游戏，结合了传统的隐藏角色机制与随机性的卡甲板。这种组合导致了一个比隐藏角色和卡片组机制更复杂的信息模型。在10108个模拟游戏中，SO-ISMCTS和基于规则的智能体一样有效，证明了ISMCTS算法在复杂信息集领域的潜力。
2020-05-14 cs.AI cs.MA
Proof Number Based Monte-Carlo Tree Search
Faculty of Mathematics and Computer Science, University of Wrocław（弗罗茨瓦夫大学数学与计算机科学学院）；Department of Advanced Computing Sciences, Maastricht University（马斯特里赫特大学高级计算科学系）
提出结合蒙特卡洛树搜索与证明数搜索的PN-MCTS算法，在多个博弈中超越MCTS，最高胜率达96.2%。
2024-05-29 cs.AI
AlphaViT: A flexible game-playing AI for multiple games and variable board sizes
Komatsu University（komatsu大学）
AlphaViT通过融合Vision Transformers开发出灵活的游戏AI，能适应多种游戏和可变棋盘大小，优于传统算法并接近AlphaZero性能。
2025-08-03 cs.AI cs.LG
Monte Carlo Permutation Search
提出一种改进GRAVE算法的通用蒙特卡洛树搜索算法MCPS，通过利用路径上所有节点的统计信息，在多种游戏中优于GRAVE，并给出了统计权重公式的数学推导。
2026-05-25 cs.AI cs.LG
Biasing MCTS with Features for General Games
Maastricht University（马斯特里赫特大学）
本文提出使用线性函数逼近器而不是深度神经网络（DNN）来偏置一般游戏的蒙特卡罗树搜索（MCTS）玩家。这不太可能匹配DNN的潜在原始播放强度，但在训练所需的通用性，可解释性和资源（时间和硬件）方面具有优势。描述局部模式的特征被用作输入。这些特征以这样一种方式制定，它们很容易解释和适用于广泛的一般游戏，并可能编码简单的本地策略。我们在用于学习特征权重的相同自我训练过程中逐渐创建新特征。我们评估的MCTS播放器的播放强度偏置的学习功能对树（UCT）的球员在多个不同的棋盘游戏的标准置信上限，并证明显着改善播放强度在大多数人后，少量的自我发挥训练游戏。
2019-03-21 cs.AI stat.ML
Playing hard exploration games by watching YouTube
DeepMind（深度思维）
深度强化学习方法传统上难以处理环境奖励特别稀疏的任务。在这些领域引导探索的一种成功方法是模仿人类演示者提供的轨迹。然而，这些演示通常是在人工条件下收集的，即可以访问代理的确切环境设置以及演示者的动作和奖励轨迹。在这里，我们提出了一个两阶段的方法，克服了这些限制，依靠嘈杂的，不对齐的镜头，而无需访问这些数据。首先，我们学习使用在时间和模态（即视觉和声音）上构建的自监督目标将来自多个源的未对齐视频映射到一个共同的表示。其次，我们在这个表示中嵌入一个YouTube视频，以构建一个奖励函数，鼓励代理模仿人类游戏。这种一次性模仿的方法使我们的智能体在臭名昭著的硬探索游戏Montezuma's Revenge，Pitfall上令人信服地超过人类水平的表现！和私家侦探第一次，即使代理没有任何环境奖励。
2018-11-30 cs.AI cs.CV cs.LG
Inferring the Optimal Policy using Markov Chain Monte Carlo
University of California, Berkeley（加州大学伯克利分校）
本文研究了具有未知转移动态和未知报酬函数的马尔可夫决策过程的最优随机控制策略的估计方法。这种形式的无模型强化学习包括许多真实世界的系统，例如玩视频游戏，模拟控制任务和真实机器人运动。现有的方法估计的最优随机控制策略依赖于高方差估计的政策下降。然而，这些方法不能保证找到最优随机策略，并且高方差梯度估计使收敛不稳定。为了解决这些问题，我们提出了一种技术，使用马尔可夫链蒙特卡罗生成样本的后验分布的参数条件是最佳的。我们的方法可证明收敛到全局最优的随机策略，并与策略梯度相比具有经验相似的方差。
2019-11-16 cs.AI cs.LG stat.ML
Experiments with Encoding Structured Data for Neural Networks
Penn State University（宾夕法尼亚州立大学）
本文旨在为Battlespace博弈环境开发结合MCTS和DQN技术的AI智能体，重点探讨呈现Python类中复杂结构化数据的编码技术，作为构建智能体的必要前提。
2024-02-15 cs.AI
A New Challenge: Approaching Tetris Link with AI
Leiden University（莱顿大学）
数十年的研究已经投入到制作用于下棋和围棋等游戏的计算机程序上。本文着重介绍了一个新的游戏，俄罗斯方块链接，一个棋盘游戏，仍然缺乏任何科学的分析。俄罗斯方块链接有一个大的分支因子，阻碍了传统的启发式规划方法。我们探索启发式规划和其他两种方法：强化学习，蒙特卡罗树搜索。我们记录了我们的方法，并报告了他们在锦标赛中的相对表现。奇怪的是，启发式方法比规划/学习方法更强大。然而，经验丰富的人类玩家很容易赢得大多数与启发式规划AI的比赛。因此，我们怀疑俄罗斯方块链接比预期的更难。我们向社区提供我们的发现，作为改进的挑战。
2020-04-01 cs.AI
Beyond Games: A Systematic Review of Neural Monte Carlo Tree Search Applications
RWTH Aachen University（亚琛工业大学）
本文系统综述了129篇神经蒙特卡洛树搜索在游戏外领域的应用，分析其结构与实践，旨在评估其成功能否扩展至其他领域，并为特定问题设计算法提供原则性指导。
2023-03-14 cs.AI cs.NE
Solving Royal Game of Ur Using Reinforcement Learning
College of Computer and Information Sciences（计算机与信息科学学院）；Northeastern University（东北大学）
强化学习最近已经作为一种非常强大的工具出现，以解决棋盘游戏领域中的复杂问题，其中代理通常需要基于其自身的经验和收到的奖励来学习复杂的策略和动作。虽然RL已经超越了用于玩简单视频游戏和流行棋盘游戏的现有最先进方法，但它尚未在古代游戏中展示其能力。在这里，我们解决了这样一个问题，我们训练我们的代理使用不同的方法，即蒙特卡洛，Qlearning和预期Sarsa学习最优策略发挥战略皇家游戏乌尔。我们的游戏的状态空间是复杂和大的，但我们的代理人在玩游戏和学习重要的战略举措方面表现出良好的效果。虽然很难得出结论，当使用有限的资源进行训练时，哪种算法的整体性能更好，但Expected Sarsa在最快的学习方面显示出有希望的结果。
2022-08-23 cs.AI cs.LG
Learning Policies from Self-Play with Policy Gradients and MCTS Value Estimates
Maastricht University（马斯特里赫特大学）
近年来，最先进的博弈代理通常涉及在自我博弈过程中训练的策略，其中蒙特卡罗树搜索（MCTS）算法和训练的策略迭代地相互改进。最强的结果已经获得时，政策的训练，以模仿MCTS的搜索行为，最大限度地减少交叉熵损失。由于多边贸易体制在设计上包含了探索的成分，以这种方式训练的政策也可能表现出类似的探索程度。在本文中，我们感兴趣的是学习政策的项目与未来的目标，包括提取可解释的策略，而不是国家的最先进的游戏性能。对于这些目标，我们认为，这种程度的探索是不可取的，我们提出了一个新的目标函数的培训政策，不是探索性的。我们推导出一个策略梯度表达式最大化这个目标函数，这可以估计使用MCTS值估计，而不是MCTS访问计数。我们经验性地评估各种属性的政策，在各种棋盘游戏。
2019-05-14 cs.AI cs.LG stat.ML
Policy Gradient Algorithms with Monte Carlo Tree Learning for Non-Markov Decision Processes
CyberAgent（赛博agent公司）
本文针对非马尔可夫决策过程提出蒙特卡洛树学习（MCTL）方法，并将其与策略梯度（PG）结合，利用双时间尺度随机逼近推导收敛条件，设计出能收敛到合理解的算法，数值实验验证了其有效性。
2024-07-04 cs.AI cs.LG
PyTAG: Tabletop Games for Multi-Agent Reinforcement Learning
Queen Mary University of London（伦敦玛丽女王大学）
本文提出PyTAG框架，用于多智能体强化学习研究，通过自博弈训练PPO智能体，并与简单智能体和MCTS对比，展示桌游带来的挑战与机遇。
2024-05-28 cs.AI
Monte Carlo Tree Search: A Review of Recent Modifications and Applications
Warsaw University of Technology（华沙理工大学）；AGH University of Science and Technology（AGH科技大学）；QED Software（QED软件公司）
本文综述了2012年以来蒙特卡洛树搜索（MCTS）在复杂博弈及实际应用领域中的特定问题修改与混合方法。
2022-06-11 cs.AI cs.LG cs.MA
Which Heroes to Pick? Learning to Draft in MOBA Games with Neural Networks and Tree Search
Tencent AI Lab（腾讯人工智能实验室）；Shanghai Jiao Tong University（上海交通大学）
英雄选秀在MOBA游戏中至关重要，因为它建立了每一方的团队，并直接影响比赛结果。最先进的选秀方法没有考虑：1）英雄池扩大时的选秀效率; 2）MOBA 5v5系列赛的多回合性质，即，两支球队打N局两胜制，同一个英雄在整个系列赛中只允许被选中一次。本文将制图过程描述为一个多轮的组合博弈，提出了一种基于神经网络和蒙特卡罗树搜索的制图算法--决无制图。具体来说，我们设计了一个长期的价值估计机制来处理最好的N起草的情况下。以当前最流行的MOBA游戏之一《王者荣耀》为例，通过与现有的绘图方法进行比较，验证了《绝地求生》绘图方法的实用性和有效性。
2021-08-05 cs.AI
Exploring search space trees using an adapted version of Monte Carlo tree search for combinatorial optimization problems
KU Leuven（鲁汶大学）；Ghent University（根特大学）；Flanders Make（法兰德斯制造研究院）
在这篇文章中，我们提出了一个启发式算法，探索搜索空间树与组合优化问题的情况。该算法是基于蒙特卡罗树搜索，一个流行的算法，在玩游戏，是用来探索游戏树，并代表了国家的最先进的算法，为一些游戏。提出了几种改进的蒙特卡罗树搜索算法，使算法更适合于组合优化的上下文中。这些增强利用组合结构的问题，并旨在有效地探索搜索空间树修剪子树，使用启发式模拟策略，减少域的变量，通过消除占主导地位的值分配和使用波束宽度。该算法的实现与其组件专门定制两个组合优化问题：码头起重机调度问题与非交叉约束和0-1背包问题。对于第一个问题，我们的算法超越了国家的最先进的结果，并找到了几个新的最佳解决方案的基准集的实例。对于第二个问题，我们的算法通常会产生接近最优的解决方案，比最先进的结果略差，但它只需要一小部分的时间来做到这一点。这些结果表明，该算法是具有竞争力的国家的最先进的两个完全不同的组合优化问题。
2022-11-16 cs.AI cs.DM math.OC
Mastering the Game of Guandan with Deep Reinforcement Learning and Behavior Regulating
本文提出GuanZero框架，通过深度神经网络编码方案调控智能体行为，并结合蒙特卡洛方法掌握掼蛋游戏，实验证明其优于现有方法。
2024-02-21 cs.AI cs.LG
Analysis of Vanilla Rolling Horizon Evolution Parameters in General Video Game Playing
University of Essex（埃塞克斯大学）
蒙特卡罗树搜索技术通常主导一般视频游戏，但最近的研究已经开始关注进化算法及其在匹配树搜索游戏水平甚至优于这些方法的潜力。在线或滚动地平线进化是可用于在一般视频游戏中进化计划动作序列的选项之一，但迄今为止还没有研究探索该算法的香草版本在多个游戏中的功能。本研究旨在批判性地分析来自通用视频游戏AI语料库的一组20个游戏中关于人口规模和个体长度的不同配置。确定性和随机游戏之间的区别，并使用优越的时间预算的影响进行了研究。结果表明，有使用这些技术的范围，在某些配置优于蒙特卡罗树搜索，也表明，在这些方法的进一步研究可以提高他们的性能。
2017-04-24 cs.AI
Automated Video Game Testing Using Synthetic and Human-Like Agents
Middle East Technical University（中东技术大学）
在本文中，我们提出了一种新的方法，该方法使用测试代理来自动化视频游戏测试。我们介绍两种类型的代理-合成和类人-和两种不同的方法来创建它们。我们的代理是从强化学习（RL）和蒙特卡罗树搜索（MCTS）代理派生的，但专注于发现缺陷。合成代理使用从游戏场景生成的测试目标，这些目标被进一步修改以检查意外游戏转换的影响。类人智能体使用我们提出的多贪婪策略逆强化学习（MGP-IRL）算法从测试者轨迹中提取的测试目标。MGPIRL捕获由测试人员执行的多个策略。这些测试人员的目标是在与游戏互动的同时发现缺陷，以打破它，这与玩游戏有很大的不同。我们提出的相互作用状态来模拟这种相互作用。我们使用我们的代理来生成测试序列，使用这些序列运行游戏，并使用自动测试oracle检查每次运行的游戏。我们分析了所提出的方法在两个部分：我们比较成功的类人和合成代理的错误发现，我们评估类人代理和人类测试人员之间的相似性。我们使用通用视频游戏人工智能（GVG-AI）框架从人类测试人员那里收集了427条轨迹，并创建了三款包含45个错误的12级游戏。我们的实验表明，类人和合成代理人与人类测试人员的错误发现性能竞争。此外，我们表明，MGP-IRL增加了人性化的代理，同时提高了错误发现性能。
2019-06-02 cs.AI
Learning to play the Chess Variant Crazyhouse above World Champion Level with Deep Neural Networks and Human Data
TU Darmstadt（达姆施塔特工业大学）
深度神经网络已成功应用于学习棋盘游戏围棋，国际象棋和将棋没有先验知识，利用强化学习。虽然从零开始的知识已经被证明会产生令人印象深刻的结果，但它与高计算成本有关，特别是对于复杂的游戏。在本文中，我们提出了CrazyAra，这是一个神经网络为基础的引擎单独训练的监督方式的国际象棋变种crazyhouse。Crazyhouse是一种分支因子比国际象棋更高的游戏，与AlphaGo相比，只有有限的低质量数据可用。因此，我们专注于在多个方面提高效率，同时依赖于低计算资源。这些改进包括神经网络设计和训练配置的修改，数据归一化步骤的引入和更有效的蒙特卡罗树搜索，具有较低的出错机会。经过1.5天的569，537场人类游戏训练，我们实现了60.4%的移动预测准确率。在开发过程中，CrazyAra的版本扮演专业的人类玩家。最值得注意的是，CrazyAra以4比1战胜了2017年疯狂屋世界冠军Justin Tan（又名LM Jann Lee），他比我们训练集中的平均球员高出400多个Elo。此外，我们还测试了CrazyAra在CPU上对2017年第二届Crazyhouse计算机锦标赛所有参赛者的比赛实力，战胜了13名参赛者中的12名。最后，对于CrazyAraFish，我们继续在生成的引擎游戏上训练我们的模型。在10场长时间的控制比赛中，CrazyAraFish赢得了三场比赛，并在十场比赛中取得了一场比赛…
2019-08-22 cs.AI cs.LG
Convolutional Monte Carlo Rollouts in Go
University of California, Berkeley（加州大学伯克利分校）
在这项工作中，我们提出了一个基于MCTS的围棋程序，它在所有部分都使用卷积网络。我们的方法批量执行MCTS，使用Thompson采样和卷积网络探索Monte Carlo搜索树，并在GPU上评估基于convnet的推出。我们在开源围棋程序中取得了很高的胜率，并在最先进的基于卷积网络的围棋程序中取得了有竞争力的成绩。
2015-12-10 cs.AI cs.LG
Population Seeding Techniques for Rolling Horizon Evolution in General Video Game Playing
University of Essex（埃塞克斯大学）
虽然蒙特卡罗树搜索和密切相关的方法已经主导了一般的视频游戏，最近的研究表明滚动地平线进化算法作为一个有趣的替代方案的承诺。然而，在一般的实时视频游戏中，很少有人关注种群初始化技术。因此，本文提出了使用人口播种来提高滚动水平进化的性能，并给出了两种方法的结果，一步向前看和蒙特卡罗树搜索，测试了20个游戏的一般视频游戏AI语料库与多个进化参数值（人口大小和个体长度）。并对这两种播种方法的结果与经典的滚动时域进化算法进行了深入的分析。此外，本文提出了一个比较的蒙特卡罗树搜索算法。结果是有希望的，播种能够显着提高性能超过基线进化，甚至匹配高水平的发挥所获得的蒙特卡罗树搜索。
2017-04-23 cs.AI cs.NE
Predicting Game Engagement and Difficulty Using AI Players
Aalto University（阿尔托大学）；Rovio Entertainment（罗维奥娱乐公司）
本文提出了一种新的方法来自动播放测试人类玩家的行为和经验的预测。之前已经证明，深度强化学习（DRL）游戏代理可以预测游戏难度和玩家参与度，可操作为平均通过率和流失率。我们改进了这种方法，通过增强DRL与蒙特卡罗树搜索（MCTS）。我们还激励增强选择策略的预测功能，基于观察到的人工智能智能体的最佳情况下的性能可以产生更强的相关性与人类数据比代理的平均性能。这两个增加一致提高预测精度，和DRL增强MCTS优于DRL和香草MCTS在最难的水平。我们的结论是，通过自动播放测试的球员建模可以受益于DRL和MCTS相结合。此外，如果人工智能游戏不能平均产生良好的预测，那么研究重复的最佳人工智能智能体运行的子集可能是值得的。
2021-07-26 cs.AI cs.HC
Demand response for residential building heating: Effective Monte Carlo Tree Search control based on physics-informed neural networks
IDLab Ghent university – imec（IDLab 根特大学 – 校际微电子中心（imec））；Beebop
本文针对住宅建筑供暖需求响应控制问题，提出结合多步预测物理信息神经网络的改进蒙特卡洛树搜索方法，相比黑盒神经网络方案降低了预测误差与能源成本，同时引入AlphaZero思路减少计算量。
2024-05-21 cs.AI cs.SY eess.SY
Building a 3-Player Mahjong AI using Deep Reinforcement Learning
University of Cambridge（剑桥大学）
麻将是19世纪末在中国开发的一种流行的多人信息游戏，具有一些对人工智能研究非常具有挑战性的特征。Sanma是日本Riichi麻将的3人版本，具有独特的特点，包括较少的瓷砖，因此，更具侵略性的游戏风格。因此，它本身具有挑战性和巨大的研究兴趣，但尚未进行探索。在本文中，我们介绍了Meowjong，一个使用深度强化学习的Sanma AI。我们定义了一个信息丰富和紧凑的2维数据结构编码的可观察的信息在一个三马游戏。我们为Sanma的5个动作--丢弃、Pon、Kan、Kita和Riichi预训练了5个卷积神经网络（CNN），并使用Monte Carlo策略梯度方法通过自我强化学习增强了主要动作的模型，即丢弃模型。Meowjong的模型通过监督学习实现了与4人麻将AI相当的测试精度，并从强化学习中获得了显着的进一步增强。作为Sanma的第一个AI，我们声称Meowjong在这个游戏中是最先进的。
2022-05-14 cs.AI cs.LG
Evaluating and Modelling Hanabi-Playing Agents
University of Essex（埃塞克斯大学）
代理建模涉及考虑其他代理将如何行为，以影响您自己的行为。在本文中，我们将探讨使用代理建模的隐藏信息，合作纸牌游戏花火。我们实现了一些基于规则的代理，无论是从文献和我们自己的设计，除了信息集蒙特卡罗树搜索（IS-MCTS）代理。我们观察到IS-MCTS的结果不佳，因此构建了一个新的预测版本，该版本使用与之配对的代理模型。我们观察到一个显着的改善，从这个代理在游戏中的实力相比，IS-MCTS，从它的考虑在游戏中的其他代理会做什么。此外，我们创建了一个有缺陷的基于规则的代理，以突出预测的能力与这样的代理。
2017-04-24 cs.AI
On Reinforcement Learning for the Game of 2048
National Yang Ming Chiao Tung University（国立阳明交通大学）
2048是一款单人随机益智游戏。这个有趣的和令人上瘾的游戏已经在世界范围内流行，并吸引了研究人员开发游戏程序。由于其简单性和复杂性，2048已经成为评估机器学习方法有效性的有趣和具有挑战性的平台。本文针对2048年的实际情况，对强化学习和计算机游戏算法进行了全面的研究。首先，本文提出了乐观的时间差学习，它通过采用乐观的初始化来鼓励探索2048，从而显着提高了学习质量。此外，基于这种方法，一个国家的最先进的计划，为2048年的发展，实现了最高的性能在所有的学习为基础的计划，即625377分的平均成绩和率为72%，达到32768瓦片。其次，本文研究了与2048相关的几种技术，包括n元组网络集成学习、蒙特卡罗树搜索和深度强化学习。这些技术是有希望的，为进一步提高当前国家的最先进的程序的性能。最后，本文通过提出课程设计方案和总结教学经验，探讨了与2048相关的教学应用。课程设计采用2048类游戏作为初学者学习强化学习和计算机游戏算法的教材。该课程已成功地应用于研究生阶段的学生，并收到了良好的学生反馈。
2023-01-10 cs.AI cs.LG
Teamwork under extreme uncertainty: AI for Pokemon ranks 33rd in the world
University of Cambridge（剑桥大学）
有史以来票房收入最高的媒体特许经营权，总收入超过900亿美元，是口袋妖怪。该游戏属于日本角色扮演游戏（J-RPG）。为这些游戏开发一个强大的人工智能智能体是非常困难的，因为它们对MinMax，蒙特卡罗树搜索和统计机器学习提出了巨大的挑战，因为它们与人工智能文学游戏中的探索有很大的不同。其中一个游戏的AI代理意味着整个班级的人工智能智能体的重大进步。此外，这些工作的关键原则有望启发在极端不确定条件下需要出色团队合作的几个领域的方法，包括在不断变化的环境中管理医生，机器人或员工团队，如流行病流行地区或战区。在本文中，我们首先解释了游戏的机制，我们进行了游戏分析。我们继续提出独特的人工智能算法，这是基于我们的理解，即游戏中最大的两个挑战是保持一个平衡的团队和处理三个不确定性来源。稍后，我们将描述为什么评估这些代理的性能是具有挑战性的，我们提出了我们的方法的结果。我们的人工智能智能体的表现明显好于之前的所有尝试，在世界上最受欢迎的战斗格式之一中达到了第33位，同时只运行在4个单插槽服务器上。
2023-01-04 cs.AI cs.GT
Beyond Search-Imitation: Prior-Directed Exploration for Searchless Chess
Institute of Applied Computer Science, Lodz University of Technology（罗兹理工大学应用计算机科学研究所）
本研究针对无搜索国际象棋网络，用先验引导探索替换原熵奖励，经约2000步微调后提升了谜题与四步将死准确率，且发现战术准确率与博弈强度存在分离。
2026-09-02 cs.AI cs.LG stat.ML
Accelerating Empowerment Computation with UCT Tree Search
University of Hertfordshire（赫特福德大学）；New York University（纽约大学）；University of London（伦敦大学）
内在动机模型是在没有外在奖励的情况下产生明智行为的重要手段。电子游戏中的应用是多种多样的，从内在动机的一般游戏代理到非玩家角色，如同伴和敌人。增强权能的信息理论量是产生可信、通用和稳健行为的特别有希望的候选动机。然而，虽然它可以在没有需要精心制作和学习的外部奖励函数的情况下使用，但授权在计算上是昂贵的。在本文中，我们提出了一种改进的UCT树搜索方法，以减轻授权的计算复杂性在离散和确定性的场景。我们演示了如何修改蒙特卡洛搜索树与UCT实现授权最大化，并讨论了三个额外的修改，以促进更好的采样。我们评估的方法都定量，通过分析我们的方法如何接近详尽的授权计算与不同数量的计算资源的基线，和定性，通过分析所产生的行为在一个类似Minecraft的情况。
2018-03-27 cs.AI cs.IT cs.PF
AlphaZero Gomoku
University of California, San Diego（加州大学圣地亚哥分校）；Stanford University（斯坦福大学）
本研究将 AlphaZero 算法扩展到五子棋，验证其超越围棋的适应性，并融合深度学习与蒙特卡洛树搜索以实现平衡对局，树立游戏 AI 新标准。
2023-09-04 cs.AI cs.LG
Finding Game Levels with the Right Difficulty in a Few Trials through Intelligent Trial-and-Error
IT University of Copenhagen（哥本哈根信息技术大学）；Google Brain（谷歌大脑）
用于动态难度调整的方法允许游戏针对特定玩家定制以最大化他们的参与。然而，当前的方法通常仅修改有限的游戏特征集合，诸如对手的难度或资源的可用性。其他方法，例如经验驱动的过程内容生成（PCG），可以生成具有所需属性的完整级别，例如既不太难也不太容易，但需要多次迭代的级别。本文提出了一种方法，可以生成和搜索一个特定的目标难度在只有几个试验的完整水平。这种进步是通过智能试错算法实现的，该算法最初是为了让机器人快速适应而开发的。我们的算法首先创建了各种不同的级别，这些级别在预定义的维度上有所不同，例如宽大或地图覆盖范围。AI代理在这些地图上的表现给出了另一个AI代理（例如，使用蒙特卡罗树搜索而不是贪婪树搜索的AI代理）的难度的代理;使用此信息，部署贝叶斯优化过程，更新先前地图的难度以反映代理的能力。该方法可以可靠地找到一个特定的目标难度的水平，为各种规划代理人在只有几个试验，同时保持他们的技能景观的理解。
2020-06-25 cs.AI cs.LG
Search-contempt: a hybrid MCTS algorithm for training AlphaZero-like engines with better computational efficiency
本文提出 search-contempt 混合 MCTS 算法，通过偏好更具挑战性的自我对弈局面，显著提升让子棋引擎实力，并将类 AlphaZero 引擎的训练成本从数百万局和数百万美元降至数十万局和数万美元，使消费级 GPU 上的从零训练成为可能。
2025-04-10 cs.AI cs.LG
Deep Learning for General Game Playing with Ludii and Polygames
Maastricht University（马斯特里赫特大学）；Facebook AI Research（Facebook AI研究院）
结合蒙特卡罗树搜索和深度神经网络，通过自我游戏训练，在许多棋盘游戏中产生了最先进的自动游戏结果。训练和搜索算法不是特定于游戏的，但这些方法应用于的每个游戏仍然需要领域知识来实现游戏规则，并构建神经网络的架构-特别是其输入和输出张量的形状。Ludii是一个通用的游戏系统，已经包含超过500种不同的游戏，由于其强大和用户友好的游戏描述语言，它可以快速增长。Polygames是一个具有训练和搜索算法的框架，它已经为几款棋盘游戏产生了超人玩家。本文描述了Ludii和Polygames之间的桥梁的实现，它使Polygames能够训练和评估通过Ludii实现和运行的游戏模型。我们不再需要任何特定于游戏的领域知识，而是利用我们对Ludii系统及其抽象状态和移动表示的领域知识来编写函数，这些函数可以自动确定在Ludii中实现的任何游戏的输入和输出张量的适当形状。我们描述了在各种不同的棋盘游戏中进行短期训练的实验结果，并讨论了几个开放的问题和未来研究的途径。
2021-01-23 cs.AI
AlphaZero-Inspired Game Learning: Faster Training by Using MCTS Only at Test Time
RWTH Aachen University（亚琛工业大学）；TH Köln – University of Applied Sciences（科隆应用技术大学）
最近，开创性的算法AlphaGo和AlphaZero开启了游戏学习和深度强化学习的新时代。虽然AlphaGo和AlphaZero的成就-在超人类水平上玩围棋和其他复杂游戏-确实令人印象深刻，但这些架构的缺点是它们需要高计算资源。许多研究人员正在寻找类似于AlphaZero的方法，但计算需求较低，因此更容易重现。在本文中，我们选择了AlphaZero的一个重要元素-蒙特卡罗树搜索（MCTS）规划阶段-并将其与时间差（TD）学习代理相结合。我们第一次围绕TD n元组网络包装MCTS，我们只在测试时使用这种包装来创建多功能代理，同时保持低的计算需求。我们将这种新的架构应用到几个复杂的游戏（奥赛罗，ConnectFour，魔方），并显示出这种AlphaZero启发MCTS包装器所取得的优势。特别是，我们目前的结果是，这个代理是第一个在标准硬件（没有GPU或TPU）上训练的代理，可以击败非常强大的奥赛罗程序Edax，包括7级（大多数其他从头开始学习的算法只能击败Edax到2级）。
2022-09-24 cs.AI cs.GT cs.LG
Analysis of Watson's Strategies for Playing Jeopardy!
IBM TJ Watson Research Center（IBM托马斯·J·沃森研究中心）
IBM Watson需要问答技术的重大进步才能玩Jeopardy！在冠军级别--节目要求对具有挑战性的自然语言问题快速回答，广泛的一般知识，高精度和准确的置信度估计。此外，Jeopardy！具有四种具有重要战略意义的决策类型：（1）每日双倍下注;（2）最后的危险下注;（3）在控制棋盘时选择下一个方格;（4）决定是否尝试回答，即，“进来吧。与简单的“经验法则”策略相比，使用复杂的策略来做出这些决定，正确地考虑游戏状态和未来事件的概率，可以显着提高玩家的整体获胜机会。本文介绍了我们的方法来开发屈臣氏的游戏策略，包括开发一个忠实的模拟模型，然后使用学习和蒙特卡洛方法在模拟器中，以优化屈臣氏的战略决策。在详细描述了我们的每一种游戏策略算法之后，我们特别关注验证模拟器预测的准确性，并记录使用我们的方法的性能改进。定量性能的好处示出相对于两个简单的启发式策略，和实际的人类参赛者在历史情节的表现。我们进一步扩展了我们对人类游戏的分析，以获得一些有价值的和违反直觉的例子，说明人类参赛者如何提高他们在节目中的表现。
2014-02-04 cs.AI
Playing Board Games with the Predict Results of Beam Search Algorithm
Amsterdam（阿姆斯特丹）
本文提出用于完全信息双人确定性游戏的PROBS算法，利用更简单的束搜索替代蒙特卡洛树搜索进行决策，实验证明其在棋盘游戏中胜率显著提升，且在搜索规模远小于游戏回合数时依然有效。
2024-04-23 cs.AI cs.LG
Monte Carlo Methods for the Game Kingdomino
Tomologic AB（Tomologic公司）
Kingdomino是一款有趣的游戏，用于研究游戏：游戏是多人游戏（每场游戏4名独立玩家）;游戏深度有限（每位玩家13步）;玩家之间的互动有限但并非微不足道。提出了几种基于局部贪婪博弈者、蒙特卡罗评估（MCE）和蒙特卡罗树搜索（MCTS）的策略及其变体。我们研究了UCT的一个变种，称为渐进式胜利偏见和一个播放策略（玩家贪婪），专注于为玩家选择好的动作。一个彻底的评估完成显示如何执行的策略，以及如何选择参数给定的特定时间限制。评估显示，令人惊讶的是，MCE比MCTS更强，像Kingdomino这样的游戏。所有实验都使用云原生设计，游戏服务器在Docker容器中，代理使用REST风格的JSON协议进行通信。这使得多语言方法能够分离游戏状态、策略实现和协调层。
2018-07-15 cs.AI
Generalized Rapid Action Value Estimation in Memory-Constrained Environments
ICTEAM, UCLouvain（ICTEAM，UCLouvain大学）；LAMSADE, Université Paris-Dauphine（LAMSADE，巴黎-dauphine大学）
本文提出GRAVE2、GRAVER和GRAVER2算法，通过两层搜索、节点回收等方法，在内存受限环境下提升游戏性能。
2026-02-26 cs.AI
Learning to Win by Reading Manuals in a Monte-Carlo Framework
Massachusetts Institute of Technology（麻省理工学院）；University College London（伦敦大学学院）
领域知识对于自主控制系统的有效性能至关重要。通常，需要人工努力将这些知识编码到控制算法中。在本文中，我们提出了一种方法，自动解释文本的背景下，一个复杂的控制应用程序，如游戏，并使用领域知识提取的文本，以提高控制性能的语言接地。文本分析和控制策略都只使用应用程序固有的反馈信号来共同学习。为了有效地利用文本信息，我们的方法自动提取与当前游戏状态最相关的文本片段，并使用以任务为中心的谓词结构对其进行标记。然后，这个标记的文本被用来偏向游戏的动作选择策略，将其引导到动作空间的有希望的区域。我们将我们的模型编码为文本分析和多层神经网络中的游戏，通过隐藏层中的潜在变量表示语言决策，并通过输出层表示游戏动作质量。在Monte-Carlo搜索框架内操作，我们使用来自模拟游戏的反馈来估计模型参数。我们将我们的方法应用于复杂的战略游戏文明II，使用官方游戏手册作为文本指南。我们的研究结果表明，一个语言上知情的游戏代理显着优于其语言不知情的对手，产生了34%的绝对改善，并赢得了超过65%的游戏时，对内置的AI文明。
2014-01-18 cs.AI cs.CL cs.LG
Generating Diverse and Competitive Play-Styles for Strategy Games
Queen Mary University of London（伦敦玛丽女王大学）；Maastricht University（马斯特里赫特大学）
设计能够实现不同游戏风格的智能体，同时保持游戏的竞争水平是一项艰巨的任务，特别是对于研究界尚未发现超人性能的游戏，如战略游戏。这些要求人工智能处理大的行动空间，长期规划和部分可观察性，以及其他众所周知的因素，这些因素使决策成为一个难题。最重要的是，使用通用算法实现不同的游戏风格而不降低游戏强度并不是微不足道的。在本文中，我们提出了投资组合蒙特卡罗树搜索与渐进式Unpruning玩回合制策略游戏（部落），并展示了它如何可以参数化的质量多样性算法（MAP精英）是用来实现不同的游戏风格，同时保持竞争力的发挥水平。我们的研究结果表明，该算法是能够实现这些目标，即使是一个广泛的收集游戏水平超出了那些用于培训。
2021-06-28 cs.AI
Combining Tree-Search, Generative Models, and Nash Bargaining Concepts in Game-Theoretic Reinforcement Learning
Google DeepMind（谷歌DeepMind）；University of Waterloo（滑铁卢大学）；University of Michigan（密歇根大学）
本文提出基于深度博弈论强化学习的多智能体训练框架，通过生成最佳响应算法GenBR和纳什谈判理论构建对手混合策略，提升在不完全信息域中的对手建模能力。
2026-04-05 cs.AI cs.GT cs.LG
Code World Models for General Game Playing
Google DeepMind（谷歌DeepMind）
针对大语言模型直接生成游戏走法存在非法走法多、策略浅的问题，研究提出将游戏规则转为Python代码形式的可执行世界模型，结合MCTS等规划算法，在10款游戏中9款的表现优于或持平Gemini 2.5 Pro。
2025-10-06 cs.AI
