Search-contempt: a hybrid MCTS algorithm for training AlphaZero-like engines with better computational efficiency
本文提出 search-contempt 混合 MCTS 算法，通过偏好更具挑战性的自我对弈局面，显著提升让子棋引擎实力，并将类 AlphaZero 引擎的训练成本从数百万局和数百万美元降至数十万局和数万美元，使消费级 GPU 上的从零训练成为可能。
2025-04-10 cs.AI cs.LG
Convex Regularization in Monte-Carlo Tree Search
Technische Universität Darmstadt（达姆施塔特工业大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
蒙特卡洛规划和强化学习（RL）是顺序决策的基础。最近的AlphaGo和AlphaZero算法已经展示了如何成功地将这两种范式结合起来，以解决大规模的顺序决策问题。这些方法利用了著名的UCT算法的一个变体来权衡利用良好的动作和探索未访问的状态，但它们的经验成功是以样本效率差和计算时间长为代价的。在本文中，我们通过在蒙特卡罗树搜索（MCTS）中考虑凸正则化来克服这些限制，该算法已成功地用于RL以有效地驱动探索。首先，我们介绍了一个统一的理论在MCTS中使用通用凸正则化，得出遗憾分析和指数收敛速度提供保证。其次，我们利用我们的理论框架，引入新的正规化备份运营商的MCTS，基于相对熵的政策更新，和Tsallis熵的政策。最后，我们实证评估建议的运营商在AlphaGo和AlphaZero上的问题，增加维度和分支因子，从一个玩具的问题，几个雅达利游戏，显示其优越性w.r.t.代表性基线。
2021-02-16 cs.AI cs.LG
AlphaZeroES: Direct score maximization outperforms planning loss minimization
Carnegie Mellon University（卡内基梅隆大学）；Strategy Robot, Inc.（策略机器人公司）；Optimized Markets, Inc.（优化市场公司）；Strategic Machine, Inc.（战略机器公司）
本文提出AlphaZeroES，在保持MCTS和神经网络架构不变的情况下，用进化策略直接最大化单智能体环境的回合得分，实验表明其性能优于AlphaZero的规划损失最小化方法。
2024-06-12 cs.AI
Dual Monte Carlo Tree Search
Northeastern University（东北大学）
AlphaZero使用深度神经网络和蒙特卡罗树搜索（MCTS）的组合，成功地以tabula-rasa的方式训练了强化学习代理。神经MCTS算法已经成功地通过自我游戏找到了接近最优的游戏策略。然而，AlphaZero算法有一个明显的缺点;它需要很长的时间来收敛，并需要高的计算能力，由于复杂的神经网络解决像国际象棋，围棋，将棋等游戏，由于这一点，这是很难追求神经MCTS研究没有尖端的硬件，这是许多有抱负的神经MCTS研究人员的一个障碍。在本文中，我们提出了一种新的神经MCTS算法，称为双MCTS，这有助于克服这些缺点。双MCTS使用两种不同的搜索树，一个深度神经网络，以及一种新的搜索树更新技术，该技术使用PUCB、滑动窗口和搜索-贪心算法的组合。该技术适用于任何基于MCTS的算法，以减少对树的更新次数。我们表明，双MCTS表现优于最广泛使用的神经MCTS算法之一，AlphaZero，各种对称和非对称的游戏。
2021-10-10 cs.AI cs.MA
When Search Teaches Style: Causal Internalization of Tactical Priors in AlphaZero
Department of Communication Studies, School of Communication, Hong Kong Baptist University（通讯学院传播研究系，香港 Baptist 大学）；Department of Neurobiology and Department of Rehabilitation Medicine, First Affiliated Hospital, Zhejiang University School of Medicine（神经生物学系和康复医学系，浙江大学医学院第一附属医院）；Personal participation（个人参与）
本文提出AlphaZero-Edu，一种轻量级教育导向的实现，通过模块化架构和高效训练，提升AlphaZero的可访问性和可重复性，实现单GPU训练和并行自对弈加速。
2026-08-05 cs.AI cs.LG
Variance-Aware Prior-Based Tree Policies for Monte Carlo Tree Search
University of Tübingen（图宾根大学）
本文提出Inverse-RPO方法，系统推导出基于先验的UCT策略，通过引入方差估计提升搜索效率，实验表明其在多个基准上优于PUCT且无额外计算成本。
2026-04-26 cs.AI cs.LG
Accelerating Monte-Carlo Tree Search with Optimized Posterior Policies
Center for Communications Research, Institute for Defense Analyses Princeton, NJ 08540, USA（通信研究所在线防御分析研究所）
RMCTS通过优化后验策略加速蒙特卡洛树搜索，显著提升搜索速度，且在训练时间内与MCTS-UCB相当。
2026-01-09 cs.AI cs.LG
Are AlphaZero-like Agents Robust to Adversarial Perturbations?
UCLA（加州大学洛杉矶分校）；CMU（卡内基梅隆大学）；Academia Sinica（中央研究院）；NYCU（阳明交通大学）
AlphaZero（AZ）的成功证明，基于神经网络的围棋人工智能可以大大超过人类的表现。考虑到围棋的状态空间非常大，人类玩家可以从任何合法的状态下进行游戏，我们要问的是，围棋人工智能是否存在可能导致它们做出令人惊讶的错误行为的对抗状态。在本文中，我们首先将对抗性示例的概念扩展到围棋游戏：我们通过向游戏中添加无意义的移动来生成与原始状态“语义上”等效的扰动状态，并且对抗性状态是一种扰动状态，导致即使对于围棋初学者来说也明显的毫无疑问的低劣动作。然而，由于大的、离散的和不可微的搜索空间，搜索对抗状态是具有挑战性的。为了应对这一挑战，我们开发了第一个对Go AI的对抗攻击，它可以通过战略性地减少搜索空间来有效地搜索对抗状态。这种方法也可以扩展到其他棋盘游戏，如NoGo。在实验中，我们表明，政策值神经网络（PV-NN）和蒙特卡罗树搜索（MCTS）所采取的行动可以被误导，通过添加一个或两个无意义的石头;例如，在58%的AlphaGo Zero自玩游戏，我们的方法可以使广泛使用的KataGo代理与50模拟MCTS发挥一个失败的行动，通过添加两个无意义的石头。我们还评估了我们的算法与业余人类围棋选手的对抗性例子，90%的例子确实导致围棋智能体做出明显低劣的动作。我们的代码可在\url{https://PaperCode.cc/GoAttack}上获得。
2022-11-07 cs.AI cs.LG cs.RO
Solving QSAT problems with neural MCTS
Khoury College of Computer Sciences（胡里计算机学院）；Northeastern University（东北大学）
AlphaZero最近使用自我游戏的成就在几款棋盘游戏中表现出了出色的性能。我们可以合理地认为，从零知识开始的自我游戏，经过大量的训练，可以逐渐接近某些双人游戏的获胜策略。在本文中，我们试图利用神经蒙特卡罗树搜索（神经MCTS）的计算能力，从AlphaZero的核心算法，解决量化布尔公式满意度（QSAT）的问题，这是PSPACE完成。知道每个QSAT问题都等价于一个QSAT游戏，游戏结果可以用来推导原始QSAT问题的解。我们提出了一种方法来编码量化布尔公式（QBF）作为图形和应用图神经网络（GNN）嵌入到神经MCTS的QBF。训练后，使用现成的QSAT求解器来评估算法的性能。我们的研究结果表明，对于有限大小的问题，该算法学会正确地解决问题，仅仅从自我发挥。
2021-01-17 cs.AI cs.LG
Epistemic Monte Carlo Tree Search
Delft University of Technology（代尔夫特理工大学）
本文提出Epistemic MCTS，通过考虑认知不确定性提升搜索效率，在代码编写等稀疏奖励任务中表现更优。
2026-05-15 cs.AI cs.LG
Adaptable Hindsight Experience Replay for Search-Based Learning
Technical University of Darmstadt（德累斯顿技术大学）；Hessian Center for Artificial Intelligence（黑森人工智能中心）；German Research Center for Artificial Intelligence（德国人工智能研究中心）；Centre for Cognitive Science（认知科学中心）；National Research Center for Applied Cybersecurity ATHENE（应用网络安全国家研究中心ATHENE）
本文提出 Adaptable HER 框架，将事后经验回放与 AlphaZero 式搜索学习灵活集成，通过可调整的重新标记目标、策略目标和轨迹选择，在稀疏奖励及方程发现等任务中超越纯监督学习和强化学习。
2025-11-05 cs.AI cs.LG
Neural Machine Translation with Monte-Carlo Tree Search
University of Toronto（多伦多大学）
机器翻译中的最新算法包括一个值网络，用于在决定在翻译的每个步骤输出哪个单词时帮助策略网络。添加价值网络有助于算法在BLEU评分等评估指标上表现更好。在监督设置中训练策略和价值网络之后，可以通过共同的行动者-批评者方法来联合改进策略和价值网络。我们项目的主要思想是利用蒙特卡罗树搜索（MCTS）来搜索好的输出词，并以类似于AlphaZero的方式从组合策略和价值网络架构中获得指导。该网络既可以作为本地参考，也可以作为全局参考，使用搜索结果来改进自身。使用IWLST 14德语到英语翻译数据集的实验表明，我们的方法优于最近机器翻译论文中使用的演员-评论家方法。
2020-04-27 cs.AI cs.CL cs.LG
Policy Gradient Algorithms with Monte Carlo Tree Learning for Non-Markov Decision Processes
CyberAgent（赛博agent公司）
本文针对非马尔可夫决策过程提出蒙特卡洛树学习（MCTL）方法，并将其与策略梯度（PG）结合，利用双时间尺度随机逼近推导收敛条件，设计出能收敛到合理解的算法，数值实验验证了其有效性。
2024-07-04 cs.AI cs.LG
Learning to Stop: Dynamic Simulation Monte-Carlo Tree Search
National Chiao-Tung University（国立交通大学）；Academia Sinica（中央研究院）
蒙特卡罗树搜索（MCTS）在与深度神经网络（DNN）结合时，在许多领域（如围棋和雅达利游戏）中取得了最先进的结果。当执行更多模拟时，MCTS可以实现更高的性能，但也需要大量的CPU和GPU资源。然而，并不是所有的状态都需要很长的搜索时间来确定代理可以找到的最佳操作。例如，在19 x19 Go和NoGo中，我们发现对于超过一半的状态，DNN预测的最佳动作即使在搜索2分钟后也保持不变。这意味着，如果我们能够在对当前搜索结果有信心时更早地停止搜索，则可以节省大量的资源。在本文中，我们提出通过预测当前搜索状态的不确定性来实现这一目标，并使用结果来决定我们是否应该停止搜索。通过我们的算法，称为动态模拟MCTS（DS-MCTS），我们可以将AlphaZero训练的NoGo代理的速度提高2.5倍，同时保持类似的胜率。在平均模拟次数相同的情况下，与原方案相比，该方法的胜率可达61%。
2020-12-14 cs.AI cs.LG
AlphaSnake: Policy Iteration on a Nondeterministic NP-hard Markov Decision Process
Harvard University（哈佛大学）；DeepMind（深度思维）；Tsinghua University（清华大学）；University of Houston（休斯顿大学）
强化学习最近已被用于解决图论中著名的NP难组合问题。在这些问题中，哈密顿循环问题是非常难以分析的，即使是限制在结构复杂的图形的个别实例。在本文中，我们使用蒙特卡罗树搜索（MCTS），许多最先进的强化学习算法（如AlphaZero）背后的搜索算法，来创建学习玩Snake游戏的自主智能体，这是一种以网格图上的Hamilton循环属性为中心的游戏。贪吃蛇游戏可以表述为一个单玩家折扣马尔可夫决策过程（MDP），其中代理必须在随机环境中表现最佳。确定蛇的最优策略，定义为最大化获胜概率或获胜率的策略-具有较高的优先级，并最小化期望的时间步数，以赢得较低的优先级，被证明是NP-难的。性能方面，与Snake游戏中的先前工作相比，我们的算法是第一个在$0.5$上实现胜率的算法（均匀随机策略实现胜率$< 2.57 \times 10^{-15}$），证明了AlphaZero在接近NP难环境中的多功能性。
2022-11-17 cs.AI
Monte Carlo Search Algorithms Discovering Monte Carlo Tree Search Exploration Terms
Université Paris Dauphine - PSL（巴黎多芬大学 - PSL）；CNRS（法国国家科学研究中心）；LAMSADE
本研究提出用蒙特卡洛搜索自动设计PUCT、SHUSS两种蒙特卡洛树搜索算法的根探索项，在32次评估的低搜索预算下，使二者性能比肩常规PUCT，为组合问题搜索算法优化提供新路径。
2024-04-14 cs.AI
Decentralized Monte Carlo Tree Search for Partially Observable Multi-agent Pathfinding
AIRI（人工智能研究院）；Federal Research Center for Computer Science and Control of Russian Academy of Sciences（俄罗斯科学院计算机科学与控制联邦研究中心）
针对部分可观测的分散式终身多智能体路径规划问题，提出基于AlphaZero启发的多智能体蒙特卡洛树搜索方法，利用局部观察重建MDP进行规划，实验性能优于现有可学习求解器。
2023-12-26 cs.AI cs.LG cs.MA
Multiple Policy Value Monte Carlo Tree Search
National Chiao Tung University（国立交通大学）；Pervasive Artificial Intelligence Research (PAIR) Labs（普适人工智能研究（PAIR）实验室）
许多最强大的游戏程序使用蒙特卡罗树搜索（MCTS）和深度神经网络（DNN）的组合，其中DNN用作策略或值评估器。给定有限的预算，例如在线游戏或在AlphaZero（AZ）训练的自我游戏阶段，需要在准确的状态估计和更多的MCTS模拟之间达到平衡，这两者对于强大的游戏代理都是至关重要的。通常，较大的DNN在泛化和准确评估方面更好，而较小的DNN成本更低，因此可以在相同的预算下产生更多的MCTS模拟和更大的搜索树。本文提出了一种新的策略值MCTS（MPV-MCTS）方法，它将不同规模的多策略值神经网络（PV-NN）结合起来，以保留每个网络的优点，其中使用了两个PV-NN f_S和f_L。我们通过对NoGo博弈的实验表明，组合的f_S和f_L MPV-MCTS优于具有策略值MCTS的单个PV-NN，称为PV-MCTS。此外，MPV-MCTS在AZ训练方面也优于PV-MCTS。
2019-05-31 cs.AI
Monte Carlo Game Solver
LAMSADE（拉马萨德实验室）；Université Paris-Dauphine（巴黎第九大学）；PSL（巴黎文理研究大学）；CNRS（法国国家科学研究中心）
我们提出了一个通用的算法，顺序移动，以加快精确的游戏求解器。它使用播放策略的在线学习和蒙特卡罗树搜索。学习的策略和蒙特卡洛树中的信息用于在游戏求解器中排序移动。他们大大提高了解决多个游戏的时间。
2020-01-15 cs.AI
Monte Carlo Inverse Folding
LAMSADE（LAMSADE实验室）；Université Paris-Dauphine（巴黎第九大学）；PSL（巴黎文理研究大学）；CNRS（法国国家科学研究中心）
RNA反向折叠问题来自计算生物学。目标是找到一个具有给定折叠的分子。它对于生物工程、药物研究、生物化学、合成生物学和RNA纳米结构等科学领域非常重要。嵌套蒙特卡罗搜索对这个问题给出了很好的结果。我们建议适应和评估不同的Monte Carlo搜索算法的RNA逆折叠问题。
2020-05-20 cs.AI
Monte Carlo Action Programming
LMU Munich（慕尼黑大学）
本文提出了蒙特卡罗动作编程，一个程序设计语言的自治系统，在大概率状态空间与高分支因子的框架。它包括非确定性动作程序设计语言的形式语法和语义。该语言通过蒙特卡罗树搜索随机解释。经验表明，该方法的有效性。
2017-02-25 cs.AI cs.PL
Refutation of Spectral Graph Theory Conjectures with Monte Carlo Search
LAMSADE（LAMSADE实验室）；Université Paris Dauphine - PSL（巴黎多芬大学-PSL大学）；CNRS（法国国家科学研究中心）
我们演示了如何蒙特卡罗搜索（MCS）算法，即嵌套蒙特卡罗搜索（NMCS）和嵌套推出策略自适应（NRPA），可以用来构建图形，并找到反例谱图理论在几分钟内。
2022-08-03 cs.AI math.CO
