Decision Making in Non-Stationary Environments with Policy-Augmented Monte Carlo Tree Search
Vanderbilt University（范德堡大学）
不确定性决策（DMU）在许多重要问题中都有应用。一个开放的挑战是在非平稳环境中的DMU，其中环境的动态可以随着时间的推移而变化。强化学习（RL）是一种解决DMU问题的流行方法，它通过离线与环境模型交互来学习策略。不幸的是，如果环境发生变化，则策略可能变得陈旧并采取次优的动作，并且针对更新的环境重新学习策略需要时间和计算工作量。另一种方法是在线规划方法，如蒙特卡罗树搜索（MCTS），它在决策时执行计算。鉴于目前的环境，MCTS计划使用高保真模型来确定有希望的行动轨迹。一旦检测到环境变化，这些模型就可以立即更新，并将其纳入决策。然而，MCTS的收敛速度可能是缓慢的域与大的状态动作空间。在本文中，我们提出了一种新的混合决策方法，结合RL和规划的优势，同时减轻他们的弱点。我们的方法，称为政策增强MCTS（PA-MCTS），集成了一个政策的肌动蛋白值估计到MCTS，使用估计种子的行动轨迹的搜索青睐。我们假设，PA-MCTS将更快地收敛比标准的MCTS，同时作出更好的决定比政策可以自己面对非平稳环境时。我们测试我们的假设，通过比较PA-MCTS与纯MCTS和RL代理应用于经典的CartPole环境。我们发现，PC-MCTS可以实现更高的累积奖励比孤立的政策在几个环境的变化，而收敛在显着较少的迭代比纯MCTS。
2022-02-25 cs.AI
Dual Monte Carlo Tree Search
Northeastern University（东北大学）
AlphaZero使用深度神经网络和蒙特卡罗树搜索（MCTS）的组合，成功地以tabula-rasa的方式训练了强化学习代理。神经MCTS算法已经成功地通过自我游戏找到了接近最优的游戏策略。然而，AlphaZero算法有一个明显的缺点;它需要很长的时间来收敛，并需要高的计算能力，由于复杂的神经网络解决像国际象棋，围棋，将棋等游戏，由于这一点，这是很难追求神经MCTS研究没有尖端的硬件，这是许多有抱负的神经MCTS研究人员的一个障碍。在本文中，我们提出了一种新的神经MCTS算法，称为双MCTS，这有助于克服这些缺点。双MCTS使用两种不同的搜索树，一个深度神经网络，以及一种新的搜索树更新技术，该技术使用PUCB、滑动窗口和搜索-贪心算法的组合。该技术适用于任何基于MCTS的算法，以减少对树的更新次数。我们表明，双MCTS表现优于最广泛使用的神经MCTS算法之一，AlphaZero，各种对称和非对称的游戏。
2021-10-10 cs.AI cs.MA
Asymmetric Move Selection Strategies in Monte-Carlo Tree Search: Minimizing the Simple Regret at Max Nodes
University of Tokyo（东京大学）
多臂强盗（MAB）算法与蒙特卡罗树搜索（MCTS）算法的结合在各个研究领域产生了重大影响。将UCB强盗算法与MCTS相结合的UCT算法就是这种结合的成功例子。AlphaGo最近取得的突破，将卷积神经网络与强盗算法融合在MCTS中，也凸显了强盗算法在MCTS中的必要性。然而，尽管对MCTS进行了各种研究，但几乎所有的研究仍然遵循将每个节点视为MAB问题的独立实例的范式，并在每个节点上应用相同的强盗算法和算法。因此，这种范例可能会留下游戏树的一些属性未被利用。在这项工作中，我们提出了最大节点和最小节点有不同的关注点，他们的价值估计，不同的强盗算法应相应地应用。我们开发了Aapric-MCTS算法，这是一个MCTS的变种，适用于一个简单的遗憾算法的最大节点，和最小节点的UCB算法。我们将在$9\times 9$ Go、$9\times 9$ NoGo和Othello游戏上演示AACHIC-MCTS算法的性能。
2016-05-08 cs.AI
SRA-MCTS: Self-driven Reasoning Augmentation with Monte Carlo Tree Search for Code Generation
School of Computer Science and Technology, Beijing Institute of Technology, Beijing, China（计算机科学与技术学院，北京理工大学，北京）
本文提出 SRA-MCTS 方法，通过蒙特卡洛树搜索引导模型自主生成高质量推理路径并转化为可执行代码，在无额外监督下提升不同规模模型的复杂代码生成能力，并在 CoT 退化时保持稳健。
2025-05-09 cs.AI cs.CL
RPM-MCTS: Knowledge-Retrieval as Process Reward Model with Monte Carlo Tree Search for Code Generation
RPM-MCTS通过结合知识检索与蒙特卡洛树搜索，有效评估代码生成过程中的中间步骤，减少错误并提升效率
2025-12-17 cs.AI
ROSUM-MCTS: Monte Carlo Tree Search-Inspired HDL Code Summarization with Structural Rewards
University of California, Berkeley（加州大学伯克利分校）；Stanford University（斯坦福大学）
提出ROSUM-MCTS方法，利用蒙特卡洛树搜索引导大语言模型，通过分层候选扩展和复合奖励函数优化硬件描述语言代码摘要，在VHDL和Verilog数据集上优于基线方法。
2026-06-06 cs.CL
Preference-Based Monte Carlo Tree Search
Technische Universität Darmstadt（达姆施塔特工业大学）
蒙特卡罗树搜索（MCTS）是求解序列任意时刻问题的常用算法.然而，它取决于数字反馈信号，这可能很难定义。实时MCTS是一种变体，它可能很少遇到具有明确外在奖励的状态。为了处理这种情况，实验者必须以启发式的形式提供额外的数字反馈信号，这在本质上指导代理。最近的研究表明，在不同的领域，基本结构是有序的，而不是数字的。因此，错误和有偏见的解释是不可避免的，特别是在这些领域。在本文中，我们提出了一个MCTS的变种，它只依赖于定性反馈，因此开辟了新的应用MCTS。我们还发现，将绝对的序数反馈可能是有益的迹象。使用谜题域，我们表明我们基于偏好的MCTS变体（仅接收定性反馈）能够达到与获得定量反馈的常规MCTS基线相当的性能水平。
2018-07-17 cs.AI
Monte Carlo Tree Search in the Presence of Transition Uncertainty
University of Alberta（阿尔伯塔大学）；Edmonton Research Center, Huawei Canada（华为加拿大埃德蒙顿研究中心）
针对环境模型不完美导致标准MCTS性能下降的问题，提出不确定性自适应MCTS（UA-MCTS），通过估计转移不确定性并引导搜索，改进四个阶段，在损坏赌博机中取得更紧遗憾界，实验验证其显著提升性能。
2023-12-18 cs.AI cs.LG
C-MCTS: Safe Planning with Monte Carlo Tree Search
FAU Erlangen-Nürnberg（埃尔朗根-纽伦堡大学）；Fraunhofer Institute for Integrated Circuits (IIS)（弗劳恩霍夫集成电路研究所）
本文提出 C-MCTS，利用离线时序差分训练的安全评论家在 MCTS 中剪枝不安全轨迹，从而在满足成本约束的同时提升奖励、规划效率与模型失配下的安全性。
2024-10-27 cs.AI cs.LG
Re-determinizing Information Set Monte Carlo Tree Search in Hanabi
本技术报告记录了2018年Hanabi游戏计算智能（CIG）竞赛的获胜者。我们介绍了重新确定IS-MCTS，一种新的扩展信息集蒙特卡罗树搜索（IS-MCTS），防止泄漏的隐藏信息到对手的模型，可以发生在IS-MCTS，特别是在Hanabi严重。重新确定IS-MCTS分数更高的Hanabi为2-4名球员比以前发表的工作在比赛的时候。考虑到每次移动的40 ms竞争时间限制，我们使用学习的评估函数来估计叶节点值，并避免在MCTS期间进行完全模拟。对于混合赛道比赛，其中其他选手的身份是未知的，使用简单的贝叶斯对手模型，该模型随着每场比赛的进行而更新。
2019-05-14 cs.AI cs.LG
Practical Massively Parallel Monte-Carlo Tree Search Applied to Molecular Design
Chugai Pharmaceutical Co., Ltd（中外制药株式会社）；Intel Labs（英特尔实验室）；RIKEN Center for Advanced Intelligence Project（理化学研究所革新智能统合研究中心）
使用大的计算资源来训练神经网络是常见的做法，如从许多示例（诸如强化学习应用）中已知的。然而，虽然大规模并行计算经常用于训练模型，但它很少用于搜索组合优化问题的解决方案。在本文中，我们提出了一种新的大规模并行蒙特卡罗树搜索（MP-MCTS）算法，有效地工作在1,000工人规模，并将其应用于分子设计。这是第一个将分布式MCTS应用于现实世界和非游戏问题的工作。现有的大规模并行MCTS的工作表现出高效的可扩展性方面的推出多达100名工人的数量，但遭受的质量下降的解决方案。MP-MCTS在更大规模上保持搜索质量，并且通过在256个CPU核上运行MP-MCTS仅10分钟，我们获得了与运行42小时的非并行MCTS具有相似得分的候选分子。此外，我们基于并行MCTS（结合简单的RNN模型）的结果显着优于现有的最先进的工作。我们的方法是通用的，预计将加快其他应用的MCTS。
2021-04-06 cs.AI cs.DC
SGA-MCTS: Decoupling Planning from Execution via Training-Free Atomic Experience Retrieval
Ant Digital Technologies, Ant Group（蚂蚁集团数字技术部）；Hefei Comprehensive National Science Center（合肥国家科学中心）
SGA-MCTS通过无训练原子经验检索解耦规划与执行，利用MCTS探索解空间并生成SGA原子，结合检索增强机制实现高效推理，使冻结模型在无需微调的情况下达到SOTA系统性能。
2026-04-16 cs.AI
Adapting Improved Upper Confidence Bounds for Monte-Carlo Tree Search
University of Tokyo（东京大学）
UCT算法结合了UCB算法和蒙特卡罗树搜索（MCTS），是目前MCTS最广泛使用的变体。最近，一些调查应用其他强盗算法MCTS产生了有趣的结果。在这项研究中，我们将调查的可能性相结合的改进UCB算法，提出了Auer等人。（2010年），与MCTS。然而，改进的UCB算法的各种特性和属性对于直接应用于MCTS可能不是理想的。为此，对改进的UCB算法进行了改进，使其更适合于博弈树搜索任务。Mi-UCT算法是UCB算法在树上的应用。Mi-UCT的性能在$9\times 9$ Go和$9\times 9$ NoGo的游戏上得到了证明，并且已经表明，当仅给出少量播放时，Mi-UCT的性能优于普通UCT算法，并且当更多播放可用时，Mi-UCT的性能大致相同。
2015-05-11 cs.AI
Monte Carlo Tree Search with Heuristic Evaluations using Implicit Minimax Backups
Maastricht University（马斯特里赫特大学）；University of Denver（丹佛大学）
蒙特卡罗树搜索（MCTS）提高了围棋、十六进制和一般游戏等领域的游戏引擎的性能。MCTS已被证明在难以获得良好启发式评估的游戏中优于经典的alpha-beta搜索。近年来，在MCTS中结合传统的极大极小搜索的思想已经被证明在某些领域是有利的，例如行动线，亚马逊和突破。在本文中，我们提出了一种新的方法来使用启发式评估，以指导MCTS搜索存储的两个来源的信息，估计的胜率和启发式评估，分别。而不是使用启发式的评估，以取代播放，我们的技术支持他们隐式在MCTS模拟。这些极小极大值然后用于指导未来的模拟。我们表明，使用隐式极大极小备份导致更强的发挥性能在卡拉，突破，和行动线。
2014-06-19 cs.AI
Monte Carlo Tree Search based Variable Selection for High Dimensional Bayesian Optimization
Nanjing University（南京大学）
贝叶斯优化（BO）是一类流行的昂贵的黑箱优化方法，并已被广泛应用于许多场景。然而，BO受到维数灾难的影响，将其扩展到高维问题仍然是一个挑战。本文提出了一种基于蒙特卡罗树搜索（MCTS）的变量选择方法MCTS-VS，用于迭代地选择和优化一个变量子集。也就是说，MCTS-VS通过MCTS构造低维子空间，并在子空间中使用任何BO算法进行优化。我们给出了一般变量选择方法的理论分析，以揭示它是如何工作的。高维合成函数和真实世界问题的实验（即，NAS-bench问题和MuJoCo运动任务）表明，配备适当BO优化器的MCTS-VS可以实现最先进的性能。
2022-11-16 cs.AI cs.LG
I-MCTS: Enhancing Agentic AutoML via Introspective Monte Carlo Tree Search
Ant Group（蚂蚁集团）；Rutgers University（罗格斯大学）
I-MCTS通过反思蒙特卡洛树搜索提升代理AutoML性能，实现4%的绝对性能提升。
2026-01-23 cs.CL
Amplifying Exploration in Monte-Carlo Tree Search by Focusing on the Unknown
Technical University Darmstadt（达姆施塔特工业大学）；Hessian Center for Artificial Intelligence (hessian.AI)（黑森人工智能中心）；National Research Center for Applied Cybersecurity ATHENE（国家应用网络安全研究中心ATHENE）；Johannes Gutenberg-Universität Mainz（美因茨约翰内斯·古腾堡大学）；Centre for Cognitive Science（认知科学中心）；German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）
提出 AmEx-MCTS 方法，通过解耦价值更新、访问计数与选择路径来排除已探索子树，在同等计算资源下实现更广搜索，显著超越经典 MCTS。
2024-02-13 cs.AI
Formally-Sharp DAgger for MCTS: Lower-Latency Monte Carlo Tree Search using Data Aggregation with Formal Methods
Université Libre de Bruxelles（布鲁塞尔自由大学）；Univ. Paris Est Créteil（巴黎东克雷泰伊大学）；University of Antwerp（安特卫普大学）
本文提出形式化方法增强的 DAgger 框架，用模型检验引导 MCTS 生成模仿学习样本，并通过统计模型检验针对性补样，以获得低延迟策略。
2023-08-15 cs.AI
Monte Carlo Tree Search for high precision manufacturing
Fraunhofer Center for Machine Learning（弗劳恩霍夫机器学习中心）；Fraunhofer Institute for Intelligent Analysis and Information Systems IAIS（弗劳恩霍夫智能分析与信息系统研究所（IAIS））；Bonn University（波恩大学）
蒙特卡罗树搜索（MCTS）在许多确定性和随机性的例子中显示了它的优势，但文献中缺乏将其应用于实际工业过程的报道。常见的原因是没有有效的过程模拟器，或者在将MCTS应用于过程的复杂规则时存在问题。在本文中，我们应用MCTS优化的高精度制造过程，具有随机和部分可观察的结果。我们利用专家知识为基础的模拟器，并适应MCTS的默认政策来处理制造过程。
2021-07-28 cs.AI cs.LG
ProTuner: Tuning Programs with Monte Carlo Tree Search
UC Berkeley（加州大学伯克利分校）；MIT（麻省理工学院）
我们探索将蒙特卡罗树搜索（MCTS）算法应用于一项众所周知的困难任务：为高性能深度学习和图像处理调整程序。我们建立我们的框架顶部的卤化物，并表明MCTS可以优于国家的最先进的波束搜索算法。不像束搜索，这是由贪婪的部分和不太有意义的时间表之间的中间性能比较引导，MCTS比较完整的时间表，并期待在作出任何中间调度决策。我们进一步探讨修改标准MCTS算法，以及结合实际执行时间的测量与成本模型。我们的研究结果表明，MCTS可以优于束搜索的一套16个真正的基准。
2020-05-27 cs.AI cs.DC cs.LG
Enhancing the Monte Carlo Tree Search Algorithm for Video Game Testing
Middle East Technical University（中东技术大学）
在本文中，我们研究了几个蒙特卡罗树搜索（MCTS）的修改视频游戏测试的效果。虽然MCTS的修改在游戏中得到了广泛的研究，但它们对发现bug的影响是空白的。我们在之前的研究中专注于bug发现，在那里我们引入了合成的和类似人类的测试目标，并且我们在Sarsa和MCTS代理中使用这些测试目标来发现bug。在这项研究中，我们扩展了MCTS代理的游戏测试目的的几个修改。此外，我们提出了一种新的树重用策略。我们通过在三个测试平台游戏上测试这些修改来进行实验，每个测试平台游戏有四个级别，总共包含45个错误。我们使用通用视频游戏人工智能（GVG-AI）框架来创建测试床游戏，并使用GVG-AI框架收集427个人类测试者轨迹。我们分析了三个部分提出的修改：我们评估其对代理的错误发现性能的影响，我们衡量他们的成功下两个不同的计算预算，我们评估他们的影响，人类相似的人一样的代理。我们的研究结果表明，MCTS修改提高了代理的错误发现性能。
2020-03-17 cs.AI
Monte Carlo Tree Search with Scalable Simulation Periods for Continuously Running Tasks
NEC-AIST AI Cooperative Research Laboratory（NEC-产业技术综合研究所人工智能合作研究实验室）；NEC Security Research Laboratories（NEC安全研究实验室）；The University of Tokyo（东京大学）
蒙特卡罗树搜索（MCTS）特别适用于潜在动作可以表示为顺序决策树的域。为了有效的动作选择，MCTS执行许多模拟来构建决策空间的可靠树表示。因此，当在动作选择之间不能执行足够的模拟时，MCTS的瓶颈出现。这在连续运行的任务中尤其突出，由于环境的状态不断变化，可用于在操作之间执行模拟的时间往往受到限制。在本文中，我们提出了一种方法，利用MCTS的随时特性，以增加仿真时间时允许的。我们的方法是有效地平衡的前景，选择一个动作的时间，可以节省执行MCTS模拟之前，下一个动作的选择。为此，我们将模拟时间视为与动作一起选择的决策变量。我们扩展了分层乐观优化树（HOOT）方法，以适应我们的方法与连续决策空间的环境。我们通过OpenAI gym的Pendulum和Continuous Mountain Car环境评估了具有连续决策空间的环境的方法，并通过街机学习环境（ALE）平台评估了具有离散动作空间的环境。评估结果表明，与可变的模拟时间，所提出的方法优于传统的MCTS在评估的连续决策空间任务，并提高了MCTS的性能在大多数ALE任务。
2018-09-07 cs.AI
Proof Number Based Monte-Carlo Tree Search
Faculty of Mathematics and Computer Science, University of Wrocław（弗罗茨瓦夫大学数学与计算机科学学院）；Department of Advanced Computing Sciences, Maastricht University（马斯特里赫特大学高级计算科学系）
提出结合蒙特卡洛树搜索与证明数搜索的PN-MCTS算法，在多个博弈中超越MCTS，最高胜率达96.2%。
2024-05-29 cs.AI
Parallelization of Monte Carlo Tree Search in Continuous Domains
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
蒙特卡罗树搜索（MCTS）已被证明能够解决围棋、国际象棋和雅达利等领域的挑战性任务。以前的研究已经开发了并行版本的MCTS，利用今天的多处理架构。这些研究集中在离散情况下的MCTS版本。我们的工作建立在现有的并行化策略，并将其扩展到连续域。特别是，叶并行化和根并行化进行了研究，并提出了两个最终的选择策略，需要处理连续状态根并行化。使用具有挑战性的合作多智能体系统的轨迹规划任务，在自动驾驶汽车领域的并行化连续MCTS的评价进行。
2020-03-30 cs.AI cs.LG stat.ML
Monte Carlo Tree Search Based Tactical Maneuvering
Raytheon Technologies Research Center（雷神技术研究中心）
本文研究了基于同时移动蒙特卡罗树搜索（MCTS）的无人机战术机动在线框架的应用。与其他技术相比，MCTS能够在长时间范围内进行有效搜索，并在考虑对手飞机战术的同时，使用自我发挥来选择当前状态下的最佳机动。我们探讨不同的算法选择MCTS和模拟的2D战术机动应用程序中的数字演示的框架。
2020-09-13 cs.AI cs.LG cs.MA
A Fast Evolutionary adaptation for MCTS in Pommerman
Queen Mary University of London（伦敦玛丽女王大学）
当人工智能与游戏相结合时，它是研究和推进该领域的理想结构。多智能体游戏对每个智能体都有多个控制，这会产生大量的数据，同时增加搜索的复杂性。因此，我们需要先进的搜索方法来找到解决方案并创建人工智能代理。在本文中，我们提出了我们的新的进化蒙特卡罗树搜索（FEMCTS）代理，它借鉴了进化算法（EA）和蒙特卡罗树搜索（MCTS）玩游戏的Pommerman。它在高可观测性设置中的性能明显优于滚动地平线进化算法（RHEA），并且对于大多数游戏种子，它的性能几乎与MCTS一样好，在某些情况下优于MCTS。
2021-11-26 cs.AI cs.GT
Tail-Risk-Safe Monte Carlo Tree Search under PAC-Level Guarantees
The George Washington University（乔治·华盛顿大学）；New Jersey Institute of Technology（新泽西理工学院）
针对MCTS忽略尾部风险的问题，提出CVaR-MCTS和W-MCTS，分别嵌入CVaR度量和Wasserstein模糊集，提供PAC级尾部安全保证，实验验证优于基线。
2025-08-07 cs.AI cs.LG
Ordinal Monte Carlo Tree Search
Technische Universität Darmstadt（达姆施塔特工业大学）
在许多问题设置中，最明显的是在游戏中，智能体可能会因其行为而获得延迟的奖励。通常，这些奖励是手工制作的，而不是自然给予的。即使是简单的终端奖励，比如赢等于1，输等于-1，也不能被视为无偏的声明，因为这些值是任意选择的，学习者的行为可能会随着不同的编码而改变，比如将输的值设置为-0：5，这在实践中经常被用来鼓励学习。很难争论好的奖励，代理的表现往往取决于奖励信号的设计。特别地，在状态本质上仅具有顺序排名并且游戏状态值之间的有意义的距离信息不可用的域中，数字奖励信号必然是有偏的。在本文中，我们看一看蒙特卡罗树搜索（MCTS），一个流行的算法来解决MDPs，突出一个重复出现的问题，其使用的奖励，并表明，一个有序的治疗的奖励克服了这个问题。使用一般的视频游戏播放框架，我们展示了我们新提出的顺序MCTS算法的优势，基于偏好的MCTS，香草MCTS和其他各种MCTS变体。
2019-01-14 cs.AI
Retrosynthetic Planning with Experience-Guided Monte Carlo Tree Search
Sun Yat-Sen University（中山大学）
针对逆合成规划的组合爆炸难题，提出经验引导蒙特卡洛树搜索方法，通过经验引导网络从合成经验中学习以替代随机模拟，在USPTO数据集及真实药物分子场景下效率与效果均优于现有方法。
2023-06-10 cs.AI
MonteFloor: Extending MCTS for Reconstructing Accurate Large-Scale Floor Plans
Graz University of Technology（格拉茨技术大学）；École des Ponts ParisTech（巴黎高科路桥学院）
我们提出了一种新的方法，从嘈杂的3D点云重建平面图。我们的主要贡献是一个原则性的方法，依赖于蒙特卡罗树搜索（MCTS）算法，以最大限度地提高一个合适的目标函数有效地，尽管问题的复杂性。与以前的工作一样，我们首先将输入的点云投影到顶视图上，以创建密度图并从中提取房间建议。我们的方法选择并优化这些房间建议的多边形形状，以适应密度图，并输出精确的矢量化楼层图，即使是大型复杂场景。为此，我们调整了MCTS，一种最初设计用于学习玩游戏的算法，通过最大化目标函数来选择房间提案，该目标函数将适应度与深度网络预测的密度图相结合，并对房间形状进行正则化。我们还向MCTS引入了一个细化步骤，用于调整房间建议的形状。对于这一步，我们提出了一种新的微分方法来渲染这些建议的多边形形状。我们评估我们的方法在最近的和具有挑战性的Structured 3D和Floor-SP数据集，并显示出显着的改进，在最先进的，没有施加任何硬约束，也没有假设的平面图配置。
2021-09-13 cs.AI cs.CV cs.LG
Don't throw away your value model! Generating more preferable text with Value-Guided Monte-Carlo Tree Search decoding
University of Washington（华盛顿大学）；FAIR, Meta（Meta FAIR研究院）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
本文提出PPO-MCTS算法，将PPO训练得到的价值网络与策略网络在推理时通过蒙特卡洛树搜索协同解码，解决训练与测试评分机制不匹配问题，在四个文本生成任务上显著提升生成文本的偏好度。
2024-04-02 cs.AI cs.CL cs.LG
Monte Carlo Tree Search with Sampled Information Relaxation Dual Bounds
蒙特卡洛树搜索（MCTS），最著名的用于游戏人工智能（例如，围棋）是一种众所周知的用于构造序列判定问题的近似解的策略。它的主要创新是使用一个启发式，称为默认策略，以获得蒙特卡洛估计的下游值的状态在决策树。该信息用于迭代地将树扩展到最优策略可能访问的状态和动作的区域。然而，为了保证收敛到最优动作，MCTS要求整个树被渐近扩展。在本文中，我们提出了一种新的技术，称为原始-对偶MCTS，利用采样信息放松上界的潜在行动，创造的可能性“忽略”的树，干高度次优选择的部分。这使我们能够证明，尽管收敛到一个部分决策树的限制，从原始-对偶MCTS推荐的行动是最佳的。当用于优化单个驾驶员在乘车共享平台上操作时浏览图形的行为时，这种新方法显示出了巨大的前景。在新泽西州7,000次旅行的真实数据集上进行的数值实验表明，原始-对偶MCTS通过产生更深的决策树来改进标准MCTS，并表现出对动作空间大小的敏感性降低。
2017-04-20 cs.AI cs.LG math.OC
MCTS-GEB: Monte Carlo Tree Search is a Good E-graph Builder
University of Cambridge（剑桥大学）
本文提出 MCTS-GEB，利用强化学习和 MCTS 规划 e-graph 构建，以消除未饱和情况下的阶段排序问题，并在两个领域最高实现 49 倍性能提升。
2023-04-20 cs.AI cs.LG cs.PL
MCTS Based Agents for Multistage Single-Player Card Game
Warsaw University of Technology（华沙理工大学）
本文介绍了蒙特卡罗树搜索算法在纸牌游戏《指环王》中的应用。主要的挑战是游戏机制的复杂性，其中每一轮由5个决策阶段和2个随机阶段组成。为了测试各种决策算法，已经实现了一个游戏模拟器。该研究涵盖了基于专家规则的代理，使用平坦的蒙特卡罗搜索，以及完整的MCTS-UCB。此外，不同的播放策略进行了比较。作为实验的结果，最佳的（假设有限的时间）组合的算法制定。基于MCTS的方法比具有专家知识的代理具有优势。
2021-09-24 cs.AI cs.LG
Traditional Wisdom and Monte Carlo Tree Search Face-to-Face in the Card Game Scopone
Politecnico di Milano（米兰理工大学）
我们提出了一个有竞争力的人工智能Scopone，一个流行的意大利纸牌游戏的设计。我们比较了基于规则的球员使用最既定的策略（一个初学者和两个先进的球员）对球员使用蒙特卡罗树搜索（MCTS）和信息集蒙特卡罗树搜索（ISMCTS）与不同的奖励函数和模拟策略。MCTS需要关于游戏状态的完整信息，从而实现作弊玩家，而ISMCTS可以处理不完整信息，从而实现公平玩家。我们的研究结果表明，正如预期的那样，作弊MCTS优于所有其他策略; ISMCTS比所有基于规则的球员实施众所周知的和最先进的战略，它也被证明是一个具有挑战性的对手，人类球员。
2018-07-18 cs.AI
Accelerating Monte Carlo Tree Search with Probability Tree State Abstraction
Shanghai Jiao Tong University（上海交通大学）
提出概率树状态抽象（PTSA）算法，通过路径传递性和减少聚合错误来加速MCTS，与Sampled MuZero和Gumbel MuZero集成，实现10%-45%搜索空间缩减。
2023-10-10 cs.AI
Optimized Monte Carlo Tree Search for Enhanced Decision Making in the FrozenLake Environment
Universidad del Valle de Guatemala（危地马拉河谷大学）
本文提出一种优化的蒙特卡洛树搜索方法，利用累积奖励、访问计数表和UCT公式应用于FrozenLake环境，有效提高了奖励和成功率并缩短收敛时间，优于带策略的MCTS和Q-Learning等基线算法。
2024-09-25 cs.AI
Discovering Mathematical Formulas from Data via GPT-guided Monte Carlo Tree Search
ANNLAB, Institute of Semiconductors, Chinese Academy of Sciences（中国科学院半导体研究所ANNLAB）；School of Integrated Circuits, University of Chinese Academy of Sciences（中国科学院大学集成电路学院）；School of Electronic, Electrical and Communication Engineering, University of Chinese Academy of Sciences（中国科学院大学电子电气与通信工程学院）
针对符号回归中现有MCTS方法搜索效率低、预训练策略网络泛化差的问题，提出SR-GPT算法，将GPT与MCTS耦合互优化，在多数据集上的表达式恢复效果超越当前最优算法。
2024-01-30 cs.AI cs.LG
Monte Carlo Tree Search Satellite Scheduling Under Cloud Cover Uncertainty
Department of Mathematics and Computer Science（数学与计算机科学系）；Royal Military College of Canada（加拿大皇家军事学院）
针对云层覆盖等不确定条件下的多卫星采集调度问题（m-SatCSP），本文利用蒙特卡洛树搜索（MCTS）算法进行任务调度，经超参数调优后，在求解质量和效率上均优于现有方法，为动态环境中的卫星调度提供了有效方案。
2024-05-31 cs.AI cs.SY eess.SY
Quantum Monte Carlo Tree Search with Fixed Confidence
Fudan University（复旦大学）；Georgia Institute of Technology（佐治亚理工学院）
本文提出量子MCTS算法（QMCTS），结合阈值消除与量子蒙特卡洛估计，在固定置信度下高效识别近似最优动作，并给出查询复杂度上下界及实验验证。
2026-09-29 cs.AI quant-ph
Monte Carlo Tree Search for Asymmetric Trees
Delft University of Technology（代尔夫特理工大学）；Leiden University（莱顿大学）
我们提出了一个扩展的蒙特卡罗树搜索（MCTS），大大提高了其效率与不对称和/或循环的树。搜索树的非对称终止引入了一种标准置信上限（UCB）公式无法解释的不确定性。我们的第一个算法（MCTS-T），它假设一个非随机的环境，备份树结构的不确定性，并利用它在修改后的UCB公式的探索。结果表明，大大提高了效率，在一个众所周知的非对称域中，MCTS执行任意坏。接下来，我们将不对称终止的概念与树中循环的存在联系起来，在树中，同一状态在单个跟踪中出现多次。我们的算法（MCTS-T+），除了非随机性假设全状态可观测性的扩展，进一步提高搜索效率的循环域以及。在一组OpenAI Gym和Atari 2600游戏上进行的基准测试表明，我们的算法总是比标准MCTS表现得更好，或者至少相当于标准MCTS，并且可以成为非随机、完全可观察环境的首选树搜索算法。
2018-05-23 cs.AI cs.LG stat.ML
Surrogate Assisted Monte Carlo Tree Search in Combinatorial Optimization
JP Morgan AI Research（摩根大通AI研究院）
本文研究设施选址中的零售店移除问题，提出用代理模型加速蒙特卡洛树搜索评估，在保持解质量的同时显著提升求解速度。
2024-03-14 cs.AI
An Integrated Framework Integrating Monte Carlo Tree Search and Supervised Learning for Train Timetabling Problem
School of Information Science and Technology, Southwest Jiaotong University（西南交通大学信息科学与技术学院）
针对单线铁路列车时刻表问题，本文提出融合启发式方法、无监督与监督学习的蒙特卡洛树搜索集成框架，通过规划器与学习器结合提升求解数据效率，为该问题求解提供新范式。
2023-11-02 cs.AI cs.CE cs.LG
Power Mean Estimation in Stochastic Monte-Carlo Tree_Search
Univ. Lille（里尔大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）
本文提出Stochastic-Power-UCT算法，通过引入幂均值估计器解决随机MDP中的有偏值估计问题，并证明其具有与Fixed-Depth-MCTS相同的O(n^{-1/2})收敛率。
2024-06-04 cs.AI
MCTS-SQL: Light-Weight LLMs can Master the Text-to-SQL through Monte Carlo Tree Search
MCTS-SQL通过蒙特卡洛树搜索引导轻量级大语言模型高效生成SQL查询，实验证明其在文本到SQL任务中优于现有方法。
2025-11-27 cs.AI cs.CL cs.DB
Deep Reinforcement Learning Xiangqi Player with Monte Carlo Tree Search
Columbia University（哥伦比亚大学）
本文提出一种结合神经网络与蒙特卡洛树搜索的深度强化学习系统，用于中国象棋的自我对弈与自我改进，克服高分支因子和不对称棋子动态等挑战，推进AI在文化策略游戏中的应用。
2025-06-18 cs.AI cs.LG
Prompt-Based Monte Carlo Tree Search for Mitigating Hallucinations in Large Models
China Telecom Shanghai Company（中国电信上海公司）；Ferret Relationship Intelligence（费雷特关系智能公司）
针对大型模型在科研领域应用中的幻觉问题，提出基于提示词的改进MCTS方法，通过动态调整探索参数和自适应选择策略平衡探索与利用，在SciEval数据集上优于现有方法。
2025-01-17 cs.AI
Threshold UCT: Cost-Constrained Monte Carlo Tree Search with Pareto Curves
Faculty of Informatics, Masaryk University（马萨里克大学信息学院）
针对约束马尔可夫决策过程中现有蒙特卡洛树搜索方法难以兼顾安全性与策略价值的问题，提出在线算法 T-UCT，通过显式估计搜索树中的帕累托曲线并结合新的动作选择与阈值更新规则，成功找到安全且有价值的策略，显著优于现有方法。
2024-12-18 cs.AI
Quantum Circuit Design using a Progressive Widening Enhanced Monte Carlo Tree Search
本文提出一种基于采样动作空间和渐进式扩展的无梯度蒙特卡洛树搜索方法，用于自动设计量子电路，在量子化学和线性方程组等任务中将电路评估次数减少10至100倍，并显著降低CNOT门数量。
2025-04-28 cs.AI cs.ET quant-ph
A Comparison of Monte Carlo Tree Search and Mathematical Optimization for Large Scale Dynamic Resource Allocation
Massachusetts Institute of Technology（麻省理工学院）；Stanford University（斯坦福大学）
动态资源分配问题是一类重要的动态随机最优化问题，在实际应用中有着广泛的应用。众所周知，DRA问题很难求解到最优解，因为它们经常将随机元素与难以处理的大状态和动作空间结合起来。虽然人工智能和运筹学已经分别提出了两个成功的解决动态随机最优化问题的框架-蒙特卡罗树搜索（MCTS）和数学优化（MO）-但这两种方法的相对优点还没有得到很好的理解。在本文中，我们适应MCTS和MO的战术野火和管理的启发问题，并进行了广泛的计算研究，比较两种方法在大规模的情况下的状态和动作空间。我们表明，这两种方法都能够大大提高基线，具体问题的启发式。在较小的情况下，MCTS和MO方法执行的是并行计算，但MO方法优于MCTS，因为对于固定的计算预算，问题的大小会增加。
2014-05-21 cs.AI math.OC
VOI-aware MCTS
Ben-Gurion University of the Negev（本-古里安大学）
UCT是博弈和马尔可夫决策过程中的蒙特卡罗树搜索（MCTS）的一种最新算法，它基于多臂强盗问题（MAB）的一种最小化累积后悔的抽样策略UCB 1。然而，搜索与MAB的不同之处在于，在MCTS中，通常只有最后的“拉臂”（实际的移动选择）才能收集奖励，而不是所有的“拉臂”。在本文中，MCTS抽样政策的基础上的信息价值（VOI）估计推出的建议。在随机MAB实例和计算机Go上对策略进行实证评估并与UCB 1和UCT进行比较。
2012-07-24 cs.AI cs.LG
Enhancements for Real-Time Monte-Carlo Tree Search in General Video Game Playing
Maastricht University（马斯特里赫特大学）
本文针对通用视频游戏博弈中实时蒙特卡洛树搜索提出八种增强方法，单独应用多数可显著提升胜率，组合后使六十款游戏平均胜率从31.0%提升至48.4%，接近2015年GVG-AI竞赛顶尖水平。
2024-07-03 cs.AI
Elastic Monte Carlo Tree Search with State Abstraction for Strategy Game Playing
Queen Mary University of London（伦敦玛丽女王大学）；Leibniz University Hannover（汉诺威莱布尼茨大学）
战略视频游戏挑战人工智能智能体与他们的组合搜索空间所造成的复杂的游戏元素。状态抽象是一种降低状态空间复杂度的流行技术。然而，目前的游戏状态抽象方法依赖于领域知识，使其应用到新的游戏昂贵。不需要领域知识的状态抽象方法在规划领域得到了广泛的研究。然而，没有证据表明它们可以很好地适应策略游戏的复杂性。在本文中，我们提出了弹性MCTS，一个算法，使用状态抽象玩策略游戏。在Elastic MCTS中，树的节点是动态聚类的，首先通过状态抽象逐渐分组在一起，然后在达到迭代阈值时分离。这种弹性变化既得益于状态抽象带来的高效搜索，又避免了状态抽象对整个搜索的负面影响。为了评估我们的方法，我们利用通用策略游戏平台Stratega来生成不同复杂度的场景。结果表明，弹性MCTS优于MCTS基线有很大的利润，同时减少了$10$的一个因素的树的大小。代码可以在：https://github.com/egg-west/Stratega上找到
2022-05-30 cs.AI
BiT-MCTS: A Theme-based Bidirectional MCTS Approach to Chinese Fiction Generation
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）；School of Foreign Languages, Peking University（北京大学外国语学院）
本文提出BiT-MCTS方法，通过主题驱动策略生成结构化小说，提升叙事连贯性和主题深度。
2026-04-13 cs.CL
