AlphaZero-Inspired Game Learning: Faster Training by Using MCTS Only at Test Time
RWTH Aachen University（亚琛工业大学）；TH Köln – University of Applied Sciences（科隆应用技术大学）
最近，开创性的算法AlphaGo和AlphaZero开启了游戏学习和深度强化学习的新时代。虽然AlphaGo和AlphaZero的成就-在超人类水平上玩围棋和其他复杂游戏-确实令人印象深刻，但这些架构的缺点是它们需要高计算资源。许多研究人员正在寻找类似于AlphaZero的方法，但计算需求较低，因此更容易重现。在本文中，我们选择了AlphaZero的一个重要元素-蒙特卡罗树搜索（MCTS）规划阶段-并将其与时间差（TD）学习代理相结合。我们第一次围绕TD n元组网络包装MCTS，我们只在测试时使用这种包装来创建多功能代理，同时保持低的计算需求。我们将这种新的架构应用到几个复杂的游戏（奥赛罗，ConnectFour，魔方），并显示出这种AlphaZero启发MCTS包装器所取得的优势。特别是，我们目前的结果是，这个代理是第一个在标准硬件（没有GPU或TPU）上训练的代理，可以击败非常强大的奥赛罗程序Edax，包括7级（大多数其他从头开始学习的算法只能击败Edax到2级）。
2022-09-24 cs.AI cs.GT cs.LG
Towards Learning Rubik's Cube with N-tuple-based Reinforcement Learning
Computer Science Institute（计算机科学研究所）
本文详细介绍了如何在通用棋盘游戏（GBG）学习和游戏框架中学习和解决魔方游戏（或谜题）。我们覆盖立方体大小2x2x2和3x3x3。我们详细描述了立方体的状态表示，如何将其与扭曲，整个立方体旋转和颜色变换，并解释使用对称性在魔方。接下来，我们讨论了不同的n元组表示的立方体，我们如何训练的代理强化学习和我们如何提高训练的代理在评估MCTS包装。我们提出的结果，从头开始学习魔方的代理，有和没有MCTS包装，有和没有对称性，并表明，MCTS包装和对称性，增加计算成本，但导致在同一时间更好的结果。我们可以完全解决2x2x2立方体，并在大多数情况下解决3x3x3立方体的乱序立方体，直到p = 15（QTM）。我们还不能可靠地解决3x3x3立方体超过15个扰乱扭曲。虽然我们的计算成本与MCTS包装和对称性相比更高，但它们仍然大大低于McAleer等人（2018，2019）和Agostinelli等人（2019）的方法，他们提供了迄今为止最好的魔方学习代理。
2023-01-28 cs.AI cs.LG
Amplifying Exploration in Monte-Carlo Tree Search by Focusing on the Unknown
Technical University Darmstadt（达姆施塔特工业大学）；Hessian Center for Artificial Intelligence (hessian.AI)（黑森人工智能中心）；National Research Center for Applied Cybersecurity ATHENE（国家应用网络安全研究中心ATHENE）；Johannes Gutenberg-Universität Mainz（美因茨约翰内斯·古腾堡大学）；Centre for Cognitive Science（认知科学中心）；German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）
提出 AmEx-MCTS 方法，通过解耦价值更新、访问计数与选择路径来排除已探索子树，在同等计算资源下实现更广搜索，显著超越经典 MCTS。
2024-02-13 cs.AI
Dual Monte Carlo Tree Search
Northeastern University（东北大学）
AlphaZero使用深度神经网络和蒙特卡罗树搜索（MCTS）的组合，成功地以tabula-rasa的方式训练了强化学习代理。神经MCTS算法已经成功地通过自我游戏找到了接近最优的游戏策略。然而，AlphaZero算法有一个明显的缺点;它需要很长的时间来收敛，并需要高的计算能力，由于复杂的神经网络解决像国际象棋，围棋，将棋等游戏，由于这一点，这是很难追求神经MCTS研究没有尖端的硬件，这是许多有抱负的神经MCTS研究人员的一个障碍。在本文中，我们提出了一种新的神经MCTS算法，称为双MCTS，这有助于克服这些缺点。双MCTS使用两种不同的搜索树，一个深度神经网络，以及一种新的搜索树更新技术，该技术使用PUCB、滑动窗口和搜索-贪心算法的组合。该技术适用于任何基于MCTS的算法，以减少对树的更新次数。我们表明，双MCTS表现优于最广泛使用的神经MCTS算法之一，AlphaZero，各种对称和非对称的游戏。
2021-10-10 cs.AI cs.MA
Boosting MCTS with Free Energy Minimization
Florida Institute of Technology（佛罗里达理工学院）
提出一种将蒙特卡洛树搜索与主动推理目标结合的规划框架，通过融合期望奖励与信息增益实现自由能最小化，在连续控制任务中优于独立CEM和随机回滚MCTS。
2025-01-22 cs.AI
RPM-MCTS: Knowledge-Retrieval as Process Reward Model with Monte Carlo Tree Search for Code Generation
RPM-MCTS通过结合知识检索与蒙特卡洛树搜索，有效评估代码生成过程中的中间步骤，减少错误并提升效率
2025-12-17 cs.AI
Automated Playtesting with Procedural Personas through MCTS with Evolved Heuristics
Northeastern University（东北大学）；New York University（纽约大学）；University of Malta（马耳他大学）
本文描述了一种生成式玩家建模方法及其在游戏内容自动测试中的应用，该方法使用称为程序角色的原型玩家模型。在心理决策理论的理论基础上，程序人物角色的实现使用蒙特卡罗树搜索（MCTS）的变化，其中节点选择标准的开发使用演化计算，取代标准的UCB 1标准的MCTS。使用这些人物角色，我们演示了如何生成的球员模型可以应用到不同的语料库的游戏水平，并演示了如何不同的游戏风格，可以制定在每个级别。简而言之，我们使用人工智能人物角色来构建合成游戏测试员。所提出的方法可以被用作自动播放测试时，人类的反馈是不容易获得的，或者当潜在的互动是必要的快速可视化的工具。可能的应用包括游戏开发期间的交互式工具或程序内容生成系统，其中必须在短时间内进行许多评估。
2018-02-19 cs.AI
Combining LLMs with Logic-Based Framework to Explain MCTS
Vanderbilt University（范德比大学）；Eindhoven University of Technology（埃因霍温理工大学）
针对序列规划中AI信任缺失问题，提出一种结合计算树逻辑与LLM的解释框架，用于解答关于MCTS和MDP的查询，确保事实一致性，并在准确性和事实一致性上表现优异。
2025-05-01 cs.AI
Practical Massively Parallel Monte-Carlo Tree Search Applied to Molecular Design
Chugai Pharmaceutical Co., Ltd（中外制药株式会社）；Intel Labs（英特尔实验室）；RIKEN Center for Advanced Intelligence Project（理化学研究所革新智能统合研究中心）
使用大的计算资源来训练神经网络是常见的做法，如从许多示例（诸如强化学习应用）中已知的。然而，虽然大规模并行计算经常用于训练模型，但它很少用于搜索组合优化问题的解决方案。在本文中，我们提出了一种新的大规模并行蒙特卡罗树搜索（MP-MCTS）算法，有效地工作在1,000工人规模，并将其应用于分子设计。这是第一个将分布式MCTS应用于现实世界和非游戏问题的工作。现有的大规模并行MCTS的工作表现出高效的可扩展性方面的推出多达100名工人的数量，但遭受的质量下降的解决方案。MP-MCTS在更大规模上保持搜索质量，并且通过在256个CPU核上运行MP-MCTS仅10分钟，我们获得了与运行42小时的非并行MCTS具有相似得分的候选分子。此外，我们基于并行MCTS（结合简单的RNN模型）的结果显着优于现有的最先进的工作。我们的方法是通用的，预计将加快其他应用的MCTS。
2021-04-06 cs.AI cs.DC
Equal-Budget Monte Carlo Tree Search versus Randomized-Restart List Scheduling for DAG Workflows: A Controlled Equal-Budget Computational Study
该研究在同等预算下对比MCTS与随机重启列表调度在DAG工作流调度中的性能，发现原MCTS方法表现更差，替换为UCT规则后劣势大幅降低，结果仅适用于特定合成领域。
2026-10-12 cs.AI cs.DC cs.LG
SGA-MCTS: Decoupling Planning from Execution via Training-Free Atomic Experience Retrieval
Ant Digital Technologies, Ant Group（蚂蚁集团数字技术部）；Hefei Comprehensive National Science Center（合肥国家科学中心）
SGA-MCTS通过无训练原子经验检索解耦规划与执行，利用MCTS探索解空间并生成SGA原子，结合检索增强机制实现高效推理，使冻结模型在无需微调的情况下达到SOTA系统性能。
2026-04-16 cs.AI
Surprising Negative Results for Generative Adversarial Tree Search
Caltech（加州理工学院）；Stanford University（斯坦福大学）；UC Davis（加州大学戴维斯分校）；Carnegie Mellon University（卡内基梅隆大学）
虽然深度强化学习（RL）的许多最新进展依赖于无模型方法，但基于模型的方法仍然具有利用无监督数据学习环境模型的潜力。在这项工作中，我们对RL环境的深度生成模型的设计进行了广泛的研究，并提出了一种样本高效和鲁棒的方法来学习Atari环境的模型。我们部署了这个模型，并提出了生成对抗树搜索（GATS），这是一种深度RL算法，可以学习环境模型，并在学习的模型上实现蒙特卡罗树搜索（MCTS）以进行规划。虽然学习模型上的MCTS在计算上是昂贵的，类似于AlphaGo，但GATS遵循深度有限的MCTS。GATS采用深度Q网络（DQN），并学习Q函数为MCTS中的树的叶子赋值。我们从理论上分析了GATS的偏差-方差权衡，并表明GATS能够减轻Q估计中的最坏情况误差。虽然我们期望GATS能够拥有更好的样本复杂性，并更快地收敛到更好的政策，但令人惊讶的是，GATS未能超越DQN。我们提供了一个研究，我们表明为什么深度有限的MCTS无法执行理想的。
2019-09-05 cs.AI cs.LG stat.ML
Formally-Sharp DAgger for MCTS: Lower-Latency Monte Carlo Tree Search using Data Aggregation with Formal Methods
Université Libre de Bruxelles（布鲁塞尔自由大学）；Univ. Paris Est Créteil（巴黎东克雷泰伊大学）；University of Antwerp（安特卫普大学）
本文提出形式化方法增强的 DAgger 框架，用模型检验引导 MCTS 生成模仿学习样本，并通过统计模型检验针对性补样，以获得低延迟策略。
2023-08-15 cs.AI
Monte Carlo Tree Search based Space Transfer for Black-box Optimization
National Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）；School of Artificial Intelligence, Nanjing University（南京大学人工智能学院）
针对黑盒优化中搜索空间迁移缺乏自适应与灵活性的问题，提出 MCTS-transfer，通过 MCTS 迭代划分子空间并融合相似源任务信息，实验证明其优于现有方法。
2024-12-10 cs.AI cs.LG
Simplified Belief-Dependent Reward MCTS Planning with Guaranteed Tree Consistency
Technion - Israel Institute of Technology（以色列理工学院）
部分可观测马尔可夫决策过程（POMDP）是众所周知的难以解决。最先进的在线求解器利用蒙特卡罗树搜索（MCTS）的思想。这些求解器快速收敛到信念树的最有希望的分支，避免了次优部分。这些算法中的大多数被设计为利用直接访问状态奖励，并假设信念依赖的奖励只不过是对状态奖励的期望。因此，它们不适用于更普遍和更基本的信念依赖性奖励设置。这种奖励的一个例子是使用信念的一组加权粒子近似的微分熵。这样的信息论奖励引入了显著的计算负担。在本文中，我们嵌入的范式简化MCTS算法。特别是，我们提出了简化的信息理论粒子滤波树（SITH-PFT），一种新的变体的MCTS算法，考虑信息理论的奖励，但避免了需要完全计算它们。我们取代了昂贵的计算信息理论的奖励与自适应的上限和下限。这些界限易于计算，并且仅根据算法的要求而收紧。至关重要的是，我们保证了与MCTS完全相同的信念树和解决方案，MCTS明确计算了原始的信息理论奖励。我们的方法是一般性的;也就是说，可以容易地插入任何收敛到回报界限的算法，以实现实质上的加速而没有任何性能损失。
2021-05-29 cs.AI cs.RO
Enhancing the Monte Carlo Tree Search Algorithm for Video Game Testing
Middle East Technical University（中东技术大学）
在本文中，我们研究了几个蒙特卡罗树搜索（MCTS）的修改视频游戏测试的效果。虽然MCTS的修改在游戏中得到了广泛的研究，但它们对发现bug的影响是空白的。我们在之前的研究中专注于bug发现，在那里我们引入了合成的和类似人类的测试目标，并且我们在Sarsa和MCTS代理中使用这些测试目标来发现bug。在这项研究中，我们扩展了MCTS代理的游戏测试目的的几个修改。此外，我们提出了一种新的树重用策略。我们通过在三个测试平台游戏上测试这些修改来进行实验，每个测试平台游戏有四个级别，总共包含45个错误。我们使用通用视频游戏人工智能（GVG-AI）框架来创建测试床游戏，并使用GVG-AI框架收集427个人类测试者轨迹。我们分析了三个部分提出的修改：我们评估其对代理的错误发现性能的影响，我们衡量他们的成功下两个不同的计算预算，我们评估他们的影响，人类相似的人一样的代理。我们的研究结果表明，MCTS修改提高了代理的错误发现性能。
2020-03-17 cs.AI
Learning Self-Game-Play Agents for Combinatorial Optimization Problems
Northeastern University（东北大学）
使用自我游戏的强化学习（RL）的最新进展已经在几种棋盘游戏（例如，国际象棋和围棋）以及视频游戏（例如，Atari游戏和Dota 2）。我们可以认为，强化学习从零知识开始，经过一定量的训练后，可能会逐渐接近一个获胜的策略。在本文中，我们探索了神经Monte-Carlo-Tree-Search（神经MCTS），这是一种RL算法，已被DeepMind成功应用于以超人的水平玩围棋和国际象棋。我们试图利用神经MCTS的计算能力来解决一类组合优化问题。根据Hintikka的博弈论语义学思想，提出Zermelo博弈化（ZG）方法，将特定的组合优化问题转化为Zermelo博弈，其获胜策略对应于原优化问题的解。ZG还提供了一个专门设计的神经MCTS。我们使用的组合规划问题的地面实况政策是有效的计算证明ZG是有前途的。
2019-05-09 cs.AI cs.LG
Scalable Robust MCTS with Anytime Deterministic Optimality Guarantees
Faculty of Electrical and Computer Engineering, Technion – Israel Institute of Technology（以色列理工学院电气与计算机工程学院）；Faculty of Aerospace Engineering, Technion – Israel Institute of Technology（以色列理工学院航空航天工程学院）；Faculty of Data and Decision Sciences, Technion – Israel Institute of Technology（以色列理工学院数据与决策科学学院）
本文提出首个具备任意时间确定性保证的可扩展鲁棒MCTS框架，开发CAR-MCTS规划器，通过确定性界引导探索、修剪分支，可验证最优根动作并收敛至最优鲁棒策略，支持在线规划与策略评估。
2026-10-14 cs.AI
On Effective Parallelization of Monte Carlo Tree Search
University of California, Los Angeles（加州大学洛杉矶分校）；Kwai Inc.（快手公司）；Tencent AI Lab（腾讯人工智能实验室）
尽管蒙特卡罗树搜索（MCTS）在围棋和计算机游戏中取得了突破性的成功，但它在计算上是昂贵的，因为它需要大量的展开来构建搜索树，这需要有效的并行化。然而，如何设计有效的并行MCTS算法尚未得到系统的研究，仍然知之甚少。在本文中，我们试图奠定其第一个理论基础，通过研究潜在的性能损失时，实现所需的加速并行化。特别是，我们发现的必要条件，实现理想的并行化性能，并强调其实际好处。首先，通过检查现有的并行MCTS算法是否满足这些条件，我们确定了未来算法应该继承的关键设计原则，例如跟踪未观察到的样本（用于WU-UCT（Liu et al.，2020年））。我们从理论上建立这个基本的设计，促进$\mathcal{O} ( \ln n + M / \sqrt{\ln n} )$累积遗憾时，最大树深度为2，其中$n$是推出的数量和$M$是工人的数量。这种形式的遗憾是非常理想的，与由连续的对应物引起的$\mathcal{O} ( \ln n )$遗憾相比，其多余部分随着$n$的增加而接近于零。其次，更重要的是，我们证明了如何建议的必要条件，可以通过设计更有效的并行MCTS算法。为了说明这一点，我们提出了一个新的并行MCTS算法，称为BU-UCT，按照我们的理论指导方针。新提出的算法虽然是初步的，但在15款Atari游戏中的11款上的表现超过了四个竞争基线。我们希望我们的理论结果可以启发未来的工作更有效的…
2020-10-04 cs.AI cs.LG stat.ML
A Comparison of Monte Carlo Tree Search and Mathematical Optimization for Large Scale Dynamic Resource Allocation
Massachusetts Institute of Technology（麻省理工学院）；Stanford University（斯坦福大学）
动态资源分配问题是一类重要的动态随机最优化问题，在实际应用中有着广泛的应用。众所周知，DRA问题很难求解到最优解，因为它们经常将随机元素与难以处理的大状态和动作空间结合起来。虽然人工智能和运筹学已经分别提出了两个成功的解决动态随机最优化问题的框架-蒙特卡罗树搜索（MCTS）和数学优化（MO）-但这两种方法的相对优点还没有得到很好的理解。在本文中，我们适应MCTS和MO的战术野火和管理的启发问题，并进行了广泛的计算研究，比较两种方法在大规模的情况下的状态和动作空间。我们表明，这两种方法都能够大大提高基线，具体问题的启发式。在较小的情况下，MCTS和MO方法执行的是并行计算，但MO方法优于MCTS，因为对于固定的计算预算，问题的大小会增加。
2014-05-21 cs.AI math.OC
Convex Regularization in Monte-Carlo Tree Search
Technische Universität Darmstadt（达姆施塔特工业大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
蒙特卡洛规划和强化学习（RL）是顺序决策的基础。最近的AlphaGo和AlphaZero算法已经展示了如何成功地将这两种范式结合起来，以解决大规模的顺序决策问题。这些方法利用了著名的UCT算法的一个变体来权衡利用良好的动作和探索未访问的状态，但它们的经验成功是以样本效率差和计算时间长为代价的。在本文中，我们通过在蒙特卡罗树搜索（MCTS）中考虑凸正则化来克服这些限制，该算法已成功地用于RL以有效地驱动探索。首先，我们介绍了一个统一的理论在MCTS中使用通用凸正则化，得出遗憾分析和指数收敛速度提供保证。其次，我们利用我们的理论框架，引入新的正规化备份运营商的MCTS，基于相对熵的政策更新，和Tsallis熵的政策。最后，我们实证评估建议的运营商在AlphaGo和AlphaZero上的问题，增加维度和分支因子，从一个玩具的问题，几个雅达利游戏，显示其优越性w.r.t.代表性基线。
2021-02-16 cs.AI cs.LG
Accelerating Monte Carlo Tree Search with Probability Tree State Abstraction
Shanghai Jiao Tong University（上海交通大学）
提出概率树状态抽象（PTSA）算法，通过路径传递性和减少聚合错误来加速MCTS，与Sampled MuZero和Gumbel MuZero集成，实现10%-45%搜索空间缩减。
2023-10-10 cs.AI
Scalable Anytime Planning for Multi-Agent MDPs
Stanford University（斯坦福大学）；Microsoft（微软）
我们提出了一个可扩展的树搜索规划算法的大型多智能体顺序决策问题，需要动态协作。代理团队需要在许多领域协调决策，但由于联合行动空间随代理数量的指数增长，幼稚的方法会失败。我们规避这种复杂性，通过一个随时随地的方法，使我们能够交易计算近似质量，并动态协调行动。我们的算法包括三个要素：在线规划与蒙特卡罗树搜索（MCTS），因子表示的本地代理与协调图的相互作用，和迭代最大加联合行动选择的方法。我们评估我们的方法在基准SysAdmin域与静态协调图，并实现可比的性能与低得多的计算成本比我们的MCTS基线。我们还介绍了一个多无人机交付域与动态，即，状态相关的协调图，并展示了我们的方法如何扩展到这个领域的大问题，是其他MCTS方法难以解决。我们在https://github.com/JuliaPOMDP/FactoredValueMCTS.jl上提供了我们算法的开源实现。
2021-01-12 cs.AI cs.MA
Geometry-Aware MCTS for Extremal Problems in Combinatorial Geometry
University of California, Irvine（加州大学尔湾分校）
提出几何感知蒙特卡洛树搜索框架，通过增量更新可行动作空间和利用几何对称性，高效解决组合几何中的极值问题，在多个问题上取得新最佳结果。
2026-06-26 cs.AI cs.CG cs.LG
Quantum Monte Carlo Tree Search with Fixed Confidence
Fudan University（复旦大学）；Georgia Institute of Technology（佐治亚理工学院）
本文提出量子MCTS算法（QMCTS），结合阈值消除与量子蒙特卡洛估计，在固定置信度下高效识别近似最优动作，并给出查询复杂度上下界及实验验证。
2026-09-29 cs.AI quant-ph
Decision Making in Non-Stationary Environments with Policy-Augmented Search
Vanderbilt University（范德堡大学）；Stanford University（斯坦福大学）；Eindhoven University of Technology（埃因霍温理工大学）；Pennsylvania State University（宾夕法尼亚州立大学）
针对非平稳环境中预学习策略过时且限时在线搜索易次优的问题，提出PA-MCTS融合旧策略价值估计与最新模型搜索，并给出最优性和误差界，实验证明其优于AlphaZero和DQN。
2024-01-20 cs.AI cs.LG
Speeding Up Path Planning via Reinforcement Learning in MCTS for Automated Parking
本文提出将强化学习集成到蒙特卡洛树搜索中，通过迭代学习状态价值和策略生成器，在自动泊车路径规划中平衡探索与利用，从而在不依赖人类专家数据的情况下加速在线规划并保持质量。
2024-12-31 cs.AI cs.RO
Monte-Carlo Tree Search with Neural Network Guidance for Lane-Free Autonomous Driving
本文提出了一种基于神经网络引导的蒙特卡罗树搜索方法，用于无车道环境下的自动驾驶，旨在提高交通流率并优化安全性和效率。
2026-01-14 cs.AI
Variance-Aware Prior-Based Tree Policies for Monte Carlo Tree Search
University of Tübingen（图宾根大学）
本文提出Inverse-RPO方法，系统推导出基于先验的UCT策略，通过引入方差估计提升搜索效率，实验表明其在多个基准上优于PUCT且无额外计算成本。
2026-04-26 cs.AI cs.LG
Multi-primitive in-memory computing for Monte Carlo tree search
Duke University（杜克大学）；Hewlett Packard Labs（惠普实验室）
研究针对蒙特卡洛树搜索在传统处理器上能耗高限制边缘部署的问题，引入相到原语分解，将算法阶段映射为硬件原生IMC原语，应用于MCTS，实现高效能，在22纳米工艺下能效比CPU高96倍，比GPU高65至2059倍，同一基板可运行多领域应用。
2026-07-28 cs.AI cs.AR cs.ET
Molecular Generative Adversarial Network with Multi-Property Optimization
Cloud Computing Technology and Application Department, Shandong Institute of Commerce and Technology（山东商业科技学院云计算技术与应用系）；Graduate School of Advanced Science and Engineering, Hiroshima University（广岛大学研究生院）；D3 Center, The University of Osaka（大阪大学D3中心）；Graduate School of Informatics, Nagoya University（名古屋大学研究生院）
本研究提出InstGAN，一种基于actor-critic强化学习并具有即时与全局奖励的生成对抗网络，用于药物发现中的token级分子生成，实现多属性优化并缓解模式崩溃，性能优于基线且与最先进模型相当。
2025-09-08 cs.AI cs.LG q-bio.BM
Adaptive Parallel Monte Carlo Tree Search for Efficient Test-time Compute Scaling
School of Computing, Korea Advanced Institute of Science and Technology（韩国科学技术院计算学院）
本文提出负早退和自适应提升机制，通过优化MCTS执行效率，降低端到端延迟并提升吞吐量，同时保持推理准确性。
2026-04-01 cs.AI
Demand response for residential building heating: Effective Monte Carlo Tree Search control based on physics-informed neural networks
IDLab Ghent university – imec（IDLab 根特大学 – 校际微电子中心（imec））；Beebop
本文针对住宅建筑供暖需求响应控制问题，提出结合多步预测物理信息神经网络的改进蒙特卡洛树搜索方法，相比黑盒神经网络方案降低了预测误差与能源成本，同时引入AlphaZero思路减少计算量。
2024-05-21 cs.AI cs.SY eess.SY
Development and Application of a Monte Carlo Tree Search Algorithm for Simulating Da Vinci Code Game Strategies
University of Pittsburgh（匹兹堡大学）；Miami University（迈阿密大学）；University of Washington（华盛顿大学）；Warner Bro. Discovery（华纳兄弟探索公司）；Columbia University（哥伦比亚大学）；Duke University（杜克大学）
本研究开发并评估了蒙特卡洛树搜索算法的两个变体，发现达芬奇密码游戏的分支发散在GPU上导致非线性性能与低谷，而CPU实现呈线性提升，为并行架构下的策略优化提供了关键见解。
2024-03-15 cs.AI
EGG-SR: Embedding Symbolic Equivalence into Symbolic Regression via Equality Graph
University of Texas at El Paso（德克萨斯理工大学）；Purdue University（普渡大学）
EGG-SR通过引入等式图模块，将符号等价性整合到符号回归方法中，以减少搜索空间并提升学习效率。
2026-02-12 cs.AI cs.LG cs.SC
Symbolic Physics Learner: Discovering governing equations via Monte Carlo tree search
Northeastern University（东北大学）；University of Chinese Academy of Sciences（中国科学院大学）；University of Notre Dame（圣母大学）；Renmin University of China（中国人民大学）
非线性动力学在自然界中普遍存在，在各种科学和工程学科中都很常见。从有限的数据中提取控制非线性动力学的分析表达式仍然至关重要但具有挑战性。为了解决这个根本问题，我们提出了一种新的符号物理学习机（SPL）发现非线性动力学的数学结构。其核心思想是通过计算规则和符号解释数学运算和系统状态变量，通过表达式树建立数学公式的符号推理，并采用蒙特卡罗树搜索（MCTS）代理根据测量数据探索最优表达式树。MCTS代理通过遍历表达式树获得一个乐观的选择策略，其特征在于映射到底层物理的算术表达式。所提出的框架的显着特点包括搜索的灵活性和发现方程的简约性的执法。SPL机的有效性和优越性证明了数值例子，与国家的最先进的基线。
2023-02-02 cs.AI cs.LG cs.SC
DAMR: Efficient and Adaptive Context-Aware Knowledge Graph Question Answering with LLM-Guided MCTS
MBZUAI；PolyU；Hebei University of Technology（河北工业大学）；CityU（城市大学）；HKUST（香港科技大学）
针对知识图谱问答中静态路径缺乏适应性和动态生成高成本低精度的问题，提出DAMR框架，利用LLM引导的MCTS缩减搜索空间，并引入轻量Transformer评分器进行上下文感知评估，在多个基准上超越现有最优方法。
2025-09-25 cs.AI cs.CL
Monte Carlo Tree Search with Velocity Obstacles for safe and efficient motion planning in dynamic environments
University of Verona（维罗纳大学）
本文提出融合MCTS与VO的在线运动规划方法，仅依赖障碍物当前位置和最大速度，在多达40个动态障碍物场景中提升安全性、效率与任务表现。
2025-01-16 cs.AI cs.RO
StarAlgo: A Squad Movement Planning Library for StarCraft using Monte Carlo Tree Search and Negamax
Czech Technical University in Prague（捷克技术大学）
即时战略（RTS）游戏最近已经成为人工智能研究的热门试验平台。它们代表了一个复杂的对抗领域，提供了许多有趣的人工智能挑战。有各种各样的研究支持软件工具，库和框架，特别是一个RTS游戏-星际争霸：母巢战争。这些工具旨在解决各种具体的子问题，如资源分配或对手建模，使研究人员可以专注于与他们相关的任务。我们提出了一个这样的工具-一个名为StarAlgo的库，它可以为游戏世界中的小队（战斗单位组）的协调运动制定计划。StarAlgo库可以使用以下两种算法之一来解决小队移动规划问题：考虑持续时间的蒙特卡罗树搜索（MCTSCD）和Negamax的略微修改版本。我们评估这两种算法，比较它们，并演示它们的用法。这个库是作为一个静态C++库实现的，可以很容易地插入到大多数星际AI机器人中。
2018-12-29 cs.AI
BIDA: A Bi-level Interaction Decision-making Algorithm for Autonomous Vehicles in Dynamic Traffic Scenarios
Tongji University（同济大学）；Yale University（耶鲁大学）
提出BIDA算法，融合交互式蒙特卡洛树搜索与深度强化学习，通过价值与策略网络引导推演，提升自动驾驶在动态场景中的交互安全性、效率与合理性。
2025-06-19 cs.AI cs.ET cs.LG
An Efficient Dynamic Sampling Policy For Monte Carlo Tree Search
Guanghua School of Management Peking University（北京大学光华管理学院）；Beijing Jiaotong University（北京交通大学）
针对有限时域MDP中的蒙特卡洛树搜索，提出一种动态采样树策略，高效分配计算预算以最大化根节点最优动作选择概率，在井字棋和五子棋上验证了其高效性。
2022-04-26 cs.AI math.OC stat.AP
Towards Computationally Efficient Responsibility Attribution in Decentralized Partially Observable MDPs
Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所）
责任归属是责任型多主体决策的一个重要概念。鉴于一系列行动，责任归属机制量化了每个参与者对最终结果的影响。其中一个流行的机制是基于实际的因果关系，它根据被认为对所考虑的结果至关重要的行为来分配（因果）责任。然而，查明实际原因，从而确定确切的责任分配的固有问题已被证明是计算上棘手的。在本文中，我们的目标是提供一个实用的算法解决问题的责任归属下的计算预算。我们首先正式的问题的框架下，分散的部分可观测马尔可夫决策过程（Dec-POMDPs）的结构因果模型（SCM）的一个特定的类增强。在这个框架下，我们引入了一个蒙特卡罗树搜索（MCTS）类型的方法，有效地近似代理的责任度。该方法利用了一种新的搜索树的结构和修剪技术，都适合于责任归属的问题。我们的方法的其他新组件是（a）基于线性标量化的子选择策略和（b）考虑通常用于定义实际因果关系的最小条件的反向传播过程。我们通过一个基于模拟的测试平台，其中包括三个团队为基础的纸牌游戏实验评估我们的算法的有效性。
2023-02-24 cs.AI
HyperMCTS: Hypergraph-Augmented MCTS for Long-Horizon LLM Agents
University of Florida（佛罗里达大学）；Amazon（亚马逊）
针对长时程LLM智能体搜索成本高且轨迹反馈复用不足的问题，提出无需训练的HyperMCTS方法，用跨轨迹超图增强MCTS树，通过超边聚合决策组回报指导选择，在DeepPlanning等任务上显著提升规划准确率并降低开销。
2026-09-29 cs.AI
Two-Fidelity Best-Action Identification for Stochastic Minimax Tree
Department of Mathematics, Columbia University（哥伦比亚大学数学系）；Stern School of Business, New York University（纽约大学斯特恩商学院）
针对随机极小极大树中的固定置信度最优动作识别问题，提出双保真度树搜索算法2FFS，结合极小极大快速扩展与MCTS随机采样，自适应选择廉价有偏评估或昂贵精确评估，理论证明固定置信度正确性、有限停止及多项式深度成本上界，实验表明比现有BAI-MCTS基线显著减少样本和计算。
2026-09-30 cs.AI cs.LG
Does it matter how well I know what you're thinking? Opponent Modelling in an RTS game
Queen Mary University of London（伦敦玛丽女王大学）
对手建模试图预测对手的未来行动，并要求在多人游戏中表现良好。关于学习对手模型有很多文献，但关于这种模型必须有多准确才有用的文献要少得多。我们调查的灵敏度蒙特卡罗树搜索（MCTS）和滚动地平线进化算法（RHEA）的准确性，他们的建模对手在一个简单的实时战略游戏。我们发现，在这一领域的RHEA是更敏感的对手模型的准确性比MCTS。MCTS通常做得更好，即使是不准确的模型，而这将降低RHEA的性能。我们表明，面对未知的对手和较低的计算预算，最好不要使用RHEA的任何显式模型，而是在树内对对手的动作进行建模，作为MCTS算法的一部分。
2020-06-15 cs.AI
The Surprising Effectiveness of Approximate Value Iteration in Self-Play
Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；LORIA（洛林计算机科学与应用实验室）
本研究证明，在中等规模博弈中，简单的近似值迭代（AVI）自我对弈方法能学习到比AlphaZero更准确的价值函数，且其贪心策略在更低成本下与MCTS策略竞争力相当，挑战了复杂搜索方法的必要性。
2026-09-09 cs.AI
Patient Similarity Computation for Clinical Decision Support: An Efficient Use of Data Transformation, Combining Static and Time Series Data
Department of Computer Science and Engineering, Bangladesh University of Engineering and Technology, Dhaka, Bangladesh（计算机科学与工程系，孟加拉国工程与技术大学，达卡，孟加拉国）；College of Information Technology, United Arab Emirates University（信息技术学院，阿拉伯联合酋长国大学）
本文提出结合静态与时间序列数据的分布式患者相似度计算方法，通过 aWOE、Z-score 转换及分布式 DTW 提升隐私保护、预测性能与计算效率。
2025-06-08 cs.AI cs.LG
