Monte Carlo Tree Search (MCTS) is a sampling best-first method to search for optimal decisions. The success of MCTS depends heavily on how the MCTS statistical tree is built and the selection policy plays a fundamental role in this. A particular selection policy that works particularly well, widely adopted in MCTS, is the Upper Confidence Bounds for Trees, referred to as UCT. Other more sophisticated bounds have been proposed by the community with the goal to improve MCTS performance on particular problems. Thus, it is evident that while the MCTS UCT behaves generally well, some variants might behave better. As a result of this, multiple works have been proposed to evolve a selection policy to be used in MCTS. Although all these works are inspiring, none of them have carried out an in-depth analysis shedding light under what circumstances an evolved alternative of MCTS UCT might be beneficial in MCTS due to focusing on a single type of problem. In sharp contrast to this, in this work we use five functions of different nature, going from a unimodal function, covering multimodal functions to deceptive functions. We demonstrate how the evolution of the MCTS UCT might be beneficial in multimodal and deceptive scenarios, whereas the MCTS UCT is robust in unimodal scenarios and competitive in the rest of the scenarios used in this study.
Faculty of Mathematics and Computer Science, University of Wrocław（弗罗茨瓦夫大学数学与计算机科学学院）；Department of Advanced Computing Sciences, Maastricht University（马斯特里赫特大学高级计算科学系）
On Effective Parallelization of Monte Carlo Tree Search
University of California, Los Angeles（加州大学洛杉矶分校）；Kwai Inc.（快手公司）；Tencent AI Lab（腾讯人工智能实验室）
尽管蒙特卡罗树搜索（MCTS）在围棋和计算机游戏中取得了突破性的成功，但它在计算上是昂贵的，因为它需要大量的展开来构建搜索树，这需要有效的并行化。然而，如何设计有效的并行MCTS算法尚未得到系统的研究，仍然知之甚少。在本文中，我们试图奠定其第一个理论基础，通过研究潜在的性能损失时，实现所需的加速并行化。特别是，我们发现的必要条件，实现理想的并行化性能，并强调其实际好处。首先，通过检查现有的并行MCTS算法是否满足这些条件，我们确定了未来算法应该继承的关键设计原则，例如跟踪未观察到的样本（用于WU-UCT（Liu et al.，2020年））。我们从理论上建立这个基本的设计，促进$\mathcal{O} ( \ln n + M / \sqrt{\ln n} )$累积遗憾时，最大树深度为2，其中$n$是推出的数量和$M$是工人的数量。这种形式的遗憾是非常理想的，与由连续的对应物引起的$\mathcal{O} ( \ln n )$遗憾相比，其多余部分随着$n$的增加而接近于零。其次，更重要的是，我们证明了如何建议的必要条件，可以通过设计更有效的并行MCTS算法。为了说明这一点，我们提出了一个新的并行MCTS算法，称为BU-UCT，按照我们的理论指导方针。新提出的算法虽然是初步的，但在15款Atari游戏中的11款上的表现超过了四个竞争基线。我们希望我们的理论结果可以启发未来的工作更有效的…
Interpretable Contrastive Monte Carlo Tree Search Reasoning
The University of Sydney（悉尼大学）；Peking University（北京大学）；Xiaohongshu Inc.（小红书公司）；Shanghai AI Laboratory（上海人工智能实验室）；Tsinghua University（清华大学）；The Hong Kong University of Science and Technology（香港科技大学）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
Discovering State Equivalences in UCT Search Trees By Action Pruning
Institute for Information Processing（信息处理研究所）；Leibniz University Hannover（汉诺威莱比锡大学）；University of Southern Denmark（南丹麦大学）；SDU Metaverse Lab（SDU元宇宙实验室）
一种增强蒙特卡罗树搜索（MCTS）的方法是通过分组/抽象状态或状态-动作对并在组内共享统计来提高其样本效率。虽然状态-动作对抽象在诸如应用于树的上置信度界限中的On the Go抽象（OGA-UCT）之类的算法中很容易找到，但由于约束条件，在噪声或大动作空间设置中几乎没有发现状态抽象。我们提供了理论和经验证据，这种说法，我们稍微减轻这个状态抽象问题，提出了一个较弱的状态抽象条件，交易的准确性略有损失，找到更多的抽象。我们将这种技术命名为UCT中的理想修剪抽象（IPA-UCT），它在实验验证的大范围测试域和迭代预算中优于OGA-UCT（及其任何衍生物）。IPA-UCT使用与OGA-UCT使用的状态-动作对抽象（ASAP）不同的抽象框架，我们将其命名为IPA。此外，我们表明，IPA和ASAP是一个更一般的框架，我们称之为p-ASAP，这本身是一个特殊情况下的ASASAP框架的特殊情况。
SWE-Search: Enhancing Software Agents with Monte Carlo Tree Search and Iterative Refinement
University of California, Santa Barbara（加利福尼亚大学圣巴巴拉分校）；Moatless AI；Carnegie Mellon University（卡内基梅隆大学）；National University of Singapore（新加坡国立大学）；Mila（米拉研究所）
