Monte Carlo Thought Search: Large Language Model Querying for Complex Scientific Reasoning in Catalyst Design
Pacific Northwest National Laboratory(太平洋西北国家实验室);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对催化剂设计中搜索空间组合爆炸的问题,提出基于蒙特卡洛树搜索的蒙特卡洛思想搜索方法,优于现有思维链提示,在两个新推理数据集上较最优基线提升25.8%,可增强科学推理与发现。
2023-10-22 cs.AI
Combinatorial Multi-armed Bandits for Real-Time Strategy Games
Drexel University(德雷塞尔大学)
具有大分支因子的博弈对博弈树搜索算法提出了重大挑战。在本文中,我们解决这个问题的蒙特卡罗树搜索(MCTS)算法的抽样策略称为{ \em天真抽样},基于一个变种的多臂强盗问题称为{ \em组合多臂强盗}(CMAB)。我们分析了{ \em naïve sampling}的几种变体的理论特性,并将其与文献中其他现有的CMAB策略进行了实证比较。然后,我们评估这些战略的背景下,实时的【形】战略(RTS)游戏,一种类型的计算机游戏,其特点是非常大的分支因子。我们的研究结果表明,随着分支因子的增长,{ \em朴素采样}优于其他采样策略。
2017-10-13 cs.AI
Monte Carlo Graph Coloring
Université Paris-Dauphine(巴黎多芬大学);PSL University(巴黎文理大学);CNRS(法国国家科学研究中心);LAMSADE(决策实验室)
本文针对图着色问题中精确方法难以处理大规模实例的局限,提出将NMCS和NRPA等蒙特卡洛搜索算法高效应用于图着色,并与现有方法进行了对比评估。
2025-04-04 cs.AI
Retrosynthetic Planning with Experience-Guided Monte Carlo Tree Search
Sun Yat-Sen University(中山大学)
针对逆合成规划的组合爆炸难题,提出经验引导蒙特卡洛树搜索方法,通过经验引导网络从合成经验中学习以替代随机模拟,在USPTO数据集及真实药物分子场景下效率与效果均优于现有方法。
2023-06-10 cs.AI
Learning Self-Game-Play Agents for Combinatorial Optimization Problems
Northeastern University(东北大学)
使用自我游戏的强化学习(RL)的最新进展已经在几种棋盘游戏(例如,国际象棋和围棋)以及视频游戏(例如,Atari游戏和Dota 2)。我们可以认为,强化学习从零知识开始,经过一定量的训练后,可能会逐渐接近一个获胜的策略。在本文中,我们探索了神经Monte-Carlo-Tree-Search(神经MCTS),这是一种RL算法,已被DeepMind成功应用于以超人的水平玩围棋和国际象棋。我们试图利用神经MCTS的计算能力来解决一类组合优化问题。根据Hintikka的博弈论语义学思想,提出Zermelo博弈化(ZG)方法,将特定的组合优化问题转化为Zermelo博弈,其获胜策略对应于原优化问题的解。ZG还提供了一个专门设计的神经MCTS。我们使用的组合规划问题的地面实况政策是有效的计算证明ZG是有前途的。
2019-05-09 cs.AI cs.LG
Can I Have Your Order? Monte-Carlo Tree Search for Slot Filling Ordering in Diffusion Language Models
Imperial College London(帝国理工学院伦敦分校);University of Edinburgh(爱丁堡大学)
针对掩码扩散模型(MDM)中计划-填充解码对插槽填充顺序敏感的问题,提出McDiffuSE框架,利用蒙特卡洛树搜索(MCTS)优化生成顺序,平均性能提升3.2%,在MBPP和MATH500上分别提升19.5%和4.9%。
2026-05-27 cs.AI
Elastic Monte Carlo Tree Search with State Abstraction for Strategy Game Playing
Queen Mary University of London(伦敦玛丽女王大学);Leibniz University Hannover(汉诺威莱布尼茨大学)
战略视频游戏挑战人工智能智能体与他们的组合搜索空间所造成的复杂的游戏元素。状态抽象是一种降低状态空间复杂度的流行技术。然而,目前的游戏状态抽象方法依赖于领域知识,使其应用到新的游戏昂贵。不需要领域知识的状态抽象方法在规划领域得到了广泛的研究。然而,没有证据表明它们可以很好地适应策略游戏的复杂性。在本文中,我们提出了弹性MCTS,一个算法,使用状态抽象玩策略游戏。在Elastic MCTS中,树的节点是动态聚类的,首先通过状态抽象逐渐分组在一起,然后在达到迭代阈值时分离。这种弹性变化既得益于状态抽象带来的高效搜索,又避免了状态抽象对整个搜索的负面影响。为了评估我们的方法,我们利用通用策略游戏平台Stratega来生成不同复杂度的场景。结果表明,弹性MCTS优于MCTS基线有很大的利润,同时减少了$10$的一个因素的树的大小。代码可以在:https://github.com/egg-west/Stratega上找到
2022-05-30 cs.AI
Planning of Heuristics: Strategic Planning on Large Language Models with Monte Carlo Tree Search for Automating Heuristic Optimization
School of Artificial Intelligence, Anhui University, Hefei, Anhui, China(人工智能学院,安徽大学,合肥,安徽,中国);Pengcheng Laboratory, Shenzhen, Guangdong, China(鹏城实验室,深圳,广东,中国)
本文提出PoH方法,将大语言模型自我反思与蒙特卡洛树搜索结合,自动优化启发式算法,在旅行商和流水车间调度问题上超越手工及现有LLM方法,实现最先进性能。
2025-06-20 cs.AI
DyRo-MCTS: A Robust Monte Carlo Tree Search Approach to Dynamic Job Shop Scheduling
Centre for Data Science & Artificial Intelligence(数据科学与人工智能中心);School of Engineering & Computer Science(工程与计算机科学学院);Victoria University of Wellington(惠灵顿维多利亚大学)
针对动态作业车间中新作业随机到达导致在线规划易受扰动的问题,提出将动作鲁棒性估计融入 MCTS 的 DyRo-MCTS,以可忽略的额外耗时持续提升离线策略性能。
2025-09-26 cs.AI
LLM-Guided Monte Carlo Tree Search over Knowledge Graphs: Composing Mechanistic Explanations for Drug-Disease Pairs
Institute of Data Science, Department of Advanced Computing Sciences, Maastricht University(数据科学研究所,高级计算科学系,马斯特里赫特大学)
本文提出TESSERA框架,结合LLM和知识图谱进行多步解释提取,通过约束结构和反向传播实现长周期搜索,验证了其在药物机制解释中的有效性。
2026-05-10 cs.AI
A* Tree Search for Portfolio Management
我们提出了一个基于规划的方法教代理从头开始管理投资组合。我们的方法将深度强化学习技术与AlphaGo等搜索技术相结合。结合A* 搜索算法和蒙特卡罗树搜索的优点,提出了一种新的A* 树搜索算法,它返回最佳信息,指导下一次搜索。改进了蒙特卡洛树的扩展方式,提高了神经网络的利用率。该算法还可以通过组合搜索来优化不可微效用函数。这种技术在我们的交易系统中得到了应用。该算法的主要组成部分是一个神经网络,它通过树搜索中的交易经验进行训练,并输出先验概率,通过依次修剪树枝来指导搜索。模拟和真实金融数据的实验结果验证了所提出的交易系统的鲁棒性和交易系统产生更好的策略比基于强化学习的几种方法。
2019-02-18 cs.AI
Ranked Reward: Enabling Self-Play Reinforcement Learning for Combinatorial Optimization
InstaDeep(InstaDeep公司)
当与结合了深度神经网络和树搜索的强化学习算法一起使用时,双人游戏中的对抗性自我游戏产生了令人印象深刻的结果。像AlphaZero和Expert Iteration这样的算法学习tabula-rasa,在飞行中产生高度信息化的训练数据。然而,自玩训练策略并不直接适用于单人游戏。最近,几个实际上重要的组合优化问题,如旅行商问题和装箱问题,已被重新表述为强化学习问题,增加了重要性,使自我发挥的好处超越两个玩家的游戏。我们提出了排名奖励(R2)算法,它通过对单个代理在多个游戏中获得的奖励进行排名来创建相对性能指标。将R2算法应用于二维和三维装箱问题的实例表明,它优于一般的蒙特卡罗树搜索,启发式算法和整数规划求解器。我们还提出了一个分析的排名奖励机制,特别是不同的难度和不同的排名阈值的问题实例的影响。
2018-12-06 cs.AI cs.LG stat.ML
AlphaMapleSAT: An MCTS-based Cube-and-Conquer SAT Solver for Hard Combinatorial Problems
Georgia Institute of Technology, USA(佐治亚理工学院);University of Waterloo, Canada(滑铁卢大学);University of Windsor, Canada(温莎大学)
AlphaMapleSAT通过结合MCTS与演绎反馈,改进了立方与征服SAT求解器,显著提升了解决难题组合问题的效率。
2026-01-20 cs.AI math.CO
Sample-and-Bound for Non-Convex Optimization
University of California, San Diego(加利福尼亚大学圣迭戈分校)
本文提出基于蒙特卡洛树搜索的非凸优化采样方法,用数值过近似替代访问次数作为不确定性度量,并结合一阶二阶信息采样估计,在高维基准上验证了其高效性。
2024-02-20 cs.AI
Practical Massively Parallel Monte-Carlo Tree Search Applied to Molecular Design
Chugai Pharmaceutical Co., Ltd(中外制药株式会社);Intel Labs(英特尔实验室);RIKEN Center for Advanced Intelligence Project(理化学研究所革新智能统合研究中心)
使用大的计算资源来训练神经网络是常见的做法,如从许多示例(诸如强化学习应用)中已知的。然而,虽然大规模并行计算经常用于训练模型,但它很少用于搜索组合优化问题的解决方案。在本文中,我们提出了一种新的大规模并行蒙特卡罗树搜索(MP-MCTS)算法,有效地工作在1,000工人规模,并将其应用于分子设计。这是第一个将分布式MCTS应用于现实世界和非游戏问题的工作。现有的大规模并行MCTS的工作表现出高效的可扩展性方面的推出多达100名工人的数量,但遭受的质量下降的解决方案。MP-MCTS在更大规模上保持搜索质量,并且通过在256个CPU核上运行MP-MCTS仅10分钟,我们获得了与运行42小时的非并行MCTS具有相似得分的候选分子。此外,我们基于并行MCTS(结合简单的RNN模型)的结果显着优于现有的最先进的工作。我们的方法是通用的,预计将加快其他应用的MCTS。
2021-04-06 cs.AI cs.DC
Diffusion Language Model Inference with Monte Carlo Tree Search
AWS AI Labs(AWS人工智能实验室);Dartmouth College(达特茅斯学院)
MEDAL通过蒙特卡洛树搜索初始化提升扩散语言模型推理质量,实现生成质量随搜索预算提升而改进,无需额外训练。
2026-01-30 cs.AI cs.CL
A Unified Perspective on Value Backup and Exploration in Monte-Carlo Tree Search
Technical University of Darmstadt(达姆施塔特工业大学);Aalto University(阿尔托大学)
蒙特卡罗树搜索(MCTS)是一类通过蒙特卡洛规划和强化学习(RL)的协同作用来解决复杂决策问题的方法。MCTS通常解决的问题的高度组合性要求使用有效的探索策略来导航规划树和快速收敛的值备份方法。这些关键问题在将MCTS与深度神经网络结合用于函数逼近的最新进展中尤为明显。在这项工作中,我们提出了两种方法来提高收敛速度和探索的基础上,新引入的备份算子和熵正则化。我们提供了强有力的理论保证的界收敛速度,逼近误差,和遗憾的方法。此外,我们介绍了一个数学框架的基础上使用的$α$ -分歧的备份和勘探MCTS。我们表明,这种理论制定统一不同的方法,包括我们新推出的,在相同的数学框架下,允许通过简单地改变值的$α$,以获得不同的方法。在实践中,我们的统一透视图提供了一种灵活的方法,通过根据手头的问题调整单个$α$参数来平衡探索和利用。我们验证我们的方法,通过严格的实证研究,从基本的玩具问题,复杂的雅达利游戏,包括MDP和POMDP的问题。
2022-02-11 cs.AI cs.LG
Applying Neural Monte Carlo Tree Search to Unsignalized Multi-intersection Scheduling for Autonomous Vehicles
School of Computer Science and Statistics, Trinity College Dublin(都柏林圣三一大学计算机科学与统计学院)
本文提出用转换模型将无信号交叉口道路空间预留请求转化为类棋盘博弈问题,并结合PNMCTS与课程学习调度自动驾驶车辆,显著提升单交叉口和多交叉口通行效率。
2024-10-24 cs.AI
Efficient Monte Carlo Tree Search via On-the-Fly State-Conditioned Action Abstraction
AI Institute, Seoul National University(首尔国立大学AI研究院);Graduate School of Data Science, Seoul National University(首尔国立大学数据科学研究生院)
针对大组合动作空间下MCTS性能下降问题,提出状态条件动作抽象方法,通过学习潜在动力学模型即时构建节点抽象并舍弃冗余子动作,显著提升了样本效率。
2024-06-02 cs.AI cs.LG
Monte Carlo Tree Search: A Review of Recent Modifications and Applications
Warsaw University of Technology(华沙理工大学);AGH University of Science and Technology(AGH科技大学);QED Software(QED软件公司)
本文综述了2012年以来蒙特卡洛树搜索(MCTS)在复杂博弈及实际应用领域中的特定问题修改与混合方法。
2022-06-11 cs.AI cs.LG cs.MA
Geometry-Aware MCTS for Extremal Problems in Combinatorial Geometry
University of California, Irvine(加州大学尔湾分校)
提出几何感知蒙特卡洛树搜索框架,通过增量更新可行动作空间和利用几何对称性,高效解决组合几何中的极值问题,在多个问题上取得新最佳结果。
2026-06-26 cs.AI cs.CG cs.LG
Message Passing and Combinatorial Optimization
Department of Computing Science(计算科学系)
图形模型使用直观且研究充分的图论方法来隐式地表示大型系统中变量之间的依赖关系。它们可以通过只指定局部因素来模拟复杂系统的全局行为。本文从代数的角度研究了离散图模型中的推理问题,以及如何用推理来表示和逼近NP难的组合问题。我们调查的复杂性和减少各种推理问题,部分通过组织他们在推理层次结构。然后,我们调查这些问题的一个子集,使用分配律的形式的消息传递易于处理的近似。所得到的消息传递过程的质量,称为置信传播(BP),取决于图形模型中的循环的影响。我们贡献了三个类的近似,提高BP循环图A)循环校正技术; B)调查传播,另一种消息传递技术,超越BP在某些设置;和C)混合方法,确定性消息传递和马尔可夫链蒙特卡洛推理之间的插值。然后,我们回顾了现有的消息传递解决方案,并提供了新的图形模型和推理技术的组合问题下的三个大类:A)约束满足问题,如可满足性,着色,包装,集/覆盖覆盖和支配/独立集及其优化对应; B)聚类问题,如层次聚类,K-中位数,K-聚类,K-中心和模块化优化; C)置换问题,包括赋值、图态射和对齐、寻找对称性和旅行商问题。在许多情况下,我们表明,消息传递是能够找到的解决方案,无论是接近最佳或有利的比较,与今天的国家的最先进的方法。
2015-08-20 cs.AI cs.CC cs.DS
TabTracer: Monte Carlo Tree Search for Complex Table Reasoning with Large Language Models
Beijing Institute of Technology, Zhuhai(北京理工大学(珠海));Beijing Institute of Technology(北京理工大学);Shenzhen University(深圳大学)
TabTracer通过多步工具调用和显式状态跟踪,提升复杂表格推理的准确率并降低token成本。
2026-02-15 cs.AI cs.DB
CombiMOTS: Combinatorial Multi-Objective Tree Search for Dual-Target Molecule Generation
Department of Computer Science and Engineering, Seoul National University, Seoul, Republic of Korea(首尔国立大学计算机科学与工程系);Interdisciplinary Program in Bioinformatics, Seoul National University, Seoul, Republic of Korea(首尔国立大学生物信息学跨学科项目);AIGENDRUG Co., Ltd., Seoul, Republic of Korea(AIGENDRUG公司);Interdisciplinary Program in Artificial Intelligence, Seoul National University, Seoul, Republic of Korea(首尔国立大学人工智能跨学科项目)
本文提出CombiMOTS,一种基于多目标树搜索的框架,用于生成双靶分子,通过向量优化约束平衡靶点亲和力与物理化学性质,实验表明其能生成高评分、多样化的双靶分子。
2026-04-25 cs.AI cs.LG
Monte Carlo Policy Gradient Method for Binary Optimization
Academy for Advanced Interdisciplinary Studies, Peking University(北京大学前沿交叉学科研究院);Beijing International Center for Mathematical Research, Peking University(北京大学北京国际数学研究中心);School of Mathematical Sciences, Peking University(北京大学数学科学学院)
针对 NP-hard 的二元优化问题,提出基于参数化策略分布的蒙特卡洛策略梯度方法,利用并行 MCMC 采样和局部搜索过滤方案高效近似梯度并拓宽搜索视野,理论证明其期望收敛性,实验表明能为多种二元优化问题提供近优解。
2023-07-03 cs.AI cs.LG math.OC
High-Precision Estimation of the State-Space Complexity of Shogi via the Monte Carlo Method
Graduate School of Arts and Sciences, The University of Tokyo(东京大学研究生院文理学院);Information Technology Center, The University of Tokyo(东京大学信息技术中心)
本文通过蒙特卡洛方法结合新型可达性测试,高精度估计了将棋的可达位置数,得出6.55×10^68的复杂度,改进了之前已知的界限。
2026-10-06 cs.AI cs.GT
Learning Robust Scheduling with Search and Attention
Ericsson(爱立信)
基于信道质量、缓冲器大小、要求和约束将物理层资源分配给用户代表了无线电资源管理中的中心优化问题之一。解空间随着每个维度的基数组合地增长,使得很难使用穷举搜索或甚至经典优化算法找到最优解,因为时间要求很严格。这个问题在MU-MIMO调度中甚至更加明显,其中调度器可以将多个用户分配给相同的时间-频率物理资源。因此,传统的方法诉诸于设计交易的最优性有利于执行的可行性的策略。在这项工作中,我们把MU-MIMO调度问题作为一个树结构的组合问题,并借用AlphaGo Zero最近的成功,我们研究了使用蒙特卡罗树搜索和强化学习的组合搜索最佳性能的解决方案的可行性。为了迎合问题的本质,比如缺乏用户的内在排序以及用户组合之间依赖关系的重要性,我们通过引入自我注意力机制对神经网络架构进行了根本性的修改。然后,我们证明,所得到的方法不仅是可行的,但大大优于国家的最先进的基于算法的调度方法中存在的测量不确定性和有限的缓冲区。
2021-11-15 cs.AI cs.LG cs.NI