Convex Regularization in Monte-Carlo Tree Search
Technische Universität Darmstadt（达姆施塔特工业大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
蒙特卡洛规划和强化学习（RL）是顺序决策的基础。最近的AlphaGo和AlphaZero算法已经展示了如何成功地将这两种范式结合起来，以解决大规模的顺序决策问题。这些方法利用了著名的UCT算法的一个变体来权衡利用良好的动作和探索未访问的状态，但它们的经验成功是以样本效率差和计算时间长为代价的。在本文中，我们通过在蒙特卡罗树搜索（MCTS）中考虑凸正则化来克服这些限制，该算法已成功地用于RL以有效地驱动探索。首先，我们介绍了一个统一的理论在MCTS中使用通用凸正则化，得出遗憾分析和指数收敛速度提供保证。其次，我们利用我们的理论框架，引入新的正规化备份运营商的MCTS，基于相对熵的政策更新，和Tsallis熵的政策。最后，我们实证评估建议的运营商在AlphaGo和AlphaZero上的问题，增加维度和分支因子，从一个玩具的问题，几个雅达利游戏，显示其优越性w.r.t.代表性基线。
2021-02-16 cs.AI cs.LG
Monte-Carlo Tree Search as Regularized Policy Optimization
DeepMind；Columbia University（哥伦比亚大学）
蒙特卡罗树搜索（MCTS）与深度强化学习的结合导致了人工智能的重大进步。然而，AlphaZero，目前最先进的MCTS算法，仍然依赖于手工制作的算法，只有部分理解。在本文中，我们证明了AlphaZero的搜索算法以及其他常见的算法（如UCT）是特定正则化策略优化问题的近似解。有了这个洞察力，我们提出了一个变体的AlphaZero，它使用这个策略优化问题的精确解决方案，并通过实验表明，它在多个领域可靠地优于原始算法。
2020-07-24 cs.LG stat.ML
First-Order Problem Solving through Neural MCTS based Reinforcement Learning
Northeastern University（东北大学）
一个解释的一阶逻辑（FOL）语句的形式语义可以用塔斯基语义学或基本等价的博弈语义学给出。后者将陈述和解释映射为两个玩家的语义游戏。许多组合问题可以使用解释的FOL语句来描述，并且可以映射到语义游戏中。因此，学习玩语义游戏可以完美地解决组合问题的特定实例。我们调整了AlphaZero算法，使其更好地学习玩具有不同特征的语义游戏，而不是围棋和象棋。我们提出了一个通用的框架，珀尔塞福涅，映射组合问题的FOL描述的语义游戏，使它可以通过基于神经MCTS的强化学习算法来解决。我们对Persephone的目标是使其成为白板，将解释FOL中陈述的问题映射到没有人为干预的解决方案。
2021-01-11 cs.AI cs.LG
Learning to Run Power Networks: Effective AlphaZero-inspired Topological Control
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
针对电网拓扑控制的组合空间与约束问题，研究受AlphaZero启发的模型方法，发现优化的AlphaZero达98.43%生存能力，需结合领域启发式、二元奖励与受限观测空间。
2026-08-17 cs.LG
Warm-Start AlphaZero Self-Play Search Enhancements
Leiden University（莱顿大学）
最近，AlphaZero在深度强化学习方面取得了里程碑式的成果，它提供了一个单一的自我游戏架构，可以在超人类水平上学习三种不同的游戏。AlphaZero是一个庞大而复杂的系统，具有许多参数，成功需要大量的计算能力和微调。在其他游戏中重现结果是一个挑战，许多研究人员正在寻找方法来改善结果，同时减少计算需求。AlphaZero的设计完全基于自我发挥，没有使用标记的专家数据或特定领域的增强功能;它旨在从头开始学习。我们提出了一种新的方法来处理这个冷启动问题，采用简单的搜索增强在开始阶段的自我发挥训练，即推出，快速行动价值估计（RAVE）和动态加权组合这些与神经网络，滚动地平线进化算法（RHEA）。我们的实验表明，大多数这些增强功能提高了他们的基线球员在三个不同的（小）棋盘游戏的性能，特别是RAVE的变种发挥强劲。
2020-04-26 cs.AI cs.NE
Accelerating Monte-Carlo Tree Search with Optimized Posterior Policies
Center for Communications Research, Institute for Defense Analyses Princeton, NJ 08540, USA（通信研究所在线防御分析研究所）
RMCTS通过优化后验策略加速蒙特卡洛树搜索，显著提升搜索速度，且在训练时间内与MCTS-UCB相当。
2026-01-09 cs.AI cs.LG
Model-based reinforcement learning for protein backbone design
InstaDeep Ltd（英斯塔迪普公司）；KTH Royal Institute of Technology（瑞典皇家理工学院）
本文提出将AlphaZero与改进的MCTS框架结合，引入基于阈值的奖励和次级目标，用于蛋白质骨架设计，在自上而下任务中性能超越基线MCTS超过100%，展示了基于模型的强化学习在蛋白质设计中的潜力。
2024-05-03 cs.AI q-bio.BM
Regret-Guided Search Control for Efficient Learning in AlphaZero
Department of Computer Science, National Yang Ming Chiao Tung University, Taiwan（National Yang Ming Chiao Tung University）；Institute of Information Science, Academia Sinica, Taiwan（Academia Sinica）；College of Computing, Georgia Institute of Technology（Georgia Institute of Technology）
RGSC通过学习识别高遗憾状态，提升AlphaZero的搜索效率和鲁棒性，显著提高围棋等游戏的性能。
2026-02-24 cs.AI cs.LG
Variance-Aware Prior-Based Tree Policies for Monte Carlo Tree Search
University of Tübingen（图宾根大学）
本文提出Inverse-RPO方法，系统推导出基于先验的UCT策略，通过引入方差估计提升搜索效率，实验表明其在多个基准上优于PUCT且无额外计算成本。
2026-04-26 cs.AI cs.LG
What Are Step-Level Reward Models Rewarding? Counterintuitive Findings from MCTS-Boosted Mathematical Reasoning
TAL Education Group（好未来教育集团）
本文探究MCTS增强的步骤级奖励模型在数学推理中的反直觉机制，发现自然语言思维描述影响甚微，而模型主要奖励数学语言的逻辑连贯性，为精简高效SRMs设计提供指导。
2025-03-08 cs.AI cs.LG
Epistemic Monte Carlo Tree Search
Delft University of Technology（代尔夫特理工大学）
本文提出Epistemic MCTS，通过考虑认知不确定性提升搜索效率，在代码编写等稀疏奖励任务中表现更优。
2026-05-15 cs.AI cs.LG
Multiple Policy Value Monte Carlo Tree Search
National Chiao Tung University（国立交通大学）；Pervasive Artificial Intelligence Research (PAIR) Labs（普适人工智能研究（PAIR）实验室）
许多最强大的游戏程序使用蒙特卡罗树搜索（MCTS）和深度神经网络（DNN）的组合，其中DNN用作策略或值评估器。给定有限的预算，例如在线游戏或在AlphaZero（AZ）训练的自我游戏阶段，需要在准确的状态估计和更多的MCTS模拟之间达到平衡，这两者对于强大的游戏代理都是至关重要的。通常，较大的DNN在泛化和准确评估方面更好，而较小的DNN成本更低，因此可以在相同的预算下产生更多的MCTS模拟和更大的搜索树。本文提出了一种新的策略值MCTS（MPV-MCTS）方法，它将不同规模的多策略值神经网络（PV-NN）结合起来，以保留每个网络的优点，其中使用了两个PV-NN f_S和f_L。我们通过对NoGo博弈的实验表明，组合的f_S和f_L MPV-MCTS优于具有策略值MCTS的单个PV-NN，称为PV-MCTS。此外，MPV-MCTS在AZ训练方面也优于PV-MCTS。
2019-05-31 cs.AI
Learning to Stop: Dynamic Simulation Monte-Carlo Tree Search
National Chiao-Tung University（国立交通大学）；Academia Sinica（中央研究院）
蒙特卡罗树搜索（MCTS）在与深度神经网络（DNN）结合时，在许多领域（如围棋和雅达利游戏）中取得了最先进的结果。当执行更多模拟时，MCTS可以实现更高的性能，但也需要大量的CPU和GPU资源。然而，并不是所有的状态都需要很长的搜索时间来确定代理可以找到的最佳操作。例如，在19 x19 Go和NoGo中，我们发现对于超过一半的状态，DNN预测的最佳动作即使在搜索2分钟后也保持不变。这意味着，如果我们能够在对当前搜索结果有信心时更早地停止搜索，则可以节省大量的资源。在本文中，我们提出通过预测当前搜索状态的不确定性来实现这一目标，并使用结果来决定我们是否应该停止搜索。通过我们的算法，称为动态模拟MCTS（DS-MCTS），我们可以将AlphaZero训练的NoGo代理的速度提高2.5倍，同时保持类似的胜率。在平均模拟次数相同的情况下，与原方案相比，该方法的胜率可达61%。
2020-12-14 cs.AI cs.LG
Tackling Morpion Solitaire with AlphaZero-likeRanked Reward Reinforcement Learning
Leiden Institute of Advanced Computer Science（莱顿高级计算机科学研究所）；Leiden University（莱顿大学）
Morpion Solitaire是一款流行的单人游戏，用纸和铅笔进行。由于其大的状态空间（在围棋游戏的顺序），传统的搜索算法，如MCTS，一直无法找到好的解决方案。后来的算法，嵌套推出政策适应，能够找到一个新的记录82个步骤，虽然有大量的计算资源。据我们所知，在取得这一记录之后，大约十年来没有进一步进展的报告。在本文中，我们将AlphaGo/AlphaZero的深度自学习强化学习方法最近令人印象深刻的表现作为设计Morpion Solitaire的启发。Morpion Solitaire的一个挑战是状态空间是稀疏的，几乎没有赢/输信号。相反，我们使用一种称为排名奖励的方法来为Morpion Solitaire创建一个强化学习自我游戏框架。这使我们能够找到中等质量的解决方案与合理的计算工作。我们的记录是一个67步的解决方案，这非常接近人类最好的解决方案（68），除了使用排名奖励之外，没有任何其他适应问题的方法。我们列出了许多进一步的潜在改进途径。
2020-06-14 cs.AI
Revisiting Tree Search for LLMs: Gumbel and Sequential Halving for Budget-Scalable Reasoning
本文提出ReSCALE，通过将Gumbel采样和顺序削减替代传统方法，实现大语言模型在推理中的可扩展推理能力提升，解决了搜索预算增加时准确率下降的问题。
2026-03-22 cs.AI cs.LG
Combining Off and On-Policy Training in Model-Based Reinforcement Learning
INESC-ID / Instituto Superior Técnico University of Lisbon（INESC-ID / 里斯本大学高等技术学院）
深度学习和蒙特卡罗树搜索（MCTS）的结合已被证明在各种领域都很有效，例如棋盘游戏和视频游戏。AlphaGo代表了我们在学习复杂棋盘游戏的能力上迈出了重要的一步，随后又迅速取得了重大进展，如AlphaGo Zero和AlphaZero。最近，MuZero证明，通过直接学习环境模型，可以同时掌握Atari游戏和棋盘游戏，然后将其与MCTS一起使用，以决定在每个位置上玩什么。在树搜索过程中，该算法通过探索几种可能的移动来模拟游戏，然后选择与最有希望的轨迹相对应的动作。当训练时，由于这些模拟游戏的轨迹都不直接用作训练样本，因此对这些模拟游戏的使用有限。即使我们认为并非所有来自模拟游戏的轨迹都是有用的，也有成千上万的潜在有用的轨迹被丢弃。使用来自这些轨迹的信息将更快地提供更多的训练数据，从而导致更快的收敛和更高的样本效率。最近的工作为AlphaZero引入了一个非政策价值目标，该目标使用来自模拟游戏的数据。在这项工作中，我们提出了一种使用MuZero中模拟游戏的数据来获得非策略目标的方法。我们以多种方式将这些非政策目标与MuZero中已经使用的政策目标相结合，并研究这些目标及其组合在三种具有不同特征的环境中的影响。当在正确的组合中使用时，我们的结果表明，这些目标可以加快训练过程，并导致比MuZero获得的更快的收敛和更高的回报。
2021-04-28 cs.AI cs.LG
Policy Gradient Algorithms with Monte Carlo Tree Learning for Non-Markov Decision Processes
CyberAgent（赛博agent公司）
本文针对非马尔可夫决策过程提出蒙特卡洛树学习（MCTL）方法，并将其与策略梯度（PG）结合，利用双时间尺度随机逼近推导收敛条件，设计出能收敛到合理解的算法，数值实验验证了其有效性。
2024-07-04 cs.AI cs.LG
ExIt-OOS: Towards Learning from Planning in Imperfect Information Games
CliniCloud Labs（CliniCloud实验室）
目前，在玩许多重要的完美信息游戏（包括国际象棋和围棋）时，最先进的技术将规划和深度强化学习与自我游戏相结合。我们将这种方法扩展到不完美信息游戏，并提出了ExIt-OOS，这是一种在专家迭代框架内玩不完美信息游戏的新方法，并受到AlphaZero的启发。我们使用在线结果抽样，在线搜索算法的不完美信息游戏的地方MCTS。在在线训练时，我们的神经策略用于提高OOS中播放的准确性，从而为不完美信息游戏提供学习和规划反馈循环。
2018-10-25 cs.AI cs.GT cs.LG
Decision Making in Non-Stationary Environments with Policy-Augmented Search
Vanderbilt University（范德堡大学）；Stanford University（斯坦福大学）；Eindhoven University of Technology（埃因霍温理工大学）；Pennsylvania State University（宾夕法尼亚州立大学）
针对非平稳环境中预学习策略过时且限时在线搜索易次优的问题，提出PA-MCTS融合旧策略价值估计与最新模型搜索，并给出最优性和误差界，实验证明其优于AlphaZero和DQN。
2024-01-20 cs.AI cs.LG
CircuitBuilder: From Polynomials to Circuits via Reinforcement Learning
University of Washington（华盛顿大学）
研究通过强化学习发现高效算术电路计算多项式的问题，比较PPO+MCTS和SAC方法，SAC在双变量目标上表现最佳，PPO+MCTS能扩展到三变量并提升更难实例性能。
2026-03-17 cs.AI cs.CC cs.LG
Solving QSAT problems with neural MCTS
Khoury College of Computer Sciences（胡里计算机学院）；Northeastern University（东北大学）
AlphaZero最近使用自我游戏的成就在几款棋盘游戏中表现出了出色的性能。我们可以合理地认为，从零知识开始的自我游戏，经过大量的训练，可以逐渐接近某些双人游戏的获胜策略。在本文中，我们试图利用神经蒙特卡罗树搜索（神经MCTS）的计算能力，从AlphaZero的核心算法，解决量化布尔公式满意度（QSAT）的问题，这是PSPACE完成。知道每个QSAT问题都等价于一个QSAT游戏，游戏结果可以用来推导原始QSAT问题的解。我们提出了一种方法来编码量化布尔公式（QBF）作为图形和应用图神经网络（GNN）嵌入到神经MCTS的QBF。训练后，使用现成的QSAT求解器来评估算法的性能。我们的研究结果表明，对于有限大小的问题，该算法学会正确地解决问题，仅仅从自我发挥。
2021-01-17 cs.AI cs.LG
MAPLE: Multi-State Aggregated Policy Evaluation for AlphaZero in Imperfect-Information Games
Department of Computer Science, National Yang Ming Chiao Tung University（国立阳明交通大学计算机科学系）；Institute of Information Science, Academia Sinica（中科院信息所）
提出MAPLE方法，通过单搜索树聚合多个采样世界状态的策略和价值评估，结合PIMC和IS-MCTS优势，在Phantom Go和Dark Hex上分别提升Elo 291和136。
2026-05-22 cs.AI cs.LG
AlphaSnake: Policy Iteration on a Nondeterministic NP-hard Markov Decision Process
Harvard University（哈佛大学）；DeepMind（深度思维）；Tsinghua University（清华大学）；University of Houston（休斯顿大学）
强化学习最近已被用于解决图论中著名的NP难组合问题。在这些问题中，哈密顿循环问题是非常难以分析的，即使是限制在结构复杂的图形的个别实例。在本文中，我们使用蒙特卡罗树搜索（MCTS），许多最先进的强化学习算法（如AlphaZero）背后的搜索算法，来创建学习玩Snake游戏的自主智能体，这是一种以网格图上的Hamilton循环属性为中心的游戏。贪吃蛇游戏可以表述为一个单玩家折扣马尔可夫决策过程（MDP），其中代理必须在随机环境中表现最佳。确定蛇的最优策略，定义为最大化获胜概率或获胜率的策略-具有较高的优先级，并最小化期望的时间步数，以赢得较低的优先级，被证明是NP-难的。性能方面，与Snake游戏中的先前工作相比，我们的算法是第一个在$0.5$上实现胜率的算法（均匀随机策略实现胜率$< 2.57 \times 10^{-15}$），证明了AlphaZero在接近NP难环境中的多功能性。
2022-11-17 cs.AI
Discovering Lattice Reduction Strategies via Self-Play
FAIR, Meta Superintelligence Labs（Meta超级智能实验室FAIR）；Sorbonne Université CNRS, LIP6（索邦大学CNRS/LIP6）；EPITA, EPITA Research Lab (LRE)（EPITA研究实验室(LRE)）
利用深度强化学习和AlphaZero风格自我对弈，在LLL原始动作空间中学习更优的格基约简策略，训练于8维格但可零样本泛化至32维。
2026-06-16 cs.AI cs.LG
Monte Carlo Tree Search based Space Transfer for Black-box Optimization
National Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）；School of Artificial Intelligence, Nanjing University（南京大学人工智能学院）
针对黑盒优化中搜索空间迁移缺乏自适应与灵活性的问题，提出 MCTS-transfer，通过 MCTS 迭代划分子空间并融合相似源任务信息，实验证明其优于现有方法。
2024-12-10 cs.AI cs.LG
Adaptive Mixing of Policies from Searching and Policies from Learning
Stellenbosch University（斯泰伦博斯大学）
研究针对强化学习中搜索耗时问题，提出Flexer架构自适应混合神经网络与MCTS策略，在三类玩具符号问题实验中性能优于AlphaZero、DQN和ADP。
2026-08-18 cs.AI
Monte Carlo Tree Search Boosts Reasoning via Iterative Preference Learning
National University of Singapore（新加坡国立大学）；Google DeepMind（谷歌DeepMind）
本文提出 MCTS-DPO，利用 MCTS 将奖励分解为步骤级偏好信号，并通过 DPO 迭代优化 LLM，在多个算术与常识推理基准上显著提升准确率。
2024-06-17 cs.AI cs.LG
Demand response for residential building heating: Effective Monte Carlo Tree Search control based on physics-informed neural networks
IDLab Ghent university – imec（IDLab 根特大学 – 校际微电子中心（imec））；Beebop
本文针对住宅建筑供暖需求响应控制问题，提出结合多步预测物理信息神经网络的改进蒙特卡洛树搜索方法，相比黑盒神经网络方案降低了预测误差与能源成本，同时引入AlphaZero思路减少计算量。
2024-05-21 cs.AI cs.SY eess.SY
Equal-Budget Monte Carlo Tree Search versus Randomized-Restart List Scheduling for DAG Workflows: A Controlled Equal-Budget Computational Study
该研究在同等预算下对比MCTS与随机重启列表调度在DAG工作流调度中的性能，发现原MCTS方法表现更差，替换为UCT规则后劣势大幅降低，结果仅适用于特定合成领域。
2026-10-12 cs.AI cs.DC cs.LG
Beyond Search-Imitation: Prior-Directed Exploration for Searchless Chess
Institute of Applied Computer Science, Lodz University of Technology（罗兹理工大学应用计算机科学研究所）
本研究针对无搜索国际象棋网络，用先验引导探索替换原熵奖励，经约2000步微调后提升了谜题与四步将死准确率，且发现战术准确率与博弈强度存在分离。
2026-09-02 cs.AI cs.LG stat.ML
Are AlphaZero-like Agents Robust to Adversarial Perturbations?
UCLA（加州大学洛杉矶分校）；CMU（卡内基梅隆大学）；Academia Sinica（中央研究院）；NYCU（阳明交通大学）
AlphaZero（AZ）的成功证明，基于神经网络的围棋人工智能可以大大超过人类的表现。考虑到围棋的状态空间非常大，人类玩家可以从任何合法的状态下进行游戏，我们要问的是，围棋人工智能是否存在可能导致它们做出令人惊讶的错误行为的对抗状态。在本文中，我们首先将对抗性示例的概念扩展到围棋游戏：我们通过向游戏中添加无意义的移动来生成与原始状态“语义上”等效的扰动状态，并且对抗性状态是一种扰动状态，导致即使对于围棋初学者来说也明显的毫无疑问的低劣动作。然而，由于大的、离散的和不可微的搜索空间，搜索对抗状态是具有挑战性的。为了应对这一挑战，我们开发了第一个对Go AI的对抗攻击，它可以通过战略性地减少搜索空间来有效地搜索对抗状态。这种方法也可以扩展到其他棋盘游戏，如NoGo。在实验中，我们表明，政策值神经网络（PV-NN）和蒙特卡罗树搜索（MCTS）所采取的行动可以被误导，通过添加一个或两个无意义的石头;例如，在58%的AlphaGo Zero自玩游戏，我们的方法可以使广泛使用的KataGo代理与50模拟MCTS发挥一个失败的行动，通过添加两个无意义的石头。我们还评估了我们的算法与业余人类围棋选手的对抗性例子，90%的例子确实导致围棋智能体做出明显低劣的动作。我们的代码可在\url{https://PaperCode.cc/GoAttack}上获得。
2022-11-07 cs.AI cs.LG cs.RO
Analysis of Hyper-Parameters for Small Games: Iterations or Epochs in Self-Play?
Leiden Institute of Advanced Computer Science, Leiden University（莱顿大学莱顿高等计算机科学研究所）
AlphaGo Zero的里程碑式成就引发了人们对强化学习中自我游戏的极大研究兴趣。在自我游戏中，蒙特卡罗树搜索用于训练深度神经网络，然后用于树搜索。训练本身由许多超参数决定。令人惊讶的是，关于超参数值和损失函数的设计选择的研究很少，大概是因为探索参数空间的计算成本过高。在本文中，我们研究了AlphaZero类自玩算法中的12个超参数，并评估了这些参数对训练的贡献。我们使用小游戏，实现有意义的探索与适度的计算工作。实验结果表明，训练对超参数选择高度敏感。通过多目标分析，我们确定了4个重要的超参数，以进一步评估。首先，我们发现了令人惊讶的结果，即过多的训练有时会导致较低的表现。我们的主要结果是，自玩迭代的数量包含MCTS搜索模拟，游戏情节和训练时期。直觉是，随着自我游戏迭代的增加，这三个因素一起增加，单独增加它们是次优的。我们实验的结果是直接建议在self-play中设置超参数值：self-play迭代的总体外循环应该最大化，有利于三个内环超参数，它们应该设置为较低的值。我们实验的第二个结果涉及优化目标的选择，我们也提供了建议。
2020-03-12 cs.AI cs.LG cs.NE
AlphaZero in Sparsely Rewarded Games: Limits and Auxiliary Supervision
California Institute of Technology（加州理工学院）
研究在稀疏奖励游戏中普通AlphaZero的局限性，对比多帧变体及AZAL，发现普通AlphaZero虽表现出色但无法保持最优轨迹，AZAL能显著提高预言一致性，在啃咬和四子棋游戏中均有改进。
2026-07-13 cs.AI cs.GT cs.LG
Reinforcement Evolutionary Learning Method for self-learning
Data Science Researchers（数据科学研究机构）
在统计建模中，最大的威胁是概念漂移，这使得模型随着时间的推移逐渐显示出性能恶化。存在检测概念漂移的影响的现有技术方法，然而，为克服性能问题而考虑的一般策略是重建或重新当模型的变量模式因市场变化或消费者行为变化等而发生显著变化时，定期校准模型。定量研究是数据科学在市场营销或金融领域中最广泛的应用，用于自动学习的现有技术强化学习是较少探索的范例。强化学习在很大程度上依赖于具有主要可用于游戏或在线系统的模拟环境，以从实时反馈中学习。然而，由于在线学习环境的性质，在在线广告、定价等领域也有一些研究探讨了强化学习的范围。我们提出的解决方案是一种基于强化学习的真正的自学习算法，它可以适应数据变化或概念漂移，并自动学习和自校准新的数据模式，解决概念漂移问题。关键词-强化学习，遗传算法，Q学习，分类建模，CMA-ES，NES，多目标优化，概念漂移，种群稳定性指数，增量学习，F1-measure，预测建模，自学习，MCTS，AlphaGo，AlphaZero
2018-10-07 cs.LG cs.NE stat.ML
Less Effort, Shorter Proofs: Reinforcement Learning for Security Protocol Analysis in Tamarin
CISPA Helmholtz Center for Information Security（CISPA 欧洲信息安全中心）；Technical University of Munich（慕尼黑技术大学）
提出一种受AlphaZero和AlphaProof启发的强化学习框架，通过神经启发式引导蒙特卡洛树搜索，在Tamarin中自动生成更短证明，减少人工努力。
2026-05-22 cs.CR cs.LG
TSS GAZ PTP: Towards Improving Gumbel AlphaZero with Two-stage Self-play for Multi-constrained Electric Vehicle Routing Problems
Anhui University（安徽大学）；Pengcheng Laboratory（鹏城实验室）
针对Gumbel AlphaZero自博弈中对手强度不适配导致训练效果下降的问题，提出两阶段自博弈策略TSS GAZ PTP，在TSP和多约束EVRP上均取得优于现有方法的性能。
2025-02-17 cs.AI cs.SY eess.SY
The Surprising Effectiveness of Approximate Value Iteration in Self-Play
Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；LORIA（洛林计算机科学与应用实验室）
本研究证明，在中等规模博弈中，简单的近似值迭代（AVI）自我对弈方法能学习到比AlphaZero更准确的价值函数，且其贪心策略在更低成本下与MCTS策略竞争力相当，挑战了复杂搜索方法的必要性。
2026-09-09 cs.AI
Fast and Knowledge-Free Deep Learning for General Game Playing (Student Abstract)
University of Wrocław（弗罗茨瓦夫大学）
本研究提出一种适配AlphaZero至通用游戏玩法的方法，通过MCTS对弈生成数据、仅用价值网络和注意力层，无需游戏规则知识，在Regular Boardgames系统中高效构建模型，多数游戏超越UCT基线。
2023-12-21 cs.AI
One Policy Is Enough: Single-Agent Reinforcement Learning Outperforms Tree Search for Chemistry Tool Learning
DIRO, Université de Montréal（蒙特利尔大学DIRO学院）；Mila - Quebec Artificial Intelligence Institute（米拉-魁北克人工智能研究所）；Air Liquide（液化空气集团）
该研究提出单智能体强化学习模型，在ChemToolBench多工具化学任务上，相较CheMatAgent的树搜索方法，在Qwen-2.5-7B和Llama-3.1-8B上提升了工具F1、返回F1及答案通过率，且成本更低。
2026-09-01 cs.CL cs.LG
Belief-Guided Decision Making with Uncertainty Gating in the Game of Go
本文针对计算机围棋消费级硬件推理瓶颈与模型幻觉问题，提出信念引导架构，解耦策略头与信念头，结合记忆机制与门控，在有限硬件上实现职业级对弈
2026-09-30 cs.AI
ProRAG: Process-Supervised Reinforcement Learning for Retrieval-Augmented Generation
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学北京校区人工智能学院）
ProRAG通过过程监督强化学习框架提升检索增强生成在复杂推理任务中的性能，通过细粒度过程监督和双粒度优势机制实现更精确的反馈和优化。
2026-01-29 cs.AI cs.CL cs.IR
Prime the search: Using large language models for guiding geometric task and motion planning by warm-starting tree search
Korea Advanced Institute of Science and Technology（韩国科学技术院）
针对几何任务与运动规划搜索成本高的问题，本文用LLM结合几何谓词生成任务计划，并以其探索节点热启动混合动作空间MCTS，在六个问题上优于现有LLM规划器和纯搜索方法。
2025-06-08 cs.AI cs.RO
