Sequential Monte Carlo for Policy Optimization in Continuous POMDPs
University of Amsterdam(阿姆斯特丹大学);Aalto University(阿尔托大学)
本文提出了一种基于序列蒙特卡洛的策略优化方法,用于解决连续部分可观测马尔可夫决策过程中的探索与利用平衡问题。
2025-12-04 cs.AI cs.LG stat.ML
Policy Gradient Algorithms with Monte Carlo Tree Learning for Non-Markov Decision Processes
CyberAgent(赛博agent公司)
本文针对非马尔可夫决策过程提出蒙特卡洛树学习(MCTL)方法,并将其与策略梯度(PG)结合,利用双时间尺度随机逼近推导收敛条件,设计出能收敛到合理解的算法,数值实验验证了其有效性。
2024-07-04 cs.AI cs.LG
An Efficient Dynamic Sampling Policy For Monte Carlo Tree Search
Guanghua School of Management Peking University(北京大学光华管理学院);Beijing Jiaotong University(北京交通大学)
针对有限时域MDP中的蒙特卡洛树搜索,提出一种动态采样树策略,高效分配计算预算以最大化根节点最优动作选择概率,在井字棋和五子棋上验证了其高效性。
2022-04-26 cs.AI math.OC stat.AP
Monte-Carlo Tree Search as Regularized Policy Optimization
DeepMind;Columbia University(哥伦比亚大学)
蒙特卡罗树搜索(MCTS)与深度强化学习的结合导致了人工智能的重大进步。然而,AlphaZero,目前最先进的MCTS算法,仍然依赖于手工制作的算法,只有部分理解。在本文中,我们证明了AlphaZero的搜索算法以及其他常见的算法(如UCT)是特定正则化策略优化问题的近似解。有了这个洞察力,我们提出了一个变体的AlphaZero,它使用这个策略优化问题的精确解决方案,并通过实验表明,它在多个领域可靠地优于原始算法。
2020-07-24 cs.LG stat.ML
Is Monte Carlo Tree Search Just Every-Visit Monte Carlo Control?
ECNU(华东师范大学)
本文论证蒙特卡洛树搜索(MCTS)与全访问蒙特卡洛控制本质等价,仅表述术语不同,MCTS可简化为轨迹采样与全访问蒙特卡洛更新两个操作,旨在明确二者的等价关系。
2026-08-31 cs.LG
SPO: Sequential Monte Carlo Policy Optimisation
University of Amsterdam(阿姆斯特丹大学);InstaDeep(InstaDeep公司)
针对基于树的搜索与自博弈结合的强化学习方法扩展难、易损性能的问题,提出基于EM框架的序列蒙特卡洛策略优化算法SPO,适配两类动作空间,性能提升显著且并行扩展性好。
2024-10-31 cs.AI cs.LG
Scalar-Stepsize Nonuniform Monte Carlo Optimistic Policy Iteration: A Certified Counterexample
Yuanlong Chen(陈元龙)
针对非均匀更新频率下的蒙特卡洛乐观策略迭代,本文通过一个三状态MDP反例证明标量步长非均匀异步值迭代可能不收敛,并揭示了各向异性畸变导致的切换吸引环。
2026-06-16 cs.LG
Monte Carlo Policy Gradient Method for Binary Optimization
Academy for Advanced Interdisciplinary Studies, Peking University(北京大学前沿交叉学科研究院);Beijing International Center for Mathematical Research, Peking University(北京大学北京国际数学研究中心);School of Mathematical Sciences, Peking University(北京大学数学科学学院)
针对 NP-hard 的二元优化问题,提出基于参数化策略分布的蒙特卡洛策略梯度方法,利用并行 MCMC 采样和局部搜索过滤方案高效近似梯度并拓宽搜索视野,理论证明其期望收敛性,实验表明能为多种二元优化问题提供近优解。
2023-07-03 cs.AI cs.LG math.OC
Hierarchical Policy for Non-prehensile Multi-object Rearrangement with Deep Reinforcement Learning and Monte Carlo Tree Search
The Chinese University of Hong Kong(香港中文大学);Southern University of Science and Technology(南方科技大学);Shenzhen Research Institute of the Chinese University of Hong Kong(香港中文大学深圳研究院)
非抓取多物体重排是指在不抓取的情况下规划可行路径并将多个物体转移到预定义的目标位姿的机器人任务。它需要考虑每个物体如何到达目标以及物体运动的顺序,这显著加深了问题的复杂性。为了解决这些挑战,我们提出了一个分层的政策,分而治之的非可扩展的多对象重排。在高层策略中,在设计好的策略网络的指导下,采用蒙特卡罗树搜索算法有效地搜索多个对象之间的最优重排序列,具有模仿和强化的效果。在低层策略中,机器人根据路径基元的顺序规划路径,并操纵物体逐一接近目标位姿。通过实验验证了该方法与现有方法相比具有更高的成功率、更少的步骤和更短的路径长度。
2021-09-18 cs.AI cs.RO
Neural Machine Translation with Monte-Carlo Tree Search
University of Toronto(多伦多大学)
机器翻译中的最新算法包括一个值网络,用于在决定在翻译的每个步骤输出哪个单词时帮助策略网络。添加价值网络有助于算法在BLEU评分等评估指标上表现更好。在监督设置中训练策略和价值网络之后,可以通过共同的行动者-批评者方法来联合改进策略和价值网络。我们项目的主要思想是利用蒙特卡罗树搜索(MCTS)来搜索好的输出词,并以类似于AlphaZero的方式从组合策略和价值网络架构中获得指导。该网络既可以作为本地参考,也可以作为全局参考,使用搜索结果来改进自身。使用IWLST 14德语到英语翻译数据集的实验表明,我们的方法优于最近机器翻译论文中使用的演员-评论家方法。
2020-04-27 cs.AI cs.CL cs.LG
Multiple Policy Value Monte Carlo Tree Search
National Chiao Tung University(国立交通大学);Pervasive Artificial Intelligence Research (PAIR) Labs(普适人工智能研究(PAIR)实验室)
许多最强大的游戏程序使用蒙特卡罗树搜索(MCTS)和深度神经网络(DNN)的组合,其中DNN用作策略或值评估器。给定有限的预算,例如在线游戏或在AlphaZero(AZ)训练的自我游戏阶段,需要在准确的状态估计和更多的MCTS模拟之间达到平衡,这两者对于强大的游戏代理都是至关重要的。通常,较大的DNN在泛化和准确评估方面更好,而较小的DNN成本更低,因此可以在相同的预算下产生更多的MCTS模拟和更大的搜索树。本文提出了一种新的策略值MCTS(MPV-MCTS)方法,它将不同规模的多策略值神经网络(PV-NN)结合起来,以保留每个网络的优点,其中使用了两个PV-NN f_S和f_L。我们通过对NoGo博弈的实验表明,组合的f_S和f_L MPV-MCTS优于具有策略值MCTS的单个PV-NN,称为PV-MCTS。此外,MPV-MCTS在AZ训练方面也优于PV-MCTS。
2019-05-31 cs.AI
Maneuver Decision-Making Through Proximal Policy Optimization And Monte Carlo Tree Search
University of Cincinnati(辛辛那提大学);Boeing(波音公司)
针对强化学习早期随机动作导致难以获得奖励的问题,本文提出结合近端策略优化与蒙特卡洛树搜索的机动决策方法,通过价值网络引导搜索更优动作,实验证明其能解决原始算法无法处理的机动决策问题。
2023-08-28 cs.AI
NSGZero: Efficiently Learning Non-Exploitable Policy in Large-Scale Network Security Games with Neural Monte Carlo Tree Search
Nanyang Technological University(南洋理工大学)
如何部署资源以保护网络中的关键目标可以通过网络安全游戏(NSG)来建模。虽然深度学习(DL)的最新进展提供了处理大规模NSG的强大方法,但是诸如NSG-NFSP的DL方法遭受数据效率低下的问题。此外,由于集中控制,它们无法扩展到具有大量资源的场景。在本文中,我们提出了一种新的基于DL的方法,NSGZero,学习NSG中的不可利用的策略。NSGZero通过使用神经蒙特卡罗树搜索(MCTS)执行规划来提高数据效率。我们的主要贡献有三方面。首先,我们设计了深度神经网络(DNN)来在NSG中执行神经MCTS。其次,我们使神经MCTS与分散控制,使NSGZero适用于NSG与许多资源。第三,我们提供了一个有效的学习范式,以实现NSGZero中DNN的联合训练。与最先进的算法相比,我们的方法实现了更好的数据效率和可扩展性。
2022-01-17 cs.AI cs.CR cs.LG
Temporal Gradient Inversion for Private Trajectory Reconstruction in Embodied Reinforcement Learning
University of Kentucky(肯塔基大学);Washington University in St. Louis(圣路易斯华盛顿大学)
针对具身强化学习分布式训练,提出TRACE时间梯度反演攻击,利用跨时间相关性与闭式动作恢复,自回归重建私有轨迹,实现高PSNR与近完美动作恢复,且速度远超基线。
2026-11-10 cs.LG
M-Walk: Learning to Walk over Graphs using Monte Carlo Tree Search
Tencent AI Lab(腾讯人工智能实验室);Microsoft Research(微软研究院);DeepMind(深度思维)
在知识库补全(KBC)等应用中,学习在图上向给定查询的目标节点和源节点行走是一个重要的问题。它可以用公式表示为具有已知状态转换模型的强化学习(RL)问题。为了克服稀疏奖励的挑战,我们开发了一个名为M-Walk的图行走代理,它由深度递归神经网络(RNN)和蒙特卡罗树搜索(MCTS)组成。RNN编码状态(即,步行路径的历史)并将其分别映射到策略和Q值。为了有效地训练代理从稀疏的奖励,我们结合MCTS的神经政策,以产生更多的积极回报的轨迹。从这些轨迹中,使用Q学习以非策略方式改进网络,Q学习通过参数共享修改RNN策略。我们提出的RL算法重复应用这个策略改进步骤来学习模型。在测试时,MCTS与神经策略相结合,预测目标节点。实验结果表明,M-Walk能够学习到比其他基于RL的方法更好的策略,而其他基于RL的方法主要是基于策略梯度。M-Walk的表现也优于传统的KBC基线。
2018-12-18 cs.AI cs.CL cs.LG
Decision Making in Non-Stationary Environments with Policy-Augmented Monte Carlo Tree Search
Vanderbilt University(范德堡大学)
不确定性决策(DMU)在许多重要问题中都有应用。一个开放的挑战是在非平稳环境中的DMU,其中环境的动态可以随着时间的推移而变化。强化学习(RL)是一种解决DMU问题的流行方法,它通过离线与环境模型交互来学习策略。不幸的是,如果环境发生变化,则策略可能变得陈旧并采取次优的动作,并且针对更新的环境重新学习策略需要时间和计算工作量。另一种方法是在线规划方法,如蒙特卡罗树搜索(MCTS),它在决策时执行计算。鉴于目前的环境,MCTS计划使用高保真模型来确定有希望的行动轨迹。一旦检测到环境变化,这些模型就可以立即更新,并将其纳入决策。然而,MCTS的收敛速度可能是缓慢的域与大的状态动作空间。在本文中,我们提出了一种新的混合决策方法,结合RL和规划的优势,同时减轻他们的弱点。我们的方法,称为政策增强MCTS(PA-MCTS),集成了一个政策的肌动蛋白值估计到MCTS,使用估计种子的行动轨迹的搜索青睐。我们假设,PA-MCTS将更快地收敛比标准的MCTS,同时作出更好的决定比政策可以自己面对非平稳环境时。我们测试我们的假设,通过比较PA-MCTS与纯MCTS和RL代理应用于经典的CartPole环境。我们发现,PC-MCTS可以实现更高的累积奖励比孤立的政策在几个环境的变化,而收敛在显着较少的迭代比纯MCTS。
2022-02-25 cs.AI
Indexability and Rollout Policy for Multi-State Partially Observable Restless Bandits
IIIT Allahabad(印度信息技术学院阿拉哈巴德分校);Polytechnique Montreal(蒙特利尔综合理工学院)
具有部分可观测状态的不安分多臂强盗在通信系统、信息时代和推荐系统中有应用。本文研究了多状态部分可观测的不安宁强盗模型。我们考虑了三种不同的基于决策者可观察信息的模型-- 1)从强盗的行动中没有信息可观察2)来自强盗的完美信息仅对强盗的一个行动是可观察的,存在固定的重新启动状态,即,从所有其它状态到该状态的转换发生3)完美的状态信息可用于对Bandit的两个动作的决策者,并且对于两个动作存在两个重启状态。我们发展结构特性。我们还展示了模型2和模型3的阈值类型策略和可索引性。我们提出蒙特卡罗(MC)推出政策。在模型2的情况下,我们使用它来计算whittle指数。我们得到的集中界的价值函数的地平线长度和数量的轨迹MC推出政策。我们推导出模型3的显式指数公式。最后,我们描述了蒙特卡洛推出政策模型1时,很难显示可索引性。我们使用近视政策,蒙特卡罗推出政策和惠特尔指数政策的数值例子。我们观察到,蒙特卡洛推出政策是一个很好的竞争政策,近视。
2021-07-30 cs.LG cs.SY eess.SY
Tree-OPO: Off-policy Monte Carlo Tree-Guided Advantage Optimization for Multistep Reasoning
Technical University of Munich(慕尼黑工业大学);Huawei R&D Munich(华为慕尼黑研发中心);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
Tree-OPO通过引入分阶段优势估计框架,利用MCTS生成轨迹优化策略学习,提升数学推理任务的准确性与样本效率。
2025-12-21 cs.AI cs.CL cs.LG
Factoring Exogenous State for Model-Free Monte Carlo
Oregon State University(俄勒冈州立大学);University of Notre Dame(圣母大学)
政策分析师希望为大型模拟器定义的马尔可夫决策过程(MDP)可视化一系列政策。一种可视化方法是调用模拟器来生成策略轨迹,然后将这些轨迹可视化。当模拟器是昂贵的,这是不切实际的,并且需要一些方法来生成新策略的轨迹而不调用模拟器。无模型蒙特卡罗(MFMC)方法可以通过基于先前从其他策略采样的轨迹将新策略的状态转换缝合在一起来实现这一点。这种“非策略蒙特卡罗模拟”方法在状态空间具有低维度时工作良好,但随着维度的增加而失败。本文介绍了一种方法,分解出一些状态和动作变量,使MFMC可以工作在高维MDP。新的方法,MFMCi,评估一个非常具有挑战性的野火管理MDP。
2017-11-03 cs.LG stat.ML
Model-Based Policy Search Using Monte Carlo Gradient Estimation with Real Systems Application
University of Padova(帕多瓦大学);Mitsubishi Electric Research Laboratories(三菱电机研究实验室)
在本文中,我们提出了一个基于模型的强化学习(MBRL)算法命名为\emph{Monte Carlo Probabilistic Inference for Learning COntrol}(MC-PILCO)。该算法依赖于高斯过程(GP)的系统动态模型和蒙特卡罗方法来估计的策略梯度。这定义了一个框架,在这个框架中,我们取消了以下组件的选择:(i)成本函数的选择,(ii)使用dropout优化策略,(iii)通过在GP模型中使用结构化内核来提高数据效率。上述方面的组合显著地影响MC-PILCO的性能。在一个模拟的车杆环境中的数值比较表明,MC-PILCO具有更好的数据效率和控制性能w.r.t.最先进的基于GP的MBRL算法最后,我们将MC-PILCO应用到实际系统中,特别是考虑部分可测状态的系统。我们讨论了在政策优化过程中的测量系统和状态估计建模的重要性。所提出的解决方案的有效性已在模拟和两个真实的系统,一个古田摆和球板钻机进行了测试。
2022-09-06 cs.LG cs.RO
Simulation Based Algorithms for Markov Decision Processes and Multi-Action Restless Bandits
IIT Madras(印度理工学院马德拉斯分校);IIT Bombay(印度理工学院孟买分校)
我们考虑多维马尔可夫决策过程,并制定了长期折扣奖励优化问题。研究了两种基于仿真的策略-蒙特卡罗卷展策略和并行卷展策略,并讨论了这两种策略的各种性质。接下来,我们考虑了一个具有多维状态空间和多动作的不安分多臂强盗(RMAB)模型。一个标准的RMAB由每个手臂的两个动作组成,而在多动作RMAB中,每个手臂有两个以上的动作。一种流行的方法是基于Whittle指数的启发式策略。可索引性是使用基于索引的策略的重要要求。在此基础上,一个RMAB分为索引或非索引土匪。我们的兴趣是在蒙特卡洛推出政策的索引和不可索引的不安土匪的研究。我们首先分析了一个标准的可索引的RMAB(两个动作模型),并讨论了基于索引的政策方法。提出了一种基于Monte-Carlo滚动策略的近似索引计算算法。该算法的收敛性表明,使用两个时标的随机逼近方案。随后,我们分析了多动作可索引的RMAB,并讨论了基于索引的策略方法。我们还研究了不可索引的RMAB的标准和多行动土匪使用蒙特卡洛推出政策。
2020-07-25 cs.LG cs.SY eess.SY
Deep Bayesian Quadrature Policy Optimization
Purdue University(普渡大学);Google Research(谷歌研究院);Caltech(加州理工学院)
我们研究的问题,获得准确的策略梯度估计使用有限数量的样本。蒙特卡罗方法一直是策略梯度估计的默认选择,尽管在梯度估计中存在高方差。另一方面,像贝叶斯求积方法,由于其高的计算复杂性,样本效率更高的替代方案很少受到关注。在这项工作中,我们提出了深贝叶斯正交策略梯度(DBQPG),计算效率高的高维推广贝叶斯正交,策略梯度估计。我们表明,DBQPG可以取代蒙特卡洛估计的策略梯度方法,并证明了其有效性的一组连续控制基准。与Monte-Carlo估计相比,DBQPG提供(i)具有显著较低方差的更准确的梯度估计,(ii)对于几种深度策略梯度算法,在样本复杂度和平均回报方面的一致改进,以及(iii)梯度估计中的不确定性,其可以被并入以进一步提高性能。
2020-12-16 cs.LG stat.ML
Efficient Policy Evaluation with Offline Data Informed Behavior Policy Design
University of Virginia(弗吉尼亚大学)
针对在线 Monte Carlo 策略评估交互成本高的问题,本文提出用离线数据学习可降低方差的闭式行为策略,并证明其无偏性与误差影响,在更多环境中以更少离线数据取得更优效果。
2026-09-29 cs.LG
Persona-Trained Monte Carlo: Estimating Market-Outcome Distributions via Swarms of Persona-Conditioned Neural Policy Bots in a Limit Order Book
Independent researcher(独立研究者)
提出人格训练蒙特卡洛方法,通过模拟人格条件神经策略交易机器人群体在限价订单簿中的交互,估计市场结果统计量的分布,并给出形式化估计器、跨学科设计理由和验证路线图。
2026-06-28 cs.LG cs.MA
Policy Gradient Optimal Correlation Search for Variance Reduction in Monte Carlo simulation and Maximum Optimal Transport
Sorbonne Université(索邦大学)
本文提出用深度神经网络结合策略梯度与强化学习搜索最优路径相关性,以降低随机微分方程蒙特卡洛估计的方差,并建立其与最大最优传输的联系。
2023-09-15 cs.LG math.OC stat.ML
Accelerating Monte-Carlo Tree Search with Optimized Posterior Policies
Center for Communications Research, Institute for Defense Analyses Princeton, NJ 08540, USA(通信研究所在线防御分析研究所)
RMCTS通过优化后验策略加速蒙特卡洛树搜索,显著提升搜索速度,且在训练时间内与MCTS-UCB相当。
2026-01-09 cs.AI cs.LG
Multifunction Cognitive Radar Task Scheduling Using Monte Carlo Tree Search and Policy Networks
University of Toronto(多伦多大学);Defence Research and Development Canada(加拿大国防研究与发展部)
现代雷达可以设计成执行多种功能,例如监视、跟踪和火力控制。每个功能都要求雷达执行多个发射-接收任务。雷达资源管理(RRM)模块对这些任务的参数选择、优先级排序和调度做出决策。RRM在过载情况下变得特别具有挑战性,其中一些任务可能需要延迟甚至丢弃。一般来说,任务调度是一个NP难问题。在这项工作中,我们开发的分支定界(B&B)的方法,获得最佳的解决方案,但在指数计算复杂性。另一方面,探试法具有低复杂度,但提供相对较差的性能。我们求助于基于机器学习的技术来解决这个问题;具体来说,我们提出了一种基于蒙特卡罗树搜索方法的近似算法。除了使用约束和支配规则来消除搜索树中的节点外,我们还使用策略网络来帮助减少搜索的宽度。这样的网络可以使用通过在具有可行复杂度的问题上离线运行B&B方法获得的解决方案来训练。我们表明,该方法提供了接近最佳的性能,但与计算复杂性的数量级小于B&B算法。
2018-05-18 cs.AI
Combining a Meta-Policy and Monte-Carlo Planning for Scalable Type-Based Reasoning in Partially Observable Environments
Australian National University(澳大利亚国立大学);Google DeepMind(谷歌DeepMind)
针对多智能体系统中现有基于类型推理方法的可观测性假设与扩展性局限,提出结合元策略的POTMMCP在线规划方法,在大规模部分可观测环境中实现了更高效的长视野规划与更优的求解性能。
2023-06-09 cs.AI cs.MA
Renewal Monte Carlo: Renewal theory based reinforcement learning
McGill University(麦吉尔大学)
针对具有指定起始状态的无限时域马尔可夫决策过程,提出了一种在线强化学习算法,称为更新蒙特卡罗(RMC)。RMC是一种蒙特卡罗算法,保留了蒙特卡罗方法的优点,包括低偏差,简单性和易于实现,同时避免了其高方差和延迟(事件结束)更新的关键缺点。RMC背后的关键思想如下。首先,在任何合理的策略下,奖励过程都是遍历的。因此,根据更新理论,策略的性能等于在一个再生周期内期望的折扣报酬与期望的折扣时间之比。其次,通过仔细检查性能梯度的表达式,我们提出了一个随机近似算法,只需要估计的预期折扣奖励和折扣时间在一个再生周期和它们的梯度。我们提出了两个无偏估计评估性能梯度-一个似然比估计和同时扰动估计-并表明,对于这两个估计,RMC收敛到一个局部最优的政策。我们将RMC算法推广到决策后的状态模型,并提出了一个更快收敛到近似最优策略的变体。最后,我们提出了一个随机生成的MDP,事件触发的通信和库存管理的数值实验。
2018-04-03 cs.LG stat.ML
Improving Actor-Critic Reinforcement Learning via Hamiltonian Monte Carlo Method
Georgia Institute of Technology(佐治亚理工学院)
行动者-评论家RL广泛用于各种机器人控制任务。通过从变分推理(VI)的角度观察行动者-评论者强化学习,策略网络被训练以获得给定最优性标准的行动的近似后验。然而,在实践中,行动者-批评者强化学习可能会产生次优的政策估计,由于摊销差距和不充分的探索。在这项工作中,受到先前在VI中使用Hamilton Monte Carlo(HMC)的启发,我们提出将行动者-批评者RL的策略网络与HMC集成,称为{ \it Hamilton Policy}。因此,我们建议根据HMC从基本策略中进化动作,我们提出的方法有很多好处。首先,HMC可以改善政策分布,以更好地逼近后验,从而减少摊销缺口。其次,HMC还可以将探索更多地引导到Q值较高的作用空间区域,提高了探索效率。此外,而不是直接应用HMC到RL,我们提出了一个新的蛙跳算子来模拟哈密顿动力学。最后,在安全强化学习问题中,我们发现所提出的方法不仅可以提高所获得的回报,而且还可以通过丢弃潜在的不安全行为来减少安全约束违反。通过对连续控制基线(包括MuJoCo和PyBullet Roboschool)进行全面的实证实验,我们证明了所提出的方法是对以前的演员-评论家方法的数据高效且易于实现的改进。
2022-01-02 cs.LG stat.ML
Learning Position Evaluation Functions Used in Monte Carlo Softmax Search
Shibaura Institute of Technology(芝浦工业大学)
本文提出了两个建议,蒙特卡罗Softmax搜索,这是最近提出的方法,被归类为一个选择性搜索一样的蒙特卡罗树搜索。第一个建议分别定义了节点选择和备份策略,允许研究人员根据他们的搜索策略自由地设计节点选择策略,并确认由Monte Carlo Softmax搜索产生的最大极小搜索产生的主要变化。第二个建议修改常用的学习方法的位置评估功能。在我们的新建议中,评估函数是通过Monte Carlo抽样来学习的,这是通过Monte Carlo Softmax Search产生的搜索树中的备份策略来执行的。正在考虑的学习方法包括监督学习、强化学习、回归学习和搜索自举。我们的基于采样的学习不仅使用当前位置和主要变化,而且还使用搜索树的内部节点和重要变化。这个步骤减少了学习所需的游戏数量。本文基于MonteCarlo Softmax搜索算法,推导了新的基于采样的学习规则,并提出了改进的学习方法的组合。
2020-09-08 cs.AI cs.LG
Learning Logic Specifications for Soft Policy Guidance in POMCP
University of Verona(维罗纳大学)
部分可观测蒙特卡罗规划(POMCP)是求解部分可观测马尔可夫决策过程(POMDP)的一种有效方法。它允许通过使用基于蒙特卡罗树搜索的策略,在本地和在线计算最优策略的近似值来扩展到大的状态空间。然而,POMCP遭受稀疏的奖励功能,即,只有当达到最终目标时才能获得奖励,特别是在具有大状态空间和长视野的环境中。最近,逻辑规范已被集成到POMCP,以指导勘探和满足安全要求。然而,这种与策略相关的规则需要领域专家手动定义,特别是在现实世界的场景中。在本文中,我们使用归纳逻辑程序设计,从POMCP执行的轨迹中学习逻辑规范,即,由规划器生成的信念-行动对的集合。具体来说,我们学习的规则表示的范式的答案集编程。然后,我们将它们整合到POMCP中,为有希望的行动提供软政策偏见。在两个基准场景的背景下,岩石样本和电池,我们表明,从小任务实例的学习规则的集成可以提高性能,更少的蒙特卡罗模拟和更大的任务实例。我们在https://github.com/GiuMaz/pomcp_clingo.git上公开了POMCP的修改版本。
2023-03-16 cs.AI cs.LG cs.LO
Bootstrapping Monte Carlo Tree Search with an Imperfect Heuristic
National University of Singapore(新加坡国立大学)
我们考虑的问题,使用启发式的政策,以提高价值近似的上界置信度应用于树(UCT)算法在非对抗性的设置,如规划与大状态空间马尔可夫决策过程。当前对UCT的改进集中在改变内部节点处的动作选择公式或搜索树的叶节点处的卷展策略。在这项工作中,我们建议增加一个辅助手臂的每个内部节点,并始终使用启发式策略,转出模拟辅助手臂。该方法的目标是在启发式策略最优的状态下快速收敛到最优值,同时在其他状态下保持与原始UCT相似的近似。我们表明,在新算法中,UCT-Aux,与原始UCT算法及其变体相比,在两个基准实验设置中,所提出的方法的自举性能更好。我们还研究了UCT-Aux工作良好的条件。
2012-06-26 cs.AI
Agentic Monte Carlo: Simulating Reinforcement Learning for Black-Box Agents
University of Cambridge(剑桥大学)
提出Agentic Monte Carlo (AMC)方法,利用序贯蒙特卡洛从最优策略后验中采样,无需参数级优化即可对黑盒LLM智能体进行强化学习式优化,在AgentGym基准上超越提示基线并随测试时计算扩展优于GRPO。
2026-06-03 cs.AI cs.LG
Monte Carlo Beam Search for Actor-Critic Reinforcement Learning in Continuous Control
School of Computing, Clemson University(计算学院,克莱姆森大学)
本文提出将束搜索与蒙特卡洛 rollout 融入 TD3 的 MCBS 方法,通过候选动作前瞻评估改善连续控制探索,并在多个基准上显著提升样本效率与收敛速度。
2025-05-13 cs.AI cs.LG
Guided Exploration in Reinforcement Learning via Monte Carlo Critic Optimization
Independent Researcher Oxford, UK United Kingdom;Independent Researcher
针对深度确定性离策略算法中随机噪声探索需手动调参且缺乏训练中校准的问题,提出基于蒙特卡洛评论家集成的引导探索方法,动态校正探索动作,并用于同时修改策略与评论家,在DMControl多个任务上取得优于现代强化学习算法的性能。
2024-05-06 cs.AI cs.LG
Costly Features Classification using Monte Carlo Tree Search
Stony Brook University(石溪大学);Institute of Semiconductors, Chinese Academy of Sciences(中国科学院半导体研究所)
我们考虑的问题,昂贵的特征分类,我们顺序选择的子集的功能,使分类误差和功能成本之间的平衡。本文首先将任务转化为MDP问题,采用AdvantageActor Critic算法求解,为了进一步提高Agent的性能,使策略具有可解释性,采用蒙特卡罗树搜索迭代更新策略。在这个过程中,我们还考虑了它在不平衡数据集上的性能以及它对缺失值的敏感性。我们在多个数据集上评估了我们的模型,发现它优于其他方法。
2021-02-14 cs.LG
Truncating Trajectories in Monte Carlo Policy Evaluation: an Adaptive Approach
Politecnico di Milano(米兰理工大学)
针对蒙特卡洛策略评估中固定长度轨迹数据收集的次优性问题,提出自适应算法RIDO,通过将交互预算划分为小批量并最小化估计器误差替代指标,动态调整轨迹调度,显著提升了最终估计质量。
2024-10-17 cs.LG
Policy Gradient Search: Online Planning and Expert Iteration without Search Trees
DeepMind(深度思考);OpenAI;University of California, Berkeley(加州大学伯克利分校);Google Brain(谷歌大脑)
蒙特卡罗树搜索(MCTS)算法执行基于模拟的搜索以在线改进策略。在搜索过程中,模拟策略被调整以探索最有希望的路线。MCTS已经被最先进的程序用于解决许多问题,但是MCTS的缺点是它使用存储在搜索树中的Monte Carlo平均值来估计状态的值;这不能扩展到具有非常高分支因子的游戏。我们提出了一种替代的基于模拟的搜索方法,策略梯度搜索(PGS),通过策略梯度更新在线适应神经网络模拟策略,避免了搜索树的需要。在Hex中,PGS实现了与MCTS相当的性能,并且使用专家迭代与PGS训练的代理能够在9 x9 Hex中击败最强大的开源Hex代理MoHex 2.0。
2019-04-07 cs.LG stat.ML
Don't throw away your value model! Generating more preferable text with Value-Guided Monte-Carlo Tree Search decoding
University of Washington(华盛顿大学);FAIR, Meta(Meta FAIR研究院);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
本文提出PPO-MCTS算法,将PPO训练得到的价值网络与策略网络在推理时通过蒙特卡洛树搜索协同解码,解决训练与测试评分机制不匹配问题,在四个文本生成任务上显著提升生成文本的偏好度。
2024-04-02 cs.AI cs.CL cs.LG
Rank-1 Approximation of Inverse Fisher for Natural Policy Gradients in Deep Reinforcement Learning
The University of Manchester(曼彻斯特大学);Aalto University(阿alto大学)
本文提出一种基于秩1近似的高效自然策略优化方法,通过理论证明其在收敛速度和样本复杂度上的优势,并在多种环境中验证了其优越性能。
2026-02-11 cs.AI cs.LG stat.ML
Bayes Adaptive Monte Carlo Tree Search for Offline Model-based Reinforcement Learning
The University of Hong Kong(香港大学);Tsinghua University(清华大学);Carnegie Mellon University(卡内基梅隆大学)
本文提出贝叶斯自适应蒙特卡洛树搜索算法,用于提升离线模型驱动强化学习的性能,显著优于现有方法。
2026-01-27 cs.AI cs.LG
On the Convergence of the Monte Carlo Exploring Starts Algorithm for Reinforcement Learning
New York University Shanghai(上海纽约大学);New York University(纽约大学)
强化学习(RL)的一个简单而自然的算法是蒙特卡洛开始探索(MCES),其中Q函数通过平均蒙特卡洛返回值来估计,并且通过选择最大化Q函数的当前估计的动作来改进策略。探索是通过“探索开始”来执行的,即每一集都从随机选择的状态和动作开始,然后遵循当前的策略到终端状态。在Sutton & Barto(2018)的经典RL书籍中,指出建立MCES算法的收敛性是RL中最重要的剩余开放理论问题之一。然而,MCES的趋同问题却相当微妙。Bertsekas & Tsitsiklis(1996)提供了一个反例,表明MCES算法不一定收敛。Tsitsiklis(2002)进一步表明,如果修改原始MCES算法,使得所有状态-动作对的Q函数估计以相同的速率更新,并且折扣因子严格小于1,则MCES算法收敛。在本文中,我们取得了进展与原始的和更有效的MCES算法在Sutton & Barto(1998),建立几乎必然收敛的最优策略前馈MDP,这是MDP的状态不重访任何情节时,使用最优策略。这样的MDP包括一大类环境,例如所有确定性环境和所有具有时间步长或任何单调变化值作为状态的一部分的情景环境。与以往的随机逼近证明不同,本文提出了一种新的归纳方法,该方法简单,只利用强大数定律。
2022-08-05 cs.AI cs.LG stat.ML
UNSAT Solver Synthesis via Monte Carlo Forest Search
University of British Columbia(不列颠哥伦比亚大学);Valence Labs(Valence实验室);Carnegie Mellon University(卡内基梅隆大学)
本研究提出蒙特卡洛森林搜索(MCFS)类强化学习算法,将其具体化为Knuth Synthesis算法学习SAT问题的DPLL分支策略,通过路径采样估树规模、限定深度调用强求解器降本,在三个SAT分布上性能追平或超越强基线,处理问题难度较此前RL研究高两个数量级。
2024-07-13 cs.AI cs.LG
On the Convergence of Reinforcement Learning with Monte Carlo Exploring Starts
University of Waterloo(滑铁卢大学)
一种基本的基于模拟的强化学习算法是蒙特卡洛探索状态(Monte Carlo Exploring States,MCES)方法,也称为乐观策略迭代,其中值函数由模拟返回近似,并且在每次迭代时选择贪婪策略。该算法在一般情况下的收敛性一直是一个悬而未决的问题。在本文中,我们研究了该算法的收敛性的情况下,与未贴现成本,也被称为随机最短路问题。这些结果补充了已有的部分结果,从而有助于进一步解决这一问题。作为一个附带的结果,我们还提供了一个版本的上鞅收敛定理通常用于随机逼近的证明。
2020-07-21 cs.LG math.OC
Bayesian Inference in Monte-Carlo Tree Search
IBM TJ Watson Research Center(IBM TJ沃森研究中心)
蒙特卡罗树搜索(MCTS)方法在计算机围棋中取得突破性成果后,引起了人们极大的兴趣。本文提出了一种MCTS的贝叶斯方法,该方法受到UCT [13]等无分布方法的启发,但在重要方面有显着不同。贝叶斯框架允许潜在的更准确的(贝叶斯最优)估计节点值和节点的不确定性,从有限数量的模拟试验。我们进一步提出通过快速分析高斯近似方法在树中传播推理:这可以使贝叶斯推理的开销在Go等领域中易于管理,同时保持期望值估计的高准确性。我们发现UCT在理想化的Bandit-Tree测试环境中表现出色,通过与已知的地面实况进行比较,我们可以获得有价值的见解。此外,我们严格证明了政策和政策的收敛性所提出的方法。
2012-03-15 cs.AI cs.LG stat.ML
Rule-based Shielding for Partially Observable Monte-Carlo Planning
部分可观测蒙特卡罗规划(POMCP)是一种功能强大的在线算法,能够为大型部分可观测马尔可夫决策过程生成近似策略。这种方法的在线特性通过避免完整的策略表示来支持可伸缩性。然而,缺乏明确的表示阻碍了政策的可解释性,使政策验证非常复杂。在这项工作中,我们提出了两个贡献。第一个是一种方法,用于确定意外的行动选择POMCP专家先验知识的任务。第二种是屏蔽方法,防止POMCP选择意外的操作。第一种方法是基于可满足性模理论(SMT)。它检查痕迹(即,由POMCP生成的信念-动作-观察三元组的序列)来计算关于专家定义的策略属性的逻辑公式的参数。第二个贡献是一个模块,它使用在线的逻辑公式来识别POMCP选择的异常动作,并用满足满足专家知识的逻辑公式的动作来代替这些动作。我们评估我们的方法上的老虎,POMDPs的标准基准,和一个现实世界中的移动机器人导航速度调节相关的问题。结果表明,屏蔽POMCP优于标准POMCP在一个案例研究中,一个错误的POMCP参数,使其选择错误的动作时,以时间。此外,我们表明,该方法保持良好的性能,如果使用包含一些错误的动作轨迹的逻辑公式的参数进行优化。
2021-04-28 cs.AI
Model-based Policy Search for Partially Measurable Systems
University of Padova(帕多瓦大学);Mitsubishi Electric Research Laboratories(三菱电机研究实验室)
在本文中,我们提出了一个基于基于模型的强化学习(MBRL)算法的部分可测系统(PMS),即,系统的状态不能直接测量,但必须通过适当的状态观测器估计。所提出的算法,名为蒙特卡洛概率推理学习控制部分可测系统(MC-PILCO 4PMS),依赖于高斯过程(GPs)模型的系统动态,并在蒙特卡洛方法更新的政策参数。W.r.t. MC-PILCO 4PMS模型在策略优化期间明确地表示状态观测器的存在,从而允许处理PMS。所提出的算法的有效性已在仿真和两个实际系统中进行了测试。
2021-01-21 cs.LG cs.RO cs.SY
Formally-Sharp DAgger for MCTS: Lower-Latency Monte Carlo Tree Search using Data Aggregation with Formal Methods
Université Libre de Bruxelles(布鲁塞尔自由大学);Univ. Paris Est Créteil(巴黎东克雷泰伊大学);University of Antwerp(安特卫普大学)
本文提出形式化方法增强的 DAgger 框架,用模型检验引导 MCTS 生成模仿学习样本,并通过统计模型检验针对性补样,以获得低延迟策略。
2023-08-15 cs.AI
Partially Observable Monte-Carlo Graph Search
本文提出离线采样算法POMCGS,通过动态折叠蒙特卡洛搜索树构建策略图,并结合动作渐进加宽与观测聚类处理大型及连续POMDP,实验表明其策略质量可媲美先进在线算法。
2025-07-28 cs.AI cs.RO
Bayesian Optimized Monte Carlo Planning
Stanford University(斯坦福大学);University of Colorado Boulder(科罗拉多大学博尔德分校)
部分可观测马尔可夫决策过程的在线求解器很难扩展到具有大动作空间的问题。蒙特卡罗树搜索,通过从动作空间采样来构建策略搜索树,尝试逐步加宽以提高缩放。渐进式扩展搜索的性能取决于动作采样策略,通常需要特定于问题的采样器。在这项工作中,我们提出了一个通用的方法,有效的行动抽样的基础上贝叶斯优化。所提出的方法使用高斯过程来对动作-价值函数的信念进行建模,并选择将最大化最优动作值的预期改进的动作。我们实现了一个新的在线树搜索算法称为贝叶斯优化蒙特卡罗规划(BOMCP)所提出的方法。几个实验表明,BOMCP能够更好地扩展到大的动作空间POMDPs比现有的最先进的树搜索求解器。
2020-10-07 cs.AI
Finite-Sample Analysis of the Monte Carlo Exploring Starts Algorithm for Reinforcement Learning
New York University Abu Dhabi(纽约大学阿布扎比分校)
本文针对求解随机最短路径问题的改进型 MCES 算法建立了有限样本界,并证明策略迭代的新收敛速率,从而给出其样本复杂度上界。
2024-10-03 cs.LG
Trust-Region Twisted Policy Improvement
Delft University of Technology(代尔夫特理工大学)
针对MCTS并行扩展困难,提出信赖域扭曲SMC(TRT-SMC)规划器,通过约束采样与终止处理改进数据生成,提升策略和价值估计,在离散与连续域中优于基线方法。
2025-07-08 cs.LG
Quantum Policy Iteration via Amplitude Estimation and Grover Search -- Towards Quantum Advantage for Reinforcement Learning
Technical University of Munich(慕尼黑工业大学);Siemens Technology(西门子技术公司)
该研究提出结合幅度估计与Grover搜索的量子强化学习方法,构建量子策略评估与迭代框架,在样本复杂度上优于经典蒙特卡洛方法,并通过双臂老虎机MDP仿真验证了可行性。
2023-05-10 cs.LG quant-ph