Interpretable and Editable Programmatic Tree Policies for Reinforcement Learning
TU Darmstadt(达姆施塔特工业大学);ATHENE;Université de Lille(里尔大学);Inria(法国国家信息与自动化研究所);Hessian AI(黑森人工智能研究所);DFKI(德国人工智能研究中心)
针对深度强化学习策略黑盒导致的目标错位问题,提出INTERPRETER快速蒸馏方法生成可解释可编辑的树程序,在多种任务上匹配基准性能,并能修正Atari游戏错位及解释农业策略。
2024-05-23 cs.AI cs.LG
Interpretable Preference-based Reinforcement Learning with Tree-Structured Reward Functions
University of Bristol(布里斯托大学);CortAIx, Thales(泰雷兹公司 CortAIx)
强化学习(RL)提供对齐和性能代理的潜力部分地受到奖励工程问题的影响。启发式试错法的一种替代方法是基于偏好的强化学习(PbRL),其中奖励函数是从稀疏的人类反馈中推断出来的。然而,现有的PbRL方法缺乏学习的奖励结构的可解释性,这妨碍了评估鲁棒性和对齐的能力。我们提出了一个在线的,主动的偏好学习算法,构造奖励函数的本质上可解释的,组成结构的树。使用合成和人工提供的反馈,我们在几种环境中展示了树结构奖励函数的样本有效学习,然后利用增强的可解释性来探索和调试对齐。
2021-12-20 cs.AI cs.LG
The tree reconstruction game: phylogenetic reconstruction using reinforcement learning
Tel Aviv University(特拉维夫大学)
我们提出了一个学习算法来解决重建系统发育树的挑战。搜索最好地描述数据的树在算法上是具有挑战性的,因此所有当前用于遗传学重建的算法都使用各种算法来使其可行。在这项研究中,我们证明了强化学习可以用来学习一个最佳的搜索策略,从而提供了一个新的范式预测的最大似然树。我们所提出的方法不需要每一步都进行似然计算,也不限于在似然空间中进行贪婪的上坡移动。我们展示了开发的深度Q学习代理在一组看不见的经验数据上的使用,即在由多达20个序列的核苷酸比对定义的看不见的环境上。我们的研究结果表明,推断的似然分数的相似,从广泛使用的软件。因此,它建立了一个概念验证,即优化搜索空间中的移动序列是有益的,而不是仅优化每个移动中的进度。这表明,一个基于重复学习的方法为系统发育重建提供了一个有前途的方向。
2023-03-12 cs.AI q-bio.PE
A Reinforcement Learning Based R-Tree for Spatial Data Indexing in Dynamic Environments
School of Computer Science and Engineering, Nanyang Technological University(南洋理工大学计算机科学与工程学院);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院)
已经提出了学习索引来用机器学习(ML)模型代替经典的索引结构,如B树。它们需要替换数据库目前部署的索引和查询处理算法,这种彻底的偏离可能会遇到挑战和障碍。相比之下,我们提出了一种根本不同的方法,使用ML技术来提高经典R树的查询性能,而不需要改变其结构或查询处理算法。具体来说,我们开发了基于强化学习(RL)的模型来决定如何选择插入的子树以及如何在构建R树时拆分节点,而不是依赖于R树及其变体目前使用的手工启发式规则。在包含超过1亿个空间对象的真实和合成数据集上的实验清楚地表明,我们基于RL的索引在查询处理时间方面优于R-Tree及其变体。
2021-10-11 cs.AI cs.DB
MulFeRL: Enhancing Reinforcement Learning with Verbal Feedback in a Multi-turn Loop
Department of Computer Science and Technology, Tsinghua University, Beijing, China(清华大学计算机科学与技术系,北京,中国);Quancheng Laboratory(千晨实验室)
针对强化学习中标量奖励稀疏且缺乏信息的问题,提出MulFeRL框架,通过多轮语言反馈引导失败样本的再生、进度信用分配和结构化反馈注入,提升模型推理性能。
2026-05-30 cs.AI
Tree Search for LLM Agent Reinforcement Learning
Xiamen University(厦门大学);AMAP, Alibaba Group(阿里集团AMAP实验室);Southern University of Science and Technology(南方科技大学)
本文提出Tree-GRPO方法,通过树结构提升LLM代理在长期任务中的表现,利用树搜索共享前缀以增加rollout数量,并通过理论分析证明其与直接偏好学习等效。
2026-03-18 cs.AI cs.LG
ThinkDrive: Chain-of-Thought Guided Progressive Reinforcement Learning Fine-Tuning for Autonomous Driving
ThinkDrive通过结合显式推理与难度感知的自适应策略优化,提升了自动驾驶中的决策透明度和泛化能力,实验显示其在多个指标上优于现有方法。
2026-01-08 cs.AI
Deep Reinforcement Learning Xiangqi Player with Monte Carlo Tree Search
Columbia University(哥伦比亚大学)
本文提出一种结合神经网络与蒙特卡洛树搜索的深度强化学习系统,用于中国象棋的自我对弈与自我改进,克服高分支因子和不对称棋子动态等挑战,推进AI在文化策略游戏中的应用。
2025-06-18 cs.AI cs.LG
Progress-SQL: Improving Reinforcement Learning for Text-to-SQL via Progressive Rewards
East China Normal University(华东师范大学)
提出Progress-SQL,一种多轮强化学习框架,通过Oracle引导诊断树(ODT)生成子句级结构反馈,结合渐进式奖励(结构对齐、词汇对齐、延迟奖励和执行状态奖励),提升文本到SQL生成的准确性和鲁棒性。
2026-06-05 cs.AI cs.CL
Tree Search in DAG Space with Model-based Reinforcement Learning for Causal Discovery
University College London(伦敦大学学院);University of Bologna(博洛尼亚大学)
提出CD-UCT,一种基于模型强化学习的树搜索方法,通过逐步构建DAG进行因果发现,并证明了一种高效排除环边算法的正确性,实验显示其显著优于现有方法。
2024-02-13 cs.AI cs.LG
Interpretable reinforcement learning with decision-tree pruning
Ludwig-Maximilians-University Munich(慕尼黑大学);Siemens AG(西门子公司)
该研究提出一种结合决策树剪枝的可解释强化学习方法,通过定义结构感知与使用感知算子简化策略,在经典控制及MuJoCo基准上验证其可保持高性能并提升可解释性。
2026-08-10 cs.AI cs.LG
ASCT: Attentive Search over Counterfactual Trees for Credit Assignment in Agentic Reinforcement Learning
University of Hong Kong(香港大学);The Chinese University of Hong Kong(香港中文大学);Jiangxi Science and Technology Normal University(江西科技师范大学);Shenzhen University(深圳大学)
ASCT通过对抗树搜索将训练时的多步搜索转化为局部动作信用,提升智能体强化学习的信用分配,在HotpotQA上优于现有方法,并减少计算开销。
2026-09-29 cs.AI
Progress- and Reliability-Oriented Group Policy Optimization for Agentic Reinforcement Learning
Baidu Inc.(百度公司);Peking University(北京大学)
研究基于组的强化学习,针对步级优势估计对组形成方式敏感的问题,提出ProGPO方法,通过精确前缀动作比较及结合语义扩展与逆方差融合估计势,在任务中改进了基线方法。
2026-07-07 cs.AI
PHIRL: Aligning Learned Rewards with Task Progress for Inverse Reinforcement Learning
PHIRL提出一种联合演示与进度反馈的逆强化学习框架,通过四维对齐学习稳健奖励,在少量标注下显著提升机器人任务回报与成功率。
2026-09-29 cs.AI cs.RO
MARS$^2$: Scaling Multi-Agent Tree Search via Reinforcement Learning for Code Generation
Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Shanghai Innovation Institute(上海创新研究院);Harbin Institute of Technology(哈尔滨工业大学);Tsinghua University(清华大学)
MARS$^2$通过多智能体协作与树搜索结合,提升强化学习在代码生成中的性能,实验表明其在多种模型和训练设置下均有效。
2026-04-16 cs.AI cs.CL
TreeIRL: Safe Urban Driving with Tree Search and Inverse Reinforcement Learning
Motional
TreeIRL结合蒙特卡洛树搜索与逆强化学习,在仿真和500多英里真实道路测试中实现安全、高效且类人的自动驾驶规划,为城市驾驶规划提供新方案。
2025-10-25 cs.AI cs.LG cs.RO
A* Tree Search for Portfolio Management
我们提出了一个基于规划的方法教代理从头开始管理投资组合。我们的方法将深度强化学习技术与AlphaGo等搜索技术相结合。结合A* 搜索算法和蒙特卡罗树搜索的优点,提出了一种新的A* 树搜索算法,它返回最佳信息,指导下一次搜索。改进了蒙特卡洛树的扩展方式,提高了神经网络的利用率。该算法还可以通过组合搜索来优化不可微效用函数。这种技术在我们的交易系统中得到了应用。该算法的主要组成部分是一个神经网络,它通过树搜索中的交易经验进行训练,并输出先验概率,通过依次修剪树枝来指导搜索。模拟和真实金融数据的实验结果验证了所提出的交易系统的鲁棒性和交易系统产生更好的策略比基于强化学习的几种方法。
2019-02-18 cs.AI
Automatic Gesture Recognition in Robot-assisted Surgery with Reinforcement Learning and Tree Search
The Chinese University of Hong Kong(香港中文大学);CUHK T Stone Robotics Institute(香港中文大学天石机器人研究所)
自动手术手势识别是提高机器人辅助手术智能的基础,例如执行复杂的手术监视和技能评估任务。然而,目前的方法单独对待每一帧,并产生的结果没有有效地考虑未来的信息。在本文中,我们提出了一个框架的基础上强化学习和树搜索的联合手术手势分割和分类。智能体被训练成以类似人类的方式对手术视频进行分割和分类,其直接决策通过树搜索适当地重新考虑。我们提出的树搜索算法联合了两个设计的神经网络的输出,即,政策和价值网络。通过整合来自不同模型的互补信息,我们的框架能够实现比使用任何神经网络的基线方法更好的性能。对于一个整体的评估,我们开发的方法始终优于现有的方法在JIGSAWS数据集的搜索任务的准确性,编辑得分和F1得分。我们的研究强调了利用树搜索来细化手术机器人应用的强化学习框架中的动作。
2020-02-20 cs.AI cs.LG cs.RO
TreeQN and ATreeC: Differentiable Tree-Structured Models for Deep Reinforcement Learning
University of Oxford(牛津大学)
将深度无模型强化学习无模型强化学习与在线规划相结合是建立在深度强化学习成功基础上的一种有前途的方法。事实证明,在先验已知过渡模型的环境中,使用前瞻树的在线规划是成功的。然而,在需要从数据中学习过渡模型的复杂环境中,学习模型的缺陷限制了它们在规划中的实用性。为了解决这些挑战,我们提出了TreeQN,这是一种可微分的递归树结构模型,可以作为深度RL中任何具有离散动作的价值函数网络的替代品。TreeQN通过在学习的抽象状态空间中递归地应用转换模型来动态地构建树,然后使用树备份来聚合预测的奖励和状态值以估计Q值。我们还提出了ATreeC,这是一个演员-评论家变体,它用softmax层增强了TreeQN,形成了一个随机策略网络。这两种方法都是端到端训练的,因此学习的模型在树中的实际使用中得到了优化。我们发现,TreeQN和ATreeC在推箱子任务上的表现优于n步DQN和A2 C,以及在多个Atari游戏上的n步DQN和价值预测网络(Oh et al. 2017)。此外,我们提出了消融研究,证明了不同的辅助损失对学习过渡模型的影响。
2018-03-08 cs.AI cs.LG cs.NE
Maneuver Decision-Making Through Proximal Policy Optimization And Monte Carlo Tree Search
University of Cincinnati(辛辛那提大学);Boeing(波音公司)
针对强化学习早期随机动作导致难以获得奖励的问题,本文提出结合近端策略优化与蒙特卡洛树搜索的机动决策方法,通过价值网络引导搜索更优动作,实验证明其能解决原始算法无法处理的机动决策问题。
2023-08-28 cs.AI
Monte Carlo Tree Search Algorithms for Risk-Aware and Multi-Objective Reinforcement Learning
University of Galway(戈尔韦大学);Vrije Universiteit Brussel(布鲁塞尔自由大学);City of Amsterdam(阿姆斯特丹市)
在许多风险感知和多目标强化学习设置中,用户的效用来自策略的单次执行。在这种情况下,基于平均未来回报率的决策是不合适的。例如,在医疗环境中,患者可能只有一次机会治疗他们的疾病。仅仅使用预期的未来回报(强化学习中称为价值)来做决策,无法解释一个决策可能产生的负面或正面结果的潜在范围。因此,我们应该使用不同的分布在预期的未来收益表示的关键信息,代理人需要在决策时,考虑未来和应计收益。本文提出了两种新的蒙特卡罗树搜索算法。首先,我们提出了一个蒙特卡罗树搜索算法,可以计算政策的非线性效用函数(NLU-MCTS),通过优化的效用不同的可能的回报,可达到从个人的政策执行,从而在风险意识和多目标设置良好的政策。其次,我们提出了一个分布式的蒙特卡罗树搜索算法(DMCTS),它扩展了NLU-MCTS。DMCTS计算收益效用的近似后验分布,并在规划过程中利用汤普森抽样来计算风险意识和多目标设置中的策略。这两种算法在多目标强化学习中的预期效用都优于最先进的算法。
2022-12-06 cs.AI cs.LG
Combining Local Symmetry Exploitation and Reinforcement Learning for Optimised Probabilistic Inference -- A Work In Progress
本文针对图模型概率推断中最优消元顺序的组合优化难题,将张量网络收缩顺序的强化学习方法适配到图模型,并利用局部对称性对中间结果进行紧凑编码以改进代价函数,使智能体能探索更高效的收缩顺序。
2025-03-11 cs.AI
Pretraining & Reinforcement Learning: Sharpening the Axe Before Cutting the Tree
University of California, Berkeley, USA(美国加州大学伯克利分校)
预训练是深度学习中用于提高性能和减少训练时间的常用技术,在深度强化学习(RL)中具有良好的实验结果。然而,预训练需要相关的数据集进行训练。在这项工作中,我们评估了RL任务的预训练的有效性,有和没有分散注意力的背景,使用大型的,公开的数据集与最小的相关性,以及通过自我监督标记的逐个案例生成的数据集。结果表明,在不太相关的数据集上训练期间学习的过滤器会使预训练无效,而在分布数据集上训练期间学习的过滤器可靠地减少了RL训练时间,并在80k RL训练步骤后提高了性能。我们进一步研究,给定有限数量的环境步骤,如何最佳地将可用步骤划分为预训练和RL训练,以最大限度地提高RL性能。我们的代码可以在GitHub上找到
2021-10-06 cs.AI cs.LG
How to Combine Tree-Search Methods in Reinforcement Learning
Technion, Israel(以色列理工学院);INRIA, Villers les Nancy, France(法国南希-比莱尔斯法国国家信息与自动化研究所)
在强化学习中大量使用了前向策略,并展示了令人印象深刻的经验成功。通常,前瞻策略是用特定的规划方法来实现的,例如蒙特卡罗树搜索(例如在AlphaZero中)。将规划问题称为树搜索,这些实现中的合理实践是仅在叶子处备份值,而在根处获得的信息除了用于更新策略之外不被利用。在这里,我们质疑这种方法的效力。也就是说,后一个过程一般是非压缩的,并且不能保证其收敛性。我们提出的增强是直接和简单的:使用从最佳树路径返回备份的值在根的后代。这导致$γ^h$收缩过程,其中$γ$是折扣因子,而$h$是树深度。为了建立我们的结果,我们首先引入了一个称为\emph{multiple-step greedy consistency}的概念。然后,我们提供了两个算法实例的收敛速度,在存在噪声注入到树搜索阶段和值估计阶段的上述增强。
2019-02-17 cs.AI cs.LG stat.ML
Deep Reinforcement Learning with Model Learning and Monte Carlo Tree Search in Minecraft
Technische Universität Berlin(柏林工业大学);Department of Electrical Engineering and Computer Science(电气工程与计算机科学系);Berlin, Germany(德国柏林(仅保留城市名,未明确机构))
深度强化学习已成功应用于使用无模型方法的几个视觉输入任务。在本文中,我们提出了一种基于模型的方法,该方法将学习基于DNN的转换模型与蒙特卡罗树搜索相结合,以解决Minecraft中的块放置任务。我们的学习过渡模型预测下一帧和奖励提前一步给定的代理的第一人称视图图像和当前动作的最后四帧。然后,蒙特卡罗树搜索算法使用该模型来规划代理执行的最佳动作序列。在Minecraft中提出的任务中,我们基于模型的方法达到了与Deep Q-Network相当的性能,但学习速度更快,因此训练样本效率更高。
2018-03-22 cs.AI cs.LG stat.ML
Feedback-Based Tree Search for Reinforcement Learning
University of Pittsburgh(匹兹堡大学);Tencent AI Lab(腾讯AI实验室);Princeton University(普林斯顿大学);Northwestern University(西北大学)
受最近成功的蒙特卡罗树搜索(MCTS)在一些人工智能(AI)应用领域的启发,我们提出了一个基于基于模型的强化学习(RL)技术,迭代地应用MCTS的小批量,有限时域版本的原始无限时域马尔可夫决策过程。有限时域问题的终端条件,或由MCTS生成的决策树的叶节点评估器,指定使用估计的价值函数和估计的策略函数的组合。由MCTS程序产生的建议,然后提供作为反馈,以完善,通过分类和回归,叶节点评估器的下一次迭代。我们提供了第一个样本的复杂性边界的树搜索为基础的RL算法。此外,我们表明,该技术的深度神经网络实现可以为流行的多玩家在线战斗竞技场(MOBA)游戏王者荣耀创建一个有竞争力的人工智能智能体。
2018-05-15 cs.AI cs.LG math.OC
Censoring-Aware Tree-Based Reinforcement Learning for Estimating Dynamic Treatment Regimes with Censored Outcomes
University of Alberta(阿尔伯塔大学);Alberta Machine Intelligence Institute(阿尔伯塔机器智能研究所)
本文提出CA-TRL框架,通过增广逆概率加权和删失感知修正增强树型强化学习,用于从删失观测数据中估计最优动态治疗方案,并在模拟和SANAD癫痫数据集上验证其优于ASCL方法。
2025-03-09 cs.AI cs.LG stat.ME
Combining Reinforcement Learning and Behavior Trees for NPCs in Video Games with AMD Schola
Advanced Micro Devices (AMD)(先进微器件(AMD))
本文针对商业游戏中RL驱动的NPC应用缓慢问题,提出结合RL与传统行为树的方法,并利用AMD Schola在复杂3D环境中验证了多任务NPC的可行性,提供了联合训练的详细方法论。
2025-10-15 cs.AI cs.LG
From Roots to Rewards: Dynamic Tree Reasoning with Reinforcement Learning
School of Computation, Information and Technology(计算、信息与技术学院)
针对静态树推理的局限,提出动态强化学习框架,增量构建推理树并学习最优动作策略,兼顾概率严谨性与计算效率,提升复杂问答性能。
2025-09-26 cs.AI cs.CL
A model-based approach to meta-Reinforcement Learning: Transformers and tree search
UCLouvain(鲁汶大学)
元学习是一种研究方法,旨在开发利用过去经验有效解决新学习问题的能力。Meta-强化学习(meta-RL)方法展示了学习行为的能力,这些行为有效地获取和利用了几个meta-RL问题中的信息。在此背景下,Wang等人提出了Alchemy基准[2021]。Alchemy具有丰富的结构化潜在空间,这对于最先进的无模型RL方法来说是具有挑战性的。这些方法未能学会正确探索然后利用。我们开发了一个基于模型的算法。我们训练一个模型,它的主要模块是一个Transformer Encoder,以适应符号化的Alchemy环境动力学。然后,我们定义了一个在线计划与学习模型使用树搜索方法。该算法显着优于以前应用的无模型RL方法的符号炼金术问题。我们的研究结果揭示了基于模型的方法与在线计划的相关性,以成功地在元RL中进行探索和开发。此外,我们还展示了Transformer架构学习复杂动态的效率,这些动态来自元RL问题中存在的潜在空间。
2022-08-24 cs.AI cs.LG
Hierarchical Policy for Non-prehensile Multi-object Rearrangement with Deep Reinforcement Learning and Monte Carlo Tree Search
The Chinese University of Hong Kong(香港中文大学);Southern University of Science and Technology(南方科技大学);Shenzhen Research Institute of the Chinese University of Hong Kong(香港中文大学深圳研究院)
非抓取多物体重排是指在不抓取的情况下规划可行路径并将多个物体转移到预定义的目标位姿的机器人任务。它需要考虑每个物体如何到达目标以及物体运动的顺序,这显著加深了问题的复杂性。为了解决这些挑战,我们提出了一个分层的政策,分而治之的非可扩展的多对象重排。在高层策略中,在设计好的策略网络的指导下,采用蒙特卡罗树搜索算法有效地搜索多个对象之间的最优重排序列,具有模仿和强化的效果。在低层策略中,机器人根据路径基元的顺序规划路径,并操纵物体逐一接近目标位姿。通过实验验证了该方法与现有方法相比具有更高的成功率、更少的步骤和更短的路径长度。
2021-09-18 cs.AI cs.RO
Spatial Assembly: Generative Architecture With Reinforcement Learning, Self Play and Tree Search
University of Oxford(牛津大学);Bartlett School of Architecture, UCL(伦敦大学学院巴特莱特建筑学院)
在这项工作中,我们研究了使用强化学习(RL)的空间组件的生成,通过结合程序生成算法(波函数折叠算法(WFC))和RL的游戏解决的想法。WFC是一种生成式设计算法,受约束求解的启发。在WFC中,定义了一组瓦片/块和约束,并且算法生成满足这些约束的组件。将空间装配体的生成问题转化为一个马尔可夫决策过程,其状态转移由WFC定义,提出了一种利用强化学习和Self-Play学习策略生成装配体的算法,该算法能够最大化设计者设定的目标。最后,我们展示了我们的空间组装算法在建筑设计中的应用。
2021-01-19 cs.AI cs.GR cs.LG
Evaluating the progress of Deep Reinforcement Learning in the real world: aligning domain-agnostic and domain-specific research
Massachusetts Institute of Technology(麻省理工学院)
深度强化学习(Deep Reinforcement Learning,DRL)被认为是一种潜在的改进现实世界自治系统的框架,它吸引了多个不同领域的关注。然而,在现实世界中的成功部署是大多数DRL模型仍然需要通过的测试。在这项工作中,我们专注于这个问题,审查和评估的研究工作,从域不可知论和特定领域的社区。一方面,我们提供了一个全面的总结DRL的挑战,并总结了不同的建议,以减轻他们,这有助于确定领域不可知论研究的五个差距。另一方面,从特定领域的角度来看,我们讨论了不同的成功案例,并讨论了为什么其他模型可能无法部署。最后,我们采取的方式来推进会计这两个角度。
2021-07-07 cs.AI cs.LG
Optimal Interpretability-Performance Trade-off of Classification Trees with Black-Box Reinforcement Learning
INRIA(法国国家信息与自动化研究所)
本文提出将决策树学习建模为完全可观测MDP,证明无需部分可观测建模即可通过强化学习实现分类树可解释性与性能的最优权衡,并在多个经典数据集上验证了有效性。
2023-04-11 cs.AI cs.LG
Feature Reinforcement Learning In Practice
Research School of Computer Science, CECS, ANU(澳大利亚国立大学计算机与工程学院计算机科学研究学院)
在最近使用基于历史的方法来解决强化学习中的感知混淆的浪潮之后,我们引入了一种基于特征强化学习框架的算法,称为PhiMDP。为了创建一个实用的算法,我们设计了一个随机搜索过程的一类上下文树的基础上并行回火和一个专门的建议分布。我们为PhiMDP提供了第一个经验评估。我们提出的算法实现了优于经典的U树算法和最近的主动LZ算法的性能,并与MC-AIXI-CTW竞争,保持一个basternity混合在所有上下文树到选定的depth.We鼓励我们的能力,与这种复杂的方法使用一个算法,简单地选择一个单一的模型,并使用相应的MDP Q学习。我们的PhiMDP算法要简单得多,但消耗的时间和内存更少。这些结果表明,我们未来的工作,攻击更复杂和更大的问题的承诺。
2011-08-18 cs.AI cs.RO
The configurable tree graph (CT-graph): measurable problems in partially observable and distal reward environments for lifelong reinforcement learning
Loughborough University(拉夫堡大学);UNIST(蔚山科学技术院);HRL Laboratories(HRL实验室);Vanderbilt University(范德堡大学)
针对强化学习算法提出了一组形式化定义的透明问题,这些问题具有以下特征:(1)可变的可观测度(非Markov观测),(2)远端稀疏奖励,(3)可变的分层奖励结构,(4)多任务生成,(5)可变的问题复杂度.环境提供1D或2D分类观测,并将操作作为输入。CT图的核心结构是一个多分支树图,具有任意的分支因子,深度和观察集,可以通过可控和可测量的方式来增加问题的维度。两个主要类别的状态,决策状态和等待状态,旨在创建一个层次的重要性之间的意见,典型的现实世界的问题。一个大的观察集可以产生一个庞大的历史集,损害记忆增强代理。可变奖励函数允许轻松创建多个任务,并允许代理在呈现具有可控相似度的任务的动态场景中有效适应的能力。由于图的指数增长,可以很容易地实现复杂性级别。问题公式和附带的代码提供了一组快速,透明和数学定义的可配置测试,以比较强化学习算法的性能,特别是在终身学习环境中。
2023-01-21 cs.AI cs.LG
DRL-M4MR: An Intelligent Multicast Routing Approach Based on DQN Deep Reinforcement Learning in SDN
Guilin University of Electronic Technology(桂林电子科技大学);Fujian University of Technology(福建工程学院);Peng Cheng Lab.(鹏城实验室)
传统的组播路由方法在构建组播树时存在对网络状态信息获取受限、对网络动态复杂变化的适应性差、数据转发不灵活等问题。针对这些缺陷,将软件定义网络(SDN)中的最优组播路由问题裁剪为多目标优化问题,设计了一种基于深度Q网络(DQN)深度强化学习(DRL)方法的智能组播路由算法DRL-M4 MR,用于构建SDN中的组播树。首先,结合SDN的全局视图和全局控制,设计了DRL代理的状态空间:组播树状态矩阵、链路带宽矩阵、链路时延矩阵和链路丢包率矩阵。第二,代理的动作空间是网络中的所有链路,并在四种情况下设计了将链路添加到当前组播树的动作选择策略。第三,设计了单步和最终的奖励函数形式来指导智能决策以构造最优的组播树。实验结果表明,与现有算法相比,DRL-M4 MR构造的组播树在训练后能获得更好的带宽、时延和丢包率性能,并能在动态网络环境下做出更智能的组播路由决策。
2022-07-31 cs.AI cs.NI
Speculative Sampling with Reinforcement Learning
Re-SpS通过强化学习优化草稿树超参数,提升大规模语言模型的生成速度,实现高达5.45倍的速度提升。
2026-01-18 cs.AI cs.LG
Real-world validation of safe reinforcement learning, model predictive control and decision tree-based home energy management systems
Vrije Universiteit Brussel(布鲁塞尔自由大学);ABB N.V.(ABB公司)
本文在真实住宅电气装置上验证了带安全层的强化学习、决策树控制策略与模型预测控制等家庭能源管理方法,发现TreeC成本与基准相当且运行最安全,而强化学习成本较高但安全层支持在线训练。
2024-11-25 cs.AI cs.LG cs.NE
Control-Oriented Scenario Tree Construction through Reinforcement Learning
IDLab Ghent university – imec(IDLab 根特大学 – imec);Imperial College London(帝国理工学院)
该研究针对多阶段随机MPC的场景树构建,提出基于强化学习的面向控制的方法,在电池套利问题上验证其收益、鲁棒性及尾部风险特性均优于传统方法。
2026-08-11 cs.AI cs.LG cs.SY
Bayes Adaptive Monte Carlo Tree Search for Offline Model-based Reinforcement Learning
The University of Hong Kong(香港大学);Tsinghua University(清华大学);Carnegie Mellon University(卡内基梅隆大学)
本文提出贝叶斯自适应蒙特卡洛树搜索算法,用于提升离线模型驱动强化学习的性能,显著优于现有方法。
2026-01-27 cs.AI cs.LG
Program Synthesis Through Reinforcement Learning Guided Tree Search
Princeton University(普林斯顿大学)
程序合成是根据提供的规范生成程序的任务。传统上,这被程序设计语言(PL)社区视为搜索问题,最近被机器学习社区视为监督学习问题。在这里,我们提出了第三种方法,将给定程序的合成任务表示为可通过强化学习(RL)求解的马尔可夫决策过程。从部分程序的状态的观察,我们试图找到一个程序,是最佳的奖励度量对程序和状态。我们在RISC-V汇编语言的一个子集上实例化了这种方法,该语言操作于浮点数,作为PL社区基于搜索的技术的优化,我们将RL与优先级搜索树相结合。我们评估这种实例化,并证明了我们的组合方法的有效性相比,各种基线,包括纯RL消融和最先进的马尔可夫链蒙特卡罗搜索方法在这项任务上。
2018-06-08 cs.AI cs.LG cs.NE
Deep Reinforcement Learning for Synthesizing Functions in Higher-Order Logic
Czech Technical University in Prague(布拉格捷克理工大学)
本文描述了一个基于证明助手HOL4中的自监督学习的深度强化学习框架。通过选择树神经网络(TNN)作为机器学习模型和内部使用HOL4项来表示TNN的树结构,实现了机器学习模块和HOL4库之间的紧密交互。当任务被表示为搜索问题时,递归改进是可能的。在这种情况下,由TNN引导的蒙特卡罗树搜索(MCTS)算法可以用于探索搜索空间并产生用于训练下一个TNN的更好的示例。作为说明,指定并学习了组合子和丢番图方程的术语合成任务。我们实现了65%的组合子合成问题的成功率优于国家的最先进的ATP运行与他们最好的一般策略集。我们通过解决78.5%的生成的测试问题,开创了统计指导合成丢番图方程的先例。
2020-04-24 cs.AI cs.LO
Transfer Learning in Deep Reinforcement Learning: A Survey
Michigan State University(密歇根州立大学);Amazon Alexa AI(亚马逊Alexa人工智能部门)
本文系统综述了深度强化学习中迁移学习方法的最新进展,提出分类框架并分析其目标、方法、兼容主干网络与应用,同时探讨了与其他相关主题的联系及未来挑战。
2023-07-04 cs.AI cs.LG stat.ML
AlphaRouter: Quantum Circuit Routing with Reinforcement Learning and Tree Search
AWS Quantum Technologies(AWS量子技术部门);Amazon Web Services(亚马逊网络服务)
针对量子电路路由这一NP难问题,提出结合蒙特卡洛树搜索与强化学习的AlphaRouter方法,相比现有最优方法最多降低20%路由开销,提升量子计算效率与可行性。
2024-10-07 cs.AI cs.SY eess.SY
Interpretable Modeling of Deep Reinforcement Learning Driven Scheduling
Illinois Institute of Technology(伊利诺伊理工学院);University of Illinois Chicago(伊利诺伊大学芝加哥分校);Argonne National Laboratory(阿贡国家实验室)
针对DRL集群调度缺乏可解释性阻碍实际部署的问题,提出IRL框架,利用模仿学习、DAgger算法和关键状态修剪将黑盒DNN策略转换为可解释的决策树,在保持调度性能的同时提升可解释性并辅助奖励设定。
2024-03-24 cs.AI cs.DC cs.LG
Neural-Progressive Hedging: Enforcing Constraints in Reinforcement Learning with Stochastic Programming
Microsoft Research(微软研究院);IBM Research AI(IBM人工智能研究院);Singapore Management University(新加坡管理大学)
我们提出了一个框架,称为神经渐进式对冲(NP),利用随机编程在执行强化学习(RL)政策的在线阶段。我们的目标是确保可行性方面的约束和基于风险的目标,如条件风险价值(CVaR)在政策的执行过程中,使用概率模型的状态转换,以指导政策调整。该框架特别适合于顺序资源分配问题,因为相对于典型的资源约束的可行性不能以可扩展的方式执行。NP框架提供了一种替代方案,在联机阶段增加了适度的开销。实验结果证明了NP框架在两个连续现实世界任务上的有效性:(i)具有流动性约束的财务规划投资组合优化问题,其特征在于非平稳状态分布;以及(ii)自行车共享系统中的动态重新定位问题,其体现了供需匹配问题。我们表明,NP框架产生的政策,比深度RL和其他基线方法,适应非平稳性,同时满足结构性约束,并容纳在由此产生的政策的风险措施。NP框架的其他好处是易于执行和更好地解释政策。
2022-02-27 cs.AI cs.LG
SPOTting the Future: Lookahead Explanations for Deep Reinforcement Learning
Benin School of Computer Science and Engineering, The Hebrew University of Jerusalem(耶路撒冷希伯来大学贝林计算机科学与工程学院);Hebrew University Business School, Data Science Department, The Hebrew University of Jerusalem(耶路撒冷希伯来大学希伯来大学商学院数据科学系)
该研究针对深度强化学习决策难解释问题,提出模型无关的 SPOT 框架,通过构建采样策略观测树解释策略,在交通信号控制领域验证了其有效性。
2026-08-12 cs.AI cs.LG
Optimizing Navigation And Chemical Application in Precision Agriculture With Deep Reinforcement Learning And Conditional Action Tree
Iowa State University(爱荷华州立大学)
提出基于分层动作掩码的强化学习框架HAM-PPO,用于精准农业机器人导航与化学喷洒优化,在有限电量下提高感染区域覆盖率并减少药剂使用,实验证明其优于基线方法。
2025-03-23 cs.AI cs.RO
Progressive Reinforcement Learning with Distillation for Multi-Skilled Motion Control
University of British Colubia(英属哥伦比亚大学)
深度强化学习已经证明了不断增加的连续控制问题的能力,包括可以在其环境中熟练和敏捷地移动的代理。在这种情况下,一个开放的问题是,制定良好的战略,整合或合并多个技能的政策,其中每一个单独的技能是一个特定的技能和相关的状态分布的专家。我们扩展策略蒸馏方法的连续动作设置,并利用这种技术来结合专家的政策,在不同类别的地形模拟双足运动的域中进行评估。我们还介绍了一种输入注入方法,用于增强现有的政策网络,以利用新的输入功能。最后,我们的方法使用迁移学习来帮助有效地获得新技能。这些方法的组合允许策略使用新技能进行增量增强。我们比较我们的渐进式学习和集成通过蒸馏(PLAID)方法对三个替代基线。
2018-02-13 cs.AI cs.LG cs.RO
Graph-O1 : Monte Carlo Tree Search with Reinforcement Learning for Text-Attributed Graph Reasoning
Wayne State University(韦恩州立大学)
Graph-O1通过整合蒙特卡洛树搜索与强化学习,实现文本属性图的分步交互推理,提升问答任务的准确性和可解释性。
2025-11-26 cs.AI cs.CL
Model-based Multi-agent Reinforcement Learning: Recent Progress and Prospects
Shanghai Jiao Tong University(上海交通大学)
本文综述了基于模型的多智能体强化学习研究,系统分类现有算法并分析其优缺点,同时展望了该领域未来的发展方向。
2022-03-20 cs.AI cs.LG cs.MA
Sub-Goal Trees -- a Framework for Goal-Based Reinforcement Learning
Technion(以色列理工学院);Osaro Inc.(奥萨罗公司)
在机器人和其他领域,许多人工智能问题都是基于目标的,本质上是寻求通向各种目标状态的轨迹。强化学习(RL)建立在Bellman的最优性方程上,自然地为单个目标进行优化,但可以通过用目标增强状态来实现多目标。相反,我们提出了一个新的RL框架,来自所有对最短路径(APSP)问题的动态规划方程,自然解决了多目标查询。我们表明,这种方法具有计算效益的标准和近似动态规划。有趣的是,我们的公式规定了一种用于计算轨迹的新协议:而不是预测下一个状态,因为它的前身,在标准RL中,目标条件的轨迹是通过首先预测开始和目标之间的中间状态,将轨迹划分为两个。然后,递归地预测每个子段上的中间点,直到获得完整的轨迹。我们称这种轨迹结构为子目标树。在此基础上,我们还扩展了策略梯度方法,递归预测子目标,从而产生新的基于目标的算法。最后,我们将我们的方法应用于神经运动规划,与标准RL相比,我们在障碍物之间导航7-DoF机器人手臂时表现出显着的改进。
2020-12-21 cs.AI cs.LG cs.RO
Natural Language Specification of Reinforcement Learning Policies through Differentiable Decision Trees
Georgia Institute of Technology(佐治亚理工学院)
本文提出一种人机协作框架,通过自然语言规范生成词汇决策树以热启动强化学习策略,在避免额外探索成本的同时实现了>80%的翻译准确率并匹配了基线性能。
2023-05-20 cs.AI cs.CL cs.LG