Driving with Style: Inverse Reinforcement Learning in General-Purpose Planning for Automated Driving
Volkswagen AG(大众汽车公司);Technische Universität Darmstadt(达姆施塔特工业大学)
行为和运动规划在自动驾驶中起着重要的作用。传统上,行为规划器用预定义的行为指示局部运动规划器。由于城市环境中场景的高度复杂性,可能会发生不可预测的情况,其中行为规划者无法匹配预定义的行为模板。最近,已经引入了通用规划器,其结合了行为和局部运动规划。这些通用规划器允许给定单个奖励函数的行为感知运动规划。然而,出现了两个挑战:首先,该函数必须将复杂的特征空间映射到奖励。其次,奖励功能必须由专家手动调整。手动调整此奖励函数成为一项繁琐的任务。在本文中,我们提出了一种方法,依赖于人类驾驶示范自动调整奖励功能。该研究为基于最大熵逆强化学习的通用规划者驾驶风格优化提供了重要的思路。我们评估我们的方法的基础上学习和演示的政策之间的期望值差异。此外,我们比较了人类驱动的轨迹与我们的计划器的最优策略下学习和专家调整的奖励函数的相似性。我们的实验表明,我们能够学习奖励函数超过手动专家调整的水平,没有事先的领域知识。
2020-09-12 cs.AI cs.LG cs.RO
Improving the Generalization of Unseen Crowd Behaviors for Reinforcement Learning based Local Motion Planners
Nanyang Technological University(南洋理工大学);Continental Automotive Singapore(大陆汽车新加坡公司);The Chinese University of Hong Kong(香港中文大学)
本文提出一种通过最大化信息论目标来增强单一策略内智能体多样性的方法,以解决基于强化学习的运动规划器在不可预测行人场景中的过拟合和同质冲突问题,提升了智能体对未见人群行为的适应性和避碰能力。
2024-10-16 cs.AI cs.LG cs.RO
Planner-Centric Reinforcement Learning for Deep Research with Structure-Aware Reward
National University of Singapore(新加坡国立大学)
提出DecomposeR框架,通过将研究计划表示为有向无环图(DAG)并采用两阶段强化学习(规划器RL和回答器RL),实现显式结构化规划与细粒度奖励分配,在长文本基准上提升5.1-8.0分。
2026-05-29 cs.AI
PriPG-RL: Privileged Planner-Guided Reinforcement Learning for Partially Observable Systems with Anytime-Feasible MPC
Stockholm University(斯德哥尔摩大学);Washington State University(华盛顿州立大学)
本文提出PriPG-RL方法,通过在训练期间独有的特权规划器代理,解决部分可观测系统的强化学习策略训练问题。方法结合了任何时间可行的MPC算法和P2P-SAC算法,提升样本效率和最终策略性能。
2026-04-09 cs.LG cs.RO
Dynamic Model Predictive Shielding for Provably Safe Reinforcement Learning
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文提出动态模型预测屏蔽(DMPS),通过局部规划器与神经策略协同优化恢复动作,在保证可证明安全的同时减少保守性,收敛后极少需干预且奖励更高。
2024-12-20 cs.AI cs.LG
Integrating Deep Reinforcement Learning with Model-based Path Planners for Automated Driving
The Ohio State University(俄亥俄州立大学)
城市环境中的自动驾驶具有挑战性。人类参与行为很难建模,传统的基于规则的自动驾驶系统(ADS)在面对未建模的动态时往往会失败。另一方面,最近,基于端到端深度强化学习(DRL)的无模型ADS已经显示出有希望的结果。然而,纯基于学习的方法缺乏基于模型的控制器的硬编码安全措施。在这里,我们提出了一种混合的方法,将路径规划管道集成到基于视觉的DRL框架,以减轻这两个世界的缺点。总之,DRL代理被训练为尽可能接近地跟随路径规划器的航路点。智能体通过与环境交互来学习该策略。奖励函数包含两个主要项:偏离路径规划器的惩罚和发生碰撞的惩罚。后者以具有显著更大的数值的形式具有优先权。实验结果表明,该方法可以规划其路径和导航之间的随机选择的起点和终点的CARLA,一个动态的城市模拟环境。我们的代码是开源的,可以在线获得。
2020-05-19 cs.AI
Distilling Motion Planner Augmented Policies into Visual Control Policies for Robot Manipulation
University of Southern California(南加州大学)
在现实的,有障碍的环境中学习复杂的操作任务是一个具有挑战性的问题,由于困难的探索存在的障碍和高维视觉观察。先前的工作通过整合运动规划和强化学习来解决探索问题。然而,运动规划器增强策略需要访问状态信息,这在现实世界的设置中通常是不可用的。为此,我们建议通过以下方式将基于状态的运动规划器增强策略提取为视觉控制策略:(1)视觉行为克隆,以去除运动规划器依赖性及其抖动运动,以及(2)基于视觉的强化学习,并在行为克隆代理的平滑轨迹的指导下。我们评估我们的方法在三个操作任务在障碍环境中,并比较它与各种强化学习和模仿学习基线。结果表明,我们的框架是高度采样效率和优于国家的最先进的算法。此外,再加上域随机化,我们的政策是能够zero-shot转移到看不见的环境设置与干扰。代码和视频可在https://clvrai.com/mopa-pd上获得
2021-11-11 cs.AI cs.LG cs.RO
CorrectionPlanner: Self-Correction Planner with Reinforcement Learning in Autonomous Driving
Department of Computer Science, Johns Hopkins University, Baltimore, USA.(约翰霍普金斯大学计算机科学系)
本文提出CorrectionPlanner,通过自纠正机制在规划过程中生成安全动作,减少碰撞率,提升规划性能。
2026-03-16 cs.AI cs.RO
NeuralParker: A Reinforcement Learning Planner for Irregular Parking Environments
Tsinghua University(清华大学);Central University of Finance and Economics(中央财经大学);Meituan(美团)
NeuralParker是面向不规则泊车环境的强化学习混合规划器,采用目标相对全局表示与终端集成器,在基准测试及实车验证中均优于基线,规划成功率与轨迹质量更优。
2026-08-26 cs.LG cs.RO
Mobile Robot Planner with Low-cost Cameras Using Deep Reinforcement Learning
VNUHCM-University of Science(越南胡志明市国家大学胡志明市自然科学大学)
本研究开发了一种基于深度强化学习的机器人移动策略。由于传统的机器人导航方法依赖于精确的地图再现,并且需要高端传感器,因此基于学习的方法是积极的趋势,特别是深度强化学习。该问题是建模的马尔可夫决策过程(MDP)的形式与代理是一个移动机器人。它的视图状态由输入传感器(如激光探测器或摄像机)获得,目的是在没有任何碰撞的情况下导航到目标。已经有许多深度学习方法来解决这个问题。然而,为了将机器人推向市场,低成本大规模生产也是需要解决的问题。因此,这项工作试图构建一个伪激光发现系统的基础上直接从一个单一的相机图像的深度矩阵预测,同时仍然保持稳定的性能。实验结果表明,它们与使用高价传感器的其他传感器直接可比。
2020-12-21 cs.LG cs.RO
HOPE: A Reinforcement Learning-based Hybrid Policy Path Planner for Diverse Parking Scenarios
Department of Automation, Shanghai Jiao Tong University(自动化系,上海交通大学);Global Institute of Future Technology, Shanghai Jiao Tong University(未来技术全球研究院,上海交通大学)
针对多样复杂停车场景,提出结合强化学习与Reeds-Shepp曲线的混合策略路径规划器HOPE,通过动作掩码和Transformer提升规划成功率与泛化性,并在真实实验中验证其有效性。
2025-04-20 cs.LG cs.RO
Graph augmented Deep Reinforcement Learning in the GameRLand3D environment
Ubisoft La Forge(育碧La Forge)
我们解决具有挑战性的3D视频游戏中的规划和导航问题,这些游戏的地图具有可由代理使用特殊动作到达的断开区域。在这种情况下,经典的象征性规划不适用或难以适应。我们介绍了一种混合技术相结合的低层次的政策训练与强化学习和基于图的高层次的经典规划。除了提供人类可解释的路径外,该方法还提高了端到端方法在看不见的地图中的泛化性能,在尚未看到的1 km x 1 km大规模地图中,与经常性端到端代理相比,它在点对点导航任务上的成功率绝对提高了20%。在一项深入的实验研究中,我们量化了端到端深度RL方法在广阔环境中的局限性,我们还介绍了“GameRLand3D”,这是一个新的基准,即将发布的环境可以为导航任务生成复杂的程序3D地图。
2021-12-22 cs.AI cs.LG
Multi-Robot Path Planning Combining Heuristics and Multi-Agent Reinforcement Learning
School of Artificial Intelligence University of Chinese Academy of Sciences(人工智能学院 中国科学院大学)
本文提出MAPPOHR方法,结合启发式搜索与多智能体强化学习,提升多机器人路径规划效率与性能。
2025-12-11 cs.AI cs.LG cs.RO
Let Hybrid A* Path Planner Obey Traffic Rules: A Deep Reinforcement Learning-Based Planning Framework
University of Bremen(不来梅大学);TOPAS Industriemathematik Innovation gGmbH(TOPAS工业数学创新有限责任公司)
本文提出一种将深度强化学习高层决策与混合A*局部轨迹规划相结合的自动驾驶框架,并利用线性时序逻辑将交通规则编码为奖励函数,实现遵守规则的变道决策与无碰撞轨迹生成。
2024-07-01 cs.AI cs.RO
Deep-Reinforcement-Learning-based Path Planning for Industrial Robots using Distance Sensors as Observation
Berlin Institute of Technology(柏林工业大学)
工业机器人广泛用于各种制造环境中,因为它们可以高效地完成重复性任务,例如装配或焊接。这些应用的一个共同问题是到达目的地而不与障碍物或其他机器人手臂碰撞。常用的基于采样的路径规划方法,如RRT,需要很长的计算时间,特别是在复杂的环境中。此外,需要事先了解使用它们的环境。当在新环境中使用这些方法时,需要进行设置超参数的繁琐工程工作,这是时间和成本密集型的。另一方面,深度强化学习在处理未知环境、推广新问题实例以及高效解决运动规划问题方面表现出了显著的效果。基于此,本文提出了一种基于深度强化学习的机器人运动规划器。我们评估了我们的模型对国家的最先进的抽样为基础的规划在几个实验。结果表明,我们的规划器在路径长度和执行时间方面的优越性。
2023-01-14 cs.AI cs.LG cs.PF
Reinforcement Learning for Large-Scale Lifelong Multi-Agent Path Finding with Shared Spatial Fields
针对大规模终身多智能体路径寻优问题,提出基于共享空间场与平均奖励强化学习的导航策略,在10000智能体的6种布局上,吞吐量优于或相当最强基线,执行速度快一个数量级以上。
2026-11-19 cs.LG
RAPID: Robust and Agile Planner Using Inverse Reinforcement Learning for Vision-Based Drone Navigation
本文提出基于逆强化学习的无人机高速视觉导航规划器,通过减少环境交互和提升鲁棒性,实现复杂环境中的敏捷飞行。
2025-11-19 cs.AI cs.CV cs.LG
Shortcut Trajectory Planning for Efficient Offline Reinforcement Learning
The University of Tokyo(东京大学)
研究针对离线强化学习中轨迹规划器的问题,提出捷径轨迹规划(STP)框架,将捷径模型作为轨迹生成器,单阶段训练条件捷径轨迹模型,支持可调推理,用增强可行性感知校正的评论家选候选计划,在多任务基准测试中性能强且简化训练管道。
2026-07-13 cs.AI cs.LG cs.RO
Adaptive Selection of Informative Path Planning Strategies via Reinforcement Learning
Lincoln Institute for Agri-food Technology, University of Lincoln(林肯大学农业食品技术林肯研究所)
在我们以前的工作中,我们设计了一个系统的政策,优先采样位置,导致空间插值的精度显着提高,通过使用高斯过程回归(GPR)的预测不确定性作为“吸引力”部署机器人的路径规划。虽然与旅行商问题(TSP)求解器的集成也显示出产生相对较短的旅行距离,但我们在这里假设了几个因素,这些因素也可能降低整体预测精度,因为次优位置最终可能包含在其路径中。为了解决这个问题,在本文中,我们首先探索“本地规划”的方法,采用各种空间范围内的下一个采样位置的优先级,调查其对预测性能的影响,以及所产生的旅行距离。此外,基于强化学习(RL)的高级控制器被训练为从特定的局部规划器集合自适应地产生混合计划,以根据最新的预测状态从该选择中继承独特的优势。我们对温度监测机器人用例的实验表明,规划者的动态混合不仅可以生成单个规划者无法单独创建的复杂的、信息丰富的计划,而且还可以确保在不牺牲预测可靠性的情况下显著减少旅行距离,而无需任何额外的最短路径计算模块的帮助。
2021-08-14 cs.AI cs.LG cs.RO
CRASH: Challenging Reinforcement-Learning Based Adversarial Scenarios For Safety Hardening
University of Virginia(弗吉尼亚大学)
本文提出CRASH这一对抗性深度强化学习框架,通过控制仿真中对抗性NPC智能体诱导自车碰撞以证伪其运动规划器,并结合安全强化方法迭代优化规划器,在双车道场景中实现超90%的碰撞诱导率且降低26%碰撞率,为AV安全测试提供新方案。
2024-11-26 cs.LG cs.RO
Continuous Neural Algorithmic Planners
University of Cambridge(剑桥大学);DeepMind(深度思维);Mila(米拉人工智能研究所);Université de Montréal(蒙特利尔大学)
神经算法推理研究的是神经网络的学习算法问题,特别是图结构。最近的一项提案XLVIN利用了在深度强化学习代理中使用模拟值迭代算法的图神经网络的好处。它允许无模型规划,而无需访问有关环境的特权信息,这通常是不可用的。然而,XLVIN只支持离散的动作空间,因此非常适用于现实世界感兴趣的大多数任务。我们通过离散化将XLVIN扩展到连续的动作空间,并评估了几种选择性扩展策略来处理大型规划图。我们的提案CNAP展示了神经算法推理如何在更高维的连续控制设置中产生可衡量的影响,例如MuJoCo,在低数据设置中带来收益并优于无模型基线。
2022-11-29 cs.AI cs.LG
Using Deep Reinforcement Learning Methods for Autonomous Vessels in 2D Environments
Institute for Big Data Analytics, Dalhousie University(达尔豪西大学大数据分析研究所);Institute for Computer Science, Polish Academy of Sciences(波兰科学院计算机科学研究所)
无人水面车辆技术(USVs)是一个令人兴奋的话题,它基本上是部署一种算法来安全有效地执行任务。尽管强化学习是一种众所周知的建模这种任务的方法,但当结合偏离策略和函数近似时,可能会发生不稳定和发散。在这项工作中,我们使用深度强化学习将Q学习与神经表示相结合,以避免不稳定性。我们的方法使用深度Q学习,并将其与敏捷方法的滚动波规划方法相结合。我们的方法包含两个关键部分,以便在未知环境中执行任务。第一种是路径规划器,负责生成到达目的地的潜在有效路径,而不考虑根的细节。后者是一个决策模块,负责在价值函数的背景下,在不久的将来USV开发步骤中避免障碍物的短期决策。使用两种算法进行模拟:一个基本的香草血管导航仪(VVN)作为基线和一个改进的血管导航仪与计划和局部视图(VNPLV)。实验结果表明,所提出的方法提高了VVN的性能平均为55.31长距离任务。我们的模型通过深度强化学习在未知环境中规划自适应路径,成功地证明了避障。
2020-03-23 cs.AI cs.LG
SynCo: Data Synthesis Co-Training for Self-Evolving LLMs via Multi-Agent Reinforcement Learning
University of Southern California(南加州大学);The George Washington University(乔治华盛顿大学);Georgia Institute of Technology(佐治亚理工学院)
SynCo是基于多智能体强化学习的自进化LLM数据合成协同训练框架,联合优化合成器与推理器,在8个数学推理基准上性能优于现有方法,增益多来自未解决问题。
2026-10-09 cs.AI
TreeIRL: Safe Urban Driving with Tree Search and Inverse Reinforcement Learning
Motional
TreeIRL结合蒙特卡洛树搜索与逆强化学习,在仿真和500多英里真实道路测试中实现安全、高效且类人的自动驾驶规划,为城市驾驶规划提供新方案。
2025-10-25 cs.AI cs.LG cs.RO
PRM-RL: Long-range Robotic Navigation Tasks by Combining Reinforcement Learning and Sampling-based Planning
Google Brain(谷歌大脑);University of New Mexico(新墨西哥大学)
我们提出了PRM-RL,远程导航任务完成的分层方法,结合基于采样的路径规划与强化学习(RL)。RL代理学习短距离,点对点的导航策略,捕获机器人动态和任务约束,而无需大规模拓扑结构的知识。接下来,基于采样的规划者提供连接机器人配置的路线图,这些配置可以由RL代理成功导航。相同的RL代理用于在规划的指导下控制机器人,从而实现远程导航。我们使用概率路线图(PRM)的抽样为基础的规划。RL代理是在连续状态和动作空间中使用基于特征的深度神经网络策略构建的。我们评估PRM-RL,无论是在模拟和机器人上,在两个导航任务与非平凡的机器人动力学:端到端的差分驱动室内导航在办公室环境中,在城市环境中的空中货物交付与负载位移的限制。我们的研究结果表明,在任务完成的RL代理自己和传统的抽样为基础的规划。在室内导航任务中,PRM-RL在嘈杂的传感器条件下成功完成了长达215米的轨迹,而空中货物交付在比训练中使用的环境大6300万倍的环境中完成了超过1000米的飞行,而没有违反任务限制。
2018-05-16 cs.AI cs.LG cs.RO
Hybrid Deep Reinforcement Learning and Planning for Safe and Comfortable Automated Driving
Saarland University(萨尔大学);German Research Center for Artificial Intelligence(德国人工智能研究中心)
我们提出了一种新的混合学习方法,HyLEAR,用于解决POMDPs中自动驾驶汽车的无碰撞导航问题。HyLEAR利用插入式学习将混合规划器的知识嵌入深度强化学习器中,以更快地确定安全舒适的驾驶策略。特别地,混合规划器将行人路径预测和风险感知路径规划与基于驾驶行为规则的推理相结合,使得驾驶策略还尽可能地考虑乘坐舒适性和给定的驾驶行为规则集。我们对关键交通场景的CARLA-CTS 1基准的实验性能分析表明,HyLEAR在安全性和乘坐舒适性方面可以显着优于选定的基线。
2022-12-30 cs.AI cs.RO
Hybrid Motion Planning with Deep Reinforcement Learning for Mobile Robot Navigation
Department of Computational Mathematics and Cybernetics(计算数学与自动化系);Lomonosov Moscow State University(罗蒙诺夫莫斯科国立大学)
本文提出HMP-DRL,结合基于图的全局规划与深度强化学习,提升移动机器人在复杂环境中的导航安全性和可靠性。
2025-12-31 cs.AI cs.LG cs.RO
Learn to Match with No Regret: Reinforcement Learning in Markov Matching Markets
Northwestern University(西北大学);Yale University(耶鲁大学);University of California, Berkeley(加州大学伯克利分校)
我们研究了一个马尔可夫匹配市场,涉及一个计划者和一组战略代理人在市场的两侧。在每一步,代理都会呈现一个动态上下文,其中上下文决定实用程序。规划者控制情境的转换以最大化累积的社会福利,而智能体的目标是在每一步都找到一个短视的稳定匹配。这样的设置涵盖了包括拼车平台在内的一系列应用。我们正式提出了一个强化学习框架,集成了最大权重匹配的乐观值迭代的问题。该算法解决了顺序探索,匹配稳定性和函数逼近的耦合挑战。我们证明了该算法实现次线性遗憾。
2022-03-07 cs.AI cs.GT cs.LG
Multi-Agent Reinforcement Learning-Based UAV Pathfinding for Obstacle Avoidance in Stochastic Environment
School of Automation Science and Electrical Engineering, Beihang University(北京航空航天大学自动化科学与电气工程学院)
提出一种融合模型预测控制与距离加权平均场的多智能体强化学习方法,实现随机环境中无人机集中式训练、分散式避障路径规划,并通过仿真与真实机器人验证其效率和泛化性。
2026-10-19 cs.LG cs.RO
Learning a Decentralized Multi-arm Motion Planner
Columbia University(哥伦比亚大学)
我们提出了一个闭环多臂运动规划,是可扩展的和灵活的团队规模。传统的多臂机器人系统依赖于集中式运动规划器,其运行时间通常随团队规模呈指数级增长,因此无法用开环控制来处理动态环境。在本文中,我们解决这个问题与多智能体强化学习,其中分散的政策是训练控制一个机器人手臂在多臂系统中,以达到其目标末端执行器姿态给定的观察其工作空间状态和目标末端执行器姿态。该策略使用具有来自基于采样的运动规划算法(即,BiRRT)。通过利用经典的规划算法,我们可以提高强化学习算法的学习效率,同时保持神经网络的快速推理时间。由此产生的政策规模次线性,可以部署在多臂系统与可变的团队规模。由于闭环和分散的公式化,我们的方法可以推广到5-10个多臂系统和动态移动目标(10臂系统的成功率>90%),尽管我们只训练了1-4个静态目标的臂规划任务。代码和数据链路可在https://multiarm.cs.columbia.edu上找到。
2020-11-05 cs.AI cs.CV cs.LG
AI Agent as Urban Planner: Steering Stakeholder Dynamics in Urban Planning via Consensus-based Multi-Agent Reinforcement Learning
Tongji University(同济大学);Massachusetts Institute of Technology(麻省理工学院);University of Pennsylvania(宾夕法尼亚大学)
该研究提出基于共识的多智能体强化学习框架,通过智能体投票和图神经网络处理,解决城市规划中利益相关者利益协调问题,提升整体效益和不同群体满意度。
2023-11-09 cs.AI cs.MA
A KL-regularization Framework for Learning to Plan with Adaptive Priors
LIACS, Leiden University, Leiden, The Netherlands(莱顿大学莱顿分校,荷兰);Google Deepmind, London, United Kingdom(谷歌DeepMind,英国伦敦);University of Oxford, Oxford, United Kingdom(牛津大学,英国牛津)
本文提出了一种基于KL正则化的学习规划框架,通过将规划器的动作分布作为先验整合到策略优化中,提升了在高维连续控制任务中模型驱动强化学习的样本效率和长期性能。
2026-05-20 cs.AI cs.LG cs.RO
Driving in Real Life with Inverse Reinforcement Learning
Motional(Motional(自动驾驶公司))
在本文中,我们介绍了第一个基于学习的规划器,使用逆强化学习(IRL)在密集的城市交通中驾驶汽车。我们的规划器DriveIRL生成一组不同的轨迹建议,使用轻量级和可解释的安全过滤器过滤这些轨迹,然后使用学习模型对每个剩余轨迹进行评分。最佳轨迹由我们自动驾驶车辆的低级控制器跟踪。我们训练我们的轨迹评分模型在拉斯维加斯的最大熵IRL框架内的专家驾驶示范的500多小时的真实世界的数据集。DriveIRL的优势包括:由于只学习轨迹评分功能,相对可解释的功能和强大的现实世界性能,因此设计简单。我们在拉斯维加斯大道上验证了DriveIRL,并在交通繁忙的情况下展示了完全自动驾驶,包括涉及切入,领头车辆突然刹车和酒店接送区的场景。我们的数据集将公开,以帮助在这一领域的进一步研究。
2022-06-07 cs.AI cs.LG cs.RO
Improving the Exploration of Deep Reinforcement Learning in Continuous Domains using Planning for Policy Search
University of Innsbruck(因斯布鲁克大学)
大多数深度强化学习(D-RL)方法都执行局部策略搜索,这增加了陷入局部最小值的风险。此外,即使在基于模拟的训练中,模拟模型的可用性在D-RL中也没有得到充分利用,这可能会降低效率。为了更好地利用仿真模型的政策搜索,我们建议将kinodynamic规划器的探索策略,并学习控制策略的离线方式从生成的环境交互。我们称之为基于基于模型的强化学习方法PPS(规划策略搜索)。我们比较PPS与最先进的D-RL方法在典型的RL设置,包括欠驱动系统。比较表明,PPS,由kinodynamic规划器的指导下,收集数据从更广泛的区域的状态空间。这将生成训练数据,帮助PPS发现更好的策略。
2020-10-24 cs.LG cs.RO
dUltra: Ultra-Fast Diffusion Language Models via Reinforcement Learning
University of Washington(华盛顿大学);University of California, Berkeley(加州大学伯克利分校)
dUltra通过端对端强化学习框架实现超快扩散语言模型,提升并行生成效率和准确性。
2026-02-06 cs.AI cs.LG
State-Covering Trajectory Stitching for Diffusion Planners
KAIST(韩国科学技术院)
针对扩散规划器受限于离线数据质量与多样性而难以泛化的问题,提出无奖励轨迹增强方法 SCoTS,通过学习时间距离保持的潜在表示并迭代拼接轨迹片段来覆盖和扩展潜在空间,显著提升了扩散规划器及离线强化学习算法在长程推理任务上的性能与泛化能力。
2025-10-12 cs.AI cs.LG
CODA: Coordinating the Cerebrum and Cerebellum for a Dual-Brain Computer Use Agent with Decoupled Reinforcement Learning
Shanghai Jiao Tong University(上海交通大学);Shanghai AI Laboratory(上海人工智能实验室);The Chinese University of Hong Kong(香港中文大学);The University of Hong Kong(香港大学)
CODA提出可训练的双脑组合框架,通过解耦GRPO专用化训练和监督微调泛化,结合通用规划器与专用执行器,在ScienceBoard上显著超越基线并取得开源模型新最优。
2025-08-27 cs.AI cs.CV cs.LG
Task-Agnostic Pre-training and Task-Guided Fine-tuning for Versatile Diffusion Planner
Northwestern Polytechnical University(西北工业大学);Institute of Artificial Intelligence (TeleAI), China Telecom(人工智能研究院(TeleAI),中国电信);Tsinghua University(清华大学);Hong Kong University of Science(香港科学大学);Shenzhen Research Institute of Northwestern Polytechnical University(西北工业大学深圳研究院)
提出两阶段框架SODP,通过任务无关次优轨迹预训练通用扩散规划器,并利用RL微调快速适应下游任务,在多任务基准上以少量数据超越现有方法。
2025-07-13 cs.AI cs.LG
Accelerating Diffusion Planners in Offline RL via Reward-Aware Consistency Trajectory Distillation
Carnegie Mellon University(卡内基梅隆大学)
本文提出了一种奖励感知一致性轨迹蒸馏方法,通过解耦训练和无噪声奖励信号,在离线强化学习中实现高效扩散规划器,提升性能并加快推理速度。
2026-02-06 cs.AI cs.LG
Train a Real-world Local Path Planner in One Hour via Partially Decoupled Reinforcement Learning and Vectorized Diversity
Shanghai Jiao Tong University(上海交通大学);Hanyang University(汉阳大学);Nanyang Technological University(南洋理工大学)
本文提出Color方案,通过ASL部分解耦框架提升DRL训练效率,并借助轻量Sparrow仿真器的向量化多样性增强泛化,实验验证其在仿真与真实局部路径规划中的优势。
2024-12-05 cs.AI cs.RO
Deep Reinforcement Learning for Localizability-Enhanced Navigation in Dynamic Human Environments
University of Science and Technology of China(中国科学技术大学)
可靠的定位对于自主机器人高效、安全地导航至关重要。一些导航方法可以规划具有高定位性(描述获得可靠定位的能力)的路径。通过遵循这些路径,机器人可以访问传感器流,这有助于通过定位算法获得更准确的位置估计结果。然而,这些方法中的大多数需要先验知识,并且难以适应看不见的场景或动态变化。为了克服这些限制,我们提出了一种新的方法,通过深度强化学习在动态人类环境中的定位增强导航。我们提出的规划自动提取几何特征,从二维激光数据,有助于定位。规划器学习为几何特征分配不同的重要性,并鼓励机器人导航通过有助于激光定位的区域。为了促进规划器的学习,我们提出了两种技术:(1)考虑动态变化和定位结果的置信度的增强状态表示,其提供更多信息并允许机器人做出更好的决策,(2)能够对影响定位精度的行为提供稀疏和密集反馈的奖励度量。我们的方法在以前看不见的环境中进行测试时,丢失率和到达率显着改善。
2023-03-22 cs.LG cs.RO
OPERA: A Reinforcement Learning--Enhanced Orchestrated Planner-Executor Architecture for Reasoning-Oriented Multi-Hop Retrieval
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络安全学院);School of Computer Science and Technology, Huazhong University of Science and Technology(华中科技大学计算机科学与技术学院);Department of Electronic Engineering, Tsinghua University(清华大学电子工程系)
OPERA通过协调规划-执行架构解决多跳检索中推理规划、检索和过滤的不足,采用MAPGRPO方法提升复杂任务性能。
2026-05-16 cs.AI cs.IR
Learning from Less: Guiding Deep Reinforcement Learning with Differentiable Symbolic Planning
Computer Science Department, TU Darmstadt(图林大学达姆施塔特分校计算机科学系);Hessian Center for Artificial Intelligence (hessian.AI)(黑森人工智能中心);Centre for Cognitive Science, TU Darmstadt(图林大学达姆施塔特分校认知科学中心);German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心)
本文提出 Dylan 框架,将可微符号规划作为奖励模型和高层规划器融入强化学习,以人类先验引导子任务探索并避免执行循环,从而提升性能与未见任务泛化能力。
2025-05-16 cs.AI
Learning to Bridge the Gap: Efficient Novelty Recovery with Planning and Reinforcement Learning
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
本文提出通过强化学习训练桥接策略,利用特殊CallPlanner动作在遇到新异情况时交还规划器控制,从而高效适应环境变化并提升长时程任务求解能力。
2024-09-28 cs.AI cs.RO
Trident : How to Break Deep Reinforcement Learning Cyber Defenses (Agentic)
University of California, Irvine(加州大学欧文分校);Northeastern University(东北大学);Johns Hopkins University(约翰斯·霍普金斯大学)
研究针对DRL网络防御对自适应威胁鲁棒性不足的问题,提出Trident智能体式LLM红队框架,通过含三类组件的设计,发现现有防御存在根本性脆弱性,大幅降低蓝方防御性能并揭示新兴行为。
2026-09-25 cs.AI cs.CR cs.LG
MODULI: Unlocking Preference Generalization via Diffusion Models for Offline Multi-Objective Reinforcement Learning
Harbin Engineering University(哈尔滨工程大学)
针对离线多目标强化学习对分布外偏好泛化不足的问题,提出基于扩散模型与滑动引导的MODULI方法,生成对齐偏好的轨迹,在D4MORL基准上超越现有基线。
2025-05-27 cs.AI cs.LG
REFINE-DP: Diffusion Policy Fine-tuning for Humanoid Loco-manipulation via Reinforcement Learning
The Institute for Robotics and Intelligent Machines(机器人与智能机械研究所)
本文提出REFINE-DP框架,通过联合优化扩散政策高层规划器和基于强化学习的低层动态-操作控制器,提升人形机器人在复杂环境中的任务成功率与执行稳定性。
2026-07-31 cs.AI cs.LG cs.RO
What Makes a Good Diffusion Planner for Decision Making?
Tsinghua University(清华大学);Microsoft Research Asia(微软亚洲研究院)
通过在离线强化学习下训练评估超6000个扩散模型,系统研究了扩散规划的关键组件,发现反常规设计能提升性能,并据此提出了在标准基准上达到最先进水平的基线。
2025-03-01 cs.AI cs.LG
MetaDiffuser: Diffusion Model as Conditional Planner for Offline Meta-RL
Tianjin University(天津大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室);The University of Hong Kong(香港大学)
本文提出MetaDiffuser,将离线元强化学习泛化问题建模为条件轨迹生成任务,通过上下文条件扩散模型和双重引导采样模块,在MuJoCo基准上超越现有离线元强化学习方法。
2023-05-31 cs.AI cs.LG
Dialogue Action Tokens: Steering Language Models in Goal-Directed Dialogue with a Multi-Turn Planner
Harvard University(哈佛大学)
本研究提出Dialogue Action Tokens方法,通过小型规划器输出连续动作向量引导冻结的预训练语言模型进行多轮目标导向对话,既避免语言退化,又在社交模拟基准上超越GPT-4,还拓展了多轮红队攻击的新方向。
2024-06-17 cs.AI cs.CL cs.LG
Solving Hard AI Planning Instances Using Curriculum-Driven Deep Reinforcement Learning
Cornell University(康奈尔大学)
尽管人工智能规划取得了重大进展,但某些领域仍然超出了当前人工智能规划系统的范围。Sokoban是一个PSPACE完整的规划任务,代表了当前AI规划者最难的领域之一。由于硬实例上的指数搜索复杂性,即使是特定于领域的专门搜索方法也会很快失败。我们的方法基于深度强化学习,并采用了一种基于知识驱动的方法,这是第一个在一天的训练时间内解决困难实例的方法,而其他现代求解器无法在任何合理的时间限制内解决这些实例。与以前的努力,使用精心手工修剪技术,我们的方法自动发现域结构。我们的研究结果表明,深度强化学习为解决以前未解决的人工智能规划问题提供了一个有前途的框架,前提是可以设计适当的培训课程。
2020-06-04 cs.AI cs.LG
Arena-Rosnav: Towards Deployment of Deep-Reinforcement-Learning-Based Obstacle Avoidance into Conventional Autonomous Navigation Systems
Berlin Institute of Technology(柏林工业大学);Chair Industry Grade Networks and Clouds(工业级网络与云研究室);Faculty of Electrical Engineering, and Computer Science(电气工程与计算机科学学院);Berlin Institute of Technology, Berlin, Germany(柏林工业大学(德国柏林));Chair Industry Grade Networks and Clouds, Faculty of Electrical Engineering, and Computer Science, Berlin Institute of Technology, Berlin, Germany(柏林工业大学电气工程与计算机科学学院工业级网络与云研究室(德国柏林))
近年来,移动机器人已成为各行各业的重要工具,尤其是在物流领域。深度强化学习作为替代规划方法出现,以取代过于保守的方法,并承诺更有效和灵活的导航。然而,深度强化学习方法由于其倾向于局部最小值和缺乏长期记忆而不适合于远程导航,这阻碍了其广泛集成到移动机器人的工业应用中。在本文中,我们提出了一种导航系统,将基于深度强化学习的本地规划器整合到传统的导航堆栈中,用于远程导航。因此,提出了一个用于训练和测试深度强化学习算法以及经典方法的框架。我们评估了我们的深度强化学习增强型导航系统与各种传统规划器的对比,发现我们的系统在安全性、效率和鲁棒性方面优于它们。
2021-09-23 cs.AI cs.RO
Improving Diffusion Planners by Self-Supervised Action Gating with Energies
University of Science and Technology of China(中国科学技术大学)
提出SAGE方法,利用潜在一致性信号在推理时重新排序轨迹,惩罚动态不一致的计划,从而提升扩散规划器的性能和鲁棒性。
2026-05-31 cs.AI cs.LG cs.RO
Learning to Plan & Schedule with Reinforcement-Learned Bimanual Robot Skills
NVIDIA;University of California San Diego(加州大学圣地亚哥分校)
本文提出了一种基于强化学习的双臂机器人技能计划与调度框架,通过分层结构提升复杂任务的执行效率与协调性。
2026-02-05 cs.AI cs.RO