Drive As You Like: Multi-Head Diffusion with Reinforcement Learning for Personalized Driving
School of Information Technology, Monash University Malaysia(墨尔本大学马来西亚分校信息科技学院);Southwest University, China(西南大学)
研究旨在解决自动驾驶规划器忽视人类驾驶行为多样性及难以理解用户意图的问题。提出基于强化学习的多策略框架,集成多头部扩散规划器与语义理解,采用两阶段训练范式。实验表明该方法在nuPlan基准测试中性能良好,能满足实时规划并对齐用户意图。
2026-10-16 cs.AI cs.RO
SDRL: Interpretable and Data-efficient Deep Reinforcement Learning Leveraging Symbolic Planning
Auburn University(奥本大学);NVIDIA Corporation(英伟达公司);Maana Inc.(Maana公司)
深度强化学习(DRL)通过直接从高维感官输入中学习而获得了巨大的成功,但因缺乏可解释性而臭名昭著。子任务的可解释性在分层决策中至关重要,因为它增加了黑盒式DRL方法的透明度,并帮助RL从业者更好地理解系统的高层行为。在本文中,我们将符号规划引入DRL,并提出了一个符号深度强化学习(SDRL)框架,可以处理高维感官输入和符号规划。该框架采用规划器-控制器-元控制器结构,分别负责子任务调度、数据驱动子任务学习和子任务评估。这三个组成部分相互交叉,并最终收敛到最佳的符号计划以及学习的子任务,将长期规划能力与符号知识和直接来自高维感官输入的端到端强化学习的优势结合在一起。实验结果验证了子任务的可解释性,同时与最先进的方法相比,提高了数据效率。
2019-02-28 cs.AI
Planning Immediate Landmarks of Targets for Model-Free Skill Transfer across Agents
Shanghai Jiao Tong University(上海交通大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
在机器人等强化学习应用中,当开发人员指定不同的状态/动作空间或物理限制时,智能体通常需要处理各种输入/输出特征。这表明不必要的从头开始重新训练和相当大的样本效率低下,特别是当代理遵循类似的解决方案步骤来完成任务时。在本文中,我们的目标是转移类似的高层次的目标转换知识,以减轻挑战。具体来说,我们建议PILoT,即,规划目标的直接地标。PILoT利用通用解耦策略优化来学习目标条件状态规划器;然后,提取目标规划器以无模型风格规划可以在不同代理之间共享的直接地标。在我们的实验中,我们展示了PILoT在各种传输挑战上的能力,包括跨动作空间和动态的Few-Shot传输,从低维矢量状态到图像输入,从简单的机器人到复杂的形态;我们还展示了从简单的2D导航任务到更难的蚂蚁迷宫任务的zero-shot传输解决方案。
2022-12-18 cs.AI
Neuro-Inspired Inverse Learning for Planning and Control
NeuroMentum AI IMBIT, University of Freiburg, Germany(NeuroMentum AI IMBIT,弗赖堡大学,德国)
提出一种神经启发式框架Inverter,通过逆向学习(IL)结合前向/逆向内部模型、开环多步运动指令和层次化动作组织,在规划与控制任务中实现高效推理,平均性能提升24.2%且计算时间降低一到两个数量级。
2026-05-26 cs.AI
Decision-Theoretic Planning: Structural Assumptions and Computational Leverage
University of British Columbia(不列颠哥伦比亚大学);Brown University(布朗大学);University of Washington(华盛顿大学)
不确定性下的规划是自动顺序决策研究中的一个核心问题,并且已经被许多不同领域的研究人员所解决,包括人工智能规划,决策分析,运筹学,控制理论和经济学。虽然在这些领域采用的假设和观点往往有很大的不同,但这些领域的研究人员感兴趣的许多规划问题可以建模为马尔可夫决策过程(MDP),并使用决策理论的技术进行分析。本文介绍了一个概述和综合的MDP相关的方法,显示他们如何提供一个统一的框架,在人工智能研究的规划问题建模的许多类。它还描述了MDP的结构特性,当表现出特定类别的问题,可以利用在建设最优或近似最优的政策或计划。规划问题通常在用于描述性能标准的回报和价值函数、用于描述状态转换和观察的函数以及用于描述状态、动作、回报和观察的特征之间的关系中具有结构。专门的表示和采用这些表示的算法可以通过利用这些不同形式的结构来实现计算杠杆。某些人工智能技术--特别是那些基于使用结构化、内涵式表示的技术--可以用这种方式来看待。本文调查了几种类型的表示为经典和决策理论规划问题,规划算法,利用这些表示在许多不同的方式,以减轻计算负担的建设政策或计划。它主要关注基于AI风格表示的抽象、聚合和分解技术。
2011-05-27 cs.AI
PP-TIL: Personalized Planning for Autonomous Driving with Instance-based Transfer Imitation Learning
College of Computer Science and Software Engineering, Shenzhen University(深圳大学计算机与软件学院);Carleton University(卡尔顿大学)
针对个性化驾驶规划中用户数据稀疏导致的过拟合问题,提出基于实例的迁移模仿学习方法,利用专家数据预训练、用户风格正则化微调,并结合可微非线性优化器提升安全规划性能。
2024-08-04 cs.AI cs.LG cs.RO
Hybrid Planning for Dynamic Multimodal Stochastic Shortest Paths
Stanford University(斯坦福大学)
在诸如仓库操作、多步膳食准备和自动车辆网络中的路由等应用中的顺序决策问题通常涉及对不确定性的推理、对离散模式和连续状态的规划以及对动态更新的反应。为了形式化这些问题一般,我们引入一类马尔可夫决策过程(MDP)称为动态多模态随机最短路径(DMSSP)。这些领域的大部分工作解决了确定性变量,当不确定性具有下游效应时,可能会产生不佳的结果。我们开发了一个混合随机规划(HSP)算法,它使用域不可知的抽象有效地统一启发式搜索规划离散模式,近似动态规划随机规划连续状态,分层交错规划和执行。在自治多模式路由领域,HSP获得了比最先进的上置信树算法和两级滚动时域控制算法更高质量的解决方案。
2019-06-21 cs.AI
A Monte Carlo Algorithm for Universally Optimal Bayesian Sequence Prediction and Planning
这项工作的目的是解决这样一个问题,即我们是否可以在原则上设计理性的决策代理或嵌入可计算物理的人工智能,使它们的决策在合理的数学意义上是最优的。最近在稀有事件概率估计、递归贝叶斯推断、神经网络和概率规划方面的发展足以显式地近似具有非平凡模型类(这里是资源受限图灵机类)的AIXI风格的强化学习器。考虑资源限制的影响,在具体的实施导致的见解可能的架构,学习系统使用最佳决策者作为组件。
2010-01-18 cond-mat.dis-nn cs.AI cs.LG
Hi-Drive: Hierarchical POMDP Planning for Safe Autonomous Driving in Diverse Urban Environments
Shanghai Jiao Tong University(上海交通大学);Shanghai Innovation Institute(上海创新研究院);SenseTime(商汤科技)
针对城市道路动态不确定性,提出层级式POMDP规划算法Hi-Drive,利用驾驶员模型推断驾驶风格并集成重要性采样轨迹优化,在真实基准上显著超越现有方法。
2025-10-15 cs.AI cs.RO
The Landscape of Emerging AI Agent Architectures for Reasoning, Planning, and Tool Calling: A Survey
Neudesic, an IBM Company(Neudesic,IBM旗下公司);IBM;Microsoft(微软)
该综述梳理了具备推理、规划、工具调用能力的新兴AI智能体架构进展,分析单/多智能体架构的设计模式与差异,阐明现有能力局限并提出未来设计的关键考量方向。
2024-04-17 cs.AI cs.CL
Causal Object-Centric Models for Planning with Monte Carlo Tree Search
MIRAI;CogAILab
提出COMET算法,结合无监督对象中心编码器和Transformer世界模型,通过动作-槽融合机制和对象因果注意力实现高效规划,在多个基准上优于基线方法。
2026-06-15 cs.AI cs.LG cs.RO
Structure-Aware Piano Accompaniment via Style Planning and Dataset-Aligned Pattern Retrieval
Lewis University(利维斯大学);Nexus Art Foundation(nexus艺术基金会);Governors State University(governors州大学)
本文提出一种结构感知的钢琴伴奏生成方法,通过风格规划和数据集对齐的模式检索实现多样化的伴奏生成。
2026-02-16 cs.AI cs.SD
Dyna Planning using a Feature Based Generative Model
McGill University(麦吉尔大学);School of Computer Science(计算机科学学院)
Dyna风格的强化学习是一种强大的方法,可以解决没有太多真实数据的问题。其主要思想是用从环境的学习模型中采样的模拟轨迹来补充真实轨迹或随时间推移的采样状态序列。然而,在大的状态空间中,学习环境的良好生成模型的问题到目前为止还没有解决。我们建议使用深度信念网络来学习用于Dyna的环境模型。我们提出了我们的方法,并验证它的经验上的问题,状态观测包括图像。我们的研究结果表明,使用深度信念网络,这是完全生成模型,显着优于使用线性期望模型,在萨顿等人(2008年)提出。
2018-05-23 cs.AI cs.CV cs.LG
Stylized Story Generation with Style-Guided Planning
Tsinghua University(清华大学)
目前的故事讲述系统更多地关注生成情节连贯的故事,而较少关注叙事风格,这对于可控的文本生成是非常重要的。因此,我们提出了一个新的任务--风格化故事生成,即在给定的主导语境下生成具有特定风格的故事。为了解决这个问题,我们提出了一种新的生成模型,首先规划风格化的关键词,然后在关键词的指导下生成整个故事。此外,我们还提出了两个自动度量标准来评估生成的故事与指定风格之间的一致性。实验证明,我们的模型可以基于ROCStories数据集可控地生成情感驱动或事件驱动的故事(Mostafazadeh等人,2016)。我们的研究为进一步的研究提供了启发。
2021-08-19 cs.AI cs.CL
Compositional Reinforcement Learning from Logical Specifications
University of Pennsylvania(宾夕法尼亚大学)
我们研究的问题,学习控制策略的复杂任务的逻辑规范。最近的方法从给定的规范自动生成奖励函数,并使用合适的强化学习算法来学习使预期奖励最大化的策略。然而,这些方法对于需要高级别规划的复杂任务的扩展性很差。在这项工作中,我们开发了一种组合学习方法,称为DiRL,它将高级规划和强化学习交织在一起。首先,DiRL将规范编码为抽象图;直观地说,图的顶点和边分别对应于状态空间的区域和更简单的子任务。然后,我们的方法结合了强化学习,在Dijkstra风格的规划算法中为每条边(子任务)学习神经网络策略,以计算图中的高级计划。一组具有连续状态和动作空间的具有挑战性的控制基准上的所提出的方法的评估表明,它优于最先进的基线。
2021-12-27 cs.AI cs.LG
Reasoning and Planning with Dynamically Changing Norms
University of Iowa(爱荷华大学);Northwestern University(西北大学)
本文提出一种在人类-AI环境中使用动态变化规范引导规划的方法,通过可废止演算解决规范冲突并将规范作为规划护栏,理论证明与对话任务实验验证了有效性。
2026-05-26 cs.AI cs.SC
Beyond the Next Step: Variable-Length Latent World Models for Long-Horizon Planning
State Key Lab of General Artificial Intelligence, School of Intelligence Science and Technology, Peking University(北京大学智能科学与技术学院通用人工智能国家重点实验室);Amazon AGI SF Lab(亚马逊AGI旧金山实验室);Institute for Artificial Intelligence, Peking University(北京大学人工智能研究院)
提出变长潜世界模型(VLWM),通过学习变长动作序列的条件潜状态预测,解决递归一步预测在长时程规划中的累积误差问题,结合课程训练策略,在长时程控制任务上平均提升13%。
2026-06-23 cs.AI cs.LG
PLAN-S: Bridging Planning with Latent Style Dynamics for Autonomous Driving World Models
Intelligent Transportation Thrust, Systems Hub, and Center of Seamless Connectivity & Connected Intelligence, The Hong Kong University of Science and Technology (Guangzhou)(智能交通 thrust、系统中心及无缝连接与智能连接研究院,香港科学与技术大学(广州))
提出PLAN-S框架,通过从潜在表示解码风格条件语义成本图,解决自动驾驶中潜在世界模型规划的可控性问题,在nuScenes和NAVSIM上降低了碰撞率并提升了驾驶性能。
2026-06-04 cs.AI cs.RO
PGPO: Enhancing Agent Reasoning via Pseudocode-style Planning Guided Preference Optimization
Shanghai Jiao Tong University(上海交通大学);Taobao & Tmail Group of Alibaba(阿里巴巴淘宝天猫集团);Alibaba Group(阿里巴巴集团)
本文提出PGPO方法,利用伪代码风格规划引导偏好优化,通过两种面向规划的奖励增强LLM智能体生成高质量结构化规划的能力,从而提升推理效率、泛化性并减少动作错误与遗漏。
2025-06-02 cs.AI cs.CL
Planning on the fast lane: Learning to interact using attention mechanisms in path integral inverse reinforcement learning
Volkswagen AG(大众汽车公司);Technische Universität Darmstadt(达姆施塔特工业大学)
用于自动驾驶的通用轨迹规划算法利用复杂的奖励函数来执行策略、行为和运动学特征的组合优化。单个奖励函数的规范和调整是一项繁琐的任务,并且不能推广到大量的流量情况。基于路径积分逆强化学习的深度学习方法已成功应用于使用一组采样驾驶策略的特征来预测局部情况相关的奖励函数。基于样本的轨迹规划算法能够近似可行的驾驶策略的时空子空间,其可用于对情境的上下文进行编码。然而,与动态对象的交互需要扩展的规划范围,这取决于顺序上下文建模。在这项工作中,我们关注的是在一个扩展的时间范围内的顺序奖励预测。我们提出了一个神经网络架构,使用的政策注意力机制,以产生一个低维的上下文向量集中在轨迹与人类一样的驾驶风格。除此之外,我们提出了一个时间注意力机制,以确定上下文切换,并允许稳定的适应奖励。我们在复杂的模拟驾驶情况下评估我们的结果,包括其他移动车辆。我们的评估表明,我们的政策注意力机制学会专注于配置空间中的无冲突政策。此外,时间注意力机制在扩展的规划范围内学习与其他车辆的持续交互。
2020-09-12 cs.AI cs.LG cs.RO
Dynamic Planning Networks
University Of Western Ontario(西安大略大学);Department of Electrical and Computer Engineering, University Of Western Ontario(西安大略大学电气与计算机工程系)
我们介绍了动态规划网络(DPN),这是一种用于深度强化学习的新型架构,它结合了基于模型和无模型的在线规划方面。我们的架构学习动态构建计划,使用学习的状态转换模型,通过选择和遍历模拟状态和动作,以最大限度地提高信息之前采取行动。与无模型方法相比,基于模型的规划可以让代理有效地测试动作假设,而无需在环境中进行昂贵的试错。DPN通过一次扩展单个动作条件状态转换而不是彻底评估每个动作来学习有效地形成计划,从而将规划期间所需的状态转换数量减少高达96%。我们观察到各种紧急规划模式用于解决环境,包括经典的搜索方法,如广度优先和深度优先搜索。与几个基线相比,DPN显示出更高的数据效率,性能和对新的和未知领域的泛化。
2019-02-04 cs.AI cs.LG cs.NE
Mobile Robot Path Planning in Dynamic Environments through Globally Guided Reinforcement Learning
The Chinese University of Hong Kong(香港中文大学);University of Cambridge(剑桥大学)
大动态环境中移动机器人的路径规划是一个具有挑战性的问题,因为机器人需要有效地达到其给定的目标,同时避免与其他机器人或动态对象的潜在冲突。在存在动态障碍物的情况下,传统的解决方案通常采用重新规划策略,每当机器人遇到冲突时,重新调用规划算法来搜索替代路径。然而,这种重新规划的策略往往会造成不必要的弯路。为了解决这个问题,我们提出了一种基于学习的技术,利用环境时空信息。与现有的基于学习的方法不同,我们引入了一种全局引导的强化学习方法(G2RL),该方法采用了一种新的奖励结构,可以推广到任意环境。我们应用G2RL解决多机器人路径规划问题,在一个完全分布式的反应方式。我们评估我们的方法在不同的地图类型,障碍物密度和机器人的数量。实验结果表明,G2RL的泛化能力很好,优于现有的分布式方法,并且与完全集中式的最先进的基准测试非常相似。
2020-09-11 cs.AI cs.LG cs.MA
Towards Professional Tennis Styles for Humanoid Robots with Adaptive Motion Planning and Tracking
Noitom Robotics(诺亦腾机器人);Shanghai AI Laboratory(上海人工智能实验室);Shanghai Jiao Tong University(上海交通大学);Dobot Robotics(越疆机器人)
本研究提出AdaPT框架,从广播视频学习专业网球风格,通过自适应机制弥合仿真到现实的差距,在Unitree G1和Dobot Atom人形机器人上验证了有效性,为相关系统提供了见解。
2026-08-21 cs.AI cs.RO
MEPG:Multi-Expert Planning and Generation for Compositionally-Rich Image Generation
本文提出多专家规划与生成框架MEPG,通过位置风格感知LLM分解提示词并结合多专家扩散模块实现跨区域动态路由生成,显著提升了复杂提示词下的图像质量与风格多样性。
2025-09-14 cs.AI cs.CV
Discovering Diverse Planning Policies for Multimodal Embodied Agents with Quality-Diversity Optimization
School of Artificial Intelligence, Nanjing University of Information Science and Technology(南京信息工程大学人工智能学院)
针对多模态具身智能体现有规划器易因单一规划风格失效导致停滞的问题,提出质量多样性框架,通过进化策略模板构建多样化策略库,实现自适应规划与故障恢复,在ThreeDWorld基准上提升了任务成功率与交互效率。
2026-08-11 cs.AI
ALAS: A Stateful Multi-LLM Agent Framework for Disruption-Aware Planning
Stanford University(斯坦福大学)
针对大语言模型在事务型规划中存在的自我验证缺失、上下文侵蚀等缺陷,提出有状态多智能体框架ALAS,通过角色拆分、状态追踪与局部中断补偿,在作业车间调度基准上取得静态与动态规划性能的提升。
2025-05-18 cs.AI
Beyond Starry Night: Shortcut-Aware Control-State Planning for Artist-Grounded Text to Image Generation
Jilin University(吉林大学);Adobe(奥多比公司);University of Wisconsin(威斯康星大学)
该研究针对艺术家基础的文本到图像生成存在的捷径偏差问题,提出 Atelier 框架,结合 ArtIntentBench 基准测试,提升了风格保真度与结构保留度,减少了捷径替换。
2026-08-10 cs.AI cs.CV
Solving Learn-to-Race Autonomous Racing Challenge by Planning in Latent Space
IIIT Allahabad(印度阿拉哈巴德信息技术学院);Bielefeld University(比勒费尔德大学)
在www aicrowd com平台上举办的“学会比赛”自主赛车虚拟挑战赛<dot><dot>包括两条赛道:单摄像头和多摄像头。我们的UniTeam团队是单摄像机赛道的最终获胜者之一。代理人需要在最短的时间内以最少的越野驾驶违规行为通过之前未知的F1风格赛道。在我们的方法中,我们使用的U-Net架构的道路分割,变分自动编码器编码的道路二进制掩码,和最近邻搜索策略,选择最佳的行动,为给定的状态。我们的代理人在第一阶段(已知赛道)的平均速度为105 km/h,在第二阶段(未知赛道)的平均速度为73 km/h,没有任何越野驾驶违规行为。在这里,我们介绍我们的解决方案和结果。
2022-07-05 cs.AI
Towards Feedback-to-Plan Decisions for Self-Evolving LLM Agents in CUDA Kernel Generation
Department of Computer Science and Technology, Tsinghua University, Beijing, China(清华大学计算机科学与技术系);Beijing National Research Center for Information Science and Technology, Beijing, China(北京信息科学国家研究中心)
通过轨迹冻结和选择性反馈注入,提出CUDAnalyst框架以归因规划决策对反馈组件的贡献,揭示显式规划仅在反馈对齐时有效,且有效规划源于结构化多反馈交互。
2026-05-26 cs.AI
LPS-Bench: Benchmarking Safety Awareness of Computer-Use Agents in Long-Horizon Planning under Benign and Adversarial Scenarios
ShanghaiTech University(上海科技大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
LPS-Bench通过评估长周期规划中计算机使用代理的安全意识,揭示现有系统在安全行为维持方面的不足,并提出缓解策略以提升安全性。
2026-10-05 cs.AI
Adaptive Domain Modeling with Language Models: A Multi-Agent Approach to Task Planning
Bosch Center for Artificial Intelligence(博世人工智能中心);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
本研究提出融合大语言模型与符号规划的多智能体框架TAPAS,通过专用智能体协作生成调整领域模型、结合ReAct风格执行智能体,无需人工定义环境模型即可完成复杂任务,在基准与模拟环境中表现优异。
2025-06-30 cs.AI cs.RO
Planning for Complex Non-prehensile Manipulation Among Movable Objects by Interleaving Multi-Agent Pathfinding and Physics-Based Simulation
Carnegie Mellon University(卡内基梅隆大学)
现实世界中的操作问题,在严重的混乱需要机器人的原因与物体在环境中的潜在接触。我们专注于取放风格的任务,从一个架子上检索目标对象,其中一些“可移动”的对象必须重新安排,以解决任务。特别是,我们的动机是让机器人的原因,并考虑非易失性的重排行动,导致复杂的机器人对象和对象对象的相互作用,其中多个对象可能会被机器人同时移动,对象可能会倾斜,相互依赖,或推翻。为了支持这一点,我们查询一个基于物理的模拟器来向前模拟这些互动动态,这使得行动评估在规划计算非常昂贵。为了使规划器易于处理,我们在可移动对象之间的操作域和多智能体寻路之间建立了一个连接,使我们可以将问题分解为两个阶段,我们的M4M算法迭代。首先,我们解决了一个多智能体规划问题的原因有关的配置的可移动物体,但不向前模拟的物理模型。接下来,解决了手臂运动规划问题,其使用基于物理的模拟器,但不搜索可移动物体的可能配置。我们运行模拟和真实世界的实验与PR2机器人和相关的基线算法进行比较。我们的研究结果表明,M4M可以生成复杂的3D交互,并以具有竞争力的性能解决至少两倍于基线的问题。
2023-03-23 cs.AI cs.RO
Dynamic Training-Free Fusion of Subject and Style LoRAs
Shanghai Jiao Tong University(上海交通大学);Eastern Institute of Technology(技术东院)
本文提出一种动态免训练的LoRA融合框架,通过特征级选择和度量引导的潜在调整实现主体与风格的动态合成,无需重新训练即可提升生成效果。
2026-02-17 cs.AI cs.CV cs.SC
Scalable Long-Horizon Planning with Staggered Updates for Lifelong MAPF
Robotics Institute, Carnegie Mellon University(卡内基梅隆大学机器人研究所)
该研究针对通用地图的终身多智能体路径发现问题,提出PUSH规划器,结合多种框架优势实现可扩展长时程规划,在10k智能体场景下吞吐量优于基线方法
2026-08-10 cs.AI cs.MA cs.RO
Learning Latent Dynamics for Planning from Pixels
Google Brain(谷歌大脑);University of Toronto(多伦多大学);DeepMind(深度思维);Google Research(谷歌研究院);University of Michigan(密歇根大学)
规划已经非常成功的控制任务与已知的环境动态。为了在未知环境中利用规划,智能体需要从与世界的交互中学习动态。然而,学习足够精确的动态模型进行规划一直是一个长期的挑战,特别是在基于图像的领域。我们提出了深度规划网络(PlaNet),这是一个纯粹基于模型的代理,可以从图像中学习环境动态,并通过潜在空间中的快速在线规划来选择行动。为了实现高性能,动态模型必须准确预测多个时间步长的奖励。我们使用一个潜在的动力学模型与确定性和随机过渡组件。此外,我们提出了一个多步变分推理目标,我们命名为潜在的超调。仅使用像素观察,我们的代理解决了具有接触动态,部分可观察性和稀疏奖励的连续控制任务,这超过了以前通过学习模型规划解决的任务的难度。PlaNet使用更少的事件,并达到接近,有时高于强大的无模型算法的最终性能。
2019-06-04 cs.AI cs.LG stat.ML