Consistency Trajectory Planning: High-Quality and Efficient Trajectory Optimization for Offline Model-Based Reinforcement Learning
Department of Information and Communication Engineering（信息与通信工程系）；The University of Tokyo（东京大学）；NEC Corporation（日本电装公司）
本文提出离线强化学习方法 CTP，利用 CTM 实现高效的单步轨迹生成，在 D4RL 基准上以超 120 倍推理加速达到可比性能，解决了扩散模型规划计算成本高的问题。
2025-07-13 cs.AI cs.LG cs.RO
Trajectory-Class-Aware Multi-Agent Reinforcement Learning
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院（KAIST））
提出轨迹类感知多智能体强化学习框架TRAMA，通过量化潜在空间、轨迹聚类和轨迹类感知策略，使智能体利用部分观测识别轨迹类并据此采取任务感知行动，在多任务环境中提升了泛化性能。
2025-03-03 cs.LG cs.MA
Trajectory-Level Data Augmentation for Offline Reinforcement Learning
University of Applied Sciences Kempten（凯普滕应用科学大学）
本文提出一种离线强化学习的数据增强方法，通过利用任务结构和奖励、价值函数及日志策略的几何关系，提升有限子最优轨迹下的模型训练效果。
2026-05-13 cs.LG cs.RO stat.ML
In-Trajectory Inverse Reinforcement Learning: Learn Incrementally Before An Ongoing Trajectory Terminates
Pennsylvania State University（宾夕法尼亚州立大学）
针对现有 IRL 必须等待完整轨迹的问题，提出轨迹内在线双层优化与元正则化增量学习算法，并证明次线性遗憾界。
2025-07-23 cs.LG
Trajectory Optimization for Unknown Constrained Systems using Reinforcement Learning
Information Technology R&D Center, Mitsubishi Electric Corporation（三菱电机公司信息技术研发中心）；Mitsubishi Electric Research Labs（三菱电机研究实验室）；Mitsubishi Electric Corp（三菱电机公司）
本文提出了一种基于强化学习的约束动力系统轨迹优化算法。这个问题的动机是，对于大多数机器人系统，动态可能并不总是已知的事实。对于这样的系统，生成平滑的、动态可行的轨迹可能是困难的。使用基于采样的算法进行运动规划可能会导致轨迹倾向于不期望的控制跳跃。然而，它们通常可以提供一个很好的参考轨迹，无模型强化学习算法可以通过限制搜索域并快速找到一个动态平滑的轨迹来利用这个参考轨迹。我们使用这个想法来训练强化学习代理学习课程学习设置中的动态平滑轨迹。此外，为了推广，我们用目标位置参数化策略，以便代理可以同时针对多个目标进行训练。我们在模拟环境以及真实的实验结果，为$6$自由度机械臂在位置控制模式下操作，以验证所提出的想法。我们比较所提出的想法对PID控制器，它是用来跟踪配置空间中的设计轨迹。我们的实验表明，使用参考路径训练的RL代理优于许多机器人平台上常用的无模型PID控制器，用于轨迹跟踪。
2020-03-03 cs.LG cs.RO stat.ML
Learning Reward Models for Cooperative Trajectory Planning with Inverse Reinforcement Learning and Monte Carlo Tree Search
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Robert Bosch GmbH（罗伯特·博世有限公司）
自动驾驶车辆的协同轨迹规划方法可以解决需要交通参与者之间高度合作的交通场景。然而，为了使协作系统集成到以人为中心的交通中，自动化系统必须表现得像人类一样，以便人类可以预测系统的决策。虽然强化学习在解决决策部分方面取得了显着进展，但参数化产生可预测行为的奖励模型并非易事。这项工作采用基于特征的最大熵逆强化学习结合蒙特卡罗树搜索学习奖励模型，最大限度地提高记录的多智能体合作专家轨迹的可能性。评估表明，该方法可以恢复一个合理的奖励模型，模仿专家和执行类似的手动调整基线奖励模型。
2022-05-06 cs.LG cs.RO
TEA: Trajectory Encoding Augmentation for Robust and Transferable Policies in Offline Reinforcement Learning
Technical University of Munich（慕尼黑工业大学）；Siemens AG（西门子公司）
本文提出轨迹编码增强（TEA）方法，通过整合序列编码器提取的动态潜在表示来扩展状态空间，有效提升了离线强化学习中单一策略在未见动态环境下的鲁棒性与可迁移性。
2025-01-26 cs.LG
Dueling RL: Reinforcement Learning with Trajectory Preferences
Microsoft Research（微软研究院）；TTI Chicago（芝加哥丰田理工学院）；Stanford University（斯坦福大学）
我们考虑基于偏好的强化学习（PbRL）问题，其中，与传统的强化学习不同，代理只接收轨迹对的1位（0/1）偏好反馈，而不是绝对的奖励。传统RL框架的成功关键依赖于底层的代理-奖励模型，然而，这取决于系统设计者能够如何准确地表达适当的奖励函数以及通常是重要的任务。我们的框架的主要新颖性是能够从基于偏好的轨迹反馈中学习，从而消除了手工制作数字奖励模型的需要。本文建立了一个非马尔可夫报酬的PbRL问题的形式化框架，其中轨迹偏好由一个维数为$d$的广义线性模型编码.假设转移模型是已知的，然后我们提出了一个几乎最优的遗憾保证$\tilde {\mathcal{O}}\left( SH d \log (T / δ) \sqrt{T} \right)$的算法。进一步，我们将上述算法推广到未知转移动态的情况，并给出了一个具有近最优后悔保证$\widetilde{\mathcal{O}}((\sqrt{d} + H^2 + |\mathcal{S}|)\sqrt{dT} +\sqrt{|\mathcal{S}||\mathcal{A}|TH} )$的算法。据我们所知，我们的工作是第一个给出严格的遗憾保证基于偏好的RL问题与轨迹偏好。
2023-02-06 cs.LG
In-Distribution Imagination for Model-Based Offline Reinforcement Learning
针对基于模型的离线强化学习中模型误差导致轨迹偏离数据分布的问题，提出分布内想象（IDI）框架，通过轨迹级支持估计与截断控制，结合轨迹正则化强化学习，在有限数据下提升性能。
2026-10-01 cs.LG
Estimating Link Flows in Road Networks with Synthetic Trajectory Data Generation: Reinforcement Learning-based Approaches
The University of Queensland（昆士兰大学）
本文提出了一种结合有限交通量和车辆轨迹数据的道路网络路段流量估计方法。虽然来自环路检测器的交通量数据已经成为用于链路流量估计的常见数据源，但是检测器仅覆盖链路的子集。从车辆跟踪传感器收集的车辆轨迹数据也被纳入这些天。然而，轨迹数据通常是稀疏的，因为观察到的轨迹仅代表整个群体的一个小子集，其中精确的采样率是未知的，并且可能随空间和时间而变化。本研究提出了一种新的生成建模框架，在这里我们制定了一个连续的决策问题，使用马尔可夫决策过程框架和训练的代理作出连续的决定，以产生现实的合成车辆轨迹的车辆的链接到链接的运动。我们使用基于强化学习（RL）的方法来找到代理的最佳行为，基于此可以生成合成人口车辆轨迹来估计整个网络中的链路流量。为保证生成的群体车辆轨迹与观测交通量和轨迹数据一致，提出了基于逆强化学习和约束强化学习的两种方法。通过求解真实道路网络中的链路流量估计问题，验证了由这些基于RL的方法中的任一种解决的所提出的生成建模框架。此外，我们进行了全面的实验，比较性能与现有的两种方法。结果表明，该框架在驾驶员行为假设不满足或网络覆盖率和轨迹数据穿透率较低的实际场景下，具有较高的估计精度和鲁棒性.
2022-06-26 cs.LG
Switch Trajectory Transformer with Distributional Value Approximation for Multi-Task Reinforcement Learning
Northwestern University（西北大学）；Zebra Technologies（斑马技术公司）
我们提出了SwitchTT，这是Trajectory Transformer的多任务扩展，但增强了两个显著的功能：（i）利用稀疏激活模型来降低多任务离线模型学习中的计算成本，以及（ii）采用分布式轨迹值估计器来提高策略性能，特别是在稀疏奖励设置中。这两个增强功能使SwitchTT适合解决多任务离线强化学习问题，其中模型容量对于吸收多任务数据集中可用的大量知识至关重要。更具体地说，SwitchTT利用开关Transformer模型架构进行多任务策略学习，使我们能够提高模型容量，而无需成比例的计算成本。此外，SwitchTT近似分布而不是轨迹值的期望，减轻了蒙特卡洛值估计器因样本复杂性差而受到的影响，特别是在稀疏奖励设置中。我们使用来自gym-mini-grid环境的10个稀疏奖励任务来评估我们的方法。我们在10个任务的学习中比Trajectory Transformer提高了10%，离线模型训练速度提高了90%。我们的研究结果也证明了开关Transformer模型在吸收专家知识方面的优势以及值分布在评估轨迹中的重要性。
2022-03-14 cs.AI cs.LG
Efficient and Effective Similar Subtrajectory Search with Deep Reinforcement Learning
Nanyang Technological University（南洋理工大学）
相似轨迹搜索是一个基本的问题，在过去的二十年里得到了很好的研究。然而，相似子轨迹搜索（SimSub）问题，旨在返回轨迹的一部分（即，子轨迹），其与查询轨迹最相似，尽管它可以以更细粒度的方式捕获轨迹相似性，并且许多应用将子轨迹作为用于分析的基本单元，但其大多被忽视。在本文中，我们研究了SimSub问题，并开发了一套算法，包括精确和近似的。在这些近似算法中，基于深度强化学习的两种算法脱颖而出，在有效性和效率方面优于那些非基于学习的算法。我们在真实世界的轨迹数据集上进行了实验，验证了所提出的算法的有效性和效率。
2020-07-14 cs.DB cs.LG
Local Policy Optimization for Trajectory-Centric Reinforcement Learning
UTA Research Institute, University of Texas at Arlington（德克萨斯大学阿灵顿分校UTA研究所）；Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室（MERL））；University of Texas at Arlington（德克萨斯大学阿灵顿分校）
本文的目标是提出一种同时进行轨迹和局部稳定化策略优化的方法，以生成以概率为中心的基于基于模型的强化学习（MBRL）的局部策略。这是因为非线性系统的全局策略优化在算法和数值上都是一个非常具有挑战性的问题。然而，许多机器人操作任务是以机器人为中心的，因此不需要全局模型或策略。由于学习模型估计的不准确性，当用于实际系统时，开环轨迹优化过程主要导致非常差的性能。受这些问题的启发，我们试图将轨迹优化和局部策略综合问题表述为一个单一的优化问题。然后将其作为非线性规划的一个实例同时求解。我们提供了一些分析结果，以及所提出的技术在一些简化的假设下实现的性能。
2020-01-22 cs.LG cs.RO cs.SY
CroTad: A Contrastive Reinforcement Learning Framework for Online Trajectory Anomaly Detection
The University of Queensland（昆士兰大学）；The Hong Kong Polytechnic University（香港理工大学）；The Hong Kong University of Science and Technology（香港科学与技术大学）
CroTad通过对比强化学习框架实现在线轨迹异常检测，无需阈值且对噪声和不规则数据具有鲁棒性，有效区分子轨迹和点级别异常行为。
2025-11-21 cs.DB cs.LG
Trajectory Entropy Reinforcement Learning for Robust Robot Motor Skill Learning
Department of Computer Science and Technology, Tsinghua University（计算机科学与技术系，清华大学）
针对深度强化学习易受环境扰动影响的问题，提出轨迹熵强化学习方法，通过最小化动作轨迹熵引入简洁性归纳偏置，并联合优化策略与预测模型，在多个高维运动任务中实现了更优的性能与鲁棒性。
2026-09-21 cs.LG cs.RO stat.ML
Reinforcement Learning-Based Trajectory Design for the Aerial Base Stations
University of Toronto（多伦多大学）
研究了多空中基站（ABS）通信网络的轨迹优化问题。目标是找到ABS的轨迹，使得每个ABS所服务的用户的总速率最大化。为了实现这一目标，除了最优轨迹设计之外，最优功率和子信道分配对于支持具有最高可能数据速率的用户也是非常重要的。为了解决这个复杂的问题，我们将其分为两个子问题：ABS轨迹优化子问题和联合功率和子信道分配子问题。然后，基于Q-学习方法，我们开发了一种分布式算法，有效地解决这些子问题，并不需要ABS和核心网络之间的显着信息量交换。仿真结果表明，虽然Q学习是一种无模型的强化学习技术，它具有显着的能力，训练ABS优化其轨迹的基础上收到的奖励信号，其中携带体面的信息，从网络的拓扑结构。
2019-06-29 cs.AI cs.LG cs.NI
UAV Base Station Trajectory Optimization Based on Reinforcement Learning in Post-disaster Search and Rescue Operations
Muroran Institute of Technology（室兰工业大学）
由于灾害，地面基站（TBS）将部分崩溃。一些用户设备（UE）将不被服务。部署无人机（UAV）作为空中基站是快速覆盖UE的方法。但现有的方法仅涉及无人机的覆盖范围。在这些场景中，他们专注于在所有TBS不再工作的灾后地区部署无人机。现有的TBS和无人机的组合的研究有限。我们提出的方法来部署无人机与可用的TBS作为空中基站合作。并通过强化学习提高覆盖率。此外，在实验中，我们首先使用平衡迭代减少和使用层次分簇（BIRCH）对UE进行分簇。最后，通过Q-learning实现基站对UE的更好覆盖。
2022-02-17 cs.LG
Off-road Autonomous Vehicles Traversability Analysis and Trajectory Planning Based on Deep Inverse Reinforcement Learning
Key Lab of Machine Perception (MOE), Peking University（北京大学机器感知重点实验室（教育部））
地形可通过性分析是实现机器人在越野环境下自主行走的基础。基于几何和基于外观的方法已经研究了几十年，而基于行为的方法利用从演示示教学习（LfD）是新的趋势。基于行为的方法学习成本函数，指导轨迹规划符合专家的演示，这可以更可扩展到各种场景和驾驶行为。提出了一种基于深度最大熵逆强化学习的越野可通过性分析和轨迹规划方法。为了在解决状态空间复杂度指数增长的问题的同时结合车辆的运动学，使用了两个卷积神经网络，RL ConvNet和Svf ConvNet被开发用于将运动学编码到卷积核中，并实现高效的前向强化学习。我们在越野环境中进行实验。场景地图使用3D LiDAR数据生成，专家演示是车辆在场景中的真实行驶轨迹，或者是合成的轨迹，以表示特定的行为，例如穿越负面障碍物。在不同的能力场景下学习和测试了不同的可通行性分析成本函数，以指导不同行为的轨迹规划。我们还证明了所提出的方法的性能和计算效率。
2020-05-09 cs.LG cs.RO
Know your Trajectory -- Trustworthy Reinforcement Learning deployment through Importance-Based Trajectory Analysis
Clifford F（未知）；Devika Jay（未知）；Abhishek Sarkar（未知）；Satheesh K Perepu（未知）；Santhosh G S（未知）；Kaushik Dey（未知）；Balaraman Ravindran（未知）
本文提出基于重要性的轨迹分析框架，通过评估轨迹级状态重要性，提升强化学习部署的可信度和可解释性。
2025-12-07 cs.LG
DiffStitch: Boosting Offline Reinforcement Learning with Diffusion-based Trajectory Stitching
Jilin University（吉林大学）；Shanghai Jiao Tong University（上海交通大学）
本文提出DiffStitch，一种基于扩散的轨迹拼接数据增强方法，通过连接低奖励与高奖励轨迹生成全局最优轨迹，在D4RL上显著提升多种离线强化学习算法的性能。
2024-02-22 cs.AI cs.LG
A Deep Reinforcement Learning Approach to Rare Event Estimation
Stanford University（斯坦福大学）
自主系统设计中的一个重要步骤是评估故障发生的概率。在安全关键域中，失效概率非常小，因此通过蒙特卡罗抽样评估策略是低效的。自适应重要性采样方法已被开发用于稀有事件估计，但不能很好地扩展到具有长视野的连续系统。在这项工作中，我们开发了两个自适应重要性采样算法，可以有效地估计概率的顺序决策系统的罕见事件。这些算法的基础是最小化状态相关的建议分布和目标分布之间的Kullback-Leibler发散，但由此产生的算法类似于策略梯度和基于值的强化学习。我们应用多重重要性采样来减少我们估计的方差，并解决最优建议分布中的多模态问题。我们展示了我们的方法在控制任务与连续和离散的动作空间，并显示在几个基线的准确性提高。
2022-11-22 cs.AI cs.LG
Discovering Behavioral Modes in Deep Reinforcement Learning Policies Using Trajectory Clustering in Latent Space
Norwegian University of Science and Technology (NTNU)（挪威科技大学）；Centre for Autonomous Marine Operations and Systems (AMOS)（自主海洋作业与系统中心）
本文提出在DRL策略的潜在空间中结合PaCMAP降维与TRACLUS轨迹聚类，以识别行为模式和次优决策，并通过领域知识针对性提升Mountain Car任务中的策略性能。
2024-02-20 cs.AI cs.LG
Combining Benefits from Trajectory Optimization and Deep Reinforcement Learning
University of California at Santa Barbara（加州大学圣巴巴拉分校）
最近在强化学习和轨迹优化方面的突破已经在现实世界的机器人系统部署方面取得了重大进展。强化学习（RL）可以应用于许多问题，而不需要对系统进行任何建模或直觉，代价是高样本复杂性和无法证明有关学习策略的任何度量。另一方面，轨迹优化（TO）允许对生成的运动和轨迹进行稳定性和鲁棒性分析，但仅与通常过度简化的导出模型一样好，并且对于实时控制可能具有过于昂贵的计算时间。本文试图结合这两个领域的优点，同时通过以下方式减轻其缺点：（1）通过使用最优控制问题的现有知识来降低RL样本的复杂性，以及（2）提供对组合学习优化策略的到达时间的上限估计，通过使用TO作为最坏情况下的动作，允许在训练过程中的任何点进行在线策略部署。这种方法进行评估的汽车模型，适用于任何移动机器人系统。一个显示政策执行比较的视频可以在https://youtu.be/mv2xw83NyWU上找到。
2019-10-21 cs.LG cs.RO cs.SY
DiffTORI: Differentiable Trajectory Optimization for Deep Reinforcement and Imitation Learning
University of California San Diego（加利福尼亚大学圣地亚哥分校）；Tsinghua University（清华大学）；Carnegie Mellon University（卡内基梅隆大学）
针对以往基于模型的强化学习的目标不匹配问题，提出将可微轨迹优化作为策略表示的DiffTORI方法，实现端到端学习，在多类机器人操作任务上性能优于现有最优方法。
2025-06-13 cs.AI cs.LG cs.RO
Prioritized Trajectory Replay: A Replay Memory for Data-driven Reinforcement Learning
College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）；NetEase Fuxi AI Lab（网易伏羲人工智能实验室）
针对离线强化学习中状态转移采样技术效果不稳定的问题，提出轨迹回放与优先轨迹回放机制，通过轨迹层面采样及优先级排序提升学习效率，在D4RL上验证了其对现有离线RL算法的性能提升作用。
2025-03-21 cs.AI cs.LG
Uncertainty-driven Trajectory Truncation for Data Augmentation in Offline Reinforcement Learning
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Tsinghua University（清华大学）；Tencent（腾讯）
针对离线强化学习中模型生成样本不可靠的问题，提出不确定性驱动的轨迹截断方法TATU，通过累积不确定性截断合成轨迹，理论证明性能界限，并在D4RL基准上显著提升多种离线RL算法的性能。
2023-07-26 cs.AI cs.LG
Distribution-Agnostic Robust Trajectory Optimization via Chance-Constrained Reinforcement Learning
Auckland University（奥克兰大学）
提出一种分布无关的鲁棒轨迹优化框架，通过机会约束强化学习处理初始条件和过程噪声的不确定性，采用离线标称轨迹与在线仿射闭环校正，在两种不同轨迹设计问题上验证了概率可行性与燃料效率。
2026-06-12 cs.LG cs.SY eess.SY
Trajectory Inspection: A Method for Iterative Clinician-Driven Design of Reinforcement Learning Studies
MIT（麻省理工学院）；Harvard Medical School（哈佛医学院）；Harvard Pilgrim Healthcare Institute（哈佛朝圣者医疗保健研究所）
强化学习（RL）具有显著改善临床决策的潜力。然而，通过RL从观察数据中学习的治疗策略对研究设计中的微妙选择很敏感。我们强调了一种简单的方法，轨迹检查，使临床医生进入一个迭代的设计过程，基于模型的RL研究。我们确定模型在哪里推荐了意想不到的积极治疗或期望从其建议中获得令人惊讶的积极结果。然后，我们检查临床轨迹与学习的模型和政策一起模拟实际的医院课程。将这种方法应用于最近关于RL用于脓毒症管理的工作，我们发现了对出院的模型偏倚，可能与小样本量有关的高血管加压药剂量的偏好，以及在不停用血管加压药的情况下出院的临床不合理预期。我们希望通过迭代检测和解决我们的方法发现的问题，将导致RL政策，激发更多的部署信心。
2020-12-21 cs.AI cs.LG
ExTra: Exploratory Trajectory Optimization for Language Model Reinforcement Learning
National University of Singapore（新加坡国立大学）；SAP
提出ExTra框架，通过新颖性奖励和熵引导前缀再生增强GRPO，在数学推理基准上提升pass@1约5%、pass@16约7%。
2026-06-25 cs.AI cs.LG
TREX: Trajectory Explanations for Multi-Objective Reinforcement Learning
Trinity College Dublin（都柏林三一学院）
TREX通过轨迹归因框架为多目标强化学习策略提供解释，通过生成不同用户偏好下的轨迹并划分语义段，量化行为段对帕累托权衡的影响，实验验证了其在MuJoCo多目标环境中的有效性。
2026-03-23 cs.AI cs.LG
HindSearch: Trajectory-Level Hindsight Critique for Search-Augmented Reinforcement Learning
Santa Clara University（圣克拉拉大学）；Rochester Institute of Technology（罗切斯特理工学院）
HindSearch是面向GRPO的轨迹级事后批判方法，通过冻结评判器利用标准答案为失败轨迹提供搜索动作的在线蒸馏信号，在7基准测试上使Qwen2.5-3B-Instruct的平均EM达39.4%，优于现有基线。
2026-08-04 cs.AI cs.IR cs.LG
Joint Cluster Head Selection and Trajectory Planning in UAV-Aided IoT Networks by Reinforcement Learning with Sequential Model
University of Saskatchewan（萨斯喀彻温大学）；Cisco Systems Inc.（思科系统公司）
采用无人机（UAV）吸引了越来越多的兴趣，并成为物联网（IoT）网络中数据收集的最先进技术。在本文中，与最小化的总能耗的UAV-IoT系统的目标，我们制定的问题，联合设计无人机的轨迹和选择簇头在物联网网络作为一个约束的组合优化问题，这是属于NP难和具有挑战性的解决。我们提出了一种新的深度强化学习（DRL）与序列模型策略，可以有效地学习由序列到序列神经网络表示的无人机的轨迹设计在无监督的方式。通过大量的仿真，所获得的结果表明，所提出的DRL方法可以找到无人机的轨迹，需要更少的能量消耗相比，其他基线算法，并实现接近最佳的性能。此外，仿真结果表明，我们提出的DRL算法训练的模型具有良好的泛化能力，以更大的问题规模，而无需重新训练的模型。
2021-12-01 cs.LG cs.SY eess.SY
In-Dataset Trajectory Return Regularization for Offline Preference-based Reinforcement Learning
Peng Cheng Laboratory（鹏城实验室）；University of Chinese Academy of Sciences（中国科学院大学）
提出数据集内轨迹回报正则化（DTR）方法，利用条件序列建模和集成归一化技术缓解离线偏好强化学习中的奖励偏差问题，在多个基准上取得优越性能。
2024-12-21 cs.AI cs.LG
Generalizable Trajectory Prediction via Inverse Reinforcement Learning with Mamba-Graph Architecture
Department of Mathematics, The University of Hong Kong (HKU)（香港大学数学系）；Department of Data and Systems Engineering, HKU（香港大学数据与系统工程系）；Musketeers Foundation Institute of Data Science, HKU（穆斯quettes基金会数据科学研究所）
本文提出基于Mamba-图架构的逆强化学习方法，通过推断奖励函数提升轨迹预测的跨场景泛化能力，实验表明其在复杂交通场景中的预测精度和适应性优于现有方法。
2026-02-05 cs.AI cs.LG
A Model-Based Reinforcement Learning Approach for a Rare Disease Diagnostic Task
École Polytechnique（巴黎综合理工学院）；Paris-Descartes University（巴黎笛卡尔大学）；Necker-Enfants Malades Hospital（内克尔儿童医院）
在这项工作中，我们提出了我们的各种贡献的目标，建立一个诊断罕见疾病的决策支持工具。我们的目标是达到一种知识状态，即患者疾病的不确定性低于预定阈值。我们的目标是达到这样的状态，同时最大限度地减少要执行的医学测试的平均数量。在此过程中，我们考虑到在许多医疗应用中需要尽可能避免任何误诊。为了解决这个优化任务，我们研究了几种强化学习算法，并使它们在我们的高维和稀疏奖励设置可操作。我们还提出了一种方法来结合专家知识，表示为条件概率，与真实的临床数据。这一点至关重要，因为罕见病领域数据的稀缺性阻碍了任何仅基于临床数据的方法。最后，我们表明，它是可以整合的本体论信息的症状，而留在我们的概率推理。它使我们的决策支持工具能够处理用户以不同精度提供的信息。
2018-11-25 cs.LG stat.ML
3D UAV Trajectory and Data Collection Optimisation via Deep Reinforcement Learning
Queen’s University Belfast（贝尔法斯特女王大学）；Ho Chi Minh City University of Technology and Education（胡志明市技术教育大学）；Tyndall National Institute（廷德尔国家研究所）；University of Southampton（南安普顿大学）
为了提高无线通信的网络性能和覆盖范围，现在开始部署无人机（UAV）。然而，由于其机载功率和飞行时间的限制，这是具有挑战性的，以获得一个最佳的资源分配方案，无人机辅助物联网（IoT）。在本文中，我们设计了一种新的无人机辅助物联网系统，该系统依赖于无人机的最短飞行路径，同时最大限度地提高从物联网设备收集的数据量。然后，设想了一种基于深度强化学习的技术，用于在特定覆盖区域中找到最佳轨迹和吞吐量。经过训练后，无人机能够以显著的总速率提高自主收集来自用户节点的所有数据，同时最大限度地减少所使用的相关资源。提供的数值结果，以突出我们的技术如何达到的吞吐量，轨迹和所花费的时间之间的平衡。更明确地说，我们在无人机轨迹，预期的回报和总的总和率方面的可达到的性能。
2021-06-06 cs.AI cs.LG eess.SP
OTTR: Off-Road Trajectory Tracking using Reinforcement Learning
Texas A&M University（得克萨斯农工大学）
在这项工作中，我们提出了一种新的强化学习（RL）算法的越野轨迹跟踪问题。越野环境涉及不同的地形类型和海拔高度，并且很难对特定越野车辆与这种多样且复杂的环境的交互动力学进行建模。在模拟器上训练的标准RL策略将无法在如此具有挑战性的现实环境中运行。而不是使用一个天真的域随机化方法，我们提出了一个创新的监督学习为基础的方法来克服模拟到真实的差距问题。我们的方法有效地利用了有限的现实世界中的数据，以适应基线RL的政策，使用一个简单的运动学模拟器。这避免了对车辆与越野环境的多样且复杂的交互进行建模的需要。我们评估所提出的算法使用两种不同的越野车，野猪和驼鹿的性能。与标准的ILQR方法相比，我们提出的方法在Warthog和Moose中分别实现了30%和50%的交叉跟踪误差减少，仅利用30分钟的真实驾驶数据。
2021-10-05 cs.LG cs.RO
Trajectory-wise Multiple Choice Learning for Dynamics Generalization in Reinforcement Learning
Korea Advanced Institute of Science and Technology（韩国科学技术院）；University of California, Berkeley（加州大学伯克利分校）
基于模型的强化学习（RL）在各种控制任务中表现出了巨大的潜力，无论是在样本效率还是最终性能方面。然而，学习对动态变化鲁棒的可推广的动态模型仍然是一个挑战，因为目标过渡动态遵循多模态分布。在本文中，我们提出了一种新的基于模型的RL算法，创造了智能多选择学习，学习一个多头动力学模型的动力学泛化。主要思想是更新最准确的预测头，以使每个头在具有相似动态的某些环境中专业化，即，集群环境。此外，我们还结合了上下文学习，它将过去经验中的动态特定信息编码到上下文潜在向量中，使模型能够对未知环境进行在线适应。最后，为了更有效地利用专门的预测头，我们提出了一种自适应规划方法，该方法在最近的经验中选择最准确的预测头。与最先进的RL方法相比，我们的方法在各种控制任务中表现出优越的zero-shot泛化性能。源代码和视频可在https://sites.google.com/view/trajectory-mcl上获得。
2020-10-26 cs.LG
Model-aided Federated Reinforcement Learning for Multi-UAV Trajectory Planning in IoT Networks
EURECOM（EURECOM研究所）；Technical University of Munich（慕尼黑工业大学）
针对多无人机物联网数据采集中MARL需大量真实训练数据的问题，提出模型辅助联邦QMIX算法，交替构建含信道特性与设备位置的环境模型并开展联邦训练，可在降低约三个数量级真实训练需求的同时保持相近采集性能。
2023-10-07 cs.LG
Data-efficient Deep Reinforcement Learning for Vehicle Trajectory Control
RWTH Aachen University（亚琛工业大学）；ZF Friedrichshafen AG（采埃孚股份公司）
本文针对车辆轨迹控制中标准强化学习数据需求过大的问题，研究了REDQ、PETS-MPPI和MBPO三种数据高效深度强化学习方法，并提出分离动力学预测与车辆定位的新形式，在CARLA上以降低一个数量级以上的环境交互次数达到与SAC相当或更优的控制性能。
2023-11-30 cs.LG cs.RO
Physics-Based Trajectory Design for Cellular-Connected UAV in Rainy Environments Based on Deep Reinforcement Learning
University College Dublin（都柏林大学）；University of Alberta（阿尔伯塔大学）
针对雨天蜂窝连接无人机轨迹设计难题，提出基于物理的电磁模拟与深度强化学习（多步学习、双重Q学习）方法，联合优化飞行时间与信号干扰比，实验验证其在雨天环境中的有效性。
2023-08-31 cs.LG cs.SY eess.SY
Meta-Reinforcement Learning for Trajectory Design in Wireless UAV Networks
Virginia Tech（弗吉尼亚理工大学）；Princeton University（普林斯顿大学）
研究了能量受限无人机在动态网络环境下的最优飞行轨迹设计问题。在所考虑的模型中，派遣无人机基站（DBS）为地面用户提供上行链路连接，其需求是动态的和不可预测的。在这种情况下，DBS的轨迹必须自适应地调整，以满足动态用户访问请求。为此，提出了一种元学习算法，以适应DBS的轨迹，当它遇到新的环境，通过调整强化学习（RL）的解决方案。元学习算法提供了一种解决方案，该解决方案基于有限的先前经验在新环境中快速适应DBS。元调整RL示出，以产生一个更快的收敛到最佳的覆盖率在看不见的环境中具有相当低的计算复杂度，相比基线策略梯度算法。仿真结果表明，与传统的策略梯度算法相比，该算法的收敛速度提高了25%，通信性能提高了10%左右。同时，DBS服务超过50%的用户请求的概率与基线策略梯度算法相比增加了约27%。
2020-05-25 cs.IT cs.LG cs.NI
Symmetry Detection in Trajectory Data for More Meaningful Reinforcement Learning Representations
The Charles Stark Draper Laboratory, Inc.（查尔斯·斯塔克·德雷珀实验室公司）
强化学习（RL）系统的对称性知识可用于创建低级状态空间的压缩和语义上有意义的表示。我们提出了一种方法，自动检测RL对称性直接从原始轨迹数据，而不需要主动控制的系统。我们的方法生成候选对称，并训练一个递归神经网络（RNN）来区分每个候选对称的原始轨迹和变换轨迹。RNN对每个候选项的精确度揭示了系统在该变换下的对称程度。这些信息可用于创建对数据集级别上的所有对称性不变的高级表示，并将RL行为的属性传达给用户。我们在两个模拟RL用例（推进机器人和在风中飞行的无人机）的实验中表明，我们的方法可以确定环境物理和训练RL策略的对称性。
2022-11-29 cs.AI cs.LG cs.RO
Practical Probabilistic Model-based Deep Reinforcement Learning by Integrating Dropout Uncertainty and Trajectory Sampling
University of Chinese Academy of Sciences（中国科学院大学）；Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）
本文提出DPETS方法，将蒙特卡洛Dropout与轨迹采样结合，通过修正损失函数和过滤偶然不确定性，提升概率MBRL的预测稳定性、精度与控制能力，并在Mujoco和机器人臂任务中验证了其优越性能。
2023-09-20 cs.AI cs.LG cs.SY
Reinforcement Learning for Low-Thrust Trajectory Design of Interplanetary Missions
Sapienza University of Rome（罗马大学）
本文研究了使用强化学习的鲁棒设计的小推力行星际轨道存在严重的干扰，建模为高斯加性过程噪声，观测噪声，控制驱动误差的推力大小和方向，并可能有多个错过的推力事件。最优控制问题被改写为时间离散马尔可夫决策过程，以符合强化学习的标准公式。采用最先进算法近端策略优化的开源实现来执行深度神经网络的训练过程，用于将航天器（观察到的）状态映射到最优控制策略。由此产生的制导和控制网络提供了一个强大的标称轨迹和相关的闭环制导律。一个典型的地球-火星任务的数值结果。首先，为了验证所提出的方法，将（确定性）未扰动场景中找到的解决方案与间接技术提供的最佳解决方案进行比较。然后，所获得的闭环制导律的鲁棒性和最优性进行评估通过Monte Carlo运动在所考虑的不确定情况下进行。这些初步结果为在行星际飞行任务的稳健设计中使用强化学习开辟了新的视野。
2020-08-19 cs.AI cs.LG math.OC
Action and Trajectory Planning for Urban Autonomous Driving with Hierarchical Reinforcement Learning
National University of Singapore（新加坡国立大学）；Institute of High-Performance Computing, A*STAR（A*STAR高性能计算研究所）
针对复杂城市场景下自动驾驶多任务处理与环境动态变化挑战，提出基于分层DDPG算法的动作与轨迹规划器atHRL，在CARLA模拟器中验证其性能显著优于现有RL方法。
2023-06-28 cs.LG cs.RO
TOUR: A Trajectory-Level Unlearning Benchmark for Offline Reinforcement Learning
Southwestern University of Finance and Economics（西南财经大学）；Shanxi University（山西大学）
研究针对离线强化学习中轨迹级删除难评估的问题，提出TOUR基准测试，结合多种技术，通过实验表明常见删除基线有环境依赖隐私 - 效用行为，单一分数审计下结论不稳定，其取决于多种因素。
2026-07-24 cs.AI cs.LG
Accelerating Model-Based Reinforcement Learning using Non-Linear Trajectory Optimization
Department of Information Engineering of University of Padua（帕多瓦大学信息工程系）
本文提出EB-MC-PILCO方法，将iLQR非线性轨迹优化与MC-PILCO结合，通过生成探索性轨迹和初始化策略加速策略优化收敛，在倒立摆任务上实现最高45.9%的执行时间缩减并保持100%成功率。
2025-06-03 cs.LG cs.RO
From Orbit Matching to Docking: A Hierarchical Reinforcement-Learning Approach to Multiphase Rendezvous Trajectory Design
Massachusetts Institute of Technology（麻省理工学院）；Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）
本研究提出分层强化学习框架，训练五个阶段专用策略，由高层管理者策略切换，实现从轨道匹配到对接的完整自主RPO轨迹设计，性能优于固定顺序启发式方法。
2026-10-14 cs.LG cs.RO cs.SY
Deep Reinforcement Learning Based Dynamic Trajectory Control for UAV-assisted Mobile Edge Computing
Northumbria University（诺森比亚大学）；Queen Mary University of London（伦敦玛丽女王大学）；Zhengzhou University（郑州大学）
在本文中，我们考虑了一个飞行移动边缘计算（F-MEC）平台，其中无人机（UAV）作为提供计算资源的设备，它们可以从用户设备（UE）卸载任务。我们的目标是通过优化用户关联，资源分配和无人机的轨迹，最大限度地减少所有的UE的能量消耗。为此，我们首先提出了一种基于凸优化的轨迹控制算法（CAT），该算法采用块坐标下降（BCD）方法迭代求解。然后，为了在考虑环境动态的同时做出实时决策（即，无人机可能从不同的位置起飞），我们提出了一种基于深度强化学习的轨迹控制算法（RAT）。在RAT中，我们应用优先经验重放（PER）来提高训练过程的收敛性。与可能对初始点敏感并且需要迭代的基于凸优化的算法不同，RAT可以适应于UAV的任何起飞点，并且一旦训练过程已经完成，就可以比CAT更快地获得解。仿真结果表明，所提出的CAT和RAT实现了类似的性能，都优于传统的算法。
2021-02-13 cs.LG cs.NI eess.SP
Smooth Trajectory Collision Avoidance through Deep Reinforcement Learning
Ohio University（俄亥俄大学）
避碰是视觉引导自主导航中的一项重要任务。基于深度强化学习（DRL）的解决方案越来越受欢迎。在这项工作中，我们提出了几种新的代理状态和奖励函数设计，以解决基于DRL的导航解决方案中的两个关键问题：1）训练的飞行轨迹的平滑性; 2）处理未知环境的模型泛化。在DRL框架下，我们的模型依赖于利润奖励和平滑约束，以确保无人机平稳飞行，同时大大减少碰撞的机会。所提出的平滑性奖励最小化了飞行轨迹的一阶和二阶导数的组合，这也可以驱动点均匀分布，从而导致稳定的飞行速度。为了提高智能体处理新的未知环境的能力，提出了两个实用的设置，以提高在不同场景中部署时的状态和奖励函数的不变性。实验证明了我们的整体设计和单个组件的有效性。
2022-10-12 cs.LG cs.RO
Driving in Real Life with Inverse Reinforcement Learning
Motional（Motional（自动驾驶公司））
在本文中，我们介绍了第一个基于学习的规划器，使用逆强化学习（IRL）在密集的城市交通中驾驶汽车。我们的规划器DriveIRL生成一组不同的轨迹建议，使用轻量级和可解释的安全过滤器过滤这些轨迹，然后使用学习模型对每个剩余轨迹进行评分。最佳轨迹由我们自动驾驶车辆的低级控制器跟踪。我们训练我们的轨迹评分模型在拉斯维加斯的最大熵IRL框架内的专家驾驶示范的500多小时的真实世界的数据集。DriveIRL的优势包括：由于只学习轨迹评分功能，相对可解释的功能和强大的现实世界性能，因此设计简单。我们在拉斯维加斯大道上验证了DriveIRL，并在交通繁忙的情况下展示了完全自动驾驶，包括涉及切入，领头车辆突然刹车和酒店接送区的场景。我们的数据集将公开，以帮助在这一领域的进一步研究。
2022-06-07 cs.AI cs.LG cs.RO
Multi-Agent Deep Reinforcement Learning Based Trajectory Planning for Multi-UAV Assisted Mobile Edge Computing
Department of Computer and Information Science, Northumbria University（诺森比亚大学计算机与信息科学系）；School of Electronic Engineering and Computer Science, Queen Mary University of London（伦敦玛丽女王大学电子工程与计算机科学学院）；National Mobile Communications Research Lab, Southeast University（东南大学国家移动通信研究实验室）；Purple Mountain Laboratories（紫金山实验室）；School of Electronics and Computer Science, University of Southampton（南安普顿大学电子与计算机科学学院）
提出了一种无人机辅助的移动边缘计算框架，其中多个具有不同轨迹的无人机在目标区域上空飞行并支持地面上的用户设备。我们的目标是联合优化所有UE之间的地理公平性，每个UAV的UE负载的公平性和UE的整体能耗。上述优化问题既包含整数变量又包含连续变量，求解起来具有挑战性。为了解决上述问题，提出了一种基于多智能体深度强化学习的轨迹控制算法，用于独立管理每个无人机的轨迹，其中应用了流行的多智能体深度确定性策略梯度（MADDPG）方法。给定UAV的轨迹，引入低复杂度方法以用于优化UE的卸载决策。我们表明，我们提出的解决方案具有相当大的性能比其他传统算法，无论是在公平性服务UE，公平性的UE负载在每个无人机和所有的UE的能量消耗。
2020-09-23 cs.LG eess.SP
Model-based Trajectory Stitching for Improved Offline Reinforcement Learning
University of Warwick（华威大学）；Alan Turing Institute（艾伦·图灵研究所）
在许多现实世界的应用中，收集大型和高质量的数据集可能过于昂贵或不切实际。离线强化学习（RL）的目的是从一组固定的数据中推断出最优的决策策略。从历史数据中获取最多的信息对于部署策略后的良好性能至关重要。我们提出了一个基于模型的数据增强策略，轨迹拼接（TS），以提高次优历史轨迹的质量。TS引入了看不见的行动加入以前断开的状态：使用状态可达性的概率概念，它有效地“缝合”在一起的历史演示部分，以生成新的，更高质量的。拼接事件由通过合成和高度可能的动作在一对观察状态之间的转换组成。根据估计的状态-价值函数，只有当预期新动作是有益的时，才引入新动作。我们表明，使用这种数据增强策略与行为克隆（BC）导致改进的行为克隆政策从原始数据集。然后，通过规划和演示指导的RL，可以将BC政策的改进用作在线RL的启动平台。
2022-11-21 cs.LG stat.ML
