Continuous Control with Deep Reinforcement Learning for Autonomous Vessels
Memorial University of Newfoundland（纽芬兰纪念大学）
海上自主运输在世界经济全球化中发挥了至关重要的作用。深度强化学习（DRL）已被应用于自动路径规划，以模拟公海中的船舶避碰情况。直接从输入中学习复杂映射的端到端方法在不同环境中达到目标的泛化能力很差。在这项工作中，我们提出了一种新的策略，称为状态动作旋转，以提高代理的性能在看不见的情况下，通过旋转获得的经验（状态动作状态），并将它们保存在重放缓冲区。我们设计了基于深度确定性策略梯度、局部视图生成器和规划器的模型。我们的代理使用两个深度卷积神经网络来估计策略和动作-价值函数。拟议的模型在蒙特利尔和哈利法克斯等城市的真实地图上进行了详尽的训练和海上场景测试。实验结果表明，CVN上的状态-动作旋转一致地将到达目的地的速率（RATD）提高了11.96%，相对于具有计划器和局部视图的血管导航器（VNPLV），并且在不可见映射中实现了高达30.82%的卓越性能。当在新环境中进行测试时，我们提出的方法在鲁棒性方面表现出优势，支持了可以通过使用状态-动作旋转来实现泛化的想法。
2021-06-27 cs.AI cs.RO
Reinforcement Learning from Demonstrations by Novel Interactive Expert and Application to Automatic Berthing Control Systems for Unmanned Surface Vessel
Beijing Jiaotong Univeristy（北京交通大学）；Beijing Institude of Petrochemical Technology（北京石油化工学院）
本文提出了两种实用的演示强化学习（RLfD）方法，并将其应用于无人水面船舶自动靠泊控制系统。提出了一种新的专家数据生成方法--基于模型预测的专家（MPBE）方法，该方法将模型预测控制和深度确定性策略梯度相结合，为RLfD算法提供高质量的监督数据。首先介绍了一种简单的RLfD方法，模型预测深度确定性策略梯度（MP-DDPG），通过用MPBE代替RL代理直接与环境交互。然后分析了MP-DDPG的分布失配问题，提出了两种缓解分布失配的技术。此外，另一种新的RLfD算法的MP-DDPG的基础上，称为自引导演员-评论家（SGAC），它可以有效地利用MPBE不断查询它，以产生高质量的专家数据在线。空间新一代咨询理事会以Dagger方式解决了导致学习过程不稳定的分布不匹配问题。此外，理论分析证明了SGAC算法可以保证单调改进的收敛性。仿真结果验证了MP-DDPG算法和SGAC算法在船舶靠泊控制任务中的有效性，并与其他典型的强化学习算法和MP-DDPG算法进行了比较，显示了SGAC算法的优越性。
2022-02-23 cs.LG cs.SY eess.SY
Robust Path Following on Rivers Using Bootstrapped Reinforcement Learning
Technische Universität Dresden（德累斯顿工业大学）
本文提出基于bootstrapped Q-learning与训练环境生成器的DRL智能体，用于内河航道自主水面船舶的导航与控制，相比PID控制器在真实河流数据上展现出更强的泛化能力与高导航精度。
2023-03-24 cs.AI cs.LG cs.RO
COLREG-Compliant Collision Avoidance for Unmanned Surface Vehicle using Deep Reinforcement Learning
Norwegian University of Science and Technology（挪威科技大学）；Oklahoma State University（俄克拉荷马州立大学）
路径跟踪和碰撞避免，无论是无人水面船只还是其他自主车辆，都是机器人技术中的两个基本导航问题。几十年来，它们一直受到学术研究的影响，导致了大量的拟议方法。然而，它们大多被视为单独的问题，并且通常依赖于非线性第一原理模型，其参数只能通过实验确定。近年来，深度强化学习（DRL）的兴起提出了一种替代方法：通过基于试错的方法从头开始对最佳指导策略进行端到端学习。在这篇文章中，我们探讨了潜在的近端策略优化（PPO），DRL算法与连续控制任务的最先进的性能，当应用到双目标问题的控制欠驱动自主水面车辆在COLREG兼容的方式，使其遵循一个先验已知的期望路径，同时避免与沿途其他船只碰撞。基于高保真度的海拔和AIS跟踪数据从特隆赫姆峡湾，入口的挪威海，我们评估训练有素的代理人的表现在具有挑战性的，动态的现实世界的情况下，代理的最终成功取决于其能力导航非均匀的海洋地形，同时处理具有挑战性的，但现实的船舶遭遇。
2020-06-16 cs.AI cs.LG cs.RO
Falsification-driven reinforcement learning for maritime motion planning
Technical University of Munich（慕尼黑技术大学）；University of California, Berkeley（加州大学伯克利分校）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）
提出一种证伪驱动的强化学习方法，通过生成对抗性训练场景（违反信号时态逻辑规范的海上交通规则）来提升自主船舶的规则遵守能力，实验表明该方法能提供更相关的训练场景并实现更一致的规则遵守。
2026-05-27 cs.LG cs.SY eess.SY
Goal-Conditioned Reinforcement Learning for Data-Driven Maritime Navigation
Faculty of Computer Science（计算机科学学院）
本文提出基于目标的强化学习方法，用于数据驱动的航海导航，通过多离散动作空间学习优化路线，结合动作掩码与正向奖励提升策略性能。
2025-09-01 cs.AI cs.LG
Responding to Illegal Activities Along the Canadian Coastlines Using Reinforcement Learning
University of Ottawa（渥太华大学）；Larus Technologies（拉鲁斯技术公司）
本文详细阐述了机器学习（ML）如何利用与海事领域安全相关的当代问题的解决方案。世界范围内的“非法、未报告和无管制"捕捞事件导致了严重的环境和经济后果，除了自然资源枯竭造成的经济损失外，还涉及我们生态系统的急剧变化。联合国粮食及农业组织（粮农组织）渔业和水产部（FAD）发布的一份报告显示，每年因IUU捕捞造成的损失达到250亿美元。这对海洋生态系统的未来生物多样性和国内国民生产总值造成了负面影响。因此，越来越需要强有力的拦截机制，以发现和追查海洋领土上持续不断的非法捕鱼事件。这篇文章解决的问题，协调运动的船队的海洋船舶（追求者），以赶上一个IUU船只，而仍然在当地水域。这个问题被公式化为一个在ML框架内解决的追赶者-逃避者问题。一个或多个追捕者，例如执法船只，拦截逃避者（即，非法渔船）使用基于值迭代过程的在线强化学习机制。它采用实时导航测量的规避船舶以及追求的船只和返回无模型拦截策略。
2021-08-05 cs.AI cs.LG cs.RO
Decision-making at Unsignalized Intersection for Autonomous Vehicles: Left-turn Maneuver with Deep Reinforcement Learning
Chongqing University（重庆大学）；Chongqing University Three Gorges Hospital（重庆大学三峡医院）
决策模块使自主车辆能够在复杂的城市环境中，特别是在交叉路口的情况下达到适当的机动。提出了一种基于深度强化学习（DRL）的无人驾驶汽车无信号交叉口左转决策框架。研究的目标是在一个四向无信号交叉口的自动车辆进行高效和安全的左转机动。已开发的DRL方法包括深度Q学习（DQL）和双DQL。仿真结果表明，该决策策略能有效降低碰撞率，提高传输效率。本研究亦显示所建构之左转控制结构具有良好之即时性。
2022-12-21 cs.AI cs.LG
AD4RL: Autonomous Driving Benchmarks for Offline Reinforcement Learning with Value-based Dataset
Soongsil University（崇实大学）
本文提出AD4RL基准，包含19个自动驾驶数据集（含真实人类驾驶数据）和七种离线强化学习算法在三种场景下的评估，并给出统一决策过程模型，为离线强化学习在自动驾驶中的实际应用研究奠定基础。
2024-04-03 cs.AI cs.LG
A Comparative Evaluation of Teacher-Guided Reinforcement Learning Techniques for Autonomous Cyber Operations
Royal Military College of Canada Electrical（加拿大皇家军事学院电气工程系）；Royal Military College of Canada Department of Mathematics（加拿大皇家军事学院数学系）
针对自主网络作战（ACO）中智能体从零学习导致收敛慢、早期性能差的问题，本研究在CybORG环境中实现四种教师引导强化学习技术并比较，发现教师集成可显著提升训练效率，为ACO提供优化方向。
2025-08-20 cs.AI cs.LG
Spatially and Seamlessly Hierarchical Reinforcement Learning for State Space and Policy space in Autonomous Driving
尽管分层强化学习取得了进展，但其在高速公路自动驾驶路径规划中的应用仍具有挑战性。一个原因是，传统的分层强化学习方法由于其风险性而不适用于自动驾驶：智能体必须避开多个障碍物，例如高度不可预测的其他智能体，因此安全区域很小，分散，并且随着时间的推移而变化。为了克服这一挑战，我们提出了一个空间层次强化学习方法的状态空间和政策空间。高层政策不仅选择行为子政策，而且在状态空间中选择关注区域，在政策空间中选择大纲区域。随后，低级策略在高级命令选择的区域的轮廓内详细说明代理的短期目标位置。该方法所建议的网络结构和优化方法与单级方法一样简洁。在具有各种形状道路的环境中进行的实验表明，我们的方法可以从早期事件中找到近乎最佳的策略，优于基线分层强化学习方法，特别是在狭窄和复杂的道路中。由此产生的道路轨迹与人类在行为规划层面上的策略相似。
2021-11-10 cs.AI cs.LG
Driving Tasks Transfer in Deep Reinforcement Learning for Decision-making of Autonomous Vehicles
Chongqing University（重庆大学）；University of Waterloo（滑铁卢大学）
知识转移是实现自动驾驶汽车实时决策的一个很有前途的概念。本文构建了一个迁移深度强化学习框架，用于跨路段环境下驾驶任务的迁移。自动驾驶汽车在无信号交叉口的行驶任务分为左转、右转和直行。自主车辆（AEV）的目标是高效、安全地通过交叉口。这一目标促使研究车辆提高速度，避免碰撞其他车辆。从一个驾驶任务中学习到的决策策略在另一个驾驶任务中进行传递和评估。仿真结果表明，与相似任务相关的决策策略是可传递的。结果表明，所提出的控制框架可以减少时间消耗，实现在线实施.
2020-10-10 cs.AI cs.LG
Transformer-Based Reinforcement Learning for Autonomous Orbital Collision Avoidance in Partially Observable Environments
Université Paris-Saclay, CentraleSupélec Engineering School, Department of Industrial Engineering（巴黎萨克雷大学，中央超导工程学院，工业工程系）
本文提出一种基于Transformer的强化学习框架，用于解决部分可观测环境下自主轨道避碰问题，通过结合可配置相遇模拟器、距离依赖观测模型和序列状态估计器，利用Transformer架构有效处理噪声和间歇性观测。
2026-02-05 cs.AI cs.LG
Autonomous Port Navigation With Ranging Sensors Using Model-Based Reinforcement Learning
University of Antwerp（安特卫普大学）；imec（比利时微电子研究中心）；University of Ghent（根特大学）
针对港口中不广播位置的动态障碍物，提出基于模型的强化学习导航算法，利用测距传感器和环境随机化实现未见场景泛化，并优于动态窗口法与无模型强化学习基准。
2023-11-17 cs.AI cs.RO
Evaluating the Robustness of Deep Reinforcement Learning for Autonomous Policies in a Multi-agent Urban Driving Environment
Simula Research Laboratory（西姆拉研究实验室）
深度强化学习被积极用于在模拟驾驶环境中训练自动驾驶汽车策略。由于各种强化学习算法的大量可用性以及缺乏对不同驾驶场景的系统比较，我们不确定哪些算法在单智能体和多智能体驾驶环境中更有效地训练自动驾驶汽车软件。在基于视觉的自动驾驶中比较深度强化学习的基准框架将为训练更好的自动驾驶汽车策略提供可能性。为了应对这些挑战，我们提供了一个开放且可重用的基准测试框架，用于在单智能体和多智能体环境中对自动驾驶的深度强化学习算法进行系统评估和比较分析。使用该框架，我们进行了离散和连续动作空间深度强化学习算法的比较研究。我们还提出了一个综合的多目标奖励函数，用于评估基于深度强化学习的自动驾驶代理。我们在一个只有视觉的高保真城市驾驶模拟环境中进行实验。结果表明，只有一些深度强化学习算法在各种仅多智能体环境设置中训练时，在单智能体和多智能体场景中表现得更好。例如，基于A3C和TD3的自动驾驶汽车在单智能体和多智能体场景中的更稳健的动作和最小的驾驶错误方面表现相对更好。我们的结论是，不同的深度强化学习算法在不同的场景下表现出不同的驱动和测试性能，这强调了对其进行系统比较分析的必要性。本文提出的基准框架有利于这种比较。
2023-03-23 cs.AI cs.LG cs.MA
Scaling Is All You Need: Autonomous Driving with JAX-Accelerated Reinforcement Learning
本文利用JAX加速的强化学习系统，结合高效逼真的驾驶模拟器，在自动驾驶领域进行大规模实验，证明策略性能随规模提升，最佳策略降低失败率64%并提高驾驶进展率25%。
2024-11-05 cs.AI cs.LG cs.RO
Controlling an Autonomous Vehicle with Deep Reinforcement Learning
University of Bremen（不来梅大学）
提出了一种基于深度强化学习的自主车辆控制方法。一个神经网络代理被训练来映射其估计的状态，以加速和转向命令给定的目标，达到一个特定的目标状态，同时考虑检测到的障碍。使用最先进的近端策略优化结合模拟环境来执行学习。从头开始的训练需要五到九个小时。由此产生的代理在模拟和随后应用到控制一个全尺寸的研究车辆进行评估。为此，考虑了停车场的自主探索，包括转弯机动和避障。总而言之，这项工作是第一个成功将深度强化学习应用于真实车辆的例子。
2020-03-13 cs.AI cs.LG cs.RO
VesNet-RL: Simulation-based Reinforcement Learning for Real-World US Probe Navigation
Technical University of Munich（慕尼黑工业大学）；Shanghai Jiao Tong University（上海交通大学）；Helmholtz Zentrum München（慕尼黑亥姆霍兹中心）；rechts der Isar University Hospital（伊萨尔河右岸大学医院）
超声（US）是最常见的医学成像方式之一，因为它是无辐射，低成本和实时的。在徒手US检查中，超声医师通常导航US探头以可视化具有丰富诊断信息的标准检查平面。然而，所得到的图像的再现性和稳定性经常受到操作者内和操作者间的变化。强化学习（RL）作为一种基于交互的学习方法，已经在视觉导航任务中证明了其有效性，但是，RL在泛化方面受到限制。为了应对这一挑战，我们提出了一个基于仿真的RL框架，用于美国探头对船舶标准纵向视图的真实导航。UNet用于提供来自US图像的二进制掩码;因此，在模拟二进制血管图像上训练的RL代理可以应用于真实场景，而无需进一步训练。为了准确地描述实际状态，引入了多模态状态表示结构，以促进对环境的理解。此外，考虑到船舶的特点，提出了一种新的基于最小外接矩形的标准视图识别方法来终止搜索过程。为了评估所提出的方法的有效性，训练的政策进行了验证，虚拟的志愿者的体内颈动脉的3D体积，并在物理上定制设计的凝胶phantomy使用机器人US。结果表明，所提出的方法可以有效地和准确地导航探头对血管的纵向视图。
2022-05-10 cs.AI cs.CV cs.RO
Autonomous Extracting a Hierarchical Structure of Tasks in Reinforcement Learning and Multi-task Reinforcement Learning
Washington State University（华盛顿州立大学）
强化学习（RL）虽然通常功能强大，但学习速度较慢，特别是在高维空间中。任务的自主分解和分层方法的使用有可能大大加快这些领域的学习。本文提出了一种新的实用方法，可以自主分解任务，利用关联规则挖掘，发现隐藏在数据采掘实体之间的关系。提出了一种新的基于关联规则挖掘的任务层次结构提取方法ARM-HSTRL（Association Rule Mining to extract Hierarchical Structure of Tasks in强化学习）。它提取强化学习中子目标的时间和结构关系，以及多任务强化学习。特别是，它找到了子目标和它们之间的关系。实验结果表明，该方法在强化学习的两个主要问题上具有显著的效率和性能。
2017-09-15 cs.AI
Failure-Scenario Maker for Rule-Based Agent using Multi-agent Adversarial Reinforcement Learning and its Application to Autonomous Driving
IBM Research AI（IBM研究AI）
我们研究的问题，对抗性强化学习的多代理域，包括基于规则的代理。基于规则的算法在安全关键型应用中是必需的，以便它们在各种情况下都能正常工作。因此，尽一切努力在开发阶段找到故障场景。然而，随着软件变得复杂，查找失败案例变得困难。特别是在多智能体领域，如自动驾驶环境，很难找到有用的故障场景，帮助我们改进算法。我们提出了一种方法，有效地找到失败的情况下，这种方法使用多智能体强化学习训练的对抗代理，这样测试的基于规则的代理失败。我们使用一个简单的环境和自动驾驶模拟器证明了我们所提出的方法的有效性。
2019-05-25 cs.AI cs.LG cs.RO
Autonomous Driving with Deep Reinforcement Learning in CARLA Simulation
University of Maryland, Baltimore County (UMBC)（马里兰大学巴尔的摩郡分校（UMBC））
本文利用深度Q学习算法，在CARLA仿真环境中训练自动驾驶策略，使车辆能以最高速度保持车道并避开其他车辆，并通过仿真验证了该方法的有效性。
2023-06-20 cs.AI cs.LG cs.RO
Reinforcement Learning Based Safe Decision Making for Highway Autonomous Driving
University of Alberta（阿尔伯塔大学）
在本文中，我们开发了一种在多车道、单智能体环境中自动驾驶汽车的安全决策方法。所提出的方法利用深度强化学习（RL）来实现安全战术决策的高级策略。我们解决了仅在自主导航中出现的两个主要挑战。首先，所提出的算法确保了冲突永远不会发生，因此加快了学习过程。其次，该算法考虑了环境中的不可观测状态。这些状态的出现主要是由于其他智能体（如汽车和行人）的不可预测行为，并使马尔可夫决策过程（MDP）在处理自主导航时出现问题。从一个著名的自动驾驶汽车模拟器的模拟证明了所提出的方法的适用性
2021-05-13 cs.AI cs.LG cs.RO
Deep Reinforcement Learning for Autonomous Driving: A Survey
Navya（纳维亚）；Valeo（法雷奥）；ENSTA Paris, Institut Polytechnique de Paris（巴黎理工学院巴黎高等先进技术学院）；AKKA Technologies（AKKA科技公司）；National University of Ireland, Galway（爱尔兰国立高威大学）
随着深度表示学习的发展，强化学习（RL）领域已经成为一个强大的学习框架，现在能够在高维环境中学习复杂的策略。本文总结了深度强化学习（DRL）算法，并提供了一个分类的自动驾驶任务，其中（D）RL方法已被采用，同时解决关键的计算挑战，在现实世界中部署的自动驾驶代理。它还描绘了相邻的领域，如行为克隆，模仿学习，逆强化学习，相关的，但不是经典的RL算法。模拟器在训练代理中的作用，验证，测试和鲁棒化RL中现有解决方案的方法进行了讨论。
2021-01-23 cs.AI cs.LG cs.RO
Safe Reinforcement Learning on Autonomous Vehicles
Honda Research Institute USA（美国本田研究所）
强化学习已经取得了许多进展，但学习过程的典型不受约束的探索阻止了这些方法在许多安全关键应用中的采用。安全强化学习的最新工作使用理想化模型来实现其保证，但这些模型不容易适应现实世界系统的随机性或高维性。我们研究了预测如何为约束探索提供一个通用和直观的框架，并展示了它如何用于安全地学习自动驾驶汽车上的交叉路口处理行为。
2019-09-27 cs.AI cs.LG cs.RO
Evaluation of Safety Constraints in Autonomous Navigation with Deep Reinforcement Learning
Moscow Institute of Physics and Technology（莫斯科物理技术学院）；AIRI（AIRI（人工智能研究所））；Federal Research Center for Computer Science and Control of Russian Academy of Sciences（俄罗斯科学院计算机科学与控制联邦研究中心）
本研究比较了考虑与不考虑安全约束的两种深度强化学习导航策略，证明安全策略能在不牺牲整体性能的前提下生成间隙更大、碰撞更少的轨迹。
2023-07-27 cs.AI cs.LG cs.RO
Autonomous Reinforcement Learning via Subgoal Curricula
Stanford University（斯坦福大学）；Google Brain（谷歌大脑）；UC Berkeley（加州大学伯克利分校）
强化学习（RL）有望使不同的智能体自主获取复杂的行为。然而，当前强化学习算法的成功是基于一个经常被忽视的要求-每次试验都需要从固定的初始状态分布开始。不幸的是，在每次试验之后将环境重置到其初始状态需要大量的人类监督和对环境的广泛仪器化，这挫败了自主获得复杂行为的目标。在这项工作中，我们提出了价值加速的持久性强化学习（VaPRL），它生成一个初始状态的课程，使代理可以引导成功的简单任务，有效地学习更难的任务。智能体还学习达到课程提出的初始状态，最大限度地减少对人类干预学习的依赖。我们观察到，VaPRL减少了三个数量级相比，情节RL所需的干预，同时优于现有的最先进的方法重置免费RL的样本效率和渐近性能的各种模拟机器人问题。
2021-10-27 cs.AI cs.LG cs.RO
DR2L: Surfacing Corner Cases to Robustify Autonomous Driving via Domain Randomization Reinforcement Learning
Tsinghua University（清华大学）
如何尽可能有效和彻底地探索角落案例一直是深度强化学习（DeepRL）自动驾驶背景下的首要问题之一。与利用真实世界数据相比，使用模拟数据进行训练的成本和危险性更低，但模拟器中参数分布的不一致性和不正确的系统建模总是导致不可避免的Sim2real差距，这可能是模拟器难以生成的新颖，异常和风险情况下表现不佳的原因。域随机化（DR）是一种方法，可以用很少或没有真实世界的数据来弥合这一差距。因此，在这项研究中，提出了一种对抗模型，以增强在模拟中训练的基于DeepRL的自动驾驶车辆，以逐渐出现更难的事件，以便模型可以很容易地转移到现实世界中。
2021-07-25 cs.AI cs.LG cs.RO
Safe Reinforcement Learning for Autonomous Vehicles through Parallel Constrained Policy Optimization
Tsinghua University（清华大学）；University of Michigan（密歇根大学）
强化学习（RL）由于其解决复杂分类和控制问题的潜力，在自动驾驶领域引起了越来越多的关注。然而，现有的强化学习算法很少应用于真实车辆，主要有两个问题：行为无法解释，并且它们无法保证新场景下的安全性。本文提出了一种安全的RL算法，称为并行约束策略优化（PCPO），两个自动驾驶任务。PCPO将目前常见的行动者-批评者结构扩展为一个三组件学习框架，其中三个神经网络分别用于逼近策略函数、价值函数和一个新添加的风险函数。同时，信任域约束的加入，允许大的更新步骤，而不打破单调改善条件。为了保证安全约束问题的可行性，采用同步并行学习器探索不同的状态空间，加快了学习和策略更新。对自动驾驶汽车的两种场景的模拟证实了我们可以在确保安全的同时实现快速学习。
2020-03-03 cs.AI cs.LG stat.ML
Reinforcement Learning for Autonomous Driving with Latent State Inference and Spatial-Temporal Relationships
Honda Research Institute US（美国本田研究所）；Stanford University（斯坦福大学）；University of California, Berkeley（加州大学伯克利分校）
深度强化学习（DRL）为复杂自动驾驶场景中的导航学习提供了一种很有前途的方法。然而，识别可能表明截然不同结果的微妙线索仍然是设计在人类环境中运行的自主系统的一个开放性问题。在这项工作中，我们表明，明确推断的潜在状态和编码的时空关系的强化学习框架可以帮助解决这个困难。我们通过一个框架，结合了强化学习者与监督学习者的潜在状态编码先验知识的其他驱动程序。此外，我们通过图神经网络（GNNs）对不同车辆之间的影响进行建模。与最先进的基线方法相比，所提出的框架显着提高了在T形交叉口导航的性能。
2021-03-24 cs.LG
Autonomous Racing using a Hybrid Imitation-Reinforcement Learning Architecture
SRM Institute of Science and Technology（SRM科学技术研究所）
在这项工作中，我们提出了一个严格的端到端的自动驾驶汽车控制策略，旨在最大限度地减少单圈时间的时间攻击赛车事件。我们还介绍了作为本研究项目的一部分开发的AutoRACE模拟器，该模拟器用于模拟精确的车辆和环境动力学以及逼真的视听效果。我们采用了一种混合模仿-强化学习架构，并制作了一种新颖的奖励函数来训练深度神经网络策略，以便在不到20小时的时间内自主驾驶（使用模仿学习）和比赛（使用强化学习）一辆汽车。部署结果报告为10个不同的人类玩家的10个自动圈与100个手动圈的直接比较。自主智能体不仅表现出优越的性能，比最佳手动圈速快了0.96秒，而且在平均圈速方面也领先人类选手1.46秒。这种优势可以通过自主智能体更好的轨迹优化和更低的反应时间来证明。
2022-11-26 cs.AI cs.LG cs.NE
Coordinated Multi-Agent Reinforcement Learning for Unmanned Aerial Vehicle Swarms in Autonomous Mobile Access Applications
Korea University（高丽大学）；Ajou University（亚洲大学）
本文针对自主移动接入场景，提出基于CTDE的多智能体深度强化学习方法，用单一神经网络集中训练多无人机协作，以最大化总服务质量。
2022-12-23 cs.AI cs.LG cs.MA
Autonomous Control of a Particle Accelerator using Deep Reinforcement Learning
Apple（苹果公司）；Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）
我们描述了一种使用深度强化学习结合高保真物理引擎来学习大型线性粒子加速器的最优控制策略的方法。该框架由一个人工智能控制器组成，该控制器使用深度神经网络进行状态和动作空间表示，并使用物理模拟器提供的奖励信号学习最佳策略。对于这项工作，我们只关注整个加速器的一小部分。然而，初步结果表明，我们可以实现优于人类水平的性能方面的粒子束流和分布。这项工作的最终目标是大幅减少这些设施的调谐时间，并实现近乎自主的控制。
2020-12-20 cs.AI cs.LG physics.acc-ph
Large Language Model-Based Reward Design for Deep Reinforcement Learning-Driven Autonomous Cyber Defense
本文提出利用大型语言模型设计奖励，以提升深度强化学习在自主网络防御中的效果。
2025-11-20 cs.AI cs.LG cs.MA
Towards Automated Safety Coverage and Testing for Autonomous Vehicles with Reinforcement Learning
University of Virginia（弗吉尼亚大学）
自动驾驶汽车（AV）安全测试可能需要的闭环验证超出了传统测试方法和离散验证的范围。验证将自动驾驶汽车系统置于其发布后在日常驾驶中可能遇到的场景或情况下进行测试。这些场景可以直接在物理（封闭试验场）或虚拟（模拟预定义场景）环境中控制，也可以在现实世界中的操作过程中自发出现（开放道路测试或模拟随机生成的场景）。在自动驾驶测试中，仿真主要有两个目的：帮助开发强大的自动驾驶汽车，并在发布前测试和验证自动驾驶汽车。由于涉及大量变量（其中大多数是连续的），从上述每个来源可以构建大量的情景变化，这带来了挑战。即使连续变量离散化，可能的组合数量也变得实际上不可行。为了克服这一挑战，我们建议使用强化学习（RL）来生成AV软件实现的失败示例和意外交通情况。尽管强化学习算法在游戏和一些机器人操作中取得了显著的效果，但这种技术还没有被广泛扩展到更具挑战性的现实世界应用中，如自动驾驶。
2020-05-22 cs.AI cs.LG cs.RO
Racing Towards Reinforcement Learning based control of an Autonomous Formula SAE Car
Centre for Automation and Robotic Engineering Science（自动化与机器人工程科学中心）；The University of Auckland（奥克兰大学）
针对大学生方程式无人驾驶赛事需求，开展深度强化学习用于自主赛车端到端控制的初步研究，在模拟环境训练两种前沿算法并实现真实赛道迁移，同时分析局限并给出未来方向。
2023-08-24 cs.AI cs.LG cs.RO
Deep Reinforcement Learning for Autonomous Vehicle Intersection Navigation
Moulay Ismail University（穆莱·伊斯梅尔大学）；Al Akhawayn University in Ifrane（伊夫兰阿卡韦恩大学）
本研究采用基于TD3的单智能体强化学习方法，在CARLA仿真中实现自动驾驶车辆高效安全地导航T型交叉路口，优于先前方法，降低了行驶延误和碰撞风险。
2023-10-16 cs.AI cs.LG cs.RO
Adversarial Deep Reinforcement Learning for Improving the Robustness of Multi-agent Autonomous Driving Policies
Simula Research Laboratory（Simula研究实验室）
众所周知，自动驾驶汽车容易受到对抗攻击的攻击，这些攻击可能危及汽车的安全，并对其他道路使用者构成危险。为了有效地防御对手，不仅需要测试自动驾驶汽车以发现驾驶错误，还需要提高汽车对这些错误的鲁棒性。为此，在本文中，我们提出了一种自动驾驶汽车的两步方法，包括（i）通过训练对抗性驾驶代理来发现自动驾驶汽车的故障状态，以及（ii）通过使用有效的对抗性输入重新训练自动驾驶汽车来提高自动驾驶汽车的鲁棒性。我们的方法支持在多智能体环境中测试自动驾驶汽车，在那里我们训练并比较两个自定义奖励函数上的对抗性汽车策略，以测试自动驾驶汽车的驾驶控制决策。我们在基于视觉的高保真城市驾驶模拟环境中进行实验。我们的研究结果表明，对抗性测试可用于发现错误的自动驾驶行为，然后进行对抗性训练，以提高基于深度强化学习的自动驾驶策略的鲁棒性。我们证明，使用有效的对抗性输入重新训练的自动驾驶汽车在减少碰撞和越野转向错误方面显着提高了其驾驶策略的性能。
2023-02-21 cs.AI
Simulated Autonomous Driving on Realistic Road Networks using Deep Reinforcement Learning
vsi.cs.uni-frankfurt.de（法兰克福大学vsi.cs（vsi.cs.uni-frankfurt.de））；cs.uni-frankfurt.de（法兰克福大学计算机科学系（cs.uni-frankfurt.de））
使用深度强化学习（DRL）可以成为处理（模拟）自动驾驶领域各种任务的一种有前途的方法。然而，最近的出版物主要考虑在不寻常的驾驶环境中学习。本文介绍了驾驶学校的自主智能体（DSA ^2），一个软件，用于验证DRL算法在更常见的驾驶环境的基础上，人工和现实的道路网络。我们还介绍了应用DSA ^2处理直线道路上驾驶的任务，同时根据不同的速度限制调节一辆车的速度的结果。
2018-04-03 cs.AI
Risk-based implementation of COLREGs for autonomous surface vehicles using deep reinforcement learning
Norwegian University of Science and Technology（挪威科技大学）；Equinor（挪威国家石油公司）；Technical University of Munich（慕尼黑工业大学）；Oklahoma State University（俄克拉荷马州立大学）
自主系统正在变得无处不在，并在海洋部门获得动力。由于交通运输的电气化正在同时发生，自主海洋船舶可以减少对环境的影响、降低成本并提高效率。虽然仍需要密切监控以确保安全，但最终目标是完全自主。一个重要的里程碑是开发一个控制系统，该系统具有足够的通用性，可以处理任何天气和遭遇，同时也是强大和可靠的。此外，控制系统必须遵守国际海上避碰规则（COLREG），以便与人类水手成功互动。由于COLREG是为人类大脑解释而写的，它们是用模棱两可的散文写的，因此不能机器可读或验证。由于这些挑战和各种各样的情况下，要解决的，经典的基于模型的方法证明是复杂的实施和计算量大。在机器学习（ML）中，深度强化学习（DRL）已显示出广泛应用的巨大潜力。DRL的无模型和自学习特性使其成为自主船舶的一个有前途的候选者。在这项工作中，一个子集的COLREG被纳入基于DRL的路径跟踪和避障系统，使用碰撞风险理论。由此产生的自主智能体动态插值路径跟踪和COLREG兼容的碰撞避免在训练方案，孤立的遭遇情况下，和基于AIS的模拟现实世界的情况。
2021-11-30 cs.AI cs.RO
Model-Reference Reinforcement Learning Control of Autonomous Surface Vehicles with Uncertainties
Delft University of Technology（代尔夫特理工大学）
针对不确定自主水面航行器提出了一种新的模型参考强化学习控制方法。所提出的控制将传统控制方法与深度强化学习相结合。使用传统控制，我们可以确保基于学习的控制律为整个系统提供闭环稳定性，并可能提高深度强化学习的采样效率。通过强化学习，我们可以直接学习控制律来补偿模型的不确定性。在所提出的控制中，使用名义系统来使用传统控制方法设计基线控制律。标称系统还定义了不确定的自动驾驶车辆要遵循的期望性能。与传统的深度强化学习方法相比，我们提出的基于学习的控制可以提供稳定性保证和更好的采样效率。我们通过大量的仿真结果证明了新算法的性能。
2020-03-30 cs.AI cs.LG cs.RO
Deep Reinforcement-Learning-based Driving Policy for Autonomous Road Vehicles
Technical University of Crete（克里特理工大学）；University of Malta（马耳他大学）
在这项工作中，被认为是在高速公路上移动的自主车辆的路径规划问题。用于解决该问题的最常见的方法是基于最优控制方法，该方法对环境模型和系统动态进行假设。相反，这项工作提出了基于强化学习的驱动策略的发展。通过这种方式，所提出的驾驶策略对环境做出最小假设或不做假设，因为不需要关于系统动态的先验知识。考虑了道路被自动驾驶和手动驾驶车辆占用的驾驶场景。据我们所知，这是提出混合驾驶环境的强化学习驾驶策略的首批方法之一。推导出的强化学习策略，首先，通过动态规划推导出的最优策略进行比较，其次，其效率进行了评估下所建立的SUMO微观交通流模拟器产生的现实场景。最后，一些初步的结果，自动驾驶汽车的行为对整体交通流量的影响。
2020-02-18 cs.AI cs.CY cs.LG
Reinforcement Learning in Conflicting Environments for Autonomous Vehicles
Technische Universität München（慕尼黑工业大学）
在这项工作中，我们研究应用强化学习两个著名的决策困境，即纽科姆的问题和囚徒困境。这些问题是自主智能体在与人类交互时所面临的困境的典范。此外，我们认为，一个纽科姆式的配方是更充分的人机交互的情况下，经验表明，未经修改的强化学习算法最终与众所周知的最大期望效用的解决方案。
2016-10-22 cs.AI cs.HC cs.RO
Multi-Agent Reinforcement Learning for Autonomous UAV Exploration in Wildfire Response
本研究提出深度强化学习框架训练无人机智能体在模拟野火环境中导航监测，实验显示其行为稳定有效，凸显DRL无人机系统在自主野火监测中的潜力。
2026-09-10 cs.LG cs.RO
Autonomous UAV Navigation: A DDPG-based Deep Reinforcement Learning Approach
Stevens Institute of Technology（斯蒂文斯理工学院）；University of Carthage（迦太基大学）
在本文中，我们提出了一个自主无人机路径规划框架，使用深度强化学习方法。其目标是采用一个自我训练的无人机作为一个飞行的移动单元，以达到空间分布的移动或静态目标在一个给定的三维城市区域。在该方法中，设计了一个具有连续动作空间的深度确定性策略梯度（DDPG）来训练无人机穿越障碍物到达指定目标。设计了一个自定义的奖励函数，以最小化无人机与其目的地之间的距离，同时惩罚碰撞。数值模拟研究了无人机在学习环境和自主确定不同选定场景的轨迹方面的行为。
2020-03-21 cs.AI cs.LG cs.RO
An Independent Study of Reinforcement Learning and Autonomous Driving
University of Michigan（密歇根大学）
强化学习已经成为近十年来最热门的研究课题之一。它已经在机器人操作、自动驾驶、路径规划、计算机游戏等各个领域得到了应用。我们在这个项目的过程中完成了三项任务。首先，我们研究了表格环境下的Q-学习算法，并将其成功地应用于OpenAi Gym环境Taxi。其次，我们理解并实现了Cart-Pole环境下的深度Q网络算法。第三，我们还研究了强化学习在自动驾驶中的应用，以及与安全检查约束（安全控制器）的结合。我们使用高速公路健身房环境训练了一个粗糙的自动驾驶智能体，并探讨了奖励函数等各种环境配置对智能体训练性能的影响。
2021-08-20 cs.AI cs.RO
Simulated Autonomous Driving in a Realistic Driving Environment using Deep Reinforcement Learning and a Deterministic Finite State Machine
Goethe University（歌德大学）；Norwegian University of Science and Technology（挪威科技大学）
在自动驾驶领域，控制车辆的系统可以被视为在复杂环境中行动的智能体，因此自然适合强化学习的现代框架。然而，学习驾驶可能是一项具有挑战性的任务，目前的结果往往局限于简化的驾驶环境。为了推进该领域，我们提出了一种方法，根据其当前的驾驶情况自适应地限制代理的动作空间，并表明它可以用于在基于深度Q网络算法的现实环境中快速学习驾驶。
2018-11-23 cs.AI
CIMRL: Combining IMitation and Reinforcement Learning for Safe Autonomous Driving
Nuro, Inc.（Nuro公司）
本文提出CIMRL框架，结合模仿学习和强化学习，利用模仿先验与安全约束在仿真中训练驾驶策略，无需复杂奖励设计，在闭环仿真和真实驾驶基准中达到最先进性能。
2024-11-11 cs.LG
CRLLK: Constrained Reinforcement Learning for Lane Keeping in Autonomous Driving
Nanyang Technological University（南洋理工大学）；Indian Institute of Technological（印度技术学院）；Indian Institute of Technology（印度理工学院）
提出将车道保持建模为约束强化学习，自动学习权重系数，免去场景特定调整，实验证明其优于传统RL并具有实际应用价值。
2025-03-28 cs.LG cs.RO
Optimizing Low-Speed Autonomous Driving: A Reinforcement Learning Approach to Route Stability and Maximum Speed
本文提出一种基于强化学习的低速自动驾驶策略优化方法，在保证安全和路线准确性的前提下，使车辆稳定保持接近最高速度行驶。
2024-12-20 cs.AI cs.RO
Model-free Deep Reinforcement Learning for Urban Autonomous Driving
University of California, Berkeley（加州大学伯克利分校）
城市自动驾驶决策是具有挑战性的，由于复杂的道路几何形状和多智能体的相互作用。目前的决策方法大多是人工设计的驱动策略，这可能会导致次优的解决方案，是昂贵的开发，推广和维护规模。另一方面，通过强化学习（RL），可以自动学习和改进策略，而无需任何手动设计。然而，目前的RL方法一般不工作，以及复杂的城市场景。在本文中，我们提出了一个框架，在具有挑战性的城市自动驾驶场景中实现无模型深度强化学习。我们设计了一个特定的输入表示，并使用视觉编码来捕获低维的潜在状态。我们的框架中实现了几种最先进的无模型深度RL算法，并采用了几种技巧来提高其性能。我们评估我们的方法在一个具有挑战性的迂回任务与密集的周围车辆在一个高清晰度的驾驶模拟器。结果表明，我们的方法可以很好地解决该任务，并且明显优于基线。
2019-10-21 cs.AI cs.CV cs.LG
Improved Robustness and Safety for Autonomous Vehicle Control with Adversarial Reinforcement Learning
Stanford University（斯坦福大学）
为了提高自动驾驶汽车的效率并减少故障，研究重点是开发考虑环境干扰的鲁棒和安全的学习方法。现有的鲁棒强化学习文献将学习问题视为自治系统和干扰之间的两人博弈。本文研究了解决该游戏的两种不同算法：鲁棒对抗性强化学习和神经虚拟自我游戏，并比较了自动驾驶场景的性能。我们将游戏配方扩展到半竞争环境，并证明由此产生的对手更好地捕捉有意义的干扰，导致更好的整体性能。与传统强化学习方法产生的基线控制策略相比，所得到的鲁棒策略在有效降低碰撞率的同时提高了驾驶效率。
2019-03-08 cs.LG cs.RO stat.ML
Towards Autonomous Pipeline Inspection with Hierarchical Reinforcement Learning
University of Twente（特文特大学）；Jönköping University（延雪平大学）
检测和维护是工业管道设备的两个关键方面。虽然机器人技术在管道检测机器人的机械设计方面取得了巨大的进步，但由于执行器数量多和所需的复杂操纵，这种机器人的自主控制仍然是一个巨大的挑战。为了解决这个问题，我们研究了深度强化学习的使用，以实现复杂拓扑结构的管道网络中的管道机器人的自主导航。此外，我们引入了一个分层的策略分解的基础上分层强化学习学习强大的高层次的导航技能。我们表明，在政策中引入的层次结构是通过管道解决导航任务的基础，实现导航性能优于人类水平的控制是必要的。
2021-07-08 cs.AI cs.RO
A Deep Reinforcement Learning Strategy for UAV Autonomous Landing on a Platform
Zhejiang University（浙江大学）
随着工业的发展，无人机出现在各个领域。近年来，深度强化学习在游戏领域取得了令人瞩目的成绩，我们致力于将深度强化学习算法应用于机器人领域，将强化学习算法从游戏场景走向现实应用场景。我们受到OpenAI Gym的LunarLander的启发，决定在强化学习领域进行一次大胆的尝试，来控制无人机。目前，将强化学习算法应用于机器人控制的工作还比较缺乏，与机器人控制相关的物理仿真平台只适合于经典算法的验证，不适合接入强化学习算法进行训练。在本文中，我们将面对这个问题，弥合物理仿真平台和智能代理之间的差距，将智能代理连接到物理仿真平台，让代理在近似真实世界的模拟器中学习和完成无人机飞行任务。提出了一种基于Gazebo的物理仿真平台（ROS-RL）的强化学习框架，并在该框架中使用三种连续动作空间强化学习算法来处理无人机自主着陆问题。实验证明了算法的有效性，基于强化学习的无人机自主着陆任务取得了圆满成功。
2022-09-07 cs.AI cs.RO
Prioritized Experience-based Reinforcement Learning with Human Guidance for Autonomous Driving
Nanyang Technological University（南洋理工大学）
强化学习（Reinforcement learning，RL）需要巧妙的定义和大量的计算工作来解决优化和控制问题，这可能会影响其应用前景。将人类指导引入强化学习是提高学习性能的一种有前途的方法。本文建立了一个综合的基于人的指导的强化学习框架。为了提高强化学习算法的效率和性能，提出了一种适应强化学习过程中人工指导的经验优先回放机制.为了减轻人类参与者的繁重工作量，基于增量式在线学习方法建立行为模型来模仿人类行为。我们设计了两个具有挑战性的自动驾驶任务来评估所提出的算法。通过实验研究了该算法的训练和测试性能以及学习机制。对国家的最先进的方法的比较结果表明，我们的算法在学习效率，性能和鲁棒性方面的优势。
2022-11-29 cs.LG cs.RO
