A Guidance and Maneuvering Control System Design with Anti-collision Using Stream Functions with Vortex Flows for Autonomous Marine Vessels
University of Michigan（密歇根大学）；Norwegian University of Science and Technology（挪威科技大学）；Tsinghua University（清华大学）
预计自主海洋船舶将避免船舶之间的碰撞，并遵守国际安全航行条例。提出了一种基于流函数的分步路径规划方法。采用流体的动态流动作为引导模型，通过在汇流中应用圆形定理来实现静态环境中的碰撞避免。我们将这种方法扩展到动态环境中，通过在流场中加入涡流。流函数被递归地更新，以实现飞行中的路点决策。该船避免碰撞，并遵守《国际海上避碰规则公约》的若干规则。该方法在概念上和计算上都很简单，调整方便，但通用性强，可以处理具有多个动态障碍物的复杂和密集的海上交通。考虑到船舶动力学，通过使用Bézier曲线来生成具有可行曲率的足够光滑的路径。数值模拟进行了验证所提出的方法。
2022-04-16 cs.RO cs.SY eess.SY
Using Deep Reinforcement Learning Methods for Autonomous Vessels in 2D Environments
Institute for Big Data Analytics, Dalhousie University（达尔豪西大学大数据分析研究所）；Institute for Computer Science, Polish Academy of Sciences（波兰科学院计算机科学研究所）
无人水面车辆技术（USVs）是一个令人兴奋的话题，它基本上是部署一种算法来安全有效地执行任务。尽管强化学习是一种众所周知的建模这种任务的方法，但当结合偏离策略和函数近似时，可能会发生不稳定和发散。在这项工作中，我们使用深度强化学习将Q学习与神经表示相结合，以避免不稳定性。我们的方法使用深度Q学习，并将其与敏捷方法的滚动波规划方法相结合。我们的方法包含两个关键部分，以便在未知环境中执行任务。第一种是路径规划器，负责生成到达目的地的潜在有效路径，而不考虑根的细节。后者是一个决策模块，负责在价值函数的背景下，在不久的将来USV开发步骤中避免障碍物的短期决策。使用两种算法进行模拟：一个基本的香草血管导航仪（VVN）作为基线和一个改进的血管导航仪与计划和局部视图（VNPLV）。实验结果表明，所提出的方法提高了VVN的性能平均为55.31长距离任务。我们的模型通过深度强化学习在未知环境中规划自适应路径，成功地证明了避障。
2020-03-23 cs.AI cs.LG
This is the Way: Mitigating the Roll of an Autonomous Uncrewed Surface Vessel in Wavy Conditions Using Model Predictive Control
Ingenuity Labs Research Institute（Ingenuity Labs 研究院）
本文针对波浪条件下的无人水面艇，提出了一种基于船舶动力学和波浪模型的非线性模型预测控制（NMPC）系统，通过调整成本函数权重最小化平均横摇，实验证明其能减少39%的平均横摇，为实时规划与控制奠定了基础。
2024-08-27 cs.RO cs.SY eess.SY
Temporal-IRL: Modeling Port Congestion and Berth Scheduling with Inverse Reinforcement Learning
Sichuan University（四川大学）；Massachusetts Institute of Technology（麻省理工学院）
本文提出Temporal-IRL模型，利用逆强化学习从历史AIS数据中重构泊位调度并学习奖励函数，以预测船舶排序和港口停留时间，从而准确预测港口拥堵。
2025-06-24 cs.AI
Autonomous Port Navigation With Ranging Sensors Using Model-Based Reinforcement Learning
University of Antwerp（安特卫普大学）；imec（比利时微电子研究中心）；University of Ghent（根特大学）
针对港口中不广播位置的动态障碍物，提出基于模型的强化学习导航算法，利用测距传感器和环境随机化实现未见场景泛化，并优于动态窗口法与无模型强化学习基准。
2023-11-17 cs.AI cs.RO
Intelligent Sailing Model for Open Sea Navigation
University of California, Berkeley（加州大学伯克利分校）；Technical University of Munich（慕尼黑技术大学）
提出首个智能航行模型（ISM），模拟遵守海上交通规则的船舶，结合模型预测控制实现航点跟踪，在交互仿真中达到约97%的目标到达率且无碰撞。
2026-06-16 cs.RO cs.SY eess.SY
Digital Twin of Autonomous Surface Vessels for Safe Maritime Navigation Enabled through Predictive Modeling and Reinforcement Learning
Norwegian University of Science and Technology（挪威科技大学）；SINTEF Digital（SINTEF数字研究院）
本文在现有ASV数字孪生框架上，结合AIS与合成Lidar目标跟踪、NMPC预测安全滤波器和Unity实现，赋予自主水面船预测、情景推演与最优控制决策能力，以提升海上导航安全。
2024-03-30 cs.RO cs.SY eess.SY
A Time and Place to Land: Online Learning-Based Distributed MPC for Multirotor Landing on Surface Vessel in Waves
Ingenuity Labs Research Institute（Ingenuity Labs 研究院）
针对波浪中无人水面艇倾斜运动导致多旋翼无人机着陆难的问题，提出基于高斯过程学习的分布式MPC框架，仅共享目标信息减少通信延迟，室内实验验证其着陆成功率较忽略倾斜的方法提升53%。
2024-10-29 cs.RO
Does Latent Context Help? A Controlled Evaluation of Inverse Reinforcement Learning in Arctic Shipping
本研究通过对北极航运航次的受控评估，发现非线性共享奖励模型优于线性基线，添加船舶特定潜在上下文反而降低性能，表明可观测特征已能解释行为差异，为安全关键领域的AI部署提供支持。
2026-08-07 cs.AI cs.LG cs.MA
Deep Learning Guided Autonomous Surgery: Guiding Small Needles into Sub-Millimeter Scale Blood Vessels
Johns Hopkins University（约翰斯·霍普金斯大学）；Wilmer Eye Institute, Johns Hopkins University Hospital（约翰斯·霍普金斯医院威尔默眼科研究所）
提出一种基于深度学习与视觉伺服的自主视网膜静脉插管系统，实现亚毫米级精度导航与安全针插入，在猪眼实验中全部成功且优于人类操作员。
2023-06-16 cs.RO
Fusion of Indirect Methods and Iterative Learning for Persistent Velocity Trajectory Optimization of a Sustainably Powered Autonomous Surface Vessel
University of Michigan（密歇根大学）
针对太阳能ASV长期信息收集与持续可行性问题，本文用障碍函数收紧荷电状态约束，并结合间接最优控制与迭代学习得到无需太阳预报的闭式速度控制律。
2025-03-13 cs.RO
Model Predictive Path Integral Docking of Fully Actuated Surface Vessel
Indian Institute of Technology Madras（马德拉斯印度理工学院）
针对水面船舶自主靠泊难题，提出融合MPPI概率轨迹优化、多目标代价函数与实时LiDAR船坞检测的控制框架，并在高保真物理仿真中验证其安全性、精度与平稳性。
2025-01-16 cs.RO
Robust Path Following on Rivers Using Bootstrapped Reinforcement Learning
Technische Universität Dresden（德累斯顿工业大学）
本文提出基于bootstrapped Q-learning与训练环境生成器的DRL智能体，用于内河航道自主水面船舶的导航与控制，相比PID控制器在真实河流数据上展现出更强的泛化能力与高导航精度。
2023-03-24 cs.AI cs.LG cs.RO
Risk-based implementation of COLREGs for autonomous surface vehicles using deep reinforcement learning
Norwegian University of Science and Technology（挪威科技大学）；Equinor（挪威国家石油公司）；Technical University of Munich（慕尼黑工业大学）；Oklahoma State University（俄克拉荷马州立大学）
自主系统正在变得无处不在，并在海洋部门获得动力。由于交通运输的电气化正在同时发生，自主海洋船舶可以减少对环境的影响、降低成本并提高效率。虽然仍需要密切监控以确保安全，但最终目标是完全自主。一个重要的里程碑是开发一个控制系统，该系统具有足够的通用性，可以处理任何天气和遭遇，同时也是强大和可靠的。此外，控制系统必须遵守国际海上避碰规则（COLREG），以便与人类水手成功互动。由于COLREG是为人类大脑解释而写的，它们是用模棱两可的散文写的，因此不能机器可读或验证。由于这些挑战和各种各样的情况下，要解决的，经典的基于模型的方法证明是复杂的实施和计算量大。在机器学习（ML）中，深度强化学习（DRL）已显示出广泛应用的巨大潜力。DRL的无模型和自学习特性使其成为自主船舶的一个有前途的候选者。在这项工作中，一个子集的COLREG被纳入基于DRL的路径跟踪和避障系统，使用碰撞风险理论。由此产生的自主智能体动态插值路径跟踪和COLREG兼容的碰撞避免在训练方案，孤立的遭遇情况下，和基于AIS的模拟现实世界的情况。
2021-11-30 cs.AI cs.RO
COLREG-Compliant Collision Avoidance for Unmanned Surface Vehicle using Deep Reinforcement Learning
Norwegian University of Science and Technology（挪威科技大学）；Oklahoma State University（俄克拉荷马州立大学）
路径跟踪和碰撞避免，无论是无人水面船只还是其他自主车辆，都是机器人技术中的两个基本导航问题。几十年来，它们一直受到学术研究的影响，导致了大量的拟议方法。然而，它们大多被视为单独的问题，并且通常依赖于非线性第一原理模型，其参数只能通过实验确定。近年来，深度强化学习（DRL）的兴起提出了一种替代方法：通过基于试错的方法从头开始对最佳指导策略进行端到端学习。在这篇文章中，我们探讨了潜在的近端策略优化（PPO），DRL算法与连续控制任务的最先进的性能，当应用到双目标问题的控制欠驱动自主水面车辆在COLREG兼容的方式，使其遵循一个先验已知的期望路径，同时避免与沿途其他船只碰撞。基于高保真度的海拔和AIS跟踪数据从特隆赫姆峡湾，入口的挪威海，我们评估训练有素的代理人的表现在具有挑战性的，动态的现实世界的情况下，代理的最终成功取决于其能力导航非均匀的海洋地形，同时处理具有挑战性的，但现实的船舶遭遇。
2020-06-16 cs.AI cs.LG cs.RO
An Independent Study of Reinforcement Learning and Autonomous Driving
University of Michigan（密歇根大学）
强化学习已经成为近十年来最热门的研究课题之一。它已经在机器人操作、自动驾驶、路径规划、计算机游戏等各个领域得到了应用。我们在这个项目的过程中完成了三项任务。首先，我们研究了表格环境下的Q-学习算法，并将其成功地应用于OpenAi Gym环境Taxi。其次，我们理解并实现了Cart-Pole环境下的深度Q网络算法。第三，我们还研究了强化学习在自动驾驶中的应用，以及与安全检查约束（安全控制器）的结合。我们使用高速公路健身房环境训练了一个粗糙的自动驾驶智能体，并探讨了奖励函数等各种环境配置对智能体训练性能的影响。
2021-08-20 cs.AI cs.RO
Optimizing Low-Speed Autonomous Driving: A Reinforcement Learning Approach to Route Stability and Maximum Speed
本文提出一种基于强化学习的低速自动驾驶策略优化方法，在保证安全和路线准确性的前提下，使车辆稳定保持接近最高速度行驶。
2024-12-20 cs.AI cs.RO
Real-Time Navigation for Autonomous Surface Vehicles In Ice-Covered Waters
University of Waterloo（滑铁卢大学）；National Research Council Canada（加拿大国家研究委员会）
针对冰覆盖水域中自主水面舰艇的实时导航问题，提出一种基于栅格和滚动时域规划的框架，通过最小化碰撞与航程代价，并结合新型启发式方法，在模拟与真实实验中验证了其在不同冰浓度下的有效性。
2023-02-24 cs.RO
Towards Autonomous Pipeline Inspection with Hierarchical Reinforcement Learning
University of Twente（特文特大学）；Jönköping University（延雪平大学）
检测和维护是工业管道设备的两个关键方面。虽然机器人技术在管道检测机器人的机械设计方面取得了巨大的进步，但由于执行器数量多和所需的复杂操纵，这种机器人的自主控制仍然是一个巨大的挑战。为了解决这个问题，我们研究了深度强化学习的使用，以实现复杂拓扑结构的管道网络中的管道机器人的自主导航。此外，我们引入了一个分层的策略分解的基础上分层强化学习学习强大的高层次的导航技能。我们表明，在政策中引入的层次结构是通过管道解决导航任务的基础，实现导航性能优于人类水平的控制是必要的。
2021-07-08 cs.AI cs.RO
A Deep Reinforcement Learning Strategy for UAV Autonomous Landing on a Platform
Zhejiang University（浙江大学）
随着工业的发展，无人机出现在各个领域。近年来，深度强化学习在游戏领域取得了令人瞩目的成绩，我们致力于将深度强化学习算法应用于机器人领域，将强化学习算法从游戏场景走向现实应用场景。我们受到OpenAI Gym的LunarLander的启发，决定在强化学习领域进行一次大胆的尝试，来控制无人机。目前，将强化学习算法应用于机器人控制的工作还比较缺乏，与机器人控制相关的物理仿真平台只适合于经典算法的验证，不适合接入强化学习算法进行训练。在本文中，我们将面对这个问题，弥合物理仿真平台和智能代理之间的差距，将智能代理连接到物理仿真平台，让代理在近似真实世界的模拟器中学习和完成无人机飞行任务。提出了一种基于Gazebo的物理仿真平台（ROS-RL）的强化学习框架，并在该框架中使用三种连续动作空间强化学习算法来处理无人机自主着陆问题。实验证明了算法的有效性，基于强化学习的无人机自主着陆任务取得了圆满成功。
2022-09-07 cs.AI cs.RO
VesNet-RL: Simulation-based Reinforcement Learning for Real-World US Probe Navigation
Technical University of Munich（慕尼黑工业大学）；Shanghai Jiao Tong University（上海交通大学）；Helmholtz Zentrum München（慕尼黑亥姆霍兹中心）；rechts der Isar University Hospital（伊萨尔河右岸大学医院）
超声（US）是最常见的医学成像方式之一，因为它是无辐射，低成本和实时的。在徒手US检查中，超声医师通常导航US探头以可视化具有丰富诊断信息的标准检查平面。然而，所得到的图像的再现性和稳定性经常受到操作者内和操作者间的变化。强化学习（RL）作为一种基于交互的学习方法，已经在视觉导航任务中证明了其有效性，但是，RL在泛化方面受到限制。为了应对这一挑战，我们提出了一个基于仿真的RL框架，用于美国探头对船舶标准纵向视图的真实导航。UNet用于提供来自US图像的二进制掩码;因此，在模拟二进制血管图像上训练的RL代理可以应用于真实场景，而无需进一步训练。为了准确地描述实际状态，引入了多模态状态表示结构，以促进对环境的理解。此外，考虑到船舶的特点，提出了一种新的基于最小外接矩形的标准视图识别方法来终止搜索过程。为了评估所提出的方法的有效性，训练的政策进行了验证，虚拟的志愿者的体内颈动脉的3D体积，并在物理上定制设计的凝胶phantomy使用机器人US。结果表明，所提出的方法可以有效地和准确地导航探头对血管的纵向视图。
2022-05-10 cs.AI cs.CV cs.RO
Responding to Illegal Activities Along the Canadian Coastlines Using Reinforcement Learning
University of Ottawa（渥太华大学）；Larus Technologies（拉鲁斯技术公司）
本文详细阐述了机器学习（ML）如何利用与海事领域安全相关的当代问题的解决方案。世界范围内的“非法、未报告和无管制"捕捞事件导致了严重的环境和经济后果，除了自然资源枯竭造成的经济损失外，还涉及我们生态系统的急剧变化。联合国粮食及农业组织（粮农组织）渔业和水产部（FAD）发布的一份报告显示，每年因IUU捕捞造成的损失达到250亿美元。这对海洋生态系统的未来生物多样性和国内国民生产总值造成了负面影响。因此，越来越需要强有力的拦截机制，以发现和追查海洋领土上持续不断的非法捕鱼事件。这篇文章解决的问题，协调运动的船队的海洋船舶（追求者），以赶上一个IUU船只，而仍然在当地水域。这个问题被公式化为一个在ML框架内解决的追赶者-逃避者问题。一个或多个追捕者，例如执法船只，拦截逃避者（即，非法渔船）使用基于值迭代过程的在线强化学习机制。它采用实时导航测量的规避船舶以及追求的船只和返回无模型拦截策略。
2021-08-05 cs.AI cs.LG cs.RO
A Reinforcement Learning Benchmark for Autonomous Driving in Intersection Scenarios
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
近年来，城市交叉口控制成为一个新兴的研究课题.在这种情况下，自动驾驶汽车面临着复杂的情况，因为它必须在遵守交通规则的同时及时处理与社会车辆的交互。通常，自动驾驶车辆应该在追求更高效率的同时避免碰撞。现有的工作未能提供一个框架，强调场景的完整性，同时能够部署和测试强化学习（RL）方法。具体来说，我们提出了一个基准，在复杂的交叉路口场景中，这是所谓的RL-CIS的训练和测试基于RL的自动驾驶代理。然后，部署了一组由各种算法组成的基线。测试基准和基线是为交叉口场景下的自动驾驶RL研究提供一个公平、全面的训练和测试平台，推动基于RL的交叉口自动驾驶控制方法的发展。我们提出的框架的代码可以在https://github.com/liuyuqi123/ComplexUrbanScenarios上找到。
2021-09-22 cs.AI cs.RO
Risk-Aware Wasserstein Distributionally Robust Control of Vessels in Natural Waterways
University of Seville（塞维利亚大学）；Seoul National University（首尔国立大学）
针对自然内河航道中自主船舶航行的不确定性挑战，本研究提出了一种风险感知的Wasserstein分布鲁棒模型预测控制方法，通过随机多面体建模和最坏情况风险约束有效避免搁浅事故，提升了有限数据下的航行安全性与鲁棒性。
2023-10-21 cs.RO cs.SY eess.SY
Deep Reinforcement Learning Based Semi-Autonomous Control for Robotic Surgery
Imperial College London（伦敦帝国理工学院）；University of Bristol（布里斯托尔大学）
近几十年来，手术机器人给外科医生和患者带来的巨大好处已经有目共睹。手术机器人具有操作灵巧、精确度高的特点，可以为患者提供更短的恢复时间和更短的住院时间。然而，目前的手术机器人在实际使用中的控制完全由外科医生通过遥操作进行。在手术过程中，存在大量重复但简单的操作，这会给外科医生造成不必要的疲劳。本文提出了一种基于深度强化学习的机器人手术半自主控制框架。用户研究表明，该框架可以减少19.1%的完成时间和58.7%的旅行长度。
2022-04-11 cs.AI cs.RO
Adversarial Reinforcement Learning Framework for Benchmarking Collision Avoidance Mechanisms in Autonomous Vehicles
随着人们对自主导航的兴趣的迅速增长，关于运动规划和避碰技术的研究机构已经享受到了新的建议和发展的加速速度。然而，新技术的复杂性及其安全要求使得目前的大部分基准框架不足，从而使有效的比较技术的需要没有得到解决。这项工作提出了一种基于深度强化学习的新框架，用于在处理最佳对抗代理的最坏情况下对碰撞避免机制的行为进行基准测试，该代理经过训练以将系统驱动到不安全状态。我们描述了这个框架的架构和流程作为一个基准的解决方案，并通过一个实际的案例研究，比较两个避碰机制的可靠性，在故意碰撞尝试证明其有效性。
2018-06-04 cs.AI cs.RO
Contextual Multi-Task Reinforcement Learning for Autonomous Reef Monitoring
University of Bremen（不莱梅大学）
针对水下动力学不确定性和任务变化，提出上下文多任务强化学习框架，学习可复用的控制策略，在模拟环境中实现高效训练、零样本泛化和鲁棒性。
2026-06-03 cs.AI cs.RO
PIC4rl-gym: a ROS2 modular framework for Robots Autonomous Navigation with Deep Reinforcement Learning
Politecnico di Torino（都灵理工大学）
学习代理可以优化标准的自主导航，通过采用各种各样的方法来提高系统的灵活性，效率和计算成本。这项工作介绍了\textit{PIC4rl-gym}，一个基本的模块化框架，通过混合机器人社区的标准工具ROS 2和Gazebo，以及深度强化学习（DRL）来增强导航和学习研究。本文描述了PIC 4 rl-gym的整体结构，它充分集成了DRL Agent在多种室内和室外导航场景和任务中的训练和测试。采用模块化方法，通过选择新的平台、传感器或模型，轻松定制仿真。我们展示了我们的新健身房的潜力，通过基准测试产生的政策，训练不同的导航任务，与一套完整的指标。
2022-11-19 cs.AI cs.RO
Reinforcement Learning in Conflicting Environments for Autonomous Vehicles
Technische Universität München（慕尼黑工业大学）
在这项工作中，我们研究应用强化学习两个著名的决策困境，即纽科姆的问题和囚徒困境。这些问题是自主智能体在与人类交互时所面临的困境的典范。此外，我们认为，一个纽科姆式的配方是更充分的人机交互的情况下，经验表明，未经修改的强化学习算法最终与众所周知的最大期望效用的解决方案。
2016-10-22 cs.AI cs.HC cs.RO
Scaling Is All You Need: Autonomous Driving with JAX-Accelerated Reinforcement Learning
本文利用JAX加速的强化学习系统，结合高效逼真的驾驶模拟器，在自动驾驶领域进行大规模实验，证明策略性能随规模提升，最佳策略降低失败率64%并提高驾驶进展率25%。
2024-11-05 cs.AI cs.LG cs.RO
Controlling an Autonomous Vehicle with Deep Reinforcement Learning
University of Bremen（不来梅大学）
提出了一种基于深度强化学习的自主车辆控制方法。一个神经网络代理被训练来映射其估计的状态，以加速和转向命令给定的目标，达到一个特定的目标状态，同时考虑检测到的障碍。使用最先进的近端策略优化结合模拟环境来执行学习。从头开始的训练需要五到九个小时。由此产生的代理在模拟和随后应用到控制一个全尺寸的研究车辆进行评估。为此，考虑了停车场的自主探索，包括转弯机动和避障。总而言之，这项工作是第一个成功将深度强化学习应用于真实车辆的例子。
2020-03-13 cs.AI cs.LG cs.RO
Autonomous Extracting a Hierarchical Structure of Tasks in Reinforcement Learning and Multi-task Reinforcement Learning
Washington State University（华盛顿州立大学）
强化学习（RL）虽然通常功能强大，但学习速度较慢，特别是在高维空间中。任务的自主分解和分层方法的使用有可能大大加快这些领域的学习。本文提出了一种新的实用方法，可以自主分解任务，利用关联规则挖掘，发现隐藏在数据采掘实体之间的关系。提出了一种新的基于关联规则挖掘的任务层次结构提取方法ARM-HSTRL（Association Rule Mining to extract Hierarchical Structure of Tasks in强化学习）。它提取强化学习中子目标的时间和结构关系，以及多任务强化学习。特别是，它找到了子目标和它们之间的关系。实验结果表明，该方法在强化学习的两个主要问题上具有显著的效率和性能。
2017-09-15 cs.AI
Contact-aware Path Planning for Autonomous Neuroendovascular Navigation
FuTURE Lab, Department of Robotics Engineering, Worcester Polytechnic Insitute (WPI)（沃思彻斯特理工学院未来实验室）；Department of Computer Science, University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校计算机科学系）；UMass Memorial Medical Center（马萨诸塞州纪念医疗中心）
本文提出了一种高效的接触意识路径规划方法，用于自主神经内血管导航，实现了快速且精确的路径计算，具有亚毫米级的跟踪精度。
2026-01-12 cs.RO
Failure-Scenario Maker for Rule-Based Agent using Multi-agent Adversarial Reinforcement Learning and its Application to Autonomous Driving
IBM Research AI（IBM研究AI）
我们研究的问题，对抗性强化学习的多代理域，包括基于规则的代理。基于规则的算法在安全关键型应用中是必需的，以便它们在各种情况下都能正常工作。因此，尽一切努力在开发阶段找到故障场景。然而，随着软件变得复杂，查找失败案例变得困难。特别是在多智能体领域，如自动驾驶环境，很难找到有用的故障场景，帮助我们改进算法。我们提出了一种方法，有效地找到失败的情况下，这种方法使用多智能体强化学习训练的对抗代理，这样测试的基于规则的代理失败。我们使用一个简单的环境和自动驾驶模拟器证明了我们所提出的方法的有效性。
2019-05-25 cs.AI cs.LG cs.RO
Safe Robust Predictive Control-based Motion Planning of Automated Surface Vessels in Inland Waterways
Dept. of Mechanical Engineering, Clemson University（机械工程系，克莱姆森大学）
针对内河航道自主水面船舶导航面临的狭窄通道、高交通密度和水动力扰动挑战，提出结合鲁棒模型预测控制与控制屏障函数的运动规划方法，以安全约束确保碰撞避免，仿真验证了其有效性和安全性。
2025-09-08 cs.RO cs.SY eess.SY
Autonomous Driving with Deep Reinforcement Learning in CARLA Simulation
University of Maryland, Baltimore County (UMBC)（马里兰大学巴尔的摩郡分校（UMBC））
本文利用深度Q学习算法，在CARLA仿真环境中训练自动驾驶策略，使车辆能以最高速度保持车道并避开其他车辆，并通过仿真验证了该方法的有效性。
2023-06-20 cs.AI cs.LG cs.RO
Reinforcement Learning Based Safe Decision Making for Highway Autonomous Driving
University of Alberta（阿尔伯塔大学）
在本文中，我们开发了一种在多车道、单智能体环境中自动驾驶汽车的安全决策方法。所提出的方法利用深度强化学习（RL）来实现安全战术决策的高级策略。我们解决了仅在自主导航中出现的两个主要挑战。首先，所提出的算法确保了冲突永远不会发生，因此加快了学习过程。其次，该算法考虑了环境中的不可观测状态。这些状态的出现主要是由于其他智能体（如汽车和行人）的不可预测行为，并使马尔可夫决策过程（MDP）在处理自主导航时出现问题。从一个著名的自动驾驶汽车模拟器的模拟证明了所提出的方法的适用性
2021-05-13 cs.AI cs.LG cs.RO
Deep Reinforcement Learning for Autonomous Driving: A Survey
Navya（纳维亚）；Valeo（法雷奥）；ENSTA Paris, Institut Polytechnique de Paris（巴黎理工学院巴黎高等先进技术学院）；AKKA Technologies（AKKA科技公司）；National University of Ireland, Galway（爱尔兰国立高威大学）
随着深度表示学习的发展，强化学习（RL）领域已经成为一个强大的学习框架，现在能够在高维环境中学习复杂的策略。本文总结了深度强化学习（DRL）算法，并提供了一个分类的自动驾驶任务，其中（D）RL方法已被采用，同时解决关键的计算挑战，在现实世界中部署的自动驾驶代理。它还描绘了相邻的领域，如行为克隆，模仿学习，逆强化学习，相关的，但不是经典的RL算法。模拟器在训练代理中的作用，验证，测试和鲁棒化RL中现有解决方案的方法进行了讨论。
2021-01-23 cs.AI cs.LG cs.RO
Safe Reinforcement Learning on Autonomous Vehicles
Honda Research Institute USA（美国本田研究所）
强化学习已经取得了许多进展，但学习过程的典型不受约束的探索阻止了这些方法在许多安全关键应用中的采用。安全强化学习的最新工作使用理想化模型来实现其保证，但这些模型不容易适应现实世界系统的随机性或高维性。我们研究了预测如何为约束探索提供一个通用和直观的框架，并展示了它如何用于安全地学习自动驾驶汽车上的交叉路口处理行为。
2019-09-27 cs.AI cs.LG cs.RO
Evaluation of Safety Constraints in Autonomous Navigation with Deep Reinforcement Learning
Moscow Institute of Physics and Technology（莫斯科物理技术学院）；AIRI（AIRI（人工智能研究所））；Federal Research Center for Computer Science and Control of Russian Academy of Sciences（俄罗斯科学院计算机科学与控制联邦研究中心）
本研究比较了考虑与不考虑安全约束的两种深度强化学习导航策略，证明安全策略能在不牺牲整体性能的前提下生成间隙更大、碰撞更少的轨迹。
2023-07-27 cs.AI cs.LG cs.RO
Autonomous Reinforcement Learning via Subgoal Curricula
Stanford University（斯坦福大学）；Google Brain（谷歌大脑）；UC Berkeley（加州大学伯克利分校）
强化学习（RL）有望使不同的智能体自主获取复杂的行为。然而，当前强化学习算法的成功是基于一个经常被忽视的要求-每次试验都需要从固定的初始状态分布开始。不幸的是，在每次试验之后将环境重置到其初始状态需要大量的人类监督和对环境的广泛仪器化，这挫败了自主获得复杂行为的目标。在这项工作中，我们提出了价值加速的持久性强化学习（VaPRL），它生成一个初始状态的课程，使代理可以引导成功的简单任务，有效地学习更难的任务。智能体还学习达到课程提出的初始状态，最大限度地减少对人类干预学习的依赖。我们观察到，VaPRL减少了三个数量级相比，情节RL所需的干预，同时优于现有的最先进的方法重置免费RL的样本效率和渐近性能的各种模拟机器人问题。
2021-10-27 cs.AI cs.LG cs.RO
DR2L: Surfacing Corner Cases to Robustify Autonomous Driving via Domain Randomization Reinforcement Learning
Tsinghua University（清华大学）
如何尽可能有效和彻底地探索角落案例一直是深度强化学习（DeepRL）自动驾驶背景下的首要问题之一。与利用真实世界数据相比，使用模拟数据进行训练的成本和危险性更低，但模拟器中参数分布的不一致性和不正确的系统建模总是导致不可避免的Sim2real差距，这可能是模拟器难以生成的新颖，异常和风险情况下表现不佳的原因。域随机化（DR）是一种方法，可以用很少或没有真实世界的数据来弥合这一差距。因此，在这项研究中，提出了一种对抗模型，以增强在模拟中训练的基于DeepRL的自动驾驶车辆，以逐渐出现更难的事件，以便模型可以很容易地转移到现实世界中。
2021-07-25 cs.AI cs.LG cs.RO
Fine-grained acceleration control for autonomous intersection management using deep reinforcement learning
Dept. of Computer Science University of California, Irvine（计算机科学系 加州大学尔湾分校）
本文利用信任区域策略优化方法，实现自动驾驶车辆在网格街道中的细粒度加速控制，以达成全局管理目标。
2017-05-30 cs.AI cs.RO cs.SY
AURA-CVC: Autonomous Ultrasound-guided Robotic Assistance for Central Venous Catheterization
Johns Hopkins University（约翰霍普金斯大学）；Siemens Healthineers（西门子医疗）；University of Maryland（马里兰大学）；Penn State University（宾夕法尼亚州立大学）
AURA-CVC提出了一种自主超声引导的机器人辅助中心静脉置管系统，实现了从扫描初始化到针头插入的全流程自动化，通过深度学习和运动规划技术在高保真度仿真人体上验证，展示了其在临床应用中的潜力。
2026-01-11 cs.RO
A Deep Reinforcement Learning Driving Policy for Autonomous Road Vehicles
Technical University of Crete（克里特理工大学）；University of Malta（马耳他大学）
这项工作是我们对自动驾驶汽车在高速公路上移动的路径规划问题的初步调查。我们通过提出一种基于强化学习的驱动策略来解决这个问题。所提出的政策，使最小的或没有假设的环境，因为没有先验知识的系统动态是必需的。我们比较了所提出的政策的性能对最优的政策，通过动态规划和对SUMO交通模拟器模拟人工驾驶。
2019-05-22 cs.RO
Autonomous Racing using a Hybrid Imitation-Reinforcement Learning Architecture
SRM Institute of Science and Technology（SRM科学技术研究所）
在这项工作中，我们提出了一个严格的端到端的自动驾驶汽车控制策略，旨在最大限度地减少单圈时间的时间攻击赛车事件。我们还介绍了作为本研究项目的一部分开发的AutoRACE模拟器，该模拟器用于模拟精确的车辆和环境动力学以及逼真的视听效果。我们采用了一种混合模仿-强化学习架构，并制作了一种新颖的奖励函数来训练深度神经网络策略，以便在不到20小时的时间内自主驾驶（使用模仿学习）和比赛（使用强化学习）一辆汽车。部署结果报告为10个不同的人类玩家的10个自动圈与100个手动圈的直接比较。自主智能体不仅表现出优越的性能，比最佳手动圈速快了0.96秒，而且在平均圈速方面也领先人类选手1.46秒。这种优势可以通过自主智能体更好的轨迹优化和更低的反应时间来证明。
2022-11-26 cs.AI cs.LG cs.NE
Towards Automated Safety Coverage and Testing for Autonomous Vehicles with Reinforcement Learning
University of Virginia（弗吉尼亚大学）
自动驾驶汽车（AV）安全测试可能需要的闭环验证超出了传统测试方法和离散验证的范围。验证将自动驾驶汽车系统置于其发布后在日常驾驶中可能遇到的场景或情况下进行测试。这些场景可以直接在物理（封闭试验场）或虚拟（模拟预定义场景）环境中控制，也可以在现实世界中的操作过程中自发出现（开放道路测试或模拟随机生成的场景）。在自动驾驶测试中，仿真主要有两个目的：帮助开发强大的自动驾驶汽车，并在发布前测试和验证自动驾驶汽车。由于涉及大量变量（其中大多数是连续的），从上述每个来源可以构建大量的情景变化，这带来了挑战。即使连续变量离散化，可能的组合数量也变得实际上不可行。为了克服这一挑战，我们建议使用强化学习（RL）来生成AV软件实现的失败示例和意外交通情况。尽管强化学习算法在游戏和一些机器人操作中取得了显著的效果，但这种技术还没有被广泛扩展到更具挑战性的现实世界应用中，如自动驾驶。
2020-05-22 cs.AI cs.LG cs.RO
Racing Towards Reinforcement Learning based control of an Autonomous Formula SAE Car
Centre for Automation and Robotic Engineering Science（自动化与机器人工程科学中心）；The University of Auckland（奥克兰大学）
针对大学生方程式无人驾驶赛事需求，开展深度强化学习用于自主赛车端到端控制的初步研究，在模拟环境训练两种前沿算法并实现真实赛道迁移，同时分析局限并给出未来方向。
2023-08-24 cs.AI cs.LG cs.RO
Deep Reinforcement Learning for Autonomous Vehicle Intersection Navigation
Moulay Ismail University（穆莱·伊斯梅尔大学）；Al Akhawayn University in Ifrane（伊夫兰阿卡韦恩大学）
本研究采用基于TD3的单智能体强化学习方法，在CARLA仿真中实现自动驾驶车辆高效安全地导航T型交叉路口，优于先前方法，降低了行驶延误和碰撞风险。
2023-10-16 cs.AI cs.LG cs.RO
Adversarial Deep Reinforcement Learning for Improving the Robustness of Multi-agent Autonomous Driving Policies
Simula Research Laboratory（Simula研究实验室）
众所周知，自动驾驶汽车容易受到对抗攻击的攻击，这些攻击可能危及汽车的安全，并对其他道路使用者构成危险。为了有效地防御对手，不仅需要测试自动驾驶汽车以发现驾驶错误，还需要提高汽车对这些错误的鲁棒性。为此，在本文中，我们提出了一种自动驾驶汽车的两步方法，包括（i）通过训练对抗性驾驶代理来发现自动驾驶汽车的故障状态，以及（ii）通过使用有效的对抗性输入重新训练自动驾驶汽车来提高自动驾驶汽车的鲁棒性。我们的方法支持在多智能体环境中测试自动驾驶汽车，在那里我们训练并比较两个自定义奖励函数上的对抗性汽车策略，以测试自动驾驶汽车的驾驶控制决策。我们在基于视觉的高保真城市驾驶模拟环境中进行实验。我们的研究结果表明，对抗性测试可用于发现错误的自动驾驶行为，然后进行对抗性训练，以提高基于深度强化学习的自动驾驶策略的鲁棒性。我们证明，使用有效的对抗性输入重新训练的自动驾驶汽车在减少碰撞和越野转向错误方面显着提高了其驾驶策略的性能。
2023-02-21 cs.AI
Simulated Autonomous Driving on Realistic Road Networks using Deep Reinforcement Learning
vsi.cs.uni-frankfurt.de（法兰克福大学vsi.cs（vsi.cs.uni-frankfurt.de））；cs.uni-frankfurt.de（法兰克福大学计算机科学系（cs.uni-frankfurt.de））
使用深度强化学习（DRL）可以成为处理（模拟）自动驾驶领域各种任务的一种有前途的方法。然而，最近的出版物主要考虑在不寻常的驾驶环境中学习。本文介绍了驾驶学校的自主智能体（DSA ^2），一个软件，用于验证DRL算法在更常见的驾驶环境的基础上，人工和现实的道路网络。我们还介绍了应用DSA ^2处理直线道路上驾驶的任务，同时根据不同的速度限制调节一辆车的速度的结果。
2018-04-03 cs.AI
Trajectory Planning for Autonomous Vehicle Using Iterative Reward Prediction in Reinforcement Learning
ThorDrive
针对传统自动驾驶轨迹规划泛化性差、现有强化学习方法学习不稳定且未考虑不确定性的问题，提出带迭代奖励预测与不确定性感知的强化学习轨迹规划方法，在CARLA上验证可显著降碰撞率、提平均奖励。
2024-05-12 cs.RO
Model-Reference Reinforcement Learning Control of Autonomous Surface Vehicles with Uncertainties
Delft University of Technology（代尔夫特理工大学）
针对不确定自主水面航行器提出了一种新的模型参考强化学习控制方法。所提出的控制将传统控制方法与深度强化学习相结合。使用传统控制，我们可以确保基于学习的控制律为整个系统提供闭环稳定性，并可能提高深度强化学习的采样效率。通过强化学习，我们可以直接学习控制律来补偿模型的不确定性。在所提出的控制中，使用名义系统来使用传统控制方法设计基线控制律。标称系统还定义了不确定的自动驾驶车辆要遵循的期望性能。与传统的深度强化学习方法相比，我们提出的基于学习的控制可以提供稳定性保证和更好的采样效率。我们通过大量的仿真结果证明了新算法的性能。
2020-03-30 cs.AI cs.LG cs.RO
Deep Reinforcement-Learning-based Driving Policy for Autonomous Road Vehicles
Technical University of Crete（克里特理工大学）；University of Malta（马耳他大学）
在这项工作中，被认为是在高速公路上移动的自主车辆的路径规划问题。用于解决该问题的最常见的方法是基于最优控制方法，该方法对环境模型和系统动态进行假设。相反，这项工作提出了基于强化学习的驱动策略的发展。通过这种方式，所提出的驾驶策略对环境做出最小假设或不做假设，因为不需要关于系统动态的先验知识。考虑了道路被自动驾驶和手动驾驶车辆占用的驾驶场景。据我们所知，这是提出混合驾驶环境的强化学习驾驶策略的首批方法之一。推导出的强化学习策略，首先，通过动态规划推导出的最优策略进行比较，其次，其效率进行了评估下所建立的SUMO微观交通流模拟器产生的现实场景。最后，一些初步的结果，自动驾驶汽车的行为对整体交通流量的影响。
2020-02-18 cs.AI cs.CY cs.LG
