A Deep Reinforcement Learning Strategy for UAV Autonomous Landing on a Platform
Zhejiang University(浙江大学)
随着工业的发展,无人机出现在各个领域。近年来,深度强化学习在游戏领域取得了令人瞩目的成绩,我们致力于将深度强化学习算法应用于机器人领域,将强化学习算法从游戏场景走向现实应用场景。我们受到OpenAI Gym的LunarLander的启发,决定在强化学习领域进行一次大胆的尝试,来控制无人机。目前,将强化学习算法应用于机器人控制的工作还比较缺乏,与机器人控制相关的物理仿真平台只适合于经典算法的验证,不适合接入强化学习算法进行训练。在本文中,我们将面对这个问题,弥合物理仿真平台和智能代理之间的差距,将智能代理连接到物理仿真平台,让代理在近似真实世界的模拟器中学习和完成无人机飞行任务。提出了一种基于Gazebo的物理仿真平台(ROS-RL)的强化学习框架,并在该框架中使用三种连续动作空间强化学习算法来处理无人机自主着陆问题。实验证明了算法的有效性,基于强化学习的无人机自主着陆任务取得了圆满成功。
2022-09-07 cs.AI cs.RO
A Reinforcement Learning Benchmark for Autonomous Driving in Intersection Scenarios
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学)
近年来,城市交叉口控制成为一个新兴的研究课题.在这种情况下,自动驾驶汽车面临着复杂的情况,因为它必须在遵守交通规则的同时及时处理与社会车辆的交互。通常,自动驾驶车辆应该在追求更高效率的同时避免碰撞。现有的工作未能提供一个框架,强调场景的完整性,同时能够部署和测试强化学习(RL)方法。具体来说,我们提出了一个基准,在复杂的交叉路口场景中,这是所谓的RL-CIS的训练和测试基于RL的自动驾驶代理。然后,部署了一组由各种算法组成的基线。测试基准和基线是为交叉口场景下的自动驾驶RL研究提供一个公平、全面的训练和测试平台,推动基于RL的交叉口自动驾驶控制方法的发展。我们提出的框架的代码可以在https://github.com/liuyuqi123/ComplexUrbanScenarios上找到。
2021-09-22 cs.AI cs.RO
Deep Reinforcement Learning Based Semi-Autonomous Control for Robotic Surgery
Imperial College London(伦敦帝国理工学院);University of Bristol(布里斯托尔大学)
近几十年来,手术机器人给外科医生和患者带来的巨大好处已经有目共睹。手术机器人具有操作灵巧、精确度高的特点,可以为患者提供更短的恢复时间和更短的住院时间。然而,目前的手术机器人在实际使用中的控制完全由外科医生通过遥操作进行。在手术过程中,存在大量重复但简单的操作,这会给外科医生造成不必要的疲劳。本文提出了一种基于深度强化学习的机器人手术半自主控制框架。用户研究表明,该框架可以减少19.1%的完成时间和58.7%的旅行长度。
2022-04-11 cs.AI cs.RO
Adversarial Reinforcement Learning Framework for Benchmarking Collision Avoidance Mechanisms in Autonomous Vehicles
随着人们对自主导航的兴趣的迅速增长,关于运动规划和避碰技术的研究机构已经享受到了新的建议和发展的加速速度。然而,新技术的复杂性及其安全要求使得目前的大部分基准框架不足,从而使有效的比较技术的需要没有得到解决。这项工作提出了一种基于深度强化学习的新框架,用于在处理最佳对抗代理的最坏情况下对碰撞避免机制的行为进行基准测试,该代理经过训练以将系统驱动到不安全状态。我们描述了这个框架的架构和流程作为一个基准的解决方案,并通过一个实际的案例研究,比较两个避碰机制的可靠性,在故意碰撞尝试证明其有效性。
2018-06-04 cs.AI cs.RO
Contextual Multi-Task Reinforcement Learning for Autonomous Reef Monitoring
University of Bremen(不莱梅大学)
针对水下动力学不确定性和任务变化,提出上下文多任务强化学习框架,学习可复用的控制策略,在模拟环境中实现高效训练、零样本泛化和鲁棒性。
2026-06-03 cs.AI cs.RO
PIC4rl-gym: a ROS2 modular framework for Robots Autonomous Navigation with Deep Reinforcement Learning
Politecnico di Torino(都灵理工大学)
学习代理可以优化标准的自主导航,通过采用各种各样的方法来提高系统的灵活性,效率和计算成本。这项工作介绍了\textit{PIC4rl-gym},一个基本的模块化框架,通过混合机器人社区的标准工具ROS 2和Gazebo,以及深度强化学习(DRL)来增强导航和学习研究。本文描述了PIC 4 rl-gym的整体结构,它充分集成了DRL Agent在多种室内和室外导航场景和任务中的训练和测试。采用模块化方法,通过选择新的平台、传感器或模型,轻松定制仿真。我们展示了我们的新健身房的潜力,通过基准测试产生的政策,训练不同的导航任务,与一套完整的指标。
2022-11-19 cs.AI cs.RO
Towards Optimal Head-to-head Autonomous Racing with Curriculum Reinforcement Learning
Carnegie Mellon University(卡内基梅隆大学);Cleveland State University(克利夫兰州立大学)
针对头对头自主赛车的最优策略学习难题,提出基于课程学习的强化学习框架(从简单车辆模型过渡到复杂真实环境)及基于控制屏障函数的安全强化学习算法,在保障安全的同时提升策略最优性。
2023-08-25 cs.AI cs.RO
Autonomous Unmanned Aerial Vehicle Navigation using Reinforcement Learning: A Systematic Review
Western University(韦仕敦大学)
在不同的应用中,例如包裹递送、交通监控、搜索和救援行动以及军事战斗中,对使用无人驾驶飞行器(UAV)(被称为无人机)的需求越来越大。在所有这些应用中,无人机都用于自主导航环境-无需人工干预,执行特定任务并避开障碍物。无人机自主导航通常使用强化学习(RL)来实现,其中代理作为某个领域的专家来导航环境,同时避开障碍物。了解导航环境和算法的局限性在选择合适的RL算法有效地解决导航问题中起着至关重要的作用。因此,本研究首先确定了主要的无人机导航任务,并讨论了导航框架和仿真软件。然后,根据无人机导航问题的环境、算法特点、能力和应用,对强化学习算法进行了分类和讨论,为实践者和研究者选择适合无人机导航应用的强化学习算法提供参考。此外,已确定的差距和机会将推动无人机导航研究。
2022-08-25 cs.AI cs.RO
Reinforcement Learning in Conflicting Environments for Autonomous Vehicles
Technische Universität München(慕尼黑工业大学)
在这项工作中,我们研究应用强化学习两个著名的决策困境,即纽科姆的问题和囚徒困境。这些问题是自主智能体在与人类交互时所面临的困境的典范。此外,我们认为,一个纽科姆式的配方是更充分的人机交互的情况下,经验表明,未经修改的强化学习算法最终与众所周知的最大期望效用的解决方案。
2016-10-22 cs.AI cs.HC cs.RO
A Versatile and Efficient Reinforcement Learning Framework for Autonomous Driving
Tsinghua University(清华大学);China University of Mining and Technology(中国矿业大学);Institute for AI Industry Research (AIR), Tsinghua University(清华大学智能产业研究院(AIR))
关于最佳自动驾驶框架的激烈辩论仍在继续。经典的模块化流水线由于其强大的可解释性和稳定性而在行业中被广泛采用,而完全端到端的范式随着深度学习的兴起而表现出相当的简单性和可学习性。作为结合两种方法的优点的一种方式,学习语义上有意义的表示,然后在下游的驱动策略学习任务中使用,提供了一个可行的和有吸引力的解决方案。然而,仍有几个关键的挑战有待解决,包括确定最有效的表示,缓解模拟到真实的泛化问题以及平衡模型训练成本。在这项研究中,我们提出了一个通用的和有效的强化学习框架,并建立一个功能齐全的自动驾驶汽车的真实世界的验证。我们的框架对各种复杂的现实世界场景具有很大的通用性,并且与竞争基线相比具有优越的训练效率。
2022-03-03 cs.AI cs.RO
Autonomous Overtaking in Gran Turismo Sport Using Curriculum Reinforcement Learning
University of Zurich(苏黎世大学);ETH Zurich(苏黎世联邦理工学院);Sony AI Zurich(索尼AI苏黎世)
专业赛车手可以执行极端超车演习。然而,现有的自动超车算法要么依赖于车辆动力学的简化假设,要么试图在线解决昂贵的自动优化问题。当车辆接近其物理极限时,现有的基于模型的控制器难以处理高度非线性的动态特性,并且无法利用模拟或真实驾驶产生的大量数据。为了规避这些限制,我们提出了一种新的基于学习的方法来解决自主超车问题。我们在流行的赛车游戏Gran Turismo Sport中评估了我们的方法,该游戏以各种汽车和赛道的详细建模而闻名。通过利用课程学习,与普通强化学习相比,我们的方法可以更快地收敛并提高性能。因此,经过训练的控制器优于内置的基于模型的游戏AI,并实现了与经验丰富的人类驾驶员相当的超车性能。
2021-05-09 cs.AI cs.RO
Partial End-to-end Reinforcement Learning for Robustness Against Modelling Error in Autonomous Racing
Stellenbosch University(斯泰伦博斯大学)
针对自动驾驶赛车中的车辆模型失配问题,提出规划与控制解耦的部分端到端RL算法,借助经典控制器提升鲁棒性。
2024-08-05 cs.AI cs.RO
Hierarchical Reinforcement Learning in Multi-Goal Spatial Navigation with Autonomous Mobile Robots
University of South Florida(佛罗里达州立大学)
本文通过多项实验对比分层强化学习与传统强化学习在复杂机器人导航任务中的表现,重点考察子目标创建方式、手动与自动创建差异及终止频率影响,证明了HRL的优越性及其实现机制。
2025-08-18 cs.AI cs.RO
Reinforcement Learning with Probabilistic Guarantees for Autonomous Driving
Stanford University(斯坦福大学);KTH Royal Institute of Technology(瑞典皇家理工学院);Honda Research Institute(本田研究院)
为城市自动驾驶设计可靠的决策策略具有挑战性。强化学习(RL)已被用于在不确定的环境中自动获得合适的行为,但它不提供任何保证所产生的政策的性能。我们提出了一个通用的方法来执行概率保证的RL代理。一个探索策略是在训练之前推导出来的,该策略约束代理在满足用线性时序逻辑(LTL)表示的期望概率规范的动作之间进行选择。将搜索空间缩小到满足LTL公式的策略有助于训练并简化奖励设计。本文概述了一个交叉口的情况下,涉及多个交通参与者的案例研究。由此产生的政策优于基于规则的启发式方法的效率,同时表现出强有力的安全保证。
2019-05-29 cs.AI cs.RO
Position-Agnostic Autonomous Navigation in Vineyards with Deep Reinforcement Learning
Politecnico di Torino(都灵理工大学)
精准农业正在迅速吸引研究,以有效地引入自动化和机器人解决方案来支持农业活动。葡萄园和果园中的机器人导航在自主监测和轻松访问作物以进行收获、喷洒和执行耗时的必要任务方面具有竞争优势。目前,自主导航算法使用昂贵的传感器,这也需要大量的计算成本的数据处理。尽管如此,葡萄园行代表了一个具有挑战性的户外场景,GPS和视觉里程计技术通常很难提供可靠的定位信息。在这项工作中,我们将Edge AI与深度强化学习相结合,提出了一种先进的轻量级解决方案,以解决葡萄园自主导航的问题,而无需利用精确的定位数据,并通过灵活的基于学习的方法克服任务定制算法。我们训练一个端到端的感觉运动代理,它直接将嘈杂的深度图像和位置不可知的机器人状态信息映射到速度命令,并引导机器人到一行的末尾,不断调整其航向以获得无碰撞的中心轨迹。我们在现实模拟葡萄园中的广泛实验证明了我们的解决方案的有效性和我们的代理的泛化能力。
2022-06-28 cs.AI cs.RO
Risk-Aware Reward Shaping of Reinforcement Learning Agents for Autonomous Driving
Eindhoven University of Technology(埃因霍温理工大学);Northwestern Polytechnical University(西北工业大学)
针对自动驾驶强化学习奖励函数难确定、传统方法缺风险感知的问题,提出风险感知奖励塑形方法,新增鼓励探索、惩罚风险行为的奖励项,仿真验证对多类智能体有效,且PPO方法配合效果最佳。
2023-08-25 cs.AI cs.RO
PALCAS: A Priority-Aware Intelligent Lane Change Advisory System for Autonomous Vehicles using Federated Reinforcement Learning
School of Computing, Wichita State University(维斯科大学计算学院);Department of Computer Science, University of Memphis(孟菲斯大学计算机科学系)
本文提出基于多智能体联邦强化学习的优先级感知智能变道建议系统PALCAS,用于自动驾驶车辆,通过引入新的优先级感知安全变道奖励函数,提升变道决策的合理性和交通效率。
2026-04-29 cs.AI cs.RO
Scaling Is All You Need: Autonomous Driving with JAX-Accelerated Reinforcement Learning
本文利用JAX加速的强化学习系统,结合高效逼真的驾驶模拟器,在自动驾驶领域进行大规模实验,证明策略性能随规模提升,最佳策略降低失败率64%并提高驾驶进展率25%。
2024-11-05 cs.AI cs.LG cs.RO
Controlling an Autonomous Vehicle with Deep Reinforcement Learning
University of Bremen(不来梅大学)
提出了一种基于深度强化学习的自主车辆控制方法。一个神经网络代理被训练来映射其估计的状态,以加速和转向命令给定的目标,达到一个特定的目标状态,同时考虑检测到的障碍。使用最先进的近端策略优化结合模拟环境来执行学习。从头开始的训练需要五到九个小时。由此产生的代理在模拟和随后应用到控制一个全尺寸的研究车辆进行评估。为此,考虑了停车场的自主探索,包括转弯机动和避障。总而言之,这项工作是第一个成功将深度强化学习应用于真实车辆的例子。
2020-03-13 cs.AI cs.LG cs.RO
Failure-Scenario Maker for Rule-Based Agent using Multi-agent Adversarial Reinforcement Learning and its Application to Autonomous Driving
IBM Research AI(IBM研究AI)
我们研究的问题,对抗性强化学习的多代理域,包括基于规则的代理。基于规则的算法在安全关键型应用中是必需的,以便它们在各种情况下都能正常工作。因此,尽一切努力在开发阶段找到故障场景。然而,随着软件变得复杂,查找失败案例变得困难。特别是在多智能体领域,如自动驾驶环境,很难找到有用的故障场景,帮助我们改进算法。我们提出了一种方法,有效地找到失败的情况下,这种方法使用多智能体强化学习训练的对抗代理,这样测试的基于规则的代理失败。我们使用一个简单的环境和自动驾驶模拟器证明了我们所提出的方法的有效性。
2019-05-25 cs.AI cs.LG cs.RO
Autonomous Extracting a Hierarchical Structure of Tasks in Reinforcement Learning and Multi-task Reinforcement Learning
Washington State University(华盛顿州立大学)
强化学习(RL)虽然通常功能强大,但学习速度较慢,特别是在高维空间中。任务的自主分解和分层方法的使用有可能大大加快这些领域的学习。本文提出了一种新的实用方法,可以自主分解任务,利用关联规则挖掘,发现隐藏在数据采掘实体之间的关系。提出了一种新的基于关联规则挖掘的任务层次结构提取方法ARM-HSTRL(Association Rule Mining to extract Hierarchical Structure of Tasks in强化学习)。它提取强化学习中子目标的时间和结构关系,以及多任务强化学习。特别是,它找到了子目标和它们之间的关系。实验结果表明,该方法在强化学习的两个主要问题上具有显著的效率和性能。
2017-09-15 cs.AI
Autonomous Driving with Deep Reinforcement Learning in CARLA Simulation
University of Maryland, Baltimore County (UMBC)(马里兰大学巴尔的摩郡分校(UMBC))
本文利用深度Q学习算法,在CARLA仿真环境中训练自动驾驶策略,使车辆能以最高速度保持车道并避开其他车辆,并通过仿真验证了该方法的有效性。
2023-06-20 cs.AI cs.LG cs.RO
Reinforcement Learning Based Safe Decision Making for Highway Autonomous Driving
University of Alberta(阿尔伯塔大学)
在本文中,我们开发了一种在多车道、单智能体环境中自动驾驶汽车的安全决策方法。所提出的方法利用深度强化学习(RL)来实现安全战术决策的高级策略。我们解决了仅在自主导航中出现的两个主要挑战。首先,所提出的算法确保了冲突永远不会发生,因此加快了学习过程。其次,该算法考虑了环境中的不可观测状态。这些状态的出现主要是由于其他智能体(如汽车和行人)的不可预测行为,并使马尔可夫决策过程(MDP)在处理自主导航时出现问题。从一个著名的自动驾驶汽车模拟器的模拟证明了所提出的方法的适用性
2021-05-13 cs.AI cs.LG cs.RO
Deep Reinforcement Learning for Autonomous Driving: A Survey
Navya(纳维亚);Valeo(法雷奥);ENSTA Paris, Institut Polytechnique de Paris(巴黎理工学院巴黎高等先进技术学院);AKKA Technologies(AKKA科技公司);National University of Ireland, Galway(爱尔兰国立高威大学)
随着深度表示学习的发展,强化学习(RL)领域已经成为一个强大的学习框架,现在能够在高维环境中学习复杂的策略。本文总结了深度强化学习(DRL)算法,并提供了一个分类的自动驾驶任务,其中(D)RL方法已被采用,同时解决关键的计算挑战,在现实世界中部署的自动驾驶代理。它还描绘了相邻的领域,如行为克隆,模仿学习,逆强化学习,相关的,但不是经典的RL算法。模拟器在训练代理中的作用,验证,测试和鲁棒化RL中现有解决方案的方法进行了讨论。
2021-01-23 cs.AI cs.LG cs.RO
Safe Reinforcement Learning on Autonomous Vehicles
Honda Research Institute USA(美国本田研究所)
强化学习已经取得了许多进展,但学习过程的典型不受约束的探索阻止了这些方法在许多安全关键应用中的采用。安全强化学习的最新工作使用理想化模型来实现其保证,但这些模型不容易适应现实世界系统的随机性或高维性。我们研究了预测如何为约束探索提供一个通用和直观的框架,并展示了它如何用于安全地学习自动驾驶汽车上的交叉路口处理行为。
2019-09-27 cs.AI cs.LG cs.RO
Evaluation of Safety Constraints in Autonomous Navigation with Deep Reinforcement Learning
Moscow Institute of Physics and Technology(莫斯科物理技术学院);AIRI(AIRI(人工智能研究所));Federal Research Center for Computer Science and Control of Russian Academy of Sciences(俄罗斯科学院计算机科学与控制联邦研究中心)
本研究比较了考虑与不考虑安全约束的两种深度强化学习导航策略,证明安全策略能在不牺牲整体性能的前提下生成间隙更大、碰撞更少的轨迹。
2023-07-27 cs.AI cs.LG cs.RO
Review of Deep Reinforcement Learning for Autonomous Driving
Middlesex University(密德萨斯大学)
自从深度神经网络复兴以来,强化学习在许多传统游戏中逐渐加强并超越了人类。然而,将这些成就复制到自动驾驶并不容易,因为现实世界中的状态空间非常复杂,动作空间是连续的,需要精细控制。此外,自动驾驶系统还必须保持其功能,无论环境的复杂性如何。深度强化学习域(DRL)已经成为一种鲁棒的学习框架,用于在高维环境中处理具有深度表示学习的复杂策略。这项研究概述了深度强化学习算法(DRL)。它提出了一个命名的自动驾驶DRL技术已被使用,从而讨论了重要的计算问题,在现实环境中评估自动驾驶代理。相反,它涉及类似但不是标准的RL技术,毗邻的领域,如动作仿真,建模模仿,反向强化学习。模拟器在训练代理中的作用得到了解决,验证,检查和现有RL解决方案的鲁棒性的方法也得到了解决。
2023-02-13 cs.RO
Autonomous Reinforcement Learning via Subgoal Curricula
Stanford University(斯坦福大学);Google Brain(谷歌大脑);UC Berkeley(加州大学伯克利分校)
强化学习(RL)有望使不同的智能体自主获取复杂的行为。然而,当前强化学习算法的成功是基于一个经常被忽视的要求-每次试验都需要从固定的初始状态分布开始。不幸的是,在每次试验之后将环境重置到其初始状态需要大量的人类监督和对环境的广泛仪器化,这挫败了自主获得复杂行为的目标。在这项工作中,我们提出了价值加速的持久性强化学习(VaPRL),它生成一个初始状态的课程,使代理可以引导成功的简单任务,有效地学习更难的任务。智能体还学习达到课程提出的初始状态,最大限度地减少对人类干预学习的依赖。我们观察到,VaPRL减少了三个数量级相比,情节RL所需的干预,同时优于现有的最先进的方法重置免费RL的样本效率和渐近性能的各种模拟机器人问题。
2021-10-27 cs.AI cs.LG cs.RO
DR2L: Surfacing Corner Cases to Robustify Autonomous Driving via Domain Randomization Reinforcement Learning
Tsinghua University(清华大学)
如何尽可能有效和彻底地探索角落案例一直是深度强化学习(DeepRL)自动驾驶背景下的首要问题之一。与利用真实世界数据相比,使用模拟数据进行训练的成本和危险性更低,但模拟器中参数分布的不一致性和不正确的系统建模总是导致不可避免的Sim2real差距,这可能是模拟器难以生成的新颖,异常和风险情况下表现不佳的原因。域随机化(DR)是一种方法,可以用很少或没有真实世界的数据来弥合这一差距。因此,在这项研究中,提出了一种对抗模型,以增强在模拟中训练的基于DeepRL的自动驾驶车辆,以逐渐出现更难的事件,以便模型可以很容易地转移到现实世界中。
2021-07-25 cs.AI cs.LG cs.RO
Fine-grained acceleration control for autonomous intersection management using deep reinforcement learning
Dept. of Computer Science University of California, Irvine(计算机科学系 加州大学尔湾分校)
本文利用信任区域策略优化方法,实现自动驾驶车辆在网格街道中的细粒度加速控制,以达成全局管理目标。
2017-05-30 cs.AI cs.RO cs.SY
Autonomous Racing using a Hybrid Imitation-Reinforcement Learning Architecture
SRM Institute of Science and Technology(SRM科学技术研究所)
在这项工作中,我们提出了一个严格的端到端的自动驾驶汽车控制策略,旨在最大限度地减少单圈时间的时间攻击赛车事件。我们还介绍了作为本研究项目的一部分开发的AutoRACE模拟器,该模拟器用于模拟精确的车辆和环境动力学以及逼真的视听效果。我们采用了一种混合模仿-强化学习架构,并制作了一种新颖的奖励函数来训练深度神经网络策略,以便在不到20小时的时间内自主驾驶(使用模仿学习)和比赛(使用强化学习)一辆汽车。部署结果报告为10个不同的人类玩家的10个自动圈与100个手动圈的直接比较。自主智能体不仅表现出优越的性能,比最佳手动圈速快了0.96秒,而且在平均圈速方面也领先人类选手1.46秒。这种优势可以通过自主智能体更好的轨迹优化和更低的反应时间来证明。
2022-11-26 cs.AI cs.LG cs.NE
Coordinated Multi-Agent Reinforcement Learning for Unmanned Aerial Vehicle Swarms in Autonomous Mobile Access Applications
Korea University(高丽大学);Ajou University(亚洲大学)
本文针对自主移动接入场景,提出基于CTDE的多智能体深度强化学习方法,用单一神经网络集中训练多无人机协作,以最大化总服务质量。
2022-12-23 cs.AI cs.LG cs.MA
Towards Automated Safety Coverage and Testing for Autonomous Vehicles with Reinforcement Learning
University of Virginia(弗吉尼亚大学)
自动驾驶汽车(AV)安全测试可能需要的闭环验证超出了传统测试方法和离散验证的范围。验证将自动驾驶汽车系统置于其发布后在日常驾驶中可能遇到的场景或情况下进行测试。这些场景可以直接在物理(封闭试验场)或虚拟(模拟预定义场景)环境中控制,也可以在现实世界中的操作过程中自发出现(开放道路测试或模拟随机生成的场景)。在自动驾驶测试中,仿真主要有两个目的:帮助开发强大的自动驾驶汽车,并在发布前测试和验证自动驾驶汽车。由于涉及大量变量(其中大多数是连续的),从上述每个来源可以构建大量的情景变化,这带来了挑战。即使连续变量离散化,可能的组合数量也变得实际上不可行。为了克服这一挑战,我们建议使用强化学习(RL)来生成AV软件实现的失败示例和意外交通情况。尽管强化学习算法在游戏和一些机器人操作中取得了显著的效果,但这种技术还没有被广泛扩展到更具挑战性的现实世界应用中,如自动驾驶。
2020-05-22 cs.AI cs.LG cs.RO
Racing Towards Reinforcement Learning based control of an Autonomous Formula SAE Car
Centre for Automation and Robotic Engineering Science(自动化与机器人工程科学中心);The University of Auckland(奥克兰大学)
针对大学生方程式无人驾驶赛事需求,开展深度强化学习用于自主赛车端到端控制的初步研究,在模拟环境训练两种前沿算法并实现真实赛道迁移,同时分析局限并给出未来方向。
2023-08-24 cs.AI cs.LG cs.RO
Deep Reinforcement Learning for Autonomous Vehicle Intersection Navigation
Moulay Ismail University(穆莱·伊斯梅尔大学);Al Akhawayn University in Ifrane(伊夫兰阿卡韦恩大学)
本研究采用基于TD3的单智能体强化学习方法,在CARLA仿真中实现自动驾驶车辆高效安全地导航T型交叉路口,优于先前方法,降低了行驶延误和碰撞风险。
2023-10-16 cs.AI cs.LG cs.RO
Deep Interactive Reinforcement Learning for Path Following of Autonomous Underwater Vehicle
Ocean University of China(中国海洋大学)
自主式水下机器人(AUV)在海洋探测中发挥着越来越重要的作用。现有的AUV通常不是完全自主的,并且通常限于预先规划或预先编程任务。强化学习和深度强化学习被引入到AUV的设计和研究中,以提高其自主性。然而,这些方法仍然很难直接应用于实际的AUV系统,因为稀疏的奖励和低的学习效率。结合深度强化学习和交互式强化学习的优点,提出了一种深度交互式强化学习方法用于水下机器人路径跟踪。此外,由于AUV在海洋中运行时,人类训练者无法提供人类奖励,而AUV需要适应不断变化的环境,因此我们进一步提出了一种同时从人类奖励和环境奖励中学习的深度强化学习方法。通过在Gazebo平台上的仿真,分别对AUV的直线跟踪和正弦曲线跟踪两种路径跟踪任务进行了验证。我们的实验结果表明,使用我们提出的深度交互式RL方法,AUV可以比仅从环境奖励的DQN学习器更快地收敛。此外,AUV从人类和环境奖励的深度RL学习也可以实现与深度交互式RL方法相似甚至更好的性能,并且可以通过进一步从环境奖励学习来适应实际环境。
2020-01-10 cs.AI cs.LG cs.RO
Combining Deep Reinforcement Learning and Safety Based Control for Autonomous Driving
State Key Laboratory of Automotive Safety and Energy, Tsinghua University(清华大学汽车安全与节能国家重点实验室)
随着最先进的深度强化学习的发展,我们可以有效地解决连续控制问题。但用于连续控制的深度强化学习方法是基于历史数据的,这会在不熟悉的场景中做出不可预测的决策。结合深度强化学习和基于安全的控制可以获得良好的自动驾驶和防撞性能。在这篇文章中,我们使用深度确定性策略梯度算法来实现周围没有车辆的自动驾驶。车辆可以在稳定和熟悉的环境中学习驾驶策略,高效可靠。然后利用人工势场法设计了周围车辆的避碰算法。还考虑了路径跟踪方法。深度强化学习和基于安全的控制的组合在大多数情况下表现良好。
2016-12-01 cs.RO
Distributed Wildfire Surveillance with Autonomous Aircraft using Deep Reinforcement Learning
Stanford University(斯坦福大学)
无人驾驶飞机可以用来监测野火,使消防员能够做出明智的决定。然而,控制多架自主固定翼飞机以最大限度地扩大森林火灾覆盖范围是一个复杂的问题。状态空间是高维的,火灾传播是随机的,传感器信息是不完全的,飞行器必须相互协调才能完成任务。这项工作提出了两种深度强化学习方法,用于训练分散控制器,以适应问题中固有的高维性和不确定性。第一种方法利用对各飞机的即时观察来控制飞机。第二种方法允许飞机在野火状态的地图上进行协作,并维护所访问位置的时间历史,这些时间历史用作控制器的输入。仿真结果表明,这两种方法都允许飞机准确地跟踪野火的扩展,并优于在线滚动时域控制器。额外的模拟表明,该方法的规模与不同数量的飞机和推广到不同的野火形状。
2018-10-09 cs.AI cs.LG cs.RO
Autonomous Braking and Throttle System: A Deep Reinforcement Learning Approach for Naturalistic Driving
College of Engineering Pune(浦那工程学院)
自动制动和油门控制是未来开发安全驾驶系统的关键。需要自动驾驶车辆在确保安全性和舒适性的同时协商多智能体环境。提出了一种基于深度强化学习的自主油门刹车系统。对于每个时间步长,所提出的系统做出施加制动或油门的决定。油门和制动器被建模为连续的动作空间值。我们演示了2个场景,其中需要一个复杂的制动和油门系统,即当有一个静态的障碍物在我们的代理人面前,如汽车,停车标志。第二个场景是两辆车接近一个十字路口。通过使用深度确定性策略梯度的计算机模拟来学习用于制动和油门控制的策略。实验表明,该系统不仅避免了碰撞,而且保证了在脱离紧急情况时油门/制动值的平稳变化并遵守速度规定,即系统类似于人类驾驶。
2020-08-15 cs.AI cs.LG cs.RO
Adversarial Deep Reinforcement Learning for Improving the Robustness of Multi-agent Autonomous Driving Policies
Simula Research Laboratory(Simula研究实验室)
众所周知,自动驾驶汽车容易受到对抗攻击的攻击,这些攻击可能危及汽车的安全,并对其他道路使用者构成危险。为了有效地防御对手,不仅需要测试自动驾驶汽车以发现驾驶错误,还需要提高汽车对这些错误的鲁棒性。为此,在本文中,我们提出了一种自动驾驶汽车的两步方法,包括(i)通过训练对抗性驾驶代理来发现自动驾驶汽车的故障状态,以及(ii)通过使用有效的对抗性输入重新训练自动驾驶汽车来提高自动驾驶汽车的鲁棒性。我们的方法支持在多智能体环境中测试自动驾驶汽车,在那里我们训练并比较两个自定义奖励函数上的对抗性汽车策略,以测试自动驾驶汽车的驾驶控制决策。我们在基于视觉的高保真城市驾驶模拟环境中进行实验。我们的研究结果表明,对抗性测试可用于发现错误的自动驾驶行为,然后进行对抗性训练,以提高基于深度强化学习的自动驾驶策略的鲁棒性。我们证明,使用有效的对抗性输入重新训练的自动驾驶汽车在减少碰撞和越野转向错误方面显着提高了其驾驶策略的性能。
2023-02-21 cs.AI
Simulated Autonomous Driving on Realistic Road Networks using Deep Reinforcement Learning
vsi.cs.uni-frankfurt.de(法兰克福大学vsi.cs(vsi.cs.uni-frankfurt.de));cs.uni-frankfurt.de(法兰克福大学计算机科学系(cs.uni-frankfurt.de))
使用深度强化学习(DRL)可以成为处理(模拟)自动驾驶领域各种任务的一种有前途的方法。然而,最近的出版物主要考虑在不寻常的驾驶环境中学习。本文介绍了驾驶学校的自主智能体(DSA ^2),一个软件,用于验证DRL算法在更常见的驾驶环境的基础上,人工和现实的道路网络。我们还介绍了应用DSA ^2处理直线道路上驾驶的任务,同时根据不同的速度限制调节一辆车的速度的结果。
2018-04-03 cs.AI
Taming an autonomous surface vehicle for path following and collision avoidance using deep reinforcement learning
Norweigan University of Science and Technology(挪威科技大学);SINTEF Digital(SINTEF数字研究所);Oklahoma State University(俄克拉荷马州立大学)
在这篇文章中,我们探讨了近端策略优化的可行性,一个国家的最先进的深度强化学习算法的连续控制任务,对双目标问题的控制欠驱动自主水面车辆遵循先验已知的路径,同时避免碰撞与非移动障碍物的道路上。配备多个测距传感器用于障碍物检测的人工智能代理在基于OpenAI gym python工具包的具有挑战性的随机生成的模拟环境中进行训练和评估。值得注意的是,智能体可以实时了解自己的奖励函数,从而允许它动态地调整其指导策略。根据其策略,从激进的路径遵守到激进的障碍物规避,经过训练的代理实现了84%到100%的偶发成功率。
2019-12-18 cs.AI cs.LG cs.RO
DeepRacer: Educational Autonomous Racing Platform for Experimentation with Sim2Real Reinforcement Learning
Amazon Web Services(亚马逊云科技)
DeepRacer是一个端到端RL实验平台,可用于系统地研究开发智能控制系统的关键挑战。使用该平台,我们演示了1/18比例的汽车如何使用带有单目摄像头的RL学习自动驾驶。它在模拟中进行训练,没有在物理世界中进行额外的调整,并演示了:1)强大的强化学习算法的制定和解决方案,2)通过联合感知和动态缩小现实差距,3)用于训练最佳策略的分布式按需计算架构,以及4)用于确定何时停止训练的强大评估方法。这是深度强化学习在机器人控制代理上的首次成功大规模部署,该机器人控制代理仅使用原始相机图像作为观察结果,并使用无模型学习方法来执行鲁棒的路径规划。我们在GitHub上开源了我们的代码和视频演示:https://git.io/fjxoJ。
2019-11-05 cs.AI cs.LG cs.RO
Reinforcement Learning-Based Monocular Vision Approach for Autonomous UAV Landing
Software Project Management Research Team, ENSIAS, University Mohammed V(穆罕默德五世大学ENSIAS软件项目管理研究团队)
针对无人机自主着陆依赖复杂深度传感器的问题,提出仅用前置单目相机并结合强化学习估计高度与深度的方法,经仿真和实验验证可实现鲁棒精确着陆。
2025-05-11 cs.AI cs.CV cs.RO
A Review of Reward Functions for Reinforcement Learning in the context of Autonomous Driving
FZI Research Center for Information Technology(弗劳恩霍夫研究所信息技术研究中心);Karlsruhe Institute of Technology(卡尔斯鲁厄大学)
本文综述了强化学习在自动驾驶中奖励函数的设计,分析了不同方法的优缺点,并提出了未来研究方向,如奖励验证框架和情境感知奖励。
2026-03-04 cs.AI cs.LG cs.RO
Simulation-based reinforcement learning for real-world autonomous driving
University of Warsaw(华沙大学);Institute of Mathematics of the Polish Academy of Sciences(波兰科学院数学研究所);Jagiellonian University(雅盖隆大学);Volkswagen AG(大众汽车公司)
本文提出在仿真中用强化学习和以合成数据为主的单目RGB与语义分割输入训练驾驶策略,并通过实车实验验证sim-to-real迁移及分析感知、控制和训练设计的影响。
2024-04-03 cs.AI cs.LG cs.RO
Modeling Adaptive Platoon and Reservation Based Autonomous Intersection Control: A Deep Reinforcement Learning Approach
Tsinghua University(清华大学);Nanyang Technological University(南洋理工大学)
作为一种减少行程延误和提高能源效率的策略,在无信号交叉口的连接和自动驾驶车辆(CAV)的队列越来越受到学术界的欢迎。然而,很少有研究试图建立最佳车队规模和周围的交通条件之间的关系。为此,本研究提出了一种基于深度强化学习(DRL)技术的自适应队列自主交叉口控制模型。该模型框架分为两个层次:第一层采用先到先服务(FCFS)预约策略,结合无冲突车道选择机制确定车辆优先通过;第二层采用深度Q网络算法,根据交叉口实时交通状况确定最优车队规模。在交通微观模拟器上进行测试时,我们提出的模型表现出优越的性能相比,国家的最先进的方法,旅行效率和节省燃料。
2022-06-24 cs.AI cs.LG cs.RO
Autonomous UAV Navigation Using Reinforcement Learning
University of Nevada, Reno(内华达大学雷诺分校)
无人飞行器(UAV)通常用于未知环境中的任务,其中环境的精确数学模型可能不可用。本文提供了一个框架,使用强化学习,让无人机在这样的环境中成功地导航。我们进行了模拟和实际实现,以展示无人机如何成功地学习在未知环境中导航。最后,讨论了将强化学习算法应用于无人机系统和无人机飞行控制的技术问题。这将使具有学习能力的无人机能够在更重要的应用中继续进行研究,例如野火监测或搜索和救援任务。
2018-01-16 cs.RO
Deep Reinforcement-Learning-based Driving Policy for Autonomous Road Vehicles
Technical University of Crete(克里特理工大学);University of Malta(马耳他大学)
在这项工作中,被认为是在高速公路上移动的自主车辆的路径规划问题。用于解决该问题的最常见的方法是基于最优控制方法,该方法对环境模型和系统动态进行假设。相反,这项工作提出了基于强化学习的驱动策略的发展。通过这种方式,所提出的驾驶策略对环境做出最小假设或不做假设,因为不需要关于系统动态的先验知识。考虑了道路被自动驾驶和手动驾驶车辆占用的驾驶场景。据我们所知,这是提出混合驾驶环境的强化学习驾驶策略的首批方法之一。推导出的强化学习策略,首先,通过动态规划推导出的最优策略进行比较,其次,其效率进行了评估下所建立的SUMO微观交通流模拟器产生的现实场景。最后,一些初步的结果,自动驾驶汽车的行为对整体交通流量的影响。
2020-02-18 cs.AI cs.CY cs.LG
Tactical Decision Making for Autonomous Trucks by Deep Reinforcement Learning with Total Cost of Operation Based Reward
Department of Computer Science and Engineering, Chalmers University of Technology and and University of Gothenburg(计算机科学与工程系,查尔姆斯理工大学和哥德堡大学);Department of Mechanics and Maritime Sciences, Chalmers University of Technology(机械与海洋科学系,查尔姆斯理工大学);Safe and Efficient Driving, Volvo Group of Trucks Technology(安全高效驾驶,沃尔沃卡车技术集团)
提出一种深度强化学习框架,用于自动驾驶卡车在高速公路场景下的自适应巡航控制和变道战术决策,通过基于总运营成本的多目标奖励函数优化性能。
2025-11-07 cs.AI cs.LG cs.RO
Model-Reference Reinforcement Learning Control of Autonomous Surface Vehicles with Uncertainties
Delft University of Technology(代尔夫特理工大学)
针对不确定自主水面航行器提出了一种新的模型参考强化学习控制方法。所提出的控制将传统控制方法与深度强化学习相结合。使用传统控制,我们可以确保基于学习的控制律为整个系统提供闭环稳定性,并可能提高深度强化学习的采样效率。通过强化学习,我们可以直接学习控制律来补偿模型的不确定性。在所提出的控制中,使用名义系统来使用传统控制方法设计基线控制律。标称系统还定义了不确定的自动驾驶车辆要遵循的期望性能。与传统的深度强化学习方法相比,我们提出的基于学习的控制可以提供稳定性保证和更好的采样效率。我们通过大量的仿真结果证明了新算法的性能。
2020-03-30 cs.AI cs.LG cs.RO
Autonomous UAV Navigation: A DDPG-based Deep Reinforcement Learning Approach
Stevens Institute of Technology(斯蒂文斯理工学院);University of Carthage(迦太基大学)
在本文中,我们提出了一个自主无人机路径规划框架,使用深度强化学习方法。其目标是采用一个自我训练的无人机作为一个飞行的移动单元,以达到空间分布的移动或静态目标在一个给定的三维城市区域。在该方法中,设计了一个具有连续动作空间的深度确定性策略梯度(DDPG)来训练无人机穿越障碍物到达指定目标。设计了一个自定义的奖励函数,以最小化无人机与其目的地之间的距离,同时惩罚碰撞。数值模拟研究了无人机在学习环境和自主确定不同选定场景的轨迹方面的行为。
2020-03-21 cs.AI cs.LG cs.RO
Simulated Autonomous Driving in a Realistic Driving Environment using Deep Reinforcement Learning and a Deterministic Finite State Machine
Goethe University(歌德大学);Norwegian University of Science and Technology(挪威科技大学)
在自动驾驶领域,控制车辆的系统可以被视为在复杂环境中行动的智能体,因此自然适合强化学习的现代框架。然而,学习驾驶可能是一项具有挑战性的任务,目前的结果往往局限于简化的驾驶环境。为了推进该领域,我们提出了一种方法,根据其当前的驾驶情况自适应地限制代理的动作空间,并表明它可以用于在基于深度Q网络算法的现实环境中快速学习驾驶。
2018-11-23 cs.AI
Multi-Agent Reinforcement Learning for Autonomous UAV Exploration in Wildfire Response
本研究提出深度强化学习框架训练无人机智能体在模拟野火环境中导航监测,实验显示其行为稳定有效,凸显DRL无人机系统在自主野火监测中的潜力。
2026-09-10 cs.LG cs.RO