Deep Reinforcement Learning for Human-Like Driving Policies in Collision Avoidance Tasks of Self-Driving Cars
Ben-Gurion University of the Negev(本-古里安大学)
自动驾驶汽车(AV)开发所涉及的技术和科学挑战目前是许多汽车公司和研究实验室的主要兴趣。然而,人类控制的车辆可能会在未来几十年内继续在道路上行驶,并可能与自动驾驶汽车共享未来的交通环境。在这样的混合环境中,自动驾驶汽车应该部署类似人类的驾驶策略和谈判技巧,以实现顺畅的交通流。为了生成自动化的类人驾驶策略,我们引入了一种无模型的深度强化学习方法来模仿有经验的人类驾驶员的行为。我们研究了一个静态避障任务的双车道公路模拟(Unity)。我们的控制算法从两个来源接收随机反馈信号:模型驱动的部分,编码简单的驾驶规则,如车道保持和速度控制,和随机的,数据驱动的部分,结合人类的专家知识,从驾驶数据。为了评估机器和人类驾驶之间的相似性,我们将轨道位置和速度的分布建模为高斯过程。我们证明,我们的方法导致类似人类的驾驶政策。
2020-06-19 cs.LG cs.RO stat.ML
Towards Driving Policies with Personality: Modeling Behavior and Style in Risky Scenarios via Data Collection in Virtual Reality
University of Maryland, College Park(马里兰大学帕克分校)
自动驾驶研究目前面临着风险场景表示的数据稀疏性。这样的数据在现实世界中很难从道德上获得,而且通过模拟获得也不可靠。虚拟现实(VR)驾驶模拟器的最新进展降低了在模拟中解决这个问题的障碍。我们提出了第一个数据汇集框架,用于使用VR从真实人类驾驶数据的风险场景,以及伴随的数字驾驶个性特征。我们验证所得数据集的统计分析和模型的驾驶行为与八因素的个性向量的基础上的多维驾驶风格量表(MDSI)。我们的方法、数据集和分析表明,可以在没有深度学习或大型数据集的情况下对真实的驾驶个性进行建模,以补充自动驾驶研究。
2023-03-08 cs.HC cs.RO
Learning Exploration Policies for Navigation
Carnegie Mellon University(卡内基梅隆大学);Facebook AI Research(Facebook人工智能研究)
许多过去的作品已经解决了任务驱动导航的问题。但是,如何有效地探索一个新的环境,使各种下游任务得到了很少的关注。在这项工作中,我们研究了代理如何在没有任务奖励的情况下自主探索现实而复杂的3D环境。我们提出了一种基于学习的方法,并研究了不同的政策架构,奖励功能和培训模式。我们发现,使用具有空间记忆的策略,这些策略通过模仿学习引导,最后通过纯粹来自机载传感器的覆盖奖励进行微调,可以有效地探索新的环境。我们表明,我们的学习探索政策可以探索比经典的方法,仅基于几何和通用的基于学习的探索技术。最后,我们还展示了如何将这种任务不可知的探索用于下游任务。代码和视频可在:https://sites.google.com/view/exploration-for-nav.
2019-03-05 cs.AI cs.LG cs.RO
Enhancing Exploration with Diffusion Policies in Hybrid Off-Policy RL: Application to Non-Prehensile Manipulation
Bosch Center for Artificial Intelligence(博世人工智能中心);Institute for Anthropomatics and Robotics(人机学与机器人研究所)
针对非抓取操作,本文提出混合扩散策略算法HyDo,通过将连续运动参数建模为扩散模型并结合最大熵强化学习,统一优化离散与连续动作空间,显著提升了探索多样性和任务成功率。
2025-04-25 cs.RO
Model Learning for Look-ahead Exploration in Continuous Control
Carnegie Mellon University(卡内基梅隆大学)
我们提出了一种探索方法,结合前瞻性搜索的基本学习技能和他们的动态,并使用它的强化学习(RL)的操作政策。我们的技能是使用现有的多目标RL公式在更简单的环境中孤立地学习多目标策略,类似于期权或宏动作。粗略的技能动态,即,学习由(完整的)技能执行引起的状态转换,并在前瞻搜索期间向前展开。策略搜索在探索期间受益于时间抽象,尽管其本身在低级别原始动作上操作,因此所产生的策略不会遭受由粗糙技能链引起的次优性和可扩展性。我们表明,所提出的探索策略比当前最先进的RL方法更快地有效学习复杂的操作策略,并且比使用选项或参数化技能作为策略本身的构建块的方法收敛到更好的策略,而不是指导探索。我们表明,所提出的探索策略比当前最先进的RL方法更快地有效学习复杂的操作策略,并且比使用选项或参数化技能作为策略本身的构建块的方法收敛到更好的策略,而不是指导探索。
2018-11-20 cs.AI cs.LG cs.RO
Learning Interactive Driving Policies via Data-driven Simulation
Massachusetts Institute of Technology(麻省理工学院);University of Toronto(多伦多大学);Toyota Research Institute(丰田研究院)
数据驱动的模拟器保证了高数据效率,以推动策略学习。当用于交互建模时,这种数据效率成为瓶颈:小型基础数据集通常缺乏有趣和具有挑战性的边缘案例来学习交互式驾驶。我们提出了一种模拟方法,使用在画ado车辆学习强大的驾驶政策,以应对这一挑战。因此,我们的方法可以用来学习涉及多代理交互的策略,并允许通过最先进的策略学习方法进行训练。我们评估的方法学习标准的互动场景驾驶。在广泛的实验中,我们的工作表明,由此产生的政策可以直接转移到一个全面的自动驾驶汽车,而不使用任何传统的仿真到现实迁移技术,如域随机化。
2021-11-23 cs.CV cs.LG cs.RO
Poke and Strike: Learning Task-Informed Exploration Policies
School of Informatics, The University of Edinburgh(信息学院,爱丁堡大学)
针对动态机器人任务中需先识别物体物理属性才能执行任务且无法自主重试的问题,提出基于强化学习的任务感知探索方法,结合不确定性过渡机制,在击球任务中实现90%成功率和1.2秒内的探索时间,性能显著优于基线,并经物理机器人验证。
2025-08-29 cs.RO
FORGE: Force-Guided Exploration for Robust Contact-Rich Manipulation under Uncertainty
MIT(麻省理工学院);USC(南加州大学);NVIDIA(英伟达公司);DEVCOM ARL(美国DEVCOM陆军研究实验室)
FORGE通过力阈值机制与动力学随机化实现力感知操作策略的仿真到现实鲁棒迁移,在显著位姿不确定性下完成卡扣插入和行星齿轮多阶段装配等接触丰富任务。
2025-01-02 cs.RO
GSDrive: Reinforcing Driving Policies by Multi-mode Future Trajectory Probing with 3D Gaussian Splatting Environment
Intelligent Space Robotics Laboratory, Skolkovo Institute of Science and Technology(斯克尔科维科学与技术研究院智能空间机器人实验室);Research Center for Intelligent Computing Systems, SKLP, Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所智能计算系统研究中心,SKLP);Department of Electrical and Electronic Engineering, The University of Hong Kong, China(香港大学电子与电气工程系);SuZhou Automotive Research Institute, Tsinghua University(清华大学苏州汽车研究院);School of Vehicle and Mobility, Tsinghua University(清华大学车辆与移动系统学院)
GSDrive通过多模式轨迹探查和3D高斯点散布环境,结合模仿学习与强化学习,提升端到端自动驾驶的训练效果与鲁棒性。
2026-05-15 cs.RO
Discrete Contrastive Learning for Diffusion Policies in Autonomous Driving
Aalto University(阿尔托大学);Finnish Center for Artificial Intelligence (FCAI)(芬兰人工智能中心)
本文提出利用对比学习从人类驾驶数据中提取并量化驾驶风格字典,进而学习条件扩散策略来模拟人类驾驶行为,实验表明其生成的行为比基线方法更安全且更像人类。
2025-03-07 cs.AI cs.RO
Guided Exploration of Human Intentions for Human-Robot Interaction
National University of Singapore(新加坡国立大学)
机器人对人类意图的理解对于流畅的人机交互至关重要。然而,意图不能直接观察到,必须从行为中推断出来。我们学习一个以意图为潜在变量的适应性人类行为模型。然后,我们将人类行为模型嵌入到有原则的概率决策模型中,该模型使机器人能够(i)积极探索以推断人类意图,以及(ii)选择最大化其性能的行动。此外,机器人从人类专家的示范行动中学习,以进一步改善探索。初步的仿真实验表明,我们的方法,应用于自动驾驶,提高了效率和安全性的驾驶在常见的交互式驾驶场景。
2019-01-19 cs.RO
Learning Interpretable, High-Performing Policies for Autonomous Driving
Georgia Institute of Technology(佐治亚理工学院)
提出可解释连续控制树(ICCTs),通过基于梯度的强化学习在稀疏决策树表示中直接优化,在自动驾驶场景中实现高性能可解释策略,性能持平或提升33%,参数量减少300-600倍。
2023-07-31 cs.LG cs.RO
Accelerating Reinforcement Learning for Autonomous Driving using Task-Agnostic and Ego-Centric Motion Skills
SenseTime Research(商汤科技研究院);The Chinese University of Hong Kong(香港中文大学);University of Toronto(多伦多大学);UC Berkeley(加州大学伯克利分校)
连续空间中的高效探索是将强化学习(RL)应用于自动驾驶的核心问题。从专家演示中学到的技能或为特定任务设计的技能可以使探索受益,但它们通常是昂贵的,不平衡的/次优的,或无法转移到不同的任务。然而,人类驾驶员可以通过在整个技能空间中进行有效和结构性的探索,而不是在有限的空间中使用特定于任务的技能,来适应各种驾驶任务,而无需进行演示。受上述事实的启发,我们提出了一种RL算法,探索所有可行的运动技能,而不是一组有限的特定于任务和以对象为中心的技能。在没有演示的情况下,我们的方法仍然可以在不同的任务中表现良好。首先,我们建立一个任务不可知和自我为中心(TaEc)的运动技能库在一个纯粹的运动的角度来看,这是多样化的,足以在不同的复杂任务中可重用。然后将运动技能编码到一个低维的潜在技能空间中,RL可以在其中进行有效的探索。在各种具有挑战性的驾驶场景中的验证表明,我们提出的方法,TaEc-RL,优于其同行显着的学习效率和任务性能。
2022-09-24 cs.RO
Bootstrapping Reinforcement Learning with Sub-optimal Policies for Autonomous Driving
The Ohio State University(俄亥俄州立大学)
针对强化学习在自动驾驶中样本效率低、探索不足的问题,提出结合基于规则的次优换道控制器与SAC算法引导智能体训练,提升了驾驶性能与学习效率,且可扩展至更多驾驶场景。
2025-09-04 cs.AI cs.LG cs.RO
Symbolic Imitation Learning: From Black-Box to Explainable Driving Policies
Department of Science and Engineering, the George Washington University(科学与工程系,乔治·华盛顿大学);Autonomous Vehicles Lab, Department of Mechanical Engineering, University of Surrey(自主车辆实验室,机械工程系,萨里大学)
本文提出符号模仿学习框架,利用归纳逻辑编程生成可解释的驾驶策略,通过实验证明其在提升透明度和性能方面的优势。
2025-09-28 cs.AI cs.LG cs.RO
Beyond Self-Play and Scale: A Behavior Benchmark for Generalization in Autonomous Driving
University of Freiburg(弗赖堡大学);Bosch Center for Artificial Intelligence(博世人工智能中心);Coburg University of Applied Sciences(科堡应用科学大学);New York University(纽约大学)
本文提出BehaviorBench,通过评估、复杂性和行为多样性三个维度,解决自动驾驶大规模强化学习政策在标准化评估中的性能问题,并提出混合规划器提升泛化能力。
2026-05-11 cs.RO
Sampling-Based System Identification with Active Exploration for Legged Robot Sim2Real Learning
Carnegie Mellon University(卡内基梅隆大学);Google DeepMind(谷歌DeepMind)
针对足式机器人仿真到现实的差距问题,提出两阶段框架SPI-Active,结合大规模并行采样参数辨识与主动探索策略,实现精准策略迁移,运动任务性能较基线提升42-63%。
2025-05-20 cs.RO
A Survey of Deep RL and IL for Autonomous Driving Policy Learning
Peking University(北京大学)
自动驾驶(AD)代理基于在线感知结果生成驾驶策略,这些结果是在多个抽象层次上获得的,例如,行为规划、运动规划和控制。驾驶策略对于实现安全、高效、和谐的驾驶行为至关重要,而复杂场景下的AD智能体仍然面临着巨大的挑战。由于它们在机器人和视频游戏等领域的成功应用,近年来,使用深度强化学习(DRL)和深度模仿学习(DIL)技术来导出AD策略已经见证了大量的研究工作。本文是一个全面的调查,这是在三个层次上进行的工作:首先,从系统的角度构建了一个分类的文献研究,其中DRL/DIL模型集成到AD架构的五种模式被确定。其次,制定DRL/DIL模型进行指定的AD任务进行全面审查,其中各种设计的模型状态和动作空间和强化学习奖励。最后,进行了深入的审查如何AD应用程序的驾驶安全,与其他交通参与者和环境的不确定性的相互作用的关键问题是解决的DRL/DIL模型。据我们所知,这是第一次调查,重点是反倾销策略学习使用DRL/DIL,这是解决同时从系统,任务驱动和问题驱动的角度。我们分享和讨论的结果,这可能导致在未来的各种主题的调查。
2021-01-06 cs.RO
Bio-inspired Autonomous Exploration Policies with CNN-based Object Detection on Nano-drones
University of Bologna(博洛尼亚大学);KU Leuven(荷语鲁汶大学);Dalle Molle Institute for Artificial Intelligence(达尔·莫勒人工智能研究所);ETH Zürich(苏黎世联邦理工学院)
具有手掌大小形状因子的纳米尺寸无人机在物联网生态系统中越来越重要。为复杂的多目标任务实现高度自主性(例如,安全飞行、探测、目标检测)对于机载芯片组来说是极具挑战性的,这是由于严格限制存储器和计算的紧凑尺寸、有效载荷(<10 g)和功率包络约束。我们的工作通过将生物启发的导航策略(依赖于飞行时间距离传感器数据)与基于视觉的卷积神经网络(CNN)相结合来解决这个复杂的问题,用于目标检测。我们经过现场验证的纳米无人机配备了两个微控制器单元(MCU),一个用于安全导航和勘探策略的单核ARM Cortex-M4(STM 32),以及一个用于机载CNN推理的并行超低功耗八核RISC-V(GAP 8),功率包络仅为134 mW,包括图像传感器和外部存储器。目标检测任务在现场收集的数据集上实现了50%的平均精度(以1.6帧/秒)。我们比较了四种生物启发的探索策略,并确定了一种伪随机策略,以在3分钟的飞行中在~36m^2的未知房间中实现83%的最高覆盖面积。通过将检测CNN和探索策略相结合,我们在从未见过的环境中对六个目标对象的平均检测率为90%。
2023-02-01 cs.RO cs.SY eess.SY
Learning Exploration Strategies to Solve Real-World Marble Runs
Carnegie Mellon University(卡内基梅隆大学)
涉及局部不稳定或不连续动力学(如分叉和碰撞)的任务在机器人技术中仍然具有挑战性,因为环境中的微小变化会对任务结果产生重大影响。对于这样的任务,学习鲁棒的确定性策略是困难的。我们专注于结构化探索与多个随机政策的基础上的混合专家模型(MoE)的政策表示,可以有效地适应。MoE策略由随机子策略和高级选择策略组成,随机子策略允许探索动作空间(或策略)的多个不同区域,高级选择策略引导探索最有希望的区域。我们开发了一个机器人系统,以评估我们的方法在现实世界中的物理问题解决域。在模拟中训练了MoE策略之后,现实世界中的在线学习在几十次尝试中就证明了有效的适应性,并且sim2real差距最小。我们的研究结果证实,代表多个策略,促进有效的适应新的环境和策略下学习不同的动态仍然可以提供有用的信息,在哪里寻找好的策略。
2023-03-08 cs.RO
Exploring the trade off between human driving imitation and safety for traffic simulation
Univ Paris Est Creteil(巴黎东克雷泰伊大学);Huawei Technologies France(华为技术法国公司)
交通仿真是自动驾驶汽车性能定量评价的重要手段。为了使模拟器成为一个有价值的测试平台,需要使场景中的每个交通代理动画化的驾驶策略像人类一样行事,同时保持最低限度的安全保证。从记录的人类驾驶数据或通过强化学习来学习交通代理的驾驶策略似乎是在不受控制的交叉口或环形交叉口中生成逼真且高度交互的交通情况的有吸引力的解决方案。在这项工作中,我们表明,在学习驾驶策略时,模仿人类驾驶和保持安全之间存在权衡。我们通过比较各种模仿学习和强化学习算法在应用于驾驶任务时的表现来做到这一点。我们还提出了一个多目标学习算法(MOPPO),提高了这两个目标。我们在从INTERACTION Dataset中提取的高度互动的驾驶场景上测试我们的驾驶策略,以评估它们的行为是否像人类。
2022-08-09 cs.LG cs.RO
Reinforcement Learning based Control of Imitative Policies for Near-Accident Driving
Stanford University(斯坦福大学);Toyota Research Institute(丰田研究院)
自动驾驶近年来取得了重大进展,但自动驾驶汽车仍无法应对可能发生事故的高风险情况。在这种近乎事故的情况下,即使车辆动作的微小变化也可能导致截然不同的后果。为了避免在接近事故的情况下采取不安全的行动,我们需要充分探索环境。然而,强化学习(RL)和模仿学习(IL),两种广泛使用的策略学习方法,不能建模快速相变,并且不可扩展以完全覆盖所有状态。为了解决在接近事故的情况下驾驶,我们提出了一个分层强化和模仿学习(H-ReIL)的方法,包括低级别的政策学习的IL离散驾驶模式,和一个高级别的政策学习的RL之间切换不同的驾驶模式。我们的方法通过将IL和RL集成到一个统一的学习框架中,利用了IL和RL的优势。实验结果和用户研究表明,我们的方法可以实现更高的效率和安全性相比,其他方法。对策略的分析表明,在接近事故驾驶的情况下,我们的高层策略在不同的低层策略之间进行了适当的切换。
2020-07-01 cs.AI cs.LG cs.RO
Gen-Drive: Enhancing Diffusion Generative Driving Policies with Reward Modeling and Reinforcement Learning Fine-tuning
School of Mechanical and Aerospace Engineering, Nanyang Technological University(南洋理工大学机械与航空航天工程学院);NVIDIA Research, NVIDIA Corporation(英伟达研究院,英伟达公司);Department of Aeronautics and Astronautics, Stanford University(斯坦福大学航空航天系)
本研究提出Gen-Drive框架,采用生成-评估规划范式,结合VLM辅助训练的奖励模型与RL微调提升扩散生成式驾驶策略,在nuPlan数据集上表现优于现有基于学习的方法及人工设计奖励方案。
2024-10-08 cs.RO
Quad2Plane: An Intermediate Training Procedure for Online Exploration in Aerial Robotics via Receding Horizon Control
University of Bristol(布里斯托大学)
数据驱动的机器人依赖于准确的现实世界表示来学习有用的策略。尽管我们尽了最大的努力,zero-shot仿真到现实迁移仍然是一个未解决的问题,我们经常需要允许我们的代理在线探索,以学习对给定任务有用的策略。对于许多应用领域的机器人在线探索是昂贵和危险的,这是特别真实的固定翼空中机器人。为了应对这些挑战,我们提供了一个用于现场机器人学习的中间解决方案。我们研究了使用不同的平台车辆学习,并提供了一个程序来模仿一个车辆与另一个的行为。我们特别考虑的问题,训练固定翼飞机,昂贵和危险的车辆类型,使用多旋翼主机平台。使用模型预测控制方法,我们设计了一个控制器,能够模仿另一个车辆的行为,在模拟和现实世界。
2022-03-21 cs.RO
Learning Safe Autonomous Driving Policies Using Predictive Safety Representations
Yardi School of Artificial Intelligence, Indian Institute of Technology Delhi(雅迪人工智能学院,印度理工学院德里)
本文提出利用预测安全表示改进自动驾驶策略学习,通过实验验证了其在提升安全性和效率方面的有效性。
2025-12-23 cs.LG cs.RO
Sampling-based Exploration for Reinforcement Learning of Dexterous Manipulation
Columbia University(哥伦比亚大学)
本文提出利用非完整快速扩展随机树算法进行基于采样的探索,生成重置分布以训练无模型强化学习控制策略,解决了高维状态空间探索难题,实现了复杂物体的无支撑灵巧操作并有效迁移至真实机器人。
2023-05-23 cs.RO
Comfort by Construction: Adaptive, Comfort-Bounded Action Spaces for Learned Driving Policies
University of Freiburg(弗莱堡大学);Bosch Center for Artificial Intelligence(博世人工智能中心);Coburg University of Applied Sciences(科堡应用科学大学)
针对固定网格动作空间导致强化学习策略产生不舒适机动的问题,提出自适应动作参数化方法,通过闭式求逆重新离散化网格,在Waymo数据集上实现舒适违规低于1%并提升可导航性。
2026-09-14 cs.AI cs.RO
RoaD: Rollouts as Demonstrations for Closed-Loop Supervised Fine-Tuning of Autonomous Driving Policies
NVIDIA Research(NVIDIA研究部);Huawei VN Research Center(华为越南研究中心);Stanford University(斯坦福大学)
RoaD通过利用自动驾驶策略自身的闭环回滚作为额外训练数据,有效缓解协变量偏移问题,提升闭环监督微调性能。
2025-12-01 cs.AI cs.CV cs.LG
Recovery Policies for Safe Exploration of Lunar Permanently Shadowed Regions by a Solar-Powered Rover
University of Toronto Institute for Aerospace Studies(多伦多大学航空航天研究所)
本文提出一种基于动态规划的恢复策略计算方法,用于解决太阳能月球漫游车在永久阴影区探索中的随机故障问题,通过改进算法保守处理状态空间离散化误差,最大化漫游车存活概率。
2023-10-21 cs.RO
R$\times$R: Rapid eXploration for Reinforcement Learning via Sampling-based Reset Distributions and Imitation Pre-training
Columbia University(哥伦比亚大学)
针对强化学习中高维状态空间探索难的问题,提出结合基于采样的非完整RRT算法与模仿预训练的R×R方法,可学习更高难度的灵巧操作技能且能迁移到真实机器人。
2024-01-27 cs.RO
Deep Object-Centric Policies for Autonomous Driving
University of California, Berkeley(加州大学伯克利分校);Nanjing University(南京大学)
虽然以端到端的方式学习视觉技能很有吸引力,但深度神经网络通常无法解释,并且以令人惊讶的方式失败。对于自动驾驶等机器人任务,明确表示对象的模型可能对新场景更具鲁棒性,并提供直观的可视化。我们描述了一个分类的“以对象为中心”的模型,利用对象实例和端到端的学习。在侠盗猎车手V模拟器中,我们证明了以对象为中心的模型在其他车辆和行人的场景中优于对象不可知的方法,即使使用不完美的检测器。我们还通过对Berkeley DeepDrive Video数据集进行评估,证明了我们的架构在现实环境中表现良好,其中以对象为中心的模型在低数据制度中优于对象不可知模型。
2019-03-01 cs.AI cs.CV cs.RO
DiGNet: Learning Scalable Self-Driving Policies for Generic Traffic Scenarios with Graph Neural Networks
the HKUST(香港科技大学);PolyU of HK(香港理工大学)
传统的自动驾驶汽车(SDV)决策和规划框架在新场景中的扩展性很差,因此它们需要繁琐的手动调整规则和参数,以在所有可预见的情况下保持可接受的性能。最近,基于深度学习的自驾驶方法已经显示出有希望的结果,具有更好的泛化能力,但手工工程工作量更少。然而,大多数以前的基于学习的方法都是在有限的驾驶场景中进行训练和评估的,这些场景具有分散的任务,例如车道跟随,自动制动和有条件驾驶。在本文中,我们提出了一个基于图的深度网络,以实现可扩展的自动驾驶,可以处理大规模的交通场景。具体而言,在高保真驾驶模拟器中进行了超过7,000公里的评估,其中我们的方法可以遵守交通规则,并在各种城市,农村和高速公路环境中安全驾驶车辆,包括无保护的左转弯,狭窄的道路,环形交叉口和富含酒精的交叉口。演示视频可在https://caipeide.github.io/dignet/上获得。
2021-07-30 cs.AI cs.LG cs.RO
Autoregressive Policies for Continuous Control Deep Reinforcement Learning
Kindred AI(Kindred AI(未找到常见中文名,按机构名直译))
强化学习算法依赖于探索来发现新的行为,这通常通过遵循随机策略来实现。在连续控制任务中,具有高斯分布的策略已被广泛采用。然而,高斯探索并不导致通常对应于实际任务中的安全和有益行为的平滑轨迹。此外,高斯策略不会导致对环境的有效探索,并且随着动作率的增加而变得越来越低效。这导致在学习连续控制任务中经常观察到的低样本效率。我们引入了一个家庭的平稳自回归(AR)随机过程,以方便探索连续控制域。我们提出的过程具有两个理想的功能:后续的过程观测时间相干连续可调程度的一致性,和过程平稳分布是标准的正常。我们推导出一个自回归策略(ARP),实现这样的过程保持标准的代理环境接口。我们展示了如何ARP可以很容易地使用现有的现成的学习算法。从经验上讲,我们证明,使用ARP的结果在模拟和现实世界域中的改进的探索和样本效率,而且,提供平滑的探索轨迹,使机器人硬件的安全操作。
2019-03-27 cs.AI cs.LG cs.RO
Cost-Aware Query Policies in Active Learning for Efficient Autonomous Robotic Exploration
针对资源受限下自主机器人高效探索需求,分析结合动作代价的高斯过程回归主动学习算法,实验发现带距离约束的传统不确定性指标在轨迹约束下降误差效果最优,为真实任务约束下的探索优化提供参考。
2024-10-31 cs.IR cs.LG cs.RO
Hybrid Deep Reinforcement Learning and Planning for Safe and Comfortable Automated Driving
Saarland University(萨尔大学);German Research Center for Artificial Intelligence(德国人工智能研究中心)
我们提出了一种新的混合学习方法,HyLEAR,用于解决POMDPs中自动驾驶汽车的无碰撞导航问题。HyLEAR利用插入式学习将混合规划器的知识嵌入深度强化学习器中,以更快地确定安全舒适的驾驶策略。特别地,混合规划器将行人路径预测和风险感知路径规划与基于驾驶行为规则的推理相结合,使得驾驶策略还尽可能地考虑乘坐舒适性和给定的驾驶行为规则集。我们对关键交通场景的CARLA-CTS 1基准的实验性能分析表明,HyLEAR在安全性和乘坐舒适性方面可以显着优于选定的基线。
2022-12-30 cs.AI cs.RO
Towards Low-Gravity Planetary Exploration using Reinforcement Learning for Walking, Jumping, and In-flight Attitude Control
Autonomous Robots Lab(自主机器人实验室);NTNU(挪威特罗姆瑟大学)
本文利用强化学习为四足机器人在火星低重力环境下开发行走、垂直跳跃、前向跳跃及飞行姿态控制策略,实现跨越障碍物并安全着陆,仿真与实验验证了策略的有效性。
2026-05-23 cs.RO cs.SY eess.SY
Vision Transformer for Learning Driving Policies in Complex Multi-Agent Environments
School of Electrical Engineering, Aalto University(阿尔托大学电气工程学院)
在复杂的城市环境中驾驶是一项艰巨的任务,需要复杂的决策策略。为了做出明智的决定,人们需要了解长期背景和其他车辆的重要性。在这项工作中,我们建议使用视觉Transformer(ViT)学习驾驶政策,在城市设置与鸟瞰(BEV)输入图像。ViT网络比早期提出的卷积神经网络(ConvNets)更有效地学习场景的全局上下文。此外,ViT的注意力机制有助于学习场景的注意力地图,这使得自我汽车能够确定哪些周围的汽车对其下一个决定很重要。我们证明了具有ViT骨干的DQN代理优于具有以各种方式预训练的ConvNet骨干的基线算法。特别是,所提出的方法有助于强化学习算法更快地学习,提高性能,减少数据比基线。
2021-09-14 cs.AI cs.LG cs.MA
Driving Policy Transfer via Modularity and Abstraction
KAUST(阿卜杜拉国王科技大学);Intel Labs(英特尔实验室)
自动驾驶的端到端方法具有很高的样本复杂性,并且难以扩展到现实的城市驾驶。仿真可以通过提供廉价,安全和多样化的培训环境来帮助端到端的驾驶系统。然而,在模拟中训练驱动政策带来了将这些政策转移到现实世界的问题。我们提出了一种方法,通过模块化和抽象的驾驶政策从模拟到现实。我们的方法受到经典驾驶系统的启发,旨在结合模块化架构和端到端深度学习方法的优势。关键思想是封装驾驶策略,使其不直接暴露于原始感知输入或低级别车辆动态。我们评估所提出的方法在模拟城市环境和现实世界中。特别是,我们将模拟训练的驾驶策略转移到1/5比例的机器人卡车上,该卡车部署在两大洲的各种条件下,没有微调。补充视频可以在https://youtu.be/BrMDJqI6H5U上观看
2018-12-13 cs.CV cs.LG cs.RO
An Application of Scenario Exploration to Find New Scenarios for the Development and Testing of Automated Driving Systems in Urban Scenarios
FZI Research Center for Information Technology(FZI信息技术研究中心);IPG Automotive GmbH(IPG汽车有限公司)
验证和确认是开发自动驾驶系统的主要挑战。在自动驾驶测试中,越来越多的人认识到一个概念,那就是基于Asio的测试。然而,它引入了一个问题,即哪些场景与测试相关,哪些场景与测试无关。这项工作的目的是找到相关的,有趣的,或关键的参数集的逻辑方案,利用贝叶斯优化和高斯过程。在两个城市交叉口的场景中,通过比较和评估六种不同的指标来进行参数优化。最后,提出了这项工作产生的以及应该进一步研究的想法清单。
2022-05-17 cs.LG cs.RO cs.SE
AnchDrive: Bootstrapping Diffusion Policies with Hybrid Trajectory Anchors for End-to-End Driving
School of Communication and Information Engineering, Shanghai University, Shanghai 200444, China(信息工程学院,上海大学);Bosch Corporate Research, Bosch (China) Investment Ltd., Shanghai, China(博世企业研究,博世(中国)投资有限公司);School of Mechanical Engineering, Shanghai Jiao Tong University, Shanghai, China(机械工程学院,上海交通大学);Xi'an Jiaotong-Liverpool University, Suzhou, China(西安交通大学利物浦大学)
AnchDrive提出用混合轨迹锚点引导扩散策略,避免从纯噪声去噪,在NAVSIM基准上实现高效生成多样化高质量轨迹并达到新最先进水平。
2025-09-26 cs.AI cs.RO
Multi-Agent Vulnerability Discovery for Autonomous Driving with Hazard Arbitration Reward
Tsinghua University(清华大学);Shanghai Qi Zhi Institute(上海期智研究院);Institute for Interdisciplinary Information Sciences, Tsinghua University(清华大学交叉信息研究院);Novauto Technology Co. Ltd(超星未来科技有限公司)
发现危险场景对于测试和进一步改进驾驶政策至关重要。然而,进行有效的驾驶政策测试面临两个关键挑战。一方面,在测试训练有素的自动驾驶策略时,自然遇到危险场景的概率很低。因此,通过纯粹的真实道路测试来发现这些场景是非常昂贵的。另一方面,要完成这项任务,就必须适当确定事故责任。收集错误归因责任的场景将导致过度保守的自动驾驶策略。更具体地说,我们的目标是发现危险车辆责任(AV责任)的危险场景,即,驾驶考试政策的漏洞。为此,这项工作提出了一个安全测试框架,通过寻找基于多智能体强化学习的Av-Responsible Scenarios(STARS)。STARS通过引入危险仲裁奖励(HAR),引导其他交通参与者产生Av-Responsible Scenarios,并使测试中的驾驶政策行为不当。HAR使我们的框架能够发现多样化,复杂和AV负责的危险场景。针对四种不同的驾驶策略在三个环境中的实验结果表明,星可以有效地发现AV负责的危险场景。这些情景确实对应了欠考驾驶政策的漏洞,因此对进一步改进欠考驾驶政策具有重要意义。
2021-12-12 cs.AI cs.RO
LoRD: Adapting Differentiable Driving Policies to Distribution Shifts
TU Dortmund University(多特蒙德工业大学);NVIDIA Research(英伟达研究院);Stanford University(斯坦福大学)
针对自动驾驶中分布偏移导致的性能下降和灾难性遗忘问题,提出低秩残差解码器(LoRD)与多任务微调策略,在nuPlan和exiD数据集上显著提升闭环OOD驾驶得分并减少遗忘。
2025-03-28 cs.AI cs.LG cs.RO
Learning Stability Attention in Vision-based End-to-end Driving Policies
本文提出利用控制 Lyapunov 函数(CLFs)为基于视觉的端到端自动驾驶策略赋予稳定性,并引入稳定性注意力(att-CLFs)与不确定性传播技术以应对环境变化、提升学习灵活性,经仿真与实车实验验证了其有效性。
2023-04-05 cs.LG cs.RO cs.SY
Towards Safe Autonomous Driving Policies using a Neuro-Symbolic Deep Reinforcement Learning Approach
George Washington University(乔治华盛顿大学);Istanbul University-Cerrahpasa(伊斯坦布尔大学-杰拉赫帕夏);University of Surrey(萨里大学)
本文提出神经符号深度强化学习方法DRLSL,结合经验学习与逻辑推理,在真实环境中实现安全自动驾驶,并在HighD数据集上验证了其避免不安全行为、快速收敛及良好泛化能力。
2025-08-17 cs.AI cs.LG cs.LO
Goal-constrained Sparse Reinforcement Learning for End-to-End Driving
Inria(法国国家信息与自动化研究所)
用于端到端驾驶的深度强化学习受到复杂奖励工程需求的限制。稀疏奖励可以规避这一挑战,但遭受长的训练时间,并导致次优的政策。在这项工作中,我们探索完全控制驾驶只有目标约束的稀疏奖励,并提出了一个课程学习方法,端到端的驾驶只使用导航视图地图,受益于小的虚拟到真实的域差距。为了解决多个驾驶策略的复杂性,我们学习在推理时由导航系统选择的并发个体策略。我们证明了我们的建议,以概括看不见的道路布局的能力,并驾驶显着长于在培训。
2021-07-31 cs.AI cs.CV cs.RO
SafetyNet: Safe planning for real-world self-driving vehicles using machine-learned policies
Toyota(丰田);Woven Planet(织女星);Level 5 self-driving division(Level 5自动驾驶部门)
在本文中,我们介绍了第一个用于完全控制自动驾驶车辆的安全系统,该系统通过人类演示进行训练,并部署在具有挑战性的真实城市环境中。当前的行业标准解决方案使用基于规则的系统进行规划。虽然它们在常见场景中表现相当不错,但工程复杂性使得这种方法与人类水平的性能不兼容。另一方面,机器学习(ML)规划解决方案的性能可以通过简单地添加更多的样本数据来提高。然而,ML方法不能提供安全保证,有时行为不可预测。为了解决这个问题,我们的方法使用了一个简单而有效的基于规则的回退层,对ML规划者的决策进行合理性检查(例如避免冲突,确保物理可行性)。这使我们能够利用机器学习来处理复杂的情况,同时仍然确保安全性,将机器学习计划器冲突减少了95%。我们使用模仿学习对机器学习规划人员进行了300小时的专家驾驶演示训练,并将其与旧金山市中心的后备层一起部署,在那里它可以完全控制真实车辆并导航各种具有挑战性的城市驾驶场景。
2021-09-28 cs.AI cs.CV cs.LG
Offline Reinforcement Learning for Autonomous Driving with Safety and Exploration Enhancement
University of Toronto(多伦多大学);Michigan State University(密歇根州立大学)
强化学习(RL)是一种强大的数据驱动控制方法,在自动驾驶任务中得到了广泛的应用。然而,传统的RL方法通过与环境的试错交互来学习控制策略,因此在现实世界的交通中进行测试时可能会导致灾难性的后果,例如碰撞。离线RL最近成为一个很有前途的框架,可以从以前收集的静态数据集中学习有效的策略,而不需要主动交互,这使得它对自动驾驶应用程序特别有吸引力。尽管前景看好,但现有的离线RL算法(如批量约束深度Q学习(BCQ))通常会导致相当保守的策略,探索效率有限。为了解决这些问题,本文提出了一种增强的BCQ算法,通过在扰动模型中采用可学习的参数噪声方案,以增加所观察到的动作的多样性。此外,一个基于Lyapunov的安全增强策略被纳入到一个安全区域内的可探索的状态空间。在高速公路和停车场交通场景中的实验结果表明,我们的方法优于传统的RL方法,以及最先进的离线RL算法。
2021-11-02 cs.RO cs.SY eess.SY
Learning Latent Traits for Simulated Cooperative Driving Tasks
Toyota Research Institute(丰田研究院)
要在复杂、危险的情况下在人类和人工智能系统之间构建有效的团队策略,需要了解人类的个人偏好和行为。以前,这个问题一直是以特定于案例或数据不可知的方式处理的。在本文中,我们建立了一个框架,能够捕捉一个紧凑的潜在的代表性的人在他们的行为和偏好的基础上,从一个模拟的人口驱动程序的数据。我们的框架利用,在现有的范围内,个人偏好和类型的知识,从人口中的样本部署适合特定驱动程序的交互政策。然后,我们建立了一个轻量级的仿真环境,HMIway-env,建模一种形式的分心驾驶行为,并使用它来生成不同的驱动程序类型和训练干预政策的数据。最后,我们使用这种环境来量化的能力,区分司机和干预政策的有效性。
2022-07-20 cs.AI cs.HC cs.RO
Safe2Drive: Evaluating Safe Driving Behaviors of E2E Autonomous Driving Models
Carnegie Mellon University(卡内基梅隆大学);Birla Institute of Technology and Science Pilani(比拉理工学院和科学帕利尼)
针对端到端自动驾驶模型在常见安全关键场景中表现脆弱的问题,提出Safe2Drive测试集和安全驾驶评分(SDS),评估发现领先模型在安全场景中驾驶得分大幅下降且SDS较低。
2026-05-29 cs.CV cs.RO
RACER: Epistemic Risk-Sensitive RL Enables Fast Driving with Fewer Crashes
UC Berkeley(加州大学伯克利分校)
本文提出RACER强化学习框架,融合风险敏感控制、自适应动作空间课程与认知不确定性估计,使小型拉力赛车在真实越野环境中学会高速驾驶,并减少训练安全违规、提升策略性能。
2024-05-07 cs.AI cs.LG cs.RO
Robotic Navigation using Entropy-Based Exploration
KAIST(韩国科学技术院)
机器人导航是指机器人在复杂的环境中能够找到一条安全可行的路径并在两点之间穿行的任务。我们使用强化学习来解决机器人导航问题,并使用深度$Q$网络来训练代理来解决机器人导航任务。我们比较了基于熵的探索(EBE)和广泛使用的$ε$ -贪婪的探索策略,通过训练智能体使用它们在模拟。然后,在不同版本的环境中测试经过训练的代理,以测试学习策略的泛化能力。我们还实现了一个真正的机器人在复杂的现实环境中学习的政策,没有任何微调,并比较上述探索策略在现实世界中的设置的有效性。在\url{https://youtu.be/NHT-EiN_4n8}上可以观看TurtleBot 3平台上的实验视频。
2019-06-17 cs.RO cs.SY eess.SY
NoMaD: Goal Masked Diffusion Policies for Navigation and Exploration
UC Berkeley(加州大学伯克利分校)
本文提出NoMaD,一种统一的扩散策略,同时处理目标导向导航与目标无关探索,在真实机器人上优于五种替代方法,性能显著提升且碰撞率更低。
2023-10-11 cs.CV cs.LG cs.RO
TerraTransfer: Learning End-to-End Driving Policies Without Expert Demonstrations
Applied Intuition;UCLA(加州大学洛杉矶分校);UC Berkeley(加州大学伯克利分校)
提出一种无需专家示范的端到端驾驶方法,通过向量化模拟器中的自博弈预训练策略,再与预训练视觉骨干对齐,降低了数据成本并达到或超越现有方法。
2026-07-17 cs.AI cs.CV cs.RO
TMRL: Diffusion Timestep-Modulated Pretraining Enables Exploration for Efficient Policy Finetuning
University of Washington(华盛顿大学);Amazon FAR(亚马逊FAR)
本文提出TMRL框架,通过结合行为克隆预训练与强化学习微调,解决预训练中动作分布狭窄的问题,提升机器人策略微调的样本效率。
2026-08-13 cs.AI cs.LG cs.RO