SEAL: Towards Safe Autonomous Driving via Skill-Enabled Adversary Learning for Closed-Loop Scenario Generation
School of Computer Science, Carnegie Mellon University（卡内基梅隆大学计算机科学系）
针对现有自动驾驶场景生成方法对抗行为不真实的问题，提出SEAL，利用学习目标函数和类人对抗技能进行场景扰动，有效提升了场景真实性与自车任务成功率。
2025-07-14 cs.AI cs.LG cs.RO
Accelerating Reinforcement Learning for Autonomous Driving using Task-Agnostic and Ego-Centric Motion Skills
SenseTime Research（商汤科技研究院）；The Chinese University of Hong Kong（香港中文大学）；University of Toronto（多伦多大学）；UC Berkeley（加州大学伯克利分校）
连续空间中的高效探索是将强化学习（RL）应用于自动驾驶的核心问题。从专家演示中学到的技能或为特定任务设计的技能可以使探索受益，但它们通常是昂贵的，不平衡的/次优的，或无法转移到不同的任务。然而，人类驾驶员可以通过在整个技能空间中进行有效和结构性的探索，而不是在有限的空间中使用特定于任务的技能，来适应各种驾驶任务，而无需进行演示。受上述事实的启发，我们提出了一种RL算法，探索所有可行的运动技能，而不是一组有限的特定于任务和以对象为中心的技能。在没有演示的情况下，我们的方法仍然可以在不同的任务中表现良好。首先，我们建立一个任务不可知和自我为中心（TaEc）的运动技能库在一个纯粹的运动的角度来看，这是多样化的，足以在不同的复杂任务中可重用。然后将运动技能编码到一个低维的潜在技能空间中，RL可以在其中进行有效的探索。在各种具有挑战性的驾驶场景中的验证表明，我们提出的方法，TaEc-RL，优于其同行显着的学习效率和任务性能。
2022-09-24 cs.RO
Eco-driving for Electric Connected Vehicles at Signalized Intersections: A Parameterized Reinforcement Learning approach
Southeast University（东南大学）；Tibet University（西藏大学）
本文提出一种基于参数化强化学习的电动网联车辆生态驾驶框架，通过构建MDP联合优化交叉口附近的跟驰与换道行为，在SUMO仿真中显著降低能耗且不干扰人类驾驶车辆。
2022-10-07 cs.AI cs.RO
Cyber Racing Coach: A Haptic Shared Control Framework for Teaching Advanced Driving Skills
Department of Mechanical Engineering, University of Michigan（机械工程系，密歇根大学）；Toyota Research Institute（丰田研究院）
本研究提出基于触觉共享控制的Cyber Racing Coach框架，含可协作的高性能自动驾驶系统与随表现渐隐的转向辅助机制，经人体实验验证，相比自学与全辅助基准更能帮助驾驶员习得优质赛车技能，提升表现与稳定性。
2025-10-04 cs.HC cs.RO
Learning Parameterized Skills from Demonstrations
Brown University（布朗大学）；Carnegie Mellon University（卡内基梅隆大学）
该研究提出端到端算法DEPS，结合时间变分推断与信息论正则化，从专家演示中联合学习参数化技能策略与元策略，解决潜变量模型退化问题，在多基准上优于基线，提升未见过任务的泛化能力并发现可解释技能。
2025-10-28 cs.AI cs.LG cs.RO
EXTRACT: Efficient Policy Learning by Extracting Transferable Robot Skills from Offline Data
University of Southern California（南加州大学）；KAIST（韩国科学技术院）；CMU（卡内基梅隆大学）；Amazon Web Services（亚马逊网络服务）
EXTRACT利用预训练视觉语言模型从离线数据中提取语义技能，无需人工监督，使机器人通过选择技能和调整参数快速学习新任务，在稀疏奖励图像操作环境中显著提升样本效率和性能。
2024-09-19 cs.AI cs.LG cs.RO
Model Learning for Look-ahead Exploration in Continuous Control
Carnegie Mellon University（卡内基梅隆大学）
我们提出了一种探索方法，结合前瞻性搜索的基本学习技能和他们的动态，并使用它的强化学习（RL）的操作政策。我们的技能是使用现有的多目标RL公式在更简单的环境中孤立地学习多目标策略，类似于期权或宏动作。粗略的技能动态，即，学习由（完整的）技能执行引起的状态转换，并在前瞻搜索期间向前展开。策略搜索在探索期间受益于时间抽象，尽管其本身在低级别原始动作上操作，因此所产生的策略不会遭受由粗糙技能链引起的次优性和可扩展性。我们表明，所提出的探索策略比当前最先进的RL方法更快地有效学习复杂的操作策略，并且比使用选项或参数化技能作为策略本身的构建块的方法收敛到更好的策略，而不是指导探索。我们表明，所提出的探索策略比当前最先进的RL方法更快地有效学习复杂的操作策略，并且比使用选项或参数化技能作为策略本身的构建块的方法收敛到更好的策略，而不是指导探索。
2018-11-20 cs.AI cs.LG cs.RO
Flow-based Domain Randomization for Learning and Sequencing Robotic Skills
Autodesk Research（奥多比研究）
本文提出基于归一化流的熵正则化域随机化方法，自动学习更灵活的环境采样分布，提升策略鲁棒性，并将其用于多步操作规划中的分布外检测。
2025-05-05 cs.AI cs.LG cs.RO
Testing Large Language Models on Driving Theory Knowledge and Skills for Connected Autonomous Vehicles
Aston University（阿斯顿大学）；Essex University（埃塞克斯大学）；University of Essex（埃塞克斯大学）；Wuhan University of Technology（武汉理工大学）
本文研究了应用远程或边缘LLMs辅助自动驾驶的新方法，通过对多个专有和开源LLM模型进行500多道驾驶理论题测试，评估其在CAV驾驶辅助任务中的准确率、成本和延迟，为平衡模型性能与成本提供了决策依据。
2024-07-24 cs.AI cs.NI cs.RO
In-Context Policy Adaptation via Cross-Domain Skill Diffusion
本研究提出ICPAD跨域技能扩散框架，在无模型更新、有限目标域数据约束下，通过学习域无关原型技能与技能适配器，结合动态域提示实现长时序多任务策略快速适配，在机器人操作与自动驾驶任务上性能优于现有方法。
2025-09-04 cs.AI cs.LG cs.RO
Contextual Latent-Movements Off-Policy Optimization for Robotic Manipulation Skills
Technische Universität Darmstadt（达姆施塔特工业大学）
参数化运动基元已广泛用于机器人任务的模仿学习。然而，参数空间的高维性阻碍了强化学习（RL）设置中这些原语的改进，特别是对于物理机器人的学习。在本文中，我们提出了一种新的观点，处理演示轨迹获得低维，非线性潜在的动态，使用混合物的概率主成分分析（MPPCA）的运动的参数空间。此外，我们介绍了一个新的上下文的非策略RL算法，命名为LAMPO（LAtent-Movements Policy Optimization）。LAMPO可以提供梯度估计从以前的经验，使用自归一化重要性采样，因此，充分利用在以前的学习迭代中收集的样本。这些优点相结合，提供了一个完整的框架，样本有效的偏离政策优化的运动原语的机器人学习的高维操作技能。我们在仿真和真实机器人上进行的实验结果表明，LAMPO提供了样本有效的政策对文献中常见的方法。
2022-02-11 cs.LG cs.RO
Accelerating Robotic Reinforcement Learning via Parameterized Action Primitives
Carnegie Mellon University（卡内基梅隆大学）
尽管强化学习（RL）在构建通用机器人系统方面具有潜力，但由于在纯粹连续的动作空间中探索的困难，训练RL代理来解决机器人任务仍然具有挑战性。解决这个问题是一个活跃的研究领域，主要集中在通过更好的优化或更有效的探索来改进RL方法。另一个需要考虑改进的重要组件是RL算法与机器人的接口。在这项工作中，我们手动指定一个库的机器人动作原语（RAPS），参数化的参数，学习的RL策略。这些参数化原语具有表达性，易于实现，能够进行有效的探索，并且可以在机器人，任务和环境之间传输。我们进行了彻底的实证研究，在三个不同的领域与图像输入和稀疏的终端奖励具有挑战性的任务。我们发现，我们对动作界面的简单改变大大提高了学习效率和任务性能，无论底层RL算法如何，都显著优于从离线专家数据中学习技能的先前方法。https://mihdalal.github.io/raps/上的代码和视频
2021-10-28 cs.AI cs.CV cs.LG
Parameterized Decision-making with Multi-modal Perception for Autonomous Driving
University of Electronic Science and Technology of China（电子科技大学）；Yangtze Delta Region Institute(Quzhou), University of Electronic Science and Technology of China（电子科技大学长三角研究院（衢州））；University of Michigan（密歇根大学）
针对现有自动驾驶决策方法环境适应性弱、优化目标不全的问题，提出基于深度强化学习的多模态感知参数化决策框架AUTO，通过图模型表征多模态特征、参数化动作结构及混合奖励等设计，在宏微观效能上均超越SOTA。
2023-12-19 cs.AI
End-To-End Training and Testing Gamification Framework to Learn Human Highway Driving
Clemson University International Center for Automotive Research (CU-ICAR)（克莱姆森大学国际汽车研究中心（CU-ICAR））
提出基于GTA V游戏的端到端框架，通过游戏画面预测转向和油门，学习人类高速公路驾驶技能，实验验证有效。
2024-04-18 cs.AI cs.RO
Dexterous Legged Locomotion in Confined 3D Spaces with Reinforcement Learning
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；George Mason University（乔治梅森大学）；Sony AI（索尼人工智能）
针对受限三维空间中腿式机器人导航难题，提出结合经典规划器与强化学习策略的分层运动控制器，在仿真中性能优于现有方法，且成功实现真机部署。
2024-03-06 cs.LG cs.RO
GoonDAE: Denoising-Based Driver Assistance for Off-Road Teleoperation
Agency for Defense Development (ADD)（国防发展局（ADD））；Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院（KAIST））
针对越野遥操作中非熟练驾驶员驾驶性能差、训练成本高的问题，提出基于跳跃连接LSTM的去噪自驾驶员辅助模型GoonDAE，经模拟环境实验验证可显著提升驾驶稳定性。
2023-03-01 cs.RO
Learning to Roam Free from Small-Space Autonomous Driving with A Path Planner
UC Berkeley（加州大学伯克利分校）
现代自动驾驶算法通常依赖于从各种场景和视觉场景中的人类驾驶数据中学习从视觉输入到转向动作的映射。所需的数据汇集不仅是劳动密集型的，而且这种数据通常是嘈杂的、不一致的和不灵活的，因为在好的和坏的驾驶员之间或者在不同的驾驶意图之间没有区分。我们提出了一种新的自动驾驶方法，从最佳路径规划器学习漫游技能。我们的模型车练习在一个有障碍物的小房间里到达随机目标位置，通过遵循最佳轨迹并执行规划者决定的转向动作。我们学习驾驶行为与深度图像的关联，而不是视觉场景的原始彩色图像。这种更普遍的空间表示允许学习驾驶技能立即转移到具有不同视觉外观的新环境中。我们的模型车在一个简单的房间里训练，没有许多视觉功能，在混乱的办公环境中表现出令人惊讶的良好驾驶性能，避免与新的障碍物和不可见的可驾驶空间布局发生碰撞。它在室外路边驾驶的性能也与人类驾驶相当。
2018-03-17 cs.RO
CUA-Skill: Develop Skills for Computer Using Agent
msft（微软）
CUA-Skill通过构建可重用的技能库，提升了计算机使用代理在复杂任务中的执行效率和鲁棒性，实现了端到端代理的高效开发。
2026-02-02 cs.AI
Efficient Bimanual Manipulation Using Learned Task Schemas
MIT Computer Science and Artificial Intelligence Laboratory（麻省理工学院计算机科学与人工智能实验室）；Facebook Artificial Intelligence Research（脸书人工智能研究院）
我们解决的问题，有效地组成的技能，以解决稀疏奖励的任务在现实世界中。给定一组参数化技能（例如在某个位置施加力或进行顶部抓取），我们的目标是学习调用这些技能的策略来有效地解决这些任务。我们的见解是，对于许多任务，学习过程可以分解为学习一个状态独立的任务模式（一系列的技能执行）和一个政策，选择参数化的技能，在一个状态依赖的方式。对于这样的任务，我们表明，明确建模模式的状态独立性可以产生显着的改善样本效率的无模型强化学习算法。此外，这些模式可以通过简单地重新学习调用技能的参数化来转移到解决相关任务。我们发现，这样做可以非常有效地学习解决现实世界机器人系统上的稀疏奖励任务。我们验证了我们的方法实验一套机器人双手操作任务，无论是在模拟和真实的硬件。请访问http://tinyurl.com/chitnis-schema观看视频。
2020-02-27 cs.CV cs.LG cs.RO
Bootstrapping Skills
Technion - Israel Institute of Technology（以色列理工学院）；Google Deepmind（谷歌DeepMind）
马尔可夫决策过程（Markov Decision Process，MDP）中的策略表示的整体方法寻找可以表示为从状态到动作的函数的单个策略。为了使整体方法成功（这并不总是可能的），复杂的特征表示通常是必要的，因为策略是一个复杂的对象，必须规定在整个状态空间中采取什么动作。这在具有复杂动力学的大域中尤其如此。使用复杂的整体方法在MDP中学习和规划也是计算效率低下的。我们提出了一种不同的方法，我们限制政策空间的政策，可以表示为简单的组合，参数化的技能-一种类型的时间扩展的行动，一个简单的政策表示。我们引入了通过引导（LSB）的学习技能，它可以使用广泛的强化学习（RL）算法作为“黑盒”来迭代学习参数化技能。最初，学习到的技能是短视的，但算法的每次迭代都允许技能相互引导，从而提高过程中的每项技能。我们证明，这个引导过程返回一个接近最优的政策。此外，我们的实验表明，LSB可以解决MDP，给定相同的代表性的权力，不能解决的单片方法。因此，使用学习到的技能进行规划会产生更好的策略，而不需要复杂的策略表示。
2015-06-11 cs.AI
LeTS-Drive: Driving in a Crowd by Learning from Tree Search
National University of Singapore（新加坡国立大学）
在拥挤的环境中自动驾驶，例如，一个繁忙的交通路口，是机器人技术尚未解决的挑战。机器人车辆必须与动态和部分可观察的环境，嘈杂的传感器和许多代理人抗衡。一个原则性的方法是将其形式化为部分可观测马尔可夫决策过程（POMDP），并通过在线信念树搜索来解决它。为了在这种极具挑战性的环境中处理大量人群并实现实时性能，我们提出了LeTS-Drive，它集成了在线POMDP规划和深度学习。它包括两个阶段。在离线阶段，我们学习一个政策和相应的价值函数通过模仿信念树搜索。在在线阶段，学习的策略和价值函数指导信念树搜索。LeTS-Drive利用规划的鲁棒性和学习的运行时效率来增强两者的性能。仿真实验结果表明，LeTS-Drive优于单独的规划或模仿学习，并开发出复杂的驾驶技能。
2019-05-29 cs.AI cs.LG cs.RO
A Review of Reward Functions for Reinforcement Learning in the context of Autonomous Driving
FZI Research Center for Information Technology（弗劳恩霍夫研究所信息技术研究中心）；Karlsruhe Institute of Technology（卡尔斯鲁厄大学）
本文综述了强化学习在自动驾驶中奖励函数的设计，分析了不同方法的优缺点，并提出了未来研究方向，如奖励验证框架和情境感知奖励。
2026-03-04 cs.AI cs.LG cs.RO
A Geometric Perspective on Visual Imitation Learning
University of Alberta（阿尔伯塔大学）
我们考虑的问题，视觉模仿学习没有人的监督（如动觉教学或遥操作），也没有访问交互式强化学习（RL）的培训环境。我们提出了一个几何的角度来得出这个问题的解决方案。具体而言，我们提出了VGS-IL（视觉几何技能模仿学习），一个端到端的几何参数化的任务概念推理方法，推断全局一致的几何特征关联规则从人类演示视频帧。我们发现，而不是从图像像素学习动作，学习几何参数化的任务概念提供了一个可解释的和不变的表示在各种环境设置下的演示者模仿者。此外，这样的任务概念表示提供了与基于几何视觉的控制器（例如，视觉伺服）的直接链接，从而允许将高级任务概念高效映射到低级机器人动作。
2020-03-05 cs.LG cs.RO
Teacher algorithms for curriculum learning of Deep RL in continuously parameterized environments
Inria（法国国家信息与自动化研究所）；Microsoft Research（微软研究院）
我们考虑教师算法如何使未知的深度强化学习（DRL）学生能够在各种不同的环境中掌握技能的问题。为此，我们研究了教师算法如何学习生成学习课程，从而顺序采样控制随机程序生成环境的参数。因为它最初并不知道学生的能力，教师面临的一个关键挑战是发现哪些环境是容易的，困难的或不可学习的，以及以何种顺序提出它们以最大限度地提高学习效率。为了实现这一点，这个问题被转化为一个代理连续的强盗问题，教师样本的环境，以最大限度地提高绝对学习进度的学生。提出了一种基于高斯混合模型的绝对学习过程建模算法（ALP-GMM）。我们还适应现有的算法，并提供了一个完整的研究DRL的上下文中。使用参数化的双足步行环境的变体，我们研究他们的效率，个性化的学习课程，为不同的学习者（实施例），他们的鲁棒性的可学习/不可学习的环境的比例，和他们的可扩展性，非线性和高维参数空间。视频和代码可在https://github.com/flowersteam/teachDeepRL上获得。
2019-10-16 cs.LG cs.RO stat.ML
Single-step Options for Adversary Driving
University of Alberta（阿尔伯塔大学）；Huawei Technologies Canada（华为加拿大技术公司）
在本文中，我们使用强化学习在敌对环境中的安全驾驶。在我们的工作中，国家的最先进的规划方法中的知识被重用的单步的【形】选项，其行动建议进行比较，在平行的原始行动。我们这样做有两个好处。首先，训练这个强化学习代理比训练连续动作代理更容易和更快。其次，我们的新代理优于连续动作强化学习代理，人类测试人员以及我们的代理查询作为技能选项的最先进的规划方法。
2019-11-28 cs.AI
Learning Semantics-Aware Locomotion Skills from Human Demonstration
University of Washington（华盛顿大学）；Google（谷歌）
环境的语义，如地形类型和属性，揭示了足式机器人调整其行为的重要信息。在这项工作中，我们提出了一个框架，学习语义感知的运动技能，从感知四足机器人，使机器人可以穿越复杂的越野地形，适当的速度和步态使用感知信息。由于缺乏高保真的户外模拟，我们的框架需要直接在现实世界中训练，这在数据效率和安全性方面带来了独特的挑战。为了确保样本效率，我们使用越野驾驶数据集对感知模型进行预训练。为了避免现实世界的政策探索的风险，我们利用人类示范训练的速度政策，选择一个理想的前进速度从相机图像。对于最大的可通行性，我们配对的速度政策与步态选择器，它选择一个强大的运动步态为每个前进速度。仅使用40分钟的人类演示数据，我们的框架就可以根据感知的地形语义来学习调整机器人的速度和步态，并使机器人能够以接近最佳的速度行走超过6公里。
2022-10-10 cs.AI cs.RO
FastRLAP: A System for Learning High-Speed Driving via Deep RL and Autonomous Practicing
UC Berkeley（加州大学伯克利分校）
本文提出FastRLAP系统，通过预训练表示初始化、单次低速演示提取检查点及在线RL自主练习，使真实RC车在20分钟内学会高速视觉驾驶。
2023-04-19 cs.AI cs.LG cs.RO
CLASP: Language-Driven Robot Skill Selection and Composition using Task-Parameterized Learning
German Aerospace Center (DLR), Institute of Robotics and Mechatronics (RMC)（德国航空航天中心（DLR），机器人与机电一体化研究所（RMC））；Technical University of Munich (TUM)（慕尼黑工业大学（TUM））
提出CLASP架构，结合任务参数化核化运动基元（TP-KMP）与预训练视觉语言模型（VLM），通过自然语言命令实现技能选择、组合和主动学习，无需微调，在7自由度机械臂上达到73.3%-100%成功率。
2026-06-06 cs.AI cs.CL cs.HC
Learning Task-Parameterized Skills from Few Demonstrations
Delft University of Technology（代尔夫特理工大学）；Honda Research Institute, Europe（本田欧洲研究院）
远离重复性的任务，现在的机器人需要适应不同情况的多功能技能。任务参数化学习通过在任务参数中编码相关上下文信息来提高运动策略的泛化能力，从而实现灵活的任务执行。然而，训练这样的策略通常需要收集不同情况下的多次演示。全面创建不同的情况是不平凡的，因此使该方法不太适用于现实世界的问题。因此，需要较少演示/情况的培训。本文提出了一种新的概念，以增加与合成数据的政策改进的原始训练数据集，从而允许学习任务参数化的技能，很少的演示。
2022-01-24 cs.RO
Deep Reinforcement Learning for Human-Like Driving Policies in Collision Avoidance Tasks of Self-Driving Cars
Ben-Gurion University of the Negev（本-古里安大学）
自动驾驶汽车（AV）开发所涉及的技术和科学挑战目前是许多汽车公司和研究实验室的主要兴趣。然而，人类控制的车辆可能会在未来几十年内继续在道路上行驶，并可能与自动驾驶汽车共享未来的交通环境。在这样的混合环境中，自动驾驶汽车应该部署类似人类的驾驶策略和谈判技巧，以实现顺畅的交通流。为了生成自动化的类人驾驶策略，我们引入了一种无模型的深度强化学习方法来模仿有经验的人类驾驶员的行为。我们研究了一个静态避障任务的双车道公路模拟（Unity）。我们的控制算法从两个来源接收随机反馈信号：模型驱动的部分，编码简单的驾驶规则，如车道保持和速度控制，和随机的，数据驱动的部分，结合人类的专家知识，从驾驶数据。为了评估机器和人类驾驶之间的相似性，我们将轨道位置和速度的分布建模为高斯过程。我们证明，我们的方法导致类似人类的驾驶政策。
2020-06-19 cs.LG cs.RO stat.ML
Control of rough terrain vehicles using deep reinforcement learning
Umeå University（于默奥大学）；Swedish University of Agricultural Sciences（瑞典农业科学大学）
我们探讨了在人类操作员和传统控制方法不足的情况下使用深层加固来控制地形车辆的潜力。这封信提出了一个控制器，感知，计划，并成功地控制一个16吨的林业车辆与两个框架铰接关节，六个车轮，和他们的主动铰接悬架穿越崎岖的地形。精心塑造的奖励信号促进了安全、环保和高效的驾驶，从而导致了前所未有的驾驶技能的出现。我们在虚拟环境中测试学到的技能，包括从森林遗址的高密度激光扫描重建的地形。该控制器显示了处理障碍物的能力，坡度高达27 $^\circ$，以及各种自然地形，所有这些都具有有限的车轮滑移，平稳和直立的穿越与智能使用的主动悬架。结果证实，与人类操作员或传统控制方法相比，深度强化学习有潜力增强对具有复杂动力学和高维观测数据的车辆的控制，特别是在崎岖地形中。
2021-07-05 cs.AI cs.RO
Prioritized Experience-based Reinforcement Learning with Human Guidance for Autonomous Driving
Nanyang Technological University（南洋理工大学）
强化学习（Reinforcement learning，RL）需要巧妙的定义和大量的计算工作来解决优化和控制问题，这可能会影响其应用前景。将人类指导引入强化学习是提高学习性能的一种有前途的方法。本文建立了一个综合的基于人的指导的强化学习框架。为了提高强化学习算法的效率和性能，提出了一种适应强化学习过程中人工指导的经验优先回放机制.为了减轻人类参与者的繁重工作量，基于增量式在线学习方法建立行为模型来模仿人类行为。我们设计了两个具有挑战性的自动驾驶任务来评估所提出的算法。通过实验研究了该算法的训练和测试性能以及学习机制。对国家的最先进的方法的比较结果表明，我们的算法在学习效率，性能和鲁棒性方面的优势。
2022-11-29 cs.LG cs.RO
Bi-Level Optimization Augmented with Conditional Variational Autoencoder for Autonomous Driving in Dense Traffic
University of Tartu（塔尔图大学）；University of Naples Federico II（那不勒斯费德里科二世大学）
自动驾驶具有天然的双层结构。上层行为层的目标是提供适当的车道变换、加速和制动决策，以优化给定的驾驶任务。然而，这一层只能通过较低级别的轨迹规划器间接影响驾驶效率，轨迹规划器接收行为输入以产生运动命令。现有的基于采样的方法没有充分利用行为层和规划层之间的强耦合。另一方面，端到端强化学习（RL）可以学习行为层，同时结合来自较低级别规划器的反馈。然而，纯数据驱动的方法在看不见的环境中的安全指标往往失败。本文提出了一种新的替代方案;一个参数化的双层优化，共同计算最佳的行为决策和由此产生的下游轨迹。我们的方法使用自定义GPU加速的批处理优化器和条件变分自编码器学习的热启动策略实时运行。大量的仿真结果表明，我们的方法优于国家的最先进的模型预测控制和RL方法的碰撞率，同时具有竞争力的驾驶效率。
2022-12-05 cs.LG cs.RO
Learning Deep Parameterized Skills from Demonstration for Re-targetable Visuomotor Control
Brown University（布朗大学）；Mitsubishi Electric Research Labs（三菱电机研究实验室）
机器人需要学习的技能不仅可以概括类似的问题，而且还可以针对特定的目标。以前的方法要么为每个不同的目标训练新技能，要么在存在多个目标的情况下不从视觉数据推断特定目标。我们引入了一个端到端的方法，代表目标参数化的神经网络政策的有针对性的可视化技能。通过对具有相关目标参数的可用目标的信息子集进行训练，我们能够学习可以zero-shot推广到以前看不见的目标的策略。我们在按钮网格的代表性2D模拟以及两个不同物理手臂上的按钮按下和钉插入任务中评估了我们的方法。我们证明，我们的模型在33%的可能目标上训练，能够概括到场景中超过90%的目标，用于仿真和机器人实验。我们还成功地学习了从目标像素坐标到机器人策略的映射，以完成指定的目标。
2021-02-28 cs.LG cs.RO
AutoAgent0: An Agentic Runtime for Safe Closed-Loop Driving
UCLA（加利福尼亚大学洛杉矶分校）；CMU（卡内基梅隆大学）；UT Dallas（德州大学达拉斯分校）；Stanford（斯坦福大学）
AutoAgent0是一个智能体运行时框架，通过补充检测、规则验证和反馈恢复，提升了自动驾驶在长尾及安全关键场景的闭环鲁棒性，无需重新训练底层策略。
2026-10-14 cs.RO
Learning Skills to Navigate without a Master: A Sequential Multi-Policy Reinforcement Learning Algorithm
Indian Institute of Science（印度科学学院）
使用强化学习解决复杂问题需要将问题分解为可管理的任务和学习策略来解决这些任务。反过来，这些策略必须由执行高层决策的主策略控制。因此，学习策略涉及分层决策结构。然而，在实践中训练这样的方法可能会导致泛化能力差，子策略执行动作的时间步长太少，或者完全退化为单个策略。在我们的工作中，我们引入了一种替代方法来顺序学习这些技能，而不使用一个总体的分层政策。我们提出这种方法的环境中，学习代理的目标的一个主要组成部分是尽可能长时间地延长发作。我们把我们提出的方法称为序贯软期权批判。我们展示了我们的方法在我们开发的灵活的模拟3D导航环境中的导航和基于目标的任务的实用性。我们还表明，我们的方法在各种环境中的性能优于先前的方法，如Soft Actor-Critic和Soft Option Critic，包括Atari River Raid环境和Gym-Duckietown自动驾驶汽车模拟器。
2022-08-07 cs.AI cs.RO
Deep Object-Centric Policies for Autonomous Driving
University of California, Berkeley（加州大学伯克利分校）；Nanjing University（南京大学）
虽然以端到端的方式学习视觉技能很有吸引力，但深度神经网络通常无法解释，并且以令人惊讶的方式失败。对于自动驾驶等机器人任务，明确表示对象的模型可能对新场景更具鲁棒性，并提供直观的可视化。我们描述了一个分类的“以对象为中心”的模型，利用对象实例和端到端的学习。在侠盗猎车手V模拟器中，我们证明了以对象为中心的模型在其他车辆和行人的场景中优于对象不可知的方法，即使使用不完美的检测器。我们还通过对Berkeley DeepDrive Video数据集进行评估，证明了我们的架构在现实环境中表现良好，其中以对象为中心的模型在低数据制度中优于对象不可知模型。
2019-03-01 cs.AI cs.CV cs.RO
Learning Physically Realizable Skills for Online Packing of General 3D Shapes
National University of Defense Technology（国防科技大学）；Nanjing University（南京大学）；Lightspeed Studio, Tencent America（腾讯美国光速工作室）
针对不规则三维物体在线且需物理可实现放置的装箱难题，提出带理论可证候选动作生成、异步RL加速与仿真数据流程的强化学习方法，在所有真实形状数据集上较最优基线提升至少12.8%。
2023-06-02 cs.LG cs.RO
MUJICA: Multi-skill Unified Joint Integration of Control Architecture for Wheeled-Legged Robots
College of Intelligent Robotics and Advanced Manufacturing, Fudan University（智能机器人与先进制造学院，复旦大学）；Power China Huadong Engineering Corporation Limited（中国电力工程顾问集团华东分公司）
本文提出MUJICA框架，通过整合多种低级技能，实现轮腿机器人在复杂环境中的自适应移动。
2026-05-13 cs.RO
LeAD: The LLM Enhanced Planning System Converged with End-to-end Autonomous Driving
College of Transportation, Tongji University（同济大学交通运输学院）
针对城市自动驾驶复杂场景，提出双速率架构LeAD，融合端到端框架与LLM增强，通过CoT推理处理边缘情况，在CARLA上获Leaderboard V1 71分、路线完成率93%。
2025-07-08 cs.AI cs.RO
Scenario-based assessment of automated driving systems: How (not) to parameterize scenarios?
TNO（荷兰应用科学研究组织）
针对UN R157中自动驾驶场景参数化未作考量的问题，本研究探讨参数化选择的影响，提出替代参数化方式以提升模拟结果与真实场景的契合度，为法规方法改进提供参考。
2025-02-13 cs.RO
Adaptive Decision Making at the Intersection for Autonomous Vehicles Based on Skill Discovery
Beijing Institute of Technology（北京理工大学）
在城市环境中，复杂和不确定的交叉口场景对自动驾驶具有挑战性。为了确保安全性，开发一个能够处理与其他车辆交互的自适应决策系统至关重要。手动设计的基于模型的方法在常见情况下是可靠的。但在不确定环境中，它们是不可靠的，因此提出了基于学习的方法，特别是强化学习（RL）方法。然而，当前的RL方法需要重新训练时，场景发生变化。换句话说，目前的RL方法不能重用积累的知识。当新的场景出现时，他们会忘记所学的知识。为了解决这个问题，我们提出了一个分层的框架，可以自主积累和重用知识。该方法结合了运动基元（MP）和分层强化学习（HRL）的思想。它将复杂问题分解为多个基本子任务，以降低难度。基于CARLA仿真器，在一个具有挑战性的交叉口场景中对所提出的方法和其他基线方法进行了测试。交叉口场景包含三个不同的子任务，可以反映实际交通流的复杂性和不确定性。经过离线学习和测试，该方法被证明是所有方法中性能最好的。
2022-07-24 cs.AI cs.RO
Hybrid Action Based Reinforcement Learning for Multi-Objective Compatible Autonomous Driving
College of Automotive and Energy Engineering, Tongji University（同济大学汽车与能源工程学院）；Department of Data and Systems Engineering, University of Hong Kong（香港大学数据与系统工程系）
本文提出一种多目标集成-批评强化学习方法，通过混合参数化动作空间结构和不确定性探索机制，提升自动驾驶在多目标兼容性、效率和安全性方面的性能。
2026-03-28 cs.AI cs.ET cs.LG
Trajectory Entropy Reinforcement Learning for Robust Robot Motor Skill Learning
Department of Computer Science and Technology, Tsinghua University（计算机科学与技术系，清华大学）
针对深度强化学习易受环境扰动影响的问题，提出轨迹熵强化学习方法，通过最小化动作轨迹熵引入简洁性归纳偏置，并联合优化策略与预测模型，在多个高维运动任务中实现了更优的性能与鲁棒性。
2026-09-21 cs.LG cs.RO stat.ML
ExpertAD: Enhancing Autonomous Driving Systems with Mixture of Experts
针对端到端自动驾驶存在语义干扰决策、任务冲突、推理延迟高的问题，提出基于MoE架构的ExpertAD框架，通过PA和MoSE模块提升性能，实现更低碰撞率、更快推理及强场景泛化能力。
2025-11-13 cs.AI cs.RO
Let Humanoids Hike! Integrative Skill Development on Complex Trails
University of Michigan（密歇根大学）
本文提出LEGO-H学习框架，通过时间视觉Transformer与分层强化学习、潜在运动表示与分层度量学习，使人形机器人能在复杂小径上自主远足，综合提升感知、决策与运动执行能力。
2025-05-09 cs.AI cs.CV cs.RO
Online Parameter Estimation for Human Driver Behavior Prediction
Stanford University（斯坦福大学）
驾驶员模型对于自动驾驶汽车的规划以及在仿真中验证其安全性非常重要。高度参数化的黑盒驱动程序模型非常有表现力，可以捕捉细微的行为。然而，它们通常缺乏可解释性，有时会表现出不真实的，甚至是愚蠢的行为。基于规则的模型是可解释的，并且可以被设计为保证“安全”的行为，但是由于它们的参数数量较少，因此表达性较差。在这篇文章中，我们表明，在线参数估计应用于智能驾驶员模型捕捉细微差别的个人驾驶行为，同时提供无碰撞轨迹。我们使用粒子滤波解决了在线参数估计问题，并在两个真实世界的驾驶数据集上对基于规则的驾驶员模型和黑盒驾驶员模型进行了基准测试。我们评估了我们的驾驶员模型与地面真实数据演示的接近程度，并评估了由此产生的紧急驾驶行为的安全性。
2020-05-06 cs.AI cs.RO
Shared Autonomy for Proximal Teaching
Stanford University（斯坦福大学）；Amherst College（阿默斯特学院）；University of California Los Angeles（加州大学洛杉矶分校）；Toyota Research Institute（丰田研究所）
本文提出Z-COACH方法，利用共享自主性框架，根据学生在辅助下的表现改进识别其最近发展区内的可学习子技能，从而提供个性化教学，并在赛车模拟用户研究中验证了其有效性。
2025-02-27 cs.AI cs.HC cs.RO
Safe Driving via Expert Guided Policy Optimization
SenseTime Research（商汤科技研究院）；The Chinese University of Hong Kong（香港中文大学）；Centre for Perceptual and Interactive Intelligence（感知与交互智能中心）
在学习驾驶等常见技能时，初学者通常会有领域专家支持，以确保学习过程的安全。我们制定这样的学习计划下专家在回路强化学习，其中监护人被引入，以保障探索的学习代理。监护人在不确定的环境中进行充分探索的同时，在危险的情况下进行干预，并展示正确的行动，以避免潜在的事故。因此，ERL使探索和专家的部分演示作为两个训练源。在此基础上，提出了一种新的专家引导策略优化（EGPO）方法，该方法将监护人集成到强化学习的循环中。监护人是由一个专家的政策，以产生示范和开关功能，以决定何时进行干预。特别是，约束优化技术被用来解决琐碎的解决方案，代理人故意表现得危险，欺骗专家接管。离线RL技术进一步用于从专家生成的部分演示中学习。安全驾驶实验表明，我们的方法实现了优越的训练和测试时的安全性，优于基线的样本效率有很大的利润，并保留了在测试时看不见的环境的推广。演示视频和源代码可在https://decisionforce.github.io/EGPO/上获得
2021-10-30 cs.AI cs.RO
Action and Trajectory Planning for Urban Autonomous Driving with Hierarchical Reinforcement Learning
National University of Singapore（新加坡国立大学）；Institute of High-Performance Computing, A*STAR（A*STAR高性能计算研究所）
针对复杂城市场景下自动驾驶多任务处理与环境动态变化挑战，提出基于分层DDPG算法的动作与轨迹规划器atHRL，在CARLA模拟器中验证其性能显著优于现有RL方法。
2023-06-28 cs.LG cs.RO
Behaviorally Diverse Traffic Simulation via Reinforcement Learning
Preferred Networks, Inc.（Preferred Networks公司）；Toyota Research Institute（丰田研究院）
交通模拟器是自动驾驶开发的重要工具。虽然在为开发人员提供更多建模各种流量参与者的选项方面取得了不断的进展，但调整这些模型以增加其行为多样性，同时保持质量通常非常具有挑战性。本文介绍了一种易于调整的自动驾驶智能体的策略生成算法。该算法通过不同的策略集选择器利用深度强化学习的表示和探索能力来平衡多样性和驾驶技能。此外，我们提出了一个算法，利用内在奖励，以扩大行为差异的培训。为了提供定量评估，我们开发了两个基于概率的评估指标，用于衡量政策和行为覆盖率之间的差异。我们的实验表明，我们的方法在几个具有挑战性的交叉口场景的有效性。
2020-11-11 cs.LG cs.RO
Effects of Multimodal Explanations for Autonomous Driving on Driving Performance, Cognitive Load, Expertise, Confidence, and Trust
University of California - San Diego（加利福尼亚大学圣迭戈分校）；Toyota Research Institute（丰田研究所）
本研究通过前后测实验探究AI教练解释的信息类型与呈现模态对新手驾驶学习的影响，发现模态适当的高效解释能提升驾驶表现并降低认知负荷，并提出八项HMI设计启示。
2024-06-13 cs.AI cs.HC cs.RO
Guided Policy Search Model-based Reinforcement Learning for Urban Autonomous Driving
University of California, Berkeley（加州大学伯克利分校）
在本文中，我们继续我们以前的工作，使用模仿学习（IL）和无模型强化学习（RL），学习驾驶策略的自动驾驶在城市的情况下，通过引入基于模型的RL方法来驱动自动驾驶汽车在卡拉城市驾驶模拟器。尽管IL和无模型RL方法已被证明能够解决许多具有挑战性的任务，包括玩视频游戏，机器人，以及在我们之前的工作中，城市驾驶，但这些方法的低样本效率极大地限制了它们在实际自动驾驶中的应用。在这项工作中，我们开发了一个基于模型的RL算法的指导政策搜索（GPS）的城市驾驶任务。该算法迭代学习一个参数化的动力学模型来逼近复杂的交互式驾驶任务，并在非线性近似动力学模型下优化驾驶策略。作为一种基于模型的强化学习方法，GPS在城市自动驾驶中具有更高的样本效率、更好的可解释性和更高的稳定性。我们提供了大量的实验验证所提出的方法的有效性，学习鲁棒的驾驶政策，在卡拉城市驾驶。我们还将所提出的方法与其他策略搜索和无模型RL基线进行了比较，表明基于GPS的RL方法的样本效率提高了100倍，并且基于GPS的方法可以学习基线方法难以学习的更难任务的策略。
2020-05-11 cs.RO
CrashAgent: Crash Scenario Generation via Multi-modal Reasoning
Carnegie Mellon University（卡内基梅隆大学）；NVIDIA Research（NVIDIA研究）；Northwestern University（西北大学）
本文提出CrashAgent，利用多模态大语言模型将碰撞报告转为结构化场景，生成道路布局与车辆行为，并评估其准确性、碰撞率和多样性，以提升自动驾驶算法的安全关键场景学习能力。
2025-05-23 cs.AI cs.RO
