Reinforcement Learning based Control of Imitative Policies for Near-Accident Driving
Stanford University(斯坦福大学);Toyota Research Institute(丰田研究院)
自动驾驶近年来取得了重大进展,但自动驾驶汽车仍无法应对可能发生事故的高风险情况。在这种近乎事故的情况下,即使车辆动作的微小变化也可能导致截然不同的后果。为了避免在接近事故的情况下采取不安全的行动,我们需要充分探索环境。然而,强化学习(RL)和模仿学习(IL),两种广泛使用的策略学习方法,不能建模快速相变,并且不可扩展以完全覆盖所有状态。为了解决在接近事故的情况下驾驶,我们提出了一个分层强化和模仿学习(H-ReIL)的方法,包括低级别的政策学习的IL离散驾驶模式,和一个高级别的政策学习的RL之间切换不同的驾驶模式。我们的方法通过将IL和RL集成到一个统一的学习框架中,利用了IL和RL的优势。实验结果和用户研究表明,我们的方法可以实现更高的效率和安全性相比,其他方法。对策略的分析表明,在接近事故驾驶的情况下,我们的高层策略在不同的低层策略之间进行了适当的切换。
2020-07-01 cs.AI cs.LG cs.RO
Deep Reinforcement Learning for Human-Like Driving Policies in Collision Avoidance Tasks of Self-Driving Cars
Ben-Gurion University of the Negev(本-古里安大学)
自动驾驶汽车(AV)开发所涉及的技术和科学挑战目前是许多汽车公司和研究实验室的主要兴趣。然而,人类控制的车辆可能会在未来几十年内继续在道路上行驶,并可能与自动驾驶汽车共享未来的交通环境。在这样的混合环境中,自动驾驶汽车应该部署类似人类的驾驶策略和谈判技巧,以实现顺畅的交通流。为了生成自动化的类人驾驶策略,我们引入了一种无模型的深度强化学习方法来模仿有经验的人类驾驶员的行为。我们研究了一个静态避障任务的双车道公路模拟(Unity)。我们的控制算法从两个来源接收随机反馈信号:模型驱动的部分,编码简单的驾驶规则,如车道保持和速度控制,和随机的,数据驱动的部分,结合人类的专家知识,从驾驶数据。为了评估机器和人类驾驶之间的相似性,我们将轨道位置和速度的分布建模为高斯过程。我们证明,我们的方法导致类似人类的驾驶政策。
2020-06-19 cs.LG cs.RO stat.ML
DiGNet: Learning Scalable Self-Driving Policies for Generic Traffic Scenarios with Graph Neural Networks
the HKUST(香港科技大学);PolyU of HK(香港理工大学)
传统的自动驾驶汽车(SDV)决策和规划框架在新场景中的扩展性很差,因此它们需要繁琐的手动调整规则和参数,以在所有可预见的情况下保持可接受的性能。最近,基于深度学习的自驾驶方法已经显示出有希望的结果,具有更好的泛化能力,但手工工程工作量更少。然而,大多数以前的基于学习的方法都是在有限的驾驶场景中进行训练和评估的,这些场景具有分散的任务,例如车道跟随,自动制动和有条件驾驶。在本文中,我们提出了一个基于图的深度网络,以实现可扩展的自动驾驶,可以处理大规模的交通场景。具体而言,在高保真驾驶模拟器中进行了超过7,000公里的评估,其中我们的方法可以遵守交通规则,并在各种城市,农村和高速公路环境中安全驾驶车辆,包括无保护的左转弯,狭窄的道路,环形交叉口和富含酒精的交叉口。演示视频可在https://caipeide.github.io/dignet/上获得。
2021-07-30 cs.AI cs.LG cs.RO
Learning Interactive Driving Policies via Data-driven Simulation
Massachusetts Institute of Technology(麻省理工学院);University of Toronto(多伦多大学);Toyota Research Institute(丰田研究院)
数据驱动的模拟器保证了高数据效率,以推动策略学习。当用于交互建模时,这种数据效率成为瓶颈:小型基础数据集通常缺乏有趣和具有挑战性的边缘案例来学习交互式驾驶。我们提出了一种模拟方法,使用在画ado车辆学习强大的驾驶政策,以应对这一挑战。因此,我们的方法可以用来学习涉及多代理交互的策略,并允许通过最先进的策略学习方法进行训练。我们评估的方法学习标准的互动场景驾驶。在广泛的实验中,我们的工作表明,由此产生的政策可以直接转移到一个全面的自动驾驶汽车,而不使用任何传统的仿真到现实迁移技术,如域随机化。
2021-11-23 cs.CV cs.LG cs.RO
Towards Learning Generalizable Driving Policies from Restricted Latent Representations
University of Central Florida(中佛罗里达大学);UC Santa Barbara(加州大学圣巴巴拉分校)
在过去的几十年里,训练能够在各种城市和高速公路场景中自主驾驶的智能代理一直是机器人社会的热门话题。然而,驾驶环境在道路拓扑结构和相邻车辆的定位方面的多样性使得该问题非常具有挑战性。不言而喻,尽管针对自动驾驶的特定驾驶政策很有前途,可以提高运输安全和效率,但它们显然不是一个通用的可扩展解决方案。相反,我们寻求决策方案和驱动政策,可以推广到新的和看不见的环境。在这项工作中,我们利用了人类驾驶员学习其周围环境的抽象表示的关键思想,这些抽象表示在各种驾驶场景和环境中非常相似。通过这些表示,人类驾驶员能够快速适应新的环境,并在看不见的条件下驾驶。形式上,通过施加一个信息瓶颈,我们提取了一个潜在的表示,最大限度地减少了\textit{distance} -一个量化,我们引入来衡量不同的驾驶配置之间的相似性-驾驶场景之间。然后,该潜在空间被用作Q学习模块的输入,以学习可推广的驾驶策略。我们的实验表明,使用这种潜在表示可以将崩溃的数量减少到大约一半。
2022-04-04 cs.RO
Towards Safe Autonomous Driving Policies using a Neuro-Symbolic Deep Reinforcement Learning Approach
George Washington University(乔治华盛顿大学);Istanbul University-Cerrahpasa(伊斯坦布尔大学-杰拉赫帕夏);University of Surrey(萨里大学)
本文提出神经符号深度强化学习方法DRLSL,结合经验学习与逻辑推理,在真实环境中实现安全自动驾驶,并在HighD数据集上验证了其避免不安全行为、快速收敛及良好泛化能力。
2025-08-17 cs.AI cs.LG cs.LO
Symbolic Imitation Learning: From Black-Box to Explainable Driving Policies
Department of Science and Engineering, the George Washington University(科学与工程系,乔治·华盛顿大学);Autonomous Vehicles Lab, Department of Mechanical Engineering, University of Surrey(自主车辆实验室,机械工程系,萨里大学)
本文提出符号模仿学习框架,利用归纳逻辑编程生成可解释的驾驶策略,通过实验证明其在提升透明度和性能方面的优势。
2025-09-28 cs.AI cs.LG cs.RO
Learning Interpretable, High-Performing Policies for Autonomous Driving
Georgia Institute of Technology(佐治亚理工学院)
提出可解释连续控制树(ICCTs),通过基于梯度的强化学习在稀疏决策树表示中直接优化,在自动驾驶场景中实现高性能可解释策略,性能持平或提升33%,参数量减少300-600倍。
2023-07-31 cs.LG cs.RO
Probably Approximately Correct Vision-Based Planning using Motion Primitives
Princeton University(普林斯顿大学)
本文提出了一种学习基于视觉的规划器的方法,该方法可证明地推广到新的环境(即,在训练中看不到的环境)。我们利用可能近似正确(PAC)贝叶斯框架,以获得在所有环境中的政策的预期成本的上限。因此,最小化PAC-Bayes上限可以训练伴随着新环境性能证书的策略。我们提出的训练管道为深度神经网络策略提供了强有力的泛化保证,方法是:(a)使用进化策略(ES)在策略空间上获得良好的先验分布,然后(b)将PAC-Bayes优化公式化为有效可解的参数凸优化问题。我们证明了我们的方法产生强大的泛化保证学习基于视觉的运动规划的有效性,通过两个模拟的例子:(1)无人机(UAV)导航障碍领域与板载视觉传感器,和(2)一个动态的四足机器人穿越粗糙的地形与本体感受和外感受传感器。
2020-11-10 cs.LG cs.RO cs.SY
Towards Driving Policies with Personality: Modeling Behavior and Style in Risky Scenarios via Data Collection in Virtual Reality
University of Maryland, College Park(马里兰大学帕克分校)
自动驾驶研究目前面临着风险场景表示的数据稀疏性。这样的数据在现实世界中很难从道德上获得,而且通过模拟获得也不可靠。虚拟现实(VR)驾驶模拟器的最新进展降低了在模拟中解决这个问题的障碍。我们提出了第一个数据汇集框架,用于使用VR从真实人类驾驶数据的风险场景,以及伴随的数字驾驶个性特征。我们验证所得数据集的统计分析和模型的驾驶行为与八因素的个性向量的基础上的多维驾驶风格量表(MDSI)。我们的方法、数据集和分析表明,可以在没有深度学习或大型数据集的情况下对真实的驾驶个性进行建模,以补充自动驾驶研究。
2023-03-08 cs.HC cs.RO
Exploring the trade off between human driving imitation and safety for traffic simulation
Univ Paris Est Creteil(巴黎东克雷泰伊大学);Huawei Technologies France(华为技术法国公司)
交通仿真是自动驾驶汽车性能定量评价的重要手段。为了使模拟器成为一个有价值的测试平台,需要使场景中的每个交通代理动画化的驾驶策略像人类一样行事,同时保持最低限度的安全保证。从记录的人类驾驶数据或通过强化学习来学习交通代理的驾驶策略似乎是在不受控制的交叉口或环形交叉口中生成逼真且高度交互的交通情况的有吸引力的解决方案。在这项工作中,我们表明,在学习驾驶策略时,模仿人类驾驶和保持安全之间存在权衡。我们通过比较各种模仿学习和强化学习算法在应用于驾驶任务时的表现来做到这一点。我们还提出了一个多目标学习算法(MOPPO),提高了这两个目标。我们在从INTERACTION Dataset中提取的高度互动的驾驶场景上测试我们的驾驶策略,以评估它们的行为是否像人类。
2022-08-09 cs.LG cs.RO
RoaD: Rollouts as Demonstrations for Closed-Loop Supervised Fine-Tuning of Autonomous Driving Policies
NVIDIA Research(NVIDIA研究部);Huawei VN Research Center(华为越南研究中心);Stanford University(斯坦福大学)
RoaD通过利用自动驾驶策略自身的闭环回滚作为额外训练数据,有效缓解协变量偏移问题,提升闭环监督微调性能。
2025-12-01 cs.AI cs.CV cs.LG
Transferring Multi-Agent Reinforcement Learning Policies for Autonomous Driving using Sim-to-Real
Imperial College London(帝国理工学院)
自动驾驶需要智能体之间的高度协调和协作。在多智能体系统中实现有效的协调是一项艰巨的任务,在很大程度上仍然没有解决。多智能体强化学习已经成为完成这一任务的强大方法,因为它考虑了智能体之间的交互,并且还允许分散训练-这使得它具有高度可扩展性。然而,将策略从模拟转移到现实世界是一个很大的挑战,即使对于单代理应用程序也是如此。多代理系统由于代理协作和环境同步而增加了模拟到真实差距的额外复杂性。在本文中,我们提出了一种将多智能体自动驾驶策略转移到现实世界的方法。为此,我们创建了一个多智能体环境,模仿Duckietown多机器人试验台的动态,和训练多智能体的政策,使用MAPPO算法与不同级别的域随机化。然后,我们将训练好的策略转移到Duckietown测试平台,并将MAPPO算法的使用与传统的基于规则的方法进行比较。我们发现,与MAPPO和域随机化的转移政策的奖励,平均而言,1.85倍优于基于规则的方法。此外,我们发现,不同水平的参数随机化有很大的影响,模拟到真实的差距。
2022-03-22 cs.RO
Learning Safe Autonomous Driving Policies Using Predictive Safety Representations
Yardi School of Artificial Intelligence, Indian Institute of Technology Delhi(雅迪人工智能学院,印度理工学院德里)
本文提出利用预测安全表示改进自动驾驶策略学习,通过实验验证了其在提升安全性和效率方面的有效性。
2025-12-23 cs.LG cs.RO
Adaptive Control in Autonomous Driving via Real-Time Recurrent RL
TU Wien(维也纳技术大学);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Liquid AI
本文研究了通过实时递归强化学习(RTRRL)对自动驾驶预训练控制策略进行在线微调,结合离线行为克隆与在线RTRRL微调,以适应部署时的分布偏移。在CarRacing模拟和1:10比例的RoboRacer平台上的实验验证了该方法的有效性。
2026-05-16 cs.LG cs.NE cs.RO
Vision Transformer for Learning Driving Policies in Complex Multi-Agent Environments
School of Electrical Engineering, Aalto University(阿尔托大学电气工程学院)
在复杂的城市环境中驾驶是一项艰巨的任务,需要复杂的决策策略。为了做出明智的决定,人们需要了解长期背景和其他车辆的重要性。在这项工作中,我们建议使用视觉Transformer(ViT)学习驾驶政策,在城市设置与鸟瞰(BEV)输入图像。ViT网络比早期提出的卷积神经网络(ConvNets)更有效地学习场景的全局上下文。此外,ViT的注意力机制有助于学习场景的注意力地图,这使得自我汽车能够确定哪些周围的汽车对其下一个决定很重要。我们证明了具有ViT骨干的DQN代理优于具有以各种方式预训练的ConvNet骨干的基线算法。特别是,所提出的方法有助于强化学习算法更快地学习,提高性能,减少数据比基线。
2021-09-14 cs.AI cs.LG cs.MA
Discrete Contrastive Learning for Diffusion Policies in Autonomous Driving
Aalto University(阿尔托大学);Finnish Center for Artificial Intelligence (FCAI)(芬兰人工智能中心)
本文提出利用对比学习从人类驾驶数据中提取并量化驾驶风格字典,进而学习条件扩散策略来模拟人类驾驶行为,实验表明其生成的行为比基线方法更安全且更像人类。
2025-03-07 cs.AI cs.RO
Offline Reinforcement Learning for Autonomous Driving with Safety and Exploration Enhancement
University of Toronto(多伦多大学);Michigan State University(密歇根州立大学)
强化学习(RL)是一种强大的数据驱动控制方法,在自动驾驶任务中得到了广泛的应用。然而,传统的RL方法通过与环境的试错交互来学习控制策略,因此在现实世界的交通中进行测试时可能会导致灾难性的后果,例如碰撞。离线RL最近成为一个很有前途的框架,可以从以前收集的静态数据集中学习有效的策略,而不需要主动交互,这使得它对自动驾驶应用程序特别有吸引力。尽管前景看好,但现有的离线RL算法(如批量约束深度Q学习(BCQ))通常会导致相当保守的策略,探索效率有限。为了解决这些问题,本文提出了一种增强的BCQ算法,通过在扰动模型中采用可学习的参数噪声方案,以增加所观察到的动作的多样性。此外,一个基于Lyapunov的安全增强策略被纳入到一个安全区域内的可探索的状态空间。在高速公路和停车场交通场景中的实验结果表明,我们的方法优于传统的RL方法,以及最先进的离线RL算法。
2021-11-02 cs.RO cs.SY eess.SY
Efficient Learning of Urban Driving Policies Using Bird's-Eye-View State Representations
Technical University of Munich(慕尼黑工业大学);University of Freiburg(弗莱堡大学)
针对自动驾驶深度强化学习中高维状态表示瓶颈,论文提出基于 PPO 的循环架构 RecurrDriveNet,利用鸟瞰视图表示学习长时域城市驾驶策略,并在 CARLA 中以一百万条经验实现优于帧堆叠的安全驾驶性能。
2023-08-15 cs.RO
Driving Policy Transfer via Modularity and Abstraction
KAUST(阿卜杜拉国王科技大学);Intel Labs(英特尔实验室)
自动驾驶的端到端方法具有很高的样本复杂性,并且难以扩展到现实的城市驾驶。仿真可以通过提供廉价,安全和多样化的培训环境来帮助端到端的驾驶系统。然而,在模拟中训练驱动政策带来了将这些政策转移到现实世界的问题。我们提出了一种方法,通过模块化和抽象的驾驶政策从模拟到现实。我们的方法受到经典驾驶系统的启发,旨在结合模块化架构和端到端深度学习方法的优势。关键思想是封装驾驶策略,使其不直接暴露于原始感知输入或低级别车辆动态。我们评估所提出的方法在模拟城市环境和现实世界中。特别是,我们将模拟训练的驾驶策略转移到1/5比例的机器人卡车上,该卡车部署在两大洲的各种条件下,没有微调。补充视频可以在https://youtu.be/BrMDJqI6H5U上观看
2018-12-13 cs.CV cs.LG cs.RO
Simultaneously Learning Vision and Feature-based Control Policies for Real-world Ball-in-a-Cup
Robotics Institute, Carnegie Mellon University(卡内基梅隆大学机器人研究所);Google DeepMind(谷歌DeepMind)
我们提出了一种基于视觉的控制策略在真实机器人上的快速训练方法。我们的方法背后的关键思想是使用辅助任务执行多任务强化学习,这些辅助任务不仅在要优化的奖励方面不同,而且在它们运行的状态空间中也不同。特别是,我们允许辅助任务策略利用仅在训练时可用的任务功能。这允许快速学习辅助策略,随后生成用于训练主要的基于视觉的控制策略的良好数据。该方法可以被看作是调度辅助控制(SAC-X)框架的扩展。我们证明了我们的方法的有效性,通过使用模拟和现实世界的球在一个杯游戏控制的机器人arm. In模拟,我们的方法导致显着的学习速度相比,标准SAC-X。在真正的机器人上,我们证明了任务可以从头开始学习,即,没有来自模拟的迁移,也没有模仿学习。我们学习的策略在真实机器人上运行的视频可以在https://sites.google.com/view/rss-2019-sawyer-bic/上找到。
2019-02-18 cs.LG cs.RO stat.ML
Learning robust driving policies without online exploration
我们提出了一种多时间尺度的预测表示学习方法,以离线方式有效地学习鲁棒的驾驶策略,该方法可以很好地推广到新的道路几何形状,以及离线训练数据中未覆盖的损坏和分散注意力的车道条件。我们表明,我们提出的表示学习方法可以很容易地应用于离线(批处理)强化学习设置,展示了在新的条件下,与标准批处理RL方法相比,能够很好地和有效地推广。我们提出的方法利用了在现实世界中完全离线收集的训练数据,这消除了深入的在线探索的需要,这些探索阻碍了在现实世界的机器人训练中应用深度强化学习。为了评估和分析我们提出的索赔,在模拟器和真实世界的情况下进行了各种实验。
2021-03-15 cs.RO
LoRD: Adapting Differentiable Driving Policies to Distribution Shifts
TU Dortmund University(多特蒙德工业大学);NVIDIA Research(英伟达研究院);Stanford University(斯坦福大学)
针对自动驾驶中分布偏移导致的性能下降和灾难性遗忘问题,提出低秩残差解码器(LoRD)与多任务微调策略,在nuPlan和exiD数据集上显著提升闭环OOD驾驶得分并减少遗忘。
2025-03-28 cs.AI cs.LG cs.RO
Explainability of deep vision-based autonomous driving systems: Review and challenges
Sorbonne Université(索邦大学)
本调查回顾了基于视觉的自动驾驶系统的解释方法,该系统经过行为克隆训练。可解释性的概念有几个方面,对可解释性的需求在驾驶中很强,这是一个安全关键的应用程序。本调查收集了多个研究领域的贡献,即计算机视觉、深度学习、自动驾驶、可解释人工智能(X-AI),解决了几个问题。首先,它讨论了从自动驾驶系统中获得更多可解释性和可解释性的定义、背景和动机,以及该应用所特有的挑战。其次,全面组织和详细说明了以事后方式为黑盒自动驾驶系统提供解释的方法。第三,详细介绍和讨论了文献中旨在通过设计构建更具可解释性的自动驾驶系统的方法。最后,剩余的开放的挑战和潜在的未来研究方向进行了确定和检查。
2022-07-19 cs.AI cs.CV cs.LG
Deep Object-Centric Policies for Autonomous Driving
University of California, Berkeley(加州大学伯克利分校);Nanjing University(南京大学)
虽然以端到端的方式学习视觉技能很有吸引力,但深度神经网络通常无法解释,并且以令人惊讶的方式失败。对于自动驾驶等机器人任务,明确表示对象的模型可能对新场景更具鲁棒性,并提供直观的可视化。我们描述了一个分类的“以对象为中心”的模型,利用对象实例和端到端的学习。在侠盗猎车手V模拟器中,我们证明了以对象为中心的模型在其他车辆和行人的场景中优于对象不可知的方法,即使使用不完美的检测器。我们还通过对Berkeley DeepDrive Video数据集进行评估,证明了我们的架构在现实环境中表现良好,其中以对象为中心的模型在低数据制度中优于对象不可知模型。
2019-03-01 cs.AI cs.CV cs.RO
SafetyNet: Safe planning for real-world self-driving vehicles using machine-learned policies
Toyota(丰田);Woven Planet(织女星);Level 5 self-driving division(Level 5自动驾驶部门)
在本文中,我们介绍了第一个用于完全控制自动驾驶车辆的安全系统,该系统通过人类演示进行训练,并部署在具有挑战性的真实城市环境中。当前的行业标准解决方案使用基于规则的系统进行规划。虽然它们在常见场景中表现相当不错,但工程复杂性使得这种方法与人类水平的性能不兼容。另一方面,机器学习(ML)规划解决方案的性能可以通过简单地添加更多的样本数据来提高。然而,ML方法不能提供安全保证,有时行为不可预测。为了解决这个问题,我们的方法使用了一个简单而有效的基于规则的回退层,对ML规划者的决策进行合理性检查(例如避免冲突,确保物理可行性)。这使我们能够利用机器学习来处理复杂的情况,同时仍然确保安全性,将机器学习计划器冲突减少了95%。我们使用模仿学习对机器学习规划人员进行了300小时的专家驾驶演示训练,并将其与旧金山市中心的后备层一起部署,在那里它可以完全控制真实车辆并导航各种具有挑战性的城市驾驶场景。
2021-09-28 cs.AI cs.CV cs.LG
CounterPlay: Counterfactual Post-Training for Self-Play Driving Policies
University of Freiburg(弗赖堡大学);CARIAD SE;Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
CounterPlay通过从失败任务回溯并在替代驾驶风格下重试,以反事实后训练提升自我对弈驾驶策略,在BehaviorBench上以1%训练预算取得最先进性能,并平衡任务完成与安全。
2026-09-21 cs.RO
Learning Vision-based Reactive Policies for Obstacle Avoidance
Munich School of Robotics and Machine Intelligence(慕尼黑机器人与机器智能学院);Technical University of Munich(慕尼黑工业大学)
在本文中,我们解决了基于视觉的机器人避障问题。这个主题对感知和运动生成都提出了挑战。虽然该领域的大多数工作旨在改善其中一个方面,但我们为解决这个问题提供了一个统一的框架。该框架的主要目标是通过识别视觉输入和相应的运动表示之间的关系来连接感知和运动。为此,我们提出了一种学习反应式避障策略的方法。我们评估我们的方法达到目标的任务,为单一和多个障碍物的情况。我们证明了所提出的方法能够以高成功率有效地学习稳定的避障策略,同时保持人机交互等关键应用所需的闭环响应能力。
2020-10-30 cs.AI cs.CV cs.LG
Imitation Learning of Robot Policies by Combining Language, Vision and Demonstration
Intel AI Lab(英特尔人工智能实验室)
在这项工作中,我们提出了一种新的端到端的模仿学习方法,结合自然语言,视觉和运动信息,产生一个抽象的任务表示,这反过来又是用来合成特定的运动控制器在运行时。这种多模式的方法能够推广到各种各样的环境条件,并允许最终用户通过口头沟通来指导机器人策略。我们经验验证我们的方法与广泛的一组模拟,并表明它实现了高的任务成功率在各种条件下,同时保持服从概率可解释性。
2019-11-26 cs.CL cs.CV cs.LG
Steerable Vision-Language-Action Policies for Embodied Reasoning and Hierarchical Control
本文提出可调节策略,通过训练在丰富合成命令上的视觉-语言-动作模型,提升低层可控性,解锁预训练VLM知识,改进任务泛化能力。
2026-04-06 cs.RO
End-to-end RL Improves Dexterous Grasping Policies
NVIDIA;University of California, Berkeley(加州大学伯克利分校)
本文针对灵巧抓取中视觉端到端强化学习批大小受限的问题,提出将仿真器与PPO训练拆分到不同GPU的方法,使环境数量翻倍,并通过深度策略蒸馏到双目RGB网络,在仿真和真实世界中均超越此前最先进的视觉抓取结果。
2025-09-19 cs.LG cs.RO
VisionPAD: A Vision-Centric Pre-training Paradigm for Autonomous Driving
CUHK-Shenzhen(香港中文大学(深圳));SSE(深圳大学);HKUST(香港科技大学);Huawei Noah’s Ark Lab(华为诺亚实验室)
VisionPAD提出基于3D高斯泼溅的自监督预训练范式,通过体素速度估计与多帧光度一致性增强运动与几何感知,显著提升自动驾驶3D检测、占用与地图分割性能。
2025-05-22 cs.CV cs.LG cs.RO
FLOWER: Democratizing Generalist Robot Policies with Efficient Vision-Language-Action Flow Policies
Intuitive Robots Lab(直观机器人实验室);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Microsoft Research(微软研究院)
针对现有VLA策略计算成本高的问题,提出中间模态融合与动作专属Global-AdaLN条件机制,构建9.5亿参数的FLOWER模型,以更低训练成本在多基准任务上取得媲美大模型的性能并刷新CALVIN ABC基准纪录。
2025-09-05 cs.RO
RACER: Epistemic Risk-Sensitive RL Enables Fast Driving with Fewer Crashes
UC Berkeley(加州大学伯克利分校)
本文提出RACER强化学习框架,融合风险敏感控制、自适应动作空间课程与认知不确定性估计,使小型拉力赛车在真实越野环境中学会高速驾驶,并减少训练安全违规、提升策略性能。
2024-05-07 cs.AI cs.LG cs.RO
Comfort by Construction: Adaptive, Comfort-Bounded Action Spaces for Learned Driving Policies
University of Freiburg(弗莱堡大学);Bosch Center for Artificial Intelligence(博世人工智能中心);Coburg University of Applied Sciences(科堡应用科学大学)
针对固定网格动作空间导致强化学习策略产生不舒适机动的问题,提出自适应动作参数化方法,通过闭式求逆重新离散化网格,在Waymo数据集上实现舒适违规低于1%并提升可导航性。
2026-09-14 cs.AI cs.RO
When would Vision-Proprioception Policies Fail in Robotic Manipulation?
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学光明学院人工智能学院);Beijing Key Laboratory of Research on Large Models(北京大模型与智能治理研究重点实验室);School of Artificial Intelligence, Beihang University(北航人工智能学院)
研究提出GAP算法,通过动态调节本体感觉优化,解决视觉-本体感觉策略在运动转换阶段的泛化问题。
2026-02-12 cs.RO
Towards Co-operative Congestion Mitigation
Massachusetts Institute of Technology(麻省理工学院)
交通拥堵的影响是广泛的,是日常生活的一个障碍。分段恒定驾驶策略在帮助缓解模拟环境中的交通拥堵方面表现出了希望。然而,目前还没有作品在涉及真实人类用户的情况下测试这些策略。因此,我们建议评估这些政策,通过使用一个共享的控制框架,在与人类驾驶员的合作实验和驾驶政策,旨在合作缓解拥堵。我们打算使用CARLA模拟器与Flow框架一起进行用户研究,以评估分段恒定驾驶策略的影响。因此,我们提出了我们正在进行的工作,在建立我们的框架,并讨论我们提出的计划,通过人在环模拟用户研究评估这个框架。
2023-02-17 cs.HC cs.LG cs.RO
Multi-Vehicle Mixed-Reality Reinforcement Learning for Autonomous Multi-Lane Driving
University of Cambridge(剑桥大学)
自动驾驶有望改变道路交通。然而,多车辆和多车道的情况下,提出了独特的挑战,由于受约束的导航和不可预测的车辆相互作用。基于学习的方法--例如深度强化学习--正在成为自动设计智能驾驶策略的一种有前途的方法,可以应对这些挑战。然而,安全地学习多车辆驾驶行为的过程是困难的:虽然碰撞-及其接近避免-对于学习过程至关重要,但直接对自动驾驶车辆执行不成熟的政策会引起相当大的安全问题。在本文中,我们提出了一个安全有效的框架,可以学习在共享工作空间中运行的自动驾驶车辆的驾驶策略,在这种情况下,无法保证没有碰撞。我们的学习过程的关键是一个sim 2 real的方法,使用现实世界的在线政策适应在混合现实设置,其中其他车辆和静态障碍物存在于虚拟域。这使我们能够通过模拟学习代理与虚拟现实中的其他对象之间的碰撞(并从中学习)来执行安全学习。我们的研究结果表明,在混合现实中运行几次后,碰撞显着减少。
2020-02-10 cs.AI cs.LG cs.MA
StateMem: Single-State Residual Memory with Adaptive Inference for Vision-Language-Action Policies
Southeast University(东南大学)
StateMem提出单状态残差记忆框架,通过预测误差更新记忆标记并自适应路由缓存前缀,在LIBERO、RoboMemArena及真实任务中显著提升成功率并降低刷新率。
2026-09-22 cs.LG cs.RO
Vision-based DRL Autonomous Driving Agent with Sim2Real Transfer
Chair of Econometrics and Statistics, esp. in the Transport Sector, Technische Universität Dresden(德累斯顿工业大学交通领域计量经济学与统计学讲席);Center for Scalable Data Analytics and Artificial Intelligence (ScaDS.AI) Dresden/Leipzig(德累斯顿/莱ipzig可扩展数据分析与人工智能中心(ScaDS.AI))
针对以往自动驾驶研究多聚焦单一任务、跟车依赖完整前后车信息的问题,提出可同时执行车道保持和跟车的基于视觉的DRL智能体,经仿真对比与实车验证,是首个具备Sim2Real迁移能力的同类智能体。
2023-10-04 cs.LG cs.RO
Learning Deep Sensorimotor Policies for Vision-based Autonomous Drone Racing
University of Zurich(苏黎世大学);ETH Zurich(苏黎世联邦理工学院)
自主无人机可以在远程和非结构化环境中运行,从而实现各种现实应用。然而,缺乏有效的基于视觉的算法一直是实现这一目标的绊脚石。现有系统通常需要手工设计的组件来进行状态估计、规划和控制。这样的顺序设计涉及费力的调整、人工智能以及复合延迟和错误。本文通过学习深度感觉运动策略来解决基于视觉的无人机竞赛问题。我们使用对比学习从输入图像中提取鲁棒的特征表示,并利用两阶段的作弊学习框架来训练神经网络策略。由此产生的策略直接推断控制命令与从原始图像中学习的特征表示,放弃了全局一致的状态估计,轨迹规划和手工控制设计的需要。我们的实验结果表明,我们的基于视觉的政策可以实现相同水平的赛车性能的状态为基础的政策,同时对不同的视觉干扰和干扰是强大的。我们相信这项工作可以作为开发基于智能视觉的自主系统的垫脚石,这些系统可以像人类飞行员一样纯粹通过图像输入来控制无人机。
2022-10-26 cs.AI cs.RO
What Probing Reveals about Autonomous Driving: Linking Internal Prediction Errors to Ego Planning
Gwangju Institute of Science and Technology (GIST)(光州科学技术院);New York University(纽约大学)
通过线性探测和因果干预,研究自动驾驶策略在碰撞事件中缺乏及时预测能力,导致规划缺陷,并证明纠正预测可提升安全性。
2026-07-01 cs.AI cs.LG cs.RO
Enhancing Vision-Based Policies with Omni-View and Cross-Modality Knowledge Distillation for Mobile Robots
College of Computer Science and Technology at Zhejiang University(浙江大学计算机科学与技术学院);School of Engineering at Westlake University(西湖大学工程学院)
本文提出通过多视角和跨模态知识蒸馏提升移动机器人基于视觉的策略,解决场景迁移性差、计算资源有限和传感器成本高等问题。
2026-03-21 cs.RO
Domain Generalization for Vision-based Driving Trajectory Generation
Zhejiang University(浙江大学);Alibaba DAMO Academy(阿里巴巴达摩院)
基于视觉的驾驶轨迹生成的挑战之一是处理分布外的场景。在本文中,我们提出了一种领域泛化方法,用于在城市环境中自动驾驶车辆的基于视觉的驾驶轨迹生成,这可以被看作是一种解决方案,以扩展复杂问题中的不变风险最小化(Invariant Risk Minimization)方法。我们利用对抗学习方法来训练轨迹生成器作为解码器。基于预训练的解码器,我们推断对应于轨迹的潜变量,并通过回归推断的潜变量来预训练编码器。最后,我们修复解码器,但微调编码器与最终的轨迹损失。我们比较了我们提出的方法与国家的最先进的轨迹生成方法和一些最近的领域泛化方法的数据集和模拟,证明了我们的方法具有更好的泛化能力。
2021-09-22 cs.CV cs.LG cs.RO
Robust Skills, Brittle Grounding: Diagnosing Restricted Generalization in Vision-Language Action Policies via Multi-Object Picking
Naver Labs Europe(纳维尔实验室欧洲)
通过多对象拾取实验发现,视觉语言动作策略在复杂环境下执行基本操作比遵循指令更可靠,表明技能获取与指令遵循脱节,需改进基准测试以更准确诊断泛化能力。
2026-02-27 cs.RO
Hybrid Deep Reinforcement Learning and Planning for Safe and Comfortable Automated Driving
Saarland University(萨尔大学);German Research Center for Artificial Intelligence(德国人工智能研究中心)
我们提出了一种新的混合学习方法,HyLEAR,用于解决POMDPs中自动驾驶汽车的无碰撞导航问题。HyLEAR利用插入式学习将混合规划器的知识嵌入深度强化学习器中,以更快地确定安全舒适的驾驶策略。特别地,混合规划器将行人路径预测和风险感知路径规划与基于驾驶行为规则的推理相结合,使得驾驶策略还尽可能地考虑乘坐舒适性和给定的驾驶行为规则集。我们对关键交通场景的CARLA-CTS 1基准的实验性能分析表明,HyLEAR在安全性和乘坐舒适性方面可以显着优于选定的基线。
2022-12-30 cs.AI cs.RO
ReCoVLA: VLM-Guided Reward Compilation for Failure Recovery in Vision-Language-Action Policies
University of Southern California(南加州大学);Mitsubishi Electric Research Laboratories (MERL)(三菱电机研究实验室);Harvard University(哈佛大学)
提出ReCoVLA框架,通过冻结预训练VLA策略,利用外部VLM推断故障模式并编译结构化奖励,训练残差恢复策略,实现零样本仿真到真实部署,在多种操作任务中提升成功率。
2026-06-08 cs.AI cs.LG cs.RO
VisionNet: A Drivable-space-based Interactive Motion Prediction Network for Autonomous Driving
Meituan-Dianping Group(美团点评集团)
对环境交通状况的了解在很大程度上保证了自动驾驶汽车的行驶安全。近年来,虽然已有大量的研究对这一任务进行了研究,但由于复杂场景下集体影响力的限制,这一任务还很难得到很好的解决。这些方法通过目标障碍物与其邻居之间的空间关系来建模相互作用。然而,他们过于简单化的挑战,因为培训阶段的互动缺乏有效的监督。因此,这些模式远远没有前途。更直观地,我们将问题转化为计算交互感知的可驾驶空间,并提出了基于CNN的VisionNet用于轨迹预测。VisionNet接受一系列运动状态,即,位置,速度和加速度,以估计未来的可驾驶空间。具体化的交互显著提高了VisionNet的解释能力,并改进了预测。为了进一步提高性能,我们提出了一个互动的损失,以指导可驾驶空间的生成。在多个公共数据集上的实验证明了所提出的VisionNet的有效性。
2020-01-08 cs.CV cs.LG cs.RO
2nd Place Solution for CVPR2024 E2E Challenge: End-to-End Autonomous Driving Using Vision Language Model
ZERON Shanghai, China(上海零点科技有限公司)
针对大语言模型尤其是多模态VLM能否助力端到端自动驾驶的疑问,本研究结合端到端架构与知识型VLM,仅用单相机便取得CVPR2024 E2E挑战赛纯相机方案最优成绩,验证了视觉驾驶方案的有效性。
2025-09-02 cs.CV cs.RO
GSDrive: Reinforcing Driving Policies by Multi-mode Future Trajectory Probing with 3D Gaussian Splatting Environment
Intelligent Space Robotics Laboratory, Skolkovo Institute of Science and Technology(斯克尔科维科学与技术研究院智能空间机器人实验室);Research Center for Intelligent Computing Systems, SKLP, Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所智能计算系统研究中心,SKLP);Department of Electrical and Electronic Engineering, The University of Hong Kong, China(香港大学电子与电气工程系);SuZhou Automotive Research Institute, Tsinghua University(清华大学苏州汽车研究院);School of Vehicle and Mobility, Tsinghua University(清华大学车辆与移动系统学院)
GSDrive通过多模式轨迹探查和3D高斯点散布环境,结合模仿学习与强化学习,提升端到端自动驾驶的训练效果与鲁棒性。
2026-05-15 cs.RO
DriveJudge: Rethinking Autonomous Driving Evaluation with Vision-Language Models
NVIDIA(英伟达)
提出DriveJudge,结合规则评估与VLM推理,通过选择性调用物理规则函数实现可解释且上下文感知的驾驶评估,在驾驶质量分类和轨迹偏好选择任务上超越现有方法。
2026-06-17 cs.AI cs.CV cs.LG
Goal-constrained Sparse Reinforcement Learning for End-to-End Driving
Inria(法国国家信息与自动化研究所)
用于端到端驾驶的深度强化学习受到复杂奖励工程需求的限制。稀疏奖励可以规避这一挑战,但遭受长的训练时间,并导致次优的政策。在这项工作中,我们探索完全控制驾驶只有目标约束的稀疏奖励,并提出了一个课程学习方法,端到端的驾驶只使用导航视图地图,受益于小的虚拟到真实的域差距。为了解决多个驾驶策略的复杂性,我们学习在推理时由导航系统选择的并发个体策略。我们证明了我们的建议,以概括看不见的道路布局的能力,并驾驶显着长于在培训。
2021-07-31 cs.AI cs.CV cs.RO
Differentiable Control Barrier Functions for Vision-based End-to-End Autonomous Driving
Massachusetts Institute of Technology(麻省理工学院)
与状态感知控制场景不同,基于感知的学习系统缺乏真实状态信息,因此保证其安全性具有挑战性。在本文中,我们介绍了一个基于视觉的端到端自动驾驶的安全保证学习框架。为此,我们设计了一个学习系统,配备了可微控制障碍函数(dCBF),训练端到端的梯度下降。我们的模型是由传统的神经网络架构和dCBF。它们在规模上具有可解释性,在有限的训练数据下实现了出色的测试性能,在车道保持、避障等一系列自动驾驶场景下都有安全保障。我们在模拟到真实的环境中评估了我们的框架,并在真实的自动驾驶汽车上进行了测试,通过增强现实(AR)和真实停放的车辆实现了安全的车道跟随和避障。
2022-03-04 cs.CV cs.LG cs.RO
Vision based driving agent for race car simulation environments
Széchenyi István University(塞切尼伊什特万大学)
针对紧急情况下轮胎抓地力极限控制需求,本文采用深度强化学习(DRL)中的近端策略优化(PPO)方法,训练仅基于视觉输入的赛车驾驶智能体,实现专业人类车手单圈时间,验证其类人驾驶行为及抓地力利用能力。
2025-04-14 cs.AI cs.LG cs.RO