COOPERNAUT: End-to-End Driving with Cooperative Perception for Networked Vehicles
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Sony AI（索尼人工智能）；Stanford University（斯坦福大学）
用于自动驾驶车辆的光学传感器和学习算法在过去几年中取得了巨大的进步。尽管如此，当今自动驾驶汽车的可靠性受到有限的视线传感能力和处理极端情况的数据驱动方法的脆弱性的阻碍。随着通信技术的发展，车对车通信的协同感知已经成为一种很有前途的范例，以加强在危险或紧急情况下的自动驾驶。我们引入了COOPERNAUT，这是一种端到端的学习模型，它使用跨车辆感知进行基于视觉的协作驾驶。我们的模型将LiDAR信息编码为紧凑的基于点的表示，这些表示可以通过真实的无线信道在车辆之间作为消息传输。为了评估我们的模型，我们开发了AutoCastSim，这是一个网络增强的驾驶模拟框架，其中包含易发生事故的场景。我们在AutoCastSim上的实验表明，我们的合作感知驾驶模型在这些具有挑战性的驾驶情况下比以自我为中心的驾驶模型平均成功率提高了40%，并且比以前的工作V2VNet的带宽要求小5倍。COOPERNAUT和AUTOCASTSIM可在https://ut-austin-rpl.github.io/Coopernaut/上找到。
2022-05-04 cs.CV cs.RO
Safety-aware Motion Prediction with Unseen Vehicles for Autonomous Driving
HKUST（香港科技大学）；Alexa AI, Amazon（亚马逊Alexa AI）；EPFL（洛桑联邦理工学院）
由于复杂环境中的不确定性以及由遮挡和有限的传感器范围引起的有限的可见性，车辆的运动预测是关键的，但具有挑战性。在本文中，我们研究了一个新的任务，安全意识的运动预测与看不见的车辆自动驾驶。与现有的轨迹预测任务，看到的车辆，我们的目标是预测的占用地图，指示最早的时间时，每个位置可以被看到和看不见的车辆。预测看不见的车辆的能力对于自动驾驶的安全性至关重要。为了解决这一具有挑战性的任务，我们提出了一个具有安全意识的深度学习模型，该模型具有三个新的损失函数来预测最早的占用地图。在大规模自动驾驶nuScenes数据集上的实验表明，我们提出的模型在安全感知运动预测任务上的性能明显优于最先进的基线。据我们所知，我们的方法是第一个在大多数情况下可以预测看不见的车辆存在的方法。项目页面位于{ \url{https://github.com/xrenaa/Safety-Aware-Motion-Prediction} }。
2021-09-03 cs.CV
Learning from All Vehicles
UT Austin（德克萨斯大学奥斯汀分校）
在本文中，我们提出了一个系统，训练驾驶政策的经验收集，不仅从自我车辆，但它观察到的所有车辆。该系统使用其他代理的行为来创建更多样化的驾驶场景，而无需收集额外的数据。从其他车辆学习的主要困难是没有传感器信息。我们使用一组监督任务来学习一个中间表示，它对控制车辆的观点是不变的。这不仅在训练时提供了更丰富的信号，而且还允许在推理期间进行更复杂的推理。了解所有车辆如何驾驶有助于预测它们在测试时的行为，并可以避免碰撞。我们评估这个系统在闭环驾驶模拟。我们的系统在公共CARLA排行榜上的表现远远优于所有先前的方法，将驾驶分数提高了25分，路线完成率提高了24分。我们的方法赢得了2021年CARLA自动驾驶挑战赛。代码和数据可在https://github.com/dotchen/LAV上获得。
2022-09-11 cs.CV cs.LG cs.RO
Ignition: An End-to-End Supervised Model for Training Simulated Self-Driving Vehicles
Stanford University（斯坦福大学）
我们介绍点火：一个端到端的神经网络架构，用于在模拟环境中训练无约束的自动驾驶车辆。该模型是一个ResNet-18变体，它从模拟的F1赛车前部输入图像，并输出转向，油门，制动的最佳标签。重要的是，我们从来没有明确地训练模型来检测道路特征，如轨道的轮廓或与其他汽车的距离;相反，我们说明了这些潜在的特征可以被网络自动封装。
2018-06-29 cs.CV
Testing the Safety of Self-driving Vehicles by Simulating Perception and Prediction
Uber Advanced Technologies Group（优步先进技术集团）；University of Toronto（多伦多大学）；Shanghai Jiao Tong University（上海交通大学）
我们提出了一种在模拟中测试自动驾驶车辆安全性的新方法。我们提出了一种替代传感器模拟，传感器模拟是昂贵的，有很大的领域差距。相反，我们直接模拟自动驾驶汽车的感知和预测系统的输出，从而实现逼真的运动规划测试。具体来说，我们使用以地面真实标签和真实感知和预测输出形式的成对数据来训练预测在线系统将产生什么的模型。重要的是，我们系统的输入包括高清晰度的地图、边界框和轨迹，测试工程师可以在几分钟内轻松绘制。这使得我们的方法成为一个更具可扩展性的解决方案。两个大规模数据集上的定量结果表明，我们可以现实地测试运动规划使用我们的模拟。
2020-08-13 cs.CV cs.LG cs.RO
V2V-LLM: Vehicle-to-Vehicle Cooperative Autonomous Driving with Multimodal Large Language Models
NVIDIA；Carnegie Mellon University（卡内基梅隆大学）
本文提出基于多模态大语言模型的V2V-LLM，通过车与车协同感知提升自动驾驶安全性和性能。
2026-02-16 cs.CV cs.RO
DriveWeaver: Point-Conditioned Video Inpainting for Controllable Vehicle Insertion in Autonomous Driving Simulation
School of Data Science, Fudan University（复旦大学数据科学学院）；Shanghai Innovation Institute（上海创新研究院）
提出DriveWeaver框架，通过点云条件视频修复实现自动驾驶仿真中可控车辆插入，解决光照不一致和3D资产依赖问题，支持大规模场景增强。
2026-07-03 cs.CV
Grounding Human-to-Vehicle Advice for Self-driving Vehicles
UC Berkeley（加州大学伯克利分校）；Honda Research Institute USA, Inc.（美国本田研究院有限公司）
最近的成功表明，深度神经控制网络可能是自动驾驶汽车的关键组成部分。这些网络是在大型数据集上训练的，以模仿人类的行为，但它们缺乏对图像内容的语义理解。这使得它们在与训练数据不匹配的情况下变得脆弱并且可能不安全。在这里，我们建议通过使用来自人类的自然语言建议来增强训练数据来解决这个问题。建议包括关于做什么和去哪里参加的指导。我们介绍了给出建议的第一步，我们训练一个接受建议的端到端车辆控制器。控制器调整它关注场景（视觉注意力）和控制（转向和速度）的方式。注意力机制将控制器行为与通知中的显著对象联系起来。我们在一个新的建议驾驶数据集上评估我们的模型，该数据集具有手动注释的人对车辆的建议，称为本田研究所建议数据集（HAD）。我们表明，采取的意见，提高了端到端网络的性能，而网络线索的各种视觉功能所提供的意见。该数据集可在https://usa.honda-ri.com/HAD上获得。
2019-11-16 cs.CV
Motion Comfort Optimization for Autonomous Vehicles: Concepts, Methods, and Techniques
University of North Texas（北德克萨斯大学）；Fordham University（福特汉姆大学）；Qatar University（卡塔尔大学）；University of Nebraska at Kearney（内布拉斯加大学卡尼尔分校）；Mohamed Bin Zayed University of Artificial Intelligence (MBZUAI)（穆罕默德·本·扎耶德人工智能大学（MBZUAI））；Hamad Bin Khalifa University（哈马德·本·哈利法大学）
本文从人类舒适性视角综述自动驾驶架构、舒适度测量与优化技术，分析传感器天气限制及市场影响，并给出用例与未来展望。
2023-06-15 cs.AI cs.CV cs.LG
TerrainForge: Physics-Grounded Road Geometry Editing for Counterfactual Autonomous Driving
Rochester Institute of Technology（罗切斯特理工学院）；University of Macau（澳门大学）；City University of Hong Kong（香港城市大学）
TerrainForge提出物理基础的道路几何编辑框架，通过统一路面模型将场景变形与车辆动力学耦合，生成反事实驾驶场景，并用筛选代理高效预测安全结果。
2026-10-14 cs.CV
Egocentric Vision-based Future Vehicle Localization for Intelligent Driving Assistance Systems
Honda Research Institute（本田研究所）；School of Informatics, Computing and Engineering, Indiana University（印第安纳大学信息学、计算与工程学院）；Robotics Institute, University of Michigan（密歇根大学机器人研究所）
预测车辆的未来位置对于高级驾驶员辅助系统（ADAS）和自动驾驶等安全关键型应用至关重要。本文介绍了一种新的方法，同时预测的位置和规模的目标车辆在第一人称（自我中心）视图的自我车辆。我们提出了一个多流递归神经网络（RNN）编码器-解码器模型，该模型分别捕获对象位置和尺度以及像素级观察结果，用于未来的车辆定位。我们表明，将密集的光流提高预测结果显着，因为它捕获的运动以及外观变化的信息。我们还发现，明确建模的自我车辆的未来运动提高了预测精度，这可能是特别有益的智能和自动化的车辆，具有运动规划能力。为了评估我们的方法的性能，我们提出了一个新的第一人称视频数据集，这些视频是从道路交叉口的各种场景中收集的，这些场景对于预测来说特别具有挑战性，因为车辆轨迹是多样的和动态的。
2019-03-03 cs.CV cs.RO
Multi-model approach for autonomous driving: A comprehensive study on traffic sign-, vehicle- and lane detection and behavioral cloning
本文提出多模型方法，通过预训练和定制神经网络提升自动驾驶中的交通标志、车辆和车道检测及行为克隆性能。
2026-07-28 cs.AI cs.CV
Exploring Driving Behavior for Autonomous Vehicles Based on Gramian Angular Field Vision Transformer
本文提出GAF-ViT模型，通过将多元驾驶行为序列转换为多通道图像并结合通道注意力与视觉Transformer进行分类，在Waymo Open Dataset上取得最先进性能，并验证了各模块的有效性。
2024-09-01 cs.CV eess.IV
Towards Safe Autonomous Driving: Capture Uncertainty in the Deep Neural Network For Lidar 3D Vehicle Detection
Robert Bosch GmbH（罗伯特·博世有限公司）；Ulm University（乌尔姆大学）
为了确保自动驾驶汽车在公共道路上安全行驶，其目标检测模块不仅要正确工作，还要显示其预测的可信度。以前由深度学习驱动的对象检测器没有明确地对神经网络中的不确定性进行建模。我们通过提出实用的方法来捕获激光雷达点云的3D车辆检测器中的不确定性来解决这个问题。建议的概率检测器代表可靠的认知不确定性和任意的不确定性分类和定位任务。实验结果表明，认知不确定性与检测精度有关，而任意不确定性受车辆距离和遮挡的影响。实验结果还表明，通过对任意不确定度进行建模，可以使检测性能提高1%~ 5%。
2018-09-07 cs.CV cs.RO
YOLO-Vehicle-Pro: A Cloud-Edge Collaborative Framework for Object Detection in Autonomous Driving under Adverse Weather Conditions
School of Computer Science, Shenyang Aerospace University（沈阳航空航天大学计算机学院）
针对雾天自动驾驶检测性能下降问题，本文提出融合图像与文本的 YOLO-Vehicle 及加入改进去雾算法的 YOLO-Vehicle-Pro，并构建云边协同系统，在 KITTI 和 Foggy Cityscapes 上实现高精度实时检测。
2024-10-23 cs.CV cs.IR
Vehicle-counting with Automatic Region-of-Interest and Driving-Trajectory detection
Lafayette College（拉斐特学院）；Universidad Autónoma de Santo Domingo（圣多明各自治大学）
车辆计数系统可以帮助车辆分析和交通事故检测。不幸的是，大多数现有的方法需要一定程度的人工输入来识别感兴趣区域（ROI）、感兴趣的运动，或者建立参考点或参考线以从交通摄像机计数车辆。这项工作介绍了一种方法来计算交通视频中的车辆，自动识别摄像机的ROI，以及车辆的行驶轨迹。这使得该方法可以与在发展中国家经常使用的泛变焦相机一起使用。初步结果表明，该方法实现了平均交叉超过工会的57.05%的ROI和平均绝对误差仅为17.44%，在交通视频摄像机测试计数车辆。
2021-08-21 cs.CV cs.LG
Evaluating Adversarial Attacks on Driving Safety in Vision-Based Autonomous Vehicles
City University of Hong Kong（香港城市大学）；University of Victoria（维多利亚大学）；University of Puerto Rico at Mayagüez（波多黎各大学马亚圭斯分校）
近年来，许多深度学习模型已被用于自动驾驶。与此同时，这些模型引入了可能危及自动驾驶汽车安全的新漏洞。具体而言，最近的研究表明，对抗攻击会导致基于深度学习的三维目标检测模型的检测精度显著下降。虽然驾驶安全是自动驾驶的终极关注点，但深度学习模型的性能与自动驾驶汽车在对抗攻击下的驾驶安全性之间的联系还没有全面的研究。在本文中，我们研究了两种主要类型的对抗攻击，扰动攻击和补丁攻击，对基于视觉的自动驾驶汽车的驾驶安全性的影响，而不是深度学习模型的检测精度。特别地，我们考虑了基于视觉的3D目标检测中的两种最先进的模型，Stereo R-CNN和DSGN。为了评估驾驶安全，我们提出了一个端到端的评估框架，一组驾驶安全性能指标。通过分析我们广泛的评估实验的结果，我们发现（1）攻击对自动驾驶汽车驾驶安全的影响和攻击对3D目标检测器精度的影响是解耦的，（2）DSGN模型比Stereo R-CNN模型对对抗攻击表现出更强的鲁棒性。此外，我们进一步调查的原因，这两个结果与消融研究。本文的研究结果为评估对抗攻击并指导自动驾驶中深度学习模型的选择提供了新的视角。
2021-08-06 cs.CR cs.CV cs.LG
Other Vehicle Trajectories Are Also Needed: A Driving World Model Unifies Ego-Other Vehicle Trajectories in Video Latent Space
Project Leader（项目负责人）
针对现有驾驶世界模型无法控制其他车辆轨迹的问题，提出EOT-WM模型，通过统一自车-他车轨迹实现驾驶模拟，在nuScenes数据集上FID和FVD指标分别提升30%和55%，还能预测未见场景。
2025-11-19 cs.AI cs.CV
Vehicle Driving Assistant
International Institute of Information Technology, Bangalore（班加罗尔国际信息技术学院）
自动驾驶汽车一直是我们日常生活中的一个常用术语，特斯拉等汽车制造商的汽车都是SAE 3级。虽然这些车辆包括停车辅助和巡航控制等一系列功能，但它们大多是针对外国道路量身定制的。坑坑洼洼，以及它们的丰富性，是我们印度道路所特有的。我们相信，从视觉图像中成功检测坑洞可以应用于各种场景。此外，坑洼的颜色、形状和大小的绝对多样性使得该问题成为使用现代机器学习和图像处理技术来解决的适当候选者。
2020-02-10 cs.CV
Robust Driving Policy Learning with Guided Meta Reinforcement Learning
Korea Advanced Institute of Science and Technology（韩国科学技术院）；Stanford University（斯坦福大学）；Honda Research Institute USA（美国本田研究所）
针对深度强化学习驾驶策略易过拟合固定社会车辆行为的问题，提出用引导元强化学习训练社会车辆元策略，再用其提升自车策略鲁棒性，在无管制T路口实现了对分布外社会车辆行为的良好泛化。
2023-07-19 cs.AI cs.CV cs.LG
TEScalib: Targetless Extrinsic Self-Calibration of LiDAR and Stereo Camera for Automated Driving Vehicles with Uncertainty Analysis
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；FZI Research Center for Information Technology（FZI信息技术研究中心）
在本文中，我们提出了TEScalib，一种新的外部自校准方法的激光雷达和立体相机使用周围环境的几何和光度信息，没有任何校准目标的自动驾驶车辆。由于激光雷达和立体相机广泛用于自动驾驶车辆的传感器数据融合，因此它们的外部校准非常重要。然而，大多数LiDAR和立体相机校准方法主要是基于目标的，因此耗时。即使是最近几年新开发的无目标方法也不准确或不适合驾驶平台。为了解决这些问题，我们引入了TESCalib。通过应用基于三维网格重建的点云配准，几何信息被用于精确和鲁棒地估计LiDAR到立体相机的外部参数。为了标定立体相机，建立了一个光度误差函数，并涉及LiDAR深度转换的关键点从一个相机到另一个。在驱动期间，这两个部分被迭代地处理。此外，我们还提出了一个不确定性分析，以反映估计的外部参数的可靠性。我们在KITTI数据集上评估的TEScalib方法取得了非常有希望的结果。
2022-02-28 cs.CV
CoDrive: Cross-Vehicle World-Consistent Video Generation with Precise Trajectory Control for Cooperative Driving
Tsinghua University（清华大学）；Tencent Hunyuan（腾讯混元）；Zhongguancun Academy（中关村学院）
CoDrive提出跨车辆多视角视频生成框架，通过共享世界坐标与混合训练实现精确轨迹控制下的多车观测一致性，提升轨迹可控性和几何、实例一致性。
2026-09-29 cs.AI cs.CV
Improving 3D Labeling in Self-Driving by Inferring Vehicle Information using Vision Language Models
Aurora Innovation, Inc.（Aurora创新公司）
本文提出了一种利用视觉语言模型推断车辆信息以提高自动驾驶中3D车辆标注精度的方法，通过零样本推理车辆信息，结合车辆型号和型号识别方法，提升了标注效率和质量。
2026-05-20 cs.CV cs.RO
MIT Advanced Vehicle Technology Study: Large-Scale Naturalistic Driving Study of Driver Behavior and Interaction with Automation
Massachusetts Institute of Technology (MIT)（麻省理工学院（MIT））；Touchstone Evaluations, Inc.（托奇斯通评估公司）
在未来，人类很可能仍然是驾驶任务的一个组成部分，在人工智能系统执行驾驶任务的0%以上到100%以下的任何地方监控它。麻省理工学院自动驾驶汽车技术（MIT-AVT）研究的管理目标是（1）进行大规模的真实驾驶数据汇集，包括高清视频，以推动基于深度学习的内部和外部感知系统的开发，（2）通过整合视频数据与车辆状态数据，驾驶员特征，心理模型和自我报告的技术经验，以及（3）确定如何以拯救生命的方式改进与自动化采用和使用相关的技术和其他因素。为了实现这些目标，我们对23辆特斯拉Model S和Model X汽车、2辆沃尔沃S90汽车、2辆路虎揽胜极光和2辆凯迪拉克CT6汽车进行了长期（每个驾驶员超过一年）和中期（每个驾驶员一个月）自然驾驶数据汇集。此外，我们正在不断开发新的方法来分析从仪表车队收集的大规模数据集。记录的数据流包括IMU、GPS、CAN消息以及驾驶员面部、驾驶室、前方道路和仪表组（在选定车辆上）的高清视频流。这项研究正在进行中，而且越来越多。到目前为止，我们有122名参与者，15，610天的参与，511，638英里和71亿视频帧。本文介绍了研究的设计，数据汇集硬件，数据的处理，以及目前用于从数据中提取可操作知识的计算机视觉算法。
2019-08-14 cs.CV cs.CY cs.HC
