Safety-aware Motion Prediction with Unseen Vehicles for Autonomous Driving
HKUST（香港科技大学）；Alexa AI, Amazon（亚马逊Alexa AI）；EPFL（洛桑联邦理工学院）
由于复杂环境中的不确定性以及由遮挡和有限的传感器范围引起的有限的可见性，车辆的运动预测是关键的，但具有挑战性。在本文中，我们研究了一个新的任务，安全意识的运动预测与看不见的车辆自动驾驶。与现有的轨迹预测任务，看到的车辆，我们的目标是预测的占用地图，指示最早的时间时，每个位置可以被看到和看不见的车辆。预测看不见的车辆的能力对于自动驾驶的安全性至关重要。为了解决这一具有挑战性的任务，我们提出了一个具有安全意识的深度学习模型，该模型具有三个新的损失函数来预测最早的占用地图。在大规模自动驾驶nuScenes数据集上的实验表明，我们提出的模型在安全感知运动预测任务上的性能明显优于最先进的基线。据我们所知，我们的方法是第一个在大多数情况下可以预测看不见的车辆存在的方法。项目页面位于{ \url{https://github.com/xrenaa/Safety-Aware-Motion-Prediction} }。
2021-09-03 cs.CV
LiDAR-Based Vehicle Detection and Tracking for Autonomous Racing
Politecnico di Milano（米兰理工大学）
本文提出一种基于LiDAR的车辆检测与跟踪流程，包括快速点云分割、车辆姿态估计和变步长多目标跟踪，应用于自动驾驶赛车，实现在超过275公里/小时速度下的自主超车。
2025-01-24 cs.CV cs.RO
Human-vehicle Cooperative Visual Perception for Autonomous Driving under Complex Road and Traffic Scenarios
Tongji University（同济大学）
人车协同驾驶技术减轻了人类驾驶员的工作负担，已成为自动驾驶的关键技术。然而，复杂的、不确定的道路环境给协作系统的视觉感知带来了巨大的挑战。自动驾驶的感知特性与人工驾驶有很大的不同。为了提高人车协同驾驶的视觉感知能力，提出了一种协同视觉感知模型。收集了506幅复杂道路和交通场景的图像作为数据源。然后对自主车辆的目标检测算法进行了改进。交通要素的平均感知准确率达到75.52%。通过图像融合的方法，将驾驶员的视线点与车辆的监控屏幕进行融合。结果表明，合作视觉感知能更准确地反映冲突最危险区域，预测冲突物体的运动轨迹。研究结果可用于改进视觉感知算法，为规划和控制提供准确的数据。
2022-04-21 cs.CV
Aerial Imagery based LIDAR Localization for Autonomous Vehicles
Ford AV LLC（福特自动驾驶有限责任公司）；Ford Motor Company（福特汽车公司）
本文提出了一种定位技术，利用航空影像地图和激光雷达地面反射率的自主车辆在城市环境中。使用激光雷达反射率的传统定位技术依赖于从测绘车辆生成的高清晰度反射率地图。维护这种现有地图所需的成本和工作量通常非常高，因为它需要一队昂贵的测绘车辆。在这项工作中，我们提出了一种定位技术，车辆使用航空/卫星图像定位，消除了需要开发和维护复杂的高清地图。所提出的技术已在密歇根州安娜堡的测试轨道上收集的真实世界的数据集进行了测试。这项研究的结论是，基于航空图像的地图提供了实时定位性能，类似于最先进的基于激光雷达的地图，用于城市环境中的自动驾驶汽车，成本更低。
2020-03-25 cs.CV cs.RO
CenterLoc3D: Monocular 3D Vehicle Localization Network for Roadside Surveillance Cameras
单目三维车辆定位是智能交通系统（ITS）和协同车辆基础设施系统（CVIS）中的一项重要任务，通常通过单目三维车辆检测来实现。然而，由于固有的成像机制，单目相机无法直接获得深度信息，从而导致更具挑战性的单目3D任务。目前大多数单目3D车辆检测方法利用2D检测器和附加的几何模块，这降低了效率。在本文中，我们提出了一个三维车辆定位网络CenterLoc3D路边单目摄像机，直接预测图像空间中的质心和八个顶点，三维边界框的尺寸没有二维检测器。为了提高三维车辆定位的精度，我们提出了一个加权融合模块和空间约束嵌入CenterLoc3D的损失。首先，通过摄像机标定求解二维图像空间与三维世界空间的变换矩阵;其次，车辆类型，质心，八个顶点，三维车辆包围盒的尺寸是由CenterLoc3D获得。最后，通过摄像机标定和CenterLoc3D算法得到三维世界空间的质心，进行三维车辆定位。据我们所知，这是路边单目摄像机3D车辆定位的第一个应用。因此，我们还提出了一个基准，包括数据集（SVLD-3D），注释工具（LabelImg-3D），和评估指标。通过实验验证，该方法具有较高的准确性和实时性。（字数有限，详情请看文章）
2023-01-05 cs.AI cs.CV
The Role of the Hercules Autonomous Vehicle During the COVID-19 Pandemic: An Autonomous Logistic Vehicle for Contactless Goods Transportation
自二零二零年初以来，2019冠状病毒病（COVID-19）在全球迅速蔓延。截至本文撰写之日，全球已有223个国家和地区报告了这种疾病，感染人数超过1.08亿，死亡人数超过240万（https：//covid19.who.int/，2021年2月17日访问）。避免人与人之间的传播是控制和预防大流行病的有效方法。然而，许多日常活动，如我们日常生活中的货物运输，不可避免地涉及人与人之间的接触。使用自动物流车辆来实现非接触式货物运输可以缓解这个问题。例如，它可以降低司机和客户之间病毒传播的风险。此外，许多国家已实施严格的封锁措施以减少病毒传播（例如，零售、餐饮），给人们的日常生活带来不便。自动驾驶汽车可以运送人类购买的货物，使人类不需要出门就可以拿到货物。这些需求促使我们开发一款名为Hercules的自动驾驶汽车，用于COVID-19疫情期间的非接触式货物运输。通过在各种交通条件下的实际交付任务对车辆进行评估。
2021-02-17 cs.CV cs.RO
Evaluating Global Geo-alignment for Precision Learned Autonomous Vehicle Localization using Aerial Data
Nuro Inc（努罗公司）
本文研究航空与车载传感器数据的训练配准对学习型定位的影响，基于因子图比较两种配准方法并开展消融，在1600公里数据集上实现低于0.3米和0.5度的定位误差。
2025-03-18 cs.CV cs.RO
Object Detection in Autonomous Vehicles: Status and Open Challenges
Colorado State University（科罗拉多州立大学）
目标检测是一项计算机视觉任务，已成为当今许多消费者应用的组成部分，例如监控和安全系统、移动文本识别以及通过MRI/CT扫描诊断疾病。目标检测也是支持自动驾驶的关键组件之一。自动驾驶汽车依靠对周围环境的感知来确保安全和稳健的驾驶性能。该感知系统使用目标检测算法来准确地确定车辆附近的行人、车辆、交通标志和障碍物等物体。基于深度学习的物体检测器在实时发现和定位这些物体方面发挥着至关重要的作用。本文讨论了物体探测器的最新技术水平以及将其集成到自动驾驶汽车中所面临的挑战。
2022-01-19 cs.AI cs.CV cs.LG
Lane Detection For Prototype Autonomous Vehicle
Istanbul University-Cerrahpasa（伊斯坦布尔大学-切尔拉帕萨校区）
无人驾驶车辆技术是当今理论和实践中非常感兴趣的领域。这些技术在第一批应用实施后取得了相当大的进步，并迅速改变了人类生活。自动驾驶汽车也是这些技术的重要组成部分。驾驶员必须做的最重要的动作是沿着车道行驶到目的地。通过使用图像处理和人工智能技术，自动驾驶车辆可以在没有驾驶员帮助的情况下成功移动。它们可以通过应用预定义的规则从初始点到指定的目标。也有适当跟踪车道的规则。许多事故都是由于对车道的跟进不足和不遵守这些规则造成的。这些事故中的大多数也会导致受伤和死亡。在本文中，我们提出了一个自动驾驶汽车的原型，遵循车道通过图像处理技术，这是一个重要组成部分的自动驾驶汽车技术。自主运动的能力是通过使用一些图像处理算法，如Canny边缘检测，Sobel滤波器等，我们实现和测试这些算法的车辆。车辆检测到并按照确定的车道行驶。就这样，它顺利地到达了目的地。
2019-12-11 cs.CV cs.RO
FollowMe: Vehicle Behaviour Prediction in Autonomous Vehicle Settings
Meta Reality Labs（元现实实验室）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Washington（华盛顿大学）
本文提出 FollowMe 数据集和 FollowMe-STGCNN 深度时空图模型，用于在给定领航车路线条件下预测自车轨迹，并通过实验证明该模型能有效捕捉车辆交互，优于现有运动预测方法。
2023-04-12 cs.CV cs.RO
A Brief Survey on Autonomous Vehicle Possible Attacks, Exploits and Vulnerabilities
Amrita School of Engineering（阿姆里塔工程学院）；Amrita Vishwa Vidyapeetham（阿姆里塔维迪亚佩瑟姆大学）
先进的驾驶辅助系统正在快速发展，所有主要公司都开始投资开发自动驾驶汽车。但其安全性和可靠性仍存在不确定性和争议。想象一下，一辆车被攻击者破坏了，然后他们可以做什么。攻击者可以控制刹车，加速甚至转向，这可能导致灾难性的后果。本文简要概述了对自动驾驶汽车软件和硬件的大多数可能攻击及其潜在影响。
2018-10-03 cs.CV cs.HC cs.RO
CoFF: Cooperative Spatial Feature Fusion for 3D Object Detection on Autonomous Vehicles
University of North Texas（北德克萨斯大学）；Fujitsu（富士通）
为了减少传输的数据量，基于特征图的融合最近被提出作为一种实用的解决方案，通过自主车辆的合作三维目标检测。然而，目标检测的精度可能需要显著的改进，特别是对于远离或被遮挡的对象。为了解决这一关键问题的自动驾驶汽车和人类的安全，我们提出了一个合作的空间特征融合（CoFF）方法，自动驾驶汽车有效地融合特征地图，以实现更高的三维目标检测性能。特别地，CoFF基于接收到的特征图提供了多少新的语义信息来区分特征图之间的权重，以进行更有指导的融合。它还增强了对应于远/遮挡对象的不显眼的特征，以提高其检测精度。实验结果表明，与以往的特征融合方法相比，CoFF在自动驾驶车辆的检测精度和有效检测范围方面都有了显著的提高。
2020-09-24 cs.CV eess.IV
V2V-LLM: Vehicle-to-Vehicle Cooperative Autonomous Driving with Multimodal Large Language Models
NVIDIA；Carnegie Mellon University（卡内基梅隆大学）
本文提出基于多模态大语言模型的V2V-LLM，通过车与车协同感知提升自动驾驶安全性和性能。
2026-02-16 cs.CV cs.RO
Semantic Image Alignment for Vehicle Localization
Technical University of Munich（慕尼黑工业大学）；AUDI AG（奥迪股份公司）；Google（谷歌公司）；Google, Zurich, Switzerland（谷歌苏黎世公司（注：严格按提取范围，机构粒度到公司级别，故保留英文全称，中文按常见译法））；Department of Informatics（信息学系（注：因提取范围要求不细拆到系，此处仅作为示例说明原数据中的系名称，实际输出中应按机构粒度提取大学/公司等，故本处不单独输出该系名，仅保留大学和公司））
准确可靠的定位是自动驾驶汽车在导航或规划等高级任务中使用地图信息的基本要求。在本文中，我们提出了一种新的方法，车辆定位在密集的语义地图，包括矢量化的高清地图或三维网格，使用语义分割从单目摄像机。我们制定的本地化任务作为一个直接的图像对齐问题的语义图像，这使得我们的方法来鲁棒地跟踪车辆的姿态在语义标记的地图对齐虚拟摄像机视图渲染从地图到序列的语义分割的摄像机图像。与现有的视觉定位方法相比，该系统不需要额外的关键点功能，手工制作的定位地标提取器或昂贵的LiDAR传感器。我们证明了我们的方法在从立体或LiDAR以及手动注释的HD地图生成的各种语义网格地图上的广泛适用性，并表明它实现了实时可靠和准确的定位。
2021-10-08 cs.CV cs.RO
Human-Centered Autonomous Vehicle Systems: Principles of Effective Shared Autonomy
Massachusetts Institute of Technology (MIT)（麻省理工学院（MIT））
打造高效、舒适、安全的自动驾驶汽车比历史上人们所认为的要困难得多。原因在于，简单地说，自动驾驶汽车必须与人类互动。这种互动不是机器人问题，也不是机器学习问题，也不是心理学问题，也不是经济学问题，也不是政策问题。它是所有这些问题的集合。它挑战了我们对人类在最坏情况下的局限性和人工智能系统在最好情况下的能力的假设。这项工作提出了一套以人为本的方式设计和建造自动驾驶汽车的原则，这种原则不会逃避人性的复杂性，而是拥抱它。我们描述了我们以人为本的自动驾驶汽车（HCAV）的开发，作为在实践中实施这些原则的说明性案例研究。
2018-10-03 cs.AI cs.CV cs.HC
UAV-based Intelligent Information Systems on Winter Road Safety for Autonomous Vehicles
University of Oulu（奥卢大学）
针对冬季恶劣天气下车道宽度受限易引发自动驾驶汽车事故的问题，本研究提出含道路分割与宽度估算模型的方法，从无人机和自动驾驶汽车双视角获取信息，以提升自动驾驶汽车冬季路况下的适应与决策能力。
2024-06-18 cs.AI cs.CV cs.RO
Improving benchmarks for autonomous vehicles testing using synthetically generated images
AGH University of Technology（AGH科技大学）
如今，自主技术是一个非常深入的探索领域，特别是计算机视觉作为车辆感知的主要组成部分。整个神经网络视觉系统的质量依赖于训练数据集，而世界上大多数国家的交通标志数据集都很难找到。这意味着来自美国的自动驾驶汽车将无法在立陶宛行驶，无法识别沿途的所有路标。在本文中，我们提出了一个解决方案，如何更新模型使用一个小的数据集，从国家的车辆将被用于。值得一提的是，这不是灵丹妙药，而是小规模的升级，可以促进数据访问有限的国家的自动驾驶汽车发展。我们实现了约10%的质量提高，并期望在未来的实验中取得更好的结果。
2019-04-23 cs.CV cs.LG cs.RO
