Surround-view Fisheye Camera Perception for Automated Driving: Overview, Survey and Challenges
Valeo（法雷奥）；University of Limerick（利默里克大学）
全景鱼眼相机通常用于自动驾驶中的近场传感。车辆四个侧面的四个鱼眼摄像头足以覆盖车辆周围的360°，捕捉整个近场区域。一些主要的用例是自动停车、交通拥堵辅助和城市驾驶。由于汽车感知的重点是远场感知，因此近场感知任务的数据集有限，工作很少。与远场相比，由于10 cm的高精度目标检测要求和物体的部分可见性，环绕视图感知带来了额外的挑战。由于鱼眼相机的大径向失真，标准算法不能容易地扩展到环绕视图用例。因此，我们的动机是为研究人员和从业者提供一个独立的参考汽车鱼眼相机的感知。首先，我们提供了一个统一的和分类的处理常用的鱼眼相机模型。其次，我们讨论了各种感知任务和现有的文献。最后，我们讨论了挑战和未来的方向。
2023-01-05 cs.CV
Lidar for Autonomous Driving: The principles, challenges, and trends for automotive lidar and perception systems
RENAULT S.A.S（雷诺）
自动驾驶汽车依靠其感知系统来获取有关其周围环境的信息。有必要检测其他车辆、行人和其他相关实体的存在。安全问题和对准确估计的需求导致了光探测和测距（LiDAR）系统的引入，以补充基于相机或雷达的感知系统。本文介绍了最先进的汽车LiDAR技术以及与这些技术一起使用的感知算法。首先介绍了激光雷达系统的主要组成部分，从激光发射器到光束扫描机构。介绍和比较了各种解决方案的优缺点和现状。然后，从自动驾驶汽车的角度详细介绍了用于LiDAR数据处理的特定感知管道。模型驱动的方法和新兴的深度学习解决方案进行了审查。最后，我们概述了汽车LiDAR和感知系统的局限性、挑战和趋势。
2020-04-17 cs.RO
Eliminating the Blind Spot: Adapting 3D Object Detection and Monocular Depth Estimation to 360° Panoramic Imagery
Durham University（杜伦大学）
最近的汽车视觉工作几乎完全集中在处理前向摄像头上。然而，如果没有更全面的环绕传感，未来的自动驾驶汽车将是不可行的，类似于人类驾驶员，可以通过360°全景相机提供。我们提出了一种方法来适应在传统直线图像上开发的当代深度网络架构，以处理等距矩形360°全景图像。为了解决缺乏注释的全景汽车数据集的可用性，我们通过样式和投影变换来适应当代汽车数据集，以促进全景图像的当代算法的跨域再训练。按照这种方法，我们重新训练和调整现有的架构，以恢复场景深度和3D姿态的车辆从单目全景图像没有任何全景训练标签或校准参数。我们的方法进行了定性评估，对群众来源的全景图像和定量使用汽车环境模拟器提供第一个基准，这样的技术在全景图像。
2018-08-19 cs.CV
Ensemble-based Semi-supervised Learning to Improve Noisy Soiling Annotations in Autonomous Driving
Valeo Vision Systems（法雷奥视觉系统公司）
在环绕视图摄像机上手动注释污染是非常具有挑战性且昂贵的任务。各种污染类别（如水滴或泥颗粒）的边界不清晰通常会导致注释质量的较大差异。因此，在这些注释不佳的数据上训练的模型远非最佳。在本文中，我们专注于通过伪标签驱动的集成模型来处理这种嘈杂的注释，这使我们能够快速发现有问题的注释，并且在大多数情况下也可以充分修复它们。我们训练一个污染的分割模型上的噪音和精致的标签，并证明显着的改善，使用精致的注释。它还说明了有效地细化较低成本的粗略注释是可能的。
2021-07-11 cs.CV
A Feature-based Approach for the Recognition of Image Quality Degradation in Automotive Applications
b-plus technologies GmbH（b-plus技术有限公司）
摄像头在现代驾驶辅助系统中发挥着至关重要的作用，是自动驾驶传感器技术的重要组成部分。车载摄像机采集的图像质量对视觉感知系统的性能有很大影响。本文提出了一种基于特征的算法来检测某些影响，可以降低图像质量的汽车应用。该算法是基于智能选择的重要功能。由于特征数量较少，即使在小数据集上，该算法也表现良好。不同数据集的实验结果表明，该算法可以检测出附着在相机镜头上的污垢，并对不同类型的图像退化进行分类。
2023-03-13 cs.CV
Multi-Task Network Pruning and Embedded Optimization for Real-time Deployment in ADAS
Valeo（法雷奥）
自动驾驶系统中越来越需要基于相机的深度学习算法来实现感知。然而，来自汽车行业的限制通过将有限的计算资源强加给嵌入式系统来挑战CNN的部署。在本文中，我们提出了一种方法来嵌入一个多任务的CNN网络在商业原型平台上，即低功耗的片上系统（SoC）处理四个环绕视图鱼眼相机在10 FPS的条件下。第一个重点是设计一个高效和紧凑的多任务网络架构。其次，应用修剪方法来压缩CNN，有助于将运行时间和内存使用减少2倍，而不会显着降低性能。最后，提出了混合量化格式的使用和不同存储区之间的高效数据传输等嵌入式优化技术，以保证实时的【形】执行和避免带宽瓶颈。该方法在硬件平台上进行了评估，考虑嵌入式检测性能，运行时间和内存带宽。与大多数文献中专注于分类任务的作品不同，我们的目标是研究修剪和量化对具有目标检测，语义分割和污染检测任务的紧凑多任务网络的影响。
2021-01-19 cs.CV cs.LG
Systematic Evaluation of Applying Space-Filling Curves to Automotive Maneuver Detection
University of Gothenburg（哥德堡大学）；Chalmers University of Technology（查尔姆斯理工大学）
本文提出基于Z-order和Hilbert空间填充曲线的环岛机动检测方法，无需GPS数据，通过系统性评估发现仅用10Hz采样的纵横向加速度经Hilbert编码即可有效识别机动，满足GDPR隐私要求。
2023-10-23 cs.RO
A Comprehensive Safety Metric to Evaluate Perception in Autonomous Systems
University of Tübingen, Faculty of Science, Department of Computer Science, Embedded Systems Group（图宾根大学，科学学院，计算机科学系，嵌入式系统组）
本文提出了一种综合考虑物体速度、方向、距离等因素的新安全度指标，用于评估自动驾驶系统中物体感知的安全性。
2025-12-16 cs.CV cs.RO
Radar Voxel Fusion for 3D Object Detection
Institute of Automotive Technology, Technical University of Munich（慕尼黑工业大学汽车技术研究所）；mLab:Real-Time and Embedded Systems Lab, University of Pennsylvania（宾夕法尼亚大学mLab实时与嵌入式系统实验室）
由于需要处理的各种可能的场景、对象和天气条件，汽车交通场景是复杂的。与自动化地下列车等更受约束的环境相比，汽车感知系统不能针对特定任务的狭窄领域进行定制，而是必须处理不断变化的环境和不可预见的事件。由于目前没有一个传感器能够可靠地感知周围环境中的所有相关活动，因此应用传感器数据融合来感知尽可能多的信息。不同传感器和传感器模态在低抽象级别上的数据融合使得能够在信息丰富的传感器数据被压缩之前补偿传感器之间的传感器弱点和误检测，从而在传感器个体目标检测之后丢失信息。本文提出了一种用于三维目标检测的低层传感器融合网络，该网络融合了激光雷达、摄像机和雷达数据。融合网络在nuScenes数据集上进行训练和评估。在测试集上，与基线激光雷达网络相比，雷达数据的融合将产生的AP（平均精度）检测分数提高了约5.1%。雷达传感器融合证明在恶劣条件下，如下雨和夜景特别有益。融合额外的摄像机数据仅在与雷达融合结合时才有积极的贡献，这表明传感器的相互依赖性对检测结果很重要。此外，本文提出了一种新的损失，以处理一个简单的偏航表示目标检测的不连续性。我们更新的损失增加了所有传感器输入配置的检测和方向估计性能。本研究的代码已在GitHub上提供。
2021-06-26 cs.CV
Multi-View Radar Semantic Segmentation
LTCI, Télécom Paris, Institut Polytechnique de Paris（巴黎综合理工学院电信学院LTCI实验室）
了解自我车辆周围的场景是辅助和自动驾驶的关键。如今，这主要是使用相机和激光扫描仪进行的，尽管它们在恶劣天气条件下的性能会降低。汽车雷达是一种低成本的有源传感器，可测量周围物体的特性，包括它们的相对速度，并且具有不受雨、雪或雾影响的关键优势。然而，由于雷达原始数据的大小和复杂性以及缺乏带注释的数据集，它们很少用于场景理解。幸运的是，最近的开源数据集已经开启了使用端到端可训练模型对原始雷达信号进行分类、目标检测和语义分割的研究。在这项工作中，我们提出了几种新的架构，和他们的相关损失，分析多个“视图”的距离-角度-多普勒雷达张量分割它的语义。在最近的CARRADA数据集上进行的实验表明，我们最好的模型优于其他模型，无论是从自然图像的语义分割或从雷达场景理解，同时需要显着更少的参数。我们的代码和训练模型都可以在https://github.com/valeoai/MVRSS上找到。
2021-08-24 cs.CV
TransCAR: Transformer-based Camera-And-Radar Fusion for 3D Object Detection
Michigan State University（密歇根州立大学）
针对现有3D目标检测融合研究多聚焦激光雷达与相机的问题，提出基于Transformer的相机-雷达融合方案TransCAR，通过双模块特征交互与软关联机制，在nuScenes数据集上超越同类方法，还可无时序信息提升速度估计。
2023-04-30 cs.CV
Parameter Blending for Multi-Camera Harmonization for Automotive Surround View Systems
NVIDIA（英伟达）
针对汽车环视多相机因独立 AWB 与 GTM 导致拼接缝色彩不连续的问题，提出利用 ISP 元数据统计的 AWB/GTM 参数融合协调算法，在视觉质量和计算成本上优于全局色彩迁移。
2024-06-16 cs.CV
Object Detection for Vehicle Dashcams using Transformers
Bahria University（巴里亚大学）；Center of Excellence in AI（人工智能卓越中心）
本文提出一种基于DEtection TRansformer (DETR)的车辆行车记录仪目标检测新方法，利用上下文信息提升准确性，在真实数据集上mAP达0.95，显著增强了系统性能。
2024-08-28 cs.AI cs.CV
Radar Artifact Labeling Framework (RALF): Method for Plausible Radar Detections in Datasets
Dr. Ing. h.c. F. Porsche AG（保时捷股份公司）；Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院）；FZI Research Center for Information Technology（FZI信息技术研究中心）
自动驾驶的定位和感知研究主要集中在相机和LiDAR数据集上，很少涉及雷达数据。手动标记稀疏的雷达点云具有挑战性。对于数据集的生成，我们提出了跨传感器雷达回波标记框架（RALF）。自动生成的汽车雷达数据标签有助于解决雷达缺陷，如人工智能应用中的伪影。RALF为雷达原始检测提供了可识别性标签，区分伪影和目标。光学评估主干由环绕视图相机的广义单目深度图像估计加上LiDAR扫描组成。现代汽车传感器的摄像头和激光雷达允许在重叠的传感区域中校准基于图像的相对深度信息。K-最近邻匹配将光学感知点云与原始雷达检测相关联。并行地，时间跟踪评估部分考虑雷达检测的瞬态行为。基于匹配之间的距离，尊重传感器和模型的不确定性，我们提出了每个雷达检测的可靠性评级。我们通过评估半手动标记的地面实况数据集的$3.28\cdot10^6$点的误差度量来验证结果。除了生成合理的雷达检测外，该框架还可以进一步标记低级别雷达信号数据集，用于感知和自动驾驶学习任务的应用。
2020-12-03 cs.AI cs.LG cs.RO
The Stixel world: A medium-level representation of traffic scenes
Daimler AG（戴姆勒股份公司）；Mercedes-Benz R&D North America（梅赛德斯-奔驰北美研发中心）；TU Darmstadt（达姆施塔特工业大学）；Microsoft HoloLens（微软全息透镜）；ETH Zurich（苏黎世联邦理工学院）
先进驾驶辅助系统的最新进展和自动驾驶汽车的竞赛主要由两个因素驱动：（1）越来越复杂的算法，可以解释车辆周围的环境并做出相应的反应，以及（2）传感器技术本身的不断改进。就相机而言，这些改进通常包括更高的空间分辨率，因此需要处理更多的数据。增加多个摄像头以覆盖车辆的整个周围环境的趋势在这方面是不利的。同时，越来越多的专用算法需要访问传感器输入数据，以正确解释可能发生的各种复杂情况，特别是在城市交通中。通过观察这些趋势，很明显，智能车辆视觉架构的一个关键挑战是共享计算资源。我们认为，这一挑战应该通过引入感官数据的表示来面对，该表示提供对场景的所有相关视觉内容的压缩和结构化访问。本文所讨论的Stixel世界就是这样一种表示。它是一个中级环境模型，专门设计用于通过利用室外交通场景的典型布局来压缩有关障碍物的信息。它已被证明适用于多种汽车视觉应用，包括目标检测、跟踪、分割和映射。在本文中，我们总结了模型背后的思想，并将其推广到考虑多个密集输入流：图像本身，立体深度图和可以生成的语义类概率图，例如，CNN。我们的推广嵌入到一个新的数学公式的Stixel模型。我们进一步勾画了如何使用结构化支持向量机学习模型的自由参数。
2017-04-02 cs.CV
Surround-View Fisheye Optics in Computer Vision and Simulation: Survey and Challenges
University of Limerick（利默里克大学）；University of Galway（戈尔韦大学）；Lero (the Science Foundation Ireland Research Centre for Software)（Lero（爱尔兰科学基金会软件研究中心））；Valeo Vision Systems（法雷奥视觉系统公司）
该综述聚焦汽车环视鱼眼光学，分析鱼眼光学像差对自动驾驶视觉任务的影响，调研两类仿真生成合成数据集的方法，指出仿真鱼眼数据的光学真实感局限。
2024-02-21 cs.CV eess.IV
Trained Trajectory based Automated Parking System using Visual SLAM on Surround View Cameras
Valeo Vision Systems（法雷奥视觉系统公司）
自动泊车正在成为现代汽车的标准功能。现有的停车系统构建本地地图，以便能够计划朝向检测到的插槽的机动。下一代停车系统有一个用例，它们可以构建汽车经常停放的环境的持久地图，例如家庭停车场或办公室停车场。预先构建的地图有助于重新定位车辆更好地当它试图停车的下一次。这是通过使用Visual SLAM管道增强停车系统来实现的，该功能在汽车行业中被称为训练轨迹停车。在本文中，我们讨论了训练轨迹自动停车系统的用例，设计和实现。建议的系统部署在商用车和消费者的应用程序中说明\url{https://youtu.be/nRWF5KhyJZU}。本文的重点是应用和视觉算法的细节保持在较高的水平。
2021-05-19 cs.CV cs.RO
Easy3D-Labels: Supervising Semantic Occupancy Estimation with 3D Pseudo-Labels for Automotive Perception
Department of Electronic and Computer Engineering, University of Limerick（利默里克大学电子与计算机工程系）；Data Driven Computer Engineering Research Centre, University of Limerick（利默里克大学数据驱动计算机工程研究中心）；SFI CRT Foundations in Data Science, University of Limerick（爱尔兰科学基金会数据科学基础研究中心，利默里克大学）
本文提出Easy3D-Labels，利用Grounded-SAM和Metric3Dv2生成3D伪标签，提升汽车感知中语义占用估计的性能，实现mIoU和RayIoU显著提升。
2026-08-12 cs.CV
FisheyeMODNet: Moving Object detection on Surround-view Cameras for Autonomous Driving
Valeo Vision Systems（法雷奥视觉系统）；ECE Paris（巴黎ECE工程师学院）；Valeo R&D（法雷奥研发）；Valeo DAR Kronach（法雷奥DAR克罗纳赫）
运动目标检测（MOD）是实现鲁棒自动驾驶的重要任务。自动驾驶车辆必须估计与环境中其他相互作用的物体的碰撞风险，并计算可选的轨迹。由于需要估计对象的未来状态和姿态以进行决策，因此移动对象的碰撞风险通常高于静态对象。这对于车辆周围的近距离物体尤其重要，这些物体通常由捕获场景的360°视图的鱼眼环绕视图系统检测到。在这项工作中，我们提出了一个CNN架构的移动目标检测使用鱼眼图像，在自动驾驶环境中捕获。由于鱼眼相机的运动几何是高度非线性和独特的，我们将公开当前数据集的改进版本，以鼓励进一步的研究。针对嵌入式部署，我们设计了一个轻量级的编码器，在序列图像之间共享权重。该网络在1万亿次浮点运算的汽车嵌入式系统上以15 fps的速度运行，精度为40% IoU和69.5% mIoU。
2019-08-30 cs.CV eess.IV
LiMoSeg: Real-time Bird's Eye View based LiDAR Motion Segmentation
Valeo, Germany（法雷奥，德国）；Valeo, Ireland（法雷奥，爱尔兰）；Spleenlab.ai, Germany（Spleenlab.ai，德国）；TU Ilmenau, Germany（伊尔默瑙工业大学，德国）
运动目标检测和分割是自动驾驶流水线中的一项重要任务。在路径规划和定位任务中，检测和隔离车辆周围环境的静态和移动组件尤其重要。本文提出了一种新的实时的【形】结构的光探测和测距（LiDAR）数据的运动分割。我们使用三个连续扫描的激光雷达数据在2D鸟瞰图（BEV）表示执行像素分类为静态或移动。此外，我们提出了一种新的数据增强技术，以减少静态和移动对象之间的显着类不平衡。我们通过剪切和粘贴静态车辆人工合成移动对象来实现这一点。我们展示了一个常用的汽车嵌入式平台，即Nvidia Jetson Xavier的低延迟8毫秒。据我们所知，这是第一个直接在LiDAR BEV空间中进行运动分割的工作。我们提供了具有挑战性的SemanticKITTI数据集的定量结果，定性结果在https://youtu.be/2aJ-cL8b0LI中提供。
2022-01-22 cs.CV cs.RO
CR3DT: Camera-RADAR Fusion for 3D Detection and Tracking
ETH Zurich（苏黎世联邦理工学院）
本文提出相机-RADAR融合模型CR3DT，基于BEVDet引入RADAR空间与速度信息，在nuScenes上显著提升3D检测和MOT性能。
2024-08-06 cs.AI cs.CV
