GAN- vs. JPEG2000 Image Compression for Distributed Automotive Perception: Higher Peak SNR Does Not Mean Better Semantic Segmentation
Technische Universität Braunschweig（布伦瑞克工业大学）；Volkswagen Group Research – Automated Driving（大众集团研究部-自动驾驶）
自动驾驶所需的大量传感器对汽车总线系统的容量提出了巨大的挑战。需要理解比特率和感知性能之间的权衡。在本文中，我们比较了图像压缩标准JPEG，JPEG 2000和WebP的现代编码器/解码器的图像压缩方法的基础上生成对抗网络（GANs）。我们使用典型的指标，如峰值信噪比（PSNR），结构相似性（SSIM）和其他的纯压缩性能进行评估，但也随后的感知功能，即一个语义分割（其特征在于平均交叉联合（mIoU）措施）的性能。毫不奇怪，对于所有研究的压缩方法，更高的比特率意味着在所有研究的质量指标中获得更好的结果。然而，有趣的是，我们表明，GAN自动编码器在高度相关的低比特率制度（0.0625比特/像素）的语义分割mIoU比JPEG 2000好3.9%，尽管后者在PSNR方面仍然要好得多（5.91 dB差异）。通过用源自解码器的图像训练语义分割模型，可以大大放大这种效果，使得使用由GAN重建训练的分割模型的mIoU超过使用原始图像训练的模型的mIoU几乎20%绝对值。我们的结论是，分布式感知在未来的自动驾驶很可能不会提供一个解决方案的汽车总线容量瓶颈，通过使用标准的压缩方案，如JPEG 2000，但需要现代的编码方法，与GAN编码器/解码器的方法是一个有前途的候选人。
2019-02-12 cs.CV
A Large Scale Event-based Detection Dataset for Automotive
PROPHESEE（普诺飞思）
我们介绍了第一个非常大的检测数据集的事件相机。该数据集由304x240 ATIS传感器采集的超过39小时的汽车记录组成。它包含开放的道路和非常多样化的驾驶场景，包括城市，高速公路，郊区和乡村场景，以及不同的天气和照明条件。记录中包含的汽车和行人的手动限界框注释也以1至4 Hz的频率提供，总共产生超过255，000个标签。我们相信，这种大小的标记数据集的可用性将有助于基于事件的视觉任务，如目标检测和分类的重大进展。我们还希望在其他任务中获得好处，例如光流，运动恢复结构和跟踪，例如，大量的数据可以通过自监督学习方法来利用。
2020-01-31 cs.CV cs.LG cs.RO
Capsule Neural Network based Height Classification using Low-Cost Automotive Ultrasonic Sensors
Valeo Schalter und Sensoren GmbH（法雷奥开关与传感器有限公司）；Kronach, Germany（（注：根据要求，地址信息不应提取，此处仅作说明，实际机构为Valeo Schalter und Sensoren GmbH））
高性能超声波传感器硬件主要用于医疗应用。虽然汽车场景的发展正朝着自动驾驶方向发展，但超声波传感器硬件仍然分别保持低成本和低性能。为了克服严格的硬件限制，我们建议使用胶囊神经网络。通过这种网络架构的高分类能力，我们可以实现对检测到的物体进行详细高度分析的出色结果。我们采用了一种新的排序和整形方法来喂养的神经网络与超声数据。这提高了分类性能和计算速度。我们在不同的环境条件下测试了该方法，以验证所提出的方法独立于自动驾驶所需的外部参数而工作。
2019-02-26 cs.CV
Automotive Radar Data Acquisition using Object Detection
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
日益增长的城市复杂性需要一种有效的算法来获取和处理来自自动驾驶车辆的各种传感器信息。在本文中，我们介绍了一种算法，利用图像的目标检测的结果，自适应采样和获取雷达数据，利用压缩感知（CS）。这种新算法的动机是假设，在有限的采样预算，分配更多的采样预算的对象，而不是一个统一的采样最终提高相关的目标检测性能的区域。我们通过动态分配较低的采样率的对象，如公共汽车比行人导致更好的重建比基线跨区域的对象感兴趣的检测性能。我们使用线性规划自动化的采样率分配，并显示显着的时间节省，同时减少了2倍的雷达块大小。我们还分析了二进制排列对角测量矩阵的雷达捕获，这是硬件有效的，并显示其性能类似于高斯和二进制排列块对角矩阵。我们在牛津雷达数据集上的实验表明，在10%的采样率下，我们可以有效地重建感兴趣的物体。最后，我们使用NuScenes雷达和图像数据开发了一个基于变换的2D目标检测网络。
2021-03-01 cs.CV cs.LG
Weather Influence and Classification with Automotive Lidar Sensors
Daimler AG（戴姆勒股份公司）；Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院）；Institute for Information Processing Technology (ITIV)（信息处理技术研究所）
激光雷达传感器通常用于移动机器人和自动驾驶汽车，以补充摄像头，雷达和超声波传感器的环境感知。通常，感知算法被训练为仅检测移动和静态对象以及地面估计，但故意忽略天气影响以减少错误检测。在这项工作中，我们提出了在恶劣的天气条件下，即大雨和浓雾的汽车激光雷达性能的深入分析。记录了各种雾和雨条件下的大量数据集，这是在不断变化的环境条件下对点云进行深入分析的基础。此外，我们介绍了一种新的方法来检测和分类的雨或雾与激光雷达传感器，并实现了平均工会超过97.14%的交叉点的数据集在受控环境中。分析天气对激光雷达传感器性能的影响以及天气检测是提高恶劣天气条件下自动驾驶安全水平的重要步骤，可以提供可靠的信息来调整车辆行为。
2019-06-18 cs.CV
Sensor Visibility Estimation: Metrics and Methods for Systematic Performance Evaluation and Improvement
Robert Bosch GmbH（罗伯特·博世有限公司）；Bosch (China) Investment Co. Ltd.（博世（中国）投资有限公司）
传感器可见性对于汽车、机器人、智能基础设施等安全关键型应用至关重要：除了目标检测和占用映射之外，可见性还描述了传感器可能测量或处于盲区的位置。这些知识可以增强功能安全性和感知算法或优化传感器拓扑结构。尽管其重要性，据我们所知，既不存在可见性的共同定义，也不存在性能指标。我们缩小了这一差距，并提供了一个定义的可见性，从一个用例审查。我们引入度量和框架来评估可见性估计器的性能。我们的指标通过来自基础设施雷达和摄像头的标记真实世界和模拟数据进行验证：该框架可以轻松识别对安全至关重要的虚假可见或虚假不可见估计。应用我们的度量，我们通过对传感器和物体的3D高程进行建模来增强雷达和摄像机的可见性估计。这种改进在可信性和安全性方面优于传统的平面2D方法。
2022-11-11 cs.CV cs.RO
ALSO: Automotive Lidar Self-supervision by Occupancy estimation
LIGM（巴黎东部马恩拉瓦雷大学信息与数学实验室）；Ecole des Ponts（巴黎桥路学院）；Univ Gustave Eiffel（古斯塔夫·埃菲尔大学）；CNRS（法国国家科学研究中心）；IRISA（法国国家信息与自动化研究所雷恩分院）；Univ. Bretagne Sud（南布列塔尼大学）
提出一种基于表面重建的激光雷达点云自监督预训练方法，通过单流管道在有限资源下学习有效特征表示，在语义分割和目标检测任务上优于现有方法。
2023-04-04 cs.CV cs.LG
Characterisation of CMOS Image Sensor Performance in Low Light Automotive Applications
Institute of Technology Sligo（斯莱戈理工学院）；Waterford Institute of Technology（沃特福德理工学院）
随着汽车制造商努力为客户提供360度保护，汽车摄像头在高级驾驶辅助系统（ADAS）中的应用正在迅速增长。视觉系统必须在白天和夜间都能捕捉到高质量的图像，以便生成车道偏离、行人检测和碰撞检测等应用中软件分析所需的大量信息内容。在弱光场景中生成高质量图像的挑战是信噪比大大降低。这可能导致噪声成为捕获图像中的主导因素，从而使这些安全系统在夜间不太有效。本文概述了一种系统的方法，用于表征最先进的图像传感器的性能，以响应噪声，从而提高汽车摄像头在低光场景下的设计和性能。本文概述的实验演示了如何使用这种方法来验证CMOS图像传感器对电源线上的电噪声的响应性能。
2020-11-24 cs.CV eess.IV
Simultaneous Clutter Detection and Semantic Segmentation of Moving Objects for Automotive Radar Data
Ulm University（乌尔姆大学）；BMW AG（宝马集团）
本文提出一种联合模型，通过增强多头架构和单一输出值表示，同时实现雷达数据的杂波检测与移动目标语义分割，在RadarScenes数据集上超越现有网络。
2023-11-14 cs.CV cs.LG eess.SP
Predicting the Influence of Adverse Weather on Pedestrian Detection with Automotive Radar and Lidar Sensors
Technische Hochschule Ingolstadt（英戈尔施塔特应用科学大学）；Royal Melbourne Institute of Technology（皇家墨尔本理工大学）；Eindhoven University of Technology（埃因霍温理工大学）
本文通过受控雨雾环境测量行人检测数据，并提出 Weather Filter 模型，结合经验数据修正物理基线，以低成本预测天气对指定雷达和激光雷达检测性能的影响。
2024-05-21 cs.CV
Radar-based Automotive Localization using Landmarks in a Multimodal Sensor Graph-based Approach
MAN Truck & Bus SE（曼恩卡车与客车公司）；Volkswagen AG（大众汽车公司）
目前，高度自动化的驾驶功能通常依赖于来自地图的先验知识，以便在城市等复杂场景中进行规划和预测。这使得地图相对本地化成为一项基本技能。在本文中，我们解决了汽车级雷达的定位问题，使用基于实时图形的SLAM方法。该系统使用地标和里程信息作为抽象层。这样一来，除了雷达之外，包括相机和激光雷达在内的各种不同的传感器形式都可以做出贡献。所有传感器都使用和维护一个单一的语义地标地图。我们使用C++实现了我们的方法，并在我们的测试车辆（包括汽车和卡车）上获得的数据上进行了彻底的测试。测试场景包括市中心和工业区，如集装箱码头。本文提出的实验表明，该方法是能够提供一个精确和稳定的结构化环境中的姿态，仅使用雷达数据。来自相机或激光雷达的额外传感器信息的融合进一步提高了性能，为自动化地图提供了所需的可靠语义信息。
2021-04-29 cs.CV cs.RO
Complex Signal Denoising and Interference Mitigation for Automotive Radar Using Convolutional Neural Networks
Graz University of Technology（格拉茨技术大学）；Infineon Technologies Austria AG（英飞凌科技奥地利股份公司）
驾驶员辅助系统以及自动驾驶汽车必须依赖传感器来感知其环境。一组异构的传感器被用来执行这项任务鲁棒。其中，雷达传感器是必不可少的，因为它们的距离分辨率和直接测量速度的可能性。由于越来越多的雷达传感器部署在街道上，必须处理相互干扰。在迄今为止未受管制的汽车雷达频段中，传感器必须能够检测或甚至减轻干扰的有害影响，其包括降低的检测灵敏度。在本文中，我们使用卷积神经网络（CNN）来解决这个问题，CNN是最先进的机器学习工具。我们证明了CNN在数据中找到结构化信息的能力，同时保留局部信息，从而实现了卓越的去噪性能。为了实现这一点，使用模拟数据进行训练来找到CNN参数，并将其集成到汽车雷达信号处理链中。所提出的方法进行了比较，与最先进的，突出其有前途的性能。因此，CNN可以用于干扰减轻，作为传统信号处理方法的替代。代码和预训练模型可在https://github.com/johanna-rock/imRICnn上获得。
2019-06-25 cs.CV eess.SP
Physically-Based Simulation of Automotive LiDAR
Vision and Fusion Laboratory (IES), Karlsruhe Institute of Technology (KIT)（视觉融合实验室（IES）、卡尔斯鲁厄理工学院（KIT））
本文提出了一种基于物理的Li DAR仿真模型，用于模拟汽车时间飞行Li DAR的性能，通过实验室测量确定参数并测试了两种实际系统。
2025-12-05 cs.CV cs.RO
CARRADA Dataset: Camera and Automotive Radar with Range-Angle-Doppler Annotations
Télécom Paris, Institut Polytechnique de Paris（巴黎理工学院电信巴黎）
高质量的感知对于自动驾驶（AD）系统至关重要。为了达到这些系统所需的精度和鲁棒性，必须组合几种类型的传感器。目前，大多数相机和激光扫描仪（激光雷达）被部署来构建车辆周围世界的表示。虽然雷达传感器已在汽车行业中使用了很长时间，但尽管它们具有吸引人的特性（特别是它们能够测量障碍物的相对速度并即使在恶劣天气条件下也能工作），但它们在AD中的使用仍然不足。在很大程度上，这种情况是由于相对缺乏具有原始和注释的真实雷达信号的汽车数据集。在这项工作中，我们介绍了CARRADA，一个数据集的同步相机和雷达记录与距离角多普勒注释。我们还提出了一个半自动的注释方法，这是用来注释的数据集，和雷达语义分割基线，我们评估的几个指标。我们的代码和数据集都可以在线获得。
2021-05-26 cs.CV
Automated Automotive Radar Calibration With Intelligent Vehicles
Ulm University（乌尔姆大学）；Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）
针对车载雷达在车辆外应用需精确标定且耗时的问题，提出利用自动驾驶车辆位置数据与过滤传感器数据结合，通过假设过滤和优化实现自动化地理参考外部标定，经实测验证可正确标定基础设施传感器。
2023-06-23 cs.CV cs.RO
A Feature-based Approach for the Recognition of Image Quality Degradation in Automotive Applications
b-plus technologies GmbH（b-plus技术有限公司）
摄像头在现代驾驶辅助系统中发挥着至关重要的作用，是自动驾驶传感器技术的重要组成部分。车载摄像机采集的图像质量对视觉感知系统的性能有很大影响。本文提出了一种基于特征的算法来检测某些影响，可以降低图像质量的汽车应用。该算法是基于智能选择的重要功能。由于特征数量较少，即使在小数据集上，该算法也表现良好。不同数据集的实验结果表明，该算法可以检测出附着在相机镜头上的污垢，并对不同类型的图像退化进行分类。
2023-03-13 cs.CV
Impact of Power Supply Noise on Image Sensor Performance in Automotive Applications
视觉系统正迅速成为主动汽车安全系统的重要组成部分。为了在关键的安全应用中发挥作用，这些系统必须在白天和夜间都能生成高质量的图像，以便为车道偏离、行人检测和碰撞检测等应用中的软件分析提供所需的大量信息内容。在低光场景中捕获高质量图像的挑战是信噪比大大降低，这可能导致噪声成为捕获图像中的主导因素，从而使这些安全系统在夜间不太有效。已经进行了研究以开发响应于电噪声表征图像传感器性能的系统方法，以便改进低光场景中的汽车摄像机的设计和性能。图像行噪声的根本原因已经建立和数学算法确定行噪声的大小在图像中已经设计出来。已经开发了一种自动表征方法，以允许响应于图像传感器电源上的电噪声的大频谱的性能表征。从研究成果中也提出了各种改善低光应用的图像传感器性能的策略。
2020-11-24 cs.AR cs.CV cs.RO
Ego-Motion Estimation and Dynamic Motion Separation from 3D Point Clouds for Accumulating Data and Improving 3D Object Detection
TU Dortmund（多特蒙德工业大学）；ZF Group（采埃孚集团）
本研究针对高分辨率雷达点云稀疏问题，通过自运动估计和动态运动校正累积点云，在View-of-Delft数据集上验证了该方法能提升三维目标检测性能。
2023-08-29 cs.AI cs.CV cs.RO
Off-the-shelf sensor vs. experimental radar -- How much resolution is necessary in automotive radar classification?
Mercedes-Benz AG（梅赛德斯-奔驰股份公司）；University of Kassel（卡塞尔大学）
基于雷达的道路用户检测是自动驾驶应用背景下的一个重要课题。传统汽车雷达传感器的分辨率导致稀疏的数据表示，这在随后的信号处理期间难以细化。另一方面，新一代传感器正在等待其在这一具有挑战性的领域中的应用。在这篇文章中，两个传感器的不同的雷达代相互评估。评价标准是运动道路用户目标检测和分类任务的性能。为此，两个数据集来自现成的雷达和高分辨率的下一代雷达进行了比较。特别关注如何组装这两个数据集以使它们具有可比性。所利用的对象检测器由聚类算法、特征提取模块和用于分类的递归神经网络集成组成。在评估中，对所有组成部分都进行了单独评估，并首次作为一个整体进行评估。这允许指示总体性能改进在管道中的起源。此外，这两个数据集的泛化能力进行了评估，并讨论了汽车雷达目标检测的重要比较指标。结果显示了下一代雷达的明显优势。有趣的是，这些好处实际上并不是因为分类阶段的性能更好，而是因为聚类阶段的巨大改进。
2020-06-09 cs.CV cs.LG eess.SP
Using Machine Learning to Detect Ghost Images in Automotive Radar
Mercedes-Benz AG（梅赛德斯-奔驰股份公司）；Ulm University（乌尔姆大学）
雷达传感器是驾驶员辅助系统和智能车辆的重要组成部分，因为它们对各种不利条件具有鲁棒性，例如，雾，雪，雨，甚至阳光直射。这种鲁棒性是通过与基于光的传感器（例如相机或激光雷达）相比大得多的波长来实现的。作为副作用，许多表面在此波长下表现得像镜子，导致不必要的重影检测。在本文中，我们提出了一种通过应用数据驱动的机器学习算法来检测这些幽灵对象的新方法。为此，我们使用了一个大规模的汽车数据集与注释鬼对象。我们表明，我们可以使用一个国家的最先进的汽车雷达分类器，以检测幽灵物体旁边的真实物体。此外，我们能够减少在某些设置中由重影图像引起的误报检测量。
2020-07-10 cs.CV cs.LG
Estimating the Magnitude and Phase of Automotive Radar Signals under Multiple Interference Sources with Fully Convolutional Networks
University Politehnica of Bucharest（布加勒斯特理工大学）；University of Bucharest（布加勒斯特大学）
雷达传感器正逐渐成为道路车辆广泛使用的设备，在自动驾驶和道路安全方面发挥着至关重要的作用。雷达传感器的广泛采用增加了来自不同车辆的传感器之间相互干扰的机会，产生了损坏的距离剖面图和距离-多普勒图。为了从距离-多普勒图中提取多个目标的距离和速度，需要消除影响各目标距离像的干扰。在本文中，我们提出了一种用于汽车雷达干扰缓解的全卷积神经网络。为了在真实世界的场景中训练我们的网络，我们引入了一个新的数据集的现实汽车雷达信号与多个目标和多个发射器。据我们所知，我们是第一个在汽车雷达领域应用权重修剪的人，与广泛使用的dropout相比，我们获得了更好的结果。虽然之前的大多数工作都成功地估计了汽车雷达信号的幅度，但我们提出了一个可以准确估计相位的深度学习模型。例如，我们的新方法将相位估计误差相对于通常采用的调零技术减少了一半，从12.55度到6.58度。考虑到汽车雷达干扰缓解数据库的缺乏，我们将我们的大规模数据集作为开源发布，该数据集密切复制了多个干扰情况下的真实汽车场景，允许其他人客观地比较他们在该领域的未来工作。我们的数据集可在http://github.com/ristea/arim-v2下载。
2021-11-06 cs.CV cs.LG eess.SP
Guided Model-based LiDAR Super-Resolution for Resource-Efficient Automotive scene Segmentation
Industrial Systems Institute, Athena Research Center, Patras Science Park, Greece（工业系统研究所，亚特兰蒂斯研究中心，帕特拉科学公园，希腊）；AviSense.AI, Patras Science Park, Greece（AviSense.AI，帕特拉科学公园，希腊）
针对自动驾驶中高分辨率LiDAR成本高、低成本低分辨率LiDAR分割精度低的问题，提出首个联合LiDAR超分辨率与语义分割的端到端轻量级框架，通过联合优化、新型损失函数实现与64通道高成本LiDAR相当的分割效果。
2025-09-01 cs.CV
The Radar Ghost Dataset -- An Evaluation of Ghost Objects in Automotive Radar Data
Mercedes-Benz AG（梅赛德斯-奔驰股份公司）；Ulm University（乌尔姆大学）
本文针对汽车雷达中由多路径反射引起的鬼影目标问题，提出了一个带详细人工标注的Radar Ghost数据集，并评估了两种鬼影识别方法，以促进多路径目标抑制与利用研究。
2024-04-01 cs.CV
Increasing the Diversity in RGB-to-Thermal Image Translation for Automotive Applications
imec；imec-IPI-Ghent University（IMEC-IPI-根特大学）
针对汽车 RGB 到热成像转换缺乏多样性的问题，提出基于 CoAdaIN 的多模态一对多框架，按图像组件自适应风格，生成更真实多样的热图像。
2025-09-27 cs.CV
Depth on Demand: Streaming Dense Depth from a Low Frame Rate Active Sensor
University of Bologna（博洛尼亚大学）；Sony Depthsensing Solutions（索尼深度感知解决方案公司）
针对主动深度传感器帧率低、能耗高、空间稀疏的问题，提出Depth on Demand框架，结合高帧率RGB与低帧率稀疏主动深度传感器，经多模态编码等三阶段实现稠密深度估计，降低能耗并在多场景验证有效。
2024-09-12 cs.CV
Automotive Elevation Mapping with Interferometric Synthetic Aperture Radar
University of California, Berkeley（加州大学伯克利分校）；Zendar Inc.（曾达公司）
针对车载雷达波达方向分析受分辨率和灵敏度限制的问题，提出将InSAR与自动驾驶定制信号处理结合的低计算量方法，可实现低分辨率雷达阵列的三维目标定位与环境精细测绘，支撑自主感知决策。
2025-01-14 cs.CV eess.IV eess.SP
Driver2vec: Driver Identification from Automotive Data
Stanford University（斯坦福大学）；Nervtech
随着对隐私保护的日益关注，在不使用生物特征标识符的情况下识别车辆操作者的替代方法已经获得了汽车数据分析的牵引力。现代车辆上安装的各种传感器可以实现自动驾驶，减少事故并改善车辆操控性。另一方面，这些传感器收集的数据反映了驾驶员的习惯。驾驶员对转向指示器、跟随距离、加速度等的使用可以被转换为代表他们的行为和身份的嵌入。在本文中，我们开发了一个深度学习架构（Driver2vec），将驾驶数据的短间隔映射到代表驾驶员行为的嵌入空间中，以帮助识别驾驶员。我们开发了一个自定义模型，该模型利用了时间卷积网络的性能增益、三元组丢失的嵌入分离能力和梯度提升决策树的分类精度。在Nervtech提供的51名驾驶员的数据集上进行训练后，Driver2vec能够从短短10秒的传感器数据间隔中准确识别驾驶员，在这10秒的间隔中实现了83.1%的平均成对驾驶员识别准确率，这明显高于之前研究中获得的性能。然后，我们分析了Driver2vec的性能，以表明其性能在各种场景中是一致的，并且建模选择是合理的。
2021-02-10 cs.CV cs.LG
Exploiting Temporal Relations on Radar Perception for Autonomous Driving
Brandeis University（布兰迪斯大学）；Mitsubishi Electric Research Laboratories（三菱电机研究实验室）
我们考虑使用汽车雷达传感器的自动驾驶中的物体识别问题。与激光雷达传感器相比，雷达在全天候条件下具有成本效益和鲁棒性，可用于自动驾驶的感知。然而，雷达信号在识别周围物体时受到低角分辨率和精度的影响。为了提高汽车雷达的能力，在这项工作中，我们利用时间信息连续自我为中心的鸟瞰雷达图像帧的雷达目标识别。我们利用对象存在和属性（大小，方向等）的一致性，并提出了一个时间关系层，以显式地模拟连续雷达图像内的对象之间的关系。在目标检测和多目标跟踪中，我们显示了我们的方法相比，几个基线方法的优越性。
2022-04-03 cs.CV
Understanding Cross-Rig Generalization in Automotive Perception: a Multi-Rig Benchmark and Rig Variation Metrics
Dept. of Highly Automated and Assisted Driving, Dr. Ing. h.c. F. Porsche AG（保时捷股份公司高度自动化与辅助驾驶部门）；Institute for Information Processing Technologies, Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院信息处理技术研究所）；Faculty of Mobility and Technology, Esslingen University of Applied Sciences（埃斯林根应用科学大学移动性与技术学院）
针对自动驾驶感知中传感器配置变化导致的领域差距，构建了包含14种系统化相机配置的基准，提出两种基于标定的配置描述符（配置方差和配置对比距离），实验证明几何配置差异与性能变化强相关。
2026-06-29 cs.CV
Accurate Alignment Inspection System for Low-resolution Automotive and Mobility LiDAR
Handong Global University（韩东国际大学）；Virginia Tech（弗吉尼亚理工大学）
低至几度的LiDAR未对准可能会导致障碍物检测和测绘中的重大错误，从而可能导致安全和质量问题。在本文中，提出了一种精确的检查系统，用于估计在诸如车辆或机器人的移动系统上的传感器附着后的LiDAR对准误差。该方法仅使用固定位置处的单个目标板来估计LiDAR附件的三个方向（滚动、倾斜和偏航）和水平位置，具有亚度和毫米级精度。在所提出的预处理步骤之后，提取最接近每个目标拐角的特征光束点，并使用非线性优化方法以低计算成本来计算相对于目标板框架的传感器附着姿态。所提出的方法的性能进行评估，使用一个测试台，可以控制参考偏航和水平平移的激光雷达范围内的3度和30毫米，分别。低分辨率的16通道激光雷达（Velodyne VLP-16）的实验结果证实，可以估计与精度在0.2度和4毫米。所提出的系统的高精度和简单性，使其实用的大规模工业应用，如汽车或机器人制造过程中，检查传感器附件的安全质量控制。
2020-08-24 cs.CV eess.IV
Resource-efficient Deep Neural Networks for Automotive Radar Interference Mitigation
Graz University of Technology（格拉茨理工大学）；Infineon Technologies Austria AG（英飞凌科技奥地利股份公司）
雷达传感器对于驾驶员辅助系统和自动驾驶汽车的环境感知至关重要。随着雷达传感器数量的不断增加和汽车雷达频段的不规范，相互干扰是不可避免的，必须加以处理。在雷达数据上运行的算法和模型需要在专用雷达传感器硬件上运行早期处理步骤。这种专用硬件通常具有严格的资源约束，即低存储器容量和低计算能力。基于卷积神经网络（CNN）的去噪和干扰抑制方法在性能方面为雷达处理带来了有希望的结果。然而，关于资源限制，CNN通常远远超过硬件的能力。在本文中，我们研究基于CNN的去噪和雷达信号的干扰减轻量化技术。我们分析了（i）权重和（ii）不同基于CNN的模型架构的激活的量化。这种量化导致模型存储和推理过程中的内存需求减少。我们比较了具有固定和学习位宽的模型，并对比了两种不同的训练量化CNN的方法，即直通梯度估计器和离散权重上的训练分布。我们说明了结构上小的实值基础模型的量化的重要性，并表明，学习位宽产生最小的模型。与实值基线相比，我们实现了约80%的内存减少。然而，由于实际原因，我们建议使用8位的权重和激活，这导致模型只需要0.2 MB的内存。
2022-01-25 cs.CV eess.SP
SoilingNet: Soiling Detection on Automotive Surround-View Cameras
Valeo R&D Prague（法雷奥布拉格研发中心）；Valeo Visions Systems（法雷奥视觉系统）
摄像头是自动驾驶传感器套件的重要组成部分。全景摄像机直接暴露在外部环境中，容易受到污染。与其他传感器相比，相机因污染而导致的性能下降要高得多。因此，准确检测摄像头上的脏污至关重要，特别是对于更高级别的自动驾驶。我们创建了一个新的数据集，它具有多种类型的污垢，即不透明和透明。它将作为我们的WoodScape数据集\cite{yogamani2019woodscape}的一部分公开发布，以鼓励进一步的研究。我们使用卷积神经网络（CNN）为基础的架构表现出高精度。我们还表明，它可以结合现有的目标检测任务中的多任务学习框架。最后，我们利用生成对抗网络（GANs）来生成更多的图像用于数据增强，并表明它的工作原理类似于风格传输。
2019-07-17 cs.AI cs.CV cs.LG
RADIATE: A Radar Dataset for Automotive Perception in Bad Weather
Institute of Sensors, Signals and Systems, Heriot-Watt University（赫瑞-瓦特大学传感器、信号与系统研究所）
自动驾驶汽车的数据集对于感知系统的开发和基准测试至关重要。然而，大多数现有的数据集都是在良好的天气条件下使用相机和LiDAR传感器捕获的。在本文中，我们提出了雷达数据集在不利的天气（辐射），旨在促进研究的目标检测，跟踪和场景理解使用雷达传感安全自动驾驶。辐射包括3小时的带注释的雷达图像，总共有超过200K的标记道路演员，平均每个雷达图像约4.6个实例。它涵盖了在各种天气条件下的8种不同类别的行为者（例如，太阳、夜晚、雨、雾和雪）和驾驶场景（例如，停车场、城市、高速公路和郊区），代表不同的挑战水平。据我们所知，这是第一个公共雷达数据集，它提供了公共道路上的高分辨率雷达图像，并标记了大量的道路参与者。在恶劣天气下收集的数据，例如，雾和降雪，是独一无二的。给出了基于雷达的目标检测和识别的一些基线结果，以表明雷达数据的使用在恶劣天气下的汽车应用中是有希望的，在恶劣天气下，视觉和激光雷达可能会失败。辐射还具有立体图像，32通道激光雷达和GPS数据，针对其他应用，如传感器融合，定位和测绘。公共数据集可以在http://pro.hw.ac.uk/radiate/上访问。
2021-04-05 cs.CV cs.RO
OmniVLA: Physically-Grounded Multimodal VLA with Unified Multi-Sensor Perception for Robotic Manipulation
Princeton University（普林斯顿大学）；University of California, Los Angeles（加州大学洛杉矶分校）；Microsoft Research Asia（微软亚洲研究院）
OmniVLA通过整合多种传感器模态，提升机器人操作的感知能力与任务成功率。
2026-03-02 cs.CV cs.RO
RadarGen: Automotive Radar Point Cloud Generation from Cameras
Technion（技术学院）；MIT（麻省理工学院）；NVIDIA（英伟达）；University of Toronto（多伦多大学）；Vector Institute（向量研究所）
RadarGen通过扩散模型从摄像头图像生成逼真的雷达点云，结合BEV对齐的深度、语义和运动线索，提升雷达生成的物理合理性与多模态模拟能力。
2026-08-14 cs.AI cs.CV cs.LG
Hyperspectral Sensors and Autonomous Driving: Technologies, Limitations, and Opportunities
School of Engineering, University of Galway（Galway大学工程学院）；Ryan Institute, University of Galway（Galway大学Ryan学院）；Valeo Vision Systems（Valeo视觉系统）
本文综述了高光谱成像在自动驾驶中的技术、限制与机遇，分析了现有设备性能及数据集的局限性，指出其在实际应用中的挑战与发展方向。
2025-08-27 cs.CV cs.ET
DSCnet: Replicating Lidar Point Clouds with Deep Sensor Cloning
DeepScale, Inc.（DeepScale公司）
卷积神经网络（CNN）在解决从图像分类到图像分割的各种计算机视觉任务方面变得越来越流行。最近，自动驾驶车辆产生了对深度信息的需求，深度信息通常使用诸如光检测和测距（LIDAR）的硬件传感器来获得。虽然它可以提供精确的距离测量，但大多数激光雷达仍然太贵，无法在大规模生产的消费者车辆中销售，这促使人们从相机等商品汽车传感器中生成深度信息。在本文中，我们提出了一种称为深度传感器克隆（DSC）的方法。这个想法是使用卷积神经网络结合廉价的传感器来复制由昂贵的激光雷达创建的3D点云。为了实现这一点，我们开发了一个新的数据集（DSDepth）和一个新的CNN架构（DSCnets）家族。虽然之前的任务（如KITTI深度预测）使用插值的RGB-D图像作为训练的地面实况，但我们使用DSCnets直接预测LIDAR点云。当我们将我们的模型的输出与75，000美元的LIDAR进行比较时，我们发现我们最准确的DSCnet使用单个相机实现了5.77%的相对误差，使用立体相机实现了4.69%的相对误差。
2018-11-27 cs.CV
Beyond Calibration: Physically Informed Learning for Raw-to-Raw Mapping
Huawei Research（华为研究）
针对多相机色彩还原一致性难题，提出轻量级物理信息方法神经物理模型（NPM），可模拟光照下raw图像估计设备转换，适配光照变化、支持物理初始化及有无配对数据训练，在公开数据集上性能优于现有先进方法。
2025-06-11 cs.CV
MonoComb: A Sparse-to-Dense Combination Approach for Monocular Scene Flow
German Research Center for Artificial Intelligence – DFKI（德国人工智能研究中心–DFKI）；BMW Group（宝马集团）
与汽车应用中使用更多样化和更多传感器的持续趋势相反，这项工作试图解决单目相机设置下的复杂场景流问题，即使用单个传感器。为此，我们利用最新的成果，在单一图像的深度估计，光流，稀疏到密集的插值，并提出了一个单目组合的方法（MonoComb）来计算密集的场景流。MonoComb使用光流将重建的3D位置与时间相关，并对遮挡区域进行插值。通过这种方式，现有的单目方法在动态前景区域中表现出色，这导致了在具有挑战性的KITTI 2015场景流基准测试中竞争对手中的第二好结果。
2020-11-12 cs.CV
Warping of Radar Data into Camera Image for Cross-Modal Supervision in Automotive Applications
HELLA GmbH & Co. KGaA（海拉有限两合公司）；Paderborn University（帕德博恩大学）
我们提出了一种方法来自动生成语义标签的汽车距离多普勒（RD）雷达光谱的真实记录。当训练神经网络用于从雷达数据识别物体时，需要这样的标签。自动标记的方法依赖于相机和激光雷达数据的同时记录，除了雷达频谱。通过将雷达光谱扭曲到相机图像中，可以应用最先进的对象识别算法来标记相机图像中的相关对象，例如汽车。扭曲操作被设计为完全可微分的，这允许通过扭曲操作将在相机图像上计算的梯度反向传播到对雷达数据进行操作的神经网络。由于变形操作依赖于准确的场景流估计，我们进一步提出了一种新的场景流估计算法，利用相机，激光雷达和雷达传感器的信息。所提出的场景流估计方法相比，对国家的最先进的场景流算法，它优于它约30%的w.r.t.平均误差RD谱的自动标签生成的整体框架的可行性进行了验证，通过评估的神经网络的性能训练与建议的框架到达方向估计。
2022-06-20 cs.AI cs.CV eess.SP
Self-Supervised Scene Flow Estimation with 4-D Automotive Radar
University of Edinburgh（爱丁堡大学）；SAIC Motor Technical Center（上汽集团技术中心）
场景流允许自动驾驶车辆推理多个独立物体的任意运动，这是长期移动自主的关键。虽然最近从LiDAR估计场景流已经取得了进展，但如何从4-D雷达估计场景流仍然是一个未知数-这是一种越来越受欢迎的汽车传感器，其对恶劣天气和照明条件的鲁棒性。与LiDAR点云相比，雷达数据非常稀疏，噪音更大，分辨率更低。雷达场景流的注释数据集也不存在，并且在现实世界中获取成本很高。这些因素共同提出了雷达场景流量估计作为一个具有挑战性的问题。本文的工作旨在解决上述挑战，并通过利用自监督学习从4-D雷达点云估计场景流。设计了一种鲁棒的场景流估计结构和三种新的损失估计方法来处理难处理的雷达数据。实验结果表明，该方法能够鲁棒地估计出雷达场景中的场景流，并有效地支持后续的运动分割任务。
2022-07-02 cs.CV cs.RO
Radar Spectra-Language Model for Automotive Scene Parsing
Bosch Center for Artificial Intelligence（博世人工智能中心）
针对原始雷达频谱信息丰富但难解释、数据稀缺的问题，本文构建雷达频谱-语言模型，通过对齐视觉-语言模型嵌入空间实现文本查询，并提升场景检索、自由空间分割和目标检测性能。
2024-08-08 cs.CV cs.LG
ReaLiTy and LADS: A Unified Framework and Dataset Suite for LiDAR Adaptation Across Sensors and Adverse Weather Conditions
Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）；University of New Brunswick（新不伦瑞克大学）；Texas A&M University（德克萨斯农工大学）
本文提出ReaLiTy框架和LADS数据集，通过物理一致的方法提升LiDAR在不同传感器和天气条件下的适应性，实验显示了跨域一致性和真实天气效果的改进。
2026-04-11 cs.CV cs.RO
Raw High-Definition Radar for Multi-Task Learning
Télécom Paris（巴黎电信学院）；Valeo North America Inc.（法雷奥北美公司）
凭借其对恶劣天气条件的鲁棒性和测量速度的能力，雷达传感器已经成为汽车领域的一部分超过二十年。最近的进展，对高清晰度（HD）成像雷达驱动的角度分辨率低于度，从而接近激光扫描性能。然而，高清雷达提供的数据量和估计角位置的计算成本仍然是一个挑战。在本文中，我们提出了一种新的高清雷达传感模型，FFT-RadNet，它消除了计算距离-方位-多普勒3D张量的开销，而是学习从距离-多普勒频谱中恢复角度。FFT-RadNet经过训练，可以检测车辆并分割自由驾驶空间。在这两项任务上，它都与最新的基于雷达的模型竞争，同时需要更少的计算和内存。此外，我们还从各种环境（城市街道、高速公路、乡村道路）中的同步汽车级传感器（摄像头、激光、高清雷达）收集并注释了2小时的原始数据。这个独特的数据集，昵称为“雷达，激光雷达等。“，可在https://github.com/valeoai/RADIal上获得。
2022-04-13 cs.CV eess.IV
CR3DT: Camera-RADAR Fusion for 3D Detection and Tracking
ETH Zurich（苏黎世联邦理工学院）
本文提出相机-RADAR融合模型CR3DT，基于BEVDet引入RADAR空间与速度信息，在nuScenes上显著提升3D检测和MOT性能。
2024-08-06 cs.AI cs.CV
ControlTac: Scaling Tactile Data with Physically Controlled Tactile Image Generation
University of Maryland, College Park（马里兰大学学院 Park）
针对触觉数据采集成本高的问题，提出ControlTac两阶段可控生成框架，以物理先验为条件生成真实触觉图像，在多个下游任务中提升性能。
2026-09-09 cs.CV cs.LG cs.RO
Physically Based Neural LiDAR Resimulation
本文提出基于物理的神经LiDAR重仿真方法，通过显式建模卷帘快门、激光功率变化和强度衰减等传感器特性，实现比现有方法更准确的LiDAR仿真，并支持相机视角高分辨率扫描生成。
2025-07-15 cs.CV cs.GR cs.RO
