DeepHybrid: Deep Learning on Automotive Radar Spectra and Reflections for Object Classification
Bosch Center for Artificial Intelligence（博世人工智能中心）；Bosch Engineering GmbH（博世工程有限公司）；Robert Bosch GmbH（罗伯特·博世有限公司）
自动驾驶汽车需要准确地检测和分类物体和交通参与者。使用汽车雷达传感器进行可靠的物体分类已被证明是具有挑战性的。我们提出了一种结合经典雷达信号处理和深度学习算法的方法。雷达反射水平上的距离-方位信息用于从距离-多普勒频谱中提取感兴趣的稀疏区域。这被用作神经网络（NN）的输入，该网络对不同类型的静止和移动对象进行分类。我们提出了一种混合模型（DeepHybrid），它接收雷达光谱和反射属性作为输入，例如雷达截面。实验表明，与仅使用光谱的模型相比，这提高了分类性能。此外，神经结构搜索（NAS）算法被应用于找到一个资源有效和高性能的神经网络。NAS产生一个几乎一个数量级小于人工设计的NN，同时保持精度。所提出的方法可以用于例如改进自动紧急制动或防撞系统。
2022-02-17 cs.LG stat.ML
Redefining Automotive Radar Imaging: A Domain-Informed 1D Deep Learning Approach for High-Resolution and Efficient Performance
The University of Alabama（阿拉巴马大学）；Delft University of Technology（代尔夫特理工大学）；Mathworks, Inc（Mathworks公司）；University of Florida（佛罗里达大学）
本文将汽车雷达超分辨率重构为一维信号谱估计问题，提出结合归一化与SNR引导损失的SR-SPECNet，在多种配置下高效实现更优高分辨率距离-方位成像。
2024-06-11 cs.LG eess.SP
RadarGen: Automotive Radar Point Cloud Generation from Cameras
Technion（技术学院）；MIT（麻省理工学院）；NVIDIA（英伟达）；University of Toronto（多伦多大学）；Vector Institute（向量研究所）
RadarGen通过扩散模型从摄像头图像生成逼真的雷达点云，结合BEV对齐的深度、语义和运动线索，提升雷达生成的物理合理性与多模态模拟能力。
2026-08-14 cs.AI cs.CV cs.LG
ERASE-Net: Efficient Segmentation Networks for Automotive Radar Signals
New York University（纽约大学）；NXP Semiconductors（恩智浦半导体）
在用于辅助和自动驾驶系统的各种传感器中，汽车雷达被认为是一种强大且低成本的解决方案，即使在恶劣的天气或照明条件下也是如此。随着雷达技术和开源标注数据集的发展，雷达信号的语义分割变得非常有前途。然而，现有的方法要么计算昂贵，要么通过平均将原始3D雷达信号减少到2D平面来丢弃大量有价值的信息。在这项工作中，我们介绍了ERASE网络，一个有效的雷达分割网络分割的原始雷达信号的语义。我们的方法的核心是新的检测，然后段方法的原始雷达信号。该方法首先检测出目标的中心点，然后提取出一个紧凑的雷达信号表示，最后进行语义分割。我们表明，我们的方法可以实现优越的性能雷达语义分割任务相比，国家的最先进的（SOTA）技术。此外，我们的方法需要少20倍的计算资源。最后，我们表明，所提出的ERASE网络可以压缩40%，而不会显着损失性能，显着超过SOTA网络，这使其成为一个更有前途的候选人，为实际的汽车应用。
2023-02-24 cs.CV cs.LG cs.RO
DeepReflecs: Deep Learning for Automotive Object Classification with Radar Reflections
Robert Bosch GmbH（罗伯特·博世公司）
本文提出了一种适用于汽车应用的新型对象类型分类方法，该方法使用具有雷达反射的深度学习。该方法提供了诸如行人、骑自行车的人、汽车或非障碍物的对象类别信息。该方法通过对反射水平雷达数据使用轻量级深度学习方法，既强大又高效。它填补了手工特征的低性能方法与卷积神经网络的高性能方法之间的差距。该网络利用了雷达反射数据的特定特性：它处理任意长度的无序列表作为输入，并结合了局部和全局特征的提取。在真实数据的实验中，所提出的网络优于现有的手工制作或学习功能的方法。消融研究分析了拟议的全球上下文层的影响。
2020-10-19 cs.AI cs.CV cs.LG
Radar Spectra-Language Model for Automotive Scene Parsing
Bosch Center for Artificial Intelligence（博世人工智能中心）
针对原始雷达频谱信息丰富但难解释、数据稀缺的问题，本文构建雷达频谱-语言模型，通过对齐视觉-语言模型嵌入空间实现文本查询，并提升场景检索、自由空间分割和目标检测性能。
2024-08-08 cs.CV cs.LG
Off-the-shelf sensor vs. experimental radar -- How much resolution is necessary in automotive radar classification?
Mercedes-Benz AG（梅赛德斯-奔驰股份公司）；University of Kassel（卡塞尔大学）
基于雷达的道路用户检测是自动驾驶应用背景下的一个重要课题。传统汽车雷达传感器的分辨率导致稀疏的数据表示，这在随后的信号处理期间难以细化。另一方面，新一代传感器正在等待其在这一具有挑战性的领域中的应用。在这篇文章中，两个传感器的不同的雷达代相互评估。评价标准是运动道路用户目标检测和分类任务的性能。为此，两个数据集来自现成的雷达和高分辨率的下一代雷达进行了比较。特别关注如何组装这两个数据集以使它们具有可比性。所利用的对象检测器由聚类算法、特征提取模块和用于分类的递归神经网络集成组成。在评估中，对所有组成部分都进行了单独评估，并首次作为一个整体进行评估。这允许指示总体性能改进在管道中的起源。此外，这两个数据集的泛化能力进行了评估，并讨论了汽车雷达目标检测的重要比较指标。结果显示了下一代雷达的明显优势。有趣的是，这些好处实际上并不是因为分类阶段的性能更好，而是因为聚类阶段的巨大改进。
2020-06-09 cs.CV cs.LG eess.SP
Automotive Radar Interference Mitigation with Unfolded Robust PCA based on Residual Overcomplete Auto-Encoder Blocks
University Politehnica of Bucharest（布加勒斯特理工大学）；University of Bucharest（布加勒斯特大学）；Weizmann Institute of Science（魏茨曼科学研究所）
在自动驾驶中，雷达系统在检测道路上的其他车辆等目标方面发挥着重要作用。安装在不同汽车上的雷达会相互干扰，降低检测性能。用于汽车雷达干扰抑制的深度学习方法可以成功地估计目标的幅度，但无法恢复相应目标的相位。在本文中，我们提出了一种高效和有效的技术展开的鲁棒主成分分析（RPCA）的基础上，能够估计的振幅和相位的干扰存在。我们的贡献在于将残差过完备自动编码器（ROC-AE）块引入到展开RPCA的递归架构中，从而产生了一个更深入的模型，其性能显著优于展开RPCA以及其他深度学习模型。
2021-04-17 cs.CV cs.LG eess.SP
Angle-Equivariant Convolutional Neural Networks for Interference Mitigation in Automotive Radar
Graz University of Technology（格拉茨技术大学）；Infineon Technologies AG（英飞凌科技股份公司）
本文提出一种基于秩三卷积的全卷积神经网络，用于汽车FMCW雷达干扰抑制，通过角度等变设计在不同到达角之间迁移学习模式，在提升性能的同时减少可训练参数并增强鲁棒性。
2023-12-18 cs.LG eess.SP
Deep Radar Waveform Design for Efficient Automotive Radar Sensing
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
在雷达系统中，单模（或恒模）波形设计在实现更好的杂波/干扰抑制以及更准确地估计目标参数方面起着重要作用。在过去的几十年中，这种序列的设计已经被广泛研究，大多数设计算法需要复杂的环境参数的先验知识，这可能是难以获得的实时场景。在本文中，我们提出了一种新的混合模型驱动和数据驱动的架构，适应不断变化的环境，并允许自适应单模波形设计。特别是，该方法为开发部署在自动驾驶汽车中的雷达系统的极低成本波形设计和处理框架奠定了基础。所提出的基于模型的深度架构在其结构上模仿了众所周知的单模信号设计算法，并且可以使用观察到的数据从环境中快速推断统计信息。我们的数值实验描绘了使用所提出的方法在时变环境中有效的雷达波形设计的优势。
2019-12-19 cs.LG eess.SP stat.ML
End-to-End Training of Neural Networks for Automotive Radar Interference Mitigation
Graz University of Technology（格拉茨技术大学）；Infineon Technologies AG（英飞凌科技股份公司）
针对汽车FMCW雷达互干扰抑制问题，提出直接在目标检测图上训练神经网络的端到端方法，通过松弛CA-CFAR检测器构建训练目标，结合可分离卷积降参，在实测数据上检测性能大幅优于传统信号处理方法。
2023-12-15 cs.LG eess.SP
Automotive Radar Data Acquisition using Object Detection
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
日益增长的城市复杂性需要一种有效的算法来获取和处理来自自动驾驶车辆的各种传感器信息。在本文中，我们介绍了一种算法，利用图像的目标检测的结果，自适应采样和获取雷达数据，利用压缩感知（CS）。这种新算法的动机是假设，在有限的采样预算，分配更多的采样预算的对象，而不是一个统一的采样最终提高相关的目标检测性能的区域。我们通过动态分配较低的采样率的对象，如公共汽车比行人导致更好的重建比基线跨区域的对象感兴趣的检测性能。我们使用线性规划自动化的采样率分配，并显示显着的时间节省，同时减少了2倍的雷达块大小。我们还分析了二进制排列对角测量矩阵的雷达捕获，这是硬件有效的，并显示其性能类似于高斯和二进制排列块对角矩阵。我们在牛津雷达数据集上的实验表明，在10%的采样率下，我们可以有效地重建感兴趣的物体。最后，我们使用NuScenes雷达和图像数据开发了一个基于变换的2D目标检测网络。
2021-03-01 cs.CV cs.LG
Automated Ground Truth Estimation of Vulnerable Road Users in Automotive Radar Data Using GNSS
Daimler AG（戴姆勒股份公司）；University of Kassel（卡塞尔大学）
注释汽车雷达数据是一项艰巨的任务。本文介绍了一种自动获取数据标签的方法，它使用一个高精度和便携式全球导航卫星系统（GNSS）。建议的系统进行了讨论，除了其他标签采集技术和手动数据注释的问题描述的修订。文章最后系统地比较了传统的手工标记和自动数据采集。结果表明，所提出的方法没有相关的标签精度损失的明显优势。在测量的雷达数据中可以观察到微小的变化，但由此引入的GNSS参考偏差显然被无可争议的时间节省所抵消。除了数据注释之外，所提出的系统还可以提供用于验证对象跟踪或其他自动驾驶系统应用的真值。
2019-05-27 cs.LG eess.SP stat.ML
Automated Ground Truth Estimation For Automotive Radar Tracking Applications With Portable GNSS And IMU Devices
Daimler AG（戴姆勒股份公司）；University of Kassel（卡塞尔大学）
当使用真实世界的雷达数据时，跟踪应用的基线生成是一项困难的任务。数据稀疏性通常只允许一种间接的方式来估计原始轨迹，因为大多数对象的中心在数据中没有表示。本文提出了一种自动化的方式获取参考轨迹，通过使用一个高精度的手持全球导航卫星系统（GNSS）。嵌入式惯性测量单元（IMU）用于估计方向和运动行为。这篇文章有两个主要贡献。描述了一种用于将雷达数据与易受攻击的道路使用者（VRU）轨迹相关联的方法。它是评估如何准确的系统在不同的GNSS接收条件下执行，以及如何携带一个参考系统改变雷达测量。其次，该系统用于跟踪行人和骑自行车的人在许多测量周期，以生成对象为中心的占用网格地图。与传统方法相比，参考系统允许更精确地生成VRU的真实世界雷达数据分布。由此，实现了基于雷达的VRU跟踪的重要一步。
2019-06-03 cs.LG cs.RO eess.SP
RAMP-CNN: A Novel Neural Network for Enhanced Automotive Radar Object Recognition
University of Washington（华盛顿大学）；Silkwave Holdings（Silkwave控股公司）
毫米波雷达正越来越多地集成到商用车辆中，以支持新的高级驾驶辅助系统，实现强大而高性能的目标检测、定位和识别，这是新环境感知的关键组成部分。在本文中，我们提出了一种新的雷达多视角卷积神经网络（RAMP-CNN），该网络基于对距离-速度-角度（RVA）热图序列的进一步处理来提取目标的位置和类别。为了绕过4D卷积神经网络（NN）的复杂性，我们建议在我们的RAMP-CNN模型中组合几个低维NN模型，尽管如此，该模型仍以较低的复杂性接近性能上限。大量的实验表明，所提出的RAMP-CNN模型在所有测试场景下都比以前的工作实现了更好的平均召回率和平均准确率。此外，RAMP-CNN模型被验证在夜间工作，这使得低成本的雷达成为在恶劣条件下纯光学传感的潜在替代品。
2022-04-28 cs.AI cs.CV cs.LG
Label-Aware Ranked Loss for robust People Counting using Automotive in-cabin Radar
Infineon Technologies AG（英飞凌科技股份公司）；Technical University of Munich（慕尼黑工业大学）；Johannes Kepler University Linz（林茨约翰内斯·开普勒大学）；Friedrich-Alexander-University Erlangen-Nuremberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）
在本文中，我们介绍了标签感知的排名损失，一种新的度量损失函数。与最先进的深度度量学习损失相比，该函数利用了回归问题中标签的排序。为此，我们首先证明了当不同标签的数据点在嵌入空间中以彼此之间的均匀角度排列和放置时，损失最小化。然后，为了衡量其性能，我们将所提出的损失应用于在具有挑战性的情况下，即车辆舱中使用短程雷达进行人员计数的回归任务。所介绍的方法将准确度以及相邻标签准确度提高到83.0%和99.9%：比最先进的方法分别提高了6.7%和2.1%。
2022-03-03 cs.AI cs.LG eess.SP
Simultaneous Clutter Detection and Semantic Segmentation of Moving Objects for Automotive Radar Data
Ulm University（乌尔姆大学）；BMW AG（宝马集团）
本文提出一种联合模型，通过增强多头架构和单一输出值表示，同时实现雷达数据的杂波检测与移动目标语义分割，在RadarScenes数据集上超越现有网络。
2023-11-14 cs.CV cs.LG eess.SP
Exploiting Sparsity in Automotive Radar Object Detection Networks
Robert Bosch GmbH（罗伯特·博世有限公司）；Mannheim University of Applied Sciences（曼海姆应用科学大学）
本文面向自动驾驶雷达检测的高算力问题，提出结合 SKPP 与 DVPC 的稀疏卷积网络 SKPP-DPVCN，在 nuScenes 上显著提升 Car AP4.0 并降低 ASE。
2023-08-15 cs.AI cs.CV cs.LG
Investigation of Uncertainty of Deep Learning-based Object Classification on Radar Spectra
Bosch Center for Artificial Intelligence（博世人工智能中心）；Institute of Signal Processing and System Theory, University of Stuttgart（斯图加特大学信号处理与系统理论研究所）
近年来，深度学习（Deep Learning，DL）在提高汽车雷达目标类型分类方面引起了越来越多的关注。除了高精度外，评估预测的可靠性对于自动驾驶汽车的决策至关重要;然而，DL网络的决策是不透明的。目前的DL研究已经调查了如何量化预测的不确定性，在这篇文章中，我们评估了这些方法对安全汽车雷达感知的潜力。特别是，我们评估如何不确定性量化可以支持雷达感知下（1）域偏移，（2）输入信号的腐败，（3）在未知物体的存在。我们发现，与文献中观察到的现象一致，深度雷达分类器过于自信，即使在他们错误的预测中。这引起了人们对在不确定情况下使用置信度值进行决策的担忧，因为模型无法在无法处理未知情况时发出通知。准确的置信度值将允许多个信息源的最佳整合，例如经由传感器融合。我们表明，通过应用最先进的事后不确定性校准，可以显着提高置信度的质量，从而部分解决过度自信的问题。我们的调查表明，进一步研究训练和校准DL网络是必要的，并提供了巨大的潜力，安全的汽车目标分类雷达传感器。
2021-06-01 cs.AI cs.LG
Improved Orientation Estimation and Detection with Hybrid Object Detection Networks for Automotive Radar
Robert Bosch GmbH（罗伯特·博世有限公司）；Leibniz University Hannover（汉诺威莱布尼茨大学）
本文提出了新的混合架构，结合网格和点为基础的处理，以提高基于雷达的目标检测网络的检测性能和方向估计。基于点网格的检测模型在输入点云的鸟瞰图（BEV）投影上操作。这些方法遭受通过离散网格分辨率的详细信息的损失。这尤其适用于雷达目标检测，其中通常使用相对粗糙的网格分辨率来考虑雷达点云的稀疏性。相比之下，基于点的模型不受此问题的影响，因为它们处理点云而不进行离散化。然而，它们通常表现出比基于网格的方法更差的检测性能。我们表明，基于点的模型可以提取邻域功能，利用点的确切相对位置，网格渲染之前。这对于后续的基于网格的卷积检测主干具有显著的益处。在公共nuScenes数据集上的实验中，我们的混合架构在检测性能（汽车类的mAP比下一个最好的雷达提交高19.7%）和方向估计（相对方向改进11.5%）方面比以前文献中的网络有所改进。
2022-08-01 cs.AI cs.CV cs.LG
Self-Supervised Velocity Estimation for Automotive Radar Object Detection Networks
Robert Bosch GmbH（罗伯特·博世有限公司）；Leibniz University Hannover（汉诺威莱布尼茨大学）
本文提出了一种方法来学习笛卡尔速度的目标使用目标检测网络上的汽车雷达数据。所提出的方法是自我监督的速度生成自己的训练信号。标签仅适用于单帧定向边界框（OBB）。不需要昂贵的笛卡尔速度或连续序列的标记。一般的想法是使用单帧OBB标签预训练一个没有速度的目标检测网络，然后利用网络对未标记数据的OBB预测进行速度训练。详细地，使用预测的速度将网络对未标记帧的OBB预测更新为标记帧的时间戳，并且使用未标记帧的更新的OBB与标记帧的OBB预测之间的距离来生成针对速度的自监督训练信号。检测网络结构扩展了一个模块来解释多次扫描的时间关系和一个模块来显式地表示雷达的径向速度测量。使用首先仅训练OBB检测，然后训练OBB检测和速度的两步方法。此外，预训练与雷达径向速度测量生成的伪标签引导本文的自监督方法。在公开的nuScenes数据集上的实验表明，该方法几乎达到了完全监督训练的速度估计性能，但不需要昂贵的速度标签。此外，我们优于仅使用径向速度测量作为标签的基线方法。
2022-07-07 cs.AI cs.CV cs.LG
A Multi-Stage Clustering Framework for Automotive Radar Data
Daimler AG（戴姆勒股份公司）；University of Kassel（卡塞尔大学）
雷达传感器提供了一种独特的方法来执行自动驾驶的环境感知任务。特别是它们在恶劣天气条件下表现良好的能力往往使它们优于其他传感器，如相机或激光雷达。然而，通常使用的检测数据水平的高稀疏性和低维度是后续信号处理的主要挑战。因此，数据点经常被合并，以形成更大的实体，从中可以收集更多的信息。合并过程通常以聚类算法的形式实现。本文介绍了一种新的方法，首先过滤出静态背景数据，然后再应用两阶段聚类方法。两阶段聚类遵循与数据关联本身相同的范例：首先，在低维参数空间中聚类应该属于一起的内容，然后，从新创建的聚类中提取额外的特征，以便执行最终的聚类步骤。参数针对过滤和两个聚类步骤进行了优化。所有技术都单独和整体进行评估，以证明其有效性。最后的结果表明，前两种方法的明显好处，也在特定情况下的集群合并过程。
2019-07-08 cs.LG cs.RO eess.IV
Improving Uncertainty of Deep Learning-based Object Classification on Radar Spectra using Label Smoothing
Bosch Center for Artificial Intelligence（博世人工智能中心）；University of Stuttgart（斯图加特大学）
最近的深度学习（DL）解决方案极大地改善了汽车雷达的对象类型分类，但这些发展主要集中在分类精度上。在自动驾驶等安全关键型应用中使用DL解决方案之前，一个不可或缺的先决条件是准确量化分类器的可靠性。不幸的是，DL分类器的特点是黑箱系统输出严重过度自信的预测，导致下游决策系统错误的结论，可能造成灾难性的后果。我们发现，无论预测的正确性如何，深度雷达分类器都能对模糊、困难的样本（例如，在大距离处测量的小物体）保持高置信度。本文的重点是学习深度雷达谱分类器，这些分类器在训练期间使用标签平滑提供鲁棒的实时不确定性估计。标签平滑是一种细化或软化分类数据集中通常可用的硬标签的技术。在这篇文章中，我们利用雷达特有的知识来定义软标签，鼓励分类器学习输出高质量的校准不确定性估计，从而部分解决过度自信的问题。我们的调查表明，简单的雷达知识可以很容易地与复杂的数据驱动的学习算法相结合，以产生安全的汽车雷达感知。
2021-09-27 cs.LG eess.SP
Generative Adversarial Synthesis of Radar Point Cloud Scenes
RWTH Aachen University（亚琛工业大学）；Technische Universität Ilmenau（伊尔梅瑙工业大学）；Technische Hochschule Ingolstadt（英戈尔施塔特应用技术大学）
本文提出基于PointNet++的GAN模型合成逼真雷达点云场景，以替代费力的真实数据采集与仿真方法，并通过二分类器验证其性能接近真实场景（约87%）。
2024-10-17 cs.CV cs.LG eess.IV
