LiRaFusion: Deep Adaptive LiDAR-Radar Fusion for 3D Object Detection
University of Michigan(密歇根大学)
本文提出LiRaFusion,通过设计早期和中间融合模块自适应融合LiDAR与radar特征,有效提升了3D目标检测性能并在nuScenes数据集上取得显著改善。
2024-02-18 cs.CV cs.RO
Are We Ready for Radar to Replace Lidar in All-Weather Mapping and Localization?
University of Toronto Institute for Aerospace Studies(多伦多大学航空航天研究所)
本研究基于Boreas数据集对比纯雷达、纯激光雷达及跨模态雷达-激光雷达定位系统的全天候性能,发现激光雷达定位抗降水能力被低估,雷达可凭小地图实现可比精度,未来可在极端天气或冗余备份场景发挥作用。
2023-06-08 cs.RO
Radar-to-Lidar: Heterogeneous Place Recognition via Joint Learning
Zhejiang University(浙江大学)
地点识别对于离线地图和在线本地化都至关重要。然而,目前基于单传感器的位置识别在恶劣条件下仍然具有挑战性。在本文中,异构测量为基础的框架提出了长期的地方识别,检索查询雷达扫描从现有的激光雷达地图。为了实现这一目标,在学习阶段建立了一个深度神经网络,并进行联合训练,然后在测试阶段,提取雷达和激光雷达的共享嵌入用于异构位置识别。为了验证该方法的有效性,我们在多会话公共数据集上进行了测试和推广实验,并与其他竞争方法进行了比较。实验结果表明,我们的模型能够执行多个位置识别:激光雷达到激光雷达,雷达到雷达和雷达到激光雷达,而学习模型只训练一次。我们还公开发布了源代码:https://github.com/ZJUYH/radar-to-lidar-place-recognition。
2021-06-18 cs.CV cs.RO
DenserRadar: A 4D millimeter-wave radar point cloud detector based on dense LiDAR point clouds
School of Vehicle and Mobility, Tsinghua University(清华大学车辆与 Mobility学院)
针对4D毫米波雷达点云稀疏且含噪的问题,本文提出DenserRadar,利用拼接LiDAR点云生成稠密3D占据真值并训练专用网络,在K-Radar上提升了点云密度与检测精度。
2024-05-08 cs.RO
Online Target-less Radar-LiDAR-Camera Extrinsic Calibration via Joint Optimization
KAIST (Korea Advanced Institute of Science and Technology)(韩国科学技术院(KAIST));Kookmin University(国民大学);LG Innotek(LG伊诺特)
本文提出一种联合优化框架,通过构建各传感器对残差并同时优化外参,结合自适应雷达噪声滤波和对应累积策略,实现在线无靶标雷达-激光雷达-相机标定,降低标定误差。
2026-10-06 cs.RO
Imaging radar and LiDAR image translation for 3-DOF extrinsic calibration
提出一种利用CycleGAN将雷达图像转换为LiDAR风格图像的3-DOF外参标定框架,结合图像配准与去畸变技术,在MulRan数据集上显著优于滤波方法。
2024-03-27 cs.RO
Improved Radar Localization on Lidar Maps Using Shared Embedding
Zhejiang University(浙江大学)
我们提出了一个异构定位框架,用于解决雷达全球定位和姿态跟踪预建激光雷达地图。为了弥合传感模式的差距,构建了深度神经网络,为雷达扫描和激光雷达地图创建共享的嵌入空间。在这里,学习的特征嵌入支持相似性度量,从而分别提高地图检索和数据匹配。在RobotCar和MulRan数据集中,我们通过与Scan Context和RaLL的比较证明了所提出的框架的有效性。此外,与原始RaLL相比,所提出的姿态跟踪流水线具有更少的神经网络。
2021-06-18 cs.CV cs.RO
3DRO: Lidar-level SE(3) Direct Radar Odometry Using a 2D Imaging Radar and a Gyroscope
Robotics Institute, University of Toronto(多伦多大学机器人研究所);Mobile Robotics Lab, ETH Zurich(苏黎世联邦理工学院移动机器人实验室)
本文提出3DRO,扩展SE(2)直接雷达里程计框架以实现SE(3)状态估计,通过2D速度估计保持数据平面性并结合3D陀螺仪测量,实现激光雷达级精度。
2026-05-10 cs.RO
GaRLIO: Gravity enhanced Radar-LiDAR-Inertial Odometry
Robotics and AI (RAI) Institute(机器人与人工智能研究所)
针对状态估计中的垂直漂移问题,提出融合雷达逐点速度的重力增强雷达-激光雷达-惯性里程计GaRLIO,可提升重力估计精度与状态估计性能,还能移除动态点云保障鲁棒性,实验优于传统方法且代码已开源。
2025-02-21 cs.RO
Viking Hill Dataset: A Lidar-Radar-Camera Dataset for Detection and Segmentation in Forest Scenes
Örebro University(奥雷布罗大学);AASS research centre(AASS研究中心);Robot Navigation and Perception Lab(机器人导航与感知实验室)
提出首个包含4D成像雷达的森林多传感器数据集,通过MinkowskiUNet实现雷达与激光雷达点云的语义分割,并评估树干分割质量与树木尺寸的关系。
2026-06-18 cs.RO
CaRLi-V: Camera-RADAR-LiDAR Point-Wise 3D Velocity Estimation
ETH Zürich(苏黎世联邦理工学院);Robotic Systems Lab (RSL), ETH Zürich(苏黎世联邦理工学院机器人系统实验室)
本文提出CaRLi-V方法,结合雷达、激光雷达和摄像头数据,通过雷达速度立方体、光流和激光雷达测距,实现点云三维速度估计,优于现有场景流方法。
2026-04-10 cs.RO
Radar Occupancy Prediction with Lidar Supervision while Preserving Long-Range Sensing and Penetrating Capabilities
National Yang Ming Chiao Tung University(阳明交通大学);Industrial Technology Research Institute(工业技术研究院)
雷达通过在各种天气条件下实现远程感知,显示出巨大的自动驾驶潜力。但由于雷达噪声的存在,雷达也是一种特别具有挑战性的传感方式。最近的工作已经取得了巨大的进展,分类自由和占用空间的雷达图像,利用激光雷达标签监督。然而,仍有几个未解决的问题。首先,结果的感知距离受到激光雷达的感知范围的限制。其次,由于两个传感器之间的物理感知差异,激光雷达的结果的性能退化。例如,激光雷达可见的一些物体对雷达是不可见的,而由于雷达的穿透能力,在激光雷达扫描中被遮挡的一些物体在雷达图像中是可见的。这些感测差异分别导致假阳性和穿透能力退化。本文提出了训练数据预处理和极坐标滑动窗口推理的方法来解决这一问题。数据预处理的目的是减少雷达不可见的测量在激光雷达扫描造成的影响。极性滑动窗口推理的目的是通过将近距离训练的网络应用于远距离区域来解决有限的感知范围问题。而不是使用常见的笛卡尔表示,我们建议使用极坐标表示,以减少长距离和近距离数据之间的形状相异性。我们发现,将近距离训练的网络扩展到极空间中的远距离区域推断,其IoU比笛卡尔空间中的要好4.2倍。此外,极坐标滑动窗推理通过改变推理区域的视点,使一些遮挡观测值在预先训练好的网络中表现为非遮挡观测值,从而保持了雷达的穿透能力。
2022-01-18 cs.LG cs.RO
Unsupervised Radar Point Cloud Enhancement via Arbitrary LiDAR Guided Diffusion Prior
James Cook University(詹姆斯库克大学);Momoni AI;University Medical Center Göttingen(戈丁根大学医学中心);Heidelberg University(海德堡大学)
本文提出无监督雷达点云增强方法,将角度估计恢复建模为逆问题,并利用任意LiDAR引导的扩散先验,在无需配对训练数据的情况下达到高保真、低噪声及更好泛化效果。
2025-05-15 cs.RO
Assessing the Robustness of LiDAR, Radar and Depth Cameras Against Ill-Reflecting Surfaces in Autonomous Vehicles: An Experimental Study
ETH Zurich(苏黎世联邦理工学院)
本文通过实验评估弱反射表面对LiDAR、雷达和深度相机三种测距传感器的影响,发现LiDAR性能降至标称条件的33%,而雷达和深度相机保持100%,并在1:10自动驾驶赛车上验证了弱反射对下游任务的不利影响,强调鲁棒距离感知的必要性。
2023-09-19 cs.RO
Radar-Only Off-Road Local Navigation
Texas A&M University(德克萨斯A&M大学)
本文研究仅用雷达实现越野局部导航,通过适配激光雷达方法,证明雷达在保持地平面估计和障碍物检测精度的同时具备更远探测距离,并成功完成2.5 m/s、350 m路径的自主导航。
2023-10-26 cs.RO
Targetless 6DoF Calibration of LiDAR and 2D Scanning Radar Based on Cylindrical Occupancy
针对多模态传感器外参易因振动偏移的问题,提出基于圆柱空间占据一致性的LiRaCo无目标6DoF标定方法,经真实户外数据集实验验证具备可行性与准确性。
2025-03-21 cs.AI cs.RO
DeepFusion: A Robust and Modular 3D Object Detector for Lidars, Cameras and Radars
Robert Bosch GmbH(罗伯特·博世有限公司)
我们提出了DeepFusion,这是一种模块化的多模态架构,可以将激光雷达,摄像头和雷达以不同的组合融合在一起,用于3D目标检测。专业的特征提取器利用每种模态,并且可以轻松交换,使方法简单而灵活。提取的特征被转换成鸟瞰图作为一个共同的表示融合。在特征空间中融合模态之前执行空间和语义对齐。最后,检测头利用丰富的多模态特征来提高3D检测性能。激光雷达-相机、激光雷达-相机-雷达和相机-雷达融合的实验结果表明了该融合方法的灵活性和有效性。在这个过程中,我们研究了远距离汽车检测的基本上未探索的任务,最远可达225米,展示了我们的激光雷达相机融合的好处。此外,我们调查所需的密度的激光雷达点的三维目标检测,并说明在对恶劣天气条件下的鲁棒性的例子的影响。此外,我们的相机雷达融合烧蚀研究突出了准确的深度估计的重要性。
2022-09-27 cs.AI cs.CV cs.LG
When LiDAR Fades, Radar Takes Over: LiDAR Reliability-Aware Adaptive Localization Under Airborne Obscurants
Luleå University of Technology(吕勒奥理工大学)
针对地下环境中LiDAR受遮蔽物影响退化的问题,提出单类时序学习框架,通过LSTM自动编码器检测退化,自适应切换LIO与RIO实现稳健定位,相关代码将开源。
2026-10-12 cs.RO
4DRaL: Bridging 4D Radar with LiDAR for Place Recognition using Knowledge Distillation
Faculty of Robot Science and Engineering, Northeastern University, Shenyang, China(东北大学机器人科学与工程学院,沈阳,中国)
本文提出4DRaL框架,利用知识蒸馏提升4D雷达的地点识别性能,通过高精度LiDAR-to-LiDAR模型指导训练,解决4D雷达数据噪声和稀疏性问题,实验表明在正常和恶劣天气下均取得最佳性能。
2026-03-27 cs.CV cs.RO
Continuous-Time Radar-Inertial and Lidar-Inertial Odometry using a Gaussian Process Motion Prior
University of Toronto Institute for Aerospace Studies(多伦多大学航空航天研究所);Technical University of Munich(慕尼黑工业大学)
本文提出基于高斯过程运动先验的连续时间雷达-惯性与激光雷达-惯性里程计,利用稀疏先验降低计算复杂度,并通过融合IMU将雷达里程计性能提升43%,实现实时运行。
2024-11-20 cs.RO
LRFusionPR: A Polar BEV-Based LiDAR-Radar Fusion Network for Place Recognition
Beijing Institute of Technology(北京理工大学)
针对自动驾驶中激光雷达与雷达融合地点识别的难点,提出基于极坐标BEV的双分支LRFusionPR网络,通过交叉注意力融合和知识蒸馏提升识别准确率与天气鲁棒性,在多数据集上验证有效。
2025-10-02 cs.CV cs.RO
Improving Extrinsics between RADAR and LIDAR using Learning
Texas A&M University(得克萨斯农工大学)
本文提出一种基于深度学习的3D RADAR-LIDAR外参标定方法,通过单步优化算法最小化重投影误差并利用MLP回归传感器返回能量,有效提升了外参参数的估计精度。
2023-05-17 cs.CV cs.RO
RaLF: Flow-based Global and Metric Radar Localization in LiDAR Maps
University of Freiburg(弗莱堡大学)
提出RaLF,一种基于深度神经网络的雷达定位方法,通过跨模态度量学习实现地点识别,并利用像素级流向量预测3自由度变换,在多个真实数据集上达到最先进性能并泛化到新城市和传感器配置。
2024-11-04 cs.CV cs.RO
LEROjD: Lidar Extended Radar-Only Object Detection
Institute of Control Theory and Systems Engineering, TU Dortmund University(多特蒙德工业大学控制理论与系统工程研究所);ZF Group(采埃孚集团)
本文提出LEROjD,利用激光雷达通过点云抽稀的多阶段训练和跨模态知识蒸馏增强仅雷达3D目标检测,最高提升4.2个百分点mAP且无需改架构。
2024-09-09 cs.AI cs.CV cs.RO
Lidar-level localization with radar? The CFEAR approach to accurate, fast and robust large-scale radar odometry in diverse environments
Örebro University(厄勒布鲁大学);University of Baghdad(巴格达大学);TU Munich(慕尼黑工业大学)
本文提出CFEAR雷达里程计扩展方法,通过运动补偿、一对多配准和新求解策略,在多样环境中无需调参即可实现高精度快速定位,性能超越雷达SLAM并接近激光雷达SLAM。
2023-04-14 cs.RO
Radar-Lidar Fusion for Object Detection by Designing Effective Convolution Networks
Aalto University(阿尔托大学);Finnish Center for Artificial Intelligence(芬兰人工智能中心);Gwangju Institute of Science and Technology(光州科学技术院)
本文提出一种雷达-激光雷达融合的双分支目标检测框架,通过加性注意力整合特征并引入并行分叉结构处理尺度变化,在Radiate数据集上超越现有最优方法。
2023-10-30 cs.CV cs.RO
Doppler-SLAM: Doppler-Aided Radar-Inertial and LiDAR-Inertial Simultaneous Localization and Mapping
Julius-Maximilians-Universität Würzburg(乌尔姆-马克斯-普朗克大学);Zentrum für Telematik e.V.(电信研究中心);Nuremberg Institute of Technology Georg Simon Ohm(纽伦堡技术学院 Georg Simon Ohm);CARIAD SE(CARIAD SE公司);University of Bonn(波恩大学);Center for Robotics(机器人中心);Lamarr Institute for Machine Learning and Artificial Intelligence(Lamarr机器学习与人工智能研究所)
Doppler-SLAM通过融合多普勒雷达、激光雷达和惯性传感器,提升在复杂环境下的定位与建图精度和鲁棒性。
2026-02-04 cs.RO
RaLL: End-to-end Radar Localization on Lidar Map Using Differentiable Measurement Model
Zhejiang University(浙江大学)
与机载相机和激光扫描仪相比,雷达传感器提供照明和天气不变的传感,这自然适合在恶劣条件下长期定位。然而,雷达数据是稀疏和噪声,导致雷达测绘的挑战。另一方面,目前最流行的可用地图是由激光雷达构建的。本文提出了一种端到端的激光雷达地图定位(Radar Localization on Lidar Map,RaLL)深度学习框架来弥补这一差距,不仅实现了稳健的雷达定位,还利用了成熟的激光雷达测绘技术,从而降低了雷达测绘成本。我们首先通过一个神经网络将两个传感器模态嵌入到一个公共的特征空间中。然后将多个偏移量添加到地图模型中,以针对当前雷达模型进行详尽的相似性评估,从而产生当前姿态的回归。最后,我们将此可微量测模型应用于卡尔曼滤波器(KF),以端到端的方式学习整个顺序定位过程。\textit{The whole learning system is differentiable with the network based measurement model at the front-end and KF at the back-end.}为了验证的可行性和有效性,我们采用从现实世界中收集的多会话多场景数据集,结果表明,我们提出的系统实现了优越的性能比$90km$驾驶,即使在泛化的情况下,模型训练是在英国,而在韩国测试。我们还公开了源代码。
2021-03-06 cs.CV cs.RO
Robust 3D Object Detection from LiDAR-Radar Point Clouds via Cross-Modal Feature Augmentation
University of Edinburgh(爱丁堡大学);Kodifly Limited(科蒂弗利有限公司);University of Cambridge(剑桥大学);University College London(伦敦大学学院)
针对激光雷达与4D雷达点云的3D目标检测难题,提出含空间与特征多重对齐的跨模态生成框架,训练后单模态输入即可提升检测性能,在VoD数据集上超越现有最优方法且效率具竞争力。
2024-03-12 cs.CV cs.RO
JustDepth: Real-Time Radar-Camera Depth Estimation with Single-Scan LiDAR Supervision
Ajou University(韩国亚洲大学);Kennesaw State University(肯尼索州立大学)
研究自动驾驶系统中雷达-相机深度估计问题,提出单阶段JustDepth方法,仅用雷达、相机和单扫描激光雷达训练,能聚合雷达回波解耦运行时与点数,融合模态传播深度,减轻条纹伪影,相比先进方法减少推理时间并降低条纹伪影。
2026-07-27 cs.CV cs.RO
Target Tracking via LiDAR-RADAR Sensor Fusion for Autonomous Racing
Dipartimento di Elettronica, Informazione e Bioingegneria (DEIB), Politecnico di Milano(电子、信息与生物工程系(DEIB),米兰理工大学)
针对自主赛车中精准车辆检测与动力学估计的需求,提出基于延迟感知EKF的LiDAR-RADAR融合多目标跟踪算法,结合传感器特性与赛道先验知识处理失序测量,在275 km/h下完成自主超车验证。
2025-11-12 cs.RO
AF-RLIO: Adaptive Fusion of Radar-LiDAR-Inertial Information for Robust Odometry in Challenging Environments
College of Information Engineering, Zhejiang University of Technology(浙江工业大学信息工程学院);College of Control Science and Engineering, Zhejiang University(浙江大学控制科学与工程学院)
本文提出 AF-RLIO,自适应融合4D毫米波雷达、LiDAR、IMU与GPS,通过动态点去除、紧耦合多模态里程计和因子图优化提升烟雾、隧道等环境下的鲁棒位姿估计。
2025-07-24 cs.RO
CalTag: Robust calibration of mmWave Radar and LiDAR using backscatter tags
University of California San Diego(加利福尼亚大学圣迭戈分校)
针对多传感器感知系统中标定需求及传统角反射器标定在杂乱环境下的局限,提出基于毫米波反向散射技术的新型雷达基准标记系统CalTag,经真实环境验证其标定可靠性更优,可提升多传感器感知系统性能。
2024-09-17 cs.RO eess.SP
FIRE-LIVWO: Robust LiDAR-Inertial-Visual-Wheel Odometry via Failure-Immune mmWave Radar Enhancement
School of Mechatronic Engineering, China University of Mining and Technology(中国矿业大学机电工程学院);Jiangsu Collaborative Innovation Center of Intelligent Mining Equipment, China University of Mining and Technology(中国矿业大学江苏省智能采矿装备协同创新中心);National Key Laboratory of Intelligent Mining Equipment Technology, China University of Mining and Technology(中国矿业大学智能采矿装备技术全国重点实验室)
该研究针对地下煤矿SLAM的退化问题,提出基于IESKF的FIRE-LIVWO多模态里程计,通过自适应融合策略提升鲁棒性,实测平均定位误差5.677m,已开源代码。
2026-09-07 cs.RO
CorAl: Introspection for Robust Radar and Lidar Perception in Diverse Environments Using Differential Entropy
Örebro University(厄勒布鲁大学)
鲁棒感知是使移动机器人能够长期运行的重要组成部分。它依赖于通过可靠的传感器数据和预处理实现的故障恢复能力,以及通过内省实现的故障意识,例如自我评估定位性能的能力。本文介绍了Coral:一种原则性、直观且可推广的方法,用于测量点云对之间的对齐质量,该方法学习以自我监督的方式检测对齐错误。CorAl将点云中的微分熵分别与它们的联合中的熵进行比较,以说明场景固有的熵。通过利用双熵测量,我们得到了一个质量度量,是高度敏感的小对齐误差,仍然概括以及看不见的环境。在这项工作中,我们提出了一个两阶段的过滤技术,从嘈杂的雷达扫描产生高质量的点云,将我们以前的工作扩展到雷达数据。因此,我们以两种方式瞄准鲁棒感知:通过引入一种方法,该方法可以评估对准质量,并将其应用于固有的鲁棒传感器模态。我们表明,我们的过滤技术与CorAl相结合,可以应用于对齐分类的问题,它检测到小的对齐错误,在城市设置高达98%的准确度,高达96%,如果只在不同的环境中训练。我们的激光雷达和雷达实验表明,CorAl在ETH激光雷达基准测试(包括几个室内和室外环境)以及城市交通场景的大规模牛津和MulRan雷达数据集上都优于以前的方法。结果还表明,CorAl在不同的环境中具有很好的泛化能力,而无需重新训练。
2022-05-12 cs.RO
High Resolution Point Clouds from mmWave Radar
Carnegie Mellon University(卡内基梅隆大学);University of Washington(华盛顿大学);University of Illinois, Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出端到端神经网络 RadarHD,利用配对的原始 I/Q 雷达与激光雷达数据训练,将单芯片毫米波雷达输入转换为高分辨率、类激光雷达点云,并在未知场景和浓烟遮挡下验证其可支持现有里程计与建图流程。
2023-07-16 cs.NI cs.RO eess.SP
4D-ROLLS: 4D Radar Occupancy Learning via LiDAR Supervision
Department of Automation, School of Intelligence Science and Engineering, Harbin Institute of Technology(自动化系、智能科学与工程学院、哈尔滨工业大学)
针对现有占用估计方法在恶劣环境下表现不佳的问题,提出以LiDAR为监督的4D雷达弱监督占用估计方法4D-ROLLS,性能优异、鲁棒性强,可迁移至下游任务且推理速度快。
2025-05-20 cs.CV cs.RO
Degradation Resilient LiDAR-Radar-Inertial Odometry
Norwegian University of Science and Technology (NTNU)(挪威科技大学)
针对自主机器人里程计易因激光雷达退化失效的问题,提出紧耦合激光雷达-雷达-惯性融合的因子图窗口平滑里程计方法,可沿非退化轴传递部分信息以抗退化,经真实飞行测试验证并公开数据集。
2024-03-08 cs.RO eess.SP
Radar-Based Localization For Autonomous Ground Vehicles In Suburban Neighborhoods
Amazon, LLC(亚马逊有限责任公司);University of Colorado, Boulder(科罗拉多大学博尔德分校)
本文针对郊区环境中自主地面车辆定位难题,提出一种基于雷达的定位系统,包含高精度雷达里程计和地点识别重定位方法,实验证明其准确可靠、优于类似激光雷达方法且可在低功耗嵌入式硬件上运行。
2024-05-01 cs.RO
LiRaNet: End-to-End Trajectory Prediction using Spatio-Temporal Radar Fusion
Uber Advanced Technologies Group(优步先进技术集团);University of Toronto(多伦多大学)
在本文中,我们提出了LiRaNet,这是一种新型的端到端轨迹预测方法,它利用了雷达传感器信息以及广泛使用的激光雷达和高清(HD)地图。汽车雷达提供丰富的互补信息,允许更远距离的车辆检测以及瞬时径向速度测量。然而,也有一些因素使得激光雷达和雷达信息的融合具有挑战性,例如雷达测量的相对较低的角分辨率,它们的稀疏性以及与激光雷达缺乏精确的时间同步。为了克服这些挑战,我们提出了一种有效的时空雷达特征提取方案,该方案在多个大规模数据集上实现了最先进的性能。此外,通过结合雷达信息,我们对高加速度物体的预测误差降低了52%,对较长距离物体的预测误差降低了16%。
2020-11-12 cs.CV cs.RO
RLCNet: An end-to-end deep learning framework for simultaneous online calibration of LiDAR, RADAR, and Camera
Department of Mechanical Engineering, Politecnico di Milano(机械工程系,米兰理工学院)
RLCNet通过端到端深度学习框架实现激光雷达、雷达和摄像头的同时在线校准,提升自动驾驶系统在动态环境中的感知可靠性。
2025-12-09 cs.CV cs.RO
NVRadarNet: Real-Time Radar Obstacle and Free Space Detection for Autonomous Driving
NVIDIA(英伟达)
检测障碍物对于安全高效的自动驾驶至关重要。为此,我们提出了NVRadarNet,这是一种深度神经网络(DNN),可以使用汽车雷达传感器检测动态障碍物和可驾驶的自由空间。该网络利用来自多个雷达传感器的时间累积数据来检测动态障碍物,并在自上而下的鸟瞰图(BEV)中计算它们的方向。该网络还回归可行驶的自由空间,以检测未分类的障碍物。我们的DNN是同类产品中第一个利用稀疏雷达信号,以便仅从雷达数据中实时的执行障碍物和自由空间检测。该网络已成功用于在真实的自动驾驶场景中感知我们的自动驾驶汽车。该网络在嵌入式GPU上的运行速度比实时的更快,并且在地理区域之间表现出良好的泛化能力。
2023-03-01 cs.CV cs.LG cs.RO
RMap: Millimeter-Wave Radar Mapping Through Volumetric Upsampling
University of Colorado Boulder(科罗拉多大学博尔德分校)
提出RMap,利用生成式Transformer架构UpPoinTr对稀疏雷达点云进行上采样、去噪和填充,生成精确3D地图,并在ColoRadar数据集上验证有效性。
2023-10-19 cs.RO
The Oxford Radar RobotCar Dataset: A Radar Extension to the Oxford RobotCar Dataset
Oxford Robotics Institute, University of Oxford(牛津大学牛津机器人研究所)
在本文中,我们提出了牛津雷达RobotCar数据集,一个新的数据集研究场景理解使用毫米波FMCW扫描雷达数据。目标应用是自动驾驶汽车,这种模式对雾、雨、雪或镜头光斑等环境条件具有鲁棒性,这些环境条件通常会挑战其他传感器模式,如视觉和LIDAR。这些数据是在2019年1月收集的,超过了32次穿越牛津市中心的路线,总共跨越了280公里的城市驾驶。它包括各种天气、交通和照明条件。这个4.7TB的数据集包括来自Navtech CTS 350-X雷达的240,000多个扫描和来自两个Velodyne HDL-32 E 3D LIDAR的240万个扫描;以及六个摄像头,两个2D LIDAR和一个GPS/INS接收器。此外,我们还发布了地面实况优化雷达里程计,为该领域的研究提供了额外的动力。完整的数据集可在以下网址下载:ori.ox.ac.uk/datasets/radar-robotcar-dataset
2020-02-26 cs.RO eess.SP
Multi-Observer Vehicle Localization Case Study with Roadside Radar and Connected Vehicle Sensing
Aalto University(阿尔托大学)
本文提出融合路侧雷达与网联车辆感知的多观测器车辆定位框架,经实测数据验证,其性能受场景影响,AEKF可小幅优于仅用LiDAR的基线,相关成果与代码已开源。
2026-08-19 cs.CV cs.RO
LiCROcc: Teach Radar for Accurate Semantic Occupancy Prediction using LiDAR and Camera
Institute of Cyber-Systems and Control, Zhejiang University(浙江大学 cyber 系统与控制研究所);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Technical University of Munich(慕尼黑工业大学)
本文提出LiCROcc框架,通过跨模态蒸馏将LiDAR和相机融合特征的知识传递给雷达模型,在nuScenes-Occupancy数据集上显著提升了语义场景补全性能。
2024-07-23 cs.CV cs.RO
LiDAR guided Small obstacle Segmentation
KCIS, International Institute of Information Technology Hyderabad(KCIS,海得拉巴国际信息技术学院)
检测道路上的小障碍物对于自动驾驶至关重要。在本文中,我们提出了一种方法,通过稀疏激光雷达(VLP-16)和单目视觉的多模态框架来可靠地检测这样的障碍物。LiDAR用于以置信度图的形式向单目分割网络提供额外的上下文。我们表现出显着的性能增益时,上下文作为一个额外的输入单目语义分割框架。我们进一步向社区展示了一个新的语义分割数据集,包括3000多个图像帧和相应的激光雷达观测。这些图像带有三个类越野,道路和小障碍的像素明智的注释。我们强调,激光雷达和相机之间的精确校准是至关重要的这项任务,因此提出了一种新的Hausdorff距离为基础的外部参数的校准细化方法。作为这个数据集的第一个基准,我们报告了我们的结果,在具有挑战性的场景中,在50米的距离内有73%的实例检测。定性地通过展示在50米深度处小于15厘米的障碍物的准确分割,并且定量地通过与现有技术的有利比较,我们证明了该方法的有效性。我们的项目页面和数据集托管在www.example.com
2020-03-12 cs.CV cs.RO
Radar SLAM: A Robust SLAM System for All Weather Conditions
Heriot-Watt University(赫瑞-瓦特大学)
同时定位与地图构建(SLAM)系统必须是鲁棒的,以支持长期的移动车辆和机器人应用。然而,基于相机和LiDAR的SLAM系统在面临具有挑战性的照明或天气条件时可能是脆弱的,这些条件会降低其图像和点云数据。雷达,其工作电磁频谱受环境变化的影响较小,是有前途的,虽然其独特的传感几何和噪声特性带来了开放的挑战时,被利用为SLAM。然而,由于大多数现有的视觉和LiDAR SLAM系统在恶劣天气下无法运行,因此仍然存在开放的挑战。本文研究了使用调频连续波雷达SLAM在大规模的户外环境。我们提出了一个完整的雷达SLAM系统,包括一个新的雷达运动跟踪算法,利用雷达几何可靠的功能跟踪。它还通过联合优化来最佳地补偿运动失真和估计姿态。其闭环组件的设计是简单而有效的雷达图像捕获和利用周围环境的结构信息。同时还设计了一种专门针对雷达的模糊环路闭合候选的剔除方案。在三个公共雷达数据集上进行了广泛的实验,从城市街道和居民区到农村和高速公路,与最先进的LiDAR,视觉和雷达方法相比,所提出的雷达SLAM系统具有竞争力的准确性和可靠性性能。结果表明,我们的系统在技术上是可行的,在极端天气条件下,如大雪和浓雾,实现可靠的SLAM,展示了使用雷达的全天候定位和测绘的潜力。
2021-04-12 cs.RO
The Impact of 2D Segmentation Backbones on Point Cloud Predictions Using 4D Radar
Robotics Institute, Carnegie Mellon University(卡内基梅隆大学机器人研究所);Electrical & Computer Engineering Department, University of Pittsburgh(匹兹堡大学电气与计算机工程系)
本研究探讨不同容量2D分割骨干网络对基于4D雷达生成3D点云质量的影响,发现最优骨干可提升23.7%,而过高容量反而有害。
2025-10-10 cs.CV cs.RO
Obstacle Avoidance onboard MAVs using a FMCW RADAR
Faculty of Aerospace Engineering, Delft University of Technology(代尔夫特理工大学航空航天工程学院)
微型飞行器(MAV)越来越多地用于在封闭和混乱的环境中执行复杂或危险的任务,例如监视或搜索和救援。因此,需要能够在能见度差的条件下工作的传感器,以便于导航和避开物体或人。特别是雷达传感器可以提供更强大的环境感测,当传统的传感器,如相机在灰尘,雾或烟雾的存在下失败。虽然在自动驾驶中广泛使用,但微型飞行器上的微型FMCW雷达相对未被开发。本研究的目的是调查在何种程度上这种传感器是使用在这些环境中,采用传统的信号处理,如多目标跟踪和速度障碍。通过在包含障碍物的室内环境中运行试验测试并与人类飞行员进行比较,评估了该解决方案的可行性,并在MAV上实施,证明了传感器在完全自主的MAV中提供更强大的感知和避免功能的潜力。
2021-03-02 cs.RO
LOGOS: LiDAR-Only Gaussian Elevation Splatting for Unified Tiny Obstacle Segmentation
School of Automation and Intelligent Sensing, Shanghai Jiao Tong University(上海交通大学自动化与智能感知学院)
提出LOGOS系统,通过将路面建模为2D高斯原语的连续混合,利用无反向传播的激光雷达方法估计高程,实现微小障碍物分割,在道路和越野场景中优于现有方法。
2026-06-23 cs.CV cs.RO
RSS-Net: Weakly-Supervised Multi-Class Semantic Segmentation with FMCW Radar
University of Oxford(牛津大学);Oxford Robotics Institute(牛津机器人研究所)
本文提出了一种高效的注释过程及其应用端到端,丰富的语义分割的感知环境使用FMCW扫描雷达。我们提倡雷达而不是用于此任务的传统传感器,因为它在更长的范围内工作,并且对恶劣的天气和照明条件更加强大。我们通过利用迄今为止收集的最大的以雷达为中心的城市自治数据集,将雷达扫描与RGB摄像头和激光雷达传感器关联起来,避免了费力的手动标签,其中语义分割已经是一个统一的程序。训练过程利用了最先进的自然图像分割系统,该系统是公开可用的,因此,与以前的方法相比,通过结合四个相机和两个激光雷达流,可以为雷达流生成丰富的标签。此外,通过沿着当前车辆位置的前方和后方的姿态链累积LiDAR返回,考虑到雷达传感器地平线的标签来计算损失。最后,我们提出了具有多通道雷达扫描输入的网络,以处理短暂且动态的场景对象。
2020-04-02 cs.CV cs.RO
Get It For Free: Radar Segmentation without Expert Labels and Its Application in Odometry and Localization
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));University of Science and Technology of China(中国科学技术大学);the Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
提出利用现有 LiDAR 模型生成标签并经结构与分布精化的弱监督雷达语义分割方法,提升全天候鲁棒性,并显著改进 OpenStreetMap 雷达定位与雷达里程计。
2024-10-02 cs.RO
ROAMER: Robust Offroad Autonomy using Multimodal State Estimation with Radar Velocity Integration
Norwegian University of Science and Technology(挪威科技大学);Jet Propulsion Laboratory(喷气推进实验室);California Institute of Technology(加州理工学院)
针对越野自主导航中状态估计易因感知环境退化失效的问题,提出将FMCW雷达前向速度融入激光雷达-惯性图平滑器的ROAMER方法,经高速越野实车验证提升了无激光雷达数据时的估计鲁棒性。
2024-01-30 cs.RO