Hybrid Human-Machine Perception via Adaptive LiDAR for Advanced Driver Assistance Systems
Delft University of Technology(代尔夫特理工大学)
本文提出一种结合驾驶员注视数据的自适应激光雷达系统,在CARLA中验证,通过增强视野外感知提升ADAS检测性能,尤其在雾天条件下。
2025-02-24 cs.HC cs.RO
LiDAR-BEVMTN: Real-Time LiDAR Bird's-Eye View Multi-Task Perception Network for Autonomous Driving
Valeo(法雷奥);TU Ilmenau(伊尔梅瑙工业大学)
本文提出LiDAR-BEVMTN,一种基于共享编码器和任务特定解码器的实时多任务卷积网络,通过SWAG模块和异构训练统一实现LiDAR点云的检测、语义与运动分割,在嵌入式平台以3ms延迟取得领先性能。
2024-11-18 cs.CV cs.RO
A Novel Perception Entropy Metric for Optimizing Vehicle Perception with LiDAR Deployment
School of Transportation and Logistics, Southwest Jiaotong University(西南交通大学交通运输与物流学院);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
提出一种基于车辆网格占据概率的新型LiDAR感知熵指标,并利用基于差分进化的粒子群优化算法构建部署优化模型,显著提升了多种LiDAR的检测性能。
2024-07-25 cs.IT cs.RO math.IT
A LiDAR-based real-time capable 3D Perception System for Automated Driving in Urban Domains
我们提出了一个基于激光雷达和实时的【形】能力的三维感知系统,在城市领域的自动驾驶。分层系统设计能够在实时的【形】条件下同时对环境的固定和可移动部分进行建模。我们的方法通过创新的细节增强功能扩展了最先进的技术水平,即使在不平坦的地面和悬垂或突出的元素的情况下,也能感知道路使用者和可驾驶的走廊。我们描述了一个运行时高效的点云处理管道,包括自适应地面估计,3D聚类和运动分类阶段。基于流水线的输出,静止环境表示在多特征映射和融合的方法。在能够使用多个参考点来考虑视点变化的对象跟踪系统中表示可移动元素。我们进一步提高了跟踪系统明确考虑遮挡和模糊的情况下。我们的系统使用TUBS道路用户数据集的一个子集进行评估。我们通过考虑现实世界流量场景的应用驱动方面来增强常见的性能指标。感知系统显示出令人印象深刻的结果,并能够应付所解决的情况下,同时仍然保持实时的【形】能力。
2020-05-07 cs.RO
ParisLuco3D: A high-quality target dataset for domain generalization of LiDAR perception
Centre for Robotics, Mines Paris - PSL, PSL University(巴黎文理研究大学、巴黎矿业学院机器人中心);U2IS, ENSTA Paris, Institut Polytechnique de Paris(巴黎综合理工学院、巴黎国立高等先进技术学院U2IS实验室)
本文提出了ParisLuco3D数据集,专为LiDAR感知的跨域评估设计,并配套提供语义分割、目标检测和跟踪的在线基准,以促进不同方法的公平比较。
2024-06-03 cs.CV cs.RO
LF-3PM: a LiDAR-based Framework for Perception-aware Planning with Perturbation-induced Metric
Zhejiang University(浙江大学);City University of Hong Kong(香港城市大学);Huzhou Institute of Zhejiang University(浙江大学湖州研究院)
提出 LF-3PM 框架,利用扰动诱导度量评估 LiDAR 观测对定位的影响,并借助 SOLM 解耦评估与规划,实现高效感知感知轨迹生成。
2024-08-03 cs.RO
HumanoidPano: Hybrid Spherical Panoramic-LiDAR Cross-Modal Perception for Humanoid Robots
Beijing Innovation Center of Humanoid Robotics(北京人形机器人创新中心);Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Hong Kong University of Science and Technology(香港科技大学);Beijing Institute of Technology(北京理工大学);ETH Zurich(苏黎世联邦理工学院);Nanyang Technological University(南洋理工大学);X-Humanoid(人形智能科技公司)
本文提出 HumanoidPano 框架,利用球形几何约束、空间可变形注意力和全景增强融合全景视觉与 LiDAR,解决人形机器人自遮挡与视场受限问题,并在基准和真实平台上验证其 BEV 分割与导航能力。
2025-03-13 cs.RO
Super LiDAR Intensity for Robotic Perception
State Key Laboratory of Internet of Things for Smart City (SKL-IOTSC)(物联网智能城市国家重点实验室);Faculty of Science and Technology(科技学院);University of Macau(澳门大学);School of Computing and Information Systems(计算与信息学院);Singapore Management University(新加坡管理大学);Department of Naval Architecture and Marine Engineering and Department of Robotics(船舶工程与海洋工程系和机器人系);University of Michigan(密歇根大学);Department of Robotics(机器人系);Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)(穆罕默德·本·拉希德智能人工智能大学)
本文提出了一种基于非重复扫描LiDAR的密集强度图像生成方法,以提升低成本LiDAR在机器人感知中的应用。
2026-02-26 cs.RO
GFM-Planner: Perception-Aware Trajectory Planning with Geometric Feature Metric
Dalian University of Technology(大连理工大学)
本文提出GFM-Planner框架,通过几何特征度量、度量编码地图和感知感知轨迹规划,引导机器人主动选择特征丰富区域的轨迹以提升LiDAR定位精度。
2025-07-22 cs.RO
Autoware in Construction: Gap Analysis and LiDAR Perception Toward Off-Road Autonomous Driving
University of California, Irvine(加州大学尔湾分校);TIER IV, Inc.(TIER IV 公司)
本文分析了将 Autoware 自动驾驶系统从公共道路扩展到建筑工地大型自卸卡车时,在感知、建图、定位、规划和控制等模块的差距,重点介绍了基于 LiDAR 的感知方案与现场测试发现,并提出了端到端自动驾驶路线图。
2026-10-06 cs.RO
Survey on LiDAR Perception in Adverse Weather Conditions
Mercedes-Benz AG(梅赛德斯-奔驰股份公司);University of Freiburg(弗莱堡大学)
本文综述基于 LiDAR 的环境感知在雾、雪、雨等恶劣天气下的性能下降问题,梳理数据、点云去噪、鲁棒算法与传感器融合等方法,并指出研究空白与未来方向。
2023-06-06 cs.CV cs.RO
Design of an Adaptive Lightweight LiDAR to Decouple Robot-Camera Geometry
University at Buffalo(布法罗大学);University of Florida(佛罗里达大学);Amazon Robotics(亚马逊机器人公司)
针对微型机器人传感器位姿与机器人位姿耦合、抖动难以实时补偿的问题,提出MEMS反射镜轻量化LiDAR,通过可移动扫描独立改变视场,并在仿真和UAV硬件上验证其运动补偿能力。
2024-03-01 cs.RO
MR-LiDAR: A Multi-Resolution Roadside LiDAR Benchmark for Perception Diagnostics and Deployment Guidance
Intelligent Comprehensive Transportation Key Laboratory of Sichuan Province(四川省智能综合交通运输重点实验室)
针对激光雷达选型缺乏实证基准的问题,提出MR-LiDAR多分辨率基准,通过控制光束数和分布等变量,系统分析其对感知性能的影响,并给出选型指导。
2026-10-16 cs.RO
CorAl: Introspection for Robust Radar and Lidar Perception in Diverse Environments Using Differential Entropy
Örebro University(厄勒布鲁大学)
鲁棒感知是使移动机器人能够长期运行的重要组成部分。它依赖于通过可靠的传感器数据和预处理实现的故障恢复能力,以及通过内省实现的故障意识,例如自我评估定位性能的能力。本文介绍了Coral:一种原则性、直观且可推广的方法,用于测量点云对之间的对齐质量,该方法学习以自我监督的方式检测对齐错误。CorAl将点云中的微分熵分别与它们的联合中的熵进行比较,以说明场景固有的熵。通过利用双熵测量,我们得到了一个质量度量,是高度敏感的小对齐误差,仍然概括以及看不见的环境。在这项工作中,我们提出了一个两阶段的过滤技术,从嘈杂的雷达扫描产生高质量的点云,将我们以前的工作扩展到雷达数据。因此,我们以两种方式瞄准鲁棒感知:通过引入一种方法,该方法可以评估对准质量,并将其应用于固有的鲁棒传感器模态。我们表明,我们的过滤技术与CorAl相结合,可以应用于对齐分类的问题,它检测到小的对齐错误,在城市设置高达98%的准确度,高达96%,如果只在不同的环境中训练。我们的激光雷达和雷达实验表明,CorAl在ETH激光雷达基准测试(包括几个室内和室外环境)以及城市交通场景的大规模牛津和MulRan雷达数据集上都优于以前的方法。结果还表明,CorAl在不同的环境中具有很好的泛化能力,而无需重新训练。
2022-05-12 cs.RO
Which LiDAR scanning pattern is better for roadside perception: Repetitive or Non-repetitive?
School of Automation and Intelligent Sensing, Shanghai Jiao Tong University(自动化与智能感知学院,上海交通大学);Global College, Shanghai Jiao Tong University(全球学院,上海交通大学)
基于LiDAR的路边感知是先进智能交通系统(ITS)的基石。虽然大量的研究已经解决了基础设施的最佳LiDAR放置,但不同LiDAR扫描模式对感知性能的深刻影响仍然相对不足。各种扫描模式的固有性质-例如传统的重复性(机械/固态)与新兴的非重复性(例如基于棱镜)系统-导致不同距离处的不同点云分布,严格规定了目标检测和整体环境理解的功效。为了系统地研究基于基础设施的背景下的这些差异,我们引入了“CAND-LiDAR '基准”,这是一种在CARLA模拟环境中精心收集的新型数据集,使用同时运行的基于基础设施的LiDAR展示两种扫描模式。利用该基准,我们对各自的LiDAR扫描能力进行了全面的统计分析,并评估了这些不同模式对各种领先的3D目标检测算法性能的影响。我们的研究结果表明,非重复扫描LiDAR和128线重复LiDAR在各种场景下表现出相当的检测性能。尽管非重复激光雷达的感知范围有限,但考虑到其低廉的价格,它是一种具有成本效益的选择。最终,这项研究为建立具有最佳LiDAR扫描模式和兼容算法的路边感知系统提供了见解,并公开发布了“LiDAR基准”数据集,以促进进一步的研究。
2025-10-28 cs.CV cs.RO eess.IV
Using 3-D LiDAR Data for Safe Physical Human-Robot Interaction
Rochester Institute of Technology(罗切斯特理工学院)
本文探讨了在物理人机交互场景中使用 3D 激光雷达,通过开发结合反射率和点云等数据的感知管道及微调物体检测网络,实现了满足速度与分离监控标准的安全控制。
2024-06-02 cs.RO
EAROL: Environmental Augmented Perception-Aware Planning and Robust Odometry via Downward-Mounted Tilted LiDAR
School of Automation, Beijing Institute of Technology(自动化学院,北京理工大学)
针对开顶场景下无人机定位漂移与感知-规划耦合问题,提出EAROL框架,采用下装倾斜LiDAR(20°),集成紧耦合LIO系统与分层轨迹优化算法,硬件创新增强约束与环境感知,实验显著提升定位精度与感知覆盖率,为灾后搜救提供鲁棒方案。
2025-08-20 cs.RO
BM2CP: Efficient Collaborative Perception with LiDAR-Camera Modalities
School of Computer Science and Technology(计算机科学与技术学院);Harbin Institute of Technology(哈尔滨工业大学)
针对单模态协同感知的局限,本文提出 BM2CP,通过 LiDAR-相机深度融合与协同深度生成实现高效多模态协同感知,并在通信量降低50倍的同时超越现有方法。
2023-12-07 cs.AI cs.CV cs.RO
Optimizing the Placement of Roadside LiDARs for Autonomous Driving
Beihang University(北京航空航天大学);Shanghai AI Laboratory(上海人工智能实验室);UCLA(加州大学洛杉矶分校);NUS(新加坡国立大学)
针对自动驾驶中路边激光雷达布局优化问题,提出基于感知增益的贪心算法和感知预测器,并创建Roadside-Opt数据集,以提升协同感知性能。
2023-10-11 cs.CV cs.RO
From One to the Power of Many: Invariance to Multi-LiDAR Perception from Single-Sensor Datasets
FZI Research Center for Computer Science(FZI计算机科学研究中心);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
针对单传感器训练模型在多LiDAR部署时的性能差距,提出特征级不变性度量与两种数据增强方法,实验证明其提升跨设置泛化。
2025-01-24 cs.CV cs.RO
Multi-modal Streaming 3D Object Detection
University of British Columbia(不列颠哥伦比亚大学)
现代自动驾驶汽车在很大程度上依赖于机械激光雷达进行感知。目前的感知方法通常需要360°点云,当LiDAR扫描方位角并获取连续的楔形切片时,依次收集点云。全扫描的采集延迟(~ 100 ms)可能导致过时的感知,这对安全操作有害。最近的流式感知工作提出直接处理LiDAR切片,并通过重用来自先前切片的特征来补偿切片的窄视场(FOV)。然而,这些工作都是基于一种单一的模式,需要过去的信息,可能已经过时。同时,来自高频相机的图像可以支持流式模型,因为与LiDAR切片相比,它们提供了更大的FoV。然而,FoV中的这种差异使传感器融合复杂化。为了解决这一研究差距,我们提出了一个创新的相机激光雷达流3D目标检测框架,使用相机图像,而不是过去的激光雷达切片,提供一个最新的,密集的,广泛的上下文流感知。所提出的方法优于具有挑战性的NuScenes基准的先前流模型。它也优于强大的全扫描探测器,同时速度更快。我们的方法被证明是强大的丢失的相机图像,窄的激光雷达切片,和小相机激光雷达误校准。
2022-09-12 cs.CV cs.RO
LV-DOT: LiDAR-visual dynamic obstacle detection and tracking for autonomous robot navigation
Carnegie Mellon University(卡内基梅隆大学)
针对室内机器人动态障碍物感知,提出融合机载摄像头与激光雷达的轻量级检测跟踪框架,集成多检测器并采用特征关联与卡尔曼滤波,提升精度且经实验验证可行。
2025-02-28 cs.RO
Generating Roadside LiDAR Datasets from Vehicle-Side Datasets via Novel View Synthesis
School of Automation and Intelligent Sensing, Shanghai Jiao Tong University, Shanghai 200240, China(自动化与智能感知学院,上海交通大学,上海200240,中国);Key Laboratory of System Control and Information Processing, Ministry of Education of China, Shanghai 200240, China(系统控制与信息处理重点实验室,中华人民共和国教育部,上海200240,中国);Global College, Shanghai Jiao Tong University, Shanghai 200240, China(全球学院,上海交通大学,上海200240,中国)
本文提出VRS框架,通过LiDAR新颖视角合成从车辆侧数据生成标注道路侧LiDAR数据集,缓解车辆到道路域差距,提升道路侧感知模型的泛化能力。
2026-05-07 cs.RO
Omni-Perception: Omnidirectional Collision Avoidance for Legged Locomotion in Dynamic Environments
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Spatialtemporal AI(时空AI);The Hong Kong University of Science and Technology(香港科技大学);Department of Eletronic Engineering, Tsinghua University(清华大学电子工程系);Beijing Innovation Center of Humanoid Robotics Co., Ltd.(北京人形机器人创新中心有限公司)
本文提出 Omni-Perception 端到端腿式运动策略,利用原始 LiDAR 点云和 PD-RiskNet 进行风险评估,实现动态复杂环境中的全向避障与 sim-to-real 迁移。
2025-08-28 cs.RO
Precise Synthetic Image and LiDAR (PreSIL) Dataset for Autonomous Vehicle Perception
University of Waterloo(滑铁卢大学);University of Toronto(多伦多大学)
我们介绍了用于自动驾驶汽车感知的精确合成图像和激光雷达(PreSIL)数据集。侠盗猎车手V(GTA V),一个商业视频游戏,有一个大的详细的世界与现实的图形,这提供了一个多样化的数据汇集环境。现有的为GTA V自动驾驶创建合成LiDAR数据的工作还没有发布他们的数据集,依赖于游戏中的光线投射功能,将人表示为圆柱体,并且可能无法捕获超过30米的车辆。我们的工作在GTA V中创建了一个精确的LiDAR模拟器,它与所有实体的详细模型相碰撞,无论其类型或位置如何。PreSIL数据集由超过50,000帧组成,包括具有全分辨率深度信息的高清图像、语义分割(图像)、逐点分割(点云)以及所有车辆和人员的详细注释。使用我们的框架收集额外的数据是完全自动的,不需要任何形式的人工注释。我们通过在KITTI 3D目标检测基准测试挑战中显示出高达5%的平均精度提高来证明我们数据集的有效性,当最先进的3D目标检测网络使用我们的数据进行预训练时。数据和代码可在https://tinyurl.com/y3tb9sxy上获得
2019-05-07 cs.CV cs.RO
Towards Robust Perception for Assistive Robotics: An RGB-Event-LiDAR Dataset and Multi-Modal Detection Pipeline
Robotics Institute, Faculty of Engineering and Information Technology, University of Technology Sydney (UTS)(悉尼科技大学工程与信息技术学院机器人研究所)
针对辅助机器人导盲应用,提出多模态检测流水线并发布包含 RGB、事件、LiDAR 和 IMU 的数据集,通过对比发现基于事件的检测模型在精确率和召回率上表现受限,为开发更鲁棒的感知算法填补数据空白。
2024-08-23 cs.RO
Cyclops: LiDAR as a Camera That Dreams in Color
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));University of Michigan(密歇根大学);University of Macau(澳门大学)
本文提出Cyclops框架,将稀疏NRS-LiDAR强度转为RGB视频,通过LBM等技术缓解帧间闪烁,合成RGB可使感知模型在多任务上优于LiDAR基线与传统相机。
2026-10-19 cs.RO
Analyzing Infrastructure LiDAR Placement with Realistic LiDAR Simulation Library
Shanghai AI Laboratory(上海人工智能实验室);Institute of Artificial Intelligence, Beihang University(北京航空航天大学人工智能研究院);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
针对路侧激光雷达最优部署研究不足的问题,本文构建真实激光雷达仿真库生成高保真点云,提出部署优化流程,经实验验证该方法可使标准车道场景下感知平均精度提升15%,相关代码将开源。
2025-01-14 cs.CV cs.RO
A Survey on LiDAR-based Autonomous Aerial Vehicles
Mechatronics and Robotic Systems (MaRS) Laboratory, Department of Mechanical Engineering, University of Hong Kong(机械与机器人系统实验室,机械工程系,香港大学)
本综述全面回顾了基于LiDAR的自主无人机在传感器演进、感知、规划、控制及应用方面的最新进展,并指出了现有挑战与未来研究方向。
2025-09-12 cs.RO
DENALI: A Dataset Enabling Non-Line-of-Sight Spatial Reasoning with Low-Cost LiDARs
Massachusetts Institute of Technology(麻省理工学院);Technische Universität Berlin(柏林技术大学)
本文提出DENALI数据集,利用低成本LiDARs的时间分辨直方图实现非线性视界空间推理,展示了其在隐藏物体感知中的应用及性能限制因素。
2026-04-17 cs.CV cs.RO
Influence of Camera-LiDAR Configuration on 3D Object Detection for Autonomous Driving
University of Michigan(密歇根大学);Carnegie Mellon University(卡内基梅隆大学)
针对相机-LiDAR传感器配置影响三维检测的问题,提出统一信息论代理指标与CARLA加速评估框架,并在nuScenes上验证配置可导致最高30%的AP差异。
2024-03-02 cs.RO
AevaScenes: An FMCW LiDAR Dataset and Benchmark for Long-Range Perception
提出FMCW激光雷达远距离感知数据集AevaScenes及三项基准任务,验证多普勒测量可显著提升远距离检测与场景流精度。
2026-09-29 cs.CV cs.RO
Is Your LiDAR Placement Optimized for 3D Scene Understanding?
University of Michigan(密歇根大学);National University of Singapore(新加坡国立大学);Carnegie Mellon University(卡内基梅隆大学)
针对现有单激光雷达驾驶数据集缺乏恶劣场景数据的问题,研究提出Place3D全流程管线,通过M-SOG指标优化多激光雷达布置,构建28万帧多条件数据集,在多项感知任务上优于基线方法。
2024-10-30 cs.CV cs.RO
Differentiable SLAM Helps Deep Learning-based LiDAR Perception Tasks
IIT Delhi(印度理工学院德里分校);McGill University(麦吉尔大学);MILA(米拉研究所);BITS Pilani(皮拉尼 Birla 理工学院);Université Laval(拉瓦尔大学)
本文提出以可微SLAM架构作为自监督训练信号来训练基于LiDAR的深度学习模型,并在分类、回归及SLAM任务中验证了其提升性能的有效性。
2023-09-17 cs.CV cs.LG cs.RO
Bootstrap Perception Under Hardware Depth Failure for Indoor Robot Navigation
New York University(纽约大学);City College of New York(纽约市立学院)
本文提出一种在硬件深度故障情况下用于室内机器人导航的 bootstrap 感知系统,通过自参照性质校准单目深度,提升障碍物感知覆盖率。
2026-03-30 cs.RO
S2S-Net: Addressing the Domain Gap of Heterogeneous Sensor Systems in LiDAR-Based Collective Perception
University of Tübingen, Faculty of Science, Department of Computer Science, Embedded Systems(图宾根大学科学学院计算机科学系嵌入式系统部)
本文针对 V2V 协同感知中的异构 LiDAR Sensor2Sensor 域差距,提出传感器域鲁棒架构 S2S-Net,并在 SCOPE 数据集上验证其泛化性能最高领先现有方法 44 个百分点。
2025-09-29 cs.CV cs.RO
LiDAR Based Semantic Perception for Forklifts in Outdoor Environments
Faculty of Engineering and Informatics, University of Applied Sciences Aschaffenburg(应用科学阿施芬堡大学工程与信息学院);Linde Material Handling GmbH, Kion Group(林德物料搬运有限公司,Kion集团)
本研究提出一种基于双LiDAR系统的轻量级语义分割框架,专为复杂室外环境中的自主叉车设计,实现了对安全关键实例与环境类别的高精度分割,满足严格运行时要求,适用于动态环境下的安全自主导航。
2025-05-28 cs.CV cs.LG cs.RO
Real-Time Truly-Coupled Lidar-Inertial Motion Correction and Spatiotemporal Dynamic Object Detection
University of Technology, Sydney(悉尼科技大学)
针对激光雷达扫描的运动畸变问题,提出基于IMU连续预积分的紧耦合去畸变方法,进一步通过时空法向量实现无学习无全局配准的动态目标检测,经公开数据集验证效果优于现有最优算法。
2024-10-07 cs.RO
3D Sensing of a Moving Object with a Nodding 2D LIDAR and Reconfigurable Mirrors
3D感知已成为机器人应用的大部分标准实践。高质量的3D感知是昂贵的。我们之前在点头2D激光雷达上的工作以低成本提供了高质量的3D深度信息,但这种传感器生成的稀疏数据在理解不确定环境中移动物体的特征方面提出了挑战。本文提出了一种新颖的设计点头激光雷达,但提供了动态可重构性方面的限制使用一组光学反射镜的传感器的视场。它不仅提供了更密集的扫描,而且还实现了三倍的扫描更新速率。此外,我们提出了一种新的校准机制,这种传感器,并证明其有效性的动态目标检测和跟踪。
2019-12-27 cs.CV cs.RO
End-to-End LiDAR optimization for 3D point cloud registration
Université Laval(拉瓦尔大学);Bentley Systems(贝恩特系统)
本文提出端到端自适应激光雷达框架,通过动态调整参数优化点云配准,提升精度与效率,并在CARLA模拟中验证其优于固定参数方法的性能。
2026-02-11 cs.CV cs.RO
LabelFormer: Object Trajectory Refinement for Offboard Perception from LiDAR Point Clouds
Waabi;University of Toronto(多伦多大学)
本文提出 LabelFormer,通过逐帧编码、self-attention 全时序推理和解码目标尺寸与位姿来细化 LiDAR 离板感知轨迹,并在城市与高速场景及下游检测中验证其显著优势。
2023-11-02 cs.CV cs.RO
Learning Shared RGB-D Fields: Unified Self-supervised Pre-training for Label-efficient LiDAR-Camera 3D Perception
University of Michigan(密歇根大学);Carnegie Mellon University(卡内基梅隆大学)
针对自动驾驶多模态感知的标注难题,提出统一自监督预训练策略 NS-MAE,利用 NeRF 编码外观与几何,通过共享公式优化 LiDAR 与相机模态,实现高效掩码重建,在标签高效微调下显著提升 3D 感知性能。
2024-10-11 cs.AI cs.CV cs.RO
Analyzing General-Purpose Deep-Learning Detection and Segmentation Models with Images from a Lidar as a Camera Sensor
University of Turku(图尔库大学)
在过去的十年中,机器人感知算法从深度学习(DL)的快速发展中受益匪浅。事实上,不同商业和研究平台的大量自主堆栈依赖于DL进行态势感知,特别是视觉传感器。这项工作探讨了通用DL感知算法的潜力,特别是检测和分割神经网络,用于处理高级激光雷达传感器的图像输出。据我们所知,这不是处理三维点云数据,而是第一次专注于低分辨率图像,具有360 \textdegree视场,通过对图像像素中的深度、反射率或近红外光进行编码来获得激光雷达传感器。我们表明,通过适当的预处理,通用DL模型可以处理这些图像,为在视觉传感器存在固有限制的环境条件下使用它们打开了大门。我们提供了一个定性和定量分析的各种神经网络架构的性能。我们相信,与基于点云的感知相比,使用为视觉相机构建的DL模型具有显著的优势,因为它具有更广泛的可用性和成熟度。
2022-03-08 cs.CV cs.RO
Heterogeneous LiDAR Early Fusion and Learned Re-Ranking Strategy for Robust Long-Term Place Recognition in Unstructured Environments
Miguel Hernández University of Elche(米格尔·埃尔南德斯·德埃尔切大学)
提出MinkUNeXt-VINE++方法,通过异构LiDAR数据早期融合和学习重排序策略,在非结构化环境(如葡萄园)中显著提升长期地点识别性能,Recall@1指标提升20%-30%。
2026-06-12 cs.AI cs.CV cs.RO
LiDAR-based 4D Occupancy Completion and Forecasting
University of Toronto(多伦多大学);Tsinghua University(清华大学)
提出统一场景补全与预测的 LiDAR 4D 占据任务 OCF,构建 OCFBench 数据集并评估相关及自有基线模型。
2024-09-10 cs.CV cs.RO
BikeScenes: LiDAR Semantic Segmentation for Bicycles
Denniz Goren(独立研究者);Holger Caesar(独立研究者)
针对更快电动自行车普及带来的骑行者安全问题,研究人员推出BikeScenes-lidarseg数据集,验证了SemanticKITTI预训练的FRNet模型经微调后在自行车搭载激光雷达场景中的显著性能提升,为相关研究提供了资源。
2026-09-01 cs.CV cs.RO
DeepIPCv2: LiDAR-powered Robust Environmental Perception and Navigational Control for Autonomous Vehicle
Department of Computer Science and Electronics, Universitas Gadjah Mada(计算机科学与电子系,加查马达大学);Department of Computer Science and Engineering, Toyohashi University of Technology(计算机科学与工程系,toyohashi技术大学)
提出DeepIPCv2端到端自动驾驶框架,通过融合LiDAR点云分割与多视图投影构建鲁棒场景表示,结合门控循环单元、命令特定多层感知器和PID控制器实现路径点与导航控制命令的联合估计,在光照变化下取得最低总指标误差和最少驾驶干预。
2026-05-31 cs.AI cs.CV cs.RO
Li-ViP3D++: Query-Gated Deformable Camera-LiDAR Fusion for End-to-End Perception and Trajectory Prediction
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Slovak University of Technology(斯洛伐克技术大学);Halmstad University(哈马比大学)
Li-ViP3D++通过引入查询门控可变形融合技术,实现了端到端感知与轨迹预测,提升了自动驾驶系统的鲁棒性和效率。
2026-07-21 cs.AI cs.CV cs.RO
Taming Perception Jitter: Uncertainty-Aware LiDAR Object Detection for Reliable Motion Classification
Technical University of Munich(慕尼黑工业大学);Institute for Automotive Engineering, Munich Institute of Robotics and Machine Intelligence, School of Engineering and Design(汽车工程研究所,慕尼黑机器人与机器智能研究所,工程与设计学院)
提出一种部署友好的策略,通过不确定性估计和统计检验减少静态物体的虚假动态预测,在真实驾驶中显著降低误报和不必要停车。
2026-06-08 cs.CV cs.RO
An Efficient Approach to Generate Safe Drivable Space by LiDAR-Camera-HDmap Fusion
University of Waterloo(滑铁卢大学);University of Alberta(阿尔伯塔大学)
本文提出一种基于LiDAR、相机和HD map融合的自动驾驶感知模块,结合自适应地面移除、路沿检测、改进DBSCAN聚类和抗校准偏差的视锥关联方法,高效生成安全可行驶空间,并在真实数据集及WATonoBus雪天运行中验证了其鲁棒性。
2024-10-29 cs.AI cs.RO
ReaLiTy and LADS: A Unified Framework and Dataset Suite for LiDAR Adaptation Across Sensors and Adverse Weather Conditions
Indian Institute of Technology Kanpur(印度理工学院坎普尔分校);University of New Brunswick(新不伦瑞克大学);Texas A&M University(德克萨斯农工大学)
本文提出ReaLiTy框架和LADS数据集,通过物理一致的方法提升LiDAR在不同传感器和天气条件下的适应性,实验显示了跨域一致性和真实天气效果的改进。
2026-04-11 cs.CV cs.RO
Investigating the Impact of Multi-LiDAR Placement on Object Detection for Autonomous Driving
Carnegie Mellon University(卡内基梅隆大学);Amazon(亚马逊);University of Southern California(南加州大学)
在过去的几年里,人们对提高自动驾驶汽车上LiDAR的感知性能越来越感兴趣。虽然大多数现有的工作都集中在开发新的深度学习算法或模型架构上,但我们从物理设计的角度研究这个问题,即,多个LiDAR的不同位置如何影响基于学习的感知。为此,我们引入了一个易于计算的信息理论替代度量,以定量和快速评估激光雷达的位置,用于不同类型物体的3D检测。我们还提出了一个新的数据汇集,检测模型的训练和评估框架,在现实的CARLA模拟器,以评估不同的多LiDAR配置。使用几个受自动驾驶公司设计启发的流行布局,我们通过广泛的实验展示了我们的替代度量与KITTI上不同代表性算法的目标检测性能之间的相关性,验证了我们的LiDAR布局评估方法的有效性。我们的研究结果表明,传感器的放置是不可忽略的三维点云为基础的目标检测,这将有助于高达10%的性能差异方面的平均精度在具有挑战性的三维目标检测设置。我们相信,这是定量研究LiDAR放置对感知性能影响的首批研究之一。该代码可在https://github.com/HanjiangHu/Multi-LiDAR-Placement-for-3D-Detection上获得。
2022-05-04 cs.AI cs.CV cs.LG
Geometry vs Structure: Graph-Based Diagnostics for LiDAR Point-Cloud Simulation Fidelity
National Research Council Canada(加拿大国家研究委员会)
针对LiDAR点云仿真保真度评估,提出基于图社区检测与图谱度量的框架,可捕捉结构差异,在50对扫描上验证了与几何度量的互补性。
2026-09-16 cs.CV cs.RO
Radar-Lidar Fusion for Object Detection by Designing Effective Convolution Networks
Aalto University(阿尔托大学);Finnish Center for Artificial Intelligence(芬兰人工智能中心);Gwangju Institute of Science and Technology(光州科学技术院)
本文提出一种雷达-激光雷达融合的双分支目标检测框架,通过加性注意力整合特征并引入并行分叉结构处理尺度变化,在Radiate数据集上超越现有最优方法。
2023-10-30 cs.CV cs.RO