FIORD: A Fisheye Indoor-Outdoor Dataset with LIDAR Ground Truth for 3D Scene Reconstruction and Benchmarking
Tampere University（坦佩雷大学）；Aalto University（阿尔托大学）；University of Oulu（奥卢大学）
本文提出FIORD数据集，利用双200度鱼眼镜头采集5个室内和5个室外场景的360度覆盖图像，并提供激光雷达稠密点云作为几何真值，以支持在遮挡和反射等挑战性条件下的三维场景重建与新视角合成基准测试。
2025-04-09 cs.CV
3D Lidar Mapping Relative Accuracy Automatic Evaluation Algorithm
Alibaba DAMO Academy（阿里巴巴达摩院）
基于3D激光雷达的高清地图在自主车辆定位、规划、决策、感知等方面发挥着至关重要的作用，高清地图构建中采用了许多与SLAM（同时定位与地图构建）相关的3D激光雷达测绘技术，以保证其高精度。为了评估三维激光雷达映射的精度，最常用的方法是使用地面真值来计算估计的位姿与地面真值之间的误差，然而在实际的自主车辆激光雷达映射中，通常很难获得地面真值。本文提出了一种相对精度评估算法，该算法可以在没有地面实况的情况下自动评估由3D激光雷达测绘的高清地图的精度。利用光的直线传播原理和光不能穿透不透明物体的事实，设计了一种定量检测点云地图中重影程度的方法，间接反映点云地图的精度。实验结果表明，该算法能够自动有效地检测出精度低于设定阈值（如0.1m）的不良姿态，并计算出不良姿态在所有估计姿态中所占的百分比P_bad，从而得到最终的精度度量P_acc = 1 - P_bad。
2020-06-01 cs.CV cs.RO
Just Add $100 More: Augmenting NeRF-based Pseudo-LiDAR Point Cloud for Resolving Class-imbalance Problem
Korea University（高丽大学）；NAVER LABS（NAVER实验室）
针对LiDAR 3D目标检测中的类别不平衡问题，提出PGT-Aug方法，利用低成本视频生成的伪LiDAR点云进行数据增强，包含3D重建、域对齐与上下文感知放置，在nuScenes等基准上显著提升性能。
2024-03-20 cs.CV
LiDARCap: Long-range Marker-less 3D Human Motion Capture with LiDAR Point Clouds
Xiamen University（厦门大学）；ShanghaiTech University（上海科技大学）
现有的运动捕捉数据集主要是短距离的，还不能满足长距离应用的需要。我们提出了LiDARHuman26M，这是一种新的人体运动捕捉数据集，由LiDAR在更长的范围内捕捉，以克服这一限制。我们的数据集还包括IMU系统获取的地面真实人体运动和同步RGB图像。我们进一步提出了一个强基线的方法，LiDARCap，激光雷达点云人体运动捕捉。具体来说，我们首先利用PointNet++编码的点的特征，然后采用逆运动学求解器和SMPL优化器回归的姿态通过聚合的时间编码的特征分层。定量和定性实验表明，我们的方法优于仅基于RGB图像的技术。消融实验表明，我们的数据集是具有挑战性的，值得进一步研究。最后，在KITTI数据集和Waymo开放数据集上的实验表明，我们的方法可以推广到不同的LiDAR传感器设置。
2022-03-28 cs.CV
Integrating Object Detection, LiDAR-Enhanced Depth Estimation, and Segmentation Models for Railway Environments
1 Department of Excellence in Robotics \& AI, Scuola Superiore Sant'Anna, Pisa, Italy 2 Progress Rail Signaling S.p.A., Serravalle Pistoiese (PT), Italy
本文提出一个模块化框架，结合目标检测、轨道分割和单目深度估计，用于铁路环境中的障碍物检测与距离估计，通过合成数据集评估，实现0.63米的高精度距离估计。
2026-04-16 cs.CV
Automatic Labeled LiDAR Data Generation based on Precise Human Model
随着深度神经网络的改进，已经提出了使用LiDAR捕获的点云进行人类识别的最先进的网络。然而，这些网络的性能强烈地依赖于训练数据。收集训练数据的一个问题是标记。人类标记是获得地面真实标签所必需的;然而，标记需要巨大的成本。因此，我们提出了一个自动标记的数据生成管道，我们可以改变任何参数或数据生成环境。我们的方法使用一个名为Dhaiba的人体模型和Miraikan的背景，从而生成逼真的人工数据。我们提出了由拟议的管道生成的50万+数据。本文还描述了管道的规格和数据细节，并对各种方法进行了评估。
2019-02-14 cs.CV
Patchwork: Concentric Zone-based Region-wise Ground Segmentation with Ground Likelihood Estimation Using a 3D LiDAR Sensor
KAIST (Korea Advanced Institute of Science and Technology)（韩国科学技术院）
地面分割对于地面移动平台进行导航或邻近目标识别至关重要。不幸的是，地面并不平坦，因为它具有陡峭的斜坡;颠簸的道路;或物体，如路边石，花坛等。为了解决这个问题，本文提出了一种新的地面分割方法称为\textit{Patchwork}，这是强大的解决欠分割问题，并在40 Hz以上。在本文中，一个点云被编码成同心区域模型为基础的表示，以分配一个适当的云点之间的密度箱的方式，是不计算复杂。然后进行区域接地平面拟合，以估计每个箱的部分接地。最后，地面似然估计的引入，以显着减少误报。在SemanticKITTI和粗糙地形数据集上进行了实验验证，与现有的基于平面拟合的方法相比，我们所提出的方法具有更快的速度。代码可用：www.example.com
2022-03-10 cs.CV cs.RO
LCCNet: LiDAR and Camera Self-Calibration using Cost Volume Network
Harbin Institute of Technology（哈尔滨工业大学）
在本文中，我们提出了一种新的在线自校准方法的光探测和测距（LiDAR）和相机传感器。与之前基于CNN的方法（将RGB图像和未校准的深度图像的特征图连接起来）相比，我们利用PWC-Net启发的成本量进行特征匹配。除了预测的外部校准参数的平滑L1损失之外，还应用了额外的点云损失。与直接回归激光雷达和相机之间的外部参数不同，我们预测了从初始校准到地面真实值的失准偏差。在推理过程中，校准误差进一步减少与迭代细化和时间滤波方法的使用。在KITTI数据集上的评估结果表明，我们的方法在平移和旋转的平均绝对校准误差分别为0.297 cm和0.017°方面优于基于CNN的最先进方法，其中误校准幅度高达1.5 m和20°。
2021-04-24 cs.CV
Self-supervised Visual-LiDAR Odometry with Flip Consistency
Zhejiang University（浙江大学）；Zhejiang Lab（之江实验室）
大多数基于学习的方法通过利用视觉传感器来估计自我运动，这会受到剧烈的照明变化和无纹理场景的影响。在本文中，我们将稀疏但准确的深度测量激光雷达获得克服视觉方法的局限性。为此，我们设计了一个自我监督的视觉激光雷达测距（Self-VLO）框架。它将单目图像和从3D激光雷达点投影的稀疏深度图作为输入，并以端到端学习的方式产生姿态和深度估计，而不使用任何地面实况标签。为了有效地融合两种模式，我们设计了一个双通道编码器，从视觉和深度图像中提取特征，并通过我们的融合模块将编码特征与解码器中的特征在多个尺度上融合。我们还采用了连体结构，并设计了一个自适应加权翻转一致性损失，以促进我们的VLO的自监督学习。在KITTI里程计基准上的实验表明，该方法优于所有自监督视觉或激光雷达里程计。它的性能也优于完全监督的VO，展示了融合的力量。
2021-01-05 cs.CV
Predicting Vegetation Stratum Occupancy from Airborne LiDAR Data with Deep Learning
LASTIG, Univ. Gustave Eiffel, IGN-ENSG（古斯塔夫·埃菲尔大学LASTIG实验室，法国国家地理与林业信息学院）；INRAE, UMR 1202 BIOGECO, Université de Bordeaux（法国国家农业食品与环境研究院，波尔多大学生物地球化学与生态学联合研究中心）；EA G&E Bordeaux INP, Université Bordeaux Montaigne（波尔多蒙田大学，波尔多国立高等电子、计算机、电信、数学与机械学院环境与地理空间工程研究团队）
我们提出了一种新的基于深度学习的方法，用于从机载3D LiDAR点云估计植被层的占用率。我们的模型预测栅格化的占用地图对应于低，中，高覆盖的三个植被层。我们的弱监督训练方案允许我们的网络仅使用包含数千个点的圆柱形地块上聚合的植被占用值进行监督。这样的地面实况比逐像素或逐点注释更容易产生。我们的方法在精度方面优于手工制作和深度学习基线高达30%，同时提供可视化和可解释的预测。我们提供了一个开放源代码的实现，以及199个农业地块的数据集，以训练和评估弱监督占用回归算法。
2022-01-20 cs.CV
DSCnet: Replicating Lidar Point Clouds with Deep Sensor Cloning
DeepScale, Inc.（DeepScale公司）
卷积神经网络（CNN）在解决从图像分类到图像分割的各种计算机视觉任务方面变得越来越流行。最近，自动驾驶车辆产生了对深度信息的需求，深度信息通常使用诸如光检测和测距（LIDAR）的硬件传感器来获得。虽然它可以提供精确的距离测量，但大多数激光雷达仍然太贵，无法在大规模生产的消费者车辆中销售，这促使人们从相机等商品汽车传感器中生成深度信息。在本文中，我们提出了一种称为深度传感器克隆（DSC）的方法。这个想法是使用卷积神经网络结合廉价的传感器来复制由昂贵的激光雷达创建的3D点云。为了实现这一点，我们开发了一个新的数据集（DSDepth）和一个新的CNN架构（DSCnets）家族。虽然之前的任务（如KITTI深度预测）使用插值的RGB-D图像作为训练的地面实况，但我们使用DSCnets直接预测LIDAR点云。当我们将我们的模型的输出与75，000美元的LIDAR进行比较时，我们发现我们最准确的DSCnet使用单个相机实现了5.77%的相对误差，使用立体相机实现了4.69%的相对误差。
2018-11-27 cs.CV
Bootstrapping a 4D LiDAR Annotation Tool from Video Foundation Models
KAIST（韩国科学技术院）；Chung-Ang University（中央大学）
研究针对4D激光雷达标注成本高、难扩展的问题，提出LiDAR-SAM2框架，借助SAM2自动生成标注，大幅降低3D/4D场景理解的标注负担。
2026-10-01 cs.CV
Continuous Online Extrinsic Calibration of Fisheye Camera and LiDAR
Spleenlab GmbH（Spleenlab有限公司）
针对自动驾驶中相机与LiDAR外部标定因物理干扰而失准的问题，提出利用单目深度估计与LiDAR几何距离的互信息作为优化指标，实现无需标定目标、无需训练数据的连续在线标定，并在KITTI-360上验证了其精度与速度。
2023-06-22 cs.CV
Online Inference and Detection of Curbs in Partially Occluded Scenes with Sparse LIDAR
Oxford Robotics Institute (ORI)（牛津机器人研究所）；University of Oxford（牛津大学）
道路边界或路缘为自动驾驶汽车提供了解释道路场景和生成行为计划的基本信息。虽然路缘石传达重要信息，但在复杂的城市环境中很难检测到（特别是与道路的其他元素（如交通标志和道路标记）相比）。这些困难来自于其他交通参与者的遮挡以及不断变化的照明和/或天气条件。此外，道路边界具有各种形状、颜色和结构，而运动规划算法需要实时的准确和精确的度量信息来生成它们的规划。在本文中，我们提出了一种实时的基于激光雷达的方法，用于精确检测车辆周围的路边（360度）。我们的方法处理交通和不断变化的环境条件的闭塞。为此，我们将3D LIDAR点云数据投影到2D鸟瞰图像中（类似于逆透视映射）。然后，这些图像由经过训练的深度网络处理，以推断可见和被遮挡的道路边界。最后，后处理步骤过滤检测到的路缘段并随时间跟踪它们。实验结果表明，该方法对真实驾驶数据的有效性。因此，我们相信，我们的基于激光雷达的方法提供了一种高效和有效的方法来检测车辆周围的可见和遮挡的限制在具有挑战性的驾驶场景。
2019-07-11 cs.CV cs.LG cs.RO
LOGOS: LiDAR-Only Gaussian Elevation Splatting for Unified Tiny Obstacle Segmentation
School of Automation and Intelligent Sensing, Shanghai Jiao Tong University（上海交通大学自动化与智能感知学院）
提出LOGOS系统，通过将路面建模为2D高斯原语的连续混合，利用无反向传播的激光雷达方法估计高程，实现微小障碍物分割，在道路和越野场景中优于现有方法。
2026-06-23 cs.CV cs.RO
Boosting LiDAR-based Semantic Labeling by Cross-Modal Training Data Generation
Daimler AG（戴姆勒股份公司）；Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院）；Forschungszentrum Informatik (FZI)（信息技术研究中心）
移动机器人和自动驾驶汽车依靠多模态传感器设置来感知和理解周围环境。除了摄像头，LiDAR传感器也是最先进的感知系统的核心组件。除了准确的空间感知，对环境的全面语义理解对于高效和安全的操作至关重要。在本文中，我们提出了一种新的深度神经网络架构称为LiLaNet的逐点，半密集激光雷达数据的多类语义标记。该网络利用3D点云的虚拟图像投影进行有效推理。此外，我们提出了一个大规模的跨模态训练数据生成称为自动标记的自动化过程，以提高语义标记性能，同时保持手动注释工作量低。所提出的网络架构以及自动数据生成过程的有效性证明了手动注释的地面实况数据集。LiLaNet显示出显著优于当前最先进的CNN架构的LiDAR数据。应用我们自动生成的大规模训练数据，与仅在手动注释数据上训练的网络相比，可以提高高达14个百分点。
2018-04-26 cs.CV
Towards Practical Human Motion Prediction with LiDAR Point Clouds
ShanghaiTech University（上海科技大学）；The University of Hong Kong（香港大学）
本文提出首个基于单LiDAR点云的人体运动预测方法LiDAR-HMP，通过结构感知身体特征描述子直接从原始点云预测未来3D姿态，避免两阶段误差累积，并在两个公开基准上达到最优性能。
2024-10-01 cs.CV
RaLiFlow: Scene Flow Estimation with 4D Radar and LiDAR Point Clouds
RaLiFlow是首个联合4D雷达和激光雷达的场景流学习框架，通过动态感知双向跨模态融合模块和精心设计的损失函数实现高效的雷达-激光雷达融合。
2025-12-11 cs.CV
Monocular Fisheye Camera Depth Estimation Using Sparse LiDAR Supervision
Valeo und Schalter und Sensoren GmbH（法雷奥开关与传感器有限公司）；Valeo Vision Systems（法雷奥视觉系统公司）；Technische University, Chemnitz（开姆尼茨工业大学）
自动驾驶汽车周围的近场深度估计是一项重要功能，可以通过四个视野超过180的广角鱼眼相机来实现。基于卷积神经网络（CNN）的深度估计产生现有技术水平的结果，但是由于无法手动获得深度注释，因此进展受到阻碍。合成数据集是常用的，但它们有局限性。例如，它们无法捕捉真实数据集中存在的车辆等对象外观的广泛变化。在对自然图像执行推断时也存在域移位，这由许多明确地处理领域自适应的尝试所示。在这项工作中，我们探索了一种替代方法的训练使用稀疏激光雷达数据作为地面实况的深度估计鱼眼相机。我们使用我们的自动驾驶汽车设置构建了自己的数据集，该设置具有64束Velodyne LiDAR和四个广角鱼眼相机。为了处理LiDAR和鱼眼相机的视点差异，实现了遮挡解决机制。我们从Eigen的多尺度卷积网络架构开始，通过修改激活函数和优化器进行改进。我们在我们的数据集上获得了有希望的结果，RMSE误差与KITTI上获得的最新结果相当。
2018-09-24 cs.CV
LIDAR-based Driving Path Generation Using Fully Convolutional Neural Networks
Chalmers University of Technology（查尔姆斯理工大学）
在这项工作中，开发了一种新的基于学习的方法，通过集成LIDAR点云，GPS-IMU信息和Google驾驶方向来生成驾驶路径。该系统基于全卷积神经网络，其联合学习以从真实世界驾驶序列执行感知和路径生成，并且使用自动生成的训练样本进行训练。对输入数据的几种组合进行了测试，以评估特定信息模式提供的性能增益。使用所有可用传感器以及驾驶方向训练的完全卷积神经网络在考虑60 × 60米的感兴趣区域时获得了88.13%的最佳MaxF分数。通过考虑较小的感兴趣区域，预测路径和地面实况之间的一致性增加到92.60%。在这项工作中获得的积极成果表明，所提出的系统可以帮助填补低层次的场景解析和行为反射的方法之间的差距，通过生成输出，接近车辆控制，并在同一时间人类可解释的。
2017-04-03 cs.CV
Joint Prediction of Monocular Depth and Structure using Planar and Parallax Geometry
Technical University of Munich（慕尼黑工业大学）；Zenuity GmbH（Zenuity有限公司）；ML6；Zhejiang University（浙江大学）
监督学习深度估计方法在高质量地面实况（如LiDAR数据）上训练时可以实现良好的性能。然而，LiDAR只能生成稀疏的3D地图，导致信息丢失。难以获得每像素的高质量地面实况深度数据。为了克服这一局限性，我们提出了一种新的方法相结合的结构信息，从一个有前途的平面和视差几何管道与深度信息到一个U-Net监督学习网络，这导致在定量和定性的改进相比，现有的流行的基于学习的方法。特别是，该模型在两个大规模和具有挑战性的数据集上进行了评估：KITTI Vision Benchmark和Cityscapes数据集，并在相对误差方面实现了最佳性能。与纯深度监督模型相比，我们的模型在薄对象和边缘的深度预测上具有令人印象深刻的性能，并且与结构预测基线相比，我们的模型表现得更稳健。
2022-07-13 cs.CV
GauU-Scene V2: Assessing the Reliability of Image-Based Metrics with Expansive Lidar Image Dataset Using 3DGS and NeRF
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
本研究构建了覆盖超6.5平方公里的多模态大规模场景重建基准GauU-Scene，提出无人机数据集的激光雷达与图像配准方法，通过实验揭示现有基于图像的指标不可靠及高斯溅射方法的几何重建缺陷。
2024-04-13 cs.CV
CARD: A Multi-Modal Automotive Dataset for Dense 3D Reconstruction in Challenging Road Topography
CARIAD SE（CARIAD公司）；Technische Universität Berlin（柏林技术大学）；Vision & Robotics GmbH（视觉与机器人技术有限公司）
CARD数据集通过提供连续序列中的近密3D地面真实信息，解决了现有数据集在复杂道路地形下深度估计和补全的不足，支持更精确的几何和感知任务评估。
2026-05-07 cs.CV
MAELi: Masked Autoencoder for Large-Scale LiDAR Point Clouds
Graz University of Technology（格拉茨工业大学）；Christian Doppler Laboratory for Embedded Machine Learning（克里斯蒂安·多普勒嵌入式机器学习实验室）
本文提出 MAELi 自监督预训练框架，利用 LiDAR 点云稀疏性、球面投影掩码及空白/遮挡空间区分进行重建，以减少 3D 标注并提升检测与分割性能。
2023-12-07 cs.CV
LPRnet: A self-supervised registration network for LiDAR and photogrammetric point clouds
Harbin Institute of Technology（哈尔滨工业大学）
LPRnet通过自监督学习和多尺度训练策略，有效整合异构激光雷达与摄影测量点云，提升注册精度与鲁棒性。
2025-01-10 cs.CV eess.IV
Learning-Based Human Segmentation and Velocity Estimation Using Automatic Labeled LiDAR Sequence for Training
Tokyo Institute of Technology（东京工业大学）；National Institute of Advanced Industrial Science and Technology（产业技术综合研究所）
在本文中，我们提出了一个自动标记的顺序数据生成流水线的人体分割和速度估计与点云。考虑到深度神经网络的影响，已经提出了使用由光检测和测距（LiDAR）捕获的点云进行人类识别的最先进的网络架构。然而，一个缺点是，遗留数据集可能只覆盖图像域，而不提供重要的标签信息，这种限制已经扰乱了迄今为止的研究进展。因此，我们开发了一个自动标记的顺序数据生成流水线，在其中我们可以控制任何参数或数据生成环境，具有逐像素和逐帧的地面真值分割和逐像素的速度信息，用于人类识别。我们的方法使用精确的人体模型，并再现精确的运动，以生成逼真的人工数据。我们提出了超过7K的视频序列，其中包括由建议的管道生成的32帧。与建议的序列发生器，我们确认，人类分割性能提高时，使用视频域相比，使用图像域。我们还通过与不同条件下生成的数据进行比较来评估我们的数据。此外，我们估计行人速度与激光雷达只利用所提出的管道生成的数据。
2020-03-11 cs.CV
D$^2$GS: Dense Depth Regularization for LiDAR-free Urban Scene Reconstruction
Wuhan University（武汉大学）；Shanghai Jiaotong University（上海交通大学）；TongJi University（同济大学）；Bosch（博世）；Nanyang Technological University（南洋理工大学）
提出无LiDAR城市场景重建框架D$^2$GS，通过多视图度量深度初始化、Depth Enhancer联合优化高斯几何与深度及道路区域几何约束，在Waymo数据集上超越现有方法且几何精度优于使用真实LiDAR的方法。
2025-11-02 cs.CV
DOC-Depth: A novel approach for dense depth ground truth generation
Mines Paris – PSL（巴黎矿业学院 – PSL大学）；Valeo（法雷奥集团）；Exwayz（Exwayz公司）；Valeo AI（法雷奥人工智能公司）
本文提出DOC-Depth方法，利用LiDAR里程计和动态物体分类技术从任意LiDAR传感器生成稠密深度真值，在KITTI上将密度从16.1%提升至71.2%，并公开了全部软件与标注数据。
2025-02-04 cs.CV cs.RO
False Positive Detection and Prediction Quality Estimation for LiDAR Point Cloud Segmentation
University of Wuppertal（伍珀塔尔大学）；Aptiv（安波福）
我们提出了一种新的激光雷达点云数据的语义分割后处理工具，称为LidarMetaSeg，它估计预测质量分段。为此，我们计算分散措施的基础上，网络的概率输出，以及基于点云输入功能的功能措施，并将它们聚集在段级。这些聚集的测量被用于训练Meta分类模型以预测预测的段是否是假阳性，以及Meta回归模型以预测段级交集。然后，这两个模型都可以应用于语义分割推理，而无需知道地面真相。在我们的实验中，我们使用不同的LiDAR分割模型和数据集，并分析我们的方法的能力。我们表明，我们的结果优于其他标准的方法。
2021-10-29 cs.AI cs.CV
Monocular Depth Prediction through Continuous 3D Loss
University of Michigan（密歇根大学）；Tsinghua University（清华大学）
本文提出了一种新的连续三维损失函数，用于从单目图像中学习深度。使用稀疏LIDAR点来监督来自单目图像的密集深度预测，这使我们能够在训练期间利用相机-LIDAR传感器套件的可用开源数据集。目前，准确和负担得起的距离传感器是不容易获得的。立体相机和激光雷达测量深度要么不准确，要么稀疏/昂贵。与当前的点对点损失评估方法相比，所提出的3D损失将点云视为连续对象;因此，它补偿了由于LIDAR的稀疏测量而导致的密集地面真实深度的缺乏。我们在三种最先进的单目深度预测方法DORN，BTS和Monodepth 2中应用了所提出的损失。实验评估表明，提出的损失提高了深度预测精度，并产生点云与所有测试基线相比，具有更一致的3D几何结构，这意味着提出的损失一般深度预测网络的好处。这项工作的视频演示可在https://youtu.be/5HL8BjSAY4Y上获得。
2020-08-08 cs.CV
All-day Depth Completion via Thermal-LiDAR Fusion
Pusan National University（釜山国立大学）；Carnegie Mellon University（卡内基梅隆大学）
针对恶劣环境下RGB深度补全不可靠及监督不足的问题，提出利用热成像-LiDAR融合的COPS框架，通过深度感知对比损失和伪监督增强边界清晰度与补全精度。
2025-04-03 cs.CV cs.RO
Image-to-Point Cloud Registration Made Easy with Rectified Flow-based LiDAR Upsampling
Department of Computer Science and Engineering, Toyohashi University of Technology（丰桥技术科学大学计算机科学与工程系）；National Institute of Advanced Industrial Science and Technology（国立先进工业科学技术研究所）
研究图像到点云配准难题，提出将激光雷达视为成像传感器的方法，通过条件整流流、特征匹配等步骤估计位姿，经自监督预训练和少量数据微调，实现高精度快速配准，性能优于现有方法。
2026-07-17 cs.CV cs.RO
CurbScan: Curb Detection and Tracking Using Multi-Sensor Fusion
Carnegie Mellon University（卡内基梅隆大学）；The Bronx High School of Science（布朗克斯科学高中）
可靠的路边检测对于城市环境中的安全自动驾驶至关重要。路边检测和跟踪在车辆定位和路径规划中也是有用的。过去的工作利用3D LiDAR传感器来确定精确的距离信息和路缘石的几何属性。然而，这种方法需要密集的点云数据，并且还容易受到道路和越野区域上存在的障碍物的误报。在本文中，我们提出了一种方法来检测和跟踪路边通过融合来自多个传感器的数据：稀疏激光雷达数据，单摄像机和低成本的超声波传感器。该检测算法基于单个3D LiDAR和用于检测候选路缘特征的单摄像机传感器，并有效地消除了周围静态和移动障碍物引起的误报。该算法通过采用基于卡尔曼滤波器的预测和融合低成本超声波传感器的横向距离信息，提高了跟踪算法的检测精度。接下来，我们提出了一个线拟合算法，产生强大的结果遏制位置。最后，我们证明了我们的解决方案的实际可行性，在不同的道路环境中进行测试，并评估我们的实施在一个真正的车辆\footnote{Demo video clips demonstrating our algorithm have been uploaded to Youtube: https://www.youtube.com/watch?v=w5MwsdWhcy4, https://www.youtube.com/watch?v=Gd506RklfG8.}。该算法对KITTI数据集和我们的数据集分别在4.5-22米和0-14米范围内保…
2020-10-13 cs.AI cs.CV cs.RO
LiDARTouch: Monocular metric depth estimation with a few-beam LiDAR
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立理工学院）
基于视觉的深度估计是自主系统中的一个关键特征，其通常依赖于单个相机或多个独立的相机。在这样的单目设置中，利用来自一个或多个昂贵的LiDAR（例如，具有64个波束，或者仅照相机的方法，其遭受尺度模糊和无限深度问题。在本文中，我们提出了一种通过将单目相机与轻型LiDAR相结合来密集估计度量深度的新方法，例如，具有4个光束，典型的当今汽车级大规模生产的激光扫描仪。受最近的自监督方法的启发，我们引入了一个新的框架，称为LiDARTouch，在LiDAR的“触摸”的帮助下从单目图像中估计密集的深度图，即，而不需要密集的地面实况深度。在我们的设置中，最小LiDAR输入在三个不同的层面上做出贡献：作为额外模型的输入，在自监督LiDAR重建目标函数中，以及估计姿态变化（自监督深度估计架构的关键组件）。我们的LiDARTouch框架在KITTI数据集上实现了最新的自监督深度估计，从而支持我们将非常稀疏的LiDAR信号与其他视觉特征相结合的选择。此外，我们表明，使用几束激光雷达消除了尺度模糊和无限深度的问题，只有相机的方法遭受。我们还证明了完全监督深度完成文献中的方法可以适用于具有最小LiDAR信号的自监督制度。
2022-11-25 cs.AI cs.CV cs.RO
iCurb: Imitation Learning-based Detection of Road Curbs using Aerial Images for Autonomous Driving
The Hong Kong University of Science and Technology（香港科技大学）；The Hong Kong Polytechnic University（香港理工大学）
道路边缘检测是自动驾驶的基本功能。它可用于自动驾驶车辆确定道路上的可驾驶区域。通常情况下，路边检测在线使用车载传感器，如摄像机和3-D激光雷达。然而，使用摄像机的在线检测可能会受到具有挑战性的照明条件的影响，并且由于点云的稀疏性问题，基于激光雷达的方法可能难以检测远处的道路限制。近年来，航空图像在世界范围内变得越来越容易获得。我们发现，道路区域和非道路区域之间的视觉外观通常是不同的航空图像，所以我们提出了一种新的解决方案，检测道路路边离线使用航空图像。我们的方法的输入是空间图像，并且输出直接是图形（即，顶点和边）表示道路路缘。为此，我们制定了一个模仿学习问题的问题，并设计了一个新的网络和创新的训练策略，训练代理迭代地找到路缘图。在公开数据集上的实验结果证实了该方法的有效性和优越性。这项工作是伴随着一个演示视频和补充文件在https://tonyxuqaq.github.io/iCurb/。
2021-03-31 cs.CV cs.RO
The Oxford Spires Dataset: Benchmarking Large-Scale LiDAR-Visual Localisation, Reconstruction and Radiance Field Methods
Oxford Robotics Inst., Dept. of Eng. Science, Univ. of Oxford, UK（牛津大学机器人研究所、工程科学系）；Group of Automation, Robotics and Computer Vision (AUROVA), University of Alicante, Spain（自动化、机器人与计算机视觉小组（AUROVA）、阿尔基兰特大学）
本文提出牛津尖塔大规模多模态数据集及定位、重建和新视角合成基准，揭示辐射场方法过拟合训练姿态、泛化差且重建不如MVS的局限。
2025-09-10 cs.CV cs.RO
Self-Supervised Point Cloud Completion via Inpainting
Carnegie Mellon University（卡内基梅隆大学）
当在城市环境中导航时，许多需要跟踪和避免的对象被严重遮挡。使用这些部分扫描进行规划和跟踪可能具有挑战性。这项工作的目的是学习完成这些部分点云，让我们充分了解对象的几何形状只使用部分观察。以前的方法借助目标对象的完整、真实的注释来实现这一点，这些注释仅适用于模拟数据集。然而，这样的地面实况对于真实世界的LiDAR数据是不可用的。在这项工作中，我们提出了一个自我监督的点云完成算法PointPnCNet，它只在部分扫描上进行训练，而不假设可以访问完整的地面实况注释。我们的方法通过图像修复来实现这一点。我们删除一部分输入数据，并训练网络以完成缺失的区域。由于很难确定哪些区域在初始云中被遮挡，哪些区域被综合删除，我们的网络学习完成完整的云，包括初始部分云中的缺失区域。我们表明，我们的方法在合成数据集ShapeNet和真实世界的LiDAR数据集Semantic KITTI上都优于以前的无监督和弱监督方法。
2021-11-21 cs.CV cs.LG
A workflow for generating synthetic LiDAR datasets in simulation environments
School of Engineering \& Computing Christopher Newport University；Department of Computer Science Old Dominion University
本文提出一种基于CoppeliaSim的仿真工作流程，用于生成带标注的合成LiDAR多模态数据集，支持自动驾驶感知研究，并评估点注入等安全攻击及防御策略。
2025-06-20 cs.CV cs.RO
Efficient Implicit Neural Reconstruction Using LiDAR
Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））；The University of Hong Kong（香港大学）；Hong Kong University of Science and Technology（香港科技大学）；DJI Co.（大疆创新科技有限公司）
使用隐式神经表示建模场景几何显示了其在准确性，灵活性和低内存使用方面的优势。以前的方法已经证明了使用彩色或深度图像的令人印象深刻的结果，但仍然难以处理弱光条件和大规模场景。以全球点云为输入的方法需要精确的配准和地面真实坐标标注，这限制了其应用场景。本文提出了一种新的方法，使用稀疏的激光雷达点云和粗略的里程计重建细粒度的隐式占用场有效地在几分钟内。我们引入了一个新的损失函数，可以直接在3D空间中进行监督，而无需2D渲染，从而避免信息丢失。我们还设法以端到端的方式优化输入帧的姿势，创建一致的几何形状，而无需全局点云配准。据我们所知，我们的方法是第一个从仅LiDAR输入重建隐式场景表示。在合成和真实世界数据集上的实验，包括室内和室外场景，证明了我们的方法是有效的，高效的，准确的，与现有的方法使用密集的输入获得可比的结果。
2023-02-28 cs.CV cs.RO
EVLoc: Event-based Visual Localization in LiDAR Maps via Event-Depth Registration
Institute of Visual Computing, Graz University of Technology（格拉茨工业大学视觉计算研究所）
本文提出EVLoc框架，通过事件-深度配准实现事件相机在LiDAR地图中的定位，采用初始位姿优化范式，结合光流估计与PnP求解器，并设计正则化模块减轻位姿偏差影响。
2025-02-28 cs.CV cs.RO
Real-time Neural Rendering of LiDAR Point Clouds
Hasselt University（哈塞尔特大学）；Digital Future Lab（数字未来实验室）；Flanders Make 2 Research Foundation（弗拉芒制造2研究基金会）
针对静态LiDAR点云含伪影不适合直接显示的问题，提出无需昂贵预处理或场景特定模型训练的高效方法，通过U-Net深度卷积模型和深度启发式预过滤处理投影问题，生成合成训练数据应对图像未对齐，实现实时渲染且速度与质量优于现有技术。
2025-08-20 cs.CV cs.GR
Road Curb Detection and Localization with Monocular Forward-view Vehicle Camera
Carnegie Mellon University（卡内基梅隆大学）；The Hebrew University of Jerusalem（耶路撒冷希伯来大学）；General Motors（通用汽车公司）
我们提出了一个强大的方法来估计路缘石三维参数（大小，位置，方向），使用校准的单目摄像机配备了鱼眼镜头。自动路边检测和定位在高级驾驶员辅助系统（ADAS）的背景下尤其重要，即在垂直和对角停车操作期间防止车辆保险杠的可能碰撞和损坏。结合三维几何推理与先进的基于视觉的检测方法，我们的方法是能够估计车辆到路边的距离在实时的的平均精度超过90%，以及它的方向，高度和深度。我们的方法包括两个不同的组件-路边检测在每个单独的视频帧和时间分析。第一部分包括复杂的路缘边缘提取和参数化的3D路缘模板拟合。使用一些关于现实世界几何形状的假设，我们可以检索路缘的高度和相对位置w.r.t.安装摄像机的移动车辆。利用支持向量机（SVM）分类器，结合方向性直方图（HOG），实现了基于表观特征的离群点滤除。在第二部分中，在时域中跟踪检测到的路缘区域，以便执行第二遍假阳性拒绝。我们已经验证了我们的方法在新收集的数据库中的11个视频在不同的条件下。我们使用逐点LIDAR测量和手动穷举标签作为基础事实。
2020-02-28 cs.CV
The Impact of 2D Segmentation Backbones on Point Cloud Predictions Using 4D Radar
Robotics Institute, Carnegie Mellon University（卡内基梅隆大学机器人研究所）；Electrical & Computer Engineering Department, University of Pittsburgh（匹兹堡大学电气与计算机工程系）
本研究探讨不同容量2D分割骨干网络对基于4D雷达生成3D点云质量的影响，发现最优骨干可提升23.7%，而过高容量反而有害。
2025-10-10 cs.CV cs.RO
Dense 3D Reconstruction Through Lidar: A Comparative Study on Ex-vivo Porcine Tissue
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；ETH Zurich（苏黎世联邦理工学院）
本文通过离体猪组织定量评估激光雷达解剖表面重建，证明其相较学习型立体匹配在精度、延迟、帧率和鲁棒性上的优势，并揭示组织相关近红外穿透深度偏差。
2024-01-19 cs.CV cs.RO eess.IV
On Deep Learning for Geometric and Semantic Scene Understanding Using On-Vehicle 3D LiDAR
Durham University（杜伦大学）
针对车载3D LiDAR场景理解的精度与效率挑战，研究提出高保真128通道LiDAR数据集DurLAR、轻量化高效分割流水线及RAPiD特征与RAPiD-Seg架构，提升了自动驾驶LiDAR应用的性能。
2024-11-01 cs.AI cs.CV cs.RO
Material-informed Gaussian Splatting for 3D World Reconstruction in a Digital Twin
Siemens Digital Industries Software（西门子数字工业软件）；Dept. of Cognitive Robotics, Delft University of Technology（认知机器人系，代尔夫特理工大学）
本文提出一种仅使用相机的3D重建方法，通过高斯点散布和材料信息提取，实现高精度的数字孪生重建，无需激光雷达和复杂校准。
2026-11-03 cs.CV cs.RO
DublinCity: Annotated LiDAR Point Cloud and its Applications
Trinity College Dublin（都柏林圣三一学院）；University of Houston-Victoria（休斯顿大学维多利亚分校）；Tarbiat Modares University（塔比亚特·莫达雷斯大学）
城市全尺寸三维模型的场景理解仍然是一项具有挑战性的任务。虽然先进的计算机视觉技术为分析3D城市元素提供了具有成本效益的方法，但精确且标记密集的数据集是必不可少的。本文介绍了有史以来第一个高密度航空激光扫描（ALS）点云在城市规模的标记数据集。这项工作引入了一个新的基准数据集，其中包括一个手动注释的点云超过2.6亿激光扫描点到10万（约）2015年都柏林LiDAR点云的资产[12]。对象被标记为13类，使用从大到小的细节层次（即，建筑物、植被和地面）到精制（即，窗、门和树）元素。为了验证数据集的性能，我们展示了两个不同的应用程序。首先，标记点云用于训练卷积神经网络（CNN）的城市要素分类。数据集在众所周知的最先进的CNN上进行测试（即，PointNet、PointNet++和So-Net）。其次，完整的ALS数据集被应用为城市规模的基于图像的3D重建的详细地面实况。
2019-09-06 cs.AI cs.CG cs.CV
Semi-Supervised Monocular Depth Estimation with Left-Right Consistency Using Deep Neural Network
从单目摄像机图像中估计场景的深度已经取得了巨大的研究进展。用于单图像深度预测的现有方法完全基于深度神经网络，并且它们的训练可以使用立体图像对进行无监督，使用LiDAR点云进行监督，或者使用立体和LiDAR进行半监督。一般来说，半监督训练是优选的，因为它不会受到监督训练的弱点的影响，这是由于相机和LiDAR视场的差异造成的，或者是由于可以从立体对恢复的差的深度精度造成的无监督训练。在本文中，我们提出了我们的研究在单图像深度预测使用半监督训练，优于国家的最先进的。我们实现了这一点，通过一个损失函数，明确利用左，右的一致性，在立体重建，这还没有被采用在以前的半监督训练。此外，我们描述了正确使用来自LiDAR的地面真实深度，可以显着减少预测误差。在流行的数据集上评估了我们的深度预测模型的性能，并通过实验结果证明了我们的半监督训练方法的每个方面的重要性。我们的深度神经网络模型已经公开。
2019-05-18 cs.AI cs.CV cs.RO
Resolving Class Imbalance for LiDAR-based Object Detector by Dynamic Weight Average and Contextual Ground Truth Sampling
Korea University（高丽大学）；Hyundai Motor Company（现代汽车公司）
自动驾驶系统需要一个3D物体检测器，它必须可靠地感知所有存在的道路代理，以安全地导航环境。然而，现实世界的驾驶数据集经常遭受数据不平衡的问题，这导致难以训练在所有类别中都能很好地工作的模型，从而导致不希望的不平衡次优性能。在这项工作中，我们提出了一种方法来解决这种数据不平衡的问题。我们的方法由两个主要部分组成：（i）基于LiDAR的3D物体检测器，具有每类多个检测头，其中每个头的损失通过动态权重平均进行修改以平衡。(ii)上下文真值（GT）采样，其中我们通过利用语义信息来利用采样的真值GT对象来增强点云，从而改进传统的GT采样技术。我们对KITTI和nuScenes数据集的实验证实了我们提出的方法在处理数据不平衡问题方面的有效性，与现有方法相比，可以产生更好的检测精度。
2022-10-07 cs.CV
MSDPN: Monocular Depth Prediction with Partial Laser Observation using Multi-stage Neural Networks
KAIST (Korea Advanced Institute of Science and Technology)（韩国科学技术院）
在这项研究中，提出了一种基于深度学习的多级网络架构，称为多级深度预测网络（MSDPN），用于使用2D LiDAR和单目相机预测密集的深度图。我们提出的网络由一个多级编码器-解码器架构和跨阶段特征聚合（CSFA）。所提出的多级编码器-解码器架构消除了由2D LiDAR的特性引起的部分观测问题，CSFA防止多级网络稀释特征，并允许网络更好地学习特征之间的空间关系。以前的作品使用来自地面实况的子采样数据作为输入，而不是实际的2D LiDAR数据。相比之下，我们的方法训练模型，并使用物理收集的2D LiDAR数据集进行实验。为此，我们获得了我们自己的数据集，称为KAIST RGBD扫描数据集，并在现实条件下验证了MSDPN的有效性和鲁棒性。正如实验所验证的那样，我们的网络对最先进的方法产生了有前途的性能。此外，我们分析了不同输入方法的性能，并证实了参考深度图在未经训练的场景中是鲁棒的。
2020-08-04 cs.CV cs.LG cs.RO
CP-loss: Connectivity-preserving Loss for Road Curb Detection in Autonomous Driving with Aerial Images
The Hong Kong University of Science and Technology（香港科技大学）；The Hong Kong Polytechnic University（香港理工大学）
路缘检测对于自动驾驶来说非常重要。它可以用来确定道路边界，以限制道路上的车辆，从而可以避免潜在的事故。目前的大多数方法使用车载传感器（如摄像头或3D激光雷达）在线检测道路限制。然而，这些方法通常遭受严重的闭塞问题。特别是在高度动态的交通环境中，大部分视场被动态对象占据。为了缓解这个问题，我们在本文中使用高分辨率的航空图像离线检测路边石。此外，检测到的道路限制可用于为自动驾驶车辆创建高清（HD）地图。具体来说，我们首先预测道路边缘的像素级分割图，然后进行一系列的后处理步骤来提取道路边缘的图结构。为了解决分割图中的不连通性问题，我们提出了一种创新的连通性保持损失（CP损失），以提高分割性能。在一个公开数据集上的实验结果证明了我们提出的损失函数的有效性。本文附有演示视频和补充文档，可在\texttt{\url{https://sites.google.com/view/cp-loss}}上获取。
2021-07-26 cs.CV cs.RO
PRISM-Loc: a Lightweight Long-range LiDAR Localization in Urban Environments with Topological Maps
Federal Research Center for Computer Science and Control of Russian Academy of Sciences（俄罗斯科学院计算机科学与控制联邦研究中心）；Moscow Institute of Physics and Technology (MIPT)（莫斯科物理技术学院）；Artificial Intelligence Research Institute (AIRI)（人工智能研究所）；Innopolis University（Innopolis大学）
PRISM-Loc提出了一种轻量级的激光雷达定位方法，结合紧凑拓扑表示与新型扫描匹配和车道线检测模块，实现了在城市环境中高精度的实时定位。
2025-12-22 cs.CV cs.RO
LISO: Lidar-only Self-Supervised 3D Object Detection
Mercedes-Benz（梅赛德斯-奔驰）；University of Tübingen（蒂宾根大学）；Tübingen AI Center（蒂宾根人工智能中心）
针对3D目标检测依赖昂贵人工标注的问题，提出仅用未标注激光雷达点云序列的轨迹正则化自训练方法LISO，借助自监督场景流网络生成优化伪真值，在多数据集多检测网络上验证了有效性。
2024-03-11 cs.CV
From Chaos to Calibration: A Geometric Mutual Information Approach to Target-Free Camera LiDAR Extrinsic Calibration
Spleenlab GmbH（Spleenlab 有限公司）
针对在线相机-LiDAR外参标定依赖真值训练数据的问题，提出基于几何互信息的无目标标定算法，无需约束轨迹、手工特征或离线优化，并在KITTI与KITTI-360鱼眼数据集上验证。
2023-11-03 cs.CV
