YOLO3D: End-to-end real-time 3D Oriented Object Bounding Box Detection from LiDAR Point Cloud
Valeo AI Research（法雷奥人工智能研究院）
三维空间中的目标检测与分类是自动驾驶中的一项关键任务。LiDAR传感器用于提供周围环境的3D点云重建，而实时的3D对象限界框检测任务仍然是一个强大的算法挑战。在本文中，我们建立在2D透视图像空间中的一次性回归元架构的成功基础上，并将其扩展到从LiDAR点云生成定向3D对象边界框。我们的主要贡献是将YOLO v2的损失函数扩展为包括偏航角、笛卡尔坐标中的3D盒中心和盒的高度作为直接回归问题。该公式实现了实时的性能，这对于自动驾驶至关重要。我们的测试结果在KITTI基准测试中显示出令人鼓舞的数字，在Titan X GPU上实现了实时的性能（40 fps）。
2018-08-07 cs.CV eess.IV
Real-Time LiDAR Point Cloud Densification for Low-Latency Spatial Data Transmission
NTT Human Informatics Laboratories（NTT人机信息实验室）
本文提出了一种基于卷积神经网络的实时LiDAR点云密集化方法，实现低延迟的3D场景生成与深度补全，效率比传统方法快15倍。
2026-01-13 cs.CV cs.RO
Efficient LiDAR Reflectance Compression via Scanning Serialization
School of Information Science and Technology, Hangzhou Normal University, Hangzhou, China（信息科学与技术学院，杭州师范大学）；School of Electronic Science and Engineering, Nanjing University, Nanjing, China（电子科学与工程学院，南京大学）
研究针对激光雷达反射率在神经压缩方法中未充分探索的问题,提出基于序列化的SerLiC框架。通过扫描序列化转换点云、标记点及采用双并行化方案建模,实验表明其压缩效果优,轻量级版本性能好,对实际应用有吸引力。
2026-07-16 cs.CV eess.IV
PointCompress3D: A Point Cloud Compression Framework for Roadside LiDARs in Intelligent Transportation Systems
Technical University of Munich（慕尼黑工业大学）
针对智能交通系统中路侧LiDAR点云的高效处理需求，提出专用压缩框架PointCompress3D，适配整合三种前沿方法，在TUMTraf数据集上实现50倍压缩、10FPS帧率，且检测性能与原始数据相当。
2024-10-29 cs.CV eess.IV
CMSG Cross-Media Semantic-Graph Feature Matching Algorithm for Autonomous Vehicle Relocalization
Xiamen University（厦门大学）
提出跨媒体语义图特征匹配算法CMSG，结合图像与激光雷达地图，利用语义特征和图网络提升自动驾驶车辆重定位精度，在KITTI数据集上达到25 FPS且精度优于单传感器方法。
2023-05-15 cs.AI cs.CV
RENO: Real-Time Neural Compression for 3D LiDAR Point Clouds
Nanjing University（南京大学）；Hangzhou Normal University（杭州师范大学）；University of California Riverside（加州大学河滨分校）
本文提出首个3D LiDAR点云实时神经编解码器RENO，基于多尺度稀疏张量与稀疏占用码实现一次性占用推理，在RTX 3090上以1MB模型达到10 fps并显著降低码率。
2025-03-16 cs.CV eess.IV
SaLF: Sparse Local Fields for Multi-Sensor Rendering in Real-Time
Waabi；University of Toronto（多伦多大学）；University of Waterloo（滑铁卢大学）
本文提出SaLF，一种高效的体素表示方法，支持多传感器仿真，具备快速训练和渲染能力，适用于多传感器自主系统评估。
2026-05-02 cs.CV cs.RO
SuperiorGAT: Graph Attention Networks for Sparse LiDAR Point Cloud Reconstruction in Autonomous Systems
Electrical and Computer Engineering, Portland State University（电气与计算机工程系，波特兰州立大学）；Computational Data Science and Engineering Department, North Carolina A&T State University（计算数据科学与工程系，北卡罗来纳A&T州立大学）；Electrical and Computer Engineering Department, SUNY Oswego（电气与计算机工程系，SUNY奥威戈）
SuperiorGAT通过图注意力网络重构稀疏LiDAR点云中的缺失海拔信息，实现更精确的重建与几何一致性，无需增加网络深度或额外硬件。
2026-02-07 cs.AI cs.CV
LiLa-Net: Lightweight Latent LiDAR Autoencoder for 3D Point Cloud Reconstruction
Universidad Carlos III de Madrid（马德里卡洛斯三世大学）
本研究提出轻量级3D点云自编码器LiLa-Net，通过简化编码器层数与跳跃连接，在低资源消耗下实现高质量点云重建，且具备强泛化能力，可重建非交通场景物体。
2025-10-02 cs.AI cs.CV
HDMNet: A Hierarchical Matching Network with Double Attention for Large-scale Outdoor LiDAR Point Cloud Registration
Tongji University（同济大学）
本文提出HDMNet，通过双注意力层次匹配网络和可训练嵌入掩码，实现大规模室外LiDAR点云的高效高精度配准。
2023-10-29 cs.AI cs.CV
Re-Densification Meets Cross-Scale Propagation: Real-Time Neural Compression of LiDAR Point Clouds
Sun Yat-sen University（中山大学）；Pengcheng Laboratory（鹏城实验室）
针对LiDAR点云几何稀疏导致神经压缩上下文建模低效的问题，提出几何再致密化与跨尺度特征传播模块，生成紧凑特征并在KITTI上实现SOTA压缩率与26 FPS实时编解码。
2025-09-29 cs.CV
TriBand-BEV: Real-Time LiDAR-Only 3D Pedestrian Detection via Height-Aware BEV and High-Resolution Feature Fusion
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
本文提出TriBand-BEV方法，通过高度感知的鸟瞰图与高分辨率特征融合实现实时LiDAR-only三维行人检测，采用轻量级鸟瞰图张量映射，单网络一次通过检测车辆、行人和自行车，提升检测精度与速度。
2026-05-12 cs.AI cs.CV cs.LG
Tree Annotations in LiDAR Data Using Point Densities and Convolutional Neural Networks
University of Manchester（曼彻斯特大学）；Intel Corporation（英特尔公司）
LiDAR提供高度精确的3D点云。然而，数据需要手动标记，以便提供后续有用的信息。手动注释这些数据是耗时的，繁琐的，容易出错，因此在本文中，我们提出了三种自动方法来注释LiDAR数据中的树木。第一种方法需要高密度的点云，并使用某些LiDAR数据属性用于树木识别，达到近90%的准确率。第二种方法在低密度LiDAR数据集上使用基于体素的3D卷积神经网络，能够准确识别大多数大树，但由于体素化过程，较小的树木很难识别。第三种方法是PointNet++方法的缩放版本，直接适用于室外点云，在ISPRS基准数据集上实现了82.1%的F_score，与最先进的方法相当，但效率更高。
2020-06-09 cs.CV
PLIN: A Network for Pseudo-LiDAR Point Cloud Interpolation
Institute of Information Science, Beijing Jiaotong University（北京交通大学信息科学研究所）；College of Electronic Science and Technology, National University of Defense Technology（国防科技大学电子科学学院）
LiDAR传感器可以在低频率（约10Hz）下提供可靠的3D空间信息，并已广泛应用于自动驾驶和无人机领域。然而，必须减少具有较高频率（约20Hz）的相机，以便与多传感器系统中的LiDAR匹配。在本文中，我们提出了一种新的伪激光雷达插值网络（PLIN），以提高激光雷达传感器的频率。PLIN可以生成时间和空间上高质量的点云序列，以匹配高频率的相机。为了实现这一目标，我们设计了一个粗插值阶段的指导下连续稀疏的深度图和运动关系。我们还提出了一个精细的插值阶段指导的现实场景。使用这种由粗到细的级联结构，我们的方法可以逐步感知多模态信息，并生成准确的中间点云。据我们所知，这是伪激光雷达点云插值的第一个深度框架，它在配备激光雷达和摄像头的导航系统中显示了有吸引力的应用。实验结果表明，PLIN在KITTI数据集上取得了令人满意的性能，明显优于传统的插值方法和最先进的视频插值技术。
2019-09-16 cs.CV
FlashFPS: Efficient Farthest Point Sampling for Large-Scale Point Clouds via Pruning and Caching
Duke University（杜克大学）
本文提出FlashFPS框架，通过剪枝和缓存减少FPS计算冗余，提升PNN处理效率，实现GPU和PNN加速器上的显著速度提升。
2026-04-20 cs.CV cs.LG
Volumetric Propagation Network: Stereo-LiDAR Fusion for Long-Range Depth Estimation
KAIST（韩国科学技术院）；UNIST（蔚山科学技术院）
立体激光雷达融合是一项很有前途的任务，因为我们可以利用两种不同类型的3D感知用于实际用途-密集的3D信息（立体相机）和高精度的稀疏点云（LiDAR）。然而，由于它们的模态和结构不同，传感器数据对齐的方法是成功的传感器融合的关键。为此，我们提出了一种几何感知的立体激光雷达融合网络的远程深度估计，称为体积传播网络。我们的网络的关键思想是利用稀疏和准确的点云作为线索，在统一的3D体积空间中引导立体图像的对应关系。与现有的融合策略不同，我们直接将点云嵌入到体积中，这使我们能够将有效信息传播到体积中的邻近体素中，并减少对应关系的不确定性。因此，它允许我们无缝地融合两种不同的输入方式，并回归一个长距离的深度图。我们的融合进一步增强了新提出的特征提取层的点云图像引导：FusionConv。FusionConv提取点云特征，考虑语义（2D图像域）和几何（3D域）关系，并帮助在体积上融合。在最近的立体激光雷达融合方法中，我们的网络在KITTI和Virtual-KITTI数据集上实现了最先进的性能。
2021-03-24 cs.CV
HRegNet: A Hierarchical Network for Large-scale Outdoor LiDAR Point Cloud Registration
Tongji University（同济大学）；Technische Universität München（慕尼黑工业大学）；ETH Zurich（苏黎世联邦理工学院）；Westwell lab（西井实验室）
点云配准是三维计算机视觉中的一个基本问题。室外LiDAR点云通常规模大且分布复杂，这使得配准具有挑战性。在本文中，我们提出了一个高效的分层网络命名为HRegNet的大规模户外激光雷达点云配准。HRegNet不是使用点云中的所有点，而是对分层提取的关键点和描述符进行配准。整个框架结合了深层的可靠特征和浅层的精确位置信息，实现了鲁棒的精确配准。我们提出了一个对应网络来生成正确和准确的关键点对应。此外，双边共识和邻域共识的关键点匹配和新的相似性特征的设计，将其纳入对应网络，这显着提高了注册性能。此外，整个网络也是高效的，因为只有少量的关键点用于注册。在两个大型室外LiDAR点云数据集上进行了大量实验，以证明所提出的HRegNet的高精度和效率。该项目的网站是https://ispc-group.github.io/hregnet。
2021-07-26 cs.CV
AttDLNet: Attention-based DL Network for 3D LiDAR Place Recognition
University of Coimbra（科英布拉大学）；Institute of Systems and Robotics（系统与机器人研究所）
基于LiDAR的位置识别是自主车辆和机器人应用中SLAM和全局定位的关键组成部分之一。随着DL方法在从3D LiDAR学习有用信息方面的成功，位置识别也受益于这种模式，这导致了更高的重新定位和环路闭合检测性能，特别是在条件显著变化的环境中。尽管在这一领域取得了进展，但从3D LiDAR数据中提取对变化的条件和方向不变的适当和有效的描述符仍然是一个未解决的挑战。为了解决这个问题，这项工作提出了一种新的基于3D LiDAR的深度学习网络（名为AttDLNet），它使用基于范围的代理表示点云和具有堆叠注意层的注意力网络，以选择性地关注长距离上下文和特征间关系。该网络在KITTI数据集上进行了训练和验证，并进行了消融研究以评估新的注意力网络。结果表明，增加对网络的关注可以提高性能，导致有效的循环关闭，并优于基于3D激光雷达的位置识别方法。从烧蚀研究，结果表明，中间的编码器层具有最高的平均性能，而较深的层是更强大的方向变化。该代码可在https://github.com/Cybonic/AttDLNet上公开获取
2023-01-04 cs.CV
Analyzing the Cross-Sensor Portability of Neural Network Architectures for LiDAR-based Semantic Labeling
Daimler AG（戴姆勒股份公司）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；FZI Research Center for Information Technology（FZI信息技术研究中心）
激光雷达点云语义标记的最新方法严重依赖于深度卷积神经网络（CNN）的使用。然而，在不同的LiDAR传感器类型之间传输网络架构是一个重大挑战，特别是由于传感器特定的设计选择，网络架构以及数据表示。在本文中，我们提出了一种新的CNN体系结构，用于LiDAR数据的逐点语义标记，该体系结构实现了最先进的结果，同时提高了跨传感器类型的可移植性。鉴于LiDAR硬件技术的快速发展，这是一个显著的优势。我们进行了彻底的定量跨传感器分析的语义标记性能相比，国家的最先进的参考方法。我们的评估表明，所提出的架构确实是高度可移植的，与参考方法相比，Intersection-over-Union（IoU）得分提高了10个百分点。此外，结果表明，所提出的网络架构可以提供一种有效的方式，自动生成大规模的训练数据的新型激光雷达传感器类型，而不需要大量的手动注释或多模态标签传输。
2019-07-03 cs.CV cs.LG
Combining LiDAR Space Clustering and Convolutional Neural Networks for Pedestrian Detection
LTS5, EPFL（洛桑联邦理工学院 LTS5）；SiMiT Lab, ITU（伊斯坦布尔理工大学 SiMiT 实验室）
行人检测是自动驾驶汽车安全以及交通和街道监控的重要组成部分。关于这个主题有大量的基准测试，当应用于真实的用例场景时，它已经被证明是一个具有挑战性的问题。在纯粹基于图像的行人检测方法中，最先进的结果已经用卷积神经网络（CNN）实现，并且令人惊讶的是，很少有检测框架建立在多线索方法上。在这项工作中，我们为自动驾驶汽车开发了一种新的行人检测器，除了视觉信息外，还利用了LiDAR数据。在所提出的方法中，激光雷达数据被用来通过处理它提供的三维点云来生成区域建议。然后，这些候选区域由最先进的CNN分类器进一步处理，我们已经为行人检测进行了微调。我们在KITTI数据集上广泛评估了所提出的检测过程。实验结果表明，所提出的激光雷达空间聚类方法提供了一个非常有效的方式产生区域的建议，导致更高的召回率和更少的行人检测失误。这表明LiDAR数据可以为基于CNN的方法提供辅助信息。
2017-10-17 cs.CV
SqueezeSeg: Convolutional Neural Nets with Recurrent CRF for Real-Time Road-Object Segmentation from 3D LiDAR Point Cloud
UC Berkeley（加州大学伯克利分校）
在本文中，我们解决语义分割的道路对象从三维激光雷达点云。特别是，我们希望检测和分类感兴趣的实例，如汽车，行人和骑自行车的人。我们将这个问题表述为逐点分类问题，并提出了一种基于卷积神经网络（CNN）的端到端流水线，称为SqueezeSeg：CNN将变换后的LiDAR点云作为输入，并直接输出逐点标签映射，然后由实现为递归层的条件随机场（CRF）进行细化。然后通过传统的聚类算法获得实例级标签。我们的CNN模型是在来自KITTI数据集的LiDAR点云上训练的，我们的逐点分割标签来自KITTI的3D边界框。为了获得额外的训练数据，我们在流行的视频游戏《侠盗猎车手V》（GTA-V）中构建了一个LiDAR模拟器，以合成大量逼真的训练数据。我们的实验表明，SqueezeSeg实现了高精度，运行时间非常快速和稳定（每帧8.7 ms），非常适合自动驾驶应用。此外，对合成数据的额外训练提高了对真实世界数据的验证准确性。我们的源代码和合成数据将是开源的。
2017-10-19 cs.CV
SGTBN: Generating Dense Depth Maps from Single-Line LiDAR
深度完成的目的是从稀疏深度图和对齐的RGB图像生成密集深度图。然而，目前的深度完成方法使用极其昂贵的64线LiDAR（约10万美元）来获得稀疏的深度图，这将限制其应用场景。与64线激光雷达相比，单线激光雷达的成本要低得多，而且更耐用。因此，我们提出了一种方法来解决单线深度完成的问题，其中我们的目标是从单线LiDAR信息和对齐的RGB图像生成密集的深度图。在现有64线深度完井数据集（KITTI）的基础上，提出了一种单线深度完井数据集。提出了一种语义引导双分支网络（SGTBN），它包含全局和局部分支，用于提取和融合全局和局部信息。在我们的网络中使用语义引导的深度上采样模块，以充分利用RGB图像中的语义信息。除了通常的MSE损失外，我们还增加了虚拟法线损失，以增加网络中高阶3D几何的约束。我们的网络在单线深度完井任务中的表现优于最先进的水平。此外，与单目深度估计相比，该方法在精度和模型大小上也有明显的优势。
2021-06-24 cs.CV
Learning to Sample
Tel-Aviv University（特拉维夫大学）
处理大型点云是一项具有挑战性的任务。因此，数据通常被采样到可以更容易处理的大小。问题是如何对数据进行抽样？一种流行的采样技术是法拉第点采样（FPS）。然而，FPS对于下游应用（分类、检索等）是不可知的。潜在的假设似乎是最小化最远点距离，如FPS所做的那样，是其他目标函数的一个很好的代理。我们表明，它是更好地学习如何采样。为此，我们提出了一个深度网络来简化3D点云。该网络被称为S-NET，它采用点云并生成针对特定任务进行优化的较小点云。简化的点云不保证是原始点云的子集。因此，我们在后处理步骤中将其与原始点的子集进行匹配。我们通过在两个标准数据集上进行实验，将我们的方法与FPS进行对比，并在各种应用中显示出明显更好的结果。我们的代码可在https://github.com/orendv/learning_to_sample上公开获取
2019-04-01 cs.CV
LCCNet: LiDAR and Camera Self-Calibration using Cost Volume Network
Harbin Institute of Technology（哈尔滨工业大学）
在本文中，我们提出了一种新的在线自校准方法的光探测和测距（LiDAR）和相机传感器。与之前基于CNN的方法（将RGB图像和未校准的深度图像的特征图连接起来）相比，我们利用PWC-Net启发的成本量进行特征匹配。除了预测的外部校准参数的平滑L1损失之外，还应用了额外的点云损失。与直接回归激光雷达和相机之间的外部参数不同，我们预测了从初始校准到地面真实值的失准偏差。在推理过程中，校准误差进一步减少与迭代细化和时间滤波方法的使用。在KITTI数据集上的评估结果表明，我们的方法在平移和旋转的平均绝对校准误差分别为0.297 cm和0.017°方面优于基于CNN的最先进方法，其中误校准幅度高达1.5 m和20°。
2021-04-24 cs.CV
UAV LiDAR Point Cloud Segmentation of A Stack Interchange with Deep Neural Networks
University of Waterloo（滑铁卢大学）；Central University of Finance and Economics（中央财经大学）
立体交叉是运输系统的重要组成部分。移动式激光扫描系统在道路基础设施测绘中得到了广泛应用，但复杂多层立体交叉的精确测绘仍具有挑战性。本文研究了一种新的无人机（UAV）光探测和测距（LiDAR）系统收集的点云，以执行堆栈交换的语义分割任务。提出了一种端到端的有监督三维深度学习框架来对点云进行分类。该方法已被证明可以在具有堆叠卷积的复杂立交场景中捕获3D特征，并且结果达到了93%以上的分类准确率。此外，新型低成本半固态LiDAR传感器Livox Mid-40具有不可替代的玫瑰花扫描模式，已在高清城市测绘中展示了其潜力。
2020-10-21 cs.CV
P2P: Part-to-Part Motion Cues Guide a Strong Tracking Framework for LiDAR Point Clouds
Hangzhou Dianzi University（杭州电子科技大学）；Shanghai Jiao Tong University（上海交通大学）；Carnegie Mellon University（卡内基梅隆大学）；Hanyang University（翰阳大学）
针对激光雷达点云单目标跟踪中外观信息不足的问题，提出P2P框架，通过部分到部分运动建模利用连续帧点云间的细粒度信息，实现高效准确跟踪，在多个数据集上刷新纪录。
2025-04-23 cs.CV
Neural Reconstruction of LiDAR Point Clouds under Jamming Attacks via Full-Waveform Representation and Simultaneous Laser Sensing
Keio University（庆应义塾大学）；Sony Semiconductor Solutions（索尼半导体解决方案公司）；Hainan University（海南大学）
本文提出PULSAR-Net，利用全波形表示和同时激光感知，在对抗攻击下重建真实点云，通过轴向空间注意力机制识别攻击信号，实验显示其在静态和驾驶场景中对车辆的重建率分别达92%和73%。
2026-04-01 cs.CV
SelfVoxeLO: Self-supervised LiDAR Odometry with Voxel-based Deep Neural Networks
Multimedia Laboratory, The Chinese University of Hong Kong（香港中文大学多媒体实验室）；State Key Lab of CAD&CG, Zhejiang University（浙江大学CAD&CG国家重点实验室）；SenseTime Research（商汤科技研究院）
最近基于学习的LiDAR测距方法已经证明了它们的竞争力。然而，大多数方法仍然面临两个实质性挑战：1）LiDAR数据的2D投影表示无法有效地从点云编码3D结构; 2）需要大量的标记数据用于训练限制了这些方法的应用范围。在本文中，我们提出了一种自监督LiDAR测距方法，称为SelfVoxeLO，以解决这两个困难。具体来说，我们提出了一个3D卷积网络来直接处理原始LiDAR数据，它可以提取更好地编码3D几何图案的特征。为了使我们的网络适合自监督学习，我们设计了几个新的损失函数，利用激光雷达点云的固有属性。此外，一个不确定性感知机制被纳入损失函数，以减轻移动对象/噪声的干扰。我们评估了我们的方法在两个大规模数据集上的性能，即，KITTI和Apollo-SouthBay。我们的方法在KITTI数据集上的平移/旋转误差方面优于最先进的无监督方法27%/32%，并且在Apollo-SouthBay数据集上也表现良好。通过包括更多的未标记的训练数据，我们的方法可以进一步提高性能的监督方法。
2022-02-09 cs.CV cs.RO
Automatic Labeled LiDAR Data Generation based on Precise Human Model
随着深度神经网络的改进，已经提出了使用LiDAR捕获的点云进行人类识别的最先进的网络。然而，这些网络的性能强烈地依赖于训练数据。收集训练数据的一个问题是标记。人类标记是获得地面真实标签所必需的;然而，标记需要巨大的成本。因此，我们提出了一个自动标记的数据生成管道，我们可以改变任何参数或数据生成环境。我们的方法使用一个名为Dhaiba的人体模型和Miraikan的背景，从而生成逼真的人工数据。我们提出了由拟议的管道生成的50万+数据。本文还描述了管道的规格和数据细节，并对各种方法进行了评估。
2019-02-14 cs.CV
RAI-Net: Range-Adaptive LiDAR Point Cloud Frame Interpolation Network
University of Electronic Science and Technology of China（电子科技大学）
LiDAR点云帧内插是在采集的帧之间合成中间帧的过程，已成为许多应用中的重要问题。特别是为了减少点云的传输量，它是通过预测的中间帧的基础上的参考帧，以上采样数据到高帧率的。然而，由于点云的高维和稀疏特性，它是更难以预测的中间帧激光雷达点云比视频。在本文中，我们提出了一种新的激光雷达点云帧插值方法，利用距离图像（RI）作为一个中间表示与CNN进行帧插值过程。考虑到RI不同于彩色图像的固有特性，本文引入空间自适应卷积来自适应地提取距离特征，同时提出一种高效的光流估计方法来产生光流。该模型首先对输入帧和距离特征进行变形，然后根据光流合成插值帧。在KITTI数据集上进行的大量实验清楚地表明，我们的方法始终如一地实现了卓越的帧插值结果，并且与使用最先进的视频帧插值方法相比具有更好的感知质量。该方法可以集成到任何LiDAR点云压缩系统中进行帧间预测。
2021-06-01 cs.CV eess.IV
Boosting LiDAR-based Semantic Labeling by Cross-Modal Training Data Generation
Daimler AG（戴姆勒股份公司）；Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院）；Forschungszentrum Informatik (FZI)（信息技术研究中心）
移动机器人和自动驾驶汽车依靠多模态传感器设置来感知和理解周围环境。除了摄像头，LiDAR传感器也是最先进的感知系统的核心组件。除了准确的空间感知，对环境的全面语义理解对于高效和安全的操作至关重要。在本文中，我们提出了一种新的深度神经网络架构称为LiLaNet的逐点，半密集激光雷达数据的多类语义标记。该网络利用3D点云的虚拟图像投影进行有效推理。此外，我们提出了一个大规模的跨模态训练数据生成称为自动标记的自动化过程，以提高语义标记性能，同时保持手动注释工作量低。所提出的网络架构以及自动数据生成过程的有效性证明了手动注释的地面实况数据集。LiLaNet显示出显著优于当前最先进的CNN架构的LiDAR数据。应用我们自动生成的大规模训练数据，与仅在手动注释数据上训练的网络相比，可以提高高达14个百分点。
2018-04-26 cs.CV
Person-MinkUNet: 3D Person Detection with LiDAR Point Cloud
Visual Computing Institute（视觉计算研究所）；RWTH Aachen（亚琛工业大学）
在这个初步的工作中，我们试图应用子流形稀疏卷积的任务的三维人检测。特别是，我们提出了Person-MinkUNet，这是一个基于Minkowski Engine和U-Net架构的单级3D人物检测网络。该网络在JRDB 3D检测基准上达到了76.4%的平均精度（AP）。
2021-07-03 cs.CV cs.RO
Pseudo-LiDAR for Visual Odometry
China University of Mining and Technology（中国矿业大学）；Shanghai Jiao Tong University（上海交通大学）
在现有方法中，LiDAR测距法表现出优越的性能，但视觉里程计因其价格优势仍被广泛应用。传统上，视觉里程计的任务主要依赖于连续图像的输入。然而，里程计网络学习图像提供的对极几何信息是非常复杂的。本文将伪激光雷达的概念引入到里程测量中来解决这一问题。伪LiDAR点云将图像生成的深度图反投影到3D点云中，改变了图像的表示方式。与立体图像相比，由立体匹配网络生成的伪LiDAR点云可以得到明确的三维坐标。由于6自由度（DoF）位姿变换发生在3D空间中，因此由伪LiDAR点云提供的3D结构信息比图像更直接。与稀疏LiDAR相比，伪LiDAR具有更密集的点云。为了充分利用伪激光雷达提供的丰富点云信息，采用了一种投影感知的密集测距流水线。大多数以前的基于LiDAR的算法从点云中采样8192个点作为里程计网络的输入。投影感知密集测距管道将从图像生成的所有伪LiDAR点云（除了错误点）作为网络的输入。在充分利用图像中三维几何信息的同时，图像中的语义信息也被用于里程计任务。2D-3D的融合是在仅基于图像的里程计中实现的。在KITTI数据集上的实验证明了该方法的有效性。据我们所知，这是第一个使用伪激光雷达的视觉里程计方法。
2022-09-04 cs.CV cs.RO
PWCLO-Net: Deep LiDAR Odometry in 3D Point Clouds Using Hierarchical Embedding Mask Optimization
Shanghai Jiao Tong University（上海交通大学）；University of Cambridge（剑桥大学）
本文提出了一种新的用于深度LiDAR测距的3D点云学习模型PWCLO-Net，该模型使用分层嵌入掩模优化。在这个模型中，金字塔，翘曲，和成本体积（PWC）结构的激光雷达里程计任务的建立，以细化估计的姿态在一个粗略的到精细的方法分层。建立一个关注的成本卷，以关联两个点云，并获得嵌入的运动模式。然后，提出了一种新的可训练的嵌入掩模来加权所有点的局部运动模式，以回归整体姿态并过滤离群点。利用估计的当前位姿对第一点云进行变形，以桥接到第二点云的距离，然后建立剩余运动的代价体。同时，对嵌入模板进行了由粗到细的分层优化，以获得更准确的滤波信息用于姿态细化。迭代地使用可训练的姿态扭曲细化过程以使姿态估计对于离群值更鲁棒。我们的LiDAR里程模型的卓越性能和有效性在KITTI里程数据集上得到了证明。我们的方法优于所有最近的基于学习的方法，并优于基于几何的方法，LOAM与映射优化，在大多数序列的KITTI里程数据集。我们的源代码将在https://github.com/IRMVLab/PWCLONet上发布。
2021-04-02 cs.CV
LiDAR Meta Depth Completion
ETH Zurich（苏黎世联邦理工学院）；Huawei Technologies（华为技术有限公司）
本文提出LiDAR元深度补全网络，通过学习任务网络动态调整主网络权重，使单一模型适配并泛化到不同LiDAR扫描模式，在稀疏场景下优于专用模型。
2023-08-16 cs.CV
3D Learnable Supertoken Transformer for LiDAR Point Cloud Scene Segmentation
本文提出3DLST框架，通过可学习超令牌动态优化、交叉注意力引导上采样和W-net架构，在多个LiDAR数据集上以最高5倍速度取得SOTA分割性能。
2024-12-26 cs.CV
Pseudo-LiDAR Point Cloud Interpolation Based on 3D Motion Representation and Spatial Supervision
Beijing Jiaotong University（北京交通大学）；National University of Defense Technology（国防科技大学）
伪LiDAR点云插值是自动驾驶领域的一个新的、具有挑战性的任务，其目的是解决相机和LiDAR之间的频率失配问题。以前的工作表示由粗糙的2D光流引起的3D空间运动关系，并且插值点云的质量仅取决于深度图的监督。结果，生成的点云遭受较差的全局分布和局部外观。为了解决上述问题，我们提出了一个伪激光雷达点云插值网络，以生成时间和空间上高质量的点云序列。通过利用点云之间的场景流，所提出的网络能够学习更准确的3D空间运动关系的表示。为了更全面地感知点云的分布，设计了一种新的重建损失函数，实现了倒角距离来监督伪激光雷达点云在三维空间的生成。此外，我们引入了一个多模态深度聚合模块，以促进纹理和深度特征的有效融合。由于改进的运动表示、训练损失函数和模型结构的优点，我们的方法在伪激光雷达点云插值任务上获得了显著的改进。KITTI数据集上的实验结果表明，所提出的网络的最先进的性能，定量和定性。
2020-06-20 cs.CV
GLiDR: Topologically Regularized Graph Generative Network for Sparse LiDAR Point Clouds
IIT Delhi（印度理工学院德里分校）；IIT Indore（印度理工学院印多尔分校）；BITS Pilani（pilani bits 学院）
针对稀疏LiDAR点云导致静态结构细节丢失的问题，提出GLiDR图生成网络，利用0维持续同调约束保持全局拓扑，沿骨干增补新静态点，在三个数据集上优于基线，并生成静态/动态分割掩码以辅助导航。
2024-05-24 cs.CV cs.RO
EEPNet: Efficient Edge Pixel-based Matching Network for Cross-Modal Dynamic Registration between LiDAR and Camera
School of Control Science and Engineering, Shandong University（山东大学控制科学与工程学院）
本文提出EEPNet，利用点云投影反射率图和边缘像素匹配优化，解决LiDAR与相机跨模态配准中模态差异大、计算开销高的问题，实现高精度实时配准。
2024-09-28 cs.CV eess.IV
EnforceNet: Monocular Camera Localization in Large Scale Indoor Sparse LiDAR Point Cloud
Blacksesame Technologies（黑芝麻科技）
姿态估计是机器人应用（诸如自主车辆、UAV和大规模增强现实）的基本构建块。对于那些应用来说，大规模生产也是一个阻碍因素，因为最先进的厘米级姿态估计通常需要长的映射过程和昂贵的定位传感器，例如LiDAR和高精度GPS/IMU等。为了克服成本障碍，我们提出了一种基于神经网络的解决方案，以在具有可比厘米-水平精度。我们通过引入一种新的网络模块来实现它，我们称之为电阻模块，以加强网络更好地泛化，预测更准确，收敛更快。这些结果是基准的几个数据集，我们收集的大型室内停车场场景。我们计划开放数据和代码，让社区加入推动这一领域发展的努力。
2019-07-16 cs.CV cs.RO eess.IV
Fast Attention-Based Simplification of LiDAR Point Clouds for Object Detection and Classification
Institute for Computer Science and Control (SZTAKI)（计算机科学与控制研究所）；School of Information Engineering（信息工程学院）；Faculty of Technology, Arts, and Culture（技术、艺术与文化学院）；School of Control Science and Engineering（控制科学与工程学院）
本文提出一种基于注意力机制的高效激光雷达点云简化方法，通过特征嵌入与注意力采样模块提升目标检测与分类的效率和准确性。
2026-03-08 cs.CV
LMNet: Real-time Multiclass Object Detection on CPU using 3D LiDAR
Intel’s Internet of Things Group（英特尔物联网事业部）；Nagoya University（名古屋大学）；The University of Tokyo（东京大学）
本文描述了一种优化的单级深度卷积神经网络，用于检测城市环境中的物体，只使用点云数据。这个特性使得我们的方法可以在一天中的任何时间和光照条件下工作。所提出的网络结构采用膨胀卷积，随着深度的增加逐渐增加感知区域，这有助于减少约30%的计算时间。网络输入由无组织点云数据的五个透视表示组成。网络输出对象贴图和每个点的限界框偏移值。我们的实验表明，使用反射、范围和三个轴上的位置有助于改善输出限界框的位置和方向。我们在KITTI数据集评估服务器的帮助下进行了定量评估。它在其他竞争者中实现了最快的处理速度，使其适合于实时的【形】应用。我们在一辆装有Velodyne HDL-64的实车上实现并测试了它。我们在台式机GPU上实现了高达50 FPS的执行时间，在单个英特尔酷睿i5 CPU上实现了高达10 FPS的执行时间。部署实现是开源的，可以在自动驾驶框架Autoware中找到它作为一个功能分支。代码可在：https://github.com/CPFL/Autoware/tree/feature/cnn_lidar_detection
2018-05-18 cs.CV
Instant Domain Augmentation for LiDAR Semantic Segmentation
POSTECH（浦项科技大学）；Carnegie Mellon University（卡内基梅隆大学）
尽管LiDAR传感器越来越受欢迎，但使用3D LiDAR数据的感知算法仍在与“传感器偏差问题”作斗争。具体而言，感知算法的性能显着下降时，一个看不见的规格的激光雷达传感器应用在测试时，由于域的差异。本文提出了一种快速灵活的激光雷达增强方法的语义分割任务，称为“LiDomAug'。它聚合原始LiDAR扫描并创建任何配置的LiDAR扫描，同时考虑动态失真和遮挡，从而实现即时域增强。我们的按需增强模块以330 FPS运行，因此可以无缝集成到学习框架中的数据加载器中。在我们的实验中，基于学习的方法与所提出的LiDomAug辅助受传感器偏置问题的影响较小，并实现新的最先进的领域自适应性能SemanticKITTI和nuScenes数据集，而不使用目标域数据。我们还提出了一个传感器不可知模型，忠实地工作在各种激光雷达配置。
2023-03-25 cs.CV
RadiusFPS: Efficient Farthest Point Sampling on CPUs and GPUs via Spherical Voxel Pruning
School of Computing（计算学院）；Institute of Science（科学研究院）；Tokyo（东京）
提出RadiusFPS框架，利用球形体素剪枝加速最远点采样（FPS），在保持标准更新规则的同时，通过保守几何边界和坐标点跳过测试减少冗余计算，并在GPU上实现融合核，显著提升速度并降低内存占用。
2026-06-04 cs.CV cs.DC cs.RO
SparseDet: A Simple and Effective Framework for Fully Sparse LiDAR-based 3D Object Detection
School of Vehicle and Mobility, Tsinghua University（清华大学车辆与 mobility学院）；Horizon Robotics（地平线机器人）
针对稀疏LiDAR 3D检测中目标代理上下文不足或多阶段流程降低速度的问题，本文提出SparseDet，通过LMFA与GFA增强稀疏查询，并在nuScenes和KITTI上实现精度与速度提升。
2024-06-16 cs.CV
LiteViLNet: Lightweight Vision-LiDAR Fusion Network for Efficient Road Segmentation
The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州））；The Shandong University（山东大学）
提出轻量级多模态网络LiteViLNet，通过双流编码器、深度可分离卷积和多尺度特征融合模块，在KITTI数据集上以14.04M参数达到96.36% MaxF，实现精度与效率的平衡。
2026-09-17 cs.CV cs.RO
KD360-VoxelBEV: LiDAR and 360-degree Camera Cross Modality Knowledge Distillation for Bird's-Eye-View Segmentation
Durham University（杜伦大学）
KD360-VoxelBEV通过跨模态知识蒸馏，利用激光雷达和360度摄像头数据提升鸟瞰图分割性能，实现高效且低成本的自动驾驶应用。
2025-12-17 cs.CV
RUHSNet: 3D Object Detection Using Lidar Data in Real Time
在这项工作中，我们解决的问题，三维目标检测从点云数据在实时的。对于自动驾驶汽车来说，感知组件以高精度和快速推理的方式检测现实世界的物体是非常重要的。我们提出了一种新的神经网络架构，以及训练和优化细节，用于检测点云数据中的3D对象。我们比较了不同的骨干网架构，包括标准的VGG，ResNet，Inception与我们的骨干网的结果。此外，我们提出了优化和消融研究，包括设计一个有效的锚。我们使用Kitti 3D Birds Eye View数据集进行基准测试和验证我们的结果。我们的工作在平均精度和速度方面都超过了该领域的最先进水平，运行速度> 30 FPS。这使得它成为部署在包括自动驾驶汽车在内的实时的应用中的可行选择。
2021-06-21 cs.CV cs.LG eess.IV
FlatFusion: Delving into Details of Sparse Transformer-based Camera-LiDAR Fusion for Autonomous Driving
School of Computer Science and School of Artificial Intelligence, Shanghai Jiao Tong University（计算机科学学院和人工智能学院，上海交通大学）；Carnegie Mellon University（卡内基梅隆大学）
本文全面探索了基于 Transformer 的稀疏相机-LiDAR 融合设计选择，提出 FlatFusion 框架，通过优化映射策略、注意力分组和微结构，在 nuScenes 上以 10.1 FPS 达到 73.7 NDS，显著超越现有方法。
2025-06-30 cs.CV
Learning to Track at 100 FPS with Deep Regression Networks
Stanford University（斯坦福大学）
机器学习技术经常用于计算机视觉，因为它们能够利用大量训练数据来提高性能。不幸的是，大多数通用对象跟踪器仍然是从头开始在线训练的，并且无法从大量可用于离线训练的视频中受益。我们提出了一种离线训练神经网络的方法，该方法可以在测试时以100 fps的速度跟踪新对象。我们的跟踪器比以前使用神经网络进行跟踪的方法要快得多，这些方法通常运行非常慢，对于实时应用程序来说不实用。我们的跟踪器使用简单的前馈网络，无需在线培训。跟踪器学习对象运动和外观之间的一般关系，并可用于跟踪未出现在训练集中的新对象。我们在标准跟踪基准上测试我们的网络，以展示我们的跟踪器的最先进的性能。此外，当我们向离线训练集添加更多视频时，我们的性能会提高。据我们所知，我们的跟踪器是第一个学习以100 fps跟踪通用对象的神经网络跟踪器。
2016-08-16 cs.AI cs.CV cs.LG
HarDNet-MSEG: A Simple Encoder-Decoder Polyp Segmentation Neural Network that Achieves over 0.9 Mean Dice and 86 FPS
National Tsing Hua University（国立清华大学）
我们提出了一种新的卷积神经网络称为HardNet-MSEG息肉分割。它在五个流行的数据集上实现了SOTA的准确性和推理速度。对于Kvasir-SEG，HardNet-MSEG在GeForce RTX 2080 Ti GPU上以86.7 FPS运行时提供0.904平均Dice。它由一个主干和一个解码器组成。骨干是一个低内存流量的CNN称为HardNet 68，它已成功地应用于各种CV任务，包括图像分类，对象检测，多对象跟踪和语义分割等解码器部分的灵感来自级联部分解码器，已知的快速和准确的显着目标检测。我们使用这五个流行的数据集评估了HardNet-MSEG。代码和所有实验细节都可以在Github上找到。https://github.com/james128333/HarDNet-MSEG
2021-01-20 cs.CV
Fast Panoptic Segmentation Network
Eindhoven University of Technology（埃因霍温理工大学）
在这项工作中，我们提出了一个端到端的网络快速全景分割。该网络称为快速全景分割网络（FPSNet），不需要计算成本高昂的实例掩码预测或合并算法。这是通过将全景任务转换为自定义的密集像素分类任务来实现的，该任务为每个像素分配一个类标签或实例ID。我们在Cityscapes和Pascal VOC数据集上对FPSNet进行了评估，发现FPSNet比现有的全景分割方法更快，同时实现了更好或相似的全景分割性能。在Cityscapes验证集上，我们实现了55.1%的Panoptic质量分数，对于分辨率为1024x2048像素的图像，预测时间为114毫秒。对于分辨率较低的Cityscapes数据集和Pascal VOC数据集，FPSNet分别以每秒22帧和35帧的速度运行。
2019-10-09 cs.CV
Multistream Network for LiDAR and Camera-based 3D Object Detection in Outdoor Scenes
Department of Computer Science, The University of Western Australia（西澳大学计算机科学系）；School of Computing & Information Systems, The University of Melbourne（墨尔本大学计算与信息系）
提出三流 MuStD 网络，分别提取 LiDAR 柱体、鸟瞰图及 RGB-LiDAR 多模态特征并融合，在 KITTI 上实现高效且具竞争力的 3D 检测。
2025-07-25 cs.AI cs.CV
LidarMultiNet: Towards a Unified Multi-Task Network for LiDAR Perception
TuSimple（图森未来）
基于LiDAR的3D对象检测、语义分割和全景分割通常在具有难以相互适应的独特架构的专用网络中实现。本文介绍了LidarMultiNet，这是一个基于LiDAR的多任务网络，它统一了这三个主要的LiDAR感知任务。多任务网络有许多优点，其中之一是可以通过在多个任务之间共享权重和计算来降低总体成本。然而，与独立组合的单任务模型相比，它通常表现不佳。LidarMultiNet旨在弥合多任务网络和多个单任务网络之间的性能差距。LidarMultiNet的核心是一个强大的基于3D体素的编码器-解码器架构，具有全局上下文池（GCP）模块，可从LiDAR帧中提取全局上下文特征。任务特定的头被添加到网络的顶部，以执行三个激光雷达感知任务。只需添加新的任务专用头，即可实现更多任务，同时几乎不增加成本。还提出了第二阶段以细化第一阶段分割并生成准确的全景分割结果。LidarMultiNet在Waymo Open Dataset和nuScenes数据集上进行了广泛的测试，首次证明主要的LiDAR感知任务可以统一在一个强大的网络中，该网络经过端到端的训练，并实现了最先进的性能。值得注意的是，LidarMultiNet在2022年Waymo开放数据集3D语义分割挑战赛中获得了官方第一名，在测试集中的22个类别中，仅使用LiDAR点作为输入，mIoU最高，准确率最高。它还在Waymo 3D目标检测基准和三个nu…
2023-03-21 cs.CV
