Sparse Single Sweep LiDAR Point Cloud Segmentation via Learning Contextual Shape Priors from Scene Completion
The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳大数据研究院）；Shenzhen Institute of Artificial Intelligence and Robotics for Society（深圳市人工智能与机器人研究院）；Shanghai University（上海大学）
Xu Yan, Jiantao Gao, Jie Li, Ruimao Zhang, Zhen Li, Rui Huang, Shuguang Cui
LiDAR point cloud analysis is a core task for 3D computer vision, especially for autonomous driving. However, due to the severe sparsity and noise interference in the single sweep LiDAR point cloud, the accurate semantic segmentation is non-trivial to achieve. In this paper, we propose a novel sparse LiDAR point cloud semantic segmentation framework assisted by learned contextual shape priors. In practice, an initial semantic segmentation (SS) of a single sweep point cloud can be achieved by any appealing network and then flows into the semantic scene completion (SSC) module as the input. By merging multiple frames in the LiDAR sequence as supervision, the optimized SSC module has learned the contextual shape priors from sequential LiDAR data, completing the sparse single sweep point cloud to the dense one. Thus, it inherently improves SS optimization through fully end-to-end training. Besides, a Point-Voxel Interaction (PVI) module is proposed to further enhance the knowledge fusion between SS and SSC tasks, i.e., promoting the interaction of incomplete local geometry of point cloud and complete voxel-wise global structure. Furthermore, the auxiliary SSC and PVI modules can be discarded during inference without extra burden for SS. Extensive experiments confirm that our JS3C-Net achieves superior performance on both SemanticKITTI and SemanticPOSS benchmarks, i.e., 4% and 3% improvement correspondingly.
Airborne LiDAR Point Cloud Classification with Graph Attention Convolution Neural Network
Aerospace Information Research Institute, Chinese Academy of Sciences（中国科学院空天信息创新研究院）；University of Chinese Academy of Sciences（中国科学院大学）；Tandon School of Engineering, New York University（纽约大学坦登工程学院）
机载激光雷达（Airborne Light Detection and Ranging，简称LiDAR）以其快速获取大范围、高精度地面信息的能力，在城市规划、地形测绘、环境监测、电力线路探测等领域发挥着越来越重要的作用。为了实现点云分类，以前的研究提出了点云深度学习模型，可以直接处理原始点云基于PointNet的架构。最近的一些工作提出了基于点云固有拓扑结构的图卷积神经网络。然而，上述点云深度学习模型只注重探索局部几何结构，而忽略了所有点之间的全局上下文关系。在本文中，我们提出了一个图形注意力卷积神经网络（GACNN），可以直接应用于机载激光雷达获得的非结构化三维点云的分类。具体来说，我们首先介绍了一个图形注意力卷积模块，它结合了全局上下文信息和局部结构特征。基于所提出的图形注意力卷积模块，我们进一步设计了一个端到端的编码器-解码器网络，名为GACNN，以捕获点云的多尺度特征，从而实现更准确的机载点云分类。在ISPRS 3D标注数据集上的实验表明，该模型的平均F1得分（71.5%）和总体准确率（83.2%）均达到了最新水平。此外，通过与其他流行的点云深度学习模型进行比较，在2019年数据融合竞赛数据集上进一步进行的实验表明，所提出的模型具有良好的泛化能力。
MemReg: Streaming Outdoor LiDAR Point Cloud Registration with Hybrid Memory Buffers
School of Automation and Intelligent Sensing, Shanghai Jiao Tong University（上海交通大学自动化与智能感知学院）；University of Twente（特文特大学）；University of Cambridge（剑桥大学）；University of Bath（巴斯大学）；Phigent Robotics（飞劲机器人公司）
A Graph Attention Network-Based Framework for Reconstructing Missing LiDAR Beams
Computer Information Technology Department, SUNY Morrisville（SUNY Morrisville 计算机信息科技系）；Electrical and Computer Engineering Department, Portland State University（波特兰州立大学电气与计算机工程系）；Electrical and Computer Engineering Department, Lawrence Technological University（劳伦斯技术大学电气与计算机工程系）
Efficient LiDAR Reflectance Compression via Scanning Serialization
School of Information Science and Technology, Hangzhou Normal University, Hangzhou, China（信息科学与技术学院，杭州师范大学）；School of Electronic Science and Engineering, Nanjing University, Nanjing, China（电子科学与工程学院，南京大学）
Not All Points Are Equal: Learning Highly Efficient Point-based Detectors for 3D LiDAR Point Clouds
National University of Defense Technology（国防科技大学）；University of Oxford（牛津大学）
研究了三维激光雷达点云的高效目标检测问题。为了减少存储器和计算成本，现有的基于点的流水线通常采用与任务无关的随机采样或最远点采样来逐步下采样输入点云，尽管并非所有点对于目标检测的任务都同样重要。特别地，对于对象检测器，前景点固有地比背景点更重要。受此启发，我们提出了一种高效的单级基于点的3D检测器，称为IA-SSD。我们的方法的关键是利用两个可学习的，面向任务的，实例感知的下采样策略，分层选择属于感兴趣的对象的前景点。此外，我们还引入了一个上下文质心感知模块，以进一步估计精确的实例中心。最后，为了提高效率，我们按照仅编码器架构构建IA-SSD。在几个大规模检测基准上进行的大量实验证明了我们的IA-SSD的竞争力。得益于低内存占用和高并行度，它在KITTI数据集上使用单个RTX 2080 Ti GPU实现了每秒80多帧的卓越速度。代码可在\url{https://github.com/yifanzhang713/IA-SSD}上获得。
Exploring the Untouched Sweeps for Conflict-Aware 3D Segmentation Pretraining
School of Computer Science and Technology, East China Normal University（华东师范大学计算机科学与技术学院）；Department of Computer Science and Technology, Xiamen University（厦门大学计算机科学与技术系）
LidarMultiNet: Unifying LiDAR Semantic Segmentation, 3D Object Detection, and Panoptic Segmentation in a Single Multi-task Network
TuSimple（图森未来）；University of Central Florida（中佛罗里达大学）
本技术报告介绍了Waymo Open Dataset 3D语义分割挑战赛2022的第一名获奖解决方案。我们的网络，称为LidarMultiNet，统一了主要的激光雷达感知任务，如3D语义分割，目标检测和全景分割在一个单一的框架。LidarMultiNet的核心是一个强大的基于3D体素的编码器-解码器网络，具有一个新颖的全局上下文池（GCP）模块，从LiDAR帧中提取全局上下文特征以补充其局部特征。提出了可选的第二阶段以细化第一阶段分割或生成准确的全景分割结果。我们的解决方案实现了71.13的mIoU，并且是Waymo 3D语义分割测试集上22个类中大多数的最佳，优于官方排行榜上的所有其他3D语义分割方法。我们首次证明，主要的LiDAR感知任务可以统一在一个可以端到端训练的强大网络中。
LidarMultiNet: Towards a Unified Multi-Task Network for LiDAR Perception
TuSimple（图森未来）
基于LiDAR的3D对象检测、语义分割和全景分割通常在具有难以相互适应的独特架构的专用网络中实现。本文介绍了LidarMultiNet，这是一个基于LiDAR的多任务网络，它统一了这三个主要的LiDAR感知任务。多任务网络有许多优点，其中之一是可以通过在多个任务之间共享权重和计算来降低总体成本。然而，与独立组合的单任务模型相比，它通常表现不佳。LidarMultiNet旨在弥合多任务网络和多个单任务网络之间的性能差距。LidarMultiNet的核心是一个强大的基于3D体素的编码器-解码器架构，具有全局上下文池（GCP）模块，可从LiDAR帧中提取全局上下文特征。任务特定的头被添加到网络的顶部，以执行三个激光雷达感知任务。只需添加新的任务专用头，即可实现更多任务，同时几乎不增加成本。还提出了第二阶段以细化第一阶段分割并生成准确的全景分割结果。LidarMultiNet在Waymo Open Dataset和nuScenes数据集上进行了广泛的测试，首次证明主要的LiDAR感知任务可以统一在一个强大的网络中，该网络经过端到端的训练，并实现了最先进的性能。值得注意的是，LidarMultiNet在2022年Waymo开放数据集3D语义分割挑战赛中获得了官方第一名，在测试集中的22个类别中，仅使用LiDAR点作为输入，mIoU最高，准确率最高。它还在Waymo 3D目标检测基准和三个nu…
SSCATeR: Sparse Scatter-Based Convolution Algorithm with Temporal Data Recycling for Real-Time 3D Object Detection in LiDAR Point Clouds
Drone Systems Lab, School of Computing, Engineering and Physical Sciences, University of the West of Scotland（无人机系统实验室，计算、工程与物理科学学院，西方苏格兰大学）；Centre for Robotics and Intelligent Systems, University of Limerick（机器人与智能系统中心，利默里克大学）
NDT-Transformer: Large-Scale 3D Point Cloud Localisation using the Normal Distribution Transform Representation
Orebro University（厄勒布鲁大学）；Xiamen University（厦门大学）；University of Surrey（萨里大学）；University of Lincoln（林肯大学）；University of Sheffield（谢菲尔德大学）；University of Oxford（牛津大学）
GEOcc: Geometrically Enhanced 3D Occupancy Network with Implicit-Explicit Depth Fusion and Contextual Self-Supervision
School of Computer Science and Technology, East China Normal University（华东师范大学计算机科学与技术学院）；School of Electronics, Information and Electrical Engineering, Shanghai Jiao Tong University（上海交通大学电子信息与电气工程学院）；School of Transportation and Traffic Engineering, Central South University（中南大学交通运输工程学院）
FRNet: Frustum-Range Networks for Scalable LiDAR Segmentation
College of Computer Science and Technology, Nanjing University of Aeronautics and Astronautics（南京航空航天大学计算机科学与技术学院）；School of Computer Science, Nanjing University of Posts and Telecommunications（南京邮电大学计算机学院）
Semantic Occupancy Prediction with Dual Range-Voxel Representation
School of Software Engineering, South China University of Technology（华南理工大学软件学院）；State Key Laboratory of Optical Field Manipulation Science and Technology, Institute of Optics and Electronics, CAS（中国科学院光电技术研究所光学场操控科学与技术国家重点实验室）
Unleashing the Potential of Mamba: Boosting a LiDAR 3D Sparse Detector by Using Cross-Model Knowledge Distillation
East China University of Science and Technology（华东理工大学）；University of Sydney（悉尼大学）；College of Computer Science and Artificial Intelligence, Fudan University（复旦大学计算机科学技术学院）
Co-Occ: Coupling Explicit Feature Fusion with Volume Rendering Regularization for Multi-Modal 3D Semantic Occupancy Prediction
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；HKUST(GZ)（香港科技大学（广州））；The Hong Kong University of Science and Technology（香港科技大学）
NUC-Net: Non-uniform Cylindrical Partition Network for Efficient LiDAR Semantic Segmentation
College of Computer and Information Engineering, Tianjin Normal University（天津师范大学计算机与信息工程学院）；Tianjin Key Laboratory of Student Mental Health and Intelligence Assessment（天津学生心理健康与智能评估重点实验室）；College of Intelligence and Computing, Tianjin University（天津大学智能与计算学院）；Department of Computer Science, National University of Singapore（新加坡国立大学计算机科学系）
RIDDLE: Lidar Data Compression with Range Image Deep Delta Encoding
Waymo LLC（Waymo有限责任公司）
激光雷达是广泛用于自动驾驶和增强现实的深度测量传感器。然而，激光雷达产生的大量数据可能导致数据存储和传输的高成本。虽然激光雷达数据可以表示为两种可互换的表示：3D点云和范围图像，但大多数以前的工作都集中在压缩通用3D点云上。在这项工作中，我们表明，直接压缩范围图像可以利用激光雷达扫描模式，压缩未投影的点云相比。提出了一种新的数据驱动距离图像压缩算法RIDDLE（Range Image Deep DeLta Encoding）。其核心是一个深度模型，该模型基于当前和过去扫描的上下文激光拍摄（表示为球坐标和时间的4D点云），以光栅扫描顺序预测下一个像素值。然后，可以通过熵编码来压缩预测值和原始值之间的增量。在Waymo Open Dataset和KITTI上进行了评估，与广泛使用的点云和范围图像压缩算法以及最近的深度方法相比，我们的方法在压缩率（相同失真下）方面有显着提高。
GMOR: A Lightweight Robust Point Cloud Registration Framework via Geometric Maximum Overlapping
Beijing Engineering Research Center of Mixed Reality and Advanced Display, School of Optics and Photonics, Beijing Institute of Technology（北京混合现实与先进显示工程研究中心，光学与 photonics 学院，北京理工大学）；Zhengzhou Research Institute, Beijing Institute of Technology（郑州研究院，北京理工大学）；School of Computer Science and Technology, Beijing Institute of Technology（计算机科学与技术学院，北京理工大学）；School of Medical Technology, Beijing Institute of Technology（医学技术学院，北京理工大学）
CoLC: Communication-Efficient Collaborative Perception with LiDAR Completion
Key Laboratory of Big Data & Artificial Intelligence in Transportation, Ministry of Education（交通运输大数据与人工智能重点实验室，教育部）；School of Computer Science and Technology, Beijing Jiaotong University（北京交通大学计算机科学与技术学院）；Xiamen University（厦门大学）
DAGLFNet: Deep Feature Attention Guided Global and Local Feature Fusion for Pseudo-Image Point Cloud Segmentation
College of Computer Science, Chengdu University of Information Technology（成都信息科技大学计算机学院）；College of Computer Science, Sichuan University（四川大学计算机学院）；Publications Department, Optica Publishing Group（Optica出版社出版部）；Department of Electronic Journals, Optica Publishing Group（Optica出版社电子期刊部）
