Autonomous driving vehicles and robotic systems rely on accurate perception of their surroundings. Scene understanding is one of the crucial components of perception modules. Among all available sensors, LiDARs are one of the essential sensing modalities of autonomous driving systems due to their active sensing nature with high resolution of sensor readings. Accurate and fast semantic segmentation methods are needed to fully utilize LiDAR sensors for scene understanding. In this paper, we present Lite-HDSeg, a novel real-time convolutional neural network for semantic segmentation of full $3$D LiDAR point clouds. Lite-HDSeg can achieve the best accuracy vs. computational complexity trade-off in SemanticKitti benchmark and is designed on the basis of a new encoder-decoder architecture with light-weight harmonic dense convolutions as its core. Moreover, we introduce ICM, an improved global contextual module to capture multi-scale contextual features, and MCSPN, a multi-class Spatial Propagation Network to further refine the semantic boundaries. Our experimental results show that the proposed method outperforms state-of-the-art semantic segmentation approaches which can run real-time, thus is suitable for robotic and autonomous driving applications.
LiteFusion: Taming 3D Object Detectors from Vision-Based to Multi-Modal with Minimal Adaptation
China Ministry of Education (MOE) Key Laboratory of Artificial Intelligence（中国教育部人工智能重点实验室）；Artificial Intelligence Institute, Shanghai Jiao Tong University（上海交通大学人工智能学院）；Huawei Noah’s Ark Lab（华为诺亚实验室）
CG-SSD: Corner Guided Single Stage 3D Object Detection from LiDAR Point Cloud
Wuhan University（武汉大学）
目前，基于锚点或无锚点的三维目标检测模型均采用中心分配器策略来推断三维边界框。然而，在现实场景中，激光雷达只能获取有限的物体表面点云，而物体的中心点是不存在的。通过聚集不完整的表面点云来获取目标，会带来方向和尺寸估计精度的损失。针对这一问题，本文提出了一种角点引导无锚点单级三维目标检测模型（CG-SSD），该模型首先利用由残差层和子流形稀疏卷积层组成的三维稀疏卷积骨干网络构建鸟瞰图（BEV）特征，然后利用精简的U型网络进行更深层次的特征挖掘;其次，提出了一种新的角点引导辅助模块（CGAM），将角点监控信号纳入神经网络。CGAM被明确地设计和训练来检测部分可见和不可见的角点，以获得更准确的对象特征表示，特别是对于小的或部分被遮挡的对象;最后，来自骨干网络和CGAM模块的深度特征被连接并馈送到头部模块，以预测场景中对象的分类和3D边界框。实验结果表明，CG-SSD在ONCE基准测试中使用单帧点云数据进行监督式3D目标检测，达到了最先进的性能，具有62.77%mAP。此外，在ONCE和Waymo Open Dataset上的实验表明，CGAM可以扩展到大多数基于锚点的模型，这些模型使用BEV特征来检测对象，作为插件，并带来+1.17%-+14.27%AP的改进。
Sparse Cross-scale Attention Network for Efficient LiDAR Panoptic Segmentation
The Hong Kong University of Science and Technology（香港科技大学）
3D LiDAR全景分割（PS）的两个主要挑战是对象的点云是表面聚集的，因此难以对长距离依赖性建模，特别是对于大型实例，并且对象太接近而不能彼此分离。最近的文献通过耗时的分组过程来解决这些问题，例如双聚类、均值漂移偏移等，或者通过简化几何形状的鸟瞰图（BEV）密集质心表示。然而，从上述方法的局部特征学习尚未充分地建模长程几何关系。为此，我们提出了一种新的稀疏跨尺度注意力网络SCAN，它首先将多尺度稀疏特征与全局体素编码的注意力对齐，以捕获实例上下文的长程关系，从而提高过度分割的大型对象的回归精度。对于表面聚集点，SCAN采用了一种新的稀疏类无关的实例质心表示方法，既能保持对齐特征的稀疏性以解决小对象的欠分割问题，又能通过稀疏卷积减少网络的计算量。我们的方法在SemanticKITTI数据集中的挑战性3D PS任务中大幅优于以前的方法，以实时推理速度获得第一名。
LoGoNet: Towards Accurate 3D Object Detection with Local-to-Global Cross-Modal Fusion
East China Normal University（华东师范大学）；The Chinese University of Hong Kong（香港中文大学）；Shanghai AI Laboratory（上海人工智能实验室）；Fudan University（复旦大学）；Hochschule Bremerhaven（不来梅港应用科学大学）
Normal Transformer: Extracting Surface Geometry from LiDAR Points Enhanced by Visual Semantics
School of Computer Science, Australian Artificial Intelligence Institute (AAII), University of Technology Sydney（悉尼科技大学计算机科学学院、澳大利亚人工智能研究所）；AI Department of SunnyWay Tech LLC（SunnyWay科技有限责任公司人工智能部门）；Autonavi of Alibaba Group（阿里巴巴集团高德（高德是阿里巴巴旗下的高德，此处按原文提取））
A Unified Generative Framework for Realistic Lidar Simulation in Autonomous Driving Systems
WMG, University of Warwick（华威大学WMG学院）；School of Electronics, Electrical Engineering and Computer Science at Queen’s University of Belfast（贝尔法斯特女王大学电子、电气工程与计算机科学学院）
Robustness-Aware 3D Object Detection in Autonomous Driving: A Review and Outlook
School of Information Technology and Electrical Engineering, The University of Queensland（昆士兰大学信息技术与电气工程学院）；School of Computer Science, Beijing University of Posts and Telecommunications（北京邮电大学计算机学院）；School of Vehicle and Mobility, Tsinghua University（清华大学车辆与 Mobility学院）；School of Mechanical Engineering, Beijing Institute of Technology（北京理工大学机械工程学院）
GIPSO: Geometrically Informed Propagation for Online Adaptation in 3D LiDAR Segmentation
University of Trento（特伦托大学）；Télécom-Paris, Intitute Polytechnique de Paris（巴黎理工学院电信巴黎）；Sapienza University of Rome（罗马第一大学）；NVIDIA AI Technology Center（英伟达人工智能技术中心）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
Multi-modal Sensor Fusion for Auto Driving Perception: A Survey
University of California Los Angeles（加州大学洛杉矶分校）；Shanghai AI Lab（上海人工智能实验室）；Beijing Institute of Technology（北京理工大学）；East China Normal University（华东师范大学）
