In this paper we present our research on the optimisation of a deep neural network for 3D object detection in a point cloud. Techniques like quantisation and pruning available in the Brevitas and PyTorch tools were used. We performed the experiments for the PointPillars network, which offers a reasonable compromise between detection accuracy and calculation complexity. The aim of this work was to propose a variant of the network which we will ultimately implement in an FPGA device. This will allow for real-time LiDAR data processing with low energy consumption. The obtained results indicate that even a significant quantisation from 32-bit floating point to 2-bit integer in the main part of the algorithm, results in 5%-9% decrease of the detection accuracy, while allowing for almost a 16-fold reduction in size of the model.
Improved Pillar with Fine-grained Feature for 3D Object Detection
Beihang University(北京航空航天大学);YiGo Robotics(易控机器人)
基于LiDAR点云的三维目标检测在自动驾驶感知模块中具有重要的作用,对检测速度、稳定性和准确性有较高的要求。然而,现有的基于点的方法由于原始点太多而难以达到速度要求,而基于体素的方法由于3D稀疏卷积而无法保证稳定的速度。相比之下,基于二维网格的方法,如PointPillar,可以很容易地实现一个稳定的和高效的速度基于简单的二维卷积,但它很难得到竞争力的精度受到粗粒度的点云表示。因此,本文在PointPillar的基础上提出了一种具有细粒度特征的改进型柱子,可以显著提高柱子的检测精度。该模型由高度子柱和稀疏微柱两个模块组成,分别在三维空间的垂直和水平方向上实现了细粒度的表示。对于高度敏感的子柱,我们引入了高度位置编码,以保持每个子柱的高度信息,在投影到一个2D伪图像。对于稀疏型微柱模型,我们引入了基于稀疏的CNN骨干,由密集特征和稀疏注意力模块堆叠而成,以有效地提取具有更大感受野的特征。实验结果表明,我们提出的方法在Waymo Open Dataset上的性能明显优于以前最先进的3D检测方法。相关规范将发布,以方便学术界和工业界的研究。
ProposalContrast: Unsupervised Pre-training for LiDAR-based 3D Object Detection
Baidu Research(百度研究院);National Engineering Laboratory of Deep Learning Technology and Application, China(中国深度学习技术与应用国家工程实验室);University of Macau(澳门大学);University of Technology Sydney(悉尼科技大学);Beijing Institute of Technology(北京理工大学)
LiDAR R-CNN: An Efficient and Universal 3D Object Detector
TuSimple(图森未来)
基于LiDAR的点云三维检测在自动驾驶感知系统中至关重要。在本文中,我们提出了LiDAR R-CNN,这是一种第二阶段检测器,通常可以改进任何现有的3D检测器。为了满足实际应用中对实时性和高精度的要求,我们采用了基于点的方法,而不是基于体素的方法。然而,我们在以前的工作中发现了一个被忽视的问题:天真地应用像PointNet这样的基于点的方法可能会使学习到的特征忽略提案的大小。为此,我们详细分析了这个问题,并提出了几种方法来弥补它,带来显着的性能改善。在Waymo Open Dataset(WOD)和KITTI数据集等真实世界数据集上使用各种流行检测器的综合实验结果证明了我们的LiDAR R-CNN的通用性和优越性。特别是,基于PointPillars的一个变体,我们的方法可以以较小的成本实现新的最先进的结果。代码将在https://github.com/tusimple/LiDAR_RCNN上发布。
DeepFusion: Lidar-Camera Deep Fusion for Multi-Modal 3D Object Detection
Johns Hopkins University(约翰斯·霍普金斯大学);Google(谷歌)
激光雷达和摄像头是关键的传感器,可为自动驾驶中的3D检测提供补充信息。虽然流行的多模态方法简单地用相机特征装饰原始激光雷达点云,并将其直接馈送到现有的3D检测模型,但我们的研究表明,将相机特征与深度激光雷达特征而不是原始点融合可以带来更好的性能。然而,由于这些特征经常被增强和聚合,融合中的一个关键挑战是如何有效地对齐来自两种模态的变换特征。在本文中,我们提出了两种新的技术:InverseAug,它可以反转几何相关的增强,例如,旋转,以实现激光雷达点和图像像素之间的精确几何对齐,以及LearnableAlign,利用交叉注意力在融合过程中动态捕获图像和激光雷达要素之间的相关性。基于InverseAug和LearnableAlign,我们开发了一系列名为DeepFusion的通用多模态3D检测模型,它比以前的方法更准确。例如,DeepFusion分别为6.7、8.9和6.2 LEVEL_2 APH改进了PointPillars、CenterPoint和3D-MAN行人检测基线。值得注意的是,我们的模型在Waymo Open Dataset上实现了最先进的性能,并显示出对输入损坏和分布外数据的强大模型鲁棒性。代码将在https://github.com/tensorflow/lingvo/tree/master/lingvo/上公开。
PAN: Pillars-Attention-Based Network for 3D Object Detection
Department of Electronic and Computer Engineering, Lero (the Research Ireland Centre for Software), and the Data Driven Computer Engineering (D 2 iCE) Research Centre at the University of Limerick(电子与计算机工程系,Lero(爱尔兰软件研究中心),以及利默里克大学数据驱动计算机工程(D 2 iCE)研究中心);Provizio, Future Mobility Campus Ireland, Shannon Free Zone(Provizio,Future Mobility Campus Ireland,Shannon Free Zone)
Correspondence-Free Multiview Point Cloud Registration via Depth-Guided Joint Optimisation
Robotics Institute, Faculty of Engineering and Information Technology, University of Technology Sydney(机器人研究所,工程与信息技术学院,新南威尔士大学);School of Informatics, The University of Edinburgh(信息学院,爱丁堡大学)
SPG: Unsupervised Domain Adaptation for 3D Object Detection via Semantic Point Generation
University of Southern California(南加州大学);Waymo, LLC(Waymo公司)
在自动驾驶中,基于LiDAR的物体检测器应该在不同的地理位置和各种天气条件下可靠地执行。虽然最近的3D检测研究主要集中在提高单个域的性能,但我们的研究表明,现代检测器的性能可能会在跨域中急剧下降。在本文中,我们研究了基于激光雷达的三维目标检测的无监督领域自适应(UDA)。在Waymo领域自适应数据集上,我们将点云质量恶化确定为性能下降的根本原因。为了解决这个问题,我们提出了语义点生成(SPG),这是一种提高激光雷达探测器对域偏移的可靠性的通用方法。具体地说,SPG在预测的前景区域生成语义点,并忠实地恢复前景对象的丢失部分,这是由诸如遮挡、低反射率或天气干扰等现象引起的。通过将语义点与原始点合并,我们获得了一个增强的点云,它可以直接被现代基于激光雷达的检测器所使用。为了验证SPG的广泛适用性,我们用两个代表性的检测器PointPillars和PV-RCNN进行了实验。在UDA任务中,SPG在所有感兴趣的对象类别和所有难度级别上都显着提高了两个检测器。SPG还可以有益于原始域中的目标检测。在Waymo Open Dataset和KITTI上,SPG改进了这两种方法在所有类别中的3D检测结果。结合PV-RCNN,SPG在KITTI上实现了最先进的3D检测结果。
Intraoperative Liver Surface Completion with Graph Convolutional VAE
Wellcome/EPSRC Centre for Interventional and Surgical Sciences, University College London(伦敦大学学院惠康/工程与物理科学研究委员会介入与外科科学中心);Centre For Medical Image Computing, University College London(伦敦大学学院医学图像计算中心);Division of Surgery and Interventional Science, University College London(伦敦大学学院外科与介入科学系)