本文研究从同步的2D和3D数据中联合估计光流与场景流的问题。以往方法要么采用将联合任务拆分为独立阶段的复杂流程,要么以“早期融合”或“晚期融合”方式融合2D与3D信息。这种一刀切的方法面临两难困境:无法充分利用每种模态的特性,也无法最大化模态间的互补性。为解决该问题,我们提出一种新颖的端到端框架,该框架由2D和3D分支组成,并在特定层之间设置多个双向融合连接。与以往工作不同,我们采用基于点的3D分支提取激光雷达特征,因为它能保留点云的几何结构。为融合稠密图像特征与稀疏点特征,我们提出一种可学习的算子,称为双向相机-激光雷达融合模块(Bi-CLFM)。我们实例化了两种双向融合流程,一种基于金字塔式由粗到精架构(称为CamLiPWC),另一种基于循环全对场变换(称为CamLiRAFT)。在FlyingThings3D上,CamLiPWC和CamLiRAFT均超越了所有现有方法,并相比已发表的最佳结果实现了高达47.9%的3D端点误差降低。我们性能最佳的模型CamLiRAFT在KITTI Scene Flow基准上实现了4.26%的误差,在所有提交中排名第一,且参数量少得多。此外,我们的方法具有很强的泛化性能和处理非刚性运动的能力。代码可在https://github.com/MCG-NJU/CamLiFlow获取。
英文摘要:
In this paper, we study the problem of jointly estimating the optical flow and scene flow from synchronized 2D and 3D data. Previous methods either employ a complex pipeline that splits the joint task into independent stages, or fuse 2D and 3D information in an ``early-fusion'' or ``late-fusion'' manner. Such one-size-fits-all approaches suffer from a dilemma of failing to fully utilize the characteristic of each modality or to maximize the inter-modality complementarity. To address the problem, we propose a novel end-to-end framework, which consists of 2D and 3D branches with multiple bidirectional fusion connections between them in specific layers. Different from previous work, we apply a point-based 3D branch to extract the LiDAR features, as it preserves the geometric structure of point clouds. To fuse dense image features and sparse point features, we propose a learnable operator named bidirectional camera-LiDAR fusion module (Bi-CLFM). We instantiate two types of the bidirectional fusion pipeline, one based on the pyramidal coarse-to-fine architecture (dubbed CamLiPWC), and the other one based on the recurrent all-pairs field transforms (dubbed CamLiRAFT). On FlyingThings3D, both CamLiPWC and CamLiRAFT surpass all existing methods and achieve up to a 47.9\% reduction in 3D end-point-error from the best published result. Our best-performing model, CamLiRAFT, achieves an error of 4.26\% on the KITTI Scene Flow benchmark, ranking 1st among all submissions with much fewer parameters. Besides, our methods have strong generalization performance and the ability to handle non-rigid motion. Code is available at https://github.com/MCG-NJU/CamLiFlow.
CamLiFlow: Bidirectional Camera-LiDAR Fusion for Joint Optical Flow and Scene Flow Estimation
Nanjing University(南京大学)
在本文中,我们研究的问题,联合估计的光流和场景流从同步的二维和三维数据。以前的方法要么采用将联合任务分成独立阶段的复杂管道,要么以“早期融合”或“后期融合”的方式融合2D和3D信息。这种“一刀切”的做法面临着一个两难境地,既不能充分利用每种模式的特点,也不能最大限度地发挥模式间的互补性。为了解决这个问题,我们提出了一个新的端到端的框架,称为CamLiFlow。它由2D和3D分支组成,在特定层中它们之间有多个双向连接。与以往的工作不同,我们应用基于点的3D分支,以更好地提取几何特征,并设计了一个对称的可学习算子,融合密集的图像特征和稀疏的点特征。实验结果表明,CamLiFlow算法在使用较少参数的情况下获得了较好的性能。我们的方法在KITTI Scene Flow基准测试中排名第一,优于之前的技术,具有1/7的参数。代码可在https://github.com/MCG-NJU/CamLiFlow上获得。
Virtually increasing the measurement frequency of LIDAR sensor utilizing a single RGB camera
Institute for Computer Science and Control (SZTAKI), Eötvös Loránd Research Network (ELKH)(厄特沃什·洛兰研究网络(ELKH)计算机科学与控制研究所(SZTAKI));Budapest University of Technology and Economics(布达佩斯技术与经济大学)
Multi-LVI-SAM: A Robust LiDAR-Visual-Inertial Odometry for Multiple Fisheye Cameras
Department of Computer Science and Technology, School of Electronics and Information Engineering, Tongji University(电子信息工程学院计算机科学与技术系);MOE Key Lab of Embedded System and Service Computing, Tongji University(教育部嵌入式系统与服务计算重点实验室);Institute of Intelligent Vehicles, Tongji University(智能车辆研究院)
The Institute of Industrial Science, The University of Tokyo(东京大学生产技术研究所);The National Institute of Advanced Industrial Science and Technology (AIST)(日本产业技术综合研究所)
BEVFusion: A Simple and Robust LiDAR-Camera Fusion Framework
Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机研究所);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院);Shenzhen Campus of Sun Yat-sen University(中山大学深圳校区)
LiDAR Cluster First and Camera Inference Later: A New Perspective Towards Autonomous Driving
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
最先进的自动驾驶车辆(AV)框架中的目标检测严重依赖于深度神经网络。通常,这些网络在整个相机LiDAR帧上均匀地执行目标检测。然而,这种一致性通过给予场景中的所有对象相同的优先级而不考虑它们对AV的碰撞风险而危及AV的安全。在本文中,我们提出了一种新的端到端的AV管道,首先引入LiDAR集群的概念,然后引入相机推理来检测和分类对象。我们提出的框架的好处是双重的。首先,我们的管道优先检测对AV构成较高碰撞风险的对象,为AV提供更多时间对不安全条件做出反应。其次,与流行的深度神经网络管道相比,它还提供了平均更快的推理速度。我们使用真实世界的数据集Waymo Open Dataset来设计我们的框架,解决了LiDAR传感器和目标检测算法的局限性带来的挑战。我们表明,我们的新型目标检测流水线优先检测高风险对象,同时实现可比的准确性和25%的平均速度相比,相机推理。
MapDistill: Boosting Efficient Camera-based HD Map Construction via Camera-LiDAR Fusion Model Distillation
Samsung R&D Institute China–Beijing(三星中国北京研发中心);Beihang University(北京航空航天大学);Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);The University of Sydney(悉尼大学)
DeepFusion: Lidar-Camera Deep Fusion for Multi-Modal 3D Object Detection
Johns Hopkins University(约翰斯·霍普金斯大学);Google(谷歌)
激光雷达和摄像头是关键的传感器,可为自动驾驶中的3D检测提供补充信息。虽然流行的多模态方法简单地用相机特征装饰原始激光雷达点云,并将其直接馈送到现有的3D检测模型,但我们的研究表明,将相机特征与深度激光雷达特征而不是原始点融合可以带来更好的性能。然而,由于这些特征经常被增强和聚合,融合中的一个关键挑战是如何有效地对齐来自两种模态的变换特征。在本文中,我们提出了两种新的技术:InverseAug,它可以反转几何相关的增强,例如,旋转,以实现激光雷达点和图像像素之间的精确几何对齐,以及LearnableAlign,利用交叉注意力在融合过程中动态捕获图像和激光雷达要素之间的相关性。基于InverseAug和LearnableAlign,我们开发了一系列名为DeepFusion的通用多模态3D检测模型,它比以前的方法更准确。例如,DeepFusion分别为6.7、8.9和6.2 LEVEL_2 APH改进了PointPillars、CenterPoint和3D-MAN行人检测基线。值得注意的是,我们的模型在Waymo Open Dataset上实现了最先进的性能,并显示出对输入损坏和分布外数据的强大模型鲁棒性。代码将在https://github.com/tensorflow/lingvo/tree/master/lingvo/上公开。
CLRNet: Targetless Extrinsic Calibration for Camera, Lidar and 4D Radar Using Deep Learning
Hungarian Research Network Institute for Computer Science and Control (HUN-REN SZTAKI)(匈牙利研究网络计算机科学与控制研究所);Pázmány Péter Catholic University(帕兹曼·佩斯特天主教大学);Intelligent Vehicles Group, TU Delft(智能车辆组,代尔夫特理工大学);Perciv AI
ACSC: Automatic Calibration for Non-repetitive Scanning Solid-State LiDAR and Camera Systems
Beihang University(北京航空航天大学);Beijing Advanced Innovation Center for Big Data and Brain Computing(大数据与脑计算北京先进创新中心);Hangzhou Innovation Institution, Beihang University(北京航空航天大学杭州创新研究院)