Estimating the 3D position and orientation of objects in the environment with a single RGB camera is a critical and challenging task for low-cost urban autonomous driving and mobile robots. Most of the existing algorithms are based on the geometric constraints in 2D-3D correspondence, which stems from generic 6D object pose estimation. We first identify how the ground plane provides additional clues in depth reasoning in 3D detection in driving scenes. Based on this observation, we then improve the processing of 3D anchors and introduce a novel neural network module to fully utilize such application-specific priors in the framework of deep learning. Finally, we introduce an efficient neural network embedded with the proposed module for 3D object detection. We further verify the power of the proposed module with a neural network designed for monocular depth prediction. The two proposed networks achieve state-of-the-art performances on the KITTI 3D object detection and depth prediction benchmarks, respectively. The code will be published in https://www.github.com/Owen-Liuyuxuan/visualDet3D
Monocular visual autonomous landing system for quadcopter drones using software in the loop
Mila - Quebec Institute of Artificial Intelligence, Université de Montréal（米拉-魁北克人工智能研究所，蒙特利尔大学）；Alternova Tech SAS（Alternova科技公司）；Universidad Autónoma de Occidente（西部自治大学）
3D Packing for Self-Supervised Monocular Depth Estimation
Toyota Research Institute (TRI)（丰田研究院（TRI））
虽然摄像头无处不在，但机器人平台通常依赖LiDAR等主动传感器进行直接3D感知。在这项工作中，我们提出了一种新的自监督单目深度估计方法，将几何与一种新的深度网络PackNet相结合，该深度网络仅从未标记的单目视频中学习。我们的架构利用新颖的对称打包和解包块来共同学习使用3D卷积压缩和隐藏细节保留表示。虽然是自监督的，但我们的方法在KITTI基准测试中优于其他自监督、半监督和全监督方法。PackNet中的3D归纳偏差使其能够随着输入分辨率和参数数量进行缩放，而不会过度拟合，从而更好地推广域外数据，如NuScenes数据集。此外，它不需要在ImageNet上进行大规模的监督预训练，并且可以实时运行。最后，我们发布了DDAD（Dense Depth for Automated Driving），这是一个新的城市驾驶数据集，具有更具有挑战性和更准确的深度评估，这要归功于安装在全球范围内运行的自动驾驶车队上的高密度LiDAR生成的更长距离和更密集的地面实况深度。
RTM3D: Real-time Monocular 3D Detection from Object Keypoints for Autonomous Driving
Shenyang Institute of Automation, Chinese Academy of Sciences（中国科学院沈阳自动化研究所）；Institutes for Robotics and Intelligent Manufacturing, Chinese Academy of Sciences（中国科学院机器人与智能制造创新研究院）；University of Chinese Academy of Sciences（中国科学院大学）
Autonomous quadrotor obstacle avoidance based on dueling double deep recurrent Q-learning with monocular vision
School of Aeronautic Science and Engineering, Beihang University（北京航空航天大学航空科学与工程学院）；Research Institute for Frontier Science, Beihang University（北京航空航天大学前沿科学研究院）；School of Electronic and Information Engineering, Beihang University（北京航空航天大学电子信息工程学院）
Monocular Instance Motion Segmentation for Autonomous Driving: KITTI InstanceMotSeg Dataset and Multi-task Baseline
Valeo Egypt（法雷奥埃及）；University of Alberta（阿尔伯塔大学）；Valeo Ireland（法雷奥爱尔兰）；Zewail City of Science and Technology（扎威尔科技城）
运动对象分割是自动驾驶车辆的一项重要任务，因为它可以用于基于其运动线索以类不可知的方式分割对象。它能够在训练期间检测看不见的对象（例如，驼鹿或建筑卡车），基于它们的运动并且独立于它们的外观。虽然在自动驾驶文献中已经研究了逐像素运动分割，但它很少在实例级别上解决，这将有助于分离移动对象的连接段，从而更好地进行轨迹规划。由于主要问题是缺乏大型公共数据集，我们创建了一个新的InstanceMotSeg数据集，包括12.9K样本，改进了我们的KITTIMoSeg数据集。除了提供实例级注释外，我们还添加了4个额外的类，这对于研究类无关的运动分割至关重要。我们适应YOLACT和实现一个基于运动的类不可知的实例分割模型，这将作为一个基线的数据集。我们还将其扩展到一个高效的多任务模型，该模型还提供了共享编码器的语义实例分割。然后，该模型在类不可知和语义头部内学习单独的原型系数，提供两个独立的目标检测路径以实现冗余安全。为了获得实时性能，我们研究了不同的高效编码器，并使用MobileNetV2在Titan Xp GPU上获得39 fps，相对于基线提高了10% mAP。我们的模型改进了3.3%，以前的最先进的运动分割方法的状态。数据集和定性结果视频在我们的网站https://sites.google.com/view/instancemotseg/上共享。
AutoLay: Benchmarking amodal layout estimation for autonomous driving
Robotics Research Center, KCIS（KCIS机器人研究中心）；IIIT Hyderabad（海得拉巴国际信息技术学院）；Mila - Quebec AI Institute, Montreal（蒙特利尔魁北克人工智能研究所）；Université de Montréal（蒙特利尔大学）
FreeDriveRF: Monocular RGB Dynamic NeRF without Poses for Autonomous Driving via Point-Level Dynamic-Static Decoupling
Department of Automation, Key Laboratory of System Control and Information Processing of Ministry of Education, Key Laboratory of Marine Intelligent Equipment and System of Ministry of Education, Shanghai Engineering Research Center of Intelligent Control and Management（自动化系、教育部长系统控制与信息处理重点实验室、教育部长海洋智能设备与系统重点实验室、上海智能控制与管理工程研究中心）；Dimanshen Technology Co., Ltd.（迪马森科技有限公司）；Engineering Research Center of Intelligent Control for Underground Space, Ministry of Education, School of Information and Control Engineering, Advanced Robotics Research Center, China University of Mining and Technology（地下空间智能控制工程研究中心、教育部长、信息与控制工程学院、先进机器人研究中心、中国矿业大学）
Towards Robust Driving Perception: A Flexible Scale-Driven Family for Self-Supervised Monocular Depth Estimation
Hefei University of Technology（合肥工业大学）；Nanjing University of Posts and Telecommunications（南京邮电大学）；Chengpin Home Tech（橙品家居科技）；Differential Robotics（差分机器人）
End-to-end Autonomous Vehicle Following System using Monocular Fisheye Camera
department of Automation, Shanghai Jiao Tong University（自动化系，上海交通大学）；Key Laboratory of System Control and Information Processing, Ministry of Education（系统控制与信息处理重点实验室，教育部）；Global Institute of Future Technology, Shanghai Jiao Tong University（未来技术全球研究院，上海交通大学）
Real-time Accident Anticipation for Autonomous Driving Through Monocular Depth-Enhanced 3D Modeling
University of Macau（澳门大学）；University of Electronic Science and Technology of China（电子科技大学）；Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；New York University（纽约大学）；Central South University（中南大学）；Beihang University（北京航空航天大学）；University of Hawaii（夏威夷大学）
Advancing Autonomous Driving: DepthSense with Radar and Spatial Attention
School of Electrical Engineering and Computer Science, Gwangju Institute of Science and Technology（全州科学技术院电气工程与计算机科学学院）；Division of National Science and Technology Data (Large Scale AI Research Group), Korea Institute of Science and Technology Information (KISTI)（国家科学技术数据 division（大规模人工智能研究组），韩国科学技术信息研究院）；Department of Information Systems, College of Computer Sciences and Information Technology, King Faisal University（国王法尔萨大学信息系统系，计算机科学与信息科技学院）
