MergeNet: A Deep Net Architecture for Small Obstacle Discovery
Microsoft, India(微软印度);International Institute of Information Technology Hyderabad (IIIT-H), India(印度海得拉巴国际信息技术学院(IIIT-H));Kohli Center of Intelligent Systems (KCIS), IIIT-H, India(印度海得拉巴国际信息技术学院智能系统科利中心(KCIS))
Krishnam Gupta, Syed Ashar Javed, Vineet Gandhi, K. Madhava Krishna
我们在这里介绍一种名为MergeNet的新型网络架构,用于在自动驾驶的背景下发现道路场景中的小障碍物。该架构的基础在于以较少的数据量进行训练的核心考虑,因为小障碍物的物理设置和注释过程难以扩展。为了有效地利用有限的数据,我们提出了一个多阶段的训练过程,涉及权重共享,从RGBD输入和精炼阶段学习融合获得的互补特征的低和高级别特征的单独学习。该模型在Lost and Found数据集上进行了训练和评估,与之前基准测试使用的1000张图像相比,该模型仅使用135张图像就能够实现最先进的结果。此外,我们还将我们的结果与最近在6000张图像上训练的方法进行了比较,并表明我们的方法仅用1000个训练样本就实现了相当的性能。
英文摘要:
We present here, a novel network architecture called MergeNet for discovering small obstacles for on-road scenes in the context of autonomous driving. The basis of the architecture rests on the central consideration of training with less amount of data since the physical setup and the annotation process for small obstacles is hard to scale. For making effective use of the limited data, we propose a multi-stage training procedure involving weight-sharing, separate learning of low and high level features from the RGBD input and a refining stage which learns to fuse the obtained complementary features. The model is trained and evaluated on the Lost and Found dataset and is able to achieve state-of-art results with just 135 images in comparison to the 1000 images used by the previous benchmark. Additionally, we also compare our results with recent methods trained on 6000 images and show that our method achieves comparable performance with only 1000 training samples.
A Novel Multi-layer Framework for Tiny Obstacle Discovery
Beijing University of Posts and Telecommunications(北京邮电大学);Huazhong University of Science and Technology(华中科技大学)
对于单目图像中的微小障碍物发现,边缘是一个基本的视觉元素。然而,由于种种原因,噪声和与背景相似的颜色分布,在远距离检测微小障碍物的边缘仍然是困难的。在本文中,我们提出了一个障碍感知的发现方法来恢复这些障碍,这有助于获得尽可能多的障碍提案丢失的轮廓。首先,通过使用单目图像中的视觉线索,精心推断出几个多层区域,以揭示与相机的距离。其次,构造了几种新的障碍物感知遮挡边缘图,以很好地捕捉微小障碍物的轮廓,它结合了每个层的线索。第三,为了保证微小障碍提案的存在,从所有层的地图用于提案提取。最后,基于这些建议包含微小的障碍物,提出了一种新的障碍物感知回归器,以生成具有高置信度的障碍物占据概率图。在Lost and Found数据集上进行的令人信服的实验结果证明了我们方法的有效性,比FPHT和PHT的准确率提高了9.5%左右,甚至与MergeNet的性能相当。此外,我们的方法优于国家的最先进的算法,并显着提高发现能力的微小障碍物在长距离。
StereoVoxelNet: Real-Time Obstacle Detection Based on Occupancy Voxels from a Stereo Camera Using Deep Neural Networks
Institute for Experiential Robotics, Northeastern University(东北大学体验机器人研究所);Khoury College of Computer Sciences, Northeastern University(东北大学胡里计算机学院);Department of Electrical and Computer Engineering, Northeastern University(东北大学电气与计算机工程系)
障碍物检测是机器人导航中的一个安全关键问题,其中立体匹配是一种流行的基于视觉的方法。虽然深度神经网络在计算机视觉中已经显示出令人印象深刻的结果,但大多数先前的障碍物检测工作仅利用传统的立体匹配技术来满足实时的【形】反馈的计算约束。本文提出了一种计算效率高的方法,该方法采用深度神经网络直接从立体图像中检测占用。我们的方法不是从立体数据中学习点云对应关系,而是基于体积表示提取紧凑的障碍物分布。此外,我们修剪的安全无关空间的计算,在一个由粗到细的方式的基础上产生的解码器的八叉树。因此,我们在机载计算机(NVIDIA Jetson TX 2)上实现了实时的【形】性能。我们的方法可以在32米范围内准确检测障碍物,并实现更好的IoU(Intersection over Union)和CD(Chamfer Distance)分数,而计算成本仅为最先进的立体模型的2%。此外,我们验证了我们的方法的鲁棒性和现实世界的可行性,通过自主导航实验与真正的机器人。因此,我们的工作有助于缩小机器人感知中基于立体的系统与计算机视觉中最先进的立体模型之间的差距。为了应对高质量的真实室内立体数据集的稀缺性,我们使用移动机器人收集了1.36小时的立体数据集,用于微调我们的模型。有关数据集、代码和更多详细信息(包括其他可视化),请访问https://lhy.xyz/stereovoxelnet
Event-Enhanced Multi-Modal Spiking Neural Network for Dynamic Obstacle Avoidance
Dalian University of Technology(大连理工大学);Princeton University(普林斯顿大学);National University of Singapore(新加坡国立大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
Detecting Unexpected Obstacles for Self-Driving Cars: Fusing Deep Learning and Geometric Modeling
Daimler AG R&D(戴姆勒股份公司研发部);TU Dresden(德累斯顿工业大学)
检测小型道路危险,例如丢失的货物,是自动驾驶汽车的一项重要功能。我们解决了这个具有挑战性的,很少解决的问题与视觉系统,利用外观,上下文以及几何线索。为了利用外观和上下文线索,我们提出了一种新的基于深度学习的障碍物检测框架。在这里,使用完全卷积网络的变体来预测(i)自由空间,(ii)道路上意外障碍物和(iii)背景的逐像素语义标记。几何线索利用国家的最先进的检测方法,通过基于模型的统计假设检验预测立体输入图像的障碍。我们提出了一个原则性的贝叶斯框架融合的语义和立体的检测结果。中层Stixel表示用于以灵活、紧凑和鲁棒的方式描述障碍物。我们在Lost and Found数据集上评估了我们的新障碍物检测系统,其中包括高度仅为5 cm的障碍物的非常具有挑战性的场景。总体而言,我们报告了对最先进技术的重大改进,相对性能增益高达50%。特别是,我们实现了超过90%的检测率,距离达50米。我们的系统在我们的自动驾驶平台上以22 Hz运行。
A Hierarchical Network for Diverse Trajectory Proposals
International Institute of Information Technology, Hyderabad(海得拉巴国际信息技术学院);University of Heidelberg(海德堡大学);TCS Research and Innovation Labs(塔塔咨询服务研究与创新实验室)
Curriculum Reinforcement Learning for Quadrotor Racing with Random Obstacles
School of Automation and Perception, Shanghai Jiao Tong University(自动化与感知学院,上海交通大学);Faculty of Aerospace Engineering, Delft University of Technology(航空航天工程学院,代尔夫特理工大学)
Multi-UAV Deployment in Obstacle-Cluttered Environments with LOS Connectivity
Department of Mechanics and Engineering Science, College of Engineering, Peking University(力学与工程科学系,工程学院,北京大学);National University of Defense Technology(国防科技大学)
Deep Reinforcement Learning-based Obstacle Avoidance for Robot Movement in Warehouse Environments
AMA University(AMA大学);New York University(纽约大学);University of California, Berkeley(加州大学伯克利分校);Carnegie Mellon University(卡内基梅隆大学);Northeastern University(东北大学);Cornell University(康奈尔大学);University of California, Irvine(加州大学欧文分校);Northern Arizona University(北亚利桑那大学)
Fly360: Omnidirectional Obstacle Avoidance within Drone View
Institute of Automation Chinese Academy of Sciences, Beijing, China(中国科学院自动化研究所);Insta360 Research, Shenzhen, China(Insta360研究院);Wuhan University,Wuhan, China(武汉大学)
Standardized Max Logits: A Simple yet Effective Approach for Identifying Unexpected Road Obstacles in Urban-Scene Segmentation
KAIST AI(韩国科学技术院人工智能学院);LG AI Research(LG人工智能研究院)
在语义分割中识别道路上的意外对象(例如,识别道路上的狗)在安全关键应用中至关重要。现有的方法使用来自外部数据集的意外对象的图像或需要额外的训练(例如,重新训练分段网络或训练额外的网络),这需要大量的劳动强度或冗长的推理时间。一种可能的替代方案是使用预先训练的网络的预测分数,例如最大logits(即,最后softmax层之前的类之间的最大值)来检测这样的对象。然而,每个预测类的最大logits的分布是显着不同的,这降低了识别城市场景分割中的意外对象的性能。为了解决这个问题,我们提出了一种简单而有效的方法,它可以调整最大logits,以便对齐不同的分布,并反映每个预测类中最大logits的相对含义。此外,我们认为从两个不同的角度来看,基于直觉,相邻像素共享相似的语义信息的局部区域。与以前的方法相比,我们的方法不使用任何外部数据集或需要额外的训练,这使得我们的方法广泛适用于现有的预训练分割模型。这种直接的方法在公开的Fishyscapes Lost & Found排行榜上实现了新的最先进的表现。我们的代码可在此$\href{https://github.com/shjung13/Standardized-max-logits}{link}$上公开获取。