MID-Fusion: Octree-based Object-Level Multi-Instance Dynamic SLAM
Department of Computing, Imperial College London（伦敦帝国理工学院计算机系）
我们提出了一种新的多实例动态RGB-D SLAM系统，使用基于对象级八叉树的体积表示。它可以在动态环境中提供鲁棒的相机跟踪，同时，连续估计场景中任意对象的几何，语义和运动属性。对于每个输入帧，我们执行实例分割来检测对象，并使用几何和运动信息来细化掩模边界。同时，我们估计每个现有的移动对象的姿态，使用面向对象的跟踪方法和鲁棒跟踪相机对静态场景的姿态。基于估计的相机姿态和对象姿态，我们将分割的掩模与现有模型相关联，并将相应的颜色，深度，语义和前景对象概率逐步融合到每个对象模型中。与现有方法相比，我们的系统是第一个从单个RGB-D相机生成对象级动态体积图的系统，该系统可直接用于机器人任务。我们的方法可以在CPU上以2-3 Hz运行，不包括实例分割部分。我们证明了它的有效性，定量和定性测试合成和现实世界的序列。
2019-03-21 cs.CV cs.RO
Visual-Inertial Multi-Instance Dynamic SLAM with Object-level Relocalisation
Imperial College London（帝国理工学院）；Technical University of Munich（慕尼黑工业大学）
本文提出了一个紧密耦合的视觉-惯性对象级多实例动态SLAM系统。即使在极其动态的场景中，它也可以鲁棒地优化相机姿态、速度、IMU偏差，并构建环境的密集3D重建对象级地图。我们的系统可以鲁棒地跟踪和重建任意对象的几何形状，它们的语义和运动，通过将相关的颜色，深度，语义和前景对象概率逐步融合到每个对象模型中，这要归功于其强大的传感器和对象跟踪。此外，当物体丢失或移动到相机视野之外时，我们的系统可以在重新观察时可靠地恢复其姿态。我们证明了我们的方法的鲁棒性和准确性，通过定量和定性测试它在现实世界的数据序列。
2022-08-08 cs.CV cs.RO
Localization and Mapping using Instance-specific Mesh Models
University of California, San Diego（加利福尼亚大学圣迭戈分校）
本文的重点是建立语义地图，包含对象的姿态和形状，使用单目摄像机。这是一个重要的问题，因为如果机器人要塑造交通、建筑和农业的未来，它们需要对几何和环境有丰富的理解。我们的贡献是一个特定于实例的对象形状的网格模型，可以在线优化的基础上从相机图像中提取的语义信息。通过检测对象并提取特定类别的关键点和分割掩模来获得对对象形状的多视图约束。我们表明，可以区分网格模型的投影与观察到的关键点和掩模之间的误差，以获得准确的特定于实例的对象形状。我们评估所提出的方法在模拟和KITTI数据集上的性能，通过建立汽车姿势和形状的地图。
2021-03-08 cs.CV cs.RO
Learning Category-level Last-meter Navigation from RGB Demonstrations of a Single-instance
University of Minnesota, Twin Cities（明尼苏达大学 Twin Cities 分校）
提出面向对象的模仿学习框架，利用RGB观测实现四足移动机械臂在最后米阶段的精确导航，无需深度或地图先验，在类别级泛化中达到高成功率。
2026-07-02 cs.RO
Probabilistic Egocentric Motion Correction of Lidar Point Cloud and Projection to Camera Images for Moving Platforms
Australian Centre for Field Robotics（澳大利亚野外机器人中心）；University of Sydney（悉尼大学）
来自异构传感器的传感器数据的融合对于涉及移动平台的各种机器人应用中的鲁棒感知至关重要，例如，自主车辆导航。特别是，将摄像头和激光雷达传感器相结合，可以将周围环境的精确范围信息投影到视觉图像上。它还可以使用3D映射的视觉分割/分类结果标记每个激光雷达点，这有助于对场景进行更高层次的理解。然而，由于内在和外在的传感器校准，以及由平台的自我运动引起的激光雷达点的失真，该任务被认为是不平凡的。尽管存在许多激光雷达自运动校正方法，但由于自运动估计的不确定性而导致的校正过程中的误差不可能完全消除。因此，有必要考虑问题的概率过程中的自我运动估计的不确定性建模和考虑一致。本文研究了概率激光雷达自我运动校正和激光雷达到摄像机的投影，其中自我运动估计和时间抖动的不确定性在感官测量。所提出的方法在仿真和使用从改装有广角摄像头和16束扫描激光雷达的电动汽车收集的真实数据中进行了验证。
2020-03-09 cs.RO
Unsupervised Simultaneous Learning for Camera Re-Localization and Depth Estimation from Video
Toyota Central R&D Labs., Inc.（丰田中央研发实验室株式会社）
我们提出了一个无监督的同时学习框架的任务，单目摄像机重新定位和深度估计从未标记的视频序列。单目摄像机重定位是指在已知环境中从实例图像估计摄像机绝对姿态的任务，这已经被深入研究用于GPS拒绝环境中的替代定位。在最近的工作中，摄像机重新定位方法通过监督学习从摄像机图像和摄像机姿态对进行训练。与以前的作品相比，我们提出了一个完全无监督学习框架，用于相机重新定位和深度估计，只需要单目视频序列进行训练。在我们的框架中，我们训练两个网络，它们使用方向和来自每个图像的深度图来估计场景坐标，然后将它们组合起来估计相机姿态。该网络可以通过基于我们的闭环视图合成的损失函数的最小化来训练。在7场景数据集的实验中，所提出的方法优于最先进的视觉SLAM，ORB-SLAM 3的重新定位。我们的方法在训练环境中的表现也优于最先进的单眼深度估计。
2022-03-24 cs.CV cs.RO
MatchFusion: Explicit-Implicit Instance Matching for Spatio-Temporal Multimodal Autonomous Driving
Harbin Institute of Technology, Harbin 150001, China（中国哈尔滨 哈尔滨工业大学 150001）；Zhejiang University, Hangzhou 310027, China（中国杭州 浙江大学 310027）
针对多模态自动驾驶中时空实例交互的匹配问题，提出MatchFusion模块，结合几何与语义的显式-隐式匹配，提升感知精度并大幅降低计算开销。
2026-09-23 cs.CV cs.RO
Real-time 3D Pose Estimation with a Monocular Camera Using Deep Learning and Object Priors On an Autonomous Racecar
Department of Mechanical and Process Engineering（机械与过程工程系）
我们提出了一个完整的流水线，允许目标检测，并同时估计这些多个对象的情况下，使用一个单一的图像的姿态。介绍了一种新的“关键点回归”方案，该方案利用关于对象的形状和大小的先验信息来回归并找到特定的特征点。此外，关于对象的先验3D信息被用于匹配2D-3D对应关系，并准确地估计高达15米距离的对象位置。详细讨论的结果和管道的深入分析。该管道在低功率Jetson TX 2上高效运行，并作为感知管道的一部分部署在以54 km/hr的最高速度巡航的实时的【形】自动驾驶汽车上。
2018-09-27 cs.CV cs.RO
WoodScape: A multi-task, multi-camera fisheye dataset for autonomous driving
Valeo（法雷奥）
鱼眼相机通常用于在监视、增强现实以及特别是汽车应用中获得大视场。尽管它们很流行，但很少有公共数据集用于对鱼眼图像进行计算机视觉算法的详细评估。我们发布了第一个广泛的鱼眼汽车数据集WoodScape，以1906年发明鱼眼相机的Robert Wood命名。WoodScape包括四个环绕视图摄像头和九个任务，包括分割，深度估计，3D限界框检测和污染检测。为超过10，000张图片提供了40个类的实例级语义标注，为超过100，000张图片提供了其他任务的标注。通过WoodScape，我们希望鼓励社区为鱼眼相机调整计算机视觉模型，而不是使用天真的纠正。
2021-07-02 cs.AI cs.CV cs.LG
Soft Constrained Autonomous Vehicle Navigation using Gaussian Processes and Instance Segmentation
Federal University of Lavras（拉夫拉斯联邦大学）；University of Waterloo（滑铁卢大学）；University of Alberta（阿尔伯塔大学）
本文提出了一种通用的基于特征的自主车辆导航框架，使用软约束粒子滤波器。选定的地图功能，如道路和地标位置，以及车辆状态用于设计软约束。在从单目相机获取的基于实例的分割图像中获得映射地标的特征之后，使用高斯过程回归（GPR）模型以混合专家模型的方法预测车辆到地标的距离。GPR模型的均值和方差输出用于实现自适应约束。实验结果证实，使用图像分割功能，提高了车辆到地标的距离预测显着，和建议的软约束方法可靠地定位车辆，即使减少了地标和噪声观测的数量。
2021-01-18 cs.RO cs.SY eess.SY
Generalized Object Detection on Fisheye Cameras for Autonomous Driving: Dataset, Representations and Baseline
Valeo R&D（法雷奥研发中心）；Valeo Vision Systems（法雷奥视觉系统公司）；Valeo DAR Kronach（法雷奥克罗纳赫DAR）；University of Limerick（利默里克大学）
目标检测是自动驾驶领域的一个研究热点。然而，在鱼眼相机的情况下，它相对较少被探索。标准的限界框在鱼眼相机中由于强烈的径向失真而失败，特别是在图像的外围。在这项工作中，我们探索更好的表示，如有向的限界框，椭圆，和通用多边形的目标检测鱼眼图像。我们使用IoU度量来使用准确的实例分割地面实况来比较这些表示。我们设计了一种新的弯曲限界框模型，具有最佳的鱼眼失真模型的属性。我们还设计了一个曲率自适应周长采样方法获得多边形顶点，提高相对mAP得分4.9%，均匀采样相比。总体而言，所提出的多边形模型将mIoU的相对准确度提高了40.3%。据我们所知，这是第一次详细研究自动驾驶场景中鱼眼摄像头的目标检测。由10，000张图像组成的数据集以及所有对象表示地面真相将公开，以鼓励进一步研究。我们在https://youtu.be/iLkOzvJpL-A上的一个简短的视频中总结了我们的工作和定性结果。
2022-12-21 cs.CV cs.RO
Anomaly Detection in Unstructured Environments using Bayesian Nonparametric Scene Modeling
Woods Hole Oceanographic Institution（伍兹霍尔海洋研究所）；Point Loma Nazarene University（波因特洛马拿撒勒大学）；NOAA（美国国家海洋和大气管理局）
本文探讨了使用贝叶斯非参数主题建模技术的视频数据中的异常检测的目的。我们提出了两个实验的结果。第一个实验表明，所提出的技术是自动能够表征底层地形，并检测异常菌群的图像数据收集的水下机器人。第二个实验表明，相同的技术可以用于从静态相机在动态非结构化环境中的图像。在第二个数据集，包括从静态海底摄像机捕捉图像的繁忙的珊瑚礁的视频数据，所提出的技术能够检测所有三个实例的水下航行器通过前面的相机，在许多其他观察鱼类，碎片，照明变化由于表面波，底栖植物。
2016-02-16 cs.CV cs.RO
Using depth information and colour space variations for improving outdoor robustness for instance segmentation of cabbage
University of Hohenheim（霍恩海姆大学）
基于图像的农业产量检测可以提高农场的收获效率和耕作性能。基于此目标，本研究致力于改进田间作物在不同环境条件下的实例分割。五个数据集的卷心菜植物记录在不同的光照条件下的室外。使用商业单色照相机获取图像。此外，深度信息是用运动恢复结构（SfM）从图像流中生成的。使用Mask R-CNN来检测和分割卷心菜头。分析了深度信息和不同颜色空间表示的影响。结果表明，深度与颜色信息相结合，导致分割精度提高了7.1%。通过使用光和饱和度信息与深度信息相结合的颜色空间来描述颜色信息，可以达到16.5%的额外分割改进。CIELAB颜色空间与深度信息层相结合显示出最佳结果，达到75的平均精度。
2021-03-31 cs.CV cs.LG cs.RO
Object-Scene-Camera Decomposition and Recomposition for Data-Efficient Monocular 3D Object Detection
Institute of Artificial Intelligence and Robotics（人工智能与机器人研究院）；Xi'an Jiaotong University（西安交通大学）；Intelligent Transportation Thrust of the Systems Hub（系统枢纽智能交通事业部）；Hong Kong University of Science and Technology (GZ)（香港科技大学（广州））；Amazon Alexa AI（亚马逊Alexa AI）
本文提出了一种在线分解与重组数据处理方案，通过生成多样化的物体-场景-相机组合数据，提升单目3D物体检测模型的性能。
2026-02-24 cs.CV cs.RO
Volumetric Instance-Aware Semantic Mapping and 3D Object Discovery
Autonomous Systems Lab, ETH Zurich（苏黎世联邦理工学院自主系统实验室）
为了在现实环境中自主导航和规划交互，机器人需要能够鲁棒地感知和映射复杂的非结构化周围场景。除了构建观察到的场景几何的内部表示之外，对环境的真正功能性理解的关键见解是在映射期间使用更高级别的实体，例如单个对象实例。我们提出了一种方法，以增量方式建立体积对象为中心的地图，在线扫描与本地化的RGB-D相机。首先，每帧分割方案将无监督几何方法与实例感知语义对象预测相结合。这使我们能够从已知的类集合和其他以前看不见的类别中检测和分割元素。接下来，数据关联步骤跟踪跨不同帧的预测实例。最后，地图集成策略将有关其3D形状，位置和语义类（如果可用）的信息融合到全局体积中。对公开数据集的评估表明，所提出的用于构建实例级语义映射的方法与最先进的方法相比具有竞争力，同时还能够发现看不见的类别的对象。该系统进一步评估在现实世界的机器人映射设置，定性结果突出了在线性质的方法。
2019-07-10 cs.CV cs.RO
