Synchronized Multi-Arm Rearrangement Guided by Mode Graphs with Capacity Constraints
Rutgers University（罗格斯大学）
解决涉及多个对象和多个机器人手臂的任务规划问题带来了可扩展性的挑战。这些问题不仅涉及协调多个高自由度手臂，而且还涉及搜索可能的动作序列，包括对象放置和翻转。目前的工作确定了一个有用的多臂重排和最近的结果之间的连接，在多体路径规划的图与顶点容量约束。解决一个同步的多臂重排在一个高层次涉及推理的模态图，其中节点对应于稳定的对象放置和对象转移状态的武器。该图的边缘对应于拾取、放置和切换操作。对象可以被看作是在这个图上移动的鹅卵石，它具有容量限制。例如，每个臂可以携带单个对象，但是放置位置可以累积许多对象。已提出了相应的卵石问题的有效整数线性规划为基础的求解器。目前的工作提出了一个启发式的任务规划过程中，指导同步多臂重排。结果表明，良好的可扩展性，多个武器和对象，和算法，可以找到高质量的解决方案快速和表现出理想的任何时候的行为。
2020-05-18 cs.RO
Visual Imitation Learning of Task-Oriented Object Grasping and Rearrangement
本文提出多特征隐式模型（MIMO）用于提升机器人在不完全观察下抓取和重排物体的性能，并通过模拟和现实实验验证其在任务导向操作学习中的有效性。
2024-03-20 cs.RO
Task and Motion Planning with Large Language Models for Object Rearrangement
Meta AI；The State University of New York at Binghamton（纽约州立大学宾汉姆顿分校）
针对服务机器人多物体重排中常识知识难迁移的问题，提出LLM-GROP方法，从大语言模型提取常识知识并结合任务运动规划器适配不同场景，经评估在成功率和人类评分上优于基准方法，并完成真实机器人落地验证。
2023-10-05 cs.RO
Probabilistic Multi-View Fusion of Active Stereo Depth Maps for Robotic Bin-Picking
University of Toronto Institute for Aerospace Studies（多伦多大学航空航天研究所）；Robotics Institute（机器人研究所）；Epson Canada Ltd.（爱普生加拿大有限公司）
多视点深度图的可靠融合已成为许多三维重建流水线中的重要问题。在这项工作中，我们研究其对机器人装箱任务，如6D物体姿态估计的影响。物体姿态估计的性能在很大程度上依赖于深度数据的质量。然而，由于发光表面和杂乱场景的普遍存在，工业级深度相机通常无法从单个视点感测深度或生成不可靠的测量结果。为此，我们提出了一种新的概率框架，场景重建机器人箱采摘。基于主动立体相机数据，我们首先明确估计深度测量的不确定性，以减轻噪声和离群值的不利影响。然后，将不确定性估计纳入概率模型中，用于增量地更新场景。为了广泛评估传统的融合方法以及我们自己的方法，我们将发布一个新的代表性数据集，每个bin和策展部分都有多个视图。在整个数据集上，我们证明了我们的框架优于传统的融合方法，重建误差减少了12.8%，检测率提高了6.1%。该数据集将在https://www.trailab.utias.utoronto.ca/robi上提供。
2021-03-19 cs.RO
3D Fusion of Infrared Images with Dense RGB Reconstruction from Multiple Views -- with Application to Fire-fighting Robots
UCSD（加州大学圣地亚哥分校）
该项目集成了红外和RGB图像，以生成从多个视图重建的密集3D环境模型。生成的3D地图包含热和RGB信息，可用于机器人消防应用，以识别受害者和活跃的火灾区域。
2020-07-29 cs.CV cs.RO
MVFuseNet: Improving End-to-End Object Detection and Motion Forecasting through Multi-View Fusion of LiDAR Data
Aurora Innovation（奥罗拉创新）
在这项工作中，我们提出了\textit{MVFuseNet}，一种新的端到端的方法，用于联合目标检测和运动预测的时间序列的激光雷达数据。大多数现有方法通过在范围视图（RV）或鸟瞰视图（BEV）中投影数据来在单个视图中操作。相比之下，我们提出了一种有效利用RV和BEV进行时空特征学习的方法，作为时间融合网络的一部分，以及骨干网络中的多尺度特征学习。此外，我们提出了一种新的顺序融合方法，有效地利用多个视图的时间融合网络。我们展示了我们的多视图方法在两个大规模自动驾驶数据集上的检测和运动预测任务中的优势，实现了最先进的结果。此外，我们表明，MVFusenet的规模以及大的操作范围，同时保持实时性能。
2021-04-21 cs.CV cs.RO
AFT-VO: Asynchronous Fusion Transformers for Multi-View Visual Odometry Estimation
University of Surrey（萨里大学）
运动估计方法通常采用传感器融合技术（例如，卡尔曼滤波器）来处理个别传感器故障。最近，已经提出了基于深度学习的融合方法，提高了性能并且需要较少的模型特定实现。然而，目前的深度融合方法通常假设传感器是同步的，这并不总是实用的，特别是对于低成本硬件。为了解决这个问题，在这项工作中，我们提出了AFT-VO，一种新的基于变压器的传感器融合架构，估计VO从多个传感器。我们的框架结合了来自异步多视图相机的预测，并考虑了来自不同来源的测量的时间差异。我们的方法首先采用混合密度网络（MDN）来估计系统中每个相机的6自由度姿态的概率分布。然后介绍了一种新的基于变换的融合模块，AFT-VO，它结合了这些异步姿态估计，以及它们的置信度。更具体地说，我们介绍离散和源编码技术，使多源异步信号的融合。我们在流行的nuScenes和KITTI数据集上评估了我们的方法。我们的实验表明，多视图融合VO估计提供了强大的和准确的轨迹，在具有挑战性的天气和光照条件下优于最先进的。
2022-09-16 cs.CV cs.RO
Evaluation of an Uncertainty-Aware Late Fusion Algorithm for Multi-Source Bird's Eye View Detections Under Controlled Noise
VEDECOM；IRSEEM
本文提出统一卡尔曼融合（UniKF）算法，通过受控噪声评估框架隔离融合过程，在多源BEV检测中实现定位误差最多降低3倍、尺寸误差降低2倍，并保持99.5%至100%的精确率和召回率。
2025-07-04 cs.RO eess.SP
A Cross-view Fusion Framework for Robust 6-DoF Grasp Pose Estimation
Nanjing University of Science and Technology（南京理工大学）；Nanyang Technological University（南洋理工大学）；Nanjing University（南京大学）
提出跨视图融合框架，通过辅助视图缓解遮挡，利用自监督对比学习增强点云特征的空间一致性和方向区分性，并设计跨视图对齐圆柱体集成模块融合抓取相关几何，提升角落视图下的6-DoF抓取姿态估计鲁棒性。
2026-06-05 cs.CV cs.RO
Single-View and Multi-View Depth Fusion
University of Zaragoza（萨拉戈萨大学）；Bit&Brain Technologies SL（Bit&Brain科技有限公司）
从单目序列中获得密集而精确的3D映射是几种应用的关键技术，并且仍然是一个开放的研究领域。本文利用最近的单视图基于CNN的深度估计的结果，并将它们与多视图深度估计融合。这两种方法具有互补的优势。多视图深度是高度精确的，但仅在高纹理区域和高视差情况下。单视图深度捕获中间级别区域的局部结构，包括无纹理区域，但估计的深度缺乏全局一致性。我们提出的单视图和多视图融合在几个方面具有挑战性。首先，这两个深度通过依赖于图像内容的变形而相关。其次，对于低视差配置，高精度的多视点的选择可能是困难的。我们目前的贡献，这两个问题。我们在NYUv2和TUM的公共数据集上的结果表明，我们的算法优于单个和多视图方法。有关我们的单视图和多视图深度提案中映射的关键方面的视频，请访问https://youtu.be/ipc5HukTb4k
2017-06-27 cs.CV cs.RO
RV-FuseNet: Range View Based Fusion of Time-Series LiDAR Data for Joint 3D Object Detection and Motion Forecasting
Aurora Innovation（奥罗拉创新公司）；Uber Advanced Technologies Group（优步先进技术集团）；Motional（动势公司）
强大的实时检测和交通参与者的运动预测是必要的自动驾驶汽车安全地在城市环境中导航。在本文中，我们提出了RV-FuseNet，这是一种新的端到端方法，用于直接从时间序列LiDAR数据进行联合检测和轨迹估计。代替广泛使用的鸟瞰图（BEV）表示，我们利用本地范围视图（RV）表示的激光雷达数据。RV通过避免BEV中使用的体素化来保持传感器的全分辨率。此外，由于RV的紧凑性，可以有效地处理RV。以前的方法将时间序列数据投影到一个共同的视点进行时间融合，并且这个视点通常与捕获它的位置不同。这对于BEV方法是足够的，但是对于RV方法，这可能导致信息丢失和数据失真，这对性能具有不利影响。为了解决这一挑战，我们提出了一个简单而有效的新架构，\textit{Incremental Fusion}，最大限度地减少信息损失的顺序投影到下一个扫描的角度每个RV扫描的时间。我们表明，我们的方法显着提高了运动预测性能超过现有的国家的最先进的。此外，我们证明了我们的顺序融合方法优于其他RV基于融合方法的多个数据集。
2021-03-23 cs.CV cs.RO
DKPMV: Dense Keypoints Fusion from Multi-View RGB Frames for 6D Pose Estimation of Textureless Objects
College of Aerospace Science and Engineering, National University of Defense Technology（航空航天科学与工程学院，国防科技大学）；Hunan Provincial Key Laboratory of Image Measurement and Vision Navigation（图像测量与视觉导航省级重点实验室）
本文提出DKPMV流程，仅用多视角RGB图像通过密集关键点融合与三阶段渐进优化策略进行无纹理物体6D位姿估计，在ROBI数据集上超越现有RGB方法并多数超越RGB-D方法。
2025-10-13 cs.CV cs.RO
StructFormer: Learning Spatial Structure for Language-Guided Semantic Rearrangement of Novel Objects
Georgia Tech（佐治亚理工学院）；NVIDIA（英伟达）；Univ. of Utah（犹他大学）；Univ. of Washington（华盛顿大学）
将物体几何组织成语义上有意义的排列遍布于建筑世界。因此，在仓库、办公室和家庭中工作的辅助机器人将大大受益于识别和重新排列物体到这些语义上有意义的结构中的能力。为了发挥作用，这些机器人必须与以前看不见的物体竞争，并在没有大量编程的情况下接收指令。虽然以前的作品已经研究了识别成对的语义关系和顺序操作来改变这些简单的关系，但没有一个显示出将对象排列成复杂结构的能力，如圆圈或表格设置。为了解决这个问题，我们提出了一种新的基于变换的神经网络，StructFormer，它作为输入的当前对象的安排和结构化的语言命令编码所需的对象配置的部分视点云。我们通过严格的实验表明，StructFormer使一个物理机器人重新安排新的对象到语义有意义的结构与多对象关系的约束推断的语言命令。
2021-10-19 cs.AI cs.CL cs.CV
Multi-view Sensor Fusion by Integrating Model-based Estimation and Graph Learning for Collaborative Object Localization
Colorado School of Mines（科罗拉多矿业学院）；Toyota Motor North America（丰田北美汽车公司）
协同目标定位的目的是协同地估计从多个视图或视角观察到的目标的位置，这是多智能体系统（如联网车辆）的关键能力。为了实现协同定位，已经开发了几种基于模型的状态估计和基于学习的定位方法。鉴于其令人鼓舞的性能，基于模型的状态估计通常缺乏对多个对象之间的复杂关系进行建模的能力，而基于学习的方法通常不能融合来自任意数量的视图的观测，并且不能很好地对不确定性进行建模。在本文中，我们介绍了一种新的时空图滤波器的方法，集成了图学习和基于模型的估计进行多视图传感器融合的协作对象定位。我们的方法模型复杂的对象关系，使用一个新的时空图表示和融合多视图观察贝叶斯的方式，以提高不确定性下的位置估计。我们评估我们的方法在连接自动驾驶和多个行人定位的应用。实验结果表明，我们的方法优于以往的技术，并实现了最先进的性能协作定位。
2021-03-07 cs.CV cs.RO
Towards Two-view 6D Object Pose Estimation: A Comparative Study on Fusion Strategy
Zhejiang University（浙江大学）
目前基于RGB的6D物体姿态估计方法在数据集和现实世界应用中取得了显着的性能。然而，从单个2D图像特征预测6D姿态容易受到来自环境变化和无纹理或光滑物体表面的干扰。因此，基于RGB的方法通常比基于RGBD的方法实现更少的竞争结果，基于RGBD的方法部署图像特征和3D结构特征两者。为了缩小这一性能差距，本文提出了一个6D对象姿态估计的框架，从2个RGB图像中学习隐式3D信息。结合学习的3D信息和2D图像特征，我们建立了场景和对象模型之间更稳定的对应关系。为了寻求最好地利用RGB输入的3D信息的方法，我们对三种不同的方法进行了研究，包括早期融合，中期融合和后期融合。我们确定中融合方法是恢复最精确的3D关键点的最佳方法，可用于对象姿态估计。实验表明，我们的方法优于国家的最先进的基于RGB的方法，并取得了相当的结果与基于RGBD的方法。
2022-07-01 cs.CV cs.RO
AMVNet: Assertion-based Multi-View Fusion Network for LiDAR Semantic Segmentation
Motional；Nanyang Technological University（南洋理工大学）
在本文中，我们提出了一个基于断言的多视图融合网络（AMVNet）的激光雷达语义分割，聚合使用后期融合的单个基于投影的网络的语义特征。给定来自不同基于投影的网络的类分数，我们对分数不一致进行断言引导的点采样，并将每个采样点的一组点级特征传递给一个简单的点头，以细化预测。这种模块化和层次化的后期融合方法提供了具有两个独立网络的灵活性，而轻量级网络的开销较小。这样的方法对于机器人系统（例如，自动驾驶车辆）是期望的，对于机器人系统，计算和存储器资源通常是有限的。大量的实验表明，AMVNet在SemanticKITTI和nuScenes基准数据集上都取得了最先进的结果，并且我们的方法优于结合基于投影的网络的类得分的基线方法。
2020-12-09 cs.CV cs.LG cs.RO
AquaFuse: Waterbody Fusion for Physics Guided View Synthesis of Underwater Scenes
University of Florida（佛罗里达大学）；University of Delaware（特拉华大学）；University of South Carolina（南卡罗来纳大学）
AquaFuse提出一种基于物理的水体融合闭式解方法，在保持深度一致性与物体几何结构的前提下实现水下图像数据增强和三维视图合成，为水下成像与机器人视觉开辟了保几何风格迁移的新方向。
2025-03-11 cs.CV cs.RO
MLOD: A multi-view 3D object detection based on robust feature fusion method
University of Waterloo（滑铁卢大学）
本文提出了一种多视图标记目标检测器（MLOD）。该检测器采用RGB图像和LIDAR点云作为输入，并遵循两阶段目标检测框架。区域建议网络（RPN）在点云的鸟瞰图（BEV）投影中生成3D建议。第二阶段将3D建议边界框投影到图像和BEV特征图，并将相应的图裁剪发送到检测头以进行分类和边界框回归。与其他基于多视图的方法不同，裁剪的图像特征不直接馈送到检测头，而是被深度信息掩蔽以过滤掉3D边界框之外的部分。图像和BEV特征的融合具有挑战性，因为它们来自不同的视角。我们引入了一种新的检测头，它提供的检测结果不仅从融合层，但也从每个传感器通道。因此，可以在不同视图中标记的数据上训练对象检测器，以避免特征提取器的退化。MLOD在KITTI 3D目标检测基准测试中达到了最先进的性能。最重要的是，评估表明，新的头架构是有效的，在防止图像特征提取退化。
2019-09-09 cs.CV cs.LG cs.RO
