Scalable Primitives for Generalized Sensor Fusion in Autonomous Vehicles
Woven Planet Level 5
在自动驾驶领域，深度神经网络在感知、预测和规划任务中的应用出现了爆炸式增长。随着自动驾驶汽车（AV）接近生产，多模态传感器输入和具有不同传感器平台的异构车队在行业中变得越来越普遍。然而，神经网络架构通常针对特定的传感器平台，并且对输入的变化不鲁棒，使得缩放和模型部署的问题特别困难。此外，大多数玩家仍然将软件和硬件的优化问题视为完全独立的问题。我们提出了一个新的端到端的架构，广义传感器融合（GSF），这是设计在这样一种方式，传感器输入和目标任务是模块化的和可修改的。这使AV系统设计人员能够轻松地试验不同的传感器配置和方法，并能够使用大型工程组织共享的相同模型在异构车队上进行部署。使用这个系统，我们报告的实验结果，我们证明了一个昂贵的高密度（HD）激光雷达传感器与廉价的低密度（LD）激光雷达加相机设置在3D目标检测任务的近平价。这为行业联合设计硬件和软件架构以及具有异构配置的大型车队铺平了道路。
2021-12-01 cs.CV cs.RO
Sensor-Independent Illumination Estimation for DNN Models
虽然现代深度神经网络（DNN）实现了光源估计的最新结果，但目前有必要为每种类型的相机传感器训练单独的DNN。这意味着当相机制造商使用新传感器时，需要使用新传感器捕获的训练图像重新训练现有的DNN模型。本文通过引入一种新的独立于传感器的光源估计框架来解决这个问题。我们的方法学习了一个与传感器无关的工作空间，可用于规范任何相机传感器的RGB值。我们的学习空间保留了原始传感器原始RGB空间的线性属性，并允许在此工作空间上训练的单个DNN模型上使用看不见的相机传感器。我们在几个不同的相机传感器上证明了这种方法的有效性，并表明它提供的性能与每个传感器训练的最先进的方法相当。
2019-12-14 cs.CV
Single Image 3D Object Estimation with Primitive Graph Networks
ShanghaiTech University（上海科技大学）；Chinese Academy of Sciences（中国科学院）；Baidu Inc.（百度公司）；KU Leuven（鲁汶大学）
从单个图像（RGB或深度）重建3D对象是视觉场景理解中的基本问题，但由于其在现实世界场景中的不适定性质和复杂性而仍然具有挑战性。为了解决这些挑战，我们采用了一个基于连续的表示三维对象，并提出了一个两阶段的图网络连续的三维对象估计，其中包括一个顺序的建议模块和图推理模块。给定一个2D图像，我们的建议模块首先从输入图像中生成一个具有局部特征关注的3D基元序列。然后，图形推理模块对基元图执行联合推理，以捕获每个基元的全局形状上下文。这种框架能够在3D结构恢复期间考虑丰富的几何和语义约束，即使在具有挑战性的观看条件下也能产生具有更连贯结构的3D对象。我们以阶段策略训练整个图神经网络，并在三个基准上对其进行评估：Pix3D，ModelNet和NYU Depth V2。大量的实验表明，我们的方法优于以前的国家的艺术有相当大的利润。
2021-09-09 cs.CV cs.LG
Fit-NGP: Fitting Object Models to Neural Graphics Primitives
Imperial College London（伦敦帝国理工学院）
提出基于机械臂和腕戴摄像头的全自动物体姿态估计系统，利用高效辐射场重建方法生成的密度场，实现对具有已知3D模型的小型及反射表面物体的高精度6自由度姿态估计。
2024-01-04 cs.CV
A General Optimization-based Framework for Global Pose Estimation with Multiple Sensors
Hong Kong University of Science and Technology（香港科技大学）
精确的状态估计是自主机器人的一个基本问题。为了实现局部精确和全局无漂移的状态估计，通常将具有互补特性的多个传感器融合在一起。本地传感器（相机、IMU、LiDAR等）在小区域内提供精确的姿态，而全局传感器（GPS、磁力计、气压计等）在大规模环境中提供有噪声但全局无漂移的定位。在本文中，我们提出了一个传感器融合框架，融合局部状态与全局传感器，实现局部准确和全局无漂移的姿态估计。由现有VO/VIO方法产生的局部估计在姿态图优化中与全局传感器融合。在图优化中，局部估计被对齐到全局坐标中。同时，消除了累积漂移。我们评估我们的系统在公共数据集和现实世界的实验的性能。结果与其他国家的最先进的算法进行比较。我们强调，我们的系统是一个通用的框架，它可以很容易地融合各种全球传感器在一个统一的姿态图优化。我们的实现是开源的\footnote{https://github.com/HKUST-Aerial-Robotics/VINS-Fusion}。
2019-01-11 cs.CV
Superquadric Primitive Decomposition of 3D point clouds via Geometric-Aware Inlier Refinement
University of Milano-Bicocca（米兰比可卡大学）；Politecnico di Milano（米兰理工大学）；University of Bonn（波恩大学）；Pegaso University（佩加索大学）
提出一种几何感知的基元分解框架，通过图割优化的内点精化步骤整合法线一致性等几何先验，提升超二次曲面分解的精度与鲁棒性，在合成和真实数据上优于基于RANSAC的方法。
2026-09-29 cs.CV
Generative Category-Level Shape and Pose Estimation with Semantic Primitives
Zhejiang University（浙江大学）；ByteDance AI Lab（字节跳动人工智能实验室）；The Chinese University of Hong Kong（香港中文大学）
赋予自主智能体对日常物体的3D理解是机器人应用中的一个巨大挑战。当在未知环境中进行探测时，由于目标形状的多样性，现有的目标姿态估计方法仍然不能令人满意。在本文中，我们提出了一种新的框架类别级的物体形状和姿态估计从一个单一的RGB-D图像。为了处理类别内的变化，我们采用了一种语义原语表示，将不同的形状编码到一个统一的潜在空间中，这是在观察到的点云和估计的形状之间建立可靠的对应关系的关键。然后，通过使用SIM（3）不变的形状描述符，我们优雅地解耦对象的形状和姿态，从而支持任意姿态的目标对象的潜在形状优化。大量实验表明，该方法在真实数据集中取得了SOTA姿态估计性能和更好的泛化能力。代码和视频可在https://zju3dv.github.io/gCasp上获得。
2023-02-01 cs.CV cs.RO
A General Optimization-based Framework for Local Odometry Estimation with Multiple Sensors
Hong Kong University of Science and Technology（香港科技大学）
如今，越来越多的传感器被装备在机器人上，以提高机器人的鲁棒性和自主能力。我们已经看到了不同平台上配备的各种传感器套件，例如地面车辆上的立体相机，手机上带有IMU（惯性测量单元）的单目相机，以及空中机器人上带有IMU的立体相机。虽然过去已经提出了许多用于状态估计的算法，但是它们通常应用于单个传感器或特定的传感器组。它们中的一些可以与多个传感器选择一起使用。在本文中，我们提出了一个通用的基于优化的框架里程估计，它支持多个传感器集。在我们的框架中，每个传感器都被视为一个一般因素。共享公共状态变量的因素被加在一起以构建优化问题。我们进一步证明了与视觉和惯性传感器，形成三个传感器套件（立体相机，单目相机与IMU，和立体相机与IMU）的一般性。我们在公共数据集上验证了我们的系统的性能，并通过多个传感器的真实实验。结果与其他国家的最先进的算法进行比较。我们强调，我们的系统是一个通用的框架，它可以很容易地融合各种传感器的姿态图优化。我们的实现是开源的\footnote{https://github.com/HKUST-Aerial-Robotics/VINS-Fusion}。
2019-01-11 cs.CV
Disparity Estimation Using a Quad-Pixel Sensor
Institute of Science Tokyo（东京科学大学）；Olympus Medical Systems Corporation（奥林巴斯医疗系统公司）
本文提出QPDNet，通过融合四像素传感器垂直与水平立体匹配相关性进行视差估计，并构建合成训练数据流程，实验证明其优于现有立体和双像素方法。
2024-09-01 cs.CV
PRIMU: Uncertainty Estimation for Novel Views in Gaussian Splatting from Primitive-Based Representations of Error and Coverage
Department of Mathematics（数学系）；University of Wuppertal（乌珀塔尔大学）；Institute of Computer Science（计算机科学研究所）；University of Osnabrück（奥斯纳布吕克大学）；Centre for Robotics（机器人中心）；Queensland University of Technology（昆士兰理工大学）
PRIMU通过基于原始体的误差和覆盖度表示，实现了高斯点扩散中对新视图不确定性的有效估计，优于现有方法，尤其在深度和前景物体估计上表现突出。
2025-12-02 cs.CV cs.GR
Dynamical Pose Estimation
MIT（麻省理工学院）；University of Cambridge（剑桥大学）
我们研究了已知对应关系的两组3D几何图元的对齐问题。我们的第一个贡献是表明，这个原始对齐框架统一了五个感知问题，包括点云配准，原始（网格）配准，类别级3D配准，绝对姿态估计（APE），和类别级APE。我们的第二个贡献是提出动态姿态估计（DAMP），第一个通用和实用的算法来解决原始对齐问题，通过模拟刚体动力学所产生的虚拟弹簧和阻尼，其中弹簧跨越相应的基元之间的最短距离。我们在所有五个问题的模拟和真实数据集上评估了DAMP，并证明了（i）DAMP总是在前三个具有3D-3D对应关系的问题中收敛到全局最优解;（ii）尽管DAMP有时会在最后两个具有2D-3D对应关系的问题中收敛到次优解，但使用逃避局部极小值的方案，DAMP总是成功的。我们的第三个贡献是揭开神秘的令人惊讶的经验表现的DAMP和正式证明了全局收敛的结果的情况下，点云注册的特征局部稳定性的基础动力系统的平衡点。
2021-08-12 cs.CV cs.RO math.DS
Beyond Motion Primitives: Behavioral Activity Recognition from Head-Mounted IMU
Harvard AI and Robotics Lab, Harvard University（哈佛人工智能与机器人实验室，哈佛大学）
提出HiT-HAR层次模型，利用头戴式IMU数据实现行为级活动识别，超越传统运动基元，在五类动作和八类场景识别中优于现有模型。
2026-05-26 cs.AI cs.CV
Deep Sensor Fusion for Real-Time Odometry Estimation
相机和二维激光扫描仪相结合，能够提供低成本，重量轻和准确的解决方案，这使得它们的融合非常适合许多机器人导航任务。然而，正确的数据融合依赖于传感器之间的刚体变换的精确校准。在本文中，我们提出了第一个框架，利用卷积神经网络（CNN）的里程估计融合二维激光扫描仪和单相机。CNN的使用提供了工具，不仅可以从两个传感器中提取特征，还可以在不需要传感器之间校准的情况下融合和匹配它们。我们将里程估计转化为有序分类问题，以便找到连续帧之间的准确旋转和平移值。在实际道路数据集上的实验结果表明，该融合网络能够实时的【形】运行，并且能够通过学习如何融合两种不同类型的数据信息来改善单个传感器的里程估计。
2019-07-31 cs.CV cs.RO
Stereo Event Lifetime and Disparity Estimation for Dynamic Vision Sensors
University of Zagreb Faculty of Electrical Engineering and Computing（萨格勒布大学电气工程与计算学院）
基于事件的相机是生物启发的传感器，在场景中输出异步的像素亮度变化，称为事件。与以固定帧速率输出帧并遭受运动模糊的标准相机相反，它们具有高动态范围和微秒级的时间分辨率。形成这种相机的立体对可以打开新的应用可能性，因为对于每个事件深度可以容易地估计;然而，为了充分利用传感器的异步性质并避免固定时间间隔事件累积，应该采用立体事件寿命估计。在本文中，我们提出了一种新的方法，立体事件相机的事件寿命估计，允许生成尖锐的梯度图像的事件，作为输入的视差估计方法。由于一个单一的亮度变化触发事件在两个事件相机传感器，我们提出了一种方法Single Shot事件的生命周期和视差估计，通过立体匹配的关联。所提出的方法是大约两倍的速度和更准确的寿命分别估计每个传感器，然后立体匹配。通过多个立体事件摄像机实验对真实世界的数据进行了验证。
2019-07-17 cs.CV cs.RO
Monocular Depth Estimation for Soft Visuotactile Sensors
Toyota Research Institute（丰田研究院）
填充液体的软性视觉触觉传感器（如Soft-bubbles）缓解了稳健操作的关键挑战，因为它们能够实现可靠的抓握，并能够获得关于接触几何形状和力的高分辨率感官反馈。虽然它们结构简单，但由于封闭的定制IR/深度成像传感器直接测量表面变形所引入的尺寸限制，它们的实用性受到限制。为了减轻这一限制，我们研究了应用最先进的单目深度估计来直接从内部单个小型IR成像传感器推断密集的内部（触觉）深度图。通过真实世界的实验，我们表明，通常用于长距离深度估计（1- 100米）的深度网络可以有效地训练，以便在一个几乎无纹理的可变形流体填充传感器内的更短范围（1- 100毫米）内进行精确预测。我们提出了一个简单的监督学习过程来训练一个对象不可知的网络，该网络需要少于10个随机的姿势，接触不到10秒，用于一小组不同的对象（杯子，酒杯，盒子和手指在我们的实验中）。我们表明，我们的方法是样本高效，准确，并概括了不同的对象和传感器配置在训练时看不见。最后，我们讨论了我们的软视觉触觉传感器和夹具的设计方法的影响。
2021-01-05 cs.CV cs.RO
From Planes to Corners: Multi-Purpose Primitive Detection in Unorganized 3D Point Clouds
TU Munich（慕尼黑工业大学）；Stanford University（斯坦福大学）
本文提出了一种新的无分割的正交平面及其交线、关系图和角点的联合估计方法。在正交性下的这种统一场景探索允许许多应用，例如语义平面检测或局部和全局扫描对准，这反过来可以帮助机器人定位或抓取任务。我们的两阶段管道涉及到一个粗略的，但联合估计的正交平面，随后联合细化的平面参数尊重他们的正交关系。我们将这些图元形成一个图，为提取进一步的可靠特征铺平了道路：线条和拐角。我们的实验证明了我们的方法在许多场景中的有效性，从墙壁检测到6D跟踪，无论是合成数据还是真实数据。
2020-04-24 cs.CV cs.RO
Zero-Shot Transfer of Force Map Estimation Across GelSight Mini Sensors
该研究针对GelSight Mini传感器性能难标准化、需重复训练的问题，提出含UniT图像重建与U-Net力图估计两阶段的方法，实现不同传感器间零样本力图迁移，取得良好实验结果。
2026-08-20 cs.CV cs.RO
Multi-Camera Sensor Fusion for Visual Odometry using Deep Uncertainty Estimation
University of Surrey（萨里大学）
视觉里程计（VO）估计是车辆状态估计和自动驾驶的重要信息来源。最近，基于深度学习的方法已经开始出现在文献中。然而，在驾驶的背景下，基于单个传感器的方法往往容易失败，因为由于环境因素，摄像头放置等降低图像质量，为了解决这个问题，我们提出了一个深度传感器融合框架，估计车辆运动的姿态和不确定性估计从多个车载摄像头。我们使用混合CNN - RNN模型从一组连续图像中提取时空特征表示。然后，我们利用混合密度网络（MDN）来估计6-DoF姿态作为分布的混合物，并利用融合模块来估计最终姿态，使用来自多个相机的MDN输出。我们在公开的大规模自动驾驶汽车数据集nuScenes上评估了我们的方法。结果表明，所提出的融合方法超越了国家的最先进的，并提供了强大的估计和准确的轨迹相比，个人相机为基础的估计。
2021-12-23 cs.CV cs.RO
Can you see me now? Blind spot estimation for autonomous vehicles using scenario-based simulation with random reference sensors
Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院）
本文提出一种基于3D仿真环境和Monte Carlo参考传感器模拟的方法，利用LiDAR点云或相机深度图像准确估计自动驾驶车辆传感器设置的盲点大小及物体检测概率，克服了传统几何近似的不真实性。
2024-02-14 cs.CV cs.RO
UltraGlove: Hand Pose Estimation with Mems-Ultrasonic Sensors
Princeton University（普林斯顿大学）
本文提出了一种基于MEMS-超声波传感器的低成本手部追踪手套，通过测量传感器间距离矩阵并用轻量级深度网络重建手部姿态，有效解决了视觉遮挡和IMU漂移问题。
2023-09-14 cs.CV cs.GR cs.HC
