Self-supervised Depth Denoising Using Lower- and Higher-quality RGB-D sensors
In3D；Skoltech（斯科尔科沃科学技术学院）；Samsung AI Center, Moscow（三星人工智能中心莫斯科）
本文提出一种自监督深度去噪方法，利用不同步的低质量和高质量RGB-D传感器记录序列并时空对齐，以高质量数据为监督训练神经网络，提升低质量深度质量，在三维重建中实现更精细融合表面和更好跟踪。
2020-09-13 cs.CV
3D Reconstruction and Alignment by Consumer RGB-D Sensors and Fiducial Planar Markers for Patient Positioning in Radiation Therapy
Instituto Maimónides de Investigación en Biomedicina (IMIBIC)（迈蒙尼德生物医学研究所）；Córdoba University（科尔多瓦大学）；Health Time；Clínica las Nieves（拉斯涅韦斯诊所）
背景和目的：患者定位是放射治疗中的关键步骤，已经开发了基于使用光学3D成像的表面重建的非侵入性方法。然而，大多数解决方案需要昂贵的专用硬件和仔细的校准程序，必须重复随着时间的推移。本文提出了一种快速，廉价的患者定位方法的基础上廉价的消费级RGB-D传感器。方法：所提出的方法依赖于一种3D重建方法，该方法实时融合从手持RGB-D传感器记录的人工和自然视觉地标。视频序列被转换成一组具有已知姿势的关键帧，这些关键帧随后被细化以获得患者的真实3D重建。人工地标的使用允许我们的方法自动将重建与参考重建对齐，而不需要相对于线性加速器坐标系校准系统。结果：进行的实验表明，我们的方法得到了一个中位数为1厘米的平移误差，1度的旋转误差相对于参考位姿。此外，所提出的方法将（来自参考和当前场景的）叠加姿态和误差图示出为视觉输出，该误差图可以用于校正患者的当前姿态以匹配参考姿态。结论：提出了一种新的方法来获得三维身体重建的病人定位，而不需要昂贵的硬件或专用的图形卡。该方法可以用于将患者的当前姿势实时的对准到预览姿势，这是放射治疗中的相关步骤。
2021-03-22 cs.CV
Mobility Map Computations for Autonomous Navigation using an RGBD Sensor
Istituto Italiano di Tecnologia（意大利理工学院）；Università degli studi di Genova（热那亚大学）
近年来，真人大小的人形机器人的数量以及它们的移动能力稳步增长。人形机器人的稳定步行运动及其控制是一个非常活跃的研究领域。在这种情况下，一个开放的问题是如何建模和分析的场景，使运动规划算法可以生成一个适当的步行模式。本文介绍了目前的工作对场景建模和理解，使用RGBD传感器。主要目标是提供人形机器人iCub的能力，安全地导航和与环境的各个部分进行交互。在这个意义上说，我们解决的问题的可通行性分析的场景，集中在分类的点云作为一个功能的流动性，因此步行安全。
2016-10-05 cs.CV cs.RO
Neural RGB->D Sensing: Depth and Uncertainty from a Video Camera
NVIDIA（英伟达）；Carnegie Mellon University（卡内基梅隆大学）；SenseTime（商汤科技）
深度感知对于三维重建和场景理解至关重要。主动式深度传感器提供密集度量测量，但通常遭受诸如受限的操作范围、低空间分辨率、传感器干扰和高功耗的限制。在本文中，我们提出了一种深度学习（DL）方法，用于从单目视频流中连续估计每像素深度及其不确定性，目标是有效地将RGB相机转换为RGB-D相机。与先前的基于DL的方法不同，我们估计每个像素的深度概率分布而不是单个深度值，从而估计每个输入帧的3D深度概率量。这些深度概率量在贝叶斯过滤框架下随着时间的推移而累积，因为更多的传入帧被顺序处理，这有效地降低了深度不确定性并提高了准确性、鲁棒性和时间稳定性。与以往的工作相比，该方法实现了更准确和稳定的结果，并更好地推广到新的数据集。实验结果还表明，我们的方法的输出可以直接输入到经典的RGB-D的三维扫描方法的三维场景重建。
2019-01-09 cs.CV
Cross-spectral Gated-RGB Stereo Depth Estimation
Torc Robotics（托尔克机器人公司）；Mercedes-Benz（梅赛德斯-奔驰）；Princeton University（普林斯顿大学）
本文融合高分辨率立体HDR RCCB相机与门控成像，提出跨光谱多模态立体深度估计方法，利用主动门控、多视图RGB及NIR线索，在100–220米远距离上将MAE较次优方法改善39%。
2024-05-21 cs.CV
Photometric LiDAR and RGB-D Bundle Adjustment
Sapienza University of Rome（罗马第一大学）
传感器轨迹和三维地图的联合优化是同时定位与地图构建（SLAM）系统的一个重要特征。为了实现这一点，黄金标准是捆绑调整（BA）。现代3D激光雷达现在保留了更高的分辨率，可以创建类似于传统相机拍摄的点云图像。然而，用于RGB-D传感器的典型有效的全局细化技术并没有广泛应用于LiDAR。本文提出了一种新的BA测光策略，以相同的方式解释RGB-D和LiDAR。我们的工作可以用于任何SLAM/GNSS估计的顶部，以改善和细化初始轨迹。我们使用这两个深度传感器在公共基准上进行了不同的实验。我们的研究结果表明，我们的系统执行标准杆或更好的相比，其他国家的最先进的自组织SLAM/BA战略，从数据关联和不做假设的环境。此外，我们还展示了在统一方法中联合使用RGB-D和LiDAR的好处。我们终于发布了一个开源的CUDA/C++实现。
2023-03-29 cs.CV cs.RO
Estimating Depth from RGB and Sparse Sensing
Magic Leap（Magic Leap公司）
我们提出了一个深度模型，可以精确地产生密集的深度图给定的RGB图像与已知的深度在一个非常稀疏的像素集。该模型同时适用于室内/室外场景，并在NYUv 2和KITTI数据集上以近乎实时的速度生成最先进的密集深度图。我们超越了单眼深度估计的最新技术，即使深度值仅为每10000个图像像素中的1个，并且我们在所有稀疏级别上都优于其他稀疏到密集的深度方法。深度值为图像像素的1/256，我们在室内场景中实现了小于实际深度1%的平均绝对误差，与消费级深度传感器硬件的性能相当。我们的实验表明，确实可以将使用例如较低功率深度传感器或SLAM系统获得的稀疏深度测量有效地转换为高质量的密集深度图。
2018-12-09 cs.CV
DEPTHOR: Depth Enhancement from a Practical Light-Weight dToF Sensor and RGB Image
Huazhong University of Science and Technology（华中科技大学）；Honor Device Co., Ltd（荣耀设备有限公司）
针对现有深度增强方法依赖理想化假设、难以适配真实dToF传感器误差的问题，提出DEPTHOR深度补全方法，通过真实感dToF数据模拟训练策略与融合MDE的网络架构，在多个数据集上取得SOTA深度增强效果。
2025-07-29 cs.CV
GeoAuxNet: Towards Universal 3D Representation Learning for Multi-sensor Point Clouds
Tsinghua University（清华大学）
本文提出GeoAuxNet，通过几何到体素的辅助学习将点级几何信息注入体素表示，提升单一骨干网络对多传感器点云的通用表示能力，并在联合多传感器数据集上验证了其优越性。
2024-03-28 cs.CV
Geometry-Aware Sparse Depth Sampling for High-Fidelity RGB-D Depth Completion in Robotic Systems
Saisuode (Shanghai) Intelligent Technology Co., Ltd. (Synthoid.ai)（上海思度智能科技有限公司（Synthoid.ai））
本文提出基于几何的稀疏深度采样方法，利用表面法线估计提升RGB-D深度补全的准确性和现实感。
2025-12-09 cs.CV cs.RO
SPLODE: Semi-Probabilistic Point and Line Odometry with Depth Estimation from RGB-D Camera Motion
University of Surrey（萨里大学）
有源深度相机受到几个限制，这会导致深度图不完整和有噪声，并可能因此影响RGB-D测距法的性能。为了解决这个问题，本文提出了一种基于点和线特征的视觉里程计方法，该方法利用来自深度传感器的测量和来自相机运动的深度估计。深度估计是由概率深度估计框架连续生成的，用于两种类型的特征，以补偿深度测量的缺乏和不准确的特征深度关联。该框架明确地对来自点和线观测的三角测量深度的不确定性进行建模，以验证并获得精确的估计值。此外，通过将深度测量传播通过深度图配准模块并使用独立地考虑3D到2D和2D到3D重投影误差的帧到帧运动估计方法来利用深度测量。在大型室内和室外场景中捕获的RGB-D序列的结果表明，通过我们的方法将深度测量和估计相结合，能够克服深度测量的缺失和不准确性。
2017-08-09 cs.CV cs.RO
High-Speed Dynamic 3D Imaging with Sensor Fusion Splatting
University of North Carolina, Chapel Hill（北卡罗来纳大学教堂山分校）；Dartmouth College（达特茅斯学院）；Rice University（莱斯大学）
本文提出一种融合RGB、深度和事件相机的可变形3D高斯泼溅方法，通过联合优化高斯参数与时间变形场，实现高速动态场景的高质量3D重建，在渲染保真度和结构精度上显著优于现有技术。
2025-02-07 cs.CV cs.GR
Learning to See Forces: Surgical Force Prediction with RGB-Point Cloud Temporal Convolutional Networks
The Johns Hopkins University（约翰霍普金斯大学）
机器人手术已被证明在手术过程中提供明显的优势，然而，主要的限制之一是获得触觉反馈。由于它往往是具有挑战性的设计一个硬件解决方案，准确的力反馈，我们建议使用“视觉线索”来推断组织变形的力量。内窥镜视频是一种无源传感器，可以免费获得，因为任何微创手术都已经使用了它。为此，我们采用深度学习从视频中推断力，作为通常复杂和昂贵的硬件解决方案的有吸引力的低成本和准确的替代方案。首先，我们使用带有OptoForce传感器的达芬奇手术系统在体模环境中演示了我们的方法。其次，我们验证我们的方法在离体肝脏器官。我们的方法在离体研究中的平均绝对误差为0.814 N，这表明它可能是内窥镜手术中基于硬件的手术力反馈的有前途的替代方案。
2018-07-31 cs.CV cs.RO
T-LESS: An RGB-D Dataset for 6D Pose Estimation of Texture-less Objects
Czech Technical University in Prague（布拉格捷克理工大学）；Foundation for Research and Technology – Hellas（研究与科技基金会-赫拉斯）
我们介绍了T-LESS，一个新的公共数据集，用于估计无纹理刚性物体的6D姿态，即平移和旋转。该数据集具有30个行业相关的对象，没有显着的纹理，没有歧视性的颜色或反射特性。这些物体在形状和/或大小上表现出对称性和相互相似性。与其他数据集相比，一个独特的属性是一些对象是其他对象的一部分。该数据集包括使用三个同步传感器捕获的训练和测试图像，特别是结构光和飞行时间RGB-D传感器以及高分辨率RGB相机。每个传感器大约有39 K个训练图像和10 K个测试图像。此外，为每个对象提供两种类型的3D模型，即手动创建的CAD模型和半自动重建的模型。训练图像在黑色背景下描绘单个对象。测试图像源自具有不同复杂度的二十个测试场景，其从具有几个孤立对象的简单场景增加到具有几个对象的多个实例并且具有大量杂乱和遮挡的非常具有挑战性的场景。这些图像是从对象/场景周围的系统采样视图球体捕获的，并且用所有建模对象的准确地面真实6D姿态进行注释。初步评估结果表明，6D对象姿态估计的最新技术有足够的改进空间，特别是在具有显著遮挡的困难情况下。T-LESS数据集可在cmp.felk.cvut.cz/t-less在线获得。
2017-01-19 cs.AI cs.CV cs.RO
Simultaneous Acquisition of High Quality RGB Image and Polarization Information using a Sparse Polarization Sensor
Sony Group Corporation（索尼集团公司）
本文提出了一种新的偏振传感器结构和网络架构，以获得高质量的RGB图像和偏振信息。传统的偏振传感器可以同时获取RGB图像和偏振信息，但传感器上的偏振片降低了RGB图像的质量。在RGB图像的质量和偏振信息之间存在折衷，因为较少的偏振像素减少了RGB图像的劣化，但降低了偏振信息的分辨率。因此，我们提出了一种方法，解决了权衡稀疏排列偏振像素的传感器和补偿低分辨率偏振信息与更高的分辨率使用RGB图像作为指导。我们提出的网络架构包括一个RGB图像细化网络和偏振信息补偿网络。我们通过将其性能与用于类似任务的最先进方法进行比较，证实了我们提出的网络在补偿偏振强度的差分分量方面的优越性：深度完成。此外，我们证实，我们的方法可以同时获得更高质量的RGB图像和偏振信息比传统的偏振传感器，解决了RGB图像的质量和偏振信息之间的权衡。基线代码和新生成的真实和合成的大规模偏振图像数据集可用于进一步的研究和开发。
2022-09-27 cs.CV
A State Of the Art Report on Research in Multiple RGB-D sensor Setups
Oxford e-Research Centre（牛津电子研究中心）；University Of Oxford（牛津大学）
微软Kinect是一款RGB-D传感器，它改变了游戏和终端消费领域，这是开发人员所期待的。它还影响了严格的计算机视觉研究，这可能让整个社区感到惊讶。在其继任者Kinect One的商业部署之前不久，研究文献充满了简历和最先进的论文，以总结过去3年的发展。这份特别的报告描述了一些重要的研究项目，这些项目建立在一个场景中包括两个或更多个RGB-D传感器的传感设置上。
2013-10-08 cs.CV
Spatio-thermal depth correction of RGB-D sensors based on Gaussian Processes in real-time
Profactor GmbH（Profactor有限公司）；JKU Department of Computational Perception（约翰内斯·开普勒大学计算感知系）
商品RGB-D传感器可以实时的【形】捕捉彩色图像和密集的像素深度信息。典型的RGB-D传感器提供有工厂校准，并且由于粗略的校准值、老化和热影响效应而呈现不稳定的深度读数。这限制了它们在计算机视觉和机器人技术中的应用。我们提出了一种新的方法来准确地校准深度，同时考虑空间和热的影响。我们的工作是基于高斯过程回归在四维笛卡尔和热域。我们建议利用现代GPU进行实时的【形】密集深度图校正。为了重现性，我们公开了我们的数据集和源代码。
2019-07-01 cs.CV
Inferring Super-Resolution Depth from a Moving Light-Source Enhanced RGB-D Sensor: A Variational Approach
Technical University of Munich（慕尼黑工业大学）
提出了一种基于多视点未标定光度立体的深度图超分辨率实现方法。实际上，LED光源连接到商品RGB-D传感器上，用于从多个视点捕获具有未知运动的对象。这种非静态的摄像机到对象的设置描述与非凸变分方法，使照明或摄像机运动的校准是必需的，由于制定的端到端的联合优化问题。解决所提出的变分模型的结果在高分辨率的深度，反射率和相机姿态估计，因为我们在具有挑战性的合成和现实世界的数据集。
2019-12-13 cs.CV
mRI: Multi-modal 3D Human Pose Estimation Dataset using mmWave, RGB-D, and Inertial Sensors
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
估计3D人体姿势和运动的能力，也称为人体姿势估计（HPE），使许多基于家庭的健康监测应用成为可能，例如远程康复训练。已经出现了几种可能的解决方案，使用从RGB相机、深度传感器、毫米波（mmWave）雷达和可穿戴惯性传感器等传感器。尽管HPE之前在数据集和基准方面做出了努力，但很少有数据集利用多种模式并专注于基于家庭的健康监测。为了弥补这一差距，我们提出了mRI，这是一个多模态3D人体姿态估计数据集，具有毫米波，RGB-D和惯性传感器。我们的数据集由来自20名进行康复训练的受试者的超过160 k个同步帧组成，并支持HPE和动作检测的基准。我们使用我们的数据集进行了大量的实验，并描绘了每种模态的强度。我们希望MRI的发布能够促进姿势估计、多模态学习和动作理解的研究，更重要的是促进基于家庭的健康监测的应用。
2022-10-15 cs.CV
HDRFusion: HDR SLAM using a low-cost auto-exposure RGB-D sensor
University of Bristol（布里斯托大学）；University of Cambridge（剑桥大学）
我们描述了一种新的方法，用于比较帧外观的帧到模型的3-D映射和跟踪系统，使用低动态范围（LDR）RGB-D相机，这是鲁棒的自动曝光引起的亮度变化。它基于归一化的辐射测量，其对曝光变化是不变的，并且不仅在变化的照明条件下增强跟踪，而且还使得以下曝光补偿能够准确地执行，以允许在线构建高动态范围（HDR）地图。后者有助于帧到模型的跟踪，以最大限度地减少漂移，并更好地捕捉场景内的光线变化。实验结果与合成和真实数据表明，该方法提供了改进的跟踪和地图更大的动态范围的光度。
2016-04-04 cs.CV
RGB-D And Thermal Sensor Fusion: A Systematic Literature Review
Massey University（梅西大学）；Bond University（邦德大学）
本文系统综述了RGB-D与热成像数据融合的研究现状，涵盖标定配准、三维重建、分割、目标检测及深度学习方法，并指出当前局限与未来方向。
2023-07-11 cs.CV
Capturing Hand Motion with an RGB-D Sensor, Fusing a Generative Model with Salient Points
MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Bonn（波恩大学）
随着人体姿态跟踪技术的发展，手部运动捕捉技术成为近年来的一个研究热点。尽管相似，手跟踪被证明是更具挑战性的，其特征在于更高的维度，严重的闭塞和手指之间的自相似性。出于这个原因，大多数方法都依赖于强有力的假设，如孤立的手或昂贵的多相机系统，这限制了实际应用。在这项工作中，我们提出了一个框架的手跟踪，可以捕捉到两个相互作用的手，只使用一个单一的，廉价的RGB-D相机的运动。我们的方法将生成模型与碰撞检测和有区别地学习显著点相结合。我们定量评估我们的方法对14个新的序列具有挑战性的相互作用。
2017-04-03 cs.CV
Estimating Object Physical Properties from RGB-D Vision and Depth Robot Sensors Using Deep Learning
Ricardo Pedreiras Cardoso；Plinio Moreno
本文提出结合深度图像和RGB图像的数据，利用深度学习方法估计物体质量，通过合成数据集提升模型性能。
2025-12-11 cs.CV
RGB-D-E: Event Camera Calibration for Fast 6-DOF Object Tracking
Université Laval（拉瓦尔大学）；Thales Digital Solutions（泰雷兹数字解决方案）；Inria（法国国家信息与自动化研究所）
增强现实设备需要多个传感器来执行诸如定位和跟踪之类的各种任务。目前，流行的相机大多是基于帧的（例如RGB和深度），这会带来高数据带宽和功耗。由于需要低功率和更灵敏的增强现实系统，仅使用基于帧的传感器对需要来自增强现实的高频数据的各种算法施加了限制。因此，基于事件的传感器由于其低功率、带宽和延迟以及其非常高频率的数据采集能力而变得越来越流行。在本文中，我们提出，第一次，使用基于事件的相机，以提高速度的三维物体跟踪在6自由度。此应用程序需要处理非常高的对象速度，以传达引人注目的AR体验。为此，我们提出了一个新的系统，它结合了最近的RGB-D传感器（Kinect Azure）与事件相机（DAVIS 346）。我们开发了一种深度学习方法，该方法将现有的RGB-D网络与一种新型的基于事件的网络以级联方式相结合，并证明我们的方法使用我们的RGB-D-E管道显着提高了最先进的基于帧的6-DOF对象跟踪器的鲁棒性。
2020-08-05 cs.CV
Commodity RGB-D Sensors: Data Acquisition
Stanford University（斯坦福大学）
在过去的十年里，我们已经看到了距离传感技术的民主化。虽然先前的距离传感器已经非常昂贵并且仅对少数领域专家可访问，但是这种传感器如今是普遍存在的并且甚至可以在最新一代的移动设备中找到，例如，目前的智能手机。距离传感技术的这种民主化始于微软Kinect的发布，从那时起，许多不同的商品距离传感器跟随它的领导，如Primesense Carmine，华硕Xtion Pro和Occipital的Structure Sensor。廉价的范围传感技术的可用性导致了研究的巨大飞跃，特别是在更强大的静态和动态重建技术的背景下，从3D扫描应用程序（如KinectFusion）开始，到高度精确的面部和身体跟踪方法。在本章中，我们将详细介绍现有的不同类型的距离传感器。本文详细讨论了两种基本类型的商品距离传感技术，即无源和有源传感技术，并探讨了这些技术所基于的原理，重点介绍了基于飞行时间和结构光的现代有源商品距离传感器。最后，我们讨论的噪声特性，工作范围，和不同的传感方式所造成的错误类型。
2019-02-18 cs.CV
Spatio-Temporal Difference Guided Motion Deblurring with the Complementary Vision Sensor
Department of Precision Instrument, Tsinghua University（清华大学精密仪器系）；Pen-Tung Sah Institute of Micro-Nano Science and Technology, Xiamen University（厦门大学萨本栋微米纳米科学技术研究院）；Communication University of China（中国传媒大学）；Primevision Technology（普视科技）
本文提出STGDNet，利用互补视觉传感器的时空差分数据，通过递归多分支架构恢复模糊RGB图像的结构和颜色细节，在合成和真实场景中均优于现有方法。
2026-04-12 cs.CV
Semi-Dense Visual Odometry for RGB-D Cameras Using Approximate Nearest Neighbour Fields
Australian National University（澳大利亚国立大学）
提出了一种鲁棒、高效的RGB-D相机半密集视觉里程计解决方案。我们的方法的核心是一个2D-3D ICP管道，它通过将参考帧的3D半密集图的投影与当前帧中提取的2D半密集区域进行配准来估计传感器的姿态。的处理速度加快有效地实施近似最近邻字段下的欧几里德距离准则，允许使用紧凑的高斯-牛顿更新的优化。将配准问题转化为一个最大后验问题来处理野值和传感器噪声，并采用迭代重加权最小二乘方法求解等价的加权最小二乘问题。各种强大的权重函数进行了测试，并根据传感器模型的特性确定最佳。对公开的RGB-D数据集的广泛评估表明，所提出的方法明显优于现有的最先进的方法。
2017-02-06 cs.CV
Highly accurate gaze estimation using a consumer RGB-depth sensor
Université Laval（拉瓦尔大学）；University of St Andrews（圣安德鲁斯大学）
确定一个人正在看的方向是一个重要的问题，在广泛的人机交互应用。在本文中，我们描述了一个高度准确的算法，使用一个负担得起的和广泛使用的设备，如Kinect进行凝视估计。我们提出的方法开始进行准确的头部姿态估计，通过拟合一个人特定的变形模型的脸的深度数据。通过将拟合目标函数制定为在准确或快速拟合方面表现出色的项的组合，然后在整个拟合过程中自适应地调整它们的相对贡献，同时满足了通常相互竞争的高准确度和高速度要求。在姿态估计之后，通过将拟合模型重新渲染为正面人脸来完成姿态归一化。最后，通过从合成的归一化图像中的眼睛的外观回归来获得注视估计。使用EYEDIAP，从RGB-D数据的凝视估计算法的评估的标准公共数据集，我们证明了我们的方法大大优于最先进的。
2016-04-05 cs.CV
DSERT-RoLL: Robust Multi-Modal Perception for Diverse Driving Conditions with Stereo Event-RGB-Thermal Cameras, 4D Radar, and Dual-LiDAR
Visual Intelligence Lab, KAIST（韩国科学技术院视觉智能实验室）
本文提出DSERT-RoLL数据集，结合立体事件、RGB和热成像相机以及4D雷达和双光雷达，涵盖多样的天气和光照条件，提供精确的2D和3D边界框及轨迹ID，支持跨传感器组合的公平比较，提升新型传感器的数据可用性，并建立统一的3D和2D基准，促进传感器性能的系统研究。
2026-04-04 cs.CV
Driver distraction detection and recognition using RGB-D sensor
University of Waterloo（滑铁卢大学）
驾驶员注意力不集中评价是智能交通系统中一个非常活跃的研究领域。基于主动传感器Kinect和计算机视觉工具，我们建立了一个有效的模块，用于检测驾驶员分心和识别分心的类型。基于Kinect的颜色和深度图数据，我们的系统由四个子模块组成。我们称之为眼睛行为（检测凝视和眨眼），手臂位置（是右臂向上，向下，向右向前），头部方向和面部表情。每个模块产生用于评估驾驶员注意力不集中的相关信息。它们随后使用两种不同的分类策略合并在一起：AdaBoost分类器和隐马尔可夫模型。评估是使用驾驶模拟器和8名不同性别，年龄和国籍的驾驶员进行的，总共超过8小时的记录。定性和定量的结果显示出强大而准确的检测和识别能力（分心类型的准确率为85%，分心检测的准确率为90%）。此外，每个模块都是独立获得的，可以用于其他类型的推理，如疲劳检测，并可以在实际的汽车系统中实现。
2015-02-01 cs.CV
Real-time multiview data fusion for object tracking with RGBD sensors
Cranfield University（克兰菲尔德大学）
本文提出了一种新的方法来准确地跟踪移动车辆的多视角设置的红绿蓝深度（RGBD）相机。我们首先提出了一种校正方法，以消除位移，这发生在深度传感器，当他们变得磨损。该问题无法通过普通校准程序纠正。接下来，我们提出了一个传感器的过滤系统，以纠正未知的车辆运动。数据融合算法，然后使用最佳合并的传感器明智的估计轨迹。我们在图形处理器中实现了解决方案的大部分内容。因此，整个系统能够在五个摄像头的配置下以高达每秒25帧的速度运行。测试结果表明，我们实现的准确性和鲁棒性，我们的解决方案，以克服测量和建模中的不确定性。
2021-10-28 cs.CV cs.RO
Segment Anything with Multiple Modalities
Nanyang Technological University（南洋理工大学）；The University of Tokyo（东京大学）；RIKEN AIP（理化学研究所先进智能项目）；Nara Institute of Science and Technology（奈良科学技术大学院大学）
针对SAM仅适配单模态RGB图像的局限，提出支持跨模态与多模态处理的MM-SAM，通过无监督跨模态迁移和弱监督多模态融合实现低标注低参数量适配，在多类传感器场景下分割性能大幅优于SAM。
2024-08-17 cs.CV
MIPI 2022 Challenge on RGB+ToF Depth Completion: Dataset and Report
SenseTime Research（商汤科技研究院）；SenseBrain；Shanghai AI Laboratory（上海人工智能实验室）
随着对移动平台上的计算摄影和成像的需求不断增长，在相机系统中开发和集成具有新颖算法的高级图像传感器是普遍的。然而，缺乏高质量的研究数据，以及产业界和学术界深入交流意见的难得机会，制约了移动智能摄影与成像（MIPI）的发展。为了弥补这一差距，我们介绍了第一个MIPI挑战赛，包括五个重点关注新型图像传感器和成像算法的赛道。本文介绍了RGB+ToF Depth Completion，这是五个轨道之一，致力于RGB传感器和ToF传感器（带点照明）的融合。参与者获得了一个名为TetrasRGBD的新数据集，其中包含18k对高质量的合成RGB+深度训练数据和2.3k对来自混合源的测试数据。所有的数据都是在室内场景中收集的。我们要求所有方法的运行时间在桌面GPU上都是实时的。最终结果使用客观指标和主观平均意见得分（MOS）进行评估。本文提供了在这一挑战中开发的所有模型的详细描述。有关此挑战的更多详细信息以及数据集的链接，请访问https://github.com/mipi-challenge/MIPI2022。
2022-09-15 cs.CV
Leveraging Multispectral Sensors for Color Correction in Mobile Cameras
University of Milano-Bicocca（米兰-布西卡大学）；Computer Vision Center（视觉计算中心）；Universitat Autònoma de Barcelona（巴塞罗那自治大学）
本文提出一种基于学习的统一框架，整合高分辨率RGB传感器和辅助低分辨率多光谱传感器数据，实现端到端的色彩校正，提升色彩准确性和稳定性，实验表明比传统方法误差减少50%。
2026-03-23 cs.CV
LiREC-Net: A Target-Free and Learning-Based Network for LiDAR, RGB, and Event Calibration
RPTU – University Kaiserslautern-Landau（莱茵-威斯法伦大学（科布伦茨-劳埃希恩））；DFKI – German Research Center for Artificial Intelligence（德国人工智能研究中心）
LiREC-Net是一种基于学习的多传感器校准网络，通过统一框架联合校准激光雷达、RGB和事件数据，提升多传感器融合的精度和效率。
2026-02-25 cs.CV
Dropping the D: RGB-D SLAM Without the Depth Sensor
Technical University of Munich（慕尼黑技术大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）
DropD-SLAM通过预训练视觉模块替代深度传感器，实现RGB-D级精度的实时单目SLAM，在TUM RGB-D基准上达到7.4 cm和1.8 cm ATE，运行速度22 FPS。
2025-11-02 cs.CV cs.RO
FloatingFusion: Depth from ToF and Image-stabilized Stereo Cameras
KAIST（韩国科学技术院）；Brown University（布朗大学）
高精度的每像素深度对于计算摄影至关重要，因此智能手机现在具有多模式相机系统，具有飞行时间（ToF）深度传感器和多种彩色相机。然而，由于ToF传感器的低分辨率和有限的主动照明功率，产生精确的高分辨率深度仍然具有挑战性。融合RGB立体和ToF信息是克服这些问题的一个很有前途的方向，但仍然存在一个关键问题：为了提供高质量的2D RGB图像，主颜色传感器的镜头是光学稳定的，导致浮动镜头的未知姿态打破了多模态图像传感器之间的几何关系。利用ToF深度估计和广角RGB相机，我们设计了一种基于密集2D/3D匹配的自动校准技术，该技术可以从单个快照中估计稳定的主RGB传感器的相机外部，内部和失真参数。这使我们能够通过相关体积融合立体声和ToF线索。对于融合，我们通过真实世界的训练数据集应用深度学习，并通过神经重建方法估计深度监督。为了进行评估，我们使用商业高功率深度相机获取测试数据集，并表明我们的方法比现有基线实现了更高的准确性。
2022-10-06 cs.CV
Reconstructing Articulated Rigged Models from RGB-D Videos
University of Bonn（波恩大学）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）
虽然存在商业和开源软件来从用RGB-D传感器记录的序列重建静态对象，但缺乏构建逼真变形并可用于跟踪或动画的铰接对象的操纵模型的工具。在这项工作中，我们填补了这一空白，并提出了一种方法，创建一个完整的操纵模型的一个铰接对象从一个传感器的深度数据。为此，我们结合可变形网格跟踪，运动分割的基础上，谱聚类和基于平均曲率流。然后，完全装配的模型由防水网格、嵌入骨架和蒙皮权重组成。
2016-09-09 cs.CV
Deep End-to-End Alignment and Refinement for Time-of-Flight RGB-D Module
SenseTime Research（商汤科技研究院）；The Chinese University of Hong Kong（香港中文大学）
最近，为移动RGB相机配备用于主动深度感测的飞行时间（ToF）传感器越来越流行。然而，对于现成的ToF传感器，为了获得相对于RGB相机的高质量深度，必须解决两个问题，即1）在线校准和对准;以及2）ToF深度感测的复杂误差校正。在这项工作中，我们提出了一个框架，通过深度学习联合对齐和细化。首先，估计RGB图像和ToF振幅图像之间的交叉模态光流以用于对准。然后，通过改进的内核预测网络来细化对齐的深度，该网络执行内核归一化并在动态卷积之前应用偏差。为了丰富端到端训练的数据，我们还使用计算机图形学工具合成了一个数据集。实验结果表明，我们的方法的有效性，实现国家的最先进的ToF细化。
2019-09-17 cs.CV
OmniVLA: Physically-Grounded Multimodal VLA with Unified Multi-Sensor Perception for Robotic Manipulation
Princeton University（普林斯顿大学）；University of California, Los Angeles（加州大学洛杉矶分校）；Microsoft Research Asia（微软亚洲研究院）
OmniVLA通过整合多种传感器模态，提升机器人操作的感知能力与任务成功率。
2026-03-02 cs.CV cs.RO
uScenes: A Multimodal RGB and 3D Sonar Dataset for Underwater Robot Perception
University of South Florida（南佛罗里达大学）；University of Florida（佛罗里达大学）；Seoul National University（首尔大学）
该研究针对水下机器人感知难题，构建了含同步3D多波束声呐点云与RGB图像的uScenes多模态数据集，为水下传感器融合等任务提供了基础。
2026-08-31 cs.CV
Event-RGB Fusion for Spacecraft Pose Estimation Under Harsh Lighting
AI for Space Group（空间人工智能小组）；The University of Adelaide（阿德莱德大学）
针对航天器位姿估计中单一传感器在恶劣光照下的局限性，提出基于分束棱镜对齐与RANSAC融合的事件-RGB位姿估计方法，结合dropout不确定性检测极端条件，并构建了公开的真实数据集验证其有效性。
2025-11-02 cs.CV cs.RO
Real-time Hand Tracking under Occlusion from an Egocentric RGB-D Sensor
Max-Planck-Institute for Informatics（马克斯·普朗克信息学研究所）；Universidad Rey Juan Carlos（胡安卡洛斯国王大学）
我们提出了一种方法，实时的，鲁棒性和准确的手姿态估计从移动自我中心的RGB-D相机在杂乱的真实环境。现有的方法通常无法在从自我中心的观点成像的杂乱场景中进行手-物体交互，这对于虚拟或增强现实应用是常见的。我们的方法使用两个随后应用的卷积神经网络（CNN）来定位手并回归3D关节位置。通过使用CNN来估计输入中的手中心的2D位置来实现手定位，即使在存在杂波和遮挡的情况下也是如此。定位的手位置与对应的输入深度值一起用于生成归一化的裁剪图像，该归一化的裁剪图像被馈送到第二CNN中以实时的回归相对3D手关节位置。为了增加精度，鲁棒性和时间稳定性，我们使用运动姿态跟踪能量来改进姿态估计。为了训练CNN，我们引入了一个新的照片级真实感数据集，该数据集使用合并现实方法来捕获和合成杂乱场景中自然手部交互的大量注释数据。通过定量和定性的评价，我们表明，我们的方法是强大的自遮挡和遮挡的对象，特别是在移动自我中心的观点。
2017-10-05 cs.CV
Virtually increasing the measurement frequency of LIDAR sensor utilizing a single RGB camera
Institute for Computer Science and Control (SZTAKI), Eötvös Loránd Research Network (ELKH)（厄特沃什·洛兰研究网络（ELKH）计算机科学与控制研究所（SZTAKI））；Budapest University of Technology and Economics（布达佩斯技术与经济大学）
智能车辆中使用的大多数3D LIDAR传感器的帧速率远低于同一车辆中安装的当前摄像头。这项研究建议使用单镜头相机来虚拟地提高激光雷达的帧速率，从而更频繁地监测周围快速移动的动态物体。作为第一步，在相机帧中识别和跟踪动态对象候选者。接着，通过在2D边界框的截头体中聚类来找到这些项目的LIDAR测量点。将这些投影到相机并跟踪它们到下一个相机帧可以用于创建不同时间步长之间的3D-2D对应关系。最后一个LIDAR帧和实际相机帧之间的这些对应关系用于解决PSPOT（Perspective-n-Point）问题。最后，将估计的变换应用于先前测量的点以生成虚拟测量。利用所提出的估计，如果自我运动是已知的，则不仅可以在相机测量可用的时间步长处确定静态对象位置，而且还可以确定动态对象的位置。我们在大型公共数据集上实现了最先进的性能，在准确性和与真实测量的相似性方面。
2023-02-10 cs.CV
Mushrooms Detection, Localization and 3D Pose Estimation using RGB-D Sensor for Robotic-picking Applications
De Montfort University（德蒙福特大学）；University of Lincoln（林肯大学）
在本文中，我们提出了蘑菇检测，定位和3D姿态估计算法，使用从低成本消费者RGB-D传感器获得的RGB-D数据。我们将RGB和深度信息用于不同的目的。首先从RGB颜色中提取蘑菇的初始轮廓位置，然后将初始轮廓位置和原始图像提供给活动轮廓进行蘑菇分割。然后，这些分割的蘑菇被用作圆形霍夫变换的输入，用于每个蘑菇检测，包括其中心和半径。一旦知道每个蘑菇在RGB图像中的中心位置，我们就使用深度信息在3D空间中定位它，即在世界坐标系中。如果在每个蘑菇的检测中心处缺少深度信息，我们从每个蘑菇的半径内最近的可用深度信息进行估计。我们还使用预先准备的直立蘑菇模型估计每个蘑菇的3D姿态。我们使用一个全球注册，然后局部细化注册的方法，这个3D姿态估计。从估计的3D姿态，我们只使用四元数表示的旋转部分作为每个蘑菇的方向。蘑菇的这些估计的（X，Y，Z）位置、直径和取向用于机器人拾取应用。我们在3D打印和真实蘑菇上进行了广泛的实验，这表明我们的方法具有有趣的性能。
2022-01-08 cs.CV cs.RO
Enhanced Vision-Language Models for Diverse Sensor Understanding: Cost-Efficient Optimization and Benchmarking
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
提出传感器感知属性微调（SAFT）与多样负属性（DNA）优化，利用少量传感器数据克服RGB中心偏见，无需修改模型架构，显著提升非RGB传感器图像理解，并发布首个综合基准VS-TDX。
2026-07-07 cs.CV
PDDM: Pseudo Depth Diffusion Model for RGB-PD Semantic Segmentation Based in Complex Indoor Scenes
State Key Laboratory of General Artificial Intelligence, Peking University, Shenzhen Graduate School（北京大学深圳研究生院通用人工智能国家重点实验室）
针对RGB-D语义分割中深度数据采集成本高、对齐难的问题，提出融合RGB与伪深度的PDDM模型及PDAM模块，在NYUv2、SUNRGB-D数据集上取得SOTA性能。
2025-03-24 cs.CV
3D pavement surface reconstruction using an RGB-D sensor
Texas A&M University（德州农工大学）；University of Tehran（德黑兰大学）；Amirkabir University of Technology（阿米尔卡比尔理工大学）
路面管理系统的核心程序是数据汇集。用于此目的的现代技术，例如点基激光器和激光扫描仪，对于购买、操作和维护来说太昂贵。因此，发展中国家的城市官员很少能够使用这些装置进行数据汇集。本文旨在介绍一种经济有效的技术，可用于路面破损数据汇集和三维路面重建。本研究中应用的技术是Kinect传感器，它不仅具有成本效益，而且足够精确。Kinect传感器可以同时注册深度和彩色图像。推车被设计成安装Kinect传感器阵列。相机进行校准，并通过奇异值分解（SVD）算法校正收集的表面的斜率。然后，提出了一个程序，用于拼接RGB-D（红绿蓝深度）图像使用SURF（加速鲁棒特征）和MSAC（M-估计采样一致性）算法，以创建一个三维结构的路面。最后，横向轮廓提取和一些现场实验进行了评估所提出的方法检测路面缺陷的可靠性。
2019-07-12 cs.CV eess.IV
Enhanced Automotive Object Detection via RGB-D Fusion in a DiffusionDet Framework
School of Electrical and Computer Engineering, Ben Gurion University of the Negev（内盖夫本-古里安大学电气与计算机工程学院）；GE Healthcare Science & Technology（GE医疗科技）
本文提出一种基于DiffusionDet的RGB-D融合框架，结合相机与LiDAR数据，通过逆扩散过程实现汽车目标检测，在KITTI数据集上提升2.3 AP，尤其增强了小目标检测性能。
2024-06-05 cs.CV
Hybrid Attention for Robust RGB-T Pedestrian Detection in Real-World Conditions
University of Luxembourg（卢森堡大学）；University of Poitiers（普瓦捷大学）；Université de Lorraine（洛林大学）；Inria（法国国家信息与自动化研究所）；Loria（洛林理论与应用信息学实验室）
针对RGB-T行人检测中图像部分重叠与传感器故障导致的性能下降，提出混合注意力机制，结合移动端骨干网络，实现鲁棒融合，实验验证优于现有方法。
2024-11-06 cs.AI cs.CV
Indoor Navigation Assistance for Visually Impaired People via Dynamic SLAM and Panoptic Segmentation with an RGB-D Sensor
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
探索不熟悉的室内环境并避开障碍物对视障人士来说是一项挑战。目前，有几种方法实现了避免静态障碍物的基础上室内场景的映射。为了解决动态障碍物的识别问题，我们提出了一个辅助系统与RGB-D传感器检测场景的动态信息。一旦系统捕获图像，就执行全景分割以获得先前的动态对象信息。利用从图像中提取的稀疏特征点和深度信息，可以估计用户的姿势。在自我运动估计之后，可以识别和跟踪动态目标。然后，跟踪的动态对象的姿态和速度可以估计，这是通过声学反馈传递给用户。
2022-04-03 cs.CV cs.HC cs.RO
Visual Object Tracking on Multi-modal RGB-D Videos: A Review
本综述系统总结RGB-D视觉目标跟踪的基准数据集、性能评估指标和现有方法，并展望未来研究方向，为复杂场景下的多模态跟踪提供全面参考。
2024-03-17 cs.CV
PointFusion: Deep Sensor Fusion for 3D Bounding Box Estimation
Zoox Inc.（Zoox公司）
我们提出PointFusion，一个通用的三维目标检测方法，利用图像和三维点云信息。与使用多级管道或保持传感器和特定于传感器的假设的现有方法不同，PointFusion在概念上简单且与应用无关。图像数据和原始点云数据分别由CNN和PointNet架构独立处理。然后，通过一种新型的融合网络将所得到的输出组合在一起，该网络使用输入的3D点作为空间锚点来预测多个3D框假设及其置信度。我们在两个不同的数据集上评估PointFusion：KITTI数据集，其特征是使用激光雷达相机设置捕获的驾驶场景，以及使用RGB-D相机捕获室内环境的SUN-RGBD数据集。我们的模型是第一个能够在这些不同的数据集上表现得更好或与最先进的模型相当，而无需任何特定于特定于数据集的模型调整。
2018-08-25 cs.CV
ThermalGen: Style-Disentangled Flow-Based Generative Models for RGB-to-Thermal Image Translation
New York University（纽约大学）；Technology Innovation Institute（技术创新研究所）；University of California, Berkeley（加州大学伯克利分校）
针对同步标定RGB-热红外成对数据稀缺问题，本文提出风格解耦的流生成模型ThermalGen，并构建多个大规模RGB-T数据集，实现视角、传感器与环境变化下更优的热红外图像合成。
2025-09-29 cs.CV cs.RO
