Learned Semantic Multi-Sensor Depth Map Fusion
ETH Zurich（苏黎世联邦理工学院）；Czech Technical University in Prague（布拉格捷克理工大学）；Microsoft（微软）
基于截断符号距离函数的体深度图融合已成为标准方法，并用于许多3D重建流水线中。在本文中，我们正在推广这一经典的方法在多个方面：1）语义：语义信息丰富的场景表示，并被纳入融合过程。2)多传感器：深度信息可以来自不同的传感器或算法，具有非常不同的噪声和离群值统计，这些统计在数据融合期间被考虑。3)场景去噪和完成：传感器可能无法恢复某些材料和光线条件下的深度，或者由于遮挡而丢失数据。我们的方法对几何体进行降噪、关闭孔洞并为每个语义类计算防水表面。4)学习：我们提出了一种神经网络重建方法，将所有这些属性统一在一个强大的框架内。我们的方法学习传感器或算法属性与语义深度融合和场景完成，也可以用作一个专家系统，例如，统一各种光度立体算法的优势。我们的方法是第一个统一所有这些属性。对合成数据集和真实数据集的实验评估表明了明显的改进。
2019-09-02 cs.CV cs.LG eess.IV
Depth Map Estimation of Dynamic Scenes Using Prior Depth Information
深度信息对于许多应用是有用的。有源深度传感器之所以吸引人，是因为它们获得密集且准确的深度图。然而，由于从功率限制到多传感器干扰的问题，这些传感器不能总是连续使用。为了克服这一限制，我们提出了一种算法，估计深度图使用同时收集的图像和先前测量的深度图的动态场景，其中相机和场景中的对象可以独立移动。为了估计这些场景中的深度，我们的算法使用独立的和刚性的运动模型的动态场景运动。然后，它使用先前的深度图来有效地估计这些刚性运动并获得新的深度图。我们的目标是在主动深度传感器和计算之间平衡深度的获取，而不会产生大量的计算成本。因此，我们利用先前的深度信息来避免计算上昂贵的操作，如在类似方法中使用的密集光流估计或分割。我们的方法可以在标准笔记本电脑上以高达实时（30 FPS）的速度获得密集的深度图，这比类似的方法快了几个数量级。当使用各种动态场景的RGB-D数据集进行评估时，我们的方法估计深度图的平均相对误差为2.5%，同时将主动深度传感器的使用减少了90%以上。
2020-02-02 cs.CV eess.IV
DGFusion: Depth-Guided Sensor Fusion for Robust Semantic Perception
Computer Vision Laboratory, ETH Zurich（计算机视觉实验室，苏黎世联邦理工学院）
DGFusion通过整合深度信息提升多模态传感器融合，实现自动驾驶中的鲁棒语义感知。
2026-01-26 cs.CV cs.LG cs.RO
Learning Online Multi-Sensor Depth Fusion
KU Leuven（鲁汶大学）；Google Research（谷歌研究院）；ETH Zürich（苏黎世联邦理工学院）；University of Amsterdam（阿姆斯特丹大学）；Lund University（隆德大学）
许多手持式或混合现实设备与单个传感器一起用于3D重建，尽管它们通常包括多个传感器。多传感器深度融合能够显著提高3D重建方法的鲁棒性和准确性，但现有技术不足以处理以不同值范围以及噪声和离群值统计操作的传感器。为此，我们引入了SenFuNet，这是一种深度融合方法，可以学习特定于传感器的噪声和离群值统计数据，并以在线方式组合来自不同传感器的深度帧数据流。我们的方法融合多传感器的深度流，而不管时间同步和校准和推广以及很少的训练数据。我们在现实世界的CoRBS和Scene3D数据集以及CNAS数据集上使用各种传感器组合进行实验。实验表明，我们的融合策略优于传统的和最近的在线深度融合方法。此外，多个传感器的组合比使用单个传感器产生更鲁棒的离群值处理和更精确的表面重建。源代码和数据可在https://github.com/tfy14esa/SenFuNet上获得。
2022-09-21 cs.CV
CNN based Multistage Gated Average Fusion (MGAF) for Human Action Recognition Using Depth and Inertial Sensors
卷积神经网络（CNN）提供了从其架构的所有层提取和融合特征的杠杆。然而，从CNN结构的不同层中提取和融合中间特征仍然没有被研究用于使用深度和惯性传感器的人类动作识别（HAR）。为了获得访问所有CNN层的最大好处，在本文中，我们提出了一种新型的多级门控平均融合（MGAF）网络，该网络使用我们的新型和计算效率高的门控平均融合（GAF）网络（MGAF的决定性组成部分）从CNN的所有层提取和融合特征。在建议的MGAF的输入，我们将深度和惯性传感器数据转换成深度图像，称为顺序前视图图像（SFI）和信号图像（SI）分别。这些SFI是根据由深度数据生成的前视图信息形成的。采用CNN从两种输入模态提取特征图。GAF网络有效地融合了提取的特征，同时保持了融合特征的维数。所提出的MGAF网络具有结构可扩展性，可以展开到两个以上的模态。在三个公开的多模态HAR数据集上的实验表明，所提出的MGAF在识别精度方面优于先前的深度-惯性HAR融合方法，同时计算效率更高。我们将精度平均提高了1.5%，同时将计算成本比以前的技术水平降低了约50%。
2020-10-29 cs.CV cs.LG cs.MM
Simulating single-photon detector array sensors for depth imaging
Heriot-Watt University（赫瑞-瓦特大学）；The University of Edinburgh（爱丁堡大学）；Defence Science and Technology Laboratory（国防科学技术实验室）
单光子雪崩探测器（SPAD）阵列是一种新兴的技术。这些多像素传感器具有单光子灵敏度和皮秒时间分辨率，因此它们可以快速生成毫米精度的深度图像。这种传感器是未来自主系统的关键技术，因为它们提供指导和态势感知。然而，为了充分利用SPAD阵列传感器的功能，确定它们能够在各种场景中生成的深度图像的质量至关重要。给定特定的光学系统和有限的图像采集时间，最佳情况下的深度分辨率是多少？SPAD阵列生成的真实图像是什么？在这项工作中，我们建立了一个强大而简单的数值程序，快速建立的基本限制，在现实世界条件下的深度成像与SPAD阵列。我们的方法在广泛的场景中准确地生成逼真的深度图像，允许建立光学深度成像系统的性能，而不需要昂贵和费力的现场测试。该过程在自主系统的目标检测和跟踪中具有应用，并且可以容易地扩展到水下成像或拐角处成像的系统。
2022-10-07 cs.CV eess.IV physics.optics
Spatio-thermal depth correction of RGB-D sensors based on Gaussian Processes in real-time
Profactor GmbH（Profactor有限公司）；JKU Department of Computational Perception（约翰内斯·开普勒大学计算感知系）
商品RGB-D传感器可以实时的【形】捕捉彩色图像和密集的像素深度信息。典型的RGB-D传感器提供有工厂校准，并且由于粗略的校准值、老化和热影响效应而呈现不稳定的深度读数。这限制了它们在计算机视觉和机器人技术中的应用。我们提出了一种新的方法来准确地校准深度，同时考虑空间和热的影响。我们的工作是基于高斯过程回归在四维笛卡尔和热域。我们建议利用现代GPU进行实时的【形】密集深度图校正。为了重现性，我们公开了我们的数据集和源代码。
2019-07-01 cs.CV
DELTAR: Depth Estimation from a Light-weight ToF Sensor and RGB Image
Zhejiang University（浙江大学）；Google（谷歌）
重量轻的飞行时间（ToF）深度传感器体积小，价格便宜，能耗低，已被大规模部署在移动设备上，用于自动对焦，障碍物检测等目的。然而，由于其特定的测量（区域中的深度分布，而不是某个像素处的深度值）和极低的分辨率，它们不足以用于需要高保真深度的应用，如3D重建。在本文中，我们提出了DELTAR，这是一种新的方法，通过与彩色图像合作，使轻型ToF传感器具有测量高分辨率和准确深度的能力。作为DELTAR的核心，提出了一种深度分布特征提取器和一种基于注意力的神经网络结构，有效地融合了颜色和ToF域的信息。为了在真实场景中评估我们的系统，我们设计了一个数据汇集设备，并提出了一种新的方法来校准RGB相机和ToF传感器。实验表明，我们的方法比现有的深度完成和深度超分辨率框架产生更准确的深度，并达到与商品级RGB-D传感器相当的性能。代码和数据可在https://zju3dv.github.io/deltar/上获得。
2022-09-27 cs.CV
Depth on Demand: Streaming Dense Depth from a Low Frame Rate Active Sensor
University of Bologna（博洛尼亚大学）；Sony Depthsensing Solutions（索尼深度感知解决方案公司）
针对主动深度传感器帧率低、能耗高、空间稀疏的问题，提出Depth on Demand框架，结合高帧率RGB与低帧率稀疏主动深度传感器，经多模态编码等三阶段实现稠密深度估计，降低能耗并在多场景验证有效。
2024-09-12 cs.CV
Depth estimation of endoscopy using sim-to-real transfer
Gachon University（嘉泉大学）
为了有效地使用导航系统，诸如深度传感器的距离信息传感器是必不可少的。由于深度传感器难以用于内窥镜检查，许多小组提出了一种使用卷积神经网络的方法。在本文中，通过内窥镜模拟使用CT结肠成像分割的结肠模型，生成深度图像和内窥镜图像的地面真值。使用cycleGAN内窥镜图像可以使用模拟到真实的方法创建照片般逼真的模拟图像。通过训练生成的数据集，我们提出了一个定量内窥镜深度估计网络。所提出的方法比现有的基于无监督训练的结果具有更好的评估分数。
2021-12-27 cs.CV eess.IV
Project to Adapt: Domain Adaptation for Depth Completion from Noisy and Sparse Sensor Data
Imperial College London（帝国理工学院）；Technical University of Munich（慕尼黑工业大学）
深度补全旨在从稀疏深度输入预测密集深度图。获取用于深度完井设置的密集地面实况注释可能很困难，同时，真实LiDAR测量值与合成数据之间的显著域差距阻碍了在虚拟设置中成功训练模型。我们提出了一种领域自适应方法，用于从合成数据训练的稀疏到密集的深度完成，而不需要在实域或额外的传感器中进行注释。我们的方法模拟RGB+LiDAR设置中的真实传感器噪声，由三个模块组成：通过投影模拟合成域中的真实LiDAR输入，过滤真实噪声LiDAR进行监督，并使用CycleGAN方法调整合成RGB图像。我们广泛评估这些模块对国家的最先进的KITTI深度完成基准，显示出显着的改善。
2020-08-05 cs.CV
A Real-time Human Pose Estimation Approach for Optimal Sensor Placement in Sensor-based Human Activity Recognition
Hasso Plattner Institute University of Potsdam（波茨坦大学哈索·普拉特纳研究所）
本文提出利用实时2D人体姿态估计确定惯性传感器最优布置位置，并通过13种活动、10名受试者的实验验证其性能与深度学习方法相当，为人体活动识别提供了轻量级端侧解决方案。
2023-07-06 cs.CV cs.LG eess.SP
Pose Estimation from a Single Depth Image for Arbitrary Kinematic Skeletons
Cornell University（康奈尔大学）
我们提出了一种方法，用于估计姿势信息从一个单一的深度图像给定一个任意的运动学结构，而无需事先训练。对于一个任意的骨架和深度图像，进化算法被用来找到最佳的运动配置来解释所观察到的图像。结果表明，我们的方法可以正确地估计构成的39和78度的自由度模型从一个单一的深度图像，即使在严重的自遮挡的情况下。
2011-06-27 cs.AI cs.CV cs.LG
Towards Improved Human Action Recognition Using Convolutional Neural Networks and Multimodal Fusion of Depth and Inertial Sensor Data
Ryerson University（瑞尔森大学）
本文试图通过融合深度和惯性传感器数据来提高人体动作识别（HAR）的准确性。首先，我们将深度数据转换为序列前视图图像（SFI），并在这些图像上微调预训练的AlexNet。然后，惯性数据被转换为信号图像（SI），并在这些图像上训练另一个卷积神经网络（CNN）。最后，从两个CNN中提取学习的特征，融合在一起以形成共享特征层，并将这些特征馈送到分类器。我们用两种分类器，即支持向量机（SVM）和softmax分类器进行实验，并比较它们的性能。还计算每个模态、单独的深度数据和单独的传感器数据的识别精度，并将其与基于融合的精度进行比较，以突出模态的融合产生比单个模态更好的结果的事实。在UTD-MHAD和Kinect 2D数据集上的实验结果表明，与最近提出的其他视觉惯性动作识别方法相比，该方法达到了最先进的效果。
2020-08-22 cs.AI cs.CV cs.LG
Is my Depth Ground-Truth Good Enough? HAMMER -- Highly Accurate Multi-Modal Dataset for DEnse 3D Scene Regression
Technical University of Munich（慕尼黑工业大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Siemens AG（西门子股份公司）
深度估计是三维计算机视觉的核心任务。最近的方法研究了用各种深度传感器模态训练的单眼深度的任务。每种传感器都有其优点和缺点，这是由估计的性质造成的。在文献中，主要是平均的深度平均误差进行了调查，传感器的能力通常没有讨论。然而，特别是室内环境对一些设备提出了挑战。无纹理区域对来自运动的运动恢复结构提出了挑战，反射材料对于主动感测是有问题的，并且半透明材料的距离对于用现有传感器测量是复杂的。本文提出了HAMMER，一个数据集，包括来自多个常用传感器的深度估计，用于室内深度估计，即ToF，立体声，结构光以及单目RGB+P数据。我们在3D扫描仪和对齐渲染的帮助下构建高度可靠的地面真实深度图。一个流行的深度估计器是在这些数据和典型的深度传感器上训练的。在不同的场景结构下对估计进行了广泛的分析。我们注意到在具有挑战性但日常场景内容的家庭环境中各种传感器技术所产生的泛化问题。我们公开提供的HAMMER为有针对性的深度改进和传感器融合方法铺平了道路。
2022-05-09 cs.CV
Dynamic Inertial Poser (DynaIP): Part-Based Motion Dynamics Learning for Enhanced Human Pose Estimation with Sparse Inertial Sensors
Shanghai Jiao Tong University（上海交通大学）；University of Southern California（南加州大学）
针对现有稀疏惯性传感器人体姿态估计依赖合成数据的不足，提出含伪速度回归模型和部件级模型的DynaIP方法，利用多格式真实动捕数据提升泛化性，在五个公开数据集上实现性能突破。
2024-03-07 cs.CV
DVIO: Depth aided visual inertial odometry for RGBD sensors
SOC R&D, Samsung Semiconductor, Inc.（三星半导体公司 SOC 研发部）
在过去的几年中，我们已经观察到RGBD传感器在移动设备中的使用有所增加。这些传感器提供了对相机帧的深度图的良好估计，其可以用于许多增强现实应用中。本文提出了一种新的视觉惯性里程计（VIO）系统，它使用从RGBD传感器和惯性测量单元（IMU）传感器的测量估计的移动终端的运动状态。由此产生的系统被称为深度辅助VIO（DVIO）系统。在这个系统中，我们添加了深度测量作为非线性优化过程的一部分。具体而言，我们提出了使用一维（1D）特征参数化以及三维（3D）特征参数化的深度测量方法。此外，我们建议利用深度测量来估计非同步IMU和RGBD传感器之间的时间偏移。最后，我们提出了一种新的基于块的边缘化方法，以加快边缘化过程，并保持整个系统的实时性能。实验结果验证了所提出的DVIO系统优于其他国家的最先进的VIO系统的轨迹精度以及处理时间。
2021-10-20 cs.CV cs.RO
Monocular Depth Estimation for Soft Visuotactile Sensors
Toyota Research Institute（丰田研究院）
填充液体的软性视觉触觉传感器（如Soft-bubbles）缓解了稳健操作的关键挑战，因为它们能够实现可靠的抓握，并能够获得关于接触几何形状和力的高分辨率感官反馈。虽然它们结构简单，但由于封闭的定制IR/深度成像传感器直接测量表面变形所引入的尺寸限制，它们的实用性受到限制。为了减轻这一限制，我们研究了应用最先进的单目深度估计来直接从内部单个小型IR成像传感器推断密集的内部（触觉）深度图。通过真实世界的实验，我们表明，通常用于长距离深度估计（1- 100米）的深度网络可以有效地训练，以便在一个几乎无纹理的可变形流体填充传感器内的更短范围（1- 100毫米）内进行精确预测。我们提出了一个简单的监督学习过程来训练一个对象不可知的网络，该网络需要少于10个随机的姿势，接触不到10秒，用于一小组不同的对象（杯子，酒杯，盒子和手指在我们的实验中）。我们表明，我们的方法是样本高效，准确，并概括了不同的对象和传感器配置在训练时看不见。最后，我们讨论了我们的软视觉触觉传感器和夹具的设计方法的影响。
2021-01-05 cs.CV cs.RO
Depth Prompting for Sensor-Agnostic Depth Estimation
AI Graduate School（AI研究生院）；School of Electrical Engineering and Computer Science, GIST（光州科学技术院电气工程与计算机科学学院）
针对深度传感器测量偏差导致模型泛化受限的问题，本文提出可嵌入单目深度估计基础模型的 Depth Prompting 模块，通过解耦图像与深度模态适配不同深度分布，并输出绝对尺度深度图。
2024-05-20 cs.CV cs.LG cs.RO
A General Optimization-based Framework for Global Pose Estimation with Multiple Sensors
Hong Kong University of Science and Technology（香港科技大学）
精确的状态估计是自主机器人的一个基本问题。为了实现局部精确和全局无漂移的状态估计，通常将具有互补特性的多个传感器融合在一起。本地传感器（相机、IMU、LiDAR等）在小区域内提供精确的姿态，而全局传感器（GPS、磁力计、气压计等）在大规模环境中提供有噪声但全局无漂移的定位。在本文中，我们提出了一个传感器融合框架，融合局部状态与全局传感器，实现局部准确和全局无漂移的姿态估计。由现有VO/VIO方法产生的局部估计在姿态图优化中与全局传感器融合。在图优化中，局部估计被对齐到全局坐标中。同时，消除了累积漂移。我们评估我们的系统在公共数据集和现实世界的实验的性能。结果与其他国家的最先进的算法进行比较。我们强调，我们的系统是一个通用的框架，它可以很容易地融合各种全球传感器在一个统一的姿态图优化。我们的实现是开源的\footnote{https://github.com/HKUST-Aerial-Robotics/VINS-Fusion}。
2019-01-11 cs.CV
Leveraging Temporal Joint Depths for Improving 3D Human Pose Estimation in Video
Mobility Technologies Co., Ltd.
从视频的每帧中估计的2D姿态预测3D姿态的方法的有效性已经被证明用于3D人体姿态估计。然而，没有人的外观信息的2D姿态相对于联合深度具有很大的模糊性。在本文中，我们提出了在视频的每一帧中估计3D姿态，并考虑时间信息对其进行细化。该方法减少了联合深度的模糊性，提高了3D姿态估计精度。
2020-11-04 cs.CV
Inferring Super-Resolution Depth from a Moving Light-Source Enhanced RGB-D Sensor: A Variational Approach
Technical University of Munich（慕尼黑工业大学）
提出了一种基于多视点未标定光度立体的深度图超分辨率实现方法。实际上，LED光源连接到商品RGB-D传感器上，用于从多个视点捕获具有未知运动的对象。这种非静态的摄像机到对象的设置描述与非凸变分方法，使照明或摄像机运动的校准是必需的，由于制定的端到端的联合优化问题。解决所提出的变分模型的结果在高分辨率的深度，反射率和相机姿态估计，因为我们在具有挑战性的合成和现实世界的数据集。
2019-12-13 cs.CV
Deformable Modeling for Human Body Acquired from Depth Sensors
本文提出了一种新的方法来重建完整的三维变形模型随时间的推移，由一个单一的深度相机。这些是用于使来自单个深度相机的对象变形的步骤。从不同的捕获时间重建的部分表面组装在一起，形成一个完整的3D表面。在线性网格变形的基础上，提出了一种网格变形算法来实现不同局部曲面的对齐。然后应用体积方法来组合部分表面，修复丢失的孔和平滑对准误差。
2017-08-30 cs.CV
Self-supervised Depth Denoising Using Lower- and Higher-quality RGB-D sensors
In3D；Skoltech（斯科尔科沃科学技术学院）；Samsung AI Center, Moscow（三星人工智能中心莫斯科）
本文提出一种自监督深度去噪方法，利用不同步的低质量和高质量RGB-D传感器记录序列并时空对齐，以高质量数据为监督训练神经网络，提升低质量深度质量，在三维重建中实现更精细融合表面和更好跟踪。
2020-09-13 cs.CV
Sensor Data Augmentation from Skeleton Pose Sequences for Improving Human Activity Recognition
Saarland University（萨尔大学）；German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）；RPTU Kaiserslautern-Landau（凯撒斯劳滕-兰道莱茵-普法尔茨技术大学）；Seoul National University of Science and Technology（首尔科学技术大学）
针对可穿戴传感器HAR标注数据稀缺问题，提出姿态到传感器网络模型，直接从3D骨架姿态序列生成传感器数据并联合训练活动分类器，在MM-Fit数据集上显著优于基线方法。
2024-04-25 cs.CV cs.LG eess.SP
RGB-based 3D Hand Pose Estimation via Privileged Learning with Depth Images
Imperial College London（帝国理工学院）；Rakuten Institute of Technology（乐天技术研究所）
本文提出了一种从RGB图像中估计手部姿势的方法，该方法在训练时使用外部大规模深度图像数据集以及成对的深度和RGB图像作为特权信息。我们表明，在训练过程中提供深度信息显着提高了测试过程中从RGB图像进行姿态估计的性能。我们探索使用这种特权信息的不同方式：（1）使用深度数据来初始训练基于深度的网络，（2）使用来自成对深度图像的基于深度的网络的特征来约束中级RGB网络权重，以及（3）使用从深度数据获得的前景掩模来抑制来自背景区域的响应。通过使用成对的RGB和深度图像，我们能够监督基于RGB的网络学习中间层特征，这些特征模仿相应的基于深度的网络，该网络是在大规模的、准确注释的深度数据上训练的。在测试过程中，当只有RGB图像可用时，我们的方法可以生成准确的3D手部姿势预测。我们的方法也进行了测试，对2D手姿态估计。在三个公开数据集上的实验表明，该方法优于现有的基于RGB图像输入的手势估计方法。
2018-11-18 cs.CV
Residual Pose: A Decoupled Approach for Depth-based 3D Human Pose Estimation
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）；Idiap Research Institute（Idiap研究所）
我们建议利用卷积神经网络（CNN）在可靠的2D姿态估计方面的最新进展，在多人人机交互（HRI）场景中从深度图像中估计人的3D姿态。我们的方法是基于这样的观察，即使用深度信息从2D身体标志检测中获得3D提升点提供了对真实3D人体姿势的粗略估计，因此仅需要细化步骤。在这方面，我们的贡献是三方面的。(i)我们提出通过解耦2D姿态估计和3D姿态细化来从深度图像执行3D姿态估计;（ii）我们提出了一种深度学习方法，该方法回归提升的3D姿态和真实3D姿态之间的残留姿态;（iii）我们表明，尽管它很简单，我们的方法在两个公共数据集上的准确性和速度方面都取得了非常有竞争力的结果，人的HRI相比，最近的国家的最先进的方法。
2020-11-10 cs.CV
Camera Pose Matters: Improving Depth Prediction by Mitigating Pose Distribution Bias
UC Irvine（加州大学尔湾分校）；Carnegie Mellon University（卡内基梅隆大学）
单目深度预测器通常在大规模训练集上进行训练，这些训练集自然偏向于相机姿态的分布。因此，训练的预测器无法对在不常见的相机姿势下捕获的测试示例进行可靠的深度预测。为了解决这个问题，我们提出了两种新的技术，在训练和预测过程中利用相机的姿态。首先，我们引入了一种简单的视角感知数据增强，它通过以几何一致的方式扰动现有示例，合成具有更多样化视图的新训练样本。其次，我们提出了一个条件模型，利用每图像相机构成的先验知识，将其编码为输入的一部分。我们表明，联合应用这两种方法可以提高对在不常见甚至从未见过的相机姿势下捕获的图像的深度预测。我们表明，我们的方法提高性能时，应用到一系列不同的预测架构。最后，我们表明，显式编码的相机姿态分布提高了综合训练的深度预测器的泛化性能时，对真实图像进行评估。
2021-03-28 cs.CV
POSEidon: Face-from-Depth for Driver Pose Estimation
University of Modena and Reggio Emilia（摩德纳和雷焦艾米利亚大学）
快速准确的上半身和头部姿态估计是自动监控驾驶员注意力的关键任务，这是一个具有挑战性的背景，其特征在于严重的照明变化，遮挡和极端姿态。在这项工作中，我们提出了一个新的深度学习框架，用于深度图像上的头部定位和姿态估计。该提案的核心是一个回归神经网络，称为POSEidon，它由三个独立的卷积网络组成，后面是一个融合层，专门用于通过深度理解姿势。此外，为了恢复面部外观的内在价值，以理解头部的位置和方向，我们提出了一个新的面部从深度的方法来学习图像的深度人脸。面部重建的结果在质量上令人印象深刻。我们在两个公共数据集上测试了所提出的框架，即Biwi Kinect Head Pose和ICT-3DHP，以及Pandora，这是一个主要受汽车设置启发的新的具有挑战性的数据集。结果表明，我们的方法克服了所有最近的最先进的作品，实时的运行在每秒30帧以上。
2017-12-12 cs.CV
Efficient and accurate monitoring of the depth information in a Wireless Multimedia Sensor Network based surveillance
Antonine University（安东尼大学）；Femto-ST Institute（Femto-ST研究所）；Université de Bourgogne Franche-Comté（勃艮第-弗朗什-孔泰大学）
无线多媒体传感器网络（WMSN）是一种很有前途的技术，可以捕获丰富的多媒体数据，如音频和视频，这可以是有用的监测环境下的监视。然而，实时的监测中的许多场景需要3D深度信息。在这项研究工作中，我们建议使用的视差图，计算从两个或多个图像，以监测的深度信息，在一个对象或事件的监视下，使用WMSN。我们的系统是基于分布式无线传感器，使我们能够显着减少三维深度重建所需的计算时间，从而使实时的解决方案的成功。每对传感器将捕获目标位置/对象的图像，并将操作立体匹配以创建视差图。视差图将使我们能够减少带宽上的流量，因为它们的大小很小。这将增加WMSN的寿命。在计算场景中的目标对象的深度值之后，可以检测任何事件，并且还可以利用视差图和由节点获取的一些参考图像来实现3D场景重构。
2017-06-25 cs.CV
Human Action Recognition Using Deep Multilevel Multimodal (M2) Fusion of Depth and Inertial Sensors
多年来，已经提出了使用深度和惯性传感器数据的用于人类动作识别（HAR）的多模态融合框架。在大多数现有的作品中，融合是在一个单一的水平（特征级或决策级），错过了机会融合丰富的中级功能，更好的分类。为了解决这个问题，在本文中，我们提出了三种新的深度多级多模态融合框架，利用不同的融合策略在不同的阶段，并利用多级融合的优势。在输入时，我们将深度数据转换为称为序列前视图图像（SFI）的深度图像，并将惯性传感器数据转换为信号图像。通过与Prewitt滤波器进行卷积，进一步使每个输入模态（深度和惯性）成为多模态。创建“模态中的模态”使得能够通过卷积神经网络（CNN）进行进一步的互补和区分特征提取。CNN在每种模态的输入图像上进行训练，以学习低级，高级和复杂的特征。在所提出的框架的不同阶段提取和融合学习特征，以结合鉴别和互补信息。这些高度信息化的特征被用作多类支持向量机（SVM）的输入。我们在三个公开的多模态HAR数据集上评估了所提出的框架，即UTD多模态人类动作数据集（MHAD），伯克利MHAD和UTD-MHAD Kinect V2。实验结果表明，所提出的融合框架优于现有的方法。
2019-10-25 cs.CV cs.LG stat.ML
SA4Depth: Consistent Pose-Depth Scale Alignment for Self-Supervised Monocular Depth Estimation
Technical University of Munich（慕尼黑技术大学）；BMW Group（宝马集团）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心（MCML））；Google（谷歌）；VisualAIs Labs GmbH（VisualAIs实验室 GmbH）
提出SA4Depth方法，通过可微的视觉特征重投影和姿态细化，对齐自监督深度估计中深度网络和姿态网络估计的场景尺度，提升深度预测精度且不增加推理时间。
2026-06-15 cs.CV
D-PoSE: Depth as an Intermediate Representation for 3D Human Pose and Shape Estimation
University of Crete（克里特大学）；Institute of Computer Science, FORTH（FORTH计算机科学研究所）
本研究提出单阶段3D人体姿态与形状估计方法D-PoSE，以深度图为中间表示，用合成数据深度监督训练，在EMDB、3DPW基准上达SOTA，轻量CNN架构优于参数量高近一个量级的ViT模型。
2024-10-07 cs.CV
mRI: Multi-modal 3D Human Pose Estimation Dataset using mmWave, RGB-D, and Inertial Sensors
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
估计3D人体姿势和运动的能力，也称为人体姿势估计（HPE），使许多基于家庭的健康监测应用成为可能，例如远程康复训练。已经出现了几种可能的解决方案，使用从RGB相机、深度传感器、毫米波（mmWave）雷达和可穿戴惯性传感器等传感器。尽管HPE之前在数据集和基准方面做出了努力，但很少有数据集利用多种模式并专注于基于家庭的健康监测。为了弥补这一差距，我们提出了mRI，这是一个多模态3D人体姿态估计数据集，具有毫米波，RGB-D和惯性传感器。我们的数据集由来自20名进行康复训练的受试者的超过160 k个同步帧组成，并支持HPE和动作检测的基准。我们使用我们的数据集进行了大量的实验，并描绘了每种模态的强度。我们希望MRI的发布能够促进姿势估计、多模态学习和动作理解的研究，更重要的是促进基于家庭的健康监测的应用。
2022-10-15 cs.CV
LiDAR Meta Depth Completion
ETH Zurich（苏黎世联邦理工学院）；Huawei Technologies（华为技术有限公司）
本文提出LiDAR元深度补全网络，通过学习任务网络动态调整主网络权重，使单一模型适配并泛化到不同LiDAR扫描模式，在稀疏场景下优于专用模型。
2023-08-16 cs.CV
CZU-MHAD: A multimodal dataset for human action recognition utilizing a depth camera and 10 wearable inertial sensors
Changzhou University（常州大学）；Tongji University（同济大学）
人体动作识别在生活的许多领域得到了广泛的应用，同时也有大量的人体动作数据集被公开。然而，大多数多模态数据库在传感器的布局和数量上存在一些缺点，不能完全表示动作特征。针对这些问题，本文提出了一个免费的数据集，命名为CZU-MHAD（常州大学：一个全面的多模态人类行动数据集）。它由22个动作和三个模态的时间同步数据组成。这些模态包括来自kinect v2摄像头的深度视频和骨骼位置，以及来自10个可穿戴传感器的惯性信号。与单模态传感器相比，多模态传感器可以采集不同模态的数据，因此使用多模态传感器可以更准确地描述动作。此外，CZU-MHAD通过绑定惯性传感器获得10个主运动关节的3轴加速度和3轴角速度，这些数据是同时捕获的。实验结果表明，该数据集可用于研究人体不同部位之间的结构关系时，执行的动作和融合方法，涉及多模态传感器数据。
2022-02-07 cs.CV
Depth-Aware Action Recognition: Pose-Motion Encoding through Temporal Heatmaps
ETH Zurich（苏黎世联邦理工学院）
大多数最先进的动作识别方法仅依赖于对外观、运动或姿势进行编码的2D空间特征。然而，2D数据缺乏深度信息，这对于识别细粒度动作至关重要。在本文中，我们提出了一个深度感知的体积描述符，编码姿势和运动信息在一个统一的表示动作分类在野外。我们的框架是强大的动作识别固有的许多挑战，例如，在视点，场景，服装和身体形状的变化。我们的方法的关键组成部分是深度感知姿态运动表示（DA-PoTion），一个新的视频描述符，编码的三维运动的语义关键点的人体。给定一个视频，我们使用最先进的3D人体姿势回归器为每帧生成人体关节热图，并根据剪辑中的相对时间为每个热图提供唯一的颜色代码。然后，我们将所有人体关节的3D时间编码热图聚合起来，以获得一个固定大小的描述符（DA-PoTion），该描述符适用于使用浅层3D卷积神经网络（CNN）对动作进行分类。DA-PoTion单独定义了Penn Action Dataset上的新技术水平。此外，我们利用我们的姿势运动描述符与基于外观的方法的内在互补性，将其与充气3D ConvNet（I3 D）相结合，在JHMDB数据集上定义一个新的最先进的技术。
2020-11-26 cs.CV cs.LG
DRPose3D: Depth Ranking in 3D Human Pose Estimation
Shanghai Jiao Tong University（上海交通大学）；Sun Yat-Sen University（中山大学）；Tsinghua University（清华大学）；SenseTime Group Limited（商汤集团有限公司）；East China Normal University（华东师范大学）
在本文中，我们提出了一个两阶段的深度排名为基础的方法（DRPose3D）来解决三维人体姿态估计的问题。代替准确的3D位置，深度排名可以由人类直观地识别，并且通过解决分类问题使用深度神经网络更容易地学习。此外，深度排序包含丰富的3D信息。它防止了两阶段方法中的2D到3D姿态回归是不适定的。在我们的方法中，首先，我们设计了一个成对排序卷积神经网络（PRCNN）从图像中提取人体关节的深度排名。其次，提出了一种由粗到细的3D姿态网络（DPNet），用于从深度排名和2D人体关节位置估计3D姿态。此外，为了提高模型的通用性，我们引入了一种统计方法来增强深度排名。我们的方法在所有三个测试协议的Human3.6M基准测试中优于最先进的方法，这表明深度排名是一个重要的几何特征，可以通过学习来改善3D姿态估计。
2018-05-24 cs.CV
Multi-Person 3D Pose Estimation from Multi-View Uncalibrated Depth Cameras
Carnegie Mellon University（卡内基梅隆大学）；Waymo；Meta
针对多视角RGB三维人体姿态方法需多视角、已标定相机且依赖真实姿态训练的问题，提出无需训练回归模型的MVD-HPE流程，结合深度引导相机位姿估计与深度约束姿态优化，在自采数据集上性能优于现有无回归方案。
2024-01-28 cs.CV
A Survey of Efficient Regression of General-Activity Human Poses from Depth Images
本文对基于回归的人体姿态估计方法进行了综述。人体姿态估计问题已经得到了深入的研究，并使许多应用从娱乐到培训。传统的方法往往只依赖于彩色图像，不能完全模糊关节的三维位置，特别是在复杂的背景下。随着深度传感器的普及，三维估计的精度有了显著的提高。在本文中，我们给出了一个详细的分析，最先进的人体姿态估计，包括基于深度图像和RGB-D的方法。实验结果表明，他们的优势和局限性，为不同的场景。
2017-09-02 cs.CV
SelfReDepth: Self-Supervised Real-Time Depth Restoration for Consumer-Grade Sensors
Instituto Superior Técnico, Universidade de Lisboa（里斯本大学高等技术学院）；Instituto de Engenharia de Sistemas e Computadores, Investigação e Desenvolvimento（系统与计算机工程研究所）；Institute for System and Robotics（系统与机器人研究所）；Human Technology Institute, University of Technology Sydney（悉尼科技大学人类技术学院）
本文提出 SelfReDepth，一种利用连续深度帧与颜色数据的自监督深度恢复方法，无需真实深度数据即可在消费级 RGB-D 传感器上以超过 30fps 实现实时去噪与孔洞填充，性能优于现有方法。
2024-06-05 cs.AI cs.CV cs.HC
Ultra Diffusion Poser: Diffusion-Based Human Motion Tracking From Sparse Inertial Sensors and Ranging-Based Between-Sensor Distances
Department of Computer Science, ETH Zurich（苏黎世联邦理工学院计算机科学系）
提出Ultra Diffusion Poser扩散模型，通过显式建模UWB测距的几何约束（空间布局模块解析重建传感器位置）和引入UWB扩散引导，在扩散采样中强制预测姿态与实测距离对齐，将关节位置误差降低22%。
2026-06-01 cs.CV cs.GR
Towards Better Generalization: Joint Depth-Pose Learning without PoseNet
Tsinghua University（清华大学）
在这项工作中，我们解决了自监督联合深度姿势学习的尺度不一致的基本问题。大多数现有的方法假设可以在所有输入样本中学习一致的深度和姿态尺度，这使得学习问题更加困难，导致室内环境和长序列视觉里程计应用中的性能下降和有限的泛化。为了解决这个问题，我们提出了一个新的系统，明确地解开规模从网络估计。该方法不依赖于PoseNet体系结构，而是直接从稠密的光流对应关系中求解基本矩阵来恢复相对姿态，并利用双视图三角剖分模块来恢复最大尺度的3D结构。然后，我们将深度预测的尺度与三角化的点云对齐，并使用变换后的深度图进行深度误差计算和密集重投影检查。我们的整个系统可以端到端联合训练。大量的实验表明，我们的系统不仅在KITTI深度和流量估计上达到了最先进的性能，而且在各种具有挑战性的场景下显着提高了现有自监督深度姿势学习方法的泛化能力，并在KITTI Odometry和NYUv2数据集上实现了基于自监督学习的方法中的最先进的结果。此外，我们提出了一些有趣的发现，基于PoseNet的相对姿态估计方法的泛化能力方面的限制。代码可在https://github.com/B1ueber2y/TrianFlow上获得。
2021-09-03 cs.CV cs.RO
DGGAN: Depth-image Guided Generative Adversarial Networks for Disentangling RGB and Depth Images in 3D Hand Pose Estimation
University of California, Irvine（加州大学欧文分校）；Tencent America（腾讯美国）；Amazon（亚马逊）；National Chiao Tung University（国立交通大学）
从RGB图像中估计3D手部姿态对于广泛的潜在应用是必不可少的，但由于从RGB图像中推断深度信息存在大量模糊性，因此具有挑战性。最先进的估计器通过在训练过程中正则化3D手部姿势估计模型来解决这个问题，以加强预测的3D姿势和地面真实深度图之间的一致性。然而，这些估计器在训练过程中依赖于RGB图像和成对的深度图。在这项研究中，我们提出了一种条件生成对抗网络（GAN）模型，称为深度图像引导GAN（DGGAN），以生成基于输入RGB图像的真实深度图，并使用合成的深度图来正则化3D手势估计模型，因此不需要地面真实深度图。在多个基准数据集上的实验结果表明，DGGAN生成的合成深度图在正则化姿态估计模型方面非常有效，获得了新的最先进的结果估计精度，在RHD、STB和MHP数据集上，平均3D端点误差（EPE）分别显著降低了4.7%、16.5%和6.8%。
2020-12-06 cs.CV
Self-Supervised Enhancement for Depth from a Lightweight ToF Sensor with Monocular Images
School of Science and Engineering, The Chinese University of Hong Kong, Shenzhen（科学与工程学院，香港中文大学（深圳））；Insta360 Research（Insta360研究院）
针对轻量化ToF传感器低分辨率深度增强需真实深度监督的问题，提出自监督框架SelfToF及升级版本SelfToF*，通过深度一致性损失、尺度恢复等设计，在不同稀疏度ToF数据下均实现高效且稳健的深度增强效果，经NYU、ScanNet数据集验证有效。
2025-06-17 cs.CV
A 3D-Deep-Learning-based Augmented Reality Calibration Method for Robotic Environments using Depth Sensor Data
Technical University of Berlin（柏林工业大学）；Microsoft Cloud and AI Security（微软云与人工智能安全部门）
增强现实和移动机器人由于具有使过程成本和时间有效的高潜力而在工业中获得了很多关注。为了促进增强现实，增强现实设备和环境之间的校准是必要的。这是一个挑战，当处理移动机器人由于所有实体的移动性，使环境动态。在这个帐户上，我们提出了一种新的方法来校准的增强现实设备使用3D深度传感器数据。我们使用尖端增强现实设备的深度相机-微软Hololens进行基于深度学习的校准。因此，我们修改了一个神经网络的基础上，最近发表的投票网架构，直接对点云输入观察的全息透镜。我们实现了令人满意的结果，并消除了标记等外部工具，从而为增强现实集成提供了更直观、更灵活的工作流程。结果适用于所有深度相机，并有希望进行进一步的研究。此外，我们还介绍了一个开源的3D点云标记工具，据我们所知，这是第一个用于标记原始点云数据的开源工具。
2019-12-27 cs.CV cs.LG cs.RO
Bimodal Stereo: Joint Shape and Pose Estimation from Color-Depth Image Pair
Xi’an Jiaotong University（西安交通大学）；Northwestern University（西北大学）；HERE Technologies（HERE技术公司）
彩色相机和深度相机之间的相互校准是多模态数据配准中具有挑战性的课题。在本文中，我们面临着一个“双峰立体”的问题，其目的是解决相机的姿态从一对未校准的彩色图像和深度图从不同的意见自动。为了解决这个问题，提出了一种迭代的形状从阴影（SfS）为基础的框架，同时估计形状和姿态。在流水线中，通过来自估计姿态下的给定深度图的形状先验来细化估计形状。同时，通过估计的形状和来自给定深度图的形状的配准来改进估计的姿态。我们还在流水线中引入了基于着色的细化，以解决具有孔的噪声深度图。大量的实验表明，通过我们的方法，深度图，恢复的形状以及它的姿态可以理想地细化和恢复。
2019-05-16 cs.AI cs.CV
Pose Constraints for Consistent Self-supervised Monocular Depth and Ego-motion
DENSO ADAS Engineering Services GmbH（电装ADAS工程服务有限责任公司）
本文针对自监督单目深度估计的尺度时间不一致问题，提出最小化位姿不一致的时间一致性损失，在无需训练期真值尺度监督的情况下改善深度与自我运动预测。
2023-04-18 cs.CV cs.LG cs.RO
Face-from-Depth for Head Pose Estimation on Depth Images
University of Modena and Reggio Emilia（摩德纳和雷焦艾米利亚大学）
深度相机可以为人员监控和行为理解提供可靠的解决方案，特别是当不稳定或较差的照明条件使普通RGB传感器无法使用时。因此，我们提出了一个完整的框架，仅基于深度图像的头部和肩部姿态的估计。还包括头部检测和定位模块，以开发完整的端到端系统。该框架的核心元素是一个称为POSEidon+的卷积神经网络，它接收三种类型的图像作为输入，并提供姿态的3D角度作为输出。此外，基于确定性条件GAN模型的从深度提取面部组件能够从对应的深度图像中幻觉出面部。我们的经验表明，这对系统性能产生了积极的影响。我们在两个公共数据集上测试了所提出的框架，即Biwi Kinect Head Pose和ICT-3DHP，以及Pandora，这是一个主要受汽车设置启发的新的具有挑战性的数据集。实验结果表明，我们的方法克服了最近几个国家的最先进的作品的基础上的强度和深度输入数据，实时运行在每秒30帧以上。
2018-08-30 cs.CV
3D human pose estimation from depth maps using a deep combination of poses
Universidad de Córdoba（科尔多瓦大学）；Instituto Maimónides de Investigación en Biomedicina (IMIBIC)（迈蒙尼德斯生物医学研究所（IMIBIC））
许多现实世界的应用需要估计人体关节的更高级别的任务，例如，人类行为的理解。近年来，深度传感器已经成为获得三维信息的流行方法。由这些传感器生成的深度图提供可用于消除二维图像中观察到的姿态的歧义的信息。这项工作解决了采用深度学习方法从深度图估计3D人体姿势的问题。我们提出了一个模型，命名为深深度姿势（DDP），它接收包含一个人和一组预定义的3D原型姿势的深度图，并返回人体关节的3D位置。特别地，DDP被定义为一个ConvNet，它计算线性组合给定输入的原型所需的特定权重。我们在具有挑战性的“ITOP”和“UBC3V”数据集上对DDP进行了全面评估，这两个数据集分别描绘了真实和合成样本，定义了它们的最新技术水平。
2018-07-14 cs.CV cs.HC
Globally Consistent Video Depth and Pose Estimation with Efficient Test-Time Training
National Taiwan University（国立台湾大学）
密集深度和姿态估计是各种视频应用的重要先决条件。传统的解决方案受到稀疏特征跟踪的鲁棒性和视频中摄像机基线不足的影响。因此，最近的方法在估计密集深度之前利用基于学习的光流和深度。然而，以前的作品需要大量的计算时间或产生次优的深度结果。本文提出了一种全局一致的从运动中学习视频运动恢复结构（SfM）的方法GCVD。GCVD将紧凑的姿态图集成到基于CNN的优化中，以通过有效的关键帧选择机制实现全局一致的估计。它可以提高基于学习的方法的鲁棒性，具有流引导的关键帧和良好的深度先验。实验结果表明，GCVD优于国家的最先进的方法在深度和姿态估计。此外，运行时实验表明，它提供了强大的效率，在短期和长期的视频与全球一致性提供。
2022-08-04 cs.CV
FloatingFusion: Depth from ToF and Image-stabilized Stereo Cameras
KAIST（韩国科学技术院）；Brown University（布朗大学）
高精度的每像素深度对于计算摄影至关重要，因此智能手机现在具有多模式相机系统，具有飞行时间（ToF）深度传感器和多种彩色相机。然而，由于ToF传感器的低分辨率和有限的主动照明功率，产生精确的高分辨率深度仍然具有挑战性。融合RGB立体和ToF信息是克服这些问题的一个很有前途的方向，但仍然存在一个关键问题：为了提供高质量的2D RGB图像，主颜色传感器的镜头是光学稳定的，导致浮动镜头的未知姿态打破了多模态图像传感器之间的几何关系。利用ToF深度估计和广角RGB相机，我们设计了一种基于密集2D/3D匹配的自动校准技术，该技术可以从单个快照中估计稳定的主RGB传感器的相机外部，内部和失真参数。这使我们能够通过相关体积融合立体声和ToF线索。对于融合，我们通过真实世界的训练数据集应用深度学习，并通过神经重建方法估计深度监督。为了进行评估，我们使用商业高功率深度相机获取测试数据集，并表明我们的方法比现有基线实现了更高的准确性。
2022-10-06 cs.CV
DeepMoCap: Deep Optical Motion Capture Using Multiple Depth Sensors and Retro-Reflectors
Centre for Research and Technology Hellas, Information Technologies Institute（希腊研究与技术中心信息技术研究所）；National Technical University of Athens（雅典国立技术大学）；University of Lincoln（林肯大学）
在本文中，提出了一种基于标记的单人光学运动捕捉方法（DeepMoCap），使用多个时空对齐的红外深度传感器和回射带和贴片（反射器）。DeepMoCap通过在深度图像和随后的3D空间上自动定位和标记反射器来探索运动捕捉。引入非参数表示来编码彩色深度图和3D光流帧对之间的时间相关性，提出了一种多级全卷积网络（FCN）架构来联合学习反射器位置及其在连续帧之间的时间依赖性。所提取的反射器2D位置在3D空间中进行空间映射，从而实现稳健的3D光学数据提取。通过对提取的光学数据应用基于模板的拟合技术来有效地捕获对象的运动。已经创建了两个数据集并公开用于评估目的;一个包括多视图深度和3D光流注释图像（DMC 2.5D），第二个包括时空对齐的多视图深度图像以及骨架、惯性和地面实况MoCap数据（DMC 3D）。FCN模型使用2D正确关键点百分比（PCK）指标在DMC2.5D数据集上优于其竞争对手，而运动捕捉结果则在DMC 3D上针对RGB-D和惯性数据融合方法进行评估，在3D PCK总精度方面优于下一个最佳方法4.5%。
2021-10-14 cs.AI cs.CV cs.LG
Self-supervised Monocular Depth and Pose Estimation for Endoscopy with Latent Priors
University of Oxford（牛津大学）；University of Leeds（利兹大学）
提出一种结合生成潜在库和变分自编码器的自监督框架，通过自然图像深度先验和姿态潜在变量正则化，实现内窥镜复杂场景下的高精度深度与姿态估计。
2026-06-01 cs.AI cs.CV
