Mesh Strikes Back: Fast and Efficient Human Reconstruction from RGB videos
University of Pennsylvania（宾夕法尼亚大学）；Amazon.com, Inc（亚马逊公司）
由于服装、遮挡、纹理的不连续性和清晰度以及特定于帧的姿态变化，单目RGB视频的人体重建和合成是一个具有挑战性的问题。许多方法采用延迟渲染、NeRF和隐式方法来表示穿着衣服的人，前提是基于网格的表示无法单独从RGB、轮廓和关键点捕获复杂的服装和纹理。我们通过优化SMPL+D网格和仅使用RGB图像，二进制轮廓和稀疏2D关键点的高效，多分辨率纹理表示来提供对这个基本前提的相反观点。实验结果表明，我们的方法是更能够捕捉几何细节相比，视觉外壳，网格为基础的方法。我们展示了竞争力的新视图合成和改进的新姿态合成相比，NeRF为基础的方法，引入明显的，不必要的文物。通过将解决方案空间限制在SMPL+D模型与可微分渲染相结合，我们在计算、训练时间（高达24倍）和推理时间（高达192倍）方面获得了显着的加速。因此，我们的方法可以按原样使用，也可以作为基于NeRF的方法的快速初始化。
2023-03-15 cs.CV
Multi-Person 3D Pose Estimation from Multi-View Uncalibrated Depth Cameras
Carnegie Mellon University（卡内基梅隆大学）；Waymo；Meta
针对多视角RGB三维人体姿态方法需多视角、已标定相机且依赖真实姿态训练的问题，提出无需训练回归模型的MVD-HPE流程，结合深度引导相机位姿估计与深度约束姿态优化，在自采数据集上性能优于现有无回归方案。
2024-01-28 cs.CV
RGBD-Net: Predicting color and depth images for novel views synthesis
University of Oulu（奥卢大学）；TomTom（TomTom公司）；Tampere University（坦佩雷大学）；Czech Technical University in Prague（布拉格捷克理工大学）
我们提出了一种新的级联架构的新颖的视图合成，称为RGBD-Net，它包括两个核心组件：层次深度回归网络和深度感知生成器网络。前者通过自适应深度缩放来预测目标视图的深度图，而后者利用预测的深度并渲染空间和时间一致的目标图像。在标准数据集上的实验评估中，RGBD-Net不仅明显优于最先进的技术，而且在没有每个场景优化的情况下也可以很好地推广到新场景。此外，我们还证明了RGBD-Net可以在没有深度监督的情况下进行可选训练，同时仍然保持高质量的渲染。得益于深度回归网络，RGBD-Net还可用于创建密集的3D点云，其精度高于某些最先进的多视图立体视觉方法。
2021-07-09 cs.CV cs.GR
MatchU: Matching Unseen Objects for 6D Pose Estimation from RGB-D Images
Technical University of Munich（慕尼黑工业大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）；XYZ Robotics（XYZ机器人公司）
提出 MatchU 框架，通过融合 RGB 与 3D 几何描述符实现未见物体的 6D 位姿估计，在精度和速度上显著优于现有方法。
2024-05-08 cs.CV
SO(3)-Pose: SO(3)-Equivariance Learning for 6D Object Pose Estimation
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；The Hong Kong Polytechnic University（香港理工大学）；Deakin University（迪肯大学）；Hong Kong Metropolitan University（香港都会大学）
从RGB-D图像中估计刚体的6D位姿对于机器人中的物体抓取和操作至关重要。虽然RGB通道和深度（D）通道通常是互补的，分别提供外观和几何信息，但如何充分受益于两个交叉模态数据仍然是重要的。从简单但新的观察来看，当对象旋转时，其语义标签对于姿态是不变的，而其关键点偏移方向对于姿态是可变的。为此，我们提出了SO（3）-Pose，这是一种新的表示学习网络，用于从深度通道中探索SO（3）-等变和SO（3）-不变特征以进行姿态估计。SO（3）不变特征有助于学习更独特的表示，用于从RGB通道分割具有相似外观的对象。SO（3）-等变特征与RGB特征通信，以推断用于从深度通道检测具有反射表面的对象的关键点的（错过的）几何形状。与现有的大多数姿态估计方法不同，我们的SO（3）-Pose不仅实现了RGB和深度通道之间的信息通信，而且还自然地从深度图像中吸收SO（3）-等方差几何知识，从而导致更好的外观和几何表示学习。综合实验表明，我们的方法达到了国家的最先进的性能在三个基准。
2022-08-17 cs.CV
Structural Multiplane Image: Bridging Neural View Synthesis and 3D Reconstruction
The University of Tokyo（东京大学）；Microsoft Research Asia（微软亚洲研究院）
多平面图像（MPI），包含一组前平行RGBA层，是一个有效的和高效的表示从稀疏输入的视图合成。然而，它的固定结构限制了性能，特别是对于以倾斜角度成像的表面。我们介绍了结构MPI（S-MPI），其中平面结构近似3D场景简洁。S-MPI通过几何忠实结构传递RGBA上下文，直接连接视图合成和3D重建。它不仅可以克服MPI的关键限制，即，此外，还可以从倾斜表面和冗余层滥用中获得离散化伪影，并且还可以获得平面3D重建。尽管应用S-MPI的直觉和需求，但也带来了巨大的挑战，例如，RGBA层和平面姿态的高保真近似，多视图一致性，非平面区域建模，以及使用双平面的高效渲染。因此，我们提出了一种基于分割模型的基于变压器的网络。它预测紧凑和表达的S-MPI层与其相应的面具，姿势和RGBA上下文。在我们的统一框架中，非平面区域作为一种特殊情况被包含处理。通过共享全局代理嵌入来确保多视图一致性，该嵌入对覆盖具有对齐坐标的完整3D场景的平面级特征进行编码。大量的实验表明，我们的方法优于以前的国家的最先进的基于MPI的视图合成方法和平面重建方法。
2023-03-10 cs.CV
Deep Learning of Local RGB-D Patches for 3D Object Detection and 6D Pose Estimation
Technical University of Munich（慕尼黑工业大学）；University of Bologna（博洛尼亚大学）；Siemens AG, Munich（西门子股份公司（慕尼黑））
我们提出了一种三维目标检测方法，使用回归描述符的本地采样RGB-D补丁的6D投票铸造。对于回归，我们采用了一个卷积自动编码器，该编码器已经在大量随机局部补丁上进行了训练。在测试过程中，场景补丁描述符与合成模型视图补丁的数据库相匹配，并投出6D对象投票，随后过滤以细化假设。我们在三个数据集上进行评估，以表明我们的方法可以很好地推广到以前看不见的输入数据，提供强大的检测结果，与最先进的技术竞争并超越最先进的技术，同时在对象数量上具有可扩展性。
2016-07-20 cs.CV
Zero123-6D: Zero-shot Novel View Synthesis for RGB Category-level 6D Pose Estimation
Technical University of Munich（慕尼黑工业大学）；TUM School of Computation, Information and Technology（慕尼黑工业大学计算、信息与技术学院）；ETH Zurich（苏黎世联邦理工学院）；Google Zurich（谷歌苏黎世分部）；Department of Excellence in Robotics & AI（机器人与人工智能卓越系）；Mechanical Intelligence Institute（机械智能研究所）
本研究提出Zero123-6D，首次利用基于Diffusion Model的新视角合成器结合特征提取技术，实现零样本类别级RGB 6D位姿估计，通过在线优化处理类别内几何差异，减少数据需求并免除了对深度信息的依赖。
2024-07-30 cs.CV
SenseShift6D: Multimodal RGB-D Benchmarking for Robust 6D Pose Estimation across Environment and Sensor Variations
Graduate School of Data Science（数据科学研究生院）
SenseShift6D通过多样的光照和传感器设置，评估了6D位姿估计在真实环境中的鲁棒性，揭示了传感器和环境变化对性能的影响，推动了多模态传感器选择的研究。
2026-11-05 cs.CV
Learning Canonical Shape Space for Category-Level 6D Object Pose and Size Estimation
National University of Defense Technology（国防科技大学）
我们提出了一种新的方法，类别级的6D对象的姿态和大小估计。为了解决类内形状变化，我们学习规范形状空间（CASS），这是某个对象类别的大量实例的统一表示。特别地，CASS被建模为具有归一化姿态的规范3D形状的深度生成模型的潜在空间。我们训练一个变分自动编码器（VAE），用于从RGBD图像生成正则空间中的3D点云。VAE以跨类别的方式进行训练，利用公开的大型3D形状库。由于3D点云是以标准化姿态（具有实际大小）生成的，因此VAE的编码器学习视图分解的RGBD嵌入。它将任意视角下的RGBD图像映射为姿态无关的3D形状表示。然后通过将其与用单独的深度神经网络提取的输入RGBD的姿态相关特征进行对比来估计对象姿态。我们将CASS的学习以及姿态和大小估计集成到一个端到端的可训练网络中，实现了最先进的性能。
2021-11-21 cs.CV
Animatable Neural Radiance Fields from Monocular RGB Videos
我们提出了动画神经辐射场（动画NeRF）的详细的人类化身创建从单眼视频。我们的方法通过在学习场景表示网络的同时引入显式的姿势引导变形，将神经辐射场（NeRF）扩展到具有人体运动的动态场景。特别是，我们估计每个帧的人的姿势，并学习一个恒定的规范空间的详细的人的模板，这使得自然的形状变形从观察空间的规范空间下的姿势参数的显式控制。为了补偿不准确的姿态估计，我们引入了姿态细化策略，在学习过程中更新初始姿态，这不仅有助于学习更准确的人体重建，而且还加速了收敛。在实验中，我们表明，所提出的方法实现1）隐式人体几何和外观重建与高质量的细节，2）照片真实感渲染的人从新的观点，和3）动画的人与新的姿态。
2021-09-07 cs.CV
SceneNet RGB-D: 5M Photorealistic Images of Synthetic Indoor Trajectories with Ground Truth
Dyson Robotics Laboratory at Imperial College（帝国理工学院戴森机器人实验室）；Imperial College London（帝国理工学院）
我们引入了场景网RGB-D，扩展了场景网以前的工作，使室内场景轨迹的大规模真实感渲染。它为场景理解问题（如语义分割、实例分割和目标检测）以及几何计算机视觉问题（如光流、深度估计、摄像机姿态估计和3D重建）提供像素完美的真值。随机采样允许几乎无限的场景配置，在这里，我们提供了一组5 M渲染的RGB-D图像，来自合成布局中超过15 K的轨迹，具有随机但物理模拟的对象姿势。每个布局还具有随机照明、相机轨迹和纹理。该数据集的规模非常适合使用RGB-D输入从头开始预训练数据驱动的计算机视觉技术，这在以前受到NYUv 2和SUN RGB-D中相对较小的标记数据集的限制。它还提供了一个基础，通过提供完美的相机姿势和深度数据作为代理的SLAM系统的调查3D场景标记任务。我们将数据集托管在http://robotvault.bitbucket.io/scenenet-rgbd.html
2017-01-30 cs.CV
Keypoint Cascade Voting for Point Cloud Based 6DoF Pose Estimation
Queen’s University（女王大学）
提出了一种新的关键点投票6自由度物体姿态估计方法，该方法以无RGB信息的纯无序点云几何作为输入。所提出的级联关键点投票方法，称为RCVPose 3D，是基于一种新的架构，分离的语义分割的关键点回归的任务，从而增加了两者的有效性，提高了最终的性能。该方法还引入了一个成对的约束，在不同的关键点之间的损失函数回归的关键点估计的数量时，这是有效的，以及一个新的选民信心分数，提高了学习和推理阶段。我们提出的RCVPose 3D在Occlusion LINEMOD（74.5%）和YCB-Video（96.9%）数据集上实现了最先进的性能，优于现有的纯RGB和基于RGB-D的方法，并且与RGB加点云方法竞争。
2022-10-14 cs.CV
Accurate 3-D Reconstruction with RGB-D Cameras using Depth Map Fusion and Pose Refinement
University of Oulu（奥卢大学）；Aalto University（阿尔托大学）
深度图融合是基于立体和RGB-D的3D重建流水线中的重要部分。无论是使用被动立体重建还是使用主动深度传感器（如Microsoft Kinect）生成，深度图都有噪声，并且可能具有较差的初始配准。在本文中，我们介绍了一种方法，这是能够处理离群值，特别是，甚至显着的配准误差。所提出的方法首先将一系列深度图融合到单个非冗余点云中，以便通过为更确定的测量赋予更多权重来将冗余点合并在一起。然后，将原始深度图重新配准到融合点云以细化原始相机外部参数。然后，再次使用细化的外部参数执行融合。重复此过程，直到结果令人满意或迭代之间没有发生重大变化。该方法对于异常值和错误的深度测量以及甚至由于不准确的初始相机姿态而导致的显著深度图配准误差是鲁棒的。
2018-04-24 cs.CV
RGBD Objects in the Wild: Scaling Real-World 3D Object Learning from RGB-D Videos
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；UC San Diego（加州大学圣地亚哥分校）；NVIDIA（英伟达）
引入WildRGB-D数据集，通过大规模野外采集的RGB-D物体视频，提供丰富3D标注并基准测试四项任务，显著推进真实世界3D物体学习。
2024-07-28 cs.CV
RGBTrack: Fast, Robust Depth-Free 6D Pose Estimation and Tracking
Department of Computer Science, Rutgers, the State University of New Jersey（计算机科学系，新泽西州立大学拉特格斯分校）
RGBTrack是一种仅依赖RGB数据的实时6D姿态估计与跟踪框架，通过二分搜索和渲染比较机制免深度推断，结合XMem跟踪、卡尔曼滤波和状态机实现鲁棒跟踪，在基准上达到竞争精度和实时性能。
2025-06-20 cs.CV cs.RO
PointVGGT: Zero-Shot Multiview RGB-D Point Cloud Registration with Visual Geometry Foundation Priors
Nanyang Technological University（南洋理工大学）；Alibaba Group（阿里巴巴集团）
本文提出PointVGGT框架，采用“先基础后优化”范式，利用视觉几何基础模型VGGT实现零样本多视图RGB-D点云配准，在多类数据集上验证了其高精度与高效性。
2026-10-09 cs.CV
Learning Dynamic View Synthesis With Few RGBD Cameras
近年来，动态新视图合成技术取得了重大进展。然而，当前的深度学习模型通常需要（1）先验模型（例如，SMPL人体模型），（2）繁重的预处理，或（3）每场景优化。我们建议利用RGBD相机来消除这些限制，并合成动态室内场景的自由视点视频。我们从RGBD帧生成特征点云，然后通过神经渲染器将它们渲染成自由视点视频。然而，不准确、不稳定和不完整的深度测量会导致严重的失真、闪烁和重影伪影。我们通过建议的周期重建一致性和时间稳定模块来执行时空一致性，以减少这些文物。我们引入了一个简单的区域深度修补模块，自适应地修补缺失的深度值，以呈现完整的新视图。此外，我们提出了一个人与物交互数据集，以验证我们的方法，并促进未来的研究。该数据集由43个日常活动的多视图RGBD视频序列组成，捕捉人类主体与其周围环境之间的复杂交互。在HTI数据集上的实验表明，该方法优于基线每帧图像的保真度和时空一致性。我们将很快在网站上发布我们的代码和数据集。
2022-05-04 cs.CV cs.GR
6D Robotic Assembly Based on RGB-only Object Pose Estimation
Tsinghua University（清华大学）
基于视觉的机器人装配是一项关键而又具有挑战性的任务，因为与多个物体的交互需要高精度。在本文中，我们提出了一个集成的6D机器人系统，感知，把握，操纵和组装块紧公差。为了提供一个现成的RGB唯一的解决方案，我们的系统是建立在一个单目6D对象姿态估计网络训练，利用基于物理的渲染的合成图像。随后，姿态引导的6D变换以及无碰撞装配被提出来构造具有任意初始姿态的任何设计结构。我们新颖的3轴校准操作通过解开6D姿态估计和机器人装配进一步提高了精度和鲁棒性。定量和定性的结果表明，我们提出的6D机器人装配系统的有效性。
2022-08-27 cs.CV cs.RO
RGB2Hands: Real-Time Tracking of 3D Hand Interactions from Monocular RGB Video
MPI Informatics（马克斯·普朗克信息学研究所）；Technical University of Munich（慕尼黑工业大学）；Universidad Rey Juan Carlos（胡安·卡洛斯国王大学）
跟踪和重建交互中双手的3D姿态和几何形状是一个具有挑战性的问题，其与包括AR/VR、机器人或手语识别在内的若干人机交互应用高度相关。现有的工作要么局限于更简单的跟踪设置（例如，仅考虑单手或两个空间上分离的手），或者依赖于不太普遍的传感器，诸如深度相机。相比之下，在这项工作中，我们提出了第一个实时的【形】方法，从一个单一的RGB相机，明确考虑密切的相互作用的骨骼姿势和3D表面几何的手的运动捕捉。为了解决RGB数据中固有的深度模糊性，我们提出了一种新的多任务CNN，该CNN回归多个互补的信息片段，包括分割、与3D手模型的密集匹配和2D关键点位置，以及新提出的手内相对深度和手间距离图。这些预测随后用于生成模型拟合框架中，以便估计双手的3D手模型的姿势和形状参数。我们通过广泛的消融研究实验验证了我们的RGB双手跟踪和3D重建管道的各个组件。此外，我们证明了我们的方法提供了以前看不见的双手跟踪性能从RGB，并在定量和定性上优于现有的基于RGB的方法，没有明确设计的双手互动。此外，我们的方法甚至可以与基于深度实时的【形】方法相提并论。
2021-06-22 cs.CV
NVS-HO: A Benchmark for Novel View Synthesis of Handheld Objects
University of Bologna（博洛尼亚大学）；University of Sevilla（塞维利亚大学）
NVS-HO是一个针对真实环境中仅使用RGB输入进行手持物体新型视图合成的基准，通过两种互补的RGB序列和基于NeRF和高斯点绘的模型训练，评估当前方法的性能差距并推动技术进步。
2026-02-05 cs.CV
6D Pose Estimation via Keypoint Heatmap Regression with RGB-D Residual Neural Networks
Politecnico di Torino（托里诺理工学院）
本文提出基于关键点热图回归的模块化框架，结合YOLOv10m进行目标检测与ResNet18预测RGB图像的2D热图，利用PnP RANSAC算法估计6D位姿，并通过RGB-D交叉融合架构提升性能，最终在LINEMOD数据集上达到92.41%的准确率。
2026-05-08 cs.CV cs.RO
Learning Implicit Probability Distribution Functions for Symmetric Orientation Estimation from RGB Images Without Pose Labels
University of Bonn（波恩大学）
物体位姿估计是机器人自主操作的必要前提，但对称性的存在增加了位姿估计任务的复杂性。用于对象姿态估计的现有方法输出单个6D姿态。因此，他们缺乏推理对称性的能力。最近，通过神经网络将对象方向建模为SO（3）流形上的非参数概率分布，取得了令人印象深刻的结果。然而，获取大规模数据集来训练姿态估计模型仍然是一个瓶颈。为了解决这个问题，我们引入了一个自动姿势标记计划。给定没有对象姿态注释和3D对象模型的RGB-D图像，我们设计了一个由点云配准和渲染和比较验证组成的两阶段流水线，为每个图像生成多个对称的伪地面真实姿态标签。使用生成的姿势标签，我们训练ImplicitPDF模型来估计给定RGB图像的方向假设的可能性。SO（3）流形的一个有效的分层采样使得能够在多个分辨率下容易地生成完整的对称集。在推断期间，使用梯度上升来估计目标对象的最可能的取向。我们评估建议的自动姿势标记方案和ImplicitPDF模型上的真实感数据集和T-Less数据集，证明了所提出的方法的优点。
2022-11-21 cs.CV cs.RO
SilhoNet: An RGB Method for 6D Object Pose Estimation
University of Michigan（密歇根大学）
自主机器人操作涉及估计要操作的对象的平移和取向作为6自由度（6D）姿势。使用RGB-D数据的方法在解决这个问题方面取得了巨大成功。然而，在某些情况下，成本约束或工作环境可能会限制RGB-D传感器的使用。当仅限于单目相机数据时，物体姿态估计问题是非常具有挑战性的。在这项工作中，我们介绍了一种新的方法，称为SilhoNet预测6D物体姿态从单目图像。我们使用卷积神经网络（CNN）管道，该管道采用感兴趣区域（ROI）建议，同时预测具有相关遮挡掩模和3D平移向量的对象的中间轮廓表示。然后从预测的轮廓回归3D取向。我们表明，我们的方法在YCB-Video数据集上实现了比两个最先进的网络更好的整体性能，用于从单目图像输入进行6D姿态估计。
2020-05-07 cs.CV cs.RO
Active 6D Pose Estimation for Textureless Objects using Multi-View RGB Frames
University of Toronto Institute for Aerospace Studies（多伦多大学航空航天研究学院）；Robotics Institute（机器人研究所）；Epson Canada Ltd（加拿大爱普生有限公司）
本文提出基于多视角RGB图像的无纹理物体6D位姿主动估计方法，通过两步分解过程提升准确性和效率，并引入主动感知策略减少位姿不确定性。
2025-12-15 cs.CV cs.RO
GSGTrack: Gaussian Splatting-Guided Object Pose Tracking from RGB Videos
Tongji University（同济大学）；Beijing Institute of Control Engineering（北京控制工程研究所）
本文提出 GSGTrack，仅利用 RGB 视频，通过 3D Gaussian Splatting、图几何优化、轮廓损失和几何一致图像对选择实现未知物体 6DoF 位姿跟踪与重建。
2024-12-03 cs.CV cs.RO
RDPN6D: Residual-based Dense Point-wise Network for 6Dof Object Pose Estimation Based on RGB-D Images
National Taiwan University（台湾大学）
针对6自由度物体姿态估计问题，提出基于残差稠密逐点网络的RDPN6D方法，通过稠密像素坐标回归、重投影适配裁剪及残差表示优化，在遮挡场景下实现了优于多数现有方法的性能。
2024-05-14 cs.AI cs.CV
RGB Matters: Learning 7-DoF Grasp Poses on Monocular RGBD Images
Qing Yuan Research Institute（庆元研究院）；MoE Key Lab of Artificial Intelligence（教育部人工智能重点实验室）；AI Institute（人工智能研究院）；Shanghai Jiao Tong University（上海交通大学）
一般物体抓取是机器人领域中一个重要而尚未解决的问题。目前的大多数方法要么生成的抓取姿势很少的自由度，无法覆盖大部分的成功把握，或只采取不稳定的深度图像或点云作为输入，这可能会导致在某些情况下，穷人的结果。在本文中，我们提出了RGBD-Grasp，这是一个通过将7-DoF抓取检测解耦为两个子任务来解决这个问题的管道，其中RGB和深度信息分别处理。在第一阶段中，提出了一种类似于卷积神经网络的编码器-解码器的角度-视图网络（AVN）来预测图像的每个位置处的抓持器的SO（3）方向。因此，快速分析搜索（FAS）模块计算开口宽度和夹持器到夹持点的距离。通过解耦抓取检测问题并引入稳定的RGB模态，我们的流水线满足了对高质量深度图像的要求，并且对深度传感器噪声具有鲁棒性。我们在GraspNet-1Billion数据集上实现了最先进的结果，并与几个基线进行了比较。在配备英特尔Realsense摄像头和Robotiq双指夹持器的UR 5机器人上进行的真实机器人实验显示，无论是在单个物体场景还是在杂乱场景中，成功率都很高。我们的代码和训练模型将公开提供。
2021-03-03 cs.CV cs.RO
DKPMV: Dense Keypoints Fusion from Multi-View RGB Frames for 6D Pose Estimation of Textureless Objects
College of Aerospace Science and Engineering, National University of Defense Technology（航空航天科学与工程学院，国防科技大学）；Hunan Provincial Key Laboratory of Image Measurement and Vision Navigation（图像测量与视觉导航省级重点实验室）
本文提出DKPMV流程，仅用多视角RGB图像通过密集关键点融合与三阶段渐进优化策略进行无纹理物体6D位姿估计，在ROBI数据集上超越现有RGB方法并多数超越RGB-D方法。
2025-10-13 cs.CV cs.RO
Unpaired RGB-Thermal Gaussian-Splatting Using Visual Geometric Transformers
Ecole Polytechnique Federale de Lausanne（瑞士联邦理工学院洛桑分校）；Schindler EPFL Lab（施耐德EPFL实验室）
提出一种无配对RGB-热成像新视角合成框架，利用VGGT估计各模态相机位姿并通过Procrustes对齐，结合多模态3D高斯泼溅实现联合重建，在保持RGB保真度的同时实现热成像视图合成。
2026-06-03 cs.CV cs.RO
SplatPose: Geometry-Aware 6-DoF Pose Estimation from Single RGB Image via 3D Gaussian Splatting
Harbin Institute of Technology（哈尔滨工业大学）；Zhengzhou Research Institute, Harbin Institute of Technology（哈尔滨工业大学郑州研究院）；School of Information Science and Technology, Harbin Institute of Technology (Shen Zhen)（哈尔滨工业大学（深圳）信息科学与技术学院）；Jianghuai Advance Technology Center（江淮先进技术中心）
SplatPose提出结合3D高斯溅射与双分支架构及DARS-Net注意力机制，仅凭单张RGB图像实现高精度6-DoF位姿估计，在多个基准上达到最先进水平。
2025-03-07 cs.CV cs.RO
MV6D: Multi-View 6D Pose Estimation on RGB-D Frames Using a Deep Point-wise Voting Network
Bosch Center for Artificial Intelligence（博世人工智能中心）；University of Tübingen（图宾根大学）；Robert Bosch GmbH（罗伯特·博世有限公司）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
估计物体的6D姿态是计算机视觉的一项基本任务。然而，大多数传统方法都依赖于来自单一视角的相机数据，因此存在遮挡问题。我们克服了这个问题，我们的新的多视图6D姿态估计方法称为MV 6D，准确地预测在一个混乱的场景中的所有对象的6D姿态的基础上，从多个角度的RGB-D图像。我们的方法基于PVN 3D网络，该网络使用单个RGB-D图像来预测目标对象的关键点。我们通过使用来自多个视图的组合点云并将来自每个视图的图像与DenseFusion层融合来扩展这种方法。与当前的多视图姿态检测网络（如CosyPose）相比，我们的MV 6D可以以端到端的方式学习多个视角的融合，并且不需要多个预测阶段或后续的预测微调。此外，我们提出了三个新的真实感数据集的杂乱场景与严重的闭塞。所有这些都包含来自多个视角的RGB-D图像和地面实况，例如语义分割和6D姿态估计。MV 6D在多视图6D姿态估计方面的表现明显优于最先进的技术，即使在相机姿态已知不准确的情况下也是如此。此外，我们表明，我们的方法对动态相机设置是鲁棒的，并且其准确性随着视角数量的增加而逐渐增加。
2022-08-01 cs.AI cs.CV cs.LG
MrGS: Multi-modal Radiance Fields with 3D Gaussian Splatting for RGB-Thermal Novel View Synthesis
Minnesota Robotics Institute (MnRI), University of Minnesota, Twin Cities（明尼苏达大学罗学院（MnRI）、明尼苏达大学双城分校）；Department of Information Convergence Engineering (Artificial Intelligence Major), Pusan National University（信息融合工程系（人工智能专业），釜山国立大学）；Department of Energy Engineering, Korea Institute of Energy Technology (KENTECH)（能源工程系，韩国能源技术研究所（KENTECH））；School of Computer Science and Engineering, Pusan National University（计算机科学与工程学院，釜山国立大学）
MrGS通过多模态辐射场与3D高斯点云融合，实现RGB和热成像新视角合成，利用物理原理建模热传导和辐射现象，提升重建精度与效率。
2025-11-28 cs.CV cs.RO
Learning to Synthesize a 4D RGBD Light Field from a Single Image
University of California, Berkeley（加州大学伯克利分校）；University of California, San Diego（加州大学圣迭戈分校）
我们提出了一种机器学习算法，该算法将2D RGB图像作为输入，并合成4D RGBD光场（每个光线方向上场景的颜色和深度）。为了训练，我们引入了最大的公共光场数据集，包括超过3300个包含花卉和植物的场景的全光相机光场。我们的合成管道由一个卷积神经网络（CNN），估计场景的几何形状，一个阶段，渲染一个朗伯光场使用该几何形状，和第二个CNN，预测遮挡光线和非朗伯效果。我们的算法建立在最近的视图合成方法，但在预测RGBD为每个光场射线和提高无监督的单图像深度估计通过强制执行的一致性，应该相交于同一场景点的射线深度是独一无二的。请在https://youtu.be/yLCvWoQLnms上查看我们的补充视频
2017-08-10 cs.CV cs.GR
Model-Based Underwater 6D Pose Estimation from RGB
TII ARRC；Hipert s.r.l（希佩特有限公司）；University of Modena and Reggio Emilia（摩德纳与雷焦艾米利亚大学）
提出一种基于2D目标检测的水下RGB 6D位姿估计方法，在包含33,920个合成和10个真实场景的开源数据集上验证，精度比端到端方法提升8%，并成功应用于水下机械臂抓取任务。
2023-09-15 cs.CV cs.RO
6D Pose Estimation with Correlation Fusion
Institute for Infocomm Research, Agency for Science, Technology and Research（资讯通信研究院，科技研究局）
6D物体位姿估计广泛应用于机器人任务，如抓取和操作。使用仅RGB图像的现有方法容易受到严重遮挡和光照不良的影响，因此重要的是用深度信息来补充它们。然而，使用RGB-D数据的现有方法不能充分利用RGB和深度模态之间的一致和互补信息。在本文中，我们提出了一种新的方法，有效地考虑内部和跨两个模态与注意力机制学习的歧视性和紧凑的多模态功能的相关性。然后，有效的融合策略，帧内和帧间相关模块进行了探索，以确保有效的信息流之间的RGB和深度。据我们所知，这是第一个工作，探索有效的内和间模态融合的6D姿态估计。实验结果表明，我们的方法可以达到最先进的性能在LineMOD和YCB-Video数据集。我们还表明，所提出的方法可以通过提供准确的对象姿态估计，有利于现实世界的机器人抓取任务。
2021-04-06 cs.CV cs.RO
Fusing Monocular RGB Images with AIS Data to Create a 6D Pose Estimation Dataset for Marine Vessels
University of Hamburg（汉堡大学）
针对纯AIS位置信息的局限性，本文提出融合单目RGB图像（YOLOX-X检测）与AIS数据生成船舶6D位姿数据集的技术，通过PnP变换降低投影误差，构建公开BONK-pose数据集。
2025-08-20 cs.CV cs.RO
IndustryShapes: An RGB-D Benchmark dataset for 6D object pose estimation of industrial assembly components and tools
National Technical University of Athens（希腊国家技术大学）
IndustryShapes是首个提供RGB-D静态上boarding序列的工业装配组件和工具6D姿态估计基准数据集，包含多样化的复杂场景和多模态数据，用于评估实例级和新物体姿态估计方法。
2026-02-05 cs.CV cs.RO
RGB-D Mapping and Tracking in a Plenoxel Radiance Field
Norwegian University of Science and Technology (NTNU)（挪威科技大学）；Mobiltech（Mobiltech公司）
针对NeRF类视角合成模型因RGB数据歧义导致3D几何不准的问题，提出基于RGB-D的无神经网络Plenoxel辐射场建图跟踪方法，在两项任务上达SOTA且速度更快。
2023-11-07 cs.CV cs.RO
Grasping the Inconspicuous
Automation and Control Institute (ACIN)（自动化与控制研究所）；TU Wien（维也纳工业大学）
透明物体在日常生活中很常见，因此有许多应用需要机器人抓取。对于非透明物体，存在许多针对物体抓取的解决方案。然而，由于透明物体的独特视觉特性，标准3D传感器会产生噪声或失真的测量结果。现代方法通过改进有噪声的深度测量或使用深度的某种中间表示来解决这个问题。为此，我们研究了仅用于透明物体抓取的RGB图像的深度学习6D姿态估计。为了训练和测试基于RGB的对象姿态估计的适用性，我们构建了具有6D姿态注释的仅RGB图像的数据集。实验证明了RGB图像空间对透明物体抓取的有效性。
2022-11-15 cs.CV cs.RO
GlORIE-SLAM: Globally Optimized RGB-only Implicit Encoding Point Cloud SLAM
ETH Zürich（苏黎世联邦理工学院）；University of Bologna（博洛尼亚大学）；Rock Universe；KU Leuven（鲁汶大学）；INSAIT；University of Amsterdam（阿姆斯特丹大学）
提出GlORIE-SLAM，一种仅RGB的稠密SLAM系统，采用点云神经表示和DSPO层优化位姿深度，结合回环检测与全局BA，在多个数据集上达到先进精度。
2024-05-27 cs.CV cs.RO
Reconstructing 3D Human Pose from RGB-D Data with Occlusions
University College London（伦敦大学学院）
提出一种基于场景信息和先验知识缩小解空间的方法，通过神经网络估计自由区处理遮挡部位，利用截断阴影体积约束可见部位，并用体积匹配策略，在PROX数据集上实现更准确合理的三维人体重建。
2023-10-15 cs.CV cs.GR
BID-NeRF: RGB-D image pose estimation with inverted Neural Radiance Fields
Nokia Bell Labs（诺基亚贝尔实验室）；Budapest University of Technology and Economics（布达佩斯技术与经济大学）
本研究针对iNeRF图像位姿估计算法，通过加入深度损失、多图像损失、省略分层采样、拓展采样间隔等改进，显著提升了收敛速度并拓展了收敛域。
2023-10-05 cs.CV cs.LG cs.RO
3D Convolution on RGB-D Point Clouds for Accurate Model-free Object Pose Estimation
Nanyang Technological University（南洋理工大学）
传统的3D物体姿态估计通常需要物体的3D模型的知识。即使随着卷积神经网络（CNN）的最新发展，在最终估计中也常常需要3D模型。在本文中，我们提出了一个两阶段的管道，在原始彩色点云数据和估计对象的平移和旋转，通过运行三维卷积体素。流水线简单但高度精确：平移误差降低到体素分辨率（约1 cm），旋转误差约为5度。该管道还用于实际的机器人抓取测试，测试对象的成功率达到90%以上。另一个创新是使用运动捕捉系统来自动标记点云样本，这使得可以快速收集大量高精度的真实数据用于训练神经网络。
2018-12-29 cs.CV cs.LG cs.RO
T-LESS: An RGB-D Dataset for 6D Pose Estimation of Texture-less Objects
Czech Technical University in Prague（布拉格捷克理工大学）；Foundation for Research and Technology – Hellas（研究与科技基金会-赫拉斯）
我们介绍了T-LESS，一个新的公共数据集，用于估计无纹理刚性物体的6D姿态，即平移和旋转。该数据集具有30个行业相关的对象，没有显着的纹理，没有歧视性的颜色或反射特性。这些物体在形状和/或大小上表现出对称性和相互相似性。与其他数据集相比，一个独特的属性是一些对象是其他对象的一部分。该数据集包括使用三个同步传感器捕获的训练和测试图像，特别是结构光和飞行时间RGB-D传感器以及高分辨率RGB相机。每个传感器大约有39 K个训练图像和10 K个测试图像。此外，为每个对象提供两种类型的3D模型，即手动创建的CAD模型和半自动重建的模型。训练图像在黑色背景下描绘单个对象。测试图像源自具有不同复杂度的二十个测试场景，其从具有几个孤立对象的简单场景增加到具有几个对象的多个实例并且具有大量杂乱和遮挡的非常具有挑战性的场景。这些图像是从对象/场景周围的系统采样视图球体捕获的，并且用所有建模对象的准确地面真实6D姿态进行注释。初步评估结果表明，6D对象姿态估计的最新技术有足够的改进空间，特别是在具有显著遮挡的困难情况下。T-LESS数据集可在cmp.felk.cvut.cz/t-less在线获得。
2017-01-19 cs.AI cs.CV cs.RO
CM-EVS: Sparse Panoramic RGB-D-Pose Data for Complete Scene Coverage
Zhejiang University（浙江大学）；The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州））；The Hong Kong University of Science and Technology（香港科学与技术大学）；Vorynel（沃伊内尔）；Xinjiang University（新疆大学）；Wuhan Polytechnic University（武汉职业技术学院）；Tianjin University（天津大学）
本文提出CM-EVS，通过COVER算法生成稀疏全景RGB-D-姿态数据，实现低冗余且可追溯的完整场景覆盖，提升3D学习的几何一致性。
2026-09-29 cs.CV cs.GR cs.LG
BIPS: Bi-modal Indoor Panorama Synthesis via Residual Depth-aided Adversarial Learning
KAIST（韩国科学技术院）
提供全向深度以及RGB信息对于许多应用（例如，VR/AR）是重要的。然而，由于全向RGB-D数据并不总是可用的，因此从场景的有限信息合成RGB-D全景数据可能是有用的。因此，一些先前的工作试图从透视RGB图像合成RGB全景图像;然而，它们遭受有限的图像质量，并且不能直接扩展用于RGB-D全景合成。本文研究了一个新的问题：任意摄像机和深度传感器配置下的RGB-D全景图合成。因此，我们提出了一种新的双峰（RGB-D）全景合成（BIPS）框架。特别是，我们专注于室内环境，其中RGB-D全景可以为许多应用提供完整的3D模型。我们设计了一个发生器，融合的双模态信息和训练它与剩余辅助对抗学习（RDAL）。RDAL允许通过联合推断RGB全景、布局深度和残余深度来合成逼真的室内布局结构和内部。此外，由于没有定制的评价指标RGB-D全景合成，我们提出了一种新的度量，以有效地评估其感知质量。大量的实验表明，我们的方法合成高质量的室内RGB-D的照片，并提供逼真的3D室内模型比以前的方法。代码将在接受后发布。
2021-12-12 cs.CV
RGBD-GAN: Unsupervised 3D Representation Learning From Natural Image Datasets via RGBD Image Synthesis
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
从二维（2D）图像中理解三维（3D）几何形状而不需要任何标记信息，对于理解真实世界而不产生注释成本是有希望的。本文提出了一种新的生成模型RGBD-GAN，它可以从2D图像中实现无监督的3D表示学习。所提出的方法使得相机参数条件的图像生成和深度图像生成没有任何3D注释，如相机姿势或深度。我们使用一个明确的3D一致性损失的两个RGBD图像从不同的相机参数，除了顺序GAN目标。这种损失对于任何类型的图像生成器（如DCGAN和StyleGAN）来说都是简单而有效的，需要以相机参数为条件。通过实验，我们证明了所提出的方法可以从具有各种生成器架构的2D图像中学习3D表示。
2020-05-25 cs.CV
Multispectral Texture Synthesis using RGB Convolutional Neural Networks
Télécom Paris, Institut Polytechnique de Paris（巴黎综合理工学院电信学院）；ONERA, Université Paris-Saclay（巴黎萨克雷大学法国航空航天研究院）
本文针对多光谱图像纹理合成问题，提出两种无需重新训练预训练RGB网络的方案：随机光谱波段三元组优化和三维投影，并引入颜色传递预处理，实验证明其视觉质量接近RGB波段最先进方法。
2024-10-21 cs.CV
Real-time RGBD-based Extended Body Pose Estimation
Samsung AI Center – Moscow（三星人工智能中心（莫斯科））；Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）
我们提出了一个系统的实时的【形】RGBD为基础的三维人体姿态估计。我们使用参数化的3D可变形人体网格模型（SMPL-X）作为表示，重点研究了Kinect Azure RGB-D摄像头的身体姿态、手部姿态和面部表情参数的实时的【形】估计。我们训练身体姿势和面部表情参数的估计器。这两种估计器都使用先前发布的地标提取器作为输入和自定义注释数据集进行监督，而手部姿势则直接通过先前发布的方法进行估计。我们将这些估计器的预测组合成一个时间平滑的人体姿势。我们训练的面部表情提取器上的一个大的说话的脸数据集，我们与面部表情参数注释。对于身体姿势，我们收集并注释了从5个Kinect Azure RGB-D摄像头的钻机捕获的56人的数据集，并将其与大型运动捕获AMASS数据集一起使用。我们的RGB-D身体姿势模型优于最先进的仅使用RGB的方法，并且与较慢的基于RGB-D优化的解决方案相比，其准确度相同。合并后的系统在具有单个GPU的服务器上以30 FPS运行。代码将在https://saic-violet.github.io/rgbd-kinect-pose上提供
2021-03-05 cs.CV
RGBD-Dog: Predicting Canine Pose from RGBD Sensors
University of Bath（巴斯大学）；UNIST（蔚山科学技术院）
从没有标记的图像中自动提取动物\reb{3D}姿态在一系列科学领域中是令人感兴趣的。迄今为止，大多数工作都是根据关节位置的2D标签从RGB图像预测动物姿势。然而，由于获得训练数据的困难性质，没有3D动物运动的地面实况数据集可用于定量评估这些方法。此外，缺乏3D动物姿态数据也使得难以以与身体姿态预测的流行领域类似的方式来训练3D姿态预测方法。在我们的工作中，我们专注于从RGBD图像的3D犬姿态估计的问题，记录了不同品种的狗与几个微软Kinect v2，同时通过运动捕捉系统获得的3D地面真实骨架。我们从这些数据中生成合成RGBD图像的数据集。训练堆叠的沙漏网络来预测3D关节位置，然后使用形状和姿势的先验模型来约束3D关节位置。我们评估我们的模型在合成和真实的RGBD图像，并将我们的结果与以前发表的工作拟合犬模型的图像进行比较。最后，尽管我们的训练集只包含狗的数据，但视觉检查表明，当其他四足动物（例如马或猫）的姿势与我们的训练集中包含的姿势相似时，我们的网络可以对它们的图像进行良好的预测。
2020-04-16 cs.CV
RGB-based 3D Hand Pose Estimation via Privileged Learning with Depth Images
Imperial College London（帝国理工学院）；Rakuten Institute of Technology（乐天技术研究所）
本文提出了一种从RGB图像中估计手部姿势的方法，该方法在训练时使用外部大规模深度图像数据集以及成对的深度和RGB图像作为特权信息。我们表明，在训练过程中提供深度信息显着提高了测试过程中从RGB图像进行姿态估计的性能。我们探索使用这种特权信息的不同方式：（1）使用深度数据来初始训练基于深度的网络，（2）使用来自成对深度图像的基于深度的网络的特征来约束中级RGB网络权重，以及（3）使用从深度数据获得的前景掩模来抑制来自背景区域的响应。通过使用成对的RGB和深度图像，我们能够监督基于RGB的网络学习中间层特征，这些特征模仿相应的基于深度的网络，该网络是在大规模的、准确注释的深度数据上训练的。在测试过程中，当只有RGB图像可用时，我们的方法可以生成准确的3D手部姿势预测。我们的方法也进行了测试，对2D手姿态估计。在三个公开数据集上的实验表明，该方法优于现有的基于RGB图像输入的手势估计方法。
2018-11-18 cs.CV
A Multi-view RGB-D Approach for Human Pose Estimation in Operating Rooms
ICube, University of Strasbourg, CNRS, IHU Strasbourg（ICube实验室，斯特拉斯堡大学，法国国家科学研究中心，斯特拉斯堡大学医院）；University Hospital of Strasbourg（斯特拉斯堡大学医院）
已经提出了许多方法用于单视图和多视图RGB图像中的人体姿态估计。然而，某些环境，例如手术室，对于最先进的RGB方法仍然非常具有挑战性。在本文中，我们提出了一种从RGB-D图像进行多视图3D人体姿态估计的方法，并证明了使用额外的深度通道进行姿态细化的好处，而不仅仅是用于生成改进的功能。所提出的方法允许联合检测和估计的姿态，而不知道先验的场景中存在的人数。我们在一个新的多视图RGB-D数据集上评估了这种方法，该数据集是在现场手术期间获得的，并用地面真实3D姿势进行了注释。
2017-01-25 cs.CV
PERF-Net: Pose Empowered RGB-Flow Net
Google Research（谷歌研究院）
近年来，视频动作识别文献中的许多作品表明，两个流模型（结合空间和时间输入流）是必要的，以实现最先进的性能。在本文中，我们展示了包含另一个基于从每个帧估计的人体姿势的流的好处-特别是通过在输入RGB帧上渲染姿势。乍一看，这个额外的流似乎是多余的，因为人体姿势完全由RGB像素值决定-然而，我们表明（也许令人惊讶），这个简单而灵活的添加可以提供互补的增益。利用这一洞察力，我们提出了一个新的模型，我们称之为PERF-Net（Pose Empowered RGB-Flow Net的缩写），它通过蒸馏技术将这个新的姿势流与标准的RGB和基于流的输入流相结合，并表明我们的模型在许多人类动作识别数据集中的性能大大优于最先进的模型，同时不需要在推理时显式计算流或姿势。提议的姿势流也是ActivityNet Kinetics Challenge 2020获奖解决方案的一部分。
2021-10-20 cs.CV
