BB8: A Scalable, Accurate, Robust to Partial Occlusion Method for Predicting the 3D Poses of Challenging Objects without Using Depth
Graz University of Technology（格拉茨工业大学）
我们介绍了一种新的方法，三维目标检测和姿态估计从彩色图像。我们首先使用分割来检测2D中的感兴趣的对象，即使存在部分遮挡和杂乱的背景。与最近的基于补丁的方法相比，我们依赖于一种“整体”方法：我们对检测到的对象应用卷积神经网络（CNN），该网络经过训练，以其3D边界框的角的2D投影的形式预测其3D姿态。然而，这不足以处理来自最近的T-LESS数据集的对象：这些对象表现出旋转对称轴，并且这种对象在两个不同姿势下的两个图像的相似性使得训练CNN具有挑战性。我们通过限制用于训练的姿势的范围来解决这个问题，并通过引入分类器来在估计之前在运行时识别姿势的范围。我们还使用可选的附加步骤来细化预测的姿势。我们将LINEMOD数据集上的最新技术水平从正确注册RGB帧的73.7%提高到89.3%。我们也是第一个仅使用彩色图像报告Occlusion数据集结果的公司。在T-LESS数据集的几个序列上，我们平均获得了54%的通过Pose 6D标准的帧，而在使用颜色和深度的相同序列上，最先进的标准为67%。完整的方法也是可扩展的，因为单个网络可以同时针对多个对象进行训练。
2018-03-26 cs.CV
Instance Segmentation by Deep Coloring
Skolkovo Institute of Science and Technology (Skoltech)（斯科尔科沃科学技术学院）；Yandex（Yandex（俄罗斯搜索引擎公司））；Samsung AI Center（三星人工智能中心）
我们提出了一个新的，可以说，一个非常简单的减少实例分割的语义分割。这种减少允许使用已经为语义分割提出的架构以端到端的方式训练前馈非递归深度实例分割系统。我们的方法通过引入固定数量的标签（颜色），然后在训练（着色）过程中动态地将对象实例分配给这些标签来进行。然后使用标准的语义分割目标来训练一个网络，该网络可以为以前看不见的图像着色。在测试时，可以使用简单的连接分量分析从训练的卷积网络的输出中恢复单个对象实例。在实验验证中，着色方法被证明能够解决自动驾驶（Cityscapes基准），植物表型（CVPPP叶分割挑战）和高通量显微镜图像分析中出现的各种实例分割任务。源代码是公开的：https://github.com/kulikovv/DeepColoring。
2018-07-26 cs.CV
In-Bed Human Pose Estimation from Unseen and Privacy-Preserving Image Domains
Australian National University（澳大利亚国立大学）；CSIRO Data61（联邦科学与工业研究组织数据61部）；Queensland University of Technology（昆士兰科技大学）
针对卧床姿态估计中遮挡模糊、隐私域标注数据不足的问题，提出结合MC-VAE与HRNet的单模态推理方法，性能媲美多模态基线模型，为临床自监督学习研究提供支持。
2022-01-24 cs.CV cs.LG
SimpleDepthPose: Fast and Reliable Human Pose Estimation with RGBD-Images
University of Augsburg（奥格斯堡大学）
本文提出SimpleDepthPose算法，利用RGBD深度信息实现多视角多人姿态估计，具备良好泛化性、快速运行性能和关键点适应性，并已开源。
2025-03-07 cs.CV
Decanus to Legatus: Synthetic training for 2D-3D human pose lifting
LIGM（加斯帕尔·蒙日信息学实验室）；Ecole des Ponts（巴黎桥路学院）；Univ Gustave Eiffel（古斯塔夫·埃菲尔大学）；CNRS（法国国家科学研究中心）
三维人体姿态估计是一项具有挑战性的任务，因为难以在受控环境之外获取地面真实数据。许多进一步的问题一直阻碍着为这项任务建立通用和鲁棒模型的进展，包括不同数据集之间的域间隙，训练和测试数据集之间的不可见动作，各种硬件设置和注释的高成本等。我们提出了一种算法来生成无限的三维合成人体姿势（Legatus）从三维姿势分布的基础上，10个初始手工制作的三维姿势，Decanus）在训练2D到3D人体姿势提升器神经网络期间。我们的研究结果表明，我们可以实现3D姿态估计的性能相比，使用来自专业数据集的真实数据的方法，但在一个zero-shot设置，显示我们的框架的泛化潜力。
2022-10-05 cs.CV
DECA: Deep viewpoint-Equivariant human pose estimation using Capsule Autoencoders
University of Trento（特伦托大学）
人体姿态估计（Human Pose Estimation，HPE）的目的是从图像或视频中获取人体关节的三维位置。我们发现，目前的3D HPE方法缺乏视点等方差，即在处理训练时看不见的视点时，它们往往会失败或表现不佳。深度学习方法通常依赖于尺度不变、平移不变或旋转不变的操作，例如最大池化。然而，采用这样的程序并不一定改善观点的泛化，而是导致更多的数据依赖的方法。为了解决这个问题，我们提出了一种新的胶囊自动编码器网络与快速变分贝叶斯胶囊路由，命名为DECA。通过将每个关节建模为胶囊实体，结合路由算法，我们的方法可以保持关节的层次结构和几何结构在特征空间中，独立于视点。通过实现视点等方差，我们大大降低了训练时的网络数据依赖性，从而提高了对不可见视点的泛化能力。在实验验证中，我们优于其他方法的深度图像从可见和不可见的观点，无论是顶视图，前视图。在RGB域中，同一个网络在具有挑战性的视点传输任务上给出了最先进的结果，也为顶视图HPE建立了一个新的框架。代码可以在https://github.com/mmlab-cv/DECA上找到。
2021-08-19 cs.CV cs.LG
SurgPose: Generalisable Surgical Instrument Pose Estimation using Zero-Shot Learning and Stereo Vision
Department of Computing, Imperial College London（帝国理工学院计算系）；Hamlyn Centre for Robotic Surgery, Department of Surgery and Cancer, Imperial College London（帝国理工学院外科与癌症部门机器人手术中心）
针对机器人辅助微创手术中现有位姿估计方法难以泛化到新型手术器械的问题，提出融合立体视觉深度估计与改进分割模块的零样本6自由度位姿估计流水线，性能超越现有模型并设立新基准。
2025-05-16 cs.AI cs.CV cs.LG
3D Human Pose Estimation in RGBD Images for Robotic Task Learning
University of Freiburg（弗莱堡大学）
我们提出了一种方法来估计3D人体姿态在现实世界中的单位从一个单一的RGBD图像，并表明它超过了性能的单目3D姿态估计方法从颜色以及姿态估计专门从深度。我们的方法建立在强大的人类关键点检测器的彩色图像，并结合了深度提升到3D。我们结合系统与我们的示教学习框架，指导服务机器人，而不需要标记。在现实世界中的实验表明，我们的方法使PR2机器人模仿从人类教师观察到的操作动作。
2018-03-13 cs.CV cs.RO
PoseGU: 3D Human Pose Estimation with Novel Human Pose Generator and Unbiased Learning
Australia Artificial Intelligence Institute（澳大利亚人工智能研究所）；University of Technology Sydney（悉尼科技大学）
三维位姿估计是近年来计算机视觉领域研究的热点。现有的3D姿态估计方法强烈依赖于大尺寸的标注良好的3D姿态数据集，并且由于训练集中3D姿态的多样性有限，它们在看不见的姿态上具有较差的模型泛化能力。在这项工作中，我们提出了PoseGU，一种新型的人类姿势生成器，可以生成各种姿势，只访问一个小尺寸的种子样本，同时配备反事实风险最小化，以追求一个公正的评估目标。大量的实验表明，PoseGU在三个流行的基准数据集上几乎表现出所有最先进的3D人体姿势方法。实证分析也证明了PoseGU生成的3D姿态具有更好的数据多样性和更好的泛化能力。
2022-07-07 cs.CV cs.LG
Learning to Localize in Unseen Scenes with Relative Pose Regressors
Bar Ilan University（巴伊兰大学）
相对姿态回归器（RPR）通过估计相机相对于姿态标记参考的相对平移和旋转来定位相机。与学习绝对场景参数的场景坐标回归和绝对姿态回归方法不同，RPR可以（理论上）在看不见的环境中定位，因为它们只学习相机对之间的残留姿态。然而，在实践中，RPR的性能在不可见的场景中显著降低。在这项工作中，我们建议将成对的特征映射聚合到潜在代码中，而不是对全局图像描述符进行操作，以提高RPR的泛化能力。我们实现聚合与拼接，投影和注意力操作（Transformer编码器），并学习回归的相对姿态参数从所得的潜在代码。我们进一步利用最近提出的旋转矩阵的连续表示，这说明了常用的四元数的局限性。与最先进的RPR相比，我们的模型在室内和室外基准测试中，在看不见的环境中的本地化效果明显更好，同时在可见场景中保持有竞争力的性能。我们通过多次消融验证了我们的发现和架构设计。我们的代码和预训练模型是公开的。
2023-03-05 cs.CV
THOR2: Topological Analysis for 3D Shape and Color-Based Human-Inspired Object Recognition in Unseen Environments
University of Washington（华盛顿大学）
THOR2提出基于3D形状与颜色的TOPS2描述符及识别框架，利用拓扑软聚类和颜色嵌入，在真实世界杂乱场景中显著提升识别准确率，优于前身THOR及深度学习基线。
2024-12-14 cs.CV
PoseGAM: Robust Unseen Object Pose Estimation via Geometry-Aware Multi-View Reasoning
KAUST（卡塔尔科技大学）
提出PoseGAM，一种基于多视图基础模型的几何感知框架，直接预测未见物体的6D姿态，无需显式匹配，通过点云几何和特征网络整合几何信息，在多个基准上平均AR提升5.1%。
2026-06-16 cs.CV
Synthesizing Images of Humans in Unseen Poses
MIT（麻省理工学院）；MGH（麻省总医院）
我们解决新的人体姿态合成的计算问题。给定一个人的图像和一个期望的姿势，我们生成该姿势中的该人的描述，保留该人和背景的外观。我们提出了一个模块化的生成神经网络，它使用从人类动作视频中拍摄的图像和姿势的训练对来合成看不见的姿势。我们的网络将场景分成不同的身体部位和背景层，将身体部位移动到新的位置并优化它们的外观，并将新的前景与填充空洞的背景合成。这些子任务由单独的模块实现，仅使用单个目标图像作为监督标签进行联合训练。我们使用一个对抗性的神经网络来迫使我们的网络根据姿势合成逼真的细节。我们展示了三个动作类的图像合成结果：高尔夫，瑜伽/锻炼和网球，并表明我们的方法产生准确的结果内的动作类，以及跨动作类。给定一系列所需的姿势，我们还可以生成连贯的动作视频。
2018-04-20 cs.CV
MobilePose: Real-Time Pose Estimation for Unseen Objects with Weak Shape Supervision
Google Research（谷歌研究院）
在本文中，我们解决的问题，从RGB图像中检测看不见的对象，并估计其构成的3D。我们提出了两个移动友好的网络：MobilePose-Base和MobilePose-Shape。前者用于只有姿态监督时，后者用于形状监督可用的情况下，即使是弱监督。我们重新审视以前的方法中使用的形状特征，包括分割和坐标映射。我们解释了像素级形状监督何时以及为什么可以改善姿势估计。因此，我们在MobilePose-Shape中添加了形状预测作为中间层，并让网络从形状中学习姿势。我们的模型是在混合真实和合成数据上训练的，具有弱和噪声形状监督。它们超轻，可以在现代移动设备上实时的【形】运行（例如Galaxy S20上的36 FPS）。与以往的单次求解方法相比，该方法具有更高的精度，同时使用了一个显着较小的模型（模型大小或参数数量的2~3%）。
2020-03-07 cs.CV
RayPose: Ray Bundling Diffusion for Template Views in Unseen 6D Object Pose Estimation
Technical University of Munich（慕尼黑技术大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）；XYZ Robotics（XYZ机器人）
针对基于模板的6D物体姿态估计中模板检索错误导致预测不准的问题，提出RayPose方法，将任务重述为光线对齐问题并嵌入扩散Transformer架构，结合几何先验与粗到精训练策略，在未见物体姿态估计基准上取得有竞争力的结果。
2025-10-21 cs.CV
Object Pose Transformer: Unifying Unseen Object Pose Estimation
Technical University of Munich（慕尼黑技术大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）；Toyota Motor Europe（丰田欧洲公司）
本文提出Object Pose Transformer，通过任务分解统一解决未见实例姿态估计问题，同时预测深度、点云图、相机参数和归一化物体坐标，实现类别级绝对姿态和未见物体相对姿态估计。
2026-03-24 cs.CV
MoDeep: A Deep Learning Framework Using Motion Features for Human Pose Estimation
New York University（纽约大学）
在这项工作中，我们提出了一种新颖而有效的方法，用于使用卷积网络架构进行视频中的人体姿态估计，该架构结合了颜色和运动特征。我们提出了一个新的人体姿态数据集，FLIC运动，扩展FLIC数据集与额外的运动功能。我们将我们的架构应用到这个数据集，并报告比当前最先进的姿态检测系统有更好的性能。
2014-09-28 cs.CV cs.LG cs.NE
RefPose: Leveraging Reference Geometric Correspondences for Accurate 6D Pose Estimation of Unseen Objects
Seoul National University（首尔大学）
针对单目RGB图像下缺乏先验知识的未见物体6D位姿估计难题，提出RefPose方法，借助参考图像与几何对应关系、相关体引导注意力及迭代渲染-比较策略实现位姿估计，在BOP基准上取得SOTA结果且运行速度具竞争力。
2025-05-16 cs.CV
PoseStreamer: A Multi-modal Framework for 3D Tracking of Unseen Moving Objects
School of Mathematics, Renmin University of China（中国人民大学数学学院）
PoseStreamer是一种多模态框架，通过结合自适应姿态内存队列、以对象为中心的2D跟踪器和射线姿态滤波器，实现高速移动物体的高精度3D跟踪。
2026-01-02 cs.CV
UNOPose: Unseen Object Pose Estimation with an Unposed RGB-D Reference Image
Tsinghua University（清华大学）；Technical University of Munich（慕尼黑工业大学）；Google（谷歌公司）
针对单张无姿态 RGB-D 参考图下的未见物体 6DoF 姿态估计，本文提出 UNOPose 方法与基准，通过 SE(3) 不变参考帧和重叠感知对应加权实现由粗到精估计。
2025-03-17 cs.CV
MatchU: Matching Unseen Objects for 6D Pose Estimation from RGB-D Images
Technical University of Munich（慕尼黑工业大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）；XYZ Robotics（XYZ机器人公司）
提出 MatchU 框架，通过融合 RGB 与 3D 几何描述符实现未见物体的 6D 位姿估计，在精度和速度上显著优于现有方法。
2024-05-08 cs.CV
Domain Transfer for 3D Pose Estimation from Color Images without Manual Annotations
Graz University of Technology（格拉茨理工大学）；Université de Bordeaux（波尔多大学）
我们介绍了一种新的学习方法，从彩色图像的三维姿态估计。虽然获取彩色图像的注释是一项艰巨的任务，但我们的方法通过从用RGB-D相机捕获的成对彩色和深度图像中学习映射来规避这个问题。我们共同从容易生成的合成深度图像中学习姿势，并学习将这些合成深度图像与真实深度图像对齐。我们展示了我们的方法的任务，3D手的姿态估计和3D物体的姿态估计，无论是从彩色图像。我们的方法在流行的基准数据集上实现了与最先进的方法相当的性能，而不需要对彩色图像进行任何注释。
2019-02-21 cs.CV
Training-free Detection and 6D Pose Estimation of Unseen Surgical Instruments
University Hospital Balgrist, University of Zurich（巴尔格里斯特大学医院，苏黎世大学）；ETH Zurich（苏黎世联邦理工学院）
本文提出无需训练的多视角6D位姿估计方法，利用纹理CAD模型作为先验知识，通过多视角几何一致性过滤和轮廓注册实现高精度检测与位姿估计，适用于未见手术工具的场景。
2026-03-26 cs.CV
Unseen Object 6D Pose Estimation: A Benchmark and Baselines
Shanghai Jiao Tong University（上海交通大学）；Alibaba XR Lab（阿里巴巴XR实验室）；Simon Fraser University（西蒙弗雷泽大学）
估计看不见的物体的6D姿态对于许多现实世界的应用来说是非常需要的。然而，当前最先进的姿态估计方法只能处理先前训练的对象。在本文中，我们提出了一个新的任务，使算法，以估计在测试过程中的新对象的6D姿态估计。我们收集了一个包含真实图像和合成图像的数据集，以及测试集中多达48个看不见的对象。同时，我们提出了一个新的度量命名为下确界ADD（IADD），这是一个不变的测量对象与不同类型的姿态模糊。还提供了用于此任务的两阶段基线解决方案。通过训练一个端到端的3D对应网络，我们的方法准确有效地找到了一个看不见的对象和一个部分视图RGBD图像之间的对应点。然后，它使用对对象对称性鲁棒的算法从对应关系计算6D姿态。大量的实验表明，我们的方法优于几个直观的基线，从而验证了其有效性。所有的数据、代码和模型都将公开。项目页面：www.example.com
2022-06-23 cs.CV cs.RO
High-resolution open-vocabulary object 6D pose estimation
Fondazione Bruno Kessler (FBK)（布鲁诺·凯斯勒基金会）；University of Trento（特伦托大学）；Queen Mary University of London（伦敦大学玛丽女王学院）；Idiap Research Institute（伊迪亚普研究所）；École polytechnique fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
针对6D位姿估计中未见目标泛化难、现有VLM方案性能不足的问题，提出基于VLM的开放词汇架构Horyon，通过文本提示识别目标、提取高分辨率多尺度特征完成跨场景配准，在四个数据集上取得SOTA性能。
2024-07-11 cs.CV
Towards Egocentric 3D Hand Pose Estimation in Unseen Domains
Computer Vision Lab, TU Wien（维也纳技术大学计算机视觉实验室）；SoftServe Inc.（SoftServe公司）；University of Bristol（布里斯托大学）
V-HPOT通过虚拟相机空间和自监督优化提升跨领域三维手姿态估计性能，减少71%的平均姿态误差。
2026-01-10 cs.CV
Implicit 3D Human Mesh Recovery using Consistency with Pose and Shape from Unseen-view
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
提出ImpHMR方法，通过神经特征场在特征层面隐式想象3D人体，利用未见视角的姿态与形状一致性进行自监督学习，克服了现有方法仅依赖单一拍摄视角的限制。
2023-07-03 cs.CV
KG-GAN: Knowledge-Guided Generative Adversarial Networks
HTC Research & Healthcare（HTC研究与医疗）；Stanford University（斯坦福大学）
生成对抗网络（GANs）是否可以生成各种颜色的玫瑰，只给红色花瓣的玫瑰作为输入？答案是否定的，因为GANs的控制器会拒绝所有看不见花瓣颜色的玫瑰。在这项研究中，我们提出了知识引导的GAN（KG-GAN）融合领域知识与GAN框架。KG-GAN训练两个生成器;一个从数据中学习，另一个从具有约束函数的知识中学习。实验结果表明，KG-GAN在生成看不见的花类别的有效性，从看不见的类别的文本描述。
2019-09-23 cs.CV
ArrowPose: Segmentation, Detection, and 5 DoF Pose Estimation Network for Colorless Point Clouds
SDU Robotics, Mærsk Mc-Kinney Møller Institute University of Southern Denmark（SDU机器人学院、马士基麦克金尼莫勒研究所、南丹麦大学）
本文提出ArrowPose网络，通过预测物体中心点和顶点，从无色点云中完成检测、分割与5 DoF位姿估计，在基准上达到最优且推理仅需250毫秒。
2025-06-10 cs.CV
LatentFusion: End-to-End Differentiable Reconstruction and Rendering for Unseen Object Pose Estimation
University of Washington（华盛顿大学）；NVIDIA（英伟达）
当前的6D对象姿态估计方法通常需要每个对象的3D模型。这些方法还需要额外的培训，以纳入新的对象。因此，它们难以缩放到大量对象，并且不能直接应用于不可见对象。我们提出了一个新的框架，6D姿态估计看不见的对象。我们提出了一个网络，重建一个潜在的三维表示的对象使用少量的参考意见，在推理时间。我们的网络能够从任意视图渲染潜在的3D表示。使用这个神经渲染器，我们直接优化给定输入图像的姿势。通过使用大量的3D形状来训练我们的网络进行重建和渲染，我们的网络可以很好地推广到看不见的对象。我们提出了一个用于未知物体姿态估计的新数据集--MOPED。我们评估了我们的方法在MOPED以及ModelNet和LINEMOD数据集上进行看不见的物体姿态估计的性能。我们的方法与在这些对象上训练的监督方法相比具有竞争力。代码和数据可在https://keunhong.com/publications/latentfusion/上获得。
2020-06-12 cs.CV cs.GR cs.RO
Universal Features Guided Zero-Shot Category-Level Object Pose Estimation
Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Hong Kong University of Science and Technology（香港科技大学）；Aerospace Information Research Institute, Chinese Academy of Sciences（中国科学院空天信息创新研究院）
针对未见类别6-DOF物体位姿估计，提出融合2D稀疏对应、迭代优化与3D稠密对齐的零样本RGB-D方法，并在REAL275和Wild6D上取得优于以往方法的性能。
2025-01-06 cs.CV
A Generic Regression Framework for Pose Recognition on Color and Depth Images
级联回归方法是一种快速、准确地从RGB图像中提取物体二维姿态的方法。它能够找到准确的姿态的对象在图像中的良好的初始猜测的对象的姿态的大量的校正。本文介绍了该算法，并展示了研究人员进行的两个实验的结果。提出了一种新的方法，快速，准确地预测3D位置的身体关节从一个单一的深度图像，不使用时间信息。我们采取了一种对象识别方法，设计了一个中间的身体部位表示，将困难的姿势估计问题映射到一个更简单的每像素分类问题。我们的大型和高度多样化的训练数据集允许分类器估计姿势，体型，服装不变的身体部位。最后，我们通过重新投影分类结果并找到局部模式来生成几个身体部位的置信度评分3D建议。
2017-09-23 cs.CV
LocPoseNet: Robust Location Prior for Unseen Object Pose Estimation
EPFL（洛桑联邦理工学院）；Magic Leap（魔法跃公司）；ClearSpace SA（ClearSpace SA公司）
LocPoseNet通过模板匹配与多尺度相关计算，结合解耦的平移估计器，为未见物体提供鲁棒位置先验，在LINEMOD和GenMOP上大幅超越现有方法。
2024-02-06 cs.CV cs.RO
PoseContrast: Class-Agnostic Object Viewpoint Estimation in the Wild with Pose-Aware Contrastive Learning
Ecole des Ponts（巴黎高科路桥学校）；Univ Gustave Eiffel（古斯塔夫·埃菲尔大学）；CNRS（法国国家科学研究中心）
出于对任意对象的3D姿态估计的需要，我们考虑仅从图像中进行类不可知对象视点估计的挑战性问题，而无需CAD模型知识。这个想法是利用在可见类上学习的特征来估计看不见的类的姿态，但是这些类与可见类共享相似的几何形状和规范框架。我们训练一个直接的姿态估计器在类不可知的方式通过共享所有对象类的权重，我们引入了一个对比学习方法，有三个主要成分：（i）使用预先训练，自我监督，基于对比度的功能;（ii）姿态感知数据增强;（iii）姿态感知对比损失。我们以跨数据集的方式在Pascal 3D+、ObjectNet 3D和Pix 3D上进行了实验，包括可见类和不可见类。我们报告了最先进的结果，包括针对另外使用CAD模型作为输入的方法。
2021-10-27 cs.CV
Scalable Unseen Objects 6-DoF Absolute Pose Estimation with Robotic Integration
National Engineering Research Center for Robot Visual Perception and Control Technology, School of Artificial Intelligence and Robotics, Hunan University（机器人视觉感知与控制技术国家工程研究中心，人工智能与机器人学院，湖南大学）；School of Architecture and Art, Central South University（建筑与艺术学院，中南大学）；School of Computing and Communications, Lancaster University（计算与通讯学院，兰卡斯特大学）；Department of Computer Science and Software Engineering, The University of Western Australia（计算机科学与软件工程系，西澳大学）；School of Electrical and Electronic Engineering, Nanyang Technological University（电子与电气工程学院，南洋理工大学）
本文提出SinRef-6D方法，通过单张姿态标注的RGB-D图像实现未知物体六自由度位姿估计，利用状态空间模型解决大位姿差异和单视角信息有限的问题，实验验证其在多个基准和真实场景中的优越可扩展性。
2026-04-17 cs.CV cs.RO
Neural Capture of Animatable 3D Human from Monocular Video
Peking University（北京大学）；Microsoft Research Asia（微软亚洲研究院）；Tencent（腾讯）
我们提出了一种新的范例，从单目视频输入建立一个可动画的3D人体表示，使它可以呈现在任何看不见的姿势和意见。我们的方法是基于一个动态的神经辐射场（NeRF）操纵基于网格的参数化三维人体模型作为几何代理。以前的方法通常依赖于多视图视频或准确的3D几何信息作为额外的输入;此外，大多数方法在推广到看不见的姿势时质量会下降。我们确定，泛化的关键是一个良好的输入嵌入查询动态NeRF：一个好的输入嵌入应该定义一个内射映射在整个体积空间，指导下的表面网格变形姿势变化。基于这一观察，我们建议嵌入输入查询及其与网格顶点上一组测地线最近邻居所跨越的局部表面区域的关系。通过包括位置和相对距离信息，我们的嵌入定义了一个保持距离的变形映射，并很好地推广到看不见的姿势。为了减少对额外输入的依赖，我们首先使用现成的工具初始化每帧3D网格，然后提出一个管道来联合优化NeRF和细化初始网格。大量的实验表明，我们的方法可以合成合理的人的渲染结果下看不见的姿态和意见。
2022-08-18 cs.CV
Learning Cross-View Semantic Priors for Single-Reference Unseen Object Pose Estimation
College of Aerospace Science and Engineering, National University of Defense Technology（国防科技大学航空航天科学与工程学院）；Hunan Provincial Key Laboratory of Image Measurement and Vision Navigation（湖南省图像测量与视觉导航重点实验室）
提出跨视角语义交互（CVSI）和两种训练约束，利用视觉基础模型特征实现单参考未见物体的6D姿态估计，在多个基准上达到最优性能。
2026-06-26 cs.CV
Category-Agnostic Pose Estimation for Point Clouds
Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Tsinghua University（清华大学）
针对现有姿态估计方法无法处理未见类别未见物体的问题，提出基于旋转不变面片几何特征的类别无关点云姿态估计方法，无需类别信息即可达到与类别方法相当的效果，在两个数据集上验证了有效性。
2024-03-12 cs.CV
Normalized Object Coordinate Space for Category-Level 6D Object Pose and Size Estimation
Stanford University（斯坦福大学）；Google Inc.（谷歌公司）；Princeton University（普林斯顿大学）；Facebook AI Research（脸书人工智能研究院）
本文的目标是估计RGB-D图像中看不见的对象实例的6D姿态和尺寸。与“实例级”6D姿态估计任务相反，我们的问题假设在训练或测试期间没有精确的对象CAD模型可用。为了处理给定类别中不同的和不可见的对象实例，我们引入了规范化对象坐标空间（NOCS）-一个类别中所有可能的对象实例的共享规范表示。然后，我们的基于区域的神经网络被训练来直接推断从观察到的像素到这个共享对象表示（NOCS）的对应关系以及其他对象信息，如类标签和实例掩码。这些预测可以与深度图相结合，以联合估计杂乱场景中多个对象的度量6D姿态和尺寸。为了训练我们的网络，我们提出了一种新的上下文感知技术来生成大量的完全注释的混合现实数据。为了进一步改进我们的模型并评估其在真实数据上的性能，我们还提供了一个具有大环境和实例变化的完全注释的真实世界数据集。大量的实验表明，该方法能够鲁棒地估计在真实环境中看不见的对象实例的姿态和大小，同时也实现了标准的6D姿态估计基准的最先进的性能。
2019-06-23 cs.CV
UniPose9D: Universal Category-Agnostic Object Pose Estimation
Stanford University（斯坦福大学）；Amazon（亚马逊）
研究针对物体姿态估计中现有方法泛化性不足的问题，提出UniPose9D模型，通过采样点对、利用特定特征预测NOCS坐标，引入改进算法及流匹配，构建训练集，实验证明该模型能匹配或超越专业方法，泛化能力强。
2026-10-07 cs.CV
Generalizing Neural Human Fitting to Unseen Poses With Articulated SE(3) Equivariance
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Southern California（南加州大学）
本文提出ArtEq，一种基于部件的SE(3)等变神经架构，通过部件检测与关节化等变网络从点云估计SMPL模型，实现对新姿态的高精度泛化，重建精度提升约44%，推理快三个数量级且参数量减少97.3%。
2023-09-19 cs.CV
Instance-Adaptive and Geometric-Aware Keypoint Learning for Category-Level 6D Object Pose Estimation
University of Science and Technology of China（中国科学技术大学）；Jianghuai Advance Technology Center（江淮先进技术中心）
本文提出AG-Pose方法，通过实例自适应关键点检测和几何感知特征聚合两个模块，提升类别级6D姿态估计对未见实例的泛化能力，并在CAMERA25和REAL275上显著超越现有方法。
2024-03-28 cs.CV
DenseBody: Directly Regressing Dense 3D Human Pose and Shape From a Single Color Image
Cloudwalk（云从科技）；Shanghai Jiao Tong University（上海交通大学）
由于人体的高度复杂性和灵活性，以及相对较少的3D标记数据，从2D图像中恢复3D人体形状和姿态是一项具有挑战性的任务。解决这些问题的先前方法通常依赖于预测中间结果，例如身体部位分割、2D/3D关节、轮廓掩模，以将问题分解为多个子任务，以便利用更多的2D标签。以往的研究大多采用参数化的人体模型，在低维空间中预测参数来表示人体。在本文中，我们提出了使用卷积神经网络（CNN）直接从一个单一的彩色图像回归的三维人体网格。我们使用一个有效的表示三维人体形状和姿态，可以通过编码器-解码器神经网络预测。该方法在包括Human3.6M，SURREAL和UP-3D在内的几个3D人体数据集上实现了最先进的性能，运行速度更快。
2019-03-28 cs.CV
High-Quality Animatable Dynamic Garment Reconstruction from Monocular Videos
Tianjin University（天津大学）；Cardiff University（卡迪夫大学）
本文提出首个不依赖扫描数据的单目视频方法，通过姿态驱动的可学习形变网络与多假设形变模块，重建可适配未见姿态的高质量动态服装。
2023-11-02 cs.CV
WAPR: A Foundation Model for Wide-Angle Refinement in Unseen Object Pose Estimation
Southeast University（东南大学）；Purdue University（普渡大学）
WAPR是一种零样本广角姿态精修模型，通过旋转对称先验和角度平衡损失，在快速推理下实现未见物体6D姿态估计的最先进性能。
2026-10-08 cs.AI cs.CV cs.RO
Accurate and Efficient Object Pose Estimation via the Aggregation of Diffusion Features
Shenyang Institute of Automation, Chinese Academy of Sciences（中国科学院沈阳自动化研究所）；Institutes for Robotics and Intelligent Manufacturing, Chinese Academy of Sciences（中国科学院机器人与智能制造创新研究院）；University of Chinese Academy of Sciences（中国科学院大学）；Oosto（奥斯特公司）
本文针对物体姿态估计在未见物体上泛化差的问题，提出利用 Stable Diffusion 等扩散模型特征，并通过三种聚合不同粒度特征的架构，在 LM、O-LM 和 T-LESS 上显著超越现有方法。
2026-10-09 cs.CV
Neural Rendering of Humans in Novel View and Pose from Monocular Video
Meta Reality Labs Research（Meta现实实验室）；University of California, Merced（加州大学默塞德分校）
本文提出一种单目视频人体神经渲染方法，结合姿态锚定共享潜码、点云外观码与时序 transformer，实现新视角和未见姿态下的照片级人体生成。
2023-04-20 cs.CV
Introducing Pose Consistency and Warp-Alignment for Self-Supervised 6D Object Pose Estimation in Color Images
Imperial College London（帝国理工学院）；Niantic（尼安蒂克）；KAIST（韩国科学技术院）
用于估计对象的6D姿态的最成功的方法通常通过用真实世界图像中的注释姿态来监督学习来训练神经网络。这些注释通常是昂贵的，以获得和一个共同的解决方案是生成和训练合成场景，与有限的泛化的缺点时，模型部署在现实世界中。在这项工作中，提出了一个两阶段的6D对象姿态估计框架，可以应用于现有的基于神经网络的方法之上，并且不需要对真实图像进行姿态注释。第一个自监督阶段加强了渲染预测和真实输入图像之间的姿势一致性，缩小了两个域之间的差距。第二阶段通过在成对的不同对象视图之间实施光度一致性来微调先前训练的模型，其中一个图像被扭曲和对齐以匹配另一个的视图，从而实现它们的比较。在缺乏真实图像注释和深度信息的情况下，与仅在合成数据，领域自适应基线和LINEMOD，LINEMOD OCCLUSION和HomebrewedDB数据集上的并发自监督方法上训练的方法相比，在两种最近方法的基础上应用所提出的框架可以获得最先进的性能。
2020-10-16 cs.CV
Human Head Pose Estimation by Facial Features Location
University of Maryland（马里兰大学）
我们描述了一种方法，用于估计人的头部姿势在彩色图像中，包含足够的信息来定位头部轮廓和检测非平凡的颜色边缘的个人面部特征。该方法的工作原理是通过在任意背景上定位人的头部，提取头部轮廓，并在3D空间中定位描述头部方向所需的面部特征。它是足够强大的工作与彩色和灰度图像具有准正面视图的人的头部在可变的照明条件下。
2015-10-09 cs.CV
SNARF: Differentiable Forward Skinning for Animating Non-Rigid Neural Implicit Shapes
ETH Zürich（苏黎世联邦理工学院）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Tübingen（图宾根大学）
神经隐式表面表示已经成为一种有前途的范例，以连续和分辨率无关的方式捕获3D形状。然而，使它们适应铰接的形状并非易事。现有方法学习将变形映射到规范点的向后扭曲场。然而，这是有问题的，因为向后扭曲场是姿势相关的，因此需要大量数据来学习。为了解决这个问题，我们引入了SNARF，它结合了多边形网格的线性混合蒙皮（LBS）与神经隐式曲面的优点，通过学习向前变形场而无需直接监督。这个变形场是在规范的，姿势独立的空间中定义的，允许泛化到看不见的姿势。单独从已设定的网格中学习变形场是具有挑战性的，因为变形点的对应关系是隐式定义的，并且在拓扑变化下可能不是唯一的。我们提出了一个前向蒙皮模型，发现所有的正则对应的任何变形点，使用迭代求根。我们通过隐式微分推导出分析梯度，从而实现从具有骨骼变换的3D网格的端到端训练。与最先进的神经隐式表示相比，我们的方法更好地推广到看不见的姿势，同时保持准确性。我们展示了我们的方法在具有挑战性的情况下（穿着）3D人类在不同的和看不见的姿势。
2021-11-29 cs.CV
Measuring Generalisation to Unseen Viewpoints, Articulations, Shapes and Objects for 3D Hand Pose Estimation under Hand-Object Interaction
Imperial College London（帝国理工学院）；Niantic, Inc.（Niantic公司）；Graz Uni. of Technology（格拉茨工业大学）；Rokid Corp. Ltd.（Rokid公司）；HUST（华中科技大学）；Megvii Research Nanjing（旷视南京研究院）；SUNY Buffalo（纽约州立大学布法罗分校）；BUPT（北京邮电大学）；Uni. of West Bohemia（西波希米亚大学）；Fudan Uni.（复旦大学）；TUM（慕尼黑工业大学）；Uni. of Bonn（波恩大学）；NUS（新加坡国立大学）；Harbin Inst. of Technology（哈尔滨工业大学）；CUHK（香港中文大学）；ETH Zurich（苏黎世联邦理工学院）；NVIDIA Research（英伟达研究院）；NAVER LABS Europe（NAVER欧洲实验室）；ENPC ParisTech（巴黎高科路桥学校）；UNIST（蔚山科学技术院）；KAIST（韩国科学技术院）
我们研究了如何以及不同类型的方法概括在单手场景和手-物体交互下的3D手姿态估计任务。我们发现，最先进的方法的准确性可能会下降，并且它们大多在训练集上不存在的姿势上失败。不幸的是，由于手部姿势的空间是高维的，因此尽管最近在收集大规模训练数据集方面做出了努力，但密集地覆盖整个空间本质上是不可行的。当手与对象交互和/或输入是RGB而不是深度图像时，这种采样问题甚至更加严重，因为RGB图像也随着照明条件和颜色而变化。为了解决这些问题，我们设计了一个公开挑战（HANDS'19）来评估当前3D手部姿势估计器（HPE）对训练集的姿势进行内插和外推的能力。更确切地说，HANDS'19被设计为（a）在存在或不存在对象的情况下，评估深度和颜色模态对3D手部姿势估计的影响;（b）评估关于3D手部姿势估计的泛化能力。四个主轴：形状，关节，观点和对象;（c）探索使用合成手模型来填补当前数据集的空白。通过挑战，整体精度在基线上有了显着提高，特别是在外推任务中，平均关节误差从27 mm提高到13 mm。我们的分析强调了以下因素的影响：数据预处理、集成方法、参数化3D手部模型（MANO）的使用以及不同的HPE方法/主干。
2020-09-10 cs.CV
3D-Aware Hypothesis & Verification for Generalizable Relative Object Pose Estimation
EPFL（洛桑联邦理工学院）；ClearSpace SA（ClearSpace公司）
针对仅单参考视图的未见物体相对位姿估计难题，提出带3D感知验证的假设-验证框架，在多个数据集上实现了更优精度与大幅位姿变化下的鲁棒性。
2023-10-05 cs.CV cs.RO
ArtReg: Visuo-Tactile based Pose Tracking and Manipulation of Unseen Articulated Objects
RoboTac Lab, BMW Group（RoboTac实验室，宝马集团）；University of Glasgow（格拉斯哥大学）；Eindhoven University of Technology（埃因霍温理工大学）
本文提出 ArtReg 方法，将视觉-触觉点云融入 SE(3) 无迹卡尔曼滤波进行位姿跟踪，无需先验知识即可检测关节并闭环操作未见关节物体，实验证明其鲁棒性和精度优于现有方法。
2025-11-09 cs.CV cs.RO
WALDO: Where Unseen Model-based 6D Pose Estimation Meets Occlusion
Huawei Technologies Canada（华为技术加拿大）
WALDO提出四种改进方法，提升模型驱动6D姿态估计在遮挡情况下的鲁棒性和精度，实验显示在ICBIN和BOP数据集上精度提升超过5%。
2025-11-19 cs.AI cs.CV cs.LG
