HIPPo: Harnessing Image-to-3D Priors for Model-free Zero-shot 6D Pose Estimation
York University（约克大学）；University of Toronto（多伦多大学）
针对机器人应用中无模型零样本6D位姿估计依赖CAD模型或参考图像的问题，提出HIPPo框架，利用扩散模型的图像到3D先验生成3D网格并优化，实现即时估计跟踪，在参考图像有限时性能超现有方法。
2025-02-14 cs.CV cs.RO
Pose Adaptive Dual Mixup for Few-Shot Single-View 3D Reconstruction
Institute of Information Science, Academia Sinica（中央研究院信息科学研究所）；Department of Computer Science, National Tsing Hua University（国立清华大学计算机科学系）；Department of Computer Science, University of Oxford（牛津大学计算机科学系）
我们提出了一个姿势自适应少样本学习过程和两阶段的数据插值正则化，称为姿势自适应双重混合（PADMix），用于单图像3D重建。虽然通过内插特征标签对进行的增强在分类任务中是有效的，但当渲染视点未知时，由于两个图像和体积的内插产物之间的不一致，它们在形状预测方面可能存在缺陷。PADMix针对此问题，按顺序执行两组混淆程序。我们首先执行输入混淆，结合姿势自适应学习过程，有助于学习2D特征提取和姿势自适应潜在编码。分阶段训练允许我们建立在姿态不变表示的基础上，以在特征和地面实况体积之间的一对一对应关系下执行后续潜在混合。PADMix在ShapeNet数据集上的Few-Shot设置上显著优于之前的文献，并在更具挑战性的真实世界Pix3D数据集上设定了新的基准。
2021-12-23 cs.CV
ViTa-Zero: Zero-shot Visuotactile Object 6D Pose Estimation
Amazon（亚马逊）；Brown University（布朗大学）；Northeastern University（东北大学）
针对机器人操作中视觉触觉6D位姿估计泛化难问题，提出ViTa-Zero零样本框架，以视觉模型为主干，基于触觉和本体感受的物理约束（弹簧-质量系统建模交互）优化，实验显示相比FoundationPose性能显著提升。
2025-04-17 cs.CV cs.RO
PIXIE: A Zero-Shot texture-invariant 6D pose estimation framework for unseen objects with assembly defects
Carl Zeiss AG（卡尔蔡司股份公司）；Carl Zeiss Digital Innovation（卡尔蔡司数字创新公司）
PIXIE是用于有装配缺陷的未见物体的零样本纹理不变6D姿态估计框架，仅用无纹理3D模型从RGB图像估计姿态，通过合成深度和法线图匹配关键点，基于PnP估计姿态，对光照和纹理变化鲁棒，在基准测试中取得好结果并引入新数据集。
2026-07-21 cs.CV cs.RO
UnPose: Uncertainty-Guided Diffusion Priors for Zero-Shot Pose Estimation
Huawei Noah’s Ark Lab, Canada（华为诺亚实验室，加拿大）；University of Toronto, Canada（多伦多大学，加拿大）
UnPose利用预训练扩散模型的3D先验与不确定性估计，实现零样本无模型6D姿态估计与重建，并通过不确定性引导的多视图融合和位姿图优化持续提升精度，在实验和真实机器人任务中均优于现有方法。
2025-08-21 cs.CV cs.RO
OnePose++: Keypoint-Free One-Shot Object Pose Estimation without CAD Models
Zhejiang University（浙江大学）；The University of Sydney（悉尼大学）；Image Derivative Inc.（图像衍生公司）
我们提出了一种新的方法来估计物体的姿态没有CAD模型。先前基于特征匹配的方法OnePose在一次性设置下显示出有希望的结果，从而消除了对CAD模型或特定于对象的训练的需要。然而，OnePose依赖于检测可重复的图像关键点，因此在低纹理物体上容易失败。我们提出了一个无关键点的姿态估计管道，以消除对可重复的关键点检测的需要。在无检测器特征匹配方法LoFTR的基础上，我们设计了一种新的无关键点SfM方法来重建物体的半密集点云模型。给定用于对象姿态估计的查询图像，2D-3D匹配网络直接建立查询图像与重建的点云模型之间的2D-3D对应关系，而无需首先检测图像中的关键点。实验表明，该管道优于现有的一次性CAD模型的方法，由一个大的利润率，是可比的CAD模型为基础的方法LINEMOD即使是低纹理的对象。我们还收集了一个新的数据集组成的80个序列的40个低纹理的对象，以促进未来的研究，一杆物体姿态估计。补充材料、代码和数据集可在项目页面上获得：https://zju3dv.github.io/onepose_plus_plus/。
2023-01-18 cs.CV
FSD: Fast Self-Supervised Single RGB-D to Categorical 3D Objects
Georgia Institute of Technology（佐治亚理工学院）；Toyota Research Institute（丰田研究院）
本文提出 FSD 方法，通过多阶段训练管线结合 2D 监督与 3D 自监督损失，实现单张 RGB-D 图像的类别级 3D 物体形状、尺寸和 6D 位姿快速预测，在 NOCS 测试集上 mAP 提升 16.4% 并支持近实时运行。
2023-10-19 cs.CV cs.RO
ZeroPose: CAD-Prompted Zero-shot Object 6D Pose Estimation in Cluttered Scenes
School of Computer Science and Technology, Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）计算机科学与技术学院）；Pengcheng Laboratory（鹏城实验室）；SenseTime Research（商汤科技研究院）
ZeroPose提出基于CAD提示的零样本6D姿态估计框架，通过发现-定向-配准流程将姿态估计转化为特征匹配问题，无需模型重训练，在七数据集上达到与物体特定方法相当的性能且推理速度提升50倍。
2024-09-29 cs.CV
Stereo Vision Based Single-Shot 6D Object Pose Estimation for Bin-Picking by a Robot Manipulator
我们提出了一种快速，准确的方法，6D物体位姿估计的机械零件的机器人机械手的装箱。我们扩展了单镜头立体视觉的注意力架构的应用程序。我们的卷积神经网络模型从没有深度信息的左图像或右图像回归到对象位置和旋转。然后，立体特征匹配模块，指定为立体网格注意，生成立体网格匹配地图。我们的方法的重点是只计算视差的对象发现的注意力从立体图像，而不是计算一个点云在整个图像。然后，通过三角测量的原理，使用视差值来计算到对象的深度。我们的方法还实现了快速的处理速度的姿态估计的单镜头架构，它是可能的处理一个1024 × 1024像素的图像在75毫秒的Jetson AGX Xavier实现与半浮动模型。弱纹理的机械部件被用于验证该方法。首先，我们创建原始的合成数据集，用于训练和评估所提出的模型。该数据集是通过在虚拟空间中捕获和渲染多种类型机械零件的大量3D模型而创建的。最后，我们使用一个机器人机械手与电磁夹持器拿起机械零件在混乱的状态，以验证我们的方法在实际场景中的有效性。当来自我们的立体相机的所提出的方法使用原始立体图像来检测黑色钢螺钉、不锈钢螺钉和直流电机部件时，即，对于转子铁心、整流子盖和转子壳，分箱成功率分别为76.3%、64.0%、50.5%、89.1%和64.2%。
2020-05-28 cs.CV cs.RO
KeyMatchNet: Zero-Shot Pose Estimation in 3D Point Clouds by Generalized Keypoint Matching
University of Southern Denmark（南丹麦大学）；Mærsk Mc-Kinney Møller Institute（马士基·麦金尼·默勒学院）；SDU Robotics（南丹麦大学机器人研究所）
提出KeyMatchNet，一种仅依赖深度信息的3D点云零样本位姿估计网络，通过并行计算特征匹配并在训练中引入场景信息降低任务复杂度，实现了短设置时间且在未见物体及真实数据上表现出良好准确性与泛化能力。
2024-08-29 cs.CV
Geo6DPose: Fast Zero-Shot 6D Object Pose Estimation via Geometry-Filtered Feature Matching
Linköping University（利乌普斯大学）
Geo6DPose通过几何过滤特征匹配实现快速零样本6D姿态估计，无需训练或网络访问，具备高效推理与高鲁棒性。
2025-12-11 cs.CV
Zero-shot Reconstruction of In-Scene Object Manipulation from Video
University of Pennsylvania（宾夕法尼亚大学）；University of Oxford（牛津大学）
本文提出了一种基于数据驱动模型的零样本方法，用于从视频中重建场景中的物体操作，通过两阶段优化实现手-物体运动的准确重建。
2025-12-22 cs.CV cs.RO
Zero123-6D: Zero-shot Novel View Synthesis for RGB Category-level 6D Pose Estimation
Technical University of Munich（慕尼黑工业大学）；TUM School of Computation, Information and Technology（慕尼黑工业大学计算、信息与技术学院）；ETH Zurich（苏黎世联邦理工学院）；Google Zurich（谷歌苏黎世分部）；Department of Excellence in Robotics & AI（机器人与人工智能卓越系）；Mechanical Intelligence Institute（机械智能研究所）
本研究提出Zero123-6D，首次利用基于Diffusion Model的新视角合成器结合特征提取技术，实现零样本类别级RGB 6D位姿估计，通过在线优化处理类别内几何差异，减少数据需求并免除了对深度信息的依赖。
2024-07-30 cs.CV
ZS6D: Zero-shot 6D Object Pose Estimation using Vision Transformers
TU Wien（维也纳工业大学）；Automation and Control Institute（自动化与控制研究所）
ZS6D利用预训练视觉Transformer提取的描述符进行模板匹配和局部对应建立，结合RANSAC-based PnP实现零样本新物体6D姿态估计，无需任务特定微调，在多个数据集上优于现有方法。
2023-09-21 cs.CV
Putting NeRF on a Diet: Semantically Consistent Few-Shot View Synthesis
UC Berkeley（加州大学伯克利分校）
我们提出了DietNeRF，一个从几个图像估计的3D神经场景表示。神经辐射场（NeRF）通过多视图一致性学习场景的连续体积表示，并且可以通过光线投射从新的视点渲染。虽然NeRF具有令人印象深刻的重建几何和精细细节的能力，但对于具有挑战性的360°场景，高达100个图像，当只有少数输入视图可用时，它通常会找到其图像重建目标的退化解决方案。为了提高Few-Shot质量，我们提出了DietNeRF。我们引入了一个辅助的语义一致性损失，鼓励逼真的渲染在小说构成。DietNeRF在各个场景上进行训练，以（1）正确渲染来自相同姿势的给定输入视图，以及（2）在不同的随机姿势中匹配高级语义属性。我们的语义损失允许我们从任意姿势监督DietNeRF。我们使用预先训练的视觉编码器（如CLIP）提取这些语义，CLIP是一种视觉Transformer，它在从网络上挖掘的数亿张不同的单视图2D照片上进行训练，并使用自然语言进行监督。在实验中，DietNeRF在从头开始学习时提高了Few-Shot视图合成的感知质量，当在多视图数据集上进行预训练时，可以使用少至一个观察到的图像渲染新视图，并生成完全未观察到的区域的合理完成。
2021-04-01 cs.AI cs.CV cs.GR
One View, Many Worlds: Single-Image to 3D Object Meets Generative Domain Randomization for One-Shot 6D Pose Estimation
Beijing Academy of Artificial Intelligence, BAAI（北京人工智能研究院）；Zhejiang University（浙江大学）；Institute for AI Industry Research (AIR), Tsinghua University（清华大学人工智能产业研究院）；Nanyang Technological University（南洋理工大学）；FNii, The Chinese University of Hongkong, Shenzhen（Fnii，香港中文大学（深圳））；Shanghai Jiao Tong University（上海交通大学）；Eastern Institute of Technology, Ningbo（宁波工程技术学院）
针对单图6D姿态估计中3D模型缺失、尺度不确定和域差距问题，提出OnePoseViaGen，结合由粗到细对齐和文本引导生成式域随机化，在多个基准上达到最先进性能，并验证了真实机器人抓取。
2025-09-09 cs.CV
HumanMM: Global Human Motion Recovery from Multi-shot Videos
Tsinghua University（清华大学）；IDEA Research（IDEA研究院）；Johns Hopkins University（约翰斯·霍普金斯大学）；University of Chicago（芝加哥大学）；HKUST（香港科技大学）；HKU（香港大学）
本文提出HumanMM框架，通过镜头切换检测、鲁棒对齐和运动积分器，从多镜头野外视频中恢复世界坐标系下的长序列3D人体运动，解决了镜头切换、遮挡和脚步滑动等问题。
2025-03-10 cs.CV
Zero-Shot Polygon Matching with Pre-trained Models for Pose Estimation and Polygon Cloud from Challenging Stereo
Chang Li（李昌）；Xingtao Peng（彭兴涛）
提出首个零样本多边形匹配范式Z(PM)2，结合预训练模型和手工几何约束，通过双向金字塔匹配和局部-整体二分图优化解决视差不连续、尺度变化等问题，在姿态估计和3D表示中取得领先性能。
2026-06-05 cs.CV
FreeZe: Training-free zero-shot 6D pose estimation with geometric and vision foundation models
Fondazione Bruno Kessler（布鲁诺·凯塞勒基金会）；University of Trento（特伦托大学）
本文提出 FreeZe，一种融合几何与视觉基础模型、无需训练即可通过 3D 配准估计未见物体 6D 位姿的方法，并在 BOP 七大数据集上超越现有方法。
2025-01-08 cs.CV
Generic Objects as Pose Probes for Few-shot View Synthesis
School of Computer, National University of Defense Technology（计算机学院，国防科技大学）
针对少视角NeRF重建中COLMAP依赖大量特征匹配且在稀疏特征或大基线场景表现不佳的问题，提出利用日常物体作为位姿探针，结合双分支体渲染优化和PnP匹配实现高精度位姿估计与新视角合成。
2025-04-29 cs.CV
ActorsNeRF: Animatable Few-shot Human Rendering with Generalizable NeRFs
UC San Diego（加州大学圣地亚哥分校）；ByteDance（字节跳动）
针对现有NeRF人体渲染需大量训练数据的问题，提出ActorsNeRF，通过预训练加少样本适配及双人体先验对齐，实现新人物新姿态的高效泛化渲染，性能超越现有最优水平。
2023-04-27 cs.CV
PointVGGT: Zero-Shot Multiview RGB-D Point Cloud Registration with Visual Geometry Foundation Priors
Nanyang Technological University（南洋理工大学）；Alibaba Group（阿里巴巴集团）
本文提出PointVGGT框架，采用“先基础后优化”范式，利用视觉几何基础模型VGGT实现零样本多视图RGB-D点云配准，在多类数据集上验证了其高精度与高效性。
2026-10-09 cs.CV
Accurate and efficient zero-shot 6D pose estimation with frozen foundation models
本研究提出无需训练的FreeZeV2方法，依托预训练几何与视觉基础模型实现新物体6D位姿估计，通过三项优化提升精度与效率，在BOP基准上刷新SOTA并获2024 BOP挑战赛最佳整体方法奖。
2025-06-11 cs.CV
On the Evaluation of RGB-D-based Categorical Pose and Shape Estimation
KTH Royal Institute of Technology（瑞典皇家理工学院）
近来，已经提出了用于对象的6D姿态和形状估计的各种方法。通常，这些方法根据平均精度和具有倒角距离的重建质量来评估它们的姿态估计。在这项工作中，我们需要在这个主要的评估协议，包括指标和数据集的关键看。我们提出了一组新的指标，为Redwood数据集提供了新的注释，并在公平的比较中评估了最先进的方法。我们发现，现有的方法不能很好地推广到无约束的方向，实际上是严重偏向于直立的对象。我们提供了一个易于使用的评估工具箱，具有定义良好的指标，方法和数据集接口，可以轻松地与各种最先进的方法进行评估和比较（请参阅https://github.com/roym899/pose_and_shape_evaluation）。
2022-02-21 cs.CV cs.RO
Shape Prior Deformation for Categorical 6D Object Pose and Size Estimation
我们提出了一种新的学习方法来从RGB-D图像中恢复看不见的对象实例的6D姿态和大小。为了处理类内形状变化，我们提出了一个深度网络，通过从预先学习的分类形状先验中显式地建模变形来重建3D对象模型。此外，我们的网络推断对象实例的深度观察与重建的3D模型之间的密集对应关系，以联合估计6D对象的姿态和大小。我们设计了一个自动编码器，它在一组对象模型上进行训练，并计算每个类别的平均潜在嵌入，以学习类别形状先验。在合成数据集和真实数据集上进行的大量实验表明，我们的方法明显优于现有技术。我们的代码可在https://github.com/mentian/object-deformnet上获得。
2020-07-16 cs.CV
SDFEst: Categorical Pose and Shape Estimation of Objects from RGB-D using Signed Distance Fields
KTH Royal Institute of Technology（KTH皇家理工学院）
对世界的丰富几何理解是许多机器人应用（如规划和操作）的重要组成部分。在本文中，我们提出了一个模块化的管道，从RGB-D图像给定其类别的对象的姿态和形状估计。我们的方法的核心是一个生成的形状模型，我们将其与一个新的初始化网络和一个可微分的渲染器集成，以实现从单个或多个视图的6D姿态和形状估计。我们调查使用离散签署的距离场作为一个有效的形状表示快速分析合成优化。我们的模块化框架支持多视图优化和可扩展性。我们证明了我们的方法的好处，在几个实验中的合成和真实数据的国家的最先进的方法。我们在https://github.com/roym899/sdfest上公开了我们的方法。
2022-07-11 cs.CV cs.RO
RGB-D-Based Categorical Object Pose and Shape Estimation: Methods, Datasets, and Evaluation
KTH Royal Institute of Technology（KTH皇家理工学院）
最近，已经提出了用于在每个类别级别上对对象进行6D姿态和形状估计的各种方法。这项工作提供了该领域的方法，数据集和评估协议的概述。首先，概述了现有的工作和他们的共性和差异。其次，我们对主要的评估协议进行了批判性的研究，包括指标和数据集。基于这些发现，我们提出了一组新的指标，为Redwood数据集提供了新的注释，并在公平的比较中评估了最先进的方法。结果表明，现有的方法不能很好地推广到无约束的方向，实际上是严重偏向于直立的对象。我们提供了一个易于使用的评估工具箱，其中包含定义良好的指标、方法和数据集接口，可以与各种最先进的方法进行评估和比较（https：//github.com/roym899/pose_and_shape_evaluation）。
2023-01-19 cs.CV cs.RO
Pose Prior Learner: Unsupervised Categorical Prior Learning for Pose Estimation
Deep NeuroCognition Lab, Nanyang Technological University, Singapore（深神经认知实验室，南洋理工大学，新加坡）
姿态先验学习器通过自监督学习为物体类别学习通用姿态先验，提升遮挡图像中的姿态估计准确性。
2026-03-09 cs.CV
Towards Real-World Aerial Vision Guidance with Categorical 6D Pose Tracker
Hunan University（湖南大学）；National Engineering Research Centre for Robot Visual Perception and Control（国家机器人视觉感知与控制技术工程研究中心）；Nanyang Technological University（南洋理工大学）
本文提出类别级6D位姿跟踪器Robust6DoF和位姿感知离散伺服策略PAD-Servo，解决空中视觉引导中视点快速变化和帧间差异问题，并在公开基准和真实空中机器人应用中验证了有效性。
2024-01-15 cs.CV cs.RO
CAP-Net: A Unified Network for 6D Pose and Size Estimation of Categorical Articulated Parts from a Single RGB-D Image
Fudan University（复旦大学）；Huawei, Noah’s Ark Lab（华为诺亚实验室）
本文提出单阶段统一网络CAP-Net，结合RGB-D特征端到端估计类别级关节部件的6D位姿与尺寸，并构建最大RGB-D关节数据集RGBD-Art，显著超越现有方法且具备良好仿真到真实迁移能力。
2025-06-02 cs.CV cs.RO
One-Shot Imitation Learning: A Pose Estimation Perspective
Imperial College London（帝国理工学院）
本文研究在仅有单次演示且无先验知识约束下的模仿学习，将其转化为轨迹迁移与未见物体位姿估计的结合，并深入评估了位姿估计器在十个真实任务中的表现及多种因素对成功率的影响。
2023-10-18 cs.CV cs.LG cs.RO
Zero-Shot Category-Level Object Pose Estimation
University of Oxford（牛津大学）；Oxford Robotics Institute（牛津机器人研究所）；Visual Geometry Group（视觉几何组）
物体姿态估计是用于具体代理的大多数视觉管道的重要组成部分，更一般地说，在3D视觉中也是如此。在本文中，我们解决的问题，估计新的对象类别的姿态在一个zero-shot的方式。这扩展了现有文献的大部分内容，消除了对姿势标记数据集或特定类别CAD模型的需求，以进行训练或推理。具体而言，我们做出以下贡献。首先，我们正式的zero-shot，类别级别的姿态估计问题和框架，它是最适用于现实世界的体现代理的方式。其次，我们提出了一种新的方法，基于语义对应的自监督视觉Transformer来解决姿态估计问题。我们进一步重新设计了最近的CO3D数据集，以提供一个可控和现实的测试设置。最后，我们证明了我们提出的任务的所有基线表现不佳，并表明我们的方法在30度时的平均旋转精度提高了六倍。我们的代码可在https://github.com/applied-ai-lab/zero-shot-pose上获得。
2022-10-02 cs.CV cs.RO
SurgPose: Generalisable Surgical Instrument Pose Estimation using Zero-Shot Learning and Stereo Vision
Department of Computing, Imperial College London（帝国理工学院计算系）；Hamlyn Centre for Robotic Surgery, Department of Surgery and Cancer, Imperial College London（帝国理工学院外科与癌症部门机器人手术中心）
针对机器人辅助微创手术中现有位姿估计方法难以泛化到新型手术器械的问题，提出融合立体视觉深度估计与改进分割模块的零样本6自由度位姿估计流水线，性能超越现有模型并设立新基准。
2025-05-16 cs.AI cs.CV cs.LG
Investigations on Output Parameterizations of Neural Networks for Single Shot 6D Object Pose Estimation
Fraunhofer Institute for Manufacturing Engineering and Automation IPA（弗劳恩霍夫制造工程与自动化研究所IPA）；Institute of Industrial Manufacturing and Management IFF, University of Stuttgart（斯图加特大学工业制造与管理研究所IFF）
Single Shot方法已经在各种计算机视觉任务上取得了巨大的成功。为6D对象姿态估计找到好的参数化仍然是一个开放的挑战。在这项工作中，我们提出了不同的新颖的参数化神经网络的输出Single Shot 6D对象姿态估计。我们基于学习的方法在两个公共基准数据集上实现了最先进的性能。此外，我们证明了姿态估计可以用于现实世界的机器人抓取任务，而无需额外的ICP细化。
2021-04-15 cs.AI cs.CV cs.RO
ZePHyR: Zero-shot Pose Hypothesis Rating
Carnegie Mellon University（卡内基梅隆大学）
位姿估计是许多机器人操作流水线中的基本模块。估计环境中对象的姿态对于抓取、运动规划或操纵可能是有用的。然而，当前用于姿态估计的最先进的方法依赖于大的带注释的训练集或模拟数据。此外，这些方法的长训练时间禁止与新对象的快速交互。为了解决这些问题，我们介绍了一种新的方法，在杂波中的zero-shot目标姿态估计。我们的方法使用了一个假设生成和评分框架，重点是学习一个评分函数，该函数概括了不用于训练的对象。我们实现了zero-shot的推广评级假设的无序点差的函数。我们评估我们的方法具有挑战性的数据集与纹理和无纹理的物体在杂乱的场景，并证明我们的方法显着优于以前的方法在这项任务上。我们还演示了如何通过快速扫描和构建新对象的模型来使用我们的系统，该模型可以立即被我们的方法用于姿态估计。我们的工作允许用户估计新的对象的姿态，而不需要任何重新训练。更多信息请访问我们的网站https://bokorn.github.io/zephyr/
2021-04-30 cs.CV cs.RO
Revisiting Pose-Normalization for Fine-Grained Few-Shot Recognition
Cornell University（康奈尔大学）
Few-Shot、细粒度分类需要模型来学习不同类别之间的细微、细粒度区别（例如，鸟类）仅基于几张图片。这就需要对姿势、清晰度和背景有相当程度的不变性。一种解决方案是使用姿势规范化表示：首先定位每个图像中的语义部分，然后通过表征每个部分的外观来描述图像。虽然这样的表示是不赞成完全监督分类，我们表明，他们是非常有效的Few-Shot细粒度分类。在模型容量增加最小的情况下，姿势归一化将浅层和深层架构的准确度提高了10到20个百分点，更好地推广到新领域，并且对多个Few-Shot算法和网络骨干有效。代码可在https://github.com/Tsingularity/PoseNorm_Fewshot上获得
2020-04-01 cs.CV
Single Shot 6D Object Pose Estimation
Fraunhofer Institute for Manufacturing Engineering and Automation IPA（弗劳恩霍夫制造工程与自动化研究所（IPA））；University of Stuttgart（斯图加特大学）
在本文中，我们介绍了一种新的Single Shot方法，用于基于深度图像的刚性对象的6D对象姿态估计。为此，采用完全卷积神经网络，其中3D输入数据被空间离散化，并且姿态估计被认为是在所得到的体积元素上局部求解的回归任务。我们的对象姿态网络（OP-Net）在GPU上的帧率为65 fps，速度极快，经过端到端优化，可同时估计图像中多个对象的6D姿态。我们的方法不需要手动6D姿势注释的真实世界数据集和传输到真实世界，尽管完全是在合成数据上训练的。在公共基准数据集上对所提出的方法进行了评估，在那里我们可以证明最先进的方法显着优于其他方法。
2020-04-27 cs.CV cs.RO eess.IV
Diffusion Models Enable Zero-Shot Pose Estimation for Lower-Limb Prosthetic Users
Bioinformatics Institute（生物信息学研究所）；Nanyang Technological University（南洋理工大学）
针对2D无标记步态分析在下肢截肢者群体中效果不佳的问题，本研究提出基于图像生成扩散模型的零样本姿态估计方法，提升假肢关键点检测效果，为该人群步态分析与康复提供新方案。
2023-12-13 cs.CV cs.LG
From Words to Poses: Enhancing Novel Object Pose Estimation with Vision Language Models
TU Wien（维也纳技术大学）；UAS Technikum Vienna（维也纳技术高等专业学院）
本文提出利用 VLM 语言嵌入与 NeRF 相关性图实现可提示零样本 6D 物体姿态估计，并结合点云配准分析 LERF 在实例级和类别级开放集姿态估计中的适用性。
2024-09-09 cs.CV cs.RO
Skeleton based Zero Shot Action Recognition in Joint Pose-Language Semantic Space
Carnegie Mellon University（卡内基梅隆大学）
如何表现一个动作？如何描述一个我们从未见过的行为？这些问题通过零样本学习范式来解决，其中模型仅在类的子集上进行训练，并根据其正确分类以前从未见过的类中的示例的能力进行评估。在这项工作中，我们提出了一个基于身体姿势的zero shot动作识别网络，并在NTU RGB-D数据集上展示了其性能。我们的模型学习共同封装视觉相似性的基础上的姿势功能的动作表演者，以及相似性的自然语言描述的看不见的动作类名称。我们演示了这个姿势语言语义空间如何编码知识，使我们的模型能够正确预测训练过程中看不到的动作。
2019-11-26 cs.CV
PaMM: Pose-aware Multi-shot Matching for Improving Person Re-identification
School of Information and Communications, Gwangju Institute of Science and Technology（光州科学技术院信息与通信学院）；Computer Vision Laboratory, GIST（计算机视觉实验室）
本文提出姿态感知多镜头匹配框架PaMM，通过分析摄像机视角和人体姿态来稳健估计姿态并进行高效匹配，在公开数据集上优于现有方法，有效应对视角和姿态变化带来的行人重识别挑战。
2017-05-17 cs.CV
Diffusion Features for Zero-Shot 6DoF Object Pose Estimation
University of Applied Sciences Technikum Wien（维也纳技术高等专业学院）；TU Wien（维也纳工业大学）
本研究评估潜在扩散模型（LDM）骨干对零样本6DoF物体姿态估计的影响，通过修改现有方法在共同基础上对比LDM与自监督ViT，实验显示其平均召回率较ViT基线提升高达27%。
2024-11-25 cs.CV
Single-shot 3D multi-person pose estimation in complex images
CEA LIST（法国原子能与替代能源委员会信息技术与系统实验室）；Sorbonne University（索邦大学）；CNRS（法国国家科学研究中心）；Institute for Intelligent Systems and Robotics（智能系统与机器人研究所）
本文提出了一种新的Single Shot方法，用于复杂图像中多人三维人体姿态估计。该模型共同学习定位图像中的人体关节，估计其3D坐标并将这些预测分组为完整的人体骨架。所提出的方法处理可变数量的人，并且不需要边界框来估计3D姿态。它利用并扩展了堆叠沙漏网络及其多尺度特征学习，以管理多人情况。因此，我们利用一个强大的3D人体姿势制定充分描述几个3D人体姿势，即使在强遮挡或作物的情况下。然后，使用关联嵌入方法对任意数量的人进行联合分组和人体姿态估计。我们的方法在具有挑战性的CMU Panoptic和MuPoTS-3D数据集上以前的Single Shot方法上显着优于现有技术。此外，它导致了良好的结果，从新提出的JTA数据集的复杂和合成图像。
2021-01-07 cs.CV
Video Pose Distillation for Few-Shot, Fine-Grained Sports Action Recognition
Stanford University（斯坦福大学）；Adobe Research（Adobe研究院）
人体姿态是精细运动动作理解的一个有用特征。然而，姿态估计往往是不可靠的，当运行在体育视频由于域移位和因素，如运动模糊和遮挡。当下游任务（例如动作识别）依赖于姿势时，这导致准确性差。端到端学习绕过了pose，但需要更多的标签来泛化。我们介绍了视频姿态蒸馏（VPD），这是一种弱监督技术，用于学习新视频领域的特征，例如挑战姿态估计的个人运动。在VPD下，学生网络学习从体育视频中的RGB帧中提取鲁棒的姿势特征，这样，只要姿势被认为是可靠的，这些特征就会与预先训练的教师姿势检测器的输出相匹配。我们的策略保留了姿势和端到端世界的最佳部分，利用原始视频帧中丰富的视觉模式，同时学习与运动员在目标视频域中的姿势和运动一致的特征，以避免过度拟合与运动员运动无关的模式。VPD功能提高了四个真实世界体育视频数据集中的Few-Shot、细粒度动作识别、检索和检测任务的性能，而不需要额外的地面实况姿势注释。
2021-09-03 cs.CV
OmniShape: Zero-Shot Multi-Hypothesis Shape and Pose Estimation in the Real World
Toyota Research Institute（丰田研究院）；Woven by Toyota（丰田编织）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
OmniShape提出零样本多假设姿态与形状估计方法，通过解耦形状补全为两个多模态分布并训练条件扩散模型，实现从单次观测中概率性估计物体姿态和完整形状。
2025-08-05 cs.CV cs.RO
Zero-shot Human Pose Estimation using Diffusion-based Inverse solvers
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出InPose方法，通过预训练扩散模型和旋转测量条件，解决人体姿态估计中用户体型差异导致的泛化问题。
2026-05-12 cs.CV cs.HC cs.LG
Learning to Estimate 6DoF Pose from Limited Data: A Few-Shot, Generalizable Approach using RGB Images
University of Maryland（马里兰大学）；Hong Kong Polytechnic University（香港理工大学）；ByteDance（字节跳动）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
针对现有6DoF位姿估计依赖模板或密集视图的局限，提出仅用RGB图像的小样本泛化级联框架Cas6D，通过自监督预训练ViT、级联特征细化与渐进式位姿搜索，在32样本设置下精度优于现有最优方法。
2023-06-13 cs.CV
Real-Time Seamless Single Shot 6D Object Pose Prediction
EPFL（洛桑联邦理工学院）；Microsoft Research（微软研究院）
我们提出了一种单镜头方法，用于同时检测RGB图像中的对象并预测其6D姿态，而不需要多个阶段或检查多个假设。与最近提出的用于该任务的单次激发技术（Kehl等人，ICCV'17）仅预测近似的6D姿态，然后必须对其进行细化，我们的算法足够准确，不需要额外的后处理。因此，它的速度要快得多-在Titan X（Pascal）GPU上为50 fps-并且更适合实时的【形】处理。我们的方法的关键组成部分是一个新的CNN架构的灵感来自YOLO网络的设计，直接预测对象的三维限界框的投影顶点的二维图像位置。然后使用Pestrian算法估计对象的6D姿态。对于LINEMOD和OCCLUSION数据集上的单对象和多对象姿态估计，当它们都不经过后处理时，我们的方法大大优于其他最近基于CNN的方法。在后处理过程中，可以使用姿势细化步骤来提高现有方法的准确性，但在10 fps或更低的情况下，它们比我们的方法慢得多。
2018-12-07 cs.CV
ConceptPose: Training-Free Zero-Shot Object Pose Estimation using Concept Vectors
Technical University of Munich（慕尼黑工业大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）
ConceptPose利用视觉语言模型生成开放词汇3D概念图，通过建立概念图间的3D-3D对应关系，实现无训练的零样本物体姿态估计，优于现有最佳基线62%。
2026-04-12 cs.CV
PandaNet : Anchor-Based Single-Shot Multi-Person 3D Pose Estimation
CEA LIST（法国原子能与替代能源委员会信息与技术实验室）；Sorbonne University（索邦大学）；CNRS（法国国家科学研究中心）；Institute for Intelligent Systems and Robotics（智能系统与机器人研究所）
最近，已经提出了几种用于3D人体姿态估计的深度学习模型。然而，这些方法中的大多数仅关注单人情况或以高分辨率估计少数人的3D姿态。此外，许多应用，如自动驾驶或人群分析，需要大量的人可能在低分辨率的姿态估计。在这项工作中，我们提出了PandaNet（Pose estimAtioN and Detection Anchor-based Network），一种新的单镜头，基于锚点的多人3D姿态估计方法。该模型执行限界框检测，并为每个检测到的人，2D和3D姿态回归到一个单一的向前通过。它不需要任何后处理来重新组合关节，因为网络为每个限界框预测完整的3D姿势，并允许以低分辨率估计可能大量的人的姿势。为了管理人员重叠，我们引入了姿势感知锚点选择策略。此外，由于图像中不同人的尺寸之间存在不平衡，并且关节坐标根据这些尺寸具有不同的不确定性，因此我们提出了一种方法来自动优化与不同人尺度和关节相关联的权重，以进行有效的训练。PandaNet在几个具有挑战性的数据集上超越了以前的单次拍摄方法：一个多人城市虚拟但非常逼真的数据集（JTA数据集）和两个真实世界的3D多人数据集（CMU Panoptic和MuPoTS-3D）。
2021-01-07 cs.CV
Open-Pose 3D Zero-Shot Learning: Benchmark and Challenges
University of Liverpool（利物浦大学）；Xi’an Jiaotong-Liverpool University（西交利物浦大学）；Duke Kunshan University（昆山杜克大学）；Edinburgh Napier University（爱丁堡龙比亚大学）
本文提出开放姿态3D零样本分类场景，构建两个基准数据集，评估现有方法并探索迭代角度细化与Diffusion知识迁移方案。
2024-04-16 cs.CV
OPT: One-shot Pose-Controllable Talking Head Generation
Institute of Information Engineering, Chinese Academy of Sciences, Beijing, China 2 School of Cyber Security, University of Chinese Academy of Sciences, Beijing, China（1 中国科学院信息工程研究所，北京，中国 2 中国科学院大学网络空间安全学院，北京，中国）
单镜头说话头生成基于任意音频和一个源面部产生唇同步说话头。为了保证自然和真实，最近的方法提出实现自由姿态控制，而不是简单地编辑嘴部区域。然而，现有的方法不保持准确的身份源脸时，产生头部运动。为了解决身份不匹配问题，实现高质量的自由姿态控制，我们提出了单次姿态可控的Talking头生成网络（OPT）。具体而言，音频特征分解模块将内容特征与音频分离，消除了任意驾驶音频中包含的特定于说话者的信息的影响。然后，从内容特征和源人脸中提取嘴部表情特征，在此过程中设计了特征点丢失，以提高人脸结构的准确性和身份保持质量。最后，为了实现自由姿态控制，来自参考视频的可控头部姿态特征与表情特征和源面部一起被馈送到视频生成器中以生成新的说话头部。大量的定量和定性的实验结果表明，OPT生成高质量的姿态可控的说话头没有身份失配的问题，优于以前的SOTA方法。
2023-02-16 cs.CV
FewSOL: A Dataset for Few-Shot Object Learning in Robotic Environments
University of Texas at Dallas（德克萨斯大学达拉斯分校）；NVIDIA（英伟达）
我们引入了用于对象识别的Few-Shot对象学习（FewSOL）数据集，每个对象具有几个图像。我们从不同的视角拍摄了336个真实世界的物体，每个物体有9个RGB-D图像。提供对象分割掩模、对象姿态和对象属性。此外，使用330 3D对象模型生成的合成图像用于增强数据集。我们研究了（i）Few-Shot对象分类和（ii）联合对象分割和Few-Shot分类，使用我们的数据集进行少样本学习和元学习。评估结果表明，机器人环境中的Few-Shot目标分类仍有很大的改进余地。我们的数据集可以用来研究一组Few-Shot对象识别问题，如分类，检测和分割，形状重建，姿态估计，关键点对应和属性识别。数据集和代码可在https://irvlutd.github.io/FewSOL上获得。
2023-03-05 cs.AI cs.CV cs.LG
Fast Single Shot Detection and Pose Estimation
UNC Chapel Hill（北卡罗来纳大学教堂山分校）；George Mason University（乔治梅森大学）
对于导航和机器人应用，估计物体的3D姿态与检测一样重要。姿态估计的许多方法依赖于检测或跟踪部件或关键点[11，21]。在本文中，我们构建了一个最新的用于滑动窗口检测的卷积网络[10]，以在Single Shot中提供检测和粗略的姿态估计，而无需检测部件或初始边界框的中间阶段。虽然不是第一个将姿态估计视为分类问题的系统，但这是第一次尝试使用深度学习方法在同一级别上组合检测和姿态估计。该架构的关键是一个深度卷积网络，其中对象类别的存在分数，其位置的偏移量以及近似姿态都是在图像中的规则网格位置上估计的。由此产生的系统与最近的姿态估计工作一样准确（Pascal 3D+上的42.4% 8 View mAVP [21]），并且速度更快（TITAN X GPU上的每秒46帧（FPS））。这种检测和粗略姿态估计的方法足够快速和准确，可以广泛应用于包括高精度姿态估计、对象跟踪和定位以及vSLAM在内的任务的预处理步骤。
2016-09-19 cs.CV
