A Generic Regression Framework for Pose Recognition on Color and Depth Images
级联回归方法是一种快速、准确地从RGB图像中提取物体二维姿态的方法。它能够找到准确的姿态的对象在图像中的良好的初始猜测的对象的姿态的大量的校正。本文介绍了该算法，并展示了研究人员进行的两个实验的结果。提出了一种新的方法，快速，准确地预测3D位置的身体关节从一个单一的深度图像，不使用时间信息。我们采取了一种对象识别方法，设计了一个中间的身体部位表示，将困难的姿势估计问题映射到一个更简单的每像素分类问题。我们的大型和高度多样化的训练数据集允许分类器估计姿势，体型，服装不变的身体部位。最后，我们通过重新投影分类结果并找到局部模式来生成几个身体部位的置信度评分3D建议。
2017-09-23 cs.CV
Disentanglement of Color and Shape Representations for Continual Learning
Computer Vision Center（计算机视觉中心）
我们假设，解开特征表征遭受较少的灾难性遗忘。作为一个案例研究，我们执行明确的解纠缠的颜色和形状，通过调整网络架构。我们使用Oxford-102 Flowers数据集在任务增量设置中测试了分类准确性和遗忘。我们将我们的方法与弹性权重合并，学习而不忘记，突触智能和记忆感知突触相结合，并表明特征解纠缠对持续学习性能有积极影响。
2020-07-13 cs.CV
Im2Avatar: Colorful 3D Reconstruction from a Single Image
MIT（麻省理工学院）；UC Berkley（加州大学伯克利分校）
现有的单图像三维重建主要集中在形状恢复方面。在这项工作中，我们研究了一个新的问题，即同时恢复三维形状和表面颜色从一个单一的图像，即“彩色三维重建”。这个问题既具有挑战性又有趣，因为从单个图像中推断纹理3D模型的能力是视觉理解的核心。在这里，我们提出了一个端到端的可训练框架，彩色体素网络（CVN），来解决这个问题。在单个2D输入的条件下，CVN学习将3D对象的形状和表面颜色信息分别分解为3D形状分支和表面颜色分支。具体来说，对于形状恢复，我们生成一个形状体积，其体素的状态表示占用。对于表面颜色恢复，我们通过同时学习回归的颜色体积和2D到3D的流动体积，然后将其融合成混合的颜色体积，来结合外观幻觉和几何投影的强度。通过在形状体积中占据的体素的位置处从混合颜色体积采样颜色来获得最终纹理化3D模型。为了处理严重稀疏体表示，一种新的损失函数，均方假交叉熵损失（MSFCEL）的设计。大量的实验表明，我们的方法取得了显着的改善基线，并显示出很大的泛化在不同的对象类别和任意的观点。
2018-04-17 cs.CV
DenseBody: Directly Regressing Dense 3D Human Pose and Shape From a Single Color Image
Cloudwalk（云从科技）；Shanghai Jiao Tong University（上海交通大学）
由于人体的高度复杂性和灵活性，以及相对较少的3D标记数据，从2D图像中恢复3D人体形状和姿态是一项具有挑战性的任务。解决这些问题的先前方法通常依赖于预测中间结果，例如身体部位分割、2D/3D关节、轮廓掩模，以将问题分解为多个子任务，以便利用更多的2D标签。以往的研究大多采用参数化的人体模型，在低维空间中预测参数来表示人体。在本文中，我们提出了使用卷积神经网络（CNN）直接从一个单一的彩色图像回归的三维人体网格。我们使用一个有效的表示三维人体形状和姿态，可以通过编码器-解码器神经网络预测。该方法在包括Human3.6M，SURREAL和UP-3D在内的几个3D人体数据集上实现了最先进的性能，运行速度更快。
2019-03-28 cs.CV
Rethinking Reprojection: Closing the Loop for Pose-aware ShapeReconstruction from a Single Image
The Robotics Institute, Carnegie Mellon University（卡内基梅隆大学机器人研究所）
计算机视觉中的一个新兴问题是从单个图像重建物体的3D形状和姿态。目前，这个问题已经通过应用规范的深度学习方法从图像直接回归到3D形状和姿势标签来解决。然而，这些方法从两个角度来看是有问题的。首先，他们最大限度地减少了3D形状和姿势标签之间的误差-在将形状重新投影回图像时，很少考虑这种标签误差的性质。其次，它们依赖于手工标记自然图像的3D形状和姿势的繁重和不适定的任务。在本文中，我们定义了一个新的任务，姿态感知的形状重建从一个单一的图像，我们主张，可以利用更便宜的2D注释的自然图像中的物体轮廓。我们设计了姿态感知形状重建的架构，该架构使用预测的姿态将预测的形状重新投影到图像上。我们对几个对象类别的评估表明，我们的方法预测姿态感知的3D形状从自然图像的优越性。
2017-07-26 cs.CV
Joint Pose and Shape Estimation of Vehicles from LiDAR Data
Argo AI；Microsoft（微软）；Carnegie Mellon University（卡内基梅隆大学）
我们解决了从LiDAR扫描中估计车辆姿态和形状的问题，这是自动驾驶汽车社区面临的一个常见问题。最近的工作倾向于单独解决姿势和形状估计，尽管两者之间存在固有的联系。我们研究了一种联合估计形状和姿态的方法，其中学习了单个编码，可以以高效而有效的方式对形状和姿态进行解码。我们还介绍了一种新的联合姿态和形状损失，并表明这种联合训练方法产生更好的结果比独立训练的姿态和形状估计。我们评估我们的方法对合成数据和真实世界的数据，并显示出优越的性能对国家的最先进的基线。
2020-09-08 cs.CV
Shape and Color Object Tracking for Real-Time Robotic Navigation
LIRMM（蒙彼利埃计算机、机器人与微电子实验室）；Université de Montpellier II（蒙彼利埃第二大学）
提出了一种实时的【形】单色球检测与跟踪方法。该方法包括两个主要阶段。在第一离线校准阶段中，估计相机的内部参数和径向失真，并且从彩色球的样本图像学习颜色的分类。第二阶段由四个主要步骤组成：（1）基于离线分类将输入图像彩色分割成若干区域，（2）稳健估计圆参数，（3）细化圆参数，以及（4）球跟踪。实验结果表明，该方法在满足实时的【形】导航要求的同时，对场景中的遮挡、背景拥塞和颜色干扰具有较好的鲁棒性。
2014-10-15 cs.CV
The Influences of Color and Shape Features in Visual Contrastive Learning
在视觉表示学习领域，对比学习的性能已经赶上了通常是分类卷积神经网络的监督方法。但是，大部分的研究工作集中在提高下游任务的准确性，如图像分类和目标检测。对于视觉对比学习，单个图像特征（例如，颜色和形状）对模型性能的影响仍然不明确。本文通过设计各种烧蚀实验来研究这种影响，其结果由专门设计的指标进行评估。虽然这些指标不是我们发明的，但我们首先将它们用于表征评估领域。具体来说，我们评估两个主要图像特征的贡献（即，颜色和形状）以定量的方式。实验结果表明，与监督表示相比，对比表示更倾向于与表示空间中颜色相似的对象聚类，并且包含的形状信息比监督表示少。最后，我们讨论了目前的数据增强是负责这些结果。我们认为，探索一种无监督的增强方法，
2023-01-29 cs.CV
Shape-Pose Disentanglement using SE(3)-equivariant Vector Neurons
Tel Aviv University（特拉维夫大学）；Hebrew University of Jerusalem（希伯来大学）
我们引入了一个无监督的技术编码点云到一个规范的形状表示，通过解开形状和姿势。我们的编码器是稳定和一致的，这意味着形状编码是纯粹的姿势不变的，而提取的旋转和平移能够语义对齐同一类的不同输入形状到一个共同的规范姿势。具体来说，我们设计了一个自动编码器的基础上，矢量神经元网络，旋转等变神经网络，其层，我们扩展到提供除了旋转等方差的旋转等方差。由此产生的编码器产生的姿势不变的形状编码的建设，使我们的方法专注于学习一个一致的规范构成的一类对象。定量和定性实验验证了我们的方法优越的稳定性和一致性。
2022-04-03 cs.CV
Introducing Pose Consistency and Warp-Alignment for Self-Supervised 6D Object Pose Estimation in Color Images
Imperial College London（帝国理工学院）；Niantic（尼安蒂克）；KAIST（韩国科学技术院）
用于估计对象的6D姿态的最成功的方法通常通过用真实世界图像中的注释姿态来监督学习来训练神经网络。这些注释通常是昂贵的，以获得和一个共同的解决方案是生成和训练合成场景，与有限的泛化的缺点时，模型部署在现实世界中。在这项工作中，提出了一个两阶段的6D对象姿态估计框架，可以应用于现有的基于神经网络的方法之上，并且不需要对真实图像进行姿态注释。第一个自监督阶段加强了渲染预测和真实输入图像之间的姿势一致性，缩小了两个域之间的差距。第二阶段通过在成对的不同对象视图之间实施光度一致性来微调先前训练的模型，其中一个图像被扭曲和对齐以匹配另一个的视图，从而实现它们的比较。在缺乏真实图像注释和深度信息的情况下，与仅在合成数据，领域自适应基线和LINEMOD，LINEMOD OCCLUSION和HomebrewedDB数据集上的并发自监督方法上训练的方法相比，在两种最近方法的基础上应用所提出的框架可以获得最先进的性能。
2020-10-16 cs.CV
Learning a Disentangled Embedding for Monocular 3D Shape Retrieval and Pose Estimation
National University of Singapore（新加坡国立大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Saarland Informatics Campus（萨尔兰信息学园区）
本文提出了一种新的方法来从单目图像中联合进行3D形状检索和姿态估计，为了使该方法对真实世界的图像变化（例如复杂的纹理和背景）具有鲁棒性，我们从3D数据中学习一个只包含相关信息（即形状和姿态）的嵌入空间。我们的方法明确地解开一个形状矢量和姿态矢量，这两个姿态偏置的3D形状检索和分类偏置的姿态估计。然后，我们训练一个CNN来将图像映射到这个嵌入空间，然后从数据库中检索最接近的3D形状并估计对象的6D姿态。我们的方法在Pascal 3D+数据集上实现了10.3的姿态估计中值误差和0.592的类别不可知3D对象检索的top-1准确度，在这两项任务上都优于以前的最先进的方法。
2019-03-26 cs.CV
Development of An Android Application for Object Detection Based on Color, Shape, or Local Features
Benha University（本哈大学）；King Abdulaziz University（阿卜杜勒阿齐兹国王大学）
目标检测和识别是计算机视觉应用中的一项重要任务。本文使用Eclipse IDE和OpenCV 3库开发了一个Android应用程序。此应用程序能够检测从移动画廊加载的图像中的对象，基于其颜色，形状或局部特征。图像在HSV颜色域中进行处理，以获得更好的颜色检测。圆形形状的检测使用圆形Hough变换和其他形状的检测使用道格拉斯-Peucker算法。BRISK（binary robust invariant scalable keypoints）局部特征应用于Android应用程序中，用于匹配场景图像中的目标图像。文中描述了所提出的检测算法的步骤，并举例说明了应用程序的接口。该应用程序在Galaxy S3，S6和Note 1智能手机上移植和测试。实验结果表明，该应用程序能够检测11种不同的颜色，检测圆形、矩形、三角形和正方形等二维的几何形状，并在不同条件下正确匹配目标和场景图像的局部特征。该应用程序可以用作独立的应用程序，或者作为另一个应用程序的一部分，例如机器人系统、交通系统、电子学习应用程序、信息检索等。
2017-03-10 cs.CV
THOR2: Topological Analysis for 3D Shape and Color-Based Human-Inspired Object Recognition in Unseen Environments
University of Washington（华盛顿大学）
THOR2提出基于3D形状与颜色的TOPS2描述符及识别框架，利用拓扑软聚类和颜色嵌入，在真实世界杂乱场景中显著提升识别准确率，优于前身THOR及深度学习基线。
2024-12-14 cs.CV
Multi-view Consistency as Supervisory Signal for Learning Shape and Pose Prediction
University of California, Berkeley（加州大学伯克利分校）
我们提出了一个学习单视图形状和姿势预测的框架，而不使用直接监督。我们的方法允许在训练期间利用来自未知姿势的多视图观察作为监督信号。我们提出的训练设置强制执行来自同一实例的两个视图的独立预测的形状和姿势之间的几何一致性。因此，我们学习预测形状的紧急规范（视图不可知）框架以及相应的姿势预测。我们使用ShapeNet数据集展示了实证和定性结果，并观察到与依赖更强监管形式的先前技术相比具有竞争力的性能。我们还展示了我们的框架在现实环境中的适用性，这超出了现有技术的范围：使用由在线产品图像组成的训练数据集，其中潜在的形状和姿势是未知的。
2018-04-24 cs.CV
Human Head Pose Estimation by Facial Features Location
University of Maryland（马里兰大学）
我们描述了一种方法，用于估计人的头部姿势在彩色图像中，包含足够的信息来定位头部轮廓和检测非平凡的颜色边缘的个人面部特征。该方法的工作原理是通过在任意背景上定位人的头部，提取头部轮廓，并在3D空间中定位描述头部方向所需的面部特征。它是足够强大的工作与彩色和灰度图像具有准正面视图的人的头部在可变的照明条件下。
2015-10-09 cs.CV
Probabilistic 3D Human Shape and Pose Estimation from Multiple Unconstrained Images in the Wild
University of Cambridge（剑桥大学）
本文研究了从RGB图像中估计三维人体形状和姿态的问题。该领域的最新进展集中在单图像、视频或多视图图像作为输入。相比之下，我们提出了一个新的任务：从一组多个图像的人类主体的形状和姿态估计，不受约束的主题姿势，相机的观点或背景条件之间的图像组。我们的解决方案，这个任务预测分布在SMPL的身体形状和姿势参数的输入图像组中的条件。我们从每个图像中概率地组合预测的体型分布，以获得最终的多图像形状预测。我们发现，多图像输入组中存在的额外的体形信息与SSP-3D数据集和磁带测量的人类的私人数据集上的单图像输入相比，提高了3D人体形状估计指标。此外，预测3D物体上的分布使我们能够量化姿态预测的不确定性，这在面对具有显著遮挡的具有挑战性的输入图像时非常有用。我们的方法在3DPW数据集上展示了有意义的姿势不确定性，并且在姿势估计度量方面与最先进的方法具有竞争力。
2021-03-30 cs.CV
MobilePose: Real-Time Pose Estimation for Unseen Objects with Weak Shape Supervision
Google Research（谷歌研究院）
在本文中，我们解决的问题，从RGB图像中检测看不见的对象，并估计其构成的3D。我们提出了两个移动友好的网络：MobilePose-Base和MobilePose-Shape。前者用于只有姿态监督时，后者用于形状监督可用的情况下，即使是弱监督。我们重新审视以前的方法中使用的形状特征，包括分割和坐标映射。我们解释了像素级形状监督何时以及为什么可以改善姿势估计。因此，我们在MobilePose-Shape中添加了形状预测作为中间层，并让网络从形状中学习姿势。我们的模型是在混合真实和合成数据上训练的，具有弱和噪声形状监督。它们超轻，可以在现代移动设备上实时的【形】运行（例如Galaxy S20上的36 FPS）。与以往的单次求解方法相比，该方法具有更高的精度，同时使用了一个显着较小的模型（模型大小或参数数量的2~3%）。
2020-03-07 cs.CV
Face Recognition using 3D Facial Shape and Color Map Information: Comparison and Combination
National Institute of Standards and Technology（美国国家标准与技术研究院）
在本文中，我们研究使用三维表面几何人脸识别，并比较它的基础上的彩色地图信息。3D表面和彩色地图数据来自CAESAR人体测量数据库。我们发现，使用主成分分析算法的3D表面和彩色地图信息之间的识别性能并没有很大的差异。我们还讨论了不同的技术相结合的三维表面和彩色地图信息的多模态识别，通过使用不同的融合方法，并表明有显着的改善结果。各种技术的有效性进行了比较和评估的数据集与200名受试者在两个不同的位置。
2011-05-13 cs.CV
Unsupervised Shape and Pose Disentanglement for 3D Meshes
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
人、脸、手和动物的参数化模型已经被广泛用于一系列任务，例如基于图像的重建、形状对应估计和动画。它们的关键优势是能够将曲面变化因素转化为形状和姿势相关组件。学习这样的模型需要大量的专业知识和手工定义的对象特定的约束，使得学习方法无法扩展到新的对象。在本文中，我们提出了一个简单而有效的方法来学习解开形状和姿势表示在无监督的设置。我们使用自一致性和交叉一致性约束的组合来学习姿势和形状空间从注册的网格。我们还将尽可能刚性变形（ARAP）纳入训练循环中，以避免退化的解决方案。我们证明了有用的学习表示通过一些任务，包括姿势转移和形状检索。在3D人体、人脸、手和动物数据集上的实验证明了该方法的通用性。代码可在https://virtualhumans.mpi-inf.mpg.de/unsup_shape_pose/上获得。
2020-07-22 cs.CV
Synthetic Training for Accurate 3D Human Pose and Shape Estimation in the Wild
University of Cambridge（剑桥大学）
本文讨论了从RGB图像中估计单目三维人体形状和姿态的问题。尽管在姿势预测准确性方面在该领域中取得了很大进展，但是最先进的方法通常预测不准确的身体形状。我们认为，这主要是由于缺乏在野外训练数据与多样化和准确的身体形状标签。因此，我们提出了STRAPS（合成训练真正准确的姿势和形状），一个系统，利用代理表示，如剪影和2D关节，作为输入到一个形状和姿势回归神经网络，这是训练与合成训练数据（在训练过程中使用SMPL统计身体模型），以克服数据稀缺。我们通过在训练过程中使用数据增强和腐败，弥合了合成训练输入和噪声真实输入之间的差距，这些输入在测试时由关键点检测和分割CNN预测。为了评估我们的方法，我们策划并提供了一个具有挑战性的评估数据集，用于单目人体形状估计，运动形状和姿势3D（SSP-3D）。它由具有各种体型的紧身衣运动员的RGB图像和相应的伪地面实况SMPL形状和姿势参数组成，这些参数是通过多帧优化获得的。我们表明，STRAPS在形状预测准确性方面优于SSP-3D上的其他最先进方法，同时在以姿势为中心的数据集和指标方面与最先进方法保持竞争力。
2020-09-22 cs.CV
Learning Canonical Shape Space for Category-Level 6D Object Pose and Size Estimation
National University of Defense Technology（国防科技大学）
我们提出了一种新的方法，类别级的6D对象的姿态和大小估计。为了解决类内形状变化，我们学习规范形状空间（CASS），这是某个对象类别的大量实例的统一表示。特别地，CASS被建模为具有归一化姿态的规范3D形状的深度生成模型的潜在空间。我们训练一个变分自动编码器（VAE），用于从RGBD图像生成正则空间中的3D点云。VAE以跨类别的方式进行训练，利用公开的大型3D形状库。由于3D点云是以标准化姿态（具有实际大小）生成的，因此VAE的编码器学习视图分解的RGBD嵌入。它将任意视角下的RGBD图像映射为姿态无关的3D形状表示。然后通过将其与用单独的深度神经网络提取的输入RGBD的姿态相关特征进行对比来估计对象姿态。我们将CASS的学习以及姿态和大小估计集成到一个端到端的可训练网络中，实现了最先进的性能。
2021-11-21 cs.CV
Generative Modeling of Shape-Dependent Self-Contact Human Poses
Codec Avatars Lab, Meta（Meta 形态生成实验室）；The University of Tokyo（东京大学）；KAIST（韩国科学技术院）
针对自接触姿态与体型关联数据不足的问题，本文构建Goliath-SC数据集，并提出体型条件化的部位级潜在扩散自接触先验，用于提升单视图姿态估计。
2025-09-27 cs.CV
Learning Body Shape and Pose from Dense Correspondences
CNRS-AIST JRL（法国国家科学研究中心-日本产业技术综合研究所联合机器人实验室）
在本文中，我们解决了从2D图像数据集学习3D人体姿势和身体形状的问题，而不必使用3D数据集（身体形状和姿势）。这个想法是使用图像点和身体表面之间的密集对应关系，可以在野外2D图像上进行注释，并从中提取和聚合3D信息。为此，我们提出了一种名为"变形和学习”的训练策略，在该策略中，我们交替进行可变形表面配准和深度卷积神经网络（ConvNets）的训练。与以前的方法不同，我们的方法不需要从运动捕捉（MoCap）系统或人为干预来验证3D姿态注释的3D姿态注释。
2019-07-27 cs.CV
DISP6D: Disentangled Implicit Shape and Pose Learning for Scalable 6D Pose Estimation
The University of Hong Kong（香港大学）；Brown University（布朗大学）；Microsoft Research Asia（微软亚洲研究院）；Centre for Garment Production Limited, Hong Kong（香港成衣生产中心有限公司）；SUSTech（南方科技大学）；Texas A&M University（德克萨斯农工大学）
从RGB图像中对刚性物体进行可伸缩的6D姿态估计旨在处理多个物体并推广到新物体。建立在一个著名的自动编码框架，以应付对象的对称性和缺乏标记的训练数据，我们实现了可扩展性，通过解开自动编码器的潜在表示到形状和姿态子空间。潜在的形状空间模型的相似性不同的对象，通过对比度量学习，和潜在的姿势代码进行比较，旋转检索。由于不同的对象对称性诱导不一致的潜在姿态空间，我们重新纠缠的形状表示与规范旋转生成形状相关的姿态码本旋转检索。我们展示了两个基准测试的最先进的性能，分别包含无纹理的CAD对象，没有类别和日常对象的类别，并通过扩展到更具有挑战性的设置跨类别的日常对象，进一步证明了改进的可扩展性。
2022-07-21 cs.CV
D-PoSE: Depth as an Intermediate Representation for 3D Human Pose and Shape Estimation
University of Crete（克里特大学）；Institute of Computer Science, FORTH（FORTH计算机科学研究所）
本研究提出单阶段3D人体姿态与形状估计方法D-PoSE，以深度图为中间表示，用合成数据深度监督训练，在EMDB、3DPW基准上达SOTA，轻量CNN架构优于参数量高近一个量级的ViT模型。
2024-10-07 cs.CV
Learning to Estimate Pose and Shape of Hand-Held Objects from RGB Images
KTH（瑞典皇家理工学院）；Stanford University（斯坦福大学）
我们开发了一个系统，从RGB图像，显示了一只手，这是持有一个新的对象从一个已知的类别在3D建模手对象的相互作用。我们设计了一个卷积神经网络（CNN）用于手持物体的姿态和形状估计，称为HOPS-Net，并利用以前的工作来估计手的姿态和配置。我们利用的洞察力，手的信息，促进对象的姿态和形状的估计，将手到对象的姿态和形状的训练和推理，以及估计的姿态的细化。该网络在与人手交互的对象的大型合成数据集上进行训练。为了弥合真实图像和合成图像之间的差距，我们采用了一种图像到图像的转换模型（增强CycleGAN），该模型在合成渲染的情况下生成逼真的纹理对象。这提供了一种可扩展的方法来生成用于训练HOPS-Net的注释数据。我们的定量实验表明，即使是嘈杂的手参数显着帮助对象的姿态和形状估计。定性的实验结果表明，由一只手“在野外”举行的对象的姿态和形状估计。
2019-11-11 cs.CV
PSVT: End-to-End Multi-person 3D Pose and Shape Estimation with Progressive Video Transformers
University of Science and Technology Beijing（北京科技大学）；University of Sydney（悉尼大学）；Beijing Engineering Research Center of Industrial Spectrum Imaging（北京工业光谱成像工程研究中心）；Baidu（百度）
现有的多人视频3D人体姿态和形状估计（PSE）方法通常采用两阶段策略，首先检测每帧中的人体实例，然后利用时间模型进行单人PSE。然而，空间实例之间的全局时空上下文不能被捕获。在本文中，我们提出了一个新的端到端的多人三维姿态和形状估计框架与渐进视频Transformer，称为PSVT。在PSVT中，时空编码器（STE）捕获空间对象之间的全局特征依赖关系。然后，时空姿态解码器（STPD）和形状解码器（STSD）分别捕获姿态查询和特征令牌，形状查询和特征令牌之间的全局依赖关系。为了处理随着时间的推移，对象的变化，一种新的渐进解码方案被用来更新姿态和形状查询在每帧。此外，我们提出了一种新的姿态引导注意力（PGA）的形状解码器，以更好地预测形状参数。这两个组件加强了PSVT的解码器，以提高性能。在四个数据集上的大量实验表明，PSVT达到了最先进的结果。
2023-03-16 cs.CV
Bimodal Stereo: Joint Shape and Pose Estimation from Color-Depth Image Pair
Xi’an Jiaotong University（西安交通大学）；Northwestern University（西北大学）；HERE Technologies（HERE技术公司）
彩色相机和深度相机之间的相互校准是多模态数据配准中具有挑战性的课题。在本文中，我们面临着一个“双峰立体”的问题，其目的是解决相机的姿态从一对未校准的彩色图像和深度图从不同的意见自动。为了解决这个问题，提出了一种迭代的形状从阴影（SfS）为基础的框架，同时估计形状和姿态。在流水线中，通过来自估计姿态下的给定深度图的形状先验来细化估计形状。同时，通过估计的形状和来自给定深度图的形状的配准来改进估计的姿态。我们还在流水线中引入了基于着色的细化，以解决具有孔的噪声深度图。大量的实验表明，通过我们的方法，深度图，恢复的形状以及它的姿态可以理想地细化和恢复。
2019-05-16 cs.AI cs.CV
TransPoser: Transformer as an Optimizer for Joint Object Shape and Pose Estimation
Kyoto University（京都大学）
我们提出了一种新的方法联合估计的形状和姿势的刚性物体从他们的顺序观察RGB-D图像。与过去依赖于复杂非线性优化的方法形成鲜明对比，我们建议将其制定为学习有效估计形状和姿势的神经优化。我们引入了深度方向距离函数（DeepDDF），这是一种神经网络，在给定相机视点和观看方向的情况下直接输出对象的深度图像，用于在2D图像空间中进行有效的误差计算。我们将联合估计本身公式化为我们称为TransPoser的Transformer。我们充分利用标记化和多头注意力来顺序地处理不断增长的观察集，并分别利用学习到的动量有效地更新形状和姿势。在合成数据和真实数据上的实验结果表明，DeepDDF作为类别级对象形状表示实现了高精度，而TransPoser在联合形状和姿态估计方面有效地实现了最先进的精度。
2023-03-23 cs.CV
Person Re-identification Based on Color Histogram and Spatial Configuration of Dominant Color Regions
KIM IL SUNG University（金日成大学）
需要确定是否已经通过视频监控系统中的摄像机网络观察到给定的感兴趣的人。由于光照、姿态和视点、摄像机参数的不同，在一个摄像机中获得的人的外观通常不同于在另一个摄像机中获得的人的外观。与基于外观的身份重新识别方法相关，提出了一种基于人体部位主色直方图和主色区域空间结构的身份重新识别方法。基于主色描述符（DCD）的主色直方图和主色区域的空间配置可以被认为对光照和姿态、视点变化具有鲁棒性。该方法使用基准视频数据集进行评估。使用累积匹配特征（CMC）曲线的实验结果表明，我们的方法的有效性的人重新识别。
2014-11-13 cs.CV
Shape-Constraint Recurrent Flow for 6D Object Pose Estimation
Xidian University（西安电子科技大学）；MagicLeap（MagicLeap公司）
提出形状约束循环匹配框架，利用姿态诱导流嵌入3D形状信息，循环优化光流与姿态，在三个6D姿态数据集上显著提升精度与效率。
2023-06-23 cs.CV
Polarization Human Shape and Pose Dataset
University of Alberta（阿尔伯塔大学）；Simon Fraser University（西蒙弗雷泽大学）；School of Automation, China University of Geosciences（中国地质大学自动化学院）；University of Guelph（圭尔夫大学）
偏振图像能够捕获偏振反射光，保留物体的丰富几何线索，这促使其最近在重建感兴趣的物体的详细表面法线中的应用。同时，受最近从单色图像中估计人体形状的突破的启发，我们试图研究偏振相机的几何线索是否可以用于估计详细的人体形状的新问题。这导致了Polarization Human Shape and Pose Dataset（PHSPD）的策展，这是我们自主开发的各种人体形状和姿势的偏振图像数据集。
2020-07-29 cs.CV
Contributions of Shape, Texture, and Color in Visual Recognition
University of Southern California（南加州大学）
我们研究了人类视觉系统（HVS）的三个重要特征形状、纹理和颜色对目标分类的贡献。我们建立了一个类人视觉引擎（HVE），明确和单独计算的形状，纹理和颜色特征的图像。然后将得到的特征向量连接起来以支持最终的分类。我们表明，HVE可以总结和排名顺序的贡献，这三个功能的对象识别。我们使用人体实验来证实HVE和人类都主要使用一些特定的特征来支持特定类别的分类（例如，纹理是区分斑马与其他四足动物的主要特征，无论是对于人类还是HVE）。在HVE的帮助下，给定任何环境（数据集），我们可以总结整个任务的最重要特征（特定于任务;例如，颜色是对CUB数据集的分类而言最重要的总体特征），并且对于每个类（类特定的;例如，形状是iLab-20 M数据集中识别船只的最重要特征）。为了证明HVE的更多有用性，我们用它来模拟人类在没有属性标签的情况下的开放世界零样本学习能力。最后，我们表明，HVE也可以模拟人类的想象能力与不同的功能组合。我们将开源HVE引擎和相应的数据集。
2022-07-19 cs.CV
Semi-Supervised 3D Hand Shape and Pose Estimation with Label Propagation
ANU（澳大利亚国立大学）；ACRV（澳大利亚机器人视觉中心）
为了获得3D注释，我们被限制在受控环境或合成数据集，导致我们获得对真实世界场景具有较低概括性的3D数据集。为了在半监督3D手部形状和姿势估计的背景下解决这个问题，我们提出了Pose对齐网络，以将3D注释从标记的帧传播到稀疏注释视频中的附近未标记的帧。我们表明，将对齐监督对标记的未标记的帧，使我们能够提高姿态估计的准确性。此外，我们表明，建议的姿势对齐网络可以有效地传播注释看不见的稀疏标记的视频，而无需微调。
2021-11-30 cs.CV
A generalized parametric 3D shape representation for articulated pose estimation
Oklahoma State University（俄克拉荷马州立大学）
我们提出了一种新的参数化的3D形状表示，广义高斯和（G-SoG），这是特别适合于关节连接的对象的姿态估计。与原始的高斯和（SoG）相比，G-SoG可以处理各向同性和各向异性高斯，从而导致更灵活和适应性更强的形状表示，但涉及的各向异性高斯少得多。通过将G-SoG嵌入到树结构骨架模型中来表示铰接对象，可以开发铰接形状模板。我们进一步推导出G-SoG（模板）和SoG（观测数据）之间的可微相似性函数，该函数可以通过分析进行优化以实现有效的姿态估计。在标准人体姿态估计数据集上的实验结果表明，G-SoG比原始SoG的有效性和优势，以及与最近使用更复杂的形状模型的算法相比的承诺。
2018-03-05 cs.CV
Hierarchical Kinematic Probability Distributions for 3D Human Shape and Pose Estimation from Images in the Wild
University of Cambridge（剑桥大学）
本文讨论了从RGB图像中估计三维人体形状和姿态的问题。这通常是一个不适定的问题，因为多个看似合理的3D物体可能匹配输入中存在的视觉证据-特别是当主体被遮挡时。因此，期望估计以输入图像而不是单个3D重建为条件的3D身体形状和姿势上的分布。我们训练深度神经网络来估计相对3D关节旋转矩阵（即身体姿势）上的分层矩阵Fisher分布，其利用人体的运动学树结构以及SMPL体形参数上的高斯分布。为了进一步确保预测的形状和姿态分布与输入图像中的视觉证据相匹配，我们实现了可微分拒绝采样器，以在地面真实2D联合坐标和投影到图像平面上的预测分布的样本之间施加重投影损失。我们表明，我们的方法在SSP-3D和3DPW数据集上的3D形状和姿势度量方面与最先进的方法具有竞争力，同时还产生了3D身体形状和姿势的结构化概率分布，我们可以有意义地量化预测不确定性并对多个合理的3D重建进行采样以解释给定的输入图像。代码可在https://github.com/akashsengupta1997/HierarchicalProbabilistic3DHuman上获得。
2022-11-23 cs.CV
Investigating the Importance of Shape Features, Color Constancy, Color Spaces and Similarity Measures in Open-Ended 3D Object Recognition
Shahrekord University（沙赫雷克德大学）；University of Groningen（格罗宁根大学）
尽管最先进的3D物体识别方法最近取得了成功，但服务机器人在以人为中心的真实环境中经常无法识别许多物体。对于这些机器人来说，物体识别是一项具有挑战性的任务，因为在不断变化和不可预测的环境条件下对准确和实时响应的要求很高。大多数最近的方法要么只使用形状信息，而忽略颜色信息的作用，反之亦然。此外，它们主要利用$L_n$ Minkowski族函数来度量两个对象视图的相似性，而存在各种适用于比较两个对象视图的距离度量。在本文中，我们探讨的重要性，形状信息，颜色恒定性，颜色空间，和各种相似性的措施，在开放式的三维物体识别。为了实现这一目标，我们广泛评估的对象识别方法在三种不同的配置，包括\textit{color-only}，\textit{shape-only}，和\textit{ combinations of color and shape}，在离线和在线设置的性能。实验结果表明，所有的\textit{combinations of color and shape}产生的\textit{shape-only}和\textit{color-only}方法的可扩展性，内存使用和对象识别性能的显着改善。其根本原因是，颜色信息是区分具有非常相似的几何属性的不同颜色的对象的重要特征，反之亦然。此外，通过结合颜色和形状的信息，我们证明了机器人可以学习新的对象类别，从非常少的训练样本在现实世界的设置。
2020-09-26 cs.CV cs.RO
SSP-Pose: Symmetry-Aware Shape Prior Deformation for Direct Category-Level Object Pose Estimation
Google（谷歌）；Technical University of Munich（慕尼黑工业大学）；Tsinghua University（清华大学）
由于类内形状的变化，类别级姿态估计是一个具有挑战性的问题。最近的方法使预先计算的形状先验变形，以将观察到的点云映射到归一化的对象坐标空间中，然后经由后处理来检索姿态，即，Umeyama算法这种两阶段策略的缺点在于两个方面：1）对中间结果的代理监督不能直接指导位姿的学习，导致后处理后的位姿误差较大。2)推理速度受到后处理步骤的限制。在本文中，为了解决这些缺点，我们提出了一种用于类别级姿态估计的端到端可训练网络SSP-Pose，该网络将形状先验集成到直接姿态回归网络中。SSP-Pose在一个共享的特征提取器上堆叠了四个独立的分支，其中两个分支用于变形并将先验模型与观察到的实例匹配，另外两个分支用于直接回归总共9个自由度的姿态，并分别执行对称重建和逐点内点掩模预测。然后自然地利用一致性损失项来调整不同分支的输出并提高性能。在推断期间，仅需要直接姿态回归分支。通过这种方式，SSP-Pose不仅可以学习类别级别的姿势敏感特征以提高性能，还可以保持实时推理速度。此外，我们利用每个类别的对称信息来指导形状先验变形，并提出了一种新的感知损失，以减轻匹配的二义性。在公共数据集上进行的大量实验表明，与竞争对手相比，SSP-Pose的实时推理速度约为25 Hz，性能优越。
2022-08-13 cs.CV
Robust pose tracking with a joint model of appearance and shape
Brown University（布朗大学）
我们提出了一种新的方法，用于估计的二维姿态的铰接对象的应用程序自动视频分析的小实验室动物。我们已经发现，为人类开发的可变形部件模型，例如柔性混合部件（FMP）模型，通常在挑战动物姿势时失败。我们认为，除了编码外观和空间关系，形状是需要克服缺乏独特的地标实验室动物的身体。在我们的方法中，形状一致的FMP（scFMP）模型计算有前途的姿势候选人后，一个标准的FMP模型被用来快速丢弃错误的部分检测。这种“级联”方法结合了空间关系、外观和形状表示的相对优势，并显示出比原始FMP模型以及具有代表性的深度神经网络基线有显著改进。
2018-06-28 cs.CV
LASOR: Learning Accurate 3D Human Pose and Shape Via Synthetic Occlusion-Aware Data and Neural Mesh Rendering
Hangzhou Dianzi University（杭州电子科技大学）；University of Yamanashi（山梨大学）
人体姿态和形状估计任务中的一个关键挑战是遮挡，包括自遮挡、物体-人体遮挡和人与人之间的遮挡。缺乏多样且准确的姿势和形状训练数据成为主要瓶颈，特别是对于野外具有遮挡的场景。在本文中，我们专注于估计的人的姿态和形状的情况下，人之间的闭塞，同时也处理对象的人闭塞和自闭塞。我们提出了一个新的框架，综合闭塞感知剪影和2D关键点数据，并直接回归到SMPL姿态和形状参数。利用神经3D网格渲染器来实现动态轮廓监督，这有助于形状估计的极大改进。此外，关键点和轮廓驱动的训练数据在全景视点合成，以弥补缺乏任何现有的数据集的视点多样性。实验结果表明，我们是国家的最先进的3DPW和3DPW-Crowd数据集的姿态估计精度方面。该方法在形状估计方面明显优于Mesh Transformer、3DCrowdNet和ROMP。SSP-3D在形状预测精度方面也达到了最高性能。演示和代码将在https://igame-lab.github.io/LASOR/上提供。
2022-01-29 cs.CV
Pose and Shape Estimation with Discriminatively Learned Parts
University of Pennsylvania（宾夕法尼亚大学）
我们介绍了一种新的方法来估计的3D姿态和3D形状的对象从一个单一的图像。给定视图样本的训练集，我们学习并选择基于外观的区分部分，这些区分部分通过设施位置优化从训练集中映射到3D模型上。3D模型的训练集被概括为一组稀疏的形状，我们可以通过线性组合来概括。给定一个测试图片，我们检测每个部分的假设。主要的挑战是从这些假设中进行选择，并同时计算3D姿态和形状系数。为了实现这一点，我们优化的功能，同时最大限度地减少几何重投影误差以及外观匹配的零件。我们应用交替方向乘法（ADMM），以最小化所得的凸函数。我们在细粒度3D汽车数据集上评估了我们的方法，该数据集在形状和姿态误差方面具有优异的性能。我们的主要和新颖的贡献是通过最大限度地提高几何和外观的兼容性，同时解决局部化，三维姿态和形状。
2015-02-01 cs.CV
3D Menagerie: Modeling the 3D shape and pose of animals
IMATI-CNR（意大利国家研究委员会应用数学与信息技术研究所）；University of Maryland（马里兰大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
在学习逼真的、有关节的人体3D模型方面已经做了大量的工作。相比之下，尽管有许多应用，但很少有这样的动物模型。主要的挑战是动物比人类更不合作。最好的人体模型是从数千个特定姿势的人的3D扫描中学习的，这对活体动物来说是不可行的。因此，我们从一小组任意姿势的玩具雕像的3D扫描中学习我们的模型。我们采用了一种新的基于部分的形状模型来计算初始注册的扫描。然后，我们规范化他们的姿势，学习统计形状模型，并一起优化配准和模型。通过这种方式，我们可以准确地对齐来自不同四足动物家族的动物扫描，这些动物具有非常不同的形状和姿势。通过注册到一个公共模板，我们学习了一个表示动物的形状空间，包括狮子，猫，狗，马，牛和河马。动物形状可以从模型中采样，摆姿势，动画，并适合数据。我们通过将其拟合到真实动物的图像（包括在训练中看不到的物种）来演示泛化。
2017-04-12 cs.CV
A novel joint points and silhouette-based method to estimate 3D human pose and shape
Lund University（隆德大学）
本文提出了一种新的方法，从稀疏视图图像的三维人体姿态和形状估计，使用关节点和轮廓，基于参数模型。首先，将参数模型拟合到通过基于深度学习的人体姿态估计估计的关节点。然后，我们提取之间的对应关系的参数化模型的姿态拟合和轮廓的2D和3D空间。在此基础上，构造了一种新的能量函数，并将其最小化以拟合参数化模型。我们的方法使用足够的形状信息，因为能量函数的轮廓是建立在2D和3D空间。这也意味着我们的方法只需要来自稀疏视图的图像，这平衡了所使用的数据和所需的先验信息。在合成数据和真实数据上的实验结果表明，该方法在人体姿态和形状估计上具有很好的性能。
2020-12-11 cs.CV
Three-D Safari: Learning to Estimate Zebra Pose, Shape, and Texture from Images "In the Wild"
IMATI-CNR（意大利国家研究委员会信息与远程技术研究所）；University of California, Berkeley（加州大学伯克利分校）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
我们提出了第一种从野外获取的图像中自动捕获动物3D姿势、形状和纹理的方法。特别是，我们专注于捕获的3D信息的Grevy的斑马从收集的图像的问题。格雷维斑马是非洲最濒危的物种之一，目前只剩下几千只。捕捉这些动物的形状和姿势可以为生物学家和环保主义者提供有关动物健康和行为的信息。与人类姿态、形状和纹理估计的研究相比，濒危物种的训练数据有限，动物处于具有遮挡的复杂自然场景中，它们自然地被包围，成群地行进，并且彼此看起来相似。为了克服这些挑战，我们将最近的SMAL动物模型集成到一个基于网络的回归管道中，我们对合成生成的图像进行端到端的训练，这些图像具有姿势、形状和背景变化。超越了最先进的人类形状和姿势估计方法，我们的方法在训练过程中学习了斑马的形状空间。仅使用光度损失从图像学习这样的形状空间是新颖的，并且该方法可以用于在具有有限3D监督的其他设置中学习形状。此外，我们将3D姿态和形状预测与纹理合成任务相结合，从单个图像中获得动物的完整纹理图。我们表明，预测的纹理映射允许一种新的每实例无监督优化的网络功能。这种方法SMALST（SMAL与学习的形状和纹理）超越了以前的工作，假设手动关键点和/或分割，直接从像素回归到3D动物形状，姿势和纹理。代码和数据可在https://github.com/silviazuffi/smalst上获得。
2019-09-17 cs.CV
Human Pose and Shape Estimation from Single Polarization Images
University of Alberta（阿尔伯塔大学）；University of Manitoba（曼尼托巴大学）
本文研究了一个新的问题，即从单偏振图像中估计人体的姿态和形状。已知偏振相机能够捕获保留物体表面的丰富几何线索的反射光的偏振。受偏振图像表面法线重建应用的启发，本文尝试利用偏振诱导的几何线索从单偏振图像中估计人体姿态和形状。提出了一个专用的两阶段流水线：给定一个单一的偏振图像，第一阶段（Polar 2Normal）专注于精细详细的人体表面法线估计;第二阶段（Polar 2Shape）然后从偏振图像和估计的表面法线重建穿着的人体形状。为了从经验上验证我们的方法，构建了一个专用数据集（PHSPD），由超过50万帧组成，具有准确的姿势和参数化形状注释。对这个真实世界的数据集以及合成数据集SURREAL的实证评估证明了我们方法的有效性。它建议偏振相机作为一个有前途的替代更传统的RGB相机的人体姿态和形状估计。
2022-03-22 cs.CV
Point Cloud Colorization Based on Densely Annotated 3D Shape Dataset
Nagoya University（名古屋大学）
本文介绍了DensePoint，一个密集采样和注释的点云数据集，包含16个类别的10，000多个单个对象，通过合并来自两个现有数据集的不同类型的信息。DensePoint中的每个点云包含40，000个点，每个点与两种信息相关联：RGB值和零件注释。此外，我们提出了一种利用生成对抗网络（GANs）的点云着色方法。该网络可以通过只给出点云本身来为单个对象的点云生成颜色。在DensePoint上的实验表明，在物体的不同部分之间的点云中存在清晰的边界，这表明所提出的网络能够生成相当好的颜色。我们的数据集在项目页面上公开提供。
2018-10-12 cs.CV
SHAPE: Linear-Time Camera Pose Estimation With Quadratic Error-Decay
0pt School of Computer
我们提出了一种新的摄像机姿态估计或透视n点（PPENS）算法，一致性区域和半空间相交的想法的基础上。我们的算法具有线性的时间复杂度和平方重建误差，减少至少二次方，作为特征点对应的数量增加。受三角测量和帧量化理论的启发，我们定义了一致性重建，然后提出了SHAPE，我们提出的一致性姿态估计算法。我们比较这个算法与国家的最先进的姿态估计技术的准确性和误差衰减率。实验结果验证了我们的假设最坏情况下的二次衰减，并证明其有前途的性能相比，其他方法。
2016-02-24 cs.CV
Shape-Aware Human Pose and Shape Reconstruction Using Multi-View Images
University of Maryland（马里兰大学）
我们提出了一个可扩展的神经网络框架，从多视角图像重建人体的三维网格，在SMPL模型的子空间。使用多视点图像可以显著降低投影模糊问题，提高服装下三维人体的重建精度。我们的实验表明，该方法受益于从我们的管道生成的合成数据集，因为它具有良好的变量控制的灵活性，并可以提供地面实况验证。我们的方法优于现有的方法对现实世界的图像，特别是形状估计。
2019-08-26 cs.CV
Diffusion-Driven Self-Supervised Learning for Shape Reconstruction and Pose Estimation
National University of Singapore（新加坡国立大学）；The University of Western Australia（西澳大学）
提出扩散驱动的自监督网络，利用形状先验实现多目标形状重建与类别级姿态估计，通过先验感知金字塔3D点变换器和预训练到精化范式，在多个数据集上超越现有方法。
2024-03-19 cs.CV
Object recognition through pose and shape estimation
School of Electronics Engineering, VIT University（VIT大学电子工程学院）
计算机视觉帮助机器或计算机像人一样看东西。计算机从图像中获取信息，然后从图像中理解有用的信息。手势识别和运动识别是当前计算机视觉的研究热点。对于手势和运动识别，发现对象的姿态是非常重要的。本文对基于形状、基于外观、基于特征的目标位姿提取方法进行了综述，并从精度、复杂度和性能等方面进行了比较
2020-06-23 cs.CV
Monocular Human Shape and Pose with Dense Mesh-borne Local Image Features
Inria（法国国家信息与自动化研究所）；Univ. Rennes（雷恩大学）；CNRS（法国国家科学研究中心）；IRISA（法国信息与随机系统研究所）；M2S（M2S实验室）
我们提出了改进基于图卷积的方法，用于从单目输入进行人体形状和姿态估计，使用像素对齐的局部图像特征。给定单个输入彩色图像，现有的基于图卷积网络（GCN）的用于人类形状和姿态估计的技术使用单个卷积神经网络（CNN）生成的全局图像特征，该全局图像特征等同地附加到所有网格顶点以初始化GCN阶段，该GCN阶段将模板T姿态网格变换为目标姿态。相比之下，我们第一次提出了使用每个顶点的局部图像特征的想法。这些特征是通过利用使用DensePose生成的像素到网格对应关系从CNN图像特征映射中采样的。我们对标准基准测试的定量和定性结果表明，使用局部特征改善了全局特征，并导致了与最先进技术相比具有竞争力的性能。
2021-11-11 cs.CV
Dessie: Disentanglement for Articulated 3D Horse Shape and Pose Estimation from Images
KTH（瑞典皇家理工学院）；Scania（斯堪尼亚公司）；SLU（瑞典农业科学大学）；IMATI-CNR（意大利国家研究委员会IMATI研究所）
针对动物3D形状姿态估计标注数据不足的问题，提出Dessie方法，通过合成数据流水线与解耦技术学习3D形状姿态回归，在马的重建上超越现有方法，还可泛化至其他大型动物。
2024-10-31 cs.CV
Shape Prior Deformation for Categorical 6D Object Pose and Size Estimation
我们提出了一种新的学习方法来从RGB-D图像中恢复看不见的对象实例的6D姿态和大小。为了处理类内形状变化，我们提出了一个深度网络，通过从预先学习的分类形状先验中显式地建模变形来重建3D对象模型。此外，我们的网络推断对象实例的深度观察与重建的3D模型之间的密集对应关系，以联合估计6D对象的姿态和大小。我们设计了一个自动编码器，它在一组对象模型上进行训练，并计算每个类别的平均潜在嵌入，以学习类别形状先验。在合成数据集和真实数据集上进行的大量实验表明，我们的方法明显优于现有技术。我们的代码可在https://github.com/mentian/object-deformnet上获得。
2020-07-16 cs.CV
Pose from Shape: Deep Pose Estimation for Arbitrary 3D Objects
LIGM (UMR 8049)（巴黎东部马恩河谷大学信息、信号与系统实验室（UMR 8049））；Ecole des Ponts ParisTech（巴黎路桥学院）；UPE（巴黎东大）
大多数深度姿态估计方法需要针对特定对象实例或类别进行训练。在这项工作中，我们提出了一种完全通用的深度姿态估计方法，它不需要网络在相关类别上进行训练，也不需要类别中的对象具有规范姿态。我们相信这是设计机器人系统的关键一步，这些机器人系统可以与野外不属于预定义类别的新物体进行交互。我们的主要见解是动态条件的姿态估计与目标对象的3D形状的表示。更准确地说，我们训练一个卷积神经网络，该网络将测试图像和3D模型两者作为输入，并输出输入图像中对象相对于3D模型的相对3D姿态。我们证明，我们的方法提高了标准基准，即Pascal 3D+，ObjectNet 3D和Pix 3D上的监督类别姿态估计的性能，我们提供的结果优于最先进的水平。更重要的是，我们展示了我们的网络训练于普通人-ShapeNet中的made对象通过在LINEMOD数据集上提供以下结果，无需任何额外训练即可推广到全新类型的3D对象以及自然实体，如ImageNet的动物。
2019-08-05 cs.CV
