Three-dimensional Simultaneous Shape and Pose Estimation for Extended Objects Using Spherical Harmonics
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Institute for Anthropomatics and Robotics（人机交互与机器人学研究所）
我们提出了一种新的递归方法同时估计的姿态和形状的三维扩展对象。所提出的方法的关键思想是使用球谐函数来表示对象的形状，类似于傅立叶级数可以在二维情况下使用的方式。这使我们能够推导出一个测量方程，可以在非线性滤波器（如UKF）的框架内使用。我们提供的新技术的模拟和实验评估。
2020-12-25 cs.CV cs.RO
Real-time Simultaneous Multi-Object 3D Shape Reconstruction, 6DoF Pose Estimation and Dense Grasp Prediction
Samsung AI Center NY（三星纽约人工智能中心）
提出一种实时同步方法，在避免顺序执行感知与抓取规划步骤的同时，为场景中所有物体提供3D形状、6DoF位姿、语义信息及可行抓取，在每秒30帧的推理速度下实现了与现有专用方法相媲美的性能。
2023-05-16 cs.AI cs.CV cs.LG
The challenge of simultaneous object detection and pose estimation: a comparative study
University of Alcalá（阿尔卡拉大学）
检测物体并估计其姿态仍然是计算机视觉研究界的主要挑战之一。在定位对象和估计它们的视点之间存在折衷。理想情况下，检测器需要是视图不变的，而姿态估计过程应该能够向类别级别泛化。这项工作是对使用深度学习模型同时解决这两个问题的探索。为此，我们提出了三种新的深度学习架构，它们能够执行联合检测和姿态估计，在这里我们逐渐将这两项任务解耦。我们还研究了姿态估计问题是否应该作为分类或回归问题来解决，这仍然是计算机视觉界的一个悬而未决的问题。我们详细介绍了我们所有的解决方案和方法，目前定义了这个问题的最先进的比较分析。我们使用PASCAL3D+和ObjectNet3D数据集，提出了全面的实验评估和主要结果。通过所提出的模型，我们在两个数据集中实现了最先进的性能。
2018-01-24 cs.CV
Snipper: A Spatiotemporal Transformer for Simultaneous Multi-Person 3D Pose Estimation Tracking and Forecasting on a Video Snippet
University of Alberta（阿尔伯塔大学）；Meta Reality Labs（Meta现实实验室）；Spree3D
本文提出Snipper统一框架，通过可变形注意力机制在单阶段内同时完成多人3D姿态估计、跟踪与运动预测，在三个公开数据集上表现媲美专门的最先进基线。
2023-09-12 cs.CV
Efficient Relative Pose Estimation for Cameras and Generalized Cameras in Case of Known Relative Rotation Angle
South Ural State University（南乌拉尔国立大学）；TrunkTech Co., Ltd.（创科有限公司）
我们提出了两个最小的解决方案的问题的相对姿态估计（i）校准相机从四个点在两个视图和（ii）校准广义相机从五个点在两个视图。在这两种情况下，假设视图之间的相对旋转角度是已知的。在实践中，这样的角度可以从3d陀螺仪的读数导出。我们表示的单位四元数的运动的旋转部分，以构建多项式方程编码的极线约束。然后使用格罗布纳基技术来有效地导出解决方案。我们的第一个常规相机求解器显著改进了现有的最先进的解决方案。广义相机的第二个求解器是新颖的。所提出的最小解算器可以用于假设和测试架构，如RANSAC可靠的姿态估计。在合成数据集和真实数据集上的实验表明，我们的算法是数值稳定，快速和鲁棒的。
2019-01-31 cs.CV
Simultaneous Multiple Object Detection and Pose Estimation using 3D Model Infusion with Monocular Vision
提出SMOPE-Net，通过单目视觉与3D模型注入实现多目标检测与位姿估计的同步神经建模，并构建KITTI-6DoF数据集，在多个基准上取得一致性能提升。
2024-12-22 cs.CV
Globally-Optimal Inlier Set Maximisation for Simultaneous Camera Pose and Feature Correspondence
Australian National University（澳大利亚国立大学）；Data61 – CSIRO（澳大利亚联邦科学与工业研究组织 Data61）
从单个图像相对于预先计算的3D点集估计相机的6-DoF姿态对于许多计算机视觉应用是重要的任务。视角n点（PSPs）求解器通常用于相机姿态估计，前提是预先知道一组高质量的2D-3D特征对应关系。然而，找到2D关键点和3D点集之间的最佳对应关系是不平凡的，特别是当仅知道几何（位置）信息时。现有的方法，同时构成和对应问题使用局部优化，因此不太可能找到最佳的解决方案，没有一个良好的姿势初始化，或引入限制性的假设。由于大部分离群值在这个问题中很常见，因此我们提出了一种全局最优的内点集基数最大化方法，该方法联合估计最佳相机姿态和最佳对应关系。我们的方法采用分支定界搜索的6D空间的相机构成，保证全局最优，而不需要一个姿势先验。SE（3）的几何结构用于找到内点数量的新的上界和下界，并集成了局部优化以加速收敛。评估经验支持的最优性证明，并表明，该方法比现有的方法，包括大规模的户外数据集上执行更强大。
2017-09-27 cs.CV cs.RO
3D Human Pose Estimation from a Single Image via Distance Matrix Regression
Institut de Robòtica i Informàtica Industrial (CSIC-UPC)（加泰罗尼亚高级科学研究研究所-加泰罗尼亚理工大学工业机器人技术研究所）
本文研究了从单幅图像中估计三维人体姿态的问题。我们遵循标准的两步流水线，首先检测$N$身体关节的2D位置，然后使用这些观察结果来推断3D姿态。对于第一步，我们使用最近的基于CNN的检测器。对于第二步，大多数现有方法执行笛卡尔关节坐标的2 $N$到3 $N$回归。我们表明，更精确的姿态估计，可以通过表示使用$N\times N$距离矩阵的2D和3D人体姿态，并制定一个2D到3D的距离矩阵回归的问题。为了学习这样的回归量，我们利用简单的神经网络架构，通过构造，强制预测矩阵的正性和对称性。该方法还具有自然处理缺失观测值的优点，并允许假设未观测到的关节的位置。在Humaneva和Human3.6M数据集上的定量结果表明，与最先进的数据集相比，性能得到了一致的提高。使用在Human3.6M上学习的回归量对LSP数据集的野生图像进行定性评估，显示出非常有希望的泛化结果。
2016-11-28 cs.CV
PoseFusion2: Simultaneous Background Reconstruction and Human Shape Recovery in Real-time
Shenzhen Institute of Artificial Intelligence and Robotics for Society（深圳人工智能与机器人研究院）；the Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；School of Science and Engineering, the Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）理工学院）；University of Edinburgh（爱丁堡大学）；The Alan Turing Institute（艾伦·图灵研究所）
包含非结构化移动对象的动态环境对同时定位与地图构建（SLAM）性能提出了难题。刚性物体的运动通常可以通过利用它们的纹理和几何特征来跟踪。然而，在场景中移动的人通常是最重要的交互目标之一-由于非刚性形状，他们很难鲁棒地跟踪和重建。在这项工作中，我们提出了一个快速的，基于学习的人体目标检测器分离的动态人体目标，并实现了实时的【形】密集背景重建框架。我们进一步估计和重建人体姿势和形状。最终输出的环境地图不仅提供了密集的静态背景，而且还包含了动态的人体网格及其轨迹。我们的动态SLAM系统在GPU上的运行速度约为每秒26帧（fps），同时还可以以高达10 fps的速度执行精确的人体姿势估计。
2021-08-02 cs.CV cs.RO
Simultaneous Hand Pose and Skeleton Bone-Lengths Estimation from a Single Depth Image
DFKI Kaiserslautern（德国人工智能研究中心凯泽斯劳滕）；NUST-SEECS（巴基斯坦国立科技大学电子工程与计算机科学学院）
关节手姿态估计是人机交互中一个具有挑战性的课题。最先进的手部姿势估计算法仅对一个或几个对象起作用，针对这些对象，手部姿势估计算法已经被校准或训练。特别地，基于学习、随后是模型拟合或基于模型的深度学习的混合方法没有明确地考虑变化的手的形状和大小。在这项工作中，我们介绍了一种新的混合算法，估计的3D手的姿势，以及骨骼长度的手骨架在同一时间，从一个单一的深度图像。所提出的CNN架构同时学习与骨骼长度相关的手部姿势参数和尺度参数。随后，一个新的混合正运动学层采用这两个参数来估计3D关节位置的手。对于端到端训练，我们将NYU、ICVL和MSRA-2015三个公共数据集结合在一个统一的格式中，以实现手形和大小的大变化。在混合方法中，我们的方法在组合数据集和包含多个主题的ICVL数据集上显示出比最先进的方法更高的准确性。此外，我们的算法被证明可以很好地与看不见的图像。
2017-12-08 cs.CV cs.HC
Pose Attention-Guided Profile-to-Frontal Face Recognition
West Virginia University（西弗吉尼亚大学）
近年来，由于深度学习架构的有前途的进步，人脸识别系统取得了非凡的成功。然而，他们仍然无法达到预期的准确性时，匹配的轮廓图像对画廊的正面图像。当前的方法或者执行姿态归一化（即，正面化）或解开用于面部识别的姿态信息。相反，我们提出了一种新的方法，利用姿态作为辅助信息，通过注意力机制。在本文中，我们假设，姿势出席信息使用的注意力机制可以指导上下文和独特的特征提取从侧面的脸，这进一步有利于更好的表示学习在嵌入式领域。为了实现这一点，首先，我们设计了一个统一的耦合侧面到正面人脸识别网络。它通过类特定的对比损失来学习从人脸到紧凑嵌入子空间的映射。其次，我们开发了一种新的姿态注意块（PAB），专门指导姿态不可知的特征提取从侧面的脸。更具体地说，PAB旨在明确地帮助网络关注通道和空间维度上的重要特征，同时在嵌入子空间中学习有区别但姿态不变的特征。为了验证我们所提出的方法的有效性，我们进行了控制和野生基准测试，包括多PIE，CFP，IJBC的实验，并显示出优于国家的艺术。
2022-09-15 cs.CV
Simultaneous 3D Object Segmentation and 6-DOF Pose Estimation
本文提出一种基于多任务CNN的单次方法，在纯三维点云中同时完成物体分割与六自由度位姿估计，并利用增强现实技术生成训练数据，在两个数据集上取得与最先进方法相当或更好的性能。
2024-11-25 cs.CV
Simultaneous Learning from Human Pose and Object Cues for Real-Time Activity Recognition
Colorado School of Mines（科罗拉多矿业学院）；U.S. Army Research Laboratory（美国陆军研究实验室）
实时的【形】人体活动识别在以人为中心的机器人应用中起着至关重要的作用，例如辅助生活和人机协作。虽然先前的基于骨架数据来编码人类姿势的方法在实时的【形】活动识别上显示出有希望的结果，但是它们缺乏考虑场景内的对象提供的上下文和人类使用的上下文的能力，这可以提供人类活动类别之间的进一步判别。在本文中，我们提出了一种新的方法来实时的【形】人类活动识别，通过同时学习从观察的人的姿势和对象参与的人类活动。我们将人体活动识别作为一个统一的数学框架下的联合优化问题，它使用一个回归类损失函数，以整合人体姿势和对象线索，并定义结构化的稀疏诱导规范，以确定歧视性的身体关节和对象属性。为了评估我们的方法，我们在两个基准数据集和一个物理机器人上进行了大量的实验。实验结果表明，该方法的识别性能优于以往的方法，并获得了实时的【形】人体活动识别性能，处理速度为10^4 Hz。
2020-03-26 cs.CV cs.RO
Simultaneous Semantic and Collision Learning for 6-DoF Grasp Pose Estimation
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Bytedance AI Lab（字节跳动人工智能实验室）；The Chinese University of Hong Kong（香港中文大学）
对于机器人来说，在复杂的场景中抓取一直是一个很大的挑战，这是因为机器人需要能够很好地理解场景和物体信息。以往的工作通常假设对象的几何信息是可用的，或者利用逐步的，多阶段的策略来预测可行的6自由度抓取位姿。在这项工作中，我们建议将6自由度抓取姿态估计正式化为同时多任务学习问题。在一个统一的框架中，我们共同预测可行的6-DoF把握姿势，实例语义分割和碰撞信息。整个框架是联合优化和端到端差异化的。我们的模型进行了评估，以及在大规模的基准和真正的机器人系统。在公共数据集上，我们的方法比现有的最先进的方法有很大的优势（+4.08 AP）。我们还展示了我们的模型在一个真正的机器人平台上的实现，并表明机器人可以准确地把握目标物体在混乱的情况下，具有很高的成功率。项目链接：https://openbyterobotics.github.io/sscl
2021-09-26 cs.CV cs.RO
Y-Net for Chest X-Ray Preprocessing: Simultaneous Classification of Geometry and Segmentation of Annotations
Duke University（杜克大学）
在过去的十年中，卷积神经网络（CNN）已经成为图像分类和分割的领先算法。最近出版的大型医学成像数据库加速了其在生物医学领域的应用。虽然用于照片分类的训练数据受益于积极的几何增强，但医学诊断-特别是在胸部X光照片中-更强烈地依赖于特征位置。诊断分类结果可以通过依赖于射线照相注释而被人为地增强。这项工作介绍了一个一般的预处理步骤，胸部X射线输入到机器学习算法。基于VGG 11编码器的改进的Y-Net架构用于同时学习胸部的几何方向（相似性变换参数）和射线照相注释的分割。胸部X线片来自已发表的数据库。该算法使用1000个带有增强的手动标记图像进行训练。结果由专家临床医生进行评价，95.8%的几何结构和96.2%的注释掩模（n=500）可接受，而对照图像（n=241）分别为27.0%和34.9%。我们假设这个预处理步骤将提高未来诊断算法的鲁棒性。
2020-05-08 cs.CV cs.LG eess.IV
Scene-level Pose Estimation for Multiple Instances of Densely Packed Objects
Rutgers University（罗格斯大学）
本文介绍了关键的机器学习操作，允许从RGB-D数据中实现密集堆积或非结构化堆中的多个对象实例的鲁棒的联合6D姿态估计。第一个目标是学习语义和实例边界检测器，而无需手动标记。对抗性训练框架与基于物理的模拟相结合，用于实现在合成数据和真实数据中表现相似的检测器。给定这样的检测器的随机输出，对象姿态的候选者被采样。第二个目标是自动学习每个姿势候选者的单个分数，该分数表示其通过梯度提升树解释整个场景的质量。所提出的方法使用来自表面和边界之间的对齐观察到的场景和对象模型放置在假设的姿势的功能。然后，通过整数线性规划过程来实现场景级的多实例姿态估计，该整数线性规划过程选择使所学习的个体分数的总和最大化的假设，同时尊重约束，例如避免碰撞。为了评估这种方法，收集了具有挑战性设置的密集包装对象的数据集，用于最先进的方法。在该数据集和公共数据集上的实验表明，该方法在仅使用合成数据集进行训练时，在6D姿态准确度方面显着优于其他方法。
2019-10-11 cs.CV cs.RO
SteerPose: Simultaneous Extrinsic Camera Calibration and Matching from Articulation
SteerPose提出一种受人类认知启发的神经网络，通过可微匹配统一框架同时完成多相机外参标定与跨视角对应搜索，并引入几何一致性损失，在人类和动物数据集上验证了有效性，且能重建新动物的3D姿态。
2025-08-07 cs.CV
An Intuitive and Unconstrained 2D Cube Representation for Simultaneous Head Detection and Pose Estimation
Shanghai Jiao Tong University（上海交通大学）；East China Normal University（华东师范大学）
最近的头部姿态估计（HPE）方法由欧拉角表示主导。为了避免其固有的模糊性问题的旋转标签，替代四元数为基础的和基于矢量的表示。然而，它们都不是视觉上直观的，并且经常来自模棱两可的欧拉角标签。在本文中，我们提出了一种新的单级基于关键点的方法，通过一个{ \it直观}和{ \it无约束}的2D立方体表示联合头部检测和姿态估计。2D立方体是大致围绕一个头部的3D正六面体标签的正交投影，并且其自身包含头部位置。它可以直接和明确地反映在任何旋转角度的头部方向。与一般的6-DoF对象姿态估计不同，我们的2D立方体忽略头部大小的3-DoF，但保留头部姿态的3-DoF。基于等边长的先验，我们可以毫不费力地从预测的2D头立方体获得欧拉角的封闭形式的解决方案，而不是应用容易出错的Pestrian算法。在实验中，我们提出的方法取得了可比的结果与其他代表性的方法在公共AFLW 2000和BIWI数据集。此外，一个新的测试CMU panoptic数据集表明，我们的方法可以无缝地适应无约束的全视图HPE任务，而无需修改。
2022-12-07 cs.CV
Simultaneous Recognition and Pose Estimation of Instruments in Minimally Invasive Surgery
University of Bern（伯尔尼大学）；École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；University College London（伦敦大学学院）；Bern University Hospital（伯尔尼大学医院）
在微创手术中，手术器械的检测在确保患者安全方面起着关键作用。在本文中，我们提出了一种新的方法，二维视觉为基础的识别和姿态估计的手术器械，推广到不同的手术应用。在其核心，我们提出了一种新的场景模型，以同时识别多个仪器以及它们的零件。我们使用卷积神经网络架构来体现我们的模型，并表明交叉熵损失非常适合优化其参数，这些参数可以以端到端的方式进行训练。我们的方法的另一个优点是，仪器检测在测试时实现，同时避免了规模依赖的滑动窗口评估的需要。这使得我们的方法在测试时相对无参数，并显示出良好的性能，仪器检测和跟踪。我们表明，我们的方法超越了最先进的结果在体内视网膜显微手术图像数据，以及离体腹腔镜序列。
2017-10-18 cs.CV
DeepSTEP: Simultaneous Tracking and Estimation of Pose for Animals and Humans
Indian Institute of Technology Gandhinagar（印度甘地讷格尔印度理工学院）；National Institutes of Health（美国国立卫生研究院）
该研究提出基于Transformer的STEP框架，通过GMSP和OMRA模块解决传统判别式模型需预定义目标状态的问题，无需逐帧检测即可同步跟踪并估计人/动物姿态，推理效率更高，在多物种数据集上表现优于现有方法。
2026-11-06 cs.CV
Shape Constrained CNN for Cardiac MR Segmentation with Simultaneous Prediction of Shape and Pose Parameters
KU Leuven（鲁汶大学）；UZ Leuven（鲁汶大学医院）
使用卷积神经网络（CNN）的语义分割是许多医学分割任务的最新技术，包括心脏MR图像中的左心室（LV）分割。然而，缺点是这些CNN缺乏明确的形状约束，偶尔会导致不切实际的分割。在本文中，我们执行LV和心肌分割的姿态和形状参数的回归来自统计形状模型。集成的形状模型使预测的分割规则化并保证真实的形状。此外，与语义分割相比，它允许直接计算区域测量，如心肌厚度。我们通过在训练过程中同时构建分割距离图来增强形状和姿态预测的鲁棒性。我们评估了所提出的方法在一个内部的临床数据集，共包含1539个划定的短轴切片覆盖LV从心尖到基底，并实现了99%的相关性为LV面积，94%的心肌面积，98%的LV尺寸和88%的区域壁厚的五重交叉验证。该方法还在LVQuan 18和LVQuan 19公共数据集上进行了验证，并获得了最先进的结果。
2020-10-18 cs.CV eess.IV
An Event-based Algorithm for Simultaneous 6-DOF Camera Pose Tracking and Mapping
Department of Electrical and Computer Engineering, Isfahan University of Technology（电子与计算机工程系，伊斯法罕理工大学）
本文提出一种基于事件相机的6自由度位姿跟踪与建图算法，通过自适应事件窗口生成运动补偿图像，并引入惯性版本，在公开数据集上取得与最先进方法相当或更优的精度。
2025-07-17 cs.CV
Improving 6D Pose Estimation of Objects in Clutter via Physics-aware Monte Carlo Tree Search
Rutgers University（罗格斯大学）
这项工作提出了一个过程，有效地搜索在混乱的场景中，特别是在涉及闭塞和对象相互依赖的情况下，各个对象的6D姿态假设的组合。候选对象姿态的初始集合由最先进的目标检测和全局点云配准技术生成。由于重叠和遮挡，使用这些技术的每个对象的最佳得分姿势可能不准确。尽管如此，本工作中提供的实验迹象表明，根据配准技术，具有较低排名的对象姿态可能比具有高排名的对象姿态更接近真实姿态。这激发了全局优化过程，通过考虑对象之间的场景级物理交互来改善这些姿势。它还意味着必须搜索交互对象的候选姿态的笛卡尔积，以便确定最佳场景级假设。为了有效地执行搜索，每个对象的候选姿势被聚类，以减少它们的数量，但仍然保持足够的多样性。然后，通过蒙特卡罗树搜索（MCTS）过程来执行对候选对象姿态的组合的搜索，该MCTS过程使用场景的观察到的深度图像与给定假设姿态的场景的渲染之间的相似性作为指导搜索过程的分数。MCTS通过使用置信上限（UCB）技术，以原则性的方式处理微调最有希望的姿势和探索新姿势之间的权衡。实验结果表明，这个过程是能够快速识别在混乱的场景中的物理一致的对象姿态，显着更接近地面实况相比，点云配准方法发现的姿态。
2017-10-24 cs.CV cs.RO
Virtual Inverse Perspective Mapping for Simultaneous Pose and Motion Estimation
Institute of Industrial Science, The University of Tokyo（东京大学工业科学研究所）；Faculty of Information Science and Technology, Hokkaido University（北海道大学信息科学与技术学院）；Information Technology Center, The University of Tokyo（东京大学信息技术中心）
我们提出了一个自动的方法对地面移动机器人安装单目相机的姿态和运动估计。该框架采用了半密集的方法，从基于特征的方法和基于图像配准的方法，通过设置多个补丁的图像位移计算，通过一个高度准确的图像配准技术的好处。为了提高精度，我们在细化步骤中引入虚拟逆透视映射（IPM），以消除透视对图像配准的影响。通过虚拟IPM的几何光束法平差公式，联合和鲁棒地估计位姿和运动。与传统的视觉里程计方法不同，所提出的方法是免费的累积误差，因为它直接估计的姿态和运动对地面利用安装在地面移动机器人的相机配置，其中相机的垂直运动是可伸缩的相比，其高度在帧间隔和附近的地面表面是近似平坦的。我们进行了实验，其中俯仰角和滚转角的相对平均误差约为1.0度，并且行进距离的绝对平均误差为0.3mm，即使在短时间内的相机抖动下。
2023-03-09 cs.CV cs.RO
Simultaneous Multi-View Camera Pose Estimation and Object Tracking with Square Planar Markers
Instituto Maimónides de Investigación Biomédica de Córdoba (IMIBIC)（科尔多瓦迈蒙尼德生物医学研究所）；Universidad de Córdoba（科尔多瓦大学）
对象跟踪是许多应用中的关键方面，例如医学中的增强现实（例如，跟踪手术器械）或机器人技术。方形平面标记已经成为流行的跟踪工具，因为它们的姿态可以从它们的四个角估计。虽然使用单个标记和单个相机相当大地限制了工作区域，但是使用附接到对象的多个标记需要估计它们的相对位置，这对于高精度跟踪来说不是微不足道的。同样，使用多个相机需要估计它们的外部参数，这也是一个每当相机移动时必须重复的繁琐过程。这项工作提出了一种新的方法，同时解决上述问题。从一个视频序列显示了一组刚性的平面标记记录从多个摄像机，所提出的方法是能够自动获得的三维配置的标记，外部参数的摄像机，和相对姿态之间的标记和摄像机在每一帧。我们的实验表明，我们的方法可以获得高度准确的结果，估计这些参数使用低分辨率相机。一旦获得参数，就可以以低计算成本实时的完成对对象的跟踪。所提出的方法是一个步骤，在开发具有成本效益的解决方案，用于对象跟踪。
2021-03-16 cs.CV
Disentangling Shape and Pose for Object-Centric Deep Active Inference Models
IDLab（IDLab实验室）；Ghent University（根特大学）；imec（比利时微电子研究中心）
主动推理是理解大脑的第一原理方法，一般来说，有知觉的代理人，最小化自由能是唯一的命令。因此，它提供了一个计算帐户建模人工智能代理，通过定义代理的生成模型和推断的模型参数，动作和隐藏的状态信念。然而，生成模型和隐藏状态空间结构的确切规格留给实验者，其设计选择影响代理的结果行为。最近，已经提出了深度学习方法来纯粹从数据中学习隐藏的状态空间结构，从而减轻了实验者的这种繁琐的设计任务，但导致了纠缠的、不可解释的状态空间。在本文中，我们假设这样一个学习，纠缠态空间不一定产生最好的模型的自由能，并在状态空间中执行不同的因素可以产生较低的模型复杂性。特别是，我们考虑了3D对象表示的问题，并专注于ShapeNet数据集的不同实例。我们提出了一个模型，它分解了物体的形状、姿势和类别，同时仍然使用深度神经网络学习每个因素的表示。我们表明，模型，具有最好的解纠缠性能，最好的表现时，通过一个活性剂在达到首选的意见。
2022-09-16 cs.AI cs.CV cs.LG
DSR: Direct Simultaneous Registration for Multiple 3D Images
University of Technology Sydney（悉尼科技大学）；Shanghai Chest Hospital, Shanghai Jiao Tong University（上海交通大学附属胸科医院）；Shanghai Jiao Tong University（上海交通大学）；Prince of Wales Hospital（威尔斯亲王医院）；Li Ka Shing Institute of Health Science（李嘉诚健康科学研究所）；The Chinese University of Hong Kong（香港中文大学）
本文提出了一种新的算法直接同步配准（DSR），注册的三维图像的集合，在同时的方式没有指定任何参考图像，特征提取和匹配，或信息丢失或重用。该算法通过最大化预定义的全景图像和局部图像之间的相似性来优化局部图像帧的全局姿态。虽然我们制定的问题作为一个直接束调整（DBA），共同优化的局部帧的姿态和全景图像的强度，通过调查的独立性，从全景图像的姿态估计在解决过程中，DSR提出解决的姿态，并证明能够获得相同的最佳姿态作为DBA。所提出的方法是特别适合的情况下，不同的功能是不可用的，如经食管超声心动图（TEE）图像。通过模拟和体内3D TEE图像将DSR与四种广泛使用的方法进行比较，对DSR进行评估。结果表明，所提出的方法优于这四种方法的准确性，需要更少的计算资源比国家的最先进的累积成对估计（APE）。
2022-08-15 cs.CV cs.RO eess.IV
Unified Structured Learning for Simultaneous Human Pose Estimation and Garment Attribute Classification
Shanghai Jiao Tong University（上海交通大学）；Nanjing University of Information Science and Technology（南京信息工程大学）；National University of Defense Technology（国防科技大学）；National University of Singapore（新加坡国立大学）
在本文中，我们利用结构化学习，同时解决两个相互交织的问题：人体姿态估计（HPE）和服装属性分类（GAC），这是有价值的各种计算机视觉和多媒体应用。与以前的作品，通常单独处理这两个问题，我们的方法的目的是通过一个统一的推理过程，产生一个联合最优估计HPE和GAC。为此，我们采用预处理步骤来从每个图像中检测潜在的人体部位（即，一组“候选者”），这允许我们拥有一个可管理的输入空间。通过这种方式，HPE和GAC的同时推理被转换为结构化学习问题，其中输入是候选集合的集合，输出是人体部位和服装属性的联合标签，并且联合特征表示涉及各种线索，例如姿势特定特征、服装特定特征以及编码人体部位和服装属性之间的相关性的跨任务特征。此外，我们探索的“强边缘”的证据周围的潜在的人体部位，以获得更强大的表示面向人体部位。这些证据可以无缝地集成到我们的结构化学习模型作为一种能量函数，学习过程中可以执行标准的结构化支持向量机（SVM）算法。然而，这两个问题的联合结构是一个循环图，这阻碍了有效的推理。为了解决这个问题，我们使用迭代过程来计算近似最优解，其中在每次迭代中，一个问题的变量是固定的。通过这种方式，可以通过动态规划有效地计算满意解。在两个基准数据集上的实验结果显示了我们方法的最新性能。
2014-09-22 cs.CV
Phase-SLAM: Phase Based Simultaneous Localization and Mapping for Mobile Structured Light Illumination Systems
Southern University of Science and Technology（南方科技大学）
结构光照明（SLI）系统已通过相位三角测量用于可靠的室内密集3D扫描。然而，用于360度3D重建的移动SLI系统需要3D点云配准，涉及高计算复杂性。在本文中，我们提出了一个基于相位的同时定位与地图构建（Phase-SLAM）框架，快速和准确的SLI传感器姿态估计和三维物体重建。这项工作的新颖性有三个方面：（1）开发了一种从3D点到2D相位数据的重投影模型，以低计算复杂性实现相位配准;（2）开发了一种局部优化器，以使用导出的6个DoF变量的雅可比矩阵实现SLI传感器姿态估计（里程计）;（3）开发了一种压缩相位比较方法，以实现高效的环路闭合检测。然后使用现有的全局姿态图优化技术来利用整个Phase-SLAM流水线。我们建立数据集从虚幻的仿真平台和基于机器人手臂的SLI系统在现实世界中，以验证所提出的方法。实验结果表明，所提出的相位SLAM优于其他国家的最先进的方法在效率和准确性的姿态估计和三维重建。开放源代码可在https://github.com/ZHENGXi-git/Phase-SLAM上获得。
2022-01-22 cs.CV cs.RO
Vid2Curve: Simultaneous Camera Motion Estimation and Thin Structure Reconstruction from an RGB Video
The University of Hong Kong（香港大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；National Tsing Hua University（国立清华大学）
薄的结构，如线框雕塑，围栏，电缆，电线和树枝，在现实世界中很常见。使用传统的基于图像或基于深度的重建方法获取其3D数字模型极具挑战性，因为薄结构通常缺乏明显的点特征并且具有严重的自遮挡。我们提出了第一种方法，同时估计摄像机运动和重建复杂的三维薄结构的几何形状在高品质的彩色视频由手持摄像机捕获。具体来说，我们提出了一种新的基于曲线的方法来估计准确的相机姿态，通过建立连续视频帧中前景中无特征薄物体之间的对应关系，而不需要背景场景中的视觉纹理来锁定。通过这种有效的基于曲线的相机姿态估计策略，我们开发了一种迭代优化方法，拓扑以及自遮挡处理，用于重建3D薄结构。对各种薄结构的广泛验证表明，我们的方法实现了准确的相机姿态估计和忠实的重建具有复杂形状和拓扑结构的三维薄结构的水平，还没有达到其他现有的重建方法。
2020-05-20 cs.CV cs.GR eess.IV
VBGS-SLAM: Variational Bayesian Gaussian Splatting Simultaneous Localization and Mapping
University of California, Riverside（加州大学河滨分校）
本文提出VBGS-SLAM，结合高斯点撒地图优化与相机姿态跟踪，通过变分推断提升鲁棒性和精度，实验证明在长序列预测和多场景中表现优异。
2026-04-03 cs.CV cs.RO
Pose and Shape Estimation with Discriminatively Learned Parts
University of Pennsylvania（宾夕法尼亚大学）
我们介绍了一种新的方法来估计的3D姿态和3D形状的对象从一个单一的图像。给定视图样本的训练集，我们学习并选择基于外观的区分部分，这些区分部分通过设施位置优化从训练集中映射到3D模型上。3D模型的训练集被概括为一组稀疏的形状，我们可以通过线性组合来概括。给定一个测试图片，我们检测每个部分的假设。主要的挑战是从这些假设中进行选择，并同时计算3D姿态和形状系数。为了实现这一点，我们优化的功能，同时最大限度地减少几何重投影误差以及外观匹配的零件。我们应用交替方向乘法（ADMM），以最小化所得的凸函数。我们在细粒度3D汽车数据集上评估了我们的方法，该数据集在形状和姿态误差方面具有优异的性能。我们的主要和新颖的贡献是通过最大限度地提高几何和外观的兼容性，同时解决局部化，三维姿态和形状。
2015-02-01 cs.CV
Simultaneous regression and feature learning for facial landmarking
University of Ljubljana, Faculty of Electrical Engineering（卢布尔雅那大学电气工程学院）；University of Ljubljana, Faculty of Computer and Information Science（卢布尔雅那大学计算机与信息科学学院）
人脸对齐（或人脸地标）是许多与人脸相关的应用中的重要任务，从注册，跟踪和动画到更高级别的分类问题，如人脸，表情或属性识别。虽然到目前为止，文献中已经提出了几种解决方案，但在广泛的面部特征中可靠地定位显著的面部特征仍然具有挑战性。为了解决这个问题，我们在本文中提出了一种新的方法，在3D人脸数据中的自动面部标志定位，专门设计来解决显着的姿态变化所造成的外观变化。我们的方法建立在最近的级联回归为基础的方法，面部地标，并使用门控机制，将多个线性级联回归模型，每个训练有限范围的姿态到一个强大的地标模型，能够处理任意构成的输入数据。我们围绕所提出的门控机制开发了两种不同的方法：i）第一种使用门控多脊下降（GRID）机制，（手工制作）HOG具有面部对齐功能，并在各种面部姿势中实现了最先进的地标性能，ii）第二个同时学习多下降方向以及二进制特征（SMUF）这对于对准任务是最佳的，并且除了有竞争力的标记结果之外，还确保了极其快速的处理。我们在几个流行的3D人脸图像数据集上进行了严格的实验，评估了这两种方法，即，FRGCv2和博斯普鲁斯3D人脸数据集以及圣母大学的图像集F和G。我们的评估结果表明，这两种方法相比，国家的最先进的竞争力，同时表现出相当大的鲁棒性构成的变化。
2019-04-24 cs.CV
Simultaneous face detection and 360 degree headpose estimation
VNU Hanoi（河内国家大学）
随着数字图像在生产监控摄像机、分析和处理消费者行为等方面的实际应用，人脸检测和头部姿态估计成为研究的热点。大量提出的深度学习模型具有最先进的精度，例如YOLO，SSD，MTCNN，解决人脸检测问题或HopeNet，FSA-Net，用于头部姿势估计问题的RankPose模型。根据许多最先进的方法，该任务的流水线由两部分组成，从人脸检测到头部姿态估计。这两个步骤是完全独立的，不共享信息。这使得模型在设置中清晰，但没有利用每个模型中提取的大部分特征资源。在本文中，我们提出了多任务网络模型，其动机是利用从人脸检测模型中提取的特征，将其与头部姿态估计分支共享以提高准确性。此外，随着数据的多样性，代表人脸的欧拉角域很大，我们的模型可以在360欧拉角域预测结果。应用多任务学习方法，多任务网络模型可以同时预测人体头部的位置和方向。为了提高预测模型头部方向的能力，我们将人脸的表示从欧拉角改为旋转矩阵的向量。
2021-11-23 cs.CV
Unsupervised Simultaneous Learning for Camera Re-Localization and Depth Estimation from Video
Toyota Central R&D Labs., Inc.（丰田中央研发实验室株式会社）
我们提出了一个无监督的同时学习框架的任务，单目摄像机重新定位和深度估计从未标记的视频序列。单目摄像机重定位是指在已知环境中从实例图像估计摄像机绝对姿态的任务，这已经被深入研究用于GPS拒绝环境中的替代定位。在最近的工作中，摄像机重新定位方法通过监督学习从摄像机图像和摄像机姿态对进行训练。与以前的作品相比，我们提出了一个完全无监督学习框架，用于相机重新定位和深度估计，只需要单目视频序列进行训练。在我们的框架中，我们训练两个网络，它们使用方向和来自每个图像的深度图来估计场景坐标，然后将它们组合起来估计相机姿态。该网络可以通过基于我们的闭环视图合成的损失函数的最小化来训练。在7场景数据集的实验中，所提出的方法优于最先进的视觉SLAM，ORB-SLAM 3的重新定位。我们的方法在训练环境中的表现也优于最先进的单眼深度估计。
2022-03-24 cs.CV cs.RO
Joint Epipolar Tracking (JET): Simultaneous optimization of epipolar geometry and feature correspondences
Goethe University（歌德大学）；Linköping University（林雪平大学）
传统上，姿态估计被认为是一个两步的问题。首先，通过直接比较图像块或通过关联特征描述符来确定特征对应关系。在第二步中，估计相对姿态和对应点的坐标，最常见的是通过最小化重投影误差（RPE）。RPE优化是基于损失函数，该损失函数仅知道特征像素位置，而不知道底层图像强度。在本文中，我们提出了一种稀疏直接方法，它引入了一个损失函数，允许同时优化未缩放的相对姿态，以及直接考虑图像强度值的特征对应集。此外，我们展示了如何将运动的统计先验信息整合到优化过程中。贝叶斯偏差项的这种建设性包含在具有强可预测（短期）动态的应用情况中特别有效，例如在驾驶场景中。在我们的实验中，我们证明了我们提出的JET算法优于经典的重投影误差优化两个合成数据集和KITTI数据集。JET算法在单个CPU线程上实时运行。
2017-03-15 cs.CV
Heterogeneous Multi-task Learning for Human Pose Estimation with Deep Convolutional Neural Network
City University of Hong Kong（香港城市大学）
我们提出了一个异构的多任务学习框架，从单目图像的深度卷积神经网络的人体姿态估计。特别是，我们在深度网络架构中同时学习姿势联合回归器和滑动窗口身体部位检测器。我们表明，包括身体部位检测任务有助于正则化网络，引导它收敛到一个好的解决方案。我们报告了几个数据集的竞争力和最先进的结果。我们还根据经验表明，我们网络中间层的学习神经元被调谐到局部身体部位。
2014-06-13 cs.CV cs.LG cs.NE
MooMIns -- Monocular 3D Reconstruction and Object Pose Estimation from Multiple Instances
Institute of Photogrammetry and Remote Sensing, Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院摄影测量与遥感研究所）
提出MooMIns方法，利用单张图像中同一物体的多个实例提供隐式多视图几何，通过反向高斯泼溅实现3D重建和6D姿态估计，避免深度先验导致的幻觉。
2026-06-15 cs.CV
Intention Recognition of Pedestrians and Cyclists by 2D Pose Estimation
Universitat Autònoma de Barcelona（巴塞罗那自治大学）；Computer Vision Center（计算机视觉中心）
预测行人和骑自行车者等弱势道路使用者（VRU）的意图对于执行安全和舒适的驾驶操作至关重要。人类驾驶就是这种情况，因此，提供任何级别驾驶辅助的系统（从高级驾驶员辅助系统（ADAS）到全自动驾驶汽车（AV））都应考虑到这一点。在本文中，我们展示了基于单目视觉的人体姿态估计的最新进展，即那些依赖于深度卷积神经网络（CNN）的人，能够识别这种VRU的意图。在骑自行车的情况下，我们假设他们遵守交通规则，以表明未来的演习与手臂信号。在行人的情况下，没有迹象可以假设。相反，我们假设行人的行走模式允许确定他/她是否有在自我车辆的路径中横穿道路的意图，使得自我车辆必须相应地操纵（例如，减速或停止）。在本文中，我们将展示如何使用相同的方法来识别行人和骑自行车的人的意图。对于行人，我们在JAAD数据集上进行实验。对于骑自行车的人，我们没有找到类似的数据集，因此，我们通过获取和注释我们与研究社区共享的视频来创建自己的数据集。总的来说，拟议的管道提供了新的国家的最先进的结果VRU的意图识别。
2019-10-09 cs.CV cs.RO
Generative Partition Networks for Multi-Person Pose Estimation
National University of Singapore（新加坡国立大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Qihoo 360 AI Institute（奇虎360人工智能研究院）
本文提出了一种新的生成分区网络（GPN），以解决具有挑战性的多人姿态估计问题。与现有的完全自上而下或自下而上的模型不同，所提出的GPN引入了一种新的策略-它从多个人的全局联合候选人中生成分区，并同时推断实例特定的联合配置。GPN具有低复杂度、高联合检测和重组精度的优点。特别地，GPN设计了一个生成模型，该生成模型执行一个前馈通道，以有效地生成具有联合分区的鲁棒的人检测，依赖于由人的质心参数化的嵌入空间中的全局联合候选者的密集回归。此外，GPN制定的联合配置的人体构成的推理过程作为一个图划分问题，并进行局部优化，每个人的检测与可靠的全球亲和力线索，导致复杂性降低和性能提高。GPN是实现与沙漏架构作为骨干网络，同时学习联合检测器和密集回归。在MPII Human Pose Multi-Person、扩展PASCAL-Person-Part和WAF上进行的大量实验表明，GPN具有最新的性能。
2017-11-28 cs.CV
NeuSE: Neural SE(3)-Equivariant Embedding for Long-Term Object-Based Simultaneous Localization and Mapping
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
NeuSE提出一种神经SE(3)-等变物体嵌入，从部分观测构建紧凑点云替代表示，直接导出SE(3)位姿约束，支持独立或与通用SLAM协同的物体级定位与变化感知建图，并在合成和真实序列上验证了精度提升。
2026-10-14 cs.AI cs.CV cs.LG
Simultaneous Traffic Sign Detection and Boundary Estimation using Convolutional Neural Network
Qualcomm Technologies Inc.（高通技术公司）
我们提出了一种新的交通标志检测系统，同时使用卷积神经网络（CNN）估计的位置和精确的边界的交通标志。在智能车辆导航系统中，交通标志可以作为道路环境的三维地标，因此准确估计交通标志的边界是非常重要的。以前的交通标志检测系统，包括最近的基于CNN的方法，只提供交通标志的边界框作为输出，因此需要额外的过程，如轮廓估计或图像分割，以获得精确的标志边界。在这项工作中，交通标志的边界估计制定为一个2D姿态和形状类预测问题，这是有效地解决了一个单一的CNN。利用输入图像中的目标交通标志的预测的2D姿态和形状类，通过将对应的模板标志图像的边界投影到输入图像平面中来估计目标标志的实际边界。通过将边界估计问题公式化为基于CNN的姿势和形状预测任务，我们的方法是端到端可训练的，并且比依赖于轮廓估计或图像分割的其他边界估计方法对遮挡和小目标更鲁棒。所提出的方法与架构优化提供了一个准确的交通标志边界估计，这也是有效的计算，显示检测帧速率高于7帧每秒的低功耗移动平台。
2018-02-27 cs.CV
PoseDet: Fast Multi-Person Pose Estimation Using Pose Embedding
Tsinghua University（清华大学）；Northwestern University（西北大学）
当前的多人姿态估计方法通常分别处理身体关节的定位和关联。它方便但效率低，导致额外的计算和时间浪费。然而，本文提出了一种新的框架PoseDet（通过检测估计姿态），以更高的推理速度同时定位和关联身体关节。此外，我们提出了关键点感知的姿势嵌入来表示一个对象的关键点的位置。建议的姿势嵌入包含语义和几何信息，使我们能够有效地访问歧视性和信息功能。它用于PoseDet中的候选分类和身体关节定位，从而实现对各种姿势的鲁棒预测。与最先进的方法相比，这个简单的框架在COCO基准上实现了前所未有的速度和具有竞争力的准确性。在CrowdPose基准测试上的大量实验表明了该算法在人群场景中的鲁棒性。源代码可用。
2021-07-27 cs.CV
Investigating Image Manifolds of 3D Objects: Learning, Shape Analysis, and Comparisons
Florida State University（佛罗里达州立大学）
本文从几何视角研究三维物体姿态图像流形，将其映射到低维潜在空间，并用Kendall形状分析比较和聚类不同物体的流形，发现同类物体流形常聚在一起，从而为简化视觉任务和理解学习方法提供依据。
2025-03-09 cs.CV
R-CNNs for Pose Estimation and Action Detection
University of California, Berkeley（加州大学伯克利分校）
我们提出了卷积神经网络的关键点（姿态）预测和行动分类的人在无约束的图像的任务。我们的方法涉及根据正在处理的任务训练具有损失函数的R-CNN检测器。我们在具有挑战性的PASCAL VOC数据集上评估了我们的方法，并将其与以前的领先方法进行了比较。我们的方法为关键点和动作预测提供了最先进的结果。此外，我们引入了一个新的动作检测数据集，同时定位人和分类他们的动作的任务，并使用我们的方法呈现结果。
2014-06-19 cs.CV
6DOPE-GS: Online 6D Object Pose Estimation using Gaussian Splatting
Technische Universität Darmstadt（达姆施塔特工业大学）；Honda Research Institute Europe GmbH（本田欧洲研究院）
提出6DOPE-GS方法，利用高斯泼溅实现单RGB-D相机在线6D物体姿态估计与跟踪，通过增量2D高斯泼溅和动态关键帧选择实现高效重建，性能匹配基线且速度提升5倍。
2025-04-03 cs.CV cs.RO
Turbo Learning Framework for Human-Object Interactions Recognition and Human Pose Estimation
SenseTime Group Ltd.（商汤集团有限公司）；Tsinghua University（清华大学）
人-物交互（HOI）识别和姿态估计是两个密切相关的任务。人体姿态是识别动作和定位交互对象的重要线索。同时，人的动作和交互对象的定位为姿态估计提供了指导。在本文中，我们提出了一个涡轮学习框架，同时执行HOI识别和姿态估计。首先，设计了两个模块来执行任务之间的消息传递，即姿态感知HOI识别模块和HOI引导的姿态估计模块。然后，这两个模块形成一个闭环，以迭代地利用互补信息，可以以端到端的方式进行训练。该方法在V-COCO和HICO-DET两个公共基准测试数据集上取得了最好的性能。
2019-03-15 cs.CV
Global Pose Estimation with an Attention-based Recurrent Network
Apple Inc.（苹果公司）；Carnegie Mellon University（卡内基梅隆大学）
智能体在环境中定位自身的能力对于许多现实世界的应用至关重要。对于未知环境，同时定位与地图构建（SLAM）实现了地图的增量式和并发式构建以及地图内的定位。我们提出了一个新的，可区分的架构，神经图优化，逐步走向一个完整的神经网络解决方案的SLAM设计的系统组成的局部姿态估计模型，一个新的姿态选择模块，和一个新的图形优化过程。整个架构以端到端的方式进行训练，使网络能够自动学习与视觉里程计相关的特定于领域的特征，并避免涉及特征工程的过程。我们证明了我们的系统在模拟的2D迷宫和3D ViZ-Doom环境的有效性。
2018-02-19 cs.CV cs.LG cs.RO
Learning to Fuse 2D and 3D Image Cues for Monocular Body Pose Estimation
EPFL（洛桑联邦理工学院）
最新的单目3D人体姿态估计方法依赖于深度学习。它们通常涉及从图像直接回归到3D关节坐标或从其推断3D坐标的2D关节位置。这两种方法都有各自的优点和缺点，因此，我们提出了一种新的架构，旨在提供最好的两个世界，同时执行和融合的信息。我们框架的核心是一个可训练的融合方案，它学习如何最佳地融合信息，而不是手工设计。这在标准3D人体姿态估计基准上的最新技术水平上产生了显著的改进。
2017-04-10 cs.CV
Car Pose in Context: Accurate Pose Estimation with Ground Plane Constraints
Johns Hopkins University（约翰斯·霍普金斯大学）
场景上下文是对场景内的对象的几何形状的强大约束，在诸如监视的情况下，其中相机几何形状是未知的并且图像质量可能是差的。在本文中，我们描述了一种方法，用于估计汽车在场景中的姿势与地面，支持他们。我们制定这作为一个联合优化，占不同的汽车形状使用统计图集，并同时计算几何和内部摄像机参数。我们证明，这种方法产生了显着的改善，汽车姿态估计，我们表明，所产生的3D几何，当计算的视频序列，使得有可能提高最先进的汽车行为的分类。我们还表明，引入平面约束，使我们能够以可靠的方式估计相机焦距。
2019-12-09 cs.CV
gDLS*: Generalized Pose-and-Scale Estimation Given Scale and Gravity Priors
Microsoft（微软）；Wormpex AI
增强现实（AR）、3D映射和机器人技术中的许多现实世界应用需要从由多个相机或单个移动相机捕获的多个图像快速且准确地估计相机姿态和比例。在姿态和尺度估计器中实现高速度和保持高精度通常是相互冲突的目标。为了同时实现这两个，我们利用先验知识的解决方案空间。我们提出了gDLS*，一个广义相机模型的姿态和规模估计，利用旋转和规模先验。gDLS* 允许应用灵活地权衡每个先验的贡献，这很重要，因为先验通常来自噪声传感器。与现有技术的广义姿态和尺度估计器（例如，gDLS），我们对合成数据和真实数据的实验一致表明，gDLS* 加速了估计过程，提高了尺度和姿态精度。
2020-04-05 cs.CV
Convolutional Models for Joint Object Categorization and Pose Estimation
Rutgers University（罗格斯大学）
在对象识别的任务中，存在对象的分类和估计对象姿态之间的二分法，其中前者需要视图不变的表示，而后者需要能够捕获不同类别的对象的姿态信息的表示。随着深度架构的兴起，主要焦点一直集中在对象类别识别上。深度学习方法在这项任务中取得了广泛的成功。相比之下，使用这些方法的对象姿态回归受到的关注相对较少。在本文中，我们展示了深度架构，特别是卷积神经网络（CNN），可以适用于同时分类和物体姿态估计的任务。我们调查和分析了各种CNN模型的层，并在它们之间进行了广泛的比较，目的是发现CNN的分布式表示层如何表示对象姿势信息，以及这与对象类别表示如何矛盾。我们在两个最近的大型和具有挑战性的多视图数据集上进行了广泛的实验。我们的模型在两个数据集上都取得了比最先进的性能更好的性能。
2016-04-19 cs.AI cs.CV cs.LG
A Bayesian Framework for Sparse Representation-Based 3D Human Pose Estimation
Sharif University of Technology（谢里夫理工大学）
提出了一种基于稀疏表示的单目图像三维人体姿态估计的贝叶斯框架。我们的概率方法旨在同时学习两个过完备字典（一个用于视觉输入空间，另一个用于姿势空间），并具有共享的稀疏表示。现有的基于SR的姿态估计方法仅提供字典和稀疏码的点估计。因此，当训练样本的数量较少时，它们可能不可靠。我们的贝叶斯框架估计后验分布的稀疏代码和字典标记的训练数据。因此，它对小尺寸训练数据的过拟合是鲁棒的。对各种人体活动的实验结果表明，该方法优于最先进的姿态估计算法。
2014-11-29 cs.CV
Cooperative Holistic Scene Understanding: Unifying 3D Object, Layout, and Camera Pose Estimation
Dept. of Statistics, UCLA（加州大学洛杉矶分校统计系）；Dept. of Computer Science, UCLA（加州大学洛杉矶分校计算机科学系）；UCLA（加州大学洛杉矶分校（注：此处UCLA是加州大学洛杉矶分校的缩写，在上下文明确为机构时可提取））
整体3D室内场景理解指的是联合恢复i）对象边界框、ii）房间布局和iii）相机姿态，所有这些都是3D的。现有的方法要么是无效的，要么只是部分解决了这个问题。在本文中，我们提出了一个端到端的模型，同时解决所有三个任务的实时给定的只有一个单一的RGB图像。所提出的方法的本质是通过i）参数化目标（例如，3D框），而不是直接估计目标，和ii）不同的模块之间的合作训练，而不是单独训练这些模块。具体来说，我们通过来自几个模块的预测来参数化3D对象边界框，即，3D摄影机姿势和对象属性。所提出的方法提供了两个主要优点：i）参数化有助于保持2D图像和3D世界之间的一致性，从而大大减少了3D坐标中的预测方差。ii）可以对参数化施加约束以同时训练不同的模块。我们称这些约束为“合作损失”，因为它们使联合训练和推理成为可能。我们采用三个合作损失的3D边界框，2D投影，和物理约束，以估计一个几何上一致的和物理上合理的3D场景。在SUN RGB-D数据集上的实验表明，该方法在三维目标检测、三维布局估计、三维摄像机姿态估计和整体场景理解等方面的性能明显优于现有方法。
2019-02-21 cs.CV
