RGBD-Dog: Predicting Canine Pose from RGBD Sensors
University of Bath（巴斯大学）；UNIST（蔚山科学技术院）
从没有标记的图像中自动提取动物\reb{3D}姿态在一系列科学领域中是令人感兴趣的。迄今为止，大多数工作都是根据关节位置的2D标签从RGB图像预测动物姿势。然而，由于获得训练数据的困难性质，没有3D动物运动的地面实况数据集可用于定量评估这些方法。此外，缺乏3D动物姿态数据也使得难以以与身体姿态预测的流行领域类似的方式来训练3D姿态预测方法。在我们的工作中，我们专注于从RGBD图像的3D犬姿态估计的问题，记录了不同品种的狗与几个微软Kinect v2，同时通过运动捕捉系统获得的3D地面真实骨架。我们从这些数据中生成合成RGBD图像的数据集。训练堆叠的沙漏网络来预测3D关节位置，然后使用形状和姿势的先验模型来约束3D关节位置。我们评估我们的模型在合成和真实的RGBD图像，并将我们的结果与以前发表的工作拟合犬模型的图像进行比较。最后，尽管我们的训练集只包含狗的数据，但视觉检查表明，当其他四足动物（例如马或猫）的姿势与我们的训练集中包含的姿势相似时，我们的网络可以对它们的图像进行良好的预测。
2020-04-16 cs.CV
RelPose: Predicting Probabilistic Relative Rotation for Single Objects in the Wild
Carnegie Mellon University（卡内基梅隆大学）
我们描述了一种数据驱动的方法，用于推断给定任意对象的多个图像的相机视点。该任务是经典几何管道（如SfM和SLAM）的核心组件，也是当代神经方法（如NeRF）进行对象重建和视图合成的重要预处理要求。与现有的对应驱动的方法，不执行稀疏视图，我们提出了一个自上而下的预测为基础的方法来估计相机的观点。我们的关键技术见解是使用一个基于能量的配方表示相对相机旋转的分布，从而使我们能够明确表示多个相机模式所产生的对象对称性或意见。利用这些相对预测，我们联合估计来自多个图像的一致的相机旋转集合。我们表明，我们的方法优于国家的最先进的SfM和SLAM方法，稀疏图像上看到的和看不见的类别。此外，我们的概率方法显着优于直接回归相对姿态，这表明建模多模态是重要的相干联合重建。我们证明了我们的系统可以成为从多视图数据集进行野外重建的垫脚石。包含代码和视频的项目页面可以在https://jasonyzhang.com/relpose上找到。
2022-10-03 cs.CV cs.LG
MetaPose: Fast 3D Pose from Multiple Views without 3D Supervision
Boston University（波士顿大学）；Google Research（谷歌研究院）；University of Toronto（多伦多大学）；MIT-IBM Watson AI Lab（MIT-IBM沃森人工智能实验室）
在深度学习时代，迄今为止，来自具有未知校准的多个相机的人体姿态估计很少受到关注。我们展示了如何训练神经模型以高精度和最小延迟开销执行此任务。所提出的模型考虑了由于多个视图的遮挡而导致的关节位置不确定性，并且仅需要2D关键点数据进行训练。我们的方法在成熟的Human3.6M数据集以及更具挑战性的野外Ski-Pose PTZ数据集上的性能优于经典束法平差和弱监督单目3D基线。
2021-11-25 cs.CV cs.LG
Predicting Long-Term Skeletal Motions by a Spatio-Temporal Hierarchical Recurrent Network
School of Big Data & Software Engineering, Chongqing University（重庆大学大数据与软件工程学院）；Chongqing University（重庆大学）
骨骼运动预测的主要目标是通过观察一系列3D骨骼来生成未来的运动。运动预测中的一个关键挑战是，运动通常可以以几种不同的方式执行，每种方式都由其自身的姿势配置及其时空依赖性组成，因此，预测的姿势通常会收敛到长期预测中的静止姿势或非人类运动。这导致我们定义一个层次递归网络模型，明确表征这些内部配置的姿势和他们的本地和全球的时空依赖性。该模型从李代数中引入了一个隐向量变量来同时表示空间和时间关系。此外，一个结构化的堆栈LSTM为基础的解码器被设计来解码的预测姿态与一个新的损失函数定义估计的量化权重的每个身体部位的姿态。对基准数据集的实证评估表明，我们的方法在短期和长期运动预测方面都显着优于最先进的方法。
2020-02-17 cs.CV
AUTO3D: Novel view synthesis through unsupervisely learned variational viewpoint and global 3D representation
Harvard University（哈佛大学）；Facebook AI（脸书人工智能）；Carnegie Mellon University（卡内基梅隆大学）；The Hong Kong Polytechnic University（香港理工大学）；Université de Montréal（蒙特利尔大学）；Nanjing University of Information Science and Technology（南京信息工程大学）；Fanhan Tech. Inc.（泛函科技有限公司）
本文的研究目标是在没有姿态监控的情况下，从单个或有限的二维图像中合成基于学习的新视图。在以观众为中心的坐标中，我们构建了一个端到端的可训练条件变分框架，以解开非监督学习的相对姿态/旋转和隐式全局3D表示（形状、纹理和以观众为中心的坐标原点等）。）。3D对象的全局外观由从任意数量的视点拍摄的若干外观描述图像给出。我们的空间相关性模块提取一个全球的3D表示从外观描述图像中的排列不变的方式。我们的系统可以实现隐式的三维理解，而不显式的三维重建。利用非监督学习的以观看者为中心的相对姿态/旋转码，解码器可以通过在先验分布中对相对姿态进行采样来连续地产生新视图。在各种应用中，我们证明了我们的模型可以实现可比的，甚至更好的结果比姿态/三维模型-监督学习为基础的新的视图合成（NVS）方法与任何数量的输入视图。
2020-08-27 cs.CV cs.LG
Predicting Camera Pose from Perspective Descriptions for Spatial Reasoning
CAMCUE通过姿态感知的多图像框架，从自然语言描述中准确预测相机姿态，提升多视角空间推理效率。
2026-02-06 cs.CV
BB8: A Scalable, Accurate, Robust to Partial Occlusion Method for Predicting the 3D Poses of Challenging Objects without Using Depth
Graz University of Technology（格拉茨工业大学）
我们介绍了一种新的方法，三维目标检测和姿态估计从彩色图像。我们首先使用分割来检测2D中的感兴趣的对象，即使存在部分遮挡和杂乱的背景。与最近的基于补丁的方法相比，我们依赖于一种“整体”方法：我们对检测到的对象应用卷积神经网络（CNN），该网络经过训练，以其3D边界框的角的2D投影的形式预测其3D姿态。然而，这不足以处理来自最近的T-LESS数据集的对象：这些对象表现出旋转对称轴，并且这种对象在两个不同姿势下的两个图像的相似性使得训练CNN具有挑战性。我们通过限制用于训练的姿势的范围来解决这个问题，并通过引入分类器来在估计之前在运行时识别姿势的范围。我们还使用可选的附加步骤来细化预测的姿势。我们将LINEMOD数据集上的最新技术水平从正确注册RGB帧的73.7%提高到89.3%。我们也是第一个仅使用彩色图像报告Occlusion数据集结果的公司。在T-LESS数据集的几个序列上，我们平均获得了54%的通过Pose 6D标准的帧，而在使用颜色和深度的相同序列上，最先进的标准为67%。完整的方法也是可扩展的，因为单个网络可以同时针对多个对象进行训练。
2018-03-26 cs.CV
Cross View Fusion for 3D Human Pose Estimation
University of Science and Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）；TuSimple（图森未来）
我们提出了一种方法来恢复绝对的三维人体姿势从多视图图像中，将多视图几何先验在我们的模型。它由两个独立的步骤组成：（1）估计多视图图像中的2D姿态和（2）从多视图2D姿态恢复3D姿态。首先，我们将跨视图融合方案引入到CNN中，以联合估计多个视图的2D姿态。因此，每个视图的2D姿态估计已经受益于其他视图。其次，我们提出了一个递归的图像结构模型来从多视图2D姿态恢复3D姿态。它逐渐提高了三维姿态的精度与负担得起的计算成本。我们在两个公共数据集H36M和Total Capture上测试了我们的方法。两个数据集上的平均每关节位置误差为26 mm和29 mm，显著优于最新技术水平（26 mm vs 52 mm，29 mm vs 35 mm）。我们的代码在\url{https://github.com/microsoft/multiview-human-pose-estimation-pytorch}上发布。
2019-09-03 cs.CV
Absolute Human Pose Estimation with Depth Prediction Network
Eötvös Loránd University（厄特沃什·罗兰大学）
三维人体姿态估计的常用方法是预测人体关节相对于髋关节的坐标。这对于一个人来说很好，但对于多个交互的人来说是不够的。预测绝对坐标的方法首先估计根相对位姿，然后通过二次优化任务计算平移。我们提出了一个神经网络，预测关节在相机为中心的坐标系，而不是根相对的。与以前的方法不同，我们的网络工作在一个单步的没有任何后处理。我们的网络在MuPoTS-3D数据集上击败了以前的方法，并获得了最先进的结果。
2019-04-11 cs.CV
View Invariant 3D Human Pose Estimation
University of Science and Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）
深度网络最近的成功极大地推进了从2D图像进行3D人体姿势估计。然而，捕捉视点的多样性和人类姿势的灵活性仍然是一些重大挑战。在本文中，我们提出了一个视图不变的三维人体姿态估计模块，以减轻视点多样性的影响。该框架包括一个基础网络，它提供了一个初始估计的3D姿态，一个视图不变的层次校正网络（VI-HC）的顶部，学习一致的意见下的3D姿态细化，和一个视图不变的判别网络（VID），以执行高层次的约束身体配置。在VI-HC中，初始3D姿势输入被自动转换为一致的视图，以分别在全局身体和局部身体部位级别上进行进一步的细化。对于VID，在一致的观点下，我们使用对抗学习来区分估计姿势和真实姿势，以避免不可信的3D姿势。实验结果表明，一致的观点可以显着提高性能。我们的模块显示了不同的3D姿态基础网络的鲁棒性，并在公共3D姿态估计基准Human3.6M的强大基线上实现了显着的改进（约9%）。
2019-01-30 cs.CV
Semi-Supervised Learning of Visual Features by Non-Parametrically Predicting View Assignments with Support Samples
Facebook AI Research（脸书人工智能研究院）；Mila – Quebec AI Institute（米拉——魁北克人工智能研究所）；McGill University（麦吉尔大学）；Inria（法国国家信息与自动化研究所）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）
本文提出了一种新的学习方法预测视图分配与支持样本（PAWS）。该方法训练模型以最小化一致性损失，这确保相同未标记实例的不同视图被分配类似的伪标签。通过将图像视图的表示与一组随机采样的标记图像的表示进行比较，非参数化地生成伪标签。视图表示和标记表示之间的距离用于提供类标签的权重，我们将其解释为软伪标签。通过以这种方式非参数化地合并标记样本，PAWS将BYOL和SwAV等自监督方法中使用的距离度量损失扩展到半监督设置。尽管这种方法很简单，但PAWS在架构上优于其他半监督方法，为ImageNet上的ResNet-50设置了一个新的最先进的水平，使用10%或1%的标签进行训练，分别达到75.5%和66.5%的top-1。PAWS需要的训练比以前的最佳方法少4倍到12倍。
2021-07-30 cs.AI cs.CV cs.LG
Self-learning Canonical Space for Multi-view 3D Human Pose Estimation
ShanghaiTech University（上海科技大学）；United Imaging Intelligence（联影智能）
本文提出完全自监督的级联多视角聚合网络CMANet，通过构建规范参数空间整合视角内与视角间信息，分两阶段学习相机位姿和SMPL参数，实现优于现有方法的多视角三维人体姿态估计。
2024-03-29 cs.CV
PoseRN: A 2D pose refinement network for bias-free multi-view 3D human pose estimation
Kyushu University（九州大学）；Osaka University（大阪大学）；Microsoft Corp（微软公司）
我们提出了一个新的2D姿态细化网络，学习预测估计的2D姿态中的人类偏见。由于基于注释者感知的2D关节位置的注释与由运动捕获（MoCap）系统定义的那些注释之间的差异，2D姿态估计中存在偏差。这些偏差被制作成公开可用的2D姿态数据集，并且不能用现有的误差减少方法来消除。我们提出的姿态细化网络使我们能够有效地消除人类偏见的估计2D姿态，实现高度准确的多视图3D人体姿态估计。
2021-07-07 cs.CV
Predicting Novel Views Using Generative Adversarial Query Network
University of Oulu（奥卢大学）；Tampere University（坦佩雷大学）
使用任意数量的观测来预测场景的新视图的问题对于计算机和人类来说都是一个具有挑战性的问题。本文介绍了生成对抗查询网络（GAQN），一个通用的学习框架，新的视图合成，结合生成查询网络（GQN）和生成对抗网络（GANs）。传统的GQN将输入视图编码为潜在表示，该潜在表示用于通过递归变分解码器生成新视图。建议GAQN建立在这项工作的基础上，增加了两个新的方面：首先，我们扩展了目前的GQN架构与对抗损失函数，以提高视觉质量和收敛速度。其次，我们引入了一个特征匹配的损失函数来稳定训练过程。实验表明，GAQN是能够产生高质量的结果和更快的收敛速度相比，传统的方法。
2019-04-10 cs.AI cs.CV cs.GR
Recovering 6D Object Pose and Predicting Next-Best-View in the Crowd
Imperial College London（帝国理工学院）；Center for Research & Technology Hellas (CERTH)（希腊研究与技术中心（CERTH））
人群中的目标检测和6D姿态估计（具有多个对象实例、严重前景遮挡和背景干扰的场景）已经成为许多快速发展的技术领域（诸如机器人和增强现实）中的重要问题。具有手动设计特征的基于单镜头的6D姿态估计器仍然无法解决上述挑战，这促使研究转向无监督特征学习和下一个最佳视图估计。在这项工作中，我们提出了一个完整的框架，为基于单镜头的6D对象姿态估计和下一个最佳视图预测的基础上霍夫森林，最先进的对象姿态估计，共同执行分类和回归。而不是使用手动设计的功能，我们a）提出了一个无监督的功能，从深度不变的补丁使用稀疏自动编码器和b）提供了一个广泛的评估各种最先进的功能。此外，利用Hough Forests的叶节点中进行的聚类，我们学会了估计其他视图中不确定性的减少，制定选择下一个最佳视图的问题。为了进一步提高姿态估计，我们提出了一个改进的联合注册和假设验证模块作为最后的细化步骤，以拒绝错误的检测。我们提供了两个额外的具有挑战性的数据集，灵感来自现实场景，以广泛评估最先进的技术和我们的框架。一个与家庭环境有关，另一个描述了主要在工业环境中发现的垃圾箱拾取场景。我们表明，我们的框架在公共和我们的数据集上都显着优于最先进的技术。
2016-04-19 cs.CV
Predicting Out-of-View Feature Points for Model-Based Camera Pose Estimation
University of Bristol（布里斯托大学）
在这项工作中，我们提出了一个新的框架，使用深度学习来预测输入图像中的视野外的对象特征点。该系统的开发考虑到了基于模型的跟踪应用，特别是在自主检查机器人的情况下，只有部分的对象的视图是可用的。通过在网络训练期间对特征点标签应用缩放来启用视图外预测。这与递归神经网络架构相结合，旨在为最终预测层提供来自输入图像空间范围的丰富特征信息。为了展示这些视野外预测的多功能性，我们描述了如何将它们集成到粒子滤波跟踪器和基于优化的跟踪器中。为了评估我们的工作，我们将我们的框架与仅预测图像内部点的框架进行了比较。我们表明，随着视野中的对象数量的减少，能够预测图像边界之外的鲁棒性增加了最终的姿态估计。
2018-03-05 cs.CV cs.RO
Predicting Penalty Kick Direction Using Multi-Modal Deep Learning with Pose-Guided Attention
University of New South Wales（新南威尔士大学）；Virtusa Pvt. Ltd.（维塔萨私人有限公司）；University of Moratuwa（摩图瓦大学）
本文提出一种实时多模态深度学习框架，通过RGB帧和2D关键点预测点球方向，采用双分支架构和注意力机制，准确率达89%，适用于门将训练与战术分析。
2025-09-30 cs.CV
Multi-View Multi-Person 3D Pose Estimation with Plane Sweep Stereo
National University of Singapore（新加坡国立大学）
用于多视图多人3D姿态估计的现有方法明确地建立交叉视图对应以将来自多个相机视图的2D姿态检测分组，并求解每个人的3D姿态估计。在多人场景中建立跨视图对应是具有挑战性的，并且不正确的对应将导致多级流水线的次优性能。在这项工作中，我们提出了我们的多视图三维姿态估计方法的基础上，平面扫描立体联合解决跨视图融合和三维姿态重建在一个Single Shot。具体来说，我们建议在目标相机视图中为每个2D姿势的每个关节执行深度回归。交叉视图一致性约束通过平面扫描算法由多个参考相机视图隐含地强制执行，以促进准确的深度回归。我们采用了一个由粗到细的方案，首先回归的人级深度，其次是每个人的联合级相对深度估计。3D姿态从给定估计深度的简单反投影获得。我们在基准数据集上评估了我们的方法，在这些数据集上，它的性能优于以前的最先进技术，同时效率非常高。我们的代码可在https://github.com/jiahaoLjh/PlaneSweepPose上获得。
2021-04-06 cs.CV
Predicting Driver Intention Using Deep Neural Network
University of Tabriz（大不里士大学）；Islamic Azad University（伊斯兰阿扎德大学）；Amirkabir University of Technology（阿米尔卡比尔理工大学）
为了提高驾驶安全性和避免车祸，高级驾驶辅助系统（ADAS）受到了极大的关注。最近的研究集中在预测驾驶员意图作为这些系统的关键部分。在这项研究中，我们提出了一个新的框架，其中使用Brain 4Cars数据集使用4个输入来预测潜水员机动，并且在实际动作发生前的5，4，3，2，1秒实现机动预测。我们在三种情况下评估了我们的框架：仅使用1）内部视图2）外部视图和3）内部和外部视图。我们将数据集分为训练集、验证集和测试集，并使用了K折交叉验证。与最先进的研究相比，我们的架构是更快，并在第二和第三种情况下实现了更高的性能。以准确率、精确率、召回率和f1-score作为评价指标，外视图的准确率、精确率、召回率和f1-score分别为82.41%、82.28%、82.42%和82.24%，内视图和外视图的准确率分别为98.90%、98.96%、98.90%和98.88%。
2021-06-01 cs.CV
PPT: token-Pruned Pose Transformer for monocular and multi-view human pose estimation
University of California, Irvine（加州大学欧文分校）；Tencent Inc（腾讯公司）；Meta AI
近年来，视觉Transformer及其变体在单目和多视角人体姿态估计中发挥了越来越重要的作用。将图像补丁视为令牌，Transformers可以对整个图像内或来自其他视图的图像之间的全局依赖性进行建模。然而，全局注意力在计算上是昂贵的。因此，很难将这些基于变换的方法扩展到高分辨率特征和许多视图。在本文中，我们提出了令牌修剪姿态Transformer（PPT）的二维人体姿态估计，它可以定位一个粗略的人体面具，并执行自我注意力只在选定的令牌。此外，我们将我们的PPT扩展到多视图人体姿态估计。基于PPT，我们提出了一种新的跨视图融合策略，称为人体区域融合，认为所有的人类前景像素作为相应的候选人。COCO和MPII上的实验结果表明，我们的PPT可以匹配以前的姿态Transformer方法的精度，同时减少了计算。此外，在人类3.6M和滑雪姿势上的实验表明，我们的多视图PPT可以有效地融合来自多个视图的线索，并实现新的最先进的结果。
2022-09-16 cs.CV
Learn-to-Score: Efficient 3D Scene Exploration by Predicting View Utility
ETH Zurich（苏黎世联邦理工学院）；Microsoft Research（微软研究院）
配备摄像头的无人机现在被用于探索大型场景和重建详细的3D地图。当场景中的自由空间近似已知时，离线规划器可以生成最优规划以有效地探索场景。然而，为了探索未知的场景，计划者必须预测并最大限度地利用飞行中的位置。传统上，这是使用手工制作的实用程序函数来实现的。我们建议学习一个更好的效用函数来预测未来观点的有用性。我们的学习效用函数是基于一个三维卷积神经网络。该网络以一种新颖的体积场景表示作为输入，该表示隐式地捕获先前访问过的视点并推广到新的场景。我们评估我们的方法在几个大型的3D模型的城市场景，使用模拟深度相机。我们表明，我们的方法优于现有的实用措施的重建性能，是强大的传感器噪声。
2018-07-31 cs.CV
Neural Actor: Neural Free-view Synthesis of Human Actors with Pose Control
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Facebook AI Research（Facebook 人工智能研究院）
我们提出了神经演员（NA），一种新的方法，高品质的合成人类从任意的观点和任意可控的姿态。我们的方法是建立在最近的神经场景表示和渲染工作，学习表示的几何形状和外观，只有2D图像。虽然现有的作品展示了令人信服的静态场景的渲染和动态场景的回放，但使用神经隐式方法，特别是在用户控制的新颖姿势下，对人类进行照片般逼真的重建和渲染仍然很困难。为了解决这个问题，我们利用一个粗略的身体模型作为代理，将周围的3D空间展开成一个规范的姿势。神经辐射场从多视图视频输入学习规范空间中的姿势相关的几何变形以及姿势和视图相关的外观效果。为了合成高保真动态几何形状和外观的新视图，我们利用身体模型上定义的2D纹理图作为预测残余变形和动态外观的潜在变量。实验表明，我们的方法在回放和新颖的姿势合成方面比最先进的方法具有更好的质量，甚至可以很好地推广到与训练姿势截然不同的新姿势。此外，我们的方法还支持合成结果的体型控制。
2022-01-04 cs.CV cs.GR cs.LG
3D Human Pose Estimation from Deep Multi-View 2D Pose
University of Maryland（马里兰大学）；Systems and Technology Research (STR)（系统与技术研究公司）
人体姿态估计-在视频中识别人体肢体位置和方向的过程-具有许多重要的应用，包括监视，运动障碍诊断和计算机动画。虽然深度学习已经在从单个视频源进行2D和3D姿态估计方面取得了很大进展，但是从具有重叠视场的多个视频传感器估计3D人体姿态的问题受到的关注较少。当应用允许使用多个相机时，可以通过多视图姿态估计的融合和对在一些视图中完全或部分被遮挡的肢体的观察来极大地改进3D人类姿态估计。过去的多视图3D姿态估计方法使用概率图形模型来推理约束，包括每图像姿态估计、时间平滑度和肢体长度。在本文中，我们提出了一个多个人的多视图3D姿态估计的管道，它结合了一个国家的最先进的2D姿态检测器与3D肢体约束的因素图优化与信念传播。我们在TUM-Campus和Shelf数据集上评估了多人3D姿态估计的结果，并表明我们的系统通过更简单的肢体依赖模型显着优于以前的最新技术。
2019-02-07 cs.CV
Multi-View Image-to-Image Translation Supervised by 3D Pose
Sony Semiconductor Israel（索尼半导体以色列公司）
我们解决的任务，多视图图像到图像的翻译的人的图像生成。我们的目标是合成照片般逼真的多视图图像，并在所有视图中保持姿势一致性。我们提出的端到端框架是基于多个不成对的图像到图像的翻译模型的联合学习，每个摄像机视点一个。通过对共享的3D人体姿势的约束来施加联合学习，以鼓励所有视图中的2D姿势投影是一致的。CMU-Panoptic数据集上的实验结果证明了所建议的框架在生成具有新姿势的人的照片级逼真图像方面的有效性，与标准图像到图像基线相比，这些图像在所有视图中更加一致。代码可在以下网址获得：www.example.com
2021-04-12 cs.CV
ID-Pose: Sparse-view Camera Pose Estimation by Inverting Diffusion Models
Tencent（腾讯）
ID-Pose通过反转预训练扩散模型Zero-1-to-3的去噪过程，以梯度下降最小化噪声预测误差来估计稀疏视角下的相机位姿，无需训练且显著优于现有方法。
2023-11-30 cs.CV
iFusion: Inverting Diffusion for Pose-Free Reconstruction from Sparse Views
Microsoft（微软）；National Tsing Hua University（国立清华大学）；Amazon（亚马逊）
提出iFusion框架，利用扩散模型反演估计未知相机姿态，微调生成新视图，仅需两幅稀疏视图即可高质量重建三维物体。
2023-12-28 cs.CV
Extreme Two-View Geometry From Object Poses with Diffusion Models
University of Hong Kong（香港大学）；Beijing Institute of Technology（北京理工大学）；Shanghai Technology University（上海科技大学）
本文提出利用扩散模型Zero123学习物体先验，将双视图相机姿态估计转化为物体姿态估计问题，通过合成新视角图像匹配来确定姿态，在极端视点变化下展现出卓越的鲁棒性和泛化能力。
2024-02-05 cs.CV
Efficient Virtual View Selection for 3D Hand Pose Estimation
Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Alibaba（阿里巴巴）；Simon Fraser University（西蒙弗雷泽大学）；Google（谷歌）
基于单深度的三维手位估计是计算机视觉中的一个基本问题，具有广泛的应用前景，但由于视角变化和人手遮挡等因素的影响，现有的手位估计方法仍不能获得满意的结果。在本文中，我们提出了一个新的虚拟视图选择和融合模块，从单一深度的3D手姿态估计。我们提出了自动选择多个虚拟视点的姿态估计和融合的结果，并发现这经验提供准确和鲁棒的姿态估计。为了选择最有效的虚拟视图进行位姿融合，我们评估的虚拟视图的信任度的基础上，使用一个轻量级的网络，通过网络蒸馏。在NYU、ICVL和Hands 2019三个主要基准数据集上的实验表明，我们的方法在NYU和ICVL上的性能优于最先进的方法，在Hands 2019-Task 1上的性能也非常有竞争力，我们提出的虚拟视图选择和融合模块对3D手部姿态估计都是有效的。
2022-03-29 cs.CV
Multi-view pose estimation with mixtures-of-parts and adaptive viewpoint selection
Université de Lyon, CNRS（里昂大学，法国国家科学研究中心）；INSA-Lyon, LIRIS, UMR CNRS 5205（里昂国立应用科学学院，LIRIS实验室，法国国家科学研究中心联合研究单位5205）；Galatasaray University（加拉塔萨雷大学）
我们提出了一种新的方法，利用来自多个视图的信息对关节姿势施加强先验的人体姿势估计。该方法的新颖性涉及的类型的连贯性建模。一致性最大化的不同的意见，通过不同的条款建模的经典几何信息（所产生的姿态的一致性），以及外观信息，这是建模为潜在的变量在全球能源功能。此外，还对每种观点的适当性进行评估，并相应调整其贡献。在HumanEva和UPPM数据集上的实验结果表明，与单视图结果相比，该方法显著降低了估计误差。
2017-09-25 cs.CV
No Pose at All: Self-Supervised Pose-Free 3D Gaussian Splatting from Sparse Views
Imperial College London（伦敦帝国学院）
SPFSplat通过自监督方法实现无姿态的3D高斯点云渲染，无需真实姿态信息即可在稀疏视图下实现高质量的视点合成和姿态估计。
2025-12-20 cs.CV
AnyPose: Anytime 3D Human Pose Forecasting via Neural Ordinary Differential Equations
Purdue University（普渡大学）
针对现有3D人体姿态预测仅限离散时间间隔的问题，提出基于神经常微分方程的轻量级连续时间架构AnyPose，实现任意时刻预测且计算时间显著降低。
2023-09-09 cs.CV
Harvesting Multiple Views for Marker-less 3D Human Pose Annotations
University of Pennsylvania（宾夕法尼亚大学）；Ryerson University（瑞尔森大学）
卷积网络（ConvNets）的最新进展已经将许多计算机视觉任务的瓶颈转移到带注释的数据汇集。在本文中，我们提出了一个几何驱动的方法来自动收集注释的人类姿势预测任务。从2D人体姿势的通用ConvNet开始，并假设多视图设置，我们描述了一种自动收集准确的3D人体姿势注释的方法。我们利用相机设置的3D几何形状和人体的3D结构提供的约束，以概率方式将每个视图的2D ConvNet预测组合成全局最佳的3D姿势。此3D姿势用作获取注释的基础。用我们的方法自动产生的注释的好处在两个具有挑战性的设置中得到证明：（i）微调通用的基于ConvNet的2D姿态预测器以捕获主体外观的区别性方面（即，（ii）从头开始训练ConvNet用于单视图3D人类姿势预测，而不利用3D姿势地面实况。所提出的多视图姿态估计器在标准基准上实现了最先进的结果，证明了我们的方法在利用可用的多视图信息方面的有效性。
2017-04-16 cs.CV
Self-Supervised 3D Human Pose Estimation with Multiple-View Geometry
Mercedes-Benz AG（梅赛德斯-奔驰集团）；Universität Ulm（乌尔姆大学）
我们提出了一个自监督学习算法的三维人体姿态估计的一个人的基础上的多视图摄像机系统和二维人体姿态估计为每个视图。为了训练我们的模型，由深度神经网络表示，我们提出了一种四损失函数学习算法，其不需要任何2D或3D身体姿势地面实况。所提出的损失函数利用多视图几何来重建3D身体姿态估计并在相机视图上施加身体姿态约束。我们的方法在训练期间利用所有可用的相机视图，而推理是单视图。在我们的评估中，我们在Human3.6M和HumanEva基准测试中表现出了良好的性能，同时我们还对MPI-INF-3DHP数据集进行了泛化研究，以及几个消融结果。总的来说，我们优于所有的自监督学习方法，并达到监督和弱监督学习方法的可比结果。我们的代码和模型是公开的
2021-08-17 cs.CV
Multi-view Consistency as Supervisory Signal for Learning Shape and Pose Prediction
University of California, Berkeley（加州大学伯克利分校）
我们提出了一个学习单视图形状和姿势预测的框架，而不使用直接监督。我们的方法允许在训练期间利用来自未知姿势的多视图观察作为监督信号。我们提出的训练设置强制执行来自同一实例的两个视图的独立预测的形状和姿势之间的几何一致性。因此，我们学习预测形状的紧急规范（视图不可知）框架以及相应的姿势预测。我们使用ShapeNet数据集展示了实证和定性结果，并观察到与依赖更强监管形式的先前技术相比具有竞争力的性能。我们还展示了我们的框架在现实环境中的适用性，这超出了现有技术的范围：使用由在线产品图像组成的训练数据集，其中潜在的形状和姿势是未知的。
2018-04-24 cs.CV
MV6D: Multi-View 6D Pose Estimation on RGB-D Frames Using a Deep Point-wise Voting Network
Bosch Center for Artificial Intelligence（博世人工智能中心）；University of Tübingen（图宾根大学）；Robert Bosch GmbH（罗伯特·博世有限公司）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
估计物体的6D姿态是计算机视觉的一项基本任务。然而，大多数传统方法都依赖于来自单一视角的相机数据，因此存在遮挡问题。我们克服了这个问题，我们的新的多视图6D姿态估计方法称为MV 6D，准确地预测在一个混乱的场景中的所有对象的6D姿态的基础上，从多个角度的RGB-D图像。我们的方法基于PVN 3D网络，该网络使用单个RGB-D图像来预测目标对象的关键点。我们通过使用来自多个视图的组合点云并将来自每个视图的图像与DenseFusion层融合来扩展这种方法。与当前的多视图姿态检测网络（如CosyPose）相比，我们的MV 6D可以以端到端的方式学习多个视角的融合，并且不需要多个预测阶段或后续的预测微调。此外，我们提出了三个新的真实感数据集的杂乱场景与严重的闭塞。所有这些都包含来自多个视角的RGB-D图像和地面实况，例如语义分割和6D姿态估计。MV 6D在多视图6D姿态估计方面的表现明显优于最先进的技术，即使在相机姿态已知不准确的情况下也是如此。此外，我们表明，我们的方法对动态相机设置是鲁棒的，并且其准确性随着视角数量的增加而逐渐增加。
2022-08-01 cs.AI cs.CV cs.LG
What Goes Where: Predicting Object Distributions from Above
University of Kentucky（肯塔基大学）
在这项工作中，我们提出了一种跨视图学习方法，在该方法中，从地面视图捕获的图像被用作弱监督注释，用于解释头顶图像。其结果是一个用于俯视图像的卷积神经网络，它能够预测从地面视角可能看到的物体的类型和数量。我们在地理标记的地面和头顶图像的大型数据集上展示了我们的方法，并发现我们的网络捕获了语义上有意义的特征，尽管没有手动注释。
2018-08-02 cs.CV
Robust 3D Hand Pose Estimation in Single Depth Images: from Single-View CNN to Multi-View CNNs
Nanyang Technological University（南洋理工大学）
关节手姿态估计在人机交互中起着重要的作用。尽管最近的进展，现有的方法的准确性仍然不令人满意，部分原因是由于嵌入的高维和非线性回归问题的困难。与现有的用单个深度图像回归手部姿势的判别方法不同，我们建议首先将查询深度图像投影到三个正交平面上，并利用这些多视图投影来回归2D热图，以估计每个平面上的关节位置。然后融合这些多视图热图以产生具有学习的姿势先验的最终3D手部姿势估计。实验表明，该方法在具有挑战性的数据集上大大优于最先进的方法。跨数据集的实验也表明了该方法的良好泛化能力。
2016-12-27 cs.CV
Improving 2D Human Pose Estimation in Rare Camera Views with Synthetic Data
Czech Technical University in Prague（布拉格捷克技术大学）；Faculty of Electrical Engineering（电气工程学院）；Department of Cybernetics（控制论系）；Visual Recognition Group（视觉识别组）
针对人体姿态估计方法多聚焦常见视角的局限，提出基于SMPL的RePoGen合成数据生成方法，实验证明其数据可提升罕见视角姿态估计性能且不影响常见视角效果，并验证了解剖合理性非性能必要前提。
2024-04-20 cs.CV
View Consistency Aware Holistic Triangulation for 3D Human Pose Estimation
Shanghai Jiao Tong University（上海交通大学）
多视角三维人体姿态估计（HPE）的快速发展归功于单目二维HPE的成熟和三维重建几何学的发展。然而，由于忽视视图一致性而导致的遮挡视图中的2D检测离群值以及由于缺乏姿势一致性而导致的3D不可信姿势仍然是挑战。为了解决这个问题，我们引入了多视图融合模块，通过建立视图相关性来细化2D结果。然后，提出了整体三角剖分的方法来推断整个姿态作为一个整体，并注入解剖先验来保持姿态的连贯性和提高可解释性。以骨骼结构特征为输入的主成分分析提取解剖先验信息，能够从抽象到具体地分解出全局上下文和关节间关系。受益于封闭式解决方案，整个框架都是端到端训练的。我们的方法在精度和可扩展性方面都优于现有技术，这是由一个新的度量标准评估的。
2023-02-23 cs.CV
Cross-View Tracking for Multi-Human 3D Pose Estimation at over 100 FPS
Tsinghua University（清华大学）；AiFi Inc.（AiFi公司）
实时估计多个人的3D姿态是计算机视觉中的一项经典但仍然具有挑战性的任务。它的主要困难在于，在跨视图关联的2D姿态和巨大的状态空间时，有多个人在多个视图的模糊性。在本文中，我们提出了一种新的解决方案，从多个校准的相机视图多人的三维姿态估计。该方法以不同摄像机坐标系下的二维姿态作为输入，以全局坐标系下的精确三维姿态为目标。与以前的方法，从零开始，在每一帧的所有对视图之间的关联2D姿态，我们利用视频中的时间一致性匹配的2D输入与3D姿态直接在3-空间。更具体地说，我们建议保留每个人的3D姿态，并通过跨视图多人跟踪迭代更新它们。正如我们在广泛使用的公共数据集上所证明的那样，这种新的公式提高了准确性和效率。为了进一步验证我们的方法的可扩展性，我们提出了一个新的大规模多人数据集，具有12到28个摄像机视图。我们的解决方案在12台摄像机上实现了154 FPS，在28台摄像机上实现了34 FPS，这表明它有能力处理大规模的实际应用。建议的数据集发布在https://github.com/longcw/crossview_3d_pose_tracking。
2021-07-29 cs.CV
LVSPM: Long Sequence View Synthesis and Pose Estimation Model
UC San Diego（加州大学圣地亚哥分校）；Sudo AI GmbH（Sudo AI 有限公司）
LVSPM是一种可泛化模型，联合估计相机位姿并合成新视图，采用测试时训练层，在多数据集的位姿估计和新视图合成任务中超越VGGT等基线，性能随场景规模增长仍稳定。
2026-10-09 cs.CV
PIDLoc: Cross-View Pose Optimization Network Inspired by PID Controllers
KAIST（韩国科学技术院）；Hanwha Aerospace（韩华航天公司）
提出PIDLoc，一种受PID控制器启发的跨视角位姿优化网络，通过PID分支和空间感知位姿估计器结合RGB图像与LiDAR，在KITTI数据集上实现SOTA定位精度，位置误差降低37.8%。
2025-03-04 cs.CV
RapidPoseTriangulation: Multi-view Multi-person Whole-body Human Pose Triangulation in a Millisecond
University of Augsburg（奥尔堡大学）
RapidPoseTriangulation通过快速三角测量和强泛化能力，实现了多视角多人物全身姿态估计，适用于多种场景且数据公开。
2026-03-05 cs.CV
Hybrid bundle-adjusting 3D Gaussians for view consistent rendering with pose optimization
Beijing Information Science and Technology University（北京信息科技大学）；Aerospace Information Research Institute（航天信息研究院）
本文提出混合束调整3D高斯模型，联合图像与神经三维表示，在不完美相机位姿下同时实现视图一致性渲染和位姿优化，并在真实与合成数据集上验证了其有效性。
2024-10-17 cs.CV
Unsupervised 3D Human Pose Estimation via Conditional Multi-view Ancestral Sampling
The University of Osaka（大阪大学）
本文提出一种无需3D监督的单视角3D人体姿态估计方法，利用预训练的2D运动扩散模型的2D扩散先验，通过条件多视图祖先采样优化3D姿态，使其多视图投影符合2D MDM噪声空间的流形，同时匹配给定的2D姿态和人体解剖约束。
2026-05-15 cs.CV
A Multi-view RGB-D Approach for Human Pose Estimation in Operating Rooms
ICube, University of Strasbourg, CNRS, IHU Strasbourg（ICube实验室，斯特拉斯堡大学，法国国家科学研究中心，斯特拉斯堡大学医院）；University Hospital of Strasbourg（斯特拉斯堡大学医院）
已经提出了许多方法用于单视图和多视图RGB图像中的人体姿态估计。然而，某些环境，例如手术室，对于最先进的RGB方法仍然非常具有挑战性。在本文中，我们提出了一种从RGB-D图像进行多视图3D人体姿态估计的方法，并证明了使用额外的深度通道进行姿态细化的好处，而不仅仅是用于生成改进的功能。所提出的方法允许联合检测和估计的姿态，而不知道先验的场景中存在的人数。我们在一个新的多视图RGB-D数据集上评估了这种方法，该数据集是在现场手术期间获得的，并用地面真实3D姿势进行了注释。
2017-01-25 cs.CV
Unsupervised 3D Human Pose Representation with Viewpoint and Pose Disentanglement
The Chinese University of Hong Kong（香港中文大学）；T Stone Robotics Institute of CUHK（香港中文大学汤申机器人研究所）
学习良好的3D人体姿态表示对于人体姿态相关任务（例如，人体3D姿态估计和动作识别）是重要的。在所有这些问题中，保持固有的姿态信息和适应视图变化是两个关键问题。在这项工作中，我们提出了一种新的Siamese去噪自动编码器，通过以完全无监督的方式从人体骨骼数据中分离出姿态相关和视图相关的特征来学习3D姿态表示。这两个解纠缠的特征一起用作3D姿态的表示。为了同时考虑运动学和几何学的相关性，本文进一步提出了一种序列双向递归网络（SeBiReNet）来对人体骨骼数据进行建模。大量的实验表明，学习的表示1）保留了人体姿势的内在信息，2）显示出良好的跨数据集和任务的可移植性。值得注意的是，我们的方法在两个本质上不同的任务上实现了最先进的性能：姿态去噪和无监督动作识别。代码和型号可从以下网址获得：\url{https://github.com/NIEQiang001/unsupervised-human-pose.git}
2021-11-02 cs.CV
LEAP: Liberate Sparse-view 3D Modeling from Camera Poses
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出无相机位姿的稀疏视图3D建模方法LEAP，通过跨场景共享神经体并以特征相似性聚合图像特征生成辐射场，在精度媲美真值位姿方法的同时比PixelNeRF快400倍。
2023-10-02 cs.CV
PMNI: Pose-free Multi-view Normal Integration for Reflective and Textureless Surface Reconstruction
Beijing University of Posts and Telecommunications（北京邮电大学）
针对反射和无纹理表面多视图三维重建中因视觉特征不足导致的相机姿态校准与形状重建失败问题，提出PMNI方法，利用表面法线图整合几何信息，在神经SDF框架内同步恢复准确姿态与高保真表面，性能达最优。
2025-04-14 cs.CV
Learning View-Disentangled Human Pose Representation by Contrastive Cross-View Mutual Information Maximization
Rutgers University（罗格斯大学）；Google Research（谷歌研究院）；Caltech（加州理工学院）；University of Delaware（特拉华大学）
我们引入了一种新的表示学习方法，从2D人体姿势中分离出姿势相关和视角相关的因素。该方法使用交叉视图互信息最大化（CV-MIM）来训练网络，该交叉视图互信息最大化（CV-MIM）以对比学习方式最大化从不同视点执行的相同姿态的互信息。我们还提出了两个正则化项，以确保学习表示的解纠缠和平滑。所得到的姿势表示可以用于跨视图动作识别。为了评估所学习的表示的能力，除了传统的全监督动作识别设置之外，我们还引入了一种称为单镜头交叉视图动作识别的新任务。该任务仅从一个视点训练模型的动作，而从所有可能的视点捕获的姿势对模型进行评估。我们评估了标准基准动作识别的学习表示，并表明：（i）CV-MIM执行竞争力相比，国家的最先进的模型在全监督的情况下;（ii）CV-MIM优于其他竞争方法的大幅度在单镜头交叉视图设置;（iii）并且当减少监督训练数据的量时，所学习的表示可以显著提高性能。我们的代码可在https://github.com/google-research/google-research/tree/master/poem上公开获取
2021-03-26 cs.CV
TransFusion: Cross-view Fusion with Transformer for 3D Human Pose Estimation
University of California, Irvine（加州大学欧文分校）；Facebook（脸书）；Amazon（亚马逊）
估计每个视图中的2D人体姿态通常是校准的多视图3D姿态估计中的第一步。但是2D姿态检测器的性能受到诸如遮挡和倾斜视角等具有挑战性的情况的影响。为了解决这些挑战，以前的工作从对极几何中导出不同视图之间的点对点对应关系，并利用这些对应关系来合并预测热图或特征表示。而不是预测后的合并/校准，在这里，我们介绍了一个Transformer框架的多视图3D姿态估计，旨在通过整合来自不同视图的信息，直接提高个人的2D预测。受以前的多模态Transformers的启发，我们设计了一个统一的Transformer架构，名为TransFusion，融合来自当前视图和相邻视图的线索。此外，我们提出了核线场的概念，编码到Transformer模型的三维位置信息。由对极场引导的3D位置编码提供了对不同视图的像素之间的对应性进行编码的有效方式。在Human 3.6M和Ski-Pose上的实验表明，与其他融合方法相比，该方法具有更高的效率和一致的改进。具体来说，我们在Human 3.6M上实现了25.8 mm MPJPE，仅使用256 x 256分辨率的5 M参数。
2021-12-09 cs.CV
Iterative Greedy Matching for 3D Human Pose Tracking from Multiple Views
University of Bonn（波恩大学）
在这项工作中，我们提出了一种方法来估计3D人体姿势的多个人从一组校准的相机。从多个视图估计3D人体姿势具有几个引人注目的特性：在全局坐标空间内估计人体姿势，并且多个相机提供扩展的视场，这有助于解决模糊性，遮挡和运动模糊。我们的方法建立在一个实时的2D多人姿态估计系统和greatly解决了多个视图之间的关联问题。我们利用二分匹配来跟踪多个人在多个帧。这证明是特别有效的，因为与贪婪匹配相关的问题，如遮挡，可以很容易地在3D中解决。我们的方法在流行的基准测试中取得了最先进的结果，并可作为未来工作的基线。
2021-01-24 cs.CV
MPL: Lifting 3D Human Pose from Multi-view 2D Poses
Université Catholique de Louvain (UCLouvain)（天主教鲁汶大学（UCLouvain））；Ecole Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院（EPFL））
提出MPL方法，结合2D姿态估计与基于Transformer的2D到3D姿态提升，利用合成数据训练，显著降低MPJPE误差，提升多视角3D人体姿态估计的泛化能力。
2024-08-20 cs.CV
Geometry-Biased Transformer for Robust Multi-View 3D Human Pose Reconstruction
Centre for Mathematical Sciences, Lund University（隆德大学数学科学中心）；Sony Corporation, Lund Laboratory（索尼公司隆德实验室）
提出一种几何偏置Transformer编码器-解码器架构，通过融合多视角与时间信息并利用几何关系及检测可靠性，在遮挡和少视角条件下实现鲁棒的三维人体姿态重建，并在多个基准数据集上验证有效性。
2023-12-28 cs.CV
