Direct Reward Fine-Tuning on Poses for Single Image to 3D Human in the Wild
Seoul National University（首尔国立大学）
DrPose通过直接奖励微调提升单图像到3D人体重建的姿态一致性，利用姿态与图像配对数据训练，改进多视图扩散模型，提升动态和复杂姿态的重建质量。
2026-03-03 cs.CV
DuRecDial 2.0: A Bilingual Parallel Corpus for Conversational Recommendation
Harbin Institute of Technology（哈尔滨工业大学）；Baidu Inc.（百度公司）
在本文中，我们提供了一个双语并行人对人的推荐对话数据集（DuRecDial 2.0），使研究人员能够探索具有挑战性的任务，多语言和跨语言的会话推荐。DuRecDial 2.0与现有会话式推荐数据集的区别在于，DuRecDial 2.0中的数据项（Profile，Goal，Knowledge，Context，Response）使用两种语言进行注释，英语和中文，而其他数据集则使用单一语言设置。我们收集了8.2k个跨英语和汉语的对话（共16.5k个对话和255k个话语），这些对话由众包工作人员进行注释，并具有严格的质量控制程序。然后，我们在DuRecDial 2.0上构建单语，多语言和跨语言会话推荐基线。实验结果表明，使用额外的英语数据可以带来性能的改善，中文会话推荐，显示DuRecDial 2.0的好处。最后，这个数据集提供了一个具有挑战性的测试平台，为未来的研究单语，多语言和跨语言的会话推荐。
2021-09-18 cs.AI cs.CL
Lifting 2D Human Pose to 3D with Domain Adapted 3D Body Concept
The Chinese University of Hong Kong（香港中文大学）；Hong Kong Center for Logistics Robotics（香港物流机器人中心）；Nanyang Technological University（南洋理工大学）
本文提出一种域自适应框架，通过从标注三维姿态中学习人体三维概念并适配到二维姿态域，以缓解二维到三维提升中的歧义，统一了有监督与半监督三维姿态估计，并在标准基准上取得最先进性能。
2021-11-23 cs.CV
Temporally Coherent Full 3D Mesh Human Pose Recovery from Monocular Video
最近，深度学习的进步使得从单个图像中恢复人体姿势的完整3D网格成为可能。然而，这一概念的扩展到视频恢复时间上连贯的姿态仍然是未开发的。这方面的一个主要挑战是缺乏适当注释的视频数据来学习所需的深度模型。现有的人体姿势数据集只提供2D或3D骨骼关节注释，而数据集也记录在受约束的环境中。我们首先贡献了一种技术来合成具有丰富的3D注释的单眼动作视频，这些注释适合于学习用于全网格3D人体姿势恢复的计算模型。与现有的方法相比，简单地“纹理映射”的衣服到三维人体姿势模型，我们的方法结合了基于物理的逼真的衣服变形与人体运动。生成的视频涵盖了各种各样的人类动作，姿势和视觉外观，而注释记录准确的人体姿势动态和人体表面信息。我们的第二个主要贡献是一个端到端的可训练递归神经网络，用于从单目视频中恢复完整的姿态网格。使用提出的视频数据和基于LSTM的递归结构，我们的网络显式地学习对视频中的时间相干性进行建模，并在恢复的网格上施加几何一致性。我们建立了所提出的模型的有效性与定量和定性分析使用建议和基准数据集。
2019-07-01 cs.CV cs.GR
JRDB-Pose: A Large-scale Dataset for Multi-Person Pose Estimation and Tracking
Stanford University（斯坦福大学）；Monash University（莫纳什大学）
在人类环境中运行的自主机器人系统必须了解其周围环境，以做出准确和安全的决策。在具有近距离人机交互和机器人导航的拥挤人类场景中，深入理解需要通过人体姿势估计和跟踪来推理人体运动和身体动态。然而，现有的数据集要么不提供姿势注释，要么包括与机器人应用无关的场景类型。许多数据集还缺乏在拥挤的人类场景中发现的姿势和遮挡的多样性。为了解决这一限制，我们引入了JRDB-Pose，这是一个大规模的数据集和基准，用于使用从社交导航机器人捕获的视频进行多人姿势估计和跟踪。该数据集包含具有拥挤的室内和室外位置以及各种尺度和遮挡类型的挑战场景。JRDB-Pose为每个关键点的遮挡标签和整个场景中一致的轨迹ID提供了人类姿势注释。一个公共的评估服务器可用于对一个保留的测试集进行公平的评估。JRDB-Pose可在https://jrdb.erc.monash.edu/上获得。
2023-03-12 cs.CV cs.RO
Fashion-model pose recommendation and generation using Machine Learning
时装模特的姿势是时装业的一个重要特征。创意总监、模特制作公司和顶级摄影师总是在寻找能够摆姿势的专业模特。如果没有正确的姿势，她们获得专业模特工作的机会就很小。有时候，模特和摄影师不确定拍照时的最佳姿势。本研究的目的是根据输入的图像，为服装设计人员提供一系列相似的图像。图像被分割成不同的部分，并为用户建议类似的图像。这是通过计算输入图像的颜色直方图并将其应用于数据集中的所有图像并比较直方图来实现的。合成图像已经变得流行，以避免隐私问题，并克服高成本的照片拍摄。因此，本文还扩展了使用styleGAN从推荐引擎生成合成图像的工作。
2023-02-19 cs.CV cs.LG
CLIP-Actor: Text-Driven Recommendation and Stylization for Animating Human Meshes
POSTECH（浦项科技大学）；Yonsei University（延世大学）
我们提出了CLIP-Actor，一个文本驱动的运动推荐和神经网格风格化系统，用于人体网格动画。CLIP-Actor通过推荐运动序列和优化网格样式属性，使3D人体网格动画符合文本提示。我们建立了一个文本驱动的人体运动推荐系统，利用大规模的人体运动数据集的语言标签。给定自然语言提示，CLIP-Actor以由粗到细的方式建议符合文本的人体运动。然后，我们的新的zero-shot神经风格优化详细化和纹理化推荐的网格序列，以符合时间一致和姿态不可知的方式提示。这是独特的，因为先前的工作未能生成合理的结果时，艺术家设计的网格的姿势不符合从一开始的文本。我们进一步提出了时空视图增强和掩码加权嵌入注意力，通过利用多帧人体运动和拒绝渲染不良的视图来稳定优化过程。我们证明了CLIP-Actor仅从自然语言提示中产生具有详细几何形状和纹理的运动中的合理的和人类可识别的风格的3D人体网格。
2022-07-21 cs.AI cs.CV cs.GR
Human Curation and Convnets: Powering Item-to-Item Recommendations on Pinterest
Pinterest, Inc.（Pinterest公司）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；University of California, Berkeley（加利福尼亚大学伯克利分校）
Pinterest Related Pins是一个将协同过滤与基于内容的排名相结合的项目到项目推荐系统。我们证明了来自用户策展的信号，用户组织内容的活动，与基于内容的排名结合使用时非常有效。本文还展示了视觉特征的有效性，如从convnets学习的图像或对象表示，在提高我们的项目到项目推荐系统的用户参与率。
2015-11-12 cs.CV
A Modular Multi-stage Lightweight Graph Transformer Network for Human Pose and Shape Estimation from 2D Human Pose
University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）；College of Computing and Informatics（计算与信息学院）
在这项研究中，我们解决了现有基于深度学习的人类网格重建方法在平衡精度和计算效率方面所面临的挑战。这些方法通常优先考虑准确性，导致大的网络尺寸和过度的计算复杂性，这可能阻碍它们在诸如虚拟现实系统的真实世界场景中的实际应用。为了解决这个问题，我们引入了一个模块化的多级轻量级的基于图的Transformer网络的人体姿势和形状估计从二维人体姿势，基于姿势的人体网格重建方法，优先考虑计算效率，而不牺牲重建精度。我们的方法包括一个2D到3D提升器模块，该模块利用图形Transformers来分析2D人体姿势中的结构化和隐式关节相关性，以及一个网格回归模块，该模块将提取的姿势特征与网格模板相结合以产生最终的人体网格参数。
2023-01-31 cs.AI cs.CV
Improvement of human health lifespan with hybrid group pose estimation methods
Samsung R & D Institute Noida（三星诺伊达研发院）
本文提出一种基于混合集成的群体姿态估计方法，融合改进的群体姿态估计与实时姿态估计，在基准数据集上验证其有效性，提升遮挡鲁棒性和密集回归精度，从而改善人类健康寿命。
2025-05-28 cs.AI cs.CV
JRDB-Pose3D: A Multi-person 3D Human Pose and Shape Estimation Dataset for Robotics
Monash University（莫纳什大学）；Sharif University（沙里夫大学）
JRDB-Pose3D数据集通过移动机器人平台捕捉多人群的室内外环境，提供丰富的3D人体姿态和形状注释，用于机器人感知和人机交互等应用。
2026-02-03 cs.AI cs.CV
Learning Pose Grammar to Encode Human Body Configuration for 3D Pose Estimation
University of California, Los Angeles（加州大学洛杉矶分校）；Shanghai Jiao Tong University（上海交通大学）；San Diego State University（圣地亚哥州立大学）；Beijing Institute of Technology（北京理工大学）
在本文中，我们提出了一个姿势语法来解决三维人体姿势估计的问题。我们的模型直接以2D姿态作为输入，并学习广义的2D-3D映射函数。所提出的模型由有效捕获姿势对齐特征的基础网络和顶部的双向RNN（BRNN）层次结构组成，以显式地并入关于人体配置的一组知识（即，运动学、对称性、运动协调）。因此，所提出的模型强制执行高层次的约束，人类构成。在学习中，我们开发了一个姿势样本模拟器来增加虚拟相机视图中的训练样本，这进一步提高了我们的模型的泛化能力。我们验证了我们的方法在公共3D人体姿势基准，并提出了一个新的评估协议的工作交叉视图设置，以验证不同的方法的泛化能力。我们根据经验观察到，大多数最先进的方法在这样的设置下遇到困难，而我们的方法可以很好地处理这样的挑战。
2018-01-04 cs.AI cs.CV
3DHumanGAN: 3D-Aware Human Image Generation with 3D Pose Mapping
Shanghai AI Laboratory（上海人工智能实验室）；EPFL（洛桑联邦理工学院）
3DHumanGAN提出一种由3D姿态映射网络调制2D卷积主干的生成器，利用可渲染隐式函数结合3D人体先验，实现不同视角和姿态下外观一致的逼真全身人体图像生成。
2023-09-24 cs.AI cs.CV
Rethinking Keypoint Representations: Modeling Keypoints and Poses as Objects for Multi-Person Human Pose Estimation
University of Waterloo（滑铁卢大学）；Waterloo Artificial Intelligence Institute（滑铁卢人工智能研究所）
在人体姿态估计等关键点估计任务中，基于热图的回归是主要方法，尽管具有显著的缺点：热图本质上存在量化误差，并且需要过多的计算来生成和后处理。为了找到更有效的解决方案，我们提出对各个关键点和空间相关关键点的集合（即，姿势）作为密集单级基于锚的检测框架内的对象。因此，我们将我们的方法称为KAPAO（发音为“Ka-Pow”），用于Keypoints And Poses As Objects。KAPAO适用于单阶段多人人体姿态估计的问题，同时检测人体姿态和关键点对象，并融合检测，以利用两个对象表示的优势。在实验中，我们观察到KAPAO比以前的方法更快，更准确，后者受到热图后处理的严重影响。当不使用测试时间增加时，在实际设置中，精度-速度的折衷是特别有利的。源代码：https://github.com/wmcnally/kapao。
2022-07-19 cs.AI cs.CV
Unposed: Unsupervised Pose Estimation based Product Image Recommendations
产品图片是电子商务网站产品详情页面上最令人印象深刻的客户互动媒介。每天有数百万的产品被上传到网上商店目录中，为产品的图像集保持高质量的酒吧是一个大规模的问题。从产品类别来看，服装是一个非常高容量和高速度的类别，因此值得关注。考虑到规模，监控图像集的完整性是具有挑战性的，图像集为消费者充分地详细描述了产品，这反过来又往往导致糟糕的客户体验，从而导致客户流失。为了监督这些产品类型的产品页面中的图像的质量和完整性并提出改进建议，我们提出了一种基于人体姿态检测的无监督方法来扫描产品的图像集，以查找丢失的图像。无监督的方法建议基于产品和类别对卖家采取公平的方法，而不考虑任何偏见。我们首先创建一个参考图像集流行的产品与健康的形象。然后，我们创建集群的图像标记最理想的姿势，形成类的参考集从这些理想的产品集。此外，对于所有测试产品，我们针对所有期望的姿势类别w.r.t.参考设置姿势，确定缺失的姿势，并按潜在影响的顺序对它们进行排序。这些缺失的姿势可以进一步被卖家用来添加丰富的产品列表图像。我们从流行的在线网络商店收集数据，并手动调查了约200种产品，其中很大一部分至少有一个重复的图像或丢失的变体，并对3K种产品（约20K图像）进行了抽样，其中很大一部分产品具有添加许多图像变体的空间，而高评级产品具有超过两倍的图像变体，这表明我们的模型可能会大规模使用。
2023-01-19 cs.CV
Comparing Zealous and Restrained AI Recommendations in a Real-World Human-AI Collaboration Task
University of California, Santa Barbara（加利福尼亚大学圣巴巴拉分校）；Appen
本文研究真实世界视频匿名化任务中AI建议的精确率与召回率权衡，对比了无AI协助、高精确率保守AI和高召回率激进AI对78名标注员的影响，发现激进AI能显著缩短任务时间并提升召回率，且移除协助后保守AI会导致负面训练效应。
2024-10-06 cs.AI cs.CV cs.HC
Towards Arbitrary-View Face Alignment by Recommendation Trees
The Chinese University of Hong Kong（香港中文大学）；SenseTime Group（商汤集团）；Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）
学习同时处理任意视图的面部对齐，例如正面和侧面视图，似乎比我们想象的更具挑战性。困难在于i）适应不同视图中表现出的复杂外观-形状关系，以及ii）包含由于自遮挡和不同界标协议而变化的界标点集。大多数现有的研究通过训练多个视点特定的模型来解决这个问题，并进行头部姿势估计以进行模型选择。该解决方案是直观的，但是性能非常容易受到不准确的头部姿势估计的影响。在这项研究中，我们通过学习模型推荐树（EMRT），这是能够选择最佳的模型配置，而无需事先头部姿势估计的包围来解决这个缺点。统一框架无缝处理不同的视点和地标协议，并通过直接优化地标位置进行训练，从而在任意视图人脸对齐方面产生卓越的结果。这是第一个研究，执行人脸对齐的完整AFLW数据集与不同的意见，包括个人资料视图的脸。国家的最先进的性能也报告了MultiPIE和AFW数据集包含frontaland轮廓视图的面孔。
2015-11-20 cs.CV
PoseLifter: Absolute 3D human pose lifting network from a single noisy 2D human pose
Kwangwoon University（光云大学）；Seoul National University（首尔国立大学）
该研究提出了一种新的网络（即，PoseLifter），其可以在相机坐标系中将2D人体姿势提升到绝对3D姿势。与现有的姿态提升方法相比，所提出的网络估计目标对象的绝对3D位置，并生成改进的3D相对姿态估计。使用PoseLifter与2D姿态估计器以级联方式可以从单个RGB图像估计3D人体姿态。在这种情况下，我们凭经验证明，使用真实的2D姿态与2D身体关节的真实误差分布合成，大大提高了我们的PoseLifter的性能。所提出的方法被应用到公共数据集，以实现最先进的2D到3D姿态提升和3D人体姿态估计。
2020-03-13 cs.CV
A Lightweight Graph Transformer Network for Human Mesh Reconstruction from 2D Human Pose
University of Central Florida（中佛罗里达大学）；University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）
现有的基于深度学习的人类网格重建方法倾向于构建更大的网络，以便实现更高的准确性。计算复杂性和模型尺寸通常被忽略，尽管它们是人类网格重建模型（例如虚拟试穿系统）的实际使用的关键特征。在本文中，我们提出了GTRS，一个轻量级的姿势为基础的方法，可以重建人体网格从二维人体姿势。我们提出了一个姿势分析模块，使用图形Transformers，利用结构化和隐式联合相关性，和一个网格回归模块，结合提取的姿势特征与网格模板重建最终的人类网格。我们通过对Human3.6M和3DPW数据集的广泛评估证明了GTRS的效率和泛化能力。特别是，GTRS实现了比SOTA基于姿势的方法Pose2Mesh更好的准确性，同时在具有挑战性的野外3DPW数据集上仅使用10.2%的参数（Params）和2.5%的FLOP。代码将公开提供。
2022-07-17 cs.AI cs.CV cs.HC
Adapted Human Pose: Monocular 3D Human Pose Estimation with Zero Real 3D Pose Data
Northeastern University（东北大学）
推理模型的最终目标是在实际应用中具有鲁棒性和功能性。然而，训练与测试数据域差距往往会对模型性能产生负面影响。这个问题对于单目3D人体姿态估计问题尤其重要，其中3D人体数据通常在受控的实验室设置中收集。在本文中，我们专注于减轻域转移的负面影响，在外观和姿态空间的三维人体姿态估计提出我们的适应人体姿态（AHuP）的方法。AHuP建立在两个关键组件上：（1）用于跨域特征空间自适应的语义感知自适应（SAA），以及（2）用于姿态空间自适应的骨架姿态自适应（SPA），其仅从目标域获取有限的信息。通过使用零真实3D人体姿势数据，我们的一个自适应合成模型显示出与使用大规模真实3D人体数据集训练的SOTA姿势估计模型相当的性能。所提出的SPA也可以独立地作为一个轻量级的头，以改善现有的SOTA模型在一个新的上下文中。一个新的基于3D扫描的合成人类数据集ScanAva+也将与这项工作一起公开发布。
2022-01-22 cs.CV
Pose2Mesh: Graph Convolutional Network for 3D Human Pose and Mesh Recovery from a 2D Human Pose
Seoul National University（首尔大学）
大多数最近的基于深度学习的3D人体姿态和网格估计方法从输入图像回归人体网格模型（诸如SMPL和MANO）的姿态和形状参数。这些方法的第一个弱点是外观域间隙问题，这是由于来自受控环境（例如实验室）的训练数据与来自野外环境的测试数据之间的不同图像外观。第二个弱点是，由于3D旋转的表示问题，姿态参数的估计是相当具有挑战性的。为了克服上述弱点，我们提出了Pose2Mesh，这是一种新的基于图卷积神经网络（GraphCNN）的系统，它直接从2D人体姿势估计人体网格顶点的3D坐标。作为输入的2D人体姿势提供基本的人体关节信息，同时在两个域之间具有相对均匀的几何特性。此外，所提出的系统避免了表示问题，同时以粗到细的方式使用GraphCNN充分利用网格拓扑。我们证明了我们的Pose2Mesh在各种基准数据集上的性能优于以前的3D人体姿势和网格估计方法。有关代码，请参见https://github.com/hongsukchoi/Pose2Mesh_RELEASE。
2021-04-27 cs.CV
RFPose-OT: RF-Based 3D Human Pose Estimation via Optimal Transport Theory
University of Electronic Science and Technology of China（电子科技大学）；University of Science and Technology of China（中国科学技术大学）
本文介绍了一种新的框架，即，RFPose-OT，用于根据射频（RF）信号进行3D人体姿势估计。与现有的直接从信号层上预测人体姿态的方法不同，本文考虑了射频信号与人体姿态之间的结构差异，提出基于最优传输（OT）理论将射频信号变换到特征层上的姿态域，并由变换后的特征生成人体姿态。为了评估RFPose-OT，我们建立了一个无线电系统和一个多视图相机系统来获取RF信号数据和地面真实的人体姿势。在基本室内环境、遮挡室内环境和室外环境中的实验结果都表明，RFPose-OT能够以比现有方法更高的精度预测3D人体姿势。
2022-12-26 cs.AI cs.CV cs.LG
Human Pose Estimation using Motion Priors and Ensemble Models
Toyota Technological Institute（丰田工业大学）
图像和视频中的人体姿态估计是用于实现各种人体活动识别任务（例如，人机交互、手势识别、监视和视频摘要）。本文提出了两种类型的人体姿态估计方法：1）三维人体姿态跟踪运动先验和2）二维人体姿态估计集成建模。
2019-01-26 cs.CV
PoseRN: A 2D pose refinement network for bias-free multi-view 3D human pose estimation
Kyushu University（九州大学）；Osaka University（大阪大学）；Microsoft Corp（微软公司）
我们提出了一个新的2D姿态细化网络，学习预测估计的2D姿态中的人类偏见。由于基于注释者感知的2D关节位置的注释与由运动捕获（MoCap）系统定义的那些注释之间的差异，2D姿态估计中存在偏差。这些偏差被制作成公开可用的2D姿态数据集，并且不能用现有的误差减少方法来消除。我们提出的姿态细化网络使我们能够有效地消除人类偏见的估计2D姿态，实现高度准确的多视图3D人体姿态估计。
2021-07-07 cs.CV
Pose Embeddings: A Deep Architecture for Learning to Match Human Poses
Simon Fraser University（西蒙弗雷泽大学）；Google Inc.（谷歌公司）
我们提出了一种学习嵌入的方法，该方法将人类的图像以相似的姿势放置在附近。这种嵌入可以用作基于人体姿势比较图像的直接方法，避免了估计身体关节位置的潜在挑战。姿态嵌入学习是在基于三元组的距离准则下制定的。深度架构用于允许学习能够在不同姿势之间进行区分的表示。在视频数据中的人体姿态匹配和检索实验表明了该方法的有效性。
2015-07-01 cs.CV
3D Human Pose Estimation with Spatial and Temporal Transformers
Center for Research in Computer Vision, University of Central Florida（中佛罗里达大学计算机视觉研究中心）；Department of Computer Science, Tulane University（杜兰大学计算机科学系）
Transformer架构已经成为自然语言处理中的首选模型，并且现在正在被引入计算机视觉任务，例如图像分类、目标检测和语义分割。然而，在人体姿态估计领域，卷积架构仍然占主导地位。在这项工作中，我们提出了PoseFormer，这是一种纯粹基于变换的方法，用于在视频中进行3D人体姿势估计，而不涉及卷积架构。受视觉Transformer最新发展的启发，我们设计了一个时空Transformer结构，以全面建模每个帧内的人体关节关系以及跨帧的时间相关性，然后输出中心帧的精确3D人体姿势。我们在两个流行的标准基准数据集：Human3.6M和MPI-INF-3DHP上定量和定性地评估了我们的方法。大量的实验表明，PoseFormer在两个数据集上都达到了最先进的性能。代码可在\url{https://github.com/zczcwh/PoseFormer}上获得
2021-08-22 cs.AI cs.CV cs.HC
Unsupervised 3D Human Pose Representation with Viewpoint and Pose Disentanglement
The Chinese University of Hong Kong（香港中文大学）；T Stone Robotics Institute of CUHK（香港中文大学汤申机器人研究所）
学习良好的3D人体姿态表示对于人体姿态相关任务（例如，人体3D姿态估计和动作识别）是重要的。在所有这些问题中，保持固有的姿态信息和适应视图变化是两个关键问题。在这项工作中，我们提出了一种新的Siamese去噪自动编码器，通过以完全无监督的方式从人体骨骼数据中分离出姿态相关和视图相关的特征来学习3D姿态表示。这两个解纠缠的特征一起用作3D姿态的表示。为了同时考虑运动学和几何学的相关性，本文进一步提出了一种序列双向递归网络（SeBiReNet）来对人体骨骼数据进行建模。大量的实验表明，学习的表示1）保留了人体姿势的内在信息，2）显示出良好的跨数据集和任务的可移植性。值得注意的是，我们的方法在两个本质上不同的任务上实现了最先进的性能：姿态去噪和无监督动作识别。代码和型号可从以下网址获得：\url{https://github.com/NIEQiang001/unsupervised-human-pose.git}
2021-11-02 cs.CV
Adversarial Synthesis of Human Pose from Text
University of Bonn（波恩大学）；RWTH-Aachen University（亚琛工业大学）
这项工作的重点是从人类水平的文本描述合成人类构成。我们提出了一个基于条件生成对抗网络的模型。它的目的是生成2D人类构成人类书面文字描述的条件。该模型使用COCO数据集进行训练和评估，该数据集由捕获具有各种人类姿势的复杂日常场景的图像组成。我们通过定性和定量的结果表明，该模型是能够合成合理的构成匹配给定的文本，这表明它是可能的，以生成与给定的语义特征，特别是与独特的构成动作是一致的构成。
2020-10-16 cs.CV
A Top-down Approach to Articulated Human Pose Estimation and Tracking
JD.com Silicon Valley Research Center（京东硅谷研究中心）
视频中的多人姿态估计和姿态跟踪任务都是相当具有挑战性的。现有的方法可分为两类：自上而下和自下而上的方法。在本文中，遵循自顶向下的方法，我们的目标是建立一个强大的基线系统，三个模块：人体候选人检测器，单人姿势估计器和人体姿势跟踪器。首先，我们选择一个通用的对象检测器中的国家的最先进的方法来检测人类候选人。然后，使用级联金字塔网络来估计相应的人体姿态。最后，我们使用基于流的姿势跟踪器来渲染跨帧的关键点关联，即，为了多目标姿态跟踪的目的，为每个人类候选者分配唯一的和时间上一致的ID。我们进行了广泛的烧蚀实验，以验证各种选择的模型和配置。我们参加了两个ECCV 18 PoseTrack挑战：姿态估计和姿态跟踪。
2019-01-23 cs.CV
PoseGU: 3D Human Pose Estimation with Novel Human Pose Generator and Unbiased Learning
Australia Artificial Intelligence Institute（澳大利亚人工智能研究所）；University of Technology Sydney（悉尼科技大学）
三维位姿估计是近年来计算机视觉领域研究的热点。现有的3D姿态估计方法强烈依赖于大尺寸的标注良好的3D姿态数据集，并且由于训练集中3D姿态的多样性有限，它们在看不见的姿态上具有较差的模型泛化能力。在这项工作中，我们提出了PoseGU，一种新型的人类姿势生成器，可以生成各种姿势，只访问一个小尺寸的种子样本，同时配备反事实风险最小化，以追求一个公正的评估目标。大量的实验表明，PoseGU在三个流行的基准数据集上几乎表现出所有最先进的3D人体姿势方法。实证分析也证明了PoseGU生成的3D姿态具有更好的数据多样性和更好的泛化能力。
2022-07-07 cs.CV cs.LG
Turbo Learning Framework for Human-Object Interactions Recognition and Human Pose Estimation
SenseTime Group Ltd.（商汤集团有限公司）；Tsinghua University（清华大学）
人-物交互（HOI）识别和姿态估计是两个密切相关的任务。人体姿态是识别动作和定位交互对象的重要线索。同时，人的动作和交互对象的定位为姿态估计提供了指导。在本文中，我们提出了一个涡轮学习框架，同时执行HOI识别和姿态估计。首先，设计了两个模块来执行任务之间的消息传递，即姿态感知HOI识别模块和HOI引导的姿态估计模块。然后，这两个模块形成一个闭环，以迭代地利用互补信息，可以以端到端的方式进行训练。该方法在V-COCO和HICO-DET两个公共基准测试数据集上取得了最好的性能。
2019-03-15 cs.CV
3D Human Pose Estimation Using Convolutional Neural Networks with 2D Pose Information
Seoul National University（首尔大学）
虽然在利用卷积神经网络（CNN）的2D人体姿态估计中已经取得了成功，但是3D人体姿态估计尚未被彻底研究。在本文中，我们使用CNN通过端到端学习来解决3D人体姿势估计任务。通过CNN学习一个关节和其他关节之间的相对3D位置。该方法通过两个新的思想提高了CNN的性能。首先，我们添加了2D姿态信息，通过将2D姿态估计结果与来自图像的特征连接来从图像估计3D姿态。第二，我们发现，更准确的3D姿态是通过结合相对于多个关节的相对位置的信息，而不是仅仅一个根关节。实验结果表明，该方法实现了人类3.6米数据集上的最先进的方法相当的性能。
2016-09-08 cs.CV
2D-3D Pose Consistency-based Conditional Random Fields for 3D Human Pose Estimation
Kwangwoon University（光云大学）；Seoul National University（首尔大学）
这项研究认为，在一个单一的RGB图像中的三维人体姿态估计问题，提出了一个条件随机场（CRF）模型在2D构成，其中的3D姿态是作为一个副产品的推理过程。CRF模型的一元项是基于一个强大的热图回归网络定义的，该网络已被提出用于2D人体姿态估计。本研究亦提出一个回归网路，以提升二维位姿至三维位姿，并根据估计三维位姿与二维位姿的一致性，提出先验项。为了获得所提出的CRF模型的近似解，采用N-最佳策略。所提出的推理算法可以被视为基于深度网络从输入2D图像自下而上生成2D和3D姿态提议以及通过检查其可扩展性来自上而下验证这些提议的顺序过程。为了评估所提出的方法，我们使用了两个大规模数据集：Human3.6M和HumanEva。实验结果表明，该方法达到了最先进的三维人体姿态估计性能。
2017-12-28 cs.CV
Bootstrapping Human Optical Flow and Pose
The University of British Columbia（不列颠哥伦比亚大学）
我们提出了一个自举框架，以提高人类的光流和姿态。我们表明，对于涉及人类在场景中的视频，我们可以提高光流和姿态估计质量的人同时考虑这两个任务。我们通过微调来增强光流估计，以适应人类姿势估计，反之亦然。更详细地说，我们优化的姿态和光流网络，在推理时间，彼此同意。我们表明，这导致了在野生数据集中的人类3.6M和3D姿势以及Sintel数据集的人类相关子集上的最先进的结果，无论是姿势估计精度还是人类关节位置处的光流精度。代码可在https://github.com/ubc-vision/bootstrapping-human-optical-flow-and-pose获得
2022-10-28 cs.CV
SPGNet: Spatial Projection Guided 3D Human Pose Estimation in Low Dimensional Space
University of Alberta（阿尔伯塔大学）
我们提出了一种方法SPGNet的三维人体姿态估计，混合多维重投影到监督学习。在该方法中，2D-to-3D-lifting网络预测3D人体姿态的全局位置和坐标。然后，我们将估计的3D姿势重新投影回2D关键点并进行空间调整。损失函数将估计的3D姿态与3D姿态地面实况进行比较，并将重新投影的2D姿态与输入的2D姿态进行比较。此外，我们提出了一个运动学约束，以限制预测的目标与恒定的人骨长度。基于数据集Human3.6M的估计结果，我们的方法在定性和定量方面都优于许多最先进的方法。
2022-06-04 cs.CV
ElePose: Unsupervised 3D Human Pose Estimation by Predicting Camera Elevation and Learning Normalizing Flows on 2D Poses
University of British Columbia（不列颠哥伦比亚大学）
从单幅图像中估计人体姿态是一个具有挑战性的问题，通常通过监督学习来解决。不幸的是，标记的训练数据还不存在许多人类活动，因为3D注释需要专用的运动捕捉系统。因此，我们提出了一种无监督的方法，该方法可以学习从单个图像中预测3D人体姿势，同时只使用2D姿势数据进行训练，这些数据可以是众包的，并且已经广泛使用。为此，我们估计最有可能通过随机投影的3D姿势，使用2D姿势上的归一化流估计可能性。虽然以前的工作需要在训练数据集中对相机旋转有很强的先验知识，但我们学习了相机角度的分布，这显着提高了性能。我们的另一部分贡献是通过首先将2D姿势投影到线性子空间来稳定高维3D姿势数据上的归一化流的训练。在许多指标上，我们在基准数据集Human3.6M和MPI-INF-3DHP上的表现优于最先进的无监督人体姿势估计方法。
2021-12-14 cs.CV
Semi- and Weakly-supervised Human Pose Estimation
Toyota Technological Institute（丰田工业大学）；Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
针对静止图像中的人体姿态估计，本文提出了三种半监督和弱监督学习方案。虽然卷积神经网络的最新进展使用监督训练数据改进了人体姿势估计，但我们的重点是探索半监督和弱监督方案。我们提出的方案最初从少量带有人类姿势注释的标准训练图像中学习用于姿势估计的传统模型。对于第一种半监督学习方案，这种传统的姿态模型在没有人类注释的情况下检测训练图像中的候选姿态。从这些候选姿势中，只有真阳性被分类器使用表示所有身体部位的配置的姿势特征选择。这些候选姿势估计和真阳性姿势选择的准确性通过在我们的第二和第三学习方案中向这些图像提供动作标签来提高，所述第二和第三学习方案是半和弱监督学习。虽然第一和第二学习方案仅选择与监督训练数据中的姿态相似的姿态，但是第三方案选择与任何监督姿态显著不同的更真实肯定的姿态。该姿势选择通过使用具有Dirichlet过程混合物和贝叶斯因子的离群姿势检测的姿势聚类来实现。所提出的方案进行了验证与大规模的人体姿势数据集。
2019-06-04 cs.CV
Reconstructing 3D Human Pose by Watching Humans in the Mirror
Zhejiang University（浙江大学）
在本文中，我们介绍了一个新的任务，重建三维人体姿态从一个单一的图像，我们可以看到的人和人的形象，通过一面镜子。与从单个视图进行3D姿态估计的一般场景相比，镜面反射提供了用于解决深度模糊的附加视图。我们开发了一种基于优化的方法，利用镜像对称约束精确的3D姿态重建。我们还提供了一种方法来估计表面法线的镜子从消失点在单一的图像。为了验证所提出的方法，我们收集了一个名为Mirrored-Human的大规模数据集，该数据集涵盖了各种各样的人类主体，姿势和背景。实验表明，当使用我们重建的3D姿态作为伪地面实况对镜像人进行训练时，现有单视图3D姿态估计器的准确性和通用性可以大大提高。
2021-04-01 cs.CV
A Review on Human Pose Estimation
Northeastern University（东北大学）；Augmented Cognition Laboratory (ACLab)（增强认知实验室（ACLab））
人体姿态估计（HPE）现象是多年来一直在探索的问题，特别是在计算机视觉中。但它到底是什么？要回答这个问题，首先必须理解姿势的概念。姿势可以定义为人体关节以特定方式的排列。因此，我们可以将人体姿态估计问题定义为图像和视频中人体关节或预定义地标的定位。姿势估计有多种类型，包括身体、面部和手部，以及它的许多方面。本文将从HPE的经典方法到基于深度学习的模型开始介绍它们。
2021-10-13 cs.CV
An Improved Baseline Framework for Pose Estimation Challenge at ECCV 2022 Visual Perception for Navigation in Human Environments Workshop
Beijing University of Posts and Telecommunications（北京邮电大学）
本技术报告描述了我们在ECCV 2022人类环境中导航视觉感知研讨会上应对姿态估计挑战的一流解决方案。在这个挑战中，我们的目标是从野外拼接的全景图像中估计人类的姿势。我们的方法是基于用于人体检测的Faster R-CNN和用于人体姿态估计的HRNet构建的。我们描述了JRDB-Pose数据集的技术细节，以及一些实验结果。在比赛中，我们在JRDB-Pose的测试集上获得了0.303 $\text{OSPA}_{\text{IOU}}$和64.047 $\text{AP}_{\text{0.5}}$。
2023-03-13 cs.CV
3D Human Pose Regression using Graph Convolutional Network
Technical University of Munich（慕尼黑工业大学）；reFit Systems（reFit系统公司）
3D人体姿态估计是一项困难的任务，由于诸如遮挡的身体部位和模糊姿态的挑战。图卷积网络以邻接矩阵的形式对人体骨架的结构信息进行编码，这有利于更好地进行姿态预测。我们提出了一个这样的图卷积网络命名为PoseGraphNet的三维人体姿态回归从2D姿态。我们的网络使用自适应邻接矩阵和特定于邻居组的内核。我们在Human3.6M数据集上评估我们的模型，该数据集是3D姿态估计的标准数据集。我们的模型的性能接近国家的最先进的，但少得多的参数。该模型学习没有物理连接但行为相似的关节之间有趣的邻接关系。
2022-12-13 cs.CV
PoseVocab: Learning Joint-structured Pose Embeddings for Human Avatar Modeling
Tsinghua University（清华大学）；NNKosmos Technology（NNKosmos科技）
本文提出 PoseVocab，一种用于人体化身建模的关节结构化姿态编码方法，通过在 $so(3)$ 中采样关键旋转并引入特征线和分层查询策略，实现了高保真、具泛化性且时间一致的动态人体外观合成。
2023-05-14 cs.CV
Heuristic Weakly Supervised 3D Human Pose Estimation
Northeastern University（东北大学）
本文提出HW-HuP，一种启发式弱监督方法，利用部分姿态先验和深度数据，在无三维标注时估计三维人体姿态，并在床上和野外婴儿场景中优于现有模型，在公开基准上性能相当。
2023-05-12 cs.CV
DeepSkeleton: Skeleton Map for 3D Human Pose Regression
Fudan University（复旦大学）
尽管最近在2D人体姿态估计方面取得了成功，但3D人体姿态估计仍然是一个悬而未决的问题。一个关键的挑战是不适定的深度模糊性质。本文提出了一种新的中间特征表示称为骨架图回归。它从RGB图像的无关属性（如光照和纹理）中提取结构背景。它简单，干净，可以很容易地通过反卷积网络生成。这是第一次，我们表明，训练回归网络从骨架图单独是能够满足国家的最先进的三维人体姿态估计工作的性能。我们进一步利用多个3D假设生成的能力来获得与2D姿态检测一致的合理的3D姿态。我们的方法的有效性在具有挑战性的野外数据集MPII和室内数据集Human3.6M上进行了验证。
2017-11-29 cs.CV
AnyPose: Anytime 3D Human Pose Forecasting via Neural Ordinary Differential Equations
Purdue University（普渡大学）
针对现有3D人体姿态预测仅限离散时间间隔的问题，提出基于神经常微分方程的轻量级连续时间架构AnyPose，实现任意时刻预测且计算时间显著降低。
2023-09-09 cs.CV
A Data-driven Approach for Human Pose Tracking Based on Spatio-temporal Pictorial Structure
Indian Statistical Institute（印度统计学院）
在本文中，我们提出了一个数据驱动的方法，在视频数据中的人体姿态跟踪。我们制定的人体姿态跟踪问题作为一个离散的优化问题的基础上的时空图像结构模型和解决这个问题的贪婪框架非常有效。我们提出的模型来跟踪人体的姿势相结合的人从单一的图像和传统的目标跟踪视频中的姿态估计。我们的姿态跟踪目标函数由以下条款组成：一个帧内的一部分的外观，从前一帧到当前帧的时间位移的一部分，和一个部分的空间依赖性与它的父亲在图形结构中的相似性。在基准数据集（VideoPose2，Poses in the Wild and Outdoor Pose）以及我们新构建的ICDPose数据集上的实验评估表明了我们所提出的方法的实用性。
2016-07-31 cs.CV
PPT: token-Pruned Pose Transformer for monocular and multi-view human pose estimation
University of California, Irvine（加州大学欧文分校）；Tencent Inc（腾讯公司）；Meta AI
近年来，视觉Transformer及其变体在单目和多视角人体姿态估计中发挥了越来越重要的作用。将图像补丁视为令牌，Transformers可以对整个图像内或来自其他视图的图像之间的全局依赖性进行建模。然而，全局注意力在计算上是昂贵的。因此，很难将这些基于变换的方法扩展到高分辨率特征和许多视图。在本文中，我们提出了令牌修剪姿态Transformer（PPT）的二维人体姿态估计，它可以定位一个粗略的人体面具，并执行自我注意力只在选定的令牌。此外，我们将我们的PPT扩展到多视图人体姿态估计。基于PPT，我们提出了一种新的跨视图融合策略，称为人体区域融合，认为所有的人类前景像素作为相应的候选人。COCO和MPII上的实验结果表明，我们的PPT可以匹配以前的姿态Transformer方法的精度，同时减少了计算。此外，在人类3.6M和滑雪姿势上的实验表明，我们的多视图PPT可以有效地融合来自多个视图的线索，并实现新的最先进的结果。
2022-09-16 cs.CV
Large Area 3D Human Pose Detection Via Stereo Reconstruction in Panoramic Cameras
Profactor GmbH（普罗法克特有限公司）；JKU（约翰内斯·开普勒大学）
我们提出了一种新的三维人体姿态检测器使用两个全景摄像机。我们表明，将鱼眼视角转换为直线视图可以直接应用二维深度学习姿势估计方法，而无需明确需要昂贵的重新训练步骤来补偿鱼眼图像失真。通过利用全景相机，我们的方法是能够准确地估计在一个大的视野中的人的姿态。这使得我们的方法适用于人体工程学分析和其他姿势为基础的评估。
2019-07-01 cs.CV
Adversarial PoseNet: A Structure-aware Convolutional Network for Human Pose Estimation
The University of Adelaide（阿德莱德大学）；Nanjing University（南京大学）；Nanjing University of Science and Technology（南京理工大学）
对于单目图像中的人体姿态估计，人体上的关节遮挡和重叠通常会导致姿态预测的偏差。在这些情况下，可能会产生生物学上难以置信的姿势预测。相比之下，人类视觉能够通过利用关节互连的几何约束来预测姿势。为了通过结合人体结构的先验知识来解决这个问题，我们提出了一种新的结构感知卷积网络，以便在深度网络的训练过程中隐式地考虑这些先验知识。这种约束的显式学习通常具有挑战性。相反，我们设计了判别器来区分真实的姿势和虚假的姿势（比如生物学上不可信的姿势）。如果姿态生成器（G）生成的结果无法与真实结果区分开来，则网络成功地学习了先验知识。
2017-05-02 cs.CV
Scene-Aware Urban Design: A Human-AI Recommendation Framework Using Co-Occurrence Embeddings and Vision-Language Models
Department of Architecture（建筑系）；Department of EECS（电子工程与计算机科学系）；Massachusetts Institute of Technology（麻省理工学院）
本文提出一种人机协同的城市设计推荐框架，利用共现嵌入和视觉语言模型，从场景图像中为锚定物体推荐互补元素，以支持自下而上的本地化参与式设计。
2025-11-09 cs.CV cs.HC
PoseTrans: A Simple Yet Effective Pose Transformation Augmentation for Human Pose Estimation
Beihang University（北京航空航天大学）；SenseTime Research（商汤科技研究院）；The University of Hong Kong（香港大学）；Shanghai AI Laboratory（上海人工智能实验室）
人体姿态估计旨在准确地估计各种各样的人体姿态。然而，现有的数据集往往遵循长尾分布，不寻常的姿态只占一小部分，这进一步导致缺乏多样性的罕见姿态。这些问题导致当前姿态估计器的泛化能力较差。在本文中，我们提出了一个简单而有效的数据增强方法，称为姿态变换（PoseTrans），以减轻上述问题。具体来说，我们提出了姿势变换模块（PTM），以创建新的训练样本，具有不同的姿势，并采取姿势训练，以确保增强的姿势的可扩展性。此外，我们提出了姿势聚类模块（PCM）来衡量姿势的稀有性，并选择“稀有”的姿势，以帮助平衡长尾分布。在三个基准数据集上的大量实验证明了该方法的有效性，特别是在稀有姿势上。此外，我们的方法是高效和简单的实现，它可以很容易地集成到现有的姿态估计模型的训练管道。
2022-08-16 cs.CV
UniHPR: Unified Human Pose Representation via Singular Value Contrastive Learning
University of Washington（华盛顿大学）；University of Copenhagen（哥本哈根大学）
针对多模态人体姿态表示缺乏统一对齐研究的问题，提出UniHPR流水线与基于奇异值的对比损失，在人体姿态估计与检索任务上取得优异性能。
2025-10-21 cs.CV
Leveraging Temporal Joint Depths for Improving 3D Human Pose Estimation in Video
Mobility Technologies Co., Ltd.
从视频的每帧中估计的2D姿态预测3D姿态的方法的有效性已经被证明用于3D人体姿态估计。然而，没有人的外观信息的2D姿态相对于联合深度具有很大的模糊性。在本文中，我们提出了在视频的每一帧中估计3D姿态，并考虑时间信息对其进行细化。该方法减少了联合深度的模糊性，提高了3D姿态估计精度。
2020-11-04 cs.CV
Social-Pose: Enhancing Trajectory Prediction with Human Body Pose
Visual Intelligence for Transportation (VITA) lab（视觉交通智能实验室）；École Polytechnique Fédérale de Lausanne (EPFL)（瑞士联邦理工学院洛桑校区）
针对自动驾驶中人体轨迹预测未充分利用人体视觉线索的问题，提出基于注意力的Social-pose姿态编码器，可集成到多种预测架构，在多个数据集上提升主流模型性能，并探究了姿态维度、噪声及机器人导航应用相关问题。
2025-07-30 cs.CV
