EVOPOSE: A Recursive Transformer For 3D Human Pose Estimation With Kinematic Structure Priors
University of Science and Technology of China（中国科学技术大学）；The University of Sydney（悉尼大学）
针对现有基于Transformer的3D人体姿态估计未充分利用人体骨骼运动学先验的问题，提出EvoPose模型，通过SPR模块和RR模块引入并利用人体结构先验，在Human3.6M和MPI-INF-3DHP基准上达到新SOTA。
2023-06-16 cs.CV
Semantic Segmentation Enhanced Transformer Model for Human Attention Prediction
Nankai University（南开大学）
显著性预测的目的是预测人眼对RGB图像的注意力分布。大多数最新的方法都是基于传统CNN的深度图像特征表示。然而，传统的卷积不能很好地捕捉图像的全局特征，由于其小的内核大小。此外，与人类视觉感知密切相关的高级因素，例如，物体、颜色、光线等，不被考虑。受此启发，我们提出了一种基于transformer的方法，语义分割作为另一个学习目标。Transformer可以捕获图像的更多全局线索。此外，同时学习对象分割模拟人类的视觉感知，我们将在我们的研究中验证人类的视线控制在认知科学。我们为子任务构建了一个额外的解码器，多个任务共享相同的Transformer编码器，迫使它从多个特征空间中学习。我们发现，在实践中，简单地添加子任务可能会混淆主任务的学习，因此多任务注意模块被提出来处理多个学习目标之间的特征交互。与其他最先进的方法相比，我们的方法实现了具有竞争力的性能。
2023-01-26 cs.CV
CrossFormer: Cross Spatio-Temporal Transformer for 3D Human Pose Estimation
Canberra University（堪培拉大学）；CSIRO（联邦科学与工业研究组织）；The University of Western Australia（西澳大利亚大学）
三维人体姿态估计可以通过编码身体部位之间的几何依赖关系和强制执行运动学约束来处理。最近，Transformer已被采用来编码空间和时间域中关节之间的长程依赖关系。虽然它们在长距离依赖性方面表现出色，但研究指出需要改进视觉Transformer的局部性。在这个方向上，我们提出了一种新颖的姿态估计Transformer，其特征在于对捕获跨帧的细微变化至关重要的身体关节的丰富表示（即，特征间表示）。具体而言，通过两个新的交互模块;跨关节交互和跨帧交互，该模型显式编码的局部和全局的身体关节之间的依赖关系。所提出的架构在两个流行的3D人体姿态估计数据集Human3.6和MPI-INF-3DHP上实现了最先进的性能。特别是，我们提出的CrossFormer方法分别使用检测到的2D姿势和地面实况设置，与最接近的对应物PoseFormer相比，性能提高了0.9%和0.3%。
2022-03-24 cs.CV
HSTFormer: Hierarchical Spatial-Temporal Transformers for 3D Human Pose Estimation
Case Western Reserve University（凯斯西储大学）；PAII Inc.（平安智能信息有限公司）；Ping An Technology（平安科技）；Duke Kunshan University（昆山杜克大学）
基于变换器的方法已经被成功地提出用于从2D姿态序列估计3D人体姿态（HPE），并且实现了最先进的（SOTA）性能。然而，当前的SOTA很难同时对不同级别的关节的时空相关性进行建模。这是由于姿势的时空复杂性。姿势以不同的速度暂时移动，不同的关节和身体部位在空间上移动。因此，千篇一律的Transformer是不适应的，并且难以满足“野外”要求。为了解决这个问题，我们提出了分层时空变换器（HSTFormer），以捕获多级关节的时空相关性从局部到全局逐渐准确的三维HPE。HSTFormer由四个Transformer编码器（TE）和一个融合模块组成。据我们所知，HSTFormer是第一个研究多级融合的层次TE。在三个数据集上进行了广泛的实验（即，Human3.6M、MPI-INF-3DHP和HumanEva）证明，HSTFormer在各种规模和难度的基准测试中实现了具有竞争力和一致性的性能。具体而言，它超越了具有挑战性的MPI-INF-3DHP数据集和小规模HumanEva数据集的最新SOTA，具有高度通用的系统方法。该代码可从以下网址获得：https://github.com/qianxiaoye825/HSTFormer。
2023-01-18 cs.CV
TransFusion: Cross-view Fusion with Transformer for 3D Human Pose Estimation
University of California, Irvine（加州大学欧文分校）；Facebook（脸书）；Amazon（亚马逊）
估计每个视图中的2D人体姿态通常是校准的多视图3D姿态估计中的第一步。但是2D姿态检测器的性能受到诸如遮挡和倾斜视角等具有挑战性的情况的影响。为了解决这些挑战，以前的工作从对极几何中导出不同视图之间的点对点对应关系，并利用这些对应关系来合并预测热图或特征表示。而不是预测后的合并/校准，在这里，我们介绍了一个Transformer框架的多视图3D姿态估计，旨在通过整合来自不同视图的信息，直接提高个人的2D预测。受以前的多模态Transformers的启发，我们设计了一个统一的Transformer架构，名为TransFusion，融合来自当前视图和相邻视图的线索。此外，我们提出了核线场的概念，编码到Transformer模型的三维位置信息。由对极场引导的3D位置编码提供了对不同视图的像素之间的对应性进行编码的有效方式。在Human 3.6M和Ski-Pose上的实验表明，与其他融合方法相比，该方法具有更高的效率和一致的改进。具体来说，我们在Human 3.6M上实现了25.8 mm MPJPE，仅使用256 x 256分辨率的5 M参数。
2021-12-09 cs.CV
Pose-Oriented Transformer with Uncertainty-Guided Refinement for 2D-to-3D Human Pose Estimation
Qualcomm AI Research（高通人工智能研究院）；Qualcomm Technologies, Inc.（高通技术公司）；Shanghai Jiao Tong University（上海交通大学）
最近，人们对将Transformers引入3D人体姿态估计（HPE）的兴趣激增，因为它们在建模长期依赖性方面具有强大的功能。然而，现有的基于变换器的方法将身体关节视为同等重要的输入，并且忽略了自我注意力机制中的人体骨架拓扑的先验知识。为了解决这个问题，在本文中，我们提出了一个姿态导向的Transformer（POT）与不确定性指导细化的三维HPE。具体来说，我们首先开发了新的面向姿态的自我注意力机制和距离相关的位置嵌入POT明确利用人体骨架拓扑结构。面向姿态的自我注意力机制明确地对身体关节之间的拓扑相互作用进行建模，而距离相关的位置嵌入对关节到根关节的距离进行编码，以区分具有不同回归难度的关节组。此外，我们提出了一个不确定性指导的细化网络（UGRN），以改善从POT的姿态预测，特别是对于困难的关节，通过考虑估计的不确定性的每个关节的不确定性与不确定性指导的采样策略和自我注意力机制。大量的实验表明，我们的方法在3D HPE基准测试（如Human3.6M和MPI-INF-3DHP）上显著优于具有减少的模型参数的最先进方法
2023-02-15 cs.CV
TFPose: Direct Human Pose Estimation with Transformers
The University of Adelaide（阿德莱德大学）；Alibaba Group（阿里巴巴集团）
我们提出了一个人的姿态估计框架，解决了基于回归的时尚的任务。与以前的基于回归的方法，这往往落后于那些国家的最先进的方法，我们制定的姿势估计任务到一个序列预测问题，可以有效地解决Transformers。我们的框架是简单和直接的，绕过了基于热图的姿势估计的缺点。此外，与Transformers中的注意力机制，我们提出的框架是能够自适应地注意到最相关的目标关键点的功能，这在很大程度上克服了以前的基于回归的方法的特征不对齐的问题，并大大提高了性能。重要的是，我们的框架可以从本质上利用关键点之间的结构化关系。在MS-COCO和MPII数据集上的实验表明，我们的方法可以显着提高基于回归的姿态估计的最新技术水平，并与最好的基于热图的姿态估计方法进行比较。
2021-03-29 cs.CV
Exploiting Temporal Contexts with Strided Transformer for 3D Human Pose Estimation
Peking University（北京大学）；Sun Yat-sen University（中山大学）；Alibaba Group（阿里巴巴集团）；Tsinghua University（清华大学）
尽管从视频中估计3D人体姿态取得了很大进展，但充分利用冗余的2D姿态序列来学习用于生成3D姿态的代表性表示仍然是一个开放的问题。为此，我们提出了一种改进的基于变换器的架构，称为跨步Transformer，它简单而有效地解除了一个长序列的2D关节位置到一个单一的3D姿态。具体来说，香草Transformer编码器（VTE）采用模型的2D姿态序列的长程依赖关系。为了减少序列的冗余，VTE的前馈网络中的全连接层被替换为跨步卷积，以逐渐缩小序列长度并从局部上下文聚合信息。改进后的VTE被称为步进式Transformer编码器（STE），它是建立在VTE的输出。STE不仅有效地聚合远程信息，以分层的全局和局部方式的单向量表示，但也显着降低了计算成本。此外，一个全到单的监督方案设计在全序列和单目标帧尺度分别适用于VTE和STE的输出。该方案结合单个目标帧监督施加额外的时间平滑度约束，因此有助于产生更平滑和更准确的3D姿态。在两个具有挑战性的基准数据集Human3.6M和HumanEva-I上评估了拟议的Strided Transformer，并以较少的参数获得了最先进的结果。代码和型号可在\url{https://github.com/Vegetebird/StridedTransformer-Pose3D}上找到。
2022-01-11 cs.CV
Category-Aware Transformer Network for Better Human-Object Interaction Detection
Huazhong University of Science and Technology（华中科技大学）
人-物交互（HOI）检测，其目的是定位的人和相关的对象，同时认识到他们的互动，是至关重要的理解静止图像。最近，基于变压器的模型显着推进了HOI检测的进展。然而，这些模型的能力还没有得到充分的探索，因为模型的对象查询总是简单地初始化为零，这将影响性能。在本文中，我们试图研究的问题，促进基于transformer的HOI检测器初始化的对象查询与类别感知的语义信息。为此，我们创新性地提出了类别感知Transformer网络（CATN）。具体地，对象查询将经由由外部目标检测模型表示的类别先验来初始化，以产生更好的性能。此外，此类类别先验还可用于通过注意力机制增强特征的表示能力。我们首先通过Oracle实验验证了我们的想法，通过使用groundtruth类别信息初始化对象查询。然后进行了大量的实验，表明配备了我们的想法的HOI检测模型的性能大大优于基线，达到了一个新的国家的最先进的结果。
2022-05-09 cs.CV
End-to-End Human-Gaze-Target Detection with Transformers
Shanghai Jiao Tong University（上海交通大学）；Baidu Research（百度研究院）
在本文中，我们提出了一种有效的和高效的方法，人类凝视目标（HGT）检测，即，凝视跟随。当前的方法将HGT检测任务解耦为显著目标检测和人类注视预测的单独分支，采用两阶段框架，其中必须首先检测人类头部位置，然后将其馈送到下一个注视目标预测子网络中。相比之下，我们重新定义的HGT检测任务，检测人类头部的位置和他们的凝视目标，同时。通过这种方式，我们的方法，命名为人类凝视目标检测Transformer或HGTTR，通过消除所有其他额外的组件来简化HGT检测管道。HGTTR从全局图像背景出发，对显著物体与人类注视的关系进行推理。此外，与现有的需要人类头部位置作为输入并且每次只能预测一个人的注视目标的两阶段方法不同，HGTTR可以以端到端的方式直接预测所有人及其注视目标的位置。我们提出的方法的有效性和鲁棒性进行了验证与广泛的实验上的两个标准的基准数据集，GazeFollowing和VideoAttention Target。没有花里胡哨，HGTTR以更简单的架构大幅优于现有的最先进的方法（GazeFollowing上的6.4 mAP增益和VideoAttentionTarget上的10.3 mAP增益）。
2022-03-24 cs.CV
Jointformer: Single-Frame Lifting Transformer with Error Prediction and Refinement for 3D Human Pose Estimation
Trinity College Dublin（都柏林圣三一学院）；Accenture Labs（埃森哲实验室）
单目三维人体姿态估计技术有可能大大提高人体运动数据的可用性。单图像2D-3D提升的最佳性能模型使用图卷积网络（GCN），通常需要一些手动输入来定义不同身体关节之间的关系。我们提出了一种新的变压器为基础的方法，使用更广泛的自我注意力机制来学习这些关系内的一系列令牌代表关节。我们发现，使用中间监督，以及堆叠编码器之间的剩余连接的好处性能。我们还建议将错误预测作为多任务学习框架的一部分，通过允许网络补偿其置信水平来提高性能。我们进行了广泛的消融研究，以表明我们的每一个贡献都提高了性能。此外，我们表明，我们的方法优于最新的单帧3D人体姿态估计的最新状态的大幅度。我们的代码和训练模型在Github上公开提供。
2022-08-07 cs.CV
Consistency Learning via Decoding Path Augmentation for Transformers in Human Object Interaction Detection
Korea University（高丽大学）；Kakao Brain
人机交互检测是一个整体的视觉识别任务，需要目标检测以及交互分类。HOI检测的先前工作已经通过子集预测的各种组合来解决，例如，图像-> HO -> I，图像-> HI -> O。最近，已经出现了用于HOI的基于Transformer的架构，其以端到端的方式直接预测HOI三元组（Image -> HOI）。受HOI检测的各种推理路径的启发，我们提出了交叉路径一致性学习（CPC），这是一种新的端到端学习策略，通过利用增强的解码路径来提高Transformers的HOI检测。CPC学习强制来自置换推理序列的所有可能的预测是一致的。这个简单的方案使模型学习一致的表示，从而在不增加模型容量的情况下提高泛化能力。我们的实验证明了我们的方法的有效性，我们取得了显着改善V-COCO和HICO-DET相比，基线模型。我们的代码可在https://github.com/mlvlab/CPChoi上获得。
2022-04-11 cs.CV
KTPFormer: Kinematics and Trajectory Prior Knowledge-Enhanced Transformer for 3D Human Pose Estimation
The Hong Kong Polytechnic University（香港理工大学）
针对3D人体姿态估计中自注意力Q、K、V仅依赖简单线性映射的问题，提出含KPA与TPA先验注意力模块的KTPFormer，融合人体运动学拓扑与跨帧轨迹先验，在三大基准上性能领先且可轻量即插即用地增强多种Transformer网络。
2024-04-02 cs.CV
Test-Time Personalization with a Transformer for Human Pose Estimation
Shanghai Jiao Tong University（上海交通大学）；UC San Diego（加州大学圣地亚哥分校）
我们建议个性化的人的姿态估计给出了一组测试图像的人，而不使用任何手动注释。虽然在人体姿态估计方面取得了重大进展，但模型推广到不同的未知环境和看不见的人仍然非常具有挑战性。而不是使用一个固定的模型为每个测试用例，我们适应我们的姿势估计在测试时间利用个人特定的信息。我们首先训练我们的模型在不同的数据与监督和自我监督的姿态估计目标联合。我们使用Transformer模型来构建自监督关键点和监督关键点之间的转换。在测试期间，我们通过自监督目标进行微调来个性化和调整我们的模型。然后通过变换更新的自监督关键点来改进姿势。我们对多个数据集进行了实验，并通过我们的自我监督个性化在姿势估计方面取得了显着改进。
2021-11-08 cs.CV
MotionAGFormer: Enhancing 3D Human Pose Estimation with a Transformer-GCNFormer Network
KITE Research Institute（KITE研究所）；Institute of Biomedical Engineering, University of Toronto（多伦多大学生物医学工程研究所）；Department of Computer Science, University of Toronto（多伦多大学计算机科学系）
本文提出MotionAGFormer网络，通过结合Transformer与GCNFormer双流并行处理全局与局部关节关系，在3D人体姿态估计任务上以更少参数和更高计算效率达到了最先进的精度。
2023-10-25 cs.CV
DPIT: Dual-Pipeline Integrated Transformer for Human Pose Estimation
Shanghai University（上海大学）；Shanghai Institute of Advanced Communication and Data Science（上海先进通信与数据科学研究院）；JD Logistics（京东物流）；JD Explore Academy（京东探索研究院）
人体姿态估计的目的是找出所有人在不同场景中的关键点。目前的方法尽管取得了可喜的成果，但仍面临一些挑战。现有的自上而下的方法单独处理单个人，没有不同的人和他们所处的场景之间的交互。因此，当发生严重遮挡时，人体检测的性能下降。另一方面，现有的自下而上的方法同时考虑所有人，并捕获整个图像的全局知识。然而，由于尺度变化，它们不如自上而下的方法准确。为了解决这些问题，我们提出了一种新的双管道集成Transformer（DPIT），通过自上而下和自下而上的管道来探索不同感受野的视觉线索，实现它们的互补。具体地说，DPIT由两个分支组成，自底向上分支处理整幅图像以获取全局视觉信息，而自顶向下分支从单人限界框中提取局部视觉的特征表示。然后，从自底向上和自顶向下分支提取的特征表示被馈送到Transformer编码器，以交互地融合全局和局部知识。此外，我们定义了关键点查询，以探索全场景和单个人体姿势的视觉线索，实现两个管道的互补性。据我们所知，这是将自下而上和自上而下的管道与Transformers集成以进行人体姿势估计的首批作品之一。COCO和MPII数据集上的大量实验表明，我们的DPIT实现了与最先进的方法相当的性能。
2022-09-02 cs.CV
GTPT: Group-based Token Pruning Transformer for Efficient Human Pose Estimation
State Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）；Cainiao Network（菜鸟网络）
提出GTPT，一种基于分组令牌剪枝的Transformer，通过从粗到细引入关键点、分组关键点令牌并剪枝视觉令牌，以及多头组注意力实现高效全身姿态估计，在COCO和COCO-WholeBody上以更低计算量取得更高性能。
2024-07-16 cs.CV
3D Human Pose Estimation via Spatial Graph Order Attention and Temporal Body Aware Transformer
School of Computer and Information Engineering, Henan University（河南大学计算机与信息工程学院）
提出结合图阶注意力与时间身体感知Transformer的3D人体姿态估计方法，通过多阶图建模和中心姿态感知自注意力机制解决现有Transformer与GCN方法的局限，在多个数据集上验证了有效性。
2025-05-02 cs.CV
Uplift and Upsample: Efficient 3D Human Pose Estimation with Uplifting Transformers
University of Augsburg（奥格斯堡大学）
视频中的单目3D人体姿态估计的最新技术由2D到3D姿态提升的范例主导。虽然提升方法本身是相当有效的，但真正的计算复杂性取决于每帧2D姿态估计。在本文中，我们提出了一种基于变换器的姿势提升方案，可以在时间稀疏的2D姿势序列上操作，但仍然产生时间密集的3D姿势估计。我们展示了如何屏蔽令牌建模可以用于时间上采样内Transformer块。这允许解耦输入2D姿态的采样率和视频的目标帧速率，并显著降低总的计算复杂性。此外，我们还探索了对大型运动捕捉存档进行预训练的选项，这在很大程度上被忽视了。我们在两个流行的基准数据集上评估了我们的方法：Human3.6M和MPI-INF-3DHP。MPJPE分别为45.0 mm和46.9 mm，我们提出的方法可以与最先进的方法竞争，同时将推理时间减少12倍。这使得在固定和移动应用中使用可变消费者硬件实现实时吞吐量。我们在https://github.com/goldbricklemon/uplift-upsample-3dhpe上发布代码和模型
2022-10-21 cs.CV
Multi-hop graph transformer network for 3D human pose estimation
Concordia Institute for Information Systems Engineering（康考迪亚信息系统工程研究所）；Concordia University（康考迪亚大学）
本文提出多跳图Transformer网络，结合多头自注意力与多跳图卷积及空洞卷积，捕捉局部和全局时空依赖，以提升视频中二维到三维人体姿态估计的精度与泛化能力。
2024-05-05 cs.CV
Graph and Skipped Transformer: Exploiting Spatial and Temporal Modeling Capacities for Efficient 3D Human Pose Estimation
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
本文提出图与跳跃Transformer架构G-SFormer，通过粗粒度空间图网络和跳跃Transformer高效建模时空特征，以约10%参数量在多个3D人体姿态估计基准上超越现有方法并增强鲁棒性。
2024-07-03 cs.CV
Dual-stream Spatio-Temporal GCN-Transformer Network for 3D Human Pose Estimation
School of Information and Electronic Engineering, Zhejiang University of Science and Technology（浙江科技大学信息电子工程学院）
本文提出双流时空GCN-Transformer网络，通过并行通道建模人体骨骼的时空关系，融合全局与局部特征，实现3D人体姿态估计的高精度。
2026-04-20 cs.CV
3D Human Pose Estimation with Spatial and Temporal Transformers
Center for Research in Computer Vision, University of Central Florida（中佛罗里达大学计算机视觉研究中心）；Department of Computer Science, Tulane University（杜兰大学计算机科学系）
Transformer架构已经成为自然语言处理中的首选模型，并且现在正在被引入计算机视觉任务，例如图像分类、目标检测和语义分割。然而，在人体姿态估计领域，卷积架构仍然占主导地位。在这项工作中，我们提出了PoseFormer，这是一种纯粹基于变换的方法，用于在视频中进行3D人体姿势估计，而不涉及卷积架构。受视觉Transformer最新发展的启发，我们设计了一个时空Transformer结构，以全面建模每个帧内的人体关节关系以及跨帧的时间相关性，然后输出中心帧的精确3D人体姿势。我们在两个流行的标准基准数据集：Human3.6M和MPI-INF-3DHP上定量和定性地评估了我们的方法。大量的实验表明，PoseFormer在两个数据集上都达到了最先进的性能。代码可在\url{https://github.com/zczcwh/PoseFormer}上获得
2021-08-22 cs.AI cs.CV cs.HC
ConvFormer: Parameter Reduction in Transformer Models for 3D Human Pose Estimation by Leveraging Dynamic Multi-Headed Convolutional Attention
Inseer, Inc.（Inseer公司）
提出ConvFormer卷积Transformer，利用动态多头卷积自注意力机制全面建模时空关节关系，在三个基准数据集上实现SOTA或接近SOTA性能的同时显著减少了模型参数。
2023-04-04 cs.CV cs.LG
FeatER: An Efficient Network for Human Reconstruction via Feature Map-Based TransformER
University of Central Florida（中佛罗里达大学）；OPPO Seattle Research Center（OPPO西雅图研究中心）；Westlake University（西湖大学）
最近，视觉Transformer在一组人体重建任务中显示出巨大的成功，例如2D人体姿态估计（2D HPE）、3D人体姿态估计（3D HPE）和人体网格重建（HMR）任务。在这些任务中，通常首先通过CNN（例如HRNet）从图像中提取人体结构信息的特征图表示，然后通过Transformer进一步处理，以预测HPE或HMR的热图（将每个关节的位置编码为具有高斯分布的特征图）。然而，现有的Transformer架构不能直接处理这些特征图输入，迫使位置敏感的人类结构信息的非自然平坦化。此外，最近的HPE和HMR方法的大部分性能优势是以不断增加的计算和内存需求为代价的。因此，为了同时解决这些问题，我们提出了一种新的Transformer设计，它在建模注意力时保留了特征图表示的固有结构，同时降低了内存和计算成本。利用BERMEER，我们建立了一个高效的网络，用于一组人体重建任务，包括2D HPE，3D HPE和HMR。一个特征图重建模块被应用于提高估计的人体姿态和网格的性能。大量的实验表明，在各种人体姿势和网格数据集的有效性。例如，在Human3.6M和3DPW数据集上，MeshGraphormer需要5%的Params和16%的MAC，因此它的性能优于SOTA方法。该项目的网页是https://zczcwh.github.io/feater_page/。
2023-03-23 cs.AI cs.CV cs.HC
BTranspose: Bottleneck Transformers for Human Pose Estimation with Self-Supervised Pre-Training
Ford Greenfield Labs（福特格林菲尔德实验室）；Ford Research（福特研究院）
2D人体姿态估计的任务是具有挑战性的，因为关键点的数量通常很大（~ 17），并且这需要使用可以从输入图像捕获相关特征的鲁棒神经网络架构和训练管道。然后，这些特征被聚合以进行准确的热图预测，从中可以推断出人体部位的最终关键点。文献中的许多论文使用基于CNN的架构作为骨干，和/或将其与Transformer结合，然后聚合特征以进行最终的关键点预测[1]。在本文中，我们考虑了最近提出的瓶颈Transformers [2]，它有效地结合了CNN和多头自注意力（MHSA）层，我们将其与Transformer编码器集成在一起，并将其应用于2D人体姿势估计任务。我们考虑了不同的骨干架构，并使用DINO自监督学习方法[3]对其进行预训练，发现这种预训练可以提高整体预测精度。我们称我们的模型为BTranspose，实验表明，在COCO验证集上，我们的模型实现了76.4的AP，这与[1]等其他方法具有竞争力，并且具有更少的网络参数。此外，我们还展示了最终预测的关键点对MHSA块和Transformer编码器层的依赖关系，为网络在中高层关注的图像子区域提供了线索。
2022-04-21 cs.CV cs.LG
Exploring Structure-aware Transformer over Interaction Proposals for Human-Object Interaction Detection
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；JD Explore Academy（京东探索研究院）；The Hong Kong Polytechnic University（香港理工大学）
最近的高性能人-对象交互（HOI）检测技术受到基于变换器的对象检测器（即，DETR）。然而，他们中的大多数直接映射参数交互查询到一组HOI预测通过香草Transformer在一个阶段的方式。这使得丰富的内部或内部交互结构未得到充分利用。在这项工作中，我们设计了一种新的变压器式HOI检测器，即，用于HOI检测的结构感知Transformer over Interaction Proposals（STIP）。这种设计将HOI集合预测的过程分解为两个后续阶段，即，首先执行交互建议生成，然后通过结构感知的Transformer将非参数交互建议转换为HOI预测。结构感知的Transformer通过额外编码交互提议之间的整体语义结构以及每个交互提议中的人/物体的局部空间结构来升级香草Transformer，以加强HOI预测。在V-COCO和HICO-DET基准上进行的大量实验证明了STIP的有效性，并且与最先进的HOI检测器相比，报告了优越的结果。源代码可从\url{https://github.com/zyong812/STIP}获得。
2022-06-13 cs.AI cs.CV cs.MM
Refined Temporal Pyramidal Compression-and-Amplification Transformer for 3D Human Pose Estimation
Tsinghua University（清华大学）；Institute for Intelligent Computing, Alibaba Group（阿里巴巴集团智能计算研究院）；Carnegie Mellon University（卡内基梅隆大学）
提出RTPCA Transformer，通过时间金字塔压缩与放大和跨层细化模块，在多个基准上以最小计算开销实现最先进的三维人体姿态估计。
2024-02-04 cs.AI cs.CV
HSTGFormer: Hyper Spatial-Temporal Graph Transformer for 3D Human Pose Estimation
Durham University（杜伦大学）
本文提出HSTGFormer框架，通过超时空图与自适应双尺度时间图实现时空耦合推理，在Human3.6M等数据集上以高准确率与计算效率完成3D人体姿态估计。
2026-08-13 cs.AI cs.CV
Dual-stream Transformer-GCN Model with Contextualized Representations Learning for Monocular 3D Human Pose Estimation
Northeastern University（东北大学）；College of Sciences, Northeastern University（东北大学理学院）；Key Laboratory of Differential Equations and Their Applications, Northeastern University（东北大学微分方程及应用重点实验室）；Liaoning Provincial Department of Education（辽宁省教育厅）；King’s College London（伦敦国王学院）；Shenyang sport University（沈阳体育学院）
本文提出基于上下文表征学习的Transformer-GCN双流模型，通过掩码2D姿态特征与自蒸馏预训练增强时空建模，在单目3D人体姿态估计任务上实现SOTA性能与强泛化能力。
2025-04-02 cs.AI cs.CV
PyCAT4: A Hierarchical Vision Transformer-based Framework for 3D Human Pose Estimation
Department of Computer Science（计算机科学系）；University College London（伦敦大学学院）；School of Electronic Engineering（电子工程学院）；Queen Mary University of London（伦敦女王学院）；Department of Earth Science（地球科学系）；Imperial College London（帝国理工学院）
本研究提出PyCAT4框架，通过引入自注意力机制的Transformer特征提取层、特征时间融合技术和空间金字塔结构，优化Pymaf网络，在COCO和3DPW数据集上显著提升3D人体姿态估计的检测能力。
2026-05-26 cs.CV cs.LG
Enhancing 3D Human Pose Estimation Amidst Severe Occlusion with Dual Transformer Fusion
Information Technology University（信息技术大学）；King Abdulaziz University（阿卜杜勒阿齐兹国王大学）
针对单目视频3D人体姿态估计中的严重遮挡问题，提出基于时间插值遮挡引导机制的双Transformer融合算法，通过双中间视图自细化与融合实现端到端估计，在两个基准数据集上性能超越现有最优方法。
2024-10-06 cs.CV cs.LG
Hourglass Tokenizer for Efficient Transformer-Based 3D Human Pose Estimation
National Key Laboratory of General Artificial Intelligence, Peking University, Shenzhen Graduate School（北京大学深圳研究生院通用人工智能国家重点实验室）；Amazon Prime Video（亚马逊Prime视频）；University of Trento（特伦托大学）
提出即插即用的剪枝与恢复框架HoT，通过动态剪枝冗余帧token并恢复全长时空信息，在保持精度的同时大幅降低基于Transformer的3D人体姿态估计的计算成本。
2024-03-27 cs.AI cs.CV cs.LG
Towards Precise 3D Human Pose Estimation with Multi-Perspective Spatial-Temporal Relational Transformers
School of Artificial Intelligence, Xidian University（西安电子科技大学人工智能学院）；Zhejiang University（浙江大学）；School of Robotics, Hunan University（湖南大学机器人学院）；National Engineering Research Center of Robot Visual Perception and Control Technology, Hunan University（湖南大学机器人视觉感知与控制技术国家工程研究中心）
针对3D人体姿态估计，提出一种多阶段seq2seq框架，利用多视角时空关系Transformer的自注意力机制提取时空特征并消除干扰，在Human3.6M数据集上达到最先进性能。
2024-03-25 cs.CV cs.RO eess.IV
MHFormer: Multi-Hypothesis Transformer for 3D Human Pose Estimation
Peking University（北京大学）；ETH Zurich（苏黎世联邦理工学院）；Alibaba Group（阿里巴巴集团）
从单目视频中估计三维人体姿态是一项具有挑战性的任务，由于深度模糊和自遮挡。大多数现有的作品试图通过利用空间和时间关系来解决这两个问题。然而，这些工作忽略了这样一个事实，即它是一个逆问题，其中多个可行解（即，假设）存在。为了缓解这一限制，我们提出了一个多假设Transformer（MHFormer），学习多个合理的姿势假设的时空表示。为了有效地建模多假设依赖关系并在假设特征之间建立强关系，任务被分解为三个阶段：（i）生成多个初始假设表示;（ii）建模自假设通信，将多个假设合并为单个收敛表示，然后将其划分为多个发散假设;（iii）学习跨假设通信并聚合多假设特征以合成最终3D姿态。通过上述过程，最终表示得到增强，合成的姿态更加准确。大量的实验表明，MHFormer在两个具有挑战性的数据集上实现了最先进的结果：Human3.6M和MPI-INF-3DHP。在没有花里胡哨的情况下，它的性能在Human3.6M上超过了之前最好的结果3%。代码和型号可在\url{https://github.com/Vegetebird/MHFormer}上找到。
2022-06-28 cs.AI cs.CV cs.LG
Multi-view knowledge distillation transformer for human action recognition
National Yang Ming Chiao Tung University（国立阳明交通大学）
最近，基于变换器的方法已被用于提高人类动作识别的性能。然而，大多数这些研究假设多视图数据是完整的，这可能并不总是在现实世界的情况下。因此，本文提出了一种新的多视图知识蒸馏Transformer（MKDT）框架，由教师网络和学生网络。该框架旨在处理现实世界应用中的不完整人类行为问题。具体而言，多视图知识蒸馏Transformer使用具有移位窗口的分层视觉Transformer来捕获更多的时空信息。实验结果表明，我们的框架优于基于CNN的方法在三个公共数据集。
2023-03-25 cs.CV
ViT-ReT: Vision and Recurrent Transformer Neural Networks for Human Activity Recognition in Videos
Kansas State University（堪萨斯州立大学）
人类活动识别是计算机视觉中一个新兴的重要领域，它试图确定个人或一组个人正在执行的活动。该领域的应用范围从生成体育比赛中的精彩视频到智能监控和手势识别。大多数活动识别系统依赖于卷积神经网络（CNN）和递归神经网络（RNN）的组合，卷积神经网络（CNN）从数据中执行特征提取，递归神经网络（RNN）确定数据的时间相关性质。本文提出并设计了两种用于人体活动识别的Transformer神经网络：一种递归Transformer（ReT），一种用于对数据序列进行预测的专用神经网络，以及一种视觉Transformer（ViT），一种用于从图像中提取显著特征的Transformer，以提高活动识别的速度和可扩展性。我们提供了一个广泛的比较拟议的Transformer神经网络与当代CNN和基于RNN的人类活动识别模型的速度和准确性。
2022-08-25 cs.CV
What to look at and where: Semantic and Spatial Refined Transformer for detecting human-object interactions
AWS AI Labs（AWS人工智能实验室）；University of California, Santa Barbara（加州大学圣巴巴拉分校）
我们提出了一种新的一阶段基于transformer的语义和空间细化的Transformer（SSRT），以解决人与物体的交互检测任务，这需要本地化的人和物体，并预测他们的互动。与以前基于transformer的HOI方法不同，SSRT主要集中在改进最终检测的解码器输出的设计上，它引入了两个新模块来帮助选择图像中最相关的对象-动作对，并使用丰富的语义和空间特征来细化查询的表示。这些增强功能在两个最受欢迎的HOI基准测试中获得了最先进的结果：V-COCO和HICO-DET。
2022-05-25 cs.CV
THUNDR: Transformer-based 3D HUmaN Reconstruction with Markers
Google Research（谷歌研究院）
我们提出了THUNDR，这是一种基于变换的深度神经网络方法，用于在单目RGB图像下重建人的3D姿势和形状。我们方法的关键是中间3D标记表示，我们的目标是将无模型输出架构的预测能力与统计人体表面模型（如GHUM）的正则化，人体测量保留特性相结合-最近推出的，富有表现力的全身统计3D人体模型，经过端到端训练。我们新颖的基于transformer的预测管道可以专注于与任务相关的图像区域，支持自我监督机制，并确保解决方案与人体测量一致。我们在Human3.6M和3DPW上展示了最先进的结果，包括完全监督和自监督模型，用于推断3D人体形状，关节位置和全局平移的任务。此外，我们观察到非常坚实的三维重建性能，在野外收集的困难的人类构成。
2021-06-17 cs.CV
Pose Transformers (POTR): Human Motion Prediction with Non-Autoregressive Transformers
École Polytechnique Fédéral de Lausanne（洛桑联邦理工学院）；Idiap Research Institute（IDIAP研究所）
我们建议利用Transformer架构进行非自回归人体运动预测。我们的方法从查询序列中并行解码元素，而不是以先前的预测为条件，例如最先进的基于RNN的方法。通过这种方式，我们的方法的计算密集度较低，并且可能避免序列中长期元素的错误累积。在这种背景下，我们的贡献是四方面的：（i）我们框架的人体运动预测作为一个序列到序列的问题，并提出了一个非自回归Transformer并行推断的姿态序列;（ii）我们提出了解码序列的三维姿态从查询序列中预先生成的元素从输入序列;（iii）我们建议从编码器存储器执行基于信标的活动分类，希望识别活动可以改进预测;（iv）我们表明，尽管它很简单，但我们的方法在两个公共数据集上取得了有竞争力的结果，尽管令人惊讶的是，短期预测比长期预测更多。
2021-09-15 cs.CV
Human4DiT: 360-degree Human Video Generation with 4D Diffusion Transformer
Tsinghua University（清华大学）
提出Human4DiT框架，结合扩散Transformer和CNN，通过分层4D Transformer架构从单张图像生成360度时空连贯的人体视频，克服了复杂运动和视角变化下的泛化难题。
2024-09-23 cs.CV
Human-Object Interaction Detection via Disentangled Transformer
Baidu Inc.（百度公司）；ShanghaiTech University（上海科技大学）
人-物体交互检测解决了人类物体交互的联合定位和分类问题。现有的HOI Transformers要么采用单个解码器进行三元组预测，要么利用两个并行解码器分别检测各个对象和交互，并通过匹配过程组成三元组。相比之下，我们将三元组预测解耦为人-对象对检测和交互分类。我们的主要动机是，检测人类对象的实例和分类的相互作用准确地需要学习表示，侧重于不同的区域。为此，我们提出了解纠缠Transformer，其中编码器和解码器都被解纠缠，以促进两个子任务的学习。为了关联解纠缠解码器的预测，我们首先用基本解码器生成HOI三元组的统一表示，然后将其用作每个解纠缠解码器的输入特征。大量的实验表明，我们的方法优于以前的工作在两个公共HOI基准相当大的保证金。代码将可用。
2022-04-20 cs.CV
CascadeFormer: A Family of Two-stage Cascading Transformers for Skeleton-based Human Action Recognition
针对基于骨架的人体动作识别任务，提出两阶段级联Transformer架构CascadeFormer，结合掩码预训练与级联微调，在三个基准数据集上取得有竞争力的性能并开源相关资源。
2025-08-31 cs.CV
End-to-End Human Pose and Mesh Reconstruction with Transformers
Microsoft（微软）
我们提出了一种新的方法，称为MEsh TRansfOrmer（METRO），重建三维人体姿势和网格顶点从一个单一的图像。我们的方法使用一个Transformer编码器来联合建模顶点-顶点和顶点-关节的相互作用，并同时输出3D关节坐标和网格顶点。与现有的姿态和形状参数回归技术相比，METRO不依赖于任何参数化网格模型，如SMPL，因此它可以很容易地扩展到其他对象，如手。我们进一步放松了网格拓扑结构，并允许Transformer自我注意力机制自由地参与任何两个顶点之间，使得学习网格顶点和关节之间的非局部关系成为可能。通过提出的掩码顶点建模，我们的方法在处理部分遮挡等具有挑战性的情况时更加鲁棒和有效。METRO在公共Human3.6M和3DPW数据集上为人体网格重建生成新的最先进的结果。此外，我们证明了METRO在野外3D手部重建中的通用性，在FreiHAND数据集上优于现有的最先进的方法。代码和预训练模型可在www.example.com上获得。
2021-06-15 cs.CV
AdvMT: Adversarial Motion Transformer for Long-term Human Motion Prediction
School of Mechanical Engineering, Yonsei University（延世大学机械工程学院）；Korea Power Research Institute（韩国电力研究院）
AdvMT结合Transformer编码器与时间连续性判别器，通过对抗训练和骨骼长度约束，在Human3.6M上实现长期人体运动预测的最先进准确性，并提升短期预测稳健性。
2026-09-30 cs.CV
TransHuman: A Transformer-based Human Representation for Generalizable Neural Human Rendering
Zhejiang University（浙江大学）；Alibaba DAMO Academy（阿里巴巴达摩院）
针对泛化神经人体渲染中现有SPC基人体表示的姿态不对齐、缺全局关联问题，提出含TransHE、DPaRF、FDI的TransHuman框架，在两数据集上实现高效的SOTA性能。
2023-07-23 cs.CV
MSTR: Multi-Scale Transformer for End-to-End Human-Object Interaction Detection
LG AI Research（LG人工智能研究院）；Kakao Brain；Korea University（高丽大学）；Hanyang University（汉阳大学）
人-物交互（HOI）检测是从图像中识别一组<人、物、交互>三元组的任务。最近的工作提出了Transformer编码器-解码器架构，该架构通过端到端训练成功地消除了HOI检测中对许多手工设计组件的需求。然而，它们仅限于单尺度特征分辨率，在包含人类，物体及其相互作用的场景中提供次优性能，这些场景具有非常不同的尺度和距离。为了解决这个问题，我们提出了一个多尺度Transformer（MSTR）的HOI检测供电两个新的HOI感知变形注意力模块称为双实体注意力和条件上下文注意力。虽然现有的可变形注意力在HOI检测性能方面付出了巨大的代价，但我们提出的MSTR注意力模块学习有效地关注对识别交互至关重要的采样点。在实验中，我们在两个HOI检测基准上实现了新的最先进的性能。
2022-03-28 cs.CV
Not All Tokens Are Equal: Human-centric Visual Analysis via Token Clustering Transformer
The Chinese University of Hong Kong（香港中文大学）；The University of Hong Kong（香港大学）；SenseTime Research（商汤科技研究院）；The University of Sydney（悉尼大学）
视觉Transformer在许多计算机视觉任务中取得了巨大的成功。大多数方法通过将图像分割成规则和固定的网格并将每个单元格视为令牌来生成视觉令牌。然而，并非所有区域在以人为中心的视觉任务中都同样重要，例如，人体需要具有许多标记的精细表示，而图像背景可以由几个标记来建模。为了解决这个问题，我们提出了一种新的视觉Transformer，称为令牌聚类Transformer（TCFormer），它通过渐进聚类合并令牌，其中令牌可以从不同的位置合并，具有灵活的形状和大小。TCFormer中的标记不仅可以聚焦于重要区域，还可以调整标记形状以适应语义概念，并对包含关键细节的区域采用精细分辨率，这有利于捕获详细信息。大量的实验表明，TCFormer在不同的具有挑战性的以人为中心的任务和数据集上始终优于其同行，包括COCO-WholeBody上的全身姿势估计和3DPW上的3D人体网格重建。代码可在https://github.com/zengwang430521/TCFormer.git上获得
2022-04-21 cs.CV
GTNet:Guided Transformer Network for Detecting Human-Object Interactions
University of California, Santa Barbara（加州大学圣巴巴拉分校）；US Army Research Laboratory（美国陆军研究实验室）
本文提出基于自注意力的引导式Transformer网络GTNet，通过将相对空间配置和物体语义等空间上下文信息编码到人和物体视觉特征中，在V-COCO和HICO-DET数据集上实现了最先进的人-物交互检测性能。
2023-09-11 cs.CV
Do Vision Transformers See Like Humans? Evaluating their Perceptual Alignment
Image Processing Lab, Universidad de Valencia（瓦伦西亚大学图像处理实验室）；Center for Biomaterials and Tissue Engineering Universitat Politecnica de Valencia（多尔多涅理工大学生物材料与组织工程中心）
本研究系统分析了模型大小、数据集规模、数据增强和正则化对 Vision Transformers 与人类感知对齐的影响，发现更大模型及更强增强策略会降低对齐，揭示了模型复杂性与训练策略间的权衡。
2025-08-13 cs.CV
Robust Human Motion Forecasting using Transformer-based Model
Technische Universität Wien (TU Wien)（维也纳技术大学（TU Wien））；Technische Universität München (TUM)（慕尼黑工业大学（TUM））；Ulsan National Institute of Science and Technology (UNIST)（蔚山国家科学技术研究所（UNIST））；German Aerospace Center (DLR)（德国航空航天中心（DLR））
提出双通道 Transformer 模型 2CH-TR，利用 400ms 观测序列实时预测短期与长期三维人体运动，在遮挡噪声下更轻量快速，并降低 Human3.6M 上的预测误差。
2024-04-08 cs.CV
Human-Centric Transformer for Domain Adaptive Action Recognition
School of Computer Science and Engineering, Sun Yat-sen University（中山大学计算机科学与工程学院）；Peng Cheng Laboratory（鹏城实验室）
针对跨域动作识别中现有方法易丢失人类线索、依赖无关背景导致性能下降的问题，提出HCTransformer，通过解耦的以人为中心学习范式建模人类线索及人-动作相关背景的领域不变交互，在三个基准上取得SOTA性能。
2024-07-15 cs.CV
DeforHMR: Vision Transformer with Deformable Cross-Attention for 3D Human Mesh Recovery
Stanford University（斯坦福大学）
DeforHMR 提出一种基于回归的单目 3D 人体网格恢复框架，通过在 transformer 解码器中引入与查询无关的可变形交叉注意力机制，从冻结的 ViT 编码器提取视觉特征进行回归，在 3DPW 和 RICH 基准上达到 SOTA 性能。
2024-11-18 cs.CV
ViPLO: Vision Transformer based Pose-Conditioned Self-Loop Graph for Human-Object Interaction Detection
mAy-I Inc.（mAy-I公司）；Yonsei University（延世大学）
本文提出ViPLO方法，通过视觉Transformer骨干上的MOA模块和姿态条件自环图结构，提升两阶段HOI检测性能，在HICO-DET上取得最先进结果。
2023-04-17 cs.CV
