Non-Hierarchical Transformers for Pedestrian Segmentation
Deep-REAL；University of Delaware（特拉华大学）
本研究针对自主系统实例分割的可访问性与包容性挑战，提出结合EVA-02非分层视觉Transformer与Cascade Mask R-CNN掩码头的方法，在AVA数据集测试集上取得52.68%的mAP，验证了ViT架构的相关效用。
2023-07-11 cs.CV
HSTFormer: Hierarchical Spatial-Temporal Transformers for 3D Human Pose Estimation
Case Western Reserve University（凯斯西储大学）；PAII Inc.（平安智能信息有限公司）；Ping An Technology（平安科技）；Duke Kunshan University（昆山杜克大学）
基于变换器的方法已经被成功地提出用于从2D姿态序列估计3D人体姿态（HPE），并且实现了最先进的（SOTA）性能。然而，当前的SOTA很难同时对不同级别的关节的时空相关性进行建模。这是由于姿势的时空复杂性。姿势以不同的速度暂时移动，不同的关节和身体部位在空间上移动。因此，千篇一律的Transformer是不适应的，并且难以满足“野外”要求。为了解决这个问题，我们提出了分层时空变换器（HSTFormer），以捕获多级关节的时空相关性从局部到全局逐渐准确的三维HPE。HSTFormer由四个Transformer编码器（TE）和一个融合模块组成。据我们所知，HSTFormer是第一个研究多级融合的层次TE。在三个数据集上进行了广泛的实验（即，Human3.6M、MPI-INF-3DHP和HumanEva）证明，HSTFormer在各种规模和难度的基准测试中实现了具有竞争力和一致性的性能。具体而言，它超越了具有挑战性的MPI-INF-3DHP数据集和小规模HumanEva数据集的最新SOTA，具有高度通用的系统方法。该代码可从以下网址获得：https://github.com/qianxiaoye825/HSTFormer。
2023-01-18 cs.CV
Beyond the Final Layer: Hierarchical Query Fusion Transformer with Agent-Interpolation Initialization for 3D Instance Segmentation
University of Science and Technology of China（中国科学技术大学）
本文提出BFL方法，通过智能体插值初始化模块和层次化查询融合解码器，解决三维实例分割中查询初始化位置与内容信息难以兼顾及深层物体消失问题，在多个数据集上取得优越性能。
2025-02-06 cs.CV
Swin Transformer: Hierarchical Vision Transformer using Shifted Windows
Microsoft Research Asia（微软亚洲研究院）
本文提出了一种新的视觉Transformer，称为Swin Transformer，它能够作为计算机视觉的通用骨干。将Transformer从语言适应到视觉的挑战来自于两个领域之间的差异，例如视觉实体的规模变化很大，图像中的像素与文本中的单词相比分辨率很高。为了解决这些差异，我们提出了一个分层的Transformer，其表示与\textbf{S}移位\textbf{win}计算。移位加窗方案通过将自注意力计算限制在非重叠的局部窗口同时还允许跨窗口连接来带来更高的效率。这种分层结构具有在各种尺度下建模的灵活性，并且相对于图像大小具有线性计算复杂性。Swin Transformer的这些特性使其与广泛的视觉任务兼容，包括图像分类（ImageNet-1 K上的87.3 top-1精度）和密集预测任务，如目标检测（COCO test-dev上的58.7 box AP和51.1 mask AP）和语义分割（ADE 20 K val上的53.5 mIoU）。它的性能超过了之前的最先进水平，在COCO上为+2.7框AP和+2.6掩模AP，在ADE 20 K上为+3.2 mIoU，证明了基于Transformer的模型作为视觉骨干的潜力。分层设计和移动窗口的方法也证明有利于全MLP架构。代码和模型可在~ \url{https://github.com/microsoft/Swin-Transfor…
2021-08-17 cs.CV cs.LG
Green Hierarchical Vision Transformer for Masked Image Modeling
The University of Tokyo（东京大学）；SenseTime Research（商汤科技研究院）；The University of Sydney（悉尼大学）
提出了一种基于层次化视觉Transformer的掩码图像建模方法，该方法允许层次化视觉变换器丢弃掩模图像块，只对可见图像块进行操作.我们的方法包括三个关键设计。首先，对于窗口注意力，我们提出了一个组窗口注意力计划以下的分治策略。为了减轻自我注意力的二次复杂性。块的数量、组注意力促进了均匀划分，即任意大小的每个局部窗口内的可见块可以以相等的大小被分组，其中然后在每个组内执行掩蔽的自注意力。其次，通过动态规划算法进一步改进分组策略，以最小化注意力在分组块上的总计算开销。第三，对于卷积层，我们将其转换为稀疏卷积，该稀疏卷积与稀疏数据无缝地工作，即，MIM中可见的补丁。因此，MIM现在可以以绿色和高效的方式处理大多数（如果不是全部）分层ViT。例如，我们可以训练分层ViT，例如，Swin Transformer和Twins Transformer，约快2.7 $\times$，并将GPU内存使用量减少70%，同时在ImageNet分类上仍具有竞争力的性能，并在下游COCO目标检测基准测试中具有优势。代码和预训练模型已在https://github.com/LayneH/GreenMIM上公开提供。
2022-10-14 cs.CV cs.LG
HiPART: Hierarchical Pose AutoRegressive Transformer for Occluded 3D Human Pose Estimation
Shanghai Jiao Tong University（上海交通大学）
针对二维到三维人体姿态估计中遮挡问题，提出HiPART，通过两阶段生成式致密化生成分层二维密集姿态，提升鲁棒性，在单帧任务上达最优，并优于多帧方法且降低复杂度。
2025-03-30 cs.CV cs.LG
3D UX-Net: A Large Kernel Volumetric ConvNet Modernizing Hierarchical Transformer for Medical Image Segmentation
Vanderbilt University（范德堡大学）
最近的3D医疗ViT（例如，SwinUNETR）在几个3D体积数据基准上实现了最先进的性能，包括3D医学图像分割。分层Transformers（例如，Swin Transformers）重新引入了几个ConvNet先验，并进一步增强了在3D医学数据集中适应体积分割的实际可行性。混合方法的有效性在很大程度上归功于非局部自我注意的大感受野和大量的模型参数。在这项工作中，我们提出了一个轻量级的体积ConvNet，称为3D UX-Net，它适应分层Transformer使用ConvNet模块进行强大的体积分割。具体来说，我们重新审视具有大内核大小的体积深度卷积（例如，从$7\times7\times7$开始），以实现更大的全局感受野，灵感来自Swin Transformer。我们进一步用逐点深度卷积代替Swin Transformer块中的多层感知器（MLP），并通过更少的归一化和激活层来增强模型性能，从而减少模型参数的数量。3D UX-Net使用三个具有挑战性的脑和腹部容积成像公共数据集与当前的SOTA Transformers（例如SwinUNETR）进行竞争：1）MICCAI挑战2021 FLARE，2）MICCAI挑战2021 FeTA和3）MICCAI挑战2022 AMOS。3D UX-Net的性能始终优于SwinUNETR，从0.929提高到0.938 Dice（FLARE 2…
2023-03-02 cs.CV cs.LG
Unsupervised Hierarchical Semantic Segmentation with Multiview Cosegmentation and Clustering Transformers
UC Berkeley（加州大学伯克利分校）；ICSI（国际计算机科学研究所）
无监督语义分割的目的是发现图像内和图像间的分组，这些分组在没有外部监督的情况下捕获类别的对象和视图不变性。自然地，分割具有不同的粒度级别，在无监督分割中产生了歧义。现有的方法避免了这种模糊性，并将其视为建模之外的一个因素，而我们拥抱它，并希望无监督分割的分层分组一致性。我们将无监督分割作为一个逐像素的特征学习问题。我们的想法是，一个好的表示不仅应该揭示特定的分组级别，而且应该以一致和可预测的方式揭示任何分组级别。我们通过同一图像的多个视图之间的共同分割来执行分组和引导特征学习的空间一致性，并通过粗粒度和细粒度特征之间的聚类Transformers来执行分组层次结构的语义一致性。我们提供了第一个数据驱动的无监督分层语义分割方法，称为分层分割（HSG）。通过捕获视觉相似性和统计共现，HSG在五个主要的以对象和场景为中心的基准测试中也大大优于现有的无监督分割方法。我们的代码可在https://github.com/twke18/HSG上公开获取。
2022-04-25 cs.CV cs.LG
HiTPR: Hierarchical Transformer for Place Recognition in Point Cloud
Nanjing University of Science and Technology（南京理工大学）；University of Macau（澳门大学）
位置识别或环路闭合检测是完整SLAM系统中的核心组件之一。为了同时增强局部邻域点的关联性和全局点之间的上下文依赖性，本文研究了基于变换器的网络特征提取方法，提出了一种基于层次Transformer的位置识别方法（HiTPR）。HiTPR由四个主要部分组成：点单元生成、短程Transformer（SRT）、长程Transformer（LRT）和全局描述符聚合。具体地说，点云最初被划分成一系列的小细胞通过下采样和最近的邻居搜索。在SRT中，我们提取每个点细胞的局部特征。而在LRT中，我们建立了整个点云中所有点单元之间的全局依赖关系。在几个标准基准上的实验证明了HiTPR在平均召回率方面的优越性，例如在Oxford RobotCar数据集上，前1%和前1分别达到93.71%和86.63%。
2022-04-12 cs.CV
HiT-SR: Hierarchical Transformer for Efficient Image Super-Resolution
ETH Zürich（苏黎世联邦理工学院）；Shanghai Jiao Tong University（上海交通大学）
针对现有Transformer超分辨率方法窗口自注意力复杂度高、感受野受限的问题，提出层级Transformer HiT-SR，通过扩张层级窗口与线性复杂度的空间-通道关联方法实现高效多尺度特征聚合，改进的多个基线模型以更少参量、更快速度取得SOTA结果。
2024-07-08 cs.CV
F2T2-HiT: A U-Shaped FFT Transformer and Hierarchical Transformer for Reflection Removal
OPPO AI Center（OPPO人工智能中心）
针对真实场景中复杂多变的单图像反射去除问题，提出在UNet中融合FFT Transformer与分层Transformer的F2T2-HiT，并在三个公开测试集上达到最先进性能。
2025-06-05 cs.CV
HiTokSR: A Coarse-to-Fine Tokenizer with Hierarchical Codebooks for High-Fidelity Real-World Image Super-Resolution
com（163.com）
提出HiTokSR层次化标记预测框架，通过将潜在空间沿通道维度划分为频率感知组并独立量化，解耦全局结构与细节，结合视觉基础模型先验和索引级扰动策略，实现真实世界图像超分辨率的最优感知质量和重建保真度。
2026-05-31 cs.CV
HiT-DVAE: Human Motion Generation via Hierarchical Transformer Dynamical VAE
Inria（法国国家信息与自动化研究所）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立理工学院）；CentraleSupélec（巴黎中央理工-高等电力学院）；Institut de Robòtica i Informàtica Industrial, CSIC-UPC（加泰罗尼亚理工大学-西班牙国家研究委员会工业机器人与信息技术研究所）
三维人体姿态数据自动处理的研究近年来蓬勃发展。在本文中，我们感兴趣的是在一个观察到的三维姿态序列的产生合理的和不同的未来人类构成。目前的方法通过将来自单个潜在空间的随机变量注入到确定性运动预测框架中来解决这个问题，这排除了人体运动生成中固有的多模态。此外，以前的作品很少探索使用注意力来选择哪些帧被用来通知生成过程，据我们所知。为了克服这些限制，我们提出了分层Transformer动态变分自编码器，HiT-DVAE，实现自回归生成与变压器一样的注意力机制。HiT-DVAE同时学习数据的演变和具有时间相关概率依赖性的潜在空间分布，从而使生成模型能够学习更复杂和时变的潜在空间以及多样化和逼真的人体运动。此外，自回归生成在观察和预测方面带来了更大的灵活性，即，可以具有任何长度的观察，并使用单个预训练模型预测任意大的姿势序列。我们用各种评估方法在HumanEva-I和Human3.6M上评估了所提出的方法，并且在大多数指标上都优于最先进的方法。
2022-04-04 cs.CV
HiTSR: A Hierarchical Transformer for Reference-based Super-Resolution
University of Saskatchewan（萨斯喀彻温大学）
本文提出HiTSR，一种基于层次化Transformer的参考图像超分辨率模型，通过双注意力块、门控注意力融合和squeeze-and-excitation模块简化架构，在多个数据集上取得最先进性能。
2024-08-30 cs.CV
HiT: Hierarchical Transformer with Momentum Contrast for Video-Text Retrieval
Peking University（北京大学）；FAIR；University of Chinese Academy of Sciences（中国科学院大学）；Kuaishou Technology（快手科技）
随着互联网上多媒体数据的增长，视频文本检索已经成为一个热门的研究课题。Transformer由于其良好的性能而受到越来越多的关注。然而，现有的跨模态Transformer方法通常受到两个主要限制：1）对其中不同层具有不同特征特性的Transformer架构的利用是有限的; 2）端到端训练机制限制小批量中的负样本交互。在本文中，我们提出了一种新的方法命名为分层Transformer（HiT）的视频文本检索。HiT在特征级和语义级进行层次化的跨模态对比匹配，实现多视角、综合的检索效果。此外，受MoCo的启发，我们提出了跨模态学习的动量跨模态对比，以实现大规模的负样本交互，这有助于生成更精确和更有区别的表示。在三个主要的视频文本检索基准数据集上的实验结果证明了该方法的优越性。
2021-08-18 cs.AI cs.CV
HiViT: Hierarchical Vision Transformer Meets Masked Image Modeling
University of Chinese Academy of Sciences（中国科学院大学）；Fudan University（复旦大学）
近年来，掩码图像建模（MIM）为视觉Transformer的自监督预训练提供了一种新的方法。高效实现的关键思想是在整个目标网络（编码器）中丢弃被掩蔽的图像块（或令牌），这要求编码器是普通的视觉Transformer（例如，ViT），尽管是分层的视觉Transformer（例如，Swin Transformer）在制定视觉输入方面具有潜在的更好的性质。在本文中，我们提出了一种新的设计分层视觉Transformer命名为HiViT（简称分层ViT），享有高效率和良好的性能在MIM。关键是去除不必要的“局部单元间操作”，得到结构简单的分层视觉Transformer，其中掩模单元可以像普通视觉Transformer一样被序列化。为此，我们从Swin Transformer开始，并且（i）将掩码单元大小设置为Swin Transformer的主阶段中的令牌大小，（ii）在主阶段之前关闭单元间自关注，以及（iii）消除主阶段之后的所有操作。实证研究证明了HiViT在全监督、自监督和迁移学习方面的优越性能。特别是，在ImageNet-1 K上运行MAE时，HiViT-B报告比ViT-B准确率提高了+0.6%，比Swin-B提高了1.9 $\times$速度，并且性能提高适用于检测和分割的下游任务。代码将公开提供。
2022-05-30 cs.CV
HiT-JEPA: A Hierarchical Self-supervised Trajectory Embedding Framework for Similarity Computation
University of New South Wales（新南威尔士大学）；Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州））
提出HiT-JEPA框架，通过三层层次结构联合学习轨迹的细粒度细节、中间模式和高层抽象，实现多尺度表示，在轨迹相似度计算任务中优于现有方法。
2026-06-25 cs.AI cs.CV cs.LG
Exploring Lightweight Hierarchical Vision Transformers for Efficient Visual Tracking
Dalian University of Technology（大连理工大学）；Microsoft Research（微软研究院）
本文提出高效视觉跟踪模型系列 HiT，通过 Bridge Module 融合深浅层特征并采用双图像位置编码，在边缘设备上实现高速运行和领先性能。
2023-08-14 cs.CV
Improved Transformer for High-Resolution GANs
Rutgers University（罗格斯大学）；Google Cloud AI（谷歌云人工智能）；Google Research（谷歌研究院）
以Transformer为例的基于注意力的模型可以有效地建模长程依赖性，但受到自注意操作的二次复杂性的影响，使得它们难以用于基于生成对抗网络（GANs）的高分辨率图像生成。在本文中，我们将介绍Transformer的两个关键要素来应对这一挑战。首先，在低分辨率阶段的生成过程中，标准的全球自我注意力被所提出的多轴阻塞的自我注意力，它允许有效地混合本地和全球的注意力。其次，在高分辨率阶段，我们放弃了自我注意力，而只保留了让人想起隐式神经功能的多层感知器。为了进一步提高性能，我们引入了一个额外的自调制组件的基础上交叉注意。表示为HiT的所得模型相对于图像大小具有接近线性的计算复杂性，并且因此直接缩放以合成高清晰度图像。我们在实验中表明，所提出的HiT在无条件ImageNet $128 \times 128$和FFHQ $256 \times 256$上分别达到了30.83和2.95的最先进的FID分数，具有合理的吞吐量。我们相信，所提出的HiT是GANs中生成器的一个重要里程碑，它完全没有卷积。我们的代码可在https://github.com/google-research/hit-gan上公开获取
2021-12-24 cs.CV
Scaling Vision Transformers to Gigapixel Images via Hierarchical Self-Supervised Learning
Broad Institute（博德研究所）；University of Toronto（多伦多大学）
视觉Transformer（ViT）及其多尺度和分层变化在捕获图像表示方面已经成功，但是它们的使用通常被研究用于低分辨率图像（例如，-256 X 256，384384）。对于计算病理学中的千兆像素全载玻片成像（WSI），WSI在20倍放大率下可以高达150000 x150000像素，并在不同分辨率下表现出视觉标记的分层结构：从16 x16图像捕获细胞之间的空间模式，到4096 x4096图像表征组织微环境内的相互作用。我们引入了一个新的ViT架构称为分层图像金字塔Transformer（HIPT），它利用自然的层次结构固有的WSI使用两个层次的自监督学习学习高分辨率的图像表示。HIPT使用10，678千兆像素WSI，408，218 4096 x4096图像和104 M 256 x256图像在33种癌症类型中进行预训练。我们在9个幻灯片级任务上对HIPT表示进行了基准测试，并证明：1）具有分层预训练的HIPT优于当前最先进的癌症亚型和生存预测方法，2）自我监督的ViT能够对肿瘤微环境中表型分层结构的重要诱导偏差进行建模。
2022-06-06 cs.CV
Nested Hierarchical Transformer: Towards Accurate, Data-Efficient and Interpretable Visual Understanding
Google Cloud AI（谷歌云人工智能）；Google Research（谷歌研究院）
层次结构在最近的视觉Transformer中很流行，然而，它们需要复杂的设计和大量的数据集才能很好地工作。在本文中，我们探讨了嵌套的基本局部Transformers器上的非重叠的图像块，并聚集在一个层次的方式。我们发现，块聚合功能在实现跨块非局部信息通信中起着至关重要的作用。这一观察使我们设计了一个简化的架构，它需要对原始视觉Transformer进行较小的代码更改。所提出的明智选择的设计的好处有三个方面：（1）NesT收敛更快，需要更少的训练数据来实现ImageNet和CIFAR等小数据集的良好泛化;（2）当将我们的关键思想扩展到图像生成时，NesT导致了一个强大的解码器，比以前基于transformer的生成器快8 $\times$;以及（3）我们表明，在我们的设计中，通过这种嵌套层次结构将特征学习和抽象过程解耦，从而能够构建一种新的方法（命名为GradCAT），用于可视化地解释所学习的模型。源代码可从https://github.com/google-research/nested-transformer获得。
2021-12-30 cs.CV
DCVQE: A Hierarchical Transformer for Video Quality Assessment
Weibo R&D Limited（微博研发有限公司）；Microsoft（微软）
用户生成视频的爆炸式增长刺激了对无参考视频质量评估（NR-VQA）的巨大需求。受我们对人类注释行为的观察的启发，我们提出了一种用于NR-VQA的分而治之的视频质量估计（DCVQE）。从提取帧级质量嵌入（QE）开始，我们的建议将整个序列分成若干片段，并应用Transformers来学习片段级QE并同时更新帧级QE;另一个Transformer被引入来组合片段级QE以生成视频级QE。我们将这种Transformers的分层组合称为分而治之Transformer（DCTr）层。通过多次重复该DCTr层的处理，可以实现精确的视频质量特征提取。考虑到标注数据之间的顺序关系，我们还提出了一种新的相关损失项用于模型训练。在不同数据集上的实验证实了我们的DCVQE模型的有效性和鲁棒性。
2022-10-10 cs.CV
Pyramid Hierarchical Transformer for Hyperspectral Image Classification
National University of Computer and Emerging Sciences（国家计算机与新兴科学大学）；University of Messina（墨西拿大学）；Shaoxing University（绍兴大学）；Innopolis University（因诺波利斯大学）
针对高光谱图像分类中Transformer处理长序列的效率问题，提出金字塔分层Transformer（PyFormer），通过层次化分段和局部全局上下文捕获，提升性能与鲁棒性。
2024-04-23 cs.CV
Multi-Object Grounding via Hierarchical Contrastive Siamese Transformers
University of Granada（格拉纳达大学）
针对3D场景多目标定位任务，提出分层对比孪生Transformer（H-COST），通过分层处理策略优化定位并引入对比孪生框架提升语义理解，在基准上性能超现有方法9.5%。
2025-04-14 cs.CV
S2WAT: Image Style Transfer via Hierarchical Vision Transformer using Strips Window Attention
Sichuan Normal University（四川师范大学）；Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；Zhejiang Lab（之江实验室）；Zhejiang University（浙江大学）；Visual Computing and Virtual Reality Key Laboratory of Sichuan Provience（四川省视觉计算与虚拟现实重点实验室）
针对Transformer应用于风格迁移时局部建模能力减弱的问题，提出采用多形状窗口注意力与Attn Merge策略的S2WAT分层视觉Transformer，实验证明其效果优于现有SOTA方法，相关代码与预训练模型已开源。
2023-12-15 cs.CV
DuoFormer: Leveraging Hierarchical Representations by Local and Global Attention Vision Transformer
Scientific Computing and Imaging Institute, University of Utah（科学计算与成像研究所，犹他大学）；Kahlert School of Computing, University of Utah（计算学院，犹他大学）；Electrical and Computer Engineering, University of Utah（电气与计算机工程，犹他大学）；Department of Pathology, University of Utah（病理学系，犹他大学）
针对医疗应用中Transformer多尺度学习不足的问题，提出融合CNN与ViT优势的DuoFormer模型，通过CNN生成分层表示、创新令牌化及尺度级注意力机制，在分类任务上准确率优于基线，组件可即插即用。
2025-06-15 cs.CV
Large-scale Building Damage Assessment using a Novel Hierarchical Transformer Architecture on Satellite Images
Simon Fraser University（西蒙弗雷泽大学）；Texas A&M University（德克萨斯A&M大学）
本文提出了\dahitra，这是一种新型的深度学习模型，具有分层Transformers，用于在自然灾害发生后基于卫星图像对建筑物损坏进行分类。卫星图像提供了实时和高覆盖率的信息，并为大规模灾后建筑物损坏评估提供了信息，这对于快速应急至关重要。在这项工作中，提出了一种新的变压器为基础的网络评估建筑物损坏。该网络利用多分辨率的分层空间特征，并在对空间特征应用Transformer编码器之后捕获特征域中的时间差异。该网络在用于建筑定位和损坏分类的大规模灾难损坏数据集（xBD）以及用于变化检测任务的LEVIR-CD数据集上进行测试时，达到了最先进的性能。此外，这项工作还引入了一个新的高分辨率卫星图像数据集Shakespea-BD（与2021年路易斯安那州的2021年飓风Ida有关），用于领域自适应。此外，它展示了一种使用该数据集的方法，通过有限的微调调整模型，从而将模型应用于数据稀缺的新受损地区。
2023-02-04 cs.CV
Scalable Vision Transformers with Hierarchical Pooling
Monash University（莫纳什大学）
最近提出的视觉图像Transformers（ViT）与纯注意力的图像识别任务，如图像分类取得了可喜的成绩。然而，目前的ViT模型的例行程序是在推理过程中保持一个完整长度的补丁序列，这是冗余的，缺乏层次表示。为此，我们提出了一个分层的视觉Transformer（HVT），逐步池的视觉令牌，以缩小序列长度，从而降低计算成本，类似于特征图下采样卷积神经网络（CNN）。它带来了一个很大的好处，我们可以增加模型的容量，通过缩放的深度/宽度/分辨率/补丁大小的尺寸，而不引入额外的计算复杂性，由于减少序列长度。此外，我们的经验发现，平均池视觉令牌包含更多的歧视性信息比单类令牌。为了证明我们的HVT的改进的可扩展性，我们进行了广泛的实验上的图像分类任务。在具有可比FLOP的情况下，我们的HVT在ImageNet和CIFAR-100数据集上的表现优于竞争基线。代码可在https://github.com/MonashAI/HVT上获得
2021-08-18 cs.CV
Efficient Visual Tracking via Hierarchical Cross-Attention Transformer
Dalian University of Technology（大连理工大学）；National University of Defense Technology（国防科技大学）；Peng Cheng Laboratory（鹏城实验室）
近年来，目标跟踪在精度上有了很大的进步。这一发展主要归功于强大的网络（如Transformers）和额外的模块（如在线更新和改进模块）。然而，较少关注跟踪速度。大多数最先进的跟踪器都对强大GPU上的实时速度感到满意。然而，实际应用对跟踪速度有更高的要求，特别是在使用资源有限的边缘平台时。在这项工作中，我们提出了一个有效的跟踪方法，通过一个分层的交叉注意Transformer命名为HCAT。我们的模型在GPU上运行约195 fps，在CPU上运行约45 fps，在NVidia Jetson AGX Xavier的边缘AI平台上运行约55 fps。实验表明，我们的HCAT在LaSOT，GOT-10 k，TrackingNet，NFS，OTB 100，UAV 123和VOT 2020上取得了令人满意的结果。代码和型号可在https://github.com/chenxin-dlut/HCAT上获得。
2022-10-30 cs.CV
Hierarchical IoU Tracking based on Interval
Beijing University of Posts and Telecommunications（北京邮电大学）；Beijing Key Laboratory of Network System and Network Culture（网络系统与网络文化北京市重点实验室）；Key Laboratory of Interactive Technology and Experience System Ministry of Culture and Tourism（交互技术与体验系统文化和旅游部重点实验室）
针对多目标跟踪混合流水线两阶段脱节导致性能次优的问题，提出仅用IoU、以跟踪片段区间为先验的分层跟踪框架HIT，在四个数据集上性能优异且可与多类跟踪器无缝集成。
2024-06-19 cs.CV
Hierarchical Light Transformer Ensembles for Multimodal Trajectory Forecasting
U2IS, ENSTA Paris, Institut Polytechnique de Paris（巴黎综合理工学院 ENSTA 学院 U2IS 实验室）；Ampere Software Technology（安培软件技术公司）
针对轨迹预测中多模态分布建模与不确定性量化难题，提出 HLT-Ens，通过分层损失和分组全连接层高效训练 Transformer 集成，并经实验验证达到最先进性能。
2025-01-07 cs.CV
HSMLA: Hierarchical Softmax Multi-scale Linear Attention for Efficient Vision Transformers
University of California, Los Angeles（加州大学洛杉矶分校）；Columbia University（哥伦比亚大学）；The University of Melbourne（墨尔本大学）
针对视觉Transformer高分辨率密集预测的计算开销问题，提出HSMLA，结合多类注意力机制与深度卷积，在多项任务上实现精度与效率的优异平衡。
2026-08-12 cs.CV
Hierarchical Transformers for Unsupervised 3D Shape Abstraction
Simon Fraser University（西蒙弗雷泽大学）；University of Toronto（多伦多大学）
HiT通过无监督学习在不同3D形状类别中自适应生成分层结构，利用压缩代码本自动识别子结构，实现更通用的层次表示。
2026-01-28 cs.CV
RSIR Transformer: Hierarchical Vision Transformer using Random Sampling Windows and Important Region Windows
Southwest Jiaotong University（西南交通大学）
针对局部自注意力感受野有限的问题，本文提出 RS-Win 与 IR-Win 两种窗口注意力模块，以增强层次化视觉 Transformer 的全局建模和重要区域聚焦能力。
2023-04-27 cs.CV
Video Joint Modelling Based on Hierarchical Transformer for Co-summarization
University of Melbourne（墨尔本大学）；Monash University（莫纳什大学）；Tsinghua University（清华大学）
视频摘要旨在自动生成视频摘要（故事板或视频略读），以便于大规模视频检索和浏览。现有的视频摘要方法大多是对单个视频进行摘要，忽略了相似视频之间的相关性。然而，这样的相关性对于视频理解和视频摘要也是有用的。为了解决这个问题，我们提出了基于分层Transformer的视频联合建模（VJMHT）的共同摘要，它考虑到视频之间的语义依赖关系。具体而言，VJMHT由两层Transformer组成：第一层从相似视频的单个镜头中提取语义表示，而第二层执行镜头级视频联合建模以聚合跨视频语义信息。通过这种方式，完整的跨视频高级模式被显式地建模和学习，用于单个视频的摘要。此外，基于transformer的视频表示重建，以最大限度地提高摘要和原始视频之间的高层次相似性。大量的实验进行了验证所提出的模块的有效性和VJMHT的F-措施和基于等级的评价方面的优越性。
2022-06-29 cs.CV
HTNet: Anchor-free Temporal Action Localization with Hierarchical Transformers
Korea University（高丽大学）
时间动作定位（TAL）是识别视频中的一组动作的任务，其涉及定位开始和结束帧并对每个动作实例进行分类。现有的方法已经解决了这个任务，通过使用预定义的锚窗口或启发式自底向上的边界匹配策略，这是推理时间的主要瓶颈。此外，主要挑战是由于缺乏全局上下文信息而无法捕获长期动作。在本文中，我们提出了一种新的无锚框架，被称为HTNet，预测一组<开始时间，结束时间，类>三元组从视频的基础上Transformer架构。粗边界的预测后，我们通过一个背景特征采样（BFS）模块和分层Transformers，这使我们的模型，以聚合全局上下文信息，并有效地利用视频中的内在语义关系，细化它。我们展示了我们的方法如何定位准确的动作实例，并在两个TAL基准数据集上实现最先进的性能：THUMOS 14和ActivityNet 1.3。
2022-07-21 cs.CV
MixMAE: Mixed and Masked Autoencoder for Efficient Pretraining of Hierarchical Vision Transformers
CUHK（香港中文大学）；SenseTime Research（商汤科技研究院）；CPII under InnoHK（香港创新香港旗下的计算机视觉与模式识别创新中心）
本文提出MixMAE预训练方法，通过将一张图像的掩码token替换为另一张图像的可见token生成混合图像并进行双重重建，解决了分层视觉Transformer中[MASK]符号导致的训练慢与不一致问题，显著提升了预训练效率与表示质量。
2023-03-31 cs.CV
Hierarchical Spatial Transformer Network
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Future Technology, University of Chinese Academy of Sciences（中国科学院大学未来技术学院）；The Center for Excellence in Brain Science and Intelligence Technology, Chinese Academy of Sciences（中国科学院脑科学与智能技术卓越创新中心）
长期以来，计算机视觉研究人员一直期望神经网络具有空间变换能力，以消除几何畸变带来的干扰。空间Transformer网络的出现让梦想成真。空间Transformer网络及其变体可以很好地处理全局位移，但缺乏处理局部空间变化的能力。因此如何在神经网络中实现更好的变形方式已成为当务之急。针对这一问题，分析了近似理论和光流理论的优缺点，提出了一种新的实现图像变形的方法，并采用分层卷积神经网络实现。这种新的方法解决了线性变形以及光流场来模拟图像变形。在复杂的MNIST手写数字分类和图像平面对齐的实验中，我们的方法比基线方法有很大的优势。
2018-01-30 cs.CV
HIGT: Hierarchical Interaction Graph-Transformer for Whole Slide Image Analysis
The University of Hong Kong（香港大学）；The Hong Kong Polytechnic University（香港理工大学）
提出HIGT模型，通过图神经网络和Transformer结合双向交互块学习WSI金字塔的局部与全局信息，在肿瘤亚型和分期任务上优于现有方法。
2023-09-14 cs.CV
Hierarchical Vision Transformers for Cardiac Ejection Fraction Estimation
Universitas Indonesia（印度尼西亚大学）；RIKEN Research（理化学研究所）
提出基于分层视觉Transformer的深度学习方法，无需左心室分割即可从超声心动图视频估计射血分数，在EchoNet-Dynamic数据集上优于UVT等现有方法。
2023-03-31 cs.CV
Fast Multi-Organ Fine Segmentation in CT Images with Hierarchical Sparse Sampling and Residual Transformer
Siemens Medical Solutions USA Inc（西门子医疗解决方案美国公司）
针对3D医学图像多器官分割的速度与精度权衡问题，提出结合分层稀疏采样与残差Transformer的快速分割框架，在减少计算量的同时提升分割性能，CPU上处理速度达约2.24秒，具备实时精细分割潜力。
2025-11-11 cs.CV
Revamping Cross-Modal Recipe Retrieval with Hierarchical Transformers and Self-supervised Learning
Amazon（亚马逊）
由于食物在人们生活中的重要性，以及大量数字烹饪食谱和食物图像可用于训练机器学习模型，跨模态食谱检索最近获得了大量关注。在这项工作中，我们重新审视了现有的跨模态食谱检索方法，并提出了一个简化的端到端模型，该模型基于完善的高性能文本和图像编码器。我们引入了一个分层的配方Transformer，它专注地编码各个配方组件（标题，成分和说明）。此外，我们提出了一个自我监督的损失函数计算上对个人的配方组件，这是能够利用配方内的语义关系，并使训练使用图像配方和食谱只有样本。我们进行了全面的分析和消融研究，以验证我们的设计选择。因此，我们提出的方法在Recipe1M数据集上的跨模态食谱检索任务中实现了最先进的性能。我们公开代码和模型。
2021-03-24 cs.CV
Hierarchical Spatiotemporal Transformers for Video Object Segmentation
Korea University（高丽大学）
提出 HST 框架，结合 Swin Transformer 与 Video Swin Transformer，并通过多尺度 memory 读取生成分层特征，在多个 VOS 基准上达到最先进性能。
2023-07-17 cs.CV
Hierarchical Multi-Stage Transformer Architecture for Context-Aware Temporal Action Localization
FAU（弗劳恩霍夫协会）
本文提出分层多阶段Transformer架构PCL-Former，通过三个专用模块分别处理候选片段生成、动作分类与边界定位，在三个基准数据集上超越现有方法。
2025-07-18 cs.CV
CogView2: Faster and Better Text-to-Image Generation via Hierarchical Transformers
Tsinghua University（清华大学）；BAAI（北京智源人工智能研究院）
基于变换的文本到图像模型的发展受到其生成速度慢和高分辨率图像复杂性的阻碍。在这项工作中，我们提出了一个解决方案的基础上，分层Transformers和本地并行自回归生成。我们使用简单灵活的自监督任务跨模态通用语言模型（CogLM）预训练6 B参数Transformer，并对其进行微调以实现快速超分辨率。新的文本到图像系统CogView 2与并发的最先进的DALL-E-2相比显示出非常有竞争力的生成，并且自然地支持交互式文本引导的图像编辑。
2022-05-27 cs.CV cs.LG
Hierarchical Vision Transformers for Context-Aware Prostate Cancer Grading in Whole Slide Images
Radboudumc（拉德堡德大学医学中心）
本文针对全切片图像尺寸过大导致视觉变换器输入序列过长的问题，提出采用层次视觉变换器（H-ViTs）进行前列腺癌分级，实验证明其性能与现有最先进方法相当。
2023-12-19 cs.AI cs.CV
Hierarchical Multimodal Transformer to Summarize Videos
Xidian University（西安电子科技大学）；Northwestern Polytechnical University（西北工业大学）
虽然视频摘要在循环神经网络（RNN）的帮助下取得了巨大的成功，但是基于RNN的方法忽略了视频帧之间的全局依赖性和多跳关系，从而限制了性能。Transformer模型是解决这一问题的有效模型，在机器翻译、视频描述、\emph{etc}等序列建模任务中优于基于RNN的方法。基于Transformer的巨大成功和视频的自然结构（帧-镜头-视频），本文提出了一种分层的Transformer用于视频摘要，它能够捕捉帧和镜头之间的依赖关系，并利用镜头形成的场景信息对视频进行摘要。此外，我们认为，音频和视觉信息是必不可少的视频摘要任务。为了整合这两种信息，它们被编码在一个两个流的计划，和多模态融合机制的基础上的分层Transformer。在本文中，所提出的方法被表示为分层多模式Transformer（HMT）。大量的实验表明，HMT优于大多数传统的基于RNN和基于注意力的视频摘要方法。
2021-09-22 cs.AI cs.CV
Holistic Interaction Transformer Network for Action Detection
National Tsing Hua University（国立清华大学）；Microsoft AI R&D Center（微软人工智能研发中心）
行动是关于我们如何与环境互动，包括其他人，物体和我们自己。在本文中，我们提出了一种新的多模态整体交互Transformer网络（HIT），利用了在很大程度上被忽视，但关键的手和姿势的信息，大多数人的行动。建议的“HIT”网络是一个全面的双模态框架，包括RGB流和姿势流。它们中的每一个都分别对人、物体和手的交互进行建模。在每个子网络中，引入了一个内部模态聚合模块（IMA），该模块有选择地合并各个交互单元。然后使用注意力融合机制（AFM）将每个模态的结果特征粘合在一起。最后，我们从时间上下文中提取线索，以更好地分类使用缓存内存发生的动作。我们的方法在J-HMDB，UCF 101 -24和MultiSports数据集上的性能明显优于以前的方法。我们在AVA上也取得了有竞争力的成绩。该代码将在https://github.com/joslefaure/HIT上提供。
2022-11-18 cs.AI cs.CV
A Hierarchical Transformer Encoder to Improve Entire Neoplasm Segmentation on Whole Slide Image of Hepatocellular Carcinoma
Université Paris Cité（巴黎西岱大学）；University of Applied Sciences of Western Switzerland (HES-SO Valais)（瑞士西部应用科学大学（瓦莱州高等专业学院））；French University Institute (IUF)（法国大学研究院）
针对肝细胞癌 WSI 全肿瘤分割难题，提出分层 Transformer 架构 HiTrans，在 4096×4096 图像块上学习全局依赖并提升分割性能。
2023-07-11 cs.CV eess.IV
Disentangling Visual Transformers: Patch-level Interpretability for Image Classification
ISIR - Sorbonne University（ISIR - 索邦大学）；Normandy University, ENSICAEN, UNICAEN, CNRS, GREYC（诺曼底大学、ENSICAEN、UNICAEN、CNRS、GREYC）
针对视觉变换器可解释性差的问题，提出HiT架构，通过重新设计变换器在分类阶段解缠补丁影响，实现补丁级线性可解释，性能权衡合理。
2025-04-24 cs.AI cs.CV
HAT: Hierarchical Aggregation Transformers for Person Re-identification
Dalian University of Technology（大连理工大学）
近年来，随着深度卷积神经网络（CNN）的发展，人的身份再识别（Re-ID）在各种应用中取得了巨大的成功。然而，由于CNN的感受野有限，在非重叠相机下为人在全局视图中提取区分性表示仍然具有挑战性。同时，Transformers表现出强大的建模能力，空间和序列数据的长期依赖。在这项工作中，我们利用CNN和Transformers，并提出了一种新的学习框架命名为分层聚合Transformer（HAT）的基于图像的人的Re-ID具有高性能。为了实现这一目标，我们首先提出了一种深度监督聚合（DSA），以循环聚合来自CNN骨干的分层特征。与以往的方法不同，DSA通过多粒度监督，可以增强多尺度特征，用于人物检索。然后，我们引入了一个基于转换器的特征校准（TFC）集成低级别的细节信息作为全局先验的高层语义信息。建议的TFC被插入到每个层次的功能，从而在很大的性能改善。据我们所知，这项工作是第一个利用CNN和Transformers进行基于图像的人Re-ID的。在四个大规模Re-ID基准上的综合实验表明，我们的方法比几种最先进的方法显示出更好的结果。该代码在https://github.com/AI-Zhpp/HAT上发布。
2021-07-14 cs.AI cs.CV
HiMemFormer: Hierarchical Memory-Aware Transformer for Multi-Agent Action Anticipation
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Carnegie Mellon University（卡内基梅隆大学）
提出HiMemFormer，一种分层记忆感知Transformer，通过全局记忆与分层局部解码器结合智能体偏好，提升多智能体动作预测性能。
2024-12-15 cs.CV cs.MA
HiFT: Hierarchical Feature Transformer for Aerial Tracking
Tongji University（同济大学）；New York University（纽约大学）
大多数现有的基于Siamese的跟踪方法基于相似性图执行目标对象的分类和回归。然而，它们要么使用最后一个卷积层的单个地图，这会降低复杂场景中的定位精度，要么单独使用多个地图进行决策，为空中移动平台引入棘手的计算。因此，在这项工作中，我们提出了一个高效和有效的分层特征Transformer（HiFT）的空中跟踪。由多层卷积层生成的分层相似性图被馈送到特征Transformer中，以实现空间（浅层）和语义线索（深层）的交互式融合。因此，不仅可以提高全局上下文信息，促进目标搜索，而且我们的端到端架构与Transformer可以有效地学习多层次特征之间的相互依赖性，从而发现一个跟踪定制的特征空间具有强的区分度。通过对四个空中基准点的综合评估，证明了HiFT的有效性。在空中平台上进行的实际测试有力地验证了其实时速度的实用性。我们的代码可在https://github.com/vision4robotics/HiFT上获得。
2021-10-02 cs.CV cs.RO
Iwin Transformer: Hierarchical Vision Transformer using Interleaved Windows
Iwin Transformer通过交错窗口注意力和深度可分离卷积实现无位置嵌入的分层视觉Transformer，提升图像分类、语义分割和视频动作识别等任务的性能。
2026-08-26 cs.CV cs.LG
