Tokenphormer: Structure-aware Multi-token Graph Transformer for Node Classification
University of Macau（澳门大学）；The Hong Kong Polytechnic University（香港理工大学）；Guangdong Institute of Intelligent Science and Technology（广东省智能科学技术研究院）
本文提出结构感知多令牌图Transformer（Tokenphormer），通过混合游走令牌、自监督预训练令牌和跳数令牌协同捕获局部与全局图结构信息，在节点分类任务上取得最先进性能。
2025-04-11 cs.LG
Technical Report: The Graph Spectral Token -- Enhancing Graph Transformers with Spectral Information
The University of Chicago（芝加哥大学）；Tsinghua University（清华大学）
本文提出 Graph Spectral Token，通过参数化 [CLS] token 将图谱全局结构信息注入图 Transformer，并在 GraphTrans 与 SubFormer 上验证其性能与效率收益。
2024-04-08 cs.LG
On the role of the tokenizer in ECG transformer models
Uppsala University（乌普萨拉大学）；Scilifelab（瑞典生命科学实验室）
本研究比较八种分词策略于ECG Transformer，发现生理感知分词提升宏AUC 8.2%，并大幅减少序列长度和内存，无需增加模型容量。
2026-09-15 cs.AI cs.LG
Fewer yet critical: Reducing Redundant Token Dependencies for Transformer-based Time Series Forecasting
Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）
针对Transformer时间序列预测中冗余token依赖问题，提出联合注意力熵与预测误差约束的依赖选择策略，识别关键依赖，提升泛化，可扩展至多种模型。
2026-09-09 cs.AI cs.LG
Token-Level Cross-Modal Transformer with Contrastive Multi-Task Learning for Breast Cancer Subtype Classification and Survival Prediction
Jiangxi Arts & Ceramics Technology Institute（江西艺术陶瓷科技职业学院）；Mokwon University（木浦大学）
针对整合异质模态进行癌症亚型分类和生存预测的挑战，提出令牌级跨模态变换器及对比多任务学习方法，克服现有方法在模态交互、融合方式及目标优化上的局限。
2026-07-21 cs.AI cs.LG
Adaptive Computation Depth via Learned Token Routing in Transformers
Independent Researcher（独立研究者）
本文提出Token-Selective Attention，通过学习的标记门控机制，在Transformer中动态调整计算深度，减少计算量并提升效率。
2026-04-18 cs.AI cs.LG
N-vium: Mixture-of-Exits Transformer for Accelerated Exact Generation
ETH Zurich（苏黎世联邦理工学院）
N-vium通过在标准硬件上部分并行化计算，提高自回归Transformer的推理效率，通过增加每秒有效FLOPs而非减少每token计算量，实现精确生成。
2026-05-13 cs.AI cs.LG
TART: Token-based Architecture Transformer for Neural Network Performance Prediction
Vector Institute（矢量研究院）；University of Toronto（多伦多大学）；University of Guelph（圭尔夫大学）；Samsung（三星）；SAIT AI Lab（SAIT人工智能实验室）
针对NAS依赖人工扩展搜索空间且无法生成新架构的问题，提出TART，用基于Token的Transformer在不训练候选网络的情况下预测性能，并在DeepNets-1M上取得最优结果。
2025-01-02 cs.AI cs.LG
DynamicViT: Efficient Vision Transformers with Dynamic Token Sparsification
Tsinghua University（清华大学）；UCLA（加州大学洛杉矶分校）；University of Washington（华盛顿大学）
注意力在视觉Transformer中是稀疏的。我们观察到，视觉Transformer的最终预测仅基于信息量最大的令牌的子集，这足以用于准确的图像识别。基于这一观察，我们提出了一个动态的令牌稀疏化框架，逐步修剪冗余令牌和动态的基础上的输入。具体来说，我们设计了一个轻量级的预测模块来估计每个令牌的重要性分数，给定当前的功能。该模块被添加到不同的层，以分层地修剪冗余令牌。为了以端到端的方式优化预测模块，我们提出了一种注意力掩蔽策略，通过阻止令牌与其他令牌的交互来区分修剪令牌。得益于自注意的性质，非结构化稀疏令牌仍然是硬件友好的，这使得我们的框架很容易实现实际的加速。通过对66%的输入标记进行分层修剪，该方法大大降低了31%~37%的FLOP，提高了40%以上的吞吐量，而对于各种视觉Transformer，准确率的下降在0.5%以内。配备了动态令牌稀疏化框架，与ImageNet上最先进的CNN和视觉Transformer相比，DynamicViT模型可以实现非常有竞争力的复杂性/准确性权衡。代码可在https://github.com/raoyongming/DynamicViT上获得
2021-10-26 cs.AI cs.CV cs.LG
Resolving Token-Space Gradient Conflicts: Token Space Manipulation for Transformer-Based Multi-Task Learning
KAIST（韩国科学技术院）
本文提出DTME-MTL框架，通过在令牌空间识别梯度冲突并自适应调制与扩展令牌，在不大量增加参数的情况下提升Transformer多任务学习的适应性和性能。
2025-07-21 cs.AI cs.CV cs.LG
Adversarial Token Attacks on Vision Transformers
New York University（纽约大学）
与卷积网络相比，视觉Transformer依赖于基于补丁令牌的自注意力机制。我们通过设计一个基于块稀疏性的对抗令牌攻击来研究这两类模型之间的根本差异。我们探测和分析了Transformer以及卷积模型与不同补丁大小的令牌攻击。我们推断，Transformer模型比卷积模型对令牌攻击更敏感，ResNets在单令牌攻击的鲁棒准确性方面优于Transformer模型高达$\sim30\%$。
2021-10-08 cs.CR cs.CV cs.LG
SoT: Delving Deeper into Classification Head for Transformer
Dalian University of Technology（大连理工大学）；Tianjin University（天津大学）；MEGVII Technology（旷视科技）
Transformer模型不仅在自然语言处理（NLP）中取得了成功，而且在计算机视觉（CV）中也表现出很高的潜力。尽管取得了很大的进步，但大多数工作只关注体系结构的改进，而对分类头的关注很少。多年来，Transformer模型完全基于分类标记来构建最终的分类器，而没有显式地利用高级单词标记。在本文中，我们提出了一种新的Transformer模型称为二阶Transformer（SoT），同时利用分类令牌和单词令牌的分类器。具体来说，我们经验性地揭示，高级别的单词令牌包含丰富的信息，其本身是非常称职的分类器，而且，是补充的分类令牌。为了有效地利用这些丰富的信息，我们提出了具有奇异值功率归一化的多头全局互协方差池化，其具有相似的理念，因此与Transformer块兼容，比常用的池化方法更好。然后，我们全面研究了如何显式地将词标记与分类标记相结合，以构建最终的分类头。对于CV任务，我们的SoT在ImageNet和ImagNet-A等具有挑战性的基准测试上显著改进了最先进的视觉Transformer。对于NLP任务，通过基于预训练的语言Transformers（包括GPT和BERT）进行微调，我们的SoT大大提高了CoLA和RTE等广泛使用的任务的性能。代码将在https://peihuali.org/SoT上提供
2021-12-18 cs.AI cs.CV cs.LG
Lost in Tokenization: Fundamental Trade-offs in Graph Tokenization for Transformers
Courant Institute of Mathematical Sciences, New York University（纽约大学数学科学学院）；John A. Paulson School of Engineering and Applied Sciences, Harvard University（哈佛大学工程与应用科学学院）；Google Research（谷歌研究）；Tel-Aviv University（特拉维夫大学）
本文研究了图标记化在Transformer中的基本权衡，探讨了不同标记化方法对模型表达能力的影响，并通过实验验证了不同任务对不同结构视图的偏好。
2026-09-30 cs.LG
Probing the Embedding Space of Transformers via Minimal Token Perturbations
TAIES Group, HPES Lab, Barcelona Supercomputing Center (BSC)（TAIES小组、HPES实验室、巴塞罗那超级计算中心）
本研究通过最小令牌扰动探测Transformer嵌入空间，发现稀有令牌导致更大偏移且深层信息混合，验证前层可作解释代理，提出扰动与偏移组合作为解释工具。
2025-06-22 cs.AI cs.LG stat.ML
Robustness Tokens: Towards Adversarial Robustness of Transformers
University of Geneva（日内瓦大学）
针对公开预训练 Transformer 作为下游骨干易受同源白盒对抗攻击的问题，本文提出仅低计算量微调少量私有 Robustness Tokens，在保持 Vision Transformer 下游性能的同时增强对抗鲁棒性。
2025-03-13 cs.AI cs.CV cs.LG
Token-Label Alignment for Vision Transformers
Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Tsinghua University（清华大学）；PhiGent Robotics（鉴智机器人）
数据混合策略（例如，CutMix）已经显示出极大地提高卷积神经网络（CNN）性能的能力。他们混合两张图像作为训练的输入，并为它们分配具有相同比例的混合标签。虽然他们被证明是有效的视觉Transformer（ViTs），我们确定了一个令牌波动现象，抑制了潜在的数据混合策略。我们根据经验观察到，输入令牌的贡献随着前向传播而波动，这可能会在输出令牌中引起不同的混合比。因此，由原始数据混合策略计算的训练目标可能是不准确的，导致训练效率较低。为了解决这个问题，我们提出了一个标记-标签对齐（TL-Align）方法来跟踪转换后的标记和原始标记之间的对应关系，以维护每个标记的标签。我们在每一层重复使用计算的注意力，以实现有效的标记-标签对齐，只引入微不足道的额外训练成本。大量的实验表明，我们的方法提高了图像分类，语义分割，客观检测和迁移学习任务的性能。代码可从以下网址获得：https://github.com/Euphoria16/TL-Align。
2022-11-29 cs.AI cs.CV cs.LG
SparseSwin: Swin Transformer with Sparse Transformer Block
Brawijaya University（布拉维贾亚大学）
针对Transformer参数量大、效率低的问题，提出带稀疏令牌转换器的SparTa块并嵌入Swin T架构得到SparseSwin，在更少参数下于多个图像分类数据集上取得优于现有最优模型的准确率。
2023-09-11 cs.AI cs.CV cs.LG
Hourglass Tokenizer for Efficient Transformer-Based 3D Human Pose Estimation
National Key Laboratory of General Artificial Intelligence, Peking University, Shenzhen Graduate School（北京大学深圳研究生院通用人工智能国家重点实验室）；Amazon Prime Video（亚马逊Prime视频）；University of Trento（特伦托大学）
提出即插即用的剪枝与恢复框架HoT，通过动态剪枝冗余帧token并恢复全长时空信息，在保持精度的同时大幅降低基于Transformer的3D人体姿态估计的计算成本。
2024-03-27 cs.AI cs.CV cs.LG
Planning Transformer: Long-Horizon Offline Reinforcement Learning with Planning Tokens
Durham University（杜伦大学）
针对Decision Transformer等离线强化学习监督方法在长时序任务中累积误差高的问题，提出带有规划令牌的Planning Transformer，通过双时间尺度令牌预测实现隐式规划指导低层策略，在D4RL环境中达SOTA并提升策略可解释性。
2024-09-14 cs.AI cs.CL cs.LG
ULTra: Unveiling Latent Token Interpretability in Transformer-Based Understanding and Segmentation
Sharif University of Technology（谢里夫理工大学）；University of Massachusetts Amherst（马萨诸塞大学阿姆赫斯特分校）
ULTra通过自监督学习提升无监督语义分割性能，并揭示变换器中潜在令牌的语义模式。
2026-01-05 cs.AI cs.CV cs.LG
Pause Tokens Strictly Increase the Expressivity of Constant-Depth Transformers
Department of Computer Science University of Oxford（计算机科学系牛津大学）
本文首次从理论上证明，向常数深度且对数宽度的Transformer中添加pause tokens能严格增加其计算表达能力，并在有界和对数精度下分别达到表达$\mathsf{AC}^0$和$\mathsf{TC}^0$的能力，且实验证实其能使两层Transformer学会奇偶性。
2025-05-27 cs.CL cs.LG
Charformer: Fast Character Transformers via Gradient-based Subword Tokenization
Google Research（谷歌研究院）；DeepMind（深度思维）
自然语言处理中最先进的模型依赖于单独的刚性子词标记化算法，这限制了它们的泛化能力和对新设置的适应。在本文中，我们提出了一个新的模型归纳偏见，学习一个子词标记化端到端的模型的一部分。为此，我们引入了一个软的基于梯度的子词标记化模块（GBST），自动学习潜在的子词表示字符的数据驱动的方式。具体地说，GBST枚举候选子字块，并学习使用块评分网络以位置方式对其进行评分。我们还介绍了Charformer，一个深度的Transformer模型，它集成了GBST并在字节级别上运行。通过对英语GLUE，多语言和嘈杂文本数据集的广泛实验，我们表明Charformer优于一系列有竞争力的字节级基线，同时通常表现相当，有时优于基于子词的模型。此外，Charformer速度很快，将普通字节级和子字级Transformers的速度提高了28%-100%，同时保持了具有竞争力的质量。我们相信这项工作为完全端到端训练的高性能无令牌模型铺平了道路。
2022-02-23 cs.AI cs.CL cs.LG
TokenFormer: Rethinking Transformer Scaling with Tokenized Model Parameters
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Google（谷歌）；Peking University（北京大学）
针对Transformer扩展成本高、架构修改需从头重训的问题，提出将参数视为token的TokenFormer架构，用token-参数注意力层替换线性投影，实现渐进式高效扩展，124M到1.4B规模下性能媲美从头训练的Transformer且成本更低。
2025-03-24 cs.LG
Scaling Transformer to 1M tokens and beyond with RMT
MIPT（莫斯科物理技术学院）；AIRI（人工智能研究所）；London Institute for Mathematical Sciences（伦敦数学科学研究所）
本研究提出循环记忆增强方法（RMT），使预训练Transformer在计算量线性扩展下处理长达两百万token的输入，提升语言建模困惑度，增强长期依赖处理能力。
2024-02-06 cs.AI cs.CL cs.LG
H$_{2}$OT: Hierarchical Hourglass Tokenizer for Efficient Video Pose Transformers
State Key Laboratory of General Artificial Intelligence, Peking University, Shenzhen Graduate School（国家一般人工智能实验室，北京大学深圳研究生院）；College of Computing and Data Science, Nanyang Technological University（计算与数据科学学院，南洋理工大学）；Amazon AGI（亚马逊人工智能实验室）；University of Trento（特伦托大学）
提出分层沙漏分词器（H$_{2}$OT），通过剪枝与恢复姿态令牌，在视频3D姿态估计中降低计算成本，提升效率，同时保持精度。
2025-09-08 cs.AI cs.CV cs.LG
Trading Depth for Time in Recurrent Transformers
Microsoft（微软）；University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
本研究通过潜在循环Transformer比较时间递归与物理深度增加，发现插入思维词元可在减少约48%参数的情况下恢复双深度模型67%-81%的性能改进，表明时间思考是参数高效的深度替代方案。
2026-10-14 cs.LG
SkipViT: Speeding Up Vision Transformers with a Token-Level Skip Connection
Huawei Technologies（华为技术有限公司）
针对视觉Transformer中存在大量无信息令牌导致冗余计算的问题，提出无新增参数的令牌级跳跃连接方法SkipViT，将不重要令牌送入低成本路径，在维持准确率的同时显著提升训练吞吐量。
2024-01-27 cs.AI cs.CV cs.LG
Increasing transformer token length with a Maximum Entropy Principle Method
Michigan State University（密歇根州立大学）
针对Transformer因序列长度二次方依赖导致的计算开销问题，提出三种基于最大熵原理的中间步骤方法，以线性开销将自回归长度从T扩展至2T，且仍比标准方法更快。
2024-08-17 cs.LG
Quantifying Attention Flow in Transformers
University of Amsterdam（阿姆斯特丹大学）
在Transformer模型中，“自我关注”将来自关注嵌入的信息组合到下一层的焦点嵌入的表示中。因此，跨Transformer的层，源自不同令牌的信息变得越来越混合。这使得注意力权重在解释探测时变得不可靠。在本文中，我们考虑的问题，通过自我关注的信息流的量化。我们提出了两种方法近似的注意力输入令牌的注意力权重，注意滚动和注意流，作为事后的方法，当我们使用的注意力权重作为输入令牌的相对相关性。我们发现，这些方法提供了信息流的互补意见，并与原始注意力相比，两者都产生较高的相关性与使用消融方法和输入梯度获得的输入标记的重要性分数。
2020-05-31 cs.AI cs.CL cs.LG
Token-Oriented Semantic Communication with Pretrained Vision Transformers
Pohang University of Science and Technology (POSTECH)（浦项科技大学（POSTECH））
该研究针对令牌通信的两大挑战，提出一种模块化的面向令牌的语义通信框架，利用ViT与LIC的空间对齐等技术，在ImageNet上实现了更优的速率-准确率权衡。
2026-09-09 cs.AI cs.CV cs.LG
MSG-Transformer: Exchanging Local Spatial Information by Manipulating Messenger Tokens
Institute of Artificial Intelligence, Huazhong University of Science & Technology（华中科技大学人工智能研究院）；School of EIC, Huazhong University of Science & Technology（华中科技大学电子信息与通信学院）；Huawei Inc.（华为公司）
Transformers为视觉识别提供了一种新的神经网络设计方法。与卷积网络相比，Transformers具有在每个阶段都能引用全局特征的能力，但注意力模块带来了更高的计算开销，阻碍了Transformers处理高分辨率视觉数据的应用。本文旨在缓解效率和灵活性之间的冲突，为此，我们为每个区域提出了一个专门的令牌，用作信使（MSG）。因此，通过操纵这些MSG令牌，可以跨区域灵活地交换视觉信息，并且降低了计算复杂性。然后，我们将MSG令牌集成到名为MSG-Transformer的多尺度架构中。在标准的图像分类和目标检测中，MSG-Transformer实现了具有竞争力的性能，并加速了GPU和CPU上的推理。代码可在https://github.com/hustvl/MSG-Transformer上获得。
2022-03-25 cs.CV cs.LG
Weather Maps as Tokens: Transformers for Renewable Energy Forecasting
IFAB Foundation（IFAB基金会）
针对现有可再生能源预测方法难以融合天气时空特征的问题，提出将天气图编码为Transformer令牌的预测方法，相比ENTSO-E运营预测大幅降低风、光预测RMSE，已上线实时预测仪表盘。
2025-11-19 cs.LG
Enhancing Latent Computation in Transformers with Latent Tokens
Alibaba Group（阿里巴巴集团）
本研究提出潜Token轻量方法，可参数高效地集成到预训练Transformer中调控解码，经合成任务验证，其在分布外泛化等场景显著优于基线，有望提升大语言模型适配性。
2025-05-19 cs.CL cs.LG
HT-Transformer: Event Sequences Classification by Accumulating Prefix Information with History Tokens
Sber AI Lab（Sber AI实验室）
本文提出历史令牌机制，解决Transformer在事件序列分类中缺乏全局状态表示及局部上下文捕获不足的问题，在金融、电商和医疗任务上显著提升性能。
2025-08-02 cs.LG
DTRNet: Dynamic Token Routing Network to Reduce Quadratic Costs in Transformers
Huawei（华为）
针对Transformer自注意力二次方计算成本高的问题，提出DTRNet动态令牌路由架构，让多数令牌仅做线性更新、仅约10%令牌走注意力，在同等FLOPs下准确率和内存表现优于MoD等方法，长序列效率提升更显著。
2025-08-31 cs.CL cs.LG
Uncertainty-Aware Token Importance Estimation in Spiking Transformers
School of Computer Science, Peking University（北京大学计算机科学学院）；School of Computer Science, Peking University. Institute for Artificial Intelligence, Peking University（北京大学计算机科学学院。人工智能研究所）；Peking University（北京大学）
本文提出Uncert框架，通过建模类证据和时间不确定性模式，提升脉冲变换器的标记重要性估计，实现更高效的推理。
2026-05-10 cs.CV cs.LG
Efficient Visual Transformer by Learnable Token Merging
School of Computing and Augmented Intelligence, Arizona State University（计算与增强智能学院，亚利桑那州立大学）
本文提出可学习令牌合并Transformer（LTM-Transformer），通过可学习令牌合并降低视觉Transformer的FLOPs和推理时间，并基于信息瓶颈推导变分上界指导掩码模块设计，在保持或提升精度的同时实现紧凑高效。
2025-07-20 cs.CV cs.LG
SPoT: Subpixel Placement of Tokens in Vision Transformers
University of Oslo（奥斯陆大学）
SPoT通过子像素位置策略提升视觉变换器的稀疏性利用，减少令牌数量以提高效率与准确性。
2026-03-06 cs.CV cs.LG
Efficient Time Series Processing for Transformers and State-Space Models through Token Merging
Technical University of Munich（慕尼黑技术大学）；Munich Data Science Institute（慕尼黑数据科学研究所）；Munich Center for Machine Learning（慕尼黑机器学习中心）
本研究首次将Token合并应用于时间序列分析，提出局部合并算法，支持因果合并并实现线性复杂度，在Chronos模型上取得高达5400%加速且精度损失极小。
2025-08-05 cs.LG
FIT: Far-reaching Interleaved Transformers
Google Deepmind（谷歌DeepMind）
本文提出FIT架构，通过将数据标记分组并结合局部层与全局潜在标记层的交错设计，在保持表达能力的同时将全局注意力复杂度降至O(L^{4/3})，并展示了其在千兆级数据上端到端训练的潜力。
2023-05-25 cs.AI cs.CL cs.CV
Nested Music Transformer: Sequentially Decoding Compound Tokens in Symbolic Music and Audio Generation
本文提出嵌套音乐变换器，通过自回归方式解码复合令牌，提升符号音乐和音频生成的性能，降低内存使用。
2026-03-16 cs.IR cs.LG cs.SD
Expediting Large-Scale Vision Transformer for Dense Prediction without Fine-tuning
Peking University（北京大学）；Microsoft Research Asia（微软亚洲研究院）；ETH Zurich（苏黎世联邦理工学院）
视觉Transformer最近在各种视觉任务中取得了有竞争力的结果，但在处理大量令牌时仍然存在计算成本高的问题。已经开发了许多先进的方法来减少大规模视觉Transformer中的标记总数，特别是对于图像分类任务。通常情况下，他们根据与类标记的相关性选择一小组基本标记，然后微调视觉Transformer的权重。由于计算和GPU存储器成本比图像分类重得多，这种微调对于密集预测不太实用。在本文中，我们专注于一个更具挑战性的问题，即，加速大规模视觉Transformer的密集预测，而无需任何额外的重新训练或微调。针对高分辨率表示对于密集预测是必要的这一事实，我们提出了两个非参数算子，一个令牌聚类层以减少令牌的数量，一个令牌重构层以增加令牌的数量。执行以下步骤来实现这一点：（i）我们使用令牌聚类层将相邻令牌聚类在一起，从而产生维持空间结构的低分辨率表示;（ii）我们仅将以下Transformer层应用于这些低分辨率表示或聚类的令牌;以及（iii）我们使用令牌重构层来从细化的低分辨率表示重新创建高分辨率表示。通过我们的方法获得的结果是有前途的五个密集的预测任务，包括目标检测，语义分割，全景分割，实例分割，和深度估计。
2022-10-03 cs.CV cs.LG
ToFe: Lagged Token Freezing and Reusing for Efficient Vision Transformer Inference
Department of Computer Science and Engineering, Hong Kong University of Science and Technology（计算机科学与工程系，香港科学与技术大学）
本文提出ToFe框架，通过在每个阶段识别重要令牌并暂时冻结不重要令牌、后续阶段滞后重用，结合计算预算感知的端到端训练，在保持性能的同时显著降低视觉Transformer的计算成本。
2025-07-22 cs.CV cs.LG
Making Vision Transformers Efficient from A Token Sparsification View
National University of Singapore（新加坡国立大学）；Alibaba Group（阿里巴巴集团）；Amazon（亚马逊）
视觉Transformer（ViTs）的计算复杂性与符号数成二次方关系，限制了ViTs的实际应用。一些作品提出修剪冗余令牌，以实现高效的ViT。然而，这些方法通常遭受（i）显著的精度下降，（ii）在本地视觉Transformer中的应用困难，以及（iii）用于下游任务的非通用网络。在这项工作中，我们提出了一种新的语义令牌ViT（STViT），有效的全球和本地视觉Transformer，也可以修改为骨干下游任务。语义标记代表聚类中心，通过空间上的图像标记池化初始化并由注意力恢复，自适应地表示全局或局部语义信息。由于聚类特性，对于全局和局部视觉Transformer，少量语义标记可以达到与大量图像标记相同的效果。例如，在DeiT-（Tiny，Small，Base）上只有16个语义标记可以实现相同的准确度，推理速度提高了100%以上，FLOPs减少了近60%;在Swin-（Tiny，Small，Base）上，我们可以在每个窗口中使用16个语义标记，以进一步加快约20%的速度，精度略有增加。除了在图像分类中取得了巨大的成功外，我们还将我们的方法扩展到视频识别。此外，我们设计了一个STViT-R（ecover）网络来恢复基于STViT的详细空间信息，使其能够用于下游任务，这是以前的令牌稀疏化方法无能为力的。实验结果表明，该方法在目标检测和实例分割方面与原网络相比具有较好的性能，骨干网的FLO…
2023-03-30 cs.CV cs.LG
Extracting Important Tokens in E-Commerce Queries with a Tag Interaction-Aware Transformer Model
Indiana University at Indianapolis（印第安纳大学印第安纳波利斯分校）；eBay Inc.（eBay公司）
本研究将电商查询重写视为词元分类任务，提出依赖感知的 Transformer 模型 TagBERT，利用词元语义标签学习更优查询短语嵌入，在重要词元分类任务上优于 BERT 等竞争模型。
2025-07-14 cs.LG
SENTRA: Selected-Next-Token Transformer for LLM Text Detection
Mozilla Corporation（Mozilla公司）；New York University（纽约大学）；Ciphero AI（Ciphero人工智能）
本文提出SENTRA，一种基于选定下一Token概率序列和对比预训练的Transformer编码器，用于检测LLM生成文本，在跨24个领域的域外实验中显著优于现有基线。
2025-09-19 cs.CL cs.LG
Clustering in Deep Stochastic Transformers
New York University（纽约大学）；Google DeepMind（谷歌DeepMind）；INRIA（法国国家信息与自动化研究所）
深度随机变换器中，初始化噪声导致标记在球面上形成相互作用粒子系统，而非单点聚类，且存在由相互作用强度和维度决定的相变现象。
2026-01-29 cs.LG stat.ML
Vcc: Scaling Transformers to 128K Tokens or More by Prioritizing Important Tokens
University of Wisconsin, Madison（威斯康星大学麦迪逊分校）；AWS AI（AWS人工智能研究院）；University of Minnesota, Minneapolis（明尼苏达大学双城分校）
本文提出VIP令牌中心压缩方案VCC，通过选择性压缩序列提升Transformer处理超长序列的效率，可扩展至128K令牌并保持精度提升。
2023-05-27 cs.CL cs.LG
How Many Tokens Do 3D Point Cloud Transformer Architectures Really Need?
本文提出gitmerge3D全局感知图Token合并方法，发现3D点云Transformer中Token高度冗余，可在减少90-95% Token的同时保持性能，为高效3D基础架构设计提供新见解。
2025-11-07 cs.CV cs.LG
Token Caching for Diffusion Transformer Acceleration
State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, Chinese Academy of Sciences（多模态人工智能系统国家重点实验室，自动化研究所）；School of Information and Electronic Engineering, Shandong Technology and Business University（山东科技职业大学信息与电子工程学院）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；PeopleAl, Inc.（PeopleAl公司）；School of Information Science and Technology, ShanghaiTech University（上海科技大学信息科学与技术学院）；Terminal Technology Department, Alipay, Ant Group（蚂蚁集团支付宝终端技术部）
TokenCache通过标记缓存技术优化扩散变换器的计算效率，在生成质量和推理速度之间取得平衡。
2026-01-27 cs.CV cs.LG
AdaViT: Adaptive Tokens for Efficient Vision Transformer
NVIDIA（英伟达）
我们介绍了A-ViT，一种自适应地调整视觉Transformer（ViT）的推理成本的方法，用于不同复杂度的图像。A-ViT通过自动减少视觉Transformer中的令牌数量来实现这一点，这些令牌在推理过程中在网络中进行处理。为此，我们重新制定了自适应计算时间（ACT），延长停机时间以丢弃冗余的空间标记。视觉Transformer的吸引人的架构属性使我们的自适应令牌减少机制，以加快推理，而无需修改网络架构或推理硬件。我们证明了A-ViT不需要额外的参数或子网络来停止，因为我们基于原始网络参数来学习自适应停止。我们进一步引入了分布式先验正则化，与先验ACT方法相比，它可以稳定训练。在图像分类任务（ImageNet 1 K）上，我们证明了我们提出的A-ViT在过滤信息丰富的空间特征和减少整体计算方面具有很高的效率。所提出的方法将DeiT-Tiny的吞吐量提高了62%，DeiT-Small的吞吐量提高了38%，而精度仅下降了0.3%，大大优于现有技术。项目页面https://a-vit.github.io/
2022-10-05 cs.CV cs.LG
Make A Long Image Short: Adaptive Token Length for Vision Transformers
Shanghai University of Electric Power（上海电力大学）；Midea Group（美的集团）
本文提出通过自适应分配每张图像的最优令牌长度来加速视觉Transformer推理，利用ReViT提取最少令牌标签并训练轻量级TLA分配器，在保持准确性的同时显著降低计算成本。
2023-07-05 cs.CV cs.LG
Token Pooling in Vision Transformers
University of Waterloo（滑铁卢大学）；Apple（苹果公司）
尽管最近在许多应用中取得了成功，但视觉Transformer的高计算要求限制了它们在资源受限的环境中的使用。虽然许多现有方法提高了注意力的二次复杂度，但在大多数视觉Transformer中，自注意力不是主要的计算瓶颈，例如，超过80%的计算花费在全连接层上。为了提高所有层的计算复杂性，我们提出了一种新的令牌下采样方法，称为令牌池，有效地利用图像和中间令牌表示中的冗余。我们表明，在温和的假设下，softmax-attention作为一个高维低通（平滑）滤波器。因此，它的输出包含冗余，可以修剪，以实现更好的计算成本和精度之间的权衡。我们的新技术通过最小化下采样引起的重建误差来精确地近似一组令牌。我们通过具有成本效益的聚类来解决这个优化问题。我们严格分析并与先前的下采样方法进行比较。我们的实验表明，令牌池显着提高了成本-准确性权衡比国家的最先进的下采样。令牌池是一种简单而有效的操作符，可以使许多架构受益。应用于DeiT，它实现了相同的ImageNet top-1精度，使用的计算量减少了42%。
2021-10-11 cs.CV cs.LG
Physics Informed Token Transformer for Solving Partial Differential Equations
Carnegie Mellon University（卡内基梅隆大学）
针对Transformer缺乏物理与推理结合的问题，提出PITT模型，通过将偏微分方程进行token化并嵌入偏导数来学习数值更新算子，在1D和2D PDE预测任务上优于流行神经算子。
2024-02-12 cs.LG physics.comp-ph
