Robustness Tokens: Towards Adversarial Robustness of Transformers
University of Geneva(日内瓦大学)
针对公开预训练 Transformer 作为下游骨干易受同源白盒对抗攻击的问题,本文提出仅低计算量微调少量私有 Robustness Tokens,在保持 Vision Transformer 下游性能的同时增强对抗鲁棒性。
2025-03-13 cs.AI cs.CV cs.LG
Token-Label Alignment for Vision Transformers
Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心);Tsinghua University(清华大学);PhiGent Robotics(鉴智机器人)
数据混合策略(例如,CutMix)已经显示出极大地提高卷积神经网络(CNN)性能的能力。他们混合两张图像作为训练的输入,并为它们分配具有相同比例的混合标签。虽然他们被证明是有效的视觉Transformer(ViTs),我们确定了一个令牌波动现象,抑制了潜在的数据混合策略。我们根据经验观察到,输入令牌的贡献随着前向传播而波动,这可能会在输出令牌中引起不同的混合比。因此,由原始数据混合策略计算的训练目标可能是不准确的,导致训练效率较低。为了解决这个问题,我们提出了一个标记-标签对齐(TL-Align)方法来跟踪转换后的标记和原始标记之间的对应关系,以维护每个标记的标签。我们在每一层重复使用计算的注意力,以实现有效的标记-标签对齐,只引入微不足道的额外训练成本。大量的实验表明,我们的方法提高了图像分类,语义分割,客观检测和迁移学习任务的性能。代码可从以下网址获得:https://github.com/Euphoria16/TL-Align。
2022-11-29 cs.AI cs.CV cs.LG
SparseSwin: Swin Transformer with Sparse Transformer Block
Brawijaya University(布拉维贾亚大学)
针对Transformer参数量大、效率低的问题,提出带稀疏令牌转换器的SparTa块并嵌入Swin T架构得到SparseSwin,在更少参数下于多个图像分类数据集上取得优于现有最优模型的准确率。
2023-09-11 cs.AI cs.CV cs.LG
Hourglass Tokenizer for Efficient Transformer-Based 3D Human Pose Estimation
National Key Laboratory of General Artificial Intelligence, Peking University, Shenzhen Graduate School(北京大学深圳研究生院通用人工智能国家重点实验室);Amazon Prime Video(亚马逊Prime视频);University of Trento(特伦托大学)
提出即插即用的剪枝与恢复框架HoT,通过动态剪枝冗余帧token并恢复全长时空信息,在保持精度的同时大幅降低基于Transformer的3D人体姿态估计的计算成本。
2024-03-27 cs.AI cs.CV cs.LG
MSG-Transformer: Exchanging Local Spatial Information by Manipulating Messenger Tokens
Institute of Artificial Intelligence, Huazhong University of Science & Technology(华中科技大学人工智能研究院);School of EIC, Huazhong University of Science & Technology(华中科技大学电子信息与通信学院);Huawei Inc.(华为公司)
Transformers为视觉识别提供了一种新的神经网络设计方法。与卷积网络相比,Transformers具有在每个阶段都能引用全局特征的能力,但注意力模块带来了更高的计算开销,阻碍了Transformers处理高分辨率视觉数据的应用。本文旨在缓解效率和灵活性之间的冲突,为此,我们为每个区域提出了一个专门的令牌,用作信使(MSG)。因此,通过操纵这些MSG令牌,可以跨区域灵活地交换视觉信息,并且降低了计算复杂性。然后,我们将MSG令牌集成到名为MSG-Transformer的多尺度架构中。在标准的图像分类和目标检测中,MSG-Transformer实现了具有竞争力的性能,并加速了GPU和CPU上的推理。代码可在https://github.com/hustvl/MSG-Transformer上获得。
2022-03-25 cs.CV cs.LG
Rethinking Tokenized Graph Transformers for Node Classification
School of Computer Science and Technology, Huazhong University of Science and Technology(华中科技大学计算机科学与技术学院);Hopcroft Center on Computing Science, Huazhong University of Science and Technology(华中科技大学霍普克罗夫特计算科学中心);Cornell University(康奈尔大学)
针对现有节点标记化图Transformer仅利用一阶邻居生成标记序列的局限,提出SwapGT方法,通过标记交换操作生成更优序列,结合Transformer骨干与中心对齐损失,在多数据集上提升节点分类性能。
2025-02-12 cs.AI cs.LG
Enhancing Latent Computation in Transformers with Latent Tokens
Alibaba Group(阿里巴巴集团)
本研究提出潜Token轻量方法,可参数高效地集成到预训练Transformer中调控解码,经合成任务验证,其在分布外泛化等场景显著优于基线,有望提升大语言模型适配性。
2025-05-19 cs.CL cs.LG
Planning Transformer: Long-Horizon Offline Reinforcement Learning with Planning Tokens
Durham University(杜伦大学)
针对Decision Transformer等离线强化学习监督方法在长时序任务中累积误差高的问题,提出带有规划令牌的Planning Transformer,通过双时间尺度令牌预测实现隐式规划指导低层策略,在D4RL环境中达SOTA并提升策略可解释性。
2024-09-14 cs.AI cs.CL cs.LG
ULTra: Unveiling Latent Token Interpretability in Transformer-Based Understanding and Segmentation
Sharif University of Technology(谢里夫理工大学);University of Massachusetts Amherst(马萨诸塞大学阿姆赫斯特分校)
ULTra通过自监督学习提升无监督语义分割性能,并揭示变换器中潜在令牌的语义模式。
2026-01-05 cs.AI cs.CV cs.LG
DTRNet: Dynamic Token Routing Network to Reduce Quadratic Costs in Transformers
Huawei(华为)
针对Transformer自注意力二次方计算成本高的问题,提出DTRNet动态令牌路由架构,让多数令牌仅做线性更新、仅约10%令牌走注意力,在同等FLOPs下准确率和内存表现优于MoD等方法,长序列效率提升更显著。
2025-08-31 cs.CL cs.LG
Uncertainty-Aware Token Importance Estimation in Spiking Transformers
School of Computer Science, Peking University(北京大学计算机科学学院);School of Computer Science, Peking University. Institute for Artificial Intelligence, Peking University(北京大学计算机科学学院。人工智能研究所);Peking University(北京大学)
本文提出Uncert框架,通过建模类证据和时间不确定性模式,提升脉冲变换器的标记重要性估计,实现更高效的推理。
2026-05-10 cs.CV cs.LG
Scaling Transformer to 1M tokens and beyond with RMT
MIPT(莫斯科物理技术学院);AIRI(人工智能研究所);London Institute for Mathematical Sciences(伦敦数学科学研究所)
本研究提出循环记忆增强方法(RMT),使预训练Transformer在计算量线性扩展下处理长达两百万token的输入,提升语言建模困惑度,增强长期依赖处理能力。
2024-02-06 cs.AI cs.CL cs.LG
H$_{2}$OT: Hierarchical Hourglass Tokenizer for Efficient Video Pose Transformers
State Key Laboratory of General Artificial Intelligence, Peking University, Shenzhen Graduate School(国家一般人工智能实验室,北京大学深圳研究生院);College of Computing and Data Science, Nanyang Technological University(计算与数据科学学院,南洋理工大学);Amazon AGI(亚马逊人工智能实验室);University of Trento(特伦托大学)
提出分层沙漏分词器(H$_{2}$OT),通过剪枝与恢复姿态令牌,在视频3D姿态估计中降低计算成本,提升效率,同时保持精度。
2025-09-08 cs.AI cs.CV cs.LG
Efficient Visual Transformer by Learnable Token Merging
School of Computing and Augmented Intelligence, Arizona State University(计算与增强智能学院,亚利桑那州立大学)
本文提出可学习令牌合并Transformer(LTM-Transformer),通过可学习令牌合并降低视觉Transformer的FLOPs和推理时间,并基于信息瓶颈推导变分上界指导掩码模块设计,在保持或提升精度的同时实现紧凑高效。
2025-07-20 cs.CV cs.LG
Token-Oriented Semantic Communication with Pretrained Vision Transformers
Pohang University of Science and Technology (POSTECH)(浦项科技大学(POSTECH))
该研究针对令牌通信的两大挑战,提出一种模块化的面向令牌的语义通信框架,利用ViT与LIC的空间对齐等技术,在ImageNet上实现了更优的速率-准确率权衡。
2026-09-09 cs.AI cs.CV cs.LG
SkipViT: Speeding Up Vision Transformers with a Token-Level Skip Connection
Huawei Technologies(华为技术有限公司)
针对视觉Transformer中存在大量无信息令牌导致冗余计算的问题,提出无新增参数的令牌级跳跃连接方法SkipViT,将不重要令牌送入低成本路径,在维持准确率的同时显著提升训练吞吐量。
2024-01-27 cs.AI cs.CV cs.LG
Quantifying Attention Flow in Transformers
University of Amsterdam(阿姆斯特丹大学)
在Transformer模型中,“自我关注”将来自关注嵌入的信息组合到下一层的焦点嵌入的表示中。因此,跨Transformer的层,源自不同令牌的信息变得越来越混合。这使得注意力权重在解释探测时变得不可靠。在本文中,我们考虑的问题,通过自我关注的信息流的量化。我们提出了两种方法近似的注意力输入令牌的注意力权重,注意滚动和注意流,作为事后的方法,当我们使用的注意力权重作为输入令牌的相对相关性。我们发现,这些方法提供了信息流的互补意见,并与原始注意力相比,两者都产生较高的相关性与使用消融方法和输入梯度获得的输入标记的重要性分数。
2020-05-31 cs.AI cs.CL cs.LG
SPoT: Subpixel Placement of Tokens in Vision Transformers
University of Oslo(奥斯陆大学)
SPoT通过子像素位置策略提升视觉变换器的稀疏性利用,减少令牌数量以提高效率与准确性。
2026-03-06 cs.CV cs.LG
Pure Transformers are Powerful Graph Learners
KAIST(韩国科学技术院);LG AI Research(LG人工智能研究院);University of Illinois Chicago(伊利诺伊大学芝加哥分校)
我们表明,标准的Transformers没有特定于图的修改,可以导致有前途的结果,在图学习的理论和实践。给定一个图,我们简单地将所有节点和边视为独立的令牌,用令牌嵌入来增强它们,并将它们馈送到Transformer。通过适当选择令牌嵌入,我们证明了这种方法在理论上至少与由等变线性层组成的不变图网络(2-IGN)一样具有表达性,该网络已经比所有消息传递图神经网络(GNN)更具表达性。当在大规模图数据集(PCQM 4 Mv 2)上训练时,我们的方法创造的令牌化图Transformer(TokenGT)与GNN基线相比取得了显着更好的结果,并且与具有复杂的特定于图的感应偏差的Transformer变体相比取得了有竞争力的结果。我们的实现可以在https://github.com/jw9730/tokengt上获得。
2022-10-22 cs.AI cs.LG
On the role of the tokenizer in ECG transformer models
Uppsala University(乌普萨拉大学);Scilifelab(瑞典生命科学实验室)
本研究比较八种分词策略于ECG Transformer,发现生理感知分词提升宏AUC 8.2%,并大幅减少序列长度和内存,无需增加模型容量。
2026-09-15 cs.AI cs.LG
Expediting Large-Scale Vision Transformer for Dense Prediction without Fine-tuning
Peking University(北京大学);Microsoft Research Asia(微软亚洲研究院);ETH Zurich(苏黎世联邦理工学院)
视觉Transformer最近在各种视觉任务中取得了有竞争力的结果,但在处理大量令牌时仍然存在计算成本高的问题。已经开发了许多先进的方法来减少大规模视觉Transformer中的标记总数,特别是对于图像分类任务。通常情况下,他们根据与类标记的相关性选择一小组基本标记,然后微调视觉Transformer的权重。由于计算和GPU存储器成本比图像分类重得多,这种微调对于密集预测不太实用。在本文中,我们专注于一个更具挑战性的问题,即,加速大规模视觉Transformer的密集预测,而无需任何额外的重新训练或微调。针对高分辨率表示对于密集预测是必要的这一事实,我们提出了两个非参数算子,一个令牌聚类层以减少令牌的数量,一个令牌重构层以增加令牌的数量。执行以下步骤来实现这一点:(i)我们使用令牌聚类层将相邻令牌聚类在一起,从而产生维持空间结构的低分辨率表示;(ii)我们仅将以下Transformer层应用于这些低分辨率表示或聚类的令牌;以及(iii)我们使用令牌重构层来从细化的低分辨率表示重新创建高分辨率表示。通过我们的方法获得的结果是有前途的五个密集的预测任务,包括目标检测,语义分割,全景分割,实例分割,和深度估计。
2022-10-03 cs.CV cs.LG
ToFe: Lagged Token Freezing and Reusing for Efficient Vision Transformer Inference
Department of Computer Science and Engineering, Hong Kong University of Science and Technology(计算机科学与工程系,香港科学与技术大学)
本文提出ToFe框架,通过在每个阶段识别重要令牌并暂时冻结不重要令牌、后续阶段滞后重用,结合计算预算感知的端到端训练,在保持性能的同时显著降低视觉Transformer的计算成本。
2025-07-22 cs.CV cs.LG
NAGphormer: A Tokenized Graph Transformer for Node Classification in Large Graphs
Huazhong University of Science and Technology(华中科技大学)
图Transformer作为一种新的体系结构出现,并在各种图挖掘任务上显示出卓越的性能。在这项工作中,我们观察到,现有的图Transformers处理节点作为独立的令牌,并构造一个单一的长序列组成的所有节点令牌,以便训练的Transformer模型,导致它很难扩展到大的图,由于二次复杂性的节点数量的自注意力计算。为此,我们提出了一个邻域聚合图Transformer(NAGphormer),它将每个节点视为一个序列,其中包含一系列由我们提出的Hop2Token模块构建的令牌。对于每个节点,Hop2Token将来自不同跳的邻域特征聚合成不同的表示,从而产生一系列令牌向量作为一个输入。通过这种方式,NAGphormer可以以小批量的方式进行训练,从而可以扩展到大型图形。此外,我们在数学上表明,相比一类先进的图神经网络(GNN),解耦的图卷积网络,NAGphormer可以学习更多的信息节点表示从多跳的邻居。在从小到大的基准数据集上进行了广泛的实验,以证明NAGphormer始终优于现有的图Transformers和主流GNN。代码可在https://github.com/JHL-HUST/NAGphormer上获得。
2023-02-27 cs.AI cs.LG
Fewer yet critical: Reducing Redundant Token Dependencies for Transformer-based Time Series Forecasting
Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所)
针对Transformer时间序列预测中冗余token依赖问题,提出联合注意力熵与预测误差约束的依赖选择策略,识别关键依赖,提升泛化,可扩展至多种模型。
2026-09-09 cs.AI cs.LG
Making Vision Transformers Efficient from A Token Sparsification View
National University of Singapore(新加坡国立大学);Alibaba Group(阿里巴巴集团);Amazon(亚马逊)
视觉Transformer(ViTs)的计算复杂性与符号数成二次方关系,限制了ViTs的实际应用。一些作品提出修剪冗余令牌,以实现高效的ViT。然而,这些方法通常遭受(i)显著的精度下降,(ii)在本地视觉Transformer中的应用困难,以及(iii)用于下游任务的非通用网络。在这项工作中,我们提出了一种新的语义令牌ViT(STViT),有效的全球和本地视觉Transformer,也可以修改为骨干下游任务。语义标记代表聚类中心,通过空间上的图像标记池化初始化并由注意力恢复,自适应地表示全局或局部语义信息。由于聚类特性,对于全局和局部视觉Transformer,少量语义标记可以达到与大量图像标记相同的效果。例如,在DeiT-(Tiny,Small,Base)上只有16个语义标记可以实现相同的准确度,推理速度提高了100%以上,FLOPs减少了近60%;在Swin-(Tiny,Small,Base)上,我们可以在每个窗口中使用16个语义标记,以进一步加快约20%的速度,精度略有增加。除了在图像分类中取得了巨大的成功外,我们还将我们的方法扩展到视频识别。此外,我们设计了一个STViT-R(ecover)网络来恢复基于STViT的详细空间信息,使其能够用于下游任务,这是以前的令牌稀疏化方法无能为力的。实验结果表明,该方法在目标检测和实例分割方面与原网络相比具有较好的性能,骨干网的FLO…
2023-03-30 cs.CV cs.LG
SENTRA: Selected-Next-Token Transformer for LLM Text Detection
Mozilla Corporation(Mozilla公司);New York University(纽约大学);Ciphero AI(Ciphero人工智能)
本文提出SENTRA,一种基于选定下一Token概率序列和对比预训练的Transformer编码器,用于检测LLM生成文本,在跨24个领域的域外实验中显著优于现有基线。
2025-09-19 cs.CL cs.LG
Token-Level Cross-Modal Transformer with Contrastive Multi-Task Learning for Breast Cancer Subtype Classification and Survival Prediction
Jiangxi Arts & Ceramics Technology Institute(江西艺术陶瓷科技职业学院);Mokwon University(木浦大学)
针对整合异质模态进行癌症亚型分类和生存预测的挑战,提出令牌级跨模态变换器及对比多任务学习方法,克服现有方法在模态交互、融合方式及目标优化上的局限。
2026-07-21 cs.AI cs.LG
Enhanced Graph Transformer with Serialized Graph Tokens
MAIS, Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所MAIS)
本文提出一种增强型图变换器,通过序列化图标记方法提升图层面表示能力,在多个图学习基准上取得最优性能。
2026-02-09 cs.AI cs.LG
Vcc: Scaling Transformers to 128K Tokens or More by Prioritizing Important Tokens
University of Wisconsin, Madison(威斯康星大学麦迪逊分校);AWS AI(AWS人工智能研究院);University of Minnesota, Minneapolis(明尼苏达大学双城分校)
本文提出VIP令牌中心压缩方案VCC,通过选择性压缩序列提升Transformer处理超长序列的效率,可扩展至128K令牌并保持精度提升。
2023-05-27 cs.CL cs.LG
How Many Tokens Do 3D Point Cloud Transformer Architectures Really Need?
本文提出gitmerge3D全局感知图Token合并方法,发现3D点云Transformer中Token高度冗余,可在减少90-95% Token的同时保持性能,为高效3D基础架构设计提供新见解。
2025-11-07 cs.CV cs.LG
Token Caching for Diffusion Transformer Acceleration
State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, Chinese Academy of Sciences(多模态人工智能系统国家重点实验室,自动化研究所);School of Information and Electronic Engineering, Shandong Technology and Business University(山东科技职业大学信息与电子工程学院);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);PeopleAl, Inc.(PeopleAl公司);School of Information Science and Technology, ShanghaiTech University(上海科技大学信息科学与技术学院);Terminal Technology Department, Alipay, Ant Group(蚂蚁集团支付宝终端技术部)
TokenCache通过标记缓存技术优化扩散变换器的计算效率,在生成质量和推理速度之间取得平衡。
2026-01-27 cs.CV cs.LG
Adaptive Computation Depth via Learned Token Routing in Transformers
Independent Researcher(独立研究者)
本文提出Token-Selective Attention,通过学习的标记门控机制,在Transformer中动态调整计算深度,减少计算量并提升效率。
2026-04-18 cs.AI cs.LG
AdaViT: Adaptive Tokens for Efficient Vision Transformer
NVIDIA(英伟达)
我们介绍了A-ViT,一种自适应地调整视觉Transformer(ViT)的推理成本的方法,用于不同复杂度的图像。A-ViT通过自动减少视觉Transformer中的令牌数量来实现这一点,这些令牌在推理过程中在网络中进行处理。为此,我们重新制定了自适应计算时间(ACT),延长停机时间以丢弃冗余的空间标记。视觉Transformer的吸引人的架构属性使我们的自适应令牌减少机制,以加快推理,而无需修改网络架构或推理硬件。我们证明了A-ViT不需要额外的参数或子网络来停止,因为我们基于原始网络参数来学习自适应停止。我们进一步引入了分布式先验正则化,与先验ACT方法相比,它可以稳定训练。在图像分类任务(ImageNet 1 K)上,我们证明了我们提出的A-ViT在过滤信息丰富的空间特征和减少整体计算方面具有很高的效率。所提出的方法将DeiT-Tiny的吞吐量提高了62%,DeiT-Small的吞吐量提高了38%,而精度仅下降了0.3%,大大优于现有技术。项目页面https://a-vit.github.io/
2022-10-05 cs.CV cs.LG
Make A Long Image Short: Adaptive Token Length for Vision Transformers
Shanghai University of Electric Power(上海电力大学);Midea Group(美的集团)
本文提出通过自适应分配每张图像的最优令牌长度来加速视觉Transformer推理,利用ReViT提取最少令牌标签并训练轻量级TLA分配器,在保持准确性的同时显著降低计算成本。
2023-07-05 cs.CV cs.LG
N-vium: Mixture-of-Exits Transformer for Accelerated Exact Generation
ETH Zurich(苏黎世联邦理工学院)
N-vium通过在标准硬件上部分并行化计算,提高自回归Transformer的推理效率,通过增加每秒有效FLOPs而非减少每token计算量,实现精确生成。
2026-05-13 cs.AI cs.LG
Token Pooling in Vision Transformers
University of Waterloo(滑铁卢大学);Apple(苹果公司)
尽管最近在许多应用中取得了成功,但视觉Transformer的高计算要求限制了它们在资源受限的环境中的使用。虽然许多现有方法提高了注意力的二次复杂度,但在大多数视觉Transformer中,自注意力不是主要的计算瓶颈,例如,超过80%的计算花费在全连接层上。为了提高所有层的计算复杂性,我们提出了一种新的令牌下采样方法,称为令牌池,有效地利用图像和中间令牌表示中的冗余。我们表明,在温和的假设下,softmax-attention作为一个高维低通(平滑)滤波器。因此,它的输出包含冗余,可以修剪,以实现更好的计算成本和精度之间的权衡。我们的新技术通过最小化下采样引起的重建误差来精确地近似一组令牌。我们通过具有成本效益的聚类来解决这个优化问题。我们严格分析并与先前的下采样方法进行比较。我们的实验表明,令牌池显着提高了成本-准确性权衡比国家的最先进的下采样。令牌池是一种简单而有效的操作符,可以使许多架构受益。应用于DeiT,它实现了相同的ImageNet top-1精度,使用的计算量减少了42%。
2021-10-11 cs.CV cs.LG
BATR-FST: Bi-Level Adaptive Token Refinement for Few-Shot Transformers
School of Computer Science(计算机科学学院);Engineering Central South University(工程中南大学)
BATR-FST通过双阶段自适应令牌细化方法,提升少样本变换器的分类性能,结合令牌聚类、不确定性加权和双层注意力机制,实现更有效的令牌优化和归纳偏置。
2025-09-16 cs.CV cs.LG
TART: Token-based Architecture Transformer for Neural Network Performance Prediction
Vector Institute(矢量研究院);University of Toronto(多伦多大学);University of Guelph(圭尔夫大学);Samsung(三星);SAIT AI Lab(SAIT人工智能实验室)
针对NAS依赖人工扩展搜索空间且无法生成新架构的问题,提出TART,用基于Token的Transformer在不训练候选网络的情况下预测性能,并在DeepNets-1M上取得最优结果。
2025-01-02 cs.AI cs.LG
Probing the Embedding Space of Transformers via Minimal Token Perturbations
TAIES Group, HPES Lab, Barcelona Supercomputing Center (BSC)(TAIES小组、HPES实验室、巴塞罗那超级计算中心)
本研究通过最小令牌扰动探测Transformer嵌入空间,发现稀有令牌导致更大偏移且深层信息混合,验证前层可作解释代理,提出扰动与偏移组合作为解释工具。
2025-06-22 cs.AI cs.LG stat.ML
Learning to Merge Tokens in Vision Transformers
ETH Zurich(苏黎世联邦理工学院);Google Research(谷歌研究院)
Transformers被广泛应用于解决自然语言理解和计算机视觉任务。虽然扩展这些架构可以提高性能,但通常会以更高的计算成本为代价。为了使大规模模型在现实世界的系统中保持实用,需要减少其计算开销。在这项工作中,我们提出了PatchMerger,这是一个简单的模块,通过在两个连续的中间层之间合并补丁或令牌来减少网络必须处理的补丁或令牌的数量。我们表明,PatchMerger实现了显着的加速在不同的模型大小,同时匹配的上游和下游的微调后的原始性能。
2022-02-24 cs.CV cs.LG
Don't Look Twice: Faster Video Transformers with Run-Length Tokenization
Carnegie Mellon University(卡内基梅隆大学);Fujitsu Research(富士通研究所)
针对视频Transformer训练慢的问题,提出游程长度分词化(RLT),通过高效移除重复patch游程并编码长度信息,实现30%训练加速和35%吞吐提升,且无需调参。
2024-11-07 cs.CV cs.LG
Pruning One More Token is Enough: Leveraging Latency-Workload Non-Linearities for Vision Transformers on the Edge
本文针对边缘设备小负载场景,利用延迟-工作负载非线性关系确定令牌剪枝调度,提出免训练的令牌剪枝方法,在相似延迟下实现更高精度。
2024-11-08 cs.CV cs.LG
Latent Recurrent Transformer: Architecture Exploration, Training Strategies, and Scaling Behavior
Microsoft(微软公司);University of Wisconsin-Madison(威斯康星大学麦迪逊分校);University of Washington(华盛顿大学)
提出潜在循环Transformer(LRT),通过跨层循环潜在路径重用前一token的高层隐藏状态作为记忆,在不增加暂停token或额外深度循环的情况下,以约2倍基线计算实现并行训练,在匹配有效计算下提升语言建模损失和上下文学习能力,仅增加0.3%参数。
2026-09-02 cs.CL cs.LG
A2SF: Accumulative Attention Scoring with Forgetting Factor for Token Pruning in Transformer Decoder
Sungkyunkwan University(成均馆大学)
本文提出带遗忘因子的累积注意力评分方法A2SF,解决Transformer解码器中因掩码导致令牌注意力累积次数不同而比较不公平的问题,从而更有效地进行KV缓存令牌剪枝,并在LLaMA 2上实现最高7.8%的准确率提升。
2024-07-31 cs.CL cs.LG
Looking Beyond The Top-1: Transformers Determine Top Tokens In Order
The Hebrew University of Jerusalem(耶路撒冷希伯来大学);The University of Chicago(芝加哥大学)
本文揭示 Transformers 按排名顺序依次确定 top-k tokens 的饱和现象,提出任务转换机制并加以验证,据此设计出更优的 token 级早退策略。
2024-10-26 cs.CL cs.LG
NTFormer: A Composite Node Tokenized Graph Transformer for Node Classification
School of Computer Science and Technology, Huazhong University of Science and Technology(华中科技大学计算机科学与技术学院);Institute of Artificial Intelligence, Huazhong University of Science and Technology(华中科技大学人工智能研究院);Hopcroft Center on Computing Science, Huazhong University of Science and Technology(华中科技大学霍普克罗夫特计算科学中心)
提出NTFormer图Transformer,通过Node2Par生成多类型token序列全面表达图特征,无需图特定修改即可在节点分类任务上超越现有方法。
2024-06-27 cs.LG
Visual Transformers: Token-based Image Representation and Processing for Computer Vision
Facebook Reality Labs(Facebook现实实验室);Facebook AI(Facebook人工智能);UC Berkeley(加州大学伯克利分校)
计算机视觉通过(a)将图像表示为均匀排列的像素阵列和(b)卷积高度局部化的特征而取得了显著的成功。然而,卷积平等地对待所有图像像素,无论其重要性如何;显式地对所有图像中的所有概念进行建模,无论其内容如何;并且难以将空间上遥远的概念联系起来。在这项工作中,我们通过(a)将图像表示为语义视觉令牌和(b)运行Transformers来密集地建模令牌关系来挑战这种范式。重要的是,我们的Visual Transformer在语义标记空间中运行,根据上下文明智地处理不同的图像部分。这与像素空间Transformers形成鲜明对比,后者需要更多数量级的计算。使用先进的训练配方,我们的VT显著优于卷积对手,将ImageNet top-1上的ResNet准确度提高了4.6到7个点,同时使用更少的FLOP和参数。对于LIP和COCO-stuff上的语义分割,基于VT的特征金字塔网络(FPN)实现了0.35点的mIoU,同时将FPN模块的FLOP降低了6.5倍。
2020-11-20 cs.CV cs.LG eess.IV
Transformer Compressed Sensing via Global Image Tokens
The University of Queensland(昆士兰大学)
卷积神经网络(CNN)与传统的手工制作方法相比,表现出出色的压缩感知(CS)性能。然而,它们在概括性、归纳偏差和难以模拟远距离关系方面受到广泛的限制。Transformer神经网络(TNN)通过实现设计用于捕获输入之间的依赖关系的注意力机制来克服这些问题。然而,高分辨率任务通常需要视觉Transformer(ViT)将图像分解为基于块的令牌,将输入限制为固有的本地上下文。我们提出了一种新的图像分解,自然地嵌入到低分辨率的输入图像。这些万花筒令牌(KD)提供了一种全局注意力机制,其计算成本与基于补丁的方法相同。为了展示这一发展,我们用TNN块替换了知名CS-MRI神经网络中的CNN组件,并展示了KD带来的改进。我们还提出了一个整体的图像令牌,提高整体图像质量和减少模型的大小。补充材料请访问:https://github.com/uqmarlonbran/TCS.git
2022-07-12 cs.CV cs.LG eess.IV
Segatron: Segment-Aware Transformer for Language Modeling and Understanding
University of Waterloo(滑铁卢大学);Peking University(北京大学)
Transformers对于序列建模非常强大。几乎所有最先进的语言模型和预训练的语言模型都基于Transformer架构。但是,它仅通过标记位置索引来区分连续标记。我们假设,更好的上下文表示可以从具有更丰富的位置信息的Transformer生成。为了验证这一点,我们提出了一个段感知的Transformer(Segatron),通过替换原来的令牌位置编码与段落,句子和令牌的组合位置编码。我们首先将段感知机制引入到Transformer-XL,这是一种流行的基于transformer的语言模型,具有内存扩展和相对位置编码。我们发现,我们的方法可以进一步改善Transformer-XL基础模型和大模型,在WikiText-103数据集上实现17.1困惑度。我们进一步研究了Segatron的预训练掩蔽语言建模任务。实验结果表明,使用Segatron(SegaBERT)预训练的BERT在各种NLP任务上的性能优于使用vanilla Transformer的BERT,在zero-shot句子表示学习上的性能优于RoBERTa。
2020-12-15 cs.CL cs.LG
Good Token Hunting: A Hitchhiker's Guide to Token Selection for Visual Geometry Transformers
University of Toronto & Vector Institute(多伦多大学及向量研究所);Google(谷歌);Technical University of Munich(慕尼黑技术大学)
针对视觉几何变换器因全局注意力导致计算成本随序列长度平方增长的问题,提出一种两阶段令牌选择框架(帧间多样性选择+帧内层感知稀疏化),在加速85%以上同时保持或提升基线性能。
2026-11-10 cs.AI cs.CV cs.GR
Memory-Efficient Fine-Tuning of Transformers via Token Selection
Meta AI
本文提出 TokenTune 方法,通过仅对部分输入 token 反向传播并缓存其中间激活值,大幅降低 Transformer 模型微调的内存开销,且可与 LoRA 等方法结合,在数十亿参数模型的少样本任务中达到与全量微调相当的性能。
2025-01-31 cs.CL cs.LG
ENTP: Encoder-only Next Token Prediction
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Korea University(高丽大学)
本文提出仅编码器下一词元预测(ENTP),通过理论分析与实验证明其在表达能力和多项任务上优于仅解码器 Transformer。
2025-02-04 cs.CL cs.LG
Nested Music Transformer: Sequentially Decoding Compound Tokens in Symbolic Music and Audio Generation
本文提出嵌套音乐变换器,通过自回归方式解码复合令牌,提升符号音乐和音频生成的性能,降低内存使用。
2026-03-16 cs.IR cs.LG cs.SD
Bridging the Dimensional Chasm: Uncover Layer-wise Dimensional Reduction in Transformers through Token Correlation
School of Physics, Peking University(北京大学物理学院);Institute of Theoretical Physics, Chinese Academy of Sciences(中国科学院理论物理研究所);Center for High Energy Physics, Peking University(北京大学高能物理研究中心);Beijing Computational Science Research Center(北京计算科学研究中心)
本研究通过几何框架分析Transformer各层令牌内在维度,揭示扩张-收缩模式,发现有效模型将令牌压缩至约10维子流形,与人类语义空间相似,为LLM可解释性和模型诊断提供新视角。
2025-03-28 cs.CL cs.LG