Deformable Graph Transformer
Korea University(高丽大学);NAVER CLOVA;NAVER AI LAB(NAVER人工智能实验室)
基于变换器的模型最近在图结构数据的表示学习方面取得了成功,超越了自然语言处理和计算机视觉。然而,成功仅限于小规模的图形,由于充分点积注意图的缺点,如二次复杂度相对于节点的数量和消息聚集从巨大的不相关的节点。为了解决这些问题,我们提出了可变形图Transformer(DGT),通过动态采样的相关节点进行稀疏注意,有效地处理大规模的图形与线性复杂度的节点数。具体来说,我们的框架首先构造多个节点序列与各种标准,考虑结构和语义的接近。然后,结合我们可学习的Katz位置编码,稀疏注意力被应用到节点序列学习节点表示,大大降低了计算成本。大量的实验表明,我们的DGT在7个图基准数据集上实现了最先进的性能,与基于transformer的图模型相比,计算成本降低了2.5 - 449倍。
2022-10-04 cs.LG
Transformer Multivariate Forecasting: Less is More?
University of Luxembourg(卢森堡大学);Monash University(莫纳什大学);Interdisciplinary Centre for Security, Reliability and Trust(安全、可靠与信任跨学科中心)
针对多变量预测中Transformer模型处理复杂数据集时噪声高、耗时长的问题,提出PCA增强的Transformer预测框架,在多个SOTA模型和真实数据集上实现了预测误差与运行时间的双降低。
2024-03-07 cs.AI cs.LG
Supernova: Achieving More with Less in Transformer Architectures
Faculty of Mathematics and Computer Science(数学与计算机科学学院)
本文提出6.5亿参数解码器Transformer模型Supernova,通过RoPE、GQA、RMSNorm、SwiGLU及128K词表BPE分词器等设计,以更少参数和训练token达到10亿参数模型90%的性能,挑战了主流扩展范式。
2025-07-22 cs.AI cs.CL cs.LG
Single-Layer Vision Transformers for More Accurate Early Exits with Less Overhead
Aarhus University(奥胡斯大学)
在计算资源有限的时间关键型应用中部署深度学习模型,例如在边缘计算系统和物联网网络中,是一项具有挑战性的任务,通常依赖于动态推理方法,例如提前退出。在本文中,我们介绍了一种新的架构提前退出的基础上的视觉Transformer架构,以及微调策略,显着提高早期退出分支的准确性相比,传统的方法,同时引入更少的开销。通过对图像和音频分类以及视听人群计数的广泛实验,我们表明我们的方法适用于分类和回归问题,并且适用于单模态和多模态设置。此外,我们引入了一种新的方法,在视听数据分析的早期出口内集成音频和视觉模态,可以导致更细粒度的动态推理。
2022-06-29 cs.CV cs.LG
Extreme compression of sentence-transformer ranker models: faster inference, longer battery life, and less storage on edge devices
Xayn AG(Xayn公司)
现代搜索系统使用几个大的排名模型与Transformer架构。这些模型需要大量的计算资源,并且不适合在具有有限计算资源的设备上使用。知识蒸馏是一种流行的压缩技术,可以减少这种模型的资源需求,其中一个大的教师模型将知识转移到一个小的学生模型。为了大大减少内存需求和能源消耗,我们提出了两个扩展的流行的存储器变压器蒸馏过程:生成一个最佳大小的词汇和降维的嵌入维数的教师蒸馏前。我们评估这些扩展两种不同类型的排名模型。这将导致非常压缩的学生模型,其对测试数据集的分析显示了我们提出的扩展的意义和实用性。
2022-06-29 cs.CL cs.IR cs.LG
Generating Examples From CLI Usage: Can Transformers Help?
Microsoft(微软)
现代软件的不断发展经常导致文档、教程和示例与不断变化的接口和框架不同步。依赖过时的文档和示例可能会导致程序失败或效率降低,甚至更不安全。作为回应,程序员需要定期转向网络上的其他资源,例如StackOverflow,以指导他们编写软件。我们认识到,通过使用应用于软件使用数据的机器学习,可以改善这种不方便、容易出错和昂贵的过程。在本文中,我们提出了我们的实用系统,它使用机器学习的大规模遥测数据和文档语料库,生成适当的和复杂的例子,可用于改善文档。我们讨论了基于功能和基于transformer的机器学习方法,并证明我们的系统实现了产品中使用功能的100%覆盖,在每次发布时提供最新的示例,并将软件所有者编写和编辑文档提交的PR数量减少了> 68%。我们还分享了在3年内为Azure Cloud命令行界面(Azure CLI)部署生产质量系统所获得的宝贵经验。
2022-04-27 cs.AI cs.LG cs.SE
Self-Ablating Transformers: More Interpretability, Less Sparsity
University of Groningen(格罗宁根大学);AE Studio(AE工作室);Apart Research(阿帕特研究机构)
本文提出一种自消融机制,通过动态施加 k-赢家通吃约束将可解释性直接融入 Transformer 训练,实验表明该方法促进了特征定位与神经元专门化,同时降低了整体稀疏性并保持了语言建模性能。
2025-05-01 cs.LG
Leaner Transformers: More Heads, Less Depth
Australian Institute for Machine Learning, University of Adelaide(澳大利亚机器学习研究所,阿德莱德大学);Idiap Research Institute(Idiap研究机构)
本文挑战“越大越好”观念,发现多头注意力可改善条件数,据此增加头数并减少深度,在多种视觉与语言任务上以30-50%参数削减保持准确率。
2025-05-27 cs.CV cs.LG
More for Less: Compact Convolutional Transformers Enable Robust Medical Image Classification with Limited Data
Stanford University(斯坦福大学)
本文提出利用紧凑卷积Transformer(CCT)解决医学图像分类中标注数据稀缺的问题,在仅含八类约2000张低分辨率图像的小规模数据集上实现了92.49%的准确率,证明了CCT在数据受限场景下的鲁棒性与应用潜力。
2023-07-01 cs.CV cs.LG
FlexiDiT: Your Diffusion Transformer Can Easily Generate High-Quality Samples with Less Compute
Meta GenAI;KAIST(韩国科学技术院)
FlexiDiT通过动态分配计算预算,将预训练扩散Transformer转换为灵活模型,在图像和视频生成中分别减少40%和75%的FLOPs,且不损失质量。
2025-02-27 cs.CV cs.LG
Transformers for Green Semantic Communication: Less Energy, More Semantics
School of Science and Engineering, University of Missouri-Kansas City(密苏里大学堪萨斯城分校科学与工程学院)
本文提出名为EOSL的多目标损失函数,通过在transformer模型上平衡语义信息丢失与能耗,实现最高节省90%能耗且语义相似度提升44%,为绿色语义通信架构铺路。
2024-02-19 cs.LG cs.NI
What Structural Inductive Bias Helps Transformers Reason Over Knowledge Graphs? A Study with Tabula RASA
ETH Zurich(苏黎世联邦理工学院)
通过最小化Transformer修改的消融实验,发现稀疏邻接掩码是驱动多跳推理的主要结构归纳偏置,而关系参数贡献有限。
2026-06-03 cs.AI cs.LG
Sparser is Faster and Less is More: Efficient Sparse Attention for Long-Range Transformers
ShanghaiTech University(上海科技大学);BIGAI(北京智源人工智能研究院)
针对自回归Transformer长序列处理的计算与内存瓶颈,提出结合评分网络与可微SPARSEK算子的稀疏注意力机制,实现生成阶段线性复杂度与恒定内存,性能与速度优于现有方法且易集成到预训练LLMs。
2024-06-24 cs.CL cs.LG
Mastering Chess with a Transformer Model
University of California at San Diego(加利福尼亚大学圣迭戈分校);Williams College(威廉姆斯学院)
本文提出 Chessformer,通过增强国际象棋位置表示,让 Transformer 以远低计算量超越 AlphaZero 并追平大师级智能体,还能发现传统引擎忽视的高级局面特征。
2024-10-28 cs.LG
Cuff-less Arterial Blood Pressure Waveform Synthesis from Single-site PPG using Transformer & Frequency-domain Learning
University of Lahore(拉合尔大学);Information Technology University(信息技术大学);University of Glasgow(格拉斯哥大学);Ajman University(阿治曼大学)
本文提出两种基于单部位PPG的无袖带ABP波形合成深度学习方法:Transformer模型和频域DCT线性/非线性回归模型,在UCI数据集上验证其血压估计精度满足AAMI标准,其中Transformer性能更优。
2024-06-08 cs.IT cs.LG eess.SP
The Case for Translation-Invariant Self-Attention in Transformer-Based Language Models
KTH Royal Institute of Technology(瑞典皇家理工学院)
编码位置信息的机制是基于转换器的语言模型的核心。在本文中,我们分析了现有的语言模型的位置嵌入,发现强有力的证据,翻译不变性,无论是嵌入本身和他们的自我注意的影响。翻译不变性的程度在训练过程中增加,并与模型性能呈正相关。我们的研究结果使我们提出了一种不变性自我注意(TISA),它以一种可解释的方式解释了标记之间的相对位置,而不需要传统的位置嵌入。我们的建议有几个理论上的优势,现有的位置表示方法。实验结果表明,该算法在GLUE任务上比常规ALBERT算法有了明显的改进,而位置参数的增加数量级更少。
2021-06-03 cs.AI cs.CL cs.LG
HyT-NAS: Hybrid Transformers Neural Architecture Search for Edge Devices
Ecole Nationale Supérieure d’Informatique(国立高等计算机学院);Université Polytechnique Hauts-de-France(上法兰西理工大学)
视觉Transformer使最近的基于注意力的深度学习(DL)架构在计算机视觉(CV)任务中取得了显著的成果。然而,由于需要大量的计算资源,这些架构很少在资源受限的平台上实现。目前的研究调查混合手工卷积为基础的和注意力为基础的CV任务,如图像分类和目标检测模型。在本文中,我们提出了HyT-NAS,一种高效的硬件感知神经架构搜索(HW-NAS),包括针对微型设备上的视觉任务的混合架构。HyT-NAS通过丰富搜索空间和增强搜索策略以及性能预测器来改进最先进的HW-NAS。我们的实验表明,HyT-NAS实现了类似的超卷,训练评估不到5倍。我们得到的架构优于MLPerf MobileNetV 1的6.3%的准确性提高与3.5倍的视觉唤醒词的参数少。
2023-03-28 cs.CV cs.LG
Selective Attention Improves Transformer
Google Research(谷歌研究)
本文提出一种无需参数的选择性注意力机制,通过减少对无关上下文的关注,在多种规模下提升语言建模性能,并大幅降低推理内存需求。
2025-04-24 cs.AI cs.CL cs.LG
Toward Transformer-Based Object Detection
Pinterest
Transformers已经成为自然语言处理中的主导模型,因为它们能够对大量数据进行预训练,然后通过微调转移到更小,更具体的任务。视觉Transformer是将纯Transformer模型直接应用于图像作为输入的第一次重大尝试,表明与卷积网络相比,基于transformer的架构可以在基准分类任务上取得有竞争力的结果。然而,注意力运算符的计算复杂性意味着我们仅限于低分辨率输入。对于更复杂的任务,如检测或分割,保持高输入分辨率对于确保模型能够正确识别和反映其输出中的细节至关重要。这自然提出了一个问题,即基于transformer的架构(如视觉Transformer)是否能够执行分类以外的任务。在本文中,我们确定,视觉Transformer可以作为一个骨干由一个共同的检测任务头产生竞争力的COCO结果。我们提出的模型ViT-FRCNN展示了与Transformers相关的几个已知属性,包括大的预训练容量和快速微调性能。我们还研究了对标准检测骨干的改进,包括对域外图像的卓越性能,对大型对象的更好性能,以及对非最大抑制的依赖减少。我们将ViT-FRCNN视为实现复杂视觉任务(如目标检测)的纯转换器解决方案的重要垫脚石。
2020-12-17 cs.AI cs.CV cs.LG
Sense Less, Infer More: Agentic Multimodal Transformers for Edge Medical Intelligence
Case Western Reserve University(凯斯西储大学);University of Southern California(南加州大学)
本文提出AMI框架,通过代理多模态变压器在边缘设备上实现高效医疗监测,在减少传感器使用的同时提升诊断准确性。
2026-04-12 cs.ET cs.LG
Attention-likelihood relationship in transformers
Sapienza University of Rome(罗马第一大学)
我们分析了大语言模型(LLM)如何表示上下文外的单词,研究它们对给定上下文的依赖,以捕捉它们的语义。我们的似然引导的文本扰动揭示了在基于transformer的语言模型中标记似然和注意值之间的相关性。大量的实验表明,意想不到的令牌导致模型较少关注来自自身的信息来计算它们的表示,特别是在更高层。这些发现对评估LLM在现实世界中的鲁棒性具有重要意义。完全可复制的代码库在https://github.com/Flegyas/AttentionLikelihood。
2023-03-15 cs.CL cs.LG
Looped Transformers are Better at Learning Learning Algorithms
University of Wisconsin, Madison(威斯康星大学麦迪逊分校)
本文提出循环 Transformer 架构以引入迭代特性,使其在解决数据拟合问题时,以不到 10% 的参数达到标准 Transformer 的性能,从而更有效地习得学习算法。
2024-03-16 cs.LG cs.NE
Data Efficient Any Transformer-to-Mamba Distillation via Attention Bridge
National University of Singapore(新加坡国立大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
提出CAB框架,通过注意力桥接实现Transformer到Mamba的跨架构蒸馏,支持令牌级中间监督,在有限监督下提升图像分类和语言建模性能。
2026-09-17 cs.LG
Less is More: AMBER-AFNO -- a New Benchmark for Lightweight 3D Medical Image Segmentation
Department of Physics E. Pancini, University of Naples Federico II(那不勒斯费德里科二世大学物理系);Department of Electrical Engineering and Information Technology (DIETI), University of Naples Federico II(那不勒斯费德里科二世大学电气工程与信息技术系)
本文提出AMBER-AFNO模型,通过频域token混合替代自注意力机制,实现轻量3D医学图像分割,实验表明其在Dice和HD95指标上达到SOTA性能。
2026-02-27 cs.AI cs.CV cs.LG
Hierarchical Shift Mixing -- Beyond Dense Attention in Transformers
Dept. of Electrical Engineering, Linköping University, Linköping, Sweden(电子工程系,林霍普大学);RISE Research Institutes of Sweden, Linköping, Sweden(瑞典RISE研究机构)
层次化位移混合通过分布计算token交互,实现线性时间复杂度,同时在性能上接近或超越传统softmax注意力,且减少计算成本。
2026-01-30 cs.LG
Dissecting Lottery Ticket Transformers: Structural and Behavioral Study of Sparse Neural Machine Translation
MIT(麻省理工学院)
最近对彩票假说的研究已经为NMT产生了高度稀疏的Transformers,同时保持了BLEU。然而,目前还不清楚这种修剪技术如何影响模型的学习表示。通过探测具有越来越多的低量级权重被修剪掉的Transformers,我们发现复杂的语义信息首先被降级。内部激活的分析表明,高层分歧最修剪的过程中,逐渐变得不那么复杂,比密集的同行。同时,稀疏模型的早期层开始执行更多的编码。随着稀疏度的增加,注意力机制保持显著一致。
2020-10-12 cs.CL cs.LG stat.ML
Attention Is Not All You Need: The Importance of Feedforward Networks in Transformer Models
Johns Hopkins University(约翰霍普金斯大学)
本文通过预训练实验检验Transformer中FFN的作用,证明三层FFN且减少块数的配置能以更少参数和更短时间获得更低训练损失。
2025-05-10 cs.CL cs.LG
Overcoming a Theoretical Limitation of Self-Attention
University of Notre Dame(圣母大学)
尽管Transformers对于许多任务都非常有效,但它们仍在努力处理一些令人惊讶的简单正则语言。Hahn表明,对于接受依赖于单个输入符号的语言,随着输入字符串越来越长,Transformer的分类决策变得越来越不自信(即,交叉熵接近每个字符串1位)。我们使用两种语言来研究这种限制:PARITY,一种是奇数个1的位串的语言,以及FIRST,一种是以1开头的位串的语言。我们展示了三种方法来克服哈恩引理所提出的限制。首先,我们通过构建一个Transformer来解决一个悬而未决的问题,该transformer能够以完美的准确度识别PARITY,对于FIRST也是如此。其次,我们使用层归一化来使两个模型的交叉熵任意接近于零。第三,当Transformers需要关注单个位置时,如FIRST,我们发现它们无法泛化到更长的字符串;我们提供了一个简单的补救方法来解决这个问题,也提高了机器翻译中的长度泛化。
2022-02-24 cs.CL cs.LG
Low Power Vision Transformer Accelerator with Hardware-Aware Pruning and Optimized Dataflow
Institute of Electronics, National Yang Ming Chiao Tung University(电子研究所,阳明交通大学)
本文提出一种低功耗视觉变换器加速器,通过算法-硬件协同设计,利用硬件友好的动态令牌剪枝和动态FFN2剪枝,减少运算和权重,提升能效与面积效率。
2025-10-16 cs.AR cs.LG
DRanker: A Transformer-Based Multi-Task Ranking Model for the Disney+ Homepage
The Walt Disney Company(华特迪士尼公司)
该研究提出基于Transformer的多任务排序模型DRanker,用于Disney+主页个性化推荐,经评估其简单设计更优,部署后提升核心互动指标与日活跃用户,并分享规模化排序系统的实用经验。
2026-10-14 cs.LG
Less Is More: Generating Time Series with LLaMA-Style Autoregression in Simple Factorized Latent Spaces
College of Information Science and Electronic Engineering, Zhejiang University(浙江大学信息科学与电子工程学院);Microsoft Research Asia(微软亚洲研究院)
本文提出FAR-TS框架,通过解耦分解与LLaMA风格自回归Transformer在离散量化潜在空间中生成任意长度多变量时间序列,在保持跨通道相关性的同时实现比扩散模型快数个数量级的生成速度。
2025-11-07 cs.LG
FLARE: FP-Less PTQ and Low-ENOB ADC Based AMS-PiM for Error-Resilient, Fast, and Efficient Transformer Acceleration
KAIST(韩国科学技术院);NYU Abu Dhabi(纽约大学阿布扎比分校);Kyung Hee University(庆熙大学)
本文提出 AMS-PiM 架构 RAP,通过消除 DQ-Q 过程、无 FPU 非线性处理和低 ENOB ADC 稀疏矩阵向量乘法,在保持数值稳定性的同时提升 Transformer 加速的容错性、能效与速度。
2024-11-22 cs.LG cs.SY eess.IV
Transformer Dissection: A Unified Understanding of Transformer's Attention via the Lens of Kernel
Carnegie Mellon University(卡内基梅隆大学);Kyoto University(京都大学);RIKEN AIP(理化学研究所人工智能研究中心)
Transformer是一个功能强大的架构,可以在各种序列学习任务上实现卓越的性能,包括神经机器翻译、语言理解和序列预测。Transformer的核心是注意力机制,它同时处理流中的所有输入。在本文中,我们提出了一个新的配方的注意通过镜头的内核。更准确地说,我们意识到注意力可以被看作是对输入应用内核平滑器,内核得分是输入之间的相似性。这个新的公式为我们提供了一个更好的方法来理解Transformer注意力的各个组成部分,例如整合位置嵌入的更好方法。我们基于内核的公式化的另一个重要优点是,它为Transformer的注意力组成的更大空间铺平了道路。作为一个例子,我们提出了一个新的变形Transformer的注意力模型的输入作为一个产品的对称内核。这种方法实现了竞争力的性能,以更少的计算量的最先进的模型的当前状态。在我们的实验中,我们实证研究了两个广泛使用的任务:神经机器翻译和序列预测不同的内核构建策略。
2019-11-11 cs.LG stat.ML
On the Effect of Pre-training for Transformer in Different Modality on Offline Reinforcement Learning
我们实证研究了对不同模式(如语言和视觉)的数据进行预训练如何影响基于Transformer的模型对Mujoco离线强化学习任务的微调。内部表示的分析表明,预训练的Transformers在预训练前后获得了很大不同的表示,但在微调中获得的数据信息比随机初始化的少。仔细观察预训练的Transformers的参数变化,可以发现它们的参数变化不大,并且用图像数据预训练的模型的不良性能可能部分来自大梯度和梯度裁剪。为了研究使用语言数据预训练的Transformer利用了哪些信息,我们在没有提供上下文的情况下对该模型进行了微调,发现即使没有上下文信息,该模型也能有效地学习。后续的分析支持了这一假设,即用语言数据进行预训练很可能使Transformer获得类似上下文的信息,并利用它来解决下游任务。
2022-11-17 cs.LG stat.ML
Radio Foundation Models: Pre-training Transformers for 5G-based Indoor Localization
Fraunhofer Institute for Integrated Circuits (IIS)(弗劳恩霍夫集成电路研究所);Faculty of Engineering, Friedrich-Alexander-Universität Erlangen-Nürnberg(弗里德里希-亚历山大-埃尔兰根-纽伦堡大学工程学院)
本文提出一种自监督学习框架,在实时采集的5G信道测量上预训练通用Transformer,通过随机掩码与重建任务隐式学习传播环境时空模式,使室内定位在达到最先进精度的同时将参考数据需求降低十倍。
2024-10-01 cs.LG eess.SP
Differential Transformer
Microsoft Research(微软研究院);Tsinghua University(清华大学)
针对Transformer易将注意力过度分配给无关上下文的问题,提出Diff Transformer,通过计算两个独立softmax注意力图的差值来消除噪声并放大相关上下文注意力,在多项任务中显著提升性能并增强鲁棒性。
2025-04-07 cs.CL cs.LG
Multi-head or Single-head? An Empirical Comparison for Transformer Training
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Google Research(谷歌研究院)
多头注意力在最近Transformer模型的成功中起着至关重要的作用,这导致了在各种应用中相对于传统注意力的一致性能改进。普遍的看法是,这种有效性源于共同参加多个职位的能力。在本文中,我们首先证明,共同出席多个位置是不是一个独特的特点,多头注意力,作为多层次的单头注意也出席多个位置,更有效。然后,我们认为多头注意力的主要优点是训练的稳定性,因为它具有较少的层数比单头注意,当出席相同数量的位置。例如,24层16头Transformer(BERT-large)和384层单头Transformer的总关注头数相同,模型尺寸大致相同,而多头的要明显浅一些。同时,我们表明,随着深度学习的最新进展,我们可以成功地稳定384层Transformer的训练。由于训练难度不再是瓶颈,因此更深的单头Transformer实现了一致的性能改进,而无需调整超参数。
2021-06-17 cs.CL cs.LG
An Impartial Take to the CNN vs Transformer Robustness Contest
University of Oxford(牛津大学);Five AI Ltd.(Five AI有限公司)
随着Transformers在计算机视觉中的普及,一些研究试图确定它们是否可以对分布偏移更鲁棒,并提供比卷积神经网络(CNN)更好的不确定性估计。几乎一致的结论是,他们是,它往往是或多或少地明确指出,这种所谓的优势的原因是归因于自我注意力机制。在本文中,我们进行了广泛的实证分析,表明最近最先进的CNN(特别是ConvNeXt)可以与当前最先进的Transformers一样强大和可靠,甚至有时甚至更强。然而,没有明确的赢家。因此,尽管很容易说明一个体系结构家族比另一个具有明确的优越性,但它们似乎在各种任务上都有类似的非凡性能,同时也存在类似的弱点,如纹理,背景和简单性偏见。
2022-07-22 cs.CV cs.LG
Asca: less audio data is more insightful
Harbin Engineering University(哈尔滨工程大学);Modeling and Emulation in E-Government National Engineering Laboratory(电子政务建模仿真国家工程实验室)
针对专业音频识别中样本受限的问题,本文提出基于CoAtNet的ASCA混合架构,结合数据增强与正则化,在BirdCLEF2023和AudioSet上显著超越现有方法并具备跨任务泛化能力。
2023-09-23 cs.LG cs.SD eess.AS
Choppy: Cut Transformer For Ranked List Truncation
Google Research(谷歌研究院)
信息检索中的工作传统上集中在排序和相关性上:给定一个查询,返回一些按与用户的相关性排序的结果。然而,确定返回多少结果的问题,即如何最佳地截断排名的结果列表,尽管在一系列应用中至关重要,但受到的关注较少。这种截断是在结果的总体相关性或有用性与处理更多结果的用户成本之间的平衡行为。在这项工作中,我们提出了Choppy,一个基于广泛成功的Transformer架构的无截断模型,排名列表截断问题。该模型只需要结果的相关性分数,使用强大的多头注意力机制来直接优化任何用户定义的IR度量。我们展示了Choppy对最近最先进方法的改进。
2020-04-26 cs.CL cs.IR cs.LG