Training Dynamics of Transformers to Recognize Word Co-occurrence via Gradient Flow Analysis
Lawrence Livermore National Laboratory (LLNL)(劳伦斯利弗莫尔国家实验室);Princeton University(普林斯顿大学);UT Austin(德克萨斯大学奥斯汀分校);OSU(俄亥俄州立大学)
本文研究了浅层 Transformer 在词共现识别任务上的训练动力学,通过耦合动力系统框架分析了从随机初始化同时训练注意力矩阵和 MLP 层的梯度流,发现训练自然分为两阶段并证明了梯度自动平衡性质,最终实现接近最小的训练损失。
2024-10-12 cs.CL cs.LG
SAMSA: Efficient Transformer for Many Data Modalities
FPT Software AI Center(FPT软件AI中心);University of Alabama at Birmingham(阿拉巴马大学伯明翰分校)
针对现有高效Transformer依赖特定数据模态构造、通用性不足的问题,该研究提出基于可微分无放回采样的线性复杂度自注意力机制SAMSA,在多模态基准上实现了兼具高性能与快推理的效果。
2024-08-18 cs.LG
An Impartial Take to the CNN vs Transformer Robustness Contest
University of Oxford(牛津大学);Five AI Ltd.(Five AI有限公司)
随着Transformers在计算机视觉中的普及,一些研究试图确定它们是否可以对分布偏移更鲁棒,并提供比卷积神经网络(CNN)更好的不确定性估计。几乎一致的结论是,他们是,它往往是或多或少地明确指出,这种所谓的优势的原因是归因于自我注意力机制。在本文中,我们进行了广泛的实证分析,表明最近最先进的CNN(特别是ConvNeXt)可以与当前最先进的Transformers一样强大和可靠,甚至有时甚至更强。然而,没有明确的赢家。因此,尽管很容易说明一个体系结构家族比另一个具有明确的优越性,但它们似乎在各种任务上都有类似的非凡性能,同时也存在类似的弱点,如纹理,背景和简单性偏见。
2022-07-22 cs.CV cs.LG
Transformer Architectures as Complete Bayes Processes: A Formal Proof in the Measure-Theoretic Kernel Framework
Department of Computer Science and Engineering, SUSTech University(计算机科学与工程系,四川大学)
本文在测度论核框架下形式化证明,当Transformer内部更新机制满足贝叶斯联合分布条件时,其前向计算等价于精确的贝叶斯后验更新。
2026-06-29 cs.AI cs.LG
The Unreasonable Effectiveness of Transformer Language Models in Grammatical Error Correction
Grammarly(格拉默利)
最近关于语法错误校正(GEC)的工作强调了语言建模的重要性,因为通过比较所提出的编辑的概率,当然可以实现良好的性能。与此同时,语言建模的进步已经成功地生成了语言输出,这与人类生成的文本几乎没有区别。在本文中,我们通过探索更复杂的语言模型在GEC中的潜力来提高赌注,并就其优点和缺点提供一些关键见解。我们表明,与其他NLP任务的最新结果一致,Transformer架构实现了始终如一的高性能,并为未来的机器学习模型提供了有竞争力的基线。
2019-06-04 cs.CL cs.LG cs.NE
PatchBlender: A Motion Prior for Video Transformers
Mila(米拉研究所);Université de Montréal(蒙特利尔大学);Meta AI;FAIR(基础人工智能研究团队);Apple Machine Learning Research(苹果机器学习研究院);Microsoft Research(微软研究院);Polytechnique Montréal(蒙特利尔理工学院)
Transformers已经成为计算机视觉领域的主导架构之一。然而,当将这样的架构应用于视频数据时,仍然存在若干挑战。最值得注意的是,这些模型难以有效地对视频数据的时间模式进行建模。直接针对这个问题,我们引入PatchBlender,一个可学习的混合函数,它在潜在空间的时间维度上对补丁嵌入进行操作。我们表明,我们的方法是成功的,使视觉Transformer编码的视频数据的时间分量。在Something-Something v2和MOVi-A上,我们证明了我们的方法提高了视频Transformers的基线性能。PatchBlender的优点是与几乎任何Transformer架构兼容,并且由于它是可学习的,因此模型可以自适应地打开或关闭先验。它也是非常轻量级的计算明智的,0.005%的GFLOPs的ViT-B。
2023-02-10 cs.AI cs.CV cs.LG
Stronger Transformers for Neural Multi-Hop Question Generation
Mila - Quebec AI Institute(米拉-魁北克人工智能研究所);McGill University(麦吉尔大学);IBM Thomas J. Watson Research Center(IBM托马斯·J·沃森研究中心);ETH Zurich(苏黎世联邦理工学院)
以前的工作自动化问题生成几乎完全集中在生成简单的问题,其答案可以从一个单一的文档中提取。然而,人们越来越感兴趣的是开发系统,能够更复杂的多跳问题的生成,其中回答的问题需要推理多个文件。在这项工作中,我们介绍了一系列强Transformer模型的多跳问题生成,包括图形增强的Transformer,利用文本中的实体之间的关系。虽然以前的工作强调了基于图形的模型的重要性,我们表明,我们可以大大超过5个BLEU点使用标准的Transformer架构的最先进的。我们进一步证明,基于图的增强可以在此基础上提供免费的改进。有趣的是,我们发现几个重要的因素-例如包含辅助对比目标和数据过滤可能会对性能产生更大的影响。我们希望,我们更强有力的基线和分析为这一领域今后的工作提供建设性的基础。
2020-10-22 cs.CL cs.LG
Understanding Robustness of Transformers for Image Classification
Google Research(谷歌研究院)
深度卷积神经网络(CNN)长期以来一直是计算机视觉任务的首选架构。最近,像视觉Transformer(ViT)这样基于Transformer的架构已经在图像分类方面与ResNets相匹配,甚至超过了ResNets。然而,Transformer体系结构的细节--比如使用非重叠补丁--让人怀疑这些网络是否同样健壮。在本文中,我们对ViT模型鲁棒性的各种不同度量进行了广泛的研究,并将研究结果与ResNet基线进行了比较。我们调查的鲁棒性输入扰动以及模型扰动的鲁棒性。我们发现,当用足够多的数据进行预训练时,ViT模型在广泛的扰动下至少与ResNet模型一样鲁棒。我们还发现,Transformers是强大的删除几乎任何单一的层,虽然从后面的层激活是高度相关的彼此,他们仍然发挥了重要作用的分类。
2021-10-08 cs.AI cs.CV cs.LG
Humor Detection: A Transformer Gets the Last Laugh
Brigham Young University(杨百翰大学);Computer Science Department(计算机科学系)
许多以前的工作已经做了试图识别幽默的文本。在本文中,我们提出了一个新的任务:评估一个笑话是否是幽默的扩展能力。我们提出了一种新的方法来解决这个问题,通过建立一个模型,学习识别幽默笑话的基础上从Reddit页面收集的评级,包括近16,000个标记的实例。使用这些评级,以确定幽默的水平,然后我们采用了一个Transformer架构的优势,从句子上下文的学习。我们证明了这种方法的有效性,并显示出与人类表现相当的结果。我们进一步展示了我们的模型在幽默识别问题上的增强能力,例如先前创建的短笑话和双关语数据集。这些实验表明,该方法优于之前在这些任务上所做的所有工作,Puns数据集的F度量为93.1%,Short Jokes数据集为98.6%。
2019-08-31 cs.CL cs.LG
Sampling Foundational Transformer: A Theoretical Perspective
FPT Software AI Center(FPT软件AI中心);University of Alabama at Birmingham(阿拉巴马大学伯明翰分校)
针对Transformer二次复杂度高、需针对不同模态定制构建的问题,提出可适配多模态与多约束的Sampling Foundational Transformer,通过上下文感知无放回采样和伪凸公式提升效率,在多基准上取得有竞争力的结果且推理更快。
2024-08-17 cs.CV cs.LG
Fast RoPE Attention: Combining the Polynomial Method and Fast Fourier Transform
Columbia University(哥伦比亚大学);University of California, Berkeley(加州大学伯克利分校)
针对RoPE使注意力难以近似线性计算的问题,本文提出融合多项式方法与快速傅里叶变换的新算法,在有界元素情形下实现RoPE注意力的近似线性时间计算。
2025-05-17 cs.DS cs.LG
Transformers Learn Nonlinear Features In Context: Nonconvex Mean-field Dynamics on the Attention Landscape
University of Tokyo(东京大学);RIKEN(理化学研究所)
研究由MLP和线性注意力层组成的Transformer的优化,证明在平均场极限下参数分布的无穷维非凸损失景观变得温和,并首次对一般平均场动力学进行鞍点分析。
2024-06-02 cs.LG stat.ML
Beyond Black-Box Predictions: Identifying Marginal Feature Effects in Tabular Transformer Networks
Clausthal University of Technology(克劳斯塔尔工业大学)
本文提出一种改进的表格Transformer网络,通过理论论证和消融实验证明其能在复杂特征交互中准确识别边际特征效应,并在保持可理解性的同时达到黑箱模型的预测性能。
2025-04-11 cs.LG stat.ML
On Exact Bit-level Reversible Transformers Without Changing Architectures
University of Exeter(埃克塞特大学);NVIDIA(英伟达);Victoria University of Wellington(惠灵顿维多利亚大学)
本文提出BDIA-transformer,在不改动标准Transformer推理架构的前提下,结合双向积分近似与激活量化实现精确比特级可逆,既降低训练内存消耗,又通过集成正则化提升图像分类和翻译任务的验证性能。
2024-10-05 cs.AI cs.LG
How Redundant Is the Transformer Stack in Speech Representation Models?
Technical University of Denmark(丹麦技术大学)
该研究针对基于Transformer的自监督语音表示模型,通过三种相似度指标分析发现层间存在显著冗余,验证了无需后训练的剪枝及知识蒸馏方法可大幅缩减模型规模与推理时间且性能损失极小。
2025-01-17 cs.CL cs.LG cs.SD
Seg-MoE: Multi-Resolution Segment-wise Mixture-of-Experts for Time Series Forecasting Transformers
本文提出Seg-MoE,通过分段式混合专家机制提升时间序列预测的准确性,验证了分段路由在捕捉长期时间动态中的有效性。
2026-03-14 cs.AI cs.LG
Peri-LN: Revisiting Normalization Layer in the Transformer Architecture
NAVER Cloud;NAVER AI Lab
本文提出Peri-LN归一化层放置策略,通过理论分析和高达3.2B参数实验证明其相比Pre-LN和Post-LN具有更均衡的方差增长、更平稳的梯度流动和更稳定的收敛表现。
2025-06-06 cs.AI cs.CL cs.LG
PermuteFormer: Efficient Relative Position Encoding for Long Sequences
Peking University(北京大学)
Transformer,Performer的最新变体使用线性注意力机制将Transformer扩展到更长的序列。然而,它与相对位置编码不兼容,相对位置编码优于绝对位置编码。在本文中,我们讨论了可能的方式来添加相对位置编码的表演者。基于分析,我们提出了PermuteFormer,一个基于性能的模型,具有相对位置编码,在长序列上线性缩放。PermuteFormer对查询和键应用位置相关的转换,将位置信息编码到attention模块中。这种转换是精心制作的,因此自我注意的最终输出不受标记的绝对位置的影响。PermuteFormer通过设计引入了可以忽略的计算开销,其运行速度与Performer一样快。我们评估PermuteFormer的长距离竞技场,长序列的数据集,以及WikiText-103,语言建模数据集。实验结果表明,PermuteFormer在几乎没有计算开销的情况下均匀地提高了Performer的性能,并且在大多数任务上的性能优于vanilla Transformer。
2021-09-08 cs.CL cs.LG
Fundamental Limitations on Subquadratic Alternatives to Transformers
Columbia University(哥伦比亚大学)
本文证明,在细粒度复杂性理论猜想下,任何亚二次时间的Transformer替代方案(如Mamba)都无法执行文档相似性任务,而Transformer可完成该任务,其二次时间不可避免。
2025-05-23 cs.CC cs.CL cs.LG
Pre-RMSNorm and Pre-CRMSNorm Transformers: Equivalent and Efficient Pre-LN Transformers
Google(谷歌);Arizona State University(亚利桑那州立大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文通过移除Pre-LN Transformer主分支中的冗余均值信息,将LayerNorm简化为RMSNorm,并提出压缩RMSNorm及Pre-CRMSNorm架构,证明其与Pre-LN在训练和推理中等价,可在保持功能不变的同时降低1%-10%的训练与推理时间。
2023-10-26 cs.AI cs.LG cs.NE
Neural Sum-of-Squares: Certifying the Nonnegativity of Polynomials with Transformers
本文提出首个学习增强算法,用Transformer预测近乎最小的单项式基以加速平方和(SOS)非负性证明,在200多个基准上实现超100倍加速,并能求解竞争方法失败的实例。
2025-10-15 cs.AI cs.LG
Quantum Vision Transformers for Quark-Gluon Classification
Polytechnic University of Catalonia(加泰罗尼亚理工大学);Indian Institute of Technology Bhilai(比莱印度理工学院);University of Kansas(堪萨斯大学);University of Florida(佛罗里达大学);University of Alabama(阿拉巴马大学);Software Engineering Institute, Carnegie Mellon University(卡内基梅隆大学软件工程研究所)
针对高亮度大型强子对撞机数据分析的计算效率与资源约束问题,提出集成变分量子线路的混合量子-经典视觉Transformer,用于夸克与胶子喷注分类,在参数量相近时性能接近经典架构。
2024-05-16 cs.LG hep-ph quant-ph
Probing self-attention in self-supervised speech models for cross-linguistic differences
University of Maryland, College Park(马里兰大学帕克分校)
本文以小型自监督语音Transformer模型TERA为对象,探究自注意力机制在不同语言中的差异,发现注意力头模式多样且与语言无关,并证明模型能学到音系信息,且主要依赖对角注意力头进行音素分类。
2024-09-04 cs.CL cs.LG
Instantaneous Grammatical Error Correction with Shallow Aggressive Decoding
Peking University(北京大学);Microsoft Research Asia(微软亚洲研究院)
在本文中,我们提出了浅侵略解码(SAD),以提高即时语法错误纠正(GEC)的Transformer的在线推理效率。SAD通过两个创新优化了GEC的在线推理效率:1)它并行地积极解码尽可能多的令牌,而不是总是在每个步骤中仅解码一个令牌,以提高计算并行性; 2)它使用浅解码器而不是具有平衡的编码器-解码器深度的传统Transformer架构,以降低推理期间的计算成本。在中英文GEC基准测试中的实验表明,积极解码可以产生与贪心解码相同的预测,但具有显着的在线推理速度。它与浅层解码器的结合可以在不损失质量的情况下提供比强大的Transformer基线更高的在线推理加速。我们的方法不仅允许单个模型在英语GEC基准测试中实现最先进的结果:CoNLL-14中的66.4 F0.5和ESTA-19测试集中的72.9 F0.5,在线推理速度比Transformer-big模型快近10倍,而且它很容易适应其他语言。我们的代码可在https://github.com/AutoTemp/Shallow-Aggressive-Decoding上获得。
2021-06-09 cs.CL cs.LG
Decoding Looped Transformers Better for (Almost) Free
Apple(苹果公司)
本文提出LoopCD,一种无需训练的对比解码框架,利用循环Transformer的中间状态作为引导信号,在减少推理计算的同时提升解码质量,并支持循环次数减半。
2026-10-02 cs.LG
RoPE Attention Can Be Trained in Almost Linear Time
Wyoming Seminary(怀俄明神学院);University of Arizona(亚利桑那大学);The University of Hong Kong(香港大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Simons Institute for the Theory of Computing, University of California, Berkeley(计算理论学院,加州大学伯克利分校)
本文提出了一种在RoPE注意力中基于有界条目的几乎线性时间反向计算算法,并证明了有界条目条件对于亚二次性能的必要性。
2026-01-25 cs.AI cs.CC cs.CL
To Softmax, or not to Softmax: that is the question when applying Active Learning for Transformer Models
Technische Universität Dresden(德累斯顿工业大学);Hochschule für Technik und Wirtschaft Dresden(德累斯顿工程与经济应用科学大学)
本文研究 Transformer 模型主动学习中 softmax 置信度不可靠的问题,在七个数据集上比较八种替代方法,发现只标注离群点会降低性能,并提出系统性忽略离群样本的启发式策略以改进多种主动学习方法。
2022-10-06 cs.AI cs.CL cs.DB
Transformer-based interpretable multi-modal data fusion for skin lesion classification
Technical University of Munich(慕尼黑工业大学);Munich Institute of Biomedical Engineering(慕尼黑生物医学工程研究所);University Hospital, LMU Munich(慕尼黑大学附属医院)
针对皮肤病变分类中多模态数据融合与可解释性不足的问题,提出基于Transformer注意力机制的单阶段融合方法,在图像和患者数据丰富环境中超越现有架构,并原生支持图像与元数据领域的可解释性。
2023-08-31 cs.CV cs.LG eess.IV
A Unified View of Long-Sequence Models towards Modeling Million-Scale Dependencies
ETH Zurich(苏黎世联邦理工学院)
自从它们的概念,Transformers已经接管了传统的序列模型在许多任务,如NLP,图像分类,视频/音频处理,其快速训练和优越的性能。大部分的优点是由于位置编码和多头注意力。然而,Transformers在学习长距离依赖关系方面存在不足,这主要是由于在时间和空间方面,随着上下文长度而缩放的二次复杂度。因此,在过去的五年里,已经提出了无数的方法来提高Transformers的效率。在这项工作中,我们首先后退一步,研究和比较现有的解决方案,以长序列建模的纯数学公式。具体来说,我们使用统一的模板来总结它们,因为它们具有令牌混合的共享性质。通过基准测试,我们证明了长上下文长度确实会产生更好的性能,尽管依赖于应用程序,传统的Transformer模型在利用长距离依赖关系方面存在不足。接下来,受新兴的巨大容量的稀疏模型的启发,我们提出了一个机器学习系统来处理百万级的依赖关系。作为一个概念的证明,我们评估该系统的一个重要组成部分,即分布式多头注意力的性能。我们表明,我们的算法可以扩大注意力计算几乎$40\times$使用四个GeForce RTX 4090 GPU,相比香草多头注意力机制。我们相信这项研究是朝着建立百万级依赖关系模型迈出的重要一步。
2023-02-16 cs.AI cs.LG
Temporal Collaborative Ranking Via Personalized Transformer
University of California, Davis(加州大学戴维斯分校);University of California, Los Angles(加州大学洛杉矶分校)
协同排名问题一直是一个重要的开放式研究问题,因为大多数推荐问题可以自然地表示为排名问题。虽然大部分的协同排名方法假设静态的排名数据,时间信息,以提高排名性能的重要性越来越明显。深度学习的最新进展,特别是除了在自然语言处理中广泛使用的RNN和CNN之外,还发现了各种注意力机制和更新的架构,使我们能够更好地利用每个用户参与的项目的时间排序。特别是,SASRec模型受到自然语言处理中流行的Transformer模型的启发,在时间协作排名问题上取得了最先进的结果,并且与早期的CNN相比,速度提高了10倍以上/基于RNN的方法。然而,SASRec本质上是一个非个性化的模型,不包括个性化的用户嵌入。为了克服这一限制,我们提出了一个个性化的Transformer(SSE-PT)模型,在5个真实世界的数据集上,NDCG@10方面的性能比SASRec高出近5%。此外,在检查了一些随机用户的参与历史和相应的注意力热图在推理阶段使用,我们发现我们的模型不仅是更可解释的,而且能够集中在最近的参与模式为每个用户。此外,我们的SSE-PT模型稍加修改,我们称之为SSE-PT++,可以处理极长的序列,并在训练速度相当的情况下在排名结果方面优于SASRec,在性能和速度要求之间取得平衡。代码和数据在https://github.com/wuliwei9278/SSE-PT上开源。
2019-08-15 cs.IR cs.LG stat.ML
Conv-Basis: A New Paradigm for Efficient Attention Inference and Gradient Computation in Transformers
The University of Hong Kong(香港大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校);The Hong Kong University of Science and Technology(香港科技大学);The Simons Institute for the Theory of Computing at the University of California, Berkeley(加州大学伯克利分校西蒙斯理论计算研究所);Rice University(莱斯大学)
本文提出Conv-Basis新范式,利用注意力矩阵的类卷积结构,通过快速傅里叶变换将近似注意力推理与梯度计算的时间复杂度降至近乎线性,有效解决了长上下文Transformer的二次计算成本问题。
2024-10-16 cs.AI cs.LG
Mamba: Linear-Time Sequence Modeling with Selective State Spaces
Carnegie Mellon University(卡内基梅隆大学);Princeton University(普林斯顿大学)
针对 Transformer 在长序列上的计算低效问题,提出基于选择性状态空间的 Mamba 架构,通过输入依赖的参数实现内容推理,在多模态任务上取得最优,且推理更快、序列扩展呈线性。
2024-05-31 cs.AI cs.LG
Scan and Snap: Understanding Training Dynamics and Token Composition in 1-layer Transformer
Meta AI (FAIR)(Meta AI(基础人工智能研究));University of Washington(华盛顿大学);Carnegie Mellon University(卡内基梅隆大学);Zhejiang University(浙江大学)
本文严格分析了单层 Transformer 在下一词元预测中的 SGD 训练动态,证明自注意力表现为从均匀到聚焦的判别式扫描算法,并揭示其受学习率控制的相变导致词元组合趋于固定的“扫描与定格”机制。
2023-10-30 cs.AI cs.CL cs.LG
RPT: Relational Pre-trained Transformer Is Almost All You Need towards Democratizing Data Preparation
QCRI, HBKU, Qatar(卡塔尔计算研究所,哈马德·本·哈利法大学);Renmin University, China(中国人民大学);Tsinghua University, China(清华大学);CSAIL, MIT, USA(麻省理工学院计算机科学与人工智能实验室)
人工智能能否帮助自动化人类容易但计算机难以完成的数据准备任务,这些任务会给数据科学家,从业者和人群工作者带来负担?我们通过介绍RPT来回答这个问题,RPT是一个用于元组到X模型的去噪自动编码器(X可以是元组,令牌,标签,JSON等)。RPT通过破坏输入元组然后学习模型以重建原始元组来预先训练元组到元组模型。它采用了一种基于transformer的神经翻译架构,由一个双向编码器(类似于BERT)和一个从左到右的自回归解码器(类似于GPT)组成,从而使BERT和GPT都得到了推广。预先训练的RPT已经可以支持几个常见的数据准备任务,如数据清理,自动完成和模式匹配。更好的是,RPT可以在广泛的数据准备任务上进行微调,例如值规范化,数据转换,数据注释等。为了补充RPT,我们还讨论了几种有吸引力的技术,例如用于实体解析的协作训练和少样本学习,以及用于信息抽取的少样本学习和NLP问答。此外,我们确定了一系列的研究机会,以推进数据准备领域。
2021-03-31 cs.DB cs.LG
What is my math transformer doing? -- Three results on interpretability and generalization
Meta AI
本文研究了故障情况下和分布外的行为训练的Transformers器矩阵求逆和特征值分解。我表明,不正确的模型预测仍然保留深的数学性质的解决方案(例如正确的特征值,单位范数的特征向量),几乎所有的模型故障可以归因于,并预测,属性的问题或解决方案。这表明,当有疑问时,数学Transformers不会产生荒谬的解决方案(正如有时提出的那样),而是保持“大致正确”。我还表明,精心选择训练数据集可以加速训练,同时允许模型从其训练分布中泛化,使Transformers“仅仅插值”的想法无效。
2022-10-31 cs.AI cs.LG
Attention Enables Zero Approximation Error
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));City University of Hong Kong(香港城市大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
深度学习模型已经广泛应用于日常生活的各个方面。许多基于深度学习结构的变体模型已经取得了更好的性能。基于注意力的架构在深度学习结构中几乎无处不在。特别是在图像分类任务中,Transformer模型现在已经击败了卷积神经网络,成为使用最广泛的工具。然而,基于注意力的模型的理论特性很少被考虑。在这项工作中,我们表明,通过适当的调整,单头自注意Transformer具有固定数量的Transformer编码器块和自由参数,能够生成任何所需的多项式的输入没有错误。Transformer编码器块的数量与目标多项式的次数相同。更令人兴奋的是,我们发现这个模型中的这些Transformer编码器块不需要训练。作为一个直接的结果,我们表明,单头自注意Transformer与自由参数的数量增加是普遍的。这些令人惊讶的理论结果清楚地解释了Transformer模型的出色性能,并可能在实际应用中揭示未来的修改。我们还提供了一些实验来验证我们的理论结果。
2022-02-24 cs.LG
Memory-efficient Stochastic methods for Memory-based Transformers
Indian Institute of Technology Madras(印度理工学院马德拉斯分校)
针对记忆型Transformer训练内存大、效率低的问题,提出两阶段训练与正则化技术,构建Skip Cross-head TransformerXL,在字符级任务持平参数、单词级任务少20%参数下超越基线,且无需额外内存,正则化使BERT在GLUE任务标准差降约30%。
2023-11-14 cs.CL cs.LG
Training Tensor Attention Efficiently: From Cubic to Almost Linear Time
Department of XXX, University of YYY, Location, Country(YYY大学XXX系);School of ZZZ, Institute of WWW, Location, Country(WWW研究所ZZZ学院)
本研究证明张量注意力训练的反向梯度可在几乎线性时间内计算,为高效高阶transformers训练提供了理论基础。
2026-01-25 cs.AI cs.CL cs.LG
PolyViT: Co-training Vision Transformers on Images, Videos and Audio
University of Cambridge(剑桥大学);Google Research(谷歌研究院);Alan Turing Institute(阿兰·图灵研究所)
我们能否训练一个能够处理多个模态和数据集的单个Transformer模型,同时共享几乎所有可学习的参数?我们提出了PolyViT,一个在图像,音频和视频上训练的模型,它回答了这个问题。通过在单个模态上共同训练不同的任务,我们能够提高每个任务的准确性,并在5个标准视频和音频分类数据集上实现最先进的结果。在多个模态和任务上共同训练PolyViT,可以产生一个参数效率更高的模型,并学习跨多个领域的泛化表示。此外,我们还证明了协同训练简单实用,因为我们不需要为每个数据集组合调整超参数,而是可以简单地调整标准的单任务训练。
2021-11-25 cs.CV cs.LG
Training Transformers for KV Cache Compressibility
University of Oxford(牛津大学);Technion – Israel Institute of Technology(技术ion理工学院);AITHYRA;NVIDIA
本文提出KV-CAT训练方法,通过训练时的KV稀疏化策略,引导模型学习可压缩的表示,提升下游压缩方法的质量-预算权衡。
2026-05-12 cs.LG
Reducing Activation Recomputation in Large Transformer Models
NVIDIA(英伟达)
训练大型Transformer模型是现代AI最重要的计算挑战之一。在本文中,我们展示了如何通过减少激活重新计算来显著加速大型Transformer模型的训练。激活重新计算通常用于解决记忆容量限制。而不是存储反向传播的激活,它们传统上被重新计算,这节省了内存,但增加了冗余计算。在这项工作中,我们表明这种冗余计算是不必要的,因为我们可以充分减少内存消耗没有它。我们提出了两个新的,但非常简单的技术:序列并行和选择性激活重新计算。结合张量并行,这些技术几乎消除了重新计算激活的需要。我们评估我们的方法语言模型高达一万亿参数的规模,并表明,我们的方法减少激活内存的5倍,同时减少执行时间开销从激活重新计算超过90%。例如,当在2240个NVIDIA A100 GPU上训练530 B参数GPT-3样式模型时,我们实现了54.2%的模型触发器利用率,比使用重新计算实现的42.1%快29%。我们的实现将在Megatron-LM和NeMo-Megatron中提供。
2022-05-10 cs.CL cs.LG
Data-Efficient Training of CNNs and Transformers with Coresets: A Stability Perspective
Transmute AI Lab(Transmute AI实验室);UiT The Arctic University of Norway(挪威北极大学UiT);Immersal(Immersal公司)
核心集选择是减少CNN训练时间的最有效方法之一,然而,在核心集大小变化以及数据集和模型选择的情况下,所得模型的行为方式有限。此外,考虑到最近的范式转移到变压器为基础的模型,它仍然是一个悬而未决的问题,如何coreset选择会影响他们的表现。有几个类似的有趣的问题,需要回答广泛接受的核心选择方法,本文试图回答其中的一些。我们提出了一个系统的基准测试设置,并对CNN和Transformers的不同核心选择方法进行了严格的比较。我们的研究表明,在某些情况下,随机选择的子集是更强大和稳定的SOTA选择方法相比。我们表明,传统的概念,均匀的子集抽样的各种类别的数据是不合适的选择。相反,应该根据每个类的数据分布的复杂性自适应地选择样本。Transformers通常在大型数据集上进行预训练,并且我们表明,对于某些目标数据集,即使在非常小的核心集大小下,它也有助于保持其性能稳定。我们进一步表明,当没有进行预训练时,或者当预训练的Transformer模型与非自然图像(例如医疗数据)一起使用时,即使在非常小的核心集大小下,CNN也倾向于比Transformers更好地泛化。最后,我们证明了在没有正确的预训练的情况下,CNN更善于学习图像中空间距离较远的对象之间的语义一致性,并且在几乎所有的核心集大小选择上,CNN的表现往往优于Transformers。
2023-03-10 cs.CV cs.LG
Observable Propagation: Uncovering Feature Vectors in Transformers
Yale University(耶鲁大学)
提出一种几乎无需数据的“可观测传播”方法,通过引入“可观测项”概念与耦合系数分析特征向量,在低数据场景下优于传统方法,有效揭示并理解大语言模型中的偏见机制。
2024-06-04 cs.CL cs.LG
On Statistical Rates and Provably Efficient Criteria of Latent Diffusion Transformers (DiTs)
Northwestern University(西北大学);UC Berkeley(加州大学伯克利分校);Simons Institute for the Theory of Computing(西蒙斯理论计算研究所)
该研究在低维线性潜在空间假设下,分析潜在扩散Transformer(DiTs)的统计极限(逼近误差、样本复杂度、分布恢复)与计算极限(前向推理、反向计算难度),提出高效准则与近线性时间加速方法,证明其性能由子空间维度主导,有潜力规避高维数据挑战。
2024-10-31 cs.AI cs.LG stat.ML
Inductive Relation Prediction from Relational Paths and Context with Hierarchical Transformers
University of Science and Technology of China(中国科学技术大学);Beijing University of Posts and Telecommunications(北京邮电大学)
本文提出REPORT框架,利用分层Transformer同时聚合关系路径和上下文,仅依赖关系语义实现完全归纳式关系预测,并在两个数据集上一致优于基线且具备可解释性。
2023-07-10 cs.AI cs.CL cs.LG
Stochastic Transformer Networks with Linear Competing Units: Application to end-to-end SL Translation
Cyprus University of Technology(塞浦路斯理工大学);University of Patras(帕特雷大学);Rutgers University(罗格斯大学)
自动手语翻译(Automating sign language translation,缩写为ESTA)是一个具有挑战性的现实世界的应用。尽管其社会重要性,但该领域的研究进展仍然相当差。至关重要的是,现有的方法,产生可行的性能需要费力的获得光泽序列地面实况的可用性。在本文中,我们通过引入一个不需要明确使用注释的端到端模型来减弱这种需求;该模型只需要文本地面实况。这与现有的端到端模型形成鲜明对比,现有的端到端模型使用光泽序列地面实况,要么以在中间模型阶段识别的模态的形式,要么以并行输出过程的形式,与训练模型联合训练。我们的方法构成了一个具有新型层的Transformer网络,该网络结合了:(i)具有随机赢家采样的局部赢家通吃(LWTA)层,而不是传统的ReLU层,(ii)具有通过变分推理估计的后验分布的随机权重,以及(iii)在推理时的权重压缩技术,该技术利用估计的后验方差来执行大规模,几乎无损压缩。我们证明了我们的方法可以达到PHOENIX 2014 T基准测试中目前最好的BLEU-4分数,但不使用模型训练的注释,并且内存占用减少了70%以上。
2021-10-01 cs.CL cs.LG
Understanding In-Context Learning in Transformers and LLMs by Learning to Learn Discrete Functions
University of Oxford(牛津大学);Mila(米拉研究所);McGill University(麦吉尔大学);Cohere(Cohere公司)
本文通过 Boolean 函数学习测试平台分析 Transformer 与 LLM 的上下文学习能力,揭示任务复杂度、无注意力模型、教学序列及算法自适应选择的影响,并验证预训练 LLM 的分布外预测竞争力。
2023-10-04 cs.CL cs.LG
A SISA-based Machine Unlearning Framework for Power Transformer Inter-Turn Short-Circuit Fault Localization
Graduate Student Member, IEEE(IEEE研究生会员);Member, IEEE(IEEE会员);Senior Member, IEEE(IEEE高级会员)
本文提出基于SISA的机器去学习框架,用于电力变压器匝间短路故障定位,通过分片和隔离技术减少重新训练时间,同时保持诊断准确性。
2026-03-07 cs.LG cs.SY eess.SY
Training-Free Universal Approximation by Prompting Random Transformers
Purdue University(普渡大学)
该研究证明预训练Transformer可选,随机未训练的单层softmax注意力网络经软提示引导可实现通用逼近,其继承核回归的极小极大最优速率,还揭示了提示相关参数的权衡关系。
2026-08-11 cs.LG cs.NA math.NA
Pre-training Is (Almost) All You Need: An Application to Commonsense Reasoning
Samsung Strategy and Innovation Center(三星战略与创新中心)
预训练的Transformer模型的微调已成为解决常见NLP任务的标准方法。大多数现有的方法依赖于在这样的网络之上随机初始化的分类器。我们认为,这种微调过程是次优的,因为预训练的模型在特定的分类器标签上没有先验知识,而它可能已经学习了任务的内在文本表示。在本文中,我们介绍了一种新的评分方法,该方法将可扩展性排名任务转换为全文格式,并利用在预训练阶段调整的掩蔽语言建模头部。我们研究了常识推理任务,其中模型必须对给定前提的一组假设进行排名,重点是COPA,Swag,HellaSwag和CommonsenseQA数据集。通过利用我们的评分方法而不进行微调,我们能够产生与监督方法相当的强基线(例如,COPA上80%的测试准确度)。此外,当直接对所提出的评分函数进行微调时,我们表明我们的方法在随机重新启动时提供了更稳定的训练阶段(例如,COPA测试准确性的$\times 10$标准差降低),并且需要比标准分类器方法更少的注释数据才能达到同等性能。
2020-04-29 cs.CL cs.LG
A Temporal Fusion Transformer for Long-term Explainable Prediction of Emergency Department Overcrowding
NOVA School of Science and Technology(新里斯本大学科学与技术学院)
本文提出了一种新型深度学习架构 Temporal Fusion Transformer,利用日历和时间序列协变量预测急诊科4周的患者数量,实现了5.90%的MAPE,并超越了现有常见模型。
2022-11-22 cs.CY cs.LG
UnNatural Language Inference
McGill University(麦吉尔大学);Montreal Institute of Learning Algorithms (Mila)(蒙特利尔学习算法研究所);Facebook AI Research (FAIR)(脸书人工智能研究院)
最近对最先进的大规模预训练的基于transformer的自然语言理解(NLU)模型的内部工作进行的调查表明,它们似乎至少在某种程度上知道类似人类的语法。我们提供了新的证据,使这一说法复杂化:我们发现,最先进的自然语言推理(NLI)模型为置换的例子分配了与原始例子相同的标签,即它们在很大程度上对随机词序置换是不变的。这种行为明显不同于人类;我们与不合语法的句子作斗争。为了衡量这个问题的严重性,我们提出了一套指标,并调查特定的排列导致模型的词序不变的属性。例如,在MNLI数据集中,我们发现几乎所有(98.7%)的例子都包含至少一个排除黄金标签的排列。模型有时甚至能够将黄金标签分配给它们最初未能正确预测的排列。我们对这种现象进行了全面的实证评估,并进一步表明,这个问题存在于Transformers和基于transformer前RNN / ConvNet的编码器中,以及跨多种语言(英语和汉语普通话)。我们的代码和数据可在https://github.com/facebookresearch/unlu上获得。
2021-06-11 cs.CL cs.LG