AtMan: Understanding Transformer Predictions Through Memory Efficient Attention Manipulation
Aleph Alpha(阿列夫阿尔法);Technical University Darmstadt(达姆施塔特工业大学);Hessian Center for Artificial Intelligence (hessian.AI)(黑森州人工智能中心);German Center for Artificial Intelligence (DFKI)(德国人工智能研究中心);LAION
本文提出模态无关的 AtMan 解释方法,通过注意力扰动和嵌入空间余弦邻域的 token 搜索生成相关性图,在低额外内存与计算成本下优于梯度方法。
2025-01-07 cs.AI cs.LG
OT-Transformer: A Continuous-time Transformer Architecture with Optimal Transport Regularization
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Oden Institute for Computational Engineering and Sciences, University of Texas, Austin(德克萨斯大学奥斯汀分校奥登计算工程与科学学院)
提出连续时间Transformer架构OT-Transformer,利用最优传输理论正则化训练以提升稳定性与泛化能力,理论上证明正则化促进解的唯一性与正则性,实验显示其优于离散对应模型及对比模型。
2025-01-30 cs.AI cs.LG
Patch Slimming for Efficient Vision Transformers
Peking University(北京大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室);University of Sydney(悉尼大学);JD Explore Academy(京东探索研究院)
通过挖掘给定网络中的冗余计算,研究了可视化Transformers的效率问题。最近的Transformer架构已经证明了其在一系列计算机视觉任务上实现出色性能的有效性。然而,与卷积神经网络类似,视觉Transformer的巨大计算成本仍然是一个严峻的问题。考虑到注意力机制是逐层聚合不同的补丁,我们提出了一种新的补丁瘦身方法,在一个自顶向下的范例中丢弃无用的补丁。我们首先在最后一层中识别有效的补丁,然后使用它们来指导前面几层的补丁选择过程。对于每一层,补丁对最终输出特征的影响是近似的,影响较小的补丁将被删除。在基准数据集上的实验结果表明,该方法可以在不影响视觉Transformer性能的前提下,显著降低其计算量.例如,在ImageNet数据集上,ViT-Ti模型的FLOP可以减少45%以上,而top-1准确率仅下降0.2%。
2022-04-04 cs.CV cs.LG
Training Dynamics of Transformers to Recognize Word Co-occurrence via Gradient Flow Analysis
Lawrence Livermore National Laboratory (LLNL)(劳伦斯利弗莫尔国家实验室);Princeton University(普林斯顿大学);UT Austin(德克萨斯大学奥斯汀分校);OSU(俄亥俄州立大学)
本文研究了浅层 Transformer 在词共现识别任务上的训练动力学,通过耦合动力系统框架分析了从随机初始化同时训练注意力矩阵和 MLP 层的梯度流,发现训练自然分为两阶段并证明了梯度自动平衡性质,最终实现接近最小的训练损失。
2024-10-12 cs.CL cs.LG
MAC: An Efficient Gradient Preconditioning using Mean Activation Approximated Curvature
University of Wisconsin – Madison(威斯康星大学麦迪逊分校);University of Georgia(佐治亚大学);Hanyang University(翰阳大学)
提出MAC方法,通过近似KFAC中Fisher信息矩阵的Kronecker因子,降低二阶优化计算负担,并首次将Kronecker分解应用于Transformer注意力层,在多种网络和数据集上优于KFAC等现有方法。
2025-11-11 cs.LG
On the Benefits of Rank in Attention Layers
Courant Institute of Mathematical Sciences, New York University(纽约大学柯朗数学科学研究所);Center for Data Science, New York University(纽约大学数据科学中心);Flatiron Institute(弗拉蒂隆研究所)
本文揭示了注意力机制中矩阵秩与头数间的显著权衡,证明单头全秩可表示的函数需指数级多头低秩才能近似,短上下文可借深度补偿,并经实验验证。
2024-07-23 cs.LG stat.ML
Can Transformers Learn to Solve Problems Recursively?
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);EleutherAI;Booz Allen Hamilton(博思艾伦汉密尔顿)
本文通过机制可解释性视角研究 transformer 模型学习结构递归函数的能力,发现并重建了模型使用的“捷径”算法,能预测91%的失败案例,为理解神经网络在其训练任务上的失败行为提供了新基础。
2023-06-25 cs.AI cs.LG cs.LO
Transformer Architectures as Complete Bayes Processes: A Formal Proof in the Measure-Theoretic Kernel Framework
Department of Computer Science and Engineering, SUSTech University(计算机科学与工程系,四川大学)
本文在测度论核框架下形式化证明,当Transformer内部更新机制满足贝叶斯联合分布条件时,其前向计算等价于精确的贝叶斯后验更新。
2026-06-29 cs.AI cs.LG
Masked Mixers for Language Generation and Retrieval
Seek AI;Guidehouse(吉德浩公司)
该研究提出用掩码卷积替代自注意力的掩码混合器,验证其输入表征准确率更高,在小上下文因果语言建模和检索任务上表现优于Transformer,且小型模型可超越数据与计算量高多个数量级的大型Transformer检索模型。
2025-03-20 cs.CL cs.LG
The Unreasonable Effectiveness of Transformer Language Models in Grammatical Error Correction
Grammarly(格拉默利)
最近关于语法错误校正(GEC)的工作强调了语言建模的重要性,因为通过比较所提出的编辑的概率,当然可以实现良好的性能。与此同时,语言建模的进步已经成功地生成了语言输出,这与人类生成的文本几乎没有区别。在本文中,我们通过探索更复杂的语言模型在GEC中的潜力来提高赌注,并就其优点和缺点提供一些关键见解。我们表明,与其他NLP任务的最新结果一致,Transformer架构实现了始终如一的高性能,并为未来的机器学习模型提供了有竞争力的基线。
2019-06-04 cs.CL cs.LG cs.NE
PatchBlender: A Motion Prior for Video Transformers
Mila(米拉研究所);Université de Montréal(蒙特利尔大学);Meta AI;FAIR(基础人工智能研究团队);Apple Machine Learning Research(苹果机器学习研究院);Microsoft Research(微软研究院);Polytechnique Montréal(蒙特利尔理工学院)
Transformers已经成为计算机视觉领域的主导架构之一。然而,当将这样的架构应用于视频数据时,仍然存在若干挑战。最值得注意的是,这些模型难以有效地对视频数据的时间模式进行建模。直接针对这个问题,我们引入PatchBlender,一个可学习的混合函数,它在潜在空间的时间维度上对补丁嵌入进行操作。我们表明,我们的方法是成功的,使视觉Transformer编码的视频数据的时间分量。在Something-Something v2和MOVi-A上,我们证明了我们的方法提高了视频Transformers的基线性能。PatchBlender的优点是与几乎任何Transformer架构兼容,并且由于它是可学习的,因此模型可以自适应地打开或关闭先验。它也是非常轻量级的计算明智的,0.005%的GFLOPs的ViT-B。
2023-02-10 cs.AI cs.CV cs.LG
Stronger Transformers for Neural Multi-Hop Question Generation
Mila - Quebec AI Institute(米拉-魁北克人工智能研究所);McGill University(麦吉尔大学);IBM Thomas J. Watson Research Center(IBM托马斯·J·沃森研究中心);ETH Zurich(苏黎世联邦理工学院)
以前的工作自动化问题生成几乎完全集中在生成简单的问题,其答案可以从一个单一的文档中提取。然而,人们越来越感兴趣的是开发系统,能够更复杂的多跳问题的生成,其中回答的问题需要推理多个文件。在这项工作中,我们介绍了一系列强Transformer模型的多跳问题生成,包括图形增强的Transformer,利用文本中的实体之间的关系。虽然以前的工作强调了基于图形的模型的重要性,我们表明,我们可以大大超过5个BLEU点使用标准的Transformer架构的最先进的。我们进一步证明,基于图的增强可以在此基础上提供免费的改进。有趣的是,我们发现几个重要的因素-例如包含辅助对比目标和数据过滤可能会对性能产生更大的影响。我们希望,我们更强有力的基线和分析为这一领域今后的工作提供建设性的基础。
2020-10-22 cs.CL cs.LG
Understanding Robustness of Transformers for Image Classification
Google Research(谷歌研究院)
深度卷积神经网络(CNN)长期以来一直是计算机视觉任务的首选架构。最近,像视觉Transformer(ViT)这样基于Transformer的架构已经在图像分类方面与ResNets相匹配,甚至超过了ResNets。然而,Transformer体系结构的细节--比如使用非重叠补丁--让人怀疑这些网络是否同样健壮。在本文中,我们对ViT模型鲁棒性的各种不同度量进行了广泛的研究,并将研究结果与ResNet基线进行了比较。我们调查的鲁棒性输入扰动以及模型扰动的鲁棒性。我们发现,当用足够多的数据进行预训练时,ViT模型在广泛的扰动下至少与ResNet模型一样鲁棒。我们还发现,Transformers是强大的删除几乎任何单一的层,虽然从后面的层激活是高度相关的彼此,他们仍然发挥了重要作用的分类。
2021-10-08 cs.AI cs.CV cs.LG
Humor Detection: A Transformer Gets the Last Laugh
Brigham Young University(杨百翰大学);Computer Science Department(计算机科学系)
许多以前的工作已经做了试图识别幽默的文本。在本文中,我们提出了一个新的任务:评估一个笑话是否是幽默的扩展能力。我们提出了一种新的方法来解决这个问题,通过建立一个模型,学习识别幽默笑话的基础上从Reddit页面收集的评级,包括近16,000个标记的实例。使用这些评级,以确定幽默的水平,然后我们采用了一个Transformer架构的优势,从句子上下文的学习。我们证明了这种方法的有效性,并显示出与人类表现相当的结果。我们进一步展示了我们的模型在幽默识别问题上的增强能力,例如先前创建的短笑话和双关语数据集。这些实验表明,该方法优于之前在这些任务上所做的所有工作,Puns数据集的F度量为93.1%,Short Jokes数据集为98.6%。
2019-08-31 cs.CL cs.LG
Multi-scale Time-stepping of Partial Differential Equations with Transformers
Carnegie Mellon University(卡内基梅隆大学);Machine Learning Department, Carnegie Mellon University(卡内基梅隆大学机器学习系)
本文提出利用Transformer结合卷积自编码器学习PDE动力学,并引入多尺度层次化时间步进以加速预测和降低累积误差,在Navier-Stokes方程预测上达到或优于FNO、OFormer和Galerkin Transformer的性能。
2023-11-03 cs.LG
DBA: Efficient Transformer with Dynamic Bilinear Low-Rank Attention
Zhejiang University(浙江大学)
为了提高Transformer的效率,人们进行了许多研究,从二次型到线性型。其中,基于低秩的方法旨在学习投影矩阵以压缩序列长度。然而,投影矩阵一旦被学习就被固定,其利用用于相同位置中的令牌的专用系数来压缩序列长度。采用这样的输入不变投影忽略了序列的最具信息量的部分随序列而变化的事实,因此未能保留位于不同位置的最有用的信息。另外,以往的高效Transformers算法只关注了序列长度的影响,而忽略了隐状态维数的影响。为了解决上述问题,我们提出了一种高效且有效的注意力机制,即动态双线性低秩注意力(DBA),它通过输入敏感的动态投影矩阵压缩序列长度,并通过联合优化序列长度和隐藏状态维度来实现线性时间和空间复杂度,同时保持最先进的性能。具体来说,我们首先从理论上证明了序列长度可以从信息论的一个新的角度进行非破坏性压缩,压缩矩阵由输入序列动态确定。此外,我们表明,隐藏状态的尺寸可以近似扩展的约翰逊-林登施特劳斯引理,优化的双线性形式的注意。理论分析表明,DBA能够很好地捕捉交叉注意问题中的高阶关系。在不同序列长度条件下的任务上的实验表明,与各种强基线相比,DBA实现了最先进的性能,同时保持了更高的速度和更少的内存消耗。
2022-11-24 cs.LG
How Redundant Is the Transformer Stack in Speech Representation Models?
Technical University of Denmark(丹麦技术大学)
该研究针对基于Transformer的自监督语音表示模型,通过三种相似度指标分析发现层间存在显著冗余,验证了无需后训练的剪枝及知识蒸馏方法可大幅缩减模型规模与推理时间且性能损失极小。
2025-01-17 cs.CL cs.LG cs.SD
Softmax-free Linear Transformers
School of Data Science, Fudan University(复旦大学数据科学学院);University of Surrey(萨里大学)
提出无Softmax的线性Transformer(SOFT),用高斯核替代点积相似性,通过低秩分解和牛顿-拉弗森逆估计实现线性复杂度,在多个视觉任务上提升效率与精度平衡。
2024-03-15 cs.AI cs.CV cs.LG
An Impartial Take to the CNN vs Transformer Robustness Contest
University of Oxford(牛津大学);Five AI Ltd.(Five AI有限公司)
随着Transformers在计算机视觉中的普及,一些研究试图确定它们是否可以对分布偏移更鲁棒,并提供比卷积神经网络(CNN)更好的不确定性估计。几乎一致的结论是,他们是,它往往是或多或少地明确指出,这种所谓的优势的原因是归因于自我注意力机制。在本文中,我们进行了广泛的实证分析,表明最近最先进的CNN(特别是ConvNeXt)可以与当前最先进的Transformers一样强大和可靠,甚至有时甚至更强。然而,没有明确的赢家。因此,尽管很容易说明一个体系结构家族比另一个具有明确的优越性,但它们似乎在各种任务上都有类似的非凡性能,同时也存在类似的弱点,如纹理,背景和简单性偏见。
2022-07-22 cs.CV cs.LG
Sampling Foundational Transformer: A Theoretical Perspective
FPT Software AI Center(FPT软件AI中心);University of Alabama at Birmingham(阿拉巴马大学伯明翰分校)
针对Transformer二次复杂度高、需针对不同模态定制构建的问题,提出可适配多模态与多约束的Sampling Foundational Transformer,通过上下文感知无放回采样和伪凸公式提升效率,在多基准上取得有竞争力的结果且推理更快。
2024-08-17 cs.CV cs.LG
Fast RoPE Attention: Combining the Polynomial Method and Fast Fourier Transform
Columbia University(哥伦比亚大学);University of California, Berkeley(加州大学伯克利分校)
针对RoPE使注意力难以近似线性计算的问题,本文提出融合多项式方法与快速傅里叶变换的新算法,在有界元素情形下实现RoPE注意力的近似线性时间计算。
2025-05-17 cs.DS cs.LG
Transformers Learn Nonlinear Features In Context: Nonconvex Mean-field Dynamics on the Attention Landscape
University of Tokyo(东京大学);RIKEN(理化学研究所)
研究由MLP和线性注意力层组成的Transformer的优化,证明在平均场极限下参数分布的无穷维非凸损失景观变得温和,并首次对一般平均场动力学进行鞍点分析。
2024-06-02 cs.LG stat.ML
Beyond Black-Box Predictions: Identifying Marginal Feature Effects in Tabular Transformer Networks
Clausthal University of Technology(克劳斯塔尔工业大学)
本文提出一种改进的表格Transformer网络,通过理论论证和消融实验证明其能在复杂特征交互中准确识别边际特征效应,并在保持可理解性的同时达到黑箱模型的预测性能。
2025-04-11 cs.LG stat.ML
Transformers in Uniform TC$^0$
University of Notre Dame(圣母大学)
本文证明无需近似的AHATs及具有多项式位精度或极小绝对误差的SMATs均属于DLOGTIME-uniform TC$^0$,改进了此前依赖有限精度假设的电路复杂度上界结果。
2025-01-02 cs.CC cs.FL cs.LG
Understanding Transformers via N-gram Statistics
Google DeepMind(谷歌DeepMind)
本文通过N-gram统计规则集近似Transformer预测,提出检测过拟合、量化学习进展的方法,并发现TinyStories和Wikipedia上79%和68%的top-1预测与规则集一致。
2024-11-05 cs.AI cs.CL cs.LG
Training Tensor Attention Efficiently: From Cubic to Almost Linear Time
Department of XXX, University of YYY, Location, Country(YYY大学XXX系);School of ZZZ, Institute of WWW, Location, Country(WWW研究所ZZZ学院)
本研究证明张量注意力训练的反向梯度可在几乎线性时间内计算,为高效高阶transformers训练提供了理论基础。
2026-01-25 cs.AI cs.CL cs.LG
Decoding Looped Transformers Better for (Almost) Free
Apple(苹果公司)
本文提出LoopCD,一种无需训练的对比解码框架,利用循环Transformer的中间状态作为引导信号,在减少推理计算的同时提升解码质量,并支持循环次数减半。
2026-10-02 cs.LG
What is my math transformer doing? -- Three results on interpretability and generalization
Meta AI
本文研究了故障情况下和分布外的行为训练的Transformers器矩阵求逆和特征值分解。我表明,不正确的模型预测仍然保留深的数学性质的解决方案(例如正确的特征值,单位范数的特征向量),几乎所有的模型故障可以归因于,并预测,属性的问题或解决方案。这表明,当有疑问时,数学Transformers不会产生荒谬的解决方案(正如有时提出的那样),而是保持“大致正确”。我还表明,精心选择训练数据集可以加速训练,同时允许模型从其训练分布中泛化,使Transformers“仅仅插值”的想法无效。
2022-10-31 cs.AI cs.LG
RPT: Relational Pre-trained Transformer Is Almost All You Need towards Democratizing Data Preparation
QCRI, HBKU, Qatar(卡塔尔计算研究所,哈马德·本·哈利法大学);Renmin University, China(中国人民大学);Tsinghua University, China(清华大学);CSAIL, MIT, USA(麻省理工学院计算机科学与人工智能实验室)
人工智能能否帮助自动化人类容易但计算机难以完成的数据准备任务,这些任务会给数据科学家,从业者和人群工作者带来负担?我们通过介绍RPT来回答这个问题,RPT是一个用于元组到X模型的去噪自动编码器(X可以是元组,令牌,标签,JSON等)。RPT通过破坏输入元组然后学习模型以重建原始元组来预先训练元组到元组模型。它采用了一种基于transformer的神经翻译架构,由一个双向编码器(类似于BERT)和一个从左到右的自回归解码器(类似于GPT)组成,从而使BERT和GPT都得到了推广。预先训练的RPT已经可以支持几个常见的数据准备任务,如数据清理,自动完成和模式匹配。更好的是,RPT可以在广泛的数据准备任务上进行微调,例如值规范化,数据转换,数据注释等。为了补充RPT,我们还讨论了几种有吸引力的技术,例如用于实体解析的协作训练和少样本学习,以及用于信息抽取的少样本学习和NLP问答。此外,我们确定了一系列的研究机会,以推进数据准备领域。
2021-03-31 cs.DB cs.LG
Memory-efficient Stochastic methods for Memory-based Transformers
Indian Institute of Technology Madras(印度理工学院马德拉斯分校)
针对记忆型Transformer训练内存大、效率低的问题,提出两阶段训练与正则化技术,构建Skip Cross-head TransformerXL,在字符级任务持平参数、单词级任务少20%参数下超越基线,且无需额外内存,正则化使BERT在GLUE任务标准差降约30%。
2023-11-14 cs.CL cs.LG
Fixed Universal Transformers
Columbia University(哥伦比亚大学)
提出固定通用Transformer,通过输入嵌入模拟任意给定类别的Transformer,证明其通用性在足够大嵌入维度下可通过稀疏结构实现,且随机初始化几乎必然通用,实验验证了理论。
2026-10-05 cs.LG
Univariate Skeleton Prediction in Multivariate Systems Using Transformers
Gianforte School of Computing, Montana State University(蒙大拿州立大学吉安福特计算学院)
针对多元系统符号回归难以识别单变量函数形式的问题,提出一种基于预训练 Multi-Set Transformer 的可解释神经符号回归方法,通过生成单变量符号骨架解释变量影响,其性能优于多种基线方法。
2024-06-25 cs.AI cs.LG
From Sparsity to Simplicity: Enabling Simpler Sequential Replacements via Sparse Attention Distillation
University of Arizona(亚利桑那大学);TetraMem, Inc.(TetraMem公司)
本文提出通过稀疏注意力蒸馏实现更简单的顺序替换,通过分析transformer层中的稀疏模式,发现可以将复杂的token依赖分解为不同复杂度的序列到序列映射,并用更简单的顺序模块替代部分层功能,从而减少参数量和延迟。
2026-05-15 cs.AI cs.LG
SOFT: Softmax-free Transformer with Linear Complexity
Fudan University(复旦大学);University of Surrey(萨里大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
视觉Transformer(ViTs)通过逐块图像标记化以及自我注意力,推动了各种视觉识别任务的最新技术。然而,自注意模块的使用导致计算和存储器使用的二次复杂度。在自然语言处理中,已经进行了各种尝试来近似具有线性复杂度的自注意计算。然而,在这项工作中的深入分析表明,他们要么是理论上有缺陷的或经验无效的视觉识别。我们进一步确定,它们的局限性根源于在近似过程中保持softmax自我注意力。具体地说,传统的自我注意力是通过标准化标记特征向量之间的缩放点积来计算的。保持这种softmax操作对后续的线性化工作提出了挑战。基于这种见解,首次提出了一种无softmax的Transformer或SOFT。为了消除自注意中的softmax,使用高斯核函数代替点积相似性,而无需进一步归一化。这使得完全自注意矩阵能够通过低秩矩阵分解来近似。近似的鲁棒性是通过使用牛顿-拉夫森方法计算其Moore-Penrose逆来实现的。在ImageNet上进行的大量实验表明,我们的SOFT显著提高了现有ViT变体的计算效率。重要的是,在线性复杂度下,SOFT中允许更长的令牌序列,从而在准确性和复杂度之间实现更好的权衡。
2022-04-30 cs.AI cs.CV cs.LG
Theoretical Limitations of Self-Attention in Neural Sequence Models
Stanford University(斯坦福大学)
Transformers正在成为NLP的新主力,在各种任务中取得了巨大的成功。与LSTM不同,Transformers完全通过自我注意来处理输入序列。以前的工作表明,自我注意处理层次结构的计算能力是有限的。在这项工作中,我们从数学上研究了自注意模型形式语言的计算能力。在软注意力和硬注意力中,我们展示了自我注意力计算能力的强大理论局限性,发现它不能模拟周期性有限状态语言,也不能模拟层次结构,除非层或头的数量随输入长度增加。考虑到自我注意的实际成功和语言学中层次结构的突出作用,这些局限性似乎令人惊讶,这表明自然语言可以很好地近似于理论语言学中通常假设的形式语言的模型。
2020-02-12 cs.CL cs.FL cs.LG
Sampling two-dimensional spin systems with transformers
Institute of Applied Computer Science(应用计算机科学研究所);Institute of Theoretical Physics(理论物理研究所);Doctoral School of Exact and Natural Sciences(精确与自然科学博士学院)
本文提出用变换器生成自旋系统的新方法,通过分组生成自旋提高效率,测试了Ising模型和Edwards-Anderson模型,实现了更大的系统规模。
2026-04-30 cond-mat.dis-nn cond-mat.stat-mech cs.LG
Reducing Activation Recomputation in Large Transformer Models
NVIDIA(英伟达)
训练大型Transformer模型是现代AI最重要的计算挑战之一。在本文中,我们展示了如何通过减少激活重新计算来显著加速大型Transformer模型的训练。激活重新计算通常用于解决记忆容量限制。而不是存储反向传播的激活,它们传统上被重新计算,这节省了内存,但增加了冗余计算。在这项工作中,我们表明这种冗余计算是不必要的,因为我们可以充分减少内存消耗没有它。我们提出了两个新的,但非常简单的技术:序列并行和选择性激活重新计算。结合张量并行,这些技术几乎消除了重新计算激活的需要。我们评估我们的方法语言模型高达一万亿参数的规模,并表明,我们的方法减少激活内存的5倍,同时减少执行时间开销从激活重新计算超过90%。例如,当在2240个NVIDIA A100 GPU上训练530 B参数GPT-3样式模型时,我们实现了54.2%的模型触发器利用率,比使用重新计算实现的42.1%快29%。我们的实现将在Megatron-LM和NeMo-Megatron中提供。
2022-05-10 cs.CL cs.LG
Eliciting Fine-Tuned Transformer Capabilities via Inference-Time Techniques
Patched Codes, Inc.(Patched Codes 公司)
本文证明基础 Transformer 可通过 ICL 等推理时技术近似 SFT 能力,并给出文本生成与线性分类所需数据集规模界,为高效部署提供理论依据。
2025-06-09 cs.AI cs.LG
When Do Transformers Outperform Feedforward and Recurrent Networks? A Statistical Perspective
University of Toronto(多伦多大学);Vector Institute(矢量研究院);Google Research(谷歌研究院);New York University(纽约大学);Flatiron Institute(弗拉蒂伦研究院)
论文提出动态稀疏检索的序列到序列模型,从样本复杂度角度证明单层 Transformer 在注意力头数不少于 $q$ 时可几乎不受序列长度 $N$ 影响,并揭示其相对循环与前馈网络的层级优势。
2025-03-14 cs.LG stat.ML
Feed-Forward Steering in Transformer Residual Dynamics
University of Luxembourg(卢森堡大学);London Institute of Mathematical Sciences(伦敦数学科学研究所)
该研究扩展Transformer残差动力学理论,引入FFN作为转向场,经多模型实验验证其提升角预测性能,且切向分量对模型质量与输出多样性至关重要,还可指导块级干预的并行化应用。
2026-08-04 cs.LG math.DS
MultiSpeech: Multi-Speaker Text to Speech with Transformer
Microsoft(微软)
基于转换器的文本转语音(TTS)模型(例如,Transformer TTS~ \cite{li2019neural},FastSpeech~ \cite{ren2019fastspeech})已经显示出训练和推理效率优于基于RNN的模型(例如,Tacotron~ \cite{shen2018natural}),这是由于其在训练和/或推理中的并行计算。然而,并行计算增加了Transformer学习文本和语音对齐的难度,在多说话人、多噪声数据的情况下,这种难度进一步放大,阻碍了Transformer在多说话人TTS中的应用。本文提出了一种鲁棒、高质量的多说话人Transformer TTS系统MultiSpeech,该系统采用了几种特殊设计的组件/技术来提高文本到语音的对齐:1)在训练和推理中对编码器-解码器注意力的权重矩阵进行对角约束; 2)在编码器中对音素嵌入进行层归一化以更好地保留位置信息; 3)解码器预网中的瓶颈,以防止连续语音帧之间的复制。在VCTK和LibriTTS多说话人数据集上的实验证明了MultiSpeech的有效性:1)与基于朴素Transformer的TTS相比,MultiSpeech合成出的多说话人语音更加鲁棒、质量更好; 2)以MutiSpeech模型为老师,我们获得了一个强多说话人FastSpeech模型,其质量几乎为零,同时具有极快的推理速度。
2020-08-01 cs.CL cs.LG cs.SD
Understanding the Parameter Space Geometry of Transformers Encoding Boolean Functions
Machine Learning, ICML(机器学习,ICML)
针对Transformer无法学习某些简单布尔函数(如奇偶函数)的问题,通过分析参数空间几何,证明敏感函数在参数空间中占据极小区域,随机初始化几乎必然错过,从而解释了可表达但不可学习的现象。
2026-06-07 cs.LG
Computational Limits of Low-Rank Adaptation (LoRA) Fine-Tuning for Transformer Models
Northwestern University(西北大学);University of Science and Technology of China(中国科学技术大学);National Yang Ming Chiao Tung University(阳明交通大学);Simons Institute UC Berkeley(伯克利Simons研究所)
本文从细粒度复杂性理论角度研究LoRA微调的计算极限,通过梯度低秩结构证明SETH下存在效率相变,并利用分层低秩近似证明几乎线性算法的存在性。
2025-06-06 cs.AI cs.CC cs.LG
baller2vec++: A Look-Ahead Multi-Entity Transformer For Modeling Coordinated Agents
Auburn University(奥本大学)
在许多多智能体时空系统中,智能体在共享的、不可观测的变量(例如,在篮球比赛中一个队正在进行的比赛)。因此,代理的轨迹通常在任何给定的时间步是统计依赖的;然而,几乎普遍地,多代理模型隐含地假设代理的轨迹在每个时间步是统计独立的。在本文中,我们介绍了baller 2 vec ++,多实体Transformer,可以有效地协调代理建模。具体来说,baller 2 vec ++将一个专门设计的自我注意力掩模应用于位置和“前瞻”轨迹序列的混合,以学习统计相关代理轨迹的分布。我们表明,与baller 2 vec(baller 2 vec ++的前身),baller 2 vec ++可以学习模仿完美协调代理在模拟玩具数据集的行为。此外,在对职业篮球运动员的轨迹进行建模时,baller 2 vec ++的性能远远优于baller 2 vec。
2021-09-28 cs.LG cs.MA
PolyViT: Co-training Vision Transformers on Images, Videos and Audio
University of Cambridge(剑桥大学);Google Research(谷歌研究院);Alan Turing Institute(阿兰·图灵研究所)
我们能否训练一个能够处理多个模态和数据集的单个Transformer模型,同时共享几乎所有可学习的参数?我们提出了PolyViT,一个在图像,音频和视频上训练的模型,它回答了这个问题。通过在单个模态上共同训练不同的任务,我们能够提高每个任务的准确性,并在5个标准视频和音频分类数据集上实现最先进的结果。在多个模态和任务上共同训练PolyViT,可以产生一个参数效率更高的模型,并学习跨多个领域的泛化表示。此外,我们还证明了协同训练简单实用,因为我们不需要为每个数据集组合调整超参数,而是可以简单地调整标准的单任务训练。
2021-11-25 cs.CV cs.LG
Attention Enables Zero Approximation Error
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));City University of Hong Kong(香港城市大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
深度学习模型已经广泛应用于日常生活的各个方面。许多基于深度学习结构的变体模型已经取得了更好的性能。基于注意力的架构在深度学习结构中几乎无处不在。特别是在图像分类任务中,Transformer模型现在已经击败了卷积神经网络,成为使用最广泛的工具。然而,基于注意力的模型的理论特性很少被考虑。在这项工作中,我们表明,通过适当的调整,单头自注意Transformer具有固定数量的Transformer编码器块和自由参数,能够生成任何所需的多项式的输入没有错误。Transformer编码器块的数量与目标多项式的次数相同。更令人兴奋的是,我们发现这个模型中的这些Transformer编码器块不需要训练。作为一个直接的结果,我们表明,单头自注意Transformer与自由参数的数量增加是普遍的。这些令人惊讶的理论结果清楚地解释了Transformer模型的出色性能,并可能在实际应用中揭示未来的修改。我们还提供了一些实验来验证我们的理论结果。
2022-02-24 cs.LG
Designing Universal Causal Deep Learning Models: The Geometric (Hyper)Transformer
随机分析中的几个问题是通过它们的几何结构来定义的,保持这种几何结构对于生成有意义的预测是必不可少的。然而,如何设计能够对这些几何结构进行编码的原则性深度学习(DL)模型在很大程度上仍然是未知的。我们解决这个开放的问题,通过引入一个通用的因果几何DL框架中,用户指定一个合适的度量空间$\mathscr{X}$和$\mathscr{Y}$和我们的框架返回一个DL模型能够因果近似任何"正规“的映射发送时间序列在$\mathscr{X}^{\mathbb{Z}}$的时间序列在$\mathscr{Y}^{\mathbb{Z}}$,同时尊重他们的信息在整个时间的前向流。在$\mathscr{Y}$上合适的几何包括各种(适应的)Wasserstein空间在最优停止问题中出现,各种描述连续时间有限状态马尔可夫链的条件分布的统计流形,以及所有允许Schauder基的Fréchet空间,例如在经典金融中。合适的空间$\mathscr{X}$是任何欧几里得空间的紧致子集。我们的研究结果都定量地表达了我们的DL模型,以实现一个给定的近似误差作为目标映射的规则性和几何结构的函数的$\mathscr{X}$和$\mathscr{Y}$的参数的数量。即使在省略任何时间结构时,我们的通用逼近定理也是第一个保证,即定义在这种$\mathscr{X}$和$\mathscr{Y}$之间的Hölder函数可以由DL模型逼…
2023-03-09 cs.LG cs.NE math.MG
Unified Visual Transformer Compression
University of Texas at Austin(德克萨斯大学奥斯汀分校);Texas A&M University(德州农工大学);Kwai Inc.(快手公司)
视觉Transformer(ViTs)最近越来越受欢迎。即使没有定制的图像运算符(如卷积),ViTs在大量数据上进行适当训练时也可以产生有竞争力的性能。然而,由于堆叠多头自注意模块等,ViT的计算开销仍然过高。相对于压缩卷积神经网络的大量文献和普遍的成功,视觉Transformer压缩的研究也刚刚兴起,现有的工作集中在一个或两个方面的压缩。本文提出了一个统一的ViT压缩框架,无缝组装三个有效的技术:修剪,跳层,和知识蒸馏。我们制定了一个无约束的,端到端的优化框架,目标是共同学习模型权重,逐层修剪率/掩码,和跳过配置,蒸馏损失下。然后使用原始-对偶算法解决优化问题。实验是用几种ViT变体进行的,例如ImageNet数据集上的DeiT和T2 T-ViT主干,我们的方法始终优于最近的竞争对手。例如,DeiT-Tiny可以被削减到原始FLOP的50%,而几乎不会损失精度。代码可在线获取:~ \url{https://github.com/VITA-Group/UVC}。
2022-03-15 cs.CV cs.LG