Toward a Graph Foundation Model: Pre-Training Transformers With Random Walks
本研究针对图基础模型构建难题,提出用多条随机游走表示节点以适配Transformer架构,设计新的上下文预测损失并理论分析其表达能力,验证了模型预训练及下游任务适配的潜力。
2025-06-17 cs.AI cs.LG
How Transformers Learn In-Context Recall Tasks? Optimality, Training Dynamics and Generalization
Department of Computer Science University of Victoria(计算机科学系维多利亚大学);Department of Computer Science Johns Hopkins University(计算机科学系约翰霍普金斯大学)
本文分析 Transformer 学习上下文回忆任务的 Bayes 最优性、梯度下降线性收敛及 OOD 泛化,并指出参数化不当会使高表达模型泛化失败。
2025-10-21 cs.AI cs.LG
Understanding the Training and Generalization of Pretrained Transformer for Sequential Decision Making
Imperial College London(伦敦帝国学院);HKUST(GZ)(香港科技大学(广州));University of North Carolina(北卡罗来纳大学)
本文针对无转移概率的序贯决策问题,提出将 Transformer 生成序列纳入训练以解决分布外问题,并揭示其探索机制及相对 UCB、Thompson sampling 的优势。
2024-10-02 cs.AI cs.LG
Optimizer-Induced Low-Dimensional Drift and Transverse Dynamics in Transformer Training
研究揭示了Transformer训练中优化器诱导的低维漂移方向,分析了其在不同优化器下的稳定性及影响因素,强调累积更新动态的重要性。
2026-03-18 cs.AI cs.LG
SOHET: Sequence Of Heterogeneous Events Transformer with Self-Supervised Pre-Training
Booking.com, Amsterdam, The Netherlands(Booking.com,阿姆斯特丹,荷兰)
提出SOHET模型,通过层次化架构结合事件类型特定表格编码器与时间/类型嵌入,并引入三种自监督预训练目标,在欺诈检测和EBES基准上取得最优性能。
2026-06-23 cs.AI cs.LG
A multilevel approach to accelerate the training of Transformers
ENS de Lyon(里昂高等师范学院);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);Université Claude Bernard Lyon 1(里昂第一大学(克洛德·贝尔纳));LIP(里昂计算机科学实验室)
本文基于常微分方程解释提出一种改变 ODE Transformers 离散化的多层方法,以加速 Transformer 架构的训练,并通过与标准训练程序对比实验验证了其有效性。
2025-04-24 cs.AI cs.LG math.OC
A Survey on Efficient Training of Transformers
Monash University(莫纳什大学);Zhejiang University(浙江大学)
该综述首次系统梳理Transformer高效训练研究进展,聚焦加速算法,对比中间张量计算内存节省方法与软硬件协同设计技术,探讨未来挑战与方向。
2023-05-04 cs.AI cs.CV cs.LG
Fast Training of Diffusion Models with Masked Transformers
Caltech(加州理工学院);NVIDIA(英伟达公司)
本研究提出一种掩码Transformer训练方法,通过非对称编解码架构和掩码重建辅助任务,将扩散模型训练时间降至原DiT模型的30%,同时保持甚至提升生成性能。
2024-03-05 cs.AI cs.CV cs.LG
Pre-training with Graph Transformers
National University of Singapore(新加坡国立大学);Loyola Marymount University(洛约拉马利蒙特大学)
本文通过实验探究生物化学领域图变换器的预训练策略,发现基于计算属性的监督预训练效果最佳,并强调限制模型容量以防过拟合。
2026-09-15 cs.LG
Linear attention is (maybe) all you need (to understand transformer optimization)
MIT EECS(麻省理工学院电气工程与计算机科学系);MIT LIDS(麻省理工学院信息与决策系统实验室);KAIST(韩国科学技术院);KAIST ISysE(韩国科学技术院工业系统工程系);KAIST AI(韩国科学技术院人工智能学院);MIT CEE(麻省理工学院土木工程与环境工程系)
本研究通过线性化浅层Transformer模型重现训练动态,证明其可作为理解Transformer优化的有效抽象。
2024-03-13 cs.AI cs.LG math.OC
Exploring Quantization for Efficient Pre-Training of Transformer Language Models
Chandar Research Lab(钱达尔研究实验室);Mila – Quebec AI Institute(米拉-魁北克人工智能研究所);Polytechnique Montréal(蒙特利尔理工学院)
本研究探索了线性量化在Transformer语言模型预训练中的应用,通过系统量化权重、激活、梯度和优化器状态评估其对效率、稳定性和性能的影响,并提出了一套有效的预训练量化策略以提升从头训练的效率并保持语言建模能力。
2024-10-11 cs.LG
Stability of Transformers under Layer Normalization
UCLA(加州大学洛杉矶分校);UT Austin(德克萨斯大学奥斯汀分校);UNC Chapel Hill(北卡罗来纳大学教堂山分校);SRI International(SRI国际);UMass Amherst(马萨诸塞大学阿姆赫斯特分校)
本文系统性研究不同层归一化放置下Transformer的前向与反向稳定性,推导相关边界、分析梯度反向传播影响,为残差步长缩放提供指导,其框架可用于检查新型Transformer架构的稳定性。
2026-08-10 cs.AI cs.LG math.OC
Point-BERT: Pre-training 3D Point Cloud Transformers with Masked Point Modeling
Tsinghua University(清华大学);BAAI(北京智源人工智能研究院);Peking University(北京大学)
我们提出了点BERT,一个新的范例学习Transformers推广的概念,BERT的三维点云。受BERT的启发,我们设计了一个掩蔽点建模(MPM)任务来预训练点云Transformers。具体而言,我们首先将点云划分为几个局部点片,和一个点云Tokenizer与离散变分自编码器(dVAE)的设计,以产生离散点令牌包含有意义的本地信息。然后,我们随机屏蔽出一些输入点云的补丁,并将它们馈送到骨干Transformers中。预训练的目标是在由Tokenizer获得的点令牌的监督下,在掩蔽位置处恢复原始点令牌。大量的实验表明,提出的BERT风格的预训练策略显着提高了标准点云Transformers的性能。配备了我们的预训练策略,我们表明,纯Transformer架构在ModelNet 40上达到了93.8%的准确率,在ScanObjectNN的最难设置上达到了83.1%的准确率,超过了精心设计的点云模型,手工设计少得多。我们还证明了通过Point-BERT学习的表示可以很好地转移到新的任务和领域,其中我们的模型在很大程度上推进了最先进的Few-Shot点云分类任务。代码和预训练模型可在https://github.com/lulutang0608/Point-BERT上获得
2022-06-06 cs.AI cs.CV cs.LG
Are Transformers Able to Reason by Connecting Separated Knowledge in Training Data?
Northwestern University(西北大学)
本文引入FTCT任务验证Transformers连接分离知识进行组合推理的能力,发现少样本思维链提示能促使其推断完整因果图轨迹,且该能力与模型复杂度和训练-测试数据相似度高度相关。
2025-10-11 cs.AI cs.CL cs.LG
Trained Transformer Classifiers Generalize and Exhibit Benign Overfitting In-Context
UC Davis(加州大学戴维斯分校);Weizmann Institute of Science(魏茨曼科学研究院)
该研究针对随机线性分类任务下训练的线性Transformer,通过分析梯度下降隐式正则化明确其泛化的条件,并证实其存在上下文内良性过拟合现象,即记忆带噪样本仍能对干净样本近最优泛化。
2024-12-13 cs.LG stat.ML
Self-Supervised Pre-Training of Swin Transformers for 3D Medical Image Analysis
Vanderbilt University(范德堡大学);NVIDIA(英伟达)
视觉Transformer(ViT)在全局和局部表示的自监督学习中表现出出色的性能,这些表示可以转移到下游应用程序。受这些结果的启发,我们引入了一个新的自监督学习框架与定制的代理任务的医学图像分析。具体而言,我们建议:(i)一种新的基于3D变换器的模型,称为Swin UNEt Transformers(Swin UNETR),具有用于自我监督预训练的分层编码器;(ii)定制的代理任务,用于学习人体解剖学的基本模式。我们在来自各种身体器官的5,050个公开的计算机断层扫描(CT)图像上成功地对所提出的模型进行了预训练。我们的方法的有效性是通过微调预训练模型的超越颅骨拱顶(BTCV)分割挑战与13个腹部器官和分割任务从医学分割十项全能(MSD)数据集。我们的模型目前在MSD和BTCV数据集的公共测试排行榜上都是最先进的(即排名第一)。代码:https://monai.io/research/swin-unetr
2022-03-28 cs.AI cs.CV cs.LG
Early Transformers: A study on Efficient Training of Transformer Models through Early-Bird Lottery Tickets
Georgia Institute of Technology(佐治亚理工学院)
本文研究早鸟彩票假设在Transformer训练中的应用,提出结合迭代剪枝、掩码距离计算和选择性重训练的方法,在ViT、Swin-T、GPT-2和RoBERTa上早期识别可剪枝子网络,实现资源优化且性能不降。
2024-05-02 cs.CL cs.LG
Training toward significance with the decorrelated event classifier transformer neural network
University of California, Santa Barbara(加州大学圣巴巴拉分校)
针对粒子物理质量共振搜索的分析区域分箱需求,提出采用特殊技术训练的事件分类器Transformer,可提升显著性并降低输出与重建质量的相关性,性能优于提升决策树和前馈网络。
2024-07-11 cs.AI cs.LG hep-ex
Scalable and Adaptive Parallel Training of Graph Transformer on Large Graphs
The Pennsylvania State University(宾夕法尼亚州立大学)
本文提出一种分布式训练框架,通过自动选择和优化并行策略提升图变换器在大规模图上的可扩展性,实现3.8倍的加速和78%的内存节省。
2026-04-17 cs.AI cs.DC cs.LG
Emergence of Episodic Memory in Transformers: Characterizing Changes in Temporal Structure of Attention Scores During Training
Indiana University Bloomington(印第安纳大学布鲁明顿分校)
本研究通过认知科学方法分析不同规模GPT-2模型的注意力分数与输出,发现其注意力头存在类似人类情景记忆的时间连续性等效应,归纳头是连续性效应的关键,揭示Transformer上下文学习中信息时间组织机制。
2025-02-09 cs.AI cs.CL cs.LG
LOTUS: Improving Transformer Efficiency with Sparsity Pruning and Data Lottery Tickets
Georgia Institute of Technology(佐治亚理工学院)
本文提出 LOTUS 方法,通过数据彩票票选择与稀疏剪枝加速视觉 Transformer 训练,在保持准确率的同时显著降低计算需求。
2024-05-01 cs.AI cs.CV cs.LG
On the Effect of Pre-training for Transformer in Different Modality on Offline Reinforcement Learning
我们实证研究了对不同模式(如语言和视觉)的数据进行预训练如何影响基于Transformer的模型对Mujoco离线强化学习任务的微调。内部表示的分析表明,预训练的Transformers在预训练前后获得了很大不同的表示,但在微调中获得的数据信息比随机初始化的少。仔细观察预训练的Transformers的参数变化,可以发现它们的参数变化不大,并且用图像数据预训练的模型的不良性能可能部分来自大梯度和梯度裁剪。为了研究使用语言数据预训练的Transformer利用了哪些信息,我们在没有提供上下文的情况下对该模型进行了微调,发现即使没有上下文信息,该模型也能有效地学习。后续的分析支持了这一假设,即用语言数据进行预训练很可能使Transformer获得类似上下文的信息,并利用它来解决下游任务。
2022-11-17 cs.LG stat.ML
Accelerating Training of Transformer-Based Language Models with Progressive Layer Dropping
Microsoft Corporation(微软公司)
最近,基于transformer的语言模型在许多NLP领域都表现出了卓越的性能。然而,这些模型的无监督预训练步骤遭受无法承受的总体计算费用。目前用于加速预训练的方法要么依赖于与高级硬件的大规模并行,要么不适用于语言建模。在这项工作中,我们提出了一种基于渐进式层丢弃的方法,加快了基于transformer的语言模型的训练,而不是以过多的硬件资源为代价,而是从模型架构的变化和训练技术提高了效率。在BERT上进行的大量实验表明,该方法平均每个样本的时间减少了24%,并且预训练速度比基线快2.5倍,以在下游任务中获得类似的准确度。在速度更快的同时,我们的预训练模型具有强大的知识可移植性,在使用相同数量的样本进行预训练时,与基线相比,可以获得相当的GLUE分数,有时甚至更高。
2020-10-26 cs.LG
Are Pre-trained Convolutions Better than Pre-trained Transformers?
在预训练语言模型的时代,Transformers是模型架构的实际选择。虽然最近的研究已经显示出完全卷积或CNN架构的前景,但尚未使用预训练微调范式对其进行探索。在语言模型的背景下,卷积模型在预训练时与Transformers竞争吗?本文探讨了这一研究问题,并提出了几个有趣的发现。在对8个数据集/任务进行的大量实验中,我们发现基于CNN的预训练模型具有竞争力,并且在某些情况下优于Transformer对应模型,尽管需要注意。总的来说,本文中概述的调查结果表明,将预培训和架构进步混为一谈是错误的,这两种进步应该独立考虑。我们相信我们的研究为替代架构中的健康乐观铺平了道路。
2022-01-30 cs.CL cs.LG
Cutting the Skip: Training Residual-Free Transformers
Australian Institute for Machine Learning, Adelaide University(澳大利亚机器学习研究所,阿德莱德大学);DATA61, CSIRO(DATA61,澳大利亚联邦科学与工业研究组织);University of Auckland(奥克兰大学)
本研究通过分析无跳跃Transformer块的雅可比矩阵提出有原则的初始化策略,首次在不修改标准架构的情况下稳定高效训练无跳跃ViT,其在密集预测基准上优于带残差连接的强基线,为视觉层次表征学习开辟新方向。
2025-09-30 cs.LG
On the Training Convergence of Transformers for In-Context Classification of Gaussian Mixtures
University of Virginia(弗吉尼亚大学)
本文从理论上研究了transformer在上下文分类任务中的训练动态,证明通过梯度下降训练的单层transformer在Gaussian mixtures分类中以线性速率收敛到全局最优模型,并量化了提示长度对ICL推理误差的影响。
2025-05-29 cs.IT cs.LG math.IT
Learning to Grow Pretrained Models for Efficient Transformer Training
University of Texas at Austin(德克萨斯大学奥斯汀分校);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);Columbia University(哥伦比亚大学);MIT(麻省理工学院)
缩放Transformers在许多领域取得了重大突破,导致了一种范式,在这种范式中,定期训练和发布现有模型的更大版本。这类模型的新实例通常是完全从头开始训练的,尽管它们通常只是较小模型的放大版本。我们如何使用现有的较小模型参数中的隐含知识来更快地训练更新的较大模型?本文描述了一种通过学习增长预训练的Transformers来加速Transformer训练的方法,在该方法中,我们学习线性映射较小模型的参数以初始化较大模型。为了便于学习,我们将线性变换分解为(线性)宽度和深度增长算子的组合,并进一步采用这些增长算子的Kronecker分解来编码架构知识。跨语言和视觉Transformer的广泛实验表明,我们学习的线性增长算子(LiGO)可以从头开始节省高达50%的训练计算成本,同时也始终优于强基线,这些基线也重用较小的预训练模型来初始化较大的模型。
2023-03-02 cs.LG
Train Large, Then Compress: Rethinking Model Size for Efficient Training and Inference of Transformers
UC Berkeley(加州大学伯克利分校)
由于硬件资源有限,训练深度学习模型的目标通常是在训练和推理的时间和内存约束下最大化准确性。我们研究了模型大小在这种情况下的影响,重点关注受计算限制的NLP任务的Transformer模型:自监督预训练和高资源机器翻译。我们首先表明,即使较小的Transformer模型执行更快的每次迭代,更广泛和更深入的模型收敛在显着更少的步骤。此外,这种收敛的加速通常超过使用更大模型的额外计算开销。因此,计算效率最高的训练策略是反直觉地训练非常大的模型,但在少量迭代后停止。这导致大型Transformer模型的训练效率和小型Transformer模型的推理效率之间出现明显的权衡。然而,我们表明,大型模型比小型模型更强大的压缩技术,如量化和修剪。因此,可以两全其美:高度压缩的大型模型比轻度压缩的小型模型具有更高的精度。
2020-06-23 cs.CL cs.LG
Understanding Transfer Learning for Chest Radiograph Clinical Report Generation with Modified Transformer Architectures
Stanford University(斯坦福大学);Stanford Medicine(斯坦福医学院)
图像字幕任务在医学人工智能应用中越来越普遍。一个重要的应用是从胸部射线照片生成临床报告。非结构化报告的临床写作是耗时且容易出错的。自动化系统将提高标准化,减少错误,节省时间和医疗服务。在本文中,我们证明了特定领域的预训练的重要性,并提出了一个修改后的Transformer架构的医学图像字幕任务。为了实现这一点,我们训练了一系列经过修改的Transformers,以从胸部射线照片图像输入生成临床报告。这些修改的Transformers包括:具有使用ImageNet预训练权重的视觉提取器的网状存储器增强的Transformer架构,具有使用CheXpert预训练权重的视觉提取器的网状存储器增强的Transformer架构,以及网状存储器增强的Transformer,其编码器通过使用ImageNet预训练权重和CheXpert预训练权重的级联嵌入。我们使用BLEU(1-4)、ROUGE-L、CIDER和临床CheXbert F1评分来验证我们的模型,并展示与最先进模型的竞争性评分。我们提供的证据表明,ImageNet预训练不适合医学图像字幕任务,特别是对于不太常见的情况(例如:扩大的心内膜,肺部病变,气胸)。此外,我们证明了双特征模型可以提高特定医疗条件(水肿,实变,气胸,支持设备)和整体CheXbert F1评分的性能,并应在未来的工作中进一步开发。这样的双特征模型,包括ImageNe…
2022-05-05 cs.AI cs.CV cs.LG
A General and Efficient Training for Transformer via Token Expansion
School of Computer Science and Technology, East China Normal University(华东师范大学计算机科学与技术学院);Tencent Youtu Lab(腾讯云图实验室);Xiamen University(厦门大学);Beihang University(北京航空航天大学);Key Laboratory of Advanced Theory and Application in Statistics and Data Science - MOE(先进理论与应用统计科学教育部重点实验室)
本文提出令牌扩展(ToE)方法,通过“初始化-扩展-合并”流程保持特征分布完整性,在不改变超参数和架构的前提下实现ViTs约1.3倍无损训练加速,并可无缝集成到现有训练框架中。
2024-03-31 cs.AI cs.CL cs.CV
Stabilizing Transformer Training Through Consensus
本文提出共识机制作为注意力的替代方案,通过改进变换器训练的稳定性,提升在不同数据模态下的学习效率。
2026-01-30 cs.LG
Training Transformers with Enforced Lipschitz Constants
本文开发了计算高效的范数约束工具,实现了在训练全程强制Lipschitz界的Transformer,并发现Muon优化器与协同设计的权重约束方法能改善Lipschitz界与性能的权衡。
2025-07-17 cs.LG
The Dark Side of the Language: Pre-trained Transformers in the DarkNet
University of Rome Tor Vergata(罗马第二大学);University of Rome "Sapienza"(罗马智慧大学)
本文研究预训练 Transformer 在暗网语料上的表现,发现其优势依赖预训练语料覆盖,需通过极端领域适应才能恢复高水平性能。
2023-11-17 cs.CL cs.LG
Vision Transformers with Patch Diversification
University of Texas at Austin(德克萨斯大学奥斯汀分校);Facebook(脸书)
视觉Transformer在具有挑战性的计算机视觉任务中表现出了良好的性能。然而,直接训练视觉Transformer可能产生不稳定和次优的结果。最近的工作提出通过修改Transformer结构来改进视觉Transformer的性能,例如,结合卷积层。相比之下,我们研究了一种正交方法来稳定视觉Transformer训练,而无需修改网络。我们观察到训练的不稳定性可以归因于提取的补丁表示之间的显著相似性。更具体地说,对于深度视觉Transformer,自注意力块倾向于将不同的补丁映射到类似的潜在表示中,从而产生信息丢失和性能下降。为了缓解这个问题,在这项工作中,我们在视觉Transformer训练中引入了新的损失函数,以明确鼓励补丁表示的多样性,以实现更具鉴别力的特征提取。我们的经验表明,我们提出的技术稳定的训练,并允许我们训练更广泛和更深的视觉Transformer。我们进一步表明,多样化的功能显着有利于下游任务的迁移学习。对于语义分割,我们增强了Cityscapes和ADE 20 k上的最新(SOTA)结果。我们的代码可在https://github.com/ChengyueGongR/PatchVisionTransformer上获得。
2021-06-11 cs.CV cs.LG
Simplifying Transformer Blocks
ETH Zurich(苏黎世联邦理工学院)
本研究基于信号传播理论简化标准Transformer块,移除跳跃连接、归一化层等组件,在保持训练速度和性能的同时实现15%的训练加速和参数减少。
2024-05-31 cs.LG
A Study on Transformer Configuration and Training Objective
National University of Singapore(新加坡国立大学);Nanyang Technological University(南洋理工大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
本文重新审视了Transformer的常规配置,发现掩码自编码器能缓解深层训练的过平滑问题,提出更深更窄的Bamboo配置,在ImageNet和GLUE上均超越现有模型。
2023-05-18 cs.AI cs.CL cs.CV
HORST: Composing Optimizer Geometries for Sparse Transformer Training
CISPA Helmholtz Center for Information Security(CISPA 河岸信息安全中心)
本文提出HORST,一种结合优化几何的模块化优化器,通过超几何镜像映射引入L1稀疏性偏置,以在保持训练稳定性的同时促进稀疏性。
2026-05-20 cs.LG
Training Dynamics of Transformers on Unbounded Inputs: Attention Learning Can Lag Output Layer Learning
Technical University of Munich(慕尼黑工业大学)
该研究针对无界输入下Transformer的训练动力学,发现注意力学习可滞后于输出层学习,提出三阶段梯度下降训练法,验证其在多类任务中有效。
2026-10-14 cs.LG
Towards a Unified Foundation Model: Jointly Pre-Training Transformers on Unpaired Images and Text
Google Research(谷歌研究院);University of California, Los Angeles(加州大学洛杉矶分校)
在本文中,我们探讨了建立一个统一的基础模型,可以适应这两个视觉只和文本的任务的可能性。从BERT和ViT出发,我们设计了一个统一的Transformer,它由特定于模态的标记器、共享的Transformer编码器和特定于任务的输出头组成。为了有效地在未配对的图像和文本上联合预训练所提出的模型,我们提出了两种新技术:(i)我们采用单独训练的BERT和ViT模型作为教师,并应用知识蒸馏为联合训练提供额外的,准确的监督信号;(ii)我们提出了一种新的梯度掩蔽策略来平衡图像和文本预训练损失的参数更新。我们通过分别对图像分类任务和自然语言理解任务进行微调来评估联合预训练的Transformer。实验结果表明,所得到的统一基础Transformer在纯视觉和纯文本任务上都表现得非常好,所提出的知识蒸馏和梯度掩蔽策略可以有效地将性能提升到接近单独训练模型的水平。
2021-12-14 cs.CV cs.LG
JDI-T: Jointly trained Duration Informed Transformer for Text-To-Speech without Explicit Alignment
Kakao Corp.(卡考公司);Kakao Enterprise Corp.(卡考企业公司)
我们提出了联合训练的持续时间通知Transformer(JDI-T),前馈Transformer与持续时间预测器联合训练,没有明确的对齐,以产生一个声学特征序列从输入文本。在这项工作中,受FastSpeech和Durian等持续时间通知网络最近成功的启发,我们进一步将其顺序的两阶段训练管道简化为单阶段训练。具体来说,我们在联合训练期间从自回归Transformer中实时提取音素持续时间,而不是预先训练自回归模型并将其用作音素持续时间提取器。据我们所知,这是第一个联合训练前馈Transformer而不依赖于单个训练管道中的预训练音素持续时间提取器的实现。我们评估所提出的模型的有效性公开可用的韩国单说话人语音(KSS)数据集相比,基线文本转语音(TTS)模型训练ESPnet-TTS。
2020-10-05 cs.CL cs.LG cs.SD
Fine-Tuning Pre-trained Transformers into Decaying Fast Weights
Jenni
自回归Transformers是强语言模型,但由于自注意机制,在每个令牌生成期间会产生O(T)复杂度。最近的工作提出了基于核的方法来近似因果自我注意,通过使用具有各种更新规则和特征映射的递归公式来替换它,以实现O(1)的时间和内存复杂度。我们探索了这些方法,发现它们不必要地复杂,并提出了一个简单的替代方案-衰减快速权重-在GPU上运行速度快,优于以前的方法,并保留了GPT-2的99%的注意力性能。我们还显示了对WikiText-103对更复杂的注意力替代品的竞争力表现。
2022-10-09 cs.LG
Efficient Training of Audio Transformers with Patchout
Johannes Kepler University Linz(林茨约翰内斯·开普勒大学)
基于transformer的模型在自然语言处理(NLP)中的巨大成功导致了各种尝试,使这些架构适应其他领域,如视觉和音频。最近的研究表明,Transformers在视觉和音频任务上的表现优于卷积神经网络(CNN)。然而,与成熟的CNN相比,Transformer模型的主要缺点之一是计算复杂性。在Transformers中,计算和内存的复杂度与输入长度成二次方增长。因此,在优化Transformers方面进行了大量的工作,但往往以降低预测性能为代价。在这项工作中,我们提出了一种新的方法来优化和正则化音频频谱图上的Transformers。我们提出的模型在Audioset上实现了最先进的性能,并且可以在单个消费级GPU上进行训练。此外,我们提出了一个Transformer模型,它在性能和训练速度方面都优于CNN。源代码:https://github.com/kkoutini/PaSST
2022-03-29 cs.LG cs.SD eess.AS
Understanding Generalization in Transformers: Error Bounds and Training Dynamics Under Benign and Harmful Overfitting
Zhongtai Securities Institute for Financial Studies, Shandong University(山东大学中泰证券金融研究院);School of Artificial Intelligence, Beijing Normal University(北京师范大学人工智能学院);Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院)
本文研究带标签翻转噪声的两层 Transformer,在不同 SNR 下刻画良性与有害过拟合的三阶段训练动态及泛化误差界,并通过实验验证理论预测。
2025-02-18 cs.LG
When Adversarial Training Meets Vision Transformers: Recipes from Training to Architecture
Peking University(北京大学);The University of Tokyo(东京大学)
视觉Transformer(ViTs)最近在宽视觉任务中实现了具有竞争力的性能。不幸的是,在流行的威胁模型上,自然训练的ViT并不比卷积神经网络(CNN)提供更多的对抗鲁棒性。对抗性训练仍然是必要的,以抵御这种对抗攻击。在本文中,我们通过对基准数据集上的各种训练技术进行广泛评估,首次全面研究了ViTs的对抗性训练方法。我们发现预训练和SGD优化器对于ViTs的对抗训练是必要的。进一步考虑ViT作为一种新型的模型架构,我们从其独特的架构组件的角度研究其对抗鲁棒性。我们发现,当在对抗性训练期间随机掩蔽来自某些注意力块的梯度或掩蔽某些补丁上的扰动时,ViTs的对抗性鲁棒性可以显着提高,这可能会开辟一条探索新设计的模型(如ViTs)内部架构信息的工作路线。我们的代码可在https://github.com/mo666666/When-Adversarial-Training-Meets-Vision-Transformers上获得。
2022-10-14 cs.CV cs.LG
SPION: Layer-Wise Sparse Training of Transformer via Convolutional Flood Filling
Sogang University(西江大学)
本文提出SPION方法,结合卷积滤波器和洪泛填充实现Transformer逐层稀疏注意力训练,在GPU上相比现有稀疏Transformer最高加速3.08倍且评估质量更优。
2023-09-22 cs.DC cs.LG
Training Transformers for Information Security Tasks: A Case Study on Malicious URL Prediction
FireEye Inc.(火眼公司)
用于信息安全(InfoSec)的机器学习(ML)利用不同的数据类型和格式,这些类型和格式在对原始数据进行优化/训练期间需要不同的处理。在本文中,我们实现了一个恶意/良性的URL预测器的基础上,从零开始训练的Transformer架构。我们表明,与传统的自然语言处理(NLP)Transformers相比,该模型需要不同的训练方法才能正常工作。具体来说,我们表明:1)在自回归任务的大量未标记URL数据语料库上进行预训练并不容易转移到恶意/良性预测,但2)使用辅助自回归损失可以提高从头开始训练时的性能。我们介绍了一种混合目标优化的方法,动态平衡两个损失项的贡献,使它们都不占主导地位。我们表明,这种方法产生的性能与几个性能最好的基准分类器。
2020-11-05 cs.CR cs.LG
Utilizing Evolution Strategies to Train Transformers in Reinforcement Learning
Faculty of Mathematics and Physics, Charles University(数学与物理系,查理大学);Institute of Computer Science, Czech Academy of Sciences(计算机科学研究所,捷克科学院)
本研究探索进化策略训练强化学习中Transformer架构策略智能体的能力,采用OpenAI高并行化进化策略在MuJoCo Humanoid和Atari环境训练Decision Transformer,验证了该黑盒方法可训练复杂大模型并取得优异性能。
2025-07-30 cs.LG cs.NE
Generalization Bounds on Optimal Control for Transformer Training and Wasserstein Distributional Robustness
Bilkent University(比尔肯特大学)
该研究推导了Transformer训练的有限样本泛化界,通过将训练问题转化为马尔可夫控制问题,结合量化模型与Wasserstein分布鲁棒优化,建立了Transformer泛化与分布鲁棒控制的关联。
2026-07-31 cs.LG math.OC
Multi-head or Single-head? An Empirical Comparison for Transformer Training
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Google Research(谷歌研究院)
多头注意力在最近Transformer模型的成功中起着至关重要的作用,这导致了在各种应用中相对于传统注意力的一致性能改进。普遍的看法是,这种有效性源于共同参加多个职位的能力。在本文中,我们首先证明,共同出席多个位置是不是一个独特的特点,多头注意力,作为多层次的单头注意也出席多个位置,更有效。然后,我们认为多头注意力的主要优点是训练的稳定性,因为它具有较少的层数比单头注意,当出席相同数量的位置。例如,24层16头Transformer(BERT-large)和384层单头Transformer的总关注头数相同,模型尺寸大致相同,而多头的要明显浅一些。同时,我们表明,随着深度学习的最新进展,我们可以成功地稳定384层Transformer的训练。由于训练难度不再是瓶颈,因此更深的单头Transformer实现了一致的性能改进,而无需调整超参数。
2021-06-17 cs.CL cs.LG
Sparsifying Transformer Models with Trainable Representation Pooling
Jagiellonian University(雅盖隆大学);Poznan University of Technology(波兹南理工大学)
我们提出了一种新的方法来稀疏注意力的Transformer模型,学习选择最信息的令牌表示在训练过程中,从而专注于特定于任务的输入部分。由于采用了一个鲁棒的可训练top- $k$算子,算法的时间和内存复杂度都降低到了次线性.我们在一个具有挑战性的长文档摘要任务上的实验表明,即使是我们简单的基线也可以达到当前的SOTA,并且通过可训练的池化,我们可以保持其最高质量,同时在训练过程中$1.8\times$更快,在推理过程中$4.5\times$更快,在解码器中$13\times$的计算效率更高。
2022-03-07 cs.CL cs.LG
Finding Skill Neurons in Pre-trained Transformer-based Language Models
Tsinghua University(清华大学)
基于transformer的预训练语言模型在各种自然语言处理任务上表现出优越的性能。然而,目前尚不清楚处理这些任务所需的技能如何在模型参数之间分布。在本文中,我们发现,在针对特定任务进行提示微调后,预先训练的Transformers中的一些神经元的激活对任务标签具有高度预测性。我们将这些神经元称为技能神经元,并通过以下发现证实它们编码特定于任务的技能:(1)技能神经元对于处理任务至关重要。当相应的技能神经元受到干扰时,预先训练好的Transformers在任务上的表现会显著下降。(2)技能神经元是任务特定的。相似的任务往往具有相似的技能神经元分布。此外,我们证明了技能神经元最有可能在预训练而不是微调中生成,通过显示提示微调发现的技能神经元对于其他微调方法(冻结神经元权重)也至关重要,例如基于适配器的调整和BitFit。我们还探索了技能神经元的应用,包括通过网络修剪加速Transformers和构建更好的可转移性指标。这些发现可能会促进进一步的研究,了解Transformers。源代码可以从https://github.com/THU-KEG/Skill-Neuron获得。
2022-11-14 cs.CL cs.LG
From Coarse to Fine: Efficient Training for Audio Spectrogram Transformers
Korea Advanced Institute of Science and Technology(韩国科学技术院)
本文提出基于时间压缩的粗到细多阶段课程训练方法,在降低计算资源和时间成本的同时提升或保持AST音频分类性能,并适用于其他AST方法。
2024-01-16 cs.LG cs.SD eess.AS
Gradient-Based Adversarial Training on Transformer Networks for Detecting Check-Worthy Factual Claims
Plano West Senior High School(普莱诺西部高中);The University of Texas at Arlington(德克萨斯大学阿灵顿分校)
我们提出了一个对抗性训练的有效性研究Transformer神经网络模型,相对于检测检查值得索赔的任务。在这项工作中,我们介绍了第一个逆向正则化的,基于transformer的索赔检举模型,该模型在多个具有挑战性的基准测试中获得了最先进的结果。我们分别在ClaimBuster数据集和CLEF2019数据集上获得了比当前最先进模型高4.70分的F1分数。在此过程中,我们提出了一种将对抗训练应用于Transformer模型的方法,该方法有可能推广到许多类似的文本分类任务。随着我们的结果,我们正在发布我们的代码库和手动标记的数据集。我们还通过一个实时的公共API展示了我们模型的真实使用情况。
2020-05-21 cs.CL cs.LG
TransCODE: Co-design of Transformers and Accelerators for Efficient Training and Inference
Princeton University(普林斯顿大学)
机器学习模型和评估硬件的自动协同设计对于大规模有效部署此类模型至关重要。尽管Transformer模型具有最先进的性能,但它们还不能在资源受限的硬件平台上执行。Transformer架构的高存储器要求和低并行性加剧了这个问题。最近提出的加速器试图优化Transformer模型的吞吐量和能耗。然而,这样的工作要么局限于模型架构的片面搜索,要么局限于一组现成的设备。此外,以前的工作只加速模型推理而不是训练,这会导致更高的内存和计算资源,使问题更具挑战性。为了解决这些限制,这项工作提出了一个动态的训练框架,称为DynaProp,加快训练过程,减少内存消耗。DynaProp是一种低开销的修剪方法,可以在运行时修剪激活和梯度。为了有效地执行这种方法的硬件上的一组不同的Transformer架构,我们提出了ELECTOR,一个框架,模拟Transformer推理和训练的设计空间的加速器。我们使用这个模拟器结合拟议的协同设计技术,称为代码转换,以获得最佳性能的模型,在给定的任务上具有高精度,并最大限度地减少延迟,能耗和芯片面积。所获得的变压器-加速器对实现了比最先进的对高0.3%的准确度,同时产生低5.2 $\times$的延迟和低3.0 $\times$的能量消耗。
2023-03-27 cs.AR cs.LG