Vision-and-Language Navigation Generative Pretrained Transformer
School of Artificial Intelligence and Automation(人工智能与自动化学院);Huazhong University of Science and Technology(华中科技大学)
提出VLN-GPT,采用GPT2解码器建模轨迹序列以替代历史编码模块,结合模仿学习预训练和强化学习微调,在VLN数据集上超越现有编码器模型。
2024-05-27 cs.AI cs.CL cs.CV
Learning from Visual Observation via Offline Pretrained State-to-Go Transformer
BAAI(北京智源人工智能研究院);PKU(北京大学)
提出两阶段框架,离线预训练STG变换器预测演示转移,为强化学习提供内在奖励,在Atari和Minecraft上超越基线,部分任务媲美环境奖励策略。
2023-06-22 cs.CV cs.LG
Pretrained Transformers as Universal Computation Engines
UC Berkeley(加州大学伯克利分校);Facebook AI Research(脸书人工智能研究院);Google Brain(谷歌大脑)
我们研究了在自然语言上预训练的Transformer以最小的微调推广到其他模态的能力-特别是,没有微调残差块的自注意和前馈层。我们考虑这样一个模型,我们称之为冻结预训练Transformer(FPT),并研究在各种序列分类任务上对其进行微调,这些任务包括数值计算,视觉和蛋白质折叠预测。与之前研究在与预训练数据集相同的模态上进行微调的工作相比,我们表明,在自然语言上进行预训练可以提高非语言下游任务的性能和计算效率。此外,我们对架构进行了分析,比较了随机初始化的Transformer与随机LSTM的性能。结合这两种见解,我们发现语言预训练的Transformers可以在各种非语言任务上获得强大的性能。
2021-06-30 cs.AI cs.LG
Don't Sweep your Learning Rate under the Rug: A Closer Look at Cross-modal Transfer of Pretrained Transformers
Facebook AI Research(脸书人工智能研究院);University of Washington(华盛顿大学);University College London(伦敦大学学院)
在文本语料库上对大规模Transformer模型进行自我监督预训练,然后进行微调,在许多自然语言处理任务上取得了最先进的水平。最近,Lu等人(2021,arXiv:2103.05247)声称,在一组转移任务中,冻结的预训练Transformers(FPT)匹配或优于从头开始的训练以及未冻结(微调)的预训练Transformers。在我们的工作中,我们发现这个结果实际上是没有调优学习率的结果。在仔细重新设计经验设置后,我们发现,当适当调整学习率时,预训练的Transformers在我们所有的任务中都优于或匹配从头开始的训练,但只有当整个模型被微调时。因此,虽然从预训练的语言模型转移到其他模态确实为未来的工作提供了令人兴奋的可能性,但正确调整超参数对于获得强大的发现非常重要。
2021-07-26 cs.AI cs.LG
How Effective is Task-Agnostic Data Augmentation for Pretrained Transformers?
Apple Inc.(苹果公司)
任务无关形式的数据增强已被证明在计算机视觉中广泛有效,即使在预训练模型上也是如此。在NLP中,类似的结果最常见于低数据状态,非预训练模型或预训练模型的情况。在本文中,我们问如何有效的这些技术真的是当应用到预先训练的Transformers。使用两种流行的任务无关数据增强(不针对任何特定任务),简单的数据增强(Wei和Zou,2019)和反向翻译(Sennrichet等人,2015),我们对它们在5个分类任务、6个数据集和3个现代预训练Transformers变体(包括BERT、XLNet和RoBERTa)中的效果进行了系统的检查。我们观察到一个负面的结果,发现以前报告的非预训练模型的强大改进的技术未能持续提高预训练Transformers的性能,即使训练数据是有限的。我们希望这种实证分析有助于告知从业者,数据增强技术可能会带来改进。
2020-10-05 cs.AI cs.LG stat.ML
Pretrained Transformers for Simple Question Answering over Knowledge Graphs
University of Bonn(波恩大学);Ruhr University Bochum(波鸿鲁尔大学);Fraunhofer IAIS(弗劳恩霍夫应用信息技术研究所)
在知识图谱上生成简单问题是问答中的一个研究热点。以前用于此任务的方法建立在基于递归和卷积神经网络的架构上,这些架构使用预训练的词嵌入。最近的研究表明,微调预训练的Transformer网络(例如BERT)可以在各种自然语言处理任务上优于以前的方法。在这项工作中,我们调查如何以及BERT执行SimpleQuestions,并提供了一个评估的BERT和BiLSTM为基础的模型,在codeparse方案。
2020-01-31 cs.AI cs.CL cs.LG
Scaling Linear Mode Connectivity and Merging to Billion Parameter Pretrained Transformers
MBZUAI(穆罕默德·本·扎耶德人工智能大学)
提出一种可扩展框架,通过参数化权重变换和双向优化实现十亿参数预训练Transformer的线性模式连通性与合并,显著降低插值障碍。
2026-06-23 cs.AI cs.LG
The Reservoir Attention Network: Cross-Pass State in Pretrained Transformers via Content-Addressable Reservoir Injection
Emma Leonhart
提出储层注意力网络(RAN),通过在预训练Transformer中间层注入固定随机储层来携带跨前向传播状态,实验表明未训练的循环动态足以传递可用状态。
2026-06-23 cs.AI cs.LG
AMMU : A Survey of Transformer-based Biomedical Pretrained Language Models
National Institute of Technology Trichy(蒂鲁吉拉伯利国立理工学院)
基于transformer的预训练语言模型(PLM)开创了现代自然语言处理(NLP)的新纪元。这些模型结合了Transformers、迁移学习和自监督学习(SSL)的强大功能。随着这些模型在一般领域的成功,生物医学研究界开发了各种领域内的PLM,从BioBERT到最新的BioELECTRA和BioALBERT模型。我们坚信需要一份调查论文,可以对各种基于transformer的生物医学预训练语言模型(BPLM)进行全面调查。在本调查中,我们首先简要概述了自监督学习、嵌入层和Transformer编码器层等基础概念。我们讨论了基于transformer的PLM的核心概念,如预训练方法,预训练任务,微调方法,以及特定于生物医学领域的各种嵌入类型。我们介绍了一个基于transformer的BPLM分类,然后讨论所有的模型。我们将讨论各种挑战并提出可能的解决方案。最后,我们强调了一些开放的问题,这将推动研究界进一步改善基于transformer的BPLM。
2021-09-02 cs.AI cs.CL cs.LG
A Pretrained Probabilistic Transformer for City-Scale Traffic Volume Prediction
Nankai University(南开大学);Zhejiang lab(浙江实验室)
本文提出预训练概率Transformer模型TrafficPPT,融合实时观测、历史轨迹和路网拓扑,将交通流量建模为轨迹分布聚合,并在多城市模拟数据上预训练、目标城市微调,在极端数据稀疏条件下显著超越现有基线。
2025-06-03 cs.AI cs.LG
Continuous Active Learning Using Pretrained Transformers
University of Waterloo(滑铁卢大学)
预训练和微调的Transformer模型,如BERT和T5,已经改善了自组织检索和问答的最新技术水平,但在高召回信息检索中还没有,其目标是检索基本上所有相关的文档。我们调查是否使用基于变换器的模型进行重新排序和/或特征化可以提高基线模型实现的TREC总召回跟踪,这代表了目前的高召回信息检索的最新技术水平。我们还介绍了CALBERT,一个模型,可用于不断微调基于相关反馈的BERT模型。
2022-08-15 cs.AI cs.IR cs.LG
Prompting a Pretrained Transformer Can Be a Universal Approximator
University of Oxford(牛津大学)
本文证明对预训练Transformer进行前缀微调可实现序列到序列函数的通用逼近,且单个注意力头即可逼近任意连续函数,并给出所需前缀长度的理论界。
2024-02-22 cs.AI cs.LG math.FA
Inner Loop Inference for Pretrained Transformers: Unlocking Latent Capabilities Without Training
IMT Atlantique, Lab-STICC, UMR CNRS 6285, Brest, France(IMT Atlantique,Lab-STICC,CNRS 6285,法国布列塔尼);Sony Europe Ltd. Stuttgart Technology Center, EUREC, Germany(索尼欧洲有限公司斯图加特技术中心,EUREC,德国)
通过在预训练语言模型中引入推理时的内循环,无需训练即可提升模型的潜在能力,实现更稳定的语义细化。
2026-03-02 cs.AI cs.LG
SpotAttention: Plug-In Block-Sparse Routing for Pretrained Long-Context Transformers
KAIST(韩国科学技术院)
提出SpotAttention,一种轻量级选择器,通过KL蒸馏学习估计注意力分布,实现块稀疏路由,在长上下文任务中匹配密集注意力精度并显著加速解码。
2026-06-23 cs.AI cs.LG
Pretrained Transformers Improve Out-of-Distribution Robustness
UC Berkeley(加州大学伯克利分校);Shanghai Jiao Tong University(上海交通大学);University of Chicago(芝加哥大学)
虽然预训练的Transformers(如BERT)在分布内示例上实现了高精度,但它们是否可以推广到新的分布?我们通过构建一个新的鲁棒性基准与现实的分布偏移,系统地测量了七个NLP数据集的分布外(OOD)泛化。我们测量了以前模型的泛化,包括词袋模型,ConvNets和LSTM,我们表明预训练的Transformers的性能下降幅度要小得多。预训练的Transformers在检测异常或OOD示例方面也更有效,而许多以前的模型通常比偶然性更差。我们研究了哪些因素影响鲁棒性,发现较大的模型不一定更鲁棒,蒸馏可能是有害的,更多样化的预训练数据可以增强鲁棒性。最后,我们展示了未来的工作可以提高OOD的鲁棒性。
2020-04-16 cs.CL cs.LG
ElastiFormer: Learned Redundancy Reduction in Transformer via Self-Distillation
Columbia University(哥伦比亚大学);Cold Spring Harbor Laboratory(冷泉港实验室);Northwestern University(西北大学)
ElastiFormer通过自蒸馏训练小型路由模块,将预训练Transformer变为可动态选择参数和token的弹性模型,实现20%-50%计算节省,并适用于语言、图像及视觉-语言等多种模态任务。
2024-11-22 cs.AI cs.LG
Pooling Attention: Evaluating Pretrained Transformer Embeddings for Deception Classification
Independent Researcher, USA(美国独立研究者);Independent Researcher, Japan(日本独立研究者)
本文通过评估预训练变换器嵌入在欺骗分类中的效果,发现BERT结合逻辑回归在LIAR数据集上表现最佳,证明了上下文自注意力编码的有效性。
2025-11-28 cs.AI cs.CL cs.LG
Understanding Differential Transformer Unchains Pretrained Self-Attentions
TwelveLabs;Seoul National University(首尔国立大学)
本研究揭示差分Transformer成功的三大关键因素,提出DEX方法通过复用softmax分数、添加轻量差分操作,以极少适配数据将差分注意力优势高效整合进预训练LLM,实现多基准性能显著提升。
2025-10-21 cs.LG
Deterministic Continuous Replacement: Fast and Stable Module Replacement in Pretrained Transformers
Bradbury Group(布拉德伯格集团);University of Waterloo(多伦多大学);SUNY Stony Brook(石溪大学);Delhi Technological University(德里技术大学);UC Berkeley(伯克利大学)
本文提出确定性连续替换(DCR)方法,通过融合教师和学生输出实现预训练变换器中快速且稳定的模块替换,有效解决了冷启动重新初始化带来的稳定性问题。
2025-11-24 cs.AI cs.CV cs.LG
Learning to Grow Pretrained Models for Efficient Transformer Training
University of Texas at Austin(德克萨斯大学奥斯汀分校);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);Columbia University(哥伦比亚大学);MIT(麻省理工学院)
缩放Transformers在许多领域取得了重大突破,导致了一种范式,在这种范式中,定期训练和发布现有模型的更大版本。这类模型的新实例通常是完全从头开始训练的,尽管它们通常只是较小模型的放大版本。我们如何使用现有的较小模型参数中的隐含知识来更快地训练更新的较大模型?本文描述了一种通过学习增长预训练的Transformers来加速Transformer训练的方法,在该方法中,我们学习线性映射较小模型的参数以初始化较大模型。为了便于学习,我们将线性变换分解为(线性)宽度和深度增长算子的组合,并进一步采用这些增长算子的Kronecker分解来编码架构知识。跨语言和视觉Transformer的广泛实验表明,我们学习的线性增长算子(LiGO)可以从头开始节省高达50%的训练计算成本,同时也始终优于强基线,这些基线也重用较小的预训练模型来初始化较大的模型。
2023-03-02 cs.LG
TPTT: Transforming Pretrained Transformers into Titans
针对大语言模型自注意力层二次方开销的问题,提出无需全量重训的TPTT框架,结合线性化注意力与内存门控增强预训练Transformer,在1B参数模型上实现效率与准确率提升,可低开销适配长上下文任务。
2025-08-31 cs.AI cs.CL cs.LG
Nonparametric Variational Regularisation of Pretrained Transformers
Idiap Research Institute(Idiap 研究院);Ecole Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
本文扩展NVIB框架替换Transformer所有注意力函数,提出恒等初始化将预训练Transformer重新解释为非参数变分模型,并证明改变初始化可在无训练情况下引入信息论正则化以改善域外泛化。
2023-12-01 cs.CL cs.LG
Scaling Transformers for Time Series Forecasting: Do Pretrained Large Models Outperform Small-Scale Alternatives?
Department of Computer and Information Science (IDA), REAL, AIICS, Linköping University, Sweden(计算机与信息科学系(IDA)、REAL、AIICS、利厄普大学,瑞典)
本文实证比较预训练大规模时间序列模型(如Moirai、TimeGPT)与传统小规模Transformer在多个基准上的表现,揭示预训练模型的优势与局限及其适用场景。
2025-06-24 cs.LG
Adaptive Pruning of Pretrained Transformer via Differential Inclusions
School of Data Science, Fudan University(复旦大学数据科学学院)
提出基于微分包含的SPP剪枝方法,在单次剪枝阶段内实现任意比例的Transformer剪枝,通过低秩压缩配对模块,兼顾性能与灵活性。
2025-02-28 cs.LG
From Sparsity to Simplicity: Enabling Simpler Sequential Replacements via Sparse Attention Distillation
University of Arizona(亚利桑那大学);TetraMem, Inc.(TetraMem公司)
本文提出通过稀疏注意力蒸馏实现更简单的顺序替换,通过分析transformer层中的稀疏模式,发现可以将复杂的token依赖分解为不同复杂度的序列到序列映射,并用更简单的顺序模块替代部分层功能,从而减少参数量和延迟。
2026-05-15 cs.AI cs.LG
Weight subcloning: direct initialization of transformers using larger pretrained ones
Apple(苹果公司)
该研究提出权重亚克隆技术,通过神经元重要性排序降维、删减模块两步,用大尺寸预训练Transformer初始化小模型,显著提升了视觉与语言Transformer的训练速度。
2023-12-14 cs.CL cs.CV cs.LG
Can Transformers Learn Sequential Function Classes In Context?
本研究通过引入滑动窗口序列函数类,在玩具级GPT-2模型上验证了Transformer能在上下文中学习非文本序列函数,且对标签噪声具有鲁棒性,为理解ICL的序列性机制奠定基础。
2023-12-21 cs.AI cs.CL cs.LG
Spectral Probe-Circuits: A Three-Step Recipe for Identifying Attention-Head Circuits in Pretrained Transformers
University of California, Berkeley(加州大学伯克利分校)
提出一种三步法,通过频谱信号排序、任务模式筛选和组消融因果验证,无需标签即可识别预训练Transformer中执行持续内容依赖计算的注意力头电路,并在多个模型上验证了其通用性和因果必要性。
2026-06-03 cs.AI cs.LG
Taming Pretrained Transformers for Extreme Multi-label Text Classification
Carnegie Mellon University(卡内基梅隆大学);Amazon(亚马逊);UT Austin(德克萨斯大学奥斯汀分校)
我们考虑极端的多标签文本分类(XMC)问题:给定一个输入文本,从一个大的标签集合中返回最相关的标签。例如,输入文本可以是Amazon.com上的产品描述,标签可以是产品类别。XMC是NLP社区中一个重要但具有挑战性的问题。最近,深度预训练的Transformer模型在许多NLP任务(包括句子分类)上取得了最先进的性能,尽管标签集很小。然而,天真地将深度Transformer模型应用于XMC问题会导致次优性能,这是由于大的输出空间和标签稀疏性问题。在本文中,我们提出了X-Transformer,第一个可扩展的方法来微调深度Transformer模型的XMC问题。该方法在四个XMC基准数据集上取得了新的最先进的结果。特别是,在一个拥有大约50万个标签的Wiki数据集上,X-Transformer的prec@1为77.28%,比最先进的XMC方法Parabel(线性)和AttentionXML(神经)有了很大的改进,分别达到了68.70%和76.95%的精度。我们进一步将X-Transformer应用于Amazon的product 2 query数据集,并在prec@1上获得了10.7%的相对改进。
2020-06-23 cs.AI cs.IR cs.LG
Verifier-Guided Model Discovery for Physical Dynamical Systems with Pretrained Symbolic Transformers
Imperial College London(伦敦帝国学院)
该研究提出了一种验证器引导式(VG)工作流程,基于预训练符号 Transformer ODEFormer 实现物理动力系统的可解释预测,在范德波尔振荡器和涡旋脱落场景中展现出优于原方法的性能与泛化能力。
2026-08-05 cs.AI cs.LG
PETRA: Pretrained Evolutionary Transformer for SARS-CoV-2 Mutation Prediction
Beijing Knowledge Atlas Joint Stock Company Limited(北京知识图谱股份有限公司)
本文提出PETRA,一种基于系统发育树进化轨迹的预训练Transformer,通过加权训练缓解全球序列数据不平衡,显著提升SARS-CoV-2未来突变预测性能并支持主要分支的实时突变预测。
2025-11-06 cs.AI cs.LG q-bio.GN
Lightweight Sequential Transformers for Blood Glucose Level Prediction in Type-1 Diabetes
Department of Informatics, Systems and Communication, University of Milano-Bicocca(信息学、系统与通信系,米兰-比科卡大学)
本文提出了一种轻量级顺序变换器模型,用于1型糖尿病的血糖预测,通过结合注意力机制和循环神经网络的优势,实现高效且准确的血糖预测与不良事件检测。
2025-06-14 cs.AI cs.LG
Sequential Diagnosis Prediction with Transformer and Ontological Representation
Australian Artificial Intelligence Institute, FEIT, University of Technology Sydney(悉尼科技大学澳大利亚人工智能研究所);School of Information Technology and Electrical Engineering, The University of Queensland(昆士兰大学信息技术与电气工程学院)
电子健康记录(EHR)上的顺序诊断预测已被证明对于医疗领域的预测分析至关重要。EHR数据是患者与医疗系统交互的顺序记录,具有时间性、不规则性和数据不充分性的许多固有特征。最近的一些工作训练医疗保健预测模型,通过利用EHR数据中的顺序信息,但他们是脆弱的不规则的,时间的EHR数据与入院/出院的状态,和数据不足。为了缓解这一问题,我们提出了一个端到端的强大的基于变换的模型称为SETOR,它利用神经常微分方程来处理患者的访问与承认的时间戳和每次访问的停留时间之间的不规则间隔,以减轻数据不足的限制,通过整合医学本体,并通过采用多层Transformer块来捕获患者的访问之间的依赖关系。在两个真实医疗数据集上进行的实验表明,我们的序列诊断预测模型SETOR不仅比以前的最先进的方法,无论训练数据充足或不足,取得更好的预测结果,而且还派生出更多的可解释的医疗代码嵌入。实验代码可以在GitHub仓库(https://github.com/Xueping/SETOR)上找到。
2021-09-07 cs.AI cs.LG
Self-supervised Learning Method Using Transformer for Multi-dimensional Sensor Data Processing
Kyushu Institute of Technology(九州工业大学)
本文提出一种基于Transformer架构的增强型n维数值处理模型,通过线性层嵌入、分箱预处理和输出层线性变换处理多维传感器信号,在五个数据集上使人类活动识别准确率较vanilla Transformer提升10%-15%。
2025-05-28 cs.AI cs.LG
Unlocking Pretrained Vision Transformers for Time Series Classification
Helmholtz Munich(海德堡-慕尼黑研究所);Technical University of Munich(慕尼黑技术大学);Munich Center for Machine Learning(慕尼黑机器学习中心);MDSI(慕尼黑数据科学研究所);Paris Noah’s Ark Lab(巴黎诺亚实验室)
提出TiViT框架,利用冻结的预训练视觉Transformer表征,无需微调即在时间序列分类上达到最先进性能,并发现与TSFM的互补性,通过特征拼接和持续预训练进一步提升性能。
2026-09-22 cs.AI cs.CV cs.LG
CoCoT-EEG: Contrastive-Pretrained Multiscale Convolutional Transformer for EEG Decoding
Sigma Nova Paris(巴黎西格玛诺瓦公司);Goethe University Frankfurt(法兰克福歌德大学)
研究针对EEG解码,开发了含多尺度时间卷积输入层和Transformer编码器块的对比预训练模型CoCoT,在广泛基准解码任务中表现出色,优于单任务解码模型,证明对比学习构建EEG基础模型可行,还给出架构设计考量。
2026-07-13 cs.LG q-bio.NC
ReMem: Mutual Information-Aware Fine-tuning of Pretrained Vision Transformers for Effective Knowledge Distillation
University of California, San Diego(加州大学圣迭戈分校);Google DeepMind(谷歌DeepMind);Google(谷歌);University of California, Davis(加州大学戴维斯分校)
针对大规模预训练 ViT 强模型知识蒸馏效果下降的问题,提出互信息感知微调与重加权 MLP 块启发式方法,使小型学生模型能有效从最强预训练模型中受益。
2025-06-29 cs.CV cs.LG
Future Sight: Dynamic Story Generation with Large Pretrained Language Models
University of Waterloo(滑铁卢大学)
深度学习研究的最新进展,如Transformers,增强了自动代理生成类似于人类所写的创造性文本的能力。默认情况下,Transformer解码器只能根据先前生成的文本生成新文本。在任何位置的候选标记的输出分布的条件下,先前选择的标记使用自我注意力机制,以模仿自回归的属性。这在本质上限制了诸如可控故事生成之类的任务,在可控故事生成中,在编写故事时可能需要以未来的情节事件为条件。在这项工作中,我们提出了Future Sight,这是一种在未来条件反射任务上微调预训练生成Transformer的方法。Transformer解码器通常通过自我注意力的方式预先训练完成上下文的任务,一次一个令牌。Future Sight还使解码器能够关注编码的未来情节事件。这促使解码器以逻辑上以所提供的未来结束的方式扩展上下文。在推理过程中,未来的情节事件可以由人类作者编写,以引导叙事在某个方向上生成。我们评估我们的方法的功效与人类评估的故事生成任务。
2022-12-20 cs.AI cs.CL cs.LG
How Much Does Attention Actually Attend? Questioning the Importance of Attention in Pretrained Transformers
Hebrew University of Jerusalem(耶路撒冷希伯来大学);University of Washington(华盛顿大学);Apple, Inc.(苹果公司);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
注意力机制被认为是广泛使用的Transformer架构的支柱。它通过计算特定于输入的注意力矩阵来将输入情境化。我们发现,这种机制虽然强大而优雅,但并不像预训练的语言模型那样重要。我们引入PAPA,一种新的探测方法,它用恒定的注意力矩阵(多个输入的平均注意力权重)代替了依赖于输入的注意力矩阵。我们使用PAPA来分析六个下游任务上的几个已建立的预先训练的Transformers。我们发现,在没有任何依赖于输入的注意力的情况下,所有模型都实现了具有竞争力的性能--与探测基线相比,平均相对下降仅为8%。此外,很少或没有观察到性能下降时,更换一半的输入相关的注意力矩阵与常数(输入无关)。有趣的是,我们发现,性能较好的模型在应用我们的方法时比较弱的模型损失更多,这表明依赖输入的注意力机制的利用可能是它们成功的一个因素。我们的研究结果激发了对输入依赖注意的更简单的替代方案的研究,以及在Transformer架构中更好地利用这种机制的方法。
2022-11-07 cs.CL cs.LG
Analyzing Redundancy in Pretrained Transformer Models
Qatar Computing Research Institute(卡塔尔计算研究所);HBKU Research Complex(哈马德·本·哈利法大学研究中心);MIT Computer Science and Artificial Intelligence Laboratory(麻省理工学院计算机科学与人工智能实验室)
基于transformer的深度NLP模型使用数亿个参数进行训练,限制了它们在计算受限环境中的适用性。在本文中,我们研究这些限制的原因,通过定义一个概念的Redemption,我们分为两类:一般Redemption和特定任务Redemption。我们剖析了两个流行的预训练模型,BERT和XLNet,研究它们在表示级别和更细粒度的神经元级别上表现出多少冗余。我们的分析揭示了有趣的见解,例如:i)整个网络中85%的神经元是冗余的,ii)当优化下游任务时,至少92%的神经元可以被删除。基于我们的分析,我们提出了一个有效的基于特征的迁移学习过程,保持97%的性能,而使用最多10%的原始神经元。
2020-10-06 cs.CL cs.LG
Ultra-Low-Bitrate Speech Coding with Pretrained Transformers
Google(谷歌)
语音编码有助于以最小失真在低带宽网络上传输语音。基于神经网络的语音编解码器最近已经证明了在质量上比传统方法有显著的改进。虽然这种新一代编解码器能够合成高保真语音,但它们使用的递归或卷积层通常会限制它们的有效感受域,这会阻止它们有效地压缩语音。我们建议通过使用预训练的Transformers进一步降低神经语音编解码器的比特率,由于它们的电感偏置,能够利用输入信号中的长程依赖性。因此,我们使用预训练的Transformer与卷积编码器串联,卷积编码器通过量化器和生成对抗网络解码器进行端到端训练。我们的数值实验表明,用Transformer语音嵌入补充神经语音编解码器的卷积编码器产生了一个比特率为$600\,\mathrm{bps}$的语音编解码器,当以相同的比特率训练时,该语音编解码器在合成语音质量方面优于原始神经语音编解码器。主观的人类评估表明,所得到的编解码器的质量与以三到四倍的速率操作的传统编解码器的质量相当或更好。
2022-07-05 cs.LG cs.SD eess.AS
Identifying Multi-modal Knowledge Neurons in Pretrained Transformers via Two-stage Filtering
Meiji University(明治大学)
本研究提出基于MiniGPT-4的两阶段过滤方法,通过图像修复激活差异和GradCAM梯度过滤识别多模态知识神经元,提升了知识定位精度,促进了MLLMs的可解释性与知识控制。
2025-03-29 cs.AI cs.LG cs.MM
Your CLIP has 164 dimensions of noise: Exploring the embeddings covariance eigenspectrum of contrastively pretrained vision-language transformers
Warsaw University of Technology(华沙技术大学);Centre for Credible Artificial Intelligence(可信人工智能中心);University of Warsaw(华沙大学)
本文通过协方差矩阵谱分解,揭示对比预训练VLMs的潜在空间中多模态噪声结构,发现去除共享噪声维度对下游任务性能无害,提供对现代VLMs表征结构的新见解。
2026-05-14 cs.AI cs.CV cs.LG
Fine-Tuning Pretrained Language Models With Label Attention for Biomedical Text Classification
Aalto University(阿尔托大学)
文本生物医学数据的大规模和增长使其索引和分类变得越来越重要。然而,关于这个主题的现有研究主要利用卷积和递归神经网络,它们通常比新型Transformers的性能要差。另一方面,应用Transformers的系统只关注目标文档,忽略了标签描述所包含的丰富语义信息。为了解决这个问题,我们开发了一个基于transformer的生物医学文本分类器,考虑标签信息。该系统实现了这一点与标签注意模块纳入微调过程中的预训练语言模型(PTM)。我们在两个公共医疗数据集上的结果表明,所提出的微调方案优于香草PTM和最先进的模型。
2022-03-07 cs.CL cs.LG
Pretrained transformer efficiently learns low-dimensional target functions in-context
University of California, Berkeley(加州大学伯克利分校);RIKEN AIP(理化学研究所人工智能项目);University of Tokyo(东京大学);New York University(纽约大学);Flatiron Institute(弗拉蒂伦研究所)
本文证明预训练Transformer通过非线性MLP层,在单指标函数类上实现样本高效的上下文学习,提示长度仅取决于目标函数的低维结构,优于直接学习算法。
2024-11-04 cs.LG stat.ML
NetGPT: Generative Pretrained Transformer for Network Traffic
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);Beijing Academy of Artificial Intelligence(北京人工智能研究院)
本文提出首个面向网络流量理解与生成的生成式预训练模型 NetGPT,通过多模式统一建模及字段打乱、报文切分和提示标签适配,显著提升多类下游任务性能。
2025-08-28 cs.AI cs.LG cs.NI
Magnitude Pruning of Large Pretrained Transformer Models with a Mixture Gaussian Prior
Purdue University(普渡大学)
针对大型预训练Transformer模型参数量大难部署的问题,提出采用混合高斯先验正则化的MGPP幅值剪枝算法,在多NLP任务尤其是高稀疏度下优于现有方法,并给出稀疏Transformer一致性的理论证明。
2024-11-01 cs.LG stat.ML
XDBERT: Distilling Visual Information to BERT from Cross-Modal Systems to Improve Language Understanding
National Taiwan University(台湾大学);Academia Sinica(中央研究院)
基于转换器的模型广泛用于自然语言理解(NLU)任务,多模态Transformers在视觉语言任务中非常有效。本研究探讨了从预训练的多模态Transformers到预训练的语言编码器的视觉信息提取。我们的框架的灵感来自于跨模态编码器在视觉语言任务中的成功,同时我们改变了学习目标以迎合NLU的语言重特性。经过少量额外的自适应步骤和微调训练后,所提出的XDBERT(跨模态蒸馏BERT)在一般语言理解评估(GLUE),对抗生成(SWAG)基准测试和可读性基准测试中的性能优于预训练的BERT。我们分析了XDBERT在GLUE上的性能,以表明这种改进可能是视觉上的。
2022-05-03 cs.AI cs.CL cs.LG
Pretrained Mobility Transformer: A Foundation Model for Human Mobility
Northeastern University(东北大学)
本研究提出了 Pretrained Mobility Transformer (PMT),利用无标签用户轨迹序列构建人类移动性基础模型,通过自回归方式处理轨迹并嵌入时空信息,在下一位置预测等下游任务中表现优异,有效解码人类移动模式。
2024-05-29 cs.LG
What Happens During Finetuning of Vision Transformers: An Invariance Based Investigation
MPI-SWS(马克斯·普朗克软件系统研究所);University of Maryland(马里兰大学)
本文提出衡量不变性保留与遗忘的新指标,通过多个基准任务分析视觉 Transformer 微调前后的表征变化,揭示浅层可迁移不变性及深层不变性向浅层压缩的现象。
2023-07-12 cs.CV cs.LG
CogVideo: Large-scale Pretraining for Text-to-Video Generation via Transformers
Tsinghua University(清华大学);BAAI(北京智源人工智能研究院)
大规模预训练的Transformers已经在文本(GPT-3)和文本到图像(DALL-E和CogView)生成方面创造了里程碑。其在视频生成中的应用还面临着许多挑战:潜在的巨大计算成本使得从头开始的训练难以负担;文本视频数据集的稀缺性和弱相关性阻碍了模型理解复杂的运动语义。在这项工作中,我们提出了9 B参数Transformer CogVideo,通过继承预训练的文本到图像模型CogView 2进行训练。我们还提出了多帧率分层训练策略,以更好地对齐文本和视频片段。作为(可能)第一个开源的大规模预训练文本到视频模型,CogVideo在机器和人类评估中大幅优于所有公开可用的模型。
2022-05-29 cs.CL cs.CV cs.LG
Token-Oriented Semantic Communication with Pretrained Vision Transformers
Pohang University of Science and Technology (POSTECH)(浦项科技大学(POSTECH))
该研究针对令牌通信的两大挑战,提出一种模块化的面向令牌的语义通信框架,利用ViT与LIC的空间对齐等技术,在ImageNet上实现了更优的速率-准确率权衡。
2026-09-09 cs.AI cs.CV cs.LG
Automated essay scoring using efficient transformer-based language models
Cambium Assessment, Inc.(坎比姆评估公司);University of Colorado, Boulder(科罗拉多大学博尔德分校)
自动作文评分(AES)是一项跨学科的工作,涉及教育,语言学和自然语言处理(NLP)。AES中NLP模型的有效性测试了它评估长期依赖性和推断含义的能力,即使文本写得很差。大型预训练的基于transformer的语言模型在许多NLP任务中占据了主导地位,然而,这些模型的计算要求使得它们在实践中部署起来非常昂贵。本文的目标是挑战NLP中的范式,即AES越大越好。为此,我们评估了几个微调的预训练NLP模型的性能,这些模型在AES数据集上具有适度数量的参数。通过集成我们的模型,我们比大多数基于transformer的预训练模型使用更少的参数获得了出色的结果。
2021-02-25 cs.CL cs.LG
SpecMaskFoley: Steering Pretrained Spectral Masked Generative Transformer Toward Synchronized Video-to-audio Synthesis via ControlNet
Sony Group Corporation, Japan(日本索尼集团公司)
SpecMaskFoley通过ControlNet引导预训练SpecMaskGIT模型,并设计频率感知时间特征对齐器解决视频时间特征与音频时频特性差异,在拟音合成基准上超越从头训练基线。
2025-07-17 cs.AI cs.LG cs.SD