Don't Sweep your Learning Rate under the Rug: A Closer Look at Cross-modal Transfer of Pretrained Transformers
Facebook AI Research(脸书人工智能研究院);University of Washington(华盛顿大学);University College London(伦敦大学学院)
在文本语料库上对大规模Transformer模型进行自我监督预训练,然后进行微调,在许多自然语言处理任务上取得了最先进的水平。最近,Lu等人(2021,arXiv:2103.05247)声称,在一组转移任务中,冻结的预训练Transformers(FPT)匹配或优于从头开始的训练以及未冻结(微调)的预训练Transformers。在我们的工作中,我们发现这个结果实际上是没有调优学习率的结果。在仔细重新设计经验设置后,我们发现,当适当调整学习率时,预训练的Transformers在我们所有的任务中都优于或匹配从头开始的训练,但只有当整个模型被微调时。因此,虽然从预训练的语言模型转移到其他模态确实为未来的工作提供了令人兴奋的可能性,但正确调整超参数对于获得强大的发现非常重要。
2021-07-26 cs.AI cs.LG
Pretrained Transformers for Simple Question Answering over Knowledge Graphs
University of Bonn(波恩大学);Ruhr University Bochum(波鸿鲁尔大学);Fraunhofer IAIS(弗劳恩霍夫应用信息技术研究所)
在知识图谱上生成简单问题是问答中的一个研究热点。以前用于此任务的方法建立在基于递归和卷积神经网络的架构上,这些架构使用预训练的词嵌入。最近的研究表明,微调预训练的Transformer网络(例如BERT)可以在各种自然语言处理任务上优于以前的方法。在这项工作中,我们调查如何以及BERT执行SimpleQuestions,并提供了一个评估的BERT和BiLSTM为基础的模型,在codeparse方案。
2020-01-31 cs.AI cs.CL cs.LG
Nonparametric Variational Regularisation of Pretrained Transformers
Idiap Research Institute(Idiap 研究院);Ecole Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
本文扩展NVIB框架替换Transformer所有注意力函数,提出恒等初始化将预训练Transformer重新解释为非参数变分模型,并证明改变初始化可在无训练情况下引入信息论正则化以改善域外泛化。
2023-12-01 cs.CL cs.LG
AMMU : A Survey of Transformer-based Biomedical Pretrained Language Models
National Institute of Technology Trichy(蒂鲁吉拉伯利国立理工学院)
基于transformer的预训练语言模型(PLM)开创了现代自然语言处理(NLP)的新纪元。这些模型结合了Transformers、迁移学习和自监督学习(SSL)的强大功能。随着这些模型在一般领域的成功,生物医学研究界开发了各种领域内的PLM,从BioBERT到最新的BioELECTRA和BioALBERT模型。我们坚信需要一份调查论文,可以对各种基于transformer的生物医学预训练语言模型(BPLM)进行全面调查。在本调查中,我们首先简要概述了自监督学习、嵌入层和Transformer编码器层等基础概念。我们讨论了基于transformer的PLM的核心概念,如预训练方法,预训练任务,微调方法,以及特定于生物医学领域的各种嵌入类型。我们介绍了一个基于transformer的BPLM分类,然后讨论所有的模型。我们将讨论各种挑战并提出可能的解决方案。最后,我们强调了一些开放的问题,这将推动研究界进一步改善基于transformer的BPLM。
2021-09-02 cs.AI cs.CL cs.LG
Pretrained Mobility Transformer: A Foundation Model for Human Mobility
Northeastern University(东北大学)
本研究提出了 Pretrained Mobility Transformer (PMT),利用无标签用户轨迹序列构建人类移动性基础模型,通过自回归方式处理轨迹并嵌入时空信息,在下一位置预测等下游任务中表现优异,有效解码人类移动模式。
2024-05-29 cs.LG
Weight subcloning: direct initialization of transformers using larger pretrained ones
Apple(苹果公司)
该研究提出权重亚克隆技术,通过神经元重要性排序降维、删减模块两步,用大尺寸预训练Transformer初始化小模型,显著提升了视觉与语言Transformer的训练速度。
2023-12-14 cs.CL cs.CV cs.LG
CoCoT-EEG: Contrastive-Pretrained Multiscale Convolutional Transformer for EEG Decoding
Sigma Nova Paris(巴黎西格玛诺瓦公司);Goethe University Frankfurt(法兰克福歌德大学)
研究针对EEG解码,开发了含多尺度时间卷积输入层和Transformer编码器块的对比预训练模型CoCoT,在广泛基准解码任务中表现出色,优于单任务解码模型,证明对比学习构建EEG基础模型可行,还给出架构设计考量。
2026-07-13 cs.LG q-bio.NC
ReMem: Mutual Information-Aware Fine-tuning of Pretrained Vision Transformers for Effective Knowledge Distillation
University of California, San Diego(加州大学圣迭戈分校);Google DeepMind(谷歌DeepMind);Google(谷歌);University of California, Davis(加州大学戴维斯分校)
针对大规模预训练 ViT 强模型知识蒸馏效果下降的问题,提出互信息感知微调与重加权 MLP 块启发式方法,使小型学生模型能有效从最强预训练模型中受益。
2025-06-29 cs.CV cs.LG
Continuous Active Learning Using Pretrained Transformers
University of Waterloo(滑铁卢大学)
预训练和微调的Transformer模型,如BERT和T5,已经改善了自组织检索和问答的最新技术水平,但在高召回信息检索中还没有,其目标是检索基本上所有相关的文档。我们调查是否使用基于变换器的模型进行重新排序和/或特征化可以提高基线模型实现的TREC总召回跟踪,这代表了目前的高召回信息检索的最新技术水平。我们还介绍了CALBERT,一个模型,可用于不断微调基于相关反馈的BERT模型。
2022-08-15 cs.AI cs.IR cs.LG
Prompting a Pretrained Transformer Can Be a Universal Approximator
University of Oxford(牛津大学)
本文证明对预训练Transformer进行前缀微调可实现序列到序列函数的通用逼近,且单个注意力头即可逼近任意连续函数,并给出所需前缀长度的理论界。
2024-02-22 cs.AI cs.LG math.FA
Scaling Linear Mode Connectivity and Merging to Billion Parameter Pretrained Transformers
MBZUAI(穆罕默德·本·扎耶德人工智能大学)
提出一种可扩展框架,通过参数化权重变换和双向优化实现十亿参数预训练Transformer的线性模式连通性与合并,显著降低插值障碍。
2026-06-23 cs.AI cs.LG
How Much Does Attention Actually Attend? Questioning the Importance of Attention in Pretrained Transformers
Hebrew University of Jerusalem(耶路撒冷希伯来大学);University of Washington(华盛顿大学);Apple, Inc.(苹果公司);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
注意力机制被认为是广泛使用的Transformer架构的支柱。它通过计算特定于输入的注意力矩阵来将输入情境化。我们发现,这种机制虽然强大而优雅,但并不像预训练的语言模型那样重要。我们引入PAPA,一种新的探测方法,它用恒定的注意力矩阵(多个输入的平均注意力权重)代替了依赖于输入的注意力矩阵。我们使用PAPA来分析六个下游任务上的几个已建立的预先训练的Transformers。我们发现,在没有任何依赖于输入的注意力的情况下,所有模型都实现了具有竞争力的性能--与探测基线相比,平均相对下降仅为8%。此外,很少或没有观察到性能下降时,更换一半的输入相关的注意力矩阵与常数(输入无关)。有趣的是,我们发现,性能较好的模型在应用我们的方法时比较弱的模型损失更多,这表明依赖输入的注意力机制的利用可能是它们成功的一个因素。我们的研究结果激发了对输入依赖注意的更简单的替代方案的研究,以及在Transformer架构中更好地利用这种机制的方法。
2022-11-07 cs.CL cs.LG
Analyzing Redundancy in Pretrained Transformer Models
Qatar Computing Research Institute(卡塔尔计算研究所);HBKU Research Complex(哈马德·本·哈利法大学研究中心);MIT Computer Science and Artificial Intelligence Laboratory(麻省理工学院计算机科学与人工智能实验室)
基于transformer的深度NLP模型使用数亿个参数进行训练,限制了它们在计算受限环境中的适用性。在本文中,我们研究这些限制的原因,通过定义一个概念的Redemption,我们分为两类:一般Redemption和特定任务Redemption。我们剖析了两个流行的预训练模型,BERT和XLNet,研究它们在表示级别和更细粒度的神经元级别上表现出多少冗余。我们的分析揭示了有趣的见解,例如:i)整个网络中85%的神经元是冗余的,ii)当优化下游任务时,至少92%的神经元可以被删除。基于我们的分析,我们提出了一个有效的基于特征的迁移学习过程,保持97%的性能,而使用最多10%的原始神经元。
2020-10-06 cs.CL cs.LG
The Reservoir Attention Network: Cross-Pass State in Pretrained Transformers via Content-Addressable Reservoir Injection
Emma Leonhart
提出储层注意力网络(RAN),通过在预训练Transformer中间层注入固定随机储层来携带跨前向传播状态,实验表明未训练的循环动态足以传递可用状态。
2026-06-23 cs.AI cs.LG
Transformers Pretrained on Procedural Data Contain Modular Structures for Algorithmic Reasoning
Australian Institute for Machine Learning (AIML), University of Adelaide(阿德莱德大学澳大利亚机器学习研究所);Idiap Research Institute(伊迪亚普研究所)
本文发现不同的程序化预训练规则能在小规模Transformer中注入不同且互补的模块化归纳结构,这些结构可组合以增强多种算法推理能力,为解耦知识获取与推理提供了可能。
2025-05-28 cs.LG
Ultra-Low-Bitrate Speech Coding with Pretrained Transformers
Google(谷歌)
语音编码有助于以最小失真在低带宽网络上传输语音。基于神经网络的语音编解码器最近已经证明了在质量上比传统方法有显著的改进。虽然这种新一代编解码器能够合成高保真语音,但它们使用的递归或卷积层通常会限制它们的有效感受域,这会阻止它们有效地压缩语音。我们建议通过使用预训练的Transformers进一步降低神经语音编解码器的比特率,由于它们的电感偏置,能够利用输入信号中的长程依赖性。因此,我们使用预训练的Transformer与卷积编码器串联,卷积编码器通过量化器和生成对抗网络解码器进行端到端训练。我们的数值实验表明,用Transformer语音嵌入补充神经语音编解码器的卷积编码器产生了一个比特率为$600\,\mathrm{bps}$的语音编解码器,当以相同的比特率训练时,该语音编解码器在合成语音质量方面优于原始神经语音编解码器。主观的人类评估表明,所得到的编解码器的质量与以三到四倍的速率操作的传统编解码器的质量相当或更好。
2022-07-05 cs.LG cs.SD eess.AS
A Pretrained Probabilistic Transformer for City-Scale Traffic Volume Prediction
Nankai University(南开大学);Zhejiang lab(浙江实验室)
本文提出预训练概率Transformer模型TrafficPPT,融合实时观测、历史轨迹和路网拓扑,将交通流量建模为轨迹分布聚合,并在多城市模拟数据上预训练、目标城市微调,在极端数据稀疏条件下显著超越现有基线。
2025-06-03 cs.AI cs.LG
Fine-Tuning Pretrained Language Models With Label Attention for Biomedical Text Classification
Aalto University(阿尔托大学)
文本生物医学数据的大规模和增长使其索引和分类变得越来越重要。然而,关于这个主题的现有研究主要利用卷积和递归神经网络,它们通常比新型Transformers的性能要差。另一方面,应用Transformers的系统只关注目标文档,忽略了标签描述所包含的丰富语义信息。为了解决这个问题,我们开发了一个基于transformer的生物医学文本分类器,考虑标签信息。该系统实现了这一点与标签注意模块纳入微调过程中的预训练语言模型(PTM)。我们在两个公共医疗数据集上的结果表明,所提出的微调方案优于香草PTM和最先进的模型。
2022-03-07 cs.CL cs.LG
Pretrained transformer efficiently learns low-dimensional target functions in-context
University of California, Berkeley(加州大学伯克利分校);RIKEN AIP(理化学研究所人工智能项目);University of Tokyo(东京大学);New York University(纽约大学);Flatiron Institute(弗拉蒂伦研究所)
本文证明预训练Transformer通过非线性MLP层,在单指标函数类上实现样本高效的上下文学习,提示长度仅取决于目标函数的低维结构,优于直接学习算法。
2024-11-04 cs.LG stat.ML
Magnitude Pruning of Large Pretrained Transformer Models with a Mixture Gaussian Prior
Purdue University(普渡大学)
针对大型预训练Transformer模型参数量大难部署的问题,提出采用混合高斯先验正则化的MGPP幅值剪枝算法,在多NLP任务尤其是高稀疏度下优于现有方法,并给出稀疏Transformer一致性的理论证明。
2024-11-01 cs.LG stat.ML
Inner Loop Inference for Pretrained Transformers: Unlocking Latent Capabilities Without Training
IMT Atlantique, Lab-STICC, UMR CNRS 6285, Brest, France(IMT Atlantique,Lab-STICC,CNRS 6285,法国布列塔尼);Sony Europe Ltd. Stuttgart Technology Center, EUREC, Germany(索尼欧洲有限公司斯图加特技术中心,EUREC,德国)
通过在预训练语言模型中引入推理时的内循环,无需训练即可提升模型的潜在能力,实现更稳定的语义细化。
2026-03-02 cs.AI cs.LG
Pooling Attention: Evaluating Pretrained Transformer Embeddings for Deception Classification
Independent Researcher, USA(美国独立研究者);Independent Researcher, Japan(日本独立研究者)
本文通过评估预训练变换器嵌入在欺骗分类中的效果,发现BERT结合逻辑回归在LIAR数据集上表现最佳,证明了上下文自注意力编码的有效性。
2025-11-28 cs.AI cs.CL cs.LG
What Happens During Finetuning of Vision Transformers: An Invariance Based Investigation
MPI-SWS(马克斯·普朗克软件系统研究所);University of Maryland(马里兰大学)
本文提出衡量不变性保留与遗忘的新指标,通过多个基准任务分析视觉 Transformer 微调前后的表征变化,揭示浅层可迁移不变性及深层不变性向浅层压缩的现象。
2023-07-12 cs.CV cs.LG
Deterministic Continuous Replacement: Fast and Stable Module Replacement in Pretrained Transformers
Bradbury Group(布拉德伯格集团);University of Waterloo(多伦多大学);SUNY Stony Brook(石溪大学);Delhi Technological University(德里技术大学);UC Berkeley(伯克利大学)
本文提出确定性连续替换(DCR)方法,通过融合教师和学生输出实现预训练变换器中快速且稳定的模块替换,有效解决了冷启动重新初始化带来的稳定性问题。
2025-11-24 cs.AI cs.CV cs.LG
SpotAttention: Plug-In Block-Sparse Routing for Pretrained Long-Context Transformers
KAIST(韩国科学技术院)
提出SpotAttention,一种轻量级选择器,通过KL蒸馏学习估计注意力分布,实现块稀疏路由,在长上下文任务中匹配密集注意力精度并显著加速解码。
2026-06-23 cs.AI cs.LG
Using Text-Based Life Trajectories from Swedish Register Data to Predict Residential Mobility with Pretrained Transformers
Department of Human Geography (KEG), Lund University, Sweden(人类地理系(KEG),隆德大学,瑞典);Department of Mathematics, Lund University, Sweden(数学系,隆德大学,瑞典);CIRCLE (Centre for Innovation, Research and Competence in the Learning Economy), Lund University, Sweden(创新、研究与学习经济竞争力中心(CIRCLE),隆德大学,瑞典)
利用瑞典注册数据中的文本生命轨迹,结合Transformer模型预测居住流动性,展示语义丰富数据与现代语言模型在纵向分析中的应用价值。
2025-11-26 cs.LG
Taming Pretrained Transformers for Extreme Multi-label Text Classification
Carnegie Mellon University(卡内基梅隆大学);Amazon(亚马逊);UT Austin(德克萨斯大学奥斯汀分校)
我们考虑极端的多标签文本分类(XMC)问题:给定一个输入文本,从一个大的标签集合中返回最相关的标签。例如,输入文本可以是Amazon.com上的产品描述,标签可以是产品类别。XMC是NLP社区中一个重要但具有挑战性的问题。最近,深度预训练的Transformer模型在许多NLP任务(包括句子分类)上取得了最先进的性能,尽管标签集很小。然而,天真地将深度Transformer模型应用于XMC问题会导致次优性能,这是由于大的输出空间和标签稀疏性问题。在本文中,我们提出了X-Transformer,第一个可扩展的方法来微调深度Transformer模型的XMC问题。该方法在四个XMC基准数据集上取得了新的最先进的结果。特别是,在一个拥有大约50万个标签的Wiki数据集上,X-Transformer的prec@1为77.28%,比最先进的XMC方法Parabel(线性)和AttentionXML(神经)有了很大的改进,分别达到了68.70%和76.95%的精度。我们进一步将X-Transformer应用于Amazon的product 2 query数据集,并在prec@1上获得了10.7%的相对改进。
2020-06-23 cs.AI cs.IR cs.LG
Deep-ELA: Deep Exploratory Landscape Analysis with Self-Supervised Pretrained Transformers for Single- and Multi-Objective Continuous Optimization Problems
Paderborn University(帕德博恩大学);TU Dresden(德累斯顿工业大学);ScaDS.AI Dresden/Leipzig(德累斯顿/莱比锡数据科学与人工智能中心);University of Twente(特文特大学)
针对ELA特征存在强相关性且难以用于多目标优化的问题,提出混合方法Deep-ELA,通过在数百万随机生成的优化问题上预训练四个Transformer学习景观深度表征,开箱即用或微调用于单/多目标连续优化问题的分析与算法行为理解。
2024-07-29 cs.LG
Generative Pretrained Hierarchical Transformer for Time Series Forecasting
University of Science and Technology of China(中国科学技术大学);Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院)
本文提出 GPHT,通过多场景混合数据预训练和自回归分层 Transformer,实现单一模型在任意预测时长下的泛化预测,并在八个数据集上显著优于基线。
2024-06-18 cs.LG
Automated essay scoring using efficient transformer-based language models
Cambium Assessment, Inc.(坎比姆评估公司);University of Colorado, Boulder(科罗拉多大学博尔德分校)
自动作文评分(AES)是一项跨学科的工作,涉及教育,语言学和自然语言处理(NLP)。AES中NLP模型的有效性测试了它评估长期依赖性和推断含义的能力,即使文本写得很差。大型预训练的基于transformer的语言模型在许多NLP任务中占据了主导地位,然而,这些模型的计算要求使得它们在实践中部署起来非常昂贵。本文的目标是挑战NLP中的范式,即AES越大越好。为此,我们评估了几个微调的预训练NLP模型的性能,这些模型在AES数据集上具有适度数量的参数。通过集成我们的模型,我们比大多数基于transformer的预训练模型使用更少的参数获得了出色的结果。
2021-02-25 cs.CL cs.LG
ElastiFormer: Learned Redundancy Reduction in Transformer via Self-Distillation
Columbia University(哥伦比亚大学);Cold Spring Harbor Laboratory(冷泉港实验室);Northwestern University(西北大学)
ElastiFormer通过自蒸馏训练小型路由模块,将预训练Transformer变为可动态选择参数和token的弹性模型,实现20%-50%计算节省,并适用于语言、图像及视觉-语言等多种模态任务。
2024-11-22 cs.AI cs.LG
TPTT: Transforming Pretrained Transformers into Titans
针对大语言模型自注意力层二次方开销的问题,提出无需全量重训的TPTT框架,结合线性化注意力与内存门控增强预训练Transformer,在1B参数模型上实现效率与准确率提升,可低开销适配长上下文任务。
2025-08-31 cs.AI cs.CL cs.LG
HVAC-DPT: A Decision Pretrained Transformer for HVAC Control
University of Cambridge(剑桥大学)
针对HVAC系统控制泛化性差、需大量训练数据的问题,提出HVAC-DPT决策预训练Transformer,基于上下文强化学习在交互历史上训练,无需额外训练即可部署到不同建筑,未见过建筑能耗较基线降45%。
2024-11-29 cs.AI cs.LG cs.MA
Generating Accurate Assert Statements for Unit Test Cases using Pretrained Transformers
Microsoft(微软)
单元测试代表了软件测试金字塔的基础,位于集成和端到端测试之下。自动化软件测试的研究人员已经提出了各种各样的技术来帮助开发人员完成这项耗时的任务。在本文中,我们提出了一种方法来支持开发人员编写单元测试的情况下,生成准确和有用的断言语句。我们的方法是基于一个国家的最先进的Transformer模型,最初预训练的英语文本语料库。这个语义丰富的模型然后以半监督的方式在大型源代码语料库上进行训练。最后,我们在为单元测试生成断言语句的任务上微调这个模型。生成的模型能够为给定的测试方法生成准确的断言语句。在我们的实证评估中,该模型能够在第一次尝试中预测开发人员在62%的情况下编写的确切断言语句。结果显示,与文献中先前基于RNN的方法相比,top-1准确度相对提高了80%。我们还展示了预训练过程对模型性能的实质性影响,并将其与断言自动完成任务进行了比较。最后,我们展示了我们的方法可以用来增强EvoSuite测试用例,额外的断言导致提高测试覆盖率。
2020-09-11 cs.LG cs.SE
CogVideo: Large-scale Pretraining for Text-to-Video Generation via Transformers
Tsinghua University(清华大学);BAAI(北京智源人工智能研究院)
大规模预训练的Transformers已经在文本(GPT-3)和文本到图像(DALL-E和CogView)生成方面创造了里程碑。其在视频生成中的应用还面临着许多挑战:潜在的巨大计算成本使得从头开始的训练难以负担;文本视频数据集的稀缺性和弱相关性阻碍了模型理解复杂的运动语义。在这项工作中,我们提出了9 B参数Transformer CogVideo,通过继承预训练的文本到图像模型CogView 2进行训练。我们还提出了多帧率分层训练策略,以更好地对齐文本和视频片段。作为(可能)第一个开源的大规模预训练文本到视频模型,CogVideo在机器和人类评估中大幅优于所有公开可用的模型。
2022-05-29 cs.CL cs.CV cs.LG
In-Context Curiosity: Distilling Exploration for Decision-Pretrained Transformers on Bandit Tasks
University of California, Los Angeles(加州大学洛杉矶分校);University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
针对决策预训练Transformer(DPTs)难以泛化到预训练数据分布外的问题,提出情境好奇心正则化项与PPT框架,用奖励预测误差作为内在信号鼓励探索,在高斯多臂老虎机实验中提升了分布外泛化鲁棒性。
2025-09-30 cs.AI cs.LG cs.MA
Compositional generalization in semantic parsing with pretrained transformers
New York University(纽约大学)
大规模的预训练将大量的知识灌输到深度神经网络中。这反过来又改善了这些模型在下游任务中的泛化行为。大规模预训练的泛化优势究竟有哪些限制?在这里,我们报告的意见,从一些简单的实验,旨在解决这个问题的背景下,涉及自然语言,扫描和COGS的两个语义解析任务。我们发现,与从头开始训练的模型相比,专门用非英语语料库,甚至用程序设计语言语料库预训练的语言模型在这些基准测试中显着提高了分布外泛化,即使这两个基准测试都是基于英语的。这证明了预先训练的表示和知识具有惊人的广泛可移植性。另一方面,使用大规模蛋白质序列预测任务进行预训练主要会恶化SCAN和COGS中的泛化性能,这表明预训练的表示不会普遍转移,并且预训练和下游域之间的相似性存在限制,以便成功转移。最后,我们表明,较大的模型更难从头开始训练,并且在相对较小的SCAN和COGS数据集上训练收敛时,其泛化精度较低,但大规模预训练的好处在较大的模型中变得更加清晰。
2022-12-22 cs.CL cs.LG cs.NE
Short-answer scoring with ensembles of pretrained language models
Cambium Assessment, Inc.(坎比姆评估公司)
我们使用Kaggle Automated Short Answer Scoring数据集研究了预训练的基于transformer的语言模型在简短答案问题上的有效性。我们微调了一系列流行的小型,基础和大型预训练的基于transformer的语言模型,并在数据集上训练一个特征库模型,目的是测试这些模型的集成。我们在训练中使用了早期停止机制和超参数优化。我们观察到,一般来说,较大的模型表现稍好,但是,他们仍然达不到自己的最先进的结果。一旦我们考虑模型的集合,就会发现许多大型网络的集合确实产生了最先进的结果,但是,这些集合太大,无法实际投入生产环境。
2022-02-23 cs.CL cs.LG
Adversarially Pretrained Transformers May Be Universally Robust In-Context Learners
The University of Tokyo(东京大学);Chiba University(千叶大学);National Institute of Informatics(国立信息学研究所)
本研究提出对抗性预训练的Transformer可作为普遍稳健的基础模型,通过上下文学习实现对多种下游任务的稳健泛化。
2026-03-01 cs.CV cs.LG stat.ML
PETRA: Pretrained Evolutionary Transformer for SARS-CoV-2 Mutation Prediction
Beijing Knowledge Atlas Joint Stock Company Limited(北京知识图谱股份有限公司)
本文提出PETRA,一种基于系统发育树进化轨迹的预训练Transformer,通过加权训练缓解全球序列数据不平衡,显著提升SARS-CoV-2未来突变预测性能并支持主要分支的实时突变预测。
2025-11-06 cs.AI cs.LG q-bio.GN
Learning from Visual Observation via Offline Pretrained State-to-Go Transformer
BAAI(北京智源人工智能研究院);PKU(北京大学)
提出两阶段框架,离线预训练STG变换器预测演示转移,为强化学习提供内在奖励,在Atari和Minecraft上超越基线,部分任务媲美环境奖励策略。
2023-06-22 cs.CV cs.LG
Discrete Multimodal Transformers with a Pretrained Large Language Model for Mixed-Supervision Speech Processing
Worcester Polytechnic Institute(伍斯特理工学院);University of Colorado Boulder(科罗拉多大学博尔德分校)
提出仅解码器的离散多模态语言模型(DMLM),应用于ASR、T2S等跨模态任务,探索损失函数、权重初始化、混合监督和码本等关键方面,发现结合监督与无监督训练、用预训练LLM初始化及Whisper激活码本能显著提升性能。
2024-06-25 cs.CL cs.LG eess.AS
Unlocking Pretrained Vision Transformers for Time Series Classification
Helmholtz Munich(海德堡-慕尼黑研究所);Technical University of Munich(慕尼黑技术大学);Munich Center for Machine Learning(慕尼黑机器学习中心);MDSI(慕尼黑数据科学研究所);Paris Noah’s Ark Lab(巴黎诺亚实验室)
提出TiViT框架,利用冻结的预训练视觉Transformer表征,无需微调即在时间序列分类上达到最先进性能,并发现与TSFM的互补性,通过特征拼接和持续预训练进一步提升性能。
2026-09-22 cs.AI cs.CV cs.LG
TunBERT: Pretrained Contextualized Text Representation for Tunisian Dialect
iCompass;InstaDeep
预训练的上下文文本表示模型学习自然语言的有效表示,使其机器可理解。在注意力机制取得突破后,新一代的预训练模型被提出,并在Transformer的引入后取得了良好的性能。Transformers的双向编码器表示(BERT)已成为语言理解的最先进的模型。尽管他们取得了成功,但大多数可用的模型都是在印欧语言上训练的,然而对于代表性不足的语言和方言的类似研究仍然很少。在本文中,我们调查的可行性培训单语transformer为基础的语言模型的代表性不足的语言,特别是突尼斯方言。我们在情感分析任务、方言识别任务和阅读理解问答任务上评估了我们的语言模型。我们表明,使用嘈杂的网络抓取数据,而不是结构化数据(维基百科,文章等)。对于这种非标准化的语言更方便。此外,结果表明,一个相对较小的网络爬行数据集导致的性能是一样好,使用较大的数据集。最后,我们最好的TunBERT模型在所有三个下游任务中达到或改进了最先进的水平。我们发布了TunBERT预训练模型和用于微调的数据集。
2021-11-25 cs.CL cs.LG
EchoPT: A Pretrained Transformer Architecture that Predicts 2D In-Air Sonar Images for Mobile Robotics
University of Antwerp(安特卫普大学);Flanders Make(佛兰德制造机构)
本文提出预训练Transformer架构EchoPT,通过先前的感觉数据和机器人自我运动信息预测二维空中声纳图像,以实现稳健的机器人超声波预测感知。
2024-05-21 cs.LG cs.RO cs.SY
Future Sight: Dynamic Story Generation with Large Pretrained Language Models
University of Waterloo(滑铁卢大学)
深度学习研究的最新进展,如Transformers,增强了自动代理生成类似于人类所写的创造性文本的能力。默认情况下,Transformer解码器只能根据先前生成的文本生成新文本。在任何位置的候选标记的输出分布的条件下,先前选择的标记使用自我注意力机制,以模仿自回归的属性。这在本质上限制了诸如可控故事生成之类的任务,在可控故事生成中,在编写故事时可能需要以未来的情节事件为条件。在这项工作中,我们提出了Future Sight,这是一种在未来条件反射任务上微调预训练生成Transformer的方法。Transformer解码器通常通过自我注意力的方式预先训练完成上下文的任务,一次一个令牌。Future Sight还使解码器能够关注编码的未来情节事件。这促使解码器以逻辑上以所提供的未来结束的方式扩展上下文。在推理过程中,未来的情节事件可以由人类作者编写,以引导叙事在某个方向上生成。我们评估我们的方法的功效与人类评估的故事生成任务。
2022-12-20 cs.AI cs.CL cs.LG
Bag of Tricks for In-Distribution Calibration of Pretrained Transformers
VUNO, Inc.(VUNO公司);Pukyong National University(釜庆国立大学);Korea University(高丽大学)
虽然预先训练的语言模型(PLM)已经成为提高文本分类任务准确性的事实标准,但最近的研究发现,PLM经常过度自信地预测。虽然已经提出了各种校准方法,如集成学习和数据增强,大多数方法已在计算机视觉基准测试中得到验证,而不是在基于PLM的文本分类任务。在本文中,我们提出了一个实证研究的PLM的信心校准,解决三个类别,包括信心惩罚损失,数据增强,集成方法。我们发现,过度拟合到训练集的集成模型显示出低于标准的校准性能,并且还观察到,用置信惩罚损失训练的PLM在校准和准确性之间存在权衡。基于这些观察,我们提出了校准PLM(CALL),校准技术的组合。CALL补充了单独使用校准方法时可能出现的缺点,并提高了分类和校准精度。在CALL的培训程序的设计选择进行了广泛的研究,我们提供了一个详细的分析校准技术如何影响校准性能的PLM。
2023-02-13 cs.CL cs.LG
Transformers as Decision Makers: Provable In-Context Reinforcement Learning via Supervised Pretraining
UC Berkeley(加州大学伯克利分校);Salesforce AI Research(Salesforce AI研究)
本文提出理论框架,证明监督预训练的Transformer可模仿专家算法条件期望,并证明其能高效逼近LinUCB、汤普森采样等在线强化学习算法,首次定量分析其上下文强化学习能力。
2024-05-26 cs.AI cs.CL cs.LG
Parameter-Efficient Finetuning of Transformers for Source Code
HSE University(高等经济大学);Naver Labs Europe(Naver欧洲实验室)
预训练的Transformers在各种代码处理任务中实现了最先进的性能,但可能太大而无法部署。由于软件开发工具通常包含用于各种目的的模块,这些模块可能潜在地使用预训练模型的单个实例,因此似乎与针对代码的预训练模型利用参数高效微调相关。在这项工作中,我们测试了两种广泛使用的方法,适配器和LoRA,这是最初测试的NLP任务,四个代码处理任务。我们发现,虽然有效的微调方法可能会实现可比或更高的性能比标准的,完整的,微调的代码理解任务,他们表现不佳的代码生成任务的全面微调。这些结果强调了在NLP之外的其他领域测试有效微调方法的重要性,并激励了未来对源代码进行有效微调的研究。
2022-12-12 cs.CL cs.LG cs.SE
Spectral Probe-Circuits: A Three-Step Recipe for Identifying Attention-Head Circuits in Pretrained Transformers
University of California, Berkeley(加州大学伯克利分校)
提出一种三步法,通过频谱信号排序、任务模式筛选和组消融因果验证,无需标签即可识别预训练Transformer中执行持续内容依赖计算的注意力头电路,并在多个模型上验证了其通用性和因果必要性。
2026-06-03 cs.AI cs.LG
Pretrained Language Models are Symbolic Mathematics Solvers too!
Sharif University of Technology(谢里夫理工大学);University of Tartu(塔尔图大学);University of South Carolina(南卡罗来纳大学)
解决符号数学一直是人类智慧的舞台,需要组合推理和递归。然而,最近的研究表明,像Transformers这样的大规模语言模型是通用的,并且令人惊讶的是,它可以作为序列到序列的任务来训练,以解决复杂的数学方程。这些大型的Transformer模型需要大量的训练数据来推广到看不见的符号数学问题。在本文中,我们提出了一种解决符号任务的有效方法,首先通过语言翻译预训练Transformer模型,然后微调预训练的Transformer模型来解决符号数学的下游任务。我们使用我们的预训练模型在集成任务上实现了相当的准确性,同时使用了大约$1.5$数量级的训练样本,相对于最先进的符号数学深度学习。与积分相比,微分方程任务的测试准确度要低得多,因为它们需要更高阶的递归,而这些递归在语言翻译中是不存在的。我们从Anna Karenina Principle(AKP)中提出了预训练语言模型的泛化性。我们用不同的语言翻译对模型进行预训练。我们的研究结果表明,在解决符号数学任务的语言偏见。最后,我们研究了微调模型对分布偏移的符号数学任务的鲁棒性,并且我们的方法在函数集成的分布偏移场景中具有更好的推广性。
2023-03-14 cs.CL cs.LG stat.ML
Born a Transformer -- Always a Transformer? On the Effect of Pretraining on Architectural Abilities
Saarland University(萨尔兰大学);Brown University(布朗大学)
本研究通过检索与复制任务,发现预训练Transformer存在归纳优于反归纳的不对称性,且该不对称性在理论保证下可经微调消除,表明预训练增强特定能力但未克服长度泛化限制。
2025-10-23 cs.CL cs.LG
An Equivariant Pretrained Transformer for Unified 3D Molecular Representation Learning
Tsinghua University(清华大学);Institute for AI Industry Research, Tsinghua University(清华大学人工智能产业研究院);Renmin University of China(中国人民大学);University of Pisa(比萨大学)
本文提出等变预训练Transformer(EPT),一个跨领域三维分子预训练的全原子基础模型,采用块级去噪任务,在589万条多域数据上预训练,显著提升配体结合亲和力预测等下游任务性能,并助力发现新型抗COVID-19药物候选物。
2025-02-24 cs.LG physics.chem-ph
Verifier-Guided Model Discovery for Physical Dynamical Systems with Pretrained Symbolic Transformers
Imperial College London(伦敦帝国学院)
该研究提出了一种验证器引导式(VG)工作流程,基于预训练符号 Transformer ODEFormer 实现物理动力系统的可解释预测,在范德波尔振荡器和涡旋脱落场景中展现出优于原方法的性能与泛化能力。
2026-08-05 cs.AI cs.LG