A Pretrained Probabilistic Transformer for City-Scale Traffic Volume Prediction
Nankai University（南开大学）；Zhejiang lab（浙江实验室）
本文提出预训练概率Transformer模型TrafficPPT，融合实时观测、历史轨迹和路网拓扑，将交通流量建模为轨迹分布聚合，并在多城市模拟数据上预训练、目标城市微调，在极端数据稀疏条件下显著超越现有基线。
2025-06-03 cs.AI cs.LG
Continuous Active Learning Using Pretrained Transformers
University of Waterloo（滑铁卢大学）
预训练和微调的Transformer模型，如BERT和T5，已经改善了自组织检索和问答的最新技术水平，但在高召回信息检索中还没有，其目标是检索基本上所有相关的文档。我们调查是否使用基于变换器的模型进行重新排序和/或特征化可以提高基线模型实现的TREC总召回跟踪，这代表了目前的高召回信息检索的最新技术水平。我们还介绍了CALBERT，一个模型，可用于不断微调基于相关反馈的BERT模型。
2022-08-15 cs.AI cs.IR cs.LG
Prompting a Pretrained Transformer Can Be a Universal Approximator
University of Oxford（牛津大学）
本文证明对预训练Transformer进行前缀微调可实现序列到序列函数的通用逼近，且单个注意力头即可逼近任意连续函数，并给出所需前缀长度的理论界。
2024-02-22 cs.AI cs.LG math.FA
Inner Loop Inference for Pretrained Transformers: Unlocking Latent Capabilities Without Training
IMT Atlantique, Lab-STICC, UMR CNRS 6285, Brest, France（IMT Atlantique，Lab-STICC，CNRS 6285，法国布列塔尼）；Sony Europe Ltd. Stuttgart Technology Center, EUREC, Germany（索尼欧洲有限公司斯图加特技术中心，EUREC，德国）
通过在预训练语言模型中引入推理时的内循环，无需训练即可提升模型的潜在能力，实现更稳定的语义细化。
2026-03-02 cs.AI cs.LG
SpotAttention: Plug-In Block-Sparse Routing for Pretrained Long-Context Transformers
KAIST（韩国科学技术院）
提出SpotAttention，一种轻量级选择器，通过KL蒸馏学习估计注意力分布，实现块稀疏路由，在长上下文任务中匹配密集注意力精度并显著加速解码。
2026-06-23 cs.AI cs.LG
Pretrained Transformers Improve Out-of-Distribution Robustness
UC Berkeley（加州大学伯克利分校）；Shanghai Jiao Tong University（上海交通大学）；University of Chicago（芝加哥大学）
虽然预训练的Transformers（如BERT）在分布内示例上实现了高精度，但它们是否可以推广到新的分布？我们通过构建一个新的鲁棒性基准与现实的分布偏移，系统地测量了七个NLP数据集的分布外（OOD）泛化。我们测量了以前模型的泛化，包括词袋模型，ConvNets和LSTM，我们表明预训练的Transformers的性能下降幅度要小得多。预训练的Transformers在检测异常或OOD示例方面也更有效，而许多以前的模型通常比偶然性更差。我们研究了哪些因素影响鲁棒性，发现较大的模型不一定更鲁棒，蒸馏可能是有害的，更多样化的预训练数据可以增强鲁棒性。最后，我们展示了未来的工作可以提高OOD的鲁棒性。
2020-04-16 cs.CL cs.LG
ElastiFormer: Learned Redundancy Reduction in Transformer via Self-Distillation
Columbia University（哥伦比亚大学）；Cold Spring Harbor Laboratory（冷泉港实验室）；Northwestern University（西北大学）
ElastiFormer通过自蒸馏训练小型路由模块，将预训练Transformer变为可动态选择参数和token的弹性模型，实现20%-50%计算节省，并适用于语言、图像及视觉-语言等多种模态任务。
2024-11-22 cs.AI cs.LG
Pooling Attention: Evaluating Pretrained Transformer Embeddings for Deception Classification
Independent Researcher, USA（美国独立研究者）；Independent Researcher, Japan（日本独立研究者）
本文通过评估预训练变换器嵌入在欺骗分类中的效果，发现BERT结合逻辑回归在LIAR数据集上表现最佳，证明了上下文自注意力编码的有效性。
2025-11-28 cs.AI cs.CL cs.LG
Understanding Differential Transformer Unchains Pretrained Self-Attentions
TwelveLabs；Seoul National University（首尔国立大学）
本研究揭示差分Transformer成功的三大关键因素，提出DEX方法通过复用softmax分数、添加轻量差分操作，以极少适配数据将差分注意力优势高效整合进预训练LLM，实现多基准性能显著提升。
2025-10-21 cs.LG
Deterministic Continuous Replacement: Fast and Stable Module Replacement in Pretrained Transformers
Bradbury Group（布拉德伯格集团）；University of Waterloo（多伦多大学）；SUNY Stony Brook（石溪大学）；Delhi Technological University（德里技术大学）；UC Berkeley（伯克利大学）
本文提出确定性连续替换（DCR）方法，通过融合教师和学生输出实现预训练变换器中快速且稳定的模块替换，有效解决了冷启动重新初始化带来的稳定性问题。
2025-11-24 cs.AI cs.CV cs.LG
Learning to Grow Pretrained Models for Efficient Transformer Training
University of Texas at Austin（德克萨斯大学奥斯汀分校）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；Columbia University（哥伦比亚大学）；MIT（麻省理工学院）
缩放Transformers在许多领域取得了重大突破，导致了一种范式，在这种范式中，定期训练和发布现有模型的更大版本。这类模型的新实例通常是完全从头开始训练的，尽管它们通常只是较小模型的放大版本。我们如何使用现有的较小模型参数中的隐含知识来更快地训练更新的较大模型？本文描述了一种通过学习增长预训练的Transformers来加速Transformer训练的方法，在该方法中，我们学习线性映射较小模型的参数以初始化较大模型。为了便于学习，我们将线性变换分解为（线性）宽度和深度增长算子的组合，并进一步采用这些增长算子的Kronecker分解来编码架构知识。跨语言和视觉Transformer的广泛实验表明，我们学习的线性增长算子（LiGO）可以从头开始节省高达50%的训练计算成本，同时也始终优于强基线，这些基线也重用较小的预训练模型来初始化较大的模型。
2023-03-02 cs.LG
TPTT: Transforming Pretrained Transformers into Titans
针对大语言模型自注意力层二次方开销的问题，提出无需全量重训的TPTT框架，结合线性化注意力与内存门控增强预训练Transformer，在1B参数模型上实现效率与准确率提升，可低开销适配长上下文任务。
2025-08-31 cs.AI cs.CL cs.LG
Nonparametric Variational Regularisation of Pretrained Transformers
Idiap Research Institute（Idiap 研究院）；Ecole Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
本文扩展NVIB框架替换Transformer所有注意力函数，提出恒等初始化将预训练Transformer重新解释为非参数变分模型，并证明改变初始化可在无训练情况下引入信息论正则化以改善域外泛化。
2023-12-01 cs.CL cs.LG
Scaling Transformers for Time Series Forecasting: Do Pretrained Large Models Outperform Small-Scale Alternatives?
Department of Computer and Information Science (IDA), REAL, AIICS, Linköping University, Sweden（计算机与信息科学系（IDA）、REAL、AIICS、利厄普大学，瑞典）
本文实证比较预训练大规模时间序列模型（如Moirai、TimeGPT）与传统小规模Transformer在多个基准上的表现，揭示预训练模型的优势与局限及其适用场景。
2025-06-24 cs.LG
HVAC-DPT: A Decision Pretrained Transformer for HVAC Control
University of Cambridge（剑桥大学）
针对HVAC系统控制泛化性差、需大量训练数据的问题，提出HVAC-DPT决策预训练Transformer，基于上下文强化学习在交互历史上训练，无需额外训练即可部署到不同建筑，未见过建筑能耗较基线降45%。
2024-11-29 cs.AI cs.LG cs.MA
Adaptive Pruning of Pretrained Transformer via Differential Inclusions
School of Data Science, Fudan University（复旦大学数据科学学院）
提出基于微分包含的SPP剪枝方法，在单次剪枝阶段内实现任意比例的Transformer剪枝，通过低秩压缩配对模块，兼顾性能与灵活性。
2025-02-28 cs.LG
Weight subcloning: direct initialization of transformers using larger pretrained ones
Apple（苹果公司）
该研究提出权重亚克隆技术，通过神经元重要性排序降维、删减模块两步，用大尺寸预训练Transformer初始化小模型，显著提升了视觉与语言Transformer的训练速度。
2023-12-14 cs.CL cs.CV cs.LG
Spectral Probe-Circuits: A Three-Step Recipe for Identifying Attention-Head Circuits in Pretrained Transformers
University of California, Berkeley（加州大学伯克利分校）
提出一种三步法，通过频谱信号排序、任务模式筛选和组消融因果验证，无需标签即可识别预训练Transformer中执行持续内容依赖计算的注意力头电路，并在多个模型上验证了其通用性和因果必要性。
2026-06-03 cs.AI cs.LG
Taming Pretrained Transformers for Extreme Multi-label Text Classification
Carnegie Mellon University（卡内基梅隆大学）；Amazon（亚马逊）；UT Austin（德克萨斯大学奥斯汀分校）
我们考虑极端的多标签文本分类（XMC）问题：给定一个输入文本，从一个大的标签集合中返回最相关的标签。例如，输入文本可以是Amazon.com上的产品描述，标签可以是产品类别。XMC是NLP社区中一个重要但具有挑战性的问题。最近，深度预训练的Transformer模型在许多NLP任务（包括句子分类）上取得了最先进的性能，尽管标签集很小。然而，天真地将深度Transformer模型应用于XMC问题会导致次优性能，这是由于大的输出空间和标签稀疏性问题。在本文中，我们提出了X-Transformer，第一个可扩展的方法来微调深度Transformer模型的XMC问题。该方法在四个XMC基准数据集上取得了新的最先进的结果。特别是，在一个拥有大约50万个标签的Wiki数据集上，X-Transformer的prec@1为77.28%，比最先进的XMC方法Parabel（线性）和AttentionXML（神经）有了很大的改进，分别达到了68.70%和76.95%的精度。我们进一步将X-Transformer应用于Amazon的product 2 query数据集，并在prec@1上获得了10.7%的相对改进。
2020-06-23 cs.AI cs.IR cs.LG
In-Context Curiosity: Distilling Exploration for Decision-Pretrained Transformers on Bandit Tasks
University of California, Los Angeles（加州大学洛杉矶分校）；University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
针对决策预训练Transformer（DPTs）难以泛化到预训练数据分布外的问题，提出情境好奇心正则化项与PPT框架，用奖励预测误差作为内在信号鼓励探索，在高斯多臂老虎机实验中提升了分布外泛化鲁棒性。
2025-09-30 cs.AI cs.LG cs.MA
Verifier-Guided Model Discovery for Physical Dynamical Systems with Pretrained Symbolic Transformers
Imperial College London（伦敦帝国学院）
该研究提出了一种验证器引导式（VG）工作流程，基于预训练符号 Transformer ODEFormer 实现物理动力系统的可解释预测，在范德波尔振荡器和涡旋脱落场景中展现出优于原方法的性能与泛化能力。
2026-08-05 cs.AI cs.LG
PETRA: Pretrained Evolutionary Transformer for SARS-CoV-2 Mutation Prediction
Beijing Knowledge Atlas Joint Stock Company Limited（北京知识图谱股份有限公司）
本文提出PETRA，一种基于系统发育树进化轨迹的预训练Transformer，通过加权训练缓解全球序列数据不平衡，显著提升SARS-CoV-2未来突变预测性能并支持主要分支的实时突变预测。
2025-11-06 cs.AI cs.LG q-bio.GN
Understanding the Training and Generalization of Pretrained Transformer for Sequential Decision Making
Imperial College London（伦敦帝国学院）；HKUST(GZ)（香港科技大学（广州））；University of North Carolina（北卡罗来纳大学）
本文针对无转移概率的序贯决策问题，提出将 Transformer 生成序列纳入训练以解决分布外问题，并揭示其探索机制及相对 UCB、Thompson sampling 的优势。
2024-10-02 cs.AI cs.LG
Self-supervised Learning Method Using Transformer for Multi-dimensional Sensor Data Processing
Kyushu Institute of Technology（九州工业大学）
本文提出一种基于Transformer架构的增强型n维数值处理模型，通过线性层嵌入、分箱预处理和输出层线性变换处理多维传感器信号，在五个数据集上使人类活动识别准确率较vanilla Transformer提升10%-15%。
2025-05-28 cs.AI cs.LG
Unlocking Pretrained Vision Transformers for Time Series Classification
Helmholtz Munich（海德堡-慕尼黑研究所）；Technical University of Munich（慕尼黑技术大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）；MDSI（慕尼黑数据科学研究所）；Paris Noah’s Ark Lab（巴黎诺亚实验室）
提出TiViT框架，利用冻结的预训练视觉Transformer表征，无需微调即在时间序列分类上达到最先进性能，并发现与TSFM的互补性，通过特征拼接和持续预训练进一步提升性能。
2026-09-22 cs.AI cs.CV cs.LG
CoCoT-EEG: Contrastive-Pretrained Multiscale Convolutional Transformer for EEG Decoding
Sigma Nova Paris（巴黎西格玛诺瓦公司）；Goethe University Frankfurt（法兰克福歌德大学）
研究针对EEG解码，开发了含多尺度时间卷积输入层和Transformer编码器块的对比预训练模型CoCoT，在广泛基准解码任务中表现出色，优于单任务解码模型，证明对比学习构建EEG基础模型可行，还给出架构设计考量。
2026-07-13 cs.LG q-bio.NC
ReMem: Mutual Information-Aware Fine-tuning of Pretrained Vision Transformers for Effective Knowledge Distillation
University of California, San Diego（加州大学圣迭戈分校）；Google DeepMind（谷歌DeepMind）；Google（谷歌）；University of California, Davis（加州大学戴维斯分校）
针对大规模预训练 ViT 强模型知识蒸馏效果下降的问题，提出互信息感知微调与重加权 MLP 块启发式方法，使小型学生模型能有效从最强预训练模型中受益。
2025-06-29 cs.CV cs.LG
PASTA: Pretrained Action-State Transformer Agents
InstaDeep（InstaDeep公司）
本文系统研究了预训练动作-状态Transformer智能体（PASTA），通过组件级分词、基础预训练目标和多领域训练等设计，在行为克隆、离线强化学习等任务中验证了少于700万参数模型的鲁棒性，为强化学习轨迹表示与策略学习提供实践指导。
2023-12-04 cs.AI cs.LG
Future Sight: Dynamic Story Generation with Large Pretrained Language Models
University of Waterloo（滑铁卢大学）
深度学习研究的最新进展，如Transformers，增强了自动代理生成类似于人类所写的创造性文本的能力。默认情况下，Transformer解码器只能根据先前生成的文本生成新文本。在任何位置的候选标记的输出分布的条件下，先前选择的标记使用自我注意力机制，以模仿自回归的属性。这在本质上限制了诸如可控故事生成之类的任务，在可控故事生成中，在编写故事时可能需要以未来的情节事件为条件。在这项工作中，我们提出了Future Sight，这是一种在未来条件反射任务上微调预训练生成Transformer的方法。Transformer解码器通常通过自我注意力的方式预先训练完成上下文的任务，一次一个令牌。Future Sight还使解码器能够关注编码的未来情节事件。这促使解码器以逻辑上以所提供的未来结束的方式扩展上下文。在推理过程中，未来的情节事件可以由人类作者编写，以引导叙事在某个方向上生成。我们评估我们的方法的功效与人类评估的故事生成任务。
2022-12-20 cs.AI cs.CL cs.LG
How Much Does Attention Actually Attend? Questioning the Importance of Attention in Pretrained Transformers
Hebrew University of Jerusalem（耶路撒冷希伯来大学）；University of Washington（华盛顿大学）；Apple, Inc.（苹果公司）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
注意力机制被认为是广泛使用的Transformer架构的支柱。它通过计算特定于输入的注意力矩阵来将输入情境化。我们发现，这种机制虽然强大而优雅，但并不像预训练的语言模型那样重要。我们引入PAPA，一种新的探测方法，它用恒定的注意力矩阵（多个输入的平均注意力权重）代替了依赖于输入的注意力矩阵。我们使用PAPA来分析六个下游任务上的几个已建立的预先训练的Transformers。我们发现，在没有任何依赖于输入的注意力的情况下，所有模型都实现了具有竞争力的性能--与探测基线相比，平均相对下降仅为8%。此外，很少或没有观察到性能下降时，更换一半的输入相关的注意力矩阵与常数（输入无关）。有趣的是，我们发现，性能较好的模型在应用我们的方法时比较弱的模型损失更多，这表明依赖输入的注意力机制的利用可能是它们成功的一个因素。我们的研究结果激发了对输入依赖注意的更简单的替代方案的研究，以及在Transformer架构中更好地利用这种机制的方法。
2022-11-07 cs.CL cs.LG
Analyzing Redundancy in Pretrained Transformer Models
Qatar Computing Research Institute（卡塔尔计算研究所）；HBKU Research Complex（哈马德·本·哈利法大学研究中心）；MIT Computer Science and Artificial Intelligence Laboratory（麻省理工学院计算机科学与人工智能实验室）
基于transformer的深度NLP模型使用数亿个参数进行训练，限制了它们在计算受限环境中的适用性。在本文中，我们研究这些限制的原因，通过定义一个概念的Redemption，我们分为两类：一般Redemption和特定任务Redemption。我们剖析了两个流行的预训练模型，BERT和XLNet，研究它们在表示级别和更细粒度的神经元级别上表现出多少冗余。我们的分析揭示了有趣的见解，例如：i）整个网络中85%的神经元是冗余的，ii）当优化下游任务时，至少92%的神经元可以被删除。基于我们的分析，我们提出了一个有效的基于特征的迁移学习过程，保持97%的性能，而使用最多10%的原始神经元。
2020-10-06 cs.CL cs.LG
Ultra-Low-Bitrate Speech Coding with Pretrained Transformers
Google（谷歌）
语音编码有助于以最小失真在低带宽网络上传输语音。基于神经网络的语音编解码器最近已经证明了在质量上比传统方法有显著的改进。虽然这种新一代编解码器能够合成高保真语音，但它们使用的递归或卷积层通常会限制它们的有效感受域，这会阻止它们有效地压缩语音。我们建议通过使用预训练的Transformers进一步降低神经语音编解码器的比特率，由于它们的电感偏置，能够利用输入信号中的长程依赖性。因此，我们使用预训练的Transformer与卷积编码器串联，卷积编码器通过量化器和生成对抗网络解码器进行端到端训练。我们的数值实验表明，用Transformer语音嵌入补充神经语音编解码器的卷积编码器产生了一个比特率为$600\,\mathrm{bps}$的语音编解码器，当以相同的比特率训练时，该语音编解码器在合成语音质量方面优于原始神经语音编解码器。主观的人类评估表明，所得到的编解码器的质量与以三到四倍的速率操作的传统编解码器的质量相当或更好。
2022-07-05 cs.LG cs.SD eess.AS
DPTM-DT: Dual-Pretrained Transformer Multitask Representation Learning for Drug-Target Prediction
Beihang University（北京航空航天大学）
提出DPTM-DT双预训练Transformer框架，融合分子图、蛋白质语言模型和理化特征，通过双向跨模态注意力实现多任务药物-靶点预测，在Davis和KIBA上取得最优性能。
2026-09-22 cs.AI cs.LG
Identifying Multi-modal Knowledge Neurons in Pretrained Transformers via Two-stage Filtering
Meiji University（明治大学）
本研究提出基于MiniGPT-4的两阶段过滤方法，通过图像修复激活差异和GradCAM梯度过滤识别多模态知识神经元，提升了知识定位精度，促进了MLLMs的可解释性与知识控制。
2025-03-29 cs.AI cs.LG cs.MM
Your CLIP has 164 dimensions of noise: Exploring the embeddings covariance eigenspectrum of contrastively pretrained vision-language transformers
Warsaw University of Technology（华沙技术大学）；Centre for Credible Artificial Intelligence（可信人工智能中心）；University of Warsaw（华沙大学）
本文通过协方差矩阵谱分解，揭示对比预训练VLMs的潜在空间中多模态噪声结构，发现去除共享噪声维度对下游任务性能无害，提供对现代VLMs表征结构的新见解。
2026-05-14 cs.AI cs.CV cs.LG
Fine-Tuning Pretrained Language Models With Label Attention for Biomedical Text Classification
Aalto University（阿尔托大学）
文本生物医学数据的大规模和增长使其索引和分类变得越来越重要。然而，关于这个主题的现有研究主要利用卷积和递归神经网络，它们通常比新型Transformers的性能要差。另一方面，应用Transformers的系统只关注目标文档，忽略了标签描述所包含的丰富语义信息。为了解决这个问题，我们开发了一个基于transformer的生物医学文本分类器，考虑标签信息。该系统实现了这一点与标签注意模块纳入微调过程中的预训练语言模型（PTM）。我们在两个公共医疗数据集上的结果表明，所提出的微调方案优于香草PTM和最先进的模型。
2022-03-07 cs.CL cs.LG
Pretrained transformer efficiently learns low-dimensional target functions in-context
University of California, Berkeley（加州大学伯克利分校）；RIKEN AIP（理化学研究所人工智能项目）；University of Tokyo（东京大学）；New York University（纽约大学）；Flatiron Institute（弗拉蒂伦研究所）
本文证明预训练Transformer通过非线性MLP层，在单指标函数类上实现样本高效的上下文学习，提示长度仅取决于目标函数的低维结构，优于直接学习算法。
2024-11-04 cs.LG stat.ML
NetGPT: Generative Pretrained Transformer for Network Traffic
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Beijing Academy of Artificial Intelligence（北京人工智能研究院）
本文提出首个面向网络流量理解与生成的生成式预训练模型 NetGPT，通过多模式统一建模及字段打乱、报文切分和提示标签适配，显著提升多类下游任务性能。
2025-08-28 cs.AI cs.LG cs.NI
Magnitude Pruning of Large Pretrained Transformer Models with a Mixture Gaussian Prior
Purdue University（普渡大学）
针对大型预训练Transformer模型参数量大难部署的问题，提出采用混合高斯先验正则化的MGPP幅值剪枝算法，在多NLP任务尤其是高稀疏度下优于现有方法，并给出稀疏Transformer一致性的理论证明。
2024-11-01 cs.LG stat.ML
Transformers as Decision Makers: Provable In-Context Reinforcement Learning via Supervised Pretraining
UC Berkeley（加州大学伯克利分校）；Salesforce AI Research（Salesforce AI研究）
本文提出理论框架，证明监督预训练的Transformer可模仿专家算法条件期望，并证明其能高效逼近LinUCB、汤普森采样等在线强化学习算法，首次定量分析其上下文强化学习能力。
2024-05-26 cs.AI cs.CL cs.LG
Conversational Question Reformulation via Sequence-to-Sequence Architectures and Pretrained Language Models
Academia Sinica（中央研究院）；University of Waterloo（滑铁卢大学）
本文提出了一个基于序列到序列结构和预训练语言模型的会话问题重构的实证研究。我们利用PLM来解决CQR任务的共同目标最大似然估计中的强令牌到令牌独立性假设。在面向任务的对话系统的CQR基准测试中，我们将最近引入的CANARD数据集作为域内任务评估微调的PLM，并使用TREC 2019 CAST Track的数据作为域外任务验证模型。检查不同的参数数量的各种架构，我们证明，最近的文本到文本传输Transformer（T5）实现了最好的结果都在CANARD和CAST与较少的参数，相比类似的Transformer架构。
2020-04-04 cs.AI cs.CL cs.LG
XDBERT: Distilling Visual Information to BERT from Cross-Modal Systems to Improve Language Understanding
National Taiwan University（台湾大学）；Academia Sinica（中央研究院）
基于转换器的模型广泛用于自然语言理解（NLU）任务，多模态Transformers在视觉语言任务中非常有效。本研究探讨了从预训练的多模态Transformers到预训练的语言编码器的视觉信息提取。我们的框架的灵感来自于跨模态编码器在视觉语言任务中的成功，同时我们改变了学习目标以迎合NLU的语言重特性。经过少量额外的自适应步骤和微调训练后，所提出的XDBERT（跨模态蒸馏BERT）在一般语言理解评估（GLUE），对抗生成（SWAG）基准测试和可读性基准测试中的性能优于预训练的BERT。我们分析了XDBERT在GLUE上的性能，以表明这种改进可能是视觉上的。
2022-05-03 cs.AI cs.CL cs.LG
Pretrained Mobility Transformer: A Foundation Model for Human Mobility
Northeastern University（东北大学）
本研究提出了 Pretrained Mobility Transformer (PMT)，利用无标签用户轨迹序列构建人类移动性基础模型，通过自回归方式处理轨迹并嵌入时空信息，在下一位置预测等下游任务中表现优异，有效解码人类移动模式。
2024-05-29 cs.LG
What Happens During Finetuning of Vision Transformers: An Invariance Based Investigation
MPI-SWS（马克斯·普朗克软件系统研究所）；University of Maryland（马里兰大学）
本文提出衡量不变性保留与遗忘的新指标，通过多个基准任务分析视觉 Transformer 微调前后的表征变化，揭示浅层可迁移不变性及深层不变性向浅层压缩的现象。
2023-07-12 cs.CV cs.LG
CogVideo: Large-scale Pretraining for Text-to-Video Generation via Transformers
Tsinghua University（清华大学）；BAAI（北京智源人工智能研究院）
大规模预训练的Transformers已经在文本（GPT-3）和文本到图像（DALL-E和CogView）生成方面创造了里程碑。其在视频生成中的应用还面临着许多挑战：潜在的巨大计算成本使得从头开始的训练难以负担;文本视频数据集的稀缺性和弱相关性阻碍了模型理解复杂的运动语义。在这项工作中，我们提出了9 B参数Transformer CogVideo，通过继承预训练的文本到图像模型CogView 2进行训练。我们还提出了多帧率分层训练策略，以更好地对齐文本和视频片段。作为（可能）第一个开源的大规模预训练文本到视频模型，CogVideo在机器和人类评估中大幅优于所有公开可用的模型。
2022-05-29 cs.CL cs.CV cs.LG
Token-Oriented Semantic Communication with Pretrained Vision Transformers
Pohang University of Science and Technology (POSTECH)（浦项科技大学（POSTECH））
该研究针对令牌通信的两大挑战，提出一种模块化的面向令牌的语义通信框架，利用ViT与LIC的空间对齐等技术，在ImageNet上实现了更优的速率-准确率权衡。
2026-09-09 cs.AI cs.CV cs.LG
Automated essay scoring using efficient transformer-based language models
Cambium Assessment, Inc.（坎比姆评估公司）；University of Colorado, Boulder（科罗拉多大学博尔德分校）
自动作文评分（AES）是一项跨学科的工作，涉及教育，语言学和自然语言处理（NLP）。AES中NLP模型的有效性测试了它评估长期依赖性和推断含义的能力，即使文本写得很差。大型预训练的基于transformer的语言模型在许多NLP任务中占据了主导地位，然而，这些模型的计算要求使得它们在实践中部署起来非常昂贵。本文的目标是挑战NLP中的范式，即AES越大越好。为此，我们评估了几个微调的预训练NLP模型的性能，这些模型在AES数据集上具有适度数量的参数。通过集成我们的模型，我们比大多数基于transformer的预训练模型使用更少的参数获得了出色的结果。
2021-02-25 cs.CL cs.LG
SpecMaskFoley: Steering Pretrained Spectral Masked Generative Transformer Toward Synchronized Video-to-audio Synthesis via ControlNet
Sony Group Corporation, Japan（日本索尼集团公司）
SpecMaskFoley通过ControlNet引导预训练SpecMaskGIT模型，并设计频率感知时间特征对齐器解决视频时间特征与音频时频特性差异，在拟音合成基准上超越从头训练基线。
2025-07-17 cs.AI cs.LG cs.SD
Compositional generalization in semantic parsing with pretrained transformers
New York University（纽约大学）
大规模的预训练将大量的知识灌输到深度神经网络中。这反过来又改善了这些模型在下游任务中的泛化行为。大规模预训练的泛化优势究竟有哪些限制？在这里，我们报告的意见，从一些简单的实验，旨在解决这个问题的背景下，涉及自然语言，扫描和COGS的两个语义解析任务。我们发现，与从头开始训练的模型相比，专门用非英语语料库，甚至用程序设计语言语料库预训练的语言模型在这些基准测试中显着提高了分布外泛化，即使这两个基准测试都是基于英语的。这证明了预先训练的表示和知识具有惊人的广泛可移植性。另一方面，使用大规模蛋白质序列预测任务进行预训练主要会恶化SCAN和COGS中的泛化性能，这表明预训练的表示不会普遍转移，并且预训练和下游域之间的相似性存在限制，以便成功转移。最后，我们表明，较大的模型更难从头开始训练，并且在相对较小的SCAN和COGS数据集上训练收敛时，其泛化精度较低，但大规模预训练的好处在较大的模型中变得更加清晰。
2022-12-22 cs.CL cs.LG cs.NE
Adversarially Pretrained Transformers May Be Universally Robust In-Context Learners
The University of Tokyo（东京大学）；Chiba University（千叶大学）；National Institute of Informatics（国立信息学研究所）
本研究提出对抗性预训练的Transformer可作为普遍稳健的基础模型，通过上下文学习实现对多种下游任务的稳健泛化。
2026-03-01 cs.CV cs.LG stat.ML
Relational Transformer: Toward Zero-Shot Foundation Models for Relational Data
Stanford University（斯坦福大学）；Kumo AI；University of Oxford（牛津大学）；SAP Labs LLC（SAP实验室有限责任公司）
关系变换器通过零样本迁移能力，为关系数据提供高效的基础模型解决方案。
2026-03-02 cs.AI cs.DB cs.LG
WeatherFormer: A Pretrained Encoder Model for Learning Robust Weather Representations from Small Datasets
MIT（麻省理工学院）
WeatherFormer是一种基于Transformer编码器的预训练模型，通过独特的时空编码和稳健预训练策略，从少量观测中学习天气特征，在县级大豆产量预测和流感预测中达到最先进性能。
2024-05-22 cs.AI cs.CV cs.LG
Generating Accurate Assert Statements for Unit Test Cases using Pretrained Transformers
Microsoft（微软）
单元测试代表了软件测试金字塔的基础，位于集成和端到端测试之下。自动化软件测试的研究人员已经提出了各种各样的技术来帮助开发人员完成这项耗时的任务。在本文中，我们提出了一种方法来支持开发人员编写单元测试的情况下，生成准确和有用的断言语句。我们的方法是基于一个国家的最先进的Transformer模型，最初预训练的英语文本语料库。这个语义丰富的模型然后以半监督的方式在大型源代码语料库上进行训练。最后，我们在为单元测试生成断言语句的任务上微调这个模型。生成的模型能够为给定的测试方法生成准确的断言语句。在我们的实证评估中，该模型能够在第一次尝试中预测开发人员在62%的情况下编写的确切断言语句。结果显示，与文献中先前基于RNN的方法相比，top-1准确度相对提高了80%。我们还展示了预训练过程对模型性能的实质性影响，并将其与断言自动完成任务进行了比较。最后，我们展示了我们的方法可以用来增强EvoSuite测试用例，额外的断言导致提高测试覆盖率。
2020-09-11 cs.LG cs.SE
Discrete Multimodal Transformers with a Pretrained Large Language Model for Mixed-Supervision Speech Processing
Worcester Polytechnic Institute（伍斯特理工学院）；University of Colorado Boulder（科罗拉多大学博尔德分校）
提出仅解码器的离散多模态语言模型（DMLM），应用于ASR、T2S等跨模态任务，探索损失函数、权重初始化、混合监督和码本等关键方面，发现结合监督与无监督训练、用预训练LLM初始化及Whisper激活码本能显著提升性能。
2024-06-25 cs.CL cs.LG eess.AS
