Neurosymbolics for Data Engineering: Achieving Long Context Token Reduction Without Finetuning
本文提出一种可即插即用的神经符号层,无需微调即可增强LLM逻辑推理能力,在BIRD-CRITIC等基准上平均准确率提升85%,还能将长上下文任务有效时间复杂度从O(n²)降至约O(n),减少令牌使用超50%。
2026-09-02 cs.AI cs.CL cs.LG
Vocabulary In-Context Learning in Transformers: Benefits of Positional Encoding
School of Mathematical Sciences, Beijing Normal University(北京师范大学数学学院)
本文研究单层Transformer中词汇上下文学习(VICL)的通用逼近性质,证明无位置编码时不具备UAP,而加入位置编码并满足若干充分条件后可以实现UAP,从逼近论角度揭示了位置编码的益处。
2025-11-09 cs.LG
Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context
Carnegie Mellon University(卡内基梅隆大学);Google Brain(谷歌大脑)
Transformers具有学习长期依赖的潜力,但在语言建模的设置中受到固定长度上下文的限制。我们提出了一种新的神经架构transformer-XL,使学习的依赖性超过一个固定的长度,而不会破坏时间的连贯性。它包括一个段级递归机制和一个新的位置编码方案。我们的方法不仅能够捕获长期依赖,而且还解决了上下文碎片问题。因此,Transformer-XL学习的依赖性比RNN长80%,比vanilla Transformers长450%,在短序列和长序列上都实现了更好的性能,并且在评估过程中比vanilla Transformers快1,800多倍。值得注意的是,我们将bpc/困惑度的最新结果提高到enwiki 8上的0.99,text 8上的1.08,WikiText-103上的18.3,One Billion Word上的21.8,以及Penn Treebank上的54.5(没有微调)。当只在WikiText-103上训练时,Transformer-XL设法生成具有数千个令牌的合理连贯,新颖的文本文章。我们的代码、预训练模型和超参数在Tensorflow和PyTorch中都可用。
2019-06-02 cs.CL cs.LG stat.ML
Approximate Nullspace Augmented Finetuning for Robust Vision Transformers
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Sorted Technologies;University of California, San Diego(加利福尼亚大学圣迭戈分校)
提出一种基于近似零空间噪声增强的微调方法,提升视觉Transformer对对抗和自然扰动的鲁棒性。
2025-03-27 cs.CV cs.LG
What Happens During Finetuning of Vision Transformers: An Invariance Based Investigation
MPI-SWS(马克斯·普朗克软件系统研究所);University of Maryland(马里兰大学)
本文提出衡量不变性保留与遗忘的新指标,通过多个基准任务分析视觉 Transformer 微调前后的表征变化,揭示浅层可迁移不变性及深层不变性向浅层压缩的现象。
2023-07-12 cs.CV cs.LG
Emergence and Effectiveness of Task Vectors in In-Context Learning: An Encoder Decoder Perspective
本文基于编码-解码框架研究Transformer预训练中任务向量的涌现机制,发现任务编码与解码的耦合涌现能预测并提升ICL性能,且微调较前层比后层更能改善任务编码。
2025-06-02 cs.AI cs.CL cs.LG
Reinforcement Learning Gradients as Vitamin for Online Finetuning Decision Transformers
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对在线决策Transformer(ODT)用低奖励离线数据预训练后在线微调效果差的问题,研究发现加入TD3梯度可有效提升其微调性能,为改进决策Transformer提供新方向。
2024-10-31 cs.AI cs.LG
In-Context Learning of a Linear Transformer Block: Benefits of the MLP Component and One-Step GD Initialization
University of California, Berkeley(加州大学伯克利分校);Google DeepMind(谷歌DeepMind)
本文研究线性Transformer块的上下文学习能力,证明其结合MLP组件可实现接近贝叶斯最优的ICL风险,并揭示其与一步梯度下降估计器的对应关系,凸显MLP层在降低近似误差中的关键作用。
2024-02-22 cs.CL cs.LG stat.ML
Scale Efficiently: Insights from Pre-training and Fine-tuning Transformers
Google Research & DeepMind(谷歌研究院与深度思维)
关于Transformer架构的伸缩行为,仍然存在许多悬而未决的问题。这些扩展决策和发现可能是至关重要的,因为训练运行通常伴随着相关的计算成本,这些计算成本具有财务和/或环境影响。本文的目标是从预训练和微调Transformers中展示扩展见解。虽然Kaplan等人对Transformer语言模型的缩放行为进行了全面的研究,但范围仅限于上游(预训练)损失。因此,目前还不清楚这些发现是否转移到下游任务的背景下,pretrain-finetune范式。本文的主要发现如下:(1)我们表明,除了模型大小之外,模型形状对于下游微调也很重要,(2)缩放协议在不同的计算区域中的操作不同,(3)广泛采用的T5-base和T5-large大小是帕累托无效的。为此,我们提出了改进的缩放协议,从而我们重新设计的模型实现了类似的下游微调质量,同时与广泛采用的T5基础模型相比,参数减少了50%,训练速度加快了40%。我们公开发布了100多个不同T5配置的预训练检查点,以方便未来的研究和分析。
2022-01-30 cs.AI cs.CL cs.CV
Online Finetuning Decision Transformers with Pure RL Gradients
University of California, Riverside(加州大学河滨分校)
本文提出通过纯强化学习梯度改进决策变压器的在线微调方法,引入子轨迹优化、序列级似然目标和主动采样,提升稳定性和探索效率,实现在多个基准上的最优性能。
2026-01-01 cs.AI cs.LG
Using Interleaved Ensemble Unlearning to Keep Backdoors at Bay for Finetuning Vision Transformers
Duke University(杜克大学)
本文提出交错集成遗忘 IEU,通过浅层 ViT 门控识别投毒样本并以梯度上升异步遗忘,从而在含后门数据上安全微调 ViT,并在多数据集、11 种攻击和多架构上验证有效性。
2024-10-01 cs.CV cs.LG
Pretrained Transformers as Universal Computation Engines
UC Berkeley(加州大学伯克利分校);Facebook AI Research(脸书人工智能研究院);Google Brain(谷歌大脑)
我们研究了在自然语言上预训练的Transformer以最小的微调推广到其他模态的能力-特别是,没有微调残差块的自注意和前馈层。我们考虑这样一个模型,我们称之为冻结预训练Transformer(FPT),并研究在各种序列分类任务上对其进行微调,这些任务包括数值计算,视觉和蛋白质折叠预测。与之前研究在与预训练数据集相同的模态上进行微调的工作相比,我们表明,在自然语言上进行预训练可以提高非语言下游任务的性能和计算效率。此外,我们对架构进行了分析,比较了随机初始化的Transformer与随机LSTM的性能。结合这两种见解,我们发现语言预训练的Transformers可以在各种非语言任务上获得强大的性能。
2021-06-30 cs.AI cs.LG
Parameter-Efficient Finetuning of Transformers for Source Code
HSE University(高等经济大学);Naver Labs Europe(Naver欧洲实验室)
预训练的Transformers在各种代码处理任务中实现了最先进的性能,但可能太大而无法部署。由于软件开发工具通常包含用于各种目的的模块,这些模块可能潜在地使用预训练模型的单个实例,因此似乎与针对代码的预训练模型利用参数高效微调相关。在这项工作中,我们测试了两种广泛使用的方法,适配器和LoRA,这是最初测试的NLP任务,四个代码处理任务。我们发现,虽然有效的微调方法可能会实现可比或更高的性能比标准的,完整的,微调的代码理解任务,他们表现不佳的代码生成任务的全面微调。这些结果强调了在NLP之外的其他领域测试有效微调方法的重要性,并激励了未来对源代码进行有效微调的研究。
2022-12-12 cs.CL cs.LG cs.SE
Understanding Contextual Recall in Transformers: How Finetuning Enables In-Context Reasoning over Pretraining Knowledge
University of Southern California(南加州大学);University of British Columbia(不列颠哥伦比亚大学);Flatiron Institute(Flatiron研究所)
本文研究了Transformer模型在上下文学习中如何通过微调实现对预训练知识的推理,探讨了预训练和微调对上下文回忆能力的影响及机制。
2026-03-21 cs.CL cs.LG
Efficient Federated Finetuning of Tiny Transformers with Resource-Constrained Devices
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Huawei Research Center(华为研究中心)
针对联邦学习中LoRA微调存在的内存和FLOP低效问题,提出新型层微调方案,使资源受限设备能高效利用预训练模型,在同/异构约束下精度优于现有技术且通信量与LoRA相当。
2025-04-16 cs.AI cs.DC cs.LG
Extreme Multi-Domain, Multi-Task Learning With Unified Text-to-Text Transfer Transformers
Carnegie Mellon University(卡内基梅隆大学)
文本到文本Transformers在多任务迁移学习任务中取得了显着的成功,特别是在自然语言处理(NLP)中。然而,虽然已经有几次尝试在不同的域上训练Transformers,但是这些域之间通常有明确的关系,例如,代码摘要,其中自然语言摘要描述代码。很少有人尝试研究多任务迁移学习如何在不同领域的任务上发挥作用。在这个项目中,我们使用多域文本到文本转换Transformers(MD-T5)在两个域(Python Code和Chess)的四个任务上研究了多域多任务学习的行为。我们使用三种流行的训练策略进行了广泛的实验:Bert风格的联合预训练+连续微调,GPT风格的联合预训练+连续微调,以及GPT风格的联合预训练+联合微调。此外,我们还根据四个指标对模型进行了评估- Play Score,Eval Score,BLEU Score和Multi-Domain Learning Score(MDLS)。这些指标衡量各种任务和多领域学习的性能。我们发现,虽然负知识转移和灾难性遗忘对所有模型来说仍然是相当大的挑战,但GPT风格的联合预训练+联合微调策略在多领域,多任务学习中表现最好,因为它在所有四个任务中表现良好,同时仍然保持其多领域知识。
2022-09-21 cs.CL cs.LG
Online Decision Transformer
Meta AI Research(Meta人工智能研究院);University of California, Berkeley(加州大学伯克利分校);University of California, Los Angeles(加州大学洛杉矶分校)
最近的工作表明,离线强化学习(RL)可以被公式化为序列建模问题(Chen et al.,2021; Janner等人,2021年),并通过类似于大规模语言建模的方法解决。然而,RL的任何实际实例化都涉及在线组件,其中在被动离线数据集上预训练的策略通过与环境的特定任务交互进行微调。我们提出了在线决策Transformers(ODT),一种基于序列建模的RL算法,在一个统一的框架中将离线预训练与在线微调相结合。我们的框架结合自回归建模目标使用序列级熵正则化器,以进行样本有效的探索和微调。从经验上讲,我们表明,ODT是有竞争力的国家的最先进的绝对性能的D4 RL基准,但在微调过程中显示出更显着的收益。
2022-07-13 cs.AI cs.LG
From Basic to Extra Features: Hypergraph Transformer Pretrain-then-Finetuning for Balanced Clinical Predictions on EHR
Emory University(埃默里大学);University of Pennsylvania(宾夕法尼亚大学)
本文提出HTP-Star,通过超图Transformer预训练-微调框架建模EHR数据,并结合平滑性诱导正则化与分组均衡重加权技术,在基础特征与额外特征患者之间实现均衡且更优的临床预测。
2024-06-09 cs.AI cs.LG
Jointly Reparametrized Multi-Layer Adaptation for Efficient and Private Tuning
USC Information Sciences Institute(南加州大学信息科学研究所);University of California Riverside(加州大学河滨分校)
本文提出一种联合重参数化多层适配方法,通过单个可训练向量的固定随机投影在多个Transformer层引入任务特定参数,以极少参数实现接近全量微调的性能,并适用于低资源与差分隐私场景。
2023-05-30 cs.CL cs.LG
BitFit: Simple Parameter-efficient Fine-tuning for Transformer-based Masked Language-models
Bar Ilan University(巴伊兰大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
BitFit是一种针对Transformer掩码语言模型的简单参数高效微调方法,通过仅修改模型的偏置项来实现与完整微调相当甚至更优的性能。
2022-09-05 cs.CL cs.LG
SeMask: Semantically Masked Transformers for Semantic Segmentation
Picsart AI Research (PAIR)(Picsart人工智能研究院(PAIR));University of Oregon(俄勒冈大学);UIUC(伊利诺伊大学厄巴纳-香槟分校);IIT Roorkee(印度理工学院鲁尔基分校)
在图像Transformer网络的编码器部分中微调预训练的骨干是语义分割任务的传统方法。然而,这种方法忽略了图像在编码阶段提供的语义上下文。本文认为,将图像的语义信息合并到预训练的基于层次变换器的主干中,同时进行微调,可以大大提高性能。为了实现这一目标,我们提出了SeMask,一个简单而有效的框架,将语义信息的语义注意操作的帮助下,到编码器。此外,我们在训练过程中使用了一个轻量级的语义解码器,在每个阶段为中间语义先验图提供监督。我们的实验表明,将语义先验提高了性能的建立层次编码器的FLOP的数量略有增加。我们通过将SeMask集成到Swin Transformer和Mix Transformer骨干中作为与不同解码器配对的编码器来提供经验证明。我们的框架在ADE 20K数据集上实现了58.25%的最新mIoU,在Cityscapes数据集上的mIoU指标提高了3%以上。代码和检查点可在https://github.com/Picsart-AI-Research/SeMask-Segmentation上公开获取。
2022-04-13 cs.CV cs.LG
BAT: Better Audio Transformer Guided by Convex Gated Probing
Ghent University(根特大学);University of Kassel(卡塞尔大学)
提出凸门控探测(CGP)方法,通过门控机制有效利用所有冻结层,缩小音频自监督学习中探测与微调的差距,并基于CGP改进SSL流程,构建Better Audio Transformer(BAT),在音频基准上取得新最优结果。
2026-05-29 cs.LG cs.SD
Scaling Novel Object Detection with Weakly Supervised Detection Transformers
Microsoft Research(微软研究院);Georgia Institute of Technology(佐治亚理工学院);Meta AI, FAIR(Meta人工智能基础研究团队)
本文提出弱监督检测Transformer,通过大规模预训练知识迁移和多实例学习框架改进,仅用图像级标签即可高效检测数百种新物体,并证明类别数量对WSOD预训练比图像数量更重要。
2023-05-25 cs.CV cs.LG
From PEFT to DEFT: Parameter Efficient Finetuning for Reducing Activation Density in Transformers
IBM Research(IBM研究院)
本研究针对大模型传统微调成本高的问题,提出密度高效微调方法DEFT及自适应变体ADA-DEFT,结合主流PEFT技术降低Transformer激活密度,显著提升推理效率且可与量化、剪枝方法互补。
2024-07-14 cs.LG
ColD Fusion: Collaborative Descent for Distributed Multitask Finetuning
IBM Research(IBM研究院);Hebrew University of Jerusalem(耶路撒冷希伯来大学);UNC Chapel Hill(北卡罗来纳大学教堂山分校)
提出 ColD Fusion 范式,通过通信受限的分布式计算实现多任务微调,持续改进预训练模型,在 35 个数据集上平均比 RoBERTa 高 2.33 个百分点。
2023-09-13 cs.CL cs.DC cs.LG
Gaussian Process Limit Reveals Structural Benefits of Graph Transformers
本文通过高斯过程极限分析,揭示图变换器在节点级预测任务中优于图卷积网络的结构优势,证明其能保留社区信息并防止过平滑。
2026-03-18 cs.LG stat.ML
Contrastive Feature Masking Open-Vocabulary Vision Transformer
Google DeepMind(谷歌DeepMind)
提出CFM-ViT,通过联合图像-文本嵌入空间重建和位置嵌入丢弃,在开放词汇检测中达到最先进性能,同时保持强大的图像级表示。
2023-09-02 cs.AI cs.CV cs.LG
Unsupervised Domain Adaptation within Deep Foundation Latent Spaces
School of Computing and Communications(计算与通信学院);Lancaster University(兰卡斯特大学)
本文在原型网络框架下研究ViT、Dino-V2等视觉基础模型在无微调条件下解决无监督域适应的能力,证明其优于现有基线并指出仍存在的局限。
2024-02-22 cs.AI cs.CV cs.LG
Theory on Attention Dynamics for Out-of-Distribution In-Context Learning
Ohio State University(俄亥俄州立大学);University of Houston(休斯顿大学)
本研究通过分析α型和β型注意力权重的动力学,揭示了Transformer在分布外上下文学习中的误差机制,并探讨了微调对源域性能的影响,为提升OOD泛化提供了理论依据。
2026-10-30 cs.LG
OCT Data is All You Need: How Vision Transformers with and without Pre-training Benefit Imaging
University of Kent(肯特大学)
本文针对OCT图像与自然图像的差异问题,研究ImageNet预训练对ViT在OCT分类任务的影响,发现预训练在小数据集加速收敛,足够OCT数据时从头训练性能相当或更优,强调领域匹配重要性并呼吁OCT专用预训练研究。
2025-02-17 cs.CV cs.LG
Investigating Transferability in Pretrained Language Models
Stanford University(斯坦福大学)
语言模型预训练如何帮助迁移学习?我们考虑了一种简单的消融技术,用于确定每个预训练层对传输任务性能的影响。这种方法,部分重新初始化,涉及用随机权重替换预训练模型的不同层,然后在传输任务上微调整个模型并观察性能变化。该技术揭示了在BERT中,在下游GLUE任务上具有高探测性能的层对于这些任务的高精度来说既不是必要的也不是充分的。此外,为层使用预训练参数的好处随着微调数据集大小而显着变化:当数据丰富时提供巨大性能提升的参数可能在数据稀缺的设置中提供微不足道的好处。这些结果揭示了迁移学习过程的复杂性,突出了在冻结模型或单个数据样本上操作的方法的局限性。
2020-11-10 cs.AI cs.CL cs.LG
Multiple Physics Pretraining for Physical Surrogate Models
Flatiron Institute(弗拉蒂伦研究所);University of Colorado Boulder(科罗拉多大学博尔德分校);University of Cambridge(剑桥大学);Université Paris-Saclay(巴黎-萨克雷大学);Université Paris Cité(巴黎西岱大学);CEA(法国原子能和替代能源委员会);CNRS(法国国家科学研究中心);AIM(高等光学与力学研究所);Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室);New York University(纽约大学);Prescient Design;Genentech(基因泰克);Princeton University(普林斯顿大学)
本研究提出多物理预训练(MPP)方法,通过共享嵌入策略让Transformer同时学习多异构物理系统动力学,在流体力学基准上实现预训练任务性能媲美专用模型,下游微调效果优于从头训练和视频基础模型微调。
2024-12-10 cs.AI cs.LG stat.ML
DyFormer: A Scalable Dynamic Graph Transformer with Provable Benefits on Generalization Ability
Penn State University(宾夕法尼亚州立大学);Meta AI
Transformers在多个领域取得了巨大成功,包括自然语言处理和计算机视觉。然而,它的应用到现实世界的图是探索较少,主要是由于其计算成本高,其推广性差造成的缺乏足够的训练数据在图域。为了填补这一空白,我们提出了一个可扩展的transformer类动态图学习方法命名为动态图Transformer(DyFormer)与时空编码,有效地学习图形拓扑结构和捕获隐含的链接。为了实现高效和可扩展的训练,我们提出了时间并图结构及其相关的基于子图的节点采样策略。为了提高泛化能力,我们引入了两个互补的自监督预训练任务,并通过信息论分析表明,联合优化这两个预训练任务会导致更小的贝叶斯出错率。在真实世界数据集上进行的大量实验表明,与所有基准测试的基线相比,DyFormer实现了一致的1%-3% AUC增益(所有时间步长的平均值)。
2023-01-30 cs.LG
The Quantization Benefits of Residual-Free Transformers
Australian Institute for Machine Learning, Adelaide University(澳大利亚机器学习研究所,阿德莱德大学);DATA61, CSIRO(DATA61,CSIRO)
本文通过对比残差与无残差Transformer,发现残差连接导致激活值非高斯性增强,从而增加量化误差;而无残差Transformer通过正交初始化等技术保持近高斯激活值,显著提升低比特量化鲁棒性,揭示了精度与可压缩性之间的权衡。
2026-11-06 cs.LG
Exploring the Benefits of Differentially Private Pre-training and Parameter-Efficient Fine-tuning for Table Transformers
University of Science and Technology of China(中国科学技术大学);National Yang Ming Chiao Tung University(国立阳明交通大学);IBM Research(IBM研究院)
本文探讨了在迁移学习场景下结合差分隐私预训练与参数高效微调(如Adapter、LoRA和Prompt Tuning)对TabTransformers的益处,实验表明这些PEFT方法在参数效率、隐私和准确率间实现了更好的权衡。
2023-09-12 cs.CR cs.LG
FinGPT-HPC: Efficient Pretraining and Finetuning Large Language Models for Financial Applications with High-Performance Computing
Columbia University(哥伦比亚大学);Shanghai University(上海大学);Johns Hopkins University(约翰斯·霍普金斯大学)
本文提出 FinGPT-HPC,通过低秩结构替换线性层并结合 8 位/4 位量化,在金融 LLM 预训练中实现 1.3 倍加速与 2.64 倍压缩,微调精度提升最高 24%,模型小于 0.59 GB 可在手机端推理。
2024-02-21 cs.AI cs.CL cs.DC
Balancing Cost and Benefit with Tied-Multi Transformers
National Institute of Information and Communications Technology(信息通信技术国家研究所)
我们提出并评估了一种新的程序,用于训练多个Transformers与捆绑参数,压缩多个模型成一个,使动态选择的编码器和解码器层的数量在解码过程中。在序列到序列建模中,通常,N层编码器的最后一层的输出被馈送到M层解码器,并且最后一个解码器层的输出被用于计算损失。相反,我们的方法计算由NXM个损失组成的单个损失,其中每个损失是从连接到N个编码器层之一的M个解码器层之一的输出计算的。这样的模型包含具有不同数量的编码器和解码器层的NXM模型,并且可以用于具有少于最大数量的编码器和解码器层的解码。然后,我们提出了一种机制,选择先验的编码器和解码器层的数量更快的解码,并探讨了经常性的堆栈层和知识蒸馏的模型压缩。我们提出了一个成本效益分析的神经机器翻译,并表明他们降低解码成本,同时保持翻译质量。
2020-02-20 cs.CL cs.LG
VLSM-Adapter: Finetuning Vision-Language Segmentation Efficiently with Lightweight Blocks
Nepal Applied Mathematics and Informatics Institute (NAAMII)(尼泊尔应用数学与信息学研究所(NAAMII))
提出VLSM-Adapter,通过在冻结的预训练模型上仅训练轻量级模块,以仅300万参数高效微调医学图像视觉-语言分割模型,性能超越SOTA并媲美端到端微调。
2024-06-27 cs.AI cs.CL cs.CV
Transformer-Based Cognitive Radio: Adaptive Modulation Strategies Using Transformer Models
University of Bologna(博洛尼亚大学)
本文利用Transformer模型生成新的调制方案,展示了其在提升认知无线电系统性能方面的有效性。
2026-01-15 cs.LG