Sentence Encoders on STILTs: Supplementary Training on Intermediate Labeled-data Tasks
Center for Data ScienceNew York University(纽约大学数据科学中心);Dept. of LinguisticsNew York University(纽约大学语言学系);Dept. of Computer ScienceNew York University(纽约大学计算机科学系);New York University(纽约大学)
使用语言建模和相关的无监督任务对句子编码器进行预训练最近被证明对于语言理解任务非常有效。通过对语言模型风格的预训练进行补充,并对数据丰富的监督任务(如自然语言推理)进行进一步训练,我们在GLUE基准测试中获得了额外的性能改进。在BERT上应用补充训练(Devlin等人,2018年),我们获得了81.8的GLUE评分-最先进的水平(截至2019年2月24日),比BERT提高了1.4分。我们还观察到在此设置中随机重启的方差减少。当应用于ELMo时,我们的方法产生类似的改进(Peters等人,2018 a)和Radford et al.(2018)的模型。此外,补充训练的好处是特别明显的数据约束制度,我们在实验中显示,人为限制的训练数据。
2019-02-27 cs.CL
Encoder Fine-tuning with Stochastic Sampling Outperforms Open-weight GPT in Astronomy Knowledge Extraction
Bonn-Aachen International Center for Information Technology(波恩-亚琛国际信息科技中心);University of Bonn(波恩大学);Lamarr Institute for Machine Learning and Artificial Intelligence(拉马尔机器学习与人工智能研究所)
针对天文学文献增长带来的知识提取需求,提出基于SciBERT的多任务Transformer系统,通过随机采样训练片段微调并在推理时用多数投票,其性能显著优于开源权重GPT基线。
2025-11-11 cs.CL
Semi-Siamese Bi-encoder Neural Ranking Model Using Lightweight Fine-Tuning
Seoul National University(首尔国立大学);Naver Corp.(Naver公司)
基于BERT的神经排序模型(NRM)可以是交叉编码器或双向编码器。在这两者之间,bi-encoder效率很高,因为所有文档都可以在实际查询时间之前进行预处理。在这项工作中,我们展示了两种方法来提高基于BERT的双编码器的性能。第一种方法是用轻量级的微调来代替完整的微调步骤。我们研究轻量级的微调方法,是基于适配器的,基于FPGA的,和两者的混合。第二种方法是开发半连体模型,其中查询和文档的处理具有有限的差异。通过学习两个轻量级的微调模块来实现有限的差异,其中BERT的主要语言模型对于查询和文档都是通用的。我们为monoBERT,TwinBERT和ColBERT提供了广泛的实验结果,其中三个性能指标在Robust 04,Cocktail Web 09 b和MS-MARCO数据集上进行了评估。结果证实,轻量级微调和半暹罗是相当有帮助的改善基于BERT的双编码器。事实上,轻量级的微调对CrossEncoder也很有帮助
2022-03-02 cs.CL cs.IR
Rethinking Why Intermediate-Task Fine-Tuning Works
Academia Sinica(中央研究院);Institute of Information Science, Academia Sinica(中央研究院资讯科学研究所)
中间标记数据任务补充训练(STILTs)是一种广泛应用的技术,它首先在中间任务上对预训练的语言模型进行微调,然后再在感兴趣的目标任务上进行微调。虽然STILTs能够进一步提高预训练语言模型的性能,但目前还不清楚它为什么以及何时起作用。先前的研究表明,那些涉及复杂推理的中间任务,如常识推理,对Roberta来说尤其有效。在本文中,我们发现,从一个中间任务的改进可能是正交的,它包含推理或其他复杂的技能-一个简单的真假辨别任务合成的GPT 2可以受益于不同的目标任务。我们进行了大量的实验,以研究不同因素对STILTs的影响。这些研究结果表明,重新思考的作用,中间微调STILTs管道。
2021-09-01 cs.CL
ConvFiT: Conversational Fine-Tuning of Pretrained Language Models
基于转换器的语言模型(LM)在大型文本集合上进行预训练,已被证明可以存储大量的语义知识。然而,1)当现成使用时,它们作为句子编码器不是有效的,并且2)因此通常落后于会话预训练(例如,经由响应选择)编码器对诸如意图检测(ID)之类的会话任务进行编码。在这项工作中,我们提出了ConvFiT,一个简单而有效的两阶段过程,将任何预先训练的LM变成通用的会话编码器(第1阶段ConvFiT-ing之后)和任务专用的句子编码器(第2阶段之后)。我们证明了:1)不需要全面的会话预训练,LM可以快速转换为有效的会话编码器,只需少量的未注释数据; 2)预训练的LM可以微调为任务专用的句子编码器,针对特定任务的细粒度语义进行优化。因此,这种专门的句子编码器允许将ID视为基于可解释的最近邻检索的简单语义相似性任务。我们通过对标准ID评估集进行基于相似性的推断来验证ConvFiT框架的鲁棒性和多功能性:ConvFiT的LM全面实现了最先进的ID性能,在最具挑战性的Few-Shot设置中具有特别的增益。
2021-09-21 cs.CL
Rethinking the adaptive relationship between Encoder Layers and Decoder Layers
该研究以德语到英语翻译的SOTA模型为对象,通过在编解码器间加不同初始化的无偏置全连接层,对比微调与重训效果,发现结构微调效果次优但重训下潜力显著。
2024-05-14 cs.CL
Transferring Semantic Knowledge Into Language Encoders
University of Maryland, Baltimore County(马里兰大学巴尔的摩郡分校)
我们引入语义形式中期调整,语义知识的语义表示转换为基于语言编码器的方法。在中期调整中,我们学习对齐一般句子的文本-不与任何特定的推理任务相关联-以及这些句子的结构化语义表示。我们的方法不需要黄金注释的语义表示。相反,它使用自动生成的语义表示,例如来自现成的PropBank和FrameNet语义解析器。我们表明,这种对齐可以通过分类或直接通过三重损失隐式学习。我们的方法产生的语言编码器,表现出更好的预测性能在推理,阅读理解,文本相似性,以及其他语义任务从GLUE,SuperGLUE和SentEval基准。我们在三个流行的基线模型上评估了我们的方法,我们的实验结果和分析得出结论,当前预训练的语言模型可以进一步受益于所提出的中期调整方法的结构化语义框架,因为它们将额外的任务不可知知识注入编码器,改善生成的嵌入以及给定模型的语言属性,这从对流行的句子嵌入工具包和各种探测任务的改进中显而易见。
2021-10-14 cs.CL
Latency Adjustable Transformer Encoder for Language Understanding
Sharif University of Technology(谢里夫理工大学)
提出一种基于注意力上下文贡献度度量的Transformer编码器,在微调阶段移除低贡献词向量,实现推理延迟可调,将Llama3的TTFT提升至2.9倍。
2024-09-18 cs.CL
Reconsidering Degeneration of Token Embeddings with Definitions for Encoder-based Pre-trained Language Models
RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心);Tokyo University(东京大学);Tokyo Institute of Technology(东京工业大学)
本研究分析了编码器型预训练语言模型微调中的退化鲁棒性,提出DefinitionEMB方法,利用Wiktionary定义重建各向同性且语义相关的词元嵌入,显著提升了低频词元在GLUE和文本摘要任务上的性能。
2024-10-16 cs.CL
EncT5: A Framework for Fine-tuning T5 as Non-autoregressive Models
Google(谷歌)
随着T5模型的出现,预先训练的编码器-解码器Transformer架构最近变得越来越流行。T5也比其他架构(如BERT)更受欢迎,这是因为它预先训练的数据量,模型参数大小的规模增加,以及由于模型的生成性质而易于适用于各种任务。虽然能够推广到各种各样的任务,但目前尚不清楚编码器-解码器架构对于不需要自回归解码的微调任务是否最有效。在这项工作中,我们研究了微调预训练的编码器-解码器模型,用于分类,多标签分类和结构化预测等任务。我们提出了\textbf{EncT5},这些问题的框架,并说明这些任务的实例。我们的实验结果表明,当在公开可用的预训练检查点上进行评估时,EncT 5比T5具有优势,例如效率和可用性优于BERT。
2022-10-23 cs.CL
Self-supervised Rewiring of Pre-trained Speech Encoders: Towards Faster Fine-tuning with Less Labels in Speech Processing
Monash University(莫纳什大学)
预先训练的语音Transformers在各种语音处理任务中取得了巨大成功。然而,为下游任务微调这些编码器需要足够大的训练数据来收敛或实现最新技术水平。在文本域中,这部分归因于预训练的Transformers中的表示空间的次优性。在这项工作中,我们对预先训练的语音编码器进行了冷静的研究,并重新构建了它们的表示空间,而不需要任何特定于任务的标签。我们的方法利用中性合成版本的音频输入以及帧掩蔽来构建对比自监督学习的正对。当用于增强wav2vec 2编码器时,我们观察到表示空间中的各向同性的一致改进。我们的实验6语音处理任务,表现出显着的收敛加速任务微调以及一致的任务改进,特别是在低资源设置。
2022-10-24 cs.CL cs.SD eess.AS
A Comparative Study of Pre-trained Encoders for Low-Resource Named Entity Recognition
Science of Intelligence(智能科学研究中心);German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心(DFKI));Humboldt Universität zu Berlin(柏林洪堡大学)
预训练语言模型(PLM)是Few-Shot命名实体识别(NER)方法的有效组成部分,通过对特定任务的域外数据进行持续预训练或对域内数据进行微调来增强。然而,在缺乏此类数据的低资源情况下,它们的表现仍然是一个悬而未决的问题。我们引入了一个编码器评估框架,并使用它来系统地比较最先进的预训练表示在低资源NER任务上的性能。我们分析了各种各样的编码器,这些编码器是用不同的策略、模型架构、中间任务微调和对比学习进行预训练的。我们在英语和德语的10个基准NER数据集上的实验结果表明,编码器性能差异很大,这表明需要仔细评估特定低资源场景的编码器选择。
2022-04-11 cs.CL
On Surgical Fine-tuning for Language Encoders
University of Massachusetts, Amherst(马萨诸塞大学阿默斯特分校);Microsoft Corp.(微软公司);University of Maryland, College Park(马里兰大学学院公园分校)
本文提出基于Fisher信息矩阵对角线的FIM分数来选择语言编码器中需微调的关键层,证明仅微调少数层即可在GLUE和SuperGLUE等任务上达到甚至超过全层微调的性能。
2023-10-25 cs.AI cs.CL cs.IR
Cross-lingual Intermediate Fine-tuning improves Dialogue State Tracking
University of Edinburgh(爱丁堡大学)
面向任务的神经对话系统的最新进展主要集中在少数几种语言上,因为训练数据的注释繁琐且昂贵。机器翻译已被用于使系统多语言,但这可能会引入错误管道。另一个有前途的解决方案是通过预训练的多语言模型使用跨语言迁移学习。现有的方法训练多语言模型与额外的代码混合的任务数据或通过并行本体细化的跨语言表示。在这项工作中,我们通过对预训练的多语言模型进行中间微调来增强迁移学习过程,其中多语言模型使用不同但相关的数据和/或任务进行微调。具体来说,我们使用并行和会话电影字幕数据集设计跨语言的中间任务,适合下游的对话任务。我们只使用20万行并行数据进行中间微调,这已经适用于1782语言对。我们在并行的多语言WoZ(英语->中文,中文->英语)和多语言WoZ(英语->德语,英语->意大利语)数据集上测试了我们的方法。我们在并行MultiWoZ数据集和多语言WoZ数据集上实现了令人印象深刻的改进(联合目标准确度> 20%),分别只有10%的目标语言任务数据和zero-shot设置。
2021-09-28 cs.CL
Two Intermediate Translations Are Better Than One: Fine-tuning LLMs for Document-level Translation Refinement
School of Computer Science and Technology, Soochow University(苏州大学计算机科学与技术学院);Huawei Translation Services Center(华为翻译中心)
本文提出利用句子级和文档级两个中间翻译微调大语言模型进行文档级翻译精炼,并引入质量感知加权方法,在多个翻译任务上验证了其有效性。
2025-04-08 cs.CL
DecoderLens: Layerwise Interpretation of Encoder-Decoder Transformers
University of Amsterdam(阿姆斯特丹大学);Tilburg University(蒂尔堡大学);University of Groningen(格罗宁根大学)
本文提出 DecoderLens,通过让解码器交叉注意编码器中间层表示,逐层分析编码器-解码器 Transformer,并在多任务模型中揭示低层和中间层完成的子任务。
2024-04-03 cs.CL
Leveraging Auxiliary Domain Parallel Data in Intermediate Task Fine-tuning for Low-resource Translation
Microsoft(微软);University of Moratuwa(莫拉图瓦大学);University of Toronto(多伦多大学)
本文提出对预训练多语言序列到序列模型进行中间任务微调,以缓解低资源语言在领域特定神经机器翻译中因平行数据不足和领域分歧导致的性能下降问题。
2023-09-24 cs.CL
Encoder Awakening via Adapters: Effective Domain-Adaptive Fine-tuning of Speech-LLMs
Department of Electrical and Computer Engineering University of California Los Angeles(加利福尼亚大学洛杉矶分校电气与计算机工程系)
针对语音大语言模型在域偏移语音(如儿童和方言)上适应困难的问题,提出EAVA方法,通过在编码器层插入适配器并联合微调,显著提升ASR性能并达到新最优。
2026-10-12 cs.CL eess.AS
PerPLM: Personalized Fine-tuning of Pretrained Language Models via Writer-specific Intermediate Learning and Prompts
The University of Tokyo(东京大学)
本研究针对预训练语言模型的个性化微调问题,提出利用特定作者提示和基于掩码语言建模的中间学习方法,在避免多副本存储成本的同时有效提取作者特征,提升了文本理解任务的准确性。
2023-09-14 cs.CL
Prompting and Adapter Tuning for Self-supervised Encoder-Decoder Speech Model
National Taiwan University(台湾大学);Meta AI
本研究针对自监督编码器-解码器语音模型Wav2Seq,提出提示和适配器调优方法,在序列生成任务上显著优于传统微调,并在跨语言和低资源场景下展现优势。
2023-11-14 cs.CL eess.AS eess.SP
UZHCL_for_the_win at Touche: Encoder Fine-Tuning, Synthetic Augmentation, and an Underpowered Encoder-LLM Comparison
University of Zurich(苏黎世大学)
本文介绍UZHCL_for_the_win参与Touche 2026共享任务的系统,采用微调RoBERTa-large编码器等方法,在基础赛道ST2、ST3分类单元获第一,还开展了低算力编码器-大语言模型对比研究。
2026-10-20 cs.CL
Listwise Cross-Encoder Fine-Tuning vs. Agentic Instruction Tuning for LLM Rerankers: A Systematic Study in Medical Procedure Reranking
Healthee
本文系统性对比列表式交叉编码器微调与智能体指令微调两种LLM重排序范式,在自建医疗流程重排序数据集上,发现1.09亿参数的ListNet微调交叉编码器性能优于40亿参数的Qwen3-Reranker-4B,参数量仅为后者1/37,相关成果已开源。
2026-08-11 cs.CL cs.IR
How to Tune a Multilingual Encoder Model for Germanic Languages: A Study of PEFT, Full Fine-Tuning, and Language Adapters
Linköping University(林雪平大学)
本文比较 mDeBERTa 在德语、瑞典语和冰岛语任务上的全量微调与 LoRA、Pfeiffer 适配器等 PEFT 方法,并评估文本训练适配器模块,揭示语言资源和任务类型对最优策略的影响。
2025-01-10 cs.AI cs.CL
Matching Tasks to Objectives: Fine-Tuning and Prompt-Tuning Strategies for Encoder-Decoder Pre-trained Language Models
提出MTO框架,通过匹配任务与预训练目标,在少样本和全数据集场景下显著提升编码器-解码器模型的生成与问答性能,性能增益超120%。
2026-06-24 cs.AI cs.CL
Pre-training, Fine-tuning and Re-ranking: A Three-Stage Framework for Legal Question Answering
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);Shenzhen University of Advanced Technology(深圳理工大学)
本文提出 PFR-LQA 三阶段框架,通过法律领域预训练、任务微调和上下文重排序提升双编码器在法律问答中的稠密检索性能,实验证明其优于现有强基线方法。
2024-12-27 cs.CL
A Survey on Prompt Tuning
University of Cambridge(剑桥大学)
本文综述提示调优,一种通过预置可训练连续向量适配冻结语言模型的参数高效方法,分类现有方法并分析其优缺点、挑战及未来方向。
2025-07-09 cs.CL
Linguistic Knowledge Can Enhance Encoder-Decoder Models (If You Let It)
Institute for Computational Linguistics "A. Zampolli" (CNR-ILC)(计算语言学研究所“A. Zampolli”(CNR-ILC))
本文研究在预测句子语言学属性的中间任务上微调 T5 模型,发现这种语言学驱动的中间微调能提升句子复杂度预测性能,尤其对较小模型和数据有限场景效果更明显。
2024-02-27 cs.CL
Multitask Learning with Low-Level Auxiliary Tasks for Encoder-Decoder Based Speech Recognition
Toyota Technological Institute at Chicago(芝加哥丰田技术研究院)
基于深度学习的模型的端到端训练允许根据最终任务损失对中间表示进行隐式学习。然而,端到端的方法忽略了有用的领域知识编码在显式的中间级监督。我们假设,在深层网络的较低级别使用中间表示作为辅助监督,可能是结合端到端训练和更传统的管道方法优势的好方法。我们目前的实验会话语音识别,我们使用较低级别的任务,如音素识别,在多任务训练方法与编码器-解码器模型直接字符转录。我们比较了多种类型的低层次任务,并分析了辅助任务的效果。我们的研究结果表明,在交换机语料库上,这种方法提高了识别精度,在Eval 2000测试集上的标准编码器-解码器模型。
2017-04-19 cs.AI cs.CL
What to Pre-Train on? Efficient Intermediate Task Selection
Technical University of Darmstadt(达姆施塔特工业大学)
中间任务微调已被证明可以在许多NLP任务中实现大量的转移增益。由于有大量的候选数据集以及预先训练的语言模型,运行所有组合的叉积以找到最佳转换设置已经变得不可行。在这项工作中,我们首先建立了类似的顺序微调增益可以在适配器设置中实现,随后巩固先前提出的方法,有效地识别中间迁移学习的有益任务。我们实验了一组不同的42个中级和11个目标英语分类,多项选择,问答,和序列标记任务。我们的研究结果表明,有效的嵌入方法,仅依赖于各自的数据集优于计算昂贵的Few-Shot微调方法。我们最好的方法在所有目标任务中实现了不到1%的平均Regret@3,这表明我们能够有效地识别用于中间训练的最佳数据集。
2021-09-10 cs.CL
When Can You Prune Your Network? A Study of Intermediate Neurons in Multilingual Speech Parsing
Univ. Grenoble Alpes(格勒诺布尔大学);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔理工学院);LIG(信息与信号处理实验室)
本研究针对多语言语音解析,提出移除中间神经网络单元的简化架构,参数减少12%且性能相当或更优,揭示中间神经元在预训练编码器冻结时可缩小表征差距,并评估了不同语言及相关因素的影响。
2026-10-09 cs.CL
Fine-tuning Whisper for Pashto ASR: strategies and scale
Independent Researcher(独立研究员)
本文探讨了在普什图语语音识别中对Whisper进行微调的四种策略,发现基础模型微调在CV20上取得21.22%的WER,优于其他方法,且在CV24上whisper-small和whisper-large-v3-turbo分别达到24.89%和23.37%的WER。
2026-04-07 cs.CL
Does QA-based intermediate training help fine-tuning language models for text classification?
RMIT University(皇家墨尔本理工大学)
为下游任务微调预训练的语言模型已经成为NLP的规范。近年来研究发现,基于高级推理任务(如问答)的中间训练可以提高目标任务的某些语言模型的性能。然而,目前尚不清楚中间训练是否普遍有益于各种语言模型。在本文中,使用SQuAD-2.0 QA任务的目标文本分类任务的中间训练,我们实验了8个任务的单序列分类和8个任务的序列对分类使用两个基地和两个紧凑的语言模型。我们的实验表明,基于QA的中间训练产生不同的迁移性能在不同的语言模型,除了类似的QA任务。
2021-12-30 cs.AI cs.CL
RePrompT: Recurrent Prompt Tuning for Integrating Structured EHR Encoders with Large Language Models
University of Kansas(堪萨斯大学)
RePrompT通过循环整合结构化EHR编码器与大语言模型,解决时间序列信息丢失和代码身份模糊问题,提升临床预测性能。
2026-04-20 cs.AI cs.CL
A Multi-Encoder Frozen-Decoder Approach for Fine-Tuning Large Language Models
Emory University(埃默里大学)
该研究提出多编码器冻结解码器的大模型参数高效微调方法,在AlexaTM上实验验证其可降部署开销、缓解遗忘,搭配大模型还能维持甚至提升结构化与问答任务性能。
2025-01-14 cs.AI cs.CL cs.LG
Contrastive Learning-based Sentence Encoders Implicitly Weight Informative Words
Tohoku University(东北大学);RIKEN(理化学研究所);MBZUAI(穆罕默德·本·扎耶德人工智能大学)
本文从理论和实验两方面揭示,基于对比损失微调的句编码器会根据信息论量隐式地对词进行加权,更具信息量的词会获得更大权重。
2023-10-24 cs.CL
Transcribe, Translate, or Transliterate: An Investigation of Intermediate Representations in Spoken Language Models
Stanford University(斯坦福大学);Toyota Technological Institute at Chicago(芝加哥丰田技术研究所)
本研究通过分析三个口语语言模型的模态适配器输出,发现其表示策略取决于语音编码器训练任务:Whisper编码器采用英语中间语言表示语义,而其他编码器用英语单词表示语音特征。
2025-10-16 cs.CL
The (In)Effectiveness of Intermediate Task Training For Domain Adaptation and Cross-Lingual Transfer Learning
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Massachusetts Institute of Technology(麻省理工学院)
从大语言模型(LLM)的迁移学习已经成为一种强大的技术,可以为许多任务进行基于知识的微调,为不同的领域甚至语言调整模型。然而,迁移学习是否以及何时起作用,即导致正迁移还是负迁移,仍然是一个悬而未决的问题。在本文中,我们分析了三个自然语言处理(NLP)任务-文本分类,情感分析和句子相似性,使用三个LLM- BERT,RoBERTa和XLNet -并分析其性能,通过微调目标数据集的域和跨语言适应任务,有和没有中间任务训练更大的数据集。我们的实验表明,在没有中间任务训练的情况下进行微调可以使大多数任务的性能更好,而更一般化的任务可能需要预先进行中间任务训练步骤。我们希望这项工作将作为迁移学习的NLP从业者的指南。
2022-11-04 cs.CL
Imperfect Vision Encoders: Efficient and Robust Tuning for Vision-Language Models
University of Cambridge(剑桥大学);Toyota Motor Europe(丰田汽车欧洲公司)
针对开源VLMs依赖冻结CLIP编码器导致图像理解错误传播的问题,提出一种选择性局部更新视觉编码器的高效鲁棒微调方法,在修正错误的同时保持整体鲁棒性并支持持续少样本更新。
2024-07-23 cs.AI cs.CL cs.CV
Bridging Vision and Language Encoders: Parameter-Efficient Tuning for Referring Image Segmentation
Sun Yat-sen University(中山大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Shenzhen Research Institute of Big Data(深圳大数据研究院);AI Institute, Fudan University(复旦大学人工智能研究院);Tencent AI Lab(腾讯人工智能实验室)
针对指代图像分割的参数高效调优问题,提出新型适配器Bridger与轻量解码器,仅更新少量骨干参数即可在基准上取得相当或更优性能。
2023-07-21 cs.CL cs.CV
Controlled Text Generation using T5 based Encoder-Decoder Soft Prompt Tuning and Analysis of the Utility of Generated Text in AI
Queen Mary University of London(伦敦玛丽女王大学)
受控文本生成是自然语言处理领域的一个重要课题,具有广阔的应用前景。为了实现这一任务,我们主要介绍了新的软提示微调的方法,使用软提示在编码器和解码器的水平在T5模型和研究的性能作为一个额外的软提示的行为相关的T5模型的解码器在受控文本生成仍然是未知的。然后,我们还研究了在解码器级别引导这种扩展的软提示T5模型的输出的可行性,最后分析了生成的文本在AI相关任务中的实用性,例如通过对用合成文本训练的分类器进行可解释性分析来训练AI模型,因为缺乏对生成正确标记的数据的方法的适当分析,这些数据将用于AI任务。通过对该生成模型以及人工生成的数据进行深入的内在和外在评估,我们发现,与在编码器级别具有单个软提示的T5模型相比,该模型产生了更好的结果,并且使用该人工生成的数据训练的情感分类器可以产生与使用真实标记数据训练的分类器的结果相当的分类结果,并且分类器该决定相对于输入文本内容是可解释的。
2022-12-06 cs.CL cs.LG
Accelerating LLaMA Inference by Enabling Intermediate Layer Decoding via Instruction Tuning with LITE
Arizona State University(亚利桑那州立大学)
针对大语言模型推理慢、成本高的问题,提出带中间层损失的指令微调方法LITE,结合token级动态置信度提前退出策略,在保持生成质量的同时显著降低LLaMA-2的推理计算成本。
2023-11-07 cs.CL
Recipes for Adapting Pre-trained Monolingual and Multilingual Models to Machine Translation
University of Edinburgh(爱丁堡大学);Facebook AI(脸书人工智能研究院)
最近在单语数据的预训练和机器翻译(MT)的微调方面取得了成功,但目前还不清楚如何最好地利用给定MT任务的预训练模型。本文研究了在MT上微调预训练模型时冻结参数和添加新参数的优点和缺点。我们专注于1)微调仅在英语单语数据上训练的模型,BART。2)微调在25种语言的单语数据上训练的模型,mBART。对于BART,我们通过冻结大多数模型参数并添加额外的位置嵌入来获得最佳性能。对于mBART,我们匹配或优于大多数语言对的朴素微调的性能,编码器和大多数解码器被冻结。编码器-解码器注意参数对于微调是最重要的。当我们将自己限制在越南语到英语的域外训练集时,我们看到了微调基线的最大改进。
2022-06-20 cs.CL
On the Role of Encoder Depth: Pruning Whisper and LoRA Fine-Tuning in SLAM-ASR
School of Computer Science and Electronic Engineering, University of Essex(埃塞克斯大学计算机科学与电子工程学院)
研究分析了在SLAM-ASR中剪枝Whisper编码器对性能的影响,并探讨LoRA微调如何补偿剪枝导致的性能下降,发现剪枝两层编码器仅导致2-4%的WER下降,结合LoRA可有效提升性能并减少参数量。
2026-03-30 cs.CL cs.SD
University of Indonesia at SemEval-2025 Task 11: Evaluating State-of-the-Art Encoders for Multi-Label Emotion Detection
University of Indonesia(印度尼西亚大学)
本文提出在SemEval-2025任务11中,通过集成多个BGE编码器与CatBoost分类器,实现28种语言的多标签情感分类,平均F1-macro达56.58。
2025-05-22 cs.AI cs.CL
Cross-Thought for Sentence Encoder Pre-training
Microsoft Dynamics 365 AI Research(微软Dynamics 365人工智能研究);Singapore Management University(新加坡管理大学)
在本文中,我们提出了交叉思维,一种新的方法来预训练序列编码器,这是在构建可重用的序列嵌入的大规模NLP任务,如问答。我们不使用完整句子的原始信号,而是在大量短序列上训练基于transformer的序列编码器,这使得模型能够自动选择最有用的信息来预测掩码词。在问答和文本蕴涵任务上的实验表明,我们的预训练编码器可以优于用连续句子信号训练的最先进的编码器以及传统的掩蔽语言建模基线。我们提出的方法还实现了新的艺术状态HotpotQA(全维基设置),通过提高中间信息检索性能。
2020-10-07 cs.CL
English Intermediate-Task Training Improves Zero-Shot Cross-Lingual Transfer Too
New York University(纽约大学);ILLC, University of Amsterdam(阿姆斯特丹大学逻辑、语言与计算研究所);University of Colorado Boulder(科罗拉多大学博尔德分校)
中间任务训练-在目标任务上再次微调之前,在中间任务上微调预训练的模型-通常会大大提高单语英语设置中语言理解任务的模型性能。我们研究了英语中介任务训练是否对非英语目标任务仍然有帮助。使用九个中间语言理解任务,我们评估中间任务转移在XTREME基准测试的zero-shot跨语言设置。我们看到BUCC和Tatoeba句子检索任务的中级训练有很大的改善,而问答目标任务有适度的改善。MNLI,SQuAD和HellaSwag作为中间任务实现了最佳的整体结果,而多任务中间任务提供了小的额外改进。使用我们针对每个目标任务的最佳中间任务模型,我们在XTREME基准测试中获得了超过XLM-R Large的5.4点改进,设定了截至2020年6月的最新技术水平。我们还研究了在中间任务训练和使用机器翻译的中间任务数据期间继续进行多语言MLM,但两者都不总是优于简单地执行英语中间任务训练。
2020-09-30 cs.CL
Supervised In-Context Fine-Tuning for Generative Sequence Labeling
University of Zagreb Faculty of Electrical Engineering and Computing(萨格勒布大学电气工程与计算学院);CAIDAS, University of Würzburg(维尔茨堡大学 CAIDAS)
本文提出 SIFT,将序列标注建模为受约束响应生成并结合 ICL 与有监督微调,在多项标准任务上优于基线,还发现移除指令可缓解长上下文性能下降。
2025-10-20 cs.CL
Fine-tuning Transformer-based Encoder for Turkish Language Understanding Tasks
Istanbul Bilgi University(伊斯坦布尔比尔基大学)
本研究针对土耳其语自然语言理解任务,微调基础版土耳其语BERT模型BERTurk,在命名实体识别等四项任务上超越现有基线,公开发布相关模型资源以支持领域研究。
2024-01-30 cs.AI cs.CL
CoMMIT: Coordinated Multimodal Instruction Tuning
University of California, San Diego(加州大学圣地亚哥分校);Adobe Research(Adobe研究);The University of New South Wales(新南威尔士大学);CSIRO’s Data61(澳大利亚联邦科学与工业研究组织的数据61)
本文提出多模态平衡系数与动态学习调度器,协调MLLM中LLM与特征编码器的学习,缓解振荡与偏置,提升指令微调效果。
2025-09-08 cs.CL cs.LG
Improving Zero and Few-Shot Abstractive Summarization with Intermediate Fine-tuning and Data Augmentation
Yale University(耶鲁大学);Facebook AI(脸书人工智能研究院);Nanyang Technological University(南洋理工大学);Renmin University of China(中国人民大学)
在大型文本语料库上使用自监督目标预训练的模型在英语文本摘要任务上实现了最先进的性能。然而,这些模型通常在数十万个数据点上进行微调,这在将摘要应用于新的利基领域时是不可行的要求。在这项工作中,我们介绍了一种新颖的和可推广的方法,称为WikiTransfer,用于微调预训练模型,以无监督的,特定于网络的方式进行摘要。WikiTransfer对伪摘要的预训练模型进行微调,伪摘要是从通用维基百科数据中产生的,其中包含目标数据集的特征,例如所需摘要的长度和抽象级别。WikiTransfer模型在CNN-DailyMail数据集上实现了最先进的zero-shot抽象摘要性能,并在另外三个不同的数据集上证明了我们的方法的有效性。这些模型对噪声数据更鲁棒,并且与来自其他摘要数据集的Few-Shot传输相比,使用10个和100个训练样本也实现了更好或相当的Few-Shot性能。为了进一步提高性能,我们通过往返转换采用数据增强,并引入正则化项以改进Few-Shot传输。为了了解数据集方面在传输性能和最终输出摘要质量中的作用,我们进一步研究了无监督微调数据的组件的影响,并使用自动和人工评估来分析Few-Shot性能。
2021-04-11 cs.CL
Causal Connections: Leveraging Multilingual Fine-Tuning for Financial QA@FinCausal 2026
Anhalt University of Applied Sciences(安哈尔特应用技术大学)
本文通过对比编码器、编码器-解码器和仅解码器模型,发现监督微调效果最佳,GPT-4.1 Mini在英西双语微调后取得英语最高分和西班牙语第三名。
2026-06-29 cs.CL
First Align, then Predict: Understanding the Cross-Lingual Ability of Multilingual BERT
Inria(法国国家信息与自动化研究所);Sorbonne Université(索邦大学);Bar Ilan University(巴伊兰大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
多语言预训练语言模型已经表现出显著的zero-shot跨语言迁移能力。这种迁移是通过对一种语言感兴趣的任务进行微调并对一种不同的语言进行评估而出现的,在微调过程中看不到。尽管取得了令人鼓舞的成果,但我们仍然缺乏对这种转移来源的适当了解。使用一种新的层烧蚀技术和模型的内部表示的分析,我们表明,多语言BERT,一个流行的多语言语言模型,可以被看作是两个子网络的堆叠:一个多语言编码器,然后由一个特定于任务的语言不可知的预测。虽然编码器对于跨语言迁移至关重要,并且在微调期间基本保持不变,但任务预测器对迁移的重要性很小,并且可以在微调期间重新初始化。我们提出了广泛的实验,三个不同的任务,17种类型不同的语言和多个领域来支持我们的假设。
2021-01-26 cs.CL
Stochastic Bridges as Effective Regularizers for Parameter-Efficient Tuning
Tsinghua University(清华大学);Renmin University of China(中国人民大学);Tencent Inc.(腾讯公司)
本文提出用潜在随机桥正则化中间状态并将其作为运行代价,从而将参数高效微调方法统一到最优控制框架下,并在多任务、多模型上验证了该正则化的有效性与通用性。
2023-05-28 cs.CL
Encoder-Agnostic Adaptation for Conditional Language Generation
Harvard University(哈佛大学)
大型预训练语言模型改变了研究人员处理区分性自然语言理解任务的方式,导致将预训练模型用于任意下游任务的方法占据主导地位。然而,如何将类似的技术用于语言生成是一个悬而未决的问题。编码器不可知设置的早期结果大多是负面的。在这项工作中,我们探索的方法,适应预先训练的语言模型,以任意条件输入。我们观察到,预训练的Transformer模型对调谐期间的大参数变化敏感。因此,我们提出了一种适应,直接注入任意条件反射到自我注意,我们称之为伪自我注意的方法。通过对四个不同的条件文本生成任务的实验,我们表明,这种编码器不可知的技术优于强基线,产生连贯的一代,是数据效率。
2019-09-11 cs.CL