Linguistic Knowledge and Transferability of Contextual Representations
Allen Institute for Artificial Intelligence(艾伦人工智能研究所);Harvard John A. Paulson School of Engineering and Applied Sciences(哈佛大学约翰·A·保尔森工程与应用科学学院);MIT Computer Science and Artificial Intelligence Laboratory(麻省理工学院计算机科学与人工智能实验室);University of Washington(华盛顿大学)
来自大规模神经语言模型的上下文单词表征在各种NLP任务中都是成功的,这表明它们编码了有用的和可转移的语言特征。为了揭示它们捕获的语言知识,我们研究了几个最近预训练的上下文化器(ELMo的变体,OpenAI Transformer语言模型和BERT)产生的表示,以及一套17个不同的探测任务。我们发现,在冻结的上下文表示之上训练的线性模型在许多情况下与最先进的任务特定模型竞争,但在需要细粒度语言知识的任务上失败(例如,联合识别)。为了研究上下文单词表示的可转移性,我们量化了上下文化器中各个层的可转移性差异,特别是递归神经网络(RNN)和Transformers之间的差异。例如,RNN的更高层更具有任务特定性,而Transformer层不表现出相同的单调趋势。此外,为了更好地理解是什么使上下文单词表示可转移,我们将语言模型预训练与11个监督预训练任务进行了比较。对于任何给定的任务,当预训练数据集固定时,对密切相关的任务进行预训练会产生比语言模型预训练更好的性能(平均而言更好)。然而,在更多数据上进行语言模型预训练会得到最好的结果。
2019-04-25 cs.CL
Divergence-Based Domain Transferability for Zero-Shot Classification
University of Glasgow(格拉斯哥大学)
从预训练的神经语言模型中转移学习模式已被证明可以显着提高各种基于语言的任务的有效性,同时,如果中间任务与目标任务充分相关,则进一步调整中间任务可以提供额外的性能优势。然而,如何识别相关的任务是一个开放的问题,和蛮力搜索有效的任务组合是昂贵的。因此,问题出现了,我们是否能够通过选择性微调来提高没有训练样本的任务的有效性和效率?在本文中,我们将探讨近似域表示之间的分歧的统计措施,作为一种手段,以估计是否调整使用一个任务对将表现出性能优势调整另一个。然后,该估计可以用于通过消除不太可能提供益处的任务对来减少需要测试的任务对的数量。通过对58个任务和6,600多个任务对组合的实验,我们证明了统计测量可以区分有效的任务对,并且由此产生的估计可以将端到端运行时间减少高达40%。
2023-02-28 cs.CL
CrossPT: Exploring Cross-Task Transferability through Multi-Task Prompt Tuning
本文提出 CrossPT 多任务提示微调框架,将目标提示分解为共享源提示与任务私有提示并通过注意力机制组合,在 GLUE 等基准上验证了其在低资源场景下优于传统提示微调的准确率、鲁棒性和参数效率。
2025-09-11 cs.AI cs.CL
Is Grokking Worthwhile? Functional Analysis and Transferability of Generalization Circuits in Transformers
Department of Computer Science University of Texas at Dallas(计算机科学系 德克萨斯大学达拉斯分校)
本文研究了Transformer中泛化电路的功能与可迁移性,发现grokking过程是整合记忆事实到自然推理路径,而非突然获得新范式,且其在迁移新知识时存在局限。
2026-01-14 cs.AI cs.CL
On Transferability of Bias Mitigation Effects in Language Model Fine-Tuning
University of Southern California(南加州大学);Snap Inc.(Snap 公司)
微调的语言模型已经被证明在大量的建模任务中表现出对受保护群体的偏见,例如文本分类和共指消解。以前的工作集中在检测这些偏差,减少数据表示中的偏差,并使用辅助训练目标来减轻微调过程中的偏差。尽管这些技术实现了当前任务和领域的偏差减少,但偏差减轻的效果可能不会直接转移到新任务,需要额外的数据汇集和敏感属性的定制注释,以及重新评估适当的公平性度量。我们探索上游偏差缓解(UBM)的可行性和好处,以减少下游任务的偏差,首先通过微调将偏差缓解应用到上游模型,随后将其用于下游微调。我们发现,在广泛的实验中跨越仇恨言论检测,毒性检测,职业预测,和共指消解任务在各种偏见因素,UBM的影响确实是转移到新的下游任务或域通过微调,创建更少的偏见下游模型比直接微调下游任务或从香草上游模型转移。虽然挑战仍然存在,我们表明,UBM承诺更有效和更容易的偏见减轻LM微调。
2021-04-11 cs.CL stat.ML
How to Estimate Model Transferability of Pre-Trained Speech Models?
National Taiwan University(台湾大学);Google(谷歌);Georgia Tech(佐治亚理工学院)
本文提出一种基于评分评估的框架,利用贝叶斯似然估计和最优传输理论,无需实际微调即可高效估计预训练语音模型的可迁移性,实验验证了其与微调结果高度相关且节省计算资源。
2024-02-06 cs.CL cs.NE cs.SD
Can LLMs Judge Better Than They Generate? Evaluating Task Asymmetry, Mechanistic Interpretability and Transferability for In-Context QA
Adobe Research(Adobe研究院)
本研究在受控上下文问答中测试LLM自我评估是否比生成更容易,发现评估并非普遍更易,注意力分析显示评估对上下文关注更少,微调实验证实不对称性非训练伪影,挑战了自我评估管线的核心假设。
2026-06-29 cs.AI cs.CL
s2s-ft: Fine-Tuning Pretrained Transformer Encoders for Sequence-to-Sequence Learning
Microsoft Research(微软研究院)
预训练的双向Transformers,例如BERT,在各种各样的语言理解任务中已经实现了显著的改进,而直接将它们应用于自然语言生成并不简单。在本文中,我们提出了一个序列到序列的微调工具包s2 s-ft,它采用预训练的Transformers的条件生成任务。受UniLM的启发,我们实现了三种序列到序列的微调算法,即因果微调、掩蔽微调和伪掩蔽微调。通过利用现有的预训练的双向Transformers,实验结果表明,s2 s-ft在抽象摘要和问题生成的几个基准上实现了强大的性能。此外,我们证明了包s2 s-ft支持单语和多语言NLG任务。s2 s-ft工具包可以在https://github.com/microsoft/unilm/tree/master/s2s-ft上找到。
2021-10-26 cs.CL
Evidence > Intuition: Transferability Estimation for Encoder Selection
IT University of Copenhagen(哥本哈根信息技术大学);LMU Munich(慕尼黑大学);Munich Center for Machine Learning(慕尼黑机器学习中心)
随着自然语言处理(NLP)中大型预训练语言模型(LM)的可用性增加,先验地评估它们是否适合特定目标任务变得至关重要-因为微调可用LM的整个空间在计算上是禁止的且不可持续的。然而,编码器可转移性估计在NLP中几乎没有受到关注。在本文中,我们建议生成定量证据来预测模型池中的哪个LM在目标任务上表现最好,而无需微调所有候选人。我们提供了一个全面的研究LM排名的10个NLP任务跨越两个基本的问题类型的分类和结构化预测。我们采用了最先进的最大证据对数(LogME)措施,从计算机视觉(CV),并发现它与最终LM性能在94%的设置呈正相关。在第一次同类研究中,我们进一步比较了可转移性指标与人类从业者排名的事实标准,发现来自定量指标的证据比纯粹的直觉更强大,可以帮助识别意想不到的LM候选人。
2022-10-20 cs.CL
Exploring and Predicting Transferability across NLP Tasks
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Microsoft Research Montreal(微软研究院蒙特利尔分院);Intuit AI(Intuit人工智能研究院)
NLP的最新进展证明了训练大规模语言模型并将其转移到下游任务的有效性。在语言建模之外的任务上微调这些模型是否可以进一步提高性能?在本文中,我们进行了广泛的研究33 NLP任务之间的可转移性跨越三大类问题(文本分类,问答,序列标记)。我们的研究结果表明,迁移学习比以前认为的更有益,特别是当目标任务数据稀缺时,即使源任务很小或与目标任务有很大不同(例如,词性标记很好地转移到DROP QA数据集)。我们还开发了任务嵌入,可用于预测最可转移的源任务为一个给定的目标任务,我们验证其有效性的实验控制的源和目标数据的大小。总的来说,我们的实验表明,源数据大小,任务和域的相似性,以及任务的复杂性等因素都发挥了作用,在确定可转移性。
2020-10-06 cs.CL
LoFT: Local Proxy Fine-tuning For Improving Transferability Of Adversarial Attacks Against Large Language Model
Carnegie Mellon University(卡内基梅隆大学)
本文提出局部微调(LoFT)方法,通过在有害查询的词汇语义邻域内微调公开代理模型以减小其与私有目标模型的差异,从而提升对抗攻击的迁移性,在 ChatGPT、GPT-4 和 Claude 上分别将攻击成功率提高了 39%、7% 和 0.5%。
2023-10-21 cs.AI cs.CL cs.LG
UHH-LT at SemEval-2020 Task 12: Fine-Tuning of Pre-Trained Transformer Networks for Offensive Language Detection
University of Hamburg(汉堡大学)
对预训练的Transformer网络(如BERT)进行微调,可为文本分类任务产生最先进的结果。通常,微调是以监督的方式在特定于任务的训练数据集上执行的。还可以通过进一步预训练掩码语言建模(MLM)任务来预先以无监督的方式进行微调。因此,类似于实际分类目标数据集的无监督MLM的域内数据允许模型的领域自适应。在本文中,我们比较了当前预训练的Transformer网络,以及没有MLM微调的攻击性语言检测性能。我们的MLM微调的基于RoberTa的分类器在SemEval 2020共享任务中正式排名第一,英语语言为12。用ALBERT模型进行的进一步实验甚至超过了这一结果。
2020-06-10 cs.CL
TuBA: Cross-Lingual Transferability of Backdoor Attacks in LLMs with Instruction Tuning
University College London(伦敦大学学院);The University of Melbourne(墨尔本大学);Macquarie University(麦考瑞大学);University of Edinburgh(爱丁堡大学)
本文提出 TuBA,通过污染一至两种语言的指令微调数据实现跨语言后门迁移,在 mT5、GPT-4o、Llama 等模型上验证其高成功率、跨 26 种语言的可迁移性及防御后鲁棒性。
2025-03-17 cs.CL cs.CR
On the Interplay Between Fine-tuning and Composition in Transformers
University of Chicago(芝加哥大学)
预训练的Transformer语言模型在各种NLP任务上表现出卓越的性能。然而,最近的研究表明,这些模型中的短语级表征反映了词汇内容的严重影响,但缺乏证据的复杂,成分短语信息。在这里,我们调查的影响微调的上下文嵌入捕捉词汇内容以外的短语含义信息的能力。具体来说,我们微调了具有高词汇重叠的对抗性释义分类任务和情感分类任务的模型。微调后,我们分析了短语表示在控制设置之前的工作。我们发现,微调在很大程度上未能使这些表示中的组合性受益,尽管对情绪的训练对某些模型产生了较小的局部益处。在后续分析中,我们确定了释义数据集中的混淆线索,这可能解释了该任务缺乏组合物的好处,我们讨论了情感训练的本地化好处的潜在因素。
2021-06-01 cs.CL
STF: Sentence Transformer Fine-Tuning For Topic Categorization With Limited Data
Laboratory of Vision and Artificial Intelligence (LAVIA)(视觉与人工智能实验室(LAVIA));Echahid Cheikh Larbi Tebessi University(沙希德·谢赫·拉比·特贝西大学)
本文提出句子变换器微调(STF)方法,利用预训练句子变换器模型在有限标注数据下实现高准确率的推文主题分类,并通过参数敏感性分析优化性能,在两个基准数据集上优于现有最先进方法。
2024-07-03 cs.CL
Data Doping or True Intelligence? Evaluating the Transferability of Injected Knowledge in LLMs
Lahore University of Management Sciences(拉瓦尔大学管理科学学院);New York University Abu Dhabi(纽约大学阿布扎克分校)
本研究评估了不同微调任务对LLM知识注入的可迁移性,发现理解密集型任务保留率更高,但所有模型在广泛上下文中应用时性能下降,强调任务选择与认知参与的重要性。
2025-05-22 cs.AI cs.CL cs.LG
FL-Tuning: Layer Tuning for Feed-Forward Network in Transformer
East China University of Science and Technology(华东理工大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Fudan University(复旦大学);Tencent AI Lab(腾讯人工智能实验室)
提示微调是一种使预训练的语言模型适应下游任务的新兴方式。然而,现有的研究主要是在输入序列中添加提示。这种方法由于中间的多头自注意和前馈网络计算,使模型优化不是很顺利,不能达到预期的效果。因此,我们提出了一种新的调优方式称为层调优,旨在增加可学习的参数在Transformer层。具体而言,我们专注于前馈网络的层调谐在Transformer,即FL调谐。它在每个前馈网络的隐藏层中引入了额外的单元。我们在公共CLUE基准上进行了广泛的实验。结果表明:1)在几乎所有情况下,无论是全数据还是Few-Shot设置下,我们的FL-调谐都优于提示微调方法。特别是,与P-tuning v2相比,它在WSC 1.0上将精度提高了17.93%(全数据设置),在CLUENER上将精度提高了16.142%(Few-Shot设置)。2)我们的FL调谐更稳定,收敛速度比P调谐v2快1.17倍。3)由于只有大约3%的Transformer参数要训练,FL调整与大多数数据集上的微调相当,并且显著优于微调(例如,在WSC 1.1上的准确性提高了12.9%)。源代码可在https://github.com/genggui001/FL-Tuning上获得。
2022-06-30 cs.CL cs.LG
On the Transferability of Pre-trained Language Models for Low-Resource Programming Languages
University of British Columbia(不列颠哥伦比亚大学);Singapore Management University(新加坡管理大学);JetBrains Research(JetBrains研究院)
Ahmed和Devanbu最近的一项研究报告说,使用多语言数据集编写的代码语料库来微调多语言预训练语言模型(PLM),与使用仅用一种程序设计语言编写的代码语料库相比,可以实现更高的性能。然而,没有进行分析,就微调单语PLM。此外,某些程序设计语言本质上是不同的,并且用一种语言编写的代码通常不能与其它语言互换,即,Ruby和Java代码具有非常不同的结构。为了更好地理解单语和多语言PLM如何影响不同的程序设计语言,我们调查1)在Ruby上的PLM的性能两个流行的软件工程任务:代码摘要和代码搜索,2)策略(选择程序设计语言),以及微调多语言PLM的Ruby,和3)性能的微调PLM在Ruby上给定不同的代码长度。在这项工作中,我们分析了一百多个预先训练和微调的模型。我们的研究结果表明:1)多语言PLM具有较低的性能时间比(BLEU,METEOR,或MRR分数在微调持续时间)相比,单语PLM,2)我们提出的策略,选择目标程序设计语言微调多语言PLM是有效的:它减少了微调的时间,但在代码摘要和代码搜索任务中实现了更高的性能,以及3)我们提出的策略在不同的码长上一致地显示出良好的性能。
2022-04-05 cs.CL cs.PL cs.SE
Transferability of Neural Network Clinical De-identification Systems
George Mason University(乔治梅森大学);University of Washington(华盛顿大学);Virginia Commonwealth University(弗吉尼亚联邦大学)
目的:神经网络去识别化研究主要集中在个体数据集上。这些研究假设有足够数量的人类注释数据可用于训练模型,这些模型可以推广到相应的测试数据。然而,在现实世界的情况下,研究人员通常只有有限的或没有内部训练数据。现有系统和外部数据可以帮助启动对内部数据的去识别化;然而,利用现有系统和外部数据的最有效方式尚不清楚。本文研究了最先进的神经临床去识别系统NeuroNER在各种数据集上的可移植性,当它在架构上被修改为领域泛化时,以及当它在策略上被训练为领域转移时。方法和材料:我们进行了一项比较研究的NeuroNER的可转移性,使用四个临床笔记语料库,从两个机构的多种笔记类型。我们修改了NeuroNER架构,以集成两种类型的领域泛化方法。我们使用三种培训策略对每个架构进行了评估。我们测量了:来自外部源的可转移性;跨笔记类型的可转移性;当域内训练数据可用时外部源数据的贡献;以及跨机构的可转移性。结果和结论:来自单一外部来源的可转移性产生不一致的结果。使用额外的外部来源始终产生约80%的F1评分。微调出现作为一个占主导地位的转移策略,有或没有领域泛化。我们还发现,即使在域内训练数据可用的情况下,外部源也是有用的。机构之间的可转移性因票据类型和注释标签而异,但导致性能提高。
2021-08-17 cs.CL cs.CR cs.LG
Simultaneous paraphrasing and translation by fine-tuning Transformer models
Amazon.com, Inc.(亚马逊公司)
本文介绍了在ACL 2020第四届神经生成和翻译(WNGT)研讨会上,语言教育同声翻译和释义共享任务的第三名提交。最终的系统利用预先训练的翻译模型,并使用Transformer架构与过采样策略相结合,以实现有竞争力的性能。该系统在匈牙利语(加权宏F1评分绝对提高27%)和葡萄牙语(绝对提高33%)上的表现明显优于基线。
2020-05-12 cs.CL cs.LG
Biomedical Data-to-Text Generation via Fine-Tuning Transformers
Bayer AG(拜耳股份公司)
生物医学领域的数据到文本(D2T)生成是一个很有前途的研究领域,但大多数尚未开发。在这里,我们将D2T生成的神经模型应用于由欧洲药品包装单组成的真实数据集。我们表明,微调Transformers能够产生现实的,多句文字的数据在生物医学领域,但有重要的限制。我们还发布了一个新的数据集(BioLeaflets),用于对生物医学领域的D2T生成模型进行基准测试。
2021-09-03 cs.CL cs.LG
Fine-Tuning Transformers for Identifying Self-Reporting Potential Cases and Symptoms of COVID-19 in Tweets
Johns Hopkins University(约翰斯·霍普金斯大学);Barnard College(巴纳德学院);Data Science Institute(数据科学研究所);Columbia University(哥伦比亚大学)
我们描述了我们对2021年健康应用社交媒体挖掘(SMM 4 H)共享任务的任务5和6的直接方法。我们的系统基于对每个任务的Distill- BERT进行微调,以及首先对其他任务的模型进行微调。我们探讨了需要进行多少微调才能准确地将推文分类为包含自我报告的COVID-19症状(任务5),或者与COVID-19相关的推文是自我报告、非个人报告还是病毒的文献/新闻提及(任务6)。
2021-04-12 cs.CL cs.SI
Prompt-Tuning Can Be Much Better Than Fine-Tuning on Cross-lingual Understanding With Multilingual Language Models
Salesforce AI Research(赛富时人工智能研究院)
预训练的多语言模型在广泛的自然语言理解(NLU)任务上显示出zero-shot跨语言模型传输的显着性能增益。此前,对于zero-shot跨语言评估,预先训练的模型仅在英语数据上进行微调,并在多种目标语言上进行测试。在本文中,我们做了跨语言的评价各种自然语言理解任务(句子分类,序列标记,问答)使用提示微调,并比较它与微调。结果表明,提示微调实现了更好的跨语言迁移比微调跨数据集,只有0.1%至0.3%的调整参数。此外,我们通过分析表明,提示微调可以有更好的跨语言的下游任务的表示更好地对齐决策边界的可转移性。
2022-12-13 cs.AI cs.CL
Training Optimus Prime, M.D.: Generating Medical Certification Items by Fine-Tuning OpenAI's gpt2 Transformer Model
National Board of Medical Examiners(美国国家医学考试委员会)
本文介绍了新的结果的应用程序使用基于transformer的语言模型自动生成项目(AIG),一个领域的认证测试领域的持续兴趣,以及在教育测量和心理测试。OpenAI的gpt 2预训练的345 M参数语言模型使用PubMed文章的公共领域文本挖掘集进行重新训练,随后用于生成项目词干(案例插图)以及多项选择项目的干扰项建议。这个案例研究展示了promise,并生成了可供人工项目编写者用作创作输入的草案文本。使用现有项目库对最近的Transformer模型(如Grover、TransformerXL)进行的未来实验预计将进一步改善结果,并促进评估材料的开发。
2019-08-29 cs.AI cs.CL
Comparative Analysis of Efficient Adapter-Based Fine-Tuning of State-of-the-Art Transformer Models
本研究对比了三种Transformer模型结合九种前沿适配器架构与传统微调在分类任务上的表现,发现适配器能用更少训练时间达到相当或更优性能,为NLP应用中适配器的选型与部署提供参考。
2025-01-14 cs.AI cs.CL
Adaptive Fine-Tuning of Transformer-Based Language Models for Named Entity Recognition
Arbetsförmedlingen(瑞典公共就业服务局);(Swedish Public Employment Service)(瑞典公共就业服务局(注:括号内为英文机构名的中文翻译补充,实际机构名以英文为准))
当前用于微调基于变换器的语言模型的标准方法包括固定数量的训练时期和线性学习率调度。为了获得给定下游任务的近似最优模型,通常需要在优化超参数空间中进行搜索。特别是,需要根据数据集大小调整训练epoch的数量。在本文中,我们介绍了自适应微调,这是一种替代方法,使用提前停止和自定义学习率调度来动态调整训练时期的数量,以数据集的大小。对于命名实体识别的示例用例,我们表明,我们的方法不仅使超参数搜索相对于训练时期的数量冗余,而且还导致性能,稳定性和效率方面的改进结果。这尤其适用于小数据集,在这种情况下,我们的性能大大优于最先进的微调方法。
2022-02-05 cs.CL cs.LG
Memory-Efficient Fine-Tuning of Transformers via Token Selection
Meta AI
本文提出 TokenTune 方法,通过仅对部分输入 token 反向传播并缓存其中间激活值,大幅降低 Transformer 模型微调的内存开销,且可与 LoRA 等方法结合,在数十亿参数模型的少样本任务中达到与全量微调相当的性能。
2025-01-31 cs.CL cs.LG
DP-KB: Data Programming with Knowledge Bases Improves Transformer Fine Tuning for Answer Sentence Selection
Alexa AI(亚马逊Alexa人工智能部门)
虽然Transformers在许多知识密集型(KI)任务上表现出令人印象深刻的性能,但它们作为隐式知识库(KB)的能力仍然有限,如几个插槽填充,问答(QA),事实验证和实体链接任务所示。在本文中,我们实现了一个高效的,数据编程技术,丰富的训练数据与知识库派生的上下文,并提高Transformer利用编码的知识时,微调一个特定的QA任务,即答案句子选择(AS2)。我们的方法优于最先进的Transformer方法在WikiQA和TrecQA,两个广泛研究的AS2基准测试中,分别增加了2.0%p@1,1.3%MAP,1.1%MRR和4.4%p@1,0.9%MAP,2.4%MRR。为了证明我们在行业环境中的改进,我们还在Alexa QA对的专有数据集上评估了我们的方法,并显示F1增加了2.3%,MAP增加了2.0%。我们还发现,即使在推理时省略KB上下文,这些改进仍然存在,允许在现有的Transformer工作流中使用我们的模型,而不会产生额外的延迟或部署成本。
2022-03-17 cs.CL cs.LG
Layer-Wise Evolution of Representations in Fine-Tuned Transformers: Insights from Sparse AutoEncoders
本文通过激活相似性分析、稀疏自编码器训练和token级激活可视化,揭示了BERT微调中表征的逐层演化:早期层保留通用特征,中间层过渡,后期层专精于任务,为理解微调机制提供了关键见解。
2025-02-23 cs.AI cs.CL
Finding Skill Neurons in Pre-trained Transformer-based Language Models
Tsinghua University(清华大学)
基于transformer的预训练语言模型在各种自然语言处理任务上表现出优越的性能。然而,目前尚不清楚处理这些任务所需的技能如何在模型参数之间分布。在本文中,我们发现,在针对特定任务进行提示微调后,预先训练的Transformers中的一些神经元的激活对任务标签具有高度预测性。我们将这些神经元称为技能神经元,并通过以下发现证实它们编码特定于任务的技能:(1)技能神经元对于处理任务至关重要。当相应的技能神经元受到干扰时,预先训练好的Transformers在任务上的表现会显著下降。(2)技能神经元是任务特定的。相似的任务往往具有相似的技能神经元分布。此外,我们证明了技能神经元最有可能在预训练而不是微调中生成,通过显示提示微调发现的技能神经元对于其他微调方法(冻结神经元权重)也至关重要,例如基于适配器的调整和BitFit。我们还探索了技能神经元的应用,包括通过网络修剪加速Transformers和构建更好的可转移性指标。这些发现可能会促进进一步的研究,了解Transformers。源代码可以从https://github.com/THU-KEG/Skill-Neuron获得。
2022-11-14 cs.CL cs.LG
PALI-NLP at SemEval-2022 Task 4: Discriminative Fine-tuning of Transformers for Patronizing and Condescending Language Detection
Ping An Life Insurance Company of China, Ltd.(中国平安人寿保险股份有限公司)
Patronizing and Condensing Language(PCL)具有很大的有害影响,并且对于人类法官和现有的NLP系统都难以检测。在SemEval-2022任务4中,我们提出了一种新的基于transformer的模型及其集成,以准确理解PCL检测的语言上下文。为了促进对PCL的微妙和主观性质的理解,两个微调策略被应用于捕捉不同的语言行为和分类分布的歧视性特征。该系统在官方排名中取得了显著的成绩,包括子任务1的第一名和子任务2的第五名。大量的实验任务证明了我们的系统和策略的有效性。
2022-07-16 cs.AI cs.CL
T3-Vis: a visual analytic framework for Training and fine-Tuning Transformers in NLP
University of British Columbia(不列颠哥伦比亚大学);Huawei Cananda Technologies Co. Ltd.(华为加拿大技术有限公司)
Transformers是NLP中的主导架构,但它们的训练和微调仍然非常具有挑战性。在本文中,我们提出了一个视觉分析框架的设计和实现,以帮助研究人员在这样的过程中,通过为他们提供有价值的见解模型的内在属性和行为。我们的框架提供了一个直观的概述,允许用户探索模型的不同方面(例如,隐藏状态、注意力),并允许一套内置算法来计算模型组件和输入序列不同部分的重要性。案例研究和用户焦点小组的反馈表明,该框架是有用的,并提出了几项改进建议。
2021-08-31 cs.CL cs.HC
Fine-Tuning Transformers: Vocabulary Transfer
Yandex;Higher School of Economics(高等经济大学);Facebook UK(英国脸书);Max Planck Institute for Mathematics in the Sciences(马克斯·普朗克数学与科学研究所);University of Lisbon(里斯本大学);CEMAPRE
本文研究微调时使用语料专属分词对Transformer模型性能的影响,提出结合词汇token初始化与微调策略的词汇迁移方法,可加快迁移速度并提升微调后模型性能。
2022-12-12 cs.AI cs.CL cs.LG
A Million Tweets Are Worth a Few Points: Tuning Transformers for Customer Service Tasks
Ghent University(根特大学)
在特定于在线领域的客户服务应用程序中,许多公司都很难成功部署高级NLP模型,这是由于其数据集的可用性和噪声有限。虽然先前的研究表明,将大型开放域预训练模型迁移到特定领域任务的潜力,但在这种社交媒体客户服务环境中,特别是在多语言条件下,尚未对适当的(预)训练策略进行严格评估。我们通过收集包含客户服务对话(86.5万条推文)的多语言社交媒体语料库来解决这一差距,比较各种预训练和微调方法的管道,并将其应用于5个不同的最终任务。我们表明,在对特定的最终任务进行微调之前,在我们的域内数据集上预训练通用的多语言Transformer模型,可以持续提高性能,特别是在非英语设置中。
2021-04-16 cs.AI cs.CL
Fundamental Limits of Prompt Tuning Transformers: Universality, Capacity and Efficiency
Northwestern University(西北大学);National Taiwan University(台湾大学);Fuzhou University(福州大学);UC Berkeley(加州大学伯克利分校)
本文从统计和计算角度揭示单层单头Transformer上提示微调的通用逼近能力、所需token数量的指数下界以及由软提示键查询范数决定的效率相变,为设计高效提示微调方法提供理论基础。
2025-06-05 cs.AI cs.CL cs.LG
Fine-grained style control in Transformer-based Text-to-speech Synthesis
Language Technologies Institute, Carnegie Mellon University(卡内基梅隆大学语言技术研究所)
在本文中,我们提出了一种新的架构,以实现细粒度的风格控制的transformer-based文本转语音合成(transformerTTS)。具体来说,我们通过从参考语音中提取本地风格令牌(LST)的时间序列来建模说话风格。TransformerTTS中现有的内容编码器将被我们设计的交叉注意力块所取代,以实现内容和风格之间的融合和对齐。由于融合是与跳过连接一起执行的,因此我们的交叉注意块提供了良好的归纳偏差,以逐渐注入具有给定风格的音素表示。此外,我们通过在训练过程中随机截断LST并使用wav 2 vec 2.0特征来防止风格嵌入对语言内容进行编码。实验表明,与细粒度的风格控制,我们的系统表现更好的自然度,可理解性和风格的可移植性。我们的代码和示例是公开的。
2022-03-16 cs.CL cs.LG cs.SD
FedTune: A Deep Dive into Efficient Federated Fine-Tuning with Pre-trained Transformers
The Hong Kong Polytechnic University(香港理工大学);Huazhong University of Science and Technology(华中科技大学)
联邦学习(FL)是一种新兴的范例,它使分布式用户能够协作和迭代地训练机器学习模型,而无需共享他们的私有数据。受基于自我注意力的架构的有效性和鲁棒性的激励,研究人员正在转向使用预先训练的Transformers(即,基础模型),而不是FL中的传统卷积神经网络,以利用其出色的迁移学习能力。尽管最近取得了进展,但预训练的Transformer模型如何在FL中发挥作用仍然不清楚,即如何在FL中有效地微调这些预训练模型以及FL用户如何从这种新范式中受益。在本文中,我们探讨了这个问题,并证明了微调Transformers实现FL非凡的性能,轻量级的微调方法有利于快速收敛速度和低通信成本。具体地,我们对三种调谐方法进行了严格的实证研究(即,修改输入、添加额外模块、以及调整主干)使用两种类型的预训练模型(即,视觉语言模型和视觉模型)。我们的实验表明:1)当依赖于强的预训练模型时,骨干的偏置项的微调表现最好; 2)视觉语言模型(例如,CLIP)优于纯视觉模型(例如,ViT),并且对Few-Shot设置更鲁棒; 3)与纯局部训练相比,使用预训练模型的FL具有更高的准确性,因为它消除了过拟合问题。我们将发布我们的代码,并鼓励进一步探索预先训练的Transformers和FL。
2022-11-15 cs.CL cs.CV cs.LG
Scale Efficiently: Insights from Pre-training and Fine-tuning Transformers
Google Research & DeepMind(谷歌研究院与深度思维)
关于Transformer架构的伸缩行为,仍然存在许多悬而未决的问题。这些扩展决策和发现可能是至关重要的,因为训练运行通常伴随着相关的计算成本,这些计算成本具有财务和/或环境影响。本文的目标是从预训练和微调Transformers中展示扩展见解。虽然Kaplan等人对Transformer语言模型的缩放行为进行了全面的研究,但范围仅限于上游(预训练)损失。因此,目前还不清楚这些发现是否转移到下游任务的背景下,pretrain-finetune范式。本文的主要发现如下:(1)我们表明,除了模型大小之外,模型形状对于下游微调也很重要,(2)缩放协议在不同的计算区域中的操作不同,(3)广泛采用的T5-base和T5-large大小是帕累托无效的。为此,我们提出了改进的缩放协议,从而我们重新设计的模型实现了类似的下游微调质量,同时与广泛采用的T5基础模型相比,参数减少了50%,训练速度加快了40%。我们公开发布了100多个不同T5配置的预训练检查点,以方便未来的研究和分析。
2022-01-30 cs.AI cs.CL cs.CV