MoEBERT: from BERT to Mixture-of-Experts via Importance-Guided Adaptation
Georgia Institute of Technology(佐治亚理工学院);Microsoft(微软)
预先训练的语言模型在各种自然语言处理任务中表现出卓越的性能。然而,这些模型通常包含数亿个参数,这限制了它们的实用性,因为在现实世界的应用程序中的延迟要求。现有的方法通过知识蒸馏来训练小的压缩模型。然而,与预训练模型相比,这些小模型的性能显着下降,这是由于它们的模型容量减少。我们提出了MoEBERT,它使用了一个混合专家模型结构,以增加模型容量和推理速度。我们通过将预训练模型中的前馈神经网络适应多个专家来初始化MoEBERT。因此,预训练模型的表示能力在很大程度上得到了保留。在推理过程中,只有一个专家被激活,这样可以提高速度。我们还提出了一种分层蒸馏方法来训练MoEBERT。我们验证了MoEBERT在自然语言理解和问答任务上的效率和有效性。实验结果表明,该方法优于现有的特定任务的蒸馏算法。例如,我们的方法在MNLI(不匹配)数据集上的性能优于以前的方法超过2%。我们的代码可在https://github.com/SimiaoZuo/MoEBERT上公开获取。
2022-04-28 cs.CL
AlphaTuning: Quantization-Aware Parameter-Efficient Adaptation of Large-Scale Pre-Trained Language Models
NAVER CLOVA;KAIST(韩国科学技术院);NAVER AI Lab(NAVER人工智能实验室);SNU AIIS(首尔大学人工智能研究所)
越来越多的人对使用参数高效微调方法来适应大规模语言模型感兴趣。然而,通过模型压缩来加速模型本身并获得更好的推理效率还没有被彻底探索。模型压缩可以提供减少内存占用、实现低精度计算以及最终实现成本有效的推断的益处。为了结合参数有效的自适应和模型压缩,我们提出了AlphaTuning,包括训练后量化的预训练语言模型和微调的量化参数的一部分,为目标任务。具体来说,AlphaTuning采用二进制编码量化,将全精度参数分解为二进制参数和一组单独的缩放因子。在自适应阶段,冻结所有任务的二进制值,同时微调下游任务的缩放因子。我们证明,AlphaTuning在应用于GPT-2和OPT时,在各种下游任务上具有竞争力,同时在4位量化下实现> 10倍的压缩比,并将可训练参数的数量减少>1,000倍。
2022-10-08 cs.CL cs.LG
Sparse Low-rank Adaptation of Pre-trained Language Models
Tsinghua University(清华大学);The University of Chicago(芝加哥大学);BNRIST, IAI, Tsinghua University(清华大学BNRIST、IAI)
提出稀疏低秩微调方法SoRA,通过近端梯度法优化的门控单元动态调整本征秩,在推理时消除冗余参数,以更高秩初始化增强表示能力,在保留70%参数和训练时间下优于基线方法。
2023-11-20 cs.AI cs.CL cs.LG
A General Highly Accurate Online Planning Method Integrating Large Language Models into Nested Rollout Policy Adaptation for Dialogue Tasks
本文提出NRPA-GD方法,利用大语言模型实现无需训练的对话策略规划,通过嵌套回滚策略适应在目标导向对话任务中取得优异表现。
2025-11-17 cs.AI cs.CL
Effective Unsupervised Domain Adaptation with Adversarially Trained Language Models
Monash University(莫纳什大学)
最近的工作表明,广泛覆盖的上下文嵌入模型的域上的目标任务的兴趣适应的重要性。当前的自监督自适应方法过于简单,因为训练信号来自一小部分\emph{randomly}屏蔽标记。在本文中,我们表明,仔细的掩蔽策略可以弥合知识差距的掩蔽语言模型(MLMs)的领域更有效地分配自我监督,它是必要的。此外,我们提出了一种有效的训练策略,通过对抗性地屏蔽那些难以由底层MLM重建的令牌。对抗性目标导致令牌的\emph{subsets}上的具有挑战性的组合优化问题,我们通过松弛到变分下界和动态规划来有效地解决该问题。在六个涉及命名实体识别的无监督领域自适应任务上,我们的方法大大优于随机掩蔽策略,并实现了高达+1.64 F1分数的改进。
2020-10-05 cs.CL
Temporal Effects on Pre-trained Models for Language Processing Tasks
University of Pennsylvania(宾夕法尼亚大学);Adobe Research(Adobe研究院)
随着时间的推移,保持语言技术的性能最佳具有很大的实际意义。我们研究了下游语言任务对模型性能的时间影响,为这种讨论建立了一个微妙的术语,并确定了进行稳健研究所必需的因素。我们提出了几个任务中的英语标签的正确性是不依赖于时间的实验,并证明了时间模型恶化和时间领域自适应系统使用预先训练的表示之间的区分的重要性。我们发现,根据任务,时间模型恶化不一定是一个问题。然而,时间领域自适应在所有情况下都是有益的,当系统在时间上更近的数据上训练时,给定时间段的更好性能是可能的。因此,我们还研究了两种方法的有效性的时间领域自适应没有人类注释的新数据。自标记显示出一致的改进,特别是对于命名实体识别,导致比人类注释更好的时间适应。
2022-06-06 cs.CL
Knowledge Distillation for BERT Unsupervised Domain Adaptation
Hanyang University(汉阳大学);Vision AI Labs(视觉人工智能实验室);SK Telecom(SK电讯)
预先训练的语言模型BERT在一系列自然语言处理任务中带来了显着的性能提升。由于该模型是在不同主题的大型语料库上训练的,因此它在训练(源数据)和测试(目标数据)的数据分布不同但具有相似性的域转移问题上表现出了强大的性能。尽管与以前的模型相比,它有很大的改进,但由于域转移,它仍然遭受性能下降。为了缓解这些问题,我们提出了一个简单而有效的无监督领域自适应方法,对抗适应蒸馏(AAD),它结合了对抗歧视性领域自适应(ADDA)框架与知识蒸馏。我们评估了我们的方法在30个域对的跨域情感分类任务,推进了文本情感分类中无监督领域自适应的最新性能。
2020-10-23 cs.CL
PERL: Pivot-based Domain Adaptation for Pre-trained Deep Contextualized Embedding Models
Technion, Israel Institute of Technology(以色列理工学院)
基于语义的神经表示模型在自然语言处理的领域自适应方面取得了重大进展。然而,以前的作品,遵循这种方法只利用标记的数据从源域和未标记的数据从源和目标域,但忽略了将大量的未标记的语料库,不一定是从这些领域。为了缓解这一问题,我们提出了PERL:一种表示学习模型,它扩展了上下文化的词嵌入模型,如BERT,并进行了基于语义的微调。PERL在22个情感分类领域自适应设置中的表现优于强基线,提高了领域模型的性能,产生了有效的缩小模型,并提高了模型的稳定性。
2020-06-16 cs.CL cs.LG
Joint Learning of Pre-Trained and Random Units for Domain Adaptation in Part-of-Speech Tagging
MIT(麻省理工学院);CEA(法国原子能和替代能源委员会);UQÀM(魁北克大学蒙特利尔分校)
微调神经网络被广泛用于将有价值的知识从高资源领域转移到低资源领域。在标准的微调方案中,源问题和目标问题使用相同的架构进行训练。虽然能够适应新的领域,预先训练的单位与学习不常见的目标特定模式的斗争。在本文中,我们建议用归一化、加权和随机初始化的单元来增强目标网络,这些单元在保持有价值的源知识的同时产生更好的适应性。我们对社交媒体文本(Tweets域)的POS标记的实验表明,我们的方法在3个常用的数据集上实现了最先进的性能。
2019-04-07 cs.CL cs.LG stat.ML
Structured Code Representations Enable Data-Efficient Adaptation of Code Language Models
MIT-IBM Watson AI Lab, IBM Research MIT(MIT-IBM沃森人工智能实验室,IBM研究院MIT)
本文提出将程序表示为序列化具体语法树(CST),并在不改变架构的前提下对代码模型进行少量持续预训练与微调,从而在多种代码任务、尤其低数据场景下显著提升性能。
2024-01-19 cs.CL
End-to-End Synthetic Data Generation for Domain Adaptation of Question Answering Systems
AWS AI(亚马逊云科技人工智能);Google(谷歌)
我们提出了一个端到端的合成QA数据生成方法。我们的模型包括一个基于transformer的编码器-解码器网络,该网络经过端到端训练,可以生成答案和问题。简而言之,我们向编码器提供一个段落,并要求解码器逐个令牌地生成一个问题和一个答案。在生成过程中产生的可能性被用作过滤得分,这避免了对单独的过滤模型的需要。我们的生成器是通过使用最大似然估计微调预训练的LM来训练的。实验结果表明,在领域自适应的QA模型优于当前国家的最先进的方法显着改善。
2020-10-12 cs.CL
Adaptation of Deep Bidirectional Multilingual Transformers for Russian Language
Moscow Institute of Physics and Technology(莫斯科物理技术学院)
本文介绍了多语种屏蔽语言模型对特定语言的适应方法。预训练的双向语言模型在包括阅读理解、自然语言推理和情感分析在内的各种任务上表现出最先进的性能。目前,有两种可供选择的方法来训练这种模式:单语和多语种。虽然语言特定的模型表现出优越的性能,但多语言模型允许执行从一种语言到另一种语言的转换,并同时解决不同语言的任务。这项工作表明,从多语言模型到单语言模型的迁移学习导致阅读理解,释义检测和情感分析等任务的性能显着增长。此外,单语模型的多语言初始化大大减少了训练时间。俄语的预训练模型是开源的。
2019-05-17 cs.CL
Unsupervised Domain Adaptation with Adapter
NetEase Inc.(网易公司);Tsinghua University(清华大学);Alibaba Group(阿里巴巴集团)
基于预训练语言模型(PrLM)的无监督领域自适应(UDA)方法已经取得了令人满意的结果,因为这些预训练的模型嵌入了从各个领域学习到的通用知识。然而,在一个小的特定领域的语料库上微调PrLM的所有参数会扭曲学习到的通用知识,并且为每个领域部署整个微调的PrLM也是昂贵的。本文探讨了一种基于自适应器的无监督领域自适应的微调方法。具体地说,几个可训练的适配器模块被插入在一个PrLM,并通过固定的原始PrLM在微调参数的嵌入式通用知识被保存。一个域融合计划引入训练这些适配器使用混合域语料库,以更好地捕捉可转移的功能。在两个基准数据集上进行了详细的实验,结果表明,我们的方法是有效的,不同的任务,数据集大小,和域相似性。
2021-11-01 cs.CL
Adaptation of domain-specific transformer models with text oversampling for sentiment analysis of social media posts on Covid-19 vaccines
新型冠状病毒肺炎(COVID-19,即2019冠状病毒病)已在全球蔓延,人们已开发出多种疫苗来应对疫情的激增。为了从社交媒体帖子中识别与疫苗相关的正确情绪,我们在与Covid-19疫苗相关的推文上微调各种最先进的预训练Transformer模型。具体来说,我们使用最近推出的最先进的预训练Transformer模型RoBERTa、XLNet和BERT,以及针对Covid-19推文预训练的特定领域Transformer模型CT-BERT和BERTweet。我们进一步探索了文本增强的选项,通过使用基于语言模型的过采样技术(LMOTE)来提高这些模型的准确性,特别是对于小样本数据集,其中在正面,负面和中性情感类之间存在不平衡的类分布。我们的研究结果总结了我们对不平衡小样本数据集的文本过采样的适用性的研究结果,这些数据集用于微调最先进的预训练Transformer模型,以及特定于域的Transformer模型在分类任务中的实用性。
2023-01-13 cs.CL
JuriBERT: A Masked-Language Model Adaptation for French Legal Text
École Polytechnique(巴黎综合理工学院);AUEB(雅典经济与商业大学);HEC Paris(巴黎高等商学院)
语言模型已经被证明在适应特定领域时非常有用。尽管如此,很少有研究已经做了适应特定领域的BERT模型在法语。在本文中,我们专注于创建一个适应法语法律文本的语言模型,旨在帮助法律专业人士。我们的结论是,一些特定的任务并没有受益于通用的语言模型预先训练的大量数据。我们探讨了在特定领域的子语言中使用较小的架构及其对法语法律文本的好处。我们证明了特定于领域的预训练模型可以比法律领域中的等效广义模型表现得更好。最后,我们发布了JuriBERT,这是一套适用于法国法律领域的新BERT模型。
2022-02-12 cs.CL
ScaLA: Accelerating Adaptation of Pre-Trained Transformer-Based Language Models via Efficient Large-Batch Adversarial Noise
Microsoft(微软)
近年来,基于transformer的大型预训练语言模型在许多自然语言理解任务中取得了巨大的进步。为了训练这些模型,许多神经网络从业者试图增加批量大小,以便利用多个GPU来提高训练速度。然而,增加批量大小通常会使优化变得更加困难,导致收敛速度慢或泛化能力差,可能需要多几个数量级的训练时间才能达到相同的模型质量。在本文中,我们探讨了大批量优化的损失景观的陡峭程度,以适应预训练的基于transformer的语言模型特定于领域的任务,并发现它往往是高度复杂和不规则的,对下游任务的泛化提出了挑战。为了应对这一挑战,我们提出了ScaLA,一种新颖而有效的方法来加快预训练的Transformer网络的适应速度。与现有方法不同,我们采用了一种顺序博弈论方法,将轻量级对抗性噪声添加到大批量优化中,从而在保持模型泛化的同时显着提高了自适应速度。实验结果表明,ScaLA在BERT-base和Roberta-large上的GLUE自适应加速比达到2.7- 9.8 $\times$,同时达到了与现有大批量优化方法相当的精度,有时甚至更高。最后,我们还解决了大批量优化与对抗噪声的理论方面,并提供了一个理论收敛率分析ScaLA使用技术分析非凸鞍点问题。
2022-01-29 cs.CL cs.LG
Can Spectral-Clipping Enable Better Learning While Forgetting Less for Low-Rank Adaptation?
本研究提出SCLoRA方法,通过结合频谱裁剪与低秩适配(LoRA),在提升下游任务性能的同时缓解了灾难性遗忘,实现更好的学习且减少知识遗忘。
2026-08-14 cs.CL cs.LG
Cross-Lingual Adaptation Using Universal Dependencies
University of Tehran(德黑兰大学)
我们描述了一个跨语言的适应方法的基础上获得的语法分析树的通用的语法分析(UD),这是一致的跨语言,在低资源的语言开发分类。UD解析的思想是在类型不同的语言之间捕获相似性和特性。在本文中,我们展示了使用UD解析树为复杂的NLP任务训练的模型可以表征非常不同的语言。我们以释义识别和语义关系抽取两个任务为例进行了研究。基于UD解析树,我们使用树内核开发了几个模型,并表明这些模型在英语数据集上训练可以正确分类其他语言的数据,例如法语,波斯语和阿拉伯语。该方法为利用UD解析解决类似的跨语言任务开辟了途径,这对于没有标记数据的语言非常有用。
2020-03-28 cs.CL
Adversarial Domain Adaptation for Machine Reading Comprehension
University of Virginia(弗吉尼亚大学);Microsoft Dynamics 365 AI Research(微软 Dynamics 365 AI 研究院);Microsoft Research(微软研究院)
在本文中,我们专注于机器阅读理解(MRC)的无监督领域自适应,其中源域有大量的标记数据,而目标域中只有未标记的段落。为此,我们提出了一个对抗性的领域自适应框架(AdaMRC),其中($i$)伪问题首先在目标领域中的未标记的段落中生成,然后($ii$)领域分类器被纳入MRC模型,以预测给定的问题对来自哪个领域。使用对抗学习来联合训练分类器和问题编码器,以实施域不变表示学习。综合评估表明,我们的方法($i$)是可推广到不同的MRC模型和数据集,($ii$)可以与预训练的大规模语言模型(如ELMo和BERT)相结合,($iii$)可以扩展到半监督学习。
2019-08-24 cs.CL
Neural Adaptation Layers for Cross-domain Named Entity Recognition
University of Southern California(南加州大学);Singapore University of Technology and Design(新加坡科技设计大学)
最近的研究工作表明,神经架构可以有效地用于传统的信息抽取任务,如命名实体识别,在标准的新闻通讯数据集上产生最先进的结果。然而,尽管训练这样的模型需要大量的资源,但是在一个域上训练的模型的性能在应用于不同的域时通常会显著降低,然而从诸如社交媒体的新兴域中提取实体可能是非常重要的。在本文中,我们实证研究有效的方法,方便地适应现有的,训练有素的神经NER模型的一个新的领域。与现有的方法不同,我们提出了轻量级但有效的方法来执行领域自适应的神经模型。具体来说,我们在现有的神经架构之上引入了适应层,其中不需要使用源域数据进行重新训练。我们进行了广泛的实证研究,并表明我们的方法显着优于国家的最先进的方法。
2018-10-15 cs.CL
Neural Supervised Domain Adaptation by Augmenting Pre-trained Models with Random Units
CEA-List(法国原子能委员会电子与信息技术实验室);Université Paris-Saclay(巴黎萨克雷大学);UQÀM(魁北克大学蒙特利尔分校)
神经迁移学习(TL)在自然语言处理(NLP)中变得无处不在,这要归功于它在许多任务上的高性能,特别是在低资源的情况下。值得注意的是,TL被广泛用于神经领域自适应,以将有价值的知识从高资源域转移到低资源域。在TL的标准微调方案中,模型最初在源域上进行预训练,随后在目标域上进行微调,因此,源域和目标域使用相同的架构进行训练。在本文中,我们表明,通过解释方法,这种方案,尽管它的效率,是从一个主要的局限性。事实上,尽管预先训练的神经元能够适应新的领域,但它们很难学习特定于目标领域的某些模式。此外,我们揭示了隐藏的负迁移发生,尽管源域和目标域之间的高度相关性,这可能会减少最终的收益带来的迁移学习。为了解决这些问题,我们建议使用归一化,加权和随机初始化的单元来增强预训练模型,这些单元在保持有价值的源知识的同时促进更好的适应。我们表明,我们的方法表现出显着的改进,从新闻领域的社交媒体领域的神经领域自适应的标准微调计划的四个NLP任务:词性标记,组块,命名实体识别和morphosyntaging标记。
2021-06-09 cs.AI cs.CL cs.LG
Benchmarking Robustness of Adaptation Methods on Pre-trained Vision-Language Models
LMU Munich(慕尼黑大学);University of Oxford(牛津大学);Siemens AG(西门子公司);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心)
该研究评估了11种适应方法在多模态损坏下的鲁棒性,发现适应方法对文本损坏更敏感,全量微调未必最优,增加数据和参数反而可能降低鲁棒性。
2023-11-18 cs.CL cs.CV cs.LG
Zoho at SemEval-2019 Task 9: Semi-supervised Domain Adaptation using Tri-training for Suggestion Mining
Zoho(Zoho公司)
本文描述了我们为SemEval-2019建议挖掘任务提交的内容。一个简单的卷积神经网络(CNN)分类器与上下文单词表示从预先训练的语言模型用于句子分类。该模型使用tri-training进行训练,这是一种用于标记未见过数据的半监督自举机制。三训练被证明是一种有效的技术,以适应跨域建议挖掘(子任务B),其中没有手工标记的训练数据域转移。对于域内评估(子任务A),我们使用相同的技术来增加训练集。我们的系统在子任务A中排名第十三,$F_1$得分为68.07,在子任务B中排名第三,$F_1$得分为81.94。
2019-04-06 cs.CL
BiLoRA: A Bi-level Optimization Framework for Overfitting-Resilient Low-Rank Adaptation of Large Pre-trained Models
Tsinghua University(清华大学);UC San Diego(加州大学圣迭戈分校)
针对LoRA微调易过拟合问题,提出基于双层优化的BiLoRA框架,通过伪奇异值分解分离训练向量和值以降低单一数据集过拟合风险,在10个数据集上显著优于现有微调方法。
2024-03-19 cs.CL cs.LG
Crisis Domain Adaptation Using Sequence-to-sequence Transformers
University College Dublin(都柏林大学学院)
社交媒体上的用户生成内容(UGC)可以作为危机情况下紧急救援人员的关键信息来源。然而,由于所涉及的数量,需要计算技术来有效地过滤和优先考虑这些内容,因为它出现在新出现的事件。在文献中,这些技术是使用以前危机中的注释内容进行训练的。在本文中,我们研究如何先验知识可以最好地利用新的危机,检查在何种程度上类似类型的危机事件更适合适应新的事件(跨领域自适应)。鉴于最近成功的变压器在各种语言处理任务,我们提出CAST:危机领域自适应利用序列到序列Transformers的方法。我们使用两个主要的危机相关的消息分类数据集来评估CAST。我们的实验表明,我们的基于CAST的最佳运行,而不使用任何目标数据实现了最先进的性能在域内和跨域的上下文中。此外,CAST在用较大的语言模型训练时,在一对一跨领域自适应中特别有效。在多对一适应多个危机共同使用的源域,CAST进一步提高了其性能。此外,我们发现,更多的相似事件更有可能带来更好的适应性能,而微调使用不同的事件并没有帮助适应。为了提高可重复性,我们向社区开放了我们的代码。
2021-10-15 cs.CL
Domain Adaptation for Sparse-Data Settings: What Do We Gain by Not Using Bert?
Center for Information & Language Processing, LMU Munich(慕尼黑大学信息与语言处理中心)
大部分NLP的实际成功取决于训练数据的可用性。然而,在现实世界的场景中,训练数据往往是稀缺的,尤其是因为许多应用领域是有限的和特定的。在这项工作中,我们比较了不同的方法来处理这个问题,并提供指导方针,当只有少量的标记训练数据可用于特定的域时,建立NLP应用程序。虽然使用预训练的语言模型的迁移学习在跨任务方面优于其他方法,但替代方法的性能不会差得多,同时需要的计算工作量少得多,从而显著降低了金钱和环境成本。我们研究了几种这样的替代方案的性能权衡,包括可以训练高达175K倍的模型,并且不需要单个GPU。
2022-03-31 cs.CL
Getting the most out of your tokenizer for pre-training and domain adaptation
University of Edinburgh(爱丁堡大学);Meta AI
本文研究分词器设计对大型语言模型性能的影响,提出通过专门化分词器并在大规模微调时切换,以提升生成速度和有效上下文大小。
2024-02-07 cs.CL
Domain Adaptation with Pre-trained Transformers for Query Focused Abstractive Text Summarization
Dialpad Canada Inc.(Dialpad加拿大公司);Information Retrieval & Knowledge Management Research Lab, York University(约克大学信息检索与知识管理研究实验室);School of Information Technology, York University(约克大学信息技术学院)
以查询为中心的文本摘要(QFTS)任务旨在构建基于给定查询生成文本文档摘要的系统。解决此任务的一个关键挑战是缺乏用于训练摘要模型的大型标记数据。在本文中,我们通过探索一系列领域自适应技术来应对这一挑战。鉴于最近成功的预训练的Transformer模型在广泛的自然语言处理任务,我们利用这样的模型生成抽象摘要的QFTS任务的单文档和多文档的情况。对于领域自适应,我们使用预先训练的基于transformer的摘要模型应用各种技术,包括迁移学习,弱监督学习和远程监督。在六个数据集上进行的大量实验表明,我们提出的方法在为QFTS任务生成抽象摘要方面非常有效,同时在一组自动和人工评估指标的多个数据集中设置了一个新的最先进的结果。
2021-12-22 cs.AI cs.CL cs.LG
GenSF: Simultaneous Adaptation of Generative Pre-trained Models and Slot Filling
Carnegie Mellon University(卡内基梅隆大学)
在迁移学习中,必须在预训练模型和下游任务之间实现强对齐。先前的工作已经通过提出特定于任务的预训练目标来做到这一点,这牺牲了迁移学习范例的固有可扩展性。相反,我们通过同时修改预训练模型和下游任务的制定来实现强对齐,这更有效,并保留了迁移学习的可扩展性。我们提出了GenSF(生成式插槽填充),它利用生成式预训练的开放域对话模型进行插槽填充。GenSF(1)通过合并关于任务的归纳偏差来适应预训练模型,(2)通过重新制定插槽填充来适应下游任务,以更好地利用预训练模型的能力。GenSF在两个槽填充数据集上实现了最先进的结果,在Few-Shot和zero-shot设置下具有强大的增益。我们在zero-shot插槽填充中实现了9个F1分数的提高。这突出了预训练模型和下游任务之间强对齐的价值。
2021-06-13 cs.AI cs.CL cs.LG
Robust Domain Adaptation for Pre-trained Multilingual Neural Machine Translation Models
BNP Paribas(法国巴黎银行)
最近的文献已经证明了多语言神经机器翻译(mNMT)模型的潜力。然而,最有效的模式并不适合专门行业。在这些情况下,在所有语言对中找到内部数据是稀缺和昂贵的。因此,在专门领域上微调mNMT模型是困难的。在这种情况下,我们决定专注于一个新的任务:在一对语言上对预训练的mNMT模型进行领域自适应,同时尝试在所有语言对的通用领域数据上保持模型质量。通用域和其他对的损失风险很高。这项任务是业界采用mNMT模型的关键,也是许多其他任务的边界。我们提出了一个微调程序的通用mNMT,结合嵌入冻结和对抗损失。我们的实验表明,与朴素的标准方法相比,该过程提高了专用数据的性能,并且所有语言对的通用域的初始性能损失最小(专用数据的BLEU分数为+10.0,WMT和Tatoeba数据集的BLEU分数为-0.01到-0.5)。
2022-10-26 cs.CL cs.LG
Simple, Scalable Adaptation for Neural Machine Translation
Google AI(谷歌人工智能)
微调预训练的神经机器翻译(NMT)模型是适应新语言和领域的主要方法。然而,微调需要为每个目标任务调整和维护单独的模型。我们提出了一个简单而有效的方法来适应NMT。我们提出的方法包括将微小的特定于任务的适配器层注入到预先训练的模型中。这些轻量级的适配器,只有原始模型大小的一小部分,使模型同时适应多个单独的任务。我们在两个任务上评估我们的方法:(i)领域自适应和(ii)大规模多语言NMT。领域自适应的实验表明,我们提出的方法是与各种领域,数据集大小和模型容量的全面微调。在一个包含103种语言的大规模多语言数据集上,我们的自适应方法弥合了单个双语模型与大多数语言对的大规模多语言模型之间的差距,为通用机器翻译铺平了道路。
2019-09-18 cs.CL cs.LG
MAPL: Parameter-Efficient Adaptation of Unimodal Pre-Trained Models for Vision-Language Few-Shot Prompting
Mila(米拉研究所);Université de Montréal(蒙特利尔大学);ServiceNow Research(ServiceNow研究院);DeepMind(深度思维);Samsung - SAIT AI Lab(三星-三星先进技术研究院人工智能实验室)
大型预训练模型已被证明是显着的零和(基于阈值的)Few-Shot学习者在单峰视觉和语言任务。我们提出了MAPL,这是一种简单且参数高效的方法,可以重用冻结的预训练单峰模型,并在多模态视觉语言(VL)设置中利用其强大的泛化能力。MAPL使用对齐的图像-文本数据学习单峰模型的表示空间之间的轻量级映射,并且可以从几个上下文示例中概括到看不见的VL任务。少量的可训练参数使MAPL在低数据和域内学习中有效。此外,MAPL的模块化可以轻松扩展到其他预训练模型。在几个视觉问答和图像描述基准上的大量实验表明,与类似方法相比,MAPL在训练数量级更少的参数时实现了更好的或有竞争力的性能。MAPL可以在几个小时内使用适度的计算资源和公共数据集进行训练。我们在https://github.com/mair-lab/mapl上发布了我们的代码和预训练的模型权重。
2023-03-15 cs.AI cs.CL cs.CV
A simple method for domain adaptation of sentence embeddings
German Aerospace Center (DLR)(德国航空航天中心)
预训练的句子嵌入已被证明对各种NLP任务非常有用。由于训练这种嵌入需要大量数据,因此它们通常在各种文本数据上进行训练。在许多情况下,对特定领域的调整可以改善结果,但这种微调通常取决于问题,并存在过度适应用于调整的数据的风险。在本文中,我们提出了一个简单的通用方法,使用Siamese架构微调谷歌的通用句子编码器(USE)。我们演示了如何使用这种方法的各种数据集,并在不同的数据集代表类似的问题,目前的结果。该方法也比较传统的微调这些数据集。作为另一个优点,该方法可以用于组合具有不同注释的数据集。我们还提出了一个嵌入微调的所有数据集并行。
2020-08-25 cs.CL cs.LG
Dialogue Strategy Adaptation to New Action Sets Using Multi-dimensional Modelling
Cambridge Research Laboratory, Toshiba Europe Limited(东芝欧洲有限公司剑桥研究实验室)
为新领域和应用构建统计口语对话系统的主要瓶颈是需要大量的训练数据。为了解决这个问题,我们采用了多维度的对话管理方法,并评估其潜在的迁移学习。具体来说,我们利用预先训练的任务无关的政策,以加快训练扩展的任务特定的动作集,其中请求插槽的单个摘要动作被多个插槽特定的请求动作所取代。策略优化和评估实验,使用一个基于ARIMA的用户模拟器表明,有限的训练数据,更好的性能水平时,可以实现所提出的多维自适应方法。我们证实了这一改进,在我们的口语对话系统的众包人类用户的评价,比较部分训练的政策。多维系统(在目标场景中对有限的训练数据进行适配)比一维基线(在相同量的训练数据上不进行适配)表现出7%的感知成功率。
2022-04-14 cs.AI cs.CL
PTPP-Aware Adaptation Scaling Laws: Predicting Domain-Adaptation Performance at Unseen Pre-Training Budgets
Cerebras Systems(Cerebras系统);MBZUAI(穆萨埃德人工智能研究所)
本文提出PTPP感知的自适应缩放定律,将预训练预算作为显式变量,实现在未见预算下准确预测域自适应损失,并用于规划回放比率和令牌预算。
2025-10-27 cs.AI cs.CL cs.LG
Dual-Pipeline with Low-Rank Adaptation for New Language Integration in Multilingual ASR
ByteDance(字节跳动)
针对多语言 ASR 集成新语言时数据受限问题,提出 LoRA 双流水线与解码器选择机制,在扩展 Whisper 至 FLEURS 19 种新语言的同时保护原有语言性能。
2024-06-12 cs.CL eess.AS
Domain Adaptation from Scratch
University of Edinburgh(爱丁堡大学);Technion, IIT(以色列理工学院)
自然语言处理(NLP)算法正在迅速改进,但在应用于分发外的示例时往往会遇到困难。一个突出的方法,以减轻域差距是领域自适应,其中一个模型训练的源域是适应一个新的目标域。我们提出了一个新的学习设置,“从零开始的领域自适应”,我们认为这是至关重要的NLP的范围扩展到敏感领域的隐私保护的方式。在这种设置中,我们的目标是有效地注释来自一组源域的数据,以便训练的模型在数据不可用于注释的敏感目标域上表现良好。我们的研究比较了几种方法,这个具有挑战性的设置,从数据选择和领域自适应算法的主动学习范式,两个自然语言处理任务:情感分析和命名实体识别。我们的研究结果表明,使用上述方法缓解了域间隙,并将它们结合起来进一步改善了结果。
2022-09-02 cs.AI cs.CL cs.LG
AdaSpeech 2: Adaptive Text to Speech with Untranscribed Data
Tsinghua University(清华大学);Microsoft Research Asia(微软亚洲研究院);Microsoft Azure Speech(微软Azure语音)
文语转换(TTS)被广泛用于为目标说话人合成个人语音,其中训练良好的源TTS模型被微调,而目标说话人的配对适应数据(语音及其转录本)很少。然而,在许多场景中,只有未转录的语音数据可用于适配,这给先前的TTS适配流水线(例如,AdaSpeech)。在本文中,我们开发了AdaSpeech 2,一个自适应TTS系统,只利用未转录的语音数据进行适应。具体来说,我们引入了一个梅尔频谱编码器的一个训练有素的TTS模型进行语音重建,并在同一时间限制梅尔频谱编码器的输出序列接近原来的音素编码器。在自适应中,我们使用未转录的语音数据进行语音重建,只微调TTS解码器。AdaSpeech 2有两个优点:1)可插拔:我们的系统可以很容易地应用于现有的训练TTS模型,而无需重新训练。2)有效:我们的系统通过转录的TTS适配实现了同等的语音质量(例如,AdaSpeech)与相同数量的未转录数据,并实现更好的语音质量比以前的未转录适应方法。合成的语音样本可以在https://speechresearch.github.io/adaspeech2/上找到。
2021-04-20 cs.CL cs.SD eess.AS
Meta-TTS: Meta-Learning for Few-Shot Speaker Adaptive Text-to-Speech
National Taiwan University(台湾大学)
个性化语音合成系统是非常期望的应用,其中系统可以利用用户的语音生成语音,而用户的语音具有罕见的登记记录。在最近的工作中,有两种主要的方法来建立这样的系统:说话人自适应和说话人编码。一方面,说话人自适应方法用很少的注册样本对训练好的多说话人文本到语音(TTS)模型进行微调。然而,它们需要至少数千个微调步骤才能实现高质量的适配,这使得它很难应用于设备。另一方面,说话人编码方法将登记话语编码到说话人嵌入中。训练好的TTS模型可以在相应的说话人嵌入的条件下合成用户的语音。然而,扬声器编码器受到可见扬声器和不可见扬声器之间的泛化间隙的影响。在本文中,我们提出了应用Meta学习算法的说话人自适应方法。更具体地说,我们使用模型不可知元学习(MAML)作为多说话者TTS模型的训练算法,其目的是找到一个很好的元初始化,以使模型快速适应任何Few-Shot说话者自适应任务。因此,我们也可以有效地将元训练的TTS模型适应于看不见的说话者。我们的实验比较所提出的方法(元TTS)与两个基线:一个扬声器自适应方法基线和扬声器编码方法基线。实验结果表明,在相同训练方案下,元文语转换系统能够以较少的训练步骤从少量的注册样本中合成出具有较高说话人相似度的语音,且性能优于说话人编码基线。当基线的扬声器编码器使用额外的8371个扬声器数据进行预训练时,Meta-TTS仍然可以在LibriTTS数据集上优于基线,并在VC…
2022-07-29 cs.CL cs.SD eess.AS
OpenDelta: A Plug-and-play Library for Parameter-efficient Adaptation of Pre-trained Models
Tsinghua University(清华大学);International Innovation Center of Tsinghua University(清华大学国际创新中心);Jiangsu Normal University(江苏师范大学)
本文提出开源库OpenDelta,通过即插即用方式实现多种delta调优方法,无需修改主干预训练模型代码即可高效适配大规模PTMs。
2023-07-05 cs.AI cs.CL cs.LG
Low-rank Adaptation Method for Wav2vec2-based Fake Audio Detection
University of Science and Technology of China(中国科学技术大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);Beijing Jiaotong University(北京交通大学);Tsinghua University(清华大学)
针对伪造音频检测中预训练语音模型微调成本高、耗时长的问题,提出将低秩适配(LoRA)用于wav2vec2模型,大幅减少可训练参数且性能相近。
2023-06-09 cs.CL cs.SD eess.AS
Unsupervised Adaptation with Domain Separation Networks for Robust Speech Recognition
Microsoft AI and Research(微软人工智能与研究部)
语音信号的无监督领域自适应的目的是使训练好的源域声学模型适应来自目标域的未标记数据。这可以通过深度神经网络(DNN)声学模型的对抗训练来实现,以学习既具有senone区分性又具有域不变性的中间深度表示。具体而言,DNN被训练为联合优化senone分类的主要任务和具有对抗性目标函数的域分类的次要任务。在这项工作中,而不是只专注于学习域不变特征(即域之间的共享组件),我们还通过私有组件提取器DNN显式建模每个域的私有组件来表征源和目标域分布之间的差异。私有组件被训练为与共享组件正交,从而隐式地增加共享组件的域不变性的程度。重建器DNN用于从私有和共享分量重建原始语音特征作为正则化。将该域分离框架应用于无监督环境适应任务,并在CHiME-3数据集上进行自动语音识别,从梯度反转层训练(一种代表性的对抗训练方法)实现了11.08%的相对WER降低。
2019-04-30 cs.AI cs.CL cs.SD
Hierarchical Recurrent Adapters for Efficient Multi-Task Adaptation of Large Speech Models
Google(谷歌公司)
提出分层循环适配器(HRA),通过共享控制器网络、任务级适配器头和跨层参数复用降低多任务适配的参数开销,并在语音识别任务上超越现有适配器方法和全模型微调。
2024-03-25 cs.AI cs.CL cs.LG