Integrating Contrastive Learning into a Multitask Transformer Model for Effective Domain Adaptation
Nanyang Technological University(南洋理工大学);University of Southern Queensland(南昆士兰大学)
针对语音情感识别跨语料库泛化难题,提出融合对比学习与信息最大化损失的多任务Transformer域适配方法,经IEMOCAP等数据集验证,在跨语料库SER任务上达当前最优性能。
2023-10-07 cs.CL cs.HC cs.LG
Prompt-tuning in ASR systems for efficient domain-adaptation
Amazon(亚马逊)
自动语音识别(ASR)系统已经在非常不同的领域中的许多工业应用中找到了它们的用途。由于特定领域的系统在域内评估方面比通用系统表现得更好,因此显然需要内存和计算效率高的领域自适应。特别地,调整用于重新评分ASR假设的基于参数重转换器的语言模型是具有挑战性的。在这项工作中,我们克服了这个问题,使用提示微调,一种方法,训练少量的域令牌嵌入参数,以总理基于变换器的LM到一个特定的域。每个域只需要几个额外的参数,我们就可以在使用未适应LM的基线上获得更好的困惑分数。尽管是参数高效的,但这些改进与具有数亿参数的完全微调模型的改进相当。我们复制我们的研究结果在困惑的数字字出错率在特定领域的ASR系统中的一个这样的域。
2021-10-22 cs.CL
TADA: Efficient Task-Agnostic Domain Adaptation for Transformers
NEC Laboratories Europe GmbH(NEC欧洲实验室有限公司);University of Mannheim(曼海姆大学);Bosch Center for Artificial Intelligence(博世人工智能中心);Karlsruhe University of Applied Sciences(卡尔斯鲁厄应用技术大学)
提出TADA,一种模块化、参数高效的任务无关领域自适应方法,通过仅重训嵌入和分词器并冻结其余参数,在多领域任务中表现优异且无需额外参数。
2023-05-22 cs.CL cs.LG
Transformer Based Multi-Source Domain Adaptation
University of Copenhagen(哥本哈根大学)
在实际的机器学习环境中,模型必须进行预测的数据通常来自与训练数据不同的分布。在这里,我们研究了无监督多源领域自适应问题,其中模型在来自多个源域的标记数据上进行训练,并且必须在没有标记数据的域上进行预测。之前使用CNN和RNN的工作已经证明了混合专家模型的好处,其中多个领域专家分类器的预测被组合在一起;以及领域对抗训练,以诱导领域不可知的表示空间。受此启发,我们研究了如何将这些方法有效地应用于大型预训练的Transformer模型。我们发现,领域对抗训练对这些模型的学习表示有影响,而对它们的性能影响不大,这表明基于transformer的大型模型在各个领域已经相对稳健。此外,我们表明,混合专家模型导致显着的性能改善,通过比较几种变体的混合功能,包括一种新的混合物的基础上注意。最后,我们证明了大型预训练的基于Transformer的领域专家的预测是高度同质的,这使得学习有效的函数来混合他们的预测变得具有挑战性。
2020-09-16 cs.CL cs.LG stat.ML
Domain Adaptation of Transformer-Based Models using Unlabeled Data for Relevance and Polarity Classification of German Customer Feedback
University of Applied Sciences and Arts Dortmund (FHDO)(多特蒙德应用科学与艺术大学);University Hospital Essen(埃森大学医院)
了解客户反馈正成为企业发现问题并改进产品和服务的必要条件。文本分类和情感分析可以通过使用各种机器和深度学习方法在分析这些数据中发挥重要作用。在这项工作中,利用不同的基于transformer的模型来探索这些模型在使用德国客户反馈数据集时的效率。此外,这些预先训练的模型将被进一步分析,以确定使用未标记的数据将它们适应特定领域是否可以产生比现成的预先训练的模型更好的结果。为了评估模型,考虑了GermEval 2017的两个下游任务。实验结果表明,与fastText基线相比,基于transformer的模型可以实现显着的改进,并且优于已发布的分数和以前的模型。对于子任务相关性分类,最佳模型在第一测试集上实现了96.1%的微平均$F1$分数,在第二测试集上实现了95.9%的微平均$F1$分数,并且对于子任务极性分类实现了85.1%和85.3%的分数。
2023-03-08 cs.CL cs.LG
CrisisBERT: a Robust Transformer for Crisis Classification and Contextual Crisis Embedding
Singapore University of Technology and Design(新加坡科技设计大学);ProQod Singapore(新加坡ProQod公司)
对自然灾害、恐怖袭击和流行病等危机事件进行分类,是一项至关重要的任务,可以及早发出信号,并通知有关各方采取自发行动,以减少总体损失。尽管自然灾害等危机可以由专业机构预测,但某些事件首先由平民发出信号,例如最近的COVID-19大流行病。Twitter等社交媒体平台经常通过每天发布的超过5亿条推文的大量信息交流来披露有关此类危机的第一手信号。先前的工作提出了各种危机嵌入和分类使用传统的机器学习和神经网络模型。然而,这些作品都没有使用最先进的基于注意力的深度神经网络模型(如Transformers和文档级上下文嵌入)来执行危机嵌入和分类。这项工作提出了CrisisBERT,这是一个基于端到端转换器的模型,用于两个危机分类任务,即危机检测和危机识别,它在准确性和f1分数方面显示出有希望的结果。所提出的模型还表现出优于基准的鲁棒性,因为它显示出边际性能妥协,同时从6个扩展到36个事件,只有51.4%的额外数据点。我们还提出了Crisis 2 Vec,一个基于注意力的,文档级的上下文嵌入架构的危机嵌入,实现更好的性能比传统的危机嵌入方法,如Word 2 Vec和GloVe。据我们所知,我们的工作是第一次提出使用transformer为基础的危机分类和文档级的上下文危机嵌入在文献中。
2020-05-18 cs.CL cs.LG cs.SI
Transformers for molecular property prediction: Domain adaptation efficiently improves performance
Spoken Language Systems, Saarland Informatics Campus, Saarland University(spoken language systems,萨尔兰信息学校园,萨尔兰大学);Medical Faculty, Saarland University(医学学院,萨尔兰大学);Center for Bioinformatics, Saarland University(生物信息学中心,萨尔兰大学);Data Driven Drug Design, Center for Bioinformatics, Saarland University(数据驱动药物设计,生物信息学中心,萨尔兰大学)
本研究评估Transformer在分子性质预测中的表现,发现大规模预训练数据量超过40万分子后性能不再提升,而基于小规模领域数据(≤4K分子)的多任务回归自适应能显著提升性能,并优于MolFormer、媲美MolBERT。
2025-05-22 cs.AI cs.CL cs.LG
Bridging the gap between supervised classification and unsupervised topic modelling for social-media assisted crisis management
McGill University(麦吉尔大学)
在自然灾害期间,Twitter等社交媒体为危机管理人员和受灾群众提供了宝贵的信息。机器学习可以帮助从危机期间共享的大量信息中构建和提取信息;然而,危机不断演变的性质使得有效的领域自适应至关重要。监督分类受到不可改变的类别标签的限制,这些类别标签可能与新事件无关,而无监督主题建模则受到先验知识不足的限制。在本文中,我们弥合了两者之间的差距,并表明,BERT嵌入微调危机相关的推文分类可以有效地用于适应新的危机,发现新的主题,同时保留相关类监督训练,并利用双向自我注意提取主题关键字。我们创建了一个数据集的推文从暴风雪来评估我们的方法的可转移性,以新的危机,并发现它优于传统的主题模型,在自动和人类的评估接地危机管理人员的需求。更广泛地说,我们的方法可以用于文本领域自适应的潜在类是未知的,但与其他领域的已知类重叠。
2021-03-22 cs.CL
Coping with low data availability for social media crisis message categorisation
University College Dublin(都柏林大学学院);College of Science(理学院);UCD School of Computer Science(都柏林大学学院计算机科学学院)
针对危机消息分类中标注数据稀缺问题,本文提出基于预训练语言模型的多任务领域自适应方法,利用历史危机数据适配当前事件,并通过集成进一步提升分类性能。
2023-05-26 cs.CL
Localising In-Domain Adaptation of Transformer-Based Biomedical Language Models
University of Pavia(帕维亚大学);IRCCS Istituto Centro San Giovanni di Dio Fatebenefratelli(圣乔瓦尼·迪·迪奥·法泰贝内弗拉泰利研究所IRCCS中心)
本文以意大利语为用例,比较基于机器翻译的大规模数据和高质量小规模原生语料两种域内自适应方法,发现数据数量约束更严格,但高质量数据拼接可提升生物医学语言模型性能。
2023-06-28 cs.AI cs.CL cs.LG
How does a Pre-Trained Transformer Integrate Contextual Keywords? Application to Humanitarian Computing
European Commission Joint Research Centre(欧洲委员会联合研究中心)
在分类任务中,处理文本片段和元数据通常需要处理多模态方法。当这些元数据是文本的时候,为了利用模型内部编码的语义信息,很容易将它们与预先训练的Transformer一起使用。本文描述了如何通过将危机事件类型添加到要分类的每个推文来改进人道主义分类任务。基于模型权重和行为的附加实验,它识别了所提出的神经网络方法如何部分地过度拟合危机基准的特殊性,以更好地突出模型如何毫无疑问地学习使用和利用元数据的文本语义。
2021-11-07 cs.CL
Cross-Lingual Query-Based Summarization of Crisis-Related Social Media: An Abstractive Approach Using Transformers
Universitat Pompeu Fabra(庞培法布拉大学);ICREA(加泰罗尼亚研究与高级研究院)
在危机期间从社交媒体收集的相关和及时的信息可以成为应急管理的宝贵资源。然而,提取这些信息仍然是一项具有挑战性的任务,特别是在处理多种语言的社交媒体帖子时。这项工作提出了一种跨语言的方法,检索和总结危机相关的信息,从社交媒体帖子。我们描述了一个统一的方式来表达各种信息需求,通过结构化查询和创建摘要回答这些信息需求的方式。该方法基于多语言Transformers嵌入。句子是用嵌入支持的语言之一编写的,提取的句子可以是支持的任何其他语言。Transformers创建抽象摘要。这项评估由众包评估人员和应急管理专家完成,并在五次大规模灾难期间从Twitter上提取了10种语言的集合,显示了我们方法的灵活性。生成的摘要被认为比现有的最先进的方法更有重点,更有结构,更连贯,专家们将其与现有的最先进的方法创建的摘要进行了比较。
2022-04-21 cs.CL cs.CY cs.IR
Transformer-Based Named Entity Recognition for French Using Adversarial Adaptation to Similar Domain Corpora
Delhi Technological University(德里理工大学);Université du Québec à Montréal(魁北克大学蒙特利尔分校)
命名实体识别(NER)涉及到非结构化文本中命名实体的识别和分类到预定义的类。资源有限的语言(如法语)的NER仍然是一个悬而未决的问题,因为缺乏大型,强大的,标记的数据集。在本文中,我们提出了一种基于变换的NER方法,法国使用对抗适应类似的领域或一般语料库,以改善特征提取和更好的推广。我们评估我们的方法在三个标记的数据集,并表明我们的适应框架优于相应的非自适应模型的各种组合的Transformer模型,源数据集和目标语料库。
2022-12-05 cs.CL
Translating Under Pressure: Domain-Aware LLMs for Crisis Communication
University of Pisa(帕尔米斯大学);University of Macerata(马切拉塔大学);Dublin City University(都柏林城市大学)
本文提出一种领域自适应流程,通过检索和过滤通用语料库扩展小语料库,用于危机领域翻译,并通过偏好优化提升翻译质量,验证了简化英语结合领域适应在应急通信中的实用性。
2026-04-29 cs.AI cs.CL
Efficient Adaptation of Pretrained Transformers for Abstractive Summarization
Allen School of Computer Science & Engineering, University of Washington(华盛顿大学艾伦计算机科学与工程学院);Microsoft Research(微软研究院);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
Transformer语言模型的大规模学习已经在各种自然语言理解任务上取得了改进。然而,它们是否可以有效地适应摘要,还没有得到太多的探索,因为学习的表示不太无缝地集成到现有的神经文本生成架构中。在这项工作中,我们提出了两种解决方案,有效地适应预训练的Transformer语言模型作为文本摘要:源嵌入和域自适应训练。我们在三个抽象摘要数据集上测试了这些解决方案,在其中两个数据集上实现了最先进的性能。最后,我们表明,这些改进是通过产生更有针对性的摘要,减少多余的,更抽象的数据集上的性能提高更明显。
2019-06-01 cs.CL
On the Limitations of Sociodemographic Adaptation with Transformers
University of Mannheim(曼海姆大学);Bocconi University(博科尼大学);University of Würzburg(维尔茨堡大学)
社会人口因素(例如,性别或年龄)塑造我们的语言。以前的工作表明,在传统的NLP模型中,结合特定的社会人口因素可以持续提高各种NLP任务的性能。我们调查这些先前的发现是否仍然适用于最先进的预先训练的Transformers。我们使用三种常见的专业化方法,这些方法被证明可以有效地将外部知识整合到预先训练的Transformers中(例如,地理知识或地理知识)。我们调整语言表示的社会人口性别和年龄方面,使用连续的语言建模和动态多任务学习适应,在那里我们耦合语言建模与预测的社会人口类。我们在使用多语言模型时的结果显示,四种语言(英语,德语,法语和丹麦语)的性能都有很大的提高。这些研究结果与以前的工作成果一致,并有望成功实现社会人口专业化。然而,控制混杂因素,如域和语言表明,虽然社会人口适应改善下游的性能,收益并不总是仅仅源于社会人口知识。我们的研究结果表明,社会人口专业化,而非常重要的,仍然是一个悬而未决的问题,在NLP。
2022-08-01 cs.CL
Adaptation of Deep Bidirectional Multilingual Transformers for Russian Language
Moscow Institute of Physics and Technology(莫斯科物理技术学院)
本文介绍了多语种屏蔽语言模型对特定语言的适应方法。预训练的双向语言模型在包括阅读理解、自然语言推理和情感分析在内的各种任务上表现出最先进的性能。目前,有两种可供选择的方法来训练这种模式:单语和多语种。虽然语言特定的模型表现出优越的性能,但多语言模型允许执行从一种语言到另一种语言的转换,并同时解决不同语言的任务。这项工作表明,从多语言模型到单语言模型的迁移学习导致阅读理解,释义检测和情感分析等任务的性能显着增长。此外,单语模型的多语言初始化大大减少了训练时间。俄语的预训练模型是开源的。
2019-05-17 cs.CL
Adaptation of domain-specific transformer models with text oversampling for sentiment analysis of social media posts on Covid-19 vaccines
新型冠状病毒肺炎(COVID-19,即2019冠状病毒病)已在全球蔓延,人们已开发出多种疫苗来应对疫情的激增。为了从社交媒体帖子中识别与疫苗相关的正确情绪,我们在与Covid-19疫苗相关的推文上微调各种最先进的预训练Transformer模型。具体来说,我们使用最近推出的最先进的预训练Transformer模型RoBERTa、XLNet和BERT,以及针对Covid-19推文预训练的特定领域Transformer模型CT-BERT和BERTweet。我们进一步探索了文本增强的选项,通过使用基于语言模型的过采样技术(LMOTE)来提高这些模型的准确性,特别是对于小样本数据集,其中在正面,负面和中性情感类之间存在不平衡的类分布。我们的研究结果总结了我们对不平衡小样本数据集的文本过采样的适用性的研究结果,这些数据集用于微调最先进的预训练Transformer模型,以及特定于域的Transformer模型在分类任务中的实用性。
2023-01-13 cs.CL
Information Type Classification with Contrastive Task-Specialized Sentence Encoders
Technische Hochschule Nürnberg(纽伦堡工业大学)
针对危机场景下用户生成信息分类受噪声和事件偏差影响的问题,提出采用对比式任务专用句子编码器,在多个基准任务上提升了F1分数,并验证了其跨语料与跨语言能力。
2023-12-18 cs.CL
Can Demographic Factors Improve Text Classification? Revisiting Demographic Adaptation in the Age of Transformers
University of Mannheim(曼海姆大学);NEC Laboratories Europe GmbH(NEC欧洲实验室有限公司);University of Hamburg(汉堡大学);Bocconi University(博科尼大学);University of Würzburg(维尔茨堡大学)
本研究考察人口统计适配在预训练Transformer语言模型中的有效性,发现表面上的性能提升源于混杂因素而非人口统计知识,表明该问题在现代NLP中仍未解决。
2023-05-09 cs.CL
COVID-19 Tweets Analysis through Transformer Language Models
Information Technology University(信息技术大学)
了解公众的情绪和看法,在医疗危机是必不可少的发展适当的危机管理技术。虽然一些研究在COVID-19期间使用Twitter数据进行预测建模,但尚未对这一流行病期间人们在社交媒体上的意见进行细粒度的情感分析。在这项研究中,我们对COVID-19中的推文进行了深入的细粒度情感分析。为此,我们对四个Transformer语言模型进行监督训练,用于将推文多标签分类为七个音调类的下游任务:[自信,愤怒,恐惧,喜悦,悲伤,分析,试探]。我们通过RoBERTa实现了0.9267的LRAP(标签排名平均精度)得分。这个经过训练的Transformer模型能够以高精度正确预测推文的语气。然后,我们利用这个模型来预测20万条关于COVID-19的推文的音调。然后,我们对推文的语气进行了国家层面的分析,并提取了有关这一流行病中人们心理状况的有用指标。
2021-02-27 cs.CL cs.IR cs.LG
The Hidden Space of Transformer Language Adapters
Mila, McGill University(米拉-麦吉尔大学);Google Research(谷歌研究院);Tel Aviv University(特拉维夫大学);Saarland University(萨尔大学)
本文通过分析 transformer 语言适配器在冻结模型上的运行机制,发现适配过程主要依赖源语言表示、仅在最后几层显现目标语言且可跳过部分适配器,从而揭示了底层模型对适配的约束并提出了效率优化方向。
2024-06-10 cs.CL
Localized Adaptation Reveals Distinct Learning Signatures in Transformers
研究Transformer适应位置对模型学习的影响,引入含五个目标的基准,定义“适应几何”,发现不同目标有不同适应模式,且在参数匹配控制下模式持续,确立适应位置为控制模型学习等的关键设计变量。
2026-07-29 cs.AI cs.CL
ScaLA: Accelerating Adaptation of Pre-Trained Transformer-Based Language Models via Efficient Large-Batch Adversarial Noise
Microsoft(微软)
近年来,基于transformer的大型预训练语言模型在许多自然语言理解任务中取得了巨大的进步。为了训练这些模型,许多神经网络从业者试图增加批量大小,以便利用多个GPU来提高训练速度。然而,增加批量大小通常会使优化变得更加困难,导致收敛速度慢或泛化能力差,可能需要多几个数量级的训练时间才能达到相同的模型质量。在本文中,我们探讨了大批量优化的损失景观的陡峭程度,以适应预训练的基于transformer的语言模型特定于领域的任务,并发现它往往是高度复杂和不规则的,对下游任务的泛化提出了挑战。为了应对这一挑战,我们提出了ScaLA,一种新颖而有效的方法来加快预训练的Transformer网络的适应速度。与现有方法不同,我们采用了一种顺序博弈论方法,将轻量级对抗性噪声添加到大批量优化中,从而在保持模型泛化的同时显着提高了自适应速度。实验结果表明,ScaLA在BERT-base和Roberta-large上的GLUE自适应加速比达到2.7- 9.8 $\times$,同时达到了与现有大批量优化方法相当的精度,有时甚至更高。最后,我们还解决了大批量优化与对抗噪声的理论方面,并提供了一个理论收敛率分析ScaLA使用技术分析非凸鞍点问题。
2022-01-29 cs.CL cs.LG
Zero-Shot Cross-Domain Dialogue State Tracking via Dual Low-Rank Adaptation
School of Information Science and Engineering(信息科学与工程学院);Yunnan University(云南大学)
本文提出DualLoRA,一种基于双低秩适配的即插即用架构,通过分别优化对话上下文处理和提示优化,在不增加推理延迟的前提下提升零样本跨领域对话状态追踪性能,并在MultiWOZ和SGD数据集上验证了其优于传统基线方法。
2024-07-31 cs.CL
Contextually Guided Transformers via Low-Rank Adaptation
Google DeepMind(谷歌DeepMind)
本文提出上下文引导Transformer(CGT),通过低秩自适应将上下文直接编码进模型权重以替代显式提示,实现模型自我专门化,并在合成上下文学习与语言建模任务中验证了有效性。
2025-06-06 cs.CL cs.LG
Interpretable Crisis Behavior Analysis Using Mobility and Social Media Data
New York University (NYUAD)(纽约大学(NYUAD))
提出统一可解释流水线,融合移动性和社交媒体数据,通过形式概念分析和关联规则挖掘,识别危机中跨域行为模式,并在洛杉矶山火和COVID-19案例中验证,生成可操作的政策简报。
2026-06-08 cs.CL cs.CY
Domain Adaptation with Pre-trained Transformers for Query Focused Abstractive Text Summarization
Dialpad Canada Inc.(Dialpad加拿大公司);Information Retrieval & Knowledge Management Research Lab, York University(约克大学信息检索与知识管理研究实验室);School of Information Technology, York University(约克大学信息技术学院)
以查询为中心的文本摘要(QFTS)任务旨在构建基于给定查询生成文本文档摘要的系统。解决此任务的一个关键挑战是缺乏用于训练摘要模型的大型标记数据。在本文中,我们通过探索一系列领域自适应技术来应对这一挑战。鉴于最近成功的预训练的Transformer模型在广泛的自然语言处理任务,我们利用这样的模型生成抽象摘要的QFTS任务的单文档和多文档的情况。对于领域自适应,我们使用预先训练的基于transformer的摘要模型应用各种技术,包括迁移学习,弱监督学习和远程监督。在六个数据集上进行的大量实验表明,我们提出的方法在为QFTS任务生成抽象摘要方面非常有效,同时在一组自动和人工评估指标的多个数据集中设置了一个新的最先进的结果。
2021-12-22 cs.AI cs.CL cs.LG
WhisTLE: Deeply Supervised, Text-Only Domain Adaptation for Small Pretrained Speech Recognition Transformers
comcast Speech AI(comcast语音人工智能)
提出WhisTLE,一种通过变分自编码器建模文本到编码器输出并微调解码器的文本领域自适应方法,显著降低词错误率。
2026-09-09 cs.CL cs.LG
On The Adaptation of Unlimiformer for Decoder-Only Transformers
Microsoft(微软)
本文研究将Unlimiformer向量检索增强方法适配到仅解码器Transformer,通过一系列修改克服其不兼容问题,并在摘要生成、自由形式问答和指令微调模型上验证了有效性。
2024-10-02 cs.CL cs.LG
Adversarial Adaptation for French Named Entity Recognition
Delhi Technological University(德里理工大学);Université du Québec à Montréal(魁北克大学蒙特利尔分校)
命名实体识别(NER)是识别大规模文本中的命名实体并将其分类到预定义的类别中的任务。法语和其他资源相对有限的语言中的NER并不总是受益于为英语等语言提出的方法,因为缺乏大型,强大的数据集。在本文中,我们提出了我们的工作,旨在减轻这种缺乏大型标记数据集的影响。我们提出了一种基于转换器的NER方法,用于法语,使用对抗适应相似的领域或一般语料库,以提高特征提取,使更好的泛化。我们的方法允许使用来自相同域或混合域的大规模未标记语料库来学习更好的特征,以在训练过程中引入更多变化并减少过拟合。在三个标记数据集上的实验结果表明,我们的自适应框架优于相应的非自适应模型的各种组合的Transformer模型,源数据集和目标语料库。我们还表明,对大规模未标记语料库的对抗性适应可以帮助减轻使用在较小语料库上预训练的Transformer模型所引起的性能下降。
2023-01-12 cs.AI cs.CL cs.LG
SPAFIT: Stratified Progressive Adaptation Fine-tuning for Pre-trained Large Language Models
Simon Fraser University(西蒙菲莎大学)
本文提出SPAFIT方法,通过将不同语言知识定位到模型特定层进行分层渐进式适配微调,在GLUE九个任务上以更少参数超越LoRA等现有PEFT方法。
2024-04-30 cs.AI cs.CL
Sparse Transformer with Local and Seasonal Adaptation for Multivariate Time Series Forecasting
University of Nevada, Reno(内华达大学雷诺分校);Missouri State University(密苏里州立大学);East Carolina University(东卡罗来纳大学)
针对Transformer在多元时间序列预测中的计算复杂度和全历史依赖问题,提出Dozer Attention稀疏机制与Dozerformer框架,在九个基准数据集上验证了高效且不损失精度。
2024-07-15 cs.CL cs.LG