Domain adaptation for sequence labeling using hidden Markov models
Inria（法国国家信息与自动化研究所）；École Normale Supérieure（巴黎高等师范学院）；Université Paris-Est（巴黎东大学）；École des Ponts - ParisTech（巴黎高科桥路学院）
大多数基于机器学习的自然语言处理系统对领域转移不鲁棒。例如，一个在华尔街日报句子上训练的最先进的句法依赖分析器在测试来自Web的文本数据时，性能绝对下降了10个点以上。使这些方法对域移位更鲁棒的有效解决方案是首先使用来自两个域的大量未标记数据来学习单词表示，然后在监督学习算法中使用该表示作为特征。在本文中，我们建议使用隐马尔可夫模型来学习单词表示的词性标记。特别是，我们研究了使用来自源，目标或两个域的数据来学习表示的影响，以及使用HMM表示单词的不同方式。
2013-12-14 cs.CL cs.LG
Continuously Learning New Words in Automatic Speech Recognition
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Carnegie Mellon University（卡内基梅隆大学）
针对ASR系统在识别首字母缩写词、命名实体等缺乏标注数据的特殊词汇时易出错的问题，提出一种自监督持续学习方法，利用幻灯片引导记忆增强模型解码新词并构建适配数据集进行迭代训练，使新词召回率超80%且保持整体性能。
2025-01-29 cs.CL cs.LG
Domain adaptation for part-of-speech tagging of noisy user-generated text
University of Munich (LMU)（慕尼黑大学（LMU））
词性标注器的性能高度依赖于所处理文本的领域，并且对于许多领域，没有或只有非常少的训练数据可用。本文研究了用神经网络对用户生成的噪声文本进行词性标注的问题。我们提出了一个架构，训练一个大型新闻通讯语料库的领域模型，并通过使用它们作为训练的目标域（德国推文的数据集），其中有很少的注释可用的模型的先验转移这些权重。神经网络的核心有两个标准的双向LSTM。然而，我们发现关键还编码一组特定于任务的功能，并获得可靠的（源域和目标域）的单词表示。采用不同的正则化技术，如早期停止，辍学和微调的领域自适应先验权重进行实验。我们最好的模型使用来自领域模型的外部权重，以及特征嵌入，预训练的单词和子词嵌入，并实现了略高于90%的标记准确率，改进了该任务的先前技术水平。
2019-05-21 cs.CL cs.LG stat.ML
A Likelihood Ratio based Domain Adaptation Method for E2E Models
Amazon Alexa（亚马逊Alexa）
端到端（E2 E）自动语音识别模型（如递归神经网络换能器（RNN-T））正在成为语音助理等流ASR应用的热门选择。虽然E2 E模型在学习它们所训练的训练数据的表示方面非常有效，但它们在看不见的域上的准确性仍然是一个具有挑战性的问题。此外，这些模型需要成对的音频和文本训练数据，计算成本高，并且难以适应会话语音的快速演变性质。在这项工作中，我们探索了一种使用似然比的上下文偏置方法，该方法利用文本数据源使RNN-T模型适应新的域和实体。我们表明，这种方法是有效的，在提高罕见的单词识别，并导致在1-最好的字出错率（WER）和10%的相对改善在n-best Oracle WER（n=8）在多个域外的数据集上没有任何退化的一般数据集。我们还表明，补充的上下文偏置自适应与适应的第二次通过重新评分模型提供了额外的WER改善。
2022-01-10 cs.CL cs.LG
Multi-task Domain Adaptation for Sequence Tagging
Johns Hopkins University（约翰斯·霍普金斯大学）
许多领域自适应方法依赖于学习跨领域共享表示，以将在一个领域中学习到的知识转移到其他领域。传统的领域自适应只考虑适应一个任务。在本文中，我们探讨了多任务表示学习下的领域自适应的情况。我们提出了一个神经网络框架，支持领域自适应多个任务同时进行，并学习共享表示，更好地概括领域自适应。我们将所提出的框架应用于序列标记问题的领域自适应，考虑两个任务：中文分词和命名实体识别。实验结果表明，对于每个任务，多任务领域自适应都比不相交的领域自适应更有效，并且在社交媒体领域，两种任务都达到了最佳效果。
2017-05-30 cs.CL cs.LG
The Global Anchor Method for Quantifying Linguistic Shifts and Domain Adaptation
Stanford University（斯坦福大学）
语言是动态的，随着时间、领域或主题的变化而不断发展和适应。语言的适应性是一个活跃的研究领域，研究人员使用分布工具（如词嵌入）来发现语言中的社会，文化和特定领域的变化。在本文中，我们介绍了全球锚方法检测语料库级的语言变化。我们从理论和经验上表明，全球锚方法是等同的对齐方法，广泛使用的方法比较词嵌入，在检测语料库级别的语言转换。尽管它们在检测能力方面是等价的，但我们证明了全局锚方法在适用性方面是优越的，因为它可以比较不同维度的嵌入。此外，全局锚方法具有实现和并行化的优势。我们表明，全球锚方法揭示了精细结构的语言和领域自适应的演变。当结合图拉普拉斯技术时，全局锚方法恢复不同文本语料库的演化轨迹和领域聚类。
2018-12-12 cs.CL cs.LG stat.ML
Shallow Domain Adaptive Embeddings for Sentiment Analysis
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文提出了一种方法，以提高现有的文本分类算法的性能，在强语言语义领域。我们提出了一个领域自适应层学习权重，将通用和特定领域（DS）的词嵌入组合成领域自适应（DA）嵌入。DA词嵌入然后被用作通用编码器+分类器框架的输入，以执行诸如分类的下游任务。该适配层特别适合于大小适中的数据集，因此，这些数据集不是（重新）训练深度神经网络架构的理想候选者。使用流行的编码器架构，包括当前最先进的方法（有和没有浅适应层）的二进制和多类分类任务的结果显示了所提出的方法的有效性。
2019-08-16 cs.CL cs.IR cs.LG
PERL: Pivot-based Domain Adaptation for Pre-trained Deep Contextualized Embedding Models
Technion, Israel Institute of Technology（以色列理工学院）
基于语义的神经表示模型在自然语言处理的领域自适应方面取得了重大进展。然而，以前的作品，遵循这种方法只利用标记的数据从源域和未标记的数据从源和目标域，但忽略了将大量的未标记的语料库，不一定是从这些领域。为了缓解这一问题，我们提出了PERL：一种表示学习模型，它扩展了上下文化的词嵌入模型，如BERT，并进行了基于语义的微调。PERL在22个情感分类领域自适应设置中的表现优于强基线，提高了领域模型的性能，产生了有效的缩小模型，并提高了模型的稳定性。
2020-06-16 cs.CL cs.LG
Unsupervised Domain Adaptation of Contextualized Embeddings for Sequence Labeling
Carnegie Mellon University（卡内基梅隆大学）；Google Research（谷歌研究院）；Facebook AI Research（脸书人工智能研究院）；Georgia Institute of Technology（佐治亚理工学院）
ELMo和BERT等语境化词嵌入通过在大型未标记文本语料库上进行预训练，为广泛的自然语言处理任务提供了强大的性能基础。然而，这种方法的适用性是未知的，当目标域从预训练语料库变化很大。我们特别感兴趣的场景是，标记数据仅在一个规范的源域（如newstext）中可用，而目标域与标记文本和预训练文本都不同。为了解决这种情况下，我们提出了域自适应微调，其中的上下文嵌入适应掩蔽语言建模的文本从目标域。我们测试这种方法在两个具有挑战性的领域：早期现代英语和Twitter的序列标签。这两个领域与现有的预训练语料库有很大的不同，领域自适应微调在强BERT基线上产生了实质性的改进，在词汇表外的单词上取得了特别令人印象深刻的结果。我们的结论是，域自适应微调为序列标记对困难的新域的无监督适应提供了一种简单有效的方法。
2019-09-05 cs.CL cs.DL cs.LG
Adapting BERT for Word Sense Disambiguation with Gloss Selection Objective and Example Sentences
Nanyang Technological University（南洋理工大学）
使用预先训练的语言模型（例如BERT）的领域自适应或迁移学习已被证明是许多自然语言处理任务的有效方法。在这项工作中，我们建议制定词义消歧作为一个相关性排名任务，并微调BERT序列对排名任务，以选择最可能的意义定义给定的上下文句子和候选意义定义的列表。我们还介绍了一个数据增强技术的WSD使用现有的例子从WordNet的句子。使用所提出的训练目标和数据增强技术，我们的模型能够在英语全词基准数据集上获得最先进的结果。
2020-10-01 cs.CL cs.LG
Attention-Informed Mixed-Language Training for Zero-shot Cross-lingual Task-oriented Dialogue Systems
Center for Artificial Intelligence Research (CAiRE)（人工智能研究中心（CAiRE））；The Hong Kong University of Science and Technology（香港科技大学）
近年来，数据驱动的面向任务的对话系统在英语中取得了令人满意的效果。然而，由于缺乏高质量的数据，开发支持低资源语言的对话系统仍然是一个长期的挑战。为了避免昂贵和耗时的数据汇集，我们引入了注意通知混合语言训练（MLT），一种新的跨语言面向任务的对话系统的zero-shot适应方法。它利用很少的与任务相关的平行词对来生成用于跨语言学习语际语义的语码转换句子。我们建议根据经过训练的英语任务相关模型的注意力层计算的分数提取源单词，然后使用现有的双语词典生成单词对，而不是手动选择单词对。此外，不同的跨语言嵌入密集的实验证明了我们的方法的有效性。最后，在非常少的单词对的情况下，我们的模型在跨语言对话状态跟踪和自然语言理解方面都实现了显著的zero-shot自适应性能改进（即，意图检测和时隙填充）任务，而当前最先进的方法利用大量的双语数据。
2019-11-21 cs.CL cs.LG
Unsupervised domain adaptation for speech recognition with unsupervised error correction
University College Dublin（都柏林大学学院）
自动语音识别（ASR）系统在转录来自未知域的音频时，转录质量显著降低。我们提出了一种无监督的错误校正方法，用于无监督的ASR域自适应，旨在恢复域不匹配引起的转录错误。与现有的依赖于转录音频进行训练的校正方法不同，我们的方法只需要目标域的未标记数据，其中应用伪标记技术来生成校正训练样本。为了减少对伪数据的过度拟合，我们还提出了一个编码器-解码器校正模型，该模型可以考虑对话上下文和声学特征等附加信息。实验结果表明，我们的方法获得了显着的字出错率（WER）降低非适应ASR系统。该校正模型还可以应用于其他适应方法之上，相对额外提高10%。
2022-09-24 cs.AI cs.LG cs.SD
Learning Faster with Better Tokens: Parameter-Efficient Vocabulary Adaptation for Specialized Text Summarization
Dept. of Computer Science and Engg., IIT Kharagpur（印度Kharagpur理工学院计算机科学与工程系）；Dept. of Medicine (Biomedical Informatics), Stanford University（斯坦福大学医学院（生物医学信息学））
本文提出了一种参数高效的领域适应方法，通过结合词汇适应和预训练，提升大型语言模型在专业领域文本摘要任务中的性能，同时减少训练时间和参数数量。
2026-05-17 cs.AI cs.CL
Correction Focused Language Model Training for Speech Recognition
Meta AI
提出纠错聚焦语言模型训练方法，通过定义词级ASR易错性分数并利用LLM生成文本，优先训练易错词，在领域自适应中显著降低WER。
2023-10-17 cs.CL cs.LG cs.SD
A Multi-Discriminator CycleGAN for Unsupervised Non-Parallel Speech Domain Adaptation
Salesforce Research（赛富时研究院）
领域自适应对于语音识别模型起着重要的作用，特别是对于具有低资源的领域。提出了一种新的基于循环一致生成对抗网络（CycleGAN）的无监督非并行语音领域自适应生成模型。该模型在功率谱图上采用多个独立的鉴别器，每个鉴别器负责不同的频带。因此，我们有1）更好的鉴别器，专注于频率特征的细粒度细节，以及2）能够生成更真实的域适应谱图的生成器。我们证明了我们的方法对性别适应的语音识别的有效性，其中模型在训练期间只能访问来自一种性别的监督数据，但在测试时对另一种性别进行评估。我们的模型是能够实现的平均$7.41\%$音素错误率，和$11.10\%$字出错率相对性能改善相比，基线，TIMIT和华尔街日报数据集，分别。从质量上讲，我们的模型在以其他领域的数据为条件时，也会生成更自然的语音。
2018-07-09 cs.CL cs.LG
Unsupervised and Interpretable Domain Adaptation to Rapidly Filter Tweets for Emergency Services
George Mason University（乔治梅森大学）
在灾害事件发生期间，从社交网络数据中过滤相关信息是具有挑战性的，这是由于其稀疏的可用性和在标记持续危机的数据集方面的实际限制。在本文中，我们假设，通过多任务学习的无监督领域自适应可以是一个有用的框架，利用过去的危机事件的数据，在突发的新危机中训练有效的信息过滤模型。我们提出了一种新的方法来分类相关的推文在一个持续的危机，没有看到任何新的例子，使用公开的TREC事件流的数据集。具体来说，我们构建了一个定制的多任务架构与危机分析的多领域的网络：多任务领域的对抗性注意力网络。该模型由每个任务的专用注意力层组成，以提供模型可解释性;这对实际应用至关重要。当深度网络与稀疏数据集斗争时，我们证明了这可以通过共享多任务学习和领域对抗训练的基础层来改善。危机事件的领域自适应评估是通过选择一个目标事件作为测试集，并对其余事件进行训练来进行的。我们的研究结果表明，多任务模型优于其单任务对应。对于可解释性的定性评估，我们表明，注意力层可以作为一个指南来解释模型的预测和授权应急服务探索模型的问责制，通过展示在分类过程中被认为是重要的推文中的话。最后，我们通过提供COVID-19大流行的用例，展示了我们工作的实际意义。
2020-10-20 cs.CL cs.LG cs.SI
Damage Control During Domain Adaptation for Transducer Based Automatic Speech Recognition
NVIDIA（英伟达）
自动语音识别模型经常被修改以提高它们在新领域中的准确性。模型适应新域的潜在缺点是灾难性遗忘，其中原始域上的字出错率显著降低。本文讨论的情况下，我们要同时适应自动语音识别模型到一个新的域，并限制在原始域的准确性下降，而无需访问原始的训练数据集。我们提出了几种技术，例如有限的训练策略和用于传感器编码器，预测和连接器网络的正则化适配器模块。我们将这些方法应用于谷歌语音命令和英国和爱尔兰英语方言语音数据集，并在新的目标域上获得了强有力的结果，同时限制了原始域的退化。
2022-10-06 cs.CL cs.LG cs.SD
A Study of Enhancement, Augmentation, and Autoencoder Methods for Domain Adaptation in Distant Speech Recognition
Massachusetts Institute of Technology（麻省理工学院）
在近距离说话语音上训练的语音识别器不能推广到远距离语音，并且单词出错率降级可以高达40%绝对值。大多数研究集中在解决遥远的语音识别作为一个单独的问题，留下很少的努力，以适应近距离说话的语音识别器，以遥远的语音。在这项工作中，我们回顾了几种方法从领域自适应的角度来看。这些方法，包括语音增强，多条件训练，数据增强，和自动编码器，都涉及域之间的数据转换。我们在AMI数据集上进行实验，这些方法可以在相同的受控设置下实现。这些方法在各自的假设下导致不同程度的改善。本文的目的是量化和表征这两个领域之间的性能差距，为研究语音识别器从近距离语音到远距离语音的适应性奠定基础。我们的研究结果也对提高远距离语音识别有一定的意义。
2018-06-13 cs.CL cs.LG cs.SD
Dynamic Gradient Aggregation for Federated Domain Adaptation
Microsoft（微软）
提出了一种新的联邦学习（FL）的学习算法。该方案基于加权梯度聚合，使用两步优化来提供灵活的训练管道。在这里，提出了两种不同风格的聚合方法，与其他分布式或FL训练算法（如BMUF和FedAvg）相比，收敛速度提高了一个数量级。此外，聚合算法充当梯度质量的正则化器。我们调查我们的FL算法在监督和无监督语音识别（SR）的情况下的效果。基于三个任务执行实验验证：首先，LibriSpeech任务与基线结果相比显示出7倍的加速和6%的单词出错率降低（WERR）。第二个任务是基于会话适配，在强大的LAS模型上提供20%的WERR。最后，我们的无监督流水线应用于会话SR任务。建议FL系统优于基线系统的收敛速度和整体模型性能。
2021-06-14 cs.DC cs.LG
One-Shot Adaptation of Supervised Deep Convolutional Models
UC Berkeley, EECS & ICSI（加州大学伯克利分校，电气工程与计算机科学系及国际计算机科学研究所）；Google Research（谷歌研究院）；UMass Lowell, CS & ICSI（马萨诸塞大学洛厄尔分校，计算机科学系及国际计算机科学研究所）
数据集偏差仍然是解决现实世界计算机视觉任务的重要障碍。尽管深度卷积网络已被证明是图像分类的一种有竞争力的方法，但仍然存在一个问题：这些模型是否解决了数据集偏差问题？一般来说，在一个新的领域训练或微调一个最先进的深度模型需要大量的数据，而这对于许多应用程序来说是根本不可用的。将模型直接转移到新的领域而不进行调整，历来会导致识别性能不佳。在本文中，我们提出了以下问题：单个图像数据集，比以前探索的适应性大得多，是否足够全面，可以学习可以有效应用于新图像领域的一般深度模型？换句话说，在大量标记数据上训练的深度CNN是否像以前的方法那样容易受到数据集偏差的影响？我们表明，在大型数据集上训练的通用监督深度CNN模型减少了但没有消除数据集偏差。此外，我们提出了几种用于深度模型的自适应方法，这些方法能够在很少（每个类别一个示例）或没有标记的特定领域数据的情况下操作。我们的实验表明，深度模型在基准视觉领域自适应数据集上的自适应可以提供显着的性能提升。
2014-02-18 cs.CV cs.LG cs.NE
A Simple Baseline for Domain Adaptation in End to End ASR Systems Using Synthetic Data
Flipkart（Flipkart公司）
自动语音识别（ASR）一直由基于深度学习的端到端语音识别模型主导。这些方法需要大量的音频文本对形式的标记数据。此外，与传统模型相比，这些模型更容易受到域转移的影响。通常的做法是训练通用ASR模型，然后使用相对较小的数据集使它们适应目标域。我们考虑一个更极端的情况下，域适应纯文本语料库。在这项工作中，我们提出了一个简单的基线技术域适应端到端的语音识别模型。我们使用单说话人文本转语音（TTS）引擎将纯文本语料转换为音频数据。然后，目标域中的并行数据用于微调通用ASR模型的最终密集层。我们表明，单扬声器合成TTS数据加上最后的密集层，只有微调提供了合理的改善字错误率。我们使用来自地址和电子商务搜索域的文本数据来显示我们的低成本基线方法对CTC和基于注意力的模型的有效性。
2022-06-22 cs.LG cs.SD eess.AS
Domain Adaptation via Teacher-Student Learning for End-to-End Speech Recognition
师生（T/S）已被证明对混合语音识别系统中深度神经网络声学模型的域自适应是有效的。在这项工作中，我们通过两个层次的知识转移将T/S学习扩展到基于注意力的端到端（E2 E）模型的大规模无监督域自适应：教师的令牌后验作为软标签和最佳预测作为解码器指导。为了在地面真实标签的帮助下进一步改进T/S学习，我们提出了自适应T/S（AT/S）学习。在AT/S中，学生不是有条件地从教师的软令牌后验或独热地面实况标签中进行选择，而是始终从教师和地面实况两者中学习，并将一对自适应权重分配给软标签和独热标签，以量化每个知识源的置信度。在每个解码器步骤处，根据软标签和独热标签来动态地估计置信度分数。使用3400小时并行的近距离通话和远场Microsoft Cortana数据进行域适应，T/S和AT/S比使用相同量的远场数据训练的强大E2 E模型实现了6.3%和10.3%的相对单词错误率改进。
2020-01-06 cs.CL cs.LG cs.NE
Word-based Domain Adaptation for Neural Machine Translation
eBay Inc.（易趣公司）
在本文中，我们实证研究了应用单词级权重来使神经机器翻译适应电子商务领域，其中小型电子商务数据集和大型域外数据集可用。为了在领域外数据集中挖掘领域内相似的词，我们通过使用特定领域和非特定领域的语言模型，然后进行平滑和二进制量化来计算词的权重。基线模型在域内和域外混合数据集上进行训练。在英汉电子商务领域翻译中的实验结果表明，与不使用词权重的持续训练相比，该方法将机器翻译质量提高了2.11%的BLEU绝对值和1.59%的TER。我们还使用对域内数据的微调来训练模型。使用单词权重预训练模型可以分别将微调提高到1.24% BLEU绝对值和1.64% TER。
2019-06-07 cs.AI cs.CL
An Effective Context-Balanced Adaptation Approach for Long-Tailed Speech Recognition
National Taiwan Normal University（台湾师范大学）；E.SUN Financial Holding Co., Ltd.（玉山金融控股股份有限公司）
针对长尾语音识别中上下文适配器的数据不均衡问题，本文提出上下文均衡学习目标，并通过调整上下文词频分布，在AISHELL-1上显著降低CER和零样本词错误率。
2024-09-10 cs.AI cs.CL cs.SD
Lightweight Adaptation of Neural Language Models via Subspace Embedding
University of Surrey（萨里大学）；University of Southampton（南安普顿大学）
本文提出一种基于子空间嵌入与 token 上下文分配的紧凑嵌入结构，可将预训练语言模型嵌入压缩超过99.8%，且绝对准确率损失不超过4%。
2023-08-16 cs.AI cs.CL
Visual Comparison of Language Model Adaptation
University of Konstanz（康斯坦茨大学）；Bar-Ilan University（巴伊兰大学）；ETH（苏黎世联邦理工学院）
神经语言模型被广泛使用;然而，它们的模型参数通常需要适应应用程序的特定域和任务，这是耗时和资源消耗的。因此，最近引入了适配器作为模型适配的轻量级替代方案。它们由一小组特定于任务的参数组成，具有减少的训练时间和简单的参数组成。适配器训练和组合的简单性带来了新的挑战，例如维护适配器属性的概述并有效地比较它们生成的嵌入空间。为了帮助开发人员克服这些挑战，我们提供了双重贡献。首先，在与NLP研究人员的密切合作下，我们对支持适配器评估的方法进行了需求分析，并检测到，除其他外，对内在（即，基于嵌入相似性）和外部（即，基于预测的解释方法。其次，在收集需求的激励下，我们设计了一个灵活的可视化分析工作区，可以比较适配器属性。在本文中，我们讨论了几个设计迭代和交互式，比较视觉解释方法的替代方案。我们的比较可视化显示了不同人类可解释概念（例如，人的名字，人的品质）。我们通过案例研究来评估我们的工作空间，并表明，例如，根据上下文0（去语境化）嵌入在语言去偏见任务上训练的适配器引入了一种新的偏见类型，其中单词（甚至是性别无关的单词，如国家）变得比男性代词更类似于女性。我们证明，这些是文物的上下文0嵌入。
2022-08-17 cs.AI
GLoRIA: Gated Low-Rank Interpretable Adaptation for Dialectal ASR
GLoRIA通过门控低秩适应技术，在方言ASR中实现高效、可解释且高精度的语音识别性能。
2026-03-02 cs.AI cs.CL
