Effective Unsupervised Domain Adaptation with Adversarially Trained Language Models
Monash University（莫纳什大学）
最近的工作表明，广泛覆盖的上下文嵌入模型的域上的目标任务的兴趣适应的重要性。当前的自监督自适应方法过于简单，因为训练信号来自一小部分\emph{randomly}屏蔽标记。在本文中，我们表明，仔细的掩蔽策略可以弥合知识差距的掩蔽语言模型（MLMs）的领域更有效地分配自我监督，它是必要的。此外，我们提出了一种有效的训练策略，通过对抗性地屏蔽那些难以由底层MLM重建的令牌。对抗性目标导致令牌的\emph{subsets}上的具有挑战性的组合优化问题，我们通过松弛到变分下界和动态规划来有效地解决该问题。在六个涉及命名实体识别的无监督领域自适应任务上，我们的方法大大优于随机掩蔽策略，并实现了高达+1.64 F1分数的改进。
2020-10-05 cs.CL
Adaptive Ensembling: Unsupervised Domain Adaptation for Political Document Analysis
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
政治学中有见地的发现通常需要研究人员分析特定主题或类型的文档，但这些文档通常包含在大型语料库中，无法区分相关和非相关文档。相比之下，我们可以找到标注相关文档但有限制的语料库（例如，从单一来源或时代），防止其用于政治科学研究。为了弥补这一差距，我们提出了\textit{adaptive ensembling}，一个无监督的领域自适应框架，配备了一个新的文本分类模型和时间感知训练，以确保我们的方法与历时语料库工作良好。专家注释数据集上的实验表明，我们的框架优于强大的基准。进一步的分析表明，我们的方法更稳定，学习更好的表示，并提取更干净的语料库进行细粒度分析。
2019-10-28 cs.CL
Unsupervised Domain Adaptation with Feature Embeddings
School of Interactive Computing（交互计算学院）；Georgia Institute of Technology（佐治亚理工学院）
表示学习是无监督领域自适应的主要技术，但现有的方法往往需要规范的“枢轴功能”，概括跨域，这是由特定于任务的算法选择。我们表明，一种新颖但简单的特征嵌入方法提供了更好的性能，通过利用NLP问题中常见的特征模板结构。
2015-04-16 cs.CL cs.LG
Domain Confused Contrastive Learning for Unsupervised Domain Adaptation
Nanyang Technological University（南洋理工大学）
在这项工作中，我们研究了无监督领域自适应（UDA）在一个具有挑战性的自我监督的方法。其中一个难点是如何在没有目标标签的情况下学习任务区分。与以往文献中直接对齐跨域分布或利用反向梯度不同，我们提出了域混淆对比学习（DCCL），通过域拼图来桥接源域和目标域，并在适应后保留区分性表示。从技术上讲，DCCL搜索最具领域挑战性的方向，并将领域混淆的增强作为正对进行精细加工，然后对比鼓励模型将表示拉向另一个领域，从而学习更稳定和有效的领域不变性。我们还研究了在进行其他数据增强时，对比学习是否一定有助于UDA。大量的实验表明，DCCL显着优于基线。
2022-07-10 cs.CL cs.LG
Unsupervised Domain Adaptation of Contextual Embeddings for Low-Resource Duplicate Question Detection
Microsoft（微软）
提问是许多对话系统或搜索产品的主要目标。虽然大多数当前系统集中于针对结构化数据库或策划的知识图谱回答问题，但是在线社区论坛或常见问题（FAQ）列表为问答系统提供了替代的信息源。自动重复问题检测（DQD）是问答系统利用现有在线论坛（如StackExchange）的关键技术。这些论坛中重复问题的现有注释是社区驱动的，使得它们在许多领域中稀疏甚至完全缺失。因此，从相关领域和任务中转移知识非常重要。最近，诸如BERT之类的上下文嵌入模型通过将自监督信息传输到下游任务而超过了许多基线。在本文中，我们将BERT应用于DQD，并通过使用自监督学习对StackExchange域进行无监督适应来改进它。我们证明了这种适应的有效性低资源设置，很少或没有训练数据可从目标域。我们的分析表明，无监督BERT领域自适应，即使是少量的数据，提高性能的BERT。
2019-11-06 cs.CL cs.LG
Multi-source Attention for Unsupervised Domain Adaptation
University of Liverpool（利物浦大学）
领域自适应考虑将使用来自特定源域的数据学习的模型推广到不同目标域的问题。通常很难找到一个合适的单一来源来适应，必须考虑多个来源。使用不相关的源可能会导致次优性能，称为\emph{negative transfer}。然而，在多源无监督领域自适应（UDA）中，选择合适的源来分类给定的目标实例是具有挑战性的。我们将源选择建模为注意力学习问题，其中我们针对给定的目标实例学习源的注意力。为此，我们首先独立地学习特定于源的分类模型，以及使用伪标记的目标域实例的源和目标域之间的相关性映射。接下来，我们学习源上的注意力权重，以聚合特定于源的模型的预测。在跨领域情感分类基准上的实验结果表明，该方法在多源UDA中的性能优于现有的建议。
2020-04-17 cs.CL cs.LG
MSDA: Combining Pseudo-labeling and Self-Supervision for Unsupervised Domain Adaptation in ASR
National Technical University of Athens（希腊国家技术大学）；Athena Research Center（雅典研究所以）
本文提出多阶段域自适应流程MSDA，将自监督学习与半监督伪标签技术级联结合，在低资源ASR无监督域自适应中显著超越现有方法。
2025-06-02 cs.CL cs.SD eess.AS
Learning Invariant Representation and Risk Minimized for Unsupervised Accent Domain Adaptation
Ping An Technology（平安科技）
语音音频的无监督表示学习在语音识别任务中获得了令人印象深刻的性能，特别是当注释语音有限时。然而，无监督范式需要仔细设计，并且对这些表示获得的属性知之甚少。不能保证模型学习有意义的表示，以获得有价值的信息进行识别。此外，学习到的表示对其他领域的适应能力仍然需要估计。在这项工作中，我们探索通过直接映射语音表示到其相应的高级语言信息来学习域不变表示。实验结果表明，习得的潜伏期不仅捕捉到了每个音素的发音特征，而且增强了适应能力，在重音基准测试中的表现大大优于基线。
2022-10-29 cs.AI cs.CL cs.SD
Geometry-aware Domain Adaptation for Unsupervised Alignment of Word Embeddings
Microsoft（微软）
我们提出了一种新的基于流形的几何方法，用于学习源语言和目标语言之间的词嵌入的无监督对齐。我们的方法制定的对齐学习问题作为一个领域自适应问题的双随机矩阵的流形。这一观点的出发点是为了使两个语言空间的二阶信息一致。双随机流形的丰富的几何允许采用有效的黎曼共轭梯度算法的建议制定。经验上，所提出的方法优于国家的最先进的最佳运输为基础的方法上的双语词典归纳任务在几个语言对。对于距离较远的语言对，性能的改善更为显著。
2020-04-20 cs.CL cs.LG stat.ML
Simplified Neural Unsupervised Domain Adaptation
Boston Children’s Hospital（波士顿儿童医院）；Harvard Medical School（哈佛医学院）
针对无监督领域自适应任务，本文提出将表示学习器与任务学习器联合训练以改进现有最先进方法，并考察了现有枢纽特征选择方法的重要性。
2019-05-22 cs.AI cs.CL cs.LG
Domain Adaptation from Scratch
University of Edinburgh（爱丁堡大学）；Technion, IIT（以色列理工学院）
自然语言处理（NLP）算法正在迅速改进，但在应用于分发外的示例时往往会遇到困难。一个突出的方法，以减轻域差距是领域自适应，其中一个模型训练的源域是适应一个新的目标域。我们提出了一个新的学习设置，“从零开始的领域自适应”，我们认为这是至关重要的NLP的范围扩展到敏感领域的隐私保护的方式。在这种设置中，我们的目标是有效地注释来自一组源域的数据，以便训练的模型在数据不可用于注释的敏感目标域上表现良好。我们的研究比较了几种方法，这个具有挑战性的设置，从数据选择和领域自适应算法的主动学习范式，两个自然语言处理任务：情感分析和命名实体识别。我们的研究结果表明，使用上述方法缓解了域间隙，并将它们结合起来进一步改善了结果。
2022-09-02 cs.AI cs.CL cs.LG
Low-Resource Adaptation of Neural NLP Models
Faculty of Mathematics and Natural Sciences（数学与自然科学学院）
自然语言处理（NLP）的实际应用具有挑战性。NLP模型严重依赖监督机器学习，需要大量带注释的数据。这些资源通常基于大量可用的语言数据，例如英语新闻专线。然而，在NLP的实际应用中，文本资源在几个维度上存在差异，例如语言，方言，主题和体裁。找到足够数量和质量的注释数据具有挑战性。本论文的目的是研究在信息抽取和自然语言理解中处理这种低资源场景的方法。为此，我们研究了远程监督和顺序迁移学习在各种低资源设置。我们开发和调整神经NLP模型，以探索一些研究问题，最少或没有训练数据的NLP任务。
2020-11-09 cs.CL
A Cascaded Unsupervised-Supervised NLP Pipeline for Detecting Accusatory Language in Public Procurement
Universidad San Francisco de Quito（基多圣弗朗西斯科大学）；Universidad de Las Américas（美洲大学）；Escuela Politécnica Nacional（国家理工学院）；Carnegie Mellon University（卡内基梅隆大学）
该研究针对公共采购中指控性语言检测问题，提出级联无监督-监督NLP流水线，结合Word2Vec、GMM和随机森林模型，可在类别不平衡下高效识别违规风险，提升采购透明度。
2026-08-13 cs.CL
Revisiting Simple Domain Adaptation Methods in Unsupervised Neural Machine Translation
Harbin Institute of Technology（哈尔滨工业大学）；National Institute of Information and Communications Technology（信息通信研究机构）；Osaka University（大阪大学）
领域自适应在监督神经机器翻译（SNMT）中得到了充分研究。然而，对于无监督神经机器翻译（UNMT），它还没有得到很好的研究，尽管UNMT最近在几个特定领域的语言对中取得了显着的成果。除了SNMT的训练数据和测试数据之间的不一致域之外，UNMT的两个单语训练数据之间有时也存在不一致域。在这项工作中，我们经验性地展示了无监督神经机器翻译的不同场景。基于这些场景，我们重新审视现有的领域自适应方法，包括批量加权和微调方法在UNMT的效果。最后，我们提出了改进的方法，以提高特定领域的UNMT系统的性能。
2020-05-05 cs.CL
UXLA: A Robust Unsupervised Data Augmentation Framework for Zero-Resource Cross-Lingual NLP
Nanyang Technological University（南洋理工大学）；Salesforce Research Asia（Salesforce亚洲研究院）
迁移学习已经在许多有监督的NLP任务中产生了最先进的（SoTA）结果。然而，在每一种目标语言中的每一个目标任务的注释数据是罕见的，特别是对于低资源语言。我们提出了UXLA，一种新的无监督数据增强框架的零资源迁移学习的情况下。特别地，UXLA旨在解决从源语言任务分布到未知目标语言任务分布的跨语言适应问题，假设目标语言中没有训练标签。在其核心，UXLA执行同时自我训练与数据增强和无监督的样本选择。为了证明其有效性，我们进行了广泛的实验上三个不同的零资源跨语言迁移任务。UXLA在所有任务中都实现了SoTA结果，远远优于基线。通过深入的框架解剖，我们展示了不同组件对其成功的累积贡献。
2021-06-26 cs.CL cs.LG
Adversarial Training Based Multi-Source Unsupervised Domain Adaptation for Sentiment Analysis
University of Electronic Science and Technology of China（电子科技大学）；Harbin Institute of Technology Shenzhen（哈尔滨工业大学（深圳））；Peng Cheng Laboratory（鹏城实验室）
用于情感分析的多源无监督领域自适应（MS-UDA）旨在利用多个源领域中的有用信息来帮助在没有监督信息的未标记目标领域中进行情感分析。MS-UDA的现有算法或者仅利用共享特征，即，域不变信息，或者基于NLP中的一些弱假设，例如，平滑假设为了避免这些问题，我们提出了两个迁移学习框架的基础上的多源领域自适应方法SA结合源假设，以获得一个良好的目标假设。第一个框架的主要特点是一个新的基于加权方案的无监督领域自适应框架（WS-UDA），它结合源分类器直接获取目标实例的伪标签。而第二个框架是基于两阶段训练的无监督领域自适应框架（2ST-UDA），其进一步利用这些伪标签来训练目标私有提取器。重要的是，分配给每个源分类器的权重是基于目标实例和源域之间的关系，这是通过对抗训练来测量的。此外，通过相同的封装，我们还实现了共享功能和私有功能的分离。在两个SA数据集上的实验结果表明，我们的框架具有良好的性能，优于无监督的最先进的竞争对手。
2020-06-10 cs.CL
When Low Resource NLP Meets Unsupervised Language Model: Meta-pretraining Then Meta-learning for Few-shot Text Classification
Zhejiang University（浙江大学）；Alibaba-Zhejiang University Frontier Technology Research Center（阿里巴巴-浙江大学前沿技术研究中心）；The First Affiliated Hospital of Zhejiang University（浙江大学医学院附属第一医院）；Alibaba Group（阿里巴巴集团）；Carnegie Mellon University（卡内基梅隆大学）；Oxford University（牛津大学）
文本分类往往是困难的，当数据不足或当它需要适应看不见的类。在这种具有挑战性的情况下，最近的研究经常使用元学习来模拟Few-Shot任务，从而否定了跨任务的隐含共同语言特征。本文使用元学习和无监督语言模型来解决这些问题。我们的方法是基于这样的见解，即从几个例子中获得良好的泛化依赖于通用模型初始化和使该模型适应新出现的任务的有效策略。我们表明，我们的方法不仅简单，而且在一个经过充分研究的情感分类数据集上产生了最先进的性能。因此，可以进一步建议，预训练可能是许多其他NLP任务的少样本学习的有前途的解决方案。用于重复实验的代码和数据集可在https://github.com/zxlzr/FewShotNLP上获得。
2019-11-21 cs.CL cs.IR
Unsupervised Reinforcement Adaptation for Class-Imbalanced Text Classification
University of Memphis（孟菲斯大学）
不同领域的模型在训练和测试时，自然存在着类的不平衡。无监督领域自适应（UDA）增强了模型的性能，只有来自源域的可访问注释和来自目标域的未标记数据。然而，现有的最先进的UDA模型学习域不变表示，并主要评估跨域的类平衡数据。在这项工作中，我们提出了一种无监督的领域自适应方法，通过强化学习，联合利用跨域的特征变量和不平衡的标签。我们实验了文本分类任务，其易于访问的数据集，并比较所提出的方法与五个基线。在三个数据集上的实验证明，我们提出的方法可以有效地学习鲁棒的域不变表示，并成功地适应文本分类器的不平衡类域。该代码可在https://github.com/woqingdoua/ImbalanceClass上获得。
2022-05-26 cs.CL cs.LG
LINDA: Unsupervised Learning to Interpolate in Natural Language Processing
Hyundai Motor Company（现代汽车公司）；New York University（纽约大学）；Genentech（基因泰克公司）；CIFAR Fellow（加拿大高等研究院研究员）
尽管mixup在数据增强方面取得了成功，但由于自然语言的离散和可变长度性质，其对自然语言处理（NLP）任务的适用性受到限制。因此，最近的研究依赖于特定领域的语言学和手工制作的资源，如字典，以便在NLP中应用mixup。在本文中，我们提出了一种用于数据增强的文本插值的无监督学习方法，我们称之为“学习插值数据增强“（LINDA），它不需要任何语法分析，也不需要手动制作的资源，而是学习在自然语言流形上的任何一对自然语言句子之间插值。在经验证明LINDA的插值能力后，我们表明LINDA确实允许我们在NLP中无缝地应用mixup，并在域内和域外的文本分类中实现更好的泛化。
2021-12-28 cs.CL cs.LG
Synergizing Unsupervised and Supervised Learning: A Hybrid Approach for Accurate Natural Language Task Modeling
Amazon Web Services（亚马逊云科技）；IEEE CIS（IEEE 计算智能学会）
本文提出一种协同无监督与监督学习的混合方法，利用无监督模块学习表示并增强监督任务模型，在文本分类和NER任务上取得SOTA结果，提升了NLP系统的数据效率与鲁棒性。
2024-06-03 cs.CL cs.LG
Multimodal speech synthesis architecture for unsupervised speaker adaptation
National Institute of Informatics（国立信息学研究所）；Unversity of Edinburgh（爱丁堡大学）
本文提出了一种新的多说话人神经网络语音合成系统的说话人自适应结构，在该结构中，一个看不见的说话人的声音可以建立在一个相对少量的语音数据，而无需transmitting。这有时被称为“无监督的说话者自适应”。更具体地说，当执行无监督说话者自适应时，我们将这些层连接到音频输入，而当从文本合成语音时，我们将它们连接到文本输入。本文还提出了两个新的训练方案的新架构。这些训练方案并不局限于语音合成，还提出了其它应用。实验结果表明，该模型不仅可以适应看不见的扬声器使用未转录的语音，但它也提高了多扬声器建模和扬声器自适应使用转录的音频文件的性能。
2018-08-20 cs.CL cs.SD eess.AS
PidginUNMT: Unsupervised Neural Machine Translation from West African Pidgin to English
InstaDeep（InstaDeep公司）
西非有800多种语言。尽管说这些语言的人之间存在明显的差异，但有一种语言将他们所有人都统一起来-西非洋泾浜英语。至少有8000万人说西非洋泾浜英语。然而，没有已知的自然语言处理（NLP）工作在这种语言上。在这项工作中，我们对最流行的语言变体进行了第一次NLP工作，提供了三个主要贡献。首先，提供了一个超过56000句的洋泾浜语料库，这是我们所知道的最大的。第二，洋泾浜语和英语之间首次跨语言嵌入的训练。这种对齐的嵌入将有助于英语和洋泾浜之间的各种下游任务的执行。第三，训练了一个Pidgin和英语之间的无监督神经机器翻译模型，Pidgin到英语的BLEU得分为7.93，英语到Pidgin的BLEU得分为5.18。总之，这项工作大大降低了未来西非洋泾浜英语的NLP作品的进入门槛。
2019-12-07 cs.CL cs.LG
Unsupervised Domain Adaptation by Adversarial Learning for Robust Speech Recognition
Institute for Natural Language Processing, University of Stuttgart（斯图加特大学自然语言处理研究所）
在本文中，我们研究了使用对抗学习来无监督地适应看不见的记录条件，更具体地说，是单麦克风远场语音。我们适应基于神经网络的声学模型训练与近距离交谈干净的语音新的录音条件下使用未转录的适应数据。我们在意大利SPEECON数据集上的实验结果表明，我们提出的方法实现了19.8%的相对字错误率（WER）减少相比，未适应的模型。此外，这种自适应方法是有益的，即使当从另一种语言（即法语）的数据上进行，给出12.6%的相对WER减少。
2018-07-30 cs.AI cs.CL cs.SD
Differentiable Pooling for Unsupervised Acoustic Model Adaptation
University of Edinburgh（爱丁堡大学）
我们提出了一个深度神经网络（DNN）的声学模型，包括参数化和可微池运营商。无监督声学模型自适应被转换为更新由每个池化算子实现的决策边界的问题。特别是，我们实验了两种类型的池参数化：学习$L_p$ -范数池和加权高斯池，其中两个运营商的权重被视为扬声器相关。我们使用三种不同的大词汇量语音识别语料库进行调查：AMI会议，TED演讲和总机会话电话语音。我们证明了可微分池算子提供了一种鲁棒且相对低维的方式来适应声学模型，相对于未适应的系统，相对字出错率降低了5- 20%，其本身优于基线完全连接的基于DNN的声学模型。我们还研究了所提出的技术如何在各种适应条件下工作，包括适应数据的质量和与其他特征和模型空间适应方法的互补性，以及提供对每个方法的特性的分析。
2016-07-13 cs.CL cs.LG
Learning Hidden Unit Contributions for Unsupervised Acoustic Model Adaptation
University of Edinburgh（爱丁堡大学）；Microsoft Corporation（微软公司）
这项工作提出了一个广泛的研究适应神经网络声学模型通过学习隐藏单元的贡献（LHUC）-一种方法，线性重新组合隐藏单元在扬声器或环境依赖的方式使用少量的无监督的适应数据。我们还将LHUC扩展到一个说话者自适应训练（SAT）框架，该框架导致一个更具适应性的DNN声学模型，以说话者相关和说话者无关的方式工作，而不需要维护辅助说话者相关特征提取器或向DNN结构引入显着的说话者相关变化。通过一系列的实验，四个不同的语音识别基准（TED会谈，Switchboard，AMI会议，极光4），包括270个测试扬声器，我们表明，LHUC在其测试和SAT的变种结果一致的字出错率减少5%至23%，相对取决于任务和训练和测试数据之间的不匹配程度。此外，我们还研究了每个扬声器的自适应数据量的影响，无监督自适应目标的质量，与其他自适应技术的互补性，一次性自适应，以及以序列判别方式训练的自适应DNN的扩展。
2016-07-13 cs.CL cs.LG cs.SD
Unsupervised neural adaptation model based on optimal transport for spoken language identification
National Institute of Information and Communications Technology（日本国立信息与通信技术研究所）；Research Center for Information Technology Innovation, Academic Sinica（中央研究院资讯科技创新研究中心）
由于训练集和测试集之间声学语音的统计分布的不匹配，口语识别（SLID）的性能会急剧下降。在本文中，我们提出了一个无监督的神经适应模型来处理SLID的分布失配问题。在我们的模型中，我们明确地制定了适应，以减少训练和测试数据集的特征和分类器的分布差异。此外，受最优运输（OT）的强大功能来衡量分布差异的启发，Wasserstein距离度量的适应损失。通过最小化训练数据集和测试数据集上的自适应损失以及训练数据集上的分类损失，减小了训练域和测试域之间的统计分布差异。我们在东方语言识别（OLR）挑战数据集上进行了SLID实验，其中训练和测试数据集是从不同条件下收集的。我们的研究结果表明，跨领域测试任务取得了显着的改善。
2020-12-24 cs.CL cs.LG cs.SD
