Siamese Neural Networks with Random Forest for detecting duplicate question pairs
Indian Institute of Technology Guwahati（印度理工学院古瓦哈提分校）
确定两个给定的问题是否语义相似是一个相当具有挑战性的任务，因为问题可以采用不同的结构和形式。在本文中，我们使用门控递归单元（GRU）结合其他高度使用的机器学习算法，如随机森林，Adaboost和SVM，在Quora发布的数据集上进行相似性预测任务，由大约40万个标记问题对组成。我们通过使用双向GRU与随机森林分类器的暹罗适应获得了最佳结果，这使我们在Kaggle上举办的Quora Question Pairs竞赛中跻身前24%。
2018-01-28 cs.CL
On Generality and Knowledge Transferability in Cross-Domain Duplicate Question Detection for Heterogeneous Community Question Answering
Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所（Amii））；University of Alberta（阿尔伯塔大学）
重复问题检测是社区问答中的一个持续挑战，因为语义等同的问题可能具有显著不同的单词和结构。此外，当相同的问题不重复时，识别重复的问题可以减少检索所需的资源。该研究比较了深度神经网络和梯度树提升的性能，并探索了领域自适应与迁移学习的可能性，以改善文本对重复分类任务中表现不佳的目标领域，使用三个异构数据集：通用Quora，技术Ask Ubuntu和学术English Stack Exchange。最终，我们的研究揭示了另一种假设，即“重复”的含义不是固有的通用目的，而是依赖于学习的领域，从而减少了通过适应该领域进行迁移学习的机会。
2018-11-15 cs.AI cs.CL
Transformer-Based Named Entity Recognition for French Using Adversarial Adaptation to Similar Domain Corpora
Delhi Technological University（德里理工大学）；Université du Québec à Montréal（魁北克大学蒙特利尔分校）
命名实体识别（NER）涉及到非结构化文本中命名实体的识别和分类到预定义的类。资源有限的语言（如法语）的NER仍然是一个悬而未决的问题，因为缺乏大型，强大的，标记的数据集。在本文中，我们提出了一种基于变换的NER方法，法国使用对抗适应类似的领域或一般语料库，以改善特征提取和更好的推广。我们评估我们的方法在三个标记的数据集，并表明我们的适应框架优于相应的非自适应模型的各种组合的Transformer模型，源数据集和目标语料库。
2022-12-05 cs.CL
Adversarial Domain Adaptation for Machine Reading Comprehension
University of Virginia（弗吉尼亚大学）；Microsoft Dynamics 365 AI Research（微软 Dynamics 365 AI 研究院）；Microsoft Research（微软研究院）
在本文中，我们专注于机器阅读理解（MRC）的无监督领域自适应，其中源域有大量的标记数据，而目标域中只有未标记的段落。为此，我们提出了一个对抗性的领域自适应框架（AdaMRC），其中（$i$）伪问题首先在目标领域中的未标记的段落中生成，然后（$ii$）领域分类器被纳入MRC模型，以预测给定的问题对来自哪个领域。使用对抗学习来联合训练分类器和问题编码器，以实施域不变表示学习。综合评估表明，我们的方法（$i$）是可推广到不同的MRC模型和数据集，（$ii$）可以与预训练的大规模语言模型（如ELMo和BERT）相结合，（$iii$）可以扩展到半监督学习。
2019-08-24 cs.CL
Mitigating the Impact of Speech Recognition Errors on Spoken Question Answering by Adversarial Domain Adaptation
College of Electrical Engineering；Computer Science\ Taiwan University, Taiwan
口语问答（SQA）是具有挑战性的，由于复杂的推理上的口头文件。最近的研究也表明了自动语音识别（ASR）错误对SQA的灾难性影响。因此，这项工作提出了通过调整ASR假设与其相应的参考瞬态之间的失配来减轻ASR误差。对抗模型被应用于这个领域自适应任务，这迫使模型学习QA模型可以有效利用的领域不变特征，以改善SQA结果。实验结果表明，该模型的有效性，结果优于以前的最佳模型的2% EM得分。
2019-04-16 cs.CL
Adversarial Domain Adaptation for Variational Neural Language Generation in Dialogue Systems
Japan Advanced Institute of Science and Technology（北陆先端科学技术大学院大学）
领域自适应是指从源领域学习一个模型，使其在不同的目标领域表现良好。在口语对话系统中，当源域有足够的标注数据，而目标域的标注数据有限时，自然语言生成（NLG）就显得尤为重要。如何最大限度地利用源领域的现有能力是领域自适应的关键问题。在本文中，我们提出了一个对抗性的训练过程，训练一个基于变分编码器-解码器的语言生成器通过多个适应步骤。在这个过程中，模型首先在源域数据上进行训练，然后在两个建议的评论家的指导下在一小组目标域话语上进行微调。实验结果表明，该方法能够有效地利用源领域中已有的知识，通过少量的领域内数据来适应另一个相关领域。
2018-08-08 cs.CL
Neural Duplicate Question Detection without Labeled Training Data
Ubiquitous Knowledge Processing Lab (UKP)（普适知识处理实验室）；Technische Universität Darmstadt（达姆施塔特工业大学）
在社区问答（cQA）中对神经模型进行监督训练以进行重复问题检测需要大量的标记问题对，这是昂贵的。为了最大限度地减少这种成本，最近的工作因此经常使用替代方法，例如，对抗性领域自适应。在这项工作中，我们提出了两个新的方法：（1）自动生成重复的问题，（2）弱监督使用的标题和身体的问题。我们表明，这两种方法都可以提高性能，即使它们不需要任何标记的数据。我们对流行的训练策略进行了全面的比较，这为如何在不同的场景中最好地训练模型提供了重要的见解。我们表明，我们提出的方法在许多情况下更有效，因为它们可以利用来自cQA论坛的大量未标记数据。最后，我们还表明，我们提出的方法弱监督的问题标题和身体信息也是一个有效的方法训练cQA答案选择模型没有直接的答案监督。
2020-09-19 cs.CL cs.LG
Adversarial Training for Code Retrieval with Question-Description Relevance Regularization
The Ohio State University（俄亥俄州立大学）
代码检索是自然语言和程序设计语言匹配的关键任务。在这项工作中，我们提出了用于代码检索的对抗学习，即通过问题描述相关性进行正则化。首先，我们采用了一种简单的对抗性学习技术，在给定输入问题的情况下生成困难的代码片段，这可以帮助学习面临双模态和数据稀缺挑战的代码检索。其次，我们建议利用问题描述相关性来规范对抗性学习，这样生成的代码片段应该对代码检索训练损失做出更多贡献，只有当其配对的自然语言描述被预测为与用户给定的问题不太相关时。在两种程序设计语言的大规模代码检索数据集上的实验表明，我们的对抗性学习方法能够提高最先进模型的性能。此外，使用额外的重复问题预测模型来正则化对抗学习进一步提高了性能，这比在强多任务学习基线中使用重复问题更有效
2020-11-10 cs.AI cs.CL cs.IR
Continual Machine Reading Comprehension via Uncertainty-aware Fixed Memory and Adversarial Domain Adaptation
Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Hebei University of Science and Technology（河北科技大学）
连续机器阅读理解的目标是在不访问以前看到的数据的情况下，从一个连续的数据流中逐步学习，这对于开发真实世界的MRC系统至关重要。然而，在不灾难性地忘记先前知识的情况下渐进地学习新领域是一个巨大的挑战。本文提出了一种具有不确定性固定记忆和对抗性领域自适应的连续MRC模型MA-MRC。在MA-MRC中，一个固定大小的内存存储少量的样本在以前的域数据以及不确定性意识的更新策略，当新的域数据到达。对于增量学习，MA-MRC不仅通过同时学习记忆和新领域数据来保持稳定的理解，而且通过对抗学习策略充分利用了记忆和新领域数据之间的领域自适应关系。实验结果表明，MA-MRC是优于强基线，并具有实质性的增量学习能力，而不会发生灾难性遗忘在两个不同的连续MRC设置。
2022-08-10 cs.CL
Emotion-guided Cross-domain Fake News Detection using Adversarial Domain Adaptation
Delhi Technological University（德里理工大学）；University of Technology Sydney（悉尼科技大学）
最近关于假新闻检测的研究表明，使用情感作为特征或基于情感的特征可以提高性能。然而，这些情感引导的特征在跨领域设置中对假新闻检测的影响，我们面临着领域转移的问题，在很大程度上仍然没有被探索。在这项工作中，我们评估了情感引导特征对跨领域假新闻检测的影响，并进一步提出了一种使用对抗性学习的情感引导、领域自适应方法。我们证明了情感引导模型在跨域设置中的有效性，这些模型适用于FakeNewsAMT，Celeb，Politifact和Gossipcop数据集的源和目标数据集的各种组合。
2022-11-24 cs.CL
Adversarial Training Based Multi-Source Unsupervised Domain Adaptation for Sentiment Analysis
University of Electronic Science and Technology of China（电子科技大学）；Harbin Institute of Technology Shenzhen（哈尔滨工业大学（深圳））；Peng Cheng Laboratory（鹏城实验室）
用于情感分析的多源无监督领域自适应（MS-UDA）旨在利用多个源领域中的有用信息来帮助在没有监督信息的未标记目标领域中进行情感分析。MS-UDA的现有算法或者仅利用共享特征，即，域不变信息，或者基于NLP中的一些弱假设，例如，平滑假设为了避免这些问题，我们提出了两个迁移学习框架的基础上的多源领域自适应方法SA结合源假设，以获得一个良好的目标假设。第一个框架的主要特点是一个新的基于加权方案的无监督领域自适应框架（WS-UDA），它结合源分类器直接获取目标实例的伪标签。而第二个框架是基于两阶段训练的无监督领域自适应框架（2ST-UDA），其进一步利用这些伪标签来训练目标私有提取器。重要的是，分配给每个源分类器的权重是基于目标实例和源域之间的关系，这是通过对抗训练来测量的。此外，通过相同的封装，我们还实现了共享功能和私有功能的分离。在两个SA数据集上的实验结果表明，我们的框架具有良好的性能，优于无监督的最先进的竞争对手。
2020-06-10 cs.CL
A Label Proportions Estimation Technique for Adversarial Domain Adaptation in Text Classification
Signal Analysis and Interpretation Lab（信号分析与解释实验室）；University of Southern California（南加州大学）；Department of Psychiatry and Behavioral Sciences（精神病学与行为科学系）；University of Washington（华盛顿大学）；Department Educational Psychology（教育心理学系）；University of Utah（犹他大学）
许多文本分类任务是领域相关的，并且已经提出了各种领域自适应方法来预测新领域中的未标记数据。领域对抗神经网络（DANN）及其变体近年来得到了广泛的应用，并取得了可喜的成果。然而，这些方法中的大多数都假设源域和目标域的标签比例是相似的，这在大多数现实场景中很少成立。有时，标签偏移可能很大，并且DANN无法学习域不变特征。在这项研究中，我们专注于无监督领域自适应的文本分类与标签偏移，并介绍了一个领域对抗网络与标签比例估计（DAN-LPE）框架。DAN-LPE同时训练一个领域对抗网络，并通过源领域的混淆和目标领域的预测来处理标签比例估计。实验结果表明，DAN-LPE算法能够很好地估计目标标签的分布，减少了标签偏移，提高了分类性能。
2020-03-26 cs.CL cs.LG
Unsupervised Domain Adaptation by Adversarial Learning for Robust Speech Recognition
Institute for Natural Language Processing, University of Stuttgart（斯图加特大学自然语言处理研究所）
在本文中，我们研究了使用对抗学习来无监督地适应看不见的记录条件，更具体地说，是单麦克风远场语音。我们适应基于神经网络的声学模型训练与近距离交谈干净的语音新的录音条件下使用未转录的适应数据。我们在意大利SPEECON数据集上的实验结果表明，我们提出的方法实现了19.8%的相对字错误率（WER）减少相比，未适应的模型。此外，这种自适应方法是有益的，即使当从另一种语言（即法语）的数据上进行，给出12.6%的相对WER减少。
2018-07-30 cs.AI cs.CL cs.SD
Meta-Learning Adversarial Domain Adaptation Network for Few-Shot Text Classification
East China Normal University（华东师范大学）；Zhejiang University（浙江大学）；Alibaba Group（阿里巴巴集团）
元学习已经成为解决Few-Shot文本分类的趋势技术，并实现了最先进的性能。然而，现有的解决方案在很大程度上依赖于利用词汇特征及其分布签名的训练数据，而忽略了加强模型的能力，以适应新的任务。在本文中，我们提出了一种新的元学习框架集成了对抗性领域自适应网络，旨在提高模型的自适应能力，并生成高质量的文本嵌入新的类。在四个基准数据集上进行了广泛的实验，我们的方法在所有数据集上都表现出明显的优越性。特别是，在20个新闻组的数据集上，1镜头和5镜头分类的准确率分别从52.1%提高到59.6%和从68.3%提高到77.8%。
2021-07-26 cs.AI cs.CL
ScaLA: Accelerating Adaptation of Pre-Trained Transformer-Based Language Models via Efficient Large-Batch Adversarial Noise
Microsoft（微软）
近年来，基于transformer的大型预训练语言模型在许多自然语言理解任务中取得了巨大的进步。为了训练这些模型，许多神经网络从业者试图增加批量大小，以便利用多个GPU来提高训练速度。然而，增加批量大小通常会使优化变得更加困难，导致收敛速度慢或泛化能力差，可能需要多几个数量级的训练时间才能达到相同的模型质量。在本文中，我们探讨了大批量优化的损失景观的陡峭程度，以适应预训练的基于transformer的语言模型特定于领域的任务，并发现它往往是高度复杂和不规则的，对下游任务的泛化提出了挑战。为了应对这一挑战，我们提出了ScaLA，一种新颖而有效的方法来加快预训练的Transformer网络的适应速度。与现有方法不同，我们采用了一种顺序博弈论方法，将轻量级对抗性噪声添加到大批量优化中，从而在保持模型泛化的同时显着提高了自适应速度。实验结果表明，ScaLA在BERT-base和Roberta-large上的GLUE自适应加速比达到2.7- 9.8 $\times$，同时达到了与现有大批量优化方法相当的精度，有时甚至更高。最后，我们还解决了大批量优化与对抗噪声的理论方面，并提供了一个理论收敛率分析ScaLA使用技术分析非凸鞍点问题。
2022-01-29 cs.CL cs.LG
Adversarial Adaptation for French Named Entity Recognition
Delhi Technological University（德里理工大学）；Université du Québec à Montréal（魁北克大学蒙特利尔分校）
命名实体识别（NER）是识别大规模文本中的命名实体并将其分类到预定义的类别中的任务。法语和其他资源相对有限的语言中的NER并不总是受益于为英语等语言提出的方法，因为缺乏大型，强大的数据集。在本文中，我们提出了我们的工作，旨在减轻这种缺乏大型标记数据集的影响。我们提出了一种基于转换器的NER方法，用于法语，使用对抗适应相似的领域或一般语料库，以提高特征提取，使更好的泛化。我们的方法允许使用来自相同域或混合域的大规模未标记语料库来学习更好的特征，以在训练过程中引入更多变化并减少过拟合。在三个标记数据集上的实验结果表明，我们的自适应框架优于相应的非自适应模型的各种组合的Transformer模型，源数据集和目标语料库。我们还表明，对大规模未标记语料库的对抗性适应可以帮助减轻使用在较小语料库上预训练的Transformer模型所引起的性能下降。
2023-01-12 cs.AI cs.CL cs.LG
Adversarial Speaker Adaptation
Microsoft Corporation（微软公司）
我们提出了一种新的对抗性说话人自适应（ASA）方案，其中对抗性学习应用于调节说话人相关（SD）深度神经网络（DNN）声学模型中的深度隐藏特征的分布，以接近于自适应过程中固定的说话人无关（SI）DNN声学模型。引入了一个附加的神经网络来区分SD模型产生的深度特征和SI模型产生的深度特征。在ASA中，以固定的SI模型为参考，SD模型与SVM网络联合优化，以最小化状态分类损失，同时最小化适应数据上的SI/SD区分损失。使用ASA，在SD模型中学习具有与SI模型相似分布的senone判别深度特征。利用这种正则化和自适应的深度特征，SD模型可以对目标说话者的语音执行改进的自动语音识别。在微软短消息听写数据集上进行评估，ASA对于监督和无监督自适应分别实现了14.4%和7.9%的相对单词出错率改进，超过了从2600小时数据训练的SI模型，每个扬声器具有200个自适应话语。
2019-04-29 cs.CL cs.LG cs.SD
Transfer Learning for Relation Extraction via Relation-Gated Adversarial Learning
Zhejiang University（浙江大学）；Alibaba Group（阿里巴巴集团）；AZFT Joint Lab for Knowledge Engine（阿里巴巴-浙江大学前沿技术联合研究中心知识引擎联合实验室）；Oxford University（牛津大学）
关系抽取的目的是从句子中抽取关系事实。以前的模型主要依赖于手动标记的数据集，种子实例或人工制作的模式，以及远程监督。然而，人工注释是昂贵的，而人工制作的模式遭受语义漂移和遥远的监督样本通常是嘈杂的。领域自适应方法使得能够利用来自不同但相关的领域的标记数据。然而，不同的领域通常具有不同的文本关系描述和不同的标签空间（源标签空间通常是目标标签空间的超集）。为了解决这些问题，我们提出了一种新的关系门控对抗学习关系抽取模型，扩展了基于对抗的领域自适应。实验结果表明，该方法优于以往的领域自适应方法的部分领域适应，并可以提高距离监督关系抽取的准确性，通过微调。
2019-08-22 cs.CL cs.LG stat.ML
