Multi-Adversarial Learning for Cross-Lingual Word Embeddings
University of Geneva（日内瓦大学）；Idiap Research Institute（Idiap 研究所）
生成对抗网络（GANs）已经成功地在没有监督的情况下诱导跨语言词嵌入-跨语言匹配词的映射。尽管取得了这些成功，但GANs在远距离语言的困难情况下的性能仍然不令人满意。这些局限性可以通过GANs的错误假设来解释，即源和目标嵌入空间通过单个线性映射相关并且近似同构。相反，我们假设，特别是在遥远的语言中，映射只是分段线性的，并提出了一种多对抗学习方法。这种新方法通过多个映射来产生种子跨语言词典，每个映射被诱导以适合于一个子空间的映射。我们对无监督双语词典归纳的实验表明，该方法比以前的单一映射方法，特别是对遥远的语言，提高了性能。
2021-08-25 cs.CL
Improving distant supervision using inference learning
University of Sheffield（谢菲尔德大学）；University of the Basque Country（巴斯克大学）
远程监督是一种广泛应用于关系抽取系统的自动训练的方法，并且具有可以以最小的努力生成大量标记数据的优点。然而，这些数据可能包含错误，因此使用远程监督训练的系统往往不如基于手动标记数据的系统运行得好。本文提出了一种新的方法，利用知识推理方法检测潜在的假阴性训练样本。结果表明，我们的方法提高了使用远程监督数据训练的关系抽取系统的性能。
2015-09-12 cs.CL
Improving Distantly Supervised Relation Extraction with Self-Ensemble Noise Filtering
IIT Kharagpur（印度理工学院卡拉格普尔分校）；SUTD（新加坡科技设计大学）
远程监督模型在关系抽取中非常流行，因为我们可以使用远程监督方法获得大量的训练数据，而无需人工注释。在远程监督中，如果句子包含元组的两个实体，则该句子被认为是元组的源。然而，这个条件过于宽松，不能保证句子中存在相关的关系特定信息。因此，远程监督的训练数据包含大量噪声，这对模型的性能产生不利影响。在本文中，我们提出了一种自集成过滤机制，以过滤掉噪声样本在训练过程中。我们评估我们提出的框架上的纽约时报数据集，这是通过远程监督。我们的实验与多个国家的最先进的神经关系抽取模型表明，我们提出的过滤机制提高了模型的鲁棒性，并增加其F1分数。
2021-08-22 cs.CL
Improving Distantly Supervised Relation Extraction using Word and Entity Based Attention
Indian Institute of Science（印度科学研究所）；University of British Columbia（英属哥伦比亚大学）
关系抽取是对给定句子中两个实体之间的关系进行分类的问题。远程监督（DS）是一种流行的技术，用于从有限监督开始开发关系提取器。我们注意到，在远程监督关系抽取设置中的大多数句子都很长，并且可以受益于单词注意以获得更好的句子表示。我们在本文中的贡献有三个方面。首先，我们提出了两个新的词注意力模型的远程监督关系抽取：（1）双向门控递归单元（Bi-GRU）为基础的词注意力模型（BGWA），（2）以实体为中心的注意力模型（EA），和（3）组合模型，采用加权投票方法结合多个互补的模型改进的关系抽取。其次，介绍了一种新的用于关系抽取的远程监督数据集GDS。GDS消除了所有以前的远程监督基准数据集中存在的测试数据噪声，使可靠的自动评估成为可能。第三，通过在多个真实数据集上的大量实验，我们证明了所提出的方法的有效性。
2018-04-19 cs.CL
Improving Distantly Supervised Relation Extraction with Neural Noise Converter and Conditional Optimal Selector
Alibaba Group (U.S.) Inc.（阿里巴巴集团（美国）公司）
距离监督关系抽取已成功应用于具有数千个关系的大型语料库。然而，不可避免的错误标记的问题，由远程监督将损害性能的关系抽取。在本文中，我们提出了一种方法与神经噪声转换器，以减轻噪声数据的影响，和一个条件最优选择器，使正确的预测。我们的噪声转换器在logit水平上学习结构化转移矩阵，并捕获远程监督关系抽取数据集的属性。另一方面，条件最优选择器有助于对实体对做出正确的预测决策，即使句子组被无关系句子淹没。我们在一个广泛使用的数据集上进行了实验，结果表明，与竞争性基线方法相比，该方法有显著的改进。
2018-11-14 cs.AI cs.CL
Improving Distant Supervised Relation Extraction by Dynamic Neural Network
Sichuan University（四川大学）；The University of Adelaide（阿德莱德大学）；Dalian University of Technology（大连理工大学）
远距离监督关系抽取（DSRE）通常被表述为将包含两个查询实体的一袋句子分类到预定义的关系类中的问题。大多数现有的方法将这些关系类视为不同的语义类别，而忽略了它们与查询实体的潜在联系。在本文中，我们建议利用这种连接，以提高关系抽取的准确性。我们的主要想法有两个方面：（1）对于属于同一关系类的句子，表达风格（即词语选择）可以根据查询实体而变化。为了解释这种样式转换，模型应该根据实体类型调整其参数。(2)有些关系类在语义上是相似的，出现在一个关系中的实体类型也可能出现在其他关系中。因此，它可以跨不同的关系类进行训练，并进一步增强具有少量样本的那些类，即，长尾类为了统一这两个论点，我们开发了一种新的动态神经网络关系抽取（DNNRE）。该网络采用了一种新的动态参数生成器，根据查询实体类型和关系类动态生成网络参数。通过使用这种机制，网络可以同时处理风格转换问题，并提高长尾类的预测精度。通过我们的实验研究，我们证明了所提出的方法的有效性，并表明它可以实现优于国家的最先进的方法的性能。
2019-12-13 cs.CL cs.LG
Transfer Learning for Relation Extraction via Relation-Gated Adversarial Learning
Zhejiang University（浙江大学）；Alibaba Group（阿里巴巴集团）；AZFT Joint Lab for Knowledge Engine（阿里巴巴-浙江大学前沿技术联合研究中心知识引擎联合实验室）；Oxford University（牛津大学）
关系抽取的目的是从句子中抽取关系事实。以前的模型主要依赖于手动标记的数据集，种子实例或人工制作的模式，以及远程监督。然而，人工注释是昂贵的，而人工制作的模式遭受语义漂移和遥远的监督样本通常是嘈杂的。领域自适应方法使得能够利用来自不同但相关的领域的标记数据。然而，不同的领域通常具有不同的文本关系描述和不同的标签空间（源标签空间通常是目标标签空间的超集）。为了解决这些问题，我们提出了一种新的关系门控对抗学习关系抽取模型，扩展了基于对抗的领域自适应。实验结果表明，该方法优于以往的领域自适应方法的部分领域适应，并可以提高距离监督关系抽取的准确性，通过微调。
2019-08-22 cs.CL cs.LG stat.ML
Weakly-Supervised Concept-based Adversarial Learning for Cross-lingual Word Embeddings
University of Geneva（日内瓦大学）；Idiap Research Institute（Idiap研究所）
将每个单词映射到连续向量的单词的分布式表示已被证明不仅在单个语言中而且在不同语言中捕获重要的语言信息方面是有用的。目前的无监督对抗方法表明，可以构建一个映射矩阵，将两组单语词嵌入对齐在一起，而无需高质量的并行数据，如字典或词典对齐语料库。然而，如果没有后细化，这些方法的初步映射的性能并不好，导致在类型学上遥远的语言的性能差。在本文中，我们提出了一种弱监督对抗训练方法来克服这一限制，基于直觉，即跨语言映射在概念层面比在单词层面更好。我们提出了一种基于概念的对抗训练方法，对于大多数语言，它提高了以前无监督对抗方法的性能，特别是对于类型上遥远的语言对。
2019-04-20 cs.CL
Improving Distantly-supervised Entity Typing with Compact Latent Space Clustering
Zhejiang University（浙江大学）；University of Illinois at Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）；iFLYTEK Research（科大讯飞研究院）；University of Southern California（南加州大学）
近年来，远程监控技术在细粒度实体分类（FET）方面取得了巨大的成功。尽管它在减少手动标记工作方面效率很高，但它也带来了处理错误实体类型标签的挑战，因为远程监督以上下文不可知的方式分配标签。现有的工作缓解了这个问题，部分标签损失，但通常遭受确认偏差，这意味着分类器适合自己给定的伪数据分布。在这项工作中，我们建议使用紧凑潜在空间聚类（CLSC）来正则化远程监督模型，以绕过这个问题并有效地利用噪声数据。我们提出的方法首先动态地构建不同实体提及的相似性图，通过标签传播来推断噪声实例的标签。基于推断的标签，提及嵌入相应地更新，以鼓励具有接近语义的实体提及在嵌入空间中形成紧凑的聚类，从而导致更好的分类性能。在标准基准测试上进行的大量实验表明，我们的CLSC模型始终优于最先进的远程监督实体类型系统。
2019-04-13 cs.AI cs.CL
Improving Question Answering Model Robustness with Synthetic Adversarial Data Generation
University College London（伦敦大学学院）；Facebook AI Research（脸书人工智能研究院）
尽管最近取得了进展，但最先进的问答模型仍然容易受到各种对抗攻击的攻击。虽然动态对抗性数据汇集，其中人类注释者试图编写欺骗模型在环的示例，可以提高模型的鲁棒性，但这个过程是昂贵的，这限制了收集数据的规模。在这项工作中，我们是第一个使用合成对抗数据生成来使问答模型对人类对手更加强大的人。我们开发了一个数据生成管道，选择源段落，识别候选答案，生成问题，然后最终过滤或重新标记它们以提高质量。使用这种方法，我们将一个较小的人类书写的对抗数据集放大到一个更大的合成问答对集合。通过整合我们的合成数据，我们将AdversarialQA数据集的最新技术水平提高了3.7F1，并提高了12个MRQA数据集中9个数据集的模型泛化能力。我们进一步进行了一个新的人在回路评估，以表明我们的模型对新的人类编写的对抗性示例具有更强的鲁棒性：crowdworker平均只能欺骗我们的模型8.8%的时间，而没有合成数据训练的模型则为17.6%。
2022-03-15 cs.CL cs.LG
Towards Improving Adversarial Training of NLP Models
University of Virginia（弗吉尼亚大学）
对抗性训练是一种用于学习鲁棒深度神经网络的方法，在训练期间构建对抗性示例。然而，最近生成NLP对抗性示例的方法涉及组合搜索和昂贵的句子编码器来约束生成的实例。因此，使用普通对抗训练来提高NLP模型的性能仍然具有挑战性，并且其好处主要是未经调查的。本文提出了一种简单的改进的NLP模型对抗训练过程，我们称之为攻击训练（A2T）。A2T的核心部分是一种新的、更便宜的词替换攻击，针对普通对抗训练进行了优化。我们使用A2T在IMDB、Rotten Tomatoes、Yelp和SNLI数据集上训练BERT和RoBERTa模型。我们的研究结果表明，它是可能的训练强大的NLP模型使用一个更便宜的对手。我们证明了使用A2T的香草对抗训练可以提高NLP模型对最初训练的攻击的鲁棒性，并且还可以保护模型免受其他类型的单词替换攻击。此外，我们表明，A2T可以提高NLP模型的标准精度，跨领域泛化和可解释性。代码可在https://github.com/QData/Textattack-A2T上获得。
2021-09-11 cs.AI cs.CL cs.LG
Improving Machine Reading Comprehension via Adversarial Training
iFLYTEK Research（科大讯飞研究院）；Harbin Institute of Technology（哈尔滨工业大学）；iFLYTEK AI Research (Hebei)（科大讯飞人工智能研究院（河北））
对抗性训练（AT）作为一种正则化方法，在图像分类和文本分类等多种任务中已经证明了其有效性。虽然AT在自然语言处理的许多任务中都有成功的应用，但其背后的机制仍不清楚。本文旨在将自动测试应用于机器阅读理解，从多个角度研究其效果。我们实验了三种不同类型的RC任务：基于广度的RC，基于广度的RC与无法回答的问题和多选择RC。实验结果表明，该方法可以在SQuAD1.1、SQuAD2.0和RACE上显着且普遍地提高性能。通过虚拟对抗训练（VAT），我们探索了用半监督学习改进RC模型的可能性，并证明了来自不同任务的示例也是有益的。我们还发现，AT在防御人工对抗性示例方面帮助不大，但AT有助于模型在包含更多低频词的示例上更好地学习。
2019-11-09 cs.CL cs.LG cs.NE
Improving Code-switching Language Modeling with Artificially Generated Texts using Cycle-consistent Adversarial Networks
Institute for Natural Language Processing (IMS), University of Stuttgart（斯图加特大学自然语言处理研究所（IMS））
本文介绍了我们的最新努力，改善代码转换语言模型，遭受数据稀缺。我们研究的方法来增加码转换训练文本数据，人工生成它们。具体地说，我们提出了一个基于循环一致对抗网络的框架，将单语文本转换为语码转换文本，将语码转换视为一种说话风格。SEAME语料库上的实验结果表明，利用人工生成的代码切换文本数据，提高了一致的语言模型，以及自动语音识别性能。
2021-12-12 cs.CL
Improving Neural Language Modeling via Adversarial Training
UT Austin（德克萨斯大学奥斯汀分校）
最近，通过使用深度神经网络在语言建模方面取得了实质性进展。然而，在实践中，大规模神经语言模型已被证明是容易过拟合。在本文中，我们提出了一个简单而高效的对抗训练机制，用于正则化神经语言模型。这个想法是在训练模型的同时将对抗性噪声引入输出嵌入层。我们证明了最佳对抗性噪声产生一个简单的封闭形式的解决方案，从而使我们能够开发一个简单和时间有效的算法。理论上，我们证明了我们的对抗机制有效地鼓励了嵌入向量的多样性，有助于提高模型的鲁棒性。从经验上讲，我们的方法改进了Penn Treebank（PTB）和Wikitext-2上语言建模的单一模型最先进的结果，分别达到了46.01和38.07的测试困惑分数。当应用于机器翻译时，我们的方法在WMT 14英语-德语和IWSLT 14德语-英语任务的BLEU分数中改善了各种基于transformer的翻译基线。
2019-09-09 cs.CL cs.LG stat.ML
Adversarial Training for Improving Model Robustness? Look at Both Prediction and Interpretation
University of Virginia（弗吉尼亚大学）
神经语言模型显示出对对抗性示例的脆弱性，这些示例在语义上与其原始对应物相似，其中一些单词被其同义词取代。提高模型鲁棒性的一种常见方法是对抗性训练，它遵循两个步骤--通过攻击目标模型来收集对抗性示例，并使用这些对抗性示例在增强数据集上微调模型。传统对抗训练的目标是使模型在原始/对抗样本对上产生相同的正确预测。然而，两个相似文本的模型决策之间的一致性被忽视。我们认为，一个强大的模型应该在原始/对抗样本对上表现一致，也就是说，基于相同的原因（如何）做出相同的预测（什么），这可以通过一致的解释来反映。在这项工作中，我们提出了一种新的特征级对抗训练方法FLAT。FLAT旨在提高模型在预测和解释方面的鲁棒性。FLAT在神经网络中引入了可变的单词掩码，以学习全局单词的重要性，并作为一个瓶颈，教导模型根据重要单词进行预测。FLAT通过正则化相应的全局单词重要性得分，明确地解决了由模型对原始/对抗性示例对中被替换单词及其同义词的理解之间的不匹配引起的脆弱性问题。实验表明，FLAT在提高四种神经网络模型（LSTM，CNN，BERT和DeBERTa）对四种文本分类任务的两种对抗攻击的预测和解释的鲁棒性方面的有效性。通过FLAT训练的模型在不同攻击的不可预见的对抗性示例上也表现出比基线模型更好的鲁棒性。
2022-03-23 cs.CL
Improving Generalization in Coreference Resolution via Adversarial Training
为了使共指消解系统在实践中有用，它们必须能够推广到新的文本。在这项工作中，我们证明了当将CoNLL数据集中PER和GPE命名实体的名称更改为训练集中未出现的名称时，最先进系统的性能会降低。我们使用对抗性的基于梯度的训练技术来重新训练最先进的系统，并证明重新训练的系统在CoNLL数据集（有和没有命名实体的变化）和GAP数据集上实现了更高的性能。
2019-08-13 cs.CL
Improving Twitter Sentiment Classification via Multi-Level Sentiment-Enriched Word Embeddings
Pingdingshan University（平顶山学院）
现有的大多数工作学习特定于情感的词表示来改进Twitter情感分类，在学习过程中对n-gram和远程监督的tweet情感信息进行编码。他们假设推文中的所有单词都具有与整个推文相同的情感极性，这忽略了单词本身的情感极性。为了解决这个问题，我们提出了学习特定的情感词嵌入，同时利用词典资源和远程监督信息。提出了一种多层次情感丰富的词嵌入学习方法，该方法在学习过程中使用并行非对称神经网络对n-gram、词级情感和tweet级情感进行建模。标准基准测试的实验表明，我们的方法优于国家的最先进的方法。
2016-11-01 cs.CL
Improving Gradient-based Adversarial Training for Text Classification by Contrastive Learning and Auto-Encoder
Pattern Recognition Center, WeChat AI, Tencent Inc（腾讯公司微信人工智能模式识别中心）
最近的工作提出了几种有效的方法来生成基于梯度的对抗性扰动的嵌入，并证明了模型的性能和鲁棒性可以提高，当他们训练这些污染的嵌入。虽然他们很少关注如何帮助模型更有效地学习这些对抗样本。在本文中，我们着眼于在模型的训练过程中增强模型防御基于梯度的对抗攻击的能力，并提出了两种新的对抗训练方法：（1）CARL缩小了原始样本及其对抗样本在表示空间中的距离，同时扩大了它们与不同标记样本的距离。(2)RAR迫使模型从其对抗性表示中重建原始样本。实验结果表明，所提出的两种方法优于强基线在各种文本分类数据集。分析实验表明，使用本文方法时，输入句子的语义表示不会受到对抗性扰动的显著影响，并且在对抗攻击下，模型的性能下降较小。也就是说，我们的方法可以有效地提高模型的鲁棒性。此外，RAR还可以用于生成文本形式的对抗样本。
2021-09-14 cs.CL
Improving the Adversarial Robustness of NLP Models by Information Bottleneck
Fudan University（复旦大学）；University of California, Los Angeles（加州大学洛杉矶分校）
现有的研究表明，对抗性示例可以直接归因于非鲁棒特征的存在，这些特征具有高度的预测性，但很容易被对手操纵来欺骗NLP模型。在这项研究中，我们探索的可行性，捕获特定于任务的鲁棒性的功能，同时消除非鲁棒性的信息瓶颈理论。通过大量的实验，我们表明，使用我们的基于信息校验的方法训练的模型能够在鲁棒准确性方面实现显着提高，超过所有先前报道的防御方法的性能，同时在SST-2，AGNEWS和IMDB数据集上几乎没有性能下降。
2022-06-11 cs.CL
Improving Speaker-Independent Lipreading with Domain-Adversarial Training
The Swiss AI Lab IDSIA（瑞士人工智能实验室IDSIA）；USI（瑞士意大利语区大学）；SUPSI（瑞士南部应用科学与艺术大学）
我们提出了一个唇读系统，即一个语音识别系统，只使用视觉特征，它使用域对抗训练的说话人独立性。领域对抗训练被集成到基于前馈和LSTM（长短期记忆）递归神经网络堆栈的唇读器的优化中，产生了一个端到端的可训练系统，该系统只需要非常少量的未转录目标数据帧就可以大幅提高目标说话人的识别准确性。对不同的源和目标说话人，我们实现了约40%的相对准确性提高，只有15至20秒的未转录的目标语音数据。在多说话者训练设置中，准确性的提高较小，但仍然很大。
2017-08-04 cs.CL cs.CV
TaeBench: Improving Quality of Toxic Adversarial Examples
AWS Bedrock Science（AWS Bedrock科学）
本文提出一种标注流水线用于生成高质量毒性对抗样本（TAE），并据此构建了TaeBench数据集，实验证明其能有效攻击SOTA毒性审核模型并通过对抗训练显著提升检测器鲁棒性。
2025-05-01 cs.AI cs.CL cs.CR
Improving robustness of language models from a geometry-aware perspective
Guangzhou University（广州大学）；Peng Cheng Laboratory（鹏城实验室）；Zhejiang University of Technology（浙江工业大学）
最近的研究发现，在对抗训练中去除范数有界投影和增加搜索步骤可以显着提高鲁棒性。然而，我们观察到，太多的搜索步骤可能会损害准确性。我们的目标是使用更少的步骤有效地获得强大的鲁棒性。通过一个玩具实验，我们发现，扰动干净的数据的决策边界，但不跨越它不会降低测试精度。受此启发，我们提出了友好对抗数据增强（FADA）来生成友好对抗数据。在FADA的基础上，我们提出了几何感知对抗训练（GAT）来对友好的对抗数据进行对抗训练，这样我们就可以节省大量的搜索步骤。在两个广泛使用的数据集和三个预先训练好的语言模型上的综合实验表明，GAT可以通过更少的步骤获得更强的鲁棒性。此外，我们提供了广泛的实证结果和深入的分析鲁棒性，以促进未来的研究。
2022-04-28 cs.CL
Improving Conditional Sequence Generative Adversarial Networks by Stepwise Evaluation
Department of Electrical Engineering, National Taiwan University（台湾大学电机工程学系）
序列生成对抗网络（SeqGAN）已被用于改进条件序列生成任务，例如，闲聊对话生成。为了稳定SeqGAN的训练，使用蒙特卡罗树搜索（MCTS）或每生成步骤的奖励（REGS）来评估生成的子序列的优良性。MCTS是计算密集型的，但是REGS的性能比MCTS差。在本文中，我们提出了逐步GAN（StepGAN），其中修改的卷积自动分配分数量化每个子序列在每个生成步骤的善良。StepGAN的计算成本明显低于MCTS。我们证明StepGAN在合成实验和聊天对话生成方面都优于以前的基于GAN的方法。
2019-02-11 cs.CL stat.ML
Improving Adversarial Data Collection by Supporting Annotators: Lessons from GAHD, a German Hate Speech Dataset
University of Zurich（苏黎世大学）；Bocconi University（博科尼大学）
本文提出德语对抗性仇恨言论数据集 GAHD（约11k样本），通过探索多种标注者支持策略提升对抗样本多样性与收集效率，实验证明该数据集能显著增强仇恨言论检测模型的鲁棒性，且混合策略效果最佳。
2024-03-28 cs.CL
Robust Unsupervised Cross-Lingual Word Embedding using Domain Flow Interpolation
Centre for Perceptual and Interactive Intelligence（感知与交互智能研究中心）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；The Chinese University of Hong Kong（香港中文大学）
本文研究了一种无监督的方法，以获得一个通用的，跨语言的词嵌入空间，其中具有相似语义的词从不同的语言是接近彼此。以前的对抗性方法在诱导跨语言词嵌入而无需并行数据方面显示出有希望的结果。然而，训练阶段表现出不稳定的遥远的语言对。我们建议使用一系列中间空间来实现平滑的桥接，而不是将源语言空间直接映射到目标语言空间。每个中间空间可以被认为是一个伪语言空间，并通过简单的线性插值引入。这种方法是仿照计算机视觉中的域流，但具有修改的目标函数。在本征双语词典归纳任务上的实验表明，该方法可以提高对抗模型的鲁棒性，并具有相当甚至更好的精度。在跨语言自然语言推理的下游任务上的进一步实验表明，与最先进的对抗和非对抗模型相比，该模型在下游任务中实现了远距离语言对的性能显著提高。
2022-10-07 cs.CL
Leveraging Expert Guided Adversarial Augmentation For Improving Generalization in Named Entity Recognition
Georgia Institute of Technology（佐治亚理工学院）；Pionetechs, Inc.（Pionetechs公司）
命名实体识别（NER）系统通常在分布数据上表现出很好的性能，但在从移动分布中提取的示例上表现不佳。评估NER模型泛化能力的一种方法是使用对抗性示例，其中很少考虑与命名实体相关的特定变化。为此，我们建议利用专家指导的反欺诈来改变实体令牌及其周围的上下文，从而改变它们的实体类型作为对抗攻击。使用专家指导的语义学，我们增强了CoNLL 2003测试集，并手动注释它，以构建一个高质量的挑战集。我们发现，最先进的NER系统在CoNLL 2003训练数据上训练，在我们具有挑战性的集合上性能急剧下降。通过对对抗性增强训练样本进行训练并使用mixup进行正则化，我们能够显着提高挑战集的性能，并改善我们使用OntoNotes数据评估的领域泛化。我们已在https://github.com/GT-SALT/Guided-Adversarial-Augmentation上公开发布了我们的数据集和代码。
2022-03-21 cs.AI cs.CL
Improving the robustness and accuracy of biomedical language models through adversarial training
Medical University of Vienna（维也纳医科大学）
深度Transformer神经网络模型提高了生物医学领域智能文本处理系统的预测精度。他们在各种生物医学和临床自然语言处理（NLP）基准测试中获得了最先进的性能分数。然而，这些模型的鲁棒性和可靠性迄今为止还没有得到充分的研究。神经NLP模型很容易被对抗性样本欺骗，即对输入进行微小的更改，保留文本的含义和可理解性，但迫使NLP系统做出错误的决定。这引起了人们对生物医学NLP系统的安全性和可信度的严重担忧，特别是当它们打算部署在现实世界的用例中时。我们研究了几个Transformer神经语言模型，即BioBERT，SciBERT，BioMed-RoBERTa和Bio-ClinicalBERT，在广泛的生物医学和临床文本处理任务的鲁棒性。我们实现了各种对抗攻击方法来测试不同攻击场景下的NLP系统。实验结果表明，生物医学NLP模型对对抗性样本敏感;它们的性能在字符级和单词级对抗性噪声上分别平均下降了21%和18.9%。通过进行广泛的对抗性训练实验，我们在干净样本和对抗性输入的混合上微调了NLP模型。结果表明，对抗性训练是对抗性噪声的有效防御机制;模型的鲁棒性平均提高了11.3%。此外，模型在干净数据上的性能平均提高了2.4个绝对值，这表明对抗性训练可以提高生物医学NLP系统的泛化能力。
2021-11-16 cs.AI cs.CL
Improving Paraphrase Detection with the Adversarial Paraphrasing Task
University of South Florida（南佛罗里达大学）
如果两个句子有相同的意思，那么它们在推理性质上应该是等价的，即，每一句话都应该在文本上派生出另一句话。然而，目前广泛使用的许多释义数据集依赖于基于单词重叠和语法的释义感。我们能不能教他们识别释义的方法是利用句子的推理特性，而不是过度依赖句子对的词汇和句法相似性？我们将对抗范式应用于这个问题，并引入了一种新的用于释义识别的数据集创建的对抗方法：对抗释义任务（APT），该任务要求参与者生成语义等效（在相互暗示的意义上）但词汇和句法不同的释义。然后，这些句子对可以用于测试释义识别模型（几乎没有随机准确性），然后提高其性能。为了加速数据集的生成，我们使用T5探索了APT的自动化，并表明生成的数据集也提高了准确性。我们讨论了释义检测的影响，并发布了我们的数据集，希望释义检测模型能够更好地检测句子级别的意义等价。
2021-06-14 cs.AI cs.CL
READ: Improving Relation Extraction from an ADversarial Perspective
University of California, San Diego（加利福尼亚大学圣迭戈分校）
针对关系抽取模型过度依赖实体、泛化能力不足的问题，提出结合序列/token级扰动、独立扰动词表和上下文干净token概率保留的对抗训练方法READ，提升了准确率、鲁棒性及低资源表现。
2024-04-02 cs.AI cs.CL
Improving Dysarthric Speech Intelligibility Using Cycle-consistent Adversarial Training
Seoul National University（首尔国立大学）
构音障碍是一种影响数百万人的运动性语言障碍。构音障碍者的言语比非构音障碍者的言语更难理解，从而导致显著的沟通困难。我们工作的目标是开发一个模型，构音障碍，以健康的语音转换使用周期一致的GAN。使用18，700个构音障碍和8，610个健康对照韩语话语，这些话语是为了在先前的研究中自动识别语音键盘而记录的，该生成器被训练成在谱域中将构音障碍转换为健康语音，然后将其转换回语音。客观评价使用自动语音识别的生成的话语上举行了测试集显示，识别性能得到改善，与原来的dysarthic语音进行对抗训练后，作为绝对WER已降低了33.4%。实验结果表明，所提出的基于GAN的转换方法对于改善构音障碍语音的可懂度是有用的。
2020-01-10 cs.CL cs.SD eess.AS
