Improving Robustness In Sparse Autoencoders via Masked Regularization
Lawrence Livermore National Laboratory, CA, USA(劳伦斯利弗莫尔国家实验室,加利福尼亚州,美国)
本文提出掩码正则化方法,通过在训练中随机替换token以打破共现模式,提升稀疏自编码器的鲁棒性,减少特征吸收,增强可探查性能并缩小OOD差距。
2026-04-07 cs.AI cs.LG
Improving Visual Question Answering Models through Robustness Analysis and In-Context Learning with a Chain of Basic Questions
University of Amsterdam(阿姆斯特丹大学);King Abdullah University of Science and Technology(阿卜杜拉国王科技大学)
本研究提出利用基础问题作为噪声评估VQA模型鲁棒性的新方法,通过LASSO优化排序生成合理噪声水平,并引入R_score指标和数据集,同时发现基础问题链的上下文学习能提升模型准确率。
2023-04-06 cs.AI cs.CV
Improving Robustness of Task Oriented Dialog Systems
Facebook Assistant(Facebook助手);Google(谷歌)
对话系统中面向任务的语言理解通常使用意图(查询的任务)和槽(该任务的参数)来建模。意图检测和槽标记,反过来,分别使用句子分类和单词标记技术建模。与现有文献中讨论的计算机视觉模型的对抗攻击问题类似,这些意图槽标记模型通常对输入的微小变化过于敏感-当对查询进行微小更改时预测不同且通常不正确的标签,从而降低其准确性和可靠性。然而,评估模型对这些变化的鲁棒性对于语言来说更难,因为单词是离散的,并且对查询的自动变化(例如添加“噪声”)有时会改变查询的含义,从而改变查询的标签。在本文中,我们首先描述了如何创建一个对抗性测试集来衡量这些模型的鲁棒性。此外,我们引入并调整了对抗性训练方法以及使用反向翻译的数据增强来缓解这些问题。我们的实验表明,这两种技术大大提高了系统的鲁棒性,可以结合起来,以产生最好的结果。
2019-11-12 cs.AI cs.CL
Improving Neural Machine Translation Robustness via Data Augmentation: Beyond Back Translation
Imperial College London(帝国理工学院)
神经机器翻译(NMT)模型在翻译干净的文本时已被证明是强大的,但它们对输入中的噪声非常敏感。提高NMT模型的鲁棒性可以被看作是对噪声的“域”适应的一种形式。最近创建的机器翻译在嘈杂的文本任务语料库提供噪声清洁的并行数据的一些语言对,但这些数据是非常有限的大小和多样性。最先进的方法严重依赖于大量的反向翻译数据。本文的主要贡献有两个:第一,我们提出了新的数据增强方法来扩展有限的噪声数据,并进一步提高NMT对噪声的鲁棒性,同时保持模型小。其次,我们探讨了以语音转录的形式利用外部数据中的噪声的效果,并表明它可以帮助鲁棒性。
2019-10-14 cs.CL
Improving Both Domain Robustness and Domain Adaptability in Machine Translation
LMU Munich(慕尼黑大学)
我们考虑两个问题的NMT领域自适应使用元学习。首先,我们希望达到域鲁棒性,即,我们希望在训练数据中可见的域和不可见的域上都达到高质量。第二,我们希望我们的系统是自适应的,即,使得仅用数百个领域内的平行句子就可以微调系统成为可能。在提高模型领域鲁棒性的同时,研究了元学习的领域适应性。在本文中,我们提出了一种新的方法,RMLNMT(鲁棒元学习框架神经机器翻译领域自适应),提高了现有的元学习模型的鲁棒性。更具体地说,我们展示了如何在课程学习中使用域分类器,并将词级域混合模型集成到具有平衡采样策略的元学习框架中。在英语$\rightarrow$德语和英语$\rightarrow$中文翻译上的实验表明,RMLNMT在可见域和不可见域的鲁棒性和域适应性方面都有提高。我们的源代码可在https://github.com/lavine-lmu/RMLNMT上获得。
2022-10-04 cs.CL
Improving Robustness in Real-World Neural Machine Translation Engines
Iconic Translation Machines Ltd.(Iconic翻译机器有限公司)
作为机器翻译的商业提供商,我们不断为各种用途、语言和内容类型培训引擎。在每种情况下,可能存在许多变量,例如可用的训练数据的量以及最终用户的质量要求。这些变量可能会影响神经MT引擎的鲁棒性。总的来说,神经机器翻译治愈了其他机器翻译范式的许多弊病,但同时,它也带来了一系列新的挑战。在本文中,我们描述了实用NMT的一些具体问题以及我们在现实场景中提高模型鲁棒性所采取的方法。
2019-07-02 cs.CL
Improving Robustness by Augmenting Training Sentences with Predicate-Argument Structures
Technische Universität Darmstadt(达姆施塔特工业大学);Ubiquitous Knowledge Processing Lab (UKP-TUDA)(普适知识处理实验室(UKP-TUDA))
现有的NLP数据集包含各种偏见,模型往往会快速学习这些偏见,这反过来又限制了它们的鲁棒性。现有的提高对数据集偏差的鲁棒性的方法主要集中在改变训练目标,以便模型从有偏差的示例中学习更少。此外,它们大多专注于解决特定的偏差,虽然它们提高了目标偏差的对抗性评估集的性能,但它们可能会以其他方式使模型产生偏差,从而损害整体鲁棒性。在本文中,我们建议增加训练数据中的输入句子与其相应的谓词参数结构,这提供了一个更高层次的抽象不同的实现相同的含义,并帮助模型识别句子的重要部分。我们表明,在不针对特定偏见的情况下,我们的句子增强提高了Transformer模型对多种偏见的鲁棒性。此外,我们发现,即使训练数据不包含这种偏差,模型仍然容易受到词汇重叠偏差的影响,并且句子增强也提高了这种情况下的鲁棒性。我们将在https://github.com/UKPLab/data-augmentation-for-robustness上发布我们的对抗数据集来评估这种情况下的偏见以及我们的增强脚本。
2020-10-23 cs.CL
Adversarial Training for Improving Model Robustness? Look at Both Prediction and Interpretation
University of Virginia(弗吉尼亚大学)
神经语言模型显示出对对抗性示例的脆弱性,这些示例在语义上与其原始对应物相似,其中一些单词被其同义词取代。提高模型鲁棒性的一种常见方法是对抗性训练,它遵循两个步骤--通过攻击目标模型来收集对抗性示例,并使用这些对抗性示例在增强数据集上微调模型。传统对抗训练的目标是使模型在原始/对抗样本对上产生相同的正确预测。然而,两个相似文本的模型决策之间的一致性被忽视。我们认为,一个强大的模型应该在原始/对抗样本对上表现一致,也就是说,基于相同的原因(如何)做出相同的预测(什么),这可以通过一致的解释来反映。在这项工作中,我们提出了一种新的特征级对抗训练方法FLAT。FLAT旨在提高模型在预测和解释方面的鲁棒性。FLAT在神经网络中引入了可变的单词掩码,以学习全局单词的重要性,并作为一个瓶颈,教导模型根据重要单词进行预测。FLAT通过正则化相应的全局单词重要性得分,明确地解决了由模型对原始/对抗性示例对中被替换单词及其同义词的理解之间的不匹配引起的脆弱性问题。实验表明,FLAT在提高四种神经网络模型(LSTM,CNN,BERT和DeBERTa)对四种文本分类任务的两种对抗攻击的预测和解释的鲁棒性方面的有效性。通过FLAT训练的模型在不同攻击的不可预见的对抗性示例上也表现出比基线模型更好的鲁棒性。
2022-03-23 cs.CL
Improving Robustness of Machine Translation with Synthetic Noise
Language Technologies Institute(语言技术研究所);School of Computer Science(计算机科学学院);Carnegie Mellon University(卡内基梅隆大学)
现代机器翻译(MT)系统在干净的域内文本上表现一贯良好。然而,大多数人类生成的文本,特别是在社交媒体领域,充满了错别字,俚语,方言,习语和其他噪音,这可能对输出翻译的准确性产生灾难性的影响。在本文中,我们利用机器翻译的噪声文本(MTNT)数据集,以提高机器翻译系统的鲁棒性,通过模仿自然发生的噪音,否则干净的数据。以这种方式合成噪声,我们最终能够使普通MT系统对自然发生的噪声有弹性,并部分减轻由此导致的准确性损失。
2019-04-10 cs.CL cs.LG
Improving Robustness of Neural Dialog Systems in a Data-Efficient Way with Turn Dropout
Heriot-Watt University(赫瑞-瓦特大学);Microsoft Research(微软研究院)
基于神经网络的对话模型通常对异常的域外(OOD)用户输入缺乏鲁棒性,这导致意外的对话行为,并且因此大大限制了这种模型在关键任务生产环境中的使用。这个问题在对话系统自举的设置中与有限的训练数据和无法访问OOD示例特别相关。在本文中,我们探讨了这样的系统的鲁棒性异常输入和相关的权衡在可见和不可见的数据的准确性的问题。我们提出了一个新的数据集,用于研究对话系统的鲁棒性OOD输入,这是bAbI对话任务6与OOD内容在一个受控的方式增强。然后,我们提出了回合丢弃,一个简单而有效的负采样为基础的技术,提高神经对话模型的鲁棒性。我们证明了它的有效性应用于混合代码网络族模型(HCN),达到了我们的OOD增强数据集以及原始数据集的最先进的结果。具体来说,用turn dropout训练的HCN在增强数据集的OOD turn上实现了超过75%的每话语准确度的最先进性能,并且作为OOD检测器实现了74%的F1分数。此外,我们引入了一个变HCN增强与turn dropout,达到超过56.5%的准确性,在原来的bAbI任务6数据集,从而优于最初报道的HCN的结果。
2018-11-29 cs.CL
Improving the Adversarial Robustness of NLP Models by Information Bottleneck
Fudan University(复旦大学);University of California, Los Angeles(加州大学洛杉矶分校)
现有的研究表明,对抗性示例可以直接归因于非鲁棒特征的存在,这些特征具有高度的预测性,但很容易被对手操纵来欺骗NLP模型。在这项研究中,我们探索的可行性,捕获特定于任务的鲁棒性的功能,同时消除非鲁棒性的信息瓶颈理论。通过大量的实验,我们表明,使用我们的基于信息校验的方法训练的模型能够在鲁棒准确性方面实现显着提高,超过所有先前报道的防御方法的性能,同时在SST-2,AGNEWS和IMDB数据集上几乎没有性能下降。
2022-06-11 cs.CL
Contrastive Learning for Improving ASR Robustness in Spoken Language Understanding
National Taiwan University(国立台湾大学)
口语语言理解(Spoken language understanding,SLU)是机器理解人类语音以实现更好交互的重要任务。然而,来自自动语音识别器(ASR)的错误通常会损害理解性能。实际上,ASR系统可能不容易针对目标场景进行调整。因此,本文采用对比目标学习对ASR错误具有鲁棒性的话语表征,并在模型微调中结合监督对比学习和自升华进一步增强泛化能力。在三个基准数据集上的实验证明了该方法的有效性。
2022-06-27 cs.CL cs.SD eess.AS
Improving Robustness of Retrieval Augmented Translation via Shuffling of Suggestions
AWS AI Labs(亚马逊云科技人工智能实验室)
最近的几项研究报告称,通过在推理时使用从翻译记忆(TM)检索的模糊匹配来增强翻译,神经机器翻译(NMT)的性能得到了显着提高。然而,这些研究都是在假设测试时可用的TM与测试集高度相关的前提下进行的。我们证明,对于现有的检索增强翻译方法,使用TM与域不匹配的测试集可以导致大幅下降的性能相比,根本不使用TM。我们提出了一种简单的方法,在训练过程中暴露模糊匹配NMT系统,并表明它会导致一个系统,这是更宽容(恢复高达5.8 BLEU)与域不匹配的TM推理。此外,当从相关TM获得建议时,该模型仍然与基线具有竞争力。
2022-10-11 cs.CL
CAT-Gen: Improving Robustness in NLP Models via Controlled Adversarial Text Generation
University of Virginia(弗吉尼亚大学);Google Research(谷歌研究院)
NLP模型被证明存在鲁棒性问题,即,模型的预测可以在对输入的小扰动下容易地改变。在这项工作中,我们提出了一个受控对抗文本生成(CAT-Gen)模型,该模型在给定输入文本的情况下,通过已知对任务标签不变的可控属性生成对抗文本。例如,为了攻击产品评论的情感分类模型,我们可以使用产品类别作为可控属性,这不会改变评论的情感。在真实世界的NLP数据集上的实验表明,与许多现有的对抗文本生成方法相比,我们的方法可以生成更多样化和流畅的对抗文本。我们进一步使用我们生成的对抗性示例通过对抗性训练来改进模型,并且我们证明了我们生成的攻击对模型重新训练和不同的模型架构更加强大。
2020-10-05 cs.CL
Identifying and Mitigating Spurious Correlations for Improving Robustness in NLP Models
University of Virginia(弗吉尼亚大学);Georgia Institute of Technology(佐治亚理工学院);Google Research(谷歌研究院)
最近,NLP模型在各种任务中取得了显着的进展;然而,它们也因不健壮而受到批评。许多鲁棒性问题可以归因于利用虚假相关性的模型,或者训练数据和任务标签之间的捷径。大多数现有的工作通过人类先验或错误分析确定了一组有限的特定于任务的捷径,这需要大量的专业知识和努力。在本文中,我们的目标是自动识别大规模NLP模型中的这种虚假相关性。我们首先利用现有的可解释性方法从输入文本中提取显著影响模型决策过程的标记。然后,我们通过分析跨多个语料库的模型预测来区分“真正的”令牌和“虚假的”令牌,并通过知识感知扰动进一步验证它们。我们表明,我们提出的方法可以有效地和高效地识别一组可扩展的“捷径”,并减轻这些导致在多个应用程序中更强大的模型。
2022-05-25 cs.CL
Improving Noise Robustness In Speaker Identification Using A Two-Stage Attention Model
University of Sheffield(谢菲尔德大学)
虽然深度神经网络的使用显著提高了说话人识别性能,但在声学环境较差的情况下分离说话人仍然具有挑战性。为了提高说话人识别系统在噪声环境下的鲁棒性,提出了一种新的两阶段注意机制,该机制可用于时延神经网络(TDNN)和卷积神经网络(CNN)等现有结构中。已知噪声经常在时域和频域中掩盖重要信息。所提出的机制允许模型集中于信号的可靠时间/频率分量。使用Voxceleb 1数据集对所提出的方法进行评估,该数据集旨在评估现实世界中的说话人识别。此外,在不同的信噪比(SNR)的三种类型的噪声被添加到这项工作。将所提出的机制与三个强基线进行比较:X向量,Attentive X-vector和Resnet-34。识别和验证任务的结果表明,两阶段的注意力机制一贯改善后,这些所有的噪音条件。
2020-05-15 cs.AI cs.CL cs.SD
Back-Translated Task Adaptive Pretraining: Improving Accuracy and Robustness on Text Classification
Korea University(高丽大学)
在大型文本语料库上预训练并在下游文本语料库上微调并在下游任务上微调的语言模型(LM)成为若干自然语言处理(NLP)任务的事实上的训练策略。最近,一种自适应预训练方法重新训练预训练的语言模型与任务相关的数据已经显示出显着的性能改善。然而,目前的自适应预训练方法遭受欠拟合的任务分布,由于相对少量的数据来重新预训练LM。为了完全使用自适应预训练的概念,我们提出了一种反向翻译任务自适应预训练(BT-TAPT)方法,该方法通过使用反向翻译来增加任务数据以将LM推广到目标任务域,从而增加LM重新预训练的任务特定数据量。实验结果表明,所提出的BT-TAPT在低资源和高资源数据上都提高了分类精度,并且比传统的自适应预训练方法对噪声具有更好的鲁棒性。
2021-07-22 cs.CL cs.LG
Improving noise robustness of automatic speech recognition via parallel data and teacher-student learning
Brno University of Technology(布尔诺理工大学);Amazon.com, Inc.(亚马逊公司)
对于现实世界的语音识别应用,噪声鲁棒性仍然是一个挑战。在这项工作中,我们采用了教师-学生(T/S)学习技术,使用一个平行的清洁和噪声语料库,以提高自动语音识别(ASR)的性能在多媒体噪声。最重要的是,我们应用了一种logits选择方法,该方法只保留k个最高值,以防止教师错误地强调知识,并减少传输数据所需的带宽。我们结合了多达8000小时的未转录数据进行训练,并在序列训练模型上展示了我们的结果,除了交叉熵训练的模型。最好的序列训练的学生模型产生相对字错误率(WER)减少约10.1%,28.7%和19.6%,分别对我们的清洁,模拟噪声和真实的测试集相比,序列训练的教师。
2019-03-15 cs.CL cs.LG cs.SD
Improving Diarization Robustness using Diversification, Randomization and the DOVER Algorithm
Microsoft(微软)
基于声学相似性的语音段自底向上聚类的说话人日志化通常对超参数的选择高度敏感,例如聚类的初始数量和特征加权。优化这些超参数是困难的,并且通常在不同的数据集上不稳定。我们最近提出了DOVER算法,通过投票来组合多个日志化假设。在这里,我们建议通过使用DOVER来平均不同的参数选择来减轻日志化中的鲁棒性问题。我们还研究了不同的输出的组合,通过以下不同的合并选择伪随机的聚类过程中,从而减轻贪婪的最佳优先聚类。我们在两个会议上从NIST评估得出的数据集表明,所提出的方法确实产生了更强大的,在某些情况下,整体改善,结果。
2020-04-09 cs.CL cs.SD eess.AS
Posterior Differential Regularization with f-divergence for Improving Model Robustness
Microsoft Research(微软研究院);Ochanomizu University(御茶水女子大学);University of Waterloo(滑铁卢大学);Vector Institute(向量研究所)
我们通过正则化来解决增强模型鲁棒性的问题。具体来说,我们专注于正则化干净和嘈杂的输入之间的模型后验差的方法。从理论上讲,我们在这个框架下提供了两种最新方法的连接,雅可比正则化和虚拟对抗训练。此外,我们将后验微分正则化推广到$f$ -发散族,并用雅可比矩阵描述了整个正则化框架。从经验上讲,我们系统地比较了这些正则化和标准的BERT训练在不同的任务集,以提供一个全面的概况,其对模型的域内和域外的领域泛化的影响。对于完全监督和半监督设置,我们的实验表明,正则化后验差分与$f$ -发散可以导致良好的改善模型的鲁棒性。特别是,通过适当的$f$ -发散,BERT-基础模型可以实现与BERT-大型模型相当的泛化,用于域内,对抗和域转移场景,这表明所提出的框架在提高NLP模型的模型泛化方面具有巨大的潜力。
2021-04-12 cs.CL cs.LG stat.ML
SSMBA: Self-Supervised Manifold Based Data Augmentation for Improving Out-of-Domain Robustness
University of Toronto(多伦多大学);Vector Institute;New York University(纽约大学)
在训练域上表现良好的模型通常无法推广到域外(OOD)示例。数据增强是一种常用的防止过拟合和提高面向对象方法泛化能力的方法。然而,在自然语言中,很难生成停留在底层数据流形上的新示例。我们介绍SMBA,一个数据增强方法,用于生成合成的训练样本,通过使用一对腐败和重建功能随机移动的数据流形。我们研究了SMBA在自然语言领域的应用,利用流形假设来重建带掩码的语言模型的损坏文本。在3个任务和9个数据集的鲁棒性基准测试实验中,SMBA在域内和OOD数据上始终优于现有的数据增强方法和基线模型,在OOD Amazon评论上获得了0.8%的准确率,在OOD MNLI上获得了1.8%的准确率,在域内IWSLT 14德语-英语上获得了1.4 BLEU。
2020-10-04 cs.CL cs.LG stat.ML
Improving Fairness and Robustness in End-to-End Speech Recognition through unsupervised clustering
Meta
针对自动语音识别存在群体公平性不足且需兼顾隐私的问题,研究提出用公开数据集训练的说话人ID模型提取话语嵌入做无监督声学聚类,以聚类ID为训练特征,在保护隐私的同时提升了端到端ASR的公平性与鲁棒性,各群体尤其不同口音性能均有提升。
2023-06-06 cs.CL cs.LG cs.SD