INTERACTION: A Generative XAI Framework for Natural Language Inference Explanations
Durham University(杜伦大学)
带有自然语言处理的XAI旨在产生人类可读的解释,作为AI决策的证据,这解决了可解释性和透明度问题。然而,从人机交互的角度来看,目前的方法只集中在提供一个单一的解释,这不能解释人类的思想和经验的多样性的语言。因此,本文通过提出生成式XAI框架INTERACTION(用上下文条件变分自动编码器解释和预测查询)来解决这个差距。我们的新框架提出了两个步骤的解释:(第一步)解释和标签预测;(第二步)多样化的证据生成。我们进行密集的实验与Transformer架构的基准数据集,e-SNLI。我们的方法在第一步中的解释生成(BLEU中高达4.7%的增益)和预测(准确度高达4.4%的增益)方面与最先进的基线模型相比具有竞争力或更好的性能;它还可以在第二步中生成多种不同的解释。
2022-09-02 cs.AI cs.CL
Diffusion-Based Speech Enhancement with Joint Generative and Predictive Decoders
Sony Group Corporation(索尼集团公司)
本文提出双层级联合生成式与预测式解码器的扩散语音增强框架,通过初始和最终扩散步骤融合两类输出,在 Voice-Bank 上实现更快解码及优于 StoRM、SGMSE+ 的 PESQ。
2024-02-28 cs.CL cs.SD eess.AS
Data Augmentation for Spoken Language Understanding via Joint Variational Generation
Seoul National University(首尔国立大学)
口语语言理解(SLU)领域自适应的主要障碍之一是数据稀缺,这是由于手工标记SLU数据集的成本很高。神经文本生成模型,特别是潜在变量模型,如变分自编码器(VAE),最近的工作已经显示出有前途的结果,在生成合理的和自然的句子。在本文中,我们提出了一种新的生成架构,利用潜变量模型的生成能力,共同合成完全注释的话语。我们的实验表明,现有的SLU模型训练的额外的合成的例子实现性能增益。我们的方法不仅有助于缓解许多数据集的SLU任务中的数据稀缺问题,而且通过大量的实验和严格的统计测试,不加区别地提高了各种SLU模型的语言理解性能。
2018-11-06 cs.CL
Constructing a Natural Language Inference Dataset using Generative Neural Networks
Jožef Stefan Institute(约瑟夫·斯蒂芬研究所);Jožef Stefan International Postgraduate School(约瑟夫·斯蒂芬国际研究生院)
自然语言推理是自然语言理解的一项重要任务。它涉及两个句子之间的逻辑关系的分类。在本文中,我们提出了几个文本生成神经网络生成文本假设,它允许构建新的自然语言推理数据集。为了评估模型,我们提出了一个新的度量标准-在生成的数据集上训练的分类器的准确性。我们最好的生成模型获得的准确率仅比在原始人工数据集上训练的分类器的准确率低2.7%。此外,与原始数据集相结合的最佳生成数据集实现了最高的准确性。最佳模型为每个训练样本学习映射嵌入。通过比较各种指标,我们表明,获得更高的ROUGE或METEOR分数的数据集不一定会产生更高的分类精度。我们还分析了一个好的数据集的特征,包括从原始数据集生成的数据集的可重复性。
2017-03-27 cs.AI cs.CL cs.NE
DQ-BART: Efficient Sequence-to-Sequence Model via Joint Distillation and Quantization
AWS AI Labs(亚马逊云科技人工智能实验室);University of Pennsylvania(宾夕法尼亚大学);Cornell University(康奈尔大学)
像BART和T5这样的大规模预训练序列到序列模型在许多生成NLP任务上实现了最先进的性能。然而,这种模型在资源受限的情况下,由于其大的内存需求和高延迟带来了很大的挑战。为了缓解这个问题,我们建议联合蒸馏和蒸馏模型,其中知识从全精度教师模型转移到量化和蒸馏的低精度学生模型。实证分析表明,尽管生成任务具有挑战性,但我们能够在多个摘要和QA数据集上实现16.5倍的模型足迹压缩比,相对于全精度同行,性能下降很少。我们进一步将压缩比的限制提高到27.7倍,并使用预训练模型为生成任务提供了性能-效率权衡。据我们所知,这是第一项旨在有效地提取和重新排序用于语言生成任务的序列到序列预训练模型的工作。
2022-03-21 cs.CL
A Generative Approach for Mitigating Structural Biases in Natural Language Inference
Technion(以色列理工学院);Israel Institute of Technology(以色列理工学院);Harvard University(哈佛大学)
许多自然语言推理(NLI)数据集包含偏差,这些偏差允许模型仅使用输入的偏差子集,而不考虑其余特征。例如,模型能够通过仅使用假设来做出分类决策,而无需学习它与前提之间的真实关系。这些结构性偏差导致判别模型学习非预期的表面特征,并在训练分布中推广得很差。在这项工作中,我们将NLI任务重新定义为生成任务,其中模型以输入和标签的偏置子集为条件,并生成输入的剩余子集。我们表明,通过施加一个统一的先验,我们得到一个可证明的无偏模型。通过合成实验,我们发现,这种方法是非常强大的大量的偏见。然后,我们证明经验上的两种类型的自然偏见,这种方法导致完全无偏的模型在实践中。然而,我们发现生成模型很难训练,而且它们的表现通常比判别基线差。我们强调了在NLI的背景下生成建模任务的难度,这是导致性能下降的原因。最后,通过用判别目标微调生成模型,我们减少了生成模型和判别基线之间的性能差距,同时允许少量的偏差。
2021-08-31 cs.CL
Disentangling Generative Factors in Natural Language with Discrete Variational Autoencoders
University of Manchester(曼彻斯特大学);Idiap Research Institute(伊迪亚普研究所)
学习解纠缠表示的能力是可解释的NLP系统的重要一步,因为它允许控制潜在的语言特征。大多数解开纠缠的方法都依赖于图像和文本的连续变量。我们认为,尽管连续变量适合图像数据集,但由于文本中的大多数生成因素都是离散的,因此连续变量可能不适合对文本数据的特征进行建模。我们提出了一种基于变分自编码器的方法,该方法将语言特征建模为离散变量,并鼓励变量之间的独立性,以学习解纠缠表示。所提出的模型优于连续和离散基线上的几个定性和定量的基准解纠缠,以及在文本风格传输下游应用。
2021-09-15 cs.CL
Generative Design Ideation: A Natural Language Generation Approach
Singapore University of Technology and Design(新加坡科技设计大学)
本文旨在探索一种基于知识的设计思维生成方法,通过应用人工智能(AI)中最新的预训练语言模型。具体而言,提出了一种使用USPTO专利数据库微调生成预训练的Transformer的方法。人工智能生成的思想不仅语言简洁易懂,而且能够将目标设计与外部知识源进行综合,知识距离可控。在滚动玩具设计的案例研究中对该方法进行了测试,结果表明,该方法在利用近场和远场源知识生成各种新颖创意方面具有良好的性能。
2022-03-28 cs.CL cs.LG
Discriminatively-Tuned Generative Classifiers for Robust Natural Language Inference
University of Chicago(芝加哥大学);Toyota Technological Institute at Chicago(芝加哥丰田理工学院);Peking University(北京大学);Peng Cheng Laboratory(鹏城实验室)
虽然判别式神经网络分类器通常是优选的,但是最近的工作已经显示出生成式分类器在数据效率和鲁棒性方面的优势。在本文中,我们专注于自然语言推理(NLI)。我们提出了GenNLI,一个用于NLI任务的生成分类器,并通过将其与五个基线进行比较来实证表征其性能,包括判别模型和大规模预训练语言表示模型,如BERT。我们探索了我们的生成分类器的区分微调的训练目标,显示了对先前工作的日志损失微调的改进。特别是,我们发现一个简单的无界修改日志损失,我们称之为“infinilog损失”强有力的结果。我们的实验表明,GenNLI在几个具有挑战性的NLI实验设置中,包括小训练集,不平衡的标签分布和标签噪声,都优于判别和预训练基线。
2020-10-08 cs.CL cs.LG
Image Manipulation with Natural Language using Two-sidedAttentive Conditional Generative Adversarial Network
Saarland University(萨尔大学)
使用照片编辑工具更改图像的内容对于没有经验的用户来说是一项繁琐的任务。特别是,当修改图像中的特定对象的视觉属性而不影响其他成分,如背景等,以简化图像操作的过程,并提供更多的控制给用户,最好是利用一个更简单的接口,如自然语言。因此,在本文中,我们解决的挑战,操纵图像使用自然语言描述。我们提出了双边缘注意条件生成对抗网络(TEA-cGAN)来生成语义操纵的图像,同时保留其他内容,如背景完整。TEA-cGAN在基于生成对抗网络(GAN)的框架的生成器和搜索引擎中以不同的尺度使用细粒度注意力。实验结果表明,TEA-cGAN生成的128 x128和256 x256分辨率图像在CUB和Oxford-102数据集上的定量和定性性能均优于现有方法。
2019-12-16 cs.CL cs.CV cs.LG
Multichannel Generative Language Model: Learning All Possible Factorizations Within and Across Channels
Vector Institute(向量研究所);University of Toronto(多伦多大学);Google Research, Brain Team(谷歌研究院大脑团队)
通道对应于潜在意义的视点或变换。英语和法语中的一对平行句子表达了相同的潜在含义,但通过两个独立的渠道对应于他们的语言。本文提出了多通道生成语言模型(MGLM)。MGLM是一种跨渠道的生成式联合分销模型。MGLM在所有通道内和跨所有通道对所有可能的因子分解进行边缘化。MGLM赋予灵活的推理,包括无条件生成,有条件生成(其中观察到1个通道,并生成其他通道)和部分观察生成(其中不完整的观察分布在所有通道上)。我们使用包含英语、法语、捷克语和德语的Multi30K数据集进行实验。我们展示了无条件,有条件和部分条件生成的实验。我们提供从生成联合分布无条件采样的定性样本。我们还定量分析了质量多样性的权衡,发现MGLM优于传统的双语歧视模型。
2020-10-09 cs.CL cs.LG stat.ML
KERMIT: Generative Insertion-Based Modeling for Sequences
Google Research(谷歌研究院);University of California, Berkeley(加州大学伯克利分校)
我们提出了KERMIT,一个简单的基于插入的方法生成建模的序列和序列对。KERMIT对联合分布及其分解(即,边缘和条件)使用单个神经网络,并且与许多先前的工作不同,不依赖于数据分布的预先指定的因子分解。在训练期间,可以馈送KERMIT配对数据$(x, y)$以学习联合分布$p(x, y)$,并且可选地混入未配对数据$x$或$y$以细化边缘值$p(x)$或$p(y)$。在推理过程中,我们可以从两个方向访问条件句$p(x \mid y)$和$p(y \mid x)$。我们也可以从联合分布或边缘分布中取样。该模型支持串行完全自回归解码和并行部分自回归解码,后者表现出经验对数运行时间。我们通过机器翻译,表征学习,和zero-shot完形填空问题的回答,我们的统一的方法是能够匹配或超过性能的专用国家的最先进的系统在广泛的任务,而不需要特定于问题的架构适应的实验证明。
2019-06-04 cs.CL cs.LG stat.ML
REKnow: Enhanced Knowledge for Joint Entity and Relation Extraction
AWS AI Labs(亚马逊云科技人工智能实验室)
关系抽取是一项重要但具有挑战性的任务,旨在从文本中提取所有隐藏的关系事实。随着深度语言模型的发展,关系抽取方法在各种基准测试中取得了良好的性能。然而,我们观察到以前的方法的两个缺点:第一,没有统一的框架,以及在各种关系抽取设置;第二,有效地利用外部知识作为背景信息是缺席。在这项工作中,我们提出了一个知识增强的生成模型来缓解这两个问题。我们的生成模型是一个统一的框架,顺序生成各种关系抽取设置下的关系三元组,并明确利用相关知识从知识图谱(KG)来解决歧义。我们的模型在多个基准测试和设置上实现了卓越的性能,包括WebNLG、NYT 10和TACRED。
2022-08-16 cs.CL cs.IR
Generative Cooperative Networks for Natural Language Generation
ISIR - Sorbonne Université(索邦大学ISIR研究所);ReciTAL(ReciTAL公司);IRISA(IRISA研究所);IMATAG(IMATAG公司);CNRS(法国国家科学研究中心)
生成对抗网络(GANs)在许多连续生成任务中取得了巨大的成功,特别是在图像生成领域。然而,对于离散输出(如语言),优化GANs仍然是一个具有许多不稳定性的开放问题,因为没有梯度可以正确地从GAN输出反向传播到生成器参数。另一种方法是通过强化学习来学习生成器网络,使用激励信号作为奖励,但这种技术存在移动奖励和消失梯度问题。最后,与直接最大似然方法相比,它往往不足。在本文中,我们介绍了生成的合作网络,在其中协同使用的生成策略,以输出现实的文本样本手头的任务的协同架构。我们给我们的方法的收敛性的理论保证,并研究各种有效的解码方案,以经验达到国家的最先进的结果,在两个主要的NLG任务。
2022-01-28 cs.CL cs.LG
A type theoretical framework for natural language semantics: the Montagovian generative lexicon
LaBRI, Université de Bordeaux(波尔多大学LaBRI实验室);IRIT-CNRS, Toulouse(图卢兹信息学研究所-法国国家科学研究中心)
我们提出了一个框架,命名为蒙塔哥维生成词典,用于计算自然语言句子的语义,表示在许多排序的高阶逻辑。词义由二阶λ演算(Girard系统F)的λ项描述,其基本类型包括用于命题的类型和用于多排序逻辑的排序的多类型。这个框架能够将对词汇现象的适当处理整合到蒙塔格维的组合语义学中,包括对谓词的论元性质施加的选择限制,以及词义对某些上下文的可能适应。在这些适应一个词的意义的上下文中,本体论的包容性处理的强制子类型,在本文中介绍的系统F的扩展。这一框架的词汇语用学的好处是说明意义转移和转换,在不同的意义上的可能和不可能的copredication,对deverbal歧义,和“虚构的运动”。接下来,我们表明,组成治疗的限定词,量词,复数,…在我们的框架中是细粒度的。最后,我们从语言学、逻辑学和计算学的角度对蒙塔哥夫生成词典进行了总结。
2014-01-03 cs.CL cs.LO
StyleTTS: A Style-Based Generative Model for Natural and Diverse Text-to-Speech Synthesis
提出StyleTTS,一种基于风格的并行TTS生成模型,通过可迁移单调对齐器和时长不变数据增强,利用自监督学习从参考语音合成自然且多样化的语音,显著提升了语音自然度和说话人相似度。
2023-11-20 cs.CL cs.LG cs.SD
Augmented Natural Language for Generative Sequence Labeling
AWS AI(AWS人工智能研究院)
我们提出了一个联合序列标记和分级分类的生成框架。我们的模型执行多个序列标记任务,一次使用一个单一的,共享的自然语言输出空间。与以前的判别方法不同,我们的模型自然地结合了标签语义,并在任务之间共享知识。我们的框架是通用的,在Few-Shot、低资源和高资源任务上表现良好。我们证明了这些优势流行的命名实体识别,插槽标签,和意图分类基准。我们为Few-Shot插槽标记设置了新的最新技术水平,在之前的5次($75.0\% \rightarrow 90.9\%$)和1次($70.4\% \rightarrow 81.0\%$)最新技术水平结果的基础上进行了大幅改进。此外,我们的模型产生大的改进($46.27\% \rightarrow 63.83\%$)低资源槽标签超过BERT基线,通过将标签语义。我们还在高资源任务上保持了有竞争力的结果,在所有任务上的表现都在最先进水平的两个点之内,并在SNIPS数据集上设置了新的最先进水平。
2020-09-15 cs.CL cs.LG stat.ML
A Joint Learning Approach for Semi-supervised Neural Topic Modeling
Harvard University(哈佛大学)
主题模型是以可解释的方式表示文本数据的一些最流行的方法。最近,深度生成模型的进步,特别是自动编码变分贝叶斯(AEVB),导致了无监督神经主题模型的引入,该模型利用了深度生成模型,而不是传统的基于神经网络的主题模型。我们通过引入标签索引神经主题模型(LI-NTM)来扩展这些神经主题模型,据我们所知,这是第一个有效的上游半监督神经主题模型。我们发现LI-NTM在文档重建基准中优于现有的神经主题模型,在低标记数据制度和具有信息标签的数据集中效果最显着;此外,我们的联合学习分类器在消融研究中优于基线分类器。
2022-04-07 cs.CL cs.IR cs.LG