Towards Neural Machine Translation with Latent Tree Attention
Salesforce(赛富时)
在没有先验注释的情况下利用语言的层次结构来构建模型是自然语言处理的长期目标。我们为机器翻译任务引入了这样一个模型,将递归神经网络语法编码器与新型注意力RNNG解码器配对,并应用策略梯度强化学习来诱导源和目标上的无监督树结构。当在没有显式分割或解析注释的字符级数据集上训练时,模型学习合理的分割和浅层解析,获得接近注意力基线的性能。
2017-09-06 cs.AI cs.CL
Hierarchical Phrase-based Sequence-to-Sequence Learning
MIT(麻省理工学院);University of Edinburgh(爱丁堡大学);University of Amsterdam(阿姆斯特丹大学)
我们描述了一种神经传感器,它保持了标准序列到序列(seq2seq)模型的灵活性,同时将分层短语作为训练过程中的归纳偏差源和推理过程中的明确约束。我们的方法训练了两个模型:一个基于括号转换语法的判别式解析器,其派生树分层排列源和目标短语,以及一个神经seq2seq模型,学习逐个翻译对齐的短语。我们使用相同的seq2seq模型在所有短语尺度上进行翻译,这导致两种推理模式:一种模式是丢弃解析器,仅在序列级使用seq2seq组件,另一种模式是将解析器与seq2seq模型相结合。在后一种模式下的解码是用立方体修剪CKY算法完成的,该算法涉及更多,但可以在推理过程中使用新的翻译规则。我们将我们的模型形式化为一个源条件同步文法,并开发了一个有效的变分推理算法进行训练。当应用于随机初始化和预训练的seq2seq模型时,我们发现这两种推理模式与小规模机器翻译基准测试的基线相比表现良好。
2022-11-16 cs.CL
Latent Variable Sentiment Grammar
ShanghaiTech University(上海科技大学);Westlake Institute for Advanced Study(西湖高等研究院);Westlake University(西湖大学)
神经模型已经被研究用于成分树上的情感分类。它们通过对树结构进行编码来自动学习短语组合,但不显式地对情感组合进行建模,这需要对情感类标签进行编码。为此,我们研究了两种形式主义与深层情感表示,捕捉情感亚型表达的潜变量和高斯混合向量,分别。在斯坦福情感树库(SST)上的实验表明,情感语法比香草神经编码器更有效。使用ELMo嵌入,我们的方法在这个基准测试中给出了最好的结果。
2019-07-08 cs.CL
Compound Probabilistic Context-Free Grammars for Grammar Induction
Harvard University(哈佛大学);DeepMind(深度思维)
我们研究的语法归纳问题,模型的句子是由一个复合概率上下文无关文法生成的形式化。与学习单个随机语法的传统公式相反,我们的语法的规则概率由每句连续潜变量调制,这会导致超出传统上下文无关假设的边际依赖性。在这种语法中的推理是由折叠变分推理,其中一个摊销变分后被放置在连续变量,和潜在的树被边缘化的动态规划。英文和中文的实验表明,我们的方法相比,最近的国家的最先进的方法进行评估时,无监督分析的有效性。
2020-03-29 cs.CL stat.ML
Latent Part-of-Speech Sequences for Neural Machine Translation
Stony Brook University(石溪大学);Beijing University of Posts and Telecommunications(北京邮电大学)
学习目标侧句法结构已被证明可以改进神经机器翻译(NMT)。然而,通过潜在变量合并语法在推理中引入了额外的复杂性,因为模型需要边缘化潜在的语法结构。为了避免这种情况,模型通常采用贪婪搜索,这只允许它们探索潜在空间的有限部分。在这项工作中,我们引入了一个新的潜在变量模型,LaSyn,捕捉语法和语义之间的相互依赖,同时允许有效和高效的推理的潜在空间。LaSyn消除了连续潜在变量之间的直接依赖关系,这使得其解码器能够穷尽地搜索潜在的语法选择,同时保持解码速度与潜在变量词汇的大小成比例。我们通过修改基于变换的NMT系统来实现LaSyn,并设计了一个神经期望最大化算法,我们将词性信息作为潜在序列进行正则化。对四个不同的MT任务的评估表明,将目标方语法与LaSyn结合在一起既提高了翻译质量,又提供了提高多样性的机会。
2019-08-30 cs.AI cs.CL
Grammar Induction with Neural Language Models: An Unusual Replication
New York University(纽约大学)
最近关于潜在树学习的大量工作尝试开发具有解析值潜在变量的神经网络模型,并在非解析任务上对它们进行训练,希望它们能发现可解释的树结构。在最近的一篇论文中,Shen et al.(2018)介绍了这样一个模型,并报告了语言建模目标任务的最新结果,以及选区解析的第一个强潜在树学习结果。在尝试重现这些结果时,我们发现了使原始结果难以信任的问题,包括调整甚至训练有效的测试集。在这里,我们试图在一个公平的实验中重现这些结果,并将其扩展到两个新的数据集。我们发现这项工作的结果是稳健的:所研究的模型的所有变体都优于所有潜在树学习基线,并且与符号语法归纳系统竞争。我们发现,这个模型代表了第一个经验的成功,潜在树学习,和神经网络语言建模值得进一步研究的语法归纳设置。
2018-08-29 cs.CL
When Does Metadata Conditioning (NOT) Work for Language Model Pre-Training? A Study with Context-Free Grammars
The University of Tokyo(东京大学);RIKEN AIP(日本研究机构(Advanced Institute for Proprietary Technology));University of California, Berkeley(加州大学伯克利分校);Preferred Networks, Inc.(Preferred Networks公司)
本文利用概率上下文无关文法生成的人工数据研究预训练前置元数据的作用,揭示其效果取决于下游提示是否足以推断潜在语义。
2025-07-27 cs.CL cs.LG
Improving Grammar-based Sequence-to-Sequence Modeling with Decomposition and Constraints
ShanghaiTech University(上海科技大学);Shanghai Engineering Research Center of Intelligent Vision and Imaging(上海智能视觉影像工程技术研究中心)
针对Neural QCFG推理昂贵的问题,提出两种低秩变体并引入树层次与源覆盖度软约束,在多数实验设置下提升了性能。
2023-06-05 cs.CL
Generalized Earley Parser: Bridging Symbolic Grammars and Sequence Data for Future Prediction
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Peking University(北京大学)
对序列数据的未来预测(例如,视频或音频)要求算法捕获高级语义的非马尔可夫和合成属性。上下文无关语法是捕获这些属性的自然选择,但是传统的语法解析器(例如,Earley分析器)只把符号句作为输入。在本文中,我们推广的Earley分析器,以分析既不分段也不标记的序列数据。这种广义的Earley分析器集成了一个语法分析器与分类器,以找到最佳的分割和标签,并自上而下的未来预测。实验表明,我们的方法显着优于其他方法对未来人类活动的预测。
2018-06-09 cs.AI cs.CL cs.CV
A weakly supervised sequence tagging and grammar induction approach to semantic frame slot filling
University of Antwerp(安特卫普大学);TEXTGAIN
本文介绍了语义框架槽填充的命令和控制任务,使用弱监督的方法继续工作。我们研究了使用再训练技术的优点,该技术将分层隐马尔可夫模型的输出作为两种归纳方法的输入:(1)基于条件随机场和基于记忆的学习的判别序列标记器和(2)概率上下文无关文法归纳。实验结果表明,这种设置可以显着提高F分数,而不需要额外的信息源。此外,定性分析表明,弱监督技术是能够自动诱导一个易于解释和语法适当的领域和任务在手的语法。
2019-06-15 cs.CL
Generative Statistical Models with Self-Emergent Grammar of Chord Sequences
Kyoto University(京都大学);RIKEN AIP(理化学研究所先进智能项目中心)
和弦序列的生成统计模型在音乐处理中起着至关重要的作用。为了捕捉某些和弦之间的句法相似性(例如,在C大调,G和G7之间,F和Dm之间),我们研究隐马尔可夫模型和概率上下文无关文法模型与潜在变量描述的和弦符号的句法类别和它们的无监督学习技术,从数据中归纳出潜在的语法。令人惊讶的是,我们发现,这些模型往往优于传统的马尔可夫模型的预测能力,和自我涌现的类别往往对应于传统的调和函数。这意味着从信息学的角度来看,和声模型中需要和弦类别。
2018-03-02 cs.AI cs.CL cs.SD
Grammar-based Neural Text-to-SQL Generation
Allen Institute for Artificial Intelligence(艾伦人工智能研究所);Tel-Aviv University(特拉维夫大学)
由神经文本到SQL模型采用的序列到序列范例通常执行标记级解码,并且不考虑从语法分层地生成SQL。基于语法的解码对于其他语义解析任务已经显示出显著的改进,但是SQL和其他通用程序设计语言具有逻辑形式主义中不存在的复杂性,这使得编写分层语法变得困难。我们介绍的技术来处理这些复杂性,展示了如何构建一个模式依赖的语法与最小的过度生成。我们分析了ATIS和蜘蛛,两个具有挑战性的文本到SQL数据集,这些技术表明,他们产生14- 18\ %的相对减少错误。
2019-05-30 cs.CL
Learning Directly from Grammar Compressed Text
NEC Corporation(日本电气公司);RIKEN Center for Advanced Intelligence Project (RIKEN AIP)(理化学研究所先进智能项目中心)
使用大量文本数据的神经网络已经成功地应用于各种任务。虽然大量文本数据通常使用语法压缩等技术进行压缩,但几乎所有以前的机器学习方法都假设已经解压缩的序列数据作为其输入。在本文中,我们提出了一种方法,直接应用神经序列模型的语法压缩算法压缩的文本数据,而无需解压缩。为了对压缩规则中出现的唯一符号进行编码,我们引入了作曲家模块来将符号增量编码为矢量表示。通过在真实数据集上的实验,我们经验性地表明,该建议模型可以在保持适度性能的同时实现内存和计算效率。
2020-02-28 cs.CL cs.LG stat.ML
Guiding Symbolic Natural Language Grammar Induction via Transformer-Based Sequence Probabilities
SingularityNET Foundation(奇点网基金会);The Hong Kong Polytechnic University(香港理工大学)
提出了一种基于Transformer神经网络语言模型分配给句子(以及可能更长的单词序列)的概率来指导聚类和规则归纳等符号学习过程的自然语言句法规则自动学习的新方法。这种方法利用Transformers学习的语言知识,没有任何参考他们的内部表示,因此,该技术很容易适应更强大的语言模型的连续出现。我们展示了我们所提出的技术的概念验证示例,使用它来指导从我们先前的研究中得出的无监督符号链接语法归纳方法。
2020-05-26 cs.AI cs.CL
Grammar as a Foreign Language
Google(谷歌)
句法成分分析是自然语言处理中的一个基本问题,并且几十年来一直是深入研究和工程的主题。因此,最准确的解析器是特定于域的、复杂的和低效的。在本文中,我们表明,领域不可知的注意力增强序列到序列模型实现最广泛使用的句法选区解析数据集的最先进的结果,当训练的大型合成语料库,使用现有的解析器进行注释。当只在一个小的人类注释数据集上训练时,它也与标准解析器的性能相匹配,这表明该模型具有高度的数据效率,与没有注意力机制的序列到序列模型相比。我们的解析器也很快,在未优化的CPU实现下每秒处理100多个句子。
2015-06-09 cs.CL cs.LG stat.ML
From Spelling to Grammar: A New Framework for Chinese Grammatical Error Correction
Peking University(北京大学)
汉语语法纠错的目的是从错误序列中生成正确的句子,而错误序列中混杂着不同类型的错误。本文将CGEC任务分为两个步骤,即拼写错误纠正和语法错误纠正。具体地说,我们提出了一种新的拼写错误纠正的zero-shot方法,它是简单而有效的,获得了较高的精度,以避免错误积累的流水线结构。为了处理语法错误校正,我们设计了词性(POS)特征和语义类特征来增强神经网络模型,并提出了一个辅助任务来预测目标句子的POS序列。我们提出的框架在没有使用任何合成数据或数据增强方法的情况下,在CGEC数据集上获得了42.11 F0.5的分数,这比以前的最新技术高出1.30分。此外,我们的模型产生有意义的POS表示,捕捉不同的POS词,并传达合理的POS转换规则。
2022-11-03 cs.CL cs.LG
Discovering Textual Structures: Generative Grammar Induction using Template Trees
Computer Science Department, Leuven AI(鲁汶人工智能计算机科学系);KU Leuven(鲁汶大学)
自然语言生成为设计人员提供了自动生成文本的方法,例如用于创建摘要、聊天机器人和游戏内容。在实践中,文本生成器通常要么是学习和难以解释的,要么是使用语法和模板等技术手工创建的。在本文中,我们介绍了一种新的语法归纳算法学习可解释的语法生成的目的,称为Gitta。我们还引入了新的概念,模板树发现潜在的模板语料库中派生这些生成语法。通过使用现有的人类创建的语法,我们发现,该算法可以合理地近似这些语法使用只有几个例子。这些结果表明,Gitta可以用来自动学习可解释和易于修改的语法,从而为人机共同创建生成模型提供了一个垫脚石。
2020-09-09 cs.AI cs.CL
Semantic Graph Parsing with Recurrent Neural Network DAG Grammars
Samsung AI Centre(三星人工智能中心);Peak AI;University of Edinburgh(爱丁堡大学)
语义解析是一种有向无环图(DAG),因此语义解析应建模为图预测。但是预测图提出了困难的技术挑战,因此使用易于理解的序列模型预测语义解析数据集中的线性图更简单,也更常见。这种简单性的代价是预测的字符串可能不是格式良好的图。我们提出循环神经网络DAG语法,一个图形感知的序列模型,确保只有良好的图形,同时避开了许多困难的图形预测。我们测试我们的模型上的并行意义银行-多语言语义图银行。我们的方法在英语中产生了有竞争力的结果,并为德语,意大利语和荷兰语建立了第一个结果。
2019-10-20 cs.CL
What Do Recurrent Neural Network Grammars Learn About Syntax?
Carnegie Mellon University(卡内基梅隆大学);IBM T.J. Watson Research Center(IBM T.J. Watson研究中心);University of Washington(华盛顿大学);DeepMind
循环神经网络文法(RNNG)是最近提出的一种用于自然语言的概率生成建模方法。它们展示了最先进的语言建模和解析性能。我们从语言学的角度,通过对模型和数据的各种消融,以及通过用注意力机制(GA-RNNG)增强模型以进行更仔细的检查,来研究他们学到了什么信息。我们发现,明确建模的组成是至关重要的,以实现最佳性能。通过注意力机制,我们发现头脑在短语表征中起着核心作用(模型的潜在注意力在很大程度上与手工制定的头脑规则所做的预测一致,尽管有一些重要的差异)。通过训练没有非终端标签的语法,我们发现短语表示最小程度地依赖于非终端,为内核假设提供了支持。
2017-01-10 cs.CL
Fine-Grained Prediction of Syntactic Typology: Discovering Latent Structure with Supervised Learning
Johns Hopkins University(约翰斯·霍普金斯大学)
我们展示了如何预测的基本语序事实的一种新的语言只给出一个语料库的词性(POS)序列。我们预测了直接宾语跟随动词的频率,形容词跟随名词的频率,以及所有依赖关系的方向性。这种类型学特征有助于语法归纳。虽然这样的问题通常被认为是无监督学习,我们的创新是将其视为监督学习,使用大量的现实合成语言作为训练数据。监督学习者必须识别语言的POS序列的表面特征(手工设计或神经特征),这些特征与语言的深层结构(潜在树)相关。在实验中,我们表明:1)给定一个小的真实语言集,它有助于添加许多合成语言的训练数据。2)我们的系统是强大的,即使POS序列包括噪声。3)我们的系统在这项任务上的表现远远优于语法归纳基线。
2017-10-11 cs.CL
Unsupervised Recurrent Neural Network Grammars
Harvard University(哈佛大学);University of Oxford(牛津大学);DeepMind(深度思维)
循环神经网络语法(RNNG)是语言的生成模型,其通过以自上而下、从左到右的顺序递增地生成语法树和句子来联合地建模语法和表面结构。监督RNNG实现了强大的语言建模和解析性能,但需要一个注释的解析树语料库。在这项工作中,我们实验了RNGs的无监督学习。由于直接在潜在树空间上边缘化是难以处理的,我们转而应用摊销变分推理。为了最大限度地提高证据下限,我们开发了一个推理网络参数化的神经CRF选区解析器。在语言建模方面,无监督RNNG在英语和汉语的基准测试中表现得与有监督RNNG一样好。在选区语法归纳方面,他们与最近的神经语言模型竞争,后者通过注意力机制从单词中归纳出树结构。
2019-08-05 cs.CL stat.ML
Contextual Tamil Spelling and Grammar Correction Using Progressively Fine-Tuned Sequence-to-Sequence Transformers
National Institute of Technology, Tiruchirappalli(国家技术研究所蒂鲁吉拉伯利分校);Tamil University, Thanjavur(泰米尔大学)
针对泰米尔语低资源特性及现有方法无法处理上下文错误的问题,提出端到端序列到序列模型,通过四阶段渐进式微调mT5-small和mBART-50,在合成语料库上取得连音准确率87.5%、主谓一致准确率43.5%的结果。
2026-09-04 cs.CL
TreeGAN: Syntax-Aware Sequence Generation with Generative Adversarial Networks
Worcester Polytechnic Institute(伍斯特理工学院);Apple(苹果公司);Huawei(华为)
生成对抗网络(GANs)在图像生成方面表现出了很大的能力,其中判别模型指导生成模型的训练以构建类似于真实图像的图像。最近,GANs已经从生成图像扩展到生成序列(例如,诗歌、音乐和密码)。现有的序列生成GANs主要集中在一般序列上,这是无语法的。然而,在许多实际应用中,我们需要用一种形式语言生成序列,并受其相应文法的约束。例如,要测试数据库的性能,可能需要生成一个SQL查询集合,这些查询不仅与真实用户的查询相似,而且遵循目标数据库的SQL语法。生成这样的序列是非常具有挑战性的,因为GANs的生成器和编译器都需要考虑序列的结构和形式语言中的给定语法。为了解决这些问题,我们研究了使用GANs的语法感知序列生成问题,其中将真实序列的集合和一组预定义的语法规则赋予生成器和生成器。我们提出了一种新的GAN框架,即TreeGAN,将一个给定的上下文无关文法(CFG)的序列生成过程。在TreeGAN中,生成器采用递归神经网络(RNN)来构建解析树。然后,每个生成的解析树可以被转换为给定语法的有效序列。该算法使用树结构的RNN来区分生成的树和真实的树。我们证明了TreeGAN可以为任何CFG生成序列,并且它的生成完全符合给定的语法。在合成和真实数据集上的实验表明,TreeGAN显着提高了上下文无关语言中序列生成的质量。
2018-08-22 cs.AI cs.CL
Learning Bounded Context-Free-Grammar via LSTM and the Transformer:Difference and Explanations
University of California San Diego(加州大学圣地亚哥分校);Facebook AI Research(Facebook人工智能研究院);University of California, Berkeley(加州大学伯克利分校)
长短期记忆(LSTM)和Transformers是两种用于自然语言处理任务的流行神经架构。理论结果表明,两者都是图灵完备的,可以表示任何上下文无关语言(CFL)。在实践中,经常观察到Transformer模型比LSTM具有更好的表示能力。但其中的原因却鲜为人知。我们研究了LSTM和Transformer之间的实际差异,并基于它们的潜在空间分解模式提出了一种解释。为了实现这一目标,我们引入了一个oracle训练范式,它强制分解LSTM和Transformer的潜在表示,并监督相应CFL的下推自动机(PDA)的转换。通过强制分解,我们证明了LSTM和Transformer在学习CFL方面的性能上限是接近的:它们都可以模拟堆栈并执行堆栈操作以及状态转换。然而,缺乏强制分解导致LSTM模型无法捕获堆栈和堆栈操作,同时对Transformer模型产生轻微影响。最后,我们将PDA原型上的实验与真实的句法分析任务相结合,再次验证了本文的结论
2022-03-23 cs.CL
Recursive Top-Down Production for Sentence Generation with Latent Trees
Mila / University of Montreal(Mila / 蒙特利尔大学);Dept. of Linguistics(语言学系);Mila / McGill University(Mila / 麦吉尔大学);Microsoft Research(微软研究院);Canada CIFAR AI Chair(加拿大CIFAR人工智能主席)
我们为自然语言和合成语言的上下文无关文法建立了递归产生式性质的模型。为此,我们提出了一个动态规划算法,边缘化的潜在树结构与$N$叶,使我们能够计算潜在树模型下的$N$令牌序列的可能性,我们最大限度地训练递归神经函数。我们展示了两个合成任务的性能:SCAN(Lake和Baroni,2017),它在长度分割和英语问题形成方面优于以前的模型(McCoy等人,2020),其中,它利用地面实况树结构执行对解码器的解码。我们还展示了在Multi 30 k数据集上进行德英翻译的实验结果(Elliott等人,2016),并定性分析了我们的模型为SCAN任务和德英翻译任务学习的诱导树结构。
2020-10-09 cs.CL cs.LG
A Lexicalized Tree Adjoining Grammar for English
本文档描述了一个相当大的英语语法编写的TAG形式主义和实现使用的JTAG系统。本报告和此处描述的语法取代了1995年早期JTAG技术报告中描述的TAG语法。本报告中描述的英语语法是基于TAG形式主义,它已扩展到包括词汇化和基于统一的特征结构。可以处理的句法现象的范围很大,包括助动词(包括倒装)、系动词、提升和小从句结构、主题化、关系从句、不定式、动名词、被动语态、介词、it-分裂式、wh-分裂式、PRO结构、名词-名词修饰、介词、限定词序列、属格、否定、名词-动词收缩式、先行词和祈使句。本技术报告对应于JTAG Release 8/31/98。随着新分析的增加和旧分析的修改,JTAG语法不断更新,该报告的在线版本可以在JTAG网页http://www.cis.upenn.edu/~xtag/上找到
1998-09-18 cs.CL
CFGs-2-NLU: Sequence-to-Sequence Learning for Mapping Utterances to Semantics and Pragmatics
University of California, Santa Cruz(加州大学圣克鲁兹分校)
在本文中,我们提出了一种新的自然语言理解方法,该方法利用上下文无关文法(CFG)结合序列到序列(seq2seq)深度学习。具体来说,我们使用一个为NLU(一个视频游戏)的目标应用程序生成对话的CFG,并训练一个长短期记忆(LSTM)递归神经网络(RNN),以将它产生的表面话语映射到产生它们的语法扩展的痕迹。重要的是,这个CFG是使用我们开发的工具编写的,该工具支持语法中非终结符符号的任意注释。因为我们已经为游戏对话管理器操作的语义和语用考虑在此语法中注释了符号,所以我们可以使用与任何表面话语相关联的语法痕迹来推断此类信息。在游戏过程中,我们将玩家的话语转换为语法痕迹(使用我们的RNN),收集归因于该痕迹中包含的符号的标记,并将此信息传递给对话管理器,对话管理器相应地更新对话状态。从离线评估任务中,我们证明了我们经过训练的RNN可以非常准确地将表面话语翻译为语法痕迹。据我们所知,这是seq2seq学习首次用于会话代理(我们游戏中的角色),他们明确地考虑语义和语用因素。
2016-07-22 cs.CL
Determining token sequence mistakes in responses to questions with open text answer
Volgograd State Technical University(伏尔加格勒国立技术大学)
在学习新语言的语法时,教师应该定期检查学生的练习,以确保语法正确。本文介绍了一种自动检测和报告语法错误的方法,关于在响应中的令牌的顺序。它可以报告额外的令牌,丢失的令牌和错位的令牌。这种方法在教授语言时很有用,其中标记的顺序很重要,包括大多数形式语言和一些自然语言(如英语)。该方法已在一个广泛使用的学习管理系统Moodle的问题型插件CorrectWriting中实现。
2013-01-11 cs.CL cs.CY
Learning to Recombine and Resample Data for Compositional Generalization
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Boston University(波士顿大学)
灵活的神经序列模型在各种任务上都优于基于语法和自动机的模型。然而,神经模型在需要超出训练数据的合成泛化的设置中表现不佳-特别是对于罕见或不可见的连续性。过去的工作已经发现符号脚手架(例如语法或自动机)在这些设置中必不可少。我们描述R&R,一个学习的数据增强计划,使一个大类的组成概括,而不呼吁潜在的符号结构。R&R有两个组成部分:通过基于原型的生成模型重新组合原始训练样本,并重新存储生成的样本以鼓励外推。在用重组和重新采样的示例增强的数据集上训练普通神经序列模型,可以显着提高两个语言处理问题的泛化能力-指令遵循(SCAN)和形态分析(SIGMORPHON 2018)-其中R&R可以从最少8个初始示例中学习新的结构和时态。
2021-06-08 cs.CL cs.LG
Language as a Latent Sequence: deep latent variable models for semi-supervised paraphrase generation
Durham University(杜伦大学)
本文提出VSAR与DDL结合的半监督复述生成模型,并引入KRL两阶段训练方案解决冷启动问题,在标记数据稀缺时显著优于强监督基线。
2023-09-08 cs.CL cs.LG
Spectral Regularization: an Inductive Bias for Sequence Modeling
Tsinghua University(清华大学);Mila(米拉研究所);Université de Montréal(蒙特利尔大学);CIFAR AI Chair(CIFAR人工智能讲席)
学习任务中各种形式的正则化都追求不同的简单性概念。本文提出了一种谱正则化技术,它附加了一个独特的归纳偏见的序列建模的基础上定义的乔姆斯基层次结构中的直观概念的简单性。从Hankel矩阵和正则文法之间的基本联系出发,我们提出使用Hankel矩阵的迹范数,其秩的最紧凸松弛,作为谱正则化子。针对Hankel矩阵是双无穷大矩阵的情况,提出了其迹范数的无偏随机估计。最后,我们展示了实验结果富田文法,表现出潜在的好处谱正则化和验证所提出的随机估计。
2022-11-04 cs.AI cs.CL cs.LG
Latent Sequence Decompositions
Carnegie Mellon University(卡内基梅隆大学);Massachusetts Institute of Technology(麻省理工学院);Google Brain
我们提出了潜在序列分解(LSD)框架。LSD将序列分解为具有作为输入序列和输出序列两者的函数的可变量化输出单元。我们提出了一个训练算法,样本有效的扩展和近似解码算法。我们用华尔街日报的语音识别任务进行实验。我们的LSD模型实现了12.9%的WER,而字符基线为14.8%。当与编码器上的卷积网络相结合时,我们实现了9.6%的WER。
2017-02-07 cs.CL cs.LG stat.ML
Deconvolutional Latent-Variable Model for Text Sequence Matching
Duke University(杜克大学)
一个潜在的变量模型引入文本匹配,推断句子表示联合优化生成和歧视的目标。为了减轻文本潜变量模型中的典型优化挑战,我们采用反卷积网络作为序列解码器(生成器),为学习的潜代码提供更多的语义信息和更好的泛化能力。我们的模型以无监督的方式训练,比基于长短期记忆(LSTM)的解码器产生更强的经验预测性能,参数更少,训练速度更快。此外,我们将其应用于文本序列匹配问题。所提出的模型显着优于几个强大的重复编码基线,特别是在半监督设置。
2017-11-22 cs.CL cs.LG stat.ML
ListOps: A Diagnostic Dataset for Latent Tree Learning
New York University(纽约大学)
潜在树学习模型学习在没有句法监督的情况下解析句子,并使用该解析来构建句子表示。关于这种模型的现有工作已经表明,虽然它们在句子分类等任务上表现良好,但它们不会学习符合任何合理的语义或句法形式主义的语法(Williams等人,2018年a)。由于自然语言固有的复杂性,研究这种模型在自然语言中的解析能力可能具有挑战性,例如对单个句子进行多个有效解析。在本文中,我们介绍了ListOps,一个玩具数据集创建研究潜在树模型的解析能力。ListOps序列是前缀算术的风格。数据集被设计为具有一个正确的解析策略,系统需要学习该策略才能成功完成任务。我们表明,目前领先的潜在树模型无法学习解析并在ListOps中取得成功。这些模型的准确性比纯粹的序列RNN差。
2018-04-17 cs.CL
Another Facet of LIG Parsing
在本文中,我们提出了一个新的分析算法的线性索引文法(LIGs)在相同的精神(Vijay-Shanker和Weir,1993年)中描述的树邻接文法。对于一个LIG $L$和一个长度为$n$的输入字符串$x$,我们建立了一个无二义性的上下文无关文法,它的句子都是(并且排他地)有效的推导序列在$L$中,导致$x$。我们表明,这种语法可以建立在${\cal O}(n^6)$的时间,可以提取的解析树的大小,在线性时间内的个人解析。虽然这个${\cal O}(n^6)$上限并没有比以前的结果有所改善,但平均情况下表现得更好。此外,实际的解析时间可以减少一些静态执行的计算。
1996-04-23 cmp-lg cs.CL
Data Recombination for Neural Semantic Parsing
Stanford University(斯坦福大学)
在语义解析中,对清晰的逻辑推理进行建模是至关重要的,这使得没有特定任务先验知识的神经模型难以获得良好的结果。在本文中,我们介绍了数据重组,一种新的框架注入这样的先验知识模型。从训练数据中,我们归纳出一个高精度的同步上下文无关文法,它捕获了语义解析中常见的重要条件独立属性。然后,我们训练一个序列到序列递归网络(RNN)模型,该模型具有一种新的基于注意力的复制机制,该机制基于从该语法中采样的数据点,从而教授模型这些结构属性。数据重组提高了我们的RNN模型在三个语义解析数据集上的准确性,从而为具有可比监督的模型在标准GeoQuery数据集上带来了新的最先进性能。
2016-06-11 cs.CL
Beyond Topics: Discovering Latent Healthcare Objectives from Event Sequences
Australian Artificial Intelligence Institute(澳大利亚人工智能研究所);University of Technology Sydney(悉尼科技大学);The Children’s Cancer Research Unit(儿童癌症研究组);The Children’s Hospital at Westmead(韦斯特米德儿童医院)
对临床协议和患者路径的有意义的理解有助于改善医疗保健结果。电子健康记录(EHR)反映了用于增强医疗保健管理但存在挑战的真实世界治疗行为;协议和途径通常定义松散,并且经常没有记录在EHR中的元素,使增强变得复杂。为了解决这一挑战,与医疗保健管理活动相关的医疗保健目标可以作为潜在主题在EHR中间接观察到。主题模型,如潜在狄利克雷分配(LDA),用于识别EHR数据中的潜在模式。然而,他们没有检查EHR序列的有序性,也没有孤立地评估单个事件。我们的新方法,分类序列编码器(CaSE)解决了这些缺点。EHR的连续性被CaSE的事件级表示捕获,揭示了潜在的医疗保健目标。在合成EHR序列中,CaSE在识别医疗保健目标方面优于LDA高达37%。在现实世界的MIMIC-III数据集中,CaSE识别出了有意义的表示,可以极大地增强协议和途径的开发。
2021-10-04 cs.AI cs.CL cs.LG
Syntax-Infused Variational Autoencoder for Text Generation
Bloomberg(彭博);Duke University(杜克大学);ASAPP Inc.(ASAPP公司)
我们提出了一个注入语法的变分自动编码器(SIVAE),它将句子与它们的语法树相结合,以提高生成的句子的语法。与现有的基于VAE的文本生成模型不同,SIVAE包含两个独立的潜在空间,用于句子和句法树。通过优化一个包含两个编码器和两个解码器的联合分布,相应地重新设计了证据下限目标。SIVAE与长短期记忆体系结构一起工作,同时生成句子和语法树。两个版本的SIVAE提出:一个通过条件先验网络捕获的潜在变量之间的依赖关系,和其他处理的潜在变量独立,这样可以进行句法控制的句子生成。实验结果表明,SIVAE在重建和有针对性的句法评价上都具有生成优势。最后,我们表明,所提出的模型可以用于无监督释义给定不同的句法树模板。
2019-06-05 cs.CL cs.LG stat.ML
Explicit Syntactic Guidance for Neural Text Generation
Tencent AI Lab(腾讯人工智能实验室);Zhejiang University(浙江大学);Westlake University(西湖大学);Westlake Institute for Advanced Study(西湖高等研究院)
提出一种基于成分句法树自顶向下指导的文本生成模式及结构化束搜索方法,在复述生成与机器翻译任务中优于自回归基线,并提升了可解释性、可控性与多样性。
2023-06-25 cs.CL
A Cross-Sentence Latent Variable Model for Semi-Supervised Text Sequence Matching
Seoul National University(首尔国立大学)
我们提出了一个潜在变量模型来预测一对文本序列之间的关系。与以前的基于自动编码的方法,分别考虑每个序列,我们提出的框架利用两个序列在一个单一的模型中生成一个序列,具有给定的关系与源序列。我们进一步扩展了跨句子生成框架,以促进半监督训练。我们还定义了新的语义约束,导致解码器网络生成语义上合理的和不同的序列。我们从定量和定性实验中证明了该模型的有效性,同时在半监督自然语言推理和释义识别方面取得了最先进的结果。
2019-06-04 cs.CL
Prior Attention for Style-aware Sequence-to-Sequence Models
Ghent University(根特大学);imec(imec校际微电子中心)
我们扩展序列到序列模型的可能性,以控制所生成的输出的特性或风格,通过注意力,这是从一个潜在的代码向量的先验(解码前)。在训练了初始的基于注意力的序列到序列模型之后,我们使用基于输入序列的表示和潜在代码向量空间的变分自动编码器来生成注意力矩阵。通过在解码期间从该潜在空间的特定区域采样代码向量,并在seq 2seq模型中施加由其生成的先前注意力,可以将输出转向具有某些属性。这是证明了句子简化的任务,其中的潜在代码向量允许控制输出长度和词汇简化,并使微调,以优化不同的评估指标。
2018-06-25 cs.CL
Robust stochastic parsing using the inside-outside algorithm
本文描述了一个分析器的序列(英语)部分的语音标签,它利用概率语法训练使用的内-外算法。初始(Meta)语法由语言学家定义,并自动生成与元语法约束兼容的进一步规则。在训练过程中,概率非常低的规则被拒绝,从而产生一个能够对替代分析进行排名的广泛覆盖的解析器。一系列基于语料库的实验描述了该句法分析器的性能。
1994-12-19 cmp-lg cs.CL
Improving Compositional Generalization with Latent Structure and Data Augmentation
Google Research(谷歌研究院)
一般的非结构化神经网络已经被证明在分布外的组合泛化上挣扎。通过示例重组的组合数据增强已经将关于组合性的一些先验知识转移到用于若干语义解析任务的这种黑盒神经模型,但是这通常需要特定于任务的工程或提供有限的增益。我们提出了一个更强大的数据重组方法,使用一个名为组合结构学习器(CSL)的模型。CSL是一个具有准同步上下文无关文法主干的生成模型,我们从训练数据中归纳出该主干。我们从CSL中抽取重组样本,并将其添加到预训练序列到序列模型(T5)的微调数据中。这个过程有效地转移CSL的成分偏差的T5诊断任务,并导致在两个现实世界的合成泛化任务的模型甚至比T5-CSL合奏。这导致新的国家的最先进的性能,这些具有挑战性的语义解析任务,需要推广到自然语言的变化和新颖的成分。
2022-05-04 cs.CL
On the effect of curriculum learning with developmental data for grammar acquisition
University of Edinburgh(爱丁堡大学);The Alan Turing Institute(艾伦·图灵研究所)
本文以 BabyBERTa 为探针,通过复杂度课程、分块训练与语料暴露比例实验,发现语音语料 AO-Childes 和 Open Subtitles 的训练步数占比而非 token 占比驱动语法习得。
2023-11-03 cs.CL