Graph based Neural Networks for Event Factuality Prediction using Syntactic and Semantic Structures
University of Oregon(俄勒冈大学)
事件真实性预测(EFP)是对句子中所提到的事件发生的程度进行评估的任务。在这一任务中,句法和语义信息对于识别重要的上下文词至关重要。以前的工作EFP只结合这些信息在一个简单的方式,不能充分利用他们的协调。在这项工作中,我们介绍了一种新的基于图的神经网络的EFP,可以更有效地整合语义和句法信息。我们的实验证明了所提出的EFP模型的优势。
2019-07-07 cs.CL
Incorporating Syntactic Uncertainty in Neural Machine Translation with Forest-to-Sequence Model
Monash University(蒙纳士大学)
在神经机器翻译模型中解释句法信息是一种补偿其对大量并行训练文本的需求的方法,特别是对于低资源语言对。以前的工作使用(不可避免地容易出错)解析器提供的语法信息一直很有前途。在本文中,我们提出了一个森林到序列的注意力神经机器翻译模型,利用指数级的源句子的分析树来补偿分析错误。我们的方法将解析树的集合表示为一个打包的森林,并学习从森林到目标句子的神经注意力转导模型。在英语到德语、汉语和波斯语的翻译实验中,我们的方法比树到序列和香草序列到序列神经翻译模型的优越性。
2017-11-24 cs.CL
Tapping the Potential of Coherence and Syntactic Features in Neural Models for Automatic Essay Scoring
Guangdong University of Foreign Studies(广东外语外贸大学);University of Montreal(蒙特利尔大学)
在自动作文评分的特定于考生的整体分数预测任务中,一般的方法包括预训练的神经模型,连贯性模型,以及将句法特征与神经模型相结合的混合模型。在本文中,我们提出了一种新的方法来提取和表示文章的连贯性特征,与非学习NSP,显示匹配的国家的最先进的AES连贯性模型,并实现了最佳的性能为长文。我们采用语法特征密集嵌入来增强基于BERT的模型,并实现了AES混合方法的最佳性能。此外,我们还探索了将连贯、句法信息和语义嵌入结合起来的各种思路,这是以前没有研究过的。我们的组合模型也比组合模型可用的SOTA表现更好,即使它没有优于我们的语法增强神经模型。我们进一步提供分析,可以为今后的研究有用。
2022-11-24 cs.CL
Using Priming to Uncover the Organization of Syntactic Representations in Neural Language Models
Johns Hopkins University(约翰斯·霍普金斯大学);Cornell University(康奈尔大学)
神经语言模型(LM)在需要对句法结构敏感的任务上表现良好。借鉴心理语言学的句法启动范式,我们提出了一种新的技术来分析表征,使这种成功。通过建立结构之间的梯度相似性度量,该技术允许我们重建LM的句法表征空间的组织。我们使用这种技术来证明LSTM LM对不同类型的带有关系从句的句子的表示是以语言可解释的方式分层组织的,这表明LM跟踪句子的抽象属性。
2019-09-23 cs.CL
Syntactic representation learning for neural network based TTS with syntactic parse tree traversal
Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);The Chinese University of Hong Kong(香港中文大学)
句子文本的句法结构与语音的韵律结构密切相关,韵律结构对提高文语转换系统的韵律感和自然度至关重要。目前的文语转换系统通常试图将句法结构信息与基于专家知识的人工设计特征相结合。本文提出了一种基于句法分析树遍历的句法表示学习方法,以自动利用句法结构信息。两个组成标签序列通过从组成分析树的左优先和右优先遍历线性化。然后通过相应的单向门控递归单元(GRU)网络从每个组成标签序列中提取单词级的句法表示。同时,核范数最大化损失的引入,以提高区分度和多样性的组成标签的嵌入。上采样的语法表示和音素嵌入被连接起来作为Tacotron 2的编码器输入。实验结果表明,我们提出的方法的有效性,平均意见得分(MOS)从3.70增加到3.82和ABX的偏好超过17%,与基线相比。此外,对于具有多个句法分析树的句子,可以从合成的语音中清楚地感知韵律差异。
2020-12-13 cs.CL
Causal Analysis of Syntactic Agreement Mechanisms in Neural Language Models
Harvard University(哈佛大学);Johns Hopkins University(约翰斯·霍普金斯大学);Google Research(谷歌研究院);New York University(纽约大学);Technion – IIT(以色列理工学院)
有针对性的句法评估已经证明了语言模型在困难的上下文中执行主谓一致的能力。为了阐明模型实现这种行为的机制,本研究将因果中介分析应用于预先训练的神经语言模型。我们研究了模型对语法变化的偏好程度,以及神经元是否在具有不同句法结构的句子中类似地处理主谓一致。我们揭示了不同架构和模型大小的相似性和差异-值得注意的是,较大的模型不一定会学习更强的偏好。我们还观察到两个不同的机制,根据输入句子的句法结构产生主谓一致。最后,我们发现,语言模型依赖于相似的神经元集时,给定的句子具有相似的句法结构。
2021-06-22 cs.CL
Overestimation of Syntactic Representationin Neural Language Models
University of Pennsylvania(宾夕法尼亚大学)
本文通过用非句法基线模型复现现有句法探测任务的正面结果,揭示当前神经语言模型句法表征测试方法存在根本缺陷,导致对模型句法能力的高估。
2020-04-10 cs.CL
Multi-Source Syntactic Neural Machine Translation
University of Edinburgh(爱丁堡大学)
我们介绍了一种新的多源技术,将源语法到神经机器翻译使用线性解析。这是通过对同一源句子的顺序和解析版本采用单独的编码器来实现的;然后使用分层注意力机制组合得到的表示。所提出的模型在WMT 17英语-德语任务上比seq 2seq和解析基线都提高了1个BLEU以上。进一步的分析表明,我们的多源句法模型能够成功地翻译没有任何解析的输入,不像标准的解析方法。此外,长句的表现不会像基线那样恶化。
2018-08-30 cs.CL
Syntactic Learnability of Echo State Neural Language Models at Scale
The University of Tokyo(东京大学);MBZUAI(穆罕默德·本·扎耶德人工智能大学);Tohoku University(东北大学);RIKEN(理化学研究所)
本文重新审视了回声状态网络(ESN),发现在约100M单词训练下,其在语法判断任务中表现与Transformer相当或更优,表明复杂架构对句法学习并非总是必要。
2025-03-03 cs.CL
Syntax Role for Neural Semantic Role Labeling
Shanghai Jiao Tong University(上海交通大学)
语义角色标注(SRL)致力于识别句子的语义谓词-论元结构。以往基于传统模型的研究表明,句法信息对自主学习成绩有显著的影响;然而,句法信息的必要性受到了最近一些神经SRL研究的挑战,这些研究表明,在没有句法主干的情况下,句法信息的表现令人印象深刻,并表明句法信息对于神经语义角色标注变得不那么重要,特别是当与最近的深度神经网络和大规模预训练的语言模型配对时。尽管有这个概念,神经SRL领域仍然缺乏一个系统的和全面的调查,在SRL的相关性的句法信息,无论是依赖和单语和多语设置。本文旨在量化句法信息在深度学习框架中对神经SRL的重要性。我们介绍了三个典型的SRL框架(基线),基于序列,基于树,基于图,这是伴随着两类利用句法信息:基于语法修剪和基于语法特征。在CoNLL-2005、2009和2012基准测试中对所有可用语言进行了实验,结果表明神经SRL模型在一定条件下仍然可以受益于句法信息。此外,我们还展示了句法对神经SRL模型的定量意义,并使用现有模型进行了彻底的实证调查。
2020-09-12 cs.CL
Neural Extractive Text Summarization with Syntactic Compression
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
最近的神经网络摘要方法主要是基于选择的提取或基于生成的抽象。在这项工作中,我们提出了一个基于联合提取和句法压缩的单文档摘要的神经模型。我们的模型从文档中选择句子,根据选区分析识别可能的压缩,并使用神经模型对这些压缩进行评分,以生成最终摘要。对于学习,我们构建了Oracle提取压缩摘要,然后通过这种监督来学习我们的两个组件。在CNN/Daily Mail和New York Times数据集上的实验结果表明,根据ROUGE的评估,我们的模型实现了强大的性能(与最先进的系统相当)。此外,我们的方法优于现成的压缩模块,人工和手动评估表明,我们的模型的输出通常保持语法。
2019-09-09 cs.CL
Neural Syntactic Preordering for Controlled Paraphrase Generation
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
对自然语言句子进行释义是一个多方面的过程:它可能涉及替换单个单词或短语,局部重新排列内容,或高层次的重组,如主题化或被动化。过去的方法很难以一种可解释的方式来覆盖这个释义可能性的空间。我们的工作受到机器翻译中的预排序文献的启发,使用句法转换来柔和地“重新排序”源句子并指导我们的神经释义模型。首先,给定一个输入句子,我们使用编码器-解码器模型推导出一组可行的句法重排。该模型在句子的部分词汇,部分句法视图上操作,并且可以重新排序大块。接下来,我们使用每个建议的重排来产生一个位置嵌入序列,这鼓励我们最终的编码器-解码器释义模型以特定的顺序处理源单词。我们的评估,自动和人类,表明该系统保留了基线方法的质量,同时大大增加了所生成的释义的多样性
2020-05-05 cs.CL
Neural Language Models as Psycholinguistic Subjects: Representations of Syntactic State
UC Irvine(加州大学欧文分校);Harvard University(哈佛大学);Primate Research Institute, Kyoto University(京都大学灵长类研究所);MIT(麻省理工学院);IBM Research(IBM研究院)
我们部署的控制心理语言学实验的方法来阐明神经网络语言模型的行为反映句法状态的增量表示的程度。要做到这一点,我们研究模型行为的人工句子包含各种句法复杂的结构。我们测试了四个模型:两个公开可用的英语LSTM序列模型(Jozefowicz等人,2016; Gulordava等人,2018)在大型数据集上训练; RNNG(Dyer等人,2016)在一个小的解析数据集上训练;以及一个LSTM在与RNNG相同的小语料库上训练。我们发现有证据表明,在大型数据集上训练的LSTM以与RNNG相当的方式表示大范围文本的语法状态,而在小型数据集上训练的LSTM则没有或只有微弱的表现。
2019-03-08 cs.CL
Structural Supervision Improves Few-Shot Learning and Syntactic Generalization in Neural Language Models
Harvard University(哈佛大学);Massachusetts Institute of Technology(麻省理工学院);UC Irvine(加州大学欧文分校);IBM Research(IBM研究院);Amazon AI(亚马逊人工智能)
人类可以从最少的经验中学习一个词的结构属性,并在不同的语法上下文中统一部署他们学习的句法表示。我们评估了现代神经语言模型在英语中再现这种行为的能力,并评估了结构监督对学习结果的影响。首先,我们通过开发控制实验来评估少样本学习能力,该实验探测模型的句法名义数和言语论元结构概括,用于在训练过程中只看到两次的标记。其次,我们评估了学习表征的不变性:模型从基本上下文(例如,简单的陈述性主动语态句子)到变换的上下文(例如,疑问句)。我们测试了在同一数据集上训练的四个模型:一个n-gram基线,一个LSTM,以及两个用显式结构监督训练的LSTM变体(Dyer et al.,2016; Charniak等人,2016)。我们发现,在大多数情况下,神经模型能够在最小的暴露后诱导出正确的语法概括,通常在训练过程中只使用两个示例,并且这两个结构监督模型比LSTM模型更准确地概括。所有的神经模型都能够利用在基本上下文中学习到的信息来驱动转换后的上下文中的期望,这表明它们已经学习了语法的一些不变性。
2020-10-12 cs.CL
Does Traversal Order Matter? A Systematic Study of Tree Traversal Methods in Transformer Grammars
School of Information Science and Technology, ShanghaiTech University(上海科技大学信息科学与技术学院)
本文系统研究了Transformer语法中不同树遍历方法(深度优先、广度优先及新提出的产生式规则遍历)对语言建模、句法泛化和摘要生成的影响,揭示了嵌套组合与全局前瞻之间的权衡。
2026-06-16 cs.CL
Structural Embedding of Syntactic Trees for Machine Comprehension
Carnegie Mellon University(卡内基梅隆大学)
用于机器理解的深度神经网络通常仅利用单词或字符嵌入,而不显式地利用结构化的语言信息,例如选区树和依赖树。在本文中,我们提出了结构嵌入的语法树(SEST),算法框架,利用结构化的信息,并将其编码成向量表示,可以提高机器理解算法的性能。我们使用SQuAD数据集上最先进的神经注意力模型来评估我们的方法。实验结果表明,我们的模型可以准确地识别句子的语法边界,并提取出比基线方法在语法上连贯的答案。
2017-08-31 cs.CL
Distinguishing Antonyms and Synonyms in a Pattern-based Neural Network
Institut für Maschinelle Sprachverarbeitung(机器语言处理研究所);Universität Stuttgart(斯图加特大学)
反义词和同义词的区分是实现高性能自然语言处理系统的关键任务。虽然他们是出了名的难以区分的分布共现模型,模式为基础的方法已被证明是有效的区分之间的关系。在本文中,我们提出了一种新的神经网络模型AntSynNET,利用语法分析树的词汇语法模式。除了词汇和句法信息,我们成功地整合了相关词之间的距离沿着句法路径作为一个新的模式特征。分类实验的结果表明,AntSynNET提高了性能比以前的模式为基础的方法。
2017-01-11 cs.CL
Top-down Tree Structured Decoding with Syntactic Connections for Neural Machine Translation and Parsing
Simon Fraser University(西蒙弗雷泽大学)
在神经机器翻译(NMT)系统中增加句法感知解码需要有效的树结构神经网络、句法感知注意模型和对句子结构敏感的语言生成模型。我们利用Alvarez-Melis和Jaakola(2017)首次提出的自上而下的树结构模型DRNN(双循环神经网络)来创建一个名为Seq 2DRNN的NMT模型,该模型将顺序编码器与增强了语法感知注意力模型的树结构解码相结合。与以前的方法,基于语法的NMT使用依存句法分析模型,我们的方法使用选区分析,我们认为提供了有用的信息翻译。此外,我们使用句子的句法结构来添加新的连接到树结构的解码器神经网络(Seq 2DRNN +SynC)。我们比较我们的NMT模型与顺序和最先进的基于语法的NMT模型,并表明我们的模型产生更流畅的翻译,更好的重新排序。由于我们的模型能够同时进行翻译和选区解析,我们还将我们的解析准确率与其他神经解析模型进行了比较。
2018-09-06 cs.CL
Detecting Syntactic Change Using a Neural Part-of-Speech Tagger
Yale University(耶鲁大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
我们训练了一个历时性的长短期记忆(LSTM)词性标注器,它使用了19世纪、20世纪和21世纪的美国英语大型语料库。我们分析了标记的能力,隐式学习时间结构之间的年,在何种程度上,这种知识可以转移到新的句子。学习年嵌入显示出很强的线性相关性之间的第一主成分和时间。我们表明,时间信息编码的模型可以用来预测小说句子的年组成相对较好。与前馈基线的比较表明,LSTM学习到的时间变化是语法的,而不是纯粹的词汇。因此,我们的研究结果表明,我们的tagger是隐式学习模型的句法变化在美国英语的过程中的19日,20日,和21世纪初。
2019-07-09 cs.CL
Bearing Syntactic Fruit with Stack-Augmented Neural Networks
ETH Zürich(苏黎世联邦理工学院)
本文首次证明,仅基于表面形式训练的栈增强神经网络能够像人类一样进行层次句法泛化,其中非确定性栈增强的Transformer表现最佳。
2026-06-23 cs.CL
Investigating Typed Syntactic Dependencies for Targeted Sentiment Classification Using Graph Attention Neural Network
Zhejiang University(浙江大学);Westlake University(西湖大学);Harbin Institute of Technology(哈尔滨工业大学);Westlake Institute for Advanced Study(西湖高等研究院)
目标情感分类预测输入文本中给定目标提及的情感极性。主要的方法采用神经网络对输入的句子进行编码,并提取目标提及与其上下文之间的关系。最近,图神经网络已经被研究用于集成任务的依赖语法,实现了最先进的结果。然而,现有的方法不考虑依赖性标签信息,这可能是直观有用的。为了解决这个问题,我们研究了一种新的关系图注意力网络,它集成了类型化的句法依赖信息。标准基准测试的结果表明,我们的方法可以有效地利用标签信息,以提高有针对性的情感分类性能。我们的最终模型显著优于最先进的基于语法的方法。
2020-12-17 cs.CL
Transformer-Based Neural Text Generation with Syntactic Guidance
Georgia Institute of Technology(佐治亚理工学院)
我们研究的问题,使用(部分)选区解析树的句法指导控制文本生成。现有的方法使用递归结构,这不仅遭受长期依赖问题,而且在建模的语法指导的树结构的不足。我们建议利用Transformer的并行性来更好地结合解析树。我们的方法首先扩展一个部分模板选区解析树到一个完整的解析树为输入源文本量身定制,然后使用扩展的树来指导文本生成。在这个过程中,我们的模型的有效性取决于两个新的注意力机制:1)路径注意力机制,迫使一个节点只关注位于语法树中的路径中的其他节点,以更好地结合语法指导; 2)多编码器注意力机制,允许解码器动态地关注来自多个编码器的信息。我们在受控释义任务中的实验表明,我们的方法在语义和语法上都优于SOTA模型,将最佳基线的BLEU分数从11.83提高到26.27。
2020-10-05 cs.CL
Syntactic Surprisal From Neural Models Predicts, But Underestimates, Human Processing Difficulty From Syntactic Ambiguities
Johns Hopkins University(约翰斯·霍普金斯大学);University of Massachusetts, Amherst(马萨诸塞大学阿默斯特分校);New York University(纽约大学)
本研究提出独立估计语言模型中句法可预测性的方法,发现虽能增大花园路径效应的估计,但惊异仍严重低估人类加工难度,证明可预测性非唯一因素。
2023-08-01 cs.CL
Event Detection: Gate Diversity and Syntactic Importance Scoresfor Graph Convolution Neural Networks
University of Oregon(俄勒冈大学);VinAI Research(越南人工智能研究院)
近年来事件检测的研究表明,语法依赖图可以应用于图卷积神经网络(GCN)中,以实现最新的事件检测。然而,在这种基于图的模型中,隐藏向量的计算对于触发候选词是不可知的,潜在地为用于事件预测的触发候选留下无关信息。此外,现有的ED模型未能充分利用词的整体上下文重要性来提高性能,而这些上下文重要性可以通过依赖树得到。在这项研究中,我们提出了一种新的门控机制,根据触发候选者的信息过滤ED GCN模型隐藏向量中的噪声信息。本文还引入了新的机制来保证门的上下文多样性和图与模型的重要性一致性。实验表明,本文提出的模型在两个ED数据集上取得了最佳的性能
2020-10-27 cs.CL
Syntax Representation in Word Embeddings and Neural Networks -- A Survey
Charles University(查理大学)
在自然语言处理任务上训练的神经网络捕获语法,即使它不作为监督信号提供。这表明,句法分析是必不可少的理解语言的人工智能系统。这篇综述论文涵盖了评估不同神经网络架构的单词表示中包含的句法信息量的方法。本文主要综述了英语单语数据在语言建模任务中的应用、多语种数据在神经机器翻译系统和多语种语言模型中的应用。我们描述了哪些预训练的模型和语言表示最适合转移到句法任务。
2020-10-02 cs.CL
Probing for Constituency Structure in Neural Language Models
Qatar Computing Research Institute, Hamad Bin Khalifa University(哈马德·本·哈利法大学卡塔尔计算研究所)
在本文中,我们调查在何种程度上上下文神经语言模型(LM)隐式学习句法结构。更具体地说,我们专注于组成结构,在宾夕法尼亚州树库(PTB)。使用基于诊断分类器的标准探测技术,我们评估代表LM的神经元激活内的不同类别的成分的准确性,如RoberTa。为了确保我们的探测集中在句法知识而不是隐含的语义概括上,我们还对PTB版本进行了实验,该版本是通过在保持句法结构的同时随机替换成分而获得的,即,PTB的一个语义上格式错误但语法上格式正确的版本。我们发现,4个预训练的mathomer LM在我们的探测任务中获得了高性能,即使是在操纵的数据上,这表明它们表示中的语义和句法知识可以分离,并且选区信息实际上是由LM学习的。此外,我们表明,一个完整的选区树可以线性分离LM表示。
2022-04-13 cs.CL
Syntactic Recurrent Neural Network for Authorship Attribution
University of Central Florida(中佛罗里达大学)
写作风格是在语言产生的不同层面上,包括与特定作者(或作者群体)相关的词汇,句法和结构的一致决定的组合。虽然基于词汇的模型在基于风格的文本分类中得到了广泛的研究,但在处理由各种主题组成的异构数据时,依赖于内容的模型的可扩展性较差。另一方面,与内容无关的句法模型对主题变化更鲁棒。在本文中,我们引入了一个句法循环神经网络编码的句法模式的一个层次结构的文件。该模型首先从词性标签序列中学习句子的句法表示。为此,我们利用卷积滤波器和长短期记忆来研究句子中词性标签的短期和长期依赖性。随后,句子的句法表示使用递归神经网络聚合成文档表示。我们在PAN 2012数据集上进行的作者归属任务的实验结果表明,句法循环神经网络在准确率方面比具有相同架构的词汇模型高出约14%。
2019-02-27 cs.CL cs.LG
Neural Machine Translation by Minimising the Bayes-risk with Respect to Syntactic Translation Lattices
University of Cambridge(剑桥大学);SDL Research(SDL研究院)
提出了一种新的方案,将神经机器翻译(NMT)与传统的统计机器翻译(SMT)相结合。我们的方法借用的想法,从线性格最小贝叶斯风险解码SMT。NMT分数根据SMT网格与翻译的贝叶斯风险相结合。这使得我们的方法比$n$ -最佳列表或网格重新评分更灵活,因为神经解码器不限于SMT搜索空间。我们展示了一种有效和简单的方法来集成风险估计到NMT解码器,这是适合字级以及子字单元级NMT。我们测试我们的方法对英语-德语和日语-英语和报告显着的增益在几个数据集上的晶格rescoring为单一和集成NMT。MBR解码器产生全新的假设,远远超出了简单地重新评分SMT搜索空间或修复NMT输出中的UNK。
2017-02-13 cs.CL
Multilingual Irony Detection with Dependency Syntax and Neural Models
Università degli Studi di Torino(都灵大学);Universitat Politècnica de València(瓦伦西亚理工大学);Università degli Studi di Cagliari(卡利亚里大学);Université de Toulouse(图卢兹大学)
本文研究多语言反讽检测,探索基于依存句法特征与经典分类器、词嵌入及多语言BERT结合,证明细粒度依存句法信息有效。
2020-11-11 cs.CL
Do Neural Language Models Show Preferences for Syntactic Formalisms?
Uppsala University(乌普萨拉大学);University of Oslo(奥斯陆大学);University of Copenhagen(哥本哈根大学)
最近关于深度神经语言模型的可解释性的研究得出结论,自然语言语法的许多属性都编码在其表示空间中。然而,这样的研究往往受到局限的范围,集中在一个单一的语言和单一的语言形式主义。在这项研究中,我们的目标是调查在何种程度上的语义句法结构捕获的语言模型坚持表面句法或深层句法风格的分析,以及模式是否是一致的,在不同的语言。我们应用一个探测器来提取有向依赖树到在13种不同语言上训练的BERT和ELMo模型,探测两种不同的语法注释风格:通用重复性(UD),优先考虑深层语法关系,和表面语法通用重复性(SUD),专注于表面结构。我们发现,这两种模型都表现出对UD的偏好,而不是SUD -在语言和层之间存在有趣的变化-并且这种偏好的强度与树形状的差异相关。
2020-04-29 cs.CL cs.LG
Synonym Detection Using Syntactic Dependency And Neural Embeddings
Shandong Jianzhu University(山东建筑大学)
向量空间模型的最新进展显著改善了一些NLP应用,如神经机器翻译和自然语言生成。虽然上下文中的词共现已被广泛用于基于计数/预测的分布模型,句法依赖在推导分布语义中的作用尚未得到彻底的研究。通过比较不同的向量空间模型在TOEFL同义词检测中的应用,系统地研究了句法依赖在解释分布相似性时的显著性。我们将句法依赖根据其不同的语法角色分成不同的组,然后使用上下文计数来构建相应的原始矩阵和SVD压缩矩阵。此外,使用相同的训练超参数和语料库,我们研究了评估中的典型神经嵌入。我们进一步研究了将人工编译的语义知识注入神经嵌入计算分布相似性的有效性。我们的研究结果表明,句法条件的上下文可以解释词汇语义比无条件的,而改装的神经嵌入与语义知识可以显着提高同义词检测。
2022-09-30 cs.AI cs.CL
Syntactic and Semantic-driven Learning for Open Information Extraction
University of Chinese Academy of Sciences(中国科学院大学);Chinese Information Processing Laboratory(中文信息处理实验室);State Key Laboratory of Computer Science(计算机科学国家重点实验室);Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所);Baidu Inc.(百度公司)
构建准确,高覆盖率的神经开放IE系统的最大瓶颈之一是需要大型标记语料库。开放领域语料库的多样性和自然语言表达的多样性进一步加剧了这一问题。在本文中,我们提出了一种句法和语义驱动的学习方法,它可以学习神经开放的IE模型,而无需任何人类标记的数据,通过利用句法和语义知识作为噪音,更高级别的监督。具体来说,我们首先采用语法模式作为数据标签函数,并使用生成的标签预训练基本模型。然后提出了一种句法和语义驱动的强化学习算法,该算法能够有效地将基本模型推广到开放的场景中,并具有较高的准确率。实验结果表明,该方法的性能明显优于有监督的同类方法,甚至可以达到与有监督的最先进(SoA)模型相媲美的性能
2021-03-05 cs.CL
Syntax-aware Neural Semantic Role Labeling
Soochow University(苏州大学);Heilongjiang University(黑龙江大学);Alibaba Group(阿里巴巴集团)
语义角色标注(SRL),也称为浅层语义解析,是自然语言处理中一项重要而又具有挑战性的任务。由于句法结构和语义结构之间的紧密联系,传统的基于离散特征的自组织学习方法大量使用句法特征。相比之下,基于深度神经网络的方法通常将输入句子编码为单词序列,而不考虑句法结构。在这项工作中,我们调查了以前的几种编码语法树的方法,并深入研究了额外的语法感知表示是否有利于神经SRL模型。在基准测试CoNLL-2005数据集上的实验表明,语法感知的SRL方法可以有效地提高性能。通过额外的语法感知表示,我们的方法在测试数据上实现了新的最先进的85.6 F1(单个模型)和86.6 F1(集成),分别比ELMo的相应强基线高出0.8和1.0。详细的误差分析进行,以获得更多的见解所调查的方法。
2019-07-22 cs.CL
An Analysis of the Utility of Explicit Negative Examples to Improve the Syntactic Abilities of Neural Language Models
Artificial Intelligence Research Center(人工智能研究中心);AIST(产业技术综合研究所)
我们探讨了显式反例在训练神经语言模型中的效用。这里的反例是句子中不正确的单词,例如“*The dogs barks”中的“barks”。神经语言模型通常只在正例上训练,即训练数据中的一组句子,但最近的研究表明,以这种方式训练的模型不能鲁棒地处理复杂的句法结构,例如长距离协议。在本文中,我们首先使用英语语料,证明了适当地使用关于特定结构的反例(例如,主谓一致)将提高模型对它们的鲁棒性,而困惑的损失可以忽略不计。我们成功的关键是正确单词和错误单词的对数可能性之间的额外裕度损失。然后,我们提供了对训练模型的详细分析。我们的发现之一是RNN的对象关系子句的困难。我们发现,即使我们的直接学习信号的模型仍然遭受解决协议跨对象相关条款。虽然增加了包含主谓结构的训练句,但准确率仍达不到主谓关系分句的水平。虽然没有直接的认知吸引力,但我们的方法可以成为分析神经模型在具有挑战性的语言结构上的真正架构限制的工具。
2020-06-06 cs.CL
Exploiting Syntactic Structure for Better Language Modeling: A Syntactic Distance Approach
Westlake University(西湖大学);Westlake Institute for Advanced Study(西湖高等研究院);Mila(米拉计算科学研究所);McGill University(麦吉尔大学)
人们普遍认为,句法结构的知识应该改善语言建模。然而,有效地和计算高效地将句法结构纳入神经语言模型一直是一个具有挑战性的课题。在本文中,我们使用多任务目标,即,这些模型同时预测单词以及被称为“句法距离”的形式的基本事实解析树,其中这两个单独目标之间的信息共享相同的中间表示。在Penn Treebank和Chinese Treebank数据集上的实验结果表明,当提供Ground Truth解析树作为额外的训练信号时,该模型能够获得较低的困惑度,并诱导出质量更好的树。
2020-05-12 cs.CL
Neural Machine Translation with Dynamic Graph Convolutional Decoder
Tsinghua University(清华大学);Alibaba DAMO Academy(阿里巴巴达摩院);Alibaba Group Inc.(阿里巴巴集团);Tsinghua Shenzhen International Graduate School(清华大学深圳国际研究生院);Peng Cheng Lab(鹏城实验室)
本文提出动态时空图卷积解码器Dyn-STGCD,在端到端框架中联合建模并同时生成目标译文及其句法图,在五个翻译基准上取得一致提升。
2023-05-28 cs.CL
Graph Convolutional Encoders for Syntax-aware Neural Machine Translation
University of Amsterdam(阿姆斯特丹大学);University of Edinburgh(爱丁堡大学)
我们提出了一个简单而有效的方法,将句法结构的神经注意力为基础的编码器-解码器模型的机器翻译。我们依赖于图卷积网络(GCN),这是最近开发的一类神经网络,用于对图结构数据进行建模。我们的GCN使用源句子的预测语法依赖树来产生对其语法邻居敏感的单词表示(即编码器的隐藏状态)。GCN将单词表示作为输入并产生单词表示作为输出,因此它们可以容易地作为层并入标准编码器(例如,在双向RNN或卷积神经网络之上)。我们评估其有效性与英语-德语和英语-捷克语翻译实验不同类型的编码器,并观察到实质性的改进,在所有考虑的设置,其语法不可知的版本。
2020-06-18 cs.CL
Attending To Syntactic Information In Biomedical Event Extraction Via Graph Neural Networks
Monash University, Malaysia(莫纳什大学(马来西亚));Monash University, Australia(莫纳什大学(澳大利亚))
针对生物医学事件抽取中依赖路径信息不完整的问题,提出用图卷积网络嵌入完整依赖图邻接矩阵,显著提升性能并略超现有最优模型。
2025-01-21 cs.CL
Explicit Syntactic Guidance for Neural Text Generation
Tencent AI Lab(腾讯人工智能实验室);Zhejiang University(浙江大学);Westlake University(西湖大学);Westlake Institute for Advanced Study(西湖高等研究院)
提出一种基于成分句法树自顶向下指导的文本生成模式及结构化束搜索方法,在复述生成与机器翻译任务中优于自回归基线,并提升了可解释性、可控性与多样性。
2023-06-25 cs.CL
ConvAMR: Abstract meaning representation parsing for legal document
卷积神经网络(CNN)最近在广泛的应用中取得了显着的性能。在这项研究中,我们配备卷积序列到序列(seq2seq)模型与一个有效的图形线性化技术的抽象意义表示解析。我们的线性化方法是优于以前的方法在信号的转向图旅行。此外,卷积seq2seq模型在此任务中比递归神经网络模型更合适且速度更快。我们的方法在两个标准数据集LDC2014T12上都比以前的方法有很大的优势。我们的研究结果表明,未来的工作仍然有改进的空间,分析模型使用图线性化方法。
2017-11-20 cs.CL
Data Augmentation to Address Out-of-Vocabulary Problem in Low-Resource Sinhala-English Neural Machine Translation
University of Moratuwa(莫拉图瓦大学)
词汇表外(Out-of-Vocabulary,OOV)是神经机器翻译(NMT)的一个难题。OOV指的是在训练数据中出现率低的单词,或者指的是在训练数据中不存在的单词。为了减轻这种情况,已经使用了基于单词或短语的数据增强(DA)技术。然而,现有的DA技术只解决了这些OOV类型之一,并限制考虑语法约束或语义约束。我们提出了一个词和短语的补充为基础的DA技术,考虑这两种类型的OOV,通过增加(1)在现有的平行语料库中的罕见的话,和(2)从双语词典的新词。在增强过程中,我们考虑了词的句法和语义属性,以保证合成句子的流畅性。这种技术是用低资源的僧伽罗语-英语语言对进行实验的。我们观察到,只有语义约束的DA,结果是可比的分数考虑到句法约束,并有利于低资源的语言,缺乏语言工具的支持。此外,通过考虑句法和语义约束,可以进一步改善结果。
2022-05-18 cs.CL
Lexicosyntactic Inference in Neural Models
University of Rochester(罗切斯特大学);Johns Hopkins University(约翰斯·霍普金斯大学)
我们研究神经模型捕捉词汇句法推理的能力:词汇和句法信息的相互作用所触发的推理。本文以事件真实性预测为例,构建了一个包含英语小句嵌入动词的真实性判断数据集。我们使用我们公开提供的这个数据集来探测当前最先进的神经系统的行为,表明这些系统会产生某些系统性错误,这些错误通过事实预测的镜头清晰可见。
2018-08-19 cs.CL
Neurocomputational Mechanisms of Syntactic Transfer in Bilingual Sentence Production
Linguistic Research Infrastructure, University of Zurich(苏黎世大学语言研究基础设施);University of Cambridge(剑桥大学);University of Texas Health Science Center at Houston(德克萨斯大学休斯顿健康科学中心)
本文提出ROSE模型能解释双语生成中语法转移的神经机制,通过振荡失败模式揭示跨语言影响的神经计算基础。
2026-08-06 cs.CL
When Does Syntax Mediate Neural Language Model Performance? Evidence from Dropout Probes
最近的因果探测文献揭示了语言模型和句法探测何时使用相似的表征。这种技术可能会产生“假阴性”的因果关系结果:模型可能使用语法的表示,但探测器可能已经学会使用相同语法信息的冗余编码。我们证明,模型编码冗余的语法信息,并介绍了一种新的探针设计,引导探针考虑所有的语法信息嵌入。使用这些探测器,我们找到了在模型中使用语法的证据,而以前的方法没有,使我们能够通过将语法信息注入表示来提高模型性能。
2022-04-20 cs.AI cs.CL
Fast Rule-Based Decoding: Revisiting Syntactic Rules in Neural Constituency Parsing
Sun Yat-sen University(中山大学)
最近的研究集中在编码器结构的神经选区解析,而很少的发展致力于解码器。以前的研究表明,基于句法规则的概率统计方法在选区分析中特别有效,而在以前的工作中,可能由于其巨大的计算需求,在神经模型的训练过程中不使用句法规则。在本文中,我们首先实现了一个快速CKY解码过程利用GPU加速,在此基础上,我们进一步推导出一个语法规则为基础的(规则约束)CKY解码。在实验中,我们的方法在PTB和CTB数据集上分别获得了95.89和92.52的F1,与以前的方法相比,这表明了显着的改善。此外,我们的解析器实现强大的和有竞争力的跨域性能在zero-shot设置。
2022-12-16 cs.AI cs.CL cs.LG
Semantic Parsing: Syntactic assurance to target sentence using LSTM Encoder CFG-Decoder
University of Sao Paulo - USP(圣保罗大学);Institute of Mathematics and Statistics - IME(数学与统计学院)
语义解析可以定义为将自然语言句子映射成其含义的机器可解释的形式化表示的过程。使用LSTM编码器-解码器神经网络的语义解析已经成为很有前途的方法。然而,自然语言的人工自动翻译并不为生成的句子提供语法性保证,这样的保证对于实际情况是特别重要的,在实际情况中,如果句子不符合语法,则数据库查询可能导致要害差错。在这项工作中,我们提出了一个神经架构称为编码器CFG解码器,其输出符合给定的上下文无关文法。结果表明,任何实现这种架构显示其正确性,并提供基准精度水平优于文献。
2018-07-18 cs.CL
From syntactic structure to semantic relationship: hypernym extraction from definitions by recurrent neural networks using the part of speech information
Southwest University(西南大学)
上下义关系是语义网络中的重要组成部分。从定义中识别上位词是自然语言处理和语义分析中的一项重要任务。虽然像WordNet这样的公共词典适用于常见单词,但它在特定领域场景中的应用有限。现有的上位词提取工具要么依赖于特定的语义模式,要么专注于词的表示,这都表现出一定的局限性。
2020-12-07 cs.AI cs.CL
Predicting Target Language CCG Supertags Improves Neural Machine Translation
University of Edinburgh(爱丁堡大学);Adam Mickiewicz University(亚当·密茨凯维奇大学);Johns Hopkins University(约翰斯·霍普金斯大学)
神经机器翻译(NMT)模型能够从连续的词汇信息中部分地学习句法信息。然而,一些复杂的句法现象,如介词短语附加,模型很差。本文的工作旨在回答两个问题:1)显式地对目标语言语法建模是否有助于NMT?2)单词和语法的紧密结合比多任务训练更好吗?我们在解码器中以CCG超标签的形式引入句法信息,通过将目标超标签与单词序列交织。我们的研究结果表明,明确建模目标语法提高机器翻译质量德语->英语,高资源对,罗马尼亚语->英语,低资源对,也有几个句法现象,包括介词短语附件。此外,单词和语法的紧密耦合比多任务训练更能提高翻译质量。通过将目标语法与在嵌入层中添加源端依赖标签相结合,我们获得了德语->英语的0.9 BLEU和罗马尼亚语->英语的1.2 BLEU的总改进。
2017-07-18 cs.CL
Information-Restricted Neural Language Models Reveal Different Brain Regions' Sensitivity to Semantics, Syntax and Context
INSERM(法国国家健康与医学研究院);CEA(法国原子能和替代能源委员会);INRIA(法国国家信息与自动化研究所)
神经语言学中的一个基本问题涉及言语理解过程中涉及句法和语义处理的大脑区域,包括词汇(字处理)和超词汇水平(句子和话语处理)。这些区域在多大程度上是相互分离或交织在一起的?为了解决这个问题,我们在文本语料库上训练了一个词汇语言模型Glove和一个超词汇语言模型GPT-2,我们选择性地删除了语法或语义信息。然后,我们评估了这些信息限制模型在多大程度上能够预测人类听自然主义文本的fMRI信号的时间过程。我们还操纵了提供给GPT-2的上下文信息的大小,以确定参与超词汇处理的大脑区域的整合窗口。我们的分析表明,虽然大多数涉及语言的大脑区域对句法和语义变量都很敏感,但这些影响的相对大小在这些区域之间有很大差异。此外,我们还发现左右半球之间的不对称性,语义和句法加工在左半球比在右半球更加分离,并且左半球和右半球分别对短和长语境表现出更大的敏感性。信息受限的NLP模型的使用,从而揭示了句法处理,语义处理和组合性的空间组织。
2023-02-28 cs.CL
Finding Syntax in Human Encephalography with Beam Search
DeepMind(深度思维);University of Oxford(牛津大学);University of Michigan(密歇根大学);Cornell University(康奈尔大学)
递归神经网络文法(RNNG)是依赖于神经网络来评估派生选择的(树,串)对的生成模型。使用束搜索对它们进行解析会产生各种增量复杂性度量,例如单词搜索和解析器动作计数。当被用作对自然主义文本的人类电生理反应的回归量时,它们得到两个振幅效应:早期峰值和P600样的后期峰值。相比之下,非句法神经语言模型不会产生可靠的效果。模型比较将早期峰值归因于RNNG内的句法组成。这种结果模式推荐RNNG+束搜索组合作为在正常人类语言理解期间发生的句法处理的机械模型。
2018-06-11 cs.CL
Enriching Non-Autoregressive Transformer with Syntactic and SemanticStructures for Neural Machine Translation
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Huazhong University of Science and Technology(华中科技大学)
非自回归模型通过并行解码提高了神经机器翻译的效率,但与自回归模型相比,非自回归模型的效率较低。在本文中,我们认为,自然语言之间的句法和语义结构的非自回归机器翻译是至关重要的,可以进一步提高性能。然而,这些结构很少被考虑在现有的非自回归模型。受这种直觉的启发,我们建议将语言的显式语法和语义结构纳入非自回归Transformer中,用于神经机器翻译的任务。此外,我们还考虑了目标句子内的中间潜在对齐,以更好地学习长期的令牌依赖关系。在两个真实世界数据集上的实验结果(即,WMT 14 En-De和WMT 16 En-Ro)表明,与几种最先进的非自回归模型相比,我们的模型实现了更快的速度,并保持了翻译质量。
2021-01-22 cs.AI cs.CL
Frege in the Flesh: Biolinguistics and the Neural Enforcement of Syntactic Structures
Vivian L. Smith Department of Neurosurgery, McGovern Medical School, UTHealth(Vivian L. Smith 神经外科系,麦戈文医学院,德克萨斯大学健康科学中心)
本文探讨生物语言学如何通过神经机制解释语法结构,提出数学模型对语言研究的指导作用,并讨论神经计算对语言研究的贡献。
2026-03-31 cs.CL
A polar coordinate system represents syntax in large language models
ENS, PSL University(巴黎文理研究大学(ENS));Meta AI
该研究提出极坐标探针,从词嵌入的距离和方向读取句法关系,发现LLM中间层低维子空间存在极坐标系,能显式表征语言学符号结构,性能远超结构探针。
2024-12-07 cs.CL
Understanding the effects of word-level linguistic annotations in under-resourced neural machine translation
该研究针对低资源神经机器翻译中词级语言标注的作用,通过多语言对、多架构、多标注类型的实验对比源/目标端不同标注的效果差异并分析原因。
2024-01-29 cs.CL