Hierarchical Neural Data Synthesis for Semantic Parsing
Borealis AI（北极光人工智能）
收集语义解析数据集的成本很高，而且即使是作为语义解析系统输入的与给定领域相关的问题也可能不容易获得，特别是在跨领域的语义解析中。这使得数据增强更具挑战性。现有的合成新数据的方法使用手工制定或诱导的规则，需要大量的工程工作和语言专业知识来实现良好的覆盖率和精确度，这限制了可扩展性。在这项工作中，我们提出了一个纯粹的神经方法的数据增强的语义解析，完全消除了语法工程的需要，同时实现更高的语义解析的准确性。此外，我们的方法可以合成在zero-shot设置，只有一个新的域模式是可用的，没有任何输入输出的新域的例子。在Spider跨域文本到SQL语义解析基准测试中，我们使用我们的zero-shot增强在开发集上实现了最先进的性能（77.2%的准确率）。
2021-12-04 cs.CL
The Meaning Factory at SemEval-2017 Task 9: Producing AMRs with Neural Semantic Parsing
University of Groningen（格罗宁根大学）
我们在SemEval-2017 AMR语义解析共享任务的上下文中评估了基于字符的序列到序列模型的语义解析器。通过数据增强、超级字符和POS标记，与基线字符级模型相比，我们在性能上获得了重大改进。虽然我们改进了以前的基于字符的神经语义解析模型，但总体准确率仍然低于最先进的AMR解析器。将我们的神经语义解析器与现有的传统解析器相结合的集成，在性能上会有很小的提高。
2017-04-19 cs.CL
Second-Order Neural Dependency Parsing with Message Passing and End-to-End Training
ShanghaiTech University（上海科技大学）；Shanghai Engineering Research Center of Intelligent Vision and Imaging（上海智能视觉与成像工程研究中心）；Shanghai Institute of Microsystem and Information Technology, Chinese Academy of Sciences（中国科学院上海微系统与信息技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
在本文中，我们提出了二阶图为基础的神经依存句法分析使用消息传递和端到端的神经网络。我们的经验表明，我们的方法与最近最先进的基于二阶图的神经依赖解析器的准确性相匹配，并且在训练和测试中具有更快的速度。我们还经验表明，二阶解析的优势，一阶解析，并观察到头部选择结构化约束的有用性消失时，使用BERT嵌入。
2021-06-02 cs.CL cs.LG
Improving Semantic Parsing with Neural Generator-Reranker Architecture
Stanford University（斯坦福大学）；Google Research（谷歌研究院）；Google Inc.（谷歌公司）
语义解析是从自然语言话语中导出机器可解释的含义表示的问题。具有编码器-解码器架构的神经模型最近相对于传统方法取得了实质性的改进。虽然神经语义解析器似乎具有相对较高的召回率使用大的波束尺寸，有改进的空间方面的一个最佳精度。在这项工作中，我们提出了一个生成器-reranker架构的语义解析。生成器产生一个潜在的候选人列表和reranker，其中包括一个预处理步骤的候选人，其次是一个新的评论家网络，重新排名这些候选人之间的相似性的基础上，每个候选人和输入的句子。我们展示了这种方法的优点以及它如何通过广泛的分析提高解析性能。我们在三个语义解析数据集（GEO，ATIS和OVERNIGHT）上对我们的模型进行了实验。整体架构在所有三个数据集中实现了最先进的结果。
2019-09-27 cs.CL
A Novel Neural Network Model for Joint POS Tagging and Graph-based Dependency Parsing
Macquarie University（麦考瑞大学）
我们提出了一种新的神经网络模型，学习词性标注和基于图的依存句法分析联合。我们的模型使用双向LSTM学习的特征表示共享的POS标记和依存句法分析任务，从而处理的功能工程问题。我们在通用语法项目的19种语言上进行了大量的实验，结果表明，我们的模型在联合词性标注和基于转换的依存句法分析方面优于最先进的基于神经网络的堆栈传播模型，从而达到了最新的水平。我们的代码是开源的，可以在https://github.com/datquocnguyen/jPTDP上与预训练的模型一起使用
2017-06-08 cs.CL
A Simple and Strong Baseline for End-to-End Neural RST-style Discourse Parsing
Institute of Innovative Research, Tokyo Institute of Technology（东京工业大学创新研究院）；NTT Communication Science Laboratories, NTT Corporation（日本电信电话株式会社NTT通信科学实验室）
为了推广和进一步发展RST风格的语篇分析模型，我们需要一个强有力的基线，可以被视为报告可靠的实验结果的参考。本文通过将现有的简单解析策略（自上而下和自下而上）与各种基于transformer的预训练语言模型相集成，探索了一个强大的基线。在两个基准数据集上的实验结果表明，句法分析的性能主要依赖于预训练的语言模型，而不是句法分析策略。特别是，自底向上的解析器实现了大的性能增益相比，目前最好的解析器时，采用DeBERTa。我们进一步揭示，语言模型与跨度掩蔽计划，特别是提高分析性能，通过我们的分析内和多个领域的分析，和核预测。
2022-11-01 cs.CL
Multilingual Neural RST Discourse Parsing
Institute for Infocomm Research, A*STAR（新加坡科技研究局资讯通信研究所）
语篇分析在理解自然语言中的信息流和论证结构方面起着重要的作用。以往的修辞结构理论研究主要集中在从英语树库中归纳和评价模式。然而，由于注释数据的短缺，其他语言（如德语，荷兰语和葡萄牙语）的解析任务仍然具有挑战性。在这项工作中，我们研究了两种方法来建立一个神经，跨语言的话语解析器通过：（1）利用多语言向量表示;（2）采用段级翻译的源内容。实验结果表明，这两种方法在训练数据有限的情况下也能有效地进行文本级的跨语言句法分析。
2020-12-03 cs.CL
Data Recombination for Neural Semantic Parsing
Stanford University（斯坦福大学）
在语义解析中，对清晰的逻辑推理进行建模是至关重要的，这使得没有特定任务先验知识的神经模型难以获得良好的结果。在本文中，我们介绍了数据重组，一种新的框架注入这样的先验知识模型。从训练数据中，我们归纳出一个高精度的同步上下文无关文法，它捕获了语义解析中常见的重要条件独立属性。然后，我们训练一个序列到序列递归网络（RNN）模型，该模型具有一种新的基于注意力的复制机制，该机制基于从该语法中采样的数据点，从而教授模型这些结构属性。数据重组提高了我们的RNN模型在三个语义解析数据集上的准确性，从而为具有可比监督的模型在标准GeoQuery数据集上带来了新的最先进性能。
2016-06-11 cs.CL
Shift-Reduce Constituent Parsing with Neural Lookahead Features
Singapore University of Technology and Design（新加坡科技与设计大学）
基于转换的模型可以快速准确地进行成分分析。与基于图表的模型相比，它们通过从跨越非局部成分的解析器堆栈中提取历史信息来利用更丰富的特征。另一方面，在增量解析期间，不利用当前单词右侧的成分信息，这是移位归约解析的相对弱点。为了解决这一限制，我们利用快速神经模型来提取前瞻特征。特别是，我们构建了一个双向LSTM模型，它利用完整的句子信息来预测每个单词开始和结束的成分的层次结构。然后将结果作为前瞻特征传递给基于强转换的成分解析器。与基线相比，所得到的解析器在WSJ中给出了1.3%的绝对改进，在CTB中给出了2.3%的绝对改进，给出了全监督解析的最高准确率。
2016-12-02 cs.CL
On the Role of Style in Parsing Speech with Neural Models
University of Washington（华盛顿大学）；LAIX Inc.（LAIX公司）
书面文本和会话语音的差异是实质性的;以前的解析器在树库文本上训练的结果非常差。对于口语来说，风格上的不匹配也延伸到韵律线索上，尽管这一点还不太清楚。本文重新审视使用书面文本在解析语音的背景下，在神经语言处理的最新进展。我们表明，神经方法有助于使用书面文本，以提高自发语音的解析，韵律进一步提高了这个国家的最先进的结果。此外，我们发现了一个不对称的退化从读取与自发的不匹配，与自发的语音更普遍的有用的训练分析器。
2020-10-08 cs.CL
Character Composition Model with Convolutional Neural Networks for Dependency Parsing on Morphologically Rich Languages
Institut für Maschinelle Sprachverarbeitung（机器语言处理研究所）；Universität Stuttgart（斯图加特大学）
我们提出了一个基于转换的依赖分析器，使用卷积神经网络组成的字符的单词表示。字符组合模型比单词查找模型有很大的改进，特别是对于句法分析中的黏着语。这些改进甚至比使用来自额外数据的预训练词嵌入更好。在SPMRL数据集上，我们的系统优于之前最好的贪婪解析器（Ballesteros等人，2015年，平均增长3%。
2017-05-30 cs.CL
End-to-end Graph-based TAG Parsing with Neural Networks
Department of Linguistics, Yale University（耶鲁大学语言学系）；Elemental Cognition, LLP（Elemental Cognition, LLP（Elemental Cognition有限责任公司））
我们提出了一个基于图的树邻接语法（TAG）解析器，它使用BiLSTM，高速公路连接和字符级CNN。我们最好的端到端解析器，它联合执行超级标记，POS标记和解析，比以前报告的最佳结果高出2.2个LAS和UAS点。基于图的解析架构允许全局推理和丰富的特征表示TAG解析，减轻了基于转换和基于图的解析系统之间的根本权衡。我们还表明，建议的解析器实现最先进的性能在下游任务的解析评估使用文本蕴涵（PETE）和无限依赖恢复。这进一步支持了TAG是一种可行的形式主义的主张，需要丰富的句子结构分析的问题。
2018-04-28 cs.CL
A Globally Normalized Neural Model for Semantic Parsing
Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所）；University of Alberta（阿尔伯塔大学）；Borealis AI（北极光人工智能研究院）
本文提出了一种基于上下文无关文法（CFG）的语义解析的全局规范化模型。我们的模型不是预测概率，而是在每一步预测一个实值分数，并且不会受到标签偏差问题的影响。实验表明，我们的方法在小数据集上的性能优于局部归一化模型，但在大数据集上没有得到改善。
2021-06-07 cs.CL
Structured Training for Neural Network Transition-Based Parsing
Google Inc（谷歌公司）
我们提出了结构化的感知器训练的神经网络转换为基础的依存句法分析。我们学习的神经网络表示使用大量的自动解析的句子增强的黄金语料库。给定这个固定的网络表示，我们使用具有波束搜索解码的结构化感知器来学习最后一层。在Penn Treebank上，我们的解析器达到了94.26%的未标记和92.41%的标记附件准确率，据我们所知，这是斯坦福大学迄今为止最好的准确率。我们还提供了深入的烧蚀分析，以确定我们的模型的哪些方面提供了最大的准确性增益。
2015-06-19 cs.CL
A Graph-Based Neural Model for End-to-End Frame Semantic Parsing
Tianjin University（天津大学）
框架语义解析是近年来备受关注的基于框架网的语义分析任务。该任务通常依次包括三个子任务：（1）目标识别，（2）框架分类和（3）语义角色标注。这三个子任务紧密相关，以往的研究将它们单独建模，忽略了它们之间的内在联系，同时也导致了错误传播问题。在这项工作中，我们提出了一个端到端的神经模型来联合处理任务。具体地说，我们采用了一种基于图的方法，把框架语义解析看作是一个图的构造问题。所有的谓词和角色被视为图节点，它们之间的关系被视为图边。在两个框架语义解析基准数据集上的实验结果表明，该方法具有很强的竞争力，性能优于流水线模型。
2021-09-25 cs.CL
Coarse-to-Fine Decoding for Neural Semantic Parsing
Institute for Language, Cognition and Computation（语言、认知与计算研究所）；University of Edinburgh（爱丁堡大学）
语义解析旨在将自然语言语句映射为结构化的意义表示。在这项工作中，我们提出了一个结构感知的神经架构，它分解成两个阶段的语义解析过程。给定一个输入话语，我们首先生成其含义的粗略草图，其中低级别信息（如变量名和参数）被掩盖。然后，我们通过考虑自然语言输入和草图本身来填充缺失的细节。四个不同领域和意义表征的数据集上的实验结果表明，我们的方法不断提高性能，实现竞争力的结果，尽管使用相对简单的解码器。
2018-05-12 cs.CL
A neural joint model for Vietnamese word segmentation, POS tagging and dependency parsing
The University of Melbourne（墨尔本大学）；VinAI Research（VinAI研究院）
我们提出了第一个多任务学习模型联合越南语分词，词性（POS）标记和依存句法分析。特别地，我们的模型用基于BiLSTM-CRF的神经层（Huang et al.，2015）用于分词和POS标记。在越南基准数据集上的实验结果表明，我们的联合模型获得了最先进或有竞争力的性能。
2019-11-11 cs.CL
Neural Combinatory Constituency Parsing
Tokyo Metropolitan University（东京都立大学）
我们提出了两个快速的神经组合模型的选区分析：二进制和多分支。我们的模型将自下而上的解析过程分解为：1）标记、标签和二进制方向或块的分类; 2）基于计算出的方向或块的向量组合。这些模型具有理论上的次二次复杂性和经验上的线性复杂性。二元模型在Penn Treebank上的F1得分为92.54，速度为1327.2 sents/sec。这两个模型与XLNet提供接近国家的最先进的准确性为英语。在Penn树库、汉语树库和Keyaki树库（日语）的训练和推理过程中观察到了语言的句法分支倾向和中心化。
2021-06-12 cs.CL
Read, Tag, and Parse All at Once, or Fully-neural Dependency Parsing
University of Wrocław（弗罗茨瓦夫大学）
我们提出了一个依赖解析器实现为一个单一的深神经网络，读取单词的正字法表示，并直接生成依赖关系和它们的标签。与典型的解析方法不同，该模型不需要对句子进行词性（POS）标记。通过适当的正则化和多任务学习实现的额外监督，我们在通用递归树库的斯拉夫语言上达到了最先进的性能：除了字符之外没有其他语言特征，我们的解析器与在完美的POS标签上训练的基于转换的系统一样准确。
2017-06-05 cs.CL
Robust Incremental Neural Semantic Graph Parsing
University of Oxford（牛津大学）；DeepMind
将句子解析为具有语言表达性的语义表示是自然语言处理的一个关键目标。然而，统计分析几乎完全集中在双语依赖或特定领域的逻辑形式。我们提出了一个神经编码器-解码器转换为基础的解析器，这是第一个全覆盖的最小递归语义（MRS）的语义图解析器。该模型架构使用基于堆栈的嵌入功能，预测图与unexicalized谓词及其令牌对齐。我们的解析器比MRS上基于注意力的基线更准确，并且在附加的抽象意义表示（AMR）基准上，GPU批处理使其比基于语法的高精度解析器快一个数量级。此外，我们的MRS解析器的86.69%Smatch分数高于AMR解析的上限，使MRS成为一个有吸引力的选择作为语义表示。
2017-07-27 cs.CL
Transferring Neural Potentials For High Order Dependency Parsing
本文提出一种利用双仿射分数和双分解推理的端到端方法，将一阶依存信息转移至高阶，以提升依存句法分析准确率。
2023-06-18 cs.CL
Parsing Speech: A Neural Approach to Integrating Lexical and Acoustic-Prosodic Information
University of Washington（华盛顿大学）；Toyota Technological Institute at Chicago（芝加哥丰田理工学院）；UNC Chapel Hill（北卡罗来纳大学教堂山分校）
在会话语音中，声学信号提供线索，帮助听众消除歧义困难的分析。为了自动解析口语，我们引入了一个模型，该模型使用卷积神经网络在能量和音高轨迹上集成了转录文本和声学韵律特征，并结合了基于注意力的递归神经网络，该网络接受文本和韵律特征。我们发现，不同类型的声学韵律功能是单独的帮助，并在统计上显着改善解析和不流利检测F1分数在一个强大的纯文本的基线。对于这项研究与已知的句子边界，错误分析表明，声学韵律功能的主要好处是在句子不流利，附件的决定是最改善，和转录错误掩盖收益韵律。
2018-04-15 cs.CL cs.LG cs.SD
Second-Order Semantic Dependency Parsing with End-to-End Neural Networks
School of Information Science and Technology（信息科学与技术学院）；ShanghaiTech University（上海科技大学）
语义依存句法分析的目的是识别句子中形成图的词之间的语义关系。在本文中，我们提出了一个二阶语义依赖分析器，它不仅考虑到个人的依赖边缘，但也对边缘之间的相互作用。我们表明，二阶解析可以近似使用平均场（MF）变分推理或循环的信念传播（LBP）。我们可以将这两种算法展开为神经网络的递归层，因此可以以端到端的方式训练解析器。我们的实验表明，我们的方法达到了国家的最先进的性能。
2021-02-24 cs.CL cs.LG
A Top-Down Neural Architecture towards Text-Level Parsing of Discourse Rhetorical Structure
Soochow University（苏州大学）
语篇修辞结构的文本级句法分析在自然语言的深层理解和各种下游应用中具有重要意义，近年来受到越来越多的关注。然而，以往的文本级语篇分析研究都是采用自底向上的方法，这使得DRS的确定仅限于局部信息，不能充分利用语篇整体信息。在本文中，我们证明从计算和感知的角度来看，自顶向下的架构更适合于文本级DRS解析。在此基础上，我们提出了一个自顶向下的神经网络结构的文本级DRS解析。特别是，我们铸造的话语分析作为一个递归的分裂点排名任务，其中一个分裂点被分类到不同的水平，根据其排名和与之相关的基本话语单位（EDU）相应地安排。以这种方式，我们可以通过具有内部堆栈的编码器-解码器将完整的DRS确定为分层树结构。在英文RST-DT语料库和中文CDTB语料库上的实验结果表明，本文提出的自顶向下方法对文本级DRS句法分析是有效的。
2021-05-19 cs.CL
Grammatical Sequence Prediction for Real-Time Neural Semantic Parsing
Bloomberg（彭博）
虽然序列到序列（seq 2seq）模型在许多自然语言处理任务中实现了最先进的性能，但对于实时的【形】应用程序来说，它们可能太慢。一个性能瓶颈是在大量词汇表上预测最有可能的下一个标记;规避此瓶颈的方法是当前的研究主题。我们专注于使用seq 2seq模型的语义解析，我们观察到，语法往往存在指定有效的正式表示的话语语义。通过开发一种通用的方法来限制seq 2seq模型的预测，语法上允许的延续，我们到达一个广泛适用的技术，加快语义解析。与没有语法限制的相同神经模型相比，该技术在具有大量词汇的内部数据集上加速了74%。
2019-07-25 cs.CL
Semantic Parsing Natural Language into SPARQL: Improving Target Language Representation with Neural Attention
语义解析是将自然语言句子映射成其意义的形式化表示的过程。在这项工作中，我们使用神经网络的方法来转换自然语言句子到查询的本体数据库中的SPARQL语言。这种方法不依赖于手工规则，高质量的词典，手工构建的模板或其他手工制作的复杂结构。我们的方法是基于向量空间模型和神经网络。该模型基于两个学习步骤。第一步生成自然语言和SPARQL查询的句子的向量表示。第二步使用此向量表示作为神经网络（具有注意力机制的LSTM）的输入，以生成能够编码自然语言和解码SPARQL的模型。
2018-03-12 cs.CL
Semantic Graph Parsing with Recurrent Neural Network DAG Grammars
Samsung AI Centre（三星人工智能中心）；Peak AI；University of Edinburgh（爱丁堡大学）
语义解析是一种有向无环图（DAG），因此语义解析应建模为图预测。但是预测图提出了困难的技术挑战，因此使用易于理解的序列模型预测语义解析数据集中的线性图更简单，也更常见。这种简单性的代价是预测的字符串可能不是格式良好的图。我们提出循环神经网络DAG语法，一个图形感知的序列模型，确保只有良好的图形，同时避开了许多困难的图形预测。我们测试我们的模型上的并行意义银行-多语言语义图银行。我们的方法在英语中产生了有竞争力的结果，并为德语，意大利语和荷兰语建立了第一个结果。
2019-10-20 cs.CL
Two Local Models for Neural Constituent Parsing
Singapore University of Technology and Design（新加坡科技设计大学）
非局部特征已经被句法分析器用于捕获子输出结构之间的依赖关系。这些特性是最先进的统计解析器成功的关键。然而，随着深度学习的兴起，已经表明，由于包含全局语法信息的密集神经输入表示的力量，局部输出决策可以提供极具竞争力的准确性。我们研究了两个概念上简单的局部神经元模型的成分分析，使当地的决定，成分跨度和CFG规则，分别。与之前的研究结果一致，我们的最佳模型给出了极具竞争力的结果，在PTB上实现了92.4%的标记括号F1评分，在CTB 5.1上实现了87.3%。
2018-08-28 cs.CL
Neural CRF Parsing
University of California, Berkeley（加州大学伯克利分校）
本文描述了一种结合CRF句法分析的精确动态规划和神经网络方法丰富的非线性特征的句法分析模型。我们的模型在结构上是一个CRF，锚定规则的生产因素，但不是线性的潜在功能的基础上稀疏的功能，我们使用的非线性潜力计算通过前馈神经网络。因为势函数对于锚定规则来说仍然是局部的，所以结构化推理（CKY）与稀疏情况相比没有变化。在学习期间计算梯度涉及反向传播从标准CRF充分统计（预期规则计数）形成的误差信号。仅使用密集特征，我们的神经CRF已经超过了强基线CRF模型（Hall等人，2014年）。结合稀疏特征，我们的系统在Penn Treebank的第23节上实现了91.1 F1，并且在一系列语言上更普遍地优于最好的先前单个解析器结果。
2015-07-13 cs.CL cs.NE
NLNDE at CANTEMIST: Neural Sequence Labeling and Parsing Approaches for Clinical Concept Extraction
Bosch Center for Artificial Intelligence（博世人工智能中心）；Saarland University（萨尔大学）；University of Sydney（悉尼大学）
临床信息的识别和标准化，如肿瘤形态的提及，是一个重要的，但复杂的过程，包括多个子任务。在本文中，我们描述了我们的系统CANTEMIST共享任务，它能够提取，规范化和排名ICD代码从西班牙电子健康记录使用神经序列标签和解析方法与上下文感知嵌入。我们最好的系统实现了85.3 F1，76.7 F1和77.0 MAP的三个任务，分别。
2020-10-23 cs.CL cs.LG
Less is More: A Lightweight and Robust Neural Architecture for Discourse Parsing
Texas A&M University（德州农工大学）
针对复杂特征提取器在小数据集上易导致过拟合的问题，提出一种仅利用自注意力模块间接利用预训练模型的轻量级神经架构，在三个篇章解析任务上以更少参数和时间实现了更优的泛化性、鲁棒性与系统性能。
2023-09-08 cs.CL
Exploring Contextualized Neural Language Models for Temporal Dependency Parsing
Harvard University（哈佛大学）；Raytheon BBN Technologies（雷神BBN技术公司）
提取事件和时间表达式之间的时间关系具有许多应用，例如构建事件时间轴和与时间相关的问答。这是一个具有挑战性的问题，它需要句子或话语级别的句法和语义信息，这些信息可以由诸如BERT（Devlin等人，2019年）。在本文中，我们开发了几种基于BERT的时态依赖解析器的变体，并证明了BERT显着改进了时态依存句法分析（Zhang和Xue，2018 a）。我们还详细分析了为什么深度情境化神经LM有帮助以及它们可能存在的不足。源代码和资源可在https://github.com/bnmin/tdp_ranking上获得。
2020-10-03 cs.CL
Effective Inference for Generative Neural Parsing
University of California, Berkeley（加州大学伯克利分校）
生成神经模型最近取得了国家的最先进的成果选区解析。然而，由于没有一个可行的搜索过程，它们的使用到目前为止仅限于重新排序解码更容易处理的外部解析器的输出。我们描述了一种替代传统的动作级束搜索用于判别神经模型，使我们能够直接在这些生成模型解码。然后，我们表明，通过改进我们的基本候选人选择策略，并使用粗修剪功能，我们可以提高准确性，同时探索显着更少的搜索空间。应用于Choe和Charniak（2016）的模型，我们的推理程序在Penn Treebank的第23节上获得了92.56 F1，超过了单模型系统的现有最先进结果。
2017-07-27 cs.CL
Instance-Based Neural Dependency Parsing
NAIST（日本国立情报学研究所）；RIKEN（理化学研究所）；Tohoku University（东北大学）；Preferred Networks, Inc.（Preferred Networks公司）；Langsmith, Inc.（Langsmith公司）
在实际应用中，模型预测的可解释的原理是至关重要的。我们开发的神经模型，拥有一个可解释的推理过程的依存句法分析。我们的模型采用基于实例的推理，其中依赖性边缘被提取并通过将它们与训练集中的边缘进行比较来标记。训练边缘被明确地用于预测;因此，很容易掌握每个边缘对预测的贡献。我们的实验表明，我们的基于实例的模型实现了竞争力的准确性与标准的神经模型，并具有合理的基于实例的解释。
2021-09-28 cs.CL cs.LG
GRILLBot: An Assistant for Real-World Tasks with Neural Semantic Parsing and Graph-Based Representations
University of Glasgow（格拉斯哥大学）
GRILLBot是2022年Alexa Prize TaskBot Challenge的获奖系统，正在向下一代多模式任务助手迈进。它是一个语音助手，可以指导用户完成烹饪和家居装修领域的复杂现实任务。这些都是长期和复杂的任务，需要灵活的调整和适应。该演示突出了核心方面，包括用于上下文语义解析的新型神经决策解析器，支持条件执行的新“TaskGraph”状态表示，基于知识的闲聊，以及使用图像和视频自动丰富任务。
2022-08-31 cs.AI cs.CL
Neural Ranking Models for Temporal Dependency Structure Parsing
Brandeis University（布兰迪斯大学）
我们设计并构建了第一个神经时序依赖解析器。它利用神经排序模型与最小的特征工程，并解析时间表达式和事件在文本中的时间依赖树结构。我们评估我们的解析器在两个领域：新闻报道和叙事故事。在一个只分析的评估设置，其中提供黄金时间表达式和事件，我们的解析器达到0.81和0.70的F-分数无标记和标记的解析分别，结果是非常有竞争力的替代方法。在自动识别时间表达式和事件的端到端评估设置中，我们的解析器在两个数据域上都超过了两个强基线。我们的实验结果和讨论揭示了时间依赖结构在不同领域的性质，并提供了见解，我们相信这将是有价值的，在这一领域的未来研究。
2018-09-02 cs.CL
SLING: A framework for frame semantic parsing
Google Inc.（谷歌公司）
我们描述了SLING，一个用于将自然语言解析成语义框架的框架。SLING支持通用的基于转换的神经网络解析，具有双向LSTM输入编码和基于转换的递归单元（TBRU）用于输出解码。解析模型只使用文本标记作为输入进行端到端的训练。转换系统被设计成直接输出框架图，而不需要任何介入的符号表示。SLING框架包括一个有效的和可扩展的帧存储实现，以及一个神经网络JIT编译器，用于在解析过程中进行快速推理。SLING是用C++实现的，可以在GitHub上下载。
2017-10-19 cs.CL
Neural Probabilistic Model for Non-projective MST Parsing
Language Technologies Institute（语言技术研究所）；Carnegie Mellon University（卡内基梅隆大学）
在本文中，我们提出了一个概率分析模型，它定义了一个适当的条件概率分布的非投射依赖树为一个给定的句子，使用神经表示作为输入。神经网络架构基于双向LSTM-CNN，通过使用双向LSTM和CNN的组合，自动受益于单词和字符级表示。在神经网络之上，我们引入了一个概率结构层，定义了一个非投影树上的条件对数线性模型。我们在14种不同语言的17个不同数据集上评估了我们的模型。通过利用Kirchhoff的矩阵树定理（Tutte，1984），可以有效地计算分区函数和边缘，从而通过反向传播实现直接的端到端模型训练过程。我们的解析器在九个数据集上实现了最先进的解析性能。
2017-09-03 cs.CL cs.LG stat.ML
Fast Rule-Based Decoding: Revisiting Syntactic Rules in Neural Constituency Parsing
Sun Yat-sen University（中山大学）
最近的研究集中在编码器结构的神经选区解析，而很少的发展致力于解码器。以前的研究表明，基于句法规则的概率统计方法在选区分析中特别有效，而在以前的工作中，可能由于其巨大的计算需求，在神经模型的训练过程中不使用句法规则。在本文中，我们首先实现了一个快速CKY解码过程利用GPU加速，在此基础上，我们进一步推导出一个语法规则为基础的（规则约束）CKY解码。在实验中，我们的方法在PTB和CTB数据集上分别获得了95.89和92.52的F1，与以前的方法相比，这表明了显着的改善。此外，我们的解析器实现强大的和有竞争力的跨域性能在zero-shot设置。
2022-12-16 cs.AI cs.CL cs.LG
Semi-Supervised Neural System for Tagging, Parsing and Lematization
Institute of Computer Science, Polish Academy of Sciences（波兰科学院计算机科学研究所）
本文介绍了ICS PAS系统，该系统参加了CoNLL 2018共享任务，从原始文本到通用语法的多语言解析。该系统由联合训练的tagger，lemmatizer和依赖解析器组成，它们基于biLSTM网络提取的特征。该系统使用全连接和扩张卷积神经架构。我们的方法的新颖之处在于使用了一个额外的损失函数，它减少了预测依赖图中的周期数，并使用自训练来提高系统性能。拟议的系统，即ICS PAS（Warszawa），在正式评估中排名第3/第4，获得以下总体结果：73.02（LAS），60.25（MLAS）和64.44（BLEX）。
2020-04-26 cs.CL
Transfer Learning for Neural Semantic Parsing
语义解析的目标是将自然语言映射为机器可解释的语义表示语言（MRL）。限制深度学习技术用于语义解析的充分探索的约束之一是缺乏足够的注释训练数据。在本文中，我们提出了使用序列到序列的语义解析的多任务设置，重点是迁移学习。我们探索了三种用于序列到序列建模的多任务架构，并将其性能与独立训练的模型进行了比较。我们的实验表明，多任务设置有助于迁移学习从一个辅助任务与大的标记数据到一个目标任务与较小的标记数据。在我们的内部数据集中，我们看到了1.0%到4.4%的绝对准确率增益，并且在具有句法和语义辅助任务的ATIS语义解析任务上，我们也看到了2.5%到7.0%的良好增益。
2017-06-14 cs.CL cs.LG
Is POS Tagging Necessary or Even Helpful for Neural Dependency Parsing?
Institute of Artificial Intelligence, School of Computer Science and Technology, Soochow University（苏州大学计算机科学与技术学院人工智能研究院）
在前深度学习时代，词性标记已被认为是依存句法分析中特征工程不可或缺的成分。但是，相当多的工作集中在联合标记和解析模型，以避免错误传播。相比之下，最近的研究表明，POS标签变得不那么重要，甚至无用的神经解析，特别是当使用基于字符的单词表示。然而，无论是从经验上还是从语言学上，都没有足够的研究关注这一问题。为了回答这个问题，我们设计并比较了三种典型的多任务学习框架，共享-松散，共享-紧密和堆栈，用于基于最先进的biaffine解析器的联合标记和解析。考虑到它是便宜得多的POS标签注释比解析树，我们还调查了大规模异构POS标签数据的利用。我们在英文和中文数据集上进行了实验，结果清楚地表明，使用Stack联合框架时，词性标注（同质和异构）仍然可以显着提高解析性能。我们进行详细的分析，并从语言方面获得更多的见解。
2020-08-14 cs.CL cs.LG
Fast and Accurate Neural CRF Constituency Parsing
School of Computer Science and Technology, Soochow University（苏州大学计算机科学与技术学院）
概率分布估计是自然语言处理领域的核心问题之一。然而，在深度学习（DL）和前DL时代，与线性链CRF在序列标记任务中的广泛应用不同，很少有工作将树结构CRF应用于选区解析，主要是由于内部-外部算法的复杂性和效率低下。这项工作提出了一个快速，准确的神经CRF选区解析器。其核心思想是通过直接在GPU上进行大张量运算来批量化损失计算的内部算法，同时通过有效的反向传播来避免梯度计算的外部算法。我们还提出了一个简单的两阶段括号，然后标记解析方法，以进一步提高效率。为了提高分析性能，灵感来自依存句法分析的最新进展，我们引入了一个新的评分架构的基础上边界表示和biaffine注意，和一个有益的辍学策略。在PTB、CTB5.1和CTB 7上的实验表明，我们的两阶段CRF句法分析器在w/o和w/ BERT两种设置下都达到了最新的性能水平，每秒可以分析超过1,000个句子。我们在https://github.com/yzhangcs/crfpar上发布代码。
2020-08-09 cs.CL
Neural-Symbolic Inference for Robust Autoregressive Graph Parsing via Compositional Uncertainty Quantification
UC San Diego（加州大学圣迭戈分校）；Google Research（谷歌研究院）；Harvard University（哈佛大学）
预训练的seq2seq模型在具有丰富注释数据的图语义解析方面表现出色，但对分布外（OOD）和长尾示例的推广较差。相比之下，符号解析器在人口级指标上表现不佳，但在OOD和尾部泛化方面表现出独特的优势。在这项工作中，我们研究了由模型置信度提供信息的组合感知神经符号推理方法，在子图级别（即，节点和边），并在神经解析器中精确地瞄准具有高不确定性的子图分量。因此，该方法结合了神经和符号方法在捕获图预测的不同方面的独特优势，从而在跨域和尾部都具有全面的泛化性能。我们实证研究的方法在英语资源语法（ERG）的分析问题上的一套不同的标准领域和七个面向对象的语料库。我们的方法分别使神经和符号方法的合计Smatch得分的错误减少了35.26%和35.60%，并且在神经模型的关键尾部语言类别中获得了14%的绝对准确度，优于先前不考虑组合性或不确定性的最先进方法。
2023-01-26 cs.CL
Neural Constituency Parsing of Speech Transcripts
Macquarie University（麦考瑞大学）
本文研究了一种神经自注意句法分析器对转录语音的分析性能。语音呈现出书面文本中不存在的解析挑战，例如缺少标点符号和存在语音不流畅（包括填充停顿，重复，更正等）。对于传统的语法分析器来说，不流利性尤其成问题，因为它通常根本找不到任何编辑过的不流利性节点。这激发了特殊的不流利检测系统的开发，以及专门处理不流利的分析器的特殊机制。然而，我们在这里表明，神经解析器可以找到编辑的不流利节点，最好的神经解析器找到它们的准确性超过了专门的不流利检测系统，从而使这些专门的机制不必要。本文还研究了一种修改后的损失函数，把更多的重量编辑节点。它还描述了树转换，简化了不流利检测任务，提供替代编码的不流利和句法信息。
2020-04-10 cs.CL
Exploring Neural Models for Parsing Natural Language into First-Order Logic
Adobe Research（Adobe研究院）；Adobe Systems（Adobe公司）
语义解析是从自然语言文本中获得机器可解释的表示的任务。我们考虑这样一个正式的表示-一阶逻辑（FOL），并探讨在解析英语句子FOL的神经模型的能力。我们将FOL解析建模为序列到序列映射任务，其中给定一个自然语言句子，使用LSTM将其编码为中间表示，然后使用解码器顺序生成相应FOL公式中的谓词。我们改进了标准的编码器-解码器模型，通过引入一个变量对齐机制，使其能够在预测的FOL中跨谓词对齐变量。我们进一步显示的有效性预测的FOL实体的类别-一元，二元，变量和范围的实体，在每个解码器的步骤作为一个辅助任务，提高所产生的FOL的一致性。我们进行严格的评估和广泛的消融。我们还打算发布我们的代码以及大规模FOL数据集和模型，以帮助进一步研究NLP中基于逻辑的解析和推理。
2020-02-16 cs.CL cs.LG
Improving Neural Parsing by Disentangling Model Combination and Reranking Effects
University of California, Berkeley（加州大学伯克利分校）
最近的工作提出了几个生成神经模型的选区解析，实现国家的最先进的结果。由于在这些生成模型中直接搜索是困难的，它们主要用于从解码更直接的基本解析器中重新核候选输出。我们首先提出了一个算法，直接搜索这些生成模型。然后，我们证明，重新评分的结果至少部分是由于隐式模型组合，而不是重新排序的影响。最后，我们证明了显式模型组合可以进一步提高性能，当仅在黄金数据上训练时，PTB上的最新数字为94.25 F1，当使用外部数据时，PTB上的最新数字为94.66 F1。
2017-07-10 cs.CL
Neural Network based Deep Transfer Learning for Cross-domain Dependency Parsing
Nanjing Normal University（南京师范大学）
在本文中，我们描述了我们的团队提交给NLPCC 2019跨域依存句法分析的半监督域自适应子任务共享任务的神经依赖解析器的细节。我们的系统是基于堆栈指针网络（STACKPTR）。考虑到语境的重要性，我们利用自我注意力机制对表征向量进行语义捕捉。此外，为了适应三个不同的领域，我们利用基于神经网络的深度迁移学习，将源域中的预训练部分网络分别转移到三个目标域（产品评论，产品博客和网络小说）的深度神经网络的一部分。三个目标域上的结果表明，我们的模型具有竞争力。
2019-08-08 cs.CL
Exploring Neural Methods for Parsing Discourse Representation Structures
Center for Language and Cognition, University of Groningen（格罗宁根大学语言与认知中心）
神经方法最近在语义解析方面取得了一些成功，尽管它们还没有面对基于形式语义产生意义表示的挑战。我们提出了一个序列到序列的神经语义解析器，能够产生高精度的英语句子的话语表示结构（DRS），优于传统的DRS解析器。为了便于学习的输出，我们表示DRS作为一个序列的扁平条款，并介绍了一种方法来验证所产生的DRS是格式良好，可解释的。我们比较了使用字符和单词作为输入的模型，发现（有点令人惊讶）前者比后者表现得更好。我们表明，消除变量名从输出使用德Bruijn指数提高解析器的性能。添加银级训练数据可进一步提高性能。
2018-10-30 cs.CL
Neural Generative Rhetorical Structure Parsing
DeepMind（深度思维）；University of Cambridge（剑桥大学）
修辞结构树已被证明是有用的几个文档级的任务，包括摘要和文档分类。以前的方法来解析数据集使用判别模型;然而，这些模型比生成模型的样本效率低，并且解析数据集通常很小。在本文中，我们提出了第一个生成式模型的句法分析。我们的模型是一个文档级的RNN语法（RNNG），具有自底向上的遍历顺序。我们表明，我们的解析器的遍历顺序，以前的束搜索算法的RNNG有一个左分支的偏见，这是不适合的RNNG解析。我们开发了一种新的束搜索算法，跟踪结构和单词生成的行动，而不表现出这种分支的偏见，并导致在6.8和2.9的绝对改善未标记和标记的F1比以前的算法。总的来说，我们的生成模型比具有相同特征的判别模型高出2.6个F1点，并达到了与最先进水平相当的性能，优于最近一项不使用额外训练数据的复制研究中所有已发布的解析器。
2019-09-24 cs.CL
Span-Based Constituency Parsing with a Structure-Label System and Provably Optimal Dynamic Oracles
Oregon State University（俄勒冈州立大学）
近年来，由于神经网络的出现，使用高效贪婪转换系统的解析精度得到了显著提高。尽管在依存句法分析中取得了惊人的成果，然而，神经模型在选区句法分析中并没有超过最先进的方法。为了解决这个问题，我们引入了一个新的移位归约系统，其堆栈仅包含句子跨度，由最少的LSTM特征表示。我们还设计了第一个可证明的最佳动态预言机选区分析，它运行在摊销O（1）的时间，相比标准的依存句法分析预言机O（n^3）。使用这个预言机进行训练，我们在英语和法语上都获得了最好的F1分数，这是任何不使用重新排序或外部数据的解析器的最好成绩。
2016-12-20 cs.CL
Is neural semantic parsing good at ellipsis resolution, or isn't it?
Center for Language and Cognition（语言认知中心）；University of Groningen（格罗宁根大学）
针对神经语义解析器在强上下文敏感的动词短语省略现象上的表现问题，本文构建含120个省略案例的挑战集，测试发现解析器表现不佳，数据增强可改善，且错误源于复杂语境而非语义复制难度。
2025-08-20 cs.CL
Dependency Parsing with Dilated Iterated Graph CNNs
依赖关系解析是将语言知识注入许多下游任务的有效方法，许多从业者希望大规模有效地解析句子。GPU硬件的最新进展使神经网络能够在以前的最佳模型上实现显著的收益，这些模型仍然无法利用GPU的大规模并行性能力，因为它们需要顺序处理句子。作为回应，我们提出了扩张迭代图卷积神经网络（DIG-CNN），用于基于图的依存句法分析，这是一种允许高效端到端GPU解析的图卷积架构。在英语Penn TreeBank基准的实验中，我们表明DIG-CNN的性能与一些最好的神经网络解析器相当。
2017-07-21 cs.CL
Weakly-supervised Neural Semantic Parsing with a Generative Ranker
Institute for Language, Cognition and Computation（语言、认知与计算研究所）；School of Informatics, University of Edinburgh（爱丁堡大学信息学院）
弱监督语义解析器在话语-指称对上进行训练，将逻辑形式视为潜在的。由于搜索空间大和逻辑形式的虚假性，该任务具有挑战性。在本文中，我们介绍了一个神经分析器排名系统的弱监督语义解析。该分析器使用指称的线索从话语生成候选树结构逻辑形式。这些候选人，然后排名的基础上两个标准：他们的可能性执行正确的表示，和他们的协议与话语语义。我们提出了一个预定的培训程序，以平衡这两个目标的贡献。此外，我们建议使用一个神经编码的词典注入先验领域知识的模型。三个Freebase数据集上的实验证明了我们的语义解析器的有效性，达到了最先进的范围内的结果。
2018-08-23 cs.CL
