Global Greedy Dependency Parsing
Shanghai Jiao Tong University（上海交通大学）
大多数句法依存句法分析模型可以分为两类：基于转换的模型和基于图的模型。前者具有线性时间复杂度的高推理效率，但依赖于部分构建的解析树的堆叠或重新排序来构建完整的解析树，并且由于动态预言训练的必要性而导致训练速度较慢。后者，基于图的模型，可能拥有更好的性能，但不幸的是被多项式时间推理破坏。在本文中，我们提出了一个新的分析顺序的目标，从而在一个新的依存句法分析模型能够在全局（句子范围内）特征提取的图形模型和线性时间推理的过渡模型。建议的全球贪婪分析器只使用两个弧建设行动，左和右弧，投影分析。当配备两个额外的非投射弧建设行动，建议的解析器也可以顺利地支持非投射解析。使用多个基准树库，包括Penn树库（PTB），CoNLL-X树库，和通用Dependency树库，我们评估我们的解析器，并证明所提出的新的解析器实现了更快的训练和解码的良好性能。
2020-02-12 cs.CL
Combining (second-order) graph-based and headed-span-based projective dependency parsing
ShanghaiTech University（上海科技大学）；Shanghai Engineering Research Center of Intelligent Vision and Imaging（上海智能视觉与成像工程研究中心）
基于图的方法将依赖树的得分分解为依赖弧的得分，几十年来一直是依存句法分析中的流行方法。最近，\citet{Yang2022Span}提出了一种基于头部跨度的方法，该方法将依赖树的得分分解为头部跨度的得分。它们显示了对基于一阶图的方法的改进。然而，他们的方法根本不对依赖弧进行评分，并且依赖弧由他们的实时算法隐式地诱导，这可能是次优的，因为建模依赖弧直观地有用。在这项工作中，我们的目标是结合基于图形和头部跨度为基础的方法，将弧分数和头部跨度分数到我们的模型。首先，我们展示了一种直接的方法来结合$O(n^4)$解析复杂性。为了降低复杂性，灵感来自经典的头部分裂技巧，我们展示了两个$O(n^3)$动态规划算法结合第一和第二阶图为基础的方法和头部跨度。我们在PTB、CTB和UD上的实验表明，结合基于一阶图和基于头跨度的方法是有效的。我们还确认了基于二阶图的解析在深度学习时代的有效性，然而，当结合基于二阶图和基于头跨度的方法时，我们观察到边际或没有改进。我们的代码可在\url{https://github.com/sustcsonglin/span-based-dependency-parsing}上公开获取。
2022-03-09 cs.CL
Semantic Parsing: Syntactic assurance to target sentence using LSTM Encoder CFG-Decoder
University of Sao Paulo - USP（圣保罗大学）；Institute of Mathematics and Statistics - IME（数学与统计学院）
语义解析可以定义为将自然语言句子映射成其含义的机器可解释的形式化表示的过程。使用LSTM编码器-解码器神经网络的语义解析已经成为很有前途的方法。然而，自然语言的人工自动翻译并不为生成的句子提供语法性保证，这样的保证对于实际情况是特别重要的，在实际情况中，如果句子不符合语法，则数据库查询可能导致要害差错。在这项工作中，我们提出了一个神经架构称为编码器CFG解码器，其输出符合给定的上下文无关文法。结果表明，任何实现这种架构显示其正确性，并提供基准精度水平优于文献。
2018-07-18 cs.CL
An Empirical Study for Vietnamese Constituency Parsing with Pre-training
University of Information Technology Vietnam National University Ho Chi Minh City（胡志明市越南国家大学信息技术大学）
在这项工作中，我们使用一个基于跨度的方法，越南选区解析。我们的方法遵循自注意编码器架构和使用CKY风格的推理算法的图表解码器。我们提出了我们的经验方法的比较的实验结果分析，使用预训练模型XLM-Roberta和PhoBERT在越南数据集VietTreebank和NIIVTB 1。结果表明，我们的XLM-Roberta模型的F1得分明显优于其他预训练模型，VietTreebank为81.19%，NIIVTB 1为85.70%。
2020-10-20 cs.CL
Bracketing Encodings for 2-Planar Dependency Parsing
Universidade da Coruña（拉科鲁尼亚大学）；CITIC；FASTPARSE Lab（FASTPARSE实验室）；LyS Research Group（LyS研究组）；Departamento de Ciencias de la Computación y Tecnologías de la Información（计算机科学与信息技术系）
我们提出了一个括号为基础的编码，可用于表示任何2平面依赖树在一个句子的长度为n的n个标签的序列，从而提供几乎全部覆盖的交叉弧序列标签解析。首先，我们表明，现有的括号编码解析标签只能处理一个非常温和的扩展投影树。其次，我们通过考虑众所周知的2-平面性的性质来克服这个限制，2-平面性存在于树库中的绝大多数依赖句法结构中，即，依赖关系树的弧可以被分成两个平面，使得给定平面中的弧不交叉。我们利用这个属性来设计一种方法，该方法平衡括号，并编码属于每个平面的弧，允许几乎不受限制的非投影（圆99.9%的覆盖率）在序列标签解析。实验表明，我们的线性化提高了高度非投影树库中原始括号编码的准确性（平均0.4 LAS），同时实现了类似的速度。此外，当PoS标签不用作模型的输入参数时，它们特别适合。
2021-03-22 cs.CL
ÚFAL MRPipe at MRP 2019: UDPipe Goes Semantic in the Meaning Representation Parsing Shared Task
Charles University（查理大学）；Faculty of Mathematics and Physics（数学与物理学院）；Institute of Formal and Applied Linguistics（形式与应用语言学研究所）
我们对CoNLL 2019共享任务跨框架意义表示解析（MRP 2019）的贡献进行了系统描述。建议的架构是我们第一次尝试对语义解析扩展的UDPipe 2.0，一个词形化，词性标注和依存句法分析管道。对于MRP 2019，它具有五种形式和语言上不同的意义表示方法（DM，PSD，EDS，UCCA和AMR），我们提出了一种统一的，语言和框架不可知的图到图神经网络架构。在没有任何关于图结构的知识的情况下，特别是在没有任何语言或框架动机的特征的情况下，我们的系统隐式地对意义表示图进行建模。在修复了人为错误（我们使用了早期提供的测试集分析的错误版本）之后，我们的提交将在竞争评估中获得第三名。我们的系统的源代码可以在https://github.com/ufal/mrpipe-conll2019上获得。
2019-10-24 cs.CL
Deep Multitask Learning for Semantic Dependency Parsing
University of Washington（华盛顿大学）；Carnegie Mellon University（卡内基梅隆大学）
我们提出了一个深度神经架构，将句子解析为三个语义依赖图形式。通过使用高效的、近似弧因子推理和由多层感知器组成的双向LSTM，我们的基础系统能够显著提高语义依存句法分析的最新技术水平，而无需使用手工设计的功能或语法。然后，我们探索两种多任务学习方法-一种是在形式主义中共享参数，另一种是使用高阶结构来联合预测图形。我们发现，这两种方法平均提高了整个形式主义的性能，实现了一个新的艺术状态。我们的代码是开源的，可在www.example.com。
2017-04-25 cs.CL
One Semantic Parser to Parse Them All: Sequence to Sequence Multi-Task Learning on Semantic Parsing Datasets
Amazon Alexa AI（亚马逊Alexa人工智能部门）
语义解析器将自然语言话语映射到意义表示。缺乏一个单一的意义表示标准导致了大量语义解析数据集的产生。为了统一不同的数据集和训练一个单一的模型，他们，我们调查使用多任务学习（MTL）架构。我们使用五个数据集（Geoquery，NLMaps，TOP，Overnight，AMR）进行实验。我们发现，跨数据集共享整个网络的MTL架构比单任务基线产生了具有竞争力或更好的解析准确性，同时将参数总数减少了68%。我们进一步提供的证据表明，MTL也有更好的组合泛化比单任务模型。我们还提出了任务抽样方法的比较，并提出了一个有竞争力的替代广泛的比例抽样策略。
2021-06-14 cs.CL
Multitask Parsing Across Semantic Representations
The Edmond and Lily Safra Center for Brain Sciences（埃德蒙和莉莉·萨夫拉脑科学中心）；Hebrew University of Jerusalem（耶路撒冷希伯来大学）
整合不同类型信息的能力是智力的核心，在允许学习一项任务时，可以从为其他任务学习的概括中受益，这具有巨大的实用价值。在本文中，我们解决了具有挑战性的任务，以提高语义解析的性能，UCCA解析作为测试用例，AMR，SDP和通用语法（UD）解析作为辅助任务。我们在三种语言上进行实验，使用统一的基于转换的系统和学习架构来完成所有解析任务。尽管显着的概念，形式和域的差异，我们表明，多任务学习显着提高UCCA解析域内和域外的设置。
2018-05-01 cs.CL
Compositional Generalization in Semantic Parsing: Pre-training vs. Specialized Architectures
Google Research, Brain Team（谷歌研究院大脑团队）
虽然已知主流机器学习方法具有有限的合成概括能力，但仍不断提出新的架构和技术来解决这一限制。我们调查国家的最先进的技术和架构，以评估其有效性，以提高成分概括的语义解析任务的基础上的SCAN和CFQ数据集。我们发现，掩蔽语言模型（MLM）的预训练对手的扫描启发的架构上的原始的坚持分裂。在一个更复杂的组合任务中，我们表明，与可比的非预训练模型相比，预训练导致性能的显着改善，而建议鼓励在SCAN或算法学习领域进行组合泛化的架构未能导致显着改善。我们使用MLM预训练和中间表示在CFQ组合泛化基准上建立了一个新的最新技术水平。
2021-09-22 cs.CL cs.LG
Don't Parse, Generate! A Sequence to Sequence Architecture for Task-Oriented Semantic Parsing
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Amazon Alexa AI（亚马逊 Alexa 人工智能）；Amazon Alexa Search（亚马逊 Alexa 搜索）；Amazon Alexa（亚马逊 Alexa）
诸如Amazon Alexa、Apple Siri和Google Assistant之类的虚拟助理通常依赖于语义解析组件来理解对其用户说出的话语执行哪些动作。传统上，基于规则或统计的槽填充系统已被用于解析“简单”查询;即，包含单个动作并且可以被分解成一组不重叠的实体的查询。最近，已经提出了移位-归约解析器来处理更复杂的话语。这些方法虽然功能强大，但对可以解析的查询类型有特定的限制;也就是说，它们要求查询可以表示为解析树。在这项工作中，我们提出了一个统一的体系结构的基础上序列到序列模型和指针生成器网络来处理简单和复杂的查询。与其他作品不同，我们的方法不施加任何限制的语义分析模式。此外，实验表明，它在三个公开可用的数据集（ATIS，SNIPS，Facebook TOP）上实现了最先进的性能，与以前的系统相比，精确匹配精度相对提高了3.3%到7.7%。最后，我们展示了我们的方法在两个内部数据集上的有效性。
2020-01-30 cs.CL
Non-Projective Dependency Parsing via Latent Heads Representation (LHR)
在本文中，我们介绍了一种新的方法的基础上，双向循环自编码器进行全局优化的非投射依存句法分析通过半监督学习。句法分析是在神经过程的最后完成的，该神经过程生成了一个潜头表示（LHR），没有任何算法约束，具有线性复杂度。由此产生的“潜在句法结构”可以直接用于其他语义任务。LHR被转换成通常的依赖树计算一个简单的向量相似度。我们相信，我们的模型有潜力与更复杂的国家的最先进的解析架构。
2018-02-06 cs.CL
Fast(er) Exact Decoding and Global Training for Transition-Based Dependency Parsing via a Minimal Feature Set
Cornell University（康奈尔大学）；Oregon State University（俄勒冈州立大学）
我们首先为基于transition的依存句法分析提出了一个最小特征集，延续了Kiperwasser和Goldberg（2016 a）以及Cross和Huang（2016 a）使用双向LSTM特征的最新趋势。我们将我们的最小特征集插入Huang和Sagae（2010）和Kuhlmann et al.（2011）的动态编程框架中，以产生弧混合和弧渴望转换系统的最坏情况O（n^3）精确解码器的第一个实现。利用我们的最小特征，我们还提出了O（n^3）的全局训练方法。最后，使用合奏，包括我们的新的解析器，我们实现了最好的无标签的附件分数报告（据我们所知）的中文树库和“第二最好的”结果的英文Penn树库。
2017-08-30 cs.CL
UniParse: A universal graph-based parsing toolkit
IT University（IT大学）
本文描述了基于图的解析框架和工具包UniParse的设计和使用，该工具包作为开源Python软件包发布。UniParse作为一个框架新颖地简化了基于图的依存句法分析架构的研究原型、开发和评估。UniParse通过为所有依赖解析器组件提供高效、充分独立、易于阅读和易于扩展的实现来实现这一点。我们分发的工具包与现成的配置作为所有当前最先进的一阶基于图的解析器的重新实现，包括编码器和解码器的更高效的Cython实现，以及所需的专门的损失函数。
2018-07-11 cs.CL
Syntax-Semantics Interaction Parsing Strategies. Inside SYNTAGMA
本文讨论了SYNTAGMA，一个基于规则的自然语言处理系统解决棘手的问题，句法歧义减少和词义消歧，以及提供创新和原始的解决方案，成分生成和约束管理。为了深入了解它是如何运作的，该系统的总体架构和组件，以及它的词汇，语法和语义资源进行了描述。在此基础上，本文提出了一种通过句法和语义信息的相互作用进行选择性句法分析的机制，从而使句法分析器对输入文本进行连贯而准确的解释。
2016-01-21 cs.CL
Tetra-Tagging: Word-Synchronous Parsing with Linear-Time Inference
University of California, Berkeley（加州大学伯克利分校）
我们提出了一个选区解析算法，就像一个supertagger，作品通过分配标签，每个字在一个句子。为了最大限度地利用当前的神经架构，该模型以最小的任务特定结构并行地对每个单词的标签进行评分。在评分之后，从左到右的协调阶段在（经验上）线性时间内提取树。我们的解析器在WSJ测试集上达到了95.4 F1，同时与当前最先进的解析器相比，具有相当的精度，也实现了大幅的加速。
2020-06-29 cs.CL
Auxiliary Tasks to Boost Biaffine Semantic Dependency Parsing
Université Paris Cité（巴黎西岱大学）；CNRS（法国国家科学研究中心）
本文提出在双仿射语义依存分析中引入简单辅助任务以打破弧预测的独立性，在保留O(n^2)复杂度和并行架构的同时，于多个英文和法文数据集上实现了适度但系统的性能提升。
2024-02-12 cs.CL
End-to-end Graph-based TAG Parsing with Neural Networks
Department of Linguistics, Yale University（耶鲁大学语言学系）；Elemental Cognition, LLP（Elemental Cognition, LLP（Elemental Cognition有限责任公司））
我们提出了一个基于图的树邻接语法（TAG）解析器，它使用BiLSTM，高速公路连接和字符级CNN。我们最好的端到端解析器，它联合执行超级标记，POS标记和解析，比以前报告的最佳结果高出2.2个LAS和UAS点。基于图的解析架构允许全局推理和丰富的特征表示TAG解析，减轻了基于转换和基于图的解析系统之间的根本权衡。我们还表明，建议的解析器实现最先进的性能在下游任务的解析评估使用文本蕴涵（PETE）和无限依赖恢复。这进一步支持了TAG是一种可行的形式主义的主张，需要丰富的句子结构分析的问题。
2018-04-28 cs.CL
A Dynamic Oracle for Linear-Time 2-Planar Dependency Parsing
Universidade da Coruña（拉科鲁尼亚大学）
我们提出了一个有效的动态预言机用于训练基于2-Planar transition的解析器，一个线性时间解析器，在非投射句法语料库上的覆盖率超过99%。这种新方法在绝大多数测试语言中优于静态训练策略，并且在大多数数据集上的得分优于使用SWAP转换增强的弧混合解析器，后者可以处理不受限制的非投射性。
2018-05-15 cs.CL
An attentive neural architecture for joint segmentation and parsing and its application to real estate ads
Ghent University（根特大学）；imec（imec研究所）
在使用自然语言处理（NLP）技术处理人类产生的文本时，出现的两个基本子任务是（i）将纯文本分割成有意义的子单元（例如，实体），以及（ii）依存句法分析，以建立子单元之间的关系。在本文中，我们开发了一个相对简单和有效的神经联合模型，执行分割和依存句法分析在一起，而不是在大多数国家的最先进的作品一个接一个。我们将特别关注房地产广告设置，旨在将广告转换为结构化描述，我们将其命名为属性树，包括以下任务：（1）识别属性的重要实体（例如，房间）和（2）将它们构造成树格式。在这项工作中，我们提出了一个新的联合模型，能够同时处理这两个任务，并构建属性树（i）避免错误传播，将出现从子任务一个接一个的流水线方式，（ii）利用子任务之间的相互作用。为此，我们对管道方法和新提出的联合模型进行了广泛的比较研究，报告属性树的整体边缘F1得分提高了超过三个百分点。此外，我们提出了注意力方法，以鼓励我们的模型在构建属性树的过程中专注于突出的令牌。因此，我们通过实验证明了所提出的联合模型的注意神经架构的有用性，展示了我们的应用程序的边缘F1分数进一步提高了两个百分点。
2018-03-19 cs.CL
ÚFAL at MRP 2020: Permutation-invariant Semantic Parsing in PERIN
Charles University（查尔斯大学）；Faculty of Mathematics and Physics（数学与物理学院）；Institute of Formal and Applied Linguistics（形式与应用语言学研究所）
我们提出了PERIN，一种新的置换不变的方法来实现图到图的语义解析。PERIN是一个通用的，跨框架和语言独立的体系结构的语义结构的通用建模。我们的系统参与了CoNLL 2020共享任务，跨框架意义表示解析（MRP 2020），在四种语言的五种不同框架（AMR，DRG，EDS，PTG和UCCA）上进行了评估。佩林是这项共同任务的获胜者之一。源代码和预训练模型可在https://github.com/ufal/perin上获得。
2020-11-02 cs.CL
Coarse-to-Fine Decoding for Neural Semantic Parsing
Institute for Language, Cognition and Computation（语言、认知与计算研究所）；University of Edinburgh（爱丁堡大学）
语义解析旨在将自然语言语句映射为结构化的意义表示。在这项工作中，我们提出了一个结构感知的神经架构，它分解成两个阶段的语义解析过程。给定一个输入话语，我们首先生成其含义的粗略草图，其中低级别信息（如变量名和参数）被掩盖。然后，我们通过考虑自然语言输入和草图本身来填充缺失的细节。四个不同领域和意义表征的数据集上的实验结果表明，我们的方法不断提高性能，实现竞争力的结果，尽管使用相对简单的解码器。
2018-05-12 cs.CL
Low-Resource Compositional Semantic Parsing with Concept Pretraining
Amazon Alexa AI（亚马逊Alexa人工智能部门）；Google（谷歌）；Dyania Health（Dyania健康公司）；UMass Amherst（马萨诸塞大学阿默斯特分校）
语义解析通过将自然语言映射到结构化的含义表示，在Alexa、Siri和Google Assistant等数字语音助手中发挥着关键作用。当我们想要通过添加新的域来提高语音助手的功能时，需要使用来自新域的数千个带注释的示例重新训练底层语义解析模型，这既耗时又昂贵。在这项工作中，我们提出了一个架构，自动执行这样的领域自适应，只有少量的元数据的新领域，没有任何新的训练数据（zero-shot）或很少的例子（Few-Shot）。我们使用一个基本的seq2seq（序列到序列）架构，并使用一个概念编码器对其进行增强，该编码器对来自新域的意图和插槽标签进行编码。我们还引入了一种新的以解码器为中心的方法，使用Wikidata对seq2seq模型进行概念感知预训练，并使用它来帮助我们的模型学习重要的概念，并在低资源设置中表现良好。我们报告Few-Shot和zero-shot的结果组成的语义解析的TOPv2数据集，并表明我们的模型优于以前的方法在Few-Shot设置的TOPv2和SNIPS数据集。
2023-01-30 cs.CL
Transferring Neural Potentials For High Order Dependency Parsing
本文提出一种利用双仿射分数和双分解推理的端到端方法，将一阶依存信息转移至高阶，以提升依存句法分析准确率。
2023-06-18 cs.CL
Simple and Accurate Dependency Parsing Using Bidirectional LSTM Feature Representations
Bar-Ilan University（巴伊兰大学）
本文提出了一种基于双向LSTM（BiLSTM）的依存句法分析方案。每个句子标记都与一个BiLSTM向量相关联，该向量在其上下文中表示该标记，特征向量通过连接几个BiLSTM向量来构建。BiLSTM与解析器目标联合训练，从而产生非常有效的解析特征提取器。我们证明了该方法的有效性，通过将其应用到一个贪婪的基于转换的解析器，以及一个全局优化的基于图的解析器。由此产生的解析器具有非常简单的架构，并匹配或超过了最先进的英语和中文的准确性。
2016-07-20 cs.CL
A Truly Joint Neural Architecture for Segmentation and Parsing
Bar Ilan University（巴伊兰大学）
针对形态丰富语言中分割与句法分析流水线误差传播问题，提出基于格表示和弧因子模型的真正联合LLM架构，在希伯来语UD三项任务上达到SOTA。
2024-03-02 cs.AI cs.CL cs.LG
Dependency Parsing with Dilated Iterated Graph CNNs
依赖关系解析是将语言知识注入许多下游任务的有效方法，许多从业者希望大规模有效地解析句子。GPU硬件的最新进展使神经网络能够在以前的最佳模型上实现显著的收益，这些模型仍然无法利用GPU的大规模并行性能力，因为它们需要顺序处理句子。作为回应，我们提出了扩张迭代图卷积神经网络（DIG-CNN），用于基于图的依存句法分析，这是一种允许高效端到端GPU解析的图卷积架构。在英语Penn TreeBank基准的实验中，我们表明DIG-CNN的性能与一些最好的神经网络解析器相当。
2017-07-21 cs.CL
Incremental Parsing with Minimal Features Using Bi-Directional LSTM
Oregon State University（俄勒冈州立大学）
最近，用于解析的神经网络方法已经在很大程度上自动化了个体特征的组合，但仍然依赖于从人类语言直觉创建的（通常是大量的）原子特征，并且潜在地省略了重要的全局上下文。为了进一步将特征工程减少到最低限度，我们使用双向LSTM句子表示来建模只有三个句子位置的解析器状态，它自动识别整个句子的重要方面。该模型在英语贪婪依赖解析器中取得了最先进的结果。我们还介绍了一种新的过渡系统，选区解析，不需要二进制化，并与上述架构，实现国家的最先进的结果之间的贪婪解析器为英语和中文。
2016-06-21 cs.CL
Non-Autoregressive Semantic Parsing for Compositional Task-Oriented Dialog
Facebook（脸书）
与传统的基于单词标记的模型相比，使用序列到序列模型的语义解析允许解析更深的表示。尽管有这些优势，但这些模型在实时会话用例中的广泛采用受到更高计算要求和更高延迟的阻碍。在这项工作中，我们提出了一个非自回归的方法来预测语义解析树与一个有效的seq2seq模型架构。通过将非自回归预测与卷积神经网络相结合，与传统的RNN模型相比，我们实现了显着的延迟增益和参数大小减小。我们的新架构在TOP数据集上实现了高达81%的延迟减少，并在三个不同的语义解析数据集上保持了与非预训练模型的竞争性能。我们的代码可在https://github.com/facebookresearch/pytext上获得
2021-04-11 cs.CL cs.LG
Syntax Aware LSTM Model for Chinese Semantic Role Labeling
Peking University（北京大学）
对于语义角色标注（SRL）任务，传统的方法和最近的基于递归神经网络（RNN）的方法在利用句法分析信息时，都采用了特征工程的方法。在本文中，我们提出了可感知的长短时间记忆（SA-LSTM）。SA-LSTM的结构根据依存句法分析信息进行修改，以架构工程的方式而不是特征工程的方式直接建模解析信息。我们通过实验证明，SA-LSTM从模型架构中获得了更多的改进。此外，根据学生t检验（$p<0.05$），SA-LSTM在CPB 1.0上的表现显著优于最新技术水平。
2017-04-20 cs.CL
Shift-Reduce Task-Oriented Semantic Parsing with Stack-Transformers
Universidade de Vigo（维戈大学）
本文提出基于Stack-Transformers的移进-归约任务型语义解析器，融合自底向上和按序转移系统，在Facebook TOP的高、低资源设置中均优于现有方法。
2024-09-10 cs.CL
A Case Study on Pros and Cons of Regular Expression Detection and Dependency Parsing for Negation Extraction from German Medical Documents. Technical Report
German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）；Oldenburg University（奥尔登堡大学）
我们描述了我们的工作信息抽取在德国写的医疗文件，特别是检测否定使用的架构的基础上UIMA管道。基于我们以前在软件模块上的工作，以涵盖诊断，检查等医学概念，我们采用了一个版本的NegEx正则表达式算法，其中包含大量触发器作为基线。我们展示了如何一个显着较小的触发集是足以实现类似的结果，以减少适应新的文本类型的时间。我们详细说明的问题是否依存句法分析（基于斯坦福CoreNLP模型）是一个很好的选择，并描述了这两种方法的潜力和缺点。
2021-05-20 cs.CL
Structured Sentiment Analysis Using Sequence Labeling as Dependency Graph Parsing
Universidade da Coruña（拉科鲁尼亚大学）；Graz University of Technology（格拉茨工业大学）；University of Copenhagen（哥本哈根大学）
本研究将结构化情感分析转化为依存图解析任务，利用线性化图编码的序列标注方法，在五种语言七个数据集上取得与领先复杂单模型相当的性能。
2026-10-09 cs.CL
Fast and Accurate Neural CRF Constituency Parsing
School of Computer Science and Technology, Soochow University（苏州大学计算机科学与技术学院）
概率分布估计是自然语言处理领域的核心问题之一。然而，在深度学习（DL）和前DL时代，与线性链CRF在序列标记任务中的广泛应用不同，很少有工作将树结构CRF应用于选区解析，主要是由于内部-外部算法的复杂性和效率低下。这项工作提出了一个快速，准确的神经CRF选区解析器。其核心思想是通过直接在GPU上进行大张量运算来批量化损失计算的内部算法，同时通过有效的反向传播来避免梯度计算的外部算法。我们还提出了一个简单的两阶段括号，然后标记解析方法，以进一步提高效率。为了提高分析性能，灵感来自依存句法分析的最新进展，我们引入了一个新的评分架构的基础上边界表示和biaffine注意，和一个有益的辍学策略。在PTB、CTB5.1和CTB 7上的实验表明，我们的两阶段CRF句法分析器在w/o和w/ BERT两种设置下都达到了最新的性能水平，每秒可以分析超过1,000个句子。我们在https://github.com/yzhangcs/crfpar上发布代码。
2020-08-09 cs.CL
Structured Sentiment Analysis as Dependency Graph Parsing
National Library of Sweden（瑞典国家图书馆）；University of Oslo（奥斯陆大学）
结构化情感分析试图从文本中提取完整的意见元组，但随着时间的推移，该任务已被细分为越来越小的子任务，例如，目标提取或目标极性分类。我们认为，这种分裂已成为适得其反，并提出了一个新的统一框架，以纠正这种情况。我们将结构化情感问题转化为依赖图分析，其中节点是情感持有者、目标和表达式的跨度，弧是它们之间的关系。我们在四种语言（英语，挪威语，巴斯克语和加泰罗尼亚语）的五个数据集上进行了实验，并表明这种方法比最先进的基线有了很大的改进。我们的分析表明，用句法依赖信息细化情感图进一步改善了结果。
2021-05-30 cs.CL
Discontinuous Constituent Parsing with Pointer Networks
Universidade da Coruña（拉科鲁尼亚大学）；CITIC；FASTPARSE Lab（FASTPARSE实验室）；LyS Group（LyS小组）
计算语言学和NLP中使用的最复杂的句法表示之一是不连续成分树，对于表示德语等语言的所有语法现象至关重要。依存句法分析的最新进展表明，指针网络擅长于有效地分析句子中单词之间的句法关系。这种序列到序列模型在构建非投射依赖树方面具有出色的准确性，但其潜力尚未在更困难的任务上得到证明。我们提出了一种新的神经网络架构，通过指针网络，能够生成最准确的不连续的成分表示，即使不需要的词性标注信息。为此，我们在内部将不连续的组成结构建模为增强的非投射依赖结构。所提出的方法在两个广泛使用的NEGRA和TIGER基准测试中取得了最先进的结果，远远优于以前的工作。
2020-02-05 cs.CL
Constituency Parsing with a Self-Attentive Encoder
University of California, Berkeley（加州大学伯克利分校）；Computer Science Division（计算机科学系（加州大学伯克利分校））
我们证明，用自我关注的架构替换LSTM编码器可以改进最先进的判别式选区解析器。注意力的使用明确了信息在句子中不同位置之间传播的方式，我们用它来分析我们的模型并提出潜在的改进。例如，我们发现在编码器中分离位置和内容信息可以提高解析精度。此外，我们评估不同的词汇表征方法。我们的解析器在Penn Treebank上训练的单个模型获得了最新的结果：在不使用任何外部数据的情况下为93.55 F1，在使用预训练的单词表示时为95.13 F1。我们的解析器在SPMRL数据集中的9种语言中的8种语言上的准确性也优于之前发表的最佳准确性数据。
2018-05-02 cs.CL
A Simple LSTM model for Transition-based Dependency Parsing
Google Inc.（谷歌公司）
我们提出了一个简单的基于LSTM的基于转换的依赖解析器。我们的模型由单个LSTM隐藏层组成，取代了通常前馈网络架构中的隐藏层。我们还提出了一种新的初始化方法，使用前馈神经网络的预训练权重来初始化我们的基于LSTM的模型。我们还表明，在输入层上使用dropout对性能有积极的影响。我们最终的解析器在Penn Treebank上实现了93.06%的未标记和91.01%的标记附件得分。我们还在模型中用GRU和Elman单元替换了LSTM，并探索了我们的初始化方法对构成所有三种类型RNN单元的各个门的有效性。
2017-09-08 cs.CL
Joint Universal Syntactic and Semantic Parsing
Johns Hopkins University（约翰霍普金斯大学）；Microsoft Research（微软研究院）；University of Rochester（罗切斯特大学）
虽然已经进行了许多尝试来联合解析语法和语义，但是一个域中的高性能通常是以另一个域中的性能为代价的。这种权衡与大量的研究相矛盾，这些研究集中在语法-语义接口的丰富交互上。我们探索了多个模型架构，使我们能够利用通用分解语义（UDS）数据集中包含的丰富的语法和语义注释，共同解析通用分解和UDS，以获得两种形式主义的最先进的结果。我们分析的语法和语义的联合模型的行为，发现在语法语义接口的语言学理论支持的模式。然后，我们调查联合建模推广到多语言环境的程度，在那里我们发现8种语言的相似趋势。
2021-04-12 cs.CL
Context-Dependent Semantic Parsing over Temporally Structured Data
Ohio University（俄亥俄大学）
我们描述了一个新的语义解析设置，允许用户查询系统中使用的自然语言的问题和行动的图形用户界面。属于感兴趣的实体的多个时间序列存储在数据库中，并且用户与系统交互以获得对实体的状态和行为的更好的理解，这需要动作和问题的序列，其答案可能取决于先前的事实或导航交互。我们设计了一个基于LSTM的编码器-解码器架构，该架构通过复制机制和对输入和先前输出的多级关注来建模上下文依赖性。当训练使用监督学习预测令牌时，所提出的架构大大优于标准序列生成基线。使用策略梯度训练架构可以进一步提高性能，在人工数据上达到88.7%的序列级准确率，在真实数据上达到74.8%。
2019-05-01 cs.CL cs.LG
Not All Linearizations Are Equally Data-Hungry in Sequence Labeling Parsing
Universidade da Coruña（科鲁尼亚大学）；CITIC（信息技术与通信研究中心）；Priberam Labs（Priberam实验室）
已经提出了不同的线性化来将依存句法分析转换为序列标记，并将任务解决为：（i）头部选择问题，（ii）找到标记弧作为括号字符串的表示，或（iii）将基于转换的解析器的部分转换序列与单词相关联。然而，人们对这些线性化在低资源设置中的行为知之甚少。在这里，我们首先研究它们的数据效率，从一组不同的丰富资源树库中模拟数据受限的设置。其次，我们测试这种差异是否体现在真正的低资源设置。结果表明，头部选择编码的数据效率更高，在理想的（黄金）框架中表现更好，但当运行设置类似于现实世界的低资源配置时，这种优势大大消失，有利于括号格式。
2021-08-17 cs.CL
Dependency Parsing with Bottom-up Hierarchical Pointer Networks
Universidade da Coruña（拉科鲁尼亚大学）；CITIC
依存句法分析是实现深度语言理解的关键一步，因此被众多自然语言处理应用广泛需求。特别是，依赖于指针网络的从左到右和自上而下的基于转换的算法是执行依存句法分析的最准确的方法之一。此外，对于自顶向下算法，已经观察到指针网络的顺序解码可以通过实现更适合于模型依赖结构的分层变体来改进。考虑到这一切，我们开发了一个自自底向上的【形】的面向层次指针网络的左到右的解析器，并提出了两个新的过渡为基础的替代品：一种方法，解析一个句子从右到左的顺序和一个变种，这样做，从外到内。我们在各种语言上使用不同的算法对所提出的神经架构进行了实证测试，几乎在所有语言上都优于原始方法，并在英语和中文Penn Treebanks上为非上下文化和基于BERT的嵌入设置了新的最先进的结果。
2022-10-25 cs.CL
The Limitations of Limited Context for Constituency Parsing
Carnegie Mellon University（卡内基梅隆大学）
在NLP中将语法转化为神经方法具有许多实际和科学的好处。例如，一个语法感知的语言模型可能能够产生更好的样本;甚至像BERT这样带有语法模块的判别模型也可以用于核心NLP任务，如无监督句法分析。近年来的快速进展可以说是由解析-阅读-预测架构的经验成功所刺激的（Shen et al.，2018 a），后来被（Shen et al.，2019年）。最值得注意的是，这是神经方法第一次能够成功地执行无监督的句法分析（通过F-1评分等各种指标进行评估）。然而，即使是启发式的（更少的完全数学）理解这些架构为什么以及何时工作也严重落后。在这项工作中，我们回答了（Shen et al.，2018 a，2019），以及一些基于转换的语法感知语言模型（Dyer等人，2016）：什么样的句法结构可以目前的神经句法方法表示？具体地说，我们接地这个问题的概率上下文无关文法（PCFG）的沙箱，并确定这些方法的代表性的权力的一个关键方面：预测器的数量和方向性的上下文时，被迫作出解析决定。我们表明，有限的上下文（无论是有界的，或单向的），有PCFG，这些方法不能代表的最大似然解析;相反，如果上下文是无限的，他们可以代表任何PCFG的最大似然解析。
2021-06-03 cs.CL cs.LG
Open-Domain Frame Semantic Parsing Using Transformers
Stony Brook University（石溪大学）；Elemental Cognition（元素认知）
框架语义解析是一个复杂的问题，它包括多个底层子任务。最近的方法采用了子任务的联合学习（如谓词和论元检测）和相关任务的多任务学习（如句法和语义解析）。在本文中，我们将探索基于transformer模型的所有子任务的多任务学习。我们表明，一个纯粹的生成式编码器-解码器架构轻松击败了先前在FrameNet 1.7解析中的最新技术水平，并且混合解码多任务方法实现了更好的性能。最后，我们证明了多任务模型在CoNLL 2012基准测试中的性能也优于PropBank SRL解析的最新系统。
2020-10-23 cs.AI cs.CL
Knowledge-augmented Frame Semantic Parsing with Hybrid Prompt-tuning
Huawei Technologies（华为技术有限公司）；Artificial Intelligence Application Research Center, Huawei Technologies（华为技术有限公司人工智能应用研究中心）
基于框架语义的方法在语义解析任务中得到了广泛的应用，并已成为主流。对不同语境下目标词汇单元所诱发的框架表征进行消歧仍然是一个挑战。预训练语言模型（PLM）已被用于语义解析，并显着提高神经解析器的准确性。然而，基于PLM的方法倾向于支持训练数据中呈现的搭配模式，从而导致不准确的结果。这里的直觉是设计一种机制来最佳地使用语义框架中捕获的知识，并结合PLM来消除框架的歧义。我们提出了一种新的知识增强框架语义解析架构（KAF-SPA），以提高语义表示，在框架语义解析过程中，将准确的框架知识到PLM。具体而言，基于记忆的知识提取模块（MKEM）的设计，以选择准确的框架知识，并在高维向量空间中构建连续的模板。此外，我们设计了一个面向任务的知识探测模块（TKPM）使用混合提示（在连续和离散提示），将选定的知识到PLM和适应PLM的框架和参数识别的任务。在两个公共FrameNet数据集上的实验结果表明，我们的方法显著优于强基线（F1中超过+3 $\%$），在当前基准测试中获得了最先进的结果。消融研究验证了KAF-SPA的有效性。
2023-03-25 cs.CL
Transition-Based Dependency Parsing using Perceptron Learner
使用依赖结构的句法分析已经成为具有许多不同解析模型的自然语言处理中的标准技术，特别是可以在句法注释语料库上训练的数据驱动模型。在本文中，我们处理基于转换的依存句法分析使用感知器学习器。我们提出的模型，它增加了更多的相关功能的感知学习器，优于基准弧标准解析器。我们击败了MALT和LSTM解析器的UAS。我们还提供了可能的方法来解决非投影树的解析。
2020-01-28 cs.AI cs.CL cs.LG
Retrieve-and-Fill for Scenario-based Task-Oriented Semantic Parsing
Meta
近年来，面向任务的语义解析模型取得了很好的效果，但不幸的是，它在模型大小、运行时延迟和跨域泛化能力之间没有取得令人满意的平衡。我们解决这个问题，通过引入基于XML的语义解析：原始任务的一个变体，首先需要消除歧义的话语的“场景”（一个意图槽模板可变叶跨度），然后生成其框架，完成本体和话语令牌。这个公式使我们能够隔离任务的粗粒度和细粒度方面，每个方面我们都用现成的神经模块来解决，同时也优化了上面列出的轴。具体来说，我们创建了一个检索和填充（RAF）架构，包括（1）检索模块，它排名最好的情况下的话语和（2）填充模块，它将跨度到场景中创建帧。我们的模型是模块化的，可区分的，可解释的，并允许我们从场景中获得额外的监督。RAF在高资源、低资源和多语言环境中取得了很好的效果，尽管使用了基本的预训练编码器、小序列长度和并行解码，但其性能远远优于最近的方法。
2022-02-02 cs.CL
Compositional Generalization and Natural Language Variation: Can a Semantic Parsing Approach Handle Both?
Google Research（谷歌研究院）
序列到序列模型擅长处理自然语言变化，但已被证明与分布外的组合泛化的斗争。这激发了具有更强成分偏差的新的专门架构，但这些方法中的大多数仅在合成生成的数据集上进行了评估，这些数据集并不代表自然语言的变化。在这项工作中，我们问：我们可以开发一个语义解析的方法，既处理自然语言的变化和组成的概括？为了更好地评估这种能力，我们提出了新的非合成数据集的训练和测试分裂。我们证明，强大的现有方法在广泛的评估中表现不佳。我们还提出了NQG-T5，这是一种混合模型，将高精度的基于语法的方法与预训练的序列到序列模型相结合。它在非合成数据上的几个合成泛化挑战方面优于现有方法，同时在标准评估方面也与最先进的方法竞争。虽然还远远没有解决这个问题，我们的研究突出了多样的评价和开放的挑战，处理组合泛化和自然语言变化的语义解析的重要性。
2021-06-01 cs.CL
Efficient Second-Order TreeCRF for Neural Dependency Parsing
Soochow University（苏州大学）
在深度学习（DL）时代，由于多层BiLSTM在上下文表示方面的卓越能力，解析模型被极度简化，对性能的影响很小。作为最流行的基于图的依赖解析器，由于其高效率和性能，biaffine解析器在弧分解假设下直接对单个依赖进行评分，并采用非常简单的局部令牌式交叉熵训练损失。本文首次提出了二阶TreeCRF扩展的biaffine分析器。长期以来，内外算法的复杂性和低效性阻碍了TreeCRF的普及。为了解决这个问题，我们提出了一种有效的方法来批量化的内部和Viterbi算法的直接大矩阵运算的GPU上，并通过有效的反向传播，以避免复杂的外部算法。对来自13种语言的27个数据集的实验和分析清楚地表明，在DL时代之前开发的技术，如结构学习（全局TreeCRF损失）和高阶建模仍然是有用的，并且可以进一步提高分析性能，特别是对于部分注释的训练数据。我们在https://github.com/yzhangcs/crfpar上发布代码。
2020-06-29 cs.CL
Applying Occam's Razor to Transformer-Based Dependency Parsing: What Works, What Doesn't, and What is Really Necessary
Bosch Center for Artificial Intelligence（博世人工智能中心）；University of Stuttgart（斯图加特大学）
预训练的基于transformer的上下文化词嵌入的引入已经导致了通用语法（UD）等框架的基于图的解析器的准确性的显著提高。然而，以前的作品在各个方面都有所不同，包括他们对预训练语言模型的选择以及他们是否使用LSTM层。为了解开这些选择的影响，并确定一个简单而广泛适用的体系结构，我们介绍了STEPS，一个新的模块化的基于图的依赖解析器。使用STEPS，我们进行了一系列的分析UD语料库的一组不同的语言。我们发现，到目前为止，预训练嵌入的选择对解析器性能的影响最大，并在我们的研究中将XLM-R确定为跨语言的鲁棒选择。在使用基于transformer的嵌入时，添加LSTM层没有任何好处。输出附加UD特征的多任务训练设置可能会扭曲结果。将这些见解结合在一起，我们提出了一个简单但广泛适用的解析器架构和配置，为12种不同语言中的10种实现了新的最先进的结果（就LAS而言）。
2021-07-29 cs.CL
Graph-to-Graph Transformer for Transition-based Dependency Parsing
Idiap Research Institute（伊迪亚普研究所）；EPFL（洛桑联邦理工学院）
我们提出了Graph2Graph Transformer架构，用于调节和预测任意图形，并将其应用于基于转换的依存句法分析的挑战性任务。在提出了两个新的Transformer模型的过渡为基础的依存句法分析作为强基线后，我们表明，添加所提出的机制，条件和预测图的Graph2Graph Transformer的结果显着改善，无论有和没有BERT预训练。新的基线及其与Graph2Graph Transformer的集成在英语Penn Treebank和13种语言的Universal Advertisements Treebanks上的性能明显优于传统的基于转换的依存句法分析。Graph2Graph Transformer可以与许多以前的结构化预测方法集成，使其易于应用于广泛的NLP任务。
2020-10-30 cs.CL cs.LG
Error Detection for Text-to-SQL Semantic Parsing
The Ohio State University（俄亥俄州立大学）
本文提出独立于解析器的 text-to-SQL 错误检测模型，结合代码语言模型与图神经网络学习问题和 SQL 结构，并在跨领域真实错误上训练，实验证明其优于解析器相关不确定性指标。
2023-12-06 cs.CL
Transfer Learning for Neural Semantic Parsing
语义解析的目标是将自然语言映射为机器可解释的语义表示语言（MRL）。限制深度学习技术用于语义解析的充分探索的约束之一是缺乏足够的注释训练数据。在本文中，我们提出了使用序列到序列的语义解析的多任务设置，重点是迁移学习。我们探索了三种用于序列到序列建模的多任务架构，并将其性能与独立训练的模型进行了比较。我们的实验表明，多任务设置有助于迁移学习从一个辅助任务与大的标记数据到一个目标任务与较小的标记数据。在我们的内部数据集中，我们看到了1.0%到4.4%的绝对准确率增益，并且在具有句法和语义辅助任务的ATIS语义解析任务上，我们也看到了2.5%到7.0%的良好增益。
2017-06-14 cs.CL cs.LG
Neuro-symbolic Syntactic Parsing: Shaping a Neural Network with the CYK Algorithm
Human-centric ART, University of Rome Tor Vergata（人本导向ART，罗马托尔维加塔大学）；DEI, University of Padua（迪埃学院，帕多瓦大学）
本文提出CYKNN，一种将CYK算法直接编码为可训练矩阵-向量乘法的循环神经网络架构，在简单语法任务上超越大语言模型，开辟神经符号方法新途径。
2026-05-29 cs.AI cs.CL cs.DS
