On The Ingredients of an Effective Zero-shot Semantic Parser
Carnegie Mellon University（卡内基梅隆大学）；Google Research（谷歌研究院）；IBM Research（IBM研究院）
语义解析器将自然语言话语映射成意义表示（例如，程序）。由于需要费力的注释工作，这种模型通常会受到训练数据缺乏的影响。最近的研究已经通过合成来自语法的规范话语和程序的训练样本来执行零样本学习，并进一步释义这些话语以提高语言多样性。然而，这样的合成示例不能完全捕获真实数据中的模式。在本文中，我们通过语言和逻辑差距（Herzig和Berant，2019）的镜头分析了zero-shot解析器，这些镜头量化了规范示例和真实世界用户发布的示例之间的语言和编程模式的差异。我们建议使用改进的语法，更强的释义和有效的学习方法，使用最有可能反映真实用户意图的规范示例来弥合这些差距。我们的模型在两个语义解析基准测试（Scholar，Geo）上实现了强大的性能，零标记数据。
2021-10-15 cs.CL
An Incremental Parser for Abstract Meaning Representation
University of Edinburgh（爱丁堡大学）；University of Padua（帕多瓦大学）
语义表示（AMR）是一种自然语言的语义表示，其嵌入与传统任务相关的注释，诸如命名实体识别、语义角色标注、词义消歧和共指消解。我们描述了一个基于转换的AMR解析器，它在线性时间内从左到右解析句子。我们进一步提出了一个测试套件，评估有助于比较AMR解析器的特定子任务，并表明我们的解析器在LDC2015E86数据集上与最先进的解析器竞争，并且在恢复命名实体和处理极性方面优于最先进的解析器。
2017-04-10 cs.CL
Speak to your Parser: Interactive Text-to-SQL with Natural Language Feedback
University of Maryland, College Park（马里兰大学帕克分校）；Microsoft Research（微软研究院）
我们研究了带有自然语言反馈的语义分析校正任务。给定一个自然语言话语，大多数语义解析系统将该问题作为一次性翻译，其中话语被映射到对应的逻辑形式。在本文中，我们研究了一个更具交互性的场景，人类可以进一步与系统进行交互，提供自由形式的自然语言反馈，以纠正系统时，它产生的初始话语的不准确的解释。我们专注于自然语言的SQL系统和构造，SPLASH，一个数据集的话语，不正确的SQL解释和相应的自然语言的反馈。我们比较了各种参考模型的校正任务，并表明，将这样一个丰富的反馈形式，可以显着提高整体语义解析的准确性，同时保留了灵活性的自然语言的互动。虽然我们估计人类校正准确率为81.5%，但我们的最佳模型仅达到25.1%，这为未来的研究留下了很大的差距。SPLASH可在https://aka.ms/Splash_dataset上公开获得。
2020-06-01 cs.CL
Jointly Learning Semantic Parser and Natural Language Generator via Dual Information Maximization
University of Southern California（南加州大学）；The Hong Kong Polytechnic University（香港理工大学）；Northeastern University（东北大学）
语义解析的目的是将自然语言（NL）的话语转化为正式的意义表示（MR），而NL生成器实现了相反的：产生一个NL描述一些给定的MR。尽管这种内在的联系，这两个任务往往是单独研究在以前的工作。在本文中，我们通过一个联合学习框架对这两个任务的二元性进行建模，并证明了它对提高这两个任务的性能的有效性。具体地说，我们提出了一种新的方法的双重信息最大化（DIM），以规范的学习过程中，DIM经验最大化的变化下限的预期联合分布的NL和MR。我们进一步扩展DIM的半监督设置（SemiDIM），它利用未标记的数据的两个任务。在对话管理和代码生成（和摘要）的三个数据集上的实验表明，在监督和半监督设置中，DIM可以一致地提高语义解析和NL生成的性能。
2019-06-13 cs.CL
Building a Neural Semantic Parser from a Domain Ontology
University of Edinburgh（爱丁堡大学）；Stanford University（斯坦福大学）
语义解析是将自然语言话语转换为机器可解释的含义表示的任务，其可以针对诸如数据库的真实世界环境执行。将语义解析扩展到任意领域面临着两个相互关联的挑战：有效且廉价地获得广泛覆盖的训练数据;以及开发一个推广到合成话语和复杂意图的模型。我们使用一个框架来解决这些挑战，该框架允许从领域本体中获取训练数据，并引导神经解析器，该神经解析器递归地构建逻辑形式的推导。在我们的框架中的含义表示所描述的序列的自然语言模板，其中每个模板对应于一个分解的片段的基本含义表示。虽然是人工的，但模板可以被人类理解和解释以创建自然的话语，从而产生平行的三元组话语，含义表示及其分解。这些使我们能够训练一个神经语义解析器，它学会在推导含义表示时编写规则。我们众包训练数据上的六个领域，包括单轮话语表现出丰富的组合性，和顺序的话语，一个复杂的任务是按程序执行的步骤。然后，我们开发神经语义解析器执行这样的合成任务。一般来说，我们的方法允许从给定的领域本体快速，廉价地部署神经语义解析器。
2018-12-25 cs.CL
Deep Contextualized Word Embeddings in Transition-Based and Graph-Based Dependency Parsing -- A Tale of Two Parsers Revisited
Uppsala University（乌普萨拉大学）
基于转换和基于图的依赖解析器先前已被证明具有互补的优势和弱点：基于转换的解析器利用丰富的结构特征，但遭受错误传播，而基于图的解析器受益于全局优化，但具有有限的功能范围。在本文中，我们表明，即使切换到神经网络和连续表示后，图片的一些细节发生了变化，丰富的功能和全局优化之间的基本权衡仍然基本相同。此外，我们表明，深度上下文化的词嵌入，它允许解析器将有关全局句子结构的信息打包到本地特征表示中，使基于转换的解析器比基于图的解析器更受益，使得这两种方法在准确性和错误率方面几乎等同。我们认为，原因是，这些表示有助于防止搜索错误，从而使过渡为基础的解析器，以更好地利用其固有的优势，作出准确的本地决策。我们支持这一解释的错误分析13种语言的解析实验。
2019-08-27 cs.CL
Revisiting Tri-training of Dependency Parsers
School of Computing（计算学院）；Dublin City University（都柏林城市大学）
在依存句法分析任务中比较了tri-training与预训练词嵌入在低资源场景下的效果，发现预训练词嵌入能更有效利用无标签数据，且两者可成功结合。
2021-09-16 cs.CL
Character Composition Model with Convolutional Neural Networks for Dependency Parsing on Morphologically Rich Languages
Institut für Maschinelle Sprachverarbeitung（机器语言处理研究所）；Universität Stuttgart（斯图加特大学）
我们提出了一个基于转换的依赖分析器，使用卷积神经网络组成的字符的单词表示。字符组合模型比单词查找模型有很大的改进，特别是对于句法分析中的黏着语。这些改进甚至比使用来自额外数据的预训练词嵌入更好。在SPMRL数据集上，我们的系统优于之前最好的贪婪解析器（Ballesteros等人，2015年，平均增长3%。
2017-05-30 cs.CL
Active Learning for Multilingual Semantic Parser
本文提出首个多语言语义解析主动学习框架AL-MSP，通过选择性翻译和多样化逻辑形式的选择方法及免标注超参数调优，显著降低翻译成本并提升解析性能。
2023-10-11 cs.CL
Learning Structured Natural Language Representations for Semantic Parsing
University of Edinburgh（爱丁堡大学）；IBM T.J. Watson Research（IBM T.J. Watson研究院）
我们介绍了一个神经语义解析器，转换自然语言的话语中间表示形式的谓词参数结构，这是诱导与过渡系统，随后映射到目标域。语义解析器使用带注释的逻辑形式或它们的表示进行端到端的训练。我们在各种数据集上获得了有竞争力的结果。归纳的谓词-论元结构揭示了用于语义解析的表征类型，以及这些表征与语言动机表征的不同之处。
2017-06-14 cs.CL
A Higher-Order Semantic Dependency Parser
Southeast University（东南大学）；Key Laboratory of Computer Network and Information Integration (Southeast University)（计算机网络和信息集成重点实验室（东南大学））
高阶特征在语义依存句法分析中带来了显著的准确性增益。然而，建模高阶特征与精确推理是NP难的。图神经网络（GNNs）已被证明是一种有效的工具，用于解决NP难问题的近似推理在许多图学习任务。受GNNs成功的启发，我们研究通过应用GNNs构建高阶语义依赖解析器。GNN不是从中间解析图中显式地提取高阶特征，而是通过堆叠多个GNN层来简洁地聚合高阶信息。实验结果表明，我们的模型在SemEval 2015 Task 18英语数据集上的性能优于以前最先进的解析器。
2022-01-27 cs.CL
Applying Occam's Razor to Transformer-Based Dependency Parsing: What Works, What Doesn't, and What is Really Necessary
Bosch Center for Artificial Intelligence（博世人工智能中心）；University of Stuttgart（斯图加特大学）
预训练的基于transformer的上下文化词嵌入的引入已经导致了通用语法（UD）等框架的基于图的解析器的准确性的显著提高。然而，以前的作品在各个方面都有所不同，包括他们对预训练语言模型的选择以及他们是否使用LSTM层。为了解开这些选择的影响，并确定一个简单而广泛适用的体系结构，我们介绍了STEPS，一个新的模块化的基于图的依赖解析器。使用STEPS，我们进行了一系列的分析UD语料库的一组不同的语言。我们发现，到目前为止，预训练嵌入的选择对解析器性能的影响最大，并在我们的研究中将XLM-R确定为跨语言的鲁棒选择。在使用基于transformer的嵌入时，添加LSTM层没有任何好处。输出附加UD特征的多任务训练设置可能会扭曲结果。将这些见解结合在一起，我们提出了一个简单但广泛适用的解析器架构和配置，为12种不同语言中的10种实现了新的最先进的结果（就LAS而言）。
2021-07-29 cs.CL
A Dynamic Oracle for Linear-Time 2-Planar Dependency Parsing
Universidade da Coruña（拉科鲁尼亚大学）
我们提出了一个有效的动态预言机用于训练基于2-Planar transition的解析器，一个线性时间解析器，在非投射句法语料库上的覆盖率超过99%。这种新方法在绝大多数测试语言中优于静态训练策略，并且在大多数数据集上的得分优于使用SWAP转换增强的弧混合解析器，后者可以处理不受限制的非投射性。
2018-05-15 cs.CL
Underwater Robotics Semantic Parser Assistant
语义解析是一种将自然语言转换成计算机可以理解的形式的方法。有很多方法可以将自然语言的表达形式转化为λ演算表达式--描述逻辑的数学函数。在这里，我们使用序列到序列模型进行实验，以获取自然语言语句，将其转换为λ演算表达式，然后进行解析，并将其放置为可由有限状态机使用的XML格式。实验结果表明，我们可以有一个高精度的模型，这样我们就可以弥合技术和非技术人员在机器人领域之间的差距。
2023-01-28 cs.AI cs.CL
TRANX: A Transition-based Neural Abstract Syntax Parser for Semantic Parsing and Code Generation
Carnegie Mellon University（卡内基梅隆大学）
我们提出TRANX，一个基于转换的神经语义解析器，映射到正式的意义表示（MR）的自然语言（NL）的话语。TRANX使用基于目标MR的抽象语法描述语言的转换系统，这给它带来了两个主要优点：（1）它是高度精确的，使用来自目标MR的语法的信息来约束输出空间并对信息流建模，以及（2）它是高度可概括的，并且可以很容易地应用于新类型的MR，只需编写与MR中允许的结构相对应的新的抽象语法描述。在四个不同的语义解析和代码生成任务上的实验表明，我们的系统是可推广的，可扩展的，有效的，与现有的神经语义解析器相比，注册强大的结果。
2018-10-05 cs.CL cs.PL
Error Detection for Text-to-SQL Semantic Parsing
The Ohio State University（俄亥俄州立大学）
本文提出独立于解析器的 text-to-SQL 错误检测模型，结合代码语言模型与图神经网络学习问题和 SQL 结构，并在跨领域真实错误上训练，实验证明其优于解析器相关不确定性指标。
2023-12-06 cs.CL
One Semantic Parser to Parse Them All: Sequence to Sequence Multi-Task Learning on Semantic Parsing Datasets
Amazon Alexa AI（亚马逊Alexa人工智能部门）
语义解析器将自然语言话语映射到意义表示。缺乏一个单一的意义表示标准导致了大量语义解析数据集的产生。为了统一不同的数据集和训练一个单一的模型，他们，我们调查使用多任务学习（MTL）架构。我们使用五个数据集（Geoquery，NLMaps，TOP，Overnight，AMR）进行实验。我们发现，跨数据集共享整个网络的MTL架构比单任务基线产生了具有竞争力或更好的解析准确性，同时将参数总数减少了68%。我们进一步提供的证据表明，MTL也有更好的组合泛化比单任务模型。我们还提出了任务抽样方法的比较，并提出了一个有竞争力的替代广泛的比例抽样策略。
2021-06-14 cs.CL
UDapter: Language Adaptation for Truly Universal Dependency Parsing
University of Groningen（格罗宁根大学）
多语言依存句法分析的最新进展使真正的通用语法分析器的想法更接近现实。然而，跨语言干扰和有限的模型能力仍然是主要障碍。为了解决这个问题，我们提出了一种新的多语言任务适应方法的上下文参数生成和适配器模块的基础上。这种方法允许通过语言嵌入来学习适配器，同时跨语言共享模型参数。它还允许一个简单而有效的整合现有的语言类型学功能到解析网络。由此产生的解析器，UDBACK，优于强大的单语和多语言的基线上的大多数高资源和低资源（zero-shot）的语言，显示出成功的建议的适应方法。我们的深入分析表明，通过类型特征共享软参数是成功的关键。
2020-10-06 cs.CL
Policy Gradient as a Proxy for Dynamic Oracles in Constituency Parsing
University of California, Berkeley（加利福尼亚大学伯克利分校）；Computer Science Division（计算机科学系（注意：此处“Division”通常指学院或系级单位，但根据提取规则，“大学/学院/公司/研究院级别即可”，此处“Computer Science Division”作为伯克利的学院/系级单位，符合提取要求，因此保留））
动态预言机为训练具有探索功能的选区解析器提供了强有力的监督，但必须为给定解析器的转换系统自定义。我们探索使用策略梯度方法作为与解析器无关的替代方法。除了直接优化树级指标（如F1）外，策略梯度还可以通过在训练期间进行探索来减少暴露偏差;此外，它不需要动态oracle进行监督。在三种语言的四个选区解析器上，该方法在几乎所有设置中都大大优于静态Oracle似然训练。对于动态oracle可用的解析器（包括我们为Dyer et al. 2016的转换系统定义的新oracle），策略梯度通常会重新获得动态oracle提供的性能增益的很大一部分。
2018-06-08 cs.CL
Developing a hybrid NP parser
我们描述了使用能量函数优化非常浅的句法分析。该方法可以使用语言规则和基于语料库的统计数据，因此可以将语言和统计方法的优势结合在一个框架中。这些规则是上下文约束，用于解决表示为替代标签的句法歧义，并且统计语言模型由基于语料库的句法标签的n-gram组成。的成功的混合句法消歧器进行了评估，对一个举行了基准语料库。此外，语言和统计语言模型的混合模型的贡献进行了估计。
1997-04-24 cmp-lg cs.CL
Grammar as a Foreign Language
Google（谷歌）
句法成分分析是自然语言处理中的一个基本问题，并且几十年来一直是深入研究和工程的主题。因此，最准确的解析器是特定于域的、复杂的和低效的。在本文中，我们表明，领域不可知的注意力增强序列到序列模型实现最广泛使用的句法选区解析数据集的最先进的结果，当训练的大型合成语料库，使用现有的解析器进行注释。当只在一个小的人类注释数据集上训练时，它也与标准解析器的性能相匹配，这表明该模型具有高度的数据效率，与没有注意力机制的序列到序列模型相比。我们的解析器也很快，在未优化的CPU实现下每秒处理100多个句子。
2015-06-09 cs.CL cs.LG stat.ML
On Robustness of Neural Semantic Parsers
Monash University（莫纳什大学）；Deakin University（迪肯大学）
语义解析将自然语言的话语映射为逻辑形式，这是许多高级自然语言处理问题的基础。语义解析器通过深度神经网络获得性能提升，但继承了对抗性示例的漏洞。在本文中，我们提供了在存在对抗攻击的语义解析器的鲁棒性的实证研究。形式上，语义解析的对手被认为是扰动的话语-LF对，其话语具有与原始话语完全相同的含义。提出了一种基于已有基准语料库的可扩展鲁棒性测试集构造方法。我们的研究结果回答了五个研究问题，在衡量最先进的解析器的鲁棒性测试集的性能，并评估数据增强的效果。
2021-02-03 cs.AI cs.CL
Sequential Graph Dependency Parser
New York University（纽约大学）；Facebook AI Research（脸书人工智能研究院）
我们提出了一种非投射依存句法分析的方法，通过增量预测一组边缘。由于边缘没有预先指定的顺序，我们提出了一个基于集合的学习方法。我们的方法融合了图，过渡，和容易的第一次解析，包括一个特殊情况下的解析器的先前状态。所提出的基于转换的方法成功地解析了近最先进的投射和非投射语言，而无需假设一定的解析顺序。
2019-10-23 cs.CL cs.LG stat.ML
A Hybrid Approach to Dependency Parsing: Combining Rules and Morphology with Deep Learning
Boğaziçi University（博阿齐奇大学）
完全数据驱动的、基于深度学习的模型通常被设计为独立于语言的，并且已经被证明在许多自然语言处理任务中是成功的。然而，当所研究的语言是低资源和训练数据量不足时，这些模型可以受益于基于自然语言语法的信息的集成。我们提出了两种方法依存句法分析，特别是对有限的训练数据的语言。我们的第一种方法将最先进的基于深度学习的解析器与基于规则的方法相结合，第二种方法将形态信息纳入解析器。在基于规则的方法中，由规则做出的解析决策被编码并与输入单词的矢量表示连接，作为深度网络的附加信息。基于形态学的方法提出了不同的方法，包括词的形态结构到解析器网络。在IMST-UD Treebank上进行了实验，结果表明，通过基于规则的句法分析系统和形态分析，将目标语言的显性知识整合到神经句法分析器中，可以获得更准确的注释，从而提高了句法分析的附加得分。所提出的方法是为土耳其语开发的，但也可以适用于其他语言。
2020-02-24 cs.CL cs.LG
A Practical Chinese Dependency Parser Based on A Large-scale Dataset
Baidu（百度）
依存句法分析是一个长期存在的自然语言处理任务，其输出对各种下游任务至关重要。近年来，基于神经网络的依存句法分析取得了显著的进展，取得了令人瞩目的成果。众所周知，基于神经网络的方法需要大量的标记训练数据，这是非常昂贵的，因为它需要专家的人工注释。因此，很少有面向工业的依赖解析器工具是公开可用的。在这份报告中，我们介绍了百度依赖解析器（DDParser），这是一个新的中文依赖解析器，在一个名为百度中文树库（DuCTB）的大规模手动标记数据集上训练。DuCTB由来自多个来源的大约一百万个注释句子组成，包括搜索日志，中文新闻专线，各种论坛话语和对话程序。DDParser是在基于图的偏仿射语法分析器的基础上进行扩展，以适应中文数据集的特点。我们在两个测试集上进行了实验：与训练集分布相同的标准测试集和从其他来源抽样的随机测试集，它们的标记依恋得分（LAS）分别为92.9%和86.9%。DDParser实现了最先进的结果，并在https://github.com/baidu/DDParser上发布。
2020-09-03 cs.AI cs.CL
Deep Contextualized Self-training for Low Resource Dependency Parsing
Technion, IIT（以色列理工学院）
神经依存句法分析已经被证明是非常有效的，在许多领域和语言上都取得了最先进的结果。不幸的是，它需要大量的标记数据，这是昂贵和费力的创建。在本文中，我们提出了一个自我训练算法，通过训练解析器自己的输出来消除这个注释瓶颈。我们的深度上下文自训练（DCST）算法利用在序列标记任务上训练的表示模型，这些任务在应用于未标记数据时从解析器的输出中导出，并通过门控机制将这些模型与基础解析器集成。我们在多种语言中进行了实验，无论是在低资源域中还是在跨域设置中，并证明DCST大大优于传统的自我训练以及最近的半监督训练方法。
2019-11-11 cs.CL cs.LG
Transition-based Abstract Meaning Representation Parsing with Contextual Embeddings
University of Oxford（牛津大学）；The University of Edinburgh（爱丁堡大学）
理解和生成语言的能力使人类认知有别于其他已知的生命形式。我们研究了在语义解析任务中，将两种最成功的语言意义途径--统计语言模型和符号语义形式主义--结合起来的方法。建立在一个过渡为基础的，抽象意义表示（AMR）解析器，AmrEager，我们探讨了将预先训练的上下文感知的词嵌入-如BERT和RoBERTa-在AMR解析的问题，贡献一个新的解析器，我们称之为AmrBerger的效用。实验发现，这些丰富的词汇功能单独是不是特别有帮助，在提高分析器的整体性能的SMATCH分数相比，非上下文对应时，而额外的概念信息使系统能够超越基线。通过病变研究，我们发现上下文嵌入的使用有助于使系统对显式句法特征的去除更加鲁棒。这些发现揭示了当前形式的上下文嵌入和语言模型的优点和缺点，并促进了对它们的更深入的理解。
2022-06-13 cs.AI cs.CL cs.LG
A Constraint-Satisfaction Parser for Context-Free Grammars
University of Granada（格拉纳达大学）
传统的语言处理工具将语言设计者限制在特定类型的语法上。相反，基于模型的语言规范将语言设计与语言处理相结合。因此，基于模型的语言规范工具需要能够解析不受限制的上下文无关文法的通用解析器。由于遵循这种方法指定的语言可能是二义性的，解析器必须处理二义性。基于模型的语言规范还允许定义关联性、优先级和自定义约束。因此，由模型驱动的语言规范工具生成的解析器需要强制约束。在本文中，我们提出了围栏，一个有效的自下而上的图表解析器，支持词汇和语法歧义，允许规范的约束，因此，使使用基于模型的语言规范在实践中。
2012-02-02 cs.CL
Towards Instance-Level Parser Selection for Cross-Lingual Transfer of Dependency Parsers
University of Mannheim（曼海姆大学）；University of Cambridge（剑桥大学）；Corti
目前的跨语言解析器迁移方法主要集中在全局预测低资源目标语言的最佳解析器，即“在树库级别”。在这项工作中，我们提出并主张一种新的跨语言迁移范式：实例级解析器选择（ILPS），并提出了一个概念验证的研究集中在实例级选择的框架下的非词汇化解析器迁移。我们从经验观察开始，不同的源解析器是目标语言中不同通用POS序列的最佳选择。然后，我们建议在实例级预测最佳解析器。为此，我们训练一个监督回归模型，基于Transformer架构，预测解析器的准确性为个人POS序列。我们比较ILPS与两个强大的单一最佳解析器选择基线（SBPS）：（1）一个模型，比较源和目标语言（KL）之间的POS n-gram分布和（2）的模型，选择源之间的相似性手动创建的语言向量编码的语言（L2 V）的语法属性。从我们广泛的评估，耦合42源解析器和20个不同的低资源测试语言的结果表明，ILPS优于KL和L2 V的13/20和14/20测试语言，分别。此外，我们表明，通过预测最好的解析器“在树库级别”（SBPS），使用我们的实例级模型的预测聚合，我们在17/20和16/20测试语言上的表现优于相同的基线。
2020-04-16 cs.CL
One model, two languages: training bilingual parsers with harmonized treebanks
Universidade da Coruña（拉科鲁尼亚大学）
我们介绍了一种方法来训练词汇化的语法分析器，使用双语语料库，通过合并不同语言的协调树库，产生的语法分析器，可以分析句子中的任何一个学习的语言，甚至句子混合。我们在Universal Departments Treebanks上测试了这种方法，并使用MaltParser和MaltOptimizer进行了训练。结果表明，这些双语解析器是超过竞争力，因为大多数组合不仅保持准确性，但有些甚至实现了显着的改善，相应的单语解析器。初步的实验也表明，该方法是有前途的代码转换和更多的语言时，添加的文本。
2016-05-19 cs.CL
CLEVR Parser: A Graph Parser Library for Geometric Learning on Language Grounded Image Scenes
University of Toronto Computer Science（多伦多大学计算机科学系）；Vector Institute for Artificial Intelligence（人工智能矢量研究所）
CLEVR数据集已被广泛用于机器学习（ML）和自然语言处理（NLP）领域的基于语言的视觉推理。我们提出了一个图形解析器库CLEVR，提供以对象为中心的属性和关系提取的功能，和双模态的结构图表示的建设。结构顺序不变表示使几何学习成为可能，并可以帮助下游任务，如视觉，机器人，组合性，可解释性和计算语法构建的语言基础。我们提供了三个可扩展的主要组件-解析器，嵌入器和可视化器，可以定制以适应特定的学习设置。我们还提供了开箱即用的功能，可与流行的深度图神经网络（GNN）库进行无缝集成。此外，我们还讨论了该库的下游使用和应用，以及它如何加速NLP研究社区的研究。
2020-10-01 cs.CL
PaLM: A Hybrid Parser and Language Model
University of Washington（华盛顿大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
我们提出了PaLM，一个混合解析器和神经语言模型。PaLM建立在RNN语言模型的基础上，在左上下文中的文本跨度上添加了一个注意层。一个无监督的选区分析器可以从它的注意力权重，使用贪心解码算法。我们评估PaLM语言建模，并实证表明，它优于强大的基线。如果语法注释可用，则可以以监督的方式训练注意力组件，提供上下文的语法通知表示，并进一步提高语言建模性能。
2019-09-04 cs.CL
Fence - An Efficient Parser with Ambiguity Support for Model-Driven Language Specification
University of Granada（格拉纳达大学）
基于模型的语言规范在语言处理器的实现、特定领域语言的设计、模型驱动的软件开发、数据集成、文本挖掘、自然语言处理和基于语料库的模型归纳中有应用。基于模型的语言规范将语言设计从语言处理中分离出来，与传统的语法驱动方法不同，它将语言设计者限制在特定类型的语法中，它需要能够处理歧义的通用解析器生成器。在本文中，我们提出了围栏，一个有效的自下而上的解析算法，词汇和句法歧义的支持，使使用基于模型的语言规范在实践中。
2011-10-07 cs.CL
Exploiting Diversity in Natural Language Processing: Combining Parsers
三个国家的最先进的统计分析器相结合，以产生更准确的分析，以及新的界限可实现的树库解析精度。提出了两种通用方法，并针对每种方法描述了两种组合技术。探索了参数模型和非参数模型。由此产生的解析器超过了以前发表的最好的性能结果的Penn Treebank。
2000-06-01 cs.CL
Constrained Language Models Yield Few-Shot Semantic Parsers
Microsoft Semantic Machines（微软语义机器）
我们探索使用大型预训练语言模型作为Few-Shot语义解析器。语义解析的目标是在给定自然语言输入的情况下生成结构化的含义表示。然而，语言模型被训练以生成自然语言。为了弥合这一差距，我们使用语言模型将输入解释为类似英语的受控子语言，该子语言可以自动映射到目标含义表示。我们的研究结果表明，只有少量的数据和很少的代码转换成类似英语的表示，我们的快速引导语义解析器的蓝图在多个社区任务上产生了令人惊讶的有效性能，大大超过了在相同的有限数据上训练的基线方法。
2021-11-16 cs.CL
Parameter sharing between dependency parsers for related languages
Uppsala University（乌普萨拉大学）；University of Copenhagen（哥本哈根大学）
以前的工作表明，相关语言的基于转换的神经依赖解析器之间的参数共享可以带来更好的性能，但对于共享什么参数没有共识。我们提出了一个评估的27个不同的参数共享策略在10种语言，代表五对相关的语言，每对来自不同的语言家族。我们发现，共享转换分类器参数总是有帮助的，而共享单词和/或字符LSTM参数的有用性各不相同。基于这一结果，我们提出了一个架构，其中的过渡分类器是共享的，和共享的字和字符参数控制的参数，可以调整验证数据。该模型是语言动机，并获得了显着的改进，单语训练的基线。我们还发现，共享转换分类器参数有助于在不相关的语言对上训练解析器，但我们发现，在不相关的语言的情况下，共享太多的参数没有帮助。
2018-10-04 cs.CL
Recognizing Bangla Grammar using Predictive Parser
Khulna University of Engineering and Technology (KUET)（库尔纳工程技术大学）
我们描述了孟加拉语的上下文无关文法（CFG），因此我们提出了一个基于该文法的孟加拉语语法分析器。我们的方法是非常普遍适用于孟加拉语句子和方法被广泛接受的语法分析的语言。建议的分析器是一个预测分析器，我们构造的分析表识别孟加拉语语法。使用解析表，我们认识到孟加拉语句子的语法错误时，没有在解析表中的终端条目。如果一种自然语言可以被成功地解析，那么从这种语言进行语法检查就成为可能。该方案是基于自顶向下的分析方法，我们已经避免了左递归的CFG使用左分解的想法。
2012-01-10 cs.CL
Genie: A Generator of Natural Language Semantic Parsers for Virtual Assistant Commands
Stanford University（斯坦福大学）；Salesforce, Inc.（赛富时公司）
为了理解不同的自然语言命令，如今的虚拟助手需要使用大量劳动密集型的手动注释语句进行训练。本文介绍了一种方法和Genie工具包，可以处理新的复合命令，大大减少手动工作。我们提倡用虚拟助手程序设计语言（VAPL）形式化虚拟助手的能力，并使用神经语义解析器将自然语言翻译成VAPL代码。Genie只需要一小部分真实的输入句子来验证神经模型。开发人员编写模板来合成数据; Genie使用众包释义和数据增强以及合成数据来训练语义解析器。我们还提出了设计原则，使VAPL语言服从自然语言翻译。我们将这些原则应用于修改Almond虚拟助手使用的语言ThingTalk。我们使用Genie来构建第一个语义解析器，该解析器可以支持带有未加引号的自由形式参数的复合虚拟助手命令。Genie在真实用户输入上达到62%的准确率。我们展示了精灵的一般性表现出19%和31%的改进，比以前的艺术水平的音乐技能，聚合功能，和访问控制。
2019-04-18 cs.CL
Language Model Sentence Completion with a Parser-Driven Rhetorical Control Method
San Diego State University（圣地亚哥州立大学）；University of Colorado Colorado Springs（科罗拉多大学科罗拉多斯普林斯分校）
本文提出一种无需微调的解析器驱动解码方法，用于在LLM句子补全中强制遵循特定修辞关系，并通过自动与人工评估验证其有效性。
2024-02-09 cs.CL
Exploiting Diversity for Natural Language Parsing
将机器学习方法应用于计算语言学问题的流行产生了大量可训练的自然语言处理系统。大多数感兴趣的问题都有一系列现成的产品或可下载的代码，它们使用各种技术实现了解决方案。在这些解决方案是独立开发的，它是观察到，他们的错误往往是独立分布。本文关注的是如何利用这种情况下，在一个样本问题域，宾州树库风格的分析。机器学习社区提供了用于组合分类器输出的技术，但是解析器输出比分类更结构化和相互依赖。为了解决这一矛盾，两个新的策略结合解析器使用：学习控制解析器之间的切换和构建一个混合解析从多个解析器的输出。现成的解析器并不是为了在协作集成中表现良好而开发的。提出了两种技术，用于产生一个合奏的解析器，合作。所有的集成成员都是使用相同的底层解析器归纳算法创建的，并且用于产生互补解析器的方法仅受所选择的算法的松散约束。
2000-06-05 cs.CL
ChatGPT is a Potential Zero-Shot Dependency Parser
Beijing University of Posts and Telecommunications（北京邮电大学）；East China Normal University（华东师范大学）
本文探索了ChatGPT等大型语言模型在零样本场景下的依存句法分析能力，实验表明其具备作为零样本依存句法分析器的潜力，且解析输出具有独特的语言学偏好。
2023-10-25 cs.CL
TGIF: Tree-Graph Integrated-Format Parser for Enhanced UD with Two-Stage Generic- to Individual-Language Finetuning
Cornell University（康奈尔大学）
我们提出了我们对IWPT 2021共享任务的贡献，即解析为增强的通用解析。我们的主要系统组件是一个混合树图解析器，它集成了（a）增强图的生成树预测与（b）生成树中不存在的附加图边。我们还采用了一种微调策略，首先训练一个语言通用解析器，将所有可用语言的数据串联起来，然后在第二步中，分别对每种语言进行微调。此外，我们还开发了一套与共享任务相关的完整的预处理模块，包括标记化，句子分割和多词标记扩展，基于预训练的XLM-R模型和我们自己的字符级语言模型的预训练。我们的提交在测试集上达到了89.24的宏观平均ELAS。它在所有团队中排名第一，与下一个表现最好的提交相比，ELAS绝对值的差距超过2，并且在17种语言中的16种语言中得分最高。
2021-07-14 cs.CL
UNL Based Bangla Natural Text Conversion - Predicate Preserving Parser Approach
East West University（东西湖大学）
通用网络语言（UNL）是一种声明性的形式语言，用于表示从自然语言文本中提取的语义数据。本文提出了一种新的方法来转换孟加拉语自然语言文本到UNL使用的方法称为谓词保持解析器（PPP）技术。PPP同步执行文本的形态、句法和语义以及词法分析。这种分析产生了一个语义网一样的结构表示使用UNL。我们演示了孟加拉语文本分析PPP技术后，产生UNL文件，然后可以翻译成任何其他合适的自然语言促进机会，通过UNL开发一个通用的语言翻译方法。
2012-06-02 cs.CL
Parsing Natural Language Sentences by Semi-supervised Methods
Charles University in Prague, Faculty of Mathematics and Physics（布拉格查理大学数学与物理学院）
我们提出了我们的工作，半监督分析的自然语言句子，侧重于多源跨语言迁移的非词汇化依赖分析器。我们首先评估了树库标注风格对句法分析性能的影响，重点是介词附加风格。然后，我们提出了KLcpos3，一个经验的语言相似性度量，设计和调整源解析器加权多源去词汇化解析器转移。最后，我们介绍了一种新的资源组合方法，基于训练的解析器模型的插值。
2015-06-16 cs.CL
"What Do You Mean by That?" A Parser-Independent Interactive Approach for Enhancing Text-to-SQL
Peking University（北京大学）；Microsoft Research（微软研究院）；Beihang University（北京航空航天大学）
在数据库的自然语言接口系统中，文本到SQL技术允许用户通过使用自然语言问题来查询数据库。虽然最近在这方面取得了重大进展，但大多数解析器在部署到实际系统中时可能会有所不足。一个主要原因是很难完全理解用户的自然语言问题。在本文中，我们包括人类在循环中，并提出了一种新的分析器独立的交互式方法（PIIA），与用户使用多选择问题，可以很容易地与任意分析器进行交互。实验进行了两个跨域的数据集，WikiSQL和更复杂的蜘蛛，五个国家的最先进的解析器。这表明，PIIA是能够提高文本到SQL的性能与有限的互动轮流使用模拟和人类的评价。
2020-11-09 cs.CL
Building Odia Shallow Parser
浅层解析是许多NLP应用程序的基本任务，如机器翻译、摘要、情感分析、方面识别等。高质量的注释语料库对于构建准确的浅层解析器至关重要。许多印度语言的语料库资源匮乏。因此，本文是为浅层句法分析器创建高质量语料库的一次尝试。本文的贡献主要体现在两个方面：一是为Odia创建了词性标注语料库和组块标注语料库，二是为Odia开发了词性标注和组块标注的基础系统。
2022-04-19 cs.CL
A Model-Driven Probabilistic Parser Generator
University of Granada（格拉纳达大学）
现有的概率扫描器和解析器对解决词汇和句法歧义的方式施加了严格的限制。此外，传统的基于语法的解析工具在它们允许考虑上下文的机制方面受到限制。在本文中，我们提出了一个模型驱动的工具，允许统计语言模型与任意概率估计。我们的工作模型驱动的概率解析是建立在基于模型的解析器生成器ModelCC之上，并使概率解释和解析的照应，后照应，递归引用的消歧抽象语法图。为了证明ModelCC的表达能力，我们描述了一个通用的自然语言解析器的设计。
2012-05-14 cs.CL
Cross-lingual Abstract Meaning Representation Parsing
University of Edinburgh（爱丁堡大学）
摘要意义表示（AMR）注释工作主要集中在英语上。为了训练其他语言的语法分析器，我们提出了一种基于注释投影的方法，该方法涉及利用源语言中的注释以及源语言和目标语言的并行语料库。使用英语作为源语言，我们显示了意大利语，西班牙语，德语和中文作为目标语言的可喜成果。除了在非黄金数据集上评估目标解析器之外，我们还提出了一种评估方法，该方法利用英语黄金注释，并且不需要访问目标语言的黄金注释。这是通过颠倒投影过程来实现的：从目标语言解析器学习新的英语解析器，并根据现有的英语黄金标准进行评估。
2018-02-24 cs.CL
Learning an Executable Neural Semantic Parser
University of Edinburgh（爱丁堡大学）；Stanford University（斯坦福大学）；IBM T.J. Watson Research（IBM T.J. 沃森研究中心）
本文描述了一种神经语义解析器，它将自然语言语句映射到逻辑形式上，这些逻辑形式可以针对特定于任务的环境（如知识库或数据库）执行，以产生响应。该分析器生成树结构的逻辑形式与基于转换的方法相结合的通用树生成算法与域的一般操作定义的逻辑语言。生成过程是由结构化的递归神经网络，它提供了一个丰富的编码的原始上下文和生成历史进行预测。为了解决自然语言和逻辑形式标记之间的不匹配，探索了各种注意力机制。最后，我们考虑神经语义解析器的不同训练设置，包括给出注释逻辑形式的全监督训练，提供表示的弱监督训练，以及只有未标记句子和知识库可用的远程监督。在广泛的数据集上的实验证明了我们的解析器的有效性。
2018-08-12 cs.CL
Bootstrapping a Crosslingual Semantic Parser
Institute for Language, Cognition and Computation（语言、认知与计算研究所）；School of Informatics, University of Edinburgh（爱丁堡大学信息学院）
语义解析的最新进展几乎不考虑英语以外的语言，但专业翻译可能会非常昂贵。我们将在单一语言（如英语）上训练的语义解析器适应新语言和具有最小注释的多个域。我们询问机器翻译是否是训练数据的适当替代品，并将其扩展到使用英语，释义和多语言预训练模型的联合训练来研究自举。我们开发了一个基于transformer的解析器，通过在多个编码器上集成注意力来结合释义，并在德语和中文中提供了新版本的ATIS和Overnight进行评估。实验结果表明，MT可以近似训练数据在一个新的语言准确的分析时，通过多个MT引擎的释义增强。考虑到MT是不够的，我们还发现，使用我们的方法实现的解析精度在2%的完整的翻译使用只有50%的训练数据。
2020-09-23 cs.CL
Cross-lingual Universal Dependency Parsing Only from One Monolingual Treebank
Shanghai Jiao Tong University（上海交通大学）
句法分析是一个高度语言处理的任务，其分析器需要从昂贵的人工注释中训练树库。由于不太可能为每种人类语言获得树库，因此在这项工作中，我们提出了一个有效的跨语言UD解析框架，用于将解析器从一个源单语树库转移到任何其他目标语言，而无需树库。为了在不同的语言之间达到满意的分析精度，我们将两个语言建模任务作为多任务引入到依存句法分析中。假设只有来自目标语言的未标记数据和源树库可以一起利用，我们采用了一种自我训练策略，以进一步提高我们的多任务框架的性能。我们提出的跨语言解析器实现英语，中文，和22 UD树库。实证研究表明，我们的跨语言分析器产生的所有目标语言，第一次有希望的结果，接近分析器的性能，这是在自己的目标树库训练。
2021-04-23 cs.CL
Learning Executable Semantic Parsers for Natural Language Understanding
Stanford University（斯坦福大学）
为了构建问答系统和自然语言接口，语义解析已经成为一种重要而强大的范例。语义分析器将自然语言映射为逻辑形式，这是许多重要语言现象的经典表示。现代的转折是，我们对从数据中学习语义解析器感兴趣，这引入了一个新的统计和计算问题层。本文列出了统计语义解析器的组件，并强调了关键的挑战。我们将看到，语义解析是逻辑和统计世界的丰富融合，这种融合将在未来的自然语言理解系统中发挥不可或缺的作用。
2016-03-22 cs.AI cs.CL
Learning a natural-language to LTL executable semantic parser for grounded robotics
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；CBMM（大脑、思维与机器研究中心）
儿童通过观察语言在语境中的使用情况并尝试自己使用语言，显然很容易习得母语。他们这样做没有费力的注释，负面的例子，甚至直接更正。我们通过训练一个接地的语义解析器，向可以做同样事情的机器人迈出了一步，该解析器可以发现可用于执行自然语言命令的潜在语言表示。特别是，我们专注于困难的领域的命令与时间方面，其语义，我们捕捉线性时序逻辑，LTL。我们的解析器是用成对的句子和执行以及执行器来训练的。在训练时，解析器假设输入的意义表示为LTL中的公式。三种相互竞争的压力使语法分析器能够从语言中发现意义。首先，任何假设的句子含义必须足够宽松，以反映所有注释的执行轨迹。其次，执行者--一个预先训练好的端到端LTL规划者--必须发现观察到的轨迹很可能是意义的执行。最后，生成器重建原始输入，鼓励模型找到保存有关命令的知识的表示。这些共同确保了含义既不太笼统也不太具体。我们的模型泛化良好，能够解析和执行机器生成和人类生成的命令，具有几乎相同的准确性，尽管人类生成的句子在开放词典中更加多样和复杂。这里提出的方法不是特定的LTL：它可以应用于任何领域，句子的含义可以假设和执行者可以验证这些含义，从而打开了大门，许多应用程序的机器人代理。
2021-03-17 cs.CL
PPT: Parsimonious Parser Transfer for Unsupervised Cross-Lingual Adaptation
University of Melbourne（墨尔本大学）；Amazon Research（亚马逊研究院）
跨语言迁移是在缺乏显式监督的情况下解析低资源语言的主要技术。基于多语言输入编码的简单“直接转移”学习模型提供了一个强有力的基准。本文提出了一种无监督跨语言迁移的方法，通过使用它们的输出作为隐式监督的一部分，在目标语言的无标记文本的自我训练，改进了直接迁移系统。该方法假设最少的资源，并提供最大的灵活性，通过（a）接受任何预先训练的弧因子依赖解析器;（b）假设没有访问源语言数据;（c）支持投射和非投射解析;和（d）支持多源传输。以英语作为源语言，我们显示出显着的改进，在国家的最先进的传输模型上的遥远和附近的语言，尽管我们的概念更简单的方法。我们分析了多源传输的源语言选择以及非投射解析的优势。我们的代码可在线获取。
2021-01-27 cs.CL
