The ADAPT Enhanced Dependency Parser at the IWPT 2020 Shared Task
ADAPT Centre（ADAPT中心）；School of Computing, Dublin City University（都柏林城市大学计算学院）
我们描述了用于2020 IWPT共享任务的ADAPT系统，该任务以17种语言解析增强的通用语法。我们使用UDPipe和UDPipe-future实现了一个管道方法来提供初始级别的注释。增强的依赖图或者由基于图的语义依赖解析器产生，或者使用一小组语法从基本树构建。我们的研究结果表明，对于大多数语言，语义依赖分析器可以成功地应用于分析增强的依赖关系的任务。不幸的是，我们没有确保连接图作为我们管道方法的一部分，我们的竞争提交依赖于最后一刻的修复来通过验证脚本，这严重损害了我们的官方评估分数。我们的提交在官方评估中排名第八，宏观平均粗糙ELAS F1为67.23，树库平均值为67.49。我们后来实现了自己的图形连接修复，结果得分为79.53（语言平均）或79.76（树库平均），这将在竞争评估中排名第四。
2020-09-03 cs.CL
A Transition-based Parser for Unscoped Episodic Logical Forms
University of Rochester（罗切斯特大学）
“情节逻辑：无作用域的逻辑形式”（EL-ULF）是一种语义表示，它捕捉了谓词-论元结构以及情节逻辑形式主义中更具有挑战性的语言方面。我们提出了第一个学习的方法，用于将句子解析成ULF，使用越来越多的注释示例。这些结果为今后的改进提供了坚实的基础。我们的方法学习一个序列到序列模型，用于预测修改后的缓存过渡系统内的过渡动作序列。我们评估的有效性类型语法为基础的限制，一个字到符号的词典，并在这项任务中的过渡系统状态功能。我们的系统可在https://github.com/genelkim/ulf-transition-parser上获得。我们还在https://www.cs.rochester.edu/u/gkim21/ulf/resources/上提供了第一个官方注释的ULF数据集。
2021-03-15 cs.CL
Merging Weak and Active Supervision for Semantic Parsing
Carnegie Mellon University（卡内基梅隆大学）
语义解析器将来自用户的自然语言命令（NL）映射到可执行的含义表示（MR），其随后在特定环境中执行以获得用户期望的结果。这种解析器的全监督训练需要由领域专家标注的NL/MR对，这使得它们的收集成本很高。然而，弱监督语义解析器仅从NL和预期执行结果对中学习，留下了潜在的MR。虽然弱监督的成本较低，但从这种投入中学习会带来困难。它要求解析器用非常弱的学习信号搜索很大的空间，并且很难避免以错误的方式获得正确答案的虚假MR。这些因素导致在弱监督和完全监督设置下训练的解析器之间的性能差距。为了弥合这一差距，我们研究了弱监督和主动学习之间的交叉点，它允许学习者主动选择示例并查询手动注释作为额外的监督，以改进在弱监督下训练的模型。我们研究了不同的主动学习策略选择的例子查询，和各种形式的额外监督，这样的查询。我们在两个不同的数据集上评估我们的方法的有效性。在WikiSQL上的实验表明，通过仅注释1.8%的示例，我们在最先进的弱监督基线上提高了6.4%，实现了79.0%的准确率，与完全监督训练的模型仅相差1.3%。在WikiTableQuestions上与人工注释器的实验表明，我们的方法可以提高只有100个活动查询的性能，特别是对于从冷启动学习的弱监督解析器。
2019-11-29 cs.CL cs.LG
Computational Semantics and Evaluation Benchmark for Interrogative Sentences via Combinatory Categorial Grammar
Kyoto University（京都大学）；Keio University（庆应义塾大学）
本文在组合范畴语法框架下提出疑问句的组合语义，并构建问答数据集QSEM进行评估，揭示了CCG理论能力与现有解析器之间的差距。
2023-12-22 cs.AI cs.CL cs.LO
Fill it up: Exploiting partial dependency annotations in a minimum spanning tree parser
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
依存句法分析的无监督模型通常需要大量干净的、未标记的数据以及黄金标准的词性标记。添加间接监督（例如语言共性和规则）可以有所帮助，但我们表明，获得少量的直接监督-在这里，部分依赖注释-提供了一个强大的零和完全监督之间的平衡。我们适应无监督的ConvexMST依赖解析器学习部分依赖表示的图形片段语言。与不到24小时的总注释，我们获得了7%和17%的绝对改善，在未标记的依赖分数为英语和西班牙语，分别相比，相同的解析器，只使用通用语法约束。
2016-11-26 cs.CL
Predicting Discourse Structure using Distant Supervision from Sentiment
University of British Columbia（不列颠哥伦比亚大学）
语篇解析还不能充分利用神经NLP革命，主要是由于缺乏注释数据集。我们提出了一种新的方法，使用远程监督的辅助任务（情感分类），产生大量的数据RST风格的话语结构预测。我们的方法结合了多实例学习的神经变体，使用文档级监督，与最佳CKY风格的树生成算法。在一系列的实验中，我们训练一个话语分析器（仅用于结构预测）我们自动生成的数据集，并将其与人类注释语料库（新闻领域RST-DT和教学领域）训练的分析器进行比较。结果表明，虽然我们的解析器还没有匹配在同一数据集（域内）上训练和测试的解析器的性能，但它确实在更困难且可以说更有用的域间话语结构预测任务上表现得非常好，其中解析器在一个域上训练并在另一个域上测试/应用。
2019-10-30 cs.CL
Neural Symbolic Machines: Learning Semantic Parsers on Freebase with Weak Supervision (Short Version)
Northwestern University（西北大学）；Tel-Aviv University（特拉维夫大学）；Google Inc.（谷歌公司）
将深度神经网络的成功扩展到自然语言理解和符号推理需要复杂的运算和外部记忆。最近的神经程序诱导方法试图解决这个问题，但通常限于可微记忆，因此不能扩展到小的合成任务之外。在这项工作中，我们提出了管理员-程序员-计算机框架，它集成了神经网络与不可微的内存，以支持抽象的，可扩展的和精确的操作，通过一个友好的神经计算机接口。具体来说，我们介绍了一个神经符号机，其中包含一个序列到序列的神经“程序员”，和一个不可微的“计算机”，这是一个Lisp解释器与代码辅助。为了成功地将REINFORCE应用于训练，我们使用通过迭代最大似然训练过程找到的近似黄金程序来增强它。NSM能够从大型知识库的弱监督中学习语义解析器。它实现了新的国家的最先进的性能在WebSites SP，一个具有挑战性的语义解析数据集，与弱监督。与以前的方法相比，NSM是端到端的，因此不依赖于特征工程或领域特定知识。
2016-12-04 cs.AI cs.CL cs.LG
Co-training an Unsupervised Constituency Parser with Weak Supervision
Institute for Language, Cognition and Computation（语言、认知与计算研究所）；School of Informatics, University of Edinburgh（爱丁堡大学信息学院）
我们介绍了一种无监督的解析方法，依赖于引导分类器来确定一个节点是否占主导地位的一个句子中的特定跨度。有两种类型的分类器，一种是作用于跨度的内部分类器，另一种是作用于给定跨度之外的所有内容的外部分类器。通过两个分类器的自我训练和联合训练，我们表明它们之间的相互作用有助于提高两者的准确性，从而有效地解析。种子自举技术准备数据来训练这些分类器。我们的分析进一步验证了这种方法结合弱监督使用已知语言的先验分支知识（左/右分支）和最小的语法分析注入强归纳偏见的分析器，实现63.1 F $_1$的英语（PTB）测试集。此外，我们通过对中文树库（CTB）和日文树库（KTB）的评估，展示了我们的架构的有效性，并取得了新的最先进的结果。我们的代码和预培训模型可在https://github.com/Nickil21/weakly-supervised-parsing上获得。
2022-03-18 cs.AI cs.CL cs.LG
Look-up and Adapt: A One-shot Semantic Parser
Carnegie Mellon University（卡内基梅隆大学）；LAER AI, Inc.（LAER AI公司）
计算设备近来已经变得能够经由自然语言与它们的终端用户交互。然而，它们只能在有限的“支持”话语域中运行，并且在面对域外话语时会严重失败，这主要是由于它们的语义分析器的限制。在本文中，我们提出了一种语义解析器，通过学习一个通用的策略，通过适应看到的话语的逻辑形式来解析一个看不见的话语，而不是从头开始学习生成一个逻辑形式，从而概括出域外的例子。我们的分析器保持一个内存组成的一个代表性的子集，看到的话语与他们的逻辑形式配对。给定一个看不见的话语，我们的解析器的工作原理是从内存中查找一个类似的话语，并调整其逻辑形式，直到它适合看不见的话语。此外，我们提出了一个数据生成策略，用于构建不同领域的话语逻辑形式对。我们的研究结果显示，与基线相比，在两种不同的评估设置下，单次解析的性能提高了68.8%。
2019-10-27 cs.CL cs.LG
Neural Symbolic Machines: Learning Semantic Parsers on Freebase with Weak Supervision
Northwestern University（西北大学）；Tel-Aviv University（特拉维夫大学）；Google Inc.（谷歌公司）
利用神经网络的统计能力来执行语言理解和符号推理是困难的，当它需要对大型知识库执行有效的离散操作时。在这项工作中，我们介绍了一个神经符号机，它包含（a）一个神经“程序员”，即，将语言语句映射到程序并利用键变量存储器来处理组合性的序列到序列模型（b）符号“计算机”，即，一个Lisp解释器，执行程序执行，并通过修剪搜索空间来帮助找到好的程序。我们应用REINFORCE直接优化这个结构化预测问题的任务奖励。为了在弱监督下进行训练并提高REINFORCE的稳定性，我们使用迭代最大似然训练过程对其进行了增强。当仅从问答对进行训练时，NSM在Websites SP数据集上的表现优于最先进的技术，而不需要任何特征工程或特定领域的知识。
2017-04-23 cs.AI cs.CL cs.LG
Overcoming Conflicting Data when Updating a Neural Semantic Parser
University of California, Berkeley（加州大学伯克利分校）；Google Assistant（谷歌助手）
在本文中，我们探讨了如何使用少量的新数据更新面向任务的语义解析模型时，所需的输出为一些例子已经改变。当以这种方式进行更新时，出现的一个潜在问题是原始训练集中存在冲突的数据或过时的标签。为了评估这个未充分研究的问题的影响，我们提出了一个实验装置，用于模拟神经语义解析器的变化。我们发现，存在冲突的数据极大地阻碍了学习的更新，然后探索几种方法来减轻其影响。与朴素的数据混合策略相比，我们的多任务和数据选择方法大大提高了模型的准确性，我们最好的方法缩小了该基线与Oracle上限之间86%的准确性差距。
2021-12-09 cs.CL cs.LG
Total Recall: a Customized Continual Learning Method for Neural Semantic Parsers
Monash University（莫纳什大学）
本文研究了语义解析的持续学习。在这种设置中，神经语义解析器顺序地学习任务，而不访问来自先前任务的完整训练数据。直接应用SOTA持续学习算法来解决这个问题，无法实现与所有可见任务的再训练模型相当的性能，因为它们没有考虑语义解析器产生的结构化输出的特殊属性。因此，我们提出了TotalRecall，一种面向神经语义解析器的持续学习方法，从两个方面进行设计：i）一种记忆回放的采样方法，使逻辑形式模板多样化，并平衡解析动作在记忆中的分布; ii）一种两阶段的训练方法，显著提高了解析器跨任务的泛化能力。我们进行了大量的实验，研究涉及的研究问题，在持续的语义解析，并证明了一个神经语义分析器训练与TotalRecall实现优于一个直接训练的SOTA持续学习算法，并实现了3-6倍的加速比从头开始重新训练。代码和数据集可在https://github.com/zhuang-li/cl_nsp上获得。
2021-09-15 cs.CL
A Comparative Analysis of Knowledge-Intensive and Data-Intensive Semantic Parsers
Peking University（北京大学）；Alibaba（阿里巴巴）；Google（谷歌）；University of Cambridge（剑桥大学）
我们提出了一个面向现象的比较分析任务无关的语义解析的两个主要方法：经典的，知识密集型和神经，数据密集型模型。为了反映最先进的神经NLP技术，我们引入了一个新的以目标结构为中心的解析器，它可以比以前的数据驱动解析器更准确地生成语义图。然后，我们表明，尽管整体性能相当，知识和数据密集型模型产生不同类型的错误，在某种程度上，可以解释他们的理论属性。这种分析为解析器的开发提供了新的方向。
2020-10-28 cs.CL
Learning Joint Semantic Parsers from Disjoint Data
Paul G. Allen School of Computer Science & Engineering, University of Washington（华盛顿大学保罗·G·艾伦计算机科学与工程学院）；School of Computer Science, Carnegie Mellon University（卡内基梅隆大学计算机科学学院）
我们提出了一种新的方法来学习语义分析器从多个数据集，即使目标语义形式主义是截然不同的，底层语料库不重叠。我们处理这样的“不相交”的数据，通过治疗注释未观察到的形式主义作为潜在的结构化变量。在最先进的基础上，我们通过对框架语义解析和语义依存句法分析进行联合建模，展示了它们的改进。
2018-04-17 cs.CL
Identifying Domain Adjacent Instances for Semantic Parsers
University of Washington（华盛顿大学）；Google Inc.（谷歌公司）
当一个句子的语义不能在语义解析器的输出模式中表示时，解析将不可避免地失败。这些实例的检测通常被视为域外分类问题。然而，还有一种更微妙的场景，其中测试数据是从同一个域中提取的。除了形式化这个问题的域邻接，我们提出了各种基线，可以用来解决它的比较。我们还提出了一个新的简单的句子表示，强调意想不到的话。这种方法提高了在域内和域相邻实例上运行的下游语义解析器的性能。
2018-08-26 cs.CL
Improving a Neural Semantic Parser by Counterfactual Learning from Human Bandit Feedback
Heidelberg University（海德堡大学）
来自人类强盗反馈的反事实学习描述了一种场景，其中记录用户对历史系统输出质量的反馈并用于改进目标系统。我们展示了如何将这种学习框架应用于神经语义解析。从机器学习的角度来看，关键的挑战在于对估计器进行适当的重新加权，以避免反事实学习中的已知退化，同时仍然适用于随机梯度优化。为了与人类用户进行实验，我们设计了一个易于使用的界面来收集人类对语义解析的反馈。我们的工作是第一个表明，语义解析器可以显着提高从记录的人类反馈数据的反事实学习。
2018-11-30 cs.CL cs.LG stat.ML
Learning Executable Semantic Parsers for Natural Language Understanding
Stanford University（斯坦福大学）
为了构建问答系统和自然语言接口，语义解析已经成为一种重要而强大的范例。语义分析器将自然语言映射为逻辑形式，这是许多重要语言现象的经典表示。现代的转折是，我们对从数据中学习语义解析器感兴趣，这引入了一个新的统计和计算问题层。本文列出了统计语义解析器的组件，并强调了关键的挑战。我们将看到，语义解析是逻辑和统计世界的丰富融合，这种融合将在未来的自然语言理解系统中发挥不可或缺的作用。
2016-03-22 cs.AI cs.CL
Information Extraction with Character-level Neural Networks and Free Noisy Supervision
Bloomberg LP（彭博有限合伙企业）；AT&T Labs Research（AT&T实验室研究部）
我们提出了一个架构，信息抽取，从文本中增强了现有的分析器与字符级神经网络。使用提取的数据与现有数据库的一致性度量作为噪声监督的形式来训练网络。我们的架构结合了基于约束的信息抽取系统的能力，可以轻松地将领域知识和约束与深度神经网络的能力结合起来，利用大量数据来学习复杂的特征。该系统提高了现有解析器的精度，大大改进了彭博社用于金融语言文本的成熟和高度调整的基于约束的生产信息抽取系统。
2017-01-24 cs.CL cs.IR cs.LG
A Higher-Order Semantic Dependency Parser
Southeast University（东南大学）；Key Laboratory of Computer Network and Information Integration (Southeast University)（计算机网络和信息集成重点实验室（东南大学））
高阶特征在语义依存句法分析中带来了显著的准确性增益。然而，建模高阶特征与精确推理是NP难的。图神经网络（GNNs）已被证明是一种有效的工具，用于解决NP难问题的近似推理在许多图学习任务。受GNNs成功的启发，我们研究通过应用GNNs构建高阶语义依赖解析器。GNN不是从中间解析图中显式地提取高阶特征，而是通过堆叠多个GNN层来简洁地聚合高阶信息。实验结果表明，我们的模型在SemEval 2015 Task 18英语数据集上的性能优于以前最先进的解析器。
2022-01-27 cs.CL
On Robustness of Neural Semantic Parsers
Monash University（莫纳什大学）；Deakin University（迪肯大学）
语义解析将自然语言的话语映射为逻辑形式，这是许多高级自然语言处理问题的基础。语义解析器通过深度神经网络获得性能提升，但继承了对抗性示例的漏洞。在本文中，我们提供了在存在对抗攻击的语义解析器的鲁棒性的实证研究。形式上，语义解析的对手被认为是扰动的话语-LF对，其话语具有与原始话语完全相同的含义。提出了一种基于已有基准语料库的可扩展鲁棒性测试集构造方法。我们的研究结果回答了五个研究问题，在衡量最先进的解析器的鲁棒性测试集的性能，并评估数据增强的效果。
2021-02-03 cs.AI cs.CL
Zero-Shot Semantic Parsing for Instructions
Technion, IIT（以色列理工学院）
我们考虑一个zero-shot语义解析任务：将指令解析成组合逻辑形式，在训练期间没有看到的域中。我们提出了一个新的数据集，其中包含来自7个应用程序域（例如日历或文件管理器）的1，390个示例，每个示例由一个三元组组成：（a）应用程序的初始状态，（b）在该状态的上下文中执行的指令，以及（c）执行指令后的应用程序状态。我们介绍了一种新的训练算法，旨在训练语义解析器的例子从一组源域，使它能够有效地解析指令从一个未知的目标域。我们将我们的算法集成到Pasupat和Liang（2015）的浮点解析器中，并进一步用特征和逻辑形式候选过滤逻辑来增强解析器，以支持zero-shot自适应。我们的实验与各种zero-shot适应设置证明了大量的性能增益超过非适应的解析器。
2019-11-20 cs.CL cs.LG
Learning an Executable Neural Semantic Parser
University of Edinburgh（爱丁堡大学）；Stanford University（斯坦福大学）；IBM T.J. Watson Research（IBM T.J. 沃森研究中心）
本文描述了一种神经语义解析器，它将自然语言语句映射到逻辑形式上，这些逻辑形式可以针对特定于任务的环境（如知识库或数据库）执行，以产生响应。该分析器生成树结构的逻辑形式与基于转换的方法相结合的通用树生成算法与域的一般操作定义的逻辑语言。生成过程是由结构化的递归神经网络，它提供了一个丰富的编码的原始上下文和生成历史进行预测。为了解决自然语言和逻辑形式标记之间的不匹配，探索了各种注意力机制。最后，我们考虑神经语义解析器的不同训练设置，包括给出注释逻辑形式的全监督训练，提供表示的弱监督训练，以及只有未标记句子和知识库可用的远程监督。在广泛的数据集上的实验证明了我们的解析器的有效性。
2018-08-12 cs.CL
Large Discourse Treebanks from Scalable Distant Supervision
University of British Columbia（不列颠哥伦比亚大学）
语篇分析是自然语言处理中的一项重要的上游任务，对许多现实世界的应用具有重要意义。尽管其广泛认可的作用，最新的话语分析器（因此下游任务）仍然依赖于小规模的人类注释的话语树库，试图从非常有限的数据在几个狭窄的领域推断通用的话语结构。为了克服这种可怕的情况，并允许话语解析器在更大，更多样化和独立于领域的数据集上进行训练，我们提出了一个框架，从情感分析辅助任务的远程监督中生成“银标准”话语树。
2022-10-18 cs.CL
Building a Neural Semantic Parser from a Domain Ontology
University of Edinburgh（爱丁堡大学）；Stanford University（斯坦福大学）
语义解析是将自然语言话语转换为机器可解释的含义表示的任务，其可以针对诸如数据库的真实世界环境执行。将语义解析扩展到任意领域面临着两个相互关联的挑战：有效且廉价地获得广泛覆盖的训练数据;以及开发一个推广到合成话语和复杂意图的模型。我们使用一个框架来解决这些挑战，该框架允许从领域本体中获取训练数据，并引导神经解析器，该神经解析器递归地构建逻辑形式的推导。在我们的框架中的含义表示所描述的序列的自然语言模板，其中每个模板对应于一个分解的片段的基本含义表示。虽然是人工的，但模板可以被人类理解和解释以创建自然的话语，从而产生平行的三元组话语，含义表示及其分解。这些使我们能够训练一个神经语义解析器，它学会在推导含义表示时编写规则。我们众包训练数据上的六个领域，包括单轮话语表现出丰富的组合性，和顺序的话语，一个复杂的任务是按程序执行的步骤。然后，我们开发神经语义解析器执行这样的合成任务。一般来说，我们的方法允许从给定的领域本体快速，廉价地部署神经语义解析器。
2018-12-25 cs.CL
Constrained Language Models Yield Few-Shot Semantic Parsers
Microsoft Semantic Machines（微软语义机器）
我们探索使用大型预训练语言模型作为Few-Shot语义解析器。语义解析的目标是在给定自然语言输入的情况下生成结构化的含义表示。然而，语言模型被训练以生成自然语言。为了弥合这一差距，我们使用语言模型将输入解释为类似英语的受控子语言，该子语言可以自动映射到目标含义表示。我们的研究结果表明，只有少量的数据和很少的代码转换成类似英语的表示，我们的快速引导语义解析器的蓝图在多个社区任务上产生了令人惊讶的有效性能，大大超过了在相同的有限数据上训练的基线方法。
2021-11-16 cs.CL
Interleaving Syntax and Semantics in an Efficient Bottom-Up Parser
我们描述了一个有效的自下而上的分析器，交错的语法和语义结构的建设。提出了两种通过减少局部歧义来减少搜索的技术：有限左上下文约束用于减少局部句法歧义，延迟排序约束应用用于减少局部语义歧义。我们实验评估这些技术，并显示显着减少图表边缘的数量和总解析时间。该分析器的强大处理能力在其用于提高语音识别器的准确性中得到了证明。
1994-07-05 cmp-lg cs.CL
Evaluating Induced CCG Parsers on Grounded Semantic Parsing
University of Southern California（南加州大学）；University of Edinburgh（爱丁堡大学）；Google（谷歌）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们比较了四种不同的句法CCG解析器的语义槽填充任务的有效性，探讨有多少句法监督需要下游语义分析。这种外在的，基于任务的评估提供了一个独特的窗口，探索无监督语法归纳系统所捕获的语义的优点和缺点。我们发布了一个新的Freebase语义解析数据集，称为SPADES（DECLARATIVE Sentences的语义解析），包含93K的完形填空式问题与答案配对。我们在这个数据集上评估我们所有的模型。我们的代码和数据可在https://github.com/sivareddyg/graph-parser上获得。
2017-01-31 cs.AI cs.CL
One Semantic Parser to Parse Them All: Sequence to Sequence Multi-Task Learning on Semantic Parsing Datasets
Amazon Alexa AI（亚马逊Alexa人工智能部门）
语义解析器将自然语言话语映射到意义表示。缺乏一个单一的意义表示标准导致了大量语义解析数据集的产生。为了统一不同的数据集和训练一个单一的模型，他们，我们调查使用多任务学习（MTL）架构。我们使用五个数据集（Geoquery，NLMaps，TOP，Overnight，AMR）进行实验。我们发现，跨数据集共享整个网络的MTL架构比单任务基线产生了具有竞争力或更好的解析准确性，同时将参数总数减少了68%。我们进一步提供的证据表明，MTL也有更好的组合泛化比单任务模型。我们还提出了任务抽样方法的比较，并提出了一个有竞争力的替代广泛的比例抽样策略。
2021-06-14 cs.CL
Explaining Large Language Model-Based Neural Semantic Parsers (Student Abstract)
George Mason University（乔治梅森大学）；Massachusetts Institute of Technology（麻省理工学院）
虽然大语言模型（LLM）在诸如语义解析等结构化预测任务中表现出强大的能力，但很少有研究探讨其成功的内在机制。我们的工作研究了不同的方法来解释基于LLM的语义解析器，并定性地讨论了解释模型的行为，希望能启发未来的研究更好地理解它们。
2023-01-25 cs.AI cs.CL
Bootstrapping Multilingual Semantic Parsers using Large Language Models
Indian Institute of Technology Bombay（印度理工学院孟买分校）；Google Research India（谷歌印度研究院）
尽管预先训练的多语言模型证明了跨语言泛化，但跨多种语言传输英语数据集的快速训练范式仍然是训练特定任务的多语言模型的关键机制。然而，对于许多低资源语言，可靠的翻译服务的可用性需要大量昂贵的人工注释翻译对。此外，由于特定于任务的输入文本和用于训练翻译模型的通用文本之间的域不匹配，翻译服务可能继续是脆弱的。对于多语言语义解析，我们证明了通过Few-Shot提示将英语数据集翻译成多种语言的大语言模型（LLM）所提供的有效性和灵活性。通过对两个公共数据集MTOP和MASSIVE进行广泛的比较，跨越50种语言和多个领域，我们表明，我们使用LLM翻译数据的方法在50种语言中的41种语言上优于强大的快速训练基线。我们研究的关键设计选择，使更有效的多语言数据翻译，通过提示LLM。
2023-02-11 cs.CL cs.LG
Robust Incremental Neural Semantic Graph Parsing
University of Oxford（牛津大学）；DeepMind
将句子解析为具有语言表达性的语义表示是自然语言处理的一个关键目标。然而，统计分析几乎完全集中在双语依赖或特定领域的逻辑形式。我们提出了一个神经编码器-解码器转换为基础的解析器，这是第一个全覆盖的最小递归语义（MRS）的语义图解析器。该模型架构使用基于堆栈的嵌入功能，预测图与unexicalized谓词及其令牌对齐。我们的解析器比MRS上基于注意力的基线更准确，并且在附加的抽象意义表示（AMR）基准上，GPU批处理使其比基于语法的高精度解析器快一个数量级。此外，我们的MRS解析器的86.69%Smatch分数高于AMR解析的上限，使MRS成为一个有吸引力的选择作为语义表示。
2017-07-27 cs.CL
Learning a Neural Semantic Parser from User Feedback
Allen Institute for Artificial Intelligence（艾伦人工智能研究院）
我们提出了一种方法，快速，轻松地建立自然语言接口的数据库，新的领域，其性能随着时间的推移，根据用户的反馈，并需要最少的干预。为了实现这一点，我们调整神经序列模型，将话语直接映射到具有完整表达能力的SQL，绕过任何中间含义表示。这些模型会立即在线部署，以征求真实用户的反馈，从而标记不正确的查询。最后，SQL的流行便于使用crowd为不正确的预测收集注释，这直接用于改进我们的模型。这种完整的反馈循环，没有中间表示或数据库特定的工程，开辟了构建高质量语义解析器的新方法。实验表明，这种方法可以快速部署任何新的目标域，我们从头开始学习一个在线学术数据库的语义解析器。
2017-04-27 cs.CL
The Meaning Factory at SemEval-2017 Task 9: Producing AMRs with Neural Semantic Parsing
University of Groningen（格罗宁根大学）
我们在SemEval-2017 AMR语义解析共享任务的上下文中评估了基于字符的序列到序列模型的语义解析器。通过数据增强、超级字符和POS标记，与基线字符级模型相比，我们在性能上获得了重大改进。虽然我们改进了以前的基于字符的神经语义解析模型，但总体准确率仍然低于最先进的AMR解析器。将我们的神经语义解析器与现有的传统解析器相结合的集成，在性能上会有很小的提高。
2017-04-19 cs.CL
Building a Parser That can Afford to Interact with Semantics
自然语言理解程序在处理人类理解者没有太大困难的真实世界文本时，会被可能的句法结构的多样性所困扰。在这项工作中，我分析了分析策略之间的关系，他们遇到的局部歧义的程度，和语义反馈的语法，并提出了一个分析算法称为{ \em头信号左角分析}（HSLC），最大限度地减少局部歧义，同时支持交互式的语法和语义分析。这样的解析器已经在一个名为COMPERE的句子理解程序中实现。
1994-08-31 cmp-lg cs.CL
Policy Gradient as a Proxy for Dynamic Oracles in Constituency Parsing
University of California, Berkeley（加利福尼亚大学伯克利分校）；Computer Science Division（计算机科学系（注意：此处“Division”通常指学院或系级单位，但根据提取规则，“大学/学院/公司/研究院级别即可”，此处“Computer Science Division”作为伯克利的学院/系级单位，符合提取要求，因此保留））
动态预言机为训练具有探索功能的选区解析器提供了强有力的监督，但必须为给定解析器的转换系统自定义。我们探索使用策略梯度方法作为与解析器无关的替代方法。除了直接优化树级指标（如F1）外，策略梯度还可以通过在训练期间进行探索来减少暴露偏差;此外，它不需要动态oracle进行监督。在三种语言的四个选区解析器上，该方法在几乎所有设置中都大大优于静态Oracle似然训练。对于动态oracle可用的解析器（包括我们为Dyer et al. 2016的转换系统定义的新oracle），策略梯度通常会重新获得动态oracle提供的性能增益的很大一部分。
2018-06-08 cs.CL
On The Ingredients of an Effective Zero-shot Semantic Parser
Carnegie Mellon University（卡内基梅隆大学）；Google Research（谷歌研究院）；IBM Research（IBM研究院）
语义解析器将自然语言话语映射成意义表示（例如，程序）。由于需要费力的注释工作，这种模型通常会受到训练数据缺乏的影响。最近的研究已经通过合成来自语法的规范话语和程序的训练样本来执行零样本学习，并进一步释义这些话语以提高语言多样性。然而，这样的合成示例不能完全捕获真实数据中的模式。在本文中，我们通过语言和逻辑差距（Herzig和Berant，2019）的镜头分析了zero-shot解析器，这些镜头量化了规范示例和真实世界用户发布的示例之间的语言和编程模式的差异。我们建议使用改进的语法，更强的释义和有效的学习方法，使用最有可能反映真实用户意图的规范示例来弥合这些差距。我们的模型在两个语义解析基准测试（Scholar，Geo）上实现了强大的性能，零标记数据。
2021-10-15 cs.CL
Bootstrapping a Crosslingual Semantic Parser
Institute for Language, Cognition and Computation（语言、认知与计算研究所）；School of Informatics, University of Edinburgh（爱丁堡大学信息学院）
语义解析的最新进展几乎不考虑英语以外的语言，但专业翻译可能会非常昂贵。我们将在单一语言（如英语）上训练的语义解析器适应新语言和具有最小注释的多个域。我们询问机器翻译是否是训练数据的适当替代品，并将其扩展到使用英语，释义和多语言预训练模型的联合训练来研究自举。我们开发了一个基于transformer的解析器，通过在多个编码器上集成注意力来结合释义，并在德语和中文中提供了新版本的ATIS和Overnight进行评估。实验结果表明，MT可以近似训练数据在一个新的语言准确的分析时，通过多个MT引擎的释义增强。考虑到MT是不够的，我们还发现，使用我们的方法实现的解析精度在2%的完整的翻译使用只有50%的训练数据。
2020-09-23 cs.CL
An Imitation Game for Learning Semantic Parsers from User Interaction
The Ohio State University（俄亥俄州立大学）；Facebook AI Research, Seattle（Facebook人工智能研究院（西雅图））
尽管有广泛的成功应用，引导和微调语义解析器仍然是一个繁琐的过程，如昂贵的数据注释和隐私风险的挑战。在本文中，我们提出了一种替代方案，人在循环的方法，直接从用户学习语义解析器。语义分析器应该对它的不确定性进行内省，并在不确定时提示用户演示。在这样做的过程中，它也可以模仿用户的行为，并继续自主地改进自己，希望最终它可以在解释他们的问题时变得和用户一样好。为了对抗演示的稀疏性，我们提出了一种新的注释高效的模仿学习算法，该算法通过混合演示的状态和置信的预测来迭代地收集新的数据集，并以数据集聚合的方式重新训练语义解析器（Ross等人，2011年）。我们提供了一个理论分析，其成本约束，并实证证明其有前途的性能上的文本到SQL的问题。代码将在https://github.com/sunlab-osu/MISP上提供。
2020-10-15 cs.AI cs.CL
TRANX: A Transition-based Neural Abstract Syntax Parser for Semantic Parsing and Code Generation
Carnegie Mellon University（卡内基梅隆大学）
我们提出TRANX，一个基于转换的神经语义解析器，映射到正式的意义表示（MR）的自然语言（NL）的话语。TRANX使用基于目标MR的抽象语法描述语言的转换系统，这给它带来了两个主要优点：（1）它是高度精确的，使用来自目标MR的语法的信息来约束输出空间并对信息流建模，以及（2）它是高度可概括的，并且可以很容易地应用于新类型的MR，只需编写与MR中允许的结构相对应的新的抽象语法描述。在四个不同的语义解析和代码生成任务上的实验表明，我们的系统是可推广的，可扩展的，有效的，与现有的神经语义解析器相比，注册强大的结果。
2018-10-05 cs.CL cs.PL
Genie: A Generator of Natural Language Semantic Parsers for Virtual Assistant Commands
Stanford University（斯坦福大学）；Salesforce, Inc.（赛富时公司）
为了理解不同的自然语言命令，如今的虚拟助手需要使用大量劳动密集型的手动注释语句进行训练。本文介绍了一种方法和Genie工具包，可以处理新的复合命令，大大减少手动工作。我们提倡用虚拟助手程序设计语言（VAPL）形式化虚拟助手的能力，并使用神经语义解析器将自然语言翻译成VAPL代码。Genie只需要一小部分真实的输入句子来验证神经模型。开发人员编写模板来合成数据; Genie使用众包释义和数据增强以及合成数据来训练语义解析器。我们还提出了设计原则，使VAPL语言服从自然语言翻译。我们将这些原则应用于修改Almond虚拟助手使用的语言ThingTalk。我们使用Genie来构建第一个语义解析器，该解析器可以支持带有未加引号的自由形式参数的复合虚拟助手命令。Genie在真实用户输入上达到62%的准确率。我们展示了精灵的一般性表现出19%和31%的改进，比以前的艺术水平的音乐技能，聚合功能，和访问控制。
2019-04-18 cs.CL
A Transition-Based Directed Acyclic Graph Parser for UCCA
The Edmond and Lily Safra Center for Brain Sciences（埃德蒙与莉莉·萨夫拉脑科学中心）；Hebrew University of Jerusalem（希伯来大学）
我们提出了UCCA的第一个解析器，一个跨语言适用的语义表示框架，它建立在广泛的类型学工作，并支持快速注释。UCCA对现有的解析技术提出了挑战，因为它表现出可重入性（导致DAG结构），不连续结构和非终结节点对应于复杂的语义单元。据我们所知，这些形式属性的连接不支持任何现有的解析器。我们的基于转换的解析器，它使用了一个新的转换集和基于双向LSTM的功能，不仅对UCCA解析有价值：它处理更一般的图结构的能力可以为其他语义DAG结构的解析器的开发提供信息，以及经常使用不连续结构的语言。
2017-04-04 cs.CL
Semantic Parsing with Candidate Expressions for Knowledge Base Question Answering
Pohang University of Science and Technology（浦项科技大学）
本文提出基于候选表达式增强的语义解析器，用于知识库问答，通过引入子类型推断和联合类型规则提升解析效率和准确性。
2025-12-31 cs.CL
Joint learning of ontology and semantic parser from text
Jožef Stefan International Postgraduate School（约热夫·斯特凡国际研究生院）
语义解析方法用于捕获和表示文本的语义。捕捉文本中所有概念的意义表示可能并不总是可用的，或者可能不够完整。本体提供了一种结构化和推理能力的方式来建模文本集合的内容。在这项工作中，我们提出了一种新的方法来联合学习的本体和语义分析器从文本。该方法是基于半自动归纳的上下文无关文法从语义注释的文本。语法将文本解析成语义树。语法和语义树都用于在多个级别上学习本体-类，实例，分类和非分类关系。该方法在维基百科描述人物的页面的第一句话上进行了评估。
2016-01-05 cs.AI cs.CL
Learning Cross-lingual Distributed Logical Representations for Semantic Parsing
Singapore University of Technology and Design（新加坡科技设计大学）
随着用于语义解析的多语言数据集的发展，最近的研究工作已经研究了在多语言设置中学习语义解析器的问题。然而，如何提高一个特定语言的单语语义分析器的性能，利用不同语言的数据注释仍然是一个研究问题，是未充分探讨。在这项工作中，我们提出了一项研究，以显示如何学习分布式表示的逻辑形式的数据注释在不同的语言可以用于提高单语语义分析器的性能。我们扩展了现有的两个单语语义解析器，将这种跨语言的分布式逻辑表示的功能。实验表明，我们提出的方法是能够产生改进的语义解析结果的标准多语言GeoQuery数据集。
2018-06-14 cs.CL
Joint On-line Learning of a Zero-shot Spoken Semantic Parser and a Reinforcement Learning Dialogue Manager
University of Avignon（阿维尼翁大学）
尽管最近在对话系统的设计方面取得了许多进展，但真正的瓶颈仍然是获取训练其组件所需的数据。与许多其他语言处理应用程序不同，对话系统需要与用户进行交互，因此使用预先记录的数据开发它们是复杂的。在以前的作品的基础上，在线学习是追求在这里作为一个最方便的方式来解决这个问题。数据汇集、注释和在学习算法中的使用在单个过程中执行。主要的困难是：引导一个初始的基本系统，并控制用户端的额外成本水平。考虑到性能良好的解决方案可以直接用于语音识别和合成，本研究仅侧重于学习口语语言理解和对话管理模块。联合学习的几个变种进行了调查和测试与用户试验，以确认整体在线学习后，只需几百个训练对话，可以超越基于专家的系统。
2018-10-01 cs.CL cs.LG
An Incremental Parser for Abstract Meaning Representation
University of Edinburgh（爱丁堡大学）；University of Padua（帕多瓦大学）
语义表示（AMR）是一种自然语言的语义表示，其嵌入与传统任务相关的注释，诸如命名实体识别、语义角色标注、词义消歧和共指消解。我们描述了一个基于转换的AMR解析器，它在线性时间内从左到右解析句子。我们进一步提出了一个测试套件，评估有助于比较AMR解析器的特定子任务，并表明我们的解析器在LDC2015E86数据集上与最先进的解析器竞争，并且在恢复命名实体和处理极性方面优于最先进的解析器。
2017-04-10 cs.CL
Reducing Model Jitter: Stable Re-training of Semantic Parsers in Production Environments
Google Assistant（谷歌助手）
重新训练现代深度学习系统可能会导致模型性能的变化，即使在使用相同的数据和超参数进行训练时，也只是使用不同的随机种子。我们称这种现象为模型抖动。这个问题在生产环境中往往会加剧，因为模型是在噪声数据上重新训练的。在这项工作中，我们解决了稳定的再培训问题，重点是会话语义分析器。我们首先通过引入模型一致性度量并显示数据集噪声和模型大小的变化来量化模型抖动问题。然后，我们证明了各种抖动减少技术，如集成和蒸馏的有效性。最后，我们讨论了这种技术之间的实际权衡，并表明，共蒸馏提供了一个甜蜜点的抖动减少语义解析系统，只有适度增加资源的使用。
2022-09-23 cs.CL
Searching for Better Database Queries in the Outputs of Semantic Parsers
HSE University（高等经济大学）；Yandex（杨德克斯）
从自然语言中的问题生成数据库查询的任务遭受模糊性和对目标的不够精确的描述。当系统需要泛化到训练时看不见的数据库时，这个问题会被放大。在本文中，我们考虑的情况下，在测试时，系统可以访问一个外部标准，评估生成的查询。标准可以从检查查询执行时没有错误到在一组测试上验证查询。在这种情况下，我们增加了神经自回归模型的搜索算法，寻找一个满足标准的查询。我们将我们的方法应用于最先进的语义解析器，并报告说，它允许我们找到许多通过不同数据集上所有测试的查询。
2022-10-13 cs.CL
Fast semantic parsing with well-typedness guarantees
Saarland University（萨尔大学）；Department of Language Science and Technology（语言科学与技术系）
AM依赖解析是一种基于语言学原理的神经语义解析方法，具有跨多个图库的高精度。它依赖于一个类型系统，该类型系统对语义价进行建模，但会使现有的解析器变慢。我们描述了一个A * 解析器和一个基于转换的解析器AM依存句法分析，保证良好的类型和提高解析速度高达3个数量级，同时保持或提高准确性。
2020-10-06 cs.CL
PPT: Parsimonious Parser Transfer for Unsupervised Cross-Lingual Adaptation
University of Melbourne（墨尔本大学）；Amazon Research（亚马逊研究院）
跨语言迁移是在缺乏显式监督的情况下解析低资源语言的主要技术。基于多语言输入编码的简单“直接转移”学习模型提供了一个强有力的基准。本文提出了一种无监督跨语言迁移的方法，通过使用它们的输出作为隐式监督的一部分，在目标语言的无标记文本的自我训练，改进了直接迁移系统。该方法假设最少的资源，并提供最大的灵活性，通过（a）接受任何预先训练的弧因子依赖解析器;（b）假设没有访问源语言数据;（c）支持投射和非投射解析;和（d）支持多源传输。以英语作为源语言，我们显示出显着的改进，在国家的最先进的传输模型上的遥远和附近的语言，尽管我们的概念更简单的方法。我们分析了多源传输的源语言选择以及非投射解析的优势。我们的代码可在线获取。
2021-01-27 cs.CL
Measuring Alignment Bias in Neural Seq2Seq Semantic Parsers
Technical University of Catalonia（加泰罗尼亚理工大学）
在深度学习之前，语义解析社区一直对理解和建模自然语言句子及其相应含义表示之间可能的单词对齐范围感兴趣。序列到序列模型改变了研究领域，这表明我们不再需要担心比对，因为它们可以通过注意力机制自动学习。最近，研究人员开始质疑这种假设。在这项工作中，我们调查seq2seq模型是否可以处理简单和复杂的比对。为了回答这个问题，我们增加了流行的地理语义解析数据集对齐注释和创建地理对齐。然后，我们研究了标准seq2seq模型在可以单调对齐的例子与需要更复杂对齐的例子上的性能。我们的实证研究表明，性能显着优于单调对齐。
2022-11-11 cs.AI cs.CL cs.LG
Structural Transfer Learning in NL-to-Bash Semantic Parsers
University of Oxford（牛津大学）
本文提出定量理解机器翻译任务间结构重叠的方法，应用于 NLBash 任务发现其可归约为词汇对齐且与 NL-to-SQL 结构重叠强烈，并揭示预训练计算量增加不总能增强向 NLBash 的迁移效果。
2023-07-31 cs.AI cs.CL cs.LG
Second-Order Semantic Dependency Parsing with End-to-End Neural Networks
School of Information Science and Technology（信息科学与技术学院）；ShanghaiTech University（上海科技大学）
语义依存句法分析的目的是识别句子中形成图的词之间的语义关系。在本文中，我们提出了一个二阶语义依赖分析器，它不仅考虑到个人的依赖边缘，但也对边缘之间的相互作用。我们表明，二阶解析可以近似使用平均场（MF）变分推理或循环的信念传播（LBP）。我们可以将这两种算法展开为神经网络的递归层，因此可以以端到端的方式训练解析器。我们的实验表明，我们的方法达到了国家的最先进的性能。
2021-02-24 cs.CL cs.LG
Uni-Parser: Unified Semantic Parser for Question Answering on Knowledge Base and Database
Salesforce Research（Salesforce研究院）；Yale University（耶鲁大学）
将自然语言问题解析成可执行的逻辑形式是对诸如知识库（KB）或数据库（DB）之类的结构化数据执行问答的有用且可解释的方式。然而，现有的语义解析方法不能适应这两种模式，因为它们遭受的逻辑形式候选人的指数增长，很难推广到看不见的数据。在这项工作中，我们提出了Uni-Parser，一个统一的语义解析器的问答（QA）的知识库和数据库。我们引入原语（KB中的关系和实体，DB中的表名、列名和单元值）作为框架中的基本元素。基元的数量随着KB和DB中检索到的关系的数量而线性增长，这使我们无法处理指数逻辑形式的候选者。我们利用生成器来预测最终的逻辑形式，通过改变和组合具有不同操作（例如选择，在哪里，计数）的顶级原语。通过对比基元排序器对搜索空间进行充分的修剪，生成器能够捕获基元的组合，从而增强了其泛化能力。我们在多个KB和DB QA基准测试中更有效地获得了有竞争力的结果，特别是在组合和zero-shot设置中。
2022-11-09 cs.AI cs.CL cs.PL
