Global Transition-based Non-projective Dependency Parsing
Universidade da Coruña（拉科鲁尼亚大学）；Cornell University（康奈尔大学）
Shi，Huang和Lee（2017）通过将基于transition的依赖解析器的动态编程实现与最小的双向LSTM特征集相结合，获得了英语和中文依存句法分析的最新结果。然而，他们的研究成果仅限于投射句法分析。在本文中，我们扩展了他们的方法，以支持非投射性提供了第一个实际的实现MH_4算法，一个$O(n^4)$轻度非投射动态编程解析器具有非常高的覆盖率非投射树库。为了使MH_4与最小的基于转换的特征集兼容，我们引入了一个基于转换的解释，其中解析器项被映射到转换序列。我们由此获得了非投射转换句法分析的全局解码的第一个实现，并实证证明了它在分析一些高度非投射语言时比投射转换句法分析更有效
2018-07-04 cs.CL
Gradient-based Inference for Networks with Output Constraints
Carnegie Mellon University（卡内基梅隆大学）；Oracle Labs（甲骨文实验室）
从业者将神经网络应用于自然语言处理中日益复杂的问题，例如具有丰富输出结构的句法分析和语义角色标注。许多这样的结构化预测问题需要对输出值进行确定性约束;例如，在序列到序列句法分析中，我们要求序列输出编码有效的树。虽然隐藏单元可能会捕获这些属性，但网络并不总是能够单独从训练数据中学习这些约束，因此从业者必须求助于后处理。在本文中，我们提出了一个神经网络的推理方法，强制执行确定性的约束输出，而不执行基于规则的后处理或昂贵的离散搜索。相反，本着基于梯度的训练的精神，我们使用基于梯度的推理（GBI）来强制约束：对于测试时的每个输入，我们轻推连续的模型权重，直到网络的无约束推理过程生成满足约束的输出。我们研究了GBI在三个具有硬约束的任务上的功效：语义角色标注，句法分析和序列转换。在每种情况下，该算法不仅满足约束条件，而且提高了精度，即使底层网络是最先进的。
2019-04-22 cs.CL
Developing and Evaluating a Probabilistic LR Parser of Part-of-Speech and Punctuation Labels
我们描述了一种方法来强大的领域无关的句法分析的不受限制的自然发生的（英语）输入。该技术涉及使用基于统一的语法结合概率LR解析器来解析词性和标点符号标签的序列。我们描述了几个语料库使用这种语法的覆盖范围，并报告了一个分析实验的结果，使用来自括号内的训练数据的概率。我们报告的第一个实质性的实验，以评估标点符号的贡献，以获得一个准确的句法分析，通过分析相同的文本与自然发生的标点符号。
1995-10-09 cmp-lg cs.CL
Disambiguate First, Parse Later: Generating Interpretations for Ambiguity Resolution in Semantic Parsing
Institute for Language, Cognition and Computation, School of Informatics, University of Edinburgh（语言、认知与计算研究所，信息学院，爱丁堡大学）
针对语义解析中的歧义问题，提出先消歧后解析的模块化方法，利用LLM偏见生成首选消歧结果，并结合填充模型生成缺失解释，有效提升了解释覆盖率与跨数据集泛化能力。
2025-07-12 cs.AI cs.CL
Morpho-syntactic Lexicon Generation Using Graph-based Semi-supervised Learning
Carnegie Mellon University（卡内基梅隆大学）；Google Inc.（谷歌公司）
形态句法词典提供了有关语言中单词的形态和句法角色的信息。并非所有语文都有这类词汇，即使有，其覆盖面也可能有限。我们提出了一种基于图的半监督学习方法，该方法利用单词之间的形态、语法和语义关系，从小种子集中自动构建广覆盖词典。我们的方法是独立于语言的，我们表明，我们可以扩展一个1000字的种子词典，其大小的100倍以上，高质量的11种语言。此外，自动创建的词典提供了提高两个下游任务性能的功能：形态标记和依存句法分析。
2016-01-24 cs.CL
When More Data Hurts: A Troubling Quirk in Developing Broad-Coverage Natural Language Understanding Systems
Johns Hopkins University（约翰斯·霍普金斯大学）；Microsoft Semantic Machines（微软语义机器公司）
在自然语言理解（NLU）生产系统中，用户不断发展的需求需要随着时间的推移添加新的特征，这些特征由添加到含义表示空间的新符号索引。这需要额外的训练数据，并导致数据集不断增长。我们提出了第一个系统的调查，这种增量符号学习的情况。我们的分析揭示了构建广泛覆盖的NLU系统的一个令人不安的怪癖：随着训练数据集的增长，如果我们不相应地增加其训练数据，新符号的性能往往会下降。这表明使用更大的训练数据集学习新符号变得更加困难。我们表明，这一趋势适用于两个常见的NLU任务的多个主流模型：意图识别和语义解析。拒绝类不平衡作为唯一的罪魁祸首，我们揭示了这种趋势与我们称之为源信号稀释的效果密切相关，随着训练数据集的增长，新符号的强词汇线索会被稀释。选择性地丢弃训练样本以防止稀释通常会逆转这一趋势，这表明主流神经NLU模型过度依赖简单的词汇线索。代码、模型和数据可在https://aka.ms/nlu-incremental-symbol-learning上获得
2022-11-08 cs.CL
Building a Neural Semantic Parser from a Domain Ontology
University of Edinburgh（爱丁堡大学）；Stanford University（斯坦福大学）
语义解析是将自然语言话语转换为机器可解释的含义表示的任务，其可以针对诸如数据库的真实世界环境执行。将语义解析扩展到任意领域面临着两个相互关联的挑战：有效且廉价地获得广泛覆盖的训练数据;以及开发一个推广到合成话语和复杂意图的模型。我们使用一个框架来解决这些挑战，该框架允许从领域本体中获取训练数据，并引导神经解析器，该神经解析器递归地构建逻辑形式的推导。在我们的框架中的含义表示所描述的序列的自然语言模板，其中每个模板对应于一个分解的片段的基本含义表示。虽然是人工的，但模板可以被人类理解和解释以创建自然的话语，从而产生平行的三元组话语，含义表示及其分解。这些使我们能够训练一个神经语义解析器，它学会在推导含义表示时编写规则。我们众包训练数据上的六个领域，包括单轮话语表现出丰富的组合性，和顺序的话语，一个复杂的任务是按程序执行的步骤。然后，我们开发神经语义解析器执行这样的合成任务。一般来说，我们的方法允许从给定的领域本体快速，廉价地部署神经语义解析器。
2018-12-25 cs.CL
Measuring efficiency in high-accuracy, broad-coverage statistical parsing
很少有人关注高精度统计分析器之间的效率比较。本文提出了一个机器独立的度量，是一般的，足以让非常不同的解析架构之间的比较。我们称之为“events considered”的这个度量了“events”的数量，但是它们是为特定的解析器定义的，为了找到解析器，必须计算概率。它适用于单通道或多级解析器。我们讨论的度量的优点，并证明它的有用性，用它来比较两个不同的分析器在几个基本的方式。
2000-08-24 cs.CL
Relating Complexity to Practical Performance in Parsing with Wide-Coverage Unification Grammars
本文表明，指数复杂度的语法大小和输入长度的性能影响不大的三个统一为基础的解析算法，使用广泛的覆盖语法。结果意味着，研究和优化的统一为基础的解析必须依赖于经验数据，直到复杂性理论可以更准确地预测这种解析器的实际行为。
1994-05-31 cmp-lg cs.CL
Sister Help: Data Augmentation for Frame-Semantic Role Labeling
University of California, Berkeley（加利福尼亚大学伯克利分校）；International Computer Science Institute, Berkeley（国际计算机科学研究所（伯克利））；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
虽然FrameNet被广泛认为是自然语言处理中丰富的语义资源，但与其他常用的词汇资源（如PropBank和VerbNet）相比，其主要批评是缺乏覆盖面和标记数据相对较少。本文报告了一项旨在弥补这些差距的试点研究。我们提出了一种数据增强方法，它使用现有的特定于框架的注释，自动注释其他词汇单元的同一帧未注释。我们基于规则的方法定义了姐妹词汇单元的概念，并生成特定于框架的增强数据进行训练。我们目前的实验框架语义角色标注，这表明了这种数据增强的重要性：我们得到了很大的改善，以前的结果框架识别和参数识别的框架，利用全文和词典注释框架下。我们在数据增强上的发现突出了自动资源创建对框架语义解析中改进模型的价值。
2021-09-16 cs.CL
Unlocking Korean Verbs: A User-Friendly Exploration into the Verb Lexicon
Seoultech（首尔科技大学）；The University of British Columbia（不列颠哥伦比亚大学）；The Chinese University of Hong Kong（香港中文大学）；dot Inc.（42dot公司）；Seoul National University（首尔大学）；National Institute of Korean Language（韩国国立国语院）；KAIST（韩国科学技术院）；Anyang University（安阳大学）
本文介绍了一个用户友好的Web界面和Python库，用于收集整合韩语动词相关信息（如次范畴框架）并简化句法分析与语义角色标注，助力基于Sejong词典数据集的韩语处理应用开发。
2025-04-02 cs.CL
Learning from Explanations with Neural Execution Tree
Tsinghua University（清华大学）；University of Southern California（南加利福尼亚大学）；Snap Research（Snap研究院）
虽然深度神经网络在一系列NLP任务上取得了令人印象深刻的性能，但这些数据饥渴的模型严重依赖于标记数据，这限制了它们在数据注释昂贵的场景中的应用。自然语言（NL）解释已经被证明是非常有用的附加监督，它可以提供足够的领域知识，用于在新实例上生成更多的标记数据，而注释时间仅增加一倍。然而，直接将它们应用于增强模型学习遇到了两个挑战：（1）NL解释是非结构化的，本质上是组合的，这需要一个模块化的模型来表示其语义;（2）NL解释通常具有大量的语言变体，导致召回率低，泛化能力有限。在本文中，我们提出了一种新的神经执行树（NExT）框架，以增加训练数据的文本分类使用NL解释。通过语义解析将NL解释转换为可执行的逻辑形式后，NExT将逻辑形式指定的不同类型的动作概括为标记数据实例，从而大大增加了每个NL解释的覆盖范围。两个NLP任务（关系抽取和情感分析）的实验表明，该方法优于基线方法。其扩展到多跳问答实现了性能增益与轻注释的努力。
2020-02-14 cs.CL
Structured Reordering for Modeling Latent Alignments in Sequence Transduction
University of Edinburgh（爱丁堡大学）；University of Amsterdam（阿姆斯特丹大学）
尽管在许多领域取得了成功，但神经模型在训练和测试示例来自不同分布的环境中挣扎。特别地，与人类相反，常规的序列到序列（seq 2seq）模型不能系统地概括，即，解释表示概念的新颖组合的句子（例如，文本段）在训练中看到的。传统的语法形式主义通过隐式编码输入和输出段之间的对齐在这种设置中表现出色，但难以扩展和维护。而不是工程的语法，我们直接建模段到段的对齐作为离散的结构化的潜变量在神经seq 2seq模型。为了有效地探索大空间的比对，我们引入了一个重排序的第一次，稍后的框架，其中心组件是一个神经重排序模块产生{ \it可分离}排列。我们提出了一个有效的动态规划算法进行精确的边际推理的可分离排列，从而使我们的模型的端到端的可微训练。所得到的seq 2seq模型在合成问题和NLP任务上表现出比标准模型更好的系统泛化（即，语义解析和机器翻译）。
2021-10-26 cs.CL cs.LG
Robust Incremental Neural Semantic Graph Parsing
University of Oxford（牛津大学）；DeepMind
将句子解析为具有语言表达性的语义表示是自然语言处理的一个关键目标。然而，统计分析几乎完全集中在双语依赖或特定领域的逻辑形式。我们提出了一个神经编码器-解码器转换为基础的解析器，这是第一个全覆盖的最小递归语义（MRS）的语义图解析器。该模型架构使用基于堆栈的嵌入功能，预测图与unexicalized谓词及其令牌对齐。我们的解析器比MRS上基于注意力的基线更准确，并且在附加的抽象意义表示（AMR）基准上，GPU批处理使其比基于语法的高精度解析器快一个数量级。此外，我们的MRS解析器的86.69%Smatch分数高于AMR解析的上限，使MRS成为一个有吸引力的选择作为语义表示。
2017-07-27 cs.CL
Fast Parsing using Pruning and Grammar Specialization
我们展示了如何一个一般的语法可以自动适应快速解析的话语从一个特定的域通过成分修剪和语法专业化的基础上基于简化的学习。这些方法一起给出了一个数量级的速度增加，语法专业化所带来的覆盖率损失减少到约一半，在以前的工作中报告。这里描述的实验表明，覆盖率的损失已经减少到在实际应用程序的上下文中不再导致显著的性能下降的程度。
1996-04-26 cmp-lg cs.CL
Made for Each Other: Broad-coverage Semantic Structures Meet Preposition Supersenses
Georgetown University（乔治城大学）；The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
通用概念认知标注（UCCA; Abend and Rappoport，2013）是一种基于类型学的、覆盖面广的语义标注方案，描述了粗粒度的谓词-论元结构，但目前缺乏语义角色。我们认为，Schneider等人（2018 b）制定的介词标记的语义角色的无词典注释是互补的，适合在UCCA中整合。我们的经验表明，英语的计划，虽然独立注释，是兼容的，可以结合在一个单一的语义图。对几种解析综合表征的方法进行了比较，为今后的研究奠定了基础。
2019-09-19 cs.CL
Levi Graph AMR Parser using Heterogeneous Attention
Emory University（埃默里大学）
与biaffine解码器相结合，Transformers已经有效地适应了文本到图形的转换，并在AMR解析上实现了最先进的性能。然而，许多先前的工作依赖于双仿射解码器用于弧和标签预测中的任一个或两者，尽管解码器使用的大多数特征可能已经被Transformer学习。本文提出了一种新的AMR解析方法，通过将异构数据（令牌，概念，标签）作为一个输入到Transformer学习注意力，并仅使用注意力矩阵从Transformer预测AMR图中的所有元素（概念，弧，标签）。尽管我们的模型使用的参数比之前最先进的图解析器少得多，但它们在AMR 2.0和3.0上显示出类似或更好的准确性。
2021-07-09 cs.AI cs.CL
Towards Discourse Parsing-inspired Semantic Storytelling
DFKI GmbH（德国人工智能研究中心）；pc GmbH Neue Kommunikation（3pc新传播有限公司）
我们以前的工作语义讲故事使用文本分析程序，包括命名实体识别和事件检测。在本文中，我们概述了我们对语义讲故事的长期愿景，并描述了当前的概念和技术方法。在推动我们研究的项目中，我们开发了基于人工智能的技术，这些技术得到了行业合作伙伴的验证。一个长期的目标是开发一种语义讲故事的方法，这种方法具有广泛的覆盖范围，而且是健壮的。我们提供了第一个实验结果，涉及话语分析，适用于一个具体的用例，"探索邻里!这是基于一个半自动收集的数据集，其中包含有关柏林一个地区值得注意的人的文件。虽然从纯文本中自动获得连贯关系的注释是一个不小的挑战，我们的初步结果是有希望的。我们设想我们的方法与其他特征（NER，共指消解，知识图谱）相结合
2020-04-25 cs.CL
A Broad-Coverage Deep Semantic Lexicon for Verbs
University of Rochester（罗切斯特大学）；Institute of Human and Machine Cognition（人机认知研究所）
深度语言理解的进展受到了缺乏一个广泛覆盖的词汇，连接语言行为的本体论概念和公理。我们已经开发了COLLIE-V，一个动词的深层词汇资源，覆盖了WordNet，语法和语义细节达到或超过了现有资源。从手工构建的词典和本体引导，新的本体概念和词条，连同语义角色偏好和蕴涵公理，自动派生的解析字典定义和例子的多个约束相结合。我们沿着一些不同的维度评估了该技术的准确性，并在推导新概念和词条时获得了很高的准确性。COLLIE-V是公开的。
2020-07-06 cs.CL
Explanation-based Learning for Machine Translation
在本文中，我们提出了一个应用程序的基于解释的学习（EBL）的分析模块的实时英语-西班牙语机器翻译系统，旨在翻译隐藏式字幕。我们讨论了EBL中的效率/覆盖范围权衡，并介绍了我们用来增加覆盖范围的技术，同时保持高水平的空间和时间效率。我们的性能结果表明，这种方法是有效的。
1999-07-06 cs.CL
Modeling structure-building in the brain with CCG parsing and large language models
本文比较了CCG与CFG在fMRI神经信号上的建模效果，发现CCG的结构构建测量在左侧后颞叶对神经信号的拟合优于CFG，且该效应与可预测性效应在空间上可分离。
2023-04-16 cs.CL
Lexicon Learning for Few-Shot Neural Sequence Modeling
Massachusetts Institute of Technology（麻省理工学院）
序列到序列转换是语言处理应用中的核心问题，如语义解析、机器翻译和指令遵循。为这些问题提供主要解决方案的神经网络模型是脆弱的，特别是在低资源环境中：它们无法从小数据集正确或系统地泛化。过去的研究表明，许多系统概括的失败源于神经模型无法将词汇现象与句法现象分开。为了解决这个问题，我们用词汇翻译机制来增强神经解码器，该机制概括了现有的复制机制，以纳入学习的，去语境化的，令牌级的翻译规则。我们描述了如何使用各种词典学习算法来初始化这种机制，并表明它提高了从认知科学，形式语义学和机器翻译中提取的序列建模任务的系统概括。
2021-06-07 cs.CL cs.LG
Structured Attention Networks
Harvard University（哈佛大学）
注意力网络已被证明是在深度神经网络中嵌入分类推理的有效方法。然而，对于许多任务，我们可能希望在不放弃端到端训练的情况下对更丰富的结构依赖进行建模。在这项工作中，我们尝试将更丰富的结构分布，使用图形模型编码，在深度网络中。我们表明，这些结构化的注意力网络是简单的扩展的基本注意力程序，他们允许扩展注意力超出标准的软选择方法，如参加部分分割或子树。我们用两种不同类型的结构化注意力网络进行实验：线性链条件随机场和基于图形的解析模型，并描述这些模型如何实际实现为神经网络层。实验表明，这种方法是有效的纳入结构性偏见，结构化注意力网络优于基线注意力模型的各种合成和真实的任务：树转换，神经机器翻译，问答，和自然语言推理。我们进一步发现，以这种方式训练的模型可以学习有趣的无监督隐藏表示，这些表示概括了简单的注意力。
2017-02-16 cs.CL cs.LG cs.NE
