PaLM: A Hybrid Parser and Language Model
University of Washington（华盛顿大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
我们提出了PaLM，一个混合解析器和神经语言模型。PaLM建立在RNN语言模型的基础上，在左上下文中的文本跨度上添加了一个注意层。一个无监督的选区分析器可以从它的注意力权重，使用贪心解码算法。我们评估PaLM语言建模，并实证表明，它优于强大的基线。如果语法注释可用，则可以以监督的方式训练注意力组件，提供上下文的语法通知表示，并进一步提高语言建模性能。
2019-09-04 cs.CL
Frame-Semantic Parsing with Softmax-Margin Segmental RNNs and a Syntactic Scaffold
Carnegie Mellon University（卡内基梅隆大学）；Google DeepMind（谷歌DeepMind）；University of Washington（华盛顿大学）
我们提出了一个新的，高效的框架语义分析器，标签语义参数的框架谓词。使用强调召回的分段RNN的扩展构建，我们的基本系统实现了有竞争力的性能，而无需调用任何语法解析器。然后，我们介绍了一种方法，只在训练过程中使用来自Penn Treebank的短语句法注释，通过多任务目标;在训练或测试时不需要解析。这种“语法脚手架”提供了一种比传统的语法流水线更便宜的替代方案，并实现了最先进的性能。
2017-06-29 cs.CL
Anchoring and Agreement in Syntactic Annotations
CSAIL MIT（麻省理工学院计算机科学与人工智能实验室）
我们提出了一个研究人类句法注释的两个关键特征：锚定和协议。认知偏差是人类决策中的一种认知偏差，其中判断被引向预先存在的价值。我们研究锚定的影响，通过人工编辑的标签和解析器的输出，获得句法注释的句法资源的标准方法创建。我们的实验证明了一个明确的锚定效应，并揭示了不必要的后果，包括高估的解析性能和较低的质量的注释相比，基于人类的注释。使用句子从宾州树库华尔街日报，我们还报告了系统获得的注释器间协议估计英语依存句法分析。我们的协议结果控制解析器的偏见，是必然的，因为他们是与国家的最先进的解析性能为英语新闻专线。我们讨论了我们的研究结果对未来的注释工作和解析器评估策略的影响。
2016-09-21 cs.CL
Robust Probabilistic Predictive Syntactic Processing
本论文提出一个广泛覆盖的机率自顶向下分析器，并将其应用于语音识别的语言模型问题。解析器从左到右遍历字符串，一次就增量地构建完全连接的派生。我们认为，我们所采用的分析方法是动机良好的心理语言学的角度来看，作为一个模型，捕捉词汇项目之间的概率依赖关系，作为建立连接的句法结构的过程的一部分。给出了基本的句法分析器和条件概率模型，并对报纸文本和自发电话会话的句法分析准确性进行了实验研究。概率模型的修改，导致改善的性能。然后定义使用解析器的输出的新的语言模型。困惑和字出错率降低证明了在trigram模型，即使当trigram是在显着更多的数据上训练。使用三元模型在逐词的基础上进行插值会产生额外的改进。
2001-05-09 cs.CL
How Important is Syntactic Parsing Accuracy? An Empirical Evaluation on Rule-Based Sentiment Analysis
Universidade da Coruña（拉科鲁尼亚大学）
句法分析是获取自然语言中句子内部结构的过程，对于需要从自然语言文本或语音中提取含义的人工智能应用程序来说是一项至关重要的任务。情感分析是一个应用的例子，解析最近被证明是有用的。近年来，语法分析算法的准确性有了很大的提高。在这篇文章中，我们进行了一个经验，面向任务的评估，以确定如何解析精度影响性能的最先进的基于规则的情感分析系统，确定从他们的解析树的句子的极性。特别是，我们评估系统使用四个著名的依赖解析器，包括目前的模型与国家的最先进的准确性和更多的innacurate模型，但是，需要较少的计算资源。实验表明，所有的解析器产生类似的好的结果，在情感分析任务，没有他们的准确性有任何相关的影响的结果。由于解析目前是一项计算成本相对较高的任务，不同算法之间的差异很大，这表明情感分析研究人员和用户在选择解析器时应该优先考虑速度而不是准确性;解析研究人员应该研究进一步提高速度的模型，即使在精度上有一些代价。
2017-10-24 cs.AI cs.CL
Interleaving Syntax and Semantics in an Efficient Bottom-Up Parser
我们描述了一个有效的自下而上的分析器，交错的语法和语义结构的建设。提出了两种通过减少局部歧义来减少搜索的技术：有限左上下文约束用于减少局部句法歧义，延迟排序约束应用用于减少局部语义歧义。我们实验评估这些技术，并显示显着减少图表边缘的数量和总解析时间。该分析器的强大处理能力在其用于提高语音识别器的准确性中得到了证明。
1994-07-05 cmp-lg cs.CL
A Psycholinguistically Motivated Parser for CCG
考虑到人类解决句法歧义的速度，以及通过选择解释最“明智”的分析来解决句法歧义的压倒性证据，人们得出结论，解释，因此解析是递增的，几乎每个词都是如此。考虑到句法处理器理论中的简约性，人们开始探索最简单的分析器：它只表示语法定义的分析，而不表示其他信息。为了实现这一目标的一个简单的，增量解析器，我探讨的建议，能力语法是一个组合范畴语法（CCG）。我解决的问题，增殖分析，源于CCG的关联性的推导。我的解决方案包括只维护最大增量分析，并在必要时计算最大右分支分析。我使用重写系统的研究结果表明，这种计算是有效的。
1994-06-20 cmp-lg cs.CL
Revisiting the Phenomenon of Syntactic Complexity Convergence on German Dialogue Data
Bielefeld University（比勒费尔德大学）；Faculty of Linguistics and Literary Studies（语言学与文学研究学院）
本文基于依存句法分析的改进指标，重新审视德语对话数据中的句法复杂度趋同现象，发现在三个数据集中有一个能统计证实该现象，表明其具有一定语言学普遍性。
2024-08-22 cs.CL
Parsing the Switch: LLM-Based UD Annotation for Complex Code-Switched and Low-Resource Languages
Arizona State University（亚利桑那州立大学）；Universidade da Coruña, CITIC（科鲁纳大学，CITIC）
本文提出基于LLM的BiLingua Parser标注流水线，结合少样本提示与专家审核，为西—英、西—瓜拉尼语码转换文本生成UD标注并发布语料，LAS最高达95.29%。
2025-06-08 cs.AI cs.CL
Greedy, Joint Syntactic-Semantic Parsing with Stack LSTMs
Carnegie Mellon University（卡内基梅隆大学）；Universitat Pompeu Fabra（庞培法布拉大学）；Google DeepMind（谷歌DeepMind）；University of Washington（华盛顿大学）
我们提出了一个过渡为基础的分析器，共同产生语法和语义的依赖关系。它使用堆栈长短期记忆学习整个算法状态的表示。我们的贪婪推理算法具有线性时间，包括特征提取。在CoNLL 2008--9英语共享任务上，我们在联合学习语法和语义的模型中获得了最好的解析性能。
2018-07-05 cs.AI cs.CL
Building a Parser That can Afford to Interact with Semantics
自然语言理解程序在处理人类理解者没有太大困难的真实世界文本时，会被可能的句法结构的多样性所困扰。在这项工作中，我分析了分析策略之间的关系，他们遇到的局部歧义的程度，和语义反馈的语法，并提出了一个分析算法称为{ \em头信号左角分析}（HSLC），最大限度地减少局部歧义，同时支持交互式的语法和语义分析。这样的解析器已经在一个名为COMPERE的句子理解程序中实现。
1994-08-31 cmp-lg cs.CL
DisSim: A Discourse-Aware Syntactic Text Simplification Frameworkfor English and German
University of St.Gallen（圣加仑大学）；University of Passau（帕绍大学）；University of Manchester（曼彻斯特大学）
我们介绍了DisSim，一个话语意识的句子分裂框架，英语和德语，其目标是转换成一个中间表示，提出了一个简单的，更规则的结构，更容易处理的下游语义应用句法复杂的句子。为此，我们把输入的句子成一个两层的语义层次结构的形式的核心事实和伴随的上下文，同时确定它们之间的修辞关系。通过这种方式，我们保留了输入的连贯性结构，从而保留了其对下游任务的可解释性。
2019-09-26 cs.CL
Evaluating German Transformer Language Models with Syntactic Agreement Tests
German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心 (DFKI)）
预训练的Transformer语言模型（TLM）最近重新塑造了自然语言处理（NLP）：大多数最先进的NLP模型现在都在TLM之上运行，以受益于上下文和知识归纳。为了解释他们的成功，科学界进行了大量的分析。除其他方法外，句法一致性测试被用来分析TLM。然而，大多数研究都是针对英语进行的。在这项工作中，我们分析德国的TLM。为此，我们设计了许多协议任务，其中一些考虑到德语的特殊性。我们的实验结果表明，国家的最先进的德国TLM一般表现良好的协议任务，但我们也确定和讨论的句法结构，将它们推向极限。
2020-07-07 cs.CL
Encoder-Decoder Shift-Reduce Syntactic Parsing
Singapore University of Technology and Design（新加坡科技设计大学）
从NMT开始，编码器-解码器神经网络已被用于许多NLP问题。借用编码器组件的基于图形的模型和基于转换的模型分别在依存句法分析和成分语法分析上实现了最先进的性能。然而，还没有工作经验性地研究基于转换的解析的编码器-解码器神经网络。为此，我们应用了一个简单的编码器-解码器，在标准依赖性解析上实现了与Dyer et al.（2015）的解析器相当的结果，并在成分解析上优于Vinyals et al.（2015）的解析器。
2017-06-24 cs.CL
Syntactic Structure Processing in the Brain while Listening
INRIA（法国国家信息与自动化研究所）；IIIT Hyderabad（印度海得拉巴国际信息技术学院）；Microsoft（微软）
句法分析是将句法结构分配给句子的任务。有两种流行的句法分析方法：选区句法分析和依存句法分析。最近的工作已经使用了基于选区树的句法嵌入，增量自上而下的解析，和其他单词的句法特征的大脑活动预测给定的文本刺激，研究如何在大脑的语言网络中表示的语法结构。然而，依赖解析树的有效性或跨大脑区域的各种语法解析器的相对预测能力，特别是对于听力任务，尚未被探索。在这项研究中，我们调查的预测能力的大脑编码模型在三个设置：（一）的选区和依赖句法分析为基础的嵌入方法的个人表现，（二）这些句法分析为基础的嵌入方法的有效性时，控制基本的句法信号，（三）相对有效性的每一个句法嵌入方法时，控制其他。此外，我们探索的相对重要性的句法信息（从这些句法嵌入方法）与语义信息使用BERT嵌入。我们发现，选区解析器有助于解释激活颞叶和额中回，而依赖解析器更好地编码句法结构的角回和后扣带皮层。虽然来自BERT的语义信号比任何句法特征或嵌入方法更有效，但句法嵌入方法解释了一些大脑区域的额外差异。
2023-02-16 cs.CL q-bio.NC
Developing and Evaluating a Probabilistic LR Parser of Part-of-Speech and Punctuation Labels
我们描述了一种方法来强大的领域无关的句法分析的不受限制的自然发生的（英语）输入。该技术涉及使用基于统一的语法结合概率LR解析器来解析词性和标点符号标签的序列。我们描述了几个语料库使用这种语法的覆盖范围，并报告了一个分析实验的结果，使用来自括号内的训练数据的概率。我们报告的第一个实质性的实验，以评估标点符号的贡献，以获得一个准确的句法分析，通过分析相同的文本与自然发生的标点符号。
1995-10-09 cmp-lg cs.CL
Syntax-guided Localized Self-attention by Constituency Syntactic Distance
Shanghai Jiao Tong University（上海交通大学）；Alibaba Group（阿里巴巴集团）
最近的工作表明，Transformers隐式地从数据中学习其较低层的语法信息，尽管高度依赖于训练数据的质量和规模。然而，如果我们可以利用外部语法分析器，从数据中学习语法信息是不必要的，这提供了更好的分析质量与定义良好的语法结构。这可能会提高Transformer的性能和样本效率。在这项工作中，我们提出了一个语法指导的本地化自我注意Transformer，允许直接将语法结构从外部选区解析器。它禁止注意力机制将语法上远距离的标记置于近距离标记之上。实验结果表明，我们的模型可以持续提高翻译性能的各种机器翻译数据集，从小到大的数据集大小，并与不同的源语言。
2022-10-21 cs.CL
Towards Effective Sentence Simplification for Automatic Processing of Biomedical Text
Arizona State University（亚利桑那州立大学）
生物医学文章特有的句子的复杂性对自然语言解析器提出了挑战，自然语言解析器通常在非技术文本的大规模语料库上进行训练。我们提出了一个文本简化过程，生物医学，旨在降低句子的复杂性，在生物医学摘要，以提高处理后的句子的句法分析器的性能。句法分析通常是文本挖掘管道中的第一步。因此，性能的任何改进都会对所有处理步骤产生连锁反应。我们评估我们的方法使用语料库的生物医学句子注释的句法链接。我们的实证结果表明，当处理简化的句子，而不是原来的句子在语料库中的Charniak-McClosky分析器和4.23%的链接语法分析器的2.90%的改善。
2010-01-24 cs.CL
Obfuscation for Privacy-preserving Syntactic Parsing
University of Edinburgh（爱丁堡大学）；University of Amsterdam（阿姆斯特丹大学）；Fudan University（复旦大学）
同态加密的目标是对数据进行加密，以便另一方可以在不显式暴露原始数据内容的情况下对其进行操作。我们介绍了一个想法，自然语言数据的隐私保护转换，启发同态加密。我们的主要工具是{ \em obfuscation}，它依赖于自然语言的属性。具体来说，使用神经模型对给定的英语文本进行混淆，该神经模型旨在保留原始句子的句法关系，以便可以解析混淆的句子而不是原始句子。该模型在单词级别工作，并通过将每个单词更改为具有类似句法角色的新词来学习分别混淆每个单词。与上限随机替换基线相比，我们的模型混淆的文本在三个句法分析器（两个依赖和一个选区分析器）上具有更好的性能。更具体地说，结果表明，随着更多的术语被混淆（通过它们的词性），替换上限显着降低，而神经模型保持相对高性能的解析器。与随机替换上限相比，所有这些都是在不牺牲隐私的情况下完成的。我们还进一步分析了实验结果，发现替换词与原词相比具有相似的句法特征，但语义内容不同。
2020-05-27 cs.AI cs.CL cs.LG
A Tale of a Probe and a Parser
University of Cambridge（剑桥大学）；Facebook AI Research（脸书人工智能研究院）；ETH Zürich（苏黎世联邦理工学院）
测量语言的神经模型中编码的语言信息在NLP中已经变得流行。研究人员通过训练“探针”来实现这一目标-监督模型旨在从另一个模型的输出中提取语言结构。其中一种探针是结构探针（Hewitt和Manning，2019），旨在量化句法信息在上下文单词表征中编码的程度。结构探针有一个新颖的设计，在解析文献中没有得到证实，其确切的好处并不明显。为了探讨是否句法探测器会更好地利用现有的技术，我们比较结构探测器与一个更传统的解析器具有相同的轻量级参数化。在九种分析语言中的七种中，解析器在UUAS上的性能优于结构探测器，通常是相当大的一部分（例如，英语中的11.1分）。然而，在第二个不太常见的度量标准下，存在相反的趋势-结构探测器优于解析器。这就引出了一个问题：我们应该选择哪种度量标准？
2020-05-12 cs.CL
Syntactic Multi-view Learning for Open Information Extraction
Nanyang Technological University（南洋理工大学）
开放信息抽取（OpenIE）旨在从开放域句子中抽取关系元组。传统的基于规则或统计的模型是基于句子的句法结构开发的，由句法分析器识别。然而，之前的神经OpenIE模型没有充分探索有用的语法信息。在本文中，我们将选区和依赖树建模为单词级图，并使神经OpenIE能够从语法结构中学习。为了更好地融合来自两个图的异构信息，我们采用多视图学习来捕获它们之间的多种关系。最后，微调的选区和依赖表示聚合与元组生成的基本语义表示。实验结果表明，选区和依赖信息，以及多视图学习是有效的。
2022-12-05 cs.AI cs.CL
An HPSG Parser Based on Description Logics
在本文中，我提出了一个基于描述逻辑（DL）的德语HPSG风格的片段解析器。指定的解析器主要依赖于底层DL系统的推理能力。给定一个优先的默认扩展，通过选择包含定性最小数量的异常的解析来实现DL消歧。
1995-01-18 cmp-lg cs.CL
Exploiting Rich Syntactic Information for Semantic Parsing with Graph-to-Sequence Model
Tencent AI Lab（腾讯AI实验室）；IBM Research（IBM研究院）；Peking University（北京大学）
现有的神经语义解析器主要利用序列编码器，即，序列LSTM，提取词序特征，同时忽略其他有价值的语法信息，如依赖图或成分树。在本文中，我们首先提出使用\textit{syntactic graph}来表示三种类型的句法信息，即，词序、从属关系和选区特征。我们进一步采用图到序列模型来编码的语法图和解码的逻辑形式。在基准数据集上的实验结果表明，我们的模型与Jobs 640，ATIS和Geo 880上的最新技术相当。对抗性实例的实验结果表明，通过编码更多的句法信息，该模型的鲁棒性也得到了提高。
2018-08-23 cs.AI cs.CL
Semantic Role Labeling as Syntactic Dependency Parsing
Cornell University（康奈尔大学）；Bloomberg L.P.（彭博有限合伙公司）
我们减少（跨度为基础的）PropBank风格的语义角色标注（SRL）的任务，语法依存句法分析。我们的方法是由我们的实证分析，表明三个常见的句法模式占98%以上的SRL注释的英语和汉语数据的动机。基于这一观察，我们提出了一个转换方案，通过联合标签，允许高度准确地恢复到原始格式的依赖树表示包SRL注释。这种表示使我们能够训练统计依赖解析器来解决SRL和实现竞争力的性能与当前的最先进的状态。我们的研究结果表明，在编码语义角色关系的句法依赖树的承诺在其句法域的地方，并指出潜在的进一步整合的句法方法到语义角色标注在未来。
2020-10-21 cs.AI cs.CL
French parsing enhanced with a word clustering method based on a syntactic lexicon
Université Paris-Est（巴黎-est大学）；LIGM（语言与信息学实验室）
本文通过将法语句法词典（Lexicon-Grammar）的数据整合到概率解析器中，并应用聚类方法于法语树库的动词，提高了基于概率上下文无关文法的解析性能。
2026-05-30 cs.CL cs.LG
Semantic Role Labeling for Learner Chinese: the Importance of Syntactic Parsing and L2-L1 Parallel Data
Peking University（北京大学）
本文以语义角色标注（SRL）为个案任务，以学习者汉语为个案语言，研究中介语语义语义解析。我们首先手动注释一组学习者文本的语义角色，以获得自动SRL的黄金标准。根据新的数据，我们然后评估三个现成的SRL系统，即，基于PCFGLA语法分析器的系统、基于神经语法分析器的系统和基于神经语法不可知的系统，来衡量汉语学习者自主学习的成功程度。我们发现两个不明显的事实：1）L1-句法分析训练的系统在L2数据上的表现相当糟糕; 2）两个基于句法分析的系统从L1数据到L2数据的性能下降要小得多，这表明句法分析在中介语SRL中的重要性。最后，本文提出了一种新的基于一致性的模型来挖掘大规模L2-L1并行数据中的语义一致性信息。然后，我们表明这些信息是非常有效的，以提高学习者的文本SRL。我们的模型实现了72.06的F分数，比最佳基线提高了2.02分。
2018-08-29 cs.CL
Intégration des données d'un lexique syntaxique dans un analyseur syntaxique probabiliste
Université Paris-Est, LIGM（巴黎东大学，LIGM）
本文报告的评估整合数据的句法语义词典，法语的词汇语法，到一个句法分析器。我们表明，通过改变一组标签的动词和谓词名词，我们可以提高性能的非词汇化概率分析器的法语。
2014-04-07 cs.CL
Multilingual AMR Parsing with Noisy Knowledge Distillation
The Chinese University of Hong Kong（香港中文大学）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）
本文从知识蒸馏的角度研究多语言AMR句法分析，目的是以现有的英语句法分析器为教师，学习和改进多语言AMR句法分析器。我们将我们的探索限制在严格的多语言环境中：只有一个模型可以解析所有不同的语言，包括英语。我们确定，嘈杂的输入和精确的输出是成功蒸馏的关键。再加上广泛的预训练，我们得到了一个AMR解析器，其性能超过了所有以前发表的结果，四种不同的外语，包括德语，西班牙语，意大利语和中文，由大利润率（高达18.8 \textsc{Smatch}点，中文和平均11.3 \textsc{Smatch}点）。我们的解析器在英语上也达到了与最新的最先进的纯英语解析器相当的性能。
2021-10-14 cs.AI cs.CL
Maximum Spanning Trees Are Invariant to Temperature Scaling in Graph-based Dependency Parsing
University of Stuttgart（斯图加特大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）
现代的基于图的句法依赖性解析器通过针对句子内的每个标记预测其可能的句法中心词上的概率分布（即，所有其它令牌），然后从所得的对数概率中提取最大生成树。如今，几乎所有这样的解析器都利用深度神经网络，因此可能容易发生错误校准（特别是过度自信的预测）。在本文中，我们证明了温度缩放，一个流行的技术事后校准的神经网络，不能改变上述过程的输出。我们的结论是，需要其他技术来解决基于图的依赖解析器中的误校准，以提高解析精度。
2021-06-15 cs.CL
Transition-Based Dependency Parsing using Perceptron Learner
使用依赖结构的句法分析已经成为具有许多不同解析模型的自然语言处理中的标准技术，特别是可以在句法注释语料库上训练的数据驱动模型。在本文中，我们处理基于转换的依存句法分析使用感知器学习器。我们提出的模型，它增加了更多的相关功能的感知学习器，优于基准弧标准解析器。我们击败了MALT和LSTM解析器的UAS。我们还提供了可能的方法来解决非投影树的解析。
2020-01-28 cs.AI cs.CL cs.LG
A Constraint-Satisfaction Parser for Context-Free Grammars
University of Granada（格拉纳达大学）
传统的语言处理工具将语言设计者限制在特定类型的语法上。相反，基于模型的语言规范将语言设计与语言处理相结合。因此，基于模型的语言规范工具需要能够解析不受限制的上下文无关文法的通用解析器。由于遵循这种方法指定的语言可能是二义性的，解析器必须处理二义性。基于模型的语言规范还允许定义关联性、优先级和自定义约束。因此，由模型驱动的语言规范工具生成的解析器需要强制约束。在本文中，我们提出了围栏，一个有效的自下而上的图表解析器，支持词汇和语法歧义，允许规范的约束，因此，使使用基于模型的语言规范在实践中。
2012-02-02 cs.CL
A Model-Driven Probabilistic Parser Generator
University of Granada（格拉纳达大学）
现有的概率扫描器和解析器对解决词汇和句法歧义的方式施加了严格的限制。此外，传统的基于语法的解析工具在它们允许考虑上下文的机制方面受到限制。在本文中，我们提出了一个模型驱动的工具，允许统计语言模型与任意概率估计。我们的工作模型驱动的概率解析是建立在基于模型的解析器生成器ModelCC之上，并使概率解释和解析的照应，后照应，递归引用的消歧抽象语法图。为了证明ModelCC的表达能力，我们描述了一个通用的自然语言解析器的设计。
2012-05-14 cs.CL
Cross-Lingual Syntactic Transfer with Limited Resources
Columbia University（哥伦比亚大学）；Google Inc.（谷歌公司）
我们描述了一个简单而有效的方法，跨语言的依赖分析器的句法转换，在大量的翻译数据是不可用的情况下。该方法使用三个步骤：1）用于导出跨语言单词集群的方法，然后可以在多语言解析器中使用; 2）用于将词汇信息从目标语言转移到源语言树库的方法; 3）将这些步骤与Rasooli和Collins（2015）的密度驱动的注释投影方法集成的方法。实验表明，在翻译数据的唯一来源是《圣经》的情况下，与之前工作中使用的几种语言的最新技术相比，有了改进，而《圣经》的语料库比之前工作中使用的Europarl语料库要小得多。使用Europarl语料库作为翻译数据源的结果显示，与Rasooli和Collins（2015）的结果相比，有了进一步的改进。我们的结论与结果38个数据集从通用的知识库。
2017-02-04 cs.CL
A Hierarchical Deep Learning Natural Language Parser for Fashion
Farfetch；Universidade de Coimbra（科英布拉大学）
这项工作提出了一个分层的深度学习自然语言解析器的时尚。我们的建议不仅要认识到时尚领域的实体，但也暴露句法和形态的见解。我们利用了专家模型的架构，每个模型用于不同的任务（从解析到实体识别）。这样的架构使得一个层次模型能够捕捉时尚语言的细微差别。自然语言解析器能够处理我们目前现有的解决方案没有解决的文本歧义。我们的实证结果建立了一个强大的基线，这证明了深度学习模型的分层架构的使用，同时开辟了新的研究途径。
2018-06-25 cs.AI cs.CL cs.IR
Cross-domain Chinese Sentence Pattern Parsing
Beijing Language and Culture University（北京语言大学）；Tsinghua University（清华大学）；Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））；Beijing Jiaotong University（北京交通大学）
本文针对中文句式解析器跨领域能力不足的问题，提出在自训练框架中利用大语言模型结合源领域句法规则与目标领域句子动态生成训练数据，实验表明其在教材和新闻领域上F1值超越规则基线1.68个百分点。
2024-04-08 cs.AI cs.CL
Capturing divergence in dependency trees to improve syntactic projection
University of Washington（华盛顿大学）；Microsoft Research（微软研究院）
获取语法分析是许多NLP管道的关键部分。然而，世界上大多数语言都没有大量的语法注释语料库可用于构建解析器。句法投影技术试图通过使用由资源贫乏和资源丰富的语言对组成的并行语料库来解决这个问题，利用资源丰富的语言的解析器和语言之间的单词对齐来将解析投影到资源贫乏的语言的数据上。然而，当这两种语言有分歧时，这些投射方法可能会受到影响。在本文中，我们研究的可能性，使用小，平行，注释语料库自动检测两种语言之间的分歧结构模式。然后，这些模式可以用于改进结构投影算法，从而为资源贫乏的语言提供更好的NLP工具，特别是那些可能没有传统的全监督方法所需的大量注释数据的语言。虽然这个检测过程是不详尽的，我们证明，可以自动识别的发散的共同模式，而无需事先知道一个给定的语言对，和模式可以用来提高性能的投影算法。
2016-05-14 cs.CL
TINY_SCHILLER: A Drop-In German Drama Corpus for Small Language Models
Duale Hochschule Baden-Württemberg Ravensburg（巴登-符腾堡双元制应用技术大学 Ravensburg）
研究针对德语文学文本在小语言模型相关应用的空白，提出Tiny_schiller语料库，经特定处理，可通过单文件和一行代码让小语言模型接触德语文学文本，填补了相关研究和应用的空白。
2026-07-23 cs.AI cs.CL cs.DL
Yara Parser: A Fast and Accurate Dependency Parser
Columbia University（哥伦比亚大学）；Yahoo Labs（雅虎实验室）
相关分析器是自然语言处理中最重要的工具之一，因为它们在诸如信息检索、机器翻译和知识获取等下游任务中有许多重要的应用。我们介绍了Yara Parser，一个基于弧渴望算法和束搜索的快速准确的开源依赖解析器。它在标准WSJ测试集上达到了93.32的未标记准确率，这使它成为顶级依赖解析器之一。最快的时候，Yara在贪婪模式下每秒可以解析大约4000个句子（1束）。当优化准确性时（使用64个波束和Brown聚类特征），Yara每秒可以解析45个句子。解析器可以在任何语法依赖树库上训练，并提供不同的选项，以使其更灵活和可调的特定任务。它以Apache 2.0版许可证发布，可用于商业和学术目的。解析器可以在https://github.com/yahoo/YaraParser上找到。
2015-03-24 cs.CL
Weakly Supervised Headline Dependency Parsing
Google Research（谷歌研究院）；Bloomberg（彭博）；Cornell University（康奈尔大学）
自20世纪30年代以来，英语新闻标题形成了一个具有独特句法特征的语域，这在语言学文献中已有记载。然而，令人惊讶的是，标题很少受到NLP句法分析社区的关注。我们的目标是弥合这一差距，通过提供第一个新闻标题语料库的通用的标注句法依赖树，这使我们能够评估现有的国家的最先进的依赖分析器的新闻标题。为了提高英语新闻标题的句法分析准确率，我们提出了一种投影方法，从未标记的新闻标题-文章引导句对中引导银训练数据。在银色标题解析上训练的模型比仅在金色注释的长格式文本上训练的模型在性能上有显着提高。最终，我们发现，虽然预计银训练数据提高了解析器的性能在不同的新闻媒体，改善是缓和的建设特质出口。
2023-01-25 cs.AI cs.CL cs.LG
Multipath parsing in the brain
University of Georgia（佐治亚大学）；Google DeepMind（谷歌DeepMind）；University of Cape Town（开普敦大学）
本文通过将增量依存解析器的句法意外性与fMRI数据关联，在英汉双语中证明人脑逐词理解时采用多路径句法解析，相关脑区为双侧颞上回。
2024-06-06 cs.CL
Fence - An Efficient Parser with Ambiguity Support for Model-Driven Language Specification
University of Granada（格拉纳达大学）
基于模型的语言规范在语言处理器的实现、特定领域语言的设计、模型驱动的软件开发、数据集成、文本挖掘、自然语言处理和基于语料库的模型归纳中有应用。基于模型的语言规范将语言设计从语言处理中分离出来，与传统的语法驱动方法不同，它将语言设计者限制在特定类型的语法中，它需要能够处理歧义的通用解析器生成器。在本文中，我们提出了围栏，一个有效的自下而上的解析算法，词汇和句法歧义的支持，使使用基于模型的语言规范在实践中。
2011-10-07 cs.CL
Grammar as a Foreign Language
Google（谷歌）
句法成分分析是自然语言处理中的一个基本问题，并且几十年来一直是深入研究和工程的主题。因此，最准确的解析器是特定于域的、复杂的和低效的。在本文中，我们表明，领域不可知的注意力增强序列到序列模型实现最广泛使用的句法选区解析数据集的最先进的结果，当训练的大型合成语料库，使用现有的解析器进行注释。当只在一个小的人类注释数据集上训练时，它也与标准解析器的性能相匹配，这表明该模型具有高度的数据效率，与没有注意力机制的序列到序列模型相比。我们的解析器也很快，在未优化的CPU实现下每秒处理100多个句子。
2015-06-09 cs.CL cs.LG stat.ML
Distilling an Ensemble of Greedy Dependency Parsers into One MST Parser
Carnegie Mellon University（卡内基梅隆大学）；Pompeu Fabra University（庞培法布拉大学）；University of Washington（华盛顿大学）；Google DeepMind（谷歌DeepMind）
我们介绍了两个基于一阶图的依赖解析器，实现了最新的技术水平。第一个是共识解析器，由独立训练的贪婪LSTM基于transition的解析器的集合构建，具有不同的随机初始化。我们投这种方法作为最小贝叶斯风险解码（根据汉明成本），并认为较弱的共识内的合奏是一个有用的信号的困难或歧义。第二个解析器是一个“蒸馏”的合奏到一个单一的模型。我们训练蒸馏解析器使用结构化铰链损失目标与新的成本，包括合奏不确定性估计为每个可能的附件，从而避免了棘手的交叉熵计算所需的标准蒸馏目标的问题与结构化输出。一阶蒸馏解析器在英语、汉语和德语上达到或超过了最先进的水平。
2016-09-24 cs.CL
Automatic Correction of Syntactic Dependency Annotation Differences
University of Arizona（亚利桑那大学）
数据集之间的注释不一致可能会导致低资源NLP的问题，与资源丰富的语言相比，噪声或不一致的数据无法轻松替换。在本文中，我们提出了一种自动检测依存句法分析语料库之间的注释不匹配的方法，以及三个相关的自动转换不匹配的方法。所有这三种方法都依赖于将新语料库中的未见过示例与现有语料库中的类似示例进行比较。这三种方法包括使用现有语料库中最频繁的示例标签的简单词汇替换，考虑更广泛的示例池的基于GloVe嵌入的替换，以及基于BERT嵌入的替换，使用上下文化的嵌入来提供针对我们特定数据进行微调的示例。然后，我们通过重新训练两个依赖解析器来评估这些转换- Stanza（Qi et al. 2020）和Parsing as Tagging（PaT）（Vacareanu et al. 2020）-转换和未转换的数据。我们发现，在许多情况下，应用我们的转换会产生更好的性能。观察到的两个解析器之间的一些差异。Stanza有一个更复杂的架构，采用二次算法，因此训练的时间更长，但它可以用更少的数据更好地泛化。PaT解析器具有更简单的体系结构和线性算法，加快了训练时间，但需要更多的训练数据才能达到相当或更好的性能。
2022-01-15 cs.CL
A Dynamic Oracle for Linear-Time 2-Planar Dependency Parsing
Universidade da Coruña（拉科鲁尼亚大学）
我们提出了一个有效的动态预言机用于训练基于2-Planar transition的解析器，一个线性时间解析器，在非投射句法语料库上的覆盖率超过99%。这种新方法在绝大多数测试语言中优于静态训练策略，并且在大多数数据集上的得分优于使用SWAP转换增强的弧混合解析器，后者可以处理不受限制的非投射性。
2018-05-15 cs.CL
A Truly Joint Neural Architecture for Segmentation and Parsing
Bar Ilan University（巴伊兰大学）
针对形态丰富语言中分割与句法分析流水线误差传播问题，提出基于格表示和弧因子模型的真正联合LLM架构，在希伯来语UD三项任务上达到SOTA。
2024-03-02 cs.AI cs.CL cs.LG
Recognizing Bangla Grammar using Predictive Parser
Khulna University of Engineering and Technology (KUET)（库尔纳工程技术大学）
我们描述了孟加拉语的上下文无关文法（CFG），因此我们提出了一个基于该文法的孟加拉语语法分析器。我们的方法是非常普遍适用于孟加拉语句子和方法被广泛接受的语法分析的语言。建议的分析器是一个预测分析器，我们构造的分析表识别孟加拉语语法。使用解析表，我们认识到孟加拉语句子的语法错误时，没有在解析表中的终端条目。如果一种自然语言可以被成功地解析，那么从这种语言进行语法检查就成为可能。该方案是基于自顶向下的分析方法，我们已经避免了左递归的CFG使用左分解的想法。
2012-01-10 cs.CL
Data-driven Parsing Evaluation for Child-Parent Interactions
Boston College（波士顿学院）
我们提出了一个句法依存树库自然主义儿童和儿童导向的讲话在英语（MacWhinney，2000年）。我们的注释在很大程度上遵循了通用自动化项目（UD（Zeman et al.，2022）），详细扩展到词汇/句法结构独特的会话讲话（在反对书面文本）。与现有的UD风格的口语树库以及其他儿童-父母互动的依赖语料库相比，我们的数据集的大小（大得多）（话语数N = 44，744;单词数N = 233，907），包含来自10个儿童的语音，涵盖了广泛的年龄范围（18-66个月）。有了这个数据集，我们问：（1）为书面语领域量身定制的最先进的依存关系解析器在自发对话中对不同对话者的语音表现如何？(2)句法分析能力与儿童的发展阶段有什么关系？为了解决这些问题，在正在进行的工作中，我们正在使用基于图和基于转换的解析器进行彻底的依赖解析器评估，这些解析器具有不同的超参数化，从三种不同类型的域外书面文本中训练：新闻，推文和学习者数据。
2022-09-28 cs.CL
Founding a mathematical diffusion model in linguistics. The case study of German syntactic features in the North-Eastern Italian dialects
University of Trento（特伦托大学）
本文以意大利东北部方言中的德语语法特征为案例，用地理数据科学和扩散-对流方程建立数学扩散模型，并证明施密特波属于该方程的解。
2023-09-16 cs.CL
Straight to the Tree: Constituency Parsing with Neural Syntactic Distance
MILA（蒙特利尔学习算法研究所）；University of Montréal（蒙特利尔大学）；AdeptMind Scholar；University of Waterloo（滑铁卢大学）；Microsoft Research（微软研究院）
在这项工作中，我们提出了一种新的选区解析方案。该模型预测一个向量的实值标量，命名为句法距离，在输入句子中的每个分裂位置。语法距离指定选择拆分点的顺序，以自上而下的方式递归地划分输入。与传统的移位-归约解析方案相比，我们的方法不存在复合错误的潜在问题，同时更快，更容易并行化。我们的模型在PTB数据集中的单个模型，判别式解析器中实现了有竞争力的性能，并且在CTB数据集中优于以前的模型。
2018-06-11 cs.AI cs.CL cs.LG
Framework and Resources for Natural Language Parser Evaluation
University of Joensuu（约恩苏大学）
由于现代自然语言的自动句法分析方法多种多样，因此有必要分析和评价各种方法的优缺点。这项研究更有必要，因为目前还没有一个独立于体裁和领域的解析器能够100%准确地分析不受限制的文本（我用这个术语来指解析器分配的分析的正确性）。所有这些因素都产生了对可用于评估和比较解析系统的方法和资源的需求。本研究内容包括：（1）对句法分析和句法分析器评估的研究现状进行了理论分析。(2)一个框架（称为FEPa），可用于执行实际的解析器评估和比较。(3)一组新的评估资源：FiEval是一个正在建设中的芬兰树库，MGTS和RobSet是英文的解析器评估资源。(4)实验结果，其中开发的评价框架和两个资源的英语被用来评估一组选定的解析器。
2007-12-21 cs.CL
Towards Syntactic Iberian Polarity Classification
Universidade da Coruña（拉科鲁尼亚大学）
基于词典的方法使用语法规则进行极性分类，依赖于依赖于语言和树库指南的解析器。因此，规则也是依赖性的，需要调整，特别是在多语言情况下。我们在伊比利亚半岛的背景下应对这一挑战，发布了第一个基于符号语法的伊比利亚系统，该系统的规则在五种官方语言之间共享：巴斯克语，加泰罗尼亚语，加利西亚语，葡萄牙语和西班牙语。该模型是可用的。
2017-08-17 cs.CL
Self-Correction Makes LLMs Better Parsers
School of Computer Science and Technology, Soochow University（计算机科学与技术学院，苏州大学）
针对大语言模型在句法解析上的不足，本文提出利用现有树库语法规则引导模型自我纠正错误的方法，在多个数据集上显著提升域内及跨域解析性能。
2025-04-19 cs.CL
Linguistic Structure Induction from Language Models
INSTITUT FÜR INFORMATIK（信息学研究所）
本论文研究从语言模型中无监督地归纳成分和依存句法结构，重点分析StructFormer模型，通过六个实验评估其性能，并参与BabyLM挑战赛，结果表明改造transformer模型以诱导句法结构具有可行性。
2024-03-11 cs.AI cs.CL
