Data Recombination for Neural Semantic Parsing
Stanford University(斯坦福大学)
在语义解析中,对清晰的逻辑推理进行建模是至关重要的,这使得没有特定任务先验知识的神经模型难以获得良好的结果。在本文中,我们介绍了数据重组,一种新的框架注入这样的先验知识模型。从训练数据中,我们归纳出一个高精度的同步上下文无关文法,它捕获了语义解析中常见的重要条件独立属性。然后,我们训练一个序列到序列递归网络(RNN)模型,该模型具有一种新的基于注意力的复制机制,该机制基于从该语法中采样的数据点,从而教授模型这些结构属性。数据重组提高了我们的RNN模型在三个语义解析数据集上的准确性,从而为具有可比监督的模型在标准GeoQuery数据集上带来了新的最先进性能。
2016-06-11 cs.CL
SmBoP: Semi-autoregressive Bottom-up Semantic Parsing
Tel Aviv University(特拉维夫大学);Allen Institute for AI(艾伦人工智能研究所)
近年来,用于语义解析的事实标准解码方法是使用自顶向下的深度优先遍历对目标程序的抽象语法树进行自回归解码。在这项工作中,我们提出了一种替代方法:半自回归自自底向上的【形】解析器(SmBoP),在解码步骤$t$构建高度$\leq t$的顶部$K$子树。我们的解析器享有自顶向下自回归解析相比,几个好处。从效率的角度来看,自自底向上的【形】解析允许并行解码特定高度的所有子树,导致对数运行时复杂度而不是线性的。从建模的角度来看,自自底向上的【形】的解析器在每一步都学习有意义的语义子程序的表示,而不是语义空洞的部分树。我们将SmBoP应用于Spider,一个具有挑战性的zero-shot语义解析基准测试,并表明SmBoP导致解码时间的2.2倍加速和训练时间的$\sim$ 5倍加速,与使用自回归解码的语义解析器相比。SmBoP在Spider上获得了71.1的表示准确度,建立了一个新的最先进的技术,以及69.5的精确匹配,与自回归RAT-SQL+GraPPa的69.6精确匹配相当。
2021-04-11 cs.CL
A Probabilistic Generative Grammar for Semantic Parsing
Carnegie Mellon University(卡内基梅隆大学)
领域通用语义解析是自然语言处理中的长期目标,其中语义解析器能够鲁棒地解析来自其被训练的领域之外的句子。目前的方法在很大程度上依赖于新领域的额外监督,以便推广到这些领域。我们提出了一个自然语言语句和逻辑形式的生成模型,并展示了它的应用语义解析。我们的方法依赖于域独立的监督推广到新的领域。我们推导并实现有效的算法,用于训练,解析和句子生成。这项工作依赖于一个新的应用程序的层次狄利克雷过程(HDP)的结构化预测,我们也在这份手稿。这份手稿是博士论文第4章的摘录。Saparov(2022)的论文,其中模型在更大的自然语言理解系统中起着核心作用。这份手稿对Saparov,Saraswat和Mitchell(2017)首次介绍的工作进行了新的简化和更完整的介绍。在这个新的演示文稿中,训练算法,解析算法和句子生成算法的描述和正确性证明都得到了简化。我们还描述了新的应用分层Dirichlet过程的结构化预测。此外,我们扩展了早期的工作与一个新的模型的词形态,它利用了全面的形态数据从维基词典。
2022-02-09 cs.CL cs.LG stat.ML
Graphes paramétrés et outils de lexicalisation
IGM – Université de Marne-la-Vallée(马恩拉瓦莱大学IGM研究所);LADL(语言自动处理实验室)
转换到词汇化语法可以减少解析错误的数量,并改善应用程序的结果。然而,这样的操作影响句法分析器的所有方面。我们的研究目标之一是设计一个现实的语法词汇化模型。我们进行了实验,我们使用的语法与一个非常简单的内容和形式主义,和一个非常翔实的句法词汇,词汇语法的法语详细的LADL。词汇化是通过应用参数化图的方法。我们的研究结果表明,词汇语法中的大部分信息都可以转化为语法,并成功地用于句子的句法分析。
2007-11-21 cs.CL
Head-driven Phrase Structure Parsing in O($n^3$) Time Complexity
Shanghai Jiao Tong University(上海交通大学)
成分句法分析和依存句法分析是句法分析的两种经典形式,在中心语驱动短语结构语法(Head-driven Phrase Structure Grammar,HPSG)的统一形式化框架下,联合训练和解码对这两种句法分析都有好处。然而,由于在解码期间必须考虑更多的因素,因此解码该统一语法具有比单独解码任一形式($O(n^3)$)更高的时间复杂度($O(n^5)$)。因此,我们提出了一个改进的头部评分器,有助于实现一个新的性能保持解析器在$O$($n^3$)时间复杂度。此外,在此基础上提出了实用的HPSG解析器,我们调查了基于HPSG的解析的优势,并探讨了在多语言场景中仅从成分或依赖注释训练基于HPSG的解析器的一般方法。因此,我们提出了一个更有效的,更深入的,和一般的工作HPSG解析。
2021-05-20 cs.CL
Doing Natural Language Processing in A Natural Way: An NLP toolkit based on object-oriented knowledge base and multi-level grammar base
China Mobile Research Institute(中国移动研究院)
介绍了一个基于面向对象知识库和多级语法库的自然语言处理工具包。该工具包以语义解析为核心,具有自动发现新知识和语法的能力,新发现的知识和语法将由人工识别,并用于更新知识库和语法库。这个过程可以重复多次,以不断改进工具包。
2021-06-08 cs.AI cs.CL cs.LG
Analyse en dépendances à l'aide des grammaires d'interaction
LORIA(洛林计算机科学及其应用实验室);Université Nancy 2(南锡第二大学);INRIA Nancy Grand-Est(法国国家信息与自动化研究所南锡-大东部分院)
本文提出了一种利用交互语法从短语结构层次句法分析中提取依存结构的方法。交互语法是一种用极性系统来表达词与词之间的交互作用的形式主义。极性的饱和导致了句法结构的变化。成分之间发生相互作用,但随着语法的词汇化,这些相互作用可以在单词层面上进行翻译。依存关系是从解析过程中提取的:每个依存关系都是极性饱和的结果。我们得到的依赖关系可以看作是通常的依赖树的细化。总的来说,这项工作揭示了短语结构和依存句法分析之间的联系。
2009-09-18 cs.CL
Neuro-symbolic Syntactic Parsing: Shaping a Neural Network with the CYK Algorithm
Human-centric ART, University of Rome Tor Vergata(人本导向ART,罗马托尔维加塔大学);DEI, University of Padua(迪埃学院,帕多瓦大学)
本文提出CYKNN,一种将CYK算法直接编码为可训练矩阵-向量乘法的循环神经网络架构,在简单语法任务上超越大语言模型,开辟神经符号方法新途径。
2026-05-29 cs.AI cs.CL cs.DS
LLM-enhanced Self-training for Cross-domain Constituency Parsing
Tianjin University(天津大学);Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳));Westlake University(西湖大学)
本研究针对跨域成分句法分析中传统自训练语料有限且质量低的问题,提出LLM增强自训练方法,结合语法规则生成语料与置信度标准筛选伪实例,显著提升了跨域分析性能。
2023-11-05 cs.CL
Integrating Supertag Features into Neural Discontinuous Constituent Parsing
Philosophische Fakultät(哲学系);Institut für Sprache und Information(语言与信息研究所)
本研究探索将超标签特征集成到基于转移的神经非连续成分句法分析中,通过流水线和多任务两种方式引入超标签信息,并对比多种框架与序列标注任务作为辅助任务的适用性。
2024-10-11 cs.AI cs.CL cs.FL
Rule Augmented Unsupervised Constituency Parsing
IIT Bombay(印度理工学院孟买分校);The University of Texas at Dallas(德克萨斯大学达拉斯分校)
近年来,句法树的无监督分析得到了广泛的关注。这种无监督解析的原型方法采用强化学习和自动编码器。然而,没有机制确保学习的模型利用了良好理解的语言语法。我们提出了一种方法,利用非常通用的语言知识的语法规则的形式存在的语言,从而诱导更好的句法结构。我们介绍了一种新的配方,利用的句法语法规则,是独立的基础系统。我们在两个基准数据集MNLI和WSJ上取得了新的最先进的结果。该论文的源代码可在https://github.com/anshuln/Diora_with_rules上获得。
2021-05-21 cs.CL cs.LG
Concurrent Lexicalized Dependency Parsing: A Behavioral View on ParseTalk Events
被认为是面向对象的语法模型的行为规范。该模型是基于完整的词汇化,头方向通过效价约束和依赖关系,继承作为一种手段,非冗余的词典规范,和并发的计算。计算模型依赖于Actor范例,并发性通过Actor之间的异步消息传递进入。特别是,我们在这里详细说明的原则,如何全局行为的词法分布的语法和相应的解析器可以指定的事件类型网络和事件网络,分别。
1994-10-24 cmp-lg cs.CL
Developing and Evaluating a Probabilistic LR Parser of Part-of-Speech and Punctuation Labels
我们描述了一种方法来强大的领域无关的句法分析的不受限制的自然发生的(英语)输入。该技术涉及使用基于统一的语法结合概率LR解析器来解析词性和标点符号标签的序列。我们描述了几个语料库使用这种语法的覆盖范围,并报告了一个分析实验的结果,使用来自括号内的训练数据的概率。我们报告的第一个实质性的实验,以评估标点符号的贡献,以获得一个准确的句法分析,通过分析相同的文本与自然发生的标点符号。
1995-10-09 cmp-lg cs.CL
Dependency Induction Through the Lens of Visual Perception
Electrical and Computer Engineering, Carnegie Mellon University(卡内基梅隆大学电气与计算机工程系);Language Technologies Institute, Carnegie Mellon University(卡内基梅隆大学语言技术研究所)
以前的大多数语法归纳工作都集中在纯粹从文本中学习短语或依存结构。然而,由于单独由文本提供的信号是有限的,最近推出的视觉接地语法模型利用多模态信息,从而提高性能的选区语法归纳。然而,与依赖语法相比,选区语法不提供一种直接的方法来合并视觉信息,而不强制执行特定于语言的语法。在本文中,我们提出了一个无监督的语法归纳模型,利用词的具体性和基于结构视觉的启发式,共同学习成分结构和依赖结构语法。我们的实验发现,具体性是学习依赖语法的一个强有力的指标,与在纯文本上训练的最先进模型相比,直接依恋得分(DAS)提高了50%以上。接下来,我们提出了一个扩展我们的模型,利用词的具体性和视觉语义角色标签的选区和依存句法分析。我们的实验表明,所提出的扩展优于目前国家的最先进的视觉接地模型在选区分析,即使具有较小的语法大小。
2021-09-20 cs.CL
Paraphrase Generation from Latent-Variable PCFGs for Semantic Parsing
University of Edinburgh(爱丁堡大学)
语义解析方法在开放领域问答中的局限性之一是自然语言问题和知识库条目之间的词汇句法鸿沟--有很多方法可以提出一个问题,但答案都是一样的。在本文中,我们建议弥合这一差距,通过生成释义的输入问题的目标,其中至少有一个将被正确映射到一个知识库查询。我们介绍了一种新的语法模型的释义生成,不需要任何的语法对齐的释义语料库。我们的主要思想是利用潜在变量概率上下文无关文法的灵活性和可扩展性来对释义进行采样。我们通过将释义插入Freebase的语义解析器来对释义进行外部评估。我们在WebQuestions基准数据集上的评估实验表明,语义解析器的性能在强基线上有显着提高。
2016-08-05 cs.CL
Symbolic Priors for RNN-based Semantic Parsing
Xerox Research Centre Europe(施乐欧洲研究中心);CNRS(法国国家科学研究中心);LORIA(洛林计算机科学及其应用实验室)
基于递归神经网络(RNN)的Seq2seq模型最近在用于问答的语义解析领域中受到了很多关注。虽然原则上它们可以直接在成对(自然语言话语,逻辑形式)上进行训练,但它们的性能受到可用数据量的限制。为了缓解这个问题,我们建议利用各种来源的先验知识:良好的形式的逻辑形式是由加权上下文无关文法建模的可能性,某些实体存在于输入话语也存在于逻辑形式的加权有限状态自动机建模。语法和自动机通过一个有效的交集算法结合在一起,形成RNN的软指南(“背景”)。我们在Overnight数据集的扩展上测试了我们的方法,并表明它不仅在RNN基线上有很大的改进,而且基于丰富的手工特征集,它的性能优于非RNN模型。
2018-09-20 cs.CL
A Statistical Parsing Framework for Sentiment Classification
Beihang University(北京航空航天大学);Microsoft Research(微软研究院)
在这篇文章中,我们提出了一个统计分析框架,用于情感分类。不同于以往的作品,采用句法分析结果的情感分析,我们开发了一个统计分析器,直接分析句子的情感结构。我们证明了情感分析中的复杂现象(例如,否定、强化和对比)可以以统一和概率的方式与简单和直接的情感表达相同地处理。我们制定的情感语法上上下文无关文法(CFGs),并提供了一个正式的描述的情感分析框架。我们开发的解析模型,以获得可能的情感分析树的句子,从极性模型提出了推导出的情感强度和极性,和排名模型是专门选择最好的情感树。我们训练的解析器直接从句子的例子注释只有情感极性标签,但没有任何句法注释或极性注释的成分在句子内。因此,我们可以很容易地获得训练数据。特别是,我们训练一个情感分析器,S.分析器,从大量的评论句子与用户的评级作为粗略的情感极性标签。在现有基准数据集上进行的大量实验表明,与基线情感分类方法相比,该方法有显着的改进。
2015-03-05 cs.CL
BenchCLAMP: A Benchmark for Evaluating Language Models on Syntactic and Semantic Parsing
Microsoft Semantic Machines(微软语义机器);Scaled Cognition(规模化认知)
本文提出 BenchCLAMP 基准,通过提供上下文无关文法和受约束解码接口,评估语言模型在句法和语义解析任务上的性能,发现受约束的编码器-解码器模型能超越现有最先进方法。
2024-01-10 cs.CL
A Globally Normalized Neural Model for Semantic Parsing
Alberta Machine Intelligence Institute (Amii)(阿尔伯塔机器智能研究所);University of Alberta(阿尔伯塔大学);Borealis AI(北极光人工智能研究院)
本文提出了一种基于上下文无关文法(CFG)的语义解析的全局规范化模型。我们的模型不是预测概率,而是在每一步预测一个实值分数,并且不会受到标签偏差问题的影响。实验表明,我们的方法在小数据集上的性能优于局部归一化模型,但在大数据集上没有得到改善。
2021-06-07 cs.CL
Grammar Induction with Neural Language Models: An Unusual Replication
New York University(纽约大学)
最近关于潜在树学习的大量工作尝试开发具有解析值潜在变量的神经网络模型,并在非解析任务上对它们进行训练,希望它们能发现可解释的树结构。在最近的一篇论文中,Shen et al.(2018)介绍了这样一个模型,并报告了语言建模目标任务的最新结果,以及选区解析的第一个强潜在树学习结果。在尝试重现这些结果时,我们发现了使原始结果难以信任的问题,包括调整甚至训练有效的测试集。在这里,我们试图在一个公平的实验中重现这些结果,并将其扩展到两个新的数据集。我们发现这项工作的结果是稳健的:所研究的模型的所有变体都优于所有潜在树学习基线,并且与符号语法归纳系统竞争。我们发现,这个模型代表了第一个经验的成功,潜在树学习,和神经网络语言建模值得进一步研究的语法归纳设置。
2018-08-29 cs.CL
Grammar-based Neural Text-to-SQL Generation
Allen Institute for Artificial Intelligence(艾伦人工智能研究所);Tel-Aviv University(特拉维夫大学)
由神经文本到SQL模型采用的序列到序列范例通常执行标记级解码,并且不考虑从语法分层地生成SQL。基于语法的解码对于其他语义解析任务已经显示出显著的改进,但是SQL和其他通用程序设计语言具有逻辑形式主义中不存在的复杂性,这使得编写分层语法变得困难。我们介绍的技术来处理这些复杂性,展示了如何构建一个模式依赖的语法与最小的过度生成。我们分析了ATIS和蜘蛛,两个具有挑战性的文本到SQL数据集,这些技术表明,他们产生14- 18\ %的相对减少错误。
2019-05-30 cs.CL
Heads-up! Unsupervised Constituency Parsing via Self-Attention Heads
University of Edinburgh(爱丁堡大学);Seoul National University(首尔国立大学)
基于transformer的预训练语言模型(PLM)在许多任务中显着改善了NLP的最新技术水平。这导致了对分析PLM学习的语法知识的浓厚兴趣。以前解决这个问题的方法是有限的,主要是使用测试套件或探测器。在这里,我们提出了一种新的完全无监督的解析方法,提取选区树PLM注意头。我们根据Transformer注意力头部的固有属性对其进行排名,并创建一个高排名头部的集合来生成最终的树。我们的方法适用于低资源语言,因为它不依赖于开发集,这可能是昂贵的注释。我们的实验表明,所提出的方法往往优于现有的方法,如果没有开发集。我们的无监督解析器也可以用作分析PLM隐式学习的语法的工具。为此,我们使用我们的方法诱导的解析树来训练神经PCFG,并将其与来自人类注释树库的语法进行比较。
2020-10-19 cs.CL
Concurrent Lexicalized Dependency Parsing: The ParseTalk Model
本文介绍了一种面向对象的并发自然语言分析的语法模型。语法知识的完整词汇分布是建立在面向中心语的配价和依赖概念的基础上的,而继承机制用于捕获词汇概括。底层并发计算模型依赖于Actor范式。我们考虑建立依赖关系和歧义处理的消息传递协议。
1994-10-24 cmp-lg cs.CL
Grammar as a Foreign Language
Google(谷歌)
句法成分分析是自然语言处理中的一个基本问题,并且几十年来一直是深入研究和工程的主题。因此,最准确的解析器是特定于域的、复杂的和低效的。在本文中,我们表明,领域不可知的注意力增强序列到序列模型实现最广泛使用的句法选区解析数据集的最先进的结果,当训练的大型合成语料库,使用现有的解析器进行注释。当只在一个小的人类注释数据集上训练时,它也与标准解析器的性能相匹配,这表明该模型具有高度的数据效率,与没有注意力机制的序列到序列模型相比。我们的解析器也很快,在未优化的CPU实现下每秒处理100多个句子。
2015-06-09 cs.CL cs.LG stat.ML
Holographic Neural PCFG for Unsupervised Parsing
Ritsumeikan University(立命馆大学);The Institute of Statistical Mathematics(统计数学研究所);Kyoto University(京都大学)
研究无监督成分句法分析,提出全息神经PCFG,将规则评分转为代数关系建模,采用全息嵌入赋予规则概率封闭形式。该方法在六种语言中达最优性能,大幅减少参数且训练稳定,还能直接从字符解析日语。
2026-07-10 cs.CL cs.LG
Parsing Combinatory Categorial Grammar with Answer Set Programming: Preliminary Report
University of Kentucky(肯塔基大学);Technische Universität Wien(维也纳工业大学)
组合范畴语法(CCG)是一种用于自然语言分析的语法形式。CCG将结构化的词汇类别分配给单词,并使用一小组组合规则来组合这些类别以解析句子。在这项工作中,我们提出并实现了一种新的CCG解析方法,该方法依赖于突出的知识表示形式主义,即答案集编程(ASP)--一种声明性编程范式。我们制定的CCG解析的任务作为一个规划问题,并使用ASP计算工具来计算解决方案,对应于有效的解析。与其他方法相比,不需要使用这种声明性方法实现特定的解析算法。我们的方法旨在为一个给定的句子产生所有语义不同的解析树。从这一目标出发,出现了规范化和效率问题,我们通过结合和扩展现有战略来处理这些问题。我们已经实现了一个CCG解析工具包- AspCcgTk -使用ASP作为其主要的计算手段。C&C supertagger可以用作AspCcgTk中的预处理器,这使我们能够实现广泛覆盖的自然语言解析。
2011-08-29 cs.AI cs.CL
Chart Parsing Multimodal Grammars
University of Montpellier(蒙彼利埃大学);CNRS(法国国家科学研究中心)
简短的说明描述了多模态类型逻辑语法的图表解析器,它是与法语的类型逻辑树库一起开发的。图表分析器提出了一个不完整的,但快速实现证明搜索多模态类型逻辑语法使用“演绎分析”框架。找到的证明可以转化为自然演绎证明。
2018-04-06 cs.CL
TuLiPA: Towards a Multi-Formalism Parsing Environment for Grammar Engineering
Universität Tübingen(蒂宾根大学);CNRS - LORIA(法国国家科学研究中心-洛林计算机科学及其应用实验室);Nancy Université(南锡大学)
在本文中,我们提出了一个开源的解析环境(Tuebingen语言解析架构,TuLiPA),它使用范围连接语法(RCG)作为一个枢轴形式主义,从而打开了几个温和的上下文敏感的形式主义的解析的方式。该环境目前支持基于树的语法(即树邻接语法,TAG)和具有树元组的多分量树邻接语法(TT-MCTAG)),并且不仅允许计算句法结构,而且允许计算对应的语义表示。它用于开发德语的基于树的语法。
2008-07-23 cs.CL
A generalized parsing framework for Abstract Grammars
École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院);McGill University(麦吉尔大学);Stanford University(斯坦福大学)
这份技术报告提出了一个解析各种语法形式的通用框架。我们开发了一个语法形式主义,称为抽象语法,这是一般足以表示语法在许多层次结构,包括上下文无关文法,最低限度的语法,和广义上下文无关文法。然后,我们开发了一个单一的解析框架,它能够解析语法,至少达到GCFGs的层次结构。我们的解析框架公开了一个语法接口,因此它可以解析任何特定的语法形式主义,可以减少到一个抽象语法。
2018-01-19 cs.CL cs.FL
Faster and Better Grammar-based Text-to-SQL Parsing via Clause-level Parallel Decoding and Alignment Loss
Baidu Inc(百度公司);Soochow University(苏州大学)
基于语法的语法分析器在跨域文本到SQL的解析任务中取得了很高的性能,但由于语法选择的动作比SQL查询中的标记的动作多得多,解码效率低。同时,如何更好地对齐SQL子句和问题段一直是分析性能的关键挑战。因此,本文提出了子句级并行解码和对齐损失,以增强两个高性能的基于语法的解析器,即,RATSQL和LGESQL。两个解析器的实验结果表明,我们的方法获得了一致的改善,无论是在准确性和解码速度。
2022-04-26 cs.CL
Parsing English with a Link Grammar
我们开发了一个正式的语法系统称为链接语法,显示如何英语语法可以在这样一个系统中编码,并给出算法,有效地解析与链接语法。虽然链接文法的表达能力与上下文无关文法相当,但使用新系统编码自然语言文法似乎要容易得多。我们已经写了一个程序,一般链接解析和书面链接语法的英语。这个初步的系统的性能-无论是在广度的英语现象,它捕获和使用的计算资源-表明,该方法可能具有实际用途以及语言学意义。我们的程序是用C语言编写的,可以通过互联网获得。
1995-08-02 cmp-lg cs.CL
A State-Transition Grammar for Data-Oriented Parsing
本文提出了一种语法形式主义,设计用于面向数据的方法来语言处理。形式主义最好被描述为一个右线性索引文法,以语言学上有趣的方式扩展。本文继续研究如何处理用这种形式主义预解析的语料库,以提供用于解析新文本的概率语言模型。
1995-02-27 cmp-lg cs.CL
Relating Complexity to Practical Performance in Parsing with Wide-Coverage Unification Grammars
本文表明,指数复杂度的语法大小和输入长度的性能影响不大的三个统一为基础的解析算法,使用广泛的覆盖语法。结果意味着,研究和优化的统一为基础的解析必须依赖于经验数据,直到复杂性理论可以更准确地预测这种解析器的实际行为。
1994-05-31 cmp-lg cs.CL
Parsing for Semidirectional Lambek Grammar is NP-Complete
我们研究了Lambek范畴语法的一个变体{ \em semi-directional}的解析问题的计算复杂性。在半定向Lambek演算$\SDL$中,有一个额外的非定向抽象规则,允许被抽象的公式出现在前提条件的左手边的任何地方,从而允许非外围提取。$\SDL$语法能够生成每一种上下文无关语言,甚至更多。我们证明了半定向Lambek文法的解析问题是NP-完全的3-分区问题的减少。
1996-05-10 cmp-lg cs.CL
Prefix Parsing is Just Parsing
ETH Zürich(苏黎世联邦理工学院);McGill University(麦吉尔大学);Canada CIFAR AI Chair(加拿大 CIFAR 人工智能主席);Mila;CHI-FRO
本文提出通过前缀文法变换将前缀解析转化为普通解析,从而高效解决前缀解析问题,并引入基于算法微分的策略计算下一token权重向量,提供了一种简单、通用且高效的前缀解析框架。
2026-04-23 cs.CL
On the Complexity of CCG Parsing
Linköping University(林雪平大学);University of Padua(帕多瓦大学)
我们在Vijay-Shanker和Weir(1994)的句法分析理论框架下研究了组合范畴语法的句法分析复杂性。作为我们的主要结果,我们证明了任何解析算法,这种形式主义将采取在最坏情况下的指数时间时,语法的大小,而不仅仅是输入句子的长度,包括在分析中。这使得Vijay-Shanker和Weir(1994)的形式主义与弱等价的形式主义(如树邻接语法(TAG))区分开来,后者可以在语法和输入句子的组合大小中以时间多项式进行解析。我们的研究结果有助于一个精致的理解类轻度上下文敏感的语法,并通知搜索新的,轻度上下文敏感版本的CCG。
2018-05-04 cs.CL
Principles and Implementation of Deductive Parsing
我们提出了一个系统,用于生成语法分析器直接基于隐喻的解析演绎。解析算法可以直接表示为演绎系统,并且单个演绎引擎可以解释这样的演绎系统以便实现相应的解析器。该方法很容易推广到语法分析器的增强短语结构形式主义,如定义子句语法和其他逻辑语法形式主义,并已被用于快速原型分析算法的各种形式主义,包括变种的树邻接语法,范畴语法,和词汇化上下文无关语法。
1994-04-26 cmp-lg cs.CL
Amalia -- A Unified Platform for Parsing and Generation
当代语言学理论(特别是HPSG)本质上是陈述性的:它们规定了对允许结构的限制,而不是如何计算这些结构。因此,在这种理论下设计的语法既适合于分析又适合于生成。然而,这些理论的实际实现通常不支持语法的双向处理。我们提出了一个语法开发系统,其中包括一个编译器的语法(解析和生成)抽象的机器指令,和一个解释器的抽象机器语言。生成编译器将输入语法(为解析而设计)转换为更适合生成的形式。编译后的文法然后由解释器使用一种控制策略执行,而不管文法是原始版本还是反转版本。从而为可逆文法的开发提供了一个统一、高效的平台。
1997-09-24 cmp-lg cs.CL
Fast Parsing using Pruning and Grammar Specialization
我们展示了如何一个一般的语法可以自动适应快速解析的话语从一个特定的域通过成分修剪和语法专业化的基础上基于简化的学习。这些方法一起给出了一个数量级的速度增加,语法专业化所带来的覆盖率损失减少到约一半,在以前的工作中报告。这里描述的实验表明,覆盖率的损失已经减少到在实际应用程序的上下文中不再导致显著的性能下降的程度。
1996-04-26 cmp-lg cs.CL
Synchronous Context-Free Grammars and Optimal Linear Parsing Strategies
Università di Firenze(佛罗伦萨大学);University of Rochester(罗切斯特大学);Università di Milano(米兰大学);Università di Roma Tor Vergata(罗马第二大学(托尔·维尔加塔));University of Padua(帕多瓦大学)
同步上下文无关文法(SCFG),也称为语法指导的翻译模式,与上下文无关文法不同之处在于它们没有二进制范式。通常,使用SCFG进行解析需要输入字符串长度的空间和时间多项式,但多项式的次数取决于SCFG规则的排列。我们考虑线性解析策略,每次添加一个非终结符。我们证明了对于给定的输入置换,寻找具有最小空间复杂度和时间复杂度的线性句法分析策略的问题都是NP困难的。
2013-11-25 cs.CL cs.FL
Graph Interpolation Grammars: a Rule-based Approach to the Incremental Parsing of Natural Languages
图插值文法是一种具有操作语义的声明式形式。他们的目标是模仿人类解析器的显著特征,特别是增量。由GIG定义的语法分析过程随着每个连续的词素被读取而递增地构建句子的句法表示。GIG规则指定一组解析配置,这些配置触发其应用程序和对匹配配置执行的操作。规则是部分上下文敏感的;此外,它们是可逆的,这意味着它们的操作可以撤消,这允许解析过程是不确定的。这两个因素赋予了自然语言分析的形式主义足够的表达能力。
1998-04-02 cmp-lg cs.CL
Some Novel Applications of Explanation-Based Learning to Parsing Lexicalized Tree-Adjoining Grammars
在本文中,我们提出了一些新的应用基于解释的学习(EBL)技术分析词汇化树邻接语法。新的方面是(a)在训练集中的解析的立即推广,(b)递归结构的推广和(c)作为有限状态转换器的广义解析的表示。还引入了一个称为“订书机”的高度贫困的解析器。我们目前的实验结果使用EBL不同的语料库和架构,以显示我们的方法的有效性。
1995-05-10 cmp-lg cs.CL
Parsing Turkish with the Lexical Functional Grammar Formalism
本文介绍了我们的工作,分析土耳其语使用词汇功能语法形式主义。这项工作代表了解析土耳其语的第一次重大努力。我们的实现是基于富田的解析器开发的麦基-梅隆大学机器翻译中心。语法涵盖了大量的土耳其语子集,包括简单和复杂的句子,并处理了合理数量的词序自由。土耳其语词汇结构的复杂黏着形态使用单独的两级形态分析器进行处理。在讨论了土耳其语语法的关键相关问题后,我们讨论了我们系统的各个方面,并介绍了我们实施的结果。我们的初步结果表明,我们的系统可以直接解析约82%的句子,几乎所有剩余的非常小的预编辑。
1994-06-02 cmp-lg cs.CL
Trading off Completeness for Efficiency --- The \textsc{ParseTalk} Performance Grammar Approach to Real-World Text Parsing
我们主张自然语言语法及其相关解析器的基于性能的设计,以满足现实世界的自然语言理解所带来的约束。这种方法结合了面向对象规范框架中关于语言和语言使用的声明性和过程性知识。我们讨论了现实世界中的文本解析的消息传递协议,并提供了牺牲完整性的解析有利于效率的原因。
1996-05-15 cmp-lg cs.CL
Dependency Grammar and the Parsing of Chinese Sentences
依存语法一直被语言学家用作其语法形式体系的句法成分的基础。它也被用于自然语言解析。在中国,人们已经尝试使用这种语法形式主义来使用基于语料库的技术分析汉语句子。本文回顾了依存语法的性质,体现在四个公理的依存结构的良构条件。它表明,允许多个总督所做的一些追随者,这种形式主义是不必要的。本文还讨论了在句法分析时,从建立功能结构的角度出发,用功能标签扩充依存语法的做法。这也将有助于语义解释。
1994-12-01 cmp-lg cs.CL
Something Old, Something New: Grammar-based CCG Parsing with Transformer Models
Cambridge Quantum Computing(剑桥量子计算)
本报告描述了组合范畴语法(CCG)的解析问题,展示了基于Transformer的神经模型和符号CCG语法的组合如何比现有方法带来实质性收益。该报告还记录了一个为期20年的研究计划,展示了NLP方法在这段时间内的演变。神经模型为CCG解析提供的惊人的准确性改进可以被视为NLP更普遍的改进的反映。该报告提供了一个最小的介绍CCG和CCG解析,与相关文献的许多指针。然后,它描述了CCG超级标记问题,以及Tian等人(2020)最近的一些工作,这些工作将基于transformer的模型应用于超级标记,效果很好。我使用这个现有的模型来开发一个CCG多标签器,它可以作为一个前端到现有的CCG解析器。简单地使用这个新的多标记器就可以大大提高解析的准确性。然后,我将展示如何将解析文献中基于transformer的模型与基于语法的CCG解析器相结合,为CCGbank解析任务设置一个新的最先进的水平,标记依赖项的F分数几乎为93%,完整的句子准确率超过50%。
2021-09-28 cs.CL
Fast Context-Free Grammar Parsing Requires Fast Boolean Matrix Multiplication
1975年,Valiant证明布尔矩阵乘法可以用于解析上下文无关文法(CFG),产生了已知的最快(尽管不实用)的CFG解析算法。我们证明了一个对偶结果:任何具有时间复杂度$O(g n^{3 - \epsilson})$的CFG解析器(其中$g$是语法的大小,$n$是输入串的长度)都可以被有效地转换成在时间上乘以$m \times m$布尔矩阵的算法$O(m^{3 - ε/3})$。鉴于实际的,基本上是次立方布尔矩阵乘法算法已经很难找到,因此,我们解释了为什么一直没有什么进展,在开发实用的,基本上是次立方一般的CFG解析器。在证明这一结果,我们还开发了一个形式化的概念解析。
2001-12-15 cs.CL cs.DS
Parsing with the Shortest Derivation
普遍的看法是,随机语法偏向于句子的较短派生是有害的,应该得到纠正。我们发现,共同的智慧是错误的随机文法,使用基本树,而不是上下文无关的规则,如随机树替代文法使用面向数据的解析模型。对于这样的语法的非概率度量的基础上最短的推导优于概率度量的ATIS和OVIS语料库,而它获得了非常有竞争力的结果在华尔街日报语料库。本文还包含了第一次发表的实验与DOP的华尔街日报。
2000-09-27 cs.CL
Efficient Normal-Form Parsing for Combinatory Categorial Grammar
在具有强大规则(如组合)的范畴语法下,一个简单的n字句子可以有指数级的解析。生成所有解析是低效的,并且模糊了输入中真正的语义歧义。本文通过一种高效、正确、易于实现的范式分析技术,解决了组合范畴语法的一般形式问题。解析器被证明是在每个语义等价类的允许解析中找到一个解析,也就是说,虚假的歧义(仔细定义)被证明是安全和完全消除。
1996-06-02 cmp-lg cs.CL
SYNTAGMA. A Linguistic Approach to Parsing
SYNTAGMA是一个基于规则的句法分析系统,分为两个层次:通用的句法分析引擎和特定语言的语法。解析引擎是一个独立于语言的程序,而语法和语言特定的规则和资源是作为文本文件给出的,包括一个组成结构列表和一个词汇数据库与词义相关的功能和约束。由于其理论背景主要是Tesniere的语法元素,语法强调论元结构(配价)在约束满足中的作用,并允许水平边界,例如处理协调。Pro、迹、空语类等概念源于生成语法,一些解决方案虽然是自主研究的结果,但与管辖约束理论接近。这些属性允许SYNTAGMA管理复杂的语法配置和分析工程中众所周知的弱点。一个重要的资源是语义网络,它用于消歧任务。解析过程遵循自下而上的规则驱动策略。它的行为是可以控制和微调的。
2016-01-21 cs.CL
GP: Context-free Grammar Pre-training for Text-to-SQL Parsers
OneConnect Financial Technology Big Data Lab(平安金融科技大数据实验室)
提出了一种新的文本到SQL分析方法-语法预训练(GP),以解码问题和数据库之间的深层关系。首先,为了更好地利用数据库中的信息,在被识别为一列的问题词后面添加一个随机值,并将新句子作为模型输入。其次,在参考原编码的基础上,对解码器部分的向量初始化进行了优化,使其能够关注问题信息。最后,采用一种新的方法,称为洪水水平,以获得非零的训练损失,可以推广更好的结果。通过使用GRAPPA和RAT-SQL模型对句子进行编码,我们在跨DB Text-to-SQL数据集spider上实现了更好的性能(72.8 dev,69.8 test)。实验表明,该方法在训练过程中易于收敛,具有良好的鲁棒性。
2021-04-16 cs.CL
Parsing Linear Context-Free Rewriting Systems with Fast Matrix Multiplication
University of Edinburgh(爱丁堡大学);University of Rochester(罗切斯特大学)
我们描述了一个矩阵乘法识别算法的一个子集的二进制线性上下文无关重写系统(LCFRS)与运行时间$O(n^{ωd})$其中$M(m) = O(m^ω)$是运行时间为$m \times m$矩阵乘法和$d$是“接触秩”的LCFRS -最大数量的组合和非组合点出现在语法规则。我们还表明,该算法可以作为一个子程序,得到一个识别算法的一般二进制LCFRS与运行时间$O(n^{ωd + 1})$。目前最著名的$ω$小于$2.38$。我们的结果提供了另一个证明的最有名的结果,分析温和的上下文敏感的形式主义,如组合范畴文法,头文法,线性索引文法,和树邻接文法,这可以在时间$O(n^{4.76})$。它还表明,反转转换语法可以在时间$O(n^{5.76})$中解析。此外,二进制LCFRS包含许多其他形式主义和类型的语法,其中一些我们还提高了解析的渐近复杂性。
2016-03-08 cs.CL cs.FL
Formalization and Parsing of Typed Unification-Based ID/LP Grammars
本文定义了基于类型化特征结构的统一ID/LP文法作为非终结符,并提出了Earley算法的一个变体,以确定给定的输入句子是否是由特定类型的统一ID/LP文法生成的语言的成员。在算法中加入了Seiffert(1991)中讨论的统一ID/LP文法中非局部信息流问题的解决方案。与此同时,它试图通过HPSG方法对语言学(Hinrichs和Nakasawa 1994,Richter和Sailer 1995)产生的问题的一个例子,将这一技术工作与语言学联系起来,并通过将这种方法与实现HPSG的系统,特别是TROLL系统,与计算语言学联系起来。
1995-02-14 cmp-lg cs.CL
Parsing with Typed Feature Structures
在本文中,我们提供了语法分析表示在一个一般的TFS-based的形式主义,限制ALE。我们的动机是设计一个抽象的(WAM类)机器的形式主义,我们认为解析作为一个计算过程,并使用它作为一个操作语义来指导设计的控制结构的抽象机器。我们强调抽象类型化特征结构(AFS)的概念,编码TFSs的基本信息,并定义统一的AFS,而不是TFSs。然后,我们引入了一个明确的多根特征结构(MRS),自然扩展TFSs和使用它们来表示短语符号以及语法规则。我们还采用了MRS的抽象,并给出了操纵它们所需的数学基础。我们正式定义的语法和它们生成的语言,然后描述一个模型的计算,对应于自底向上的图表解析:语法写在基于TFS-based形式主义的解析器执行。我们证明了计算是正确的独立的定义。最后,我们讨论了计算终止的文法类,并证明了离线可解析文法的终止是可以保证的。
1996-01-31 cmp-lg cs.CL