Are Pre-trained Language Models Aware of Phrases? Simple but Strong Baselines for Grammar Induction
Seoul National University（首尔国立大学）；University of Chicago（芝加哥大学）
随着预训练语言模型（LM）在自然语言处理中的成功和流行，人们越来越多地努力了解其内部工作原理。在这样的兴趣，我们提出了一种新的方法，帮助我们在何种程度上预先训练的LM捕获的句法概念的选区调查。我们的方法提供了一种有效的方法提取选区树从预先训练的LM没有训练。此外，我们在诱导树中报告了有趣的发现，包括预先训练的LM在正确划分句子中的副词短语方面优于其他方法。
2020-01-30 cs.AI cs.CL cs.LG
How Well Do Large Language Models Understand Syntax? An Evaluation by Asking Natural Language Questions
Soochow University（苏州大学）；Huawei Cloud（华为云）
本研究通过自然语言问答评估24个LLMs对九类句法知识点的理解，发现多数模型句法掌握有限，介词短语附着最难，且句法知识主要在训练初期习得。
2023-11-14 cs.CL
Organization and Independence or Interdependence? Study of the Neurophysiological Dynamics of Syntactic and Semantic Processing
Institut des sciences cognitives-Marc Jeannerod CNRS/University of Lyon（马克·让纳罗德认知科学研究所（法国国家科学研究中心/里昂大学））；CAMS EHESS-CNRS（高等社会科学研究院-法国国家科学研究中心认知人类学研究所）；Rutgers, The State University of New Jersey（罗格斯大学新泽西州立大学）
在这篇文章中，我们提出了一个多变量模型来确定不同的句法，语义和形式（表面结构）的过程中的理解简单的短语。该模型适用于在阅读任务期间记录的EEG信号。结果表明，神经语言过程的层次优先顺序：形式，然后是句法，最后是语义过程。我们还发现：（a）动词是短语句法加工的核心，（b）短语内部的句法运动与以人为中心的参照系所产生的语义加工之间的相互作用。多变量模型的特征向量提供了分离独特的语言过程和/或突出它们的相互作用的电极时间曲线。这些发现与不同的语言学理论的一致性进行了讨论。
2018-04-16 cs.CL
Contextually Structured Token Dependency Encoding for Large Language Models
本文提出一种依赖感知的标记编码方法，通过依赖加权注意力显式嵌入句法和语义关系，以提升大型语言模型的上下文连贯性和层次一致性，实验显示困惑度降低且无需外部标注。
2025-03-26 cs.CL
More Aligned, Less Diverse? Analyzing the Grammar and Lexicon of Two Generations of LLMs
Universidade da Coruña, CITIC（科鲁纳大学，CITIC）；Independent Researcher（独立研究者）；Palacký University, Olomouc（帕拉茨基大学，奥洛穆克）
研究比较两代LLM生成的新闻文本与人类写作的语法特性，发现新模型在语法和词汇多样性上有所下降。
2026-05-07 cs.CL
Improving cross-lingual model transfer by chunking
IIT Kharagpur（印度理工学院卡哈拉格普尔分校）；Dept. of Computer Science and Engg.（计算机科学与工程系）
为了更有效地处理源语言和目标语言之间的句法差异，我们提出了一种浅层解析器引导的跨语言模型迁移方法。在这项工作中，我们假设一个句子中的块或短语作为转移单位，以解决由于单词在短语中的顺序和短语在句子中的顺序的差异而产生的源语言和目标语言之间的句法差异。
2020-02-27 cs.CL
Petrarch 2 : Petrarcher
PETRIBUT2是由Phillip Schrodt研究的一系列事件数据编码器的第四代。每一次迭代都带来了新的功能和可用性，这也不例外。Petrarch 2吸收了原始Petrarch字典的大部分功能，并将其重定向到更快、更智能的核心逻辑中。早期的迭代主要将句子处理为单词列表，在这里和那里合并一些语法信息。彼特拉克2现在完全在句法层面上看待这个句子。它从Stanford CoreNLP软件接收句子的语法分析，并将此数据存储为链接节点的树结构，其中每个节点都是一个Phrase对象。介词、名词和动词短语都有自己的Phrase类版本，Phrase类处理这些类型的短语特有的逻辑。由于这是一个事件编码器，逻辑的核心围绕着动词：谁在行动，谁在被行动，以及发生了什么。这种新结构及其逻辑背后的理论是建立在生成语法，信息论，和lambda演算语义学。
2016-02-23 cs.CL
Analysis and Visualization of Linguistic Structures in Large Language Models: Neural Representations of Verb-Particle Constructions in BERT
University Erlangen-Nuremberg（埃尔朗根-纽伦堡大学）；University Hospital Erlangen（埃尔朗根大学医院）
本研究基于BERT架构，利用MDS和GDV技术分析不同网络层对动词-小品词构式的表示效能，发现中间层最有效捕获句法结构，揭示了网络架构与语言表示间的复杂关系。
2024-12-19 cs.AI cs.CL
Chunk Tagger - Statistical Recognition of Noun Phrases
我们描述了一个随机的方法，部分解析，即，对有限深度的句法结构的识别。该技术利用马尔可夫模型，但超越了通常的括号法，因为它不仅能够识别边界，而且能够识别简单和复杂NP，PP，AP和状语的内部结构和句法类别。我们比较不同的应用程序和编码方案的标记精度。
1998-07-17 cmp-lg cs.CL
Exploring Italian sentence embeddings properties through multi-tasking
Idiap Research Institute（伊迪亚普研究所）；University of Geneva（日内瓦大学）
该研究在多任务设置下探究现有大型语言模型对意大利语句向量中抽象语言信息的编码程度，利用意大利语黑鸟语言矩阵合成数据，通过两级架构分析句法语义编码特性，发现不同任务线索编码方式存在差异。
2024-11-29 cs.CL
A Linguistically Motivated Analysis of Intonational Phrasing in Text-to-Speech Systems: Revealing Gaps in Syntactic Sensitivity
Institute for Logic, Language and Computation, University of Amsterdam（逻辑、语言与计算研究所，阿姆斯特丹大学）；Cognitive Science and Artificial Intelligence, Tilburg University（认知科学与人工智能，蒂尔堡大学）
本研究通过心理语言学方法分析TTS系统的句法敏感性，发现其在处理歧义句法边界时依赖表层线索，微调后可改善语调模式以反映底层结构。
2025-10-15 cs.CL
Text Windows and Phrases Differing by Discipline, Location in Document, and Syntactic Structure
窗口样式、内容、位置和语法结构的知识可用于将文档分类为源自特定学科，或者可用于将文档置于理论与实践谱上。这种区别也在这里使用类型标记比率来区分子语言。基于标题、摘要、引文和章节标题中术语的存在以及二进制独立（BI）和逆文档频率（IDF）权重，计算窗口的统计显著性。窗口的特点进行了研究，通过检查他们的窗口内密度（WWD）和S浓度（SC），集中的各种文件领域（如标题，摘要）的全文。从文档全文开始到结束的窗口出现率在学术领域之间是不同的。不同的句法结构的子语言进行检查，他们的使用被认为是区分特定的学科，更一般地说，理论与实践或知识与应用导向的文件。
1996-02-18 cmp-lg cs.CL
Hierarchical Frequency Tagging Probe (HFTP): A Unified Approach to Investigate Syntactic Structure Representations in Large Language Models and the Human Brain
Peking University（北京大学）；Zhejiang University（浙江大学）；Beijing Language and Culture University（北京语言大学）；Beijing Institute for General Artificial Intelligence（北京通用人工智能研究院）
提出分层频率标记探针（HFTP），通过频域分析识别LLM和大脑中编码句法结构的组件，发现LLM与左脑表征对齐，且模型升级对大脑相似性影响不一，为可解释性提供新视角。
2025-10-15 cs.CL cs.NE
Confusion2Vec: Towards Enriching Vector Space Word Representations with Representational Ambiguities
University of Southern California（南加州大学）
词向量表示是自然语言处理和人机交互的重要组成部分。在本文中，我们提出了一种新的词向量表示，混淆2 Vec，从人类的语音生产和感知编码的代表性歧义的动机。人类采用声学相似性线索和上下文线索来解码信息，我们专注于一个模型，将这两个信息源。声学的表征模糊性，表现在单词混淆中，通常由人类和机器通过上下文线索来解决。一系列的代表性的模糊性可以出现在各个领域进一步的声学感知，如形态变换，释义的自然语言处理任务，如机器翻译等。在这项工作中，我们提出了一个案例研究中的应用程序自动语音识别（ASR），其中的单词混淆与声学相似性。我们提出了几种技术来训练声学感知相似性表示歧义。我们称之为Confusion 2 Vec，并从ASR混淆网络或类格子结构中学习无监督生成的数据。适当的评价Confusion 2 Vec制定测量声学相似性，除了语义-句法和单词相似性评价。Confusion 2 Vec能够有效地对单词混淆进行建模，而不会影响语义-句法单词关系，从而有效地丰富了单词向量空间与额外任务相关的歧义信息。我们提供了一个直观的探索的2维Confusion 2 Vec空间使用主成分分析的嵌入和语义，句法和声学关系。通过与ASR错误校正相关的小示例，证明了Confusion 2 Vec在利用晶格中存在的不确定性方面的潜力。
2019-03-28 cs.CL
Learning Phrase Embeddings from Paraphrases with GRUs
Rensselaer Polytechnic Institute（伦斯勒理工学院）
学习短语表示已经在许多自然语言处理（NLP）任务（例如，情感分析，机器翻译），并已显示出有前途的改进。以前的研究要么学习非组合短语表示与一般的词嵌入学习技术或学习组合短语表示的基础上的句法结构，这要么需要大量的人类注释或不能很容易地推广到所有的短语。在这项工作中，我们建议利用大规模的释义数据库，并提出了一个成对门控递归单元（pairwise-GRU）的框架来生成组合短语表示。我们的框架可以重复使用，以生成任何短语的表示。实验结果表明，我们的框架在几个短语相似性任务上取得了最先进的结果。
2017-10-13 cs.CL
From Balustrades to Pierre Vinken: Looking for Syntax in Transformer Self-Attentions
Charles University（查理大学）；Faculty of Mathematics and Physics（数学与物理学院）；Institute of Formal and Applied Linguistics（形式与应用语言学研究所）
我们检查了三种源语言的Transformer NMT编码器中的多头自注意，寻找可能具有语法解释的模式。在许多注意中心语中，我们经常发现关注同一位置的连续状态序列，这类似于句法短语。我们提出了一个透明的确定性的方法，量化的句法信息量存在于自我注意力，基于自动构建和评估短语结构树的短语序列。我们将得到的树与现有的选区树库进行比较，手动和计算精度和召回。
2019-06-05 cs.CL cs.LG
DPH Parser: A Bottom-Up Grammar-Driven Parser for Joint Constituency and Dependency Analysis
本文提出DPH解析器，一种基于语法的自底向上无监督解析框架，通过特征规则和中心语标注联合生成成分与依存结构，在UD语料上验证了透明解析的可行性。
2026-09-09 cs.CL
Syntactically Guided Neural Machine Translation
University of Cambridge（剑桥大学）；SDL Research（SDL研究院）
我们研究了基于层次短语的SMT格在端到端神经机器翻译（NMT）中的使用。权重推送将完整翻译假设的Hiero分数与完整翻译语法分数和完整n元语言模型分数一起转换为与NMT预测概率兼容的后验。通过稍微修改的NMT波束搜索解码器，我们发现Hiero和NMT解码单独的增益，在将NMT扩展到非常大的输入和输出词汇方面具有实际优势。
2016-05-19 cs.CL
minicons: Enabling Flexible Behavioral and Representational Analyses of Transformer Language Models
Purdue University（普渡大学）
我们提出了minicons，一个开源的库，提供了一个标准的API的研究人员有兴趣进行行为和代表性的分析基于transformer的语言模型（LM）。具体来说，minicons使研究人员能够在两个层面上应用分析方法：（1）在预测层面上-通过提供有效提取单词/句子级别概率的功能;以及（2）在表征层面上-通过促进从一个或多个层中有效提取单词/短语级别向量。在本文中，我们描述了库，并将其应用到两个激励案例研究：一个侧重于学习动态的BERT架构相对语法判断，和其他基准23个不同的LM上zero-shot溯因推理。minicons可在https://github.com/kanishkamisra/minicons上获得
2022-03-24 cs.CL
Fast Statistical Parsing of Noun Phrases for Document Indexing
信息检索（IR）是自然语言处理（NLP）的一个重要应用领域，人们遇到了处理大量无限制自然语言文本的真正挑战。虽然已经做出了很大的努力，将NLP技术应用于IR，但很少有NLP技术在大于几兆字节的文档集合上进行评估。许多NLP技术在处理大量文本时效率不够高，也不够健壮。本文提出了一种新的概率模型的名词短语分析，并报告了这样的分析技术，以提高文档索引的应用。使用语法分析器提供的短语，以补充单个单词的索引的有效性进行评估与250兆字节的文档集合。实验结果表明，在单个词的基础上增加句法短语进行索引，可以显著提高检索性能。
1997-02-12 cmp-lg cs.CL
Large Language Models are not Models of Natural Language: they are Corpus Models
University of Bergen（卑尔根大学）
自然语言处理（NLP）已成为当前人工智能热潮中的主要应用领域之一。迁移学习使在语言建模任务上训练的大型深度学习神经网络能够极大地提高几乎所有下游语言任务的性能。有趣的是，当语言模型用包含软件代码的数据进行训练时，它们在从自然语言规范生成功能计算机代码方面表现出非凡的能力。我们认为，这创造了一个难题的索赔，消除神经模型是一个激进的重组，在我们的认知理解，因为他们消除了符号抽象的需要，如生成短语结构语法。由于程序设计语言的语法是由短语结构语法设计确定的，因此产生语法代码的神经模型显然无法提供程序设计语言的理论基础。神经模型在涉及明显符号系统的任务上表现良好的证明，证明它们不能被用作语言和其他认知系统不是符号的论点。最后，作为推论，我们认为术语语言模型是误导性的，并建议采用工作术语语料库模型，它更好地反映了模型的起源和内容。
2022-06-15 cs.CL cs.LG
Representation of Constituents in Neural Language Models: Coordination Phrase as a Case Study
Université de Paris（巴黎大学）；CNRS（法国国家科学研究中心）；MIT（麻省理工学院）；Harvard University（哈佛大学）
神经语言模型已经在许多NLP任务上取得了最先进的性能，最近已经被证明可以学习单个单词之间的许多层次敏感的句法依赖关系。然而，对于语言处理来说，同样重要的是将单词组合成短语成分的能力，以及使用成分级特征来驱动下游期望的能力。在这里，我们研究神经模型的能力，代表成分水平的功能，使用协调名词短语作为案例研究。我们评估在英语和法语上训练的不同神经语言模型是否代表短语级别的数字和性别特征，并使用这些特征来驱动下游期望。我们的研究结果表明，模型使用NP成分数的线性组合来驱动CoordNP/动词数协议。这种行为是高度规则的，甚至对局部句法上下文敏感，但它与观察到的人类行为有很大的不同。模型在性别协议方面的成功率较低。在大型语料库上训练的模型表现最好，使用显式语法监督训练的模型没有明显的优势。
2019-09-10 cs.AI cs.CL cs.LG
Magical Number Seven Plus or Minus Two: Syntactic Structure Recognition in Japanese and English Sentences
George A.米勒说，人类在短期记忆中只有七块，正负两块。我们计算了在日语句子依存结构分析的每一步中，其修饰语不确定的bunsetsus（短语）的数量，因此必须存储在短期记忆中。这个数字大约小于9，也就是7加2的上限。我们也得到了类似的结果与英语句子的假设下，人类认识到一系列的话，如名词短语（NP），作为一个单位。这表明，如果我们假设人类在日语和英语中的认知单位分别是文色和NP，分析将支持米勒的$7 \pm 2$理论。
2001-03-12 cs.CL
A survey on phrase structure learning methods for text classification
文本分类是将文本自动分类到预定义的类别之一的任务。文本分类问题在自然语言处理、数据采掘和信息检索等领域得到了广泛的研究。文本分类是许多信息管理任务的重要组成部分，如主题识别，垃圾邮件过滤，电子邮件路由，语言识别，体裁分类，可读性评估等。当使用短语模式时，文本分类的性能显着提高。短语模式的使用有助于捕获非本地行为，从而有助于改进文本分类任务。短语结构提取是短语模式识别的第一步。本文对短语结构学习方法进行了详细的研究。这将使未来的工作在几个NLP任务，它使用语法检查，问答，信息抽取，机器翻译，文本分类等短语结构的语法信息。本文还对短语结构学习方法进行了不同层次的分类和详细的比较。
2014-06-21 cs.CL
Using Priming to Uncover the Organization of Syntactic Representations in Neural Language Models
Johns Hopkins University（约翰斯·霍普金斯大学）；Cornell University（康奈尔大学）
神经语言模型（LM）在需要对句法结构敏感的任务上表现良好。借鉴心理语言学的句法启动范式，我们提出了一种新的技术来分析表征，使这种成功。通过建立结构之间的梯度相似性度量，该技术允许我们重建LM的句法表征空间的组织。我们使用这种技术来证明LSTM LM对不同类型的带有关系从句的句子的表示是以语言可解释的方式分层组织的，这表明LM跟踪句子的抽象属性。
2019-09-23 cs.CL
The optimal placement of the head in the noun phrase. The case of demonstrative, numeral, adjective and noun
Quantitative, Mathematical and Computational Linguistics Research Group, Departament de Ciències de la Computació, Universitat Politècnica de Catalunya (UPC), Barcelona, Spain（数量、数学和计算语言学研究组，计算机科学系，巴塞罗那理工大学（UPC））
本研究探讨了单中心词结构中句法依存距离最小化与惊异度最小化原则的冲突，通过分析多种语言中名词短语的优势语序，证实了名词倾向置于短语末端的理论预测，并发现了反局部效应。
2024-10-15 cs.CL physics.soc-ph
Paracompositionality, MWEs and Argument Substitution
Middle East Technical University（中东技术大学）
多词表达、动词-小品词结构、惯用语组合短语和惯用语有一个共同点：并非所有的成分都对表达所暗示的谓语的论元结构有贡献。根本词汇化的语法理论避免了字符串、词项、逻辑形式和树的书写，而范畴语法避免了包装操作，它们对动词小品词和短语习语中涉及的范畴做出了预测。它们可能需要单例类型，单例类型只能替代一个值，而不仅仅是一种值。这些类型是不对称的：它们只能是参数。它们还严格限制了可以对应于这些句法类别的语义值的种类。习惯用法组合短语不对单例类型进行子分类，它们利用了对应关系的另一个局部可计算和组合属性，即每个句法表达式都可以投射其中心词。这样的MWE可以被看作是经验实现的范畴可能性，而不是词汇化句法范畴理论中的空白。
2018-05-22 cs.CL
Latent Topology Induction for Understanding Contextualized Representations
Institute for Language, Cognition and Computation（语言、认知与计算研究所）；University of Edinburgh（爱丁堡大学）
在这项工作中，我们研究了上下文嵌入的表示空间，并深入了解大语言模型的隐藏拓扑。我们发现，存在一个网络的潜在状态，总结语境化表示的语言特性。我们没有寻求与现有定义良好的注释的对齐，而是使用结构化的变分自编码器以完全无监督的方式推断这个潜在网络。诱导状态不仅作为表征流形拓扑结构（邻居和连通性）的锚点，而且还揭示了句子编码的内在机制。利用诱导网络，我们：（1）.将表示空间分解为一系列潜在状态，这些潜在状态利用词汇、形态、句法和语义信息对细粒度的词义进行编码;（2）.显示状态-状态转换编码丰富的短语结构，并作为潜在空间的骨干。把这两个放在一起，我们表明，句子表示为一个遍历的潜在网络中的状态-状态转换链编码的语法模板和状态字排放填写的内容。我们通过大量的实验和可视化来证明这些见解。
2022-06-03 cs.AI cs.CL cs.LG
Enhancing Relation Extraction Using Syntactic Indicators and Sentential Contexts
Shanghai University（上海大学）
用于关系抽取的最新方法通过对整个句子建模来考虑语义上下文。然而，句法指示符，某些短语或单词，如介词，比其他单词更具信息性，可能有利于识别语义关系。其他使用固定文本触发器的方法捕获此类信息，但忽略词汇多样性。为了同时利用句法指示符和语义上下文，我们提出了一种基于指示符的关系抽取方法。首先，在句法知识的指导下提取句法指示词。然后，我们构建了一个神经网络，将句法指标和整个句子更好的关系表示。通过这种方式，所提出的模型消除了噪声信息的影响，从整个句子，并打破了文本触发器的限制。在SemEval-2010 Task 8基准数据集上的实验表明，我们的模型明显优于最先进的方法。
2019-12-04 cs.CL
Tree-to-Sequence Attentional Neural Machine Translation
The University of Tokyo（东京大学）
现有的神经机器翻译（NMT）模型大多集中于顺序数据的转换，并不直接使用句法信息。我们提出了一种新的端到端句法NMT模型，扩展了序列到序列模型与源端短语结构。我们的模型有一个注意力机制，使解码器能够生成一个翻译的单词，同时柔和地将其与短语以及源句子的单词对齐。WAT'15英语到日语数据集上的实验结果表明，我们提出的模型大大优于序列到序列的注意力NMT模型，并与最先进的树到字符串SMT系统相媲美。
2016-06-08 cs.CL
Derivational Probing: Unveiling the Layer-wise Derivation of Syntactic Structures in Neural Language Models
The University of Tokyo（东京大学）；RIKEN（日本研究机构）
本文提出 Derivational Probing 方法，探究神经语言模型中微句法与宏句法结构随词嵌入跨层传播的逐层派生过程，发现微句法在低层形成并在高层整合为宏句法，且其构建时机对下游性能至关重要。
2025-06-27 cs.CL
Trainable Methods for Surface Natural Language Generation
我们提出了三个系统的表面自然语言生成，是从注释语料库训练。前两个系统，称为NLG1和NLG2，需要一个语料库标记只有特定领域的语义属性，而最后一个系统，称为NLG3，需要一个语料库标记的语义属性和句法依赖信息。所有的系统都试图从特定于领域的语义表示中产生合乎语法的自然语言短语。NLG 1服务于基线系统，并使用短语频率在一个步骤中生成整个短语，而NLG 2和NLG 3使用最大熵概率模型单独生成短语中的每个单词。系统NLG 2和NLG 3学习确定短语的单词选择和单词顺序。我们目前的实验中，我们生成的短语来描述在航空旅行领域的航班。
2000-06-13 cs.CL
Inducing Syntactic Trees from BERT Representations
Charles University（查理大学）；Faculty of Mathematics and Physics（数学与物理学院）；Institute of Formal and Applied Linguistics（形式与应用语言学研究所）
我们使用英语模型的BERT，并探讨如何删除一个词在句子中的变化表示的其他单词。我们的假设是，删除一个可简化的词（如形容词）不会影响其他词的表示，因为删除了主要动词，这使得句子不合语法，并为语言模型“高惊喜”。我们估计约简的单个单词和较长的连续短语（字n元），研究它们的语法相关的属性，然后也用它们来诱导完整的依赖树。
2019-06-27 cs.CL
Predicting Target Language CCG Supertags Improves Neural Machine Translation
University of Edinburgh（爱丁堡大学）；Adam Mickiewicz University（亚当·密茨凯维奇大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
神经机器翻译（NMT）模型能够从连续的词汇信息中部分地学习句法信息。然而，一些复杂的句法现象，如介词短语附加，模型很差。本文的工作旨在回答两个问题：1）显式地对目标语言语法建模是否有助于NMT？2)单词和语法的紧密结合比多任务训练更好吗？我们在解码器中以CCG超标签的形式引入句法信息，通过将目标超标签与单词序列交织。我们的研究结果表明，明确建模目标语法提高机器翻译质量德语->英语，高资源对，罗马尼亚语->英语，低资源对，也有几个句法现象，包括介词短语附件。此外，单词和语法的紧密耦合比多任务训练更能提高翻译质量。通过将目标语法与在嵌入层中添加源端依赖标签相结合，我们获得了德语->英语的0.9 BLEU和罗马尼亚语->英语的1.2 BLEU的总改进。
2017-07-18 cs.CL
Head-Driven Phrase Structure Grammar Parsing on Penn Treebank
Shanghai Jiao Tong University（上海交通大学）
中心语驱动短语结构语法（HPSG）具有统一的形式主义，代表了丰富的上下文句法甚至语义。本文首次尝试通过将成分和依存形式表征整合到中心语驱动短语结构中来构建一个简化的HPSG。然后分别对两种转换后的树表示--分割生成树和联合生成树提出了两种解析算法。由于HPSG编码组成和依赖结构信息，所提出的HPSG解析器可以被认为是一种用于两种类型的结构的联合解码器，并且因此根据提取或转换的组成和依存句法分析树来评估。我们的分析器实现了新的国家的最先进的性能，在宾夕法尼亚树库（PTB）和中文宾夕法尼亚树库的分析任务，验证了联合学习成分和依赖结构的有效性。在PTB上，成分句法分析的F1为96.33，依存句法分析的UAS为97.20。
2020-05-05 cs.CL
Vocabulary embeddings organize linguistic structure early in language model training
University of British Columbia（不列颠哥伦比亚大学）；Harvard University（哈佛大学）
本研究通过表征相似性分析，发现语言模型训练早期词汇嵌入几何结构快速收敛于语义和句法特征，高频和功能词收敛更快，揭示了词汇组织动态及其对能力提升的启示。
2025-10-08 cs.AI cs.CL
Head-driven Phrase Structure Parsing in O($n^3$) Time Complexity
Shanghai Jiao Tong University（上海交通大学）
成分句法分析和依存句法分析是句法分析的两种经典形式，在中心语驱动短语结构语法（Head-driven Phrase Structure Grammar，HPSG）的统一形式化框架下，联合训练和解码对这两种句法分析都有好处。然而，由于在解码期间必须考虑更多的因素，因此解码该统一语法具有比单独解码任一形式（$O(n^3)$）更高的时间复杂度（$O(n^5)$）。因此，我们提出了一个改进的头部评分器，有助于实现一个新的性能保持解析器在$O$（$n^3$）时间复杂度。此外，在此基础上提出了实用的HPSG解析器，我们调查了基于HPSG的解析的优势，并探讨了在多语言场景中仅从成分或依赖注释训练基于HPSG的解析器的一般方法。因此，我们提出了一个更有效的，更深入的，和一般的工作HPSG解析。
2021-05-20 cs.CL
Augmenting Part-of-speech Tagging with Syntactic Information for Vietnamese and Chinese
在越南语自然语言处理中，分词和词性标注是下游任务的两个关键的前期工作。实际上，人们在进行分词和词性标注时往往也会考虑短语边界，而不是仅仅从左到右逐词处理。在本文中，我们实现了这一想法，以提高分词和词性标注越南语采用简化的选区分析器。我们的联合分词和词性标注的神经模型具有基于音节的CRF选区解析器的架构。为了降低解析的复杂性，我们用一个表示短语的标签替换所有的组成标签。该模型可以通过其他工具使用预测的词边界和词性标记来增强。由于越南语和汉语有一些相似的语言现象，我们在三个越南基准数据集和六个汉语基准数据集上评估了所提出的模型及其增强版本。我们的实验结果表明，该模型实现了更高的性能比以前的作品为两种语言。
2021-06-16 cs.CL
How LSTM Encodes Syntax: Exploring Context Vectors and Semi-Quantization on Natural Text
Tokyo University of Technology（东京工业大学）；Denso IT Laboratory（电装信息技术实验室）；The Institute of Statistical Mathematics（统计数学研究所）
长短期记忆递归神经网络（LSTM）被广泛使用，并且已知用于捕获信息性的长期句法依赖关系。然而，这些信息是如何反映在其内部向量的自然文本尚未得到充分的研究。我们通过学习一个语言模型来分析它们，其中语法结构是隐式给出的。我们根据经验表明，上下文更新向量，即内部门的输出，近似量化为二进制或三进制值，以帮助语言模型准确计算嵌套的深度，正如Suzgun等人（2019）最近为合成Dyck语言所展示的那样。对于上下文向量中的某些维度，我们发现它们的激活与短语结构的深度高度相关，如VP和NP。此外，通过$L_1$正则化，我们还发现它可以从上下文向量的少量分量准确地预测单词是否在短语结构中。即使是从原始文本中学习的情况下，上下文向量仍然与短语结构相关。最后，我们证明了功能词和触发短语的部分语音的自然集群表示在LSTM的上下文更新向量的一个小但主要的子空间中。
2020-10-01 cs.CL
Controlled Evaluation of Syntactic Knowledge in Multilingual Language Models
MIT（麻省理工学院）
该研究针对三种低资源语言开发句法评估测试，评估五款多语言Transformer语言模型的句法泛化能力，揭示了不同任务的难度差异及部分公开模型的性能问题。
2024-12-12 cs.CL
"The Sum of Its Parts": Joint Learning of Word and Phrase Representations with Autoencoders
Idiap Research Institute（Idiap研究所）；École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院（EPFL））；Facebook AI Research（Facebook人工智能研究院）
最近，人们在连续向量空间中表示单词方面做了很多努力。这些表征已被证明可以捕获有关单词的语义和句法信息。然而，短语的分布式表示仍然是一个挑战。我们介绍了一种新的模型，共同学习词向量表示及其总和。使用词共现统计信息来学习词表示。为了将具有不同大小的单词（即短语）序列嵌入到一个共同的语义空间中，我们建议对单词向量表示进行平均。与以前的方法，报告了后验的一些组成方面的简单的求和，我们同时训练字求和，同时保持最大的信息从原始向量。我们评估质量的词表示几个经典的词评价任务，我们引入了一个新的任务来评估质量的短语表示。虽然我们的分布式表示与其他方法的学习单词表示字评价竞争，我们表明，他们提供更好的性能的短语评价。这样的短语表示对于自然语言处理中的许多任务可能是有趣的。
2015-06-18 cs.CL
Generating Diverse Negations from Affirmative Sentences
University College London（伦敦大学学院）；Legal & General（法通集团）
针对现有基准中否定数据不足且形式单一的问题，提出NegVerse方法，从句法掩码的肯定句生成多类型否定句，经过滤后得到高质量多样样本，效果优于现有方法。
2024-10-30 cs.AI cs.CL
Neural Syntactic Preordering for Controlled Paraphrase Generation
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
对自然语言句子进行释义是一个多方面的过程：它可能涉及替换单个单词或短语，局部重新排列内容，或高层次的重组，如主题化或被动化。过去的方法很难以一种可解释的方式来覆盖这个释义可能性的空间。我们的工作受到机器翻译中的预排序文献的启发，使用句法转换来柔和地“重新排序”源句子并指导我们的神经释义模型。首先，给定一个输入句子，我们使用编码器-解码器模型推导出一组可行的句法重排。该模型在句子的部分词汇，部分句法视图上操作，并且可以重新排序大块。接下来，我们使用每个建议的重排来产生一个位置嵌入序列，这鼓励我们最终的编码器-解码器释义模型以特定的顺序处理源单词。我们的评估，自动和人类，表明该系统保留了基线方法的质量，同时大大增加了所生成的释义的多样性
2020-05-05 cs.CL
Linguistic Blind Spots of Large Language Models
University of Massachusetts Lowell（马萨诸塞大学洛厄尔分校）
本文实证研究大型语言模型在细粒度语言标注任务上的表现，发现其存在语言盲区，如Llama3-70b在识别从句和动词短语等结构时易出错，为改进LLM设计提供启示。
2025-03-25 cs.AI cs.CL cs.LG
Retrofitting Structure-aware Transformer Language Model for End Tasks
Wuhan University（武汉大学）；Guangdong University of Foreign Studies（广东外语外贸大学）
我们考虑改造结构感知的transformer为基础的语言模型，以促进最终任务，建议利用句法距离编码到语言模型的短语选区和依存关系连接。采用中间层结构化学习策略进行结构整合，在多任务学习模式下进行主要语义任务训练。实验结果表明，改进后的结构感知Transformer语言模型在提高复杂度的同时，能够准确地归纳出句法短语.通过执行结构感知的微调，我们的模型实现了语义和句法依赖的任务显着改善。
2020-09-16 cs.CL
PAD: Towards Efficient Data Generation for Transfer Learning Using Phrase Alignment
SK-telecom（SK电信）；School of Computing, KAIST（韩国科学技术院计算机学院）；The Division of Computer Convergence, Chugnam National University（忠南国立大学计算机融合系）
本研究提出利用短语对齐数据（PAD）提升迁移学习效率，通过实验证明其与韩语句法协同、弥补SMT弱点，并显著增强模型性能，为资源稀缺语言提供低成本方案。
2025-03-25 cs.CL
If Attention Serves as a Cognitive Model of Human Memory Retrieval, What is the Plausible Memory Representation?
The University of Tokyo（东京大学）；NINJAL；The University of Osaka（大阪大学）
本文研究以句法结构为表征单元的 Transformer Grammar 注意力机制能否作为人类记忆提取的认知模型，实验表明其预测自定步速阅读时间优于普通 Transformer，且两类模型贡献独立，说明人类句子加工依赖句法结构与词元序列双重记忆表征。
2025-06-01 cs.CL
Representing Syntax and Composition with Geometric Transformations
University of Sussex（萨塞克斯大学）
句法图（SyGs）作为一个词的上下文的开发已被证明是有益的分布式语义模型（DSM），无论是在单个单词表示的水平，并通过组合派生短语表示。然而，尽管潜在的性能优势，语法感知DSM提出的日期有大量的参数（相比传统的DSM），并遭受数据稀疏。此外，SyG链路的编码（即，句法关系）在很大程度上局限于线性映射。另一方面，知识图谱的文献已经提出了采用不同几何变换（GT）来编码知识图谱（KG）中的边的轻量模型。我们的工作探讨了采用这一系列模型编码SyG的可能性。此外，我们调查GT更好地编码句法关系，使这些表示可以用来提高短语水平的组成，通过句法语境化。
2021-06-03 cs.CL
Automated Phrase Mining from Massive Text Corpora
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Google Research（谷歌研究院）；Army Research Laboratory（陆军研究实验室）
短语挖掘是文本分析的基本任务之一，其目的是从文本语料库中提取高质量的短语。短语挖掘在诸如信息抽取/检索、分类构造和主题建模等各种任务中是重要的。大多数现有的方法依赖于复杂的，受过训练的语言分析器，因此可能在新领域和体裁的文本语料库上的性能不令人满意，而无需额外但昂贵的适应。近年来，一些数据驱动的方法已经被成功地开发出来，用于从大量特定领域的文本中提取短语。然而，没有一个最先进的模型是完全自动化的，因为它们需要人类专家来设计规则或标记短语。由于人们可以很容易地从公共知识库中获得许多高质量的短语，其规模远远大于人类专家所产生的规模，因此在本文中，我们提出了一种用于自动短语挖掘的新框架AutoPhrase，该框架以有效的方式利用了大量的高质量短语，并与有限的人类标记短语相比，实现了更好的性能。此外，我们开发了一个POS引导的短语分割模型，它结合了浅层句法信息的词性（POS）标签，以进一步提高性能，当一个POS标签可用。请注意，AutoPhrase可以支持任何语言，只要通用知识库（例如，Wikipedia），同时受益于但不需要POS标记器。与最先进的方法相比，新方法在不同领域和语言的五个真实数据集上的有效性有了显着提高。
2017-03-11 cs.CL
NLML--a Markup Language to Describe the Unlimited English Grammar
在本文中，我们提出了NLML（自然语言置标语言），一个置标语言来描述任何语法正确的英语表达的句法和语义结构。首先分析了相关工作，论证了NLML的必要性：形式简单，易于管理，直接存储。然后从句子（不同复杂度、语态、语气、时态）、从句（关系从句和名词从句）和短语（名词短语、动词短语、介词短语、形容词短语、副词短语和谓语短语）三个层次详细介绍了NLML对英语语法的描述。最后以两个典型的例子：NLOJM（Java中的自然语言对象模型）和NLDB（自然语言数据库）说明了NLML在自然语言处理中的应用领域。
2004-04-07 cs.AI cs.CL
Finite-State Approximation of Phrase-Structure Grammars
短语结构语法是自然语言重要的句法和语义方面的有效模型，但在实时语音识别中用作语言模型在计算上要求太高。因此，有限状态模型被使用，即使它们缺乏表达能力。为了调和这两种选择，我们设计了一个算法来计算上下文无关文法和上下文无关等价增广短语结构文法的有限状态近似。这个近似对于某些生成正则语言的上下文无关文法是精确的，包括所有左线性和右线性上下文无关文法。该算法已被用来建立有限域语音识别任务的有限状态语言模型。
1996-03-08 cmp-lg cs.CL
Representations of Syntax [MASK] Useful: Effects of Constituency and Dependency Structure in Recursive LSTMs
Johns Hopkins University（约翰斯·霍普金斯大学）
基于序列的神经网络对句法结构表现出显著的敏感性，但它们在句法任务上的表现仍然不如基于树的网络。这样的基于树的网络可以被提供有选区解析、依赖性解析或两者。我们评估这两个代表性的计划更有效地介绍了偏见的句法结构，提高性能的主谓一致预测任务。我们发现，一个基于成分的网络比一个基于依赖关系的网络更强大的概括，并结合这两种类型的结构不会产生进一步的改善。最后，我们表明，顺序模型的语法鲁棒性可以大大提高微调少量的构建数据，这表明数据增强是一个可行的替代显式选区结构给予顺序模型缺乏的语法偏见。
2020-04-30 cs.CL
SpaDeLeF: A Dataset for Hierarchical Classification of Lexical Functions for Collocations in Spanish
Instituto Politécnico Nacional (IPN)（墨西哥国立理工学院）；Centro de Investigación en Computación (CIC)（计算机研究中心）
本研究构建了西班牙语动词-名词搭配词汇功能层级分类数据集SpaDeLeF，含37类功能的树状层级结构，通过新闻依存分析匹配生成，提供基线与数据划分，填补相关标注数据缺口。
2023-11-07 cs.CL
A Formal Look at Dependency Grammars and Phrase-Structure Grammars, with Special Consideration of Word-Order Phenomena
词汇在意义语篇理论和其他依赖性语言学理论中的核心作用在基于上下文无关语法的语言学理论中是不可复制的。我们描述树邻接语法（TAG）作为一个系统，自然出现在词汇化的过程中的CFGs。因此，TAG语法可以直接与意义文本模型（MTM）进行比较。我们说明了这一点，通过讨论某些非投射结构的计算复杂性，并提出了一种方法，将局部的词序定义到表面的语法组件MTT。
1994-10-18 cmp-lg cs.CL
