Reframing linguistic bootstrapping as joint inference using visually-grounded grammar induction models
HEC Montréal（蒙特利尔高等商学院）；McGill University（麦吉尔大学）；Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）
该研究提出句法与语义自举均依赖联合学习策略，通过视觉锚定语法归纳模型验证同时学习二者时自举效应最强，为认知科学与AI的语言习得研究提供了新方向。
2024-06-17 cs.CL
Semantic Parsing: Syntactic assurance to target sentence using LSTM Encoder CFG-Decoder
University of Sao Paulo - USP（圣保罗大学）；Institute of Mathematics and Statistics - IME（数学与统计学院）
语义解析可以定义为将自然语言句子映射成其含义的机器可解释的形式化表示的过程。使用LSTM编码器-解码器神经网络的语义解析已经成为很有前途的方法。然而，自然语言的人工自动翻译并不为生成的句子提供语法性保证，这样的保证对于实际情况是特别重要的，在实际情况中，如果句子不符合语法，则数据库查询可能导致要害差错。在这项工作中，我们提出了一个神经架构称为编码器CFG解码器，其输出符合给定的上下文无关文法。结果表明，任何实现这种架构显示其正确性，并提供基准精度水平优于文献。
2018-07-18 cs.CL
Syn-QG: Syntactic and Shallow Semantic Rules for Question Generation
Amelia Science（阿米莉亚科学公司）；IPsoft（IPsoft公司）；Stanford University（斯坦福大学）
问题生成（QG）从根本上说是一个简单的句法转换;然而，语义的许多方面影响什么是好的形式。我们通过开发SynQG来实现这一观察，SynQG是一组利用普遍依赖关系、浅层语义解析、词汇资源和自定义规则的透明语法规则，这些规则将陈述句转换为问答对。我们利用PropBank参数描述和VerbNet状态谓词，将浅语义内容，这有助于生成问题的描述性，并产生推理和语义丰富的问题比现有的系统。为了提高句法流畅性和消除语法错误的问题，我们采用回译这些句法规则的输出。一组众包的评估表明，我们的系统可以生成比以前的QG系统更多的高度语法和相关的问题，并且回译大大提高了语法性，而生成无关问题的成本很小。
2022-11-28 cs.AI cs.CL
N-gram-Based Low-Dimensional Representation for Document Classification
Idiap Research Institute（Idiap研究所）；Ecole Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）；Facebook AI Research（Facebook人工智能研究院）
词袋（BOW）模型是对文档进行分类的常用方法，其中单词被用作训练分类器的特征。这通常涉及大量的特征。一些技术，如潜在语义分析（LSA）或潜在狄利克雷分配（LDA），已被设计为在较低的维度中以最少的语义信息损失来总结文档。然而，一些语义信息总是丢失，因为只考虑单词。相反，我们的目标是使用来自n-gram的信息来克服这一限制，同时保持在低维空间中。许多方法，如Skip-gram模型，可以非常快速地提供良好的词向量表示。我们建议平均这些表示，以获得表示的n-gram。所有的n-gram都被嵌入到同一个语义空间中。K-means聚类可以将它们分组为语义概念。因此，特征的数量大大减少，文档可以表示为一袋语义概念。我们表明，该模型优于LSA和LDA的情感分类任务，并产生类似的结果比传统的BOW模型少得多的功能。
2015-04-10 cs.CL
Memory limitations are hidden in grammar
Universidade da Coruña（拉科鲁尼亚大学）；Cornell University（康奈尔大学）；Aarhus University（奥胡斯大学）；Universitat Politècnica de Catalunya (UPC)（加泰罗尼亚理工大学）
产生和理解无限数量的不同句子的能力是人类语言的标志。语言学家试图使用形式语法来定义这种生成能力的本质，这些语法描述了成分之间的句法依赖关系，独立于人脑的计算限制。在这里，我们评估这个独立性假设采样句子均匀的空间可能的句法结构。我们发现，平均依存关系之间的距离句法相关的话，记忆限制的代理，是小于预期的机会，在一个国家的最先进的类依赖语法的集合。我们的研究结果表明，记忆的局限性已经渗透到语法描述，这表明它可能是不可能建立一个简约的理论，人类的语言生产力独立的非语言认知约束。
2022-04-05 cs.CL cs.DM
Complexity of Grammar Induction for Quantum Types
École Normale Supérieure（巴黎高等师范学院）
大多数范畴意义模型使用从句法范畴到语义范畴的函子。当语义信息是可用的，语法归纳的问题，因此可以被定义为寻找在这个健忘函子下的语义类型的原像，提升信息流从语义层面的有效减少在句法层面。我们研究了语法归纳的复杂性，并证明了对于各种类型系统，包括枢轴和紧闭范畴，语法归纳问题是NP-完全的。我们的方法可以扩展到语言类型系统，如自治或双闭范畴。
2014-12-30 cs.CL math.CT
Do Not Fire the Linguist: Grammatical Profiles Help Language Models Detect Semantic Change
University of Amsterdam（阿姆斯特丹大学）；University of Oslo（奥斯陆大学）；University of Helsinki（赫尔辛基大学）
词语使用中的形态和句法变化（如捕获的，例如，语法概况）已被证明是一个词的意义变化的良好预测。在这项工作中，我们探讨是否大的预先训练的语境化语言模型，词汇语义变化检测的常用工具，这种形态句法变化敏感。为此，我们首先在10个数据集上比较了语法配置文件与多语言神经语言模型（XLM-R）的性能，涵盖7种语言，然后将这两种方法结合起来，以评估它们的互补性。我们的研究结果表明，将语法配置文件与XLM-R集成可以提高大多数数据集和语言的语义变化检测性能。这表明，语言模型并没有完全覆盖在语法配置文件中明确表示的细粒度的形态和句法信号。一个有趣的例外是测试集，其中分析的时间跨度比它们之间的时间间隔长得多（例如，长达一个世纪的跨度，它们之间有一年的间隔）。形态句法的变化是缓慢的，所以语法概况不检测在这种情况下。相比之下，语言模型，由于其访问词汇信息，能够检测快速的主题变化。
2022-04-12 cs.CL
Learning Document Embeddings by Predicting N-grams for Sentiment Classification of Long Movie Reviews
Renmin University of China（中国人民大学）；Shenyang Aerospace University（沈阳航空航天大学）
尽管语义信息的损失，bag-of-ngram为基础的方法仍然实现了国家的最先进的结果，如情感分类的长电影评论的任务。许多文档嵌入方法已经被提出来捕获语义，但它们仍然不能优于基于bag-of-ngram的方法。在本文中，我们修改了最近提出的Paragraph Vector的架构，使其不仅可以通过预测单词，还可以通过预测n-gram特征来学习文档向量。我们的模型能够捕获文档中的语义和词序，同时保持学习向量的表达能力。在IMDB电影评论数据集上的实验结果表明，由于上述优点，我们的模型优于以前的深度学习模型和基于bag-of-ngram的模型。当我们的模型与其他模型相结合时，也得到了更稳健的结果。我们的模型的源代码也将与本文一起发布。
2016-04-23 cs.CL
Comparative Analysis of N-gram Text Representation on Igbo Text Document Similarity
Rhema University（雷玛大学）；University of Port Harcourt（哈科特港大学）
信息技术的进步鼓励人们使用伊博语创建文本，如在线资源和新闻文章。文本相似性在任何基于文本的应用中都是非常重要的。本文提出了一个比较分析的n-gram文本表示的Igbo文本文档相似性。该方法采用欧氏相似性度量来确定两种基于词的n-gram文本表示模型（unigram和bigram）表示的Igbo文本文档之间的相似性。相似性度量的评估是基于所采用的文本表示模型。该模型采用面向对象的方法进行设计，并使用自然语言工具包（NLTK）中的工具，用Python程序设计语言实现。结果表明，由一元语法表示的文本具有最高的距离值，而二元语法表示的文本具有最低的对应距离值。距离值越低，两个文档越相似，并且在用于需要相似性度量的任务时模型的质量越好。两个文档的相似性随着距离值向下移动到零（0）而增加。理想情况下，分析的结果表明，Igbo文本文档的相似性度量的bigram表示的文本给出准确的相似性结果。这将提供更好，有效和准确的结果时，用于任务，如文本分类，聚类和排名的伊博文本。
2020-08-04 cs.CL
Investigating large language models for their competence in extracting grammatically sound sentences from transcribed noisy utterances
Institute of Computer Science Polish Academy of Sciences（波兰科学院计算机科学研究所）
本研究通过波兰语场景下的两项实验，探究大语言模型从带噪声对话转录中提取语法规范话语的能力，发现其相关能力仍较表层，未完全掌握或无法有效应用句法-语义规则。
2024-10-07 cs.CL
Combining semantic and syntactic structure for language modeling
用于语音识别的结构化语言模型已经被证明可以弥补n元模型的弱点。然而，所有当前的结构化语言模型的局限性在于它们没有考虑非中心词之间的依赖关系。我们发现，非中心词的依赖关系有助于显着改善字的出错率，并在语义和语法注释数据训练的面向数据的解析模型可以利用这些依赖关系。本文还包含了第一个DOP模型训练的最大似然重新估计过程，解决了以前的DOP模型的一些理论缺陷。
2001-10-24 cs.CL
Determining Determiner Sequencing: A Syntactic Analysis for English
以前的工作主要集中在英语限定词的语义或范围属性，而不是他们的复杂的排序行为。关于限定词排序的研究很少，一般将限定词分为三个亚类。然而，这一小部分类别并不能捕捉到正确排序限定词所必需的更精细的区别。本文提出了一个基于八个独立识别的语义特征的限定词排序的句法解释。复杂的限定词，如属格，部分，和限定词修饰状语，也提出。这项工作已被实施的一部分，JTAG，一个广泛覆盖的语法为英语的基础上，基于语法，词汇化树邻接语法（FB-LTAG）的形式主义。
1994-11-03 cmp-lg cs.CL
Paraphrase Generation as Zero-Shot Multilingual Translation: Disentangling Semantic Similarity from Lexical and Syntactic Diversity
Johns Hopkins University（约翰斯·霍普金斯大学）
最近的研究表明，多语言神经机器翻译（NMT）模型可以用来判断一个句子对同一语言中另一个句子的释义程度（Thompson and Post，2020）;然而，试图使用标准束搜索从这样的模型中生成释义会产生微不足道的副本或近似副本。我们引入了一个简单的释义生成算法，该算法不鼓励在输入中产生n元语法。我们的方法可以从一个单一的多语言NMT模型中生成多种语言的释义。此外，输入和输出之间的词汇多样性的量可以在生成时控制。我们进行了一次人工评估，将我们的方法与在大型英语合成释义数据库ParaBank 2上训练的释义器进行比较（Hu等人，2019 c），并发现我们的方法产生的释义，更好地保留意义，更符合语法，为同一水平的词汇多样性。其他较小的人类评估表明，我们的方法也适用于两种非英语语言。
2020-10-28 cs.CL
BenchCLAMP: A Benchmark for Evaluating Language Models on Syntactic and Semantic Parsing
Microsoft Semantic Machines（微软语义机器）；Scaled Cognition（规模化认知）
本文提出 BenchCLAMP 基准，通过提供上下文无关文法和受约束解码接口，评估语言模型在句法和语义解析任务上的性能，发现受约束的编码器-解码器模型能超越现有最先进方法。
2024-01-10 cs.CL
Text Windows and Phrases Differing by Discipline, Location in Document, and Syntactic Structure
窗口样式、内容、位置和语法结构的知识可用于将文档分类为源自特定学科，或者可用于将文档置于理论与实践谱上。这种区别也在这里使用类型标记比率来区分子语言。基于标题、摘要、引文和章节标题中术语的存在以及二进制独立（BI）和逆文档频率（IDF）权重，计算窗口的统计显著性。窗口的特点进行了研究，通过检查他们的窗口内密度（WWD）和S浓度（SC），集中的各种文件领域（如标题，摘要）的全文。从文档全文开始到结束的窗口出现率在学术领域之间是不同的。不同的句法结构的子语言进行检查，他们的使用被认为是区分特定的学科，更一般地说，理论与实践或知识与应用导向的文件。
1996-02-18 cmp-lg cs.CL
Variable Word Rate N-grams
单词的出现率并不统一，而是因文件而异。尽管有这种观察，常规的n元语言模型的参数通常使用恒定字率的假设来导出。在本文中，我们研究使用可变字率假设，模拟泊松分布或连续混合泊松。我们提出了一种方法来估计相对频率的话或n-grams考虑到他们的出现先验信息。还考虑了贴现和平滑方案。使用广播新闻任务，该方法表明，减少困惑高达10%。
2000-03-29 cs.CL
Learning Syntactic and Dynamic Selective Encoding for Document Summarization
AI Labs - Didi Chuxing Co., Ltd.（滴滴出行有限公司AI实验室）；Beijing, China（中国北京（注：此处为地址信息，按要求不应提取，原回答有误，正确应为仅保留AI Labs - Didi Chuxing Co., Ltd.））
摘要的目的是生成一个标题或一个简短的摘要组成的主要信息的源文本。最近的研究采用序列到序列的框架，用神经网络对输入进行编码，并生成抽象摘要。然而，大多数的研究都是以语义词嵌入的方式提供给编码器，而忽略了文本的句法信息。此外，虽然先前的研究提出了选择性门来控制从编码器到解码器的信息流，但它在解码期间是静态的，并且不能基于解码器状态来区分信息。在本文中，我们提出了一种新的神经结构的文档摘要。我们的方法有以下贡献：第一，我们将句法信息，如选区解析树到编码序列中学习的语义和句法信息的文件，从而更准确的摘要;第二，我们提出了一个动态门网络来选择显着的信息的基础上的上下文的解码器状态，这是必不可少的文档摘要。在CNN/Daily Mail摘要数据集上对所提出的模型进行了测试，实验结果表明，所提出的方法优于基线方法。
2020-03-25 cs.CL cs.LG
Improving Graph-Based Text Representations with Character and Word Level N-grams
University of Sheffield（谢菲尔德大学）
基于图的文本表示关注如何将文本文档表示为图，以利用语料库中的令牌和文档之间的依赖信息。尽管对图表示学习的兴趣越来越大，但在探索基于图的文本表示的新方法方面的研究有限，这在下游自然语言处理任务中很重要。在本文中，我们首先提出了一个新的异构单词字符文本图，它将单词和字符n-gram节点与文档节点结合在一起，使我们能够更好地学习这些实体之间的依赖关系。此外，我们提出了两个新的基于图的神经模型，WCTextGCN和WCTextGAT，为我们提出的文本图建模。在文本分类和自动文本摘要基准测试中的大量实验表明，我们提出的模型始终优于竞争基线和最先进的基于图的模型。
2022-10-12 cs.CL
Selective Attention Encoders by Syntactic Graph Convolutional Networks for Document Summarization
DiDi Chuxing（滴滴出行）；DiDi Research America（美国滴滴研究院）；Peking University（北京大学）
摘要文本摘要是一项具有挑战性的任务，需要设计一种机制来有效地从源文本中提取显著信息，然后生成摘要。源文本的分析过程包含关键的句法或语义结构，这有助于生成更准确的摘要。然而，建模一个解析树的文本摘要是不平凡的，由于其非线性结构，它是很难处理的文档，包括多个句子和它们的解析树。在本文中，我们提出使用图连接的解析树从一个文件中的句子，并利用堆叠图卷积网络（GCN）学习的语法表示的文件。选择性注意力机制用于提取语义和结构方面的显著信息并生成抽象摘要。我们在CNN/Daily Mail文本摘要数据集上评估了我们的方法。实验结果表明，所提出的基于GCN的选择性注意方法优于基线，并在数据集上达到了最先进的性能。
2020-03-18 cs.CL cs.LG
Neural Extractive Text Summarization with Syntactic Compression
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
最近的神经网络摘要方法主要是基于选择的提取或基于生成的抽象。在这项工作中，我们提出了一个基于联合提取和句法压缩的单文档摘要的神经模型。我们的模型从文档中选择句子，根据选区分析识别可能的压缩，并使用神经模型对这些压缩进行评分，以生成最终摘要。对于学习，我们构建了Oracle提取压缩摘要，然后通过这种监督来学习我们的两个组件。在CNN/Daily Mail和New York Times数据集上的实验结果表明，根据ROUGE的评估，我们的模型实现了强大的性能（与最先进的系统相当）。此外，我们的方法优于现成的压缩模块，人工和手动评估表明，我们的模型的输出通常保持语法。
2019-09-09 cs.CL
MUDOS-NG: Multi-document Summaries Using N-gram Graphs (Tech Report)
NCSR Demokritos（德谟克利特国家科学研究中心）；University of the Aegean（爱琴海大学）
本报告描述了MUDOS-NG摘要系统，它应用了一套独立于语言的通用方法来生成摘要。所提出的方法大多是简单的操作符的组合上的一个通用的字符n-gram图表示的文本。这项工作定义了一组使用的操作符上n-gram图，并建议使用这些操作符在多文档摘要过程中的子任务，如文档分析，突出的句子选择，查询扩展和冗余控制。此外，一个新的组块方法，连同一个新的方式来分配概念的句子查询扩展。摘要系统的实验结果，广泛使用的语料库从文档理解和文本分析会议上进行，是有前途的，并提供证据的潜力的通用方法介绍。这项工作的目的是指定的核心方法，利用n-gram图表示，提供更先进的摘要系统的基础。
2010-12-09 cs.AI cs.CL
Syntactic Topic Models
Princeton University（普林斯顿大学）
句法主题模型（STM）是一种贝叶斯非参数语言模型，它发现了语义和句法一致的词（主题）的潜在分布。STM模型依赖性解析语料库中的句子被分组到文档。它假设每个词都是从一个潜在的主题中提取出来的，该主题是通过结合文档级特征和本地句法上下文来选择的。每个文档都有一个潜在主题的分布，就像主题模型一样，它提供了语义的一致性。依赖关系解析树中的每个元素在其子元素的主题上也有一个分布，就像在潜在状态语法模型中一样，这提供了语法一致性。这些分布被卷积，使得每个词的主题在其文档和句法上下文下都是可能的。本文基于变分方法推导出一种快速后验推理算法。我们报告定性和定量研究的合成数据和手解析的文件。我们表明，STM是一个更预测的语言模型比目前的模型只基于语法或主题。
2010-02-25 cs.AI cs.CL math.ST
Syntactic-Head-Driven Generation
以前提出的语义头驱动的生成方法遇到的问题，如果没有一个子成分的语法语法的语法语义规则图式符合定义的语义头在Shieber等。这是某些基于约束的语义表示的语义分析规则的情况，例如欠指定的话语表示结构（UDRS）（Frank/Reyle 1992）。由于中心语驱动生成一般有其优点，我们简单地返回到一个句法定义的“中心”，并证明句法中心语驱动生成的可行性。除了它的一般性，一个句法头驱动的算法提供了一个逻辑上定义良好的治疗（句法）头的运动，只有特设的解决方案存在的基础，到目前为止。
1994-05-03 cmp-lg cs.CL
Nearest Neighbor Search over Vectorized Lexico-Syntactic Patterns for Relation Extraction from Financial Documents
UtilizeAI Research（UtilizeAI研究院）
本文提出通过词汇-句法模式稠密向量的最近邻搜索在测试时参考训练关系，以解决金融文档关系抽取中隐式表达、长尾类别及复杂长句问题，并在REFinD上取得最先进性能。
2023-10-26 cs.CE cs.CL
Approximate Grammar for Information Extraction
本文提出了近似文法的概念以及如何利用它从文档中抽取信息。由于信息串的结构不能在文档中很好地定义，我们不能使用传统的语法规则来表示信息。因此，需要设计一个近似的语法，可以有效地用来完成信息抽取的任务。近似文法是朝着这个方向迈出的新的一步。近似语法的规则可以由用户给出，或者机器可以从带注释的文档中学习规则。我们已经在上述两个领域进行了实验，结果令人印象深刻。
2003-05-06 cs.AI cs.CL
Universal Topological Regularity of Syntactic Structures
Radboud University（拉德堡德大学）
该研究分析124种语言的依存树，发现其拓扑偏离随机性，提出由增量式语法编码和次线性优先依附模型自然产生，无需直接优化交际。
2026-09-15 cs.CL q-bio.NC
GRAM: Global Reasoning for Multi-Page VQA
Technion, Israel（以色列理工学院）；AWS AI Labs（亚马逊云科技人工智能实验室）
GRAM通过扩展单页模型至多页DocVQA，利用文档级层与可学习令牌实现全局推理，并引入压缩阶段平衡质量与延迟，达到最先进性能。
2024-03-18 cs.CL cs.CV
Combining Word Embeddings and N-grams for Unsupervised Document Summarization
Raytheon BBN Technologies（雷神BBN技术公司）
基于图的抽取式文档摘要依赖于句子相似度图的质量。基于词袋或tf-idf的句子相似度使用精确的词匹配，但不能测量单个词之间的语义相似度或考虑句子的语义结构。为了提高句子之间的相似性度量，我们采用了现成的深度嵌入特征和tf-idf特征，并引入了一种新的文本相似性度量。建立了一种改进的句子相似度图，并将其用于子模块目标函数中，该子模块目标函数由加权覆盖项和差异项组成。一个基于Transformer的压缩模型被开发用于句子压缩以帮助文档摘要。我们的摘要方法是提取和无监督的。实验表明，我们的方法可以优于基于tf-idf的方法，并在DUC 04数据集上实现最先进的性能，并且与CNN/DM和NYT数据集上的完全监督学习方法的性能相当。
2020-04-25 cs.CL cs.LG stat.ML
