Any-gram Kernels for Sentence Classification: A Sentiment Analysis Case Study
ADAPT Centre（ADAPT中心）；School of Computing（计算机学院）；Dublin City University（都柏林城市大学）
Any-gram内核是一种灵活有效的方法，可以在从文本数据中学习时使用bag-of-n-gram特征。它们还与词嵌入的使用兼容，以便可以考虑词的相似性。虽然原始的任意文法核是在树核之上实现的，但我们提出了一种新的方法，该方法独立于树核，并且更有效。我们还提出了一个更有效的方式来利用词嵌入比原来的任意语法公式。当应用于情感分类的任务时，我们的新配方实现了显着更好的性能。
2017-12-19 cs.AI cs.CL stat.ML
Unsupervised Learning of Sentence Embeddings using Compositional n-Gram Features
Iprova SA（Iprova股份公司）；EPFL（洛桑联邦理工学院）
最近无监督词嵌入在众多应用中取得的巨大成功提出了一个明显的问题，即是否也可以导出类似的方法来改进词序列的嵌入（即语义表示）。我们提出了一个简单而有效的无监督目标训练分布式表示的句子。我们的方法在大多数基准任务上的表现优于最先进的无监督模型，突出了所产生的通用句子嵌入的鲁棒性。
2018-12-28 cs.AI cs.CL cs.IR
Mathematical Model for Transformation of Sentences from Active Voice to Passive Voice
University of Kumaun（库马盎大学）；Stanford University（斯坦福大学）
语言学的正式工作产生并使用了重要的数学工具。本文通过对语境与词义模型、句法范畴模型、短语结构规则模型和树形模型的综述，提出了一个构造主动语态到被动语态句子的数学模型，该模型是一个及物动词的形式，其语法主语充当受事，接受动词的动作。为了这个目的，我们已经分析了语料库的所有句子，并为每个句子生成了布尔组。人们已经观察到，当我们把句子的成分作为子群时，短语的序列形成置换群。同构性质的应用产生的重要子群之间的置换映射。它产生了一个从主动语态到被动语态的句子转换模型。已经编写了一个计算机程序，使软件开发人员能够开发用于句子转换的语法软件。
2009-03-30 cs.CL
Verb Argument Structure Alternations in Word and Sentence Embeddings
New York University（纽约大学）
动词出现在不同的句法环境或框架中。我们调查是否人工神经网络编码语法的区别推断动词的特质框架选择属性。我们介绍了五个数据集，统称为FAVA，包含在聚合近10K的句子标记为语法的可接受性，说明不同的口头论点结构的交替。然后，我们测试模型是否可以区分可接受的英语动词框架组合从不可接受的单独使用句子嵌入。为了获得收敛的证据，我们进一步构建了相应的词级数据集LaVA，并研究是否可以从词嵌入中提取相同的句法特征。我们的模型对某些语言变化进行了可靠的分类，但对其他语言变化则没有，这表明虽然这些表示确实编码了细粒度的词汇信息，但它是不完整的，或者很难提取。此外，词级模型和句子级模型之间的差异表明，词嵌入中存在的一些信息不会传递给下游的句子嵌入。
2018-11-27 cs.CL
Decoding Sentiment from Distributed Representations of Sentences
University of Cambridge（剑桥大学）
分布式表示的句子最近已经发展到代表他们的意义作为实值向量。然而，目前还不清楚这些表征保留了多少关于句子极性的信息。为了研究这个问题，我们从9种不同类型的语言中学习了不同架构（对单词顺序，句子顺序敏感或不敏感）的无监督句子表示中解码情感。情感是词汇的递归组合和否定、让步等语法策略的结果。结果是多方面的：我们表明，没有“一刀切”的代表性架构优于其他全面。相反，顶级架构取决于手头的语言和数据。此外，我们发现，在某些情况下，添加剂组合模型的基础上跳过字向量可能会超过监督的最先进的架构，如双向LSTM。最后，我们提供了一个可能的解释，观察到的变化的基础上在每种语言中的否定结构的类型。
2017-06-16 cs.CL
Computational Semantics and Evaluation Benchmark for Interrogative Sentences via Combinatory Categorial Grammar
Kyoto University（京都大学）；Keio University（庆应义塾大学）
本文在组合范畴语法框架下提出疑问句的组合语义，并构建问答数据集QSEM进行评估，揭示了CCG理论能力与现有解析器之间的差距。
2023-12-22 cs.AI cs.CL cs.LO
The role of grammar in transition-probabilities of subsequent words in English text
Medical University of Vienna（维也纳医科大学）；Complexity Science Hub Vienna（维也纳复杂科学中心）；Santa Fe Institute（圣塔菲研究所）；IIASA（国际应用系统分析研究所）
句子的形成是一个高度结构化、依赖于历史和样本空间缩减（SSR）的过程。虽然句子中的第一个单词可以从整个词汇中选择，但随着句子的发展，选择后续单词的自由度越来越受到语法和上下文的限制。这种样本空间减少属性提供了一个自然的解释Zipf定律在词频，但是，它无法捕捉的结构的词到词的转移概率矩阵的英语文本。在这里，我们采用的观点，语法约束（如主语-谓语-宾语）本地重新排序的词序在句子中采样SSR词生成过程。我们表明，叠加的语法结构-作为一个本地字重新排序（置换）的过程-在一个样本空间减少的过程是足够的解释，字的频率和字到字的转换概率。我们比较质量的语法有序SSR模型再现几个测试统计的真实文本与其他文本生成模型，如伯努利模型，西蒙模型，和猴子打字模型。
2018-12-28 cs.CL physics.soc-ph
A New Evaluation Method: Evaluation Data and Metrics for Chinese Grammar Error Correction
Guangdong University of Foreign Studies（广东外语外贸大学）
汉语语法纠错作为自然语言处理中的一项基础性工作，逐渐受到广泛关注，成为研究热点。然而，现有的CGEC评价体系的一个明显不足是评价值受中文分词结果或不同语言模型的影响较大。在不同的分词系统或不同的语言模型下，同一个纠错模型的评价值会有很大的不同。然而，预期这些度量应该独立于分词结果和语言模型，因为它们可能导致在评估不同方法时缺乏唯一性和可比性。为此，本文提出了基于参考和无参考两个维度的CGEC评价指标，其中基于参考的评价指标引入了句子级准确度和字符级BLEU来评价正确句子。此外，在无参照度量方面，我们采用了字符级语义保持来衡量修正后句子的语义保持程度。我们对这三个指标的合理性和有效性进行了深入的评价和分析，并期望它们成为CGEC的新标准。
2022-04-30 cs.CL
A Multilingual Study of Multi-Sentence Compression using Word Vertex-Labeled Graphs and Integer Linear Programming
University of La Rochelle（拉罗谢尔大学）；University of Avignon（阿维尼翁大学）；Polytechnique Montréal（蒙特利尔高等理工学院）；Inst. Federal de Educação, Ciência e Tecnologia da Paraiba（帕拉伊巴联邦教育、科学与技术学院）；Univ. Federal Fluminense（弗鲁米嫩塞联邦大学）；Universidade Federal do Ceará（塞阿拉联邦大学）
多句子压缩（MSC）的目的是从一组相似的句子中提取关键信息，生成一个短句。MSC使摘要和问答系统能够从一个或多个文档中生成组合完整句子的输出。本文描述了一种基于线性规划的MSC方法，该方法使用顶点标记图来选择不同的关键字，其目标是在保持语法性的同时生成更多信息的句子。我们的系统质量很好，在以三种语言（法语、葡萄牙语和西班牙语）进行的新闻数据集评估方面优于最先进的水平。我们进行了自动和手动评估，以确定每个数据集压缩的信息量和语法性。在额外的测试中，利用压缩的长度可以调节的事实，我们仍然使用更短的输出句子来提高ROUGE分数。
2020-04-09 cs.CL
N-gram Language Modeling using Recurrent Neural Network Estimation
Google（谷歌）
我们研究了RNN模型的有效记忆深度，并将其用于$n$ -文法语言模型（LM）平滑。在小型语料库（UPenn Treebank，100万字的训练数据和10 k词汇）上的实验发现，与前馈和香草RNN模型相比，具有dropout的LSTM细胞是编码$n$ -gram状态的最佳模型。当保持句子独立性假设时，LSTM $n$ -gram匹配$n=9$的LSTM LM性能，并且稍微优于$n=13$。当允许跨句子边界的依赖关系时，LSTM $13$ -gram几乎匹配无限历史LSTM LM的困惑。LSTM $n$ -gram平滑还具有随着$n$ -gram阶数的增加而改进的理想特性，这与Katz或Kneser-Ney退避估计器不同。在训练中使用多项分布作为目标，而不是通常的单热目标，对于低$n$ -gram阶数只有轻微的好处。十亿字基准测试的实验表明，结果在更大规模下也成立：虽然针对短$n$元语法上下文的LSTM平滑并不比经典N元语法模型具有显着优势，但它对长上下文（$n > 5$）变得有效;根据任务和数据量，它可以在大约$n=13$的情况下匹配完全循环的LSTM模型。这在对短格式文本（例如语音搜索/查询LM）进行建模时可能具有影响。构建LSTM $n$ -gram LM对于某些实际情况可能是有吸引力的：$n$ -gram LM中的状态可以用存储上下文中的单词的标识的$(n-1)*4$字节简洁地…
2017-06-20 cs.CL
Combining Word Embeddings and N-grams for Unsupervised Document Summarization
Raytheon BBN Technologies（雷神BBN技术公司）
基于图的抽取式文档摘要依赖于句子相似度图的质量。基于词袋或tf-idf的句子相似度使用精确的词匹配，但不能测量单个词之间的语义相似度或考虑句子的语义结构。为了提高句子之间的相似性度量，我们采用了现成的深度嵌入特征和tf-idf特征，并引入了一种新的文本相似性度量。建立了一种改进的句子相似度图，并将其用于子模块目标函数中，该子模块目标函数由加权覆盖项和差异项组成。一个基于Transformer的压缩模型被开发用于句子压缩以帮助文档摘要。我们的摘要方法是提取和无监督的。实验表明，我们的方法可以优于基于tf-idf的方法，并在DUC 04数据集上实现最先进的性能，并且与CNN/DM和NYT数据集上的完全监督学习方法的性能相当。
2020-04-25 cs.CL cs.LG stat.ML
Sentence Compression as Tree Transduction
University of Edinburgh（爱丁堡大学）
本文提出了一种用于句子压缩的树到树转换方法。我们的模型是基于同步树替换语法，一种形式主义，允许局部扭曲的树拓扑结构，从而可以自然地捕捉结构不匹配。我们描述了一个算法在这个框架中的解码，并显示了如何在一个大的利润框架内的模型可以进行训练的歧视。句子压缩的实验结果带来了显着的改进，在一个国家的最先进的模型。
2014-01-15 cs.CL
Semi-supervised Thai Sentence Segmentation Using Local and Distant Word Representations
Chulalongkorn University（朱拉隆功大学）；Kasikorn Business Technology Group (KBTG)（开泰商业科技集团（KBTG））
句子通常被视为用于从较长的文本中提取有价值的信息的最小句法单元。然而，在书面泰语中，没有明确的句子标记。我们提出了一个用于句子分割任务的深度学习模型，其中包括三个主要贡献。首先，我们将n-gram嵌入作为一种局部表示来捕获句子边界附近的单词组。第二，为了集中在依赖子句的关键字上，我们将该模型与从自我注意模块获得的距离表示相结合。最后，由于标记数据的稀缺性，注释是困难和耗时的，我们还研究和适应交叉视图训练（CVT）作为一种半监督学习技术，使我们能够利用未标记的数据来改善模型表示。在泰语句子分割实验中，与Orchid和UGWC数据集上的基线模型相比，我们的模型分别将相对误差降低了7.4%和10.5%。我们还将我们的模型应用于IWITONS英语数据集的发音恢复任务。我们的模型优于先前的序列标记模型，实现了2.5%的相对误差减少。消融研究表明，利用n-gram介绍是泰国的主要贡献因素，而半监督培训帮助最多的英语。
2019-08-25 cs.CL
Learning grammar with a divide-and-concur neural network
Cornell University（康奈尔大学）
我们实现了一个分而同迭代投影方法上下文无关文法推理。与大多数最先进的自然语言处理模型不同，我们的方法需要相对较少的离散参数，从而使推断的语法直接可解释-人们可以从解决方案中读取如何构建语法有效的句子。我们的方法的另一个优点是能够从几个句子中推断出有意义的语法规则，相比之下，许多其他模型使用数百GB的训练数据。我们展示了几种应用我们的方法的方式：分类单词和从头开始推断语法，以现有的语法和完善其类别和规则，并采取现有的语法和扩大其词汇，因为它遇到新的单词在新的数据。
2022-07-07 cs.CL cs.LG nlin.CG
Contextual Tamil Spelling and Grammar Correction Using Progressively Fine-Tuned Sequence-to-Sequence Transformers
National Institute of Technology, Tiruchirappalli（国家技术研究所蒂鲁吉拉伯利分校）；Tamil University, Thanjavur（泰米尔大学）
针对泰米尔语低资源特性及现有方法无法处理上下文错误的问题，提出端到端序列到序列模型，通过四阶段渐进式微调mT5-small和mBART-50，在合成语料库上取得连音准确率87.5%、主谓一致准确率43.5%的结果。
2026-09-04 cs.CL
A Robust Parsing Algorithm For Link Grammars
在本文中，我们提出了一个强大的分析算法的基础上的链接文法形式主义的分析自然语言。我们的算法是一个自然的扩展，原来的动态规划识别算法，递归计数输入句子中的两个单词之间的联系的数量。修改后的算法使用空链接的概念，以便允许任何一对相邻单词之间的连接，而不管它们的字典定义。该算法通过进行三次动态规划来进行。在第一遍中，使用原始算法解析输入，该算法强制约束链接以确保语法性。在第二遍中，计算每个单词子串的总成本，其中成本由解析子串所需的空链接的数量确定。最后一遍以最小的代价计算解析的总数。所有的原始修剪技术在鲁棒算法中都有自然的对应物。当与记忆化一起使用时，这些技术使算法能够以立方最坏情况复杂度有效地运行。我们已经实现了这些想法，并测试他们通过分析的交换机语料库的会话英语。该语料库由大约300万字的文本组成，相当于从70个不同主题的电话交谈中收集的150多个小时的转录语音。虽然在这个语料库中只有一小部分的句子是“语法”的标准，强大的链接语法分析器是能够提取相关的结构的大部分句子。我们提出了我们的实验结果，使用这个系统，包括从语料库中选择和随机句子的分析。
1995-08-02 cmp-lg cs.CL
Concrete Sentence Spaces for Compositional Distributional Models of Meaning
Oxford University Computing Laboratory（牛津大学计算实验室）；University of Cambridge Computer Laboratory（剑桥大学计算机实验室）
Coecke、Sadrzadeh和Clark（arXiv：1003.4394v1 [cs.CL]）为分布语义学开发了一个意义的合成模型，其中句子中的每个词都有一个意义向量，句子的分布意义是词向量的张量积的函数。抽象地说，这个函数是有限维向量空间范畴中对应于句子语法结构的态射。在本文中，我们提供了一个具体的方法来实现这种线性意义地图，通过构建一个基于语料库的向量空间的句子类型。我们的构造方法是基于结构化的向量空间，即所有句子的意义向量，无论其语法结构如何，都生活在同一个向量空间中。我们提出的句子空间是两个名词空间的张量积，其中的基向量是每一个增加了语法作用的词对。这使我们能够通过简单地取向量的内积来比较句子的含义。
2010-12-31 cs.AI cs.CL cs.IR
Block the Label and Noise: An N-Gram Masked Speller for Chinese Spell Checking
针对中文拼写检查中现有BERT类方法存在标签泄露、错误干扰的问题，提出n元掩码层及点积门控机制融合多模态信息，可提升主流模型性能且优于多个前沿模型。
2023-05-05 cs.CL
Trans-gram, Fast Cross-lingual Word-embeddings
Proxem（Proxem公司）
我们介绍了Trans-gram，一种简单且计算效率高的方法，可以同时学习和对齐各种语言的单词，仅使用单语数据和较小的一组对齐数据。我们使用我们的新方法来计算对齐wordbeddings二十一种语言使用英语作为一个枢纽语言。我们表明，一些语言特征是跨语言对齐的，我们没有对齐的数据，即使这些属性不存在于枢轴语言。我们还在标准的跨语言文本分类和单词翻译任务上取得了最先进的结果。
2016-01-11 cs.CL
Sentence-level dialects identification in the greater China region
Jiangxi Normal University（江西师范大学）
识别同一种语言的不同变体比识别不相关的语言更具挑战性。本文提出了一种区分中国大陆、香港、台湾、澳门、马来西亚和新加坡普通话语言变体或方言的方法，大中华区（GCR）。将其应用于大湄公河次区域的方言识别时，我们发现，由于大湄公河次区域方言中的词语存在歧义性和上下文相关性等问题，常用的字级或词级单字特征识别效率不高。为了克服这些挑战，我们不仅使用了字符级n-gram等常规特征，还使用了许多新的单词级特征，包括基于PMI和基于单词标注的特征。在维基百科的新闻和开放域数据集上的一系列评测结果表明了该方法的有效性。
2017-01-08 cs.CL
Multilingual Sentence Categorization according to Language
在本文中，我们描述了一种方法，句子分类的独创性是基于自然属性的语言没有训练集依赖。该实现是快速的，小的，健壮的和文本容错。通过对法语、英语、西班牙语和德语的测试，该系统给出了非常有趣的结果，在一次测试中，真实句子的正确率达到99.4%。分辨率是基于语法单词（不是最常见的单词）和字母表。有了每种语言的语法单词和字母表，系统就可以计算出每种语言被选中的可能性。具有最佳可能性的语言名称将标记句子-但未解决的歧义将被保留。我们将讨论导致我们使用这些语言事实的原因，并提出几个方向，以提高系统的分类性能。具有语言属性的分类句子表明，困难的问题有时有简单的解决方案。
1995-03-10 cmp-lg cs.CL
TextConvoNet:A Convolutional Neural Network based Architecture for Text Classification
Malaviya National Institute of Technology（马拉维亚国家理工学院）；ABV-IIITM Gwalior（阿塔尔·比哈里·瓦杰帕伊印度信息技术与管理学院瓜廖尔分校）
近年来，基于深度学习的模型显著改善了自然语言处理（NLP）任务。具体来说，卷积神经网络（CNN），最初用于计算机视觉，已显示出显着的性能，在各种NLP问题的文本数据。大多数现有的基于CNN的模型使用1维卷积滤波器（n元检测器），其中每个滤波器专门提取特定输入词嵌入的n元特征。输入的词嵌入，也称为句子矩阵，被视为一个矩阵，其中每行是一个词向量。因此，它允许模型应用一维卷积，并且仅从句子矩阵中提取基于n-gram的特征。这些特征可以被称为句内n-gram特征。就我们所知，所有现有的CNN模型都是基于上述概念。在本文中，我们提出了一个基于CNN的架构TextConvoNet，不仅提取句子内的n-gram功能，但也捕捉输入文本数据中的句子间n-gram功能。它使用另一种方法来表示输入矩阵，并对输入应用二维多尺度卷积运算。为了评估TextConvoNet的性能，我们对五个文本分类数据集进行了实验研究。通过使用各种性能指标来评估结果。实验结果表明，所提出的TextConvoNet优于最先进的机器学习和深度学习模型的文本分类目的。
2022-03-10 cs.AI cs.CL cs.LG
Language coverage and generalization in RNN-based continuous sentence embeddings for interacting agents
Université de Sherbrooke（舍布鲁克大学）
使用递归神经网络（RNN）的连续句子嵌入，其中可变长度的句子被编码为固定维度的向量，通常是应用于对话生成等语言任务的架构的主要构建块。虽然已知这些嵌入能够以纯数据驱动的方式学习语言的某些结构（例如语法），但是很少有关于其覆盖整个语言空间并概括到训练数据的语言偏差之外的句子的能力的客观评估的工作。使用手动设计的上下文无关文法（CFG）生成与真实3D室内场景内容相关的句子的大规模数据集，我们基于RNN评估最常见的连续句子嵌入的语言覆盖率和泛化能力。我们还提出了一种新的嵌入方法，算术编码的基础上，AriEL，这是不是数据驱动的，有效地编码在连续空间中的任何句子从CFG。我们发现基于RNN的嵌入不适合训练数据，并且只覆盖了CFG定义的语言的一小部分。他们也无法学习潜在的CFG，并从同一个CFG中推广到无偏见的句子。我们发现AriEL提供了一个有见地的基线。
2019-11-05 cs.CL cs.LG
An enhanced Tree-LSTM architecture for sentence semantic modeling using typed dependencies
National Institute of Technology Calicut（卡利卡特国家理工学院）
基于树的长短期记忆（LSTM）网络已经成为建模语言文本含义的最先进技术，因为它们可以有效地利用语法句法，从而利用句子中单词之间的非线性依赖关系。然而，这些模型中的大多数都无法识别由单词或短语的语义角色变化引起的含义差异，因为它们不承认句子结构中的语法关系类型，也称为类型依赖。本文提出了一种增强的LSTM架构，称为关系门控LSTM，它可以使用控制输入来建模序列的两个输入之间的关系。我们还引入了一个称为类型依赖树-LSTM的Tree-LSTM模型，它使用句子依赖解析结构以及依赖类型将句子含义嵌入到密集向量中。该模型在两个典型的NLP任务-语义相关性评分和情感分析中，在较少的训练时间内优于其类型未知的对应物。结果与其他最先进的模型相当或具有竞争力。定性分析表明，句子的声音变化对模型的预测分数影响不大，而名词（名词）词的变化有更显着的影响。该模型识别句子对中的微妙语义关系。学习到的类型依赖嵌入的大小也与人类的直觉一致。研究结果表明语法关系在句子建模中的重要性。所提出的模型将作为未来研究在这个方向上的基础。
2020-09-25 cs.AI cs.CL cs.LG
Markov Constraint as Large Language Model Surrogate
Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）
本文提出用于约束编程文本生成的NgramMarkov约束，以LLM概率驱动n元组筛选与前瞻剪枝，减少候选句并提升求解效率。
2024-06-11 cs.AI cs.CL cs.LG
Syntactic Analysis Based on Morphological Characteristic Features of the Romanian Language
Vasile Alecsandri University of Bacau（巴克乌瓦西里·亚历山德里大学）；EduSoft Bacau（巴克乌EduSoft公司）
罗马尼亚语短语的句法分析是自然语言处理的一个重要过程。我们将提出一个实时的解决方案，基于使用一些词或词组来指示语法类别的想法;以及句子某些部分的某些特定结尾。我们的想法是基于罗马尼亚语的一些特点，其中一些介词，副词或一些特定的结尾可以提供有关复杂句子结构的大量信息。这些特点也可以在其他语言中找到，比如法语。使用一个特殊的语法，我们开发了一个系统（DIASEXP），可以执行一个自然语言的对话与断言和疑问句的“故事”（一组句子描述一些事件，从现实生活中）。
2013-01-09 cs.AI cs.CL
Segmentation-free Compositional $n$-gram Embedding
Kyoto University（京都大学）；RIKEN（理化学研究所）
我们提出了一种新型的表示学习方法，无缝地建模单词，短语和句子。我们的方法不依赖于分词和任何人类注释的资源（例如，词典），但它是非常有效的噪音语料库写的未分割的语言，如中文和日语。我们方法的主要思想是完全忽略单词边界（即，无分段），并利用合成子$n$-元的嵌入来构造原始语料库中的所有字符$n$ -元的表示。尽管这个想法很简单，但我们在各种基准和真实世界数据集上的实验表明了我们的提议的有效性。
2019-05-29 cs.CL cs.LG
Sentence Entailment in Compositional Distributional Semantics
Queen Mary University of London（伦敦玛丽女王大学）
分布式语义模型通过从文本语料库中收集词的共现频率来提供词的向量表示。成分分布模型将这些从单词扩展到短语和句子。在范畴成分分布语义学中，短语和句子表征是其语法结构和其中的词的表征的函数。在这种情况下，语法结构形式化的一个紧凑的封闭范畴的态射和词的意义形式化的对象相同的类别。这些可以以向量或密度矩阵的形式实例化。本文讨论了该模型在短语和句子层次蕴涵中的应用。我们认为，基于熵的向量和密度矩阵的距离提供了一个很好的候选人来衡量词级蕴涵，显示的优势，密度矩阵向量的词级蕴涵，并证明这些距离扩展组成从单词到短语和句子。我们在真实数据和一个玩具蕴涵数据集上验证了我们的理论结构，并提供了初步的实验证据。
2018-10-09 cs.AI cs.CL math.CT
