Interpretable Syntactic Representations Enable Hierarchical Word Vectors
针对稠密词向量不可解释的问题,提出将其转换为紧凑可解释的句法表示,并基于此利用增量学习构建层次化词向量,该方法计算高效且在基准测试中优于原始向量。
2024-11-13 cs.CL cs.LG
Incorporating Syntactic and Semantic Information in Word Embeddings using Graph Convolutional Networks
Indian Institute of Science(印度科学学院);Microsoft Research(微软研究院);IIT Kanpur(印度理工学院坎普尔分校);Carnegie Mellon University(卡内基梅隆大学)
词嵌入已经在几个NLP应用程序中被广泛采用。大多数现有的词嵌入方法利用词的顺序上下文来学习其嵌入。虽然已经有一些尝试利用一个词的句法上下文,这样的方法导致词汇量的爆炸。在本文中,我们克服了这个问题,提出了SynGCN,一个灵活的图形卷积为基础的方法学习词嵌入。SynGCN利用单词的依赖上下文,而不增加词汇量。SynGCN学习的词嵌入在各种内在和外在任务上优于现有方法,并在与ELMo一起使用时提供优势。我们还提出了SemGCN,一个有效的框架,将不同的语义知识,进一步提高学习单词表示。我们提供这两种模型的源代码,以鼓励可重复的研究。
2019-07-20 cs.CL cs.LG
Syntactic Interchangeability in Word Embedding Models
IBM Research(IBM研究院)
词嵌入模型中的最近邻通常被观察到在语义上相似,但是它们之间的关系可以有很大的不同。我们研究了词嵌入模型在多大程度上保留了句法可解释性,如词向量之间的距离所反映的,以及超参数的影响-特别是上下文窗口大小。我们使用词性(POS)作为句法可解释性的代理,因为一般来说,具有相同词性的词在相同的上下文中在句法上是有效的。我们还研究了可扩展性和相似性之间的关系,判断常用的词相似性基准,并将结果与这些基准上的词嵌入模型的性能。我们的研究结果将告知未来的研究和应用中选择的词嵌入模型,提出了一个原则,根据用例的适当选择的上下文窗口大小参数。
2019-04-12 cs.CL
Towards a theory of word order. Comment on "Dependency distance: a new perspective on syntactic patterns in natural language" by Haitao Liu et al
Universitat Politècnica de Catalunya(加泰罗尼亚理工大学)
刘海涛等“依存距离:自然语言句法模式的新视角“述评
2017-06-15 cs.CL physics.soc-ph
French parsing enhanced with a word clustering method based on a syntactic lexicon
Université Paris-Est(巴黎-est大学);LIGM(语言与信息学实验室)
本文通过将法语句法词典(Lexicon-Grammar)的数据整合到概率解析器中,并应用聚类方法于法语树库的动词,提高了基于概率上下文无关文法的解析性能。
2026-05-30 cs.CL cs.LG
Semantically-Informed Syntactic Machine Translation: A Tree-Grafting Approach
U.S. Dept. of Defense(美国国防部);JHU HLTCOE(约翰斯·霍普金斯大学人类语言技术卓越中心);University of Maryland(马里兰大学);CMU(卡内基梅隆大学);BBN(BBN公司);JHU/APL(约翰斯·霍普金斯大学应用物理实验室)
我们描述了一个统一的和连贯的语法框架,支持语义知情的句法方法统计机器翻译。语义丰富的句法标签分配给目标语言的培训文本提高翻译质量。由此产生的系统显着优于语言幼稚的基线模型(Hiero),并达到了NIST 2009年乌尔都语-英语翻译任务的最高分数。这一发现支持了MT社区的许多研究人员提出的假设,例如,在DARPA GALE中),句法和语义信息对于提高翻译质量至关重要-并进一步表明,对于词序与英语不同的低资源语言,可以获得很大的收益。
2014-09-24 cs.CL cs.LG stat.ML
Syntree2Vec - An algorithm to augment syntactic hierarchy into word embeddings
VIT, Vellore(韦洛尔理工学院)
词嵌入的目的是将词的意义映射到一个较低维的向量空间,以便对它们进行推理。在领域特定数据上训练嵌入有助于表达与其用例更相关的概念,但当数据较少时,准确性会降低。我们的努力是通过将语法知识注入嵌入来最大限度地减少这一点。我们提出了一个基于图的嵌入算法的灵感来自node 2 vec。实验结果表明,我们的算法提高了语法强度,并给出了少量数据的鲁棒性能。
2018-08-14 cs.CL
Syntax-Infused Variational Autoencoder for Text Generation
Bloomberg(彭博);Duke University(杜克大学);ASAPP Inc.(ASAPP公司)
我们提出了一个注入语法的变分自动编码器(SIVAE),它将句子与它们的语法树相结合,以提高生成的句子的语法。与现有的基于VAE的文本生成模型不同,SIVAE包含两个独立的潜在空间,用于句子和句法树。通过优化一个包含两个编码器和两个解码器的联合分布,相应地重新设计了证据下限目标。SIVAE与长短期记忆体系结构一起工作,同时生成句子和语法树。两个版本的SIVAE提出:一个通过条件先验网络捕获的潜在变量之间的依赖关系,和其他处理的潜在变量独立,这样可以进行句法控制的句子生成。实验结果表明,SIVAE在重建和有针对性的句法评价上都具有生成优势。最后,我们表明,所提出的模型可以用于无监督释义给定不同的句法树模板。
2019-06-05 cs.CL cs.LG stat.ML
Obfuscation for Privacy-preserving Syntactic Parsing
University of Edinburgh(爱丁堡大学);University of Amsterdam(阿姆斯特丹大学);Fudan University(复旦大学)
同态加密的目标是对数据进行加密,以便另一方可以在不显式暴露原始数据内容的情况下对其进行操作。我们介绍了一个想法,自然语言数据的隐私保护转换,启发同态加密。我们的主要工具是{ \em obfuscation},它依赖于自然语言的属性。具体来说,使用神经模型对给定的英语文本进行混淆,该神经模型旨在保留原始句子的句法关系,以便可以解析混淆的句子而不是原始句子。该模型在单词级别工作,并通过将每个单词更改为具有类似句法角色的新词来学习分别混淆每个单词。与上限随机替换基线相比,我们的模型混淆的文本在三个句法分析器(两个依赖和一个选区分析器)上具有更好的性能。更具体地说,结果表明,随着更多的术语被混淆(通过它们的词性),替换上限显着降低,而神经模型保持相对高性能的解析器。与随机替换上限相比,所有这些都是在不牺牲隐私的情况下完成的。我们还进一步分析了实验结果,发现替换词与原词相比具有相似的句法特征,但语义内容不同。
2020-05-27 cs.AI cs.CL cs.LG
Introducing Syntactic Structures into Target Opinion Word Extraction with Deep Learning
University of Oregon(俄勒冈大学);Adobe Research(奥多比研究院);VinAI Research(越南人工智能研究院)
有针对性的观点词提取(TOWE)是基于体的情感分析(ABSA)的一个子任务,其目的是为句子中的给定体词找到观点词。尽管它们在TOWE上取得了成功,但当前的深度学习模型未能利用在先前研究中已被证明对TOWE有用的句子的句法信息。在这项工作中,我们建议将句子的句法结构纳入TOWE的深度学习模型中,利用基于句法的意见可能性得分和单词之间的句法连接。我们还引入了一种新的正则化技术,以提高基于TOWE中单词之间的表示差异的深度学习模型的性能。提出的模型进行了广泛的分析,并实现了最先进的性能在四个基准数据集。
2020-10-26 cs.CL
Learning to Embed Words in Context for Syntactic Tasks
Toyota Technological Institute at Chicago(芝加哥丰田工业大学)
我们提出的模型嵌入的话在周围的话。这样的模型,我们称之为令牌嵌入,表示特定于给定上下文的单词的特征,例如词义,句法类别和语义角色。我们探索简单,高效的令牌嵌入模型的基础上,标准的神经网络架构。我们在大量未注释的文本上学习令牌嵌入,并将其作为词性标记器和依赖解析器的特征进行评估,这些特征是在少量注释数据上训练的。我们发现,具有令牌嵌入的预测器在一系列上下文窗口和训练集大小上始终优于基线预测器。
2017-06-12 cs.CL
Generating Sense Embeddings for Syntactic and Semantic Analogy for Portuguese
Federal University of São Carlos(圣卡洛斯联邦大学)
词嵌入是在低维连续空间中表示词或概念的数值向量。这些向量能够捕获有用的句法和语义信息。Word2Vec、GloVe和FastText等传统方法有一个严重的缺点:它们为每个单词生成一个单一的向量表示,忽略了歧义单词可能具有不同含义的事实。在本文中,我们使用的技术来生成意义嵌入,并提出了第一个实验进行葡萄牙语。我们的实验表明,意义向量优于传统的词向量在句法和语义类比任务,证明这里生成的语言资源可以提高葡萄牙语的NLP任务的性能。
2020-01-21 cs.CL
Cross-lingual Word Sense Disambiguation using mBERT Embeddings with Syntactic Dependencies
Uppsala University(乌普萨拉大学)
跨语言词义消歧(WSD)解决了在给定上下文的情况下消除跨语言歧义词的挑战。预训练的BERT嵌入模型已被证明在提取词的上下文信息方面是有效的,并且已作为特征被并入许多最先进的词义消歧系统中。为了研究如何将句法信息加入到BERT嵌入中,从而产生语义和句法结合的词嵌入,本项目提出了通过产生依赖分析树和将词的相对关系编码到输入嵌入中的级联嵌入。还提出了两种方法来减少级联嵌入的大小。实验结果表明,句法嵌入的高维性对分类任务构成了障碍,需要在未来的研究中进一步解决。
2020-12-09 cs.CL
Word Embedding Visualization Via Dictionary Learning
UC Berkeley(加州大学伯克利分校);Tsinghua University(清华大学);Redwood Center for Theoretical Neuroscience, UC Berkeley(加州大学伯克利分校雷德伍德理论神经科学中心);School of Optometry, UC Berkeley(加州大学伯克利分校视光学院)
基于共现统计的词嵌入技术已被证明是非常有用的提取词的语义和句法表示为低维连续向量。在这项工作中,我们发现字典学习可以将这些词向量作为更基本的词因子的线性组合。我们证明了许多学习的因素具有令人惊讶的强大的语义或语法意义,对应于以前通过人工检查确定的因素。因此,字典学习为理解词嵌入表示提供了强大的可视化工具。此外,我们表明,字的因素可以帮助识别关键的语义和句法差异,在词类比任务,并改善国家的最先进的词嵌入技术在这些任务中的大幅度。
2021-03-15 cs.CL cs.LG
Structural Embedding of Syntactic Trees for Machine Comprehension
Carnegie Mellon University(卡内基梅隆大学)
用于机器理解的深度神经网络通常仅利用单词或字符嵌入,而不显式地利用结构化的语言信息,例如选区树和依赖树。在本文中,我们提出了结构嵌入的语法树(SEST),算法框架,利用结构化的信息,并将其编码成向量表示,可以提高机器理解算法的性能。我们使用SQuAD数据集上最先进的神经注意力模型来评估我们的方法。实验结果表明,我们的模型可以准确地识别句子的语法边界,并提取出比基线方法在语法上连贯的答案。
2017-08-31 cs.CL
Syntactic representation learning for neural network based TTS with syntactic parse tree traversal
Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);The Chinese University of Hong Kong(香港中文大学)
句子文本的句法结构与语音的韵律结构密切相关,韵律结构对提高文语转换系统的韵律感和自然度至关重要。目前的文语转换系统通常试图将句法结构信息与基于专家知识的人工设计特征相结合。本文提出了一种基于句法分析树遍历的句法表示学习方法,以自动利用句法结构信息。两个组成标签序列通过从组成分析树的左优先和右优先遍历线性化。然后通过相应的单向门控递归单元(GRU)网络从每个组成标签序列中提取单词级的句法表示。同时,核范数最大化损失的引入,以提高区分度和多样性的组成标签的嵌入。上采样的语法表示和音素嵌入被连接起来作为Tacotron 2的编码器输入。实验结果表明,我们提出的方法的有效性,平均意见得分(MOS)从3.70增加到3.82和ABX的偏好超过17%,与基线相比。此外,对于具有多个句法分析树的句子,可以从合成的语音中清楚地感知韵律差异。
2020-12-13 cs.CL
Exploiting Syntactic Structure for Better Language Modeling: A Syntactic Distance Approach
Westlake University(西湖大学);Westlake Institute for Advanced Study(西湖高等研究院);Mila(米拉计算科学研究所);McGill University(麦吉尔大学)
人们普遍认为,句法结构的知识应该改善语言建模。然而,有效地和计算高效地将句法结构纳入神经语言模型一直是一个具有挑战性的课题。在本文中,我们使用多任务目标,即,这些模型同时预测单词以及被称为“句法距离”的形式的基本事实解析树,其中这两个单独目标之间的信息共享相同的中间表示。在Penn Treebank和Chinese Treebank数据集上的实验结果表明,当提供Ground Truth解析树作为额外的训练信号时,该模型能够获得较低的困惑度,并诱导出质量更好的树。
2020-05-12 cs.CL
Tree-Planted Transformers: Unidirectional Transformer Language Models with Implicit Syntactic Supervision
The University of Tokyo(东京大学)
本文提出tree-planting方法,将句法树隐式植入单向Transformer注意力权重,形成TPT模型,在保持推理效率的同时以数据高效方式学习类人句法知识,并在SyntaxGym上显著优于普通Transformer和显式句法语言模型。
2024-06-06 cs.CL
Neural Tree Indexers for Text Understanding
University of Massachusetts(马萨诸塞大学)
递归神经网络(RNN)顺序处理输入文本,并对单词标记之间的条件转换进行建模。相比之下,递归网络的优点包括它们显式地对自然语言的组合性和递归结构进行建模。然而,当前的递归体系结构受到其对语法树的依赖的限制。在本文中,我们介绍了一个强大的句法分析独立的树结构模型,神经树索引(NTI),提供了一个中间地带之间的顺序RNN和基于语法树的递归模型。NTI构造一个完整的n-ary树处理输入文本与其节点功能在一个自底向上的方式。然后,注意力机制可以应用于结构和节点功能。我们实现并评估了NTI的二叉树模型,显示该模型在三个不同的NLP任务上实现了最先进的性能:自然语言推理,答案句子选择和句子分类,优于最先进的递归和递归神经网络。
2017-02-28 cs.CL cs.LG stat.ML
Word learning and the acquisition of syntactic--semantic overhypotheses
Massachusetts Institute of Technology(麻省理工学院)
儿童在学习第一语言时面临着多种归纳问题:如何学习单词的含义,以及如何根据句法规则从这些单词中构建有意义的短语。我们考虑如何儿童可能会解决这些问题,有效地解决他们共同的,通过计算模型,学习语法和语义的多字的话语在一个接地的参考游戏。我们选择了一个经过充分研究的实证案例,在该案例中,儿童意识到将单词的句法和语义属性联系起来的模式--基本名词选择的属性往往与形状相关,而前置形容词往往指的是其他属性,例如颜色。我们发现,儿童应用这种归纳偏见准确地反映了儿童导向的语音统计,并在我们的计算模型中诱导类似的偏见捕捉儿童的行为在一个经典的形容词学习实验。我们的模型结合了这种偏见,也证明了一个明确的数据效率在学习中,相对于一个基线模型,学习没有形成语法敏感的过度假设的词义。因此,解决一个更复杂的联合推理问题可能会使语言习得的整个问题变得更容易,而不是更难。
2018-05-14 cs.CL
Separating Surface Order and Syntactic Relations in a Dependency Grammar
本文提出了将依赖树与词序解耦,使得表面排序不是通过遍历依赖树来确定的。我们开发了一个\emph{word order domain structure}的概念,它是链接的,但在结构上不同的语法依赖树。该建议的结果在词汇化,声明性,和正式的词序精确的描述,功能缺乏以前的建议依赖语法。相反,其他词汇化的方法,词序,我们的建议不需要词汇歧义排序的替代品。
1998-08-25 cmp-lg cs.CL
Inducing Syntactic Trees from BERT Representations
Charles University(查理大学);Faculty of Mathematics and Physics(数学与物理学院);Institute of Formal and Applied Linguistics(形式与应用语言学研究所)
我们使用英语模型的BERT,并探讨如何删除一个词在句子中的变化表示的其他单词。我们的假设是,删除一个可简化的词(如形容词)不会影响其他词的表示,因为删除了主要动词,这使得句子不合语法,并为语言模型“高惊喜”。我们估计约简的单个单词和较长的连续短语(字n元),研究它们的语法相关的属性,然后也用它们来诱导完整的依赖树。
2019-06-27 cs.CL
FastKASSIM: A Fast Tree Kernel-Based Syntactic Similarity Metric
Columbia University(哥伦比亚大学)
句法是语言的基本组成部分,但很少有指标已被用来捕捉句法相似性或连贯性在话语和文档的水平。现有的标准文档级句法相似性度量计算量大,并且在面对句法不相似的文档时表现不一致。为了解决这些挑战,我们提出了FastKASSIM,一个度量话语和文档级的句法相似性配对和平均最相似的选区解析树之间的一对文件的基础上树内核。FastKASSIM对句法差异更强大,在r/ChangeMyView语料库中的文档上比其前身快5.32倍。FastKASSIM的改进使我们能够在两个大文档的设置中检查假设。我们发现,句法相似的参数r/ChangeMyView往往更有说服力,和句法是预测的作者归属在澳大利亚高等法院判决语料库。
2023-01-27 cs.CL
On the Definition of Japanese Word
Graduate School of Informatics, Kyoto University(京都大学信息学研究生院)
通用依存关系(UD)的标注指南规定依存关系标注的基本单位是句法词,但日语中句法词的定义并不明确。在依存句法分析中,UD日语树库采用了短单位词,这与使用短语单位词进行依存句法分析的传统不同。然而,我们认为,他们不是句法词指定的注释准则。虽然我们发现非主流的尝试,语言学定义的日语单词,这样的定义从来没有被应用到语料库注释。我们将讨论采用这些不太熟悉的标准的成本和收益。
2019-06-24 cs.CL
Counting trees: A treebank-driven exploration of syntactic variation in speech and writing across languages
University of Ljubljana(卢布尔雅那大学);Jozef Stefan Institute(约瑟夫·斯特凡研究所)
本文提出基于树库的方法,研究口语和写作中句法结构的差异,发现口语结构较少且多样性低,揭示了模态特定的句法偏好。
2026-02-23 cs.CL
Word Sense Disambiguation Based on Mutual Information and Syntactic Patterns
UNED(西班牙国立远程教育大学)
本文描述了一个混合系统的词义消歧,提出了英语的所有单词和词汇样本的任务,依赖于两种不同的无监督的方法。第一种方法根据上下文词与词义变体之间的互信息接近度来选择词义。第二个启发式分析的例子中使用的意义的粉饰,从而推断出简单的句法模式。这些模式与消歧上下文相匹配。我们发现,第一个启发式算法在全词任务中分别获得了0.58和0.35的准确率和召回率,而第二个启发式算法获得了0.80和0.25。获得的高精度建议对该技术进行更深入的研究。还提供了词汇样本任务的结果。
2009-10-28 cs.AI cs.CL
Automatic semantic role labeling on non-revised syntactic trees of journalistic texts
University of São Paulo(圣保罗大学)
语义角色标注(Semantic Role Labeling,SRL)是一种自然语言处理任务,能够检测句子中描述的事件以及这些事件的参与者。对于巴西葡萄牙语(BP),最近有两项研究得出结论,在新闻文本中执行SRL。[1]使用PropBank.Br语料库获得了79.6的F1-measure分数,该语料库具有手动修改的句法树,[8],而不使用树库进行训练,对于相同的语料库获得了68.0的F1-measure分数。然而,使用手动修改的语法树,这项任务并不代表一个真正的应用场景。本文的目标是使用一个更大的和平衡的BP新闻文本语料库,评估SRL在修改和未修改的句法树上的性能。首先,我们已经证明[1]的系统在更大的语料库上也比[8]的系统表现得更好。第二,在未修改的句法树上训练的SRL系统比在金标准数据上训练的系统在未修改的树上表现得更好。
2017-04-10 cs.CL
Mimic and Conquer: Heterogeneous Tree Structure Distillation for Syntactic NLP
Wuhan University(武汉大学);Guangdong University of Foreign Studies(广东外语外贸大学)
语法已被证明对各种NLP任务很有用,而现有工作大多使用一个分层神经网络对单例语法树进行编码。在本文中,我们研究了一种简单有效的方法,知识蒸馏,集成异构结构的知识到一个统一的顺序LSTM编码器。在4个典型的依赖于语法的任务上的实验结果表明,该方法有效地整合了丰富的异构结构语法,同时减少了错误传播,在效率和准确性方面优于树编码器。
2020-09-16 cs.CL
Cross-Linguistic Syntactic Evaluation of Word Prediction Models
Johns Hopkins University(约翰斯·霍普金斯大学)
一系列的研究已经得出结论,神经单词预测模型可以高准确度地区分语法和不语法的句子。然而,这些研究主要基于英语的单语证据。为了研究这些模型学习语法的能力如何因语言而异,我们引入了CLAMS(跨语言模型评估),这是一个用于单语言和多语言模型的语法评估套件。CLAMS包括英语,法语,德语,希伯来语和俄语的主谓一致挑战集,从我们开发的语法生成。我们使用CLAMS来评估LSTM语言模型以及单语言和多语言BERT。在不同语言中,单语LSTM在没有吸引子的依赖关系上达到了很高的准确性,而在对象关系子句之间的一致性上的准确性通常很差。在其他结构上,一致性的准确性通常在具有更丰富形态的语言中更高。多语言模型的表现通常不如单语言模型。多语言BERT在英语上表现出很高的句法准确性,但在其他语言上存在明显的不足。
2020-05-21 cs.CL
RWEN-TTS: Relation-aware Word Encoding Network for Natural Text-to-Speech Synthesis
Netmarble AI Center(网石AI中心)
随着深度学习的出现,出现了大量产生类人语音的文本到语音(TTS)模型。近年来,通过引入输入文本的句法和语义信息,人们提出了各种方法来丰富TTS模型的自然度和表达能力。虽然这些策略取得了令人瞩目的效果,但它们在利用语言信息方面仍存在一定的局限性。首先,大多数方法只使用图网络来利用句法和语义信息,而不考虑语言特征。其次,大多数以前的作品没有明确考虑相邻的词时,编码的句法和语义信息,即使它是显而易见的,相邻的词通常是有意义的编码时,当前的词。为了解决这些问题,我们提出了一种基于语义感知的单词编码网络(RWEN),它有效地允许基于两个模块(即,语义级关系编码和相邻词关系编码)。实验结果表明,与以前的作品相比,有很大的改进。
2022-12-15 cs.CL cs.LG cs.SD
Morpho-syntactic Lexicon Generation Using Graph-based Semi-supervised Learning
Carnegie Mellon University(卡内基梅隆大学);Google Inc.(谷歌公司)
形态句法词典提供了有关语言中单词的形态和句法角色的信息。并非所有语文都有这类词汇,即使有,其覆盖面也可能有限。我们提出了一种基于图的半监督学习方法,该方法利用单词之间的形态、语法和语义关系,从小种子集中自动构建广覆盖词典。我们的方法是独立于语言的,我们表明,我们可以扩展一个1000字的种子词典,其大小的100倍以上,高质量的11种语言。此外,自动创建的词典提供了提高两个下游任务性能的功能:形态标记和依存句法分析。
2016-01-24 cs.CL
Explaining Away Syntactic Structure in Semantic Document Representations
ETH Zürich(苏黎世联邦理工学院)
大多数生成式文档模型作用于词袋输入,试图专注于语义内容,从而部分放弃句法信息。我们认为,它是更可取的,以保持原来的词序完整,而明确的句法结构,而不是。我们提出了对神经变分文档模型的扩展(Miao等人,2016年),它正是这样做的,以分离本地(语法)上下文从全局(语义)表示的文件。我们的模型建立在变分自编码器框架上,定义了一个基于下一个词预测的生成文档模型。我们将我们的方法命名为序列感知变分自编码器,因为与其前身相比,它对真实的输入序列进行操作。在一系列的实验中,我们观察到更强的时事性的学习表示,以及增加的鲁棒性语法噪声在我们的训练数据。
2018-06-05 cs.CL
Straight to the Tree: Constituency Parsing with Neural Syntactic Distance
MILA(蒙特利尔学习算法研究所);University of Montréal(蒙特利尔大学);AdeptMind Scholar;University of Waterloo(滑铁卢大学);Microsoft Research(微软研究院)
在这项工作中,我们提出了一种新的选区解析方案。该模型预测一个向量的实值标量,命名为句法距离,在输入句子中的每个分裂位置。语法距离指定选择拆分点的顺序,以自上而下的方式递归地划分输入。与传统的移位-归约解析方案相比,我们的方法不存在复合错误的潜在问题,同时更快,更容易并行化。我们的模型在PTB数据集中的单个模型,判别式解析器中实现了有竞争力的性能,并且在CTB数据集中优于以前的模型。
2018-06-11 cs.AI cs.CL cs.LG
Syntactic and Semantic Features For Code-Switching Factored Language Models
本文介绍了我们的最新研究的不同功能的因素化语言模型的码切换语音和它们的影响,自动语音识别(ASR)的性能。我们专注于语法和语义特征,可以从代码转换文本数据中提取,并将它们集成到因子化的语言模型。不同的可能因素,如词,词性标记,布朗词集群,开放类词和集群的开放类词嵌入进行了探讨。实验结果表明,Brown词簇、词性标记和开放类词在降低汉英语码转换语料库SEAME上的因子化语言模型的困惑度方面效果最好。在ASR实验中,包含Brown词聚类和词性标记的模型以及还包括开放类词嵌入聚类的模型产生最佳的混合出错率结果。总之,最好的语言模型可以显著降低SEAME评估集的困惑度,相对减少高达10.8%,混合出错率相对减少高达3.4%。
2017-10-04 cs.CL
Unknown Words Analysis in POS tagging of Sinhala Language
Virtusa Pvt. Ltd.(Virtusa私人有限公司);University of Kelaniya(凯拉尼亚大学)
词性分析是任何语言的自然语言处理(NLP)任务中的一个非常重要的课题,它涉及到分析语言的结构、行为和动态,这些知识可以用于计算语言学分析和自动化应用。在这种情况下,处理未知词(未出现在词典中的词称为未知词)也是一项重要任务,因为越来越多的NLP系统用于越来越多的新应用。预测未知词的词汇类别的一个辅助手段是使用语言的句法知识。在标注过程中,通过区分开类词和闭类词,并结合本研究所用语言的句法特征来预测未登录词的词汇类别。通过实验研究了该方法在没有人工干预的情况下利用句法知识解析未登录词的能力。这个实验表明,当词类区分与句法规则一起使用时,标记过程的性能得到增强,以解析包含未知词的句子在僧伽罗语。
2015-01-06 cs.CL
ThaiTrees: Thai Syntactic Dependency Trees Across Domains
Chulalongkorn University(朱拉隆功大学)
针对泰语缺乏大规模自动解析语料库的问题,构建了包含3.42亿词符、覆盖多领域的ThaiTrees语料库,并开发了可复现的清洗、处理与解析流程,支持句法分布研究。\n
2026-09-24 cs.CL
Urdu Dependency Parsing and Treebank Development: A Syntactic and Morphological Perspective
COMSATS University Islamabad(伊斯兰堡COMSATS大学)
本文面向低资源、形态复杂的乌尔都语,构建人工标注新闻树库,并结合词性与形态特征训练依存分析器,最佳 LA 达 70%、UAS 达 84%。
2024-10-02 cs.CL cs.LG
Assessing BERT's Syntactic Abilities
Computer Science Department, Bar Ilan University(巴伊兰大学计算机科学系);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
本文使用(1)自然发生的主谓一致刺激,(2)“无色的绿色想法”主谓一致刺激,即自然句子中的实词被具有相同词性和屈折变化的词随机替换,(3)“绿色想法”主谓一致刺激,对最近引入的BERT模型捕捉英语句法现象的程度进行了评估。(3)手工制作主谓一致和反身回指现象的刺激。BERT模型在所有情况下都表现得非常好。
2019-01-16 cs.CL
Discourse Context Predictability Effects in Hindi Word Order
IIT Delhi(德里印度理工学院);Cornell University(康奈尔大学);IISER Bhopal(博帕尔印度科学教育与研究院)
我们测试的假设,话语的可预测性影响印地语的句法选择。虽然先前的工作已经表明,许多因素(例如,信息状态,依赖长度和句法结构)影响印地语语序偏好,话语可预测性的作用在文献中未得到充分探讨。受前人句法启动研究的启发,我们研究了句子中的词和句法结构如何影响后面句子的词序。具体来说,我们从印地语-乌尔都语树库语料库(HUTB)中提取句子,置换这些句子的前动词成分,并建立一个分类器来预测哪些句子实际上发生在语料库中对人工生成的干扰。该分类器使用了一些基于话语的特征和认知特征来进行预测,包括依存长度、语义和信息状态。我们发现,信息状态和基于LSTM的话语可预测性影响语序的选择,特别是对非规范的对象前置顺序。最后,我们将我们的研究结果置于更广泛的句法启动文献中。
2022-10-25 cs.AI cs.CL cs.IT
From syntactic structure to semantic relationship: hypernym extraction from definitions by recurrent neural networks using the part of speech information
Southwest University(西南大学)
上下义关系是语义网络中的重要组成部分。从定义中识别上位词是自然语言处理和语义分析中的一项重要任务。虽然像WordNet这样的公共词典适用于常见单词,但它在特定领域场景中的应用有限。现有的上位词提取工具要么依赖于特定的语义模式,要么专注于词的表示,这都表现出一定的局限性。
2020-12-07 cs.AI cs.CL
Transformer-Based Neural Text Generation with Syntactic Guidance
Georgia Institute of Technology(佐治亚理工学院)
我们研究的问题,使用(部分)选区解析树的句法指导控制文本生成。现有的方法使用递归结构,这不仅遭受长期依赖问题,而且在建模的语法指导的树结构的不足。我们建议利用Transformer的并行性来更好地结合解析树。我们的方法首先扩展一个部分模板选区解析树到一个完整的解析树为输入源文本量身定制,然后使用扩展的树来指导文本生成。在这个过程中,我们的模型的有效性取决于两个新的注意力机制:1)路径注意力机制,迫使一个节点只关注位于语法树中的路径中的其他节点,以更好地结合语法指导; 2)多编码器注意力机制,允许解码器动态地关注来自多个编码器的信息。我们在受控释义任务中的实验表明,我们的方法在语义和语法上都优于SOTA模型,将最佳基线的BLEU分数从11.83提高到26.27。
2020-10-05 cs.CL
Masked Language Modeling and the Distributional Hypothesis: Order Word Matters Pre-training for Little
Facebook AI Research(Facebook人工智能研究院);McGill University(麦吉尔大学);Mila - Quebec AI(Mila - 魁北克人工智能研究所)
屏蔽语言模型(MLM)预训练令人印象深刻的性能的一个可能的解释是,这些模型已经学会表示经典NLP管道中流行的语法结构。在本文中,我们提出了一个不同的解释:MLMs成功的下游任务几乎完全是由于他们的能力,模型高阶词共现统计。为了证明这一点,我们在随机打乱词序的句子上预训练MLMs,并表明这些模型在许多下游任务上进行微调后仍然具有很高的准确性-包括专门设计用于挑战忽略词序的模型的任务。我们的模型执行令人惊讶的是,根据一些参数的语法探测,表明可能存在的缺陷,我们如何测试表示的语法信息。总的来说,我们的研究结果表明,纯粹的分布信息在很大程度上解释了预训练的成功,并强调了管理需要更深入语言知识的具有挑战性的评估数据集的重要性。
2021-09-09 cs.CL cs.LG
Exploiting Syntactic Features in a Parsed Tree to Improve End-to-End TTS
Northwestern Polytechnical University(西北工业大学)
端到端的TTS,它可以预测语音直接从一个给定的序列的字素或音素,已显示出改进的性能比传统的TTS。然而,它的预测能力仍然受到训练数据的声学/语音覆盖率的限制,通常受到训练集大小的约束。为了进一步提高语音合成质量的发音,韵律和感知的自然度,我们建议利用嵌入在一个句法解析树,一个句子的短语/单词间的信息被组织在一个多级树结构的信息。具体而言,两个关键特征:短语结构和相邻词之间的关系进行了研究。在三个测试集上的主观听觉实验结果表明,该方法能有效地提高基线系统合成语音的发音清晰度、韵律感和自然度。
2019-04-09 cs.AI cs.CL cs.LG
Subword models struggle with word learning, but surprisal hides it
Computational Linguistics, Department of Linguistics(计算语言学系,语言学系);Bielefeld University(比勒菲尔德大学)
本文通过词汇决策任务发现子词LM在区分词汇与非词上不如字符LM,且两者学习轨迹不同,质疑了子词LM在语言习得建模中的充分性。
2025-06-02 cs.CL
Encoding Syntactic Constituency Paths for Frame-Semantic Parsing with Graph Convolutional Networks
Heriot-Watt University(赫瑞-瓦特大学)
我们研究的问题,从选区树的句法信息集成到一个神经模型中的框架语义解析的子任务,即目标识别(TI),框架识别(FI),和语义角色标注(SRL)。我们使用图卷积网络来学习成分的特定表示,使得每个成分被描述为它对应的产生式语法规则。我们利用这些表示来构建句子中每个单词的句法特征,计算为单词和树中特定任务节点之间路径上的所有成分的总和,例如SRL的目标谓词。当在FrameNet 1.5上测试时,我们的方法在TI和SRL上分别提高了约1%和约3.5%的最新结果(以BERT作为输入获得了+2.5%的额外点),同时在CoNLL 05数据集上产生了与其他语法感知系统相当的结果。
2020-11-26 cs.CL cs.LG
The distribution of syntactic dependency distances
本文提出一种双指数区域模型来描述句法依存距离分布,发现该模型在20种语言中普遍适用,断点平均为4-5个词,揭示了语言处理的普遍组块机制。
2025-07-14 cs.CL
Syntax Representation in Word Embeddings and Neural Networks -- A Survey
Charles University(查理大学)
在自然语言处理任务上训练的神经网络捕获语法,即使它不作为监督信号提供。这表明,句法分析是必不可少的理解语言的人工智能系统。这篇综述论文涵盖了评估不同神经网络架构的单词表示中包含的句法信息量的方法。本文主要综述了英语单语数据在语言建模任务中的应用、多语种数据在神经机器翻译系统和多语种语言模型中的应用。我们描述了哪些预训练的模型和语言表示最适合转移到句法任务。
2020-10-02 cs.CL
Probing for Incremental Parse States in Autoregressive Language Models
MIT(麻省理工学院);Harvard University(哈佛大学)
自回归神经语言模型的下一个词预测显示出对句法的显著敏感性。这项工作评估在何种程度上出现这种行为作为一个学习的能力,以保持增量句法结构的隐式表示的结果。我们在句法探测的增量设置扩展工作,并提出了几个探针提取不完整的句法结构(可操作的通过解析状态从基于堆栈的解析器)自回归语言模型。我们发现,我们的探测器可以用来预测模型的偏好歧义句前缀和因果关系干预模型表示和引导模型的行为。这表明,在自回归神经语言模型中,隐式增量句法推理是下一个词预测的基础。
2022-11-17 cs.CL cs.LG
Expoiting Syntactic Structure for Language Modeling
本文提出了一种语言模型,开发句法结构,并使用它来提取有意义的信息,从单词的历史,从而使使用长距离的依赖关系。该模型将概率分配给单词的每个联合序列--带有中心词注释的二进制解析结构,并以从左到右的方式操作--因此可用于自动语音识别。该模型,它的概率参数化,和一组旨在评估其预测能力的实验,实现了对标准三元模型的改进。
2000-01-25 cs.CL
Tree Transformers are an Ineffective Model of Syntactic Constituency
University of Colorado(科罗拉多大学)
研究表明,旨在提供句法成分结构归纳偏向的树转换器(Tree Transformer),在预训练语言模型中未学习到有意义的成分结构,且在相关错误检测任务上无显著有效改进,并非有效模型。
2024-11-25 cs.CL
Do RNNs learn human-like abstract word order preferences?
UC Irvine(加州大学欧文分校);MIT(麻省理工学院)
RNN语言模型已经在各种任务上取得了最先进的成果,但它们究竟代表了什么语法尚不清楚。在这里,我们研究是否RNN语言模型学习人类的词序偏好的句法交替。我们收集了语言模型测试分数,用于控制句子刺激,表现出英语中主要的句法变化:重NP移位,粒子移位,与格交替,属格交替。我们表明,RNN语言模型再现人类的喜好,在这些交替的基础上,NP长度,生命力和明确性。我们收集人类的可接受性评级为我们的刺激,在第一个可接受性判断实验直接操纵预测的句法交替。我们表明,RNN的性能与人类可接受性评级相似,并且与n元语法基线模型不匹配。我们的研究结果表明,RNN学习的抽象特征的重量,生命力,和明确的基础软约束的句法交替。
2018-11-05 cs.CL
Syntactic Topic Models
Princeton University(普林斯顿大学)
句法主题模型(STM)是一种贝叶斯非参数语言模型,它发现了语义和句法一致的词(主题)的潜在分布。STM模型依赖性解析语料库中的句子被分组到文档。它假设每个词都是从一个潜在的主题中提取出来的,该主题是通过结合文档级特征和本地句法上下文来选择的。每个文档都有一个潜在主题的分布,就像主题模型一样,它提供了语义的一致性。依赖关系解析树中的每个元素在其子元素的主题上也有一个分布,就像在潜在状态语法模型中一样,这提供了语法一致性。这些分布被卷积,使得每个词的主题在其文档和句法上下文下都是可能的。本文基于变分方法推导出一种快速后验推理算法。我们报告定性和定量研究的合成数据和手解析的文件。我们表明,STM是一个更预测的语言模型比目前的模型只基于语法或主题。
2010-02-25 cs.AI cs.CL math.ST
Syntactic Belief Update as the Driver of Garden Path Processing Difficulty
Johns Hopkins University(约翰霍普金斯大学);University College London(伦敦大学学院)
针对词汇惊异度无法预测花园路径句处理难度的问题,提出基于广义Rényi散度的句法信念更新度量,在关键单词处衡量信念更新幅度,更好地拟合人类阅读时间数据。
2026-09-01 cs.CL
SynWMD: Syntax-aware Word Mover's Distance for Sentence Similarity Evaluation
University of Southern California(南加州大学);National University of Singapore(新加坡国立大学)
词移动器距离(WMD)计算词之间的距离,并以两个文本序列中词之间的移动代价来建模文本相似度。然而,它并没有提供良好的性能在句子相似性评估,因为它不包括单词的重要性,并没有考虑到句子中固有的上下文和结构信息。一种改进的WMD方法使用的语法分析树,称为语法感知的词移动器的距离(SynWMD),提出了解决这两个缺点,在这项工作中。首先,从句子的句法分析树中提取词的共现统计信息,并在此基础上构建一个加权图。每个词的重要性是从图的连通性推断出来的。其次,在计算词与词之间的距离时考虑词的局部句法分析结构。为了证明所提出的SynWMD的有效性,我们进行了6个文本语义相似性(STS)数据集和4个句子分类数据集的实验。实验结果表明,SynWMD在STS任务上达到了最先进的性能。它在句子分类任务上也优于其他基于WMD的方法。
2022-06-20 cs.CL