Exploiting Syntactic Structure for Better Language Modeling: A Syntactic Distance Approach
Westlake University(西湖大学);Westlake Institute for Advanced Study(西湖高等研究院);Mila(米拉计算科学研究所);McGill University(麦吉尔大学)
人们普遍认为,句法结构的知识应该改善语言建模。然而,有效地和计算高效地将句法结构纳入神经语言模型一直是一个具有挑战性的课题。在本文中,我们使用多任务目标,即,这些模型同时预测单词以及被称为“句法距离”的形式的基本事实解析树,其中这两个单独目标之间的信息共享相同的中间表示。在Penn Treebank和Chinese Treebank数据集上的实验结果表明,当提供Ground Truth解析树作为额外的训练信号时,该模型能够获得较低的困惑度,并诱导出质量更好的树。
2020-05-12 cs.CL
Classifying Syntactic Errors in Learner Language
Hebrew University of Jerusalem(耶路撒冷希伯来大学);Stockholm University(斯德哥尔摩大学);MIT(麻省理工学院)
我们提出了一种分类学习者语言中的句法错误的方法,即错误的纠正改变了句子的形态句法结构。该方法建立在已建立的通用重复语法表示方案,并提供补充信息,其他错误分类系统。与现有的错误分类方法不同,我们的方法适用于各种语言,我们通过制作学习者英语和学习者俄语中句法错误的详细图片来展示。我们进一步展示了实用的方法来分析领先的语法纠错(GEC)系统的输出。
2020-10-27 cs.CL
A Systematic Assessment of Syntactic Generalization in Neural Language Models
Massachusetts Institute of Technology(麻省理工学院);Harvard University(哈佛大学)
虽然最先进的神经网络模型在语言建模基准测试中继续实现较低的困惑分数,但对于广泛覆盖的预测性能的优化是否会导致类似人类的句法知识仍然是未知的。此外,现有的工作还没有提供一个清晰的图片所需的模型属性产生适当的语法概括。我们提出了一个系统的评估神经语言模型的语法知识,测试20个组合的模型类型和数据大小的一组34英语语法测试套件。我们发现语法泛化性能的模型架构,与顺序模型表现不佳的其他架构有很大的差异。Factorially操纵模型架构和训练数据集的大小(1 M-40 M字),我们发现,在句法泛化性能的变化是由架构比数据集的大小在我们的实验中测试的语料库大得多。我们的研究结果还揭示了困惑和句法泛化性能之间的分离。
2020-05-23 cs.CL
Controlled Evaluation of Syntactic Knowledge in Multilingual Language Models
MIT(麻省理工学院)
该研究针对三种低资源语言开发句法评估测试,评估五款多语言Transformer语言模型的句法泛化能力,揭示了不同任务的难度差异及部分公开模型的性能问题。
2024-12-12 cs.CL
Reranking Machine Translation Hypotheses with Structured and Web-based Language Models
SRI International(斯坦福国际研究院)
在本文中,我们研究了使用语言动机和计算效率高的结构化语言模型的重新排序N-最好的假设在统计机器翻译系统。这些语言模型是从约束依赖语法分析发展而来的,它紧密地结合了词汇知识、形态和词汇特征以及句法依赖约束。两种结构化的语言模型被应用于N-最佳重评分,一种是几乎解析的语言模型,另一种通过显式地建模词之间的句法依赖关系来利用更多的句法特征。我们还研究了有效和高效的语言建模方法,以使用从多达1太字的Web文档中提取的N元语法。我们将所有这些语言模型应用于NIST和DARPA GALE计划2006年和2007年机器翻译评估任务的N-best重新排名,并发现这些语言模型的组合在盲测试集上将BLEU分数绝对提高了1.6%。
2021-04-25 cs.CL
Syntactic Inductive Bias in Transformer Language Models: Especially Helpful for Low-Resource Languages?
Georgetown University(乔治城大学)
本文检验句法归纳偏置方法在五种低资源语言上的效果,发现其在低资源场景下结果不一致且多数情况下收益甚微。
2023-11-01 cs.CL
Causal Analysis of Syntactic Agreement Neurons in Multilingual Language Models
Johns Hopkins University(约翰斯·霍普金斯大学);New York University(纽约大学)
结构探测工作已经在预训练的语言模型中发现了潜在句法信息的证据。然而,这种分析主要集中在单语模型上,而多语言模型的分析则采用了相关方法,这些方法受到探测任务选择的干扰。在这项研究中,我们因果地探测多语言语言模型(XGLM和多语言BERT)以及跨各种语言的基于单语BERT的模型;我们通过对神经元激活进行反事实扰动并观察对模型的主谓一致概率的影响来做到这一点。我们观察在模型中的位置以及在何种程度上句法一致性在每种语言中被编码。我们在自回归多语言语言模型中发现了显著的神经元重叠,但在掩蔽的语言模型中没有。我们还发现了两种不同的逐层效应模式和两组不同的神经元用于句法一致性,这取决于主语和动词是否被其他标记分开。最后,我们发现语言模型的行为分析可能低估了掩蔽语言模型对句法信息的敏感程度。
2022-10-25 cs.CL
Exploiting Syntactic Structure for Natural Language Modeling
本论文尝试利用自然语言的句法结构来改进语音识别的语言模型。结构化语言模型融合了自动解析和语言建模技术,使用移位-归约解析器的原始概率参数化。一个最大似然重新估计过程属于类的期望最大化算法的训练模型。在《华尔街日报》、Switchboard和广播新闻语料库上的实验表明,与标准的3-gram语言模型相比,在困惑度和单词出错率方面都有改善。本论文的意义在于提出了一种新颖的语言建模方法,该方法利用自然语言的层次句法结构来改进现有的用于大词汇量语音识别的3-gram建模技术。
2000-01-24 cs.CL
Causal Analysis of Syntactic Agreement Mechanisms in Neural Language Models
Harvard University(哈佛大学);Johns Hopkins University(约翰斯·霍普金斯大学);Google Research(谷歌研究院);New York University(纽约大学);Technion – IIT(以色列理工学院)
有针对性的句法评估已经证明了语言模型在困难的上下文中执行主谓一致的能力。为了阐明模型实现这种行为的机制,本研究将因果中介分析应用于预先训练的神经语言模型。我们研究了模型对语法变化的偏好程度,以及神经元是否在具有不同句法结构的句子中类似地处理主谓一致。我们揭示了不同架构和模型大小的相似性和差异-值得注意的是,较大的模型不一定会学习更强的偏好。我们还观察到两个不同的机制,根据输入句子的句法结构产生主谓一致。最后,我们发现,语言模型依赖于相似的神经元集时,给定的句子具有相似的句法结构。
2021-06-22 cs.CL
Tree-Planted Transformers: Unidirectional Transformer Language Models with Implicit Syntactic Supervision
The University of Tokyo(东京大学)
本文提出tree-planting方法,将句法树隐式植入单向Transformer注意力权重,形成TPT模型,在保持推理效率的同时以数据高效方式学习类人句法知识,并在SyntaxGym上显著优于普通Transformer和显式句法语言模型。
2024-06-06 cs.CL
Derivational Probing: Unveiling the Layer-wise Derivation of Syntactic Structures in Neural Language Models
The University of Tokyo(东京大学);RIKEN(日本研究机构)
本文提出 Derivational Probing 方法,探究神经语言模型中微句法与宏句法结构随词嵌入跨层传播的逐层派生过程,发现微句法在低层形成并在高层整合为宏句法,且其构建时机对下游性能至关重要。
2025-06-27 cs.CL
Different types of syntactic agreement recruit the same units within large language models
Massachusetts Institute of Technology(麻省理工学院);Kempner Institute at Harvard University(哈佛大学肯普纳研究所)
研究探讨了不同句法现象在大型语言模型中是否共享或独立激活单元,发现句法一致构成模型表征空间中的重要类别。
2026-04-11 cs.CL
Do Syntactic Categories Help in Developmentally Motivated Curriculum Learning for Language Models?
IT University of Copenhagen(哥本哈根IT大学)
研究分析BabyLM和CHILDES的句法特性,探索发展性及认知启发课程方法,发现句法可分类数据子集而非完整噪声语料库是课程学习性能提升的关键,句法知识有助解释模型语言任务表现。
2025-11-11 cs.CL
Transformer Grammars: Augmenting Transformer Language Models with Syntactic Inductive Biases at Scale
DeepMind(深度思维);University of Oxford(牛津大学)
我们介绍了Transformer语法(TG),一类新的Transformer语言模型,结合(i)的表达能力,可扩展性,和强大的性能的Transformers和(ii)递归语法组合,这在这里是通过一个特殊的注意掩码和确定性变换的线性树。我们发现,TG优于各种强大的基线上的高级语言建模的困惑,以及多个语法敏感的语言建模评估指标。此外,我们发现,递归的句法组合瓶颈,代表每个句子作为一个单一的向量损害困惑的文档级语言建模,提供证据表明,一种不同的记忆机制-一个是独立的组成的句法表示-在当前成功的模型中起着重要作用的长文本。
2022-12-06 cs.CL
Overestimation of Syntactic Representationin Neural Language Models
University of Pennsylvania(宾夕法尼亚大学)
本文通过用非句法基线模型复现现有句法探测任务的正面结果,揭示当前神经语言模型句法表征测试方法存在根本缺陷,导致对模型句法能力的高估。
2020-04-10 cs.CL
Indicatements that character language models learn English morpho-syntactic units and regularities
University of Copenhagen(哥本哈根大学);University of Edinburgh(爱丁堡大学)
字符语言模型可以访问表面形态模式,但尚不清楚它们是否或如何学习抽象的形态规则。我们仪器的字符语言模型与几个探针,发现它可以开发一个特定的单元来识别单词的边界,并通过扩展,语素的边界,这使得它能够捕捉这些单位的语言属性和语义。我们的语言模型被证明在识别英语派生词素的选择限制方面出奇的好,这是一项需要形态和句法意识的任务。因此,我们得出结论,当语素与语言中的单词广泛重叠时,字符语言模型可以执行形态抽象。
2018-08-31 cs.CL
Generative Pretrained Structured Transformers: Unsupervised Syntactic Language Models at Scale
Ant Group(蚂蚁集团);ShanghaiTech University(上海科技大学)
本文提出大规模无监督句法语言模型GPST,通过表示代理和硬EM实现句法建模与组合模型的并行预训练,在语言理解、生成及语法归纳上优于GPT-2和现有无监督SLM,并显著加速训练。
2024-06-17 cs.AI cs.CL
Creating a morphological and syntactic tagged corpus for the Uzbek language
Urgench State University(乌尔根奇国立大学);Urgench Branch of Tashkent university of Information Technologies Named After Muhammad al-Khwarizmi(穆罕默德·花剌子米塔什干信息技术大学乌尔根奇分校)
标注语料库的建立是自然语言处理的重要任务之一。没有足够的标记语料库来为低资源的乌兹别克语构建机器学习模型。在本文中,我们试图填补这一空白,开发一种新的词性(POS)和句法标记创建的句法和形态标记语料库的乌兹别克语。这项工作还包括详细的描述和介绍了一个基于Web的应用程序,工作的标记以及。基于所开发的标注工具和软件,我们分享了标注语料库创建第一阶段的经验成果
2022-10-27 cs.CL
Vyākarana: A Colorless Green Benchmark for Syntactic Evaluation in Indic Languages
BITS Pilani, Goa Campus(贝拉理工学院果阿校区);Columbia University(哥伦比亚大学);PICT(浦那工程与技术学院)
虽然在为印度语言开发自然语言理解资源方面取得了重大进展,但句法评估相对较少。与英语不同,印度语有丰富的形态句法,语法性别,自由的线性词序和高度曲折的形态。在本文中,我们介绍Vyākarana:一个基准的无色绿色句子在印度语言的多语种语言模型的句法评估。该基准测试包括四个与语法相关的任务:PoS标记、语义树深度预测、语法格标记和主谓一致。我们使用的数据集的评估任务,以探讨五种多语言的语言模型的不同架构的语法在印度语言。由于其普遍性,我们也包括在我们的实验中的代码转换设置。我们的研究结果表明,从印度语言模型(IndicBERT和MuRIL)的标记级和标记级表示不捕捉印度语言的语法,有效地作为其他高度多语言的语言模型。此外,我们的逐层探测实验表明,虽然mBERT,DistilmBERT和XLM-R本地化的语法在中间层,印度语言模型不显示这样的语法本地化。
2021-10-02 cs.CL
Using Priming to Uncover the Organization of Syntactic Representations in Neural Language Models
Johns Hopkins University(约翰斯·霍普金斯大学);Cornell University(康奈尔大学)
神经语言模型(LM)在需要对句法结构敏感的任务上表现良好。借鉴心理语言学的句法启动范式,我们提出了一种新的技术来分析表征,使这种成功。通过建立结构之间的梯度相似性度量,该技术允许我们重建LM的句法表征空间的组织。我们使用这种技术来证明LSTM LM对不同类型的带有关系从句的句子的表示是以语言可解释的方式分层组织的,这表明LM跟踪句子的抽象属性。
2019-09-23 cs.CL
Expoiting Syntactic Structure for Language Modeling
本文提出了一种语言模型,开发句法结构,并使用它来提取有意义的信息,从单词的历史,从而使使用长距离的依赖关系。该模型将概率分配给单词的每个联合序列--带有中心词注释的二进制解析结构,并以从左到右的方式操作--因此可用于自动语音识别。该模型,它的概率参数化,和一组旨在评估其预测能力的实验,实现了对标准三元模型的改进。
2000-01-25 cs.CL
Refining Targeted Syntactic Evaluation of Language Models
Stanford University(斯坦福大学)
有针对性的英语主谓数一致性句法评估(TSE)使用手工制作的最小句子对来评估语言模型的句法知识,所述最小句子对仅在主要动词的变位上不同。该方法评估语言模型是否将每个语法句子评定为比其不语法对应物更可能。我们为TSE确定了两个不同的目标。首先,评估语言模型的句法知识的系统性:给定一个句子,它能正确地与任意动词共轭吗?第二,评估模型的可能行为:给定一个句子,模型是否将其概率质量集中在正确的动词上,即使只是在可能动词的子集上?我们认为,目前的实现TSE不直接捕获这些目标,并提出了新的指标来分别捕获每个目标。在我们的指标下,我们发现TSE高估了语言模型的系统性,但模型在预测上下文中可能出现的动词上的得分高出40%。
2021-04-19 cs.CL
The Structural Sources of Verb Meaning Revisited: Large Language Models Display Syntactic Bootstrapping
Department of Linguistics, Yale University(语言学系,耶鲁大学);Wu Tsai Institute, Yale University(吴 Tsai 院,耶鲁大学)
本文通过消融句法或共现信息训练 RoBERTa 和 GPT-2,发现大语言模型在动词学习中表现出类似儿童的句法引导效应,且心理动词受影响更大,验证了利用大模型大规模检验发展心理学假设的可行性。
2025-08-17 cs.CL
Universal Syntactic Structures: Modeling Syntax for Various Natural Languages
本文提出一种新的句法表示建模方法,旨在揭示所有自然语言共有的通用句法结构,并通过分析英语和韩语语料库展示其普遍性,进而探讨关键期假说和普遍语法等理论,以加深对人脑语言机制的理解。
2023-12-28 cs.CL
Morpho-syntactic Lexicon Generation Using Graph-based Semi-supervised Learning
Carnegie Mellon University(卡内基梅隆大学);Google Inc.(谷歌公司)
形态句法词典提供了有关语言中单词的形态和句法角色的信息。并非所有语文都有这类词汇,即使有,其覆盖面也可能有限。我们提出了一种基于图的半监督学习方法,该方法利用单词之间的形态、语法和语义关系,从小种子集中自动构建广覆盖词典。我们的方法是独立于语言的,我们表明,我们可以扩展一个1000字的种子词典,其大小的100倍以上,高质量的11种语言。此外,自动创建的词典提供了提高两个下游任务性能的功能:形态标记和依存句法分析。
2016-01-24 cs.CL
Counting trees: A treebank-driven exploration of syntactic variation in speech and writing across languages
University of Ljubljana(卢布尔雅那大学);Jozef Stefan Institute(约瑟夫·斯特凡研究所)
本文提出基于树库的方法,研究口语和写作中句法结构的差异,发现口语结构较少且多样性低,揭示了模态特定的句法偏好。
2026-02-23 cs.CL
Unsupervised Learning of Syntactic Structure with Invertible Neural Projections
Language Technologies Institute(语言技术研究所);School of Computer Science(计算机科学学院);Carnegie Mellon University(卡内基梅隆大学)
句法结构的无监督学习通常使用具有离散潜变量和多项式参数的生成模型来执行。在大多数情况下,这些模型没有利用连续的单词表示。在这项工作中,我们提出了一种新的生成模型,共同学习离散的句法结构和连续的单词表示在无监督的方式级联可逆神经网络与结构化的生成先验。我们表明,可逆性条件允许有效的精确推理和边际似然计算在我们的模型中,只要事先是良好的行为。在实验中,我们实例化我们的方法与马尔可夫和树结构的先验,评估两个任务:部分的语音(POS)的归纳,和无监督的依存句法分析没有黄金POS注释。在Penn Treebank上,我们的马尔可夫结构模型超越了POS归纳的最新结果。同样,我们发现,我们的树结构模型在无监督依存句法分析上实现了最先进的性能,因为在困难的训练条件下,既没有黄金POS注释,也没有基于标点的约束。
2018-08-28 cs.CL cs.LG
Capturing divergence in dependency trees to improve syntactic projection
University of Washington(华盛顿大学);Microsoft Research(微软研究院)
获取语法分析是许多NLP管道的关键部分。然而,世界上大多数语言都没有大量的语法注释语料库可用于构建解析器。句法投影技术试图通过使用由资源贫乏和资源丰富的语言对组成的并行语料库来解决这个问题,利用资源丰富的语言的解析器和语言之间的单词对齐来将解析投影到资源贫乏的语言的数据上。然而,当这两种语言有分歧时,这些投射方法可能会受到影响。在本文中,我们研究的可能性,使用小,平行,注释语料库自动检测两种语言之间的分歧结构模式。然后,这些模式可以用于改进结构投影算法,从而为资源贫乏的语言提供更好的NLP工具,特别是那些可能没有传统的全监督方法所需的大量注释数据的语言。虽然这个检测过程是不详尽的,我们证明,可以自动识别的发散的共同模式,而无需事先知道一个给定的语言对,和模式可以用来提高性能的投影算法。
2016-05-14 cs.CL
Neural Transition-based Syntactic Linearization
University of Rochester(罗切斯特大学);Westlake University(西湖大学)
线性化的任务是找到给定一组单词的语法顺序。传统模型使用统计方法。句法线性化系统,生成一个句子及其句法树,已经显示出最先进的性能。最近的工作表明,多层LSTM语言模型在不使用语法的情况下优于竞争性统计语法线性化系统。在本文中,我们研究了神经语法线性化,利用前馈神经网络构建了一个基于转换的语法线性化器,与LSTM语言模型相比,在这项任务上观察到了更好的结果。
2018-10-23 cs.CL
How to Plant Trees in Language Models: Data and Architectural Effects on the Emergence of Syntactic Inductive Biases
Johns Hopkins University(约翰斯·霍普金斯大学);New York University(纽约大学)
本文探究预训练架构与语料对Transformer句法层级归纳偏置的影响,发现模型深度比宽度更关键,且用儿童导向言语预训练能以少一个数量级的数据诱导层级偏置,表明神经语言模型在认知合理的习得场景中数据效率更高。
2023-05-31 cs.CL
Evaluating German Transformer Language Models with Syntactic Agreement Tests
German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心 (DFKI))
预训练的Transformer语言模型(TLM)最近重新塑造了自然语言处理(NLP):大多数最先进的NLP模型现在都在TLM之上运行,以受益于上下文和知识归纳。为了解释他们的成功,科学界进行了大量的分析。除其他方法外,句法一致性测试被用来分析TLM。然而,大多数研究都是针对英语进行的。在这项工作中,我们分析德国的TLM。为此,我们设计了许多协议任务,其中一些考虑到德语的特殊性。我们的实验结果表明,国家的最先进的德国TLM一般表现良好的协议任务,但我们也确定和讨论的句法结构,将它们推向极限。
2020-07-07 cs.CL
Cross-Linguistic Syntactic Difference in Multilingual BERT: How Good is It and How Does It Affect Transfer?
Fudan University(复旦大学);Max Planck Institute for Evolutionary Anthropology(马克斯·普朗克进化人类学研究所)
多语言BERT(mBERT)已经显示出相当大的跨语言句法能力,由此它能够实现句法知识的有效zero-shot跨语言迁移。有些语言之间的迁移比较成功,但尚不清楚是什么导致了这种差异,以及它是否公平地反映了语言之间的差异。在这项工作中,我们调查的语法关系的分布从mBERT在24个类型不同的语言的背景下。我们表明,不同语言的分布之间的距离是高度一致的语法差异的语言形式主义。这种通过自我监督学习的差异在zero-shot迁移中起着至关重要的作用,并且可以通过语言之间的形态句法特性的变化来预测。这些结果表明,mBERT正确地编码语言的方式与语言的多样性和跨语言迁移的机制提供了见解。
2022-12-21 cs.CL
Classifying Syntactic Regularities for Hundreds of Languages
University of Michigan(密歇根大学);Ubiquiti, Inc.(优比快公司)
本文介绍了语言类型学的分类方法的比较,目的是扩展一个广泛的,但稀疏的语言资源:世界语言结构地图集(WALS)(Dryer和Haspelmath,2013)。我们实验了各种回归和最近邻方法,用于在一组325种语言和六个句法规则从WALS的分类。为了对每条规则进行分类,我们考虑其他五条规则的类型学特征;从每种语言的单词对齐圣经中提取的语言特征;以及每种语言的谱系特征(属和科)。在一般情况下,我们发现,传播的大多数标签之间的所有语言的同类实现最好的准确性标签预测。在此之后,结合类型学和语言学特征的逻辑回归模型提供了下一个最佳性能。有趣的是,这个模型实际上比同一家族的所有语言中的大多数标签都要好。
2016-04-27 cs.CL
Syntactic Enhancement to VSIMM for Roadmap Based Anomalous Trajectory Detection: A Natural Language Processing Approach
Cornell University(康奈尔大学)
句法跟踪的目的是使用自然语言处理模型对目标运动的时空模式进行分类。在本文中,我们概括了早期的工作,考虑一个受约束的随机上下文无关文法(CSCFG)建模模式局限于路线图。受约束的语法有助于在路线图中对特定方向和道路名称进行建模。我们提出了一种新的粒子滤波算法,利用CSCFG模型估计目标的模式。该元级算法与基本级跟踪算法结合操作。大量的数值模拟结果表明,使用模拟地面动目标指示器(GMTI)雷达测量目标跟踪精度的显着改善。
2018-08-04 cs.CL
Syntactic Learnability of Echo State Neural Language Models at Scale
The University of Tokyo(东京大学);MBZUAI(穆罕默德·本·扎耶德人工智能大学);Tohoku University(东北大学);RIKEN(理化学研究所)
本文重新审视了回声状态网络(ESN),发现在约100M单词训练下,其在语法判断任务中表现与Transformer相当或更优,表明复杂架构对句法学习并非总是必要。
2025-03-03 cs.CL
Targeted Syntactic Evaluation of Language Models
Johns Hopkins University(约翰斯·霍普金斯大学)
我们提出了一个数据集,用于评估的语法预测的语言模型。我们自动构建了大量的最小不同的英语句子对,每个句子由一个语法和一个不语法的句子组成。句子对代表了不同的结构敏感现象:主谓一致、反身回指和负极性项。我们期望语言模型为符合语法的句子分配比不符合语法的句子更高的概率。在使用该数据集的实验中,LSTM语言模型在许多构造上表现不佳。带有语法目标的多任务训练(CCG supertaging)提高了LSTM的准确性,但其性能与在线招募的人类参与者的准确性之间仍存在很大差距。这表明,在捕获语言模型中的语法方面,LSTM还有相当大的改进空间。
2018-08-27 cs.CL
Neural Language Models as Psycholinguistic Subjects: Representations of Syntactic State
UC Irvine(加州大学欧文分校);Harvard University(哈佛大学);Primate Research Institute, Kyoto University(京都大学灵长类研究所);MIT(麻省理工学院);IBM Research(IBM研究院)
我们部署的控制心理语言学实验的方法来阐明神经网络语言模型的行为反映句法状态的增量表示的程度。要做到这一点,我们研究模型行为的人工句子包含各种句法复杂的结构。我们测试了四个模型:两个公开可用的英语LSTM序列模型(Jozefowicz等人,2016; Gulordava等人,2018)在大型数据集上训练; RNNG(Dyer等人,2016)在一个小的解析数据集上训练;以及一个LSTM在与RNNG相同的小语料库上训练。我们发现有证据表明,在大型数据集上训练的LSTM以与RNNG相当的方式表示大范围文本的语法状态,而在小型数据集上训练的LSTM则没有或只有微弱的表现。
2019-03-08 cs.CL
Global Syntactic Variation in Seven Languages: Towards a Computational Dialectology
University of Canterbury(坎特伯雷大学)
本文的目标是提供一个完整的代表性的区域语言变异在全球范围内。为此,本文着重于消除三个限制,以前有限的工作方言学/方言测量。首先,而不是假设一个固定的和不完整的变量集,我们使用计算构式语法提供一个可复制的和可证伪的句法特征集。其次,我们不是假设一个特定的兴趣领域,而是使用基于网络抓取和社交媒体数据集的全球语言映射来确定国家品种的选择。第三,我们不是孤立地看待一种语言,而是使用相同的方法对七种主要语言进行建模:阿拉伯语,英语,法语,德语,葡萄牙语,俄语和西班牙语。结果表明,每种语言的模型都能够鲁棒地预测出的样本的原产地更好地使用构造语法比使用简单的句法功能。这些全球规模的实验被用来证明,计算社会语言学的新方法能够提供更普遍的区域变化模型,这对于理解语言变化和大规模变化至关重要。
2021-04-03 cs.CL
Top-Down Tree Structured Text Generation
Fudan University(复旦大学);New York University Shanghai(上海纽约大学)
文本生成是自然语言处理任务中的基本构建块。现有的序列模型直接在文本序列上执行自回归,并且难以生成复杂结构的长句。本文提出了一种简单的方法,把句子生成的树生成任务。通过显式建模的语法结构的组成语法树和执行自上而下,广度优先的树生成,我们的模型适当地修复依赖关系,并执行隐式的全局规划。这与基于过渡的深度优先生成过程相反,深度优先生成过程在解析时难以处理不完整的文本,并且在规划中也不包含未来的上下文。我们在两个生成任务和一个句法分析任务上的初步结果表明,这是一个有效的策略。
2018-08-14 cs.CL
Mitigating Frequency Bias and Anisotropy in Language Model Pre-Training with Syntactic Smoothing
University of Cambridge(剑桥大学);ALTA Institute, University of Cambridge(剑桥大学ALTA研究所);University of Göttingen(哥廷根大学)
本文提出 Syntactic Smoothing 方法,通过在预训练中引入句法先验调整最大似然目标函数,将学习信号分配给句法相似标记,有效缓解了语言模型的频率偏差与各向异性问题。
2024-10-15 cs.CL
Syntactic Structures and Code Parameters
California Institute of Technology(加州理工学院)
我们分配二进制和三进制的纠错码的语法结构的数据,我们研究的代码参数空间中的码点的分布。我们发现,虽然大多数代码填充的低区域近似的叠加的pk10函数,有大量存在的代码以上的吉尔伯特-Varshamov界,甚至以上的渐近界和Plotkin界。我们调查的动态诱导的空间上的代码参数的自旋玻璃模型的语言变化,并表明,在存在的蕴涵关系的语法参数的动态有时可以提高代码。对于大量的语言和语法数据,人们可以从代码参数空间中的诱导动力学中获得关于自旋玻璃动力学的信息。
2016-10-02 cs.CL
Cross-Linguistic Syntactic Evaluation of Word Prediction Models
Johns Hopkins University(约翰斯·霍普金斯大学)
一系列的研究已经得出结论,神经单词预测模型可以高准确度地区分语法和不语法的句子。然而,这些研究主要基于英语的单语证据。为了研究这些模型学习语法的能力如何因语言而异,我们引入了CLAMS(跨语言模型评估),这是一个用于单语言和多语言模型的语法评估套件。CLAMS包括英语,法语,德语,希伯来语和俄语的主谓一致挑战集,从我们开发的语法生成。我们使用CLAMS来评估LSTM语言模型以及单语言和多语言BERT。在不同语言中,单语LSTM在没有吸引子的依赖关系上达到了很高的准确性,而在对象关系子句之间的一致性上的准确性通常很差。在其他结构上,一致性的准确性通常在具有更丰富形态的语言中更高。多语言模型的表现通常不如单语言模型。多语言BERT在英语上表现出很高的句法准确性,但在其他语言上存在明显的不足。
2020-05-21 cs.CL
Syntactic Structure Distillation Pretraining For Bidirectional Encoders
University of California, Berkeley(加州大学伯克利分校);DeepMind(深度思维);University of Oxford(牛津大学)
接受大量数据训练的文本表征学习者在下游任务中取得了显着的成功;有趣的是,他们在具有挑战性的句法能力测试中也表现出色。鉴于这一成功,像BERT这样的可扩展学习者是否可以仅仅凭借数据规模就完全精通自然语言的语法,或者他们是否仍然受益于更明确的语法偏见,这仍然是一个悬而未决的问题。为了回答这个问题,我们引入了一种知识蒸馏策略,通过蒸馏层次结构的语法信息预测-尽管更难扩展-语法语言模型,将语法偏见注入BERT预训练。由于BERT模型屏蔽词在双向上下文中,我们建议提取近似的边缘分布在上下文中的词从句法LM。我们的方法在一组不同的结构化预测任务上将相对误差降低了2-21%,尽管我们在GLUE基准测试中获得了混合的结果。我们的研究结果表明,句法偏见的好处,即使在代表性的学习者,利用大量的数据,并有助于更好地了解句法偏见是最有帮助的基准自然语言理解。
2020-05-27 cs.CL
Is Supervised Syntactic Parsing Beneficial for Language Understanding? An Empirical Investigation
University of Mannheim(曼海姆大学);University of Cambridge(剑桥大学)
传统的NLP长期以来一直认为(监督)句法分析是成功的高级语义语言理解(LU)所必需的。然而,最近出现的端到端神经模型,通过语言建模(LM)进行自我监督,以及它们在广泛的LU任务上的成功,质疑了这种信念。在这项工作中,我们实证研究的有用性监督解析语义LU的LM预训练的Transformer网络的背景下。依靠已建立的微调范例,我们首先耦合一个预训练的Transformer与biaffine解析头,旨在注入显式的语法知识,从通用的语法树库到Transformer。然后,我们微调LU任务的模型,并测量中间解析训练(IPT)对下游LU任务性能的影响。单语英语和zero-shot语言迁移实验(中间目标语言解析)的结果表明,明确的形式化语法,通过IPT注入到Transformers,下游LU性能的影响非常有限和不一致。我们的研究结果,再加上我们的分析Transformers的表示空间之前和之后的中间解析,使一个重要的一步,提供答案的一个基本问题:如何(联合国)availing是监督解析高层次的语义自然语言理解在时代的大型神经模型?
2021-04-28 cs.CL
Tag-Enhanced Tree-Structured Neural Networks for Implicit Discourse Relation Classification
Key Laboratory of Computational Linguistics, Peking University, MOE, China(北京大学计算语言学重点实验室(教育部));Collaborative Innovation Center for Language Ability, Xuzhou, Jiangsu, China(语言能力协同创新中心(江苏徐州));Peking University(北京大学)
识别文本跨度之间的隐含话语关系是一项具有挑战性的任务,因为它需要理解文本的含义。为了解决这个问题,最近的研究尝试了几种深度学习方法,但很少有人利用句法信息。在这项工作中,我们探讨的想法,将句法分析树到神经网络。具体来说,我们采用基于树结构的Tree-LSTM模型和Tree-GRU模型来编码关系中的参数。此外,我们进一步利用组成标签来控制这些树结构神经网络的语义组合过程。实验结果表明,我们的方法达到了国家的最先进的性能PDTB语料库。
2018-03-03 cs.CL
BenchCLAMP: A Benchmark for Evaluating Language Models on Syntactic and Semantic Parsing
Microsoft Semantic Machines(微软语义机器);Scaled Cognition(规模化认知)
本文提出 BenchCLAMP 基准,通过提供上下文无关文法和受约束解码接口,评估语言模型在句法和语义解析任务上的性能,发现受约束的编码器-解码器模型能超越现有最先进方法。
2024-01-10 cs.CL
The Language Model Understood the Prompt was Ambiguous: Probing Syntactic Uncertainty Through Generation
Universitat Pompeu Fabra(庞培法布拉大学);New York University(纽约大学)
当一个句子的开头与多个句法分析兼容时,就会出现暂时的句法歧义。我们检查在何种程度上神经语言模型(LM)表现出不确定性,在这种分析时,处理暂时模糊的输入,以及如何通过消除歧义的线索调制的不确定性。我们探测LM的期望,从它产生:我们使用随机解码来获得一组句子完成,并估计LM分配给每个解释的概率的基础上,跨完成的分析分布。与基于评分的有针对性的句法评估方法不同,这种技术可以探索研究人员事先没有假设的完成。我们应用这种方法来研究两个LM(GPT2和LSTM)对三种类型的临时歧义的行为,使用来自人类句子处理实验的材料。我们发现,LM可以同时跟踪多个分析,不同的结构和背景下的不确定性程度不同。作为对消除歧义线索的回应,LMs通常会选择正确的解释,但偶尔的错误会指向潜在的改进领域。
2021-09-16 cs.CL
Towards a theory of word order. Comment on "Dependency distance: a new perspective on syntactic patterns in natural language" by Haitao Liu et al
Universitat Politècnica de Catalunya(加泰罗尼亚理工大学)
刘海涛等“依存距离:自然语言句法模式的新视角“述评
2017-06-15 cs.CL physics.soc-ph
Mapping Semantic & Syntactic Relationships with Geometric Rotation
TELUS Digital(TELUS数字公司)
RISE通过几何旋转方法在多语言嵌入空间中实现话语层面语义-语法转换的一致映射,支持线性表示假设。
2026-02-25 cs.CL
Causal Interventions Reveal Typologically Organized Syntactic Mechanisms in Multilingual Language Models
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Saarland University(萨尔大学);Leipzig University(莱比锡大学);Heidelberg Institute for Theoretical Studies(海德堡理论研究所)
本研究利用机制可解释性技术,在四种多语言语言模型的三种句法结构上证实跨语言机制迁移,且迁移程度与语言类型学相似度正相关,为语言学理论提供新假说。
2026-09-01 cs.CL
Exploring syntactic information in sentence embeddings through multilingual subject-verb agreement
Idiap Research Institute(伊迪亚普研究所);University of Geneva(日内瓦大学)
本文通过新的多项选择任务和Blackbird Language Matrices数据集,采用两级架构研究多语言预训练语言模型的句法表征,发现其存在语言特异性差异,句法结构在密切相关语言间也不共享。
2024-11-29 cs.CL
Transferring Semantic Roles Using Translation and Syntactic Information
The George Washington University(乔治华盛顿大学);Columbia University(哥伦比亚大学)
我们的论文解决了资源贫乏的语言使用监督注释通过并行数据从资源丰富的语言的语义角色标注的注释投影的问题。我们提出了一种传输方法,采用信息源和目标的句法依赖关系,以及字对齐密度,以提高迭代自举方法的质量。我们的实验产生了一个$3.5$绝对标记的F-分数的改进,一个标准的注释投影方法。
2017-10-03 cs.CL
Fine-Grained Analysis of Cross-Linguistic Syntactic Divergences
Stockholm University(斯德哥尔摩大学);Hebrew University of Jerusalem(耶路撒冷希伯来大学)
不同语言的句法聚合和发散的模式经常被用来为跨语言迁移的工作提供信息。然而,很少有实证工作已经做了量化的流行程度不同的句法差异跨语言对。我们提出了一个框架,从平行语料库中提取任何语言对的分歧模式,建立在通用的一致性。我们表明,我们的框架提供了一个详细的跨语言的分歧,概括以前的方法,并借给自己完全自动化。我们进一步提出了一个新的数据集,一个手动对齐的单词子集的并行UD语料库在五种语言,并使用它来执行详细的语料库研究。我们证明了有用的分析结果表明,它可以帮助帐户的跨语言分析器的性能模式。
2020-07-13 cs.CL
Multilingual Nonce Dependency Treebanks: Understanding how Language Models represent and process syntactic structure
Heinrich-Heine-Universität Düsseldorf(杜塞尔多夫海因里希·海涅大学);IBM Research(IBM研究院);Dalhousie University(达尔豪斯大学)
提出SPUD框架构建五种语言的非ce依存树库,通过困惑度和句法探针实验表明模型性能虽下降但大部分句法能力独立于语义。
2024-06-12 cs.CL