On the Predictive Power of Neural Language Models for Human Real-Time Comprehension Behavior
Harvard University（哈佛大学）；Massachusetts Institute of Technology（麻省理工学院）
人类的阅读行为是根据自然语言的统计数据调整的：人类受试者阅读一个单词所花费的时间可以通过对该单词在上下文中的概率的估计来预测。然而，它仍然是一个悬而未决的问题，什么样的计算架构最好地表征了人类实时的部署的期望，这些期望决定了阅读的行为特征。在这里，我们测试了二十多个模型，独立地操纵计算架构和训练数据集的大小，关于他们的下一个词的预期如何预测人类在自然主义文本语料库上的阅读时间行为。我们发现，在模型架构和训练数据集大小之间，单词对数概率和阅读时间之间的关系是（接近）线性的。接下来，我们评估这些模型的特征如何决定其心理测量预测能力，或预测人类阅读行为的能力。一般来说，一个模型对下一个词的预期越好，它的心理预测能力就越好。然而，我们发现在不同的模型架构之间存在着重要的差异。对于任何给定的困惑，深度Transformer模型和n-gram模型通常显示出优于LSTM或结构监督神经模型的心理测量预测能力，特别是对于眼动数据。最后，我们比较模型的心理预测能力，他们的句法知识的深度，作为测量的电池的句法泛化测试开发的方法从受控的心理语言学实验。一旦困惑被控制，我们发现句法知识和预测能力之间没有显着的关系。这些结果表明，可能需要不同的方法来最好地模拟人类的实时的语言理解行为在自然主义的阅读与行为的控制语言材料设计的有针对性的探测句法知识。
2020-06-02 cs.CL
French parsing enhanced with a word clustering method based on a syntactic lexicon
Université Paris-Est（巴黎-est大学）；LIGM（语言与信息学实验室）
本文通过将法语句法词典（Lexicon-Grammar）的数据整合到概率解析器中，并应用聚类方法于法语树库的动词，提高了基于概率上下文无关文法的解析性能。
2026-05-30 cs.CL cs.LG
A Probabilistic Approach in Historical Linguistics Word Order Change in Infinitival Clauses: from Latin to Old French
本研究通过使用计算语言学、自然语言处理、贝叶斯统计和社会语言学方法，为语言学领域提供了一种新的跨学科方法。本文考察了拉丁语和古法语中不定式从句从宾语-动词（OV）到动词-宾语（VO）的语序变化。本文运用变异论的方法，考察了语言演变过程中各个阶段的共时语序变异，并由此推断出历时变异的特征、分期和制约因素。我还表明，在话语配置的语言，如拉丁语和早期古法语，它是可能的，以确定语用中立的情况下，使用信息结构注释。我进一步认为，通过映射到一个句法结构的语用类别，我们可以检测如何词序变化展开。在这项调查中，数据是从注释语料库中提取的，这些语料库跨越了几个世纪的拉丁语和古法语，以及使用计算语言学方法创建的其他资源。然后，这些数据被进一步编纂为各种语用，语义，句法和社会语言学因素。本研究还评估了先前提出的解释语序交替和变化的因素。我展示了信息结构和句法约束如何随着时间的推移而变化，并提出了一种方法，使研究人员能够区分一个稳定的词序交替交替表示变化。最后，我提出了一个三阶段的词序变化的概率模型，这也符合传统的语言变化模式。
2020-11-16 cs.CL
A Systematic Assessment of Syntactic Generalization in Neural Language Models
Massachusetts Institute of Technology（麻省理工学院）；Harvard University（哈佛大学）
虽然最先进的神经网络模型在语言建模基准测试中继续实现较低的困惑分数，但对于广泛覆盖的预测性能的优化是否会导致类似人类的句法知识仍然是未知的。此外，现有的工作还没有提供一个清晰的图片所需的模型属性产生适当的语法概括。我们提出了一个系统的评估神经语言模型的语法知识，测试20个组合的模型类型和数据大小的一组34英语语法测试套件。我们发现语法泛化性能的模型架构，与顺序模型表现不佳的其他架构有很大的差异。Factorially操纵模型架构和训练数据集的大小（1 M-40 M字），我们发现，在句法泛化性能的变化是由架构比数据集的大小在我们的实验中测试的语料库大得多。我们的研究结果还揭示了困惑和句法泛化性能之间的分离。
2020-05-23 cs.CL
Syntactic Structure Processing in the Brain while Listening
INRIA（法国国家信息与自动化研究所）；IIIT Hyderabad（印度海得拉巴国际信息技术学院）；Microsoft（微软）
句法分析是将句法结构分配给句子的任务。有两种流行的句法分析方法：选区句法分析和依存句法分析。最近的工作已经使用了基于选区树的句法嵌入，增量自上而下的解析，和其他单词的句法特征的大脑活动预测给定的文本刺激，研究如何在大脑的语言网络中表示的语法结构。然而，依赖解析树的有效性或跨大脑区域的各种语法解析器的相对预测能力，特别是对于听力任务，尚未被探索。在这项研究中，我们调查的预测能力的大脑编码模型在三个设置：（一）的选区和依赖句法分析为基础的嵌入方法的个人表现，（二）这些句法分析为基础的嵌入方法的有效性时，控制基本的句法信号，（三）相对有效性的每一个句法嵌入方法时，控制其他。此外，我们探索的相对重要性的句法信息（从这些句法嵌入方法）与语义信息使用BERT嵌入。我们发现，选区解析器有助于解释激活颞叶和额中回，而依赖解析器更好地编码句法结构的角回和后扣带皮层。虽然来自BERT的语义信号比任何句法特征或嵌入方法更有效，但句法嵌入方法解释了一些大脑区域的额外差异。
2023-02-16 cs.CL q-bio.NC
Probabilistic Topic and Syntax Modeling with Part-of-Speech LDA
Xerox Research Centre Europe（施乐欧洲研究中心）；University of Guelph（圭尔夫大学）
本文提出了一种基于语义主题和句法类的文本概率生成模型，称为词性LDA（POSLDA）。POSLDA同时揭示了存在于文档集合中的短距离句法模式（语法）和长距离语义模式（主题）。这导致了特定于两个主题（体育，教育，...）的单词分布。和词性（名词、动词等）。例如，多项分布的单词可以被理解为“关于天气的名词”或“关于法律的动词”。我们描述了模型和近似推理算法，然后定性和定量地证明了学习主题的质量。然后，我们讨论了一个NLP应用程序，其中POSLDA的输出可以导致质量的大幅提高：无监督词性标注。我们描述了用于此任务的算法，该算法利用POSLDA学习的分布，从而提高了性能，超出了最先进的水平。
2013-03-12 cs.CL
Developing and Evaluating a Probabilistic LR Parser of Part-of-Speech and Punctuation Labels
我们描述了一种方法来强大的领域无关的句法分析的不受限制的自然发生的（英语）输入。该技术涉及使用基于统一的语法结合概率LR解析器来解析词性和标点符号标签的序列。我们描述了几个语料库使用这种语法的覆盖范围，并报告了一个分析实验的结果，使用来自括号内的训练数据的概率。我们报告的第一个实质性的实验，以评估标点符号的贡献，以获得一个准确的句法分析，通过分析相同的文本与自然发生的标点符号。
1995-10-09 cmp-lg cs.CL
Evaluating Morphological Plausibility of Subword Tokenization via Statistical Alignment with Morpho-Syntactic Features
Charles University, Faculty of Mathematics and Physics Institute of Formal and Applied Linguistics（查理大学数学与物理系形式与应用语言学研究所）
本文提出了一种基于形态-句法特征和IBM模型1的指标，用于评估子词分词的形态合理性，适用于更广泛的语言范围。
2026-01-26 cs.CL
Modelling Child Learning and Parsing of Long-range Syntactic Dependencies
School of Informatics, University of Edinburgh（爱丁堡大学信息学院）；School of Computing, Macquarie University（麦考瑞大学计算机学院）
提出一种基于儿童导向言语与逻辑形式的概率语言习得模型，可同时学习词义和句法，并成功建模长距离句法依存。
2025-03-17 cs.CL
A Model-Driven Probabilistic Parser Generator
University of Granada（格拉纳达大学）
现有的概率扫描器和解析器对解决词汇和句法歧义的方式施加了严格的限制。此外，传统的基于语法的解析工具在它们允许考虑上下文的机制方面受到限制。在本文中，我们提出了一个模型驱动的工具，允许统计语言模型与任意概率估计。我们的工作模型驱动的概率解析是建立在基于模型的解析器生成器ModelCC之上，并使概率解释和解析的照应，后照应，递归引用的消歧抽象语法图。为了证明ModelCC的表达能力，我们描述了一个通用的自然语言解析器的设计。
2012-05-14 cs.CL
Intégration des données d'un lexique syntaxique dans un analyseur syntaxique probabiliste
Université Paris-Est, LIGM（巴黎东大学，LIGM）
本文报告的评估整合数据的句法语义词典，法语的词汇语法，到一个句法分析器。我们表明，通过改变一组标签的动词和谓词名词，我们可以提高性能的非词汇化概率分析器的法语。
2014-04-07 cs.CL
Three studies of grammar-based surface-syntactic parsing of unrestricted English text. A summary and orientation
本文研究了无约束英语文本自动表层句法分析的语法设计。它包括一个摘要和三篇文章。{ \it Morphological disambiguation}记录了在Fred Karlsson提出的约束语法框架内进行的英语形态（或词性）消歧的语法。消歧器试图丢弃那些由词法分析器提出的上下文不合法的替代形态分析。这1,100个约束表达了大约23个一般的、基本上是句法的陈述，作为对形态标记线性顺序的限制。形态学消歧器的错误率比另一种最先进的概率消歧器的错误率小大约十倍，因为两者都允许留下一些最难的歧义未解决。这种准确性表明了基于语法的自然语言解析方法的可行性，因此也有助于更广泛的关于概率与语言技巧{ \it Experiments with Analogistics}解决了如何解决那些在形态消歧器中仍然存在的歧义的问题。两种方法提出和经验评估：（i）启发式消歧的约束条件和（ii）从完全消歧的语料库的一部分，然后应用这些信息来解决剩余的歧义学习技术。
1994-06-27 cmp-lg cs.CL
Learning to Map Sentences to Logical Form: Structured Classification with Probabilistic Categorial Grammars
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
本文讨论了将自然语言句子映射到其意义的代数演算编码的问题。我们描述了一种学习算法，它将λ演算中标记有表达式的句子训练集作为输入。该算法归纳的语法问题，以及一个对数线性模型，表示分布在句法和语义分析的条件下的输入句子。我们将该方法应用于学习数据库的自然语言接口的任务，并表明学习的解析器优于以前的方法在两个基准数据库域。
2012-07-04 cs.CL
Fast Rule-Based Decoding: Revisiting Syntactic Rules in Neural Constituency Parsing
Sun Yat-sen University（中山大学）
最近的研究集中在编码器结构的神经选区解析，而很少的发展致力于解码器。以前的研究表明，基于句法规则的概率统计方法在选区分析中特别有效，而在以前的工作中，可能由于其巨大的计算需求，在神经模型的训练过程中不使用句法规则。在本文中，我们首先实现了一个快速CKY解码过程利用GPU加速，在此基础上，我们进一步推导出一个语法规则为基础的（规则约束）CKY解码。在实验中，我们的方法在PTB和CTB数据集上分别获得了95.89和92.52的F1，与以前的方法相比，这表明了显着的改善。此外，我们的解析器实现强大的和有竞争力的跨域性能在zero-shot设置。
2022-12-16 cs.AI cs.CL cs.LG
Recognizing Bangla Grammar using Predictive Parser
Khulna University of Engineering and Technology (KUET)（库尔纳工程技术大学）
我们描述了孟加拉语的上下文无关文法（CFG），因此我们提出了一个基于该文法的孟加拉语语法分析器。我们的方法是非常普遍适用于孟加拉语句子和方法被广泛接受的语法分析的语言。建议的分析器是一个预测分析器，我们构造的分析表识别孟加拉语语法。使用解析表，我们认识到孟加拉语句子的语法错误时，没有在解析表中的终端条目。如果一种自然语言可以被成功地解析，那么从这种语言进行语法检查就成为可能。该方案是基于自顶向下的分析方法，我们已经避免了左递归的CFG使用左分解的想法。
2012-01-10 cs.CL
A Data-free Universal Prior over Syntactic Structures
University of Cambridge（剑桥大学）
本文提出一种基于认知的增量语言产出模型，无需语言数据即可产生句法结构的通用先验，在138种语言中优于随机树，并与语料库概率正相关，揭示句法概率的认知起源。
2026-10-02 cond-mat.dis-nn cs.CL
Sequential Monte Carlo Steering of Large Language Models using Probabilistic Programs
MIT（麻省理工学院）
提出序贯蒙特卡洛（SMC）引导方法，将语言生成任务转化为离散概率序列模型的后验推理问题，在推理时强制执行LLM输出的语法和语义约束，并以与束搜索相近的计算成本解决填充、语法约束生成等任务。
2023-11-26 cs.AI cs.CL cs.PL
Efficient probabilistic top-down and left-corner parsing
本文探讨了高效的预测广泛覆盖的分析，没有动态规划。与自下而上的方法不同，深度优先自上而下的解析产生的部分解析是跨越整个左上下文的完全连接的树，原则上可以从中读取任何类型的非局部依赖或部分语义解释。我们对比了两种预测分析方法，自顶向下和左角分析，并发现两者都是可行的。此外，我们发现，增强与非本地信息不仅提高了解析器的准确性，但也大大提高了搜索效率。
2000-08-21 cs.CL
Syntactic and Semantic Control of Large Language Models via Sequential Monte Carlo
MIT（麻省理工学院）；ETH Zürich（苏黎世联邦理工学院）；McGill（麦吉尔大学）；Canada CIFAR AI Chair（加拿大 CIFAR 人工智能主席）；Mila（蒙特利尔人工智能研究院）；Johns Hopkins（约翰霍普金斯大学）；Yale（耶鲁大学）；ISI（信息科学研究所）
本文提出基于序贯蒙特卡洛的受控文本生成框架，在推理时灵活施加句法与语义约束，使小型开源模型在四个挑战性任务上超越8倍规模及闭源微调模型。
2025-04-18 cs.AI cs.CL cs.LG
Syntactic Topic Models
Princeton University（普林斯顿大学）
句法主题模型（STM）是一种贝叶斯非参数语言模型，它发现了语义和句法一致的词（主题）的潜在分布。STM模型依赖性解析语料库中的句子被分组到文档。它假设每个词都是从一个潜在的主题中提取出来的，该主题是通过结合文档级特征和本地句法上下文来选择的。每个文档都有一个潜在主题的分布，就像主题模型一样，它提供了语义的一致性。依赖关系解析树中的每个元素在其子元素的主题上也有一个分布，就像在潜在状态语法模型中一样，这提供了语法一致性。这些分布被卷积，使得每个词的主题在其文档和句法上下文下都是可能的。本文基于变分方法推导出一种快速后验推理算法。我们报告定性和定量研究的合成数据和手解析的文件。我们表明，STM是一个更预测的语言模型比目前的模型只基于语法或主题。
2010-02-25 cs.AI cs.CL math.ST
Probabilistic Frame Induction
University of Toronto（多伦多大学）；Microsoft Research（微软研究院）
在自然语言的话语中，相关的事件往往出现在彼此附近，以描述一个更大的场景。这样的结构可以通过框架的概念形式化（a.k.a.）。模板），它包括一组相关的事件和原型参与者以及事件转换。识别框架是信息抽取和自然语言生成的前提，通常是人工完成的。最近已经提出了用于诱导帧的方法，但是它们通常使用特设过程并且难以诊断或扩展。在本文中，我们提出了框架归纳的第一种概率方法，它将框架，事件，参与者作为潜在主题，并学习那些最能解释文本的框架和事件转换。帧的数量推断的一个新的应用程序的分裂合并方法从句法分析。在从文本到诱导框架和提取事实的端到端评估中，我们的方法产生了最先进的结果，同时大大减少了工程工作。
2013-02-20 cs.CL
Probabilistic Relation Induction in Vector Space Embeddings
Cardiff University（卡迪夫大学）
词嵌入已经被发现捕获了惊人丰富的句法和语义知识。然而，如何以可靠的方式提取在词嵌入中隐式编码的关系知识还没有得到充分的理解。在本文中，我们提出了两个概率模型来解决这个问题。第一个模型是基于公共关系即翻译的观点，但是是在概率设置中进行的。我们的第二个模型是基于一个弱得多的假设，即相关词的向量表示之间存在线性关系。与现有的方法相比，我们的模型导致更准确的预测，他们更明确的是什么可以和不能从词嵌入提取。
2017-08-21 cs.AI cs.CL
A Structured Language Model
本文提出了一种语言模型，开发句法结构，并使用它来提取有意义的信息，从单词的历史，从而使使用长距离的依赖关系。该模型为每个带有中心词注释的词-二进制-解析-结构的联合序列分配概率。该模型，它的概率参数化，和一组实验，以评估其预测能力。
2000-01-25 cs.CL
Probabilistic Parsing Strategies
我们提出了新的结果之间的关系，纯粹的符号上下文无关的分析策略和它们的概率对应部分。这样的分析策略被看作是从语法的下推设备的建设。我们证明了概率分布的保持在两个条件下是可能的，即正确前缀性质和强预测性质。这些结果概括了现有的结果在文献中，通过考虑分析策略孤立地获得。从我们的一般结果，我们也得到负面的结果，所谓的广义LR分析。
2002-11-14 cs.CL
Neural Language Taskonomy: Which NLP Tasks are the most Predictive of fMRI Brain Activity?
INRIA（法国国家信息与自动化研究所）；IIIT Hyderabad（印度海得拉巴国际信息技术学院）；Microsoft（微软）
几种流行的基于Transformer的语言模型已经被发现对于文本驱动的大脑编码是成功的。然而，现有文献仅利用预训练的文本Transformer模型，并且尚未探索特定于任务的学习Transformer表示的功效。在这项工作中，我们探索了从十个流行的自然语言处理任务（两个句法和八个语义）学习的表征的迁移学习，用于预测来自两个不同数据集的大脑反应：Pereira（受试者阅读段落中的句子）和Narratives（受试者听口语故事）。基于任务特征的编码模型用于预测整个大脑不同区域的活动。共指消解、NER和浅层句法分析的特征解释了阅读活动的更大差异。另一方面，对于听力活动，任务，如释义生成，摘要，和自然语言推理表现出更好的编码性能。所有10个任务表征的实验提供了以下认知见解：（i）语言左半球比语言右半球具有更高的预测脑活动，（ii）后内侧皮层、颞顶枕交界区、背额叶与早期听觉和听觉联合皮层具有更高的相关性，（iii）句法和语义任务分别在阅读和听力刺激的大脑区域中显示出良好的预测性能。
2022-05-03 cs.AI cs.CL cs.LG
A Probabilistic Disambiguation Method Based on Psycholinguistic Principles
我们解决了句法分析中的结构消歧问题。在心理语言学中，已经提出了许多消歧原则，特别是词汇偏好原则（LPR），正确联想原则（RAP）和附加低和平行原则（ALPP）（RAP的扩展）。我们认为，为了提高消歧结果，有必要实施这些原则的基础上的概率方法。我们定义了一个实现LPR的“三字概率”，以及一个实现RAP和ALPP的“长度概率”。此外，我们采用了“回退”的方法来结合这两种类型的概率。实验结果表明，该方法是有效的，达到89.2%的准确率。
1996-09-26 cmp-lg cs.CL
Towards History-based Grammars: Using Richer Models for Probabilistic Parsing
我们描述了一个自然语言的生成概率模型，我们称之为HBG，它利用详细的语言信息来解决歧义。HBG以一种新颖的方式将来自解析树的词汇、句法、语义和结构信息整合到消歧过程中。我们使用括号句子的语料库，称为树库，结合决策树构建来梳理出解析树的相关方面，这将确定句子的正确解析。这与通过通常的语言内省来进一步裁剪语法以生成正确的解析的通常方法形成对比。在对现有最好的鲁棒概率解析模型之一（我们称之为P-CFG）的头对头测试中，HBG模型明显优于P-CFG，将解析准确率从60%提高到75%，错误减少了37%。
1994-05-03 cmp-lg cs.CL
Three New Probabilistic Models for Dependency Parsing: An Exploration
在提出了一个新的O（n^3）的依存语法分析算法之后，我们提出了三种不同的方法来随机化它：（a）一个词汇亲和模型，其中词之间的相互修饰是困难的;（b）一个意义标记模型，其中词的选择偏好是随机波动的;（c）生成模式，说话者充实每个词的句法和概念结构，而不考虑对听话者的影响。我们还给出了初步的实证结果，从评估三个模型的解析性能的注释华尔街日报训练文本（来自宾夕法尼亚树库）。在这些结果中，生成（即，自上而下）模型的性能明显优于其他模型，并且在分配词性标记方面也表现得相当好。
1997-06-07 cmp-lg cs.CL
Apportioning Development Effort in a Probabilistic LR Parsing System through Evaluation
我们描述了一个强大的独立于领域的英语句法分析的实现系统，使用基于统一的语法部分的语音和标点符号标签加上概率LR解析器。我们提出了沿着几个不同的维度的系统的性能的评估，这些使我们能够评估的贡献，每个单独的部分是作为一个整体的系统的成功，从而优先考虑的努力致力于其进一步增强。目前，该系统能够解析包含许多不同类型的一般文本的大量语料库中约80%的句子。在随机抽样的250个这样的句子，该系统有一个平均交叉括号率为0.71和召回率和准确率分别为83%和84%时，对人工消歧分析进行评估。
1996-04-12 cmp-lg cs.CL
