Learning to Map Sentences to Logical Form: Structured Classification with Probabilistic Categorial Grammars
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
本文讨论了将自然语言句子映射到其意义的代数演算编码的问题。我们描述了一种学习算法，它将λ演算中标记有表达式的句子训练集作为输入。该算法归纳的语法问题，以及一个对数线性模型，表示分布在句法和语义分析的条件下的输入句子。我们将该方法应用于学习数据库的自然语言接口的任务，并表明学习的解析器优于以前的方法在两个基准数据库域。
2012-07-04 cs.CL
Probabilistic Frame Induction
University of Toronto（多伦多大学）；Microsoft Research（微软研究院）
在自然语言的话语中，相关的事件往往出现在彼此附近，以描述一个更大的场景。这样的结构可以通过框架的概念形式化（a.k.a.）。模板），它包括一组相关的事件和原型参与者以及事件转换。识别框架是信息抽取和自然语言生成的前提，通常是人工完成的。最近已经提出了用于诱导帧的方法，但是它们通常使用特设过程并且难以诊断或扩展。在本文中，我们提出了框架归纳的第一种概率方法，它将框架，事件，参与者作为潜在主题，并学习那些最能解释文本的框架和事件转换。帧的数量推断的一个新的应用程序的分裂合并方法从句法分析。在从文本到诱导框架和提取事实的端到端评估中，我们的方法产生了最先进的结果，同时大大减少了工程工作。
2013-02-20 cs.CL
A Model-Driven Probabilistic Parser Generator
University of Granada（格拉纳达大学）
现有的概率扫描器和解析器对解决词汇和句法歧义的方式施加了严格的限制。此外，传统的基于语法的解析工具在它们允许考虑上下文的机制方面受到限制。在本文中，我们提出了一个模型驱动的工具，允许统计语言模型与任意概率估计。我们的工作模型驱动的概率解析是建立在基于模型的解析器生成器ModelCC之上，并使概率解释和解析的照应，后照应，递归引用的消歧抽象语法图。为了证明ModelCC的表达能力，我们描述了一个通用的自然语言解析器的设计。
2012-05-14 cs.CL
Learning Probabilistic Sentence Representations from Paraphrases
Toyota Technological Institute at Chicago（芝加哥丰田技术研究院）
概率词嵌入在捕捉概括性和蕴涵概念方面表现出了有效性，但对句子进行类似类型的研究的工作很少。在本文中，我们定义概率模型，产生分布的句子。我们表现最好的模型将每个单词视为应用于多元高斯分布的线性变换算子。我们训练我们的模型的释义，并证明他们自然捕捉句子的特异性。虽然我们提出的模型总体上实现了最佳性能，但我们还表明，通过句子向量的范数，特异性由更简单的架构表示。定性分析表明，我们的概率模型捕捉到了语义蕴涵，并提供了分析单个词的特异性和精确性的方法。
2020-05-16 cs.CL
Probabilistic Typology: Deep Generative Models of Vowel Inventories
Johns Hopkins University（约翰斯·霍普金斯大学）
语言类型学研究人类语言中存在的结构范围。该领域的主要目标是发现哪些可能的现象是普遍存在的，哪些只是常见的。例如，所有的语言都有元音，而大多数--但不是所有--语言都有/u/音。在本文中，我们提出了第一个概率治疗的一个基本问题，在音系类型学：是什么使一个自然的元音库存？我们介绍了一系列深随机点过程，并将其与以前的计算，基于模拟的方法进行对比。我们提供了一套全面的实验超过200种不同的语言。
2017-05-04 cs.CL
Developing and Evaluating a Probabilistic LR Parser of Part-of-Speech and Punctuation Labels
我们描述了一种方法来强大的领域无关的句法分析的不受限制的自然发生的（英语）输入。该技术涉及使用基于统一的语法结合概率LR解析器来解析词性和标点符号标签的序列。我们描述了几个语料库使用这种语法的覆盖范围，并报告了一个分析实验的结果，使用来自括号内的训练数据的概率。我们报告的第一个实质性的实验，以评估标点符号的贡献，以获得一个准确的句法分析，通过分析相同的文本与自然发生的标点符号。
1995-10-09 cmp-lg cs.CL
From Word Models to World Models: Translating from Natural Language to the Probabilistic Language of Thought
MIT（麻省理工学院）；Stanford（斯坦福大学）
提出理性意义构建框架，结合大语言模型与概率程序，将自然语言翻译为概率语言思维，实现语言引导的类人常识推理与世界建模。
2023-06-23 cs.AI cs.CL cs.SC
Noun2Verb: Probabilistic frame semantics for word class conversion
University of Toronto（多伦多大学）；Vector Institute for Artificial Intelligence（向量人工智能研究所）
人类可以灵活地扩展不同语法类别的单词用法，这种现象称为词类转换。名词到动词的转换，或名词动词（例如，到谷歌廉价航班），是最流行的词类转换形式之一。然而，现有的自然语言处理系统在解释和生成新的名动词用法方面是贫乏的。以往的研究表明，如果听话者能够根据与说话者共享的知识计算出预期的含义，那么新的名动词用法是可理解的。在这里，我们探讨了这个建议的计算形式主义表达在框架语义。我们提出了一个正式的框架，Noun2Verb，模拟生产和理解的新名词动词的用法建模共享知识的扬声器和听众的语义框架。我们评估了一组增量概率模型，学习解释和生成新的名动词的用法，通过释义。我们发现，一个模型，说话人和听众合作学习的语义框架元素的联合分布更好地解释了经验名动词的使用比国家的最先进的语言模型，评估数据从1）当代英语在成人和儿童的讲话，2）当代普通话，3）英语的历史发展。我们的工作是基于概率框架语义的词类转换，并在自然语言处理系统和人类词汇创造力之间架起了桥梁。
2022-05-12 cs.CL
Natural-Parameter Networks: A Class of Probabilistic Neural Networks
Hong Kong University of Science and Technology（香港科技大学）
神经网络（NN）在各种应用中已经达到了最先进的性能。不幸的是，在训练数据不足的应用中，它们往往倾向于过拟合。缓解这个问题的一个有效方法是利用贝叶斯方法，通过使用贝叶斯神经网络（BNN）。NN的另一个缺点是缺乏根据数据定制权重和神经元的不同分布的灵活性，这在概率图模型中经常发生。为了解决这些问题，我们提出了一类概率神经网络，称为自然参数网络（NPN），作为NN的一种新型且轻量级的贝叶斯处理。NPN允许使用任意指数族分布来建模权重和神经元。与传统的神经网络和BNN不同，NPN以分布为输入，经过多层变换，产生与目标输出分布相匹配的分布。作为贝叶斯处理，执行有效的反向传播（BP）来学习权重和神经元上的分布的自然参数。作为副产品的每一层的输出分布可以用作诸如链接预测的相关联任务的二阶表示。在真实数据集上的实验表明，NPN可以达到最先进的性能。
2016-11-02 cs.AI cs.CL cs.CV
TextBandit: Evaluating Probabilistic Reasoning in LLMs Through Language-Only Decision Tasks
UC Merced（加州大学默塞德分校）；UC Berkeley（加州大学伯克利分校）；Algoverse
本文提出TextBandit基准，通过纯文本反馈的多臂老虎机任务评估LLM概率推理，发现Qwen3-4B以89.2%最佳臂选择率超越更大模型和传统算法，证明概率推理可从语言中涌现。
2025-10-13 cs.CL
An Empirical Evaluation of Probabilistic Lexicalized Tree Insertion Grammars
我们提出了一个实证研究的适用性概率词汇化树插入语法（PLTIG），词汇化对应概率上下文无关语法（PCFG），随机自然语言处理的问题。PLTIG与非层次N-gram模型和PCFG的性能比较，我们表明，PLTIG结合了两者的最佳方面，与语言建模能力相媲美的N-gram，并提高了解析性能，其非词汇化的对应。此外，PLTIG的训练显示出比PCFG更快的收敛。
1998-08-04 cmp-lg cs.CL
Sen2Pro: A Probabilistic Perspective to Sentence Embedding from Pre-trained Language Model
Tencent AI Lab（腾讯人工智能实验室）
本文提出Sen2Pro框架，将PLM生成的句子由点向量改为概率分布以建模模型与数据不确定性，无需重训且可即插即用，并从理论和多任务实验验证其优于Sen2Vec。
2023-06-04 cs.AI cs.CL
Probabilistic Predictions of People Perusing: Evaluating Metrics of Language Model Performance for Psycholinguistic Modeling
Yale University（耶鲁大学）
通过在自然主义阅读时间和信息理论的语义之间建立关系，语义理论（Hale，2001; Levy，2008）在语言模型和心理语言学模型之间提供了一个自然的接口。本文重新评估了Goodkind和Bicknell（2018）的一个主张，即语言模型对阅读时间建模的能力是其困惑度的线性函数。通过将Goodkind和Bicknell的分析扩展到现代神经体系结构，我们表明所提出的关系并不总是适用于长短期记忆网络，Transformers和预训练模型。我们引入了另一种衡量语言建模性能的方法，称为可预测性规范相关性，该方法基于从人类受试者测量的完形填空概率。我们的新指标产生了一个更强大的语言模型质量和心理语言建模性能之间的关系，允许不同的训练配置模型之间的比较。
2020-09-08 cs.CL cs.NE
A Probabilistic Model of Compound Nouns
复合名词（如示例名词复合词）在自然语言中变得越来越常见，并为NLP系统带来了许多困难的问题，特别是增加了解析的复杂性。在本文中，我们开发了一个概率模型的句法分析这样的化合物。该模型基于从语料库中获取的名词之间的亲缘关系知识来预测复合名词结构。这种基于语料库的方法中固有的问题得到解决：数据稀疏是克服使用语义动机的词类和意义的歧义明确处理的模型。Lauer（1994）中描述了基于该模型的实现，并正确解析了77%的测试集。
1994-09-06 cmp-lg cs.CL
Statistical patterns of word frequency suggesting the probabilistic nature of human languages
Beijing Language and Culture University（北京语言大学）；Anhui Jianzhu University（安徽建筑大学）；Zhejiang University（浙江大学）；Guangdong University of Foreign Studies（广东外语外贸大学）
传统的语言学理论在很大程度上把语言看作是由严格的规则组成的形式系统。然而，他们在处理真实语言方面的失败，最近在统计自然语言处理方面的成功，以及许多心理学实验的发现都表明，语言可能更像是一个概率系统，而不是一个形式系统，因此不能忠实地用形式语言学理论的非此即彼规则来建模。本研究以真实语料为基础，证实了语言共性、历时漂移和语言变异等重要语言学问题都可以转化为言语中的概率和频率模式。这些发现表明，人类语言很可能是概率系统的性质，统计很可能使人类语言的固有属性。
2020-12-01 cs.CL physics.comp-ph
A Probabilistic Generative Grammar for Semantic Parsing
Carnegie Mellon University（卡内基梅隆大学）
领域通用语义解析是自然语言处理中的长期目标，其中语义解析器能够鲁棒地解析来自其被训练的领域之外的句子。目前的方法在很大程度上依赖于新领域的额外监督，以便推广到这些领域。我们提出了一个自然语言语句和逻辑形式的生成模型，并展示了它的应用语义解析。我们的方法依赖于域独立的监督推广到新的领域。我们推导并实现有效的算法，用于训练，解析和句子生成。这项工作依赖于一个新的应用程序的层次狄利克雷过程（HDP）的结构化预测，我们也在这份手稿。这份手稿是博士论文第4章的摘录。Saparov（2022）的论文，其中模型在更大的自然语言理解系统中起着核心作用。这份手稿对Saparov，Saraswat和Mitchell（2017）首次介绍的工作进行了新的简化和更完整的介绍。在这个新的演示文稿中，训练算法，解析算法和句子生成算法的描述和正确性证明都得到了简化。我们还描述了新的应用分层Dirichlet过程的结构化预测。此外，我们扩展了早期的工作与一个新的模型的词形态，它利用了全面的形态数据从维基词典。
2022-02-09 cs.CL cs.LG stat.ML
Is Natural Language a Perigraphic Process? The Theorem about Facts and Words Revisited
Institute of Computer Science, Polish Academy of Sciences（波兰科学院计算机科学研究所）
正如我们所讨论的，一个平稳的随机过程是非遍历的，当一个随机的持久主题可以在从过程中采样的无限随机文本中检测到时，而我们称这个过程为强非遍历的，当一个无限序列的独立随机比特，称为概率事实，需要完全描述这个主题。替换概率事实与算法随机序列的位，称为算法的事实，我们适应这个属性回到遍历过程。随后，我们称一个进程为周图，如果可以从该进程中采样的有限文本中推断出的算法事实的数量像文本长度的幂一样增长。我们提出了这样一个过程的一个简单的例子。此外，我们证明了一个断言，我们称之为关于事实和文字的定理。这个命题指出，从一个过程中提取的文本中可以推断出的概率或算法事实的数量必须大致小于通过PPM压缩算法在该文本中检测到的不同单词状字符串的数量。我们还观察到，莎士比亚戏剧样本的单词字符串的数量遵循经验逐步幂律，与马尔可夫过程形成鲜明对比。因此，我们假设自然语言作为一个过程，不仅是非马尔可夫的，而且是循环的。
2017-11-21 cs.CL cs.IT math.IT
Source codes in human communication
University of Tübingen（图宾根大学）
虽然人类交流的信息论特征在语言学中越来越流行，但迄今为止，它们主要涉及将概率结构嫁接到有关语法的旧思想上。人类和数字通信之间的相似之处一直被强烈强调，差异在很大程度上被忽视。然而，其中一些差异很重要：通信系统是基于每个发送者和接收者共享的预定义代码，而自然语言中单词的分布保证了说话者和听话者都无法访问整个语言代码，这似乎破坏了自然语言在任何有意义的意义上都是概率系统的想法。本文描述了语言的分布特性如何满足信息系统和自然语言之间的差异所带来的各种挑战，以及这些特性所暗示的人类交流的非常不同的观点。
2019-03-08 cs.CL cs.IT math.IT
