Syntactico-Semantic Reasoning using PCFG, MEBN & PP Attachment Ambiguity
Walchand Institute of Technology（瓦尔昌德理工学院）
概率上下文无关文法（PCFG）是近年来基于概率推理的语法分析器的核心，特别是在自然语言处理的环境中。多实体贝叶斯网络（MEBN）是一种一阶逻辑概率推理方法，被广泛采用并用于不确定性推理。进一步的上层本体，如使用MEBN构建的概率本体网络语言（PR-OWL），负责概率本体，其建模并捕获域语义信息中固有的不确定性。本文试图建立在PCFG和MEBN的概率推理之间的联系，提出了一个形式化的描述PCFG驱动MEBN导致使用PR-OWL建模本体PCFG解析器。此外，本文概述了一种方法来解决介词短语（PP）的附件歧义使用建议之间的映射PCFG和MEBN。
2019-01-28 cs.AI cs.CL
Teaching Probabilistic Logical Reasoning to Transformers
Michigan State University（密歇根州立大学）
本文提出概率约束训练（PCT）方法，通过微调阶段引入概率逻辑规则作为约束，提升Transformer语言模型在不确定文本上的概率逻辑推理能力，并增强其可解释性和泛化性。
2024-02-09 cs.AI cs.CL
Implicit Probabilistic Reasoning Does Not Reflect Explicit Answers in Large Language Models
University of Fribourg, Switzerland（弗里堡大学）；armasuisse S+T, Switzerland（armasuisse S+T）
本研究发现大语言模型在显式概率推理中表现良好，但在隐式概率推理中预测与真实情况存在显著差异，且传统评估方法无法检测此类错误。
2026-02-11 cs.AI cs.CL
Reasoning over Uncertain Text by Generative Large Language Models
Michigan State University（密歇根州立大学）；Florida Institute for Human and Machine Cognition（佛罗里达人类与机器认知研究所）；University of West Florida（西佛罗里达大学）
本文针对大语言模型概率推理能力不足的问题，提出贝叶斯语言推理数据集BLInD及多种形式化提示策略，并通过实验验证了这些策略在多个LLMs上的有效性。
2024-12-27 cs.AI cs.CL
PiCSAR: Probabilistic Confidence Selection And Ranking for Reasoning Chains
Imperial College London（伦敦帝国学院）；University of Edinburgh（爱丁堡大学）；UCL（伦敦大学学院）
PiCSAR通过联合对数似然度评估推理链和最终答案的置信度，无需训练即可提升大语言模型和推理模型的准确性，在多个基准测试中表现优异。
2026-07-14 cs.AI cs.CL
Probabilistic Soundness Guarantees in LLM Reasoning Chains
University of Pennsylvania（宾夕法尼亚大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
针对 LLM 推理链中的错误传播问题，本文提出仅基于已验证前提逐步评估的概率框架 ARES，提供认证统计保证，并在四个基准及长合成链上取得最优检测性能。
2025-09-28 cs.CL cs.LG
Humans and LLMs Diverge on Probabilistic Inferences
McGill University（麦吉尔大学）；Mila – Quebec AI Institute（魁北克人工智能研究所）；University of Vienna（维也纳大学）；FNRS – UCLouvain（佛罗伦萨-鲁汶大学）；Canada CIFAR AI Chair（加拿大CIFAR人工智能主席）
本文通过ProbCOPA数据集研究人类与大语言模型在概率推断上的差异，发现模型在非确定性推理上表现不足，揭示了人类与LLM在推理模式上的根本差异。
2026-02-26 cs.AI cs.CL
Probabilistic Tree-of-thought Reasoning for Answering Knowledge-intensive Complex Questions
Tsinghua University（清华大学）；Huawei Technologies（华为技术有限公司）
本文提出概率性思维树推理方法ProbTree，通过构建查询树并结合闭卷与开卷问答的置信度选择，解决LLM在知识密集型复杂问答中的负面检索和局部错误传播问题，显著优于现有SOTA方法。
2023-11-23 cs.AI cs.CL
Unsupervised Knowledge Graph Alignment by Probabilistic Reasoning and Semantic Embedding
Tencent Jarvis Lab（腾讯天衍实验室）；University of Oxford（牛津大学）；Tencent（腾讯）；Zhejiang University（浙江大学）
知识图谱（KG）对齐是为了发现映射（即，等同实体、关系和其他）。现有的方法可以分为基于嵌入的模型和传统的基于推理和词汇匹配的系统。前者通过跨KG嵌入计算实体的相似性，但它们通常依赖于理想的监督学习设置以获得良好的性能，并且缺乏适当的推理以避免逻辑错误的映射;而后者解决了推理问题，但在利用KG图结构和实体上下文方面很差。在这项研究中，我们的目标是结合上述两个解决方案，从而提出了一个迭代框架命名为PRASE，这是基于概率推理和语义嵌入。它从概率推理系统PARIS中通过实体映射学习KG嵌入，并将得到的实体映射和嵌入反馈回PARIS进行增强。PRASE框架与不同的基于嵌入的模型兼容，我们在多个数据集上的实验证明了其最先进的性能。
2021-06-11 cs.AI cs.CL cs.LG
Probabilistic Concept Graph Reasoning for Multimodal Misinformation Detection
University of Science and Technology Beijing（北京科技大学）；Singapore Management University（新加坡管理大学）；Hong Kong Baptist University（香港浸会大学）
本文提出PCGR框架，通过构建概念图进行多模态虚假信息检测，实现可解释且可进化的方法，提升检测准确性和抗新兴操纵能力。
2026-03-26 cs.CL cs.CV
Towards Logically Consistent Language Models via Probabilistic Reasoning
University of Trento（特伦托大学）；University of Edinburgh（爱丁堡大学）
本文提出一种基于概率推理的训练目标，使语言模型在有限事实集上微调后，能更逻辑一致地处理外部知识，并系统外推到未见但语义相似的事实。
2024-04-19 cs.CL cs.LG
Inferring User Preferences by Probabilistic Logical Reasoning over Social Networks
Stanford University（斯坦福大学）；The Ohio State University（俄亥俄州立大学）
我们提出了一个框架来推断潜在的态度或偏好的用户进行概率一阶逻辑推理的社会网络图。我们的方法回答了关于Twitter用户的问题，比如{ \em这个用户喜欢寿司吗？}或{ \em此用户是纽约尼克斯队的球迷吗？}通过建立一个概率模型，对用户属性（用户的位置或性别）和社交网络（用户的朋友和配偶）进行推理，通过同质性（如果配偶或朋友喜欢寿司，我更有可能喜欢寿司，如果我住在纽约，我更有可能喜欢尼克斯队）等推论。该算法使用远程监督、半监督数据采集和向量空间模型从文本中提取用户属性（例如配偶、教育、位置）和偏好（喜欢和不喜欢）。然后将提取的命题送入概率推理机（我们研究马尔可夫逻辑和概率软逻辑）。我们的实验表明，概率逻辑推理显着提高属性和关系抽取的性能，并在预测用户喜欢或不喜欢，也达到了0.791的F分数，显着优于两个强基线。
2014-11-11 cs.AI cs.CL cs.LG
Doing Experiments and Revising Rules with Natural Language and Probabilistic Reasoning
Cornell University（康奈尔大学）；Google（谷歌公司）
本文提出融合 LLM 与 Monte Carlo 概率推理的在线实验—规则修订模型，能更准确恢复潜在规则并支持最优实验设计。
2024-10-25 cs.AI cs.CL
BayesAgent: Bayesian Agentic Reasoning Under Uncertainty via Verbalized Probabilistic Graphical Modeling
BayesAgent 通过 verbalized 概率图模型实现不确定性下的贝叶斯代理推理，提升置信度校准和文本生成质量。
2026-01-21 cs.AI cs.CL cs.LG
PRASEMap: A Probabilistic Reasoning and Semantic Embedding based Knowledge Graph Alignment System
Tencent Jarvis Lab（腾讯贾维斯实验室）；University of Oxford（牛津大学）；Tencent Platform and Content Group（腾讯平台与内容事业群）；Tencent Healthcare (Shenzhen) Co., LTD.（腾讯医疗健康（深圳）有限公司）
知识图谱（KG）对齐旨在找到等价的实体和关系（即，两个KG之间的映射。现有的方法利用基于推理或基于语义嵌入的技术，但很少有研究探讨他们的组合。在这个演示中，我们提出了PRASEMap，一个无监督的KG对齐系统，它使用概率推理（PR）和语义嵌入（SE）技术迭代计算映射。PRASEMap可以支持各种基于嵌入的KG对齐方法作为SE模块，并且实现简单的人机交互，其另外为用户提供将映射注释反馈回系统以获得更好结果的选项。该演示通过一个具有用户友好界面的独立Web应用程序展示了这些功能。该演示可在https://prasemap.qizhy.com上获得。
2021-08-20 cs.AI cs.CL cs.LG
Probabilistic Reasoning with LLMs for k-anonymity Estimation
College of Computing, Georgia Institute of Technology（佐治亚理工学院计算机学院）；Human-Computer Interaction Institute, Carnegie Mellon University（卡内基梅隆大学人机交互研究所）
本文提出BRANCH方法，利用贝叶斯网络分解联合概率分布，估计文本的k-匿名性值，实验显示73%准确率，比o3-mini提升13%，并发现高方差预测准确率更低。
2025-10-15 cs.CL cs.LG
Probabilistic Box Embeddings for Uncertain Knowledge Graph Reasoning
UMass Amherst（马萨诸塞大学阿默斯特分校）；USC（南加州大学）；Information Sciences Institute, USC（南加州大学信息科学研究所）；UCLA（加州大学洛杉矶分校）
知识库通常由从各种来源收集的事实组成，其中许多是嘈杂的，其中一些是冲突的，导致每个三元组的不确定性水平。知识库也往往是不完整的，促使使用嵌入方法从已知的事实进行归纳，然而，现有的嵌入方法只模型的三层不确定性，推理结果缺乏全局一致性。为了解决这些缺点，我们提出了BEUrRE，一种新的不确定知识图谱嵌入方法与校准的概率语义。BEUrRE将每个实体建模为一个盒子（即轴对齐的超矩形），并将两个实体之间的关系建模为头部和尾部实体盒子上的仿射变换。盒子的几何形状允许有效地计算交叉点和体积，赋予模型校准的概率语义，并促进关系约束的结合。在两个基准数据集上进行的大量实验表明，BEUrRE在置信度预测和事实排名方面始终优于基线，这是由于其概率校准和捕获事实之间高阶依赖关系的能力。
2021-04-09 cs.AI cs.CL cs.LG
Exploring the Potential for Large Language Models to Demonstrate Rational Probabilistic Beliefs
Department of Computing, Imperial College London, UK（计算系，帝国理工学院伦敦分校）
针对大型语言模型（LLMs）在信息检索和自动化决策系统中的应用需求，研究发现当前LLMs缺乏理性连贯的概率信念表示能力，通过构建含不确定真值声明的新数据集并应用成熟量化技术验证了该问题。
2025-04-18 cs.AI cs.CL
Bayesian Teaching Enables Probabilistic Reasoning in Large Language Models
MIT（麻省理工学院）；Meta；Google（谷歌公司）；DeepMind University of British Columbia（不列颠哥伦比亚大学深度思维学院）；Vector Institute（向量研究所）；New York University（纽约大学）；Google Research（谷歌研究）
通过教学使大语言模型模仿贝叶斯模型预测，提升其概率推理能力并推广至新任务。
2026-01-15 cs.AI cs.CL
Using Probabilistic Programs to Train Inductive Reasoning in Large Language Models
Princeton University（普林斯顿大学）；Princeton AI Lab（普林斯顿人工智能实验室）
提出基于程序的后验训练（PPT）方法，利用LLM生成概率程序场景，通过推理产生分布目标，微调模型以提升归纳推理准确性、与人类判断的一致性及校准能力。
2026-05-26 cs.AI cs.CL cs.LG
From Word Models to World Models: Translating from Natural Language to the Probabilistic Language of Thought
MIT（麻省理工学院）；Stanford（斯坦福大学）
提出理性意义构建框架，结合大语言模型与概率程序，将自然语言翻译为概率语言思维，实现语言引导的类人常识推理与世界建模。
2023-06-23 cs.AI cs.CL cs.SC
