LogicAsker: Evaluating and Improving the Logical Reasoning Ability of Large Language Models
The Chinese University of Hong Kong（香港中文大学）；Tencent AI Lab（腾讯AI实验室）
针对大语言模型逻辑推理能力难以直接评估的问题，提出基于命题与谓词逻辑原子技能的LogicAsker评估增强方法，发现模型推理缺陷并构建数据将GPT-4o推理能力最高提升5%，相关资源已公开。
2024-10-08 cs.AI cs.CL cs.LO
ChaosBench-Logic v2: Evaluating LLM Logical Reasoning over Dynamical Systems at Scale
Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
针对二元推理基准的准确性掩盖了关键缺陷，本文提出包含40,886个问题、覆盖165个动力系统的ChaosBench-Logic v2基准和CARE评估协议，揭示模型在状态转换推理、FOL演绎等任务上的表现差异和系统性反相关。
2026-10-16 cs.AI cs.LG
Human-Level Reasoning: A Comparative Study of Large Language Models on Logical and Abstract Reasoning
Universidade Federal de Santa Catarina（联邦圣卡塔琳娜大学）
本文通过八个定制推理问题比较了多个LLM在逻辑和抽象推理能力上的表现，揭示了模型在推理任务上的差异及不足。
2025-10-28 cs.AI
Evaluating Research-Level Math Proofs via Strict Step-Level Verification
Independent Researcher（独立研究者）
提出严格步骤级验证框架，通过约束推理上下文和定理来源，解决大模型在复杂数学证明验证中的“上下文中毒”问题，在FirstProof挑战数据集上优于全局评估，并揭示基准中的隐含歧义。
2026-06-09 cs.AI
LSR-Ben: A Logical and Scientific Reasoning Benchmark for Evaluating Process Reward Models
Research Center for Social Computing（社会计算研究中心）；Interactive Robotics, Harbin Institute of Technology, China（交互机器人学，哈尔滨工业大学，中国）；Beijing Academy of Artificial Intelligence, Beijing, China（北京人工智能研究院，北京，中国）
GR-Ben旨在评估过程奖励模型在科学和逻辑两大领域及九个子领域的误差检测能力，揭示现有模型在非数学领域和计算错误检测上的不足。
2026-10-01 cs.AI cs.CL
LGMT: Logic-Grounded Metamorphic Testing for Evaluating the Reasoning Reliability of LLMs
School of Automation Science and Electrical Engineering, Beihang University（自动化科学与电气工程学院，北京航空航天大学）
提出LGMT框架，利用一阶逻辑推导蜕变关系，通过一致性检查评估LLM推理的鲁棒性，揭示传统评估忽略的隐藏缺陷。
2026-07-03 cs.AI cs.LG cs.SE
Do LLMs Game Formalization? Evaluating Faithfulness in Logical Reasoning
EPFL（苏黎世联邦理工学院）
本文评估了大语言模型在逻辑推理中的忠实性，发现统一生成方法在形式化过程中未表现出系统性作弊行为，但两种阶段流程揭示了两种不同的不忠实性模式。
2026-04-21 cs.AI cs.CL cs.LO
Evaluating Large Language Models with NeuBAROCO: Syllogistic Reasoning Ability and Human-like Biases
Keio University（庆应义塾大学）
本研究通过NeuBAROCO数据集评估大型语言模型的三段论推理能力，发现其在处理信念偏见、转换错误和氛围效应三类类人偏见问题时表现更差。
2023-06-21 cs.AI cs.CL
Evaluating the Reasoning Abilities of LLMs on Underrepresented Mathematics Competition Problems
University of Missouri: Kansas City（密苏里大学：堪萨斯城）
本研究评估了三种LLM在不常见数学竞赛问题上的推理能力，发现DeepSeek-V3在微积分、解析几何和离散数学中表现最佳，但所有模型在几何学上均表现较弱。
2025-12-30 cs.AI
Concept-Reversed Winograd Schema Challenge: Evaluating and Improving Robust Reasoning in Large Language Models via Abstraction
Zhejiang University（浙江大学）；HKUST（香港科技大学）；University of Edinburgh（爱丁堡大学）
本文提出了概念反转的CR-WSC数据集以评估LLMs的鲁棒推理能力，并提出Abstraction-of-Thought（AoT）提示方法，通过概念抽象将对抗样本恢复为正常样本，显著提升了LLMs推理的鲁棒性和一致性。
2024-10-15 cs.AI cs.CL
Sudoku-Bench: Evaluating creative reasoning with Sudoku variants
Sakana AI
Sudoku-Bench通过非常规数独变体评估大语言模型的创造性多步推理，基线显示最先进模型无辅助解题率不足15%，凸显长时程推理能力的提升空间。
2025-05-22 cs.AI cs.CL cs.LG
Reasoning Relay: Evaluating Stability and Interchangeability of Large Language Models in Mathematical Reasoning
Pennsylvania State University（宾夕法尼亚州立大学）；Binghamton University（宾夕法尼亚州立大学布林茅尔分校）；University of Toronto（多伦多大学）；UC Berkeley（加州大学伯克利分校）；Algoverse
本研究探讨大型语言模型在数学推理中的稳定性与可替换性，通过评估不同模型间推理链的延续性，揭示推理过程的可靠性和一致性。
2025-12-16 cs.AI
Evaluating Implicit Biases in LLM Reasoning through Logic Grid Puzzles
Rutgers University（罗格斯大学）；Johns Hopkins University（约翰霍普金斯大学）
提出PRIME框架，利用逻辑网格谜题系统探测LLM在复杂推理中受社会刻板印象的影响，发现模型在解与刻板印象一致时推理更准确。
2026-07-02 cs.AI cs.CL cs.CY
Controlled Reformulation Testing for Logical Consistency in Large Language Models
University of Texas at Austin（德克萨斯大学奥斯汀分校）
研究大语言模型在逻辑等价问题表面形式改变时的逻辑一致性，提出CRTBench基准，评估多个前沿LLMs，发现存在准确率 - 一致性差距，揭示失败集中在逻辑非平凡变换，表明仅靠准确率无法评估LLMs的逻辑推理。
2026-07-17 cs.AI cs.CL
StepMathAgent: A Step-Wise Agent for Evaluating Mathematical Processes through Tree-of-Error
Tsinghua University（清华大学）
针对LLM数学评估只看最终答案、难以解释且不适用证明与开放题的问题，提出基于Tree-of-Error的StepMathAgent及StepMathBench，实现更贴合人类偏好的过程评估。
2025-03-13 cs.AI
Benchmarking LLM Competence on Logical Inference over Probability Operators
Haverford College（哈维福德学院）
本研究构建含14320个提示的概率算子推理基准，评估29个大语言模型，发现多数模型存在答案偏差，仅9个超随机水平，且各维度均有偏差。
2026-08-05 cs.AI cs.CL
PCEval: A Benchmark for Evaluating Physical Computing Capabilities of Large Language Models
Department of Immersive Media Engineering（沉浸媒体工程系）；Sungkyunkwan University（成均馆大学）
PCEval是一个评估大型语言模型物理计算能力的基准，通过自动评估电路生成和硬件交互能力，揭示LLMs在物理布局设计中的不足。
2025-12-31 cs.AI cs.CL
Logical Reasoning with Outcome Reward Models for Test-Time Scaling
Department of Data Science & AI, Monash University（数据科学与人工智能系，莫纳什大学）；College of Engineering and Computer Science, VinUniversity（工程与计算机科学学院，文大学）
本文提出用于演绎逻辑推理的结果奖励模型，并通过回声生成技术扩展训练数据中的错误类型，在FOLIO、JustLogic和ProverQA数据集上提升了多个LLMs的推理性能。
2025-08-27 cs.AI cs.CL
Architectural Fusion Through Contextual Partitioning in Large Language Models: A Novel Approach to Parameterized Knowledge Integration
本文提出上下文分区方法，通过动态分割参数为上下文感知区域并采用梯度驱动分配，无需微调即可提升大模型的准确性、困惑度和连贯性，同时降低内存与训练成本。
2025-08-08 cs.AI cs.CL
Evaluating the Logical Reasoning Abilities of Large Reasoning Models
Hainan University（海南大学）；Westlake University（西湖大学）；Zhejiang Normal University（浙江师范大学）
本文提出涵盖多类逻辑推理与任务形式的 LogiEval 基准，并构建 LogiEval-Hard，揭示现代大型推理模型虽在部分任务上超越人类，却存在跨规模的根本逻辑推理瓶颈。
2025-05-17 cs.AI
Dissecting Logical Reasoning in LLMs: A Fine-Grained Evaluation and Supervision Study
University of Notre Dame（诺丁汉大学）；MBZUAI（马克斯·普朗克人工智能研究所）；University of Pennsylvania（宾夕法尼亚大学）；INRIA（法国国家信息与自动化研究所）
提出FineLogic细粒度评估框架，从准确率、逐步合理性和表示探测三维度分析微调监督格式对LLM逻辑推理的影响，发现自然语言监督利于泛化，符号监督利于结构严谨性。
2025-10-09 cs.AI cs.CL cs.LO
ChatGPT as a Math Questioner? Evaluating ChatGPT on Generating Pre-university Math Questions
Nanyang Technological University（南洋理工大学）；National University of Singapore（新加坡国立大学）
本文通过情境感知与情境无关两类设置评估 ChatGPT 生成大学前数学题目的能力，并构建含 121 个主题、428 节课的 TopicMath 课程数据集。
2024-02-28 cs.AI cs.CL
SATBench: Benchmarking LLMs' Logical Reasoning via Automated Puzzle Generation from SAT Formulas
Stanford University（斯坦福大学）；UCLA（加州大学洛杉矶分校）；UIUC（伊利诺伊大学香槟分校）；CMU（卡内基梅隆大学）；Nanjing University（南京大学）
SATBench通过将SAT公式自动转化为逻辑谜题来评估大语言模型的搜索式逻辑推理能力，实验显示最强模型o4-mini在困难UNSAT问题上仅达65.0%准确率，揭示了当前LLMs在该类推理上的系统性缺陷。
2025-09-22 cs.AI cs.CL cs.LG
OCRBench v2: An Improved Benchmark for Evaluating Large Multimodal Models on Visual Text Localization and Reasoning
Huazhong University of Science and Technology（华中科技大学）；South China University of Technology（华南理工大学）；University of Adelaide（阿德莱德大学）；ByteDance（字节跳动）
OCRBench v2通过构建任务更全、场景更广、含1万人工验证问答对及私有测试集的双语基准，系统评估并揭示了现有大型多模态模型在文本定位、细粒度感知与逻辑推理等方面的不足。
2025-06-05 cs.AI cs.CV
Lost in the Logic: An Evaluation of Large Language Models' Reasoning Capabilities on LSAT Logic Games
Princeton University（普林斯顿大学）
本文通过构建LSAT逻辑游戏数据集并引入Reflexion提示框架，评估并提升了GPT-4和GPT-3.5在复杂逻辑推理任务上的表现，揭示了LLMs修正逻辑错误的能力。
2024-09-23 cs.AI cs.CL
LogiPlan: A Structured Benchmark for Logical Planning and Relational Reasoning in LLMs
Microsoft Azure（微软Azure）；Microsoft（微软）；Microsoft Research（微软研究院）
本研究推出评估大语言模型逻辑规划与关系推理能力的新型结构化基准LogiPlan，涵盖三类核心任务与自校正能力评估，测试多款前沿模型发现性能差距与模型规模、架构相关，推理增强模型在复杂场景下仍存不足。
2025-06-12 cs.AI cs.PF
LogicBench: Towards Systematic Evaluation of Logical Reasoning Ability of Large Language Models
Arizona State University（亚利桑那州立大学）；Microsoft Research（微软研究院）
本文系统评估大语言模型的逻辑推理能力，提出覆盖命题、一阶和非单调逻辑共25种推理模式的LogicBench数据集，并发现现有LLMs在复杂推理与否定场景中表现不佳。
2024-06-06 cs.AI cs.CL
Evaluating Causal Explanation in Medical Reports with LLM-Based and Human-Aligned Metrics
Department of Medical Engineering, Konyang University（康山大学医学工程系）；Department of Artificial Intelligence, Konyang University（康山大学人工智能系）
本研究比较了六种指标在评估自动生成诊断报告中因果解释质量的表现，发现 GPT-Black 和 GPT-White 与专家评估高度一致，优于相似度指标，支持基于 LLM 的评估用于因果推理任务。
2025-06-23 cs.AI cs.CL
ChartEditBench: Evaluating Grounded Multi-Turn Chart Editing in Multimodal Language Models
ChartEditBench通过代码进行多轮视觉引导图表编辑，评估多模态语言模型在持续、上下文感知编辑中的表现，揭示了多轮交互中错误累积和共享上下文失效的问题。
2026-02-17 cs.AI cs.CL
Exploring the Reversal Curse and Other Deductive Logical Reasoning in BERT and GPT-Based Large Language Models
Children's Hospital of Philadelphia（费城儿童医院）；University of Pennsylvania（宾夕法尼亚大学）
本研究发现BERT对反向诅咒免疫，而GPT在处理多集合逻辑推理时存在困难，揭示了两种模型在简单与复杂逻辑推理中的差异。
2024-07-01 cs.AI cs.CL cs.LG
Evaluating the Logical Reasoning Ability of ChatGPT and GPT-4
Westlake University（西湖大学）；Zhejiang University（浙江大学）；Nanyang Technological University（南洋理工大学）；Fudan University（复旦大学）
该研究通过多个逻辑推理基准及自建分布外数据集测试ChatGPT和GPT-4的推理能力，发现二者在知名数据集表现较好但新数据集和分布外场景性能下降，同时发布了LogiEval基准套件。
2023-05-05 cs.AI cs.CL
LOGICAL-COMMONSENSEQA: A Benchmark for Logical Commonsense Reasoning
University of Colorado Boulder（科罗拉多大学博尔德分校）
本文提出LOGICAL-COMMONSENSEQA基准，通过逻辑运算符评估常识推理，发现模型在否定类问题上表现下降，揭示了推理局限性。
2026-04-20 cs.AI cs.CL
WebTestBench: Evaluating Computer-Use Agents towards End-to-End Automated Web Testing
Northeastern University（东北大学）；Kuaishou Technology（快手科技）
本文提出WebTestBench基准，用于评估端到端自动化网页测试能力，揭示现有方法在测试完整性、检测瓶颈和长周期交互可靠性方面的不足。
2026-03-26 cs.AI cs.CL cs.MA
ReportLogic: Evaluating Logical Quality in Deep Research Reports
Leiden Institute of Advanced Computer Science, Leiden University（莱顿先进计算机科学研究所，莱顿大学）；Ant Group（蚂蚁集团）；CISPA Helmholtz Center for Information Security（信息安全霍普夫中心）
提出ReportLogic基准，通过可审计性视角量化报告逻辑质量，包含宏观逻辑、阐述逻辑和结构逻辑三层评估，并训练开源LogicJudge进行可扩展评估。
2026-06-26 cs.AI cs.CL
Agentified Assessment of Logical Reasoning Agents
University of California, Berkeley（加州大学伯克利分校）
本文提出一种评估和基准测试逻辑推理代理的框架，通过代理评估实现可重复、可审计和抗执行失败的评估。案例研究中，自动形式化代理在FOLIO验证集上以86.70%的准确率超越了基线方法。
2026-04-02 cs.AI
Evaluating Relaxations of Logic for Neural Networks: A Comprehensive Study
University of Utah（犹他大学）
符号知识可以为训练神经模型提供关键的归纳偏差，特别是在低数据状态下。一个成功的策略，将这些知识包括放松逻辑语句到次微分损失的优化。在本文中，我们研究的问题，如何最好地放松逻辑表达式，代表标记的例子和知识的问题，我们专注于次可微的t-范数松弛的逻辑。我们提出的理论和经验标准，表征放松将在各种情况下表现最好。在我们的理论研究的目标，保持重言式，Lukasiewicz t-范数表现最好。然而，在我们对文本组块和数字识别任务的实证分析中，乘积t范数具有最佳的预测性能。我们分析了这种明显的差异，并总结了一系列通过逻辑定义损失函数的最佳实践。
2021-07-28 cs.AI cs.LG
A perceptual bias of AI Logical Argumentation Ability in Writing
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））
本研究探讨人类偏见如何影响对AI逻辑推理能力的评估，发现AI生成文本的评估受预设观念影响，且频繁AI用户更不认为AI削弱独立思考。
2025-11-27 cs.AI
The Complexity of Limited Belief Reasoning -- The Quantifier-Free Case
Fudan University（复旦大学）；Australian National University（澳大利亚国立大学）；University of New South Wales（新南威尔士大学）
认知逻辑的经典观点是，主体知道其知识库的所有逻辑结果。这种逻辑全知的假设通常是不现实的，并且使得推理在计算上难以处理。避免逻辑全知全能的一种方法是将推理限制在一定的信念水平，这直观地衡量了推理的深度。“本文研究了具有置信水平的推理的计算复杂性。首先，我们表明，虽然推理仍然听话，如果水平是恒定的，复杂性跳跃到PSPACE完成-也就是说，超越经典推理-当信仰水平是输入的一部分。然后，我们进一步细化的图片使用参数化的复杂性理论，研究如何信念水平和非逻辑符号的数量影响的复杂性。
2018-05-08 cs.AI cs.LO
Quantum Circuit Reasoning Models: A Variational Framework for Differentiable Logical Inference
UC Berkeley, School of Information（伯克利大学信息学院）
量子电路推理模型通过变分框架实现可微逻辑推理，将量子力学操作映射到推理原语，用于科学、生物医学和化学领域的推理任务。
2025-11-26 cs.AI quant-ph
An original model for multi-target learning of logical rules for knowledge graph reasoning
Harbin Institute of Technology at Weihai（哈尔滨工业大学（威海））
大规模知识图谱提供人类知识的结构化表示。然而，由于不可能收集所有的知识，知识图谱通常是不完整的。基于现有事实的推理为发现缺失的事实铺平了道路。在本文中，我们研究的问题，学习逻辑规则的推理知识图谱，以完成缺失的事实三元组。学习逻辑规则使模型具有很强的可解释性以及推广到类似任务的能力。我们提出了一个模型，能够充分利用训练数据，也认为多目标的情况下。此外，考虑到模型的性能和挖掘规则的质量评估的不足，我们进一步提出了两个新的指标来帮助解决这个问题。实验结果表明，我们的模型在五个基准数据集上的性能优于最先进的方法。结果也证明了指标的有效性。
2022-07-15 cs.AI cs.LG
Enhancing Transformers for Generalizable First-Order Logical Entailment
Department of Computer Science and Engineering, HKUST, Hong Kong SAR, China（香港科技大学计算机科学与工程系）；Department of Computer Science and Engineering, Beihang University, Beijing, China（北航计算机科学与工程系）；Department of Mathematical Sciences, Tsinghua University, Beijing, China（清华大学数学科学系）
本文研究了Transformer的可泛化一阶逻辑推理能力，揭示了以往架构设计中位置编码的不匹配问题，并提出逻辑感知架构TEGA以显著提升其在一阶逻辑蕴含任务上的性能。
2025-07-10 cs.AI cs.CL
Neural Compositional Rule Learning for Knowledge Graph Reasoning
UCLA（加州大学洛杉矶分校）；Intel Labs（英特尔实验室）
学习逻辑规则对于提高幼儿园的推理能力至关重要。这是由于它们在用于预测时能够提供逻辑和可解释的解释，以及它们概括到其他任务、领域和数据的能力。虽然最近的方法已经被提出来学习逻辑规则，但这些方法中的大多数要么受到其计算复杂性的限制，并且不能处理大规模KG的大搜索空间，要么在暴露于训练集之外的数据时表现出较差的泛化能力。在本文中，我们提出了一个端到端的神经模型学习组合逻辑规则称为NCRL。NCRL检测规则体的最佳组合结构，并将其分解为小的组合以推断规则头。通过递归合并规则体中的组合与递归注意单元，NCRL最终预测单个规则头。实验结果表明，NCRL学习到的规则质量较高，具有较好的泛化能力。具体来说，我们表明，NCRL是可扩展的，高效的，并产生国家的最先进的结果，知识图谱完成大规模的KG。此外，我们测试NCRL的系统推广，学习原因小规模的观察图和评估较大的看不见的。
2023-03-07 cs.AI
Evaluating SAT and SMT Solvers on Large-Scale Sudoku Puzzles
Amherst College（阿默斯特学院）
本研究通过在自研生成的多难度25x25大规模数独谜题上测试，对比了Z3、CVC5等现代SMT求解器与经典SAT求解器的性能，证实SMT求解器表现更优，展现了其在大规模约束满足问题中的应用价值。
2025-01-15 cs.AI cs.LO
Understanding Inter-Session Intentions via Complex Logical Reasoning
HKUST（香港科技大学）；Amazon.com Inc（亚马逊公司）
本文提出逻辑会话复杂查询回答（LS-CQA）任务，将跨会话复杂意图建模为超图上的逻辑查询，并设计 LSGT 模型，在三个数据集上取得最先进结果。
2024-06-14 cs.AI cs.CL
HateXScore: A Metric Suite for Evaluating Reasoning Quality in Hate Speech Explanations
Singapore University of Technology and Design（新加坡科技设计大学）
HateXScore通过四个维度评估仇恨言论解释的推理质量，揭示可解释性问题，提升审核透明度
2026-01-20 cs.AI cs.CL
Rule2Text: A Framework for Generating and Evaluating Natural Language Explanations of Knowledge Graph Rules
University of Texas at Arlington（德克萨斯理工大学）
提出Rule2Text框架，利用大语言模型将知识图谱挖掘的逻辑规则转化为自然语言解释，通过人类评估和LLM-as-a-judge验证，微调开源模型显著提升解释质量。
2026-06-24 cs.AI cs.CL
Evaluating Reasoning Fidelity in Visual Text Generation
Stony Brook University（石桥大学）
通过长文本渲染、事实知识探测、上下文理解和多步推理等任务，评估当前文本到图像模型在视觉文本生成中是否忠实保持推理能力，发现其常产生语义错误和逻辑不一致，与纯文本模型存在显著差距。
2026-06-03 cs.AI cs.CL cs.CV
Can LLMs Reason Like Automated Theorem Provers for Rust Verification? VCoT-Bench: Evaluating via Verification Chain of Thought
University of Virginia（弗吉尼亚大学）
本文提出VCoT-Bench，通过验证思维链评估LLMs在Rust验证中的能力，揭示其在不同证明类型和缺失证明情况下的脆弱性。
2026-08-18 cs.AI cs.LG cs.SE
