CLR-Fact: Evaluating the Complex Logical Reasoning Capability of Large Language Models over Factual Knowledge
The Hong Kong University of Science and Technology（香港科技大学）
本文提出CLR-Fact基准，系统评估LLMs在通用与生物医学知识图谱上的复杂逻辑推理能力，发现思维链提示可显著提升性能，且模型擅长并集运算但交集推理薄弱。
2024-07-30 cs.CL
RuozhiBench: Evaluating LLMs with Logical Fallacies and Misleading Premises
LibrAI；MBZUAI（MBZUAI（ Mohamed bin Zayed University of Artificial Intelligence））；The University of Melbourne（墨尔本大学）
该研究针对LLMs识别逻辑谬误和误导性前提能力研究不足的问题，构建含677个双语问题的RuozhiBench数据集，评估17个LLMs后发现其在此任务上能力有限，最佳模型准确率仅62%远低于人类的90%以上。
2025-02-18 cs.CL
LogicAsker: Evaluating and Improving the Logical Reasoning Ability of Large Language Models
The Chinese University of Hong Kong（香港中文大学）；Tencent AI Lab（腾讯AI实验室）
针对大语言模型逻辑推理能力难以直接评估的问题，提出基于命题与谓词逻辑原子技能的LogicAsker评估增强方法，发现模型推理缺陷并构建数据将GPT-4o推理能力最高提升5%，相关资源已公开。
2024-10-08 cs.AI cs.CL cs.LO
ChLogic: Evaluating Robustness of Logical Reasoning in Chinese Expressions
College of Mathematics, Sichuan University（四川大学数学学院）；Theory Lab, 2012 Labs, Huawei Technologies Co., Ltd（华为技术有限公司2012实验室理论实验室）
提出英中对照基准ChLogic，通过形式逻辑模板构建数据集，测试模型在英文和多种中文表达下逻辑推理的鲁棒性，发现英中性能差距，回译效果因数据集和模型而异。
2026-06-17 cs.CL
Evaluating the Rationale Understanding of Critical Reasoning in Logical Reading Comprehension
The Asahi Shimbun Company（朝日新闻公司）；National Institute of Informatics（国立信息学研究所）
本文构建了一个包含3,003个子问题的数据集，用于评估语言模型对逻辑阅读理解中批判性推理理由的理解，实验发现现有大模型即使能答对主问题，也难以解释为何排除错误选项，从而揭示了其在批判性推理上的不足。
2023-11-30 cs.CL
LSR-Ben: A Logical and Scientific Reasoning Benchmark for Evaluating Process Reward Models
Research Center for Social Computing（社会计算研究中心）；Interactive Robotics, Harbin Institute of Technology, China（交互机器人学，哈尔滨工业大学，中国）；Beijing Academy of Artificial Intelligence, Beijing, China（北京人工智能研究院，北京，中国）
GR-Ben旨在评估过程奖励模型在科学和逻辑两大领域及九个子领域的误差检测能力，揭示现有模型在非数学领域和计算错误检测上的不足。
2026-10-01 cs.AI cs.CL
Evaluating Large Language Models with NeuBAROCO: Syllogistic Reasoning Ability and Human-like Biases
Keio University（庆应义塾大学）
本研究通过NeuBAROCO数据集评估大型语言模型的三段论推理能力，发现其在处理信念偏见、转换错误和氛围效应三类类人偏见问题时表现更差。
2023-06-21 cs.AI cs.CL
Do LLMs Game Formalization? Evaluating Faithfulness in Logical Reasoning
EPFL（苏黎世联邦理工学院）
本文评估了大语言模型在逻辑推理中的忠实性，发现统一生成方法在形式化过程中未表现出系统性作弊行为，但两种阶段流程揭示了两种不同的不忠实性模式。
2026-04-21 cs.AI cs.CL cs.LO
Concept-Reversed Winograd Schema Challenge: Evaluating and Improving Robust Reasoning in Large Language Models via Abstraction
Zhejiang University（浙江大学）；HKUST（香港科技大学）；University of Edinburgh（爱丁堡大学）
本文提出了概念反转的CR-WSC数据集以评估LLMs的鲁棒推理能力，并提出Abstraction-of-Thought（AoT）提示方法，通过概念抽象将对抗样本恢复为正常样本，显著提升了LLMs推理的鲁棒性和一致性。
2024-10-15 cs.AI cs.CL
Evaluating Temporal Reasoning in Large Language Models: Event Temporal Relation Extraction with Allen's Interval Algebra, Logical Consistency, and Relative Time in Narratives
Islamic University of Technology（伊斯兰科技大学）；Rajshahi University of Engineering & Technology（拉杰沙希工程技术大学）
本研究评估5个大型语言模型对360篇英文叙事的Allen区间关系抽取能力，发现模型在宏F1上优于基线但存在解析缺陷，需可靠结构化输出与相对时间处理能力。
2026-10-14 cs.CL
Controlled Reformulation Testing for Logical Consistency in Large Language Models
University of Texas at Austin（德克萨斯大学奥斯汀分校）
研究大语言模型在逻辑等价问题表面形式改变时的逻辑一致性，提出CRTBench基准，评估多个前沿LLMs，发现存在准确率 - 一致性差距，揭示失败集中在逻辑非平凡变换，表明仅靠准确率无法评估LLMs的逻辑推理。
2026-07-17 cs.AI cs.CL
Sudoku-Bench: Evaluating creative reasoning with Sudoku variants
Sakana AI
Sudoku-Bench通过非常规数独变体评估大语言模型的创造性多步推理，基线显示最先进模型无辅助解题率不足15%，凸显长时程推理能力的提升空间。
2025-05-22 cs.AI cs.CL cs.LG
LogicInference: A New Dataset for Teaching Logical Inference to seq2seq Models
Google Research（谷歌研究院）
诸如Transformers或LSTM之类的机器学习模型难以处理本质上是组合的任务，例如涉及推理/推断的任务。尽管存在许多数据集来评估合成泛化，但在评估推理能力时，选项更加有限。本文介绍了LogicInference，一个新的数据集来评估模型执行逻辑推理的能力。该数据集侧重于使用命题逻辑和一阶逻辑的一小部分进行推理，这些逻辑以半形式逻辑符号和自然语言表示。我们还报告了使用一系列机器学习模型在该数据集中建立初始基线的初步结果。
2022-04-11 cs.AI
Benchmarking LLM Competence on Logical Inference over Probability Operators
Haverford College（哈维福德学院）
本研究构建含14320个提示的概率算子推理基准，评估29个大语言模型，发现多数模型存在答案偏差，仅9个超随机水平，且各维度均有偏差。
2026-08-05 cs.AI cs.CL
From Tables to Quantified Statements: Evaluating LLM Inference Generation through Executable Verification
University of Illinois Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）
本研究提出STAT-TO-TEXT任务，利用LLM从统计表格生成量化推理，并通过可执行Python代码验证，发现更大模型（如GPT-OSS-120B）在忠实度、覆盖率和多样性上表现更优。
2026-09-22 cs.CL
Evaluating Implicit Biases in LLM Reasoning through Logic Grid Puzzles
Rutgers University（罗格斯大学）；Johns Hopkins University（约翰霍普金斯大学）
提出PRIME框架，利用逻辑网格谜题系统探测LLM在复杂推理中受社会刻板印象的影响，发现模型在解与刻板印象一致时推理更准确。
2026-07-02 cs.AI cs.CL cs.CY
PCEval: A Benchmark for Evaluating Physical Computing Capabilities of Large Language Models
Department of Immersive Media Engineering（沉浸媒体工程系）；Sungkyunkwan University（成均馆大学）
PCEval是一个评估大型语言模型物理计算能力的基准，通过自动评估电路生成和硬件交互能力，揭示LLMs在物理布局设计中的不足。
2025-12-31 cs.AI cs.CL
Don't Judge a Book by its Cover: Testing LLMs' Robustness Under Logical Obfuscation
Manipal University Jaipur（马纳普大学贾普尔分校）；Indian Institute of Technology, Patna（印度理工学院帕坦分校）；Indian Institute of Science Education and Research, Kolkata（印度科学教育与研究学院科钦分校）
本研究提出Logifus框架和LogiQAte基准，测试LLMs在逻辑混淆下的鲁棒性，发现混淆显著降低模型性能，揭示当前LLMs缺乏深度理解。
2026-08-04 cs.CL
Flying Pigs, FaR and Beyond: Evaluating LLM Reasoning in Counterfactual Worlds
University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）；Wright State University（威斯汀豪斯州立大学）
本文研究了LLM在反事实场景下的推理能力，提出FaR方法以增强模型的元认知，减少逻辑与知识冲突带来的性能下降。
2026-03-24 cs.CL cs.LG
Logical Reasoning with Outcome Reward Models for Test-Time Scaling
Department of Data Science & AI, Monash University（数据科学与人工智能系，莫纳什大学）；College of Engineering and Computer Science, VinUniversity（工程与计算机科学学院，文大学）
本文提出用于演绎逻辑推理的结果奖励模型，并通过回声生成技术扩展训练数据中的错误类型，在FOLIO、JustLogic和ProverQA数据集上提升了多个LLMs的推理性能。
2025-08-27 cs.AI cs.CL
ChatGPT as a Math Questioner? Evaluating ChatGPT on Generating Pre-university Math Questions
Nanyang Technological University（南洋理工大学）；National University of Singapore（新加坡国立大学）
本文通过情境感知与情境无关两类设置评估 ChatGPT 生成大学前数学题目的能力，并构建含 121 个主题、428 节课的 TopicMath 课程数据集。
2024-02-28 cs.AI cs.CL
Evaluating Dependencies in Fact Editing for Language Models: Specificity and Implication Awareness
Mila（米拉研究所）；McGill University（麦吉尔大学）
本文提出评估协议和DepEdit数据集，用于考察LLM事实编辑中的特异性与逻辑蕴含依赖，实验表明现有方法对表层形式敏感且蕴含推理能力有限。
2023-12-04 cs.CL
Lost in the Logic: An Evaluation of Large Language Models' Reasoning Capabilities on LSAT Logic Games
Princeton University（普林斯顿大学）
本文通过构建LSAT逻辑游戏数据集并引入Reflexion提示框架，评估并提升了GPT-4和GPT-3.5在复杂逻辑推理任务上的表现，揭示了LLMs修正逻辑错误的能力。
2024-09-23 cs.AI cs.CL
LogiNumSynth: Synthesizing Joint Logical-Numerical Reasoning Problems for Language Models
State Key Laboratory for Novel Software Technology（新型软件技术国家重点实验室）；Nanjing University（南京大学）
提出LogiNumSynth问题合成器，通过细粒度控制生成联合逻辑-数值推理任务，支持过程与答案评估及针对性训练，有效诊断并提升语言模型的综合推理能力。
2025-10-13 cs.CL
Truth or Sophistry? LoFa: A Benchmark for LLM Robustness Against Logical Fallacies
Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；South China University of Technology（华南理工大学）
提出LoFa基准，通过多智能体管道生成事实与谬误配对，结合多轮辩论框架评估LLM对逻辑谬误的鲁棒性，并设计LFR@k指标量化抵抗能力。
2026-07-01 cs.CL
Towards Root Memory: Benchmarking and Enhancing Implicit Logical Memory Retrieval for Personalized LLMs
University of Science and Technology of China（中国科学技术大学）
针对现有记忆系统依赖语义相似性而忽略逻辑关键记忆的问题，构建首个高质量基准IMLogic，并提出根记忆表示与RootMem框架，通过结构化逻辑记忆提升个性化LLM检索性能。
2026-10-27 cs.CL
LogicBench: Towards Systematic Evaluation of Logical Reasoning Ability of Large Language Models
Arizona State University（亚利桑那州立大学）；Microsoft Research（微软研究院）
本文系统评估大语言模型的逻辑推理能力，提出覆盖命题、一阶和非单调逻辑共25种推理模式的LogicBench数据集，并发现现有LLMs在复杂推理与否定场景中表现不佳。
2024-06-06 cs.AI cs.CL
Rule2Text: A Framework for Generating and Evaluating Natural Language Explanations of Knowledge Graph Rules
University of Texas at Arlington（德克萨斯理工大学）
提出Rule2Text框架，利用大语言模型将知识图谱挖掘的逻辑规则转化为自然语言解释，通过人类评估和LLM-as-a-judge验证，微调开源模型显著提升解释质量。
2026-06-24 cs.AI cs.CL
A Report on the llms evaluating the high school questions
School of Environmental Science and Engineering, Guangdong University of Technology（广东工业大学环境科学与工程学院）；School of Computer Science, Guangdong University of Technology（广东工业大学计算机学院）
本报告评估了至少8个LLM API在解答2019-2023高考数学题上的表现，基于准确率、响应时间等指标发现其在逻辑推理和创造性解题方面仍有改进空间，为教育应用提供实证基础。
2025-04-30 cs.CL
Dissecting Logical Reasoning in LLMs: A Fine-Grained Evaluation and Supervision Study
University of Notre Dame（诺丁汉大学）；MBZUAI（马克斯·普朗克人工智能研究所）；University of Pennsylvania（宾夕法尼亚大学）；INRIA（法国国家信息与自动化研究所）
提出FineLogic细粒度评估框架，从准确率、逐步合理性和表示探测三维度分析微调监督格式对LLM逻辑推理的影响，发现自然语言监督利于泛化，符号监督利于结构严谨性。
2025-10-09 cs.AI cs.CL cs.LO
Evaluating Causal Explanation in Medical Reports with LLM-Based and Human-Aligned Metrics
Department of Medical Engineering, Konyang University（康山大学医学工程系）；Department of Artificial Intelligence, Konyang University（康山大学人工智能系）
本研究比较了六种指标在评估自动生成诊断报告中因果解释质量的表现，发现 GPT-Black 和 GPT-White 与专家评估高度一致，优于相似度指标，支持基于 LLM 的评估用于因果推理任务。
2025-06-23 cs.AI cs.CL
From Hypothesis to Premises: LLM-based Backward Logical Reasoning with Selective Symbolic Translation
本文提出HBLR框架，通过结合自信符号翻译与假设驱动反向推理，提升逻辑推理的准确性和效率。
2025-12-03 cs.CL
SV-TrustEval-C: Evaluating Structure and Semantic Reasoning in Large Language Models for Source Code Vulnerability Analysis
University of Ottawa（渥太华大学）；OpenText（OpenText公司）
针对LLM漏洞分析缺乏结构与语义推理评估的问题，提出SV-TrustEval-C基准，从结构推理和语义推理两维度评测，发现现有模型依赖模式匹配，推理能力不足。
2025-05-27 cs.CL cs.SE
SATBench: Benchmarking LLMs' Logical Reasoning via Automated Puzzle Generation from SAT Formulas
Stanford University（斯坦福大学）；UCLA（加州大学洛杉矶分校）；UIUC（伊利诺伊大学香槟分校）；CMU（卡内基梅隆大学）；Nanjing University（南京大学）
SATBench通过将SAT公式自动转化为逻辑谜题来评估大语言模型的搜索式逻辑推理能力，实验显示最强模型o4-mini在困难UNSAT问题上仅达65.0%准确率，揭示了当前LLMs在该类推理上的系统性缺陷。
2025-09-22 cs.AI cs.CL cs.LG
Evaluating the World Model Implicit in a Generative Model
Harvard University（哈佛大学）；MIT（麻省理工学院）；Cornell University（康奈尔大学）
针对大语言模型隐式学习世界模型的可能性，本文提出基于确定性有限自动机形式化该问题，并受 Myhill-Nerode 定理启发设计新评估指标，揭示现有生成模型的世界模型缺乏连贯性且存在脆弱性。
2024-11-10 cs.AI cs.CL
Evaluating the Potential of Leading Large Language Models in Reasoning Biology Questions
The University of Georgia（佐治亚大学）；Mayo Clinic（梅奥诊所）；University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
本研究评估了GPT-4等五种大语言模型在108道生物学选择题上的表现，发现GPT-4平均分最高（90分）且一致性最好，展示了其在逻辑推理和辅助生物学研究方面的潜力，但仍需进一步验证。
2023-11-05 cs.AI cs.CL
IsoSci: A Benchmark of Isomorphic Cross-Domain Science Problems for Evaluating Reasoning versus Knowledge Retrieval in LLMs
Texas A&M University（德克萨斯农工大学）；Hamad Bin Khalifa University（哈马德·本·哈利法大学）
提出IsoSci基准，通过逻辑结构相同但领域知识不同的科学问题对，分离推理能力与领域知识检索，发现91.3%的推理增益依赖于知识而非结构，挑战了思维链推理提升科学问题解决的假设。
2026-07-03 cs.AI cs.CL
Meaningless is better: hashing bias-inducing words in LLM prompts improves performance in logical reasoning and statistical learning
Prague University of Economics and Business（布拉格经济与商业大学）
提出用无意义哈希标识符遮蔽 LLM 提示词中诱发偏见的词语，并在 490 条提示词、五类模型上验证其可改善逻辑推理与统计学习，但效果因模型和任务而异。
2025-06-11 cs.AI cs.CL
Evaluating Large Language Models on Graphs: Performance Insights and Comparative Analysis
Colorado School of Mines（科罗拉多矿业学院）
本研究评估了四种大型语言模型在图数据分析上的能力，采用理解力、正确性、保真度和纠正能力四项指标，发现LLMs能理解图数据但结构推理受限，GPT模型正确性更优但多答案保真度存疑，且GPT-4具备纠正先前版本回复的能力。
2023-09-09 cs.AI cs.CL
Evaluating the Semantic Specificity of Representation Steering in Language Models
University of Cambridge（剑桥大学）
本研究提出CRT诊断框架，发现LRS仅注入全局标签偏差而非修复推理回路，为区分真正推理修复与表面标签覆盖提供了严谨方法。
2026-09-01 cs.CL
In Search of the Long-Tail: Systematic Generation of Long-Tail Inferential Knowledge via Logical Rule Guided Search
University of Southern California（南加州大学）；Ohio State University（俄亥俄州立大学）；Fudan University（复旦大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；University of Pittsburgh（匹兹堡大学）；University of Washington（华盛顿大学）；Cornell University（康奈尔大学）
本文提出LINK框架，通过逻辑规则引导搜索系统化生成长尾推理数据，并构建含108K条语句的LINT数据集，评估发现现有LLM在长尾分布上性能显著下降，凸显长尾评估对提升模型泛化能力的重要性。
2024-10-04 cs.AI cs.CL
LLM-Hanabi: Evaluating Multi-Agent Gameplays with Theory-of-Mind and Rationale Inference in Imperfect Information Collaboration Game
Department of Computer Science and Engineering, HKUST, Hong Kong SAR, China（计算机科学与工程系，香港科技大学，香港特别行政区，中国）
本研究提出新型基准LLM-Hanabi，基于合作博弈Hanabi评估大语言模型的行为逻辑推断与心智理论能力，发现一阶心智理论对协作表现的影响强于高阶推理，为提升多智能体协作能力指明方向。
2025-10-06 cs.AI cs.CL
Evaluating statistical language models as pragmatic reasoners
MIT（麻省理工学院）
本研究评估大语言模型（LLMs）的语用推理能力，通过可分级形容词“strong”的阈值估计及多种组合语境测试，发现LLMs能生成类人的语境化语用解读分布，但否定组合表现不佳，为其语义解析应用提供参考。
2023-05-01 cs.AI cs.CL
RPGBENCH: Evaluating Large Language Models as Role-Playing Game Engines
University of Illinois Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）
提出首个评估LLM作为文本RPG引擎的基准RPGBench，通过游戏创建与模拟任务及主客观评估方法，发现最先进LLM虽能生成有趣故事但难以维持一致可验证的游戏机制。
2025-02-01 cs.AI cs.CL
Exploring the Reversal Curse and Other Deductive Logical Reasoning in BERT and GPT-Based Large Language Models
Children's Hospital of Philadelphia（费城儿童医院）；University of Pennsylvania（宾夕法尼亚大学）
本研究发现BERT对反向诅咒免疫，而GPT在处理多集合逻辑推理时存在困难，揭示了两种模型在简单与复杂逻辑推理中的差异。
2024-07-01 cs.AI cs.CL cs.LG
EconLogicQA: A Question-Answering Benchmark for Evaluating Large Language Models in Economic Sequential Reasoning
Georgia Institute of Technology（佐治亚理工学院）
本文提出EconLogicQA基准，通过要求模型识别和排列多事件序列，评估大语言模型在经济学、商业和供应链管理领域的复杂序列推理能力。
2024-09-22 cs.CL
Multi-Turn Puzzles: Evaluating Interactive Reasoning and Strategic Dialogue in LLMs
Google DeepMind（谷歌DeepMind）；Google Research（谷歌研究）
针对LLMs在现实交互任务中表现不佳的问题，本文提出含确定性评分机制的多轮谜题基准，评估模型的交互式推理等能力，揭示其不足并为相关研究提供平台。
2025-08-24 cs.CL
Large Language Models Meet Symbolic Provers for Logical Reasoning Evaluation
Beihang University（北京航空航天大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Fudan University（复旦大学）；Zhongguancun Laboratory（中关村实验室）
本文提出ProverGen框架，结合大型语言模型与符号证明器生成高质量的一阶逻辑推理数据集ProverQA，实验表明现有模型在该数据集上表现不佳，而基于该框架数据微调的模型性能显著提升。
2025-03-02 cs.CL
Position: On the Methodological Pitfalls of Evaluating Base LLMs for Reasoning
University of Sheffield, UK（谢菲尔德大学）
本文指出当前评估基座LLMs推理能力的研究存在预训练目标与推理评估规范错配的方法论陷阱，挑战两类通用假设，呼吁重审相关现有研究并在未来工作中规避该问题。
2025-11-13 cs.CL
ScratchEval: Are GPT-4o Smarter than My Child? Evaluating Large Multimodal Models with Visual Programming Challenges
Hong Kong Baptist University（香港浸会大学）；Hong Kong University of Science and Technology（香港科技大学）
提出基于 Scratch 的 ScratchEval 基准，通过融合视觉元素与编程逻辑，评估大型多模态模型的可视化编程推理与问题解决能力。
2024-11-28 cs.AI cs.CL cs.CV
Evaluating the Capabilities of LLMs for Persuasive Dialogue
University of Liverpool（利物浦大学）；The Alan Turing Institute（阿兰·图灵研究所）；University of Leeds（利兹大学）
该研究推出多智能体对话平台\textsc{Persuasio}，通过192场辩论发现LLMs主观说服力强但形式论证能力弱，人类在形式判定中仍具竞争力，二者存在系统性差距。
2026-09-01 cs.CL
PICon: A Multi-Turn Interrogation Framework for Evaluating Persona Agent Consistency
KAIST（韩国科学技术院）
本文提出PICon框架，通过逻辑链式的多轮提问评估人设代理的一致性，发现即使之前被认为高度一致的系统在三个维度上也未能达到人类基准水平，揭示了矛盾和逃避回应。
2026-05-19 cs.CL
Socrates or Smartypants: Testing Logic Reasoning Capabilities of Large Language Models with Logic Programming-based Test Oracles
针对现有逻辑推理基准的局限，本文推出SmartyPat-Bench基准及基于逻辑编程预言机的自动化框架SmartyPat，可生成高质量逻辑谬误样例，实验揭示了大语言模型逻辑推理的相关特性。
2025-11-19 cs.CL
DEER: A Benchmark for Evaluating Deep Research Agents on Expert Report Generation
DEER是一个用于评估深度研究代理在专家报告生成中性能的基准，通过系统化的评估标准和主张验证架构，提升报告质量和逻辑完整性。
2026-07-14 cs.CL
