大模型推理能力

HOLMES: Evaluating Higher-Order Logical Reasoning in LLMs

HOLMES: 评估大语言模型中的高阶逻辑推理

Yucheng Wu, Jundong Xu, Mingzhen Ju, Yue Yu, Chenpeng Wang, Haoxuan Li, Liangming Pan

机构 * State Key Laboratory of Multimedia Information Processing, Peking University（北京大学多媒体信息处理国家重点实验室） ； School of Computer Science, Peking University（北京大学计算机科学学院） ； Institute for Artificial Intelligence, Peking University（北京大学人工智能研究院） ； Beijing Academy of Artificial Intelligence（北京智源人工智能研究院） ； School of Computing, National University of Singapore（新加坡国立大学计算机学院） ； YiXin-AILab, YIXIN（YiXin-AILab，YIXIN） 纠错

专题命中 逻辑推理 ：reasoning(title,abstract)；logical reasoning(title,abstract)；分类 cs.AI

AI总结 提出HOLMES基准，基于高阶逻辑评估LLM在规则、谓词和约束上的推理能力，发现当前模型平均准确率仅50.64%，揭示高阶符号推理是关键瓶颈。

ChLogic: Evaluating Robustness of Logical Reasoning in Chinese Expressions

ChLogic: 评估中文表达中逻辑推理的鲁棒性

Peixian Zhou, Yuxu Chen, Chaorui Zhang, Wei Han, Bo Bai, Xueyan Niu

机构 * College of Mathematics, Sichuan University（四川大学数学学院） ； Theory Lab, 2012 Labs, Huawei Technologies Co., Ltd（华为技术有限公司2012实验室理论实验室） 纠错

专题命中 逻辑推理 ：reasoning(title,abstract)；logical reasoning(title,abstract)；分类 cs.CL

AI总结 提出英中对照基准ChLogic，通过形式逻辑模板构建数据集，测试模型在英文和多种中文表达下逻辑推理的鲁棒性，发现英中性能差距，回译效果因数据集和模型而异。

Seeing Time: Benchmarking Chronological Reasoning and Shortcut Biases in Vision-Language Models

Seeing Time: 视觉-语言模型中的时间顺序推理与捷径偏差基准测试

Haoyu Zhou, Qing Qing, Caichong Li, Qixin Zhang, Yongcheng Jing, Ziqi Xu, Juncheng Hu, Xikun Zhang, Renqiang Luo

机构 * College of Computer Science and Technology, Jilin University（吉林大学计算机科学与技术学院） ； College of Computing and Data Science, Nanyang Technological University（南洋理工大学计算与数据科学学院） ； School of Computer Science, Wuhan University（武汉大学计算机学院） ； School of Computing Technologies, RMIT University（皇家墨尔本理工学院计算技术学院） 纠错

专题命中 逻辑推理 ：reasoning(title,abstract)；logical reasoning(title,abstract)；分类 cs.AI

AI总结 本文提出一个新基准，通过三个专门数据集评估视觉-语言模型在图像内和跨图像的时间顺序推理能力，并揭示模型常利用颜色等表面线索而非真正时间特征。

Emergent Analogical Reasoning in Transformers

Transformer中的涌现类比推理

Gouki Minegishi, Jingyuan Feng, Hiroki Furuta, Takeshi Kojima, Yusuke Iwasawa, Yutaka Matsuo

机构 * The University of Tokyo（东京大学） ； Google Deep Mind（谷歌深Mind） 纠错

专题命中 逻辑推理 ：reasoning(title,abstract)；logical reasoning(title,abstract)；分类 cs.AI

AI总结 本研究通过范畴论中的函子概念形式化类比推理，设计合成任务探究Transformer中类比推理的涌现机制，发现其依赖于数据特征、优化选择和模型规模，并通过机制分析揭示几何对齐和函子应用两个关键组件。

Comments Accepted to ICML2026 (spotlight)

Chain Of Thought Compression: A Theoretical Analysis

思维链压缩：理论分析

Juncai Li, Ru Li, Yuxiang Zhou, Boxiang Ma, Jeff Z. Pan

机构 * School of Computer and Information Technology, Shanxi University, Taiyuan, Shanxi, China（山西大学计算机与信息学院） ； Queen Mary, University of London, UK（伦敦大学女王学院） ； School of Informatics, University of Edinburgh, UK（爱丁堡大学信息学院） 纠错

专题命中 逻辑推理 ：CoT(summary_cn,abstract)；reasoning(abstract)；chain-of-thought(abstract)；logical reasoning(abstract)

AI总结 本文通过引入Order-r Interaction理论，证明了隐式思维链压缩中高阶逻辑依赖的学习信号指数衰减问题，并提出ALiCoT框架通过对齐潜在令牌分布与中间推理状态来克服信号衰减，实现54.4倍加速且性能与显式CoT相当。

The Impact of AI Usage and Informativeness on Skill Development in Logical Reasoning

人工智能使用与信息性对逻辑推理技能发展的影响力

Shang Wu, Hongyu Yao, Catarina Belem, Shuyuan Fu, Mark Steyvers, Padhraic Smyth

机构 * University of California, Irvine（加州大学尔湾分校） ； Massachusetts Institute of Technology（麻省理工学院） 纠错

专题命中 逻辑推理 ：reasoning(title,abstract)；logical reasoning(title,abstract)；分类 cs.AI

AI总结 本文研究了人工智能使用和信息性如何影响逻辑推理技能的发展，发现高使用AI的用户表现较差，而信息性低的AI对学习无帮助，信息性高的AI则在短期内提升表现但影响不均一。

Comments Accepted at Hybrid Human Artificial Intelligence (HHAI) 2026

LLMEval-Logic: A Solver-Verified Chinese Benchmark for Logical Reasoning of LLMs with Adversarial Hardening

LLMEval-Logic: 一个验证求解器的中文逻辑推理基准，具有对抗性强化

Ming Zhang, Qiyuan Peng, Yinxi Wei, Yujiong Shen, Kexin Tan, Yuhui Wang, Zhenghao Xiang, Junjie Ye, Zhangyue Yin, Zhiheng Xi, Shihan Dou, Tao Gui, Maxm Pan, Ruizhi Yang, Qi Zhang, Xuanjing Huang

机构 * Institute of Trustworthy Embodied Artificial Intelligence（可信具身人工智能研究院） ； Fudan University（复旦大学） ； Hunyuan Team Tencent（腾讯 Hunyuan 团队） ； School of Philosophy Fudan University（复旦大学哲学学院） 纠错

专题命中 逻辑推理 ：reasoning(title,abstract)；logical reasoning(title,abstract)；分类 cs.CL

AI总结 本文提出LLMEval-Logic，一个基于真实情境场景的中文逻辑推理基准，通过作者和专家共同审核自然语言项目及其形式化参考，利用Z3验证注释答案，构建自然到形式的评分标准，并通过闭环对抗流程强化选定项目。基准包含246个基础项目和190个难度项目，评估14个前沿LLM显示当前模型存在显著差距。

Neurosymbolic Framework for Concept-Driven Logical Reasoning in Skeleton-Based Human Action Recognition

基于骨架的人体动作识别的概念驱动逻辑推理神经符号框架

Talha Ilyas, Deval Mehta, Zongyuan Ge

机构 * Department of ECSE, Faculty of Engineering, Monash University, Australia（莫纳什大学工程学院电子与计算机工程系，澳大利亚） ； AIM for Health Lab, Faculty of Information Technology, Monash University, Australia（莫纳什大学信息科技学院健康人工智能实验室，澳大利亚） ； Department of DSAI, Faculty of Information Technology, Monash University, Australia（莫纳什大学信息科技学院数据科学与人工智能系，澳大利亚） 纠错

专题命中 逻辑推理 ：reasoning(title,abstract)；logical reasoning(title,abstract)；分类 cs.AI

AI总结 本文提出一种神经符号框架，将骨架动作识别转化为概念驱动的一阶逻辑推理，通过结合表征学习与符号推理，提升动作识别的可解释性。

Comments Accepted In Proceedings of the 35th International Joint Conference on Artificial Intelligence (IJCAI 2026)

Knowledge Vector of Logical Reasoning in Large Language Models

大语言模型中逻辑推理的知识向量

Zixuan Wang, Yuanyuan Lei

机构 * Department of Computer & Information Science and Engineering（计算机与信息科学与工程系） 纠错

专题命中 逻辑推理 ：reasoning(title,abstract)；logical reasoning(title,abstract)；分类 cs.CL

AI总结 本文研究了大语言模型中演绎、归纳和溯因推理的知识表示，发现其在线性空间中可独立表示，提出互补子空间约束框架以增强其互补性。

Comments Accepted to ACL 2026

Less Languages, Less Tokens: An Efficient Unified Logic Cross-lingual Chain-of-Thought Reasoning Framework

少语言，少令牌：一种高效的统一逻辑跨语言推理框架

Chenyuan Zhang, Qiguang Chen, Xie Chen, Zhuotao Tian, Bowen Xing, Meishan Zhang, Libo Qin, Baotian Hu, Min Zhang

机构 * Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） ； Central South University（中南大学） ； Text Computing and Cognitive Intelligence Ministry of Education Engineering Research Center, Guizhou University（贵州省教育厅Text Computing and Cognitive Intelligence工程研究中心，贵州大学） ； University of Science and Technology Beijing（北京科技大学） ； Shanghai Jiao Tong University（上海交通大学） ； Shanghai Innovation Institute（上海创新研究院） 纠错

专题命中 逻辑推理 ：reasoning(title,abstract)；chain-of-thought(title,abstract)；分类 cs.CL

AI总结 本文提出UL-XCoT框架，通过减少语言和令牌数量提升跨语言推理效率，实验证明在多语言任务中准确率高且令牌成本降低超50%。

Comments Accepted by ACL2026 Main

Semantic-Aware Logical Reasoning via a Semiotic Framework

通过象征框架实现语义感知的逻辑推理

Yunyao Zhang, Xinglang Zhang, Junxi Sheng, Wenbing Li, Junqing Yu, Yi-Ping Phoebe Chen, Wei Yang, Zikai Song

机构 * Huazhong University of Science and Technology（华中科技大学） ； La Trobe University（拉筹伯大学） 纠错

专题命中 逻辑推理 ：reasoning(title,abstract)；logical reasoning(title,abstract)；分类 cs.AI

AI总结 本文提出LogicAgent框架，结合自动推演与反思验证，解决逻辑复杂性与语义复杂性的交互问题，通过RepublicQA基准验证其在抽象命题和逻辑深度上的表现，实现SOTA性能。

Comments Accepted at ACL 2026 (Main Conference)

Discovering a Shared Logical Subspace: Steering LLM Logical Reasoning via Alignment of Natural-Language and Symbolic Views

发现共享的逻辑子空间：通过自然语言和符号视角的对齐来引导LLM逻辑推理

Feihao Fang, My T. Thai, Yuanyuan Lei

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Computer & Information Science and Engineering, University of Florida（佛罗里达大学计算机与信息科学与工程系） 纠错

专题命中 逻辑推理 ：reasoning(title,abstract)；logical reasoning(title,abstract)；分类 cs.CL

AI总结 本文提出通过对齐自然语言和符号视角的逻辑子空间来提升LLM的多步逻辑推理能力，通过实验验证该方法在四个基准测试中提升了准确率并具备良好的泛化能力。

Comments Accepted to ACL 2026

Analogical Reasoning as a Doctor: A Foundation Model for Gastrointestinal Endoscopy Diagnosis

作为医生的类比推理：一种胃肠内镜诊断的基础模型

Peixi Peng, Housheng Xie, Yanling Wei, Guangcong Ruan, Xiaoyang Zou, Qian Cao, Yongjian Nian, Guoyan Zheng

专题命中 逻辑推理 ：reasoning(title,abstract)；logical reasoning(title,abstract)；分类 cs.AI

AI总结 本文提出RATNet基础模型，通过类比推理提升胃肠内镜诊断的泛化能力与鲁棒性，在六个场景中超越现有模型，支持联邦学习隐私保护部署。

Draft-and-Prune: Improving the Reliability of Auto-formalization for Logical Reasoning

草稿与修剪：提升逻辑推理自动形式化可靠性

Zhiyu Ni, Zheng Liang, Liangcheng Song, Chenrui Cao, Xian Zhang, Alberto Sangiovanni-Vincentelli, Pierluigi Nuzzo

机构 * University of California, Berkeley（加州大学伯克利分校） ； Microsoft（微软） 纠错

专题命中 逻辑推理 ：reasoning(title,abstract)；logical reasoning(title,abstract)；分类 cs.AI

AI总结 本文提出D&P框架，通过多样性与验证提升自动形式化逻辑推理可靠性，实验显示在多个基准测试中显著优于现有方法，如在AR-LSAT上准确率达78.43%。

AI Psychometrics: Evaluating the Psychological Reasoning of Large Language Models with Psychometric Validities

AI心理测量学：通过心理测量效度评估大型语言模型的心理推理能力

Yibai Li, Xiaolin Lin, Zhenghui Sha, Zhiye Jin, Xiaobing Li

专题命中 逻辑推理 ：reasoning(title,abstract)；logical reasoning(title,abstract)；分类 cs.AI

AI总结 本文通过心理测量学方法评估四个主流LLM的心理推理能力和整体效度，发现高性能模型在效度上优于其 predecessors，验证了AI心理测量学的应用价值。

Comments Accepted for publication in the Proceedings of the 58th Hawaii International Conference on System Sciences (HICSS), 2025

Journal ref Proceedings of the 58th Hawaii International Conference on System Sciences (HICSS), January 2025, pp. 5189-5197

LogicGraph : Benchmarking Multi-Path Logical Reasoning via Neuro-Symbolic Generation and Verification

LogicGraph : 通过神经符号生成与验证进行多路径逻辑推理的基准测试

Yanrui Wu, Lingling Zhang, Xinyu Zhang, Jiayu Chang, Pengyu Li, Xu Jiang, Jingtao Hu, Jun Liu

机构 * School of Computer Science and Technology, Xi’an Jiaotong University（西安交通大学计算机科学与技术学院） ； Department of Electrical Engineering, Stanford University（斯坦福大学电气工程系） ； School of Computer Science and Technology, Tiangong University（天津大学计算机科学与技术学院） ； Ministry of Education Key Laboratory of Intelligent Networks and Network Security, China（中国教育部长智网络与网络安全重点实验室） ； Shaanxi Province Key Laboratory of Big Data Knowledge Engineering, China（陕西省大数据知识工程重点实验室） 纠错

专题命中 逻辑推理 ：reasoning(title,abstract)；logical reasoning(title,abstract)；分类 cs.AI

AI总结 LogicGraph通过神经符号生成与验证方法，系统评估多路径逻辑推理能力，揭示模型在复杂推理中探索多样路径的不足。

Comments 24 pages, 17 figures

A Simple Generative Model of Logical Reasoning and Statistical Learning

逻辑推理与统计学习的简单生成模型

Hiroyuki Kido

机构 * School of Computer Science（计算机科学系） ； Informatics, Cardiff University（信息学，卡迪夫大学） 纠错

专题命中 逻辑推理 ：reasoning(title,abstract)；logical reasoning(title,abstract)；分类 cs.AI

AI总结 本文提出一个基于贝叶斯方法的简单模型，统一逻辑推理与统计学习，通过形式逻辑的可满足性建模数据生成符号知识，实现精确推断和理论正确性。

Are LLMs Stable Formal Logic Translators in Logical Reasoning Across Linguistically Diversified Texts?

LLMs是否在跨语言多样化文本中的逻辑推理中是稳定的正式逻辑翻译器？

Qingchuan Li, Jiatong Li, Zirui Liu, Mingyue Cheng, Yuting Zeng, Qi Liu, Tongxuan Liu

机构 * State Key Laboratory of Cognitive Intelligence, University of Science and Technology of China（认知智能国家重点实验室，中国科学技术大学） ； School of Computer Science and Technology, University of Science and Technology of China（计算机科学与技术学院，中国科学技术大学） ； School of Information Science and Technology, University of Science and Technology of China（信息科学与技术学院，中国科学技术大学） 纠错

专题命中 逻辑推理 ：reasoning(title,abstract)；logical reasoning(title,abstract)；分类 cs.CL

AI总结 本文提出SoLT基准测试和MenTaL方法，揭示LLMs在跨语言多样化文本中存在符号映射不一致问题，并通过增强语言多样性提升推理稳定性。

Comments Accepted by WWW2026

Dialogical Reasoning Across AI Architectures: A Multi-Model Framework for Testing AI Alignment Strategies

跨AI架构的对话推理：一种多模型框架用于测试AI对齐策略

Gray Cox

专题命中 逻辑推理 ：reasoning(title,abstract)；logical reasoning(title,abstract)；分类 cs.AI

AI总结 本文提出一种多模型框架，通过对话推理测试AI对齐策略，展示不同AI模型在处理复杂对齐框架时的表现及新兴见解。

Comments 23 pages, 5 tables, 5 appendices. Code and data: https://github.com/jgraycox-coa/vcw-multi-ai-dialogue

Enhancing Large Language Models through Neuro-Symbolic Integration and Ontological Reasoning

通过神经符号整合和本体推理增强大型语言模型

Ruslan Idelfonso Magana Vsevolodovna, Marco Monti

专题命中 逻辑推理 ：reasoning(title,abstract)；logical reasoning(title,abstract)；分类 cs.AI

AI总结 本文提出一种结合符号本体推理和机器学习的方法，通过迭代反馈提升LLM输出的一致性和事实准确性。

Comments Withdrawn because Version 1 contains inaccuracies in references and architecture description. A corrected and improved version will be submitted separately

From Hypothesis to Premises: LLM-based Backward Logical Reasoning with Selective Symbolic Translation

从假设到前提：基于大语言模型的反向逻辑推理与选择性符号翻译

Qingchuan Li, Mingyue Cheng, Zirui Liu, Daoyu Wang, Yuting Zeng, Tongxuan Liu

专题命中 逻辑推理 ：reasoning(title,abstract)；logical reasoning(title,abstract)；分类 cs.CL

AI总结 本文提出HBLR框架，通过结合自信符号翻译与假设驱动反向推理，提升逻辑推理的准确性和效率。

Comments Accepted by AAAI2026

The Curious Case of Analogies: Investigating Analogical Reasoning in Large Language Models

类比的奇特案例：在大型语言模型中探讨类比推理

Taewhoo Lee, Minju Song, Chanwoong Yoon, Jungwoo Park, Jaewoo Kang

专题命中 逻辑推理 ：reasoning(title,abstract)；logical reasoning(title,abstract)；分类 cs.CL

AI总结 本研究探讨了大型语言模型在类比推理中的能力，发现其在编码和应用高层关系概念方面表现出有限但新兴的能力，揭示了与人类认知的相似性和差距。

Comments AAAI 2026

BioReason: Incentivizing Multimodal Biological Reasoning within a DNA-LLM Model

Adibvafa Fallahpour, Andrew Magnuson, Purav Gupta, Shihao Ma, Jack Naimer, Arnav Shah, Haonan Duan, Omar Ibrahim, Hani Goodarzi, Chris J. Maddison, Bo Wang

专题命中 逻辑推理 ：reasoning(title,abstract)；logical reasoning(title,abstract)；分类 cs.LG

Comments 28 pages, 4 figures, 4 tables

Adaptive Selection of Symbolic Languages for Improving LLM Logical Reasoning

Xiangyu Wang, Haocheng Yang, Fengxiang Cheng, Fenrong Liu

专题命中 逻辑推理 ：reasoning(title,abstract)；logical reasoning(title,abstract)；分类 cs.AI

Aristotle: Mastering Logical Reasoning with A Logic-Complete Decompose-Search-Resolve Framework

Jundong Xu, Hao Fei, Meng Luo, Qian Liu, Liangming Pan, William Yang Wang, Preslav Nakov, Mong-Li Lee, Wynne Hsu

机构 * National University of Singapore（国立新加坡大学） ； University of Auckland（奥克兰大学） ； University of Arizona（亚利桑那大学） ； University of California, Santa Barbara（加州大学圣芭芭拉分校） ； MBZUAI 纠错

专题命中 逻辑推理 ：reasoning(title,abstract)；logical reasoning(title,abstract)；分类 cs.CL

Comments Accepted to ACL 2025 (Oral)

Relevant or Random: Can LLMs Truly Perform Analogical Reasoning?

Chengwei Qin, Wenhan Xia, Tan Wang, Fangkai Jiao, Yuchen Hu, Bosheng Ding, Ruirui Chen, Shafiq Joty

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Princeton University（普林斯顿大学） ； Nanyang Technological University（南洋理工大学） ； Salesforce Research（Salesforce 研究） ； Institute of High Performance Computing (IHPC), Agency for Science, Technology and Research (A*STAR), Singapore（高性能计算研究所，新加坡科技研究局） 纠错

专题命中 逻辑推理 ：reasoning(title,abstract)；logical reasoning(title,abstract)；分类 cs.CL

Judgment-of-Thought Prompting: A Courtroom-Inspired Framework for Binary Logical Reasoning with Large Language Models

Sungjune Park, Heehwan Kim, Haehyun Cho, Daeseon Choi

机构 * Soongsil University（松溪大学） 纠错

专题命中 逻辑推理 ：reasoning(title,abstract)；logical reasoning(title,abstract)；分类 cs.AI

Can LLMs Help Improve Analogical Reasoning For Strategic Decisions? Experimental Evidence from Humans and GPT-4

Phanish Puranam, Prothit Sen, Maciej Workiewicz

专题命中 逻辑推理 ：reasoning(title,abstract)；logical reasoning(title,abstract)；分类 cs.AI

On Memorization of Large Language Models in Logical Reasoning

Chulin Xie, Yangsibo Huang, Chiyuan Zhang, Da Yu, Xinyun Chen, Bill Yuchen Lin, Bo Li, Badih Ghazi, Ravi Kumar

专题命中 逻辑推理 ：reasoning(title,abstract)；logical reasoning(title,abstract)；分类 cs.CL

Town Hall Debate Prompting: Enhancing Logical Reasoning in LLMs through Multi-Persona Interaction

Vivaan Sandwar, Bhav Jain, Rishan Thangaraj, Ishaan Garg, Michael Lam, Kevin Zhu

专题命中 逻辑推理 ：reasoning(title,abstract)；logical reasoning(title)；CoT(abstract)；分类 cs.CL

Comments Accepted to SoCal NLP Symposium 2024