Evaluating the Meta- and Object-Level Reasoning of Large Language Models for Question Answering
The University of Edinburgh(爱丁堡大学);Aveni(阿维尼公司)
针对LLM在复杂多步推理QA任务中的挑战,本文区分元级(高级策略规划)与对象级(低级任务执行)推理,提出Franklin数据集并结合其他数据集评估4个LLM,揭示其元级推理表现好但对象级推理存困难。
2025-02-14 cs.AI cs.CL
GameBench: Evaluating Strategic Reasoning Abilities of LLM Agents
Olin College of Engineering(奥林工程学院);University of Texas at Dallas(德克萨斯大学达拉斯分校);University of Oxford(牛津大学);University College London(伦敦大学学院);ShanghaiTech University(上海科技大学);Columbia University(哥伦比亚大学);University of Manchester(曼彻斯特大学)
GameBench是一个跨领域基准,通过9个游戏环境评估LLM智能体的战略推理能力,结果显示GPT-3/GPT-4均未达到人类水平,CoT和RAP框架虽提升分数但仍不及人类。
2024-07-22 cs.AI cs.CL
Exploring and Evaluating Multimodal Knowledge Reasoning Consistency of Multimodal Large Language Models
School of Software and Microelectronics, Peking University(北京大学软件与微电子学院);Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机技术研究院)
针对多模态大语言模型跨模态知识推理不一致的问题,本文提出四个评估任务并构建新数据集,通过实验分析一致性退化程度及成因,为未来模型改进提供指导。
2025-03-03 cs.AI cs.CL
LTLBench: Towards Benchmarks for Evaluating Temporal Reasoning in Large Language Models
University of Edinburgh(爱丁堡大学)
LTLBench通过线性时序逻辑评估大语言模型的时间推理能力,构建包含2000个挑战的数据集并测试12个模型,揭示时间推理中的主要问题及复杂性影响。
2026-01-05 cs.AI cs.CL
ProMoral-Bench: Evaluating Prompting Strategies for Moral Reasoning and Safety in LLMs
ProMoral-Bench通过统一道德安全评分评估多种提示策略,发现紧凑示例引导框架在道德和安全方面表现更优。
2026-11-06 cs.AI cs.CL
GameArena: Evaluating LLM Reasoning through Live Computer Games
University of California, San Diego(加利福尼亚大学圣迭戈分校);University of California, Berkeley(加利福尼亚大学伯克利分校);Snowflake(雪花公司)
本文提出动态基准 GameArena,通过三款人机交互游戏细粒度评估 LLM 的演绎、归纳等推理能力,并基于 2000 多个会话和 100 人用户研究验证其评估效果与参与度。
2025-02-15 cs.AI cs.CL
Beyond Accuracy: Evaluating the Reasoning Behavior of Large Language Models -- A Survey
LMU Munich(慕尼黑大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心)
本文综述了超越准确率指标的大语言模型推理行为评估研究,指出LLMs主要依赖表层模式而非深层推理,并呼吁进一步区分人类与模型推理差异。
2024-08-06 cs.AI cs.CL
Beyond Output Correctness: Benchmarking and Evaluating Large Language Model Reasoning in Coding Tasks
University of California, Irvine(加州大学尔湾分校)
本文提出CodeRQ-Bench,首个评估LLM在生成、摘要和分类等编码任务中推理质量的基准,通过分析现有评估器的1069个不匹配案例,提出VERA评估器,实验表明其在四个数据集上均优于基线,提升AUCROC和AUPRC最高达0.26和0.21。
2026-08-31 cs.AI cs.LG cs.SE
GLoRE: Evaluating Logical Reasoning of Large Language Models
Hainan University(海南大学);Westlake University(西湖大学);ByteDance SG(字节跳动新加坡)
本文提出GLoRE,一个统一格式的逻辑推理评估平台,在零样本和少样本场景下评估大语言模型,实验显示大型推理模型(如QwQ-32B)性能显著提升,并持续整合新数据与模型。
2025-04-20 cs.AI cs.CL
Evaluating Step-by-step Reasoning Traces: A Survey
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文综述了LLM逐步推理轨迹的评估方法,提出涵盖事实性、有效性、连贯性和实用性的分类体系,并回顾相关数据集、评估器及研究发现,为未来研究提供方向。
2025-09-20 cs.CL
CHBench: A Cognitive Hierarchy Benchmark for Evaluating Strategic Reasoning Capability of LLMs
Gaoling School of Artificial Intelligence(北京语言大学人工智能学院);Renmin University of China(中国人民大学)
本文提出受行为经济学认知层级模型启发的CHBench基准,通过三阶段框架评估六个LLMs在十五个标准式博弈中的战略推理能力,验证了框架稳健性,并发现对话机制削弱而记忆机制增强战略推理。
2025-08-16 cs.AI cs.CL cs.HC
InMind: Evaluating LLMs in Capturing and Applying Individual Human Reasoning Styles
Nankai University(南开大学);Shanghai Innovation Institute(上海创新研究院);Shanghai AI Laboratory(上海人工智能实验室);Fudan University(复旦大学);Johns Hopkins University(约翰霍普金斯大学);Wuhan University(武汉大学);University of Science and Technology of China(中国科学技术大学)
本文提出InMind评估框架,通过社交推理游戏中的策略轨迹与赛后反思,检验大语言模型捕捉和应用个体化推理风格的能力,发现通用模型存在局限而推理增强模型初显风格敏感推理能力。
2025-09-21 cs.AI cs.CL
Multi-LogiEval: Towards Evaluating Multi-Step Logical Reasoning Ability of Large Language Models
Arizona State University(亚利桑那州立大学)
针对现有逻辑推理基准规则有限、缺非单调推理评估的问题,提出覆盖三类逻辑、多规则多深度的Multi-LogiEval数据集,评估发现LLM性能随推理深度显著下降,为相关研究提供支撑。
2024-10-07 cs.AI cs.CL
Scoring Verifiers: Evaluating Synthetic Verification for Code and Reasoning
NVIDIA Santa Clara, CA 15213, USA(英伟达圣克拉拉分校)
本研究提出将现有编码基准转换为评分排序数据集的方法,配套多维度评估指标,发布四个新基准,实验证实推理可提升测试用例生成效果、增加测试用例数能提高合成验证准确率。
2025-07-30 cs.AI cs.CL cs.LG
P-FOLIO: Evaluating and Improving Logical Reasoning with Abundant Human-Written Reasoning Chains
Yale University(耶鲁大学);Harvard University(哈佛大学);NVIDIA(英伟达公司);Salesforce Research(Salesforce研究院)
提出P-FOLIO人工标注数据集,通过单步推理规则分类评估并利用多样本提示与微调显著提升LLM逻辑推理能力,在域外数据集上性能提升超10%。
2024-10-11 cs.AI cs.CL
Evaluating the Generalization Capabilities of Large Language Models on Code Reasoning
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Brown University(布朗大学)
本文通过构造分布内与分布外程序并评估10个最新LLM,发现早期模型偏向模式匹配,而最新模型在代码推理上具备强泛化能力。
2025-04-07 cs.CL cs.LG cs.SE
Filtered Reasoning Score: Evaluating Reasoning Quality on a Model's Most-Confident Traces
University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文提出过滤推理得分,用于评估模型推理质量,区分相似准确率的模型,并提高对输入提示和生成配置变化的鲁棒性。
2026-08-05 cs.AI cs.CL
IsoSci: A Benchmark of Isomorphic Cross-Domain Science Problems for Evaluating Reasoning versus Knowledge Retrieval in LLMs
Texas A&M University(德克萨斯农工大学);Hamad Bin Khalifa University(哈马德·本·哈利法大学)
提出IsoSci基准,通过逻辑结构相同但领域知识不同的科学问题对,分离推理能力与领域知识检索,发现91.3%的推理增益依赖于知识而非结构,挑战了思维链推理提升科学问题解决的假设。
2026-07-03 cs.AI cs.CL
Beyond Scalars: Evaluating and Understanding LLM Reasoning via Geometric Progress and Stability
提出TRACED框架,利用几何运动学将推理轨迹分解为进展和稳定性,揭示正确推理与幻觉的拓扑差异,实现鲁棒的推理质量评估。
2026-06-16 cs.AI
CALRK-Bench: Evaluating Context-Aware Legal Reasoning in Korean Law
KAIST AI(韩国科学技术院人工智能学院);Law School, Ajou University(亚洲大学法学院);Department of Artificial Intelligence, Ajou University(亚洲大学人工智能系)
本文提出CALRK-Bench,一个基于韩国法律体系的情境感知法律推理基准,评估模型对法律规范时效性、案件法律信息充分性及法律判断变化原因的理解能力,实验表明大语言模型在这些任务上表现不佳。
2026-03-27 cs.AI cs.CL
Unmasking Reasoning Processes: A Process-aware Benchmark for Evaluating Structural Mathematical Reasoning in LLMs
Alibaba Group(阿里巴巴集团);Shanghai Jiao Tong University(上海交通大学)
本文提出ReasoningMath-Plus基准,通过过程感知评估方法揭示大语言模型在结构性数学推理中的不足,引入HCRS评分函数和过程奖励模型,发现仅答案指标可能高估推理能力。
2026-02-26 cs.AI cs.CL
SV-TrustEval-C: Evaluating Structure and Semantic Reasoning in Large Language Models for Source Code Vulnerability Analysis
University of Ottawa(渥太华大学);OpenText(OpenText公司)
针对LLM漏洞分析缺乏结构与语义推理评估的问题,提出SV-TrustEval-C基准,从结构推理和语义推理两维度评测,发现现有模型依赖模式匹配,推理能力不足。
2025-05-27 cs.CL cs.SE
CodeGolf Bench: A Multi-Language Benchmark for Evaluating Concise Code Generation Capabilities of Large Language Models
Independent(独立)
提出CodeGolf Bench基准,基于代码高尔夫竞赛,在60种编程语言中评估LLM生成简洁高效代码的能力,实验表明推理模型显著优于非推理模型。
2026-05-28 cs.AI cs.SE
Possible Stories: Evaluating Situated Commonsense Reasoning under Multiple Possible Scenarios
Tokyo Metropolitan University(东京都立大学);Yahoo Japan Corporation(雅虎日本公司);National Institute of Informatics(国立信息学研究所)
同一背景下可能产生的后果可能因我们所指的情况而异。然而,目前自然语言处理的研究并没有集中在多个可能的场景下的情境常识推理。本研究通过提出多个问题来构建这个任务,这些问题具有相同的可能结局作为候选答案,给定一个短篇小说文本。我们得到的数据集,可能的故事,包括超过4.5K的问题超过1.3K的故事文本的英语。我们发现,即使是目前强大的预训练语言模型也很难始终如一地回答这些问题,这表明在无监督环境中的最高准确率(60.2%)远远落后于人类的准确率(92.5%)。通过与现有数据集的比较,我们观察到我们数据集中的问题在答案选项中包含最小的注释工件。此外,我们的数据集包括需要反事实推理的例子,以及那些需要读者的反应和虚构的信息,这表明我们的数据集可以作为一个具有挑战性的测试平台,为未来的研究现场常识推理。
2022-09-16 cs.AI cs.CL
Concept-Reversed Winograd Schema Challenge: Evaluating and Improving Robust Reasoning in Large Language Models via Abstraction
Zhejiang University(浙江大学);HKUST(香港科技大学);University of Edinburgh(爱丁堡大学)
本文提出了概念反转的CR-WSC数据集以评估LLMs的鲁棒推理能力,并提出Abstraction-of-Thought(AoT)提示方法,通过概念抽象将对抗样本恢复为正常样本,显著提升了LLMs推理的鲁棒性和一致性。
2024-10-15 cs.AI cs.CL
From Reasoning Depth to Reasoning Breadth: Evaluating Multi-Point Associative Reasoning in Large Language Models
Beijing University of Posts and Telecommunications(北京邮电大学);Peking University(北京大学);Kuaishou Technology(快手科技)
该研究构建了中英双语多点关联推理基准MPAR-Bench,发现大型语言模型的推理深度未自动带来稳健的推理广度,当前基准未充分覆盖推理广度。
2026-08-13 cs.AI cs.CL
PlanBench: An Extensible Benchmark for Evaluating Large Language Models on Planning and Reasoning about Change
Arizona State University(亚利桑那州立大学);Colorado State University(科罗拉多州立大学)
提出可扩展基准PlanBench,基于自动化规划领域测试LLMs在规划与变化推理上的能力,发现即使SOTA模型在计划生成等关键能力上表现仍不足,可作为衡量进展的标志。
2023-11-26 cs.AI cs.CL
CommonWhy: A Dataset for Evaluating Entity-Based Causal Commonsense Reasoning in Large Language Models
University of Toronto(多伦多大学)
CommonWhy数据集通过15000个为什么问题评估大语言模型的因果关系实体推理能力,揭示现有模型在因果推理和事实生成上的不足。
2026-05-13 cs.CL
Evaluating Counterfactual Strategic Reasoning in Large Language Models
National Technical University of Athens(希腊雅典国家技术大学)
通过引入反事实变体(改变收益结构和行动标签)的囚徒困境和石头剪刀布博弈,评估大型语言模型的策略表现是否基于真正的推理而非记忆模式,并揭示其在激励敏感性、结构泛化和反事实环境中的策略推理方面的局限性。
2026-05-22 cs.CL
BaziQA-Benchmark: Evaluating Symbolic and Temporally Compositional Reasoning in Large Language Models
Shanghai Jiao Tong University(上海交通大学)
BaziQA-Benchmark通过结构化推理协议评估大语言模型在符号性和时间组合推理中的表现,揭示其在时间难度和推理顺序上的敏感性及系统性缺陷。
2026-02-13 cs.CL
Evaluating OpenAI GPT Models for Translation of Endangered Uralic Languages: A Comparison of Reasoning and Non-Reasoning Architectures
Metropolia University of Applied Sciences(应用科学大学);University of Helsinki(赫尔辛基大学)
本研究比较了OpenAI GPT模型在翻译濒危乌拉尔语系语言中的推理与非推理架构性能,发现推理模型在翻译任务中表现更优。
2025-12-18 cs.CL
Do LLMs Exhibit Human-Like Reasoning? Evaluating Theory of Mind in LLMs for Open-Ended Responses
University of Washington(华盛顿大学);University of Washington - Bothell(华盛顿大学博塞尔校区)
本文通过Reddit ChangeMyView平台上的开放式问题评估大语言模型的心智理论推理能力,发现其与人类存在明显差距,并提出融入人类意图和情绪的提示调优方法以提升表现,但仍未达到类人推理水平。
2024-06-09 cs.AI cs.CL
ECG-Reasoning-Benchmark: A Benchmark for Evaluating Clinical Reasoning Capabilities in ECG Interpretation
本文提出ECG-Reasoning-Benchmark,通过6400个样本系统评估17种核心心电图诊断的逐步推理能力,发现现有多模态大语言模型在多步逻辑推理中存在严重缺陷,无法有效将心电图发现与实际信号证据关联。
2026-10-30 cs.AI cs.CL cs.LG
Evaluating the Effectiveness of Retrieval-Augmented Large Language Models in Scientific Document Reasoning
Pacific Northwest National Laboratory(太平洋西北国家实验室)
针对大语言模型的幻觉问题,本研究评估检索增强型LLM的科学文献推理能力,发现这类模型仍会编造科学任务的证据,且用科学语料预训练无法缓解该风险。
2023-11-07 cs.AI cs.CL
JustLogic: A Comprehensive Benchmark for Evaluating Deductive Reasoning in Large Language Models
College of Computing \& Data Science, Nanyang Technological University, Singapore
本文提出合成演绎推理基准JustLogic,通过高复杂度、消除先验知识干扰和深入错误分析,严格评估LLMs演绎推理能力,发现SOTA推理模型优于人类平均但远低于人类上限。
2025-05-09 cs.AI cs.CL cs.LG
Sudoku-Bench: Evaluating creative reasoning with Sudoku variants
Sakana AI
Sudoku-Bench通过非常规数独变体评估大语言模型的创造性多步推理,基线显示最先进模型无辅助解题率不足15%,凸显长时程推理能力的提升空间。
2025-05-22 cs.AI cs.CL cs.LG
Evaluating Explanation-Driven Vision-Language Reasoning via Generation Order Interventions
German Research Center for Artificial Intelligence(德国人工智能研究中心);University of Oldenburg(奥尔登堡大学)
本研究通过控制生成顺序干预,系统评估了解释与预测的因果关联,发现模型规模是理由优先推理的关键,而答案优先更稳定,二者共同影响推理忠实度。
2026-09-25 cs.CL
Afrispeech Semantics: Evaluating Audio Semantic Reasoning in Spoken Language Models Across Domains and Accents
University of Florida(佛罗里达大学)
提出五项语义与副语言推理任务(蕴含、一致性、合理性、口音漂移、口音约束),评估音频语言模型在口音变化、领域迁移和语义过度推断下的推理能力,揭示当前评估的局限性。
2026-06-11 cs.AI cs.CL cs.SD
Connecting the Dots: Evaluating Abstract Reasoning Capabilities of LLMs Using the New York Times Connections Word Game
Barnard College, Columbia University(哥伦比亚大学巴纳德学院);Stony Brook University(石溪大学)
本文使用438个《纽约时报》Connections游戏评估LLMs的抽象推理能力,发现表现最好的Claude 3.5 Sonnet仅解决18%的游戏且不及人类玩家,并构建知识类型分类法揭示了LLMs在百科知识等非语义推理上的不足。
2024-10-14 cs.AI cs.CL
LSR-Ben: A Logical and Scientific Reasoning Benchmark for Evaluating Process Reward Models
Research Center for Social Computing(社会计算研究中心);Interactive Robotics, Harbin Institute of Technology, China(交互机器人学,哈尔滨工业大学,中国);Beijing Academy of Artificial Intelligence, Beijing, China(北京人工智能研究院,北京,中国)
GR-Ben旨在评估过程奖励模型在科学和逻辑两大领域及九个子领域的误差检测能力,揭示现有模型在非数学领域和计算错误检测上的不足。
2026-10-01 cs.AI cs.CL
Evaluating Chain-of-Thought Reasoning through Reusability and Verifiability
Indian Institute of Technology(印度理工学院)
本文提出通过可重用性和可验证性评估链式推理的质量,发现专门推理模型并不始终优于通用大语言模型。
2026-11-16 cs.AI cs.CL cs.IR
CRiT-QA: Evaluating Multi-hop Reasoning with Counterfactual Chains and Distractor Traps
Department of Artificial Intelligence, Chung-Ang University(Chung-Ang大学人工智能系);Graduate School of Advanced Imaging Sciences, Multimedia and Film, Chung-Ang University(Chung-Ang大学高级成像科学研究院,多媒体与电影)
研究大语言模型多跳推理能力评估难题,提出CRiT-QA数据集,通过反事实实体转换推理链、注入干扰链解决模型依赖知识和利用捷径问题,实验表明该数据集能暴露模型弱点,为评估多跳推理及开发可靠模型提供基础。
2026-07-14 cs.AI
Evaluating Theory of Mind in Reasoning Models: Robustness over Reasoning
Leiden University(莱顿大学);LIACS(莱顿高级计算机科学研究所)
本研究考察经强化学习训练的推理LLMs在ToM任务中的表现,发现其对提示与任务扰动的鲁棒性提升,支持鲁棒性解释而非ToM特有的新能力。
2026-08-06 cs.CL
Evaluating Implicit Biases in LLM Reasoning through Logic Grid Puzzles
Rutgers University(罗格斯大学);Johns Hopkins University(约翰霍普金斯大学)
提出PRIME框架,利用逻辑网格谜题系统探测LLM在复杂推理中受社会刻板印象的影响,发现模型在解与刻板印象一致时推理更准确。
2026-07-02 cs.AI cs.CL cs.CY
Evaluating Hierarchical Clinical Document Classification Using Reasoning-Based LLMs
College of Science and Engineering, James Cook University(科学与工程学院,詹姆斯库克大学);School of Computing, Macquarie University(计算学院,麦考瑞大学)
本研究基于MIMIC-IV数据集评估11个大语言模型对ICD-10编码的分类能力,发现推理型模型表现更优但F1均低于57%,表明LLMs目前仅能辅助而非替代人工编码。
2025-07-02 cs.AI cs.CL
A Tool for In-depth Analysis of Code Execution Reasoning of Large Language Models
本文提出了ExeRScope工具,通过分析代码执行推理框架的结果,深入理解代码属性对LLM代码执行推理的影响,使分析能推广到相似代码,避免繁琐的基准设计。
2025-01-30 cs.SE
Reasoning or Overthinking: Evaluating Large Language Models on Financial Sentiment Analysis
BlackRock, Inc.(黑石公司)
本文在金融情感分析任务上评估多种大语言模型,发现推理或思维链提示并未提升性能,反而可能引发过度思考,GPT-4o无思维链时表现最佳,表明系统1式直觉思维更契合人类判断。
2025-06-05 cs.AI cs.CL
KG-LLM-Bench: A Scalable Benchmark for Evaluating LLM Reasoning on Textualized Knowledge Graphs
University of Southern California(南加州大学);University of California, Riverside(加州大学河滨分校)
本文提出KG-LLM-Bench基准,系统评估五种知识图谱文本化策略在七种语言模型上的表现,为优化LLM知识图谱推理提供指导。
2025-04-09 cs.AI cs.CL cs.IR
LGMT: Logic-Grounded Metamorphic Testing for Evaluating the Reasoning Reliability of LLMs
School of Automation Science and Electrical Engineering, Beihang University(自动化科学与电气工程学院,北京航空航天大学)
提出LGMT框架,利用一阶逻辑推导蜕变关系,通过一致性检查评估LLM推理的鲁棒性,揭示传统评估忽略的隐藏缺陷。
2026-07-03 cs.AI cs.LG cs.SE
Position: On the Methodological Pitfalls of Evaluating Base LLMs for Reasoning
University of Sheffield, UK(谢菲尔德大学)
本文指出当前评估基座LLMs推理能力的研究存在预训练目标与推理评估规范错配的方法论陷阱,挑战两类通用假设,呼吁重审相关现有研究并在未来工作中规避该问题。
2025-11-13 cs.CL
Relay-Bench: Evaluating LLMs on Multi-Domain Reasoning Chains
Relay-Bench是用于评估大语言模型在多领域推理链能力的基准测试,测试集含复合问题,涵盖多领域,模型使用无限制,鼓励利用工具,领先模型GPT-5.5(xHigh)得分43.3%,问题由两到十三个子问题组成,无需多模态输入输出。
2026-07-22 cs.AI cs.CL cs.LG
CapGeo-Bench: Decoupling Visual Perception from Reasoning and Evaluating Geometric Understanding
THU(清华大学);PKU(北京大学);Ant Group(蚂蚁集团)
针对多模态大模型几何推理瓶颈,提出CapGeo-Bench基准,含4641个图形-描述对及细粒度关键点评估指标,验证并评估视觉感知能力。
2026-09-15 cs.AI cs.CL cs.CV
Are they lovers or friends? Evaluating LLMs' Social Reasoning in English and Korean Dialogues
KAIST(韩国科学技术院);LT3;IDLab(ID实验室);Universiteit Gent(根特大学);Boston University(波士顿大学)
本文通过SCRIPTS数据集评估LLMs在英语和韩语对话中推断人物关系的能力,发现当前模型在英语和韩语中的准确率分别为75-80%和58-69%,且存在显著的社交推理局限性。
2026-04-20 cs.CL
DetectiveQA: Evaluating Long-Context Reasoning on Detective Novels
School of Computer Science, Fudan University(复旦大学计算机科学学院);Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Shanghai AI Laboratory(上海人工智能实验室)
本文提出 DetectiveQA 数据集与逐步推理指标,利用超10万 token 的侦探小说和1200道中英双语标注题评估主流 LLM,揭示其长上下文推理与证据检索仍面临挑战。
2025-03-14 cs.CL