Evaluating OpenAI GPT Models for Translation of Endangered Uralic Languages: A Comparison of Reasoning and Non-Reasoning Architectures
Metropolia University of Applied Sciences(应用科学大学);University of Helsinki(赫尔辛基大学)
本研究比较了OpenAI GPT模型在翻译濒危乌拉尔语系语言中的推理与非推理架构性能,发现推理模型在翻译任务中表现更优。
2025-12-18 cs.CL
Evaluating Explanation-Driven Vision-Language Reasoning via Generation Order Interventions
German Research Center for Artificial Intelligence(德国人工智能研究中心);University of Oldenburg(奥尔登堡大学)
本研究通过控制生成顺序干预,系统评估了解释与预测的因果关联,发现模型规模是理由优先推理的关键,而答案优先更稳定,二者共同影响推理忠实度。
2026-09-25 cs.CL
Evaluating Theory of Mind in Reasoning Models: Robustness over Reasoning
Leiden University(莱顿大学);LIACS(莱顿高级计算机科学研究所)
本研究考察经强化学习训练的推理LLMs在ToM任务中的表现,发现其对提示与任务扰动的鲁棒性提升,支持鲁棒性解释而非ToM特有的新能力。
2026-08-06 cs.CL
Position: On the Methodological Pitfalls of Evaluating Base LLMs for Reasoning
University of Sheffield, UK(谢菲尔德大学)
本文指出当前评估基座LLMs推理能力的研究存在预训练目标与推理评估规范错配的方法论陷阱,挑战两类通用假设,呼吁重审相关现有研究并在未来工作中规避该问题。
2025-11-13 cs.CL
EconNLI: Evaluating Large Language Models on Economics Reasoning
The Hong Kong University of Science and Technology(香港科技大学)
本文提出经济事件自然语言推理数据集EconNLI,从因果分类和事件生成两方面系统评估大语言模型的经济推理能力,实验发现现有模型表现不足且易产生幻觉答案,揭示了其在经济决策场景中的局限性。
2024-07-01 cs.CL
Are they lovers or friends? Evaluating LLMs' Social Reasoning in English and Korean Dialogues
KAIST(韩国科学技术院);LT3;IDLab(ID实验室);Universiteit Gent(根特大学);Boston University(波士顿大学)
本文通过SCRIPTS数据集评估LLMs在英语和韩语对话中推断人物关系的能力,发现当前模型在英语和韩语中的准确率分别为75-80%和58-69%,且存在显著的社交推理局限性。
2026-04-20 cs.CL
Evaluating Mathematical Reasoning Beyond Accuracy
Shanghai Jiao Tong University(上海交通大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Carnegie Mellon University(卡内基梅隆大学);Yale University(耶鲁大学);Generative AI Research Lab (GAIR)(生成式人工智能研究实验室(GAIR))
针对现有大语言模型数学评估仅关注最终答案、忽略推理步骤质量的问题,提出ReasonEval评估方法,通过有效性和冗余性衡量推理质量,实验证明其性能优于基线,且可用于数据筛选,相关资源已开源。
2025-01-14 cs.CL
Evaluating Pragmatic Reasoning in Large Language Models: Evidence from Scalar Diversity
Sungkyunkwan University(成均馆大学)
研究通过量级多样性评估大语言模型的语用推理能力,发现不同模型和任务结构下语用行为差异显著,评价方法无法单一确定模型能力。
2026-05-09 cs.CL
Multi-Turn Puzzles: Evaluating Interactive Reasoning and Strategic Dialogue in LLMs
Google DeepMind(谷歌DeepMind);Google Research(谷歌研究)
针对LLMs在现实交互任务中表现不佳的问题,本文提出含确定性评分机制的多轮谜题基准,评估模型的交互式推理等能力,揭示其不足并为相关研究提供平台。
2025-08-24 cs.CL
DetectiveQA: Evaluating Long-Context Reasoning on Detective Novels
School of Computer Science, Fudan University(复旦大学计算机科学学院);Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Shanghai AI Laboratory(上海人工智能实验室)
本文提出 DetectiveQA 数据集与逐步推理指标,利用超10万 token 的侦探小说和1200道中英双语标注题评估主流 LLM,揭示其长上下文推理与证据检索仍面临挑战。
2025-03-14 cs.CL
Evaluating Step-by-Step Reasoning through Symbolic Verification
MBZUAI(穆罕默德·本·扎耶德人工智能大学);Carnegie Mellon University(卡内基梅隆大学);AWS AI, Amazon(亚马逊AWS人工智能部门);Petuum Inc.(Petuum公司)
本文构建自然语言与符号等价数据集,提出神经符号方法LMLP,通过逻辑规则迭代推理并支持自动验证,在演绎推理中比思维链准确率提升超过25%。
2024-03-28 cs.CL
Evaluating Accounting Reasoning Capabilities of Large Language Models
School of Computer Engineering, Jiangsu Ocean University(计算机工程学院,江苏海洋大学)
本文评估了大型语言模型在会计推理任务中的能力,通过定义垂直领域会计推理标准,分析了GLM和GPT-4等模型的表现,发现提示设计对性能影响显著,但现有模型仍需优化以满足实际需求。
2026-01-10 cs.CL
EconLogicQA: A Question-Answering Benchmark for Evaluating Large Language Models in Economic Sequential Reasoning
Georgia Institute of Technology(佐治亚理工学院)
本文提出EconLogicQA基准,通过要求模型识别和排列多事件序列,评估大语言模型在经济学、商业和供应链管理领域的复杂序列推理能力。
2024-09-22 cs.CL
MortalMATH: Evaluating the Conflict Between Reasoning Objectives and Emergency Contexts
Univ. Lille(里尔大学);Univ. Lille, Inria, CNRS, Centrale Lille, UMR 9189 - CRIStAL(里尔大学)
MortalMATH研究了推理模型在紧急情境下的表现差异,发现通用模型能拒绝危险任务,而专门模型则忽视危险,导致安全风险。
2026-01-26 cs.CL
CounterBench: Evaluating and Improving Counterfactual Reasoning in Large Language Models
Rutgers University(罗格斯大学);Case Western Reserve University(凯斯西储大学)
本文提出CounterBench基准数据集,评估大型语言模型在反事实推理中的表现,并提出CoIn方法提升其能力。
2026-04-11 cs.CL
MedCaseReasoning: Evaluating and learning diagnostic reasoning from clinical case reports
Stanford University(斯坦福大学);University of Southern California(南加州大学);University of California, San Francisco(旧金山大学)
针对现有医学基准仅评估最终答案、忽略推理质量的问题,研究团队推出含14489个病例的MedCaseReasoning数据集,用于评估大语言模型的临床推理对齐能力,发现现有模型表现不佳,且基于该数据集微调可显著提升诊断准确率和推理召回率。
2025-05-20 cs.CL
Thinking Longer, Not Always Smarter: Evaluating LLM Capabilities in Hierarchical Legal Reasoning
University of Pittsburgh(匹兹堡大学);Technical University of Munich(慕尼黑技术大学)
本文提出一个框架评估大语言模型在分层法律推理中的能力,发现模型在表面推理准确但分层推理表现下降,揭示了模型在复杂领域中的局限性。
2026-01-20 cs.CL
Test of Time: A Benchmark for Evaluating LLMs on Temporal Reasoning
Google Research(谷歌研究院);Google DeepMind(谷歌DeepMind);Google(谷歌公司)
本文提出合成基准Test of Time,通过多样化问题类型系统评估LLM的时间推理能力,揭示其优势与不足,并开源数据集与评估框架。
2024-06-13 cs.CL
Evaluating Intermediate Reasoning of Code-Assisted Large Language Models for Mathematics
Saarland University(萨尔兰大学)
本文通过人工与自动评估五个代码辅助大语言模型在多个数学数据集上生成程序的逻辑可靠性,发现闭源模型基于数学概念推理而开源模型常依赖记忆和穷举搜索,且问题难度增加会降低所有模型的可靠生成比例,揭示仅凭执行准确率无法全面衡量 LLMs 的数学推理能力。
2025-07-22 cs.CL
CLR-Fact: Evaluating the Complex Logical Reasoning Capability of Large Language Models over Factual Knowledge
The Hong Kong University of Science and Technology(香港科技大学)
本文提出CLR-Fact基准,系统评估LLMs在通用与生物医学知识图谱上的复杂逻辑推理能力,发现思维链提示可显著提升性能,且模型擅长并集运算但交集推理薄弱。
2024-07-30 cs.CL
GroundCocoa: A Benchmark for Evaluating Compositional & Conditional Reasoning in Language Models
针对LLMs在简单任务中意外出错的问题,该研究聚焦组合式与条件式推理,提出词汇多样的基准GroundCocoa(关联机票预订任务),发现最先进LLMs性能差异显著,GPT-4 Turbo准确率未超67%。
2025-02-13 cs.CL
TextBandit: Evaluating Probabilistic Reasoning in LLMs Through Language-Only Decision Tasks
UC Merced(加州大学默塞德分校);UC Berkeley(加州大学伯克利分校);Algoverse
本文提出TextBandit基准,通过纯文本反馈的多臂老虎机任务评估LLM概率推理,发现Qwen3-4B以89.2%最佳臂选择率超越更大模型和传统算法,证明概率推理可从语言中涌现。
2025-10-13 cs.CL
LR^2Bench: Evaluating Long-chain Reflective Reasoning Capabilities of Large Language Models via Constraint Satisfaction Problems
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);Zhongguancun Academy(中关村学院);Wuhan AI Research(武汉人工智能研究院)
本文提出了LR^2Bench基准,通过包含850个样本的六类约束满足问题,全面评估大型语言模型的长链反思推理能力,实验表明最先进的模型在该基准上表现不佳,揭示了当前模型反思推理能力的改进空间。
2025-06-25 cs.CL
DocMath-Eval: Evaluating Math Reasoning Capabilities of LLMs in Understanding Long and Specialized Documents
Yale University(耶鲁大学);New York University(纽约大学);Penn State University(宾夕法尼亚州立大学);Carnegie Mellon University(卡内基梅隆大学);Allen Institute for AI(艾伦人工智能研究所)
本文提出 DocMath-Eval 基准,通过 CoT 与 PoT 提示评估 48 个 LLM 对含文本和表格的长篇专业文档的数值推理能力,发现 GPT-4o 仍显著落后于人类专家。
2024-08-09 cs.CL
Piecing Together Clues: A Benchmark for Evaluating the Detective Skills of Large Language Models
Fudan University(复旦大学);Xiaohongshu Inc.(小红书科技有限公司)
研究提出DetectBench数据集评估大型语言模型在复杂信息下的关键信息检测与多跳推理能力,并设计Detective Thinking Framework方法,通过鼓励模型在推理前识别所有线索,有效缓解了现有模型在这两方面表现不佳的问题。
2024-03-20 cs.CL
How Clued up are LLMs? Evaluating Multi-Step Deductive Reasoning in a Text-Based Game Environment
Georgetown University(乔治城大学);Syntheos, Corp(Syntheos公司);UNU-Merit
本文通过文本多智能体版经典棋盘游戏Clue评估LLM的多步骤演绎推理能力,发现即使在结构化逻辑谜题微调后,推理一致性仍难以维持,且推理精度未显著提升。
2026-03-17 cs.AI cs.CL
Scaling Reasoning, Losing Control: Evaluating Instruction Following in Large Reasoning Models
Renmin University of China(中国人民大学);Shanghai AI Laboratory(上海人工智能实验室);The Chinese University of Hong Kong(香港中文大学)
本研究提出MathIF基准,发现推理能力增强与指令遵循之间存在张力,长思维链或推理强化学习会降低遵循能力,简单干预可部分恢复但牺牲推理性能。
2025-05-25 cs.AI cs.CL
LTLBench: Towards Benchmarks for Evaluating Temporal Reasoning in Large Language Models
University of Edinburgh(爱丁堡大学)
LTLBench通过线性时序逻辑评估大语言模型的时间推理能力,构建包含2000个挑战的数据集并测试12个模型,揭示时间推理中的主要问题及复杂性影响。
2026-01-05 cs.AI cs.CL
Evaluating Large Language Models with NeuBAROCO: Syllogistic Reasoning Ability and Human-like Biases
Keio University(庆应义塾大学)
本研究通过NeuBAROCO数据集评估大型语言模型的三段论推理能力,发现其在处理信念偏见、转换错误和氛围效应三类类人偏见问题时表现更差。
2023-06-21 cs.AI cs.CL
FRoG: Evaluating Fuzzy Reasoning of Generalized Quantifiers in Large Language Models
Shanghai Jiao Tong University(上海交通大学);UNC-Chapel Hill(北卡罗来纳大学教堂山分校);The Hong Kong Polytechnic University(香港理工大学)
本文提出模糊推理基准FRoG,通过含广义量词的真实数学应用题评估大语言模型,发现模糊推理仍具挑战性,现有推理增强方法效果不一致,且存在逆向缩放效应。
2024-07-03 cs.AI cs.CL
ProMoral-Bench: Evaluating Prompting Strategies for Moral Reasoning and Safety in LLMs
ProMoral-Bench通过统一道德安全评分评估多种提示策略,发现紧凑示例引导框架在道德和安全方面表现更优。
2026-11-06 cs.AI cs.CL
GameBench: Evaluating Strategic Reasoning Abilities of LLM Agents
Olin College of Engineering(奥林工程学院);University of Texas at Dallas(德克萨斯大学达拉斯分校);University of Oxford(牛津大学);University College London(伦敦大学学院);ShanghaiTech University(上海科技大学);Columbia University(哥伦比亚大学);University of Manchester(曼彻斯特大学)
GameBench是一个跨领域基准,通过9个游戏环境评估LLM智能体的战略推理能力,结果显示GPT-3/GPT-4均未达到人类水平,CoT和RAP框架虽提升分数但仍不及人类。
2024-07-22 cs.AI cs.CL
Exploring and Evaluating Multimodal Knowledge Reasoning Consistency of Multimodal Large Language Models
School of Software and Microelectronics, Peking University(北京大学软件与微电子学院);Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机技术研究院)
针对多模态大语言模型跨模态知识推理不一致的问题,本文提出四个评估任务并构建新数据集,通过实验分析一致性退化程度及成因,为未来模型改进提供指导。
2025-03-03 cs.AI cs.CL
Evaluating the Meta- and Object-Level Reasoning of Large Language Models for Question Answering
The University of Edinburgh(爱丁堡大学);Aveni(阿维尼公司)
针对LLM在复杂多步推理QA任务中的挑战,本文区分元级(高级策略规划)与对象级(低级任务执行)推理,提出Franklin数据集并结合其他数据集评估4个LLM,揭示其元级推理表现好但对象级推理存困难。
2025-02-14 cs.AI cs.CL
GLoRE: Evaluating Logical Reasoning of Large Language Models
Hainan University(海南大学);Westlake University(西湖大学);ByteDance SG(字节跳动新加坡)
本文提出GLoRE,一个统一格式的逻辑推理评估平台,在零样本和少样本场景下评估大语言模型,实验显示大型推理模型(如QwQ-32B)性能显著提升,并持续整合新数据与模型。
2025-04-20 cs.AI cs.CL
GameArena: Evaluating LLM Reasoning through Live Computer Games
University of California, San Diego(加利福尼亚大学圣迭戈分校);University of California, Berkeley(加利福尼亚大学伯克利分校);Snowflake(雪花公司)
本文提出动态基准 GameArena,通过三款人机交互游戏细粒度评估 LLM 的演绎、归纳等推理能力,并基于 2000 多个会话和 100 人用户研究验证其评估效果与参与度。
2025-02-15 cs.AI cs.CL
InMind: Evaluating LLMs in Capturing and Applying Individual Human Reasoning Styles
Nankai University(南开大学);Shanghai Innovation Institute(上海创新研究院);Shanghai AI Laboratory(上海人工智能实验室);Fudan University(复旦大学);Johns Hopkins University(约翰霍普金斯大学);Wuhan University(武汉大学);University of Science and Technology of China(中国科学技术大学)
本文提出InMind评估框架,通过社交推理游戏中的策略轨迹与赛后反思,检验大语言模型捕捉和应用个体化推理风格的能力,发现通用模型存在局限而推理增强模型初显风格敏感推理能力。
2025-09-21 cs.AI cs.CL
Beyond Accuracy: Evaluating the Reasoning Behavior of Large Language Models -- A Survey
LMU Munich(慕尼黑大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心)
本文综述了超越准确率指标的大语言模型推理行为评估研究,指出LLMs主要依赖表层模式而非深层推理,并呼吁进一步区分人类与模型推理差异。
2024-08-06 cs.AI cs.CL
Multi-LogiEval: Towards Evaluating Multi-Step Logical Reasoning Ability of Large Language Models
Arizona State University(亚利桑那州立大学)
针对现有逻辑推理基准规则有限、缺非单调推理评估的问题,提出覆盖三类逻辑、多规则多深度的Multi-LogiEval数据集,评估发现LLM性能随推理深度显著下降,为相关研究提供支撑。
2024-10-07 cs.AI cs.CL
CALRK-Bench: Evaluating Context-Aware Legal Reasoning in Korean Law
KAIST AI(韩国科学技术院人工智能学院);Law School, Ajou University(亚洲大学法学院);Department of Artificial Intelligence, Ajou University(亚洲大学人工智能系)
本文提出CALRK-Bench,一个基于韩国法律体系的情境感知法律推理基准,评估模型对法律规范时效性、案件法律信息充分性及法律判断变化原因的理解能力,实验表明大语言模型在这些任务上表现不佳。
2026-03-27 cs.AI cs.CL
CHBench: A Cognitive Hierarchy Benchmark for Evaluating Strategic Reasoning Capability of LLMs
Gaoling School of Artificial Intelligence(北京语言大学人工智能学院);Renmin University of China(中国人民大学)
本文提出受行为经济学认知层级模型启发的CHBench基准,通过三阶段框架评估六个LLMs在十五个标准式博弈中的战略推理能力,验证了框架稳健性,并发现对话机制削弱而记忆机制增强战略推理。
2025-08-16 cs.AI cs.CL cs.HC
P-FOLIO: Evaluating and Improving Logical Reasoning with Abundant Human-Written Reasoning Chains
Yale University(耶鲁大学);Harvard University(哈佛大学);NVIDIA(英伟达公司);Salesforce Research(Salesforce研究院)
提出P-FOLIO人工标注数据集,通过单步推理规则分类评估并利用多样本提示与微调显著提升LLM逻辑推理能力,在域外数据集上性能提升超10%。
2024-10-11 cs.AI cs.CL
IsoSci: A Benchmark of Isomorphic Cross-Domain Science Problems for Evaluating Reasoning versus Knowledge Retrieval in LLMs
Texas A&M University(德克萨斯农工大学);Hamad Bin Khalifa University(哈马德·本·哈利法大学)
提出IsoSci基准,通过逻辑结构相同但领域知识不同的科学问题对,分离推理能力与领域知识检索,发现91.3%的推理增益依赖于知识而非结构,挑战了思维链推理提升科学问题解决的假设。
2026-07-03 cs.AI cs.CL
Evaluating the Generalization Capabilities of Large Language Models on Code Reasoning
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Brown University(布朗大学)
本文通过构造分布内与分布外程序并评估10个最新LLM,发现早期模型偏向模式匹配,而最新模型在代码推理上具备强泛化能力。
2025-04-07 cs.CL cs.LG cs.SE
Filtered Reasoning Score: Evaluating Reasoning Quality on a Model's Most-Confident Traces
University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文提出过滤推理得分,用于评估模型推理质量,区分相似准确率的模型,并提高对输入提示和生成配置变化的鲁棒性。
2026-08-05 cs.AI cs.CL
SV-TrustEval-C: Evaluating Structure and Semantic Reasoning in Large Language Models for Source Code Vulnerability Analysis
University of Ottawa(渥太华大学);OpenText(OpenText公司)
针对LLM漏洞分析缺乏结构与语义推理评估的问题,提出SV-TrustEval-C基准,从结构推理和语义推理两维度评测,发现现有模型依赖模式匹配,推理能力不足。
2025-05-27 cs.CL cs.SE
Possible Stories: Evaluating Situated Commonsense Reasoning under Multiple Possible Scenarios
Tokyo Metropolitan University(东京都立大学);Yahoo Japan Corporation(雅虎日本公司);National Institute of Informatics(国立信息学研究所)
同一背景下可能产生的后果可能因我们所指的情况而异。然而,目前自然语言处理的研究并没有集中在多个可能的场景下的情境常识推理。本研究通过提出多个问题来构建这个任务,这些问题具有相同的可能结局作为候选答案,给定一个短篇小说文本。我们得到的数据集,可能的故事,包括超过4.5K的问题超过1.3K的故事文本的英语。我们发现,即使是目前强大的预训练语言模型也很难始终如一地回答这些问题,这表明在无监督环境中的最高准确率(60.2%)远远落后于人类的准确率(92.5%)。通过与现有数据集的比较,我们观察到我们数据集中的问题在答案选项中包含最小的注释工件。此外,我们的数据集包括需要反事实推理的例子,以及那些需要读者的反应和虚构的信息,这表明我们的数据集可以作为一个具有挑战性的测试平台,为未来的研究现场常识推理。
2022-09-16 cs.AI cs.CL
Concept-Reversed Winograd Schema Challenge: Evaluating and Improving Robust Reasoning in Large Language Models via Abstraction
Zhejiang University(浙江大学);HKUST(香港科技大学);University of Edinburgh(爱丁堡大学)
本文提出了概念反转的CR-WSC数据集以评估LLMs的鲁棒推理能力,并提出Abstraction-of-Thought(AoT)提示方法,通过概念抽象将对抗样本恢复为正常样本,显著提升了LLMs推理的鲁棒性和一致性。
2024-10-15 cs.AI cs.CL
PlanBench: An Extensible Benchmark for Evaluating Large Language Models on Planning and Reasoning about Change
Arizona State University(亚利桑那州立大学);Colorado State University(科罗拉多州立大学)
提出可扩展基准PlanBench,基于自动化规划领域测试LLMs在规划与变化推理上的能力,发现即使SOTA模型在计划生成等关键能力上表现仍不足,可作为衡量进展的标志。
2023-11-26 cs.AI cs.CL
Unmasking Reasoning Processes: A Process-aware Benchmark for Evaluating Structural Mathematical Reasoning in LLMs
Alibaba Group(阿里巴巴集团);Shanghai Jiao Tong University(上海交通大学)
本文提出ReasoningMath-Plus基准,通过过程感知评估方法揭示大语言模型在结构性数学推理中的不足,引入HCRS评分函数和过程奖励模型,发现仅答案指标可能高估推理能力。
2026-02-26 cs.AI cs.CL
From Reasoning Depth to Reasoning Breadth: Evaluating Multi-Point Associative Reasoning in Large Language Models
Beijing University of Posts and Telecommunications(北京邮电大学);Peking University(北京大学);Kuaishou Technology(快手科技)
该研究构建了中英双语多点关联推理基准MPAR-Bench,发现大型语言模型的推理深度未自动带来稳健的推理广度,当前基准未充分覆盖推理广度。
2026-08-13 cs.AI cs.CL
Evaluating the Effectiveness of Retrieval-Augmented Large Language Models in Scientific Document Reasoning
Pacific Northwest National Laboratory(太平洋西北国家实验室)
针对大语言模型的幻觉问题,本研究评估检索增强型LLM的科学文献推理能力,发现这类模型仍会编造科学任务的证据,且用科学语料预训练无法缓解该风险。
2023-11-07 cs.AI cs.CL
Flying Pigs, FaR and Beyond: Evaluating LLM Reasoning in Counterfactual Worlds
University of Maryland, Baltimore County(马里兰大学巴尔的摩县分校);Wright State University(威斯汀豪斯州立大学)
本文研究了LLM在反事实场景下的推理能力,提出FaR方法以增强模型的元认知,减少逻辑与知识冲突带来的性能下降。
2026-03-24 cs.CL cs.LG
HI-TOM: A Benchmark for Evaluating Higher-Order Theory of Mind Reasoning in Large Language Models
University of Michigan(密歇根大学);Westlake University(西湖大学)
本文探索大型语言模型的高阶心智理论推理,提出HI-TOM基准,发现模型在高阶任务上性能下降,并分析失败案例以揭示当前局限及对NLP未来的启示。
2023-10-25 cs.AI cs.CL