Evaluating OpenAI GPT Models for Translation of Endangered Uralic Languages: A Comparison of Reasoning and Non-Reasoning Architectures
Metropolia University of Applied Sciences(应用科学大学);University of Helsinki(赫尔辛基大学)
本研究比较了OpenAI GPT模型在翻译濒危乌拉尔语系语言中的推理与非推理架构性能,发现推理模型在翻译任务中表现更优。
2025-12-18 cs.CL
Evaluating Explanation-Driven Vision-Language Reasoning via Generation Order Interventions
German Research Center for Artificial Intelligence(德国人工智能研究中心);University of Oldenburg(奥尔登堡大学)
本研究通过控制生成顺序干预,系统评估了解释与预测的因果关联,发现模型规模是理由优先推理的关键,而答案优先更稳定,二者共同影响推理忠实度。
2026-09-25 cs.CL
Improving Mathematical Reasoning Capabilities in Large Language Models via Reasoning Process Error Classification
Human Informatics Labs., NTT, Inc.(NTT公司人类信息学实验室)
本研究通过定义并分类21种推理错误,设计聚焦八种错误类别的提示词,有效提升了大语言模型在数学推理任务上的性能。
2026-09-15 cs.CL
Evaluating Theory of Mind in Reasoning Models: Robustness over Reasoning
Leiden University(莱顿大学);LIACS(莱顿高级计算机科学研究所)
本研究考察经强化学习训练的推理LLMs在ToM任务中的表现,发现其对提示与任务扰动的鲁棒性提升,支持鲁棒性解释而非ToM特有的新能力。
2026-08-06 cs.CL
Towards Spoken Mathematical Reasoning: Benchmarking Speech-based Models over Multi-faceted Math Problems
Institute for Infocomm Research (I 2 R), A*STAR, Singapore(信息与通信研究 institute(I2R),A*STAR,新加坡);Centre for Frontier AI Research (CFAR), A*STAR, Singapore(前沿人工智能研究 centre(CFAR),A*STAR,新加坡)
针对语音模型数学推理能力研究不足的问题,提出覆盖多类数学题的Spoken-MQA基准,测试发现语音大语言模型在纯算术、口语化数学表达式理解、知识推理上存在明显短板。
2025-05-21 cs.CL
Riazi-8B: An Urdu Large Language Model for Mathematical Reasoning
School of Electrical Engineering and Computer Science (SEECS)(电气工程与计算机科学学院);National University of Sciences and Technology (NUST)(国家科学与技术大学);Department of Communication, Quality Management and Information Systems(通信、质量管理与信息系统系);Mid Sweden University(中瑞典大学)
针对乌尔都语数学推理资源匮乏的问题,提出Riazi-8B模型,通过乌尔都语维基百科继续预训练和GSM8K链式思维数据微调,在MGSM-乌尔都语基准上显著提升答案正确性和推理质量。
2026-06-25 cs.CL
MathHay: An Automated Benchmark for Long-Context Mathematical Reasoning in LLMs
Salesforce AI Research(Salesforce AI研究院);Singapore Management University(新加坡管理大学)
针对现有长上下文基准缺乏数学推理能力评估的问题,本文提出自动化基准MathHay,要求模型兼具长文本信息检索与复杂数学推理能力,实验显示8款顶尖LLMs在该基准上表现不佳,最优模型128K tokens下准确率仅51.26%。
2024-10-07 cs.CL
Position: On the Methodological Pitfalls of Evaluating Base LLMs for Reasoning
University of Sheffield, UK(谢菲尔德大学)
本文指出当前评估基座LLMs推理能力的研究存在预训练目标与推理评估规范错配的方法论陷阱,挑战两类通用假设,呼吁重审相关现有研究并在未来工作中规避该问题。
2025-11-13 cs.CL
Chain-of-Reasoning: Towards Unified Mathematical Reasoning in Large Language Models via a Multi-Paradigm Perspective
Microsoft Research Asia(微软亚洲研究院);Tsinghua University(清华大学)
针对大语言模型单范式数学推理的局限性,提出整合多推理范式的Chain-of-Reasoning框架及渐进式训练策略,训练得到的CoR-Math-7B在多项数学任务上显著优于现有SOTA模型,实现跨任务零样本泛化。
2025-09-04 cs.CL
Are they lovers or friends? Evaluating LLMs' Social Reasoning in English and Korean Dialogues
KAIST(韩国科学技术院);LT3;IDLab(ID实验室);Universiteit Gent(根特大学);Boston University(波士顿大学)
本文通过SCRIPTS数据集评估LLMs在英语和韩语对话中推断人物关系的能力,发现当前模型在英语和韩语中的准确率分别为75-80%和58-69%,且存在显著的社交推理局限性。
2026-04-20 cs.CL
DetectiveQA: Evaluating Long-Context Reasoning on Detective Novels
School of Computer Science, Fudan University(复旦大学计算机科学学院);Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Shanghai AI Laboratory(上海人工智能实验室)
本文提出 DetectiveQA 数据集与逐步推理指标,利用超10万 token 的侦探小说和1200道中英双语标注题评估主流 LLM,揭示其长上下文推理与证据检索仍面临挑战。
2025-03-14 cs.CL
Evaluating Pragmatic Reasoning in Large Language Models: Evidence from Scalar Diversity
Sungkyunkwan University(成均馆大学)
研究通过量级多样性评估大语言模型的语用推理能力,发现不同模型和任务结构下语用行为差异显著,评价方法无法单一确定模型能力。
2026-05-09 cs.CL
MathMist: A Parallel Multilingual Benchmark Dataset for Mathematical Problem Solving and Reasoning
BRAC University(布拉克大学);United International University(国际联合大学);Qatar Computing Research Institute(卡塔尔计算研究所);Center for Computational & Data Sciences, Independent University, Bangladesh(计算与数据科学中心,独立大学,孟加拉国);Amazon GenAI(亚马逊生成人工智能);University of Virginia(弗吉尼亚大学)
MathMist是一个用于评估多语言数学推理能力的平行多语言基准数据集,涵盖多种语言和资源设置,测试了不同模型在零样本、链式思维等范式下的表现。
2026-01-24 cs.CL
CounterBench: Evaluating and Improving Counterfactual Reasoning in Large Language Models
Rutgers University(罗格斯大学);Case Western Reserve University(凯斯西储大学)
本文提出CounterBench基准数据集,评估大型语言模型在反事实推理中的表现,并提出CoIn方法提升其能力。
2026-04-11 cs.CL
Evaluating Accounting Reasoning Capabilities of Large Language Models
School of Computer Engineering, Jiangsu Ocean University(计算机工程学院,江苏海洋大学)
本文评估了大型语言模型在会计推理任务中的能力,通过定义垂直领域会计推理标准,分析了GLM和GPT-4等模型的表现,发现提示设计对性能影响显著,但现有模型仍需优化以满足实际需求。
2026-01-10 cs.CL
MedCaseReasoning: Evaluating and learning diagnostic reasoning from clinical case reports
Stanford University(斯坦福大学);University of Southern California(南加州大学);University of California, San Francisco(旧金山大学)
针对现有医学基准仅评估最终答案、忽略推理质量的问题,研究团队推出含14489个病例的MedCaseReasoning数据集,用于评估大语言模型的临床推理对齐能力,发现现有模型表现不佳,且基于该数据集微调可显著提升诊断准确率和推理召回率。
2025-05-20 cs.CL
RIDE: Difficulty Evolving Perturbation with Item Response Theory for Mathematical Reasoning
East China Normal University(东华大学);The Hong Kong University of Science and Technology(香港科学与技术大学)
RIDE通过项目反应理论生成更具挑战性的数学问题,评估大型语言模型的数学推理能力,实验显示其性能下降21.73%,验证了评估方法的有效性。
2026-01-31 cs.CL
Does Learning Mathematical Problem-Solving Generalize to Broader Reasoning?
City University of Hong Kong(香港城市大学);HKUST(香港科技大学);Meituan(美团)
本文实证研究数学问题求解训练能否泛化到通用推理,发现短链思维指令微调效果有限甚至有害,而长链思维结合基于规则的强化学习能显著增强跨领域泛化能力。
2025-07-06 cs.CL
MortalMATH: Evaluating the Conflict Between Reasoning Objectives and Emergency Contexts
Univ. Lille(里尔大学);Univ. Lille, Inria, CNRS, Centrale Lille, UMR 9189 - CRIStAL(里尔大学)
MortalMATH研究了推理模型在紧急情境下的表现差异,发现通用模型能拒绝危险任务,而专门模型则忽视危险,导致安全风险。
2026-01-26 cs.CL
TAPO: Translation Augmented Policy Optimization for Multilingual Mathematical Reasoning
National Key Laboratory for Novel Software Technology, Nanjing University(南京大学计算机软件新技术国家重点实验室);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
TAPO通过引入翻译增强策略优化框架,提升多语言数学推理能力,有效结合语言理解和推理能力,优于基线方法并在未见语言和领域任务中表现良好。
2026-03-26 cs.CL
Evaluating Step-by-Step Reasoning through Symbolic Verification
MBZUAI(穆罕默德·本·扎耶德人工智能大学);Carnegie Mellon University(卡内基梅隆大学);AWS AI, Amazon(亚马逊AWS人工智能部门);Petuum Inc.(Petuum公司)
本文构建自然语言与符号等价数据集,提出神经符号方法LMLP,通过逻辑规则迭代推理并支持自动验证,在演绎推理中比思维链准确率提升超过25%。
2024-03-28 cs.CL
EconLogicQA: A Question-Answering Benchmark for Evaluating Large Language Models in Economic Sequential Reasoning
Georgia Institute of Technology(佐治亚理工学院)
本文提出EconLogicQA基准,通过要求模型识别和排列多事件序列,评估大语言模型在经济学、商业和供应链管理领域的复杂序列推理能力。
2024-09-22 cs.CL
A Survey of Mathematical Reasoning in the Era of Multimodal Large Language Model: Benchmark, Method & Challenges
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));The Hong Kong University of Science and Technology(香港科技大学);Nanyang Technological University(南洋理工大学);Squirrel Ai Learning(松鼠Ai学习)
该综述首次全面分析多模态大语言模型时代的数学推理,梳理2021年来200余项研究,从基准、方法、挑战三维度分类,探讨多模态推理流水线等,指出五大AGI落地挑战并给出未来方向,为相关研究提供参考。
2025-05-20 cs.CL
Is Your Model Really A Good Math Reasoner? Evaluating Mathematical Reasoning with Checklist
Xi’an Jiaotong-Liverpool University(西交利物浦大学);University of Liverpool(利物浦大学);University of Macau(澳门大学);HKUST(香港科技大学);Microsoft Research Asia(微软亚洲研究院);Duke Kunshan University(昆山杜克大学)
针对现有数学推理基准易过拟合、无法真实反映模型能力的问题,本文提出评估清单MathCheck及自动生成工具,构建文本和多模态升级基准,测试26个LLM和17个MLLM,证明其能更准确衡量数学推理能力且可扩展到其他推理任务。
2024-10-08 cs.CL
Thinking Longer, Not Always Smarter: Evaluating LLM Capabilities in Hierarchical Legal Reasoning
University of Pittsburgh(匹兹堡大学);Technical University of Munich(慕尼黑技术大学)
本文提出一个框架评估大语言模型在分层法律推理中的能力,发现模型在表面推理准确但分层推理表现下降,揭示了模型在复杂领域中的局限性。
2026-01-20 cs.CL
EconNLI: Evaluating Large Language Models on Economics Reasoning
The Hong Kong University of Science and Technology(香港科技大学)
本文提出经济事件自然语言推理数据集EconNLI,从因果分类和事件生成两方面系统评估大语言模型的经济推理能力,实验发现现有模型表现不足且易产生幻觉答案,揭示了其在经济决策场景中的局限性。
2024-07-01 cs.CL
Multi-Turn Puzzles: Evaluating Interactive Reasoning and Strategic Dialogue in LLMs
Google DeepMind(谷歌DeepMind);Google Research(谷歌研究)
针对LLMs在现实交互任务中表现不佳的问题,本文提出含确定性评分机制的多轮谜题基准,评估模型的交互式推理等能力,揭示其不足并为相关研究提供平台。
2025-08-24 cs.CL
Full-Step-DPO: Self-Supervised Preference Optimization with Step-wise Rewards for Mathematical Reasoning
Nanyang Technological University(南洋理工大学);Shopee Pte. Ltd(Shopee私人有限公司);SEA Group(SEA集团)
本文提出 Full-Step-DPO,通过自监督过程奖励模型对整条推理链逐步评分,并设计基于逐步奖励动态更新梯度的 DPO 损失,显著提升语言模型的数学推理能力。
2025-02-20 cs.CL
Test of Time: A Benchmark for Evaluating LLMs on Temporal Reasoning
Google Research(谷歌研究院);Google DeepMind(谷歌DeepMind);Google(谷歌公司)
本文提出合成基准Test of Time,通过多样化问题类型系统评估LLM的时间推理能力,揭示其优势与不足,并开源数据集与评估框架。
2024-06-13 cs.CL
MATHSENSEI: A Tool-Augmented Large Language Model for Mathematical Reasoning
IIT Kharagpur(印度理工学院卡哈拉格普尔分校);Rakuten Group, Inc.(乐天集团);Rakuten Institute of Technology India(乐天印度技术研究院)
本文提出MathSensei,结合Bing、Python与Wolfram-Alpha等工具增强LLM数学推理,并通过MATH等数据集验证其在复杂问题上的显著收益。
2024-04-03 cs.CL
Describe-then-Reason: Improving Multimodal Mathematical Reasoning through Visual Comprehension Training
University of Notre Dame(圣母大学);Tencent AI Seattle Lab(腾讯AI西雅图实验室);Nanyang Technological University(南洋理工大学)
针对开源多模态大模型在复杂数学推理中视觉理解不足的问题,提出两步训练流程VCAR,通过先生成视觉描述再辅助生成推理步骤,显著提升了模型在高视觉需求数学问题上的表现。
2024-04-26 cs.CL
How Clued up are LLMs? Evaluating Multi-Step Deductive Reasoning in a Text-Based Game Environment
Georgetown University(乔治城大学);Syntheos, Corp(Syntheos公司);UNU-Merit
本文通过文本多智能体版经典棋盘游戏Clue评估LLM的多步骤演绎推理能力,发现即使在结构化逻辑谜题微调后,推理一致性仍难以维持,且推理精度未显著提升。
2026-03-17 cs.AI cs.CL
Scaling Reasoning, Losing Control: Evaluating Instruction Following in Large Reasoning Models
Renmin University of China(中国人民大学);Shanghai AI Laboratory(上海人工智能实验室);The Chinese University of Hong Kong(香港中文大学)
本研究提出MathIF基准,发现推理能力增强与指令遵循之间存在张力,长思维链或推理强化学习会降低遵循能力,简单干预可部分恢复但牺牲推理性能。
2025-05-25 cs.AI cs.CL
FRoG: Evaluating Fuzzy Reasoning of Generalized Quantifiers in Large Language Models
Shanghai Jiao Tong University(上海交通大学);UNC-Chapel Hill(北卡罗来纳大学教堂山分校);The Hong Kong Polytechnic University(香港理工大学)
本文提出模糊推理基准FRoG,通过含广义量词的真实数学应用题评估大语言模型,发现模糊推理仍具挑战性,现有推理增强方法效果不一致,且存在逆向缩放效应。
2024-07-03 cs.AI cs.CL
Evaluating Large Language Models with NeuBAROCO: Syllogistic Reasoning Ability and Human-like Biases
Keio University(庆应义塾大学)
本研究通过NeuBAROCO数据集评估大型语言模型的三段论推理能力,发现其在处理信念偏见、转换错误和氛围效应三类类人偏见问题时表现更差。
2023-06-21 cs.AI cs.CL
MathFimer: Enhancing Mathematical Reasoning by Expanding Reasoning Steps through Fill-in-the-Middle Task
Zhejiang University(浙江大学);Meituan Group(美团集团);Peking University(北京大学);Hong Kong University of Science and Technology(香港科技大学)
MathFimer通过填空中间任务扩展推理步骤,提升大语言模型的数学推理能力,无需依赖强大外部模型或昂贵计算资源。
2026-02-25 cs.AI cs.CL
HintMR: Eliciting Stronger Mathematical Reasoning in Small Language Models
University at Albany(阿尔巴尼大学);University at Buffalo(布法罗大学);Stony Brook University(石溪大学)
本文提出HintMR框架,通过提示辅助引导小型语言模型进行多步数学问题解决,通过协作的双模型系统提升推理准确性,实验表明在多种数学基准上显著提升性能。
2026-04-14 cs.AI cs.CL
Evaluating the Meta- and Object-Level Reasoning of Large Language Models for Question Answering
The University of Edinburgh(爱丁堡大学);Aveni(阿维尼公司)
针对LLM在复杂多步推理QA任务中的挑战,本文区分元级(高级策略规划)与对象级(低级任务执行)推理,提出Franklin数据集并结合其他数据集评估4个LLM,揭示其元级推理表现好但对象级推理存困难。
2025-02-14 cs.AI cs.CL
GameBench: Evaluating Strategic Reasoning Abilities of LLM Agents
Olin College of Engineering(奥林工程学院);University of Texas at Dallas(德克萨斯大学达拉斯分校);University of Oxford(牛津大学);University College London(伦敦大学学院);ShanghaiTech University(上海科技大学);Columbia University(哥伦比亚大学);University of Manchester(曼彻斯特大学)
GameBench是一个跨领域基准,通过9个游戏环境评估LLM智能体的战略推理能力,结果显示GPT-3/GPT-4均未达到人类水平,CoT和RAP框架虽提升分数但仍不及人类。
2024-07-22 cs.AI cs.CL
Flow-DPO: Improving LLM Mathematical Reasoning through Online Multi-Agent Learning
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Microsoft Research(微软研究院)
针对大语言模型难以生成高质量数学推理轨迹的问题,提出Flow-DPO方法,通过多组件LLM协作的增量Flow构建解题方案,结合带滚动推演的在线DPO学习训练,有效提升了模型数学推理性能。
2024-10-29 cs.CL cs.LG
Exploring and Evaluating Multimodal Knowledge Reasoning Consistency of Multimodal Large Language Models
School of Software and Microelectronics, Peking University(北京大学软件与微电子学院);Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机技术研究院)
针对多模态大语言模型跨模态知识推理不一致的问题,本文提出四个评估任务并构建新数据集,通过实验分析一致性退化程度及成因,为未来模型改进提供指导。
2025-03-03 cs.AI cs.CL
LTLBench: Towards Benchmarks for Evaluating Temporal Reasoning in Large Language Models
University of Edinburgh(爱丁堡大学)
LTLBench通过线性时序逻辑评估大语言模型的时间推理能力,构建包含2000个挑战的数据集并测试12个模型,揭示时间推理中的主要问题及复杂性影响。
2026-01-05 cs.AI cs.CL
ProMoral-Bench: Evaluating Prompting Strategies for Moral Reasoning and Safety in LLMs
ProMoral-Bench通过统一道德安全评分评估多种提示策略,发现紧凑示例引导框架在道德和安全方面表现更优。
2026-11-06 cs.AI cs.CL
GameArena: Evaluating LLM Reasoning through Live Computer Games
University of California, San Diego(加利福尼亚大学圣迭戈分校);University of California, Berkeley(加利福尼亚大学伯克利分校);Snowflake(雪花公司)
本文提出动态基准 GameArena,通过三款人机交互游戏细粒度评估 LLM 的演绎、归纳等推理能力,并基于 2000 多个会话和 100 人用户研究验证其评估效果与参与度。
2025-02-15 cs.AI cs.CL
Can A Gamer Train A Mathematical Reasoning Model?
Keio University(庆应大学)
本文结合强化学习与显存优化,在单张16GB RTX 3080 Ti上训练1.5B数学推理模型,使其性能媲美数倍大模型,降低高性能AI研究门槛。
2025-06-10 cs.AI cs.CL cs.LG
Beyond Accuracy: Evaluating the Reasoning Behavior of Large Language Models -- A Survey
LMU Munich(慕尼黑大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心)
本文综述了超越准确率指标的大语言模型推理行为评估研究,指出LLMs主要依赖表层模式而非深层推理,并呼吁进一步区分人类与模型推理差异。
2024-08-06 cs.AI cs.CL
ReDiPPO: Reference-Guided Value Calibration and Discrepancy-Aware Token Reweighting for Mathematical Reasoning
针对数学推理中PPO的标记级信用分配难题,ReDiPPO引入参考引导评判器并通过值估计差异重加权标记优势,提升值估计精度且优于PPO、DAPO等基线。
2026-07-31 cs.AI cs.CL
GLoRE: Evaluating Logical Reasoning of Large Language Models
Hainan University(海南大学);Westlake University(西湖大学);ByteDance SG(字节跳动新加坡)
本文提出GLoRE,一个统一格式的逻辑推理评估平台,在零样本和少样本场景下评估大语言模型,实验显示大型推理模型(如QwQ-32B)性能显著提升,并持续整合新数据与模型。
2025-04-20 cs.AI cs.CL
InMind: Evaluating LLMs in Capturing and Applying Individual Human Reasoning Styles
Nankai University(南开大学);Shanghai Innovation Institute(上海创新研究院);Shanghai AI Laboratory(上海人工智能实验室);Fudan University(复旦大学);Johns Hopkins University(约翰霍普金斯大学);Wuhan University(武汉大学);University of Science and Technology of China(中国科学技术大学)
本文提出InMind评估框架,通过社交推理游戏中的策略轨迹与赛后反思,检验大语言模型捕捉和应用个体化推理风格的能力,发现通用模型存在局限而推理增强模型初显风格敏感推理能力。
2025-09-21 cs.AI cs.CL
System-2 Mathematical Reasoning via Enriched Instruction Tuning
Tencent(腾讯);University of Technology Sydney(悉尼科技大学)
针对LLMs多步数学推理数据稀缺问题,提出EIT方法,通过ERP和ERS结合人类与AI反馈生成细粒度推理轨迹微调模型,无需符号验证即在GSM8K和MATH上超越现有方法。
2024-12-24 cs.AI cs.CL
Improving Mathematical Reasoning Capabilities of Small Language Models via Feedback-Driven Distillation
针对小型语言模型数学推理能力不足的问题,提出反馈驱动的蒸馏框架,通过按难度分类生成变体问题并进行多轮迭代蒸馏,使SLMs达到SOTA数学推理性能。
2024-11-22 cs.AI cs.CL
Weaker LLMs' Opinions Also Matter: Mixture of Opinions Enhances LLM's Mathematical Reasoning
LG Electronics(LG电子)
提出意见混合(MoO)后训练方法,利用较弱辅助LLM的思维链推理增强较强LLM的数学推理能力,相比SFT等方法平均提升5%,验证了多样化视角的价值。
2025-03-05 cs.AI cs.CL
Can LLMs $\textit{understand}$ Math? -- Exploring the Pitfalls in Mathematical Reasoning
New York University(纽约大学)
针对现有大语言模型数学推理评估仅靠准确率、忽略过程缺陷的问题,本研究提出整合错误率、冗余性与有效性的MAPLE分数评估指标,以新型框架全面量化推理偏差。
2025-05-21 cs.CL cs.LG
Multi-LogiEval: Towards Evaluating Multi-Step Logical Reasoning Ability of Large Language Models
Arizona State University(亚利桑那州立大学)
针对现有逻辑推理基准规则有限、缺非单调推理评估的问题,提出覆盖三类逻辑、多规则多深度的Multi-LogiEval数据集,评估发现LLM性能随推理深度显著下降,为相关研究提供支撑。
2024-10-07 cs.AI cs.CL