Evaluating OpenAI GPT Models for Translation of Endangered Uralic Languages: A Comparison of Reasoning and Non-Reasoning Architectures
Metropolia University of Applied Sciences(应用科学大学);University of Helsinki(赫尔辛基大学)
本研究比较了OpenAI GPT模型在翻译濒危乌拉尔语系语言中的推理与非推理架构性能,发现推理模型在翻译任务中表现更优。
2025-12-18 cs.CL
At Which Training Stage Does Code Data Help LLMs Reasoning?
National University of Defense Technology(国防科技大学);Peng Cheng Laboratory(鹏城实验室);Tsinghua University(清华大学)
该研究系统探究代码数据在预训练、指令微调等不同训练阶段对大语言模型推理能力的影响,通过多领域推理任务验证了混合预训练、指令微调阶段引入代码数据的不同作用及动态混合策略的效果,深化了对LLMs推理能力提升的认知。
2023-09-30 cs.CL
Assessing the Reasoning Capabilities of LLMs in the context of Evidence-based Claim Verification
University of Warwick(沃里克大学);Queen Mary University of London(伦敦大学女王学院);University of Bologna(博洛尼亚大学);King’s College London(伦敦大学国王学院);The Alan Turing Institute(艾伦·图灵研究所)
该研究从主张验证视角探究LLMs的推理能力,提出拆解原子推理类型的框架,构建含真实主张的RECV基准评估发现,LLMs擅长演绎推理但溯因推理表现差,推理思路增强并非总有效,生成思路与人类思路语义相似。
2025-06-17 cs.CL
Evaluating Explanation-Driven Vision-Language Reasoning via Generation Order Interventions
German Research Center for Artificial Intelligence(德国人工智能研究中心);University of Oldenburg(奥尔登堡大学)
本研究通过控制生成顺序干预,系统评估了解释与预测的因果关联,发现模型规模是理由优先推理的关键,而答案优先更稳定,二者共同影响推理忠实度。
2026-09-25 cs.CL
GameEval: Evaluating LLMs on Conversational Games
Soochow University(苏州大学);Microsoft Research Asia(微软亚洲研究院)
针对现有大语言模型评估方法需人工介入或存在测试偏差的问题,提出GameEval评估框架,通过目标驱动的合作/对抗类对话游戏及配套指标,可有效区分不同大模型的综合问题解决能力。
2023-08-19 cs.CL
Position: On the Methodological Pitfalls of Evaluating Base LLMs for Reasoning
University of Sheffield, UK(谢菲尔德大学)
本文指出当前评估基座LLMs推理能力的研究存在预训练目标与推理评估规范错配的方法论陷阱,挑战两类通用假设,呼吁重审相关现有研究并在未来工作中规避该问题。
2025-11-13 cs.CL
Evaluating Theory of Mind in Reasoning Models: Robustness over Reasoning
Leiden University(莱顿大学);LIACS(莱顿高级计算机科学研究所)
本研究考察经强化学习训练的推理LLMs在ToM任务中的表现,发现其对提示与任务扰动的鲁棒性提升,支持鲁棒性解释而非ToM特有的新能力。
2026-08-06 cs.CL
Reasoning with Graphs: Structuring Implicit Knowledge to Enhance LLMs Reasoning
Michigan State University(密歇根州立大学);Amazon(亚马逊公司);Texas A&M University(德克萨斯农工大学)
针对大语言模型在逻辑推理、多跳问答等需隐式关系推理任务上的不足,提出RwG方法,将上下文隐式知识构建为显式图以增强推理能力,实验验证了其在两类任务上的有效性。
2025-01-14 cs.CL
Benchmarking Chinese Commonsense Reasoning of LLMs: From Chinese-Specifics to Reasoning-Memorization Correlations
Wuhan University(武汉大学);Tongji University(同济大学);Shanghai AI Laboratory(上海人工智能实验室)
本文提出首个全面评估 LLM 中文常识推理的基准 CHARM,通过多模型、多提示策略及推理—记忆关联实验,揭示模型优势、短板与优化方向。
2024-12-10 cs.CL
Improving Mathematical Reasoning Capabilities in Large Language Models via Reasoning Process Error Classification
Human Informatics Labs., NTT, Inc.(NTT公司人类信息学实验室)
本研究通过定义并分类21种推理错误,设计聚焦八种错误类别的提示词,有效提升了大语言模型在数学推理任务上的性能。
2026-09-15 cs.CL
Improving Latent Reasoning in LLMs via Soft Concept Mixing
School of Computer Science and Technology, Soochow University(计算机科学与技术学院,苏州大学)
通过引入Soft Concept Mixing方法,改进大语言模型的潜在推理能力,提升推理性能并保持训练稳定性。
2025-11-21 cs.CL
Distributional reasoning in LLMs: Parallel reasoning processes in multi-hop reasoning
The Hebrew University of Jerusalem(耶路撒冷希伯来大学);Columbia University(哥伦比亚大学)
该研究提出一种可解释的分析方法,发现LLMs多跳推理的预测过程可通过语义空间线性变换建模,中间层存在代表潜在中间答案的嵌入与并行推理路径,为理解LLMs推理机制和认知建模提供新见解。
2024-06-19 cs.CL
YOMI-Bench: A Benchmark for Evaluating Kanji Reading and Phonological Understanding of LLMs for Japanese
Kobe University(神户大学);National Institute of Advanced Industrial Science and Technology (AIST)(国立研究开发法人产业技术综合研究所(AIST));The University of Tokyo(东京大学);RIKEN(理化学研究所);Tohoku University(东北大学)
提出YOMI-Bench基准,通过四个任务评估大语言模型在日语汉字读音上的表现,发现专用模型和商业模型均表现不佳。
2026-07-02 cs.CL
MathHay: An Automated Benchmark for Long-Context Mathematical Reasoning in LLMs
Salesforce AI Research(Salesforce AI研究院);Singapore Management University(新加坡管理大学)
针对现有长上下文基准缺乏数学推理能力评估的问题,本文提出自动化基准MathHay,要求模型兼具长文本信息检索与复杂数学推理能力,实验显示8款顶尖LLMs在该基准上表现不佳,最优模型128K tokens下准确率仅51.26%。
2024-10-07 cs.CL
Answer-Centric or Reasoning-Driven? Uncovering the Latent Memory Anchor in LLMs
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);UC Merced(加州大学默塞德分校);The University of Queensland(昆士兰大学);Dalian Minzu University(大连民族大学)
本研究通过五级答案可见性提示框架,实证揭示大语言模型推理主要锚定于最终答案而非推理链,掩盖答案导致性能下降26.90%,表明其推理多为事后合理化。
2025-06-21 cs.CL
Premise-Augmented Reasoning Chains Improve Error Identification in Math reasoning with LLMs
University of Illinois at Urbana Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出前提增强推理链(PARC)框架,通过识别每步前提并构建有向无环图,提升大语言模型数学推理中错误识别的准确率(绝对提升6%-16%),并构建了PERL数据集验证其有效性。
2025-09-23 cs.CL
Are they lovers or friends? Evaluating LLMs' Social Reasoning in English and Korean Dialogues
KAIST(韩国科学技术院);LT3;IDLab(ID实验室);Universiteit Gent(根特大学);Boston University(波士顿大学)
本文通过SCRIPTS数据集评估LLMs在英语和韩语对话中推断人物关系的能力,发现当前模型在英语和韩语中的准确率分别为75-80%和58-69%,且存在显著的社交推理局限性。
2026-04-20 cs.CL
DetectiveQA: Evaluating Long-Context Reasoning on Detective Novels
School of Computer Science, Fudan University(复旦大学计算机科学学院);Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Shanghai AI Laboratory(上海人工智能实验室)
本文提出 DetectiveQA 数据集与逐步推理指标,利用超10万 token 的侦探小说和1200道中英双语标注题评估主流 LLM,揭示其长上下文推理与证据检索仍面临挑战。
2025-03-14 cs.CL
ArithmAttack: Evaluating Robustness of LLMs to Noisy Context in Math Problem Solving
本文提出ArithmAttack方法,评估LLMs在包含标点符号噪声的提示下鲁棒性,发现所有模型在噪声增加时表现下降。
2026-03-15 cs.CL
When Less Language is More: Language-Reasoning Disentanglement Makes LLMs Better Multilingual Reasoners
Harbin Institute of Technology(哈尔滨工业大学);Singapore Management University(新加坡管理学院);Monash University(墨尔本大学);Singapore University of Technology and Design(新加坡科技设计大学);National University of Singapore(国立新加坡大学)
通过解耦语言和推理能力,使LLM在多语言推理中表现更优,无需额外训练开销。
2025-12-11 cs.CL
Evaluating CxG Generalisation in LLMs via Construction-Based NLI Fine Tuning
University of Bath(巴斯大学);DEVCOM Army Research Laboratory(陆军研究实验室)
本文提出ConTest-NLI基准,通过8万句覆盖八种英语构式的合成NLI数据评估大语言模型的构式语法泛化能力,发现对抗数据准确率下降24%,微调仅提升9%,揭示了当前模型的抽象差距。
2025-09-19 cs.CL
Evaluating Pragmatic Reasoning in Large Language Models: Evidence from Scalar Diversity
Sungkyunkwan University(成均馆大学)
研究通过量级多样性评估大语言模型的语用推理能力,发现不同模型和任务结构下语用行为差异显著,评价方法无法单一确定模型能力。
2026-05-09 cs.CL
Demystifying Scientific Problem-Solving in LLMs by Probing Knowledge and Reasoning
Department of Computer Science, Yale University;Department of Molecular \& Cellular Biology, Harvard University;Allen Institute for AI;Department of Computer Science, Northwestern University
本文提出SciReas基准和KRUX探针框架,系统评估LLMs在科学推理中的知识与推理角色,发现知识检索是主要瓶颈,外部上下文知识和推理增强均能提升性能。
2026-05-28 cs.CL
CounterBench: Evaluating and Improving Counterfactual Reasoning in Large Language Models
Rutgers University(罗格斯大学);Case Western Reserve University(凯斯西储大学)
本文提出CounterBench基准数据集,评估大型语言模型在反事实推理中的表现,并提出CoIn方法提升其能力。
2026-04-11 cs.CL
LLMsPark: A Benchmark for Evaluating Large Language Models in Strategic Gaming Contexts
Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);School of Software and Microelectronics, Peking University(北京大学软件与微电子学院);School of Computer Science and Engineering, Northeastern University(东北大学计算机科学与工程学院);Tongji University(同济大学);AIR, Tsinghua University(清华大学人工智能研究院);BAAI(百度人工智能研究院)
本文提出LLMsPark,一个基于博弈论的多智能体评估平台,通过排行榜和评分机制交叉评估15个主流大语言模型的策略决策与社会行为,揭示模型间的策略智能差异,为LLM评估提供了新的交互式博弈论视角。
2025-09-20 cs.CL
Codebook LLMs: Evaluating LLMs as Measurement Tools for Political Science Concepts
Michigan State University(密歇根州立大学);Williams College(威廉姆斯学院)
本文评估LLM作为政治科学概念测量工具的有效性,提出五阶段框架,通过代码本和预训练LLM验证其测量准确性,并展示通过监督指令微调提升性能的成果。
2025-01-09 cs.CL
Evaluating Accounting Reasoning Capabilities of Large Language Models
School of Computer Engineering, Jiangsu Ocean University(计算机工程学院,江苏海洋大学)
本文评估了大型语言模型在会计推理任务中的能力,通过定义垂直领域会计推理标准,分析了GLM和GPT-4等模型的表现,发现提示设计对性能影响显著,但现有模型仍需优化以满足实际需求。
2026-01-10 cs.CL
Where Reasoning Breaks: Logic-Aware Path Selection by Controlling Logical Connectives in LLMs Reasoning Chains
University of Florida(佛罗里达大学)
本文研究LLM在多步逻辑推导中的脆弱性,提出通过干预逻辑连接词选择来提升推理准确性,采用多层框架优化逻辑关键节点,实现准确率与效率的平衡。
2026-04-22 cs.CL
MedCaseReasoning: Evaluating and learning diagnostic reasoning from clinical case reports
Stanford University(斯坦福大学);University of Southern California(南加州大学);University of California, San Francisco(旧金山大学)
针对现有医学基准仅评估最终答案、忽略推理质量的问题,研究团队推出含14489个病例的MedCaseReasoning数据集,用于评估大语言模型的临床推理对齐能力,发现现有模型表现不佳,且基于该数据集微调可显著提升诊断准确率和推理召回率。
2025-05-20 cs.CL
Direct Evaluation of Chain-of-Thought in Multi-hop Reasoning with Knowledge Graphs
Monash University(莫纳什大学);VinAI Research(VinAI研究院)
该研究针对大语言模型评估仅关注答案准确率、忽略思维链正确性的问题,提出判别式与生成式结合的思维链评估范式,结合知识图谱探究多跳推理能力,发现模型常通过错误推理得到正确答案。
2024-06-19 cs.CL
Short-Path Prompting in LLMs: Analyzing Reasoning Instability and Solutions for Robust Performance
Wuhan University(武汉大学);Ant Group(蚂蚁集团)
本文针对用户短路径提示与LLMs的CoT推理需求冲突导致推理性能下降且不稳定的问题,提出指令引导和微调两种方法,有效提升了推理精度,为指令遵循与推理准确性的权衡提供了见解。
2025-04-13 cs.CL
MortalMATH: Evaluating the Conflict Between Reasoning Objectives and Emergency Contexts
Univ. Lille(里尔大学);Univ. Lille, Inria, CNRS, Centrale Lille, UMR 9189 - CRIStAL(里尔大学)
MortalMATH研究了推理模型在紧急情境下的表现差异,发现通用模型能拒绝危险任务,而专门模型则忽视危险,导致安全风险。
2026-01-26 cs.CL
Over-Reasoning and Redundant Calculation of Large Language Models
National Taiwan University(台湾大学)
本文发现LLMs在无需计算的GSM8K-Zero数据集上存在过度推理与冗余计算现象,并通过实验探究其成因。
2024-03-20 cs.CL
Evaluating Step-by-Step Reasoning through Symbolic Verification
MBZUAI(穆罕默德·本·扎耶德人工智能大学);Carnegie Mellon University(卡内基梅隆大学);AWS AI, Amazon(亚马逊AWS人工智能部门);Petuum Inc.(Petuum公司)
本文构建自然语言与符号等价数据集,提出神经符号方法LMLP,通过逻辑规则迭代推理并支持自动验证,在演绎推理中比思维链准确率提升超过25%。
2024-03-28 cs.CL
How Much Structure Do LLMs Need? Evaluating LLMs for Bibliometric Cluster Description
School of Information Technology(信息科技学院);Department of Mathematics and Statistics(数学与统计学系);York University(约克大学)
本研究通过六种不同证据和结构水平的流水线,评估文献计量结构是否改善 LLM 辅助的聚类描述生成,发现混合工作流(算法提供可审计结构,LLM 生成可读描述)效果最佳。
2026-05-23 cs.CL
Can LLMs Express Personality Across Cultures? Introducing CulturalPersonas for Evaluating Trait Alignment
Department of Computer Science, University of Southern California(计算机科学系,南加州大学)
本文提出CulturalPersonas基准,含3000个跨六国场景问题,评估LLM个性表达,使Wasserstein距离降低超20%,促进文化对齐。
2025-10-13 cs.CL
Mind's Eye of LLMs: Visualization-of-Thought Elicits Spatial Reasoning in Large Language Models
Microsoft Research(微软研究院);East China Normal University(华东师范大学)
本文受人类“心智之眼”认知能力启发,提出思维可视化(VoT)提示方法,通过可视化大语言模型的推理轨迹来激发其空间推理能力,并在多跳空间推理任务上显著超越现有多模态大语言模型。
2024-10-23 cs.CL
Learning to Reason: Training LLMs with GPT-OSS or DeepSeek R1 Reasoning Traces
DICTA;NVIDIA
本研究通过比较DeepSeek-R1和gpt-oss生成的推理轨迹对中型LLMs在数学问题上的微调效果,评估了推理轨迹在提升模型推理能力中的作用。
2025-11-24 cs.CL
CreativEval: Evaluating Creativity of LLM-Based Hardware Code Generation
Texas A&M University(德克萨斯农工大学)
针对现有LLM硬件代码生成评估仅关注功能正确性、缺乏创造性量化方法的问题,提出CreativeEval框架,从四个子维度评估LLM硬件设计生成的创造性,实验发现GPT-3.5在该任务中创造性最强。
2024-04-12 cs.CL
HellaSwag-Pro: A Large-Scale Bilingual Benchmark for Evaluating the Robustness of LLMs in Commonsense Reasoning
University of Science and Technology of China(中国科学技术大学);Alibaba Group(阿里巴巴集团);National University of Singapore(新加坡国立大学)
该研究提出HellaSwag-Pro双语基准,通过七种问题变体评估41个LLM的常识推理鲁棒性,发现其远非鲁棒且受语言影响。
2025-05-26 cs.CL
IAO Prompting: Making Knowledge Flow Explicit in LLMs through Structured Reasoning Templates
University College London(伦敦大学学院)
本文提出IAO提示方法,通过输入-动作-输出的结构化模板显式建模大语言模型的知识访问与应用过程,在提升零样本推理性能的同时增强知识利用的可验证性和透明度。
2025-02-05 cs.CL
Are LLMs the Master of All Trades? : Exploring Domain-Agnostic Reasoning Skills of LLMs
University of Pennsylvania(宾夕法尼亚大学)
大语言模型(LLM)像人类一样推理的潜力一直是机器学习社区中备受争议的话题。然而,人类的推理能力是多方面的,可以以各种形式出现,包括类比,空间和道德推理等。这一事实提出了一个问题,即LLM是否可以在所有这些不同的领域中表现同样出色。本研究旨在通过直接使用或借鉴现有类比和空间推理数据集的实验,研究LLM在不同推理任务中的表现。此外,为了评估LLM像人类一样推理的能力,他们的表现是在更开放的自然语言问题上进行评估的。我的研究结果表明,法学硕士擅长类比和道德推理,但在空间推理任务上表现得很熟练。我相信这些实验对于为LLM的未来发展提供信息至关重要,特别是在需要多样化推理专业知识的背景下。通过揭示LLM的推理能力,这项研究旨在推动我们对它们如何更好地模仿人类认知能力的理解。
2023-03-22 cs.AI cs.CL
How Clued up are LLMs? Evaluating Multi-Step Deductive Reasoning in a Text-Based Game Environment
Georgetown University(乔治城大学);Syntheos, Corp(Syntheos公司);UNU-Merit
本文通过文本多智能体版经典棋盘游戏Clue评估LLM的多步骤演绎推理能力,发现即使在结构化逻辑谜题微调后,推理一致性仍难以维持,且推理精度未显著提升。
2026-03-17 cs.AI cs.CL
On Evaluating LLM Alignment by Evaluating LLMs as Judges
Yale University(耶鲁大学);Shanghai Jiao Tong University(上海交通大学)
本文提出AlignEval基准,通过评估LLM作为裁判的能力来衡量其对齐人类偏好的效果,结果优于现有自动评估基准。
2025-11-25 cs.AI cs.CL cs.LG
Scaling Reasoning, Losing Control: Evaluating Instruction Following in Large Reasoning Models
Renmin University of China(中国人民大学);Shanghai AI Laboratory(上海人工智能实验室);The Chinese University of Hong Kong(香港中文大学)
本研究提出MathIF基准,发现推理能力增强与指令遵循之间存在张力,长思维链或推理强化学习会降低遵循能力,简单干预可部分恢复但牺牲推理性能。
2025-05-25 cs.AI cs.CL
Understanding Syllogistic Reasoning in LLMs from Formal and Natural Language Perspectives
本文从形式和自然语言角度研究大语言模型的三段论推理能力,通过测试14种模型的符号推理和自然语言理解,探讨大语言模型是否正向形式化推理机制发展。
2025-12-29 cs.AI cs.CL
Do LLMs Exhibit Human-Like Reasoning? Evaluating Theory of Mind in LLMs for Open-Ended Responses
University of Washington(华盛顿大学);University of Washington - Bothell(华盛顿大学博塞尔校区)
本文通过Reddit ChangeMyView平台上的开放式问题评估大语言模型的心智理论推理能力,发现其与人类存在明显差距,并提出融入人类意图和情绪的提示调优方法以提升表现,但仍未达到类人推理水平。
2024-06-09 cs.AI cs.CL
Evaluating Role-Consistency in LLMs for Counselor Training
Technische Hochschule Nürnberg Georg Simon Ohm(图林根应用技术大学纽伦堡乔治·西蒙·奥姆学院)
本文通过引入对抗性数据集评估LLM在辅导培训中的角色一致性,比较了Vicuna与其他开源模型的表现。
2026-01-13 cs.AI cs.CL
Evaluating Adjective-Noun Compositionality in LLMs: Functional vs Representational Perspectives
研究探讨LLM在形容词-名词组合性任务中的表现,发现模型内部状态与任务性能存在差异,强调对比评估的重要性。
2026-03-15 cs.AI cs.CL
FRoG: Evaluating Fuzzy Reasoning of Generalized Quantifiers in Large Language Models
Shanghai Jiao Tong University(上海交通大学);UNC-Chapel Hill(北卡罗来纳大学教堂山分校);The Hong Kong Polytechnic University(香港理工大学)
本文提出模糊推理基准FRoG,通过含广义量词的真实数学应用题评估大语言模型,发现模糊推理仍具挑战性,现有推理增强方法效果不一致,且存在逆向缩放效应。
2024-07-03 cs.AI cs.CL
Evaluating Large Language Models with NeuBAROCO: Syllogistic Reasoning Ability and Human-like Biases
Keio University(庆应义塾大学)
本研究通过NeuBAROCO数据集评估大型语言模型的三段论推理能力,发现其在处理信念偏见、转换错误和氛围效应三类类人偏见问题时表现更差。
2023-06-21 cs.AI cs.CL
Weaker LLMs' Opinions Also Matter: Mixture of Opinions Enhances LLM's Mathematical Reasoning
LG Electronics(LG电子)
提出意见混合(MoO)后训练方法,利用较弱辅助LLM的思维链推理增强较强LLM的数学推理能力,相比SFT等方法平均提升5%,验证了多样化视角的价值。
2025-03-05 cs.AI cs.CL
A word association network methodology for evaluating implicit biases in LLMs compared to humans
University of Pisa, Department of Computer Science(比萨大学计算机科学系);National Research Council of Italy, Institute of Information Science and Technologies(意大利国家研究委员会信息科学与技术研究所);University of Trento, Department of Psychology and Cognitive Science(特伦托大学心理学与认知科学系)
该研究提出一种基于语义启动的词语联想网络方法,可定量定性评估LLMs内隐偏见并实现人机直接比较,经多类社会偏见测试验证有效,为偏见跨模型跨主体评估提供可泛化框架。
2025-10-28 cs.AI cs.CL
Evaluating the Meta- and Object-Level Reasoning of Large Language Models for Question Answering
The University of Edinburgh(爱丁堡大学);Aveni(阿维尼公司)
针对LLM在复杂多步推理QA任务中的挑战,本文区分元级(高级策略规划)与对象级(低级任务执行)推理,提出Franklin数据集并结合其他数据集评估4个LLM,揭示其元级推理表现好但对象级推理存困难。
2025-02-14 cs.AI cs.CL