大模型推理能力

How well can off-the-shelf LLMs elucidate molecular structures from mass spectra using chain-of-thought reasoning?

离线大语言模型如何通过链式推理解析质谱中的分子结构？

Yufeng Wang, Lu Wei, Lin Liu, Hao Xu, Haibin Ling

机构 * Stony Brook University（石溪大学） ； Stanford University（斯坦福大学） ； Harvard Medical School（哈佛医学院） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；chain-of-thought(title,abstract)；CoT(abstract)；分类 cs.CL、cs.LG

AI总结 本研究评估了离线大语言模型通过链式推理解析质谱数据的能力，发现其在化学准确性上存在局限。

Forward versus Backward: Comparing Reasoning Objectives in Direct Preference Optimization

正向与反向：在直接偏好优化中比较推理目标

Murtaza Nikzad, Raghuram Ramanujan

机构 * Department of Math and Computer Science（数学与计算机科学系） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；chain-of-thought(abstract)；分类 cs.AI、cs.LG

AI总结 本文通过直接偏好优化比较正向与反向推理目标，发现正向训练提升准确性，反向训练降低误报率，两者互补提升模型推理可靠性。

GROKE: Vision-Free Navigation Instruction Evaluation via Graph Reasoning on OpenStreetMap

GROKE: 通过OpenStreetMap上的图推理进行无视觉导航指令评估

Farzad Shami, Subhrasankha Dey, Nico Van de Weghe, Henrikki Tenkanen

机构 * Aalto University（阿alto大学） ； Ghent University（根特大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；planning(abstract)；分类 cs.CL

AI总结 GROKE提出一种基于OpenStreetMap的无视觉导航指令评估框架，通过图推理和拓扑导航提升评估精度与可扩展性。

Comments Under Review for ACL 2026

Kinship Data Benchmark for Multi-hop Reasoning

多跳推理的亲属数据基准

Tianda Sun, Dimitar Kazakov

机构 * University of York（约克大学） ； Department of Computer Science（计算机科学系） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL、cs.AI

AI总结 KinshipQA通过生成文化特定的家谱数据，评估多跳推理能力，揭示模型在不同文化背景下的推理差异。

Comments 11 pages, 2 figures, 9 tables

Beyond Static Tools: Test-Time Tool Evolution for Scientific Reasoning

超越静态工具：科学推理中的测试时工具进化

Jiaxuan Lu, Ziyu Kong, Yemin Wang, Rong Fu, Haiyuan Wan, Cheng Yang, Wenjie Lou, Haoran Sun, Lilong Wang, Yankai Jiang, Xiaosong Wang, Xiao Sun, Dongzhan Zhou

机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Fudan University（复旦大学） ； Xiamen University（厦门大学） ； University of Macau（澳门大学） ； Tsinghua University（清华大学） ； Hangzhou Dianzi University（杭州电子科技大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文提出TTE框架，通过在推理过程中动态合成和进化工具，提升科学推理任务的准确性和工具效率，同时支持跨领域适应。

Lost in the Noise: How Reasoning Models Fail with Contextual Distractors

陷入噪声中：推理模型在上下文干扰中的失败

Seongyun Lee, Yongrae Jo, Minju Seo, Moontae Lee, Minjoon Seo

机构 * University of Illinois Chicago（伊利诺伊大学芝加哥分校） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文提出RARE方法，通过激励识别噪声中的有用信息，提升模型在上下文干扰下的鲁棒性，揭示增加计算量反而导致噪声环境下性能下降的反比例趋势。

Comments Preprint

Amory: Building Coherent Narrative-Driven Agent Memory through Agentic Reasoning

Amory：通过代理推理构建连贯的叙事驱动代理记忆

Yue Zhou, Xiaobo Guo, Belhassen Bayar, Srinivasan H. Sengamedu

机构 * University of Illinois Chicago（伊利诺伊大学芝加哥分校） ； Amazon（亚马逊） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL、cs.AI

AI总结 Amory通过增强代理推理构建连贯的叙事驱动记忆，提升长期对话代理的推理性能与响应效率。

Benchmarking Spatiotemporal Reasoning in LLMs and Reasoning Models: Capabilities and Challenges

在大语言模型和推理模型中评估时空推理：能力和挑战

Pengrui Quan, Brian Wang, Kang Yang, Liying Han, Mani Srivastava

机构 * Department of Electrical and Computer Engineering, UCLA（电气与计算机工程系，加州大学洛杉矶分校） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出STARK基准测试，评估大语言模型和推理模型在时空推理任务中的能力和挑战，发现推理模型在复杂任务中表现更优。

Benchmarking Small Language Models and Small Reasoning Language Models on System Log Severity Classification

在系统日志严重性分类上评估小型语言模型和小型推理语言模型

Yahya Masri, Emily Ma, Zifu Wang, Joseph Rogers, Chaowei Yang

机构 * George Mason University（乔治·马歇尔大学） ； Harvard University（哈佛大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI

AI总结 本研究评估了小型语言模型和小型推理语言模型在系统日志严重性分类上的性能，发现架构设计、训练目标和上下文整合能力共同影响模型表现。

Comments 28 pages, 5 figures, 7 tables

Agentic Diagnostic Reasoning over Telecom and Datacenter Infrastructure

基于电信和数据中心基础设施的代理诊断推理

Nicolas Tacheny

机构 * Ni2 Innovation Lab（Ni2创新实验室） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI

AI总结 本文提出基于代理的诊断框架，利用LLM通过MCP协议自主导航基础设施模型，实现故障诊断与影响发现，为自主事件解决和风险预测提供基础。

Yes FLoReNce, I Will Do Better Next Time! Agentic Feedback Reasoning for Humorous Meme Detection

是的，Florne，我下次会做得更好！用于幽默表情包检测的代理反馈推理

Olivia Shanhong Liu, Pai Chet Ng, De Wen Soh, Konstantinos N. Plataniotis

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI

AI总结 Florne通过闭环反馈机制提升表情包幽默检测的适应性和解释质量。

Comments LaMAS@AAAI 2026 (Oral)

What Breaks Knowledge Graph based RAG? Benchmarking and Empirical Insights into Reasoning under Incomplete Knowledge

什么破坏了基于知识图谱的RAG？对在不完整知识下推理的基准测试和经验洞察

Dongzhuoran Zhou, Yuqicheng Zhu, Xiaxia Wang, Hongkuan Zhou, Yuan He, Jiaoyan Chen, Steffen Staab, Evgeny Kharlamov

机构 * University of Oslo（奥斯陆大学） ； Bosch Center for AI（博世人工智能中心） ； University of Stuttgart（斯图加特大学） ； Amazon（亚马逊公司） ； University of Oxford（牛津大学） ； The University of Manchester（曼彻斯特大学） ； University of Southampton（南安普顿大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI

AI总结 本文提出BRINK基准测试，揭示了当前KG-RAG方法在知识不完整时推理能力有限，依赖内部记忆且泛化能力各异。

Comments Accepted as a main conference paper at EACL 2026

Learning from Reasoning Failures via Synthetic Data Generation

通过合成数据生成学习推理失败

Gabriela Ben Melech Stan, Estelle Aflalo, Avinash Madasu, Vasudev Lal, Phillip Howard

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI

AI总结 通过分析LMM推理失败生成针对性合成数据，提升多模态模型在多个下游任务上的性能。

Evaluating Accounting Reasoning Capabilities of Large Language Models

评估大型语言模型的会计推理能力

Jie Zhou, Xin Chen, Jie Zhang, Hai Li, Jie Wang, Zhe Li

机构 * School of Computer Engineering, Jiangsu Ocean University（计算机工程学院，江苏海洋大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL

AI总结 本文评估了大型语言模型在会计推理任务中的能力，通过定义垂直领域会计推理标准，分析了GLM和GPT-4等模型的表现，发现提示设计对性能影响显著，但现有模型仍需优化以满足实际需求。

PCoKG: Personality-aware Commonsense Reasoning with Debate

PCoKG：具有辩论机制的个性感知常识推理

Weijie Li, Zhongqing Wang, Guodong Zhou

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI

AI总结 PCoKG通过引入辩论机制构建个性感知常识知识图谱，提升对话生成的一致性与个性化水平。

Comments Accept by AAAI-2026

ReasonTabQA: A Comprehensive Benchmark for Table Question Answering from Real World Industrial Scenarios

ReasonTabQA: 一个全面的表格问题回答基准，用于现实世界工业场景

Changzai Pan, Jie Zhang, Kaiwen Wei, Chenshuo Pan, Yu Zhao, Jingwang Huang, Jian Yang, Zhenhe Wu, Haoyang Zeng, Xiaoyan Gu, Weichao Sun, Yanbo Zhai, Yujie Mao, Zhuoru Jiang, Jiang Zhong, Shuangyong Song, Yongxiang Li, Zhongjiang He

机构 * Institute of Artificial Intelligence (TeleAI), China Telecom（中国电信人工智能研究所） ； Chongqing University（重庆大学） ； Beihang University（北京航空航天大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；logical reasoning(abstract)；分类 cs.CL

AI总结 ReasonTabQA是一个针对现实工业场景的表格问题回答基准，通过引入TabCodeRL强化学习方法提升模型推理能力，揭示了工业级表格问答的复杂性。

BnMMLU: Measuring Massive Multitask Language Understanding in Bengali

BnMMLU：测量孟加拉语大规模多任务语言理解

Saman Sarker Joy, Swakkhar Shatabda

机构 * University of Malaya（马来大学） ； BRAC University（BRAC大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；chain-of-thought(abstract)；分类 cs.CL

AI总结 BnMMLU通过大规模多任务评估孟加拉语语言理解，揭示模型推理和应用能力的不足，并推动多语言NLP发展。

Comments 19 Pages, 10 Tables, 12 Figures

CyberLLM-FINDS 2025: Instruction-Tuned Fine-tuning of Domain-Specific LLMs with Retrieval-Augmented Generation and Graph Integration for MITRE Evaluation

CyberLLM-FINDS 2025：基于检索增强生成和图集成的领域特定LLM指令微调方法用于MITRE评估

Vasanth Iyer, Leonardo Bobadilla, S. S. Iyengar

专题命中 推理评测 ：reasoning(abstract)；chain-of-thought(abstract)

AI总结 本文提出了一种基于检索增强生成和图集成的领域特定LLM微调方法，通过STIX威胁情报实现与MITRE ATT&CK技术的对齐，提升网络安全威胁情报分析的准确性。

Comments 12 pages

MLB: A Scenario-Driven Benchmark for Evaluating Large Language Models in Clinical Applications

MLB：面向临床应用的大型语言模型评估场景驱动基准

Qing He, Dongsheng Bi, Jianrong Lu, Minghui Yang, Zixiao Chen, Jiacheng Lu, Jing Chen, Nannan Du, Xiao Cu, Sijing Wu, Peng Xiang, Yinyin Hu, Yi Guo, Chunpu Li, Shaoyang Li, Zhuo Dong, Ming Jiang, Shuai Guo, Liyun Feng, Jin Peng, Jian Wang, Jinjie Gu, Junwei Liu

机构 * Ant Group（蚂蚁集团） ； Zhejiang University（浙江大学） ； Health Information Center of Zhejiang Province（浙江省健康信息中心） ； Peking University（北京大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 MLB基准通过场景驱动的评估方法，评估大型语言模型在临床应用中的表现，揭示模型在结构化任务与患者交互场景间的性能差异。

Comments 11 pages, 4 figures, 5 tables

Judge Model for Large-scale Multimodality Benchmarks

大规模多模态基准的判断模型

Min-Han Shih, Yu-Hsin Wu, Yu-Wei Chen

机构 * Department of Electrical and Computer Engineering, Viterbi School of Engineering, University of Southern California（电气与计算机工程系，维特比工程学院，南加州大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出了一种多模态判断模型，用于评估多种任务，通过聚合多模态判断并生成诊断反馈，展示了其在多模态AI研究中的应用潜力。

From Alignment to Advancement: Bootstrapping Audio-Language Alignment with Synthetic Data

从对齐到提升：通过合成数据 bootstrap 音频-语言对齐

Chun-Yi Kuan, Hung-yi Lee

机构 * Graduate Institute of Communication Engineering, National Taiwan University（国立台湾大学通信工程研究所） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出BALSa框架，通过合成数据生成提升音频-语言对齐能力，缓解幻觉问题并增强模型理解与推理性能。

Comments Published in IEEE Transactions on Audio, Speech, and Language Processing (TASLP). Project Website: https://kuan2jiu99.github.io/Balsa

Journal ref IEEE Transactions on Audio, Speech and Language Processing, vol. 33, pp. 4604-4619, 2025

GRPO with State Mutations: Improving LLM-Based Hardware Test Plan Generation

GRPO与状态突变：改进基于LLM的硬件测试计划生成

Dimple Vijay Kochar, Nathaniel Pinckney, Guan-Ting Liu, Chia-Tung Ho, Chenhui Deng, Haoxing Ren, Brucek Khailany

机构 * Electrical Engineering and Computer Science, Massachusetts Institute of Technology, Cambridge, MA（麻省理工学院电子工程与计算机科学系） ； NVIDIA Research, Austin, TX（NVIDIA研究部） ； NVIDIA Research, Taiwan（NVIDIA台湾研究部） ； NVIDIA Research, Santa Clara, CA（NVIDIA圣克拉拉研究部） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.LG

AI总结 GRPO-SMu通过改进LLM训练方法，显著提升硬件验证中测试计划生成的准确率和突变检测率。

BEAT-Net: Injecting Biomimetic Spatio-Temporal Priors for Interpretable ECG Classification

BEAT-Net：注入生物仿生时空先验以实现可解释的ECG分类

Runze Ma, Caizhi Liao

机构 * School of Information Technology（信息科技学院） ； Monash University Malaysia（墨尔本大学马来西亚分校） ； Faculty of Biomedical Engineering（生物医学工程学院） ； Shenzhen University of Advanced Technology（深圳先进技术大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 BEAT-Net通过生物仿生时空先验实现ECG分类的可解释性与高效性

Comments 8 pages, 4 figures and 2 tables

Relink: Constructing Query-Driven Evidence Graph On-the-Fly for GraphRAG

Relink：为GraphRAG构建查询驱动的证据图谱

Manzong Huang, Chenyang Bu, Yi He, Xingrui Zhuo, Xindong Wu

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 Relink通过动态构建查询驱动的证据图谱，解决GraphRAG中知识图谱不完整和干扰事实的问题，提升问答性能。

Comments Accepted by AAAI 2026

Can Large Language Models Understand, Reason About, and Generate Code-Switched Text?

大语言模型能否理解、推理并生成混合语言文本？

Genta Indra Winata, David Anugraha, Patrick Amadeus Irawan, Anirban Das, Haneul Yoo, Paresh Dashore, Shreyas Kulkarni, Ruochen Zhang, Haruki Sakajo, Frederikus Hudi, Anaelia Ovalle, Syrielle Montariol, Felix Gaschi, Michael Anugraha, Rutuj Ravindra Puranik, Zawad Hayat Ahmed, Adril Putra Merin, Emmanuele Chersoni

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 本文通过CodeMixQA基准测试评估大语言模型在理解、推理和生成混合语言文本方面的能力，揭示了模型在混合语言环境中的局限性，并提供了改进多语言LLMs的见解。

Comments Preprint

mind_call: A Dataset for Mental Health Function Calling with Large Language Models

mind_call: 一个用于大语言模型心理健康新功能调用的数据集

Fozle Rabbi Shafi, M. Anwar Hossain, Salimur Choudhury

机构 * School of Computing, Queen’s University Kingston（计算学院，女王大学金斯顿） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 mind_call数据集通过合成功能调用任务，为大语言模型在心理健康领域的应用提供支持，涵盖多种自然语言查询与标准化API调用的映射，促进意图识别和可靠功能调用的研究。

Benchmarking Egocentric Clinical Intent Understanding Capability for Medical Multimodal Large Language Models

医疗多模态大语言模型的视点临床意图理解能力基准测试

Shaonan Liu, Guo Yu, Xiaoling Luo, Shiyi Zheng, Wenting Chen, Jie Liu, Linlin Shen

机构 * Shenzhen University（深圳大学） ； Stanford University（斯坦福大学） ； City University of Hong Kong（香港城市大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出MedGaze-Bench，首个评估医疗多模态大语言模型视点临床意图理解能力的基准测试，通过三维意图框架和陷阱QA机制，揭示现有模型在手术、急救和诊断任务中对意图理解的不足。

Comments 16 pages, 4 figures

MedEinst: Benchmarking the Einstellung Effect in Medical LLMs through Counterfactual Differential Diagnosis

MedEinst：通过反事实差异诊断基准测试医疗大语言模型中的Einstellung效应

Wenting Chen, Zhongrui Zhu, Guolin Huang, Wenxuan Wang

机构 * Stanford University（斯坦福大学） ； Xi’an Jiaotong University（西安交通大学） ； Shenzhen University（深圳大学） ； Renmin University of China（中国人民大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 MedEinst通过反事实差异诊断基准测试，揭示医疗大语言模型中的Einstellung效应，并提出ECR-Agent提升循证医学标准。

Comments 19 pages, 7 figures

PromptPort: A Reliability Layer for Cross-Model Structured Extraction

PromptPort：跨模型结构提取的可靠性层

Varun Kotte

专题命中 推理评测 ：verifier(abstract)；分类 cs.CL、cs.LG

AI总结 PromptPort通过结合确定性规范化与轻量级验证器和安全覆盖策略，解决跨模型结构提取中的格式坍塌问题，提升输出可靠性与语义能力。

Comments 12 pages, 4 figures

SALT-KG: A Benchmark for Semantics-Aware Learning on Enterprise Tables

SALT-KG：一个面向企业表格的语义感知学习基准

Isaiah Onando Mulang, Felix Sasaki, Tassilo Klein, Jonas Kolk, Nikolay Grechanov, Johannes Hoffart

机构 * SAP SE（SAP股份有限公司） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 SALT-KG是一个面向企业表格的语义感知学习基准，通过链接元数据知识图与多表事务数据，评估模型在表格证据和上下文语义上推理的能力。