大模型推理能力

MathSight: A Benchmark Exploring Have Vision-Language Models Really Seen in University-Level Mathematical Reasoning?

MathSight: 一个探索视觉语言模型在大学级数学推理中是否真正看到的基准

Yuandong Wang, Yao Cui, Yuxin Zhao, Zhen Yang, Yangfu Zhu, Zhenzhou Shao

机构 * Capital Normal University（首都师范大学） ； Tsinghua University（清华大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.LG

AI总结 MathSight基准测试通过对比不同视觉输入条件，探索视觉语言模型在大学级数学推理中视觉信息的真实贡献。

Comments Comments: 32 pages, 15 figures, 9 tables, includes appendix. Project page: https://cnu-bot-group.github.io/MathSight/

GuardTrace-VL: Detecting Unsafe Multimodel Reasoning via Iterative Safety Supervision

GuardTrace-VL: 通过迭代安全监督检测不安全的多模型推理

Yuxiao Xiang, Junchi Chen, Zhenchao Jin, Changtao Miao, Haojie Yuan, Qi Chu, Tao Gong, Nenghai Yu

机构 * School of Cyber Science and Technology, University of Science and Technology of China（中国科学技术大学网络安全学院） ； Anhui Province Key Laboratory of Digital Security（安徽省数字安全重点实验室） ； The University of Hong Kong（香港大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI

AI总结 GuardTrace-VL通过联合图像-文本分析监控多模态推理全过程，有效检测不安全推理内容，实现93.1%的F1分数提升。

KRAL: Knowledge and Reasoning Augmented Learning for LLM-assisted Clinical Antimicrobial Therapy

KRAL: 用于LLM辅助临床抗菌治疗的知识与推理增强学习

Zhe Li, Yehan Qiu, Yujie Chen, Xiang Zhou

机构 * Information Center, State Key Laboratory of Complex Severe and Rare Diseases, Peking Union Medical College Hospital（信息中心、复杂严重罕见疾病国家重点实验室、北京友谊医院） ； Department of Critical Care Medicine, State Key Laboratory of Complex Severe and Rare Diseases, Peking Union Medical College Hospital, Peking Union Medical College and Chinese Academy of Medical Sciences（重症医学科、复杂严重罕见疾病国家重点实验室、北京友谊医院、北京友谊医院和中国医学科学院） ； Medical Intensive Care Unit, State Key Laboratory of Complex Severe and Rare Diseases, Peking Union Medical College Hospital, Peking Union Medical College and Chinese Academy of Medical Sciences（医疗重症病房、复杂严重罕见疾病国家重点实验室、北京友谊医院、北京友谊医院和中国医学科学院） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI

AI总结 KRAL通过知识与推理增强学习提升LLM在临床抗菌治疗中的诊断能力，以低成本高效方式优化医疗决策支持。

Co-PatcheR: Collaborative Software Patching with Component(s)-specific Small Reasoning Models

Co-PatcheR: 基于组件特定小推理模型的协作软件修补

Yuheng Tang, Hongwei Li, Kaijie Zhu, Michael Yang, Yangruibo Ding, Wenbo Guo

机构 * University of California, Santa Barbara（加州大学圣芭芭拉分校） ； University of California, Los Angeles（加州大学洛杉矶分校） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI

AI总结 Co-PatcheR通过组件特定的小推理模型实现协作软件修补，提升修补效率并减少训练资源消耗。

EHR-R1: A Reasoning-Enhanced Foundational Language Model for Electronic Health Record Analysis

EHR-R1: 一种增强推理能力的基础语言模型用于电子健康记录分析

Yusheng Liao, Chaoyi Wu, Junwei Liu, Shuyang Jiang, Pengcheng Qiu, Haowen Wang, Yun Yue, Shuai Zhen, Jian Wang, Qianrui Fan, Jinjie Gu, Ya Zhang, Yanfeng Wang, Yu Wang, Weidi Xie

机构 * Shanghai Jiao Tong University（上海交通大学） ； Intelligence Healthcare Department, AntGroup（智能医疗部，蚂蚁集团） ； Intelligence Computing and Sensing Laboratory, Peking University（智能计算与感知实验室，北京大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Fudan University（复旦大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL

AI总结 EHR-R1是一种针对电子健康记录分析设计的增强推理能力的基础语言模型，通过大规模推理数据集和多阶段训练方法提升了EHR分析的准确性和鲁棒性。

TurnBench-MS: A Benchmark for Evaluating Multi-Turn, Multi-Step Reasoning in Large Language Models

TurnBench-MS: 一个评估大语言模型多轮多步推理能力的基准

Yiran Zhang, Mo Wang, Xiaoyang Li, Kaixuan Ren, Chencheng Zhu, Usman Naseem

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL

AI总结 TurnBench-MS通过互动破码任务评估大语言模型的多轮多步推理能力，揭示当前模型在复杂推理任务中的显著不足。

Comments Accepted to Findings of the Association for Computational Linguistics: EMNLP 2025

Journal ref Findings of the ACL: EMNLP 2025, pp. 19892-19924, 2025

Introducing Visual Scenes and Reasoning: A More Realistic Benchmark for Spoken Language Understanding

引入视觉场景和推理：一个更现实的口语语言理解基准

Di Wu, Liting Jiang, Ruiyu Fang, Bianjing, Hongyan Xie, Haoxiang Su, Hao Huang, Zhongjiang He, Shuangyong Song, Xuelong Li

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI

AI总结 本文提出VRSLU数据集，通过引入视觉信息和显式推理提升口语语言理解的现实应用能力。

FoREST: Frame of Reference Evaluation in Spatial Reasoning Tasks

FoREST: 空间推理任务中的参考框架评估

Tanawan Premsri, Parisa Kordjamshidi

机构 * Department of Computer Science and Engineering（计算机科学与工程系） ； Michigan State University（密歇根州立大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL

AI总结 FoREST基准通过空间引导提示法提升LLMs在空间推理任务中的参考框架理解能力。

Comments 10 pages, 3 Figures, 4 Tables, EMNLP-2025 Main (Oral)

AirCopBench: A Benchmark for Multi-drone Collaborative Embodied Perception and Reasoning

AirCopBench: 多无人机协作具身感知与推理的基准测试

Jirong Zha, Yuxuan Fan, Tianyu Zhang, Geng Chen, Yingfeng Chen, Chen Gao, Xinlei Chen

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI

AI总结 AirCopBench是一个针对多无人机协作具身感知与推理的首个全面基准测试，通过模拟与现实数据生成14600+问题，评估MLLMs在复杂协作场景中的性能差异。

FinMR: A Knowledge-Intensive Multimodal Benchmark for Advanced Financial Reasoning

FinMR：面向高级金融推理的知识密集型多模态基准

Shuangyan Deng, Haizhou Peng, Jiachen Xu, Rui Mao, Ciprian Doru Giurcăneanu, Jiamou Liu

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI

AI总结 FinMR是一个面向高级金融推理的知识密集型多模态基准，通过精心设计的问题-答案对和多样化的金融主题，评估专业分析师级别的金融推理能力。

Comments The methodology section contains inaccuracies that may lead to misleading interpretations. The authors have withdrawn this version for correction

GeoReasoner: Geo-localization with Reasoning in Street Views using a Large Vision-Language Model

GeoReasoner: 基于大规模视觉-语言模型的街景地理定位

Ling Li, Yu Ye, Yao Zhou, Bingchuan Jiang, Wei Zeng

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Tongji University（同济大学） ； Independent Researcher（独立研究者） ； Information Engineering University（信息工程大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.LG

AI总结 GeoReasoner通过整合外部知识和改进的微调方法，提升了街景地理定位的性能，优于现有模型并节省训练资源。

Improving Latent Reasoning in LLMs via Soft Concept Mixing

通过软概念混合改进大语言模型的潜在推理

Kang Wang, Xiangyu Duan, Tianyi Du

机构 * School of Computer Science and Technology, Soochow University（计算机科学与技术学院，苏州大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL

AI总结 通过引入Soft Concept Mixing方法，改进大语言模型的潜在推理能力，提升推理性能并保持训练稳定性。

Comments 7 pages, 3 figures

SemanticCite: Citation Verification with AI-Powered Full-Text Analysis and Evidence-Based Reasoning

SemanticCite: 借助AI全文本分析和基于证据的推理进行引文验证

Sebastian Haan

机构 * The University of Sydney（悉尼大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL

AI总结 SemanticCite通过AI全文本分析和证据推理，提供高效的引文验证系统，结合多种检索方法和四类分类系统，实现精准的引文准确性验证，并开源数据集和模型以促进研究诚信。

Comments 21 pages, 4 figures

How Modality Shapes Perception and Reasoning: A Study of Error Propagation in ARC-AGI

模态如何塑造感知与推理：ARC-AGI中误差传播的研究

Bo Wen, Chen Wang, Erhan Bilal

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI

AI总结 研究通过对比文本和图像模态，发现结构化文本能精确获取稀疏特征，图像对分辨率敏感，结合两者可提升执行精度。

ATLAS: A High-Difficulty, Multidisciplinary Benchmark for Frontier Scientific Reasoning

ATLAS：面向前沿科学推理的高难度、多学科基准

Hongwei Liu, Junnan Liu, Shudong Liu, Haodong Duan, Yuqiang Li, Mao Su, Xiaohong Liu, Guangtao Zhai, Xinyu Fang, Qianhong Ma, Taolin Zhang, Zihan Ma, Yufeng Zhao, Peiheng Zhou, Linchen Xiao, Wenlong Zhang, Shijie Zhou, Xingjian Ma, Siqi Sun, Jiaye Ge, Meng Li, Yuhong Liu, Jianxin Dong, Jiaying Li, Hui Wu, Hanwen Liang, Jintai Lin, Yanting Wang, Jie Dong, Tong Zhu, Tianfan Fu, Conghui He, Qi Zhang, Songyang Zhang, Lei Bai, Kai Chen

机构 * Shanghai AI Laboratory（上海人工智能实验室） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL

AI总结 ATLAS是一个由领域专家开发的高难度、跨学科科学推理基准，通过原创问题和严格质量控制，评估模型在多领域知识整合和复杂推理能力上的表现。

Comments 39 pages

The Illusion of Procedural Reasoning: Measuring Long-Horizon FSM Execution in LLMs

Mahdi Samiei, Mahdi Mansouri, Mahdieh Soleymani Baghshah

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI

Combining LLM Semantic Reasoning with GNN Structural Modeling for Multi-View Multi-Label Feature Selection

Zhiqi Chen, Yuzhou Liu, Jiarui Liu, Wanfu Gao

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI

Comments 9 pages, 5 figures

Multi-view Phase-aware Pedestrian-Vehicle Incident Reasoning Framework with Vision-Language Models

Hao Zhen, Yunxiang Yang, Jidong J. Yang

机构 * College of Engineering University of Georgia（工程学院 乔治亚大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI

Comments 23 pages, 4 figures, 3 tables

Xiangqi-R1: Enhancing Spatial Strategic Reasoning in LLMs for Chinese Chess via Reinforcement Learning

Yuhao Chen, Shuochen Liu, Yuanjie Lyu, Chao Zhang, Jiayao Shi, Tong Xu

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI

Comments 10 pages, 7 figures

LongReason: A Synthetic Long-Context Reasoning Benchmark via Context Expansion

Zhan Ling, Kang Liu, Kai Yan, Yifan Yang, Weijian Lin, Ting-Han Fan, Lingfeng Shen, Zhengyin Du, Jiecao Chen

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL

Reasoning under Vision: Understanding Visual-Spatial Cognition in Vision-Language Models for CAPTCHA

Python Song, Luke Tenyi Chang, Yun-Yun Tsai, Penghui Li, Junfeng Yang

机构 * Columbia University Department of Computer Science（哥伦比亚大学计算机科学系） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI

Comments 14pages, 11figures

CURE: Cultural Understanding and Reasoning Evaluation - A Framework for "Thick" Culture Alignment Evaluation in LLMs

Truong Vo, Sanmi Koyejo

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL

Comments 7 pages, 5 figures

Joint Evaluation of Answer and Reasoning Consistency for Hallucination Detection in Large Reasoning Models

Changyue Wang, Weihang Su, Qingyao Ai, Yiqun Liu

机构 * Department of Computer Science and Technology, Tsinghua University（清华大学计算机科学与技术系） ； Quan Cheng Laboratory（泉城实验室） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL

Navigating Through Paper Flood: Advancing LLM-based Paper Evaluation through Domain-Aware Retrieval and Latent Reasoning

Wuqiang Zheng, Yiyan Xu, Xinyu Lin, Chongming Gao, Wenjie Wang, Fuli Feng

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL

Comments Accepted for publication in AAAI'26

RASTeR: Robust, Agentic, and Structured Temporal Reasoning

Dan Schumacher, Fatemeh Haji, Tara Grey, Niharika Bandlamudi, Nupoor Karnik, Gagana Uday Kumar, Jason Cho-Yu Chiang, Paul Rad, Nishant Vishwamitra, Anthony Rios

机构 * University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL

Comments Accepted to AACL 2025

mmJEE-Eval: A Bilingual Multimodal Benchmark for Evaluating Scientific Reasoning in Vision-Language Models

Arka Mukherjee, Shreya Ghosh

机构 * Kalinga Institute of Industrial Technology (KIIT)（喀里亚理工学院） ； Indian Institute of Technology (IIT), Bhubaneswar（印度理工学院（班加罗尔）） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL

Comments Accepted to IJCNLP-AACL Findings 2025

How Well Do LLMs Understand Drug Mechanisms? A Knowledge + Reasoning Evaluation Dataset

Sunil Mohan, Theofanis Karaletsos

机构 * CZI 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL

Comments An earlier version of this paper appears in IEEE FLLM 2025. GitHub: https://github.com/czi-ai/DrugMechCounterfactuals

An Empirical Study of Reasoning Steps in Thinking Code LLMs

Haoran Xue, Gias Uddin, Song Wang

机构 * York University（约克大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI

P-ReMIS: Pragmatic Reasoning in Mental Health and a Social Implication

Sneha Oram, Pushpak Bhattacharyya

机构 * Sneha Oram（独立研究者） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL

LiveSearchBench: An Automatically Constructed Benchmark for Retrieval and Reasoning over Dynamic Knowledge

Heng Zhou, Ao Yu, Yuchen Fan, Jianing Shi, Li Kang, Hejia Geng, Yongting Zhang, Yutao Fan, Yuhao Wu, Tiancheng He, Yiran Qin, Lei Bai, Zhenfei Yin

机构 * University of Science and Technology of China（中国科学技术大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； Shanghai Jiao Tong University（上海交通大学） ； London School of Economics（伦敦经济学院） ； BUPT（北京邮电大学） ； Harbin Institute of Technology（哈尔滨工业大学） ； SUTD（新加坡科技设计大学） ； University of Oxford（牛津大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL