大模型推理能力

The Gold Medals in an Empty Room: Diagnosing Metalinguistic Reasoning in LLMs with Camlang

Fenghua Liu, Yulong Chen, Yixuan Liu, Zhujun Jin, Solomon Tsai, Ming Zhong

机构 * University of Cambridge（剑桥大学） ； University of Oxford（牛津大学） ； UIUC（伊利诺伊大学香槟分校） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL

Comments Working in progress

KRETA: A Benchmark for Korean Reading and Reasoning in Text-Rich VQA Attuned to Diverse Visual Contexts

Taebaek Hwang, Minseo Kim, Gisang Lee, Seonuk Kim, Hyunjun Eun

机构 * Waddle ； Seoul National University（首尔国立大学） ； Krafton ； UNIST（全南大学） ； SK Telecom（SK电信） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL

Comments Accepted to EMNLP 2025 (Main Conference)

LUMIR: an LLM-Driven Unified Agent Framework for Multi-task Infrared Spectroscopy Reasoning

Zujie Xie, Zixuan Chen, Jiheng Liang, Xiangyang Yu, Ziru Yu

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI

Comments 19 pages

Distill Visual Chart Reasoning Ability from LLMs to MLLMs

Wei He, Zhiheng Xi, Wanxu Zhao, Xiaoran Fan, Yiwen Ding, Zifei Shan, Tao Gui, Qi Zhang, Xuanjing Huang

机构 * School of Computer Science, Fudan University（复旦大学计算机学院） ； Weixin Group, Tencent（腾讯Weixin部门） ； Shanghai Innovation Institute（上海创新研究院） ； Shanghai Key Lab of Intelligent Information Processing（上海智能信息处理重点实验室） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL

Comments Accepted to EMNLP 2025 Findings. The code and dataset are publicly available at https://github.com/hewei2001/ReachQA

Uncertainty Under the Curve: A Sequence-Level Entropy Area Metric for Reasoning LLM

Yongfu Zhu, Lin Sun, Guangxiang Zhao, Weihong Lin, Xiangzheng Zhang

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI

Comments Under review for AAAI 2026

IntentionReasoner: Facilitating Adaptive LLM Safeguards through Intent Reasoning and Selective Query Refinement

Yuanzhe Shen, Zisu Huang, Zhengkang Guo, Yide Liu, Guanxu Chen, Ruicheng Yin, Xiaoqing Zheng, Xuanjing Huang

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI

Comments 17 pages, 9 figures

Evaluating Language Model Reasoning about Confidential Information

Dylan Sam, Alexander Robey, Andy Zou, Matt Fredrikson, J. Zico Kolter

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.LG

Comments 20 pages

MedVQA-TREE: A Multimodal Reasoning and Retrieval Framework for Sarcopenia Prediction

Pardis Moradbeiki, Nasser Ghadiri, Sayed Jalal Zahabi, Uffe Kock Wiil, Kristoffer Kittelmann Brockhattingen, Ali Ebrahimi

机构 * Department of Electrical and Computer Engineering, Isfahan University of Technology（电气与计算机工程系，伊斯法罕技术大学） ； SDU Health Informatics and Technology, The Maersk Mc-Kinney Moller Institute, University of Southern Denmark（南部丹麦大学健康信息学与技术，马士基麦金尼莫勒研究所） ； Geriatric Research Unit, Department of Clinical Research, University of Southern Denmark（老年医学研究单元，临床研究系，南部丹麦大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI

Demonstrating specification gaming in reasoning models

Alexander Bondarenko, Denis Volk, Dmitrii Volkov, Jeffrey Ladish

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI

Comments Updated with o3 results, fixed fonts

Jigsaw-Puzzles: From Seeing to Understanding to Reasoning in Vision-Language Models

Zesen Lyu, Dandan Zhang, Wei Ye, Fangdi Li, Zhihang Jiang, Yao Yang

机构 * Hangzhou Institute for Advanced Study, UCAS（杭州高等研究 institute，UCAS） ； Zhejiang Lab（浙江实验室） ； Zhejiang University（浙江大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI

Comments Accepted by EMNLP 2025 Main conference

Are You Sure You're Positive? Consolidating Chain-of-Thought Agents with Uncertainty Quantification for Aspect-Category Sentiment Analysis

Filippos Ventirozos, Peter Appleby, Matthew Shardlow

机构 * Manchester Metropolitan University（曼彻斯特 Metropolitan 大学） ； Autotrader Research Group（Autotrader 研究组） ； Autotrader UK（Autotrader 英国） 纠错

专题命中 推理评测 ：chain-of-thought(title,abstract)；分类 cs.CL

Comments 18 pages, 10 figures, 3 tables, Proceedings of the 1st Workshop for Research on Agent Language Models (REALM 2025)

Journal ref Ventirozos et al. 2025. In Proc. of REALM 2025, pp. 309-326. ACL

SAKURA: On the Multi-hop Reasoning of Large Audio-Language Models Based on Speech and Audio Information

Chih-Kai Yang, Neo Ho, Yen-Ting Piao, Hung-yi Lee

机构 * National Taiwan University（国立台湾大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL

Comments Accepted to Interspeech 2025 (Oral). Update acknowledgement in this version. Project page: https://github.com/ckyang1124/SAKURA

Learning from Diverse Reasoning Paths with Routing and Collaboration

Zhenyu Lei, Zhen Tan, Song Wang, Yaochen Zhu, Zihan Chen, Yushun Dong, Jundong Li

机构 * University of Virginia（弗吉尼亚大学） ； Arizona State University（亚利桑那州立大学） ； Florida State University（佛罗里达州立大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL

RADAR: A Reasoning-Guided Attribution Framework for Explainable Visual Data Analysis

Anku Rani, Aparna Garimella, Apoorv Saxena, Balaji Vasan Srinivasan, Paul Pu Liang

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI

ADAM: An AI Reasoning and Bioinformatics Model for Alzheimer's Disease Detection and Microbiome-Clinical Data Integration

Ziyuan Huang, Vishaldeep Kaur Sekhon, Roozbeh Sadeghian, Maria L. Vaida, Cynthia Jo, Doyle Ward, Vanni Bucci, John P. Haran

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI

Comments 12 pages, 7 figures

Game Reasoning Arena: A Framework and Benchmark for Assessing Reasoning Capabilities of Large Language Models via Game Play

Lucia Cipolina-Kun, Marianna Nezhurina, Jenia Jitsev

机构 * LAION Juelich Supercomputing Center (JSC)（LAION尤利奇超级计算机中心（JSC）） ； Research Center Juelich (FZJ)（尤利奇研究中心（FZJ）） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI

Can Multi-modal (reasoning) LLMs detect document manipulation?

Zisheng Liang, Kidus Zewde, Rudra Pratap Singh, Disha Patil, Zexi Chen, Jiayu Xue, Yao Yao, Yifei Chen, Qinzhe Liu, Simiao Ren

机构 * Duke University（杜克大学） ； Indian Institute of Technology, Roorkee（印度理工学院，罗尔基） ； New York University（纽约大学） ； University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校） ； University of Wisconsin Madison（威斯康星大学麦迪逊分校） ； Columnbia University（哥伦比亚大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL

Comments arXiv admin note: text overlap with arXiv:2503.20084

MMESGBench: Pioneering Multimodal Understanding and Complex Reasoning Benchmark for ESG Tasks

Lei Zhang, Xin Zhou, Chaoyue He, Di Wang, Yi Wu, Hong Xu, Wei Liu, Chunyan Miao

机构 * Nanyang Technological University（南洋理工大学） ； University College London（伦敦大学学院） ； Alibaba Group（阿里巴巴集团） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL

Comments Accepted at ACM MM 2025

What to Ask Next? Probing the Imaginative Reasoning of LLMs with TurtleSoup Puzzles

Mengtao Zhou, Sifan Wu, Huan Zhang, Qi Sima, Bang Liu

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI

Safe Semantics, Unsafe Interpretations: Tackling Implicit Reasoning Safety in Large Vision-Language Models

Wei Cai, Jian Zhao, Yuchu Jiang, Tianle Zhang, Xuelong Li

机构 * Peking University（北京大学） ； Institute of Artificial Intelligence (TeleAI), China Telecom（人工智能研究所（TeleAI），中国电信） ； Northwestern Polytechnical University（西北工业大学） ； Southeast University（东南大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI

ALFA: Aligning LLMs to Ask Good Questions A Case Study in Clinical Reasoning

Shuyue Stella Li, Jimin Mun, Faeze Brahman, Pedram Hosseini, Bryceton G. Thomas, Jessica M. Sin, Bing Ren, Jonathan S. Ilgen, Yulia Tsvetkov, Maarten Sap

机构 * University of Washington（华盛顿大学） ； Carnegie Mellon University（卡内基梅隆大学） ； Allen Institute for AI（人工智能研究院） ； Lavita AI（Lavita人工智能） ； Dartmouth Medicine（达特茅斯医学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL

Comments 29 pages, 8 figures, 12 tables

DRAMA-X: A Fine-grained Intent Prediction and Risk Reasoning Benchmark For Driving

Mihir Godbole, Xiangbo Gao, Zhengzhong Tu

机构 * Texas A&M University（德克萨斯A&M大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI

Comments 19 pages, 5 figures, Preprint under review. Code available at: https://github.com/taco-group/DRAMA-X

Reasoning Beyond Labels: Measuring LLM Sentiment in Low-Resource, Culturally Nuanced Contexts

Millicent Ochieng, Anja Thieme, Ignatius Ezeani, Risa Ueno, Samuel Maina, Keshet Ronen, Javier Gonzalez, Jacki O'Neill

机构 * Microsoft Research（微软研究院） ； Lancaster University（兰卡斯特大学） ； University of Washington（华盛顿大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL

Multimodal Video Emotion Recognition with Reliable Reasoning Priors

Zhepeng Wang, Yingjian Zhu, Guanghao Dong, Hongzhu Yi, Feng Chen, Xinming Wang, Jun Xie

机构 * Lenovo Research（联想研究院） ； School of Artificial Intelligence, UCAS（中国科学院大学人工智能学院） ； Institute of Automation, CAS（中国科学院自动化研究所） ； Macau University of Science and Technology（澳门科学理工学院） ； School of Computer Science and Technology, UCAS（中国科学院大学计算机科学与技术学院） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI

Comments preprint

FinanceReasoning: Benchmarking Financial Numerical Reasoning More Credible, Comprehensive and Challenging

Zichen Tang, Haihong E, Ziyan Ma, Haoyang He, Jiacheng Liu, Zhongjun Yang, Zihua Rong, Rongjin Li, Kun Ji, Qing Huang, Xinyang Hu, Yang Liu, Qianhe Zheng

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL

Comments Accepted by ACL 2025 Main Conference

Journal ref Proc. ACL 2025 (Volume 1: Long Papers), pages 15721-15749

Evaluating Multi-Hop Reasoning in Large Language Models: A Chemistry-Centric Case Study

Mohammad Khodadad, Ali Shiraee Kasmaee, Mahdi Astaraki, Nicholas Sherck, Hamidreza Mahyar, Soheila Samiee

机构 * Department of Computational Science and Engineering（计算科学与工程系） ； McMaster University（麦斯特大学） ； BASF Canada Inc（巴斯夫加拿大公司） ； BASF Corporation（巴斯夫公司） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL

REALM-Bench: A Benchmark for Evaluating Multi-Agent Systems on Real-world, Dynamic Planning and Scheduling Tasks

Longling Geng, Edward Y. Chang

机构 * Stanford University（斯坦福大学） 纠错

专题命中 推理评测 ：planning(title,abstract)；分类 cs.AI

Comments 24 pages, 8 figures, 28 tables, 7 listings

Coherent Multimodal Reasoning with Iterative Self-Evaluation for Vision-Language Models

Wenjie Luo, Ruocheng Li, Shanshan Zhu, Julian Perry

机构 * Fujian University of Technology（福建工程大学） ； Delta University for Science and Technology（科技大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL

The Multi-Round Diagnostic RAG Framework for Emulating Clinical Reasoning

Penglei Sun, Yixiang Chen, Xiang Li, Xiaowen Chu

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL

VRBench: A Benchmark for Multi-Step Reasoning in Long Narrative Videos

Jiashuo Yu, Yue Wu, Meng Chu, Zhifei Ren, Zizheng Huang, Pei Chu, Ruijie Zhang, Yinan He, Qirui Li, Songze Li, Zhenxiang Li, Zhongying Tu, Conghui He, Yu Qiao, Yali Wang, Yi Wang, Limin Wang

机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Nanjing University（南京大学） ； Shanghai Innovation Institute（上海创新研究院） ； Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences（深圳先进技术研究所，中国科学院） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI

Comments ICCV2025