大模型推理能力

Unbiased Reasoning for Knowledge-Intensive Tasks in Large Language Models via Conditional Front-Door Adjustment

Bo Zhao, Yinghao Zhang, Ziqi Xu, Yongli Ren, Xiuzhen Zhang, Renqiang Luo, Zaiwen Feng, Feng Xia

机构 * Huazhong Agricultural University（华中农业大学） ； RMIT University（皇家墨尔本理工大学） ； Jilin University（吉林大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；chain-of-thought(abstract)；CoT(abstract)；分类 cs.CL

Comments This paper has been accepted to the 34th ACM International Conference on Information and Knowledge Management (CIKM 2025), Full Research Paper

PuzzleJAX: A Benchmark for Reasoning and Learning

Sam Earle, Graham Todd, Yuchen Li, Ahmed Khalifa, Muhammad Umair Nasir, Zehua Jiang, Andrzej Banburski-Fahey, Julian Togelius

机构 * New York University（纽约大学） ； University of Malta（马耳他大学） ； University of the Witwatersrand（沃斯兰大学） ； Microsoft（微软公司） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；planning(abstract)；分类 cs.AI、cs.LG

Comments 25 pages, 11 figures, 2 tables

DeAR: Dual-Stage Document Reranking with Reasoning Agents via LLM Distillation

Abdelrahman Abdallah, Jamshid Mozafari, Bhawna Piryani, Adam Jatowt

机构 * University of Innsbruck（因斯布鲁克大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；chain-of-thought(abstract)；分类 cs.CL

Comments Accept at EMNLP Findings 2025

HoarePrompt: Structural Reasoning About Program Correctness in Natural Language

Dimitrios Stamatios Bouras, Yihan Dai, Tairan Wang, Yingfei Xiong, Sergey Mechtaev

机构 * Peking University（北京大学） ； Nankai University（南开大学） ； University College London（伦敦大学学院） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；CoT(abstract)；分类 cs.AI

TOMATO: Assessing Visual Temporal Reasoning Capabilities in Multimodal Foundation Models

Ziyao Shangguan, Chuhan Li, Yuxuan Ding, Yanan Zheng, Yilun Zhao, Tesca Fitzgerald, Arman Cohan

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL、cs.AI

Are You Sure You're Positive? Consolidating Chain-of-Thought Agents with Uncertainty Quantification for Aspect-Category Sentiment Analysis

Filippos Ventirozos, Peter Appleby, Matthew Shardlow

机构 * Manchester Metropolitan University（曼彻斯特 Metropolitan 大学） ； Autotrader Research Group（Autotrader 研究组） ； Autotrader UK（Autotrader 英国） 纠错

专题命中 推理评测 ：chain-of-thought(title,abstract)；分类 cs.CL

Comments 18 pages, 10 figures, 3 tables, Proceedings of the 1st Workshop for Research on Agent Language Models (REALM 2025)

Journal ref Ventirozos et al. 2025. In Proc. of REALM 2025, pp. 309-326. ACL

SAKURA: On the Multi-hop Reasoning of Large Audio-Language Models Based on Speech and Audio Information

Chih-Kai Yang, Neo Ho, Yen-Ting Piao, Hung-yi Lee

机构 * National Taiwan University（国立台湾大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL

Comments Accepted to Interspeech 2025 (Oral). Update acknowledgement in this version. Project page: https://github.com/ckyang1124/SAKURA

Learning from Diverse Reasoning Paths with Routing and Collaboration

Zhenyu Lei, Zhen Tan, Song Wang, Yaochen Zhu, Zihan Chen, Yushun Dong, Jundong Li

机构 * University of Virginia（弗吉尼亚大学） ； Arizona State University（亚利桑那州立大学） ； Florida State University（佛罗里达州立大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL

RADAR: A Reasoning-Guided Attribution Framework for Explainable Visual Data Analysis

Anku Rani, Aparna Garimella, Apoorv Saxena, Balaji Vasan Srinivasan, Paul Pu Liang

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI

Beyond Emotion Recognition: A Multi-Turn Multimodal Emotion Understanding and Reasoning Benchmark

Jinpeng Hu, Hongchang Shi, Chongyuan Dai, Zhuo Li, Peipei Song, Meng Wang

机构 * Hefei University of Technology（合肥工业大学） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； University of Science and Technology of China（中国科学技术大学） ； Institute of Artificial Intelligence (IAI), Hefei Comprehensive National Science Center（人工智能研究院（IAI），合肥综合性国家科学中心） 纠错

专题命中 推理评测 ：reasoning(title,abstract)

Comments ACM Multimedia 2025

RubikSQL: Lifelong Learning Agentic Knowledge Base as an Industrial NL2SQL System

Zui Chen, Han Li, Xinhao Zhang, Xiaoyu Chen, Chunyin Dong, Yifeng Wang, Xin Cai, Su Zhang, Ziqi Li, Chi Ding, Jinxu Li, Shuai Wang, Dousheng Zhao, Sanhai Gao, Guangyi Liu

机构 * Huawei Company（华为公司） ； Cornell University（康奈尔大学） 纠错

专题命中 推理评测 ：chain-of-thought(abstract)；CoT(abstract)；分类 cs.CL、cs.AI

Comments 18 pages, 3 figures, 3 tables, to be submitted to VLDB 2026 (PVLDB Volume 19)

ImF: Implicit Fingerprint for Large Language Models

Jiaxuan Wu, Wanli Peng, Hang Fu, Yiming Xue, Juan Wen

机构 * China Agricultural University（中国农业大学） 纠错

专题命中 推理评测 ：chain-of-thought(abstract)；CoT(abstract)；分类 cs.CL、cs.AI

Comments 13 pages, 6 figures

WebSight: A Vision-First Architecture for Robust Web Agents

Tanvir Bhathal, Asanshay Gupta

机构 * Stanford University（斯坦福大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；planning(abstract)；分类 cs.AI

UQ: Assessing Language Models on Unsolved Questions

Fan Nie, Ken Ziyu Liu, Zihao Wang, Rui Sun, Wei Liu, Weijia Shi, Huaxiu Yao, Linjun Zhang, Andrew Y. Ng, James Zou, Sanmi Koyejo, Yejin Choi, Percy Liang, Niklas Muennighoff

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments FN, KZL, and NM are project co-leads and contributed equally. Project website: https://uq.stanford.edu

A Universal Framework for Offline Serendipity Evaluation in Recommender Systems via Large Language Models

Yu Tokutake, Kazushi Okamoto, Kei Harada, Atsushi Shibata, Koki Karube

专题命中 推理评测 ：reasoning(abstract)；chain-of-thought(abstract)

Journal ref The 34th ACM International Conference on Information and Knowledge Management (CIKM 2025)

MEENA (PersianMMMU): Multimodal-Multilingual Educational Exams for N-level Assessment

Omid Ghahroodi, Arshia Hemmat, Marzia Nouri, Seyed Mohammad Hadi Hosseini, Doratossadat Dastgheib, Mohammad Vali Sanian, Alireza Sahebi, Reihaneh Zohrabi, Mohammad Hossein Rohban, Ehsaneddin Asgari, Mahdieh Soleymani Baghshah

机构 * Computer Engineering Department, Sharif University of Technology, Iran（谢尔盖大学计算机工程系，伊朗） ； Qatar Computing Research Institute, Qatar（卡塔尔计算研究所，卡塔尔） ； Computer Engineering Department, University of Isfahan, Iran（伊斯法罕大学计算机工程系，伊朗） ； Independent Researcher（独立研究者） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI、cs.LG

LETToT: Label-Free Evaluation of Large Language Models On Tourism Using Expert Tree-of-Thought

Ruiyan Qi, Congding Wen, Weibo Zhou, Jiwei Li, Shangsong Liang, Lingbo Li

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

WHEN TO ACT, WHEN TO WAIT: Modeling the Intent-Action Alignment Problem in Dialogue

Yaoyao Qian, Jindan Huang, Yuanli Wang, Simon Yu, Kyrie Zhixuan Zhou, Jiayuan Mao, Mingfu Liang, Hanhan Zhou

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

Comments Project website: https://nanostorm.netlify.app/

SCP-116K: A High-Quality Problem-Solution Dataset and a Generalized Pipeline for Automated Extraction in the Higher Education Science Domain

Dakuan Lu, Xiaoyu Tan, Rui Xu, Tianchu Yao, Chao Qu, Wei Chu, Yinghui Xu, Yuan Qi

机构 * INFLY TECH (Shanghai) Co., Ltd.（INFLY科技（上海）有限公司） ； Fudan University（复旦大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

Comments 9 pages, 1 figures

SEAM: Semantically Equivalent Across Modalities Benchmark for Vision-Language Models

Zhenwei Tang, Difan Jiao, Blair Yang, Ashton Anderson

机构 * Department of Computer Science, University of Toronto（多伦多大学计算机科学系） ； Coolwei AI Lab（Coolwei人工智能实验室） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

Comments COLM 2025

PerPilot: Personalizing VLM-based Mobile Agents via Memory and Exploration

Xin Wang, Zhiyao Cui, Hao Li, Ya Zeng, Chenxu Wang, Ruiqi Song, Yihang Chen, Kun Shao, Qiaosheng Zhang, Jinzhuo Liu, Siyue Ren, Shuyue Hu, Zhen Wang

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

EMPOWER: Evolutionary Medical Prompt Optimization With Reinforcement Learning

Yinda Chen, Yangfan He, Jing Yang, Dapeng Zhang, Zhenlong Yuan, Muhammad Attique Khan, Jamel Baili, Por Lip Yee

机构 * MoE Key Laboratory of Brain-inspired Intelligent Perception and Cognition, University of Science and Technology of China（脑启发智能感知与认知国家重点实验室，中国科学技术大学） ； Department of Computer Science, University of Minnesota-Twin Cities（计算机科学系，明尼苏达大学双城分校） ； Center of Research for Cyber Security and Network (CSNET), Faculty of Computer Science and Information Technology, Universiti Malaya（网络安全与网络研究中心（CSNET），马来亚大学计算机科学与信息技术学院） ； DSLAB, School of Information Science & Engineering, Lanzhou University（信息科学与工程学院，兰州大学） ； Institute of Computing Technology, Chinese Academy of Sciences（计算技术研究所，中国科学院） ； Department of AI, Prince Mohammad bin Fahd University（人工智能系，普林姆·法赫德大学） ； Department of Computer Engineering, College of Computer Science, King Khalid University（计算机工程系，国王·卡利德大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

OmniMRI: A Unified Vision--Language Foundation Model for Generalist MRI Interpretation

Xingxin He, Aurora Rofena, Ruimin Feng, Haozhe Liao, Zhaoye Zhou, Albert Jang, Fang Liu

机构 * Athinoula A. Martinos Center for Biomedical Imaging（阿提诺拉A.马丁诺斯生物医学成像中心） ； Harvard Medical School（哈佛医学院） ； Massachusetts General Hospital（麻省总医院） ； University Campus Bio-Medico of Rome（罗马生物医学大学校园） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

UI-Level Evaluation of ALLaM 34B: Measuring an Arabic-Centric LLM via HUMAIN Chat

Omer Nacar

机构 * NAMAA Community（NAMAA社区） ； Riyadh - KSA（利雅得-科威特） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

Explainable AI (XAI) for Arrhythmia detection from electrocardiograms

Joschka Beck, Arlene John

机构 * Biomedical Signals and Systems Group University of Twente（生物医学信号与系统组代尔夫特理工大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.LG

Jinx: Unlimited LLMs for Probing Alignment Failures

Jiahao Zhao, Liwei Dong

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

Comments https://huggingface.co/Jinx-org

OpenHuEval: Evaluating Large Language Model on Hungarian Specifics

Haote Yang, Xingjian Wei, Jiang Wu, Noémi Ligeti-Nagy, Jiaxing Sun, Yinfan Wang, Zijian Győző Yang, Junyuan Gao, Jingchao Wang, Bowen Jiang, Shasha Wang, Nanjun Yu, Zihao Zhang, Shixin Hong, Hongwei Liu, Wei Li, Songyang Zhang, Dahua Lin, Lijun Wu, Gábor Prószéky, Conghui He

机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； HUN-REN Hungarian Research Centre for Linguistics（匈牙利语言研究与研究中心） ； Wuhan University（武汉大学） ； Shanghai University（上海大学） ； University of Chinese Academy of Sciences（中国科学院大学） ； East China Normal University（华东师范大学） ； Peking University（北京大学） ； Harbin Institute of Technology（哈尔滨工业大学） ； Tsinghua University（清华大学） ； Chinese University of Hong Kong（香港大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

Assess and Prompt: A Generative RL Framework for Improving Engagement in Online Mental Health Communities

Bhagesh Gaur, Karan Gupta, Aseem Srivastava, Manish Gupta, Md Shad Akhtar

机构 * IIIT Delhi, India（德里印度理工学院） ； Microsoft, India（微软印度） 纠错

专题命中 推理评测 ：verifier(abstract)；分类 cs.CL

Comments Full Paper accepted in EMNLP Findings 2025

Enhancing Transformer-Based Foundation Models for Time Series Forecasting via Bagging, Boosting and Statistical Ensembles

Dhruv D. Modi, Rong Pan

机构 * School of Computing and Augmented Intelligence, Arizona State University（计算与增强智能学院，亚利桑那州立大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.LG

ComplexTempQA:A 100m Dataset for Complex Temporal Question Answering

Raphael Gruber, Abdelrahman Abdallah, Michael Färber, Adam Jatowt

机构 * University of Innsbruck（因斯布鲁克大学） ； Technical University Dresden（德累斯顿技术大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

Comments Accepted at EMNLP main