大模型推理能力

MTBench: A Multimodal Time Series Benchmark for Temporal Reasoning and Question Answering

MTBench: 一种多模态时间序列基准，用于时间推理和问答

Jialin Chen, Aosong Feng, Ziyu Zhao, Juan Garza, Gaukhar Nurbek, Cheng Qin, Ali Maatouk, Leandros Tassiulas, Yifeng Gao, Rex Ying

机构 * Yale University, New Haven, CT, USA（耶鲁大学） ； McGill University, Montreal, QC, Canada（麦吉尔大学） ； University of Texas Rio Grande Valley, TX, USA（德克萨斯大学里奥格兰德谷分校） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL、cs.AI

AI总结 MTBench是一种多模态时间序列基准，用于评估大型语言模型在金融和天气领域的时间推理和问答能力。

Comments 18 pages

From Belief Entrenchment to Robust Reasoning in LLM Agents

从信念固化到LLM代理的稳健推理

Jihwan Oh, Minchan Jeong, Jongwoo Ko, Se-Young Yun

机构 * KAIST AI（韩国科学技术院人工智能研究所） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL、cs.LG

AI总结 DReaMAD通过引入多样化推理和动态辩论机制，有效缓解了LLM代理中的信念固化问题，提升了推理准确性与胜率。

Comments Accepted to TACL

Implicit Probabilistic Reasoning Does Not Reflect Explicit Answers in Large Language Models

隐式概率推理不反映大语言模型中的显式答案

Manuel Mondal, Ljiljana Dolamic, Gérôme Bovet, Philippe Cudré-Mauroux, Julien Audiffren

机构 * University of Fribourg, Switzerland（弗里堡大学） ； armasuisse S+T, Switzerland（armasuisse S+T） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL、cs.AI

AI总结 本研究发现大语言模型在显式概率推理中表现良好，但在隐式概率推理中预测与真实情况存在显著差异，且传统评估方法无法检测此类错误。

Comments Published in Transactions on Machine Learning Research

VulReaD: Knowledge-Graph-guided Software Vulnerability Reasoning and Detection

VulReaD: 基于知识图谱的软件漏洞推理与检测

Samal Mukhtar, Yinghua Yao, Zhu Sun, Mustafa Mustafa, Yew Soon Ong, Youcheng Sun

机构 * The University of Manchester（曼彻斯特大学） ； Agency for Science, Technology and Research（科技研究局） ； Singapore University of Technology and Design（新加坡科技设计大学） ； Mohamed Bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI

AI总结 VulReaD通过知识图谱引导的推理方法，在软件漏洞检测中实现CWE级别的分类，提升二元和多类检测性能，增强可解释性。

Comments 22 pages, 3 figures

MetaphorStar: Image Metaphor Understanding and Reasoning with End-to-End Visual Reinforcement Learning

MetaphorStar: 基于端到端视觉强化学习的图像隐喻理解与推理

Chenhao Zhang, Yazhe Niu, Hongsheng Li

机构 * Shanghai AI Laboratory（上海人工智能实验室） ； Huazhong University of Science and Technology（华中科技大学） ； The Chinese University of Hong Kong MMLab（香港中文大学MMLab） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI

AI总结 MetaphorStar通过端到端视觉强化学习框架提升图像隐喻理解与推理能力，显著优于现有模型。

Comments 14 pages, 4 figures, 11 tables; Code: https://github.com/MING-ZCH/MetaphorStar, Model & Dataset: https://huggingface.co/collections/MING-ZCH/metaphorstar

How Much Reasoning Do Retrieval-Augmented Models Add beyond LLMs? A Benchmarking Framework for Multi-Hop Inference over Hybrid Knowledge

检索增强模型在大语言模型之上添加多少推理能力？一种用于混合知识多跳推理的基准评估框架

Junhong Lin, Bing Zhang, Song Wang, Ziyan Liu, Dan Gutfreund, Julian Shun, Yada Zhu

机构 * Massachusetts Institute of Technology（麻省理工学院） ； IBM Research（IBM研究院） ； University of Central Florida（中央佛罗里达大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.LG

AI总结 HybridRAG-Bench通过混合知识和多跳推理评估框架，有效区分真实检索与参数回忆，为混合知识增强推理系统提供测试平台。

WaymoQA: A Multi-View Visual Question Answering Dataset for Safety-Critical Reasoning in Autonomous Driving

WaymoQA: 一个用于自动驾驶安全关键推理的多视角视觉问答数据集

Seungjun Yu, Seonho Lee, Namho Kim, Jaeyo Shin, Junsung Park, Wonjeong Ryu, Raehyuk Jung, Hyunjung Shim

机构 * Hanyang University（翰阳大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI

AI总结 WaymoQA通过多视角输入提升自动驾驶的安全关键推理能力，提供35,000个标注问题-答案对，显著增强大语言模型的推理性能。

PhysUniBench: A Multi-Modal Physics Reasoning Benchmark at Undergraduate Level

PhysUniBench: 一个面向本科生层面的多模态物理推理基准测试

Lintao Wang, Encheng Su, Jiaqi Liu, Pengze Li, Jiabei Xiao, Wenlong Zhang, Xinnan Dai, Xi Chen, Yuan Meng, Lei Bai, Wanli Ouyang, Shixiang Tang, Aoran Wang, Xinzhu Ma

机构 * The University of Sydney（悉尼大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校） ； Fudan University（复旦大学） ； The Chinese University of Hong Kong（香港中文大学） ； Michigan State University（密歇根州立大学） ； Tsinghua University（清华大学） ； Beihang University（北航大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI

AI总结 PhysUniBench是一个面向本科生层面的多模态物理推理基准测试，旨在评估和提升多模态大语言模型在物理问题上的推理能力。

AudioRAG: A Challenging Benchmark for Audio Reasoning and Information Retrieval

AudioRAG：一个用于音频推理和信息检索的挑战性基准

Jingru Lin, Chen Zhang, Tianrui Wang, Haizhou Li

专题命中 推理评测 ：reasoning(title,abstract)

AI总结 AudioRAG是一个用于评估音频推理和信息检索能力的挑战性基准，通过整合检索增强生成技术，为未来研究提供更强大的基准。

Comments Accepted by Audio-AAAI

MME-Emotion: A Holistic Evaluation Benchmark for Emotional Intelligence in Multimodal Large Language Models

MME-Emotion：多模态大语言模型情感智能的综合评估基准

Fan Zhang, Zebang Cheng, Chong Deng, Haoxuan Li, Zheng Lian, Qian Chen, Huadai Liu, Wen Wang, Yi-Fan Zhang, Renrui Zhang, Ziyu Guo, Zhihong Zhu, Hao Wu, Haixin Wang, Yefeng Zheng, Xiaojiang Peng, Xian Wu, Kun Wang, Xiangang Li, Jieping Ye, Pheng-Ann Heng

机构 * The Chinese University of Hong Kong（香港中文大学） ； Tongyi Lab（通义实验室） ； SZTU（深圳技术大学） ； Peking University（北京大学） ； Tongji University（同济大学） ； CASIA（中国科学院自动化所） ； Tencent（腾讯） ； UCLA（加州大学洛杉矶分校） ； Westlake University（西湖大学） ； NTU（国立大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；chain-of-thought(abstract)；CoT(abstract)；分类 cs.AI

AI总结 MME-Emotion是首个评估多模态大语言模型情感智能的综合基准，揭示当前模型在情感识别和推理上的不足，并通过多智能体框架提供混合指标分析。

See, Plan, Snap: Evaluating Multimodal GUI Agents in Scratch

见、计划、快照：评估Scratch中的多模态GUI代理

Xingyi Zhang, Yulei Ye, Kaifeng Huang, Wenhao Li, Xiangfeng Wang

机构 * Tongji University（同济大学） ； East China Normal University（华东师范大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；planning(abstract)；分类 cs.AI

AI总结 本文提出ScratchWorld基准，用于评估多模态GUI代理在Scratch中的程序构建能力，揭示了推理与执行之间的显著差距。

The CLEF-2026 FinMMEval Lab: Multilingual and Multimodal Evaluation of Financial AI Systems

CLEF-2026金融多语言多模态评估实验室：金融AI系统的多语言多模态评估框架

Zhuohan Xie, Rania Elbadry, Fan Zhang, Georgi Georgiev, Xueqing Peng, Lingfei Qian, Jimin Huang, Dimitar Dimitrov, Vanshikaa Jani, Yuyang Dai, Jiahui Geng, Yuxia Wang, Ivan Koychev, Veselin Stoyanov, Preslav Nakov

机构 * MBZUAI ； The University of Tokyo（东京大学） ； The Fin AI（Fin AI） ； University of Arizona（亚利桑那大学） ； INSAIT 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 CLEF-2026金融多语言多模态评估实验室提出首个多语言多模态金融AI评估框架，涵盖金融理解、推理和决策三个任务，旨在推动全球包容的金融AI发展。

Comments 7 pages

MRAG: Benchmarking Retrieval-Augmented Generation for Bio-medicine

MRAG：生物医学领域检索增强生成的基准测试

Liz Li, Wei Zhu

机构 * DataSelect AI ； University of Hong Kong（香港大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 MRAG基准测试通过构建医学领域语料库和工具包，评估RAG在生物医学任务中的有效性，揭示RAG在提升LLM可靠性及性能影响因素方面的贡献。

Understanding Language Prior of LVLMs by Contrasting Chain-of-Embedding

通过对比嵌入链理解LVLMs的语言先验

Lin Long, Changdae Oh, Seongheon Park, Sharon Li

机构 * University of Wisconsin–Madison（威斯康星大学麦迪逊分校） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 通过对比嵌入链分析，揭示LVLMs中视觉信息整合的关键层及影响响应生成的强度量化方法。

Comments ICLR 2026

Is Your LLM Really Mastering the Concept? A Multi-Agent Benchmark

你的大语言模型真的掌握了概念吗？一个多智能体基准

Shuhang Xu, Weijian Deng, Yixuan Zhou, Fangwei Zhong

机构 * Beijing Normal University（北京师范大学） ； Australian National University（澳大利亚国立大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出CK-Arena，通过多智能体社交推理游戏评估大语言模型的概念理解能力，揭示模型在概念掌握上的差异性。

Comments 8 pages

LOGOS-CA: A Cellular Automaton Using Natural Language as State and Rule

LOGOS-CA: 一种使用自然语言作为状态和规则的细胞自动机

Keishu Utimula

机构 * Keishu Utimula（独立研究者） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 LOGOS-CA利用自然语言作为细胞自动机的状态和规则，通过LLM实现更新，拓展了细胞自动机的模拟能力，用于森林火灾模拟和人工生命研究。

ISD-Agent-Bench: A Comprehensive Benchmark for Evaluating LLM-based Instructional Design Agents

ISD-Agent-Bench: 一个用于评估基于大语言模型的教学系统设计代理的全面基准

YoungHoon Jeon, Suwan Kim, Haein Son, Sookbun Lee, Yeil Jeong, Unggi Lee

机构 * Upstage ； Opentutorials ； Indiana University Bloomington（印第安纳大学布卢明顿分校） ； Korea University Sejong Campus（韩国大学世宗校区） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 ISD-Agent-Bench通过结合经典ISD理论与现代推理方法，为评估基于LLM的教学系统设计代理提供了全面的基准。

The Landscape of Prompt Injection Threats in LLM Agents: From Taxonomy to Analysis

大语言模型代理中提示注入威胁的图景：从分类到分析

Peiran Wang, Xinfeng Li, Chong Xiang, Jinghuai Zhang, Ying Li, Lixia Zhang, Xiaofeng Wang, Yuan Tian

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 本文综述了大语言模型代理中提示注入威胁的分类与分析，提出AgentPI基准以评估依赖上下文交互的代理行为，揭示现有防御的局限性并提出未来研究方向。

LiveMedBench: A Contamination-Free Medical Benchmark for LLMs with Automated Rubric Evaluation

LiveMedBench: 一个无污染的医疗基准测试，用于具有自动评分评估的LLM

Zhiling Yan, Dingjie Song, Zhe Fang, Yisheng Ji, Xiang Li, Quanzheng Li, Lichao Sun

机构 * Lehigh University（莱维大学） ； Harvard University（哈佛大学） ； Imperial College London（伦敦帝国学院） ； Massachusetts General Hospital（麻省总医院） ； Harvard Medical School（哈佛医学院） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 LiveMedBench通过持续更新和自动评分框架，提供无污染的医疗基准测试，验证LLM在临床推理中的性能，揭示数据污染和上下文适应性问题。

ContextBench: A Benchmark for Context Retrieval in Coding Agents

ContextBench: 一种用于编码代理代码上下文检索的基准测试

Han Li, Letian Zhu, Bohan Zhang, Rili Feng, Jiaming Wang, Yue Pan, Earl T. Barr, Federica Sarro, Zhaoyang Chu, He Ye

机构 * Nanjing University（南京大学） ； University College London（伦敦大学学院） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.LG

AI总结 ContextBench通过评估编码代理在问题解决过程中代码上下文的检索能力，揭示了代理在上下文利用上的不足，为改进LLM在软件任务中的推理提供了新的研究方向。

Comments 36 pages, 6 figures, 4 tables

MapVerse: A Benchmark for Geospatial Question Answering on Diverse Real-World Maps

MapVerse：一个用于在多样化真实世界地图上进行地理问答的基准测试

Sharat Bhat, Harshita Khandelwal, Tushar Kataria, Vivek Gupta

机构 * University of Southern California（南加州大学） ； University of California Los Angeles（加州大学洛杉矶分校） ； University of Utah（犹他大学） ； Arizona State University（亚利桑那州立大学） 纠错

专题命中 推理评测 ：reasoning(abstract)

AI总结 MapVerse是一个基于真实世界地图的大规模基准测试，用于评估地理问答任务中的多模态推理能力，揭示了当前VLMs在复杂空间推理任务上的不足。

Order from Chaos: Physical World Understanding from Glitchy Gameplay Videos

秩序从混沌：从 glitchy 游戏视频中理解物理世界

Meng Cao, Haoran Tang, Haoze Zhao, Mingfei Han, Ruyang Liu, Qiang Sun, Xiaojun Chang, Ian Reid, Xiaodan Liang

机构 * Mohamed bin Zayed University of Artificial Intelligence（莫扎德·本·扎耶德人工智能大学） ； Peking University（北京大学） ； University of Toronto（多伦多大学） ； Sun Yat-sen University（孙中山大学） 纠错

专题命中 推理评测 ：reasoning(abstract)

AI总结 本文提出 PhysGame 数据集和 GameBench 基准，通过利用游戏视频中的 glitch 异常，提升物理推理能力，实验显示在多个基准上取得显著提升。

Comments Accepted by TMLR