大模型推理能力

IntentMiner: Intent Inversion Attack via Tool Call Analysis in the Model Context Protocol

IntentMiner: 通过模型上下文协议中的工具调用分析进行意图倒置攻击

Yunhao Yao, Zhiqiang Wang, Haoran Cheng, Yihang Cheng, Haohua Du, Xiang-Yang Li

机构 * University of Science and Technology of China（中国科学技术大学） ； Beijing University of Aeronautics and Astronautics（北京航空航天大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 IntentMiner通过分析模型上下文协议中的工具调用，揭示了意图倒置攻击的机制，实现了超过85%的语义对齐，挑战了AI代理的隐私基础。

Comments 14 pages, 6 figures

Assessing Large Language Models for Medical QA: Zero-Shot and LLM-as-a-Judge Evaluation

评估大型语言模型用于医疗问答：零样本和LLM作为评判者评估

Shefayat E Shams Adib, Ahmed Alfey Sani, Ekramul Alam Esham, Ajwad Abrar, Tareque Mohmud Chowdhury

机构 * Department of Computer Science and Engineering, Islamic University of Technology, Gazipur, Bangladesh（计算机科学与工程系，伊斯兰技术大学，加兹ipur，孟加拉国） ； Department of Computer Science（计算机科学系） ； Engineering, Islamic University of Technology, Gazipur, Bangladesh（工程，伊斯兰技术大学，加兹ipur，孟加拉国） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 本文评估了多种大型语言模型在医疗问答任务中的性能，发现大模型表现更优，同时指出在实际部署中需权衡效率与避让问题。

Comments Accepted in 28th ICCIT, 2025

Traceable Latent Variable Discovery Based on Multi-Agent Collaboration

基于多智能体协作的可追溯潜在变量发现

Huaming Du, Tao Hu, Yijie Huang, Yu Zhao, Guisong Liu, Tao Gu, Gang Kou, Carl Yang

机构 * Southwestern University of Finance and Economics（西南财经大学） ； Hunan University of Technology and Business（湖南工业大学） ； Xiangjiang Laboratory（湘江实验室） ； Emory University（埃默里大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.LG

AI总结 TLVD通过结合LLMs的元数据推理与TCDA的数据驱动建模，实现潜在变量及其语义的可追溯推断。

GRRM: Group Relative Reward Modeling for Machine Translation

GRRM：用于机器翻译的组相对奖励建模

Sen Yang, Shanbo Cheng, Lu Xu, Jianbing Zhang, Shujian Huang

机构 * National Key Laboratory for Novel Software Technology, Nanjing University（新型软件技术国家实验室，南京大学） ； Singapore University of Technology and Design（新加坡科技设计大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 本文提出GRRM，通过组相对奖励模型提升机器翻译的排名准确性和推理能力。

Comments 19 pages, 6 figures

Beyond Words: Evaluating and Bridging Epistemic Divergence in User-Agent Interaction via Theory of Mind

超越词语：通过心灵理论评估和弥合用户代理交互中的认知分歧

Minyuan Ruan, Ziyue Wang, Kaiming Liu, Yunghwei Lai, Peng Li, Yang Liu

机构 * Dept. of Comp. Sci. \& Tech., Institute for AI, Tsinghua University, Beijing, China ； Institute for AI Industry Research (AIR), Tsinghua University, Beijing, China 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 本文提出通过心灵理论评估和弥合用户代理交互中的认知分歧，通过强化学习提升模型对用户心理状态的推理能力，从而增强下游任务性能。

AthenaBench: A Dynamic Benchmark for Evaluating LLMs in Cyber Threat Intelligence

AthenaBench: 一个用于评估LLM在网络安全威胁情报中动态基准

Md Tanvirul Alam, Dipkamal Bhusal, Salman Ahmad, Nidhi Rastogi, Peter Worth

机构 * Rochester Institute of Technology（罗切斯特技术学院） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 AthenaBench通过改进的数据集和评估指标，评估了LLM在网络安全威胁情报中的表现，揭示了当前LLM在推理任务上的不足。

Beyond Memorization: A Rigorous Evaluation Framework for Medical Knowledge Editing

超越记忆：面向医学知识编辑的严格评估框架

Shigeng Chen, Linhao Luo, Zhangchi Qiu, Yanan Cao, Carl Yang, Shirui Pan

机构 * School of Information and Communication Technology, Griffith University（格里菲斯大学信息与通信技术学院） ； Department of Data Science and AI, Monash University（莫纳什大学数据科学与人工智能系） ； Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所） ； Department of Computer Science, Emory University（埃默里大学计算机科学系） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 本文提出 MedEditBench 框架，评估医学知识编辑方法的有效性，发现现有方法仅能表面记忆信息，提出 SGR-Edit 方法提升泛化能力。

Comments Accepted to EACL 2026 Main Conference

Attention Head Entropy of LLMs Predicts Answer Correctness

LLMs注意力头熵预测答案正确性

Sophie Ostmeier, Brian Axelrod, Maya Varma, Asad Aali, Yabin Zhang, Magdalini Paschali, Sanmi Koyejo, Curtis Langlotz, Akshay Chaudhari

机构 * Stanford University（斯坦福大学） ； University Hospital Zurich（苏黎世大学医院） ； Microsoft AI（微软人工智能） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.LG

AI总结 LLMs注意力头熵预测答案正确性，通过注意力熵模式提升跨领域泛化能力，平均提升AUROC 8.5%。

Judging the Judges: Human Validation of Multi-LLM Evaluation for High-Quality K--12 Science Instructional Materials

评判评判者：人类验证多LLM评估用于高质量K-12科学教学材料

Peng He, Zhaohui Li, Zeyuan Wang, Jinjun Xiong, Tingting Li

机构 * Washington State University, Pullman, WA, USA（华盛顿州立大学） ； University at Buffalo, State University of New York, Buffalo, NY, USA（布法罗大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 本研究通过人类专家验证多LLM评估，揭示LLM在K-12科学教学材料设计中的推理优劣，为生成式AI代理的发展提供指导。

BotzoneBench: Scalable LLM Evaluation via Graded AI Anchors

BotzoneBench: 通过分级AI锚点实现可扩展的LLM评估

Lingfeng Li, Yunlong Lu, Yuefei Zhang, Jingyu Yao, Yixin Zhu, KeYuan Cheng, Yongyi Wang, Qirui Zheng, Xionghui Yang, Wenxin Li

机构 * School of Computer Science, Peking University（北京大学计算机科学学院） ； School of Software Engineering, South China University of Technology（华南理工大学软件学院） ； Department of Computer Science, Yale University（耶鲁大学计算机科学系） ； School of Psychological and Cognitive Sciences, Peking University（北京大学心理学与认知科学学院） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 BotzoneBench通过分级AI锚点实现LLM战略能力的可扩展评估，评估八个多样化游戏中的177,047个状态-动作对，揭示性能差异并识别战略行为。

TraceBack: Multi-Agent Decomposition for Fine-Grained Table Attribution

TraceBack: 多智能体分解用于细粒度表格归因

Tejas Anvekar, Junha Park, Rajat Jha, Devanshu Gupta, Poojah Ganesan, Puneeth Mathur, Vivek Gupta

机构 * Arizona State University（亚利桑那州立大学） ； Adobe Research（Adobe研究院） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 TraceBack通过多智能体框架实现细粒度表格归因，提供可验证的单元格支持证据，提升问题回答的透明度和可解释性。

EPRBench: A High-Quality Benchmark Dataset for Event Stream Based Visual Place Recognition

EPRBench: 一种高质量的基于事件流的视觉位置识别基准数据集

Xiao Wang, Xingxing Xiong, Jinfeng Gao, Xufeng Lou, Bo Jiang, Si-bao Chen, Yaowei Wang, Yonghong Tian

机构 * School of Computer Science and Technology, Anhui University（安徽大学计算机科学与技术学院） ； Harbin Institute of Technology（哈尔滨工业大学） ； Peng Cheng Laboratory（鹏城实验室） ； School of Computer Science, Peking University（北京大学计算机科学学院） ； Shenzhen Graduate School, Peking University（北京大学深圳研究生院） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 EPRBench提出了一种高质量的基于事件流的视觉位置识别基准数据集，结合LLM生成场景描述与多模态融合方法，提升位置识别的准确性和模型透明度。

Blind Gods and Broken Screens: Architecting a Secure, Intent-Centric Mobile Agent Operating System

无目神祇与破碎屏幕：构建一个安全的、以意图为中心的移动代理操作系统

Zhenhua Zou, Sheng Guo, Qiuyang Zhan, Lepeng Zhao, Shuo Li, Qi Li, Ke Xu, Mingwei Xu, Zhuotao Liu

机构 * Tsinghua University（清华大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 本文提出Aura架构，通过结构化交互模型和四项防御支柱，提升移动代理系统的安全性与效率。

Comments 35 pages, 15 figures

Exploring Safety Alignment Evaluation of LLMs in Chinese Mental Health Dialogues via LLM-as-Judge

通过LLM-as-Judge探索LLM在中文心理健康对话中的安全对齐评估

Yunna Cai, Fan Wang, Haowei Wang, Kun Wang, Kailai Yang, Sophia Ananiadou, Moyan Li, Mingming Fan

机构 * HKUST(GZ)（香港科技大学（广州）） ； Wuhan Univ.（武汉大学） ； Univ. of Iowa（爱荷华大学） ； Univ. of Manchester（曼彻斯特大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 本文提出PsyCrisis-Bench，通过LLM-as-Judge方法评估LLM在中文心理健康对话中的安全对齐性，提供高质量数据集和可解释的评估工具。

LawThinker: A Deep Research Legal Agent in Dynamic Environments

LawThinker: 动态环境中的一种深度法律研究代理

Xinyu Yang, Chenlong Deng, Tongyu Wen, Binyu Xie, Zhicheng Dou

机构 * Renmin University of China（中国人民大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 LawThinker是一种用于动态司法环境的自主法律研究代理，通过探索-验证-记忆策略提升法律推理的准确性和程序合规性。

Benchmark Illusion: Disagreement among LLMs and Its Scientific Consequences

基准幻觉：大语言模型之间的分歧及其科学后果

Eddie Yang, Dashun Wang

机构 * Department of Political Science, Purdue University（政治学系，普渡大学） ； Kellogg School of Management, Center for Science of Science and Innovation, Northwestern Innovation Institute, Ryan Institute on Complexity, and McCormick School of Engineering（凯洛格管理学院、科学与创新中心、西北创新研究所、复杂性研究院以及麦科马克工程学院） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 研究揭示大语言模型在基准测试中存在显著分歧，影响科学可重复性，指出模型选择对研究结果有重要影响。

When Visibility Outpaces Verification: Delayed Verification and Narrative Lock-in in Agentic AI Discourse

当可见性超越验证：代理AI discourse中的延迟验证与叙述锁定

Hanjing Shi, Dominic DiFranzo

机构 * Lehigh University（莱文大学） 纠错

专题命中 推理评测 ：planning(abstract)；分类 cs.AI

AI总结 本文研究了代理AI讨论中可见性与验证时间的关系，揭示了高可见度讨论因延迟验证导致的叙述锁定现象，并提出知识摩擦作为平衡平台的干预措施。

MAU-GPT: Enhancing Multi-type Industrial Anomaly Understanding via Anomaly-aware and Generalist Experts Adaptation

MAU-GPT：通过异常感知和通用专家适应增强多类型工业异常理解

Zhuonan Wang, Zhenxuan Fan, Siwen Tan, Yu Zhong, Yuqian Yuan, Haoyuan Li, Hao Jiang, Wenqiao Zhang, Feifei Shao, Hongwei Wang, Jun Xiao

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 MAU-GPT通过异常感知和通用专家适应机制，提升多类型工业异常理解的性能，实现更高效的质量控制。

Comments 9 pages, 5 figures

Evaluating Metalinguistic Knowledge in Large Language Models across the World's Languages

在世界各语言中评估大型语言模型的元语言知识

Tjaša Arčon, Matej Klemen, Marko Robnik-Šikonja, Kaja Dobrovoljc

机构 * University of Ljubljana, Faculty of Computer and Information Science（卢布尔雅那大学计算机与信息科学学院） ； University of Ljubljana, Faculty of Arts（卢布尔雅那大学艺术学院） ； Jožef Stefan Institute（乔塞夫·斯塔芬研究所） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 本研究通过跨语言评估揭示LLM在元语言知识上的局限性，发现其表现受数据可用性和语言资源影响，而非广泛语法能力。

Remote Sensing Retrieval-Augmented Generation: Bridging Remote Sensing Imagery and Comprehensive Knowledge with a Multi-Modal Dataset and Retrieval-Augmented Generation Model

遥感检索增强生成：通过多模态数据集和检索增强生成模型连接遥感图像与综合知识

Congcong Wen, Yiting Lin, Xiaokang Qu, Nan Li, Yong Liao, Xiang Li, Hui Lin

机构 * School of Cyber Science and Technology, University of Science and Technology of China（信息科学技术学院，中国科学技术大学） ； China Academy of Electronics and Information Technology（电子信息技术研究院） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 本文提出RS-RAG框架，通过多模态数据集和检索增强生成模型，提升遥感图像与综合知识的连接能力，有效提升复杂查询的语义推理性能。

Comments Accepted by IEEE Geoscience and Remote Sensing Magazine (GRSM)

LOGOS-CA: A Cellular Automaton Using Natural Language as State and Rule

LOGOS-CA: 一种使用自然语言作为状态和规则的细胞自动机

Keishu Utimula

机构 * Keishu Utimula（独立研究者） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 LOGOS-CA利用自然语言作为细胞自动机的状态和规则，通过LLM实现更新，拓展了细胞自动机的模拟能力，用于森林火灾模拟和人工生命研究。

ISD-Agent-Bench: A Comprehensive Benchmark for Evaluating LLM-based Instructional Design Agents

ISD-Agent-Bench: 一个用于评估基于大语言模型的教学系统设计代理的全面基准

YoungHoon Jeon, Suwan Kim, Haein Son, Sookbun Lee, Yeil Jeong, Unggi Lee

机构 * Upstage ； Opentutorials ； Indiana University Bloomington（印第安纳大学布卢明顿分校） ； Korea University Sejong Campus（韩国大学世宗校区） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 ISD-Agent-Bench通过结合经典ISD理论与现代推理方法，为评估基于LLM的教学系统设计代理提供了全面的基准。

The Landscape of Prompt Injection Threats in LLM Agents: From Taxonomy to Analysis

大语言模型代理中提示注入威胁的图景：从分类到分析

Peiran Wang, Xinfeng Li, Chong Xiang, Jinghuai Zhang, Ying Li, Lixia Zhang, Xiaofeng Wang, Yuan Tian

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 本文综述了大语言模型代理中提示注入威胁的分类与分析，提出AgentPI基准以评估依赖上下文交互的代理行为，揭示现有防御的局限性并提出未来研究方向。

LiveMedBench: A Contamination-Free Medical Benchmark for LLMs with Automated Rubric Evaluation

LiveMedBench: 一个无污染的医疗基准测试，用于具有自动评分评估的LLM

Zhiling Yan, Dingjie Song, Zhe Fang, Yisheng Ji, Xiang Li, Quanzheng Li, Lichao Sun

机构 * Lehigh University（莱维大学） ； Harvard University（哈佛大学） ； Imperial College London（伦敦帝国学院） ； Massachusetts General Hospital（麻省总医院） ； Harvard Medical School（哈佛医学院） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 LiveMedBench通过持续更新和自动评分框架，提供无污染的医疗基准测试，验证LLM在临床推理中的性能，揭示数据污染和上下文适应性问题。

ContextBench: A Benchmark for Context Retrieval in Coding Agents

ContextBench: 一种用于编码代理代码上下文检索的基准测试

Han Li, Letian Zhu, Bohan Zhang, Rili Feng, Jiaming Wang, Yue Pan, Earl T. Barr, Federica Sarro, Zhaoyang Chu, He Ye

机构 * Nanjing University（南京大学） ； University College London（伦敦大学学院） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.LG

AI总结 ContextBench通过评估编码代理在问题解决过程中代码上下文的检索能力，揭示了代理在上下文利用上的不足，为改进LLM在软件任务中的推理提供了新的研究方向。

Comments 36 pages, 6 figures, 4 tables

MEVER: Multi-Modal and Explainable Claim Verification with Graph-based Evidence Retrieval

MEVER：基于图的证据检索的多模态和可解释性声明验证

Delvin Ce Zhang, Suhan Cui, Zhelin Chu, Xianren Zhang, Dongwon Lee

机构 * University of Sheffield（谢菲尔德大学） ； University of Science and Technology Beijing（北京科技大学） ； University of California San Diego（加州大学圣地亚哥分校） ； The Pennsylvania State University（宾夕法尼亚州立大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 MEVER通过多模态图检索和解释生成，实现了准确且可解释的声明验证，同时创建了AI领域的科学数据集AIChartClaim。

Comments Accepted to EACL-26

SCORE: Specificity, Context Utilization, Robustness, and Relevance for Reference-Free LLM Evaluation

SCORE：特定性、上下文利用、鲁棒性与相关性用于无参考LLM评估

Homaira Huda Shomee, Rochana Chaturvedi, Yangxinyu Xie, Tanwi Mallick

机构 * University of Illinois Chicago（伊利诺伊大学芝加哥分校） ； Argonne National Laboratory（阿贡国家实验室） ； University of Pennsylvania（宾夕法尼亚大学） 纠错

专题命中 推理评测 ：planning(abstract)；分类 cs.CL

AI总结 本文提出了一种无参考评估框架，用于评估LLM在高风险领域任务中的特定性、鲁棒性、相关性和上下文利用，通过精心编纂的数据集和人工评估验证了多指标评估的必要性。

TraceMem: Weaving Narrative Memory Schemata from User Conversational Traces

TraceMem: 从用户对话轨迹编织叙事记忆图式

Yiming Shu, Pei Liu, Tiange Zhang, Ruiyang Gao, Jun Ma, Chen Sun

机构 * The University of Hong Kong（香港大学） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）） ； Nankai University（南开大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 TraceMem通过三阶段流程从用户对话轨迹中编织叙事记忆图式，提升多跳和时间推理能力。

FM SO.P: A Progressive Task Mixture Framework with Automatic Evaluation for Cross-Domain SOP Understanding

FM SO.P: 一种具有自动评估的渐进式任务混合框架用于跨域SOP理解

Siyuan Huang, Ziyu Wang, Chao Pan, Han Zhao

机构 * Amazon（亚马逊） ； Johns Hopkins University（约翰霍普金斯大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 FM SO.P提出了一种渐进式任务混合框架和自动评估系统，以提升跨领域SOP理解的准确性和泛化能力。

Puda: Private User Dataset Agent for User-Sovereign and Privacy-Preserving Personalized AI

Puda：用户主权与隐私保护的个性化AI用户数据代理

Akinori Maeda, Yuto Sekiya, Sota Sugimura, Tomoya Asai, Yu Tsuda, Kohei Ikeda, Hiroshi Fujii, Kohei Watanabe

机构 * Research Institute of Advanced Technology, SoftBank Corp.（软银公司先进科技研究所） ； Turnt Up Technologies, Inc.（Turnt Up技术公司） ； TechArts Co., Ltd.（TechArts公司） ； Acutus Software, Inc.（Acutus软件公司） 纠错

专题命中 推理评测 ：planning(abstract)；分类 cs.AI

AI总结 Puda通过用户主权架构实现多粒度数据管理，平衡隐私保护与个性化AI的使用需求。

Comments 9 pages, 5 figures