大模型推理能力

AgentDrive: An Open Benchmark Dataset for Agentic AI Reasoning with LLM-Generated Scenarios in Autonomous Systems

AgentDrive: 一个用于自主系统中基于LLM生成场景的代理AI推理开放基准数据集

Mohamed Amine Ferrag, Abderrahmane Lakas, Merouane Debbah

机构 * Department of Computer and Network Engineering, College of Information Technology, United Arab Emirates University（计算机与网络工程系，信息科技学院，阿联酋大学） ； Khalifa University of Science and Technology（科技大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；planning(abstract)；分类 cs.AI

AI总结 AgentDrive是一个用于自主系统中基于LLM生成场景的代理AI推理开放基准数据集，包含300,000个驾驶场景和100,000个问题的多项选择基准，用于评估和训练自主代理。

Comments 16 pages

VMMU: A Vietnamese Multitask Multimodal Understanding and Reasoning Benchmark

VMMU：一个多任务多模态理解和推理基准

Vy Tuong Dang, An Vo, Emilio Villa-Cueva, Quang Tau, Duc Dm, Thamar Solorio, Daeyoung Kim

机构 * KAIST（韩国科学技术院） ； MBZUAI（慕布扎伊大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL、cs.LG

AI总结 VMMU是一个评估视觉语言模型在非英语环境下多模态理解和推理能力的基准，通过2500个多模态问题测试模型对视觉和文本信息的整合与推理能力。

AgentsEval: Clinically Faithful Evaluation of Medical Imaging Reports via Multi-Agent Reasoning

AgentsEval: 通过多智能体推理实现医学影像报告的临床可信评估

Suzhong Fu, Jingqi Dong, Xuan Ding, Rui Sun, Yiming Yang, Shuguang Cui, Zhen Li

机构 * FNii-Shenzhen, The Chinese University of Hong Kong (Shenzhen) School of Science and Engineering（深圳FNii、香港中文大学（深圳）科学与工程学院） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI

AI总结 AgentsEval通过多智能体推理框架，实现医学影像报告的临床可信评估，提供结构化反馈和稳健的评估结果。

Mixing Expert Knowledge: Bring Human Thoughts Back To the Game of Go

融合专家知识：将人类思维带回围棋游戏

Yichuan Ma, Linyang Li, Yongkang Chen, Peiji Li, Jiasheng Ye, Qipeng Guo, Dahua Lin, Kai Chen

机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Fudan University（复旦大学） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；chain-of-thought(abstract)；CoT(abstract)；分类 cs.CL

AI总结 LoGos通过融合围棋专家知识与通用推理能力，实现了在围棋领域的专业水平表现，展示了自然语言推理和战略决策能力。

Comments Accepted to NeurIPS 2025

DeepEra: A Deep Evidence Reranking Agent for Scientific Retrieval-Augmented Generated Question Answering

DeepEra: 一种用于科学检索增强生成问答的深度证据重排代理

Haotian Chen, Qingqing Long, Siyu Pu, Xiao Luo, Wei Ju, Meng Xiao, Yuanchun Zhou, Jianghua Zhao, Xuezhi Wang

机构 * Computer Network Information Center, Chinese Academy of Sciences（中国科学院计算机网络信息中心） ； University of Wisconsin–Madison（威斯康星大学麦迪逊分校） ； Peking University（北京大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 DeepEra通过集成逐步推理提升科学检索增强生成问答的检索精度，首次系统研究并验证了双阶段RAG框架中语义相似但逻辑无关的问题。

How Does Personalized Memory Shape LLM Behavior? Benchmarking Rational Preference Utilization in Personalized Assistants

个性化记忆如何塑造大语言模型行为？个性化助手中的理性偏好利用基准测试

Xueyang Feng, Weinan Gan, Xu Chen, Quanyu Dai, Yong Liu

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 本研究提出RPEval基准，通过分析个性化记忆对LLM行为的影响，引入RP-Reasoner方法，有效缓解非理性个性化问题。

Persona Jailbreaking in Large Language Models

大型语言模型中的身份劫持

Jivnesh Sandhan, Fei Cheng, Tushar Sandhan, Yugo Murawaki

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 PHISH通过隐含引导历史的身份劫持框架，揭示LLM身份操控的新漏洞，实现对身份的可控操控。

Comments Accepted at EACL26 (Findings)

EmbedAgent: Benchmarking Large Language Models in Embedded System Development

EmbedAgent: 在嵌入式系统开发中评估大型语言模型

Ruiyang Xu, Jialun Cao, Mingyuan Wu, Wenliang Zhong, Yaojie Lu, Ben He, Xianpei Han, Shing-Chi Cheung, Le Sun

机构 * University of Chinese Academy of Sciences（中国科学院大学） ； The Hong Kong University of Science and Technology（香港科学与技术大学） ； Peng Cheng Laboratory（鹏城实验室） ； Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 本文提出EmbedAgent和Embedbench，用于评估LLMs在嵌入式系统开发中的能力，发现通用LLMs在特定任务中表现不佳，提出检索增强生成和编译器反馈策略以提升性能。

Comments 12 pages, accepted by International Conference on Software Engineering (ICSE)

A Survey on Human-Centered Evaluation of Explainable AI Methods in Clinical Decision Support Systems

可解释人工智能在临床决策支持系统中的人本评估综述

Alessandro Gambetti, Qiwei Han, Hong Shen, Claudia Soares

机构 * Nova School of Science and Technology, Universidade NOVA de Lisboa（诺瓦科学与技术学院，诺瓦里斯本大学） ； Nova School of Business and Economics, Universidade NOVA de Lisboa（诺瓦商学院与经济学院，诺瓦里斯本大学） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.LG

AI总结 本文综述了XAI在临床决策支持系统中的人本评估，指出多数研究采用事后方法，提出以利益相关者为中心的评估框架以提升XAI的临床可信度。

Comments 19 pages, 2 tables, 4 figures

In Quest of an Extensible Multi-Level Harm Taxonomy for Adversarial AI: Heart of Security, Ethical Risk Scoring and Resilience Analytics

寻求可扩展的多级危害分类法以应对对抗性AI：安全的核心、道德风险评分与韧性分析

Javed I. Khan, Sharmila Rahman Prithula

专题命中 推理评测 ：reasoning(abstract)

AI总结 本文提出了一种可扩展的多级危害分类法，结合伦理理论，系统化地定义危害类型，以提升对抗性AI的安全性和伦理分析能力。

Comments Manuscript accepted for presentation at the 12th International Conference on Computational Science and Computational Intelligence (CSCI 2025), Las Vegas, NV, USA, December 2025. Proceedings to be published by Springer Nature (2026)

Supporting Stakeholder Requirements Expression with LLM Revisions: An Empirical Evaluation

通过LLM修订支持利益相关者需求表达：一项实证评估

Michael Mircea, Emre Gevrek, Elisa Schmid, Kurt Schneider

专题命中 推理评测 ：reasoning(abstract)

AI总结 本文通过实证研究展示LLM在辅助利益相关者表达需求方面的有效性，证明其能提升需求表达的完整性、清晰度和一致性。

Comments This paper has been accepted at the research track of the 32nd International Working Conference on Requirements Engineering: Foundation for Software Quality (REFSQ 2026)

MusiCRS: Benchmarking Audio-Centric Conversational Recommendation

MusiCRS：面向音频导向的对话推荐基准测试

Rohan Surana, Amit Namburi, Gagan Mundada, Abhay Lal, Zachary Novack, Julian McAuley, Junda Wu

机构 * University of California, San Diego, USA（加州大学圣地亚哥分校） 纠错

专题命中 推理评测 ：reasoning(abstract)

AI总结 MusiCRS通过链接Reddit用户对话与音乐曲目，为音频导向的对话推荐提供首个基准测试，揭示了跨模态整合的局限性，并释放了相关数据集和代码以促进研究进展。

Comments 5 pages