大模型推理能力

Assessment Design in the GenAI Era: The X1-X2-X3 Assessment Pattern for Testing Students' AI Literacy, Learning Outcomes, and Reflection

生成式人工智能（GenAI）时代的评估设计：用于测试学生AI素养、学习成果与反思的X1-X2-X3评估模式

Riasat Islam, Thomas Roelleke

专题命中 复杂问题求解 ：planning(abstract)；分类 cs.AI

AI总结 本文针对GenAI对在线评估的挑战，提出可复用的X1-X2-X3评估模式，用于测试学生AI素养等，为教师适配GenAI时代评估提供实践指导。

Comments 30 pages, 1 figure, 11 tables. Submitted to the following journal: Assessment & Evaluation in Higher Education (Taylor & Francis)

SDAM: Structure-Difference-Aware Memory Evolution for Complex Text-to-SQL

SDAM：面向复杂文本转SQL的结构差异感知记忆演化

Keyan Xu, Dingzirui Wang, Xuanliang Zhang, Qingfu Zhu, Wanxiang Che

机构 * Harbin Institute of Technology（哈尔滨工业大学） 纠错

专题命中 复杂问题求解 ：reasoning(abstract)；分类 cs.CL

AI总结 针对现有文本转SQL记忆设计的缺陷，提出SDAM方法，集成至SDAM-SQL框架，在BIRD-dev和Spider-test数据集上实现指标提升，验证了方法有效性。

Comments 19 pages, 5 figures, 12tables

On Measuring Semantic Preservation in Legal Ontology Learning

论法律本体学习中的语义保留度量

Albert Sadowski, Jarosław A. Chudziak

机构 * Warsaw University of Technology（华沙理工大学） 纠错

专题命中 复杂问题求解 ：reasoning(abstract)；分类 cs.CL

AI总结 本文针对法律本体学习的语义保留评估问题，提出通过对比LLM在源文档与转换后表示上的任务性能量化语义损失，经多模型多方法实验发现语义损失随模型-方法配对显著变化，为法律知识系统配置选择提供指导。

Comments Accepted for publication at the 30th International Conference on Knowledge-Based and Intelligent Information & Engineering Systems (KES 2026)

Training and Benchmarking Code Generation for Physics-Inspired Animations

SimuScene: 通过训练和基准测试代码生成来模拟物理场景

Yanan Wang, Renxi Wang, Yongxin Wang, Xuezhi Liang, Fajri Koto, Timothy Baldwin, Xiaodan Liang, Haonan Li

专题命中 复杂问题求解 ：reasoning(abstract)；分类 cs.LG

AI总结 SimuScene通过训练和基准测试代码生成模型，旨在提高模拟物理场景的能力，实验显示即使最强模型也仅达21.5%的通过率，表明该任务具有挑战性。

Exploratory Semantic Reliability Analysis of Wind Turbine Maintenance Logs using Large Language Models

Max Malyi, Jonathan Shek, Andre Biscaya

机构 * Institute for Energy Systems, School of Engineering, The University of Edinburgh（能源系统研究所，工程学院，爱丁堡大学） ； Nadara, Lisbon, Portugal（纳达拉，里斯本，葡萄牙） 纠错

专题命中 复杂问题求解 ：reasoning(abstract)；分类 cs.CL

Structure then Query: Enabling Precise Analytical Queries over Unstructured Documents

先结构后查询：支持对非结构化文档进行精确分析查询

Teng Lin, Yuyu Luo, Nan Tang

专题命中 复杂问题求解 ：reasoning(abstract)

AI总结 AnnoIndex通过注释索引与结构化查询引擎，解决非结构化文档精确分析查询难题，在三个数据集上平均F1达0.87，优于现有基线方法。

Refine After Generation: Toward Correct and Concise Patches in LLM-based Program Repair

生成后优化：面向基于大语言模型的程序修复中正确且简洁的补丁

Wenqiang Luo, Jacky Keung, Xiaoyu Shi, Yicheng Sun, Boyang Yang, Zhou Yang, Haoye Tian

专题命中 复杂问题求解 ：reasoning(abstract)

AI总结 针对基于LLM的程序修复中补丁冗余问题，提出RECAP适配器，在保留或提升解决率的同时，大幅降低补丁大小，实现更优的大小-正确性权衡。

Probing AI-generated physics solutions and preparing students to critique them

探究人工智能生成的物理解答并培养学生对其进行评判的能力

Nikhil Sanjay Borse, Amir Bralin, Sean Savage, N. Sanjay Rebello

专题命中 复杂问题求解 ：reasoning(abstract)

AI总结 本研究通过调整框架评估OpenAI的o4-mini生成的物理解答，发现明确提示可提升解答完整性，MAPS指导能让学生更精准评判AI解答，为物理教育研究提供了新视角。

Comments 6 pages, 1 figure, Physics Education Research Conference 2026

Reasoning for Social Audio-Visual Question Answering: Where Do We Stand?

社会视听问答的推理：我们处于什么阶段？

Koen P. de Vries, Xavier Alameda-Pineda, Estefanía Talavera, Stéphane Lathuilière

机构 * Inria（法国国家信息与自动化研究所） ； Univ. Grenoble Alpes（格勒诺布尔大学） ； CNRS（法国国家科学研究中心） ； University of Twente（特文特大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；chain-of-thought(abstract,abstract_cn)；CoT(abstract,abstract_cn)

AI总结 本文针对社会视听问答研究，发现IntentBench存在高噪声，Vanilla SFT基线性能优于现有推理方法，仅用文本模态即可实现与视频相当的性能，并发布了IntentBench-Prime等资源。

Comments Accepted at HCMIW ECCV workshop. Code available here: https://github.com/koenv759/VanillaSFT

CRAFT: LLM-Based Iterative Refinement for Temporal Reasoning over Clinical Narratives

CRAFT：基于大语言模型的迭代优化用于临床叙事的时间推理

Chengyang He, Tahreem Arif, Marko Zivkovic, Lijing Wang, Yue Ning, Ping Wang

机构 * Stevens Institute of Technology（史蒂文斯理工学院） ； Genesis Research Group（创世纪研究集团） ； New Jersey Institute of Technology（新泽西理工学院） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；verifier(abstract)；分类 cs.CL、cs.AI

AI总结 针对临床叙事中时间锚点稀疏导致的症状轨迹重建难题，提出基于大语言模型的CRAFT框架，通过生成器与约束验证器迭代优化，在MedTempo基准上提升了时间排序准确率。

Unified Multi-Dimensional Benchmark for Complex Graph Reasoning in Large Language Models

面向大语言模型复杂图推理的统一多维度基准

Fali Wang, Ali Al-Lawati, Iliyas Bektas, Jinxuan Fang, Alek Melenski, Tianxiang Zhao, Yao Ma, Suhang Wang

机构 * The Pennsylvania State University（宾夕法尼亚州立大学） ； Rensselaer Polytechnic Institute（伦斯勒理工学院） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 针对现有图推理基准的局限，提出半自动框架构建含202个任务的统一多维度基准，评估LLM在不同推理模式下的表现，揭示模型局限并提供实证指导。

Comments Under review

MARC v1: An Open-Source Multi-Agent Framework for Clinical AI Reasoning and Coordination

MARC v1：一个用于临床AI推理与协作的开源多智能体框架

Saisha Shetty, Satvik Tripathi, Austin Lin, Colin Zhao, Theodore Kim, Don Enwerem, Jacinta Arnold, Shahriar Faghani, Tessa S Cook

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL、cs.AI

AI总结 该研究提出开源多智能体框架MARC v1，以确定性多智能体编排替代整体式LLM提示用于临床推理，含角色专业化智能体与分解器模块，支持多部署方式，具备模型无关、可解释等特性。

Comments 13 pages, 4 figures

CityRiSE: Reasoning Urban Socio-Economic Status in Large Vision-Language Models via Reinforcement Learning

CityRiSE：基于强化学习的大视觉语言模型城市社会经济地位推理框架

Tianhui Liu, Hetian Pang, Xin Zhang, Jie Feng, Pan Hui, Yong Li

机构 * Information Hub, The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）信息中心） ； Department of Electronic Engineering, BNRist, Tsinghua University（清华大学电子工程系） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.CL、cs.AI

AI总结 本研究提出CityRiSE框架，结合强化学习与大视觉语言模型，提升城市社会经济感知的预测准确性与泛化能力，尤其在未见城市和指标上表现优异。

Comments Accepted by ACM MM 2026, https://github.com/tsinghua-fib-lab/CityRiSE

How Good are Foundation Models in Longitudinal MRI Disease Progression Reasoning?

基础模型在纵向MRI疾病进展推理中的表现如何？

Wafa Al Ghallabi, Ritesh Thawkar, Sara Ghaboura, Omkar Thawakar, Numan Saeed, Dana Al Nuaimi, Ajnas Alkatheeri, Salman Khan, Fahad Shahbaz Khan

机构 * Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） ； Department of Health Abu Dhabi（阿布扎比卫生部） ； Fatima College of Health Sciences（法蒂玛健康科学学院） ； Linköping University（林雪平大学） 纠错

专题命中 推理评测 ：reasoning(title,abstract)

AI总结 该研究推出Time-Aware Multi-View MRI基准，评估16个视觉-语言模型在纵向MRI疾病进展推理中的表现，发现模型在变化方向识别等方面存在缺陷，多视角输入对模型性能有特定影响。

Comments Accepted at MICCAI 2026 (Early Accept). 11 pages, 3 figures, 2 tables

Beyond Local Accuracy: A Protocol-Level Identifiability Audit for Controlled LLM Reasoning Evaluation

超越局部准确率：面向受控大语言模型推理评估的协议级可识别性审计

Junhao Luo, Ning Huang, Ziqi Sha, Wenxuan Tang, Wei Deng

机构 * School of Statistics and Data Science, Southwestern University of Finance and Economics（西南财经大学统计与数据科学学院） 纠错

专题命中 推理评测 ：reasoning(title)；分类 cs.CL

AI总结 该研究提出协议级可识别性审计方法，无需调用模型即可验证LLM评估协议的有效性，发现基础准确率与选择性响应保真度存在显著差异，还确定了冻结策略类的最小识别支持。

Comments 15 pages, 9 figures. Ning Huang, Ziqi Sha, and Wenxuan Tang contributed equally as second authors. Wei Deng is the corresponding author

Enhancing Virtual Agents through SLMs and Edge-Computing: An Exploratory Evaluation of Think and Memory Processes

通过小型语言模型（SLMs）与边缘计算增强虚拟智能体：对思考与记忆过程的探索性评估

Aimilios Hadjiliasi, Louis Nisiotis

机构 * University of Central Lancashire（中央兰开夏大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；planning(abstract)；分类 cs.AI

AI总结 本文探索利用SLMs与边缘计算支持CEAA的“思考”“记忆”组件，在NVIDIA Jetson Orin NX上用Qwen2.5模型开发边缘虚拟智能体网关，经模拟实验验证其可高效运行部分CEAA过程，助力沉浸式虚拟世界具身智能体开发。

MLLM-Routed Heterogeneous Ensembles for Robust Cross-Dataset Image Classification

用于鲁棒跨数据集图像分类的MLLM路由异质集成模型

Daniel Perkins, John Squires, Janou Milligan, Chandra Raskoti, Linda Ungerboeck

机构 * The Bredesen Center for Interdisciplinary Research and Graduate Education（布雷德森跨学科研究与研究生教育中心） ； University of Tennessee Knoxville（田纳西大学诺克斯维尔分校） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 该研究针对跨数据集图像分类泛化难题，提出ARMDIL模型，通过MLLM智能体动态路由图像到适配的视觉骨干，兼具竞争力、高适应性与可解释性，为通用视觉系统奠定基础。

Comments 8 pages, 4 figures, 7 tables

How Do VLMs Behave When Blind or Misled? Behavioral Evaluation of VLMs on Scientific Figures

视觉语言模型（VLMs）在失明或被误导时的表现如何？针对科学图表的VLMs行为评估

Paul Osemudiame Oamen, Owusu-Banahene Osei, Ananya Mukherjee, Christian Greisinger, Steffen Eger, Pius Onobhayedo, Wei Zhao

机构 * University of Aberdeen（阿伯丁大学） ； International Institute of Information Technology Hyderabad（海德拉巴国际信息技术学院） ； University of Technology Nuremberg（纽伦堡工业大学） ； University of Southern California（南加利福尼亚大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本研究构建科学图表理解基准SciFigBench，提出A-R-I框架评估VLMs在视觉证据缺失或误导时的行为可靠性，发现高感知与推理准确性不代表行为可靠，不同模型表现存在显著差异。

Comments 25 pages including appendix. Project website: https://scifigbench.nlp4sci.com

SteerBench-Work: A Benchmark for Agent Steering at Action Boundaries

SteerBench-Work：动作边界处智能体决策的基准测试

Oguz Serdar, Cuneyt Mertayak

机构 * AgentDock 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本研究推出职场智能体动作边界决策基准SteerBench-Work，发现模型在该任务中存在过度拒绝的显著偏差，且通用能力与引导校准并不等同。

Doctorina MedBench: A Dialogue-Based Benchmark and Evaluation Framework for Agent-Based Medical AI

Doctorina MedBench：基于真实医患交互的医疗AI端到端评估框架

Anna Kozlova, Stanislau Salavei, Pavel Satalkin, Hanna Plotnitskaya, Sergey Parfenyuk, Andy Nkansah

机构 * A.I. Doctor Medical Assist LTD（A.I. Doctor Medical Assist有限公司） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 Doctorina MedBench通过模拟真实医患对话评估医疗AI系统，包含诊断、观察、治疗和步骤计数四项指标，用于评估临床正确性和对话效率，同时支持多层级测试和质量监控。

OmniScientist: An Omni-Modal Omni-Discipline AI Scientist

OmniScientist：一种全模态全学科的AI科学家

Bobo Li, Hao Fei, Tianjie Ju, Mong-Li Lee, Wynne Hsu

机构 * National University of Singapore（新加坡国立大学） ； University of Oxford（牛津大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 本研究提出全模态AI科学家OmniScientist，通过端到端全模态流水线处理多学科异构原始证据，在36个真实案例中完成从原始数据到手稿的全流程，性能优于仅用预计算特征的系统，为通用AI科学家提供可行方案。

Comments 30 pages, 13 figures, 19 tables. Project page: https://omni-scientist.github.io/

Diagnostic Foundation for Evaluating LLMs' Research Integrity as Co-Scientists

评估大型语言模型作为合作科学家的研究完整性的诊断基础

Yash Tripathi, Silu Sharma, Sai Sidhanth Manoharan Jayanthi, Shivank Garg, Lin Li

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 本研究推出IntegrityBench基准评估LLM作为合作科学家的研究完整性，发现前沿模型在峰值压力下约三分之一的完整性关键决策失败，存在助长不当行为和侵蚀AI辅助研究信任的风险。

Are Large Language Models Reliable Reviewers? A Benchmark for Error Detection in Financial Documents

大语言模型是可靠的评审者吗？面向金融文档错误检测的基准测试

Ying He, Zhouhong Gu, Zhecheng Hu, Yubo Zhou, Hao Shen, Jiaqing Liang, Zhaoqian Dai, Shuguang Ma, Fei Yu, Yanghua Xiao, Zhixu Li

机构 * College of Computer Science and Artificial Intelligence, Fudan University（复旦大学计算机科学与人工智能学院） ； School of Data Science, Fudan University（复旦大学数据科学学院） ； Ant Group（蚂蚁集团） ； School of Information and School of Smart Governance, Renmin University of China（中国人民大学信息学院与智慧治理学院） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.LG

AI总结 本文构建首个金融错误检测基准FinED-Bench，评估发现当前LLMs难胜任高复杂度金融文档错误检测任务，监督微调可提升弱模型性能。

NARU: A Benchmark for NARrative Evolution and Cultural Nuance Understanding in Japanese Extreme Long Video

NARU：用于理解日语超长视频中叙事演变与文化细微差别的基准

Yuheng Huang, Jianlang Chen, Jiayang Song, Hua Qi, Aza Kai, Vincent Markert, Edison Marrese-Taylor, Jianjun Zhao, Lei Ma

机构 * The University of Tokyo（东京大学） ； Kyushu University（九州大学） ； Macau University of Science and Technology（澳门科技大学） ； Infinimind Japan Inc.（Infinimind日本公司） ； University of Alberta（阿尔伯塔大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 该研究推出NARU基准，涵盖155个146.8小时日语视频的1481个问题，评估模型在长程叙事整合与文化推理上的局限，为MLLM开发提供测试平台。

Comments Yuheng Huang and Jianlang Chen contributed equally to this work. More details available on the project's website https://ma-labo.github.io/naru/ and https://infinimind.io/en/company/news/2026/narubench-release

EgoMonth: A Month-Level Egocentric Video Benchmark for Long-Term Spatiotemporal Memory

EgoMonth：面向长期时空记忆的月级自我中心视频基准

Weitao Chen, Hu Jiaxin, Xie Tianyidan, Yang Li, Yuyi Qian, Banghao Xu, Ziheng Tang, Shenyi Wang, Mingyue Yu, Duo Li, Jiacheng Shi, Gao Wang, Zhan Xu, Zhicheng Qiu, Xuanfu Li, Jian Yang, Lanjun Wang, Zili Yi

机构 * Nanjing University（南京大学） ； Huawei Technologies Co., Ltd.（华为技术有限公司） ； Tianjin University（天津大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 研究人员推出首个月级自我中心视频基准EgoMonth，评估发现当前主流MLLMs的长期时空记忆能力远逊于人类，仅为有损总结器而非忠实记忆器。

Comments 21 pages, 4 figures, 6 tables, including appendices

The Embedder's Dilemma: LLMs Are Better, but at What Cost?

嵌入器的困境：大型语言模型（LLM）性能更优，但代价是什么？

Adnan El Assadi, Niklas Muennighoff, Jinhyuk Lee

机构 * Harvard University（哈佛大学） ； Stanford University（斯坦福大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 该研究对比LLM与嵌入模型在37项任务的性能与成本，发现二者性能接近但LLM成本高、速度慢，建议嵌入模型用于通用任务，LLM用于推理密集型检索。

Comments Accepted to COLM 2026

CIDER: A Dataset of Contextual Disclosure Boundaries for Privacy Preference Alignment

CIDER：用于隐私偏好对齐的上下文披露边界数据集

Bingcan Guo, Eryue Xu, Jijie Zhou, Zhiping Zhang, Tianshi Li

机构 * University of Washington（华盛顿大学） ； UIUC（伊利诺伊大学厄巴纳-香槟分校） ； Northeastern University（东北大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 本文推出包含169名用户标注的CIDER数据集，用于评估LLM隐私偏好对齐，发现上下文个性化可提升预测准确率，GPT-5.4和Claude Sonnet 4.6表现更优。

Comments Accepted to COLM 2026

PhysMaster: Building an Autonomous AI Physicist for Theoretical and Computational Physics Research

PhysMaster：构建一个自主的AI物理学家用于理论和计算物理学研究

Tingjia Miao, Wenkai Jin, Jinxin Tan, Muhua Zhang, Xianghe Pang, Zexi Liu, Yuwen Du, Tian Jin, Tu Guo, Zhengliang Zhang, Jingkun Liu, Yuelin Hu, Jiejun Zhang, Yunjie Huang, Yuhan Wang, Wenbo Li, Yinuo Gao, Shuo Chen, Rui Ye, Yuzhi Zhang, Linfeng Zhang, Kun Chen, Wei Wang, Weinan E, Siheng Chen

机构 * School of Artificial Intelligence（人工智能学院） ； Shanghai Jiao Tong University（上海交通大学） ； School of Physics and Astronomy（物理天文学院） ； State Key Laboratory of Dark Matter Physics（暗物质物理国家重点实验室） ； Tsung-Dao Lee Institute（李政道研究所） ； Zhiyuan College（智源学院） ； Institute of Theoretical Physics（理论物理研究所） ； Chinese Academy of Sciences（中国科学院） ； DP Technology（DP技术） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 PhysMaster通过结合抽象推理与数值计算，利用LANDAU数据宇宙提升决策可靠性，实现理论与计算物理学研究的自动化与自主发现。

Comments 23 pages, 4 figures

MOSAIC: Unveiling the Moral, Social and Individual Dimensions of Large Language Models

MOSAIC：揭示大型语言模型的道德、社会和个体维度

Erica Coppolillo, Emilio Ferrara

机构 * University of Southern California（南加州大学） ； University of Calabria and ICAR-CNR（卡利亚里大学和ICAR-CNR） ； Thomas Lord Department of Computer Science（托马斯·劳德计算机科学系） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 MOSAIC首次提出评估大型语言模型道德、社会和个体维度的综合基准测试，通过九个问卷和四个游戏全面考察伦理推理能力，揭示MFT的局限性。

SpaRRTa: A Synthetic Benchmark for Evaluating Spatial Intelligence in Visual Foundation Models

SpaRRTa：用于评估视觉基础模型空间智能的合成基准

Turhan Can Kargin, Wojciech Jasiński, Adam Pardyl, Bartosz Zieliński, Marcin Przewięźlikowski

机构 * AGH University of Krakow（克拉科夫AGH大学） ； IDEAS NCBR 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.LG

AI总结 SpaRRTa通过评估视觉基础模型的空间推理能力，揭示其在不同空间任务中的表现差异，旨在推动更高效的空间意识视觉模型发展。

Comments Project page is available at https://sparrta.gmum.net/