大模型推理能力

Evaluating Newtonian Mechanics in Video Generative Models with Real Physical Systems

在视频生成模型中评估牛顿力学

Antonios Tragoudaras, Chenyu Zhang, Daniil Cherniavskii, Antonios Vozikis, Thijmen Nijdam, Derck W. E. Prinzhorn, Mark Bodracska, Nicu Sebe, Andrii Zadaianchuk, Efstratios Gavves

专题命中 推理评测 ：reasoning(abstract)

AI总结 本文提出Morpheus框架，通过真实物理系统评估视频生成模型对牛顿力学的理解能力，揭示当前模型在物理原理编码上的不足。

Comments Forty-Third International Conference on Machine Learning (ICML 2026)

MIRAGE: Online LLM Simulation for Microservice Dependency Testing

MIRAGE：微服务依赖测试的在线LLM模拟

XinRan Zhang

专题命中 推理评测 ：reasoning(abstract)

AI总结 MIRAGE通过在线LLM模拟动态响应微服务依赖请求，提升测试场景的覆盖率和准确性，尤其在错误处理和代码推理方面表现更优。

SurgXBench: Explainable Vision-Language Model Benchmark for Surgery

SurgXBench: 可解释的视觉-语言模型手术基准

Jiajun Cheng, Xianwu Zhao, Sainan Liu, Xiaofan Yu, Ravi Prakash, Patrick J. Codd, Jonathan Elliott Katz, Shan Lin

机构 * Arizona State University（亚利桑那州立大学） ； Intel Labs（英特尔实验室） ； Duke University（杜克大学） ； University of Miami（迈阿密大学） ； University of California, Merced（加州大学默塞德分校） 纠错

专题命中 推理评测 ：reasoning(abstract)

AI总结 针对手术视觉-语言模型（VLM）泛化能力不足的问题，提出SurgXBench基准，在零样本设置下评估多个先进VLM在器械与动作分类任务上的表现，并集成可解释AI分析模型注意力与因果解释，揭示模型依赖弱上下文线索而非临床相关证据的局限性。

Qwen-Image-Bench: From Generation to Creation in Text-to-Image Evaluation

Qwen-Image-Bench：从生成到创造——文本到图像评估

Niantong Li, Guangzheng Hu, Weixu Qiao, Ying Ba, Qichen Hong, Shijun Shen, Jinlin Wang, Fan Zhou, Jianye Kang, Xin Shang, Ziyi He, Wei Wang, Dalin Li, Jiahao Li, Jie Zhang, Kaiyuan Gao, Kun Yan, Lihan Jiang, Ningyuan Tang, Shengming Yin, Tianhe Wu, Xiao Xu, Xiaoyue Chen, Yuxiang Chen, Yan Shu, Yanran Zhang, Yilei Chen, Yixian Xu, Zekai Zhang, Zhendong Wang, Zihao Liu, Zikai Zhou, Hongzhu Shi, Yi Wang, Bing Zhao, Hu Wei, Lin Qu, Chenfei Wu

机构 * Alibaba（阿里巴巴） 纠错

专题命中 推理评测 ：reasoning(abstract)

AI总结 针对现有文本到图像评估基准缺乏对真实世界保真度和创造性生成能力的考量，本文提出Qwen-Image-Bench，一个与专业艺术家共同设计的创作者中心基准，通过分层分类体系、1000个分层提示和基于Qwen3.6-27B的统一评判模型Q-Judger，实现细粒度、可归因的诊断，有效区分领先的T2I模型。

6 Fingers, 1 Kidney: Natural Adversarial Medical Images Reveal Critical Weaknesses of Vision-Language Models

6根手指，1个肾脏：自然对抗性医学图像揭示视觉语言模型的关键弱点

Leon Mayer, Piotr Kalinowski, Caroline Ebersbach, Marcel Knopp, Tim Rädsch, Evangelia Christodoulou, Annika Reinke, Fiona R. Kolbinger, Lena Maier-Hein

机构 * German Cancer Research Center (DKFZ) Heidelberg, Division of Intelligent Medical Systems（德国癌症研究中心（DKFZ）海德堡，智能医学系统部门） ； Medical Faculty, Heidelberg University（海德堡大学医学院） ； Faculty of Mathematics and Computer Science, Heidelberg University（海德堡大学数学与计算机科学学院） ； HIDSS4Health - Helmholtz Information and Data Science School for Health, Karlsruhe/Heidelberg（HIDSS4Health - 哈勃-马克斯信息与数据科学健康学院，卡尔斯鲁厄/海德堡） ； Helmholtz Imaging, German Cancer Research Center (DKFZ)（哈勃-马克斯成像，德国癌症研究中心（DKFZ）） ； Engineering Faculty, Heidelberg University（海德堡大学工程学院） ； School of Computation, Information and Technology, TUM（技术大学（TUM）计算、信息与技术学院） ； Weldon School of Biomedical Engineering, Purdue University（普渡大学韦尔登生物医学工程学院） ； Department of Visceral, Thoracic and Vascular Surgery, University Hospital and Faculty of Medicine Carl Gustav Carus, TUD Dresden University of Technology（visceral、胸腔和血管外科部门，技术大学（TUD）德累斯顿大学医院和医学院） ； National Center for Tumor Diseases (NCT), NCT Heidelberg, a partnership between DKFZ and University Hospital Heidelberg（肿瘤疾病国家中心（NCT），海德堡NCT，DKFZ与海德堡大学医院之间的合作） ； Heidelberg University Hospital, Surgical Clinic, Surgical AI Research Group（海德堡大学医院，外科诊所，外科人工智能研究组） ； Mohamed Bin Zayed University of Artificial Intelligence (MBZUAI), Abu Dhabi, UAE（Mohamed Bin Zayed人工智能大学（MBZUAI），阿布扎赫，阿拉伯联合酋长国） 纠错

专题命中 推理评测 ：reasoning(abstract)

AI总结 提出AdversarialAnatomyBench基准，测试25个视觉语言模型在罕见解剖变异上的表现，发现准确率从71%降至28%，且模型缩放和干预无法解决。

SurgAtlas: A Large-Scale Surgical Video-Language Dataset with 2,391 Hours of Open and Minimally Invasive Surgery

SurgAtlas：一个包含2,391小时开放和微创手术的大规模手术视频-语言数据集

Filippos Bellos, Andre S. Gala-Garza, Miaowei Wang, Alyssa M. Hardin, Ahmad M. Hider, Yayuan Li, Jing Bi, Susan Liang, Chenliang Xu, Donald S. Likosky, Jason J. Corso

机构 * University of Michigan（密歇根大学） ； University of Edinburgh（爱丁堡大学） ； Vanderbilt University Medical Center（范德比尔特大学医学中心） ； University of Colorado（科罗拉多大学） ； University of Rochester（罗切斯特大学） ； Michigan Medicine（密歇根医学） 纠错

专题命中 推理评测 ：reasoning(abstract)

AI总结 提出SurgAtlas，最大手术视频-语言数据集（15,291视频，2,391小时，18专科，5,000+术式），首次大规模纳入开放手术并建立基准，通过多层级自动标注管道生成丰富注释，微调Qwen3-VL-8B在多个基准上达到领先。

LLM-Based Discovery of Latent Requirements from Stakeholder Conversations: Preliminary Results from Industry

基于LLM从利益相关者对话中发现潜在需求：来自工业界的初步结果

Mithila Sivakumar, Martin Lochner, Shiva Nejati, Mehrdad Sabetzadeh

专题命中 推理评测 ：reasoning(abstract)

AI总结 提出LENS方法，利用LLM分析利益相关者访谈记录，提取显式需求并推断潜在需求，以用户故事表示并链接原文，工业评估显示显式需求F1为84.4%，75%潜在需求被认为有用。

Comments This paper has been accepted at the 13th International Workshop on Artificial Intelligence and Requirements Engineering (AIRE 2026), co-located with RE 2026

SafeGen: LLM-Driven Assertion Generation and Fault Criticality Evaluation for Functional Safety

SafeGen: 面向功能安全的LLM驱动断言生成与故障关键性评估

Xuanyi Tan, Arjun Chaudhuri, Rubin Parekhji, Krishnendu Chakrabarty

专题命中 推理评测 ：reasoning(abstract)

AI总结 提出SafeGen框架，利用大语言模型和超知识图谱从设计文档提取规范并生成功能安全断言，结合门级到RTL故障映射与形式验证实现故障关键性语义分级，在FOC系统中验证了优于传统方法。

Comments Accepted by DAC 2026

Are We There Yet? Exploring the Capabilities of MLLMs in Assistive AI Applications

我们到了吗？探索多模态大语言模型在辅助人工智能应用中的能力

Shayon Dasgupta, Avijit Dasgupta, C. V. Jawahar

机构 * IIT BHU India（印度理工学院瓦拉纳西校区） ； CVIT, IIIT Hyderabad India（印度海得拉巴国际信息技术学院计算机视觉与信息技术中心） 纠错

专题命中 推理评测 ：reasoning(abstract)

AI总结 本文通过真实世界任务评估多模态大语言模型在辅助AI中的表现，开发NetraLink系统收集基准数据，揭示其优势与局限。

Benchmarking Vision-Language Models for Microscopic Plant Image Understanding

用于植物显微图像理解的视觉语言模型基准测试

Tianqi Wei, Xin Yu, Zhi Chen, Scott Chapman, Zi Huang

机构 * The University of Queensland（昆士兰大学） ； Adelaide University（阿德莱德大学） ； University of Southern Queensland（南昆士兰大学） 纠错

专题命中 推理评测 ：reasoning(abstract)

AI总结 提出PlantMicro基准，包含5000+图像和9000+VQA对，评估视觉语言模型在植物显微图像理解上的能力，发现现有模型在细粒度识别和生物学推理上表现不佳。

World Value Models for Robotic Manipulation

机器人操作的世界价值模型

Zhihao Wang, Jianxiong Li, Yu Cui, Yuan Gao, Xianyuan Zhan, Junzhi Yu, Xiao Ma

机构 * Peking University（北京大学） ； Tsinghua University（清华大学） 纠错

专题命中 推理评测 ：planning(abstract)

AI总结 提出世界价值模型（WVM），融合世界模型与价值估计，通过时序建模评估数据质量，在标准基准和次优轨迹基准上达到SOTA，提升策略学习性能。

Comments preprint

EgoSAT: A Comprehensive Benchmark of Egocentric Streaming Interaction Understanding

EgoSAT: 一个全面的自我中心流式交互理解基准

Yijia Lei, Jinzhao Li, Yichi Zhang, Jiacheng Hua, Yin Li, Miao Liu

机构 * College of AI, Tsinghua University（清华大学人工智能学院） ； University of Wisconsin–Madison（威斯康星大学麦迪逊分校） 纠错

专题命中 推理评测 ：reasoning(abstract)

AI总结 提出EgoSAT基准，统一自我中心视频的回顾、在线和前瞻推理任务，评估视觉语言模型在流式设置中的表现，发现现有模型存在前瞻/回顾困难及置信度校准问题。

Comments Accepted to ECCV 2026. Project page: https://leiyj23.github.io/EgoSAT/

MapReason-OSM: Can Vision-Language Models Make Graph-Verifiable Mobility Decisions from Street Maps ?

MapReason-OSM：视觉语言模型能否从街道地图中做出可图验证的移动决策？

Srinivas Venkatanarayanan, Clement Pakkam Isaac

机构 * NVIDIA（英伟达） ； University of Central Florida（中佛罗里达大学） ； University of South Florida（南佛罗里达大学） 纠错

专题命中 推理评测 ：reasoning(abstract)

AI总结 提出MapReason-OSM基准，通过自渲染OpenStreetMap面板和隐藏街道图，评估VLM在路由、设施定位等任务中做出可图验证的移动决策的能力，发现模型在图形成本推理和跨缩放一致性上表现不佳。

Comments 9 pages, 7 figures. Submitted to ACM SIGSPATIAL 2026 (Industrial Track). Code and data: https://github.com/Vi-Sri/mapreason-osm

SAGE: Scalable Agentic Grounded Evaluation for Crop Disease Diagnosis

SAGE: 可扩展的代理基于地面评估用于作物疾病诊断

Muhammad Arbab Arshad, Tirtho Roy, Yanben Shen, Dinakaran Elango, Shivani Chiranjeevi, Asheesh K. Singh, Baskar Ganapathysubramanian, Chinmay Hegde, Arti Singh, Soumik Sarkar

专题命中 推理评测 ：reasoning(abstract)

AI总结 本文提出SAGE框架，通过构建大规模作物疾病图像-症状数据集，结合自动管道生成基于源的症状描述，并引入自主视觉推理代理提升疾病诊断准确性。

Journal ref CVPR 2026 Workshop on Emerging Directions in Data for Multimodal Foundation Models

MSU-Bench: Towards Speaker-Centric Understanding in Conversational Multi-Speaker Scenarios

MSU-Bench：面向对话多说话人场景中以说话人为中心的理解

Zhaokai Sun, Shuai Wang, Zhennan Lin, Chengyou Wang, Dehui Gao, Yuang Cao, Chunjiang He, Pan Zhou, Lei Xie

专题命中 推理评测 ：reasoning(abstract)

AI总结 提出MSU-Bench基准，包含16个说话人中心任务和2300个问答实例，用于评估多说话人对话中的说话人定位与推理能力，揭示现有模型在复杂场景下的不足。

Comments 4 pages, accepted by interspeech 2026

PROMPT: A Pre-registered Randomized Protocol for Component-Level Evaluation of Clinical AI Prompts

PROMPT：临床AI提示组件级评估的预注册随机协议

Bin Hu, Avneek Sandhu, Shahryar Wasif

专题命中 推理评测 ：reasoning(abstract)

AI总结 提出PROMPT协议，通过预注册、随机化、匹配对照和拆解设计，在合成和医学图像任务中识别提示组件的有益、有害和无效效应，揭示整体提示评估遗漏的安全漏洞。

Comments 4 figures, 1 table

The Table Says Otherwise: Testing LLMs with Counterfactual Relational Data

表格另有说法：用反事实关系数据测试大语言模型

Xinzhi Wang, Chunwei Liu

专题命中 推理评测 ：reasoning(abstract)

AI总结 提出ContraTable基准，通过配对原始与反事实数据库测试LLM是否基于表格回答，发现模型在复杂推理时易依赖先验知识，强调评估应关注对提供数据的忠实度。

LLM-as-a-Judge for Reliable and Explainable Offline Evaluation in Top-K Recommendation

LLM-as-a-Judge：用于Top-K推荐中可靠且可解释的离线评估

Yue Que, Junyi Zhou, Xiaokun Zhang, Haiming Jin, Qiao Xiang, Chen Ma

专题命中 推理评测 ：reasoning(abstract)

AI总结 针对离线评估中反馈偏差和缺乏解释的问题，提出基于LLM的语义代理和推理评分框架，提升评估可靠性与可解释性。

Comments Accepted by KDD 2026

Zero-Shot Vision-Language Models for Classroom Engagement Recognition: A Benchmark Study of Prompt Sensitivity and Cross-Dataset Generalization

零样本视觉语言模型用于课堂投入度识别：提示敏感性与跨数据集泛化的基准研究

Aman Goyal, Kshama Nitin Shah, Kemmannu Vineet Venkatesh Rao

机构 * Carnegie Mellon University（卡内基梅隆大学） ； University of Michigan, Ann Arbor（密歇根大学安娜堡分校） ； Magna International（麦格纳国际） 纠错

专题命中 推理评测 ：chain-of-thought(abstract)

AI总结 本研究系统评估五种视觉语言模型在零样本条件下识别课堂投入度的表现，发现三个主要失败模式：个体学生识别近乎随机、类别崩溃和极端提示敏感性，但场景级分类效果较好。

Comments 11 pages, 6 figures, including supplementary material. Presented as a non-archival paper at the CV4Edu Workshop, CVPR 2026

Assessing Language Models for Salient Class Identification

评估语言模型在显著类识别中的表现

Bo Xiong, Chaoran Cai, Kaipeng Xiong, Chong Wang, Peng Liang

专题命中 推理评测 ：chain-of-thought(abstract)

AI总结 研究语言模型能否直接从代码提交中识别显著类，无需特征工程或图构建，发现小模型在少样本提示下性能接近大模型，可降低成本和隐私障碍。

Comments 22 pages, 1 images, 8 tables, Manuscript submitted to a Journal (2026)

MalSkillBench: A Runtime-Verified Benchmark of Malicious Agent Skills

MalSkillBench: 一个运行时验证的恶意智能体技能基准

Wenbo Guo, Wei Zeng, Chengwei Liu, Xiaojun Jia, Yijia Xu, Lei Tang, Yong Fang, Yang Liu

专题命中 推理评测 ：reasoning(abstract)

AI总结 提出MalSkillBench，首个运行时验证的恶意智能体技能基准，包含3944个恶意技能，通过闭环生成-验证-反馈流水线构建，揭示代码注入与提示注入检测的不对称性，并指出联合推理任务意图、代码和指令的必要性。

Do Modern Video-LLMs Need to Listen? A Benchmark Audit and Scalable Remedy

现代视频大语言模型需要听觉吗？基准审计与可扩展补救措施

Geewook Kim, Minjoon Seo

机构 * NAVER Cloud AI（NAVER云AI） ； KAIST AI（韩国国立庆北大学AI） 纠错

专题命中 推理评测 ：reasoning(abstract)

AI总结 通过审计10个视频基准发现多数任务仅凭视觉即可解决，音频未被充分利用；提出在LLaVA-OneVision上附加语音/音频编码器，采用25倍令牌压缩，实验证明音频在需要语音理解或跨模态对齐的任务上带来显著提升。

Comments Accepted to Interspeech 2026

Exploring the potential of ChatGPT for feedback and evaluation in experimental physics

探索ChatGPT在实验物理反馈与评估中的潜力

Marcos Abreu, Álvaro Suárez, Cecilia Stari, Arturo C. Marti

专题命中 推理评测 ：reasoning(abstract)

AI总结 本研究探索ChatGPT在实验物理实验报告评估中的应用，通过API评估和定制化ChatGPT两种模式，发现其在形式结构反馈上表现一致，但在技术推理和实验数据解释方面可靠性较低，强调了教师监督的重要性。

Comments 11 pages, 1 fig

CodePercept: Code-Grounded Visual STEM Perception for MLLMs

CodePercept: 基于代码的MLLM视觉STEM感知

Tongkun Guan, Zhibo Yang, Jianqiang Wan, Mingkun Yang, Zhengtao Guo, Zijian Hu, Ruilin Luo, Ruize Chen, Songtao Jiang, Peng Wang, Wei Shen, Junyang Lin, Xiaokang Yang

机构 * MoE Key Lab of Artificial Intelligence, AI Institute, School of Computer Science, Shanghai Jiao Tong University（人工智能大模型重点实验室，人工智能学院，计算机科学学院，上海交通大学） ； Qwen Team（通义实验室） ； Beijing Institute of Technology（北京理工大学） ； Tsinghua University（清华大学） ； Zhejiang University（浙江大学） 纠错

专题命中 推理评测 ：reasoning(abstract)

AI总结 本文发现多模态大模型在STEM视觉推理中感知能力是瓶颈，提出通过代码作为感知媒介，构建ICC-1M数据集和STEM2Code-Eval基准来增强和评估感知能力。

Comments Accepted by CVPR2026

MCP-SandboxScan: WASM-based Secure Execution and Runtime Analysis for MCP Tools

MCP-SandboxScan：基于WASM的MCP工具安全执行与运行时分析

Zhuoran Tan, Run Hao, Jeremy Singer, Yutian Tang, Christos Anagnostopoulos

专题命中 推理评测 ：reasoning(abstract)

AI总结 本文提出MCP-SandboxScan框架，通过WASM环境执行工具并提取运行时证据，结合语义分析识别MCP工具的风险，验证其在跨语言项目、 evasion基准和100个仓库中的有效性。

WeGenBench: A Multidimensional Diagnostic Benchmark towards Text-to-Image Model Optimization

WeGenBench：面向文本到图像模型优化的多维诊断基准

Qian Liang, Xiaomin Li, Ying Zhang, Jia Xu, Lihao Ni, Hongrui Li, Jingjing Li, Jing Lyu, Chen Li

机构 * University of Electronic Science and Technology of China（电子科技大学） ； Dalian University of Technology（大连理工大学） ； Weixin, Tencent（腾讯微信） 纠错

专题命中 推理评测 ：reasoning(abstract)

AI总结 提出WeGenBench基准，包含4000个中英双语提示，通过场景分类和多维标签实现跨维度评估，并设计基于视觉语言模型的新颖指标，精准定位模型在特定生成类别中的缺陷。

A Unified Framework for Efficient Remote Sensing Visual Question Answering: Adapting Dual, Hybrid, and Encoder-Decoder Architectures

高效遥感视觉问答的统一框架：适配双编码器、混合架构和编码器-解码器架构

Timothy Agboada, Shikha Chandel, Yadav Raj Ghimire, Leila Hashemi-Beni

机构 * Computational Data Science and Engineering（计算数据科学与工程） ； College of Science and Technology（科学与技术学院） 纠错

专题命中 推理评测 ：reasoning(abstract)

AI总结 提出RS Adapter参数高效微调策略，在三种视觉语言模型架构上注入轻量瓶颈适配器，仅用不到5%可训练参数实现遥感VQA，混合架构FLAVA在多模态推理与检索间取得最佳平衡。

Comments 4 pages, 2 figures, accepted and to be presented at 2026 IEEE International Geoscience and Remote Sensing Symposium (IGARSS 2026), scheduled for 9 to 14 August 2026 in Washington D.C

Benchmarking Large Vision-Language Models on Fine-Grained Image Tasks: From Evaluation to Diagnosis

大规模视觉-语言模型在细粒度图像任务上的基准测试：从评估到诊断

Hong-Tao Yu, Chen-Wei Xie, Yuxin Peng, Serge Belongie, Xiu-Shen Wei

机构 * School of Computer Science and Engineering, Southeast University, China（东南大学计算机科学与工程学院，中国） ； Alibaba Group（阿里巴巴集团） ； School of Computer Science and Engineering, School of Intelligence Science and Engineering, and Key Laboratory of New Generation Artificial Intelligence Technology and Its Interdisciplinary Applications, Southeast University, China（东南大学计算机科学与工程学院、智能科学与工程学院以及新一代人工智能技术及其交叉应用关键实验室，中国） ； Wangxuan Institute of Computer Technology, National Key Laboratory for Multimedia Information Processing, Peking University, China（北京大学王轩计算机技术研究所、多媒体信息处理国家重点实验室，中国） ； University of Copenhagen, Denmark（丹麦哥本哈根大学） 纠错

专题命中 推理评测 ：reasoning(abstract)

AI总结 提出FG-BMK基准，含101万问题和28万图像，通过人机双范式评估LVLM的细粒度语义识别与视觉判别能力，诊断失败原因，发现视觉表示、语义对齐等瓶颈。

PowerAgentBench-SS: A Benchmark for Agentic AI in Power System Steady-State Studies

PowerAgentBench-SS：电力系统稳态研究中智能体AI的基准测试

Costas Mylonas, Magda Foti, Andrea Pomarico, Matheus Duarte, Qian Zhang, Emmanouel Varvarigos

专题命中 推理评测 ：planning(abstract)

AI总结 提出PowerAgentBench-SS基准框架，用于评估LLM智能体在电力系统稳态研究中执行工程工作流的能力，通过工具API、验证预算和风险敏感指标区分智能体性能。

E-VAds: An E-commerce Short Videos Understanding Benchmark for MLLMs

E-VAds：面向多模态大语言模型的电商短视频理解基准

Xianjie Liu, Yiman Hu, Liang Wu, Ping Hu, Yixiong Zou, Jian Xu, Bo Zheng

机构 * Alimama Tech, Taobao \& Tmail Group of Alibaba ； Huazhong University of Science ； Vin University 纠错

专题命中 推理评测 ：reasoning(abstract)

AI总结 提出电商短视频理解基准E-VAds，通过多模态信息密度评估框架量化领域复杂性，并构建多智能体生成的问答数据集，最后开发基于强化学习的推理模型E-VAds-R1，在商业意图推理上实现109.2%的性能提升。

Comments Accepted by ICML2026