大模型推理能力

SONIC-O1: A Real-World Benchmark for Evaluating Multimodal Large Language Models on Audio-Video Understanding

SONIC-O1：用于评估多模态大语言模型在音视频理解上的真实世界基准

Ahmed Y. Radwan, Christos Emmanouilidis, Hina Tabassum, Deval Pandya, Shaina Raza

机构 * Vector Institute for Artificial Intelligence（向量人工智能研究所） ； University of Groningen（Groningen大学） ； York University（约克大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 提出SONIC-O1基准，包含60小时人工验证的音视频数据，评估多模态大语言模型在开放摘要、多项选择问答和时序定位上的能力，发现模型在时序定位上存在显著性能差距和人口统计偏差。

MMTABREAL: Real-World Benchmark for Multimodal Table Understanding

MMTABREAL：多模态表格理解的真实世界基准

Prasham Titiya, Jainil Trivedi, Chitta Baral, Vivek Gupta

机构 * Arizona State University（亚利桑那州立大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 针对多模态表格理解，构建了包含500个真实表格和4021个问答对的人工筛选基准MMTABREAL，评估发现现有模型在视觉定位、空间对齐和多步推理上存在20-40%的性能差距。

ENPMR-Bench: Benchmarking Proactive Memory Retrieval for Emotional Support Agents

ENPMR-Bench: 情感支持代理的主动记忆检索基准

Xing Fu, Yulin Hu, Mengtong Ji, Haozhen Li, Yixin Sun, Weixiang Zhao, Yanyan Zhao, Bing Qin

机构 * Research Center for Social Computing and Interactive Robotics（社会计算与交互机器人研究中心） 纠错

专题命中 推理评测 ：chain-of-thought(abstract)；分类 cs.CL

AI总结 提出ENPMR-Bench基准，基于马斯洛需求层次评估情感支持代理主动推断用户潜在情感需求并检索适当记忆的能力，实验表明当前检索范式存在显著缺陷。

LiveK12Bench: Have Large Multimodal Models Truly Conquered High School-level Examinations?

LiveK12Bench: 大型多模态模型真的征服了高中水平的考试吗？

Xiaohan Wang, Mingze Yin, Yilin Zhao, Gang Liu, Dian Li

机构 * Tencent PCG（腾讯PCG） ； College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 本文提出动态多学科基准LiveK12Bench，通过自动化流水线和新颖的模拟考试评估方案，揭示大型多模态模型在真实考试场景下性能显著下降，尤其对复杂视觉布局敏感。

FAB-Bench: A Framework for Adaptive RAG Benchmarking in Semiconductor Manufacturing

FAB-Bench：半导体制造中自适应RAG基准测试框架

Jingbin Qian, Congwen Yi, Min Xia, Wen Wu, Jun Zhu, Jian Guan

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 提出FAB-Bench框架，通过六项诊断指标和三种合成策略，评估半导体制造领域RAG系统在不同上下文窗口下的性能，发现注意力稀释是极端上下文长度下性能下降的主要原因。

Memory Architectures for Multi-Turn Text-to-SQL: A Benchmark and Empirical Study

多轮文本到SQL的记忆架构：基准测试与实证研究

Ravi Kumar Tummalapenta, Suman Addanki

机构 * LLM Suite Engineering Team, JP Morgan Chase & Co.（JP摩根大通公司LLM套件工程团队） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 针对多轮Text-to-SQL任务，提出EnterpriseMem-Bench基准并评估五种前沿模型，发现无状态方法在第三轮后执行准确率归零，且记忆架构复杂度并不单调提升准确率。

Comments 18 pages, 4 figures, 14 tables; includes appendices with verbatim prompts, example session, and full ablation tables; prepared by the LLM Suite Engineering Team, JP Morgan Chase & Co

OmniToM: Benchmarking Theory of Mind in LLMs via Explicit Belief Modeling

OmniToM：通过显式信念建模评估大语言模型的心智理论

Adam Bawatneh, Sagar Sapkota, Amrit Singh Bedi, Santu Karmaker, Mubarak Shah

机构 * University of Central Florida（佛罗里达大学中央分校） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 提出OmniToM基准，通过显式信念结构（包括信念提取和标签化两阶段）评估LLM在叙事中追踪不同角色心智状态的能力，揭示其在知识获取和表征决策上的瓶颈。

Comments 30 pages, 8 figures, 19 tables; includes appendix

Anchor: Mitigating Artifact Drift in Agent Benchmark Generation

Anchor：缓解智能体基准生成中的工件漂移

Maksim Ivanov, Abhijay Rana

机构 * Agentic Labs 纠错

专题命中 推理评测 ：verifier(abstract)；分类 cs.AI

AI总结 提出Anchor管道，通过约束优化程序联合生成指令、环境、真值解和验证器，解决基准生成中的工件漂移问题，并构建ERP-Bench基准评估前沿模型性能。

Comments Accepted to RLEval '26 (Workshop at ACM Conference on AI and Agentic Systems 2026)

Anticipate and Learn: Unleashing Idle-Time Compute in Proactive Agents

预见与学习：在主动智能体中释放空闲时间计算

Haoyi Hu, Qirong Lyu, Xianghan Kong, Weiwen Liu, Jianghao Lin, Zixuan Guo, Yan Xu, Yasheng Wang, Weinan Zhang, Yong Yu

机构 * Shanghai Jiao Tong University（上海交通大学） ； Tencent（腾讯） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 提出ProAct主动智能体架构，利用空闲时间计算预测并满足用户未来需求，通过ProActEval基准测试验证其在任务加速、减少用户努力和降低幻觉率方面的显著优势。

Comments 26 pages, 4 figures; code available at https://github.com/AgentACE-AI/ProAct

VT-Bench: A Unified Benchmark for Visual-Tabular Multi-Modal Learning

VT-Bench：视觉-表格多模态学习的统一基准

Zi-Yi Jia, Zi-Jian Cheng, Xin-Yue Zhang, Kun-Yang Yu, Zhi Zhou, Yu-Feng Li, Lan-Zhe Guo

机构 * National Key Laboratory for Novel Software Technology, Nanjing University, China（新型软件技术国家重点实验室，南京大学，中国） ； School of Intelligence Science and Technology, Nanjing University, China（智能科学与技术学院，南京大学，中国） ； School of Artificial Intelligence, Nanjing University, China（人工智能学院，南京大学，中国） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 提出首个视觉-表格多模态基准VT-Bench，涵盖9个领域14个数据集，评估23个模型，揭示视觉-表格学习的挑战。

OMD-GraphRAG: Enhancing GraphRAG with Ontology-Guided Extraction, Multi-Dimensional Clustering and Dual-Channel Fusion

OMD-GraphRAG：利用本体引导提取、多维聚类和双通道融合增强GraphRAG

Jie Wang, Honghua Huang, Xi Ge, Jianhui Su, Wen Liu, Shiguo Lian

机构 * Data Science & Artificial Intelligence Research Institute（数据科学与人工智能研究院） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 提出OMD-GraphRAG框架，通过本体引导知识提取、多维社区聚类和双通道图检索融合，提升GraphRAG在复杂推理和多跳查询中的性能。

BeyondSWE: Can Current Code Agent Survive Beyond Single-Repo Bug Fixing?

BeyondSWE：当前代码代理能否超越单仓库错误修复？

Guoxin Chen, Fanzhe Meng, Jiale Zhao, Minghao Li, Daixuan Cheng, Huatong Song, Jie Chen, Yuzhi Lin, Hui Chen, Xin Zhao, Ruihua Song, Chang Liu, Cheng Chen, Kai Jia, Ji-Rong Wen

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 提出BeyondSWE基准测试，评估代码代理在跨仓库、领域特定、依赖迁移和文档生成等复杂软件工程任务上的表现，发现现有代理在利用外部信息进行精确代码修改方面仍存在显著不足。

Comments Benchmark: https://huggingface.co/datasets/AweAI-Team/BeyondSWE. Repo: https://github.com/AweAI-Team/BeyondSWE. Scaffold: https://github.com/AweAI-Team/AweAgent

ADRD-Bench: A Preliminary LLM Benchmark for Alzheimer's Disease and Related Dementias

ADRD-Bench：阿尔茨海默病及相关痴呆症的初步大语言模型基准

Guangxin Zhao, Jiahao Zheng, Malaz Boustani, Jarek Nabrzyski, Yiyu Shi, Meng Jiang, Zhi Zheng

机构 * Electrical Engineering, University of Notre Dame（诺丁汉大学电气工程系） ； Computer Science and Engineering, University of Notre Dame（诺丁汉大学计算机科学与工程系） ； School of Medicine, Indiana University（印第安纳大学医学院） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 针对现有基准对阿尔茨海默病及相关痴呆症覆盖不足的问题，提出ADRD-Bench，包含统一问答和照护问答两部分，评估了36个LLM，发现顶级模型准确率高但推理质量不稳定。

Comments Update article

TowerMind: A Tower Defence Game Learning Environment and Benchmark for LLM as Agents

TowerMind: 一个用于LLM作为智能体的塔防游戏学习环境与基准

Dawei Wang, Chengming Zhou, Di Zhao, Xinyuan Liu, Marci Chi Ma, Gary Ushaw, Richard Davison

机构 * Newcastle University（新castle大学） ； University of Auckland（奥克兰大学） 纠错

专题命中 推理评测 ：planning(abstract)；分类 cs.AI

AI总结 本文提出TowerMind，一个基于塔防子类型的轻量级、多模态游戏环境，用于评估大语言模型在长期规划和决策中的能力，并揭示其与人类专家的性能差距及关键局限性。

Comments AAAI 2026 Oral

InfoSynth: Information-Guided Benchmark Synthesis for LLMs

InfoSynth: 信息引导的大语言模型基准合成

Ishir Garg, Neel Kolhe, Xuandong Zhao, Dawn Song

机构 * UC Berkeley（加州大学伯克利分校） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 提出基于信息论（KL散度和熵）的InfoSynth框架，自动生成高难度、多样化的Python编程基准，97%的测试用例和解决方案准确。

DiscoverPhysics: Benchmarking LLMs for Out-of-the-Box Scientific Thinking

DiscoverPhysics: 基准测试LLMs的即用型科学思维

Matt L. Wiemann, Lindsay M. Smith, Peter Melchior, Siddharth Mishra-Sharma, Andrew Gordon Wilson, Pavel Izmailov, Carolina Cuesta-Lázaro

机构 * Princeton University（普林斯顿大学） ； Boston University（波士顿大学） ； New York University（纽约大学） ； Flatiron Institute（Flatiron研究所） ； Institute for Advanced Studies（高级研究研究所） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.LG

AI总结 提出DiscoverPhysics交互式基准，通过让LLM代理探索物理定律偏离现实的模拟世界，评估其设计实验、修正假设和发现物理规律的能力。

Claw-Anything: Benchmarking Always-On Personal Assistants with Broader Access to User's Digital World

Claw-Anything: 对更广泛访问用户数字世界的始终在线个人助手的基准测试

Yusong Lin, Xinyuan Liang, Haiyang Wang, Qipeng Gu, Siqi Cheng, Jiangui Chen, Shuzhe Wu, Feiyang Pan, Lue Fan, Sanyuan Zhao, Dandan Tu

机构 * Beijing Institute of Technology（北京理工大学） ； Huawei Technologies Co., Ltd（华为技术有限公司） ； Peking University（北京大学） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 提出Claw-Anything基准测试，通过扩展长期活动历史、相互依赖的后端服务以及跨多设备的GUI和CLI交互三个维度，评估大型语言模型代理在始终在线环境下的性能，发现GPT-5.5仅达34.5% pass@1，并发布自动化数据生成管道提升基线模型23.7%。

Explore Before You Solve: The Speed--Depth Trade-off in Epistemic Agents for ARC-AGI-3

先探索再求解：面向ARC-AGI-3的认知主体中的速度-深度权衡

Liew Keong Han

机构 * Independent researcher（独立研究者） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 通过系统分析所有25个公开ARC-AGI-3游戏，发现它们均可通过非智能策略达到，并提出了一个三阶段认知主体AERA，在速度-深度权衡框架下形式化其性能。

Comments 22 pages, 3 figures. Code: https://github.com/farmountain/aera-arc3-paper (CC0)

From Facts to Insights: A Persona-Driven Dual Memory Framework and Dataset for Role-Playing Agents

从事实到洞察：面向角色扮演智能体的角色驱动双记忆框架与数据集

Rongsheng Zhang, Ruofan Hu, Weijie Chen, Jiji Tang, Junnan Ren, Wanying Wu, Xunuoyan Chen, Tangjie Lv, Tao Jin, Zhou Zhao

机构 * Zhejiang University（浙江大学） ； Fuxi AI Lab, Netease Inc.（复活AI实验室，网易公司） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 针对长期对话中角色扮演智能体因上下文窗口限制而丧失角色一致性的问题，提出角色记忆数据集RoleMemo和双记忆框架DualMem，通过将记忆解耦为事实认知和角色条件洞察，结合监督微调与强化学习，在4B参数模型上超越基于DeepSeek-V3.2的零样本角色无关框架。

Comments Preprint

MEMTIER: Tiered Memory Architecture and Retrieval Bottleneck Analysis for Long-Running Autonomous AI Agents

MEMTIER：面向长期运行的自主AI智能体的分层内存架构与检索瓶颈分析

Bronislav Sidik, Lior Rokach

机构 * Institute for Applied AI Research（应用人工智能研究所） ； Faculty of Computer and Information Science（计算机与信息科学学院） ； Ben-Gurion University of the Negev（贝内尔-加里翁大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 提出MEMTIER三层内存架构，通过结构化事件存储、五信号加权检索、注意力归因权重更新、异步合并机制和PPO策略，在LongMemEval-S基准上将全上下文基线准确率从5%提升至38%，并支持本地6GB GPU运行。

Comments 11 pages, 1 figure, 5 tables. Under review

CArtBench: Evaluating Vision-Language Models on Chinese Art Understanding, Interpretation, and Authenticity

CArtBench: 评估视觉语言模型在中国艺术理解、解读与真实性方面的能力

Xuefeng Wei, Zhixuan Wang, Xuan Zhou, Zhi Qu, Hongyao Li, Yusuke Sakai, Hidetaka Kamigaito, Taro Watanabe

机构 * Nara Institute of Science and Technology（奈良科学技術大學） ； Liaoning Normal University（遼寧師範大學） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 提出CARTBENCH基准，通过四个子任务评估视觉语言模型在中国艺术作品上的识别、推理、鉴赏和真伪鉴别能力，发现现有模型在复杂证据链接、风格断代和真伪诊断方面表现不足。

Comments under review

UniToolCall: Unifying Tool-Use Representation, Data, and Evaluation for LLM Agents

UniToolCall: 统一LLM智能体的工具使用表示、数据与评估

Yijuan Liang, Xinghao Chen, Yifan Ge, Ziyi Wu, Hao Wu, Changyu Zeng, Wei Xing, Xiaoyu Shen

机构 * University of Science and Technology of China（中国科学技术大学） ； Ningbo Institute of Digital Twin（宁波数字孪生研究所） ； Eastern Institute of Technology（东部技术研究所） ； Department of Computing, The Hong Kong Polytechnic University（香港理工大学计算机系） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 提出UniToolCall框架，通过标准化工具集构建、数据集生成和评估流程，结合22k+工具和390k+训练实例，引入锚点链接机制，在混合设置下使Qwen3-8B单轮严格精度达93.0%，超越GPT、Gemini和Claude。

Comments 21 pages, 10 figures, 9 tables. Code and datasets are publicly available at: https://github.com/EIT-NLP/UniToolCall

Benchmarking and Learning Real-World Customer Service Dialogue

基准测试与学习真实世界客服对话

Tianhong Gao, Jundong Shen, Jiapeng Wang, Bei Shi, Ying Ju, Junfeng Yao, Huiyu Yu

机构 * ByteDance, Beijing, China（字节跳动，北京，中国） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 针对工业智能客服与真实对话需求脱节的问题，提出OlaBench基准和OlaMind模型，通过蒸馏专家推理模式与分阶段强化学习，在OlaBench上超越GPT-5.2和Gemini 3 Pro，在线A/B测试中问题解决率提升23.67%，人工转接率降低6.6%。

DarkForest: Less Talk, Higher Accuracy for Multi-Agent LLMs

DarkForest: 少说话，多智能体LLM更高精度

Yi Li, Songtao Wei, Dongming Jiang, Zhichun Guo, Qiannan Li, Bingzhe Li

机构 * University of Texas at Dallas（德克萨斯大学达拉斯分校） ； Independent Researcher（独立研究者） ； University of California, Davis（加州大学戴维斯分校） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 提出DarkForest框架，通过保持智能体独立、结构化解析响应并基于信念分布协调，减少通信开销和错误传播，在六个推理基准上实现领先质量并大幅降低令牌消耗。

Memory-Induced Tool-Drift in LLM Agents

LLM代理中的记忆诱导工具漂移

Mahavir Dabas, Jihyun Jeong, Ming Jin, Ruoxi Jia

机构 * Virginia Tech（弗吉尼亚理工大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.LG

AI总结 研究LLM代理中长期记忆存储的个性偏见（如成本意识、不耐烦等）在不适用情境下静默影响工具调用的问题，提出MEMDRIFT基准测试，发现偏置记忆导致工具参数偏离基线，且现有防御措施无法消除该现象。

Agent Manufacturing: Foundation-Model Agents as First-Class Industrial Entities

Agent制造：基础模型Agent作为一级工业实体

Yilei Zhang

机构 * University of Canterbury（坎特伯雷大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 本文提出Agent制造范式，即基础模型Agent通过解释开放目标、长程规划、调用工具和机器、与其他Agent及人类协商来协调生产，从而将工业中的人类协调认知工作自动化。

Zero-Shot Parkinson's Disease Detection from Speech: Comparing Large Audio and Language Models

零样本帕金森病语音检测：比较大型音频和语言模型

Muhammad Ashad Kabir, Sirajam Munira

机构 * School of Computing, Mathematics and Engineering, Charles Sturt University（计算机科学与工程学院，查尔斯·斯图尔特大学） ； Department of Computer Science, Rensselaer Polytechnic Institute（计算机科学系，伦塞拉尔理工学院） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 通过比较手工声学特征和原始音频波形两种输入模态，研究零样本帕金森病检测在不同语言中的性能差异，发现手工特征在低资源语言中更稳定，而音频输入带来数据集依赖的增益。

Comments 6 pages

CyberMaskQA: A Privacy-Aware Benchmark for Evaluating Large Language Models in Cybersecurity Question Answering

CyberMaskQA: 一个用于评估大语言模型在网络安全问答中隐私意识的基准

Matilda Gaddi, Jin Noh, Onat Gungor, Tajana Rosing

机构 * Department of Computer Science and Engineering（计算机科学与工程系） ； University of California, San Diego (UCSD)（加州大学圣地亚哥分校） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.LG

AI总结 针对现有基准缺乏隐私保护评估的问题，提出CyberMaskQA基准，通过结合人工场景与LLM语义扩展生成带隐私标签的数据集，以评估模型在网络安全问答中的推理与隐私保护能力。

Emotional intelligence in large language models is fragmented across perception, cognition, and interaction

大型语言模型中的情商在感知、认知和交互上存在碎片化

Minghao Lv, Lu Chen, Enchang Zhang, Anji Zhou, Xiaoran Xue, Hanyi Zhang, Fenghua Tang, Zhuo Rachel Han, Mengyue Wu

机构 * X-LANCE Lab（X-LANCE实验室） ； School of Computer Science, Shanghai Jiao Tong University（上海交通大学计算机科学学院） ； MoE Key Lab of Artificial Intelligence（人工智能MOE重点实验室） ； Jiangsu Key Lab of Language Computing（江苏省语言计算重点实验室） ； Beijing Key Laboratory of Applied Experimental Psychology（北京应用实验心理学重点实验室） ； National Demonstration Center for Experimental Psychology Education, Faculty of Psychology, Beijing Normal University（北京师范大学实验心理学教育国家级示范中心，心理学学院） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 本文提出FACET框架，基于Mayer-Salovey-Caruso四分支能力模型评估大型语言模型的情商，发现其并非单一能力，而是在认知和交互维度上碎片化，且隐藏情绪识别是普遍瓶颈。

PEDESTRIANQA: A Benchmark for Vision-Language Models on Pedestrian Intention and Trajectory Prediction

PEDESTRIANQA: 面向行人意图与轨迹预测的视觉-语言模型基准

Naman Mishra, Shankar Gangisetty, C. V. Jawahar

机构 * CVIT, IIIT-Hyderabad, India（IIIT-海得拉巴计算机视觉与智能技术研究所，印度） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 提出大规模视频数据集PedestrianQA，将行人意图和轨迹预测转化为带结构化理由的问答任务，通过微调视觉-语言模型显著提升预测准确性与可解释性。