大模型推理能力

Learning Compositional Meta-Routing for Agentic Workflows: An Executable Benchmark

面向智能体工作流的组合式元路由学习：一个可执行基准

Natan Vidra, Alina Kapanova, Arun Kanhai, Spurthi Setty

专题命中 推理评测 ：reasoning(abstract)；分类 cs.LG

AI总结 本文提出一个智能体工作流的可执行基准和感知预算的组合式元路由器，在保留测试集上实现100%成功率，成本比静态策略低43%，但在词汇偏移挑战任务上表现不佳，凸显词汇泛化是主要限制。

Comments 7 pages, 1 figure; AAAI 2027 anonymous submission

Energy Efficiency of Locally Deployed LLMs: A Preliminary Quantitative GPU Power Benchmark on Consumer Hardware

本地部署大语言模型（LLMs）的能效：消费级硬件上的初步GPU功耗定量基准测试

Philipp M. Zähl, Anika Hennig

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 本文针对9款1B至7B参数的开源LLMs，在RTX 4060Ti 16GB GPU上开展能效基准测试，发现模型架构、量化策略等影响能效，gemma3:1b等模型能效最优，7B-Mistral能效最差，还需区分令牌生成模式。

Data Turnstile: A Scalable Open Framework for Function-Calling Data Generation

Data Turnstile：面向函数调用数据生成的可扩展开源框架

Goutham Ramakrishnan, Megha Sharma

机构 * Amazon AGI（亚马逊AGI） 纠错

专题命中 推理评测 ：chain-of-thought(abstract)；分类 cs.CL

AI总结 该研究提出开源框架Data Turnstile，可基于用户定义API规范生成高质量函数调用合成训练数据，经其微调的小型语言模型在BFCL、τ²-bench等基准上性能大幅提升，缩小了与更大规模模型的差距。

Comments 16 pages

SciFigPlag-Bench: A Benchmark for Provenance-Aware Scientific Figure Plagiarism Detection

SciFigPlag-Bench：面向来源感知的科学图片抄袭检测基准

Zhiying Cui, Minghao Yang, Linlin Gao, Jie Liu, Pengyuan Li

专题命中 推理评测 ：reasoning(abstract)；分类 cs.LG

AI总结 本文提出SciFigPlag-Bench基准，用于科学图片的来源感知抄袭检测，含四类任务，实验发现视觉语言模型在细粒度来源推理等方面仍有挑战。

Comments 30 pages, 18 figures

Model or Harness? An Interaction-Centric Taxonomy for Localizing Agent Failures

模型还是控制？一种以交互为中心的智能体故障定位分类法

Harsh Raj, Vipul Gupta, Anas Mahmoud, Razvan-Gabriel Dumitru, Darvin Yi, Aakash Sabharwal, Yunzhong He

机构 * Scale 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 该研究提出以交互为中心的智能体故障分类法，将故障定位到交互及责任组件，适用于多类智能体架构，经评估具有良好可重复性与结构一致性。

Chain-of-Models: Cross-Model Auditing for Bias-Robust LLM Judges

模型链：面向偏见鲁棒性大语言模型评判器的跨模型审计

Qian Wang, Zhanzhi Lou, Zhenheng Tang, Nuo Chen, Bingsheng He

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 本研究针对LLM评判器的认知偏见问题，提出跨模型审计流程CoM，发现审计器身份的关键作用，制定偏见特异性审计器选择规则，在多模型多偏见实验中取得优于基线的准确率。

Comments WIP

PathView-Bench: Can Multimodal Large Language Models Achieve Fine-grained Multiscale Understanding of Pathology Images?

PathView-Bench：多模态大语言模型能否实现病理图像的细粒度多尺度理解？

Zongyi Chen, Yu Liang, Jie Lin, Liansheng Wang

机构 * National Institute for Data Science in Health and Medicine, Xiamen University（厦门大学健康与医学数据科学国家研究院） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 研究针对现有病理多模态基准的不足，推出PathVU基准，评估发现主流MLLMs在多尺度病理图像细粒度视觉任务上存在显著局限，为相关模型的开发评估提供了可复现基础。

PCAP-LM: An LLM-Native Text Representation for TLS Bulk Traffic Analysis

PCAP-LM：一种用于TLS批量流量分析的LLM原生文本表示

Xavier Marjou, Lucas Tamic, Ilan Jaffeux-Cheniout

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 该研究针对LLM分析TLS流量时的上下文窗口溢出问题，提出PCAP-LM表示，实现812倍压缩，在取证问答任务中准确率达99.3%，但存在TCP重传24%漏检等局限。

Comments 6 pages

ClawTrack: Towards Trace-Level Evaluation and Improvement of Real-World Autonomous Agents

ClawTrack：面向真实世界智能体的追踪级评估与改进

Xingjian Wu, Xuhang Zhu, Xingchen Liu, Junlin Liu, Jianing Wang, Linsen Guo, Xiaoyu Li, Xuezhi Cao, Xunliang Cai

机构 * Meituan（美团） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.LG

AI总结 本研究针对现有智能体评估仅看结果的缺口，提出双评估基准ClawTrack，含320个任务及过程评分器，评估21个模型后发现其可归因推理、验证结果验证瓶颈等，助力智能体改进。

MMHBench: A Multi-Perspective Benchmark for Mental Health Understanding in Long-Form Videos

MMHBench：用于长视频心理健康理解的多视角基准测试集

Jinpeng Hu, Erqiang Wang, Shan Wang, Zhuo Li, Peipei Song, Xun Yang, Meng Wang

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 本文提出MMHBench多视角心理健康理解基准，含268个长视频与2184条问题，采用MAQG框架生成问题，评估22个多模态大语言模型后发现该任务仍具挑战性。

An Empirical Study of Coordination Mode as the First-Class Citizen in From-Scratch Multi-Agent Coding

从零开始多智能体编码中作为一等公民的协作模式的实证研究

Yanyu Ren, Yunfeng Bai, Xizheng Wang, Li Chen, Dan Li

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 本研究构建多智能体编码基准MSEval，发现组织拓扑与模型能力对速度-成本-质量权衡影响相当，结构化流水线表现最优，为多智能体软件开发评估提供严格标准。

Sign Language Question Answering: A New Task, Benchmark, and Baseline for Sign Language Understanding

手语问答：手语理解的新任务、基准与基线模型

Shiwei Gan, Lichen Wang, Xiao Liu, Yafeng Yin, Kuizhuang Liu, Sanglu Lu, Lei Xie

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 该研究提出手语问答新任务，构建基于PHOENIX14T与CSL-Daily的SignQA基准，设计带特定模块的基线模型，实验显示其在各问题类别上优于代表性视觉-语言模型。

Evaluating Agentic Bioinformatics through Function, Evidence, and Validation

通过功能、证据和验证评估智能体生物信息学

Phuc Pham, Truong-Son Hy

专题命中 推理评测 ：planning(abstract)；分类 cs.AI

AI总结 该研究提出FEV框架评估智能体生物信息学，梳理多领域128篇文献后发现规划等进展快于科学验证相关环节，主张应基于工作流正确性评估这类系统

PAUSE: A User-Centric Benchmark for Personal AI Assistants in Unified Service Environments

PAUSE：统一服务环境中面向用户的个人AI助手基准测试

Haoyu Chen, Xirui Shi, Yuyao Wang, Jerry Chen, Di Niu

机构 * University of Alberta（阿尔伯塔大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 研究人员针对现有个人AI助手基准测试的缺陷，提出PAUSE基准测试，采用多机制评估框架，实验发现现有先进模型在相关场景任务完成率不足70%，还提出可扩展生成任务的合成流水线。

Exploring Structures in Physics Problems: Can AI Agents Discover Statistical Mechanical Mappings?

探索物理问题中的结构：AI智能体能否发现统计力学映射？

Wanyu Zhao, Wanbing Zhao

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 本研究以StatMechBench-v0为基准，评估基于LLM的“提出-验证-修正”智能体发现统计力学映射的能力，揭示其推理局限并提出验证栈的设计方向。

Comments Accepted to the AID-Wild workshop at CAIS 2026

RAGuard: A Layered Defense Framework for Retrieval-Augmented Generation Systems Against Data Poisoning

RAGuard：一种针对检索增强生成系统数据中毒的分层防御框架

Pushkal Kumar, Tucker Nielson, Tanish Kolhe, Shubham Zala, Vincent Li

专题命中 推理评测 ：reasoning(abstract)；分类 cs.LG

AI总结 该研究针对RAG系统的语料库中毒攻击，提出分层防御框架RAGuard，含对抗微调检索器与ZKIP两层，可将攻击成功率降至0，且保持检索性能，相关资源已开源。

Comments Accepted to NeurIPS ResponsibleFM 2025, AAAI FrontierIR 2026

ClinLens: Towards Long-Horizon Coding Agents for Longitudinal Multimodal Clinical Data Science

ClinLens：面向纵向多模态临床数据科学的长周期编码智能体

Yuan Zhu, Ethan B. Liu, Frank Nie, Jindong Han

机构 * Shandong University（山东大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 该研究推出CLINLENS基准，包含200项基于5种MIMIC资源的临床可执行任务，实验显示现有编码智能体与生物医学系统在正确临床分析上存在显著差距。

MemLens: A Value-Aware Memory Management System with Interactive Analytics for LLM-based Agents

MemLens：一种用于基于大语言模型的智能体的具有交互式分析的价值感知内存管理系统

Shuyue Wei, Chang Liu, Zimu Zhou, Yongxin Tong, Lizhen Cui

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 研究针对基于LLM的智能体内存管理问题，提出价值感知内存管理系统MemLens，通过端到端交互式分析仪表板展示内存生命周期，经学习助手应用程序帮助用户比较策略，可实现高效、可解释和个性化的长期内存管理。

Messier: A High-Resolution Corpus for Cross-Benchmark Agent Evaluation

梅西耶：用于跨基准智能体评估的高分辨率语料库

Stefan Krsteski, Charlotte Meyer, Guillaume Allegre, Tony O'Halloran, Alexandre Sallinen

机构 * Andromede AI（仙女座人工智能公司） 纠错

专题命中 推理评测 ：verifier(abstract)；分类 cs.AI

AI总结 研究针对智能体评估中任务等碎片化问题，引入梅西耶语料库，整合多基准、智能体、任务和验证器等信息，标准化记录并分类。通过该语料库发现基准进展不均衡，指出多验证器任务评分问题，得出能力量表，为智能体评估提供基础可复用设施。

MARS: Multi-Agent Re-ranking for Repeat-Order Food Delivery Recommendation

MARS：用于重复订单食品配送推荐的多智能体重排

Jiahao Tian, Zhenkai Wang

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 研究针对重复订单食品配送推荐，提出MARS模块化多智能体重排框架，分两阶段推荐，结合多种信号与推理。通过实验评估，贡献包括给出集成框架、证明预训练主干结合轻量级检索有竞争力、建立可重现评估设置。

DisasterTD: Disaster Toponym Disambiguation Using Multimodal LLMs and Cross-View Geolocalization

DisasterTD：使用多模态大语言模型和跨视角地理定位的灾害地名消歧

Wenping Yin, Ziqi Liu, Naixia Mou, Weijia Li, Danfeng Hong, Hao Li

机构 * College of Geodesy and Geomatics, Shandong University of Science and Technology（山东科技大学测绘与地理信息学院） ； School of Environmental Science and Spatial Informatics, China University of Mining and Technology（中国矿业大学环境与测绘学院） ； State Key Laboratory of Information Engineering in Surveying, Mapping and Remote Sensing, Wuhan University（武汉大学测绘遥感信息工程国家重点实验室） ； Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院） ； School of Automation, Southeast University（东南大学自动化学院） ； Department of Geography, National University of Singapore（新加坡国立大学地理系） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 研究针对社交媒体图像地理参考模糊问题，提出DisasterTD框架，集成多模态大语言模型语义推理与跨视角地理定位，在飓风哈维数据集上评估，该方法优于基线，能有效进行细粒度灾害地理定位，提升不同距离下的定位准确率并减少误差。

RRS-10K: A Multitask Vision-Language Model Benchmark for Rare Remote Sensing Image Interpretation

RRS-10K：用于罕见遥感图像解释的多任务视觉语言模型基准测试

Yuqiao Lai, Jiancheng Qi, Fei Wang, Yuxin Liu, Kun Li, Ye Chen, Yan Gao, Yanyan Wei

机构 * Laboratory of Intelligent Language Processing, National University of Defense Technology（国防科技大学智能语言处理实验室） ； Hefei University of Technology（合肥工业大学） ； Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（合肥综合性国家科学中心人工智能研究院） ； United Arab Emirates University（阿联酋大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 针对视觉语言模型在罕见遥感图像解释能力不足的问题，提出RRS-10K基准测试，含军事遥感图像及问答对，构建时引入干扰项过滤策略，评估多个模型，揭示其性能弱点，为开发更可靠的遥感视觉语言模型提供指导。

ERUnderstand: Evaluating Vision-Language Models on Structured ER Diagrams

ERUnderstand：在结构化实体关系图上评估视觉语言模型

Ali Ansari, Yasmin Mohammadi, Farnoush Nili, Parsa Esmaeilkhani, Longin Jan Latecki, Eduard Dragut

机构 * Temple University（天普大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 研究针对实体关系图仅为图像限制AI辅助数据库工程的问题，引入ERUnderstand基准测试。通过对2960个图表及标准化表示评估视觉语言模型，发现常见元素恢复良好，但特定元素性能差，推理增强模型可提升性能，为评估多模态理解提供基准。

Agentic Permissions Policy Algebra for Taint Confinement in LLM Agents

用于大语言模型代理中污点限制的代理权限策略代数

Arseny Kravchenko, Vadim Liventsev, Innokentii Konstantinov, Ildar Iskhakov, Matvey Kukuy

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 研究大语言模型代理处理混合机密数据时的安全风险，提出APPA框架，通过引擎管理上下文分支等解决可用性瓶颈，经双幺半群模型证明相关特性，实验表明其能抑制数据泄露并恢复部分被污点跟踪损失的效用。

Comments Preprint. Submitted to the 19th ACM Workshop on Artificial Intelligence and Security (AISec '26). 10 pages, 2 tables, 1 figure

INS-ActBench: A Comprehensive Benchmark for Assessing Professional Actuarial Capability of Large Language Models

INS-ActBench：一个用于评估大语言模型专业精算能力的综合基准

Changyu Chen, Chenwei Lin, Xian Xu

机构 * Fudan University（复旦大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 介绍INS-ActBench这一综合基准评估大语言模型专业精算能力，含12050个问答对及三个子集，通过实验揭示前沿大语言模型在不同方面的能力表现，为精算大语言模型开发提供可重复基础。

Comments 18 pages, including appendices; 11 figures and 12 tables

Success Is Not Self-Explanatory: Auditing Success Provenance in Agent Evaluation

成功并非不言自明：在智能体评估中审核成功溯源

Jingkun Luo, Da-Tian Peng

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 研究智能体评估中成功溯源问题，通过AcquaBench的匹配值替换和聚类分析审核，在不同场景测试，发现成功与正确值相关，行为依赖可能超出预期，模型比较有分数差距变化，建议基准报告成功及信息状态支持情况。

Comments 17 pages, 3 figures, including supplementary material. Code: https://github.com/luojingkun22/acquabench

Confidently Wrong: Exception Chain Collapse in Frontier LLM Rule Evaluation

确信错误：前沿大语言模型规则评估中的异常链崩溃

Paul Simpson, John Kozak, Lisa Doake

机构 * Aethis 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 研究前沿大语言模型在规则评估中异常链崩溃问题，提出神经符号架构Aethis资格模块，通过多方面验证，将不确定性从推理边界转移到规范边界，且相关内容公开可重现。

Comments 43 pages, 9 figures. Working paper v3.13.0. Benchmark data, rule encodings and per-case result artefacts: https://github.com/Aethis-ai/confidently-wrong-benchmark

SQBench: A Benchmark for Evaluating Task Delivery by Language-Model Agents in Production-Oriented Workflows

SQBench：用于评估面向生产工作流程中语言模型代理任务交付的基准测试

Summer Sun

机构 * Shaqiu Community（沙丘社区） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 研究面向生产工作流程中语言模型代理任务交付评估问题，核心方法是引入SQBench基准测试，包含多种任务并按特定方式评估，主要贡献是揭示功能完成度不能完全体现交付质量，风险判定需单独报告。

Comments 17 pages, 8 figures. Code and aggregate results: https://github.com/shaqiu-ai/SQBench

Chart Deception in Vision-Language Models: From Vulnerability to Mitigation

视觉语言模型中的图表欺骗：从漏洞到缓解

Ridwan Mahbub, Mohammed Saidul Islam, Md Tahmid Rahman Laskar, Mizanur Rahman, Mir Tafseer Nayeem, Enamul Hoque

机构 * York University（约克大学） ； University of Alberta（阿尔伯塔大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 研究视觉语言模型对图表欺骗的鲁棒性，引入VisDeception基准和欺骗分数，发现模型易受影响，提出推理时多智能体缓解框架，揭示可靠性差距，确立相关评估及推理方向以开发更可信的视觉分析VLM。

A didactical-driven teacher assistant for a dimensional modeling course

面向维度建模课程的教学驱动型教师助手

Laurent Brisson, Maria Segarra, Grégory Smits

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 针对维度建模课程，提出教学驱动型教师助手，无需商业大语言模型预算或GPU设施。架构含确定性模块处理多任务，大语言模型作语言执行器。评估学生问题发现标准检索不足，确定性管道精度高但覆盖有限，为教学策略提供新思路。

Journal ref International Conference on Computer Supported Education, May 2026, Benidorm/Spain, France. pp.177-189