大模型推理能力

MaskClaw: Edge-Side Personalized Privacy Arbitration for GUI Agents with Behavior-Driven Skill Evolution

MaskClaw: GUI代理的边端个性化隐私仲裁与行为驱动技能进化

Yanqiu Zhao, Dongying Zheng, Kaibo Huang, Yukun Wei, Zhongliang Yang, Linna Zhou

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 提出MaskClaw，一种在边端进行隐私仲裁的GUI代理框架，通过本地视觉证据提取、策略记忆检索和沙箱门控的技能进化，在截图离开信任环境前决定允许、遮蔽或询问，解决了静态PII检测和云端推理的隐私边界问题。

Comments Preprint. Submitted to EMNLP 2026. 21 pages, including appendices; 5 figures Under review. Yanqiu Zhao and Dongying Zheng contributed equally to this work

ClimAgent: LLM as Agents for Autonomous Open-ended Climate Science Analysis

ClimAgent：基于大语言模型的自主开放式气候科学分析智能体

Hao Wang, Jindong Han, Wei Fan, Hao Liu

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 提出ClimAgent框架，通过统一工具使用环境和严格推理协议，实现端到端建模与分析，在ClimaBench基准上相比原始LLM方案提升40.21%。

Comments It was submitted without the full consent of all co-authors

KernelCraft: Benchmarking for Agentic Close-to-Metal Kernel Generation on Emerging Hardware

KernelCraft: 面向新兴硬件的近底层内核生成的智能体基准测试

Jiayi Nie, Haoran Wu, Yao Lai, Zeyu Cao, Cheng Zhang, Binglei Lou, Erwei Wang, Jianyi Cheng, Timothy M. Jones, Robert Mullins, Rika Antonova, Yiren Zhao

机构 * Department of Computer Science and Technology, University of Cambridge, Cambridge, United Kingdom（计算机科学与技术系，剑桥大学，剑桥，英国） ； Department of Electrical and Electronic Engineering, Imperial College London, London, United Kingdom（电气与电子工程系，伦敦帝国理工学院，伦敦，英国） ； School of Informatics, University of Edinburgh, Edinburgh, United Kingdom（信息学院，爱丁堡大学，爱丁堡，英国） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.LG

AI总结 提出KernelCraft基准，通过函数调用和反馈驱动的工作流评估LLM智能体为新兴加速器生成和优化底层内核的能力，在多个任务上验证其能快速生成正确且高效的内核。

Goldfish: Monolingual Language Models for 350 Languages

Goldfish: 面向350种语言的单语语言模型

Tyler A. Chang, Catherine Arnett, Zhuowen Tu, Benjamin K. Bergen

机构 * Department of Cognitive Science（认知科学系） ； Department of Linguistics（语言学系） ； Department of Computer Science（计算机科学系） ； University of California San Diego（加州大学圣地亚哥分校） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 针对低资源语言，发现大型多语言模型在基本语法生成上不如双元模型，而小规模单语模型在困惑度和语法性基准上表现更优，并发布了覆盖350种语言的1000多个单语模型套件Goldfish。

Comments LREC 2026

SPM-Bench: Benchmarking Large Language Models for Scanning Probe Microscopy

SPM-Bench：面向扫描探针显微镜的大型语言模型基准测试

Peiyao Xiao, Xiaogang Li, Xinyi Gao, Chengliang Xu, Ben Wang, Zichao Chen, Zeyu Wang, Lin Qu, Bing Zhao, Hu Wei

机构 * Alibaba Group（阿里巴巴集团） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 提出SPM-Bench，一个全自动数据合成管道和严格评估指标（SIP-F1），用于测试LLMs在扫描探针显微镜领域的推理能力，并首次量化模型“个性”。

DTBench: A Synthetic Benchmark for Document-to-Table Extraction

DTBench：文档到表格提取的合成基准

Yuxiang Guo, Zhuoran Du, Nan Tang, Kezheng Tang, Congcong Ge, Yunjun Gao

机构 * Zhejiang University（浙江大学） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）） ； The Hong Kong University of Science（香港科学与技术大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 提出DTBench合成基准，通过反向Table2Doc范式和多智能体合成流程生成文档，系统评估LLM在文档到表格提取中的多种能力。

Comments KDD26

The Illusion of Generalization in Tabular Language Models

表格语言模型中的泛化错觉

Aditya Gorla, Ratish Puduppully

机构 * University of California, Los Angeles, USA（加州大学洛杉矶分校） ； IT University of Copenhagen, Denmark（哥本哈根IT大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.LG

AI总结 通过系统评估Tabula-8B在165个数据集上的表现，发现其声称的泛化能力主要源于评估伪影（如数据污染和格式熟悉度），而非真正的表格推理。

Journal ref In Proc. 43th International Conference on Machine Learning (ICML 2026)

ProjectionBench: Evaluating Scientific Hypothesis Generation in LLMs Under Progressive Information Disclosure

ProjectionBench: 在渐进信息揭示下评估大语言模型的科学假设生成

A. J. Lew, Y. Cao, M. J. Buehler

机构 * Unreasonable Labs 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 提出ProjectionBench框架，通过渐进式信息揭示评估大语言模型在科学发现中的创新性和推理能力，实验表明GPT-5.4在最小上下文下仍保持0.7 F1分数与真实结论对齐。

Comments 19 pages, 4 figures

Selective QA over Conflicting Multi-Source Personal Memory: A Diagnostic Testbed and Method Comparison

冲突多源个人记忆上的选择性问答：诊断性测试平台与方法比较

Tiancheng Yang, Matthias Schonlau, Ilia Sucholutsky

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 针对多源冲突记忆的选择性问答问题，构建了包含34,560个实例的诊断基准，评估了多种方法，发现结构化融合方法在准确性和选择性上优于纯提示LLM。

Comments 55 pages, 5 figures

Redundant or Necessary? A Benchmark for Detecting Redundant Steps in Agent Trajectories

冗余还是必要？检测智能体轨迹中冗余步骤的基准

Minyang Hu, Bo Yang, Zhinuo Zhou, Jiachen Liang, Guo Jiahao, Yiyang Yin, Xiongwei Han

机构 * Huawei Technologies（华为技术有限公司） ； Noah Arks’ Lab（Noah Arks实验室） ； Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 针对LLM智能体轨迹中的冗余步骤检测问题，提出RedundancyBench基准，包含标注轨迹的数据集，并评估三种方法，发现最佳方法仅达到24.88%的检测分数。

Citation-Closure Retrieval and Per-Rule Attribution for Real-World Regulatory Compliance Question Answering

引用闭包检索与逐规则归因：面向真实世界法规合规问答

Yeong-Joon Ju, Seong-Whan Lee

机构 * Department of Artificial Intelligence, Korea University（韩国大学人工智能系） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 针对法规合规问答中多层级权威结构的引用追踪难题，提出基于操作知识图谱的基准RegOps-Bench和统一框架RefWalk，通过共享主题锚点遍历跨文档引用、多视角候选融合及逐规则归因，显著提升检索召回率和引用准确性。

Comments Under Review

Mind-Omni: A Unified Multi-Task Framework for Brain-Vision-Language Modeling via Discrete Diffusion

Mind-Omni：通过离散扩散实现脑-视觉-语言建模的统一多任务框架

Yizhuo Lu, Changde Du, Qingyu Shi, Hang Chen, Jie Peng, Liuyun Jiang, Shuangchen Zhao, Huiguang He

机构 * NeuBCI Lab, State Key Laboratory of Brain Cognition ； Brain-inspired Intelligence Technology, Institute of Automation, Chinese Academy of Sciences, Beijing, China ； School of Future Technology, University of Chinese Academy of Sciences, Beijing, China ； School of Artificial Intelligence, University of Chinese Academy of Sciences, Beijing, China ； Zhongguancun Academy, Beijing, China ； Peking University, Beijing, China 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 提出Mind-Omni框架，利用离散扩散范式统一七种编码与解码任务，通过脑分词器将连续脑信号转化为离散令牌，实现多模态交互，并构建脑问答指令调优数据集，在多项任务上达到或超越专用模型性能。

Benchmarking and Mitigating Sycophancy in Medical Vision Language Models

医疗视觉语言模型中的谄媚行为基准测试与缓解

Juangui Xu, Zikun Guo, Jingwei Lv, Hongbin Lin, Shu Yang, Jun Wen, Di Wang, Lijie Hu

机构 * MBZUAI ； Saarland University（萨尔兰大学） ； HKUST(GZ)（香港科技大学（广州）） ； KAUST（卡塔尔大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 针对医疗视觉语言模型中的谄媚问题，提出分层医疗视觉问答基准和VIPER策略，通过过滤非证据社会线索减少谄媚，提升模型鲁棒性。

Comments 19figures, 61pages. The first two authors contributed equally

From Blind Guess to Informed Judgment: Teaching LLMs to Evaluate Materials by Building Knowledge-Augmented Preference Signals

从盲目猜测到知情判断：通过构建知识增强的偏好信号教会LLM评估材料

Yeyong Yu, Wenya Hu, Xing Wu, Quan Qian

机构 * School of Computer Engineering & Science, Shanghai University（上海大学计算机工程与科学学院） ； Center of Materials Informatics and Data Science, Materials Genome Institute, Shanghai University（上海大学材料信息与数据科学中心） ； Key Laboratory of Silicate Cultural Relics Conservation (Shanghai University), Ministry of Education, China（教育部硅酸盐文化 relics 保护重点实验室（上海大学）） ； Shanghai Institute for Advanced Communication and Data Science, Shanghai University（上海大学高级通信与数据科学研究院） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 提出知识增强偏好信号框架MaterEval，通过成对偏好数据引导大语言模型从直觉判断转向基于证据的可靠评估，并引入快慢推理方案平衡吞吐量、成本和可靠性，在高熵合金评估中验证了有效性。

Comments 33 pages, 5 figures

Comparative Evaluation of Machine Translation Systems on Images with Text

含文本图像的机器翻译系统比较评估

Blai Puchol, Sergio Gómez González, Miguel Domingo, Francisco Casacuberta

机构 * ValgrAI - Valencian Graduate School and Research Network for Artificial Intelligence（ValgrAI - 瓦伦西亚人工智能研究生学院和研究网络） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 本研究比较评估了三种机器翻译范式（模块化流水线、多模态大语言模型和端到端模型Translatotron-V）在含文本图像翻译任务上的性能，发现多模态大语言模型表现最佳。

Benchmarking Large Vision-Language Models on CFMME: A Comprehensive Chinese Financial Multimodal Evaluation Dataset

大型视觉语言模型在CFMME上的基准测试：一个全面的中文金融多模态评估数据集

Qian Chen, Xianyin Zhang, Yanzhi Liu, Lifan Guo, Feng Chen, Chi Zhang

机构 * Qwen DianJin Team, Alibaba Cloud Computing（文言金团队，阿里云计算） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 提出CFMME，一个包含6052个实例的中文金融多模态评估基准，涵盖八种主要金融图像模态和四项核心多模态任务，用于评估LVLMs在金融业务全流程中的感知、理解、推理和认知能力。

CrystalXRD-Bench: Benchmarking Vision-Language Models for XRD Peak Indexing Across Diverse Crystalline Materials

CrystalXRD-Bench：面向多种晶体材料的XRD峰索引的视觉-语言模型基准测试

Chengliang Xu, Xiaogang Li, Peiyao Xiao, Beng Wang, Hu Wei, Bing Zhao

机构 * Alibaba Group（阿里巴巴集团） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 提出CrystalXRD-Bench基准，通过250个样本评估视觉-语言模型从粉末XRD图谱中识别米勒指数（HKL）的能力，发现最佳模型Jaccard得分仅0.5888，任务远未解决。

Comments 18 pages, 10 figures

Rethinking Post-Training Recipes for Multimodal Time-Series Forecasting

重新思考多模态时间序列预测的后训练方法

Haoxin Liu, Yichen Zhou, Rajat Sen, B. Aditya Prakash, Abhimanyu Das

机构 * Georgia Institute of Technology（佐治亚理工学院） ； Google Research（谷歌研究） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.LG

AI总结 提出PostTime后训练方法，结合监督微调和基于可验证奖励的强化学习，利用大语言模型根据多模态上下文修正数值时间序列基础模型的预测，显著提升多模态时间序列预测性能。

SCDBench: A Benchmark for LLM-Based Smart Contract Decompilers

SCDBench: 基于大语言模型的智能合约反编译基准

Kaihua Qin, Dawn Song, Arthur Gervais

机构 * University of Warwick（沃里克大学） ； UC Berkeley（伯克利大学） ； University College London（伦敦大学学院） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 针对现有智能合约反编译评估缺乏统一基准的问题，提出SCDBench数据集与评估方法，通过四阶段累积评估（格式完整性、可编译性、ABI恢复、语义一致性）测试前沿LLM的反编译能力，发现语义一致性仍远未解决。

AsyncTool: Evaluating the Asynchronous Function Calling Capability under Multi-Task Scenarios

AsyncTool: 多任务场景下异步函数调用能力的评估

Kou Shi, Ziao Zhang, Shiting Huang, Avery Nie, Zhen Fang, Qiuchen Wang, Lin Chen, Huaian Chen, Zehui Chen, Feng Zhao

机构 * University of Science and Technology of China（中国科学技术大学） ； University of Toronto（多伦多大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 提出AsyncTool基准，通过模拟工具响应延迟的多任务环境，评估基于大语言模型的智能体在异步工具调用中的任务协调与效率。

Comments https://github.com/StoKou/repo-asynctool

IntentScore: Intent-Conditioned Action Evaluation for Computer-Use Agents

IntentScore: 面向计算机使用智能体的意图条件动作评估

Rongqian Chen, Yu Li, Zeyu Fang, Sizhe Tang, Weidong Cao, Tian Lan

机构 * George Washington University（乔治·华盛顿大学） 纠错

专题命中 推理评测 ：planning(abstract)；分类 cs.AI

AI总结 提出IntentScore，一种基于计划感知的奖励模型，通过对比对齐和边际排序学习评估动作质量，在OSWorld上提升任务成功率6.9个百分点。

Benchmarking LLM-Assisted Blue Teaming via Standardized Threat Hunting

通过标准化威胁狩猎评估LLM辅助蓝队

Yuqiao Meng, Luoxi Tang, Feiyang Yu, Xi Li, Guanhua Yan, Ping Yang, Zhaohan Xi

机构 * State University of New York at Binghamton（纽约州立大学布ingham顿分校） ； University of Alabama at Birmingham（阿拉巴马大学伯明翰分校） ； Duke University（杜克大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 本文提出CyberTeam基准，通过构建标准化工作流和模块化操作步骤，评估大语言模型在蓝队威胁狩猎中的有效性，并揭示标准化设计带来的改进与开放式推理的局限性。

Comments ICML'26

Do Agents Know What They Can't Do? Evaluating Feasibility Awareness in Tool-Using Agents

智能体知道它们不能做什么吗？评估使用工具的智能体的可行性意识

Liang Cheng, Mingsheng Cai, Jiuming Jiang, Luo Mai

机构 * University of Edinburgh（爱丁堡大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 提出FeasiGen自动构建不可行任务管道，通过屏蔽关键工具将可解任务转为不可解，评估发现多数模型缺乏可行性检测能力，错误继续率高达73.9%。

Comments 14 pages

From Knowing to Doing: A Memory-Controlled Benchmark for LLM Trading Agents on Stock Markets

从知道到做到：面向LLM股票市场交易智能体的记忆控制基准

Taojie Zhu, Wentao Zhao, Rui Sun, Beidi Luan, Jiacheng Lu, Sinuo Wang, Jing Li, Daxin Jiang, Yonghong He, Zuo Bai

机构 * Tsinghua University（清华大学） ； Stepfun ； FinStep ； Shanghai Jiao Tong University（上海交通大学） ； Adelaide University（阿德莱德大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 针对LLM交易智能体评估中的知识泄露和收益归因问题，提出KTD-Fin基准，通过数据掩码和Barra风格归因框架，分离市场记忆与投资决策，并揭示收益主要来自被动市场暴露而非选股能力。

Harness-Bench: Measuring Harness Effects across Models in Realistic Agent Workflows

Harness-Bench: 在真实智能体工作流中测量不同模型的框架效应

Yilun Yao, Xinyu Tan, Chao-Hsuan Liu, Yaoming Li, Zhengyang Wang, Wenhan Yu, Zhewen Tan, Yuxuan Tian, Guangxiang Zhao, Lin Sun, Xiangzheng Zhang, Tong Yang

机构 * Peking University（北京大学） ； Qiyuan Tech（启元科技） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 提出Harness-Bench基准，通过106个沙盒离线任务评估不同模型与框架配置组合下的执行性能，发现智能体能力应归因于模型-框架配置而非基础模型。

Comments 16 pages, 4 figures, 11 tables. The first three authors contributed equally

Playing with Words, Improving with Rewards: Training Language Models for Creative Association

玩文字游戏，用奖励改进：训练语言模型进行创意联想

Vijeta Deshpande, Namrata Shivagunde, Sherin Muckatira, Hadrien Glaude, Mikhail Gronas, Claire Stevenson, Roger Beaty, Anna Rumshisky

机构 * University of Massachusetts Lowell（马萨诸塞大学洛市分校） ； Dartmouth College（达特茅斯学院） ； University of Amsterdam（阿姆斯特丹大学） ； Pennsylvania State University（宾夕法尼亚州立大学） ； Amazon AGI（亚马逊人工智能研究院） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 本研究通过强化学习与可验证奖励（RLVR）在Codenames游戏上训练LLM，探索了规模依赖的精确度-创造力权衡，发现8B模型在保持推理能力的同时提升创造力，而小模型则牺牲创造力换取推理精度。

EgoBench: An Interactive Egocentric Multimodal Benchmark for Tool-Using Agents

EgoBench：面向工具使用智能体的交互式自我中心多模态基准

Yunqi Liu, Tong Niu, Zitong Wang, Zhenlong Dai, Yuqi Qing, Weiqiang Wang, Jian Liu

机构 * Ant Group（蚂蚁集团） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 提出EgoBench，首个交互式自我中心多模态基准，通过1045个自我中心视频任务和用户-智能体-工具交互环境，联合评估视觉感知、工具增强多跳推理和动态交互能力，揭示当前最先进模型性能上限（平均准确率19.43%）。

Comments 68 pages, 6 figures

DeepSciVerify: Verifying Scientific Claim--Citation Alignment via LLM-Driven Evidence Escalation

DeepSciVerify: 通过LLM驱动的证据升级验证科学声明与引文对齐

Shaghayegh Sadeghi, Khashayar Khajavi, Rise Adhikari, Alexander Tessier

机构 * School of Computing Science, Simon Fraser University（西蒙弗雷泽大学计算科学学院） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 提出DeepSciVerify两阶段流水线，结合摘要推理与选择性升级到段落证据，在SCitance基准上以86.7 Micro-F1超越纯摘要基线4.5点，同时67%实例无需全文检索。

Chain-based Adaptive Reconfiguration Over Lattices for Hallucination Reduction

基于格点链式自适应重配置以减少幻觉

Joan Vendrell Gallart, Solmaz Kia, Russell Bent, Michael Grosskopf

机构 * Department of Mechanical and Aerospace University of California Irvine（机械与航空航天系加州大学伊文斯顿分校） ； Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 提出CAROL框架，通过定义语义不确定性度量并在文本序列格点上构建串子模目标，将幻觉缓解转化为马尔可夫链接受-拒绝过程，实现测试时幻觉减少。

Gradient Transformer: Learning to Generate Updates for LLMs

梯度变换器：学习为大语言模型生成更新

Binh-Nguyen Nguyen, Khang Tran, NhatHai Phan, Issa Khalil

机构 * Department of Data Science, New Jersey Institute of Technology, Newark, NJ, USA（数据科学系，新泽西理工学院，新泽西州诺克斯维尔） ； Qatar Computing Research Institute, HBKU, Doha, Qatar（卡塔尔计算研究所，HBKU，多哈） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.LG

AI总结 提出一种无数据知识蒸馏框架，利用梯度变换器将微调后小语言模型的更新向量转换为大语言模型的更新向量，实现无需私有数据即可更新大模型。

Comments Accepted at ICML 2026