大模型推理能力

PALoRA: Projection-Adaptive LoRA for Preserving Reasoning in Large Language Models

PALoRA: 投影自适应LoRA以保持大型语言模型的推理能力

Mustafa Hayri Bilgin, Mariam Barry, Albert Bifet, Azzedine Idir Ait Said, Soumya Banerjee

机构 * IT Group, Research, BNP Paribas（BNP巴黎研究院IT部门） ； LTCI, Télécom Paris, Institut Polytechnique de Paris（巴黎理工大学LTCI研究所） ； AI Institute, University of Waikato（瓦卡托大学人工智能研究所） ； Independent Researcher（独立研究员） 纠错

专题命中 推理评测 ：reasoning(title,abstract)；分类 cs.AI

AI总结 提出PALoRA框架，通过奇异值微调（SVF）识别推理关键成分，并在正交约束下使用LoRA注入知识，以在保持推理能力的同时高效更新事实知识。

Can MLLMs Reason Beyond Language? VisReason: A Comprehensive Benchmark for Vision-Centric Reasoning

MLLMs 能否超越语言进行推理？VisReason：一个面向视觉中心推理的综合基准

Longteng Guo, Yifan Wang, Pengkang Huo, Tailai Chen, Yuze Wu, Jing Liu, Xinxin Zhu

机构 * Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） 纠错

专题命中 推理评测 ：reasoning(title,abstract)

AI总结 提出 VisReason 基准，包含 1505 个日常场景问题，评估多模态大模型在视觉中心推理上的表现，揭示人类与模型间的显著差距。

Comments Accepted by ACL 2026 Findings, resources released at https://github.com/CASIA-IVA-Lab/VisReason

Med-R2: An Adversarial Benchmark for Evidence-Grounded Reasoning in Medical VLMs

Med-R2: 面向医学视觉语言模型中基于证据推理的对抗性基准

Wen Ma, Fucheng Niu, Zhiting Fan, Zikai Xiao, Jiaxiang Liu, Zuozhu Liu

机构 * Zhejiang University（浙江大学） ； Guangdong Institute of Intelligence Science and Technology（广东智能科学技术研究院） 纠错

专题命中 推理评测 ：reasoning(title,abstract)

AI总结 提出 Med-R2 Bench，一个分层对抗性基准，通过逐步QA任务和对抗扰动评估医学VLM在临床工作流中的视觉证据推理鲁棒性。

QUIET: A Multi-Blank Cascaded Story Cloze Benchmark for LLM Creative Generation Capability

QUIET: 面向LLM创意生成能力的多空白级联故事完形填空基准

Bo Zou, Chao Xu

专题命中 推理评测 ：reasoning(abstract)；logical reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出QUIET基准，通过多空白级联故事完形填空和基于信息论的自动评分协议，客观评估大语言模型的创意生成能力。

An Empirical Evaluation of LLM-Generated Code Security Across Prompting Methods

LLM生成代码安全性的提示方法实证评估

Mohammed Kharma, Ahmed Sabbah, Mohammad Alkhanafseh, Mohammad Hammoudeh, David Mohaisen

机构 * Department of Computer Science, Birzeit University（计算机科学系，巴勒斯坦比泽大学） ； King Fahd University of Petroleum and Minerals（国王法赫德石油和矿物大学） ； University of Central Florida（中央佛罗里达大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；chain-of-thought(abstract)；分类 cs.AI、cs.LG

AI总结 通过跨5个LLM和4种编程语言的实证评估，提出弱点感知零样本链式思考（WA-0CoT）提示策略，发现提示方法虽影响弱点类别分布，但无法显著降低漏洞频率或密度。

Comments 40 pages, 22 tables, 8 figures

Faithfulness Metrics Don't Measure Faithfulness: A Meta-Evaluation with Ground Truth

忠实性指标并不衡量忠实性：基于真实标签的元评估

Yoav Gur-Arieh, Ana Marasović, Mor Geva

机构 * Tel Aviv University（特拉维夫大学） ； University of Utah（犹他大学） 纠错

专题命中 推理评测 ：CoT(abstract,abstract_cn)；分类 cs.CL

AI总结 针对思维链忠实性度量缺乏真实标签验证的问题，构建了包含真实忠实性标签的数据集BonaFide，系统评估现有指标，发现多数指标表现接近随机、存在偏差且计算成本高。

SaaS-Bench: Can Computer-Use Agents Leverage Real-World SaaS to Solve Professional Workflows?

SaaS-Bench：计算机使用代理能否利用真实世界SaaS解决专业工作流程？

Kean Shi, Zihang Li, Tianyi Ma, Zengji Tu, Jialong Wu, Xinbo Xu, Qingyao Yang, Ruoyu Wu, Weichu Xie, Ming Wu, Jason Zeng, Michael Heinrich, Elvis Zhang, Liang Chen, Kuan Li, Baobao Chang

机构 * UniPat AI ； PKU（北京大学） ； HKU（香港大学） ； G Labs（0G实验室） ； Pipeline Lab（Pipeline实验室） 纠错

专题命中 推理评测 ：reasoning(abstract)；planning(abstract)；分类 cs.AI

AI总结 提出SaaS-Bench基准，包含23个可部署SaaS系统和106个真实工作场景任务，评估计算机使用代理在长期规划、跨应用协调等能力上的表现，发现最强模型端到端任务完成率不足4%。

Comments 24 pages, 11 figures

When the Manual Lies: A Realistic Benchmark to Evaluate MCP Poisoning Attacks for LLM Agents

当手册撒谎：评估LLM智能体MCP投毒攻击的现实基准

Shi Liu, Xuehai Tang, Xikang Yang, Liang Lin, Biyu Zhou, Wenjie Xiao, Wantao Liu

机构 * Institute of Information Engineering, Chinese Academy of Sciences, Beijing, China（中国科学院信息工程研究所） ； School of Cyber Security, University of Chinese Academy of Sciences, Beijing, China（中国科学院大学网络安全学院） 纠错

专题命中 推理评测 ：planning(abstract)；self-correction(abstract)；分类 cs.AI

AI总结 针对LLM智能体通过模型上下文协议（MCP）集成外部工具时面临的工具描述投毒（TDP）攻击，提出MCP-TDP安全基准，包含32个真实测试用例，评估8种主流LLM发现严重漏洞，并提出反应性自我纠正防御机制。

The Growing Pains of Frontier Models: When Leaderboards Stop Separating and What to Measure Next

前沿模型的成长之痛：当排行榜不再区分以及接下来衡量什么

Adil Amin

机构 * Zehen Labs（泽亨实验室） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文通过分解SWE-bench和GPQA Diamond分数为种群耦合趋势和每版本残差（h场），诊断前沿模型能力之间的协作与权衡，并提供三步诊断法、每实验室测量优先级表及七个可证伪预测。

Comments 13 pages, 5 figures, 4 tables. Companion paper: "Lying Is Just a Phase: The Hidden Alignment Transition in Language Model Scaling." ( https://doi.org/10.48550/arXiv.2605.18838 ). Code: https://github.com/adilamin89/cape-scaling . Dashboard: https://zehenlabs.com/cape/

AI-Assisted Systematization for Evaluating GenAI Systems

AI辅助的系统化方法用于评估生成式AI系统

Dhruv Agarwal, Emily Sheng, Chad Atalla, Jean Garcia-Gathright, Hussein Mozannar, Hannah Washington, Alexandra Chouldechova, Solon Barocas, Hanna Wallach

机构 * Cornell University（康奈尔大学） ； Microsoft Research（微软研究院） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 针对生成式AI评估中概念模糊的问题，提出AI辅助系统化方法，通过概念规范和验证工作表生成可衡量的概念规范，并评估其内容效度和信息可恢复性。

Causal Tongue-Tie: LLMs Can Encode Causal Direction, But Their Yes/No Outputs Fail to Express

因果舌结：LLMs 能编码因果方向，但其是/否输出无法表达

Ziyi Ding, Xiao-Ping Zhang

机构 * Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 研究发现大语言模型在因果问题上存在内部编码与输出不匹配的现象，通过线性探针可从隐藏状态恢复证据支持的答案（准确率约0.97），但口头是/否回答却退化为常识答案（准确率约0.5），揭示了约+0.5的差距，称为“因果舌结”。

When Self-Belief Misleads: Active Label Acquisition for Reinforcement Learning with Verifiable Rewards

当自我信念误导：面向可验证奖励的强化学习的主动标签获取

Li Wang, Xiaodong Lu, Xiaohan Wang, Yikun Ban, Jiajun Chai, Wei Lin, Tianhao Peng, Guojun Yin

机构 * Meituan（美团） ； Beihang University（北京航空航天大学） ； Nanyang Technological University（新加坡国立大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.LG

AI总结 提出RLAVR框架，通过主动获取少量真实标签并与伪标签结合，利用CAG指标和CARE策略稳定训练并提升有限标注预算下的性能。

BacktestBench: Benchmarking Large Language Models for Automated Quantitative Strategy Backtesting

BacktestBench：面向自动化量化策略回测的大语言模型基准测试

Zhensheng Wang, Wenmian Yang, Qingtai Wu, Lequan Ma, Yiquan Zhang, Weijia Jia

机构 * Beijing Normal University（北京师范大学） ； Elmleaf Ltd.（Elmleaf公司） 纠错

专题命中 推理评测 ：planning(abstract)；分类 cs.CL、cs.AI

AI总结 提出首个大规模自动化量化回测基准BacktestBench，包含18,246个问答对，并设计多智能体基线AutoBacktest，通过协调摘要器、检索器和编码器实现自然语言策略到可重复回测的转换。

Comments This paper has been accepted by KDD 2026 (Datasets and Benchmarks Track)

All Leaks Count, Some Count More: Interpretable Temporal Contamination Detection and Mitigation in LLM Backtesting

所有泄漏都重要，有些泄漏更重要：LLM回测中可解释的时间污染检测与缓解

Zeyu Zhang, Ryan Chen, Bradly C. Stadie

机构 * Department of Statistics and Data Science, Northwestern University（统计与数据科学系，西北大学） ； Bridgewater AIA Labs（布里奇沃特AIA实验室） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 提出基于Shapley值的声明级评估框架Shapley-DCLR和推理时架构TimeSPEC，用于检测和缓解LLM回测中的时间污染问题。

Comments 8 pages plus appendix

TS-Skill: A Benchmark for Evaluating Analytical Skills in Time-Series Question Answering

TS-Skill: 用于评估时间序列问答中分析技能的基准

Liying Han, Kang Yang, Oliver Wang, Jason Wu, Pengrui Quan, Gaofeng Dong, Ozan Baris Mulayim, Sizhe Ma, Yuyang Yuan, Dezhi Hong, Mario Berges, Mani Srivastava

机构 * University of California, Los Angeles（加州大学洛杉矶分校） ； Samsung Research America（三星美国研究院） ； Carnegie Mellon University（卡内基梅隆大学） ； Microsoft（微软） ； Amazon（亚马逊） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 提出TS-Skill基准，通过三种可组合的分析技能（时间尺度选择、时间定位和跨区间整合）来诊断时间序列问答中模型的信号级能力，并开发SKEvol框架自动构建基准，实验揭示不同技能上的能力差距。

MDIA: A Multi-Agent Diagnostic Intelligence Pipeline on HealthBench Professional

MDIA：HealthBench Professional上的多智能体诊断智能流水线

Roberto Cruz, David Rey-Blanco

机构 * TietAI 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 提出MDIA多智能体诊断系统，通过7节点专业路由临床推理图架构，在非微调LLM上实现HealthBench Professional基准性能提升3.72个百分点，归因于系统架构设计而非提示工程。

Comments 33 pages, 10 figures

QASA: Quality-Aware Semantic Augmentation for Robust Multimodal Sentiment Analysis

QASA: 面向鲁棒多模态情感分析的质量感知语义增强

Jiazhang Liang, Jianheng Dai, Miaosen Luo, Menghua Jiang, Sijie Mai

机构 * School of Computer Science, South China Normal University（华南师范大学计算机学院） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 提出QASA框架，利用扩散模型生成视觉和听觉增强样本，并通过解耦质量感知评分模块分配训练权重，以解决高质量数据稀缺问题，提升多模态情感分析的鲁棒性和泛化能力。

Comments 11 pages, 4 figures

IPR-1: Interactive Physical Reasoner

IPR-1：交互式物理推理器

Mingyu Zhang, Lifeng Zhuo, Tianxi Tan, Guocan Xie, Xian Nie, Yan Li, Renjie Zhao, Zizhu He, Ziyu Wang, Jiting Cai, Yong-Lu Li

机构 * CARNEGIE MELLON UNIVERSITY（卡内基梅隆大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 提出IPR模型，通过世界模型滚动评分和强化VLM策略，结合物理中心动作代码PhysCode，在1000+异构游戏基准上实现鲁棒的物理推理，性能超越GPT-5并零样本迁移至未见游戏。

Comments Accepted by CVPR 2026. 13 pages of main text and 20 pages of appendices. Project page: https://mybearyzhang.github.io/ipr-1

VisualOverload: Probing Visual Understanding of VLMs in Really Dense Scenes

VisualOverload: 在真正密集场景中探测VLM的视觉理解

Paul Gavrikov, Wei Lin, M. Jehanzeb Mirza, Soumya Jahagirdar, Muhammad Huzaifa, Sivan Doveh, Serena Yeung-Levy, James Glass, Hilde Kuehne

机构 * Independent Researcher（独立研究者） ； JKU Linz（林茨JKU） ； MIT CSAIL ； Tübingen AI Center（图宾根人工智能中心） ； Stanford（斯坦福） ； MIT-IBM Watson AI Lab（MIT-IBM沃森人工智能实验室） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 提出VisualOverload基准，通过密集场景中的简单视觉任务测试VLM，发现最佳模型仅达69.5%准确率，揭示计数、OCR和逻辑一致性等关键缺陷。

Comments Accepted at CVPR 2026

PromptAudit: Auditing Prompt Sensitivity in LLM-Based Vulnerability Detection

PromptAudit: 审计基于LLM的漏洞检测中的提示敏感性

Steffen J. Camarato, Yahya Hmaiti, Mandana Ghadamian, David Mohaisen

机构 * University of Central Florida（佛罗里达大学） 纠错

专题命中 推理评测 ：chain-of-thought(abstract)；分类 cs.AI、cs.LG

AI总结 提出PromptAudit框架，通过固定数据集、解码和解析仅变化提示策略，评估五种提示策略在五个开源模型上对1000个CVE（6074个代码样本，16种编程语言）的漏洞检测性能，发现标准思维链提示整体性能最佳，而提示敏感性是系统的一级属性。

FineBench: Benchmarking and Enhancing Vision-Language Models for Fine-grained Human Activity Understanding

FineBench: 细粒度人类活动理解的视觉-语言模型基准测试与增强

Gueter Josmy Faure, Min-Hung Chen, Jia-Fong Yeh, Hung-Ting Su, Winston H. Hsu

机构 * National Taiwan University（国立台湾大学） ； Google（谷歌） ； Independent Researcher（独立研究员） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 针对视觉-语言模型在细粒度人类活动理解上的不足，提出包含密集标注的长视频问答基准FineBench和增强框架FineAgent。

Comments CVPR'26 (Workshop on Video Large Language Models). Project Page: https://joslefaure.github.io/assets/html/finebench.html

Discounted Beta-Bernoulli Reward Estimation for Sample-Efficient Reinforcement Learning with Verifiable Rewards

折扣Beta-Bernoulli奖励估计用于基于可验证奖励的样本高效强化学习

Haechan Kim, Soohyun Ryu, Gyouk Chu, Doohyuk Jang, Eunho Yang

机构 * KAIST（韩国科学技术院） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 针对基于可验证奖励的强化学习样本效率低的问题，提出折扣Beta-Bernoulli奖励估计方法，利用历史奖励统计量降低估计方差并避免方差崩溃，在多个推理基准上显著提升性能。

Comments 14 pages, 3 figures

DiscoverPhysics: Benchmarking LLMs for Out-of-the-Box Scientific Thinking

DiscoverPhysics: 基准测试LLMs的即用型科学思维

Matt L. Wiemann, Lindsay M. Smith, Peter Melchior, Siddharth Mishra-Sharma, Andrew Gordon Wilson, Pavel Izmailov, Carolina Cuesta-Lázaro

机构 * Princeton University（普林斯顿大学） ； Boston University（波士顿大学） ； New York University（纽约大学） ； Flatiron Institute（Flatiron研究所） ； Institute for Advanced Studies（高级研究研究所） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.LG

AI总结 提出DiscoverPhysics交互式基准，通过让LLM代理探索物理定律偏离现实的模拟世界，评估其设计实验、修正假设和发现物理规律的能力。

Claw-Anything: Benchmarking Always-On Personal Assistants with Broader Access to User's Digital World

Claw-Anything: 对更广泛访问用户数字世界的始终在线个人助手的基准测试

Yusong Lin, Xinyuan Liang, Haiyang Wang, Qipeng Gu, Siqi Cheng, Jiangui Chen, Shuzhe Wu, Feiyang Pan, Lue Fan, Sanyuan Zhao, Dandan Tu

机构 * Beijing Institute of Technology（北京理工大学） ； Huawei Technologies Co., Ltd（华为技术有限公司） ； Peking University（北京大学） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 提出Claw-Anything基准测试，通过扩展长期活动历史、相互依赖的后端服务以及跨多设备的GUI和CLI交互三个维度，评估大型语言模型代理在始终在线环境下的性能，发现GPT-5.5仅达34.5% pass@1，并发布自动化数据生成管道提升基线模型23.7%。

Explore Before You Solve: The Speed--Depth Trade-off in Epistemic Agents for ARC-AGI-3

先探索再求解：面向ARC-AGI-3的认知主体中的速度-深度权衡

Liew Keong Han

机构 * Independent researcher（独立研究者） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 通过系统分析所有25个公开ARC-AGI-3游戏，发现它们均可通过非智能策略达到，并提出了一个三阶段认知主体AERA，在速度-深度权衡框架下形式化其性能。

Comments 22 pages, 3 figures. Code: https://github.com/farmountain/aera-arc3-paper (CC0)

From Facts to Insights: A Persona-Driven Dual Memory Framework and Dataset for Role-Playing Agents

从事实到洞察：面向角色扮演智能体的角色驱动双记忆框架与数据集

Rongsheng Zhang, Ruofan Hu, Weijie Chen, Jiji Tang, Junnan Ren, Wanying Wu, Xunuoyan Chen, Tangjie Lv, Tao Jin, Zhou Zhao

机构 * Zhejiang University（浙江大学） ； Fuxi AI Lab, Netease Inc.（复活AI实验室，网易公司） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 针对长期对话中角色扮演智能体因上下文窗口限制而丧失角色一致性的问题，提出角色记忆数据集RoleMemo和双记忆框架DualMem，通过将记忆解耦为事实认知和角色条件洞察，结合监督微调与强化学习，在4B参数模型上超越基于DeepSeek-V3.2的零样本角色无关框架。

Comments Preprint

MEMTIER: Tiered Memory Architecture and Retrieval Bottleneck Analysis for Long-Running Autonomous AI Agents

MEMTIER：面向长期运行的自主AI智能体的分层内存架构与检索瓶颈分析

Bronislav Sidik, Lior Rokach

机构 * Institute for Applied AI Research（应用人工智能研究所） ； Faculty of Computer and Information Science（计算机与信息科学学院） ； Ben-Gurion University of the Negev（贝内尔-加里翁大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 提出MEMTIER三层内存架构，通过结构化事件存储、五信号加权检索、注意力归因权重更新、异步合并机制和PPO策略，在LongMemEval-S基准上将全上下文基线准确率从5%提升至38%，并支持本地6GB GPU运行。

Comments 11 pages, 1 figure, 5 tables. Under review

CArtBench: Evaluating Vision-Language Models on Chinese Art Understanding, Interpretation, and Authenticity

CArtBench: 评估视觉语言模型在中国艺术理解、解读与真实性方面的能力

Xuefeng Wei, Zhixuan Wang, Xuan Zhou, Zhi Qu, Hongyao Li, Yusuke Sakai, Hidetaka Kamigaito, Taro Watanabe

机构 * Nara Institute of Science and Technology（奈良科学技術大學） ； Liaoning Normal University（遼寧師範大學） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 提出CARTBENCH基准，通过四个子任务评估视觉语言模型在中国艺术作品上的识别、推理、鉴赏和真伪鉴别能力，发现现有模型在复杂证据链接、风格断代和真伪诊断方面表现不足。

Comments under review

UniToolCall: Unifying Tool-Use Representation, Data, and Evaluation for LLM Agents

UniToolCall: 统一LLM智能体的工具使用表示、数据与评估

Yijuan Liang, Xinghao Chen, Yifan Ge, Ziyi Wu, Hao Wu, Changyu Zeng, Wei Xing, Xiaoyu Shen

机构 * University of Science and Technology of China（中国科学技术大学） ； Ningbo Institute of Digital Twin（宁波数字孪生研究所） ； Eastern Institute of Technology（东部技术研究所） ； Department of Computing, The Hong Kong Polytechnic University（香港理工大学计算机系） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI

AI总结 提出UniToolCall框架，通过标准化工具集构建、数据集生成和评估流程，结合22k+工具和390k+训练实例，引入锚点链接机制，在混合设置下使Qwen3-8B单轮严格精度达93.0%，超越GPT、Gemini和Claude。

Comments 21 pages, 10 figures, 9 tables. Code and datasets are publicly available at: https://github.com/EIT-NLP/UniToolCall

Benchmarking and Learning Real-World Customer Service Dialogue

基准测试与学习真实世界客服对话

Tianhong Gao, Jundong Shen, Jiapeng Wang, Bei Shi, Ying Ju, Junfeng Yao, Huiyu Yu

机构 * ByteDance, Beijing, China（字节跳动，北京，中国） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL

AI总结 针对工业智能客服与真实对话需求脱节的问题，提出OlaBench基准和OlaMind模型，通过蒸馏专家推理模式与分阶段强化学习，在OlaBench上超越GPT-5.2和Gemini 3 Pro，在线A/B测试中问题解决率提升23.67%，人工转接率降低6.6%。