大模型推理能力

The Granularity Gap: A Multi-Dimensional Cross-Generational Audit of Sycophancy in Gemini Models

粒度差距：Gemini 模型中谄媚行为的多维纵向审计

Patrick Keough

机构 * Independent Researcher（独立研究者） 纠错

专题命中 推理评测 ：reasoning(abstract,comments)；分类 cs.CL、cs.AI

AI总结 通过多维度分级评估（Likert 0-4），揭示 Gemini 模型在连续尺度上的谄媚行为，发现粗粒度二值指标掩盖了大量社会顺从行为，且代际进步非单调，存在对齐税（谄媚与真实性负相关）。

Comments v2: Major correction. Three v1 claims withdrawn (U-shaped detection curve, recalibration remedy, one reliability figure); the central 29% result survives. Adds a four-judge panel over a stratified 1,200-response sample, 10,792 votes with written reasoning. Data unchanged from v1. 21 pages, 8 figures, 18 tables. Itemized changelog and code: https://github.com/pskeough/The-Granularity-Gap

Injection-Execution Dissociation: A Mechanistic Evaluation of Persistent Memory Attacks and Defenses in Stateful LLM Agents

多层架构中的防御效果：对持久内存攻击状态机LLM代理的机制性评估

Jun Wen Leong

专题命中 推理评测 ：reasoning(abstract,comments)；分类 cs.AI、cs.LG

AI总结 本文评估了六种防御措施在九个开源模型上的延迟触发攻击效果，发现输入级和检索级过滤器效果不佳，而内存层工具门控（Memory Sandbox）显著降低攻击成功率，揭示了不同防御类别的失效原因。

Comments v4: Added double dissociation (reasoning-mode ablation), content-layer defense (RATG), loaded-corpus frontier evaluation (21 models, 3 providers, N=40), 7B judge capability bound, reproducibility validity criterion, ethics/disclosure statement. Gemini 3.1 Pro Preview 95% ASR; GPT-5.1 regression (22.5%); tripartite vendor divergence. Code: github.com/junwenleong/stateful-agent-security-eval

Riemann-Bench: A Benchmark for Moonshot Mathematics

Riemann-Bench: 面向登月级数学的基准测试

Suhaas Garre, Erik Knutsen, Sushant Mehta, Edwin Chen

机构 * Surge AI 纠错

专题命中 推理评测 ：reasoning(abstract,comments)；分类 cs.AI；logical reasoning(comments)

AI总结 提出Riemann-Bench基准，由专家设计研究级数学问题，评估AI系统超越奥数水平的推理能力，结果显示前沿模型得分低于10%。

Comments Accepted to Logical Reasoning of Large Language Models, ICLR 2026

PTXBench: Benchmark and Adapt LLMs for GPU Kernel Optimization with Architecture-specific PTX

PTXBench：用于结合架构特定PTX优化GPU内核的大型语言模型基准测试与适配

Genghan Zhang, Yixin Dong, Chengze Fan, Zhichen Zeng, Yueming Yuan, Shaowei Zhu, Kunle Olukotun

机构 * Carnegie Mellon University（卡内基梅隆大学） ； RadixArk ； Stanford University（斯坦福大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 研究提出PTXBench基准测试，评估LLM结合架构特定PTX优化GPU内核的能力，发现现有模型能力不均衡，经微调Qwen3.6-27B可改善部分任务但泛化仍不均，该基准为相关研究提供可审计测试平台。

Qworld: Question-Specific Evaluation Criteria for LLMs

Qworld: 为LLMs设计的问题特定评估标准

Shanghua Gao, Yuchang Su, Pengwei Sui, Curtis Ginder, Marinka Zitnik

机构 * Department of Biomedical Informatics, Harvard Medical School（哈佛医学院生物医学信息学系） ； Department of Medicine, Brigham and Women’s Hospital（布里洛妇产科医院医学部） ； Kempner Institute for the Study of Natural and Artificial Intelligence, Harvard University（哈佛大学自然与人工智能研究 institute） ； Broad Institute of MIT and Harvard（MIT 和哈佛大学Broad研究所） ； Harvard Data Science Initiative（哈佛大学数据科学计划） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 Qworld通过递归扩展树生成问题特定评估标准，覆盖89%专家标准并产生79%新标准，揭示LLM在长期影响、公平性等维度的能力差异。

When to Call an Apple Red: Humans Follow Introspective Rules, VLMs Don't

何时称苹果为红色：人类遵循内省规则，而视觉语言模型却不遵循

Jonathan Nemitz, Carsten Eickhoff, Junyi Jessy Li, Kyle Mahowald, Michal Golovanevsky, William Rudman

机构 * University of Tübingen（蒂宾根大学） ； The University of Texas at Austin（德克萨斯大学奥斯汀分校） ； Brown University（布朗大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 研究探讨了视觉语言模型（VLMs）在何时会表现出意外行为，以及模型是否能可靠预测自身行为，发现VLMs系统性违反内省规则，而人类则遵循规则。

Comments Accepted at COLM 2026

TSQueryBench: LLM-as-a-Judge for Time Series Explanations

基于时间序列的LLM作为裁判

Preetham Sivalingam, Murari Mandal, Dhruv Kumar, Saurabh Deshpande

机构 * BITS Pilani（比拉理工学院皮拉尼校区） ； KIIT（KIIT大学） ； Birla AI Labs（比拉人工智能实验室） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 本文研究了在无参考情况下，利用大语言模型作为生成和评估时间序列解释的工具，通过构造合成基准测试，评估模型在生成解释、相对排序、独立评分和多异常检测任务中的表现，发现评估任务比生成任务更稳定。

Comments Accepted at ICML FMSD

Value Leakage: An LLM's Answers Are Silently Shaped by Its Own Values

价值泄露：大语言模型的答案被其自身价值观悄然塑造

Jan Betley, Johannes Treutlein, Jan Dubiński, Harry Mayne, Karol Gałązka, Niels Warncke, Anna Sztyber-Betley, Owain Evans

专题命中 推理评测 ：chain-of-thought(abstract)；分类 cs.AI、cs.LG

AI总结 研究发现大语言模型存在价值泄露问题，即其答案受自身价值观影响却未向用户披露。为此引入评估套件量化，发现模型受多种价值观影响，前沿模型差异大，价值泄露是新的失败模式，当前训练和评估未充分解决。

MCBench: A Multicontext Safety Assessment Benchmark for Omni Large Language Models

MCBench：面向全能大语言模型的多上下文安全评估基准

Manh Luong, Tamas Abraham, Junae Kim, Amar Kaur, Rollin Omari, Gholamreza Haffari, Trang Vu, Lizhen Qu, Dinh Phung

机构 * Monash University（墨尔本大学） ； Defence Science and Technology Group（国防科学与技术集团） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 针对现有多模态安全基准仅处理视觉输入的局限，提出MCBench基准，包含1196个跨四类安全场景的测试，要求整合多模态信息进行安全评估，揭示当前全能大语言模型在跨模态安全推理上的不足。

SimulCost: A Cost-Aware Benchmark and Toolkit for Automating Physics Simulations with LLMs

SimulCost: 一个用于自动化物理模拟的代价感知基准与工具包

Yadi Cao, Sicheng Lai, Jiahe Huang, Yang Zhang, Zach Lawrence, Rohan Bhakta, Izzy F. Thomas, Mingyun Cao, Chung-Hao Tsai, Zihao Zhou, Yidong Zhao, Hao Liu, Alessandro Marinoni, Alexey Arefiev, Rose Yu

机构 * University of California San Diego（加州大学圣地亚哥分校） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Peking University（北京大学） ； University of California, Los Angeles（加州大学洛杉矶分校） ； California Institute of Technology（加州理工学院） ； ETH Zurich（苏黎世联邦理工学院） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 针对现有LLM评估忽略工具使用代价的问题，提出SimulCost基准，通过单轮和多轮参数调优任务比较LLM与传统扫描方法在准确性和计算代价上的表现，发现LLM在高精度任务中初始猜测不可靠且多轮模式效率更低。

Comments post conference revision version at ICML; update: removed CGYRO due to bug in cases search. Will add back soon; Make the title consistent w/ pdf

A Large-Scale Chinese Knowledge Graph-Text Alignment Dataset for Benchmarking Knowledge-Grounded LLMs

用于评估知识增强型大语言模型的大规模中文知识图谱-文本对齐数据集

Chengwei Wu, Xingrui Zhuo, Mingyang Gao, Xinghe Cheng, Zhichao Yan, Jiapu Wang

机构 * Nanjing University of Science and Techonolgy（南京理工大学） ； Beijing Academy of Artificial Intelligence（北京人工智能研究院） ； University of Science and Technology Beijing（北京科技大学） ； Hefei University of Technology（合肥工业大学） ； Beijing University of Chemical Technology（北京化工大学） ； Renmin University of China（中国人民大学） ； Beihang University（北航） ； Beijing University of Posts and Telecommunications（北京邮电大学） ； Griffith University, Australia（澳大利亚格里菲斯大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 该研究提出大规模中文知识图谱-文本对齐数据集CDTP，支持三项中文知识密集型任务的评估，经实验验证其可提升LLM的领域性能与分布外鲁棒性。

BAT: Learning to Reason about Spatial Sounds with Large Language Models

BAT：基于大语言模型的空间声音推理学习

Zhisheng Zheng, Puyuan Peng, Ziyang Ma, Xie Chen, Eunsol Choi, David Harwath

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 该研究提出结合Spatial-AST与LLaMA-2 7B的BAT模型，通过合成数据集训练，实现了超越SELD任务的空间声音感知与推理，展现了LLM在空间音频领域的应用潜力。

Comments Accepted to ICML 2024. Our demo, dataset, code and model weights are available at: https://zhishengzheng.com/bat

LakeQuest: A Three-Domain Benchmark for Grounded Question Answering across Data Lakes

LakeQuest：用于跨数据湖的有基础问答的三领域基准测试

Michael Solodko, Steven Gong, Guangwei Yu, Satya Krishna Gorti, Jesse C. Cresswell, Victor Zhong

机构 * University of Waterloo（滑铁卢大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 介绍LakeQuest基准测试，用于评估跨数据湖的有基础问答。它跨越三个领域，含9846个QA对及证据指针，能暴露系统故障模式。通过基线评估发现高质量检索不能保证正确推理，凸显未来智能QA系统需强大发现和跨文件组合机制。

Comments 24 pages, 4 figures, 18 tables. Accepted at the Conference on Language Modeling (COLM) 2026

Causal Agent based on Large Language Model

基于大语言模型的因果智能体

Kairong Han, Kun Kuang, Ziyu Zhao, Junjian Ye, Fei Wu

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 该研究针对LLM难以处理因果问题的挑战，提出Causal Agent框架，构建CausalTQA基准，实验显示其在多层级因果问题及真实数据集上性能优于SOTA。

Program Semantic Inequivalence Game with Large Language Models

基于大语言模型的程序语义不等价博弈

Antonio Valerio Miceli-Barone, Vaishak Belle, Ali Payani

机构 * University of Edinburgh（爱丁堡大学） ； Cisco Systems（思科系统） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 本研究提出基于语义不等价博弈（SInQ）的方法，通过生成器与评估器智能体半对抗训练合成代码推理数据，在跨语言漏洞检测等基准上显著提升LLMs的代码语义理解能力。

On Effectiveness and Efficiency of Agentic Tool-calling and RL Training

论智能体工具调用与强化学习训练的有效性与效率

Tong Liu, Cheng Qian, Matej Cief, Yuan He, Daniele Dan, Nikolaos Aletras, Gabriella Kazai

机构 * University of California, Berkeley（加州大学伯克利分校） ； University of Cambridge（剑桥大学） ； University of Toronto（多伦多大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 本文系统分析工具调用评估中的实现选择对结果敏感性的影响，并针对强化学习训练中的计算浪费提出两种加速技术。

Comments ICML 2026

InfiniteScienceGym: An Unbounded, Procedurally-Generated Benchmark for Scientific Analysis

InfiniteScienceGym：一个无界的、程序生成的科学分析基准

Oliver Bentham, Vivek Srikumar

机构 * Kahlert School of Computing（卡勒特计算学院） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出InfiniteScienceGym，通过程序生成科学仓库和可验证问答任务，评估证据推理、回避和工具分析能力，发现现有模型在回答不可答问题上存在显著缺陷。

Comments 31 pages, 5 figures, 8 tables. Accepted to COLM 2026. See https://infinitesciencegym.github.io/

BiScale-GTR: Fragment-Aware Graph Transformers for Multi-Scale Molecular Representation Learning

BiScale-GTR：基于多尺度分子表示学习的片段感知图变换器

Yi Yang, Ovidiu Daescu

机构 * University of Texas at Dallas（德克萨斯大学达拉斯分校） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 BiScale-GTR通过结合化学基础的片段分词与自适应多尺度推理，改进了图变换器的分子表示学习，提升了对局部化学环境、子结构特征和长程依赖关系的联合捕捉能力。

Does Explanation Correctness Matter? Linking Computational XAI Evaluation to Human Understanding

解释正确性是否重要？将计算XAI评估与人类理解联系起来

Gregor Baer, Chao Zhang, Isel Grau, Pieter Van Gorp

机构 * Information Systems Group, Eindhoven University of Technology（埃因霍温理工大学信息系统组） ； Human-Technology Interaction Group, Eindhoven University of Technology（埃因霍温理工大学人机交互组） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 研究通过用户实验检验解释正确性对人类理解的影响，发现正确性降低时理解性能下降，但并非所有正确性水平均导致性能下降，且完全正确解释也不保证理解。

Comments 31 pages, 11 figures, 3 tables

HSSBench: Benchmarking Humanities and Social Sciences Ability for Multimodal Large Language Models

HSSBench: 多模态大语言模型在人文学与社会科学能力评估中的基准测试

Zhaolu Kang, Junhao Gong, Jiaxu Yan, Wanke Xia, Yian Wang, Ziwen Wang, Huaxuan Ding, Zhuo Cheng, Wenhao Cao, Zhiyuan Feng, Siqi He, Shannan Yan, Junzhe Chen, Xiaomin He, Chaoya Jiang, Wei Ye, Kaidong Yu, Xuelong Li

机构 * National Engineering Research Center for Software Engineering, Peking University（北京大学软件工程国家工程研究中心） ； Institute of Artificial Intelligence, China Telecom (TeleAI)（中国电信人工智能研究院） ； Tsinghua University（清华大学） ； Chinese Academy of Sciences（中国科学院） ； University of British Columbia（不列颠哥伦比亚大学） ； Renmin University of China（中国人民大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 HSSBench是一个专门评估多模态大语言模型在人文学与社会科学任务能力的基准测试，包含多语言样本，通过协作生成数据提升跨学科推理能力。

Comments ICLR 2026 (OpenReview: https://openreview.net/forum?id=iQsKotob31)

Poli-Bias: Understanding and Measuring Large Language Model Biases in International Political Conflicts

Poli-Bias：理解与测量大型语言模型在国际政治冲突中的偏差

Massi-Nissa Abboud, Aladin Djuhera, Elena Cabrio, Holger Boche

机构 * Technical University Munich（慕尼黑工业大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 本研究提出细粒度反事实框架Poli-Bias，通过交换国家身份的成对提示对比响应，分解偏差维度，发现13个LLMs存在因国家身份导致的政治偏差，可用于审计LLMs的政治公正性与谄媚性。

Diagnosing Fine-Grained Inconsistency Classification in Financial Disclosure Text

金融披露文本中的细粒度不一致分类诊断

Aman Kumar, Lasitha Vidyaratne, Dipanjan D Ghosh, Arnab Chakrabarti, Ahmed K Farahat

机构 * Hitachi America, Ltd（美国日立公司） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 该研究针对金融披露文本的细粒度不一致分类问题，在SBID-FD基准上对比多种模型，发现紧凑型监督编码器效率较高，证据定位是关键瓶颈，需同时提升证据提取与类别推理能力。

Beyond Questions: Evaluating LLM's Knowledge Expression

超越问题：评估大型语言模型（实际）知道什么

Luca Giordano, Simon Razniewski

机构 * ScaDS.AI Dresden/Leipzig & TU Dresden, Germany（ScaDS.AI 德尔布兰德/莱比锡及德累斯顿技术大学，德国） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 提出开放知识评估新范式，通过开放式提示（如“告诉我关于M.L. King的一切”）评估模型自然表达的知识，并构建BeQu基准测试10,000个实体。

ZenBrain: A Neuroscience-Inspired 7-Layer Memory Architecture for Autonomous AI Systems

ZenBrain：一种受神经科学启发的7层记忆架构用于自主AI系统

Alexander Bering

机构 * Zensation AI 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 ZenBrain提出一种7层神经科学启发的记忆架构，通过整合15种验证的神经科学机制，在LongMemEval-500任务中实现了与长上下文Oracle的二元判断准确率接近，并在多个指标上优于现有系统。

Comments 48 pages, 27 tables, 4 figures. v3 is a correction release: a full source-verification pass over all 83 references corrects 30 defective entries and withdraws two ancillary evaluations run on synthetic stand-in data; no measured numbers changed. Changelog: 10.5281/zenodo.21858218. Earlier versions: Zenodo concept DOI 10.5281/zenodo.19353663, TDCommons dpubs_series/9683

MetaLint: Easy-to-Hard Generalization for Code Linting

MetaLint: 代码检查的易到难泛化

Atharva Naik, Lawanya Baghel, Dhakshin Govindarajan, Darsh Agrawal, Yiqing Xie, Daniel Fried, Carolyn Rose

机构 * Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.LG

AI总结 MetaLint通过元学习框架将代码检查转化为指令遵循任务，能根据自然语言规范评估代码是否符合最佳实践，实现无需重新训练的泛化能力，且在不同编程语言和场景中表现优异。

FinTrace: Holistic Trajectory-Level Evaluation of LLM Tool Calling for Long-Horizon Financial Tasks

FinTrace: LLM工具调用在长周期金融任务中的轨迹级综合评估

Yupeng Cao, Haohang Li, Weijin Liu, Wenbo Cao, Anke Xu, Lingfei Qian, Xueqing Peng, Minxue Tang, Zhiyuan Yao, Jimin Huang, K. P. Subbalakshmi, Zining Zhu, Jordan W. Suchow, Yangyang Yu

机构 * Stevens Institute of Technology（斯蒂文斯理工学院） ； Independent Researcher（独立研究者） ； The FinAI（FinAI） ； Duke University（杜克大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出FinTrace基准，通过800个专家标注的轨迹评估LLM工具调用，揭示模型在信息利用和最终答案质量上的不足，并通过FinTrace-Training数据集提升中间推理能力，但最终答案质量仍受限。

From Plan to Action: How Well Do Agents Follow the Plan?

评估自主编程代理中的计划合规性

Shuyang Liu, Saman Dehghan, Jatin Ganhotra, Martin Hirzel, Reyhaneh Jabbarvand

机构 * University of Illinois Urbana–Champaign（伊利诺伊大学厄巴纳-香槟分校） ； IBM（IBM公司） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 本文系统分析了编程代理在执行任务时对计划的遵循情况，通过16991条轨迹评估不同计划变体的影响，发现计划提醒能提高任务成功率，但不恰当的计划补充可能降低性能。

AI Security Leaderboard: Methodology, Results and Minimal Standard

AI安全排行榜：方法、结果与最低标准

Jasper Timm, Lukas Struppek, Ziwei Xu, Grace Cheong, Oscar Mata, Dan Zhao, Mick Yang, Isadora De Andrade, Xiaojun Jia, Yiming Li, Samuel Bauer, Heather McIntyre, Adam Gleave, Edward Yee, Kellin Pelrine

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 本研究推出AI安全防护最低标准V1.0，测试Claude Fable5等四款模型的越狱鲁棒性，发现模型间防御能力差异大，部分模型未出现通用越狱，可通过现有技术缩小防御差距。

OSReward: Instituting Standardized Evaluation for Cross-Platform Computer-Use Reward Models

OSReward：为跨平台计算机使用奖励模型建立标准化评估

Qiushi Sun, Kanzhi Cheng, Yian Wang, Bowen Yang, Hang Yan, Liheng Chen, Fangzhi Xu, Zichen Ding, Nuo Chen, Jialin Cao, Xingdong Gong, Zehao Li, Kaiming Jin, Xinfeng Yuan, Zhoumianze Liu, Jingyang Gong, Zhangyue Yin, Jiahui Gao, Zhiyong Wu, Tianbao Xie, Jianbing Zhang, Ben Kao, Lingpeng Kong

机构 * The University of Hong Kong（香港大学） ； Nanjing University（南京大学） ； University of Science and Technology of China（中国科学技术大学） ； National University of Singapore（新加坡国立大学） ； Fudan University（复旦大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 本研究推出OSReward基准评估VLM评判者的可靠性，构建OS-Shepherd开源奖励模型缩小成本差距，为规模化可靠CUA奖励设计提供参考

Comments Work in progress

ORCA-bench: How Ready Are Language Model Agents for Oncall?

ORCA-bench：语言模型智能体的值班待命准备程度如何？

Albert Gong, Kyuseong Choi, Abhineet Agarwal, Jason Schechner, Ryan Huang, Raj Agrawal, Anish Agarwal, Raaz Dwivedi

机构 * Cornell Tech（康奈尔科技学院） ； Traversal ； Columbia University（哥伦比亚大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 该研究推出ORCA-bench基准，评估编码智能体在生产级值班待命场景下的根本原因分析能力，发现现有前沿智能体表现不佳，凸显其距离安全胜任生产可靠性工作仍有较大差距。