大模型推理能力

Beyond Prompt Engineering: A Systematic Analysis of Prompt Lexical Sensitivity and Its Impacts on Quality

提示工程之外：提示词词汇敏感性及其对质量影响的系统性分析

Qipeng Xie, Zi Liang, Jiafei Wu, Yufei Chen, Weizheng Wang, Wenao Ma, Zhong Ming, Haiqin Yang, Kaishun Wu

机构 * Shenzhen Technology University（深圳技术大学） ； The Hong Kong Polytechnic University（香港理工大学） ； Zhejiang Lab（之江实验室） ； The Chinese University of Hong Kong（香港中文大学） ； HKUST (Guangzhou)（香港科技大学（广州）） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 该研究针对大型语言模型的提示词词汇敏感性开展大规模机制分析，揭示提示词性能稳定性缩放定律，提出自动化提示词优化智能体，可降低代码生成任务性能方差40.7%，为鲁棒提示工程提供可解释框架。

Defining Decentralization: An Ontological Perspective

去中心化的定义：一种本体论视角

Jakub Kacper Szeląg, Aydin Abadi, Mohammad Naseri

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 本研究针对计算机领域缺乏通用去中心化定义的问题，提出基于图的本体框架，区分去中心化与分布性，引入两个新指标并实现浏览器工具，为联邦学习等系统提供一致的去中心化评估基础。

Comments 27 pages, 6 figures, preparing for submission, strengthened the formalisms behind ontological claims

TempJail: Temporal Jailbreak Attack against Large Vision-Language Models via Subtitle Scheduling

TempJail：基于字幕时序调度的针对大型视觉语言模型的时序越狱攻击

Ling Zhou, Yihao Huang, Jingling Sun, Zhiwen Tian, Yi Zeng, Qihe Liu, Shijie Zhou

机构 * University of Electronic Science and Technology of China（电子科技大学） ； East China Normal University（华东师范大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 TempJail是一种黑盒视频越狱框架，通过优化字幕时序调度攻击LVLMs，在四个模型和两个数据集上的攻击成功率优于基线。

Comments 8 pages,4 figures

PTXBench: Benchmark and Adapt LLMs for GPU Kernel Optimization with Architecture-specific PTX

PTXBench：用于结合架构特定PTX优化GPU内核的大型语言模型基准测试与适配

Genghan Zhang, Yixin Dong, Chengze Fan, Zhichen Zeng, Yueming Yuan, Shaowei Zhu, Kunle Olukotun

机构 * Carnegie Mellon University（卡内基梅隆大学） ； RadixArk ； Stanford University（斯坦福大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 研究提出PTXBench基准测试，评估LLM结合架构特定PTX优化GPU内核的能力，发现现有模型能力不均衡，经微调Qwen3.6-27B可改善部分任务但泛化仍不均，该基准为相关研究提供可审计测试平台。

Qworld: Question-Specific Evaluation Criteria for LLMs

Qworld: 为LLMs设计的问题特定评估标准

Shanghua Gao, Yuchang Su, Pengwei Sui, Curtis Ginder, Marinka Zitnik

机构 * Department of Biomedical Informatics, Harvard Medical School（哈佛医学院生物医学信息学系） ； Department of Medicine, Brigham and Women’s Hospital（布里洛妇产科医院医学部） ； Kempner Institute for the Study of Natural and Artificial Intelligence, Harvard University（哈佛大学自然与人工智能研究 institute） ； Broad Institute of MIT and Harvard（MIT 和哈佛大学Broad研究所） ； Harvard Data Science Initiative（哈佛大学数据科学计划） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 Qworld通过递归扩展树生成问题特定评估标准，覆盖89%专家标准并产生79%新标准，揭示LLM在长期影响、公平性等维度的能力差异。

MemFuse: Multi-Source Memory Fusion from Fragmented Observations

MemFuse：基于碎片化观测的多源记忆融合

Chao Li, Yuanfa Li, Wenhao Wu, Xule Liu, Zhi Wang, Kun Shao

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 针对现有记忆系统多聚焦单源文本、无法处理碎片化信息的问题，提出多源记忆融合基准MemFuseBench与结构化记忆系统MemFuse，实验显示MemFuse在跨源证据融合任务上表现最优。

Comments 30 pages, 4 figures, 4 tables

SESSE: Sketch, Expand, Sort, Summarize, Evaluate -- LLM-as-Judge Evaluation via Structured Decomposition

SESSE：草图、扩展、排序、总结、评估——通过结构化分解的大模型作为评判者的评估

Dae Lee, Mihai Delgeanu, Adel Youssef

机构 * Apple（苹果公司） 纠错

专题命中 推理评测 ：chain-of-thought(abstract)；分类 cs.AI、cs.LG

AI总结 该研究针对大模型作为评判者评估无法分离质量维度等问题，提出无需训练的SESSE框架，在RewardBench上实现与基线近乎相当的性能，且可提供可解释的审计跟踪。

DeepTCM1.0: A Multi-Expert AI Agent for Deciphering Mechanisms of Chinese Herbal Formulae Based on General Large Language Models

DeepTCM1.0：基于通用大语言模型的用于解析中药复方机制的多专家智能体

Wenxin Duan, Hanwei Wang, Zhongying Peng, Zhonghua Lu, Jiayi An, Fan Song, Yong Liang

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 本研究构建基于DeepSeek V3.2的多专家智能体框架DeepTCM1.0，以桂枝汤为案例，结合中医理论与现代科学解析中药复方机制，通过多维度评估验证框架性能。

When to Call an Apple Red: Humans Follow Introspective Rules, VLMs Don't

何时称苹果为红色：人类遵循内省规则，而视觉语言模型却不遵循

Jonathan Nemitz, Carsten Eickhoff, Junyi Jessy Li, Kyle Mahowald, Michal Golovanevsky, William Rudman

机构 * University of Tübingen（蒂宾根大学） ； The University of Texas at Austin（德克萨斯大学奥斯汀分校） ； Brown University（布朗大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 研究探讨了视觉语言模型（VLMs）在何时会表现出意外行为，以及模型是否能可靠预测自身行为，发现VLMs系统性违反内省规则，而人类则遵循规则。

Comments Accepted at COLM 2026

TokEval: A Tokenizer Evaluation Suite

TokEval：一个分词器评估套件

Clara Meister

机构 * EPFL（洛桑联邦理工学院） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.LG

AI总结 本研究推出TokEval框架，通过信息论、结构敏感等指标评估分词器，经实验验证其可预测下游模型性能，助力更原则性的分词器评估。

Comments Published as a conference paper at COLM 2026; Library hosted at https://github.com/cimeister/tokenizer-intrinsic-evals

Interpretable Humans, Alien LLMs: Expert Analysis of Latent Structures in Assessment Responses

可解释的人类，陌生的大语言模型：对评估响应中潜在结构的专家分析

Alona Strugatski, Licol Zeinfeld, Jason Cooper, Shelley Rap, Gil Schwarts, Giora Alexandron

机构 * Weizmann Institute of Science（魏茨曼科学研究所） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 本研究结合探索性因子分析与学科专家盲审，发现6个LLMs的评估响应潜在因子与人类认知结构的可解释性存在显著差异，多数LLM因子无法被人类专家解读，揭示其机制与人类推理不同。

Comments Accepted for publication at AIME 2026

Can LLMs Reason in a Legally Meaningful Manner? A Small-scale Study on European Court of Human Rights Cases

大语言模型能否以具有法律意义的方式进行推理？针对欧洲人权法院案件的小规模研究

Amogh Raina, Ilias Chalkidis, Daniel Hershcovich, Henrik Palmer Olsen

机构 * University of Copenhagen（哥本哈根大学） ； Faculty of Law, University of Copenhagen（哥本哈根大学法学院） ； Department of Computer Science, University of Copenhagen（哥本哈根大学计算机科学系） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 本研究以欧洲人权法院案件为测试平台，评估OpenAI GPT 5.4的法律推理表现，发现其推理质量不足、LLM评估不可替代人工，且专家提示未提升预测准确率。

Comments 24 pages, 4 figures, 4 tables, Submitted to AI4LAW Workshop at ICML 2026

TSQueryBench: LLM-as-a-Judge for Time Series Explanations

基于时间序列的LLM作为裁判

Preetham Sivalingam, Murari Mandal, Dhruv Kumar, Saurabh Deshpande

机构 * BITS Pilani（比拉理工学院皮拉尼校区） ； KIIT（KIIT大学） ； Birla AI Labs（比拉人工智能实验室） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 本文研究了在无参考情况下，利用大语言模型作为生成和评估时间序列解释的工具，通过构造合成基准测试，评估模型在生成解释、相对排序、独立评分和多异常检测任务中的表现，发现评估任务比生成任务更稳定。

Comments Accepted at ICML FMSD

Do Assessment Instruments Measure the Same Thing for Humans and LLMs? A Latent Structure Analysis

评估工具对人类和大语言模型（LLMs）是否测量相同的内容？潜在结构分析

Alona Strugatski, Licol Zeinfeld, Giora Alexandron

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 本研究通过探索性因子分析等方法，发现高中化学和大学入学考试定量推理部分的评估，对人类与六个多模态LLMs测量的潜在结构存在系统性差异，质疑了此类评估用于推断AI能力的效度。

Handoff-H1: An Orchestrated Vision-Agent System for Material Quantity Takeoff from Construction Blueprints

Handoff-H1：一种用于从建筑蓝图中提取材料工程量的协同视觉智能体系统

Bruno Chicelli, Henrique Alves, Rodrigo Anselmo, Joshua Weinberg, Felipe Lemos, Jan Baryla

机构 * Handoff AI Research（汉德夫人工智能研究院） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 该研究提出Handoff-H1视觉智能体系统，结合专用计算机视觉模型、工具智能体与建筑知识库，在建筑蓝图工程量提取基准上，性能优于前沿模型和人类专业估算师。

Comments 15 pages, 7 figures. Evaluation harness available on https://github.com/handoffai/residential-takeoff-benchmark/. Request data via e-mail to research@handoff.ai

RamseyGadgets: A Graph Construction Dataset for LLMs

RamseyGadgets：面向大语言模型（LLMs）的图构造数据集

Zohair Raza Hassan, Deepak Pandita

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 本研究提出新型图构造数据集RamseyGadgets，评估5个开源LLMs在其70个拉姆齐良图问题上的表现，发现LLMs在困难问题上准确率仅37.70%，Gemma-4-31B性能最优，还可用于确定提升LLMs表现的提示类型。

Mitigating Rubric Interference in LLM Judges via On-Policy Self-Distillation

通过策略内自蒸馏缓解大语言模型评审员中的评分标准干扰

Dingyao Yu, Tong Zhang, Yutao Mou, Yunxiao Zhang, Wei Ye, Shikun Zhang

机构 * Peking University（北京大学） ； Weixin Al, Tencent Inc（腾讯公司微信智能） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 本研究针对LLM评审员多评分标准评估时的干扰问题，提出SARA方法，通过策略内自蒸馏提升评估一致性，且该一致性可跨数据集迁移。

Plausible but Not Valid: A Psychometric Audit of LLMs as Synthetic Survey Respondents

看似合理但并非有效：对大型语言模型（LLMs）作为合成调查受访者的心理计量学审查

Mantas Lukauskas, Viktorija Šarkauskaitė

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 本文通过心理计量学分析发现，虽LLMs可复现人类调查关系的定性方向，但其心理计量学相似性不及高斯copula基线，且存在默许偏移、预测效度下降等问题，无法作为人类调查数据的直接替代品。

Comments 50 pages, 9 figures. Under review. Code and data will be released upon publication

Value Leakage: An LLM's Answers Are Silently Shaped by Its Own Values

价值泄露：大语言模型的答案被其自身价值观悄然塑造

Jan Betley, Johannes Treutlein, Jan Dubiński, Harry Mayne, Karol Gałązka, Niels Warncke, Anna Sztyber-Betley, Owain Evans

专题命中 推理评测 ：chain-of-thought(abstract)；分类 cs.AI、cs.LG

AI总结 研究发现大语言模型存在价值泄露问题，即其答案受自身价值观影响却未向用户披露。为此引入评估套件量化，发现模型受多种价值观影响，前沿模型差异大，价值泄露是新的失败模式，当前训练和评估未充分解决。

MCBench: A Multicontext Safety Assessment Benchmark for Omni Large Language Models

MCBench：面向全能大语言模型的多上下文安全评估基准

Manh Luong, Tamas Abraham, Junae Kim, Amar Kaur, Rollin Omari, Gholamreza Haffari, Trang Vu, Lizhen Qu, Dinh Phung

机构 * Monash University（墨尔本大学） ； Defence Science and Technology Group（国防科学与技术集团） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 针对现有多模态安全基准仅处理视觉输入的局限，提出MCBench基准，包含1196个跨四类安全场景的测试，要求整合多模态信息进行安全评估，揭示当前全能大语言模型在跨模态安全推理上的不足。

SimulCost: A Cost-Aware Benchmark and Toolkit for Automating Physics Simulations with LLMs

SimulCost: 一个用于自动化物理模拟的代价感知基准与工具包

Yadi Cao, Sicheng Lai, Jiahe Huang, Yang Zhang, Zach Lawrence, Rohan Bhakta, Izzy F. Thomas, Mingyun Cao, Chung-Hao Tsai, Zihao Zhou, Yidong Zhao, Hao Liu, Alessandro Marinoni, Alexey Arefiev, Rose Yu

机构 * University of California San Diego（加州大学圣地亚哥分校） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Peking University（北京大学） ； University of California, Los Angeles（加州大学洛杉矶分校） ； California Institute of Technology（加州理工学院） ； ETH Zurich（苏黎世联邦理工学院） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 针对现有LLM评估忽略工具使用代价的问题，提出SimulCost基准，通过单轮和多轮参数调优任务比较LLM与传统扫描方法在准确性和计算代价上的表现，发现LLM在高精度任务中初始猜测不可靠且多轮模式效率更低。

Comments post conference revision version at ICML; update: removed CGYRO due to bug in cases search. Will add back soon; Make the title consistent w/ pdf

A Large-Scale Chinese Knowledge Graph-Text Alignment Dataset for Benchmarking Knowledge-Grounded LLMs

用于评估知识增强型大语言模型的大规模中文知识图谱-文本对齐数据集

Chengwei Wu, Xingrui Zhuo, Mingyang Gao, Xinghe Cheng, Zhichao Yan, Jiapu Wang

机构 * Nanjing University of Science and Techonolgy（南京理工大学） ； Beijing Academy of Artificial Intelligence（北京人工智能研究院） ； University of Science and Technology Beijing（北京科技大学） ； Hefei University of Technology（合肥工业大学） ； Beijing University of Chemical Technology（北京化工大学） ； Renmin University of China（中国人民大学） ； Beihang University（北航） ； Beijing University of Posts and Telecommunications（北京邮电大学） ； Griffith University, Australia（澳大利亚格里菲斯大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 该研究提出大规模中文知识图谱-文本对齐数据集CDTP，支持三项中文知识密集型任务的评估，经实验验证其可提升LLM的领域性能与分布外鲁棒性。

You Only Pass Once: Answering and Abstaining Together in a Single Forward Pass of a Frozen Language Model

仅前向传播一次：在冻结语言模型的单次前向传播中同时完成回答与弃权（不执行）

Ziyang Luo, Zhongyao Chu, Xinjie He, Youting Wang, Xukui Qin, Runxiong Wu, Yan-Syuan Chen

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.LG

AI总结 该研究提出YOPO系统，通过训练小型网络重构残差流，在冻结Qwen2.5模型单次前向传播中同时实现回答、引导与弃权，性能优于两次前向传播基准，且在跨域等场景表现出色。

Comments 24 pages. Ziyang Luo and Zhongyao Chu contributed equally

A Graph-Based Reinforcement Learning Framework for Structured Drift Diagnosis and Recovery in Autonomous LLM Agents

面向自主大语言模型智能体中结构化漂移诊断与恢复的基于图的强化学习框架

Ismail El Hamraoui, Sagar Jose, Nicolas Bureau, Robert Plana

专题命中 推理评测 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 本研究针对自主LLM智能体的运行时行为漂移问题，提出基于图的强化学习即插即用恢复框架，经AppWorld基准验证，该框架可利用漂移信息做出正确恢复决策且输出符合要求。

Reading Between The Lines: Modeling and Evaluating Behavioral Realism in Legal Simulation

字里行间：法律模拟中行为真实性的建模与评估

Divya Vetticaden, Arya Gupta, Julian Nyarko, Megan Ma

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 本研究推出可控法律角色驱动的证词采集模拟器WitnessSim，采用分离行为真实性与教学实用性的评估框架，证实其行为保真度，为法律模拟性能评估提供框架。

Comments Accepted at ICML 2026 AI4Law. 47 pages, 26 tables, 14 figures

GRPO Beyond English: A Large-Scale Study of GRPO in Non-English and Multilingual Settings

超越英语的GRPO：非英语与多语言场景下GRPO的大规模研究

Konstantin Dobler, Federico Scozzafava, Jonathan Janke, Mohamed Ali, Simon Lehnerer

机构 * Apple（苹果公司） ； Hasso Plattner Institute（哈索·普拉特纳研究所） ； ELLIS Unit Potsdam（波茨坦ELLIS单元） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.LG

AI总结 该研究针对非英语及多语言场景开展GRPO大规模实证，发现母语训练推理与英语训练差距小、存在跨语言迁移但趋势依赖模型语言，指出非英语RLVR有跨语言增益但需全面评估退化问题。

BAT: Learning to Reason about Spatial Sounds with Large Language Models

BAT：基于大语言模型的空间声音推理学习

Zhisheng Zheng, Puyuan Peng, Ziyang Ma, Xie Chen, Eunsol Choi, David Harwath

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 该研究提出结合Spatial-AST与LLaMA-2 7B的BAT模型，通过合成数据集训练，实现了超越SELD任务的空间声音感知与推理，展现了LLM在空间音频领域的应用潜力。

Comments Accepted to ICML 2024. Our demo, dataset, code and model weights are available at: https://zhishengzheng.com/bat

OmniScientist: An Omni-Modal Omni-Discipline AI Scientist

OmniScientist：一种全模态全学科的AI科学家

Bobo Li, Hao Fei, Tianjie Ju, Mong-Li Lee, Wynne Hsu

机构 * National University of Singapore（新加坡国立大学） ； University of Oxford（牛津大学） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 本研究提出全模态AI科学家OmniScientist，通过端到端全模态流水线处理多学科异构原始证据，在36个真实案例中完成从原始数据到手稿的全流程，性能优于仅用预计算特征的系统，为通用AI科学家提供可行方案。

Comments 30 pages, 13 figures, 19 tables. Project page: https://omni-scientist.github.io/

Diagnostic Foundation for Evaluating LLMs' Research Integrity as Co-Scientists

评估大型语言模型作为合作科学家的研究完整性的诊断基础

Yash Tripathi, Silu Sharma, Sai Sidhanth Manoharan Jayanthi, Shivank Garg, Lin Li

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 本研究推出IntegrityBench基准评估LLM作为合作科学家的研究完整性，发现前沿模型在峰值压力下约三分之一的完整性关键决策失败，存在助长不当行为和侵蚀AI辅助研究信任的风险。

Are Large Language Models Reliable Reviewers? A Benchmark for Error Detection in Financial Documents

大语言模型是可靠的评审者吗？面向金融文档错误检测的基准测试

Ying He, Zhouhong Gu, Zhecheng Hu, Yubo Zhou, Hao Shen, Jiaqing Liang, Zhaoqian Dai, Shuguang Ma, Fei Yu, Yanghua Xiao, Zhixu Li

机构 * College of Computer Science and Artificial Intelligence, Fudan University（复旦大学计算机科学与人工智能学院） ； School of Data Science, Fudan University（复旦大学数据科学学院） ； Ant Group（蚂蚁集团） ； School of Information and School of Smart Governance, Renmin University of China（中国人民大学信息学院与智慧治理学院） 纠错

专题命中 推理评测 ：reasoning(abstract)；分类 cs.CL、cs.LG

AI总结 本文构建首个金融错误检测基准FinED-Bench，评估发现当前LLMs难胜任高复杂度金融文档错误检测任务，监督微调可提升弱模型性能。