大模型推理能力

A Formula-Driven Survey and Research Agenda for On-Policy Distillation

基于公式驱动的在线策略蒸馏综述与研究议程

Bowen Zhang

机构 * Tsinghua University（清华大学） 纠错

专题命中 测试时计算 ：verifier(abstract)；分类 cs.AI

AI总结 本文提出一种公式驱动的分类法，将在线策略蒸馏（OPD）视为反馈到更新的问题，区分直接分布损失和策略梯度式对数比更新，并揭示状态兼容性、支持构建、时间信用、词汇路由等关键因素。

Learning at the Right Pace: Adaptive Data Scheduling Improves LLM Reinforcement Learning

以合适的速度学习：自适应数据调度改进大语言模型强化学习

Zicheng Xu, Ruixuan Zhang, Yu-Neng Chuang, Xiuyi Lou, Hoang Anh Duy Le, Oren Gal, Alexander S. Szalay, Zhaozhuo Xu, Guanchu Wang, Vladimir Braverman

机构 * Johns Hopkins University（约翰霍普金斯大学） ； Rice University（莱斯大学） ； University of Haifa（海法大学） ； Workato ； University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校） 纠错

专题命中 测试时计算 ：reasoning(abstract)；分类 cs.CL

AI总结 针对LLM强化学习后训练中均匀采样忽视数据语义和策略变化的问题，提出自适应数据调度框架ADS，通过语义聚类和策略边界样本选择实现双层级调度，在三个LLM和七个推理基准上平均准确率提升5.2%。

SPOT-E: Test-Time Entropy Shaping with Visual Spotlights for Frozen VLMs

SPOT-E：基于视觉聚光灯的冻结VLM测试时熵整形

Bo Yin, Xiaobin Hu, Chengming Xu, Ruolin Shen, Mo Yang, Jiangning Zhang, Peng-Tao Jiang, Cheng Tan, Shuicheng Yan

机构 * National University of Singapore（新加坡国立大学） ； Fudan University（复旦大学） ； Technical University of Munich（慕尼黑工业大学） ； Sagenic Tech ； Zhejiang University（浙江大学） ； vivo ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） 纠错

专题命中 测试时计算 ：reasoning(abstract)；分类 cs.AI

AI总结 提出SPOT-E方法，通过测试时熵整形和视觉聚光灯，解决VLM在证据密集型任务中因忽视局部关键证据而表现不佳的问题，无需重新训练即可提升定位与鲁棒性。

SAGE-OPD: Selective Agent-Guided Intervention for Multi-Turn On-Policy Distillation

SAGE-OPD：面向多轮在策略蒸馏的选择性智能体引导干预

Yuhang Zhou, Lizhu Zhang, Yifan Wu, Mingyi Wang, Bo Peng, Jiayi Liu, Xiangjun Fan, Zhuokai Zhao

机构 * Meta AI 纠错

专题命中 测试时计算 ：verifier(abstract)；分类 cs.CL

AI总结 提出SAGE-OPD框架，通过环境反馈和教师判断选择性干预学生响应，结合置信度加权和损失归一化，解决多轮在策略蒸馏中的错误累积问题，在ALFWorld任务中取得13.3%的相对提升。

Comments 21 pages, 3 figures

Characterizing Narrative Content in Web-scale LLM Pretraining Data

网络规模LLM预训练数据中的叙事内容特征化

Teagan Johnson, Elliott Ash, Andrew Piper, Maria Antoniak

机构 * University of Colorado Boulder（科罗拉多大学波尔德分校） ； ETH Zürich（苏黎世联邦理工学院） ； McGill University（麦吉尔大学） 纠错

专题命中 测试时计算 ：reasoning(abstract)；分类 cs.CL

AI总结 首次细粒度研究LLM预训练语料库Dolma的叙事特征，提出涵盖三个核心叙事元素（能动性、场景、事件）的框架，构建NarraBERT模型并发布NarraDolma数据集，揭示叙事结构在异构数据中可测量且分布不均。

Comments 8 pages of main content, 28 total pages. 30 figures

EfficientRollout: System-Aware Self-Speculative Decoding for RL Rollouts

EfficientRollout: 面向强化学习推演的感知系统的自推测解码

Minseo Kim, Minjae Lee, Seunghyuk Oh, Kevin Galim, Donghoon Kim, Coleman Hooper, Harman Singh, Amir Gholami, Hyung Il Koo, Wonjun Kang

机构 * FuriosaAI ； University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 测试时计算 ：reasoning(abstract)；分类 cs.LG

AI总结 针对强化学习推演中自回归解码延迟瓶颈，提出感知系统的自推测解码框架，通过量化自推测解码器与感知系统的推测开关策略，在保持模型质量前提下降低推演和端到端延迟。

Comments Project Page: https://github.com/furiosa-ai/EfficientRollout

SkillRevise: Improving LLM-Authored Agent Skills via Trace-Conditioned Skill Revision

SkillRevise: 通过轨迹条件技能修订改进LLM撰写的智能体技能

Yuxuan Liu, Zhaochen Su, Lingyun Xie, Yuhao Zhang, Qing Zong, Jiahe Guo, Zhongwei Xie, Yiyan Ji, Yauwai Yim, Hongyu Luo, Xiyu Ren, Ruan Chenyu, Haoran Li, Yangqiu Song

机构 * The Hong Kong University of Science and Technology（香港科学与技术大学） ； Harbin Institute of Technology（哈尔滨工业大学） ； Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） ； Nanjing University（南京大学） ； The University of Hong Kong（香港大学） 纠错

专题命中 测试时计算 ：verifier(abstract)；分类 cs.AI

AI总结 提出SkillRevise框架，通过执行证据诊断、修复原则检索和执行锚定编辑，迭代优化初始技能，在SkillsBench上将基础智能体成功率从36.05%提升至61.63%，并展现跨模型迁移性。

Comments 15 pages, 4 figures

Recursive Scaling in Masked Diffusion Models

掩码扩散模型中的递归缩放

Alba Carballo-Castro, Julianna Piskorz, Paulius Rauba, Mihaela van der Schaar, Pascal Frossard

机构 * LTS4, EPFL, Lausanne, Switzerland（瑞士洛桑联邦理工学院LTS4实验室） ； University of Cambridge, Cambridge, UK（英国剑桥大学） 纠错

专题命中 测试时计算 ：test-time compute(abstract)；分类 cs.LG

AI总结 提出递归掩码扩散模型（R-MDMs），通过在每个扩散步骤中重复应用同一去噪变换器增加递归深度，实现参数高效缩放，在数独和倒计时等结构化生成任务中，以更少参数匹配非递归基线性能。

AgentFairBench: Do LLM Agents Discriminate When They Act?

AgentFairBench: LLM智能体在行动时是否存在歧视？

Triveni Morla, Rohith Reddy Bellibaltu, Manpreet Singh, Manmeet Singh Kapoor

机构 * Florida International University（佛罗里达国际大学） ； Boston University（波士顿大学） ； Department of Computer Science and Engineering, Indian Institute of Technology Patna（印度帕纳吉印度理工学院计算机科学与工程系） 纠错

专题命中 测试时计算 ：chain-of-thought(abstract)；分类 cs.AI

AI总结 提出AgentFairBench基准，通过反事实匹配集和偏差传导框架，评估LLM智能体在招聘、贷款和医疗分诊中的行动公平性，发现统计量级不匹配会夸大歧视，而匹配后Claude Haiku无显著人口统计效应。

Comments Submitted to IEEE Access

Journal ref Under Review (2026)

Imperfect Visual Verification for Code Edition : A Case Study on TikZ

代码编辑的不完美视觉验证：以TikZ为例的案例研究

Charly Reux, Mathieu Acher, Djamel Eddine Khelladi, Clément Quinton, Olivier Barais

机构 * Univ Rennes, Inria, IRISA, INSA（里昂大学、Inria、IRISA、INSA） ； Univ Rennes, Inria, CNRS, IUF, IRISA（里昂大学、Inria、CNRS、IUF、IRISA） ； Univ Rennes, Inria, CNRS, IRISA（里昂大学、Inria、CNRS、IRISA） ； Univ. Lille, CNRS, Inria（里尔大学、CNRS、Inria） ； Univ. Rennes, IRISA, Inria（里昂大学、IRISA、Inria） 纠错

专题命中 测试时计算 ：verifier(abstract)；分类 cs.AI

AI总结 针对TikZ等视觉代码定制任务，研究不完美验证器在迭代精炼中的有效性，发现即使不完美验证器也能适度准确判断指令是否应用，反馈对弱模型提升显著。

Multi-agent Framework for Time-Sensitive Complementary Collaboration in Minecraft

Minecraft中时间敏感互补协作的多智能体框架

Juheon Yi, Jinglu Wang, Xiaoyi Zhang, Yan Lu

机构 * Microsoft Research Asia（微软亚洲研究院） 纠错

专题命中 测试时计算 ：verifier(abstract)；分类 cs.AI

AI总结 提出TickingCollabBench基准和TickingCollab框架，用于评估LLM在动态、实时、异构智能体强制协作任务中的表现，发现LLM因延迟和协调困难而频繁失败。

LLM Jaggedness Unlocks Scientific Creativity

LLM Jaggedness Unlocks Scientific Creativity

Shray Mathur, J. Anibal Boscoboinik, Esther H. R. Tsai, Kevin G. Yager

机构 * Center for Functional Nanomaterials, Brookhaven National Laboratory（功能纳米材料中心，布鲁赫萨尔国家实验室） 纠错

专题命中 测试时计算 ：reasoning(abstract)；分类 cs.AI

AI总结 本文研究了大型语言模型（LLMs）在科学创意生成中的不规则进步现象，提出了SciAidanBench基准测试集，通过评估不同模型在科学问题上的创意生成能力，揭示了模型在跨任务、提示和领域层面的不均衡表现，并展示了如何通过推理计算、知识聚合和头脑风暴等机制利用这种不规则性来提升科学创造力。

When Good Verifiers Go Bad: Self-Improving VLMs Can Regress on New Tasks

当好的验证器变坏：自我改进的视觉语言模型可能在新任务上退步

Jianzhe Lin

机构 * MetaAI（Meta） 纠错

专题命中 测试时计算 ：verifier(abstract)；分类 cs.AI

AI总结 本文发现验证器驱动的自我DPO中，验证器质量具有任务特异性，在低准确率任务上会导致学生模型性能退步，并给出机制解释和部署建议。

Comments 12 pages, 2 figure

Trusted Uncertainty in Large Language Models: A Unified Framework for Confidence Calibration and Risk-Controlled Refusal

大型语言模型中的可信不确定性：置信度校准与风险控制拒绝的统一框架

Markus Oehri, Giulia Conti, Kaviraj Pather, Alexandre Rossi, Laia Serra, Adrian Parody, Rogvi Johannesen, Aviaja Petersen, Arben Krasniqi

机构 * University of Liechtenstein（列支敦士登大学） ； University of the Republic of San Marino（圣马尔科共和国大学） ； University of Mauritius（毛里求斯大学） ； International University of Monaco（摩纳哥国际大学） ； University of Andorra（安道尔大学） ； University of Gibraltar（直布罗陀大学） ； University of the Faroe Islands（法罗群岛大学） ； Ilisimatusarfik (University of Greenland)（格陵兰岛研究所（格陵兰大学）） ； University of Prizren（普里兹伦大学） 纠错

专题命中 测试时计算 ：verifier(abstract)；分类 cs.CL

AI总结 提出UniCR框架，融合多种不确定性证据为校准的正确概率，并通过原则性拒绝满足用户指定的错误预算，无需微调基础模型，在短问答、代码生成和检索增强长问答中提升校准指标并降低风险-覆盖曲线下面积。

Comments arXiv admin note: This paper has been withdrawn by arXiv due to unverifiable authorship and affiliation

Rubric-Guided Self-Distillation: Post-Training Without Rubric Verifiers

基于评分标准的自蒸馏：无需评分标准验证器的后训练

MohammadHossein Rezaei, Anas Mahmoud, Zihao Wang, Utkarsh Tyagi, Advait Gosai, Razvan-Gabriel Dumitru, Aakash Sabharwal, Bing Liu, Yunzhong He

机构 * Scale AI 纠错

专题命中 测试时计算 ：verifier(abstract)；分类 cs.LG

AI总结 提出RGSD方法，通过将评分标准作为条件蒸馏到学生模型，无需验证器即可实现密集逐令牌学习，在医学和科学领域达到与基于评判的GRPO相当的评分标准满足率。

Select to Think: Unlocking SLM Potential with Local Sufficiency

Select to Think: 利用局部充分性解锁小语言模型潜力

Wenxuan Ye, Yangyang Zhang, Xueli An, Georg Carle, Yunpu Ma

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 测试时计算 ：reasoning(abstract)；分类 cs.CL

AI总结 提出Select to Think (S2T)方法，通过将大语言模型角色从生成转为选择，并蒸馏选择逻辑到小语言模型，使其在推理时无需依赖大模型，显著提升性能。

Comments Accepted to ICML 2026. Code is available at https://github.com/YeRona/Select-to-Think

Agreement in Representation Space for Open-Ended Self-Consistency

表示空间中的一致性：面向开放式自洽性

Paula Ontalvilla, Gorka Azkune, Aitor Ormazabal

机构 * HiTZ Center - Ixa, University of the Basque Country (UPV/EHU)（HiTZ中心 - Ixa，巴斯克大学（UPV/EHU）） 纠错

专题命中 测试时计算 ：reasoning(abstract)；分类 cs.CL

AI总结 针对开放式生成任务，提出基于嵌入的协议（EBA），通过聚类采样生成的嵌入表示来估计自洽性，无需训练即可鲁棒地选择更可靠的输出。

Mind the Perspective: Let's Reason Recursively for Theory of Mind

注意视角：递归推理实现心智理论

Chao Lei, Guang Hu, Meng Yang, Yanbei Jiang, Nir Lipovetzky

机构 * School of Computing and Information Systems, The University of Melbourne, Australia（墨尔本大学计算与信息系统学院） ； SensiLab, Monash University, Australia（蒙纳士大学SensiLab） 纠错

专题命中 测试时计算 ：reasoning(abstract)；分类 cs.AI

AI总结 提出RecToM框架，通过递归视角构建建模嵌套信念，将高阶信念问题转化为实际世界问题，在多个ToM基准上达到最先进性能。

Energy Use of AI Inference, Efficiency Pathways, and Test-Time Scaling

AI推断的能耗：效率路径与测试时计算

Felipe Oviedo, Fiodar Kazhamiaka, Esha Choukse, Allen Kim, Amy Luers, Melanie Nakagawa, Ricardo Bianchini, Juan M. Lavista Ferres

机构 * Microsoft（微软） 纠错

专题命中 测试时计算 ：planning(abstract)；分类 cs.LG

AI总结 本文提出基于令牌吞吐量的底层方法，估算大规模大语言模型的每查询能耗，揭示测试时扩展场景下的能耗变化及效率提升潜力。

Comments A preprint version with DOI is available at Zenodo: https://doi.org/10.5281/zenodo.17188770

Journal ref Joule (2026) 102430

Data Journalist Agent: Transforming Data into Verifiable Multimodal Stories

数据记者智能体：将数据转化为可验证的多模态故事

Kevin Qinghong Lin, Batu EI, Yuhong Shi, Pan Lu, Philip Torr, James Zou

机构 * University of Oxford（牛津大学） ； Stanford University（斯坦福大学） 纠错

专题命中 测试时计算 ：verifier(abstract)；分类 cs.CL

AI总结 提出多智能体框架Data2Story，通过证据链验证声明并自动生成多模态文章，在18篇文章上评估，证明其在透明性和可审计性上接近人类记者。

Comments Project page: https://data2story.github.io Github: https://github.com/QinghongLin/data2story-skill

Pushing the Limits of LLM Tool Calling via Experiential Knowledge Integration and Activation

通过经验知识集成与激活推动LLM工具调用极限

Yupu Hao, Zhuoran Jin, Huanxuan Liao, Kang Liu, Jun Zhao

机构 * The Key Laboratory of Cognition and Decision Intelligence for Complex Systems, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所复杂系统认知与决策智能重点实验室） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） 纠错

专题命中 测试时计算 ：reasoning(abstract)；分类 cs.CL

AI总结 研究如何通过经验知识获取、激活和内化提升LLM多步工具调用性能，提出知识增强工具执行框架KATE，结合宽度扩展推理与知识感知训练，在BFCL-V3和AppWorld上显著优于基线。

Decentralized Multi-Agent Systems with Shared Context

具有共享上下文的去中心化多智能体系统

Yuzhen Mao, Azalia Mirhoseini

机构 * Stanford University（斯坦福大学） 纠错

专题命中 测试时计算 ：reasoning(abstract)；分类 cs.AI

AI总结 提出DeLM框架，通过并行智能体、共享上下文和任务队列去中心化协调，解决集中式MAS的瓶颈，在软件工程和长上下文推理中提升性能并降低成本。

Neurosymbolic Learning for Inference-Time Argumentation

用于推理时间论证的神经符号学习

Gabriel Freedman, Adam Dejl, Adam Gould, Mansi, Lihu Chen, Junqi Jiang, Francesca Toni

机构 * Department of Computing, Imperial College London（伦敦帝国理工学院计算机系） 纠错

专题命中 测试时计算 ：reasoning(abstract)；分类 cs.AI

AI总结 本文提出了一种用于三元主张验证的可训练神经符号框架，通过在训练和推理过程中结合形式论证语义来指导大语言模型生成论证并分配基础分数，从而提高三元预测的准确性。

Comments Under review

Revisiting Greedy Decoding for Visual Question Answering: A Calibration Perspective

重新审视视觉问答中的贪婪解码：一种校准视角

Boqi Chen, Xudong Liu, Yunke Ao, Jianing Qiu

机构 * ETH Zurich（苏黎世联邦理工学院） ； University of Toronto（多伦多大学） ； MBZUAI（穆桑比克人工智能研究所） 纠错

专题命中 测试时计算 ：reasoning(abstract)；分类 cs.CL

AI总结 针对视觉问答任务，从校准角度理论证明贪婪解码优于随机采样，并提出适用于推理模型的贪婪解码方法，实验验证其有效性。

Forward-Free Diffusion Language Models

无前向过程的扩散语言模型

Haotian Sun, Rushi Qiang, Yuqian Zheng, Bo Dai

机构 * Georgia Institute of Technology（佐治亚理工学院） 纠错

专题命中 测试时计算 ：reasoning(abstract)；分类 cs.CL

AI总结 提出FReDA，一种无需人工设计前向过程的扩散语言模型，通过递归分布细化利用模型生成草稿作为隐式中间状态，在推理和编码任务上超越更大模型，并实现1.5-1.8倍加速。

PRISM: PRior-guided Imagination Sampling in world Models

PRISM：世界模型中基于先验引导的想象采样

Yuhai Wang, Jiawei Xia, Rongxuan Zhou, Xiao Hu, Yongliang Shi, Jing Du, Yang Ye

机构 * Northeastern University（东北大学） ； University of California, Berkeley（加州大学伯克利分校） ； Qiyuan Lab（启元实验室） ； University of Florida（佛罗里达大学） 纠错

专题命中 测试时计算 ：planning(abstract)；分类 cs.AI

AI总结 提出PRISM框架，通过从世界模型编码器提取状态条件高斯先验，并利用精度加权高斯乘积更新规划器的采样分布，在不增加架构复杂度的情况下显著提升基于模型的连续控制性能。

CSE-UOI at SemEval-2026 Task 6: A Two-Stage Heterogeneous Ensemble with Deliberative Complexity Gating for Political Evasion Detection

CSE-UOI在SemEval-2026任务6中的表现：一种双阶段异构集成与 deliberative 复杂性门控的政治理论逃避检测方法

Christos Tzouvaras, Konstantinos Skianis, Athanasios Voulodimos

机构 * University of Ioannina（伊奥安纳大学） ； National Technical University of Athens（雅典国家技术大学） 纠错

专题命中 测试时计算 ：reasoning(abstract)；分类 cs.CL

AI总结 本文提出一种双阶段异构集成方法，结合自我一致性与加权投票，以及新颖的后处理修正机制Deliberative Complexity Gating，用于政治逃避检测，最终在评估集上获得0.85的Macro-F1分数。

Predictable Compression Failures: Order Sensitivity and Information Budgeting for Evidence-Grounded Binary Adjudication

可预测的压缩失败：基于证据的二元裁决的顺序敏感性与信息预算

Leon Chlon, Ahmed Karim, Maggie Chlon, MarcAntonio Awada

专题命中 测试时计算 ：verifier(abstract)；分类 cs.LG

AI总结 研究证据顺序对基于Transformer的二元裁决模型的影响，提出QMV界和EDFL定律，通过信息充分率门控实现低幻觉率下的答案/弃权决策。

SkillComposer: Learning to Evolve Agent Skills for Specification and Generalization

SkillComposer: 学习演化智能体技能以实现特化与泛化

Qi Zhang, Zhaopeng Feng, Xiaonan Shi, Xiaomeng Hu, Chu Liu, Pengjun Xie, Xiaobin Wang, Jieping Ye, Bryan Hooi, Haobo Wang, Junbo Zhao

机构 * Zhejiang University（浙江大学） ； Tongyi Lab（通义实验室） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 测试时计算 ：reasoning(abstract)；分类 cs.CL

AI总结 提出SkillComposer框架，通过创建、改进和合并三种可学习操作，使语言模型在推理时自我演化技能，支持离线、在线和混合部署模式，在多个基准上提升性能。

Comments Under Review

Boosting Self-Consistency with Ranking

通过排序提升自洽性

Maria Marina, Daniil Moskovskiy, Sergey Pletenev, Mikhail Salnikov, Alexander Panchenko, Viktor Moskvoretskii

机构 * AIRI ； Skoltech（斯克利切夫斯基因工大学） ； EPFL（瑞士联邦理工学院） 纠错

专题命中 测试时计算 ：reasoning(abstract)；分类 cs.CL

AI总结 提出RISC方法，将自洽性中的答案选择转化为排序问题，使用轻量级LambdaRank模型结合五个特征，在多个数据集上实现了比标准自洽性更好的准确率-效率权衡。

Comments 16 pages, 13 figures, accepted at ACL Student Research Workshop 2026