大模型推理能力

Understanding Curriculum Learning in Large Language Models via Cross-Difficulty Optimization Dynamics

基于跨难度优化动力学的大语言模型课程学习理解

Zhikai Ding, Ziyi Ye

机构 * Fudan University（复旦大学） 纠错

专题命中 测试时计算 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 本文通过分析不同课程调度的优化动力学，提出衡量跨难度知识迁移的Relative Transfer指标，据此推导TDCS方法，经多推理基准实验证明其性能优于代表性调度策略，为课程学习提供统一优化解释。

Towards Understanding On-Policy Distillation through the Lens of Test-Time Scaling

从测试时缩放的视角理解在线策略蒸馏

Xinmu Ge, Zizhuo Zhang, Yu Huang, Jianing Zhu, Lin Yuan, Wanli Gu, Weichang Wu, Weiran Huang, Xiaolu Zhang, Bo Han, Jun Zhou, Jiangchao Yao

机构 * Hong Kong Baptist University（香港浸会大学） ； University of Texas at Austin（德克萨斯大学奥斯汀分校） ； Shanghai Jiao Tong University（上海交通大学） ； Shanghai Innovation Institute（上海创新研究院） ； Ant Group（蚂蚁集团） 纠错

专题命中 测试时计算 ：reasoning(abstract)；分类 cs.CL、cs.LG

AI总结 该研究从测试时缩放视角分析OPD，发现其主要提升采样效率而非扩展推理能力边界，属于“虚假蒸馏”。

Comments 15 pages, 8 figures

Social Chain of Thought: A Multi-Agent Architecture Grounded in Medical Differential Diagnosis Methodology

社会思维链：一种基于医学鉴别诊断方法论的多智能体架构

Del Coburn, Scott Sanner, Dan Silver

专题命中 测试时计算 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出基于医学鉴别诊断方法论的多智能体架构SCoT，通过多轮专家协作提升复杂病例诊断召回率，其优势无法通过单一推理实现。

Comments 14 pages, 9 figures, 6 tables

How to Verify Consistency of Probabilistic Claims

如何验证概率断言的一致性

Orr Paradise, Oliver Richardson, Yoshua Bengio, Shafi Goldwasser

专题命中 测试时计算 ：verifier(abstract)；分类 cs.AI、cs.LG

AI总结 该研究针对概率预测器答案的自洽性验证问题，基于Nilsson的工作构造交互式PCP，为概率预测器自洽性证明提供复杂性理论基础，是训练模型证明自身一致性的第一步。

Matryoshka Language Model Suites

套娃语言模型套件

Nathan Godey, Yoav Artzi

机构 * Cornell University（康奈尔大学） 纠错

专题命中 测试时计算 ：verifier(abstract)；分类 cs.CL、cs.AI

AI总结 该研究提出Matryoshka训练框架，将尺寸递增的子模型堆叠为端到端嵌套架构，训练含5亿、15亿、30亿参数子模型的套件，其性能与基线相当，训练计算量减少36%，推测解码吞吐量提升14-26%。

SkillZip: Contract-Preserving Graph Compression for Scalable Agent Skill Libraries

SkillZip：用于可扩展智能体技能库的保留契约的图压缩方法

Xingyu Tan, Xiaoyang Wang, Qing Liu, Xiwei Xu, Xin Yuan, Liming Zhu, Wenjie Zhang

机构 * UNSW（新南威尔士大学） ； CSIRO（联邦科学与工业研究组织） 纠错

专题命中 测试时计算 ：verifier(abstract)；分类 cs.CL、cs.AI

AI总结 SkillZip是一种执行感知的过程抽象框架，通过对节级图进行保留契约的压缩，解决了智能体技能库的可扩展问题，在基准测试中优于基线，实现了高压缩率和稳健检索。

Position: It's Time to Optimize LLMs for Self-Consistency

立场：是时候针对自一致性优化大型语言模型（LLMs）了

Itamar Pres, Belinda Z. Li, Laura Ruis, Zifan Carl Guo, Keya Hu, Mehul Damani, Isha Puri, Ekdeep Singh Lubana, Jacob Andreas

专题命中 测试时计算 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出自一致性框架，指出LM的缺陷源于单输出对独立评估的假设，可通过一致性优化解决，为开发通用一致性LLM提供思路。

Comments Accepted at the 43rd International Conference on Machine Learning (ICML 2026), Position Paper Track

Relational Response Fields: A General Theory of Black-Box LLM Response Consistency and Recovery

关系响应场：黑盒大语言模型响应一致性与恢复的通用理论

Song Zichen

机构 * Sungkyunkwan University（成均馆大学） 纠错

专题命中 测试时计算 ：verifier(abstract)；分类 cs.CL、cs.LG

AI总结 该研究提出关系响应场（RRF）理论，定义黑盒大语言模型响应恢复的内在难度γₖ(D,A)，推导稀疏修复算法，通过实验验证其在响应一致性与恢复中的有效性。

Aligning Large Vision-Language Models at Test Time: A Trajectory-Guided Structured Sampling Approach

测试时对齐大型视觉语言模型：一种轨迹引导的结构化采样方法

Tianbao Jiang, Weicong Ni, Gerard de Melo, Linlin Wang

专题命中 测试时计算 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 针对现有视觉语言模型测试时对齐方法资源密集、训练与推理分布不匹配的问题，提出轨迹引导结构化采样的测试时对齐方法，在多模态推理数据集上提升准确率且推理开销可控。

Evidence-Type Competition: When Can Interventional Data Teach Language Models Causal Direction?

证据类型竞争：干预数据何时能教会语言模型因果方向？

Xining Xun

机构 * Tsingjiao Information Science (Beijing) Co., Ltd（北京清教信息科技有限公司） 纠错

专题命中 测试时计算 ：reasoning(abstract)；分类 cs.CL、cs.LG

AI总结 该研究发现干预数据训练语言模型因果推理的金标准假设存在局限，观测上下文会抑制模型的因果方向判断能力，提出证据平均方案可降低符号错误率。

Comments 13 pages, 6 figures, 4 tables

Adjudicated Captioning: Multi-Agent Alignment Scoring and Consensus-Distilled Beam Arbitration for Strict Zero-Shot Image Captioning

裁决式字幕生成：用于严格零样本图像字幕生成的多智能体对齐评分与共识蒸馏束仲裁

Duy Tran Thanh, Thien-Phuc Doan, Long Nguyen-Vu, Ngo Tan Vu Khanh

机构 * AI Platform OneNexus, OneMount（OneMount AI平台OneNexus） ； School of Electronic Engineering, Soongsil University（崇实大学电子工程学院） ； MoAdata（MoAdata公司） ； University of Economics Ho Chi Minh City (UEH)（胡志明市经济大学） 纠错

专题命中 测试时计算 ：verifier(abstract)；分类 cs.CL、cs.AI

AI总结 该研究提出裁决式字幕生成多智能体框架，通过多阶段对齐评分与共识蒸馏重排序，在不微调IFCap的情况下，显著提升COCO等数据集的零样本图像字幕生成性能，且可跨数据集迁移。

Looped Transformers with Source-Centered State Evolution

以源为中心的状态演化循环Transformer

Bum Jun Kim, Kohei Hayashi, Shunsuke Kamiya, Masanori Koyama, Yusuke Iwasawa, Yutaka Matsuo

专题命中 测试时计算 ：test-time compute(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出以源为中心的状态演化（SCSE）循环Transformer，解决输入条件与共享循环参考的协调问题，在多个文本任务中提升了可控循环质量，验证了其设计的有效性。

Comments 24 pages, 5 figures

ConsistencyGate: Preventing Memory Contamination in LLM Agents via Self-Consistency Admission Control

一致性门控：通过自一致性准入控制防止大语言模型智能体中的内存污染

Yan Zhang, Shibo Li

机构 * Florida State University（佛罗里达州立大学） 纠错

专题命中 测试时计算 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 研究大语言模型智能体内存污染问题，提出一致性门控方法，在提交候选事实前向模型查询K次获软支持分数，超阈值才准入。该机制与模型无关、无需微调，经实验在四个模型主干上减少了污染，还发布了相关基准和实现。

Comments 24 pages, 2 figures, 6 tables, 1 algorithm; includes appendices

Overview of FinMMEval 2026 Task 1: Multilingual Financial Multiple-Choice Question Answering

FinMMEval 2026任务1概述：多语言金融多项选择题问答

Zhuohan Xie, Yuyang Dai, Rania Elbadry, Vanshikaa Jani, Georgi Georgiev, Dimitar Dimitrov, Fan Zhang, Xueqing Peng, Lingfei Qian, Jimin Huang, Jiahui Geng, Yankai Chen, Ye Yuan, Haolun Wu, Yuxia Wang, Ivan Koychev, Veselin Stoyanov, Mingzi Song, Yu Chen, Xue Liu, Preslav Nakov

机构 * Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） ； INSAIT, Sofia University “St. Kliment Ohridski”（索非亚大学“圣克莱门特·奥赫里德斯基”INSAIT学院） ； University of Arizona（亚利桑那大学） ； FMI, Sofia University “St. Kliment Ohridski”（索非亚大学“圣克莱门特·奥赫里德斯基”FMI学院） ； The Fin AI（The Fin AI公司） ； The University of Tokyo（东京大学） ； Linköping University（林雪平大学） ； McGill University（麦吉尔大学） ； Mila, Quebec AI Institute（魁北克Mila人工智能研究所） ； Meiji Gakuin University（明治学院大学） 纠错

专题命中 测试时计算 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 FinMMEval 2026任务1测试多语言金融多项选择题问答，最终测试集含800题，每种语言200题，按准确率排名。最高准确率在92.0%（印地语）到97.5%（英语和阿拉伯语）之间，领先团队相近。系统采用检索增强等多种方法。

Comments 9 pages. Task overview paper for CLEF 2026 Working Notes (CEUR Workshop Proceedings)

Lookahead Branching for Neural Network Verification

神经网络验证中的前瞻分支

Liam Davis, Duo Zhou, Huan Zhang, Guy Katz, Clark Barrett, Haoze Wu

机构 * Amherst College（阿默斯特学院） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Hebrew University of Jerusalem（耶路撒冷希伯来大学） ； Stanford University（斯坦福大学） 纠错

专题命中 测试时计算 ：verifier(abstract)；分类 cs.AI、cs.LG

AI总结 研究神经网络验证中前瞻分支策略，提出通用集成方法，以FSB为例说明，还阐述其能生成加速验证的引理，通过在两个验证器中实例化，实现验证时间加速及解决实例数增加。

Comments Accepted to IJCAI 2026. Lookahead branching is part of the Marabou and $α$-$β$-CROWN verifiers

Distilled Reinforcement Learning for LLM Post-training

用于大语言模型训练后处理的蒸馏强化学习

Chen Wang, Zhaochun Li, Jionghao Bai, Yining Zhang, Hexuan Deng, Ge Lan, Yue Wang

机构 * College of Elite Engineers, Nankai University（南开大学精英工程师学院） ； Zhongguancun Academy（中关村学院） ； Beijing Institute of Technology（北京理工大学） ； Zhejiang University（浙江大学） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Harbin Institute of Technology（哈尔滨工业大学） ； College of Software, Nankai University（南开大学软件学院） 纠错

专题命中 测试时计算 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 研究大语言模型训练后处理问题，提出蒸馏强化学习方法，集成教师监督到RL目标，含反向重要性采样等三个组件，能有效转移知识，在家族内和跨家族蒸馏实验中性能大幅优于标准RL和OPD。

Recursive Harness Self-Improvement

递归工具自我改进

Hyunin Lee, Jinglue Xu, Jeffrey Seely, Donghyun Lee, Matei Zaharia, Yujin Tang

专题命中 测试时计算 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 研究在模型-工具协同进化中，通过递归工具自我改进（RHI）优化用户构建工具，以提高执行轨迹质量和智能体性能。RHI将工具表示为提示级规范，经成对反馈迭代改进，在多任务中提升了低推理能力智能体性能，降低推理成本。

Comments This work addresses the first half of the model-harness coevolution loop

Demystifying On-Policy Distillation: Roles, Pathologies, and Regulations

揭开在线策略蒸馏的神秘面纱：作用、问题及调控

Rui Wang, Hongru Wang, Yi Chen, Boyang Xue, Tianqing Fang, Wenhao Yu, Kam-Fai Wong

机构 * The Chinese University of Hong Kong（香港中文大学） ； Tencent AI Lab（腾讯人工智能实验室） 纠错

专题命中 测试时计算 ：reasoning(abstract)；分类 cs.CL、cs.LG

AI总结 研究在线策略蒸馏的作用、问题及调控，阐明其为探索催化剂，揭示师生不匹配和长度利用问题，提出优势裁剪和对数尺度压缩调控，实验表明良好调控的信号质量决定OPD中成功探索。

Single-Rollout Asynchronous Optimization for Agentic Reinforcement Learning

用于智能强化学习的单步异步优化

Zhenyu Hou, Yujiang Li, Jie Tang, Yuxiao Dong

机构 * Tsinghua University（清华大学） 纠错

专题命中 测试时计算 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 研究针对异步强化学习中训练稳定性和离策略挑战，提出单步异步优化（SAO）。核心方法是用单步采样取代分组采样，改进单步策略并引入裁剪策略。主要贡献是SAO训练稳定，性能优于GRPO及其变体，在模拟在线学习中有效且成功部署于模型训练。

The yes-no bias of large language models reflects answer order and wording, not shifts in moral judgment

大语言模型的是非偏差反映答案顺序和措辞，而非道德判断的转变

Haonan Huang

机构 * Princeton University（普林斯顿大学） 纠错

专题命中 测试时计算 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 研究大语言模型在道德困境判断中的是非偏差，通过交叉对称化等心理测量方法区分逻辑判断、词汇等因素，发现前沿模型立场与形式无关，部分模型存在顺序和词汇偏差，最小模型可总结伪像，强调跨框架测量模型重视内容。

Self-Review Reinforcement Learning (SRRL) with Cross-Episode Memory and Policy Distillation

具有跨情节记忆和策略蒸馏的自我审查强化学习

Muhammad Zain Amin, Kibele Sebnem Yildirim

专题命中 测试时计算 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 研究针对强化学习中环境反馈稀疏或延迟问题，提出自我审查强化学习框架，通过策略梯度优化自我审查，经选择性蒸馏内化改进到基础策略，用跨情节记忆保留成功审查，在GSM8K基准上评估，该框架优于基线且学习效率更高。

Comments 9 pages, 2 figures

Learning to Control LLM Agent Harnesses with Offline Reinforcement Learning

利用离线强化学习学习控制大语言模型智能体的执行框架

Haiwen Yi, Xinyuan Song

机构 * University of Toronto（多伦多大学） ； Emory University（埃默里大学） 纠错

专题命中 测试时计算 ：verifier(abstract)；分类 cs.AI、cs.LG

AI总结 研究提出将大语言模型智能体的执行框架视为可学习控制层，通过有限 horizon 的框架马尔可夫决策过程，利用离线强化学习训练轻量级控制器，在多领域实验中改进验证行为、提高任务质量，证明框架控制可学习且离线支持有局限。

Comments 17 pages, 7 figures

SkillCoach: Self-Evolving Rubrics for Evaluating and Enhancing Agentic Skill-Use

SkillCoach: 用于评估和增强智能体技能使用的自演化评分准则

Jiayin Zhu, Kelong Mao, Yudong Guo, Dengbo He, Sulong Xu, Simiu Gu, Yutao Yue

机构 * HKUST(GZ)（香港科技大学（广州）） 纠错

专题命中 测试时计算 ：verifier(abstract)；分类 cs.CL、cs.AI

AI总结 提出SkillCoach框架，通过自演化过程评分准则从技能选择、遵循、组合和反思四维度评估智能体轨迹，并利用演化准则筛选高质量训练数据，提升技能使用能力。

When LLMs Read Tables Carelessly: Measuring and Reducing Data Referencing Errors

当LLM粗心阅读表格时：测量并减少数据引用错误

Yuqing Yang, Qi Zhu, Zhen Han, Boran Han, Zhengyuan Shen, Shuai Wang, Vassilis N. Ioannidis, Huzefa Rangwala

机构 * University of Southern California（南加州大学） ； AWS AI Labs（AWS AI实验室） 纠错

专题命中 测试时计算 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 本研究系统评估了大型语言模型在表格任务中的数据引用错误，并提出基于批评模型的过滤与拒绝采样方法，将答案准确率提升高达12.0%。

Comments ACL 2026 (Oral)

Fork-Think with Confidence

基于置信度的分叉思考

Zena Al-Khalili, Rafi Hakim, Dietrich Klakow, Ji-Ung Lee

机构 * Saarland Informatics Campus, Saarland University, Germany（德国萨尔大学萨尔兰信息学园区） 纠错

专题命中 测试时计算 ：reasoning(abstract)；分类 cs.CL、cs.LG

AI总结 提出一种先决策后思考的并行推理方法，通过模型置信度识别分叉点并采样多条路径聚合，在保持或提升推理性能的同时，将token消耗降低30%，运行时间减少57%。

Delayed Verification Destabilizes Multi-Agent LLM Belief: Instability Thresholds and Optimal Corrector Placement

延迟验证破坏多智能体LLM信念：不稳定性阈值与最优校正器放置

Igor Itkin

机构 * Independent Researcher（独立研究者） 纠错

专题命中 测试时计算 ：verifier(abstract)；分类 cs.CL、cs.LG

AI总结 研究多智能体LLM系统中延迟验证导致信念不稳定的问题，通过图论和谱分解推导出验证剂量的稳定性阈值，并提出贪心近似算法优化校正器放置。

Comments 20 pages, 5 figures, 1 table. Code and data: https://github.com/YehudaItkin/delayed-verification-llm

Are Safety Guarantees in Neural Networks Safe? How to Compute Trustworthy Robustness Certifications

神经网络中的安全保障真的安全吗？如何计算可信的鲁棒性认证

Merkouris Papamichail, Konstantinos Varsos, Giorgos Flouris, João Marques-Silva

机构 * University of Crete（克里特大学） ； Catalan Institution for Research and Advanced Studies（加泰罗尼亚研究与高等研究院） ； University of Lleida（莱里达大学） 纠错

专题命中 测试时计算 ：verifier(abstract)；分类 cs.AI、cs.LG

AI总结 针对神经网络对抗样本问题，提出apothem度量以线性时间计算最优鲁棒性认证，并证明体积最优认证的不可行性，引入双重认证和ParallelepipedoNN系统，在MNIST等基准上实现至少两倍的最小边长改进。

Teaching Diffusion to Speculate Left-to-Right

教导扩散模型从左到右推测

Lexington Whalen, Yuki Ito, Ryo Sakamoto

机构 * Lexington Whalen ； Yuki Ito ； Ryo Sakamoto 纠错

专题命中 测试时计算 ：reasoning(abstract)；分类 cs.CL、cs.LG

AI总结 针对自回归解码的推理瓶颈，提出三种训练时干预方法（位置加权、首次错误焦点损失、链损失）来弥合块扩散草稿模型的双向生成与自回归目标模型从左到右验证之间的不对称性，显著提升接受草稿长度。

Comments 13 pages, technical report

Diffusion Language Models: An Experimental Analysis

扩散语言模型：一项实验分析

Thomas Bertolani, Davide Bucciarelli, Leonardo Zini, Marcella Cornia, Lorenzo Baraldi

机构 * University of Modena and Reggio Emilia（摩德纳和雷焦艾米利亚大学） ； University of Pisa（比萨大学） 纠错

专题命中 测试时计算 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 本文系统比较了八种扩散语言模型在推理、编码、翻译等任务上的表现，分析了去噪步数、上下文长度等推理因素对性能与效率的影响，揭示了扩散语言模型在不同任务和预算下的权衡。

Calibrated Sampling-Free Uncertainty Estimation in Bayesian Deep Learning

贝叶斯深度学习中的校准无采样不确定性估计

Tobias Jan Wieczorek, Leon de Andrade, Thomas Möllenhoff, Marcus Rohrbach

机构 * TU Darmstadt & hessian.AI, Darmstadt, Germany（达姆施塔特工业大学 & hessian.AI，德国达姆施塔特） ； RIKEN Center for Advanced Intelligence Project, Tokyo, Japan（日本理化学研究所革新智能研究中心，日本东京） 纠错

专题命中 测试时计算 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 提出校准方差传播（CVP），通过新型归一化层传播方法、激活函数处理技术及轻量校准步骤，在单次前向传播中高效估计不确定性，在Transformer和CNN上达到与MC采样相当的精度，成本显著降低。