大模型推理能力

Not All Errors Are Equal: A Systematic Study of Error Propagation in Large Language Model Inference

并非所有错误都平等：大型语言模型推理中错误传播的系统研究

Yafan Huang, Sheng Di, Guanpeng Li

机构 * University of Iowa（爱荷华大学） ； Argonne National Laboratory（阿贡国家实验室） ； University of Florida（佛罗里达大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI

AI总结 本研究通过提出的LLMFI故障注入框架，系统研究了软错误在大型语言模型推理中的传播机制，揭示了关键脆弱性模式，并提出了四种低开销的软件级可靠性改进方向。

Comments Accepted at ICS'26

Do Multimodal Agents Really Benefit from Tool Use? A Systematic Study of Capability Gains

多模态智能体真的从工具使用中受益吗？能力增益的系统性研究

Garvin Guo, Donglei Yu, Yu Chen, Xiang Wang, Shuai Li, Xinpei Zhao, Huaxing Liu, Qinghao Wang, Minpeng Liao

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI

AI总结 通过对比工具增强与无工具的多模态智能体在多项任务上的表现，发现工具使用并未带来一致的性能提升，智能体更多是学会了工具调用模式而非真正利用工具扩展能力。

AnyEdit++: Adaptive Long-Form Knowledge Editing via Bayesian Surprise

AnyEdit++: 基于贝叶斯惊讶的自适应长文本知识编辑

Bowen Tian, Caixue He, Jiemin Wu, Jingying Wang, Wenshuo Chen, Zexi Li, Yutao Yue

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI

AI总结 提出AnyEdit++框架，通过基于贝叶斯惊讶的自适应分割机制Bayes-Chunk，实现结构感知的长文本知识编辑，在数学推理、代码生成和叙事任务上优于现有方法。

Comments Accepted by ICML 2026

Language Modeling with Hyperspherical Flows

超球面流语言建模

Justin Deschenaux, Caglar Gulcehre

机构 * EPFL（苏黎世联邦理工学院） ； Microsoft AI（微软人工智能） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.LG

AI总结 提出一种在超球面潜空间中进行连续流语言建模的方法 S-FLM，通过旋转向量和交叉熵学习速度场，避免独热向量开销，在大型词汇推理任务上显著提升性能，缩小了与掩码扩散模型的差距。

A Task-Centric Theory for Iterative Self-Improvement with Easy-to-Hard Curricula

一种以任务为中心的迭代自改进理论，采用由易到难的课程

Chenruo Liu, Yijun Dong, Yiqiu Shen, Qi Lei

机构 * New York University（纽约大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.LG

AI总结 本文通过将自改进建模为基于奖励过滤分布的最大似然微调，推导了期望奖励的有限样本保证，并证明了在推理任务中由易到难的课程比固定任务混合训练具有更好的理论保证。

AgentProcessBench: Diagnosing Step-Level Process Quality in Tool-Using Agents

AgentProcessBench：诊断工具使用代理的步骤级过程质量

Shengda Fan, Xuyan Ye, Yupeng Huo, Zhi-Yuan Chen, Yiju Guo, Shenzhi Yang, Wenkai Yang, Shuqi Ye, Jingwen Chen, Haotian Chen, Xin Cong, Yankai Lin

机构 * Renmin University of China（中国人民大学） ； Beijing Jiaotong University（北京交通大学） ； Shanghai Jiao Tong University（上海交通大学） ； Tsinghua University（清华大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI

AI总结 提出AgentProcessBench基准，通过三元标注方案和错误传播规则评估工具增强轨迹中的步骤级有效性，揭示当前模型在区分中立与错误动作方面的挑战，并证明过程信号对结果监督的补充价值。

Code2Math: Can Your Code Agent Effectively Evolve Math Problems Through Exploration?

Code2Math：你的代码智能体能否通过探索有效演化数学问题？

Dadi Guo, Yuejin Xie, Qingyu Liu, Weixian Huang, Jiayu Liu, Zhiyuan Fan, Qihan Ren, Shuai Shao, Tianyi Zhou, Jianjie Feng, Wenze Su, Yujiu Yang, Dongrui Liu, Yi R. Fung

机构 * Hong Kong University of Science and Technology（香港科技大学） ； Tsinghua University（清华大学） ； Zhejiang University（浙江大学） ； Nanjing Tech University（南京工业大学） ； Shanghai Jiao Tong University（上海交通大学） ； University of Michigan（密歇根大学） ； Independent Researcher（独立研究者） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL

AI总结 本文提出一个多智能体框架，利用代码智能体通过探索将现有数学问题自主演化为更复杂、更困难的变体，并验证其可解性和难度提升。

Comments 38 pages

Mellum2 Technical Report

Mellum2 技术报告

Marko Kojic, Ivan Bondyrev, Aral de Moor, Joseph Shtok, Petr Borovlev, Kseniia Lysaniuk, Madeeswaran Kannan, Ivan Dolgov, Nikita Pavlichenko

机构 * JetBrains ； Constructor University（Constructor大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL

AI总结 本文介绍 Mellum 2，一个12B参数（每token激活2.5B）的混合专家语言模型，专攻软件工程，通过架构创新和训练优化在代码生成、数学推理等基准上达到4B-14B开源模型的竞争力。

Attend to Evidence: Evidence-Anchored Spatial Attention Supervision for Multimodal RLVR

关注证据：面向多模态RLVR的证据锚定空间注意力监督

Ruina Hu, Chen Wang, Lai Wei, Jionghao Bai, Bin Yu, Weiran Huang, Kai Wang, Yue Wang

机构 * Harbin Institute of Technology（哈尔滨工业大学） ； Zhongguancun Academy（中关村学院） ； Zhongguancun Institute of Artificial Intelligence（中关村人工智能研究院） ； Nankai University（南开大学） ； Shanghai Jiaotong University（上海交通大学） ； Zhejiang University（浙江大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL

AI总结 提出EASE方法，通过将标注证据区域转化为平滑视觉标记目标，在多模态强化学习训练中引导响应到图像的注意力，从而提升视觉语言模型在感知、幻觉、视觉数学和多模态推理基准上的性能。

ExpGraph: Model-Agnostic Experience Learning with Graph-Structured Memory for LLM Agents

ExpGraph: 面向LLM智能体的模型无关经验学习与图结构记忆

Tao Feng, Chongrui Ye, Tianyang Luo, Jingjun Xu, Xueqiang Xu, Haozhen Zhang, Zhigang Hua, Yan Xie, Shuang Yang, Ge Liu, Jiaxuan You

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Nanyang Technological University（南洋理工大学） ； Meta Monetization AI（Meta 营收人工智能） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL

AI总结 提出ExpGraph框架，通过图结构记忆和强化学习实现冻结LLM执行器的外部经验复用，在问答、数学推理、代码生成和多步智能体任务上显著提升性能并减少交互步骤。

Representation Collapse in Sequential Post-Training of Large Language Models

大型语言模型顺序后训练中的表示坍缩

Yichen Liu, Mingyu Chen, Hao Wang, Xiaoran Xu, Chenxi Lin, Rui Zhang, Yutong Zhou, Yuxin Yang, Jiarui Wu, Wei Sun

机构 * Hangzhou Dianzi University（杭州电子科技大学） ； Zhejiang Gongshang University（浙江工商大学） ； Ningbo University（宁波大学） ； Shanghai University（上海大学） 纠错

专题命中 数学推理 ：chain-of-thought(abstract)；分类 cs.LG

AI总结 研究大型语言模型在顺序后训练阶段中内部表示逐渐压缩为低秩、各向异性且同质的特征空间，并提出轻量级干预措施以保持未来可学习性。

Comments work in progress

SEAL: Can Saturated Benchmarks Be Revived by LLM-as-a-Meta-Judge?

SEAL: 饱和基准能否通过LLM作为元裁判得以复兴？

Jiamin Chen, Yidi Wu, Qiexiang Wang, Qianben Chen, Yuchen Li, Yansen Zhang, Xiaokun Zhang, Wangchunshu Zhou, Chen Ma

机构 * ByteDance Inc.（字节跳动公司） ； City University of Hong Kong（香港城市大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL

AI总结 提出SEAL协议，通过自适应LLM元裁判从饱和基准中提取潜在排名信号，在代码生成、数学推理等任务上以更少调用实现高排名准确率。

NaRA: Noise-Aware LoRA for Parameter-Efficient Fine-Tuning of Diffusion LLMs

NaRA: 面向扩散大语言模型参数高效微调的噪声感知LoRA

Shuaidi Wang, Zhan Zhuang, Ruping Huang, Yu Zhang

机构 * Department of Computer Science and Engineering, Southern University of Science and Technology, Shenzhen, China（南方科技大学计算机科学与工程系，深圳，中国） ； Department of Computer Science, City University of Hong Kong, Hong Kong, China（香港城市大学计算机科学系，香港，中国） ； Department of Computer Science and Engineering, Hong Kong University of Science and Technology, Hong Kong, China（香港理工大学计算机科学与工程系，香港，中国） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI

AI总结 针对扩散大语言模型，提出噪声感知低秩适配（NaRA），通过噪声条件超网络生成低秩核心矩阵，实现沿去噪轨迹连续变化的更新矩阵，在常识推理、数学推理和代码生成基准上优于噪声无关基线。

A Matter of Interest: Understanding Interestingness of Math Problems in Humans and Language Models

兴趣问题：理解人类与语言模型对数学问题的兴趣度

Shubhra Mishra, Yuka Machino, Gabriel Poesia, Albert Jiang, Joy Hsu, Adrian Weller, Challenger Mishra, David Broman, Joshua B. Tenenbaum, Mateja Jamnik, Cedegao E. Zhang, Katherine M. Collins

机构 * KTH Royal Institute of Technology（皇家理工学院） ； Stanford University（斯坦福大学） ； Massachusetts Institute of Technology（麻省理工学院） ； University of Cambridge（剑桥大学） ； Kempner Institute at Harvard University（哈佛大学肯普尼研究所） ； Mistral AI 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI

AI总结 通过比较大型语言模型与不同数学背景人群对数学问题的兴趣度评分，研究LLM在兴趣判断上与人类的一致性，并评估其生成有趣问题的能力。

Comments Published at the Math-AI Workshop, NeurIPS 2025

EAPO: Enhancing Policy Optimization with On-Demand Expert Assistance

EAPO: 利用按需专家协助增强策略优化

Siyao Song, Cong Ma, Zhihao Cheng, Shiye Lei, Minghao Li, Ying Zeng, Huaixiao Tou, Kai Jia

机构 * ByteDance BandAI（字节跳动BandAI） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI

AI总结 提出专家辅助策略优化（EAPO）框架，通过训练中与外部专家的多轮交互增强探索，解决强化学习中的稀疏奖励和低效探索问题，在多个基准上平均提升5个点。

Comments Accepted by ICML 2026

Entropy-KL Divergence-based Token Masking: A Novel Approach for Selective Fine-tuning of Large Language Models

基于熵-KL散度的令牌掩码：一种用于大语言模型选择性微调的新方法

Qi Liu, Mingdi Sun, Yongyi He, Zhi Zheng, Tong Xu, Yi Zheng, Zhefeng Wang, Enhong Chen

机构 * University of Science and Technology of China（中国科学技术大学） ； Huawei Cloud（华为云） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI

AI总结 针对低数据场景下标准监督微调导致模型分布偏移的问题，提出EKSFT方法，通过选择性掩码高熵或高KL散度的令牌，在注入任务知识的同时保持预训练分布完整性，在数学推理基准上优于标准SFT并提升后续RL性能。

Comments 17 pages

Beyond Consensus: Trace-Level Synthesis in Mixture of Agents

超越共识：混合智能体中的轨迹级合成

Shreyas Fadnavis, Praitayini Kanakaraj, Felix Wyss

机构 * Bioscope AI 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI

AI总结 本文提出轨迹级合成方法，通过语义保持输入扰动生成多样化推理轨迹，并利用锚定精炼保证非退化，从而在多数投票失败时仍能恢复正确解，超越基于答案的聚合。

Grammar-Aware Literate Generative Mathematical Programming with Compiler-in-the-Loop

语法感知的 literate 生成式数学编程与编译器在环

Roberto Rossi, Steven D. Prestwich

机构 * Business School, University of Edinburgh（爱丁堡大学商学院） ； Insight Centre for Data Analytics, University College Cork（科克大学数据分析研究所） 纠错

专题命中 数学推理 ：planning(abstract)；分类 cs.AI

AI总结 提出 SyntAGM 系统，通过迭代生成-编译-评估-修正循环，利用编译器反馈和 LLM 对齐判断，生成可读的代数建模语言优化模型，实现成本与质量的更优权衡。

Comments 18 pages, 7 figures

AgentOrchestra: Orchestrating Multi-Agent Intelligence with the Tool-Environment-Agent(TEA) Protocol

AgentOrchestra：使用工具-环境-智能体（TEA）协议编排多智能体智能

Wentao Zhang, Liang Zeng, Yuzhen Xiao, Yongcong Li, Ce Cui, Yilei Zhao, Rui Hu, Yang Liu, Yahui Zhou, Bo An

机构 * Skywork AI ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI

AI总结 提出TEA协议和AgentOrchestra框架，通过统一抽象和分层编排实现多智能体系统的生命周期感知协调，在GAIA测试集上达到89.04%的准确率。

Joint Training of Multi-Token Prediction in Reinforcement Learning via Optimal Coefficient Calibration

通过最优系数校准在强化学习中联合训练多令牌预测

Zili Wang, Jiajun Chai, Lin Chen, Xiaohan Wang, Shiming Xiang, Guojun Yin

机构 * School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； MAIS, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所MAIS） ； Meituan（美团） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.LG

AI总结 本文从优化角度分析多令牌预测与强化学习联合训练失败的原因，提出最优系数校准方法，通过在线跟踪最优系数实现性能提升。

ReverseMath: Answer Inversion for Scalable and Verifiable Mathematical Problem Generation

ReverseMath: 面向可扩展和可验证数学问题生成的答案反转方法

Raoyuan Zhao, Yihong Liu, Yupei Du, Hinrich Schütze, Michael A. Hedderich

机构 * Center for Information and Language Processing（信息与语言处理中心） ； LMU Munich（慕尼黑大学） ； Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心 (MCML)） ； Saarland University（萨尔兰州大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL

AI总结 提出ReverseMath方法，通过反转原始问题的输入输出关系自动生成新数学问题，用于评估和训练，揭示记忆行为并提升推理性能。

OGER: A Robust Offline-Guided Exploration Reward for Hybrid Reinforcement Learning

OGER：一种用于混合强化学习的鲁棒离线引导探索奖励

Xinyu Ma, Mingzhou Xu, Xuebo Liu, Chang Jin, Qiang Wang, Derek F. Wong, Min Zhang

机构 * Institute of Computing and Intelligence, Harbin Institute of Technology, Shenzhen, China（哈尔滨工业大学深圳研究院） ； Hithink RoyalFlush Information Network, Hangzhou, China（杭州Hithink RoyalFlush信息网络） ； Computer and Information Science, University of Macau, Macau, China（澳门大学计算机与信息科学学院） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI

AI总结 提出OGER框架，通过多教师协作训练和基于熵的辅助探索奖励，统一离线教师引导与在线强化学习，提升大语言模型在数学推理和泛化任务中的探索能力。

Large Language Models Approach Expert Pedagogical Quality in Math Tutoring but Differ in Instructional and Linguistic Profiles

大型语言模型在数学辅导中接近专家教学质量，但在教学和语言特征上存在差异

Ramatu Oiza Abdulsalam, Segun Aroyehun

机构 * African University of science and Technology（非洲科学与技术大学） ； University of Konstanz（康斯坦茨大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL

AI总结 通过分析数学辅导对话数据集，比较专家、新手教师和七种大型语言模型的教学质量，发现大型语言模型平均接近专家水平，但在教学策略和语言特征上存在系统性差异。

OmniInteract: Benchmarking Real-World Streaming Interaction for Real-Time Omnimodal Assistants

OmniInteract：面向实时全模态助手的流式交互基准测试

Xudong Lu, Xueying Li, Annan Wang, Yang Bo, Jinpeng Chen, Zengliang Li, Nianzu Yang, Rui Liu, Xue Yang, Jingwen Hou, Hongsheng Li

机构 * CUHK MMLab（香港中文大学多模态实验室） ； SJTU（上海交通大学） ； NTU（国立新加坡大学） ； McMaster（麦马斯特大学） ； CityUHK（香港城市大学） ； JUFE（吉林大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL

AI总结 提出OmniInteract基准，通过在线推理音视频流评估全模态大模型的实时交互能力，发现现有模型在流式交互中表现薄弱。

Learning to Predict Future-Aligned Research Proposals with Language Models

学习用语言模型预测未来对齐的研究提案

Heng Wang, Pengcheng Jiang, Jiashuo Sun, Zhiyi Shi, Haofei Yu, Jiawei Han, Heng Ji

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL

AI总结 本文提出将研究提案生成重构为时间切片科学预测问题，通过未来对齐分数（FAS）评估模型能否预测截止时间后发表的论文方向，并构建时间一致数据集和推理轨迹进行训练，实验表明未来对齐微调显著提升提案质量。

Not only where, But when: Temporal Scheduling for RLVR

不仅在哪里，而且何时：RLVR 的时间调度

Jinghao Zhang, Ruilin Li, Feng Zhao, Jiaqi Wang

机构 * University of Science and Technology of China（中国科学技术大学） ； Shanghai Innovation Institute（上海创新研究院） ； Wuhan University（武汉大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.LG

AI总结 针对强化学习可验证奖励（RLVR）中忽略策略行为异质性的问题，提出时间调度方法，通过动态调整信用分配标准来优化学习动态，实验表明该方法能提升训练稳定性和效率。

Comments Github: https://github.com/Jinghaoleven/RLVR-Schedule

River-LLM: Large Language Model Seamless Exit Based on KV Share

River-LLM：基于KV共享的大型语言模型无缝退出

Yingtao Shen, An Zou

机构 * Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL

AI总结 针对解码器-only架构中早期退出因KV缓存缺失导致的延迟和精度问题，提出无需训练的River-LLM框架，通过轻量级KV共享退出流实现令牌级无缝退出，并利用状态转移相似性预测KV误差指导退出决策，在数学推理和代码生成任务上获得1.53-2.16倍实际加速且保持高质量。

Comments Accepted to ACL 2026, 13pages, with appendix. Corrected some typos

XRPO: Pushing the limits of GRPO with Targeted Exploration and Exploitation

XRPO：通过定向探索与利用突破GRPO极限

Udbhav Bamba, Minghao Fang, Yifan Yu, Haizhong Zheng, Fan Lai

机构 * University of Illinois Urbana–Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.LG

AI总结 提出XRPO框架，通过自适应探索分配器、上下文种子策略和新颖性感知优势机制，在数学和编码基准上实现比GRPO最高4% pass@1和6% cons@32的提升，并加速训练收敛达2.7倍。

RL with Learnable Textual Feedback: A Bilevel Approach

基于可学习文本反馈的强化学习：一种双层方法

Utsav Singh, Sidhaarth Sredharan, Souradip Chakraborty, Amrit Singh Bedi

机构 * University of Central Florida（佛罗里达中央大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.LG

AI总结 针对稀疏奖励导致样本效率低的问题，提出一种双层优化框架Bi-NAC，联合训练评论家生成可改善策略的文本反馈和演员利用该反馈，在MATH-500等任务上提升了样本和参数效率。

The Many Faces of On-Policy Distillation: Pitfalls, Mechanisms, and Fixes

在线策略蒸馏的多种面貌：陷阱、机制与修复

Siqi Zhu, Xuyan Ye, Hongyu Lu, Weiye Shi, Ge Liu

机构 * UIUC（伊利诺伊大学香槟分校） ； Renmin University of China（中国人民大学） ； Peking University（北京大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI

AI总结 本文通过实证研究分析了在线策略蒸馏（OPD）和在线策略自蒸馏（OPSD）在大语言模型后训练中的有效性、失败机制及修复方法。