大模型推理能力

PAST: Privileged Adaptation from Complete Student Trajectories for On-Policy Self-Distillation

PAST：基于完整学生轨迹的特权适配用于在线策略自蒸馏

Yangyang Feng, Zhuoyan Feng, Junlan Chen

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Sun Yat-sen University（中山大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 PAST将完整学生轨迹作为OPSD教师的额外特权信息，通过前向KL蒸馏等方法优化教师，在三个数学推理基准上使Avg@12宏观平均值较Vanilla OPSD提升5.6个百分点。

Proxy OPD: On-Policy Distillation with Transferable Relative Proxy Update

代理探索与可重用引导：基于代理引导更新信号的模块化大语言模型训练后范式

Daocheng Fu, Rong Wu, Yu Yang, Jianbiao Mei, Licheng Wen, Pinlong Cai, Xuemeng Yang, Yong Liu, Botian Shi, Yu Qiao

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 研究针对大语言模型训练后优化信号耦合问题，提出PUST框架，通过代理模型探索、提取并传输相对改进信号，解耦更新信号探索与分布对齐，减少计算开销，支持异步处理与跨模型转移，提升训练后范式的模块化、可重用性与效率。

Shattered Compositionality: Counterintuitive Learning Dynamics of Transformers for Arithmetic

破碎的组合性：变换器在算术中的反直觉学习动态

Xingyu Zhao, Darsh Sharma, Rheeya Uppaal, Yiqiao Zhong

机构 * University of Wisconsin–Madison（威斯康星大学麦迪逊分校） ； Department of Computer Sciences, University of Wisconsin–Madison（威斯康星大学麦迪逊分校计算机科学系） ； Department of Statistics, University of Wisconsin–Madison（威斯康星大学麦迪逊分校统计学系） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 本研究发现变换器在学习算术任务时表现出反直觉的组合性，其学习动态受训练数据相关性影响而非因果或程序性组合。

Comments 37 pages, 29 figures

FutureBridge: Token Selection Beyond Local Preference in Collaborative Decoding

FutureBridge：协作解码中超越局部偏好的令牌选择

Quanquan Li, Hongbo Zhang, Yihe Chi, Jingyu Li, Xidong Xi, Liuyang Song, Hongzhen Zhang, Yuxiang Huang, Jing Ke, Siyuan Ma, Junyi Lin, Guitao Cao

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 FutureBridge通过联合LLM-SLM令牌对SLM后续推理的支持度排序，在5个数学推理基准上使Qwen3-1.7B SLM的数学平均得分较贪心解码提升35.1%，超越了仅依赖LLM局部偏好的现有方法。

IB-RL: Isolated Bilateral Reinforcement Learning for Strategic Dialogue Agents

IB-RL：用于策略性对话智能体的孤立双边强化学习

Senhao Wang, Chenghao Cai, Haitao Hu, Mingxing Huang, Xingguang Wang, Wenhao Li, Zecheng Lin

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 针对现有RL训练范式的静态对应智能体不匹配问题，提出IB-RL方法，在Vehicle TeleSales和Deal-or-NoDeal任务上较单边RL基线显著提升了策略对未见过对应智能体的泛化能力。

IFCLoRA: Topology-Aware Rank Allocation for Parameter-Efficient Fine-Tuning

IFCLoRA：用于参数高效微调的拓扑感知秩分配

Wei Zhang, Xinwu Liu, Yihang Cheng

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 研究针对LoRA方法中秩分配问题，提出IFCLoRA拓扑感知秩分配方法，利用小校准集和冻结模型构建交互图，结合全局拓扑先验与局部梯度敏感性计算得分来分配秩，在多场景下优于其他方法，还揭示了任务依赖的秩分布特点。

Comments 9 pages, 5 figures

An Empirical Study of openPangu Quantization on Ascend NPUs

OpenPangu在昇腾NPU上量化的实证研究

Tong Shi, Jiacheng Wang, Hui Xie, Ying Li, Aishan Liu, Jinyang Guo, Xianglong Liu

机构 * State Key Laboratory of Complex & Critical Software Environment, Beihang University（北京航空航天大学复杂关键软件环境国家重点实验室） ； School of Computer Science and Engineering, Beihang University（北京航空航天大学计算机科学与工程学院） ； School of Artificial Intelligence, Beihang University（北京航空航天大学人工智能学院） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 本文在昇腾910B1 NPU上系统评估了OpenPangu 1B和7B模型在多种后训练量化方法下的表现，发现8-bit权重量化无损，4-bit对7B模型可行但对1B模型有显著损害，极低比特量化仍具挑战。

InsightEmb: Learning Action-Intent Embeddings for Agentic Insight Retrieval

InsightEmb：面向智能体洞察检索的动作-意图嵌入学习

Tsz Ting Chung, Jiangnan Li, Jie Zhou, Mo Yu

机构 * The Hong Kong University of Science and Technology（香港科技大学） ； WeChat AI, Tencent（腾讯微信人工智能） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 该研究针对智能体洞察检索任务，提出对比嵌入框架InsightEmb，利用数学推理数据学习可迁移的检索几何结构，在无特定环境训练时优于现有模型，验证了匹配几何结构的跨域迁移性。

EASy: Towards Efficient LLM-Based Agentic System

EASy：迈向高效的基于大语言模型的智能体系统

Junnan Liu, Linhao Luo, Thuy-Trang Vu, Gholamreza Haffari

机构 * Monash University（莫纳什大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 EASy是一种可训练的智能体框架，通过强化学习优化任务性能与计算效率，采用里程碑-规划-执行工作流，在多类基准上实现了更优的性能-效率权衡。

Comments Preprint

Large-Small Model Collaboration for Enhancing Edge-Deployed Small Models

用于增强边缘部署小模型的大小模型协作

Peigen Liu, Yijiang Fan, Zixuan Xu, Yuren Mao, Longbin Lai, Ying Zhang

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 该研究提出自适应边缘-云框架G-Boost，通过动态选择推理或对数融合的协作方式，提升边缘部署小语言模型的任务性能，在两个数学推理数据集上优于多种基线方法。

BODHI: Do LLMs Branch Out and Discover Heterogeneous Inferences?

BODHI：大型语言模型是否会分支拓展并发现异构推理？

Soumadeep Saha, Krish Sharma, Akshay Chaturvedi, Nicholas Asher

机构 * ANITI, Université de Toulouse（图卢兹大学ANITI） ； LINAGORA Labs（LINAGORA实验室） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 该研究通过迷宫求解实验和BODHI-Trees分析，发现RLVR训练的LLMs存在策略熵崩溃，其采样效率提升以推理分支多样性下降为代价。

Comments 16 pages, 10 figures

When Search Teaches Style: Causal Internalization of Tactical Priors in AlphaZero

AlphaZero-Edu：普及AlphaZero的访问

Ruitong Li, Binjie Guo, Aisheng Mo, Guowei Su, Han Wang, Jie Li, Ru Zhang

机构 * Department of Communication Studies, School of Communication, Hong Kong Baptist University（通讯学院传播研究系，香港 Baptist 大学） ； Department of Neurobiology and Department of Rehabilitation Medicine, First Affiliated Hospital, Zhejiang University School of Medicine（神经生物学系和康复医学系，浙江大学医学院第一附属医院） ； Personal participation（个人参与） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出AlphaZero-Edu，一种轻量级教育导向的实现，通过模块化架构和高效训练，提升AlphaZero的可访问性和可重复性，实现单GPU训练和并行自对弈加速。

Meta Prompting for AI Systems

为AI系统引入元提示

Yifan Zhang, Yang Yuan, Andrew Chi-Chih Yao

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 通过元提示框架提升大语言模型的推理能力，实现高效的问题解决与自我优化。

Comments Project Page: https://github.com/meta-prompting/meta-prompting

Reusing Rollouts under Policy Lag: Prefix-Normalized Policy Optimization for LLM Reinforcement Learning

策略滞后下的回滚复用：面向大语言模型强化学习的前缀归一化策略优化

Wenhao Zhang, Yibo Xie, Rui Wang, Jiahua Yang, Lei Jiang, Zibo Yang, Yawei Wang, Jiali Xu, jasperawang, Haoyang Long, Huan Xiong, alantzhao

机构 * Tencent（腾讯） ； Harbin Institute of Technology（哈尔滨工业大学） ； Jinan University（暨南大学） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 针对大语言模型强化学习中回滚复用导致的离策略问题，提出前缀归一化策略优化（PNPO），在4个更新周期时其数学推理性能优于GSPO，可降低更新批次需求。

AdaMTP: An Adaptive Training Paradigm for Multi-Token Prediction

AdaMTP：一种面向多令牌预测的自适应训练范式

Ziqiang Cui, Han Shi, Bowei He, Yu Pan, Peiyang Liu, Shengyin Sun, Yankai Chen, Haoli Bai, Yichun Yin, Xue Liu, Chen Ma

机构 * City University of Hong Kong（香港城市大学） ； Huawei Technologies（华为技术有限公司） ； Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） ； McGill University（麦吉尔大学） ； Peking University（北京大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 AdaMTP是适配序列内在可预测性的自适应MTP训练范式，通过熵算法划分语义边界抑制噪声梯度，在三类主干模型的多任务基准中均优于标准MTP，兼具性能与推理速度优势。

A Comparative analysis of Layer-wise Representational Capacity in AR and Diffusion LLMs

对AR和扩散LLM中逐层表示能力的比较分析

Raghavv Goel, Risheek Garrepalli, Sudhanshu Agrawal, Chris Lott, Mingu Lee, Fatih Porikli

机构 * Qualcomm AI Research（高通人工智能研究） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.LG

AI总结 本文比较了AR和扩散LLM的表示能力，发现扩散模型产生更全局的表示，而AR模型产生紧密耦合的局部表示，扩散训练引入深度冗余以实现原理性压缩。

Comments v4: improving writing and adding Qwen2.5-Instruct results with all v3 changes

Just on Time: Token-Level Early Stopping for Diffusion Language Models

准时完成：扩散语言模型的标记级早期停止

Zakhar Kohut, Severyn Shykula, Mykola Vysotskyi, Serhii Dmytryshyn, Dmytro Khamula, Michal Zakrzewski, Damian Rynczak, Jacek Małecki, Taras Rumezhak, Volodymyr Karpiv

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出了一种无需训练的标记级早期停止方法，通过动态确定标记收敛点，减少扩散步骤并提升生成效率。

Comments Under review

Self-reflecting Large Language Models: A Hegelian Dialectical Approach

Sara Abdali, Michael Solodko, Can Goksen, Saeed Amizadeh, Julie E. Maybee, Kazuhito Koishida, Pashmina Cameron

机构 * Microsoft Applied Sciences Group (ASG)（微软应用科学组） ； Department of Philosophy, Lehman College, City University of New York（哲学系，莱曼学院，新 York 城市大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.LG

LoRA Scaffolded Policy Optimization (LSPO): A Sampling-Time Low-Rank Scaffold for Recovering Reinforcement-Learning Gradient on Zero-Reward Cliff Prompts

LoRA 支架策略优化（LSPO）：零奖励悬崖提示下恢复强化学习梯度的采样时低秩支架

Ken Ding

机构 * NVIDIA（英伟达） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 针对数学推理 RLVR 的悬崖提示梯度丢失问题，提出 LSPO 采样时机制，通过 LoRA 适配器恢复梯度，在 DeepMath-103K 数据集上 16 项基准指标均优于 DAPO，平均提升 3.8 分。

ACPO: Asymmetric Credit Policy Optimization via Mode-Local Entropy Surrogate

ACPO：通过细粒度替代熵实现自适应信用策略优化

Zijun Xie, Yuyang You, Yongzhi Li, Enlei Gong, Quan Chen, Yanhua Cheng, Peng Jiang, Binbin Zheng, Xiaolong Liu, Zeyu Chen, Yadong Mu

机构 * Peking University（北京大学） ； Baidu Inc.（百度公司） ； Kuaishou Inc（快手公司） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 研究针对强化学习中稀疏奖励致令牌级信用分配难的问题，提出基于模式局部替代熵的ACPO框架，通过不对称调制策略更新改进信用分配，实验表明其优于多种强化学习基线。

ReCo: Reweighting GRPO Against Distributional Concentration

ReCo：针对分布集中问题的GRPO重加权方法

Junoh Park, Junseo Hwang, Wonguk Cho, Taesup Kim

机构 * Graduate School of Data Science, Seoul National University（首尔国立大学数据科学研究生院） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 针对GRPO过度关注高概率响应导致推理覆盖度下降的问题，提出ReCo重加权方法，在多个数学推理基准上提升了大k值下的Pass@k表现。

REGEN: Replay-recycling for Expert-to-Generalist distillation with Offline Reinforcement Learning

REGEN：用于从专家到通用模型蒸馏的离线强化学习的重放回收

Yunjie Chen, Xiaoxin Chen, Fang Wang

机构 * vivo AI Lab（vivo人工智能实验室） ； Department of Computer Science, Sun Yat-Sen University（中山大学计算机科学系） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 针对大语言模型强化学习扩展的挑战，提出REGEN方法，通过回收重放记忆并运用离线强化学习算法训练通用模型，解耦训练过程，降低成本，在多任务上以低成本达类似准确率，还可能变革在线强化学习及扩展训练阶段。

Train Large, Deploy Compact: Structured Compression for Compact Low-Rank Adaptation

大模型训练，紧凑部署：用于紧凑低秩适配的结构化压缩

Xin Yu, Cong Xie, Xunmei Liu, Tiantian Fan, Lingzhou Xue, Zhi Zhang

机构 * The Pennsylvania State University（宾夕法尼亚州立大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 该研究针对LoRA表征能力不足的问题，提出PrunedLoRA框架，通过动态结构化剪枝实现自适应秩分配，在多项微调任务中性能优于LoRA及其变体和现有结构化剪枝方法。

H$^2$SD: Hybrid Hindsight Self-Distillation

H$^2$SD：混合事后自蒸馏

Qiye Cai, Yichuan Ma, Peiji Li, Yongkang Chen, Qipeng Guo, Yicheng Zou, Linyang Li, Xiaocheng Feng, Bing Qin

机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Harbin Institute of Technology（哈尔滨工业大学） ； Fudan University（复旦大学） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.LG

AI总结 研究针对强化学习中奖励监督问题，提出 H$^2$SD 混合事后自蒸馏框架。成功轨迹用教师概率调更新幅度，失败轨迹基于参考提示调整教师并最小化反向 KL 散度，实验表明该框架优于基线，能稳定优化且效率良好。

Smaller Models are Natural Explorers for Policy-Level Diversity in GRPO

小型模型是GRPO中策略级多样性的自然探索者

Yiran Xu, Yiming Ren, Zicheng Lin, Chufan Shi, Yukang Chen, Dingdong Wang, Tianhe Wu, Junjie Wang, Yujiu Yang, Yu Qiao, Ruihang Chu

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 提出S2L-PO框架，利用小型模型作为自然探索者生成策略级多样性的rollout，通过渐进退火策略过渡到大型模型自身采样，提升数学推理性能并减少计算开销。

Math Education Digital Shadows for Investigating Learning with GenAI: Mathematics Performance, Anxiety, and Confidence in LLMs

数学教育数字影子：促进与LLMs学习的工具：数学表现、焦虑与自信在模拟学生和AI中的表现

Naomi Esposito, Anthony Tricarico, Luisa Porzio, Ali Aghazadeh Ardebili, Massimo Stella

机构 * CogNosco Lab, University of Trento, Department of Psychology and Cognitive Science（CogNosco实验室，特伦托大学心理学与认知科学系） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出MEDS数据集，通过28000个模拟角色评估LLMs在数学教育中的表现，结合心理和社会人口数据及数学任务，探讨自我效能、数学焦虑和认知网络科学。

Moir: Let the Model Direct Its Own Story for Robust Cross-Domain Knowledge Editing

莫尔：让模型为稳健的跨域知识编辑指引自身方向

Jea Kwon, Jiwon Kim, Dong-kyum Kim, Meeyoung Cha

机构 * Max Planck Institute for Security and Privacy（马克斯·普朗克安全与隐私研究所） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 研究针对语言模型训练后知识编辑核心能力退化问题，提出莫尔方法，通过从模型自身解码分布采样估计保留协方差，无需外部数据，可作插入组件。实验表明该方法能在多模型上扩展保留能力，提升准确率，凸显分布对齐对无损编辑的关键作用。

Vocabulary Dropout for Curriculum Diversity in LLM Co-Evolution

词汇丢弃：LLM共同进化中的课程多样性

Jacob Dineen, Aswin RRV, Zhikun Xu, Ben Zhou

机构 * Arizona State University（亚利桑那州立大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 针对LLM共同进化中问题多样性崩溃的问题，提出词汇丢弃机制，通过在策略训练和课程生成时随机掩码输出logits维持多样性，在数学推理任务上提升求解器性能平均+4.4点。

Comments Accepted to COLM 2026

Off-Context GRPO: Learning to Reason on Hard Problems using Privileged Information

脱离上下文的广义信赖域策略优化算法：利用特权信息学习解决难题

Priyank Agrawal, Ankur Samanta, Shervin Ghasemlou, Jalaj Bhandari, Kavosh Asadi, Daniel Jiang, Aditya Modi

机构 * Meta AI ； Columbia University（哥伦比亚大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 研究利用特权信息解决强化学习难题，提出脱离上下文的广义信赖域策略优化算法（OC - GRPO），通过引导展开和重要性校正目标避免训练不匹配，在标准数学推理基准上比普通GRPO有显著提升且成本低。

Comments 24 Pages

OMAC: A Holistic Optimization Framework for LLM-Based Multi-Agent Collaboration

OMAC：一种面向基于大语言模型的多智能体协作的综合优化框架

Shijun Li, Hilaf Hasson, Joydeep Ghosh

机构 * Department of Electrical and Computer Engineering, The University of Texas at Austin, Austin, United States（得克萨斯大学奥斯汀分校电子与计算机工程系） ； Intuit AI Research, Mountain View, United States（Intuit AI研究） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出OMAC框架，通过五个关键优化维度提升基于大语言模型的多智能体系统性能，采用语义初始化器和对比比较器算法实现单维和多维联合优化。

Comments Accepted as a Oral paper at ICML 2026