大模型推理能力

Circuit Tracing in Vision-Language Models: Understanding the Internal Mechanisms of Multimodal Thinking

视觉-语言模型中的电路追踪：理解多模态思维的内部机制

Jingcheng Yang, Tianhu Xiong, Shengyi Qian, Klara Nahrstedt, Mingyuan Wu

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出首个透明电路追踪框架，用于分析视觉-语言模型的多模态推理机制，揭示不同视觉特征电路在数学推理和跨模态关联中的作用。

Comments To appear in the Findings of CVPR 2026

Step 3.5 Flash: Open Frontier-Level Intelligence with 11B Active Parameters

步骤3.5 Flash：通过11B活跃参数实现前沿级智能

Ailin Huang, Ang Li, Aobo Kong, Bin Wang, Binxing Jiao, Bo Dong, Bojun Wang, Boyu Chen, Brian Li, Buyun Ma, Chang Su, Changxin Miao, Changyi Wan, Chao Lou, Chen Hu, Chen Xu, Chenfeng Yu, Chengting Feng, Chengyuan Yao, Chunrui Han, Dan Ma, Dapeng Shi, Daxin Jiang, Dehua Ma, Deshan Sun, Di Qi, Enle Liu, Fajie Zhang, Fanqi Wan, Guanzhe Huang, Gulin Yan, Guoliang Cao, Guopeng Li, Han Cheng, Hangyu Guo, Hanshan Zhang, Hao Nie, Haonan Jia, Haoran Lv, Hebin Zhou, Hekun Lv, Heng Wang, Heung-Yeung Shum, Hongbo Huang, Hongbo Peng, Hongyu Zhou, Hongyuan Wang, Houyong Chen, Huangxi Zhu, Huimin Wu, Huiyong Guo, Jia Wang, Jian Zhou, Jianjian Sun, Jiaoren Wu, Jiaran Zhang, Jiashu Lv, Jiashuo Liu, Jiayi Fu, Jiayu Liu, Jie Cheng, Jie Luo, Jie Yang, Jie Zhou, Jieyi Hou, Jing Bai, Jingcheng Hu, Jingjing Xie, Jingwei Wu, Jingyang Zhang, Jishi Zhou, Junfeng Liu, Junzhe Lin, Ka Man Lo, Kai Liang, Kaibo Liu, Kaijun Tan, Kaiwen Yan, Kaixiang Li, Kang An, Kangheng Lin, Lei Yang, Liang Lv, Liang Zhao, Liangyu Chen, Lieyu Shi, Liguo Tan, Lin Lin, Lina Chen, Luck Ma, Mengqiang Ren, Michael Li, Ming Li, Mingliang Li, Mingming Zhang, Mingrui Chen, Mitt Huang, Na Wang, Peng Liu, Qi Han, Qian Zhao, Qinglin He, Qinxin Du, Qiuping Wu, Quan Sun, Rongqiu Yang, Ruihang Miao, Ruixin Han, Ruosi Wan, Ruyan Guo, Shan Wang, Shaoliang Pang, Shaowen Yang, Shengjie Fan, Shijie Shang, Shiliang Yang, Shiwei Li, Shuangshuang Tian, Siqi Liu, Siye Wu, Siyu Chen, Song Yuan, Tiancheng Cao, Tianchi Yue, Tianhao Cheng, Tianning Li, Tingdan Luo, Wang You, Wei Ji, Wei Yuan, Wei Zhang, Weibo Wu, Weihao Xie, Wen Sun, Wenjin Deng, Wenzhen Zheng, Wuxun Xie, Xiangfeng Wang, Xiangwen Kong, Xiangyu Liu, Xiangyu Zhang, Xiaobo Yang, Xiaojia Liu, Xiaolan Yuan, Xiaoran Jiao, Xiaoxiao Ren, Xiaoyun Zhang, Xin Li, Xin Liu, Xin Wu, Xing Chen, Xingping Yang, Xinran Wang, Xu Zhao, Xuan He, Xuanti Feng, Xuedan Cai, Xuqiang Zhou, Yanbo Yu, Yang Li, Yang Xu, Yanlin Lai, Yanming Xu, Yaoyu Wang, Yeqing Shen, Yibo Zhu, Yichen Lv, Yicheng Cao, Yifeng Gong, Yijing Yang, Yikun Yang, Yin Zhao, Yingxiu Zhao, Yinmin Zhang, Yitong Zhang, Yixuan Zhang, Yiyang Chen, Yongchi Zhao, Yongshen Long, Yongyao Wang, Yousong Guan, Yu Zhou, Yuang Peng, Yuanhao Ding, Yuantao Fan, Yuanwei Lu, Yuanzhen Yang, Yuchu Luo, Yudi Zhao, Yue Peng, Yueqiang Lin, Yufan Lu, Yuling Zhao, Yunzhou Ju, Yurong Zhang, Yusheng Li, Yuxiang Yang, Yuyang Chen, Yuzhu Cai, Zejia Weng, Zetao Hong, Zexi Li, Zhe Xie, Zheng Ge, Zheng Gong, Zheng Zeng, Zhenyi Lu, Zhewei Huang, Zhichao Chang, Zhiguo Huang, Zhiheng Hu, Zidong Yang, Zili Wang, Ziqi Ren, Zixin Zhang, Zixuan Wang

机构 * StepFun Team（StepFun团队） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 Step 3.5 Flash通过11B活跃参数实现前沿级智能，结合高效推理与多任务表现，提升代理在数学、代码等领域的性能。

Comments Technical report for Step 3.5 Flash

How to Allocate, How to Learn? Dynamic Rollout Allocation and Advantage Modulation for Policy Optimization

如何分配，如何学习？动态回放分配与优势调节用于策略优化

Yangyi Fang, Jiaye Lin, Xiaoliang Fu, Cong Qin, Haolin Shi, Chaowen Hu, Lu Pan, Ke Zeng, Xunliang Cai

机构 * Meituan（美团） ； Tsinghua University（清华大学） ； Fudan University（复旦大学） ； Peking University（北京大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 DynaMO通过动态回放分配和梯度感知优势调节，优化策略学习中的资源分配与梯度更新稳定性，提升数学推理任务的性能。

Ontology-Guided Neuro-Symbolic Inference: Grounding Language Models with Mathematical Domain Knowledge

本体引导的神经符号推理：通过数学领域知识 grounding 语言模型

Marcelo Labre

机构 * Advanced Institute for Artificial Intelligence (AI2)（人工智能研究院） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 本研究通过引入形式化数学本体，提升语言模型在数学推理任务中的可靠性，验证了神经符号方法在增强形式化 grounding 方面的潜力与挑战。

Comments Submitted to NeuS 2026. Supplementary materials and code: https://doi.org/10.5281/zenodo.18665030

ArXiv-to-Model: A Practical Study of Scientific LM Training

ArXiv-to-Model：科学语言模型训练的实践研究

Anuj Gupta

机构 * Independent Researcher（独立研究者） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 本研究通过从arXiv LaTeX源数据直接训练科学语言模型，探讨了预处理、分词和计算资源对模型训练的影响，提供了工程层面的训练实践与透明分析。

Comments 15 pages, 6 figures, 1 table

Efficient Reinforcement Learning for Large Language Models with Intrinsic Exploration

为大语言模型高效强化学习引入内在探索

Yan Sun, Jia Guo, Stanley Kok, Zihao Wang, Zujie Wen, Zhiqiang Zhang

机构 * National University of Singapore（新加坡国立大学） ； Ant Group（蚂蚁集团） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 PREPO通过利用内在数据属性提升大语言模型强化学习的数据效率，减少回放需求同时保持性能。

Intermittent Semi-Working Mask: A New Masking Paradigm for LLMs

间歇半工作掩码：一种新的LLM掩码范式

HaoYuan Hu, Mingcong Lu, Di Luo, XinYa Wu, Jiangcai Zhu, Taoye Yin, Zheng Li, Hao Wang, Shusheng Zhang, KeZun Zhang, KaiLai Shao, Chao Chen, Feng Wang

机构 * Zhejiang University（浙江大学） ； Ant Group（蚂蚁集团） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 间歇半工作掩码通过引入稀疏双向注意力，实现高效多轮对话和上下文密集型任务处理，同时保持推理效率。

Evolution Strategies at the Hyperscale

超大规模进化策略

Bidipta Sarkar, Mattie Fellows, Juan Agustin Duque, Alistair Letcher, Antonio León Villares, Anya Sims, Clarisse Wibault, Dmitry Samsonov, Dylan Cope, Jarek Liesen, Kang Li, Lukas Seier, Theo Wolf, Uljad Berdica, Valentin Mohl, Alexander David Goldie, Aaron Courville, Karin Sevegnani, Shimon Whiteson, Jakob Nicolaus Foerster

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 EGGROLL通过低秩学习提升算术强度，实现大规模参数模型的高效训练，稳定预训练非线性循环语言模型并提升推理任务性能。

Comments 76 pages, 15 figures, Website at https://eshyperscale.github.io/

Reinforcement Learning with Promising Tokens for Large Language Models

基于有前景标记的强化学习用于大语言模型

Jing-Cheng Pang, Liang Lu, Xian Tang, Kun Jiang, Sijie Wu, Kai Zhang, Xubin Li

机构 * huawei（华为技术有限公司） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 基于有前景标记的强化学习框架通过解耦战略决策与标记生成，有效提升大语言模型的训练稳定性与样本效率。

Pedagogically-Inspired Data Synthesis for Language Model Knowledge Distillation

教学启发式数据合成用于语言模型知识蒸馏

Bowei He, Yankai Chen, Xiaokun Zhang, Linghe Kong, Philip S. Yu, Xue Liu, Chen Ma

机构 * MBZUAI ； McGill（麦吉尔大学） ； CityUHK（城市大学香港分校） ； SJTU（上海交通大学） ； UIC（美国国际大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出基于教学原理的知识蒸馏框架，通过三阶段流程提升学生模型性能，在复杂推理任务中取得显著改进。

Comments Accepted by ICLR 2026

StatLLaMA: Multi-Stage training for domain-optimized statistical large language models

StatLLaMA：面向统计领域优化的多阶段训练方法

Jing-Yi Zeng, Guan-Hua Huang

机构 * Institute of Statistics, National Yang Ming Chiao Tung University（统计研究所，国立阳明交通大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 StatLLaMA通过多阶段训练方法优化统计领域，实现高效且平衡的模型性能。

Comments 31 pages, 3 figures

$n$-Musketeers: Reinforcement Learning Shapes Collaboration Among Language Models

$n$-Musketeers: 通过强化学习塑造语言模型间的协作

Ryozo Masukawa, Sanggeon Yun, Hyunwoo Oh, SuhgHeon Jeong, Raheeb Hassa, Hanning Chen, Wenjun Huang, Mahdi Imani, Pietro Mercati, Nathaniel D. Bastian, Mohsen Imani

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出软隐藏状态协作方法，通过可训练的注意力接口整合多个冻结的SLM专家，实验证明其在推理任务中与强基线竞争，并揭示了专家利用的双机制。

Fast KVzip: Efficient and Accurate LLM Inference with Gated KV Eviction

快速KVzip：基于门控的KV缓存淘汰实现高效且准确的LLM推理

Jang-Hyun Kim, Dongyoon Han, Sangdoo Yun

机构 * NAVER AI Lab（NAVER AI实验室） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.LG

AI总结 基于门控的KV缓存淘汰方法实现高效且准确的LLM推理，通过轻量级门控模块和任务无关的重建目标，实现高压缩比和低计算开销。

Comments Source code: https://github.com/Janghyun1230/FastKVzip

A Unified Framework for Rethinking Policy Divergence Measures in GRPO

在GRPO中重新思考策略分歧度度量的统一框架

Qingyuan Wu, Yuhui Wang, Simon Sinong Zhan, Yanning Dai, Shilong Deng, Sarra Habchi, Qi Zhu, Matthias Gallé, Chao Huang

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出了一种统一的裁剪框架，通过KL3估计器改进GRPO，提升训练稳定性和性能。

dUltra: Ultra-Fast Diffusion Language Models via Reinforcement Learning

dUltra: 通过强化学习实现超快扩散语言模型

Shirui Chen, Jiantao Jiao, Lillian J. Ratliff, Banghua Zhu

机构 * University of Washington（华盛顿大学） ； University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 dUltra通过端对端强化学习框架实现超快扩散语言模型，提升并行生成效率和准确性。

On Entropy Control in LLM-RL Algorithms

在LLM-RL算法中的熵控制

Han Shen

机构 * Ant Group（蚂蚁集团） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出AEnt方法，通过改进的熵控制策略提升LLM-RL算法在数学推理任务中的性能。

Comments Updated with ICLR 2026 version

Joint Continual Learning of Local Language Models and Cloud Offloading Decisions with Budget Constraints

带有预算约束的本地语言模型与云卸载决策的联合持续学习

Evan Chen, Wenzhi Fang, Shiqiang Wang, Christopher Brinton

机构 * Elmore Family School of Electrical and Computer Engineering, Purdue University, West Lafayette, IN（电子与计算机工程学院，普渡大学） ； Department of Computer Science, University of Exeter, UK（计算机科学系，埃克塞特大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出DA-GRPO方法，通过联合学习本地语言模型和云卸载决策，有效解决持续学习中的预算约束问题，提升任务准确性并减少遗忘。

TRE: Encouraging Exploration in the Trust Region

TRE: 在信任区域中鼓励探索

Chao Huang, Yujing Lu, Quangang Li, Shenghe Wang, Yan Wang, Yueyang Zhang, Long Xia, Jiashu Zhao, Zhiyuan Sun, Daiting Shi, Tingwen Liu

机构 * Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所） ； School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络安全学院） ； Baidu Inc.（百度公司） ； Wilfrid Laurier University（威尔弗里德·劳里埃大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.LG

AI总结 TRE通过在模型信任区域内鼓励探索，提升了大型语言模型在数学推理、组合搜索和偏好对齐任务中的性能。

Beyond Variance: Prompt-Efficient RLVR via Rare-Event Amplification and Bidirectional Pairing

超越方差：通过稀有事件放大和双向配对实现高效的提示式强化学习可验证奖励

Xin Sheng, Jiaxin Li, Yujuan Pang, Ran Peng, Yong Ma

机构 * Beijing University of Post（北京邮电大学） ； Sichuan Agricultural University（四川农业大学） ； RapidAI Research（RapidAI研究院） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 通过稀有事件放大和双向配对方法提升提示式强化学习可验证奖励的样本效率和转移性能。

Entropy-Gated Selective Policy Optimization:Token-Level Gradient Allocation for Hybrid Training of Large Language Models

熵门选择策略优化：用于大型语言模型混合训练的token级梯度分配

Yuelin Hu, Zhengxue Cheng, Wei Liu, Li Song

机构 * Department of Computer Science Anonymous University（计算机科学系 匿名大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 EGSPO通过token级梯度分配提升大型语言模型的混合训练效果，实现数学推理任务的性能提升并降低计算开销。

Comments accepted by cscwd2026

HALT: Hallucination Assessment via Log-probs as Time series

HALT：通过log-prob作为时间序列进行幻觉评估

Ahmad Shapiro, Karan Taneja, Ashok Goel

机构 * Georgia Institute of Technology（佐治亚理工学院） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 HALT通过log-prob时间序列检测幻觉，比Lettuce更高效且兼容专有模型。

Optimizing Prompts for Large Language Models: A Causal Approach

为大型语言模型优化提示：一种因果方法

Wei Chen, Yanbin Fang, Shuran Fu, Fasheng Xu, Xuan Wei

机构 * School of Business, University of Connecticut（康涅狄格大学商学院） ； Antai College of Economics and Management, Shanghai Jiao Tong University（上海交通大学安泰经济管理学院） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 CPO通过因果推断方法优化提示设计，提升企业LLM在复杂查询中的鲁棒性，并降低提示优化的经济成本。

Data Distribution as a Lever for Guiding Optimizers Toward Superior Generalization in LLMs

数据分布作为引导优化器实现LLM超一般化的杠杆

Tushaar Gangavarapu, Jiping Li, Christopher Vattheuer, Zhangyang Wang, Baharan Mirzasoleiman

机构 * University of California, Los Angeles（加州大学洛杉矶分校） ； University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 通过调整训练数据分布降低简单性偏见，提升大型语言模型的泛化能力，实验表明在数学推理任务中性能提升达18%。

Anchored Supervised Fine-Tuning

锚定监督微调

He Zhu, Junyou Su, Peng Lai, Ren Ma, Wenjia Zhang, Linyi Yang, Guanhua Chen

机构 * Southern University of Science and Technology（南方科技大学） ； Peking University（北京大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出锚定监督微调（ASFT），通过引入KL正则化解决动态微调（DFT）的稳定性问题，在数学推理、医学知识和代码生成等领域取得显著提升。

Benchmarking Uncertainty Calibration in Large Language Model Long-Form Question Answering

在大型语言模型长格式问答中评估不确定性校准的基准测试

Philip Müller, Nicholas Popovič, Michael Färber, Peter Steinbach

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.LG

AI总结 本研究提出首个大规模基准，评估大型语言模型在长格式问答中不确定性校准的可靠性，揭示了指令调优和推理过程对校准的影响及ECE指标的局限性。

Comments Under Review

U-MATH: A University-Level Benchmark for Evaluating Mathematical Skills in LLMs

U-MATH：一个大学级评估LLM数学能力的基准测试

Konstantin Chernyshev, Vitaliy Polshkov, Ekaterina Artemova, Alex Myasnikov, Vlad Stepanov, Alexei Miasnikov, Sergei Tilga

机构 * Toloka AI ； Gradarius ； Stevens Institute of Technology（史蒂文斯理工学院） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 U-MATH是一个大学级数学能力评估基准，包含1100个开放性问题，用于评估LLM在多模态推理和解决方案判断方面的性能。

A Step Back: Prefix Importance Ratio Stabilizes Policy Optimization

后退一步：前缀重要性比率稳定了策略优化

Shiye Lei, Zhihao Cheng, Dacheng Tao

机构 * The University of Sydney（悉尼大学） ； ByteDance（字节跳动） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出MinPRO目标，通过使用非累积的最小token级比率替代累积前缀比率，以稳定LLM在非策略性条件下的训练和优化。

ReNCE: Learning to Reason by Noise Contrastive Estimation

ReNCE: 通过噪声对比估计学习推理

Wenzheng Zhang, Karl Stratos

机构 * Rutgers University（罗杰斯大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.LG

AI总结 ReNCE通过噪声对比估计学习提升大语言模型的推理能力，采用显式对比学习方法在数学基准测试中表现优异。

It's Not You, It's Clipping: A Soft Trust-Region via Probability Smoothing for LLM RL

并非你，而是剪裁：通过概率平滑的软信任区域进行大语言模型强化学习

Madeleine Dwyer, Adam Sobey, Adriane Chapman

机构 * University of Southampton（索姆塞特大学） ； The Alan Turing Institute（艾伦·图灵研究所） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出PSPO方法，通过概率平滑改进大语言模型强化学习中的信任区域，提升数学推理任务的性能。

System 1&2 Synergy via Dynamic Model Interpolation

系统1与2的协同通过动态模型插值

Chenxu Yang, Qingyi Si, Chong Tian, Xiyu Liu, Dingyu Yao, Chuanyu Qin, Zheng Lin, Weiping Wang, Jiaqi Wang

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 DAMI通过动态参数插值调节模型认知深度，实现系统1的效率与系统2的推理能力的结合。