大模型推理能力

Memory Augmentation Unlocks Efficient Chain-of-Thought Reasoning

记忆增强解锁高效思维链推理

Simeng Zhang, Yilong Chen, Wenyuan Zhang, Zhenyu Zhang, Yao Chen, Junyuan Shang, Tingwen Liu

机构 * Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所） ； School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院） ； Baidu Inc.（百度公司） ； Tencent Inc.（腾讯公司） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；chain-of-thought(title,abstract)；CoT(abstract,abstract_cn)；分类 cs.CL

AI总结 该研究提出无需训练的记忆增强压缩框架，构建可复用推理记忆提升思维草稿压缩效果，在多任务上获显著准确率提升并加速推理，兼容多种压缩机制。

Ladder Up, Memory Down: Low-Cost Fine-Tuning With Side Nets

向上爬，记忆下降：低成本微调与侧边网络

Estelle Zheng, Nathan Cerisara, Sébastien Warichet, Emmanuel Helbert, Christophe Cerisara

专题命中 数学推理 ：CoT(abstract,abstract_cn)；reasoning(abstract)；chain-of-thought(abstract)；分类 cs.CL、cs.LG

AI总结 LST通过轻量级侧边网络实现高效微调，比QLoRA更节省内存，同时在多个任务中保持竞争力。

Comments 24 pages, 20 figures

Tool Verification for Test-Time Reinforcement Learning

测试时强化学习的工具验证

Ruotong Liao, Nikolai Röhrich, Xiaohan Wang, Yuhui Zhang, Yasaman Samadzadeh, Volker Tresp, Serena Yeung-Levy

机构 * Ludwig-Maximilians-University of Munich（慕尼黑路德维希-马克西米利安大学） ； Stanford University（斯坦福大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；verifier(abstract)；分类 cs.CL、cs.AI

AI总结 T^3RL通过引入测试时工具验证机制，提升测试时强化学习在复杂问题上的表现，减少错误模式崩溃风险。

Comments 12 pages, 11 figures; Code: this https URL (https://github.com/mayhugotong/T3RL)

AgentDiff: Meaning-Bearing Rewrites Trigger Deeper Divergence than Presentation Changes in LLM Agents

LLM 代理何时对表面噪声与语义噪声做出不同处理？一项基于 68 个单元格的测量研究及留出轨迹级验证

Liyun Zhang, Jiayi Guo

机构 * School of Information and Software Engineering, UESTC（信息与软件工程学院，电子科技大学） ； Jacobs School of Engineering, UC San Diego（工程学院，加州大学圣地亚哥分校） 纠错

专题命中 数学推理 ：reasoning(abstract)；chain-of-thought(abstract)；分类 cs.CL

AI总结 本研究通过 68 个单元格的测量实验，发现大语言模型驱动的思维链和 ReAct 代理对语义扰动（如释义、同义词）比表现扰动（如格式、重排序）更敏感，并基于留出模型和轨迹级机制分析提出了“隐蔽发散”解释。

IDEAlign: Comparing Ideas of Large Language Models to Domain Expert

IDEAlign：将大语言模型的想法与领域专家进行比较

Hyunji Nam, Lucia Langlois, James Malamut, Mei Tan, Dorottya Demszky

机构 * Stanford University（斯坦福大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；math reasoning(abstract)；分类 cs.CL

AI总结 本研究提出IDEAlign方法，通过“挑出异类”任务评估LLM标注与专家标注的想法层面相似性，发现LLM作为评判者表现最佳但仍不及专家，为开放式LLM标注评估提供了可复用的基准测试协议。

Comments EACL 2026

One Symptom, Three Levers: A Critical Review of On-Policy Self-Distillation

一种症状，三个杠杆：对在线策略自蒸馏的批判性综述

Justin Robert, Raheel Qader

机构 * OVHai LLM（OVHai大模型） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本综述针对在线策略自蒸馏（OPSD）存在的推理路径崩溃问题，从信号加权、特权信息性质、指导衰减三个杠杆展开分析，以数学推理为范围，提供统一术语并区分已确定与争议内容。

Comments 30 pages, 4 figures. Survey / critical review

Demystifying Reinforcement Learning Post-Training of Language Models

揭秘语言模型的强化学习后训练

Donovan Clay, Saket Gollapudi, Sankar Harilal, Min Jang, Jacob Morrison, Sewoong Oh, Natasha Jaques

机构 * University of Washington（华盛顿大学） ； Allen Institute for AI（艾伦人工智能研究所） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本研究拆解语言模型的RL后训练算法，探究各因素对其结果的影响，为NLP领域人员提供RL后训练的入门指南。

Comments Link to website: this https URL (https://minjang10.github.io/demystifying-rl-finetuning-web) Link to code: this https URL (https://github.com/sankarh-1/demystifying-rl-finetuning)

TailSFT: Filtered Fine-Tuning Improves Post-Training Performance

TailSFT：过滤式微调提升后训练性能

Sadhika Malladi, Samy Jelassi, Dylan Foster, Jordan T. Ash, Akshay Krishnamurthy

机构 * University of California San Diego（加州大学圣迭戈分校） ； Microsoft Research NYC（微软研究院纽约分部） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出TailSFT过滤式微调算法，可提升模型后强化学习性能，在OLMo-3 7B上数学与代码评估pass@16最高提17%，后续GRPO的pass@1最高提4%，还引入轻量诊断方法识别适用场景。

StoSignSGD: Unbiased Structural Stochasticity Fixes SignSGD for Training Large Language Models

StoSignSGD：无偏结构随机性修正SignSGD用于训练大语言模型

Dingzhi Yu, Rui Pan, Yuxing Liu, Difan Zou, Tong Zhang

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出StoSignSGD算法，通过在sign操作中注入结构随机性，解决SignSGD在非光滑目标下的发散问题，理论和实验均证明其在凸和非凸优化中的优越性。

Ban&Pick: Enhancing Performance and Efficiency of MoE-LLMs via Smarter Routing

Ban&Pick：通过更智能的路由提升MoE-LLM的性能与效率

Yuanteng Chen, Peisong Wang, Yuantian Shao, Nanxin Zeng, Chang Xu, Jian Cheng

机构 * Nanjing University of Science and Technology（南京理工大学） ； C 2 \text{C}^{2} DL, Institute of Automation, Chinese Academy of Sciences（C2 DL，自动化研究所，中国科学院） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； School of Computer Science, University of Sydney（悉尼大学计算机学院） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 本研究针对MoE-LLM预训练路由的问题，提出即插即用的Ban&Pick策略，通过Pick强化关键专家、Ban修剪冗余专家，在不重新训练或改架构的情况下提升MoE-LLM性能并加速推理。

Comments 26 pages, 13 figures

ProgRouter: Online Progress-Guided Orchestration for Multi-Agent LLM Workflows under Quality-Cost Tradeoffs

ProgRouter：面向质量-成本权衡的多智能体大语言模型工作流的在线进度引导编排

Somgyuan Li, Ahmed M. Abdelmoniem, Shiqiang Wang

机构 * Aston University（阿斯顿大学） ； Queen Mary University of London（伦敦玛丽女王大学） ； University of Exeter（埃克塞特大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI

AI总结 ProgRouter是一种在线进度引导路由框架，通过多视图任务进度评分器等机制，在多智能体LLM工作流中平衡任务质量与时间、成本预算，在多类任务数据集上较基线降低运营成本且保持性能。

Comments Accepted in Findings of the Association for Computational Linguistics: EMNLP 2026. Index Terms: Collaborative agentic workflows, LLM agent orchestration, Quality-cost trade-off, Task progress prediction, Online decision-making

Prefix-Denoising Consistency: Test-Time Verification for Diffusion Language Models

前缀去噪一致性：扩散语言模型的测试时验证方法

Yuki Ichihara, Naoto Iwase, Mohammad Atif Quamar, Junpei Komiyama

机构 * MBZUAI（穆罕默德·本·扎耶德人工智能大学） ； Nagoya University（名古屋大学） ； RIKEN AIP（理化学研究所人工智能项目） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.LG

AI总结 该研究针对扩散语言模型提出测试时自验证方法PDC，通过前缀条件再生的轨迹稳定性差异修正初始生成样本，在两类推理基准中提升性能且具鲁棒性。