大模型推理能力

Kalman Meets Curriculum: Efficient Dynamic Prompt Selection for Adaptive RL Finetuning

卡尔曼与课程学习结合：面向自适应RL微调的高效动态提示选择

Haodong Zhu, Yangyang Ren, Yanjing Li, Sheng Xu, Haiguang Liu, Linlin Yang, Baochang Zhang

机构 * Beihang University（北京航空航天大学） ； Zhongguancun Academy（中关村学院） ； Nanyang Technological University（南洋理工大学） ； Communication University of China（中国传媒大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；math reasoning(abstract)；planning(abstract)；分类 cs.LG

AI总结 本文提出KGPS方法，将提示选择转化为动态状态估计问题，适配RL训练动态，在多推理基准和RL算法上较基线提升准确率与rollout效率，在在线提示选择中达最优。

Constrained Decoding for Diffusion Language Models via Efficient Inference over Finite Automata

通过有限自动机上的高效推理实现扩散语言模型的约束解码

Meihua Dang, Stefano Ermon

机构 * Stanford University（斯坦福大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；math reasoning(abstract)；planning(abstract)；分类 cs.LG

AI总结 研究扩散语言模型的约束解码问题，提出基于有限自动机高效推理的算法，能保证约束满足，支持多种解码方式，经实验验证在多种任务上提升准确率且推理开销小。

Efficient and Trainable Language Model Test-Time Scaling via Local Branch Routing

通过局部分支路由实现高效且可训练的语言模型测试时扩展

Yutong Yin, Mingyu Jin, Jin Pan, Changyi Yang, Zijie Xia, Dhruv Pai, Shuming Hu, Zhen Zhang, Chenyang Zhao, Jinman Zhao, Wujiang Xu, Raymond Li, Xin Eric Wang, Julian McAuley, Zhaoran Wang

机构 * Northwestern University（西北大学） ； Rutgers University（罗格斯大学） ； University of Wisconsin–Madison（威斯康星大学麦迪逊分校） ； Carnegie Mellon University（卡内基梅隆大学） ； LMSYS Org（LMSYS组织） ； Tilde Research（Tilde研究） ； University of California, Santa Barbara（加州大学圣塔芭芭拉分校） ； University of Toronto（多伦多大学） ； University of British Columbia（不列颠哥伦比亚大学） ； University of California, San Diego（加州大学圣迭戈分校） 纠错

专题命中 数学推理 ：reasoning(abstract)；chain-of-thought(abstract)；planning(abstract)；分类 cs.CL

AI总结 提出局部分支路由（LBR）框架，通过轻量级路由器选择局部前瞻树中的深度-1子路径，实现令牌级测试时扩展，在数学推理基准上优于链式思维和软令牌分支基线。

ExpRL: Exploratory RL for LLM Mid-Training

ExpRL: 用于LLM中期训练的探索性强化学习

Violet Xiang, Amrith Setlur, Chase Blagden, Nick Haber, Aviral Kumar

机构 * Stanford University（斯坦福大学） ； Carnegie Mellon University（卡内基梅隆大学） ； OpenAI ； Rogo 纠错

专题命中 数学推理 ：reasoning(abstract)；math reasoning(abstract)；self-correction(abstract)；分类 cs.LG

AI总结 提出ExpRL方法，利用人类编写的问答数据作为奖励支架，通过密集奖励强化推理过程中的部分进展和有用行为，在数学推理任务上优于SFT、稀疏奖励GRPO和自蒸馏，并为后续稀疏奖励RL提供更好的初始化。

No Universal Signal Predicts Sample-Level LLM Regression under Version Updates

没有通用信号可预测版本更新下的样本级大语言模型退化

Jia Sheng, Yiwei Lu

机构 * University of Ottawa（渥太华大学） ； Vector Institute（向量研究所） 纠错

专题命中 数学推理 ：reasoning(abstract)；math reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文研究如何用推理时信号预测LLM版本更新导致的样本级退化，对比单模型与跨版本信号，发现信号有效性具任务依赖性且无通用最优信号，部分跨版本信号可支持选择性回退，从业者可据此选择信号。

Online Safety Monitoring for LLMs

LLMs的在线安全监控

Mona Schirmer, Metod Jazbec, Alexander Timans, Christian Naesseth, Maja Waldron, Eric Nalisnick

专题命中 数学推理 ：reasoning(abstract)；verifier(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究通过阈值化外部模型的验证信号并利用风险控制校准阈值，实现LLM输出的实时安全监控，在数学推理和红队测试中与高级方法性能相当。

Comments ICML 2026 Hypothesis Testing Workshop

DFM Mimir v1: An Open HRM Delivering Frontier Performance at 1B Parameters Using Only Permissible Post-Training Data

DFM Mimir v1：仅使用许可的后训练数据，在10亿参数规模下实现前沿性能的开放HRM模型

Peter Schneider-Kamp, Jacob Nielsen, Gianluca Barmina, Kenneth Enevoldsen, Lukas Galke Poech

专题命中 数学推理 ：reasoning(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 研究人员因大模型开发依赖非许可数据受阻，本文提出仅用许可后训练数据训练的10亿参数HRM模型Mimir v1，其在多基准测试中性能优于同规模HRM-Text 1B，可与更大前沿模型媲美，且在丹麦语任务达新SOTA，已发布于Hugging Face Hub

Comments Technical Report, 20 Pages, 1 Model, Hierarchical Reasoning Model

Test-Time Augmentation for LLMs: When Input Diversity Beats Output Diversity at Matched Compute

大语言模型的测试时增强：在计算资源匹配时输入多样性优于输出多样性

Nikita Kozodoi, Zainab Afolabi, Jack Butler

机构 * Amazon Web Services（亚马逊网络服务） 纠错

专题命中 数学推理 ：reasoning(abstract,comments)；chain-of-thought(abstract)；分类 cs.AI、cs.LG

AI总结 本研究提出测试时增强（TTA），经匹配计算对比发现，中端大语言模型采用语义复述的TTA策略，比自洽性更高效地将计算转化为准确率，每美元准确率约为自洽性的1.8倍。

Comments Published at the COLM 2026 Workshop on Efficient Reasoning

SPADE: Self-Play in Adaptive Synthetic Executable Environments

SPADE：自适应合成可执行环境中的自博弈

Bo Liu, Simon Yu, Yiding Jiang, Ao Qu, Andrew Zhao, Zichen Liu, Junsu Kim, Zijian Zhou, Seungone Kim, Tongzheng Ren, Mickel Liu, Hanfei Yu, Zhaorun Chen, Weiyan Shi, Paul Pu Liang, Luke Zettlemoyer, Yejin Choi, Natasha Jaques

机构 * University of Washington（华盛顿大学） ； Stanford University（斯坦福大学） ； Northeastern University（东北大学） ； Carnegie Mellon University（卡内基梅隆大学） ； Massachusetts Institute of Technology（麻省理工学院） ； National University of Singapore（新加坡国立大学） ； Seoul National University（首尔大学） ； Stevens Institute of Technology（史蒂文斯理工学院） ； University of Chicago（芝加哥大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；verifier(abstract)；分类 cs.CL、cs.AI

AI总结 SPADE是一种双角色自博弈强化学习框架，让单个LLM同时担任环境设计者与推理智能体，在多类基准上显著提升了语言智能体的性能，推动了开放式自我改进。

Comments Work in progress. Project page: https://spade-rl.github.io ; Code: https://github.com/spade-rl/spade

When Do Explanations Help In-Context Learning? A Comparative Study of Natural Language Explanation Types and Faithfulness

解释何时能帮助上下文学习？自然语言解释类型与忠实度的比较研究

Mahdi Dhaini, Adam Dejl, Juraj Vladika, Volkan Özer, Barbara Plank, Gjergji Kasneci

机构 * LMU Munich（慕尼黑大学） ； Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心） ； Imperial College London（伦敦帝国学院） ； Technical University of Munich（慕尼黑工业大学） ； MaiNLP lab, CIS, LMU Munich（慕尼黑大学CIS研究所MaiNLP实验室） 纠错

专题命中 数学推理 ：reasoning(abstract)；math reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 该研究通过在6个基准和4个指令调优模型上的比较评估，探究不同来源与选择方式的自然语言解释对上下文学习下游性能的影响，为实际提示流程中解释的选择和报告提供了见解。

Answer First, Reason Later: Commitment Order in Diffusion LLMs

先给出答案，后进行推理：扩散大语言模型中的承诺顺序

Jewon Yeom, Jaewon Sok, Seonghyeon Park, Jeongjae Park, Hwiyeong Lee, Taesup Kim

机构 * Graduate School of Data Science, Seoul National University（首尔国立大学数据科学研究生院） 纠错

专题命中 数学推理 ：reasoning(abstract)；chain-of-thought(abstract)；分类 cs.CL、cs.AI

AI总结 本研究发现扩散大语言模型（dLLMs）的任意顺序提交机制会导致推理失败，通过前沿门控承诺干预可恢复推理性能，同时保留并行解码优势。

Albilich: Steerable Proof-State Orchestration for LLM-Based Mathematical Research with CAS Integration

Albilich：用于结合计算机代数系统（CAS）的基于大语言模型的数学研究的可操控证明状态编排工具

Ting Gong, Michael Ruofan Zeng, Yong Yang

专题命中 数学推理 ：reasoning(abstract)；verifier(abstract)；分类 cs.AI、cs.LG

AI总结 Albilich是结合CAS等功能的开源数学自主研究智能体框架，在RealMath基准和Kourovka开放问题上取得优异效果，可实现AI辅助的可扩展数学研究。

Comments 7 pages, comments welcome!

SOS-LoRA: Static Orthogonal-Subspace Low-Rank Adaptation with Fixed Multi-Scale Scaling

SOS-LoRA：具有固定多尺度缩放的静态正交子空间低秩自适应

Yupeng Chang, Yuan Wu, Yi Chang

机构 * School of Artificial Intelligence, Jilin University（吉林大学人工智能学院） ； Engineering Research Center of Knowledge-Driven Human-Machine Intelligence, MOE, China（教育部知识驱动的人机智能工程研究中心） ； International Center of Future Science, Jilin University（吉林大学未来科学国际合作中心） 纠错

专题命中 数学推理 ：reasoning(abstract)；math reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 研究针对大语言模型中LoRA方法的不足，提出SOS-LoRA，将秩更新重参数化为多个静态低秩专家之和，通过分解总秩、固定多尺度缩放及正交初始化等，实现性能提升且可完全合并，实验证明其优于基线和变体。

Rethinking On-Policy Self-Distillation for Thinking Models

重新思考思维模型的在线策略自蒸馏

Simran Kaur, Narutatsu Ri, Yinghui He, Liam Fowl, Sanjeev Arora

机构 * Princeton University（普林斯顿大学） ； Princeton Language and Intelligence（普林斯顿语言与智能实验室） 纠错

专题命中 数学推理 ：reasoning(abstract)；self-correction(abstract)；分类 cs.AI、cs.LG

AI总结 针对思维模型自蒸馏性能退化问题，研究发现特权上下文在线策略蒸馏会降低长推理轨迹性能，揭示其作用机制，为强思维模型自蒸馏优化提供方向。

dOPSD: On-Policy Self-Distillation for Diffusion Language Models

dOPSD：扩散语言模型的策略内自蒸馏

Phuong Tuan Dat, Qi Li, Xinchao Wang

机构 * National University of Singapore（新加坡国立大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；math reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 研究扩散语言模型强化推理难的问题，提出dOPSD，通过从学生去噪轨迹直接推导教师特权信息，实现策略内自蒸馏，提升模型在数学推理和代码生成等任务表现。

Spectral Rewiring for Exploration, Purification, and Model Merging

用于探索、提纯和模型合并的频谱重布线

Zhilong Zhang, Hongli Yu, Huan-ang Gao, Hanlin Wu, Yuxuan Song, Wei-Ying Ma, Ya-Qin Zhang, Hao Zhou

机构 * SIA-Lab of Tsinghua AIR（清华-字节跳动联合研究中心SIA实验室） ； Institute for AI Industry Research (AIR), Tsinghua University（清华大学人工智能产业研究院） 纠错

专题命中 数学推理 ：reasoning(abstract)；math reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 研究强化学习中参数更新瓶颈，提出子空间对齐重布线方法，保留频谱核心去除正交分量，可提纯训练更新、实现模型合并，提升推理和跨域性能，是无训练机制提升性能。

HyperDFlash: Hyper-Connection-Aligned Block Speculative Decoding with Gated Residual Reduction

HyperDFlash: 面向MHC架构的块级推测解码与门控残差缩减

Luxi Lin, Shuang Peng, Rui Ma, Junhao Hua, Shuwei Fan, Zhengda Qin, Qiang Wang, Hongjian Sun, Fangmin Chen, Songwei Liu

机构 * ByteDance（字节跳动） 纠错

专题命中 数学推理 ：reasoning(abstract)；math reasoning(abstract)；分类 cs.CL、cs.LG

AI总结 针对DeepSeek-V4的多超连接架构，提出HyperDFlash框架，通过对齐残差流和轻量门控缩减器，解决推测解码中特征错位和误差累积问题，显著提升解码速度。

How reliable are LLMs when it comes to playing dice?

LLM 在掷骰子时有多可靠？

Luca Avena, Gianmarco Bet, Bernardo Busoni

机构 * Università degli Studi di Firenze（佛罗伦萨大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；chain-of-thought(abstract)；分类 cs.CL、cs.AI

AI总结 通过离散概率问题基准测试，发现 LLM 在标准问题上准确率 0.96，但在反直觉问题上仅 0.59，且存在 token 偏差和误导提示的脆弱性。

N-GRPO: Embedding-Level Neighbor Mixing for Enhanced Policy Optimization

N-GRPO：嵌入级邻居混合增强策略优化

Xukun Zhu, Hang Yu, Peng Di, Linchao Zhu

机构 * Zhejiang University（浙江大学） ； Ant Group（蚂蚁集团） 纠错

专题命中 数学推理 ：reasoning(abstract)；math reasoning(abstract)；分类 cs.CL、cs.LG

AI总结 针对大语言模型数学推理中探索策略的折衷问题，提出N-GRPO方法，通过语义邻居混合机制在嵌入层注入多样性，在保持语义一致性的同时提升策略优化效果。

Comments ACL 2026 Findings. 16 pages, 3 figures. Code: https://github.com/ZJUSCL/N-GRPO

When RL Fails after SFT: Rejuvenating Model Plasticity for Robust SFT-to-RL Handoff

当强化学习在监督微调后失效：恢复模型可塑性以实现稳健的SFT到RL交接

Runze Liu, Jiashun Liu, Xu Wan, Yuqian Fu, Ling Pan

机构 * Hong Kong University of Science and Technology（香港科技大学） ； Zhejiang University（浙江大学） ； State Key Laboratory of Multimodal Artificial Intelligence Systems, CASIA（多模态人工智能系统国家重点实验室，CASIA） 纠错

专题命中 数学推理 ：reasoning(abstract)；math reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 针对SFT过度训练导致RL阶段改进有限的问题，提出Rejuvenation方法，通过基模型锚定融合和神经元重置恢复模型可塑性，在数学推理和智能体任务上提升RL性能。

Stopping and Routing LLM Judge Panels

停止与路由大语言模型（LLM）评审小组

Bin Zhu, Yi Xie, Yanghui Rao

机构 * School of Computer Science and Engineering（计算机科学与工程学院） ； Sun Yat-sen University（中山大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；verifier(abstract)；分类 cs.CL

AI总结 该研究将LLM评审小组设计建模为角色条件分配问题，提出策略优化评审调用，经多类审计对比，生成可复用的评审调用计划。

Comments 21 pages, 2 figures, 20 tables. Accepted at WISE 2026

StateBridge: Training-free Hidden-state Alignment for Latent Communication in LLM Multi-Agent Systems

StateBridge：面向大语言模型多智能体系统潜在通信的无训练隐藏状态对齐

Yanwen Peng, Delvin Ce Zhang, Xi Wang, Nikolaos Aletras

机构 * School of Computer Science, University of Sheffield（谢菲尔德大学计算机科学学院） 纠错

专题命中 数学推理 ：reasoning(abstract)；math reasoning(abstract)；分类 cs.AI

AI总结 StateBridge 是一种无训练的潜在通信方法，通过闭式正交变换对齐大语言模型多智能体的隐藏状态，在 26 个模型-任务对中 22 个取得最优或并列最优性能，优于基线。

Comments 18 pages, 3 figures, 4 tables, accepted by COLM2026

Math-Vision Diagrams: A Comprehensive Benchmark for Evaluating LLM Mathematical Diagram Generation Capabilities

数学视觉图表：评估大型语言模型数学图表生成能力的综合基准

Harish Kashyap, Kiran Byadarhaly, Sriram Chakaravarthy, Sanyukta Tuti, Aryan Mistry

机构 * Pandita AI Inc.（潘迪塔人工智能公司） 纠错

专题命中 数学推理 ：reasoning(abstract)；math reasoning(abstract)；分类 cs.LG

AI总结 本研究推出首个专门评估LLMs数学图表生成能力的基准Math-Vision Diagrams，涵盖文本到代码与图像范式，测试发现LLMs在该任务上存在困难，相关资源将开源。

Comments Accepted at ICANN 2026

ExeCRE: Execution-Consistency Guided Reliability Estimation for Self-Correcting Code Generation

ExeCRE：基于执行一致性引导的自校正代码生成可靠性估计

Yiru Dong, Richong Zhang, Fanshuang Kong, Si Chen

专题命中 数学推理 ：reasoning(abstract)；self-correction(abstract)；分类 cs.AI

AI总结 ExeCRE是基于执行一致性的代码可靠性估计框架，可减少自校正代码生成中的误导性反馈，提升有效性与稳定性，在GPT-5.2搭配LiveCodeBench及数学推理场景均有显著收益。

Comments 13 pages, 5 figures. Accepted at the 41st IEEE/ACM International Conference on Automated Software Engineering (ASE 2026)

Notes to Self: Can LLMs Benefit from Experiential Abstractions?

给自己的笔记：大语言模型能从经验抽象中受益吗？

Chang Liu, Xinyu Li, Artur Dubrawski

机构 * Auton Lab, Carnegie Mellon University（卡内基梅隆大学自动实验室） 纠错

专题命中 数学推理 ：reasoning(abstract)；logical reasoning(abstract)；分类 cs.CL

AI总结 研究大语言模型能否从经验抽象中受益，通过从其在MATH训练集的痕迹提取抽象存入可检索库，探索推理时检索和强化学习两种使用模式，发现能提高模型在数学和逻辑推理基准上的性能，且框架可转移。

Verify, Repair, Repeat, or Stop? Robust Stopping for Noisy Verify-Repair Loops in LLM Agents

验证、修复、重复还是停止？大语言模型代理中用于有噪声验证-修复循环的稳健停止方法

Yitao Wu, Si Shen, Rui Yang, Hong Peng, Bin Hu

专题命中 数学推理 ：reasoning(abstract)；verifier(abstract)；分类 cs.AI

AI总结 研究大语言模型代理中验证-修复循环有噪声时缺乏停止原则的问题，提出VRR-Stop框架，通过四参数噪声模型和信念过滤估计有效性，依真实边际增益符号决策，配对VRR-Guard，提升了停止可靠性与真实有效性。

Comments 18 pages, 10 figures, 10 tables. Under review

AIMO Interpretability Challenge

AIMO可解释性挑战

Michal Štefánik, Philipp Mondorf, Andreas Waldis, Qianying Liu, Chuan Yang, Michal Spiegel, Josef Kuchař, Marek Kadlčík, Adam Vawda-Oomerjee, Chaoran Liu, Simon Frieder, Barbara Plank, Fazl Barez, Pontus Stenetorp

机构 * National Institute of Informatics（日本国立信息学研究所） ； Munich Center for Machine Learning / MaiNLP LMU（慕尼黑机器学习中心/慕尼黑大学语言与文学计算研究所） ； University of Tübingen（图宾根大学） ； Fuzhou University（福州大学） ； Masaryk University（马萨里克大学） ； University College London（伦敦大学学院） ； University of Oxford（牛津大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；math reasoning(abstract)；分类 cs.AI

AI总结 提出AIMO可解释性挑战，基于前沿数学语言模型内部机制区分稳健与虚假推理。利用AIMO问题等资源，提供推理问题、模型访问及鲁棒性评估，助参与者开发识别稳健模型的方法，创建新基准和基线系统，连接可解释性与泛化研究。

Comments Accepted Competition at NeurIPS 2026

OptiAgent: End-to-End Optimization Modeling via Multi-Agent Iterative Refinement

OptiAgent：基于多智能体迭代精化的端到端优化建模

Adriana Laurindo Monteiro, Nayse Fagundes, Gabriel Mattos Langeloh, Gustavo de Oliveira Kanno, Priscila Louise Aguirre, Thiago Costa Rizuti da Rocha, Victor Leme Beltran

机构 * Instituto de Ciência e Tecnologia do Itaú（伊塔乌科技学院） 纠错

专题命中 数学推理 ：reasoning(abstract)；self-correction(abstract)；分类 cs.AI

AI总结 针对运筹学问题自然语言描述转可求解数学形式与可执行代码的需求，OptiAgent采用多智能体迭代自校正与多回路验证架构，在多数优化任务基准上取得SOTA性能，建模过程可审计。

Tandem Reinforcement Learning with Verifiable Rewards

具有可验证奖励的串联强化学习

Difan Jiao, Raghav Singhal, Robert West, Ashton Anderson

机构 * University of Toronto（多伦多大学） ； EPFL（瑞士联邦理工学院洛桑分校） 纠错

专题命中 数学推理 ：reasoning(abstract)；chain-of-thought(abstract)；分类 cs.AI

AI总结 提出串联强化学习（TRL），通过强弱模型交替生成推理链并共同奖励，在保持独立推理能力的同时提升模型间兼容性和可读性。

Comments 21 pages,7 figures,8 tables

Shattering the Autoregressive Curse: Dynamic Epistemic Entropy Orchestrated Erasable Reinforcement Learning for LLMs

打破自回归诅咒：动态认知熵编排的可擦除强化学习用于大语言模型

Ziliang Wang, Kang An, Faqiang Qian, Jialu Cai, Cijun Ouyang, Yuhang Wang, Qibing Ren, Yichao Wu

机构 * SenseTime（商汤科技） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；logical reasoning(abstract)；分类 cs.AI

AI总结 提出动态认知熵编排的可擦除强化学习（E³RL），通过将模型内生的局部自回归交叉熵作为认知不确定性坐标，利用分段自适应动态阈值和优势分配精准切除逻辑缺陷并重用KV缓存，解决长序列推理中的自回归级联崩溃问题。