大模型推理能力

Smooth Gate Functions for Soft Advantage Policy Optimization

用于软优势策略优化的平滑门函数

Egor Denisov, Svetlana Glazyrina, Maksim Kryzhanovskiy, Roman Ischenko

机构 * Institute for Artificial Intelligence, Lomonosov Moscow State University（莫斯科罗蒙诺索夫莫斯科国立大学人工智能研究所） ； Lomonosov Moscow State University（莫斯科罗蒙诺索夫莫斯科国立大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 本文探讨了通过平滑门函数提升策略优化稳定性和模型性能，分析了不同门函数在数学推理任务中的实验结果，为大语言模型训练提供指导。

ProFit: Leveraging High-Value Signals in SFT via Probability-Guided Token Selection

ProFit：通过概率引导的标记选择利用SFT中的高价值信号

Tao Liu, Taiqiang Wu, Runming Yang, Shaoning Sun, Junjie Wang, Yujiu Yang

机构 * Tsinghua University（清华大学） ； The University of Hong Kong（香港大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 ProFit通过概率引导的标记选择策略，有效缓解SFT中单参考答案导致的过拟合问题，提升模型在通用推理和数学任务中的表现。

Can Large Language Models Reason and Optimize Under Constraints?

大型语言模型能否在约束下进行推理和优化？

Fabien Bernier, Salah Ghamizi, Pantelis Dogoulis, Maxime Cordy

机构 * SnT – University of Luxembourg（卢森堡大学SnT分校） ； Luxembourg Institute of Health (LIH)（卢森堡健康研究院） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 本文研究了大型语言模型在最优功率流问题物理和操作约束下的推理与优化能力，发现现有模型在多数任务中表现不足，揭示了LLM在约束下结构推理的关键差距。

Prompt replay: speeding up grpo with on-policy reuse of high-signal prompts

提示重放：通过在线重用高信号提示加速GRPO

Andrei Baroian, Rutger Berger

机构 * Leiden Institute of Advanced Computer Science（莱顿先进计算机科学研究所） ； Leiden University（莱顿大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出Prompt Replay方法，通过在线重用高信号提示提升GRPO训练效率，减少无效提示，提高平均绝对优势，并加快初始准确率提升，但存在过拟合风险。

Self-Distilled Reasoner: On-Policy Self-Distillation for Large Language Models

自蒸馏推理器：用于大型语言模型的在线自蒸馏

Siyan Zhao, Zhihui Xie, Mengchen Liu, Jing Huang, Guan Pang, Feiyu Chen, Aditya Grover

机构 * Meta Superintelligence Labs（Meta 超智能实验室） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出自蒸馏推理器，通过单个LLM同时担任教师和学生，利用特权信息提升推理效率，优于强化学习和离线蒸馏方法。

Comments code is released here: https://github.com/siyan-zhao/OPSD

DyJR: Preserving Diversity in Reinforcement Learning with Verifiable Rewards via Dynamic Jensen-Shannon Replay

DyJR: 通过动态Jensen-Shannon回放在强化学习中保持多样性

Long Li, Zhijian Zhou, Tianyi Wang, Weidi Xu, Zuming Huang, Wei Chu, Zhe Wang, Shirui Pan, Chao Qu, Yuan Qi

机构 * Griffith University, Australia（澳大利亚格里菲斯大学） ； Fudan University, China（复旦大学） ； Beijing University of Post（北京邮电大学） ； Shanghai Innovation Institute, China（上海创新研究院） ； Shanghai Academy of Artificial Intelligence for Science, China（上海人工智能科学研究院） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出DyJR方法，通过动态参考分布和Jensen-Shannon散度正则化，在强化学习中保持多样性，提升数学推理和Text-to-SQL任务性能。

Comments 14 pages, 3 figures

daVinci-Env: Open SWE Environment Synthesis at Scale

daVinci-Env：大规模开放软件工程环境合成

Dayuan Fu, Shenyu Wu, Yunze Wu, Zerui Peng, Yaxing Huang, Jie Sun, Ji Zeng, Mohan Jiang, Lin Zhang, Yukun Li, Jiarui Hu, Liming Liu, Jinlong Hou, Pengfei Liu

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出OpenSWE，一个大规模透明的软件工程代理训练框架，包含45320个可执行Docker环境，通过多代理合成管道和质量过滤流程，实现高效学习和高质量训练。

Greedy Information Projection for LLM Data Selection

贪心信息投影用于大语言模型数据选择

Victor Ye Dong, Kuan-Yun Lee, Jiamei Shuai, Shengfei Liu, Yi Liu, Jian Jiao

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出贪心信息投影框架，通过最大化子集与任务查询信号的互信息，平衡质量与多样性，高效选择数据集进行微调。

Comments Published as a paper at 3rd DATA-FM workshop @ ICLR 2026, Brazil

RelayCaching: Accelerating LLM Collaboration via Decoding KV Cache Reuse

RelayCaching: 通过解码KV缓存重用加速LLM协作

Yingsheng Geng, Yuchong Gao, Weihong Wu, Guyue Liu, Jiang Liu

机构 * Beijing University of Posts（北京邮电大学） ； Tsinghua University, Beijing, China（清华大学） ； University of Electronic Science（电子科学大学） ； Peking University, Beijing, China（北京大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出RelayCaching方法，通过重用前序代理的解码阶段KV缓存，在多代理LLM系统中减少冗余预填充计算，提升效率与准确性。

Can Theoretical Physics Research Benefit from Language Agents?

理论物理研究能否从语言代理中受益？

Sirui Lu, Zhijing Jin, Terry Jingchen Zhang, Pavel Kos, J. Ignacio Cirac, Bernhard Schölkopf

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 本文探讨了语言代理在理论物理研究中的潜力，指出需专门训练和工具支持，以实现多模态数据处理、物理假设提出和理论验证的AI代理。

Comments 8+2 pages + references

Let's Verify Math Questions Step by Step

逐步验证数学问题

Chengyu Shen, Zhen Hao Wong, Runming He, Hao Liang, Meiyi Qiang, Zimo Meng, Zhengyang Zhao, Bohan Zeng, Zhengzhou Zhu, Bin Cui, Wentao Zhang

机构 * Peking University（北京大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 ValiMath是一个包含2147个经过人类验证的数学问题的基准测试集，MathQ-Verify是用于验证数学问题正确性的流程，能有效提升数学数据集的质量和准确性。

Training with Pseudo-Code for Instruction Following

通过伪代码训练指令跟随

Prince Kumar, Rudra Murthy, Riyaz Bhat, Danish Contractor

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 通过伪代码训练提升LLM指令跟随能力，实现8-21%的提升并在数学和常识推理中取得平均30%的提升。

Comments Under Review

You Didn't Have to Say It like That: Subliminal Learning from Faithful Paraphrases

你无需那样说：从忠实的同义词中学习的潜意识学习

Isaia Gisler, Zhonghao He, Tianyi Qiu

机构 * ETH Zürich（苏黎世联邦理工学院） ； University of Cambridge（剑桥大学） ； Peking University（北京大学） 纠错

专题命中 数学推理 ：chain-of-thought(abstract)；分类 cs.CL、cs.LG

AI总结 研究通过自然语言同义词的潜意识学习，发现即使内容与教师偏好矛盾，学生模型仍能继承偏好，揭示了训练数据中潜在影响的隐蔽性。

Comments Accepted for Spotlight presentation at EACL 2026 SRW. 5 pages, 2 figures, plus appendix. Equal supervision by Zhonghao He and Tianyi Qiu

Rewards as Labels: Revisiting RLVR from a Classification Perspective

奖励作为标签：从分类视角重新审视RLVR

Zepeng Zhai, Meilin Chen, Jiaxuan Zhao, Junlang Qian, Lei Shen, Yuan Lu

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出REAL框架，将可验证奖励视为分类标签，通过改进梯度分配提升策略优化效率，实验证明其在数学推理任务中优于GRPO和DAPO等方法。

Test-Time Meta-Adaptation with Self-Synthesis

测试时元适应与自合成

Zeyneb N. Kaya, Nick Rui

机构 * Stanford University（斯坦福大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 MASS通过自动生成问题特定的合成训练数据，实现大语言模型在测试时的自我适应与优化，提升下游任务性能。

Comments 5 pages, 2 figures, 1 table. Accepted to AI with Recursive Self-Improvement (RSI) Workshop @ ICLR 2026

Listen to the Layers: Mitigating Hallucinations with Inter-Layer Disagreement

倾听各层：通过层间分歧缓解幻觉

Koduvayur Subbalakshmi, Sabbir Hossain Ujjal, Venkata Krishna Teja Mangichetty, Nastaran Jamalipour Soofi

机构 * Stevens Institute of Technology（斯蒂文斯理工学院） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 CoCoA通过监听模型内部层间分歧信号，有效缓解大语言模型的幻觉问题，提升推理时的事实准确性。

Comments Preprint, 26 pages, 15 tables, 15 figures

Chart-RL: Generalized Chart Comprehension via Reinforcement Learning with Verifiable Rewards

Chart-RL: 通过可验证奖励的强化学习实现通用图表理解

Xin Zhang, Xingyu Li, Rongguang Wang, Ruizhong Miao, Zheng Wang, Dan Roth, Chenyang Li

机构 * Oracle AI 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.LG

AI总结 Chart-RL通过可验证奖励的强化学习提升图表理解能力，在多个基准测试中超越监督微调，展现强大的泛化和迁移能力。

Learn Hard Problems During RL with Reference Guided Fine-tuning

在强化学习中学习难题问题：基于参考的微调

Yangzhen Wu, Shanda Li, Zixin Wen, Xin Zhou, Ameet Talwalkar, Yiming Yang, Wenhao Huang, Tianle Cai

机构 * Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.LG

AI总结 ReGFT通过利用人类参考解决方案合成积极轨迹，提升RL在数学推理中的性能和训练效率。

Comments 15 pages, 5 figures

CoRPO: Adding a Correctness Bias to GRPO Improves Generalization

CoRPO：在GRPO中添加正确性偏差以提高泛化能力

Anisha Garg, Claire Zhang, Nishit Neema, David Bick, Ganesh Venkatesh, Joel Hestness

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 CoRPO通过引入正确性偏差改进GRPO，提升模型在跨领域任务中的泛化能力与推理稳定性。

Unbiased Dynamic Pruning for Efficient Group-Based Policy Optimization

无偏动态剪枝用于高效基于群体的策略优化

Haodong Zhu, Yangyang Ren, Yanjing Li, Mingbao Lin, Linlin Yang, Xuhui Liu, Xiantong Zhen, Haiguang Liu, Baochang Zhang

机构 * Beihang University（北航大学） ； Zhongguancun Academy（中关村学院） ； Communication University of China（中国通信大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 DPPO通过动态剪枝和重要性采样修正，实现高效基于群体的策略优化，提升训练速度并提高准确率。

Comments 20 pages, 4 figures

RLVER: Reinforcement Learning with Verifiable Emotion Rewards for Empathetic Agents

RLVER: 通过可验证情绪奖励的强化学习实现共情代理

Peisong Wang, Ruotian Ma, Bang Zhang, Xingyu Chen, Zhiwei He, Kang Luo, Qingsong Lv, Qingxuan Jiang, Zheng Xie, Shanyi Wang, Yuan Li, Fanghua Ye, Jian Li, Yifan Yang, Zhaopeng Tu, Xiaolong Li

机构 * Tencent（腾讯） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 RLVER通过可验证情绪奖励提升LLM的共情能力，实验显示其在对话任务中显著提升表现，尤其在情感理解和洞察力方面成效显著。

Comments Code: https://github.com/Tencent/DigitalHuman/tree/main/RLVER

No Answer Needed: Predicting LLM Answer Accuracy from Question-Only Linear Probes

无需答案：从仅问题的线性探针预测LLM答案准确性

Iván Vicente Moreno Cencerrado, Arnau Padrés Masdemont, Anton Gonzalvez Hawthorne, David Demitri Africa, Lorenzo Pacchiardi

机构 * Universidad Internacional de Valencia（瓦伦西亚国际大学） ； University of Cambridge（剑桥大学） ； Independent Researcher（独立研究者） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 研究通过线性探针预测LLM答案准确性，发现模型在中间层预测能力饱和，但对数学推理问题泛化能力下降，揭示了LLM内部机制。

Comments Accepted (poster) to Principled Design for Trustworthy AI at ICLR 2026

Beyond Binary Preferences: A Principled Framework for Reward Modeling with Ordinal Feedback

超越二元偏好：基于顺序反馈的奖励建模原理框架

Amirhossein Afsharrad, Ruida Zhou, Luca Viano, Sanjay Lall, Mohammad Ghavamzadeh

机构 * Stanford University（斯坦福大学） ； Amazon AGI（亚马逊人工智能研究） ； EPFL（瑞士联邦理工学院） ； Qualcomm AI Research（高通人工智能研究） ； Aktus AI 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出基于顺序反馈的奖励建模原理框架，通过离散顺序回归方法，学习阈值参数以捕捉偏好顺序结构，实现更有效的细粒度人类反馈利用。

The Choice of Divergence: A Neglected Key to Mitigating Diversity Collapse in Reinforcement Learning with Verifiable Reward

分歧选择：一种缓解强化学习中多样性崩溃的关键因素

Long Li, Zhijian Zhou, Jiaran Hao, Jason Klein Liu, Yanting Miao, Wei Pang, Xiaoyu Tan, Wei Chu, Zhe Wang, Shirui Pan, Chao Qu, Yuan Qi

机构 * Fudan University（复旦大学） ； INFLY TECH（INFLY科技） ； Griffith University（格里菲斯大学） ； University of Waterloo（滑铁卢大学） ； Shanghai Innovation Institute（上海创新研究院） ； Shanghai Academy of Artificial Intelligence for Science（上海人工智能科学研究院） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出DPH-RL框架，通过利用f散度作为复习机制，解决强化学习中多样性崩溃问题，提升模型在不同领域的表现。

Comments 27 pages, 6 figures

Stable Asynchrony: Variance-Controlled Off-Policy RL for LLMs

稳定异步性：用于大语言模型的方差控制的非策略强化学习

Luke J. Huang, Zhuoyang Zhang, Qinghao Hu, Shang Yang, Song Han

机构 * MIT（麻省理工学院） ； NVIDIA（英伟达） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 VCPO通过动态调整学习率和最小方差基线，提升大语言模型异步训练的稳定性与效率。

LFPO: Likelihood-Free Policy Optimization for Masked Diffusion Models

LFPO：基于掩码扩散模型的似然自由策略优化

Chenxing Wei, Jiazhen Kang, Hong Wang, Jianqing Zhang, Hao Jiang, Xiaolong Xu, Ningyuan Sun, Ying He, F. Richard Yu, Yao Shu, Bo Jiang

机构 * Shenzhen University（深圳大学） ； Hong Kong University of Science（香港科学大学） ； Guangdong Laboratory of Artificial Intelligence（广东省人工智能与数字经济实验室） ； University of Science（科学技术大学） ； Shanghai Jiao Tong University（上海交通大学） ； Carleton University（卡尔顿大学） ； Southeast University（东南大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 LFPO通过似然自由策略优化提升掩码扩散模型的生成质量与推理效率。

Provable and Practical In-Context Policy Optimization for Self-Improvement

可证明且实用的上下文内策略优化用于自我改进

Tianrun Yu, Yuxiao Yang, Zhaoyang Wang, Kaixiang Zhao, Porter Jenkins, Xuchao Zhang, Chetan Bansal, Huaxiu Yao, Weitong Zhang

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出ICPO方法，通过上下文内自我反思和最小熵优化，在保持低推理成本的同时实现数学推理任务的高性能

Comments 34 pages, 8 tables, 4 figures, Accepted by ICLR 2026

CARD: Towards Conditional Design of Multi-agent Topological Structures

CARD: 向多智能体拓扑结构的条件设计迈进

Tongtong Wu, Yanming Li, Ziye Tang, Chen Jiang, Linhao Luo, Guilin Qi, Shirui Pan, Gholamreza Haffari

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.LG

AI总结 CARD通过条件图生成框架实现多智能体通信拓扑的动态适应，提升系统在不同环境下的有效性和鲁棒性。

Comments Accepted to ICLR 2026

Reliable Fine-Grained Evaluation of Natural Language Math Proofs

自然语言数学证明的可靠细粒度评估

Wenjie Ma, Andrei Cojocaru, Neel Kolhe, Bradley Louie, Robin Said Sharif, Haihan Zhang, Vincent Zhuang, Matei Zaharia, Sewon Min

机构 * UC Berkeley（加州大学伯克利分校） ； Google DeepMind（谷歌DeepMind） ； Peking University（北京大学） ； Allen Institute for AI（人工智能研究院） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI

AI总结 本研究提出ProofGrader，通过结合强推理模型、丰富上下文和简单集成方法，实现对LLM生成数学证明的细粒度评估，有效提升证明生成任务的可靠性。

Comments 40 pages, 7 figures, 15 tables

Cache What Lasts: Token Retention for Memory-Bounded KV Cache in LLMs

缓存什么更持久：用于LLMs中内存受限KV缓存的令牌保留

Ngoc Bui, Shubham Sharma, Simran Lamba, Saumitra Mishra, Rex Ying

机构 * Department of Computer Science, Yale University（耶鲁大学计算机科学系） ； JPMorganChase AI Research（摩根大通人工智能研究） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 TRIM-KV通过学习令牌的内在重要性实现内存受限的KV缓存优化，有效提升LLM在低内存环境下的推理性能。