大模型推理能力

Reasoning or Memorization? Unreliable Results of Reinforcement Learning Due to Data Contamination

推理还是记忆？由于数据污染导致强化学习不可靠的结果

Mingqi Wu, Zhihao Zhang, Qiaole Dong, Zhiheng Xi, Jun Zhao, Senjie Jin, Xiaoran Fan, Yuhao Zhou, Huijie Lv, Ming Zhang, Yanwei Fu, Qin Liu, Songyang Zhang, Qi Zhang

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文发现Qwen2.5系列模型易受数据污染影响，通过生成清洁算术问题验证了准确奖励信号对数学推理性能的提升作用

Comments 28 pages, AAAI 2026

Can LLMs Guide Their Own Exploration? Gradient-Guided Reinforcement Learning for LLM Reasoning

大语言模型能否引导自身探索？基于梯度引导的强化学习用于大语言模型推理

Zhenwen Liang, Sidi Lu, Wenhao Yu, Kishan Panaganti, Yujun Zhou, Haitao Mi, Dong Yu

机构 * Tencent AI Lab（腾讯AI实验室） ； University of Notre Dame（诺丁汉大学） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.AI、cs.LG

AI总结 G2RL通过利用模型自身的梯度几何特性，改进大语言模型的推理能力，优于传统探索方法。

Nemotron-Math: Efficient Long-Context Distillation of Mathematical Reasoning from Multi-Mode Supervision

Nemotron-Math：基于多模式监督的高效长上下文数学推理蒸馏

Wei Du, Shubham Toshniwal, Branislav Kisacanin, Sadegh Mahdavi, Ivan Moshkov, George Armstrong, Stephen Ge, Edgar Minasyan, Feng Chen, Igor Gitman

专题命中 数学推理 ：reasoning(title,abstract)；分类 cs.AI

AI总结 Nemotron-Math通过多模式监督和长上下文训练，实现了高效数学推理蒸馏，显著提升数学竞赛任务的性能。

How Reinforcement Learning After Next-Token Prediction Facilitates Learning

如何在生成下一个标记后使用强化学习促进学习

Nikolaos Tsilivis, Eran Malach, Karen Ullrich, Julia Kempe

机构 * New York University（纽约大学） ； Harvard University（哈佛大学） ； FAIR, Meta 纠错

专题命中 数学推理 ：reasoning(abstract)；chain-of-thought(abstract)；分类 cs.LG

AI总结 通过在生成下一个标记后使用强化学习，研究了如何在推理任务中提升模型的学习能力，证明其在预测比特奇偶性等任务中的有效性。

Hidden in the Haystack: Smaller Needles are More Difficult for LLMs to Find

haystack中隐藏的针：更小的针对LLM来说更难找到

Owen Bianchi, Mathew J. Koretsky, Maya Willey, Chelsea X. Alvarado, Tanay Nayak, Adi Asija, Nicole Kuznetsov, Mike A. Nalls, Faraz Faghri, Daniel Khashabi

机构 * Center for Alzheimer’s Disease and Related Dementias, NIA, NIH（阿尔茨海默病及相关痴呆症研究中心，国家老龄化研究所，国家卫生研究院） ； DataTecnica LLC（DataTecnica公司） ； Johns Hopkins University（约翰霍普金斯大学） ； Laboratory of Neurogenetics, NIA, NIH（神经遗传学实验室，国家老龄化研究所，国家卫生研究院） 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文研究了黄金上下文大小对LLM长上下文问答性能的影响，发现较短的黄金上下文会显著降低模型性能，揭示了上下文长度对模型表现的关键作用。

Comments Under Review

Cross-Tokenizer Likelihood Scoring Algorithms for Language Model Distillation

跨分词器似然评分算法用于语言模型蒸馏

Buu Phan, Ashish Khisti, Karen Ullrich

机构 * University of Toronto（多伦多大学） ； Meta AI 纠错

专题命中 数学推理 ：reasoning(abstract)；分类 cs.CL、cs.LG

AI总结 本研究提出跨分词器似然评分算法，通过BPE递归结构解决词汇不匹配问题，提升蒸馏效率和性能。

VERAFI: Verified Agentic Financial Intelligence through Neurosymbolic Policy Generation

VERAFI：通过神经符号策略生成实现验证的代理金融智能

Adewale Akinfaderin, Shreyas Subramanian

专题命中 数学推理 ：reasoning(abstract)；分类 cs.AI

AI总结 VERAFI通过神经符号策略生成实现验证的代理金融智能，显著提升金融领域事实正确性与合规性。