大模型推理能力

Avoiding Overthinking and Underthinking: Curriculum-Aware Budget Scheduling for LLMs

避免过度思考与不足思考：面向大语言模型的课程感知预算调度

Amirul Rahman, Aisha Karim, Kenji Nakamura, Yi-Fan Ng

机构 * University of Malaya（马来大学） 纠错

专题命中 数学推理 ：reasoning(abstract,abstract_cn)；test-time compute(abstract)；分类 cs.CL

AI总结 本文提出BCAE框架，通过预算感知课程调度和截断感知密集奖励机制，优化LLM的推理质量和token效率，实验表明在多种数学推理基准上表现优异。

Adaptive Loops and Memory in Transformers: Think Harder or Know More?

变换器中的自适应循环与记忆：更努力思考还是更了解更多？

Markus Frey, Behzad Shomali, Ali Hamza Bashir, David Berghaus, Joachim Koehler, Mehdi Ali

机构 * Lamarr Institute（拉马尔研究所） ； Fraunhofer IAIS（弗劳恩霍夫 IAIS 研究所） ； University of Bonn（波恩大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；chain-of-thought(abstract)；CoT(abstract)；分类 cs.CL

AI总结 本研究提出结合自适应循环和门控记忆的变换器模型，提升数学推理和常识任务性能。

Comments Published at Latent & Implicit Thinking Workshop @ ICLR 2026

Chain-of-Conceptual-Thought Elicits Daily Conversation in Large Language Models

Qingqing Gu, Dan Wang, Yue Zhao, Xiaoyu Wang, Zhonglin Jiang, Yong Chen, Hongyan Li, Luo Ji

机构 * Geely AI Lab（Geely人工智能实验室） ； Beijing Institute of Technology（北京理工大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；chain-of-thought(abstract)；CoT(abstract)；分类 cs.CL

Comments PRICAI 2025

Reinforcing the Diffusion Chain of Lateral Thought with Diffusion Language Models

Zemin Huang, Zhiyang Chen, Zijun Wang, Tiancheng Li, Guo-Jun Qi

机构 * Zhejiang Univeristy（浙江大学） ； MAPLE Lab, Westlake University（西湖大学MAPLE实验室） ； Matterwave Intelligence ； Institute of Advanced Technology, Westlake Institute for Advanced Study（西湖研究所以高级技术研究所） 纠错

专题命中 数学推理 ：reasoning(abstract)；chain-of-thought(abstract)；CoT(abstract)；分类 cs.CL

Comments Accepted to NeurIPS 2025. Code link: https://github.com/maple-research-lab/LLaDOU

Spend Wisely: Maximizing Post-Training Gains in Iterative Synthetic Data Bootstrapping

Pu Yang, Yunzhen Feng, Ziyuan Chen, Yuhang Wu, Zhuoyuan Li

机构 * Peking University（北京大学） ； New York University（纽约大学） ； UC Berkeley（加州大学伯克利分校） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；math reasoning(abstract)；verifier(abstract)；分类 cs.LG

Comments NeurIPS 2025 (spotlight)

Confidence as a Reward: Transforming LLMs into Reward Models

He Du, Bowen Li, Chengxing Xie, Chang Gao, Kai Chen, Dacheng Tao

机构 * Fudan University（复旦大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； Xidian University（西安电子科技大学） ； The Chinese University of Hong Kong（香港中文大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；chain-of-thought(abstract)；CoT(abstract)；分类 cs.AI

Token-Level Policy Optimization: Linking Group-Level Rewards to Token-Level Aggregation via Markov Likelihood

Xingyu Lin, Yilin Wen, En Wang, Du Su, Wenbin Liu, Chenfu Bao, Zhonghou Lv

机构 * Baidu Inc（百度公司） ； College of Computer Science and Technology, Jilin University（吉林大学计算机科学与技术学院） ； Key Laboratory of Symbolic Computation and Knowledge Engineering of MOE, Jilin University（吉林大学教育部符号计算与知识工程重点实验室） ； State Key Laboratory of AI Safety, Institute of Computing Technology, Chinese Academy of Sciences（中国科学院人工智能安全国家重点实验室） 纠错

专题命中 数学推理 ：reasoning(abstract)；chain-of-thought(abstract)；CoT(abstract)；分类 cs.CL

AsyncSpade: Efficient Test-Time Scaling with Asynchronous Sparse Decoding

Shuqing Luo, Yilin Guan, Pingzhi Li, Hanrui Wang, Tianlong Chen

机构 * University of North Carolina, Chapel Hill（北卡罗来纳大学 Chapel Hill 分校） ； Johns Hopkins University（约翰霍普金斯大学） ； University of California, Los Angeles（加州大学洛杉矶分校） 纠错

专题命中 数学推理 ：reasoning(abstract)；chain-of-thought(abstract)；CoT(abstract)；分类 cs.CL

Comments 14 pages, 17 figures

Expanding Computation Spaces of LLMs at Inference Time

Yoonna Jang, Kisu Yang, Isabelle Augenstein

专题命中 数学推理 ：reasoning(abstract)；chain-of-thought(abstract)；CoT(abstract)；分类 cs.CL

ContextPRM: Leveraging Contextual Coherence for multi-domain Test-Time Scaling

Haotian Zhang, Liu Liu, Baosheng Yu, Jiayan Qiu, Likang Xiao, Yanwei Ren, Quan Chen, Xianglong Liu

机构 * School of Artificial Intelligence, Beihang University（北航人工智能学院） ； Hangzhou International Innovation Institute, Beihang University（北航杭州国际创新研究院） ； Nanyang Technological University（南洋理工大学） ； University of Leicester（莱斯特大学） ； Kuaishou Technology（快手科技） 纠错

专题命中 数学推理 ：reasoning(abstract)；chain-of-thought(abstract)；CoT(abstract)；分类 cs.AI

Vulnerability of LLMs to Vertically Aligned Text Manipulations

Zhecheng Li, Yiwei Wang, Bryan Hooi, Yujun Cai, Zhen Xiong, Nanyun Peng, Kai-wei Chang

机构 * University of California, San Diego（加州大学圣地亚哥分校） ； University of California, Los Angeles（加州大学洛杉矶分校） ； The University of Queensland（昆士兰大学） ； National University of Singapore（新加坡国立大学） ； University of Southern California（南加州大学） ； University of California, Merced（加州大学默塞德分校） 纠错

专题命中 数学推理 ：reasoning(abstract)；chain-of-thought(abstract)；CoT(abstract)；分类 cs.CL

Comments Accepted to ACL 2025 (Main)

Revolutionizing Reinforcement Learning Framework for Diffusion Large Language Models

Yinjie Wang, Ling Yang, Bowen Li, Ye Tian, Ke Shen, Mengdi Wang

专题命中 数学推理 ：reasoning(abstract)；CoT(abstract)；math reasoning(abstract)；分类 cs.CL

Comments Code and Models: https://github.com/Gen-Verse/dLLM-RL

Are Large Language Models Dynamic Treatment Planners? An In Silico Study from a Prior Knowledge Injection Angle

Zhiyao Luo, Tingting Zhu

机构 * Department of Engineering Science University of Oxford（工程科学系牛津大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；chain-of-thought(abstract)；CoT(abstract)；分类 cs.LG

Comments 20 pages

Technical Report of TeleChat2, TeleChat2.5 and T1

Zihan Wang, Xinzhang Liu, Yitong Yao, Chao Wang, Yu Zhao, Zhihao Yang, Wenmin Deng, Kaipeng Jia, Jiaxin Peng, Yuyao Huang, Sishi Xiong, Zhuo Jiang, Kaidong Yu, Xiaohui Hu, Fubei Yao, Ruiyu Fang, Zhuoru Jiang, Ruiting Song, Qiyi Xie, Rui Xue, Xuewei He, Yanlei Xue, Zhu Yuan, Zhaoxi Zhang, Zilu Huang, Shiquan Wang, Xin Wang, Hanming Wu, Mingyuan Wang, Xufeng Zhan, Yuhan Sun, Zhaohu Xing, Yuhao Jiang, Bingkai Yang, Shuangyong Song, Yongxiang Li, Zhongjiang He, Xuelong Li

专题命中 数学推理 ：reasoning(abstract)；chain-of-thought(abstract)；CoT(abstract)；分类 cs.CL

Comments 32 pages, 5 figures

START: Self-taught Reasoner with Tools

Chengpeng Li, Mingfeng Xue, Zhenru Zhang, Jiaxi Yang, Beichen Zhang, Xiang Wang, Bowen Yu, Binyuan Hui, Junyang Lin, Dayiheng Liu

专题命中 数学推理 ：reasoning(abstract)；chain-of-thought(abstract)；CoT(abstract)；分类 cs.CL

Comments 38 pages, 5 figures and 6 tables

Inference Computation Scaling for Feature Augmentation in Recommendation Systems

Weihao Liu, Zhaocheng Du, Haiyuan Zhao, Wenbo Zhang, Xiaoyan Zhao, Gang Wang, Zhenhua Dong, Jun Xu

机构 * Renmin University of China（中国人民大学） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；chain-of-thought(abstract)；CoT(abstract)；分类 cs.CL

Self-Harmonized Chain of Thought

Ziqi Jin, Wei Lu

机构 * Singapore University of Technology and Design（新加坡科技设计大学） 纠错

专题命中 数学推理 ：reasoning(abstract)；chain-of-thought(abstract)；CoT(abstract)；分类 cs.CL

Small Language Models are Equation Reasoners

Bumjun Kim, Kunha Lee, Juyeon Kim, Sangam Lee

专题命中 数学推理 ：reasoning(abstract)；chain-of-thought(abstract)；CoT(abstract)；分类 cs.CL

Comments 6 pages, 2 figures

Boosting Large Language Models with Socratic Method for Conversational Mathematics Teaching

Yuyang Ding, Hanglei Hu, Jie Zhou, Qin Chen, Bo Jiang, Liang He

专题命中 数学推理 ：reasoning(abstract)；chain-of-thought(abstract)；math reasoning(abstract)；分类 cs.CL

Comments Accepted By CIKM 2024

Instructing Large Language Models to Identify and Ignore Irrelevant Conditions

Zhenyu Wu, Chao Shen, Meng Jiang

专题命中 数学推理 ：reasoning(abstract)；chain-of-thought(abstract)；CoT(abstract)；分类 cs.CL

Comments NAACL 2024 - Camera Ready

Get an A in Math: Progressive Rectification Prompting

Zhenyu Wu, Meng Jiang, Chao Shen

专题命中 数学推理 ：reasoning(abstract)；chain-of-thought(abstract)；CoT(abstract)；分类 cs.CL

Comments AAAI 2024 - Camera Ready

The Art of SOCRATIC QUESTIONING: Recursive Thinking with Large Language Models

Jingyuan Qi, Zhiyang Xu, Ying Shen, Minqian Liu, Di Jin, Qifan Wang, Lifu Huang

专题命中 数学推理 ：reasoning(abstract)；chain-of-thought(abstract)；CoT(abstract)；分类 cs.CL

Comments ACL 2023 main

MAmmoTH: Building Math Generalist Models through Hybrid Instruction Tuning

Xiang Yue, Xingwei Qu, Ge Zhang, Yao Fu, Wenhao Huang, Huan Sun, Yu Su, Wenhu Chen

专题命中 数学推理 ：reasoning(abstract)；chain-of-thought(abstract)；CoT(abstract)；分类 cs.CL

Comments Work in progress; Xiang Yue and Wenhu Chen contributed equally to this paper

Slm-mux: Orchestrating small language models for reasoning

Slm-mux: 通过协调小型语言模型进行推理

Chenyu Wang, Zishen Wan, Hao Kang, Emma Chen, Zhiqiang Xie, Tushar Krishna, Vijay Janapa Reddi, Yilun Du

机构 * Harvard University（哈佛大学） ； Georgia Institute of Technology（佐治亚理工学院） ； Stanford University（斯坦福大学） 纠错

专题命中 数学推理 ：reasoning(title)；分类 cs.CL、cs.AI

AI总结 SLM-MUX通过协调多个小型语言模型提升推理准确性，实现比单个模型更高的性能。

Fast and Effective On-policy Distillation from Reasoning Prefixes

基于推理前缀的高效在线策略蒸馏

Dongxu Zhang, Zhichao Yang, Sepehr Janghorbani, Jun Han, Andrew Ressler, Qian Qian, Gregory D. Lyng, Sanjit Singh Batra, Robert E. Tillman

专题命中 数学推理 ：reasoning(title)；分类 cs.AI、cs.LG

AI总结 本文提出基于推理前缀的在线策略蒸馏方法，通过仅对生成输出的前缀应用蒸馏目标并提前终止采样，有效降低训练成本，同时保持与完整OPD相当的性能。

From Fuzzy to Exact: The Halo Architecture for Infinite-Depth Reasoning via Rational Arithmetic

从模糊到精确：通过有理算术的Halo架构实现无限深度推理

Hansheng Ren

机构 * Hansheng Ren（独立研究者） 纠错

专题命中 数学推理 ：reasoning(title)；分类 cs.AI、cs.LG

AI总结 Halo架构通过有理算术实现无限深度推理，结合双环拓扑和精确推断单元，提升模型稳定性和效率，实现从模糊到精确的数学框架转型。

Comments Architecture update: Formalizes the Dual-Ring Topology and the Clean Transformer

Advancing Regular Language Reasoning in Linear Recurrent Neural Networks

Ting-Han Fan, Ta-Chung Chi, Alexander I. Rudnicky

专题命中 数学推理 ：reasoning(title)；分类 cs.CL、cs.LG

Comments Accepted at the 2024 Annual Conference of the North American Chapter of the Association for Computational Linguistics (NAACL 2024). The first two authors contributed equally to this work

Learning-Assisted Automated Reasoning with Flyspeck

Cezary Kaliszyk, Josef Urban

专题命中 数学推理 ：reasoning(title)；分类 cs.AI、cs.LG

Journal ref J. Automated Reasoninig 54(1): 99, 2014

No Universal Signal Predicts Sample-Level LLM Regression under Version Updates

没有通用信号可预测版本更新下的样本级大语言模型退化

Jia Sheng, Yiwei Lu

机构 * University of Ottawa（渥太华大学） ； Vector Institute（向量研究所） 纠错

专题命中 数学推理 ：reasoning(abstract)；math reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文研究如何用推理时信号预测LLM版本更新导致的样本级退化，对比单模型与跨版本信号，发现信号有效性具任务依赖性且无通用最优信号，部分跨版本信号可支持选择性回退，从业者可据此选择信号。

Nested-ReFT: Efficient Reinforcement Learning for Large Language Model Fine-Tuning via Off-Policy Rollouts

Nested-ReFT：通过离策略展开实现大语言模型微调的高效强化学习

Maxime Heuillet, Yufei Cui, Boxing Chen, Audrey Durand, Prasanna Parthasarathi

机构 * Mila - Québec AI Institute, Canada（魁北克人工智能研究所） ； Huawei Noah's Ark Lab (Montreal Research Center), Canada（华为诺亚实验室（蒙特利尔研究中心）） ； Canada CIFAR AI Chair（加拿大CIFAR人工智能主席） 纠错

专题命中 数学推理 ：reasoning(abstract)；math reasoning(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究针对大语言模型在数学推理等领域的高级推理难题，提出Nested-ReFT框架，利用离策略展开及动态层跳过降低训练推理成本，经理论与实证分析验证其有效性，还探索偏差缓解变体以维持性能。