大模型推理能力

GRPO-$λ$: Credit Assignment improves LLM Reasoning

Prasanna Parthasarathi, Mathieu Reymond, Boxing Chen, Yufei Cui, Sarath Chandar

机构 * Noah’s Ark Lab, Huawei Technologies Ltd.（华为技术有限公司诺亚实验室） ； Chandar Research Lab（昌达研究实验室） ； Mila – Quebec AI Institute（魁北克AI研究院） ； Université de Montréal（蒙特利尔大学） ； Polytechnique Montréal Canada（蒙特利尔理工学院加拿大） ； CIFAR AI Chair（CIFAR人工智能主席） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；math reasoning(abstract)；分类 cs.AI、cs.LG

Steering LLM Reasoning Through Bias-Only Adaptation

Viacheslav Sinii, Alexey Gorbatovski, Artem Cherepanov, Boris Shaposhnikov, Nikita Balagansky, Daniil Gavrilov

机构 * T-Tech ； Central University（中央大学） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；chain-of-thought(abstract)；分类 cs.AI、cs.LG

Comments EMNLP 2025

Conditional Advantage Estimation for Reinforcement Learning in Large Reasoning Models

Guanxu Chen, Yafu Li, Yuxian Jiang, Chen Qian, Qihan Ren, Jingyi Yang, Yu Cheng, Dongrui Liu, Jing Shao

机构 * Shanghai Jiao Tong University（上海交通大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Fudan University（复旦大学） ； Renmin University of China（中国人民大学） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；math reasoning(abstract)；分类 cs.CL、cs.AI

Comments 18 pages, 13 figures, 4 tables

Meta-Reasoning Improves Tool Use in Large Language Models

Lisa Alazraki, Marek Rei

机构 * Imperial College London（伦敦帝国学院） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；math reasoning(abstract)；分类 cs.CL、cs.AI

Comments NAACL 2025 Findings

Systematic Optimization of Open Source Large Language Models for Mathematical Reasoning

Pranav Pawar, Dhwaj Jain, Varun Gupta, Kaustav Dedhia, Dashrath Kale, Sudhir Dhekane

机构 * Dwarkadas J. Sanghvi College of Engineering（达沃卡斯J·桑格维工程学院） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；planning(abstract)；分类 cs.AI、cs.LG

GSM-Symbolic: Understanding the Limitations of Mathematical Reasoning in Large Language Models

Iman Mirzadeh, Keivan Alizadeh, Hooman Shahrokhi, Oncel Tuzel, Samy Bengio, Mehrdad Farajtabar

机构 * Apple（苹果公司） ； Washington State University（华盛顿州立大学） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；logical reasoning(abstract)；分类 cs.AI、cs.LG

Comments ICLR camera ready + additional discussion in the appendix

Lexical Hints of Accuracy in LLM Reasoning Chains

Arne Vanhoyweghen, Brecht Verbeken, Andres Algaba, Vincent Ginis

机构 * Data Analytics Lab, Vrije Universiteit Brussel（自由大学布鲁塞尔数据分析实验室） ； School of Engineering and Applied Sciences, Harvard University（哈佛大学工程与应用科学学院） 纠错

专题命中 数学推理 ：reasoning(title)；chain-of-thought(abstract)；CoT(abstract)；分类 cs.CL、cs.LG

Comments 21 pages, 7 figures, 6 tables

Quantization Hurts Reasoning? An Empirical Study on Quantized Reasoning Models

Ruikang Liu, Yuxuan Sun, Manyi Zhang, Haoli Bai, Xianzhi Yu, Tiezheng Yu, Chun Yuan, Lu Hou

机构 * Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院） ； Huawei Noah’s Ark Lab（华为诺亚实验室） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；chain-of-thought(abstract)；分类 cs.CL、cs.AI

Comments COLM 2025

We-Math 2.0: A Versatile MathBook System for Incentivizing Visual Mathematical Reasoning

Runqi Qiao, Qiuna Tan, Peiqing Yang, Yanzi Wang, Xiaowan Wang, Enhui Wan, Sitong Zhou, Guanting Dong, Yuchen Zeng, Yida Xu, Jie Wang, Chong Sun, Chen Li, Honggang Zhang

机构 * BUPT（北京邮电大学） ； WeChat Vision, Tencent Inc.（腾讯公司） ； Tsinghua University（清华大学） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；chain-of-thought(abstract)；分类 cs.AI、cs.LG

Comments Working in progress

LAPO: Internalizing Reasoning Efficiency via Length-Adaptive Policy Optimization

Xingyu Wu, Yuchen Yan, Shangke Lyu, Linjuan Wu, Yiwen Qiu, Yongliang Shen, Weiming Lu, Jian Shao, Jun Xiao, Yueting Zhuang

机构 * Zhejiang University（浙江大学） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；chain-of-thought(abstract)；分类 cs.CL、cs.AI

Comments GitHub:https://github.com/zju-real/lapoProject:https://zju-real.github.io/lapo

Leveraging Large Language Models for Bengali Math Word Problem Solving with Chain of Thought Reasoning

Bidyarthi Paul, Jalisha Jashim Era, Mirazur Rahman Zim, Tahmid Sattar Aothoi, Faisal Muhammad Shah

机构 * Ahsanullah University of Science and Technology（阿沙努拉科技大学） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；CoT(abstract)；分类 cs.CL、cs.LG

Can One Domain Help Others? A Data-Centric Study on Multi-Domain Reasoning via Reinforcement Learning

Yu Li, Zhuoshi Pan, Honglin Lin, Mengyuan Sun, Conghui He, Lijun Wu

机构 * OpenDataLab（开放数据实验室） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；logical reasoning(abstract)；分类 cs.AI、cs.LG

Comments 27 pages, 24 figures

Dualformer: Controllable Fast and Slow Thinking by Learning with Randomized Reasoning Traces

DiJia Su, Sainbayar Sukhbaatar, Michael Rabbat, Yuandong Tian, Qinqing Zheng

机构 * Meta AI 纠错

专题命中 数学推理 ：reasoning(title,abstract)；math reasoning(abstract)；分类 cs.AI、cs.LG

Activation Steering for Chain-of-Thought Compression

Seyedarmin Azizi, Erfan Baghaei Potraghloo, Massoud Pedram

专题命中 数学推理 ：chain-of-thought(title)；reasoning(abstract)；CoT(abstract)；分类 cs.AI、cs.LG

S^3cMath: Spontaneous Step-level Self-correction Makes Large Language Models Better Mathematical Reasoners

Yuchen Yan, Jin Jiang, Yang Liu, Yixin Cao, Xin Xu, Mengdi Zhang, Xunliang Cai, Jian Shao

机构 * Meituan Group（美团集团） 纠错

专题命中 数学推理 ：self-correction(title,abstract)；reasoning(abstract)；分类 cs.CL、cs.AI

Comments AAAI 2025: AAAI/article/view/34749" target="_blank" rel="noopener">https://ojs.aaai.org/index.php/AAAI/article/view/34749

No Free Lunch: Rethinking Internal Feedback for LLM Reasoning

Yanzhi Zhang, Zhaoxi Zhang, Haoxiang Guan, Yilin Cheng, Yitong Duan, Chen Wang, Yue Wang, Shuxin Zheng, Jiyan He

专题命中 数学推理 ：reasoning(title,abstract)；math reasoning(abstract)；分类 cs.AI、cs.LG

MDPO: Multi-Granularity Direct Preference Optimization for Mathematical Reasoning

Yunze Lin

专题命中 数学推理 ：reasoning(title,abstract)；logical reasoning(abstract)；分类 cs.AI、cs.LG

Act Only When It Pays: Efficient Reinforcement Learning for LLM Reasoning via Selective Rollouts

Haizhong Zheng, Yang Zhou, Brian R. Bartoldson, Bhavya Kailkhura, Fan Lai, Jiawei Zhao, Beidi Chen

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Meta AI 纠错

专题命中 数学推理 ：reasoning(title,abstract)；math reasoning(abstract)；分类 cs.AI、cs.LG

CodePMP: Scalable Preference Model Pretraining for Large Language Model Reasoning

Huimu Yu, Xing Wu, Haotian Xu, Debing Zhang, Songlin Hu

机构 * Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所） ； School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络安全学院） ； Xiaohongshu Inc（小红书公司） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；logical reasoning(abstract)；分类 cs.CL、cs.AI

Comments work in progress

Light-R1: Curriculum SFT, DPO and RL for Long COT from Scratch and Beyond

Liang Wen, Yunke Cai, Fenrui Xiao, Xin He, Qi An, Zhenyu Duan, Yimin Du, Junchen Liu, Lifu Tang, Xiaowei Lv, Haosheng Zou, Yongchao Deng, Shousheng Jia, Xiangzheng Zhang

机构 * First Author Affiliation（第一作者机构） 纠错

专题命中 数学推理 ：CoT(title)；reasoning(abstract)；math reasoning(abstract)；分类 cs.CL、cs.LG

Comments v4: ACL'25 industry track camera ready; v3: minor modifications; v2: better writing & format for later submission; all release at https://github.com/Qihoo360/Light-R1

Reinforcing General Reasoning without Verifiers

Xiangxin Zhou, Zichen Liu, Anya Sims, Haonan Wang, Tianyu Pang, Chongxuan Li, Liang Wang, Min Lin, Chao Du

机构 * Sea AI Lab, Singapore（新加坡海智实验室） ； University of Chinese Academy of Sciences（中国科学院大学） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； National University of Singapore（新加坡国立大学） ； University of Oxford（牛津大学） ； Renmin University of China（中国人民大学） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；verifier(abstract)；分类 cs.CL、cs.LG

Subtle Errors in Reasoning: Preference Learning via Error-injected Self-editing

Kaishuai Xu, Tiezheng Yu, Wenjun Hou, Yi Cheng, Chak Tou Leong, Liangyou Li, Xin Jiang, Lifeng Shang, Qun Liu, Wenjie Li

机构 * The Hong Kong Polytechnic University（香港理工大学） ； Huawei Noah’s Ark Lab（华为诺亚实验室） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；logical reasoning(abstract)；分类 cs.CL、cs.AI

Comments accepted as ACL 2025 main

Learning from Committee: Reasoning Distillation from a Mixture of Teachers with Peer-Review

Zhuochun Li, Yuelyu Ji, Rui Meng, Daqing He

机构 * School of Computing and Information, University of Pittsburgh（计算与信息学院，匹兹堡大学） ； Salesforce Research（Salesforce 研究） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；logical reasoning(abstract)；分类 cs.CL、cs.AI

Comments 16 pages, 5 figures

DGRO: Enhancing LLM Reasoning via Exploration-Exploitation Control and Reward Variance Management

Xuerui Su, Liya Guo, Yue Wang, Yi Zhu, Zhiming Ma, Zun Wang, Yuting Liu

机构 * School of Mathematics and Statistics（数学与统计学学院） ； Beijing Jiaotong University（北京交通大学） ； Yau Mathematical Sciences Center（叶中科学中心） ； Tsinghua University（清华大学） ； Department of Mathematical Sciences（数学科学系） ； Beijing, China（中国北京） ； Zhongguancun Academy（中关村学院） ； Yanqi Lake Beijing Institute of Mathematical Sciences and Applications（燕琪湖数学科学与应用研究所） ； Academy of Mathematics and Systems Science（数学与系统科学研究院） ； Chinese Academy of Sciences（中国科学院） ； Microsoft Research AI4Science（微软研究院AI4Science） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；chain-of-thought(abstract)；分类 cs.AI、cs.LG

PSPO*: An Effective Process-supervised Policy Optimization for Reasoning Alignment

Jiawei Li, Xinyue Liang, Junlong Zhang, Yizhe Yang, Chong Feng, Yang Gao

机构 * School of Computer Science and Technology, Beijing Institute of Technology（计算机科学与技术学院，北京理工大学） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；chain-of-thought(abstract)；分类 cs.AI、cs.LG

Comments Our code can be found at https://github.com/DIRECT-BIT/PSPO

Quantization Meets Reasoning: Exploring LLM Low-Bit Quantization Degradation for Mathematical Reasoning

Zhen Li, Yupeng Su, Runming Yang, Congkai Xie, Zheng Wang, Zhongwei Xie, Ngai Wong, Hongxia Yang

机构 * The Hong Kong Polytechnic University（香港理工大学） ； Southern University of Science and Technology（南方科技大学） ； Tsinghua University（清华大学） ； Reallm Labs（Reallm实验室） ； Wuhan University（武汉大学） ； The University of Hong Kong（香港大学） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；planning(abstract)；分类 cs.CL、cs.AI

The Self-Improvement Paradox: Can Language Models Bootstrap Reasoning Capabilities without External Scaffolding?

Yutao Sun, Mingshuai Chen, Tiancheng Zhao, Ruochen Xu, Zilun Zhang, Jianwei Yin

机构 * Zhejiang University（浙江大学） ； Binjiang Institute of Zhejiang University（浙江大学滨江研究院） ； Om AI Research（Om AI研究院） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；math reasoning(abstract)；分类 cs.CL、cs.AI

Bridging the Reasoning Gap: Small LLMs Can Plan with Generalised Strategies

Andrey Borro, Patricia J Riddle, Michael W Barley, Michael J Witbrock

机构 * University of Auckland（奥克兰大学） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；planning(abstract)；分类 cs.CL、cs.AI

Comments 7 page body, 2 page references, 16 page appendix (25 pages total); 2 figures; submitted to IJCAI2025

Step-KTO: Optimizing Mathematical Reasoning through Stepwise Binary Feedback

Yen-Ting Lin, Di Jin, Tengyu Xu, Tianhao Wu, Sainbayar Sukhbaatar, Chen Zhu, Yun He, Yun-Nung Chen, Jason Weston, Yuandong Tian, Arash Rahnama, Sinong Wang, Hao Ma, Han Fang

机构 * Meta GenAI ； National Taiwan University（台湾大学） ； Meta FAIR ； UC Berkeley（加州大学伯克利分校） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；chain-of-thought(abstract)；分类 cs.AI、cs.LG

System-2 Mathematical Reasoning via Enriched Instruction Tuning

Huanqia Cai, Yijun Yang, Zhifeng Li

机构 * Tencent（腾讯） ； University of Technology Sydney（悉尼科技大学） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；CoT(abstract)；分类 cs.CL、cs.AI