大模型推理能力

SHAPE of Chain-of-Thought in Math Reasoning

数学推理中思维链的SHAPE

Jonghyun Song, Sangjun Song, Minjae Oh, Haesung Pyun, Sungsik Lee, Yohan Jo

专题命中 数学推理 ：CoT(summary_cn,abstract)；reasoning(title,abstract)；chain-of-thought(title,abstract)；math reasoning(title,abstract)

AI总结 本研究提出用于分析LLM思维链轨迹的\texttt{SHAPE}框架，发现数学启发式比传统CoT特征更能解释答案正确性，基于此的后训练可提升LLM数学推理准确率。

Comments accepted to The 3rd AI for Math Workshop at ICML 2026

When Chain-of-Thought Helps and When It Hurts: An Empirical Investigation of the Serial-Depth Bottleneck in LLM Reasoning

思维链（CoT）何时有助、何时有害：大语言模型推理中序列深度瓶颈的实证研究

Tughanbulut Kurtulush

机构 * Vistula University（维斯图拉大学） 纠错

专题命中 数学推理 ：CoT(title_cn,summary_cn)；reasoning(title,abstract)；chain-of-thought(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 该研究通过实证发现，思维链（CoT）是带宽旁路而非通用推理增强器，在高深度推理任务中可提升大语言模型准确率，在浅层任务中冗余，其效果与任务序列深度、模型规模相关。

Comments 15 pages, 3 figures, 5 tables. Pre-registered study (OSF: https://osf.io/92jdk). Data and code: https://osf.io/hteuj

From Implicit to Explicit: Token-Efficient Logical Supervision for Mathematical Reasoning in LLMs

从隐式到显式：面向大语言模型数学推理的高效令牌逻辑监督

Shaojie Wang, Liang Zhang

机构 * Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；CoT(summary_cn,abstract)；logical reasoning(abstract,abstract_cn)；chain-of-thought(abstract)

AI总结 本文提出FSLR框架，通过显式监督提升大语言模型对逻辑关系的理解能力，实验显示其在推理准确率和训练效率上均优于CoT-SFT。

Thinking Without Words: Efficient Latent Reasoning with Abstract Chain-of-Thought

无需言语的思考：通过抽象链式推理实现高效潜在推理

Keshav Ramji, Tahira Naseem, Ramón Fernandez Astudillo

机构 * IBM Research AI（IBM人工智能研究院） 纠错

专题命中 数学推理 ：chain-of-thought(title,summary_cn)；reasoning(title,abstract)；CoT(abstract,abstract_cn)；分类 cs.CL

AI总结 本文提出Abstract Chain-of-Thought，通过离散潜在推理机制在训练后实现高效推理，减少推理token数量同时保持性能，发现抽象词汇的幂律分布。

MathShikkha: A Controlled Study of Answer-Only and Chain-of-Thought Supervision for Bangla Mathematical Reasoning in Small Language Models

MathShikkha：针对小型语言模型孟加拉语数学推理的仅答案与思维链监督对照研究

Rahma Simin Ali, Jawad Hossain

机构 * University at Albany（奥尔巴尼大学） 纠错

专题命中 数学推理 ：CoT(summary_cn,abstract)；reasoning(title,abstract)；chain-of-thought(title,abstract)；分类 cs.CL、cs.AI

AI总结 本研究构建含GPT-5.4推理依据的孟加拉语数学数据集MathShikkha，微调4个4B-7B模型，发现CoT监督对域内强骨干无增益但提升弱模型，域外及BanglaMATH基准上均优于仅答案，核心益处为语言贴合度、可审核推理及域外鲁棒性。

Look Light, Think Heavy: What Multimodal Chain-of-Thought Reasoning Can and Cannot Do

轻看，重思：多模态思维链推理能做什么和不能做什么

Zhuoran Jin, Kejian Zhu, Hongbang Yuan, Yupu Hao, Pengfei Cao, Yubo Chen, Kang Liu, Jun Zhao

机构 * The Laboratory of Cognition and Decision Intelligence for Complex Systems, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所复杂系统认知与决策智能实验室） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） 纠错

专题命中 数学推理 ：CoT(summary_cn,abstract)；reasoning(title,abstract)；chain-of-thought(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文系统探究多模态思维链推理在12个感知与推理任务上的表现，发现CoT对感知任务有副作用，但对数学、科学等多图像推理有效，且现有开源多模态推理模型提升有限，视觉推理仍是瓶颈。

Comments ACL 2026

Not All Tokens Deserve Equal Credit: Counterfactual Sensitivity Credit Reallocation for Long-CoT Reasoning

并非所有 token 都应获得同等权重：面向长思维链（Long-CoT）推理的反事实敏感性权重重分配

Qiangqiang He, Zhongheng Wu, ZiJian Wang

机构 * State Key Laboratory for Novel Software Technology, Nanjing University（南京大学现代软件技术国家重点实验室） ； Institute of Wireless Communications Technology, Shanghai Jiao Tong University（上海交通大学无线通信技术研究所） 纠错

专题命中 数学推理 ：CoT(title,title_cn)；reasoning(title,abstract)；verifier(abstract)；分类 cs.AI

AI总结 针对长思维链推理中均匀分配 token 权重的缺陷，提出反事实敏感性权重重分配方法，在数学推理基准上优于 GRPO，验证了特权诱导方向不可靠的诊断。

Comments 20 pages, 6 figures, 11 tables

Towards Efficient Large Language Reasoning Models via Extreme-Ratio Chain-of-Thought Compression

通过极端比例思维链压缩实现高效大型语言推理模型

Yuntian Tang, Bohan Jia, Wenxuan Huang, Lianyue Zhang, Jiao Xie, Wenxi Li, Wei Li, Jie Hu, Xinghao Chen Rongrong Ji, Shaohui Lin

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 数学推理 ：CoT(summary_cn,abstract)；reasoning(title,abstract)；chain-of-thought(title,abstract)；分类 cs.LG

AI总结 提出Extra-CoT框架，通过极端比例压缩思维链、混合比例监督微调和约束层次化比率策略优化，在显著减少推理令牌的同时保持甚至提升推理准确率。

Comments Accepted to ICML 2026. 15 pages, 7 figures

DenseSteer: Steering Small Language Models towards Dense Math Reasoning

DenseSteer: 引导小型语言模型进行密集数学推理

Yang Ouyang, Shuhang Lin, Jung-Eun Kim

机构 * North Carolina State University（北卡罗来纳州立大学） ； Rutgers University（罗格斯大学） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；math reasoning(title,abstract)；CoT(abstract,abstract_cn)；chain-of-thought(abstract)

AI总结 提出DenseSteer，一种无需训练的推理时引导框架，通过调节内部表征向密集推理模式靠拢，提升小型模型在多步数学推理中的准确性。

Comments ICML 2026

Does Out-of-Sight Equal Out-of-Mind in CoT Monitorability?

思维链可监控性中“看不见即想不到”吗？

Pedro Ferreira, Wilker Aziz, Ivan Titov

机构 * University of Amsterdam（阿姆斯特丹大学） ； University of Edinburgh（爱丁堡大学） 纠错

专题命中 数学推理 ：CoT(title,summary_cn)；chain-of-thought(abstract,abstract_cn)；reasoning(abstract)；math reasoning(abstract)

AI总结 本研究对比显式与潜在CoT的可监控性，发现其更多取决于任务属性和模型内部访问程度，而非推理模式。

Comments 23 pages

Soft Guidance Starts to Outperform CoT Prompting as LLMs Improve

随着大型语言模型（LLM）性能提升，软引导开始优于思维链（CoT）提示

Denys Pushkin, Albert Q. Jiang, Aryo Lotfi, Colin Sandon, Emmanuel Abbé

专题命中 数学推理 ：CoT(title,title_cn)；reasoning(abstract)；chain-of-thought(abstract)；分类 cs.AI

AI总结 该研究发现，随着LLM性能提升，标准CoT提示的干扰作用凸显，推理专用模型在零样本设置下的数学推理性能优于少样本CoT提示。

Comments 10 pages, 3 tables

S3-CoT: Self-Sampled Succinct Reasoning Enables Efficient Chain-of-Thought LLMs

S3-CoT：自采样简洁推理实现高效链式推理LLM

Yanrui Du, Sendong Zhao, Yibo Gao, Danyang Zhao, Qika Lin, Ming Ma, Jiayun Li, Yi Jiang, Kai He, Qianyi Xu, Bing Qin, Mengling Feng

机构 * Harbin Institute of Technology（哈尔滨工业大学） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；chain-of-thought(title,abstract)；CoT(title,abstract)；分类 cs.CL

AI总结 S3-CoT通过自采样简洁推理实现高效链式推理LLM，解决冗余推理问题，提升模型性能与泛化能力。

MINT-CoT: Enabling Interleaved Visual Tokens in Mathematical Chain-of-Thought Reasoning

Xinyan Chen, Renrui Zhang, Dongzhi Jiang, Aojun Zhou, Shilin Yan, Weifeng Lin, Hongsheng Li

机构 * CUHK MMLab（香港大学MMLab） 纠错

专题命中 数学推理 ：CoT(title,abstract)；reasoning(title,abstract)；chain-of-thought(title,abstract)

Comments Code is released at https://github.com/xinyan-cxy/MINT-CoT

Faithfulness as Information Flow: Evaluating and Training Faithful Chain-of-Thought Reasoning

忠实性作为信息流：评估与训练忠实的链式思维推理

Jinghan Jia, Joe Benton, Eric Easley

机构 * Dept. CSE, Michigan State University（密歇根州立大学计算机科学系） ； Anthropic 纠错

专题命中 数学推理 ：reasoning(title,abstract)；chain-of-thought(title,abstract)；CoT(abstract,abstract_cn)；verifier(abstract)

AI总结 通过信息流视角提出基于充分性、完整性和必要性的框架，结合熵、掩码KL和梯度诊断评估链式思维忠实性，并引入更新时干预（如注意力掩码、反向梯度掩码等）训练更忠实的推理模型。

TERMINATOR: Learning Optimal Exit Points for Early Stopping in Chain-of-Thought Reasoning

TERMINATOR: 在链式推理中学习最优退出点以实现早期停止

Alliot Nagle, Jakhongir Saydaliev, Dhia Garbaya, Michael Gastpar, Ashok Vardhan Makkuva, Hyeji Kim

机构 * UT Austin（得克萨斯大学） ； EPFL（苏黎世联邦理工学院） ； ENS Paris-Saclay（巴黎-萨克雷大学） ； Télécom Paris (IP Paris)（巴黎理工学院） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；chain-of-thought(title,abstract)；CoT(abstract,abstract_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出TERMINATOR方法，通过预测模型最终答案的首次出现位置，学习最优推理长度，从而减少链式推理的计算量，提升推理效率。

Comments Updated and reorganized results. Added new results

Clustering as Reasoning: A $k$-Means Interpretation of Chain-of-Thought Graph Learning

聚类即推理：思维链图学习的 $k$-均值解释

Xuanting Xie, Zhaochen Guo, Bingheng Li, Xingtong Yu, Zhifei Liao, Zhao Kang, Yuan Fang

机构 * University of Electronic Science and Technology of China（电子科技大学） ； Singapore Management University（新加坡国立大学） ； Michigan State University（密歇根州立大学） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；chain-of-thought(title,abstract)；CoT(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 提出KCoT框架，通过将Transformer块与$k$-均值算法建立数学对应，将思维链推理与图表示学习统一，实现迭代语义-拓扑交互，在标准基准上超越现有方法。

Comments Accepted by ICML 2026

SalaMAnder: Shapley-based Mathematical Expression Attribution and Metric for Chain-of-Thought Reasoning

Yue Xin, Chen Shen, Shaotian Yan, Xiaosong Yuan, Yaoming Wang, Xiaofeng Zhang, Chenxi Huang, Jieping Ye

机构 * Shanghai Jiao Tong University（上海交通大学） ； Alibaba Cloud Computing（阿里云计算） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；chain-of-thought(title,abstract)；CoT(abstract)；math reasoning(abstract)

Comments accpeted by EMNLP 2025

Chain of Preference Optimization: Improving Chain-of-Thought Reasoning in LLMs

Xuan Zhang, Chao Du, Tianyu Pang, Qian Liu, Wei Gao, Min Lin

机构 * Sea AI Lab（Sea AI实验室） ； School of Computing and Information Systems, Singapore Management University（新加坡管理大学计算与信息系统学院） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；chain-of-thought(title,abstract)；CoT(abstract)；logical reasoning(abstract)

Comments NeurIPS 2024

SuperThoughts: Reasoning Tokens in Superposition

SuperThoughts: 叠加中的推理令牌

Zheyang Xiong, Shivam Garg, Max Yu, Vaishnavi Shrivastava, Haoyu Zhao, Anastasios Kyrillidis, Dimitris Papailiopoulos

机构 * University of Wisconsin-Madison（威斯康星大学麦迪逊分校） ； Microsoft Research（微软研究院） ； Independent（独立机构） ； Princeton University（普林斯顿大学） ； Rice University（莱斯大学） 纠错

专题命中 数学推理 ：CoT(summary_cn,abstract)；reasoning(title,abstract)；chain-of-thought(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出SuperThoughts方法，通过将连续CoT令牌对压缩为单一潜在表示并利用多令牌预测模块解码，在保持训练监督的同时将推理吞吐量翻倍，实现约20-30%的CoT长度缩减且精度损失极小。

LaDiR: Latent Diffusion Enhances LLMs for Text Reasoning

LaDiR：潜在扩散增强大语言模型进行文本推理

Haoqiang Kang, Yizhe Zhang, Nikki Lijing Kuang, Nicklas Majamaki, Navdeep Jaitly, Yi-An Ma, Lianhui Qin

机构 * University of California, San Diego（加州大学圣迭戈分校） ； Apple（苹果公司） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；CoT(abstract,abstract_cn)；chain-of-thought(abstract)；planning(abstract)

AI总结 LaDiR通过结合连续潜在表示的表达力与潜在扩散模型的迭代精炼能力，提升大语言模型在文本推理中的准确性、多样性和可解释性。

Demystifying Entropy-based Selection for Chain-of-Thought Compression in Large Reasoning Models

揭秘大型推理模型中基于熵的思维链压缩选择方法

Sara Candussio, Daniel Scalena, Luca Bortolussi, Elisabetta Fersini, Malvina Nissim, Gabriele Sarti

机构 * University of Trieste（的里雅斯特大学） ； University of Milano-Bicocca（米兰-比科卡大学） ； University of Groningen（格罗宁根大学） ； Khoury College of Computer Sciences, Northeastern University（东北大学科里计算机学院） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；chain-of-thought(title,abstract)；CoT(abstract,abstract_cn)；分类 cs.CL

AI总结 该研究测试了大型推理模型中基于熵的思维链压缩方法的鲁棒性，发现其效果不优于随机剪枝，且任务信息分布在整个推理链上而非小部分令牌中。

Memory Augmentation Unlocks Efficient Chain-of-Thought Reasoning

记忆增强解锁高效思维链推理

Simeng Zhang, Yilong Chen, Wenyuan Zhang, Zhenyu Zhang, Yao Chen, Junyuan Shang, Tingwen Liu

机构 * Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所） ； School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院） ； Baidu Inc.（百度公司） ； Tencent Inc.（腾讯公司） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；chain-of-thought(title,abstract)；CoT(abstract,abstract_cn)；分类 cs.CL

AI总结 该研究提出无需训练的记忆增强压缩框架，构建可复用推理记忆提升思维草稿压缩效果，在多任务上获显著准确率提升并加速推理，兼容多种压缩机制。

SAEM: Stage-Aware Expert Management for Memory-Efficient MoE Inference in Chain-of-Thought Reasoning

SAEM：面向思维链推理的内存高效混合专家模型推理的阶段感知型专家管理

Yujie Zhang, Bin Gao, Tulika Mitra

机构 * School of Computing, National University of Singapore（新加坡国立大学计算机学院） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；chain-of-thought(title,abstract)；CoT(abstract,abstract_cn)；分类 cs.AI

AI总结 针对思维链推理中MoE模型的内存与延迟问题，提出SAEM阶段感知型专家管理运行时，通过阶段感知缓存等技术提升吞吐量，在受限GPU内存下平均实现1.33倍的性能提升。

Comments Extended version of the paper accepted at DAC 2026. Extends the conference version with evaluations on AIME 2024 and GPQA-Diamond and a prediction-oracle upper-bound analysis

Mechanistic Evidence for Faithfulness Decay in Chain-of-Thought Reasoning

链式思维推理中忠实度衰减的机制证据

Donald Ye, Max Loffgren, Om Kotadia, Linus Wong, Jonas Rohweder

机构 * Fordham University（福特汉姆大学） ； Algoverse AI Research（Algoverse AI研究） ； Rice University（稻子大学） ； UC San Diego（圣地亚哥大学） ； Santa Clara University（圣克拉拉大学） ； LMU Munich（慕尼黑路德维希-马克西米利安大学） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；chain-of-thought(title,abstract)；CoT(abstract,abstract_cn)；分类 cs.CL

AI总结 提出归一化对数几率差衰减（NLDD）指标，通过破坏推理步骤并测量模型置信度下降，发现链式思维中超过70-85%长度的令牌对最终答案贡献微弱或负面，揭示了忠实度衰减现象。

Comments 16 pages, 16 figures. Accepted to ICLR LIT workshop. Code: https://github.com/donald-ye/NLDD

FinanceMath: Knowledge-Intensive Math Reasoning in Finance Domains

Yilun Zhao, Hongjun Liu, Yitao Long, Rui Zhang, Chen Zhao, Arman Cohan

机构 * Yale University（耶鲁大学） ； New York University（纽约大学） ； NYU Shanghai（上海纽约大学） ； Penn State University（宾夕法尼亚州立大学） ； Allen Institute for AI（艾伦人工智能研究所） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；math reasoning(title,abstract)；chain-of-thought(abstract)；CoT(abstract)

Comments ACL 2024 Oral

Faithful Chain-of-Thought Reasoning

Qing Lyu, Shreya Havaldar, Adam Stein, Li Zhang, Delip Rao, Eric Wong, Marianna Apidianaki, Chris Callison-Burch

机构 * University of Pennsylvania（宾夕法尼亚大学） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；chain-of-thought(title,abstract)；CoT(abstract)；planning(abstract)

Comments IJCNLP-AACL 2023 camera-ready version

Evaluating and Improving Tool-Augmented Computation-Intensive Math Reasoning

Beichen Zhang, Kun Zhou, Xilin Wei, Wayne Xin Zhao, Jing Sha, Shijin Wang, Ji-Rong Wen

机构 * Sichuan University（四川大学） ； iFLYTEK Research（讯飞研究院） ； Renmin University of China（中国人民大学） ； iFLYTEK AI Research (Central China)（讯飞人工智能研究院（华中）） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；math reasoning(title,abstract)；chain-of-thought(abstract)；CoT(abstract)

Comments 17 pages, working in progress

Plan-and-Solve Prompting: Improving Zero-Shot Chain-of-Thought Reasoning by Large Language Models

Lei Wang, Wanyu Xu, Yihuai Lan, Zhiqiang Hu, Yunshi Lan, Roy Ka-Wei Lee, Ee-Peng Lim

机构 * Singapore Management University（新加坡管理大学） ； Southwest Jiaotong University（西南交通大学） ； Singapore University of Technology and Design（新加坡科技设计大学） ； East China Normal University（华东师范大学） 纠错

专题命中 数学推理 ：reasoning(title,abstract)；chain-of-thought(title,abstract)；CoT(abstract)；math reasoning(abstract)

Comments ACL 2023

Bridging the Gap Between Latent and Explicit Reasoning with Looped Transformers

弥合潜在推理与显式推理之间的差距：循环Transformer

Ying Fan, Anej Svete, Kangwook Lee

机构 * UW-Madison（威斯康星大学麦迪逊分校） ； Microsoft Research（微软研究院） ； ETH Zürich（苏黎世联邦理工学院） ； KRAFTON（魁匠团） ； Ludo Robotics 纠错

专题命中 数学推理 ：CoT(summary_cn,abstract)；reasoning(title,abstract)；chain-of-thought(abstract)；分类 cs.CL、cs.LG

AI总结 提出LOTUS方法，利用循环Transformer在潜在空间进行多步推理，通过并行监督潜在块上的CoT令牌，首次在3B规模弥合与显式CoT的差距，并将推理延迟降低2.5-6.9倍。

Many-Shot CoT-ICL: Making In-Context Learning Truly Learn

Many-Shot CoT-ICL: 使上下文学习真正学习

Tsz Ting Chung, Lemao Liu, Mo Yu, Dit-Yan Yeung

机构 * The University of Hong Kong（香港大学） 纠错

专题命中 数学推理 ：CoT(title,title_cn)；reasoning(abstract)；chain-of-thought(abstract)；分类 cs.CL、cs.AI

AI总结 研究多示例思维链上下文学习在推理任务中的特性，提出曲线演示选择方法，在数学任务上提升5.42个百分点。

Comments Accepted by ICML 2026