Google Research（谷歌研究院）
Chain-of-thought prompting combined with pre-trained large language models has achieved encouraging results on complex reasoning tasks. In this paper, we propose a new decoding strategy, self-consistency, to replace the naive greedy decoding used in chain-of-thought prompting. It first samples a diverse set of reasoning paths instead of only taking the greedy one, and then selects the most consistent answer by marginalizing out the sampled reasoning paths. Self-consistency leverages the intuition that a complex reasoning problem typically admits multiple different ways of thinking leading to i…
2023-03-07 cs.AI cs.CL
Thinking on the Fly: Test-Time Reasoning Enhancement via Latent Thought Policy Optimization
University of Oxford（牛津大学）；University College London（伦敦大学学院）；University of Chinese Academy of Sciences（中国科学院大学）
LTPO通过在测试时优化潜在思维向量，提升LLM在复杂推理任务中的鲁棒性和准确性。
2026-01-26 cs.AI cs.CL
Not All Thoughts are Generated Equal: Efficient LLM Reasoning via Multi-Turn Reinforcement Learning
AI Thrust, The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）人工智能方向）；Didichuxing Co. Ltd（滴滴出行有限公司）；CSE, The Hong Kong University of Science and Technology（香港科学与技术大学计算机科学与工程系）
本文提出Long⊗Short框架，通过多轮强化学习让长思考与短思考LLM协作，区分思考重要性，在保持性能的同时减少超80%令牌长度。
2025-05-25 cs.AI cs.CL
ThoughtSource: A central hub for large language model reasoning data
Medical University of Vienna（维也纳医科大学）；Technical University of Denmark（丹麦技术大学）；Copenhagen University Hospital（哥本哈根大学医院）；The Royal Institute of Technology (KTH)（皇家理工学院（KTH））
本文提出ThoughtSource元数据集与软件库，整合多领域思维链推理数据，以促进对CoT的定性理解、实证评估和训练数据供给，从而改进未来AI系统。
2023-07-27 cs.AI cs.CL
ThoughtProbe: Classifier-Guided LLM Thought Space Exploration via Probing Representations
School of Computer Science（计算机科学学院）；The University of Sydney（悉尼大学）
本文提出 ThoughtProbe 推理时框架，利用 LLM 隐藏特征作为判别信号引导树状响应空间探索，通过分类器评分优先扩展高分节点并聚合分支 CoT 分数，在多个算术推理基准上显著提升性能。
2025-10-31 cs.CL
CoT is Not True Reasoning, It Is Just a Tight Constraint to Imitate: A Theory Perspective
本文从理论角度反驳CoT激发大模型真实推理能力的观点，指出其本质是通过中间步骤约束输出，使模型模仿推理形式。
2025-06-06 cs.AI cs.CL
Forest-of-Thought: Scaling Test-Time Compute for Enhancing LLM Reasoning
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
针对LLM单次推理无法纠错的问题，提出Forest-of-Thought框架，通过集成多推理树、稀疏激活、动态自纠正和共识引导决策，显著提升了模型解决复杂推理任务的精度与效率。
2025-04-01 cs.AI cs.CL
Novelty-based Tree-of-Thought Search for LLM Reasoning and Planning
RWTH Aachen（亚琛工业大学）
本文提出基于新颖性的树状思维搜索方法，通过引入新颖性概念优化语言领域推理与规划任务，减少搜索范围和token成本。
2026-05-07 cs.AI cs.CL
GRACE: Discriminator-Guided Chain-of-Thought Reasoning
University of Michigan（密歇根大学）；LG AI Research（LG人工智能研究）；University of Illinois at Chicago（伊利诺伊大学香槟分校）
GRACE通过引入判别器引导链式推理，有效提升多步推理任务中答案的准确性和中间推理的正确性。
2026-01-03 cs.AI cs.CL
Fine-Tuned Thoughts: Leveraging Chain-of-Thought Reasoning for Industrial Asset Health Monitoring
IBM Research（IBM研究院）
针对工业4.0领域小型语言模型复杂推理能力不足的问题，提出基于思维链蒸馏的工业资产健康知识蒸馏框架，通过MCQA提示蒸馏LLM能力并结合上下文学习验证，微调后的SLM性能大幅提升，缩小了与LLM的差距，相关代码已开源。
2025-10-21 cs.AI cs.CL
Thoughts-as-Planning: Latent World Models for Chain-of-Thoughts Optimization via Reinforcement Planning
University of California, Los Angeles（加州大学洛杉矶分校）；Columbia University（哥伦比亚大学）
提出Thoughts-as-Planning框架，将思维链优化形式化为潜在语义空间中的序贯决策过程，通过潜在世界模型模拟推理链编辑对下游输出的影响，并利用梯度下降或强化学习进行规划，在语言理解和生成任务上优于现有基线。
2026-04-27 cs.AI cs.CL
Analysing Chain of Thought Dynamics: Active Guidance or Unfaithful Post-hoc Rationalisation?
School of Computer Science, University of Sheffield（计算机科学学院，谢菲尔德大学）
本文研究思维链在软推理任务中的动态与忠实性，发现不同模型对 CoT 的依赖方式不同，且 CoT 的影响力与忠实性并不总是一致。
2025-08-27 cs.AI cs.CL
Empowering Multi-step Reasoning across Languages via Tree-of-Thoughts
University of Rome Tor Vergata（罗马第二大学）；University of Aberdeen（阿伯丁大学）
针对大语言模型多步推理能力受限于英语的问题，提出受思维树启发的Cross-ToT跨语言推理方法，通过自洽跨语言提示提供多语言推理路径，减少交互次数并达到最优性能。
2024-06-21 cs.AI cs.CL
Value-Guided Search for Efficient Chain-of-Thought Reasoning
针对长上下文推理中过程奖励建模难以定义步骤的问题，提出token级价值模型与分块VGS搜索，并用加权多数投票提升测试时扩展效率、降低推理FLOPs。
2025-09-30 cs.AI cs.CL cs.LG
Structured Thoughts For Improved Reasoning And Context Pruning
University of Chicago（芝加哥大学）；Capital One（第一资本金融公司）
研究针对大语言模型长推理痕迹的问题，引入结构化思维框架，通过构建数据集微调模型，使其采用结构化推理风格提升性能，还能实现上下文修剪，在数学任务中可节省内存并保持一定性能。
2026-07-14 cs.AI cs.CL
Mean-Field Dynamics of Chain-of-Thought Reasoning in Large Language Models
Tsinghua University（清华大学）
本研究提出框架，将LLM推理建模为线索图引导式发现过程，用平均场近似推导线索占比的常微分方程，实验验证所得统计规律可复现且能被该方程拟合。
2026-08-07 cs.AI cs.CL
Theorem-of-Thought: A Multi-Agent Framework for Abductive, Deductive, and Inductive Reasoning in Language Models
Texas A&M University（德克萨斯大学）；Hamad Bin Khalifa University（哈马德·本·卡伊夫大学）
针对大语言模型推理鲁棒性差、缺乏逻辑结构校验的问题，提出模拟三类推理模式的多智能体框架ToTh，通过贝叶斯信念传播评估推理一致性，在多个基准上优于现有提示技术，可生成可解释的逻辑推理链。
2025-07-31 cs.AI cs.CL
Explainable Chain-of-Thought Reasoning: An Empirical Analysis on State-Aware Reasoning Dynamics
University of California San Diego（加州大学圣地亚哥分校）；Adobe Research（Adobe研究）
本文提出了一种状态感知的转换框架，通过结构化潜在动态分析链式思维推理的语义演变和转换，提升推理过程的可解释性。
2026-01-29 cs.AI cs.CL
Tracing Thought: Using Chain-of-Thought Reasoning to Identify the LLM Behind AI-Generated Text
Department of Computer Science and Engineering（计算机科学与工程系）；Indian Institute of Technology Guwahati（印度理工学院瓜哇蒂）
本文提出COT Fine-tuned框架，利用链式思维推理进行双任务检测，既能区分AI生成与人类文本，又能识别生成文本的具体LLM，实验证明其高准确率和可解释性。
2025-04-23 cs.AI cs.CL
GTR: Guided Thought Reinforcement Prevents Thought Collapse in RL-based VLM Agent Training
Tsinghua University（清华大学）；Tencent（腾讯）；Peking University（北京大学）
针对RLVR训练VLM智能体时仅依赖动作结果奖励导致的思维崩溃问题，提出GTR框架，通过自动校正器在每步强化学习中评估并优化推理，显著提升了模型性能与泛化能力且无需密集人工标注。
2025-07-11 cs.AI cs.CV
The Molecular Structure of Thought: Mapping the Topology of Long Chain-of-Thought Reasoning
LARG, SCIR, Harbin Institute of Technology（LARG、SCIR、哈尔滨工业大学）；Peking University（北京大学）；Nanjing University（南京大学）；Central South University（中南大学）
本文提出通过分子结构类比理解长链推理的拓扑特性，引入有效语义异构体概念，并提出Mole-Syn方法提升长链推理性能和稳定性。
2026-01-13 cs.AI cs.CL
Accelerating Large Language Model Reasoning via Speculative Search
University of Science and Technology of China（中国科学技术大学）；Huawei Technologies（华为技术有限公司）；Tianjin University（天津大学）
提出SpecSearch框架，通过小型模型与大型模型在思想和令牌层面协作，并引入保质量拒绝机制，在保持推理质量的同时实现高达2.12倍的加速。
2025-05-24 cs.AI cs.CL
SR-FoT: A Syllogistic-Reasoning Framework of Thought for Large Language Models Tackling Knowledge-based Reasoning Tasks
School of Computer Science and Engineering, Sun Yat-sen University（中山大学计算机科学与工程学院）；South China Normal University（华南师范大学）
提出SR-FoT框架，通过多阶段三段论演绎推理增强LLMs处理基于知识的复杂推理任务的能力，实验验证其有效性。
2025-01-20 cs.AI cs.CL
Markov Chain of Thought for Efficient Mathematical Reasoning
Alibaba Tongyi Lab（阿里通义实验室）
受人类认知启发，提出Markov Chain of Thought (MCoT)框架，将多步推理步骤压缩为简化问题，在保持准确率的同时显著提升了大型语言模型数学推理的计算效率。
2025-03-06 cs.AI cs.CL
RAT: Retrieval Augmented Thoughts Elicit Context-Aware Reasoning in Long-Horizon Generation
Peking University（北京大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Beijing Institute for General Artificial Intelligence（北京通用人工智能研究院）
本研究提出检索增强思维（RAT）方法，通过检索信息迭代修正零样本CoT的各思维步骤，有效提升大语言模型在多类长程生成任务中的表现并缓解幻觉。
2024-03-08 cs.AI cs.CL
How does Chain of Thought Think? Mechanistic Interpretability of Chain-of-Thought Reasoning with Sparse Autoencoding
该研究通过稀疏自编码与激活修补技术，首次从特征层面因果探究思维链（CoT）的忠实性，发现CoT能在高容量大语言模型中诱导更可解释的内部结构，且存在明确的规模效应阈值。
2025-07-24 cs.AI cs.CL
Program of Thoughts Prompting: Disentangling Computation from Reasoning for Numerical Reasoning Tasks
University of Waterloo（滑铁卢大学）；Vector Institute（向量研究所）；Google Research（谷歌研究院）
针对数值推理任务中计算与推理耦合的问题，提出Program of Thoughts (PoT)方法，利用语言模型生成程序并由外部计算机执行，在多数据集上比CoT平均提升约12%性能，结合自洽解码达到或接近SoTA。
2023-10-23 cs.AI cs.CL
Latent Recurrent Thoughts: Recurrent Refinement of Proposed Latents for Reasoning with Frozen LLMs
Emory University（埃默里大学）；IQuest Research（艾奎斯特研究院）
该研究提出 LRT 方法，通过冻结 LLM 结合循环优化的潜在表示进行推理，在多个推理任务上优于同类冻结解码器方法及思维链提示，且推理计算量更低。
2026-09-02 cs.AI cs.CL
Thought-Like-Pro: Enhancing Reasoning of Large Language Models through Self-Bootstrapped Prolog-based Chain-of-Thought
INF Technology (Shanghai) Co., Ltd.（INF科技（上海）有限公司）；Shanghai University of Engineering Science（上海工程技术大学）；Fudan University（复旦大学）
本文提出 THOUGHT-LIKE-PRO 框架，让 LLM 自驱动地借助 Prolog 生成、验证并转换推理轨迹为自然语言 CoT 进行模仿学习，从而提升推理与分布外泛化能力。
2026-10-09 cs.AI cs.CL
Mitigating Misleading Chain-of-Thought Reasoning with Selective Filtering
College of Zhiyuan, Shanghai Jiao Tong University（上海交通大学致远学院）；School of Electronic Information and Electrical Engineering, Shanghai Jiao Tong University（上海交通大学电子信息与电气工程学院）；Shanghai Jiao Tong University（上海交通大学）
针对思维链推理质量不可靠的问题，本文提出SelF-Reasoner，通过评估问题与推理链的蕴含关系选择性使用CoT，在多个任务上稳定超越T5基线。
2024-03-28 cs.AI cs.CL
Implicit Chain of Thought Reasoning via Knowledge Distillation
Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；Microsoft（微软）；Johns Hopkins University（约翰霍普金斯大学）；Harvard University（哈佛大学）
本文提出利用知识蒸馏将教师模型的显式思维链转化为学生模型跨层隐藏状态中的隐式纵向推理，从而在保持无思维链速度的同时解决多位数乘法和小学数学难题。
2023-11-02 cs.AI cs.CL cs.LG
Slang Context-based Inference Enhancement via Greedy Search-Guided Chain-of-Thought Prompting
本文提出一种基于贪心搜索的链式推理框架，通过改进小语言模型的推理能力，提升俚语解释的准确性。
2026-01-15 cs.CL
Abstraction-of-Thought Makes Language Models Better Reasoners
Institute for Artificial Intelligence, Tsinghua University（清华大学人工智能学院）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Tencent AI Lab（腾讯AI实验室）
本文提出新型结构化推理格式思维抽象（AoT），通过构建包含348k样本的微调数据集AoT Collection，引导语言模型在推理中先进行抽象思考再融入具体细节，在Big-Bench Hard基准上显著优于传统思维链方法。
2024-09-26 cs.AI cs.CL
Does "Reasoning" with Large Language Models Improve Recognizing, Generating, and Reframing Unhelpful Thoughts?
Harvard University（哈佛大学）；MIT（麻省理工学院）
研究探讨了CoT和自洽性等增强推理策略在认知重构任务中的作用，发现其即使应用于GPT-3.5等旧模型，在识别、生成和重构无益想法上也优于最先进的预训练推理模型。
2025-03-31 cs.AI cs.CL
LogiCoT: Logical Chain-of-Thought Instruction-Tuning
Zhejiang University（浙江大学）；Nanyang Technological University（南洋理工大学）；Tencent AI lab（腾讯AI实验室）；Alibaba Group（阿里巴巴集团）；Westlake University（西湖大学）
本文提出LogiCoT数据集，通过收集指令引导GPT-4生成逻辑思维链推理依据，用于指令微调以提升模型在复杂推理任务上的能力，弥补现有自指令微调方法在逻辑推理方面的不足。
2023-10-28 cs.AI cs.CL
Breaking Thought Patterns: A Multi-Dimensional Reasoning Framework for LLMs
Behavision（行为智能研究院）
针对大语言模型推理僵化、缺乏创造性的问题，提出融合思维链推理、混合专家模型与多维度采样的LADDER框架，实验证明其在任务完成度、创造性等方面优于传统模型。
2025-06-16 cs.AI cs.CL
ETR: Entropy Trend Reward for Efficient Chain-of-Thought Reasoning
University of Toronto（多伦多大学）；McMaster University（麦克马斯特大学）；Concordia University（康考迪亚大学）；University of Ottawa（渥太华大学）
本文提出ETR，通过轨迹感知的目标促进逐步不确定性降低，提升推理效率与准确性，实验表明在多个基准上显著提升性能。
2026-04-07 cs.AI cs.CL
Agentic Chain-of-Thought Steering for Efficient and Controllable LLM Reasoning
University of California San Diego（加州大学圣地亚哥分校）；Intuit（财捷集团）
提出Agentic Chain-of-Thought Steering (ACTS)方法，通过强化学习训练控制器智能体在推理过程中自适应地选择推理策略和引导短语，实现预算感知的策略控制，从而在保持推理质量的同时显著节省token，并支持准确率-效率的可控权衡。
2026-09-01 cs.AI cs.CL
Thought-Aware KV Cache Compaction for Reasoning via Adaptive Attention Matching
Tsinghua University（清华大学）；Peking University（北京大学）；Soochow University（苏州大学）
该研究针对推理语言模型 KV 缓存的内存瓶颈问题，提出思维感知注意力匹配（TAM）方法，通过三种机制实现高效压缩，在降低内存占用的同时保持了推理准确率。
2026-08-14 cs.AI cs.CL
Rethinking Chain-of-Thought from the Perspective of Self-Training
Zongqian Wu（吴宗谦）；Baoduo Xu（徐宝多）；Mengmeng Zhan（战梦梦）；Xiaofeng Zhu（朱小峰）；Lei Feng（冯磊）
本文从自训练视角重新审视思维链，提出一种整合任务特定提示模块与自适应推理迭代模块的新框架，以降低预测不确定性并解决过度推理问题，在性能和效率上均获显著提升。
2025-05-25 cs.AI cs.CL
STOC-TOT: Stochastic Tree-of-Thought with Constrained Decoding for Complex Reasoning in Multi-Hop Question Answering
Virginia Tech（弗吉尼亚理工大学）；Amazon Alexa AI（亚马逊Alexa人工智能）
本文提出STOC-TOT随机思维树推理提示方法，通过将多跳问答问题分解为子问题构建树状推理路径并进行概率估计，结合约束解码减少幻觉，在多个数据集和大语言模型上显著优于现有推理提示。
2024-07-04 cs.AI cs.CL
Efficient Reasoning via Thought-Training and Thought-Free Inference
Xi’an Jiaotong University（西安交通大学）；JD Future Academy（京东未来学院）
3TF通过训练混合模型实现高效推理，使模型能在无显式推理生成的情况下进行高质量推理。
2025-11-28 cs.CL
Stepwise Perplexity-Guided Refinement for Efficient Chain-of-Thought Reasoning in Large Language Models
Michigan State University（密歇根州立大学）；Amazon（亚马逊公司）；Pennsylvania State University（宾夕法尼亚州立大学）
本文提出以困惑度识别CoT关键推理步骤，并通过精炼少样本示例或仅用关键步骤微调模型，在保持推理准确性的同时提升效率。
2025-02-18 cs.AI cs.CL cs.LG
ReasonFlux: Hierarchical LLM Reasoning via Scaling Thought Templates
Princeton University（普林斯顿大学）；Peking University（北京大学）
ReasonFlux通过约500个高层思维模板库、模板轨迹上的分层强化学习及推理时自适应模板扩展，仅用8块GPU训练32B模型，在MATH和AIME基准上超越o1-preview与DeepSeek-V3，实现最先进的数学推理能力。
2025-03-11 cs.AI cs.CL cs.LG
Weight-of-Thought Reasoning: Exploring Neural Network Weights for Enhanced LLM Reasoning
Georgia Institute of Technology（佐治亚理工学院）
针对大语言模型推理依赖 token 级输出、未考虑内部权重动态的问题，提出思维权重推理方法，通过图消息传递等探索权重空间构建推理节点图，在多类推理任务上性能更优且增强可解释性。
2025-04-14 cs.AI cs.CL cs.LG
Controllable Mathematical Reasoning via Self-Optimizing Thought Vectors
Kepler（开普勒）
本文提出利用自优化思维向量与熵最小化实现可控数学推理，在GSM8K上以Gemma-2-9B达到90.1%准确率，无需外部奖励标注，验证了框架的有效性。
2025-10-25 cs.AI
Toward Adaptive Reasoning in Large Language Models with Thought Rollback
University of Toronto（多伦多大学）
本文提出思维回滚（TR）框架，使大语言模型能对推理步骤进行错误分析并回滚修正，通过试错提示自适应构建更可靠的推理路径，在数学和多任务推理上以更低交互成本取得最先进求解率。
2024-12-27 cs.AI cs.CL cs.LG
Ulterior Motives: Detecting Misaligned Reasoning in Continuous Thought Models
Stanford University（斯坦福大学）
本文研究了连续思维模型中如何检测不一致的推理，提出MoralChain基准测试，并通过双触发方法训练模型，揭示了潜在空间中不一致推理的存在及早期规划阶段的安全监控重要性。
2026-04-25 cs.AI cs.CL cs.LG
EntroCoT: Enhancing Chain-of-Thought via Adaptive Entropy-Guided Segmentation
Peking University（北京大学）；IQuest Research（IQuest研究）
EntroCoT通过自适应熵引导分割提升链式思考的推理质量，构建高质量数据集以提高大语言模型的数学推理能力。
2026-01-12 cs.AI
Automatic Question Generation for Intuitive Learning Utilizing Causal Graph Guided Chain of Thought Reasoning
Stellar Learning Technologies（Stellar学习技术公司）；Northwestern University（西北大学）
本文提出利用因果图引导的推理链和多智能体架构，生成准确且符合课程要求的问题，以提高直观学习的效果。
2026-01-02 cs.AI
Diffusion of Thoughts: Chain-of-Thought Reasoning in Diffusion Language Models
The University of Hong Kong（香港大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Tencent AI Lab（腾讯AI Lab）
本文提出 Diffusion-of-Thought（DoT），让推理步骤在扩散语言模型中逐步扩散，以更灵活地权衡计算与性能，并在算术、逻辑和数学题上以小模型超越大型自回归模型。
2024-12-05 cs.AI cs.CL cs.LG
Omni-CLST: Error-aware Curriculum Learning with guided Selective chain-of-Thought for audio question answering
TMCC, College of Computer Science, Nankai University, Tianjin, China（TMCC，计算机科学学院，南开大学，天津，中国）；MiLM Plus, Xiaomi Inc.（MiLM Plus，小米公司）
针对音频问答中高质量数据利用不足的问题，本文提出Omni-CLST框架，通过误差感知课程学习和引导式选择性思维链提升推理效率，并在MMAU-mini和MMAR上取得领先性能。
2025-09-18 cs.AI cs.SD eess.AS
Beyond Chain-of-Thought, Effective Graph-of-Thought Reasoning in Language Models
Shanghai Jiao Tong University（上海交通大学）；Wuhan University（武汉大学）
针对思维链（CoT）线性推理的局限性，本文提出了思维图（GoT）推理方法，通过图结构和门控融合机制建模非线性的思维过程，在AQUA-RAT和ScienceQA任务上显著提升了语言模型的推理性能。
2024-03-23 cs.CL
SmartSwitch: Advancing LLM Reasoning by Overcoming Underthinking via Promoting Deeper Thought Exploration
The Hong Kong University of Science and Technology（香港科学与技术大学）；The Chinese University of Hong Kong（香港中文大学）；The University of Hong Kong（香港大学）
针对大语言模型长思维链推理中存在的思考不足问题，提出即插即用的SmartSwitch框架，通过监控思维切换、回溯高潜力思维并插入深化提示引导深度探索，显著提升了不同规模大模型在数学推理基准上的性能。
2025-10-22 cs.AI cs.CL cs.LG
