SmartSwitch: Advancing LLM Reasoning by Overcoming Underthinking via Promoting Deeper Thought Exploration
The Hong Kong University of Science and Technology（香港科学与技术大学）；The Chinese University of Hong Kong（香港中文大学）；The University of Hong Kong（香港大学）
针对大语言模型长思维链推理中存在的思考不足问题，提出即插即用的SmartSwitch框架，通过监控思维切换、回溯高潜力思维并插入深化提示引导深度探索，显著提升了不同规模大模型在数学推理基准上的性能。
2025-10-22 cs.AI cs.CL cs.LG
Sketch-of-Thought: Efficient LLM Reasoning with Adaptive Cognitive-Inspired Sketching
KAIST（韩国科学技术院）
提出SoT提示框架，融合认知范式与语言约束，通过三种动态选择的推理模式在18个数据集上减少高达84%的token，同时保持甚至提升推理准确率。
2025-10-24 cs.AI cs.CL cs.LG
ReasonFlux: Hierarchical LLM Reasoning via Scaling Thought Templates
Princeton University（普林斯顿大学）；Peking University（北京大学）
ReasonFlux通过约500个高层思维模板库、模板轨迹上的分层强化学习及推理时自适应模板扩展，仅用8块GPU训练32B模型，在MATH和AIME基准上超越o1-preview与DeepSeek-V3，实现最先进的数学推理能力。
2025-03-11 cs.AI cs.CL cs.LG
A Formal Comparison Between Chain of Thought and Latent Thought
Department of Computer Science, The University of Tokyo, Japan（东京大学计算机科学系）
本文对比了链式思维与潜在思维，发现潜在思维在并行计算上更高效，而链式思维能通过随机解码实现近似计数与采样。
2026-05-12 cs.AI cs.CL cs.LG
Think Consistently, Reason Efficiently: Energy-Based Calibration for Implicit Chain-of-Thought
University of Oxford（牛津大学）；Tsinghua University（清华大学）；Tencent（腾讯）；Southern University of Science and Technology（南方科技大学）；National University of Singapore（新加坡国立大学）
本文提出EBM-CoT框架，利用基于能量的模型校准隐式思维链中的潜在推理轨迹，在不修改基础模型的前提下提升LLMs多步推理的一致性与效率。
2025-11-10 cs.AI cs.CL cs.LG
Chain-of-Defensive-Thought: Structured Reasoning Elicits Robustness in Large Language Models against Reference Corruption
Department of Computer Science, University of Maryland, College Park, Maryland, USA（计算机科学系，马里兰大学，College Park，马里兰，美国）
本研究提出防御性思维链方法，通过提供结构化防御推理示例，显著提升大型语言模型在非推理任务中对抗参考数据损坏的鲁棒性，有效缓解了提示注入攻击导致的准确率下降。
2025-04-29 cs.AI cs.CL cs.LG
Google Research（谷歌研究院）
We explore how generating a chain of thought -- a series of intermediate reasoning steps -- significantly improves the ability of large language models to perform complex reasoning. In particular, we show how such reasoning abilities emerge naturally in sufficiently large language models via a simple method called chain of thought prompting, where a few chain of thought demonstrations are provided as exemplars in prompting. Experiments on three large language models show that chain of thought prompting improves performance on a range of arithmetic, commonsense, and symbolic reasoning tasks. Th…
2023-01-10 cs.AI cs.CL
Synergy-of-Thoughts: Eliciting Efficient Reasoning in Hybrid Language Models
Tsinghua University（清华大学）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））
受双过程理论启发，本文提出SoT框架，利用小模型生成直觉思维并交叉评估，冲突时调用大模型反思纠正，在保证准确率与多样性的同时大幅降低API成本。
2024-08-24 cs.AI cs.CL cs.LG
Long-Context Reasoning Through Proxy-Based Chain-of-Thought Tuning
School of Informatics, University of Edinburgh（爱丁堡大学信息学院）
提出ProxyCoT训练框架，通过将短代理上下文中的推理能力迁移到完整长上下文中，以提升大语言模型在长上下文复杂推理任务上的表现。
2026-05-22 cs.AI cs.CL cs.LG
Scalable Chain of Thoughts via Elastic Reasoning
Salesforce AI Research（Salesforce人工智能研究）
针对大型推理模型思维链输出长度不受控、难适配资源约束部署的问题，提出分思考与解答双阶段的弹性推理框架，搭配预算约束滚动训练策略，在多基准上实现低训练成本、高约束鲁棒性及更高效的推理。
2025-05-21 cs.AI cs.CL cs.LG
Chain-Of-Thought Prompting Under Streaming Batch: A Case Study
Rice University（莱斯大学）
针对现有自动 CoT 方法假设测试数据预先可见的局限，本文通过案例研究探索流式设置下利用批处理数据构建与优化思维链提示的方法。
2023-06-01 cs.AI cs.CL cs.LG
Understanding Reasoning in Chain-of-Thought from the Hopfieldian View
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；Soochow University（苏州大学）；University of Southampton（南安普顿大学）；Arizona State University（亚利桑那州立大学）
本文从霍普菲尔德认知观出发，将思维链推理建模为表征空间中的移动，并提出思维表征（RoT）框架，以提升推理的鲁棒性与可解释性。
2024-10-04 cs.AI cs.CL cs.LG
SQuARE: Sequential Question Answering Reasoning Engine for Enhanced Chain-of-Thought in Large Language Models
Intel Labs（英特尔实验室）
针对大型语言模型推理能力未被充分利用的问题，提出新型提示技术SQuARE，通过自我询问生成并解决辅助问题分解主查询，在多个数据集上显著优于传统思维链提示，提升推理任务性能。
2025-02-13 cs.AI cs.CL cs.LG
Thinking on the Fly: Test-Time Reasoning Enhancement via Latent Thought Policy Optimization
University of Oxford（牛津大学）；University College London（伦敦大学学院）；University of Chinese Academy of Sciences（中国科学院大学）
LTPO通过在测试时优化潜在思维向量，提升LLM在复杂推理任务中的鲁棒性和准确性。
2026-01-26 cs.AI cs.CL
Google Research（谷歌研究院）
Chain-of-thought prompting combined with pre-trained large language models has achieved encouraging results on complex reasoning tasks. In this paper, we propose a new decoding strategy, self-consistency, to replace the naive greedy decoding used in chain-of-thought prompting. It first samples a diverse set of reasoning paths instead of only taking the greedy one, and then selects the most consistent answer by marginalizing out the sampled reasoning paths. Self-consistency leverages the intuition that a complex reasoning problem typically admits multiple different ways of thinking leading to i…
2023-03-07 cs.AI cs.CL
CoMAT: Chain of Mathematically Annotated Thought Improves Mathematical Reasoning
School of Informatics, The University of Edinburgh（信息学院，爱丁堡大学）；Imperial College London（伦敦帝国学院）
CoMAT通过符号转换和推理执行两个阶段提升数学推理能力，在多个基准测试中超越传统CoT方法。
2026-01-15 cs.AI cs.CL cs.LG
ThoughtSource: A central hub for large language model reasoning data
Medical University of Vienna（维也纳医科大学）；Technical University of Denmark（丹麦技术大学）；Copenhagen University Hospital（哥本哈根大学医院）；The Royal Institute of Technology (KTH)（皇家理工学院（KTH））
本文提出ThoughtSource元数据集与软件库，整合多领域思维链推理数据，以促进对CoT的定性理解、实证评估和训练数据供给，从而改进未来AI系统。
2023-07-27 cs.AI cs.CL
Not All Thoughts are Generated Equal: Efficient LLM Reasoning via Multi-Turn Reinforcement Learning
AI Thrust, The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）人工智能方向）；Didichuxing Co. Ltd（滴滴出行有限公司）；CSE, The Hong Kong University of Science and Technology（香港科学与技术大学计算机科学与工程系）
本文提出Long⊗Short框架，通过多轮强化学习让长思考与短思考LLM协作，区分思考重要性，在保持性能的同时减少超80%令牌长度。
2025-05-25 cs.AI cs.CL
Forest-of-Thought: Scaling Test-Time Compute for Enhancing LLM Reasoning
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
针对LLM单次推理无法纠错的问题，提出Forest-of-Thought框架，通过集成多推理树、稀疏激活、动态自纠正和共识引导决策，显著提升了模型解决复杂推理任务的精度与效率。
2025-04-01 cs.AI cs.CL
CoT is Not True Reasoning, It Is Just a Tight Constraint to Imitate: A Theory Perspective
本文从理论角度反驳CoT激发大模型真实推理能力的观点，指出其本质是通过中间步骤约束输出，使模型模仿推理形式。
2025-06-06 cs.AI cs.CL
Enhancing Zero-Shot Chain-of-Thought Reasoning in Large Language Models through Logic
University of Hamburg（汉堡大学）
本文提出 LoT 框架，利用符号逻辑中的反证法逐步验证和纠正推理过程，显著提升了大型语言模型在多领域的零样本思维链推理能力。
2024-03-26 cs.AI cs.CL cs.LG
Fine-Tuned Thoughts: Leveraging Chain-of-Thought Reasoning for Industrial Asset Health Monitoring
IBM Research（IBM研究院）
针对工业4.0领域小型语言模型复杂推理能力不足的问题，提出基于思维链蒸馏的工业资产健康知识蒸馏框架，通过MCQA提示蒸馏LLM能力并结合上下文学习验证，微调后的SLM性能大幅提升，缩小了与LLM的差距，相关代码已开源。
2025-10-21 cs.AI cs.CL
Efficient Reasoning via Thought-Training and Thought-Free Inference
Xi’an Jiaotong University（西安交通大学）；JD Future Academy（京东未来学院）
3TF通过训练混合模型实现高效推理，使模型能在无显式推理生成的情况下进行高质量推理。
2025-11-28 cs.CL
Novelty-based Tree-of-Thought Search for LLM Reasoning and Planning
RWTH Aachen（亚琛工业大学）
本文提出基于新颖性的树状思维搜索方法，通过引入新颖性概念优化语言领域推理与规划任务，减少搜索范围和token成本。
2026-05-07 cs.AI cs.CL
Entropy trajectory shape predicts LLM reasoning reliability: A diagnostic study of uncertainty dynamics in chain-of-thought
Huazhong University of Science and Technology（华中科技大学）
研究通过分析推理过程中熵轨迹形状来预测大语言模型的推理可靠性，提出了一种基于轨迹形状而非标量大小的诊断方法，展示了其在黑盒环境中的实用性与鲁棒性。
2026-03-27 cs.CL cs.LG
THOUGHTSCULPT: Reasoning with Intermediate Revision and Search
UC Berkeley（加州大学伯克利分校）
本文提出 THOUGHTSCULPT，将 MCTS 搜索与中间修订动作结合，用于可分解输出任务，并在三类任务上显著优于现有推理方法。
2025-02-15 cs.AI cs.CL
Explainable Chain-of-Thought Reasoning: An Empirical Analysis on State-Aware Reasoning Dynamics
University of California San Diego（加州大学圣地亚哥分校）；Adobe Research（Adobe研究）
本文提出了一种状态感知的转换框架，通过结构化潜在动态分析链式思维推理的语义演变和转换，提升推理过程的可解释性。
2026-01-29 cs.AI cs.CL
Analysing Chain of Thought Dynamics: Active Guidance or Unfaithful Post-hoc Rationalisation?
School of Computer Science, University of Sheffield（计算机科学学院，谢菲尔德大学）
本文研究思维链在软推理任务中的动态与忠实性，发现不同模型对 CoT 的依赖方式不同，且 CoT 的影响力与忠实性并不总是一致。
2025-08-27 cs.AI cs.CL
SR-FoT: A Syllogistic-Reasoning Framework of Thought for Large Language Models Tackling Knowledge-based Reasoning Tasks
School of Computer Science and Engineering, Sun Yat-sen University（中山大学计算机科学与工程学院）；South China Normal University（华南师范大学）
提出SR-FoT框架，通过多阶段三段论演绎推理增强LLMs处理基于知识的复杂推理任务的能力，实验验证其有效性。
2025-01-20 cs.AI cs.CL
Empowering Multi-step Reasoning across Languages via Tree-of-Thoughts
University of Rome Tor Vergata（罗马第二大学）；University of Aberdeen（阿伯丁大学）
针对大语言模型多步推理能力受限于英语的问题，提出受思维树启发的Cross-ToT跨语言推理方法，通过自洽跨语言提示提供多语言推理路径，减少交互次数并达到最优性能。
2024-06-21 cs.AI cs.CL
Thoughts-as-Planning: Latent World Models for Chain-of-Thoughts Optimization via Reinforcement Planning
University of California, Los Angeles（加州大学洛杉矶分校）；Columbia University（哥伦比亚大学）
提出Thoughts-as-Planning框架，将思维链优化形式化为潜在语义空间中的序贯决策过程，通过潜在世界模型模拟推理链编辑对下游输出的影响，并利用梯度下降或强化学习进行规划，在语言理解和生成任务上优于现有基线。
2026-04-27 cs.AI cs.CL
Theorem-of-Thought: A Multi-Agent Framework for Abductive, Deductive, and Inductive Reasoning in Language Models
Texas A&M University（德克萨斯大学）；Hamad Bin Khalifa University（哈马德·本·卡伊夫大学）
针对大语言模型推理鲁棒性差、缺乏逻辑结构校验的问题，提出模拟三类推理模式的多智能体框架ToTh，通过贝叶斯信念传播评估推理一致性，在多个基准上优于现有提示技术，可生成可解释的逻辑推理链。
2025-07-31 cs.AI cs.CL
Structured Thoughts For Improved Reasoning And Context Pruning
University of Chicago（芝加哥大学）；Capital One（第一资本金融公司）
研究针对大语言模型长推理痕迹的问题，引入结构化思维框架，通过构建数据集微调模型，使其采用结构化推理风格提升性能，还能实现上下文修剪，在数学任务中可节省内存并保持一定性能。
2026-07-14 cs.AI cs.CL
Accelerating Large Language Model Reasoning via Speculative Search
University of Science and Technology of China（中国科学技术大学）；Huawei Technologies（华为技术有限公司）；Tianjin University（天津大学）
提出SpecSearch框架，通过小型模型与大型模型在思想和令牌层面协作，并引入保质量拒绝机制，在保持推理质量的同时实现高达2.12倍的加速。
2025-05-24 cs.AI cs.CL
Mean-Field Dynamics of Chain-of-Thought Reasoning in Large Language Models
Tsinghua University（清华大学）
本研究提出框架，将LLM推理建模为线索图引导式发现过程，用平均场近似推导线索占比的常微分方程，实验验证所得统计规律可复现且能被该方程拟合。
2026-08-07 cs.AI cs.CL
Markov Chain of Thought for Efficient Mathematical Reasoning
Alibaba Tongyi Lab（阿里通义实验室）
受人类认知启发，提出Markov Chain of Thought (MCoT)框架，将多步推理步骤压缩为简化问题，在保持准确率的同时显著提升了大型语言模型数学推理的计算效率。
2025-03-06 cs.AI cs.CL
Program of Thoughts Prompting: Disentangling Computation from Reasoning for Numerical Reasoning Tasks
University of Waterloo（滑铁卢大学）；Vector Institute（向量研究所）；Google Research（谷歌研究院）
针对数值推理任务中计算与推理耦合的问题，提出Program of Thoughts (PoT)方法，利用语言模型生成程序并由外部计算机执行，在多数据集上比CoT平均提升约12%性能，结合自洽解码达到或接近SoTA。
2023-10-23 cs.AI cs.CL
Rethinking Chain-of-Thought Reasoning for Videos
The Chinese University of Hong Kong（香港中文大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本研究提出了一种高效的视频推理框架，通过简洁推理和减少的视觉标记提升推理效率和性能，无需依赖传统CoT注释或监督微调。
2025-12-10 cs.AI cs.CL cs.CV
Tracing Thought: Using Chain-of-Thought Reasoning to Identify the LLM Behind AI-Generated Text
Department of Computer Science and Engineering（计算机科学与工程系）；Indian Institute of Technology Guwahati（印度理工学院瓜哇蒂）
本文提出COT Fine-tuned框架，利用链式思维推理进行双任务检测，既能区分AI生成与人类文本，又能识别生成文本的具体LLM，实验证明其高准确率和可解释性。
2025-04-23 cs.AI cs.CL
The Molecular Structure of Thought: Mapping the Topology of Long Chain-of-Thought Reasoning
LARG, SCIR, Harbin Institute of Technology（LARG、SCIR、哈尔滨工业大学）；Peking University（北京大学）；Nanjing University（南京大学）；Central South University（中南大学）
本文提出通过分子结构类比理解长链推理的拓扑特性，引入有效语义异构体概念，并提出Mole-Syn方法提升长链推理性能和稳定性。
2026-01-13 cs.AI cs.CL
Does "Reasoning" with Large Language Models Improve Recognizing, Generating, and Reframing Unhelpful Thoughts?
Harvard University（哈佛大学）；MIT（麻省理工学院）
研究探讨了CoT和自洽性等增强推理策略在认知重构任务中的作用，发现其即使应用于GPT-3.5等旧模型，在识别、生成和重构无益想法上也优于最先进的预训练推理模型。
2025-03-31 cs.AI cs.CL
Understanding Hidden Computations in Chain-of-Thought Reasoning
针对填充字符替代 CoT 后模型仍可推理的现象，本文利用 logit lens 与 token 排名分析逐层表示，实现隐藏推理字符的无损恢复。
2024-12-05 cs.CL cs.LG
Thought-Like-Pro: Enhancing Reasoning of Large Language Models through Self-Bootstrapped Prolog-based Chain-of-Thought
INF Technology (Shanghai) Co., Ltd.（INF科技（上海）有限公司）；Shanghai University of Engineering Science（上海工程技术大学）；Fudan University（复旦大学）
本文提出 THOUGHT-LIKE-PRO 框架，让 LLM 自驱动地借助 Prolog 生成、验证并转换推理轨迹为自然语言 CoT 进行模仿学习，从而提升推理与分布外泛化能力。
2026-10-09 cs.AI cs.CL
RAT: Retrieval Augmented Thoughts Elicit Context-Aware Reasoning in Long-Horizon Generation
Peking University（北京大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Beijing Institute for General Artificial Intelligence（北京通用人工智能研究院）
本研究提出检索增强思维（RAT）方法，通过检索信息迭代修正零样本CoT的各思维步骤，有效提升大语言模型在多类长程生成任务中的表现并缓解幻觉。
2024-03-08 cs.AI cs.CL
Breaking Thought Patterns: A Multi-Dimensional Reasoning Framework for LLMs
Behavision（行为智能研究院）
针对大语言模型推理僵化、缺乏创造性的问题，提出融合思维链推理、混合专家模型与多维度采样的LADDER框架，实验证明其在任务完成度、创造性等方面优于传统模型。
2025-06-16 cs.AI cs.CL
ETR: Entropy Trend Reward for Efficient Chain-of-Thought Reasoning
University of Toronto（多伦多大学）；McMaster University（麦克马斯特大学）；Concordia University（康考迪亚大学）；University of Ottawa（渥太华大学）
本文提出ETR，通过轨迹感知的目标促进逐步不确定性降低，提升推理效率与准确性，实验表明在多个基准上显著提升性能。
2026-04-07 cs.AI cs.CL
Draft-Thinking: Learning Efficient Reasoning in Long Chain-of-Thought LLMs
Zhejiang University（浙江大学）；Tencent（腾讯）
Draft-Thinking通过草稿式推理结构和渐进式课程学习，在长链式推理LLM中实现高效推理，显著降低推理预算并保持性能
2026-02-28 cs.AI cs.CL
STOC-TOT: Stochastic Tree-of-Thought with Constrained Decoding for Complex Reasoning in Multi-Hop Question Answering
Virginia Tech（弗吉尼亚理工大学）；Amazon Alexa AI（亚马逊Alexa人工智能）
本文提出STOC-TOT随机思维树推理提示方法，通过将多跳问答问题分解为子问题构建树状推理路径并进行概率估计，结合约束解码减少幻觉，在多个数据集和大语言模型上显著优于现有推理提示。
2024-07-04 cs.AI cs.CL
How does Chain of Thought Think? Mechanistic Interpretability of Chain-of-Thought Reasoning with Sparse Autoencoding
该研究通过稀疏自编码与激活修补技术，首次从特征层面因果探究思维链（CoT）的忠实性，发现CoT能在高容量大语言模型中诱导更可解释的内部结构，且存在明确的规模效应阈值。
2025-07-24 cs.AI cs.CL
Reassessing the Role of Chain-of-Thought in Sentiment Analysis: Insights and Limitations
Beijing Normal University（北京师范大学）；Hefei University（合肥大学）；Beihang University（北京航空航天大学）；University of Washington（华盛顿大学）；University of Copenhagen（哥本哈根大学）
该研究以大语言模型为载体，将思维概念化为推理、采用chain-of-thought提示开展实验，探究语义理解是否依赖思维过程，发现思维链对情感分析影响极小，模型处理情感任务主要依赖示例信息，支持语言与思维独立的观点。
2025-01-15 cs.AI cs.CL
Preemptive Answer "Attacks" on Chain-of-Thought Reasoning
Tsinghua University（清华大学）
本文提出“先发答案”场景，揭示LLM在推理前获得答案会显著削弱其CoT推理能力，并提出两项缓解措施以增强鲁棒性。
2024-05-31 cs.AI cs.CL cs.CR
Non-Interactive Symbolic-Aided Chain-of-Thought for Logical Reasoning
Japan Advanced Institute of Science and Technology（日本科学技术先进研究院）
本研究提出符号辅助思维链方法，将轻量级符号融入少样本提示以优化大语言模型逻辑推理，在四个基准上的实验证明其能跨模型规模提升推理能力，多数据集表现优于传统CoT。
2025-10-04 cs.AI cs.CL
Rethinking Chain-of-Thought from the Perspective of Self-Training
Zongqian Wu（吴宗谦）；Baoduo Xu（徐宝多）；Mengmeng Zhan（战梦梦）；Xiaofeng Zhu（朱小峰）；Lei Feng（冯磊）
本文从自训练视角重新审视思维链，提出一种整合任务特定提示模块与自适应推理迭代模块的新框架，以降低预测不确定性并解决过度推理问题，在性能和效率上均获显著提升。
2025-05-25 cs.AI cs.CL
Thought-Aware KV Cache Compaction for Reasoning via Adaptive Attention Matching
Tsinghua University（清华大学）；Peking University（北京大学）；Soochow University（苏州大学）
该研究针对推理语言模型 KV 缓存的内存瓶颈问题，提出思维感知注意力匹配（TAM）方法，通过三种机制实现高效压缩，在降低内存占用的同时保持了推理准确率。
2026-08-14 cs.AI cs.CL
