Self-Harmonized Chain of Thought
Singapore University of Technology and Design(新加坡科技设计大学)
针对现有思维链(CoT)方法存在的推理错误、人工依赖或推理模式不一致等问题,提出ECHO方法,通过迭代优化协调自动生成的演示,统一多样解决路径为一致推理模式,在多任务上平均性能优于Auto-CoT 2.8%。
2025-02-11 cs.CL
Hierarchical Chain-of-Thought: Enhancing LLM Reasoning Performance and Efficiency
Huawei Technologies Canada, Canada(华为技术加拿大公司,加拿大)
本文提出层次化思维链提示方法,通过分层步骤规划与执行提升复杂多步推理的准确率和效率,实验显示在多种模型和任务中平均准确率提升6.2%。
2026-07-13 cs.CL
Tab-CoT: Zero-shot Tabular Chain of Thought
Singapore University of Technology and Design(新加坡科技设计大学)
本文提出 Tab-CoT 表格化思维链提示方法,以高度结构化方式显式建模复杂推理过程,并通过多类推理任务实验验证其零样本与少样本能力。
2023-05-28 cs.CL
Towards Better Chain-of-Thought Prompting Strategies: A Survey
Nanjing University(南京大学);Collaborative Innovation Center of Novel Software Technology and Industrialization(新型软件技术与产业化协同创新中心)
本文针对大语言模型思维链(CoT)提示策略缺乏系统总结的问题,调研现有研究,分析CoT提示效果的影响因素、应用方法、挑战及未来方向,为相关研究提供参考。
2023-10-08 cs.CL
Automatic Prompt Augmentation and Selection with Chain-of-Thought from Labeled Data
The Hong Kong University of Science and Technology(香港科技大学)
本文提出Automate-CoT策略,通过从少量标注数据自动增广并剪枝推理链、再用方差缩减策略梯度选择最优组合,实现无需人工标注推理链的思维链提示,并在多类推理任务上取得提升。
2024-02-27 cs.CL
Chain-of-Thought Embeddings for Stance Detection on Social Media
Dartmouth College(达特茅斯学院)
本文提出COT Embeddings方法,将思维链推理嵌入传统RoBERTa立场检测流程,以解决社交媒体中隐含立场识别难题,并在多个数据集上取得SOTA性能。
2023-10-30 cs.CL
Chain-of-Thought Reasoning Without Prompting
Google DeepMind(谷歌DeepMind)
本研究提出通过改变解码过程而非提示来激发LLMs的思维链推理,发现前k备选token中常含思维链路径,且置信度可区分思维链,实验证明该方法有效。
2024-05-23 cs.CL
CoT-Evo: Evolutionary Distillation of Chain-of-Thought for Scientific Reasoning
Zhejiang University(浙江大学);ZJU-Hangzhou Global Scientific and Technological Innovation Center(浙大杭州国际科技创新中心);AntGroup(蚂蚁集团)
CoT-Evo提出进化式思维链蒸馏框架,通过多样化轨迹池、知识增强和迭代优化,生成高质量科学推理数据,微调紧凑模型达到最先进性能。
2025-10-16 cs.CL
Unlocking the Capabilities of Thought: A Reasoning Boundary Framework to Quantify and Optimize Chain-of-Thought
School of Computer Science and Engineering, Central South University(中南大学计算机科学与工程学院);The Chinese University of Hong Kong(香港中文大学)
本文提出推理边界框架 RBF,通过定义并组合推理边界来量化 CoT 上界、分类并优化推理路径,在27个模型、5项任务上验证其合理性并解释10种CoT策略。
2024-10-28 cs.CL
Unveiling the Key Factors for Distilling Chain-of-Thought Reasoning
Department of Computing, The Hong Kong Polytechnic University(香港理工大学计算机系);Ningbo Key Laboratory of Spatial Intelligence and Digital Derivative(宁波空间智能与数字衍生关键实验室);Institute of Digital Twin, EIT(数字孪生研究院);Saarland University(萨尔兰大学);Meituan Inc.(美团公司)
本研究系统考察了影响思维链蒸馏的关键因素,发现粒度、格式和教师模型对小型语言模型的影响与大型语言模型不同,强调需针对具体学生模型定制蒸馏策略。
2025-05-27 cs.CL
The Curse of CoT: On the Limitations of Chain-of-Thought in In-Context Learning
The Hong Kong University of Science and Technology(香港科技大学);NVIDIA(英伟达)
本研究发现在基于模式的上下文学习中,CoT及其变体表现逊于直接回答,揭示其受显式-隐式推理混合机制制约,挑战了CoT普适有效性的假设。
2025-11-01 cs.CL
DiffCoT: Diffusion-styled Chain-of-Thought Reasoning in LLMs
Hong Kong Baptist University(香港 Baptist 大学);Harbin Institute of Technology(哈尔滨工业大学)
DiffCoT通过扩散风格的推理链框架,改进了大语言模型在多步数学问题解决中的鲁棒性和错误纠正能力,通过迭代去噪过程实现中间步骤的统一生成与回顾性修正。
2026-04-19 cs.CL
CODI: Compressing Chain-of-Thought into Continuous Space via Self-Distillation
King’s College London(伦敦国王学院);The Alan Turing Institute(艾伦·图灵研究所)
本文提出CODI框架,通过自蒸馏将显式思维链的推理能力压缩到连续隐空间,首次在GPT-2规模上使隐式CoT达到与显式CoT相当的GSM8k性能,并实现3.1倍压缩率。
2025-09-23 cs.CL
Direct Evaluation of Chain-of-Thought in Multi-hop Reasoning with Knowledge Graphs
Monash University(莫纳什大学);VinAI Research(VinAI研究院)
该研究针对大语言模型评估仅关注答案准确率、忽略思维链正确性的问题,提出判别式与生成式结合的思维链评估范式,结合知识图谱探究多跳推理能力,发现模型常通过错误推理得到正确答案。
2024-06-19 cs.CL
Enhancing Adversarial Attacks through Chain of Thought
North China University of Technology(北方工业大学);University of California, Riverside(加州大学河滨分校)
本研究针对大语言模型的安全漏洞,将思维链提示与贪心坐标梯度技术结合提出CoT-GCG方法,提升了对抗攻击的可迁移性与效果,并通过Llama Guard实现更客观的风险评估。
2024-10-29 cs.CL
CoT2Align: Cross-Chain of Thought Distillation via Optimal Transport Alignment for Language Models with Different Tokenizers
Hanoi University of Science and Technology(河内理工大学);Oraichain Labs Inc.(Oraichain实验室公司);ByteDance Inc(字节跳动公司);VNU University of Engineering and Technology(越南国家大学工程技术大学);Monash University(莫纳什大学);University of Oregon(俄勒冈大学)
提出CoT2Align通用知识蒸馏框架,通过集成思维链增强与Cross-CoT Alignment,结合序列级和层级最优传输对齐,解决了不同分词器模型间的推理感知蒸馏问题,显著提升了推理能力与鲁棒性。
2025-03-01 cs.CL
S3-CoT: Self-Sampled Succinct Reasoning Enables Efficient Chain-of-Thought LLMs
Harbin Institute of Technology(哈尔滨工业大学);National University of Singapore(新加坡国立大学)
S3-CoT通过自采样简洁推理实现高效链式推理LLM,解决冗余推理问题,提升模型性能与泛化能力。
2026-02-02 cs.CL
ChainLM: Empowering Large Language Models with Improved Chain-of-Thought Prompting
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院);School of Information, Renmin University of China(中国人民大学信息学院);DIRO, Université de Montréal(蒙特利尔大学计算机科学与运筹学系)
本文提出CoTGenius框架自动生成高质量思维链提示,并构建数据集微调Llama 2-Chat模型得到ChainLM,同时提出步级辩论方法解决推理累积误差,显著提升了模型复杂推理能力。
2024-03-21 cs.CL
Towards Understanding Chain-of-Thought Prompting: An Empirical Study of What Matters
The Ohio State University(俄亥俄州立大学);University of Washington(华盛顿大学);Google Research(谷歌研究院)
本文通过实证研究CoT提示的有效因素,发现无效推理示范仍可保留其80%至90%以上性能,而相关性和步骤顺序更关键。
2023-06-01 cs.CL
Unlocking General Long Chain-of-Thought Reasoning Capabilities of Large Language Models via Representation Engineering
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学北京校区人工智能学院);Ant Group(蚂蚁集团)
该研究从表征角度验证长 CoT 推理是 LLM 的通用且区别于普通 CoT 的能力,并提出表征工程方法 GLoRE,在领域内与跨领域场景中高效提升推理表现。
2025-06-11 cs.CL
Syzygy of Thoughts: Improving LLM CoT with the Minimal Free Resolution
UESTC(乌东德科技大学);CNU(中国矿业大学);KHU(韩国大学);Tongji Univ(同济大学)
Syzygy of Thoughts通过引入最小自由分解方法,改进LLM的链式思维推理,提升复杂问题的解决能力和推理准确性。
2025-12-22 cs.CL
Early Stopping Chain-of-thoughts in Large Language Models
University of Delaware(德克萨斯大学);Peking University(北京大学)
本文提出了一种在推理阶段减少思维链生成长度的方法ES-CoT,通过检测答案收敛并提前停止来降低推理成本,同时保持与标准思维链相当的准确性。
2026-05-18 cs.CL
Chain of Thought Prompting Elicits Knowledge Augmentation
Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院,清华大学);Renmin University of China(中国人民大学)
本文提出CoT-KA方法,利用大型语言模型的思维链提示为深度学习增强知识,无需额外检索或推理模型,在多个推理基准上优于纯思维链和非增强方法。
2023-07-04 cs.CL
Effectiveness of Chain-of-Thought in Distilling Reasoning Capability from Large Language Models
Cambridge Research Laboratory, Toshiba Europe Ltd.(东京电讯欧洲有限公司剑桥研究实验室);Department of Engineering, University of Cambridge(剑桥大学工程系)
本文研究思维链在白盒知识蒸馏中的作用,利用Qwen和Llama2系列模型及CoT-Collection数据蒸馏较小LLM,并在BBH基准上验证其能提升自然语言推理与理解任务的平均性能。
2025-11-07 cs.CL
Co-CoT: A Prompt-Based Framework for Collaborative Chain-of-Thought Reasoning
针对短视频和AI普及削弱深度思考的问题,提出交互式思维链框架,通过模块化、可编辑的推理过程增强可解释性,并整合偏好学习机制,促进用户批判性参与和负责任AI使用。
2025-04-23 cs.CL
Stress Testing Chain-of-Thought Prompting for Large Language Models
Johns Hopkins University(约翰斯·霍普金斯大学)
本文通过扰动CoT顺序、数值和算子对GPT-3进行压力测试,发现数值错误对推理准确率影响最大,而算子和顺序错误影响较小。
2023-09-28 cs.AI cs.CL
KAIST AI(韩国科学技术院人工智能学院);Yonsei University(延世大学)
Chain-of-thought (CoT) prompting enables large language models (LLMs) to solve complex reasoning tasks by generating an explanation before the final prediction. Despite it's promising ability, a critical downside of CoT prompting is that the performance is greatly affected by the factuality of the generated explanation. To improve the correctness of the explanations, fine-tuning language models with explanation data is needed. However, there exists only a few datasets that can be used for such approaches, and no data collection tool for building them. Thus, we introduce CoTEVer, a tool-kit for…
2023-03-07 cs.CL cs.LG
Thinking Like an Expert:Multimodal Hypergraph-of-Thought (HoT) Reasoning to boost Foundation Modals
Aerospace Information Research Institute, Chinese Academy of Sciences(中国科学院空天信息创新研究院);University of Chinese Academy of Sciences(中国科学院大学)
本文提出多模态超图思维(HoT)推理范式,通过文本与视觉超图协同建模高阶多跳推理和多模态比较判断,在ScienceQA上以更小模型超越GPT3.5并比肩GPT4。
2023-08-11 cs.CL
Can Large Language Models Detect Errors in Long Chain-of-Thought Reasoning?
Alibaba Group(阿里巴巴集团);CASIA(中国科学院自动化研究所);M-A-P
为评估大型语言模型对长思维链推理的批判能力,本文提出DeltaBench基准,细粒度分析不同o1-like模型生成的长CoT,并广泛评估现有PRMs和批判模型的错误检测边界与局限。
2025-03-30 cs.CL
Zero-Shot Chain-of-Thought Reasoning Guided by Evolutionary Algorithms in Large Language Models
School of Intelligence Science and Technology, Peking University(北京大学智能科学与技术学院);Institute for Artificial Intelligence, Peking University(北京大学人工智能研究院);National Key Laboratory of General Artificial Intelligence(通用人工智能国家重点实验室);Key Laboratory of Machine Perceptron (MOE), Peking University(北京大学机器感知教育部重点实验室)
本文提出一种基于进化算法动态生成零样本思维链提示的方法,通过初始化、进化操作和选择重写,在十个数据集上优于现有方法,提升了大语言模型的推理能力。
2024-02-08 cs.CL
Decoupling the Effect of Chain-of-Thought Reasoning: A Human Label Variation Perspective
MaiNLP;Center for Information and Language Processing, LMU Munich(信息与语言处理中心,慕尼黑大学);LMU Munich, Germany(慕尼黑大学,德国);Munich Center for Machine Learning (MCML), Munich, Germany(慕尼黑机器学习中心(MCML),慕尼黑,德国);Language Technology Lab, University of Cambridge, United Kingdom(语言技术实验室,剑桥大学,英国)
本文通过系统解耦实验探讨了链式推理对分布任务的影响,发现推理内容对最终准确性贡献大,而模型先验对分布排名起主导作用。
2026-04-20 cs.CL
Pretraining with Token-Level Adaptive Latent Chain-of-Thought
LUMIA Lab(LUMIA实验室);School of Artificial Intelligence(人工智能学院);Shanghai Jiao Tong University(上海交通大学);Shanghai Al Laboratory(上海Al实验室);Sun Yat-sen University(中山大学);Shanghai Innovation Institute(上海创新研究院)
本研究提出了一种基于令牌级适应性潜在链式思维的预训练方法,通过内部化潜在链式思维来提高模型性能,减少计算成本,并在语言建模和下游任务中取得显著改进。
2026-03-10 cs.CL
How does Chain of Thought Think? Mechanistic Interpretability of Chain-of-Thought Reasoning with Sparse Autoencoding
该研究通过稀疏自编码与激活修补技术,首次从特征层面因果探究思维链(CoT)的忠实性,发现CoT能在高容量大语言模型中诱导更可解释的内部结构,且存在明确的规模效应阈值。
2025-07-24 cs.AI cs.CL
CoT is Not True Reasoning, It Is Just a Tight Constraint to Imitate: A Theory Perspective
本文从理论角度反驳CoT激发大模型真实推理能力的观点,指出其本质是通过中间步骤约束输出,使模型模仿推理形式。
2025-06-06 cs.AI cs.CL
Chain-of-Thought Tuning: Masked Language Models can also Think Step By Step in Natural Language Understanding
Shanghai Jiao Tong University(上海交通大学);Sun Yat-sen University(中山大学)
本文提出基于提示微调的两步推理框架CoTT,将思维链技术迁移至掩码语言模型,使其在层次分类和关系提取等自然语言理解任务中实现逐步思考,性能优于基线并达到SOTA。
2023-10-18 cs.CL cs.LG
Analysing Chain of Thought Dynamics: Active Guidance or Unfaithful Post-hoc Rationalisation?
School of Computer Science, University of Sheffield(计算机科学学院,谢菲尔德大学)
本文研究思维链在软推理任务中的动态与忠实性,发现不同模型对 CoT 的依赖方式不同,且 CoT 的影响力与忠实性并不总是一致。
2025-08-27 cs.AI cs.CL
The Molecular Structure of Thought: Mapping the Topology of Long Chain-of-Thought Reasoning
LARG, SCIR, Harbin Institute of Technology(LARG、SCIR、哈尔滨工业大学);Peking University(北京大学);Nanjing University(南京大学);Central South University(中南大学)
本文提出通过分子结构类比理解长链推理的拓扑特性,引入有效语义异构体概念,并提出Mole-Syn方法提升长链推理性能和稳定性。
2026-01-13 cs.AI cs.CL
Can Separators Improve Chain-of-Thought Prompting?
Yonsei University(延世大学);Linq
针对思维链提示示例密集易引发大语言模型认知过载的问题,提出在每个示例末尾添加分隔符的COT-SEP方法,显著提升复杂推理任务表现,并测试了分隔符类型、位置在多模型上的效果。
2024-10-09 cs.AI cs.CL
CAC-CoT: Connector-Aware Compact Chain-of-Thought for Efficient Reasoning Data Synthesis Across Dual-System Cognitive Tasks
针对长思维链降低System-1任务效率的问题,提出CAC-CoT方法,通过限制连接词短语生成简洁推理轨迹,在保持准确率的同时大幅提升效率并超越基线。
2025-09-15 cs.AI cs.CL
CoTasks: Chain-of-Thought based Video Instruction Tuning Tasks
KDDI Research, Inc.(KDDI研究公司)
CoTasks框架通过将复杂视频问题分解为帧定位、实体跟踪、时空关系提取四类基础任务,以CoT式结构化监督提升视频大语言模型的组合推理能力,在NeXT-QA上显著提高多个模型的推理性能。
2025-07-18 cs.CL cs.CV
MyGO Multiplex CoT: A Method for Self-Reflection in Large Language Models via Double Chain of Thought Thinking
Data Dream, AI(Data Dream AI)
本文提出Multiplex CoT方法,通过双重思维链实现LLM自我反思,无需额外训练即可提升推理质量,并提供了Google Colab实现指南。
2025-01-20 cs.AI cs.CL
Expediting and Elevating Large Language Model Reasoning via Hidden Chain-of-Thought Decoding
TAL Education Group(好未来教育集团);Jinan University(暨南大学)
针对大语言模型思维链提示推理延迟高的问题,提出基于语义对齐的隐藏思维链解码方法,通过两阶段训练压缩思维链表示,在三类任务上实现至少1.5倍解码加速且性能相当或更优。
2024-09-13 cs.AI cs.CL
Mind the Gap: Bridging Thought Leap for Improved Chain-of-Thought Tuning
Zhejiang University(浙江大学);SF Technology(SF技术);Microsoft Research Asia(微软亚洲研究院)
本文提出CoT思维跳跃桥任务,通过生成缺失的中间推理步骤提升数学推理任务的性能,实验表明在NuminaMath上改进达+5.87%。
2025-11-27 cs.AI cs.CL
Chain-of-Thought Tokens are Computer Program Variables
School of Computer Science, State Key Laboratory of Multimedia Information Processing, Peking University(计算机科学学院、多媒体信息处理国家重点实验室、北京大学)
本文通过多位数乘法和动态规划实验发现思维链令牌在LLMs中起到类似计算机程序变量的作用,仅保留存储中间结果的令牌即可维持性能,但该机制存在非预期捷径和计算复杂度限制等潜在缺陷。
2025-05-08 cs.AI cs.CL
MultiTool-CoT: GPT-3 Can Use Multiple External Tools with Chain of Thought Prompting
Kyoto University(京都大学);National Institute of Informatics(国立信息学研究所)
本文提出 MultiTool-CoT 框架,通过思维链提示让 GPT-3 在推理中调用计算器和知识检索器等多个外部工具,在 NumGLUE Task 2 上取得最先进性能。
2023-05-26 cs.AI cs.CL cs.LG
KAM-CoT: Knowledge Augmented Multimodal Chain-of-Thoughts Reasoning
Samsung R&D Institute India - Bangalore(三星印度研发中心-班加罗尔)
本文提出KAM-CoT框架,融合知识图谱、多模态信息与两阶段思维链训练,以较低参数规模在ScienceQA上显著超越GPT-3.5和GPT-4。
2024-01-23 cs.AI cs.CL
TIBSTC-CoT: A Multi-Domain Instruction Dataset for Chain-of-Thought Reasoning in Language Models
TIBSTC-CoT通过链式推理提示法构建多领域藏语数据集,开发出具备推理能力的藏语LLM,提升低资源语言处理性能。
2025-12-16 cs.AI cs.CL
CoT-ICL Lab: A Synthetic Framework for Studying Chain-of-Thought Learning from In-Context Demonstrations
New York University(纽约大学)
CoT-ICL Lab通过合成数据集解耦因果结构与处理函数,研究思维链上下文学习,发现深度对CoT关键,更多示例助浅层模型匹敌深层性能。
2025-05-21 cs.AI cs.CL cs.LG
Integrating Chain-of-Thought for Multimodal Alignment: A Study on 3D Vision-Language Learning
The Hong Kong Polytechnic University(香港理工大学);Eastern Institute of Technology(宁波东方理工大学);Digital Twin Institute(数字孪生研究院)
本文构建带层级CoT标注的3D-CoT Benchmark,通过双层评估比较LRM与LLM,证明结构化思维链可显著提升3D视觉-语言语义对齐与多模态推理。
2025-03-15 cs.CL cs.CV
C3oT: Generating Shorter Chain-of-Thought without Compromising Effectiveness
Beike Inc.(贝壳公司)
针对思维链过长导致解码成本高的问题,提出C3oT框架,通过压缩器、条件训练和条件推理,在保持有效性的同时将CoT长度压缩50%以上。
2024-12-16 cs.CL cs.LG
CoTFormer: A Chain-of-Thought Driven Architecture with Budget-Adaptive Computation Cost at Inference
EPFL(洛桑联邦理工学院)
本研究提出CoTFormer架构,在token层面模拟思维链以提升模型精度,同时结合逐token可变深度的计算自适应机制,实现精度不降前提下的推理计算成本显著降低。
2024-08-14 cs.CL cs.LG
Generalizable Chain-of-Thought Prompting in Mixed-task Scenarios with Large Language Models
Shanghai Jiao Tong University(上海交通大学);Yale University(耶鲁大学)
本文提出GeM-CoT方法,通过先分类问题类型再从对应数据池自动采样或构建演示,在混合任务场景中同时提升思维链提示的泛化能力与推理性能,并在10个公共推理任务和23个BBH任务上验证了有效性。
2024-02-20 cs.AI cs.CL
CoTGuard: Using Chain-of-Thought Triggering for Copyright Protection in Multi-Agent LLM Systems
University of Maryland, College Park(马里兰大学学院公园分校)
CoTGuard通过思维链触发检测多智能体系统中的版权内容泄漏,实现细粒度监控且对任务性能干扰最小。
2025-05-26 cs.CL cs.CR
To CoT or not to CoT? Chain-of-thought helps mainly on math and symbolic reasoning
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Johns Hopkins University(约翰霍普金斯大学);Princeton University(普林斯顿大学)
本文通过元分析和多模型多数据集评估,发现思维链(CoT)主要对数学和符号推理任务有效,在其他任务上提升有限,并指出其收益主要来自改进符号执行,建议选择性使用CoT并探索超越提示的新推理范式。
2025-05-07 cs.AI cs.CL cs.LG