Reason from Future: Reverse Thought Chain Enhances LLM Reasoning
College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院);Alibaba Group(阿里巴巴集团);State Key Laboratory of Transvascular Implantation Devices and TIDRI(血管植入设备国家重点实验室);Liangzhu Laboratory and WeDoctor Cloud(良渚实验室和WeDoctor云);Zhejiang Key Laboratory of Medical Imaging Artificial Intelligence(浙江医学影像人工智能重点实验室)
本文提出“从未来推理”(RFF)范式,通过逆向推理与双向推理结合,优先核心逻辑并约束中间步骤,从而缩小搜索空间、缓解误差累积,在复杂任务上以更高准确率和更低搜索消耗超越传统推理方法。
2025-06-04 cs.AI
Improving LLM Reasoning with Multi-Agent Tree-of-Thought Validator Agent
University of Texas at San Antonio(德克萨斯大学圣安东尼奥分校);Peraton Labs(佩拉顿实验室)
提出结合多智能体思维树推理与思维验证器的方法,通过丢弃无效推理路径实现稳健投票,在GSM8K上平均提升5.6%。
2024-11-05 cs.AI
Compressed Causal Reasoning: Quantization and GraphRAG Effects on Interventional and Counterfactual Accuracy
School of Data and Information(数据与信息学院);Rajamangala University of Technology(拉贾穆angala技术大学)
研究探讨量化与图结构增强对因果推理准确率的影响,发现四比特量化对因果推理具有鲁棒性,图结构增强可提升干预准确性,现有反事实基准需改进以捕捉更深层次因果脆弱性。
2025-12-24 cs.AI
MindLoom: Composing Thought Modes for Frontier-Level Reasoning Data Synthesis
Peking University(北京大学);Tsinghua University(清华大学)
本文提出MindLoom框架,通过组合思维模式工程合成前沿级推理数据,解决了现有方法在问题难度控制和多样性方面的不足,实验表明其在多个基准测试中表现优异。
2026-05-20 cs.AI
Table as Thought: Exploring Structured Thoughts in LLM Reasoning
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Michigan(密歇根大学)
本文提出 Table as Thought 框架,用表格结构组织 LLM 的思维步骤、约束与上下文,并通过迭代填充和自验证提升规划与数学推理能力。
2025-01-04 cs.AI cs.CL
Heuristic Classification of Thoughts Prompting (HCoT): Integrating Expert System Heuristics for Structured Reasoning into Large Language Models
Computer Network Information Center, Chinese Academy of Sciences(中国科学院计算机网络信息中心);Shenyang Aerospace University(沈阳航空航天大学);ZGC LAB, Beijing,China(北京ZGC实验室);Institute for Network Sciences and Cyberspace, Tsinghua University(清华大学网络科学与网络空间研究院)
本文提出HCoT方法,通过启发式分类模型整合专家系统启发式方法,提升大型语言模型在复杂问题中的推理能力,实现更高效的决策和更稳定的推理链。
2026-04-17 cs.AI
OS-Pruner: Pruning Chains-of-Thought of Reasoning Models via Optimal Stopping
MIT(麻省理工学院);Columbia Business School(哥伦比亚商学院)
研究针对大语言模型思维链推理存在计算过度问题,提出轻量级框架OS-Pruner,将思维链修剪转化为最优停止问题,通过优化效用动态评估终止点,在多基准和模型上减少生成长度且精度牺牲小。
2026-07-14 cs.AI
Deconstructing Long Chain-of-Thought: A Structured Reasoning Optimization Framework for Long CoT Distillation
Alibaba Group(阿里巴巴集团);New York University(纽约大学)
针对当前长思维链蒸馏方法普适性存疑、机制不明的问题,本研究提出DLCoT蒸馏数据增强框架,通过数据分割、解法简化、中间错误状态优化三步,显著提升模型性能与token效率,助力高性能大语言模型开发。
2025-03-20 cs.AI
Reasoning Models Can be Accurately Pruned Via Chain-of-Thought Reconstruction
LinkedIn, Sunnyvale, CA(LinkedIn,硅谷,加利福尼亚州);Massachusetts Institute of Technology, Cambridge, MA(麻省理工学院,剑桥,马萨诸塞州)
本文提出通过重建思维链实现推理模型的高效剪枝,改进传统剪枝方法以适应推理任务,提升性能。
2026-05-02 cs.AI
Chain-of-Thought as a Lens: Evaluating Structured Reasoning Alignment between Human Preferences and Large Language Models
School of Computer Science and Informatics, University of Liverpool, United Kingdom(利物浦大学计算机科学与信息学学院)
本文提出一种量化评估大语言模型多步结构化推理与人类偏好对齐的方法,引入对齐分数指标,通过构建基于语义熵的矩阵比较模型生成的思维链与人类偏好参考,发现对齐分数在2步推理时达到峰值,支持其作为诊断信号。
2026-04-21 cs.AI
Reasoning with Autoregressive-Diffusion Collaborative Thoughts
The Chinese University of Hong Kong(香港中文大学);University of Science and Technology of China(中国科学技术大学);Tsinghua University(清华大学)
本文提出协同思想框架,通过自回归和扩散模型的闭环协作提升空间推理可靠性与生成可控性。
2026-02-02 cs.AI
Chain-of-Thought Prompting Elicits Reasoning in Large Language Models
Google Research(谷歌研究院)
我们将探讨如何生成一个思维链--一系列中间推理步骤--显著提高大语言模型执行复杂推理的能力。特别是,我们展示了如何自然地出现在足够大的大语言模型,通过一个简单的方法,称为思维链提示,其中一些思维链示范提供了作为范例,提示这样的推理能力。在三个大语言模型上的实验表明,思维链提示提高了一系列算术、常识和符号推理任务的性能。经验上的收获可能是惊人的。例如,仅用8个思维链示例就能提示540 B参数语言模型,在数学应用题的GSM 8 K基准测试中达到最先进的精度,甚至超过了使用验证器的微调GPT-3。
2023-01-10 cs.AI cs.CL
Triggering Chain-of-Thought via Latent Feature Interventions in Large Language Models
University of Virginia(弗吉尼亚大学)
研究发现大型语言模型中的推理能力由潜在内部激活支持,通过引导特定潜在特征可提升性能,CoT提示并非唯一触发方式。
2026-09-01 cs.AI cs.CL
Revisiting Chain-of-Thought Reasoning under Limited Supervision: Semi-supervised Chain-of-Thought Learning
University of Warwick(沃里克大学);University of Cambridge(剑桥大学)
提出半监督思维链学习框架Semi-CoT,利用未标注问题通过熵门控选择低熵伪思维链作为可靠监督信号,实验显示高精度但部分任务效果有限。
2026-07-03 cs.AI cs.LG
Thinking on the Fly: Test-Time Reasoning Enhancement via Latent Thought Policy Optimization
University of Oxford(牛津大学);University College London(伦敦大学学院);University of Chinese Academy of Sciences(中国科学院大学)
LTPO通过在测试时优化潜在思维向量,提升LLM在复杂推理任务中的鲁棒性和准确性。
2026-01-26 cs.AI cs.CL
Self-Consistency Improves Chain of Thought Reasoning in Language Models
Google Research(谷歌研究院)
结合预先训练的大语言模型的思维链提示在复杂的推理任务中取得了令人鼓舞的结果。在本文中,我们提出了一种新的解码策略,自洽性,以取代天真的贪心解码中使用的思想链提示。它首先对一组不同的推理路径进行采样,而不是只采用贪婪的推理路径,然后通过边缘化采样的推理路径来选择最一致的答案。自洽性利用了一种直觉,即复杂的推理问题通常允许多种不同的思维方式,从而导致其唯一的正确答案。我们广泛的实证评估表明,自洽性性提高了一系列流行的算术和常识推理基准的性能,包括GSM 8K(+17.9%),SVAMP(+11.0%),AQuA(+12.2%),StrategyQA(+6.4%)和ARC挑战(+3.9%)。
2023-03-07 cs.AI cs.CL
Second Thought: Reasoning in Parallel as LLM Agents Act and Observe
本文提出无需训练的推理框架Second Thought,利用LLM智能体行动与观察的空闲窗口并行推理,在多基准测试中降低轮次、减少主线程解码量,且Pass@1表现优于计算匹配对照组。
2026-08-17 cs.AI cs.SE
ThoughtSource: A central hub for large language model reasoning data
Medical University of Vienna(维也纳医科大学);Technical University of Denmark(丹麦技术大学);Copenhagen University Hospital(哥本哈根大学医院);The Royal Institute of Technology (KTH)(皇家理工学院(KTH))
本文提出ThoughtSource元数据集与软件库,整合多领域思维链推理数据,以促进对CoT的定性理解、实证评估和训练数据供给,从而改进未来AI系统。
2023-07-27 cs.AI cs.CL
Forest-of-Thought: Scaling Test-Time Compute for Enhancing LLM Reasoning
Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
针对LLM单次推理无法纠错的问题,提出Forest-of-Thought框架,通过集成多推理树、稀疏激活、动态自纠正和共识引导决策,显著提升了模型解决复杂推理任务的精度与效率。
2025-04-01 cs.AI cs.CL
Improving Chain-of-Thought for Logical Reasoning via Attention-Aware Intervention
Japan Advanced Institute of Science and Technology(日本北陆先端科学技术大学院大学)
通过注意力感知干预改进逻辑推理的链式思维,提出一种非交互式端到端框架,提升模型推理能力与可分析性,无需外部资源。
2026-01-24 cs.AI cs.LG
VICoT-Agent: A Vision-Interleaved Chain-of-Thought Framework for Interpretable Multimodal Reasoning and Scalable Remote Sensing Analysis
Wuhan University(武汉大学);University of Toronto(多伦多大学)
VICoT-Agent通过视觉交织思维链框架实现多模态推理和遥感分析,采用堆栈结构和模块化工具集提升推理效率,并通过推理堆栈蒸馏方法降低模型复杂度,显著提升推理透明度和执行效率。
2025-12-03 cs.AI cs.MA
CoT is Not True Reasoning, It Is Just a Tight Constraint to Imitate: A Theory Perspective
本文从理论角度反驳CoT激发大模型真实推理能力的观点,指出其本质是通过中间步骤约束输出,使模型模仿推理形式。
2025-06-06 cs.AI cs.CL
InterveneBench: Benchmarking LLMs for Intervention Reasoning and Causal Study Design in Real Social Systems
Fudan University(复旦大学);Shanghai Innovation Institute(上海创新研究院)
InterveneBench通过真实社会科学研究评估LLM在干预推理和因果研究设计中的能力,发现现有模型表现不足,并提出STRIDES多智能体框架提升性能。
2026-03-16 cs.AI cs.CY
Latent Thought Flow: Efficient Latent Reasoning in Large Language Models
Singapore Management University(新加坡管理大学);Ant Group(蚂蚁集团)
提出Latent Thought Flow (LTF)方法,将推理建模为可变长度连续轨迹,通过连续GFlowNet训练采样器匹配奖励后验,在提升准确率9.5%的同时平均减少推理长度27.2%。
2026-06-16 cs.AI cs.LG
Fine-Tuned Thoughts: Leveraging Chain-of-Thought Reasoning for Industrial Asset Health Monitoring
IBM Research(IBM研究院)
针对工业4.0领域小型语言模型复杂推理能力不足的问题,提出基于思维链蒸馏的工业资产健康知识蒸馏框架,通过MCQA提示蒸馏LLM能力并结合上下文学习验证,微调后的SLM性能大幅提升,缩小了与LLM的差距,相关代码已开源。
2025-10-21 cs.AI cs.CL
Novelty-based Tree-of-Thought Search for LLM Reasoning and Planning
RWTH Aachen(亚琛工业大学)
本文提出基于新颖性的树状思维搜索方法,通过引入新颖性概念优化语言领域推理与规划任务,减少搜索范围和token成本。
2026-05-07 cs.AI cs.CL
Weight-of-Thought Reasoning: Exploring Neural Network Weights for Enhanced LLM Reasoning
Georgia Institute of Technology(佐治亚理工学院)
针对大语言模型推理依赖 token 级输出、未考虑内部权重动态的问题,提出思维权重推理方法,通过图消息传递等探索权重空间构建推理节点图,在多类推理任务上性能更优且增强可解释性。
2025-04-14 cs.AI cs.CL cs.LG
Interactive Reasoning: Visualizing and Controlling Chain-of-Thought Reasoning in Large Language Models
University of Washington(华盛顿大学)
本文提出Interactive Reasoning交互设计,将LLM思维链可视化为主题层级并支持用户修改,在Hippo原型和16人用户研究中验证其能帮助用户纠错、引导定制化响应并理解模型推理,实现用户对LLM推理过程的监督。
2025-06-30 cs.AI cs.HC
THOUGHTSCULPT: Reasoning with Intermediate Revision and Search
UC Berkeley(加州大学伯克利分校)
本文提出 THOUGHTSCULPT,将 MCTS 搜索与中间修订动作结合,用于可分解输出任务,并在三类任务上显著优于现有推理方法。
2025-02-15 cs.AI cs.CL
Explainable Chain-of-Thought Reasoning: An Empirical Analysis on State-Aware Reasoning Dynamics
University of California San Diego(加州大学圣地亚哥分校);Adobe Research(Adobe研究)
本文提出了一种状态感知的转换框架,通过结构化潜在动态分析链式思维推理的语义演变和转换,提升推理过程的可解释性。
2026-01-29 cs.AI cs.CL
SR-FoT: A Syllogistic-Reasoning Framework of Thought for Large Language Models Tackling Knowledge-based Reasoning Tasks
School of Computer Science and Engineering, Sun Yat-sen University(中山大学计算机科学与工程学院);South China Normal University(华南师范大学)
提出SR-FoT框架,通过多阶段三段论演绎推理增强LLMs处理基于知识的复杂推理任务的能力,实验验证其有效性。
2025-01-20 cs.AI cs.CL
Empowering Multi-step Reasoning across Languages via Tree-of-Thoughts
University of Rome Tor Vergata(罗马第二大学);University of Aberdeen(阿伯丁大学)
针对大语言模型多步推理能力受限于英语的问题,提出受思维树启发的Cross-ToT跨语言推理方法,通过自洽跨语言提示提供多语言推理路径,减少交互次数并达到最优性能。
2024-06-21 cs.AI cs.CL
Structured Thoughts For Improved Reasoning And Context Pruning
University of Chicago(芝加哥大学);Capital One(第一资本金融公司)
研究针对大语言模型长推理痕迹的问题,引入结构化思维框架,通过构建数据集微调模型,使其采用结构化推理风格提升性能,还能实现上下文修剪,在数学任务中可节省内存并保持一定性能。
2026-07-14 cs.AI cs.CL
Accelerating Large Language Model Reasoning via Speculative Search
University of Science and Technology of China(中国科学技术大学);Huawei Technologies(华为技术有限公司);Tianjin University(天津大学)
提出SpecSearch框架,通过小型模型与大型模型在思想和令牌层面协作,并引入保质量拒绝机制,在保持推理质量的同时实现高达2.12倍的加速。
2025-05-24 cs.AI cs.CL
Mean-Field Dynamics of Chain-of-Thought Reasoning in Large Language Models
Tsinghua University(清华大学)
本研究提出框架,将LLM推理建模为线索图引导式发现过程,用平均场近似推导线索占比的常微分方程,实验验证所得统计规律可复现且能被该方程拟合。
2026-08-07 cs.AI cs.CL
Chain-of-Thought Degrades Visual Spatial Reasoning Capabilities of Multimodal LLMs
Microsoft Research India(微软印度研究院)
研究发现链式思维范式在视觉空间推理任务中导致性能下降,通过实验揭示多模态模型在空间基准测试中的关键缺陷,并指出需转向以视觉为中心的推理方法。
2026-04-17 cs.AI cs.CV
Ulterior Motives: Detecting Misaligned Reasoning in Continuous Thought Models
Stanford University(斯坦福大学)
本文研究了连续思维模型中如何检测不一致的推理,提出MoralChain基准测试,并通过双触发方法训练模型,揭示了潜在空间中不一致推理的存在及早期规划阶段的安全监控重要性。
2026-04-25 cs.AI cs.CL cs.LG
Markov Chain of Thought for Efficient Mathematical Reasoning
Alibaba Tongyi Lab(阿里通义实验室)
受人类认知启发,提出Markov Chain of Thought (MCoT)框架,将多步推理步骤压缩为简化问题,在保持准确率的同时显著提升了大型语言模型数学推理的计算效率。
2025-03-06 cs.AI cs.CL
Toward Adaptive Reasoning in Large Language Models with Thought Rollback
University of Toronto(多伦多大学)
本文提出思维回滚(TR)框架,使大语言模型能对推理步骤进行错误分析并回滚修正,通过试错提示自适应构建更可靠的推理路径,在数学和多任务推理上以更低交互成本取得最先进求解率。
2024-12-27 cs.AI cs.CL cs.LG
Effectively Controlling Reasoning Models through Thinking Intervention
Princeton University(普林斯顿大学);NVIDIA(英伟达)
针对推理增强型大语言模型的细粒度行为控制需求,提出思维干预范式,通过插入或修改思维token引导内部推理,在多类任务上显著优于基线提示方法,为推理LLM控制提供新方向。
2025-05-21 cs.AI cs.CL cs.LG
Test-time Prompt Intervention
针对大语言模型推理中思维链冗余和幻觉问题,提出测试时提示干预框架PI,通过动态干预推理路径,缩短思维链并提升推理可靠性。
2025-10-22 cs.AI cs.CL
Mixture-of-Visual-Thoughts: Exploring Context-Adaptive Reasoning Mode Selection for General Visual Reasoning
Fudan University(复旦大学);Alibaba Group Holding Limited(阿里巴巴集团控股有限公司);Future Living Lab of Alibaba(阿里巴巴未来生活实验室);University of Southern California(南加州大学);Shanghai Innovation Institute(上海创新研究院)
本文提出MoVT框架,通过AdaVaR实现多模式统一学习与上下文自适应选择,提升通用视觉推理能力。
2026-05-14 cs.AI cs.CV
Tracing Thought: Using Chain-of-Thought Reasoning to Identify the LLM Behind AI-Generated Text
Department of Computer Science and Engineering(计算机科学与工程系);Indian Institute of Technology Guwahati(印度理工学院瓜哇蒂)
本文提出COT Fine-tuned框架,利用链式思维推理进行双任务检测,既能区分AI生成与人类文本,又能识别生成文本的具体LLM,实验证明其高准确率和可解释性。
2025-04-23 cs.AI cs.CL
GTR: Guided Thought Reinforcement Prevents Thought Collapse in RL-based VLM Agent Training
Tsinghua University(清华大学);Tencent(腾讯);Peking University(北京大学)
针对RLVR训练VLM智能体时仅依赖动作结果奖励导致的思维崩溃问题,提出GTR框架,通过自动校正器在每步强化学习中评估并优化推理,显著提升了模型性能与泛化能力且无需密集人工标注。
2025-07-11 cs.AI cs.CV
The Molecular Structure of Thought: Mapping the Topology of Long Chain-of-Thought Reasoning
LARG, SCIR, Harbin Institute of Technology(LARG、SCIR、哈尔滨工业大学);Peking University(北京大学);Nanjing University(南京大学);Central South University(中南大学)
本文提出通过分子结构类比理解长链推理的拓扑特性,引入有效语义异构体概念,并提出Mole-Syn方法提升长链推理性能和稳定性。
2026-01-13 cs.AI cs.CL
Does "Reasoning" with Large Language Models Improve Recognizing, Generating, and Reframing Unhelpful Thoughts?
Harvard University(哈佛大学);MIT(麻省理工学院)
研究探讨了CoT和自洽性等增强推理策略在认知重构任务中的作用,发现其即使应用于GPT-3.5等旧模型,在识别、生成和重构无益想法上也优于最先进的预训练推理模型。
2025-03-31 cs.AI cs.CL
Scaffolding the Strategist: Architecture-Dependent Reasoning Interventions in Hotelling Spatial Markets
California Institute of Technology(加州理工学院)
研究结构化推理干预对大语言模型战略经济推理的影响及与模型架构的关系,以霍特林模型评估GPT - 4.1 - mini和GPT - 5 - mini,发现支架类型与模型架构有交叉交互作用,对抗性测试有损害,还存在陈述性 - 程序性差距。
2026-07-14 cs.AI cs.GT
Thought-Like-Pro: Enhancing Reasoning of Large Language Models through Self-Bootstrapped Prolog-based Chain-of-Thought
INF Technology (Shanghai) Co., Ltd.(INF科技(上海)有限公司);Shanghai University of Engineering Science(上海工程技术大学);Fudan University(复旦大学)
本文提出 THOUGHT-LIKE-PRO 框架,让 LLM 自驱动地借助 Prolog 生成、验证并转换推理轨迹为自然语言 CoT 进行模仿学习,从而提升推理与分布外泛化能力。
2026-10-09 cs.AI cs.CL
RAT: Retrieval Augmented Thoughts Elicit Context-Aware Reasoning in Long-Horizon Generation
Peking University(北京大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Beijing Institute for General Artificial Intelligence(北京通用人工智能研究院)
本研究提出检索增强思维(RAT)方法,通过检索信息迭代修正零样本CoT的各思维步骤,有效提升大语言模型在多类长程生成任务中的表现并缓解幻觉。
2024-03-08 cs.AI cs.CL
Improving LLM Interpretability with User-Centric Chain-of-Thought Reasoning
University of Ulm(乌尔姆大学)
本研究提出以人为本的LLM推理轨迹构建方法,采用类XML标签编码,在保持数学推理性能的同时提升可解释性,显著改善用户感知的有用性与易用性,助力高风险AI部署的人机协作。
2026-08-28 cs.AI cs.HC
Breaking Thought Patterns: A Multi-Dimensional Reasoning Framework for LLMs
Behavision(行为智能研究院)
针对大语言模型推理僵化、缺乏创造性的问题,提出融合思维链推理、混合专家模型与多维度采样的LADDER框架,实验证明其在任务完成度、创造性等方面优于传统模型。
2025-06-16 cs.AI cs.CL
Watch Wider and Think Deeper: Collaborative Cross-modal Chain-of-Thought for Complex Visual Reasoning
Fujian Normal University(福建师范大学);Zhejiang University(浙江大学);Zhejiang Normal University(浙江师范大学)
CoCoT通过动态多区域定位和关系感知推理,提升复杂视觉推理性能,在多个基准测试中实现显著准确率提升。
2026-01-04 cs.AI cs.CV
ETR: Entropy Trend Reward for Efficient Chain-of-Thought Reasoning
University of Toronto(多伦多大学);McMaster University(麦克马斯特大学);Concordia University(康考迪亚大学);University of Ottawa(渥太华大学)
本文提出ETR,通过轨迹感知的目标促进逐步不确定性降低,提升推理效率与准确性,实验表明在多个基准上显著提升性能。
2026-04-07 cs.AI cs.CL
The Geometry of Thought: How Scale Restructures Reasoning In Large Language Models
研究揭示大规模语言模型中推理能力的几何重构特性,通过分析不同领域和规模的推理轨迹,发现神经规模定律触发领域特定的相变而非均匀能力提升,提出神经推理算子并识别出跨领域和规模的振荡特征。
2026-03-30 cs.AI cs.LG