Enhancing Granular Sentiment Classification with Chain-of-Thought Prompting in Large Language Models
John F Kennedy High school Fremont, USA(约翰·F·肯尼迪高中弗里蒙特分校);Queensland Academy for Science Mathematics and Technology(昆士兰科学数学与技术学院);Research Spark Hub Inc(Research Spark Hub公司)
本文研究利用大语言模型的思维链提示提升应用商店评论的细粒度情感分类,在2000条亚马逊评论上准确率从84%提升至93%,验证了显式推理的有效性。
2025-05-07 cs.CL cs.LG
Chain-of-Defensive-Thought: Structured Reasoning Elicits Robustness in Large Language Models against Reference Corruption
Department of Computer Science, University of Maryland, College Park, Maryland, USA(计算机科学系,马里兰大学,College Park,马里兰,美国)
本研究提出防御性思维链方法,通过提供结构化防御推理示例,显著提升大型语言模型在非推理任务中对抗参考数据损坏的鲁棒性,有效缓解了提示注入攻击导致的准确率下降。
2025-04-29 cs.AI cs.CL cs.LG
On the Thinking-Language Modeling Gap in Large Language Models
Hong Kong Baptist University(香港 Baptist 大学);MBZUAI Carnegie Mellon University(MBZUAI 美国卡内基梅隆大学);The University of Sydney(悉尼大学);The Chinese University of Hong Kong(香港中文大学)
本研究揭示大语言模型存在语言-思维建模差距,语言偏差会误导思维激发,提出LoT提示技术调整信息表达顺序与token,有效降低偏差并提升多类推理任务性能。
2025-05-19 cs.CL cs.LG stat.ML
Graph of Thoughts: Solving Elaborate Problems with Large Language Models
ETH Zurich(苏黎世联邦理工学院);Warsaw University of Technology(华沙理工大学);Cledar
本文提出 Graph of Thoughts 框架,将 LLM 生成的 thoughts 建模为可聚合、提炼与反馈增强的任意图,在排序等任务上较 ToT 提升质量并降低成本。
2024-02-06 cs.AI cs.CL cs.LG
Scheduling Thoughts: Learning the Order of Thought in Diffusion Language Models
University of Maryland, College Park(马里兰大学帕克分校);University of California, Los Angeles(加州大学洛杉矶分校)
提出自感知调度(SAS),通过策略优化学习扩散语言模型中的去掩码顺序,显著提升Sudoku和数学推理任务的生成质量。
2026-06-23 cs.AI cs.LG
CoF-CoT: Enhancing Large Language Models with Coarse-to-Fine Chain-of-Thought Prompting for Multi-domain NLU Tasks
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Salesforce Research(赛富时研究院);Amazon(亚马逊)
针对思维链在大型语言模型自然语言理解任务中应用不足的问题,提出粗到细思维链方法,结合抽象意义表示结构化知识作为中间步骤,有效提升了模型在零样本和少样本多领域设置下处理多粒度NLU任务的能力。
2023-10-23 cs.CL cs.LG
Synergy-of-Thoughts: Eliciting Efficient Reasoning in Hybrid Language Models
Tsinghua University(清华大学);Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳))
受双过程理论启发,本文提出SoT框架,利用小模型生成直觉思维并交叉评估,冲突时调用大模型反思纠正,在保证准确率与多样性的同时大幅降低API成本。
2024-08-24 cs.AI cs.CL cs.LG
The Cost of Reasoning: Chain-of-Thought Induces Overconfidence in Vision-Language Models
KTH Royal Institute of Technology, Stockholm, Sweden(皇家理工学院);Science for Life Laboratory, Stockholm, Sweden(生命科学实验室)
研究发现链式推理会降低视觉-语言模型的不确定性估计质量,主要机制是隐式答案条件化,导致模型过度自信。
2026-07-14 cs.LG
Neural Language of Thought Models
Rutgers University(罗格斯大学);KAIST(韩国科学技术院)
受思维语言假说启发,提出包含语义向量量化变分自编码器和自回归LoT先验的NLoTM,实现非语言观测下的无监督组合表征学习与生成,在图像相关任务上性能优于现有方法,推动类人理解神经网络与跨学科研究。
2024-04-16 cs.CV cs.LG
Thought calibration: Efficient and confident test-time scaling
Department of Computer Science(计算机科学系);Massachusetts Institute of Technology(麻省理工学院)
本文提出思维校准方法,通过轻量级探针动态决定推理终止时机,在保持性能的同时将思考令牌减少60%(分布内)和20%(分布外)。
2025-05-23 cs.AI cs.LG
Latent Thought Flow: Efficient Latent Reasoning in Large Language Models
Singapore Management University(新加坡管理大学);Ant Group(蚂蚁集团)
提出Latent Thought Flow (LTF)方法,将推理建模为可变长度连续轨迹,通过连续GFlowNet训练采样器匹配奖励后验,在提升准确率9.5%的同时平均减少推理长度27.2%。
2026-06-16 cs.AI cs.LG
Tree of Thoughts: Deliberate Problem Solving with Large Language Models
Princeton University(普林斯顿大学);Google DeepMind(谷歌DeepMind)
本文提出思维树(ToT)框架,通过多路径探索、自我评估、前瞻与回溯,使语言模型实现深思熟虑的决策,并在 24 点游戏等任务上显著超越思维链提示。
2023-12-03 cs.AI cs.CL cs.LG
Toward Adaptive Reasoning in Large Language Models with Thought Rollback
University of Toronto(多伦多大学)
本文提出思维回滚(TR)框架,使大语言模型能对推理步骤进行错误分析并回滚修正,通过试错提示自适应构建更可靠的推理路径,在数学和多任务推理上以更低交互成本取得最先进求解率。
2024-12-27 cs.AI cs.CL cs.LG
Implicit Chain of Thought Reasoning via Knowledge Distillation
Allen Institute for Artificial Intelligence(艾伦人工智能研究所);Microsoft(微软);Johns Hopkins University(约翰霍普金斯大学);Harvard University(哈佛大学)
本文提出利用知识蒸馏将教师模型的显式思维链转化为学生模型跨层隐藏状态中的隐式纵向推理,从而在保持无思维链速度的同时解决多位数乘法和小学数学难题。
2023-11-02 cs.AI cs.CL cs.LG
Tree of Uncertain Thoughts Reasoning for Large Language Models
Carnegie Mellon University(卡内基梅隆大学);MBZUAI(穆罕默德·本·扎耶德人工智能大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
针对大型语言模型推理中忽略局部不确定性的问题,提出 Tree of Uncertain Thoughts (TouT) 框架,利用 Monte Carlo Dropout 量化中间步骤不确定性并结合全局搜索算法,在规划任务上显著提升了推理精度。
2023-09-14 cs.AI cs.CL cs.LG
Enhancing Zero-Shot Chain-of-Thought Reasoning in Large Language Models through Logic
University of Hamburg(汉堡大学)
本文提出 LoT 框架,利用符号逻辑中的反证法逐步验证和纠正推理过程,显著提升了大型语言模型在多领域的零样本思维链推理能力。
2024-03-26 cs.AI cs.CL cs.LG
Self-guided Knowledgeable Network of Thoughts: Amplifying Reasoning with Large Language Models
National Taiwan University(台湾大学);Academia Sinica(中央研究院)
提出知识思想网络(kNoT)及LLM工作流模板(LWT),通过将单步LLM操作构建为任意网络节点并支持索引选择,使复杂计划分解为基本操作,在六个用例上以更少提示工程显著优于CoT、ToT和GoT等现有范式。
2024-12-21 cs.CL cs.LG cs.MA
Caterpillar of Thoughts: The Optimal Test-Time Algorithm for Large Language Models
Northeastern University(东北大学)
本文提出Caterpillar of Thoughts算法,通过理论分析证明最优算法生成caterpillar树,从而减少生成次数并提升性能。
2026-03-24 cs.LG
Landscape of Thoughts: Visualizing the Reasoning Process of Large Language Models
TMLR Group, Hong Kong Baptist University(香港 Baptist 大学 TMLR 团体);Stanford University(斯坦福大学);Mila - Québec AI Institute(魁北克 AI 院);Université de Montréal(蒙特利尔大学);HEC Montréal(蒙特利尔 HEC 学院);Intel AI Lab(英特尔 AI 实验室)
提出思想图景(LoT)可视化工具,用于分析大语言模型的推理轨迹,揭示推理模式并提升推理准确性。
2026-03-03 cs.LG
Fragile Thoughts: How Large Language Models Handle Chain-of-Thought Perturbations
University of Southern California(南加州大学);Information Sciences Institute(信息科学研究所)
本文研究了大型语言模型在推理链扰动下的鲁棒性,通过五种扰动类型评估13种模型,发现不同扰动对模型的影响各异,模型规模在某些扰动中起到保护作用。
2026-04-16 cs.AI cs.CL cs.LG
Hybrid Training for Vision-Language-Action Models
Qualcomm AI Research(高通AI研究)
本文提出混合训练框架,旨在使视觉-语言-动作模型在推理时能够根据需要生成思考过程或直接预测动作,从而在保持性能提升的同时提高推理效率。
2026-05-19 cs.AI cs.CV cs.LG
Boosting of Thoughts: Trial-and-Error Problem Solving with Large Language Models
University of Toronto(多伦多大学);University of Alberta(阿尔伯塔大学)
本文提出 BoT 自动化提示框架,通过迭代探索、评估思维树并基于错误分析修正提示,使 GPT-4 和 Llama2 在复杂数学问题上取得更优或相当的解决率。
2025-01-06 cs.AI cs.CL cs.LG
SQuARE: Sequential Question Answering Reasoning Engine for Enhanced Chain-of-Thought in Large Language Models
Intel Labs(英特尔实验室)
针对大型语言模型推理能力未被充分利用的问题,提出新型提示技术SQuARE,通过自我询问生成并解决辅助问题分解主查询,在多个数据集上显著优于传统思维链提示,提升推理任务性能。
2025-02-13 cs.AI cs.CL cs.LG
Can Language Models Perform Robust Reasoning in Chain-of-thought Prompting with Noisy Rationales?
Hong Kong Baptist University(香港浸会大学);Wuhan University(武汉大学)
针对大语言模型思维链提示中噪声推理路径导致准确率下降的问题,提出仅需一条干净推理路径的对比去噪方法CD-CoT,在NoRa数据集上较基础模型平均准确率提升17.8%,去噪能力优于现有基线方法。
2024-10-31 cs.CL cs.LG
Chain-of-Thought Reasoning is a Policy Improvement Operator
Harvard University(哈佛大学)
针对大语言模型依赖人类训练数据、缺乏自学能力的问题,提出SECToR框架,通过思维链推理构建自学习循环,验证了思维链可作为策略改进算子,助力模型在有限初始数据下自主习得更复杂的技能。
2023-11-08 cs.AI cs.CL cs.LG
Large Language Model Cascades with Mixture of Thoughts Representations for Cost-efficient Reasoning
George Mason University(乔治梅森大学);Microsoft(微软);Virginia Tech(弗吉尼亚理工大学)
本文提出LLM级联框架,利用较弱模型的答案一致性判断问题难度,混合思维链与程序思维采样,在六个基准上以40%成本达到强模型性能。
2024-02-08 cs.AI cs.CL cs.LG
Policy-Guided Search on Tree-of-Thoughts for Efficient Problem Solving with Bounded Language Model Queries
Texas A&M University(德克萨斯大学)
本文提出LTS算法,通过语言模型的启发式概率引导树状思维搜索,以在有限计算预算下提升问题解决效率。
2026-01-07 cs.AI cs.LG
Iteration of Thought: Leveraging Inner Dialogue for Autonomous Large Language Model Reasoning
Agnostiq Inc.(阿格诺斯提克公司);University of Toronto(多伦多大学)
本文提出思维迭代(IoT)框架,通过内部对话智能体与大语言模型之间的迭代提示循环动态优化推理路径,并在多个复杂推理与问答数据集上验证其优于思维链方法,实现更自主高效的大语言模型推理。
2024-10-01 cs.AI cs.CL cs.LG
Large Language Model Guided Tree-of-Thought
Theta Labs, Inc.(西塔实验室公司)
本文提出思维树(ToT)框架,通过增加提示代理、检查器、记忆和控制器模块,使大型语言模型能进行树状思维回溯,显著提升数独求解成功率。
2023-05-15 cs.AI cs.CL cs.CV
ORION: Teaching Language Models to Reason Efficiently in the Language of Thought
Harvard University(哈佛大学);Hippocratic AI(希波克拉底AI);Massachusetts Institute of Technology(麻省理工学院)
ORION通过SLPO优化实现高效压缩推理,提升推理效率和准确性,同时保持高精度。
2025-11-28 cs.AI cs.CL cs.LG
Thought Communication in Multiagent Collaboration
CMU(卡内基梅隆大学);Meta AI;MBZUAI(马克斯·普朗克人工智能研究所)
本文提出思想通信范式,通过潜变量模型识别智能体间共享与私有思想,实现直接心智交互,实验证明其协作优势。
2025-10-23 cs.AI cs.LG cs.MA
Stepwise Perplexity-Guided Refinement for Efficient Chain-of-Thought Reasoning in Large Language Models
Michigan State University(密歇根州立大学);Amazon(亚马逊公司);Pennsylvania State University(宾夕法尼亚州立大学)
本文提出以困惑度识别CoT关键推理步骤,并通过精炼少样本示例或仅用关键步骤微调模型,在保持推理准确性的同时提升效率。
2025-02-18 cs.AI cs.CL cs.LG
Boosting Logical Reasoning in Large Language Models through a New Framework: The Graph of Thought
University of Connecticut(康涅狄格大学);Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室)
本文提出 Graph of Thoughts(GoT)提示框架,通过图结构组织推理过程,在24点游戏、高次方程和递归序列任务上显著提升 GPT-4 及 ToT 的逻辑推理准确率。
2023-08-16 cs.AI cs.CL cs.LG
SmartSwitch: Advancing LLM Reasoning by Overcoming Underthinking via Promoting Deeper Thought Exploration
The Hong Kong University of Science and Technology(香港科学与技术大学);The Chinese University of Hong Kong(香港中文大学);The University of Hong Kong(香港大学)
针对大语言模型长思维链推理中存在的思考不足问题,提出即插即用的SmartSwitch框架,通过监控思维切换、回溯高潜力思维并插入深化提示引导深度探索,显著提升了不同规模大模型在数学推理基准上的性能。
2025-10-22 cs.AI cs.CL cs.LG
StackSight: Unveiling WebAssembly through Large Language Models and Neurosymbolic Chain-of-Thought Decompilation
University of Southern California(南加州大学)
StackSight 结合大语言模型与静态程序分析,通过跟踪虚拟栈变化和链式思维提示,将复杂 WebAssembly 代码反编译为可读 C++ 片段,显著提升反编译质量和代码语义理解。
2024-06-07 cs.AI cs.LG cs.SE
Long Chain-of-Thought Reasoning Across Languages
University of California, Berkeley(加州大学伯克利分校)
本研究探讨了跨语言长链式推理能力的扩展机制,发现模型规模扩展提升En-CoT性能,但Target-CoT表现滞后,尤其在数学推理中更为明显。通过预训练和后训练优化,多语言模型在推理效率和稳定性上取得进展,同时揭示了语言特定的失败模式。
2026-03-20 cs.AI cs.CL cs.LG
All Code, No Thought: Current Language Models Struggle to Reason in Ciphered Language
Anthropic Fellows Program(Anthropic Fellow项目);Constellation;Anthropic
本研究测试28种密码下模型的推理能力,发现密码化推理能力与预训练数据中密码普遍性相关,且逃避思维链监控对当前模型可能无效。
2025-10-15 cs.AI cs.CL cs.LG
Recursive Decomposition of Logical Thoughts: Framework for Superior Reasoning and Knowledge Propagation in Large Language Models
Southwest Jiaotong University(西南交通大学);University of Jeddah(吉达大学);National Textile University(国立纺织大学)
本文提出 RDoLT 提示框架,通过递归任务分解、思维选择评分及强弱思维知识传播提升 LLM 推理,并在多个数学与逻辑基准上显著超越现有方法。
2025-01-03 cs.AI cs.CL cs.LG
CoT-VLA: Visual Chain-of-Thought Reasoning for Vision-Language-Action Models
NVIDIA(英伟达);Stanford University(斯坦福大学);MIT(麻省理工学院)
本文提出CoT-VLA,一种7B规模的视觉语言行动模型,通过自回归预测未来图像帧作为视觉思维链推理步骤,在生成动作序列前进行显式推理,在真实操作任务中超越最先进模型17%,模拟基准中提升6%。
2025-03-27 cs.AI cs.CV cs.LG