Dialogue Ontology Relation Extraction via Constrained Chain-of-Thought Decoding
Heinrich Heine University Düsseldorf(杜塞尔多夫海因里希·海涅大学)
本文针对无标注对话数据的本体关系抽取问题,提出将思维链解码约束到本体术语和关系的生成式方法,以降低幻觉风险,并在两个数据集上验证了其在微调和单样本大模型上的性能提升。
2025-03-07 cs.AI cs.CL cs.LG
STOC-TOT: Stochastic Tree-of-Thought with Constrained Decoding for Complex Reasoning in Multi-Hop Question Answering
Virginia Tech(弗吉尼亚理工大学);Amazon Alexa AI(亚马逊Alexa人工智能)
本文提出STOC-TOT随机思维树推理提示方法,通过将多跳问答问题分解为子问题构建树状推理路径并进行概率估计,结合约束解码减少幻觉,在多个数据集和大语言模型上显著优于现有推理提示。
2024-07-04 cs.AI cs.CL
COFT: Counterfactual-Conformal Decoding for Fair Chain-of-Thought Reasoning in Large Language Models
Department of Electrical and Computer Engineering, University of Southern California, Los Angeles, California, USA(电气与计算机工程系,南加州大学,洛杉矶,加利福尼亚州,美国)
提出COFT,一种无需训练的解码方法,通过反事实提示和保形校准在解码时实现token级公平性控制,显著减少思维链生成中的社会偏见,同时保持任务效用和语言质量。
2026-05-28 cs.AI cs.CL
GRACE: Discriminator-Guided Chain-of-Thought Reasoning
University of Michigan(密歇根大学);LG AI Research(LG人工智能研究);University of Illinois at Chicago(伊利诺伊大学香槟分校)
GRACE通过引入判别器引导链式推理,有效提升多步推理任务中答案的准确性和中间推理的正确性。
2026-01-03 cs.AI cs.CL
Expediting and Elevating Large Language Model Reasoning via Hidden Chain-of-Thought Decoding
TAL Education Group(好未来教育集团);Jinan University(暨南大学)
针对大语言模型思维链提示推理延迟高的问题,提出基于语义对齐的隐藏思维链解码方法,通过两阶段训练压缩思维链表示,在三类任务上实现至少1.5倍解码加速且性能相当或更优。
2024-09-13 cs.AI cs.CL
Chain-of-Thought Augmentation with Logit Contrast for Enhanced Reasoning in Language Models
Algoverse AI Research(Algoverse AI研究院)
为提升语言模型推理与组合泛化能力,受思维链提示与上下文感知解码启发,探索基于输入的对比方法以鼓励思维链推理,并证实其改进值得进一步研究。
2024-08-27 cs.CL
Logit-Entropy Adaptive Stopping Heuristic for Efficient Chain-of-Thought Reasoning
Purdue University(普渡大学)
本文提出无需训练的 LEASH 解码算法,通过监控 token 级熵斜率和 top-logit 边际改善两个信号自适应停止思维链生成,在 GSM8K 和 AQuA-RAT 上以约 10 个百分点准确率下降为代价,将 token 生成量减少 30--35%、延迟降低 27%。
2025-11-06 cs.CL
Self-Consistency Improves Chain of Thought Reasoning in Language Models
Google Research(谷歌研究院)
结合预先训练的大语言模型的思维链提示在复杂的推理任务中取得了令人鼓舞的结果。在本文中,我们提出了一种新的解码策略,自洽性,以取代天真的贪心解码中使用的思想链提示。它首先对一组不同的推理路径进行采样,而不是只采用贪婪的推理路径,然后通过边缘化采样的推理路径来选择最一致的答案。自洽性利用了一种直觉,即复杂的推理问题通常允许多种不同的思维方式,从而导致其唯一的正确答案。我们广泛的实证评估表明,自洽性性提高了一系列流行的算术和常识推理基准的性能,包括GSM 8K(+17.9%),SVAMP(+11.0%),AQuA(+12.2%),StrategyQA(+6.4%)和ARC挑战(+3.9%)。
2023-03-07 cs.AI cs.CL
ClozeMath: Improving Mathematical Reasoning in Language Models by Learning to Fill Equations
Qualcomm AI Research(高通人工智能研究)
本文提出 ClozeMath 方法,通过让语言模型学习填充被遮蔽方程的完形填空式任务来提升数学推理能力,实验表明其在多个数学基准上优于 Masked Thought,并具有更好的鲁棒性。
2025-06-04 cs.CL
Token Signature: Predicting Chain-of-Thought Gains with Token Decoding Feature in Large Language Models
本文基于 token 概率分布单调性提出评估 CoT 增益的指标,并构建 Dynamic CoT 在 CoT 与直接回答间动态选择,以 89.2% 评估准确率减少逾 35% token 消耗。
2025-06-06 cs.AI cs.CL
Thinking Without Words: Efficient Latent Reasoning with Abstract Chain-of-Thought
IBM Research AI(IBM人工智能研究院)
本文提出Abstract Chain-of-Thought,通过离散潜在推理机制在训练后实现高效推理,减少推理token数量同时保持性能,发现抽象词汇的幂律分布。
2026-04-27 cs.CL
GCoT-Decoding: Unlocking Deep Reasoning Paths for Universal Question Answering
School of Informatics, Xiamen University(厦门大学信息学院)
本文提出GCoT-Decoding策略,结合Fibonacci采样和启发式错误回溯,生成候选解码路径并计算置信度,通过语义相似路径聚合获得共识答案,提升通用问答性能。
2026-04-08 cs.CL
Latent Chain-of-Thought? Decoding the Depth-Recurrent Transformer
Brown University(布朗大学);Harvard University(哈佛大学)
本文借助 Logit Lens 与 Coda Lens 探测 Huginn-3.5B 的算术推理过程,发现其缺乏清晰可解释的潜在 CoT,增加循环深度也仅有边际收益。
2025-09-28 cs.AI cs.CL cs.LG
"Well, Keep Thinking": Enhancing LLM Reasoning with Adaptive Injection Decoding
Graduate School of Data Science, Seoul National University(首尔国立大学数据科学研究生院)
针对显式 CoT 提示依赖人工工程的问题,本文提出自适应注入解码策略,在模型即将过早结束时注入短语以延续推理,实验表明其可显著增强 LLM 推理能力。
2025-03-18 cs.CL
Skeleton-of-Thought: Prompting LLMs for Efficient Parallel Generation
Tsinghua University(清华大学);Microsoft Research(微软研究院);KU Leuven(鲁汶大学);Infinigence-AI(无涯智算AI)
针对LLM顺序解码导致的高延迟,本文提出Skeleton-of-Thought,先生成答案骨架再并行补全各要点,在12个LLM上实现加速并可能改善答案质量。
2024-03-02 cs.AI cs.CL
Multilingual Contrastive Decoding via Language-Agnostic Layers Skipping
Nanjing University(南京大学);EPFL(洛桑联邦理工学院)
针对DoLa在非英语任务中表现不佳的问题,提出通过跳过底层语言无关层获取有效业余logits的多语言对比解码算法,在11种语言的推理基准上优于基线,显著提升LLM思维链推理准确率。
2024-07-15 cs.CL
Less Languages, Less Tokens: An Efficient Unified Logic Cross-lingual Chain-of-Thought Reasoning Framework
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));Central South University(中南大学);Text Computing and Cognitive Intelligence Ministry of Education Engineering Research Center, Guizhou University(贵州省教育厅Text Computing and Cognitive Intelligence工程研究中心,贵州大学);University of Science and Technology Beijing(北京科技大学);Shanghai Jiao Tong University(上海交通大学);Shanghai Innovation Institute(上海创新研究院)
本文提出UL-XCoT框架,通过减少语言和令牌数量提升跨语言推理效率,实验证明在多语言任务中准确率高且令牌成本降低超50%。
2026-04-22 cs.CL
Beyond Surface Reasoning: Unveiling the True Long Chain-of-Thought Capacity of Diffusion Large Language Models
LARG, Research Center for Social Computing and Interactive Robotics, Harbin Institute of Technology(LARG,社会计算与交互机器人研究中心,哈尔滨工业大学);School of Computer Science and Engineering, Central South University(计算机科学与工程学院,中南大学);The University of Hong Kong(香港大学);Shanghai Jiao Tong University(上海交通大学);ByteDance Seed (China)(字节跳动种子(中国))
本文揭示扩散大语言模型中并行解码与严谨推理因果顺序之间的核心矛盾(PSC),并提出面向并行的提示、扩散早停和并行扩展等实用缓解措施,以降低该矛盾引发的低效与无效性。
2025-10-10 cs.CL
A Formal Comparison Between Chain of Thought and Latent Thought
Department of Computer Science, The University of Tokyo, Japan(东京大学计算机科学系)
本文对比了链式思维与潜在思维,发现潜在思维在并行计算上更高效,而链式思维能通过随机解码实现近似计数与采样。
2026-05-12 cs.AI cs.CL cs.LG
Sample Smart, Not Hard: Correctness-First Decoding for Better Reasoning in LLMs
ETH Zurich(苏黎世联邦理工学院);Max Planck Institute for Intelligent Systems(智能系统马克斯·普朗克研究所)
针对大语言模型推理,提出基于正确性而非置信度的解码策略,通过贪心阈值和校准截断方法,在数学和通用推理基准上取得性能提升。
2025-10-07 cs.CL cs.LG
A Controlled Study of Decoding-Time Truthfulness Methods on Instruction-Tuned LLMs
Independent Researcher(独立研究员)
本研究通过分析每层令牌logits特征,提出CHAIR框架检测幻觉,在TruthfulQA和MMLU上显著提升零样本检测准确率。
2026-06-12 cs.CL
AdaDecode: Accelerating LLM Decoding with Adaptive Layer Parallelism
University of Virginia(弗吉尼亚大学)
AdaDecode通过在高置信度时于中间层提前生成令牌并并行执行剩余计算,无需辅助模型或修改参数即可加速LLM解码,实验显示最高1.73倍加速且输出与标准自回归解码一致。
2025-06-04 cs.CL
ZoomR: Memory Efficient Reasoning through Multi-Granularity Key Value Retrieval
Rensselaer Polytechnic Institute(罗切斯特理工学院);IBM Research(IBM研究院)
ZoomR通过多粒度键值检索实现内存高效的推理,减少内存使用,适用于长输出生成任务。
2026-04-13 cs.AI cs.CL cs.LG
SoftCoT: Soft Chain-of-Thought for Efficient Reasoning with LLMs
Joint NTU-UBC Research Centre of Excellence in Active Living for the Elderly(联合NTU-UBC老年人积极生活卓越研究中心);College of Computing and Data Science(计算与数据科学学院)
SoftCoT提出一种无需修改LLM的连续空间推理方法,利用轻量辅助模型生成软思维令牌,经投影模块映射,在五个基准上通过参数高效微调提升推理性能。
2025-05-27 cs.CL
Chain of Preference Optimization: Improving Chain-of-Thought Reasoning in LLMs
Sea AI Lab(Sea AI实验室);School of Computing and Information Systems, Singapore Management University(新加坡管理大学计算与信息系统学院)
针对大语言模型思维链推理路径非最优、思维树方法推理复杂度高的问题,提出偏好优化链方法,借助思维树搜索树的偏好信息微调模型,让思维链推理达到更优性能且降低推理负担。
2024-10-31 cs.CL cs.LG
DiffCoT: Diffusion-styled Chain-of-Thought Reasoning in LLMs
Hong Kong Baptist University(香港 Baptist 大学);Harbin Institute of Technology(哈尔滨工业大学)
DiffCoT通过扩散风格的推理链框架,改进了大语言模型在多步数学问题解决中的鲁棒性和错误纠正能力,通过迭代去噪过程实现中间步骤的统一生成与回顾性修正。
2026-04-19 cs.CL
Decoding Knowledge in Large Language Models: A Framework for Categorization and Comprehension
Rutgers University(罗格斯大学)
本文提出 K-(CSA)^2 框架,从正确性和置信度两个维度将大语言模型知识分为六类,并揭示思维链与 RLHF 对内部和外部知识结构的改变以及知识在不同网络层中的分布规律。
2025-01-02 cs.CL
Cognition-of-Thought Elicits Social-Aligned Reasoning in Large Language Models
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Tsinghua University(清华大学)
本文提出思维认知(CooT)解码框架,通过认知感知器监控生成过程并干预违规,将安全对齐转为动态可审计过程,显著提升模型安全性与社会推理能力。
2025-10-14 cs.CL
Diversity of Thought Improves Reasoning Abilities of LLMs
Microsoft(微软公司);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Stanford University(斯坦福大学);Microsoft Research(微软研究院)
本文提出通过自动生成多样化输入提示并集成多种推理路径的方法DIVSE和IDIV-SE,以提升大语言模型的复杂推理能力,并在规划与图着色基准上取得最先进性能。
2024-02-23 cs.AI cs.CL
EndoCoT: Scaling Endogenous Chain-of-Thought Reasoning in Diffusion Models
Shanghai AI Laboratory(上海人工智能实验室);Xi’an Jiaotong University(西安交通大学);University of Science and Technology of China(中国科学技术大学);Shanghai Jiaotong University(上海交通大学);Fudan University(复旦大学);The Chinese University of Hong Kong(香港中文大学)
提出EndoCoT框架,通过迭代思维引导模块激活MLLM的推理潜力,并利用终端思维接地模块确保推理轨迹与文本监督对齐,使DiT逐步执行复杂任务,在多个基准上平均准确率达92.1%。
2026-06-19 cs.CL cs.CV
Thoughts Are All Over the Place: On the Underthinking of o1-Like LLMs
Tencent AI Lab(腾讯AI实验室)
本文揭示类o1大语言模型频繁切换推理思路导致的“思考不足”问题,提出通过token效率量化该现象,并设计带思路切换惩罚的解码策略TIP,在无需微调的情况下提升挑战性数据集上的推理准确率。
2025-02-18 cs.CL
TaDA: Training-free recipe for Decoding with Adaptive KV Cache Compression and Mean-centering
AMD
TaDA提出一种免训练的KV缓存量化压缩方法,通过按层自适应调整量化精度并结合均值中心化消除离群值单独处理,将内存占用降至16位基线的27%且精度可比。
2025-06-05 cs.CL
Distillation Contrastive Decoding: Improving LLMs Reasoning with Contrastive Decoding and Distillation
VietAI Research(VietAI研究院)
提出Distillation Contrastive Decoding(DCD)方法,结合对比提示与Dropout、Quantization等蒸馏技术,免除业余模型需求并降低内存,在GSM8K和StrategyQA等基准上显著提升LLMs推理性能。
2024-08-23 cs.AI cs.CL cs.LG
ThinkBrake: Efficient Reasoning via Log-Probability Margin Guided Decoding
Graduate School of Data Science, Seoul National University(数据科学研究生院,首尔国立大学)
ThinkBrake通过监控句子边界处最高延续词与终止词的对数概率边际,减少过度推理,提升推理效率和准确性。
2026-04-20 cs.CL
SoftCoT++: Test-Time Scaling with Soft Chain-of-Thought Reasoning
Joint NTU-UBC Research Centre of Excellence in Active Living for the Elderly(联合NTU-UBC老龄化积极生活卓越研究中心);Alibaba-NTU Global e-Sustainability CorpLab (ANGEL)(阿里巴巴-NTU全球可持续性企业实验室(ANGEL));College of Computing and Data Science, Nanyang Technological University, Singapore(南洋理工大学计算与数据科学学院);KTH Royal Institute of Technology, Sweden(瑞典皇家理工学院)
SoftCoT++通过扰动潜在思维和对比学习,将SoftCoT扩展到测试时扩展范式,实现多样化思维路径探索,在多个推理基准上显著提升性能。
2025-05-27 cs.CL
MeTHanol: Modularized Thinking Language Models with Intermediate Layer Thinking, Decoding and Bootstrapping Reasoning
Beihang University(北航);Beijing Institute of Technology(北京理工大学);Geely AI Lab(吉利人工智能实验室)
本文提出MeTHanol模块化思维语言模型,通过中间层思维解码与双阶段推理提升LLM的认知能力,实验表明其在理论思维和 vignette 任务中表现出色,能规划、反思并生成类人回答。
2026-04-29 cs.AI cs.CL cs.LG
Semantic uncertainty in advanced decoding methods for LLM generation
EPFL, Lausanne Switzerland(日内瓦联邦理工学院)
本研究探究推测采样与思维链解码等高级解码方法对大型语言模型输出语义不确定性的影响,通过问答、摘要和代码生成实验发现,结构化解码可在保持或提升质量的同时增加语义多样性,如代码生成Pass@2提升48.8%,摘要生成ROUGE分数更优,挑战了多样性-准确性权衡的传统假设。
2025-06-17 cs.AI cs.CL
Spend Bytes on Breadth: Precision-Count Trade-offs for Decode-Time KV Compression in Long Chain-of-Thought Reasoning
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对长思维链推理中KV缓存压缩,提出BreadthKV方法,通过量化与驱逐结合,在固定字节预算下优先增加缓存令牌数量而非精度,经60问题校准位宽,在多个基准上优于仅驱逐和现有方法。
2026-10-08 cs.CL
Reprompting: Automated Chain-of-Thought Prompt Inference Through Gibbs Sampling
Microsoft Research(微软研究院)
Reprompting通过吉布斯采样自动推断思维链提示,无需人工干预,在20个推理任务上平均比人工提示高9.4个百分点,优于现有优化算法。
2024-05-23 cs.AI cs.CL cs.LG
Decoding the AI Pen: Techniques and Challenges in Detecting AI-Generated Text
Microsoft(微软公司)
本文探讨LLMs广泛使用带来的挑战,重点研究AI生成文本检测的现有策略、理论可行性及未来研究方向。
2024-06-26 cs.AI cs.CL cs.LG
Latent Reasoning with Normalizing Flows
University of Pennsylvania(宾夕法尼亚大学);UC San Diego(圣地亚哥大学);Meta
提出NF-CoT框架,通过归一化流在LLM内部建模连续潜在思维,保留自回归生成、概率采样、KV缓存解码和似然估计等优势,在代码生成任务中提升通过率并降低推理成本。
2026-06-04 cs.CL cs.LG
The Image Still Has a Say: Final-Answer Repair for Multimodal Chain-of-Thought
Fuzhou University(福州大学)
该研究针对多模态思维链推理易偏离图像导致最终答案错误的问题,提出无训练的TVER方法,通过在推理轨迹固定时将文本注意力转移到图像补丁修复答案,在多基准和骨干模型上实现了答案提升。
2026-10-14 cs.CL
C3oT: Generating Shorter Chain-of-Thought without Compromising Effectiveness
Beike Inc.(贝壳公司)
针对思维链过长导致解码成本高的问题,提出C3oT框架,通过压缩器、条件训练和条件推理,在保持有效性的同时将CoT长度压缩50%以上。
2024-12-16 cs.CL cs.LG
SCOTT: Self-Consistent Chain-of-Thought Distillation
University of Southern California(南加州大学);Amazon.com Inc(亚马逊公司)
提出SCOTT方法,通过对比解码和反事实推理目标,从大型教师模型蒸馏出小型自一致思维链模型,生成更忠实的推理并提升决策性能。
2023-08-30 cs.CL
Contrastive Decoding Improves Reasoning in Large Language Models
University of California, San Diego(加州大学圣地亚哥分校);Meta AI
本文提出将无需训练、计算轻量的 Contrastive Decoding 用于 LLM 推理,使 LLaMA-65B 在 HellaSwag、GSM8K 等基准上超越多个更大或更强模型。
2023-09-29 cs.AI cs.CL
Vision Is Not Overhead: One-Pass Block Drafting for Lossless Speculative Decoding in Vision-Language Models
Korea University(高丽大学);Zoom Communications(Zoom通讯公司);Soongsil University(崇实大学);Konkuk University(建国大学);Yonsei University(延世大学)
针对视觉语言模型投机解码的缺陷,提出GLANCE单遍块草稿方法,实现无损解码,解码速度较自回归最高提升2.93倍,接受块长度提升2.7倍。
2026-10-07 cs.AI cs.CL cs.CV
AsyncSpade: Efficient Test-Time Scaling with Asynchronous Sparse Decoding
University of North Carolina, Chapel Hill(北卡罗来纳大学 Chapel Hill 分校);Johns Hopkins University(约翰霍普金斯大学);University of California, Los Angeles(加州大学洛杉矶分校)
AsyncSpade通过异步解耦KV缓存过滤与自回归解码,利用轻量时间回归预测查询状态,在长CoT测试时扩展中消除顺序依赖,显著降低TPOT并保持模型精度。
2025-10-08 cs.CL
Chain-of-Thought Prompting for Speech Translation
NVIDIA(英伟达)
提出利用ASR转录作为提示,通过类似思维链的两步过程引导语音翻译,采用LoRA适配T5,在6个AST任务上平均提升2.4 BLEU点。
2025-03-26 cs.CL
Beyond Tokens: Semantic-Aware Speculative Decoding for Efficient Inference by Probing Internal States
Centre for Software Excellence, Huawei, Canada(华为加拿大软件 excellence 中心);Department of Computer Science, University of Manitoba, Canada(曼尼托巴大学计算机科学系);School of Computing, Queen’s University, Canada(皇后大学计算学院)
SemanticSpec通过探测模型内部状态,实现基于语义的高效推测解码,提升大型推理模型的推理效率。
2026-09-02 cs.CL cs.PF
Training Large Language Models to Reason in a Continuous Latent Space
FAIR at Meta(Meta 的 FAIR)
本文提出名为Coconut的连续思维链新范式,将LLM推理状态表示为连续潜在空间中的隐藏状态,支持广度优先搜索,在需大量搜索的逻辑推理任务上优于CoT,实现更优的准确率效率权衡。
2026-08-25 cs.CL
The Expressive Power of Transformers with Chain of Thought
New York University(纽约大学);Allen Institute for AI(艾伦人工智能研究所)
该研究从计算复杂性角度证明,思维链长度能从根本上提升仅解码器Transformer的推理能力,并给出不同步数下其能力对应的精确复杂性类刻画。
2024-04-11 cs.CC cs.CL cs.LG
SPOT: Span-level Pause-of-Thought for Efficient and Interpretable Latent Reasoning in Large Language Models
School of New Media and Communication, Tianjin University(新媒体与传播学院,天津大学);School of Computer Science and Engineering, Beihang University(计算机科学与工程学院,北航大学)
SPOT通过压缩显式推理步骤为紧凑的潜在暂停token,提升大语言模型的推理效率和可解释性。
2026-03-06 cs.CL
Your Transformer Can Hold Two Thoughts at Once: Evidence of Linear Superposition in LLMs
本文提出叠加线性假设,证明LLMs在输入线性组合时输出叠加分布,通过轻量级微调恢复线性,并引入引导解码实现单次前向传播生成两个连贯续写。
2026-09-25 cs.AI cs.CL
Diffusion of Thoughts: Chain-of-Thought Reasoning in Diffusion Language Models
The University of Hong Kong(香港大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Tencent AI Lab(腾讯AI Lab)
本文提出 Diffusion-of-Thought(DoT),让推理步骤在扩散语言模型中逐步扩散,以更灵活地权衡计算与性能,并在算术、逻辑和数学题上以小模型超越大型自回归模型。
2024-12-05 cs.AI cs.CL cs.LG