Rectifying LLM Thought from Lens of Optimization
Monash University（莫纳什大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
本文通过优化视角分析LLM推理过程，提出RePro方法改进推理性能，减少过度思考等亚优行为。
2026-04-07 cs.AI cs.CL
Reinforcing Chain-of-Thought Reasoning with Self-Evolving Rubrics
National University of Singapore（新加坡国立大学）
RLCER通过自演化评分标准提升链式推理的奖励机制，无需人工标注即可实现更高效的推理性能。
2026-02-11 cs.AI cs.LG
Latent Chain-of-Thought for Visual Reasoning
Rochester Institute of Technology（罗切斯特技术研究所）；Snap Inc.（Snap公司）；University of Rochester（罗切斯特大学）；DEVCOM Army Research Laboratory（陆军研究实验室）
针对大视觉语言模型现有推理训练算法泛化差、依赖偏差奖励模型的问题，提出基于变分推断的潜思维链训练方法，结合稀疏奖励与贝叶斯推断缩放策略，在7个基准上提升了模型推理的有效性、泛化性与可解释性。
2025-10-29 cs.AI cs.CL
Controllable Mathematical Reasoning via Self-Optimizing Thought Vectors
Kepler（开普勒）
本文提出利用自优化思维向量与熵最小化实现可控数学推理，在GSM8K上以Gemma-2-9B达到90.1%准确率，无需外部奖励标注，验证了框架的有效性。
2025-10-25 cs.AI
Monitoring Emergent Reward Hacking During Generation via Internal Activations
Technical University of Berlin（柏林技术大学）；BIFOLD - Berlin Institute for the Foundations of Learning and Data（柏林学习与数据基础研究所）
通过分析内部激活来监控生成过程中的奖励黑客行为，提升微调语言模型的安全性。
2026-03-04 cs.AI cs.CL
Latent Thinking Optimization: Your Latent Reasoning Language Model Secretly Encodes Reward Signals in Its Latent Thoughts
Department of Computer Science and Engineering, The Ohio State University, USA（计算机科学与工程系，俄亥俄州立大学）；Department of Biomedical Informatics, The Ohio State University, USA（生物医学信息学系，俄亥俄州立大学）；Translational Data Analytics Institute, The Ohio State University, USA（转化数据分析研究所，俄亥俄州立大学）
本文提出LTO方法，通过潜在奖励模型优化LLMs的潜在推理过程，提升推理效率与准确性。
2026-02-24 cs.CL
Demystifying Multilingual Chain-of-Thought in Process Reward Modeling
School of Informatics, University of Edinburgh（爱丁堡大学信息学院）；Monash University（墨尔本大学）
本文通过训练七种语言的多语言过程奖励模型，在11种语言的推理基准上验证其能提升平均准确率并减少早期错误，为多语言复杂推理提供新途径。
2025-09-26 cs.CL
DeepCompress: A Dual Reward Strategy for Dynamically Exploring and Compressing Reasoning Chains
Tencent AI Lab（腾讯AI实验室）
DeepCompress通过双奖励策略动态调整推理链长度，提升大推理模型的准确性和效率，实验显示在数学基准上表现优于基线方法。
2026-03-23 cs.AI cs.CL
GTR: Guided Thought Reinforcement Prevents Thought Collapse in RL-based VLM Agent Training
Tsinghua University（清华大学）；Tencent（腾讯）；Peking University（北京大学）
针对RLVR训练VLM智能体时仅依赖动作结果奖励导致的思维崩溃问题，提出GTR框架，通过自动校正器在每步强化学习中评估并优化推理，显著提升了模型性能与泛化能力且无需密集人工标注。
2025-07-11 cs.AI cs.CV
Latent Thought Flow: Efficient Latent Reasoning in Large Language Models
Singapore Management University（新加坡管理大学）；Ant Group（蚂蚁集团）
提出Latent Thought Flow (LTF)方法，将推理建模为可变长度连续轨迹，通过连续GFlowNet训练采样器匹配奖励后验，在提升准确率9.5%的同时平均减少推理长度27.2%。
2026-06-16 cs.AI cs.LG
Chain-of-thought obfuscation learned from output supervision can generalise to unseen tasks
University of Cambridge（剑桥大学）；Geodesic Research
本文研究了链式思维（CoT）推理中混淆现象的泛化能力，发现模型在学习混淆推理轨迹时，能够将这种混淆行为及其在未见过的任务中表现出来，从而影响模型的可监控性。
2026-05-20 cs.AI
SCOUT: Unlocking Enhanced Spatial Reasoning via Structured Chain-of-Thought and Multi-Objective Process Reward
Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）
SCOUT是结合结构化思维链与多目标过程奖励的视觉-语言模型，通过定制数据集训练，在空间推理任务上超越基线模型与GPT-4o，且具备跨图像、视频的泛化能力。
2026-08-13 cs.AI cs.CV
Process-based Self-Rewarding Language Models
Nanjing University（南京大学）；The University of Manchester（曼彻斯特大学）；Microsoft Research Asia（微软亚洲研究院）
针对现有自奖励方法在数学推理中效果不佳的问题，提出基于过程的自奖励流程，引入长思维推理、逐步LLM评判与逐步偏好优化，显著提升了模型在多个数学推理基准上的性能。
2025-03-05 cs.AI cs.CL
Rethinking Reasoning Quality in Large Language Models through Enhanced Chain-of-Thought via RL
Beijing University of Posts and Telecommunications（北京邮电大学）
提出DRER奖励框架，通过推理质量奖励和动态长度优势优化思维链，在Logictree基准上7B模型达GPT-o3-mini水平，置信度提升30%。
2025-09-07 cs.AI
HMPO: Hybrid Median-length Policy Optimization for Chain-of-Thought Compression
Li Auto Inc.（Li Auto公司）
提出HMPO，一种单阶段强化学习框架，通过自适应中位数预算、余弦衰减令牌奖励和乘法奖励公式，在数学数据上训练后实现19%-46%的令牌压缩且精度损失极小，并泛化至多种任务。
2026-06-01 cs.CL cs.LG
ReasonFlux-PRM: Trajectory-Aware PRMs for Long Chain-of-Thought Reasoning in LLMs
UIUC（伊利诺伊大学香槟分校）；Princeton University（普林斯顿大学）；Cornell University（康奈尔大学）；ByteDance（字节跳动）
提出轨迹感知过程奖励模型ReasonFlux-PRM，融合步骤级与轨迹级监督，在离线/在线设置下用于数据筛选、强化学习及测试时扩展，在AIME等基准上显著提升性能。
2025-09-25 cs.CL
Test-Time Scaling with Diffusion Language Models via Reward-Guided Stitching
Huawei London Research Center（华为伦敦研究中心）；MVP Lab（MVP实验室）
通过奖励引导缝合实现扩散语言模型的测试时扩展，提升数学和编程任务的准确率并降低延迟
2026-10-09 cs.AI cs.CL
MetaScale: Test-Time Scaling with Evolving Meta-Thoughts
University of California, Davis（加州大学戴维斯分校）；University of Southern California（南加州大学）；Microsoft Research（微软研究院）
本文提出 METASCALE 测试时扩展框架，通过多臂老虎机选择与遗传算法演化任务自适应元思维，提升 LLM 推理准确率和泛化性。
2025-03-17 cs.AI cs.CL cs.LG
GTPO and GRPO-S: Token and Sequence-Level Reward Shaping with Policy Entropy
Northeastern University（东北大学）
本文提出GTPO和GRPO-S两种算法，通过引入熵权机制实现token和序列级的细粒度奖励塑造，提升大型语言模型在长链推理任务中的稳定性与性能。
2026-02-05 cs.AI cs.CL
Counterfactual Simulation Training for Chain-of-Thought Faithfulness
Stanford University（斯坦福大学）
本文提出反事实模拟训练方法，通过奖励使模拟器准确预测模型输出来提升思维链的可信度，并在不同设置中验证其有效性。
2026-08-10 cs.AI cs.CL
R3-RAG: Learning Step-by-Step Reasoning and Retrieval for LLMs via Reinforcement Learning
School of Computer Science, Fudan University（复旦大学计算机学院）
R3-RAG通过强化学习让大语言模型逐步推理与检索，以解决RAG中稠密检索器的瓶颈，提升答案正确性并迁移至不同检索器。
2025-10-24 cs.AI cs.CL
Uncertainty of Thoughts: Uncertainty-Aware Planning Enhances Information Seeking in Large Language Models
National University of Singapore（新加坡国立大学）；Nanyang Technological University（南洋理工大学）；University College London（伦敦大学学院）；Yale University（耶鲁大学）；The Hong Kong University of Science and Technology（香港科技大学）；University of Washington（华盛顿大学）
提出Uncertainty of Thoughts (UoT)算法，通过不确定性感知模拟、基于不确定性的奖励和奖励传播机制，增强大型语言模型主动提问寻求信息的能力，在医疗诊断等任务中平均成功率提升38.1%。
2024-11-13 cs.AI cs.CL cs.LG
From Roots to Rewards: Dynamic Tree Reasoning with Reinforcement Learning
School of Computation, Information and Technology（计算、信息与技术学院）
针对静态树推理的局限，提出动态强化学习框架，增量构建推理树并学习最优动作策略，兼顾概率严谨性与计算效率，提升复杂问答性能。
2025-09-26 cs.AI cs.CL
Analyzing and Improving Chain-of-Thought Monitorability Through Information Theory
University of Cambridge（剑桥大学）；Qualcomm AI Research（高通人工智能研究）
本文通过信息论分析，提出两种方法改进链式思维监控器的可监控性，以提高监控准确性并防止奖励黑客问题。
2026-02-20 cs.AI cs.CL cs.IT
Think When You Need: Self-Adaptive Chain-of-Thought Learning
Xiaohongshu Inc（小红书公司）
针对思维链推理在简单问题上过度思考的低效问题，提出通过长度与质量比较构建奖励的自适应学习方法，可在保持准确率的同时生成更简洁的推理，还适用于无真实标签的模糊任务。
2025-05-21 cs.AI cs.CL cs.LG
Audio-DeepThinker: Progressive Reasoning-Aware Reinforcement Learning for High-Quality Chain-of-Thought Emergence in Audio Language Models
Tencent AI Lab（腾讯AI实验室）；The Hong Kong University of Science（香港科技大学）
本文提出Audio-DeepThinker框架，通过混合奖励和渐进式课程学习提升音频推理质量，实现高质量推理链涌现，取得多项评测冠军。
2026-04-20 cs.CL cs.SD
Thinking on the Fly: Test-Time Reasoning Enhancement via Latent Thought Policy Optimization
University of Oxford（牛津大学）；University College London（伦敦大学学院）；University of Chinese Academy of Sciences（中国科学院大学）
LTPO通过在测试时优化潜在思维向量，提升LLM在复杂推理任务中的鲁棒性和准确性。
2026-01-26 cs.AI cs.CL
Stepwise Penalization for Length-Efficient Chain-of-Thought Reasoning
University of California, San Diego（加州大学圣地亚哥分校）；Amazon（亚马逊）
SWAP通过逐步自适应惩罚减少推理链长度并提升准确性。
2026-02-27 cs.AI cs.CL cs.LG
Aligned, Orthogonal or In-conflict: When can we safely optimize Chain-of-Thought?
Google DeepMind（谷歌DeepMind）
本文探讨了在训练过程中思维链（CoT）的可监控性受训练影响的问题，提出了一种框架来预测何时以及为何发生冲突，并通过实验验证了正交和冲突奖励项对CoT监控性的影响。
2026-03-31 cs.AI cs.LG
Self-Compression of Chain-of-Thought via Multi-Agent Reinforcement Learning
Renmin University of China（中国人民大学）；Xiaohongshu Inc.（小红书公司）；Institute of Automation,Chinese Academy of Sciences（中国科学院自动化研究所）；University of Southern California（南加州大学）；Shandong University（山东大学）
通过多智能体强化学习实现链式思维的自我压缩，有效减少响应长度并提升准确性。
2026-01-29 cs.AI cs.CL
Legibility is Not Interpretability: Comparing Judged and Actual Importance in Chain-Of-Thought Reasoning
ETH Zürich（苏黎世联邦理工学院）；MIT（麻省理工学院）；Cohere（科here公司）
该研究对比思维链推理的可理解性与实际重要性，发现LLM评判识别高优势步骤的能力有限，微调步骤级批评家仅对错误响应有效，警示勿将推理轨迹可理解性等同于可解释性。
2026-09-04 cs.CL cs.LG
Outcome Rewards Do Not Guarantee Verifiable or Causally Important Reasoning
Stanford University（斯坦福大学）
本文通过实验发现，尽管RLVR提升了任务准确率，但并未可靠提升推理的因果重要性和充分性，通过预训练可改善此问题，辅助奖励能进一步提升推理质量。
2026-04-23 cs.CL
GTR-CoT: Graph Traversal as Visual Chain of Thought for Molecular Structure Recognition
Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；East China Normal University（华东师范大学）；Peking University（北京大学）；Shanghai Jiaotong University（上海交通大学）；Tongji University（同济大学）；Fudan University（复旦大学）；Northwestern Polytechnical University（西北工业大学）
GTR-CoT通过图遍历机制和强化学习提升手绘分子结构识别性能，构建首个细粒度评估基准。
2026-01-13 cs.AI q-bio.QM
Improving Chain-of-Thought Efficiency for Autoregressive Image Generation
Meta Superintelligence Labs（Meta超智能实验室）；Meta FAIR；Cornell University（康奈尔大学）；Stony Brook University（石溪大学）
针对自回归图像生成中思维链的冗余问题，提出ShortCoTI轻量优化框架，通过自适应奖励强化学习将提示推理长度减少54%，同时保持或提升图像质量。
2025-10-07 cs.AI cs.CL cs.CV
Is It Thinking or Cheating? Detecting Implicit Reward Hacking by Measuring Reasoning Effort
LMU Munich（慕尼黑莱茵河大学）；New York University（纽约大学）；MCML
TRACE通过测量推理努力检测隐式奖励黑客，通过截断推理链并评估预期奖励来识别模型利用漏洞的行为，提升数学和编码任务的监控效果。
2026-03-02 cs.AI cs.CL
DuraS2ST: Chain-of-Thought and Reinforcement Learning for Duration-Aligned Speech-to-Speech Translation
The Chinese University of Hong Kong（香港中文大学）；Microsoft Corporation（微软公司）
DuraS2ST提出时长对齐推理框架，利用思维链规划与强化学习优化，在CVSS-T上平衡翻译质量与时长一致性，优于现有基线。
2026-09-29 cs.CL cs.SD eess.AS
Beyond Outcome Verification: Verifiable Process Reward Models for Structured Reasoning
IBM Research Europe - Ireland（IBM欧洲研究院-爱尔兰）；Dublin City University（都柏林城市大学）；IT:U Interdisciplinary Transformation University Austria（IT:U跨学科转型大学奥地利）
本文提出可验证过程奖励模型，用于提升结构化推理的连贯性和准确性，实验显示其在医学证据评估中优于现有方法。
2026-01-23 cs.AI cs.CL
Reward Reasoning Model
Microsoft Research（微软研究院）；Tsinghua University（清华大学）；Peking University（北京大学）
针对测试时计算量难以有效用于提升奖励模型性能的问题，研究提出Reward Reasoning Models，通过强化学习框架培育自我进化的思维链奖励推理能力，可自适应利用测试时计算，在多领域奖励建模基准上取得更优性能。
2025-05-20 cs.CL
Learning to Rank Chain-of-Thought: Using a Small Model
针对大语言模型数学推理可靠性差、验证成本高的问题，提出仅55M参数的轻量能量结果奖励模型EORM，用结果标签训练以排序思维链解，提升小模型推理准确率且泛化性好，兼具效率与鲁棒性。
2025-09-30 cs.AI cs.CL cs.LG
AdaMCoT: Rethinking Cross-Lingual Factual Reasoning through Adaptive Multilingual Chain-of-Thought
本文提出AdaMCOT框架，通过动态路由中间'思考语言'中的推理过程提升多语言事实推理能力，实验表明在低资源语言中表现显著提升。
2026-04-14 cs.AI cs.CL
DPRM: A Dual Implicit Process Reward Model in Multi-Hop Question Answering
DPRM通过双隐式过程奖励模型提升多跳问答任务的推理准确性与一致性。
2025-12-01 cs.AI cs.CL
History-Aware Cross-Attention Reinforcement: Self-Supervised Multi Turn and Chain-of-Thought Fine-Tuning with vLLM
UC Berkeley, School of Information（伯克利大学信息学院）
本研究提出在vLLM上实现的CAGSR框架扩展CAGSR-vLLM-MTC，通过改造内核异步捕获注意力权重、泛化奖励函数适配多轮对话与思维链推理，还提出熵钳制机制防注意力崩塌，为相关后续研究提供方向。
2025-06-08 cs.CL
SVoT: State-aware Visualization-of-Thought for Spatial Reasoning via Reinforcement Learning
School of Computing and Information Systems, The University of Melbourne（墨尔本大学计算与信息系统学院）
提出SVoT框架，通过强化学习生成可验证的中间状态和可视化，结合文本与视觉推理链，提升多模态大模型在多跳空间推理中的可靠性。
2026-06-11 cs.AI
Agentic Chain-of-Thought Steering for Efficient and Controllable LLM Reasoning
University of California San Diego（加州大学圣地亚哥分校）；Intuit（财捷集团）
提出Agentic Chain-of-Thought Steering (ACTS)方法，通过强化学习训练控制器智能体在推理过程中自适应地选择推理策略和引导短语，实现预算感知的策略控制，从而在保持推理质量的同时显著节省token，并支持准确率-效率的可控权衡。
2026-09-01 cs.AI cs.CL
The Art of Efficient Reasoning: Data, Reward, and Optimization
The University of Hong Kong（香港大学）；LLM Department, Tencent（腾讯人工智能实验室）
本文系统研究了大型语言模型的高效推理机制，通过精细化指标评估发现训练过程分为长度适应与推理优化两阶段，提出保持正奖励密度以避免短即正确陷阱，并验证了在不同领域和难度下的通用性。
2026-03-20 cs.AI cs.CL
TCPO: Thought-Centric Preference Optimization for Effective Embodied Decision-making
Tsinghua University（清华大学）；Meituan（美团）；Northeastern University（东北大学）；Beijing University of Posts and Telecommunications（北京邮电大学）；Meta AI；Wuhan University（武汉大学）
针对具身决策中VLM微调后响应迟缓与幻觉问题，提出TCPO方法，通过逐步偏好优化和动作一致性约束，在ALFWorld中平均成功率26.67%，较RL4VLM提升6%。
2025-09-10 cs.AI
Reinforcing the Diffusion Chain of Lateral Thought with Diffusion Language Models
Zhejiang Univeristy（浙江大学）；MAPLE Lab, Westlake University（西湖大学MAPLE实验室）；Matterwave Intelligence；Institute of Advanced Technology, Westlake Institute for Advanced Study（西湖研究所以高级技术研究所）
本文提出横向思维扩散链（DCoLT）推理框架，通过强化学习优化扩散语言模型的逆向扩散中间步骤，在数学和代码生成任务上显著提升了模型推理准确率。
2025-10-31 cs.CL
InterSketch: An Interleaved Reasoning Model with Self-correcting Visual Sketch and Stepwise Reward
Shanghai Jiao Tong University（上海交通大学）；SenseTime Research（商汤科技研究院）；Shandong Normal University（山东师范大学）
针对视觉-语言模型在长程视觉推理中文本中心范式局限性的问题，提出InterSketch模型，通过自校正和逐步奖励机制增强交错视觉-文本思维链能力，在视觉推理基准上超越Gemini-3-Pro等专有模型。
2026-05-26 cs.AI cs.CV
Logical Reasoning with Outcome Reward Models for Test-Time Scaling
Department of Data Science & AI, Monash University（数据科学与人工智能系，莫纳什大学）；College of Engineering and Computer Science, VinUniversity（工程与计算机科学学院，文大学）
本文提出用于演绎逻辑推理的结果奖励模型，并通过回声生成技术扩展训练数据中的错误类型，在FOLIO、JustLogic和ProverQA数据集上提升了多个LLMs的推理性能。
2025-08-27 cs.AI cs.CL
SmartSwitch: Advancing LLM Reasoning by Overcoming Underthinking via Promoting Deeper Thought Exploration
The Hong Kong University of Science and Technology（香港科学与技术大学）；The Chinese University of Hong Kong（香港中文大学）；The University of Hong Kong（香港大学）
针对大语言模型长思维链推理中存在的思考不足问题，提出即插即用的SmartSwitch框架，通过监控思维切换、回溯高潜力思维并插入深化提示引导深度探索，显著提升了不同规模大模型在数学推理基准上的性能。
2025-10-22 cs.AI cs.CL cs.LG
SmartThinker: Progressive Chain-of-Thought Length Calibration for Efficient Large Language Model Reasoning
Tsinghua University（清华大学）
针对大型推理模型输出冗余问题，提出基于GRPO的渐进式CoT长度校准方法SmartThinker，通过动态估计最优长度和调节长度奖励系数，在压缩响应长度同时提升准确率。
2026-05-31 cs.CL cs.LG
ChainPrune: Evaluating and Reducing Redundancy in Long Chain-of-Thought Reasoning
Alibaba Group（阿里巴巴集团）
ChainPrune 是一种推理路径语义结构优化方法，通过整合推理路径为树结构、选择主导路径及结合 DPO 与监督损失，减少长思维链冗余，在保精度的同时降低了步骤长度与计算开销。
2026-08-25 cs.AI cs.LG
Value-Guided Search for Efficient Chain-of-Thought Reasoning
针对长上下文推理中过程奖励建模难以定义步骤的问题，提出token级价值模型与分块VGS搜索，并用加权多数投票提升测试时扩展效率、降低推理FLOPs。
2025-09-30 cs.AI cs.CL cs.LG
Efficient Process Reward Modeling via Contrastive Mutual Information
Department of Electrical and Computer Engineering, Seoul National University（首尔大学电气与计算机工程系）；Department of Computer Science and Engineering, Konkuk University（建国大学计算机科学与工程系）
本文提出CPMI方法，通过模型内部概率推断步骤监督，减少标注计算负担，提升过程级评估和数学推理准确性。
2026-04-12 cs.AI cs.CL cs.LG
