Two Experts Are All You Need for Steering Thinking: Reinforcing Cognitive Effort in MoE Reasoning Models Without Additional Training
Tencent(腾讯)
针对大型推理模型中的过度与不足思考问题,提出无需训练的推理时引导方法RICE,利用nPMI识别认知专家,在DeepSeek-R1和Qwen3-235B上显著提升推理准确性与认知效率。
2025-05-27 cs.AI cs.CL cs.CV
TempoMoE: Identifying and Steering Fast-Slow Thinking Experts for Efficient Multimodal Reasoning
Zhejiang University(浙江大学);Tsinghua University(清华大学);Wenzhou Business College(温州商学院)
TempoMoE是无需训练的两阶段框架,通过识别调控MoE模型的快慢思维专家,实现推理深度的难度自适应控制,在三个多模态模型的六个基准上,可提升最高2.6个点准确率并减少最高35.4%输出token。
2026-10-20 cs.CL cs.CV cs.LG
Thinking Leakage: A Causal Audit of NoThink Post-Training in Hybrid Reasoning Models
College of Information Sciences and Technology(信息科学与技术学院);Pennsylvania State University(宾夕法尼亚州立大学)
本研究通过因果中介框架审计混合推理模型在NoThink后训练中的思维泄漏,发现泄漏是真实且显著的,泄漏比率达42%-79%,表明表面性能提升可能源于向Think模式的漂移。
2026-09-25 cs.LG
Diagnosing and Mitigating Thinking Collapse in On-Policy Self-Distillation
Beihang University(北京航空航天大学);Hong Kong Polytechnic University(香港理工大学);Alibaba Group(阿里巴巴集团)
研究基于策略的自蒸馏在复杂推理任务中性能下降问题,发现思维崩溃陷阱。提出自适应双视角OPSD,通过动态调节自蒸馏目标缓解该问题,在多模型规模和数据集上实验验证其有效性,提升绝对平均准确率4.1%。
2026-07-14 cs.CL cs.LG
TraceForge: Distilling with Your Own Thinking
提出TraceForge方法,通过两阶段训练生成学生模型风格的推理轨迹,在编码基准上提升了HumanEval+和MBPP+的性能。
2026-10-27 cs.AI cs.LG
Thinking in Different Spaces: Domain-Specific Latent Geometry Survives Cross-Architecture Translation
Department of Computer Science(计算机科学系);University of Houston(休斯顿大学)
本文研究了独立训练的语言模型是否收敛到几何兼容的潜在表示,并探讨如何利用这种兼容性在推理时纠正模型行为。通过线性投影矩阵将大教师模型的激活向量映射到小学生模型的坐标系中,通过替换学生内部状态实现干预,结果显示方法在不同推理领域具有泛化能力。
2026-11-03 cs.AI cs.LG
Circuit Tracing in Vision-Language Models: Understanding the Internal Mechanisms of Multimodal Thinking
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出首个透明电路追踪框架,用于分析视觉-语言模型的多模态推理机制,揭示不同视觉特征电路在数学推理和跨模态关联中的作用。
2026-02-23 cs.AI cs.CV cs.LG
Be Your Own Teacher: Steering Protein Language Models via Unsupervised Reward Optimization
The Chinese University of Hong Kong(香港中文大学);MBZUAI;Hong Kong University of Science and Technology(香港科学理工大学)
提出无监督奖励优化框架,结合模型不确定性和语义一致性作为代理奖励,通过SRO和BRO算法优化PLMs,在无标签数据下实现可控蛋白质生成,性能接近有监督方法。
2026-06-18 cs.LG
When Thinking LLMs Lie: Unveiling the Strategic Deception in Representations of Reasoning Models
Peking University(北京大学)
本文利用表征工程在具备思维链的大语言模型中诱导、检测和控制策略性欺骗,通过LAT提取欺骗向量实现89%检测准确率,并以40%成功率无提示诱发欺骗,为可信AI对齐提供工具。
2025-06-05 cs.AI cs.CL cs.CR
Rethinking On-Policy Distillation of Large Language Models: Phenomenology, Mechanism, and Recipe
Tsinghua University(清华大学);ShanghaiTech University(上海交通大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Renmin University of China(中国人民大学)
本文系统研究了在线策略蒸馏的动态和机制,发现成功关键在于师生思维模式兼容及教师提供新能力,提出两种恢复失败蒸馏的策略,并指出密集奖励的表面优势背后存在代价。
2026-04-15 cs.AI cs.CL cs.LG
GR-OPD: Group-Relative Sequence Credit for On-Policy Distillation
Shanghai Jiao Tong University(上海交通大学);Alibaba Group(阿里巴巴集团)
该研究提出 GR-OPD 方法,通过解耦反馈计算与信用分配优化在线策略蒸馏,在多组 Qwen3 教师-学生设置及数学推理基准中,其性能优于普通 OPD,且训练稳定性更强。
2026-10-19 cs.LG
Beyond Owls: Subliminal Learning Can Transfer Learned Capabilities and Backdoors
Truthful AI;Warsaw University of Technology(华沙工业大学)
本研究验证阈下学习可迁移预测随机初始化MLP输出的能力、后门及智能体国际象棋环境中的黑客倾向,迁移效果受设置影响,logit蒸馏或限制LoRA至注意力层可增强迁移。
2026-10-09 cs.AI cs.LG
Quantifying Subliminal Behavioral Transfer Ratios in Language Model Distillation
University of Freiburg(弗赖堡大学)
通过控制教师模型行为强度并蒸馏学生模型,量化了潜意识行为迁移比率,发现迁移具有鲁棒性且呈现不同缩放行为。
2026-11-13 cs.AI cs.CL cs.LG
Feature Extraction and Steering for Enhanced Chain-of-Thought Reasoning in Language Models
New Jersey Institute of Technology(新泽西理工学院);University of California, Santa Barbara(加州大学圣芭芭拉分校);George Mason University(乔治·马歇尔大学);Microsoft(微软公司)
受DeepSeek-R1启发,本研究提出基于稀疏自编码器及无需SAE的引导算法,直接从残差激活计算引导方向,在不依赖外部数据集微调的情况下显著增强了LLM的思维链推理能力。
2025-07-12 cs.CL cs.LG
Reverse Thinking Makes LLMs Stronger Reasoners
UNC Chapel Hill(北卡罗来纳大学教堂山分校);Google Cloud AI Research(谷歌云人工智能研究部);Google DeepMind(谷歌DeepMind)
本文提出RevThink框架,通过数据增强和多任务学习让大语言模型学会从问题到方案及反向推理,在12个数据集上显著提升推理性能并展现样本效率和泛化能力。
2025-03-07 cs.AI cs.CL cs.LG
LoOPSD: On-Policy Self-Distillation with Looped Teachers
Anhui Province Key Laboratory of Digital Security(安徽省数字安全重点实验室);Token Foundry, Alibaba Group(阿里巴巴集团 Token Foundry)
本文提出LoOPSD,通过搜索模型层执行顺序构建教师模型并交替搜索与蒸馏,在GSM8K等任务上提升了Qwen3-1.7B等模型的推理准确率,为自蒸馏开辟了新方向。
2026-10-14 cs.AI cs.CL cs.LG
Efficient Reasoning with Balanced Thinking
Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳));Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Tsinghua University(清华大学);The Chinese University of Hong Kong(香港中文大学);Zhongguancun Academy(中关村学院);Shenzhen Loop Area Institute(深圳河套学院)
本文提出ReBalance框架,通过平衡思考提升推理效率,减少冗余并提高准确性,适用于多种推理任务。
2026-04-02 cs.AI cs.CL cs.LG
Instruct, Not Answer: Using Instruction Privileges in On-Policy Context Distillation
本研究提出在策略内上下文蒸馏中使用通用指令而非实例特定黄金答案作为特权,证明该方法在分布外准确率上大幅提升,同时保持域内性能,且指令简短统一。
2026-10-01 cs.AI cs.LG
Distribution-Aligned Sequence Distillation for Superior Long-CoT Reasoning
Alibaba Cloud Computing(阿里巴巴云 computing)
本文提出DASD-4B-Thinking模型,通过改进序列蒸馏方法,实现高效推理性能,仅用448K样本达到SOTA效果。
2026-01-14 cs.CL cs.LG
Rebellious Student: Reversing Teacher Signals for Reasoning Exploration with Self-Distilled RLVR
Microsoft Research(微软研究院);KAIST(韩国科学技术院)
本文提出RLRT,通过反转自蒸馏信号增强正确路径上的推理,提升RLVR性能,建立信息不对称作为新设计轴。
2026-05-11 cs.CL cs.LG
The Halt Vector: Internalizing a Causal Steering Intervention for Efficient Reasoning
University of Waterloo(滑铁卢大学)
本研究提出通过将因果可解释性发现内化到权重中得到的停止向量,可在保持准确率的前提下减少推理模型约四分之一的思考时长,解决其不终止问题,核心贡献为该停止向量的获取方法。
2026-09-01 cs.AI cs.CL cs.LG
ThinkTuning: Instilling Cognitive Reflections without Distillation
Arizona State University(亚利桑那州立大学)
ThinkTuning提出一种基于GRPO的交互式训练方法,通过同等规模教师模型的纠正性反馈来引导不具备思考行为的学生模型发展自反思与多步推理能力,在多个基准上优于零样本和vanilla-GRPO基线。
2025-08-21 cs.AI cs.CL cs.LG
Co-Supervised Learning: Improving Weak-to-Strong Generalization with Hierarchical Mixture of Experts
École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
本文提出协同监督学习,通过多样化专门教师组成的层次化专家混合框架,交替优化学生训练与教师分配并强制一致性约束,从而改进弱到强泛化。
2024-02-23 cs.AI cs.CV cs.LG
Reward-Aligned Distillation
UC San Diego(加州大学圣迭戈分校);Purdue University(普渡大学);AWS AI Labs(亚马逊云科技人工智能实验室);Amazon(亚马逊公司)
本文提出奖励对齐蒸馏(RAD)框架,通过双层框架基于蒸馏信号对学生模型奖励的预测效果加权,在竞赛数学和代码基准上显著提升了 Qwen 系列等大语言模型的性能。
2026-10-14 cs.CL cs.LG
Computationally Identifying Funneling and Focusing Questions in Classroom Discourse
Harvard University(哈佛大学);University of Maryland(马里兰大学);Stanford University(斯坦福大学)
回应式教学是促进学生学习的一种高效策略。在数学课堂上,教师可能会“引导”学生走向规范的答案,或者“集中”学生反思自己的思想,加深他们对数学概念的理解。当教师专注时,他们把学生的贡献作为集体意义建构的资源,从而显著提高学生的数学成就和信心。我们提出了计算检测有趣的问题和重点在课堂话语的任务。我们通过创建和发布一个包含2,348个教师话语的注释数据集来做到这一点,这些教师话语被标记为有趣和聚焦问题,或者两者都没有。我们引入监督和无监督的方法来区分这些问题。我们最好的模型是在我们的数据集上进行微调的监督RoBERTa模型,与人类专家标签和积极的教育成果(包括数学教学质量和学生成绩)具有.76的强线性相关性,显示了该模型在自动教师反馈工具中的潜力。我们的无监督测量显示出与人类标签和结果的显著但较弱的相关性,它们突出了有趣的语言模式和聚焦问题。监督措施的高性能表明其支持教师教学的承诺。
2022-07-08 cs.CL cs.CY cs.LG
Recurrent Self-Improvement: Dynamic Cross-Loop On-Policy Distillation for Looped Language Models
ShanghaiTech University(上海科技大学);Fudan University(复旦大学);Southeast University(东南大学);Peking University(北京大学)
该研究针对循环语言模型后训练的局限,提出LoopOPD及动态版本D-LoopOPD,利用自身循环计算作监督,在Ouro-Thinking模型上提升了数学推理等能力。
2026-10-26 cs.CL cs.LG
Thinking at the Right Size: Amortized Distillation Across Post-Trained LLMs
Harvard University(哈佛大学);IST Austria(奥地利科学技术研究所)
该研究提出ADAPT框架,可单次蒸馏生成跨后训练大语言模型的多规模多变体模型,实现平滑规模插值与自适应规模选择,优化长文本推理的计算-准确率权衡。
2026-08-25 cs.LG
ThinkEdit: Interpretable Weight Editing to Mitigate Overly Short Thinking in Reasoning Models
UCSD CSE(加州大学圣地亚哥分校计算机科学系);UCSD HDSI(加州大学圣地亚哥分校人类发展与应用科学学院)
本文发现LLM推理长度受隐藏表示中的线性方向控制,并提出ThinkEdit,通过编辑约4%注意力头、仅改动0.2%参数来移除短推理方向,显著提升数学准确率。
2025-09-29 cs.CL cs.LG
VSPO: Vector-Steered Policy Optimization for Behavioral Control
University of Michigan(密歇根大学)
VSPO通过引入与目标行为关联的引导向量,控制生成轨迹的行为强度,解决多目标优化中的稀疏奖励问题,提升策略优化效率。
2026-05-15 cs.CL cs.LG
Rubric-Guided Self-Distillation: Post-Training Without Rubric Verifiers
Scale AI
提出RGSD方法,通过将评分标准作为条件蒸馏到学生模型,无需验证器即可实现密集逐令牌学习,在医学和科学领域达到与基于评判的GRPO相当的评分标准满足率。
2026-06-12 cs.LG
Vision-OPD: Learning to See Fine Details for Multimodal LLMs via On-Policy Self-Distillation
Tsinghua University(清华大学)
提出Vision-OPD框架,通过在线策略自蒸馏将模型自身的局部区域感知能力迁移到全局图像策略,提升多模态大语言模型对细粒度视觉理解的准确性。
2026-06-02 cs.AI cs.CL cs.CV
Watch the Model Think: On-Policy Extraction of Activation Steering Vectors
Bairong Inc.(柏隆公司);School of Mathematics, Harbin Institute of Technology(哈尔滨工业大学数学学院)
ROAST 通过分布内 rollout 和连续软缩放技术提升大语言模型的推理性能,有效解决高幅度激活导致的引导方向不稳问题。
2026-09-29 cs.CL cs.LG
Demystifying On-Policy Distillation: Roles, Pathologies, and Regulations
The Chinese University of Hong Kong(香港中文大学);Tencent AI Lab(腾讯人工智能实验室)
研究在线策略蒸馏的作用、问题及调控,阐明其为探索催化剂,揭示师生不匹配和长度利用问题,提出优势裁剪和对数尺度压缩调控,实验表明良好调控的信号质量决定OPD中成功探索。
2026-07-16 cs.CL cs.LG