Overcoming Scaling Limits in On-Policy Self-Distillation for LLM Reasoning
North South University(南北大学);KAIST(韩国科学技术院);Andria Labs
针对同策略自蒸馏在模型扩展时效果下降的问题,提出OASIS方法,通过监督经验证的同策略轨迹并利用未经验证的模型生成作为教师上下文,在多个基准上显著提升推理性能。
2026-09-30 cs.CL cs.LG
Asymmetric On-Policy Distillation Learns In-Context Exploration
Paul G. Allen School of Computer Science and Engineering, University of Washington(华盛顿大学保罗·G·艾伦计算机科学与工程学院);Meta
本研究提出ASTEROID框架,通过非对称在线策略蒸馏,在11类环境中实现高效测试时探索,交互量远低于强化学习基线,且能迁移至真实机器人操作,成功率提升40%。
2026-11-05 cs.AI cs.LG cs.RO
Self-Policy Distillation via Capability-Selective Subspace Projection
University of Cambridge(剑桥大学);HKUST(香港科技大学);University of Chicago(芝加哥大学)
本文提出Self-Policy Distillation(SPD),通过从模型自身梯度中提取低维能力子空间,将关键值(KV)激活投影到该子空间,并在标准下一项预测损失下进行微调,实现了无需外部信号的通用且能力选择性的自我蒸馏方法。
2026-10-14 cs.CL
UniSD: Towards a Unified Self-Distillation Framework for Large Language Models
Georgia Institute of Technology(佐治亚理工学院);University of California, Los Angeles(加州大学洛杉矶分校);Carnegie Mellon University(卡内基梅隆大学);William & Mary(威廉与玛丽大学)
本文提出UniSD框架,系统研究自蒸馏方法,通过整合多种机制提升监督可靠性、表征对齐和训练稳定性,从而在多个基准和模型上验证自蒸馏的有效性,并构建出性能最优的UniSDfull流水线。
2026-11-06 cs.AI cs.CL cs.LG
Knowledge Distillation for Large Language Models
本文提出一种高效的压缩框架,结合引导的思维链强化学习,通过知识蒸馏和链式思维提示提升模型效率,实现更小规模的模型部署。
2026-03-14 cs.AI cs.CL
SCOPE: Signal-Calibrated On-Policy Distillation Enhancement with Dual-Path Adaptive Weighting
University of Science and Technology of China(中国科学技术大学);Meituan LongCat Interaction Team(美团 LongCat 交互团队);Nanjing University(南京大学);Fudan University(复旦大学);Huazhong University of Science and Technology(华中科技大学)
针对在线策略强化学习中奖励稀疏导致的信用分配难题,提出SCOPE框架,通过双路径自适应加权机制分别处理正确与错误轨迹,实现信号校准的蒸馏增强,在六个推理基准上平均提升11.42%的Avg@32和7.30%的Pass@32。
2026-05-30 cs.AI cs.CL cs.LG
When and Where to Trust the Teacher: Unifying On-Policy Distillation and GRPO through Entropy-Calibrated Credit Assignment
Shanghai Jiao Tong University(上海交通大学);Zhejiang University(浙江大学)
提出UECR-GRPO,通过熵校准信用分配统一在线蒸馏与GRPO,在响应和词元级别整合验证器与教师信号,在五个数学推理基准上超越最强基线。
2026-09-24 cs.AI cs.LG
MultiAgent-OPD: End-to-End Training of Hierarchical Multi-Agent Systems with On-Policy Distillation
Alibaba Group(阿里巴巴集团);Zhejiang University(浙江大学)
提出MultiAgent-OPD,结合策略蒸馏与强化学习训练分层多智能体系统,在七个数据集上的macro avg@4优于Prompted Critic和C-MAS + RL,且能在四次尝试内解决更多问题。
2026-10-21 cs.CL
V2X-AHD:Vehicle-to-Everything Cooperation Perception via Asymmetric Heterogenous Distillation Network
Jiangsu University(江苏大学);Jiangsu University of Technology(江苏理工学院)
针对车路协同感知中单视角轮廓缺失问题,提出V2X-AHD系统,通过非对称异构蒸馏网络和Spara Pillar主干及多头自注意力融合,在V2Xset上实现最先进的3D检测性能并减少参数。
2023-10-10 cs.AI cs.CV cs.RO
Transfer-Stratified On-Policy Distillation for RL-Improved Reasoning Teachers
本研究提出迁移分层在线策略蒸馏(TS-OPD),通过按学生与教师联合成功筛选问题并路由至门控前向/反向KL,在数学推理中实现强化学习改进教师对学生模型的结构化迁移,提升宏平均正确率。
2026-10-06 cs.AI cs.LG
KbSD: Knowledge Boundary aware Self-Distillation for Behavioral Calibration in Agentic Search
Zhejiang University(浙江大学);Peking University(北京大学)
针对智能体搜索中知识边界校准的奖励稀疏问题,提出KbSD框架,通过密集令牌级监督、稀疏结果奖励和象限自适应优化,利用提示增强教师模型生成校准推理演示,显著提升任务准确率并减少幻觉。
2026-06-29 cs.CL
Interpretable Traces, Unexpected Outcomes: Investigating the Disconnect in Trace-Based Knowledge Distillation
School of Computing & AI, Arizona State University(计算与人工智能学院,亚利桑那州立大学)
本文通过规则问题分解设计实验,探讨基于轨迹的知识蒸馏中轨迹语义正确性与可解释性之间的断层,发现轨迹正确性并不能保证最终答案正确,且可解释的分解轨迹在准确性上不具优势。
2026-04-16 cs.AI cs.CL
Step Rejection Fine-Tuning: A Practical Distillation Recipe
JetBrains Research(JetBrains研究)
本文提出步骤拒绝微调方法,通过利用未解决轨迹中的正确部分提升模型性能,实验显示其在SWE-bench Verified任务中将分辨率率提升至32.2%。
2026-05-11 cs.AI cs.CL cs.LG
Rethinking Black-Box On-Policy Distillation: A Rubric-based Analysis
National University of Singapore(新加坡国立大学);University of Science and Technology of China(中国科学技术大学);Tencent(腾讯)
本文提出ROPD框架,利用教师生成的响应而非教师日志进行在线蒸馏,实现更灵活的黑盒兼容方案,实验显示在多数场景下性能优于基于日志的蒸馏方法,样本效率提升达10倍。
2026-11-11 cs.AI cs.LG
VC-OPD: Visual Counterfactual On-Policy Distillation for Grounded Vision-Language Reasoning
College of Intelligence and Computing(智能与计算学院);Tianjin University(天津大学)
VC-OPD是一种视觉接地感知的在线策略蒸馏方法,通过结合原始与反事实图像的教师评估,优化标记级权重,提升了多模态推理基准上的视觉推理性能。
2026-10-14 cs.AI
Future Confidence Distillation in Large Language Models
研究大语言模型置信度估计,通过比较解决问题前后的置信度,发现其在回答过程中演变。基于此引入未来置信度蒸馏,用解决问题后的置信度估计训练解决问题前隐藏表征的预测器,实现可靠且低成本的置信度估计。
2026-07-09 cs.AI cs.CL
The Valley of Code Reasoning: Scaling Knowledge Distillation of Large Language Models
本研究揭示代码推理蒸馏中的“谷”现象:性能先降后升,且简单问题更有效,输出正确性不影响结果。
2025-10-07 cs.CL
BARRED: Synthetic Training of Custom Policy Guardrails via Asymmetric Debate
Plurai Inc.(Plurai公司)
BARRED通过不对称辩论生成合成训练数据,提升定制策略的安全性与效率,实验表明其优于现有模型。
2026-04-28 cs.AI cs.CL cs.LG
Demystifying On-Policy Distillation: Roles, Pathologies, and Regulations
The Chinese University of Hong Kong(香港中文大学);Tencent AI Lab(腾讯人工智能实验室)
研究在线策略蒸馏的作用、问题及调控,阐明其为探索催化剂,揭示师生不匹配和长度利用问题,提出优势裁剪和对数尺度压缩调控,实验表明良好调控的信号质量决定OPD中成功探索。
2026-07-16 cs.CL cs.LG
On Repulsive and Attractive Teachers: Separating Correctness from Behavior in Self-Distillation
ETH Zurich(苏黎世联邦理工学院);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
本研究提出对比自蒸馏,结合正确解教师的吸引与错误解教师的排斥,以分离正确性与行为信号,提升推理性能并保持响应长度稳定。
2026-09-21 cs.AI cs.LG
Ask to Distill: Learning to Synthesize Data for On-Policy Distillation
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);The Hong Kong University of Science and Technology(香港科技大学);Texas A&M University(德克萨斯农工大学)
本研究提出Ask-to-Distill框架,在无正确答案的情况下合成问题用于策略内蒸馏,在多类任务中提升性能并验证了其分布监督的有效性。
2026-10-21 cs.AI cs.CL
Know When You're Wrong: Aligning Confidence with Correctness for LLM Error Detection
Alexa AI, Amazon, Seattle, WA, USA(Alexa AI,亚马逊,西雅图,华盛顿州)
本文提出归一化置信度分数和自我评估框架,通过SFT提升LLM置信度可靠性,减少校准误差,提升错误检测效果。
2026-02-18 cs.CL cs.LG
CoT-Evo: Evolutionary Distillation of Chain-of-Thought for Scientific Reasoning
Zhejiang University(浙江大学);ZJU-Hangzhou Global Scientific and Technological Innovation Center(浙大杭州国际科技创新中心);AntGroup(蚂蚁集团)
CoT-Evo提出进化式思维链蒸馏框架,通过多样化轨迹池、知识增强和迭代优化,生成高质量科学推理数据,微调紧凑模型达到最先进性能。
2025-10-16 cs.CL
Self-Verified Distillation: Your Language Model Is Secretly Its Own Synthetic Data Pipeline
Stanford University(斯坦福大学)
提出自验证蒸馏算法,让大语言模型仅用无标注种子问题,通过自生成、自验证和自训练提升推理能力,在数学、科学和编程任务上取得显著提升。
2026-05-20 cs.CL cs.LG
SelFusion: Self-distillation for Diffusion Language Models
Chung-Ang University(中央大学)
本文针对扩散语言模型(DLM)生成质量差的问题,提出无需外部教师模型的自蒸馏框架SelFusion,通过双向蒸馏两种掩码模式实现性能提升,在指令跟随任务中效果优于传统知识蒸馏方法。
2026-08-25 cs.CL
Self-Distilled RLVR
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院)
本文提出RLSD方法,结合自蒸馏和RLVR,通过自蒸馏获取token级策略差异以确定细粒度更新幅度,同时利用RLVR获取环境反馈的可靠更新方向,提升收敛性和稳定性。
2026-04-08 cs.CL cs.LG
Unified and Effective Ensemble Knowledge Distillation
Tsinghua University(清华大学);Microsoft Research Asia(微软亚洲研究院)
Ensemble知识蒸馏可以从多个教师模型中提取知识并将其编码到单个学生模型中。许多现有的方法只在标记数据上学习和提取学生模型。然而,教师模型通常是在相同的标记数据上学习的,它们的预测与groundtruth标签具有高度相关性。因此,他们不能提供足够的知识补充任务标签的学生教学。提取看不见的未标记数据有可能增强教师向学生的知识转移。在本文中,我们提出了一个统一的和有效的集成知识蒸馏方法,蒸馏一个单一的学生模型从一个教师模型的集成标记和未标记的数据。由于不同的教师可能对同一样本有不同的预测正确性,因此在标记数据上,我们根据不同教师的正确性对他们的预测进行加权。此外,我们加权蒸馏损失的基础上的整体预测正确的教师集成提取高质量的知识。在未标记的数据上,没有基础事实来评估预测的正确性。幸运的是,教师之间的分歧是样本硬度的指示,因此我们基于教师的分歧来加权蒸馏损失,以强调重要样本的知识蒸馏。在四个数据集上的实验表明了该方法的有效性。
2022-04-01 cs.CL cs.LG
Facts Don't Speak Louder than Words: The Behavioral Essence of Long-CoT Distillation
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);Meituan(美团);University of Science and Technology of China(中国科学技术大学)
该研究揭示长思维链(Long-CoT)蒸馏的本质是与结构化推理模式的行为对齐,而非事实知识记忆,还明确了概率损失与交叉熵损失在学习不同复杂度推理模式中的作用,为推理模型发展提供了基础。
2026-10-14 cs.CL
DARC: Decoupled Asymmetric Reasoning Curriculum for LLM Evolution
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学人工智能学院)
DARC通过解耦的非对称推理课程框架,提升大型语言模型的自我进化能力,实现无需人工标注的性能提升。
2026-01-21 cs.AI cs.CL
Diagnosing and Mitigating Thinking Collapse in On-Policy Self-Distillation
Beihang University(北京航空航天大学);Hong Kong Polytechnic University(香港理工大学);Alibaba Group(阿里巴巴集团)
研究基于策略的自蒸馏在复杂推理任务中性能下降问题,发现思维崩溃陷阱。提出自适应双视角OPSD,通过动态调节自蒸馏目标缓解该问题,在多模型规模和数据集上实验验证其有效性,提升绝对平均准确率4.1%。
2026-07-14 cs.CL cs.LG
FIRST: Teach A Reliable Large Language Model Through Efficient Trustworthy Distillation
The Hong Kong University of Science and Technology(香港科技大学);NVIDIA(英伟达);Purdue University(普渡大学);Wuhan University(武汉大学)
本文针对微调导致大语言模型误校准的问题,提出高效可信蒸馏方法FIRST,通过识别“集中知识”现象降低计算成本,并利用可信性最大化过程优化知识迁移,在域内外场景中同时提升准确率并降低误校准。
2024-10-02 cs.CL
OSPD: On-Policy Self-Distillation for Persona-Consistent Dialogue
Fudan University(复旦大学);Shanghai Innovation Institute(上海创新研究院)
提出在线策略自蒸馏框架OSPD,通过不对称信息下的自蒸馏、角色感知散度切换及渐进特征掩蔽课程,在不依赖外部教师或奖励模型的情况下,显著提升多轮对话中的人格一致性。
2026-09-29 cs.AI
Diffusion Reinforcement Learning via Centered Reward Distillation
本文提出中心化奖励蒸馏框架,通过KL正则化奖励最大化和前向过程微调,解决扩散模型在细粒度提示保真度、组合正确性等任务中的表现问题,实现更稳定的奖励优化。
2026-03-14 cs.AI cs.CV cs.LG
PromptMix: A Class Boundary Augmentation Method for Large Language Model Distillation
University of Waterloo(滑铁卢大学);ServiceNow Research(ServiceNow研究院);Mila, McGill University(麦吉尔大学米拉研究所)
提出PromptMix方法,通过在类边界生成增强文本并利用LLM重新标记,有效将大型模型知识蒸馏至小型分类器,在少样本设置下优于多种基线方法。
2023-10-22 cs.AI cs.CL
BitDistiller: Unleashing the Potential of Sub-4-Bit LLMs via Self-Distillation
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Shanghai Jiao Tong University(上海交通大学);Microsoft Research Asia(微软研究院亚洲研究院)
本文提出BitDistiller框架,结合量化感知训练与知识蒸馏,通过定制非对称量化与置信度感知KL散度自蒸馏,显著提升低于4比特LLM性能并降低成本。
2024-02-16 cs.CL
OpenCodeReasoning: Advancing Data Distillation for Competitive Coding
NVIDIA Santa Clara, CA 95051, USA(NVIDIA圣克拉拉分校)
本文提出OpenCodeReasoning,通过构建优质监督微调数据集,仅用SFT在竞技编程基准上超越强化学习模型,并分析数据源、过滤及多样性影响,开源数据集与模型。
2025-08-07 cs.CL
Facilitating Pornographic Text Detection for Open-Domain Dialogue Systems via Knowledge Distillation of Large Language Models
Zhejiang University(浙江大学);School of Engineering, Westlake University(西湖大学工程学院)
本文针对人机交互对话中色情文本检测研究不足的问题,构建了对话监控数据集CensorChat,并利用大语言模型知识蒸馏与多模型投票、GPT-4校准等策略进行高效标注,最终训练出实用的色情文本分类器。
2024-03-20 cs.CL
OmniOPD: Stable On-Policy Distillation for Joint Audio-Video Generation
University of Science and Technology of China(中国科学技术大学)
本文针对联合音视频生成中跨模态干扰与蒸馏不稳定问题,提出OmniOPD框架,通过非对称噪声调度、分组多噪声采样等技术,在保留音频质量的同时显著提升视频生成效果。
2026-11-03 cs.AI cs.CV cs.SD
VISD: Enhancing Video Reasoning via Structured Self-Distillation
HUST(华中科技大学);Wuhan University(武汉大学);Peking University(北京大学);Tsinghua University(清华大学)
提出VISD框架,利用结构化自蒸馏和方向-幅度解耦机制,实现细粒度信用分配,提升视频推理准确性和训练效率。
2026-08-21 cs.AI cs.CV
Skip-Thinking: Chunk-wise Chain-of-Thought Distillation Enable Smaller Language Models to Reason Better and Faster
National University of Defense Technology(国防科技大学)
提出分块训练(CWT)与跳跃思维训练(STT),通过将长思维链划分为语义块并仅学习推理块,使小型语言模型推理更快更准。
2025-05-24 cs.CL
Autonomous Chain-of-Thought Distillation for Graph-Based Fraud Detection
National University of Singapore(新加坡国立大学);ByteDance Inc.(字节跳动公司)
FraudCoT通过自主链式思维推理和高效联合训练策略,提升基于图的欺诈检测性能和效率。
2026-01-30 cs.CL cs.CR
Tracing Subliminal Learning Through Pretraining
University of Cincinnati(辛辛那提大学);EleutherAI
该研究针对大型语言模型的潜意识学习现象,对比硬标签与在线策略软标签蒸馏,发现跨模型迁移的不对称性及软标签蒸馏的优势,为评估意外偏好迁移提供了相关依据。
2026-10-23 cs.LG
On-policy Distillation with Verifiable Reward
LeapLab, Tsinghua University(清华大学LeapLab);Beihang University(北京航空航天大学);SMS, Peking University(北京大学SMS);NLPLab, Tsinghua University(清华大学NLPLab)
本研究提出OPDVR方法,无缝结合OPD与RLVR且不增加超参数,经六个推理基准实验验证其性能优于标准OPD。
2026-09-30 cs.AI cs.LG
SMOPD: Selective Token-Entropy Masking for Dirty-History Multi-Turn On-Policy Self-Distillation
South China Normal University(华南师范大学)
该研究针对脏历史多回合在线策略自蒸馏的脆弱性,提出SMOPD方法,通过选择性掩码低熵令牌稳定训练,在LiC数据集上提升了Qwen3模型的SHARDED视图准确率,验证了令牌级不确定性的可靠性。
2026-08-18 cs.AI cs.LG
AsymTalker: Identity-Consistent Long-Term Talking Head Generation via Asymmetric Distillation
Soochow University(苏州大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
本文提出AsymTalker,通过时空对齐和不对称蒸馏解决长期说话头生成中的身份漂移问题,实现高保真身份一致的600秒视频生成,达到66 FPS的实时推理速度。
2026-05-11 cs.AI cs.LG cs.SD
On-Policy Transition Distillation
The Hong Kong Polytechnic University(香港理工大学);Huawei Technologies Ltd.(华为技术有限公司)
本研究提出在线策略迁移蒸馏(OPTD),通过对齐教师与学生的逐层对数概率增量补充最终层分布匹配,在多基准蒸馏中恢复约90%的教师-学生能力差距,性能优于在线策略蒸馏(OPD)。
2026-10-21 cs.AI cs.CL cs.LG
GATES: Self-Distillation under Privileged Context with Consensus Gating
University of Maryland, College Park(马里兰大学 College Park 分校)
GATES通过在特权上下文中利用共识门进行自我蒸馏,提升无文档学生在问题回答任务中的性能。
2026-02-24 cs.CL cs.LG
Validity-Calibrated Reasoning Distillation
Department of Computer Science(计算机科学系);KAUST(科威特大学)
本文提出有效性校准的推理蒸馏框架,通过动态监督机制优化学习信号分配,提升数学推理、代码生成和指令遵循任务的性能。
2026-10-30 cs.AI cs.LG
Outcome-Guided On-Policy Self-Distillation
Southeast University(东南大学);Zhongguancun Academy(中关村学院);Zhongguancun Institute of Artificial Intelligence(中关村人工智能研究院)
针对在线策略自蒸馏中监督噪声和训练不稳定的问题,提出结果引导的在线策略自蒸馏(OG-OPSD),动态调整散度目标和蒸馏位置,在数学推理、多模态推理及分布外任务中显著提升性能。
2026-10-06 cs.LG
FedSDR: Federated Self-Distillation with Rectification
Beijing University of Aeronautics(北京航空航天大学);Zhejiang University(浙江大学);Shandong University(山东大学);Stevens Institute of Technology(史蒂文斯理工学院)
本文提出FedSDR,一种改进的联邦自我蒸馏方法,通过引入双重流机制来解决联邦学习中数据分布不匹配和幻觉问题,提升模型的准确性和一致性。
2026-05-18 cs.AI cs.LG
On-Policy Self-Distillation with Teacher Evolution
University of Chinese Academy of Sciences(中国科学院大学);Meituan(美团)
针对在线策略自蒸馏(OPSD)训练中性能无法持续提升的问题,提出教师进化自蒸馏(TESD),通过面向教师的优化与自适应面向学生的优化提升监督质量,实验显示其性能优于相关代表性方法。
2026-10-30 cs.AI cs.LG
Robust Active Distillation
Google Research(谷歌研究院)
在半监督学习环境中,将知识从大型教师模型提取到轻量级模型是一种广泛成功的方法,可以在有限数量的标记数据中生成紧凑,强大的模型。然而,在大规模的应用中,教师往往会提供大量不正确的软标签,从而损害学生的表现。教师的庞大规模还限制了由于过高的计算和/或财务成本而可以查询的软标签的数量。实现同时\emph{efficiency}(即,最小化软标签查询)和\emph{robustness}(即,避免学生由于不正确的标签而导致的不准确性)损害了知识蒸馏在许多现代任务中的广泛应用。在本文中,我们提出了一种无参数的方法与可证明的保证,查询点的软标签,同时提供信息,并正确标记的教师。在我们的工作的核心在于一个博弈论的制定,明确考虑输入实例的信息量和正确性之间的固有权衡。我们建立了我们的方法,即使在最坏的情况下蒸馏实例的预期性能的界限。我们目前的经验评估流行的基准,证明了改进的蒸馏性能,使我们的工作相对于国家的最先进的主动学习和主动蒸馏方法。
2023-02-04 cs.AI cs.LG
H$^2$SD: Hybrid Hindsight Self-Distillation
Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Harbin Institute of Technology(哈尔滨工业大学);Fudan University(复旦大学);The Chinese University of Hong Kong(香港中文大学)
研究针对强化学习中奖励监督问题,提出 H$^2$SD 混合事后自蒸馏框架。成功轨迹用教师概率调更新幅度,失败轨迹基于参考提示调整教师并最小化反向 KL 散度,实验表明该框架优于基线,能稳定优化且效率良好。
2026-10-14 cs.CL cs.LG
EmbedDistill: A Geometric Knowledge Distillation for Information Retrieval
Google LLC(谷歌有限责任公司)
EmbedDistill 提出一种基于查询-文档相对几何关系的知识蒸馏方法,通过嵌入匹配和查询生成对齐师生表示,并设计非对称学生架构,在 MSMARCO 上以 1/10 规模保留教师模型 95-97% 的性能。
2023-07-03 cs.LG