PAST: Privileged Adaptation from Complete Student Trajectories for On-Policy Self-Distillation
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Sun Yat-sen University（中山大学）
PAST将完整学生轨迹作为OPSD教师的额外特权信息，通过前向KL蒸馏等方法优化教师，在三个数学推理基准上使Avg@12宏观平均值较Vanilla OPSD提升5.6个百分点。
2026-08-11 cs.AI cs.LG
Proximal Policy Distillation
AI for Robotics Lab (AIR-Lab)（人工智能机器人实验室）；Department of Cognitive Science and Artificial Intelligence（认知科学与人工智能系）；Tilburg University（蒂尔堡大学）
本文提出PPD方法，结合学生驱动蒸馏和近端策略优化，提升样本效率并利用学生策略在蒸馏过程中收集的额外奖励。在多种强化学习环境中验证了其有效性。
2025-06-06 cs.AI cs.LG
Interpolated Policy Distillation: A Controllable Continuum Between Off-Policy and On-Policy Distillation
WeChat Vision, Tencent Inc.（腾讯公司微信视觉）；University of Science and Technology of China（中国科学技术大学）
提出插值策略蒸馏（IPD），在词元级线性插值学生与教师分布，以可控方式平衡轨迹质量与可学习性，并利用投机解码加速，在文本及多模态推理基准上优于端点策略与启发式方法。
2026-09-30 cs.AI cs.LG
Train Where the Quantized Model Goes: On-Policy Distillation for Low-Bit Reasoning
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Zhongguancun Academy（中关村学院）；City University of Hong Kong（香港城市大学）；NJUST（南京理工大学）
针对低比特量化导致的长序列推理退化问题，提出在线策略蒸馏（OPD）阶段，在量化模型实际生成路径上提供教师监督，显著提升数学与代码推理性能保持率。
2026-09-23 cs.AI cs.LG
Asymmetric On-Policy Distillation: Bridging Exploitation and Imitation at the Token Level
Huazhong University of Science and Technology（华中科技大学）；Peking University（北京大学）；Meituan（美团）
本文提出非对称在线策略蒸馏，通过局部散度最小化改进传统策略蒸馏，提升数学推理任务表现，实现更稳定的策略熵和持续工具使用能力。
2026-09-01 cs.AI cs.LG
Trust Region Policy Distillation
Microsoft（微软）
研究将不稳定的策略蒸馏转化为稳定训练范式，核心方法是动态构建近端教师，贡献为增强训练稳定性、样本效率等，且无额外计算开销。
2026-10-28 cs.AI cs.LG
Multi-Turn On-Policy Distillation with Prefix Replay
Microsoft Research（微软研究院）；University of Amsterdam（阿姆斯特丹大学）
研究用于智能体任务的在线策略蒸馏，提出重放前缀在线策略蒸馏方法，复用预收集教师轨迹作重放前缀，解决多轮在线策略蒸馏的前缀陷阱问题，提高效率且保持或提升精度。
2026-07-28 cs.AI cs.CL cs.LG
Teacher-Guided Policy Optimization for On-Policy Reasoning Distillation under Large Policy Divergence
School of Computer Science and Engineering, Northeastern University, China（东北大学计算机科学与工程学院）；Tsinghua University（清华大学）；Meituan（美团）；Meta AI；NiuTrans Research, Shenyang, China（新译研究院，沈阳，中国）
针对在线蒸馏中教师与学生策略差异大时反向KL监督失效的问题，提出教师引导策略优化（TGPO），通过教师直接指导学生上下文的token级生成并结合RLVR奖励，在推理基准上优于现有方法。
2026-11-10 cs.AI cs.LG
On-Policy Distillation Meets Off-Policy GRPO: Training Compact Instruction-Following Rerankers
SAP Labs（思爱普实验室）
本文提出结合离线GRPO与在线蒸馏的两阶段框架，训练出1B规模的紧凑指令跟随重排序器，在MAIR-11、MAIR-Full等基准上优于多种蒸馏方法及7B规模RL训练重排序器，实现了更优的质量效率权衡。
2026-09-03 cs.AI cs.LG
Beyond Imitation: Filtering On-Policy Distillation by Reasoning Progress
针对在线策略蒸馏中教师奖励与真实推理进度不匹配的问题，提出R2-OPD方法，通过过滤冲突奖励提升推理性能，实现对标准OPD的改进。
2026-08-21 cs.AI cs.LG
OPMD: On-Policy Mechanism Distillation Beyond Output Supervision
ShanghaiTech University（上海科技大学）
本文提出OPMD方法，通过构建与学生兼容的教师模型传递中间计算，在三类师生设置中获最高平均准确率，可推广至多教师蒸馏等任务，证明机制监督能提升推理效果。
2026-10-14 cs.AI cs.LG
Revisiting On-Policy Distillation: Empirical Failure Modes and Simple Fixes
State Key Laboratory of Multimodal Artificial Intelligence Systems, CASIA（多模态人工智能系统国家重点实验室，中科院自动化所）；School of Artificial Intelligence, UCAS（中国科学技术大学人工智能学院）；Fudan University（复旦大学）；Independent Researcher（独立研究者）
本文研究了在线策略蒸馏的失败模式，提出改进方法提升训练稳定性，实验显示改进方法在多个任务中提升性能19.8%。
2026-04-27 cs.AI cs.CL cs.LG
HDPO: Hybrid Distillation Policy Optimization via Privileged Self-Distillation
NVIDIA（英伟达）
HDPO通过结合强化学习与特权自蒸馏解决RL在数学推理中遇到的'悬崖'提示问题，提升覆盖指标并保持贪婪准确性。
2026-03-25 cs.AI cs.LG
Dual Policy Distillation
Texas A&M University（德州农工大学）
策略蒸馏将教师策略转换为学生策略，在深度强化学习的挑战性任务中取得了巨大成功。这种师生框架需要一个训练有素的教师模型，这是计算昂贵的。此外，如果教师模型不是最优的，则学生模型的性能可能受到教师模型的限制。在合作学习的光，我们研究的可行性，涉及共同的智力努力，从学生模型的不同角度。在这项工作中，我们介绍了双政策蒸馏（DPD），学生学生的框架中，两个学习者在同一个环境中，探索不同的角度的环境和提取知识，以提高他们的学习。开发这种双重学习框架的关键挑战是识别来自当代基于学习的强化学习算法的对等学习者的有益知识，因为尚不清楚从不完美和嘈杂的对等学习者中提取的知识是否有用。为了应对这一挑战，我们从理论上证明，从同行学习者的知识提取将导致政策的改进，并提出了不利的蒸馏策略的理论结果的基础上。几个连续控制任务的实验表明，该框架实现了卓越的性能与基于学习的代理和函数逼近，而不使用昂贵的教师模型。
2020-06-07 cs.AI cs.LG
OGLS-SD: On-Policy Self-Distillation with Outcome-Guided Logit Steering for LLM Reasoning
UNC Chapel Hill（UNC夏洛特山分校）
提出OGLS-SD框架，通过结果奖励校准教师对数几率，解决在线自蒸馏中师生响应模式不匹配导致的训练不稳定问题，提升数学推理性能。
2026-05-29 cs.AI cs.LG
Real-time Policy Distillation in Deep Reinforcement Learning
University of South Carolina（南卡罗来纳大学）；San Francisco State University（旧金山州立大学）
深度强化学习中的策略蒸馏提供了一种有效的方法，可以将控制策略从较大的网络转移到较小的未经训练的网络，而不会显着降低性能。然而，策略蒸馏在深度强化学习中探索不足，现有方法计算效率低，导致蒸馏时间长。此外，蒸馏过程的有效性仍然受限于模型容量。我们提出了一种新的蒸馏机制，称为实时的策略蒸馏，其中训练教师模型和蒸馏策略的学生模型同时发生。相应地，教师的最新策略实时的转移到学生模型。这将蒸馏时间减少到原来时间的一半甚至更少，并且还使非常小的学生模型能够学习专家级别的技能。我们评估了该算法在Atari 2600域。结果表明，我们的方法可以在大多数游戏中实现完全蒸馏，即使压缩率高达1.7%。
2019-12-29 cs.AI cs.LG stat.ML
Online Policy Distillation with Decision-Attention
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
本文提出带决策注意力的在线策略蒸馏框架OPD-DA，通过为每个策略生成不同权重衡量群体成员重要性，解决无教师模型时多策略在线互学中的同质化问题，并在Atari平台的PPO和DQN任务上验证其有效性。
2024-06-08 cs.AI cs.LG
On-Policy Self-Distillation with Sampled Demonstrations Reduces Output Diversity
Mila；Université de Montréal（蒙特利尔大学）；FAIR at Meta（Meta的FAIR）；CIFAR AI Chair（CIFAR人工智能主席）
本文发现在线自蒸馏虽提升pass@1准确率，但会降低输出多样性并导致pass@k曲线平坦，通过理论分析揭示了其放大概率差距的机制，并在路径规划与科学问答任务中验证了该问题。
2026-06-25 cs.AI cs.LG
GVPO++: Group Variance Policy Optimization for LLM Post-Training and On-Policy Distillation
针对LLM后训练中重要性采样导致的不稳定问题，提出GVPO方法，通过KL约束奖励最大化解耦梯度权重，保证唯一最优解并支持灵活采样，且可扩展至同策略蒸馏。
2026-09-21 cs.AI cs.LG
Policy Distillation with Selective Input Gradient Regularization for Efficient Interpretability
University of California, Irvine（加州大学欧文分校）
尽管深度强化学习（RL）在广泛的任务中已经证明是成功的，但它面临的一个挑战是应用于现实世界问题时的可解释性。显着图经常用于为深度神经网络提供可解释性。然而，在强化学习领域，现有的显着性图方法要么计算昂贵，因此不能满足现实世界的场景的实时要求，或者不能产生可解释的显着性图的强化学习策略。在这项工作中，我们提出了一种选择性输入梯度正则化（DIGR）的蒸馏方法，该方法使用策略蒸馏和输入梯度正则化来产生新的策略，从而在生成显着性图时实现高的可解释性和计算效率。我们的方法也被发现，以提高多个对抗攻击的RL政策的鲁棒性。我们在三个任务上进行实验，MiniGrid（获取对象），Atari（突破）和CARLA自动驾驶，以证明我们的方法的重要性和有效性。
2022-05-18 cs.AI cs.LG
Self-Supervised On-Policy Distillation for Reasoning Language Models
Tsinghua University（清华大学）；Beihang University（北航大学）
本文提出自监督在线策略蒸馏（SSOPD）方法，通过对比正确与错误的完成过程信号，提升推理语言模型的表现，实验表明在多个基准测试中优于GRPO和OPSD基线。
2026-05-17 cs.LG
Multi-Rollout On-Policy Distillation via Peer Successes and Failures
Carnegie Mellon University（卡内基梅隆大学）；Microsoft（微软）；Purdue University（普渡大学）
提出多轨迹在线策略蒸馏（MOPD），利用学生模型的本地轨迹组构造更丰富的教师信号，通过同伴成功与失败条件化提升蒸馏效果。
2026-06-01 cs.AI cs.LG
ResOPD: Tail Residualization for Sparse On-Policy Distillation
Shanghai Jiao Tong University（上海交通大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；University of Science and Technology of China（中国科学技术大学）；Fudan University（复旦大学）
ResOPD通过将未观察词汇聚合为粗粒度尾部事件并采样细粒度残差，在稀疏在线策略蒸馏中实现无偏且低方差的梯度估计，稳定训练并提升性能。
2026-10-06 cs.AI cs.LG
Teacher Should Think Ahead: Adaptive Continuations for Reliable On-Policy Distillation
Ant Group（蚂蚁集团）
针对在线策略蒸馏中教师监督不可靠的问题，提出自适应续写方法AC-OPD，通过理论分析和实验验证，在数学推理和代码生成任务上持续优于标准方法。
2026-09-22 cs.AI cs.LG
Reward-Gated On-Policy Distillation
University of Cologne（科隆大学）；AWS AI（亚马逊云科技人工智能）；UT Austin（德克萨斯大学奥斯汀分校）；MIT（麻省理工学院）
研究如何进行策略蒸馏，核心方法是引入奖励门控策略蒸馏（RG-OPD）利用验证器反馈决定是否信任教师逻辑，主要贡献是在推理和编码基准测试中表现出色，优于其他蒸馏方法。
2026-07-07 cs.AI cs.LG
Preference-Based Self-Distillation: Beyond KL Matching via Reward Regularization
TikTok（字节跳动）；The Pennsylvania State University（宾夕法尼亚州立大学）
该研究针对现有在线策略自蒸馏的训练不稳定、推理性能下降等问题，提出PBSD方法，经实验验证其在数学推理等基准上性能更优且训练稳定。
2026-08-24 cs.AI cs.LG
Privileged Solutions or Context-Induced Teacher Behavior? Dissecting On-Policy Self-Distillation
Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Nagoya University（名古屋大学）；RIKEN AIP（理化学研究所人工智能项目）
该研究剖析同策略自蒸馏（OPSD）的性能来源，提出 OP²SD 方法，实验显示其优于基础模型、与 OPSD 相当，表明教师的上下文诱导行为是 OPSD 性能提升的重要因素。
2026-08-11 cs.AI cs.LG
Constitutional On-Policy Safe Distillation
Institute of Trustworthy Embodied AI（可信具身人工智能研究院）；Fudan University（复旦大学）；Shanghai Innovation Institute（上海创新研究院）；Ant Group（蚂蚁集团）；Zhejiang University（浙江大学）；City University of Hong Kong（香港城市大学）
针对在策略自蒸馏在安全对齐中因宪法条件导致教师分布收缩、表达能力下降的问题，提出宪法性在策略安全蒸馏（COPSD），通过交叉SFT冷启动校准教师分布，再进行宪法条件在策略蒸馏，在12个基准上实现了更优的安全-有用性权衡并降低安全税。
2026-08-14 cs.AI cs.LG
Transfer-Stratified On-Policy Distillation for RL-Improved Reasoning Teachers
本研究提出迁移分层在线策略蒸馏（TS-OPD），通过按学生与教师联合成功筛选问题并路由至门控前向/反向KL，在数学推理中实现强化学习改进教师对学生模型的结构化迁移，提升宏平均正确率。
2026-10-06 cs.AI cs.LG
Distillation Strategies for Proximal Policy Optimization
Sandia National Laboratories（桑迪亚国家实验室）；University of California, Santa Barbara（加利福尼亚大学圣巴巴拉分校）
基于视觉的深度强化学习（RL）通常通过使用高容量和相对较大的卷积神经网络（CNN）来获得性能益处。然而，大型网络会导致更高的推理成本（功耗、延迟、硅面积、MAC数量）。已经为CNN开发了许多推理优化。一些优化技术提供了理论上的效率，如稀疏性，但设计实际的硬件来支持它们是困难的。另一方面，蒸馏是一种简单的通用优化技术，广泛适用于将知识从经过训练的高容量教师网络转移到未经训练的低容量学生网络。DQN蒸馏扩展了原始蒸馏思想，以传输存储在通过深度Q学习（DQN）算法训练的高性能，高容量教师Q函数中的信息。我们的工作适应DQN蒸馏工作的演员-评论家近端策略优化算法。PPO算法实现简单，性能远高于DQN算法。我们表明，一个蒸馏PPO学生可以达到更高的性能相比，DQN教师。我们还表明，一个低容量的蒸馏学生通常能够胜过一个低容量的代理，直接在环境中训练。最后，我们表明，蒸馏，其次是“微调”的环境中，使蒸馏PPO学生实现平价与教师的表现。总的来说，在这项工作中学到的经验教训应该转移到其他现代的演员-评论家RL算法。
2019-04-30 cs.AI cs.LG
UOPD: Uncertainty-Aware Intervention for On-Policy Distillation of Multi-Turn Agents
University of California, Irvine（加州大学尔湾分校）；University of Michigan, Ann Arbor（密歇根大学安娜堡分校）
UOPD通过不确定性感知干预，在关键步骤用教师动作纠正学生，提升多轮智能体在线策略蒸馏的性能，在ALFWorld、WebShop和Search任务上优于现有方法。
2026-09-29 cs.AI cs.LG
Distilling Policy Distillation
DeepMind（深度思维）
将知识从一个策略转移到另一个策略是深度强化学习中的一个重要工具。这个过程，被称为蒸馏，已经取得了巨大的成功，例如，通过提高代理的优化，导致更强的性能更快，在更难的域[26，32，5，8]。尽管蒸馏的广泛使用和概念简单，但在实践中使用了许多不同的配方，它们之间的细微变化往往会大大改变性能和正在优化的最终目标。在这项工作中，我们严格探索政策蒸馏的整个景观，通过理论和实证分析比较每个变量的动机和优势。我们的研究结果指向三种蒸馏技术，这是首选取决于具体的任务。具体来说，新提出的期望熵正则化蒸馏允许在各种情况下更快地学习，同时仍然保证收敛。
2019-02-06 cs.AI cs.LG stat.ML
Distillation Policy Optimization
本文提出融合 on-policy 与 off-policy 数据的 actor-critic 框架，通过 UAE 和残差基线降低方差，在保持稳定学习的同时显著提升样本效率。
2023-09-27 cs.AI cs.LG
On-policy Distillation with Verifiable Reward
LeapLab, Tsinghua University（清华大学LeapLab）；Beihang University（北京航空航天大学）；SMS, Peking University（北京大学SMS）；NLPLab, Tsinghua University（清华大学NLPLab）
本研究提出OPDVR方法，无缝结合OPD与RLVR且不增加超参数，经六个推理基准实验验证其性能优于标准OPD。
2026-09-30 cs.AI cs.LG
Let the Data Decide: Supervision Analysis, Capability Trade-offs, and Adaptive Objective Routing in Continued Pre-Training via Off-Policy Distillation
Baidu Inc.（百度公司）
研究离策略蒸馏中训练数据、目标参数化和模型能力的相互作用，通过分解问题进行“目标到能力”和“数据到目标”分析，引入诊断指标量化张力，探讨自适应目标路由，表明有效路由取决于信号质量，将持续预训练重构为监督设计问题。
2026-07-21 cs.AI cs.LG
Rethinking Black-Box On-Policy Distillation: A Rubric-based Analysis
National University of Singapore（新加坡国立大学）；University of Science and Technology of China（中国科学技术大学）；Tencent（腾讯）
本文提出ROPD框架，利用教师生成的响应而非教师日志进行在线蒸馏，实现更灵活的黑盒兼容方案，实验显示在多数场景下性能优于基于日志的蒸馏方法，样本效率提升达10倍。
2026-11-11 cs.AI cs.LG
Decoupling KL and Trajectories: A Unified Perspective for SFT, DAgger, Offline RL, and OPD in LLM Distillation
Eastern Institute of Technology（东技术院）；The Hong Kong Polytechnic University（香港理工大学）；Shanghai Jiao Tong University（上海交通大学）；Thrust of Artificial Intelligence, The Hong Kong University of Science and Technology (Guangzhou)（人工智能 thrust，香港科学与技术大学（广州））
本文探讨了知识蒸馏中KL散度与轨迹之间的耦合问题，通过解耦两个轴向，提出了四种有效的蒸馏目标，并通过实验揭示了KL方向、前缀源和训练长度之间的权衡关系，提出了KL混合和熵门长度课程等实用方法。
2026-05-16 cs.AI cs.CL cs.LG
Post-Training is About States, Not Tokens: A State Distribution View of SFT, RL, and On-Policy Distillation
Independent Researcher（独立研究者）
本文从状态分布的角度研究了监督微调(SFT)、强化学习(RL)和在线策略蒸馏(OPD)等大语言模型训练后方法，发现训练状态的来源和局部性与监督信号的形式同样重要。
2026-05-21 cs.AI cs.LG
$\boldsymbol{f}$-OPD: Stabilizing Long-Horizon On-Policy Distillation with Freshness-Aware Control
The Hong Kong Polytechnic University（香港理工大学）
本文提出f-OPD框架，通过引入样本级新鲜度评分来稳定长周期在线策略蒸馏，实现性能与效率的平衡，为大规模长周期智能体训练奠定基础。
2026-10-14 cs.AI cs.LG
Proxy OPD: On-Policy Distillation with Transferable Relative Proxy Update
研究针对大语言模型训练后优化信号耦合问题，提出PUST框架，通过代理模型探索、提取并传输相对改进信号，解耦更新信号探索与分布对齐，减少计算开销，支持异步处理与跨模型转移，提升训练后范式的模块化、可重用性与效率。
2026-08-11 cs.AI cs.LG
Keeping Minimal Experience to Achieve Efficient Interpretable Policy Distillation
Nanjing University（南京大学）；Nanjing University of Posts and Telecommunications（南京邮电大学）
虽然深度强化学习已经成为复杂控制任务的通用解决方案，但由于缺乏策略的安全保障，其实际应用仍然受到限制。为了解决这个问题，我们提出了边界表征通过最小经验保留（BCMER），端到端的可解释的政策蒸馏（IPD）框架。与以前的IPD方法不同，BCMER区分了经验的重要性，并保持了最小但关键的经验库，几乎没有损失的政策相似性。具体而言，拟议的BCMER包含两个基本步骤。首先，我们提出了一种新的多维超球面相交（MHI）方法，将经验点分为边界点和内部点，并保留关键的边界点。其次，我们开发了一个基于最近邻的模型来生成基于边界点的鲁棒性和可解释性的决策规则。大量实验表明，所提出的BCMER能够将经验量减少到1.4%~19.1%（当朴素经验计数为10 k时），并保持较高的IPD性能。在一般情况下，建议的BCMER是更适合的经验存储有限的制度，因为它发现的关键经验，并消除冗余的经验。
2022-03-02 cs.AI cs.LG
Adaptive Supervised Anchoring for On-Policy Self-Distillation
Renmin University of China（中国人民大学）
针对策略内自蒸馏的 rollout 条件信号退化问题，提出分离监督路径并自适应调整锚定强度的框架，提升了任务获取能力并优化了可塑性-稳定性权衡。
2026-08-12 cs.LG
ORPO-Distill: Mixed-Policy Preference Optimization for Cross-Architecture LLM Distillation
Phi Labs, Quantiphi（Phi Labs，Quantiphi）
本文提出 ORPO-Distill，将跨架构 LLM 蒸馏转化为偏好优化问题，通过多样化推理轨迹、ORPO 目标和混合策略提升知识迁移效果。
2025-09-29 cs.AI cs.CL cs.LG
Outcome-Confounded Local Supervision in On-Policy Distillation
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
研究策略蒸馏中局部监督受轨迹结果混淆的问题，引入结果解析诊断方法区分不同情况，通过数学推理研究等实验得出相关比例及结果，指出局部化限制，贡献在于诊断而非新训练方法。
2026-07-28 cs.LG
DisCoRL: Continual Reinforcement Learning via Policy Distillation
ENSTA Paris（巴黎高等先进技术学院）；Institute Polytechnique de Paris（巴黎理工学院）；INRIA（法国国家信息与自动化研究所）；Softbank Robotics Europe（软银机器人欧洲公司）；Thales（泰雷兹集团）
在多任务强化学习中，有两个主要的挑战：在训练时，使用单个模型学习不同策略的能力;在测试时，在没有外部信号的情况下推断哪些策略适用。在持续强化学习的情况下，第三个挑战出现了：顺序学习任务而不忘记前面的任务。在本文中，我们通过提出DisCoRL来应对这些挑战，这是一种结合状态表示学习和策略蒸馏的方法。我们使用3轮全方位机器人进行了一系列三个模拟2D导航任务的实验。此外，我们测试了我们的方法的鲁棒性，将最终的政策转移到现实生活中的设置。该策略可以解决所有任务，并自动推断运行哪一个。
2019-07-11 cs.AI cs.LG stat.ML
Policy Distillation and Value Matching in Multiagent Reinforcement Learning
Massachusetts Institute of Technology（麻省理工学院）
多智能体强化学习算法（MARL）已经在需要多个智能体团队协调才能完成的复杂任务上得到了证明。现有的作品集中在代理之间共享信息，通过集中的批评，以稳定学习或通过沟通，以提高性能，但一般不看如何在代理之间共享信息，以解决在MARL的维数灾难。我们认为，多智能体问题可以分解成一个多任务的问题，每个代理探索状态空间的一个子集，而不是探索整个状态空间。本文介绍了一种多智能体行动者-批评者算法和方法，用于通过蒸馏和值匹配来组合来自同质智能体的知识，其性能优于单独的策略蒸馏，并允许在离散和连续动作空间中进一步学习。
2019-03-15 cs.AI cs.LG stat.ML
On-Policy Delta Distillation
NAVER AI Lab（NAVER人工智能实验室）
研究基于策略内蒸馏，引入新的增量信号作为蒸馏奖励，提出策略内增量蒸馏方法。实验表明该方法能显著改进策略内蒸馏，使推理语言模型在短训练期内表现出色，优于传统方法。
2026-07-17 cs.CL cs.LG
MSVIPER: Improved Policy Distillation for Reinforcement-Learning-Based Robot Navigation
University of Maryland（马里兰大学）；National Institute for Standards and Technology（美国国家标准与技术研究院）
我们提出了多场景可验证的强化学习通过政策提取（MSVIPER），一种新的方法，政策蒸馏决策树，以改善机器人导航。MSVIPER使用任何涉及学习状态-动作映射的强化学习（RL）技术来学习“专家”策略，然后使用模仿学习来学习决策树policy. We证明，MSVIPER导致高效的决策树，并且可以准确地模仿专家策略的行为。此外，我们提出了有效的政策蒸馏和树修改技术，利用决策树结构，允许改进的政策，而无需再培训。我们使用我们的方法来提高室内和室外场景的RL为基础的机器人导航算法的性能。我们证明了减少冻结和振荡行为（减少高达95%）的移动机器人导航动态障碍物和减少振动和振荡（高达17%）的室外机器人导航复杂，不平坦的地形方面的好处。
2022-09-19 cs.AI cs.HC cs.LG
RE-0: Verified Recursive Improvement of Embodied Code-as-Policy Agents through Local On-Policy Distillation
RE-0提出递归验证的改进框架，通过局部在线蒸馏利用教师修正提升代码即策略具身智能体，并证明其增益下界，实验验证了有效性。
2026-09-29 cs.AI cs.LG cs.RO
Neural-to-Tree Policy Distillation with Policy Improvement Criterion
National Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）；Polixir Technologies（波尔克斯科技公司）；NetEase Fuxi AI Lab（网易伏羲人工智能实验室）；Zhejiang University（浙江大学）
虽然深度强化学习在具有挑战性的决策任务中取得了可喜的成果，但其成功的主要骨骼--深度神经网络大多是黑箱。深入了解黑盒模型的一个可行方法是将其提炼成一个可解释的模型，如决策树，它由“若-则”规则组成，易于掌握和验证。然而，传统的模型提取通常是在平稳数据分布假设下的监督学习任务，这在强化学习中是违反的。因此，典型的策略提取克隆模型行为，即使有很小的误差也会带来数据分布偏移，导致不满意的提取策略模型，具有低保真度或低性能。在本文中，我们提出了解决这个问题的蒸馏目标从行为克隆，以最大限度地提高优势评估。新的蒸馏目标最大化一个近似的累积回报，并更侧重于灾难性的行为在临界状态，控制数据移位效应。我们在几个健身房任务，商业格斗游戏和自动驾驶汽车模拟器上评估了我们的方法。实验结果表明，该方法比行为克隆能保持更高的累积奖励，并能学习到与原策略更一致的策略。此外，通过检查提取的规则，从蒸馏决策树，我们证明了所提出的方法提供了合理的和强大的决策。
2021-08-16 cs.LG
Continual Policy Distillation of Reinforcement Learning-based Controllers for Soft Robotic In-Hand Manipulation
University of Pisa（比萨大学）；Institute of Information Science and Technologies (ISTI), National Research Council (CNR)（国家研究委员会信息科学与技术研究所）
本文提出持续策略蒸馏框架，通过策略蒸馏与样本回放缓解灾难性遗忘，训练通用软体手内操作控制器以旋转不同物体。
2024-04-05 cs.AI cs.LG cs.RO
Rethinking Self-Distillation for Multi-Teacher Capability Merging
Apple（苹果公司）；Duke University（杜克大学）
本研究通过受控实验发现多教师在线策略蒸馏（MOPD）的准确率优势主要源于训练设计和超参数优化，而非算法本身；其训练成本为SFT的14.8至23.1倍，而简单权重合并可在几分钟内恢复专家能力，提示应优先调优离线策略基线。
2026-10-06 cs.AI cs.CL cs.LG
Understanding Off- vs On-Policy Distillation: A Tale of Distinct Training Objectives
University of California, Los Angeles（加州大学洛杉矶分校）
本文研究多教师顺序蒸馏中前向与反向KL散度聚合目标的差异，揭示在线策略蒸馏的益处与脆弱性机制，并建立对数遗憾界。
2026-10-01 cs.AI cs.LG stat.ML
Building Multi-Task Agentic LLMs via Two-Phase Distillation
Tsinghua University（清华大学）；Ant Group（蚂蚁集团）
提出两阶段蒸馏方法（先离策略后在线策略）解决多任务蒸馏中前向KL的模式覆盖问题，使单个模型在多任务上达到专家性能。
2026-06-29 cs.LG
