Towards Cross-Tokenizer Distillation: the Universal Logit Distillation Loss for LLMs
Diabolocom（迪亚博洛科姆公司）；CentraleSupélec（中央高等电力学院）；Paris-Saclay University（巴黎-萨克雷大学）；University of Mons（蒙斯大学）
针对大语言模型跨分词器蒸馏难题，提出基于最优传输的通用逻辑蒸馏损失，实现不同架构与分词器模型间的有效知识迁移。
2025-01-27 cs.CL
CTPD: Cross Tokenizer Preference Distillation
CTPD提出一种跨分词器的偏好蒸馏框架，通过对齐跨度投影、跨分词器重要性采样和教师锚定参考，实现不同分词器模型间的偏好信息高效转移。
2026-01-17 cs.CL
AdaSPEC: Selective Knowledge Distillation for Efficient Speculative Decoders
University of California, Berkeley（加州大学伯克利分校）；Tsinghua University（清华大学）；Georgia Institute of Technology（佐治亚理工学院）
针对传统知识蒸馏目标与推测解码真实目标不匹配导致草稿模型性能受限的问题，提出AdaSPEC选择性蒸馏方法，通过过滤难拟合token提升对齐度，在多任务上显著优于现有方法，最高提升15%接受率。
2025-10-22 cs.AI cs.CL cs.LG
Filter, Then Reweight: Rethinking Optimization Granularity in On-Policy Distillation
THU（清华大学）；HKUST（香港科技大学）；BIT（北京理工大学）；Meituan（美团）；ZJU（浙江大学）
针对在线策略蒸馏，提出FiRe-OPD方法，通过轨迹级过滤和令牌级软重加权实现细粒度优化，在多种设置下优于现有方法。
2026-06-04 cs.AI cs.CL cs.LG
Agentic Reinforcement Learning with Observation-Calibrated Self-Distillation
Meituan（美团）
本研究针对智能体强化学习的混淆问题，提出OCSD方法，通过对比两类回放视图推导观测残差，在高不确定步骤调制GRPO更新，在三类任务和多模型规模上优于基线。
2026-08-06 cs.AI cs.CL cs.LG
Bridging Reasoning Trajectories in On-Policy Distillation via Near-Future Guidance
University of Maryland, Baltimore County（马里兰大学巴尔的摩分校）
针对在线策略蒸馏中令牌级学习信号无法有效桥接推理轨迹的问题，提出基于近未来轨迹信息的轨迹感知在线策略蒸馏方法，显著提升大语言模型推理性能。
2026-06-29 cs.AI cs.CL
Rethinking On-Policy Distillation of Large Language Models: Phenomenology, Mechanism, and Recipe
Tsinghua University（清华大学）；ShanghaiTech University（上海交通大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Renmin University of China（中国人民大学）
本文系统研究了在线策略蒸馏的动态和机制，发现成功关键在于师生思维模式兼容及教师提供新能力，提出两种恢复失败蒸馏的策略，并指出密集奖励的表面优势背后存在代价。
2026-04-15 cs.AI cs.CL cs.LG
Cross-Tokenizer LLM Distillation through a Byte-Level Interface
MediaTek Research, Cambridge (United Kingdom)（联发科技研究中心，剑桥（英国））；Orbital Materials, London (United Kingdom)（轨道材料公司，伦敦（英国））
本文提出字级蒸馏方法，通过统一的字级接口实现跨分词器知识转移，验证了字级作为自然共同基础的有效性，同时指出跨任务改进仍存挑战。
2026-04-13 cs.CL
Leveraging Zero-Shot Prompting for Efficient Language Model Distillation
Humboldt-Universität zu Berlin（柏林洪堡大学）；Bucharest University of Economic Studies（布加勒斯特经济研究大学）
本文提出一种利用零样本提示将LLM高效蒸馏为特定应用小模型的方法，通过多任务框架让学生模型模仿教师预测与自然语言理由，显著降低成本与人工干预。
2024-03-23 cs.AI cs.CL cs.LG
Compressed code: the hidden effects of quantization and distillation on programming tokens
National Sun Yat-Sen University（国立中山大学）；DataSpike；aglabx；Neapolis University（尼apolis大学）
本文研究了量化和知识蒸馏对编程令牌的影响，通过分析令牌表示揭示了代码生成质量的优化方法和关键因素。
2026-02-08 cs.CL cs.LG cs.PL
Tailoring Teaching to Aptitude: Direction-Adaptive Self-Distillation for LLM Reasoning
Institute of Computing and Intelligence, Harbin Institute of Technology（计算智能研究所，哈尔滨工业大学）；Peng Cheng Laboratory（鹏城实验室）；Keeta AI, Meituan（Keeta AI，美团）
本文提出方向自适应自蒸馏（DASD），通过熵引导的定向监督改进LLM推理，通过分析发现统一的教师监督导致探索被压制，DASD在六个数学推理基准中取得最佳表现。
2026-05-21 cs.AI cs.LG
Mismatch Matters: On-Policy Distillation Beyond Token Agreement
The University of Hong Kong（香港大学）；University of Science and Technology of China（中国科学技术大学）；The Chinese University of Hong Kong（香港中文大学）
本文针对在线蒸馏存在的退化一致性失效问题，提出TIDE方法修正师生失配，在数学推理基准上显著提升性能、缩短响应长度并减少格式错误。
2026-08-11 cs.AI cs.CL
WASD: Wasserstein-based Knowledge Distillation for Large Language Models
KAIST（韩国科学技术院）
针对大语言模型知识蒸馏忽略词元语义的问题，提出基于Wasserstein距离的WASD方法，利用词元嵌入构建代价矩阵，采用Sinkhorn散度高效优化，在指令遵循、数学推理和代码生成等任务上持续提升蒸馏性能。
2026-10-07 cs.AI cs.LG
TwT: Thinking without Tokens by Habitual Reasoning Distillation with Multi-Teachers' Guidance
Nankai University（南开大学）；BeijingJiaoTong University（北京交通大学）；Tsinghua University（清华大学）；Microsoft Research（微软研究院）
针对LLM推理输出Token过多导致计算成本高的问题，提出TwT方法，通过多教师引导的习惯性推理蒸馏和双标准拒绝采样技术，将显式推理内化为模型习惯性行为，在减少输出Token的同时保持高性能，实现高效部署。
2025-11-04 cs.CL
ToDi: Token-wise Distillation via Fine-Grained Divergence Control
Chung-Ang University（中央大学）；Dmtlabs
针对知识蒸馏在全词表上统一施加散度损失的问题，本文提出 ToDi，依据师生概率对数比逐 token 自适应融合 FKL 与 RKL，在指令遵循任务上持续优于现有基线。
2025-09-28 cs.CL
SRA: Span Representation Alignment for Large Language Model Distillation
Hanoi University of Science and Technology（河内科学技术大学）；VNU University of Engineering and Technology（VNU工程大学）；Monash University（莫纳什大学）
提出SRA框架，通过将蒸馏对齐单元从token转为跨度的质心表示，并引入几何正则化和对齐跨度logit蒸馏，显著提升跨分词器知识蒸馏性能。
2026-06-02 cs.CL
Beyond Token-Local Imitation: Reward-Compatible Temporal Credit Assignment for On-Policy Distillation
School of Vehicle and Mobility & College of AI, Tsinghua University（清华大学车辆与运载学院与人工智能学院）；Didi Voyager Labs, DiDi Autonomous Driving（滴滴自动驾驶沃芽实验室）
针对在线策略蒸馏中目标保真度与稳定性权衡，提出γOPD方法，通过折扣时间信用分配和奖励兼容有界混合机制，在数学与代码推理任务上超越现有方法。
2026-09-22 cs.AI cs.LG cs.PL
Fewer Tokens, More Self-Teaching: On-Policy Self-Distillation for Extreme Visual Token Reduction
提出LT-OPD框架，通过在线策略自蒸馏和预算课程，在极端视觉令牌缩减下恢复MLLM性能，平均保留性能从68.6%提升至82.3%，并显著降低KV缓存和预填充计算量。
2026-10-02 cs.CL cs.CV cs.LG
Matching Supervision to the Student's Learning Capacity: A Unified Framework for On-Policy Self-Distillation
Tencent（腾讯）
本文针对在线自蒸馏的次优问题，提出统一在线自蒸馏（USD）框架，该框架通过耦合学习难度预算与师生 divergence，在多模型规模及推理基准上均优于基线方法。
2026-08-11 cs.AI cs.LG
Reward-Aligned Distillation
UC San Diego（加州大学圣迭戈分校）；Purdue University（普渡大学）；AWS AI Labs（亚马逊云科技人工智能实验室）；Amazon（亚马逊公司）
本文提出奖励对齐蒸馏（RAD）框架，通过双层框架基于蒸馏信号对学生模型奖励的预测效果加权，在竞赛数学和代码基准上显著提升了 Qwen 系列等大语言模型的性能。
2026-10-14 cs.CL cs.LG
Strong Teacher Not Needed? On Distillation in LLM Pretraining
Princeton University（普林斯顿大学）
本文通过构造不同强弱关系的师生模型，研究大语言模型预训练中知识蒸馏的有效性，发现弱教师也能提升学生模型，且强教师不一定更好。
2026-10-28 cs.CL cs.LG
Let the Data Decide: Supervision Analysis, Capability Trade-offs, and Adaptive Objective Routing in Continued Pre-Training via Off-Policy Distillation
Baidu Inc.（百度公司）
研究离策略蒸馏中训练数据、目标参数化和模型能力的相互作用，通过分解问题进行“目标到能力”和“数据到目标”分析，引入诊断指标量化张力，探讨自适应目标路由，表明有效路由取决于信号质量，将持续预训练重构为监督设计问题。
2026-07-21 cs.AI cs.LG
CoT2Align: Cross-Chain of Thought Distillation via Optimal Transport Alignment for Language Models with Different Tokenizers
Hanoi University of Science and Technology（河内理工大学）；Oraichain Labs Inc.（Oraichain实验室公司）；ByteDance Inc（字节跳动公司）；VNU University of Engineering and Technology（越南国家大学工程技术大学）；Monash University（莫纳什大学）；University of Oregon（俄勒冈大学）
提出CoT2Align通用知识蒸馏框架，通过集成思维链增强与Cross-CoT Alignment，结合序列级和层级最优传输对齐，解决了不同分词器模型间的推理感知蒸馏问题，显著提升了推理能力与鲁棒性。
2025-03-01 cs.CL
Vocabulary Expansion of Large Language Models via Kullback-Leibler-Based Self-Distillation
本研究通过基于KL散度的知识蒸馏方法，实现大语言模型在不改变原有词汇的情况下扩展新领域术语，提升代码生成任务性能。
2026-01-12 cs.AI cs.CL
Self-Distilled Reasoner: On-Policy Self-Distillation for Large Language Models
Meta Superintelligence Labs（Meta 超智能实验室）
本文提出自蒸馏推理器，通过单个LLM同时担任教师和学生，利用特权信息提升推理效率，优于强化学习和离线蒸馏方法。
2026-03-20 cs.CL cs.LG
Do We Really Need KL Divergence for On-Policy Distillation of Large Language Models?
LeapLab, Tsinghua University（清华大学LeapLab）；Qiuzhen College, Tsinghua University（清华大学求真书院）；Beihang University（北京航空航天大学）；National University of Singapore（新加坡国立大学）；The Chinese University of Hong Kong（香港中文大学）；E Fund Management Co., Ltd.（易方达基金管理有限公司）
本研究发现同策略蒸馏中KL散度并非必需，仅需保持朝向教师模型的更新方向，并聚焦于师生分歧大的token，据此提出C-MOPD方法，在数学和代码基准上优于MOPD。
2026-09-29 cs.AI cs.LG
Dr. OPD: Learning What to Follow for Optimal On-Policy Distillation of Large Language Models
Rutgers University（罗格斯大学）
针对在线策略蒸馏中教师信号重要性不均的问题，提出加权双层优化方法Dr. OPD，通过迭代更新令牌权重与学生策略，显著提升学生性能，在数学和代码任务上超越基线。
2026-09-30 cs.AI cs.CL cs.LG
DUET: Dual-Teacher On-Policy Distillation via Same-Weight Disagreement for Prohibition Compliance
本研究针对LLM部署中的动态禁止规则合规问题，提出DUET双教师在线策略蒸馏方法，构建工业基准，在Qwen模型上实现高合规性与效用保留，性能优于基线。
2026-08-18 cs.CL cs.LG
Respecting Self-Uncertainty in On-Policy Self-Distillation for Efficient LLM Reasoning
Shanghai Jiao Tong University（上海交通大学）；Tsinghua University（清华大学）；Shanghai AI Laboratory（上海人工智能实验室）
本文提出EGRSD方法，通过三种信号统一token级更新，提升大语言模型推理的准确性和效率。
2026-05-13 cs.AI
Pay Attention to the Triggers: Constructing Backdoors That Survive Distillation
针对现有LLM后门难以通过知识蒸馏转移的问题，提出T-MTB技术，用蒸馏数据中常见词元构建复合触发器，实现可转移后门并验证其在多场景多模型下的安全风险。
2025-10-21 cs.AI cs.CR cs.LG
TAD: Temporal-Aware Trajectory Self-Distillation for Fast and Accurate Diffusion LLM
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学北京校区人工智能学院）；Ant Group（蚂蚁集团）
TAD通过时空感知轨迹自蒸馏方法，在提升生成速度的同时保持准确性，实验表明在LLaDA上质量模型将平均准确率提升至51.6%，速度模型将AUP提升至257.1。
2026-05-10 cs.AI cs.CL
Post-Training is About States, Not Tokens: A State Distribution View of SFT, RL, and On-Policy Distillation
Independent Researcher（独立研究者）
本文从状态分布的角度研究了监督微调(SFT)、强化学习(RL)和在线策略蒸馏(OPD)等大语言模型训练后方法，发现训练状态的来源和局部性与监督信号的形式同样重要。
2026-05-21 cs.AI cs.LG
When Teachers Mislead: Spurious-Signal-Aware On-Policy Distillation
针对在线策略蒸馏中存在的虚假信号问题，提出SA-OPD框架，通过输入接地性代理过滤误导性token级监督，实验表明其性能优于普通OPD及其他选择性方法。
2026-08-05 cs.AI
SHRED: Retain-Set-Free Unlearning via Self-Distillation with Logit Demotion
University of Southern California（南加州大学）；USC Information Sciences Institute（USC信息科学研究所）
本文提出了一种无需保留集的去记忆方法SHRED，通过自蒸馏与对数势降低，在去记忆的同时保持模型的实用性，优于传统需要保留集的方法。
2026-06-04 cs.AI cs.LG
Diagnosing and Mitigating Thinking Collapse in On-Policy Self-Distillation
Beihang University（北京航空航天大学）；Hong Kong Polytechnic University（香港理工大学）；Alibaba Group（阿里巴巴集团）
研究基于策略的自蒸馏在复杂推理任务中性能下降问题，发现思维崩溃陷阱。提出自适应双视角OPSD，通过动态调节自蒸馏目标缓解该问题，在多模型规模和数据集上实验验证其有效性，提升绝对平均准确率4.1%。
2026-07-14 cs.CL cs.LG
Keypoint-based Progressive Chain-of-Thought Distillation for LLMs
Beijing Institute of Technology（北京理工大学）；Ant Group（蚂蚁集团）
提出KPOD框架，通过掩码学习加权关键点token和渐进式蒸馏策略，解决思维链蒸馏中关键点模仿不足和步骤学习顺序问题，在四个推理基准上显著超越现有方法。
2024-05-25 cs.CL
AMR-SD: Asymmetric Meta-Reflective Self-Distillation for Token-Level Credit Assignment
Meituan Beijing, China（美团北京，中国）；University of Chinese Academy of Sciences（中国科学院大学）
本文提出AMR-SD，一种不对称元反射自蒸馏方法，旨在解决大型语言模型在复杂推理中因统一序列奖励导致的信用分配瓶颈问题，通过引入反思瓶颈和因果信息增益机制，实现更精确的标记级优势调节。
2026-05-18 cs.AI
RoCo-ACE: Rollout-Conditioned Online Distillation for Retention-Aware Knowledge Injection
Ant Group（蚂蚁集团）；Zhejiang University（浙江大学）；Shanghai Jiao Tong University（上海交通大学）
研究针对知识注入中拟合权威答案致行为偏差问题，提出RoCo-ACE方法，通过同展开无参考/基于参考条件的似然对比及参考侧锚定校正，在多知识注入设置等下，实现最佳注入知识准确性且保持保留率接近基础模型。
2026-07-29 cs.AI cs.LG
Med-OPD: Improving Medical Vision-Language Models via Evidence-Aware On-Policy Distillation
National University of Singapore（新加坡国立大学）；University of Science and Technology of China（中国科学技术大学）
研究针对医学视觉语言模型依赖语言先验而非视觉证据推理的问题，提出Med-OPD框架，引入医学证据优势信号，在令牌和轨迹级别重新分配蒸馏信号，实验证明该方法能加强模型对关键视觉证据的依赖，提升多模态医学推理能力。
2026-07-21 cs.AI cs.CV
ReAD: Reinforcement-Guided Capability Distillation for Large Language Models
Florida State University（佛罗里达州立大学）；Louisiana State University（路易斯安那州立大学）；Vanderbilt University（范德比大学）
ReAD通过强化学习指导能力蒸馏，在固定token预算下提升下游任务性能，减少有害溢出和无效蒸馏成本。
2026-05-11 cs.AI cs.CL
On-policy Distillation with Verifiable Reward
LeapLab, Tsinghua University（清华大学LeapLab）；Beihang University（北京航空航天大学）；SMS, Peking University（北京大学SMS）；NLPLab, Tsinghua University（清华大学NLPLab）
本研究提出OPDVR方法，无缝结合OPD与RLVR且不增加超参数，经六个推理基准实验验证其性能优于标准OPD。
2026-09-30 cs.AI cs.LG
Unbiased Top-$k$ Estimation for On-Policy Distillation
Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；State Key Laboratory of Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）
针对同策略蒸馏中Top-k估计的偏差问题，提出尾校正Top-k同策略蒸馏（TT-OPD），结合top-k token与采样token实现无偏梯度估计，显著提升性能。
2026-10-02 cs.CL cs.LG stat.ML
DOPD: Dual On-policy Distillation
NUS（新加坡国立大学）；MMLab, CUHK（香港中文大学多媒体实验室）；PKU（北京大学）；Explore Academy, JD（京东探索研究院）
提出DOPD方法，通过优势感知的双重蒸馏范式动态分配令牌级监督，缓解特权幻觉，在LLM和VLM上优于传统在线策略蒸馏。
2026-06-29 cs.AI
All Centers Are at most a Few Tokens Apart: Knowledge Distillation with Domain Invariant Prompt Tuning
Department of Computer Engineering, Sharif University of Technology, Tehran, Iran（计算机工程系，谢赫拉兹大学，德黑兰，伊朗）
本文提出领域不变提示微调（DIPT）方法，通过学习领域不变提示提升知识蒸馏效果，从而增强病理学领域模型的泛化能力。
2025-11-27 cs.AI cs.CV
Learning to Focus: Causal Attention Distillation via Gradient-Guided Token Pruning
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）；Department of Computer Science and Technology, Tsinghua University（清华大学计算机科学与技术系）；Baidu Inc.（百度公司）
针对长上下文推理中注意力被干扰模式误导的问题，提出LeaF两阶段框架，通过梯度比较识别并剪除混杂令牌，在蒸馏中对齐师生注意力，提升数学推理、代码生成和多跳问答性能。
2025-10-24 cs.CL
Hide to See: Reasoning-prefix Masking for Visual-anchored Thinking in VLM Distillation
KAIST（韩国科学技术院）；NVIDIA（英伟达）；POSTECH（POSTECH大学）
提出一种推理前缀掩码蒸馏框架，通过掩码学生模型的显著推理前缀，迫使其在推理过程中更依赖视觉证据，从而缓解长推理轨迹中的视觉遗忘问题，提升多模态推理性能。
2026-11-09 cs.AI cs.CL cs.CV
Structured Distillation for Personalized Agent Memory: 11x Token Reduction with Retrieval Preservation
本文提出一种结构化蒸馏方法，将用户与代理的对话历史压缩至38个token，实现11倍压缩，同时保持检索性能，通过实验验证了压缩后检索质量的可靠性。
2026-03-13 cs.AI cs.CL cs.IR
Less is More Tokens: Efficient Math Reasoning via Difficulty-Aware Chain-of-Thought Distillation
Carnegie Mellon University（卡内基梅隆大学）
本研究提出难度感知思维链蒸馏框架，通过含难度匹配长度思维链的数据后训练，无需修改架构即可让模型动态调整推理深度，结合SFT与DPO实现简单题精简推理、难题保深度，缩短输出同时维持或提升性能。
2025-09-05 cs.CL
RP-OPSD: Reasoning-Pivot-Guided On-Policy Self-Distillation for Multilingual Reasoning Transfer
Nanjing University（南京大学）
该研究针对多语言推理迁移中现有在线策略自蒸馏未优先考虑关键推理信号的问题，提出 RP-OPSD 方法，利用教师视图分布偏移引导特权蒸馏，在 17 种语言的数学推理基准上优于基线，提升了多语言推理能力。
2026-08-07 cs.CL
Investigating Mysteries of CoT-Augmented Distillation
Northeastern University（东北大学）
本文通过消融实验探究CoT增强蒸馏为何有效，发现将CoT序列置于标签之后、使用不连贯理由或仅少量关键token即可取得与完整理由相当的蒸馏提升。
2024-09-27 cs.CL
Teaching the Way, Not the Answer: Privileged Tutoring Distillation for Multimodal Policy Optimization
Tianjin University（天津大学）；Beijing Institute of Technology（北京理工大学）；Singapore Management University（新加坡国立大学）；University of Chinese Academy of Sciences（中国科学院大学）；Xiaomi Inc（小米公司）
提出PTD-PO框架，通过构建特权提示提供密集的令牌级监督，避免暴露答案，并采用Top-K JS散度稳定蒸馏，显著提升多模态推理性能。
2026-10-21 cs.AI
Trajectory-Refined Distillation
McGill University（麦吉尔大学）；Mila Quebec AI Institute（米拉魁北克人工智能研究所）；UT Austin（德克萨斯大学奥斯汀分校）
提出轨迹精炼蒸馏（TRD），通过教师指导修正学生轨迹中的前缀错误，解决在线策略蒸馏中的前缀失败问题，提升大语言模型的单次准确率和推理覆盖。
2026-10-14 cs.AI
EasyOPD: An Easy-to-use On-Policy Distillation Framework for Large Language Models
University of Science and Technology of China（中国科学技术大学）；Tencent（腾讯）；Shanghai Innovation Institute（上海创新研究院）；National University of Singapore（新加坡国立大学）
研究针对传统语言模型蒸馏问题，提出基于verl构建的EasyOPD框架，分离用户配置等，为三种OPD设置实例化方法，经多基准测试，其实现可通过同一后端执行，还发布了相关配置、文档及演示包。
2026-07-14 cs.CL
Trust the Right Teacher: Quality-Aware Self-Distillation for GUI Grounding
University of Georgia（佐治亚大学）；INFLY Tech；Tencent AI Lab（腾讯AI实验室）；The Hong Kong Polytechnic University（香港理工大学）
提出质量感知自蒸馏方法，通过软正确性感知门控和教师概率缩放改善坐标令牌教师信号质量，提升VLM在GUI定位任务中的性能。
2026-10-26 cs.AI
