Dual-Head Knowledge Distillation: Enhancing Logits Utilization with an Auxiliary Head
双头知识蒸馏：通过辅助头增强logits的利用
机构 * Nanyang Technological University（南洋理工大学） ； Nanjing University of Aeronautics and Astronautics（南京航空航天大学） ； Southeast University（东南大学）
AI总结 本文提出双头知识蒸馏方法，通过分离分类头和骨干网络，解决传统知识蒸馏中logit级损失与概率级损失结合导致的分类头崩溃问题，提升模型性能。
Comments Accepted by KDD 2025
