Rethinking Decoupled Knowledge Distillation: A Predictive Distribution Perspective
重新思考解耦知识蒸馏：从预测分布的角度出发
机构 * Department of Data Science and Artificial Intelligence, The Hong Kong Polytechnic University（数据科学与人工智能系，香港理工大学） ； Department of Computing, The Hong Kong Polytechnic University（计算系，香港理工大学） ； The Hong Kong Polytechnic University Shenzhen Research Institute（香港理工大学深圳研究院）
AI总结 从预测分布角度重新审视解耦知识蒸馏，提出更灵活的GDKD损失和高效算法，提升知识提取效果。
Comments Accepted to IEEE TNNLS
