TuneShift-KD: Knowledge Distillation and Transfer for Fine-tuned Models
TuneShift-KD:用于微调模型的知识蒸馏与迁移
机构 * Department of Computer Science, University of Toronto(多伦多大学计算机科学系) ; Vector Institute, Toronto, Canada(多伦多大学向量研究所)
AI总结 本文提出TuneShift-KD方法,通过少量示例自动将微调模型的专业知识蒸馏并迁移到目标模型,利用困惑度差异识别专业领域知识,无需训练判别器或训练数据集。