VISTA: Verifier-Informed Student-to-Teacher Adaptation for On-Policy Self-Distillation
VISTA:面向在线自蒸馏的验证器驱动的学生到教师适配
机构 * University of Science and Technology of China(中国科学技术大学) ; State Key Laboratory of Cognitive Intelligence(认知智能国家重点实验室)
AI总结 VISTA 复用标准 OPSD 的 rollout 与损失函数,通过结果验证的 rollout 将教师适配学生分布,在多基准数据集上提升了不同规模 Qwen3 模型的 Avg@12。