TALAS: Teacher-Anchored Layer Alignment with Adaptive Sharpness-Aware Minimization for Embedding Distillation
TALAS:基于教师锚定的层对齐与自适应锐度感知最小化的嵌入蒸馏
机构 * Hanoi University of Science and Technology(河内科技大学) ; VNU University of Engineering and Technology(越南国立大学工程与技术大学) ; University of Oregon(俄勒冈大学) ; Monash University(莫纳什大学)
AI总结 提出TALAS框架,通过教师锚定机制仅蒸馏最终句子嵌入到学生上层,结合层对齐自蒸馏和自适应锐度感知最小化,在降低计算成本的同时提升句子嵌入蒸馏性能。
Comments ACL 2026