Meta

Memorization Dynamics in Knowledge Distillation for Language Models

知识蒸馏中语言模型的知识记忆动态

Jaydeep Borkar, Karan Chadha, Niloofar Mireshghallah, Yuchen Zhang, Irina-Elena Veliche, Archi Mitra, David A. Smith, Zheng Xu, Diego Garcia-Olano

机构 * Meta Superintelligence Labs（Meta超智能实验室） ； Meta Central Applied Science（Meta中央应用科学） ； FAIR at Meta（Meta的FAIR） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

AI总结 本研究探讨了知识蒸馏中语言模型的知识记忆动态，发现蒸馏模型比标准微调记忆更少，且硬蒸馏方法风险更高。

FronTalk: Benchmarking Front-End Development as Conversational Code Generation with Multi-Modal Feedback

FronTalk: 以多模态反馈进行对话式代码生成的前端开发基准测试

Xueqing Wu, Zihan Xue, Da Yin, Shuyan Zhou, Kai-Wei Chang, Nanyun Peng, Yeming Wen

机构 * Meta Superintelligence Labs（Meta超智能实验室） ； University of California, Los Angeles（加州大学洛杉矶分校） ； Duke University（杜克大学） 纠错

AI总结 提出FronTalk基准，通过多轮对话和多模态反馈（文本与视觉指令）评估前端代码生成，发现模型存在遗忘和视觉反馈理解困难，提出AceCoder方法有效减少遗忘并提升性能。

Comments CoLM 2026

Dancing Points: Synthesizing Ballroom Dancing with Three-Point Inputs

Dancing Points: 通过三点输入合成舞厅舞蹈

Peizhuo Li, Sebastian Starke, Yuting Ye, Olga Sorkine-Hornung

机构 * ETH Zurich（苏黎世联邦理工学院） ； Meta Reality Labs（Meta现实实验室） 纠错

AI总结 通过三点输入合成舞厅舞蹈，利用低维轨迹预测提升动作生成效率