Apple（苹果）

Embarrassingly Simple Self-Distillation Improves Code Generation

令人惊讶的简单自蒸馏方法提升代码生成能力

Ruixiang Zhang, Richard He Bai, Huangjie Zheng, Navdeep Jaitly, Ronan Collobert, Yizhe Zhang

机构 * Apple（苹果公司） 纠错

AI总结 提出简单自蒸馏（SSD）方法，仅利用模型自身输出进行微调，无需验证器或强化学习，显著提升代码生成性能，并揭示其通过重塑token分布解决精度-探索冲突的机制。