Salesforce

Privileged Likelihood Is Not Automatically Value: Three Checks for Token Credit in On-Policy Self-Distillation

特权似然并非自动等价于价值：在线自蒸馏中 token 信用的三项检验

Xuan-Phi Nguyen, Shrey Pandit, Yiran Zhao, Anurag Koul, Zeyu Liu, Shafiq Joty

机构 * Salesforce AI Research（Salesforce AI研究院） 纠错

AI总结 该研究针对在线自蒸馏中 token 信用问题，通过三项检验分析特权似然与价值的关系，实验表明 token 分数变体效果不及仅结果对照组，需单独验证分数等因素的有效性。

Comments Preprint