JD（京东）

TANDEM: Bi-Level Data Mixture Optimization with Twin Networks

TANDEM: 基于孪生网络的双层数据混合优化

Jiaxing Wang, Deping Xiang, Jin Xu, Mingyang Yi, Guoqiang Gong, Zicheng Zhang, Haoran Li, Pengzhang Liu, Zhen Chen, Ke Zhang, Ju Fan, Qixiang Jiang

机构 * JD.com（京东公司） ； University of Oxford（牛津大学） ； Renmin University of China（中国人民大学） ； University of Chinese Academy of Sciences（中国科学院大学） 纠错

AI总结 提出TANDEM方法，通过孪生网络（代理模型和参考模型）的差异衡量数据效用，优化领域混合比例，在数据受限和监督微调等场景中显著提升大语言模型性能。