Improving Cross-Format Robustness in Language Models with Multi-Format Training
通过多格式训练提升语言模型的跨格式鲁棒性
机构 * Ant Group(蚂蚁集团) ; International Digital Economy Academy (IDEA)(国际数字经济学院(IDEA))
专题命中 其他LLM :language model(title,abstract);LLM(abstract_cn);large language model(abstract);分类 cs.CL
AI总结 提出FormatMix方法,通过将部分训练数据扩展为多种等价格式,显著提升大语言模型在不同答案格式下的一致性,仅需30%数据即可接近全格式训练效果。