Online Data Selection Is Implicit Alignment
在线数据选择即隐式对齐
机构 * East China Normal University(华东师范大学) ; Shanghai University(上海大学)
专题命中 指令微调 :SFT(abstract,abstract_cn);preference optimization(abstract);分类 cs.LG
AI总结 研究将在线数据选择视为隐式对齐机制,给定相同条件比较多种在线选择器在无偏好优化时引起的行为漂移,提出评估和量化方法,引入ADA和AAS,可在保持数据效率时限制安全和风格轴漂移。