How Well Can Preference Optimization Generalize Under Noisy Feedback?
在有噪声反馈下,偏好优化能有多好?
机构 * Department of Computer Sciences(计算机科学系) ; University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
AI总结 本文研究了在噪声反馈下偏好优化的一般化能力,分析了不同噪声类型和强度对模型性能的影响,并验证了其在实际LLM训练中的有效性。
Comments TMLR 2026