IBM

Dropping Just a Handful of Preferences Can Change Top Large Language Model Rankings

丢弃少量偏好可以改变大型语言模型的排名

Jenny Y. Huang, Yunyi Shen, Dennis Wei, Tamara Broderick

机构 * Department of Electrical Engineering and Computer Science, Massachusetts Institute of Technology（麻省理工学院电子工程与计算机科学系） ； MIT-IBM Watson AI Lab（MIT-IBM沃森人工智能实验室） ； IBM Research（IBM研究院） 纠错

AI总结 研究通过评估LLM排名系统的鲁棒性，发现丢弃少量偏好数据可显著影响模型排名，揭示MT-bench偏好更稳定的原因。