Scale AI

Judging with Confidence: Calibrating Autoraters to Preference Distributions

Zhuohang Li, Xiaowei Li, Chengyu Huang, Guowang Li, Katayoon Goshvadi, Bo Dai, Dale Schuurmans, Paul Zhou, Hamid Palangi, Yiwen Song, Palash Goyal, Murat Kantarcioglu, Bradley A. Malin, Yuan Xue

机构 * Google（谷歌） ； Vanderbilt University（范德比大学） ； Cornell University（康奈尔大学） ； DeepMind（深Mind） ； University of Alberta（阿尔伯塔大学） ； Virginia Tech（弗吉尼亚理工学院） ； Scale AI 纠错