针对基于竞技场的 LLM 评估中 ELO 评分系统的不稳定问题，本文提出 am-ELO 框架，通过引入最大似然估计替代迭代更新并纳入标注者能力，实现了更鲁棒、准确和稳定的模型评估。
摘要：
基于竞技场的评估是现代 AI 模型，特别是大型语言模型（LLMs）的一种基础且重要的评估范式。现有的基于 ELO 评分系统的框架由于排名不一致以及对标注者能力差异缺乏关注，不可避免地存在不稳定问题。在本文中，我们通过增强 ELO 评分系统引入了一个新颖的稳定竞技场框架来解决这些问题。具体而言，我们用最大似然估计（MLE）方法 m-ELO 替代了迭代更新方法，并提供了 MLE 方法在模型排名中一致性和稳定性的理论证明。此外，我们提出了 am-ELO，它修改了 ELO 评分的概率函数以纳入标注者能力，从而能够同时估计模型分数和标注者可靠性。实验表明该方法确保了稳定性，证明该框架为 LLMs 提供了一种更鲁棒、准确和稳定的评估方法。
英文摘要：
Arena-based evaluation is a fundamental yet significant evaluation paradigm for modern AI models, especially large language models (LLMs). Existing framework based on ELO rating system suffers from the inevitable instability problem due to ranking inconsistency and the lack of attention to the varying abilities of annotators. In this paper, we introduce a novel stable arena framework to address these issues by enhancing the ELO Rating System. Specifically, we replace the iterative update method with a Maximum Likelihood Estimation (MLE) approach, m-ELO, and provide theoretical proof of the consistency and stability of the MLE approach for model ranking. Additionally, we proposed the am-ELO, which modify the Elo Rating's probability function to incorporate annotator abilities, enabling the simultaneous estimation of model scores and annotator reliability. Experiments demonstrate that this method ensures stability, proving that this framework offers a more robust, accurate, and stable evaluation method for LLMs.
CV-Arena: An Open Benchmark for Instructional Computer Vision Problem Solving with Human-AI Collaborative Preferences
Texas A&M University（德克萨斯A&M大学）；Worcester Polytechnic Institute（沃斯特理工大学）；Tohoku University（东北大学）；Georgia Institute of Technology（佐治亚理工学院）；NVIDIA（英伟达）；UCSB（加州大学圣塔芭芭拉分校）；UC Merced（加州大学默塞德分校）
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Michigan（密歇根大学）；Carnegie Mellon University（卡内基梅隆大学）；The University of Tokyo（东京大学）
A Statistical Framework for Ranking LLM-Based Chatbots
ICSI and Department of Statistics, University of California, Berkeley（ICSI和统计学系，加州大学伯克利分校）；Department of Computer Science, University of California, Berkeley（计算机科学系，加州大学伯克利分校）；ICSI, LBNL, and Department of Statistics, University of California, Berkeley（ICSI、劳伦斯伯克利国家实验室和统计学系，加州大学伯克利分校）
Theory-Grounded Evaluation of Human-Like Fallacy Patterns in LLM Reasoning
The Laboratory for Human-Centered AI, Institute for Ethics in AI, Faculty of Philosophy, University of Oxford, UK（以人为中心的人工智能实验室，人工智能伦理研究所，哲学学院，牛津大学，英国）；Oxford Internet Institute, University of Oxford, UK（牛津互联网研究所，牛津大学，英国）；School of Computer Science, University of Birmingham, UK（计算机科学学院，伯明翰大学，英国）
BigCodeArena: Unveiling More Reliable Human Preferences in Code Generation via Execution
Monash University（墨尔本大学）；CSIRO’s Data61（CSIRO的数据61）；Purdue University（普渡大学）；Independent（独立）；HKUST (Guangzhou)（香港科技大学（广州））；UCSD（加州大学圣地亚哥分校）；UVA（弗吉尼亚大学）；CNRS, France（法国国家科学研究中心）；IBM；Cisco（思科）；Comenius University in Bratislava（布拉提斯拉瓦康门纽斯大学）；University of Notre Dame（Notre Dame大学）；Uber；Tano Labs（Tano实验室）；NUS（国立大学新加坡）；Institute of Automation, CAS（中国科学院自动化研究所）；Tencent AI Lab（腾讯AI实验室）；University of Washington（华盛顿大学）；Nevsky Collective（Nevsky集体）；ETH Zurich（苏黎世联邦理工学院）；Detomo Inc（Detomo公司）；University of Oxford（牛津大学）；UIUC（伊利诺伊大学香槟分校）；Google（谷歌）；NVIDIA；Singapore Management University（新加坡管理学院）；ServiceNow Research（ServiceNow研究）；Hugging Face
