离线LLM评估的不足：模型行为中需要考虑个性化
The Inadequacy of Offline LLM Evaluations: A Need to Account for Personalization in Model Behavior
AI总结：
本文通过对比离线评估与800名真实用户的现场评估，证明个性化显著改变语言模型行为，指出离线评估的不足，强调需考虑个性化因素。
摘要：
语言模型的标准离线评估——即模型进行的一系列独立、无状态的推理——未能捕捉语言模型在实际应用中的行为，其中个性化从根本上改变了模型行为。例如，当向一个无状态系统、一个用户的聊天会话或另一个用户的聊天会话中提示相同基准问题时，同一语言模型可能产生显著不同的响应。在本工作中，我们通过将离线评估与现场评估进行比较，提供了实证证据来展示这一现象。现场评估由800名ChatGPT和Gemini的真实用户向其聊天界面提出基准问题及其他提供的问题。
英文摘要：
Standard offline evaluations for language models -- a series of independent, state-less inferences made by models -- fail to capture how language models actually behave in practice, where personalization fundamentally alters model behavior. For instance, identical benchmark questions to the same language model can produce markedly different responses when prompted to a state-less system, in one user's chat session, or in a different user's chat session. In this work, we provide empirical evidence showcasing this phenomenon by comparing offline evaluations to field evaluations conducted by having 800 real users of ChatGPT and Gemini pose benchmark and other provided questions to their chat interfaces.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
