SynthesizeMe! 为LLM中的个性化奖励模型诱导基于人物角色的提示
SynthesizeMe! Inducing Persona-Guided Prompts for Personalized Reward Models in LLMs
AI总结：
本文提出 SynthesizeMe 方法，通过从用户交互中诱导合成人物角色并筛选信息量大的历史交互来构建个性化提示，在 Chatbot Arena 上将个性化 LLM-as-a-judge 准确率提升 4.4%，并在 PersonalRewardBench 上取得最佳性能。
摘要：
近期关于大语言模型（LLMs）多元对齐的呼声鼓励模型适应多样化的用户偏好。然而，大多数先前关于个性化奖励模型的工作严重依赖额外的身份信息，例如人口统计细节或一组预定义的偏好类别。为此，我们提出了 SynthesizeMe，一种从用户交互中诱导合成用户人物角色以用于个性化奖励建模的方法。SynthesizeMe 首先生成并验证推理来解释用户偏好，然后从该推理中诱导合成用户人物角色，最后筛选出信息量大的先前用户交互，以便为特定用户构建个性化提示。我们表明，使用 SynthesizeMe 诱导的提示在 Chatbot Arena 上将个性化 LLM-as-a-judge 的准确率提高了 4.4%。将 SynthesizeMe 派生的提示与奖励模型相结合，在 PersonalRewardBench 上取得了最佳性能：PersonalRewardBench 是一个新整理的、按用户分层的聊天机器人交互数据集，收集自 Chatbot Arena 和 PRISM 的 854 名用户。
英文摘要：
Recent calls for pluralistic alignment of Large Language Models (LLMs) encourage adapting models to diverse user preferences. However, most prior work on personalized reward models heavily rely on additional identity information, such as demographic details or a predefined set of preference categories. To this end, we introduce SynthesizeMe, an approach to inducing synthetic user personas from user interactions for personalized reward modeling. SynthesizeMe first generates and verifies reasoning to explain user preferences, then induces synthetic user personas from that reasoning, and finally filters to informative prior user interactions in order to build personalized prompts for a particular user. We show that using SynthesizeMe induced prompts improves personalized LLM-as-a-judge accuracy by 4.4% on Chatbot Arena. Combining SynthesizeMe derived prompts with a reward model achieves top performance on PersonalRewardBench: a new curation of user-stratified interactions with chatbots collected from 854 users of Chatbot Arena and PRISM.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
