通过奖励分解实现语言模型个性化
Language Model Personalization via Reward Factorization
AI总结：
本文提出一种基于低维奖励分解的RLHF个性化框架，仅需约10条用户回复即可推断用户特定奖励并对齐LLM输出，在人工评估中相对GPT-4o取得67%胜率。
摘要：
现代大语言模型（LLMs）通过基于人类反馈的强化学习（RLHF）被优化以产生符合人类偏好的回复。然而，现有的RLHF方法假设存在一个通用的偏好模型，未能考虑个体用户的偏好，这限制了它们在个性化应用中的效果。我们提出了一个框架，通过利用用户偏好位于低维空间这一假设，将RLHF扩展以支持用户个性化。我们不是为每个用户单独训练一个模型，而是将用户特定的奖励表示为基础奖励函数的线性组合。仅使用约10条用户回复，我们的方法就能推断出用户特定的奖励，并据此对齐LLM的输出。我们通过在合成用户和真实用户上的实验验证了该方法，结果表明我们的方法实现了显著的个性化效果。在人工评估中，我们的方法相对于默认的GPT-4o回复取得了67%的胜率。
英文摘要：
Modern large language models (LLMs) are optimized for human-aligned responses using Reinforcement Learning from Human Feedback (RLHF). However, existing RLHF approaches assume a universal preference model and fail to account for individual user preferences, limiting their effectiveness in personalized applications. We introduce a framework that extends RLHF to enable user personalization by leveraging the assumption that user preferences lie in a low-dimensional space. Instead of training a separate model per user, we represent user-specific rewards as a linear combination of base reward functions. Using only ~10 user responses, our method can infer user-specific rewards and align LLM outputs accordingly. We validate our approach through experiments with both synthetic and real users, demonstrating significant personalization achieved by our method. In human evaluations, our method achieves a 67% win rate over default GPT-4o responses.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
