Drift：基于隐式用户偏好的解码时个性化对齐
Drift: Decoding-time Personalized Alignments with Implicit User Preferences
AI总结：
Drift 提出一种无需训练的解码时个性化对齐框架，通过将隐式用户偏好建模为可解释属性组合，仅用 50-100 个样本即可引导冻结大语言模型，在 Perspective 和 PRISM 数据集上显著超越 RLHF 基线。
摘要：
针对个体用户的个性化对齐一直是大语言模型（LLMs）的长期目标。我们提出 Drift，一个在解码时利用隐式用户偏好对 LLMs 进行个性化的新框架。传统的基于人类反馈的强化学习（RLHF）需要数千个标注样本和昂贵的梯度更新。相比之下，Drift 以无需训练的方式对 LLMs 进行个性化，仅使用几十个样本，通过高效的偏好建模来引导冻结模型。我们的方法将用户偏好建模为预定义的、可解释属性的组合，并在解码时对齐这些属性，以实现个性化生成。在合成人设数据集（Perspective）和真实人工标注数据集（PRISM）上的实验表明，Drift 在仅使用 50-100 个样本的情况下，显著优于 RLHF 基线。我们的结果和分析表明，Drift 既具有计算效率，又具有可解释性。
英文摘要：
Personalized alignments for individual users have been a long-standing goal in large language models (LLMs). We introduce Drift, a novel framework that personalizes LLMs at decoding time with implicit user preferences. Traditional Reinforcement Learning from Human Feedback (RLHF) requires thousands of annotated examples and expensive gradient updates. In contrast, Drift personalizes LLMs in a training-free manner, using only a few dozen examples to steer a frozen model through efficient preference modeling. Our approach models user preferences as a composition of predefined, interpretable attributes and aligns them at decoding time to enable personalized generation. Experiments on both a synthetic persona dataset (Perspective) and a real human-annotated dataset (PRISM) demonstrate that Drift significantly outperforms RLHF baselines while using only 50-100 examples. Our results and analysis show that Drift is both computationally efficient and interpretable.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
