Fair-PP：用于使LLM与社会公平个性化偏好对齐的合成数据集
Fair-PP: A Synthetic Dataset for Aligning LLM with Personalized Preferences of Social Equity
AI总结：
本文提出源自社会调查的 Fair-PP 个性化公平偏好合成数据集，并结合自动生成框架、LLM偏好定位分析与样本重加权对齐方法，提升模型对目标人物画像的偏好适配效果。
摘要：
人类偏好在大型语言模型（LLM）的优化中发挥着关键作用。然而，收集人类偏好反馈成本高昂，而且大多数现有数据集忽视了个性化与偏好之间的关联。为解决这一问题，我们提出 Fair-PP，这是一个面向社会公平的个性化偏好合成数据集，源自真实世界社会调查数据，涵盖28个社会群体、98个公平议题和5个个人偏好维度。我们利用 GPT-4o-mini，在现有社会调查数据指导下，基于7种具有代表性的人物画像进行角色扮演，共生成238,623条偏好记录。通过 Fair-PP，我们还贡献了：（i）一个用于生成偏好数据的自动化框架，以及一个更细粒度的个性化偏好数据集；（ii）对全球五大区域内现有主流 LLM 在个性化偏好空间中的定位分析；以及（iii）一种用于个性化偏好对齐的样本重加权方法，使其能够与目标人物画像对齐，同时最大化与其他人物画像的差异。实证实验表明，我们的方法优于基线方法。
英文摘要：
Human preference plays a crucial role in the refinement of large language models (LLMs). However, collecting human preference feedback is costly and most existing datasets neglect the correlation between personalization and preferences. To address this issue, we introduce Fair-PP, a synthetic dataset of personalized preferences targeting social equity, derived from real-world social survey data, which includes 28 social groups, 98 equity topics, and 5 personal preference dimensions. Leveraging GPT-4o-mini, we engage in role-playing based on seven representative persona portrayals guided by existing social survey data, yielding a total of 238,623 preference records. Through Fair-PP, we also contribute (i) An automated framework for generating preference data, along with a more fine-grained dataset of personalized preferences; (ii) analysis of the positioning of the existing mainstream LLMs across five major global regions within the personalized preference space; and (iii) a sample reweighting method for personalized preference alignment, enabling alignment with a target persona while maximizing the divergence from other personas. Empirical experiments show our method outperforms the baselines.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
