arXiv 2504.070702025-04-09cs.CL

大语言模型中个性化与多元化偏好对齐综述

A Survey on Personalized and Pluralistic Preference Alignment in Large Language Models

University of California, San Diego（加利福尼亚大学圣地亚哥分校）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Adobe Research（奥多比研究院）；The Ohio State University（俄亥俄州立大学）；Allen Institute for AI（艾伦人工智能研究所）

Zhouhang Xie, Junda Wu, Yiran Shen, Yu Xia, Xintong Li, Aaron Chang, Ryan Rossi, Sachin Kumar, Bodhisattwa Prasad Majumder, Jingbo Shang, Prithviraj Ammanabrolu, Julian McAuley

阅读 PDF

arXiv 页面 ↗HTML 原文 ↗

AI总结：

本文综述了大语言模型个性化偏好对齐技术，提出涵盖训练时、推理时和用户建模方法的分类体系，并分析了各方法优劣、评估基准与开放问题。

摘要：

大语言模型（LLMs）的个性化偏好对齐，即根据个体用户的偏好调整LLMs的过程，是一个跨越自然语言处理与个性化领域的新兴研究方向。在本综述中，我们对LLMs的个性化对齐与建模相关研究进行了分析。我们提出了偏好对齐技术的分类体系，包括训练时方法、推理时方法以及基于用户建模的方法。我们分析并讨论了每组技术的优势与局限性，随后涵盖了该领域的评估方法、基准以及开放问题。

英文摘要：

Personalized preference alignment for large language models (LLMs), the process of tailoring LLMs to individual users' preferences, is an emerging research direction spanning the area of NLP and personalization. In this survey, we present an analysis of works on personalized alignment and modeling for LLMs. We introduce a taxonomy of preference alignment techniques, including training time, inference time, and additionally, user-modeling based methods. We provide analysis and discussion on the strengths and limitations of each group of techniques and then cover evaluation, benchmarks, as well as open problems in the field.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。