探索LLM作为个性化助手的潜力：数据集、评估与分析
Exploring the Potential of LLMs as Personalized Assistants: Dataset, Evaluation, and Analysis
AI总结：
本文提出HiCUPID基准及对话数据集，并基于Llama-3.2构建自动评估模型，以探索和释放LLM作为个性化助手的潜力。
摘要：
个性化AI助手是大型语言模型（LLMs）类人能力的一个标志，也是一项具有挑战性的应用，它交织了LLM研究中的多个问题。尽管人们对开发个性化助手的兴趣日益增长，但缺乏一个专为个性化定制的开源对话数据集，仍然是该领域研究人员面临的一个重大障碍。为了填补这一研究空白，我们引入了HiCUPID，这是一个新的基准，旨在探测并释放LLM提供个性化响应的潜力。除了对话数据集之外，HiCUPID还提供了一个基于Llama-3.2的自动评估模型，其评估结果与人类偏好高度一致。我们在https://github.com/12kimih/HiCUPID发布了我们的数据集、评估模型和代码。
英文摘要：
Personalized AI assistants, a hallmark of the human-like capabilities of Large Language Models (LLMs), are a challenging application that intertwines multiple problems in LLM research. Despite the growing interest in the development of personalized assistants, the lack of an open-source conversational dataset tailored for personalization remains a significant obstacle for researchers in the field. To address this research gap, we introduce HiCUPID, a new benchmark to probe and unleash the potential of LLMs to deliver personalized responses. Alongside a conversational dataset, HiCUPID provides a Llama-3.2-based automated evaluation model whose assessment closely mirrors human preferences. We release our dataset, evaluation model, and code at https://github.com/12kimih/HiCUPID.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
