有用的助手还是富有成效的促进者？探究人格设定如何影响语言模型行为
Helpful assistant or fruitful facilitator? Investigating how personas affect language model behavior
AI总结：
本文通过向7个LLM分配162个人格设定并测试5个数据集，探究人格设定对模型行为的影响，发现人格设定比基线控制设置表现出更大的变异性，且部分行为指标跨模型普适。
摘要：
个性化并引导大语言模型（LLM）生成结果的一种方法是分配一个人格设定：一个描述用户期望 LLM 如何行为的角色（例如，有用的助手、教师、女性）。本文探究人格设定如何影响模型行为的多个方面。我们从涵盖性别、性取向和职业等变量的 12 个类别中选取 162 个人格设定，分配给 7 个 LLM。我们提示它们回答来自 5 个数据集的问题，涵盖客观任务（例如，关于数学和历史的问题）和主观任务（例如，关于信仰和价值观的问题）。我们还将人格设定的生成结果与两种基线设置进行比较：包含 30 个“有用的助手”释义的控制人格设定，用于控制模型的提示敏感性；以及不分配任何人格设定的空人格设定。我们发现，对于所有模型和数据集，人格设定比控制设置表现出更大的变异性，并且人格行为的一些测量指标在不同模型间具有普适性。
英文摘要：
One way to personalize and steer generations from large language models (LLM) is to assign a persona: a role that describes how the user expects the LLM to behave (e.g., a helpful assistant, a teacher, a woman). This paper investigates how personas affect diverse aspects of model behavior. We assign to seven LLMs 162 personas from 12 categories spanning variables like gender, sexual orientation, and occupation. We prompt them to answer questions from five datasets covering objective (e.g., questions about math and history) and subjective tasks (e.g., questions about beliefs and values). We also compare persona's generations to two baseline settings: a control persona setting with 30 paraphrases of "a helpful assistant" to control for models' prompt sensitivity, and an empty persona setting where no persona is assigned. We find that for all models and datasets, personas show greater variability than the control setting and that some measures of persona behavior generalize across models.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
