评估 LLM 对社会人口统计因素的适应：用户画像 vs. 对话历史
Evaluating LLM Adaptation to Sociodemographic Factors: User Profile vs. Dialogue History
AI总结：
本文提出一个评估框架，通过用户画像和多轮对话历史显式或隐式引入社会人口统计属性，发现大多数 LLM 会根据人口统计变化调整价值表达，且更强推理能力的模型在跨模态适应中表现出更高一致性。
摘要：
大型语言模型（LLMs）的有效交互需要根据用户的社会人口统计特征（如年龄、职业和受教育水平）调整回复。尽管许多现实应用利用对话历史进行上下文化，但现有对 LLMs 行为适应的评估通常聚焦于单轮提示。在本文中，我们提出了一个框架来评估当属性通过以下方式引入时 LLM 的适应情况：（1）在提示中通过用户画像显式引入，或（2）通过多轮对话历史隐式引入。我们评估了模型行为在这些模态间的一致性。使用多智能体流水线，我们构建了一个合成数据集，将对话历史与不同的用户画像配对，并采用 Value Survey Module（VSM 2013）（Hofstede 和 Hofstede，2016）中的问题来探测价值表达。我们的研究结果表明，大多数模型会根据人口统计变化调整其表达的价值，特别是在年龄和受教育水平方面，但一致性存在差异。具有更强推理能力的模型展现出更高的一致性，这表明推理在稳健的社会人口统计适应中的重要性。
英文摘要：
Effective engagement by large language models (LLMs) requires adapting responses to users' sociodemographic characteristics, such as age, occupation, and education level. While many real-world applications leverage dialogue history for contextualization, existing evaluations of LLMs' behavioral adaptation often focus on single-turn prompts. In this paper, we propose a framework to evaluate LLM adaptation when attributes are introduced either (1) explicitly via user profiles in the prompt or (2) implicitly through multi-turn dialogue history. We assess the consistency of model behavior across these modalities. Using a multi-agent pipeline, we construct a synthetic dataset pairing dialogue histories with distinct user profiles and employ questions from the Value Survey Module (VSM 2013) (Hofstede and Hofstede, 2016) to probe value expression. Our findings indicate that most models adjust their expressed values in response to demographic changes, particularly in age and education level, but consistency varies. Models with stronger reasoning capabilities demonstrate greater alignment, indicating the importance of reasoning in robust sociodemographic adaptation.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
