MindShift: 分析语言模型对心理提示的反应
MindShift: Analyzing Language Models' Reactions to Psychological Prompts
AI总结：
MindShift通过评估语言模型对心理提示的反应，揭示了模型在心理适应性和人格模拟方面的性能差异。
摘要：
大型语言模型（LLMs）有潜力吸收并反映用户指定的人格特质和态度。在我们的研究中，我们利用稳健的心理测量指标来检验这一潜力。我们采用了心理学文献中最受研究的测试，即明尼苏达多项人格测验（MMPI），并检验了LLMs的行为以识别特质。为了评估LLMs提示的敏感性和心理偏见，我们创建了以人格为导向的提示，设计了一套详细的个人角色，这些角色在特质强度上有所不同。这使我们能够衡量LLMs遵循这些角色的能力。我们的研究引入了MindShift，一个用于评估LLMs心理适应性的基准。结果突显了LLMs角色感知的一致性改进，归因于训练数据集和对齐技术的进步。此外，我们观察到不同模型类型和家族在心理测量评估中的响应存在显著差异，这表明它们在模拟人类样性格特质方面的能力存在差异。MindShift提示和LLM评估的代码将向公众开放。
英文摘要：
Large language models (LLMs) hold the potential to absorb and reflect personality traits and attitudes specified by users. In our study, we investigated this potential using robust psychometric measures. We adapted the most studied test in psychological literature, namely Minnesota Multiphasic Personality Inventory (MMPI) and examined LLMs' behavior to identify traits. To asses the sensitivity of LLMs' prompts and psychological biases we created personality-oriented prompts, crafting a detailed set of personas that vary in trait intensity. This enables us to measure how well LLMs follow these roles. Our study introduces MindShift, a benchmark for evaluating LLMs' psychological adaptability. The results highlight a consistent improvement in LLMs' role perception, attributed to advancements in training datasets and alignment techniques. Additionally, we observe significant differences in responses to psychometric assessments across different model types and families, suggesting variability in their ability to emulate human-like personality traits. MindShift prompts and code for LLM evaluation will be publicly available.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
