通过注入个性缓解基于大语言模型的相关性判断中的阈值先入为主效应
Mitigating the Threshold Priming Effect in Large Language Model-Based Relevance Judgments via Personality Infusing
AI总结：
本文通过注入人格特征缓解基于大语言模型的相关性判断中的阈值先入为主效应，发现特定人格特征可有效降低该效应，并提出人格提示作为改进方法。
摘要：
近期研究探讨了大型语言模型（LLMs）作为可扩展工具在相关性标注中的应用，但研究表明它们容易受到先入为主效应的影响，即先前的相关性判断会影响后续判断。尽管心理学理论将人格特质与此类偏见联系起来，但尚不清楚LLMs中的模拟人格是否表现出类似效应。我们研究了LLMs中的大五人格特征如何影响相关性标注中的先入为主效应，使用多个LLMs在TREC 2021和2022深度学习轨道数据集上进行实验。我们的结果表明，某些特征，如高开放性和低神经质，能够一致地降低先入为主效应的敏感性。此外，最有效的个性在缓解先入为主效应方面可能因模型和任务类型而异。基于这些发现，我们提出人格提示作为一种方法来缓解阈值先入为主效应，将心理学证据与基于LLM的评估实践联系起来。
英文摘要：
Recent research has explored LLMs as scalable tools for relevance labeling, but studies indicate they are susceptible to priming effects, where prior relevance judgments influence later ones. Although psychological theories link personality traits to such biases, it is unclear whether simulated personalities in LLMs exhibit similar effects. We investigate how Big Five personality profiles in LLMs influence priming in relevance labeling, using multiple LLMs on TREC 2021 and 2022 Deep Learning Track datasets. Our results show that certain profiles, such as High Openness and Low Neuroticism, consistently reduce priming susceptibility. Additionally, the most effective personality in mitigating priming may vary across models and task types. Based on these findings, we propose personality prompting as a method to mitigate threshold priming, connecting psychological evidence with LLM-based evaluation practices.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
