FairEval：评估基于LLM的推荐系统中具有人格感知的公平性
FairEval: Evaluating Fairness in LLM-Based Recommendations with Personality Awareness
AI总结：
本文提出FairEval框架，融合人格特质与八项敏感人口属性，系统评估LLM推荐公平性，并通过PAFS指标揭示ChatGPT 4o与Gemini 1.5 Flash在音乐和电影推荐中的偏差，强调提示鲁棒性对构建包容性推荐系统的重要性。
摘要：
大语言模型（LLMs）的最新进展使其能够应用于推荐系统（RecLLMs），但人们对其在人口统计学和心理学用户维度上的公平性仍存在担忧。我们提出了FairEval，这是一个新颖的评估框架，用于系统地评估基于LLM的推荐中的公平性。FairEval将人格特质与八个敏感的人口统计属性（包括性别、种族和年龄）相结合，从而能够对用户层面的偏见进行全面评估。我们在音乐和电影推荐上评估了包括ChatGPT 4o和Gemini 1.5 Flash在内的模型。FairEval的公平性指标PAFS对ChatGPT 4o取得了高达0.9969的得分，对Gemini 1.5 Flash取得了高达0.9997的得分，而差异达到了34.79%。这些结果凸显了提示敏感性鲁棒性的重要性，并支持更具包容性的推荐系统。
英文摘要：
Recent advances in Large Language Models (LLMs) have enabled their application to recommender systems (RecLLMs), yet concerns remain regarding fairness across demographic and psychological user dimensions. We introduce FairEval, a novel evaluation framework to systematically assess fairness in LLM-based recommendations. FairEval integrates personality traits with eight sensitive demographic attributes,including gender, race, and age, enabling a comprehensive assessment of user-level bias. We evaluate models, including ChatGPT 4o and Gemini 1.5 Flash, on music and movie recommendations. FairEval's fairness metric, PAFS, achieves scores up to 0.9969 for ChatGPT 4o and 0.9997 for Gemini 1.5 Flash, with disparities reaching 34.79 percent. These results highlight the importance of robustness in prompt sensitivity and support more inclusive recommendation systems.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
