评估大语言模型对约鲁巴语、马拉雅拉姆语和英语的文化感知能力
Evaluating Cultural Awareness of LLMs for Yoruba, Malayalam, and English
AI总结：
本文利用Hofstede六个文化维度评估大语言模型对马拉雅拉姆语和约鲁巴语的文化理解能力，发现其在英语上表现良好但在区域语言中无法捕捉文化细微差别，并强调需要文化丰富的大规模区域语言训练数据。
摘要：
尽管大语言模型（LLMs）在大量复杂任务中表现出极高的有效性，但人们对它们在区域语言和文化方面的理解与功能研究仍不充分。本文探讨了多种大语言模型理解两种区域语言文化层面的能力：马拉雅拉姆语（印度喀拉拉邦）和约鲁巴语（西非）。我们利用Hofstede的六个文化维度——权力距离（PDI）、个人主义（IDV）、成就与成功动机（MAS）、不确定性规避（UAV）、长期导向（LTO）和放纵（IVR）——来量化基于大语言模型的回答所体现的文化感知能力。我们证明，尽管大语言模型在英语上表现出较高的文化相似性，但它们无法在马拉雅拉姆语和约鲁巴语中捕捉到这6个指标上的文化细微差别。我们还强调，需要使用文化丰富的数据集对区域语言大语言模型进行大规模训练。这将对提升基于聊天的大语言模型的用户体验以及提高基于大规模大语言模型智能体的市场研究的有效性产生重大影响。
英文摘要：
Although LLMs have been extremely effective in a large number of complex tasks, their understanding and functionality for regional languages and cultures are not well studied. In this paper, we explore the ability of various LLMs to comprehend the cultural aspects of two regional languages: Malayalam (state of Kerala, India) and Yoruba (West Africa). Using Hofstede's six cultural dimensions: Power Distance (PDI), Individualism (IDV), Motivation towards Achievement and Success (MAS), Uncertainty Avoidance (UAV), Long Term Orientation (LTO), and Indulgence (IVR), we quantify the cultural awareness of LLM-based responses. We demonstrate that although LLMs show a high cultural similarity for English, they fail to capture the cultural nuances across these 6 metrics for Malayalam and Yoruba. We also highlight the need for large-scale regional language LLM training with culturally enriched datasets. This will have huge implications for enhancing the user experience of chat-based LLMs and also improving the validity of large-scale LLM agent-based market research.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
