Kalahi：一套面向菲律宾语的手工构建、草根文化 LLM 评估套件
Kalahi: A handcrafted, grassroots cultural LLM evaluation suite for Filipino
AI总结：
本文提出由菲律宾母语者手工构建的文化评估套件 Kalahi，包含150个高质量提示，实验显示最强LLM仅答对46.0%的问题，远低于母语者的89.10%，可用于可靠评估LLM的菲律宾文化表征。
摘要：
当今的多语言大语言模型（LLMs）未必能为其菲律宾用户提供具有文化适切性和相关性的回答。我们引入了 Kalahi，这是一套由菲律宾语母语者协作创建的文化 LLM 评估套件。它由 150 个高质量、手工构建且细致入微的提示组成，用于测试 LLM 生成与菲律宾共享文化知识和价值观相关的内容。在 Kalahi 上表现强劲的 LLM，表明该模型能够生成与普通菲律宾人在特定情境下会说的话或会做的事相似的回答。我们在支持多语言和菲律宾语的 LLM 上进行了实验。结果表明，虽然 Kalahi 对菲律宾人而言十分简单，但对 LLM 却具有挑战性：表现最好的模型仅正确回答了 46.0% 的问题，而菲律宾母语者的表现为 89.10%。因此，Kalahi 可用于准确且可靠地评估 LLM 中的菲律宾文化表征。
英文摘要：
Multilingual large language models (LLMs) today may not necessarily provide culturally appropriate and relevant responses to its Filipino users. We introduce Kalahi, a cultural LLM evaluation suite collaboratively created by native Filipino speakers. It is composed of 150 high-quality, handcrafted and nuanced prompts that test LLMs for generations that are relevant to shared Filipino cultural knowledge and values. Strong LLM performance in Kalahi indicates a model's ability to generate responses similar to what an average Filipino would say or do in a given situation. We conducted experiments on LLMs with multilingual and Filipino language support. Results show that Kalahi, while trivial for Filipinos, is challenging for LLMs, with the best model answering only 46.0% of the questions correctly compared to native Filipino performance of 89.10%. Thus, Kalahi can be used to accurately and reliably evaluate Filipino cultural representation in LLMs.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
