LAG-MMLU：基准测试前沿 LLM 在拉脱维亚语和吉里亚马语中的理解能力
LAG-MMLU: Benchmarking Frontier LLM Understanding in Latvian and Giriama
AI总结：
该研究构建由母语者审校的拉脱维亚语与吉里亚马语 MMLU 子集，评测八个前沿 LLM，发现 o1 表现最佳，并揭示低资源语言性能差距及本地化基准的必要性。
摘要：
随着大型语言模型（LLM）快速发展，评估其性能至关重要。LLM 在多语言数据上训练，但其推理能力主要使用英语数据集进行评估。因此，需要借助高质量非英语数据集（尤其是低资源语言（LRL））建立稳健的评估框架。本研究使用 Massive Multitask Language Understanding（MMLU）子集，评估八个最先进（SOTA）LLM 在拉脱维亚语和吉里亚马语上的表现；该子集由母语者参与整理，以确保语言和文化相关性。吉里亚马语首次得到基准测试。我们的评估显示，OpenAI 的 o1 模型在所有语言上均优于其他模型，在 0-shot 任务中英语得分为 92.8%，拉脱维亚语为 88.8%，吉里亚马语为 70.8%。Mistral-large（35.6%）和 Llama-70B IT（41%）在拉脱维亚语和吉里亚马语上表现均较弱。我们的结果强调，在推进文化 AI 情境化过程中，需要本地化基准和人工评估。
英文摘要：
As large language models (LLMs) rapidly advance, evaluating their performance is critical. LLMs are trained on multilingual data, but their reasoning abilities are mainly evaluated using English datasets. Hence, robust evaluation frameworks are needed using high-quality non-English datasets, especially low-resource languages (LRLs). This study evaluates eight state-of-the-art (SOTA) LLMs on Latvian and Giriama using a Massive Multitask Language Understanding (MMLU) subset curated with native speakers for linguistic and cultural relevance. Giriama is benchmarked for the first time. Our evaluation shows that OpenAI's o1 model outperforms others across all languages, scoring 92.8% in English, 88.8% in Latvian, and 70.8% in Giriama on 0-shot tasks. Mistral-large (35.6%) and Llama-70B IT (41%) have weak performance, on both Latvian and Giriama. Our results underscore the need for localized benchmarks and human evaluations in advancing cultural AI contextualization.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
