在公共政府和文化数据上进行指令微调以处理低资源语言：哈萨克语案例研究
Instruction Tuning on Public Government and Cultural Data for Low-Resource Language: a Case Study in Kazakh
AI总结：
本文通过构建大规模哈萨克语指令遵循数据集，提升低资源语言中政府与文化领域LLM的理解能力，并验证了基于LLM的指令微调方法在多选和生成任务中的有效性。
摘要：
在低资源语言中，指令微调研究仍受限于文本数据不足，尤其是在政府和文化领域。为解决这一问题，我们引入并开源了一个大规模（10,600个样本）的指令遵循（IFT）数据集，涵盖与哈萨克斯坦相关的关键机构和文化知识。我们的数据集增强了LLM对程序性、法律性和结构性治理主题的理解。我们采用LLM辅助的数据生成方法，比较开放式和封闭式模型在数据集构建中的表现，并选择GPT-4o作为基础模型。数据集中的每个实体均经过全手动验证以确保高质量。我们还展示了在我们的数据集上微调Qwen、Falcon和Gemma模型，在多选和生成任务中均实现了一致的性能提升，证明了LLM辅助的指令微调在低资源语言中的潜力。
英文摘要：
Instruction tuning in low-resource languages remains underexplored due to limited text data, particularly in government and cultural domains. To address this, we introduce and open-source a large-scale (10,600 samples) instruction-following (IFT) dataset, covering key institutional and cultural knowledge relevant to Kazakhstan. Our dataset enhances LLMs' understanding of procedural, legal, and structural governance topics. We employ LLM-assisted data generation, comparing open-weight and closed-weight models for dataset construction, and select GPT-4o as the backbone. Each entity of our dataset undergoes full manual verification to ensure high quality. We also show that fine-tuning Qwen, Falcon, and Gemma on our dataset leads to consistent performance improvements in both multiple-choice and generative tasks, demonstrating the potential of LLM-assisted instruction tuning for low-resource languages.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
