通过语言自然且多样化的数据集改进多语言指令微调
Improving Multilingual Instruction Finetuning via Linguistically Natural and Diverse Datasets
AI总结：
针对多语言指令微调数据缺乏自然性与多样性的问题，提出结合英语中心 LLM、单语语料和评分函数构建数据集的方法，显著提升非英语生成与判别任务性能。
摘要：
大型语言模型（LLM）的进步显著增强了指令遵循能力。然而，大多数指令微调（IFT）数据集主要以英语呈现，限制了模型在其他语言中的性能。创建多语言 IFT 数据集的传统方法，例如翻译现有英语 IFT 数据集，或通过模板化将现有 NLP 数据集转换为 IFT 数据集，难以捕捉语言细微差别并确保提示（指令）多样性。为解决这一问题，我们提出了一种收集多语言 IFT 数据集的新方法，该方法能够保持语言自然性并确保提示多样性。该方法利用以英语为中心的 LLM、单语言语料库和评分函数，以多种语言创建高质量、多样化的 IFT 数据集。实验表明，使用这些 IFT 数据集微调的 LLM 在生成式和判别式任务上均表现出显著改进，表明 LLM 在非英语语境中的语言理解能力得到增强。具体而言，在多语言摘要任务上，使用我们的 IFT 数据集的 LLM 相比使用基于翻译和基于模板的数据集微调的 LLM 分别实现了 17.57% 和 15.23% 的提升。
英文摘要：
Advancements in Large Language Models (LLMs) have significantly enhanced instruction-following capabilities. However, most Instruction Fine-Tuning (IFT) datasets are predominantly in English, limiting model performance in other languages. Traditional methods for creating multilingual IFT datasets such as translating existing English IFT datasets or converting existing NLP datasets into IFT datasets by templating, struggle to capture linguistic nuances and ensure prompt (instruction) diversity. To address this issue, we propose a novel method for collecting multilingual IFT datasets that preserves linguistic naturalness and ensures prompt diversity. This approach leverages English-focused LLMs, monolingual corpora, and a scoring function to create high-quality, diversified IFT datasets in multiple languages. Experiments demonstrate that LLMs finetuned using these IFT datasets show notable improvements in both generative and discriminative tasks, indicating enhanced language comprehension by LLMs in non-English contexts. Specifically, on the multilingual summarization task, LLMs using our IFT dataset achieved 17.57% and 15.23% improvements over LLMs fine-tuned with translation-based and template-based datasets, respectively.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
