XL-Suite：用于开放式生成的跨语言合成训练与评估数据
XL-Suite: Cross-Lingual Synthetic Training and Evaluation Data for Open-Ended Generation
AI总结：
本文提出合成数据技术 XL-Instruct 与跨语言生成基准 XL-AlpacaEval，并发布 XL-Suite；实验表明 8K 条合成指令可显著提升 LLM 的跨语言及零样本问答表现。
摘要：
跨语言开放式生成——即以不同于查询所用语言的语言作出回应——是一个重要但研究不足的问题。本工作提出了 XL-Instruct，这是一种用于生成高质量合成数据的新技术；同时介绍了 XL-AlpacaEval，这是一个用于评估大语言模型（LLM）跨语言生成能力的新基准。我们的实验表明，仅使用通过 XL-Instruct 生成的 8K 条指令进行微调，即可显著提升模型性能：其对 GPT-4o-Mini 的胜率从 7.4% 提高到 21.5%，并在多项细粒度质量指标上有所改善。此外，如我们机器翻译得到的 m-AlpacaEval 所示，基于 XL-Instruct 微调的基础 LLM 在同语言问答任务上表现出强劲的零样本提升。这些一致的增益凸显了 XL-Instruct 在多语言 LLM 后训练中的良好前景。最后，我们公开发布 XL-Suite，这是一组训练与评估数据集合，旨在促进跨语言开放式生成研究。
英文摘要：
Cross-lingual open-ended generation - responding in a language different from that of the query - is an important yet understudied problem. This work proposes XL-Instruct, a novel technique for generating high-quality synthetic data, and introduces XL-AlpacaEval, a new benchmark for evaluating cross-lingual generation capabilities of large language models (LLMs). Our experiments show that fine-tuning with just 8K instructions generated using XL-Instruct significantly improves model performance, increasing the win rate against GPT-4o-Mini from 7.4% to 21.5% and improving on several fine-grained quality metrics. Moreover, base LLMs fine-tuned on XL-Instruct exhibit strong zero-shot improvements to question answering in the same language, as shown on our machine-translated m-AlpacaEval. These consistent gains highlight the promising role of XL-Instruct in the post-training of multilingual LLMs. Finally, we publicly release XL-Suite, a collection of training and evaluation data to facilitate research in cross-lingual open-ended generation.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
