GEITje 7B Ultra：面向荷兰语的对话模型
GEITje 7B Ultra: A Conversational Model for Dutch
AI总结：
针对语言模型多聚焦英语、忽视其他语言的问题，本研究以源自Mistral 7B的荷兰语模型GEITje为基础，通过合成对话数据集监督微调与反馈数据集偏好对齐，扩展其能力并公开模型与数据集。
摘要：
语言模型发展迅速，但主要聚焦于英语，常忽视其他语言的大规模预训练。这种方法要求通过微调将强大的、以英语为中心的模型适配到其他语言环境。对于荷兰语，近期的一项尝试是“GEITje”，该模型最初源自基于英语的Mistral 7B。本研究在这一基础工作上，通过在新创建的高质量合成对话数据集上进行监督微调，以及在合成反馈数据集上进行额外的偏好对齐步骤，扩展了GEITje的能力。所开发的模型和创建的数据集均公开可用。
英文摘要：
Language models have rapidly evolved, predominantly focusing on English while often neglecting extensive pretraining in other languages. This approach has required initiatives to adapt powerful, English-centric models to other linguistic contexts through finetuning. For Dutch, such a recent endeavour is ``GEITje'' a model originally derived from the English-based Mistral 7B. Building on this fundamental work, the current research extends the capabilities of GEITje by supervised finetuning on newly created high-quality synthetic conversational datasets, along with an additional preference alignment procedure on a synthetic feedback dataset. Both the developed models and the created datasets are openly available.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
