arXivDaily arXiv每日学术速递 周一至周五更新
arXiv 2408.12963cs.CLcs.AIcs.LG
收藏

面向立陶宛语的开放 Llama2 模型

Open Llama2 Model for the Lithuanian Language

Neurotechnology(神经技术)

Artūras Nakvosas, Povilas Daniušis, Vytas Mulevičius

AI总结:

本文提出首个面向立陶宛语的开放 Llama2 大语言模型及问答数据集,通过实证评估表明高质量预训练数据集对模型在语言理解基准上的高效表现至关重要。

摘要:

本文提出并描述了首个面向立陶宛语的开放 Llama2 大语言模型(LLMs),包括附带的问答(Q/A)数据集及流行 LLM 基准的翻译。我们简要回顾了开放区域性 LLMs,并提供了所提出 LLMs 及其训练过程的详细信息。我们还进行了实证评估,将所提出 LLMs 的困惑度与其他现代开放 LLMs 进行了比较。此外,将所提出 LLMs 在语言理解任务上进行基准测试表明,高质量的预训练数据集对于获得在这些基准上高效运行的模型可能至关重要。所述 LLMs 的完整实现可在附带的开放仓库中获取。

英文摘要:

In this paper, we propose and describe the first open Llama2 large language models (LLMs) for the Lithuanian language, including an accompanying question/answer (Q/A) dataset and translations of popular LLM benchmarks. We provide a brief review of open regional LLMs and detailed information on the proposed LLMs and their training process. We also conduct an empirical evaluation, comparing the perplexities of the proposed LLMs with those of other modern open LLMs. In addition, benchmarking the proposed LLMs against language understanding tasks reveals that high-quality pretraining datasets may be essential for achieving models that perform efficiently on these benchmarks. The full realisations of the described LLMs are available in the accompanying open repository~\url{https://huggingface.co/neurotechnology}.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑