CamelEval：推进文化对齐的阿拉伯语语言模型与基准
CamelEval: Advancing Culturally Aligned Arabic Language Models and Benchmarks
AI总结：
本文介绍了专为阿拉伯语使用者文化对齐设计的92.4亿参数双语LLM Juhaina，并提出新基准CamelEval，证明其在阿拉伯语回复和地域文化理解上超越同等规模的Llama和Gemma等模型。
摘要：
大型语言模型（LLMs）是现代人工智能系统的基石。本文介绍了 Juhaina，这是一个阿拉伯语-英语双语 LLM，专门设计用于对齐阿拉伯语使用者的价值观和偏好。Juhaina 原生支持高级功能，如指令遵循、开放式问答、信息提供和文本处理。我们的模型包含 92.4 亿个参数，并在高达 8,192 个 token 的上下文窗口上进行训练。本文详细介绍了 Juhaina 的创建过程，并提供了广泛的实证评估。此外，我们指出了广泛采用的 Open Arabic LLM Leaderboard (OALL) 的局限性，并提出了一项新的评估基准 CamelEval。我们的研究结果表明，Juhaina 在生成有用的阿拉伯语回复、提供关于该地区的准确事实信息以及理解微妙的文化方面，超越了同等规模的现有 LLM，如 Llama 和 Gemma 家族。我们希望 Juhaina 能够普及前沿的 AI 技术，通过提供不仅使用他们的语言交流，而且理解他们文化的 LLM，为超过 4 亿阿拉伯语使用者服务。我们在 Huggingface 上公开发布了所有模型 \url{https://huggingface.co/elmrc}。
英文摘要：
Large Language Models (LLMs) are the cornerstones of modern artificial intelligence systems. This paper introduces Juhaina, a Arabic-English bilingual LLM specifically designed to align with the values and preferences of Arabic speakers. Juhaina inherently supports advanced functionalities such as instruction following, open-ended question answering, information provisioning, and text processing. Our model contains 9.24 billion parameters and is trained on a context window of up to 8,192 tokens. This paper details the creation process of Juhaina and provides an extensive empirical evaluation. Furthermore, we identify the limitations of widely-adopted Open Arabic LLM Leaderboard (OALL) and propose a new evaluation benchmark, CamelEval. Our findings demonstrate that Juhaina surpasses existing LLMs of comparable sizes, such as the Llama and Gemma families, in generating helpful responses in Arabic, providing factually accurate information about the region, and understanding nuanced cultural aspects. We aspire for Juhaina to democratize cutting-edge AI technologies, serving over 400 million Arabic speakers by offering LLMs that not only communicate in their language but also comprehend their culture. We publicly release all models on Huggingface \url{https://huggingface.co/elmrc}.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
