YallaMorph：评估大语言模型阿拉伯语形态生成的基准
YallaMorph: A Benchmark for Evaluating Arabic Morphological Generation in Large Language Models
浏览论文内容
中文总结 AI 辅助
针对大语言模型在阿拉伯语形态生成上的不足，提出大规模基准YallaMorph，涵盖多种词类与配置，评估发现附着词及罕见形式生成尤为困难。
中文摘要 AI 辅助
阿拉伯语形态学对大语言模型而言仍具挑战性，因为流畅的生成并不能保证准确的形态句法控制。现有的阿拉伯语评估主要针对下游任务，并未直接测试基于显式词汇和特征输入的受控形态生成。我们引入了YallaMorph，一个大规模的阿拉伯语形态生成基准，涵盖动词、名词、形容词及其附着词形式以及无效配置。我们在带变音符号和不带变音符号的设置下，对多语言和面向阿拉伯语的LLM进行了超过60万条基准条目的评估。结果表明，阿拉伯语形态生成仍然困难，尤其是在附着词形式、未见形式以及形态学上罕见的形式方面。
英文摘要
Arabic morphology remains challenging for large language models, since fluent generation does not guarantee accurate morphosyntactic control. Existing Arabic evaluations mainly target downstream tasks and do not directly test controlled morphological generation from explicit lexical and feature-based input. We introduce YallaMorph, a large-scale benchmark for Arabic morphological generation covering verbs, nouns, adjectives, their cliticized forms, and invalid configurations. We evaluate multilingual and Arabic-oriented LLMs under diacritized and undiacritized settings over 600K benchmark entries. Results show that Arabic morphological generation remains difficult, especially for cliticized, unseen, and morphologically rare forms.
发表机构
- New York University Abu Dhabi（纽约大学阿布扎比分校）
- Stony Brook University（石溪大学）
- Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
机构由 AI 辅助整理，请以论文原文为准。
