结构化提示法在阿拉伯语作文能力评估中的应用：以特质为中心的评估方法
Structured Prompting for Arabic Essay Proficiency: A Trait-Centric Evaluation Approach
AI总结：
本文提出了一种新的提示工程框架，用于阿拉伯语特质特定的自动作文评分，利用大语言模型在零样本和少样本配置下进行评估。通过三种层次提示策略，指导模型评估如组织、词汇、发展和风格等语言能力特质。实验表明，结构化提示法在阿拉伯语自动作文评分中效果显著。
摘要：
本文提出了一种新的提示工程框架，用于阿拉伯语特质特定的自动作文评分，利用大语言模型在零样本和少样本配置下进行评估。针对阿拉伯语可扩展、语言导向的自动作文评分工具稀缺的问题，我们引入了三种层次提示策略（标准、混合和评分指南），以指导LLM评估不同的语言能力特质，如组织、词汇、发展和风格。混合方法模拟了多智能体评估，由特质专家评分者进行评估，而评分指南方法则通过纳入评分范例来增强模型对齐。在零样本和少样本设置下，我们在QAES数据集上评估了八种LLM，这是首个公开可用的阿拉伯语自动作文评分资源，具有特质层面的注释。实验结果使用二次加权Kappa（QWK）和置信区间显示，Fanar-1-9B-Instruct在零样本和少样本提示下实现了最高特质层面的一致性（QWK = 0.28和CI = 0.41），评分指南提示在所有特质和模型上均产生一致的提升。发展和风格等篇章层面特质显示出最大的改进。这些发现证实了结构化提示，而非模型规模本身，能够有效实现阿拉伯语的自动作文评分。我们的研究提出了首个全面的面向能力的阿拉伯语自动作文评分框架，并为低资源教育环境下的可扩展评估奠定了基础。
英文摘要：
This paper presents a novel prompt engineering framework for trait specific Automatic Essay Scoring (AES) in Arabic, leveraging large language models (LLMs) under zero-shot and few-shot configurations. Addressing the scarcity of scalable, linguistically informed AES tools for Arabic, we introduce a three-tier prompting strategy (standard, hybrid, and rubric-guided) that guides LLMs in evaluating distinct language proficiency traits such as organization, vocabulary, development, and style. The hybrid approach simulates multi-agent evaluation with trait specialist raters, while the rubric-guided method incorporates scored exemplars to enhance model alignment. In zero and few-shot settings, we evaluate eight LLMs on the QAES dataset, the first publicly available Arabic AES resource with trait level annotations. Experimental results using Quadratic Weighted Kappa (QWK) and Confidence Intervals show that Fanar-1-9B-Instruct achieves the highest trait level agreement in both zero and few-shot prompting (QWK = 0.28 and CI = 0.41), with rubric-guided prompting yielding consistent gains across all traits and models. Discourse-level traits such as Development and Style showed the greatest improvements. These findings confirm that structured prompting, not model scale alone, enables effective AES in Arabic. Our study presents the first comprehensive framework for proficiency oriented Arabic AES and sets the foundation for scalable assessment in low resource educational contexts.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
