探索面向阿拉伯语方言识别的数据高效与参数高效策略
Exploring Data and Parameter Efficient Strategies for Arabic Dialect Identifications
AI总结：
本文系统比较了软提示、LoRA 等参数高效方法及零样本、少样本硬提示策略在阿拉伯语方言识别中的效果，发现基于 LoRA 的微调模型表现最佳，甚至优于全参数微调。
摘要：
本文讨论了我们针对阿拉伯语方言识别（ADI）所探索的不同数据高效与参数高效方法。具体而言，我们研究了多种软提示策略，包括前缀微调（prefix-tuning）、提示微调（prompt-tuning）、P-tuning 和 P-tuning V2，以及 LoRA 重参数化方法。在数据高效策略方面，我们分析了使用零样本和少样本推理的硬提示方法，以考察大型语言模型（LLMs）的方言识别能力。对于参数高效的 PEFT 方法，我们使用阿拉伯语专用编码器模型在多个主要数据集上进行了实验。我们还分析了开源仅解码器模型上的 n-shot 推理，包括一个通用多语言模型（Phi-3.5）和一个阿拉伯语专用模型（SILMA）。我们观察到，大型语言模型在少样本或零样本设置下通常难以区分方言间的细微差异。软提示编码器变体表现更好，而基于 LoRA 的微调模型表现最佳，甚至超过了全参数微调。
英文摘要：
This paper discusses our exploration of different data-efficient and parameter-efficient approaches to Arabic Dialect Identification (ADI). In particular, we investigate various soft-prompting strategies, including prefix-tuning, prompt-tuning, P-tuning, and P-tuning V2, as well as LoRA reparameterizations. For the data-efficient strategy, we analyze hard prompting with zero-shot and few-shot inferences to analyze the dialect identification capabilities of Large Language Models (LLMs). For the parameter-efficient PEFT approaches, we conducted our experiments using Arabic-specific encoder models on several major datasets. We also analyzed the n-shot inferences on open-source decoder-only models, a general multilingual model (Phi-3.5), and an Arabic-specific one(SILMA). We observed that the LLMs generally struggle to differentiate the dialectal nuances in the few-shot or zero-shot setups. The soft-prompted encoder variants perform better, while the LoRA-based fine-tuned models perform best, even surpassing full fine-tuning.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
