小巨人：在 Eval4NLP 2023 共享任务中探索小型大语言模型作为摘要评估指标的潜力
Little Giants: Exploring the Potential of Small LLMs as Evaluation Metrics in Summarization in the Eval4NLP 2023 Shared Task
AI总结：
本文研究在 Eval4NLP 2023 共享任务中，通过组合标准提示、标注者指令提示和思维链提示，并融合零样本与单样本学习，证明小型开源模型 orca_mini_v3_7B 在摘要与机器翻译质量评估中具有竞争力。
摘要：
本文描述并分析了我们参加 2023 年 Eval4NLP 共享任务的情况，该任务侧重于评估基于提示的技术在赋能大语言模型处理质量估计任务方面的有效性，特别是在评估机器翻译和摘要的背景下。我们使用各种提示技术进行了系统性实验，包括标准提示、基于标注者指令的提示以及创新的思维链提示。此外，我们将这些方法与零样本和单样本学习方法相结合，以最大限度地提高评估流程的有效性。我们的工作表明，使用一个“小型”开源模型（orca_mini_v3_7B）组合这些方法可以取得具有竞争力的结果。
英文摘要：
This paper describes and analyzes our participation in the 2023 Eval4NLP shared task, which focuses on assessing the effectiveness of prompt-based techniques to empower Large Language Models to handle the task of quality estimation, particularly in the context of evaluating machine translations and summaries. We conducted systematic experiments with various prompting techniques, including standard prompting, prompts informed by annotator instructions, and innovative chain-of-thought prompting. In addition, we integrated these approaches with zero-shot and one-shot learning methods to maximize the efficacy of our evaluation procedures. Our work reveals that combining these approaches using a "small", open source model (orca_mini_v3_7B) yields competitive results.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
