一种更好的文本生成LLM评估器：提示输出顺序与优化的影响
A Better LLM Evaluator for Text Generation: The Impact of Prompt Output Sequencing and Optimization
AI总结：
本文研究提示设计中输出顺序对LLM文本评估的影响，发现理由与分数的呈现顺序会显著改变评分，并指出数据充足时可通过优化提升评分对齐，为改进LLM评估的准确性与一致性提供关键见解。
摘要：
本研究探讨了使用大语言模型（LLMs）评估生成文本的提示设计。虽然LLMs越来越多地被用于对各种输入进行评分，但由于模型敏感性和文本生成评估中的主观性，为开放式文本评估创建有效的提示仍然具有挑战性。我们的研究尝试了不同的提示结构，改变输出指令的顺序并加入解释性理由。我们发现，呈现理由和分数的顺序会显著影响LLMs的评分，并且提示中体现的规则理解水平也不同。如果有足够的数据，额外的优化可能会增强评分对齐。这一见解对于提高基于LLM的评估的准确性和一致性至关重要。
英文摘要：
This research investigates prompt designs of evaluating generated texts using large language models (LLMs). While LLMs are increasingly used for scoring various inputs, creating effective prompts for open-ended text evaluation remains challenging due to model sensitivity and subjectivity in evaluation of text generation. Our study experimented with different prompt structures, altering the sequence of output instructions and including explanatory reasons. We found that the order of presenting reasons and scores significantly influences LLMs' scoring, with a different level of rule understanding in the prompt. An additional optimization may enhance scoring alignment if sufficient data is available. This insight is crucial for improving the accuracy and consistency of LLM-based evaluations.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
