LLM作为评分器：输出顺序对对话评估的影响
LLM as a Scorer: The Impact of Output Order on Dialogue Evaluation
AI总结：
本文研究提示设计中输出顺序对LLM对话评估的影响，发现“理由优先”的提示结构能显著提升评分的全面性，为改进LLM评估的准确性与一致性提供关键见解。
摘要：
本研究探讨了提示设计在使用大语言模型（LLMs）进行对话评估时的影响。尽管LLMs越来越多地被用于对各种输入进行评分，但由于模型敏感性和对话评估中的主观性，为对话评估创建有效的提示仍然具有挑战性。我们的研究尝试了不同的提示结构，改变输出指令的顺序并加入解释性理由。我们发现，呈现理由和分数的顺序会显著影响LLMs的评分，其中“理由优先”的方法能产生更全面的评估。这一见解对于提高基于LLM的评估的准确性和一致性至关重要。
英文摘要：
This research investigates the effect of prompt design on dialogue evaluation using large language models (LLMs). While LLMs are increasingly used for scoring various inputs, creating effective prompts for dialogue evaluation remains challenging due to model sensitivity and subjectivity in dialogue assessments. Our study experimented with different prompt structures, altering the sequence of output instructions and including explanatory reasons. We found that the order of presenting reasons and scores significantly influences LLMs' scoring, with a "reason-first" approach yielding more comprehensive evaluations. This insight is crucial for enhancing the accuracy and consistency of LLM-based evaluations.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
