一种具有自动基准构建和更好可解释性的双视角自然语言生成元评估框架
A Dual-Perspective NLG Meta-Evaluation Framework with Automatic Benchmark and Better Interpretability
AI总结：
本文提出双视角NLG元评估框架，并引入无需人工标注的自动基准构建方法，通过16个代表性LLM评估器实验，提升元评估可解释性并全面分析模型评估能力。
摘要：
在自然语言生成（NLG）元评估中，评估指标通常基于其与人类评价的一致性来进行衡量。然而，我们发现传统NLG元评估方法存在一些局限性，例如在处理人类评分时存在问题，以及相关性度量选择不明确，这些问题削弱了元评估的有效性。在本工作中，我们提出了一种双视角NLG元评估框架，该框架关注不同的评估能力，从而提供更好的可解释性。此外，我们引入了一种自动构建相应基准的方法，无需新的人工标注。进一步地，我们基于所提出的框架，以16个代表性大语言模型（LLMs）作为评估器进行了实验，从不同视角全面分析了它们的评估性能。
英文摘要：
In NLG meta-evaluation, evaluation metrics are typically assessed based on their consistency with humans. However, we identify some limitations in traditional NLG meta-evaluation approaches, such as issues in handling human ratings and ambiguous selections of correlation measures, which undermine the effectiveness of meta-evaluation. In this work, we propose a dual-perspective NLG meta-evaluation framework that focuses on different evaluation capabilities, thereby providing better interpretability. In addition, we introduce a method of automatically constructing the corresponding benchmarks without requiring new human annotations. Furthermore, we conduct experiments with 16 representative LLMs as the evaluators based on our proposed framework, comprehensively analyzing their evaluation performance from different perspectives.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
