基于ChatGPT的类人摘要评估
Human-like Summarization Evaluation with ChatGPT
AI总结：
本研究探讨了ChatGPT在五个数据集上使用四种人工评估方法进行类人摘要评估的能力，发现其能顺利完成标注并在部分数据集上优于常用自动评估指标。
摘要：
评估文本摘要是一个具有挑战性的问题，现有的评估指标远未令人满意。在本研究中，我们探讨了ChatGPT在五个数据集上使用四种人工评估方法执行类人摘要评估的能力。我们发现，ChatGPT能够使用Likert量表评分、成对比较、Pyramid和二元事实性评估相对顺利地完成标注。此外，它在部分数据集上优于常用的自动评估指标。进一步地，我们讨论了不同提示的影响，将其表现与人工评估进行了比较，并分析了生成的解释和无效响应。
英文摘要：
Evaluating text summarization is a challenging problem, and existing evaluation metrics are far from satisfactory. In this study, we explored ChatGPT's ability to perform human-like summarization evaluation using four human evaluation methods on five datasets. We found that ChatGPT was able to complete annotations relatively smoothly using Likert scale scoring, pairwise comparison, Pyramid, and binary factuality evaluation. Additionally, it outperformed commonly used automatic evaluation metrics on some datasets. Furthermore, we discussed the impact of different prompts, compared its performance with that of human evaluation, and analyzed the generated explanations and invalid responses.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
