arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~
arXiv 1805.11474cs.CL
收藏

人类与自动化的对比:论相关设计的重要性

Human vs Automatic Metrics: on the Importance of Correlation Design

Université de Lorraine(洛林大学);LORIA(洛林计算机科学与应用实验室)

Anastasia Shimorina

摘要:

本文讨论了自然语言生成领域中两种现有的自动评测指标与人类评分之间的相关性分析方法。我们的实验表明,取决于使用的系统级或事件级相关分析,自动评分和人类判断之间的相关性结果是不一致的。

英文摘要:

This paper discusses two existing approaches to the correlation analysis between automatic evaluation metrics and human scores in the area of natural language generation. Our experiments show that depending on the usage of a system- or sentence-level correlation analysis, correlation results between automatic scores and human judgments are inconsistent.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑