arXiv 2306.051192023-06-08cs.CL

参考至关重要：利用细粒度评估框架对对话摘要的事实错误纠正进行基准测试

Reference Matters: Benchmarking Factual Error Correction for Dialogue Summarization with Fine-grained Evaluation Framework

Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）；Center for Data Science, Peking University（北京大学数据科学中心）；The MOE Key Laboratory of Computational Linguistics, Peking University（北京大学计算语言学教育部重点实验室）；Huawei Cloud（华为云）

Mingqi Gao, Xiaojun Wan, Jia Su, Zhefeng Wang, Baoxing Huai

备注：: Accepted to ACL 2023 Main Conference

阅读 PDF

arXiv 页面 ↗HTML 原文 ↗

AI总结：

本文构建含4000条目的对话摘要事实错误纠正数据集，并提出基于参考纠正的细粒度评估框架FERRANTI，以基准测试并揭示现有方法在不同错误类别上的性能差异。

摘要：

事实性对对话摘要十分重要。对模型生成的摘要进行事实错误纠正（FEC）是提升事实性的一种途径。当前依赖事实性指标的FEC评估既不可靠，也不够细致。为解决该问题，我们首次人工标注了一个包含4000个条目的对话摘要FEC数据集，并提出FERRANTI，这是一个基于参考纠正的细粒度评估框架，可自动评估FEC模型在不同错误类别上的性能。利用该评估框架，我们在多种设置下对FEC方法进行了充分实验，发现了现有方法在不同事实错误类别上的最佳训练模式和显著性能差异。

英文摘要：

Factuality is important to dialogue summarization. Factual error correction (FEC) of model-generated summaries is one way to improve factuality. Current FEC evaluation that relies on factuality metrics is not reliable and detailed enough. To address this problem, we are the first to manually annotate a FEC dataset for dialogue summarization containing 4000 items and propose FERRANTI, a fine-grained evaluation framework based on reference correction that automatically evaluates the performance of FEC models on different error categories. Using this evaluation framework, we conduct sufficient experiments with FEC approaches under a variety of settings and find the best training modes and significant differences in the performance of the existing approaches on different factual error categories.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。