细粒度且可解释的事实性评估用于多模态摘要
Fine-grained and Explainable Factuality Evaluation for Multimodal Summarization
AI总结：
本文提出两种细粒度且可解释的评估框架，用于评估多模态摘要模型的事实性，适用于不同应用场景，并通过实验验证了其有效性。
摘要：
多模态摘要旨在基于输入文本和图像生成简洁的摘要。然而，现有方法可能产生不真实的结果。为了评估多模态摘要模型的事实性，我们提出两种细粒度且可解释的评估框架（FALLACIOUS），适用于不同的应用场景，即基于参考的事实性评估框架和无参考的事实性评估框架。值得注意的是，无参考的事实性评估框架不需要真实数据，因此具有更广泛的应用场景。为了评估所提出框架的有效性，我们计算了我们的框架与其他指标之间的相关性。实验结果表明了我们提出的方法的有效性。我们将通过github发布我们的代码和数据集。
英文摘要：
Multimodal summarization aims to generate a concise summary based on the input text and image. However, the existing methods potentially suffer from unfactual output. To evaluate the factuality of multimodal summarization models, we propose two fine-grained and explainable evaluation frameworks (FALLACIOUS) for different application scenarios, i.e. reference-based factuality evaluation framework and reference-free factuality evaluation framework. Notably, the reference-free factuality evaluation framework doesn't need ground truth and hence it has a wider application scenario. To evaluate the effectiveness of the proposed frameworks, we compute the correlation between our frameworks and the other metrics. The experimental results show the effectiveness of our proposed method. We will release our code and dataset via github.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
