AXCEL：使用 LLM 的自动化可解释一致性评估
AXCEL: Automated eXplainable Consistency Evaluation using LLMs
AI总结：
本文提出AXCEL，一种基于LLM的自动化可解释一致性评估指标，通过详细推理和定位不一致文段提供解释，无需修改提示即可泛化至多任务，在摘要、自由文本生成和数据到文本转换任务上分别超越SOTA指标8.7%、6.2%和29.4%。
摘要：
大型语言模型（LLMs）在工业和学术界被广泛用于各种任务，然而评估生成文本响应的一致性仍然是一个挑战。像 ROUGE 和 BLEU 这样的传统指标与人类判断的相关性较弱。使用自然语言推理（NLI）的更复杂指标显示出更好的相关性，但实现起来很复杂，由于跨领域泛化能力差而需要特定领域的训练，并且缺乏可解释性。最近，出现了使用 LLMs 作为评估器的基于提示的指标；虽然它们更容易实现，但仍然缺乏可解释性，并且依赖于特定任务的提示，这限制了它们的泛化能力。这项工作引入了使用 LLMs 的自动化可解释一致性评估（AXCEL），这是一种基于提示的一致性指标，它通过提供详细的推理并指出不一致的文本片段来解释一致性分数。AXCEL 也是一种可泛化的指标，可以在不改变提示的情况下适用于多种任务。AXCEL 在检测摘要任务中的不一致性方面优于非提示和基于提示的最先进（SOTA）指标 8.7%，在自由文本生成任务中优于 6.2%，在数据到文本转换任务中优于 29.4%。我们还评估了底层 LLMs 对基于提示的指标性能的影响，并使用最新的 LLMs 重新校准了 SOTA 基于提示的指标以进行公平比较。此外，我们表明 AXCEL 使用开源 LLMs 展示了强大的性能。
英文摘要：
Large Language Models (LLMs) are widely used in both industry and academia for various tasks, yet evaluating the consistency of generated text responses continues to be a challenge. Traditional metrics like ROUGE and BLEU show a weak correlation with human judgment. More sophisticated metrics using Natural Language Inference (NLI) have shown improved correlations but are complex to implement, require domain-specific training due to poor cross-domain generalization, and lack explainability. More recently, prompt-based metrics using LLMs as evaluators have emerged; while they are easier to implement, they still lack explainability and depend on task-specific prompts, which limits their generalizability. This work introduces Automated eXplainable Consistency Evaluation using LLMs (AXCEL), a prompt-based consistency metric which offers explanations for the consistency scores by providing detailed reasoning and pinpointing inconsistent text spans. AXCEL is also a generalizable metric which can be adopted to multiple tasks without changing the prompt. AXCEL outperforms both non-prompt and prompt-based state-of-the-art (SOTA) metrics in detecting inconsistencies across summarization by 8.7%, free text generation by 6.2%, and data-to-text conversion tasks by 29.4%. We also evaluate the influence of underlying LLMs on prompt based metric performance and recalibrate the SOTA prompt-based metrics with the latest LLMs for fair comparison. Further, we show that AXCEL demonstrates strong performance using open source LLMs.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
