Provenance：一种用于检索增强 LLM 生成输出的轻量级事实核查器
Provenance: A Light-weight Fact-checker for Retrieval Augmented LLM Generation Output
AI总结：
本文提出一种基于紧凑开源自然语言推理模型的轻量级事实核查方法，通过计算事实性分数检测 RAG 输出的非事实内容，无需微调 LLM，并能追溯幻觉来源，在多个数据集上取得高 AUC。
摘要：
我们提出一种轻量级方法，用于检测检索增强生成（RAG）中的非事实性输出。给定上下文和推定输出，我们计算一个事实性分数，该分数可通过阈值化产生二元决策，以核查基于 LLM 的问答、摘要或其他系统的结果。与自身依赖 LLM 的事实核查器不同，我们使用紧凑的开源自然语言推理（NLI）模型，在运行时提供低延迟、低成本的自由可访问解决方案，且无需对 LLM 进行微调。该方法还通过将幻觉追溯到具体的上下文块，支持下游的缓解与纠正。我们的实验在广泛相关的开源数据集上显示出较高的 ROC 曲线下面积（AUC），表明我们的方法对 RAG 输出事实核查的有效性。
英文摘要：
We present a light-weight approach for detecting nonfactual outputs from retrieval-augmented generation (RAG). Given a context and putative output, we compute a factuality score that can be thresholded to yield a binary decision to check the results of LLM-based question-answering, summarization, or other systems. Unlike factuality checkers that themselves rely on LLMs, we use compact, open-source natural language inference (NLI) models that yield a freely accessible solution with low latency and low cost at run-time, and no need for LLM fine-tuning. The approach also enables downstream mitigation and correction of hallucinations, by tracing them back to specific context chunks. Our experiments show high area under the ROC curve (AUC) across a wide range of relevant open source datasets, indicating the effectiveness of our method for fact-checking RAG output.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
