细粒度自我背书提升事实性与推理能力
Fine-Grained Self-Endorsement Improves Factuality and Reasoning
AI总结：
本文提出细粒度自我背书框架，通过跨多个采样响应的事实级比较缓解LLM幻觉，在Biographies、TriviaQA和GSM8K上验证了其提升事实性与推理能力的有效性。
摘要：
本工作研究在推理时通过缓解与事实冲突的幻觉来改进大语言模型（LLM）的生成。具体而言，我们提出了一种自我背书框架，该框架利用跨多个采样响应的细粒度事实级比较。与先前执行响应级选择的集成方法（Wang et al., 2022; Chen et al., 2023）相比，我们的方法能够更好地缓解幻觉，尤其是在长文本生成任务中。由于我们的方法主要进行简单的基于内容的比较，因此可以广泛惠及较小的和开源的LLM。在Biographies数据集上的实验表明，我们的方法能够通过简单直观的提示，在不同规模的LLM上有效提升生成内容的事实性。此外，在TriviaQA和GSM8K上的综合分析证明了自我背书在更广泛应用中的潜力。
英文摘要：
This work studies improving large language model (LLM) generations at inference time by mitigating fact-conflicting hallucinations. Particularly, we propose a self-endorsement framework that leverages the fine-grained fact-level comparisons across multiple sampled responses. Compared with prior ensemble methods (Wang et al., 2022;Chen et al., 2023)) that perform response-level selection, our approach can better alleviate hallucinations, especially for longform generation tasks. Our approach can broadly benefit smaller and open-source LLMs as it mainly conducts simple content-based comparisons. Experiments on Biographies show that our method can effectively improve the factuality of generations with simple and intuitive prompts across different scales of LLMs. Besides, comprehensive analyses on TriviaQA and GSM8K demonstrate the potential of self-endorsement for broader application.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
