LLM 内部状态揭示面对查询时的幻觉风险
LLM Internal States Reveal Hallucination Risk Faced With a Query
AI总结：
本文研究 LLM 能否在生成回答前通过内部状态估计自身幻觉风险，在 15 个 NLG 任务、700 多个数据集上发现内部状态可反映是否见过查询及是否可能幻觉，并利用探测估计器实现平均 84.32% 的运行时幻觉估计准确率。
摘要：
大型语言模型（LLMs）的幻觉问题严重限制了其可靠性与可信度。人类具有自我觉察过程，使我们能够在面对查询时识别自己不知道的内容。受此启发，本文研究 LLMs 能否在生成回答之前估计自身的幻觉风险。我们从训练数据来源角度以及在 15 个多样化的自然语言生成（NLG）任务（涵盖超过 700 个数据集）上广泛分析了 LLMs 的内部机制。我们的实证分析揭示了两个关键发现：（1）LLM 内部状态表明它们是否在训练数据中见过该查询；（2）LLM 内部状态显示它们针对该查询是否可能产生幻觉。我们的研究探索了在 LLM 对不确定性和幻觉风险的感知中起关键作用的特定神经元、激活层和 token。通过一个探测估计器，我们利用 LLM 的自我评估，在运行时实现了平均 84.32% 的幻觉估计准确率。
英文摘要：
The hallucination problem of Large Language Models (LLMs) significantly limits their reliability and trustworthiness. Humans have a self-awareness process that allows us to recognize what we don't know when faced with queries. Inspired by this, our paper investigates whether LLMs can estimate their own hallucination risk before response generation. We analyze the internal mechanisms of LLMs broadly both in terms of training data sources and across 15 diverse Natural Language Generation (NLG) tasks, spanning over 700 datasets. Our empirical analysis reveals two key insights: (1) LLM internal states indicate whether they have seen the query in training data or not; and (2) LLM internal states show they are likely to hallucinate or not regarding the query. Our study explores particular neurons, activation layers, and tokens that play a crucial role in the LLM perception of uncertainty and hallucination risk. By a probing estimator, we leverage LLM self-assessment, achieving an average hallucination estimation accuracy of 84.32\% at run time.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
