动态注意力引导的上下文解码，用于缓解大语言模型中的上下文忠实性幻觉
Dynamic Attention-Guided Context Decoding for Mitigating Context Faithfulness Hallucinations in Large Language Models
AI总结：
针对大语言模型上下文忠实性幻觉问题，提出动态注意力引导的上下文解码（DAGCD）轻量框架，利用注意力分布与不确定性信号进行单次解码，在开放域问答数据集上显著提升忠实性与鲁棒性并保持计算效率。
摘要：
大语言模型（LLMs）经常表现出上下文忠实性幻觉，即由于上下文整合不完整，输出偏离检索到的信息。我们的分析揭示了token级不确定性与幻觉之间的强相关性。我们假设注意力机制内在地编码了上下文利用信号，并通过探测分析支持了这一假设。基于这些见解，我们提出了动态注意力引导的上下文解码（DAGCD），一种轻量级框架，在单次解码中利用注意力分布和不确定性信号。在开放域问答数据集上的实验证明了DAGCD的有效性，在保持计算效率的同时，在忠实性和鲁棒性方面取得了显著改进。
英文摘要：
Large language models (LLMs) often exhibit Context Faithfulness Hallucinations, where outputs deviate from retrieved information due to incomplete context integration. Our analysis reveals a strong correlation between token-level uncertainty and hallucinations. We hypothesize that attention mechanisms inherently encode context utilization signals, supported by probing analysis. Based on these insights, we propose Dynamic Attention-Guided Context Decoding (DAGCD), a lightweight framework that leverages attention distributions and uncertainty signals in a single-pass decoding. Experiments on open-book QA datasets demonstrate DAGCD's effectiveness, yielding significant improvements in faithfulness and robustness while preserving computational efficiency.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
