看见未见：通过噪声实现更好的上下文一致知识编辑
See the Unseen: Better Context-Consistent Knowledge-Editing by Noises
AI总结：
针对知识编辑在不同上下文中泛化不足的问题，本文利用类高斯分布的上下文影响，采样高斯噪声模拟未见上下文以更新 LLM，并在三个模型上验证了有效性。
摘要：
知识编辑用于更新大型语言模型（LLM）的知识，并有助于提升 LLM 的可解释性与应用。然而，知识应用具有上下文一致性：LLM 能够在不同上下文中回忆相同的知识。现有工作忽略了这一特性，导致编辑缺乏泛化能力。本文通过实验发现，在 LLM 回忆相同知识时，不同上下文对其产生的影响服从类高斯分布。随后，我们在更新 LLM 时采样高斯噪声，以模拟不同上下文的影响。通过这种方式，可以使 LLM 看见编辑后的知识将被应用于其中的未见上下文，从而提升编辑的泛化性。在三个 LLM 上的实验结果证明了我们方法的有效性，也表明该方法不同于其他通过噪声微调 LLM 的方法。
英文摘要：
Knowledge-editing updates knowledge of large language models (LLMs) and contributes to the interpretability and application of LLMs. However, knowledge applying is context-consistent: LLMs can recall the same knowledge in different contexts. Existing works ignore this property and the editing lacks generalization. In this paper, we empirically find that the effects of different contexts upon LLMs in recalling the same knowledge follow a Gaussian-like distribution. We then sample Gaussian noises to simulate the effects of different contexts when updating LLMs. By such, we can make LLMs see the unseen contexts where the edited knowledge will be applied, therefore improving the editing generalization. Experimental results on three LLMs demonstrate the effectiveness of our methods and also distinguish our methods from the others of fine-tuning LLMs by noises.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
