arXivDaily arXiv每日学术速递 周一至周五更新
arXiv 2501.07523cs.AIcs.CL
收藏

并行键值缓存融合用于位置不变的检索增强生成

Parallel Key-Value Cache Fusion for Position Invariant RAG

KAIST AI(韩国科学技术院人工智能部门)

Philhoon Oh, Jinwoo Shin, James Thorne

AI总结:

针对LLM对上下文位置敏感导致的“迷失在中间”问题,提出并行键值缓存融合框架,实现位置不变的RAG,在三个开放域问答任务上验证了位置不变性和对不相关段落的鲁棒性。

摘要:

大型语言模型(LLM)的最新进展凸显了检索增强生成(RAG)利用外部信息的必要性。然而,LLM 对上下文中相关信息的位置敏感,当此类信息位于中间时,往往会产生错误的回答,这被称为“迷失在中间”现象。在本文中,我们提出了一种框架,该框架为仅解码器模型生成一致的输出,无论输入上下文顺序如何。在三个开放域问答任务上的实验结果表明,该框架实现了位置不变性,即模型对输入上下文顺序不敏感,并且与现有的 RAG 流水线方法相比,对不相关段落具有更强的鲁棒性。

英文摘要:

Recent advancements in Large Language Models (LLMs) underscore the necessity of Retrieval Augmented Generation (RAG) to leverage external information. However, LLMs are sensitive to the position of relevant information within contexts and tend to generate incorrect responses when such information is placed in the middle, known as `Lost in the Middle' phenomenon. In this paper, we introduce a framework that generates consistent outputs for decoder-only models, irrespective of the input context order. Experimental results for three open domain question answering tasks demonstrate position invariance, where the model is not sensitive to input context order, and superior robustness to irrelevent passages compared to prevailing approaches for RAG pipelines.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑