arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~
arXiv 2407.01370cs.CL
收藏

Haystack 摘要:对长上下文 LLM 和 RAG 系统的挑战

Summary of a Haystack: A Challenge to Long-Context LLMs and RAG Systems

Salesforce AI Research(Salesforce AI研究院)

Philippe Laban, Alexander R. Fabbri, Caiming Xiong, Chien-Sheng Wu

AI总结:

本文提出 SummHay 任务,通过合成包含重复 insight 的文档 Haystack,从 Coverage 和 Citation 两方面自动评估长上下文 LLM 与 RAG 系统的摘要能力,并证明其对当前系统仍具挑战性。

摘要:

LLM 和 RAG 系统现在能够处理数百万甚至更多的输入 token。然而,在此类长上下文任务上评估这些系统的输出质量仍然具有挑战性,因为像 Needle-in-a-Haystack 这样的任务缺乏复杂性。在本工作中,我们认为摘要可以在这种评估中发挥核心作用。我们设计了一个流程来合成文档 Haystack,确保特定的 insight 在多个文档中重复出现。然后,“Summary of a Haystack”(SummHay)任务要求系统处理 Haystack,并在给定查询的情况下生成一个摘要,该摘要识别相关 insight 并精确引用来源文档。由于我们精确知道哪些 insight 应出现在 haystack 摘要中以及哪些文档应被引用,我们实现了一种高度可复现的自动评估方法,可以从两个方面对摘要进行评分——Coverage 和 Citation。我们在两个领域(对话、新闻)中生成了 Haystack,并对 10 个 LLM 及相应的 50 个 RAG 系统进行了大规模评估。我们的发现表明,SummHay 对当前系统而言是一个开放性挑战,因为即使是获得了文档相关性 Oracle 信号的系统,在 Joint Score 上仍比我们估计的人类表现(56%)低 10 个百分点以上。在没有 retriever 的情况下,GPT-4o 和 Claude 3 Opus 等长上下文 LLM 在 SummHay 上的得分低于 20%。我们表明 SummHay 还可用于研究企业 RAG 系统和长上下文模型中的位置偏差。我们希望未来的系统能够在 SummHay 上达到并超越人类表现。

英文摘要:

LLMs and RAG systems are now capable of handling millions of input tokens or more. However, evaluating the output quality of such systems on long-context tasks remains challenging, as tasks like Needle-in-a-Haystack lack complexity. In this work, we argue that summarization can play a central role in such evaluation. We design a procedure to synthesize Haystacks of documents, ensuring that specific \textit{insights} repeat across documents. The "Summary of a Haystack" (SummHay) task then requires a system to process the Haystack and generate, given a query, a summary that identifies the relevant insights and precisely cites the source documents. Since we have precise knowledge of what insights should appear in a haystack summary and what documents should be cited, we implement a highly reproducible automatic evaluation that can score summaries on two aspects - Coverage and Citation. We generate Haystacks in two domains (conversation, news), and perform a large-scale evaluation of 10 LLMs and corresponding 50 RAG systems. Our findings indicate that SummHay is an open challenge for current systems, as even systems provided with an Oracle signal of document relevance lag our estimate of human performance (56\%) by 10+ points on a Joint Score. Without a retriever, long-context LLMs like GPT-4o and Claude 3 Opus score below 20% on SummHay. We show SummHay can also be used to study enterprise RAG systems and position bias in long-context models. We hope future systems can equal and surpass human performance on SummHay.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑