RankRAG：在大语言模型中统一上下文排序与检索增强生成
RankRAG: Unifying Context Ranking with Retrieval-Augmented Generation in LLMs
AI总结：
本文提出 RankRAG 指令微调框架，使单个 LLM 同时承担上下文排序与答案生成，并在多个知识密集型和生物医学 RAG 基准上取得优异表现。
摘要：
在检索增强生成（RAG）中，大语言模型（LLM）通常使用检索器给出的 top-k 上下文。本文提出一种新颖的指令微调框架 RankRAG，它对单个 LLM 进行指令微调，以同时服务于 RAG 中的上下文排序和答案生成。特别地，在训练混合数据中加入一小部分排序数据后，经过指令微调的 LLM 表现出奇地好，并且优于现有的专家排序模型，包括仅在大量排序数据上微调的同一 LLM。在生成方面，我们将该模型与许多强基线进行比较，包括 GPT-4-0613、GPT-4-turbo-2024-0409 和 ChatQA-1.5；ChatQA-1.5 是一个开源模型，在 RAG 基准上具有最先进性能。具体而言，我们的 Llama3-RankRAG 在九个知识密集型基准上显著优于 Llama3-ChatQA-1.5 和 GPT-4 模型。此外，在没有使用生物医学数据进行指令微调的情况下，它在五个生物医学领域的 RAG 基准上也取得了与 GPT-4 相当的表现，展示了其向新领域泛化的卓越能力。
英文摘要：
Large language models (LLMs) typically utilize the top-k contexts from a retriever in retrieval-augmented generation (RAG). In this work, we propose a novel instruction fine-tuning framework RankRAG, which instruction-tunes a single LLM for the dual purpose of context ranking and answer generation in RAG. In particular, the instruction-tuned LLMs work surprisingly well by adding a small fraction of ranking data into the training blend, and outperform existing expert ranking models, including the same LLM exclusively fine-tuned on a large amount of ranking data. For generation, we compare our model with many strong baselines, including GPT-4-0613, GPT-4-turbo-2024-0409, and ChatQA-1.5, an open-sourced model with the state-of-the-art performance on RAG benchmarks. Specifically, our Llama3-RankRAG significantly outperforms Llama3-ChatQA-1.5 and GPT-4 models on nine knowledge-intensive benchmarks. In addition, it also performs comparably to GPT-4 on five RAG benchmarks in the biomedical domain without instruction fine-tuning on biomedical data, demonstrating its superb capability for generalization to new domains.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
