BERGEN：一个用于检索增强生成的基准测试库
BERGEN: A Benchmarking Library for Retrieval-Augmented Generation
AI总结：
本文提出开源端到端基准测试库 BERGEN，以标准化 RAG 实验，并系统比较检索器、重排序器、LLM、数据集与评价指标。
摘要：
检索增强生成（Retrieval-Augmented Generation，RAG）允许利用外部知识来增强大型语言模型。为响应近期生成式 LLM 的流行，许多 RAG 方法被提出，它们涉及大量复杂的不同配置，例如评估数据集、文档集合、指标、检索器和 LLM。不一致的基准测试给比较各种方法以及理解流水线中每个组件的影响带来了重大挑战。在本工作中，我们研究了为系统评估 RAG 奠定基础的最佳实践，并提出 BERGEN，这是一个用于可复现研究的端到端库，可将 RAG 实验标准化。在一项聚焦于问答（QA）的广泛研究中，我们对不同的最先进检索器、重排序器和 LLM 进行了基准测试。此外，我们分析了现有的 RAG 指标和数据集。我们的开源库 BERGEN 可在 https://github.com/naver/bergen 获取。
英文摘要：
Retrieval-Augmented Generation allows to enhance Large Language Models with external knowledge. In response to the recent popularity of generative LLMs, many RAG approaches have been proposed, which involve an intricate number of different configurations such as evaluation datasets, collections, metrics, retrievers, and LLMs. Inconsistent benchmarking poses a major challenge in comparing approaches and understanding the impact of each component in the pipeline. In this work, we study best practices that lay the groundwork for a systematic evaluation of RAG and present BERGEN, an end-to-end library for reproducible research standardizing RAG experiments. In an extensive study focusing on QA, we benchmark different state-of-the-art retrievers, rerankers, and LLMs. Additionally, we analyze existing RAG metrics and datasets. Our open-source library BERGEN is available under \url{https://github.com/naver/bergen}.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
