StratRAG：用于检索增强生成系统的多跳检索评估数据集
StratRAG: A Multi-Hop Retrieval Evaluation Dataset for Retrieval-Augmented Generation Systems
AI总结：
本文提出StratRAG数据集，用于评估检索增强生成系统在多跳推理任务中的表现，通过三种检索策略对比，发现混合检索效果最佳，但桥接问题仍较难。
摘要：
本文介绍StratRAG，一个开源的检索评估数据集，用于在现实、嘈杂的文档池条件下对检索增强生成（RAG）系统进行多跳推理任务的基准测试。该数据集基于HotpotQA（干扰设置），包含2200个示例，涵盖三种问题类型——桥接、比较和是/否问题，每个问题都配有一组15个候选文档，其中恰好包含2个黄金文档和13个主题相关的干扰项。我们对三种检索策略——BM25、密集检索（all-MiniLM-L6-v2）和混合融合——进行了基准测试，报告了验证集上的Recall@k、MRR和NDCG@5指标。混合检索在总体表现上最佳（Recall@2 = 0.70，MRR = 0.93），但桥接问题仍显著更具挑战性（Recall@2 = 0.67），这促使未来工作关注基于强化学习的检索策略。StratRAG可在https://huggingface.co/datasets/Aryanp088/StratRAG上公开获取。
英文摘要：
We introduce StratRAG, an open-source retrieval evaluation dataset for benchmarking Retrieval-Augmented Generation (RAG) systems on multi-hop reasoning tasks under realistic, noisy document-pool conditions. Derived from HotpotQA (distractor setting), StratRAG comprises 2,200 examples across three question types -- bridge, comparison, and yes-no -- each paired with a pool of 15 candidate documents containing exactly 2 gold documents and 13 topically related distractors. We benchmark three retrieval strategies -- BM25, dense retrieval (all-MiniLM-L6-v2), and hybrid fusion -- reporting Recall@k, MRR, and NDCG@5 on the validation set. Hybrid retrieval achieves the best overall performance (Recall@2 = 0.70, MRR = 0.93), yet bridge questions remain substantially harder (Recall@2 = 0.67), motivating future work on reinforcement-learning-based retrieval policies. StratRAG is publicly available at https://huggingface.co/datasets/Aryanp088/StratRAG.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
