异构企业数据上的深度搜索基准测试
Benchmarking Deep Search over Heterogeneous Enterprise Data
AI总结：
提出了一个评估深度搜索的新基准，利用合成数据管道模拟业务工作流生成多跳问题，发现现有智能体RAG方法因检索瓶颈导致性能显著下降。
摘要：
我们提出了一个用于评估深度搜索的新基准，深度搜索是检索增强生成（RAG）的一种现实且复杂的形式，需要在对多样、稀疏但相关的来源进行感知来源的多跳推理。这些来源包括文档、会议记录、Slack消息、GitHub和URL，它们在结构上各不相同，且通常包含人与人之间的交互。我们使用一个合成数据管道来构建它，该管道模拟了产品规划、开发和支持阶段的业务工作流，生成具有现实噪声的互联内容以及带有保证真实答案的多跳问题。我们发布的基准包含可回答和不可回答的查询，以及包含39,190个企业工件的检索池，从而能够对长上下文LLM和RAG系统进行细粒度评估。我们的实验表明，即使是性能最好的智能体RAG方法，在我们的基准上也仅达到32.96的平均性能得分。通过进一步分析，我们强调检索是主要瓶颈：现有方法难以进行深度搜索并检索所有必要的证据。因此，它们通常在部分上下文上进行推理，导致显著的性能下降。
英文摘要：
We present a new benchmark for evaluating Deep Search--a realistic and complex form of retrieval-augmented generation (RAG) that requires source-aware, multi-hop reasoning over diverse, sparsed, but related sources. These include documents, meeting transcripts, Slack messages, GitHub, and URLs, which vary in structure and often contain human-to-human interactions. We build it using a synthetic data pipeline that simulates business workflows across product planning, development, and support stages, generating interconnected content with realistic noise and multi-hop questions with guaranteed ground-truth answers. We release our benchmark with both answerable and unanswerable queries, and retrieval pool of 39,190 enterprise artifacts, enabling fine-grained evaluation of long-context LLM and RAG systems. Our experiments reveal that even the best-performing agentic RAG methods achieve an average performance score of 32.96 on our benchmark. With further analysis, we highlight retrieval as the main bottleneck: existing methods struggle to conduct deep searches and retrieve all necessary evidence. Consequently, they often reason over partial context, leading to significant performance degradation.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
