arXivDaily arXiv每日学术速递 周一至周五更新
arXiv 2501.04006cs.IR
收藏

利用 GenAI 推进相似性搜索:一种检索增强生成方法

Advancing Similarity Search with GenAI: A Retrieval Augmented Generation Approach

Jean Bertin

AI总结:

提出一种用于相似性搜索的 RAG 方法,利用生成模型理解上下文并检索语义相似度,在 BIOSSES 上以温度 0.5、20 个提示示例取得 0.905 的 Pearson 相关性。

摘要:

本文介绍了一种用于相似性搜索的创新型 Retrieval Augmented Generation(检索增强生成,RAG)方法。所提出的方法使用生成模型捕捉细微的语义信息,并基于先进的上下文理解来检索相似性分数。该研究聚焦于 BIOSSES 数据集,其中包含从生物医学领域提取的 100 对句子,并给出了相似性搜索相关性结果,这些结果优于此前在该数据集上取得的结果。通过对模型敏感性进行深入分析,该研究确定了带来最高相似性搜索准确率的最佳条件:结果显示出很高的 Pearson 相关分数,具体而言,在温度为 0.5、提示中提供 20 个示例的样本量时达到 0.905。这些发现强调了生成模型在语义信息检索方面的潜力,并突出了相似性搜索的一个有前景的研究方向。

英文摘要:

This article introduces an innovative Retrieval Augmented Generation approach to similarity search. The proposed method uses a generative model to capture nuanced semantic information and retrieve similarity scores based on advanced context understanding. The study focuses on the BIOSSES dataset containing 100 pairs of sentences extracted from the biomedical domain, and introduces similarity search correlation results that outperform those previously attained on this dataset. Through an in-depth analysis of the model sensitivity, the research identifies optimal conditions leading to the highest similarity search accuracy: the results reveals high Pearson correlation scores, reaching specifically 0.905 at a temperature of 0.5 and a sample size of 20 examples provided in the prompt. The findings underscore the potential of generative models for semantic information retrieval and emphasize a promising research direction to similarity search.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑