arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~

SQLite 就足够了:使用 scrydb 的词汇、语义及混合搜索

SQLite is Enough. Lexical, Semantic, and Hybrid Search with scrydb

Timo Breuer

arXiv 2608.24060首次发表:更新:

发表机构

TH Köln – University of Applied Sciences(科隆应用技术大学)

机构由 AI 辅助整理,请以论文原文为准。

AI 中文总结

本研究推出 Python 库 scrydb,基于 SQLite 的 FTS5 和 sqlite-vec 扩展实现词汇、语义及混合搜索,经 IR 基准数据集验证,可为信息检索或智能体搜索下游任务提供轻量高效的解决方案。

AI 中文摘要

本研究推出 scrydb,一款可在 SQLite 中实现词汇、语义及混合搜索的 Python 库。词汇搜索方面,scrydb 利用 SQLite 的全文搜索扩展 FTS5;语义搜索基于 SQLite 的向量搜索扩展 sqlite-vec。此外,该库允许用户对检索结果进行重排序与融合,以结合词汇和语义两种方法,为信息检索(IR)或智能体搜索的下游任务提供轻量解决方案。我们在多个 IR 基准数据集上评估了 scrydb,证实其在基于关键词匹配、语义相似度及排序融合的文本检索中表现有效,同时还提供了查询延迟及效率与效果间权衡的相关见解。scrydb 以 MIT 许可发布。

英文摘要

This work introduces scrydb, a Python library that enables lexical, semantic, and hybrid search within SQLite. For lexical search, scrydb leverages SQLite's full-text search extension FTS5. Semantic search builds on sqlite-vec, a SQLite extension for vector search. Furthermore, the library allows users to rerank and fuse retrieval results to combine both lexical and semantic approaches, providing a lightweight solution for downstream tasks in information retrieval (IR) or agentic search. We evaluate scrydb on various IR benchmark datasets and demonstrate its effectiveness in text retrieval based on keyword matching, semantic similarity, and rank fusion. In addition, we provide insights into query latency and the trade-off between efficiency and effectiveness. scrydb is available under the MIT license.

CommentsSoftware available at https://github.com/breuert/scrydb

论文原文

arXiv 摘要页 · PDF 原文 · HTML 原文

↑