BMX：熵加权相似度与语义增强的词汇搜索
BMX: Entropy-weighted Similarity and Semantic-enhanced Lexical Search
AI总结：
针对传统BM25词汇搜索忽略查询-文档相似度、缺乏语义理解的问题，研究提出融合熵加权相似度与语义增强技术的BMX算法，在长上下文及真实检索基准上性能优于传统BM25和PLM/LLM稠密检索，填补了经典词汇搜索与现代语义方法的空白。
摘要：
BM25是一种广泛使用的词汇搜索算法，尽管预训练语言模型与大语言模型（PLMs/LLMs）兴起，它在信息检索中仍至关重要。但它忽略查询与文档的相似度，且缺乏语义理解能力，限制了其性能。我们重新审视BM25，提出BMX——一种融合熵加权相似度与语义增强技术的新型BM25扩展算法。大量实验表明，在长上下文和真实世界检索基准测试中，BMX的表现始终优于传统BM25，且超过基于PLM/LLM的稠密检索方法。本研究填补了经典词汇搜索与现代语义方法之间的空白，为未来信息检索研究提供了有前景的方向。BMX的参考实现可在Baguetter中找到，该工具是本研究的配套成果，代码地址：https://github.com/mixedbread-ai/baguetter。
英文摘要：
BM25, a widely-used lexical search algorithm, remains crucial in information retrieval despite the rise of pre-trained and large language models (PLMs/LLMs). However, it neglects query-document similarity and lacks semantic understanding, limiting its performance. We revisit BM25 and introduce BMX, a novel extension of BM25 incorporating entropy-weighted similarity and semantic enhancement techniques. Extensive experiments demonstrate that BMX consistently outperforms traditional BM25 and surpasses PLM/LLM-based dense retrieval in long-context and real-world retrieval benchmarks. This study bridges the gap between classical lexical search and modern semantic approaches, offering a promising direction for future information retrieval research. The reference implementation of BMX can be found in Baguetter, which was created in the context of this work. The code can be found here: https://github.com/mixedbread-ai/baguetter.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
