Complementing Lexical Retrieval with Semantic Residual Embedding
本文介绍了CLEAR,检索模型,旨在补充经典的词汇精确匹配模型,如BM 25与语义匹配信号的神经嵌入匹配模型。CLEAR显式地训练神经嵌入来编码词汇检索无法捕获的语言结构和语义,并使用一种新的基于残差的嵌入学习方法。实证评估表明,CLEAR的优势,国家的最先进的检索模型,它可以大大提高端到端的准确性和效率的重新排序管道。
2021-03-29 cs.IR
Dimension Reduction for Efficient Dense Retrieval via Conditional Autoencoder
密集检索器对查询和文档进行编码,并使用预训练的语言模型将它们映射到嵌入空间中。这些嵌入需要是高维的,以适应训练信号,并保证密集检索器的检索效率。然而,这些高维嵌入导致更大的索引存储和更高的检索延迟。为了降低稠密检索的嵌入维数,提出了一种条件自动编码器(ConAE)对高维嵌入进行压缩,以保持相同的嵌入分布,更好地恢复排序特征。我们的实验表明,ConAE是有效的压缩嵌入实现可比的排名性能与教师模型,使检索系统更有效。进一步的分析表明,ConAE算法可以有效地降低稠密检索中嵌入的冗余度,而只需要一个线性层。这项工作的所有代码都可以在https://github.com/NEUIR/ConAE上找到。
2022-10-22 cs.IR
Explore Entity Embedding Effectiveness in Entity Retrieval
研究了adhoc实体检索中实体嵌入的有效性,将实体的分布式表示引入到实体检索中。知识图谱包含大量的知识,用结构良好的表示形式来描述实体的语义关系。实体嵌入从知识图谱中学习大量的语义信息,用低维的表示方法表示实体,为实体检索提供了在查询相关实体和候选实体之间建立交互的机会。实验结果表明,基于实体嵌入的检索模型比现有的基于学习排序的实体检索模型性能提高了5%以上.进一步的分析表明,实体语义匹配特征是有效的,特别是对于需要更多语义理解的场景。
2019-08-28 cs.IR
RepBERT: Contextualized Text Embeddings for First-Stage Retrieval
虽然查询和文档之间的精确术语匹配是执行第一阶段检索的主要方法,但我们提出了一种不同的方法,称为RepBERT,用固定长度的上下文嵌入来表示文档和查询。查询和文档嵌入的内积被认为是相关性得分。在MS MARCO Passage Ranking任务中,RepBERT在所有初始检索技术中取得了最先进的结果。它的效率与词袋方法相当。
2020-07-20 cs.IR
Graph-Embedding Empowered Entity Retrieval
本文研究图嵌入与实体链接方法对实体检索的影响,发现融合图结构与文本描述的嵌入及高概念精确率和召回率的链接方法效果最佳,且图需尽量覆盖更多实体。
2025-06-04 cs.IR
CPS-MEBR: Click Feedback-Aware Web Page Summarization for Multi-Embedding-Based Retrieval
针对单嵌入难以完整表征复杂网页的问题,提出融合点击反馈的网页摘要框架CPS-MEBR,结合句子级语义交互生成多嵌入,提升检索质量。
2023-05-07 cs.IR
Enhancing Translation Language Models with Word Embedding for Information Retrieval
在本文中,我们探讨使用词嵌入语义资源的信息检索(IR)任务。这种由浅神经网络产生的嵌入已经被证明可以捕捉单词之间的语义相似性(Mikolov等人,2013年)的报告。因此,我们的目标是通过解决术语不匹配问题来增强IR语言模型。为此,我们应用了Zuccon等人(2015)在信息检索中集成和评估神经词嵌入的论文中提出的模型,该模型提出使用词嵌入之间的余弦相似度来估计翻译语言模型的翻译概率。到目前为止,我们得到的结果并没有显示出统计上的显着改善相比,经典的语言模型。
2018-01-11 cs.IR
RelEmb: A relevance-based application embedding for Mobile App retrieval and categorization
信息检索系统已经彻底改变了信息的组织和提取。近年来,移动应用程序(app)已成为收集和传播信息的主要工具。然而,关于如何在用户设备上检索和组织移动应用程序的研究有限。在本文中,作者提出了一种新的方法来估计应用程序嵌入,然后将其应用于应用程序聚类,分类和检索等任务。将应用嵌入用于查询扩展、最近邻分析使得能够实现独特且有趣的用例,以增强移动应用的终端用户体验。
2019-04-14 cs.IR
More Robust Dense Retrieval with Contrastive Dual Learning
稠密检索在嵌入空间进行文本检索,与稀疏检索相比具有许多优点。现有的密集检索器通过对比训练优化查询和文档的表示,并将其映射到嵌入空间。通过对齐匹配的查询-文档对并将否定文档推离查询来优化嵌入空间。然而,在这样的训练范例中,查询仅被优化为与文档对齐并且被粗略地定位,从而导致各向异性的查询嵌入空间。在本文中,我们分析了嵌入空间分布,并提出了一个有效的训练范式,对比对偶学习近似最近邻(DANCE)学习细粒度的查询表示稠密检索。DANCE结合了一个额外的双重训练对象的查询检索,灵感来自经典的信息检索训练公理,查询可能性。通过对比学习,DANCE的双训练对象学习查询和文档的更定制的表示,以保持嵌入空间的平滑和均匀,在MS MARCO文档检索任务上的DANCE排名性能上蓬勃发展。与仅对文档检索任务进行优化的ANCE不同,DANCE将查询嵌入集中在更接近文档表示的位置,同时使文档分布更具区分性。这种集中的查询嵌入分布为查询分配了更均匀的负采样概率,并有助于充分优化查询检索任务中的查询表示。我们的代码在https://github.com/thunlp/DANCE上发布。
2021-07-16 cs.IR
Joint Learning of Deep Retrieval Model and Product Quantization based Embedding Index
嵌入索引可以实现快速近似最近邻(ANN)搜索,是最先进的深度检索系统不可或缺的组成部分。传统的方法通常将嵌入学习和索引构建这两个步骤分开,这会导致额外的索引时间和衰退的检索准确性。在本文中,我们提出了一种名为Poeem的新方法,该方法代表基于产品量化的嵌入索引与深度检索模型联合训练,通过利用包括梯度直通估计器,热启动策略,最佳空间分解和Givens旋转在内的一些技术,将两个单独的步骤统一在端到端训练中。大量的实验结果表明,该方法不仅提高了检索精度显着,但也减少了索引时间几乎为零。为了比较和可重复性,我们已经开放了我们的方法。
2021-05-28 cs.IR
A data-driven strategy to combine word embeddings in information retrieval
在自然语言处理和信息检索中,词嵌入是文档的单字表示中的词的重要描述符。查询的表示一直是这一领域最关键的挑战之一,因为它由几个术语组成,几乎没有描述能力。诸如平均词嵌入之类的策略可以丰富查询的描述能力,因为它们有利于从表征这些方法的连续向量表示中识别相关术语。我们提出了一个数据驱动的策略来结合词嵌入。我们使用Idf组合的嵌入表示查询,这些表示优于平均词嵌入最近提出的文献。基准数据上的实验结果表明,我们的建议表现良好,这表明数据驱动的词嵌入组合是一个很有前途的研究线在ad-hoc信息检索。
2021-05-26 cs.IR
Using Centroids of Word Embeddings and Word Mover's Distance for Biomedical Document Retrieval in Question Answering
我们提出了一个文件检索方法的问答,表示文件和问题的加权质心的词嵌入和重新排序检索到的文件与放松的词移动器的距离。使用生物医学问题和文件BIOASQ,我们表明,我们的方法是有竞争力的PUBMED。使用top-k近似,我们的方法是快速的,并且很容易移植到其他领域和语言。
2016-08-12 cs.IR
More Than Efficiency: Embedding Compression Improves Domain Adaptation in Dense Retrieval
Johns Hopkins University(约翰斯·霍普金斯大学)
针对密集检索中训练与目标领域分布不匹配的问题,提出对查询嵌入进行PCA压缩以保留领域相关特征并丢弃非判别成分,在9个检索器和14个MTEB数据集上验证了该方法能有效提升检索性能。
2026-07-15 cs.IR
Utilizing Embeddings for Ad-hoc Retrieval by Document-to-document Similarity
词或段落的潜在语义表示,即嵌入,在信息检索中有着广泛的应用。利用嵌入进行检索的常用方法之一是估计嵌入中的文档到查询(D2 Q)相似度。由于具有相似句法用法的词通常在嵌入空间中彼此非常接近,尽管它们在语义上不相似,D2 Q相似性方法可能遭受“多个相似度”的问题。为此,本文提出了一种新的方法,估计一个语义相关性得分(SEM)的基础上文档到文档(D2 D)的相似性嵌入。由于Word或Para 2 Vec通过单词/段落的上下文生成嵌入,因此D2 D相似性方法将文档排序的任务转变为对不同文档内的内容之间的相似性的估计。在标准TREC测试集上的实验结果表明,我们提出的方法优于强基线。
2017-08-10 cs.IR
Interpreting Conversational Dense Retrieval by Rewriting-Enhanced Inversion of Session Embedding
本文提出 CONVINV 方法,通过基于 ad-hoc 查询编码器训练 Vec2Text 模型并融入外部查询重写,将不透明的会话嵌入转换为可解释文本,在保持检索性能的同时提升会话密集检索的可解释性。
2024-06-01 cs.IR
LLMs Meet Isolation Kernel: Lightweight, Learning-free Binary Embeddings for Fast Retrieval
National Key Laboratory for Novel Software Technology, Nanjing University(南京大学本科软件技术国家重点实验室)
本文提出无学习的隔离内核嵌入(IKE),将LLM嵌入转换为二进制嵌入,实现低内存和快速检索,实验显示其检索速度提升16.7倍,内存使用降低16倍,同时保持相似精度。
2026-07-08 cs.IR
Embedding-based Zero-shot Retrieval through Query Generation
段落检索解决了定位相关段落的问题,通常是从大型语料库中,给定查询。在实践中,词汇匹配算法,如BM 25是流行的选择检索,由于其效率。然而,基于术语的匹配算法通常会错过与查询没有词汇重叠的相关段落,并且无法对下游数据集进行微调。在这项工作中,我们考虑基于嵌入的双塔架构作为我们的神经检索模型。由于标记数据可能很稀缺,并且神经检索模型需要大量数据来进行训练,因此我们提出了一种生成用于检索的合成训练数据的新方法。我们的系统产生了显著的结果,在6个测试数据集中的5个数据集上显著优于BM 25,Recall@1的平均得分为2.45分。在某些情况下,我们在合成数据上训练的模型甚至可以优于在真实数据上训练的相同模型
2020-09-22 cs.IR
Query Embedding Pruning for Dense Retrieval
稠密检索技术的最新进展提供了这样的希望,即不仅能够使用诸如BERT之类的上下文化语言模型对文档进行重新排序,而且还能够首先使用这些模型从集合中识别文档。然而,当使用针对每个查询使用多个嵌入式表示的稠密检索方法时,针对每个查询可以检索大量文档,这阻碍了该方法的效率。因此,这项工作是第一个考虑效率的提高,在上下文中的稠密检索方法(即ColBERT),修剪查询项嵌入估计是不是有用的检索相关的文件。我们提出的查询嵌入修剪降低了稠密检索操作的成本,以及减少检索的文档的数量,因此需要完全评分。在MSMARCO段落排名语料库上进行的实验表明,当根据相应标记的收集频率将所使用的查询嵌入的数量从32减少到3时,查询嵌入修剪的有效性在统计上没有显著差异,同时检索到的文档数量减少了70%。就端到端系统的平均响应时间而言,这导致了2.65倍的加速。
2021-08-23 cs.IR
SearchGCN: Powering Embedding Retrieval by Graph Convolution Networks for E-Commerce Search
图卷积网络(GCN)是近年来发展起来的一种用于图节点分类、推荐等应用的新方法,但尚未成功应用于工业规模的搜索引擎。在这个建议中,我们介绍了我们的方法,即SearchGCN,在世界上最大的电子商业搜索引擎之一的嵌入式候选检索。实证研究表明,SearchGCN学习更好的嵌入表示比现有的方法,特别是对于长尾查询和项目。因此,SearchGCN自二零二零年七月起已部署于JD.com的搜索产品中。
2021-07-01 cs.IR
PUMA: Post-Hoc Sparsification of Universal Multimodal Embeddings for Efficient Retrieval
Politecnico di Bari(巴里理工大学);Sapienza University of Rome(罗马大学);ISTI–CNR(意大利国家研究委员会信息与通信技术研究所);University of Pisa(比萨大学)
针对通用多模态嵌入的高存储与推理成本问题,提出无需微调主干网络的PUMA稀疏自编码器方案,在五个基准上验证其可实现8-16倍存储压缩与最高25倍检索加速,且多数数据集性能与密集检索相当或更优。
2026-08-27 cs.IR
Universal Vision-Language Dense Retrieval: Learning A Unified Representation Space for Multi-Modal Retrieval
本文提出了通用视觉语言稠密检索(UniversalVision-Language Dense Retrieval,UniVL-DR),为多模态检索建立了统一的模型。UniVL-DR在嵌入空间中对查询和多模态资源进行编码,用于从不同模态中搜索候选项。为了学习一个统一的嵌入空间用于多模态检索,UniVL-DR提出了两种技术:1)通用嵌入优化策略,使用模态平衡的硬否定对比优化嵌入空间; 2)图像动词化方法,弥合原始数据空间中图像和文本之间的模态差距。UniVL-DR在多模态开放域问答基准测试WebQA上达到了最先进的水平,在文本-文本检索和文本-图像检索两个子任务上优于所有检索模型。它表明,通用多模态搜索是可行的,以取代一个统一的模型和单/跨模态任务的分治管道。本工作的所有源代码都可以在https://github.com/OpenMatch/UniVL-DR上获得。
2023-02-05 cs.IR
Interpret and Control Dense Retrieval with Sparse Latent Features
针对稠密检索嵌入可解释性与可控性不足的问题,本文提出基于稀疏自编码器与面向检索对比损失的方法,通过稀疏潜在特征解释控制检索,在保持原准确率的同时实现检索行为调控。
2025-02-23 cs.IR
Social Emotion Mining Techniques for Facebook Posts Reaction Prediction
Maastricht University(马斯特里赫特大学)
截至2016年2月,Facebook允许用户通过使用五种所谓的“反应”来表达他们对帖子的体验情绪。本文提出并评估了预测这些反应的公司/公司(如连锁超市)的公共页面上的用户帖子的替代方法。为此,我们从大型连锁超市的Facebook页面上收集了帖子(及其反应),并构建了一个可用于其他研究的数据集。为了预测新帖子的反应分布,使用预训练的词嵌入测试神经网络架构(卷积和递归神经网络)。神经网络的结果得到了改善,通过引入一个自举方法的情绪和情感挖掘的评论为每个职位。最终的模型(神经网络和基线情感挖掘器的组合)能够预测Facebook帖子上的反应分布,均方误差(或错误分类率)为0.135。
2017-12-08 cs.AI cs.CL cs.IR
Enhancing Patent Retrieval using Text and Knowledge Graph Embeddings: A Technical Note
专利检索影响工程设计研究,教育和实践中的几个应用程序,以及有关创新,知识产权和知识管理等的应用程序。在这篇文章中,我们提出了一种方法来检索专利相关的一组初始专利,通过综合自然语言处理和知识图谱嵌入之间的最先进的技术。我们的方法涉及专利嵌入,捕获文本,引用和发明人信息,这些信息分别代表通过专利文档传达的知识的不同方面。我们使用应用于标题和摘要的Sentence-BERT获得文本嵌入。我们通过使用相应的知识图谱训练的transE获得引用和发明人嵌入。我们确定使用分类任务,文本,引文和发明人嵌入的串联提供了一个合理的专利表示。虽然所提出的专利嵌入可用于关联一对专利,但我们使用召回任务观察到,多个初始专利可使用平均余弦相似性与目标专利相关联,然后可用于对所有目标专利进行排名并检索最相关的专利。我们提出的专利检索方法应用到一组专利对应的产品系列和发明人的投资组合。
2022-11-03 cs.IR
DeepSeek: Content Based Image Search & Retrieval
今天的大多数互联网都是由数字媒体组成的,包括视频和图像。随着像素成为互联网上大多数交易的货币,拥有一种相对轻松地浏览这片信息海洋的方式变得越来越重要。YouTube每分钟有400小时的视频上传,Instagram,Facebook等上有数百万张图像被浏览。受到深度学习领域的最新进展和成功的启发,它在图像描述和机器翻译,word2vec,跳过思想等各种问题上取得了成功,我们为DeepSeek提供了一个基于自然语言处理的深度学习模型,它允许用户输入他们想要搜索的图像类型的描述,并且作为响应,系统检索语义上和上下文上与查询相关的所有图像。以下各节将介绍两种方法。
2018-01-11 cs.IR
SSEmb: A Joint Structural and Semantic Embedding Framework for Mathematical Formula Retrieval
SSEmb通过图对比学习和Sentence-BERT联合建模公式的结构与语义,在ARQMath-3上显著提升检索性能,并与Approach0结合达到最优。
2025-08-07 cs.IR
Beyond Benchmarks: Evaluating Embedding Model Similarity for Retrieval Augmented Generation Systems
本研究针对RAG系统嵌入模型选择难题,通过居中核对齐、Jaccard系数和排名相似性评估模型相似性,在BEIR的五个数据集上识别出系列内及跨系列聚类,发现低k值检索相似性方差高,并找到Mistral等开源替代方案。
2024-07-11 cs.IR
Enhanced document retrieval with topic embeddings
针对RAG应用中检索机制准确性瓶颈及多相关主题文档检索性能不佳问题,提出融合文档主题信息的文本向量化新方法,在RAG场景下评估该方法并讨论相关的RAG系统评估挑战。
2024-08-19 cs.IR
Embedding Surgery: Localized Updates for Adaptive Ranking Correction in Dense Retrieval
IIT-CNR(意大利国家研究委员会信息科学与技术研究所);Seltz;ISTI-CNR(意大利国家研究委员会信息科学与技术研究所)
本研究提出嵌入手术方法,通过对选定文档嵌入的局部最小化更新实现稠密检索的自适应排序修正,在多个基准上取得显著性能提升,且与查询适配方法互补。
2026-09-07 cs.IR
CAMIE: Co-Engagement-Aware Multimodal Item Embeddings for Snap Dynamic Product Ads Retrieval
Snap Inc.(Snap公司)
针对Snap动态产品广告检索的挑战,提出CAMIE框架,基于LLM/MLLM主干与协同交互数据微调,线上部署后显著提升多场景下的CTR与CVR。
2026-09-01 cs.IR
Improving Long-Context Retrieval with Multi-Prefix Embedding
University of Waterloo(滑铁卢大学);University of Queensland(昆士兰大学);University of Utah(犹他大学);Carnegie Mellon University(卡内基梅隆大学)
提出多前缀嵌入(MPE)方法,通过将文档分割为以EOS令牌分隔的块,在单次因果前向传播中编码全文并提取每个前缀边界的嵌入,实现跨块上下文保留和块级MaxSim匹配,仅需文档级相关性标签,在长上下文检索中优于基线方法。
2026-06-23 cs.IR
Transform Before You Query: A Privacy-Preserving Approach for Vector Retrieval with Embedding Space Alignment
针对向量数据库查询需暴露原始文本的隐私风险,提出基于嵌入空间对齐的STEER框架,通过近似嵌入实现无需服务端修改的隐私检索,在隐私保护的同时将Recall@100损失控制在5%内,百万级语料下Recall@20超基线20%。
2025-07-31 cs.IR
Embedding-based Product Retrieval in Taobao Search
如今,电子商务平台的产品搜索服务已经成为人们生活中至关重要的购物渠道。产品的检索阶段决定了检索系统的质量,逐渐受到研究者的重视。从大规模语料库中检索最相关的产品,同时保留个性化的用户特征仍然是一个悬而未决的问题。最近在这一领域的方法主要集中在嵌入式检索(EBR)系统。然而,在淘宝网上进行了长时间的实验后,我们发现EBR系统的性能由于以下原因而急剧下降:(1)与给定查询的相关性低;(2)训练和推理阶段之间的差异。因此,我们提出了一种新颖而实用的基于嵌入的产品检索模型,命名为多粒度深度语义产品检索(MGDSPR)。具体来说,我们首先识别训练和推理阶段之间的不一致性,然后使用softmax交叉熵损失作为训练目标,从而实现更好的性能和更快的收敛。进一步提出了两种有效的方法来提高检索相关性,包括平滑噪声训练数据和生成相关性提高硬负样本,而不需要额外的知识和训练过程。我们评估MGDSPR在淘宝商品搜索的离线实验和在线A/B测试中观察到的显着指标增益。MGDSPR已成功部署到淘宝搜索现有的多渠道检索系统中。此外,我们亦介绍网上部署计划,并分享检索系统的实际经验,以回馈社会。
2021-06-17 cs.IR
IMRNNs: An Efficient Method for Interpretable Dense Retrieval via Embedding Modulation
University of Maryland, Baltimore County(马里兰大学巴尔的摩分校)
IMRNNs通过动态嵌入调节提升密集检索的可解释性和检索效果
2026-01-27 cs.IR
TurkEmbed4Retrieval: Turkish Embedding Model for Retrieval Task
Newmind AI
本文提出面向土耳其语检索任务的嵌入模型 TurkEmbed4Retrieval,通过在 MS MARCO TR 上微调并结合 Matryoshka 表示学习与多重负样本排序损失,在 Scifact TR 上超越 Turkish colBERT 19.26%,建立新基准。
2025-11-10 cs.IR
EGR: Embedding-Native Generative Retrieval with a Shared LLM
Snap Inc.(Snap公司)
研究针对生成式检索在推荐和广告系统中的问题,提出EGR框架,利用共享语言模型在同一嵌入空间学习项目与用户表示,经联合对比训练,在多场景评估中表现出色,提升了转化率,简化了系统设计。
2026-07-28 cs.IR
SetMIR: Multi-Interest Retrieval as Set Prediction
Snap Inc.(Snap公司)
SetMIR将多兴趣检索视为集合预测,用Transformer编码用户行为历史,经实验在Snap DPA数据上表现优于现有方法,部署后显著提升推荐系统的CTR与CVR。
2026-09-01 cs.IR
Query Translation vs. Cross-Lingual Embeddings for Sinhala-Tamil E-Government Information Retrieval
University of Kelaniya(凯拉尼亚大学)
本文对比僧伽罗语-泰米尔语电子政务信息检索的CLIR方法,发现多语言嵌入模型BGE-M3性能最优,优于查询翻译方法,可作为低资源政务领域RAG的有效方案。
2026-08-14 cs.IR
Why Large Language Models can Secretly Outperform Embedding Similarity in Information Retrieval
University of Groningen(格罗宁根大学)
本文探讨了大语言模型在信息检索中通过推理超越传统嵌入相似性方法的潜力,并指出当前注释数据集难以准确评估其效果。
2026-03-09 cs.IR
MedGraph: An experimental semantic information retrieval method using knowledge graph embedding for the biomedical citations indexed in PubMed
本文研究了生物医学数字图书馆中的语义搜索问题。首先,我们介绍MedGraph,一个知识图谱嵌入为基础的方法,提供语义相关性检索和排名的生物医学文献索引在PubMed。其次,我们使用PubMed的最佳匹配算法评估我们的方法。此外,我们比较我们的方法MedGraph传统的TFIDF算法。我们使用从PubMed中提取的数据集,包括3000万篇文章的元数据,如摘要,作者信息,引用信息和提取的生物实体提及。我们通过拉取数据集的一个子集来使用预定义的查询和真实排名结果来评估MedGraph。据我们所知,这种技术在生物医学信息检索中还没有被探索过。此外,我们的研究结果提供的证据表明,语义的方法来搜索和相关性的生物医学数字图书馆,依赖于知识图谱建模提供更好的搜索相关性的结果相比,传统的方法在客观的指标。
2021-12-14 cs.IR
Contrastive Learning for Cross-modal Artist Retrieval
本文提出基于对比学习的跨模态嵌入组合方法,在艺术家检索任务中提升准确率与覆盖率,对冷门艺术家和缺失模态数据更鲁棒。
2023-08-12 cs.IR
Rethinking Agentic RAG: Toward LLM-Driven Logical Retrieval Beyond Embeddings
School of Computer Science, Fudan University(复旦大学计算机学院);Shanghai Kingstar Software Technology Co., Ltd.(上海金仕达软件科技有限公司)
提出一种智能体RAG框架,让LLM通过逻辑表达式控制检索,使用轻量级倒排索引后端,在降低成本和幻觉的同时匹配强基线性能。
2026-05-26 cs.IR
AdaWidth: Query-Adaptive Embedding Width for Dense Retrieval
University of Washington(华盛顿大学)
AdaWidth通过正交前缀适配器和轻量级路由器,使密集检索的查询自适应评估维度数,在6项任务和5个冻结编码器上,以更少维度达到当前最先进方法的NDCG@10性能。
2026-08-26 cs.IR
Preliminary Exploration of Formula Embedding for Mathematical Information Retrieval: can mathematical formulae be embedded like a natural language?
虽然神经网络方法在自然语言相关领域取得了突破性的性能,但在数学语言相关任务中几乎没有类似的尝试。在这项研究中,我们探讨了应用神经表征技术的数学信息检索(MIR)任务的潜力。更详细地说,我们首先简要分析了自然语言和数学语言之间的特征差异。然后,我们设计了一个“symbol 2 vec”方法来学习公式符号(数字,变量,运算符,函数等)的矢量表示。最后,我们提出了一个“formula 2 vec”为基础的MIR方法,并评估其性能。初步的实验结果表明,公式嵌入模型在数学语言表征和MIR任务中有很好的应用前景。
2017-08-29 cs.IR
Graph-Embedding Empowered Entity Retrieval
在这项研究中,我们改进了目前的艺术实体检索的结果列表使用图嵌入重新排名。本文表明,图嵌入是有用的面向实体的搜索任务。我们的经验表明,编码信息从知识图谱到(图)嵌入有助于更高的增加实体检索结果的有效性比使用普通的词嵌入。我们分析了实体链接器的准确性对整体检索效果的影响。我们的分析进一步部署集群假设来解释观察到的优势,图嵌入更广泛使用的词嵌入,用户任务涉及排名实体。
2020-05-06 cs.CL cs.IR
LLM-Augmented Retrieval: Enhancing Retrieval Models Through Language Models and Doc-Level Embedding
Meta
本文提出模型无关的LLM增强文档级嵌入框架,并改进负采样与损失函数等训练组件,显著提升Contriever、DRAGON和ColBERTv2等检索器,在LoTTE与BEIR上达到SOTA。
2024-04-08 cs.AI cs.IR
Toward Word Embedding for Personalized Information Retrieval
Université de Grenoble(格勒诺布尔大学);CNRS(法国国家科学研究中心);Université de Saint-Étienne(圣艾蒂安大学)
本文介绍了在个性化信息检索的背景下,使用词嵌入(word2vec)查询扩展的初步工作。传统上,词嵌入是在一个通用的语料库上学习的,比如维基百科。在这项工作中,我们试图个性化的词嵌入学习,通过实现对用户的个人资料的学习。然后,词嵌入处于与用户兴趣相同的上下文中。我们的建议是在CLEF社会图书搜索2016年收集评估。研究结果表明,在个性化信息检索中,词嵌入的应用还有待进一步研究。
2016-06-22 cs.CL cs.IR
High-Dimensional Concentration and Retrieval Instability in Embedding Spaces: Implications for Retrieval-Augmented Generation
研究高维嵌入空间中距离和余弦浓度的现象,通过数值实验揭示其对最近邻检索稳定性的影响,并表明这些效应可能削弱检索增强生成中的基础可靠性。
2026-05-19 cs.AI cs.IR
Semantic Certainty Assessment in Vector Retrieval Systems: A Novel Framework for Embedding Quality Evaluation
提出一种轻量级框架,结合量化鲁棒性和邻域密度指标,在查询级别预测向量检索性能,在4个数据集上Recall@10提升9.4±1.2%,计算开销低于检索时间的5%。
2025-07-08 cs.CL cs.IR
Graph-free Retrieval with Graph-Modified Embeddings
Cognee Inc.(Cognee公司)
该研究针对稠密向量检索易漏关联证据、直接图检索需查询时访问图的问题,提出离线图修改嵌入的多阶段策略,在合成专业网络基准上提升关联事实类问题的证据恢复率达25.9%,减少40%返回节点仍匹配基线效果。
2026-10-14 cs.AI cs.IR
Hypergraph Embedding Indexing for Efficient Dense Vector Retrieval
Sodhana(索达纳)
针对现有ANN索引将嵌入视为高维不可分割点的问题,提出超图嵌入索引(HEI)框架,通过多互补超图提升检索覆盖率,引入激活多样性作为诊断指标。
2026-08-25 cs.AI cs.IR
Enhancing Retrieval-Augmented Generation with Topic-Enriched Embeddings: A Hybrid Approach Integrating Traditional NLP Techniques
National University of Tierra del Fuego(泰德菲国立大学)
本文提出一种整合传统NLP技术的混合方法,通过主题增强嵌入提升检索增强生成系统的检索精度和语义聚类效果。
2025-12-31 cs.AI cs.IR
A Multi-Resolution Word Embedding for Document Retrieval from Large Unstructured Knowledge Bases
University of Arkansas(阿肯色大学);Google LLC.(谷歌有限责任公司)
深度语言模型学习分层表示被证明是自然语言处理、文本挖掘和信息检索的强大工具。然而,表现良好的检索表示必须捕捉不同层次的抽象或上下文范围的语义含义。在本文中,我们提出了一种新的方法来产生多分辨率的词嵌入,表示在多个分辨率的上下文范围的文件。为了研究其性能,我们使用斯坦福问答数据集(SQuAD)和问答搜索和阅读(QUASAR)在一个开放域的问答设置,其中的第一个任务是找到有用的文件来回答给定的问题。为此,我们首先比较了各种文本嵌入方法的检索性能的质量,并给出了广泛的经验比较与各种非增强的基础嵌入的性能,并没有多分辨率表示。我们认为,多分辨率词嵌入始终优于原始的对应物,并且专门为检索目的训练的深度残差神经模型在用于增强这些嵌入时可以产生进一步的显着收益。
2019-05-22 cs.CL cs.IR
Scaling Laws for Embedding Dimension in Information Retrieval
Center for Intelligent Information Retrieval(智能信息检索中心);University of Massachusetts Amherst(马萨诸塞大学阿姆赫斯特分校)
本研究分析了嵌入维度与检索性能之间的缩放关系,发现性能随嵌入维度增加而改善,但存在边际效益递减,同时提出基于嵌入维度和模型规模的联合缩放规律。
2026-02-04 cs.IR cs.LG