Visual Navigation of Digital Libraries: Retrieval and Classification of Images in the National Library of Norway's Digitised Book Collection
National Library of Norway(挪威国家图书馆)
本文提出一个面向挪威国家图书馆1900年前图书图像的概念验证检索应用,对比ViT、CLIP和SigLIP嵌入,发现SigLIP在检索与分类中略优,并可辅助清理数字化流程中的图像数据。
2024-10-19 cs.CV cs.IR cs.LG
Visual RAG Toolkit: Scaling Multi-Vector Visual Retrieval with Training-Free Pooling and Multi-Stage Search
Independent Researcher(独立研究者)
视觉RAG工具包通过无训练池化和多阶段搜索提升多向量视觉检索效率,减少向量存储并提高检索吞吐量。
2026-02-13 cs.CV cs.IR cs.LG
RAFIC: Retrieval-Augmented Few-shot Image Classification
Stanford University(斯坦福大学)
针对少样本图像分类中样本量有限导致准确率受限的问题,提出由CLIP等构成的检索组件和检索元学习组成的RAFIC方法,通过检索图像扩充样本,在两个数据集上显著提升分类性能。
2023-12-11 cs.CV cs.LG
Siamese Network of Deep Fisher-Vector Descriptors for Image Retrieval
University of Surrey(萨里大学)
本文研究了大规模图像检索问题,其目的是对大量图像与给定查询图像的相似性进行准确的排序。为了实现这一点,我们提出了一种新的暹罗网络。该网络由两个计算链组成,每个计算链由CNN组件和Fisher向量组件组成。CNN组件产生密集的深度卷积描述符,然后通过Fisher向量方法聚合。至关重要的是,我们建议同时学习CNN滤波器权重和Fisher Vector模型参数。这使我们能够解释在学习过程中深度描述符的不断变化的分布。我们表明,所提出的方法给出了显着的改进,在牛津和巴黎的图像检索数据集的最先进的方法。此外,我们还为这两个数据集提供了一个基线性能指标,其中包括100万个干扰项。
2017-02-01 cs.CV
Enhancing the retrieval performance by combing the texture and edge features
PortSaid University(塞得港大学);Mansoura University(曼苏拉大学);Zagazig University(扎加济格大学)
提出了一种基于几何矩和局部二值模式的图像检索算法。在几何矩中,每个矢量与所有其他矢量进行比较,以生成边缘图。在LBP计算中利用相同的概念,其从给定的3x3图案生成九个LBP图案。最后,九个LBP直方图的计算,这是用来作为一个特征向量的图像检索。矩是用于识别不同类型图像的重要特征。通过两个实验验证了算法的有效性。经过调查的结果表明,在他们的评价措施相比,LBP和其他现有的变换域技术的显着改善。
2013-01-10 cs.CV cs.IR
Classification is a Strong Baseline for Deep Metric Learning
Pinterest, Inc.(Pinterest公司)
深度度量学习旨在学习一个函数,将图像像素映射到嵌入特征向量,这些特征向量对图像之间的相似性进行建模。度量学习的两个主要应用是基于内容的图像检索和人脸验证。对于检索任务,大多数当前最先进的(SOTA)方法是基于三元组的非参数训练。然而,对于人脸验证任务,最近的SOTA方法采用了基于分类的参数训练。在本文中,我们将探讨基于分类的方法对图像检索数据集的有效性。我们评估了几个标准的检索数据集,如CAR-196,CUB-200 - 2011,斯坦福在线产品,和In-Shop数据集的图像检索和聚类,并建立我们的基于分类的方法在不同的特征维度和基础特征网络的竞争力。我们进一步深入了解子采样类对可扩展的基于分类的训练的性能影响,以及二进制化的影响,从而为实际应用提供高效的存储和计算。
2019-08-04 cs.CV
Deep Image Retrieval is not Robust to Label Noise
Tinkoff(Tinkoff(俄罗斯丁科夫银行/廷科夫公司,常见译名为廷科夫集团))
大规模数据集对于深度学习在图像检索中的成功至关重要。然而,人工评估错误和半监督注释技术可能会导致标签噪声,即使在流行的数据集。由于以前的工作主要研究图像分类任务中的注释质量,因此仍然不清楚标签噪声如何影响图像检索的深度学习方法。在这项工作中,我们表明,图像检索方法是不太强大的标签噪声比图像分类的。此外,我们首次研究了图像检索任务特定的不同类型的标签噪声,并研究了它们对模型性能的影响。
2022-05-23 cs.CV cs.IR cs.LG
Content Based Image Retrieval Using Exact Legendre Moments and Support Vector Machine
Sri Sai Aditya Institute of Science & Technology(斯里赛阿迪蒂亚科学技术学院);UCE, JNTUK(贾瓦哈拉尔·尼赫鲁技术大学卡基纳达分校工程学院);Bapatla Engineering College(巴帕特拉工程学院)
基于内容的图像检索(CBIR)系统基于形状使用不变的图像矩,即,不变矩(MI)和Zernike矩(ZM)可在文献中获得。MI和ZM在表征图像的形状特征方面有较好的效果。但是,MI的非正交性和ZM的重建性差限制了它们在CBIR中的应用。因此,需要一种高效的基于正交矩的CBIR系统。Legendre矩(LM)是正交的,计算速度更快,并且可以完整地表示图像的形状特征。提出了一种基于精确勒让德矩的灰度图像CBIR系统。与其他基于矩的方法相比,即,在检索效率和检索时间方面,MI和ZM。此外,通过采用支持向量机(SVM)分类器,提高了分类效率。与现有的基于叠加欧拉矢量(SERVE)和修正不变矩(MMI)的CBIR算法相比,该算法获得了更好的检索效果。
2010-05-29 cs.CV
Learning Binary Semantic Embedding for Histology Image Classification and Retrieval
Shandong University(山东大学);Shandong Jianzhu University(山东建筑大学)
随着医学影像技术和机器学习的发展,计算机辅助诊断技术因其能为病理学家提供重要的参考而引起了广泛的研究兴趣。医学图像的指数级增长和传统分类模型的不可解释性阻碍了计算机辅助诊断的应用。为了解决这些问题,我们提出了一种新的学习二进制语义嵌入(LBSE)的方法。基于高效和有效的嵌入,分类和检索进行组织学图像提供可解释的计算机辅助诊断。该方法将双监督、位不相关和平衡约束、非对称策略和离散优化无缝集成到二进制嵌入学习中。在三个基准数据集上进行的实验验证了LBSE在各种场景下的优越性。
2020-10-07 cs.AI cs.CV
MIRAGE: Runtime Scheduling for Multi-Vector Image Retrieval with Hierarchical Decomposition
School of Computer Science, Peking University(北京大学计算机科学学院);School of Electronics Engineering and Computer Science, Peking University(北京大学电子工程与计算机科学学院);School of Information, Renmin University of China(中国人民大学信息学院);School of Integrated Circuit Science and Engineering, Beihang University(北京航空航天大学集成电路科学与工程学院)
提出MIRAGE框架,通过层次化分解和跨层次相似性一致性减少冗余计算,实现多向量图像检索的精度提升和3.5倍计算加速。
2026-06-16 cs.CV cs.DC cs.IR
Multi-Modal Reasoning Graph for Scene-Text Based Fine-Grained Image Classification and Retrieval
Computer Vision Center, UAB(巴塞罗那自治大学计算机视觉中心)
在自然图像中发现的场景文本实例携带明确的语义信息,可以为解决各种计算机视觉问题提供重要线索。在本文中,我们专注于利用视觉和文本线索形式的多模态内容来处理细粒度图像分类和检索的任务。首先,我们通过文本阅读系统从图像中获取文本实例。然后,我们将文本特征与显著图像区域相结合,以利用这两个源所携带的互补信息。具体来说,我们采用了一个图卷积网络进行多模态推理,并通过学习一个共同的语义空间之间的显着对象和文本中发现的图像,以获得关系增强功能。通过获得一组增强的视觉和文本特征,所提出的模型在两个不同的任务中,即在上下文和饮料瓶数据集中的细粒度分类和图像检索中,大大优于以前的最先进技术。
2020-09-21 cs.CV
Evaluation of Deep Convolutional Nets for Document Image Classification and Retrieval
Ryerson University(瑞尔森大学)
本文提出了一种新的最先进的文档图像分类和检索,使用深卷积神经网络(CNN)学习的特征。在对象和景物分析中,深度神经网络能够学习从像素输入到简洁和描述性表示的分层抽象链。目前的工作探讨了这种能力在文档分析领域,并证实,这种表示策略优于各种流行的手工制作的替代品。实验还表明,(i)从CNN中提取的特征对压缩具有鲁棒性,(ii)在非文档图像上训练的CNN可以很好地转移到文档分析任务中,以及(iii)如果有足够的训练数据,则不需要强制执行特定于区域的特征学习。这项工作还提供了IIT-CDIP集合的一个新的标记子集,包含16个类别的40万个文档图像,可用于训练新的CNN进行文档分析。
2015-02-25 cs.CV cs.IR cs.LG
Image Classification and Retrieval from User-Supplied Tags
Univ. of Washington(华盛顿大学);Adobe Research(Adobe研究院)
本文提出了直接学习的图像分类从用户提供的标签,没有过滤。每个标签都是由在线共享图像的用户提供的。大量的这些标签可以在网上免费获得,它们提供了对用户和图像分类重要的图像类别的见解。我们的方法是对传统的手工注释方法的补充,这种方法成本极高。我们分析了Flickr 100 Million Image数据集,对这些标签的统计数据进行了一些有用的观察。我们引入了一个大规模的强大的分类算法,以处理这些标签中的固有噪声,以及一个校准过程,以更好地预测客观的注释。我们表明,免费提供的,用户提供的标签可以获得类似或优越的结果,昂贵的手动注释的大型数据库。
2014-11-25 cs.CV
Retrieval-Enhanced Visual Prompt Learning for Few-shot Classification
College of Information Engineering, Zhejiang University of Technology(浙江工业大学信息工程学院);College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院);School of Computer Science, The University of Adelaide(阿德莱德大学计算机学院)
针对少样本细粒度分类中领域差距大的问题,提出检索增强的视觉提示学习方法 RePrompt,通过缓存并重用下游任务知识来增强提示学习,在多个视觉数据集上取得最先进性能。
2024-11-21 cs.CV
Brain Tumor Image Retrieval via Multitask Learning
Kharkevich Institute for Information Transmission Problems(哈尔克维奇信息传输问题研究所);Moscow Institute of Physics and Technology(莫斯科物理技术学院);Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院);Moscow Gamma-Knife Center(莫斯科伽马刀中心);Burdenko Neurosurgery Institute(布尔坚科神经外科研究所)
基于分类的图像检索系统是通过在相关分类问题上训练卷积神经网络(CNN)并使用所得特征空间中的距离作为相似性度量来构建的。然而,在实际应用中,通常期望具有考虑数据的若干方面(例如,脑肿瘤类型及其定位)。在我们的工作中,我们扩展了基于分类的方法与多任务学习:我们训练一个CNN的大脑MRI扫描与异构标签和实现相应的肿瘤图像检索系统。我们验证了我们的方法对脑肿瘤数据,其中包含有关肿瘤类型,形状和定位的信息。我们表明,我们的方法使我们能够建立比基于单任务分类的方法包含更多有关肿瘤的相关信息的表示。
2018-10-22 cs.CV
Content Based Image Retrieval System using Feature Classification with Modified KNN Algorithm
Periyar University(佩里亚尔大学)
特征是指遥感景物中具有相似特征的地物,在图像形成过程中与感兴趣的景物元素相关联。在图像处理中,将其分为低、中、高三类。低层特征是颜色、纹理,中层特征是形状,高层特征是对象的语义间隙。图像检索系统是用于从大型图像数据库中浏览、搜索和检索图像的计算机系统。基于内容的图像检索(Content Based Image Retrieval)是根据用户的查询请求,利用图像的颜色、形状、纹理等视觉特征,从海量图像数据库中检索出用户需要的图像的技术。MKNN是KNN的一种增强方法。建议的KNN分类称为MKNN。MKNN包括两部分处理,即训练样本的有效性和加权KNN的应用。每个点的有效性是根据它的邻居计算的。在我们的提案中,修改的K最近邻可以被认为是一种加权的KNN,以便通过对查询的邻居进行加权来近似查询标签。
2013-07-17 cs.CV
Learning Product Codebooks using Vector Quantized Autoencoders for Image Retrieval
KTH Royal Institute of Technology(KTH皇家理工学院)
矢量量化变分自编码器(VQ-VAE)[1]通过结合矢量量化和自编码器,提供了一种用于学习离散表示的无监督模型。在本文中,我们研究了使用VQ-VAE表示学习的下游任务,如图像检索。我们首先描述的VQ-VAE的信息理论框架的背景下。我们表明,学习表示上的正则化项由训练前嵌入码本的大小决定,它影响模型的泛化能力。因此,我们引入了一个超参数来平衡矢量量化器的强度和重建误差。通过调整超参数,嵌入的瓶颈量化器被用作正则化器,其迫使编码器的输出共享受约束的编码空间,使得学习的潜在特征保持数据空间的相似性关系。此外,我们提供了一个搜索范围,找到最好的超参数。最后,我们将产品量化到VQ-VAE的瓶颈阶段,并提出了一个端到端的图像检索任务的无监督学习模型。乘积量化器具有生成大尺寸码本的优点。快速检索可以通过使用存储任何对子码字之间的距离的查找表来实现。最先进的检索结果是通过学习的码本实现的。
2019-03-04 cs.CV cs.LG eess.IV
Instance-level Sketch-based Retrieval by Deep Triplet Classification Siamese Network
素描作为一种有效的交际工具,被用来表达事物的抽象和直观的意义。手绘草图的识别在许多实际应用中是非常有用的。虽然基于内容的草图识别已经研究了几十年,基于草图的图像检索(SBIR)任务的实例级最近引起了显着的研究关注。现有的数据集,如QMUL-Chair和QMUL-Shoe,专注于椅子和鞋子的检索任务。然而,在以前的实例级SBIR工作中有几个关键的限制。最先进的作品在很大程度上依赖于预训练过程,边缘图的质量,多重裁剪测试策略,以及增强草图图像。为了有效地解决实例级SBIR,我们提出了一种新的深度三元组分类连体网络(DeepTCNet),该网络采用DenseNet-169作为基本特征提取器,并通过三元组损失和分类损失进行了优化。关键是,我们提出的DeepTCNet可以打破以前作品中存在的局限性。在五个基准草图数据集上的实验验证了该模型的有效性。此外,为了研究基于草图的发型检索任务,本文提出了一个新的实例级照片-草图数据集- Hairstyle Photo-Sketch数据集,它由3600张草图和照片以及2400个草图-照片对组成。
2019-05-25 cs.CV
Automatic Feature Weight Determination using Indexing and Pseudo-Relevance Feedback for Multi-feature Content-Based Image Retrieval
Indian Institute of Technology Jodhpur(焦特布尔印度理工学院)
基于内容的图像检索(CBIR)是多媒体信息检索中最活跃的研究领域之一。给定一个查询图像,任务是在存储库中搜索相关图像。图像的颜色、纹理、形状等低层特征一直被认为是CBIR系统的重要属性。因此,CBIR系统的性能可以通过组合这些特征向量来提高。在本文中,我们提出了一种新的CBIR框架,通过应用到索引使用多类SVM,并找到适当的权重的个人功能自动使用的相关比和平均差。我们已经采取了四个特征描述符来表示颜色,纹理和形状特征。在检索过程中,对查询图像的特征向量进行组合、加权,并与数据库中的图像特征向量进行比较,对结果进行排序。在四个基准数据集上进行了实验,并与现有技术进行了性能比较,以验证我们提出的框架的优越性。
2018-12-11 cs.CV
Adaptive Co-weighting Deep Convolutional Features For Object Retrieval
Xi'an Jiaotong University(西安交通大学);University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校)
将深度卷积特征聚合成全局图像向量在图像检索中引起了持续的关注。在本文中,我们提出了一种有效的无监督聚合方法,该方法使用自适应高斯滤波器和元素值敏感向量来共同加权深度特征。具体地说,高斯滤波器分配大的权重的区域的利益(ROI)的功能,自适应地确定ROI的中心,而元素值敏感的信道矢量抑制突发现象,分配小的权重的特征地图与所有位置的大总和值。基准数据集上的实验结果验证了所提出的两种加权方案都有效地提高了图像矢量的鉴别能力。此外,在相同的实验设置下,我们的方法比其他最近的聚合方法有相当大的优势。
2018-03-20 cs.CV
Vector search with small radiuses
本文提出范围搜索指标RSM,用于评估向量检索的端到端准确性,并证明倒排索引中访问有限簇并紧凑编码向量可接近最优。
2024-03-16 cs.CV cs.DB
Texture image retrieval using a classification and contourlet-based features
Université du Québec en Outaouais(魁北克大学乌塔韦校区)
针对纹理图像CBIR问题,提出基于RCT-Plus变换的图像表示与学习式分类检索框架,结合适配统计建模的相似度量分类排序,显著提升了检索率。
2024-03-10 cs.CV cs.LG
Color and Shape Content Based Image Classification using RBF Network and PSO Technique: A Survey
UIT-RGPV(拉吉夫·甘地技术大学大学工程技术学院)
利用图像分类技术提高图像查询检索的准确率。图像分类是监督学习的公知技术。改进的图像分类方法提高了图像查询检索的工作效率。为了改进分类技术,本文采用径向基函数(RBF)神经网络函数对图像进行特征预测,在图像分类中采用径向基函数(RBF)技术,用像素值表示颜色内容。该方法利用图像颜色的像素值,通过径向基函数将图像表示为矩阵,从而获得了比支持向量机更好的图像表示效果。首先,我们使用RGB颜色模型。在该颜色模型中,我们使用矩阵中的红色,绿色和蓝色的颜色强度值。粒子群优化的支持向量机图像分类实现在图像的内容,提供更好的结果的基础上,所提出的方法是令人鼓舞的彩色图像分类的准确性。
2013-11-27 cs.CV cs.LG cs.NE
Hybrid-Vector Retrieval for Visually Rich Documents: Combining Single-Vector Efficiency and Multi-Vector Accuracy
KAIST(韩国科学技术院);Hanyang University(翰阳大学)
本文提出HEAVEN框架,通过单向量高效检索与多向量精确排序相结合,提升视觉丰富文档检索效率与准确性,同时引入ViMDoc基准测试。
2026-04-20 cs.CV cs.IR
ReinPool: Reinforcement Learning Pooling Multi-Vector Embeddings for Retrieval System
LG Uplus(LG 集团)
ReinPool通过强化学习动态过滤多向量嵌入,实现高效的检索系统,显著提升检索性能。
2026-01-12 cs.CL cs.CV cs.IR
Generative Retrieval as Multi-Vector Dense Retrieval
Shandong University(山东大学);Leiden University(莱顿大学);University of Amsterdam(阿姆斯特丹大学)
本文证明生成式检索可视为多向量稠密检索的特例,二者共享查询-文档相关性计算框架,并通过实验验证了对齐矩阵中的词项匹配共性。
2024-03-31 cs.AI cs.IR
The Effectiveness of Classification on Information Retrieval System (Case Study)
大量的非结构化设计信息难以处理。获取具体信息是一项艰巨的任务,需要花费大量时间。信息检索系统(Information Retrieval System,IR)是解决这类问题的一种方法。IR是一个很好的机制,但并没有给出完美的解决方案。其他技术已被添加到IR开发的结果。其中一项技术是文本分类。文本分类任务是将文档分配到一个或多个类别。它可以手动或通过算法完成。文本分类通过减少结果来增强该过程的输出。本研究证明文本分类对信息检索系统有积极的影响。
2018-04-02 cs.IR
Foundations of Vector Retrieval
本专著系统介绍向量检索的基础概念、高级数据结构与算法,旨在降低该研究领域的入门门槛。
2024-01-17 cs.DS cs.IR
LEMUR: Learned Multi-Vector Retrieval
Department of Computer Science, University of Helsinki, Helsinki, Finland(赫尔辛基大学计算机科学系)
LEMUR通过将多向量相似性搜索转化为监督学习问题,并利用现有单向量搜索索引加速检索,实现了高效的多向量相似性搜索,比现有方法快一个数量级。
2026-05-21 cs.IR cs.LG
MetaEmbed: Scaling Multimodal Retrieval at Test-Time with Flexible Late Interaction
Meta Superintelligence Labs(Meta超级智能实验室);Rice University(莱斯大学)
MetaEmbed通过灵活的后期交互机制,在测试时实现多模态检索的扩展,通过多向量检索训练提升信息组织能力,实现在大规模模型下的高效检索性能。
2026-04-06 cs.CL cs.CV cs.IR
SpatCode: Rotary-based Unified Encoding Framework for Efficient Spatiotemporal Vector Retrieval
Zhejiang University(浙江大学);Nanjing University(南京大学)
SpatCode提出一种基于旋转的统一编码框架,通过整合时间、空间和语义线索,实现高效的时空向量检索,提升检索准确性和效率。
2026-01-14 cs.IR
SLIM: Sparsified Late Interaction for Multi-Vector Retrieval with Inverted Indexes
SLIM通过将多向量映射到稀疏词汇空间并利用倒排索引实现高效检索,在保持与ColBERT相当准确性的同时,显著减小模型规模并提升CPU上的速度。
2023-05-08 cs.IR
CITADEL: Conditional Token Interaction via Dynamic Lexical Routing for Efficient and Effective Multi-Vector Retrieval
University of Waterloo(滑铁卢大学);Meta AI
多向量检索方法结合了稀疏(例如BM 25)和密集(例如DPR)检索器的优点,并在各种检索任务上实现了最先进的性能。然而,与单向量方法相比,这些方法要慢几个数量级,并且需要更多的空间来存储索引。在本文中,我们统一了不同的多向量检索模型从令牌路由的角度来看,并提出条件令牌交互通过动态词汇路由,即CITADEL,高效和有效的多向量检索。CITADEL学习将不同的令牌向量路由到预测的词汇“键”,使得查询令牌向量仅与路由到相同键的文档令牌向量交互。这种设计在保持高精度的同时显著降低了计算成本。值得注意的是,CITADEL在域内(MS MARCO)和域外(BEIR)评估方面都实现了与先前最先进的ColBERT-v2相同或略好的性能,同时速度快了近40倍。代码和数据可在https://github.com/facebookresearch/dpr-scale上获得。
2022-11-18 cs.CL cs.IR
A Picture is Worth a Thousand Words? An Empirical Study of Aggregation Strategies for Visual Financial Document Retrieval
The Hong Kong University of Science and Technology(香港理工大学)
本文实证研究了视觉检索中聚合策略的影响,发现单一向量聚合会丢失关键信息,通过财务文档实验表明聚合会掩盖语义细节,指出全局纹理主导是根本原因。
2026-05-14 cs.AI cs.CV cs.IR
Enhancing Scientific Literature Chatbots with Retrieval-Augmented Generation: A Performance Evaluation of Vector and Graph-Based Systems
本文通过对比向量和图基检索系统,评估了检索增强生成在提升科学文献聊天机器人性能中的效果,展示了混合系统在提高科学知识可及性方面的潜力。
2026-02-19 cs.AI cs.IR
Hierarchical Patch Compression for ColPali: Efficient Multi-Vector Document Retrieval with Dynamic Pruning and Quantization
FPT University Sun Asterisk(FPT大学Sun Asterisk)
本文提出HPC-ColPali框架,通过K-Means量化、注意力引导动态剪枝和可选二进制编码,在保持ColPali检索精度的同时显著降低存储、计算和查询延迟,并减少法律摘要中的幻觉率。
2025-07-02 cs.CV cs.IR
Efficient Constant-Space Multi-Vector Retrieval
University of Glasgow(格拉斯哥大学);Pinecone;University of Pisa(比萨大学)
针对ColBERT等多向量检索方法存储成本高的问题,提出将文档编码为固定数量向量的方法,在降低存储开销并优化分页管理的同时,于MSMARCO和BEIR上保留了大部分检索有效性。
2025-04-02 cs.CL cs.IR
WARP: An Efficient Engine for Multi-Vector Retrieval
WARP 提出动态相似度填补、隐式解压缩和两阶段分数归约三项创新,结合优化 C++ 内核,在保持检索质量的同时将 XTR 端到端延迟降低 41 倍,并比 ColBERTv2/PLAID 快 3 倍。
2025-07-06 cs.IR
Semantic Certainty Assessment in Vector Retrieval Systems: A Novel Framework for Embedding Quality Evaluation
提出一种轻量级框架,结合量化鲁棒性和邻域密度指标,在查询级别预测向量检索性能,在4个数据集上Recall@10提升9.4±1.2%,计算开销低于检索时间的5%。
2025-07-08 cs.CL cs.IR
ESPN: Memory-Efficient Multi-Vector Information Retrieval
Texas A&M University(德州农工大学);Samsung Semiconductor(三星半导体)
针对多向量IR索引内存开销高的问题,本文提出ESPN,将重排序嵌入表卸载至SSD,并配合高命中率软件预取,实现5–16倍内存降低与接近内存级延迟。
2023-12-09 cs.IR cs.LG
LARA: Linguistic-Adaptive Retrieval-Augmentation for Multi-Turn Intent Classification
Forth AI;Singapore University of Technology and Design(新加坡科技设计大学);Shopee
本文提出LARA框架,通过结合微调小型模型与检索增强机制整合于LLM架构,动态利用历史对话提升六种语言的多轮意图分类准确率,无需大规模重训即增强跨语言能力,平均准确率提升3.67%。
2024-10-14 cs.CL cs.IR
Multi-Vector Retrieval as Sparse Alignment
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Google Research(谷歌研究院)
多向量检索模型在许多信息检索任务上优于单向量双编码器。在本文中,我们铸造的多向量检索问题的查询和文档标记之间的稀疏对齐。我们提出了AligneR,一种新的多向量检索模型,学习查询和文档标记(例如“狗”与“小狗”)之间的稀疏成对对齐,以及反映其相对重要性的每标记一元显着性检索。我们表明,控制成对令牌对齐的稀疏性往往会带来显着的性能增益。虽然大多数聚焦于文档的特定部分的仿真问题需要较少数量的对齐,但其他需要对文档有更广泛理解的问题则倾向于更多数量的对齐。另一方面,一元显着性决定了一个token是否需要与其他token对齐以进行检索(例如,“kind”来自“kind of currency is used in new zealand}”)。利用稀疏化的一元显著性,我们能够修剪大量的查询和文档标记向量,提高多向量检索的效率。我们使用熵正则化线性规划来学习稀疏的一元显著性,这比其他方法更能实现稀疏性。在zero-shot设置中,AligneR在nDCG@10中得分为51.1分,在BEIR基准测试中的13项任务中实现了新的仅回收器的最先进水平。此外,采用几个示例(<= 8)的成对比对进一步提高了参数检索任务的性能,最高可达15.7分nDCG@10。AligneR的一元显着性帮助我们仅保留20%的文档标记表示,性能损失最小。我们进一步表明,我们的模型通常产生可解释的对齐,并显着提高其性能时,从…
2022-11-02 cs.CL cs.IR
Sculpting the Vector Space: Towards Efficient Multi-Vector Visual Document Retrieval via Prune-then-Merge Framework
Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Alibaba Cloud Computing(阿里云计算)
本文提出剪枝-然后-融合框架,通过两阶段方法提升多向量视觉文档检索效率,实验表明其在压缩率与特征保真度间取得平衡,显著扩展近无损压缩范围。
2026-04-20 cs.CL cs.CV cs.IR
Efficient Multi-Vector Dense Retrieval Using Bit Vectors
本文提出 EMVB 框架,通过位向量预过滤、SIMD 列向质心交互、PQ 压缩和逐文档词项过滤,实现多向量稠密检索的高效查询处理。
2024-04-03 cs.IR
Tensor Manifold-Based Graph-Vector Fusion for AI-Native Academic Literature Retrieval
Dongbi Scientific Data Lab(董碧科学数据实验室)
本文提出基于张量流形的图-向量融合框架,解决现有方法在矩阵依赖、存储爆炸、语义稀释和AI原生支持不足的问题,通过理论分析和复杂性证明,实现线性时间复杂度的高效动态学术文献检索。
2026-04-02 cs.IR
MUVERA: Multi-Vector Retrieval via Fixed Dimensional Encodings
Google Research;UMD(马里兰大学);Google DeepMind(谷歌DeepMind)
提出MUVERA算法,将多向量相似搜索简化为单向量搜索,利用固定维度编码(FDE)近似多向量相似度,理论保证ϵ-近似,实验表明在BEIR数据集上平均召回率提升10%,延迟降低90%。
2026-06-08 cs.DB cs.DS cs.IR
Rethinking the Role of Token Retrieval in Multi-Vector Retrieval
Google DeepMind(谷歌DeepMind)
本文提出 XTR 多向量检索模型,通过新目标函数优先检索重要文档 token,使评分仅依赖检索到的 token,成本较 ColBERT 降低两到三个数量级,并在 BEIR 上提升 nDCG@10 达 2.8。
2024-04-08 cs.CL cs.IR
No More K-means: Single-Stage Sparse Coding for Efficient Multi-Vector Retrieval
University of California, Berkeley(加州大学伯克利分校);Stanford University(斯坦福大学)
针对多向量检索中K-means聚类导致的索引延迟和语义损失问题,提出单阶段稀疏检索(SSR),利用稀疏自编码器将词元嵌入投影为高维稀疏表示,结合倒排索引实现高效检索,在BEIR基准上索引时间减少15倍、检索延迟减半且性能提升。
2026-09-29 cs.AI cs.IR cs.LG
Applying Vector Space Model (VSM) Techniques in Information Retrieval for Arabic Language
信息检索(IR)允许存储、管理、处理和检索信息、文档、网站等。这是显而易见的,通过大量的努力,建立IR系统使用任何模型,是有效的某些语言。本报告提出了一个实现的核心IR技术,这是向量空间模型(VSM)。我们选择VSM模型为我们的项目,因为它是一个术语加权方案,检索到的文档可以根据其相关度排序。这种技术的另一个重要特征是能够从系统的用户获得相关反馈;用户可以判断检索到的文档是否与他们的需要相关。开发的系统已通过使用服务器端脚本建立一个阿拉伯IR网站进行验证。实验结果表明,该系统能够有效地应用向量空间模型的所有技术,并对阿拉伯语有效。
2018-01-15 cs.IR
Investigating Multi-layer Representations for Dense Passage Retrieval
University of Oxford(牛津大学);Vienna University of Technology(维也纳工业大学)
本文提出多层表示 MLR,利用编码器多层信息表示文档,并通过池化将多向量模型转为单向量以提升效率,实验证明其优于 dual encoder、ME-BERT 和 ColBERT。
2025-09-28 cs.IR
Vector Retrieval with Similarity and Diversity: How Hard Is It?
Rutgers University(罗杰斯大学)
本文提出向量检索相似性与多样性(VRSD)问题,证明其为NP完全问题,并设计无参数启发式算法,在多个数据集上优于MMR和k-DPP等基线。
2026-05-22 cs.CL cs.IR
Coarse-to-Fine Memory Matching for Joint Retrieval and Classification
Harvard University(哈佛大学)
我们提出了一种新的端到端的联合检索和分类的语言模型,统一的双和交叉编码器的优势到一个单一的语言模型通过一个粗到细的记忆匹配搜索过程的学习和推理。在FEVER事实验证数据集的标准盲测试集上进行评估,分类准确率显著高于仅依赖于语言模型参数作为知识库的方法,并且接近一些最近的多模型管道系统,仅使用单个BERT基础模型与存储器层增强。我们进一步展示了如何耦合检索和分类可以利用,以确定低置信度的情况下,我们扩展样本审计,以分析和约束模型的设置。因此,我们的方法产生了一种更新语言模型的行为,通过两个不同的机制:检索到的信息可以显式更新,模型的行为可以通过范例数据库进行修改。
2020-11-29 cs.CL cs.IR cs.LG
A Brief Comparison of Training-Free Multi-Vector Sequence Compression Methods
Johns Hopkins University(约翰斯·霍普金斯大学);Human Language Technology Center of Excellence(人类语言技术卓越中心)
本文比较了无训练多向量序列压缩方法,发现token合并比token剪枝更有效减少索引大小且保持检索效果。
2026-03-23 cs.IR
Ontology Based Pivoted normalization using Vector Based Approach for information Retrieval
所提出的方法是程序性的,即它遵循有限数量的步骤,根据用户的查询提取相关文件。它是基于数据采掘的原理来分析Web数据的。数据采掘首先采用数据集成的方法生成数据仓库。然后,它提取有用的信息,借助算法。表示提取的文档的任务是通过使用基于向量的统计方法来完成的,该方法以术语集合表示每个文档。
2017-03-21 cs.AI cs.IR