Learning Passage Impacts for Inverted Indexes
神经信息检索系统通常使用级联流水线,其中第一阶段模型检索文档的候选集合,并且一个或多个后续阶段使用诸如BERT的上下文化语言模型来对该集合重新排序。在本文中,我们提出了DeepImpact,一种新的文档项加权方案,适用于使用标准的倒排索引进行高效检索。与现有方法相比,DeepImpact改进了影响评分建模,并解决了词汇不匹配问题。特别是,DeepImpact利用DocT5Query来丰富文档集合,并使用上下文化的语言模型,直接估计文档中标记的语义重要性,为每个文档中的每个标记生成单值表示。我们的实验表明,DeepImpact在有效性指标w.r.t.上显著优于先前的第一阶段检索方法高达17%。DocT5Query和,当部署在重新排名场景中时,可以达到与最先进方法相同的有效性,效率加速高达5.1倍。
2021-04-24 cs.IR
An efficient algorithm for three-component key index construction
在本文中,接近全文搜索在大文本数组被认为是。搜索查询由几个词组成。搜索结果是包含这些单词的文档列表。在现代搜索系统中,包含彼此接近的搜索查询词的文档比不共享此特征的文档更相关。为了解决这个任务,对于每个索引文档中的每个单词,我们需要在索引中存储一条记录。在这种情况下,查询搜索时间与索引文档中查询词的出现次数成比例。因此,搜索系统通常比包含不太频繁出现的普通单词的查询更慢地评估包含频繁出现的单词的查询。对于文本中的每个单词,我们使用额外的索引来存储与给定单词的距离小于或等于MaxDistance的附近单词的信息,这是一个参数。这个参数可以取5、7甚至更大的值。可以创建三个组件的键索引,以加快查询执行速度。在此之前,我们提出的实验结果表明,当查询包含非常频繁出现的单词,查询执行与三个组件的关键字索引的平均时间是94.7倍,比使用普通倒排索引时所需的。在当前的工作中,我们描述了一个新的三个组件的关键索引建立算法,并证明了算法的正确性。我们提出的实验结果创建这样一个指数,这是依赖于最大距离的值。
2020-06-14 cs.IR
Selection of Optimal Parameters in the Fast K-Word Proximity Search Based on Multi-component Key Indexes
邻近全文搜索通常在当代全文搜索系统中实现。让我们假设搜索查询是一个单词列表。如果查询的单词在文档中彼此接近,则很自然地认为文档是相关的。对于查询由频繁出现的单词组成的情况,邻近因子甚至更重要。邻近全文搜索要求存储用户可以搜索的每个单词在文档中的每次出现的信息。对于文档中每个单词的每次出现,我们使用额外的索引来存储有关附近单词的信息,即文档中出现的单词与给定单词的距离小于或等于MaxDistance参数。我们在以前的作品中表明,这些索引可以用来提高平均查询执行时间高达130倍的查询,包括出现频率高的单词。在本文中,我们考虑如何搜索性能和搜索质量取决于最大距离和其他参数的值。众所周知的GOV 2文本集合用于实验中的结果的再现性。在分析实验结果的基础上,提出了一种新的索引模式。这是发表在第二十二届数据密集型领域数据分析和管理国际会议(DAMDID/RCDL 2020)补充论文集上的贡献的预印本,俄罗斯沃罗涅日,2020年10月13日至16日,第336-350页,由CEUR研讨会论文集出版。最终认证版本可在线获取:http://ceur-ws.org/Vol-2790/
2021-01-09 cs.IR
Fast In-Memory XPath Search over Compressed Text and Tree Indexes
XML文档的很大一部分通常由文本数据组成。XML查询语言允许通过equal、contains和starts-with谓词进行文本搜索。使用文档文本节点的压缩自索引可以有效地实现这样的谓词。但是,大多数查询都包含查询文档文本的某些部分,加上查询树结构的某些部分。因此,为给定的查询选择适当的计算顺序是一个挑战,它最佳地利用了文本和树索引的执行速度。这里介绍的SXSI系统,它存储的树结构的XML文档使用一个位数组的开括号和闭括号,并存储的文本节点使用一个全球性的压缩自索引。在这些索引之上是一个基于树自动机的查询引擎。引擎使用文本索引的快速计数查询,以便动态地确定相对于树结构是自顶向下还是自底向上进行评估。由此产生的系统与现有系统相比具有几个优点:(1)纯树查询(没有文本搜索),如XPathMark查询,SXSI系统的性能与最快的已知系统MonetDB和Qizx相当或更好,(2)在使用文本搜索的查询上,SXSI比现有系统高出1- 3个数量级(取决于结果集的大小),(3)在内存消耗方面,SXSI优于所有其他仅计数查询的系统。
2011-10-05 cs.DB cs.IR
The Potential of Learned Index Structures for Index Compression
倒排索引对于提供快速的基于关键字的搜索至关重要。对于文档集合中的每个术语,存储术语出现的文档的标识符列表,以及诸如术语频率和位置偏移的辅助信息。虽然倒排索引非常有效,但对于Web大小的集合,倒排索引需要大量的内存。最近,引入了学习索引结构的概念,其中机器学习模型取代了常见的索引结构,如B树索引,哈希索引和布隆过滤器。这些学习的索引结构需要更少的内存,并且在计算上比传统的索引结构快得多。在本文中,我们考虑这种模型是否可以适用于合取布尔查询。首先,我们研究了一个学习模型如何取代倒排索引的文档发布,然后评估这种方法可能会带来的影响。其次,我们评估潜在的收益,可以实现的内存要求。我们的工作表明,学习模型在倒排索引中具有很大的潜力,这一方向似乎是未来研究的一个有前途的领域。
2019-01-29 cs.IR
EnSI-RAG: Entity-Structure-Indexed Retrieval-Augmented Generation for Long-Document Question Answering
该研究针对长文档问答的RAG方法缺陷,提出EnSI-RAG框架,构建以实体为中心的索引,在Loong和Oolong数据集上平均准确率达78.24,较基准提升6.62个百分点,验证了其有效性。
2026-08-24 cs.AI cs.CL cs.DB
Bottleneck-Minimal Indexing for Generative Document Retrieval
Waseda Research Institute for Science and Engineering, Waseda University(早稻田大学科学与工程研究所);The University of Tokyo(东京大学);Waseda University(早稻田大学)
本研究从信息论视角分析生成式文档检索的索引瓶颈问题,基于香农率失真理论提出瓶颈最小化索引方法,在NQ320K与MARCO数据集上表现优于现有索引方法。
2024-05-21 cs.AI cs.CL cs.IR
Faster Learned Sparse Retrieval with Block-Max Pruning
本文提出块最大剪枝(BMP)策略,通过将文档空间划分为连续块并动态聚合排序,结合安全提前终止准则,显著提升了学习型稀疏检索在安全与近似场景下的效率与精度权衡。
2024-05-02 cs.IR
Study of keyword extraction techniques for Electric Double Layer Capacitor domain using text similarity indexes: An experimental analysis
关键词在选择各种主题相关的文档时非常容易。由人类或专家分配的主题或关键字提供准确的信息。然而,这种做法在资源和时间管理方面是相当昂贵的。因此,使用自动关键字提取技术更令人满意。然而,在开始自动化过程之前,有必要检查和确认专家提供的关键字和算法生成的关键字有多相似。本文提出了一种实验分析的关键词相似性得分的不同监督和无监督的自动关键词提取算法与专家提供的关键词从双电层电容器(EDLC)域。本文还分析了哪些文本提供了更好的关键词,如肯定句或文档的所有句子。在无监督算法中,YAKE,TopicRank,MultipartiteRank和KPMiner用于关键字提取。从监督算法,KEA和WINGNUS的关键字提取。为了评估所提取的关键词与专家提供的关键词的相似性,本研究采用了Jaccard,余弦和余弦与词向量相似性指数。实验结果表明,MultipartiteRank关键词提取技术与余弦词向量相似度指标的测量产生最好的结果与92%的相似度与专家提供的关键词。本研究可以帮助自然语言处理领域的研究人员选择更合适的关键词提取和相似度计算技术。
2021-11-13 cs.IR
Automatic annotation of multilingual text collections with a conceptual thesaurus
从概念叙词表中自动标注具有受控词汇术语(描述符)的文档不仅对文档索引和检索有用。此外,将文本映射到相同的术语词库还可以在类似的文件之间建立联系。这也是语义Web的一个重要要求。本文提出了一个几乎独立于语言的系统,映射到同一个多语言概念词库,EUROVOC的文件写在不同的语言。概念叙词表与自然语言叙词表的不同之处在于,它们由相对较小的受控单词或短语列表组成,这些单词或短语具有相当抽象的含义。为了自动识别哪些词库描述符最好地描述了文档的内容,我们开发了一个统计的关联系统,该系统在以前手动索引的文本上进行训练。除了描述大量的经验优化的参数的全功能应用程序,我们提出的软件的性能,根据专业索引的人的评价。
2006-09-12 cs.CL cs.IR
Quanta: A Self-Contained Python Library for Hybrid Retrieval over Quantised Embeddings, Lexical Indexes, and Knowledge Graphs
Novelcore(诺瓦核心);University of Peloponnese(伯罗奔尼撒大学)
Quanta是一个开源Python库,通过加权倒数排名融合统一量化向量搜索、BM25全文检索和知识图谱遍历,并以图作为候选扩展器而非评分器,实现高效混合检索。
2026-09-17 cs.AI cs.IR
A Static Pruning Study on Sparse Neural Retrievers
本文研究稀疏神经检索器查询成本高的问题,系统评估文档中心、词项中心和不可知三种静态剪枝策略,证明其可在几乎不损失检索效果的情况下获得 2 至 4 倍加速,并保持神经重排序鲁棒性。
2023-04-25 cs.IR
Pairing Clustered Inverted Indexes with kNN Graphs for Fast Approximate Retrieval over Learned Sparse Representations
本文提出 SeismicWave,通过按重要性顺序遍历倒排块并利用 kNN 图扩展候选文档,在保持几乎精确准确率的同时将 Seismic 的近似检索速度提升至 2.2 倍。
2024-08-08 cs.IR
Ranked Document Retrieval in (Almost) No Space
文档排序检索是搜索引擎的一项基本任务。这样的查询是用倒排索引解决的,倒排索引需要额外的45%-80%的压缩文本空间,每个查询需要几十到几百微秒。在本文中,我们展示了如何排名的文档检索查询可以解决在几十毫秒内使用基本上没有额外的空间在内存中压缩表示的文档集合。更确切地说,我们增强了字节码小波树(WTBCs),一种重新排列压缩集合的字节的数据结构,使它们支持排名合取和析取查询,仅使用6%-18%的压缩文本空间。
2012-07-23 cs.DB cs.IR
RISE: A Rust Library for Inverted Index Search Engines
University of Pisa(比萨大学)
提出Rust实现的倒排索引库RISE,利用Rust安全性和性能,通过可扩展trait系统提供高效查询,速度可达现有最优的2倍。
2026-06-05 cs.IR
A Scalable Document-based Architecture for Text Analysis
分析文本数据是一项非常具有挑战性的任务,因为每天都会产生大量的数据。文本分析中的基本问题包括文档数据集缺乏结构,需要各种预处理步骤%(例如,词干或词元提取、词性标记、命名实体识别.),以及性能和扩展问题。现有的文本分析架构部分地解决了这些问题,提供了限制性的数据模式,只解决文本预处理的一个方面,并在处理性能优化时专注于一个单一的任务。%因此,目前没有明确的解决办法。因此,我们在本文中提出了一个新的通用文本分析体系结构,文档结构是灵活的,许多预处理技术集成和文本数据集的索引,有效的访问。我们实现我们的概念架构使用关系和面向文档的数据库。我们的实验证明了我们的方法的可行性和面向文档的逻辑和物理实现的优越性。
2016-12-19 cs.DB cs.IR
Continual Learning for Generative Retrieval over Dynamic Corpora
CAS Key Lab of Network Data Science and Technology, ICT, CAS(中国科学院网络数据科学与技术重点实验室);University of Chinese Academy of Sciences(中国科学院大学);University of Amsterdam(阿姆斯特丹大学)
本文针对动态语料库下生成式检索的持续学习问题,提出CLEVER模型,通过增量乘积量化和记忆增强学习机制实现新文档的低成本索引与无遗忘记忆,实验验证了其有效性和效率。
2025-09-27 cs.IR
As We May Search
University of Passau(帕绍大学);Zuva;Interdisciplinary Transformation University Austria(奥地利跨学科转型大学)
针对个人文档等敏感信息搜索中的隐私问题,提出本地优先信息检索(local-first IR)设计理念,通过将索引、模型和推理置于用户设备上,在消费级硬件上实现与云端相当的性能,并指出真正的权衡在于搜索范围而非质量。
2026-06-28 cs.IR
Entity Retrieval for Answering Entity-Centric Questions
School of Computing Science(计算科学学院);Simon Fraser University(西蒙菲莎大学)
针对以实体为中心的问答,本文提出 Entity Retrieval,利用问题中的显著实体而非问题—文档相似性检索文档,并证明其相比稠密与稀疏检索更准确、更高效。
2024-08-05 cs.CL cs.IR
Training a Knowledge Base: Supervised Structure Learning for Agent-Curated Document Stores
University of Nebraska–Lincoln(内布拉斯加大学林肯分校)
该研究提出监督式结构学习方法训练知识库,以智能体策划文档存储,提升动作效率与准确率,其泛化性与键覆盖相关,欠训练的存储可通过增加训练问题进一步优化。
2026-08-26 cs.AI cs.CL cs.IR
Scalable Methods for Calculating Term Co-Occurrence Frequencies
搜索技术利用诸如词频和文档长度的基本信息来计算相似性权重。它们还可以利用更丰富的统计数据,特别是任何两个术语同时出现的文档数量。在本文中,我们提出了计算此统计量的替代方法,这是一项具有挑战性的任务,因为不同的术语对的数量是巨大的-例如,在典型的1000字新闻文章中约有10万个。相反,我们不采用近似算法,因为我们希望能够找到精确的计数。我们探索了它们的效率,发现基于字典的简单方法确实非常慢,而基于倒排索引和线性扫描组合的方法提供了大规模的加速和更好的渐近行为。我们仔细的实现表明,使用我们新颖的列表对方法,每小时可以处理数十万个文档。
2020-07-17 cs.IR
Legal Nugget Extraction for Granular Retrieval over Long Jurisprudential Texts
Universidade Federal do Cariri (UFCA)(卡拉伊里联邦大学)
研究长法律文本检索难题,提出提取法律要点并嵌入索引进行检索的方法,在四个基准上评估,结果显示该方法对部分法学数据集有显著提升,对其他场景效果有别,证明法律要点在特定法学搜索中有用。
2026-07-27 cs.IR
Coverage Is Not Redundancy: Maintenance Cost and Exposure of Query-Aware Admission Indexes in Vector Databases Under Workload Drift
Independent Researcher Milpitas CA USA;Independent Researcher
该研究针对向量数据库中检索枢纽问题,提出查询感知准入索引机制,发现其维护成本存在观测限制下限,通过召回率感知哨兵探测机制降低开销,在pgvector中实现且摄入开销仅0.33%。
2026-08-18 cs.DB cs.IR
PluriHopRAG: Exhaustive, Recall-Sensitive QA Through Corpus-Specific Document Structure Learning
Turbit Systems GmbH
本文提出PluriHopRAG,通过学习语料库特定文档结构分解查询,改进多跳问答任务的召回敏感性和全面性,在PluriHopWIND和Loong基准上取得显著提升。
2026-04-01 cs.CL cs.IR cs.LG
Retrieval for Extremely Long Queries and Documents with RPRS: a Highly Efficient and Effective Transformer-based Re-Ranker
针对极长查询与文档的 QBD 检索,本文提出基于比例相关性分数的 Transformer 重排序器 RPRS,以 O(N) 复杂度在五个数据集上超过最先进方法,并仅需少量标注数据调优三个参数。
2023-11-02 cs.IR
Unary and Binary Classification Approaches and their Implications for Authorship Verification
检索索引的文件,而不是他们的主题内容,但他们的写作风格打开了大门,在信息检索(IR)的一些应用程序。一个应用是检索某个作者X的文本内容,其中被查询的IR系统预先被提供有X的一组参考文本。作者身份验证(AV),这是数字文本取证领域的一个研究课题,适合于这一目的。AV的任务是确定两个文档(即索引文档和参考文档)是否由同一作者X编写。尽管AV表示一元分类问题,但许多现有方法将其视为二元分类任务。然而,潜在的分类模型的AV方法有一些严重的影响,其先决条件,可评估性和适用性。在我们的综合文献综述中,我们观察到一些关于区分一元和二元AV方法的误解,需要考虑。本文的目的是,因此,澄清这些提出明确的标准和新的属性,旨在改善现有的和未来的AV方法的特性。鉴于这两个,我们调查现有的11个一元和二进制AV方法,以及四个通用的一元分类算法对两个自编语料库的适用性。此外,我们强调了一个重要的问题,关于评价AV方法的基础上固定的决策标准,这在以前的AV研究中没有受到重视。
2018-12-31 cs.CL cs.IR cs.LG
Testing different Log Bases For Vector Model Weighting Technique
本文针对 TFIDF 向量模型,使用 MED、CRAN、NPL、LISA 和 CISI 测试集评估 0.1 至 100.0 的不同 IDF 对数底数,以揭示权重取值对检索系统性能的影响。
2023-07-12 cs.AI cs.IR
Online Distillation for Pseudo-Relevance Feedback
University of Glasgow(格拉斯哥大学);University College London(伦敦大学学院)
本文提出在线蒸馏方法,针对特定查询从神经重排序结果中蒸馏词汇模型,将其作为查询进行第二阶段检索以丰富文档池,效果优于现有伪相关反馈、稠密检索及混合方法。
2023-06-16 cs.CL cs.IR
The PGM-index: a multicriteria, compressed and learned approach to data indexing
University of Pisa(比萨大学)
最近引入的学习索引已经动摇了几十年的数据结构索引领域的基础。将B树节点等经典设计元素与机器学习模型相结合,甚至将其替换,已被证明可以显著改善数据系统的空间占用和时间效率。然而,这些新的方法是基于几何学,因此他们缺乏任何保证,在他们的时间和空间的要求。我们提出了分段几何模型索引(简称PGM-index),它在查询操作中实现了保证的I/O最优性,学习了最优数量的线性模型,其独特的递归结构使其成为一个纯学习的数据结构,而不是传统索引和学习索引(如RMI和FITing-tree)的混合体。我们发现,PGM索引提高了空间的FITING树的63.3%和B-树超过四个数量级,同时实现相同的甚至更好的查询时间效率。我们补充这一结果,提出了三个变种的PGM指数。首先,我们设计了一个压缩的PGM索引,通过利用其组成的学习线性模型的重复性,进一步减少其空间占用。其次,我们设计了一个PGM索引,使其适应查询的分布,从而产生了迄今为止第一个已知的分布感知学习索引。最后,鉴于其灵活性,在所提供的时空权衡,我们提出了多准则PGM索引,有效地自动调整自己在几秒钟内超过数亿键的可能不断变化的时空限制所施加的应用程序的使用。我们向读者指出,本文是我们以前的论文“通过编排学习和几何来取代传统索引”(arXiv:1903.00507)的扩展和改进版本。
2019-10-14 cs.DB cs.DS cs.IR