首页/论文/1801.09079

arXiv 1801.090792018-01cs.IRcs.CL

使用附加索引对包含常用词的短语进行快速全文搜索

Using Additional Indexes for Fast Full-Text Search of Phrases That Contain Frequently Used Words

Ural Federal University（乌拉尔联邦大学）

A. B. Veretennikov

备注：: These results were published in: Veretennikov A.B. Using Additional Indexes for Fast Full-Text Search of Phrases That Contain Frequently Used Words. Control Systems and Information Technologies. 2013. vol. 52, no. 2. pp. 61-66 (in Russian). This is an English translation of the text
发表信息：: Control Systems and Information Technologies. 2013. vol. 52, no. 2. pp. 61-66 (in Russian)

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

摘要英文摘要相关论文

摘要：

考虑了通过附加索引对大文本数组中的短语和词集进行排序。与标准倒排文件相比，它们的使用可以减少查询处理时间。

英文摘要：

Searches for phrases and word sets in large text arrays by means of additional indexes are considered. Their use may reduce the query-processing time by an order of magnitude in comparison with standard inverted files.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

阅读原文

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

本文内容

摘要英文摘要相关论文

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

继续探索

相关论文

一种改进的基于多分量关键索引的快速K词邻近搜索算法

An Improved Algorithm for Fast K-Word Proximity Search Based on Multi-Component Key Indexes

搜索查询由几个词组成。在邻近全文搜索中，我们希望找到包含这些单词的文档。当查询由高频率出现的单词组成时，此任务需要大量时间。如果我们不能通过将高频率出现的单词声明为停止词来避免这个任务，那么我们可以通过引入额外的索引来优化我们的解决方案，以加快执行速度。在以前的工作中，我们讨论了如何减少搜索时间与多组件的关键字索引。我们已经证明，如果查询由高频率出现的单词组成，则可以使用额外的索引将平均查询执行时间提高130倍。在本文中，我们提出了另一种搜索算法，克服了我们以前的算法的一些限制，并提供更多的性能增益。这是一篇发表在Arai K.上的文章的预印本，Kapoor S.，巴蒂亚河(eds)智能系统与应用。智能系统2020。Advances in Intelligent Systems and Computing，第1251卷，Springer，Cham出版。最终认证版本可在线获取：https://doi.org/10.1007/978-3-030-55187-2_37

2020-09-06cs.IR

基于具有多组成键的附加索引的接近全文搜索的相关性排名

Relevance ranking for proximity full-text search based on additional indexes with multi-component keys

被认为是接近全文搜索的问题。如果搜索查询包含高频率出现的单词，那么与普通的倒排索引相比，多分量键索引可以提高搜索速度。结果表明，当查询由高频率出现的单词组成时，我们可以将搜索速度提高130倍。在本文中，我们研究了多组件的关键字索引架构如何影响搜索的质量。我们考虑几个著名的方法的相关性排名，这些方法是不同的作者。使用这些方法，我们执行的普通倒排索引，然后在一个索引增强与多组件的关键字索引的搜索。结果表明，与多组件的关键索引，我们得到的搜索结果是非常接近的，在相关性排名方面，通过普通的倒排索引的方式获得的搜索结果。

2021-08-01cs.IR

用于灵活Top-k检索的紧凑索引

Compact Indexes for Flexible Top-k Retrieval

我们设计了一个基于自索引的检索系统，能够对top-k查询进行排名安全的评估。该框架概括了Culpepper等人（ESA 2010）的GREEDY方法来处理多项查询，包括短语。我们提出了两种技术，显着减少了广泛的流行的信息检索（IR）的相关性措施，如TFxIDF和BM 25的排名时间。首先，我们根据文档权重对文档数组中的元素进行重新排序。其次，我们引入了重复数组，它将Sadakane（JDA 2007）的文档频率结构推广到文档子集。结合文档和重复数组，我们实现了有吸引力的功能空间的权衡。我们提供了一个广泛的评估，我们的系统上TB大小的IR集合。

2014-06-12cs.DScs.IR

一种高效的三分量键索引构造算法

An efficient algorithm for three-component key index construction

在本文中，接近全文搜索在大文本数组被认为是。搜索查询由几个词组成。搜索结果是包含这些单词的文档列表。在现代搜索系统中，包含彼此接近的搜索查询词的文档比不共享此特征的文档更相关。为了解决这个任务，对于每个索引文档中的每个单词，我们需要在索引中存储一条记录。在这种情况下，查询搜索时间与索引文档中查询词的出现次数成比例。因此，搜索系统通常比包含不太频繁出现的普通单词的查询更慢地评估包含频繁出现的单词的查询。对于文本中的每个单词，我们使用额外的索引来存储与给定单词的距离小于或等于MaxDistance的附近单词的信息，这是一个参数。这个参数可以取5、7甚至更大的值。可以创建三个组件的键索引，以加快查询执行速度。在此之前，我们提出的实验结果表明，当查询包含非常频繁出现的单词，查询执行与三个组件的关键字索引的平均时间是94.7倍，比使用普通倒排索引时所需的。在当前的工作中，我们描述了一个新的三个组件的关键索引建立算法，并证明了算法的正确性。我们提出的实验结果创建这样一个指数，这是依赖于最大距离的值。

2020-06-14cs.IR

在响应时间保证下对频繁出现的单词进行近似全文搜索

Proximity full-text searches of frequently occurring words with a response time guarantee

全文搜索引擎是信息检索的重要工具。在邻近全文搜索中，如果文档包含彼此接近的查询词，特别是如果查询词是频繁出现的词，则文档是相关的。对于文本中的每个单词，我们使用额外的索引来存储与给定单词的距离小于或等于MaxDistance的附近单词的信息，这是一个参数。当查询由高频率使用的词的情况下，搜索算法进行了讨论。此外，我们提出了不同的MaxDistance值的实验结果，以评估搜索速度依赖于MaxDistance的值。这些结果表明，当评估包含高频率出现的单词的查询时，使用我们的索引的查询执行的平均时间是使用标准倒排文件的查询执行的平均时间的94.7-45.9倍（取决于MaxDistance的值）。这是一篇发表在Pinelas S.上的文章的预印本，Kim A.，Vlasov V.（eds）数学分析与应用。CONCORD-90 2018年。Springer Proceedings in Mathematics & Statistics，vol 318，由Springer，Cham出版。最终认证版本可在线获取：https://doi.org/10.1007/978-3-030-42176-2_37

2020-09-06cs.IR

通过附加索引保证响应时间的近似全文搜索

Proximity Full-Text Search with a Response Time Guarantee by Means of Additional Indexes

全文搜索引擎是信息检索的重要工具。术语邻近度是衡量相关性得分的一个重要因素。在接近全文搜索中，我们假设相关文档包含彼此接近的查询词，特别是如果查询词是频繁出现的词。讨论了一种高性能全文查询执行的方法。我们构建额外的索引以提高效率。对于出现在文本中的单词，我们在索引中包括有关附近单词的一些信息。我们使用哪些类型的附加索引？我们如何使用它们？这些问题在这项工作中进行了讨论。我们提出的实验结果表明，搜索查询执行的平均时间是使用普通倒排索引时所需的44-45倍。这是一篇贡献的预印本“Veretennikov AB通过附加索引保证响应时间的邻近全文搜索”发表于“Arai K.，Kapoor S.，巴蒂亚河(eds)智能系统与应用。IntelliSys 2018。Advances in Intelligent Systems and Computing，vol 868”，由Springer，Cham出版。最终认证版本可在https://doi.org/10.1007/978-3-030-01054-6_66网站上获得。这项工作得到了俄罗斯联邦政府第211号法案的支持，合同编号为02.A03.21.0006。

2018-11-18cs.IR

更多相关论文收起更多论文

pdfPapers：用于从PDF文档中提取基于频率的多词短语的shell脚本实用程序

pdfPapers: shell-script utilities for frequency-based multi-word phrase extraction from PDF documents

生物医学研究在处理先前发表的论文中的信息方面是密集的。在过去的十年里，这激发了大量的努力，为从PDF文档中进行文本挖掘和信息提取提供工具。*nix（Unix/Linux）操作系统提供了许多处理文本文件的工具，但是，很少有这样的工具可用于处理PDF文件的内容。本文报告了我们为 *nix系统开发shell脚本实用程序的努力，其核心功能专注于查看和搜索结合逻辑和正则表达式的多个PDF文档，并从PDF文档中实现更可靠的文本提取，随后对生成的文本块进行操作。此外，提取最常见的多词短语的程序设计，然后在生命科学的几篇科学论文中演示。我们的实验表明，该程序是令人惊讶的强大的文本提取和实际的评分功能，用于排名的短语在其重要性或相关性方面的缺陷。关键词的相关性是强烈的上下文相关性，词干提取没有提供任何可识别的优势，停止词应该只从短语的开头和结尾删除。此外，开发的实用程序被用来转换的缩略语列表和索引从PDF电子书成一个大的生化术语，可以利用在其他文本挖掘任务的列表。所有shell脚本和数据文件都可以在Github上名为\pp \的公共存储库中找到。在这项工作中学到的关键教训是，半自动化的方法结合了算法的力量与研究经验的能力是最有希望提高研究效率。

2021-01-26cs.IRq-bio.QM

通过多分量关键字的附加索引实现近似全文搜索：追求最佳性能

Proximity Full-Text Search by Means of Additional Indexes with Multi-component Keys: In Pursuit of Optimal Performance

全文搜索引擎是信息检索的重要工具。在邻近全文搜索中，如果文档包含彼此接近的查询词，特别是如果查询词是频繁出现的词，则文档是相关的。对于文本中的每个单词，我们使用额外的索引来存储与给定单词的距离小于或等于MaxDistance参数的附近单词的信息。我们发现，如果查询由高频出现的单词组成，则可以使用具有三个组成键的附加索引将平均查询执行时间提高94.7倍。在本文中，我们提出了一种新的搜索算法，甚至更多的性能增益。我们考虑了几种策略，为特定的查询选择多组件的关键索引，并比较这些策略的最佳策略。我们还提出了搜索实验的结果，这表明，三个组件的关键字索引，使更快的搜索相比，两个组件的关键字索引。这是一个预打印的贡献“Veretennikov A.B.（2019）通过多组件键的附加索引进行近似全文搜索：追求最佳性能。“发表在“马诺洛普洛斯Y.，斯图普尼科夫湾(eds)数据密集型领域的数据分析和管理。DAMDID/RCDL 2018.《计算机与信息科学通信》，第1003卷，由Springer，Cham出版。本书是2018年10月在俄罗斯莫斯科举行的第20届数据密集型领域数据分析和管理国际会议DAMDID/RCDL 2018的参考论文集。9份修订的全文连同3份邀请文件一起提交，经过仔细审查，并从54份提交文件中选出。最终认证版本可在https://doi.org/10.1007/978-3-030-…

2019-07-09cs.IR

基于多分量关键索引的快速K词邻近搜索中最优参数的选取

Selection of Optimal Parameters in the Fast K-Word Proximity Search Based on Multi-component Key Indexes

邻近全文搜索通常在当代全文搜索系统中实现。让我们假设搜索查询是一个单词列表。如果查询的单词在文档中彼此接近，则很自然地认为文档是相关的。对于查询由频繁出现的单词组成的情况，邻近因子甚至更重要。邻近全文搜索要求存储用户可以搜索的每个单词在文档中的每次出现的信息。对于文档中每个单词的每次出现，我们使用额外的索引来存储有关附近单词的信息，即文档中出现的单词与给定单词的距离小于或等于MaxDistance参数。我们在以前的作品中表明，这些索引可以用来提高平均查询执行时间高达130倍的查询，包括出现频率高的单词。在本文中，我们考虑如何搜索性能和搜索质量取决于最大距离和其他参数的值。众所周知的GOV 2文本集合用于实验中的结果的再现性。在分析实验结果的基础上，提出了一种新的索引模式。这是发表在第二十二届数据密集型领域数据分析和管理国际会议（DAMDID/RCDL 2020）补充论文集上的贡献的预印本，俄罗斯沃罗涅日，2020年10月13日至16日，第336-350页，由CEUR研讨会论文集出版。最终认证版本可在线获取：http://ceur-ws.org/Vol-2790/

2021-01-09cs.IR

让网页变更可被发现：面向网络档案的变更文本搜索界面

Making Changes in Webpages Discoverable: A Change-Text Search Interface for Web Archives

针对现有网络档案搜索界面无法便捷查找网页变更的问题，研究提出了一款变更文本搜索引擎，支持变更可视化与相关查询，经美国联邦环境网页验证效果良好。

2023-04-30cs.DLcs.IR

在LLM时代我们还需要地名辞典吗？将检索与空间神经符号索引链接起来

Do We Still Need Gazetteers in the Era of LLMs? Chaining Retrieval with a Spatial Neuro-Symbolic Index

RMIT University（皇家墨尔本理工大学）

本研究评估文本编码器能否作为空间语义索引，通过对比暴力最近邻与层次束搜索两种检索策略，发现无约束密集检索易出错，层次约束改善粗粒度定位但细粒度仍有限。

2026-10-07cs.IR

CodeMatcher：基于重要查询词顺序语义的搜索代码

CodeMatcher: Searching Code Based on Sequential Semantics of Important Query Words

为了加速软件开发，开发人员经常从大规模代码库中搜索和重用现有代码片段，例如，GitHub.多年来，研究者们提出了许多基于信息检索的代码检索模型，但这些模型都未能将查询和代码之间的语义鸿沟联系起来。早期成功的基于深度学习的模型DeepCS通过学习代码方法对和相应的自然语言描述之间的关系解决了这个问题。DeepCS的两个主要优点是能够理解不相关/嘈杂的关键字，并捕获查询和代码中单词之间的顺序关系。在本文中，我们提出了一个基于IR的模型CodeMatcher，继承了DeepCS的优点，同时它可以利用基于IR的模型中的索引技术来大大加快搜索响应时间。CodeMatcher首先收集查询词的元数据以识别不相关/噪声词，然后在Elasticsearch工具索引的代码库上使用重要查询词迭代执行模糊搜索，最后根据候选代码片段中的标记如何顺序匹配查询中的重要词来重新排列返回的候选代码集。我们在一个拥有约41 k存储库的大规模代码库上验证了它的有效性。实验结果表明，CodeMatcher的MRR为0.60，比DeepCS、CodeHow和UNIF分别高出82%、62%和46%。我们提出的模型比DeepCS快1.2k倍以上。此外，CodeMatcher在MRR方面分别比GitHub和Google搜索高出46%和33%。我们还注意到：方法名在连接查询和代码中起着重要的作用，提高方法命名的质量有助于代码搜索。

2022-02-22cs.IRcs.SE