首页/论文/1001.0833

arXiv 1001.08332010-01cs.IRcs.AIcs.DS

随机索引K树

Random Indexing K-tree

Queensland University of Technology（昆士兰科技大学）

Christopher M. De Vries, Lance De Vine, Shlomo Geva

备注：: 8 pages, ADCS 2009; Hyperref and cleveref LaTeX packages conflicted. Removed cleveref

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

摘要英文摘要相关论文

摘要：

随机索引（RI）K-tree是两种聚类算法的结合。文档聚类中存在着许多大规模的问题。RI K树由于其低复杂度而在大输入下具有良好的扩展性。它还展示了对管理不断变化的集合有用的功能。此外，它解决了以前使用K树时文档向量稀疏的问题。算法和数据结构的定义，解释和动机。对K树进行特定修改以用于RI。已经进行了实验来测量质量。实验结果表明，RI K-tree算法比原始K-tree算法提高了文档聚类质量。

英文摘要：

Random Indexing (RI) K-tree is the combination of two algorithms for clustering. Many large scale problems exist in document clustering. RI K-tree scales well with large inputs due to its low complexity. It also exhibits features that are useful for managing a changing collection. Furthermore, it solves previous issues with sparse document vectors when using K-tree. The algorithms and data structures are defined, explained and motivated. Specific modifications to K-tree are made for use with RI. Experiments have been executed to measure quality. The results indicate that RI K-tree improves document cluster quality over the original K-tree algorithm.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

阅读原文

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

本文内容

摘要英文摘要相关论文

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

继续探索

相关论文

索引图搜索树及其应用

Indexing Graph Search Trees and Applications

我们考虑紧凑地表示具有$n$顶点和$m$边的给定无向或有向图的深度优先搜索（DFS）树的问题，同时在具有对数字大小的RAM中有效地支持各种与深度优先搜索相关的查询。我们研究了两个著名的模型：{ \it索引}和{ \it编码}模型。虽然使用额外空间的$O(n \lg n)$位\footnote{We use $\lg$ to denote logarithm to the base $2$.}可以在恒定时间内轻松支持大多数查询，但更具体地说，我们这里的目标是克服这个微不足道的$O(n \lg n)$位空间限制，但又不会在这些查询的运行时间上牺牲太多。在{ \it索引}模型中，我们解的空间上界涉及到数量$m$，因此，我们分别得到了稀疏图和稠密图的不同上界。在{ \it encoding}模型中，我们首先给出一个空间下界，其次是一个几乎最优的数据结构，具有极快的查询时间。我们的算法的核心是一个分区的DFS树连接的子树，和一个紧凑的方式来存储这些连接。最后，我们还将这些技术应用于最短路径结构、双连通性结构等的紧索引。

2019-06-19cs.DScs.IRcs.SI

使用透视树的高效文档索引

Efficient Document Indexing Using Pivot Tree

UPMC（巴黎第六大学）

我们提出了一种新的方法，有效地搜索前k个邻居表示在高维空间的条件的基础上余弦相似性的文件。大多数情况下，文档是以词袋tf-idf表示的形式存储的。向量表示之间的余弦相似度是计算文档间相似度最常用的方法之一，但余弦相似度不遵循三角不等式，不是度量距离的度量，因此大多数度量搜索方法不能直接应用。我们提出了一个有效的方法，索引文件使用枢轴树，导致有效的检索。我们还研究了该方法的精度和效率之间的关系，并将其与基于内积的文档搜索领域的最新技术进行了比较。

2016-05-21cs.IRcs.LG

MISS：面向检索推荐的多模态树索引与搜索及终身序列行为

MISS: Multi-Modal Tree Indexing and Searching with Lifelong Sequential Behavior for Retrieval Recommendation

Kuaishou Inc.（快手公司）

针对检索推荐中难以利用终身序列行为和多模态信息的问题，提出MISS模型，通过多模态索引树和多视角搜索单元融合两类信息，提升树基检索模型性能。

2025-08-20cs.AIcs.IR

IoT数据中的高效$k$-NN搜索：基于树索引结构的重叠优化

Efficient $k$-NN Search in IoT Data: Overlap Optimization in Tree-Based Indexing Structures

Ziane Achour University（齐亚努·阿舒尔大学）；mai 1945 University（1945年5月8日大学）；Labstic Laboratory（拉布斯蒂克实验室）

针对IoT数据索引构建中分区重叠导致的搜索效率低下问题，提出VBM、DBM和OBM三种启发式方法量化并减少重叠，有效降低搜索时间并提升系统性能。

2024-08-28cs.AIcs.DBcs.IR

Curator：面向多租户向量数据库的高效索引

Curator: Efficient Indexing for Multi-Tenant Vector Databases

Duke University（杜克大学）；Yale University（耶鲁大学）；Emerald Innovations

本文提出 Curator，一种面向多租户向量数据库的内存索引，通过将租户特定聚类树编码为共享聚类树的子树，同时实现低内存开销和高查询、插入、删除性能。

2024-01-13cs.DBcs.DCcs.IR

基于NOHIS树的图像检索系统

Content Based Image Retrieval System Using NOHIS-tree

King Abdulaziz University（阿卜杜勒阿齐兹国王大学）

基于内容的图像检索（CBIR）是计算机视觉的重要研究方向之一。它是一种广泛使用的在大型数据库中搜索图像的方法。在本文中，我们提出了一个CBIR系统称为NOHIS搜索。该系统基于NOHIS树索引技术。描述了系统的两个阶段，并用图像数据库ImagEval说明了系统的性能。将NOHIS-Search系统与其他两种基于内容的检索系统进行了比较，第一种系统采用PDDP索引算法，第二种系统采用顺序检索算法。结果表明，NOHIS-Search系统的性能优于其他两个系统。

2013-02-28cs.CVcs.DBcs.IR

更多相关论文收起更多论文

PGM索引：一种多标准、压缩和学习的数据索引方法

The PGM-index: a multicriteria, compressed and learned approach to data indexing

University of Pisa（比萨大学）

最近引入的学习索引已经动摇了几十年的数据结构索引领域的基础。将B树节点等经典设计元素与机器学习模型相结合，甚至将其替换，已被证明可以显著改善数据系统的空间占用和时间效率。然而，这些新的方法是基于几何学，因此他们缺乏任何保证，在他们的时间和空间的要求。我们提出了分段几何模型索引（简称PGM-index），它在查询操作中实现了保证的I/O最优性，学习了最优数量的线性模型，其独特的递归结构使其成为一个纯学习的数据结构，而不是传统索引和学习索引（如RMI和FITing-tree）的混合体。我们发现，PGM索引提高了空间的FITING树的63.3%和B-树超过四个数量级，同时实现相同的甚至更好的查询时间效率。我们补充这一结果，提出了三个变种的PGM指数。首先，我们设计了一个压缩的PGM索引，通过利用其组成的学习线性模型的重复性，进一步减少其空间占用。其次，我们设计了一个PGM索引，使其适应查询的分布，从而产生了迄今为止第一个已知的分布感知学习索引。最后，鉴于其灵活性，在所提供的时空权衡，我们提出了多准则PGM索引，有效地自动调整自己在几秒钟内超过数亿键的可能不断变化的时空限制所施加的应用程序的使用。我们向读者指出，本文是我们以前的论文“通过编排学习和几何来取代传统索引”（arXiv：1903.00507）的扩展和改进版本。

2019-10-14cs.DBcs.DScs.IR

随机指标张量的增量降维

Incremental dimension reduction of tensors with random index

Luleå University of Technology（吕勒奥理工大学）；Gavagai AB（Gavagai公司）

我们提出了一个增量的，可扩展的和有效的降维技术的张量是基于稀疏随机线性编码。数据存储在具有固定大小的紧凑表示中，这使得内存需求低且可预测。在线执行分量编码和解码，而无需对数据集进行计算上昂贵的重新分析。张量指数的范围可以动态扩展，而无需修改组件表示。这个想法起源于语义记忆的数学模型和自然语言处理中被称为随机索引的方法。我们将随机索引算法推广到张量，并对向量和矩阵的表示进行了信噪比模拟。我们还提出了一个数学分析的近似正交的高维三元向量，这是一个属性，支持这种和其他类似的随机编码方法降维。为了进一步证明随机索引的属性，我们提出了一个同义词识别任务的结果。这里提出的方法与随机投影和Tucker分解有一些相似之处，但它只在高维（n> 10^3）上表现良好。随机索引对于一系列复杂的实际问题是有用的，例如，自然语言处理、数据挖掘、模式识别、事件检测、图形搜索和搜索引擎。提供了原型软件。它支持在统一框架中对阶数>= 1的张量进行编码和解码，即，向量、矩阵和高阶张量。

2011-03-18cs.CLcs.DScs.IR

高效的高维相似性索引与搜索

Efficient Similarity Indexing and Searching in High Dimensions

由于对高维数据的不断开发和传统搜索方法对维数灾难的脆弱性，高维数据的有效索引和搜索一直是一个活跃的研究领域。本文提出了一种新的方法，快速和有效的搜索和索引的高维特征使用随机分区的特征空间。手写数字和三维形状描述符的实验表明，该算法是非常有效的和高效的索引和搜索数百维的真实数据集。我们还比较其性能的最先进的局部敏感哈希算法。

2015-05-12cs.IR

无需LLM摘要的树导航：长文档问答中分层检索的匹配成本研究

Tree Navigation Without LLM Summaries: A Matched-Cost Study of Hierarchical Retrieval for Long-Document QA

Birla Institute of Technology and Science, Pilani（皮拉尼比尔拉理工学院）

提出NavTree，一种零LLM索引成本的仅叶分层检索器，通过确定性分段树导航，在匹配成本下超越RAPTOR式摘要树，并在长文档多跳问答中显著优于BM25。

2026-10-07cs.CLcs.IR

基于动态连续索引的快速k-近邻搜索

Fast k-Nearest Neighbour Search via Dynamic Continuous Indexing

University of California, Berkeley（加州大学伯克利分校）

现有的方法检索k-最近邻遭受灾难的维度。我们认为，这部分是由于空间划分的固有缺陷，这是大多数现有方法所使用的基本策略。我们设计了一种新的策略，避免了分割的向量空间，并提出了一种新的随机算法，运行在时间上的线性的空间维度和次线性的内在维度和大小的数据集，并采取空间常数的空间维度和线性的大小的数据集。该算法允许细粒度控制的准确性和速度在每个查询的基础上，自动适应数据密度的变化，支持动态更新的数据集，易于实现。我们展示了吸引人的理论属性，并实证表明，该算法优于局部敏感性哈希（LSH）的近似质量，速度和空间效率。

2017-04-06cs.AIcs.DScs.IR

PowerWalk：基于顶点中心分解的可扩展的个性化PageRank

PowerWalk: Scalable Personalized PageRank via Random Walks with Vertex-Centric Decomposition

大多数个性化PageRank（PPR）方法预先计算并存储所有准确的PPR向量，并在查询时直接返回感兴趣的向量。然而，所有精确的PPR向量的存储和计算对于大型图来说可能是禁止的，特别是在将它们缓存在内存中以进行实时在线查询时。在本文中，我们提出了一个分布式框架，离线索引和在线查询之间取得了更好的平衡。离线索引通过在机器集群中并行执行数十亿次“短”随机游走来获得每个顶点的PPR向量的指纹。我们证明了我们的索引方法具有指数收敛性，使用更少的随机游走次数实现与以前方法相同的精度。在查询时，新的PPR向量由相关指纹的线性组合组成，以高效的顶点中心分解方式。有趣的是，由此产生的PPR向量比其离线对应向量准确得多，因为它实际上在其估计中使用了更多的随机游走。更重要的是，我们表明，这样的分解一批查询可以非常有效地处理使用共享分解。我们的实现，PowerWalk，利用先进的分布式图形引擎，它优于国家的最先进的算法的数量级。特别是，它可以在几秒钟内对具有数十亿条边的图上的数万个查询做出响应。

2016-08-22cs.DBcs.IR

面向基于LLM的生成式推荐与检索的纯语义索引

Purely Semantic Indexing for LLM-based Generative Recommendation and Retrieval

本文针对生成式推荐与检索中的语义ID冲突问题，提出纯语义索引方法，通过穷举候选匹配和递归残差搜索实现唯一ID分配，在不引入非语义token的情况下提升整体及冷启动性能。

2025-09-19cs.CLcs.IR

Airphant：面向云的文档索引

Airphant: Cloud-oriented Document Indexing

现代数据仓库可以独立于存储扩展计算节点。这些系统将其数据保存在云存储上，云存储始终可用且具有成本效益。然后，自组织计算节点按需从云存储中获取必要的数据。如果查询工作负载可能随时间变化，则这种快速扩展或缩小数据系统的能力非常有益。我们将这种新的架构应用于搜索引擎，重点是优化其在云环境中的延迟。然而，简单地将现有的搜索引擎（例如，Apache Lucene）在云存储之上显著增加了他们的端到端查询延迟（即，在我们的一项研究中平均超过6秒）。这是因为它们的索引由于它们的分层结构（例如，跳表、B树、学习索引）。为了解决这个问题，我们开发了一个新的统计指数（称为IoU Sketch）。对于查找，IoU Sketch并行发出多个异步网络请求。虽然IoU Sketch可以获取比现有索引更多的字节，但它显著减少了索引查找时间，因为并行请求不会相互阻塞。基于IoU Sketch，我们构建了一个端到端的搜索引擎，称为Airphant;我们描述了Airphant如何构建，优化和管理IoU Sketch;并最终支持基于关键字的查询。在我们对四个真实数据集的实验中，Airphant的平均端到端延迟在13毫秒到300毫秒之间，比Apache Lucence快8.97倍，比Elasticsearch快113.39倍。

2021-12-26cs.DBcs.IR