Random Indexing K-tree
Queensland University of Technology（昆士兰科技大学）
随机索引（RI）K-tree是两种聚类算法的结合。文档聚类中存在着许多大规模的问题。RI K树由于其低复杂度而在大输入下具有良好的扩展性。它还展示了对管理不断变化的集合有用的功能。此外，它解决了以前使用K树时文档向量稀疏的问题。算法和数据结构的定义，解释和动机。对K树进行特定修改以用于RI。已经进行了实验来测量质量。实验结果表明，RI K-tree算法比原始K-tree算法提高了文档聚类质量。
2010-02-02 cs.AI cs.DS cs.IR
Binary Jumbled Indexing: Suffix tree histogram
本文研究二进制乱序索引问题，证明游程数平均为 n/4 导致现有算法平均复杂度为二次方，并提出基于后缀树去重和向量化优化的 SFTree 算法，在保持相同理论复杂度下显著提升实际性能。
2024-12-30 cs.DS
Set Similarity Search for Skewed Data
集合相似性连接以及相应的索引问题集相似性搜索是管理噪声或不确定数据的基本原语。例如，这些原语可以用于数据清理，以识别同一对象的不同表示。在许多情况下，可以将对象表示为稀疏0-1向量，或者等价地表示为这样的向量中的非零项的集合。然后，可以使用集合相似性连接来识别具有异常大的点积（或交集，当被视为集合时）的那些对。我们选择专注于识别具有较大Pearson相关性的向量，但结果扩展到其他相似性度量。特别地，我们考虑在从{0，1}^d采样的向量集合S中识别相关向量的索引问题。给定查询向量y和（0，1）中的参数alpha，我们需要在表示S的向量的数据结构中搜索alpha相关向量x。这种相似性搜索在最坏情况（非随机数据）设置中得到了深入研究。现有的用于集合相似性搜索的理论上有充分根据的方法通常不如利用数据分布中的偏斜（即，在d维空间中1的频率有很大的不同。本文的主要贡献是分析随机数据模型下的集合相似性问题，该模型反映了实践中看到的偏斜数据分布，允许理论结果比最坏情况下的结果更强。我们的索引数据结构是一个递归的，数据相关的向量分区的启发，在集合相似性搜索的最新进展。以前的数据依赖方法似乎不允许我们利用项目频率的偏斜，所以我们相信我们的工作进一步揭示了数据依赖的力量。
2018-04-09 cs.DS
Fully-Online Suffix Tree and Directed Acyclic Word Graph Construction for Multiple Texts
我们认为建设的后缀树和有向无环字图（DAWG）索引数据结构的集合$\mathcal{T}$的文本，其中一个新的符号可以被附加到任何文本在$\mathcal{T} = \{T_1, \ldots, T_K\}$，在任何时候。在动态索引多传感器数据中出现的这种完全在线的场景是长期解决的半在线文本索引问题的自然概括，其中文本$T_1, \ldots, T_{k}$在为每个$1 \leq k < K$处理下一个文本$T_{k+1}$之前被永久固定。我们提出了在$O(N \log σ)$时间和$O(N)$空间中为$\mathcal{T}$构建后缀树和DAWG的全在线算法，其中$N$是$\mathcal{T}$中字符串的总长度，而$σ$是它们的字母大小。后缀树叶子边和一些DAWG边的标准显式表示在我们的完全在线场景中必须放松，因为在最坏的情况下需要对这些边进行太多的更新。相反，我们提供了对更新后的后缀树叶子边缘标签和DAWG边缘的访问，这些边缘将通过辅助数据结构以每个添加的字符的$O(\log σ)$时间重定向。
2018-07-12 cs.DS
Ptolemaic Indexing
本文讨论了一个新的家庭的界限用于相似性搜索，相关的度量索引中使用的，但基于托勒密不等式，而不是度量公理。托勒密不等式适用于著名的欧几里得距离，但在这里也适用于一般的二次型度量，马氏距离是一个重要的特例。经验上的合成和现实世界的数据集的不平等检查，也被发现持有约，具有非常低的误差程度，重要的距离，如角伪度量和几个Lp规范。索引实验表明，与现有的三角形方法相比，过滤能力大大提高。它还表明，结合托勒密和三角滤波可以导致更好的结果比使用任何一种方法本身。
2015-07-02 cs.DS
Ball*-tree: Efficient spatial indexing for constrained nearest-neighbor search in metric spaces
新兴的基于位置的系统和数据分析框架需要有效管理空间数据，以进行近似和精确搜索。精确的相似性搜索可以使用空间划分数据结构来完成，例如Kd树、R* 树和Ball树。在本文中，我们专注于球树，一个高效的搜索树，是特定的空间查询，使用欧几里德距离。球树的每个节点定义一个球，即一个包含要搜索的点的子集的超球体。在本文中，我们提出了球 * 树，一个改进的球树，更有效的空间查询。Ball*-tree具有一种改进的空间划分算法，该算法考虑了数据点的分布，以找到一个有效的分裂超平面。此外，我们提出了一个新的算法，KNN查询与限制范围使用球 *-树，这比KNN和范围搜索这样的查询。实验结果表明，Ball*-tree算法比原Ball-tree算法快39%~ 57%。
2015-11-02 cs.CG cs.DB cs.DS
Indexing Graph Search Trees and Applications
我们考虑紧凑地表示具有$n$顶点和$m$边的给定无向或有向图的深度优先搜索（DFS）树的问题，同时在具有对数字大小的RAM中有效地支持各种与深度优先搜索相关的查询。我们研究了两个著名的模型：{ \it索引}和{ \it编码}模型。虽然使用额外空间的$O(n \lg n)$位\footnote{We use $\lg$ to denote logarithm to the base $2$.}可以在恒定时间内轻松支持大多数查询，但更具体地说，我们这里的目标是克服这个微不足道的$O(n \lg n)$位空间限制，但又不会在这些查询的运行时间上牺牲太多。在{ \it索引}模型中，我们解的空间上界涉及到数量$m$，因此，我们分别得到了稀疏图和稠密图的不同上界。在{ \it encoding}模型中，我们首先给出一个空间下界，其次是一个几乎最优的数据结构，具有极快的查询时间。我们的算法的核心是一个分区的DFS树连接的子树，和一个紧凑的方式来存储这些连接。最后，我们还将这些技术应用于最短路径结构、双连通性结构等的紧索引。
2019-06-19 cs.DS cs.IR cs.SI
Curse of Dimensionality in the Application of Pivot-based Indexes to the Similarity Search Problem
在这项工作中，我们研究的有效性，所谓的灾难的维数索引的数据库相似性搜索。我们进行渐近分析，与测试模型的基础上的一系列度量空间$(Ω_d)$，我们挑选数据集$X_d$在一个i.i.d.时尚.我们将下标$d$称为空间$Ω_d$的维数（例如，对于$\mathbb{R}^d$，维数只是通常的维数），并且我们允许数据集$n=n_d$的大小使得$d$在$n$中是超对数但次多项式。我们研究的渐近性能的基于索引的索引方案的枢轴的数量是$o(n/d)$。我们选择了相对简单的相似性搜索成本模型，其中我们将每个距离计算作为单个计算，而忽略其余部分。我们证明，如果空间$Ω_d$表现出（相当常见的）浓度测量现象的性能相似性搜索使用这样的索引是渐近线性的$n$。也就是说，对于足够大的$d$，使用这样的索引和执行根本没有索引的搜索之间的差异是可以忽略的。因此，我们确认在这种情况下的维数灾难。
2009-05-13 cs.DS
Curse of Dimensionality in Pivot-based Indexes
我们提供了一个理论验证的灾难的维数在基于索引的数据集的相似性搜索，通过证明，在统计学习的框架中，在高维没有基于索引的索引方案可以基本上优于线性扫描。对一系列数据集进行了渐近性能的研究，这些数据集被建模为在i.i.d.中挑选的样本$X_d$。从度量空间$Ω_d$的方式。我们允许数据集$n=n_d$的大小是这样的，即$d$，“维数”，是超对数的，但在$n$中是次多项式的。允许枢轴数按$o(n/d)$增长。我们选择相似性搜索的限制性最小的成本模型，其中我们将每个距离计算作为单个计算，而忽略其余的计算。我们证明了如果度量集中现象意义下的空间$Ω_d$的内禀维数为$O(d)$，则基于相似性搜索的索引在$n$中的性能是渐近线性的.
2009-06-18 cs.DS
Angle Tree: Nearest Neighbor Search in High Dimensions with Low Intrinsic Dimensionality
我们提出了一个扩展的基于树的空间分区索引结构的数据具有低内在维数嵌入在一个高维空间。我们把这个扩展称为角度树。我们的扩展可以适用于经典的kd-树以及最近的rp-树。我们的方法的关键思想是存储数据区域（这是一个低维流形）和分割区域的随机超平面（“分割器”）之间的角度（“二面角”）。我们表明，二面角可以用来获得一个严格的下限之间的距离查询点和任何点的相对侧的分裂。这又可以用于有效地修剪搜索空间。我们引入了一种新的随机化策略，以有效地计算二面角的高精度。在真实数据集和合成数据集上的实验和分析表明，角度树在预处理和空间使用方面是最有效的最近邻查询索引结构，同时实现了高精度和快速搜索时间。
2010-04-16 cs.DS
TreePIR: Efficient Private Retrieval of Merkle Proofs via Tree Colorings with Fast Indexing and Zero Storage Overhead
针对树状数据库的Merkle证明隐私检索问题，提出零存储开销的TreePIR方案，通过新颖的树着色和快速索引算法，在各项指标上显著超越现有基于PBC的方法。
2024-06-04 cs.CR cs.DS math.CO
Secondary Indexing in One Dimension: Beyond B-trees and Bitmap Indexes
设S是一个有限的有序字母表，且x = x_1x_2.. x_n是S上的弦。x的“二级索引”回答以下形式的字母表范围查询：给定S上的范围[a_l，a_r]，返回集合I_{[a_l;a_r]} = {i| x_i \in [a_l; a_r]}。二级索引在关系数据库和科学数据分析中得到大量使用。众所周知，为与每个字符相关联的位置集存储字典的明显解决方案并不总是给出最佳查询时间。在本文中，我们给出了第一个理论上最佳的数据结构的二级索引问题。在I/O模型中，当回答查询时读取的数据量在表示I_{[a_l;a_r]}所需的最小空间的常数因子内，假设内部存储器的大小为（|S| log n）^{delta}个块，对于某个常数delta > 0。在最坏的情况下，数据结构的空间使用是O（n log |S|）比特，并且我们进一步展示了如何根据x的0阶熵来约束数据结构的大小。我们展示了如何支持更新实现各种时空权衡。我们还考虑基本二级索引问题的近似版本，其中查询报告包含不在I_{[a_l;a_r]}中的每个元素的I_{[a_l;a_r]}超集，概率最多为epsilon，其中epsilon > 0是误报概率。对于这个问题，需要由查询算法读取的数据量减少到O（|I_{[a_l;a_r]}| log（1/log））位。
2008-11-18 cs.DB cs.DS
Tree Edit Distance with Variables. Measuring the Similarity between Mathematical Formulas
在本文中，我们提出了树编辑距离的变量，这是一个扩展的树编辑距离处理树的变量，并有一个潜在的应用程序来衡量数学公式之间的相似性，特别是，那些出现在生物系统的数学模型。我们分析了这个新模型的几个变体的计算复杂性。特别是，我们证明了这个问题是NP-完全的有序树。我们还表明，无序树的问题，决定是否是0的距离是图同构完成，但可以解决在多项式时间，如果输入树的最大outdegree是由一个常数。然后，该距离模型被扩展用于测量两个微分方程系统之间的差异/相似性，为此提供了使用生物模型的初步计算实验的结果。
2021-05-11 cs.DS
Hierarchical Bitmap Indexing for Range and Membership Queries on Multidimensional Arrays
数据库系统中常用的传统索引技术在多维数组科学数据上的性能很差。位图索引广泛应用于商业数据库中，用于处理复杂的查询，因为它们有效地使用了按位操作和空间效率。然而，位图索引原生地应用于关系数据集或线性化数据集，这在装箱或压缩索引中尤其值得注意。我们提出了一种新的多维数组索引的方法，克服了维数引起的效率低下。分层索引方法是基于$n$ -维稀疏树进行维度划分，使用单个的有限数量的自适应分组索引进行属性划分。这种索引在涉及维度和属性的范围上执行得很好，因为它提前修剪了搜索空间，避免了读取整个索引数据，并且最多执行一次索引遍历。此外，索引很容易扩展到成员查询。该索引方法是在最先进的位图索引库Fastbit之上实现的。我们表明，层次化位图索引优于传统的位图索引建立在辅助属性的每个维度。此外，自适应装仓显著减少了仓的数量，因此减少了存储器需求。
2021-08-31 cs.DB cs.DS
Link and code: Fast indexing with graphs and compact regression codes
Facebook AI Research（脸书人工智能研究院）；Inria（法国国家信息与自动化研究所）
基于图遍历的相似性搜索方法最近取得了突出的速度-精度权衡，把内存要求放在一边。在本文中，我们重新考虑这些方法，此外，在一个服务器上索引数十亿张图像所需的内存约束。这使得我们提出了一种基于图遍历和紧凑表示的方法。我们使用量化编码的索引向量，并利用图结构来细化相似性估计。从本质上讲，我们的方法充分利用了这两个方面：搜索策略基于嵌套图，从而以相对较小的比较集提供高精度。同时，它提供了一个显着的内存压缩。因此，我们的方法在考虑每个向量64-128字节的操作点上优于最先进的方法，正如我们在20亿级公共基准测试中的结果所证明的那样。
2018-04-27 cs.CV cs.DB cs.DS
Scalable Similarity Search for Molecular Descriptors
在化合物数据库中进行相似性搜索是发现和设计新型药物样分子的基本任务。这些数据库通常将分子编码为非负整数向量，称为分子描述符，其代表各种分子性质的丰富信息。虽然存在用于搜索二进制向量数据库的有效索引结构，但更一般的整数向量的解决方案仍处于起步阶段。在本文中，我们提出了一个时间和空间有效的索引的问题，我们称之为简洁的间隔分裂树算法的分子描述符（SITAd）。我们的方法扩展了二进制向量数据库的有效方法，并使用简洁的数据结构的想法。我们在超过4000万种化合物的大型数据库上进行的实验表明，SITAd在实践中显著优于其他方法。
2017-08-10 cs.DS
Linear-time Computation of DAWGs, Symmetric Indexing Structures, and MAWs for Integer Alphabets
本文提出在整数字母表上利用后缀树以线性时间构造 DAWG 的算法，并据此首次实现词缀树、对称 CDAWG 等结构的线性时间构建，同时给出 MAW 的最优输入输出敏感计算。
2023-07-04 cs.DS cs.FL
Spatio-Temporal Top-k Similarity Search for Trajectories in Graphs
我们研究的问题，找到$k$最相似的轨迹到一个给定的查询轨迹。我们的工作受到Grossi等人的启发。[6]将轨迹视为图中的行走。每个访问的顶点都伴随着一个时间间隔。Grossi等人定义了一个相似性函数，它可以捕获时间和空间方面的信息。我们改进了这个相似性函数，得到一个新的时空距离函数，我们可以证明，一个特定类型的三角不等式是满意的。这个距离函数是我们的索引结构的基础，它可以高效地构建，只需要线性内存，并且可以快速回答对前$k$最相似轨迹的查询。我们对真实世界和合成数据集的评估表明，我们的算法在索引时间方面优于基线，同时实现了相似或更好的查询时间和结果质量。
2020-10-19 cs.DS
Indexing the Sphere with the Hierarchical Triangular Mesh
我们描述了一种方法来细分的球面成类似的球面三角形，但不相同，形状和大小。层次三角网格（HTM）是一种四叉树，特别适合支持不同分辨率的搜索，从弧秒到半球。细分方案是通用的，为寻址和快速查找提供了基础。HTM为关系数据库中的高效地理空间索引方案提供了基础，其中数据在天球或地球上具有固有位置。HTM指数优于在极点处使用奇点坐标的制图方法。我们还描述了一种方法来指定表面区域，有效地表示球形查询区域。本文提出了用于识别覆盖这些区域的HTM三角形的算法。
2007-01-26 cs.DB cs.DS
Efficient Autotuning of Hyperparameters in Approximate Nearest Neighbor Search
Kvasir Ltd.（Kvasir有限公司）；University of Helsinki（赫尔辛基大学）；Helsinki Institute for Information Technology (HIIT)（赫尔辛基信息技术研究所（HIIT））
近似最近邻算法被广泛用于加速最近邻搜索。然而，目前的索引方法具有几个超参数，需要调整以达到可接受的精度-速度权衡。在参数空间中的网格搜索往往是不切实际的缓慢，由于一个耗时的索引建设过程。因此，我们提出了一个算法，自动调整超参数的索引方法的基础上随机空间划分树。特别是，我们目前的结果使用随机k-d树，随机投影树和随机PCA树。调优算法给索引构建过程增加了最小的开销，但能够准确地找到最佳超参数。我们证明，该算法是显着快于现有的方法，并且所使用的索引方法是有竞争力的最先进的方法在查询时间，同时更快地建立。
2018-12-18 cs.DS cs.LG stat.ML
Hilbert Forest in the SISAP 2025 Indexing Challenge
本文提出基于 fast Hilbert sort 与多棵 Hilbert 树的 Hilbert forest，并在 SISAP 2025 两项索引任务中验证其在严格资源限制下的检索与构图效率。
2025-08-29 cs.DB cs.DS
The PGM-index: a multicriteria, compressed and learned approach to data indexing
University of Pisa（比萨大学）
最近引入的学习索引已经动摇了几十年的数据结构索引领域的基础。将B树节点等经典设计元素与机器学习模型相结合，甚至将其替换，已被证明可以显著改善数据系统的空间占用和时间效率。然而，这些新的方法是基于几何学，因此他们缺乏任何保证，在他们的时间和空间的要求。我们提出了分段几何模型索引（简称PGM-index），它在查询操作中实现了保证的I/O最优性，学习了最优数量的线性模型，其独特的递归结构使其成为一个纯学习的数据结构，而不是传统索引和学习索引（如RMI和FITing-tree）的混合体。我们发现，PGM索引提高了空间的FITING树的63.3%和B-树超过四个数量级，同时实现相同的甚至更好的查询时间效率。我们补充这一结果，提出了三个变种的PGM指数。首先，我们设计了一个压缩的PGM索引，通过利用其组成的学习线性模型的重复性，进一步减少其空间占用。其次，我们设计了一个PGM索引，使其适应查询的分布，从而产生了迄今为止第一个已知的分布感知学习索引。最后，鉴于其灵活性，在所提供的时空权衡，我们提出了多准则PGM索引，有效地自动调整自己在几秒钟内超过数亿键的可能不断变化的时空限制所施加的应用程序的使用。我们向读者指出，本文是我们以前的论文“通过编排学习和几何来取代传统索引”（arXiv：1903.00507）的扩展和改进版本。
2019-10-14 cs.DB cs.DS cs.IR
Measuring similarity between two mixture trees using mixture distance metric and algorithms
祖先混合模型是由Chen和Lindsay（2006）提出的一种从高维二元序列中构造层次树的重要模型。由祖先混合模型建立的混合树涉及到各种生物物种之间的进化关系。此外，它还包含了物种突变的时间信息。树的比较度量是衡量树之间相似性的度量，是生物信息学中的一个重要问题。然而，据我们所知，两个混合树之间的比较方法仍在发展中。在本文中，我们提出了一个新的度量，命名为混合距离度量，以衡量两个混合树的相似性。它唯一地考虑了树之间的进化时间的因素。此外，我们还进一步发展了两个算法来计算两棵混合树之间的混合距离。一个需要O（n^2），另一个需要O（nh）的计算时间和O（n）的预处理时间，其中n表示两棵混合树中的叶子数，h表示这两棵树的最小高度。
2019-11-27 cs.DS stat.CO
A resource-frugal probabilistic dictionary and applications in bioinformatics
对于大规模问题，索引海量数据集是非常昂贵的。在许多领域中，目前产生了大量的数据，然而从海量数据集中提取有意义的信息，例如计算元素之间的相似性，远非微不足道。然而，这仍然是一项基本需要。本文提出了一种基于最小完美散列函数的概率数据结构，用于索引大型密钥集。我们的结构的竞争的哈希表的建设，查询时间和内存的使用，在一个静态集的不可分割的情况下。为了说明算法性能的影响，我们提供了两个基于序列集合之间的相似性计算的应用程序，并且这种计算是昂贵的，但需要的操作。特别是，我们展示了一个实际的情况下，其他生物信息学工具未能扩大测试数据集或提供较低的召回质量的结果。
2017-03-24 cs.DS q-bio.QM
Geodabs: Trajectory Indexing Meets Fingerprinting at Scale
寻找轨迹并发现大型数据集中相似的基序是广泛应用的核心问题。解决这个问题的解决方案通常依赖于空间索引和在多项式时间内计算相似性度量。虽然在稀疏轨迹数据集的上下文中是有效的，但是这种方法在密集数据集的上下文中太昂贵，其中许多轨迹可能与给定查询匹配。在本文中，我们将指纹识别，文本数据的背景下使用的复制检测机制，轨迹。为此，我们使用geodabs对轨迹进行指纹识别，这是一种基于geohash的轨迹指纹识别方法。我们证明，通过依赖于空间填充曲线geodabs的属性，可以用来建立分片倒排索引。我们展示了规范化如何影响精确度和召回率，这是信息检索中的两个关键指标。然后，我们证明了指纹的概率性质对结果的质量有边际效应。最后，我们评估我们的方法的性能，并表明，与现有的方法相比，它不受轨迹数据集的密度，它可以有效地分布。
2018-03-12 cs.DB cs.DC cs.DS
Lightweight-Yet-Efficient: Revitalizing Ball-Tree for Point-to-Hyperplane Nearest Neighbor Search
寻找超平面的最近邻（或点到超平面最近邻搜索，简称P2 HNNS）是一个新的和具有挑战性的问题，在许多研究领域都有应用。虽然现有的最先进的散列方案（例如，NH和FH）能够实现次线性时间复杂度，而无需假设数据在单位超球面中，它们需要非对称变换，这将数据维度从$d$增加到$Ω(d^2)$。这会导致索引的开销相当大，并导致严重的失真错误。在本文中，我们研究了基于树的方法来解决P2 HNNS使用经典的球树索引。与基于散列的方法相比，基于树的方法通常需要大致线性的构造成本，并且它们提供了具有出色灵活性的不同类型的近似。首先在Ball-Tree上提出了一个简单的分支定界算法，并给出了一个新的下界。然后，描述了一种新的树结构BC-Tree，它保持了Ball-Tree叶节点的球和锥结构，并给出了两种有效的策略，即：点级修剪和协作内积计算。BC-Tree继承了Ball-Tree的低建造成本和轻量级特性，同时提供类似或更高效的搜索。在16个真实数据集上的实验结果表明，Ball-Tree和BC-Tree比NH和FH快1.1 $\sim$ 10 $\times$左右，索引大小和索引时间平均减少约1 $\sim$ 3个数量级.代码可在\url{https://github.com/HuangQiang/BC-Tree}上获得。
2023-02-21 cs.CG cs.DB cs.DS
Geometric Near-neighbor Access Tree (GNAT) revisited
几何近邻访问树（GNAT）是一种基于空间层次超平面划分的度量空间索引方法。虽然GNAT在邻近搜索方面非常有效，但它有一个内存占用的坏名声。我们表明，这是部分基于过于粗糙的分析，并可以降低内存要求，同时提高搜索效率。我们还展示了如何以平滑的方式使GNAT内存自适应，并且超平面分区可以用球分区代替，这可以进一步提高搜索性能。我们的结论与实验结果表明，新的方法可以提供显着的性能提升。
2016-05-20 cs.CG cs.DS cs.IR
