Curse of Dimensionality in Pivot-based Indexes
我们提供了一个理论验证的灾难的维数在基于索引的数据集的相似性搜索，通过证明，在统计学习的框架中，在高维没有基于索引的索引方案可以基本上优于线性扫描。对一系列数据集进行了渐近性能的研究，这些数据集被建模为在i.i.d.中挑选的样本$X_d$。从度量空间$Ω_d$的方式。我们允许数据集$n=n_d$的大小是这样的，即$d$，“维数”，是超对数的，但在$n$中是次多项式的。允许枢轴数按$o(n/d)$增长。我们选择相似性搜索的限制性最小的成本模型，其中我们将每个距离计算作为单个计算，而忽略其余的计算。我们证明了如果度量集中现象意义下的空间$Ω_d$的内禀维数为$O(d)$，则基于相似性搜索的索引在$n$中的性能是渐近线性的.
2009-06-18 cs.DS
Link and code: Fast indexing with graphs and compact regression codes
Facebook AI Research（脸书人工智能研究院）；Inria（法国国家信息与自动化研究所）
基于图遍历的相似性搜索方法最近取得了突出的速度-精度权衡，把内存要求放在一边。在本文中，我们重新考虑这些方法，此外，在一个服务器上索引数十亿张图像所需的内存约束。这使得我们提出了一种基于图遍历和紧凑表示的方法。我们使用量化编码的索引向量，并利用图结构来细化相似性估计。从本质上讲，我们的方法充分利用了这两个方面：搜索策略基于嵌套图，从而以相对较小的比较集提供高精度。同时，它提供了一个显着的内存压缩。因此，我们的方法在考虑每个向量64-128字节的操作点上优于最先进的方法，正如我们在20亿级公共基准测试中的结果所证明的那样。
2018-04-27 cs.CV cs.DB cs.DS
Scalable Similarity Search for Molecular Descriptors
在化合物数据库中进行相似性搜索是发现和设计新型药物样分子的基本任务。这些数据库通常将分子编码为非负整数向量，称为分子描述符，其代表各种分子性质的丰富信息。虽然存在用于搜索二进制向量数据库的有效索引结构，但更一般的整数向量的解决方案仍处于起步阶段。在本文中，我们提出了一个时间和空间有效的索引的问题，我们称之为简洁的间隔分裂树算法的分子描述符（SITAd）。我们的方法扩展了二进制向量数据库的有效方法，并使用简洁的数据结构的想法。我们在超过4000万种化合物的大型数据库上进行的实验表明，SITAd在实践中显著优于其他方法。
2017-08-10 cs.DS
Spatio-Temporal Top-k Similarity Search for Trajectories in Graphs
我们研究的问题，找到$k$最相似的轨迹到一个给定的查询轨迹。我们的工作受到Grossi等人的启发。[6]将轨迹视为图中的行走。每个访问的顶点都伴随着一个时间间隔。Grossi等人定义了一个相似性函数，它可以捕获时间和空间方面的信息。我们改进了这个相似性函数，得到一个新的时空距离函数，我们可以证明，一个特定类型的三角不等式是满意的。这个距离函数是我们的索引结构的基础，它可以高效地构建，只需要线性内存，并且可以快速回答对前$k$最相似轨迹的查询。我们对真实世界和合成数据集的评估表明，我们的算法在索引时间方面优于基线，同时实现了相似或更好的查询时间和结果质量。
2020-10-19 cs.DS
A resource-frugal probabilistic dictionary and applications in bioinformatics
对于大规模问题，索引海量数据集是非常昂贵的。在许多领域中，目前产生了大量的数据，然而从海量数据集中提取有意义的信息，例如计算元素之间的相似性，远非微不足道。然而，这仍然是一项基本需要。本文提出了一种基于最小完美散列函数的概率数据结构，用于索引大型密钥集。我们的结构的竞争的哈希表的建设，查询时间和内存的使用，在一个静态集的不可分割的情况下。为了说明算法性能的影响，我们提供了两个基于序列集合之间的相似性计算的应用程序，并且这种计算是昂贵的，但需要的操作。特别是，我们展示了一个实际的情况下，其他生物信息学工具未能扩大测试数据集或提供较低的召回质量的结果。
2017-03-24 cs.DS q-bio.QM
Geodabs: Trajectory Indexing Meets Fingerprinting at Scale
寻找轨迹并发现大型数据集中相似的基序是广泛应用的核心问题。解决这个问题的解决方案通常依赖于空间索引和在多项式时间内计算相似性度量。虽然在稀疏轨迹数据集的上下文中是有效的，但是这种方法在密集数据集的上下文中太昂贵，其中许多轨迹可能与给定查询匹配。在本文中，我们将指纹识别，文本数据的背景下使用的复制检测机制，轨迹。为此，我们使用geodabs对轨迹进行指纹识别，这是一种基于geohash的轨迹指纹识别方法。我们证明，通过依赖于空间填充曲线geodabs的属性，可以用来建立分片倒排索引。我们展示了规范化如何影响精确度和召回率，这是信息检索中的两个关键指标。然后，我们证明了指纹的概率性质对结果的质量有边际效应。最后，我们评估我们的方法的性能，并表明，与现有的方法相比，它不受轨迹数据集的密度，它可以有效地分布。
2018-03-12 cs.DB cs.DC cs.DS
Ball*-tree: Efficient spatial indexing for constrained nearest-neighbor search in metric spaces
新兴的基于位置的系统和数据分析框架需要有效管理空间数据，以进行近似和精确搜索。精确的相似性搜索可以使用空间划分数据结构来完成，例如Kd树、R* 树和Ball树。在本文中，我们专注于球树，一个高效的搜索树，是特定的空间查询，使用欧几里德距离。球树的每个节点定义一个球，即一个包含要搜索的点的子集的超球体。在本文中，我们提出了球 * 树，一个改进的球树，更有效的空间查询。Ball*-tree具有一种改进的空间划分算法，该算法考虑了数据点的分布，以找到一个有效的分裂超平面。此外，我们提出了一个新的算法，KNN查询与限制范围使用球 *-树，这比KNN和范围搜索这样的查询。实验结果表明，Ball*-tree算法比原Ball-tree算法快39%~ 57%。
2015-11-02 cs.CG cs.DB cs.DS
Improving Similarity Search with High-dimensional Locality-sensitive Hashing
Salk Institute for Biological Studies（索尔克生物研究所）
提出了一类新的基于果蝇嗅觉回路的数据无关局部敏感哈希算法。这种方法的根本区别在于，不是将哈希分配为低维空间中的密集点，而是将哈希分配在高维空间中，这增强了它们的可分离性。我们从理论上和经验表明，这个新的家庭的哈希函数是局部敏感的，并保留在任何`p空间的输入的秩相似性。然后，我们分析了这种策略的不同变化，并实证表明，它们优于现有的LSH方法的最近邻居搜索六个基准数据集。最后，我们提出了一个多探针版本的算法，实现更高的性能相同的查询时间，或相反，保持性能的先前的方法，同时采取显着更少的索引时间和内存。总的来说，我们的方法利用了高维空间提供的可分性的优势，同时仍然保持计算效率
2018-12-05 cs.AI cs.DS cs.LG
Succinct Trit-array Trie for Scalable Trajectory Similarity Search
RIKEN AIP（理化学研究所先进智能项目中心）；Kyoto University（京都大学）；Nagoya University（名古屋大学）
大量的空间轨迹数据集代表了移动对象的多样性的移动性是无处不在的研究和工业。大量轨迹的相似性搜索对于将这些数据集转化为知识是必不可少的。局部敏感哈希（LSH）是一种快速相似性搜索的强大技术。最近的方法采用LSH，并试图实现一个有效的相似性搜索的轨迹，然而，这些方法是低效的搜索时间和内存应用于海量数据集时。为了解决这个问题，我们提出了一个可扩展的方法，利用LSH的轨迹相似性搜索的索引简洁的三字符数组特里（tSTAT）。tSTAT在称为trie的树数据结构上快速执行搜索。我们还提出了两种新的技术，使显着提高内存效率的tSTAT。一个是节点减少技术，基本上省略了冗余的trie节点，同时保持时间性能。另一种是利用简洁数据结构背后的思想（即，支持快速数据操作的压缩数据结构）。我们通过实验测试tSTAT从大量轨迹集合中检索查询的相似轨迹的能力，并表明tSTAT与最先进的相似性搜索方法相比表现出色。
2020-09-21 cs.DB cs.DS cs.LG
DNA Lossless Differential Compression Algorithm based on Similarity of Genomic Sequence Database
现代生物科学产生了大量的基因组序列数据。这就刺激了对用于序列压缩和分析的有效算法的需求。来自信息论的数据压缩和相关技术通常被认为是数据通信和存储的兴趣所在。近年来，大量的努力已经取得了文本数据压缩技术的应用程序的各种计算生物学任务，从存储和索引的大型数据集的基因组数据库的比较。为了优化数据集中同源序列的压缩，提出了一种基于操作码表产生差分序列的差分压缩算法。因此，存储的数据由参考序列、差异集和差异位置组成，而不是单独存储每个序列。该算法不需要关于序列集的统计量的先验知识。将该算法应用于三个不同的基因组序列数据集，压缩率达到195倍，节省空间99.4%。
2011-09-01 cs.CE cs.DS cs.SE
Indexability, concentration, and VC theory
Universidade Federal de Santa Catarina（圣卡塔琳娜联邦大学）；University of Ottawa（渥太华大学）
长期以来，高维精确相似性搜索的索引方案的性能下降一直与距离分布的直方图和其他1-Lipschitz函数的集中有关。我们讨论了这一观察的框架内的现象的浓度测量的结构的高维和Vapnik-Chervonenkis理论的统计学习。
2011-05-21 cs.DS cs.LG
Billion-scale similarity search with GPUs
Facebook AI Research（Facebook人工智能研究院）
相似性搜索在处理复杂数据（例如图像或视频）的专用数据库系统中找到应用，这些数据通常由高维特征表示并需要特定的索引结构。本文解决了更好地利用GPU完成这项任务的问题。虽然GPU擅长数据并行任务，但先前的方法被暴露较少并行性的算法所验证，例如k-min选择，或者对存储层次结构的利用不佳。我们提出了一种k-选择的设计，其运行速度高达理论峰值性能的55%，实现了比现有GPU最先进技术快8.5倍的最近邻实现。我们将其应用于不同的相似性搜索场景，通过提出基于乘积量化的蛮力，近似和压缩域搜索的优化设计。在所有这些设置中，我们的表现都远远超过了最先进的水平。我们的实现可以在35分钟内在Yfcc 100 M数据集的9500万张图像上构建高精度k-NN图，并在不到12小时的时间内在4个Maxwell Titan X GPU上构建连接10亿个向量的图。为了比较和可重复性，我们开放了我们的方法。
2017-02-28 cs.CV cs.DB cs.DS
Bayesian Locality Sensitive Hashing for Fast Similarity Search
The Ohio State University（俄亥俄州立大学）
给定一组对象和相关的相似性度量，所有对相似性搜索问题要求我们找到所有相似性大于某个用户指定阈值的对象对。基于局部敏感哈希（LSH）的方法已经成为解决这个问题的一种非常流行的方法。然而，大多数这样的方法仅在相似性搜索的第一阶段使用LSH-即用于候选生成的有效索引。在本文中，我们提出了BayesLSH，一个原则性的贝叶斯算法的后续阶段的相似性搜索-执行候选人修剪和相似性估计使用LSH。一个更简单的变种，贝叶斯LSH-Lite，它计算相似性，也提出了。BayesLSH能够快速修剪掉大部分假阳性候选对，从而使基线方法的速度显著提高。对于BayesLSH，我们还在准确率和召回率方面对输出质量提供概率保证。最后，BayesLSH的输出质量可以很容易地调整，并且不需要手动设置用于相似性估计的哈希数，这与标准方法不同。对于两种最先进的候选生成算法，AllPairs和LSH，BayesLSH能够显著加速，通常在2x-20 x范围内用于各种数据集。
2012-03-28 cs.AI cs.DB cs.DS
FLASH: Randomized Algorithms Accelerated over CPU-GPU for Ultra-High Dimensional Similarity Search
我们提出了FLASH（\textbf{F} ast \textbf{L} SH \textbf{A} lsm for \textbf{S} imilarity search accelerated with \textbf{H} PC），一个在单机上的超高维数据集的相似性搜索系统，它不需要相似性计算，是为高性能计算平台量身定制的。通过利用LSH风格的随机化索引过程，并将其与几种原则性技术相结合，如水库采样，最新进展的一次通过minwise散列，基于计数的估计，我们降低了相似性搜索的计算和并行化成本，同时保留了良好的理论保证。我们评估FLASH上的几个真正的，高维的数据集，从不同的领域，包括文本，恶意URL，点击预测，社交网络等，我们的实验揭示了新的光与数据集具有数百万个维度的困难。当前最先进的实现要么在所呈现的规模上失败，要么比闪存慢几个数量级。FLASH能够在不到10秒的时间内从零开始计算整个垃圾邮件数据集（13亿个非零值）的近似k-NN图。使用蛮力（$n^2D$）在不到10秒的时间内在webspam数据集上计算一个完整的k-NN图，将需要至少20 teraflops。我们提供闪存的CPU和GPU实现，以实现结果的可复制性。
2018-07-03 cs.DB cs.DC cs.DS
Exact Trajectory Similarity Search With N-tree: An Efficient Metric Index for kNN and Range Queries
针对轨迹相似性搜索中现有度量索引性能不足的问题，提出新型度量距离函数DistanceAvg与N-tree索引结构，在kNN查询上优于现有最优索引，范围查询性能相当，可返回精确结果。
2024-08-14 cs.DB cs.DS cs.IR
