Learning Space Partitions for Nearest Neighbor Search
Microsoft（微软）；MIT（麻省理工学院）；Microsoft Research（微软研究院）
$\mathbb{R}^d$的空间划分是一类重要的快速近邻搜索算法的基础。受最近关于一般度量空间的NNS理论工作的启发[Andoni，Naor，Nikolov，Razenshteyn，Waingarten STOC 2018，FOCS 2018]，我们开发了一个新的框架来构建空间分区，将问题减少到平衡图分区，然后进行监督分类。我们分别使用KaHIP图分割器[Sanders，Schulz SEA 2013]和神经网络实例化这种通用方法，以获得称为神经局部敏感散列（Neural Locality-Sensitive Hashing，Neural LSH）的新分割过程。在NNS的几个标准基准测试中，我们的实验表明，通过神经LSH获得的分区始终优于基于量化和基于树的方法以及经典的数据无关LSH发现的分区。
2020-09-29 cs.CG cs.DS cs.LG
From Average Embeddings To Nearest Neighbor Search
在本文中，我们证明了可以使用最近在[Naor'20，arXiv：1905.01280]中引入的平均嵌入来获得近似最近邻搜索的有效算法。具体地，如果对于$X$上的任何分布$μ$，嵌入是$D$ Lipschitz并且距离（的平方）平均不减小（wrt $μ$），则度量$X$平均嵌入到$\ell_2$中，具有失真$D$。特别地，这种嵌入的存在（假设它是有效的）意味着在$X$下的$O(D^3)$近似最近邻搜索。这可以被看作是对经典的（bi-Lipschitz）嵌入方法的加强，用于最近邻搜索，并且是数据依赖散列范例的另一个应用。
2021-05-12 cs.DS
Practical Near Neighbor Search via Group Testing
我们提出了一个新的算法的近似近邻问题，结合经典的思想，从组测试与局部敏感哈希（LSH）。我们将近邻搜索问题简化为一个组测试问题，将近邻指定为“阳性”，将非近邻指定为“阴性”，并将近似成员查询指定为组测试。我们使用距离敏感的布隆过滤器来识别近邻组（FLINNG）实例化这个框架。我们证明了FLINNG具有次线性查询时间，并表明我们的算法具有各种实际的优势。例如，FLINNG可以在数据的单次传递中构造，完全由高效的整数运算组成，并且不需要任何距离计算。我们进行了大规模的实验，高维搜索任务，如基因组搜索，URL相似性搜索，嵌入搜索在大规模的YFCC 100 M数据集。在与HNSW和FAISS等领先算法的比较中，我们发现FLINNG可以提供高达10倍的查询加速，索引时间和内存都大大减少。
2021-06-22 cs.DS
Graph Reordering for Cache-Efficient Near Neighbor Search
图搜索是最近邻搜索中最成功的算法趋势之一。几个最流行和经验上最成功的算法，在其核心，是一个简单的沿着修剪近邻图行走。这些算法始终在嵌入式搜索等应用的工业速度基准中名列前茅。然而，图遍历应用程序经常遭受不良的内存访问模式，近邻搜索也不例外。我们的测量结果表明，流行的搜索索引，如分层导航小世界图（HNSW）可能有缓存未命中性能差。为了解决这个问题，我们应用图重排算法的近邻图。图重新排序是一种内存布局优化，它将内存中经常访问的节点分组在一起。我们提出了详尽的实验应用几种重排序算法的领先的基于图形的近邻方法的基础上HNSW指数。我们发现，重新排序提高了查询时间高达40%，我们证明，重新排序的图所需的时间是可以忽略不计相比，所需的时间来构建索引。
2021-04-07 cs.DS
Nearest Neighbor Search for Hyperbolic Embeddings
嵌入到双曲空间中是一种有效的表示技术，表现出层次结构的数据集。这一发展激发了对算法的需求，这些算法能够有效地从嵌入在负弯曲空间中的数据点中提取知识和见解。我们专注于最近邻搜索的问题，在数据分析中的一个基本问题。我们提出了高效的算法解决方案，建立在欧几里得空间中的最近邻搜索方法的基础上，允许轻松采用和集成现有系统。我们证明了我们的技术的理论保证，我们的实验证明了我们的方法在真实数据集上的有效性。
2020-09-02 cs.DS
Aren't we all nearest neighbors: Spatial trees, high dimensional reductions and batch nearest neighbor search
我们首先回顾了最近邻搜索问题的普遍性和用于解决它的技术以及一些实验结果。在第二章中，我们给出了两类不同的几何邻近问题的约化：用最近邻问题解欧氏最小生成树问题和用最远邻问题解k-中心问题。在第三章中，我们将空间划分树统一到元树的框架下。最后，我们提出了双色最近邻对的对偶树算法，并对批量最近邻搜索的复杂度进行了度量。
2015-07-13 cs.CG cs.DS
Dynamic Algorithms Against an Adaptive Adversary: Generic Constructions and Lower Bounds
针对自适应对手的动态算法要求在对手看到算法的前一次输出后选择下一次更新时是正确的。我们获得了更快的动态算法对自适应对手和分离的结果是什么是可以实现的遗忘与自适应设置。为了得到这些结果，我们利用技术从差分隐私，密码学，和自适应数据分析。我们给出了将针对不经意对手的动态算法转化为针对自适应对手的鲁棒动态算法的一般约简。这种减少维护了不经意算法的几个副本，并使用差分隐私来保护它们的随机位。使用这种减少，我们获得动态算法对自适应对手的改进更新和查询时间的全球最小切割，所有对的距离，和所有对有效的阻力。我们进一步提高我们的更新和查询时间，展示了如何维护一个稀疏的扩展分解，可以快速刷新。这种快速刷新使它能够抵抗我们所说的闪烁对手，这种对手只能在刷新后观察算法的输出。我们相信，这些技术将被证明是有用的其他问题。另一方面，我们指定的动态问题，假设一个随机的预言，每一个动态算法，解决他们对自适应对手必须多项式慢于一个相当简单的动态算法，解决他们对一个不经意的对手。我们首先显示搜索问题的分离结果，然后显示估计问题的分离结果。在后一种情况下，我们的分离结果来自自适应数据分析的下限。
2021-11-07 cs.DS
Scalable Nearest Neighbor Search for Optimal Transport
最佳运输（英语：The Optimal Transport）Wasserstein距离是一种越来越流行的用于丰富数据域（如图像或文本文档）的相似性度量。这就提出了根据该距离进行快速最近邻搜索算法的必要性，这对大规模数据集造成了巨大的计算瓶颈。在这项工作中，我们介绍Flowtree，一个快速和准确的近似算法的Wasserstein- $1$距离。我们正式分析其近似因子和运行时间。我们进行了广泛的实验评估最近邻搜索算法在现实世界的数据集上的$W_1$距离。我们的研究结果表明，与以前的最先进的状态相比，Flowtree实现了高达$7.4$倍的运行时间。
2020-09-29 cs.DS
Confirmation Sampling for Exact Nearest Neighbor Search
由Indyk和Motwani在STOC '98中提出的局部敏感哈希算法（LSH）是一个非常有影响力的高维数据最近邻搜索框架。虽然理论工作集中在近似最近邻问题上，但在实践中，具有适当选择的参数的LSH数据结构用于解决精确最近邻问题（具有一定的错误概率）。次线性查询时间在实践中通常是可能的，甚至对于精确的最近邻搜索，直观地说，因为最近邻往往比其他数据点更接近。然而，理论提供了很少的建议，如何选择LSH参数以外的预先指定的最坏情况的设置。我们介绍了使用LSH解决精确最近邻问题的确认抽样技术。首先，我们给出了一个通用的约简，它将一系列数据结构转换为一个数据结构，每个数据结构都以很小的未知概率找到最近的邻居，并使用尽可能少的查询返回概率为$1-δ$的最近邻居。其次，我们提出了一个新的查询算法的LSH森林数据结构与$L$树，能够返回查询点的确切最近的邻居在同一时间范围内作为一个LSH森林的$Ω(L)$树的内部参数专门调整到查询和数据。
2018-12-06 cs.DS
Quantitative Comparison of Nearest Neighbor Search Algorithms
本文定量比较Orchard、ball tree与VP-tree三种最近邻搜索算法，通过分析距离计算比例并拟合随数据集大小和维度变化的效率函数，为算法选型提供依据。
2023-07-11 cs.DS
Approximate nearest neighbor search for $\ell_p$-spaces ($2 < p < \infty$) via embeddings
虽然近似最近邻搜索的问题已经为欧几里德空间和$\ell_1$研究得很好，但当（$\ell_p$）.在本文中，我们重新审视这个基本问题，并提出近似最近邻搜索算法，在这种情况下，第一个非平凡的近似因子的保证。
2015-12-06 cs.CG cs.DS
Randomized partition trees for exact nearest neighbor search
k-d树是最早提出的用于最近邻搜索的空间数据结构之一。它的功效在高维空间中减弱，但具有随机化和重叠单元的几个变体已被证明在实践中是成功的。我们分析了三个这样的方案。我们表明，他们无法找到最近的邻居，任何数据集和任何查询点的概率，是直接相关的一个简单的潜在功能，捕捉点配置的难度。然后，我们在两种感兴趣的情况下绑定这个势函数：第一种情况，当数据来自加倍测度时，第二种情况，当数据是来自主题模型的文档时。
2013-02-08 cs.DS
A scalable solution to the nearest neighbor search problem through local-search methods on neighbor graphs
近邻搜索（NNS）是一种强大的数据访问抽象;然而，即使是近似索引，数据索引也很麻烦。对于本质上高维的数据，高质量的快速搜索要求索引具有不切实际的大量内存使用或预处理时间。在本文中，我们介绍了一种算法来解决最近邻查询$q$通过最小化的核函数定义的距离从$q$在数据库中的每个对象。最小化是使用元分析来快速解决问题，即使文献中的一些方法在幕后使用这种策略，我们的方法是第一个明确使用它。我们还提供了两种方法来选择边在图的建设阶段，限制内存占用，同时减少自由参数的数量。我们通过合成和真实世界的数据集与最先进的索引进行了彻底的实验比较;我们发现，我们的贡献在速度，准确性和内存方面几乎在我们的任何基准中都具有竞争力。
2021-06-29 cs.DS cs.IR
Sparse Neighborhood Graph-Based Approximate Nearest Neighbor Search Revisited: Theoretical Analysis and Optimization
Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）；Huawei Technologies Co., Ltd.（华为技术有限公司）；Shanghai Institute for Mathematics and Interdisciplinary Sciences（上海数学与交叉学科研究院）；Tsinghua University（清华大学）
本文提出OPT-SNG框架，通过理论分析和优化稀疏邻域图构造，证明其最大出度和搜索路径长度，并推导出最优截断参数选择规则，提升索引构建效率。
2026-05-01 cs.DS
Approximate Nearest Neighbor Search for Low Dimensional Queries
本文研究了度量空间中的近似最近邻问题，其中数据是高维的，而查询点被限制在低倍维的子空间上。我们表明，这个问题可以有效地解决，尽管高维数据。
2012-09-18 cs.CG cs.DS
Performance bounds for nearest neighbor search with k-d trees
University of Washington（华盛顿大学）；University of California San Diego（加州大学圣地亚哥分校）
本文研究了k-d树在高维空间中最近邻搜索的性能界限，证明了全面搜索的运行时间和防御搜索的准确性界，并分析了不同数据分布下的搜索效率。
2026-05-11 cs.CG cs.DS
Approximate Nearest Neighbor Search with Window Filters
Massachusetts Institute of Technology（麻省理工学院）；University of Maryland（马里兰大学）
本文研究了$c$-近似窗口搜索问题，提出了一种基于树的模块化框架，将传统近似最近邻索引转换为支持任意标签范围查询的数据结构，在相同召回率下实现了高达75倍的加速。
2024-06-04 cs.DS cs.IR cs.LG
Kernel Density Estimation through Density Constrained Near Neighbor Search
在本文中，我们重新审视核密度估计问题：给定一个核$K(x, y)$和一个高维欧氏空间中的$n$点的数据集，准备一个数据结构，可以快速输出，给定一个查询$q$，一个$(1+ε)$ -近似$μ:=\frac1{|P|}\sum_{p\in P} K(p, q)$。首先，我们给出了一个单一的数据结构的基础上，经典的近邻搜索技术，提高或基本上匹配的查询时间和空间复杂度的所有径向内核在文献中考虑到。然后，我们展示了如何提高查询的复杂性和运行时间，使用数据相关的近邻搜索的最新进展。我们实现了我们的结果，给出了一个新的实现自然重要性采样计划。与以前的方法不同，我们的算法首先统一采样数据集（考虑采样率的几何序列），然后使用现有的近似近邻搜索技术，得到的较小的数据集检索采样点，位于一个适当的距离查询。我们表明，由此产生的采样数据集具有强大的几何结构，使近似近邻搜索返回所需的样本比相同大小的最坏情况下的数据集更有效。作为一个例子的应用程序，我们表明，这种方法产生的数据结构，实现查询时间$μ^{-(1+o(1))/4}$和空间复杂度$μ^{-(1+o(1))}$的高斯内核。我们的数据依赖的方法实现了查询时间$μ^{-0.173-o(1)}$和空间$μ^{-(1+o(1))}$的高斯内核。数据相关分析依赖于新的技术，用于在递归散列过程中跟踪输入数据集的几何结构，我们希望这在近邻搜索的其他应用中会引起兴趣。
2020-11-13 cs.DS
Falconn++: A Locality-sensitive Filtering Approach for Approximate Nearest Neighbor Search
University of Auckland（奥克兰大学）
我们提出了Falconn++，一种新的局部敏感的过滤方法，用于角距离上的近似最近邻搜索。Falconn++可以在任何哈希桶\textit{before}查询中过滤掉潜在的远距离点，与其他基于哈希的解决方案相比，这会产生更高质量的候选点。理论上，Falconn++比Falconn具有更低的查询时间复杂度，Falconn是一种基于角距离的最优局部敏感哈希算法.根据经验，Falconn++在许多真实数据集上实现了比Falconn更高的召回速度权衡。Falconn++也与HNSW竞争，HNSW是基于图形的解决方案在高搜索召回机制上的有效代表。
2022-10-22 cs.CV cs.DS
Graph-based Nearest Neighbor Search: From Practice to Theory
基于图的方法在最近邻搜索（NNS）方面非常成功。然而，关于其理论保障的研究却很少。我们填补了这一空白，并严格分析基于图的NNS算法的性能，特别是专注于低维（d \log n）制度。除了最近邻图上的基本贪心算法之外，我们还分析了实践中常用的最成功的算法：通过添加快捷边来加速，通过维护候选项的动态列表来提高准确性。我们相信，我们的理论见解得到实验分析的支持，是理解基于图的NNS算法的局限性和优势的重要一步。
2020-08-20 cs.DS math.PR
Efficient Approximate Nearest Neighbor Search for Multiple Weighted $l_{p\leq2}$ Distance Functions
最近邻搜索是广泛应用的基础。由于精确最近邻搜索受到“维数灾难”的影响，近似方法，如局部敏感散列（LSH），被广泛使用，以换取更高的查询效率的一点查询精度。在许多场景中，需要在高维空间中进行多个加权距离函数下的最近邻搜索。本文研究了高维空间中多重加权距离函数的有效近似最近邻搜索问题。据我们所知，以前的工作只能解决$l_2$距离的问题。然而，许多研究表明，在高维空间中，与$p\in(0,2)$的$l_p$距离可能比$l_2$距离更有效。我们提出了一种新的方法，WLSH，以解决问题的$l_p$距离$p\in(0,2]$。WLSH采用LSH方法，理论上可以在最小化所需的哈希表总数的同时，保证处理查询的效率和查询结果的准确性。我们进行了大量的实验合成和真实的数据集，结果表明，WLSH实现高性能的查询效率，查询精度和空间消耗。
2020-11-24 cs.DB cs.DS
Approximate Nearest Neighbor Search in $\ell_p$
提出了一种新的局部敏感哈希算法--基于$1<p<2$的$\ell_p$中的近似最近邻搜索.针对一个数据库中的$n$点，在$\ell_p$中实现了$O(dn^ρ)$的查询时间和$O(dn+n^{1+ρ})$空间，其中$ρ\le O((\ln c)^2/c^p)$。这改进了Datar等人（SOCG，2004年）先前的最佳上限$ρ\le 1/c$，并接近O 'Donnell、Wu和Zhou（ITCS，2011年）的下限$ρ\ge 1/c^p$。这个证明是Andoni和Indyk（FOCS 2006）对$\ell_2$的LSH方案的简单推广。
2013-06-15 cs.CG cs.DS
A fast nearest neighbor search algorithm based on vector quantization
在本文中，我们提出了一种新的快速最近邻搜索算法，基于矢量量化。像许多其他分支定界搜索算法[1，10]一样，预处理递归地将数据集划分为不相交的子集，直到每个部分中的点的数量足够小。在这样做时，建立搜索树数据结构。这种初步的递归数据集划分是基于初始数据集的经验分布的矢量量化。与前面引用的方法不同，这种划分不允许先验地用单个测试消除搜索树中的几个兄弟节点。为了克服这个困难，我们提出了一个算法，以减少测试的兄弟节点的数量，我们称之为“朋友Voronoi细胞”的最小列表。完整地描述该方法需要深入了解德洛内三角剖分和沃罗诺伊图的性质
2011-05-25 cs.DS math.PR
An Algorithm for Optimized Searching using NON-Overlapping Iterative Neighbor intervals
本文尝试通过节省串联重复字的出现频率，以及在平面扫描算法中使用非重叠的迭代相邻区间来减少检查条件的数量。文献中非重叠迭代邻域搜索的基本思想在于，不将搜索集中在解的整个空间上，而是集中在考虑解所定义的非重叠区间的较小子空间上。子空间由指定的minimum关键字附近的范围定义。我们反复挑选一个范围，并翻转不满意的关键字，因此检测到相关的范围。所提出的方法试图通过有效地计算文档中包含最小频率关键字的最小词组并列举文档中包含最小频率关键字的间隔来改进平面扫描算法。特别是在数据量较大的情况下，减少了比较次数，创造了优化搜索算法的最佳状态。与先前的技术方法模式相比，效率和可靠性也有所提高。
2012-11-19 cs.DS cs.IR
Fast Approximate Nearest Neighbor Search with a Dynamic Exploration Graph using Continuous Refinement
该研究提出动态探索图（DEG），通过增量构建偶正则图与边持续优化提升近似最近邻搜索效率，验证了ANNS高效不代表探索搜索性能好，且DEG在两类查询中均优于现有算法。
2023-07-21 cs.DS cs.IR
Approximate nearest neighbors search without false negatives for $l_2$ for $c>\sqrt{\log\log{n}}$
Pagh [14]提出了一个关于Hamming距离的最近邻搜索的公开问题，本文给出了该问题的解决进展。我们提出了新的数据结构，用于解决欧几里德高维空间$\mathcal{R}^d$的$c$ -近似最近邻问题，而不会出现误报。这些数据结构适用于任何$c = ω(\sqrt{\log{\log{n}}})$，其中$n$是输入集中的点数，具有多对数查询时间和多项式预处理时间。这改进了要求$c$是$Ω(\sqrt{d})$的已知算法。这种改进是通过应用一系列的减少，这是有趣的。首先，我们把问题归结为$n$中维数对数的$d$实例。接下来，这些实例被减少到多个$c$ -配备有度量$m(x,y) = \max_{1 \le i \le L}(\lVert x_i - y_i\rVert_2)$的$\big(\mathbb{R}^k\big)^L$空间中的近似最近邻搜索实例。
2017-09-13 cs.CG cs.DS
Hardness of Approximate Nearest Neighbor Search
我们证明了条件近二次运行时间的下界近似双色最接近对欧几里德，曼哈顿，汉明，或编辑距离。具体地，除非强指数时间假设（SETH）为假，否则对于每个$δ>0$，存在常数$ε>0$，使得计算对双色最近对的$(1+ε)$近似需要$n^{2-δ}$时间。特别是，这意味着近似最近邻搜索的查询时间接近线性，预处理时间为多项式。我们的约简使用[ARW'17]的分布式PCP框架，但使用代数几何（AG）代码获得了更高的效率。在[BKKMS'16，BCGRS'17]之前，已经在其他设置中构建了来自AG代码的有效PCP，但我们的构建是第一个产生新硬度结果的构建。
2018-03-02 cs.CC cs.DS
Fast and exact fixed-radius neighbor search based on sorting
针对现有固定半径近邻近似搜索索引计算重、需调参的问题，提出基于第一主成分排序结合BLAS实现的精确SNN方法，在索引与查询速度上优于暴力法和树方法，且无需调参。
2024-01-29 cs.DS cs.IR
Coding for Random Projections and Approximate Near Neighbor Search
Rutgers University（罗格斯大学）；Harvard University（哈佛大学）；Cornell University（康奈尔大学）
本技术说明比较了在次线性时间近似近邻搜索的上下文中用于随机投影的两种编码（量化）方案。第一种方案基于均匀量化，而第二种方案利用均匀量化加上均匀随机偏移（这在实践中很流行）。先前的工作在相似性估计和训练线性分类器的上下文中比较了这两种方案，得出的结论是随机偏移的步骤是不必要的，并且可能会损害性能（取决于相似性水平）。近邻搜索的任务与重要性区分的相似性估计有关，需要自己的研究。在本文中，我们证明了在近邻搜索的上下文中，随机偏移的步骤是不需要的，也可能会损害性能（有时显着，这取决于相似性和其他参数）。
2014-03-31 cs.DB cs.DS cs.LG
Approximate Nearest Neighbor Search through Comparisons
School of Computer
本文讨论了在n个对象的数据库中寻找查询对象q的最近邻（或R-最近邻之一）的问题。与大多数现有的方法相比，我们只能通过相似性预言来访问对象所处的“隐藏”空间。给定两个引用对象和一个查询对象，oracle返回最接近查询对象的引用对象。甲骨文试图模拟人类用户的行为，能够对相似性进行陈述，但不能为对象之间的距离分配有意义的数值。
2009-09-11 cs.DB cs.DS cs.LG
Distance Adaptive Beam Search for Provably Accurate Graph-Based Nearest Neighbor Search
New York University（纽约大学）；UMass Amherst（马萨诸塞大学阿姆赫斯特分校）
针对基于图的最近邻搜索现有终止条件的不足，提出基于距离的自适应束搜索终止条件，理论证明其在可导航图上的近似求解保证，实验验证其在多种场景下优于标准束搜索。
2025-05-21 cs.DB cs.DS cs.IR
Experimental comparison of graph-based approximate nearest neighbor search algorithms on edge devices
本文首次在边缘设备上系统比较多种基于图的近似最近邻搜索算法，引入插入删除延迟和功耗等指标，为智慧城市和自动驾驶等实时跟踪应用提供选型依据。
2024-11-21 cs.AR cs.CV cs.DC
Worst-case Performance of Popular Approximate Nearest Neighbor Search Implementations: Guarantees and Limitations
MIT（麻省理工学院）
本文分析 HNSW、NSG 和 DiskANN 等图基近似最近邻搜索算法的最坏情况性能，证明 DiskANN 慢速预处理版本具有理论保证，而其他变体在特定实例上查询时间与规模成线性关系。
2023-10-29 cs.CG cs.DS cs.LG
Graph based Nearest Neighbor Search: Promises and Failures
Xiamen University（厦门大学）
近年来，基于图的最近邻搜索在大规模检索任务中得到越来越多的应用。这种类型的方法的吸引力在于其优越的性能超过大多数已知的最近邻搜索方法，以及其通用性的各种指标。在本文中，两个战略的作用，即层次结构和图多样化的关键步骤，采用基于图的方法，进行了研究。我们发现，层次结构不能实现“更好的对数复杂度缩放”，因为它是声称在原来的文件，特别是在高维的情况下。此外，我们发现，类似的高搜索速度的效率与层次结构的支持下，平面k-NN图后，图多样化。最后，我们指出了困难，这是所面临的大多数基于图的搜索方法，是直接联系到“维数灾难”。
2019-06-18 cs.CV cs.DS cs.IR
Paired compressed cover trees guarantee a near linear parametrized complexity for all $k$-nearest neighbors search in an arbitrary metric space
本文研究了在任意度量空间中，在另一个参考集$R$中寻找查询集$Q$的点的所有$k$ -最近邻的重要问题。我们之前的工作定义了压缩覆盖树，并纠正了过去几篇论文中针对具有挑战性的数据集的关键论点。2009年，Ram、Lee、March和Gray试图通过在查询集和引用集上使用成对的覆盖树来提高时间复杂度。2015年，Curtin与上述合著者使用额外的参数最终证明了$k=1$的时间复杂度。目前的工作填补了所有以前的空白，并提高了最近邻搜索的基础上对新的压缩覆盖树。新的成对树的不平衡参数使我们能够证明一个更好的时间复杂度为任何数量的邻居$k\geq 1$。
2022-01-20 cs.CC cs.CG cs.DS
GGNN: Graph-based GPU Nearest Neighbor Search
University of Tübingen（图宾根大学）；Amazon（亚马逊）
高维近似最近邻（ANN）搜索是若干计算机视觉系统的组成部分，并且在具有显式记忆表示的深度学习中变得重要。由于PQT、FAISS和SONG开始利用GPU提供的大规模并行性，因此基于GPU的实现是当今最先进的ANN方法的关键资源。虽然这些方法中的大多数都允许更快的查询，但很少强调加速底层索引结构的构建。在本文中，我们提出了一种新的GPU友好的搜索结构的基础上最近邻图和图上的信息传播。我们的方法旨在利用GPU架构来加速索引结构的分层构造和执行查询。经验评估表明，GGNN在构建时间、准确性和搜索速度方面明显优于最先进的基于CPU和GPU的系统。
2022-04-07 cs.CV cs.DB cs.DS
Accelerating Nearest Neighbor Search on Manycore Systems
我们开发了加速度量相似性搜索的方法，这些方法在现代硬件上是有效的。我们的算法考虑到易于并行化的组件，使它们易于部署，在多核CPU和GPU上高效。尽管我们的算法结构简单，但它们的搜索性能在数据库的大小上是可证明的次线性的，其中一个因素仅取决于其内在维度。我们证明了我们的方法在一系列数据集和硬件平台上提供了大量的加速。特别是，我们目前的结果在48核服务器上的机器，图形硬件，和多核桌面。
2011-03-30 cs.CG cs.DB cs.DC
Sub-linear Memory Sketches for Near Neighbor Search on Streaming Data
Rice University（莱斯大学）
我们提出了第一个次线性记忆草图，可以查询，以找到最近的邻居在一个数据集。我们的在线草图算法在$O(N^{(b+1)} \log^3 N)$时间内将N个元素的数据集压缩为大小为$O(N^b \log^3 N)$的草图，其中$b < 1$。此草图可以正确报告满足由$b$参数化的稳定性条件的任何查询的最近邻居。我们实现稳定查询的次线性内存性能结合局部敏感哈希（LSH）为基础的估计，在线核密度估计，压缩感知的最新进展。我们的理论结果揭示了新的光最近邻搜索的内存精度权衡，我们的草图，它完全由短整数数组，在实践中有各种有吸引力的功能。我们评估了我们的方法在Google Plus社交媒体网络中的朋友推荐任务上的记忆召回权衡。我们获得了数量级更好的压缩比随机投影为基础的替代方案，同时保留报告的能力，最近的邻居的实际查询。
2020-09-14 cs.CG cs.DS cs.LG
Efficient and robust approximate nearest neighbor search using Hierarchical Navigable Small World graphs
Institute of Applied Physics of the Russian Academy of Sciences（俄罗斯科学院应用物理研究所）
本文提出了一种基于可控层次可导航小世界图（Hierarchical NSW，HNSW）的近似K近邻搜索方法。所提出的解决方案是完全基于图的，而不需要任何额外的搜索结构，这通常是在最接近图技术的粗搜索阶段使用。分层NSW递增地构建由用于所存储元素的嵌套子集的邻近图（层）的分层集合组成的多层结构。其中存在元素的最大层以指数衰减概率分布随机选择。这允许产生类似于先前研究的可导航小世界（NSW）结构的图形，同时还具有由其特征距离尺度分开的链接。与NSW相比，从上层开始搜索并利用尺度分离提高了性能，并允许对数复杂度缩放。额外的就业的启发式选择邻近图邻居显着提高性能在高召回率和高度聚类的数据的情况下。性能评估表明，所提出的通用度量空间搜索索引能够大大优于以前的开源最先进的矢量方法。该算法与跳表结构的相似性允许简单的平衡分布式实现。
2018-08-14 cs.CV cs.DS cs.IR
