Lattice-based Locality Sensitive Hashing is Optimal
Indyk和Motwani(STOC '98)引入了局部敏感散列(LSH),以给出仅使用多项式空间的c-近似最近邻(ANN)问题的第一个次线性时间算法。在高级别上,LSH家族将“附近”点散列到同一个桶,将“远处”点散列到不同的桶。LSH族的度量质量是它的LSH指数,它有助于确定查询时间和空间使用。在一项开创性的工作中,Andoni和Indyk(FOCS '06)基于空间的随机球划分构建了一个LSH族,该族实现了l_2范数的LSH指数为1/c^2,这后来被Motwani,Naor和Panigrahy(SIDMA' 07)和O 'Donnell,Wu和Zhou(TOCT' 14)证明是最优的。虽然在LSH指数中是最优的,但是球划分方法在计算上是昂贵的。因此,在同一工作中,Andoni和Indyk提出了一种更简单,更实用的哈希方案,基于欧几里德格,并提供了使用24维Leech格的计算结果。然而,没有给出该方案的理论分析,从而留下了开放的问题,找到基于格的LSH的指数。在这项工作中,我们解决了这个问题,通过使用数字几何的技术来证明存在达到1/c^2的最佳LSH指数的格。在一个更概念化的层次上,我们的研究结果表明,最佳的LSH空间划分可以有周期性的结构。了解在何种程度上可以对这些分区施加额外的结构,例如,以产生低空间和查询复杂性,仍然是一个重要的开放问题。
2017-12-22 cs.DS
Multi-Level Spherical Locality Sensitive Hashing For Approximate Near Neighbors
本文介绍了“多层球面LSH”:一种无参数的多层、依赖于数据的局部敏感哈希数据结构,用于解决近似近邻问题(ANN)。该数据结构使用多探针自适应查询算法的修改版本,对于所有输入n,具有实现$O(n^p + t)$查询运行时间的潜力,其中$t <= n$。
2017-09-15 cs.DS
Optimal Data-Dependent Hashing for Approximate Near Neighbors
我们展示了一个最佳的数据依赖哈希方案的近似近邻问题。对于$d$维空间中的$n$ -点数据集,我们的数据结构实现了查询时间$O(d n^{ρ+o(1)})$和空间$O(n^{1+ρ+o(1)} + dn)$,其中$ρ=\tfrac{1}{2c^2-1}$为欧氏空间和近似$c>1$ .对于Hamming空间,我们得到了$ρ=\tfrac{1}{2c-1}$的一个指数.我们的结果完成了[AINR 14]中提出的方向,他给出了一个概念验证,即数据相关哈希可以优于经典的局部敏感哈希(LSH)。与[AINR 14]相比,新的边界不仅是最佳的,而且实际上对于所有近似因子$c>1$都优于最佳(最佳)LSH数据结构[IM 98,AI 06]。从技术的角度来看,我们通过将任意数据集分解为几个子集来进行,这些子集在某种意义上是伪随机的。
2015-07-16 cs.DS
Near Neighbor: Who is the Fairest of Them All?
University of Illinois(伊利诺伊大学)
$\newcommand{\ball}{\mathbb{B}}\newcommand{\dsQ}{\mathcal{Q}}\newcommand{\dsS}{\mathcal{S}}$在这项工作中,我们研究了一个公平的变种的近邻问题。即,给定一组$n$点$P$和参数$r$,目标是预处理这些点,使得给定查询点$q$,查询的$r$邻域中的任何点,即,$\ball(q,r)$,具有被报告为近邻的相同概率。我们表明,基于LSH的算法可以做到公平,而没有显着的效率损失。具体来说,我们展示了一个算法,报告一个点在$r$邻域的查询$q$几乎均匀的概率。查询时间与$O\bigl( \mathrm{dns}(q.r) \dsQ(n,c) \bigr)$成比例,并且其空间是$O(\dsS(n,c))$,其中$\dsQ(n,c)$和$\dsS(n,c)$是用于$c$ -近似近邻的LSH算法的查询时间和空间,并且$\mathrm{dns}(q,r)$是$q$周围的局部密度的函数。我们的方法更普遍地适用于从给定集合的集合的子集合中均匀采样,并且可以在其他一些应用中使用。最后,我们运行的实验,以显示我们的方法对真实数据的性能。
2019-11-21 cs.CG cs.DS cs.LG
Efficient Approximate Nearest Neighbor Search for Multiple Weighted $l_{p\leq2}$ Distance Functions
最近邻搜索是广泛应用的基础。由于精确最近邻搜索受到“维数灾难”的影响,近似方法,如局部敏感散列(LSH),被广泛使用,以换取更高的查询效率的一点查询精度。在许多场景中,需要在高维空间中进行多个加权距离函数下的最近邻搜索。本文研究了高维空间中多重加权距离函数的有效近似最近邻搜索问题。据我们所知,以前的工作只能解决$l_2$距离的问题。然而,许多研究表明,在高维空间中,与$p\in(0,2)$的$l_p$距离可能比$l_2$距离更有效。我们提出了一种新的方法,WLSH,以解决问题的$l_p$距离$p\in(0,2]$。WLSH采用LSH方法,理论上可以在最小化所需的哈希表总数的同时,保证处理查询的效率和查询结果的准确性。我们进行了大量的实验合成和真实的数据集,结果表明,WLSH实现高性能的查询效率,查询精度和空间消耗。
2020-11-24 cs.DB cs.DS
Scalability and Total Recall with Fast CoveringLSH
局部敏感哈希(LSH)已经成为在高维空间中具有强性能保证的相似性搜索的主要算法技术。传统LSH方案的缺点是它们可能具有\emph{false negatives},即,召回率小于100%.这限制了LSH在需要精确性能保证的环境中的适用性。基于最近理论上的“CoveringLSH”构造,消除了假阴性,我们提出了一个快速和实用的覆盖LSH方案的汉明空间称为\emph{Fast CoveringLSH (fcLSH)}。继承CoveringLSH的设计优势,我们的方法避免了假阴性,并始终报告所有近邻。与CoveringLSH相比,我们实现了从$\mathcal{O}(dL)$到$\mathcal{O}(d + L\log{L})$的哈希函数计算时间的渐进改进,其中$d$是数据的维数,$L$是哈希表的数量。我们对合成数据集和真实数据集的实验表明,\emph{fcLSH}在高维汉明空间中搜索半径高达20的情况下与传统的基于散列的方法相当(并且往往更优越)。
2016-08-19 cs.DB cs.DS cs.IR
Efficient Algorithms for Adversarially Robust Approximate Nearest Neighbor Search
Columbia University(哥伦比亚大学);Boston University(波士顿大学);Massachusetts Institute of Technology(麻省理工学院)
本文提出高效算法,通过结合公平性和差分隐私技术,解决对抗鲁棒近似最近邻搜索问题,并改进了相关结果。
2026-01-01 cs.DS
Fair Near Neighbor Search: Independent Range Sampling in High Dimensions
IT University of Copenhagen(哥本哈根信息技术大学);University of Padova(帕多瓦大学)
相似性搜索是一种基本的算法原语,广泛应用于计算机科学的许多学科。相似性搜索问题有几种变体,最相关的一种是$r$ -近邻($r$-NN)问题:给定半径$r>0$和一组点$S$,构造一个数据结构,对于任何给定的查询点$q$,返回一个点$p$,该点距离$q$至多$r$。本文从公平性的角度研究了$r$ -NN问题。我们从机会均等的意义上考虑公平性:距离查询$r$以内的所有点都应该有相同的概率被返回。在低维情况下,这个问题首先由Hu,Qiao和Tao(PODS 2014)研究。局部敏感哈希(LSH),理论上最强的方法,在高维相似性搜索,不提供这样的公平性保证。为了解决这一问题,我们提出了有效的数据结构$r$ -NN在$S$中的所有点附近的$q$有相同的概率被选择和返回的查询。具体来说,我们首先提出了一个黑盒的方法,给定任何LSH方案,构造一个数据结构均匀采样点的查询附近。然后,我们开发了一个数据结构公平的相似性搜索下的内积,需要近线性空间,并利用局部敏感的过滤器。本文最后的实验评估,突出(不)公平的建议设置在现实世界的数据集,并讨论了固有的不公平引入解决其他变量的问题。
2020-06-15 cs.CG cs.DS cs.IR
Sampling a Near Neighbor in High Dimensions -- Who is the Fairest of Them All?
IT University of Copenhagen(哥本哈根信息技术大学);University of Illinois at Urbana-Champaign (UIUC)(伊利诺伊大学厄巴纳-香槟分校(UIUC));Toyota Technological Institute at Chicago (TTIC)(芝加哥丰田理工学院(TTIC));University of Copenhagen(哥本哈根大学);University of Padova(帕多瓦大学)
相似性搜索是一种基本的算法原语,广泛应用于计算机科学的许多学科。给定一组点$S$和半径参数$r>0$,$r$ -近邻($r$ -NN)问题要求一个数据结构,该数据结构在给定任何查询点$q$的情况下,返回距离$q$至多$r$的点$p$。在本文中,我们研究了$r$ -NN问题的光个人的公平性和提供平等的机会:距离$r$从查询的所有点应该有相同的概率被返回。在低维情况下,这个问题首先由Hu,Qiao和Tao(PODS 2014)研究。局部敏感哈希(LSH),理论上最强的方法,在高维相似性搜索,不提供这样的公平性保证。在这项工作中,我们表明,基于LSH的算法可以做到公平,而没有显着的效率损失。我们提出了几个有效的数据结构的准确和近似的公平NN问题的变种。我们的方法更普遍地适用于从给定集合的集合的子集合中均匀采样,并且可以在其他一些应用中使用。我们还开发了一个数据结构公平的相似性搜索下的内积,需要近线性空间,并利用局部敏感的过滤器。最后,本文的实验评估,突出了固有的不公平的NN数据结构,并显示我们的算法在现实世界的数据集上的性能。
2021-01-26 cs.DB cs.DS cs.LG
Practical Near Neighbor Search via Group Testing
我们提出了一个新的算法的近似近邻问题,结合经典的思想,从组测试与局部敏感哈希(LSH)。我们将近邻搜索问题简化为一个组测试问题,将近邻指定为“阳性”,将非近邻指定为“阴性”,并将近似成员查询指定为组测试。我们使用距离敏感的布隆过滤器来识别近邻组(FLINNG)实例化这个框架。我们证明了FLINNG具有次线性查询时间,并表明我们的算法具有各种实际的优势。例如,FLINNG可以在数据的单次传递中构造,完全由高效的整数运算组成,并且不需要任何距离计算。我们进行了大规模的实验,高维搜索任务,如基因组搜索,URL相似性搜索,嵌入搜索在大规模的YFCC 100 M数据集。在与HNSW和FAISS等领先算法的比较中,我们发现FLINNG可以提供高达10倍的查询加速,索引时间和内存都大大减少。
2021-06-22 cs.DS
Sub-linear Memory Sketches for Near Neighbor Search on Streaming Data
Rice University(莱斯大学)
我们提出了第一个次线性记忆草图,可以查询,以找到最近的邻居在一个数据集。我们的在线草图算法在$O(N^{(b+1)} \log^3 N)$时间内将N个元素的数据集压缩为大小为$O(N^b \log^3 N)$的草图,其中$b < 1$。此草图可以正确报告满足由$b$参数化的稳定性条件的任何查询的最近邻居。我们实现稳定查询的次线性内存性能结合局部敏感哈希(LSH)为基础的估计,在线核密度估计,压缩感知的最新进展。我们的理论结果揭示了新的光最近邻搜索的内存精度权衡,我们的草图,它完全由短整数数组,在实践中有各种有吸引力的功能。我们评估了我们的方法在Google Plus社交媒体网络中的朋友推荐任务上的记忆召回权衡。我们获得了数量级更好的压缩比随机投影为基础的替代方案,同时保留报告的能力,最近的邻居的实际查询。
2020-09-14 cs.CG cs.DS cs.LG
Improving Similarity Search with High-dimensional Locality-sensitive Hashing
Salk Institute for Biological Studies(索尔克生物研究所)
提出了一类新的基于果蝇嗅觉回路的数据无关局部敏感哈希算法。这种方法的根本区别在于,不是将哈希分配为低维空间中的密集点,而是将哈希分配在高维空间中,这增强了它们的可分离性。我们从理论上和经验表明,这个新的家庭的哈希函数是局部敏感的,并保留在任何`p空间的输入的秩相似性。然后,我们分析了这种策略的不同变化,并实证表明,它们优于现有的LSH方法的最近邻居搜索六个基准数据集。最后,我们提出了一个多探针版本的算法,实现更高的性能相同的查询时间,或相反,保持性能的先前的方法,同时采取显着更少的索引时间和内存。总的来说,我们的方法利用了高维空间提供的可分性的优势,同时仍然保持计算效率
2018-12-05 cs.AI cs.DS cs.LG
Fast Locality-Sensitive Hashing Frameworks for Approximate Near Neighbor Search
Indyk-Motwani局部敏感散列(LSH)框架(STOC 1998)是一种通用技术,用于通过在划分空间的局部敏感散列函数上使用分布$\mathcal{H}$来构造数据结构以回答近似近邻查询。对于$n$点的集合,在预处理之后,查询时间由来自$\mathcal{H}$和$O(n^ρ)$哈希表查找的哈希函数的$O(n^ρ \log n)$评估和距离计算支配,其中$ρ\in (0,1)$由$\mathcal{H}$的局部敏感性属性确定。Dahlgaard等人(FOCS 2017)的最新结果表明,位置敏感哈希函数的数量可以减少到$O(\log^2 n)$,使查询时间由$O(n^ρ)$距离计算和$O(n^ρ \log n)$额外的字RAM操作主导。我们将此结果作为一个通用框架,并提供了一个更简单的分析,表明查找和距离计算的数量与Indyk-Motwani框架非常匹配,使其成为实践中可行的替代品。使用Andoni和Indyk(SODA 2006)的另一个局部敏感哈希框架的想法,我们能够将额外的字RAM操作减少到$O(n^ρ)$。
2018-02-16 cs.DS
Sublinear Sketches for Approximate Nearest Neighbor and Kernel Density Estimation
Department of Computer Science & Engineering, Indian Institute of Technology Bombay(计算机科学与工程系,印度理工学院班加罗尔)
本文提出针对动态数据流的次线性草图算法,用于近似最近邻搜索和核密度估计,在内存与误差间实现接近最优权衡,并首次给出滑动窗口下A-KDE的次线性保证。
2026-09-15 cs.DS cs.LG stat.ML
Cluster-and-Conquer: When Randomness Meets Graph Locality
Univ Rennes(雷恩大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);IRISA(雷恩计算机科学与应用研究所);EPFL(洛桑联邦理工学院);Univ. Lille(里尔大学)
K-最近邻(KNN)图是许多标志性数据采掘和机器学习应用的核心。一些最有效的KNN图算法是增量和本地的:它们从随机图开始,通过遍历邻居的邻居链接来增量改进。奇怪的是,这种随机开始也是这些算法的关键弱点之一:节点最初连接到不同的邻居,根据相似性度量,这些邻居相距很远。因此,增量算法必须首先费力地探索虚假的潜在邻居,然后才能识别相似的节点,并开始收敛。在本文中,我们消除了这个缺点与征服者(简称C2)。“征服与征服”增强了贪心算法的初始配置,这要归功于一种新的轻量级集群机制,称为FastRandomHash。FastRandomHash利用随机性和递归性,以非常低的成本对相似节点进行预聚类。我们对真实数据集的广泛评估表明,“征服与征服”显著优于现有的方法,包括LSH,产生高达x4.42的速度提升,而KNN质量方面的损失可以忽略不计。
2020-10-22 cs.DB cs.DC cs.DS
Quasirandom Rumor Spreading
我们提出并分析了一个拟随机模拟的经典推送模型在网络中传播信息(“随机谣言传播”)。在经典模型中,在每一轮中,每个被通知的顶点随机选择一个邻居,如果它之前没有被通知,则通知它。这个简单的协议在完全图、超立方体、随机正则图、Erdos-Renyi随机图和Ramanujan图上以1-o(1)的概率在O(log n)轮内成功地将谣言从一个顶点传播到所有其他顶点。在拟随机模型中,我们假设每个顶点都有一个(循环的)邻居列表。一旦被通知,它就从列表上的随机位置开始,但从那时起,它就按照列表的顺序通知它的邻居。令人惊讶的是,无论列表的顺序如何,上述界限仍然成立。在某些情况下,甚至比经典模型更好的界限可以显示。
2013-08-07 cs.DC cs.DM cs.DS