Similarity Join Size Estimation using Locality Sensitive Hashing
相似连接是一种重要的操作,有着广泛的应用。本文研究了向量相似连接长度估计问题。它是以前研究的集合相似性连接大小估计(SSJ)问题的推广,可以处理更有趣的情况下,如TF-IDF向量。相似性连接大小估计中的关键挑战之一是连接大小可以根据输入相似性阈值而显著变化。我们提出了一个基于采样的算法,使用局部敏感哈希(LSH)计划。所提出的算法LSH-SS使用LSH索引,即使在高阈值下也能够进行有效采样。我们将所提出的技术与随机抽样和最先进的SSJ技术(适用于VSJ)进行比较,并证明LSH-SS在高和低相似性阈值以及使用真实数据集的小方差下提供更准确的估计。
2011-04-16 cs.DB cs.DS
Fast Locality Sensitive Hashing with Theoretical Guarantee
Donghua University(东华大学)
本文提出 l2 范数下的 FastLSH,通过随机采样与随机投影将哈希复杂度由 O(n) 降至 O(m),并在保持可证明 LSH 性质的同时实现最高 80 倍加速。
2023-09-27 cs.DS cs.LG
Locality Sensitive Hashing for Efficient Similar Polygon Retrieval
局部敏感哈希(LSH)是一种有效的索引一组项目,以支持高效的最近邻查询在高维空间中的方法。LSH的基本思想是相似项产生哈希冲突的概率应该高于不相似项。我们研究LSH(不一定是凸的)多边形,并使用它来提供有效的数据结构相似形状检索。Arkin等人用“转向函数”来表示多边形--一个在遍历多边形的周长时遵循多边形的切线和$ x $轴之间的角度的函数。它们将多边形之间的距离定义为它们的转向函数之间的$ L_p $(对于$p=1,2$)距离的变化。该度量在平移、旋转和缩放(以及在周长上选择初始点)下是不变的,因此很好地模拟了形状相似性的直观概念。我们开发和分析LSH近邻数据结构的几个变化的$ L_p $距离的功能($p=1,2$)。通过将我们的计划的多边形的集合的转向功能,我们获得高效的近邻基于LSH的多边形结构。为了调整我们的结构,转向功能的多边形,我们证明了这些转向功能,可能是独立的利益的一些新的属性。作为我们分析的一部分,我们解决了以下独立感兴趣的问题。找出在$ L_1 $距离上最接近函数$ g $的函数$ f $的垂直平移。我们证明紧界的近似保证得到的翻译是等于$ g $和$ f $的平均值之间的差异。
2021-02-19 cs.CG cs.DS cs.IR
Johnson-Lindenstrauss embeddings for noisy vectors -- taking advantage of the noise
本文研究了亚采样和散列作为工具的近似欧氏范数保持嵌入(未知)加性高斯噪声的向量的理论性质。这种嵌入有时被称为约翰逊-林登施特劳斯嵌入,因为它们的著名引理。以前的工作表明,作为稀疏嵌入,子采样和哈希的成功密切依赖于要映射的向量的$l_\infty$与$l_2$的比率。本文表明,噪声的存在消除了这种约束,在高维,换句话说,稀疏嵌入,如子采样和散列具有可比的嵌入维数密集嵌入有类似的近似范数保持降维属性。关键是,噪声应该被视为一种待开发的信息,而不仅仅是要去除的东西。理论界的子采样和散列恢复的近似范数的高维向量在噪声的存在下,推导出,与数值例子显示更好的性能,在噪声的存在下实现。
2022-09-01 cs.DS cs.LG cs.NA
Parameter-free Locality Sensitive Hashing for Spherical Range Reporting
我们提出了一种用于点集$S$上的球面范围报告的数据结构,即,报告位于给定查询点$q$的半径$r$内的$S$中的所有点。我们的解决方案建立在Indyk和Motwani的局部敏感哈希(LSH)框架之上,该框架代表了高维近邻问题的渐近最佳解决方案。虽然传统的LSH数据结构有几个参数,其最佳值取决于从$q$到$S$的点的距离分布,我们的数据结构是无参数的,除了空间使用,这是由用户配置。然而,它的预期查询时间基本上匹配LSH数据结构的查询时间,LSH的参数已经在给定的空间约束下针对所讨论的数据和查询 * 进行了 * 最优选择。特别是,我们的数据结构提供了一个平滑的权衡之间的硬查询(通常由标准LSH解决)和容易的查询,如报告的点的数量是一个恒定的分数的$S$,或几乎所有的点在$S$远离查询点。相反,已知的数据结构仅基于输入的某些参数来固定LSH参数。该算法的预期查询时间以$O(t (n/t)^ρ)$为界,其中$t$是要报告的点数,而$ρ\in (0,1)$取决于数据分布和所用LSH族的强度。我们进一步提出了一种无参数的方式使用多探测,LSH家庭,支持它,并表明,对于许多这样的家庭,这种方法使我们能够得到预期的查询时间接近$O(n^ρ+t)$,这是最好的,我们可以希望实现使用LSH。以前在高维中最好的运行时间是$Ω(t n^ρ)$。对于许多数据分布,接近$q$的点集的固有维数较低,我们可以给出改…
2016-07-20 cs.DS
Locality-Sensitive Hashing for f-Divergences: Mutual Information Loss and Beyond
Yale University(耶鲁大学);Google Research(谷歌研究院)
计算高维空间中的近似最近邻是大规模数据采掘的核心问题,在机器学习和数据科学中有着广泛的应用。近似计算最近邻居的一种流行且有效的技术是局部敏感哈希(LSH)方案。在本文中,我们的目标是开发LSH计划的距离函数,测量两个概率分布之间的距离,特别是f-发散以及概括捕捉互信息损失。首先,我们提供了一个一般的框架来设计LHS计划的f-散度距离函数和发展LSH计划的广义Jensen-Shannon散度和三角歧视在这个框架。我们证明了一个双边的近似结果的广义詹森-香农发散的Hellinger距离,这可能是独立的兴趣。接下来,我们展示了一个一般的方法,减少设计一个LSH计划的Krein内核(它可以表示为两个正定内核的差异)的问题的最大内积搜索。由于该方法在模型压缩等方面的重要应用,我们将其应用于互信息损失,从而证明了该方法的有效性。
2019-10-28 cs.DB cs.DS cs.LG
Distance-Sensitive hashing
局部敏感哈希(LSH)是管理高维噪声或不确定数据的重要工具,例如与数据清理(相似性连接)和噪声鲁棒搜索(相似性搜索)有关。然而,对于一些问题的LSH框架是不知道产生良好的解决方案,而是特设的解决方案已被设计为特定的相似性和距离的措施。例如,对于输出敏感的相似性搜索/连接,以及对于支持环形查询的索引,这是真实的,该环形查询旨在报告与查询点接近某个给定距离的点。在本文中,我们开始研究距离敏感哈希(DSH),LSH的推广,寻求一个家庭的哈希函数,使两个点具有相同的哈希值的概率是一个给定的函数之间的距离。更准确地说,给定距离空间$(X, \text{dist})$和“碰撞概率函数”(CPF)$f\colon \mathbb{R}\rightarrow [0,1]$,我们寻求函数对$(h,g)$上的分布,使得对于每对点$x, y \in X$,碰撞概率是$\Pr[h(x)=g(y)] = f(\text{dist}(x,y))$。局部敏感哈希是研究CPF随着距离的增加而减少的速度。对于许多空间,$f$可以指数下降,即使我们限制注意的对称情况下,$g=h$。我们表明,通过具有一对功能实现的不对称性使得有可能实现CPF,例如,增加或单峰,并显示这是如何导致原则性的解决方案的LSH框架没有解决的问题。这包括隐私保护距离估计的新应用。我们相信DSH框架将在高维数据管理中得到进一步的应用。
2018-04-17 cs.DS
Fast Locality Sensitive Hashing for Beam Search on GPU
Department of Computer Science, University of Southern California(南加州大学计算机科学系);Department of Computer Science and Technology, Tsinghua University(清华大学计算机科学与技术系)
我们提出了一种基于GPU的局部敏感哈希(LSH)算法,以加快序列模型的束搜索。我们利用赢家通吃(WTA)哈希,这是基于隐藏的维度的相对排名顺序,从而弹性的数值扰动。我们的算法设计充分考虑了CUDA支持的GPU的底层架构(算法/架构协同设计):1)并行Cuckoo哈希表用于LSH代码查找(保证O(1)查找时间); 2)候选列表在波束之间共享以最大化并行性; 3)顶部频繁字合并到候选列表中以提高性能。在4个大规模神经机器翻译模型上的实验表明,该算法在softmax模块上可以获得4倍的加速比,在GPU上可以获得2倍的整体加速比,而不会损害BLEU。
2018-06-02 cs.AI cs.CL cs.DC
CoveringLSH: Locality-sensitive Hashing without False Negatives
我们考虑一个新的构造的局部敏感的哈希函数的汉明空间是\emph{covering}在这个意义上,它保证产生一个冲突的每一对向量在一个给定的半径$r$。该构造是\emph{efficient},因为对于给定的$c>1$,距离为~ $cr$的向量之间的哈希冲突的预期数量接近于没有覆盖保证的最佳可能的数据无关LSH的哈希冲突的数量,即,Indyk和Motwani(STOC '98)的开创性LSH构造。当搜索半径不太大时,新构造的效率基本上是\emph{matches}它们的界限-例如,当为$cr = o(\log(n)/\log\log n)$时,其中$n$为数据集中的点数,当为$cr = \log(n)/k$时,其中$k$为整数常数。一般来说,它在时间界限的指数上最多相差一个因子$\ln(4)$。因此,在汉明空间中基于LSH的相似性搜索可以在很小或没有效率成本的情况下避免误报问题。
2016-01-07 cs.DS
Practical and Optimal LSH for Angular Distance
我们证明了存在一个局部敏感哈希(LSH)家庭的角距离,产生一个近似的近邻搜索算法的渐近最优的运行时间指数。与具有此属性的早期算法(例如,球形LSH [Andoni,Indyk,Nguyen,Razenshteyn 2014],[Andoni,Razenshteyn 2015]),我们的算法也是实用的,在实践中改进了研究良好的超平面LSH [Charikar,2002]。我们还介绍了该算法的多探针版本,并进行实验评估真实和合成数据集。我们补充了上述积极的结果与细粒度的下限的质量的任何LSH家庭的角距离。我们的下限意味着上述LSH家族表现出评估时间和质量之间的权衡,这对于LSH函数的自然类来说接近于最优。
2015-09-09 cs.CG cs.DS cs.IR
Multi-Level Spherical Locality Sensitive Hashing For Approximate Near Neighbors
本文介绍了“多层球面LSH”:一种无参数的多层、依赖于数据的局部敏感哈希数据结构,用于解决近似近邻问题(ANN)。该数据结构使用多探针自适应查询算法的修改版本,对于所有输入n,具有实现$O(n^p + t)$查询运行时间的潜力,其中$t <= n$。
2017-09-15 cs.DS
Scalability and Total Recall with Fast CoveringLSH
局部敏感哈希(LSH)已经成为在高维空间中具有强性能保证的相似性搜索的主要算法技术。传统LSH方案的缺点是它们可能具有\emph{false negatives},即,召回率小于100%.这限制了LSH在需要精确性能保证的环境中的适用性。基于最近理论上的“CoveringLSH”构造,消除了假阴性,我们提出了一个快速和实用的覆盖LSH方案的汉明空间称为\emph{Fast CoveringLSH (fcLSH)}。继承CoveringLSH的设计优势,我们的方法避免了假阴性,并始终报告所有近邻。与CoveringLSH相比,我们实现了从$\mathcal{O}(dL)$到$\mathcal{O}(d + L\log{L})$的哈希函数计算时间的渐进改进,其中$d$是数据的维数,$L$是哈希表的数量。我们对合成数据集和真实数据集的实验表明,\emph{fcLSH}在高维汉明空间中搜索半径高达20的情况下与传统的基于散列的方法相当(并且往往更优越)。
2016-08-19 cs.DB cs.DS cs.IR
Improving Similarity Search with High-dimensional Locality-sensitive Hashing
Salk Institute for Biological Studies(索尔克生物研究所)
提出了一类新的基于果蝇嗅觉回路的数据无关局部敏感哈希算法。这种方法的根本区别在于,不是将哈希分配为低维空间中的密集点,而是将哈希分配在高维空间中,这增强了它们的可分离性。我们从理论上和经验表明,这个新的家庭的哈希函数是局部敏感的,并保留在任何`p空间的输入的秩相似性。然后,我们分析了这种策略的不同变化,并实证表明,它们优于现有的LSH方法的最近邻居搜索六个基准数据集。最后,我们提出了一个多探针版本的算法,实现更高的性能相同的查询时间,或相反,保持性能的先前的方法,同时采取显着更少的索引时间和内存。总的来说,我们的方法利用了高维空间提供的可分性的优势,同时仍然保持计算效率
2018-12-05 cs.AI cs.DS cs.LG
Data-Dependent LSH for the Earth Mover's Distance
本研究提出面向推土机距离的新型数据依赖型局部敏感哈希方案,将最近邻搜索近似比从$O(\log^2 s)$提升至$\tilde{O}(\log s)$,并给出最优分布型概要,方案在常数碰撞概率的LSH中近最优。
2024-03-08 cs.DS
On the Problem of $p_1^{-1}$ in Locality-Sensitive Hashing
如果两个距离小于$r$的数据点以至少$p_1$的概率发生冲突,而距离大于$cr$的数据点以至多$p_2$的概率发生冲突,则局部敏感哈希(LSH)函数被称为$(r,cr,p_1,p_2)$敏感。这些功能的基础上成功的印地克-Motwani算法(STOC 1998)的最近邻问题。具体地,可以构建具有查询时间$\tilde O(n^ρ/p_1)$的$c$ -近似最近邻数据结构,其中$ρ=\frac{\log1/p_1}{\log1/p_2}\in(0,1)$。即次线性时间,只要$p_1$不太小。这是重要的,因为大多数高维最近邻问题都受到维数灾难的影响,并且不能比数据库的暴力线性时间扫描更快地精确解决。不幸的是,最好的LSH函数往往具有非常低的冲突概率,$p_1$和$p_2$。包括余弦和Jaccard相似性的最佳函数。这意味着LSH的$n^ρ/p_1$查询时间通常不是次线性的,即使对于近似的最近邻也是如此!本文对一般的Indyk-Motwani算法进行了改进,将LSH的查询时间减少到$\tilde O(n^ρ/p_1^{1-ρ})$(并相应地减少了空间占用)。由于$n^ρp_1^{ρ-1} < n \Leftrightarrow p_1 > n^{-1}$,我们的算法总是获得次线性查询时间,任何碰撞概率至少$1/n$。对于足够小的$p_1$和$p_2$,我们对所有以前的方法的改进可以在查询…
2020-05-25 cs.DS
A Sparse Johnson--Lindenstrauss Transform
降维是一种重要的算法工具,在流模型中有着广泛的应用,包括最近邻搜索、压缩感知和线性代数。在这项工作中,我们得到了{ \em稀疏}版本的基本工具,在维减少-约翰逊-林登施特劳斯变换。使用散列和局部致密化,我们构造了一个稀疏投影矩阵,每列只有$\tilde{O}(\frac{1}ε)$非零条目。我们还显示了一个匹配的下界的稀疏投影矩阵的一大类。我们的边界是有点令人惊讶的,已知的下界$Ω(\frac{1}{ε^2})$的行数的任何投影矩阵和稀疏性的投影矩阵产生的自然建设。使用这一点,我们实现了$(1\pmε)$近似投影的每个非零元素的$\tilde{O}(\frac{1}ε)$更新时间,从而大大优于现有方法所需的$\tilde{O}(\frac{1}{ε^2})$更新时间。我们的方法的一个变体为稀疏向量提供了相同的保证,但其$\tilde{O}(d)$最坏情况下的运行时间与Ailon和Liberty的最佳方法相匹配。
2010-04-23 cs.DS
Improving LSH via Tensorized Random Projection
Indian Institute of Technology Mandi(印度曼迪印度理工学院);Indian Institute of Technology Hyderabad(印度海得拉巴印度理工学院)
针对高阶张量数据下传统LSH方法参数呈指数增长的问题,基于CP和TT分解技术提出了空间高效且适用于低秩张量的CP-E2LSH、TT-E2LSH、CP-SRP和TT-SRP方法,并提供了严格的理论分析。
2025-03-02 cs.DS cs.LG stat.ML
Approximate Nearest Neighbor Search in $\ell_p$
提出了一种新的局部敏感哈希算法--基于$1<p<2$的$\ell_p$中的近似最近邻搜索.针对一个数据库中的$n$点,在$\ell_p$中实现了$O(dn^ρ)$的查询时间和$O(dn+n^{1+ρ})$空间,其中$ρ\le O((\ln c)^2/c^p)$。这改进了Datar等人(SOCG,2004年)先前的最佳上限$ρ\le 1/c$,并接近O 'Donnell、Wu和Zhou(ITCS,2011年)的下限$ρ\ge 1/c^p$。这个证明是Andoni和Indyk(FOCS 2006)对$\ell_2$的LSH方案的简单推广。
2013-06-15 cs.CG cs.DS
Fast Locality-Sensitive Hashing Frameworks for Approximate Near Neighbor Search
Indyk-Motwani局部敏感散列(LSH)框架(STOC 1998)是一种通用技术,用于通过在划分空间的局部敏感散列函数上使用分布$\mathcal{H}$来构造数据结构以回答近似近邻查询。对于$n$点的集合,在预处理之后,查询时间由来自$\mathcal{H}$和$O(n^ρ)$哈希表查找的哈希函数的$O(n^ρ \log n)$评估和距离计算支配,其中$ρ\in (0,1)$由$\mathcal{H}$的局部敏感性属性确定。Dahlgaard等人(FOCS 2017)的最新结果表明,位置敏感哈希函数的数量可以减少到$O(\log^2 n)$,使查询时间由$O(n^ρ)$距离计算和$O(n^ρ \log n)$额外的字RAM操作主导。我们将此结果作为一个通用框架,并提供了一个更简单的分析,表明查找和距离计算的数量与Indyk-Motwani框架非常匹配,使其成为实践中可行的替代品。使用Andoni和Indyk(SODA 2006)的另一个局部敏感哈希框架的想法,我们能够将额外的字RAM操作减少到$O(n^ρ)$。
2018-02-16 cs.DS
Improved Space-Efficient Approximate Nearest Neighbor Search Using Function Inversion
本文利用函数求逆技术提出黑盒式方法降低LSH空间占用,并改进ALRW数据结构的查询时间,证明点列表数据结构对欧氏和曼哈顿ANN并非最优。
2024-07-02 cs.DS
Understanding Sparse JL for Feature Hashing
Harvard University(哈佛大学)
特征散列和其他随机投影方案通常用于降低特征向量的维数。我们的目标是有效地将生活在$\mathbb{R}^n$中的高维特征向量投影到低得多的维度空间$\mathbb{R}^m$中,同时近似地保持欧几里德范数。这些方案可以使用稀疏随机投影来构建,例如使用稀疏Johnson-Lindenstrauss(JL)变换。由Weinberger et. al(ICML '09)分析了稀疏度为1的稀疏JL在具有小的$\ell_\infty$与$\ell_2$范数比的特征向量上的准确性。最近,Freksen,Kamma和Larsen(NeurIPS '18)通过证明具有稀疏性$1$的稀疏JL的$\ell_\infty$与$\ell_2$范数比和准确性之间的紧密权衡来结束这一工作。在本文中,我们证明了在特征向量上的稀疏JL中使用稀疏$s$大于$1$的好处。我们的主要结果是$\ell_\infty$到$\ell_2$的范数比和一般稀疏$s$的准确性之间的紧密权衡,显着推广的结果Freksen等。我们的结果从理论上证明,稀疏的JL与$s > 1$可以有显着更好的范数保存属性的特征向量比稀疏的JL与$s = 1$,我们也实证证明了这一发现。
2020-03-26 cs.DS cs.LG math.PR