Near-Isometric Binary Hashing for Large-scale Datasets
我们开发了一个可扩展的算法来学习二进制哈希码索引大规模数据集。近等距二进制哈希(Near-isometric binary hashing,NIBH)是一种数据相关的哈希方案,它量化学习的低维嵌入的输出以获得二进制哈希码。与通常依赖于$\ell_2$范数(即,平均失真)最小化,NIBH基于$\ell_{\infty}$ -范数(即,最坏情况失真)最小化,其提供若干益处,包括优越的距离、排名和近邻保存性能。我们开发了一个实用和高效的算法NIBH列生成的基础上,规模以及大型数据集。一系列的实验评估表明,NIBH的优越性超过10个国家的最先进的二进制哈希方案。
2016-03-12 cs.DS
Locality-Sensitive Hashing without False Negatives for l_p
在本文中,我们展示了一种没有误报的局部敏感哈希函数的构造,即,其确保当$p \in [1,\infty]$时,在配备有$l_p$范数的$d$维空间中的给定半径$R$内的每对点的碰撞。此外,我们展示了如何使用这些哈希函数来解决$c$ -近似最近邻搜索问题,而不会出现误报。也就是说,如果存在距离为$R$的点,我们肯定会报告它,而对于$c=Ω(\sqrt{d},d^{1-\frac{1}{p}})$,距离大于$cR$的点将不会报告。构造的算法工作:- 具有预处理时间$\mathcal{O}(n \log(n))$和期望查询时间$\mathcal{O}(\log(n))$。我们的论文报告了解决Pagh [8]提出的公开问题的进展,Pagh [8]考虑了Hamming距离的最近邻搜索而没有假阴性。
2016-11-28 cs.DS
Hashing for Similarity Search: A Survey
Microsoft Research(微软研究院);The University of Queensland(昆士兰大学);Tsinghua University(清华大学)
相似性搜索(最近邻搜索)是从大型数据库中寻找与查询项距离最小的数据项的问题。已经开发了各种方法来解决这个问题,最近已经投入了大量的努力近似搜索。在本文中,我们提出了一个调查的主要解决方案之一,哈希,这已经被广泛研究,因为开拓性的工作局部敏感哈希。本文将散列算法分为两大类:局部敏感散列算法(locality sensitive hashing)和学习散列算法(learning to hash),局部敏感散列算法是根据数据分布来学习散列函数,本文从散列函数的设计、散列编码空间中的距离度量和搜索机制等方面对散列算法进行了综述。
2014-08-13 cs.CV cs.DB cs.DS
A Note on Second-Order Expected Maximum-Load Bounds for Binary Linear Hashing
Technion(以色列理工学院)
本文研究了二进制线性哈希在二进制线性映射下的二次最大负载界限,证明了其在第二阶最大负载尺度上几乎与完全独立哈希匹配,并给出了一个固定桶的精确尾部界限。
2026-05-18 cs.DS
FRESH: Fréchet Similarity with Hashing
本文研究了连续Fréchet距离下曲线的$r$ -范围搜索问题:给定$n$多边形曲线的数据集$S$和一个阈值$r>0$,构造一个数据结构,对于任何查询曲线$q$,该数据结构有效地返回$S$中距离$q$至多为$r$的所有条目.我们提出了新鲜,近似和随机的方法$r$范围搜索,利用局部敏感的哈希方案检测候选人附近的邻居的查询曲线,并在随后的修剪步骤的基础上级联的曲线简化。我们的实验比较\fresh精确和确定性的解决方案,我们表明,高性能可以达到适当放松精度和召回。
2019-06-05 cs.CG cs.DS
Notes on Randomized Algorithms
本书为随机算法课程提供讲义,涵盖概率论工具和经典随机算法分析,包括快速排序、哈希、马尔可夫链蒙特卡洛采样等核心内容。
2025-12-18 cs.DS
Locality-sensitive hashing of curves
我们研究的数据结构存储一组多边形曲线在${\rm R}^d$,这样,给定一个查询曲线,我们可以有效地检索相似的曲线从集合中,其中相似性是使用离散的Fréchet距离或动态时间弯曲距离。为此,我们设计了第一个位置敏感的哈希方案,这些距离的措施。一个主要的挑战是,这些距离测量内部优化曲线之间的对齐。我们给出了不同类型的路线,包括约束和无约束的版本的解决方案。对于无约束的路线,我们改进了Indyk从2002年开始的短曲线的结果。令$n$为输入曲线的数量,并令$m$为输入中曲线的最大复杂度。在特定的情况下,$m \leq \fracα{4d} \log n$,对于一些固定的$α>0$,我们的解决方案意味着一个近似的近邻数据结构的离散弗雷歇距离,使用空间在$O(n^{1+α}\log n)$和实现查询时间在$O(n^α\log^2 n)$和常数近似因子。此外,我们的解决方案提供了近似质量和计算性能之间的权衡:对于任何参数$k \in [m]$,我们可以给出一个数据结构,使用空间在$O(2^{2k}m^{k-1} n \log n + nm)$,回答查询在$O( 2^{2k} m^{k}\log n)$时间,并实现近似因子在$O(m/k)$。
2017-03-11 cs.CG cs.DS cs.IR
Locality-Sensitive Hashing for f-Divergences: Mutual Information Loss and Beyond
Yale University(耶鲁大学);Google Research(谷歌研究院)
计算高维空间中的近似最近邻是大规模数据采掘的核心问题,在机器学习和数据科学中有着广泛的应用。近似计算最近邻居的一种流行且有效的技术是局部敏感哈希(LSH)方案。在本文中,我们的目标是开发LSH计划的距离函数,测量两个概率分布之间的距离,特别是f-发散以及概括捕捉互信息损失。首先,我们提供了一个一般的框架来设计LHS计划的f-散度距离函数和发展LSH计划的广义Jensen-Shannon散度和三角歧视在这个框架。我们证明了一个双边的近似结果的广义詹森-香农发散的Hellinger距离,这可能是独立的兴趣。接下来,我们展示了一个一般的方法,减少设计一个LSH计划的Krein内核(它可以表示为两个正定内核的差异)的问题的最大内积搜索。由于该方法在模型压缩等方面的重要应用,我们将其应用于互信息损失,从而证明了该方法的有效性。
2019-10-28 cs.DB cs.DS cs.LG
Multi-Resolution Hashing for Fast Pairwise Summations
在大规模数据集分析中,一个基本的计算原语是对大量对象上的简单函数求和。现代应用程序提出了一个额外的挑战,因为这样的功能往往取决于一个参数向量$y$(查询)是未知的先验。给定一组点$X\subset \mathbb{R}^{d}$和一个成对函数$w:\mathbb{R}^{d}\times \mathbb{R}^{d}\to [0,1]$,我们研究了设计一个数据结构的问题,该数据结构使任何查询$y\in \mathbb{R}^{d}$的求和$Z_{w}(y)=\frac{1}{|X|}\sum_{x\in X}w(x,y)$的次线性时间近似。通过将调和分析(单位和近似理论的分区)的思想与基于哈希的估计器[Charikar,Siminelakis FOCS'17]相结合,我们提供了一个通过哈希设计这种数据结构的通用框架,远远超出了以前的技术所允许的范围。一个关键的设计原则是一个集合的$T\geq 1$散列方案与冲突概率$p_{1},\ldots, p_{T}$,使得$\sup_{t\in [T]}\{p_{t}(x,y)\} = Θ(\sqrt{w(x,y)})$。这导致使用来自每个散列族的子线性数量的样本来近似$Z_{w}(y)$的数据结构。使用这个新的框架以及距离敏感哈希[Aumuller,Christiani,Pagh,Silvestri PODS'18],我们证明了这样的集合可…
2018-11-03 cs.DS
Quantum search in a dictionary based on fingerprinting-hashing
本文提出一种基于量子指纹哈希的字典搜索算法,在未排序字典中搜索单词,使用 $O(\sqrt{n})$ 次查询,内存仅需 $O(\log n + \log m)$ 量子比特,优于先前算法的 $O(\log n + m)$。
2024-12-16 cs.DS cs.IT math.IT
Algorithms for Massive Data -- Lecture Notes
Ca’ Foscari University of Venice(威尼斯卡福斯卡里大学)
本讲义介绍处理大规模数据的算法技术,包括压缩数据结构、数据草图、后缀数组、概率过滤器、局部敏感哈希及流算法等。
2026-02-26 cs.DS
Locality Sensitive Hashing for Efficient Similar Polygon Retrieval
局部敏感哈希(LSH)是一种有效的索引一组项目,以支持高效的最近邻查询在高维空间中的方法。LSH的基本思想是相似项产生哈希冲突的概率应该高于不相似项。我们研究LSH(不一定是凸的)多边形,并使用它来提供有效的数据结构相似形状检索。Arkin等人用“转向函数”来表示多边形--一个在遍历多边形的周长时遵循多边形的切线和$ x $轴之间的角度的函数。它们将多边形之间的距离定义为它们的转向函数之间的$ L_p $(对于$p=1,2$)距离的变化。该度量在平移、旋转和缩放(以及在周长上选择初始点)下是不变的,因此很好地模拟了形状相似性的直观概念。我们开发和分析LSH近邻数据结构的几个变化的$ L_p $距离的功能($p=1,2$)。通过将我们的计划的多边形的集合的转向功能,我们获得高效的近邻基于LSH的多边形结构。为了调整我们的结构,转向功能的多边形,我们证明了这些转向功能,可能是独立的利益的一些新的属性。作为我们分析的一部分,我们解决了以下独立感兴趣的问题。找出在$ L_1 $距离上最接近函数$ g $的函数$ f $的垂直平移。我们证明紧界的近似保证得到的翻译是等于$ g $和$ f $的平均值之间的差异。
2021-02-19 cs.CG cs.DS cs.IR
A Sparse Johnson-Lindenstrauss Transform using Fast Hashing
该研究放宽了稀疏Johnson-Lindenstrauss变换对哈希函数的独立性假设,给出更通用的分析,并证明混合制表哈希函数满足要求,首次实现该变换与实用哈希函数的适配分析。
2023-05-04 cs.DS
On the Problem of $p_1^{-1}$ in Locality-Sensitive Hashing
如果两个距离小于$r$的数据点以至少$p_1$的概率发生冲突,而距离大于$cr$的数据点以至多$p_2$的概率发生冲突,则局部敏感哈希(LSH)函数被称为$(r,cr,p_1,p_2)$敏感。这些功能的基础上成功的印地克-Motwani算法(STOC 1998)的最近邻问题。具体地,可以构建具有查询时间$\tilde O(n^ρ/p_1)$的$c$ -近似最近邻数据结构,其中$ρ=\frac{\log1/p_1}{\log1/p_2}\in(0,1)$。即次线性时间,只要$p_1$不太小。这是重要的,因为大多数高维最近邻问题都受到维数灾难的影响,并且不能比数据库的暴力线性时间扫描更快地精确解决。不幸的是,最好的LSH函数往往具有非常低的冲突概率,$p_1$和$p_2$。包括余弦和Jaccard相似性的最佳函数。这意味着LSH的$n^ρ/p_1$查询时间通常不是次线性的,即使对于近似的最近邻也是如此!本文对一般的Indyk-Motwani算法进行了改进,将LSH的查询时间减少到$\tilde O(n^ρ/p_1^{1-ρ})$(并相应地减少了空间占用)。由于$n^ρp_1^{ρ-1} < n \Leftrightarrow p_1 > n^{-1}$,我们的算法总是获得次线性查询时间,任何碰撞概率至少$1/n$。对于足够小的$p_1$和$p_2$,我们对所有以前的方法的改进可以在查询…
2020-05-25 cs.DS
Falconn++: A Locality-sensitive Filtering Approach for Approximate Nearest Neighbor Search
University of Auckland(奥克兰大学)
我们提出了Falconn++,一种新的局部敏感的过滤方法,用于角距离上的近似最近邻搜索。Falconn++可以在任何哈希桶\textit{before}查询中过滤掉潜在的远距离点,与其他基于哈希的解决方案相比,这会产生更高质量的候选点。理论上,Falconn++比Falconn具有更低的查询时间复杂度,Falconn是一种基于角距离的最优局部敏感哈希算法.根据经验,Falconn++在许多真实数据集上实现了比Falconn更高的召回速度权衡。Falconn++也与HNSW竞争,HNSW是基于图形的解决方案在高搜索召回机制上的有效代表。
2022-10-22 cs.CV cs.DS
On fast bounded locality sensitive hashing
在本文中,我们研究了表示为标量积的散列函数,即,$f(x)=<v,x>$,对于某个有界随机向量$v$。这样的散列函数有许多应用,但通常需要优化$v$分布的选择。在目前的工作中,我们专注于所谓的反浓度边界,即上界的$\mathbb{P}\left[|<v,x>| < α\right]$。在许多应用中,$v$是具有标准正态分布的独立随机变量的向量。在这种情况下,$<v,x>$的分布也是正态的,并且很容易近似$\mathbb{P}\left[|<v,x>| < α\right]$。在这里,我们考虑两个有界分布的上下文中的反浓度界限。特别地,我们分析$v$是来自$l_{\infty}$中的单位球的随机向量,以及$v$是来自$l_{2}$中的单位球的随机向量。我们显示了最佳的一个常数的反浓度措施的功能$f(x)=<v,x>$。由于我们的研究,我们获得了新的最佳结果\newline \textit{$c$-approximate nearest neighbors without false negatives} $l_p$在高维空间的所有$p\in[1,\infty]$,为$c=Ω(\max\{\sqrt{d},d^{1/p}\})$。这些结果优于[16]中提出的结果。最后,我们报告了Pagh~[17]在解决这个公开问题上的进展,他考虑了Hamming距离的最近邻搜索而没有误报。
2017-04-19 cs.DS
Robust Set Reconciliation via Locality Sensitive Hashing
我们考虑的变化,设置和解问题,双方,爱丽丝和鲍勃,每个持有一组点在度量空间中,和目标是鲍勃结束一组点,这是接近爱丽丝的一组点在一个定义良好的方式。此设置被称为鲁棒集协调。更具体地说,在一个变体中,我们研究的目标是Bob以一组在推土机距离上接近Alice的点结束,而在另一个变体中,目标是Bob具有接近Alice的每个点的点。第一个问题之前已经研究过了,我们的结果随着空间的维度而更好地扩展。第二个问题似乎是新的。我们的主要新颖性是利用可逆Bloom哈希表与局部敏感哈希相结合。这种组合使我们能够以有效的通信方式处理几何设置。
2018-07-25 cs.CG cs.DC cs.DS
Optimal lower bounds for locality sensitive hashing (except when q is tiny)
我们研究了局部敏感哈希(LSH)在最强设置下的下界:{0,1}^d中的点集在汉明距离下。回想一下,这里H被称为(r,cr,p,q)敏感哈希族,如果{0,1}^d中dist(x,y)最多为r的所有对x,y在H中随机选择的h下具有至少p的冲突概率,而{0,1}^d中dist(x,y)至少为cr的所有对x,y具有最多q的冲突概率。通常,我们认为d趋于无穷大,c固定,q有界远离0。对于其在高维近似最近邻搜索中的应用,LSH族H的质量由其“rho参数”rho = ln(1/p)/ln(1/q)作为参数c的函数有多小来决定。Indyk和Motwani的开创性论文表明,对于每个c,极其简单的族H = {x -> x_i:i in d}最多达到1/c。由于Motwani、Naor和Panigrahy的研究,唯一已知的下限是rho必须至少为0.46/c(减去o_d(1))。本文给出了一个最优下界:ρ必须至少为1/c(减去o_d(1))。这个汉明空间的下界给出了欧几里得空间(或单位球面)的下界1/c^2和集合上的杰卡德距离的下界1/c;这两个下界都与已知的上界相匹配。我们的证明很简单;本质是布尔函数在e^{-t}处的噪声稳定性是t的对数凸函数。
2009-12-01 cs.CG cs.DS
Locality Sensitive Hashing for Set-Queries, Motivated by Group Recommendations
局部敏感哈希(LSH)是一种有效的方法来索引一组点,这样我们就可以有效地找到查询点的最近邻居。我们将这种方法扩展到我们的新的集查询LSH(SLSH),这样它就可以找到一组点的最近邻居,作为查询。令$ s(x,y) $为两个点$ x $和$ y $之间的相似度。我们通过聚合所有$ p\in Q $的相似性$ s(p,x) $来定义集合$ Q$和点$ x $之间的相似性。例如,我们可以将$ s(p,x) $作为$ p $和$ x $之间的角度相似性(即,$1-{\angle (x,p)}/π$),并通过算术或几何平均或取最低相似性进行聚集。我们开发了本地敏感的哈希家庭和数据结构的一大套这样的算术和几何平均相似性,并分析其碰撞概率。我们还建立了一个类似的框架和散列距离函数的家庭。具体来说,我们给出了一个结构的欧氏距离聚合的平均值或采取最大值。我们利用SLSH来解决近似近邻问题的几何扩展。在这个版本中,我们考虑了一个度量,其中单位球是一个椭球体,其方向是由查询指定的。激励我们工作的一个重要应用是组推荐系统。这样的系统将电影和用户嵌入在相同的特征空间中,并且推荐一部电影供一组人一起观看的任务使用适当的相似性转换为集合查询$ Q $。
2020-04-21 cs.CG cs.DS cs.IR
Hierarchical Locality Sensitive Hashing for Structured Data: A Survey
本文综述了面向序列、树和图等结构化数据的分层局部敏感哈希算法,系统梳理其数据结构设计、应用场景及未来挑战。
2025-03-11 cs.DS cs.IR
A note on distance labeling in planar graphs
距离标记方案是将标签(即二进制字符串)分配给图的所有节点,使得任何两个节点之间的距离可以从它们的标签计算,并且标签尽可能短。一个主要的开放问题是确定距离标记的复杂性在无权和无向平面图。众所周知,在$n$节点上的这种图中,一些标签必须由$Ω(n^{1/3})$位组成,但是最著名的标签方案使用长度为$O(\sqrt{n}\log n)$的标签[Gavoille,Peleg,Pérennes,and Raz,J. Algorithms,2004]。我们表明,事实上,标签的长度$O(\sqrt{n})$是足够的。
2016-11-20 cs.DS
Clustered Hierarchical Entropy-Scaling Search of Astronomical and Biological Data
天文学和生物学都在经历数据的爆炸性增长,导致了“大数据”问题,阻碍了“大数据”的发现机会。对此类数据的一个常见问题是近似搜索($ρ-$最近邻搜索)。我们提出了一个分层搜索算法,这样的数据集,利用特定的几何属性明显的天文和生物数据集,即度量熵和分形维数的数据。我们提出了CHESS(离散层次熵缩放搜索),一个搜索工具,几乎没有损失的特异性或灵敏度,证明了$13.6\times$加速线性搜索斯隆数字巡天的APOGEE数据集和$68\times$加速GreenGenes 16 S宏基因组数据集,以及渐近更少的距离比较APOGEE相比,PALCONN位置敏感的哈希库。国际象棋证明了一个渐近的复杂性不直接依赖于数据集的大小,并在实践中至少是一个数量级的速度比线性搜索进行更少的距离比较。与位置敏感哈希方法不同,CHESS可以使用任何用户定义的距离函数。CHESS还允许隐式数据压缩,我们在APOGEE数据集上演示了这一点。我们还讨论了一个扩展,允许有效的k-最近邻搜索。
2019-11-10 cs.CE cs.DS
A Note on Distance-Preserving Graph Sparsification
我们考虑以下类型的问题:给定一个图$G$,在最坏的情况下,需要多少条边的稀疏子图$H$,大约保持一组给定的节点对$P$之间的距离?例子包括成对spectors,距离转换器,可达性转换器,等等。有一种趋势,在该地区的简单结构的基础上的命中集技术,其次是稍微更复杂的结构,提高了从命中集的界限,大约一个$\log$的因素。在本文中,我们指出基于碰集的简单构造实际上并不需要额外的$\log$因子。这简化和统一了该领域的一些证明,并改进了来自$+4$ [Kavitha Th.补偿系统'17]到$O(np^{2/7})$。
2021-05-07 cs.DS math.CO
Practical and Optimal LSH for Angular Distance
我们证明了存在一个局部敏感哈希(LSH)家庭的角距离,产生一个近似的近邻搜索算法的渐近最优的运行时间指数。与具有此属性的早期算法(例如,球形LSH [Andoni,Indyk,Nguyen,Razenshteyn 2014],[Andoni,Razenshteyn 2015]),我们的算法也是实用的,在实践中改进了研究良好的超平面LSH [Charikar,2002]。我们还介绍了该算法的多探针版本,并进行实验评估真实和合成数据集。我们补充了上述积极的结果与细粒度的下限的质量的任何LSH家庭的角距离。我们的下限意味着上述LSH家族表现出评估时间和质量之间的权衡,这对于LSH函数的自然类来说接近于最优。
2015-09-09 cs.CG cs.DS cs.IR