Lattice-based Locality Sensitive Hashing is Optimal
Indyk和Motwani（STOC '98）引入了局部敏感散列（LSH），以给出仅使用多项式空间的c-近似最近邻（ANN）问题的第一个次线性时间算法。在高级别上，LSH家族将“附近”点散列到同一个桶，将“远处”点散列到不同的桶。LSH族的度量质量是它的LSH指数，它有助于确定查询时间和空间使用。在一项开创性的工作中，Andoni和Indyk（FOCS '06）基于空间的随机球划分构建了一个LSH族，该族实现了l_2范数的LSH指数为1/c^2，这后来被Motwani，Naor和Panigrahy（SIDMA' 07）和O 'Donnell，Wu和Zhou（TOCT' 14）证明是最优的。虽然在LSH指数中是最优的，但是球划分方法在计算上是昂贵的。因此，在同一工作中，Andoni和Indyk提出了一种更简单，更实用的哈希方案，基于欧几里德格，并提供了使用24维Leech格的计算结果。然而，没有给出该方案的理论分析，从而留下了开放的问题，找到基于格的LSH的指数。在这项工作中，我们解决了这个问题，通过使用数字几何的技术来证明存在达到1/c^2的最佳LSH指数的格。在一个更概念化的层次上，我们的研究结果表明，最佳的LSH空间划分可以有周期性的结构。了解在何种程度上可以对这些分区施加额外的结构，例如，以产生低空间和查询复杂性，仍然是一个重要的开放问题。
2017-12-22 cs.DS
Approximate Similarity Search Under Edit Distance Using Locality-Sensitive Hashing
编辑距离相似性搜索，也称为近似模式匹配，是广泛应用于数据库的基本问题。问题的目标是预处理长度为$d$的$n$字符串，以快速回答以下形式的查询$q$：如果存在$q$的编辑距离$r$内的数据库字符串，则返回$q$的编辑距离$cr$内的数据库字符串。以前的方法，这个问题要么依赖于非常大的（超常数）近似比$c$，或非常小的搜索半径$r$。在狭窄的参数范围之外，这些解决方案与普通地搜索所有$n$字符串相比没有竞争力。在这项工作中，给出了一个简单且易于实现的哈希函数，可以快速回答各种参数的查询。具体来说，我们的策略可以回答查询的时间$\tilde{O}(d3^rn^{1/c})$。最著名的实际结果要求$c \gg r$达到任何正确性保证;同时，最著名的理论结果非常复杂，难以实现，并且要求查询时间至少为$24^r$。我们的研究结果显着拓宽了参数的范围，我们可以实现非平凡的界限，同时保留了实用性的局部敏感的哈希函数。我们还展示了如何将我们的想法应用于编辑距离的密切相关的近似最近邻问题，获得类似的时间范围。
2020-07-08 cs.DS
Locality-Sensitive Hashing Scheme based on Longest Circular Co-Substring
局部敏感散列（LSH）是高维空间中$c$ -近似最近邻搜索（$c$ -ANNS）最流行的方法之一。在本文中，我们提出了一种新的LSH方案的基础上最长循环共子串（LCCS）搜索框架（LCCS-LSH）的理论保证。本文提出了一种新的LCCS概念和一种用于$k$ -LCCS搜索的循环移位阵列（CSA）数据结构。LCCS搜索框架的见解是，接近的数据对象将具有比相距较远的数据对象更长的LCCS。LCCS-LSH是\emph{LSH-family-independent}，它支持具有不同类型距离度量的$c$ -ANNS。我们还介绍了LCCS-LSH的多探针版本，并在五个真实数据集上进行了广泛的实验。实验结果表明，LCCS-LSH优于最先进的LSH计划。
2020-04-11 cs.DB cs.DS
Beyond Locality-Sensitive Hashing
提出了一种新的用于欧氏空间中的c-近似近邻问题（ANN）的数据结构。对于R^d中的n个点，我们的算法实现了O（n^ρ + dlog n）的查询时间和O（n^{1 + ρ} + dlog n）的空间，其中ρ<= 7/（8c^2）+ O（1 / c^3）+ o（1）.这是对Andoni和Indyk（FOCS 2006）结果的首次改进，也是第一个绕过O 'Donnell，Wu和Zhou（ICS 2011）证明的局部敏感哈希下限的数据结构。通过标准约简，我们得到了一个Hamming空间的数据结构和\ell_1范数，其中ρ<= 7/（8 c）+ O（1/c^{3/2}）+ o（1），这是对Indyk和Motwani（STOC 1998）结果的首次改进.
2013-10-08 cs.CG cs.DS
Tight Lower Bounds for Data-Dependent Locality-Sensitive Hashing
我们证明了一个紧的下界指数$ρ$的数据依赖的局部敏感哈希方案，最近用于设计有效的解决方案的$c$ -近似最近邻搜索。特别是，我们的下界匹配$\ell_1$空间的$ρ\le \frac{1}{2c-1}+o(1)$的界，通过最近的算法从[Andoni-Razenshteyn，STOC'15]获得。近年来，人们发现，当散列函数与数据无关时，数据相关散列严格优于经典的局部敏感散列。在后一种设置中，最佳指数已经知道：对于$\ell_1$空间，紧边界是$ρ=1/c$，上限来自[Indyk-Motwani，STOC'98]，匹配的下限来自[O' Donnell-Wu-Zhou，ITCS'11]。我们证明，即使散列是数据相关的，它必须持有的$ρ\ge \frac{1}{2c-1}-o(1)$。为了证明这个结果，我们需要形式化数据相关哈希的确切概念，它也捕获了哈希函数的复杂性（除了它们的冲突属性）。如果不限制这种复杂性，我们将允许明显不可行的解决方案，如数据集的沃罗诺伊图。为了排除这种解决方案，我们要求哈希函数简洁。所有已知的算法结果都满足这个条件。
2015-07-15 cs.CC cs.CG cs.DS
Similarity Join Size Estimation using Locality Sensitive Hashing
相似连接是一种重要的操作，有着广泛的应用。本文研究了向量相似连接长度估计问题。它是以前研究的集合相似性连接大小估计（SSJ）问题的推广，可以处理更有趣的情况下，如TF-IDF向量。相似性连接大小估计中的关键挑战之一是连接大小可以根据输入相似性阈值而显著变化。我们提出了一个基于采样的算法，使用局部敏感哈希（LSH）计划。所提出的算法LSH-SS使用LSH索引，即使在高阈值下也能够进行有效采样。我们将所提出的技术与随机抽样和最先进的SSJ技术（适用于VSJ）进行比较，并证明LSH-SS在高和低相似性阈值以及使用真实数据集的小方差下提供更准确的估计。
2011-04-16 cs.DB cs.DS
Improved Asymmetric Locality Sensitive Hashing (ALSH) for Maximum Inner Product Search (MIPS)
Cornell University（康奈尔大学）；Rutgers University（罗格斯大学）
最近的研究表明，最大内积搜索（MIPS）问题是有效的，它允许可证明的次线性散列算法。哈希之前的非对称变换是解决MIPS的关键，否则很难。在先前的工作中，作者使用非对称变换，将近似MIPS的问题转换为近似近邻搜索的问题，可以使用散列有效地解决。在这项工作中，我们提供了一个不同的变换，将近似MIPS的问题转化为近似余弦相似性搜索的问题，可以有效地解决使用有符号的随机投影。理论分析表明，新方案明显优于原方案的MIPS。实验评估有力地支持了理论研究结果。
2014-11-13 cs.DS cs.IR cs.LG
Scaling up Kernel Ridge Regression via Locality Sensitive Hashing
EPFL（洛桑联邦理工学院）；Microsoft Research（微软研究院）；Google Research（谷歌研究院）
在Rahimi和Recht（2007）的开创性论文中引入的随机分箱特征是使用局部敏感散列近似核矩阵的有效方法。随机分箱特征提供了一种非常简单和有效的近似拉普拉斯核的方法，但不幸的是，它不适用于许多重要的核类别，特别是那些生成平滑高斯过程的核，如高斯核和Matern核。在本文中，我们介绍了一个简单的加权版本的随机装箱功能，并表明相应的核函数生成高斯过程的任何期望的平滑度。我们表明，我们的加权随机分仓功能提供了一个频谱近似相应的内核矩阵，导致有效的算法内核岭回归。在大规模回归数据集上的实验表明，该方法的精度优于随机傅立叶特征方法。
2020-03-21 cs.DS cs.LG stat.ML
Locality-Preserving Minimal Perfect Hashing of k-mers
本文针对连续提取的 k-mer 提出一种保局部性最小完美哈希函数，利用相邻 k-mer 的重叠关系突破经典空间下界，使连续 k-mer 映射到连续地址，实验表明其空间占用更小且查询更快。
2023-04-12 cs.DS
Robust Set Reconciliation via Locality Sensitive Hashing
我们考虑的变化，设置和解问题，双方，爱丽丝和鲍勃，每个持有一组点在度量空间中，和目标是鲍勃结束一组点，这是接近爱丽丝的一组点在一个定义良好的方式。此设置被称为鲁棒集协调。更具体地说，在一个变体中，我们研究的目标是Bob以一组在推土机距离上接近Alice的点结束，而在另一个变体中，目标是Bob具有接近Alice的每个点的点。第一个问题之前已经研究过了，我们的结果随着空间的维度而更好地扩展。第二个问题似乎是新的。我们的主要新颖性是利用可逆Bloom哈希表与局部敏感哈希相结合。这种组合使我们能够以有效的通信方式处理几何设置。
2018-07-25 cs.CG cs.DC cs.DS
On fast bounded locality sensitive hashing
在本文中，我们研究了表示为标量积的散列函数，即，$f(x)=<v,x>$，对于某个有界随机向量$v$。这样的散列函数有许多应用，但通常需要优化$v$分布的选择。在目前的工作中，我们专注于所谓的反浓度边界，即上界的$\mathbb{P}\left[|<v,x>| < α\right]$。在许多应用中，$v$是具有标准正态分布的独立随机变量的向量。在这种情况下，$<v,x>$的分布也是正态的，并且很容易近似$\mathbb{P}\left[|<v,x>| < α\right]$。在这里，我们考虑两个有界分布的上下文中的反浓度界限。特别地，我们分析$v$是来自$l_{\infty}$中的单位球的随机向量，以及$v$是来自$l_{2}$中的单位球的随机向量。我们显示了最佳的一个常数的反浓度措施的功能$f(x)=<v,x>$。由于我们的研究，我们获得了新的最佳结果\newline \textit{$c$-approximate nearest neighbors without false negatives} $l_p$在高维空间的所有$p\in[1,\infty]$，为$c=Ω(\max\{\sqrt{d},d^{1/p}\})$。这些结果优于[16]中提出的结果。最后，我们报告了Pagh~[17]在解决这个公开问题上的进展，他考虑了Hamming距离的最近邻搜索而没有误报。
2017-04-19 cs.DS
Improving Similarity Search with High-dimensional Locality-sensitive Hashing
Salk Institute for Biological Studies（索尔克生物研究所）
提出了一类新的基于果蝇嗅觉回路的数据无关局部敏感哈希算法。这种方法的根本区别在于，不是将哈希分配为低维空间中的密集点，而是将哈希分配在高维空间中，这增强了它们的可分离性。我们从理论上和经验表明，这个新的家庭的哈希函数是局部敏感的，并保留在任何`p空间的输入的秩相似性。然后，我们分析了这种策略的不同变化，并实证表明，它们优于现有的LSH方法的最近邻居搜索六个基准数据集。最后，我们提出了一个多探针版本的算法，实现更高的性能相同的查询时间，或相反，保持性能的先前的方法，同时采取显着更少的索引时间和内存。总的来说，我们的方法利用了高维空间提供的可分性的优势，同时仍然保持计算效率
2018-12-05 cs.AI cs.DS cs.LG
Fast Locality Sensitive Hashing for Beam Search on GPU
Department of Computer Science, University of Southern California（南加州大学计算机科学系）；Department of Computer Science and Technology, Tsinghua University（清华大学计算机科学与技术系）
我们提出了一种基于GPU的局部敏感哈希（LSH）算法，以加快序列模型的束搜索。我们利用赢家通吃（WTA）哈希，这是基于隐藏的维度的相对排名顺序，从而弹性的数值扰动。我们的算法设计充分考虑了CUDA支持的GPU的底层架构（算法/架构协同设计）：1）并行Cuckoo哈希表用于LSH代码查找（保证O（1）查找时间）; 2）候选列表在波束之间共享以最大化并行性; 3）顶部频繁字合并到候选列表中以提高性能。在4个大规模神经机器翻译模型上的实验表明，该算法在softmax模块上可以获得4倍的加速比，在GPU上可以获得2倍的整体加速比，而不会损害BLEU。
2018-06-02 cs.AI cs.CL cs.DC
Reverse Nearest Neighbors Search in High Dimensions using Locality-Sensitive Hashing
我们调查的问题，有效地找到反向最近邻。虽然可以证明，这个问题在低维或固定维存在很好的解决方案，到目前为止，在高维提出的方法大多是启发式的。我们介绍了一种方法，这是可证明的正确和有效的，在所有维度上，基于减少的问题，一个实例的$\e$ -最近的邻居搜索加上一个受控数量的实例的{ \em穷举$r$ - \pleb }，一个变种的{ \em点定位之间的平等球}，其中所有的$r$ -球中心的数据点，包含查询点被寻找，不止一个前一个问题已经得到了广泛的研究，并在高维使用局部敏感哈希（LSH）技术优雅地解决了。相比之下，后一个问题的复杂性仍然没有得到充分理解。我们重新分析的LSH计划的详尽$r$ - \pleb使用一个有点细化的概念的局部敏感的哈希函数，这带来了一个有意义的输出敏感的长期问题的复杂性。我们的分析，结合非等距提升的数据，使我们能够回答详尽的$r$ - \pleb查询（和道路反向最近邻查询）有效。一路上，我们得到了一个简单的算法来回答确切的最近邻查询，其复杂性是参数化的一些{ \em条件数}测量一个给定的问题实例的固有困难。
2010-11-22 cs.CG cs.DS
Optimal Data-Dependent Hashing for Approximate Near Neighbors
我们展示了一个最佳的数据依赖哈希方案的近似近邻问题。对于$d$维空间中的$n$ -点数据集，我们的数据结构实现了查询时间$O(d n^{ρ+o(1)})$和空间$O(n^{1+ρ+o(1)} + dn)$，其中$ρ=\tfrac{1}{2c^2-1}$为欧氏空间和近似$c>1$ .对于Hamming空间，我们得到了$ρ=\tfrac{1}{2c-1}$的一个指数.我们的结果完成了[AINR 14]中提出的方向，他给出了一个概念验证，即数据相关哈希可以优于经典的局部敏感哈希（LSH）。与[AINR 14]相比，新的边界不仅是最佳的，而且实际上对于所有近似因子$c>1$都优于最佳（最佳）LSH数据结构[IM 98，AI 06]。从技术的角度来看，我们通过将任意数据集分解为几个子集来进行，这些子集在某种意义上是伪随机的。
2015-07-16 cs.DS
Sublinear Least-Squares Value Iteration via Locality Sensitive Hashing
Rice University（莱斯大学）；Institute for Advanced Study（高等研究院）；Princeton University（普林斯顿大学）
我们提出了第一个可证明的最小二乘值迭代（LSVI）算法，具有运行时复杂度次线性的行动的数量。我们制定的价值函数估计过程中的值迭代近似的最大内积搜索问题，并提出了一个局部敏感哈希（LSH）[Indyk和Motwani STOC'98，Andoni和Razenshteyn STOC'15，Andoni，Laarhoven，Razenshteyn和Waingarten SODA'17]类型的数据结构来解决这个问题的次线性时间复杂度。此外，我们建立了近似最大内积搜索理论和强化学习的后悔分析之间的联系。我们证明，我们的近似因子的选择，我们的次线性LSVI算法保持相同的遗憾，同时减少运行时的复杂性，以次线性的动作的数量的原始LSVI算法。据我们所知，这是第一个将LSH与强化学习相结合的工作，从而带来了可证明的改进。我们希望我们的新方法相结合的数据结构和迭代算法将打开大门，进一步研究成本降低优化。
2021-06-08 cs.DS cs.LG stat.ML
Locality Bounds for Sampling Hamming Slices
本文基于Viola的早期隐含结果，证明了近似采样特定汉明权重均匀分布的布尔函数具有超常数局部性下界，回答了多个开放问题，并给出数据结构下界与量子-经典分离的应用。
2024-02-27 cs.CC cs.DS quant-ph
On the Problem of $p_1^{-1}$ in Locality-Sensitive Hashing
如果两个距离小于$r$的数据点以至少$p_1$的概率发生冲突，而距离大于$cr$的数据点以至多$p_2$的概率发生冲突，则局部敏感哈希（LSH）函数被称为$(r,cr,p_1,p_2)$敏感。这些功能的基础上成功的印地克-Motwani算法（STOC 1998）的最近邻问题。具体地，可以构建具有查询时间$\tilde O(n^ρ/p_1)$的$c$ -近似最近邻数据结构，其中$ρ=\frac{\log1/p_1}{\log1/p_2}\in(0,1)$。即次线性时间，只要$p_1$不太小。这是重要的，因为大多数高维最近邻问题都受到维数灾难的影响，并且不能比数据库的暴力线性时间扫描更快地精确解决。不幸的是，最好的LSH函数往往具有非常低的冲突概率，$p_1$和$p_2$。包括余弦和Jaccard相似性的最佳函数。这意味着LSH的$n^ρ/p_1$查询时间通常不是次线性的，即使对于近似的最近邻也是如此！本文对一般的Indyk-Motwani算法进行了改进，将LSH的查询时间减少到$\tilde O(n^ρ/p_1^{1-ρ})$（并相应地减少了空间占用）。由于$n^ρp_1^{ρ-1} < n \Leftrightarrow p_1 > n^{-1}$，我们的算法总是获得次线性查询时间，任何碰撞概率至少$1/n$。对于足够小的$p_1$和$p_2$，我们对所有以前的方法的改进可以在查询…
2020-05-25 cs.DS
Falconn++: A Locality-sensitive Filtering Approach for Approximate Nearest Neighbor Search
University of Auckland（奥克兰大学）
我们提出了Falconn++，一种新的局部敏感的过滤方法，用于角距离上的近似最近邻搜索。Falconn++可以在任何哈希桶\textit{before}查询中过滤掉潜在的远距离点，与其他基于哈希的解决方案相比，这会产生更高质量的候选点。理论上，Falconn++比Falconn具有更低的查询时间复杂度，Falconn是一种基于角距离的最优局部敏感哈希算法.根据经验，Falconn++在许多真实数据集上实现了比Falconn更高的召回速度权衡。Falconn++也与HNSW竞争，HNSW是基于图形的解决方案在高搜索召回机制上的有效代表。
2022-10-22 cs.CV cs.DS
Fast Locality Sensitive Hashing with Theoretical Guarantee
Donghua University（东华大学）
本文提出 l2 范数下的 FastLSH，通过随机采样与随机投影将哈希复杂度由 O(n) 降至 O(m)，并在保持可证明 LSH 性质的同时实现最高 80 倍加速。
2023-09-27 cs.DS cs.LG
Algorithms for Similarity Search and Pseudorandomness
我们研究了近似近邻（ANN）搜索的问题，并显示了以下结果：-一个改进的框架，用于解决人工神经网络的问题，使用局部敏感的哈希，减少局部敏感的哈希函数的评价和字RAM的复杂性相比，标准的框架。- 一个框架，用于解决的ANN问题的空间-时间的权衡，以及紧的上限和下限的空间-时间的权衡框架解决方案的ANN问题的余弦相似性。- 一种新的方法来解决人工神经网络问题的集合，以及匹配的下限，提高了最先进的。-一个自调整版本的算法，通过实验，优于现有的相似性连接算法。- 非对称局部敏感散列的严格下界，可应用于近似最远邻居问题，正交向量搜索和环形查询。- 一个著名的布尔局部敏感散列方案的最优性证明。我们研究了问题的有效算法产生高品质的伪随机数，并得到以下结果：-一个确定性的算法生成任意高品质的伪随机数在恒定的时间使用近最佳空间。- 一种散列函数族的随机构造，它输出任意高质量的伪随机数，其空间使用和运行时间几乎匹配已知的小区探测下限。
2019-06-22 cs.DS
Parameter-free Locality Sensitive Hashing for Spherical Range Reporting
我们提出了一种用于点集$S$上的球面范围报告的数据结构，即，报告位于给定查询点$q$的半径$r$内的$S$中的所有点。我们的解决方案建立在Indyk和Motwani的局部敏感哈希（LSH）框架之上，该框架代表了高维近邻问题的渐近最佳解决方案。虽然传统的LSH数据结构有几个参数，其最佳值取决于从$q$到$S$的点的距离分布，我们的数据结构是无参数的，除了空间使用，这是由用户配置。然而，它的预期查询时间基本上匹配LSH数据结构的查询时间，LSH的参数已经在给定的空间约束下针对所讨论的数据和查询 * 进行了 * 最优选择。特别是，我们的数据结构提供了一个平滑的权衡之间的硬查询（通常由标准LSH解决）和容易的查询，如报告的点的数量是一个恒定的分数的$S$，或几乎所有的点在$S$远离查询点。相反，已知的数据结构仅基于输入的某些参数来固定LSH参数。该算法的预期查询时间以$O(t (n/t)^ρ)$为界，其中$t$是要报告的点数，而$ρ\in (0,1)$取决于数据分布和所用LSH族的强度。我们进一步提出了一种无参数的方式使用多探测，LSH家庭，支持它，并表明，对于许多这样的家庭，这种方法使我们能够得到预期的查询时间接近$O(n^ρ+t)$，这是最好的，我们可以希望实现使用LSH。以前在高维中最好的运行时间是$Ω(t n^ρ)$。对于许多数据分布，接近$q$的点集的固有维数较低，我们可以给出改…
2016-07-20 cs.DS
Hierarchical Locality Sensitive Hashing for Structured Data: A Survey
本文综述了面向序列、树和图等结构化数据的分层局部敏感哈希算法，系统梳理其数据结构设计、应用场景及未来挑战。
2025-03-11 cs.DS cs.IR
Locality Sensitive Hashing for p-Exponential Kernels with Applications to Density Estimation
Tel Aviv University（特拉维夫大学）
本文提出马赛克LSH方案，证明有界区域内所有1<p≤2的p-指数核可哈希，并据此开发高效密度估计方法。
2026-10-06 cs.CG cs.DS cs.LG
Lock-Free Hopscotch Hashing
在本文中，我们提出了一个无锁版本的跳房子散列。Hopscotch Hashing是一种开放寻址算法，最初由Herlihy，Saught和Tzafrir提出，以快速性能和出色的缓存局部性而闻名。该算法允许表的用户跳过或跳过不相关的条目，允许快速搜索、插入和删除条目。与传统的线性探测不同，Hopscotch Hashing能够在高负载系数下运行，因为探测数仍然很小。我们的无锁版本在速度、缓存位置和进度保证方面都比原来的版本有了改进，它是两个并发哈希表的嵌合体。我们比较我们的数据结构，其他各种无锁和阻塞哈希算法，并表明其性能在许多情况下优于现有的策略。所提出的无锁版本克服了与原始阻塞版本相关的一些缺点，从而大大提高了可扩展性，同时保持了物理删除或探测链压缩等有吸引力的功能。
2019-11-08 cs.DC cs.DS
Hashing for Similarity Search: A Survey
Microsoft Research（微软研究院）；The University of Queensland（昆士兰大学）；Tsinghua University（清华大学）
相似性搜索（最近邻搜索）是从大型数据库中寻找与查询项距离最小的数据项的问题。已经开发了各种方法来解决这个问题，最近已经投入了大量的努力近似搜索。在本文中，我们提出了一个调查的主要解决方案之一，哈希，这已经被广泛研究，因为开拓性的工作局部敏感哈希。本文将散列算法分为两大类：局部敏感散列算法（locality sensitive hashing）和学习散列算法（learning to hash），局部敏感散列算法是根据数据分布来学习散列函数，本文从散列函数的设计、散列编码空间中的距离度量和搜索机制等方面对散列算法进行了综述。
2014-08-13 cs.CV cs.DB cs.DS
It's the Best Only When It Fits You Most: Finding Related Models for Serving Based on Dynamic Locality Sensitive Hashing
Arizona State University（亚利桑那州立大学）
近年来，深度学习已经成为机器学习和人工智能中最热门的方向。然而，训练数据的准备通常是部署用于生产或研究的深度学习模型的生命周期中的瓶颈。重用模型来推断数据集可以大大节省创建训练数据所需的人力成本。虽然有许多模型共享平台，如TensorFlow Hub，PyTorch Hub，DLHub，但这些系统大多需要模型上传者手动指定每个模型的详细信息，模型下载者筛选关键字搜索结果以选择模型。他们缺乏一个自动的模型搜索工具。本文提出了一种端到端的过程，搜索相关的模型服务的基础上的目标数据集和可用模型的训练数据集的相似性。虽然存在许多相似性度量，我们研究如何有效地应用这些度量，而无需成对比较，并比较这些度量的有效性。我们发现，我们提出的自适应测量，这是基于Jensen-Shannon（JS）的分歧，是一个有效的测量，其计算可以显着加快通过使用局部敏感哈希技术。
2020-10-13 cs.DS cs.IR cs.LG
Locality-Sensitive Hashing for f-Divergences: Mutual Information Loss and Beyond
Yale University（耶鲁大学）；Google Research（谷歌研究院）
计算高维空间中的近似最近邻是大规模数据采掘的核心问题，在机器学习和数据科学中有着广泛的应用。近似计算最近邻居的一种流行且有效的技术是局部敏感哈希（LSH）方案。在本文中，我们的目标是开发LSH计划的距离函数，测量两个概率分布之间的距离，特别是f-发散以及概括捕捉互信息损失。首先，我们提供了一个一般的框架来设计LHS计划的f-散度距离函数和发展LSH计划的广义Jensen-Shannon散度和三角歧视在这个框架。我们证明了一个双边的近似结果的广义詹森-香农发散的Hellinger距离，这可能是独立的兴趣。接下来，我们展示了一个一般的方法，减少设计一个LSH计划的Krein内核（它可以表示为两个正定内核的差异）的问题的最大内积搜索。由于该方法在模型压缩等方面的重要应用，我们将其应用于互信息损失，从而证明了该方法的有效性。
2019-10-28 cs.DB cs.DS cs.LG
Locality Sensitive Hashing for Set-Queries, Motivated by Group Recommendations
局部敏感哈希（LSH）是一种有效的方法来索引一组点，这样我们就可以有效地找到查询点的最近邻居。我们将这种方法扩展到我们的新的集查询LSH（SLSH），这样它就可以找到一组点的最近邻居，作为查询。令$ s(x,y) $为两个点$ x $和$ y $之间的相似度。我们通过聚合所有$ p\in Q $的相似性$ s(p,x) $来定义集合$ Q$和点$ x $之间的相似性。例如，我们可以将$ s(p,x) $作为$ p $和$ x $之间的角度相似性（即，$1-{\angle (x,p)}/π$），并通过算术或几何平均或取最低相似性进行聚集。我们开发了本地敏感的哈希家庭和数据结构的一大套这样的算术和几何平均相似性，并分析其碰撞概率。我们还建立了一个类似的框架和散列距离函数的家庭。具体来说，我们给出了一个结构的欧氏距离聚合的平均值或采取最大值。我们利用SLSH来解决近似近邻问题的几何扩展。在这个版本中，我们考虑了一个度量，其中单位球是一个椭球体，其方向是由查询指定的。激励我们工作的一个重要应用是组推荐系统。这样的系统将电影和用户嵌入在相同的特征空间中，并且推荐一部电影供一组人一起观看的任务使用适当的相似性转换为集合查询$ Q $。
2020-04-21 cs.CG cs.DS cs.IR
Locality-sensitive hashing of curves
我们研究的数据结构存储一组多边形曲线在${\rm R}^d$，这样，给定一个查询曲线，我们可以有效地检索相似的曲线从集合中，其中相似性是使用离散的Fréchet距离或动态时间弯曲距离。为此，我们设计了第一个位置敏感的哈希方案，这些距离的措施。一个主要的挑战是，这些距离测量内部优化曲线之间的对齐。我们给出了不同类型的路线，包括约束和无约束的版本的解决方案。对于无约束的路线，我们改进了Indyk从2002年开始的短曲线的结果。令$n$为输入曲线的数量，并令$m$为输入中曲线的最大复杂度。在特定的情况下，$m \leq \fracα{4d} \log n$，对于一些固定的$α>0$，我们的解决方案意味着一个近似的近邻数据结构的离散弗雷歇距离，使用空间在$O(n^{1+α}\log n)$和实现查询时间在$O(n^α\log^2 n)$和常数近似因子。此外，我们的解决方案提供了近似质量和计算性能之间的权衡：对于任何参数$k \in [m]$，我们可以给出一个数据结构，使用空间在$O(2^{2k}m^{k-1} n \log n + nm)$，回答查询在$O( 2^{2k} m^{k}\log n)$时间，并实现近似因子在$O(m/k)$。
2017-03-11 cs.CG cs.DS cs.IR
Optimal Las Vegas Locality Sensitive Data Structures
我们表明，近似相似性（近邻）搜索可以解决在高维度的性能匹配的最先进的（数据独立）局部敏感哈希，但没有假阴性的保证。具体地说，我们给出了两个数据结构的常见问题。对于Hamming空间中的$c$ -近似近邻，我们得到了与\cite{indyk1998approximate}匹配的查询时间$dn^{1/c+o(1)}$和空间$dn^{1+1/c+o(1)}$，并肯定地回答了~ \cite{indyk2000dimensionality}和~ \cite{pagh2016locality}长期存在的公开问题。通过一个新的确定性约简从$\ell_1$到汉明，我们还解决了$\ell_1$和$\ell_2$与查询时间$d^2n^{1/c+o(1)}$和空间$d^2 n^{1+1/c+o(1)}$。对于$(s_1,s_2)$ -近似Jaccard相似度，当集合大小相等时，我们得到查询时间$dn^{ρ+o(1)}$和查询空间$dn^{1+ρ+o(1)}$，$ρ=\log\frac{1+s_1}{2s_1}\big/\log\frac{1+s_2}{2s_2}$，性能与~ \cite{tobias2016}相当.这些算法是基于空间分区的，就像经典的LSH一样，但是我们使用蛮力、张量、完美散列和拆分器函数的组合来构建这些算法。我们还展示了一个新的降维引理与单侧误差。
2018-06-27 cs.DS
Optimal lower bounds for locality sensitive hashing (except when q is tiny)
我们研究了局部敏感哈希（LSH）在最强设置下的下界：{0，1}^d中的点集在汉明距离下。回想一下，这里H被称为（r，cr，p，q）敏感哈希族，如果{0，1}^d中dist（x，y）最多为r的所有对x，y在H中随机选择的h下具有至少p的冲突概率，而{0，1}^d中dist（x，y）至少为cr的所有对x，y具有最多q的冲突概率。通常，我们认为d趋于无穷大，c固定，q有界远离0。对于其在高维近似最近邻搜索中的应用，LSH族H的质量由其“rho参数”rho = ln（1/p）/ln（1/q）作为参数c的函数有多小来决定。Indyk和Motwani的开创性论文表明，对于每个c，极其简单的族H = {x -> x_i：i in d}最多达到1/c。由于Motwani、Naor和Panigrahy的研究，唯一已知的下限是rho必须至少为0.46/c（减去o_d（1））。本文给出了一个最优下界：ρ必须至少为1/c（减去o_d（1））。这个汉明空间的下界给出了欧几里得空间（或单位球面）的下界1/c^2和集合上的杰卡德距离的下界1/c;这两个下界都与已知的上界相匹配。我们的证明很简单;本质是布尔函数在e^{-t}处的噪声稳定性是t的对数凸函数。
2009-12-01 cs.CG cs.DS
Distance-Sensitive hashing
局部敏感哈希（LSH）是管理高维噪声或不确定数据的重要工具，例如与数据清理（相似性连接）和噪声鲁棒搜索（相似性搜索）有关。然而，对于一些问题的LSH框架是不知道产生良好的解决方案，而是特设的解决方案已被设计为特定的相似性和距离的措施。例如，对于输出敏感的相似性搜索/连接，以及对于支持环形查询的索引，这是真实的，该环形查询旨在报告与查询点接近某个给定距离的点。在本文中，我们开始研究距离敏感哈希（DSH），LSH的推广，寻求一个家庭的哈希函数，使两个点具有相同的哈希值的概率是一个给定的函数之间的距离。更准确地说，给定距离空间$(X, \text{dist})$和“碰撞概率函数”（CPF）$f\colon \mathbb{R}\rightarrow [0,1]$，我们寻求函数对$(h,g)$上的分布，使得对于每对点$x, y \in X$，碰撞概率是$\Pr[h(x)=g(y)] = f(\text{dist}(x,y))$。局部敏感哈希是研究CPF随着距离的增加而减少的速度。对于许多空间，$f$可以指数下降，即使我们限制注意的对称情况下，$g=h$。我们表明，通过具有一对功能实现的不对称性使得有可能实现CPF，例如，增加或单峰，并显示这是如何导致原则性的解决方案的LSH框架没有解决的问题。这包括隐私保护距离估计的新应用。我们相信DSH框架将在高维数据管理中得到进一步的应用。
2018-04-17 cs.DS
conLSH: Context based Locality Sensitive Hashing for Mapping of noisy SMRT Reads
Sister Nibedita Govt. General Degree College for Girls（尼贝迪塔修女女子政府普通学位学院）；Indian Statistical Institute（印度统计研究所）
单分子实时（SMRT）测序是Pacific Bio（PacBio）开发的下一代技术的最新进展。为了解决SMRT数据的高错误率问题，本文提出了一种基于上下文局部敏感哈希（conLSH）算法的SMRT数据比对算法，该算法能够有效地将噪声SMRT数据与参考基因组进行比对。在这里，序列被散列在一起，不仅基于它们的接近度，而且基于上下文的相似性。该算法具有$\mathcal{O}(n^{ρ+1})$空间要求，其中$n$是语料库中序列的数目，$ρ$是常数。索引时间和查询时间分别由$\mathcal{O}( \frac{n^{ρ+1} \cdot \ln n}{\ln \frac{1}{P_2}})$和$\mathcal{O}(n^ρ)$限定，其中$P_2 > 0$是概率值。该算法对于检索相似序列特别有用，这是生物学中广泛使用的任务。建议conLSH为基础的对准器相比，rHAT，普遍用于对齐SMRT读取，并发现全面击败它的速度以及在内存要求。特别地，它花费大约$24.2\%$更少的处理时间，同时节省大约$70.3\%$的峰值存储器要求用于智人PacBio数据集。
2019-03-11 cs.DS cs.LG q-bio.GN
Locality Sensitive Hashing for Efficient Similar Polygon Retrieval
局部敏感哈希（LSH）是一种有效的索引一组项目，以支持高效的最近邻查询在高维空间中的方法。LSH的基本思想是相似项产生哈希冲突的概率应该高于不相似项。我们研究LSH（不一定是凸的）多边形，并使用它来提供有效的数据结构相似形状检索。Arkin等人用“转向函数”来表示多边形--一个在遍历多边形的周长时遵循多边形的切线和$ x $轴之间的角度的函数。它们将多边形之间的距离定义为它们的转向函数之间的$ L_p $（对于$p=1,2$）距离的变化。该度量在平移、旋转和缩放（以及在周长上选择初始点）下是不变的，因此很好地模拟了形状相似性的直观概念。我们开发和分析LSH近邻数据结构的几个变化的$ L_p $距离的功能（$p=1,2$）。通过将我们的计划的多边形的集合的转向功能，我们获得高效的近邻基于LSH的多边形结构。为了调整我们的结构，转向功能的多边形，我们证明了这些转向功能，可能是独立的利益的一些新的属性。作为我们分析的一部分，我们解决了以下独立感兴趣的问题。找出在$ L_1 $距离上最接近函数$ g $的函数$ f $的垂直平移。我们证明紧界的近似保证得到的翻译是等于$ g $和$ f $的平均值之间的差异。
2021-02-19 cs.CG cs.DS cs.IR
Bayesian Locality Sensitive Hashing for Fast Similarity Search
The Ohio State University（俄亥俄州立大学）
给定一组对象和相关的相似性度量，所有对相似性搜索问题要求我们找到所有相似性大于某个用户指定阈值的对象对。基于局部敏感哈希（LSH）的方法已经成为解决这个问题的一种非常流行的方法。然而，大多数这样的方法仅在相似性搜索的第一阶段使用LSH-即用于候选生成的有效索引。在本文中，我们提出了BayesLSH，一个原则性的贝叶斯算法的后续阶段的相似性搜索-执行候选人修剪和相似性估计使用LSH。一个更简单的变种，贝叶斯LSH-Lite，它计算相似性，也提出了。BayesLSH能够快速修剪掉大部分假阳性候选对，从而使基线方法的速度显著提高。对于BayesLSH，我们还在准确率和召回率方面对输出质量提供概率保证。最后，BayesLSH的输出质量可以很容易地调整，并且不需要手动设置用于相似性估计的哈希数，这与标准方法不同。对于两种最先进的候选生成算法，AllPairs和LSH，BayesLSH能够显著加速，通常在2x-20 x范围内用于各种数据集。
2012-03-28 cs.AI cs.DB cs.DS
Locality-Preserving Hashing for Shifts with Connections to Cryptography
在一个不熟悉的环境中，我们能否通过对周围环境进行次线性采样来感知我们的位置？我们能否有效地加密一条只有物理上接近我们的人才能解密的消息？为了解决这类问题，我们引入并研究了一种新的哈希函数，用于在次线性时间内寻找移位。函数$h:\{0,1\}^n\to \mathbb{Z}_n$是$(d,δ)$ {用于移位的\em局部保持散列函数}（LPHS），如果：（1）$h$可以通过（自适应地）查询其输入的$d$位来计算，以及（2）$\Pr [ h(x) \neq h(x \ll 1) + 1 ] \leq δ$，其中$x$是随机的，并且$\ll 1$表示向左一位的循环移位。我们做出以下贡献。* 通过分布式离散对数的近优LPHS：我们建立了LPHS和一般组模型中的分布式离散对数算法之间的一般双向连接。使用Dinur等人的算法（Crypto 2018），我们得到了接近最优误差为$δ=\tilde O(1/d^2)$的LPHS。这为基于群的密码学在后量子世界中的有用性提供了一个不寻常的例子。我们将积极的结果扩展到非循环和最坏情况下的变体LPHS。* 多维LPHS：我们得到积极和消极的结果LPHS的多维扩展，朝着最佳的2维LPHS的进展。* 应用：我们展示了LPHS的有用性，提出密码和算法的应用。特别是，我们应用多维LPHS获得一个有效的“包装”实现同态秘密共享和子线性时间实现位置敏感的加密，其解密需…
2022-01-09 cs.CR cs.DS
HashEvict: A Pre-Attention KV Cache Eviction Strategy using Locality-Sensitive Hashing
University of Maryland（马里兰大学）；Yale University（耶鲁大学）；University of Galway（Galway大学）；University of Maryland Capital One（马里兰大学Capital One）
HashEvict利用局部敏感哈希在注意力计算前快速识别并驱逐与当前查询不相似的KV缓存token，实现30%-70%的缓存压缩且保持模型性能。
2025-06-04 cs.AI cs.CL cs.DS
Fast Cosine Similarity Search in Binary Space with Angular Multi-index Hashing
University of Waterloo（滑铁卢大学）
给定一个大的数据集的二进制代码和一个二进制查询点，我们解决如何有效地找到$K$代码的数据集，产生最大的余弦相似的查询。这个问题的直接答案是将查询与数据集中的所有项进行比较，但这只适用于小数据集。一种增强搜索时间并实现次线性成本的潜在解决方案是使用填充有数据集的二进制代码的哈希表，然后查找查询的附近桶以检索最近的邻居。然而，如果代码在余弦相似性而不是汉明距离方面进行比较，则主要问题是要探测的桶的顺序不明显。为了研究这个问题，我们首先详细说明汉明距离和余弦相似性之间的联系。这样做允许我们系统地在哈希表中找到探测序列。然而，用单个表解决最近邻搜索仅对短二进制码是实用的。为了解决这个问题，我们提出了角度多索引哈希搜索算法，它依赖于建立多个哈希表的二进制代码子串。所提出的搜索算法解决了精确的角度$K$最近邻问题的时间，往往是数量级快于线性扫描基线，甚至近似方法。
2018-04-18 cs.DB cs.DS cs.IR
Supermodular Locality Sensitive Hashes
在这项工作中，我们展示了局部敏感哈希性和子模块分析之间的深层联系。我们发现，最常见的分析集的相似性的LSHablility是在一对一的对应关系与supermodularity这些相似性时，采取相对于他们的参数的对称差异。我们发现等价LSH相似性的超模块性依赖于集合编码。虽然单调性和超模块性并不意味着超模块性所必需的度量条件，但这个条件对于我们引入的更受限制的超模汉明相似性类是有保证的。此外，我们还证明了LSH保持变换也是超模保持的，从而产生了一种生成LSH可保持和超模相似性族的方法。最后，我们表明，即使是更受限制的家庭基数为基础的超模汉明相似性的LSH能力和supermodularity之间的联系的研究提出了有前途的方面。我们希望我们在LSHability和超模块化之间引入的几个桥梁为更好地理解超模块化分析和LSHability铺平了道路，特别是在大规模超模块化优化的背景下。
2018-07-17 cs.DM cs.DS
FRESH: Fréchet Similarity with Hashing
本文研究了连续Fréchet距离下曲线的$r$ -范围搜索问题：给定$n$多边形曲线的数据集$S$和一个阈值$r>0$，构造一个数据结构，对于任何查询曲线$q$，该数据结构有效地返回$S$中距离$q$至多为$r$的所有条目.我们提出了新鲜，近似和随机的方法$r$范围搜索，利用局部敏感的哈希方案检测候选人附近的邻居的查询曲线，并在随后的修剪步骤的基础上级联的曲线简化。我们的实验比较\fresh精确和确定性的解决方案，我们表明，高性能可以达到适当放松精度和召回。
2019-06-05 cs.CG cs.DS
PSEUDo: Interactive Pattern Search in Multivariate Time Series with Locality-Sensitive Hashing and Relevance Feedback
IAV GmbH（IAV公司）；Utrecht University（乌得勒支大学）
我们提出了PSEUDo，一种自适应特征学习技术，用于探索多轨道序列数据中的视觉模式。我们的方法设计的主要重点是克服当前基于深度学习的系统中不经济的再训练要求和不灵活的表示学习。由于传感器和数据存储的增加，多轨道时间序列数据以前所未有的规模生成。这些数据集包含有价值的模式，就像在神经营销中，研究人员试图将来自生理传感器的多变量序列数据中的模式与产品和服务的购买行为联系起来。但是，缺乏地面实况和高方差使自动模式检测不可靠。我们的进步是基于一种新的查询感知的局部敏感的哈希技术，以创建一个基于特征的多变量时间序列窗口的表示。最重要的是，我们的算法具有次线性训练和推理时间。我们甚至可以完成10，000个不同的64轨时间序列的建模和比较，每个时间序列在0.8秒内具有100个时间步长（典型的EEG数据集）。这种性能增益允许底层模式相似性模型的快速相关反馈驱动的自适应，并使用户能够逐渐修改速度与准确性的权衡。我们通过定量性能比较和定性视觉质量比较，证明了PSEUDo在效率，准确性和可操控性方面的优越性，以最先进的算法在该领域。此外，我们展示了PSEUDo的可用性，通过案例研究，展示了我们的视觉模式检索概念在一个大型气象数据集。我们发现，我们的自适应模型可以准确地捕捉用户的相似性的概念，并允许在大型多变量时间序列数据集的可理解的探索性视觉模式检索。
2021-05-10 cs.AI cs.DS cs.LG
Scalability and Total Recall with Fast CoveringLSH
局部敏感哈希（LSH）已经成为在高维空间中具有强性能保证的相似性搜索的主要算法技术。传统LSH方案的缺点是它们可能具有\emph{false negatives}，即，召回率小于100%.这限制了LSH在需要精确性能保证的环境中的适用性。基于最近理论上的“CoveringLSH”构造，消除了假阴性，我们提出了一个快速和实用的覆盖LSH方案的汉明空间称为\emph{Fast CoveringLSH (fcLSH)}。继承CoveringLSH的设计优势，我们的方法避免了假阴性，并始终报告所有近邻。与CoveringLSH相比，我们实现了从$\mathcal{O}(dL)$到$\mathcal{O}(d + L\log{L})$的哈希函数计算时间的渐进改进，其中$d$是数据的维数，$L$是哈希表的数量。我们对合成数据集和真实数据集的实验表明，\emph{fcLSH}在高维汉明空间中搜索半径高达20的情况下与传统的基于散列的方法相当（并且往往更优越）。
2016-08-19 cs.DB cs.DS cs.IR
Improved Densification of One Permutation Hashing
Cornell University（康奈尔大学）；Rutgers University（罗格斯大学）
关于一个排列散列的致密化的现有工作减少了具有最小散列的$(K,L)$参数化局部敏感散列（LSH）算法的查询处理成本，从$O(dKL)$到仅仅$O(d + KL)$，其中$d$是数据向量的非零的数量，$K$是每个散列表中的散列的数量，并且$L$是散列表的数量。虽然这是一个实质性的改进，但我们的分析表明，现有的致密化方案是次优的。特别是，在该过程中没有足够的随机性，这影响了其在非常稀疏的数据集上的准确性。在本文中，我们提供了一个新的致密化过程，这是证明优于现有的计划。这种改进对于网络上常见的非常稀疏的数据集来说更显着。改进的技术具有相同的成本$O(d + KL)$的查询处理，从而使其严格优于现有的过程。在公共数据集上的实验评估，在基于哈希的近邻搜索的任务，支持我们的理论研究结果。
2014-06-18 cs.DS cs.IR cs.LG
