Robust Set Reconciliation via Locality Sensitive Hashing
我们考虑的变化，设置和解问题，双方，爱丽丝和鲍勃，每个持有一组点在度量空间中，和目标是鲍勃结束一组点，这是接近爱丽丝的一组点在一个定义良好的方式。此设置被称为鲁棒集协调。更具体地说，在一个变体中，我们研究的目标是Bob以一组在推土机距离上接近Alice的点结束，而在另一个变体中，目标是Bob具有接近Alice的每个点的点。第一个问题之前已经研究过了，我们的结果随着空间的维度而更好地扩展。第二个问题似乎是新的。我们的主要新颖性是利用可逆Bloom哈希表与局部敏感哈希相结合。这种组合使我们能够以有效的通信方式处理几何设置。
2018-07-25 cs.CG cs.DC cs.DS
Locality Sensitive Hashing for p-Exponential Kernels with Applications to Density Estimation
Tel Aviv University（特拉维夫大学）
本文提出马赛克LSH方案，证明有界区域内所有1<p≤2的p-指数核可哈希，并据此开发高效密度估计方法。
2026-10-06 cs.CG cs.DS cs.LG
Optimal lower bounds for locality sensitive hashing (except when q is tiny)
我们研究了局部敏感哈希（LSH）在最强设置下的下界：{0，1}^d中的点集在汉明距离下。回想一下，这里H被称为（r，cr，p，q）敏感哈希族，如果{0，1}^d中dist（x，y）最多为r的所有对x，y在H中随机选择的h下具有至少p的冲突概率，而{0，1}^d中dist（x，y）至少为cr的所有对x，y具有最多q的冲突概率。通常，我们认为d趋于无穷大，c固定，q有界远离0。对于其在高维近似最近邻搜索中的应用，LSH族H的质量由其“rho参数”rho = ln（1/p）/ln（1/q）作为参数c的函数有多小来决定。Indyk和Motwani的开创性论文表明，对于每个c，极其简单的族H = {x -> x_i：i in d}最多达到1/c。由于Motwani、Naor和Panigrahy的研究，唯一已知的下限是rho必须至少为0.46/c（减去o_d（1））。本文给出了一个最优下界：ρ必须至少为1/c（减去o_d（1））。这个汉明空间的下界给出了欧几里得空间（或单位球面）的下界1/c^2和集合上的杰卡德距离的下界1/c;这两个下界都与已知的上界相匹配。我们的证明很简单;本质是布尔函数在e^{-t}处的噪声稳定性是t的对数凸函数。
2009-12-01 cs.CG cs.DS
Locality-Sensitive Hashing Scheme based on Longest Circular Co-Substring
局部敏感散列（LSH）是高维空间中$c$ -近似最近邻搜索（$c$ -ANNS）最流行的方法之一。在本文中，我们提出了一种新的LSH方案的基础上最长循环共子串（LCCS）搜索框架（LCCS-LSH）的理论保证。本文提出了一种新的LCCS概念和一种用于$k$ -LCCS搜索的循环移位阵列（CSA）数据结构。LCCS搜索框架的见解是，接近的数据对象将具有比相距较远的数据对象更长的LCCS。LCCS-LSH是\emph{LSH-family-independent}，它支持具有不同类型距离度量的$c$ -ANNS。我们还介绍了LCCS-LSH的多探针版本，并在五个真实数据集上进行了广泛的实验。实验结果表明，LCCS-LSH优于最先进的LSH计划。
2020-04-11 cs.DB cs.DS
Improved Asymmetric Locality Sensitive Hashing (ALSH) for Maximum Inner Product Search (MIPS)
Cornell University（康奈尔大学）；Rutgers University（罗格斯大学）
最近的研究表明，最大内积搜索（MIPS）问题是有效的，它允许可证明的次线性散列算法。哈希之前的非对称变换是解决MIPS的关键，否则很难。在先前的工作中，作者使用非对称变换，将近似MIPS的问题转换为近似近邻搜索的问题，可以使用散列有效地解决。在这项工作中，我们提供了一个不同的变换，将近似MIPS的问题转化为近似余弦相似性搜索的问题，可以有效地解决使用有符号的随机投影。理论分析表明，新方案明显优于原方案的MIPS。实验评估有力地支持了理论研究结果。
2014-11-13 cs.DS cs.IR cs.LG
Locality Sensitive Hashing for Set-Queries, Motivated by Group Recommendations
局部敏感哈希（LSH）是一种有效的方法来索引一组点，这样我们就可以有效地找到查询点的最近邻居。我们将这种方法扩展到我们的新的集查询LSH（SLSH），这样它就可以找到一组点的最近邻居，作为查询。令$ s(x,y) $为两个点$ x $和$ y $之间的相似度。我们通过聚合所有$ p\in Q $的相似性$ s(p,x) $来定义集合$ Q$和点$ x $之间的相似性。例如，我们可以将$ s(p,x) $作为$ p $和$ x $之间的角度相似性（即，$1-{\angle (x,p)}/π$），并通过算术或几何平均或取最低相似性进行聚集。我们开发了本地敏感的哈希家庭和数据结构的一大套这样的算术和几何平均相似性，并分析其碰撞概率。我们还建立了一个类似的框架和散列距离函数的家庭。具体来说，我们给出了一个结构的欧氏距离聚合的平均值或采取最大值。我们利用SLSH来解决近似近邻问题的几何扩展。在这个版本中，我们考虑了一个度量，其中单位球是一个椭球体，其方向是由查询指定的。激励我们工作的一个重要应用是组推荐系统。这样的系统将电影和用户嵌入在相同的特征空间中，并且推荐一部电影供一组人一起观看的任务使用适当的相似性转换为集合查询$ Q $。
2020-04-21 cs.CG cs.DS cs.IR
Similarity Join Size Estimation using Locality Sensitive Hashing
相似连接是一种重要的操作，有着广泛的应用。本文研究了向量相似连接长度估计问题。它是以前研究的集合相似性连接大小估计（SSJ）问题的推广，可以处理更有趣的情况下，如TF-IDF向量。相似性连接大小估计中的关键挑战之一是连接大小可以根据输入相似性阈值而显著变化。我们提出了一个基于采样的算法，使用局部敏感哈希（LSH）计划。所提出的算法LSH-SS使用LSH索引，即使在高阈值下也能够进行有效采样。我们将所提出的技术与随机抽样和最先进的SSJ技术（适用于VSJ）进行比较，并证明LSH-SS在高和低相似性阈值以及使用真实数据集的小方差下提供更准确的估计。
2011-04-16 cs.DB cs.DS
Scaling up Kernel Ridge Regression via Locality Sensitive Hashing
EPFL（洛桑联邦理工学院）；Microsoft Research（微软研究院）；Google Research（谷歌研究院）
在Rahimi和Recht（2007）的开创性论文中引入的随机分箱特征是使用局部敏感散列近似核矩阵的有效方法。随机分箱特征提供了一种非常简单和有效的近似拉普拉斯核的方法，但不幸的是，它不适用于许多重要的核类别，特别是那些生成平滑高斯过程的核，如高斯核和Matern核。在本文中，我们介绍了一个简单的加权版本的随机装箱功能，并表明相应的核函数生成高斯过程的任何期望的平滑度。我们表明，我们的加权随机分仓功能提供了一个频谱近似相应的内核矩阵，导致有效的算法内核岭回归。在大规模回归数据集上的实验表明，该方法的精度优于随机傅立叶特征方法。
2020-03-21 cs.DS cs.LG stat.ML
Locality-sensitive hashing of curves
我们研究的数据结构存储一组多边形曲线在${\rm R}^d$，这样，给定一个查询曲线，我们可以有效地检索相似的曲线从集合中，其中相似性是使用离散的Fréchet距离或动态时间弯曲距离。为此，我们设计了第一个位置敏感的哈希方案，这些距离的措施。一个主要的挑战是，这些距离测量内部优化曲线之间的对齐。我们给出了不同类型的路线，包括约束和无约束的版本的解决方案。对于无约束的路线，我们改进了Indyk从2002年开始的短曲线的结果。令$n$为输入曲线的数量，并令$m$为输入中曲线的最大复杂度。在特定的情况下，$m \leq \fracα{4d} \log n$，对于一些固定的$α>0$，我们的解决方案意味着一个近似的近邻数据结构的离散弗雷歇距离，使用空间在$O(n^{1+α}\log n)$和实现查询时间在$O(n^α\log^2 n)$和常数近似因子。此外，我们的解决方案提供了近似质量和计算性能之间的权衡：对于任何参数$k \in [m]$，我们可以给出一个数据结构，使用空间在$O(2^{2k}m^{k-1} n \log n + nm)$，回答查询在$O( 2^{2k} m^{k}\log n)$时间，并实现近似因子在$O(m/k)$。
2017-03-11 cs.CG cs.DS cs.IR
Improving Similarity Search with High-dimensional Locality-sensitive Hashing
Salk Institute for Biological Studies（索尔克生物研究所）
提出了一类新的基于果蝇嗅觉回路的数据无关局部敏感哈希算法。这种方法的根本区别在于，不是将哈希分配为低维空间中的密集点，而是将哈希分配在高维空间中，这增强了它们的可分离性。我们从理论上和经验表明，这个新的家庭的哈希函数是局部敏感的，并保留在任何`p空间的输入的秩相似性。然后，我们分析了这种策略的不同变化，并实证表明，它们优于现有的LSH方法的最近邻居搜索六个基准数据集。最后，我们提出了一个多探针版本的算法，实现更高的性能相同的查询时间，或相反，保持性能的先前的方法，同时采取显着更少的索引时间和内存。总的来说，我们的方法利用了高维空间提供的可分性的优势，同时仍然保持计算效率
2018-12-05 cs.AI cs.DS cs.LG
Fast Locality Sensitive Hashing for Beam Search on GPU
Department of Computer Science, University of Southern California（南加州大学计算机科学系）；Department of Computer Science and Technology, Tsinghua University（清华大学计算机科学与技术系）
我们提出了一种基于GPU的局部敏感哈希（LSH）算法，以加快序列模型的束搜索。我们利用赢家通吃（WTA）哈希，这是基于隐藏的维度的相对排名顺序，从而弹性的数值扰动。我们的算法设计充分考虑了CUDA支持的GPU的底层架构（算法/架构协同设计）：1）并行Cuckoo哈希表用于LSH代码查找（保证O（1）查找时间）; 2）候选列表在波束之间共享以最大化并行性; 3）顶部频繁字合并到候选列表中以提高性能。在4个大规模神经机器翻译模型上的实验表明，该算法在softmax模块上可以获得4倍的加速比，在GPU上可以获得2倍的整体加速比，而不会损害BLEU。
2018-06-02 cs.AI cs.CL cs.DC
CoveringLSH: Locality-sensitive Hashing without False Negatives
我们考虑一个新的构造的局部敏感的哈希函数的汉明空间是\emph{covering}在这个意义上，它保证产生一个冲突的每一对向量在一个给定的半径$r$。该构造是\emph{efficient}，因为对于给定的$c>1$，距离为~ $cr$的向量之间的哈希冲突的预期数量接近于没有覆盖保证的最佳可能的数据无关LSH的哈希冲突的数量，即，Indyk和Motwani（STOC '98）的开创性LSH构造。当搜索半径不太大时，新构造的效率基本上是\emph{matches}它们的界限-例如，当为$cr = o(\log(n)/\log\log n)$时，其中$n$为数据集中的点数，当为$cr = \log(n)/k$时，其中$k$为整数常数。一般来说，它在时间界限的指数上最多相差一个因子$\ln(4)$。因此，在汉明空间中基于LSH的相似性搜索可以在很小或没有效率成本的情况下避免误报问题。
2016-01-07 cs.DS
Locality-Sensitive Hashing without False Negatives for l_p
在本文中，我们展示了一种没有误报的局部敏感哈希函数的构造，即，其确保当$p \in [1,\infty]$时，在配备有$l_p$范数的$d$维空间中的给定半径$R$内的每对点的碰撞。此外，我们展示了如何使用这些哈希函数来解决$c$ -近似最近邻搜索问题，而不会出现误报。也就是说，如果存在距离为$R$的点，我们肯定会报告它，而对于$c=Ω(\sqrt{d},d^{1-\frac{1}{p}})$，距离大于$cR$的点将不会报告。构造的算法工作：- 具有预处理时间$\mathcal{O}(n \log(n))$和期望查询时间$\mathcal{O}(\log(n))$。我们的论文报告了解决Pagh [8]提出的公开问题的进展，Pagh [8]考虑了Hamming距离的最近邻搜索而没有假阴性。
2016-11-28 cs.DS
Locality Sensitive Hashing for Efficient Similar Polygon Retrieval
局部敏感哈希（LSH）是一种有效的索引一组项目，以支持高效的最近邻查询在高维空间中的方法。LSH的基本思想是相似项产生哈希冲突的概率应该高于不相似项。我们研究LSH（不一定是凸的）多边形，并使用它来提供有效的数据结构相似形状检索。Arkin等人用“转向函数”来表示多边形--一个在遍历多边形的周长时遵循多边形的切线和$ x $轴之间的角度的函数。它们将多边形之间的距离定义为它们的转向函数之间的$ L_p $（对于$p=1,2$）距离的变化。该度量在平移、旋转和缩放（以及在周长上选择初始点）下是不变的，因此很好地模拟了形状相似性的直观概念。我们开发和分析LSH近邻数据结构的几个变化的$ L_p $距离的功能（$p=1,2$）。通过将我们的计划的多边形的集合的转向功能，我们获得高效的近邻基于LSH的多边形结构。为了调整我们的结构，转向功能的多边形，我们证明了这些转向功能，可能是独立的利益的一些新的属性。作为我们分析的一部分，我们解决了以下独立感兴趣的问题。找出在$ L_1 $距离上最接近函数$ g $的函数$ f $的垂直平移。我们证明紧界的近似保证得到的翻译是等于$ g $和$ f $的平均值之间的差异。
2021-02-19 cs.CG cs.DS cs.IR
Lattice-based Locality Sensitive Hashing is Optimal
Indyk和Motwani（STOC '98）引入了局部敏感散列（LSH），以给出仅使用多项式空间的c-近似最近邻（ANN）问题的第一个次线性时间算法。在高级别上，LSH家族将“附近”点散列到同一个桶，将“远处”点散列到不同的桶。LSH族的度量质量是它的LSH指数，它有助于确定查询时间和空间使用。在一项开创性的工作中，Andoni和Indyk（FOCS '06）基于空间的随机球划分构建了一个LSH族，该族实现了l_2范数的LSH指数为1/c^2，这后来被Motwani，Naor和Panigrahy（SIDMA' 07）和O 'Donnell，Wu和Zhou（TOCT' 14）证明是最优的。虽然在LSH指数中是最优的，但是球划分方法在计算上是昂贵的。因此，在同一工作中，Andoni和Indyk提出了一种更简单，更实用的哈希方案，基于欧几里德格，并提供了使用24维Leech格的计算结果。然而，没有给出该方案的理论分析，从而留下了开放的问题，找到基于格的LSH的指数。在这项工作中，我们解决了这个问题，通过使用数字几何的技术来证明存在达到1/c^2的最佳LSH指数的格。在一个更概念化的层次上，我们的研究结果表明，最佳的LSH空间划分可以有周期性的结构。了解在何种程度上可以对这些分区施加额外的结构，例如，以产生低空间和查询复杂性，仍然是一个重要的开放问题。
2017-12-22 cs.DS
Sublinear Least-Squares Value Iteration via Locality Sensitive Hashing
Rice University（莱斯大学）；Institute for Advanced Study（高等研究院）；Princeton University（普林斯顿大学）
我们提出了第一个可证明的最小二乘值迭代（LSVI）算法，具有运行时复杂度次线性的行动的数量。我们制定的价值函数估计过程中的值迭代近似的最大内积搜索问题，并提出了一个局部敏感哈希（LSH）[Indyk和Motwani STOC'98，Andoni和Razenshteyn STOC'15，Andoni，Laarhoven，Razenshteyn和Waingarten SODA'17]类型的数据结构来解决这个问题的次线性时间复杂度。此外，我们建立了近似最大内积搜索理论和强化学习的后悔分析之间的联系。我们证明，我们的近似因子的选择，我们的次线性LSVI算法保持相同的遗憾，同时减少运行时的复杂性，以次线性的动作的数量的原始LSVI算法。据我们所知，这是第一个将LSH与强化学习相结合的工作，从而带来了可证明的改进。我们希望我们的新方法相结合的数据结构和迭代算法将打开大门，进一步研究成本降低优化。
2021-06-08 cs.DS cs.LG stat.ML
Approximate Similarity Search Under Edit Distance Using Locality-Sensitive Hashing
编辑距离相似性搜索，也称为近似模式匹配，是广泛应用于数据库的基本问题。问题的目标是预处理长度为$d$的$n$字符串，以快速回答以下形式的查询$q$：如果存在$q$的编辑距离$r$内的数据库字符串，则返回$q$的编辑距离$cr$内的数据库字符串。以前的方法，这个问题要么依赖于非常大的（超常数）近似比$c$，或非常小的搜索半径$r$。在狭窄的参数范围之外，这些解决方案与普通地搜索所有$n$字符串相比没有竞争力。在这项工作中，给出了一个简单且易于实现的哈希函数，可以快速回答各种参数的查询。具体来说，我们的策略可以回答查询的时间$\tilde{O}(d3^rn^{1/c})$。最著名的实际结果要求$c \gg r$达到任何正确性保证;同时，最著名的理论结果非常复杂，难以实现，并且要求查询时间至少为$24^r$。我们的研究结果显着拓宽了参数的范围，我们可以实现非平凡的界限，同时保留了实用性的局部敏感的哈希函数。我们还展示了如何将我们的想法应用于编辑距离的密切相关的近似最近邻问题，获得类似的时间范围。
2020-07-08 cs.DS
Falconn++: A Locality-sensitive Filtering Approach for Approximate Nearest Neighbor Search
University of Auckland（奥克兰大学）
我们提出了Falconn++，一种新的局部敏感的过滤方法，用于角距离上的近似最近邻搜索。Falconn++可以在任何哈希桶\textit{before}查询中过滤掉潜在的远距离点，与其他基于哈希的解决方案相比，这会产生更高质量的候选点。理论上，Falconn++比Falconn具有更低的查询时间复杂度，Falconn是一种基于角距离的最优局部敏感哈希算法.根据经验，Falconn++在许多真实数据集上实现了比Falconn更高的召回速度权衡。Falconn++也与HNSW竞争，HNSW是基于图形的解决方案在高搜索召回机制上的有效代表。
2022-10-22 cs.CV cs.DS
Fast Locality Sensitive Hashing with Theoretical Guarantee
Donghua University（东华大学）
本文提出 l2 范数下的 FastLSH，通过随机采样与随机投影将哈希复杂度由 O(n) 降至 O(m)，并在保持可证明 LSH 性质的同时实现最高 80 倍加速。
2023-09-27 cs.DS cs.LG
Hashing for Similarity Search: A Survey
Microsoft Research（微软研究院）；The University of Queensland（昆士兰大学）；Tsinghua University（清华大学）
相似性搜索（最近邻搜索）是从大型数据库中寻找与查询项距离最小的数据项的问题。已经开发了各种方法来解决这个问题，最近已经投入了大量的努力近似搜索。在本文中，我们提出了一个调查的主要解决方案之一，哈希，这已经被广泛研究，因为开拓性的工作局部敏感哈希。本文将散列算法分为两大类：局部敏感散列算法（locality sensitive hashing）和学习散列算法（learning to hash），局部敏感散列算法是根据数据分布来学习散列函数，本文从散列函数的设计、散列编码空间中的距离度量和搜索机制等方面对散列算法进行了综述。
2014-08-13 cs.CV cs.DB cs.DS
Hierarchical Locality Sensitive Hashing for Structured Data: A Survey
本文综述了面向序列、树和图等结构化数据的分层局部敏感哈希算法，系统梳理其数据结构设计、应用场景及未来挑战。
2025-03-11 cs.DS cs.IR
It's the Best Only When It Fits You Most: Finding Related Models for Serving Based on Dynamic Locality Sensitive Hashing
Arizona State University（亚利桑那州立大学）
近年来，深度学习已经成为机器学习和人工智能中最热门的方向。然而，训练数据的准备通常是部署用于生产或研究的深度学习模型的生命周期中的瓶颈。重用模型来推断数据集可以大大节省创建训练数据所需的人力成本。虽然有许多模型共享平台，如TensorFlow Hub，PyTorch Hub，DLHub，但这些系统大多需要模型上传者手动指定每个模型的详细信息，模型下载者筛选关键字搜索结果以选择模型。他们缺乏一个自动的模型搜索工具。本文提出了一种端到端的过程，搜索相关的模型服务的基础上的目标数据集和可用模型的训练数据集的相似性。虽然存在许多相似性度量，我们研究如何有效地应用这些度量，而无需成对比较，并比较这些度量的有效性。我们发现，我们提出的自适应测量，这是基于Jensen-Shannon（JS）的分歧，是一个有效的测量，其计算可以显着加快通过使用局部敏感哈希技术。
2020-10-13 cs.DS cs.IR cs.LG
Locality-Sensitive Hashing for f-Divergences: Mutual Information Loss and Beyond
Yale University（耶鲁大学）；Google Research（谷歌研究院）
计算高维空间中的近似最近邻是大规模数据采掘的核心问题，在机器学习和数据科学中有着广泛的应用。近似计算最近邻居的一种流行且有效的技术是局部敏感哈希（LSH）方案。在本文中，我们的目标是开发LSH计划的距离函数，测量两个概率分布之间的距离，特别是f-发散以及概括捕捉互信息损失。首先，我们提供了一个一般的框架来设计LHS计划的f-散度距离函数和发展LSH计划的广义Jensen-Shannon散度和三角歧视在这个框架。我们证明了一个双边的近似结果的广义詹森-香农发散的Hellinger距离，这可能是独立的兴趣。接下来，我们展示了一个一般的方法，减少设计一个LSH计划的Krein内核（它可以表示为两个正定内核的差异）的问题的最大内积搜索。由于该方法在模型压缩等方面的重要应用，我们将其应用于互信息损失，从而证明了该方法的有效性。
2019-10-28 cs.DB cs.DS cs.LG
Lock-Free Hopscotch Hashing
在本文中，我们提出了一个无锁版本的跳房子散列。Hopscotch Hashing是一种开放寻址算法，最初由Herlihy，Saught和Tzafrir提出，以快速性能和出色的缓存局部性而闻名。该算法允许表的用户跳过或跳过不相关的条目，允许快速搜索、插入和删除条目。与传统的线性探测不同，Hopscotch Hashing能够在高负载系数下运行，因为探测数仍然很小。我们的无锁版本在速度、缓存位置和进度保证方面都比原来的版本有了改进，它是两个并发哈希表的嵌合体。我们比较我们的数据结构，其他各种无锁和阻塞哈希算法，并表明其性能在许多情况下优于现有的策略。所提出的无锁版本克服了与原始阻塞版本相关的一些缺点，从而大大提高了可扩展性，同时保持了物理删除或探测链压缩等有吸引力的功能。
2019-11-08 cs.DC cs.DS
Locality-Preserving Minimal Perfect Hashing of k-mers
本文针对连续提取的 k-mer 提出一种保局部性最小完美哈希函数，利用相邻 k-mer 的重叠关系突破经典空间下界，使连续 k-mer 映射到连续地址，实验表明其空间占用更小且查询更快。
2023-04-12 cs.DS
On fast bounded locality sensitive hashing
在本文中，我们研究了表示为标量积的散列函数，即，$f(x)=<v,x>$，对于某个有界随机向量$v$。这样的散列函数有许多应用，但通常需要优化$v$分布的选择。在目前的工作中，我们专注于所谓的反浓度边界，即上界的$\mathbb{P}\left[|<v,x>| < α\right]$。在许多应用中，$v$是具有标准正态分布的独立随机变量的向量。在这种情况下，$<v,x>$的分布也是正态的，并且很容易近似$\mathbb{P}\left[|<v,x>| < α\right]$。在这里，我们考虑两个有界分布的上下文中的反浓度界限。特别地，我们分析$v$是来自$l_{\infty}$中的单位球的随机向量，以及$v$是来自$l_{2}$中的单位球的随机向量。我们显示了最佳的一个常数的反浓度措施的功能$f(x)=<v,x>$。由于我们的研究，我们获得了新的最佳结果\newline \textit{$c$-approximate nearest neighbors without false negatives} $l_p$在高维空间的所有$p\in[1,\infty]$，为$c=Ω(\max\{\sqrt{d},d^{1/p}\})$。这些结果优于[16]中提出的结果。最后，我们报告了Pagh~[17]在解决这个公开问题上的进展，他考虑了Hamming距离的最近邻搜索而没有误报。
2017-04-19 cs.DS
conLSH: Context based Locality Sensitive Hashing for Mapping of noisy SMRT Reads
Sister Nibedita Govt. General Degree College for Girls（尼贝迪塔修女女子政府普通学位学院）；Indian Statistical Institute（印度统计研究所）
单分子实时（SMRT）测序是Pacific Bio（PacBio）开发的下一代技术的最新进展。为了解决SMRT数据的高错误率问题，本文提出了一种基于上下文局部敏感哈希（conLSH）算法的SMRT数据比对算法，该算法能够有效地将噪声SMRT数据与参考基因组进行比对。在这里，序列被散列在一起，不仅基于它们的接近度，而且基于上下文的相似性。该算法具有$\mathcal{O}(n^{ρ+1})$空间要求，其中$n$是语料库中序列的数目，$ρ$是常数。索引时间和查询时间分别由$\mathcal{O}( \frac{n^{ρ+1} \cdot \ln n}{\ln \frac{1}{P_2}})$和$\mathcal{O}(n^ρ)$限定，其中$P_2 > 0$是概率值。该算法对于检索相似序列特别有用，这是生物学中广泛使用的任务。建议conLSH为基础的对准器相比，rHAT，普遍用于对齐SMRT读取，并发现全面击败它的速度以及在内存要求。特别地，它花费大约$24.2\%$更少的处理时间，同时节省大约$70.3\%$的峰值存储器要求用于智人PacBio数据集。
2019-03-11 cs.DS cs.LG q-bio.GN
Bayesian Locality Sensitive Hashing for Fast Similarity Search
The Ohio State University（俄亥俄州立大学）
给定一组对象和相关的相似性度量，所有对相似性搜索问题要求我们找到所有相似性大于某个用户指定阈值的对象对。基于局部敏感哈希（LSH）的方法已经成为解决这个问题的一种非常流行的方法。然而，大多数这样的方法仅在相似性搜索的第一阶段使用LSH-即用于候选生成的有效索引。在本文中，我们提出了BayesLSH，一个原则性的贝叶斯算法的后续阶段的相似性搜索-执行候选人修剪和相似性估计使用LSH。一个更简单的变种，贝叶斯LSH-Lite，它计算相似性，也提出了。BayesLSH能够快速修剪掉大部分假阳性候选对，从而使基线方法的速度显著提高。对于BayesLSH，我们还在准确率和召回率方面对输出质量提供概率保证。最后，BayesLSH的输出质量可以很容易地调整，并且不需要手动设置用于相似性估计的哈希数，这与标准方法不同。对于两种最先进的候选生成算法，AllPairs和LSH，BayesLSH能够显著加速，通常在2x-20 x范围内用于各种数据集。
2012-03-28 cs.AI cs.DB cs.DS
HashEvict: A Pre-Attention KV Cache Eviction Strategy using Locality-Sensitive Hashing
University of Maryland（马里兰大学）；Yale University（耶鲁大学）；University of Galway（Galway大学）；University of Maryland Capital One（马里兰大学Capital One）
HashEvict利用局部敏感哈希在注意力计算前快速识别并驱逐与当前查询不相似的KV缓存token，实现30%-70%的缓存压缩且保持模型性能。
2025-06-04 cs.AI cs.CL cs.DS
On the Problem of $p_1^{-1}$ in Locality-Sensitive Hashing
如果两个距离小于$r$的数据点以至少$p_1$的概率发生冲突，而距离大于$cr$的数据点以至多$p_2$的概率发生冲突，则局部敏感哈希（LSH）函数被称为$(r,cr,p_1,p_2)$敏感。这些功能的基础上成功的印地克-Motwani算法（STOC 1998）的最近邻问题。具体地，可以构建具有查询时间$\tilde O(n^ρ/p_1)$的$c$ -近似最近邻数据结构，其中$ρ=\frac{\log1/p_1}{\log1/p_2}\in(0,1)$。即次线性时间，只要$p_1$不太小。这是重要的，因为大多数高维最近邻问题都受到维数灾难的影响，并且不能比数据库的暴力线性时间扫描更快地精确解决。不幸的是，最好的LSH函数往往具有非常低的冲突概率，$p_1$和$p_2$。包括余弦和Jaccard相似性的最佳函数。这意味着LSH的$n^ρ/p_1$查询时间通常不是次线性的，即使对于近似的最近邻也是如此！本文对一般的Indyk-Motwani算法进行了改进，将LSH的查询时间减少到$\tilde O(n^ρ/p_1^{1-ρ})$（并相应地减少了空间占用）。由于$n^ρp_1^{ρ-1} < n \Leftrightarrow p_1 > n^{-1}$，我们的算法总是获得次线性查询时间，任何碰撞概率至少$1/n$。对于足够小的$p_1$和$p_2$，我们对所有以前的方法的改进可以在查询…
2020-05-25 cs.DS
Algorithms for Similarity Search and Pseudorandomness
我们研究了近似近邻（ANN）搜索的问题，并显示了以下结果：-一个改进的框架，用于解决人工神经网络的问题，使用局部敏感的哈希，减少局部敏感的哈希函数的评价和字RAM的复杂性相比，标准的框架。- 一个框架，用于解决的ANN问题的空间-时间的权衡，以及紧的上限和下限的空间-时间的权衡框架解决方案的ANN问题的余弦相似性。- 一种新的方法来解决人工神经网络问题的集合，以及匹配的下限，提高了最先进的。-一个自调整版本的算法，通过实验，优于现有的相似性连接算法。- 非对称局部敏感散列的严格下界，可应用于近似最远邻居问题，正交向量搜索和环形查询。- 一个著名的布尔局部敏感散列方案的最优性证明。我们研究了问题的有效算法产生高品质的伪随机数，并得到以下结果：-一个确定性的算法生成任意高品质的伪随机数在恒定的时间使用近最佳空间。- 一种散列函数族的随机构造，它输出任意高质量的伪随机数，其空间使用和运行时间几乎匹配已知的小区探测下限。
2019-06-22 cs.DS
Parameter-free Locality Sensitive Hashing for Spherical Range Reporting
我们提出了一种用于点集$S$上的球面范围报告的数据结构，即，报告位于给定查询点$q$的半径$r$内的$S$中的所有点。我们的解决方案建立在Indyk和Motwani的局部敏感哈希（LSH）框架之上，该框架代表了高维近邻问题的渐近最佳解决方案。虽然传统的LSH数据结构有几个参数，其最佳值取决于从$q$到$S$的点的距离分布，我们的数据结构是无参数的，除了空间使用，这是由用户配置。然而，它的预期查询时间基本上匹配LSH数据结构的查询时间，LSH的参数已经在给定的空间约束下针对所讨论的数据和查询 * 进行了 * 最优选择。特别是，我们的数据结构提供了一个平滑的权衡之间的硬查询（通常由标准LSH解决）和容易的查询，如报告的点的数量是一个恒定的分数的$S$，或几乎所有的点在$S$远离查询点。相反，已知的数据结构仅基于输入的某些参数来固定LSH参数。该算法的预期查询时间以$O(t (n/t)^ρ)$为界，其中$t$是要报告的点数，而$ρ\in (0,1)$取决于数据分布和所用LSH族的强度。我们进一步提出了一种无参数的方式使用多探测，LSH家庭，支持它，并表明，对于许多这样的家庭，这种方法使我们能够得到预期的查询时间接近$O(n^ρ+t)$，这是最好的，我们可以希望实现使用LSH。以前在高维中最好的运行时间是$Ω(t n^ρ)$。对于许多数据分布，接近$q$的点集的固有维数较低，我们可以给出改…
2016-07-20 cs.DS
Locality-Preserving Hashing for Shifts with Connections to Cryptography
在一个不熟悉的环境中，我们能否通过对周围环境进行次线性采样来感知我们的位置？我们能否有效地加密一条只有物理上接近我们的人才能解密的消息？为了解决这类问题，我们引入并研究了一种新的哈希函数，用于在次线性时间内寻找移位。函数$h:\{0,1\}^n\to \mathbb{Z}_n$是$(d,δ)$ {用于移位的\em局部保持散列函数}（LPHS），如果：（1）$h$可以通过（自适应地）查询其输入的$d$位来计算，以及（2）$\Pr [ h(x) \neq h(x \ll 1) + 1 ] \leq δ$，其中$x$是随机的，并且$\ll 1$表示向左一位的循环移位。我们做出以下贡献。* 通过分布式离散对数的近优LPHS：我们建立了LPHS和一般组模型中的分布式离散对数算法之间的一般双向连接。使用Dinur等人的算法（Crypto 2018），我们得到了接近最优误差为$δ=\tilde O(1/d^2)$的LPHS。这为基于群的密码学在后量子世界中的有用性提供了一个不寻常的例子。我们将积极的结果扩展到非循环和最坏情况下的变体LPHS。* 多维LPHS：我们得到积极和消极的结果LPHS的多维扩展，朝着最佳的2维LPHS的进展。* 应用：我们展示了LPHS的有用性，提出密码和算法的应用。特别是，我们应用多维LPHS获得一个有效的“包装”实现同态秘密共享和子线性时间实现位置敏感的加密，其解密需…
2022-01-09 cs.CR cs.DS
PSEUDo: Interactive Pattern Search in Multivariate Time Series with Locality-Sensitive Hashing and Relevance Feedback
IAV GmbH（IAV公司）；Utrecht University（乌得勒支大学）
我们提出了PSEUDo，一种自适应特征学习技术，用于探索多轨道序列数据中的视觉模式。我们的方法设计的主要重点是克服当前基于深度学习的系统中不经济的再训练要求和不灵活的表示学习。由于传感器和数据存储的增加，多轨道时间序列数据以前所未有的规模生成。这些数据集包含有价值的模式，就像在神经营销中，研究人员试图将来自生理传感器的多变量序列数据中的模式与产品和服务的购买行为联系起来。但是，缺乏地面实况和高方差使自动模式检测不可靠。我们的进步是基于一种新的查询感知的局部敏感的哈希技术，以创建一个基于特征的多变量时间序列窗口的表示。最重要的是，我们的算法具有次线性训练和推理时间。我们甚至可以完成10，000个不同的64轨时间序列的建模和比较，每个时间序列在0.8秒内具有100个时间步长（典型的EEG数据集）。这种性能增益允许底层模式相似性模型的快速相关反馈驱动的自适应，并使用户能够逐渐修改速度与准确性的权衡。我们通过定量性能比较和定性视觉质量比较，证明了PSEUDo在效率，准确性和可操控性方面的优越性，以最先进的算法在该领域。此外，我们展示了PSEUDo的可用性，通过案例研究，展示了我们的视觉模式检索概念在一个大型气象数据集。我们发现，我们的自适应模型可以准确地捕捉用户的相似性的概念，并允许在大型多变量时间序列数据集的可理解的探索性视觉模式检索。
2021-05-10 cs.AI cs.DS cs.LG
Optimal Las Vegas Locality Sensitive Data Structures
我们表明，近似相似性（近邻）搜索可以解决在高维度的性能匹配的最先进的（数据独立）局部敏感哈希，但没有假阴性的保证。具体地说，我们给出了两个数据结构的常见问题。对于Hamming空间中的$c$ -近似近邻，我们得到了与\cite{indyk1998approximate}匹配的查询时间$dn^{1/c+o(1)}$和空间$dn^{1+1/c+o(1)}$，并肯定地回答了~ \cite{indyk2000dimensionality}和~ \cite{pagh2016locality}长期存在的公开问题。通过一个新的确定性约简从$\ell_1$到汉明，我们还解决了$\ell_1$和$\ell_2$与查询时间$d^2n^{1/c+o(1)}$和空间$d^2 n^{1+1/c+o(1)}$。对于$(s_1,s_2)$ -近似Jaccard相似度，当集合大小相等时，我们得到查询时间$dn^{ρ+o(1)}$和查询空间$dn^{1+ρ+o(1)}$，$ρ=\log\frac{1+s_1}{2s_1}\big/\log\frac{1+s_2}{2s_2}$，性能与~ \cite{tobias2016}相当.这些算法是基于空间分区的，就像经典的LSH一样，但是我们使用蛮力、张量、完美散列和拆分器函数的组合来构建这些算法。我们还展示了一个新的降维引理与单侧误差。
2018-06-27 cs.DS
Optimal Data-Dependent Hashing for Approximate Near Neighbors
我们展示了一个最佳的数据依赖哈希方案的近似近邻问题。对于$d$维空间中的$n$ -点数据集，我们的数据结构实现了查询时间$O(d n^{ρ+o(1)})$和空间$O(n^{1+ρ+o(1)} + dn)$，其中$ρ=\tfrac{1}{2c^2-1}$为欧氏空间和近似$c>1$ .对于Hamming空间，我们得到了$ρ=\tfrac{1}{2c-1}$的一个指数.我们的结果完成了[AINR 14]中提出的方向，他给出了一个概念验证，即数据相关哈希可以优于经典的局部敏感哈希（LSH）。与[AINR 14]相比，新的边界不仅是最佳的，而且实际上对于所有近似因子$c>1$都优于最佳（最佳）LSH数据结构[IM 98，AI 06]。从技术的角度来看，我们通过将任意数据集分解为几个子集来进行，这些子集在某种意义上是伪随机的。
2015-07-16 cs.DS
Distance-Sensitive hashing
局部敏感哈希（LSH）是管理高维噪声或不确定数据的重要工具，例如与数据清理（相似性连接）和噪声鲁棒搜索（相似性搜索）有关。然而，对于一些问题的LSH框架是不知道产生良好的解决方案，而是特设的解决方案已被设计为特定的相似性和距离的措施。例如，对于输出敏感的相似性搜索/连接，以及对于支持环形查询的索引，这是真实的，该环形查询旨在报告与查询点接近某个给定距离的点。在本文中，我们开始研究距离敏感哈希（DSH），LSH的推广，寻求一个家庭的哈希函数，使两个点具有相同的哈希值的概率是一个给定的函数之间的距离。更准确地说，给定距离空间$(X, \text{dist})$和“碰撞概率函数”（CPF）$f\colon \mathbb{R}\rightarrow [0,1]$，我们寻求函数对$(h,g)$上的分布，使得对于每对点$x, y \in X$，碰撞概率是$\Pr[h(x)=g(y)] = f(\text{dist}(x,y))$。局部敏感哈希是研究CPF随着距离的增加而减少的速度。对于许多空间，$f$可以指数下降，即使我们限制注意的对称情况下，$g=h$。我们表明，通过具有一对功能实现的不对称性使得有可能实现CPF，例如，增加或单峰，并显示这是如何导致原则性的解决方案的LSH框架没有解决的问题。这包括隐私保护距离估计的新应用。我们相信DSH框架将在高维数据管理中得到进一步的应用。
2018-04-17 cs.DS
Hashing-Based-Estimators for Kernel Density in High Dimensions
给定点集合$P\subset \mathbb{R}^{d}$和核$k$，点$x\in\mathbb{R}^{d}$处的核密度估计被定义为$\mathrm{KDE}_{P}(x)=\frac{1}{|P|}\sum_{y\in P} k(x,y)$。我们研究的问题是设计一个数据结构，给定一个数据集$P$和一个核函数，返回 * 近似核密度 * 的查询点在 * 次线性时间 *。我们介绍了一类无偏估计核密度实现通过局部敏感散列，并给出一般性定理约束的方差估计。这些估计器产生用于估计各种常用内核的高维内核密度的有效数据结构。我们的工作是第一个提供数据结构的理论保证，提高了简单的随机抽样在高维。
2018-08-30 cs.DS
When Hashing Met Matching: Efficient Spatio-Temporal Search for Ridesharing
拼车，或与其他乘客共享，为城市交通提供了巨大的潜力。乘车共享平台使用实时数据实现这种乘车共享。在城市范围内实时找到乘车匹配是一项困难的组合优化任务，并且大多采用启发式方法。在这项工作中，我们的数学模型的问题，寻找近邻，并设计了一种新的高效的时空搜索算法的基础上的理论局部敏感的哈希最大内积搜索（MIPS）。对于小的$ρ< 1$，所提出的算法可以在时间$O(n^{1 + ρ} (k + \log n) \log k)$和空间$O(n^{1 + ρ} \log k)$上从$n$游乐设施池中为每个游乐设施找到$k$接近最优的潜在匹配。我们的算法可以扩展到几个有用的和有趣的方式，增加其实际的吸引力。通过对纽约黄色出租车出行数据集的实验表明，该算法的性能始终优于现有的探试法，从而证明了其实用性。
2020-02-19 cs.DS
Faster and Space Efficient Indexing for Locality Sensitive Hashing
Indian Institute of Technology Mandi（印度理工学院曼迪分校）；Indian Institute of Technology Hyderabad（印度理工学院海得拉巴分校）
本文针对局部敏感哈希索引构建中 O(md) 的时间和空间开销，提出基于 count sketch 及其高阶形式的 CSELSH、HCSELSH、CSSRP 和 HCSSRP 算法，将哈希码计算时间降至 O(d) 并显著降低空间复杂度，且在真实数据集上验证了有效性。
2025-07-17 cs.DS cs.LG
Locality-Sensitive Orderings and Applications to Reliable Spanners
Chan，Har-Peled和Jones [2020]最近开发了局部敏感排序（LSO），这是一种新工具，可以将欧几里得空间$\mathbb{R}^d$中的问题简化为$1$维线。他们用LSO解决了很多问题。后来，Buchin，Har-Peled和Ol{á}h [2019，2020]使用Chan { \em et al. }的LSO为欧几里得空间构造了非常稀疏的\emph{reliable spanners}。可靠的网络的一个非常理想的特性是它能够承受大规模的故障：即使90%的节点发生故障，网络仍然可以正常工作。在后续工作中，Har-Peled，Mendel和Ol{á}h [2021]为一般和拓扑结构度量构建了可靠的spectrometric。它们的构造使用了不同的方法，并且基于稀疏覆盖。在本文中，我们发展了非欧度量中的LSO理论，引入了适用于一般度量和拓扑结构度量的新类型的LSO。然后，我们构建这样的LSO的，以及构建大大改进的LSO的加倍度量。之后，我们使用我们的新的LSO的构造可靠的spectum与改进的拉伸和稀疏参数。最重要的是，我们构造了树和平面图的$\tilde{O}(n)$大小的可靠空间与$2$的最佳拉伸。在构造LSO和可靠空间的过程中，我们引入并构造了超度量覆盖，并为线路构造了$2$ -hop可靠空间。
2022-02-28 cs.CG cs.DS
Fast Private Kernel Density Estimation via Locality Sensitive Quantization
Amazon（亚马逊）
本文提出局部敏感量化框架，以黑盒方式将多种非私有KDE方法转化为差分隐私机制，首次实现时间与维度成线性关系的高维DP-KDE，并在高低维数据上验证了其快速性与准确性。
2023-07-04 cs.DS cs.LG
A Tour of Locality Sensitive Filtering on the Sphere
Sapienza University of Rome（罗马第一大学）；Tor Vergata University of Rome（罗马第二大学）；CNRS, Université Côte d’Azur（法国国家科学研究中心，蔚蓝海岸大学）
本文探讨了高维数据中近邻搜索问题，通过统一视角分析LSH和LSF算法，设计了优化的数据结构并证明其最优性，为研究者提供清晰的理论框架和最新进展视角。
2026-08-11 cs.DS
Faster tuple lattice sieving using spherical locality-sensitive filters
为了克服解决硬格问题的经典格筛选算法的大内存需求，Bai-Laarhoven-Stehlé [ANTS 2016]研究了元组格筛选，其中元组而不是格向量对被组合以形成更短的向量。Herold-Kirshanova [PKC 2017]最近改进了他们对任意元组大小的结果，例如，三重滤网可以在时间$2^{0.3717d + o(d)}$上解决维度$d$中的最短向量问题（SVP），使用类似于位置敏感哈希的技术来寻找最近的邻居。在这项工作中，我们推广了Becker-Ducas-Gama-Laarhoven [SODA 2016]的球形局部敏感过滤器，以获得密集数据集上近邻搜索的时空权衡，并将这些技术应用于元组格筛选，以获得更好的时间复杂度。例如，我们的三重滤网在时间上逐层求解SVP $2^{0.3588d + o(d)}$。对于基于Micciancio-Voulgaris的GaussSieve [SODA 2010]的实际筛，这表明三重筛比当前最佳的近线性空间双重筛使用更少的空间和更少的时间。
2018-02-23 cs.CR cs.DS
A Framework for Similarity Search with Space-Time Tradeoffs using Locality-Sensitive Filtering
我们提出了一个框架，基于局部敏感过滤（LSF）的相似性搜索，推广的Indyk-Motwani（STOC 1998）局部敏感哈希（LSH）框架，以支持时空权衡。给定一族过滤器，定义为具有某些局部敏感性属性的空间子集对上的分布，我们可以在$d$维空间中解决具有查询时间$dn^{ρ_q+o(1)}$、更新时间$dn^{ρ_u+o(1)}$和空间使用$dn + n^{1 + ρ_u + o(1)}$的$n$点数据集的近似近邻问题。空时折衷与查询时间和更新时间之间的折衷有关，由过滤器族确定的指数$ρ_q, ρ_u$控制。Becker等人（SODA 2016）引入了局部敏感过滤，以及在查询时间和空间之间产生单一，平衡，权衡的框架，进一步依赖于过滤器评估算法的有效预言的假设。我们扩展了LSF框架，以支持时空权衡，并通过现有技术的组合，我们删除了预言机的假设。在Laarhoven（arXiv 2015）的单位球过滤器族的基础上，我们使用Rahimi & Recht（NIPS 2007）的内核嵌入技术来显示$0 < s \leq 2$的$\ell_s^d$ -空间中的$(r,cr)$-近邻问题的解决方案，其中查询和更新指数$ρ_q=\frac{c^s(1+λ)^2}{(c^s+λ)^2}$和$ρ_u=\frac{c^s(1-λ)^2}{(c^s+λ)^2}$，其中$λ\in[-1,1]$是权衡参数。…
2016-11-22 cs.DS
Optimal Hashing in External Memory
哈希表是字典数据结构的一个普遍存在的类别。然而，标准的哈希表实现不能很好地转换到外部内存模型中，因为它们没有包含插入的局部性。Iacono和Patracsu为外部哈希表建立了一个更新/查询权衡曲线：在$O(λ/B)$分期IO中执行插入的哈希表需要$Ω(\log_λN)$预期的IO用于查询，其中$N$是可以存储在数据结构中的项目的数量，$B$是内存传输的大小，$M$是内存的大小，$λ$是一个调优参数。它们为$λ$提供了一种满足该曲线的散列数据结构，即$Ω(\log\log M + \log_M N)$。他们的数据结构，我们称之为\defn{IP hash table}，是复杂的，据我们所知，还没有实现。在本文中，我们提出了一个新的和更简单的最佳外部存储器哈希表，\defn{Bundle of Arrays Hash Table}（BOA）。BOA基于大小分层的LSM，这是一种经过充分研究的数据结构，并且几乎同样容易实现。BOA最适用于较窄范围的$λ$。然而，BOA的简单性允许它们容易地被修改以实现以下结果：\begin{itemize} \item A new external memory data structure, the \defn{Bundle of Trees Hash Table} (BOT), that matches the performance of the …
2018-05-23 cs.DS
Optimal Hashing-based Time-Space Trade-offs for Approximate Near Neighbors
[See论文全文摘要]。我们展示了紧的上界和下界的时间-空间权衡的$c$ -近似近邻搜索问题。对于$d$维欧氏空间和$n$点数据集，我们为每个$ρ_u, ρ_q \geq 0$开发了一个具有空间$n^{1 + ρ_u + o(1)} + O(dn)$和查询时间$n^{ρ_q + o(1)} + d n^{o(1)}$的数据结构，使得：\begin{equation} c^2 \sqrt{ρ_q} + (c^2 - 1) \sqrt{ρ_u} = \sqrt{2c^2 - 1}. \end{equation}这是第一个针对每个近似因子$c > 1$实现次线性查询时间和近线性空间的数据结构，改进了[Kapralov，PODS 2015]。数据结构是针对所有空间区域的问题进行的一系列工作的高潮;它建立在球形局部敏感过滤[Becker，Ducas，Gama，Laarhoven，SODA 2016]和数据相关哈希[Andoni，Indyk，Nguyen，Razenshteyn，SODA 2014] [Andoni，Razenshteyn，STOC 2015]的基础上。我们的匹配下界有两种类型：条件和无条件。首先，我们在一个限制性的计算模型中证明了整个上述权衡的紧密性，该模型捕获了所有已知的基于散列的方法。然后，我们显示了与$ρ_q = 0$的上述权衡相匹配的一个和两个探针的无条件细胞探针下限…
2017-05-21 cs.CC cs.CG cs.DS
Locality-sensitive bucketing functions for the edit distance
许多生物信息学应用涉及将一组序列分桶，其中允许将每个序列分配到多个桶中。为了实现高灵敏度和精确度，需要桶化方法将相似序列分配到相同桶中，同时将不相似序列分配到不同桶中。现有的基于$k$ -mer的桶化方法在处理具有低出错率的测序数据中是有效的，但是遇到对具有高出错率的数据的灵敏度大大降低。局部敏感哈希（LSH）方案能够通过容忍类似序列中的编辑来缓解这个问题，但最先进的方法仍然存在很大的差距。在这里，我们通过允许它将一个序列散列到多个桶中来概括LSH函数。形式上，如果在$d_1$的编辑距离内的任何两个序列被映射到至少一个共享桶中，并且距离至少为$d_2$的任何两个序列被映射到不相交的桶子集中，则将（固定长度的）序列映射到桶子集中的分桶函数被定义为是$(d_1, d_2)$敏感的。我们构造了具有各种$(d_1,d_2)$值的位置敏感的桶（LSB）函数，并分析了它们相对于所需桶的总数以及特定序列映射到的桶的数量的效率。我们还证明了这两个参数在不同的设置下的下界，并表明我们构造的LSB函数是最优的。这些结果提供了理论基础，为他们的实际应用中分析序列与高出错率，同时也提供了见解的难度设计无缺口LSH功能。
2022-06-24 cs.DS
Supermodular Locality Sensitive Hashes
在这项工作中，我们展示了局部敏感哈希性和子模块分析之间的深层联系。我们发现，最常见的分析集的相似性的LSHablility是在一对一的对应关系与supermodularity这些相似性时，采取相对于他们的参数的对称差异。我们发现等价LSH相似性的超模块性依赖于集合编码。虽然单调性和超模块性并不意味着超模块性所必需的度量条件，但这个条件对于我们引入的更受限制的超模汉明相似性类是有保证的。此外，我们还证明了LSH保持变换也是超模保持的，从而产生了一种生成LSH可保持和超模相似性族的方法。最后，我们表明，即使是更受限制的家庭基数为基础的超模汉明相似性的LSH能力和supermodularity之间的联系的研究提出了有前途的方面。我们希望我们在LSHability和超模块化之间引入的几个桥梁为更好地理解超模块化分析和LSHability铺平了道路，特别是在大规模超模块化优化的背景下。
2018-07-17 cs.DM cs.DS
LSF-Join: Locality Sensitive Filtering for Distributed All-Pairs Set Similarity Under Skew
UCSD（加州大学圣地亚哥分校）；Google（谷歌）；CMU（卡内基梅隆大学）
全对集相似性是一个广泛使用的数据采掘任务，即使是大型和高维数据集。传统上，相似性搜索集中在发现非常相似的对，其中各种有效的算法是已知的。然而，最近的工作突出了寻找对集合的重要性，相对较小的交叉尺寸。例如，在推荐系统中，两个用户可能是相似的，即使他们的兴趣只在一小部分项目上重叠。在这样的系统中，一些维度通常是高度倾斜的，因为它们非常受欢迎。这两个属性一起使得以前的方法对于大输入大小是不可行的。为了解决这个问题，我们提出了一个新的分布式算法，LSF-Join，近似所有对集相似性。我们的算法的核心是一个随机选择过程的基础上局部敏感过滤。我们的方法偏离了以前的近似算法，这是基于局部敏感哈希。理论上，我们表明，LSF连接有效地找到最接近的对，即使是小的相似性阈值和倾斜的输入集。我们证明了LSF-Join的通信，工作和最大负载的保证，我们还通过实验证明了它在多个图上的准确性。
2020-03-06 cs.DC cs.DS cs.LG
Polytopes, lattices, and spherical codes for the nearest neighbor problem
我们研究了用于角距离最近邻问题的局部敏感哈希方法，重点是首先向下投影到低维子空间上，然后根据适当的球形码诱导的Voronoi单元划分投影向量的方法。这种方法在Charikar [STOC'02]的快速但次优的超平面散列和Andoni-Indyk [FOCS'06]、Andoni-Indyk-Nguyen-Razenshteyn [SODA'14]和Andoni-Indyk-Laarhoven-Razenshteyn-Schmidt [NIPS'15]的渐近最优但实际上通常较慢的散列族之间进行了推广和插值。我们建立了一个框架，在这种情况下，任何球形代码的性能进行分析，我们提供的结果，从文献中的各种代码，如那些相关的规则多面体和根格。类似于超平面散列，而不像交叉多面体散列，我们的碰撞概率和查询指数的分析是准确的，并没有隐藏的顺序项消失，只有大$d$，促进了一个简单的参数选择。对于二维的情况下，我们推导出封闭形式的表达式为任意球形码，我们证明了等边三角形是最佳的，实现了更好的性能比二维类似物的超平面和交叉多面体哈希。在三维和四维，我们发现，四面体，$5$ -细胞，$16$ -细胞实现最佳的查询指数，而在五个或更多的维度orthoplices出现优于定期单纯形，以及根格家庭$A_k$和$D_k$。我们认为，在更高的维度，更大的球形代码将可能存在，这将优于orthoplices在理论上，我们…
2020-04-23 cs.CC cs.CG cs.DS
ProbMinHash -- A Class of Locality-Sensitive Hash Algorithms for the (Probability) Jaccard Similarity
Dynatrace Research（Dynatrace研究中心）
概率Jaccard相似性最近被提出作为Jaccard相似性的自然推广，以度量其元素与相对频率或概率相关联的集合的接近度。结合将这些加权集映射到紧凑签名的散列算法，可以快速估计成对相似性，它构成了大数据应用的一种有价值的方法，如近似重复检测，最近邻搜索或聚类。本文介绍了一类一遍局部敏感哈希算法，是数量级的速度比原来的方法。通过不独立地而是共同地计算特征分量来实现性能增益。基于这一思想提出了四种不同的算法。其中两种方法在统计学上与原始方法相当，可以用作直接替代方法。另外两个甚至可以通过在签名分量之间引入统计相关性来改善估计误差。此外，所提出的技术可以专门用于传统的Jaccard相似性，从而产生高效的算法，其性能优于传统的minwise散列，并且能够与现有技术竞争。
2020-10-26 cs.DB cs.DS cs.LG
Multi-Resolution Hashing for Fast Pairwise Summations
在大规模数据集分析中，一个基本的计算原语是对大量对象上的简单函数求和。现代应用程序提出了一个额外的挑战，因为这样的功能往往取决于一个参数向量$y$（查询）是未知的先验。给定一组点$X\subset \mathbb{R}^{d}$和一个成对函数$w:\mathbb{R}^{d}\times \mathbb{R}^{d}\to [0,1]$，我们研究了设计一个数据结构的问题，该数据结构使任何查询$y\in \mathbb{R}^{d}$的求和$Z_{w}(y)=\frac{1}{|X|}\sum_{x\in X}w(x,y)$的次线性时间近似。通过将调和分析（单位和近似理论的分区）的思想与基于哈希的估计器[Charikar，Siminelakis FOCS'17]相结合，我们提供了一个通过哈希设计这种数据结构的通用框架，远远超出了以前的技术所允许的范围。一个关键的设计原则是一个集合的$T\geq 1$散列方案与冲突概率$p_{1},\ldots, p_{T}$，使得$\sup_{t\in [T]}\{p_{t}(x,y)\} = Θ(\sqrt{w(x,y)})$。这导致使用来自每个散列族的子线性数量的样本来近似$Z_{w}(y)$的数据结构。使用这个新的框架以及距离敏感哈希[Aumuller，Christiani，Pagh，Silvestri PODS'18]，我们证明了这样的集合可…
2018-11-03 cs.DS
Scalability and Total Recall with Fast CoveringLSH
局部敏感哈希（LSH）已经成为在高维空间中具有强性能保证的相似性搜索的主要算法技术。传统LSH方案的缺点是它们可能具有\emph{false negatives}，即，召回率小于100%.这限制了LSH在需要精确性能保证的环境中的适用性。基于最近理论上的“CoveringLSH”构造，消除了假阴性，我们提出了一个快速和实用的覆盖LSH方案的汉明空间称为\emph{Fast CoveringLSH (fcLSH)}。继承CoveringLSH的设计优势，我们的方法避免了假阴性，并始终报告所有近邻。与CoveringLSH相比，我们实现了从$\mathcal{O}(dL)$到$\mathcal{O}(d + L\log{L})$的哈希函数计算时间的渐进改进，其中$d$是数据的维数，$L$是哈希表的数量。我们对合成数据集和真实数据集的实验表明，\emph{fcLSH}在高维汉明空间中搜索半径高达20的情况下与传统的基于散列的方法相当（并且往往更优越）。
2016-08-19 cs.DB cs.DS cs.IR
