Experimental Analysis of Machine Learning Techniques for Finding Search Radius in Locality Sensitive Hashing
New Mexico State University（新墨西哥州立大学）
在高维空间中寻找相似数据是多媒体应用的重要任务之一。引入的方法来找到精确的搜索技术通常使用基于树的索引结构，这是已知的遭受灾难的维数问题，限制了他们的性能。近似搜索技术更喜欢性能而不是准确性，它们在获得更好性能的同时返回足够好的结果。局部敏感哈希（LSH）是高维空间中最流行的近似最近邻搜索技术之一。LSH中最耗时的过程之一是在投影空间中找到相邻点。一种改进的基于LSH的索引结构，称为半径优化的局部敏感哈希（roLSH）已被提出来利用机器学习，并有效地找到这些相邻点，从而进一步提高LSH的整体性能。在本文中，我们通过实验研究不同类型的著名机器学习技术对整体性能的影响来扩展roLSH。我们在四个真实世界的数据集上比较了十种回归技术，并表明基于神经网络的技术最适合用于roLSH，因为与其他技术相比，它们的准确性和性能权衡是最好的。
2022-11-16 cs.DB cs.LG
Similarity Join Size Estimation using Locality Sensitive Hashing
相似连接是一种重要的操作，有着广泛的应用。本文研究了向量相似连接长度估计问题。它是以前研究的集合相似性连接大小估计（SSJ）问题的推广，可以处理更有趣的情况下，如TF-IDF向量。相似性连接大小估计中的关键挑战之一是连接大小可以根据输入相似性阈值而显著变化。我们提出了一个基于采样的算法，使用局部敏感哈希（LSH）计划。所提出的算法LSH-SS使用LSH索引，即使在高阈值下也能够进行有效采样。我们将所提出的技术与随机抽样和最先进的SSJ技术（适用于VSJ）进行比较，并证明LSH-SS在高和低相似性阈值以及使用真实数据集的小方差下提供更准确的估计。
2011-04-16 cs.DB cs.DS
Neural Locality Sensitive Hashing for Entity Blocking
针对现有LSH实体分块方案难以适配定制化相似规则的问题，提出基于预训练语言模型与新型LSH损失函数微调的NLSHBlock方法，在多类真实数据集上性能优于现有方法，还可提升半监督场景下的实体匹配效果。
2024-01-31 cs.DB cs.IR
Locality-Sensitive Hashing for Earthquake Detection: A Case Study of Scaling Data-Driven Science
在这项工作中，我们报告了一个新的应用程序的局部敏感哈希（LSH）地震数据的规模。基于重复发生的地震之间的高波形相似性，我们的应用程序通过LSH搜索相似的时间序列片段来识别潜在地震。然而，这种支持LSH的应用程序的直接实现难以扩展到在单个地震台站测量的超过3个月的连续时间序列数据。作为一个数据驱动的科学工作流的案例研究，我们说明了如何领域知识可以纳入工作量，以提高效率和结果质量。我们描述了从预处理到后处理的分析管道的几个端到端优化，这允许应用程序扩展到多个地震台站测量的时间序列数据。我们的优化在端到端分析管道中实现了超过100 $\times$的加速。这种改进的可扩展性使地震学家能够对来自十多个地震台站的十多年连续时间序列数据进行地震分析，并直接使加利福尼亚州Diablo Canyon核电站附近的597次新地震和新西兰的6123次新地震得以发现。
2018-07-24 cs.DB
Scalable Locality-Sensitive Hashing for Similarity Search in High-Dimensional, Large-Scale Multimedia Datasets
相似性搜索对于许多数据库应用至关重要，包括日益流行的基于内容的多媒体检索（CBMR）在线服务。这些服务，包括图像搜索引擎，必须处理大量的数据，同时保持较低的响应时间。因此，可扩展性是必不可少的相似性搜索在Web规模的应用程序，但大多数现有的方法是顺序和目标共享内存的机器。在这里，我们解决了这些问题，一个分布式的，高效的，可扩展的索引基于局部敏感哈希（LSH）。LSH是最有效和最流行的相似性搜索技术之一，但其不良的引用局部性使其实现具有挑战性的问题。我们的解决方案是基于一个广泛的异步并行化，具有许多优化，包括分层并行化解耦索引和数据存储，本地感知的数据分区策略，以减少消息传递，和多探测，以限制内存使用。建议的并行化达到了90%的效率，在分布式系统约800个CPU核心。特别是，原始的本地感知数据分区将交换的消息数量减少了30%。我们的并行LSH使用最大的公共数据集进行相似性搜索（据我们所知），从Web图像中提取$10^9$ 128-d SIFT描述符。这比以前的LSH并行化可以处理的数据集大两个数量级。
2013-10-15 cs.DB cs.DC cs.IR
DB-LSH: Locality-Sensitive Hashing with Query-based Dynamic Bucketing
在高维近似最近邻搜索问题的众多解决方案中，局部敏感哈希算法（LSH）以其次线性查询时间和可靠的查询精度理论保证而闻名。传统的LSH方法可以从哈希表中快速生成少量的候选项，但是存在索引大小过大和哈希边界问题。最近的研究，以解决这些问题往往会产生额外的开销，以确定合格的候选人或删除误报，使查询时间不再是次线性的。为了解决这个难题，在本文中，我们提出了一种新的LSH计划称为DB-LSH，它支持高效的人工神经网络搜索大型高维数据集。它使用多维索引组织投影空间，而不是使用固定宽度的哈希桶。我们的方法可以显着减少空间成本，因为避免了需要维护许多哈希表不同的桶大小。在DB-LSH的查询阶段，通过基于索引的窗口查询，动态构造具有所需宽度的基于查询的超立方桶，可以高效地生成少量高质量的候选项。对于$n$-$c$维点集，我们严格的理论分析表明，DB-LSH实现了更小的查询成本${O(n^{ρ^*} d\log n)}$，其中${ρ^*}$由${1/c^α}$界定，而在现有的工作中，界限是${1/c}$。对真实数据的广泛实验表明，DB-LSH在效率和准确性方面优于最先进的方法。
2022-07-20 cs.DB
Similarity Search and Locality Sensitive Hashing using TCAMs
相似性搜索方法被广泛用作各种机器学习应用中的内核。最近邻搜索（NNS）算法通常用于在给定查询的情况下检索相似的条目。虽然存在使用散列进行精确查询查找的有效技术，但是已知使用精确最近邻的相似性搜索是一个难题，并且在高维中，最佳已知解决方案提供的线性扫描改进很少。近似NNS问题的快速解决方案包括基于局部敏感哈希（LSH）的技术，其需要指数大于$1$的$n$中的存储多项式，以及查询时间次线性，但在$n$中仍然是多项式，其中$n$是数据库的大小。在这项工作中，我们提出了一种新的技术，解决近似NNS问题在欧几里德空间使用三元内容寻址存储器（TCAM），它需要近线性空间，并具有O（1）的查询时间。事实上，该方法还使用数据库大小接近线性的数据结构围绕查询时间的单元探测模型中的最佳已知下限工作。TCAM是广泛用于诸如访问控制列表的网络应用中的高性能关联存储器。TCAM可以在三元向量的数据库内查询位向量，其中每个位位置表示$0$、$1$或$*$。$*$是代表$0$或$1$的通配符。我们利用TCAM来设计LSH的一个变体，称为三元局部敏感哈希（TLSH），其中我们将由欧几里得空间中的向量表示的数据库条目哈希到$\{0,1,*\}$中。通过使用TLSH方案相对于$*$字符的附加功能，我们解决了1 TCAM访问和存储在数据库的大小中接近线性的近似最近邻问题的实例。我们相信，这项工作可以开辟新的途径，在非常…
2010-06-17 cs.DB cs.IR
Locality-Sensitive Hashing for f-Divergences: Mutual Information Loss and Beyond
Yale University（耶鲁大学）；Google Research（谷歌研究院）
计算高维空间中的近似最近邻是大规模数据采掘的核心问题，在机器学习和数据科学中有着广泛的应用。近似计算最近邻居的一种流行且有效的技术是局部敏感哈希（LSH）方案。在本文中，我们的目标是开发LSH计划的距离函数，测量两个概率分布之间的距离，特别是f-发散以及概括捕捉互信息损失。首先，我们提供了一个一般的框架来设计LHS计划的f-散度距离函数和发展LSH计划的广义Jensen-Shannon散度和三角歧视在这个框架。我们证明了一个双边的近似结果的广义詹森-香农发散的Hellinger距离，这可能是独立的兴趣。接下来，我们展示了一个一般的方法，减少设计一个LSH计划的Krein内核（它可以表示为两个正定内核的差异）的问题的最大内积搜索。由于该方法在模型压缩等方面的重要应用，我们将其应用于互信息损失，从而证明了该方法的有效性。
2019-10-28 cs.DB cs.DS cs.LG
DET-LSH: A Locality-Sensitive Hashing Scheme with Dynamic Encoding Tree for Approximate Nearest Neighbor Search
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；LIPADE, Université Paris Cité（巴黎西岱大学 LIPADE 实验室）
DET-LSH通过动态编码树提升索引效率和查询准确性，在高维空间中实现更高效的近似最近邻搜索。
2026-02-10 cs.DB
Bayesian Locality Sensitive Hashing for Fast Similarity Search
The Ohio State University（俄亥俄州立大学）
给定一组对象和相关的相似性度量，所有对相似性搜索问题要求我们找到所有相似性大于某个用户指定阈值的对象对。基于局部敏感哈希（LSH）的方法已经成为解决这个问题的一种非常流行的方法。然而，大多数这样的方法仅在相似性搜索的第一阶段使用LSH-即用于候选生成的有效索引。在本文中，我们提出了BayesLSH，一个原则性的贝叶斯算法的后续阶段的相似性搜索-执行候选人修剪和相似性估计使用LSH。一个更简单的变种，贝叶斯LSH-Lite，它计算相似性，也提出了。BayesLSH能够快速修剪掉大部分假阳性候选对，从而使基线方法的速度显著提高。对于BayesLSH，我们还在准确率和召回率方面对输出质量提供概率保证。最后，BayesLSH的输出质量可以很容易地调整，并且不需要手动设置用于相似性估计的哈希数，这与标准方法不同。对于两种最先进的候选生成算法，AllPairs和LSH，BayesLSH能够显著加速，通常在2x-20 x范围内用于各种数据集。
2012-03-28 cs.AI cs.DB cs.DS
Locality Sensitive Hashing with Extended Differential Privacy
Macquarie University（麦考瑞大学）；Inria（法国国家信息与自动化研究所）；École Polytechnique（巴黎综合理工学院）；National Institute of Advanced Industrial Science and Technology (AIST)（日本产业技术综合研究所）
针对扩展差分隐私仅支持少数度量的问题，提出基于LSH、面向角距离的扩展DP机制，并在高维好友匹配中验证其效用与隐私优势。
2021-08-12 cs.CR cs.DB cs.IR
Probabilistic Blocking with An Application to the Syrian Conflict
Duke University（杜克大学）；Rice University（莱斯大学）
实体解析试图合并数据库，以删除唯一标识符通常未知的重复条目。我们回顾了现代的实体解析阻塞方法，重点是基于局部敏感哈希（LSH）的方法。首先，我们介绍了$k$ -意味着局部敏感哈希（KLSH），这是基于信息检索文献和集群相似的记录到块使用向量空间表示和投影。其次，我们介绍了LSH的次二次变量的文献，被称为加密的一个排列散列（DOPH）。第三，我们提出了DOPH的加权变体。我们说明了每种方法的应用程序的一个子集正在进行的叙利亚冲突，给出了每种方法的讨论。
2018-10-11 cs.DB cs.LG stat.AP
Bio-Inspired Hashing for Unsupervised Similarity Search
UC San Diego（加利福尼亚大学圣地亚哥分校）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；Princeton University（普林斯顿大学）；IBM Research（IBM研究院）
果蝇的嗅觉回路启发了一种新的局部敏感哈希（LSH）算法，FlyHash。与产生低维散列码的经典LSH算法相比，FlyHash产生稀疏的高维散列码，并且在相似性搜索中也被证明具有优于经典LSH算法的经验性能。然而，FlyHash使用随机预测，无法从数据中学习。基于FlyHash的灵感和神经生物学中稀疏扩展表示的普遍性，我们的工作提出了一种新的哈希算法BioHash，该算法以数据驱动的方式产生稀疏高维哈希码。我们表明，BioHash优于以前公布的各种哈希方法的基准。由于我们的学习算法是基于一个本地和生物学上合理的突触可塑性规则，我们的工作提供了证据的建议，LSH可能是一个计算的原因，在各种生物系统的稀疏扩展图案的丰度。我们还提出了一个卷积变体BioConvHash，进一步提高了性能。从计算机科学的角度来看，BioHash和BioConvHash是快速的，可扩展的，并产生压缩的二进制表示，可用于相似性搜索。
2020-06-30 cs.DB cs.IR cs.LG
ProbMinHash -- A Class of Locality-Sensitive Hash Algorithms for the (Probability) Jaccard Similarity
Dynatrace Research（Dynatrace研究中心）
概率Jaccard相似性最近被提出作为Jaccard相似性的自然推广，以度量其元素与相对频率或概率相关联的集合的接近度。结合将这些加权集映射到紧凑签名的散列算法，可以快速估计成对相似性，它构成了大数据应用的一种有价值的方法，如近似重复检测，最近邻搜索或聚类。本文介绍了一类一遍局部敏感哈希算法，是数量级的速度比原来的方法。通过不独立地而是共同地计算特征分量来实现性能增益。基于这一思想提出了四种不同的算法。其中两种方法在统计学上与原始方法相当，可以用作直接替代方法。另外两个甚至可以通过在签名分量之间引入统计相关性来改善估计误差。此外，所提出的技术可以专门用于传统的Jaccard相似性，从而产生高效的算法，其性能优于传统的minwise散列，并且能够与现有技术竞争。
2020-10-26 cs.DB cs.DS cs.LG
Arrays of (locality-sensitive) Count Estimators (ACE): High-Speed Anomaly Detection via Cache Lookups
Rice University（莱斯大学）
异常检测是大规模数据处理系统中一个常见而重要的子程序。即使是一个很好的研究课题，现有的无监督异常检测技术需要存储大量的数据，这是禁止从内存和延迟的角度来看。在大数据世界中，现有的方法无法解决新的内存和延迟限制。在本文中，我们提出了ACE（阵列（局部敏感）计数估计器）算法，可以是60倍的速度比ELKI包~ \cite{DBLP:conf/ssd/AchtertBKSZ09}，它具有最快的无监督异常检测算法的实现。ACE算法需要少于$4MB$的内存，动态地将全部数据信息压缩成一组计数数组。这些微小的$4MB$计数阵列足以用于无监督的异常检测。在ACE算法的核心，有一个新的统计估计，这是来自局部敏感哈希（LSH）的抽样视图。这种观点与广泛流行的用于近邻搜索的LSH观点有很大不同，而且效率也很高。我们在3个基准数据集上显示了ACE算法在11个流行基线上的优越性，其中包括KDD-Cup 99数据，该数据是最大的可用基准，包含超过50万个具有地面真实异常标签的条目。
2017-06-20 cs.DB cs.LG stat.CO
Towards a Model for LSH
Wufong University（五峰大学）
随着数据量的持续增长，聚类和离群值检测算法变得越来越耗时。由于“维数灾难”，用于邻居搜索的经典索引结构不再可持续。相反，近似索引结构提供了一个很好的机会，以显着加速聚类和离群值检测的邻居搜索，并在算法的结果中具有最低的可能出错率。局部敏感哈希就是其中之一。我们指出方向LSH的属性建模。
2021-05-11 cs.DB cs.DS cs.LG
Distributed Tera-Scale Similarity Search with MPI: Provably Efficient Similarity Search over billions without a Single Distance Computation
Rice University（莱斯大学）
我们提出了SLASH（草图局部敏感哈希），MPI（消息传递接口）为基础的分布式系统的近似相似性搜索TB级规模的数据集。SLASH提供了流行的LSH（局部敏感哈希）算法的多节点实现，该算法通常在单个机器上实现。我们展示了如何在LSH算法中添加重打击者草图来证明解决（高）相似性搜索问题，而无需单个距离计算。总体而言，我们数学上表明，在现实的数据假设下，我们可以确定一个给定的查询$q$的近邻在次线性（$ \ll O(n)$）数量的简单的草图聚合操作。为了使这样一个系统实用，我们提供了一个新颖的设计和草图解决方案，以减少机器间的通信开销指数。在可比硬件上的直接比较中，SLASH比PySpark中流行的LSH包快10000倍以上。PySpark是LSH算法在大型数据集上的广泛采用的分布式实现，并部署在商业平台上。最后，我们展示了我们的系统如何扩展到具有超过40亿个样本的Tera-scale Criteo数据集。SLASH可以在不到一小时的时间内为20个节点上的2.3TB数据建立索引，查询时间只需几毫秒。据我们所知，目前还没有一个开源系统可以对Criteo进行商品集群索引和相似性搜索。
2020-08-17 cs.DB cs.DC cs.IR
Scalability and Total Recall with Fast CoveringLSH
局部敏感哈希（LSH）已经成为在高维空间中具有强性能保证的相似性搜索的主要算法技术。传统LSH方案的缺点是它们可能具有\emph{false negatives}，即，召回率小于100%.这限制了LSH在需要精确性能保证的环境中的适用性。基于最近理论上的“CoveringLSH”构造，消除了假阴性，我们提出了一个快速和实用的覆盖LSH方案的汉明空间称为\emph{Fast CoveringLSH (fcLSH)}。继承CoveringLSH的设计优势，我们的方法避免了假阴性，并始终报告所有近邻。与CoveringLSH相比，我们实现了从$\mathcal{O}(dL)$到$\mathcal{O}(d + L\log{L})$的哈希函数计算时间的渐进改进，其中$d$是数据的维数，$L$是哈希表的数量。我们对合成数据集和真实数据集的实验表明，\emph{fcLSH}在高维汉明空间中搜索半径高达20的情况下与传统的基于散列的方法相当（并且往往更优越）。
2016-08-19 cs.DB cs.DS cs.IR
Anti-sparse coding for approximate nearest neighbor search
INSTITUT NATIONAL DE RECHERCHE EN INFORMATIQUE ET EN AUTOMATIQUE（法国国家信息与自动化研究所）
本文提出了一种基于反稀疏编码概念的高维向量二值化方法，并证明了该方法在近似最近邻搜索中的优良性能。与其他二进制化方案不同，该框架允许从原始向量的二进制表示进行显式重建，直到缩放因子。该论文还表明，如果位数超过向量维数，则用于局部敏感哈希算法的随机投影对于合成数据和真实数据都明显优于常规帧，即，当需要高精度时。
2011-10-25 cs.CV cs.DB cs.IR
