Locality-Sensitive Hashing Scheme based on Longest Circular Co-Substring
局部敏感散列(LSH)是高维空间中$c$ -近似最近邻搜索($c$ -ANNS)最流行的方法之一。在本文中,我们提出了一种新的LSH方案的基础上最长循环共子串(LCCS)搜索框架(LCCS-LSH)的理论保证。本文提出了一种新的LCCS概念和一种用于$k$ -LCCS搜索的循环移位阵列(CSA)数据结构。LCCS搜索框架的见解是,接近的数据对象将具有比相距较远的数据对象更长的LCCS。LCCS-LSH是\emph{LSH-family-independent},它支持具有不同类型距离度量的$c$ -ANNS。我们还介绍了LCCS-LSH的多探针版本,并在五个真实数据集上进行了广泛的实验。实验结果表明,LCCS-LSH优于最先进的LSH计划。
2020-04-11 cs.DB cs.DS
Experimental Analysis of Machine Learning Techniques for Finding Search Radius in Locality Sensitive Hashing
New Mexico State University(新墨西哥州立大学)
在高维空间中寻找相似数据是多媒体应用的重要任务之一。引入的方法来找到精确的搜索技术通常使用基于树的索引结构,这是已知的遭受灾难的维数问题,限制了他们的性能。近似搜索技术更喜欢性能而不是准确性,它们在获得更好性能的同时返回足够好的结果。局部敏感哈希(LSH)是高维空间中最流行的近似最近邻搜索技术之一。LSH中最耗时的过程之一是在投影空间中找到相邻点。一种改进的基于LSH的索引结构,称为半径优化的局部敏感哈希(roLSH)已被提出来利用机器学习,并有效地找到这些相邻点,从而进一步提高LSH的整体性能。在本文中,我们通过实验研究不同类型的著名机器学习技术对整体性能的影响来扩展roLSH。我们在四个真实世界的数据集上比较了十种回归技术,并表明基于神经网络的技术最适合用于roLSH,因为与其他技术相比,它们的准确性和性能权衡是最好的。
2022-11-16 cs.DB cs.LG
Similarity Join Size Estimation using Locality Sensitive Hashing
相似连接是一种重要的操作,有着广泛的应用。本文研究了向量相似连接长度估计问题。它是以前研究的集合相似性连接大小估计(SSJ)问题的推广,可以处理更有趣的情况下,如TF-IDF向量。相似性连接大小估计中的关键挑战之一是连接大小可以根据输入相似性阈值而显著变化。我们提出了一个基于采样的算法,使用局部敏感哈希(LSH)计划。所提出的算法LSH-SS使用LSH索引,即使在高阈值下也能够进行有效采样。我们将所提出的技术与随机抽样和最先进的SSJ技术(适用于VSJ)进行比较,并证明LSH-SS在高和低相似性阈值以及使用真实数据集的小方差下提供更准确的估计。
2011-04-16 cs.DB cs.DS
Neural Locality Sensitive Hashing for Entity Blocking
针对现有LSH实体分块方案难以适配定制化相似规则的问题,提出基于预训练语言模型与新型LSH损失函数微调的NLSHBlock方法,在多类真实数据集上性能优于现有方法,还可提升半监督场景下的实体匹配效果。
2024-01-31 cs.DB cs.IR
DET-LSH: A Locality-Sensitive Hashing Scheme with Dynamic Encoding Tree for Approximate Nearest Neighbor Search
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);LIPADE, Université Paris Cité(巴黎西岱大学 LIPADE 实验室)
DET-LSH通过动态编码树提升索引效率和查询准确性,在高维空间中实现更高效的近似最近邻搜索。
2026-02-10 cs.DB
Scalable Locality-Sensitive Hashing for Similarity Search in High-Dimensional, Large-Scale Multimedia Datasets
相似性搜索对于许多数据库应用至关重要,包括日益流行的基于内容的多媒体检索(CBMR)在线服务。这些服务,包括图像搜索引擎,必须处理大量的数据,同时保持较低的响应时间。因此,可扩展性是必不可少的相似性搜索在Web规模的应用程序,但大多数现有的方法是顺序和目标共享内存的机器。在这里,我们解决了这些问题,一个分布式的,高效的,可扩展的索引基于局部敏感哈希(LSH)。LSH是最有效和最流行的相似性搜索技术之一,但其不良的引用局部性使其实现具有挑战性的问题。我们的解决方案是基于一个广泛的异步并行化,具有许多优化,包括分层并行化解耦索引和数据存储,本地感知的数据分区策略,以减少消息传递,和多探测,以限制内存使用。建议的并行化达到了90%的效率,在分布式系统约800个CPU核心。特别是,原始的本地感知数据分区将交换的消息数量减少了30%。我们的并行LSH使用最大的公共数据集进行相似性搜索(据我们所知),从Web图像中提取$10^9$ 128-d SIFT描述符。这比以前的LSH并行化可以处理的数据集大两个数量级。
2013-10-15 cs.DB cs.DC cs.IR
Experimental Analysis of Locality Sensitive Hashing Techniques for High-Dimensional Approximate Nearest Neighbor Searches
在高维空间中寻找最近邻居是许多多媒体检索应用中的基本操作。精确的基于树的索引方法是众所周知的遭受臭名昭著的灾难的高维数据的维数。近似搜索技术牺牲了一些准确性,同时返回足够好的结果以获得更快的性能。局部敏感哈希(LSH)是一种非常流行的技术,用于在高维空间中寻找近似最近邻。除了提供查询结果的理论保证之外,LSH技术的主要优点之一是它们对大型数据集的良好可扩展性,因为它们是基于外部存储器的。现有LSH技术的最主要成本是算法时间和查找候选点所需的索引I/O。现有的工程在评估中没有比较这两种主要成本。在这篇实验调查论文中,我们展示了这两种成本对LSH技术整体性能的影响。我们在四个真实世界的数据集上比较了三种最先进的技术,并表明,与最近的作品相比,C2 LSH在性能方面仍然是最先进的算法,同时实现了与最近的竞争对手相似的准确性。
2020-06-19 cs.DB cs.MM
Similarity Search and Locality Sensitive Hashing using TCAMs
相似性搜索方法被广泛用作各种机器学习应用中的内核。最近邻搜索(NNS)算法通常用于在给定查询的情况下检索相似的条目。虽然存在使用散列进行精确查询查找的有效技术,但是已知使用精确最近邻的相似性搜索是一个难题,并且在高维中,最佳已知解决方案提供的线性扫描改进很少。近似NNS问题的快速解决方案包括基于局部敏感哈希(LSH)的技术,其需要指数大于$1$的$n$中的存储多项式,以及查询时间次线性,但在$n$中仍然是多项式,其中$n$是数据库的大小。在这项工作中,我们提出了一种新的技术,解决近似NNS问题在欧几里德空间使用三元内容寻址存储器(TCAM),它需要近线性空间,并具有O(1)的查询时间。事实上,该方法还使用数据库大小接近线性的数据结构围绕查询时间的单元探测模型中的最佳已知下限工作。TCAM是广泛用于诸如访问控制列表的网络应用中的高性能关联存储器。TCAM可以在三元向量的数据库内查询位向量,其中每个位位置表示$0$、$1$或$*$。$*$是代表$0$或$1$的通配符。我们利用TCAM来设计LSH的一个变体,称为三元局部敏感哈希(TLSH),其中我们将由欧几里得空间中的向量表示的数据库条目哈希到$\{0,1,*\}$中。通过使用TLSH方案相对于$*$字符的附加功能,我们解决了1 TCAM访问和存储在数据库的大小中接近线性的近似最近邻问题的实例。我们相信,这项工作可以开辟新的途径,在非常…
2010-06-17 cs.DB cs.IR
Hashing for Similarity Search: A Survey
Microsoft Research(微软研究院);The University of Queensland(昆士兰大学);Tsinghua University(清华大学)
相似性搜索(最近邻搜索)是从大型数据库中寻找与查询项距离最小的数据项的问题。已经开发了各种方法来解决这个问题,最近已经投入了大量的努力近似搜索。在本文中,我们提出了一个调查的主要解决方案之一,哈希,这已经被广泛研究,因为开拓性的工作局部敏感哈希。本文将散列算法分为两大类:局部敏感散列算法(locality sensitive hashing)和学习散列算法(learning to hash),局部敏感散列算法是根据数据分布来学习散列函数,本文从散列函数的设计、散列编码空间中的距离度量和搜索机制等方面对散列算法进行了综述。
2014-08-13 cs.CV cs.DB cs.DS
Locality-Sensitive Hashing for f-Divergences: Mutual Information Loss and Beyond
Yale University(耶鲁大学);Google Research(谷歌研究院)
计算高维空间中的近似最近邻是大规模数据采掘的核心问题,在机器学习和数据科学中有着广泛的应用。近似计算最近邻居的一种流行且有效的技术是局部敏感哈希(LSH)方案。在本文中,我们的目标是开发LSH计划的距离函数,测量两个概率分布之间的距离,特别是f-发散以及概括捕捉互信息损失。首先,我们提供了一个一般的框架来设计LHS计划的f-散度距离函数和发展LSH计划的广义Jensen-Shannon散度和三角歧视在这个框架。我们证明了一个双边的近似结果的广义詹森-香农发散的Hellinger距离,这可能是独立的兴趣。接下来,我们展示了一个一般的方法,减少设计一个LSH计划的Krein内核(它可以表示为两个正定内核的差异)的问题的最大内积搜索。由于该方法在模型压缩等方面的重要应用,我们将其应用于互信息损失,从而证明了该方法的有效性。
2019-10-28 cs.DB cs.DS cs.LG
Bayesian Locality Sensitive Hashing for Fast Similarity Search
The Ohio State University(俄亥俄州立大学)
给定一组对象和相关的相似性度量,所有对相似性搜索问题要求我们找到所有相似性大于某个用户指定阈值的对象对。基于局部敏感哈希(LSH)的方法已经成为解决这个问题的一种非常流行的方法。然而,大多数这样的方法仅在相似性搜索的第一阶段使用LSH-即用于候选生成的有效索引。在本文中,我们提出了BayesLSH,一个原则性的贝叶斯算法的后续阶段的相似性搜索-执行候选人修剪和相似性估计使用LSH。一个更简单的变种,贝叶斯LSH-Lite,它计算相似性,也提出了。BayesLSH能够快速修剪掉大部分假阳性候选对,从而使基线方法的速度显著提高。对于BayesLSH,我们还在准确率和召回率方面对输出质量提供概率保证。最后,BayesLSH的输出质量可以很容易地调整,并且不需要手动设置用于相似性估计的哈希数,这与标准方法不同。对于两种最先进的候选生成算法,AllPairs和LSH,BayesLSH能够显著加速,通常在2x-20 x范围内用于各种数据集。
2012-03-28 cs.AI cs.DB cs.DS
Locality Sensitive Hashing with Extended Differential Privacy
Macquarie University(麦考瑞大学);Inria(法国国家信息与自动化研究所);École Polytechnique(巴黎综合理工学院);National Institute of Advanced Industrial Science and Technology (AIST)(日本产业技术综合研究所)
针对扩展差分隐私仅支持少数度量的问题,提出基于LSH、面向角距离的扩展DP机制,并在高维好友匹配中验证其效用与隐私优势。
2021-08-12 cs.CR cs.DB cs.IR
Probabilistic Blocking with An Application to the Syrian Conflict
Duke University(杜克大学);Rice University(莱斯大学)
实体解析试图合并数据库,以删除唯一标识符通常未知的重复条目。我们回顾了现代的实体解析阻塞方法,重点是基于局部敏感哈希(LSH)的方法。首先,我们介绍了$k$ -意味着局部敏感哈希(KLSH),这是基于信息检索文献和集群相似的记录到块使用向量空间表示和投影。其次,我们介绍了LSH的次二次变量的文献,被称为加密的一个排列散列(DOPH)。第三,我们提出了DOPH的加权变体。我们说明了每种方法的应用程序的一个子集正在进行的叙利亚冲突,给出了每种方法的讨论。
2018-10-11 cs.DB cs.LG stat.AP
Bio-Inspired Hashing for Unsupervised Similarity Search
UC San Diego(加利福尼亚大学圣地亚哥分校);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);Princeton University(普林斯顿大学);IBM Research(IBM研究院)
果蝇的嗅觉回路启发了一种新的局部敏感哈希(LSH)算法,FlyHash。与产生低维散列码的经典LSH算法相比,FlyHash产生稀疏的高维散列码,并且在相似性搜索中也被证明具有优于经典LSH算法的经验性能。然而,FlyHash使用随机预测,无法从数据中学习。基于FlyHash的灵感和神经生物学中稀疏扩展表示的普遍性,我们的工作提出了一种新的哈希算法BioHash,该算法以数据驱动的方式产生稀疏高维哈希码。我们表明,BioHash优于以前公布的各种哈希方法的基准。由于我们的学习算法是基于一个本地和生物学上合理的突触可塑性规则,我们的工作提供了证据的建议,LSH可能是一个计算的原因,在各种生物系统的稀疏扩展图案的丰度。我们还提出了一个卷积变体BioConvHash,进一步提高了性能。从计算机科学的角度来看,BioHash和BioConvHash是快速的,可扩展的,并产生压缩的二进制表示,可用于相似性搜索。
2020-06-30 cs.DB cs.IR cs.LG
ProbMinHash -- A Class of Locality-Sensitive Hash Algorithms for the (Probability) Jaccard Similarity
Dynatrace Research(Dynatrace研究中心)
概率Jaccard相似性最近被提出作为Jaccard相似性的自然推广,以度量其元素与相对频率或概率相关联的集合的接近度。结合将这些加权集映射到紧凑签名的散列算法,可以快速估计成对相似性,它构成了大数据应用的一种有价值的方法,如近似重复检测,最近邻搜索或聚类。本文介绍了一类一遍局部敏感哈希算法,是数量级的速度比原来的方法。通过不独立地而是共同地计算特征分量来实现性能增益。基于这一思想提出了四种不同的算法。其中两种方法在统计学上与原始方法相当,可以用作直接替代方法。另外两个甚至可以通过在签名分量之间引入统计相关性来改善估计误差。此外,所提出的技术可以专门用于传统的Jaccard相似性,从而产生高效的算法,其性能优于传统的minwise散列,并且能够与现有技术竞争。
2020-10-26 cs.DB cs.DS cs.LG
Arrays of (locality-sensitive) Count Estimators (ACE): High-Speed Anomaly Detection via Cache Lookups
Rice University(莱斯大学)
异常检测是大规模数据处理系统中一个常见而重要的子程序。即使是一个很好的研究课题,现有的无监督异常检测技术需要存储大量的数据,这是禁止从内存和延迟的角度来看。在大数据世界中,现有的方法无法解决新的内存和延迟限制。在本文中,我们提出了ACE(阵列(局部敏感)计数估计器)算法,可以是60倍的速度比ELKI包~ \cite{DBLP:conf/ssd/AchtertBKSZ09},它具有最快的无监督异常检测算法的实现。ACE算法需要少于$4MB$的内存,动态地将全部数据信息压缩成一组计数数组。这些微小的$4MB$计数阵列足以用于无监督的异常检测。在ACE算法的核心,有一个新的统计估计,这是来自局部敏感哈希(LSH)的抽样视图。这种观点与广泛流行的用于近邻搜索的LSH观点有很大不同,而且效率也很高。我们在3个基准数据集上显示了ACE算法在11个流行基线上的优越性,其中包括KDD-Cup 99数据,该数据是最大的可用基准,包含超过50万个具有地面真实异常标签的条目。
2017-06-20 cs.DB cs.LG stat.CO
Towards a Model for LSH
Wufong University(五峰大学)
随着数据量的持续增长,聚类和离群值检测算法变得越来越耗时。由于“维数灾难”,用于邻居搜索的经典索引结构不再可持续。相反,近似索引结构提供了一个很好的机会,以显着加速聚类和离群值检测的邻居搜索,并在算法的结果中具有最低的可能出错率。局部敏感哈希就是其中之一。我们指出方向LSH的属性建模。
2021-05-11 cs.DB cs.DS cs.LG
Distributed Tera-Scale Similarity Search with MPI: Provably Efficient Similarity Search over billions without a Single Distance Computation
Rice University(莱斯大学)
我们提出了SLASH(草图局部敏感哈希),MPI(消息传递接口)为基础的分布式系统的近似相似性搜索TB级规模的数据集。SLASH提供了流行的LSH(局部敏感哈希)算法的多节点实现,该算法通常在单个机器上实现。我们展示了如何在LSH算法中添加重打击者草图来证明解决(高)相似性搜索问题,而无需单个距离计算。总体而言,我们数学上表明,在现实的数据假设下,我们可以确定一个给定的查询$q$的近邻在次线性($ \ll O(n)$)数量的简单的草图聚合操作。为了使这样一个系统实用,我们提供了一个新颖的设计和草图解决方案,以减少机器间的通信开销指数。在可比硬件上的直接比较中,SLASH比PySpark中流行的LSH包快10000倍以上。PySpark是LSH算法在大型数据集上的广泛采用的分布式实现,并部署在商业平台上。最后,我们展示了我们的系统如何扩展到具有超过40亿个样本的Tera-scale Criteo数据集。SLASH可以在不到一小时的时间内为20个节点上的2.3TB数据建立索引,查询时间只需几毫秒。据我们所知,目前还没有一个开源系统可以对Criteo进行商品集群索引和相似性搜索。
2020-08-17 cs.DB cs.DC cs.IR
Scalability and Total Recall with Fast CoveringLSH
局部敏感哈希(LSH)已经成为在高维空间中具有强性能保证的相似性搜索的主要算法技术。传统LSH方案的缺点是它们可能具有\emph{false negatives},即,召回率小于100%.这限制了LSH在需要精确性能保证的环境中的适用性。基于最近理论上的“CoveringLSH”构造,消除了假阴性,我们提出了一个快速和实用的覆盖LSH方案的汉明空间称为\emph{Fast CoveringLSH (fcLSH)}。继承CoveringLSH的设计优势,我们的方法避免了假阴性,并始终报告所有近邻。与CoveringLSH相比,我们实现了从$\mathcal{O}(dL)$到$\mathcal{O}(d + L\log{L})$的哈希函数计算时间的渐进改进,其中$d$是数据的维数,$L$是哈希表的数量。我们对合成数据集和真实数据集的实验表明,\emph{fcLSH}在高维汉明空间中搜索半径高达20的情况下与传统的基于散列的方法相当(并且往往更优越)。
2016-08-19 cs.DB cs.DS cs.IR
Memory Hierarchy Sensitive Graph Layout
由于大量的图结构化数据变得可用,挖掘大型图的信息正成为越来越重要的工作量。图算法的一个方面,迄今尚未收到很大的兴趣是访问的存储层次结构的效果。当今的典型系统在存储层次结构中具有多个级别,这些级别具有不同的局部性单元;范围跨越高速缓存行、TLB条目和DRAM页。我们假设可以在主内存中分配图结构数据,以提高数据的空间局部性。以前的提高高速缓存局部性的方法只集中在单个局部性单元上,或者是高速缓存行,或者是虚拟内存页。另一方面,高速缓存无关算法可以优化存储层次结构的所有级别的布局,但不幸的是,需要为各个数据结构专门设计。在本文中,我们探讨了分层块作为一种技术,用于缩小这一差距。我们需要作为输入的存储层次结构中的局部性单元的规范,并通过使用广度优先搜索的层次结构复制其节点来相应地布置输入图。我们从一个基本的算法,这是有限的树,然后将其扩展到任意图形。我们最高效的版本只需要恒定的额外空间。我们已经实现了不同版本的算法在各种环境中:C程序接口的宏,作为一个扩展的Boost面向对象的图形库,最后作为一个修改的遍历阶段的半空间垃圾收集器在Jikes Java虚拟机。我们的研究结果表明,显着改善的访问时间的各种结构的图。
2012-03-26 cs.DB cs.DS cs.PF