Bayesian Locality Sensitive Hashing for Fast Similarity Search
The Ohio State University（俄亥俄州立大学）
给定一组对象和相关的相似性度量，所有对相似性搜索问题要求我们找到所有相似性大于某个用户指定阈值的对象对。基于局部敏感哈希（LSH）的方法已经成为解决这个问题的一种非常流行的方法。然而，大多数这样的方法仅在相似性搜索的第一阶段使用LSH-即用于候选生成的有效索引。在本文中，我们提出了BayesLSH，一个原则性的贝叶斯算法的后续阶段的相似性搜索-执行候选人修剪和相似性估计使用LSH。一个更简单的变种，贝叶斯LSH-Lite，它计算相似性，也提出了。BayesLSH能够快速修剪掉大部分假阳性候选对，从而使基线方法的速度显著提高。对于BayesLSH，我们还在准确率和召回率方面对输出质量提供概率保证。最后，BayesLSH的输出质量可以很容易地调整，并且不需要手动设置用于相似性估计的哈希数，这与标准方法不同。对于两种最先进的候选生成算法，AllPairs和LSH，BayesLSH能够显著加速，通常在2x-20 x范围内用于各种数据集。
2012-03-28 cs.AI cs.DB cs.DS
Improving LSH via Tensorized Random Projection
Indian Institute of Technology Mandi（印度曼迪印度理工学院）；Indian Institute of Technology Hyderabad（印度海得拉巴印度理工学院）
针对高阶张量数据下传统LSH方法参数呈指数增长的问题，基于CP和TT分解技术提出了空间高效且适用于低秩张量的CP-E2LSH、TT-E2LSH、CP-SRP和TT-SRP方法，并提供了严格的理论分析。
2025-03-02 cs.DS cs.LG stat.ML
Succinct Trit-array Trie for Scalable Trajectory Similarity Search
RIKEN AIP（理化学研究所先进智能项目中心）；Kyoto University（京都大学）；Nagoya University（名古屋大学）
大量的空间轨迹数据集代表了移动对象的多样性的移动性是无处不在的研究和工业。大量轨迹的相似性搜索对于将这些数据集转化为知识是必不可少的。局部敏感哈希（LSH）是一种快速相似性搜索的强大技术。最近的方法采用LSH，并试图实现一个有效的相似性搜索的轨迹，然而，这些方法是低效的搜索时间和内存应用于海量数据集时。为了解决这个问题，我们提出了一个可扩展的方法，利用LSH的轨迹相似性搜索的索引简洁的三字符数组特里（tSTAT）。tSTAT在称为trie的树数据结构上快速执行搜索。我们还提出了两种新的技术，使显着提高内存效率的tSTAT。一个是节点减少技术，基本上省略了冗余的trie节点，同时保持时间性能。另一种是利用简洁数据结构背后的思想（即，支持快速数据操作的压缩数据结构）。我们通过实验测试tSTAT从大量轨迹集合中检索查询的相似轨迹的能力，并表明tSTAT与最先进的相似性搜索方法相比表现出色。
2020-09-21 cs.DB cs.DS cs.LG
Asymmetric LSH (ALSH) for Sublinear Time Maximum Inner Product Search (MIPS)
Cornell University（康奈尔大学）；Rutgers University（罗格斯大学）
提出了近似\emph{Maximum Inner Product Search}（MIPS）的第一个可证次线性时间算法.我们的建议也是第一个哈希算法搜索（非规范化）的内积作为基础的相似性度量。寻找MIPS的散列方案被认为是困难的。我们正式表明，现有的局部敏感哈希（LSH）框架是不够的，解决MIPS，然后我们扩展现有的LSH框架，允许非对称哈希方案。我们的建议是基于一个有趣的数学现象，其中的内积，独立的非对称变换后，可以转换成近似近邻搜索的问题。这个关键的观察使MIPS的有效次线性哈希方案成为可能。在扩展的非对称LSH（ALSH）框架下，给出了MIPS可证快速哈希方案的显式构造。建议的建设和扩展的LSH框架可能是独立的理论利益。我们提出的算法简单，易于实现。我们评估的方法，检索内部产品，在Netflix和Movielens数据集上的项目推荐的协同过滤任务。
2014-05-22 cs.DS cs.IR cs.LG
Improving Similarity Search with High-dimensional Locality-sensitive Hashing
Salk Institute for Biological Studies（索尔克生物研究所）
提出了一类新的基于果蝇嗅觉回路的数据无关局部敏感哈希算法。这种方法的根本区别在于，不是将哈希分配为低维空间中的密集点，而是将哈希分配在高维空间中，这增强了它们的可分离性。我们从理论上和经验表明，这个新的家庭的哈希函数是局部敏感的，并保留在任何`p空间的输入的秩相似性。然后，我们分析了这种策略的不同变化，并实证表明，它们优于现有的LSH方法的最近邻居搜索六个基准数据集。最后，我们提出了一个多探针版本的算法，实现更高的性能相同的查询时间，或相反，保持性能的先前的方法，同时采取显着更少的索引时间和内存。总的来说，我们的方法利用了高维空间提供的可分性的优势，同时仍然保持计算效率
2018-12-05 cs.AI cs.DS cs.LG
On the Problem of $p_1^{-1}$ in Locality-Sensitive Hashing
如果两个距离小于$r$的数据点以至少$p_1$的概率发生冲突，而距离大于$cr$的数据点以至多$p_2$的概率发生冲突，则局部敏感哈希（LSH）函数被称为$(r,cr,p_1,p_2)$敏感。这些功能的基础上成功的印地克-Motwani算法（STOC 1998）的最近邻问题。具体地，可以构建具有查询时间$\tilde O(n^ρ/p_1)$的$c$ -近似最近邻数据结构，其中$ρ=\frac{\log1/p_1}{\log1/p_2}\in(0,1)$。即次线性时间，只要$p_1$不太小。这是重要的，因为大多数高维最近邻问题都受到维数灾难的影响，并且不能比数据库的暴力线性时间扫描更快地精确解决。不幸的是，最好的LSH函数往往具有非常低的冲突概率，$p_1$和$p_2$。包括余弦和Jaccard相似性的最佳函数。这意味着LSH的$n^ρ/p_1$查询时间通常不是次线性的，即使对于近似的最近邻也是如此！本文对一般的Indyk-Motwani算法进行了改进，将LSH的查询时间减少到$\tilde O(n^ρ/p_1^{1-ρ})$（并相应地减少了空间占用）。由于$n^ρp_1^{ρ-1} < n \Leftrightarrow p_1 > n^{-1}$，我们的算法总是获得次线性查询时间，任何碰撞概率至少$1/n$。对于足够小的$p_1$和$p_2$，我们对所有以前的方法的改进可以在查询…
2020-05-25 cs.DS
In Defense of MinHash Over SimHash
Cornell University（康奈尔大学）；Rutgers University（罗格斯大学）
MinHash和SimHash是两种广泛应用于大规模数据处理应用的局部敏感哈希（LSH）算法。决定哪种LSH用于手头的特定问题是一个重要的问题，在现有的文献中没有明确的答案。在这项研究中，我们提供了一个理论答案（通过实验验证），即MinHash在数据为二进制时几乎总是优于SimHash，这在搜索等实践中很常见。MinHash的冲突概率是相似性相似度（$\mathcal{R}$）的函数，而SimHash的冲突概率是余弦相似度（$\mathcal{S}$）的函数。为了提供一个共同的基础进行比较，我们评估检索结果的$\mathcal{S}$为MinHash和SimHash。该评估是有效的，因为我们可以通过使用一般不等式$\mathcal{S}^2\leq \mathcal{R}\leq \frac{\mathcal{S}}{2-\mathcal{S}}$来证明MinHash是关于$\mathcal{S}$的有效LSH。我们的最坏情况分析表明，MinHash在高相似性区域的性能明显优于SimHash。有趣的是，我们密集的实验表明，即使在大多数数据点彼此不太相似的数据集中，MinHash也比SimHash好得多。这部分是因为，在实际数据中，通常$\mathcal{R}\geq \frac{\mathcal{S}}{z-\mathcal{S}}$在$z$仅略大于2的情况下成立（例如，$z\le…
2014-07-16 cs.DS cs.IR cs.LG
On the Complexity of Inner Product Similarity Join
IT University of Copenhagen（哥本哈根信息技术大学）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
分类、信息检索、推荐系统和记录链接中的许多任务都归结为内积相似性连接（IPS join）的核心问题：识别集合中具有足够大的内积的向量对。当向量被归一化并且允许内积的某种近似时，IPS连接是很好理解的。然而，向量可以具有任何长度的一般情况似乎更具挑战性。最近，出现了基于非对称局部敏感哈希（ALSH）和非对称嵌入的新的上界，但对下界知之甚少。在本文中，我们发起了一个系统的研究内积相似连接，显示新的下限和上限。我们的主要结果是：* 近似硬度IPS加入次二次时间，假设强指数时间假设。* （A）基于LSH算法的新的上界和下界。特别是，我们表明，不对称性可以避免放松LSH定义，只考虑不同元素的碰撞概率。* 一种基于线性草图的IPS新索引方法，这意味着我们的硬度结果离紧密不远。我们的技术贡献包括新的非对称嵌入，可能是独立的利益。在概念层面上，我们努力提供更大的清晰度，例如通过区分IPS连接的有符号和无符号变体，并对不对称的影响进行新的阐述。
2016-04-07 cs.DB cs.DS cs.LG
Faster and Space Efficient Indexing for Locality Sensitive Hashing
Indian Institute of Technology Mandi（印度理工学院曼迪分校）；Indian Institute of Technology Hyderabad（印度理工学院海得拉巴分校）
本文针对局部敏感哈希索引构建中 O(md) 的时间和空间开销，提出基于 count sketch 及其高阶形式的 CSELSH、HCSELSH、CSSRP 和 HCSSRP 算法，将哈希码计算时间降至 O(d) 并显著降低空间复杂度，且在真实数据集上验证了有效性。
2025-07-17 cs.DS cs.LG
REWA: A General Theory of Witness-Based Similarity
REWA 提出了一种基于见证的通用相似性理论，统一了多种相似性方法，证明了其复杂度并展示了多原始相似性系统的能力。
2025-11-28 cs.DS cs.IR cs.LG
Set Similarity Search Beyond MinHash
本文研究了Braun-Blanquet相似性$B(\mathbf{x}, \mathbf{y}) = |\mathbf{x} \cap \mathbf{y}| / \max(|\mathbf{x}|, |\mathbf{y}|)$下的近似集相似性搜索问题。$(b_2, b_2)$ -近似Braun-Blanquet相似性搜索问题是预处理集合$P$的集合，使得给定查询集合$\mathbf{q}$，如果存在具有$B(\mathbf{q}, \mathbf{x}) \geq b_1$的$\mathbf{x} \in P$，则我们可以有效地返回具有$B(\mathbf{q}, \mathbf{x}') > b_2$的$\mathbf{x}' \in P$。我们提出了一个简单的数据结构，解决了这个问题的空间使用$O(n^{1+ρ}\log n + \sum_{\mathbf{x} \in P}|\mathbf{x}|)$和查询时间$O(|\mathbf{q}|n^ρ \log n)$，其中$n = |P|$和$ρ= \log(1/b_1)/\log(1/b_2)$。利用O 'Donnell等人（TOCT 2014）的局部敏感散列的现有下限，我们证明了$ρ$的这个值在参数空间中是紧的，即，对于每个常数$0 < b_2 < b_1 < 1$的选择。在所有集合具有相同大小的情况下，我们的解决方案严…
2017-04-18 cs.DS
Dynamic Enumeration of Similarity Joins
本文考虑在动态更新下枚举相似连接查询的答案：给定$\mathbb{R}^d$中的两组$n$点$A,B$，度量$ϕ(\cdot)$和距离阈值$r > 0$，用$ϕ(a,b) \le r$报告所有点对$(a, b) \in A \times B$。我们的目标是将$A,B$存储到一个动态数据结构中，无论何时被要求，都可以枚举所有具有最坏情况延迟保证的结果对，即，枚举两个连续对之间的时间是有界的。此外，当点被插入到$A$或$B$中或从$A$或$B$中删除时，可以有效地更新数据结构。我们提出了几个有效的数据结构，以回答低维的相似连接查询。对于精确枚举的相似性连接，我们提出了近线性大小的数据结构$\ell_1, \ell_\infty$度量与$\log^{O(1)} n$更新时间和延迟。我们表明，这样的数据结构是不可行的$\ell_2$度量$d \ge 4$。对于近似枚举的相似连接，距离阈值是一个软约束，我们得到了一个统一的线性大小的数据结构$\ell_p$度量，与$\log^{O(1)} n$延迟和更新时间。在高维度，我们提出了一个有效的数据结构，最坏情况下的延迟保证使用局部敏感哈希（LSH）。
2021-05-05 cs.DB cs.DS
Fair Near Neighbor Search: Independent Range Sampling in High Dimensions
IT University of Copenhagen（哥本哈根信息技术大学）；University of Padova（帕多瓦大学）
相似性搜索是一种基本的算法原语，广泛应用于计算机科学的许多学科。相似性搜索问题有几种变体，最相关的一种是$r$ -近邻（$r$-NN）问题：给定半径$r>0$和一组点$S$，构造一个数据结构，对于任何给定的查询点$q$，返回一个点$p$，该点距离$q$至多$r$。本文从公平性的角度研究了$r$ -NN问题。我们从机会均等的意义上考虑公平性：距离查询$r$以内的所有点都应该有相同的概率被返回。在低维情况下，这个问题首先由Hu，Qiao和Tao（PODS 2014）研究。局部敏感哈希（LSH），理论上最强的方法，在高维相似性搜索，不提供这样的公平性保证。为了解决这一问题，我们提出了有效的数据结构$r$ -NN在$S$中的所有点附近的$q$有相同的概率被选择和返回的查询。具体来说，我们首先提出了一个黑盒的方法，给定任何LSH方案，构造一个数据结构均匀采样点的查询附近。然后，我们开发了一个数据结构公平的相似性搜索下的内积，需要近线性空间，并利用局部敏感的过滤器。本文最后的实验评估，突出（不）公平的建议设置在现实世界的数据集，并讨论了固有的不公平引入解决其他变量的问题。
2020-06-15 cs.CG cs.DS cs.IR
A Generic Inverted Index Framework for Similarity Search on the GPU - Technical Report
National University of Singapore（新加坡国立大学）；Univ. of Michigan, Ann Arbor（密歇根大学安娜堡分校）；Nanyang Technological University（南洋理工大学）；Baidu Research（百度研究院）；Tencent Inc.（腾讯公司）
提出了一种基于GPU的通用倒排索引框架（GENIE），旨在降低GPU对不同数据类型的并行相似性搜索的编程复杂度。GENIE并不支持所有的数据类型和相似性度量，但支持许多流行的数据类型和相似性度量。我们提出了系统设计的GENIE，并演示了相似性搜索与GENIE的几个数据类型随着搜索结果的理论分析。提出了一种新的局部敏感散列算法（LSH），即$τ$ -ANN搜索算法，并在GPU上实现了一种新的数据结构c-PQ。在不同现实数据集上的大量实验证明了我们框架的效率和有效性。已实现的系统已作为开放源代码发布。
2018-08-14 cs.CV cs.DB cs.DC
Sampling a Near Neighbor in High Dimensions -- Who is the Fairest of Them All?
IT University of Copenhagen（哥本哈根信息技术大学）；University of Illinois at Urbana-Champaign (UIUC)（伊利诺伊大学厄巴纳-香槟分校（UIUC））；Toyota Technological Institute at Chicago (TTIC)（芝加哥丰田理工学院（TTIC））；University of Copenhagen（哥本哈根大学）；University of Padova（帕多瓦大学）
相似性搜索是一种基本的算法原语，广泛应用于计算机科学的许多学科。给定一组点$S$和半径参数$r>0$，$r$ -近邻（$r$ -NN）问题要求一个数据结构，该数据结构在给定任何查询点$q$的情况下，返回距离$q$至多$r$的点$p$。在本文中，我们研究了$r$ -NN问题的光个人的公平性和提供平等的机会：距离$r$从查询的所有点应该有相同的概率被返回。在低维情况下，这个问题首先由Hu，Qiao和Tao（PODS 2014）研究。局部敏感哈希（LSH），理论上最强的方法，在高维相似性搜索，不提供这样的公平性保证。在这项工作中，我们表明，基于LSH的算法可以做到公平，而没有显着的效率损失。我们提出了几个有效的数据结构的准确和近似的公平NN问题的变种。我们的方法更普遍地适用于从给定集合的集合的子集合中均匀采样，并且可以在其他一些应用中使用。我们还开发了一个数据结构公平的相似性搜索下的内积，需要近线性空间，并利用局部敏感的过滤器。最后，本文的实验评估，突出了固有的不公平的NN数据结构，并显示我们的算法在现实世界的数据集上的性能。
2021-01-26 cs.DB cs.DS cs.LG
Optimal Las Vegas Locality Sensitive Data Structures
我们表明，近似相似性（近邻）搜索可以解决在高维度的性能匹配的最先进的（数据独立）局部敏感哈希，但没有假阴性的保证。具体地说，我们给出了两个数据结构的常见问题。对于Hamming空间中的$c$ -近似近邻，我们得到了与\cite{indyk1998approximate}匹配的查询时间$dn^{1/c+o(1)}$和空间$dn^{1+1/c+o(1)}$，并肯定地回答了~ \cite{indyk2000dimensionality}和~ \cite{pagh2016locality}长期存在的公开问题。通过一个新的确定性约简从$\ell_1$到汉明，我们还解决了$\ell_1$和$\ell_2$与查询时间$d^2n^{1/c+o(1)}$和空间$d^2 n^{1+1/c+o(1)}$。对于$(s_1,s_2)$ -近似Jaccard相似度，当集合大小相等时，我们得到查询时间$dn^{ρ+o(1)}$和查询空间$dn^{1+ρ+o(1)}$，$ρ=\log\frac{1+s_1}{2s_1}\big/\log\frac{1+s_2}{2s_2}$，性能与~ \cite{tobias2016}相当.这些算法是基于空间分区的，就像经典的LSH一样，但是我们使用蛮力、张量、完美散列和拆分器函数的组合来构建这些算法。我们还展示了一个新的降维引理与单侧误差。
2018-06-27 cs.DS
MinJoin: Efficient Edit Similarity Joins via Local Hash Minima
我们研究了一组字符串在编辑距离下的相似连接计算问题。编辑相似连接是数据库、数据采掘和生物信息学中的一个基本问题。它在数据清洗和集成、协同过滤、基因组序列组装等方面有着重要的应用。然而，所有以前的算法要么不能很好地扩展到长字符串和大的相似性阈值，或遭受不完美的准确性。在本文中，我们提出了一种新的算法，编辑相似连接使用一种新的字符串划分为基础的方法。我们在数学上表明，我们的算法以很高的概率达到了完美的精度，并在线性时间加上数据相关的验证步骤中运行。在真实世界数据集上的实验表明，我们的算法显着优于最先进的编辑相似性连接算法，并达到完美的准确性，我们已经测试的所有数据集。
2019-05-29 cs.DB cs.DS
FLASH: Randomized Algorithms Accelerated over CPU-GPU for Ultra-High Dimensional Similarity Search
我们提出了FLASH（\textbf{F} ast \textbf{L} SH \textbf{A} lsm for \textbf{S} imilarity search accelerated with \textbf{H} PC），一个在单机上的超高维数据集的相似性搜索系统，它不需要相似性计算，是为高性能计算平台量身定制的。通过利用LSH风格的随机化索引过程，并将其与几种原则性技术相结合，如水库采样，最新进展的一次通过minwise散列，基于计数的估计，我们降低了相似性搜索的计算和并行化成本，同时保留了良好的理论保证。我们评估FLASH上的几个真正的，高维的数据集，从不同的领域，包括文本，恶意URL，点击预测，社交网络等，我们的实验揭示了新的光与数据集具有数百万个维度的困难。当前最先进的实现要么在所呈现的规模上失败，要么比闪存慢几个数量级。FLASH能够在不到10秒的时间内从零开始计算整个垃圾邮件数据集（13亿个非零值）的近似k-NN图。使用蛮力（$n^2D$）在不到10秒的时间内在webspam数据集上计算一个完整的k-NN图，将需要至少20 teraflops。我们提供闪存的CPU和GPU实现，以实现结果的可复制性。
2018-07-03 cs.DB cs.DC cs.DS
Scalable and robust set similarity join
集合相似连接是一种基本的数据库操作，也是一种研究得很好的操作。它通常在精确的设置中进行研究，其中目标是计算超过给定相似性阈值（例如，以Jaccard相似性测量）的所有集合对。但是集合相似性连接通常用于100%召回率可能不重要的设置-实际上，确切的集合相似性连接本身只是所需结果集的近似值。我们提出了一个新的随机算法的集合相似性连接，可以实现任何期望的召回高达100%，并从理论和经验表明，它显着改善现有的方法。目前最先进的精确方法是基于前缀过滤，其性能取决于数据集有许多罕见的令牌。我们的方法是强大的对数据中没有这样的结构。在90%的召回率下，我们的算法通常比最先进的精确方法快一个数量级以上，这取决于数据集适合前缀过滤的程度。我们在基准数据集上的实验也表明，该方法比可比的近似方法快几倍。我们的算法利用了高维草图和索引的最新理论进展，我们认为这些理论进展与数据工程社区具有更广泛的相关性。
2018-03-02 cs.DB cs.DS
Efficient Approximate Search for Sets of Vectors
Technion（以色列理工学院）
我们考虑两个集合$A$和$B$的向量之间的相似性度量，其平衡向量对之间的平均和最大余弦距离，一个来自集合$A$，一个来自集合$B$。作为这项措施的动机，我们提出了血统跟踪数据库中。为了实际实现这种度量，我们需要一种近似搜索算法，该算法在给定向量集合$A$和向量集合$B_1,...,B_n$的情况下，快速定位使相似性度量最大化的集合$B_i$。对于所有集合都是单例集合（基本上每个集合都是单个向量）的情况，存在已知的有效近似搜索算法，例如，树搜索算法、局部敏感散列（LSH）、矢量量化（VQ）和邻近图算法的近似版本。在这项工作中，我们提出了近似搜索算法的一般情况下。这些算法的基本思想是通过一个“长”的单个向量来编码一组向量。所提出的近似方法实现了显着的性能增益，优化，精确的搜索向量集。
2021-08-30 cs.AI cs.DB cs.DS
Streaming Similarity Self-Join
我们介绍和研究的问题计算的相似性自连接在一个流的上下文中（SSSJ），输入是一个无界的项目流不断到达。目标是找到流中相似度大于给定阈值的所有项目对。这个问题的最简单的表述需要无限的内存，因此，它是棘手的。为了使问题可行，我们引入了时间相关相似性的概念：两个项目的相似性随着它们到达时间的差异而降低。借由利用这个时间相依的相似度函数的性质，我们设计了两个演算架构来解决sssj问题。第一个是MiniBatch（MB），它使用现有的基于索引的过滤技术来解决问题的静态版本，并将它们组合在一个管道中。第二个框架，流（STR），增加了时间过滤到现有的索引，并集成了新的基于时间的边界深入的算法的工作。我们还介绍了一种新的索引技术（L2），它是基于现有的国家的最先进的索引技术（L2AP），但优化的流的情况下。大量的实验表明，STR算法在使用L2索引实例化时，是跨各种数据集和参数的最具可扩展性的选项。
2016-03-08 cs.DB cs.DS
Set Similarity Search for Skewed Data
集合相似性连接以及相应的索引问题集相似性搜索是管理噪声或不确定数据的基本原语。例如，这些原语可以用于数据清理，以识别同一对象的不同表示。在许多情况下，可以将对象表示为稀疏0-1向量，或者等价地表示为这样的向量中的非零项的集合。然后，可以使用集合相似性连接来识别具有异常大的点积（或交集，当被视为集合时）的那些对。我们选择专注于识别具有较大Pearson相关性的向量，但结果扩展到其他相似性度量。特别地，我们考虑在从{0，1}^d采样的向量集合S中识别相关向量的索引问题。给定查询向量y和（0，1）中的参数alpha，我们需要在表示S的向量的数据结构中搜索alpha相关向量x。这种相似性搜索在最坏情况（非随机数据）设置中得到了深入研究。现有的用于集合相似性搜索的理论上有充分根据的方法通常不如利用数据分布中的偏斜（即，在d维空间中1的频率有很大的不同。本文的主要贡献是分析随机数据模型下的集合相似性问题，该模型反映了实践中看到的偏斜数据分布，允许理论结果比最坏情况下的结果更强。我们的索引数据结构是一个递归的，数据相关的向量分区的启发，在集合相似性搜索的最新进展。以前的数据依赖方法似乎不允许我们利用项目频率的偏斜，所以我们相信我们的工作进一步揭示了数据依赖的力量。
2018-04-09 cs.DS
Massively-Parallel Similarity Join, Edge-Isoperimetry, and Distance Correlations on the Hypercube
我们研究分布式协议，在一个大的数据集中找到所有对相似的向量。我们的结果涉及到各种离散度量，我们给出了具体的实例汉明距离。特别是，我们给出了改进的上限上的汉明距离$r>1$定义的相似性所需的开销，并证明了一个下界，显示定性的最优性的相似性所需的开销超过任何汉明距离$r$。我们的主要概念的贡献是相似性搜索算法和某些图论数量之间的连接。对于我们的上界，我们展示了一个通用的方法，设计一轮协议，使用边缘等周形状的相似性图。对于我们的下限，我们定义了一个新的组合优化问题，这可以说在纯粹的图论术语，但也抓住了核心的分析在以前的理论工作，分布式相似连接。作为我们的主要技术成果之一，我们证明了汉明立方体的子集的距离相关性的新的界限。
2016-11-15 cs.CC cs.DC cs.DS
LSF-Join: Locality Sensitive Filtering for Distributed All-Pairs Set Similarity Under Skew
UCSD（加州大学圣地亚哥分校）；Google（谷歌）；CMU（卡内基梅隆大学）
全对集相似性是一个广泛使用的数据采掘任务，即使是大型和高维数据集。传统上，相似性搜索集中在发现非常相似的对，其中各种有效的算法是已知的。然而，最近的工作突出了寻找对集合的重要性，相对较小的交叉尺寸。例如，在推荐系统中，两个用户可能是相似的，即使他们的兴趣只在一小部分项目上重叠。在这样的系统中，一些维度通常是高度倾斜的，因为它们非常受欢迎。这两个属性一起使得以前的方法对于大输入大小是不可行的。为了解决这个问题，我们提出了一个新的分布式算法，LSF-Join，近似所有对集相似性。我们的算法的核心是一个随机选择过程的基础上局部敏感过滤。我们的方法偏离了以前的近似算法，这是基于局部敏感哈希。理论上，我们表明，LSF连接有效地找到最接近的对，即使是小的相似性阈值和倾斜的输入集。我们证明了LSF-Join的通信，工作和最大负载的保证，我们还通过实验证明了它在多个图上的准确性。
2020-03-06 cs.DC cs.DS cs.LG
