基于数据相关散列的快速最远邻居近似算法

汉明空间中局部敏感哈希的对抗鲁棒性

On the adversarial robustness of Locality-Sensitive Hashing in Hamming space

本文研究汉明空间中局部敏感哈希面对自适应查询的对抗鲁棒性，提出一种可证明使近似近邻搜索失败的简单对手，且其构造困难查询比随机采样快指数级。

用于近似近邻搜索的快速局部敏感哈希框架

Fast Locality-Sensitive Hashing Frameworks for Approximate Near Neighbor Search

Indyk-Motwani局部敏感散列（LSH）框架（STOC 1998）是一种通用技术，用于通过在划分空间的局部敏感散列函数上使用分布$\mathcal{H}$来构造数据结构以回答近似近邻查询。对于$n$点的集合，在预处理之后，查询时间由来自$\mathcal{H}$和$O(n^ρ)$哈希表查找的哈希函数的$O(n^ρ \log n)$评估和距离计算支配，其中$ρ\in (0,1)$由$\mathcal{H}$的局部敏感性属性确定。Dahlgaard等人（FOCS 2017）的最新结果表明，位置敏感哈希函数的数量可以减少到$O(\log^2 n)$，使查询时间由$O(n^ρ)$距离计算和$O(n^ρ \log n)$额外的字RAM操作主导。我们将此结果作为一个通用框架，并提供了一个更简单的分析，表明查找和距离计算的数量与Indyk-Motwani框架非常匹配，使其成为实践中可行的替代品。使用Andoni和Indyk（SODA 2006）的另一个局部敏感哈希框架的想法，我们能够将额外的字RAM操作减少到$O(n^ρ)$。

基于散列的通用图识别

General Graph Identification By Hashing

提出了一种利用MD5散列进行图识别的方法。这允许快速的图相等比较，也可以用来促进图同构测试。这些图表可以是有标签的，也可以是无标签的。该方法通过散列其邻域中的图配置来识别顶点。在每个顶点被散列后，整个图可以通过对顶点散列进行散列来识别。

相似性搜索和伪随机性算法

Algorithms for Similarity Search and Pseudorandomness

我们研究了近似近邻（ANN）搜索的问题，并显示了以下结果：-一个改进的框架，用于解决人工神经网络的问题，使用局部敏感的哈希，减少局部敏感的哈希函数的评价和字RAM的复杂性相比，标准的框架。- 一个框架，用于解决的ANN问题的空间-时间的权衡，以及紧的上限和下限的空间-时间的权衡框架解决方案的ANN问题的余弦相似性。- 一种新的方法来解决人工神经网络问题的集合，以及匹配的下限，提高了最先进的。-一个自调整版本的算法，通过实验，优于现有的相似性连接算法。- 非对称局部敏感散列的严格下界，可应用于近似最远邻居问题，正交向量搜索和环形查询。- 一个著名的布尔局部敏感散列方案的最优性证明。我们研究了问题的有效算法产生高品质的伪随机数，并得到以下结果：-一个确定性的算法生成任意高品质的伪随机数在恒定的时间使用近最佳空间。- 一种散列函数族的随机构造，它输出任意高质量的伪随机数，其空间使用和运行时间几乎匹配已知的小区探测下限。

大规模数据集的近等距二进制哈希算法

Near-Isometric Binary Hashing for Large-scale Datasets

我们开发了一个可扩展的算法来学习二进制哈希码索引大规模数据集。近等距二进制哈希（Near-isometric binary hashing，NIBH）是一种数据相关的哈希方案，它量化学习的低维嵌入的输出以获得二进制哈希码。与通常依赖于$\ell_2$范数（即，平均失真）最小化，NIBH基于$\ell_{\infty}$ -范数（即，最坏情况失真）最小化，其提供若干益处，包括优越的距离、排名和近邻保存性能。我们开发了一个实用和高效的算法NIBH列生成的基础上，规模以及大型数据集。一系列的实验评估表明，NIBH的优越性超过10个国家的最先进的二进制哈希方案。

A new hashing based nearest neighbors selection technique for big datasets

KNN has the reputation to be the word simplest but efficient supervised learning algorithm used for either classification or regression. KNN prediction efficiency highly depends on the size of its training data but when this training data grows KNN suffers from slowness in making decisions since it needs to search nearest neighbors within the entire dataset at each decision making. This paper proposes a new technique that enables the selection of nearest neighbors directly in the neighborhood of a given observation. The proposed approach consists of dividing the data space into subcells of a v…

基于局部敏感哈希的高维逆最近邻搜索

Reverse Nearest Neighbors Search in High Dimensions using Locality-Sensitive Hashing

我们调查的问题，有效地找到反向最近邻。虽然可以证明，这个问题在低维或固定维存在很好的解决方案，到目前为止，在高维提出的方法大多是启发式的。我们介绍了一种方法，这是可证明的正确和有效的，在所有维度上，基于减少的问题，一个实例的$\e$ -最近的邻居搜索加上一个受控数量的实例的{ \em穷举$r$ - \pleb }，一个变种的{ \em点定位之间的平等球}，其中所有的$r$ -球中心的数据点，包含查询点被寻找，不止一个前一个问题已经得到了广泛的研究，并在高维使用局部敏感哈希（LSH）技术优雅地解决了。相比之下，后一个问题的复杂性仍然没有得到充分理解。我们重新分析的LSH计划的详尽$r$ - \pleb使用一个有点细化的概念的局部敏感的哈希函数，这带来了一个有意义的输出敏感的长期问题的复杂性。我们的分析，结合非等距提升的数据，使我们能够回答详尽的$r$ - \pleb查询（和道路反向最近邻查询）有效。一路上，我们得到了一个简单的算法来回答确切的最近邻查询，其复杂性是参数化的一些{ \em条件数}测量一个给定的问题实例的固有困难。

量子草图、哈希与近似最近邻

Quantum Sketches, Hashing, and Approximate Nearest Neighbors

该研究排除了将近似最近邻数据结构压缩到O(log n)量子比特的可能性，并展示了量子方法在候选扫描中的优势。

当散列满足匹配：有效的时空搜索的拼车

When Hashing Met Matching: Efficient Spatio-Temporal Search for Ridesharing

拼车，或与其他乘客共享，为城市交通提供了巨大的潜力。乘车共享平台使用实时数据实现这种乘车共享。在城市范围内实时找到乘车匹配是一项困难的组合优化任务，并且大多采用启发式方法。在这项工作中，我们的数学模型的问题，寻找近邻，并设计了一种新的高效的时空搜索算法的基础上的理论局部敏感的哈希最大内积搜索（MIPS）。对于小的$ρ< 1$，所提出的算法可以在时间$O(n^{1 + ρ} (k + \log n) \log k)$和空间$O(n^{1 + ρ} \log k)$上从$n$游乐设施池中为每个游乐设施找到$k$接近最优的潜在匹配。我们的算法可以扩展到几个有用的和有趣的方式，增加其实际的吸引力。通过对纽约黄色出租车出行数据集的实验表明，该算法的性能始终优于现有的探试法，从而证明了其实用性。

Falconn++: A Locality-sensitive Filtering Approach for Approximate Nearest Neighbor Search

We present Falconn++, a novel locality-sensitive filtering approach for approximate nearest neighbor search on angular distance. Falconn++ can filter out potential far away points in any hash bucket \textit{before} querying, which results in higher quality candidates compared to other hashing-based solutions. Theoretically, Falconn++ asymptotically achieves lower query time complexity than Falconn, an optimal locality-sensitive hashing scheme on angular distance. Empirically, Falconn++ achieves higher recall-speed tradeoffs than Falconn on many real-world data sets. Falconn++ is also competiti…

快速有界局部敏感哈希算法

On fast bounded locality sensitive hashing

在本文中，我们研究了表示为标量积的散列函数，即，$f(x)=<v,x>$，对于某个有界随机向量$v$。这样的散列函数有许多应用，但通常需要优化$v$分布的选择。在目前的工作中，我们专注于所谓的反浓度边界，即上界的$\mathbb{P}\left[|<v,x>| < α\right]$。在许多应用中，$v$是具有标准正态分布的独立随机变量的向量。在这种情况下，$<v,x>$的分布也是正态的，并且很容易近似$\mathbb{P}\left[|<v,x>| < α\right]$。在这里，我们考虑两个有界分布的上下文中的反浓度界限。特别地，我们分析$v$是来自$l_{\infty}$中的单位球的随机向量，以及$v$是来自$l_{2}$中的单位球的随机向量。我们显示了最佳的一个常数的反浓度措施的功能$f(x)=<v,x>$。由于我们的研究，我们获得了新的最佳结果\newline \textit{$c$-approximate nearest neighbors without false negatives} $l_p$在高维空间的所有$p\in[1,\infty]$，为$c=Ω(\max\{\sqrt{d},d^{1/p}\})$。这些结果优于[16]中提出的结果。最后，我们报告了Pagh~[17]在解决这个公开问题上的进展，他考虑了Hamming距离的最近邻搜索而没有误报。

From Average Embeddings To Nearest Neighbor Search

In this note, we show that one can use average embeddings, introduced recently in [Naor'20, arXiv:1905.01280], to obtain efficient algorithms for approximate nearest neighbor search. In particular, a metric $X$ embeds into $\ell_2$ on average, with distortion $D$, if, for any distribution $μ$ on $X$, the embedding is $D$ Lipschitz and the (square of) distance does not decrease on average (wrt $μ$). In particular existence of such an embedding (assuming it is efficient) implies a $O(D^3)$ approximate nearest neighbor search under $X$. This can be seen as a strengthening of the classic (bi-Lipsc…

有向图哈希

Directed Graph Hashing

针对有向图哈希研究空白，本文提出多种有向图哈希算法，含可处理环的Merkle风格递归哈希算法，能为对称节点分配相同哈希，可拓展至超图等复杂结构。

FRESH：Fréchet相似性与散列

FRESH: Fréchet Similarity with Hashing

本文研究了连续Fréchet距离下曲线的$r$ -范围搜索问题：给定$n$多边形曲线的数据集$S$和一个阈值$r>0$，构造一个数据结构，对于任何查询曲线$q$，该数据结构有效地返回$S$中距离$q$至多为$r$的所有条目.我们提出了新鲜，近似和随机的方法$r$范围搜索，利用局部敏感的哈希方案检测候选人附近的邻居的查询曲线，并在随后的修剪步骤的基础上级联的曲线简化。我们的实验比较\fresh精确和确定性的解决方案，我们表明，高性能可以达到适当放松精度和召回。

相似性搜索中的哈希算法综述

Hashing for Similarity Search: A Survey

相似性搜索（最近邻搜索）是从大型数据库中寻找与查询项距离最小的数据项的问题。已经开发了各种方法来解决这个问题，最近已经投入了大量的努力近似搜索。在本文中，我们提出了一个调查的主要解决方案之一，哈希，这已经被广泛研究，因为开拓性的工作局部敏感哈希。本文将散列算法分为两大类：局部敏感散列算法（locality sensitive hashing）和学习散列算法（learning to hash），局部敏感散列算法是根据数据分布来学习散列函数，本文从散列函数的设计、散列编码空间中的距离度量和搜索机制等方面对散列算法进行了综述。

基于多索引哈希的汉明空间快速精确搜索

Fast Exact Search in Hamming Space with Multi-Index Hashing

有越来越多的兴趣表示图像数据和特征描述符使用紧凑的二进制码的快速近邻搜索。虽然二进制代码的动机是将其用作哈希表的直接索引（地址），但长于32位的代码并没有被如此使用，因为它被认为是无效的。我们介绍了一种严格的方法来建立多个哈希表的二进制代码子串，使精确的k-最近邻搜索在汉明空间。该方法存储效率高，实施起来简单。理论分析表明，该算法表现出次线性的运行时行为的均匀分布的代码。经验结果显示，对于高达10亿个64位、128位或256位代码的数据集，线性扫描基线的加速效果显著。

近似近邻的最优时空折衷算法

Optimal Hashing-based Time-Space Trade-offs for Approximate Near Neighbors

[See论文全文摘要]。我们展示了紧的上界和下界的时间-空间权衡的$c$ -近似近邻搜索问题。对于$d$维欧氏空间和$n$点数据集，我们为每个$ρ_u, ρ_q \geq 0$开发了一个具有空间$n^{1 + ρ_u + o(1)} + O(dn)$和查询时间$n^{ρ_q + o(1)} + d n^{o(1)}$的数据结构，使得：\begin{equation} c^2 \sqrt{ρ_q} + (c^2 - 1) \sqrt{ρ_u} = \sqrt{2c^2 - 1}. \end{equation}这是第一个针对每个近似因子$c > 1$实现次线性查询时间和近线性空间的数据结构，改进了[Kapralov，PODS 2015]。数据结构是针对所有空间区域的问题进行的一系列工作的高潮;它建立在球形局部敏感过滤[Becker，Ducas，Gama，Laarhoven，SODA 2016]和数据相关哈希[Andoni，Indyk，Nguyen，Razenshteyn，SODA 2014] [Andoni，Razenshteyn，STOC 2015]的基础上。我们的匹配下界有两种类型：条件和无条件。首先，我们在一个限制性的计算模型中证明了整个上述权衡的紧密性，该模型捕获了所有已知的基于散列的方法。然后，我们显示了与$ρ_q = 0$的上述权衡相匹配的一个和两个探针的无条件细胞探针下限…

Approximate Similarity Search Under Edit Distance Using Locality-Sensitive Hashing

Edit distance similarity search, also called approximate pattern matching, is a fundamental problem with widespread database applications. The goal of the problem is to preprocess $n$ strings of length $d$, to quickly answer queries $q$ of the form: if there is a database string within edit distance $r$ of $q$, return a database string within edit distance $cr$ of $q$. Previous approaches to this problem either rely on very large (superconstant) approximation ratios $c$, or very small search radii $r$. Outside of a narrow parameter range, these solutions are not competitive with trivially sear…

基于角度多索引散列的二进制空间快速余弦相似性搜索

Fast Cosine Similarity Search in Binary Space with Angular Multi-index Hashing

给定一个大的数据集的二进制代码和一个二进制查询点，我们解决如何有效地找到$K$代码的数据集，产生最大的余弦相似的查询。这个问题的直接答案是将查询与数据集中的所有项进行比较，但这只适用于小数据集。一种增强搜索时间并实现次线性成本的潜在解决方案是使用填充有数据集的二进制代码的哈希表，然后查找查询的附近桶以检索最近的邻居。然而，如果代码在余弦相似性而不是汉明距离方面进行比较，则主要问题是要探测的桶的顺序不明显。为了研究这个问题，我们首先详细说明汉明距离和余弦相似性之间的联系。这样做允许我们系统地在哈希表中找到探测序列。然而，用单个表解决最近邻搜索仅对短二进制码是实用的。为了解决这个问题，我们提出了角度多索引哈希搜索算法，它依赖于建立多个哈希表的二进制代码子串。所提出的搜索算法解决了精确的角度$K$最近邻问题的时间，往往是数量级快于线性扫描基线，甚至近似方法。

基于最长循环共子串的局部敏感哈希方案

Locality-Sensitive Hashing Scheme based on Longest Circular Co-Substring

局部敏感散列（LSH）是高维空间中$c$ -近似最近邻搜索（$c$ -ANNS）最流行的方法之一。在本文中，我们提出了一种新的LSH方案的基础上最长循环共子串（LCCS）搜索框架（LCCS-LSH）的理论保证。本文提出了一种新的LCCS概念和一种用于$k$ -LCCS搜索的循环移位阵列（CSA）数据结构。LCCS搜索框架的见解是，接近的数据对象将具有比相距较远的数据对象更长的LCCS。LCCS-LSH是\emph{LSH-family-independent}，它支持具有不同类型距离度量的$c$ -ANNS。我们还介绍了LCCS-LSH的多探针版本，并在五个真实数据集上进行了广泛的实验。实验结果表明，LCCS-LSH优于最先进的LSH计划。

改进的非对称局部敏感哈希算法（ALSH）及其最大内积搜索（MIPS）

Improved Asymmetric Locality Sensitive Hashing (ALSH) for Maximum Inner Product Search (MIPS)

最近的研究表明，最大内积搜索（MIPS）问题是有效的，它允许可证明的次线性散列算法。哈希之前的非对称变换是解决MIPS的关键，否则很难。在先前的工作中，作者使用非对称变换，将近似MIPS的问题转换为近似近邻搜索的问题，可以使用散列有效地解决。在这项工作中，我们提供了一个不同的变换，将近似MIPS的问题转化为近似余弦相似性搜索的问题，可以有效地解决使用有符号的随机投影。理论分析表明，新方案明显优于原方案的MIPS。实验评估有力地支持了理论研究结果。

基于组推荐的局部敏感散列算法

Locality Sensitive Hashing for Set-Queries, Motivated by Group Recommendations

局部敏感哈希（LSH）是一种有效的方法来索引一组点，这样我们就可以有效地找到查询点的最近邻居。我们将这种方法扩展到我们的新的集查询LSH（SLSH），这样它就可以找到一组点的最近邻居，作为查询。令$ s(x,y) $为两个点$ x $和$ y $之间的相似度。我们通过聚合所有$ p\in Q $的相似性$ s(p,x) $来定义集合$ Q$和点$ x $之间的相似性。例如，我们可以将$ s(p,x) $作为$ p $和$ x $之间的角度相似性（即，$1-{\angle (x,p)}/π$），并通过算术或几何平均或取最低相似性进行聚集。我们开发了本地敏感的哈希家庭和数据结构的一大套这样的算术和几何平均相似性，并分析其碰撞概率。我们还建立了一个类似的框架和散列距离函数的家庭。具体来说，我们给出了一个结构的欧氏距离聚合的平均值或采取最大值。我们利用SLSH来解决近似近邻问题的几何扩展。在这个版本中，我们考虑了一个度量，其中单位球是一个椭球体，其方向是由查询指定的。激励我们工作的一个重要应用是组推荐系统。这样的系统将电影和用户嵌入在相同的特征空间中，并且推荐一部电影供一组人一起观看的任务使用适当的相似性转换为集合查询$ Q $。

最近邻问题的多面体、格和球形码

Polytopes, lattices, and spherical codes for the nearest neighbor problem

我们研究了用于角距离最近邻问题的局部敏感哈希方法，重点是首先向下投影到低维子空间上，然后根据适当的球形码诱导的Voronoi单元划分投影向量的方法。这种方法在Charikar [STOC'02]的快速但次优的超平面散列和Andoni-Indyk [FOCS'06]、Andoni-Indyk-Nguyen-Razenshteyn [SODA'14]和Andoni-Indyk-Laarhoven-Razenshteyn-Schmidt [NIPS'15]的渐近最优但实际上通常较慢的散列族之间进行了推广和插值。我们建立了一个框架，在这种情况下，任何球形代码的性能进行分析，我们提供的结果，从文献中的各种代码，如那些相关的规则多面体和根格。类似于超平面散列，而不像交叉多面体散列，我们的碰撞概率和查询指数的分析是准确的，并没有隐藏的顺序项消失，只有大$d$，促进了一个简单的参数选择。对于二维的情况下，我们推导出封闭形式的表达式为任意球形码，我们证明了等边三角形是最佳的，实现了更好的性能比二维类似物的超平面和交叉多面体哈希。在三维和四维，我们发现，四面体，$5$ -细胞，$16$ -细胞实现最佳的查询指数，而在五个或更多的维度orthoplices出现优于定期单纯形，以及根格家庭$A_k$和$D_k$。我们认为，在更高的维度，更大的球形代码将可能存在，这将优于orthoplices在理论上，我们…

超越局部敏感哈希

Beyond Locality-Sensitive Hashing

提出了一种新的用于欧氏空间中的c-近似近邻问题（ANN）的数据结构。对于R^d中的n个点，我们的算法实现了O（n^ρ + dlog n）的查询时间和O（n^{1 + ρ} + dlog n）的空间，其中ρ<= 7/（8c^2）+ O（1 / c^3）+ o（1）.这是对Andoni和Indyk（FOCS 2006）结果的首次改进，也是第一个绕过O 'Donnell，Wu和Zhou（ICS 2011）证明的局部敏感哈希下限的数据结构。通过标准约简，我们得到了一个Hamming空间的数据结构和\ell_1范数，其中ρ<= 7/（8 c）+ O（1/c^{3/2}）+ o（1），这是对Indyk和Motwani（STOC 1998）结果的首次改进.

Practical Near Neighbor Search via Group Testing

We present a new algorithm for the approximate near neighbor problem that combines classical ideas from group testing with locality-sensitive hashing (LSH). We reduce the near neighbor search problem to a group testing problem by designating neighbors as "positives," non-neighbors as "negatives," and approximate membership queries as group tests. We instantiate this framework using distance-sensitive Bloom Filters to Identify Near-Neighbor Groups (FLINNG). We prove that FLINNG has sub-linear query time and show that our algorithm comes with a variety of practical advantages. For example, FLINN…

精确最近邻搜索的确认抽样

Confirmation Sampling for Exact Nearest Neighbor Search

由Indyk和Motwani在STOC '98中提出的局部敏感哈希算法（LSH）是一个非常有影响力的高维数据最近邻搜索框架。虽然理论工作集中在近似最近邻问题上，但在实践中，具有适当选择的参数的LSH数据结构用于解决精确最近邻问题（具有一定的错误概率）。次线性查询时间在实践中通常是可能的，甚至对于精确的最近邻搜索，直观地说，因为最近邻往往比其他数据点更接近。然而，理论提供了很少的建议，如何选择LSH参数以外的预先指定的最坏情况的设置。我们介绍了使用LSH解决精确最近邻问题的确认抽样技术。首先，我们给出了一个通用的约简，它将一系列数据结构转换为一个数据结构，每个数据结构都以很小的未知概率找到最近的邻居，并使用尽可能少的查询返回概率为$1-δ$的最近邻居。其次，我们提出了一个新的查询算法的LSH森林数据结构与$L$树，能够返回查询点的确切最近的邻居在同一时间范围内作为一个LSH森林的$Ω(L)$树的内部参数专门调整到查询和数据。

数据依赖局部敏感哈希算法的紧下界

Tight Lower Bounds for Data-Dependent Locality-Sensitive Hashing

我们证明了一个紧的下界指数$ρ$的数据依赖的局部敏感哈希方案，最近用于设计有效的解决方案的$c$ -近似最近邻搜索。特别是，我们的下界匹配$\ell_1$空间的$ρ\le \frac{1}{2c-1}+o(1)$的界，通过最近的算法从[Andoni-Razenshteyn，STOC'15]获得。近年来，人们发现，当散列函数与数据无关时，数据相关散列严格优于经典的局部敏感散列。在后一种设置中，最佳指数已经知道：对于$\ell_1$空间，紧边界是$ρ=1/c$，上限来自[Indyk-Motwani，STOC'98]，匹配的下限来自[O' Donnell-Wu-Zhou，ITCS'11]。我们证明，即使散列是数据相关的，它必须持有的$ρ\ge \frac{1}{2c-1}-o(1)$。为了证明这个结果，我们需要形式化数据相关哈希的确切概念，它也捕获了哈希函数的复杂性（除了它们的冲突属性）。如果不限制这种复杂性，我们将允许明显不可行的解决方案，如数据集的沃罗诺伊图。为了排除这种解决方案，我们要求哈希函数简洁。所有已知的算法结果都满足这个条件。

次线性时间最大内积搜索（MIPS）的非对称LSH（ALSH）

Asymmetric LSH (ALSH) for Sublinear Time Maximum Inner Product Search (MIPS)

提出了近似\emph{Maximum Inner Product Search}（MIPS）的第一个可证次线性时间算法.我们的建议也是第一个哈希算法搜索（非规范化）的内积作为基础的相似性度量。寻找MIPS的散列方案被认为是困难的。我们正式表明，现有的局部敏感哈希（LSH）框架是不够的，解决MIPS，然后我们扩展现有的LSH框架，允许非对称哈希方案。我们的建议是基于一个有趣的数学现象，其中的内积，独立的非对称变换后，可以转换成近似近邻搜索的问题。这个关键的观察使MIPS的有效次线性哈希方案成为可能。在扩展的非对称LSH（ALSH）框架下，给出了MIPS可证快速哈希方案的显式构造。建议的建设和扩展的LSH框架可能是独立的理论利益。我们提出的算法简单，易于实现。我们评估的方法，检索内部产品，在Netflix和Movielens数据集上的项目推荐的协同过滤任务。

$\ell_p$中的近似最近邻搜索

Approximate Nearest Neighbor Search in $\ell_p$

提出了一种新的局部敏感哈希算法--基于$1<p<2$的$\ell_p$中的近似最近邻搜索.针对一个数据库中的$n$点，在$\ell_p$中实现了$O(dn^ρ)$的查询时间和$O(dn+n^{1+ρ})$空间，其中$ρ\le O((\ln c)^2/c^p)$。这改进了Datar等人（SOCG，2004年）先前的最佳上限$ρ\le 1/c$，并接近O 'Donnell、Wu和Zhou（ITCS，2011年）的下限$ρ\ge 1/c^p$。这个证明是Andoni和Indyk（FOCS 2006）对$\ell_2$的LSH方案的简单推广。

利用高维局部敏感哈希算法改进相似性搜索

Improving Similarity Search with High-dimensional Locality-sensitive Hashing

提出了一类新的基于果蝇嗅觉回路的数据无关局部敏感哈希算法。这种方法的根本区别在于，不是将哈希分配为低维空间中的密集点，而是将哈希分配在高维空间中，这增强了它们的可分离性。我们从理论上和经验表明，这个新的家庭的哈希函数是局部敏感的，并保留在任何`p空间的输入的秩相似性。然后，我们分析了这种策略的不同变化，并实证表明，它们优于现有的LSH方法的最近邻居搜索六个基准数据集。最后，我们提出了一个多探针版本的算法，实现更高的性能相同的查询时间，或相反，保持性能的先前的方法，同时采取显着更少的索引时间和内存。总的来说，我们的方法利用了高维空间提供的可分性的优势，同时仍然保持计算效率

用于球面范围报告的无参数局部敏感散列

Parameter-free Locality Sensitive Hashing for Spherical Range Reporting

我们提出了一种用于点集$S$上的球面范围报告的数据结构，即，报告位于给定查询点$q$的半径$r$内的$S$中的所有点。我们的解决方案建立在Indyk和Motwani的局部敏感哈希（LSH）框架之上，该框架代表了高维近邻问题的渐近最佳解决方案。虽然传统的LSH数据结构有几个参数，其最佳值取决于从$q$到$S$的点的距离分布，我们的数据结构是无参数的，除了空间使用，这是由用户配置。然而，它的预期查询时间基本上匹配LSH数据结构的查询时间，LSH的参数已经在给定的空间约束下针对所讨论的数据和查询 * 进行了 * 最优选择。特别是，我们的数据结构提供了一个平滑的权衡之间的硬查询（通常由标准LSH解决）和容易的查询，如报告的点的数量是一个恒定的分数的$S$，或几乎所有的点在$S$远离查询点。相反，已知的数据结构仅基于输入的某些参数来固定LSH参数。该算法的预期查询时间以$O(t (n/t)^ρ)$为界，其中$t$是要报告的点数，而$ρ\in (0,1)$取决于数据分布和所用LSH族的强度。我们进一步提出了一种无参数的方式使用多探测，LSH家庭，支持它，并表明，对于许多这样的家庭，这种方法使我们能够得到预期的查询时间接近$O(n^ρ+t)$，这是最好的，我们可以希望实现使用LSH。以前在高维中最好的运行时间是$Ω(t n^ρ)$。对于许多数据分布，接近$q$的点集的固有维数较低，我们可以给出改…

具有理论保证的快速局部敏感哈希

Fast Locality Sensitive Hashing with Theoretical Guarantee

本文提出 l2 范数下的 FastLSH，通过随机采样与随机投影将哈希复杂度由 O(n) 降至 O(m)，并在保持可证明 LSH 性质的同时实现最高 80 倍加速。

曲线的局部敏感散列

Locality-sensitive hashing of curves

我们研究的数据结构存储一组多边形曲线在${\rm R}^d$，这样，给定一个查询曲线，我们可以有效地检索相似的曲线从集合中，其中相似性是使用离散的Fréchet距离或动态时间弯曲距离。为此，我们设计了第一个位置敏感的哈希方案，这些距离的措施。一个主要的挑战是，这些距离测量内部优化曲线之间的对齐。我们给出了不同类型的路线，包括约束和无约束的版本的解决方案。对于无约束的路线，我们改进了Indyk从2002年开始的短曲线的结果。令$n$为输入曲线的数量，并令$m$为输入中曲线的最大复杂度。在特定的情况下，$m \leq \fracα{4d} \log n$，对于一些固定的$α>0$，我们的解决方案意味着一个近似的近邻数据结构的离散弗雷歇距离，使用空间在$O(n^{1+α}\log n)$和实现查询时间在$O(n^α\log^2 n)$和常数近似因子。此外，我们的解决方案提供了近似质量和计算性能之间的权衡：对于任何参数$k \in [m]$，我们可以给出一个数据结构，使用空间在$O(2^{2k}m^{k-1} n \log n + nm)$，回答查询在$O( 2^{2k} m^{k}\log n)$时间，并实现近似因子在$O(m/k)$。

Towards a Model for LSH

As data volumes continue to grow, clustering and outlier detection algorithms are becoming increasingly time-consuming. Classical index structures for neighbor search are no longer sustainable due to the "curse of dimensionality". Instead, approximated index structures offer a good opportunity to significantly accelerate the neighbor search for clustering and outlier detection and to have the lowest possible error rate in the results of the algorithms. Locality-sensitive hashing is one of those. We indicate directions to model the properties of LSH.

Lightweight-Yet-Efficient: Revitalizing Ball-Tree for Point-to-Hyperplane Nearest Neighbor Search

Finding the nearest neighbor to a hyperplane (or Point-to-Hyperplane Nearest Neighbor Search, simply P2HNNS) is a new and challenging problem with applications in many research domains. While existing state-of-the-art hashing schemes (e.g., NH and FH) are able to achieve sublinear time complexity without the assumption of the data being in a unit hypersphere, they require an asymmetric transformation, which increases the data dimension from $d$ to $Ω(d^2)$. This leads to considerable overhead for indexing and incurs significant distortion errors. In this paper, we investigate a tree-based appr…

Learning Space Partitions for Nearest Neighbor Search

Space partitions of $\mathbb{R}^d$ underlie a vast and important class of fast nearest neighbor search (NNS) algorithms. Inspired by recent theoretical work on NNS for general metric spaces [Andoni, Naor, Nikolov, Razenshteyn, Waingarten STOC 2018, FOCS 2018], we develop a new framework for building space partitions reducing the problem to balanced graph partitioning followed by supervised classification. We instantiate this general approach with the KaHIP graph partitioner [Sanders, Schulz SEA 2013] and neural networks, respectively, to obtain a new partitioning procedure called Neural Locali…

天文和生物数据的分级熵标度搜索

Clustered Hierarchical Entropy-Scaling Search of Astronomical and Biological Data

天文学和生物学都在经历数据的爆炸性增长，导致了“大数据”问题，阻碍了“大数据”的发现机会。对此类数据的一个常见问题是近似搜索（$ρ-$最近邻搜索）。我们提出了一个分层搜索算法，这样的数据集，利用特定的几何属性明显的天文和生物数据集，即度量熵和分形维数的数据。我们提出了CHESS（离散层次熵缩放搜索），一个搜索工具，几乎没有损失的特异性或灵敏度，证明了$13.6\times$加速线性搜索斯隆数字巡天的APOGEE数据集和$68\times$加速GreenGenes 16 S宏基因组数据集，以及渐近更少的距离比较APOGEE相比，PALCONN位置敏感的哈希库。国际象棋证明了一个渐近的复杂性不直接依赖于数据集的大小，并在实践中至少是一个数量级的速度比线性搜索进行更少的距离比较。与位置敏感哈希方法不同，CHESS可以使用任何用户定义的距离函数。CHESS还允许隐式数据压缩，我们在APOGEE数据集上演示了这一点。我们还讨论了一个扩展，允许有效的k-最近邻搜索。

Efficient Approximate Nearest Neighbor Search for Multiple Weighted $l_{p\leq2}$ Distance Functions

Nearest neighbor search is fundamental to a wide range of applications. Since the exact nearest neighbor search suffers from the "curse of dimensionality", approximate approaches, such as Locality-Sensitive Hashing (LSH), are widely used to trade a little query accuracy for a much higher query efficiency. In many scenarios, it is necessary to perform nearest neighbor search under multiple weighted distance functions in high-dimensional spaces. This paper considers the important problem of supporting efficient approximate nearest neighbor search for multiple weighted distance functions in high-…

DEANN: Speeding up Kernel-Density Estimation using Approximate Nearest Neighbor Search

Kernel Density Estimation (KDE) is a nonparametric method for estimating the shape of a density function, given a set of samples from the distribution. Recently, locality-sensitive hashing, originally proposed as a tool for nearest neighbor search, has been shown to enable fast KDE data structures. However, these approaches do not take advantage of the many other advances that have been made in algorithms for nearest neighbor algorithms. We present an algorithm called Density Estimation from Approximate Nearest Neighbors (DEANN) where we apply Approximate Nearest Neighbor (ANN) algorithms as a…

差分隐私单排列哈希与分箱一致加权采样

Differentially Private One Permutation Hashing and Bin-wise Consistent Weighted Sampling

本文将差分隐私与单排列哈希结合，提出含三个变体的DP-OPH框架，还扩展至分箱一致加权采样提出DP-BCWS算法，实验验证了二者在相似度搜索和分类任务上的优异效用与隐私保障。

近似近邻的时空折衷下界

Lower Bounds on Time-Space Trade-Offs for Approximate Near Neighbors

我们展示了紧密的下界空间和查询时间之间的整个权衡的近似近邻搜索问题。我们的下限在一个受限的计算模型中成立，该模型捕获了所有基于散列的方法。特别地，我们的下界与最近在[Laarhoven 2015]中针对欧几里得球面上的随机实例所示的上界相匹配（我们使用[Andoni，Razenshteyn 2015]中的技术实际上扩展到整个空间$\mathbb{R}^d$）。我们还显示了一个和两个探针的紧密的，无条件的细胞探针下限，改进了[Panigrahy，Talwar，Wieder 2010]的最佳已知界限。特别地，这是两个探测器的第一空间下界（对于任何静态数据结构），其不是多项式地小于一个探测器的空间下界。为了显示两个探测器的结果，我们建立并利用与本地可解码代码的连接。

Scalability和快速CoveringLSH的全面回忆

Scalability and Total Recall with Fast CoveringLSH

局部敏感哈希（LSH）已经成为在高维空间中具有强性能保证的相似性搜索的主要算法技术。传统LSH方案的缺点是它们可能具有\emph{false negatives}，即，召回率小于100%.这限制了LSH在需要精确性能保证的环境中的适用性。基于最近理论上的“CoveringLSH”构造，消除了假阴性，我们提出了一个快速和实用的覆盖LSH方案的汉明空间称为\emph{Fast CoveringLSH (fcLSH)}。继承CoveringLSH的设计优势，我们的方法避免了假阴性，并始终报告所有近邻。与CoveringLSH相比，我们实现了从$\mathcal{O}(dL)$到$\mathcal{O}(d + L\log{L})$的哈希函数计算时间的渐进改进，其中$d$是数据的维数，$L$是哈希表的数量。我们对合成数据集和真实数据集的实验表明，\emph{fcLSH}在高维汉明空间中搜索半径高达20的情况下与传统的基于散列的方法相当（并且往往更优越）。

发现数据结构：最近邻搜索及其他

Discovering Data Structures: Nearest Neighbor Search and Beyond

提出一个端到端学习数据结构的通用框架，自动适应数据分布并控制查询与空间复杂度，在最近邻搜索中逆向工程出二分搜索、插值搜索、k-d树和局部敏感哈希等算法。