Linear Hashing is Awesome
我们考虑散列函数$h(x) = ((ax+b) \bmod p) \bmod n$,其中$a,b$是从$\{0,1,\ldots,p-1\}$中随机均匀选择的。我们证明,当我们使用$h(x)$在哈希与链接插入$n$元素到一个表的大小$n$的最长链的预期长度是$\tilde{O}\!\left(n^{1/3}\right)$。当我们使用Dietzfelbinger等人[Journal of Algorithms 1997]的乘法移位散列函数时,证明也推广到给出相同的界。
2017-06-08 cs.DS
Tight Bounds for Monotone Minimal Perfect Hashing
单调最小完美散列函数(MMPHF)问题是下面的索引问题。给定一组$S= \{s_1,\ldots,s_n\}$,其中$n$是来自大小为$u$的全域$U$的不同键,创建一个回答以下查询的数据结构$DS$:\[ RankOp(q) = \text{rank of } q \text{ in } S \text{ for all } q\in S ~\text{ and arbitrary answer otherwise.} \] MMPHF问题的解决方案在理论和实践中都有广泛的应用。该问题已知的最佳上限是以$O(n\log\log\log u)$位对$DS$进行编码,并在$O(\log u)$时间内执行查询。这一直是一个开放的问题,无论是提高空间上界或显示,这个有点奇怪的外观界是紧的。在本文中,我们表明后者:具体地说,任何数据结构(确定性或随机)的单调最小完美哈希的任何集合的$n$元素从宇宙的大小$u$需要$Ω(n \cdot \log\log\log{u})$预期位正确地回答每个查询。我们通过定义一个图$\mathbf{G}$来实现我们的下界,其中节点是可能的${u \choose n}$输入,并且如果两个节点不能共享相同的$DS$,则它们是相邻的。$DS$的大小则由$\mathbf{G}$的色数的对数下界。最后,我们证明了$\mathbf{G}$的分数色数(从而色数)是由$2^{…
2022-07-25 cs.DS
Faster Matrix Multiplication via Asymmetric Hashing
本文通过非对称哈希方法部分补偿Coppersmith-Winograd张量分析中的组合损失,改进了快速矩阵乘法的激光方法,将时间复杂度指数ω的上界提升至2.371866,打破了此前2.3725的下界。
2023-11-28 cs.DS
Linear Hashing is Not That Awesome
Tel Aviv University(特拉维夫大学)
该研究分析线性散列的最大负载,证明其无多对数级最大负载,将界扩展到乘移散列族,建立其与算术 Kakeya 集密度变体的等价性,还表明改进其上界可推动算术 Kakeya 集研究。
2026-08-25 cs.DS
Hashing with Linear Probing and Referential Integrity
我们描述了线性探测哈希表的一个变体,它从不移动元素,因此支持引用完整性,即,当该元素在哈希表中时,指向元素的指针保持有效。这是通过民间传说的方法来实现的,即将一些表格条目标记为以前被占用(墓碑)。创新之处在于墓碑的数量被最小化。实验表明,与没有墓碑(和没有引用完整性)的线性探测相比,这允许无限数量的操作和有限的开销。
2018-08-14 cs.DS
No Repetition: Fast Streaming with Highly Concentrated Hashing
为了获得在一定误差范围内以高概率工作的估计器,一种常见的策略是设计一种以恒定概率工作的估计器,然后使用独立重复来提高概率。这种方法的重要例子是小空间算法,用于估计流中不同元素的数量,或估计大集合之间的集合相似性。使用标准的强通用散列来处理每个元素,我们得到了一个基于草图的估计器,其中太大错误的概率是1/4。通过执行$r$独立重复并取估计量的中值,错误概率在$r$中呈指数下降。但是,运行$r$独立实验会使处理时间增加$r$倍。在这里,我们指出,如果我们有一个具有强浓度边界的哈希函数,那么我们可以得到相同的高概率边界,而无需重复。与$r$独立的草图不同,我们有一个比$r$大一倍的草图,因此总空间是相同的。然而,我们只应用了一个哈希函数,所以我们及时地节省了一个因子$r$,整个算法变得更简单了。具有强浓度边界的快速实用哈希函数最近由Aamand em等人提出(将出现在STOC 2020中)。使用他们的散列方案,算法因此变得非常快速和实用,适合于在线处理大容量的数据流。
2020-04-02 cs.DS
On the Insertion Time of Cuckoo Hashing
Cuckoo hashing是一种用于创建大型哈希表的有效技术,具有高空间利用率和保证恒定的访问时间。在那里,每个项目可以放置在由k个不同哈希函数中的任何一个给定的位置。在本文中,我们进一步研究了随机游走启发式插入在一个在线的时尚新的项目到哈希表。假设k > 2,并且表中的项目数量低于(但任意接近)理论上可实现的负载阈值,我们显示了最大插入时间的多对数边界,该边界具有很高的概率。
2013-10-10 cs.DS
Consistent Hashing with Bounded Loads
由于各种原因,在动态设置中为客户端到服务器的平衡分配设计算法是一个具有挑战性的问题。服务器和客户端都可以周期性地从系统中添加和/或移除,并且分配算法的主要目标是:分配的一致性,以及添加或移除服务器或客户端后的移动次数。我们动态设置最流行的解决方案是一致性哈希。然而,一致性哈希的负载平衡并不比客户端到服务器的随机分配更好,因此使用每个$n$,我们预计许多服务器将因$Θ(\log n/ \log\log n)$客户端而过载。在本文中,与$n$客户端和$n$服务器,我们得到一个保证的最大负载为2,而每次更新只移动一个预期的常量客户端。我们采用任意用户指定的平衡参数$c=1+ε>1$。在系统中使用$m$球和$n$箱时,我们不希望负载高于$\lceil cm/n\rceil$。同时,我们希望绑定在添加或删除球或服务器时必须移动的球的预期数量。与一般的下界相比,没有容量限制,我们表明,在我们的算法中,当一个球或箱被插入或删除,球的预期数量,必须移动的增加只有一个乘法因子$O({1\over ε^2})$的$ε\le 1$(定理4)和一个因子$1+O(\frac{\log c}c)$的$ε\ge 1$(定理3)。从技术上讲,后一个界限最难证明。这意味着我们对于超常数$c$只需要付出微不足道的额外移动成本。我们也得到了相同的界限,为更简单的问题,而不是一个用户指定的平衡参数有一个固定的箱容量$C$…
2017-07-27 cs.DS
Hashing Modulo Alpha-Equivalence
在许多应用中,人们希望标识程序语法树的相同子树。理想情况下,这种识别应该对程序的alpha重命名具有鲁棒性,但没有现有技术显示出以良好的效率实现这一点(在表达大小上优于$\mathcal{O}(n^2)$)。我们提出了一种新的,渐近有效的方式来散列模α-等价。我们的方法的一个关键见解是使用弱(可交换)散列组合器在建设中的一个点,这承认一个算法与$\mathcal{O}(n (\log n)^2)$时间复杂度。我们证明,使用的交换组合器,但产生一个强大的哈希低碰撞概率。数值基准证明了该方法的渐近行为。
2021-05-06 cs.DS cs.PL
Tight Lower Bounds for Data-Dependent Locality-Sensitive Hashing
我们证明了一个紧的下界指数$ρ$的数据依赖的局部敏感哈希方案,最近用于设计有效的解决方案的$c$ -近似最近邻搜索。特别是,我们的下界匹配$\ell_1$空间的$ρ\le \frac{1}{2c-1}+o(1)$的界,通过最近的算法从[Andoni-Razenshteyn,STOC'15]获得。近年来,人们发现,当散列函数与数据无关时,数据相关散列严格优于经典的局部敏感散列。在后一种设置中,最佳指数已经知道:对于$\ell_1$空间,紧边界是$ρ=1/c$,上限来自[Indyk-Motwani,STOC'98],匹配的下限来自[O' Donnell-Wu-Zhou,ITCS'11]。我们证明,即使散列是数据相关的,它必须持有的$ρ\ge \frac{1}{2c-1}-o(1)$。为了证明这个结果,我们需要形式化数据相关哈希的确切概念,它也捕获了哈希函数的复杂性(除了它们的冲突属性)。如果不限制这种复杂性,我们将允许明显不可行的解决方案,如数据集的沃罗诺伊图。为了排除这种解决方案,我们要求哈希函数简洁。所有已知的算法结果都满足这个条件。
2015-07-15 cs.CC cs.CG cs.DS
Quicksort, Largest Bucket, and Min-Wise Hashing with Limited Independence
随机算法和数据结构通常是在假设可以访问完美的随机性源的情况下进行分析的。用来衡量哈希函数或随机数生成器的“随机性”的最基本度量是其独立性:如果每个变量都是均匀的,并且每个大小$k$子集都是独立的,则随机变量序列被称为$k$独立的。在本文中,我们考虑三个经典的算法在有限的独立性。我们提供了新的界限随机快速排序,最小明智的哈希和最大桶大小有限的独立性。我们的结果可以总结如下。- 随机快速排序当使用与$5$无关的散列函数计算枢轴元素时,Karloff和Raghavan,J.ACM'93展示了$O ( n \log n)$对于特殊版本的快速排序的预期最坏情况运行时间。我们改进了这一点,表明相同的运行时间是实现只有$4$独立。- 最小值哈希对于集合$A$,考虑特定元素被映射到最小散列值的概率。已知$5$独立性意味着最优概率$O (1 /n)$。Broder等人,STOC'98表明$2$独立性意味着它是$O(1 / \sqrt{|A|})$。我们展示了一个匹配的下界,以及新的紧界$3$和$4$独立的哈希函数。- 最大的桶我们考虑使用独立于$k$的哈希函数将$n$球分配到$n$桶的情况,并分析最大桶大小。Alon et.等人,STOC'97表明存在$2$独立的散列函数,其暗示大小为$Ω( n^{1/2})$的桶。我们推广的界限,提供一个$k$独立的家庭的功能,意味着大小$Ω( n^{1/k})$…
2015-02-19 cs.DS
On fast bounded locality sensitive hashing
在本文中,我们研究了表示为标量积的散列函数,即,$f(x)=<v,x>$,对于某个有界随机向量$v$。这样的散列函数有许多应用,但通常需要优化$v$分布的选择。在目前的工作中,我们专注于所谓的反浓度边界,即上界的$\mathbb{P}\left[|<v,x>| < α\right]$。在许多应用中,$v$是具有标准正态分布的独立随机变量的向量。在这种情况下,$<v,x>$的分布也是正态的,并且很容易近似$\mathbb{P}\left[|<v,x>| < α\right]$。在这里,我们考虑两个有界分布的上下文中的反浓度界限。特别地,我们分析$v$是来自$l_{\infty}$中的单位球的随机向量,以及$v$是来自$l_{2}$中的单位球的随机向量。我们显示了最佳的一个常数的反浓度措施的功能$f(x)=<v,x>$。由于我们的研究,我们获得了新的最佳结果\newline \textit{$c$-approximate nearest neighbors without false negatives} $l_p$在高维空间的所有$p\in[1,\infty]$,为$c=Ω(\max\{\sqrt{d},d^{1/p}\})$。这些结果优于[16]中提出的结果。最后,我们报告了Pagh~[17]在解决这个公开问题上的进展,他考虑了Hamming距离的最近邻搜索而没有误报。
2017-04-19 cs.DS
Global certification via perfect hashing
本文通过完美哈希技术,证明了图同态全局认证中先前下界的最优性,推翻了改进下界的猜想,并给出了匹配的上界。
2024-02-06 cs.DC cs.DS
Dynamic Space Efficient Hashing
我们考虑空间有效的哈希表,它可以动态地增长和收缩,并且总是高度空间有效的,即,它们的空间消耗总是接近下限,即使在增长时并且在考虑仅临时需要的存储时也是如此。传统上使用的哈希表都不具有此属性。我们展示了如何已知的方法,如线性探测和桶布谷鸟散列可以适应这种情况下,将它们细分为许多子表或使用虚拟内存超量。然而,这些相当直接的解决方案由于以小增量频繁重新分配而遭受缓慢的摊销插入时间。我们的主要结果是DySECT({ \bf Dy} dynamic { \bf S}pace { \bf E} efficient { \bf C}uckoo { \bf T}able),它避免了这些问题。DySECT由许多子表组成,这些子表的大小会增加一倍。由此产生的子表大小的不均匀性被桶布谷鸟散列中可用的灵活性所均衡,其中每个元素可以进入多个桶,每个桶包含多个单元格。实验结果表明,DySECT系统工作良好,负载率可达98%.性能比次佳解决方案高出2.7倍。
2017-05-02 cs.DS
Hashing for statistics over k-partitions
在本文中,我们分析了一个哈希函数$k$ -分区成箱集,获得强浓度边界的标准算法相结合的统计数据,从每个箱。这种通用方法最初是由Flajolet和Martin~[FOCS'83]提出的,目的是在估计数据流中不同元素的数量时,在$k$独立样本上节省每个元素的时间因子$Ω(k)$。Flajolet等人的HyperLogLog算法也使用了它。[AOFA'97]和Li等人的大规模机器学习。[NIPS[12]对集合相似性的最小估计。$k$ -分区的主要问题是,当使用流行的散列函数时,不同箱的内容可能高度相关。这意味着分析单个箱的边际分布的方法不适用。在这里,我们表明,一个基于列表的哈希函数,混合列表,并产生强大的浓度界限上最流行的应用程序的$k$ -分区类似于那些我们会得到使用一个真正的随机哈希函数。分析是非常复杂的,并意味着几个新的结果的独立利益,为简单和双重制表,例如一个简单而有效的建设可逆布隆过滤器和均匀散列在一个给定的集合。
2016-02-15 cs.DS
The universality of iterated hashing over variable-length strings
迭代哈希函数递归地处理字符串,一次一个字符。在每次迭代中,它们根据前一个哈希值和下一个字符计算新的哈希值。我们证明了迭代哈希可以是两两独立的,但永远不会是三两独立的。我们表明,它几乎可以是普遍的字符串比哈希值的数量长得多,我们绑定的最大字符串长度给定的碰撞概率。
2011-11-24 cs.DB cs.DS
Fast and Powerful Hashing using Tabulation
随机算法通常因其简单性而受到欢迎,但用于产生所需概率保证的散列函数通常过于复杂而不实用。在这里,我们调查最近的结果如何简单的哈希方案的基础上制表提供意想不到的强有力的保证。简单的列表散列可以追溯到Zobrist [1970]。键被视为由$c$字符组成,我们有预先计算的字符表$h_1,...,h_c$将字符映射到随机哈希值。密钥$x=(x_1,...,x_c)$被散列为$h_1[x_1] \oplus h_2[x_2].....\oplus h_c[x_c]$。这种方案在缓存中使用字符表时非常快。虽然简单的制表甚至不是4-独立的,但它确实提供了许多通常通过更高的独立性获得的保证,例如,线性探测和布谷鸟散列。接下来我们考虑扭曲制表,其中一个输入字符以简单的方式“扭曲”。由此产生的散列函数具有强大的分布特性:Hoff-Hoeffding类型的尾部边界和非常小的最小散列偏差。这也产生了一个非常快的伪随机数生成器,它被证明适用于许多经典的随机算法和数据结构。最后,我们考虑双重制表,其中我们组成两个简单的制表函数,将一个应用于另一个的输出,并表明这在Carter和Wegman [1977]的经典框架中产生非常高的独立性。事实上,惠普,对于与所消耗的空间的大小成比例的给定大小集,双重制表给出完全随机散列。我们还提到了一些更详细的制表计划,在给定的时间和空间获得接近最佳的独立性。虽然这些制表方案都…
2017-01-03 cs.DS
De Dictionariis Dynamicis Pauco Spatio Utentibus
我们开发动态字典的字RAM,使用渐近最优的空间,常数因子,插入和删除,并支持完美的哈希查询和/或成员查询,每个操作在恒定的时间与高概率。当只支持成员查询时,我们得到了Theta(n lg(u/n))位的最佳空间界,其中n和u分别是字典和宇宙的大小。以前的字典要么没有达到这个空间界限,要么只有预期和摊销的时间界限。当支持完美散列查询时,最佳空间界限取决于范围{1,2,. n+t}个哈希码作为输出。我们证明了当只支持完美哈希查询时,最优空间界为Theta(nlg(u/n)+nlg(n/(t+1)bits,当也支持成员查询时,最优空间界为Theta(nlg(u/n)+nlg(n/(t+1)bits.所有的上界都是新的,Omega(n lg(n/(t+1)下界也是新的。
2005-12-20 cs.DS
CoveringLSH: Locality-sensitive Hashing without False Negatives
我们考虑一个新的构造的局部敏感的哈希函数的汉明空间是\emph{covering}在这个意义上,它保证产生一个冲突的每一对向量在一个给定的半径$r$。该构造是\emph{efficient},因为对于给定的$c>1$,距离为~ $cr$的向量之间的哈希冲突的预期数量接近于没有覆盖保证的最佳可能的数据无关LSH的哈希冲突的数量,即,Indyk和Motwani(STOC '98)的开创性LSH构造。当搜索半径不太大时,新构造的效率基本上是\emph{matches}它们的界限-例如,当为$cr = o(\log(n)/\log\log n)$时,其中$n$为数据集中的点数,当为$cr = \log(n)/k$时,其中$k$为整数常数。一般来说,它在时间界限的指数上最多相差一个因子$\ln(4)$。因此,在汉明空间中基于LSH的相似性搜索可以在很小或没有效率成本的情况下避免误报问题。
2016-01-07 cs.DS
Fully Understanding the Hashing Trick
Aarhus University(奥胡斯大学)
特征散列,也称为{ \em the hashing trick},由Weinberger等人(2009)引入,是用于扩展机器学习算法的关键技术之一。不严格地说,特征散列使用随机稀疏投影矩阵$A : \mathbb{R}^n \to \mathbb{R}^m$(其中$m \ll n$),以便将数据的维度从$n$减少到$m$,同时近似地保持欧几里德范数。$A$的每一列都只包含一个非零项,等于$-1$或$1$。Weinberger等人给出了$\|Ax\|_2^2$的尾部边界。具体来说,他们表明,对于每个$\varepsilon, δ$,如果$\|x\|_{\infty} / \|x\|_2$足够小,并且$m$足够大,则$$\Pr[ \; | \;\|Ax\|_2^2 - \|x\|_2^2\; | < \varepsilon \|x\|_2^2 \;] \ge 1 - δ\;.$$这些界限后来由Dasgupta \etal(2010)扩展,最近由Dahlgaard等人(2017)进行了改进,然而,这种关键技术的性能的真实性质,具体地说,关键参数$\|x\|_{\infty} / \|x\|_2, m, \varepsilon, δ$之间的正确折衷仍然是一个悬而未决的问题。我们解决这个问题,给出严格的渐近界的确切权衡之间的中心参数,从而提供了一个完整的理解的性能特征散列。我们补充的渐近界与…
2018-05-22 cs.DS cs.LG math.FA
Iceberg Hashing: Optimizing Many Hash-Table Criteria at Once
本文提出Iceberg hashing,一种同时优化空间、缓存效率和失败概率等多个核心属性的稳定哈希表,并引入waterfall addressing等通用技术改进动态调整大小。
2023-10-22 cs.DS
Tricking the Hashing Trick: A Tight Lower Bound on the Robustness of CountSketch to Adaptive Inputs
Google Research(谷歌研究院);Tel Aviv University(特拉维夫大学);UC Berkeley(加州大学伯克利分校)
CountSketch和Feature Hashing(“hashing trick”)是流行的随机降维方法,支持恢复$\ell_2$ -重命中者(键$i$,其中$v_i^2 > ε\|\boldsymbol{v}\|_2^2$)和近似内积。当输入是{ \em非自适应}(不依赖于先前的输出)时,应用于大小为$O(\ell/ε)$的草图的经典估计器对于在$\ell$中呈指数的查询数量是准确的。然而,当输入是自适应的时,可以在使用经典估计器的$O(\ell)$查询之后构造对抗输入,并且最知名的鲁棒估计器仅支持$\tilde{O}(\ell^2)$查询。在这项工作中,我们表明,这种二次依赖是在某种意义上固有的:我们设计了一个攻击后,$O(\ell^2)$查询产生一个对抗性的输入向量,其草图是高度偏见。我们的攻击使用“自然”非自适应输入(只有最终的对抗输入是自适应选择的),并普遍适用于任何正确的估计,包括攻击者未知的估计。在这一点上,我们暴露了这种基本方法的内在脆弱性。
2022-08-28 cs.CR cs.DS cs.LG
A Note on Second-Order Expected Maximum-Load Bounds for Binary Linear Hashing
Technion(以色列理工学院)
本文研究了二进制线性哈希在二进制线性映射下的二次最大负载界限,证明了其在第二阶最大负载尺度上几乎与完全独立哈希匹配,并给出了一个固定桶的精确尾部界限。
2026-05-18 cs.DS
Backyard Cuckoo Hashing: Constant Worst-Case Operations with a Succinct Representation
动态字典的性能主要由其更新时间、查找时间和空间消耗来衡量。在更新时间和查找时间方面,存在以高概率保证最坏情况下的恒定时间操作的已知构造,并且在空间消耗方面,存在使用基本上最优空间的已知构造。然而,尽管对动态字典的第一次分析可以追溯到45年前(当Knuth在1963年分析线性探测时),但这些性能方面之间的权衡仍然没有完全理解。在本文中,我们解决了两个基本的开放问题:-我们构建了第一个动态字典,享有最好的两个世界:它存储n个元素使用(1+ 1)n内存字,并保证在最坏的情况下,高概率的恒定时间操作。具体地,对于任何Ω = Ω((\log \log n / \log n)^{1/2})并且对于多项式多运算的任何序列,在初始化阶段的随机性上具有高概率,所有运算在与Ω无关的恒定时间内执行。该构造是布谷鸟散列的两级变体,增加了一个处理大部分元素的“后院”,以及一个用于消除对重复的依赖的去摊销的完美散列方案。- 我们提出了上述构造的一个变体,它只使用(1+o(1))B个比特,其中B是表示从大小为u的论域中取的大小为n的集合的信息论下限,并保证在最坏情况下具有高概率的恒定时间操作,如前所述。这个问题甚至在摊销设置中也是公开的。我们构建的主要成分之一是基于置换的cuckoo hashing变体,它在处理相当小的宇宙时显着改善了cuckoo hashing的空间消耗。
2010-08-16 cs.DS
Efficient Hashing with Lookups in two Memory Accesses
散列的研究与球和仓的分析密切相关。众所周知,如果我们将一个球随机地散列到两个箱子中并将其放置在两个箱子中较小的箱子中,而不是使用单个散列函数,那么这将大大降低箱子上的最大负载。这导致了双向散列的概念,其中最大的桶包含具有高概率的$O(\log\log n)$球。哈希查找现在将在项目哈希到的两个桶中进行搜索。由于一个项目可以放在两个桶中的一个,我们可以在最初放置项目后移动它以减少最大负载。我们表明,通过在插入过程中执行移动,最大负载2可以保持在线,具有很高的概率,同时支持散列更新操作。事实上,利用$n$桶,即使每个桶预分配两个项目的空间,如在硬件实现中可能期望的,也可以存储多于$n$的项目,从而给出高存储器利用率。我们还分析了在插入过程中执行的移动次数和桶上的最大负载之间的权衡。通过执行最多$h$移动,我们可以保持$O(\frac{\log \log n}{h \log(\log\log n/h)})$的最大负载。因此,即使只走一步,我们也比不走一步得到更好的边界。
2004-07-09 cs.DS
Non-Minimal $k$-Perfect Hashing: Tight Lower Bounds and an Application to Fast Static Hash Tables
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
研究非最小k完美哈希,给出其在加速静态哈希表方面的应用。通过理论分析确定k - PHF紧密空间下界,实践中基于PtrHash开发并调优k - PHF用于静态哈希表,实现大小略超下界,在查询速度上有显著提升。
2026-08-28 cs.DS
Dynamic External Hashing: The Limit of Buffering
哈希表是计算机科学中最基本的数据结构之一,无论在理论上还是在实践中都是如此。它们在外部存储器中特别有用,在外部存储器中,它们的查询性能接近仅一次磁盘访问的理想成本。Knuth给出了一个优雅的分析,表明使用一些简单的冲突解决策略(如线性探测或链接),查找的预期平均磁盘I/O数仅为$1+1/2^{Ω(b)}$,其中每个I/O可以读取包含$b$项的磁盘块。向哈希表中插入新项也会消耗$1+1/2^{Ω(b)}$ I/O,如果哈希表完全存储在磁盘上,这几乎是最好的方法。然而,这种假设是不现实的,因为任何在外部哈希表上运行的算法都必须有一些内部内存(至少是$Ω(1)$块)来工作。对于许多外部存储器数据结构,小的内部存储器缓冲区的可用性可以显著地减少对$o(1)$ I/O的摊销插入成本。在本文中,我们研究了固有的查询插入外部哈希表中存在的内存缓冲区的权衡。特别是,我们表明,对于任何常数$c>1$,如果查询成本是针对$1+O(1/b^{c})$ I/O,那么它是不可能的,以支持插入小于$1-O(1/b^{\frac{c-1}{4}})$ I/O摊销,这意味着内存缓冲区基本上是无用的。而对于任何常量$c<1$,如果将查询成本放宽为$1+O(1/b^{c})$ I/O,则存在具有$o(1)$插入成本的简单动态哈希表。这些结果也回答了Jensen和Pagh最近提出的一个悬而未决的问题。
2008-11-19 cs.DS
Optimal lower bounds for locality sensitive hashing (except when q is tiny)
我们研究了局部敏感哈希(LSH)在最强设置下的下界:{0,1}^d中的点集在汉明距离下。回想一下,这里H被称为(r,cr,p,q)敏感哈希族,如果{0,1}^d中dist(x,y)最多为r的所有对x,y在H中随机选择的h下具有至少p的冲突概率,而{0,1}^d中dist(x,y)至少为cr的所有对x,y具有最多q的冲突概率。通常,我们认为d趋于无穷大,c固定,q有界远离0。对于其在高维近似最近邻搜索中的应用,LSH族H的质量由其“rho参数”rho = ln(1/p)/ln(1/q)作为参数c的函数有多小来决定。Indyk和Motwani的开创性论文表明,对于每个c,极其简单的族H = {x -> x_i:i in d}最多达到1/c。由于Motwani、Naor和Panigrahy的研究,唯一已知的下限是rho必须至少为0.46/c(减去o_d(1))。本文给出了一个最优下界:ρ必须至少为1/c(减去o_d(1))。这个汉明空间的下界给出了欧几里得空间(或单位球面)的下界1/c^2和集合上的杰卡德距离的下界1/c;这两个下界都与已知的上界相匹配。我们的证明很简单;本质是布尔函数在e^{-t}处的噪声稳定性是t的对数凸函数。
2009-12-01 cs.CG cs.DS
Fast Insertion for Bucketized Cuckoo Hashing
Carnegie Mellon University(卡内基梅隆大学)
研究布谷鸟哈希的快速插入问题,提出新插入过程,能将哈希表填充到接近最优阈值的负载因子,有poly(ε^-1)插入时间界和强摊销保证,传统算法无法匹配,且查询算法能大概率猜出键所在桶,提升查询效率。
2026-07-28 cs.DS
Quantum Sketches, Hashing, and Approximate Nearest Neighbors
该研究排除了将近似最近邻数据结构压缩到O(log n)量子比特的可能性,并展示了量子方法在候选扫描中的优势。
2026-02-22 cs.DS quant-ph
Robin Hood Hashing really has constant average search cost and variance in full tables
30年前,针对开寻址哈希表引入了罗宾汉冲突解决策略,并找到了其搜索成本分布的递归方程。虽然这种递归不能用解析法求解,但它允许数值计算,值得注意的是,这表明当表满时,搜索成本的方差接近$1.883$的值。此外,通过使用非标准的均值中心搜索算法,这将意味着即使在完整的表中也可以在预期的恒定时间内执行搜索。尽管提出这些意见已有一段时间,但在证明这些意见方面没有取得任何进展。在本文中,我们介绍了一种技术,而不是解决一个相关的微分方程的递归方程的棘手性。虽然这并没有提供一个精确的解决方案,但它足以证明方差的界,从而证明罗宾汉的方差是由负载因子任意接近1的一个小常数限制的。作为推论,这证明了均值中心搜索算法在预期的恒定时间内运行。我们还使用这种技术来研究罗宾汉哈希表的性能下的一个长序列的插入和删除,删除是通过标记为删除的元素。我们证明,在这种情况下,方差是有界的$1/(1-α)+O(1)$,其中$α$是负载因子。为了对这些哈希表的行为进行建模,我们使用了一种统一的方法,该方法也可以应用于研究先来先服务和后来先服务的冲突解决规则,包括删除和不删除。
2016-05-13 cs.DS
Modern Minimal Perfect Hashing: A Survey
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);BARC, University of Copenhagen(哥本哈根大学 BARC);Ca’ Foscari University of Venice(威尼斯大学);Università degli Studi di Milano(米兰大学)
本文综述了现代极简完美哈希的发展,涵盖最新进展及应用,提供选择合适哈希函数的指导
2026-02-05 cs.DS
Simplified Tight Bounds for Monotone Minimal Perfect Hashing
本文针对单调最小完美哈希(MMPHF)的空间复杂度,在更宽泛的参数范围内证明了紧下界,并简化了先前证明,几乎完全解决了该问题。
2024-04-17 cs.DS
Optimal Hashing-based Time-Space Trade-offs for Approximate Near Neighbors
[See论文全文摘要]。我们展示了紧的上界和下界的时间-空间权衡的$c$ -近似近邻搜索问题。对于$d$维欧氏空间和$n$点数据集,我们为每个$ρ_u, ρ_q \geq 0$开发了一个具有空间$n^{1 + ρ_u + o(1)} + O(dn)$和查询时间$n^{ρ_q + o(1)} + d n^{o(1)}$的数据结构,使得:\begin{equation} c^2 \sqrt{ρ_q} + (c^2 - 1) \sqrt{ρ_u} = \sqrt{2c^2 - 1}. \end{equation}这是第一个针对每个近似因子$c > 1$实现次线性查询时间和近线性空间的数据结构,改进了[Kapralov,PODS 2015]。数据结构是针对所有空间区域的问题进行的一系列工作的高潮;它建立在球形局部敏感过滤[Becker,Ducas,Gama,Laarhoven,SODA 2016]和数据相关哈希[Andoni,Indyk,Nguyen,Razenshteyn,SODA 2014] [Andoni,Razenshteyn,STOC 2015]的基础上。我们的匹配下界有两种类型:条件和无条件。首先,我们在一个限制性的计算模型中证明了整个上述权衡的紧密性,该模型捕获了所有已知的基于散列的方法。然后,我们显示了与$ρ_q = 0$的上述权衡相匹配的一个和两个探针的无条件细胞探针下限…
2017-05-21 cs.CC cs.CG cs.DS
RecSplit: Minimal Perfect Hashing via Recursive Splitting
最小完美散列函数将全域$U$中的密钥集$S$双射映射到第一个$|S|$自然数。例如,最小完美散列函数用于在紧凑空间中映射形状不规则的键(如字符串),以便元数据可以简单地存储在数组中。虽然已知每个密钥仅需要$1.44$位来存储最小完美函数,但是在实践中没有公开的技术可以低于每个密钥$2$位。我们提出了一种新的技术,用于存储最小的完美散列函数与预期的线性建设时间和预期的恒定的查找时间,使其有可能建立第一次,例如,结构需要$1.56$位每个键,也就是说,在$8.3$ %的下限,在小于$2$毫秒每个键。我们表明,我们的建设的实例能够同时击败建设时间,空间使用和查找时间的国家的最先进的数据结构达到$2$位每键。此外,我们提供的参数选择给出的结构是有竞争力的替代,更大的数据结构的空间和查找时间方面。我们的数据结构的构造可以容易地并行化或映射到分布式计算单元(例如,在MapReduce框架内),并且大于可用RAM的结构可以直接构建在大容量存储器中。
2019-11-30 cs.DS
BinomialHash: A Constant Time, Minimal Memory Consistent Hash Algorithm
本文提出 BinomialHash 一致性哈希算法,实现常数时间查找与最小内存占用,并通过伪代码、理论证明及对比实验验证其性能与边界。
2025-03-17 cs.DC cs.DS
Hash sort: A linear time complexity multiple-dimensional sort algorithm
排序和散列是计算机科学中两个完全不同的概念,并且相互排斥。哈希是一种使用数据作为关键字来映射到内存中的位置的搜索方法,用于快速存储和检索。排序是将数据从随机排列组织成有序排列的过程,并且是在各种应用中频繁执行的常见活动。几乎所有传统的排序算法都是通过比较来工作的,并且在这样做的时候,算法时间复杂度有一个线性最大下限。排序算法的理论时间复杂度的任何改进都可能导致实现性能的整体更大增益。对于使用排序算法的应用程序来说,算法性能的提高会带来更大的速度提高。这种排序算法需要使用一种替代方法来对数据进行排序,而不是比较,以超过算法性能上的线性时间复杂度边界。散列排序是一种通用的基于散列的非比较排序算法,它具有一些传统排序算法所没有的有趣特性。散列排序的性能逐渐优于最快的传统排序算法快速排序。散列排序算法具有线性时间复杂度因子--即使在最坏的情况下也是如此。散列排序为进一步的工作和研究其他排序方法开辟了一个领域。
2004-08-17 cs.DS
Beating Fredman-Komlós for perfect $k$-hashing
我们说子集$C \subseteq \{1,2,\dots,k\}^n$是$k$散列码(也称为$k$分离的),如果对于来自$C$的每个$k$码字子集,存在一个坐标,其中所有这些码字具有不同的值。理解$k$ -散列码的最大可能速率(以比特为单位)(定义为$(\log_2 |C|)/n$)是一个经典问题。它出现在两个等价的上下文中:(i)将$N$元素的全域映射到$\{1,2,\dots,k\}$中的完美散列族的可能的最小大小,以及(ii)对于特定组合信道,利用大小小于$k$的列表进行解码的零错误容量。对于任何$k \geq 4$,Fredman和Komlós在1984年得到了一个关于$k$ -散列码的速率的$k!/k^{k-1}$的一般上界(在大$n$的限制下)。虽然已经获得了$k=4$的更好的界限,但它们的原始界限仍然是每个$k \ge 5$的最佳界限。在这项工作中,我们得到了第一个改进的Fredman-Komlós界的每$k \ge 5$。虽然我们得到明确的(数值)界为$k=5,6$,对于较大的$k$,我们只表明,FK界可以提高一个积极的,但未指定的,量。在单纯形上某个多项式优化问题的最优值的猜想下,我们的方法允许对每个$k$计算有效界。
2018-05-10 cs.DM cs.DS cs.IT
On the Relationship Between Several Variants of the Linear Hashing Conjecture
针对线性哈希最坏情形期望最大负载是否为 n^{o(1)} 的开放难题,论文提出一组中间问题,揭示其等价或关联关系并给出部分进展。
2024-05-18 cs.DM cs.DS
ShockHash: Towards Optimal-Space Minimal Perfect Hashing Beyond Brute-Force
ShockHash 利用布谷鸟哈希与伪森林图,将最小完美哈希的种子尝试次数从 e^n 降至 (e/2)^n,空间接近理论下界,比暴力搜索快近 2^n 倍。
2023-11-13 cs.DS
Practical Hash Functions for Similarity Estimation and Dimensionality Reduction
University of Copenhagen(哥本哈根大学);SupWiz(SupWiz公司)
散列是机器学习的几个方面中采用的降维的基本工具。然而,性能分析通常是在使用真正随机的单位代价散列函数的抽象假设下进行的,而不关心使用哪种具体的散列函数。具体的散列函数可以在足够随机输入上工作良好。问题是,当面对更结构化的输入时,它在现实世界中是否值得信任。在本文中,我们专注于散列的两个突出应用,即Li等人的单排列散列(OPH)方案的相似性估计。[NIPS'12]和Weinberger等人的特征散列(FH)。[ICML'09],这两个都有许多应用,即LSH的近似近邻搜索和SVM的大规模分类。我们认为混合制表哈希Dahlgaard等人。[FOCS'15],它被证明在许多应用中,包括OPH,表现得像一个真正的随机散列函数。在这里,我们首先展示了使用真正随机散列的FH的改进的浓度范围,然后认为混合制表对稀疏输入的表现类似。然而,我们的主要贡献是在FH,OPH和LSH中使用不同哈希方案的实验比较。我们发现,混合制表散列几乎一样快的multiply-mod-prime方案ax+b mod p. multiply-mod-prime保证工作在足够随机的数据,但我们证明,在上述应用程序中,它可能会导致偏见和现实世界和合成数据的浓度差。我们还比较了流行的MurmurHash 3,它没有经过验证的保证。在我们的实验中,混合制表和MurmurHash 3的表现都类似于真正的随机哈希。然而,混合制表比Mu…
2017-11-23 cs.DS cs.LG stat.ML
Learned Monotone Minimal Perfect Hashing
本文提出LeMonHash,一种通过PGM索引学习单调映射并用BuRR解决冲突的整数最小完美哈希构建技术,显著降低空间开销并大幅提升查询速度,同时扩展至变长字符串场景。
2023-08-30 cs.DS
Tight Bounds for Classical Open Addressing
本研究提出rainbow hashing经典开放寻址哈希表,证明其时间-负载因子权衡最优,且扩展动态调整大小无额外时间成本,解决了此前三类操作同时达o(ε⁻¹)时间界的开放问题。
2024-09-17 cs.DS
Explicit Orthogonal Arrays and Universal Hashing with Arbitrary Parameters
该研究提出首个适用于所有参数的显式确定性近最优规模正交阵列构造方法,基于代数几何码,还可生成任意定义域与陪域的高效t独立哈希函数,解决了此前仅存非构造性证明的问题。
2024-05-14 cs.CC cs.DS math.CO
List Decoding, Linear Hashing, and Furstenberg over $\mathbb{F}_q$
Simons Institute for the Theory of Computing, UC Berkeley(加州大学伯克利分校西蒙斯理论计算研究所);University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文提出重数间隙多项式方法,证明了有限域上随机线性码列表可解码性和线性哈希最大负载的新上界,几乎匹配已知下界,并统一改进了此前结果。
2026-09-16 cs.CC cs.DS cs.IT
Sparse Hashing for Scalable Approximate Model Counting: Theory and Practice
National University of Singapore(新加坡国立大学);Indian Institute of Technology, Bombay(印度理工学院孟买分校)
给定n个变量的CNF公式F,模型计数或#SAT的问题是计算F的满足赋值的数量。模型计数是计算机科学中的一个基本而又困难的问题,有着广泛的应用。近年来,人们对开发有效的算法技术进行了大量的努力,这些技术将经典的2-universal hashing与过去十年中SAT求解的显着进步相结合。这些技术增加了CNF公式F与随机XOR约束,并调用NP预言反复对所得CNF-XOR公式。在实践中,对NP oracle调用的调用被SAT求解器取代,SAT求解器的运行时性能受到XOR约束的大小的不利影响。2-通用散列函数的标准构造选择概率p = 1/2的每个变量,从而导致期望大小为n/2的XOR约束。因此,挑战在于设计稀疏散列函数,其中可以以较小的概率选择变量并导致较小大小的XOR约束。在本文中,我们从理论和实践的角度来应对这一挑战。首先,我们正式放松的通用散列,称为集中散列,并建立一个新的和美丽的连接,这些散列函数的浓度措施和布尔超立方体上的等周不等式。这允许我们获得方差和分散指数的(log m)紧界,并表明p = O(log(m)/m)足以设计从{0,1}^n到{0,1}^m的稀疏散列函数。然后,我们使用稀疏散列函数属于这个集中的哈希家庭开发新的近似计数算法。我们的算法在1893基准测试的综合实验评估表明,稀疏散列函数的使用可以导致显着的加速。
2020-04-30 cs.DS cs.LG cs.LO
Geometric Hashing in MPC with Applications to Clustering and Stochastic Embeddings
Indian Institute of Technology Bombay(印度理工学院孟买分校);Bar Ilan University(巴伊兰大学);POSTECH(韩国科学技术院)
本文提出首个MPC模型下针对未知加倍度量空间的一致性哈希并行构造算法,基于该算法实现了聚类、随机嵌入等几何问题的高效MPC求解。
2026-10-16 cs.CG cs.DS
ShockHash: Near Optimal-Space Minimal Perfect Hashing Beyond Brute-Force
本文提出 ShockHash,利用高度过载布谷鸟哈希表与伪森林结构,以近最优空间和远低于暴力搜索的代价构造 MPHF,并在 RecSplit 等框架中实现显著加速。
2024-06-05 cs.DS
Limited Independence Suffices for Large-k Min-wise Hashing
该研究证明了在有限独立性下,大k的min-wise哈希可实现多项式误差,且种子长度与支持大小下界一致。
2026-07-17 cs.DM cs.DS
Optimal Bounds for Open Addressing Without Reordering
本文证明开放寻址哈希表无需重排即可实现优于先前认知的期望搜索复杂度,并否证了 Yao 的均匀哈希最优猜想,所有结果均配有匹配下界。
2025-02-28 cs.DS math.CO