Modern Minimal Perfect Hashing: A Survey
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);BARC, University of Copenhagen(哥本哈根大学 BARC);Ca’ Foscari University of Venice(威尼斯大学);Università degli Studi di Milano(米兰大学)
本文综述了现代极简完美哈希的发展,涵盖最新进展及应用,提供选择合适哈希函数的指导
2026-02-05 cs.DS
Fast Scalable Construction of (Minimal Perfect Hash) Functions
有限域上的随机线性系统的最新进展已经为使用相对于现有技术更少的空间来构造表示静态函数和最小完美散列函数的恒定时间数据结构铺平了道路。这些结果的任何实际应用的主要障碍是解决这些线性系统所需的10-时间高斯消除:尽管它们可以做得很小,但计算仍然太慢而不可行。在本文中,我们详细描述了一些算法和编程技术,以加快解决这些系统的几个数量级,使整体建设的竞争力与标准和广泛使用的MWHC技术,这是基于超图剥离。特别是,我们介绍了广泛的编程技术,快速方程操作和惰性高斯消除算法。我们还描述了一些技术改进的数据结构,进一步减少空间使用和提高查找速度。我们的实现这些技术产生一个最小的完美的哈希函数数据结构占用2.24位每个元素,相比2.68 MWHC为基础的,和一个静态函数数据结构,减少乘法开销从1.23到1.03。
2016-03-22 cs.DS
ShockHash: Near Optimal-Space Minimal Perfect Hashing Beyond Brute-Force
本文提出 ShockHash,利用高度过载布谷鸟哈希表与伪森林结构,以近最优空间和远低于暴力搜索的代价构造 MPHF,并在 RecSplit 等框架中实现显著加速。
2024-06-05 cs.DS
Bounds for c-Ideal Hashing
在本文中,我们从最坏情况的角度来分析哈希。为此,我们研究了哈希族的一个新的属性,它与d-完美哈希密切相关,即c-理想性。一方面,这个概念概括了完美散列的定义,这已经被广泛研究;另一方面,它提供了一个直接的链接到c-近似性的概念。我们重点讨论了通常被忽略的平均负载α至少为1的情况,并证明了c-理想哈希族的最小大小的参数化上界和下界。顺便说一下,我们展示了c-ideality如何帮助分析哈希的建议复杂性。十年前引入的建议概念让我们可以衡量在线问题的信息内容。我们证明了哈希的建议复杂度是线性的哈希表的大小。
2023-01-31 cs.DS
Non-Minimal $k$-Perfect Hashing: Tight Lower Bounds and an Application to Fast Static Hash Tables
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
研究非最小k完美哈希,给出其在加速静态哈希表方面的应用。通过理论分析确定k - PHF紧密空间下界,实践中基于PtrHash开发并调优k - PHF用于静态哈希表,实现大小略超下界,在查询速度上有显著提升。
2026-08-28 cs.DS
PTHash: Revisiting FCH Minimal Perfect Hashing
给定$n$不同键的集合$S$,将$S$的键双射映射到范围$\{0,\ldots,n-1\}$中的函数$f$被称为$S$的最小完美散列函数。当$n$很大并且保持恒定的计算时间时,找到这样的函数的算法具有实际意义;例如,搜索引擎和数据库通常使用最小完美散列函数来快速地将标识符分配给可变长度键(例如字符串)的静态集合。挑战是设计一种算法,这是有效的,在三个不同的方面:时间找到$f$(建设时间),时间评估$f$上的关键$S$(查找时间),和空间的$f$的表示。已经提出了几种算法来权衡这些方面。1992年,Fox,Chen,and Heath(FCH)在SIGIR上提出了一种算法,提供了非常快速的查找评估。然而,这种方法很少受到关注,因为与其他后续技术相比,它的施工时间长,占用空间大。大约30年后,我们重新审视了他们的框架,并提出了一种改进的算法,该算法可以很好地扩展到大型集合,并完全减少了空间消耗,而不会影响查找时间。我们进行了广泛的实验评估,并表明该算法发现的功能,在空间上具有竞争力的最先进的技术,并提供$2-4\times$更好的查找时间。
2021-05-28 cs.DS
Tight Bounds for Monotone Minimal Perfect Hashing
单调最小完美散列函数(MMPHF)问题是下面的索引问题。给定一组$S= \{s_1,\ldots,s_n\}$,其中$n$是来自大小为$u$的全域$U$的不同键,创建一个回答以下查询的数据结构$DS$:\[ RankOp(q) = \text{rank of } q \text{ in } S \text{ for all } q\in S ~\text{ and arbitrary answer otherwise.} \] MMPHF问题的解决方案在理论和实践中都有广泛的应用。该问题已知的最佳上限是以$O(n\log\log\log u)$位对$DS$进行编码,并在$O(\log u)$时间内执行查询。这一直是一个开放的问题,无论是提高空间上界或显示,这个有点奇怪的外观界是紧的。在本文中,我们表明后者:具体地说,任何数据结构(确定性或随机)的单调最小完美哈希的任何集合的$n$元素从宇宙的大小$u$需要$Ω(n \cdot \log\log\log{u})$预期位正确地回答每个查询。我们通过定义一个图$\mathbf{G}$来实现我们的下界,其中节点是可能的${u \choose n}$输入,并且如果两个节点不能共享相同的$DS$,则它们是相邻的。$DS$的大小则由$\mathbf{G}$的色数的对数下界。最后,我们证明了$\mathbf{G}$的分数色数(从而色数)是由$2^{…
2022-07-25 cs.DS
Parallel and External-Memory Construction of Minimal Perfect Hash Functions with PTHash
提出支持多线程和外部内存处理的PTHash新构建算法,在保持竞争性构建时间与空间消耗的同时,实现了2-6倍更优的查找性能。
2023-08-06 cs.DS
PHOBIC: Perfect Hashing with Optimized Bucket Sizes and Interleaved Coding
本文提出PHOBIC技术,通过优化预期桶大小的闭式分布和分区交错种子编码方案,在相同查询时间和构造吞吐量下比PTHash节省0.17位/键空间,并提供GPU加速实现。
2024-04-29 cs.DS
PtrHash: Minimal Perfect Hashing at RAM Throughput
ETH Zurich(苏黎世联邦理工学院)
PtrHash通过优化内存和吞吐量,实现高效构建和查询的最小完美哈希函数,适用于大规模数据处理。
2025-05-27 cs.DS
Perfect Hashing for Data Management Applications
完美散列函数可以潜在地用于压缩与各种数据管理任务相关的数据。尽管人们对如何构造好的完美哈希函数做了大量的工作,但现有的最小完美哈希方法在理论和实践上都存在一定的差距。一方面,对于大型密钥集,存在良好的理论结果,但没有实验证明的实用性。另一方面,理论上分析的时间和空间使用算法假设真正的随机哈希函数是免费的,这是一个不切实际的假设。在本文中,我们试图弥合理论与实践之间的差距,使用一些技术从文献中获得一个新的计划,在理论上是很好的理解,并在同一时间实现了一个数量级的性能增长相比,以前的“实用”的方法。这种改进来自一个新的,理论上最佳的完美的散列方案,大大简化了以前的方法相结合,我们的算法是为了充分利用存储层次结构的事实。我们证明了我们的算法的可扩展性,通过考虑一组超过10亿的URL从万维网的平均长度为64,我们构建了一个最小的完美的哈希函数在一个商品PC在一个多小时。我们的方案产生最小的完美散列函数,每个密钥使用略多于3位。对于在范围$\{0,...,2n-1\}$中的完美散列函数,空间使用下降到每键刚好超过2位(即,比表示密钥的最佳值多一位)。这明显低于先前对于非常大的$n$值所实现的。
2007-02-27 cs.DB cs.DS
Locality-Preserving Minimal Perfect Hashing of k-mers
本文针对连续提取的 k-mer 提出一种保局部性最小完美哈希函数,利用相邻 k-mer 的重叠关系突破经典空间下界,使连续 k-mer 映射到连续地址,实验表明其空间占用更小且查询更快。
2023-04-12 cs.DS
Learned Monotone Minimal Perfect Hashing
本文提出LeMonHash,一种通过PGM索引学习单调映射并用BuRR解决冲突的整数最小完美哈希构建技术,显著降低空间开销并大幅提升查询速度,同时扩展至变长字符串场景。
2023-08-30 cs.DS
MorphisHash: Improving Space Efficiency of ShockHash for Minimal Perfect Hashing
本文提出 MorphisHash 技术,通过几乎完全消除 ShockHash 中候选位置映射的冗余,在最小完美哈希中实现 Θ(ln(n)) 比特的理论空间节省,实际空间开销降低约 20 倍。
2025-07-02 cs.DS
A Simple Hash Class with Strong Randomness Properties in Graphs and Hypergraphs
研究了由简单散列函数生成的图和超图的随机性。通过研究$d$ -均匀随机($d$ -partite)超图的结构,可以分析几种散列应用,其中$d$ -partite超图是从$n$密钥的集合$S$和通过将每个密钥$x\in S$与超边$\{h_1(x),\dots, h_d(x)\}$相关联的$d$随机选择的散列函数$h_1,\dots,h_d$获得的.通常假定$h_1,\dots,h_d$表现出高度的独立性。我们提出了一个简单的构造散列类,其散列函数具有小的常数评估时间,可以存储在次线性空间。我们设计的一般技术来分析这些哈希函数所产生的图和超图的随机性,我们表明,它们可以取代其他,不太有效的建设布谷鸟哈希(有和没有藏),模拟一个统一的哈希函数,建设一个完美的哈希函数,广义布谷鸟哈希和不同的负载均衡的情况。
2016-10-31 cs.DS
Balanced Families of Perfect Hash Functions and Their Applications
完美哈希函数的构造是一个很好的研究课题。在本文中,这个概念被概括为以下定义。我们说从$[n]$到$[k]$的函数族是$δ$ -平衡$(n,k)$ -完美散列函数族,如果对于每个$S \subseteq [n]$,$|S|=k$,$S$上1-1的函数的数量在$T/δ$和$δT$之间,对于某个常数$T>0$。完美散列函数族的标准定义要求对于每个大小为$k$的$S$,至少有一个函数在$S$上为1-1。在平衡族的新概念中,我们要求对于每个这样的$S$,1-1函数的数量几乎相同(假设$δ$接近1)。我们的主要结果是,对于任何常数$δ> 1$,一个$δ$ -平衡的$(n,k)$ -族的大小为$2^{O(k \log \log k)} \log n$的完美散列函数可以在时间上构造$2^{O(k \log \log k)} n \log n$ .使用颜色编码的技术,我们可以应用我们的明确的结构设计近似算法的各种计数问题的图。特别是,我们展示了一个确定性的多项式时间算法近似的长度$k$的简单路径的数量和大小$k$的简单循环的数量为任何$k \leq O(\frac{\log n}{\log \log \log n})$在一个图中的$n$顶点。该近似值达到任何固定的所需相对误差。
2008-05-28 cs.DM cs.DS
Constructing Minimal Perfect Hash Functions Using SAT Technology
最小完美散列函数(MPHF)用于提供对大型字典(键值对集)值的有效访问。发现用于构建MPHF的新算法是一个活跃的研究领域,特别是从存储效率的角度来看。MPHF的信息理论限制是1/(ln 2)或每个密钥大约1.44比特。目前最好的实用算法范围在每个密钥2到4位之间。在这篇文章中,我们提出了两个基于SAT的MPHF结构。我们的第一个建设产生MPHF附近的信息理论的限制。对于这种构造,当前最先进的SAT求解器可以处理字典包含多达40个元素的情况,从而优于现有的(蛮力)方法。我们的第二个构造使用XOR-SAT滤波器来实现每个密钥约1.83位的长期存储的实用方法。
2019-11-22 cs.DS cs.LO
Combined Search and Encoding for Seeds, with an Application to Minimal Perfect Hashing
本文提出一种种子组合搜索与编码算法,使成功种子序列的熵比传统方法减少 Ω(n) 比特,并基于此构造出空间需求 (1+ε)OPT、构造时间 O(n/ε) 的最小完美哈希函数,在 ε ≤ 3% 时构造吞吐量超越现有方法两个数量级以上。
2025-07-02 cs.DS
PaCHash: Packed and Compressed Hash Tables
我们引入PaCHash,一个哈希表,它将对象连续存储在一个数组中,即使对象的大小可变,也不需要插入空间。具体地,每个对象可以使用标准压缩技术来压缩。小的搜索数据结构允许在恒定的预期时间内定位对象。PaCHash最自然地被描述为静态外部哈希表,其中它需要每个外部存储器块的内部存储器的恒定位数。在这里,从某种意义上说,PaCHash击败了k-完美散列的空间消耗下限。快速SSD的实现需要每个外部存储器块大约5位的内部存储器,每个搜索操作仅需要一次磁盘访问(可变长度),并且与磁盘访问成本相比具有较小的内部搜索开销。我们的实验表明,即使考虑相同大小的对象,它的空间消耗也比之前所有方法都低。
2022-11-08 cs.DS
Adaptive Hashing: Faster Hash Functions with Fewer Collisions
Google DeepMind(谷歌DeepMind)
本文提出了一种自适应哈希方法,通过在线调整哈希函数以减少碰撞并提高速度。
2026-02-05 cs.DS
Simplified Tight Bounds for Monotone Minimal Perfect Hashing
本文针对单调最小完美哈希(MMPHF)的空间复杂度,在更宽泛的参数范围内证明了紧下界,并简化了先前证明,几乎完全解决了该问题。
2024-04-17 cs.DS
PHastR: Faster Minimal Perfect Hashing with Rotated Layouts
Dipartimento di Informatica, Università degli Studi di Milano(米兰大学计算机系)
该研究提出PHastR最小完美哈希函数,通过旋转布局避免自碰撞,空间与PHast+相当,构建和查询速度更快,多线程扩展性更好,还推导了键放置碰撞比例的下界。
2026-11-18 cs.DS
PHast -- Perfect Hashing made fast
Faculty of Mathematics and Computer Science, University of Łódź(罗兹大学数学与计算机科学学院);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
本文提出PHast完美哈希方法,通过改进桶放置机制、采用小范围哈希与并行构建实现高速查询、快速构建和低空间消耗,其PHast+变体更将构建速度提升一个数量级。
2025-10-22 cs.DB cs.DS cs.PF
Quicksort, Largest Bucket, and Min-Wise Hashing with Limited Independence
随机算法和数据结构通常是在假设可以访问完美的随机性源的情况下进行分析的。用来衡量哈希函数或随机数生成器的“随机性”的最基本度量是其独立性:如果每个变量都是均匀的,并且每个大小$k$子集都是独立的,则随机变量序列被称为$k$独立的。在本文中,我们考虑三个经典的算法在有限的独立性。我们提供了新的界限随机快速排序,最小明智的哈希和最大桶大小有限的独立性。我们的结果可以总结如下。- 随机快速排序当使用与$5$无关的散列函数计算枢轴元素时,Karloff和Raghavan,J.ACM'93展示了$O ( n \log n)$对于特殊版本的快速排序的预期最坏情况运行时间。我们改进了这一点,表明相同的运行时间是实现只有$4$独立。- 最小值哈希对于集合$A$,考虑特定元素被映射到最小散列值的概率。已知$5$独立性意味着最优概率$O (1 /n)$。Broder等人,STOC'98表明$2$独立性意味着它是$O(1 / \sqrt{|A|})$。我们展示了一个匹配的下界,以及新的紧界$3$和$4$独立的哈希函数。- 最大的桶我们考虑使用独立于$k$的哈希函数将$n$球分配到$n$桶的情况,并分析最大桶大小。Alon et.等人,STOC'97表明存在$2$独立的散列函数,其暗示大小为$Ω( n^{1/2})$的桶。我们推广的界限,提供一个$k$独立的家庭的功能,意味着大小$Ω( n^{1/k})$…
2015-02-19 cs.DS
Beating Fredman-Komlós for perfect $k$-hashing
我们说子集$C \subseteq \{1,2,\dots,k\}^n$是$k$散列码(也称为$k$分离的),如果对于来自$C$的每个$k$码字子集,存在一个坐标,其中所有这些码字具有不同的值。理解$k$ -散列码的最大可能速率(以比特为单位)(定义为$(\log_2 |C|)/n$)是一个经典问题。它出现在两个等价的上下文中:(i)将$N$元素的全域映射到$\{1,2,\dots,k\}$中的完美散列族的可能的最小大小,以及(ii)对于特定组合信道,利用大小小于$k$的列表进行解码的零错误容量。对于任何$k \geq 4$,Fredman和Komlós在1984年得到了一个关于$k$ -散列码的速率的$k!/k^{k-1}$的一般上界(在大$n$的限制下)。虽然已经获得了$k=4$的更好的界限,但它们的原始界限仍然是每个$k \ge 5$的最佳界限。在这项工作中,我们得到了第一个改进的Fredman-Komlós界的每$k \ge 5$。虽然我们得到明确的(数值)界为$k=5,6$,对于较大的$k$,我们只表明,FK界可以提高一个积极的,但未指定的,量。在单纯形上某个多项式优化问题的最优值的猜想下,我们的方法允许对每个$k$计算有效界。
2018-05-10 cs.DM cs.DS cs.IT
Optimal compression of hash-origin prefix trees
对某些数据库元素的哈希值进行操作是一个常见的问题。在本文中,将分析这样的一般任务的信息内容,以及如何实际上接近这样发现的下限。区分元素的最小前缀树结果是每个元素仅需要大约2.77544比特,而标准方法使用的是几倍多。在确定在数据库内部工作的同时,可扩展性的成本可以进一步降低到每个元素约2.33275位。增加节点的最小深度以减少误报概率导致与这种随机树的平均深度的简单关系,其比完美二叉树的lg(n)渐近地大约1.33275比特。这种渐近情况也可以看作是一种对n个大的无序数进行最佳编码的方法-节省lg(n!)关于它们的排序的信息位,其可以是所包含的信息的主要部分。这种能力本身允许将存储器需求减少到甚至是布隆过滤器中对于相同的误报概率所需的大约0.693。
2012-07-08 cs.DB cs.DS cs.IT