Derandomized Balanced Allocation
本文研究了在$d$ -choice方案中,当按顺序将$n$球分配到$n$ bin中时,显式哈希族的最大负载.我们考虑了\emph{Uniform-Greedy}方案,它为每个球提供$d$独立的箱子,并将球放入具有最小负载的箱子中,以及它的非均匀变体-由Vöcking引入的\emph{Always-Go-Left}方案。基于Celis等人的工作,我们构造了一个具有$O(\log n \log \log n)$随机位的散列族,并给出了以下结果。1.在\emph{Uniform-Greedy}方案中,该散列族具有高概率的最大负载$\frac{\log \log n}{\log d} + O(1)$。2.对于恒定的$ϕ_d>1.61$,它在\emph{Always-Go-Left}方案中具有最大负载$\frac{\log \log n}{d \log ϕ_d} + O(1)$的概率很高。我们的散列族的最大负载匹配的最大负载的一个完全随机的散列函数在\emph{Uniform-Greedy}和\emph{Always-Go-Left}计划分别,直到低阶项的常数。以前,在$d$选择方案中,与完全随机散列函数的相同最大负载匹配的最佳已知散列族是$O(\log n)$独立函数,它需要$Θ(\log^2 n)$随机位.
2018-11-12 cs.DS
Modern Minimal Perfect Hashing: A Survey
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);BARC, University of Copenhagen(哥本哈根大学 BARC);Ca’ Foscari University of Venice(威尼斯大学);Università degli Studi di Milano(米兰大学)
本文综述了现代极简完美哈希的发展,涵盖最新进展及应用,提供选择合适哈希函数的指导
2026-02-05 cs.DS
Perfect Hashing for Data Management Applications
完美散列函数可以潜在地用于压缩与各种数据管理任务相关的数据。尽管人们对如何构造好的完美哈希函数做了大量的工作,但现有的最小完美哈希方法在理论和实践上都存在一定的差距。一方面,对于大型密钥集,存在良好的理论结果,但没有实验证明的实用性。另一方面,理论上分析的时间和空间使用算法假设真正的随机哈希函数是免费的,这是一个不切实际的假设。在本文中,我们试图弥合理论与实践之间的差距,使用一些技术从文献中获得一个新的计划,在理论上是很好的理解,并在同一时间实现了一个数量级的性能增长相比,以前的“实用”的方法。这种改进来自一个新的,理论上最佳的完美的散列方案,大大简化了以前的方法相结合,我们的算法是为了充分利用存储层次结构的事实。我们证明了我们的算法的可扩展性,通过考虑一组超过10亿的URL从万维网的平均长度为64,我们构建了一个最小的完美的哈希函数在一个商品PC在一个多小时。我们的方案产生最小的完美散列函数,每个密钥使用略多于3位。对于在范围$\{0,...,2n-1\}$中的完美散列函数,空间使用下降到每键刚好超过2位(即,比表示密钥的最佳值多一位)。这明显低于先前对于非常大的$n$值所实现的。
2007-02-27 cs.DB cs.DS
RecSplit: Minimal Perfect Hashing via Recursive Splitting
最小完美散列函数将全域$U$中的密钥集$S$双射映射到第一个$|S|$自然数。例如,最小完美散列函数用于在紧凑空间中映射形状不规则的键(如字符串),以便元数据可以简单地存储在数组中。虽然已知每个密钥仅需要$1.44$位来存储最小完美函数,但是在实践中没有公开的技术可以低于每个密钥$2$位。我们提出了一种新的技术,用于存储最小的完美散列函数与预期的线性建设时间和预期的恒定的查找时间,使其有可能建立第一次,例如,结构需要$1.56$位每个键,也就是说,在$8.3$ %的下限,在小于$2$毫秒每个键。我们表明,我们的建设的实例能够同时击败建设时间,空间使用和查找时间的国家的最先进的数据结构达到$2$位每键。此外,我们提供的参数选择给出的结构是有竞争力的替代,更大的数据结构的空间和查找时间方面。我们的数据结构的构造可以容易地并行化或映射到分布式计算单元(例如,在MapReduce框架内),并且大于可用RAM的结构可以直接构建在大容量存储器中。
2019-11-30 cs.DS
Fast Scalable Construction of (Minimal Perfect Hash) Functions
有限域上的随机线性系统的最新进展已经为使用相对于现有技术更少的空间来构造表示静态函数和最小完美散列函数的恒定时间数据结构铺平了道路。这些结果的任何实际应用的主要障碍是解决这些线性系统所需的10-时间高斯消除:尽管它们可以做得很小,但计算仍然太慢而不可行。在本文中,我们详细描述了一些算法和编程技术,以加快解决这些系统的几个数量级,使整体建设的竞争力与标准和广泛使用的MWHC技术,这是基于超图剥离。特别是,我们介绍了广泛的编程技术,快速方程操作和惰性高斯消除算法。我们还描述了一些技术改进的数据结构,进一步减少空间使用和提高查找速度。我们的实现这些技术产生一个最小的完美的哈希函数数据结构占用2.24位每个元素,相比2.68 MWHC为基础的,和一个静态函数数据结构,减少乘法开销从1.23到1.03。
2016-03-22 cs.DS
Bounds for c-Ideal Hashing
在本文中,我们从最坏情况的角度来分析哈希。为此,我们研究了哈希族的一个新的属性,它与d-完美哈希密切相关,即c-理想性。一方面,这个概念概括了完美散列的定义,这已经被广泛研究;另一方面,它提供了一个直接的链接到c-近似性的概念。我们重点讨论了通常被忽略的平均负载α至少为1的情况,并证明了c-理想哈希族的最小大小的参数化上界和下界。顺便说一下,我们展示了c-ideality如何帮助分析哈希的建议复杂性。十年前引入的建议概念让我们可以衡量在线问题的信息内容。我们证明了哈希的建议复杂度是线性的哈希表的大小。
2023-01-31 cs.DS
High Performance Construction of RecSplit Based Minimal Perfect Hash Functions
本文提出旋转拟合技术并利用比特、向量、核心和 GPU 多层并行,大幅提升 RecSplit 最小完美哈希函数的构建速度,在 GPU 上实现最高 5438 倍加速且更节能。
2023-07-05 cs.DS
Non-Minimal $k$-Perfect Hashing: Tight Lower Bounds and an Application to Fast Static Hash Tables
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
研究非最小k完美哈希,给出其在加速静态哈希表方面的应用。通过理论分析确定k - PHF紧密空间下界,实践中基于PtrHash开发并调优k - PHF用于静态哈希表,实现大小略超下界,在查询速度上有显著提升。
2026-08-28 cs.DS
Constructing Minimal Perfect Hash Functions Using SAT Technology
最小完美散列函数(MPHF)用于提供对大型字典(键值对集)值的有效访问。发现用于构建MPHF的新算法是一个活跃的研究领域,特别是从存储效率的角度来看。MPHF的信息理论限制是1/(ln 2)或每个密钥大约1.44比特。目前最好的实用算法范围在每个密钥2到4位之间。在这篇文章中,我们提出了两个基于SAT的MPHF结构。我们的第一个建设产生MPHF附近的信息理论的限制。对于这种构造,当前最先进的SAT求解器可以处理字典包含多达40个元素的情况,从而优于现有的(蛮力)方法。我们的第二个构造使用XOR-SAT滤波器来实现每个密钥约1.83位的长期存储的实用方法。
2019-11-22 cs.DS cs.LO
Beating Fredman-Komlós for perfect $k$-hashing
我们说子集$C \subseteq \{1,2,\dots,k\}^n$是$k$散列码(也称为$k$分离的),如果对于来自$C$的每个$k$码字子集,存在一个坐标,其中所有这些码字具有不同的值。理解$k$ -散列码的最大可能速率(以比特为单位)(定义为$(\log_2 |C|)/n$)是一个经典问题。它出现在两个等价的上下文中:(i)将$N$元素的全域映射到$\{1,2,\dots,k\}$中的完美散列族的可能的最小大小,以及(ii)对于特定组合信道,利用大小小于$k$的列表进行解码的零错误容量。对于任何$k \geq 4$,Fredman和Komlós在1984年得到了一个关于$k$ -散列码的速率的$k!/k^{k-1}$的一般上界(在大$n$的限制下)。虽然已经获得了$k=4$的更好的界限,但它们的原始界限仍然是每个$k \ge 5$的最佳界限。在这项工作中,我们得到了第一个改进的Fredman-Komlós界的每$k \ge 5$。虽然我们得到明确的(数值)界为$k=5,6$,对于较大的$k$,我们只表明,FK界可以提高一个积极的,但未指定的,量。在单纯形上某个多项式优化问题的最优值的猜想下,我们的方法允许对每个$k$计算有效界。
2018-05-10 cs.DM cs.DS cs.IT
PTHash: Revisiting FCH Minimal Perfect Hashing
给定$n$不同键的集合$S$,将$S$的键双射映射到范围$\{0,\ldots,n-1\}$中的函数$f$被称为$S$的最小完美散列函数。当$n$很大并且保持恒定的计算时间时,找到这样的函数的算法具有实际意义;例如,搜索引擎和数据库通常使用最小完美散列函数来快速地将标识符分配给可变长度键(例如字符串)的静态集合。挑战是设计一种算法,这是有效的,在三个不同的方面:时间找到$f$(建设时间),时间评估$f$上的关键$S$(查找时间),和空间的$f$的表示。已经提出了几种算法来权衡这些方面。1992年,Fox,Chen,and Heath(FCH)在SIGIR上提出了一种算法,提供了非常快速的查找评估。然而,这种方法很少受到关注,因为与其他后续技术相比,它的施工时间长,占用空间大。大约30年后,我们重新审视了他们的框架,并提出了一种改进的算法,该算法可以很好地扩展到大型集合,并完全减少了空间消耗,而不会影响查找时间。我们进行了广泛的实验评估,并表明该算法发现的功能,在空间上具有竞争力的最先进的技术,并提供$2-4\times$更好的查找时间。
2021-05-28 cs.DS
Tight Bounds for Monotone Minimal Perfect Hashing
单调最小完美散列函数(MMPHF)问题是下面的索引问题。给定一组$S= \{s_1,\ldots,s_n\}$,其中$n$是来自大小为$u$的全域$U$的不同键,创建一个回答以下查询的数据结构$DS$:\[ RankOp(q) = \text{rank of } q \text{ in } S \text{ for all } q\in S ~\text{ and arbitrary answer otherwise.} \] MMPHF问题的解决方案在理论和实践中都有广泛的应用。该问题已知的最佳上限是以$O(n\log\log\log u)$位对$DS$进行编码,并在$O(\log u)$时间内执行查询。这一直是一个开放的问题,无论是提高空间上界或显示,这个有点奇怪的外观界是紧的。在本文中,我们表明后者:具体地说,任何数据结构(确定性或随机)的单调最小完美哈希的任何集合的$n$元素从宇宙的大小$u$需要$Ω(n \cdot \log\log\log{u})$预期位正确地回答每个查询。我们通过定义一个图$\mathbf{G}$来实现我们的下界,其中节点是可能的${u \choose n}$输入,并且如果两个节点不能共享相同的$DS$,则它们是相邻的。$DS$的大小则由$\mathbf{G}$的色数的对数下界。最后,我们证明了$\mathbf{G}$的分数色数(从而色数)是由$2^{…
2022-07-25 cs.DS
PHast -- Perfect Hashing made fast
Faculty of Mathematics and Computer Science, University of Łódź(罗兹大学数学与计算机科学学院);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
本文提出PHast完美哈希方法,通过改进桶放置机制、采用小范围哈希与并行构建实现高速查询、快速构建和低空间消耗,其PHast+变体更将构建速度提升一个数量级。
2025-10-22 cs.DB cs.DS cs.PF
Parallel and External-Memory Construction of Minimal Perfect Hash Functions with PTHash
提出支持多线程和外部内存处理的PTHash新构建算法,在保持竞争性构建时间与空间消耗的同时,实现了2-6倍更优的查找性能。
2023-08-06 cs.DS
PHOBIC: Perfect Hashing with Optimized Bucket Sizes and Interleaved Coding
本文提出PHOBIC技术,通过优化预期桶大小的闭式分布和分区交错种子编码方案,在相同查询时间和构造吞吐量下比PTHash节省0.17位/键空间,并提供GPU加速实现。
2024-04-29 cs.DS
ShockHash: Near Optimal-Space Minimal Perfect Hashing Beyond Brute-Force
本文提出 ShockHash,利用高度过载布谷鸟哈希表与伪森林结构,以近最优空间和远低于暴力搜索的代价构造 MPHF,并在 RecSplit 等框架中实现显著加速。
2024-06-05 cs.DS
PtrHash: Minimal Perfect Hashing at RAM Throughput
ETH Zurich(苏黎世联邦理工学院)
PtrHash通过优化内存和吞吐量,实现高效构建和查询的最小完美哈希函数,适用于大规模数据处理。
2025-05-27 cs.DS
ShockHash: Towards Optimal-Space Minimal Perfect Hashing Beyond Brute-Force
ShockHash 利用布谷鸟哈希与伪森林图,将最小完美哈希的种子尝试次数从 e^n 降至 (e/2)^n,空间接近理论下界,比暴力搜索快近 2^n 倍。
2023-11-13 cs.DS
Learned Monotone Minimal Perfect Hashing
本文提出LeMonHash,一种通过PGM索引学习单调映射并用BuRR解决冲突的整数最小完美哈希构建技术,显著降低空间开销并大幅提升查询速度,同时扩展至变长字符串场景。
2023-08-30 cs.DS
A Simple Hash Class with Strong Randomness Properties in Graphs and Hypergraphs
研究了由简单散列函数生成的图和超图的随机性。通过研究$d$ -均匀随机($d$ -partite)超图的结构,可以分析几种散列应用,其中$d$ -partite超图是从$n$密钥的集合$S$和通过将每个密钥$x\in S$与超边$\{h_1(x),\dots, h_d(x)\}$相关联的$d$随机选择的散列函数$h_1,\dots,h_d$获得的.通常假定$h_1,\dots,h_d$表现出高度的独立性。我们提出了一个简单的构造散列类,其散列函数具有小的常数评估时间,可以存储在次线性空间。我们设计的一般技术来分析这些哈希函数所产生的图和超图的随机性,我们表明,它们可以取代其他,不太有效的建设布谷鸟哈希(有和没有藏),模拟一个统一的哈希函数,建设一个完美的哈希函数,广义布谷鸟哈希和不同的负载均衡的情况。
2016-10-31 cs.DS
Adaptive Hashing: Faster Hash Functions with Fewer Collisions
Google DeepMind(谷歌DeepMind)
本文提出了一种自适应哈希方法,通过在线调整哈希函数以减少碰撞并提高速度。
2026-02-05 cs.DS
Simplified Tight Bounds for Monotone Minimal Perfect Hashing
本文针对单调最小完美哈希(MMPHF)的空间复杂度,在更宽泛的参数范围内证明了紧下界,并简化了先前证明,几乎完全解决了该问题。
2024-04-17 cs.DS
Quicksort, Largest Bucket, and Min-Wise Hashing with Limited Independence
随机算法和数据结构通常是在假设可以访问完美的随机性源的情况下进行分析的。用来衡量哈希函数或随机数生成器的“随机性”的最基本度量是其独立性:如果每个变量都是均匀的,并且每个大小$k$子集都是独立的,则随机变量序列被称为$k$独立的。在本文中,我们考虑三个经典的算法在有限的独立性。我们提供了新的界限随机快速排序,最小明智的哈希和最大桶大小有限的独立性。我们的结果可以总结如下。- 随机快速排序当使用与$5$无关的散列函数计算枢轴元素时,Karloff和Raghavan,J.ACM'93展示了$O ( n \log n)$对于特殊版本的快速排序的预期最坏情况运行时间。我们改进了这一点,表明相同的运行时间是实现只有$4$独立。- 最小值哈希对于集合$A$,考虑特定元素被映射到最小散列值的概率。已知$5$独立性意味着最优概率$O (1 /n)$。Broder等人,STOC'98表明$2$独立性意味着它是$O(1 / \sqrt{|A|})$。我们展示了一个匹配的下界,以及新的紧界$3$和$4$独立的哈希函数。- 最大的桶我们考虑使用独立于$k$的哈希函数将$n$球分配到$n$桶的情况,并分析最大桶大小。Alon et.等人,STOC'97表明存在$2$独立的散列函数,其暗示大小为$Ω( n^{1/2})$的桶。我们推广的界限,提供一个$k$独立的家庭的功能,意味着大小$Ω( n^{1/k})$…
2015-02-19 cs.DS
Perfectly Balanced Allocation With Estimated Average Using Expected Constant Retries
在线球到箱的平衡分配长期以来一直是高效负载平衡和散列应用的研究领域。在该领域中存在针对不同设置的大量结果,例如并行分配~ \cite{parallel}、多维分配~ \cite{multi}、加权球~ \cite{weight}等。对于顺序多选择分配,其中$m$球被扔进$n$箱中,每个球独立地、均匀地随机选择$d$(常数)箱,箱的最大负载是$O(\log \log n) + m/n$,具有高概率~ \cite{heavily_load}。这提供了当前最知名的分配方案。然而,对于$d = Θ(\log n)$,间隙减少到$O(1)$ ~ \cite{soda08}。对于具有$O(\log ^*n)$通信轮~ \cite{lenzen}的并行分配,已经建立了类似的恒定间隙界限。针对$d$为常数的顺序单维在线分配问题,提出了一种新的多选择分配算法\emph{Improved D-choice with Estimated Average}($IDEA$),该算法以较高的概率获得了一个常数间隙.我们实现了$\lceil m/n \rceil$的最大负载具有高概率恒定$d$选择方案与\emph{expected}恒定的重试次数或每球轮数。我们还表明,即使对于任意大数目的球,$m>>n$的约束。此外,我们将这个结果推广到(i)~加权的情况下,其中球的权重来自具有有限方差的任意权重分布,(ii)…
2011-12-29 cs.DS
Consistent Hashing with Bounded Loads
由于各种原因,在动态设置中为客户端到服务器的平衡分配设计算法是一个具有挑战性的问题。服务器和客户端都可以周期性地从系统中添加和/或移除,并且分配算法的主要目标是:分配的一致性,以及添加或移除服务器或客户端后的移动次数。我们动态设置最流行的解决方案是一致性哈希。然而,一致性哈希的负载平衡并不比客户端到服务器的随机分配更好,因此使用每个$n$,我们预计许多服务器将因$Θ(\log n/ \log\log n)$客户端而过载。在本文中,与$n$客户端和$n$服务器,我们得到一个保证的最大负载为2,而每次更新只移动一个预期的常量客户端。我们采用任意用户指定的平衡参数$c=1+ε>1$。在系统中使用$m$球和$n$箱时,我们不希望负载高于$\lceil cm/n\rceil$。同时,我们希望绑定在添加或删除球或服务器时必须移动的球的预期数量。与一般的下界相比,没有容量限制,我们表明,在我们的算法中,当一个球或箱被插入或删除,球的预期数量,必须移动的增加只有一个乘法因子$O({1\over ε^2})$的$ε\le 1$(定理4)和一个因子$1+O(\frac{\log c}c)$的$ε\ge 1$(定理3)。从技术上讲,后一个界限最难证明。这意味着我们对于超常数$c$只需要付出微不足道的额外移动成本。我们也得到了相同的界限,为更简单的问题,而不是一个用户指定的平衡参数有一个固定的箱容量$C$…
2017-07-27 cs.DS