Dynamic External Hashing: The Limit of Buffering
哈希表是计算机科学中最基本的数据结构之一,无论在理论上还是在实践中都是如此。它们在外部存储器中特别有用,在外部存储器中,它们的查询性能接近仅一次磁盘访问的理想成本。Knuth给出了一个优雅的分析,表明使用一些简单的冲突解决策略(如线性探测或链接),查找的预期平均磁盘I/O数仅为$1+1/2^{Ω(b)}$,其中每个I/O可以读取包含$b$项的磁盘块。向哈希表中插入新项也会消耗$1+1/2^{Ω(b)}$ I/O,如果哈希表完全存储在磁盘上,这几乎是最好的方法。然而,这种假设是不现实的,因为任何在外部哈希表上运行的算法都必须有一些内部内存(至少是$Ω(1)$块)来工作。对于许多外部存储器数据结构,小的内部存储器缓冲区的可用性可以显著地减少对$o(1)$ I/O的摊销插入成本。在本文中,我们研究了固有的查询插入外部哈希表中存在的内存缓冲区的权衡。特别是,我们表明,对于任何常数$c>1$,如果查询成本是针对$1+O(1/b^{c})$ I/O,那么它是不可能的,以支持插入小于$1-O(1/b^{\frac{c-1}{4}})$ I/O摊销,这意味着内存缓冲区基本上是无用的。而对于任何常量$c<1$,如果将查询成本放宽为$1+O(1/b^{c})$ I/O,则存在具有$o(1)$插入成本的简单动态哈希表。这些结果也回答了Jensen和Pagh最近提出的一个悬而未决的问题。
2008-11-19 cs.DS
Non-Minimal $k$-Perfect Hashing: Tight Lower Bounds and an Application to Fast Static Hash Tables
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
研究非最小k完美哈希,给出其在加速静态哈希表方面的应用。通过理论分析确定k - PHF紧密空间下界,实践中基于PtrHash开发并调优k - PHF用于静态哈希表,实现大小略超下界,在查询速度上有显著提升。
2026-08-28 cs.DS
AnchorHash: A Scalable Consistent Hash
一致性哈希(CH)是许多网络应用程序中的核心构建块,从数据中心负载平衡到分布式存储。不幸的是,最先进的CH解决方案无法确保在任意更改下的完全一致性,并且/或者无法在保持合理的内存占用和更新时间的同时进行扩展。我们提出了AnchorHash,一个可扩展的和完全一致的哈希算法。AnchorHash实现了高密钥查找率、低内存占用和低更新时间。我们正式建立其强有力的理论保证,并提出了先进的实现,每个资源只有几个字节的内存占用。此外,广泛的评估表明,它的性能优于最先进的算法,并且它可以在单核上扩展到1亿个资源,同时仍然实现每秒超过1500万个键的键查找速率。
2020-11-22 cs.DS
Cache-Aware Lock-Free Concurrent Hash Tries
本报告描述了一个基于单字比较和交换指令的非阻塞并发共享内存哈希trie的实现。插入、查找和移除操作修改哈希trie的不同部分,可以彼此独立地运行,并且不竞争。删除操作确保释放不需要的内存,并使trie保持紧凑。这些操作的伪代码,并给出了正确性的证明-我们表明,实现是线性和无锁的。最后,基准比较并发哈希trie操作对其他并发数据结构的相应操作,显示其性能和可扩展性。
2017-09-18 cs.DS
Engineering Minimal k-Perfect Hash Functions
本文针对当前缺乏高效 k-完美哈希函数的问题,提出四种新的构造方法,在空间消耗、构建时间和查询时间上同时超越既有方案,复兴了 k-完美哈希研究领域。
2025-07-02 cs.DS
EMOMA: Exact Match in One Memory Access
现代路由器和交换机中的一个重要功能是查找密钥。基于散列的方法,特别是布谷鸟哈希表,对于这样的查找操作是流行的,但是对于存储在片外存储器中的大型结构,这样的方法具有缺点,即它们可能需要多于一个的片外存储器访问来执行密钥查找。尽管可以使用诸如布隆过滤器之类的片上近似成员关系结构来减少片外存储器访问的数量,但是一些查找可能仍然需要多于一个的片外存储器访问。这对于一些硬件实现可能是有问题的,因为仅具有单个片外存储器访问使得能够对查找进行可预测的处理,并且避免了对未决请求进行排队的需要。我们提供了一个数据结构的基础上,布谷鸟散列,每次查找只使用一个片外存储器访问的哈希为基础的查找,通过利用片上的预过滤器,以确定多个位置持有一个关键字。我们特别利用了在cuckoo哈希表中移动元素的灵活性,以确保预过滤器始终给出正确的响应。虽然这需要一个稍微复杂的插入过程和一些额外的内存访问插入期间,它是适合大多数数据包处理应用程序,其中关键字查找比插入更频繁。我们的方法的一个重要特点是它的简单性。我们的方法是基于简单的逻辑,可以很容易地实现在硬件中,和硬件实现将受益最多的单片外存储器访问每次查找。
2017-09-14 cs.DS
Modern Minimal Perfect Hashing: A Survey
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);BARC, University of Copenhagen(哥本哈根大学 BARC);Ca’ Foscari University of Venice(威尼斯大学);Università degli Studi di Milano(米兰大学)
本文综述了现代极简完美哈希的发展,涵盖最新进展及应用,提供选择合适哈希函数的指导
2026-02-05 cs.DS
Fast Scalable Construction of (Minimal Perfect Hash) Functions
有限域上的随机线性系统的最新进展已经为使用相对于现有技术更少的空间来构造表示静态函数和最小完美散列函数的恒定时间数据结构铺平了道路。这些结果的任何实际应用的主要障碍是解决这些线性系统所需的10-时间高斯消除:尽管它们可以做得很小,但计算仍然太慢而不可行。在本文中,我们详细描述了一些算法和编程技术,以加快解决这些系统的几个数量级,使整体建设的竞争力与标准和广泛使用的MWHC技术,这是基于超图剥离。特别是,我们介绍了广泛的编程技术,快速方程操作和惰性高斯消除算法。我们还描述了一些技术改进的数据结构,进一步减少空间使用和提高查找速度。我们的实现这些技术产生一个最小的完美的哈希函数数据结构占用2.24位每个元素,相比2.68 MWHC为基础的,和一个静态函数数据结构,减少乘法开销从1.23到1.03。
2016-03-22 cs.DS
High Performance Construction of RecSplit Based Minimal Perfect Hash Functions
本文提出旋转拟合技术并利用比特、向量、核心和 GPU 多层并行,大幅提升 RecSplit 最小完美哈希函数的构建速度,在 GPU 上实现最高 5438 倍加速且更节能。
2023-07-05 cs.DS
RobustBF: A High Accuracy and Memory Efficient 2D Bloom Filter
Bloom Filter是一种重要的概率数据结构,用于减少成员过滤器的内存消耗。它应用于计算机网络、网络安全和隐私、物联网、边缘计算、云计算、大数据和生物识别等不同领域。但是Bloom Filter存在误报率的问题。为了解决这个问题,我们提出了一种新的鲁棒布隆过滤器,robustBF。robustBF是一个2D Bloom Filter,能够以高精度过滤数百万数据,而不会影响性能。我们提出的系统分为两部分。首先,我们修改了murmur哈希函数,并测试了所有修改后的哈希函数的改进,并通过实验选择了最好的修改哈希函数。其次,我们将改进的哈希函数嵌入到2D Bloom Filter中。实验结果表明,robustBF在各个方面都优于标准Bloom Filter和计数Bloom Filter。robustBF表现出几乎为零的假阳性概率,其存储器消耗分别比标准布隆过滤器和计数布隆过滤器低$10\times$和$44\times$。
2021-09-08 cs.DS
BinomialHash: A Constant Time, Minimal Memory Consistent Hash Algorithm
本文提出 BinomialHash 一致性哈希算法,实现常数时间查找与最小内存占用,并通过伪代码、理论证明及对比实验验证其性能与边界。
2025-03-17 cs.DC cs.DS
Parallel and External-Memory Construction of Minimal Perfect Hash Functions with PTHash
提出支持多线程和外部内存处理的PTHash新构建算法,在保持竞争性构建时间与空间消耗的同时,实现了2-6倍更优的查找性能。
2023-08-06 cs.DS
PTHash: Revisiting FCH Minimal Perfect Hashing
给定$n$不同键的集合$S$,将$S$的键双射映射到范围$\{0,\ldots,n-1\}$中的函数$f$被称为$S$的最小完美散列函数。当$n$很大并且保持恒定的计算时间时,找到这样的函数的算法具有实际意义;例如,搜索引擎和数据库通常使用最小完美散列函数来快速地将标识符分配给可变长度键(例如字符串)的静态集合。挑战是设计一种算法,这是有效的,在三个不同的方面:时间找到$f$(建设时间),时间评估$f$上的关键$S$(查找时间),和空间的$f$的表示。已经提出了几种算法来权衡这些方面。1992年,Fox,Chen,and Heath(FCH)在SIGIR上提出了一种算法,提供了非常快速的查找评估。然而,这种方法很少受到关注,因为与其他后续技术相比,它的施工时间长,占用空间大。大约30年后,我们重新审视了他们的框架,并提出了一种改进的算法,该算法可以很好地扩展到大型集合,并完全减少了空间消耗,而不会影响查找时间。我们进行了广泛的实验评估,并表明该算法发现的功能,在空间上具有竞争力的最先进的技术,并提供$2-4\times$更好的查找时间。
2021-05-28 cs.DS
Optimal-Hash Exact String Matching Algorithms
字符串匹配是在文本中找到所有出现的模式的问题。我们提出了改进的版本的快速系列的字符串匹配算法的基础上哈希$q$ -gram。该改进包括考虑最小值$q$,使得模式的每个$q$ -gram具有唯一的散列值。新算法是最快的比算法的HASH家庭的短模式大尺寸的字母。
2023-03-10 cs.DS
A Fair and Memory/Time-efficient Hashmap
针对现有数据依赖型哈希表缺乏群体公平性保障的问题,本文提出FairHash,通过三类算法实现三种公平性概念,实验证明其公平性优于基线且几乎无性能损耗。
2024-04-13 cs.DB cs.DS
Skip Hash: A Fast Ordered Map Via Software Transactional Memory
针对仅用锁和比较并交换操作难以同时保证有序映射范围查询语义与并发性能的问题,本文结合跳表与哈希映射,借助STM提出skip hash有序映射,实现多数操作O(1)开销与快速可线性化范围查询,性能普遍优于现有最优方案。
2024-10-09 cs.DC cs.DS
Cuckoo++ Hash Tables: High-Performance Hash Tables for Networking Applications
哈希表是用于许多联网应用的基本数据结构(例如,连接跟踪、防火墙、网络地址转换器)。其中,cuckoo哈希表通过允许以非常少的存储器访问(每次查找2到3次)来处理查找,提供了优异的性能。然而,对于大型表,cuckoo哈希表仍然受内存限制,并且每次内存访问都会影响性能。在本文中,我们提出了算法的改进,杜鹃哈希表允许消除一些不必要的内存访问,这些变化进行不改变原有的杜鹃哈希表的属性,使所有现有的理论分析仍然适用。在单个核上,我们的哈希表每秒实现37M的正查找(即,当查找的关键字存在于表中时),以及每秒60M次的负查找,比包括在DPDK中的实现提高了50%。在一个18核的,主要是积极的查找,我们的实现实现每秒496M查找,比DPDK提高了45%。
2017-12-27 cs.DB cs.DS cs.NI
PtrHash: Minimal Perfect Hashing at RAM Throughput
ETH Zurich(苏黎世联邦理工学院)
PtrHash通过优化内存和吞吐量,实现高效构建和查询的最小完美哈希函数,适用于大规模数据处理。
2025-05-27 cs.DS
Hyperdimensional Hashing: A Robust and Efficient Dynamic Hash Table
大多数云服务和分布式应用程序都依赖于哈希算法,这些算法允许动态扩展健壮且高效的哈希表。例如AWS、Google Cloud和BitTorrent。一致性哈希和会合哈希是在调整哈希表大小时最小化键重新映射的算法。虽然大规模云部署中的内存错误很常见,但这两种算法都不能同时提供效率和鲁棒性。超维计算是一种新兴的计算模型,具有固有的效率,鲁棒性,非常适合矢量或硬件加速。我们提出了超维(HD)哈希,并表明它具有部署在大型系统中的效率。此外,现实水平的内存错误会导致一致性哈希超过20%的不匹配,而HD哈希则不受影响。
2022-05-16 cs.DC cs.DS cs.NI
ShockHash: Near Optimal-Space Minimal Perfect Hashing Beyond Brute-Force
本文提出 ShockHash,利用高度过载布谷鸟哈希表与伪森林结构,以近最优空间和远低于暴力搜索的代价构造 MPHF,并在 RecSplit 等框架中实现显著加速。
2024-06-05 cs.DS
ShockHash: Towards Optimal-Space Minimal Perfect Hashing Beyond Brute-Force
ShockHash 利用布谷鸟哈希与伪森林图,将最小完美哈希的种子尝试次数从 e^n 降至 (e/2)^n,空间接近理论下界,比暴力搜索快近 2^n 倍。
2023-11-13 cs.DS
Constructing Minimal Perfect Hash Functions Using SAT Technology
最小完美散列函数(MPHF)用于提供对大型字典(键值对集)值的有效访问。发现用于构建MPHF的新算法是一个活跃的研究领域,特别是从存储效率的角度来看。MPHF的信息理论限制是1/(ln 2)或每个密钥大约1.44比特。目前最好的实用算法范围在每个密钥2到4位之间。在这篇文章中,我们提出了两个基于SAT的MPHF结构。我们的第一个建设产生MPHF附近的信息理论的限制。对于这种构造,当前最先进的SAT求解器可以处理字典包含多达40个元素的情况,从而优于现有的(蛮力)方法。我们的第二个构造使用XOR-SAT滤波器来实现每个密钥约1.83位的长期存储的实用方法。
2019-11-22 cs.DS cs.LO
HashMem: PIM-based Hashmap Accelerator
针对哈希表因数据集增大导致片外内存访问昂贵的问题,提出基于PIM的HashMem架构,利用子阵列并发访问与DRAM带宽加速桶遍历,相比标准实现最高取得49.1倍加速。
2023-06-30 cs.AR cs.DS
Bottom-k and Priority Sampling, Set Similarity and Subset Sums with Minimal Independence
我们考虑对集合X进行底部k采样,根据给定的哈希函数h,挑选由k个最小元素组成的样本S_k(X)。利用该样本,我们可以估计任何子集Y的相对大小f= |Y| / |X|为|S_k(X)与Y相交|/k。一个标准的应用是估计Jaccard相似性f=| A互联B|/|A工会B|在A和B之间。给定来自A和B的底k个样本,我们构造它们的并集的底k个样本为S_k(A union B)=S_k(S_k(A)union S_k(B)),然后相似度估计为|S_k(A并B)相交S_k(A)相交S_k(B)|/k。我们在这里表明,即使散列函数仅是2-独立的,预期相对误差也是O(1/sqrt(fk))。对于fk=Omega(1),这在真正随机散列的预期相对误差的恒定因子内。为了比较,考虑kxmin方式的经典方法,其中我们使用k个散列独立函数h_1,.,h_k,存储每个散列函数的最小元素。对于kxmin,存在具有恒定独立性的至少恒定的偏差,并且它不会随着k的增大而减小。最近,Feigenblat等人表明,如果哈希函数是8-独立的并且k足够大,则bottom-k可以避免偏差。对于任意k,我们得到2-独立。我们的结果是基于一个简单的联合边界,将散列方案的通用浓度边界转移到底部k样本,例如,得到了具有较高独立性的较强概率误差界。对于加权集,我们考虑优先级采样,它有效地适应具体的输入权重,例如,从厚尾输入中获益匪浅。这…
2013-06-11 cs.DS
FlipHash: A Constant-Time Consistent Range-Hashing Algorithm
本文提出FlipHash,一种常数时间、低内存的一致性范围哈希算法,在资源顺序索引场景下保证均匀分布和最小重映射,并在理论与实验中优于对数复杂度的Jump Consistent Hash。
2024-02-27 cs.DS
Adaptive Hashing: Faster Hash Functions with Fewer Collisions
Google DeepMind(谷歌DeepMind)
本文提出了一种自适应哈希方法,通过在线调整哈希函数以减少碰撞并提高速度。
2026-02-05 cs.DS
Succinct and Fast Tiny Pointer Hash Tables
Cornell University(康奈尔大学);Carnegie Mellon University(卡内基梅隆大学);Cornell Tech(康奈尔科技)
本文提出微型指针哈希表(TPHT),含链式、扁平两种互补设计,在保持顶尖性能的同时大幅降低内存使用,推进了延迟-空间帕累托前沿。
2026-08-03 cs.DS
Binary Pebbling Algorithms for In-Place Reversal of One-Way Hash Chains
我们提出了最佳的二进制卵石算法的单向哈希链的原地反转(向后遍历)。对于长度为$2^k$的散列链,在每个输出轮中执行的散列的数量不超过$\lceil k/2 \rceil$,而整个过程中存储的散列值(pebble)的数量至多为$k$。我们介绍了一个框架,严格比较显式二进制卵石算法,包括简单的速度-1二进制卵石,雅各布森的速度-2二进制卵石,我们的最佳二进制卵石算法。明确的时间表描述了每个pebble在每一轮中需要执行多少次哈希。最优调度本质上是唯一的,并呈现出一个很好的递归结构,这允许完全优化的实现,可以很容易地部署。特别是,我们开发了第一个具有最小存储开销(本质上,只存储哈希值)的就地实现,以及具有最小计算开销的快速实现。
2018-02-11 cs.CR cs.DS
Perfect Hashing for Data Management Applications
完美散列函数可以潜在地用于压缩与各种数据管理任务相关的数据。尽管人们对如何构造好的完美哈希函数做了大量的工作,但现有的最小完美哈希方法在理论和实践上都存在一定的差距。一方面,对于大型密钥集,存在良好的理论结果,但没有实验证明的实用性。另一方面,理论上分析的时间和空间使用算法假设真正的随机哈希函数是免费的,这是一个不切实际的假设。在本文中,我们试图弥合理论与实践之间的差距,使用一些技术从文献中获得一个新的计划,在理论上是很好的理解,并在同一时间实现了一个数量级的性能增长相比,以前的“实用”的方法。这种改进来自一个新的,理论上最佳的完美的散列方案,大大简化了以前的方法相结合,我们的算法是为了充分利用存储层次结构的事实。我们证明了我们的算法的可扩展性,通过考虑一组超过10亿的URL从万维网的平均长度为64,我们构建了一个最小的完美的哈希函数在一个商品PC在一个多小时。我们的方案产生最小的完美散列函数,每个密钥使用略多于3位。对于在范围$\{0,...,2n-1\}$中的完美散列函数,空间使用下降到每键刚好超过2位(即,比表示密钥的最佳值多一位)。这明显低于先前对于非常大的$n$值所实现的。
2007-02-27 cs.DB cs.DS
Combined Search and Encoding for Seeds, with an Application to Minimal Perfect Hashing
本文提出一种种子组合搜索与编码算法,使成功种子序列的熵比传统方法减少 Ω(n) 比特,并基于此构造出空间需求 (1+ε)OPT、构造时间 O(n/ε) 的最小完美哈希函数,在 ε ≤ 3% 时构造吞吐量超越现有方法两个数量级以上。
2025-07-02 cs.DS
Dynamic Space Efficient Hashing
我们考虑空间有效的哈希表,它可以动态地增长和收缩,并且总是高度空间有效的,即,它们的空间消耗总是接近下限,即使在增长时并且在考虑仅临时需要的存储时也是如此。传统上使用的哈希表都不具有此属性。我们展示了如何已知的方法,如线性探测和桶布谷鸟散列可以适应这种情况下,将它们细分为许多子表或使用虚拟内存超量。然而,这些相当直接的解决方案由于以小增量频繁重新分配而遭受缓慢的摊销插入时间。我们的主要结果是DySECT({ \bf Dy} dynamic { \bf S}pace { \bf E} efficient { \bf C}uckoo { \bf T}able),它避免了这些问题。DySECT由许多子表组成,这些子表的大小会增加一倍。由此产生的子表大小的不均匀性被桶布谷鸟散列中可用的灵活性所均衡,其中每个元素可以进入多个桶,每个桶包含多个单元格。实验结果表明,DySECT系统工作良好,负载率可达98%.性能比次佳解决方案高出2.7倍。
2017-05-02 cs.DS
Hash sort: A linear time complexity multiple-dimensional sort algorithm
排序和散列是计算机科学中两个完全不同的概念,并且相互排斥。哈希是一种使用数据作为关键字来映射到内存中的位置的搜索方法,用于快速存储和检索。排序是将数据从随机排列组织成有序排列的过程,并且是在各种应用中频繁执行的常见活动。几乎所有传统的排序算法都是通过比较来工作的,并且在这样做的时候,算法时间复杂度有一个线性最大下限。排序算法的理论时间复杂度的任何改进都可能导致实现性能的整体更大增益。对于使用排序算法的应用程序来说,算法性能的提高会带来更大的速度提高。这种排序算法需要使用一种替代方法来对数据进行排序,而不是比较,以超过算法性能上的线性时间复杂度边界。散列排序是一种通用的基于散列的非比较排序算法,它具有一些传统排序算法所没有的有趣特性。散列排序的性能逐渐优于最快的传统排序算法快速排序。散列排序算法具有线性时间复杂度因子--即使在最坏的情况下也是如此。散列排序为进一步的工作和研究其他排序方法开辟了一个领域。
2004-08-17 cs.DS
RECIPE : Converting Concurrent DRAM Indexes to Persistent-Memory Indexes
我们提出了食谱,一个原则性的方法,用于将并发DRAM索引转换为持久性内存(PM)的崩溃一致性索引。Recipe背后的主要观点是,当PM中使用相同的索引时,可以通过对崩溃一致性的微小更改来转换由某类并发内存索引提供的隔离。我们提出了一组条件,使这类DRAM索引的识别,并采取行动将每个索引转换为持久性。基于这些条件和转换动作,我们将基于B+树、尝试、基数树和哈希表的五种不同的DRAM索引修改为它们的崩溃一致性PM对应物。这种转换所涉及的工作量很小,只需要30-200行代码。我们评估了英特尔DC持久内存上转换后的PM索引,发现它们在多线程工作负载中的性能最高可达手工制作的最先进PM索引的5.2倍。例如,我们构建了P-CLHT,这是CLHT哈希表的PM实现,只修改了30个字节。当运行YCSB工作负载时,P-CLHT的性能比最先进的PM哈希表Cacheline-Conscious Extendible Hashing(CCEH)高2.4倍。
2019-11-08 cs.DB cs.DC cs.DS
MultiTable: A Faster Hash Table at any Physical Load Factor up to and Including One
提出多表哈希表,在任意负载因子下性能优于 hashbrown,吞吐量提升至2.1倍,内存节省最多22%,且无需重新哈希即可增长。
2026-10-01 cs.CR cs.DS math.CO
MementoHash: A Stateful, Minimal Memory, Best Performing Consistent Hash Algorithm
本文提出 MementoHash 一致性哈希算法,无需预设集群容量且能处理随机故障,在常规场景下实现最优查找性能与最小内存占用,优于 AnchorHash 和 DxHash。
2024-02-27 cs.DC cs.DS cs.NI
Prefix Trees Improve Memory Consumption in Large-Scale Continuous-Time Stochastic Models
Utah State University(犹他州立大学);SRI International(国际人工智能研究所);University of Colorado Boulder(科罗拉多大学博尔德分校)
本文提出使用前缀树替代哈希表以优化大规模连续时间马尔可夫链模型的内存使用,通过理论分析和实验验证其有效性。
2025-12-19 cs.DS cs.FL
Fast Consistent Hashing in Constant Time
提出一种常数时间查找的幂一致性哈希算法,通过两个辅助哈希函数实现均匀分布与最小键重映射,优于对数时间算法。
2023-12-28 cs.DC cs.DS
Chrisimos: A useful Proof-of-Work for finding Minimal Dominating Set of a graph
本文提出Chrisimos,一种有用的工作量证明,要求矿工寻找图的最小支配集,并提出新链选择规则确保安全,实现去中心化求解器。
2023-09-13 cs.CR cs.DS
Invertible Bloom Lookup Tables with Less Memory and Randomness
针对现有IBLTs空间与随机性需求高的问题,提出新构造以O(n + log(1/δ)loglog(1/δ))空间和O(log(log(n)/δ))阶独立哈希函数实现低失败概率,应用于加密压缩问题获渐近更优压缩率。
2024-11-26 cs.CR cs.DS
Fast and Lean Immutable Multi-Maps on the JVM based on Heterogeneous Hash-Array Mapped Tries
不可变多映射是一种多对多线程友好的映射数据结构,具有预期的快速插入和查找操作。这种数据结构用于处理图形或多对多关系的应用程序,如在面向对象系统的静态分析中所应用的。当处理这样的大数据集时,数据结构编码本身的存储器开销是存储器使用瓶颈。出于重用和类型安全的考虑,Java、Scala和Clojure的库通常通过将集合嵌套为带有trie映射键的值来实现不可变的多重映射。像这样,根据我们的测量,每个存储条目的稀疏多映射的预期字节开销总计约为65 B,这使得在JVM上进行有效计算变得不可行。在本文中,我们提出了一个通用的框架,哈希数组映射的Tries在JVM上,可以存储类型异构的关键字和值:异构哈希数组映射的Trie(HHAMT)。在其他应用中,这允许通过(a)不为空值集保留空间以及(b)内联单例集的值同时维护(c)类型安全API来实现高效的多映射编码。我们详细介绍了必要的编码和优化,以减轻存储和检索异构数据在哈希树的开销。此外,我们专门针对多重映射的应用程序评估HHAMT,将其与Java,Scala和Clojure中最先进的多重映射编码进行比较。我们隔离使用微基准测试的关键差异,并验证了在静态分析的真实世界的情况下得出的结论。新的编码将每个键值的存储开销降低到30 B:2倍的改进。通过对原始值的额外内联,它达到了4倍的改进。
2016-08-03 cs.DS cs.PL
DxHash: A Scalable Consistent Hash Based on the Pseudo-Random Sequence
本文提出基于伪随机序列的可扩展一致性哈希算法DxHash及加权变体,在负载均衡、最小扰动等六项指标上全面优于现有方案,百万节点集群50%故障率下仍达每秒1330万次查询。
2023-11-18 cs.DS cs.NI
Optimal compression of hash-origin prefix trees
对某些数据库元素的哈希值进行操作是一个常见的问题。在本文中,将分析这样的一般任务的信息内容,以及如何实际上接近这样发现的下限。区分元素的最小前缀树结果是每个元素仅需要大约2.77544比特,而标准方法使用的是几倍多。在确定在数据库内部工作的同时,可扩展性的成本可以进一步降低到每个元素约2.33275位。增加节点的最小深度以减少误报概率导致与这种随机树的平均深度的简单关系,其比完美二叉树的lg(n)渐近地大约1.33275比特。这种渐近情况也可以看作是一种对n个大的无序数进行最佳编码的方法-节省lg(n!)关于它们的排序的信息位,其可以是所包含的信息的主要部分。这种能力本身允许将存储器需求减少到甚至是布隆过滤器中对于相同的误报概率所需的大约0.693。
2012-07-08 cs.DB cs.DS cs.IT