Fast Concurrent Cuckoo Kick-Out Eviction Schemes for High-Density Tables
Cuckoo hashing保证了恒定时间的查找,而不管表的密度如何,这使得它成为高密度表的可行候选者。然而,Cuckoo hashing插入在高表密度下表现不佳。在本文中,我们通过引入新的踢出驱逐算法来缓解这个问题。实验上,我们的算法减少了高达10倍的因素,每次插入高密度表查看箱的数量。我们还介绍了一个乐观的并发方案,事务多作家布谷鸟哈希表(不使用硬件事务内存)。对于轻删除工作负载,我们的kick-out算法避免了插入之间的所有竞争,并显着降低了事务中止频率。使用称为声明标志的新同步机制,将此结果扩展到任意工作负载。
2016-05-17 cs.DC cs.DS
Faster Concurrent Range Queries with Contention Adapting Search Trees Using Immutable Data
由于多核计算机、数据处理平台和内存数据库的兴起,对具有可线性化范围查询支持的可伸缩并发有序集数据结构的需求正在增加。本文提出了一种新的支持线性化范围查询的并发有序集。新的数据结构基于竞争自适应搜索树和不可变的数据结构。实验结果表明,新的数据结构是三倍的速度相比,相关的数据结构。由于数据结构能够使其不可变部分的大小适应争用级别和范围查询的大小,因此该数据结构具有良好的伸缩性。
2017-09-03 cs.DC cs.DS cs.PF
Sketch-Flip-Merge: Mergeable Sketches for Private Distinct Counting
数据草图是不同计数的关键工具,使多集能够由紧凑的摘要表示,允许快速的基数估计。因为草图可以被合并以汇总多集联合,所以它们是数据仓库中的基本构建块。虽然存在许多用于基数估计的实用草图,但是没有一个在合并时提供隐私。我们提出了第一个实用的基数草图,同时可合并,差分私人(DP),并具有较低的经验误差。这些介绍了一种新的随机算法执行逻辑运算的噪音位,一个严密的隐私分析,并证明最佳的估计。我们的草图在模拟和现实数据中大大优于现有的理论解决方案。
2023-02-04 cs.CR cs.DS stat.CO
Concurrent Hash Tables: Fast and General?(!)
并发哈希表是最重要的并发数据结构之一,有着广泛的应用。由于哈希表访问可以支配整个应用程序的执行时间,因此我们需要实现良好的加速。不幸的是,目前可用的并发哈希库与这一要求相距甚远,特别是当某些元素发生争用时。我们的出发点,更好地执行数据结构是一个快速和简单的无锁并发哈希表基于线性探测,仅限于字大小的键值类型,不支持动态大小的适应。我们解释了如何解除这些限制,在一个可证明的可扩展的方式,并证明了动态增长的性能开销相媲美的顺序哈希表相同的泛化。我们进行了广泛的实验比较我们的实现与六个最广泛使用的并发哈希表的性能。我们的是相当快,比最好的算法具有类似的限制和数量级比最好的更一般的表快。在某些极端情况下,差异甚至接近四个数量级。
2016-09-06 cs.DS
Differentially Private Linear Sketches: Efficient Implementations and Applications
线性草图已被广泛用于处理快速数据流,它们可以用于准确地回答频率估计,近似前K项,并总结数据分布。当数据是敏感的,它是可取的,以保护私人信息,同时提供有用的结果与理论界限的线性草图提供隐私保证。我们表明,线性草图可以确保隐私,并保持其独特的属性,在初始化时添加少量的噪音。从不同的私有线性草图中,我们展示了旋转栅门模型中最先进的分位数草图也可以是私有的并保持高性能。实验进一步表明,我们提出的差异私人草图是定量和定性相似的无噪声草图具有高利用率的合成和真实的数据集。
2022-10-14 cs.DB cs.DS cs.NI
DDSketch: A fast and fully-mergeable quantile sketch with relative-error guarantees
对于大型分布式数据流,可以轻松地维护诸如均值和方差之类的汇总统计量,但是顺序统计量(即,样本分位数)只能近似地概括。有大量关于维护分位数草图的文献,其中重点是在使用很少内存的情况下限制草图的秩误差。不幸的是,秩误差保证并不排除任意大的相对误差,这在实践中经常发生在数据严重偏斜的情况下。考虑到当代大规模系统的分布式性质,分位数草图的另一个关键属性是可合并性,即,几个组合的草图必须与相同数据的单个草图一样精确。我们提出了第一个完全可合并的,相对错误的分位数草图算法与正式的保证。该草图非常快速和准确,目前正被Datadog广泛使用。
2019-08-28 cs.DB cs.DS
MultiQueues: Simpler, Faster, and Better Relaxed Concurrent Priority Queues
具有并行访问的优先级队列是一种有吸引力的数据结构,用于优先级在线调度、离散事件仿真或分支定界等应用。然而,一个经典的优先级队列构成了严重的瓶颈,在这种情况下,导致非常小的吞吐量。因此,人们对具有稍微宽松语义的并发优先级队列非常感兴趣,其中删除的元素只需要接近最小值。在本文中,我们提出了一个非常简单的方法,基于多个顺序优先级队列。它的性能优于以前更复杂的数据结构,同时提高了返回元素的质量。
2014-11-05 cs.DS
Fast Nonblocking Persistence for Concurrent Data Structures
我们提出了一个完全无锁的变体,最近的蒙太奇系统的持久性数据结构。我们的变体nbMontage为几乎所有非阻塞并发结构添加了持久性,而不会引入任何类型的显著开销或阻塞。像它的前身一样,nbMontage是缓冲持久线性化的:它保证在崩溃后恢复的状态将代表崩溃前执行的一致前缀。与其前身不同,nbMontage确保持久性边界的无等待进展,从而限制可能在崩溃时丢失的最近更新的数量,并允许线程强制更新边界(即,以执行同步操作)而没有阻塞的风险。作为一个额外的好处,我们的无等待同步所采用的帮助机制大大减少了它的延迟。非阻塞队列、跳表、树和哈希表的性能结果可与文献中的自定义数据结构相媲美--比以前的通用系统快得多,并且通常在DRAM中放置的等效非持久性结构的50%以内。
2021-08-09 cs.DC cs.DS cs.PF
Engineering MultiQueues: Fast Relaxed Concurrent Priority Queues
具有并行访问的优先级队列对于诸如优先级在线调度、离散事件仿真或贪心算法之类的应用是一种有吸引力的数据结构。然而,一个经典的优先级队列构成了严重的瓶颈,在这种情况下,导致非常小的吞吐量。因此,人们对具有宽松语义的并发优先级队列产生了极大的兴趣。我们调查的互补质量标准排名误差(如何接近删除的元素到全局最小值)和延迟(对于每个元素x,有多少元素具有较低的优先级被删除之前x)。在本文中,我们介绍了多个顺序优先级队列的基础上放松优先级队列作为一种自然的方法。通过在顺序队列上使用三种正交的并行操作方式,进一步增强了它们自然的高理论可扩展性。实验表明,Multiplexes提出了一个非常好的性能质量的权衡,并大大优于竞争的方法,在这些方面中的至少一个。我们采用了一个看似矛盾的技术“无等待锁定”,可能是更普遍的兴趣,顺序数据结构转换为宽松的并发数据结构。
2021-07-22 cs.DS
Engineering MultiQueues: Fast Relaxed Concurrent Priority Queues
针对并行环境中经典优先队列的吞吐量瓶颈问题,提出基于多内部顺序队列的MultiQueue松弛并发优先队列方法,通过缓冲、批量操作和缓存优化提升可扩展性,实验表明其在多基准测试中优于竞品,且可灵活平衡吞吐量与质量。
2025-04-15 cs.DC cs.DS cs.PF
Fast Concurrent Primitives Despite Contention
Stony Brook University(石溪大学);Carnegie Mellon University(卡内基梅隆大学);New York University(纽约大学);Tsinghua University(清华大学);VMware Research(VMware研究);Tel Aviv University(特拉维夫大学)
本文研究了在高竞争环境下构建并发对象的方法,提出了处理竞争的算法,并展示了在松散同步随机调度器下,读写寄存器和CAS寄存器的延迟为O(logP)。
2026-07-13 cs.DC cs.DS
Concurrent Size
数据结构的大小(即,其中元素的数量)是数据集的广泛使用的属性。然而,对于并发程序,有效地获得正确的大小是不平凡的。事实上,文献没有提供一种机制来获得正确的(可线性化的)并发数据集的大小而不诉诸低效的解决方案,如采取数据结构的完整快照来计数元素,或在所有更新和大小操作中获取一个全局锁。本文提出了一种在集合和字典中添加并发线性化大小操作的方法,其性能开销相对较低。从理论上讲,建议的大小操作是等待免费的渐近复杂度线性线程的数量(独立的数据结构的大小)。实际上,我们通过向Java中的各种并发数据结构($-$、跳表、哈希表和树)添加大小来评估性能开销。所提出的可线性化大小操作与获取快照的现有选项相比执行快了数量级,同时在原始数据结构的操作上引起$1\%-20\%$的吞吐量损失。
2022-09-15 cs.DC cs.DS
Skip Hash: A Fast Ordered Map Via Software Transactional Memory
针对仅用锁和比较并交换操作难以同时保证有序映射范围查询语义与并发性能的问题,本文结合跳表与哈希映射,借助STM提出skip hash有序映射,实现多数操作O(1)开销与快速可线性化范围查询,性能普遍优于现有最优方案。
2024-10-09 cs.DC cs.DS
Chunk List: Concurrent Data Structures
分块数据显然不是什么新概念;然而,我从未发现任何使用分块作为其实现基础的数据结构。我认为,通过使用分块和并发,我可以创建一个非常快的运行时,对于特定的方法,如搜索和/或排序。通过利用分块和并发的优势,我提出了块列表--一种基于列表的动态数据结构,它将大量数据分成特定大小的块,每个块都应该能够通过在单独的线程上搜索每个块来同时搜索。由于将这个概念实现到它自己的类中,我能够创建一些几乎始终比常规ArrayList快20 - 300倍的结果。但是,即使在实现之后,速度也应该是一个特别的问题,用户可以修改块的大小,并根据存储的数据量对使用较小或较大块的速度进行基准测试。
2022-02-17 cs.DB cs.DC cs.DS
Concurrent Expandable AMQs on the Basis of Quotient Filters
商过滤器是高速缓存高效AMQ数据结构。根据过滤器的填充程度,大多数插入和查询只需要访问一个或两个连续的缓存行。这使得商过滤器比更常用的布隆过滤器更快,后者会导致多个缓存未命中。然而,并发布隆过滤器易于实现,并且可以无锁实现,而并发商过滤器则不那么简单。通常,并发商过滤器通过使用外部锁数组来工作,每个锁保护表的一个区域。否则,此阵列每次操作都会导致一次额外的缓存未命中。我们提出了一个新的锁定方案,没有内存开销。使用这种新的锁定方案,我们实现了1.8倍的加速比与常见的外部锁定方案。商过滤器优于布隆过滤器的另一个优点是,商过滤器可以在其变满时改变其大小。我们实现这种增长技术,我们的并发商过滤器,并适应它的方式,允许无限增长,同时保持有界的误报率。我们把得到的数据结构称为完全可扩展的商过滤器。它的设计类似于可扩展的布隆过滤器,但我们利用一些概念固有的商过滤器,以提高空间效率和查询速度。我们还提出了商过滤器的变体,旨在减少状态位的数量(2-状态位变体)或简化并发实现(线性探测商过滤器)。线性探测商过滤器甚至导致无锁并发过滤器实现。这是特别有趣的,因为我们表明,任何无锁实现的另一个常见的商过滤器的变体将产生显着的开销,在额外的数据字段或多个访问数据的形式。
2019-11-19 cs.DS
Jiffy: A Fast, Memory Efficient, Wait-Free Multi-Producers Single-Consumer Queue
在诸如分片数据处理系统、分片存储器内键值存储、数据流编程和负载共享应用之类的应用中,多个并发数据生产者将请求馈送到同一数据消费者中。这可以通过并发队列自然地实现,其中每个消费者从其专用队列中提取其任务。对于可伸缩性,无等待队列通常优于基于锁的结构。绝大多数无等待队列实现,甚至无锁队列实现,都支持多生产者多消费者模型。然而,这是有代价的,因为实现无等待的多生产者多消费者队列需要利用复杂的助手数据结构。后者增加了这种队列的内存消耗,并限制了它们的性能和可伸缩性。另外,许多这样的设计采用(硬件)高速缓存不友好的存储器访问模式。在这项工作中,我们研究了实现无等待的多生产者单消费者队列。具体地说,我们提出了Jiffy,一个高效的节省内存的新颖的无等待的多生产者单消费者队列,并正式证明了它的正确性。然后,我们比较的性能和内存需求的Jiffy与其他国家的最先进的无锁和无等待队列。我们表明,Jiffy确实可以保持良好的性能,最多128个线程,提供高达50%的吞吐量比下一个最好的建设,我们相比,消耗的内存少90%。
2020-11-02 cs.DB cs.DC cs.DS
Improving \textit{Tug-of-War} sketch using Control-Variates method
IIT Mandi(曼迪印度理工学院);Chennai Mathematical Institute(钦奈数学研究所)
计算大数据的空间有效摘要(\textit{a.k.a. sketches})是流算法中的中心问题。这些草图用于在多个数据分析任务中回答\textit{post-hoc}查询。用于计算草图的算法通常需要快速、准确和空间效率。流算法框架中的一个基本问题是计算数据流的频率矩。包含$i$类型的$f_i$元素的序列的频率矩是数字$\mathbf{F}_k=\sum_{i=1}^n {f_i}^k,$,其中$i\in [n]$。这也被称为频率向量的$\ell_k$范数$(f_1, f_2, \ldots f_n).$另一个重要的问题是通过计算相应频率向量的内积来计算两个数据流之间的相似性。Alon,Matias和Szegedy~ \cite{AMS},\textit{a.k.a. Tug-of-war}(或AMS)sketch的开创性工作给出了用于计算频率矩和对应于数据流的两个频率向量之间的内积的随机次线性空间(和线性时间)算法。然而,这些估计值的方差通常往往很大。在这项工作中,我们专注于最小化这些估计的方差。我们使用的技术,从经典的控制变量方法~ \cite{Lavenberg},这是主要已知的方差减少在蒙特卡洛模拟,因此,我们能够获得显着的方差减少,在一个小的计算开销的成本。我们提出了一个理论分析,我们的建议,并补充它与支持实验合成以及现实世界的数据集。
2022-03-04 cs.DS cs.LG
Fast and Accurate Graph Stream Summarization
图流是连续的数据项序列,其中每个项指示一条边,包括其两个端点和边权重。它形成一个动态图,随流中的每个项目而变化。图流在网络安全、社交网络、云故障排除系统等领域发挥着重要作用。由于图流的巨大容量和高更新速度,传统的图存储数据结构,如邻接矩阵和邻接表已经不能满足需要。然而,图流摘要的现有技术,如CM sketches、gSketches、TCM和gMatrix,要么支持有限种类的查询,要么遭受查询结果的不良准确性。本文提出了一种新的图流草图(Graph Stream Sketch,简称GSS)来概括图流,它具有线性空间代价(O(|E|),E为图的边集)和常数更新时间复杂度(O(1)),支持对图流的各种查询,且错误可控.理论分析和实验结果都证实了该方案在时间/空间复杂度和查询结果精度方面的优越性。
2018-09-04 cs.DS
Fast Locality Sensitive Hashing with Theoretical Guarantee
Donghua University(东华大学)
本文提出 l2 范数下的 FastLSH,通过随机采样与随机投影将哈希复杂度由 O(n) 降至 O(m),并在保持可证明 LSH 性质的同时实现最高 80 倍加速。
2023-09-27 cs.DS cs.LG