Even faster sorting of (not only) integers
本文介绍了基于基数算法的最快并行排序器RADULS 2。它经过优化,可以利用现代多核CPU处理大量数据。主要创新包括:非常优化的算法,用于处理可能出现数十亿次的小数组(多达约100个记录),作为子问题处理,并改进了更大子数组的处理,更好地使用非临时内存存储。
2017-03-02 cs.DC cs.DS
EvoSort: A Genetic-Algorithm-Based Adaptive Parallel Sorting Framework for Large-Scale High Performance Computing
Michigan State University(密歇根州立大学)
EvoSort通过遗传算法实现自适应并行排序,有效提升大规模数据处理效率,实验显示其在处理10十亿元素时达到225倍加速。
2026-01-01 cs.DC
Parallel String Sample Sort
我们讨论如何字符串排序算法可以在现代多核共享内存机器上并行化。作为对原子对象的最佳顺序字符串排序算法和成功的并行排序算法的综合,我们提出了字符串样本排序。该算法有效地利用了存储层次结构,使用额外的字级并行,并在很大程度上避免了分支误预测。此外,我们并行化多键快速排序和基数排序的变体,这些变体在某些情况下也很有用。
2013-05-06 cs.DC cs.DS
Engineering Parallel String Sorting
我们讨论如何字符串排序算法可以在现代多核共享内存机器上并行化。作为最好的顺序字符串排序算法和原子对象的成功的并行排序算法的综合,我们首先提出了字符串样本排序。该算法有效地利用了存储层次结构,使用了额外的字级并行性,并在很大程度上避免了分支误预测。然后,我们专注于NUMA架构,并开发并行多路LCP合并和合并排序,以减少随机访问远程节点的内存访问的数量。此外,我们并行化多键快速排序和基数排序的变体,这些变体在某些情况下也很有用。五个当前的多核平台上的综合实验,然后报告和讨论。实验表明,我们的实现规模非常好的现实世界的输入和现代机器。
2014-03-09 cs.DC cs.DS
Fast multiplication by two's complement addition of numbers represented as a set of polynomial radix 2 indexes, stored as an integer list for massively parallel computation
本文提出了一种基于多项式基数2索引集合的快速乘法方法,通过二进制补码加法实现高效并行计算,克服了传统并行乘法的内存共享限制。
2025-11-27 cs.DC cs.DS cs.LG
Engineering In-place (Shared-memory) Sorting Algorithms
我们目前的排序算法,代表了最快的已知技术的输入大小,输入分布,数据类型,和机器的范围很广。速度优势的一部分是由于就地工作的特性。以前,就地特性通常意味着性能损失。我们的主要算法贡献是一个blockwise方法,就地数据分布,可证明是高速缓存效率。我们还并行化这种方法,考虑到动态负载均衡和内存局部性。我们的比较为基础的算法,就地超标量样本排序(IPS $^4$ o),结合了这种技术与无分支决策树。考虑到许多相同的元素的情况下,并通过动态适应的分布度,我们得到了一个非常强大的算法,优于最好的并行比较为基础的竞争对手的几乎三个因素。IPS $^4$ o在就地或非就地、并行或顺序设置中的性能也优于基于比较的最佳竞争产品。IPS $^4$ o在很多情况下甚至优于最好的整数排序算法。在其余的许多情况下(通常涉及近似均匀的输入分布,小键或顺序设置),我们的新就地基数排序器是最好的算法。在某种意义上,声称拥有“最好”的排序算法可以在许多论文中找到,但这些论文并不都是真的。因此,我们的结论是基于广泛的实验,涉及21个国家的最先进的排序代码,6个数据类型,10个输入分布,4台机器,4个内存分配策略,和输入大小变化超过7个数量级的交叉产品的很大一部分。这证实了我们的算法的强大性能,同时揭示了在相关出版物中报告的具体测量集之外的许多竞争对手的主要性能问题。
2021-02-03 cs.DC
Multithreaded Fine-Grained Asynchronous BSP for Integer Sorting with LCI and OpenMP
Advanced Micro Devices, Inc.(超威半导体公司)
针对BSP模型在非规则负载下的通信瓶颈,提出结合LCI和OpenMP的多线程细粒度异步BSP方法,通过细粒度零拷贝主动消息实现计算通信重叠,在NAS整数排序基准测试中显著优于传统同步MPI实现。
2026-05-25 cs.DC
Leyenda: An Adaptive, Hybrid Sorting Algorithm for Large Scale Data with Limited Memory
排序是现代数据管理系统的基本任务之一。随着磁盘I/O成为最受指责的性能瓶颈和更多计算密集型工作负载,我们注意到,在异构环境中,性能瓶颈可能因基础设施而异。因此,排序内核需要适应不断变化的硬件条件。在本文中,我们提出了Leyenda,一个混合的,并行的和高效的基数最高有效位(MSB)合并排序算法,利用本地线程级CPU缓存和高效的磁盘/内存I/O。Leyenda能够根据不同的I/O和处理条件有效地进行内部或外部分拣。我们使用Sort Benchmark的三种不同工作负载对Leyenda进行了基准测试,针对三种独特的用例,包括内部,部分内存和外部排序,我们发现Leyenda的性能超过GNU的并行内存快速/合并排序实现多达三倍。Leyenda还在ACM 2019 SIGMOD编程竞赛中排名第二,总体排名第四。
2019-09-17 cs.DB cs.DC cs.DS
Parallel Integer Sort: Theory and Practice
UC Riverside(加州大学河滨分校);University of Maryland(马里兰大学)
本文研究并行整数排序的理论与实践,提出理论高效且性能良好的新算法DovetailSort,解决现有算法中检测和利用重复键的难题。
2024-01-01 cs.DC cs.DS
A Performance Comparison of Sort and Scan Libraries for GPUs
排序和扫描是构造高度并行算法的两个基本原语。许多库现在提供了这些原语的GPU实现,但关于这些实现的性能的信息相对较少。我们对七个库进行了32位整数扫描和排序的基准测试,并通过32位整数键对32位值进行排序。我们发现,有一个很大的变化,性能之间的图书馆,没有一个图书馆既有最佳的性能和可移植性。
2016-01-13 cs.DC
A fast vectorized sorting implementation based on the ARM scalable vector extension (SVE)
开发人员实现其算法的方式以及这些实现在现代CPU上的行为方式由这些算法的设计和组织管理。向量化单元(SIMD)是为数不多的可以并且必须被显式控制的CPU部件之一。在HPC社区中,x86 CPU及其向量化指令集事实上是几十年来的标准。指令集的每一个新版本通常是向量长度的加倍,并伴随着新的操作。每一代人都在努力适应和改进以前的实现。ARM可扩展向量扩展(SVE)的发布从根本上改变了事情,原因有几个。首先,我们预计ARM处理器将在未来几年装备许多超级计算机。其次,SVE的接口在几个方面与x86扩展不同,因为它提供不同的指令,使用谓词来控制大多数操作,并且具有仅在执行时才知道的向量大小。因此,使用SVE为如何调整算法带来了新的挑战,包括那些已经在x86上进行了良好优化的算法。本文在快速排序和双调排序算法的基础上提出了一种混合排序算法。我们使用Bitonic排序来处理小分区/数组,并使用矢量化分区实现来划分分区。我们解释了如何使用谓词以及如何管理非静态向量大小。我们解释我们如何有效地实现排序内核。我们的方法只需要一个数组的O(log N)的递归调用在分区阶段,在顺序和并行的情况下。我们测试我们的方法在现代ARMv8.2上的性能,并通过对整数、双浮点数和整数的键/值对进行排序/分区来评估我们实现的不同层。我们的方法比GNUC ++排序算法平均快4倍。
2021-11-19 cs.DC
GPU Multisplit: an extended study of a parallel algorithm
Multissplit是一种非常有用的并行原语,它将其输入数据排列到连续的桶或箱中,其中将元素分类到桶中的函数由程序员提供。由于GPU上缺乏有效的多分割,程序员通常选择使用排序来实现多分割。一种方法是首先生成桶ID的辅助数组,然后基于它对输入数据进行排序。如果索引较小的桶具有较小值的键,则多分裂的另一种方法是直接对输入数据进行排序。这两种方法都是低效的,并且需要更多的工作:前者需要更昂贵的数据移动,而后者在每个桶中对元素进行排序时花费了不必要的努力。在这项工作中,我们提供了一个并行模型和多个实现的多分裂问题。我们主要关注的是少量(最多256个)桶的多分割。我们使用线程束同步编程模型,并强调线程束范围内的通信,以避免分支发散和减少内存使用。我们还对输入元素进行了分层重新排序,以更好地合并全局内存访问。在GeForce GTX 1080 GPU上,对于仅键(或键值)多拆分,我们可以达到18.93 Gkeys/s(或11.68 Gpairs/s)的峰值吞吐量。最后,我们演示了如何multisplit可以用作基数排序的构建块。在我们的基于多拆分的排序实现中,我们实现了与最快的GPU排序例程相当的性能,对32位键(和键值对)进行排序,吞吐量为3.0 G keys/s(和2.1 Gpair/s)。
2017-05-19 cs.DC
Sorting and Permuting without Bank Conflicts on GPUs
在本文中,我们看看在图形处理单元(GPU)的共享内存中没有任何银行冲突的设计算法的复杂性。给定$n$、$w$处理器和$w$存储体大小的输入,我们研究了三个基本问题:排序、置换和$w$路划分(定义为对包含$[w]$中每个整数的$n/w$副本的输入进行排序).我们解决了最佳的$O(\frac{n}{w} \log n)$时间排序。当使用$n \ge w^2$时,我们在$O(n/w)$时间内最优地解决了划分问题。我们还提出了一个一般的解决方案的分区问题,需要$O(\frac{n}{w} \log^3_{n/w} w)$的时间。最后,我们使用随机算法在$O(\frac{n}{w} \log\log\log_{n/w} n)$时间内解决置换问题。我们的研究结果表明,当工作与银行的内存架构,有这些问题之间的分离和排列和分区问题是不容易的简单的并行扫描。
2015-07-06 cs.DC cs.DS
A New Modular Division Algorithm and Applications
提出了一种新的模除法$u/v\bmod β^s$的并行算法,其中$u,\; v,\; β$和$s$均为正整数$(β\ge 2)$ .该算法结合了经典的加法移位乘法方案和一种新的传播进位技术。这种“纸笔逆”({ \em PPI})算法更适合于以“最低有效位优先”流水线方式的脉动并行化。虽然它在性能(时间复杂度、工作量、效率)方面与Jebelean的模除法算法~ \cite{jeb2}相当,但当输入量较大时,{ \em PPI}算法的线性并行化优于后者。{ \em PPI}算法的并行化版本导致了各种应用,例如两个长整数的精确除法和数字模运算(dmod)。它也适用于有理数的周期的确定以及它们在任何基$β\ge 2$中的$p$-进展开。
2013-12-09 cs.DC cs.DM
Parallel Scan on Ascend AI Accelerators
Huawei Zurich Research Center(华为苏黎世研究中心)
本文提出基于Ascend AI加速器的并行扫描算法,利用立方单元和向量单元提升性能,实现单核和多核加速,应用于AI工作负载中的排序、张量掩码和top-k采样。
2026-01-02 cs.DC cs.DS
Vectorized and performance-portable Quicksort
最近的工作表明,使用向量CPU指令的快速排序的实现可以在广泛使用的非向量化算法。然而,这些实现通常是单线程的,针对特定的指令集实现,并且限于一小组键类型。我们解除了这三个限制:我们提出的“vqsort”算法集成到最先进的并行排序器“ips 4 o”中,几何平均加速比为1.59。相同的实现在四个平台上的七个指令集(包括SVE和RISC-VV)上工作。它还支持浮点和16-128位整数键。据我们所知,这是CPU上最快的非元组键排序,比标准库中实现的排序算法快20倍。本文重点介绍了实际的工程方面,使速度和可移植性,我们还没有看到一个快速排序实现证明。此外,我们还引入了紧凑和无转置的排序网络,用于小数组的寄存器内排序,以及一种对对抗性输入具有鲁棒性的向量友好枢轴采样策略。
2022-05-12 cs.DC cs.IR
Work-stealing for mixed-mode parallelism by deterministic team-building
我们展示了如何扩展经典的工作窃取处理数据并行任务,可以要求任何数量的线程r >= 1的执行。我们详细解释了这样介绍的想法,工作盗窃与确定性的团队建设,在一个自然的方式概括了经典的工作盗窃。给出了广义工作窃取算法的一个C++原型实现,并对其进行了简要描述。在此基础上,一个严重的,众所周知的竞争者最好的并行快速排序算法已经实现,这自然依赖于任务和数据并行。例如,对2^27-1随机生成的整数进行排序,我们可以在32核Intel Nehalem EX系统上将速度从5.1提高到8.7,始终优于经过调优的任务并行Cilk++系统。
2010-12-22 cs.DC
Improved Parallel Construction of Wavelet Trees and Rank/Select Structures
现有的并行小波树构造算法的工作复杂度为$O(n\logσ)$。本文提出了该问题的并行算法,改进了工作复杂度。我们的第一个算法是基于并行整数排序,并具有$O(n\log\log n\lceil\logσ/\sqrt{\log n\log\log n}\rceil)$工作和多对数深度,或$O(n\lceil\logσ/\sqrt{\log n}\rceil)$工作和次线性深度。我们还描述了另一种算法,具有$O(n\lceil\logσ/\sqrt{\log n} \rceil)$工作和$O(σ+\log n)$深度。然后,我们将展示如何使用类似的想法来构造小波树(任意形状的二叉树和多叉树)的变种,以及小波矩阵的并行与较低的工作复杂度比以前的算法。最后,我们表明,二进制序列和多进制序列,这是存储在小波树节点上的秩和选择结构,可以并行构造改进的工作范围,匹配现有的最好的顺序算法的秩和选择结构的构造。
2020-01-16 cs.DC
Encoding Schemes for Parallel In-Place Algorithms
本文提出利用输入底层结构获取更多比特的通用编码技术,为合并有序序列和随机打乱序列设计了工作高效且跨度多对数的并行原地算法,并展示了其在整数排序中的应用及合并算法的实际实现。
2025-03-10 cs.DC cs.DS
Parallel Index-Based Structural Graph Clustering and Its Approximation
SCAN(Structural Clustering Algorithm for Networks)是一种研究得很好、应用广泛的图聚类算法。然而,对于大型图,顺序SCAN变体非常慢,并且并行SCAN变体不能在具有不同SCAN参数设置的查询之间有效地共享工作。由于SCAN的用户经常探索许多参数设置来找到好的聚类,因此值得预先计算一个索引来加速查询。本文在最近提出的一种顺序算法GS*-Index的基础上,提出了一种实用的、可证明有效的基于索引的并行SCAN算法。我们的并行算法通过使用整数排序改进了顺序算法的渐近工作。它也是高度并行的,实现了索引构建和聚类查询的对数跨度(并行时间)。此外,我们应用局部敏感哈希(LSH)设计一种新的近似SCAN算法,并证明其聚类行为的保证。我们提出了一个实验评估我们的算法在大型现实世界的图形。在具有双向超线程的48核机器上,我们的并行索引构造比GS*-Index构造实现了50- 151 $\times$的加速。事实上,即使在单线程上,我们的索引构造算法也比GS*-Index快。我们的并行索引查询实现实现了5- 32 $\times$加速GS*-索引查询在一系列的SCAN参数值,我们的实现总是比ppSCAN,一个国家的最先进的并行SCAN算法。此外,我们的实验表明,应用LSH的结果在更快的索引建设,同时保持良好的聚类质量。
2021-03-30 cs.DB cs.DC cs.DS