Reliable Initialization of GPU-enabled Parallel Stochastic Simulations Using Mersenne Twister for Graphics Processors
并行随机模拟的发展趋势是利用越来越多的计算能力,它们现在也被开发用于通用图形处理单元(GP-GPU)。因此,他们需要可靠的随机源来满足他们的应用程序。我们提出了一个调查目前的伪随机数发生器(PRNG)在GPU上可用。我们特别关注最近刚刚发布的用于图形处理器(MTGP)的Mersenne Twister。我们的工作提供了经验检查的状态,旨在初始化该发生器的特定配置,以防止任何潜在的偏见引入的并行化的PRNG。
2015-01-30 cs.DC
A new kind of parallelism and its programming in the Explicitly Many-Processor Approach
处理器加速器是有效的,因为它们不(完全)根据存储程序计算机的原理工作。它们使用某种并行性,并且很难有效地对它们进行编程:通过顺序编程(并考虑)的并行架构。最近引入的EMPA架构使用了一种新的并行性,它提供了达到更高并行度的潜力,也提供了额外的可能性和挑战。它不仅提供同步和固有的并行化,而且还接管了操作系统通常提供的一些职责,甚至为最终用户打开了迄今为止关闭的机器指令。已经准备好了一个基于Y86内核的EMPA体系结构的工具链,包括一个汇编器和一个周期精确的模拟器。汇编器配备了一些元指令,允许使用EMPA架构的所有高级可能性,同时提供(几乎)传统风格的编程。周期精确模拟器能够执行EMPA感知的目标代码,是开发EMPA算法的良好工具
2016-08-24 cs.DC
QPOPSS: Query and Parallelism Optimized Space-Saving for Finding Frequent Stream Elements
QPOPSS 通过快速查询的 Space-Saving 实现与细粒度线程同步,解决了流数据频繁元素查找中并发更新与查询的算法保证问题,实现线性吞吐量扩展、最高准确率和极低内存占用。
2024-09-03 cs.DC
An efficient MPI/OpenMP parallelization of the Hartree-Fock method for the second generation of Intel Xeon Phi processor
使用现代的OpenMP线程技术将GAMESS程序中仅支持MPI的Hartree-Fock代码转换为混合MPI/OpenMP算法。两个单独的实现,不同的线程之间的共享或复制的关键数据结构被认为是,密度和福克矩阵。所有实现都在3,000个英特尔至强融核处理器的超级计算机上进行基准测试。每个处理器有64个内核,报告的扩展数最多可达192,000个内核。与传统代码相比,混合MPI/OpenMP实现将内存占用减少了约200倍。对于一系列分子系统大小,MPI/OpenMP代码的运行速度比原始代码快6倍。
2017-08-14 cs.DC
Semi-Federated Scheduling of Parallel Real-Time Tasks on Multiprocessors
联合调度是一种在多核上调度并行实时的【形】任务的有效方法,其中每个重任务在多个专用处理器上独占执行,而轻任务被视为连续的零星任务并共享剩余的处理器。然而,联合调度遭受资源浪费,因为具有处理能力要求$x + ε$(其中$x$是整数并且$0 < ε< 1$)的繁重任务需要$x + 1$专用处理器。在极端情况下,几乎一半的处理能力被浪费。本文提出了半联邦调度方法,该方法只允许$x$专用处理器处理具有处理能力要求的重任务$x + ε$,而将剩余的$ε$部分与轻任务一起调度到共享处理器上。随机生成的任务集的实验表明,半联邦调度方法显着优于不仅联邦调度,而且所有现有的方法调度并行实时的【形】任务在多核上。
2017-05-09 cs.DC
Leakage-Aware Reallocation for Periodic Real-Time Tasks on Multicore Processors
降低计算系统的能耗是一个越来越重要的问题。在本文中,我们考虑在多核处理器上基于分区的周期性实时的【形】任务的能量感知调度。调度利用动态电压缩放(DVS)和核心睡眠调度,以减少动态和泄漏的能量消耗。然而,如果核心状态切换的开销不可忽略,则该调度策略在能量效率方面的性能可能会降低。为了实现进一步的节能,我们扩展了静态任务调度与运行时任务重新分配。其基本思想是聚合内核之间的空闲时间,以便尽可能多的内核可以以降低整体能耗的方式进入睡眠状态。仿真结果表明,该方法比传统的泄漏感知DVS节能高达20%。
2010-11-13 cs.DC cs.OS
Efficient Multidimensional Data Redistribution for Resizable Parallel Computations
在集群超级计算机上运行的传统并行处理器仅支持静态调度,其中分配给应用程序的处理器数量在作业的执行过程中保持固定。这导致空闲系统资源的利用不足,从而降低了整体系统吞吐量。在我们的研究中,我们已经开发了一个原型框架称为ReSHAPE,它支持在分布式内存平台上执行的并行MPI应用程序的动态编译。ReSHAPE中的MySQL库支持释放和获取处理器,并有效地将应用程序状态重新分发到一组新的处理器。在本文中,我们推导出一个算法重新分配二维块循环数组从$P$到$Q$处理器,组织为2-D处理器网格。如果$P_r \leq Q_r$和$P_c \leq Q_c$,则该算法确保用于数据重新分配的无竞争通信调度。在其他情况下,该算法在通信调度上实现循环行和列移位,以最小化节点争用。
2007-06-14 cs.DC
Optimization and parallelization of B-spline based orbital evaluations in QMC on multi/many-core shared memory processors
基于B样条的轨道表示被广泛地用于固体的量子蒙特卡罗(QMC)模拟,历史上占据总运行时间的多达50%。对大型四维数组的随机访问使得有效利用现代CPU的高速缓存和宽向量单元变得具有挑战性。我们提出了多/众核共享内存处理器上的B样条评估的节点级优化。为了提高SIMD效率和带宽利用率,我们首先应用数据布局转换从数组的结构(SoA)。然后通过阻塞SoA对象,我们优化了缓存重用,并为一系列问题大小获得持续的吞吐量。我们在B样条轨道评估内核中实现了高效的嵌套线程,为实现QMC模拟的强大扩展铺平了道路。这些优化可移植到四种不同的高速缓存一致性架构上,在英特尔至强融核处理器7250 P(KNL)上可实现高达5.6倍的性能增强,在英特尔至强融核协处理器7120 P上可实现5.7倍的性能增强,在英特尔至强处理器E5 v4 CPU上可实现10倍的性能增强,在BlueGene/Q处理器上可实现9.5倍的性能增强。我们的嵌套线程实现在KNL上显示出接近理想的并行效率,最多可达16个线程。我们采用车顶性能分析来模拟我们的优化的影响。这项工作与我们目前优化其他QMC内核的努力相结合,导致miniQMC在KNL上的加速比超过4.5倍。
2016-11-08 cs.DC
Design and implementation of self-adaptable parallel algorithms for scientific computing on highly heterogeneous HPC platforms
传统的异构并行算法是为异构工作站集群设计的,它们基于这样的假设:处理器的绝对速度不取决于计算任务的大小。事实证明,这种假设对于现代和未来高度异构的HPC平台是不准确的。新的一类算法的基础上的功能性能模型(FPM),表示处理器的速度的函数的问题大小,最近已经提出。然而,这些算法不能采用自适应的应用程序,因为非常高的成本建设的功能性能模型。本文提出了一类新的并行算法的高度异构的HPC平台。与传统的基于FPM的算法一样,这些算法假设处理器的速度由速度函数而不是速度常数来表征。与传统的算法不同,它们不假设速度函数是给定的。相反,他们估计的速度函数的处理器在其执行过程中的不同大小的问题。这些算法不为每个处理器构建全速函数,而是构建和使用它们的部分估计,足以以给定的精度进行计算的最佳分布。在这些算法中,异构处理器之间的计算分布的低执行成本使它们适合于在自适应应用中就业。基于这种方法的并行矩阵乘法应用程序的实验进行本地和全球异构计算集群。结果表明,处理器之间的最佳矩阵分布的执行时间显着减少,由数量级,比优化的应用程序的总执行时间。
2011-09-14 cs.DC
Scheduling and Trade-off Analysis for Multi-Source Multi-Processor Systems with Divisible Loads
并行处理的主要目标是为用户提供比单处理器系统好得多的性能。作业的执行是有计划的,这需要一定的资源来满足一定的标准。可分负载是一种特殊但广泛使用的数据类型,它可以被划分为任意大小并独立地并行处理。它可以用于处理大量类似数据单元的应用程序。
2019-02-06 cs.DC
Parallel Algorithm for Time Series Discords Discovery on the Intel Xeon Phi Knights Landing Many-core Processor
Discord是对时间序列的异常子序列概念的一种细化。不一致发现的任务是应用在广泛的主题领域相关的时间序列:医学,经济学,气候建模等,在本文中,我们提出了一种新的并行算法不一致发现的英特尔至强融核骑士登陆(KNL)众核系统的情况下,当输入数据适合在主内存中。该算法利用独立计算时间序列的连续性之间的欧几里得距离的能力。通过OpenMP技术进行计算。该算法包括两个阶段,即预计算和发现。在预计算阶段,我们构建了辅助矩阵数据结构,以确保在英特尔至强融核KNL上进行高效的向量化计算。在发现阶段,算法根据上述结构发现不一致。实验评估证实了所开发的算法的高可扩展性。
2019-01-01 cs.DC
Heterogeneous Multi core processors for improving the efficiency of Market basket analysis algorithm in data mining
异构多核处理器可以提供不同的计算能力。异构多核处理器可以提高市场篮分析算法的效率。购物篮分析算法采用Apriori算法,是一种流行的数据采掘算法,可以利用Map/Reduce框架进行分析。该算法基于事务数据生成关联规则,Map/Reduce促使重新设计和转换现有的顺序算法以提高效率。Hadoop是构建在Hadoop分布式文件系统(HDFS)上的并行编程平台,用于将数据作为(键,值)对处理的Map/Reduce计算。在Hadoop map/reduce中,顺序作业被并行化,作业跟踪器将并行任务分配给任务跟踪器。基于任务跟踪器中的单线程或多线程并行任务,在适当的内核中执行。为此,可以开发一种名为MB的新调度程序。内核之间的切换可以是静态的,也可以是动态的。异构多核处理器的使用优化了处理器的处理能力和功率要求,并提高了系统的性能。
2014-09-23 cs.DC
NOP - A Simple Experimental Processor for Parallel Deployment
使用几千甚至多达一百万个处理器的并行计算系统的设计要求处理单元简单且因此空间小,以使尽可能多的处理单元适合于单个管芯。本文所介绍的设计远未优化,它并不意味着与工业性能设备竞争。它的主要目的是允许一个动态软件系统的原型实现作为概念的证明。
2016-12-20 cs.AR cs.DC
Massively Parallel Processor Architectures for Resource-aware Computing
我们提出了一类大规模并行处理器架构称为侵入性紧耦合处理器阵列(TCPAs)。所提出的处理器类是一个高度可参数化的模板,它可以在运行前定制,以满足客户的要求,如性能,面积成本和能源效率。这些可编程加速器非常适合信号、图像和视频处理以及其他流处理应用领域的特定领域计算。为了克服未来的缩放问题(例如,功耗、可靠性、资源管理以及应用程序并行化和映射),TCPA固有地被设计为在硬件级支持自适应性和资源感知。在这里,我们遵循最近引入的资源感知并行计算范式称为侵入式计算,应用程序可以动态地要求,执行和释放资源。此外,我们展示了如何侵入式计算可以用作电源管理的推动者。最后,我们将介绍如何通过在处理器阵列级采用按需空间冗余来实现这种大规模并行架构上的容错循环执行的想法。
2014-05-12 cs.AR cs.DC
A Framework for a Multiagent-based Scheduling of Parallel Jobs
本文提出了一种多智能体的方法作为一个范例调度并行系统中的并行作业。调度并行作业是平衡系统负载以提高并行应用性能的一种手段。并行作业调度被描述为两个图之间的映射:一个表示作业的依赖关系,另一个表示处理器之间的互连关系。并行作业调度算法的通常实现是通过主从模式。主从模式具有固有的通信瓶颈,当需要更多的处理器来处理作业时,会降低系统的性能。多智能体方法试图在处理器之间分配通信延迟,随着参与处理器的数量增加,这提高了系统的性能。本文提出了一个自主智能体的行为框架,它与其他智能体合作,以实现最小化处理时间的社区目标。实现此目标意味着座席必须通过{ \em标准化}、{ \em任务共享}和{ \em结果共享}过程与其他座席真实地共享信息。代理认为一个并行的科学应用程序作为一个有限的地平线游戏,真实的信息共享的结果到并行应用程序的性能改善。基于多代理的算法的性能进行比较,通过模拟的波包动力学使用量子轨道方法(QTM)作为测试应用程序的现有的。使用基于多代理的系统运行QTM的平均并行成本在更高数量的处理器上更低。
2015-06-26 cs.DC
A polynomial time parallel algorithm for graph isomorphism using a quasipolynomial number of processors
图同构(GI)问题是一个理论上很有趣的问题,因为它既没有被证明是P中的,也不是NP完全的。Babai在2015年宣布了GI问题的准多项式时间算法时取得了突破。Babai的工作给出了理论上最有效的算法GI,以及一个强有力的证据支持的想法,即类GI $\ne$ NP,从而P $\ne$ NP。基于Babai的算法,我们证明了GI可以进一步解决的并行算法,运行在多项式时间使用一个quasipolynomial处理器的数量。我们通过识别Babai算法中的瓶颈并将其并行化来实现这一结果。特别是,我们证明了颜色细化可以计算在并行对数时间使用多项式数量的处理器,和$k$维WL细化可以计算在并行多项式时间使用准多项式数量的处理器。我们的工作表明,图同构和GI-完全问题可以在并行计算机上有效地计算,并提供了在实践中加速并行GI程序的见解。
2020-02-11 cs.DC cs.DS
ReSHAPE: A Framework for Dynamic Resizing and Scheduling of Homogeneous Applications in a Parallel Environment
在科学和工程中的应用程序通常需要大量的计算资源,以在合理的时间范围内解决问题。并行超级计算机为解决此类问题提供了计算基础设施。在并行集群上运行的传统应用程序调度器仅支持静态调度,其中分配给应用程序的处理器数量在作业执行的整个生命周期内保持固定。由于作业到达时间的不可预测性和变化的资源需求,静态调度可能导致空闲的系统资源,从而降低整个系统的吞吐量。在本文中,我们提出了一个原型框架称为ReSHAPE,它支持动态的并行MPI应用程序在分布式内存平台上执行。该框架包括一个支持应用程序调度的调度程序、一个使应用程序能够与调度程序交互的API,以及一个使调度变得可行的库。使用ReSHAPE调度器框架执行的应用程序可以扩展以利用额外的空闲处理器,也可以缩小以适应高优先级应用程序,而不会挂起。在我们的研究中,我们主要集中在结构化的应用程序,具有分布在二维处理器网格的二维数据数组。调整大小库包括用于处理器选择和处理器映射的算法。实验结果表明,ReSHAPE框架可以提高单个作业的周转时间和系统的整体吞吐量。
2007-03-27 cs.DC
Parallelizing Optimal Multiple Sequence Alignment by Dynamic Programming
本文提出基于对等设计和多维数组索引的并行动态规划多序列比对方案,相比主从设计最高提升5倍性能,并展示多维动态规划在多处理器架构上的并行化方法。
2023-11-29 cs.DC
Astra: Efficient and Money-saving Automatic Parallel Strategies Search on Heterogeneous GPUs
提出 Astra 框架,在异构 GPU 上联合搜索 GPU 配置与并行参数,并通过训练耗时建模实现高吞吐、低成本的自动并行策略,搜索快且准确率超 95%。
2025-02-19 cs.AI cs.DC
The Parallel Persistent Memory Model
我们考虑一个并行计算模型,由$P$处理器,每个处理器具有有限大小的快速本地临时存储器,并共享一个大的持久存储器。该模型允许每个处理器以有限的概率发生故障,并可能重新启动。在出错时,所有处理器状态和本地临时内存都将丢失,但持久内存将保留。该模型的动机是即将到来的非易失性存储器,其与现有的随机存取存储器一样快,可以在高速缓存行的粒度下访问,并且具有在断电时幸存的能力。它进一步动机的观察,在大型并行系统中,处理器和它们的高速缓存的故障是不寻常的。在该模型中,我们开发了一个框架,用于开发具有故障恢复能力的局部高效并行算法。存在若干挑战,包括需要从故障中恢复,期望在异步设置中这样做(即,当一个处理器发生故障时不阻塞其它处理器),以及需要对故障鲁棒的同步原语。我们描述的方法来解决这些挑战的基础上打破计算到什么,我们称之为胶囊,它具有某些属性,并开发一个工作窃取调度程序,在故障的上下文中正常工作。调度程序保证$O(W/P_A + D(P/P_A) \lceil\log_{1/f} W\rceil)$的预期时间范围,其中$W$和$D$是计算的工作和深度(在没有故障的情况下),$P_A$是计算期间可用处理器的平均数量,$f \le 1/2$是胶囊失败的概率。在该模型中,并使用所提出的方法,我们开发了高效的并行排序和其他原语的算法。
2018-06-13 cs.DC
Parallel Algorithms for Generating Random Networks with Given Degree Sequences
随机网络被广泛用于复杂过程的建模和分析。已经提出了许多数学模型来捕获各种现实世界的网络。这些模型中最重要的一个方面是度分布。Chung-Lu(CL)模型是一种随机网络模型,它可以产生任意度分布的网络。我们今天处理的复杂系统比以往任何时候都更大,更多样化。生成任意给定度分布的、由数十亿个节点和边组成的随机网络已经成为一种必要,这需要高效的并行算法。提出了一种基于MPI的分布式内存并行算法,用于生成CL模型下的海量随机网络,该算法以高概率占用$O(\frac{m+n}{P}+P)$时间和每处理器占用$O(n)$空间,其中$n$、$m$和$P$分别为节点数、边数和处理器数.通过使用一种新的负载平衡算法,实现了时间效率。我们的算法可以很好地扩展到大量的处理器,并可以生成大规模的幂律网络与十亿个节点和$250$十亿边在一分钟内使用$1024$处理器。
2015-05-26 cs.DC
Parallel Binomial American Option Pricing with (and without) Transaction Costs
我们提出了一个并行算法,计算的要价和出价的美式期权时,成比例的交易成本适用于交易的标的资产。该算法计算重新组合二叉树的价格,并为现代多核处理器而设计。虽然平行期权定价已经得到了很好的研究,但现有的方法都没有考虑交易成本。我们提出的算法将二叉树划分为块。在任何一轮计算中,块被进一步划分为分配给不同处理器的区域。为了最小化负载不平衡,在每个新轮开始之前动态调整节点到处理器的分配。在一个回合内和两个连续回合之间都需要同步。该算法的并行加速比与所使用的处理器数量成正比。并行算法是通过POSIX线程在C/C++中实现的,并在8处理器的机器上进行了测试。在美国看跌期权的定价中,使用8个处理器和1500个时间步,与高效的顺序实现相比,并行加速比为5.26,实现了65.75%的并行效率。
2011-10-11 cs.DC q-fin.CP
Hierarchical Parallel Matrix Multiplication on Large-Scale Distributed Memory Platforms
矩阵乘法是一个非常重要的计算内核,它本身就是许多科学应用的构建块,也是其他科学应用的流行代表。1969年提出的Cannon算法是第一个有效的并行矩阵乘法算法,它提供了理论上最优的通信开销。然而,该算法需要平方数量的处理器。在20世纪90年代中期,SUMMA算法被引入。SUMMA克服了Cannon算法的缺点,因为它也可以用于非平方数的处理器上。从那时起,HPC平台中的处理器数量增加了两个数量级,使得通信在总执行时间中的贡献更加显着。因此,应重新审视现有的并行矩阵乘法算法,以进一步降低通信成本。本文介绍了一种新的并行矩阵乘法算法--分层SUMMA(HSUMMA),它是对SUMMA的重新设计。我们的算法减少了通信成本的SUMMA通过引入一个两级的虚拟层次结构的二维安排的处理器。在IBM BlueGene-P上的实验表明,在2048核和16384核上,通信成本分别降低了2.08倍和5.89倍。
2013-06-18 cs.DC
Cache-aware Parallel Programming for Manycore Processors
随着技术的快速发展,多核和众核处理器已经成为受益于晶体管数量增加的有前途的架构。向这些并行架构的过渡使今天成为研究并行计算挑战的激动人心的时刻。TILEPro64是一个众核加速器,由64个通过多个8x8网格网络互连的瓦片组成。默认情况下,它包含每瓦片缓存并支持缓存一致性共享内存。在本文中,我们提出了一种编程技术,以利用分布式缓存设施在众核处理器。然而,与这一领域的其他工作不同,我们的方法不使用特定于体系结构的库。相反,我们为程序员提供了一种新的技术,如何规划未来的非均匀缓存架构(NUCA)众核系统,铭记他们的缓存组织。我们表明,我们的本地化编程方法可以导致并行化效率(加速)的显着提高。
2014-03-31 cs.DC cs.PF
A mathematical model of asynchronous data flow in parallel computers
我们提出了一个简化的模型,数据流处理器上的高性能计算框架,涉及计算需要处理器间的通信。从这个常微分模型,我们采取它的渐近极限,导致在一个模型,它把计算机作为一个连续的处理器和数据流作为一个欧拉流体由守恒定律。我们推导出一个与此守恒律相关联的Hamilton Jacobi方程,可以证明其解的存在性和唯一性。然后,我们提出了离散和连续模型的数值实验的结果,这些显示了两者之间的定性协议和在模拟计算的进展上的计算环境的处理能力的变化的影响。
2019-10-23 cs.DC
Improving the Space-Time Efficiency of Processor-Oblivious Matrix Multiplication Algorithms
经典的高速缓存无关并行矩阵乘法算法在时间和空间上都达到了最优,但不能同时达到最优,这促使人们对这类算法的最佳平衡或折衷进行了大量的研究。我们研究了现代处理器无关的运行时系统,并找出了几种方法来提高算法的时间界限,同时仍然有界空间和缓存的要求是渐近最优的。通过我们的研究,我们给出了半环上一般矩阵乘法的次线性时间、最优工作、空间和缓存算法以及类Strassen快速算法。我们的实验也表明,这样的算法有经验的优势,经典的同行。本文的研究从理论和实证两个方面为如何优化高速缓存无关并行算法提供了新的见解和研究角度。
2019-11-13 cs.DC
PARSIR: a Package for Effective Parallel Discrete Event Simulation on Multi-processor Machines
本文提出 PARSIR 软件包,通过因果一致批处理、不相交访问并行、NUMA 本地内存优先、工作窃取和 RMW 指令等技术,在共享内存多处理器机器上实现高效并行离散事件仿真,并在 40 核 NUMA 机器上通过 PHOLD 基准验证了其有效性。
2024-10-01 cs.DC
Extending the Nested Parallel Model to the Nested Dataflow Model with Provably Efficient Schedulers
嵌套并行(也称为fork-join)模型被广泛用于编写并行程序。然而,这两个组合构造,即“$\parallel$“(并行)和“$;$“(串行),不足以表达程序中的“部分依赖性”或“部分并行性”。本文提出了一种新的嵌套组合结构“$\leadsto$“,以处理器和高速缓存无关的方式表示算法中的部分依赖关系,从而将嵌套并行(NP)模型扩展到\emph{Nested Dataflow}(ND)模型.我们重新设计了几个分而治之的算法,从密集的线性代数的ND模型中的动态规划,并证明他们都有最佳的跨度,同时保持最佳的缓存复杂度。我们提出了运行时缓存器的设计,ND程序映射到多核处理器与多个级别的可能共享的高速缓存(即,并行存储器层次结构),并提供理论保证他们的能力,以保持局部性和负载平衡。为此,我们针对ND模型调整了空间有界(SB)调度器。我们表明,我们的算法增加了“并行化”的ND模型,SB的并行化可以使用额外的缓存未命中和运行时间上的渐近最优的界限比在NP模型的处理器数量更大。本文算法的运行时间为$O\left(\frac{\sum_{i=0}^{h-1} Q^{*}({\mathsf t};σ\cdot M_i)\cdot C_i}{p}\right)$,其中$Q^{*}$是任务${\mathsf t}$的缓存复杂度,$C_i$是$i$级缓存的未命中代价,$i$级缓存的大小为$M_i$,$σ\…
2016-02-15 cs.DC
Parallel structurally-symmetric sparse matrix-vector products on multi-core processors
我们考虑的问题,开发一个有效的多线程实现的矩阵向量乘法算法的稀疏矩阵结构对称。矩阵存储使用压缩稀疏行-列格式(CSRC),旨在从全局有限元矩阵中观察到的对称非零模式中获益。与经典的压缩存储格式不同,使用CSRC执行稀疏矩阵向量积需要对目标向量进行线程安全访问。为了避免竞争条件,我们实现了两种分区策略。在第一种方法中,每个线程分配一个数组来存储它的贡献,这些贡献随后在累加步骤中组合。我们分析了如何以四种不同的方式进行这种积累。第二种策略使用着色算法对线程可以并发处理的行进行分组。我们的研究结果表明,虽然招致的工作集大小的增加,前一种方法导致大多数矩阵的最佳性能改善。
2010-05-28 cs.DC
Cuttlefish: Library for Achieving Energy Efficiency in Multicore Parallel Programs
低容量的功率预算对于百亿亿次计算是具有挑战性的。动态电压和频率缩放(DVFS)和非核心频率缩放(UFS)是用于限制HPC应用的能量足迹的两种广泛使用的技术。然而,现有的方法未能提供一个统一的解决方案,可以与不同类型的并行编程模型和应用程序。本文提出了Cuttlefish,一个编程模型不经意的C/C++库,实现能源效率的多核并行程序运行在英特尔处理器上。在线分析器定期分析特定于模型的寄存器,以发现正在运行的应用程序的内存访问模式。通过结合使用DVFS和UFS,Cuttlefish可以动态调整处理器的核心和非核心频率,从而提高其能效。使用一组广泛使用的OpenMP基准测试对20核英特尔至强处理器进行评估,包括几个不规则任务和工作共享pragmas,实现了19.4%的几何平均节能,速度降低了3.6%。
2021-10-01 cs.DC
Response-Time Analysis and Optimization for Probabilistic Conditional Parallel DAG Tasks
实时系统越来越多地使用多核处理器,以满足热,功率和计算需求。为了利用多核处理器提供的架构并行性,必须提供并行任务模型、调度算法和相对于实时约束的响应时间分析。在本文中,我们提出了一个基于预约的调度算法,零星的约束最后期限并行条件DAG任务的概率执行行为的应用程序,可以容忍有限数量的最后期限错过和有限的迟到。我们设计的规则和分析,以保证有限的迟到一个指定的有界概率$k$-连续的最后期限错过,而不强制执行迟到的作业立即中止。
2021-01-26 cs.DC
A Parallel Approximation Algorithm for Maximizing Submodular $b$-Matching
我们设计了新的串行和并行近似算法计算的最大重量$b$匹配的边加权图与子模块的目标函数。该问题是NP难的;新算法具有逼近比$1/3$,是贪心算法的放松,只依赖于图中的局部信息,使它们可并行化。我们已经设计并实现了本地懒惰贪心算法的串行和并行计算机。我们应用近似次模$b$ -匹配算法在并行计算机上计算量子化学中的Fock矩阵。分配试图通过平衡处理器上的计算负载和限制每个处理器发送的消息数量来减少运行时间。我们发现,新的任务分配给处理器提供了四倍的加速比目前使用的分配在NWChemEx软件上$8000$处理器首脑会议超级计算机在橡树岭国家实验室。
2021-07-13 cs.DC cs.DS
Methods for Partitioning Data to Improve Parallel Execution Time for Sorting on Heterogeneous Clusters
本文的目的是介绍一般的技术,以优化排序的并行执行时间的分布式体系结构与处理器的各种速度。这样的应用程序需要一个分区步骤。对于均匀相关的处理器(处理器的速度是由一个恒定的因素),我们开发了一个恒定的时间技术掌握处理器的负载和执行时间在异构环境中,也是一种技术来处理未知的成本函数。对于非一致相关的处理器,我们使用一种基于动态规划的技术。大多数情况下,解决方案都是O(p)(p是处理器的数量),与问题大小n无关。因此,关于我们处理的问题有一个小的开销,但是它固有地受到分区之后的代码部分的时间复杂度的限制。
2006-07-10 cs.DC cs.PF
A Distributed Shared Memory Model and C++ Templated Meta-Programming Interface for the Epiphany RISC Array Processor
Adapteva Epiphany众核架构包括一个可扩展的2D网状片上网络(NoC),由低功耗RISC内核组成,具有最少的非核功能。尽管这样的处理器提供了高计算能量效率和并行可扩展性,但开发解决独特架构特征的有效编程模型已经提出了许多挑战。我们在这里提出了一个分布式共享内存(DSM)模型支持软件透明使用C++模板元编程技术。该方法提供了一个非常简单的并行编程模型非常适合的架构。初步结果表明,该方法,并提供洞察的编程模型的效率和能力的NoC支持DSM没有明确的控制数据移动和本地化。
2017-04-26 cs.DC
The Logarithmic Random Bidding for the Parallel Roulette Wheel Selection with Precise Probabilities
针对并行处理器上的轮盘赌选择问题,提出对数随机竞价方法,在常数大小共享内存的 CRCW-PRAM 模型中实现随非零适应度处理器数对数增长的预期运行时间。
2024-02-28 cs.DC
Online Parallel Scheduling of Non-uniform Tasks: Trading Failures for Energy
考虑一个系统,其中不同执行时间的任务连续到达,并且必须由一组易于崩溃和重启的处理器执行。在本文中,我们模拟和研究的影响,并行性和故障的竞争力,这样一个在线系统。在一个无故障的环境中,一个简单的最长的系统调度策略,增强了冗余避免机制,保证在长期执行的最优性。然而,在存在故障的情况下,调度成为一项更具挑战性的任务。特别是,没有一个并行确定性算法可以与离线最优解竞争,即使只有一个处理器和两个不同的执行时间的任务。我们发现,当额外的能量以处理器加速的形式提供给系统时,情况发生了变化。具体来说,我们确定阈值的加速下,这种竞争力不能实现任何确定性的算法,并在竞争力的算法存在。最后,我们提出的算法,实现小有界的竞争比时,加速比超过阈值。
2013-06-08 cs.DC
The Glasgow Parallel Reduction Machine: Programming Shared-memory Many-core Systems using Parallel Task Composition
我们提出了格拉斯哥并行归约机(GPRM),一种新颖的,灵活的框架,并行任务组合为基础的众核编程。我们允许程序员将程序结构化为任务代码,编写为C++类,和通信代码,编写在C++的有限子集中,具有功能语义和并行评估。在本文中,我们讨论的GPRM,虚拟机框架,使并行任务组合方法。我们集中讨论GPIR,函数语言作为中间表示的字节码上运行的GPRM。使用这种语言的例子,我们展示了我们的任务组成框架的灵活性和力量。我们展示了潜力,使用合并排序算法的64核Tilera处理器上的实现,以及在传统的英特尔四核处理器和AMD 48核处理器系统。我们还比较了我们的框架与在Tilera处理器上运行的并行指针追逐算法中的OpenMP任务。我们的研究结果表明,GPRM程序优于相应的OpenMP代码在所有的测试平台上,可以大大方便的并行程序的编写,特别是非数据并行算法,如减少。
2013-12-10 cs.DC cs.PL
A parallel gravitational N-body kernel
我们描述了{ \tt kira}直接引力$N$ -体积分器的源代码级并行化,它是{ \tt starlab}生产环境中用于模拟致密恒星系统的主力。并行化策略,称为“j-并行化”,涉及通过将系统中的所有粒子分布在可用处理器之间来划分计算域。粒子上的部分力由它们的父处理器并行计算,然后在最终的全局操作中求和。一旦获得总的力,计算元件就继续计算它们的粒子轨迹。我们报告的时间测量的结果在四个不同的并行计算机,并比较它们与理论预测。计算机采用高速互连、NUMA架构以最小化通信开销,或者分布在网格中。代码在测试的域中扩展良好,范围从1024 - 65536星,1 - 128处理器,提供令人满意的加速比。对于分布在三个站点上的60多个处理器来说,在网格上运行生产环境变得低效。
2007-11-05 astro-ph cs.DC
Raiders of the Lost Log: Synchronous Parallel In-Place Models and Algorithms
UC Irvine(加州大学欧文分校)
针对现有并行原地模型在中间处理器数量下无原地保证的问题,提出同步PIP模型族,并设计高效同步并行算法,利用并行增强扫描技术确保所有处理器数量下严格原地。
2026-06-16 cs.DC cs.DS
On the Evolution of Time Horizons in Parallel and Grid Simulations
分析了并行离散事件模拟中局部模拟时间的演化规律。引入的新成分是:i)我们将LST与节点相关联,而不与处理元件相关联,以及2)我们提出通过在处理元件之间的边界上冻结LST一段时间的处理,然后通过处理元件之间的宽流存储器交换释放它们,来最小化不同处理元件之间的信息交换。我们的方法的亮点是:i)它保持了最高水平的处理器时间利用率在算法的演变,ii)它需要一个合理的时间存储器交换排除处理器之间的消息交换的耗时和复杂的过程,和iii)处理器之间的通信是解耦的处理器上执行的计算。我们的算法的有效性随着节点(或线程)的数量而增长。该算法适用于任何具有短程相互作用的并行模拟,包括偏微分方程的并行或网格模拟。
2004-01-14 cond-mat.stat-mech cs.DC
Many Processors, Still One Computer: The Nested Parallel von Neumann Architecture and Nested BSP
Huawei Technologies Co., Ltd.(华为技术有限公司)
本文提出嵌套BSP和嵌套并行冯·诺依曼架构,通过递归分层与统一总线实现百万级对等并行,使众多处理器协同为单一计算机。
2026-10-01 cs.AR cs.DC
Parallel Hardware for Faster Morphological Analysis
American University of Kuwait(美国科威特大学);Rafik Hariri University(拉菲克·哈里里大学)
阿拉伯语中的形态分析是计算密集型的,有许多形式和规则,并且本质上是并行的。本文提出的调查证实,并行算法的有效发展和相应的处理器在硬件中的推导使实现具有吸引人的性能特点。并行硬件的发展包括各种算法建模技术的应用,并发处理的策略,以及针对现代可编程设备的开创性硬件实现的创建。调查包括创建一个基于语言的词干提取阿拉伯语动词根扩展中缀处理,以达到高水平的准确性。这些实现包括三个版本,即软件、非流水线处理器和具有高吞吐量的流水线处理器。目标系统是用于软件实现的高性能多核处理器和用于硬件实现的高端现场可编程门阵列系统。调查包括方法的全面评估,以及所开发的软件和硬件实现的性能和准确性分析。流水线处理器实现了显着的加速比5571.4的软件实现。开发的词干动词词根提取与中缀处理达到87%和90.7%的准确率分析古兰经及其第29章-苏拉特铝Ankabut的文本。
2019-04-09 cs.CL cs.DC
Cilkmem: Algorithms for Analyzing the Memory High-Water Mark of Fork-Join Parallel Programs
软件工程师设计的递归fork-join程序运行在大规模并行计算系统上,必须认识到他们的程序的内存需求如何在多处理器执行的规模。尽管存在用于测量并行程序的一个特定执行期间的内存使用的工具,但是这样的工具不能约束所有可能的并行执行上的最坏情况的内存使用。本文介绍了Cilkstrike,一个工具,分析一个确定性的Cilk程序的执行,以确定其$p$ -处理器内存高水位线(MHWM),这是最坏情况下的内存使用的程序超过\emph{all possible} $p$ -处理器执行。Cilkwords采用两种新的算法来计算$p$处理器MHWM。第一种算法在$O(T_1 \cdot p)$时间内计算精确的$p$ -处理器MHWM,其中$T_1$是程序的总工作。第二种算法在$O(T_1)$时间内解决近似阈值问题,该问题对于给定的存储器阈值$M$询问$p$处理器MHWM是否超过$M/2$或是否保证小于$M$。这两种算法都是内存高效的,分别需要$O(p \cdot D)$和$O(D)$空间,其中$D$是程序在单个线程上执行的最大调用堆栈深度。我们的实证研究表明,Cilkestra一般表现出较低的管理费用。在Cilkbench套件的十个应用程序基准测试中,精确算法导致$p=128$的$1.54$的几何平均乘法开销,而近似阈值算法导致独立于$p$的$1.36$的开销。此外,我们使用Cilkwords来揭示和…
2019-10-27 cs.DC cs.DS
Leveraging shared caches for parallel temporal blocking of stencil codes on multicore processors and clusters
带宽匮乏的多核芯片已经变得无处不在。众所周知,模板代码的性能可以通过时间分块来改善,从而减轻对存储器接口的压力。我们介绍了一种新的流水线的方法,使显式使用共享缓存在多核环境中,最大限度地减少同步和边界开销。基准测试结果目前的三个基于x86的微处理器,清楚地表明,我们的优化工程最好的设计与高速共享高速缓存和低内存带宽每核心。此外,我们证明,简单的基于带宽的性能模型是不准确的这种算法,并采用更精细的,合成的建模过程。最后,我们表明,时间块可以成功地采用在一个混合共享/分布式内存环境中,虽然在强大的规模有限的好处。
2010-06-16 cs.DC cs.PF
Parallel/Distributed Tabu Search for Scheduling Microprocessor Tasks in Hybrid Flowshop
Institute of Computer Science, Control and Robotics, Wrocław University of Technology(弗罗茨瓦夫理工大学计算机、控制与机器人研究所)
本文研究带多处理器任务的混合流水车间调度中的最大完工时间最小化问题,提出了一种基于并行与分布式机制的禁忌搜索算法进行邻域评估,有效平衡了异构网络环境。
2025-09-14 cs.DC cs.SY eess.SY
Parallel Knowledge Embedding with MapReduce on a Multi-core Processor
This article firstly attempts to explore parallel algorithms of learning distributed representations for both entities and relations in large-scale knowledge repositories with { \it MapReduce} programming model on a multi-core processor. We accelerate the training progress of a canonical knowledge embedding method, i.e. { \it translating embedding} ({ \bf TransE}) model, by dividing a whole knowledge repository into several balanced subsets, and feeding each subset into an individual core where local embeddings can concurrently run updating during the { \it Map} phase. However, it usually suff…
2015-09-03 cs.DB cs.DC
An object oriented parallel finite element scheme for computations of PDEs: Design and implementation
提出了基于面向对象概念的并行有限元算法。此外,所提出的数据结构的设计和实现被用于实现并行几何多重网格方法。在所提出的并行方案中,ParFEMapper和ParFEMapper是数据结构的关键组件。这些类是基于所使用的有限元类型(连续或非连续或不连续)构建的。建议的求解器相比,与开源的直接求解器,MUMPS和PasTiX。此外,并行多重网格求解器的性能进行了分析高达1080处理器。求解器显示了一个非常好的加速到960个处理器和问题的大小必须增加,以保持良好的加速时,处理器的数量进一步增加。因此,并行求解器能够在大规模并行超级计算机上处理大规模问题。所提出的并行有限元算法和多重网格求解器在我们的内部软件包ParMooN中实现。
2016-09-15 cs.DC cs.MS
Efficient Parallelization of 5G-PUSCH on a Scalable RISC-V Many-core Processor
5G无线电接入网络分解和软件化在计算性能方面对处理单元提出了挑战。在物理层级别,基带处理计算工作通常被卸载到专用硬件加速器。然而,软件定义的无线电接入网络的趋势需要灵活的,可编程的架构。在本文中,我们探讨了软件设计,并行化和优化的物理上行链路共享信道(PUSCH)接收MemPool和TeraPool,两个众核系统分别具有256和1024个小型和高效的RISC-V内核与大型共享L1数据存储器的低物理层(PHY)的关键内核。PUSCH处理要求高且严格受时间约束,它代表了对基带处理器的挑战,并且它对于大多数上行链路信道也是常见的。因此,我们的分析推广到gNodeB(gNB)处的上行链路接收器的整个较低PHY。基于PUSCH算法阶段所需的计算工作量的评估(在乘-累加操作中),我们专注于主导内核的并行实现,即快速傅立叶变换,矩阵-矩阵乘法和矩阵分解内核,用于线性系统的解决方案。我们优化的并行内核分别在MemPool和TeraPool上实现了211,225,158和762,880,722的加速比,高利用率(0.81,0.89,0.71和0.74,0.88,0.71),可与单核串行执行相媲美,向全软件PUSCH实现迈进了一步。
2022-10-17 cs.DC eess.SP
Algorithmic patterns for $\mathcal{H}$-matrices on many-core processors
在这项工作中,我们考虑重新制定的分层($\mathcal{H}$)矩阵算法的众核处理器的图形处理单元(GPU)上的模型实现。$\mathcal{H}$矩阵近似特定的稠密矩阵,例如,从离散积分方程或核岭回归,导致在密集矩阵-向量乘积中的对数线性时间复杂度。$\mathcal{H}$矩阵运算在众核处理器上的并行化是困难的,这是由于底层算法的复杂性。虽然众核硬件以前的算法进步集中在加速现有的$\mathcal{H}$矩阵CPU实现众核处理器,我们在这里的目标是完全依赖于处理器类型。作为主要贡献,我们介绍了必要的并行算法模式,允许映射到众核硬件的完整的$\mathcal{H}$矩阵建设和快速矩阵向量积。在这里,关键的成分是空间填充曲线,并行树遍历和线性代数运算的并行化。由此产生的模型GPU实现hmglib是,据作者所知,第一个完全基于GPU的开源$\mathcal{H}$矩阵库。我们结束这项工作的深入性能分析和比较性能研究对标准的$\mathcal{H}$矩阵库,突出了深刻的加速我们的众核并行方法。
2017-08-31 cs.DC cs.MS cs.NA
TMA: Tera-MACs/W Neural Hardware Inference Accelerator with a Multiplier-less Massive Parallel Processor
深度神经网络的计算密集型推理任务已经迫使新的加速器架构的革命,以减少功耗以及延迟。硬件推理加速器的关键指标是每瓦乘法累加运算(MAC/W)的数量,其中,最先进的MAC/W保持数百千兆MAC/W。我们提出了一个Tera-MACS/W神经硬件推理加速器(TMA),具有8位激活和小于1字节的可扩展整数权重。该架构的主要特征是用于矩阵向量运算的可配置神经处理元件。所提出的神经处理元件具有无乘法器的大规模并行处理器,无需任何乘法即可工作,这使得它对于节能高性能神经网络应用具有吸引力。我们使用在ImageNet上训练的Alexnet对系统延迟、功耗和性能进行基准测试。最后,我们比较了我们的加速器的吞吐量和功耗,以前的作品。所提出的加速器在能量和面积方面优于现有技术,实现2.3 TMACS/W@1.0 V,65 nm CMOS技术。
2019-09-08 cs.AR cs.DC eess.SP
Programming Massively Parallel Architectures using MARTE: a Case Study
如今,一些工业应用程序正在移植到并行架构。这些应用程序利用了多核处理器提供的潜在并行性。自2003年以来,众核处理器,特别是GPU(图形处理单元),一直引领着浮点性能的竞赛。虽然通用微处理器的性能提升已经明显放缓,但GPU却在坚持不懈地继续改进。截至2009年,众核GPU和多核CPU的峰值浮点计算吞吐量之比约为10倍。然而,由于并行编程需要任务和数据的非平凡分布,开发人员发现很难有效地实现他们的应用程序。为了提高众核处理器的使用,这项工作提出了一个案例研究,使用UML和MARTE配置文件指定和生成OpenCL代码密集的信号处理应用程序。基准测试结果表明,我们的可行性使用MDE方法来生成GPU应用程序。
2011-03-24 cs.DC cs.SE
Parallelized Kendall's Tau Coefficient Computation via SIMD Vectorized Sorting On Many-Integrated-Core Processors
Georgia Institute of Technology(佐治亚理工学院)
成对关联度量是数据分析中的一个重要操作。Kendall的tau系数是一种广泛使用的相关系数,用于识别有序变量之间的非线性关系。本文研究了一种基于Intel Xeon Phis的单指令多数据(SIMD)向量化排序并行算法,该算法利用多个处理核和512位SIMD向量指令,加速所有对Kendall的tau系数计算。为了促进工作负载平衡和克服片上存储器的限制,我们提出了一个通用的框架,对称所有对计算之间的作业标识符和坐标空间的可证明双射函数。性能评估表明,我们的算法在一个5110 P Phi实现了两个数量级的加速比16线程的MATLAB和三个数量级的加速比顺序R,都运行在高端CPU。此外,我们的算法表现出相当好的分布式计算的可扩展性方面的Phis的数量。源代码和数据集可在http://lightpcc.sourceforge.net上公开获取。
2017-04-12 cs.AI cs.DC
Parallel Astronomical Data Processing with Python: Recipes for multicore machines
高性能计算已经应用于天体物理研究的各个领域。但大多数都是在大规模并行系统(超级计算机)或图形处理单元集群上实现的。随着近十年来多核处理器的出现,许多串行软件代码已经以并行模式重新实现,以充分利用这些处理器的潜力。在本文中,我们提出了多核机器的天文数据处理的并行处理配方。目标受众是使用Python作为首选脚本语言的天文学家,他们可能使用PyRAF/IRAF进行数据处理。在三种不同类型的多核处理器上对不同复杂度的三个问题进行了基准测试,以证明并行数据处理任务在执行时间方面的好处。Python中的原生多处理模块使得实现并行代码成为一项相对简单的任务。我们还比较了三种多处理方法-池/映射,进程/队列和并行Python。我们的测试代码是免费提供的,可以从我们的网站下载。
2013-06-03 astro-ph.IM cs.DC
Practical Parallel External Memory Algorithms via Simulation of Parallel Algorithms
本文介绍了PEMS 2,它是对PEMS(并行外部存储系统)的改进。PEMS在外部存储器(EM)上下文中执行批量同步并行(BSP)算法,使得能够计算超过主存储器大小的非常大的数据集。许多并行算法已经被设计和实现为批量同步并行计算模型。这样的算法通常假设整个数据集一次存储在主存储器中。PEMS通过使用磁盘空间作为额外的“虚拟处理器”的存储器来克服这个限制,而不需要对算法进行任何修改。之前的工作表明,这是一种很有前途的方法,可以随着计算资源(即处理器和磁盘)的添加而扩展。然而,该技术招致显着的开销相比,专用的EM算法。PEMS 2对模拟过程进行了改进,旨在减少此开销以及运行模拟所需的磁盘空间量。还引入了新功能,包括异步I/O和对多核处理器的支持。实验结果表明,这些变化显着提高了仿真的运行时间。PEMS 2缩小了模拟BSP算法和手工EM算法之间的性能差距,为使用超过RAM大小的数据集的BSP算法提供了一个实用的系统。
2010-01-19 cs.DC cs.DS