Accelerating Green Computing with Hybrid Asymmetric Multicore Architectures and Safe Parallelism
在本文中,我们提出了一种新的策略,通过利用和采用混合非对称多核架构(HAMA)模型与安全并行加速绿色计算。大多数现代计算都是串行的,并导致全球能源消耗。这些影响在许多服务器群和云计算平台中经常被目睹和体验到,世界上大多数信息都驻留在这些平台上。显然,在本文中,我们提出了一种新的策略,可以帮助减缓计算造成的全球能源消耗足迹。通过我们的策略,我们证明,通过采用HAMA和利用安全并行计算的能量消耗可以最小化。
2019-09-19 cs.DC
A Review of CUDA, MapReduce, and Pthreads Parallel Computing Models
高性能计算(HPC)和图形处理单元(GPU)的出现为需要并行处理以进行鲁棒和及时的数据分析的大数据事务(大数据)提供了巨大的计算资源。虽然已经提出了许多HPC框架,但并行编程模型提出了许多挑战,例如,如何充分利用不同编程模型中的功能,通过CPU和GPU中的多线程来实现和管理并行性。在本文中,我们将概述三种并行编程模型,CUDA,MapReduce和Pthreads。目标是探索有关该主题的文献,并提供编程模型中呈现的功能的高级视图,以帮助高性能用户简明地理解并行编程概念,从而使用高性能计算更快地实现大数据项目。
2014-10-16 cs.DC
Wukong: A Scalable and Locality-Enhanced Framework for Serverless Parallel Computing
无服务器计算越来越多地用于并行计算,传统上这些计算是作为有状态应用程序实现的。执行复杂的、突发并行的、有向无环图(DAG)作业对无服务器执行框架构成了重大挑战,这需要以高吞吐量快速扩展和调度任务,同时最大限度地减少任务之间的数据移动。我们证明,对于无服务器并行计算,分散式调度使调度能够分布在Lambda执行器上,这些执行器可以并行调度任务,并带来多种好处,包括增强数据本地性,减少网络I/O,自动资源弹性和提高成本效益。我们描述了我们新的无服务器并行框架Wukong在AWS Lambda上的实现和部署。我们表明,Wukong实现了近乎理想的可扩展性,执行并行计算作业的速度高达68.17倍,将网络I/O减少了多个数量级,并与numpywren相比实现了92.96%的租户端成本节省。
2020-10-14 cs.DC
GPU-Based Parallel Computing Methods for Medical Photoacoustic Image Reconstruction
针对医学光声成像重建计算量大的问题,提出基于GPU的并行计算方法,通过并行化迭代重建代码与优化内存访问,在保证精度的前提下显著提升重建速度,助力光声成像在医疗与药物研发等领域推广。
2024-04-16 cs.DC
A Software Parallel Programming Approach to FPGA-Accelerated Computing
本文介绍了一种努力,将可重构逻辑(FPGA)组件到一个软件编程模型。为此,我们已经实现了一个硬件计算节点和CPU之间的远程内存通信的硬件引擎。硬件引擎与GASNet的API兼容,GASNet是一种用于并行计算应用程序的流行通信库。我们进一步实现了我们自己的GASNet Core API的x86和ARMv7软件版本,使我们能够编写分布式应用程序,其中软件和硬件GASNet组件相互透明地通信。
2014-08-21 cs.DC
An Adaptive Parallel Algorithm for Computing Connected Components
基于Shiloach-Vishkin的PRAM方法,提出了一种高效的计算无向图连通分支的分布式内存并行算法。我们讨论了多种优化技术,减少通信量以及负载平衡的算法。我们还注意到,并行图连通性算法的效率取决于底层图的拓扑结构。特别是对于短直径的图形组件,我们观察到并行广度优先搜索(BFS)方法提供了更好的性能。然而,运行并行BFS对于计算大直径组件或大量小组件是低效的。为了解决这一挑战,我们采用了一种启发式算法,允许算法通过计算度分布来快速预测网络的类型,并遵循最佳混合路由。使用大型图形与不同的拓扑结构域,包括宏基因组学,网络抓取,社交图和道路网络,我们表明,我们的混合实现是有效的,可扩展的每一个图形类型。我们的方法实现了215秒的运行时间,使用32 K核心的Cray XC 30的宏基因组图超过500亿条边。与以前的最先进的方法相比,我们看到性能提高了24倍。
2017-02-13 cs.DC
Author's approach to the topological modeling of parallel computing systems
本文总结了作者对并行计算系统拓扑结构及其所解决的任务的研究,包括相应的建模工具。基于修正的Amdahl定律,给出了此类系统的原始拓扑模型.它允许形式化的依赖性的必要数量的处理器和信息相邻的顶点之间的最大距离在一个图上的方向值的加速或效率。这些值对系统互连拓扑结构和并行任务的信息图的依赖关系也被形式化。这些依赖关系的比较评估工具、拓扑准则以及并行系统的缩放和容错操作功能是基于作者的|的图的投影描述技术及其算法。
2020-03-23 cs.DC
Lectures on Parallel Computing
TU Wien(维也纳工业大学)
本并行计算讲义面向本科并行基础课与研究生高性能计算相关课程,讲解并行算法理论、OpenMP/MPI/pthreads编程框架与类C代码示例,配套习题可用于自学与课程项目,相关通用原则也适用于GPU架构。
2025-10-01 cs.DC
Complexity Measures for Map-Reduce, and Comparison to Parallel Computing
Map-Reduce编程范式及其主要的开源实现Hadoop对大规模数据处理产生了巨大的影响。我们在这篇简短的文章中的目标是双重的:首先,我们想提出一些复杂性度量,使我们能够正式地谈论Map-Reduce算法,其次,我们想指出为什么这个模型实际上不同于其他并行编程模型,最明显的是PRAM(并行随机存取存储器)模型。我们正在寻找足够详细的复杂性度量,以便在不同算法之间进行细粒度的区分,但同时也抽象了许多实现细节。
2012-11-28 cs.DC
Domain Decomposition Based High Performance Parallel Computing
研究了基于区域分解和稀疏直接求解器的有限元Navier-Stokes程序的并行化问题。稀疏直接求解器的性能有了显著的提高。并行稀疏直接求解器没有表现出良好的可扩展性。因此,稀疏直接求解器的并行化是使用区域分解技术完成的。在这项研究中使用了一个高效的稀疏直接求解器PARDISO。测试了牛顿算法和改进牛顿算法的可扩展性。
2009-11-04 cs.DC
An efficient parallel algorithm for computing determinant of non square matrices
矩形矩阵行列式计算的最大挑战之一是其算法的高时间复杂度。在矩形矩阵行列式的所有定义中,所用定义有其特殊性,因而更为显著。但在这个定义中,需要生成C(n m)个m*m阶的子矩阵,这使得该问题属于NP难问题.另一方面,任何行或列的减少操作可能很难导致减少计算量。因此,本文试图提出一种并行算法,使非方阵行列式的计算时间复杂度降低到O(pow(n,2))。
2015-08-06 cs.DC
Introducing the Quantum Research Kernels: Lessons from Classical Parallel Computing
量子计算代表了计算的范式转变,需要全新的计算机体系结构。然而,从传统的经典计算机工程中可以学到很多东西。在本文中,我们描述了并行研究内核(Parallel Research Kernels),这是一个非常有用的工具,用于设计经典的并行计算系统。这些内核是简单的内核,用来暴露限制经典并行计算性能的瓶颈。我们假设一个类似的量子计算工具,量子研究内核(QRK),可以类似地帮助量子计算系统的软件和硬件的协同设计,我们给出了一些代表性的QRK的例子。
2022-11-02 cs.DC quant-ph
Parallel computing as a congestion game
提出了一种分析并行算法的博弈论方法。该方法是基于呈现的并行计算作为一个拥塞游戏。在游戏中,进程竞争诸如中央处理器和通信子系统的核心之类的资源。有玩家,资源和玩家的收益(时间延迟)取决于资源的使用。可以对所提出的模型中的各种最优性原则进行比较分析。
2018-04-24 cs.DC cs.GT
Towards Parallel Computing on the Internet: Applications, Architectures, Models and Programming Tools
互联网上通用并行计算资源的开发提出了匹配计算和通信复杂性的挑战性任务。存在许多并行计算模型来解决传统并行架构的问题,并且存在许多新兴模型来尝试为诸如计算网格之类的大规模基于互联网的系统实现这一点。在本调查中,我们涵盖了三个基本方面--应用程序、架构和模型,并展示了它们在过去十年中是如何发展的。我们还介绍了目前用于计算网格中并行编程的编程工具。传统计算模型的趋势是通过使不同类型的通信适应网络条件来强调参与节点之间的有效通信。在大规模系统中出现的动态性和不确定性的影响显然是重要的理解,但目前很少有工作,从并行计算的角度来解决这个问题。
2006-12-25 cs.DC cs.PF
Scalable and massively parallel Monte Carlo photon transport simulations for heterogeneous computing platforms
我们提出了一个高度可扩展的蒙特卡罗(MC)三维光子输运模拟平台,设计用于异构计算系统。通过开发一个大规模并行MC算法,使用开放计算语言(OpenCL)框架,本研究扩展了我们现有的图形处理单元(GPU)加速MC技术,一个高度可扩展的供应商无关的异构计算环境,实现显着提高性能和软件可移植性。许多并行计算技术的研究,以实现广泛的计算硬件的便携式性能。此外,开发了多个线程级和设备级负载平衡策略,以使用多个中央处理单元(CPU)和GPU来获得高效的仿真。
2018-01-25 cs.DC physics.comp-ph
Can Agent Intelligence be used to Achieve Fault Tolerant Parallel Computing Systems?
在本文中报告的工作的动机是验证一种替代方法的容错比传统的方法,如检查点,约束有效的容错。代理智能可以用来实现容错并行计算系统吗?如果是,“容错需要哪些代理功能?什么样的并行计算任务可以从这样的代理能力中受益?以及“如何实现代理功能以实现容错?“需要解决。被认为是通过代理实现容错必不可少的认知能力。并行约简算法被认为是一类可以从认知代理能力中受益的算法。消息传递接口用于实现基于智能代理的方法。实验的初步结果验证了基于代理的并行计算系统实现容错的可行性。
2013-08-13 cs.DC cs.MA
Massively Parallel Processor Architectures for Resource-aware Computing
我们提出了一类大规模并行处理器架构称为侵入性紧耦合处理器阵列(TCPAs)。所提出的处理器类是一个高度可参数化的模板,它可以在运行前定制,以满足客户的要求,如性能,面积成本和能源效率。这些可编程加速器非常适合信号、图像和视频处理以及其他流处理应用领域的特定领域计算。为了克服未来的缩放问题(例如,功耗、可靠性、资源管理以及应用程序并行化和映射),TCPA固有地被设计为在硬件级支持自适应性和资源感知。在这里,我们遵循最近引入的资源感知并行计算范式称为侵入式计算,应用程序可以动态地要求,执行和释放资源。此外,我们展示了如何侵入式计算可以用作电源管理的推动者。最后,我们将介绍如何通过在处理器阵列级采用按需空间冗余来实现这种大规模并行架构上的容错循环执行的想法。
2014-05-12 cs.AR cs.DC
I CAN HAS SUPERCOMPUTER? A Novel Approach to Teaching Parallel and Distributed Computing Concepts Using a Meme-Based Programming Language
提出了一种新的方法来教授同步和远程存储器访问的并行和分布式计算概念。本文提出的单程序多数据(SPMD)分区全局地址空间(PGAS)模型使用一种面向本科生的过程式程序设计语言。我们建议,有趣的性质的方法可能会产生创造力和兴趣,使用这些概念后,在更清醒的环境。具体来说,我们实现了并行扩展LOLCODE内的源到源编译器足够的并行和分布式算法的发展,通常使用传统的高性能计算语言和API。
2017-03-29 cs.DC cs.PL
High-Performance Computing for Scheduling Decision Support: A Parallel Depth-First Search Heuristic
University of Regensburg(雷根斯堡大学)
许多学科--包括信息系统、计算机科学和运营管理--都面临着作为重要决策任务的调度问题。由于许多调度问题是NP难的,在很强的意义上,有必要发展解决方案。对于不相关并行机上的带启动时间的调度问题,其求解方法的研究还很有限,而且据我们所知,并行计算机体系结构还没有得到充分利用。我们通过提出和实施一个新的解决方案启发式和测试不同的并行化策略来解决这个差距。在我们的计算实验中,我们表明,我们的启发式计算接近最优的解决方案,即使是大型的实例,计算时间可以大大减少我们的并行化方法。
2016-05-16 cs.AI cs.DC
Efficient Ranking and Selection in Parallel Computing Environments
排序和选择(R&S)过程的目标是从有限的竞争方案中识别出最佳的随机系统。这样的程序需要构建每个系统的性能的估计,这可以通过在并行计算平台上运行多个独立的复制同时获得。然而,非平凡的统计和实现问题时,出现设计的R&S程序的并行计算环境。因此,我们提出了几个设计原则,并行R&S程序,保持统计有效性和最大限度地提高核心利用率,特别是当涉及大量的替代品或核心。我们的并行良好选择程序(GSP)紧密遵循这些原则,在正态分布输出的假设下,(i)保证以高概率选择无差异区中的系统,(ii)在多达1,024个并行核心上高效运行,以及(iii)在一个示例中,与现有并行程序相比,使用更小的样本量,特别是对于大问题(超过$10^6$替代方案)。在我们的计算研究中,我们讨论了两种方法实现GSP并行计算机,即消息传递接口(MPI)和Hadoop MapReduce,并表明,后者提供了良好的保护,防止核心故障的代价是显着下降的利用率,由于周期性的不可避免的同步。
2015-06-16 cs.DC math.OC
BSF: a parallel computation model for scalability estimation of iterative numerical algorithms on cluster computing systems
本文探讨了一种新的并行计算模型,称为批量同步农场(BSF),重点是估计的可扩展性,针对集群计算系统的计算密集型迭代算法。在BSF模型中,计算机是一组通过网络连接的处理器节点,并根据主/从范例进行组织。提出了一种BSF模型的代价度量。这个成本度量要求算法以列表上的操作的形式表示。这使我们能够推导出一个方程,预测并行程序的可扩展性边界:处理器节点的最大数量之后,加速开始下降。本文给出了应用BSF模型设计和分析并行数值算法的几个实例。在集群计算系统上进行的大规模计算实验证实了使用BSF模型获得的分析估计的充分性。
2021-01-02 cs.DC cs.PF
Parallel Computing of Discrete Element Method on GPU
我们研究了GPU对DEM的适用性。NVIDIA的代码在计算时间上获得了优于CPU的性能。NVIDIA代码中的接触力模型对于实际应用来说过于简单。我们修改这个模型,用实际模型代替它。仿真结果表明,该模型在CPU上的计算速度比实际模型快6倍,在GPU上的计算速度比简单模型慢7倍。并对结果进行了分析。
2013-01-08 cs.CE cs.DC
BSF-skeleton: A Template for Parallelization of Iterative Numerical Algorithms on Cluster Computing Systems
本文描述了一种使用并行BSF框架为集群计算系统创建应用程序的方法,该框架基于作者早先开发的并行计算的原始BSF(Bulk Synchronous Farm)模型。该模型使用主/从范例。BSF模型的主要优点是它允许在实现并行算法之前估计其可扩展性。BSF模型的另一个重要特性是以列表的形式表示问题数据,这大大简化了构建应用程序的逻辑。BSF框架设计用于使用MPI库在C++中创建并行程序。BSF框架的范围是高计算复杂性的迭代数值算法。BSF骨架具有以下显著特征。- BSF框架完全封装了与并行化程序相关的所有方面。- BSF框架允许在应用程序开发的所有阶段进行无错误编译。- BSF框架支持OpenMP编程模型和工作流。
2021-06-04 cs.DC cs.MS
On the compatibility of the topologies of parallel tasks and computing systems
并行计算系统和任务的拓扑结构的兼容性方面进行了研究。引入适当的索引的基础上的原始拓扑模型的并行计算和非传统的描述图的投影提出和阐明。超立方计算系统(CS)和任务的例子与环和星型信息拓扑结构,我们展示了确定的指标和它们的使用在一个给定的拓扑结构的互连解决任务相同和不同类型的信息拓扑结构的适用性的比较分析。
2020-12-15 cs.DC cs.DM math.CO
Programmable Switch as a Parallel Computing Device
现代交换机具有高达每秒数兆比特的分组处理能力,并且它们也变得越来越可编程。我们试图了解可编程性是否可以将数据包处理能力转化为并行计算应用程序的计算能力。在本文中,我们首先开发了一个简单的数学模型来了解数据平面计算的成本和开销。然后,我们验证了卸载计算到网络的性能优势。通过在真实数据中心网络上的实验,我们发现,对于一个简单的Map-Reduce应用程序来说,将计算卸载到数据平面可以获得高达20倍的速度提升。受此启发,我们提出了一个并行编程框架,p4 mr,以帮助用户有效地编程多个开关。我们成功地建立并测试了一个原型的p4 mr上的模拟试验台。
2018-03-05 cs.DC cs.NI
Cellular Computing and Least Squares for partial differential problems parallel solving
本文展示了如何偏微分问题可以解决由于细胞计算和适应的最小二乘有限元法。由于细胞计算可以在分布式并行架构上实现,因此该方法允许在计算机网络上分布资源需求差分问题。
2010-01-29 cs.DC math-ph math.AP
Deep Learning and Machine Learning with GPGPU and CUDA: Unlocking the Power of Parallel Computing
Georgia Institute of Technology(佐治亚理工学院);Indiana University(印第安纳大学);Xi’an Jiaotong-Liverpool University(西交利物浦大学);University of Hawaii(夏威夷大学);Kyoto University(京都大学);Emory University(埃默里大学);Sichuan University(四川大学);AppCubic;Rutgers University(罗格斯大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Purdue University(普渡大学);National Taiwan Normal University(台湾师范大学)
本研究探讨GPGPU和CUDA在深度学习与机器学习中的并行计算应用,分析架构特性、优化策略及多框架实践案例,为不同经验从业者提供综合指南,助力释放GPU并行计算潜力以推动AI发展。
2025-11-19 cs.AR cs.DC
Parallel Computing on a PC Cluster
在过去的十年里,计算机技术的巨大进步使得人们有可能以很小的预算实现超级计算机的性能。我们已经建立了一个多CPU集群的奔腾PC能够并行计算使用消息传递接口(MPI)。我们将讨论集群的配置,性能和应用到我们的物理工作。
2001-09-04 cs.DC hep-ph
Using Meta-heuristics and Machine Learning for Software Optimization of Parallel Computing Systems: A Systematic Literature Review
虽然现代并行计算系统提供了高性能,但要最大限度地利用这些强大的计算资源,需要各种硬件体系结构和并行编程模型的先进知识。此外,在并行计算系统上优化软件执行需要在编译时和运行时考虑许多参数。在给定的执行上下文中确定最优参数集是一项复杂的任务,因此为了解决这个问题,研究人员提出了使用启发式搜索或机器学习的不同方法。在本文中,我们进行了系统的文献综述,汇总,分析和分类现有的软件优化方法的并行计算系统。我们回顾了在编译时和运行时使用机器学习或元算法进行软件优化的方法。此外,我们还讨论了挑战和未来的研究方向。本研究的结果可能有助于更好地理解使用机器学习和元算法来处理并行计算系统的软件优化的复杂性的最先进的技术。此外,它可能有助于理解现有方法的局限性和确定需要改进的领域。
2018-05-02 cs.DC cs.PF cs.SE
Adaptive parallelism with RMI: Idle high-performance computing resources can be completely avoided
在实践中,并行计算作业的标准调度几乎总是留下可用硬件的显著部分未被使用,即使许多作业仍在队列中等待。原因很简单,这些等待作业的资源请求是固定的,与可用的、未使用的资源不匹配。然而,利用替代的但现有的和完善的技术,可以实现不需要预设的固定资源的完全自动化的自适应并行。在这里,我们证明了这样的自适应并行程序确实可以填补所有这样的调度差距,即使在现实生活中的情况下,大型超级计算机。
2019-02-01 cs.DC physics.chem-ph physics.comp-ph
Genetic Algorithm Modeling with GPU Parallel Computing Technology
提出了一种多用途遗传算法,并采用GPGPU / CUDA并行计算技术进行了设计和实现。该模型源自一个名为GAME的多核CPU串行实现,该实现已经通过专门基于机器学习范式的数据挖掘的Web应用程序资源(DAMEWARE)在天体物理学海量数据分类问题上进行了科学成功的测试和验证。由于遗传算法本质上是并行的,GPGPU计算范式提供了一个利用模型的内部训练功能,允许在处理性能和可扩展性方面进行强大的优化。
2012-11-23 astro-ph.IM cs.DC cs.NE
DuctTeip: An efficient programming model for distributed task based parallel computing
用于科学计算的当前高性能计算机系统通常在分布式存储器环境中组合共享存储器计算节点。从这些复杂的系统中提取高性能需要量身定制的方法。基于任务的并行编程在简化编程和利用共享存储器系统的硬件并行性方面都取得了成功。本文重点讨论如何将任务并行编程扩展到分布式内存系统。我们使用任务和数据的分层分解,以适应不同级别的硬件。我们测试所提出的编程模型在两个不同的应用程序,Cholesky分解,和浅水方程求解器。我们还比较了我们的实现与其他框架的分布式任务并行编程的性能,并表明它是有竞争力的。
2018-01-10 cs.CE cs.DC cs.PF
Parallel QEC Decoding Applied to Distributed Quantum Computing
University of Parma(帕尔马大学)
研究针对分布式量子计算提出并行QEC解码新方法,核心是用奇异值分解预处理信念传播所得错误向量,经复杂度、准确性和可扩展性评估,为分布式量子计算的QEC解码提供了新途径。
2026-07-10 cs.DC cs.PF quant-ph
Optimization of Energy Consumption Forecasting in Puno using Parallel Computing and ARIMA Models: An Innovative Approach to Big Data Processing
Faculty of Statistics;Informatics Engineering National University of the Altiplano Puno, Perú
本研究利用并行计算与ARIMA模型优化Puno地区能源消费预测,提升计算效率和数据处理能力,为实时预测分析和能源管理提供可靠解决方案。
2024-07-27 cs.DC stat.CO stat.ML
Acceleration for Deep Reinforcement Learning using Parallel and Distributed Computing: A Survey
National University of Defense Technology(国防科技大学)
本文系统综述了利用并行与分布式计算加速深度强化学习训练的方法,涵盖系统架构、仿真与计算并行、同步机制及进化强化学习,并比较了16个开源库,展望了未来研究方向。
2024-11-08 cs.AI cs.DC cs.LG
MPI_XSTAR: MPI-based Parallelization of the XSTAR Photoionization Program
我们描述了一个程序的并行实施多个运行的XSTAR,光电离代码,用于预测电离气体的物理性质,从其发射和/或吸收线。并行化程序MPI_XSTAR已被开发和实现的C++语言使用消息传递接口(MPI)协议,一个传统的标准的并行计算。我们已经基准并行多处理执行的XSTAR,使用MPI_XSTAR,对串行执行的XSTAR,在并行化加速和计算资源效率。我们的经验表明,并行执行运行速度明显快于串行执行,然而,在计算资源使用方面的效率随着在并行计算中使用的处理器的数量的增加而降低。
2017-11-28 astro-ph.HE astro-ph.IM cs.DC
Multiword Arithmetic and Parallel Computing
University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
针对硬件精度不足问题,采用多字算术(多倍双精度或多整数)并利用并行计算补偿开销,通过寄存器存储和GPU加速提升效率,相关代码以PHCpack软件公开。
2026-06-23 cs.DC cs.MS cs.NA
Parallel Computing Environments and Methods for Power Distribution System Simulation
多处理器超级计算机上的高性能并行计算的发展使得将非常耗时的仿真软件从个人计算机(PC)移植到超级计算机上具有吸引力。配电系统仿真器(PDSS)采用自下而上的方法,并在设备级别上模拟负载,其中使用了详细的设备热模型。这种方法适用于由几千个电器组成的小型配电系统。当设备的数量增加时,模拟会耗尽PC内存,其运行时间会增加到一个点,该方法不再适用于模拟实际的大型配电系统。本文介绍了一个基于PC的配电系统模拟器端口的128处理器共享内存的超级计算机的努力。本文提供了一个概述的并行计算环境和描述的修改PDSS模型。运行在一个独立的PC和超级计算机上的PDSS的性能进行了比较。最后指出了并行计算在配电系统仿真中应用的研究方向。
2004-09-18 cs.CE cs.DC cs.MA