A Review of CUDA, MapReduce, and Pthreads Parallel Computing Models
高性能计算（HPC）和图形处理单元（GPU）的出现为需要并行处理以进行鲁棒和及时的数据分析的大数据事务（大数据）提供了巨大的计算资源。虽然已经提出了许多HPC框架，但并行编程模型提出了许多挑战，例如，如何充分利用不同编程模型中的功能，通过CPU和GPU中的多线程来实现和管理并行性。在本文中，我们将概述三种并行编程模型，CUDA，MapReduce和Pthreads。目标是探索有关该主题的文献，并提供编程模型中呈现的功能的高级视图，以帮助高性能用户简明地理解并行编程概念，从而使用高性能计算更快地实现大数据项目。
2014-10-16 cs.DC
Wukong: A Scalable and Locality-Enhanced Framework for Serverless Parallel Computing
无服务器计算越来越多地用于并行计算，传统上这些计算是作为有状态应用程序实现的。执行复杂的、突发并行的、有向无环图（DAG）作业对无服务器执行框架构成了重大挑战，这需要以高吞吐量快速扩展和调度任务，同时最大限度地减少任务之间的数据移动。我们证明，对于无服务器并行计算，分散式调度使调度能够分布在Lambda执行器上，这些执行器可以并行调度任务，并带来多种好处，包括增强数据本地性，减少网络I/O，自动资源弹性和提高成本效益。我们描述了我们新的无服务器并行框架Wukong在AWS Lambda上的实现和部署。我们表明，Wukong实现了近乎理想的可扩展性，执行并行计算作业的速度高达68.17倍，将网络I/O减少了多个数量级，并与numpywren相比实现了92.96%的租户端成本节省。
2020-10-14 cs.DC
A Software Parallel Programming Approach to FPGA-Accelerated Computing
本文介绍了一种努力，将可重构逻辑（FPGA）组件到一个软件编程模型。为此，我们已经实现了一个硬件计算节点和CPU之间的远程内存通信的硬件引擎。硬件引擎与GASNet的API兼容，GASNet是一种用于并行计算应用程序的流行通信库。我们进一步实现了我们自己的GASNet Core API的x86和ARMv7软件版本，使我们能够编写分布式应用程序，其中软件和硬件GASNet组件相互透明地通信。
2014-08-21 cs.DC
An Adaptive Parallel Algorithm for Computing Connected Components
基于Shiloach-Vishkin的PRAM方法，提出了一种高效的计算无向图连通分支的分布式内存并行算法。我们讨论了多种优化技术，减少通信量以及负载平衡的算法。我们还注意到，并行图连通性算法的效率取决于底层图的拓扑结构。特别是对于短直径的图形组件，我们观察到并行广度优先搜索（BFS）方法提供了更好的性能。然而，运行并行BFS对于计算大直径组件或大量小组件是低效的。为了解决这一挑战，我们采用了一种启发式算法，允许算法通过计算度分布来快速预测网络的类型，并遵循最佳混合路由。使用大型图形与不同的拓扑结构域，包括宏基因组学，网络抓取，社交图和道路网络，我们表明，我们的混合实现是有效的，可扩展的每一个图形类型。我们的方法实现了215秒的运行时间，使用32 K核心的Cray XC 30的宏基因组图超过500亿条边。与以前的最先进的方法相比，我们看到性能提高了24倍。
2017-02-13 cs.DC
Author's approach to the topological modeling of parallel computing systems
本文总结了作者对并行计算系统拓扑结构及其所解决的任务的研究，包括相应的建模工具。基于修正的Amdahl定律，给出了此类系统的原始拓扑模型.它允许形式化的依赖性的必要数量的处理器和信息相邻的顶点之间的最大距离在一个图上的方向值的加速或效率。这些值对系统互连拓扑结构和并行任务的信息图的依赖关系也被形式化。这些依赖关系的比较评估工具、拓扑准则以及并行系统的缩放和容错操作功能是基于作者的|的图的投影描述技术及其算法。
2020-03-23 cs.DC
Lectures on Parallel Computing
本并行计算讲义面向本科并行基础课与研究生高性能计算相关课程，讲解并行算法理论、OpenMP/MPI/pthreads编程框架与类C代码示例，配套习题可用于自学与课程项目，相关通用原则也适用于GPU架构。
2025-10-01 cs.DC
GPU-Based Parallel Computing Methods for Medical Photoacoustic Image Reconstruction
针对医学光声成像重建计算量大的问题，提出基于GPU的并行计算方法，通过并行化迭代重建代码与优化内存访问，在保证精度的前提下显著提升重建速度，助力光声成像在医疗与药物研发等领域推广。
2024-04-16 cs.DC
Complexity Measures for Map-Reduce, and Comparison to Parallel Computing
Map-Reduce编程范式及其主要的开源实现Hadoop对大规模数据处理产生了巨大的影响。我们在这篇简短的文章中的目标是双重的：首先，我们想提出一些复杂性度量，使我们能够正式地谈论Map-Reduce算法，其次，我们想指出为什么这个模型实际上不同于其他并行编程模型，最明显的是PRAM（并行随机存取存储器）模型。我们正在寻找足够详细的复杂性度量，以便在不同算法之间进行细粒度的区分，但同时也抽象了许多实现细节。
2012-11-28 cs.DC
Domain Decomposition Based High Performance Parallel Computing
研究了基于区域分解和稀疏直接求解器的有限元Navier-Stokes程序的并行化问题。稀疏直接求解器的性能有了显著的提高。并行稀疏直接求解器没有表现出良好的可扩展性。因此，稀疏直接求解器的并行化是使用区域分解技术完成的。在这项研究中使用了一个高效的稀疏直接求解器PARDISO。测试了牛顿算法和改进牛顿算法的可扩展性。
2009-11-04 cs.DC
An efficient parallel algorithm for computing determinant of non square matrices
矩形矩阵行列式计算的最大挑战之一是其算法的高时间复杂度。在矩形矩阵行列式的所有定义中，所用定义有其特殊性，因而更为显著。但在这个定义中，需要生成C（n m）个m*m阶的子矩阵，这使得该问题属于NP难问题.另一方面，任何行或列的减少操作可能很难导致减少计算量。因此，本文试图提出一种并行算法，使非方阵行列式的计算时间复杂度降低到O（pow（n，2））。
2015-08-06 cs.DC
Optimization of hybrid parallel application execution in heterogeneous high performance computing systems considering execution time and power consumption
许多重要的计算问题需要利用高性能计算（HPC）系统，所述高性能计算（HPC）系统由组合越来越多数量的具有各种特性的设备的多级结构组成。利用这样的系统的全部功率需要编程在两个意义上混合的并行应用：它们可以同时在多个级别上利用并行性并且将专用于各种类型的计算设备的编程接口组合在一起。并行处理的主要目标是提高处理性能，从而减少应用程序的执行时间。国际HPC社区的目标是到2020年开发“Exascale”超级计算机（能够维持每秒$10^{18}$浮点运算）。实现该目标的主要障碍之一是计算系统的功耗超过能量供应限制。考虑到这一标准的新的编程模型和算法是实现这一目标需要取得重大进展的关键领域之一。本论文的目标是提取一个通用模型的混合并行应用程序执行在异构HPC系统，这是一个现有的具体方法的合成，并开发一种优化方法，这种执行旨在最大限度地减少应用程序的执行时间和功耗的矛盾目标所利用的计算硬件。这两种意义的应用程序的混合性的执行参数的非平凡的相互依赖性和所考虑的优化标准的影响的多重性的结果。应用程序进程在计算设备上的映射也对这些标准产生重大影响。
2018-09-20 cs.DC
Introducing the Quantum Research Kernels: Lessons from Classical Parallel Computing
量子计算代表了计算的范式转变，需要全新的计算机体系结构。然而，从传统的经典计算机工程中可以学到很多东西。在本文中，我们描述了并行研究内核（Parallel Research Kernels），这是一个非常有用的工具，用于设计经典的并行计算系统。这些内核是简单的内核，用来暴露限制经典并行计算性能的瓶颈。我们假设一个类似的量子计算工具，量子研究内核（QRK），可以类似地帮助量子计算系统的软件和硬件的协同设计，我们给出了一些代表性的QRK的例子。
2022-11-02 cs.DC quant-ph
On the State and Importance of Reproducible Experimental Research in Parallel Computing
计算机科学也是一门实验科学。对于并行计算来说尤其如此，因为并行计算处于一种不断变化的状态，需要通过实验来证实、补充和挑战理论建模和分析。在这里，实验工作与理论的进步同样重要，而理论的进步往往是由实验发现推动的。因此，在并行计算中，研究文章中的科学贡献通常基于实验数据，其中相当大的一部分致力于介绍和讨论实验结果。正如在所有的实验科学中一样，原则上，实验必须以一种使其他研究人员能够复制的方式呈现。尽管表面上相反，我们认为，再现性起着很小的作用，通常是无法实现的。如可以发现的，文章通常没有对其实验的足够详细的描述，并且没有提供用于获得所要求结果的软件。因此，并行计算的结果通常是不可能重现的，往往是有问题的，因此很少或没有科学价值。我们相信，在每一篇严肃的、基于实验的并行计算研究文章中，对如何重现研究结果的描述都应该发挥重要作用。我们的目标是发起讨论的可重复性问题在并行计算，并阐述了可重复的研究的重要性（1）更好和更健全的技术/科学论文，（2）更健全和更有效的审查过程和（3）更有效的集体工作。本文件表达了我们目前对这一问题的看法，应被视为一份立场声明，供讨论和今后的工作参考。我们不考虑实验设计质量的相关（但同样重要）问题。
2013-08-16 cs.DC
Massively Parallel Open Modification Spectral Library Searching with Hyperdimensional Computing
通常用于蛋白质鉴定的质谱法产生大量光谱，需要与大型数据库进行匹配。事实上，由于意想不到的翻译后修饰，它们中的大多数仍然未被识别或错配。开放修正搜索（OMS）是一种通过考虑光谱中每一种可能的变化来提高识别率的策略，但它以指数方式扩展了搜索空间。在这项工作中，我们提出了HyperOMS，它重新设计了基于超维计算的OMS，以应对这些挑战。与用浮点数表示光谱数据的现有算法不同，HyperOMS用高维二进制向量编码光谱数据，并在高维空间中执行高效的OMS。HyperOMS具有大量的并行性和简单的布尔运算，可以在并行计算平台上高效地处理。实验结果表明，与最先进的基于GPU的OMS工具相比，基于GPU的HyperOMS的速度快于$17\times$，并且$6.4\times$的能效更高，同时提供与竞争搜索工具相当的搜索质量。
2022-12-31 cs.DC
LGRASS: Linear Graph Spectral Sparsification for Final Task of the 3rd ACM-China International Parallel Computing Challenge
本文介绍了我们的解决方案，第三届ACM-China IPCC的优化任务。通过复杂度分析，找出了原算法的三个耗时子程序：边标记、伪逆计算和边排序。这些子程序由于其超线性的时间复杂度而成为主要的性能瓶颈。为了解决这个问题，我们提出了LGRASS，一个线性图谱稀疏算法，运行在严格的线性时间。LGRASS利用生成树的特性和有效的算法来优化瓶颈子程序。此外，我们精心设计了一个并行处理方案LGRASS充分利用多处理器的硬件。实验表明，我们提出的方法完成任务在几十毫秒的正式测试用例，并保持其线性的图大小的随机测试用例的规模。
2022-12-14 cs.DC
Enhancing ASIC Technology Mapping via Parallel Supergate Computing
本文提出一种并行超级门计算方法，利用输入受限模式并行生成候选并筛选，在32线程下实现4倍加速和10.1延迟缩减，有效平衡ASIC技术映射中的计算时间与延迟优化。
2024-04-21 cs.DC
Efficient Straggler Replication in Large-scale Parallel Computing
在具有许多并行任务的云计算作业中，最慢机器上的任务（离散任务）成为作业完成的瓶颈。MapReduce和Spark等计算框架通过复制分散的任务并等待任何一个副本完成来解决这个问题。尽管在实践中被采用，但很少有关于复制如何影响延迟和额外计算资源成本的分析。在本文中，我们提供了一个框架来分析这种延迟成本权衡，并通过回答设计问题来找到最佳复制策略，例如：1）何时复制离散任务，2）启动多少副本，以及3）是否杀死原始副本。我们的分析表明，对于某些执行时间分布，少量的任务复制可以大大减少延迟以及计算资源的成本。我们还提出了一个算法来估计的延迟和成本的基础上的经验分布的任务执行时间。使用Google集群跟踪中的示例进行的评估表明，与MapReduce中使用的现有复制策略相比，进一步降低了延迟和成本。
2017-09-13 cs.DC
EvoSort: A Genetic-Algorithm-Based Adaptive Parallel Sorting Framework for Large-Scale High Performance Computing
Michigan State University（密歇根州立大学）
EvoSort通过遗传算法实现自适应并行排序，有效提升大规模数据处理效率，实验显示其在处理10十亿元素时达到225倍加速。
2026-01-01 cs.DC
Parallel Collaborative ADMM Privacy Computing and Adaptive GPU Acceleration for Distributed Edge Networks
College of Cyber Security, Jinan University（暨南大学网络空间安全学院）；Department of Electrical and Computer Engineering, Western University（韦仕敦大学电气与计算机工程系）；School of Computer Science, Guangzhou University（广州大学计算机科学与工程学院）
本文提出了一种结合并行协作ADMM与自适应GPU加速的隐私计算算法，用于优化分布式边缘网络中的协作计算任务，提升了计算效率和隐私保护能力。
2026-01-21 cs.DC
An Empirical Study and Analysis of the Dynamic Load Balancing Techniques Used in Parallel Computing Systems
并行计算机系统是一组处理单元的集合，这些处理单元通过通信和协作来有效地解决大型计算问题。为了实现这一目标，首先将大型计算问题划分为具有不同工作负载的多个任务，然后分配给不同的处理单元进行计算。工作负载的分配称为负载均衡。在各个处理元素之间适当地分配工作负载是非常重要的，因为不成比例的工作负载可能会消除并行化作业的性能优势。因此，并行系统上的负载均衡是一个关键的和具有挑战性的活动。负载均衡算法可以大致分为静态和动态两类。静态负载均衡算法在编译时将任务分配给处理元素，而动态算法在运行时间将任务绑定到处理元素。本文简要介绍了并行系统中常用的几种动态负载均衡技术，并给出了这些算法的性能比较分析结果。
2011-09-08 cs.DC
Parallel computing as a congestion game
提出了一种分析并行算法的博弈论方法。该方法是基于呈现的并行计算作为一个拥塞游戏。在游戏中，进程竞争诸如中央处理器和通信子系统的核心之类的资源。有玩家，资源和玩家的收益（时间延迟）取决于资源的使用。可以对所提出的模型中的各种最优性原则进行比较分析。
2018-04-24 cs.DC cs.GT
Bind: a Partitioned Global Workflow Parallel Programming Model
高性能计算因其漫长而昂贵的软件开发周期而臭名昭著。为了解决这一挑战，我们提出绑定：一个“分区的全球工作流”的C++应用程序的并行编程模型，使快速原型和敏捷的开发周期的高性能计算软件的目标异构分布式众核架构。我们提出了绑定到线性代数和MapReduce算法的应用程序，以及性能结果。
2016-06-15 cs.DC
A Study of Performance Programming of CPU, GPU accelerated Computers and SIMD Architecture
该研究梳理CPU、GPU、SIMD三类并行计算实现方式及现有研究瓶颈，汇总并行编程技术资料，呈现其现状与趋势，为后续研究提供背景支撑。
2024-09-16 cs.DC
Parallel computing in automation of decoupled fluid-thermostructural simulation approach
解耦方法提出了一种新的解决方案/替代高度耗时的流体热结构仿真程序时，热效应和机床上的位移进行分析。使用高维特征图（CD）以及聚类算法，极大地减少了训练所需的数据，有限数量的CFD模拟就足以有效地解耦流体和热结构模拟。当考虑复杂的几何形状或动态元件时，这种方法变得非常重要。然而，在减少训练裁谈会所需时间方面仍有改进的余地。并行计算可以有效地用于解耦方法中，同时执行（i）CFD模拟和数据输出，以及（ii）涉及遗传算法和径向基函数插值的聚类技术，其聚类和优化CD的训练数据。解耦仿真方法将整个计算时间从几天减少到几个小时，从而提高了解耦仿真方法的效率和易用性。
2019-10-30 cs.DC
Towards Parallel Computing on the Internet: Applications, Architectures, Models and Programming Tools
互联网上通用并行计算资源的开发提出了匹配计算和通信复杂性的挑战性任务。存在许多并行计算模型来解决传统并行架构的问题，并且存在许多新兴模型来尝试为诸如计算网格之类的大规模基于互联网的系统实现这一点。在本调查中，我们涵盖了三个基本方面--应用程序、架构和模型，并展示了它们在过去十年中是如何发展的。我们还介绍了目前用于计算网格中并行编程的编程工具。传统计算模型的趋势是通过使不同类型的通信适应网络条件来强调参与节点之间的有效通信。在大规模系统中出现的动态性和不确定性的影响显然是重要的理解，但目前很少有工作，从并行计算的角度来解决这个问题。
2006-12-25 cs.DC cs.PF
Scalable and massively parallel Monte Carlo photon transport simulations for heterogeneous computing platforms
我们提出了一个高度可扩展的蒙特卡罗（MC）三维光子输运模拟平台，设计用于异构计算系统。通过开发一个大规模并行MC算法，使用开放计算语言（OpenCL）框架，本研究扩展了我们现有的图形处理单元（GPU）加速MC技术，一个高度可扩展的供应商无关的异构计算环境，实现显着提高性能和软件可移植性。许多并行计算技术的研究，以实现广泛的计算硬件的便携式性能。此外，开发了多个线程级和设备级负载平衡策略，以使用多个中央处理单元（CPU）和GPU来获得高效的仿真。
2018-01-25 cs.DC physics.comp-ph
Can Agent Intelligence be used to Achieve Fault Tolerant Parallel Computing Systems?
在本文中报告的工作的动机是验证一种替代方法的容错比传统的方法，如检查点，约束有效的容错。代理智能可以用来实现容错并行计算系统吗？如果是，“容错需要哪些代理功能？什么样的并行计算任务可以从这样的代理能力中受益？以及“如何实现代理功能以实现容错？“需要解决。被认为是通过代理实现容错必不可少的认知能力。并行约简算法被认为是一类可以从认知代理能力中受益的算法。消息传递接口用于实现基于智能代理的方法。实验的初步结果验证了基于代理的并行计算系统实现容错的可行性。
2013-08-13 cs.DC cs.MA
Massively Parallel Processor Architectures for Resource-aware Computing
我们提出了一类大规模并行处理器架构称为侵入性紧耦合处理器阵列（TCPAs）。所提出的处理器类是一个高度可参数化的模板，它可以在运行前定制，以满足客户的要求，如性能，面积成本和能源效率。这些可编程加速器非常适合信号、图像和视频处理以及其他流处理应用领域的特定领域计算。为了克服未来的缩放问题（例如，功耗、可靠性、资源管理以及应用程序并行化和映射），TCPA固有地被设计为在硬件级支持自适应性和资源感知。在这里，我们遵循最近引入的资源感知并行计算范式称为侵入式计算，应用程序可以动态地要求，执行和释放资源。此外，我们展示了如何侵入式计算可以用作电源管理的推动者。最后，我们将介绍如何通过在处理器阵列级采用按需空间冗余来实现这种大规模并行架构上的容错循环执行的想法。
2014-05-12 cs.AR cs.DC
I CAN HAS SUPERCOMPUTER? A Novel Approach to Teaching Parallel and Distributed Computing Concepts Using a Meme-Based Programming Language
提出了一种新的方法来教授同步和远程存储器访问的并行和分布式计算概念。本文提出的单程序多数据（SPMD）分区全局地址空间（PGAS）模型使用一种面向本科生的过程式程序设计语言。我们建议，有趣的性质的方法可能会产生创造力和兴趣，使用这些概念后，在更清醒的环境。具体来说，我们实现了并行扩展LOLCODE内的源到源编译器足够的并行和分布式算法的发展，通常使用传统的高性能计算语言和API。
2017-03-29 cs.DC cs.PL
Cellular Computing and Least Squares for partial differential problems parallel solving
本文展示了如何偏微分问题可以解决由于细胞计算和适应的最小二乘有限元法。由于细胞计算可以在分布式并行架构上实现，因此该方法允许在计算机网络上分布资源需求差分问题。
2010-01-29 cs.DC math-ph math.AP
On the compatibility of the topologies of parallel tasks and computing systems
并行计算系统和任务的拓扑结构的兼容性方面进行了研究。引入适当的索引的基础上的原始拓扑模型的并行计算和非传统的描述图的投影提出和阐明。超立方计算系统（CS）和任务的例子与环和星型信息拓扑结构，我们展示了确定的指标和它们的使用在一个给定的拓扑结构的互连解决任务相同和不同类型的信息拓扑结构的适用性的比较分析。
2020-12-15 cs.DC cs.DM math.CO
High-Performance Computing for Scheduling Decision Support: A Parallel Depth-First Search Heuristic
University of Regensburg（雷根斯堡大学）
许多学科--包括信息系统、计算机科学和运营管理--都面临着作为重要决策任务的调度问题。由于许多调度问题是NP难的，在很强的意义上，有必要发展解决方案。对于不相关并行机上的带启动时间的调度问题，其求解方法的研究还很有限，而且据我们所知，并行计算机体系结构还没有得到充分利用。我们通过提出和实施一个新的解决方案启发式和测试不同的并行化策略来解决这个差距。在我们的计算实验中，我们表明，我们的启发式计算接近最优的解决方案，即使是大型的实例，计算时间可以大大减少我们的并行化方法。
2016-05-16 cs.AI cs.DC
Efficient Ranking and Selection in Parallel Computing Environments
排序和选择（R&S）过程的目标是从有限的竞争方案中识别出最佳的随机系统。这样的程序需要构建每个系统的性能的估计，这可以通过在并行计算平台上运行多个独立的复制同时获得。然而，非平凡的统计和实现问题时，出现设计的R&S程序的并行计算环境。因此，我们提出了几个设计原则，并行R&S程序，保持统计有效性和最大限度地提高核心利用率，特别是当涉及大量的替代品或核心。我们的并行良好选择程序（GSP）紧密遵循这些原则，在正态分布输出的假设下，（i）保证以高概率选择无差异区中的系统，（ii）在多达1，024个并行核心上高效运行，以及（iii）在一个示例中，与现有并行程序相比，使用更小的样本量，特别是对于大问题（超过$10^6$替代方案）。在我们的计算研究中，我们讨论了两种方法实现GSP并行计算机，即消息传递接口（MPI）和Hadoop MapReduce，并表明，后者提供了良好的保护，防止核心故障的代价是显着下降的利用率，由于周期性的不可避免的同步。
2015-06-16 cs.DC math.OC
Using Meta-heuristics and Machine Learning for Software Optimization of Parallel Computing Systems: A Systematic Literature Review
虽然现代并行计算系统提供了高性能，但要最大限度地利用这些强大的计算资源，需要各种硬件体系结构和并行编程模型的先进知识。此外，在并行计算系统上优化软件执行需要在编译时和运行时考虑许多参数。在给定的执行上下文中确定最优参数集是一项复杂的任务，因此为了解决这个问题，研究人员提出了使用启发式搜索或机器学习的不同方法。在本文中，我们进行了系统的文献综述，汇总，分析和分类现有的软件优化方法的并行计算系统。我们回顾了在编译时和运行时使用机器学习或元算法进行软件优化的方法。此外，我们还讨论了挑战和未来的研究方向。本研究的结果可能有助于更好地理解使用机器学习和元算法来处理并行计算系统的软件优化的复杂性的最先进的技术。此外，它可能有助于理解现有方法的局限性和确定需要改进的领域。
2018-05-02 cs.DC cs.PF cs.SE
BSF: a parallel computation model for scalability estimation of iterative numerical algorithms on cluster computing systems
本文探讨了一种新的并行计算模型，称为批量同步农场（BSF），重点是估计的可扩展性，针对集群计算系统的计算密集型迭代算法。在BSF模型中，计算机是一组通过网络连接的处理器节点，并根据主/从范例进行组织。提出了一种BSF模型的代价度量。这个成本度量要求算法以列表上的操作的形式表示。这使我们能够推导出一个方程，预测并行程序的可扩展性边界：处理器节点的最大数量之后，加速开始下降。本文给出了应用BSF模型设计和分析并行数值算法的几个实例。在集群计算系统上进行的大规模计算实验证实了使用BSF模型获得的分析估计的充分性。
2021-01-02 cs.DC cs.PF
Parallel Computing of Discrete Element Method on GPU
我们研究了GPU对DEM的适用性。NVIDIA的代码在计算时间上获得了优于CPU的性能。NVIDIA代码中的接触力模型对于实际应用来说过于简单。我们修改这个模型，用实际模型代替它。仿真结果表明，该模型在CPU上的计算速度比实际模型快6倍，在GPU上的计算速度比简单模型慢7倍。并对结果进行了分析。
2013-01-08 cs.CE cs.DC
BSF-skeleton: A Template for Parallelization of Iterative Numerical Algorithms on Cluster Computing Systems
本文描述了一种使用并行BSF框架为集群计算系统创建应用程序的方法，该框架基于作者早先开发的并行计算的原始BSF（Bulk Synchronous Farm）模型。该模型使用主/从范例。BSF模型的主要优点是它允许在实现并行算法之前估计其可扩展性。BSF模型的另一个重要特性是以列表的形式表示问题数据，这大大简化了构建应用程序的逻辑。BSF框架设计用于使用MPI库在C++中创建并行程序。BSF框架的范围是高计算复杂性的迭代数值算法。BSF骨架具有以下显著特征。- BSF框架完全封装了与并行化程序相关的所有方面。- BSF框架允许在应用程序开发的所有阶段进行无错误编译。- BSF框架支持OpenMP编程模型和工作流。
2021-06-04 cs.DC cs.MS
Programmable Switch as a Parallel Computing Device
现代交换机具有高达每秒数兆比特的分组处理能力，并且它们也变得越来越可编程。我们试图了解可编程性是否可以将数据包处理能力转化为并行计算应用程序的计算能力。在本文中，我们首先开发了一个简单的数学模型来了解数据平面计算的成本和开销。然后，我们验证了卸载计算到网络的性能优势。通过在真实数据中心网络上的实验，我们发现，对于一个简单的Map-Reduce应用程序来说，将计算卸载到数据平面可以获得高达20倍的速度提升。受此启发，我们提出了一个并行编程框架，p4 mr，以帮助用户有效地编程多个开关。我们成功地建立并测试了一个原型的p4 mr上的模拟试验台。
2018-03-05 cs.DC cs.NI
Adaptive parallelism with RMI: Idle high-performance computing resources can be completely avoided
在实践中，并行计算作业的标准调度几乎总是留下可用硬件的显著部分未被使用，即使许多作业仍在队列中等待。原因很简单，这些等待作业的资源请求是固定的，与可用的、未使用的资源不匹配。然而，利用替代的但现有的和完善的技术，可以实现不需要预设的固定资源的完全自动化的自适应并行。在这里，我们证明了这样的自适应并行程序确实可以填补所有这样的调度差距，即使在现实生活中的情况下，大型超级计算机。
2019-02-01 cs.DC physics.chem-ph physics.comp-ph
Deep Learning and Machine Learning with GPGPU and CUDA: Unlocking the Power of Parallel Computing
本研究探讨GPGPU和CUDA在深度学习与机器学习中的并行计算应用，分析架构特性、优化策略及多框架实践案例，为不同经验从业者提供综合指南，助力释放GPU并行计算潜力以推动AI发展。
2025-11-19 cs.AR cs.DC
Parallel Computing on a PC Cluster
在过去的十年里，计算机技术的巨大进步使得人们有可能以很小的预算实现超级计算机的性能。我们已经建立了一个多CPU集群的奔腾PC能够并行计算使用消息传递接口（MPI）。我们将讨论集群的配置，性能和应用到我们的物理工作。
2001-09-04 cs.DC hep-ph
A Speculative Parallel DFA Membership Test for Multicore, SIMD and Cloud Computing Environments
我们提出的技术，并行化的确定性有限自动机（DFA）的成员资格测试。我们的方法通过使用推测并行匹配多个字节来搜索任意正则表达式。我们将输入字符串划分为块，并行匹配块，并组合匹配结果。我们的并行匹配算法利用结构DFA属性，以尽量减少投机开销。与以前的方法不同，我们的推测是无故障的，即，(1)保持了顺序语义，以及（2）完全避免了减速。在具有用于索引内存加载的SIMD查询操作的架构上，我们的匹配操作是完全向量化的。建议的负载平衡方案使用一个离线分析步骤，以确定每个participating处理器的匹配能力。基于匹配能力，DFA匹配在诸如云计算环境的非同构并行架构上负载平衡。我们评估了我们的投机DFA成员测试的一组代表性的基准，从Perl兼容的正则表达式（PCRE）库和PROSITE蛋白质数据库。评估在英特尔众核测试实验室（英特尔MTL）的4 CPU（40核）共享内存节点、用于8路完全矢量化SIMD执行的英特尔AVX2 RISC模拟器以及Amazon EC2计算云上的20节点（288核）群集上进行。
2013-07-22 cs.DC cs.FL
Genetic Algorithm Modeling with GPU Parallel Computing Technology
提出了一种多用途遗传算法，并采用GPGPU / CUDA并行计算技术进行了设计和实现。该模型源自一个名为GAME的多核CPU串行实现，该实现已经通过专门基于机器学习范式的数据挖掘的Web应用程序资源（DAMEWARE）在天体物理学海量数据分类问题上进行了科学成功的测试和验证。由于遗传算法本质上是并行的，GPGPU计算范式提供了一个利用模型的内部训练功能，允许在处理性能和可扩展性方面进行强大的优化。
2012-11-23 astro-ph.IM cs.DC cs.NE
Rethinking Dynamic Networks and Heterogeneous Computing with Automatic Parallelization
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
本文针对动态网络与异构节点场景，提出基于仿真的自动并行规划方法，并通过策略剪枝加速搜索，提升大语言模型训练性能与适应性。
2025-06-03 cs.AI cs.DC
HAlign-II: efficient ultra-large multiple sequence alignment and phylogenetic tree reconstruction with distributed and parallel computing
多序列比对（MSA）在生物序列分析，特别是系统发育树的构建中起着关键作用。下一代测序的急剧增加导致缺乏有效的超大型生物序列比对方法来应对不同的序列类型。分布式和并行计算是加速超大型序列分析的关键技术。基于HAlign和Spark分布式计算系统，我们实现了一个高性价比和高时效的HAAlign-II工具，用于解决超大规模多生物序列比对和系统发育树构建问题。实验结果表明：1）HAlign-II能够高效地进行MSA，构建超大生物序列的系统发生树; 2）HAlign-II具有极高的内存效率，并能随着计算资源的增加而扩展; 3）HAlign-II提供了一个基于我们的分布式计算架构的用户友好的Web服务器。在http://lab.malab.cn/soft/halign上建立了具有开放源代码和数据集的HAlign-II。
2017-04-04 cs.DC q-bio.QM
DuctTeip: An efficient programming model for distributed task based parallel computing
用于科学计算的当前高性能计算机系统通常在分布式存储器环境中组合共享存储器计算节点。从这些复杂的系统中提取高性能需要量身定制的方法。基于任务的并行编程在简化编程和利用共享存储器系统的硬件并行性方面都取得了成功。本文重点讨论如何将任务并行编程扩展到分布式内存系统。我们使用任务和数据的分层分解，以适应不同级别的硬件。我们测试所提出的编程模型在两个不同的应用程序，Cholesky分解，和浅水方程求解器。我们还比较了我们的实现与其他框架的分布式任务并行编程的性能，并表明它是有竞争力的。
2018-01-10 cs.CE cs.DC cs.PF
Computing Optimal Cycle Mean in Parallel on CUDA
有向加权图的最优圈均值计算在程序分析，特别是性能验证中有着广泛的应用。在本文中，我们提出了一个数据并行算法解决这个问题，并显示如何计算的最佳周期平均可以有效地加速CUDA技术的手段。我们展示了如何将最佳循环均值的计算问题分解为一系列数据并行图形计算原语，并展示了如何实现这些原语并优化CUDA计算。最后，我们报告了一个五倍的实验速度的图形表示模型的分布式系统相比，最好的顺序算法。
2011-11-02 cs.DC cs.DS
Parallel QEC Decoding Applied to Distributed Quantum Computing
University of Parma（帕尔马大学）
研究针对分布式量子计算提出并行QEC解码新方法，核心是用奇异值分解预处理信念传播所得错误向量，经复杂度、准确性和可扩展性评估，为分布式量子计算的QEC解码提供了新途径。
2026-07-10 cs.DC cs.PF quant-ph
What is Quantum Parallelism, Anyhow?
本文提出量子数据流图以刻画和测量量子并行性，并通过 QFT、AA 及经典并行定律分析其独特机制与算法性能含义。
2024-05-12 cs.DC quant-ph
Process-Oriented Parallel Programming with an Application to Data-Intensive Computing
我们介绍面向过程的编程作为一个自然的扩展面向对象的编程并行计算。它基于这样的观察：面向对象语言的每个类都可以实例化为一个进程，可以通过远程指针访问。进程指针的引入不需要语法扩展，用编程对象标识进程，并使进程能够通过执行远程方法简单地交换信息。面向过程的编程是一种高级语言，可以替代多线程、MPI和当前用于并行计算的许多其他语言、环境和工具。它只使用现有语言（如C++和Python）的最小语法扩展来实现自然的基于对象的并行性，因此有可能导致并行编程的广泛采用。我们实现了一个原型系统运行进程使用C++与MPI，并使用它来计算一个大型的三维傅立叶变换的计算机集群上建立的商品硬件组件。三维傅立叶变换是具有复杂数据访问模式的数据密集型应用程序的原型。面向进程的代码只有几百行，通过实现大规模并行和最大化硬件利用率来实现非常高的数据吞吐量。
2014-07-21 cs.DC cs.PL
A Multi-FPGA High Performance Computing System for 3D FFT-based Numerical Simulations
在高性能计算领域，进程间的通信是大规模并行科学应用的典型瓶颈。本研究的目的是开发一种具有特定卸载能力的网络接口卡，该网络接口卡可以帮助大规模模拟在通信延迟和计算元件数量的可扩展性方面。特别是这项工作涉及的双精度的浮点复数运算单元的并行流水线结构的发展，以实现大规模并行计算系统的三维快速傅立叶变换。
2022-09-06 cs.DC physics.comp-ph
RAFI -- A Ray/Work Forwarding Infrastructure for Data Parallel Multi-Node/Multi-GPU Computing
NVIDIA（英伟达）；Bilkent University（比尔肯特大学）；SCI Institute, University of Utah（犹他大学计算研究所）；University of Cologne（科隆大学）；NASA Ames Research Center（NASA艾姆斯研究中心）；IT4Innovations, VSB -Technical University of Ostrava（Ostrava理工大学IT4创新中心）
提出基于CUDA和MPI的软件框架RaFI，简化GPU数据并行计算中射线等工作项在不同GPU间迁移的实现，通过统一接口管理底层通信。
2026-05-28 cs.DC cs.GR
New Trends in Parallel and Distributed Simulation: from Many-Cores to Cloud Computing
计算体系结构和网络的最新进展正在将并行计算系统带给大众，从而增加了这些类型系统的潜在用户的数量。特别是，两个重要的技术发展正在发生在计算频谱的末端：在“小”规模上，处理器现在包括越来越多的独立执行单元（核心），在这一点上，仅仅CPU可以被认为是并行共享内存计算机;在“大”规模上，云计算范例允许应用程序通过按需付费模型从大池中提供资源来扩展。多核处理器和云都需要对应用程序进行适当的修改，以利用它们提供的功能。在本文中，我们分析了并行和分布式仿真技术的最新发展，并评估了它们对多核架构或云的适用性。事实证明，当前的大多数方法在可用性和自适应性方面都存在局限性，这可能会阻碍它们在这些新计算架构中的应用。我们提出了一个自适应的模拟机制，基于多智能体系统的范例，部分地解决这些限制。虽然这是不可能的，一个单一的方法将在上述两种设置都很好地工作，我们认为，所提出的自适应机制具有有用的功能，使其在多核处理器和云系统的吸引力。这些功能包括通过迁移仿真组件来降低通信成本的能力，以及在运行时向执行架构添加（或删除）节点的支持。我们还将证明，在额外的支持层的帮助下，可以在不可靠的资源上执行并行和分布式仿真。
2017-04-04 cs.AR cs.DC
Optimization of Energy Consumption Forecasting in Puno using Parallel Computing and ARIMA Models: An Innovative Approach to Big Data Processing
Faculty of Statistics；Informatics Engineering National University of the Altiplano Puno, Perú
本研究利用并行计算与ARIMA模型优化Puno地区能源消费预测，提升计算效率和数据处理能力，为实时预测分析和能源管理提供可靠解决方案。
2024-07-27 cs.DC stat.CO stat.ML
