Robust Numerical Tracking of One Path of a Polynomial Homotopy on Parallel Shared Memory Computers
我们考虑在一台并行共享内存计算机上跟踪由多项式同伦定义的一条解路径的问题。我们的鲁棒路径跟踪应用牛顿法的幂级数，以找到最接近的奇异参数值。在此基础上，计算同伦中多项式的Hessian函数的奇异值来估计到最近的不同路径的距离，并利用这些估计值来计算合适的自适应步长。对于n维问题，我们的鲁棒路径跟踪器的成本开销是O（n），相比常用的预估校正法。这种开销可以通过在并行共享内存计算机上的多线程程序来减少。
2020-07-29 cs.DC cs.NA cs.SC
Communication-Efficient Algorithms for Solving Pressure Poisson Equation for Multiphase Flows using Parallel Computers
在并行计算机上用区域分解法求解偏微分方程通常需要处理器之间的同步和通信。这些操作通常在时间和精力方面具有显著的开销。在本文中，我们提出了解决偏微分方程，减轻这种开销的通信效率的并行算法。首先，我们描述了一个异步算法，消除了同步的要求，并检查终止在一个分布式的方式，同时保持规定重新启动迭代，如果必要的。然后，我们建立在异步算法，提出了一个事件触发的通信算法，仅在某些迭代的边界值相邻的处理器进行通信，从而减少了消息的数量，同时保持类似的精度的解决方案。我们证明了我们的算法上的连续超松弛求解器的压力泊松方程所产生的变密度不可压缩的多相流在3-D，并表明我们的算法提高了时间和能源效率。
2022-02-21 cs.DC
Impact of parallel code optimization on computer power consumption
本文通过实验评估不同优化级别、策略及计算机体系结构对程序功耗的影响，发现源代码优化程序的平均功耗常达峰值，并验证了构建并行程序能耗画像的可行性。
2023-12-06 cs.DC cs.MS
On the scaling of computational particle physics codes on cluster computers
计算科学中的许多应用程序都是计算密集型的，它们依赖于并行计算的能力。对于所有的问题，除了“并行”的问题，性能取决于在计算机平台上可以实现的粒度级别。我们的计算粒子物理应用程序需要能够支持各种粒度的机器，但一般来说，计算密集型的最先进的项目将需要细粒度的分布。在可用于该任务的不同类型的机器中，我们考虑集群计算机。在高性能计算中使用商用计算机集群具有许多优点，包括原始的价格/性能比以及机器配置和升级的灵活性。在这里，我们专注于通常被认为是集群技术的弱点，当面对一个数值密集型并行计算的缩放行为。为此，我们研究我们自己的应用程序的缩放从数值量子场论上的集群和推断的结论更一般的情况下。
2003-07-10 cs.DC hep-lat
A mathematical model of asynchronous data flow in parallel computers
我们提出了一个简化的模型，数据流处理器上的高性能计算框架，涉及计算需要处理器间的通信。从这个常微分模型，我们采取它的渐近极限，导致在一个模型，它把计算机作为一个连续的处理器和数据流作为一个欧拉流体由守恒定律。我们推导出一个与此守恒律相关联的Hamilton Jacobi方程，可以证明其解的存在性和唯一性。然后，我们提出了离散和连续模型的数值实验的结果，这些显示了两者之间的定性协议和在模拟计算的进展上的计算环境的处理能力的变化的影响。
2019-10-23 cs.DC
High-performance computing for super-resolution microscopy on a cluster of computers
多信号分类算法（MUSICAL）提供了一种超分辨率显微镜方法。在以前的研究中，MUSICAL已经在台式计算机或基于Linux的服务器上很好地实现了数据并行。但是，运行时间需要更短。本文将在机群系统上开发一种高效、可扩展的并行MUSICAL。我们通过使用集群核心的最佳速度、最新的并行编程技术和高性能计算库（如英特尔线程构建块（TBB）、英特尔数学内核库（MKL）和用于计算机集群的统一并行C++（UPC++））来实现这一目的。实验结果表明，新的并行MUSICAL在256核集群上10秒内实现了240.29倍的加速，效率为93.86%。我们的MUSICAL为现实生活中的应用提供了很高的可能性，可以在几秒钟内实现超分辨率显微镜。
2022-06-13 cs.DC cs.PF
s-Step Orthomin and GMRES implemented on parallel computers
正交法和广义最小残量法是求解非对称线性系解的常用迭代法。这些方法的s步推广通过形成s个同时搜索方向向量来增强其数据局部性、并行性和性能。良好的数据局部性是在分级存储超级计算机上实现接近峰值速率的关键。Arnoldi和Omin的s步的理论推导在过去已经发表。在这里，我们推导出s-步GMRES方法。然后，我们实现了s-步骤Omin和GMRES上的Cray-2分级存储超级计算机。
2020-01-27 cs.DC cs.NA math.NA
A Study of Performance Programming of CPU, GPU accelerated Computers and SIMD Architecture
该研究梳理CPU、GPU、SIMD三类并行计算实现方式及现有研究瓶颈，汇总并行编程技术资料，呈现其现状与趋势，为后续研究提供背景支撑。
2024-09-16 cs.DC
Projective Networks: Topologies for Large Parallel Computer Systems
互连网络包括大型并行计算机的成本的很大一部分，无论是在经济方面还是功耗方面。以前的几个建议利用大基数路由器来构建可扩展的低距离拓扑，目的是最大限度地减少这些成本。然而，他们没有考虑潜在的不平衡，在网络利用率，这在某些情况下，在次优设计的结果。基于适当的成本模型，本文提倡使用基于投影平面的关联图的网络，广义地表示为投影网络。投射网络依赖于高度对称的广义摩尔图，并在一个共同的数学框架下包含几个提出的直接（PN和E-PN）和间接（OFT）拓扑。与平均距离在2到3跳之间的其他提案相比，这些网络提供了非常高的可扩展性，同时保持了平衡的网络利用率，从而降低了网络成本。总体而言，投影网络构成了一个有竞争力的替代exascale级互连网络设计。
2015-12-23 cs.DC cs.NI
A Massive Data Parallel Computational Framework for Petascale/Exascale Hybrid Computer Systems
异构系统在高性能计算（HPC）系统上变得越来越普遍。即使使用像CUDA和OpenCL这样的工具，在GPU上获得最佳性能也是一项重要的任务。简化此任务的方法包括Merge（用于异构多核系统的基于库的框架），Zippy（用于在多个GPU上并行执行代码的框架），BSGP（用于GPU上通用计算的新程序设计语言）和CUDA-lite（基于注释转换代码的CUDA增强）。此外，正在努力改进编译器工具，以实现GPU仿射循环嵌套的自动并行化和优化，以及将OpenMP并行代码自动转换为CUDA。在本文中，我们提出了一种替代方法：一个新的计算框架的大规模数据的并行科学代码的应用程序，适用于这样的千万亿次/亿亿次混合动力系统的高度可扩展的仙人掌框架的发展。作为其实用性的第一个非平凡的演示，我们成功地开发了一个新的3D CFD代码，实现了改进的性能。
2012-01-10 cs.DC
Quantum Algorithms and Simulation for Parallel and Distributed Quantum Computing
构建大规模量子计算机的一种可行方法是将小规模量子计算机与量子网络互连，以创建更大的分布式量子计算机。当为这种分布式量子计算机设计量子算法时，可以利用系统中固有的附加并行化和分布能力。分布式量子计算需要克服的另一个困难是，需要一个复杂的控制系统来协调各种组件。在这项工作中，我们旨在解决这些问题。我们明确定义了量子算法的分布式意味着什么，然后提出了各种符合定义的量子算法。我们讨论了潜在的好处，并提出了一个高层次的计划控制系统。有了这个，我们提出了我们的软件框架称为Interlin-q，一个模拟平台，旨在简化设计和验证并行和分布式量子算法。我们通过使用Interlin-q实现一些讨论过的算法来演示Interlin-q，并规划将Interlin-q开发成分布式量子计算机控制系统的未来步骤。
2022-04-07 cs.DC quant-ph
P = FS: Parallel is Just Fast Serial
我们证明了同构处理器的并行处理在逻辑上等价于快速串行处理。反向命题也可以用来识别应用并行的模糊机会。据我们所知，该定理以前在排队论文献中还没有报道过。一个合理的解释是提供为什么这可能是。基本齐次定理也被扩展到优化异构并行阵列的延迟。
2020-10-02 cs.DC cs.NI cs.PF
Fast Parallel Exact Inference on Bayesian Networks: Poster
The University of Western Australia（西澳大利亚大学）；Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Hong Kong University of Science and Technology（香港科技大学）
贝叶斯网络是一种图形化的、可解释的机器学习模型，因此具有很大的吸引力。然而，精确的推理BN是耗时的，特别是对于复杂的问题。为了提高效率，我们提出了一个快速BN精确推理解决方案命名为Fast-BNI多核CPU。Fast-BNI通过紧密集成粗粒度并行和细粒度并行的混合并行来提高精确推理的效率。我们还提出了进一步简化BN精确推理的瓶颈操作的技术。Fast-BNI源代码可在https://github.com/jjiantong/FastBN上免费获得。
2022-12-08 cs.AI cs.DC
Basic Parallel and Distributed Computing Curriculum
随着多核处理器的出现及其快速扩展，很明显，{ \em并行计算}现在是计算机科学和工程（及相关）课程的真正要求。除了并行计算设备的普遍性之外，我们还应该考虑到这样一个事实，即有很多现有的软件是以顺序模式实现的，因此需要适应并行执行。因此，它要求程序员能够设计并行程序，也有一些技能，从一个给定的顺序代码移动到相应的并行代码。在本文中，我们提出了一个基本的教育方案，如何在并行计算的普通计算机科学家和工程师的一致和有效的背景。
2018-02-12 cs.DC
Numerical Simulation of Multi-phase Flow in Porous Media on Parallel Computers
针对大规模黑油模拟问题，开发了一种并行油藏模拟器。它处理水、油、气三相和水、油、气三组分。该模拟器可以计算传统的储层模型和天然裂缝模型。支持各种井作业，如水驱、气驱和聚合物驱。操作约束可以是固定的井底压力、固定的流体速率以及它们的组合。该模拟器基于我们的内部平台，该平台提供网格，以单元为中心的数据，线性求解器，预处理器和良好的建模。模拟器和平台使用MPI进行计算节点之间的通信。我们的模拟器能够模拟具有数亿个网格单元的大型油藏模型。数值模拟结果表明，该模拟器与商业模拟器相匹配，具有良好的可扩展性。
2016-10-07 cs.CE cs.DC physics.comp-ph
A parallel fast multipole method for a space-time boundary element method for the heat equation
提出了一种新的方法，将抛物型快速多极子方法并行化，用于热传导方程的时空边界元方法。我们利用所涉及的运营商的特殊的时间结构，提供一个有效的分布式并行化的时间和单向通信模式。在上面，我们应用基于任务的共享内存并行化和SIMD向量化。在数值测试中，我们观察到我们的并行化方法的高效率。
2023-01-29 cs.DC cs.NA math.NA
Geometric Partitioning and Ordering Strategies for Task Mapping on Parallel Computers
提出了一种将应用程序的MPI任务映射到并行计算机核上的新方法，从而减少了应用程序的通信时间。我们解决稀疏节点分配的情况下，分配给一个工作的节点不一定位于一个连续的块，也不一定在网络中彼此接近，虽然我们的方法推广到连续的分配以及。目标是将任务分配给核心，以便由“附近”的核心执行相互依赖的任务，从而降低消息必须传输的距离，网络中的拥塞量以及通信的总体成本。我们的新方法适用于几何划分算法的任务和处理器，并分配任务部分相应的处理器部分。我们还提出了一些算法优化，利用网络或应用程序的特定功能。我们发现，对于结构化有限差分迷你应用程序MiniGhost，我们的映射方法减少了通信时间高达75%相对于MiniGhost的默认映射128 K核心的Cray XK 7稀疏分配。对于大气建模代码E3 SM/HOMME，我们的方法减少了31%的IBM BlueGene/Q连续分配的32 K核心的通信时间。
2018-04-25 cs.DC
Introducing the Quantum Research Kernels: Lessons from Classical Parallel Computing
量子计算代表了计算的范式转变，需要全新的计算机体系结构。然而，从传统的经典计算机工程中可以学到很多东西。在本文中，我们描述了并行研究内核（Parallel Research Kernels），这是一个非常有用的工具，用于设计经典的并行计算系统。这些内核是简单的内核，用来暴露限制经典并行计算性能的瓶颈。我们假设一个类似的量子计算工具，量子研究内核（QRK），可以类似地帮助量子计算系统的软件和硬件的协同设计，我们给出了一些代表性的QRK的例子。
2022-11-02 cs.DC quant-ph
The spatial computer: A model for energy-efficient parallel computation
我们提出了一种新的并行计算模型，适用于空间架构，用于通信的能量在很大程度上取决于通信处理器的距离。在我们的模型中，处理器在一个概念性的二维网格上的位置，它们在其中的距离决定了它们的通信成本。特别是，我们引入了空间计算的能量成本，它测量所有消息传播的总距离，并研究了通信的深度，它测量了消息链的最大跳数。我们显示匹配的能量下限和上限的许多基础问题，包括排序，中位数选择和矩阵乘法。我们的模型不依赖于输入形状和大小以外的任何参数，简化了算法分析。我们还展示了如何在我们的模型中模拟PRAM算法，以及如何获得一个更复杂的模型，介绍了作为参数的处理器的本地存储器的大小的结果。
2023-01-17 cs.DC cs.DS
PipeDream: Fast and Efficient Pipeline Parallel DNN Training
PipeDream是一个用于GPU的深度神经网络（DNN）训练系统，通过跨多台机器的流水线执行来并行计算。它的流水线并行计算模型避免了大型模型和/或有限的网络带宽导致高通信计算比时数据并行训练所面临的减速。与数据并行训练相比，PipeDream将大型DNN的通信减少了高达95%，并允许通信和计算的完美重叠。PipeDream通过系统地划分DNN层来保持所有可用的GPU的生产力，以平衡工作并最大限度地减少通信，版本模型参数用于向后传递正确性，并以循环方式调度不同输入的向前和向后传递，以优化“目标准确性时间”。在两个不同的集群上使用五个不同的DNN进行的实验表明，与数据并行训练相比，PipeDream的准确率提高了5倍。
2018-06-08 cs.DC
Parallel implementation of fast randomized algorithms for the decomposition of low rank matrices
我们分析了并行性能的随机插值分解分解低秩复值高斯随机矩阵高达64 GB。我们选择了Cray XMT超级计算机，因为它提供了一个几乎理想的PRAM模型，允许快速调查并行算法，而不会混淆硬件特性。我们得到，非方阵的性能变得非常好，整体运行时间超过70倍的速度在128个处理器。我们还验证了数值发现的误差范围仍然保持在矩阵的近两个数量级比以前测试的。
2014-04-01 cs.DC
A Fast Causal Profiler for Task Parallel Programs
本文提出了TASKPROF，一个分析器，确定任务并行程序的并行性瓶颈。它利用任务并行执行的结构来执行细粒度的工作归属到程序的各个部分。TASKPROF使用硬件性能计数器来执行细粒度测量，从而最大限度地减少了干扰。TASKPROF的配置文件执行使用多核并行运行。TASKPROF的因果配置文件使用户能够估计在并行性的改进时，一个区域的代码进行了优化，即使具体的优化是未知的。我们使用TASKPROF隔离了23个使用英特尔线程构建模块库的应用程序中的并行性瓶颈。我们已经设计了并行化技术在五个应用程序中增加并行度的数量级使用TASKPROF。我们的用户研究表明，开发人员能够使用TASKPROF轻松隔离性能瓶颈。
2017-07-02 cs.DC cs.PL
FastMPS: Revisit Data Parallel in Large-scale Matrix Product State Sampling
Fast-MPS通过结合数据并行与张量并行，实现大规模MPS采样效率的显著提升，达到10倍以上的加速效果。
2025-12-23 cs.DC
Distributed Parallel Inference on Large Factor Graphs
Carnegie Mellon University（卡内基梅隆大学）；Intel Research（英特尔研究院）
随着计算机集群变得越来越普遍，人工智能领域遇到的问题越来越多，对高效并行推理算法的需求也越来越大。我们考虑的问题，并行推理的大因素图在分布式内存设置的计算机集群。我们开发了一个新的高效的并行推理算法，DBRSplash，它结合了过分割图分割，信念剩余调度，和统一的工作飞溅操作。我们凭经验评估DBRSplash算法在120处理器集群，并证明线性超线性的性能增益大因素图模型。
2012-05-09 cs.AI cs.DC
A Review on Parallel Virtual Screening Softwares for High Performance Computers
药物发现是生物制药公司中最昂贵、最耗时、最具挑战性的项目，其目的是从大型化学库中识别和优化先导化合物。先导化合物应当对与疾病相关的靶标具有高亲和力结合和特异性，此外，它们应当具有有利的药效学和药代动力学特性（归类为ADMET特性）。总的来说，药物发现是一个多变量优化，可以在超级计算机中使用可靠的评分函数进行，该函数是药物样化合物的结合亲和力或抑制潜力的量度。主要问题是化学空间中化合物的数量巨大，使得计算药物发现非常苛刻。然而，与实验性高通量筛选相比，它更便宜，耗时更少。由于问题是要找到许多蛋白质-配体复合物的最稳定（全局）最小值（大约10个$^6$至10个$^{12}$），因此可以利用计算机虚拟筛选的并行实施来在可负担的时间内进行药物发现。在这篇综述中，我们讨论了虚拟筛选程序中的并行化算法的实现。不同的评分函数和搜索算法的性质进行了讨论，连同性能分析的几个对接软件移植到高性能计算架构。
2021-11-30 cs.DC
Design and Implementation of a Distributed Middleware for Parallel Execution of Legacy Enterprise Applications
典型的企业使用计算机局域网来执行其业务。在非工作时间，这些联网计算机的计算能力未得到充分利用或未使用。为了利用这种计算能力，应用程序必须重新编码以利用计算中固有的并发性，这对于没有任何源代码的遗留应用程序显然是不可能的。本文提出了一个分布式中间件的设计和实现，它可以通过并行化在多台网络计算机上自动执行一个遗留应用程序，该中间件在网络中的不同主机上并行运行多个二进制可执行代码副本。它封装了遗留应用程序的二进制可执行代码，以便捕获内核级数据访问系统调用，并以安全和无冲突的方式在多台计算机上分布式执行。该中间件还采用了动态调度技术，通过清除网络中主机的可用CPU周期，在最短的时间内执行目标应用程序。这种动态调度还支持主机的CPU可用性随时间变化，并适当地重新调度执行计算的副本，以最大限度地减少执行时间。这个中间件的原型实现已经开发的设计概念的证明。通过几个典型的案例研究对该实现进行了评估，测试结果证实了该中间件的工作符合预期。
2009-08-20 cs.DC
Fast and Work-Optimal Parallel Algorithms for Predicate Detection
最近，谓词检测问题被证明是在并行复杂性类NC。在本文中，我们给出了第一个工作最优的并行算法来解决分布式计算的谓词检测问题的$n$进程和最多$m$状态的进程。以前最著名的并行谓词检测算法，MixelCut，具有时间复杂度$O(\log mn)$和工作复杂度$O(m^3n^3\log mn)$。我们给出了两个算法，一个是具有时间复杂度$O(mn)$和工作复杂度$O(mn^2)$的确定性算法，另一个是具有时间复杂度$(mn)^{1/2 + o(1)}$和工作复杂度$\tilde{O}(mn^2)$的随机算法。此外，我们的算法改进后的空间复杂度的切割。我们的两个算法都具有空间复杂度$O(mn^2)$，而EscherelCut具有空间复杂度$O(m^2n^2)$。
2020-12-02 cs.DC cs.DS
A Framework for Practical Parallel Fast Matrix Multiplication
Stanford University（斯坦福大学）；Sandia National Laboratories（桑迪亚国家实验室）
本文提出一个框架，展示新型快速矩阵乘法算法在中等规模问题上优于传统算法和Strassen算法，同时探讨矩阵形状对算法选择的影响，并开发代码生成工具实现多种并行变体。
2014-09-09 cs.DC cs.MS cs.NA
Fast computation of computer-generated hologram using Xeon Phi coprocessor
我们报告使用Xeon Phi协处理器快速计算计算机生成的全息图（CGH），该协处理器在一个芯片上具有基于x86的处理器，最近由英特尔发布。CGH可以产生任意的光波前，因此，对于许多应用是有前途的技术：例如，三维显示器、衍射光学元件和任意光束的产生。CGH产生巨大的计算成本。在本文中，我们描述了几个计算全息图生成算法的至强Phi上的实现，并在性能和编程之间的至强Phi，CPU和图形处理单元（GPU）的易用性进行比较。
2013-09-11 cs.DC physics.comp-ph physics.optics
Mangrove: Fast and Parallelizable State Replication for Blockchains
Mangrove提出为每个智能合约使用独立共识实例的并行状态复制方案，通过并行乐观协议和拜占庭可靠广播，在乐观条件下实现2步通信延迟。
2025-09-08 cs.DC
Parallel Algorithms for Constructing Data Structures for Fast Multipole Methods
我们提出了有效的算法来建立快速多极方法所需的数据结构和列表。该算法能够有效地实现在串行，数据并行GPU和分布式架构。利用这些算法，可以将FMM有效地映射到GPU或分布式异构CPU-GPU系统上。此外，在动态问题中，随着粒子的分布改变，构建数据结构的降低的成本提高了性能。使用这些算法，我们展示了示例高保真仿真与大的问题大小，通过使用FMM在单个和多个异构计算设施配备多核CPU和众核GPU。
2013-01-08 cs.DC cs.MS
Intel Cilk Plus for Complex Parallel Algorithms: "Enormous Fast Fourier Transform" (EFFT) Library
在本文中，我们展示了并行计算的大型一维离散快速傅立叶变换（DFFT）的多核英特尔至强处理器的方法。基于递归Cooley-Tukey方法的DFFT必须控制高速缓存利用率、内存带宽和向量硬件使用率，并且同时跨多个线程或计算节点进行缩放。我们的方法基于DFFT的单线程英特尔数学内核库（MKL）实现，并使用英特尔Cilk Plus框架实现线程并行。我们演示了英特尔Cilk Plus处理以嵌套循环为中心的并行递归的能力，而无需根据内核数量或缓存指标调整代码。我们的工作成果是一个名为EFFT的库，它执行大小为2^N（N>=21）的1D DFT的速度比相应的英特尔MKL并行DFT实现快1.5倍，比FFTW快2.5倍。EFFT的代码可以在GPL v3许可证下免费下载。这项工作提供了一种新的高效DFFT实现，同时演示了如何使用英特尔Cilk Plus框架优化具有复杂并行模式的计算机科学问题以实现高性能的教育示例。
2014-09-19 cs.DC cs.DS cs.MS
High-Performance Computing for Scheduling Decision Support: A Parallel Depth-First Search Heuristic
University of Regensburg（雷根斯堡大学）
许多学科--包括信息系统、计算机科学和运营管理--都面临着作为重要决策任务的调度问题。由于许多调度问题是NP难的，在很强的意义上，有必要发展解决方案。对于不相关并行机上的带启动时间的调度问题，其求解方法的研究还很有限，而且据我们所知，并行计算机体系结构还没有得到充分利用。我们通过提出和实施一个新的解决方案启发式和测试不同的并行化策略来解决这个差距。在我们的计算实验中，我们表明，我们的启发式计算接近最优的解决方案，即使是大型的实例，计算时间可以大大减少我们的并行化方法。
2016-05-16 cs.AI cs.DC
Feature Selection with Evolving, Fast and Slow Using Two Parallel Genetic Algorithms
Istanbul Bilgi University（伊斯坦布尔比尔基大学）；Tam Faktoring（塔姆保理公司）；Istanbul Marmara University（伊斯坦布尔马尔马拉大学）
特征选择是机器学习中最具挑战性的问题之一，特别是在处理高维数据时。在本文中，我们解决的问题，特征选择，并提出了一种新的方法，称为进化快，慢。这种新方法是基于使用两个并行的遗传算法具有高和低的突变率，分别。进化的快与慢需要一种新的并行架构，将快速进化的自动系统和缓慢进化的努力系统结合起来。有了这个体系结构，探索和开发可以同时进行。具有高突变率的快速进化可用于利用长跳跃来探索搜索空间中的新未知位置;具有低突变率的缓慢进化可用于利用短移动来利用搜索空间中的先前已知位置。我们的实验表明，进化快和慢实现了非常好的结果，在准确性和功能消除。
2020-05-11 cs.AI cs.DC cs.NE
FastEEP: Fast Intra-Instance Elastic Scaling for Expert-Parallel MoE Serving
Institute of Parallel and Distributed Systems (IPADS), Shanghai Jiao Tong University（上海交通大学并行与分布式系统研究所）
FastEEP是一种MoE服务的快速实例内弹性扩展系统，通过分离可复用结构与当前EP配置资源实现快速扩展，其扩展速度比现有vLLM方法快4.5-11.7倍，可高效细粒度扩展MoE服务。
2026-10-14 cs.DC cs.LG
An Implementation of Back-Propagation Learning on GF11, a Large SIMD Parallel Computer
Carnegie Mellon University（卡内基梅隆大学）；IBM T.J. Watson Research Center（IBM T.J. 沃森研究中心）
当前的联结主义模拟需要巨大的计算资源。我们描述了一个神经网络模拟器的IBM GF11，一个实验的SIMD机器与566个处理器和峰值算术性能为11千兆次浮点运算。我们提出了我们的并行实现的反向传播学习算法，提高效率的技术，性能测量的NetTalk文本到语音的基准，和模拟器的性能模型。我们的模拟器目前以每秒9亿个连接的速度运行反向传播学习算法，其中每个"每秒连接"包括向前和向后传递。这个数字是在只有356个处理器工作的机器上获得的;所有566个处理器都在工作，我们的模拟将以每秒超过10亿个连接的速度运行。我们的结论是，GF11非常适合神经网络仿真，我们分析了我们使用的机器，以确定哪些功能是最重要的高性能。
2018-01-04 cs.DC cs.LG cs.NE
Fast Parallel Bayesian Network Structure Learning
The University of Western Australia（西澳大学）
贝叶斯网络是机器学习中广泛使用的表示不确定性知识的图形模型。主流的BN结构学习方法需要进行大量的条件独立性（CI）测试。学习过程非常耗时，特别是对于高维问题，这阻碍了BN被更多的应用所采用。现有的作品试图加速学习过程中的并行，但面临的问题，包括负载不平衡，昂贵的原子操作和占主导地位的并行开销。在本文中，我们提出了一个快速的解决方案命名为Fast-BNS在多核CPU上，以提高BN结构学习的效率。Fast-BNS由一系列效率优化提供支持，包括（i）设计动态工作池以监视边缘的处理并更好地调度线程之间的工作负载，（ii）将具有相同端点的边缘的CI测试分组以减少不必要的CI测试的数量，（iii）使用高速缓存友好的数据存储来提高内存效率，以及（iv）在运行中生成调节集以避免额外的存储器消耗。一个全面的实验研究表明，Fast-BNS的顺序版本是高达50倍的速度比它的同行，和Fast-BNS的并行版本达到4.8到24.5倍的加速比国家的最先进的多线程解决方案。此外，Fast-BNS具有良好的可扩展性的网络规模以及样本大小。Fast-BNS源代码可在www.example.com上免费获得。
2022-12-08 cs.AI cs.DC cs.LG
Parallel Implementation of Distributed Global Optimization (DGO)
分布式全局优化（DGO）[13]在MP-1和NCUBE并行计算机上的并行实现显示了该算法性能的近似O（n）增长。因此，在并行处理器上实现DGO可以弥补该算法的唯一缺点，即随着维数的增加，执行时间为O（n2）。DGO的并行实现的加速因子是相对于相同的问题的顺序执行时间在IBM-IV计算机上测量的。在MP-1上对算法进行SIMD实现，对于n = 9的优化问题，总加速比为126，实现了最佳的加速。该优化问题分布在Mas-Par的128个PE上。
2020-12-16 cs.DC math.OC
Construction of an algorithm in parallel for the Fast Fourier Transform
它已被设计，建立和执行的快速傅立叶变换（FFT）的代码，编译和执行的2^n计算机集群下的操作系统MacOS和使用例程MacMPI。作为实际应用，该代码已被用来获得从天文imagen的转换，执行一个过滤器，并与转换逆恢复的图像与由filter.The计算机的变量下OAN集群的名称安装在天文台国家在哥伦比亚，并在这已经执行了几个应用程序。
2001-03-01 cs.DC cs.DS
Estimating the Potential Speedup of Computer Vision Applications on Embedded Multiprocessors
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；STMicroelectronincs（意法半导体）
计算机视觉应用构成了嵌入式多核架构的关键驱动力之一。尽管新架构中可用内核的数量不断增加，但设计应用程序以最大限度地利用平台仍然是一项挑战。从这个意义上说，并行性能预测工具可以帮助开发人员了解应用程序的特性，并找到最合适的并行化策略。在这项工作中，我们提出了一种方法，早期并行性能估计嵌入式多处理器从顺序应用程序的痕迹。我们描述了它在Parana中的实现，Parana是一个快速跟踪驱动的模拟器，针对STMicroelectronics的STxP70专用多处理器（ASMP）上的OpenMP应用。FAST关键点检测器应用的结果显示，与参考循环近似模拟器相比，误差幅度小于10%，建模工作量更低，执行时间最多快20倍。
2015-02-26 cs.CV cs.DC cs.PF
Fast Matlab compatible sparse assembly on multicore computers
Uppsala University（乌普萨拉大学）
本文提出一种高效的稀疏装配算法，通过并行化利用多核计算机提升速度，实现5到10倍的加速效果。
2015-10-23 cs.DC cs.MS cs.NA
A new tool for the performance analysis of massively parallel computer systems
Imperial College London（帝国理工学院）
提出基于常微分方程（ODE）的GPA工具，用于大规模系统的性能分析，相比随机模拟更具可扩展性，并首次通过微分方程近似生成高阶矩分析，理论证明方差度量在模型规模极限下趋于真实值。
2010-06-26 cs.DC cs.NA cs.PF
