Ethane: A Heterogeneous Parallel Search Algorithm for Heterogeneous Platforms
在本文中，我们提出了乙烷，一个并行搜索算法，专门为其执行异构的硬件环境。与乙烷，我们提出了一个算法的灵感来自于同名化合物的结构，实现了一个异构岛模型的基础上，其化学键的结构。我们还提出了一个模式来描述一个家庭的并行异构metabolistics启发的碳氢化合物的结构在自然界中，HydroCM（碳氢化合物启发metabolistics），建立一个相似的原子和计算机之间，化学键和通信链接。我们的目标是优雅地将不同能力的计算机与不同行为的算法（本研究中的GA和SA）相匹配，所有这些计算机都合作解决同一个问题。分析将表明，Ethane虽然简单，但可以比文献中非常流行的众所周知的泛域和分布式算法更快、更鲁棒地解决搜索问题。
2011-05-31 cs.DC cs.NE
Parallel Programming Models for Heterogeneous Many-Cores : A Survey
异构多核现在是从嵌入式系统到超级计算机的现代计算系统的组成部分。虽然异构众核设计提供了高能效高性能的潜力，但只有当应用程序适当并行并且可以匹配底层异构平台时，这种潜力才能被释放。在这篇文章中，我们提供了一个全面的调查异构众核架构的并行编程模型，并审查编译技术，提高可编程性和可移植性。我们研究了各种软件优化技术，以最大限度地减少异构计算设备之间的通信开销。我们为各种不同的研究领域提供了路线图。最后，我们对该领域的开放问题和潜在的研究方向进行了讨论。这篇文章既提供了对快速发展的异构编程领域的一个容易理解的介绍，也提供了其主要成就的详细参考书目。
2020-05-05 cs.DC cs.PL
Heterogeneous Federated Fine-Tuning with Parallel One-Rank Adaptation
University of Nevada, Reno（内华达大学雷诺分校）
Fed-PLoRA通过并行一秩适应和Select-N-Fold策略，解决异构联邦微调中的初始化和聚合噪声问题，提升LLM微调的准确性和效率。
2026-02-18 cs.DC
A Parallel Genetic Algorithm for Three Dimensional Bin Packing with Heterogeneous Bins
提出了一种基于Hadoop Map-Reduce框架的并行遗传算法，用于解决具有异构箱的三维装箱问题。最常见的三维装箱问题，包装成最小数量的相同大小的箱子给定的集合被证明是NP困难的。变异的三维装箱问题允许不同的箱子尺寸和旋转的箱子是计算上更困难的比普通的三维装箱问题。所提出的Map-Reduce实现有助于在多台机器上并行运行用于具有异构箱的三维装箱的遗传算法，并且在相对较短的时间内计算解决方案。
2014-11-17 cs.DC cs.NE
Coarse-Grain Performance Estimator for Heterogeneous Parallel Computing Architectures like Zynq All-Programmable SoC
异构计算正在成为节能系统设计的强制性要求。基于这一目标，现代异构平台，如Zynq全可编程SoC，集成了基于ARM的SMP和可编程逻辑，已经被设计出来。然而，这些平台引入了大的设计周期组成的硬件/软件分区，粒度和硬件加速器的数量，硬件/软件集成，比特流生成等，本文提出了一种性能并行异构估计系统的硬件/软件协同设计和运行时异构任务调度的关键。结果表明，程序员可以快速决定，仅基于她/他的Ompss（OpenMP +扩展）的应用程序，这是协同设计，实现近最佳的异构并行性能，基于所提出的方法，并考虑只合成估计结果。所提出的方法将程序员协同设计决策从数小时减少到数分钟，并在Zynq全可编程SoC上显示出硬件/软件异构并行性能估计的高潜力。
2015-08-27 cs.DC cs.PF
Simulating Unified Tensor Resharding in heterogeneous AI systems
IIIT-Delhi（德里信息与技术学院）；IIT Hyderabad（海德拉巴印度理工学院）；Marvell Technology Inc.（美满电子科技）
提出异构感知模拟器Xsim，通过非均匀负载划分、定制环构建和分块分区等方法，准确模拟异构分布式LLM训练，误差小于5%。
2026-06-26 cs.DC
Resource-efficient Parallel Split Learning in Heterogeneous Edge Computing
提出EdgeSplit框架，通过自适应模型分割和任务调度优化异构边缘设备上的并行分割学习，有效缩短训练时间并超越现有基线。
2024-03-23 cs.DC
Response Time Bounds for Typed DAG Parallel Tasks on Heterogeneous Multi-cores
异构多核利用不同架构的优势来执行特定类型的工作负载，通常提供更高的性能和能效。在本文中，我们研究的最坏情况下的响应时间（WCRT）分析\emph{typed}调度的并行DAG任务异构多核，其中的DAG中的每个顶点的工作负载只允许在一个特定类型的核心上执行。这个问题唯一已知的WCRT界限是非常悲观的，并遭受\emph{non-self-sustainability}问题。在本文中，我们提出了两个新的WCRT界。第一个新的边界具有与现有边界相同的时间复杂度，但更精确，并解决了其\emph{non-self-sustainability}问题。第二个新的界限探索更详细的任务图结构信息，以大大提高精度，但计算成本更高。我们证明了当系统中的类型数是一个变量时，计算第二界的问题是强NP-困难的，并给出了当类型数是一个常数时，具有多项式时间复杂度的有效算法.随机生成的工作负载的实验表明，我们提出的新方法是显着更精确的比现有的界限，同时具有良好的可扩展性。
2018-08-07 cs.DC
Rethinking Dynamic Networks and Heterogeneous Computing with Automatic Parallelization
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
本文针对动态网络与异构节点场景，提出基于仿真的自动并行规划方法，并通过策略剪枝加速搜索，提升大语言模型训练性能与适应性。
2025-06-03 cs.AI cs.DC
Astra: Efficient and Money-saving Automatic Parallel Strategies Search on Heterogeneous GPUs
提出 Astra 框架，在异构 GPU 上联合搜索 GPU 配置与并行参数，并通过训练耗时建模实现高吞吐、低成本的自动并行策略，搜索快且准确率超 95%。
2025-02-19 cs.AI cs.DC
Online Parallel Portfolio Selection with Heterogeneous Island Model
我们提出了一个在线并行投资组合选择算法的基础上，通常用于并行进化算法的岛屿模型。在我们的例子中，每个岛运行不同的优化算法。分布式计算由一个中央计划器管理，该计划器在算法执行期间定期更改运行方法--删除不太成功的方法，同时添加更成功方法的新实例。我们比较了不同类型的规划者在异构岛屿模型之间，也对传统的同质模型的广泛的一组问题。测试包括不同的个人和不同的适应度函数评估的持续时间表示的实验。结果表明，异构模型是一个更一般和通用的计算工具相比，同质模型。
2018-06-12 cs.DC cs.NE
Fast Switching Serial and Parallel Paradigms of SNN Inference on Multi-core Heterogeneous Neuromorphic Platform SpiNNaker2
针对SNN计算范式性能优化问题，提出首个集成串行与并行范式的SNN快速切换编译系统，通过Adaptive Boost分类器在编译前预判层级最优范式，在SpiNNaker2平台上节省资源与编译时间。
2024-07-12 cs.DC
ADHA: Automatic Data layout framework for Heterogeneous Architectures
数据布局在确定运行在给定架构上的给定应用程序的性能方面起着至关重要的作用。现有的多核和异构系统的并行编程框架将选择数据布局的责任留给了程序员。因此，将数据布局选择的负担转移到优化编译器上可以极大地提高程序员的生产力和应用程序的性能。在这项工作中，我们介绍{ \ADHA }：一个两级的分层制定的数据布局问题的现代异构体系结构。我们已经创建了一个参考实现ADHA在异构Habanero-C（H2 C）并行编程系统。对于在CPU+GPU异构平台上运行的两个基准程序，与手动指定的布局相比，ADHA显示出高达6.92 $\times$的显著性能优势。
2014-07-18 cs.DC
Optimization of hybrid parallel application execution in heterogeneous high performance computing systems considering execution time and power consumption
许多重要的计算问题需要利用高性能计算（HPC）系统，所述高性能计算（HPC）系统由组合越来越多数量的具有各种特性的设备的多级结构组成。利用这样的系统的全部功率需要编程在两个意义上混合的并行应用：它们可以同时在多个级别上利用并行性并且将专用于各种类型的计算设备的编程接口组合在一起。并行处理的主要目标是提高处理性能，从而减少应用程序的执行时间。国际HPC社区的目标是到2020年开发“Exascale”超级计算机（能够维持每秒$10^{18}$浮点运算）。实现该目标的主要障碍之一是计算系统的功耗超过能量供应限制。考虑到这一标准的新的编程模型和算法是实现这一目标需要取得重大进展的关键领域之一。本论文的目标是提取一个通用模型的混合并行应用程序执行在异构HPC系统，这是一个现有的具体方法的合成，并开发一种优化方法，这种执行旨在最大限度地减少应用程序的执行时间和功耗的矛盾目标所利用的计算硬件。这两种意义的应用程序的混合性的执行参数的非平凡的相互依赖性和所考虑的优化标准的影响的多重性的结果。应用程序进程在计算设备上的映射也对这些标准产生重大影响。
2018-09-20 cs.DC
Challenges of Translating HPC codes to Workflows for Heterogeneous and Dynamic Environments
在本文中，我们想分享我们的经验，将计算流体动力学（CFD）问题的并行代码转换为RedisDG工作流引擎的并行版本。该系统能够捕捉异构和高度动态的环境，由于机会主义的调度策略。我们展示了如何移动到“HPC即服务”的领域，以使用异构平台。我们主要解释，通过CFD用例，如何转换的并行代码，我们表现出的挑战，以“展开”的任务图动态，以提高整体性能（在广义上）的工作流引擎。我们特别讨论了这种动态特性对工作流引擎的影响。本文指出，在我们重新审视云计算、边缘计算等新范式的潜力的情况下，高性能计算的新模型是可能的。
2021-05-24 cs.DC
Scalable and massively parallel Monte Carlo photon transport simulations for heterogeneous computing platforms
我们提出了一个高度可扩展的蒙特卡罗（MC）三维光子输运模拟平台，设计用于异构计算系统。通过开发一个大规模并行MC算法，使用开放计算语言（OpenCL）框架，本研究扩展了我们现有的图形处理单元（GPU）加速MC技术，一个高度可扩展的供应商无关的异构计算环境，实现显着提高性能和软件可移植性。许多并行计算技术的研究，以实现广泛的计算硬件的便携式性能。此外，开发了多个线程级和设备级负载平衡策略，以使用多个中央处理单元（CPU）和GPU来获得高效的仿真。
2018-01-25 cs.DC physics.comp-ph
Static task mapping for heterogeneous systems based on series-parallel decompositions
Otto-von-Guericke University Magdeburg（马格德堡奥托·冯·古里克大学）
本文提出基于图分解和建模评估的任务映射原则，通过串行-并行分解生成高效任务映射算法，优于混合整数线性规划和HEFT算法，在复杂环境中提升调度效率。
2025-02-27 cs.DC
Taskflow: A Lightweight Parallel and Heterogeneous Task Graph Computing System
University of Utah（犹他大学）；MathWorks；Peking University（北京大学）
任务流旨在使用基于轻量级任务图的方法简化并行和异构应用程序的构建。任务流引入了一个具有表达能力的任务图编程模型，以帮助开发人员在异构计算平台上实现并行和异构分解策略。我们的编程模型区分自己作为一个非常一般的类的任务图并行与图中的控制流，使端到端的并行优化。为了支持我们的模型具有高性能，我们设计了一个高效的系统运行时，解决了我们的模型中出现的许多新的调度挑战，并优化了延迟，能源效率和吞吐量的性能。我们已经证明了在现实世界中的应用程序的任务流有前途的性能。例如，Taskflow解决大规模机器学习工作负载的速度比工业系统oneTBB快29%，内存少1.5倍，吞吐量高1.9倍，机器上有40个CPU和4个GPU。我们已经开放了Taskflow的源代码，并将其部署给开源社区中的大量用户。
2021-09-06 cs.AI cs.DC
Perfectly load-balanced, optimal, stable, parallel merge
我们提出了一个简单的，工作最佳和同步免费的解决方案，稳定地合并在并行两个给定的，有序的数组的m和n个元素到一个有序的数组的m+n个元素。的主要贡献是一个新的，简单，快速和直接的算法，确定任何前缀的稳定合并的输出序列，准确的前缀的两个输入序列需要产生这个输出前缀。更确切地说，对于所得到的、但尚未构造的表示输出前缀的输出数组中的任何给定索引（秩），该算法计算表示所需输入前缀的两个输入数组中的每一个中的索引（共秩），而不必合并输入数组。时间复杂度为O（log min（m，n））。该算法被用来设计一个完美的负载平衡，稳定，并行合并算法，其中每个p个处理元素有完全相同数量的输入元素合并。与其他方法的并行合并问题相比，我们的算法是相当简单，可以更快的两倍。与以往的算法相比，解决共同排名问题，这里给出的算法是直接的，并保持稳定的存在重复的元素，在没有额外的空间或时间成本。当处理单元数量p不超过（m+n）/log min（m，n）时，并行合并算法具有最佳加速比。它易于在共享和分布式存储并行系统上实现。
2013-11-12 cs.DC
Accelerating Microswimmer Simulations via a Heterogeneous Pipelined Parallel-in-Time Framework
Beijing Forestry University（北京林业大学）；University of Washington（华盛顿大学）
本文提出一种异构CPU-GPU框架，通过两级并行策略加速黏性流体中长时微游泳者模拟，克服传统Parareal方法的串行瓶颈，实现大规模生物物理系统复杂行为的可扩展模拟。
2026-04-13 cs.DC
Enabling Dynamic Selection of Implementation Variants in Component-Based Parallel Programming for Heterogeneous Systems
针对异构系统编程需掌握多框架的难题，提出基于组件的COMPAR框架，通过编译器指令扩展与StarPU运行时支持，实现运行时组件实现变体的智能选择，在保障性能的同时简化编程、提升代码复用性。
2023-11-06 cs.DC cs.PL
Leveraging access mode declarations in a model for memory consistency in heterogeneous systems
在向软件公开不相交内存空间的系统上，程序必须解决内存一致性问题并执行数据传输，以便始终访问有效数据。存在几种方法来确保所访问的存储器的一致性。在这里，我们感兴趣的声明性方法的验证，其中计算的每个组件都注释有一个访问模式，声明该组件读取或写入内存的哪一部分。编程框架使用组件注释来保证内存访问的有效性。这是VectorPU中使用的机制，VectorPU是一个用于编程CPU-GPU异构系统的C++库。本文证明了VectorPU中采用的软件缓存一致性机制的正确性。在VectorPU的范围之外，本文提供了一种简单有效的内存一致性机制的形式化，该机制基于每个组件对每个内存空间的影响的显式声明。我们提出的形式主义也考虑到数组的一个单一的有效性状态存储在整个数组;处理重叠数组的其他机制也进行了研究。
2019-10-24 cs.DC
A parallel pattern for iterative stencil + reduce
我们提倡使用Loop-of-Stencil-Reduce模式来简化异构多核平台上数据并行程序的实现。Loop-of-stencil-reduce足够通用，可以在数据并行和流应用程序中或两者的组合中使用map、reduce、map-reduce、stencil、stencil-reduce，以及更重要的是，它们在循环中的使用。该模式使得在不同的GPU上部署单个模板计算内核成为可能。我们讨论了在FastFlow中实现Loop-of-stencil-reduce，FastFlow是一个基于并行模式的应用程序实现框架。实验来说明使用环的模板减少在开发数据并行内核运行在异构系统上。
2016-09-15 cs.DC
Parallel Suffix Array Construction by Accelerated Sampling
本文提出了一种基于加速采样技术的确定性BSP算法，用于构造给定字符串的后缀数组。它运行在最优的O（n/p）本地计算和通信，并需要一个接近最优的O（log log p）同步步骤。该算法提供了一个改进现有算法的同步成本，并加强了采样技术的重要性。
2013-02-23 cs.DC cs.DS
Multithreaded parallelism for heterogeneous clusters of QPUs
本文提出MILQ调度与切割器，通过电路切割和混合整数线性规划优化多量子设备上的批量电路执行时间，相比基线最高提升26%。
2023-11-29 cs.DC quant-ph
HeteGen: Heterogeneous Parallel Inference for Large Language Models on Resource-Constrained Devices
针对资源受限设备上 LLM 推理受 I/O 瓶颈限制的问题，本文提出 HeteGen，利用 CPU/GPU 异构并行与异步重叠降低延迟，推理速度最高较 SOTA 提升逾 317%。
2024-03-02 cs.DC cs.PF
Specx: a C++ task-based runtime system for heterogeneous distributed architectures
本文提出了Specx，一种用现代C++编写的基于任务的运行时系统，通过同时利用CPU和GPU（CUDA/HIP）并将通信纳入任务图来支持分布式异构计算，并在并行应用中展示了其潜力。
2024-11-15 cs.DC cs.SE
MindFlayer SGD: Efficient Parallel SGD in the Presence of Heterogeneous and Random Worker Compute Times
King Abdullah University of Science and Technology（卡布斯大学）
针对分布式场景下工作节点计算时间异构且随机导致现有并行SGD性能下降的问题，提出专门适配该场景的MindFlayer SGD方法，经理论和实验验证其在重尾噪声环境下性能更优，具备鲁棒性与可扩展性。
2025-06-13 cs.DC cs.LG math.OC
Methods for Partitioning Data to Improve Parallel Execution Time for Sorting on Heterogeneous Clusters
本文的目的是介绍一般的技术，以优化排序的并行执行时间的分布式体系结构与处理器的各种速度。这样的应用程序需要一个分区步骤。对于均匀相关的处理器（处理器的速度是由一个恒定的因素），我们开发了一个恒定的时间技术掌握处理器的负载和执行时间在异构环境中，也是一种技术来处理未知的成本函数。对于非一致相关的处理器，我们使用一种基于动态规划的技术。大多数情况下，解决方案都是O（p）（p是处理器的数量），与问题大小n无关。因此，关于我们处理的问题有一个小的开销，但是它固有地受到分区之后的代码部分的时间复杂度的限制。
2006-07-10 cs.DC cs.PF
AD for an Array Language with Nested Parallelism
我们提出了一种技术应用（向前和）反向模式自动微分（AD）的非递归二阶函数阵列语言，支持嵌套并行，主要是为了高效的GPU执行。关键思想是通过依赖于冗余执行来消除对“磁带”的需要，以将差异化代码可能需要的所有程序变量带入每个新范围。通过观察完美嵌套的作用域不引入重新执行来实现有效执行，并且这样的完美嵌套由已知的编译器转换产生，例如，扁平化我们的技术区分循环和批量并行运算符，如地图，减少，直方图，扫描，分散，通过特定的重写规则，并积极优化所产生的嵌套并行代码。我们报告了一个实验评估，比较与现有的AD解决方案，并展示了竞争力的表现，从最近应用的AD文献的九个常见的基准。
2022-02-21 cs.DC cs.PL
Profile-Guided Parallel Task Extraction and Execution for Domain Specific Heterogeneous SoC
在本研究中，我们介绍了一种用C/C++编写的雷达和通信领域的用户应用程序自动转换的方法我们提出了一种在编译过程中使用屏障同步原语来检测用户应用程序二进制文件的方法，该方法使运行时系统能够在可用的计算资源。我们展示了我们的集成编译时和运行时流的能力，通过任务级并行和功能正确的执行现实生活中的应用程序。我们执行四个不同的应用程序，每个执行不同程度的任务级并行基于Xeon的多核同构处理器，我们的集成系统进行验证。我们使用建议的编译和代码转换方法来重新定位每个应用程序，以便在由三个ARM内核和一个FFT加速器组成的异构SoC上执行，该SoC在Xilinx Zynq UltraScale+平台上仿真。我们证明了我们的运行时的能力，处理应用程序的二进制，调度独立的任务在Zynq FPGA上的仿真SoC的可用计算资源的基础上，三种不同的调度算法。最后，我们演示了在Zynq FPGA上分别执行每个应用程序的任务级并行性，以及执行由同一应用程序的多个实例组成的工作负载场景，以及两个不同应用程序的混合，以展示实现应用程序和任务级并行执行的能力。我们的集成方法为应用程序开发人员提供了一条前进的道路，可以充分利用目标SoC，而无需用户成为硬件和并行编程专家。
2022-11-26 cs.AR cs.DC
A Massively Parallel Algebraic Multigrid Preconditioner based on Aggregation for Elliptic Problems with Heterogeneous Coefficients
提出了一种基于非光滑聚合的大规模并行代数多重网格方法。它特别适合于解决异构椭圆问题，因为它使用贪婪的启发式算法进行聚合，检测系数的变化，并防止聚合。在每个进程上使用解耦聚合，在粗略级别上将数据聚集到更少的进程上，它在解决方案的总时间和每次迭代的时间方面都可以很好地扩展到近300，000个核心。由于简单的分段常数插值之间的水平，它的内存消耗低，并允许解决超过100，000，000，000自由度的问题。
2013-09-30 cs.DC cs.MS cs.NA
Diving into 3D Parallelism with Heterogeneous Spot Instance GPUs: Design and Implications
Artificial Intelligence Innovation and Incubation Institute, Fudan University（复旦大学人工智能创新与产业研究院）
AutoHet通过自动优化异构GPU的3D并行计划，实现分布式训练的高效性和恢复速度提升。
2025-12-24 cs.DC cs.NI
Reconfigurable Heterogeneous Parallel Island Models
异构并行岛模型（Heterogeneous Parallel Island Models，HePIM）在其岛中运行不同的生物启发算法（Bio-Inspired Algorithm，BA）。从各种通信拓扑结构和迁移策略微调同质PIM（HoPIM），在其所有岛屿上运行相同的BA，以前的工作介绍了HePIM，提供了有竞争力的质量解决方案，最适合BA在HoPIM。这项工作向前迈进了一步，保持了HePIM提供的种群多样性，并增加了它们的灵活性，允许在执行过程中对岛屿进行BA重新配置：根据它们的性能，岛屿可以在进化过程中动态地替换它们的BA。实验与引入的架构（RecHePIM）被施加到NP-hard问题的排序排列的逆转，使用四种不同的BA，即简单的遗传算法，双点交叉遗传算法，差分进化，和自调整粒子群优化。结果表明，新的可重构异构模型计算质量更好的解决方案比HePIM关闭与HoPIM运行最佳适应BA的差距。
2022-05-05 cs.DC cs.DM cs.NE
Enabling Multi-threading in Heterogeneous Quantum-Classical Programming Models
本文在QCOR编程模型中引入基于C++的多线程与异步并行结构，通过增强线程安全性和消除数据竞争提升量子-经典异构平台的并行性能，实验表明并行执行多个量子内核可显著加速并改善强可扩展性。
2023-03-16 cs.DC quant-ph
Generating Binary Optimal Codes Using Heterogeneous Parallel Computing
最优码的生成是编码理论中的一个众所周知的问题。在文献中存在许多计算方法来寻找破纪录的代码。然而，使用串行算法生成具有长长度$n$的代码在计算上是非常昂贵的，例如，贪心算法的最坏情况时间复杂度是$\mathcal{O}(n\; 4^n)$。为了提高长代码生成的效率，我们提出并研究了一些基于通用图形处理器（GPGPU）的并行算法。本文研究了基于GPGPU-CUDA（Computed Unified Device Architecture）框架的并行贪心算法的实现，并讨论了各种优化技术对GPU代码的加速。优化并行实现的性能比串行实现快两到三个数量级以上，显示了GPGPU在编码理论应用领域的巨大潜力。
2015-07-20 cs.DC cs.IT math.IT
Compile-time Parallelization of Subscripted Subscript Patterns
越来越多的科学应用程序正在使用不规则的数据访问模式。这类模式的一个重要类别涉及下标-下标，其中一个数组值出现在另一个数组的索引表达式中。即使并行化具有这种模式的循环所需的信息在程序中通常是可用的，当前的编译器技术也无法分析该信息。在本文中，我们提出了一个研究的下标下标，属性定义的下标数组，和一个算法的基础上符号范围聚合，这将有助于证明存在的一些属性的下标数组在程序中。我们表明，在一类重要的程序，该算法可以提高性能，从基本上顺序执行接近完全并行。
2019-11-13 cs.DC cs.PL
Pipeline Parallelism for Inference on Heterogeneous Edge Computing
University of Southern California（南加州大学）；Google（谷歌）
具有大模型大小的深度神经网络在计算机视觉（CV）和自然语言处理（NLP）任务中实现了最先进的结果。然而，这些大规模模型对于资源受限的边缘设备来说过于计算或内存密集型。以前关于并行和分布式执行的工作主要集中在数据中心使用同构加速器的训练-而不是推理。我们提出了EdgePipe，这是一种用于边缘系统的分布式框架，它使用流水线并行来加快推理速度，并支持运行更大（更准确）的模型，否则无法在单个边缘设备上运行。EdgePipe通过使用考虑计算、内存和网络带宽异构性的最佳分区策略来实现这些结果。我们的实证评估表明，EdgePipe实现了$10.59\times$和$11.88\times$加速使用16个边缘设备的ViT-Large和ViT-Huge模型，分别没有准确性损失。类似地，EdgePipe在使用16个边缘设备的4节点基线上通过$3.93\times$提高了ViT-Huge吞吐量，这些边缘设备无法独立地将模型放入内存中。最后，我们显示了$4.16\times$吞吐量的改善，在国家的最先进的PipeDream时，使用一组异构设备。
2021-10-28 cs.DC cs.LG
Bi-objective Optimisation of Data-parallel Applications on Heterogeneous Platforms for Performance and Energy via Workload Distribution
性能和能量是现代并行平台优化的两个最重要的目标。最新研究表明，在同构多核集群的性能和能源双目标优化中，工作负载分布作为决策变量的重要性。在这项工作中，我们表明，异构处理器的性能和能源的双目标优化的结果在大量的帕累托最优的最佳解决方案（工作负载分布），即使在简单的情况下，线性性能和能源配置文件。然后，我们研究了现实生活中的数据并行应用程序的性能和能量配置文件，发现它们的形状是非线性的，复杂的和非光滑的。因此，我们提出了一种高效和精确的全局优化算法，它需要作为输入最一般的离散性能和动态能量配置文件的异构处理器，并解决了双目标优化问题。该算法也被用来作为一个积木，以解决性能和总能量的双目标优化问题。我们还提出了一种新的方法来建立离散的动态能量配置文件的个人计算设备，这是输入到算法。该方法完全基于系统级测量，并解决了在集成CPU和加速器的异构平台上运行的混合数据并行应用程序的准确组件级能量建模的根本挑战。我们实验验证所提出的方法，使用两个数据并行的应用程序，矩阵乘法和二维快速傅立叶变换（2D-FFT）。
2019-07-09 cs.DC cs.PF cs.SY
Efficient Parallel Simulations of Asynchronous Cellular Arrays
提出了一类异步蜂窝阵列的定义。这种迭代的一个例子是单元迭代的独立泊松到达。Glauber的连续时间公式中的伊辛模型属于这一类。还提出了有效的并行算法来模拟这些异步蜂窝阵列。在算法中，一个或多个小区被分配给一个处理单元（PE），不同PE的本地时间可以不同。虽然Metropolis、Rosenbluth、Rosenbluth、Teller和Teller的标准串行算法可以模拟这样的阵列，但通常认为它没有有效的并行算法。然而，所提出的并行算法与这种信念相矛盾，证明是有效的，并能够执行相同的任务，作为标准算法。新算法的实验结果是令人鼓舞的：在共享存储器MIMD总线计算机上使用25个PE的加速比大于16，在SIMD计算机上使用2**14个PE的加速比大于1900。Bortz，Kalos和Lebowitz的算法可以被合并到所提出的并行算法中，进一步有助于加速。[In本文提出了更新局部时间最小点的并行模拟方案。现在这个计划越来越受欢迎。1987年《复杂系统》出版物的许多印刷错误在这里得到纠正。B. L.]
2005-02-08 cond-mat.mtrl-sci cs.DC cs.PF
Massively Parallel Computation in a Heterogeneous Regime
大规模并行图算法在过去的十年中受到了广泛的关注，研究集中在三个内存区域：超线性区域，近线性区域和次线性区域。次线性制度是最可取的，在实践中，但条件硬度的结果指向其局限性。在这项工作中，我们研究了一个\emph{heterogeneous}模型，其中的机器的内存大小不同。我们主要关注的是通过在次线性MPC区域中添加单个近线性机器所产生的异质设置，并且表明即使是单个大机器也足以规避次线性区域的大多数条件硬度结果：对于具有$n$顶点和$m$边的图，我们给出了（a）在$O(\log\log(m/n))$轮中运行的MST算法;（b）在$O(1)$轮中构造大小为$O(n^{1+1/k})$的$O(k)$ -矩阵的算法;以及（c）在$O(\sqrt{\log(m/n)}\log\log(m/n))$轮中运行的最大匹配算法。我们还观察到，最有名的近线性MPC算法的其他几个图形问题，这是被证明是很难在次线性政权（最小割，最大独立集，顶点着色）可以很容易地转换到异构MPC模型与一个单一的近线性机器的工作，同时保留其原始轮的复杂性在近线性政权。如果允许大型机器具有\emph{superlinear}内存，则上述所有问题都可以在$O(1)$轮中解决。
2023-02-28 cs.DC cs.DS
MoE Parallel Folding: Heterogeneous Parallelism Mappings for Efficient Large-Scale MoE Model Training with Megatron Core
NVIDIA
本文提出MoE并行折叠方法，通过解耦注意力层和MoE层的并行化，提升大规模MoE模型训练的效率与可扩展性。
2026-03-02 cs.DC cs.LG
A CPU+DCU Heterogeneous Parallel Framework for Post-Processing Reconstruction in Quantum Circuit Cutting
National Supercomputing Center in Zhengzhou, Zhengzhou University（国家超级计算郑州中心，郑州大学）；School of Computer and Artificial Intelligence, Zhengzhou University（郑州大学计算机与人工智能学院）；Nanjing Institute of Technology（南京工程学院）
针对量子电路裁剪后处理的计算与存储瓶颈，提出CPU+DCU异构并行框架，实现非零概率态重构，在嵩山超算上获最高259倍加速，可完成百量子比特规模任务。
2026-07-31 cs.DC quant-ph
Comparing Parallel Functional Array Languages: Programming and Performance
本文系统比较 Accelerate、APL、DaCe、Futhark 和 SaC 五种并行函数式数组语言，通过四类共39个基准实例在32核 AMD EPYC 与 NVIDIA A30 上评估其表达力、可移植性和竞争力。
2025-05-13 cs.DC cs.PF cs.PL
Parallelization of Network Dynamics Computations in Heterogeneous Distributed Environment
本文提出一种在异构分布式环境中透明并行化大型非线性振子网络动力学计算的方法，通过运行时调度实现准最优加速，并在多种模型和硬件上验证了近线性加速效果。
2025-07-02 cs.DC nlin.CD nlin.PS
Verifying Properties of Index Arrays in a Purely-Functional Data-Parallel Language
本文提出一种自动验证纯数据并行程序中非线性索引数组性质的方法，通过将数组表示为索引函数并转化为代数不等式交由Fourier-Motzkin求解器处理，在Futhark语言中实现并验证了其实用性与优化效果。
2025-06-29 cs.DC cs.PL
Heterogeneous Highly Parallel Implementation of Matrix Exponentiation Using GPU
Department of Information Technology, National Institute of Technology Karnataka, Surathkal, India（印度苏尔塔卡尔国家技术学院卡纳塔克分校信息技术系）
针对矩阵指数运算，提出基于OpenCL的异构高度并行实现方法，利用GPU优化实现高达1000倍加速。
2012-04-13 cs.DC cs.MS cs.NA
Optimizing Streaming Parallelism on Heterogeneous Many-Core Architectures: A Machine Learning Based Approach
National University of Defense Technology（国防科技大学）；University of Leeds（利兹大学）
本文提出了一种自动化的方法来快速获得一个很好的解决方案，硬件资源划分和任务粒度的基于任务的并行应用程序的异构众核架构。我们的方法采用了一个性能模型来估计目标应用程序在给定的资源分区和任务粒度配置下的性能。该模型被用作在运行时快速搜索良好配置的实用程序。我们采用机器学习技术来自动学习分析模型，而不是手工制作分析模型，因为这需要专家对底层硬件细节的深入了解。我们首先使用训练程序离线学习预测模型。然后，学习的模型可以用于预测运行时任何看不见的程序的性能。我们将我们的方法应用于39个代表性的并行应用程序，并在两个代表性的异构众核平台上进行评估：一个CPU-XeonPhi平台和一个CPU-GPU平台。与单流版本相比，我们的方法在XeonPhi和GPU平台上平均分别实现了1.6倍和1.1倍的加速。这些结果转化为理论上完美的预测器所提供的性能的93%以上。
2020-03-05 cs.DC cs.LG cs.PF
Accelerating Monte-Carlo Tree Search on CPU-FPGA Heterogeneous Platform
蒙特卡罗树搜索（MCTS）方法在许多人工智能（AI）基准测试中取得了巨大的成功。在CPU上实现并行MCTS时，树内操作成为一个关键的性能瓶颈。在这项工作中，我们开发了一个可扩展的CPU-FPGA系统的树并行MCTS。提出了一种新的MCTS数据结构和计算的分解和映射到CPU和FPGA，以减少通信和协调。通过在基于SRAM的FPGA加速器中封装入树操作，实现了系统的高可扩展性。为了降低高数据访问延迟和工人间同步开销，我们开发了几个硬件优化。我们表明，通过使用我们的加速器，我们获得了$35\times$的加速比为在树操作，和$3\times$更高的整体系统吞吐量。我们的CPU-FPGA系统还实现了卓越的可扩展性wrt的并行工作者的数量比国家的最先进的并行MCTS的CPU上实现。
2022-08-23 cs.DC cs.SY eess.SY
Parallax: Runtime Parallelization for Operator Fallbacks in Heterogeneous Edge Systems
University of Southampton（南安普顿大学）；UCL AI Centre（伦敦大学学院人工智能中心）；University College London（伦敦大学学院）
Parallax通过并行化和内存优化，提升移动设备上动态神经网络推断的效率与响应性。
2025-12-12 cs.AI cs.CV cs.DC
Asteroid: Resource-Efficient Hybrid Pipeline Parallelism for Collaborative DNN Training on Heterogeneous Edge Devices
School of Computer Science and Engineering, Sun Yat-sen University（中山大学计算机科学与工程学院）；Data Science and Analytics Thrust, HKUST (GZ)（香港科技大学（广州）数据科学与分析学域）；The Chinese University of Hong Kong（香港中文大学）
针对边缘端DNN训练资源受限问题，提出分布式训练系统Asteroid，通过混合流水线并行、资源感知规划及轻量容错重放机制，在异构边缘设备上实现训练加速与鲁棒性提升。
2024-08-15 cs.AI cs.CV cs.DC
