A Class of Parallel Tiled Linear Algebra Algorithms for Multicore Architectures
随着多核系统在高性能计算领域的不断发展，必须重新制定线性代数算法或开发新算法，以便利用这些新处理器上的架构功能。细粒度并行性成为一个主要需求，并在操作的并行执行中引入了松同步的必要性。本文提出了一种Cholesky，LU和QR分解的算法，其中的操作可以表示为一系列的小任务，操作的方块数据。这些任务可以根据它们之间的依赖关系和计算资源的可用性来动态调度执行。这可能导致任务的乱序执行，这将完全隐藏因式分解中固有顺序任务的存在。性能比较与LAPACK算法的并行性只能利用在BLAS操作和供应商实现的水平。
2008-06-12 cs.DC cs.MS
A DSEL for High Throughput and Low Latency Software-Defined Radio on Multicore CPUs
Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；Bordeaux INP（波尔多国立理工学院）；University of Bordeaux（波尔多大学）；Inria（法国国家信息与自动化研究所）；Bordeaux Institute of Technology（波尔多理工学院）
本文提出了一种新的专用于软件无线电（SDR）的领域特定嵌入式语言（DSEL）。从一组精心设计的组件，它能够建立高效的软件数字通信系统，能够利用现代处理器架构的并行性，以简单和安全的方式为程序员。特别是，建议DSEL使流水线和序列复制技术的组合，以提取时间和空间的并行性从数字通信系统。我们将DSEL功能应用于实际用例：一款完全采用软件设计的全数字收发器，适用于广泛使用的DVB-S2标准。通过评估，我们展示了所提出的软件DVB-S2收发器如何能够从现代高端多核CPU目标中获得最大收益。
2022-08-03 cs.CL cs.DC eess.SP
General-Purpose Multicore Architectures
本文回顾多核CPU的演进，涵盖其微架构、共享内存挑战、操作系统优化、评估指标及设计趋势，指出多核架构是应对功耗与性能瓶颈的关键方案。
2025-01-25 cs.AR cs.DC
Parallel Digital Predistortion Design on Mobile GPU and Embedded Multicore CPU for Mobile Transmitters
数字预失真（DPD）是当前无线电发射机中广泛采用的基带处理技术。虽然DPD可以有效地抑制由模拟RF和基带电子器件的缺陷引起的不必要的杂散频谱发射，但它也引入了额外的处理复杂性，并对高效和灵活的实现提出了挑战，特别是对于移动蜂窝发射机，考虑到其与基站相比有限的计算能力。在本文中，我们提出了高数据率宽带DPD的现代嵌入式处理器，如移动GPU和多核CPU，利用新兴的并行计算技术，利用其计算资源的实现。在实际的无线电硬件平台上，我们进一步验证了DPD的抑制效果。我们的DPD设计的性能评估结果证明了现代通用移动处理器在加速移动发射机的DPD处理方面的高效率。
2016-12-28 cs.DC
Ada-Grouper: Accelerating Pipeline Parallelism in Preempted Network by Adaptive Group-Scheduling for Micro-Batches
流水线并行已被证明是一种显著的方法，可以提高在异构集群上训练具有数十亿参数的深度神经网络的吞吐量。1F 1B调度计划是一种广泛采用的内存和性能优化策略，它交换了不同微批的前向和后向阶段计算。另一方面，在使用1F 1B调度时的常见问题是，当网络资源被其他任务抢占时，即使级之间的通信最小，由于数据传输，级计算也会延迟。在云产品中无法保证对这些网络资源的独占访问。我们提出了一个通用的调度技术，以适应流水线并行抢占网络环境的代价一定量的内存压力。其核心思想是将1F 1B调度方案扩展到kFkB，将k个微批分组，交替执行k个前向和后向计算。我们提出Ada-Grouper，一个自适应kFkB调度器，定期调整组成员的数量k，以保持通信和计算效率之间的最佳平衡，对应于在不断变化的网络环境下的内存限制的变化。实验结果表明，我们的设计保持稳定的性能流水线并行，产生的性能提高了4%到30%，相比1F 1B抢占网络的情况。
2023-03-03 cs.DC
A Critical Path Approach to Analyzing Parallelism of Algorithmic Variants. Application to Cholesky Inversion
算法带有多个变体，这些变体是通过改变算法所源自的数学方法而获得的。这些变体在多核平台上实现时提供了广泛的性能，我们试图从理论的角度来理解这些性能差异。为了这个目的，我们推导出并提出了关键路线长度的每个算法的变种，我们的应用程序的问题，使我们能够确定一个下限的时间解决方案。这个指标提供了一个直观的把握的性能的变体，我们提出了数值实验，以验证我们的下限在实际应用中的紧密性。我们的案例研究是Cholesky逆及其在计算对称正定矩阵的逆中的应用。
2010-10-11 cs.DC
Memory Aware Load Balance Strategy on a Parallel Branch-and-Bound Application
高性能计算系统的最新趋势表明，以有效的方式使用大规模多核系统的需求日益增加，使得高计算密集型应用程序可以相当好地执行。然而，在每个多核组件处可用的并行度的利用可能受到可用的存储层次结构的不良利用的限制。实际上，多核架构引入了一些在共享内存和分布式环境中已经观察到的独特功能。一个例子是核心子集可以共享不同的内存子集。为了实现高性能，必须根据考虑主要性能瓶颈（例如内存争用）的调度模型，在可用内核上执行应用程序的仔细分配方案。本文提出了{ \em多核集群模型}（MCM），该模型能够反映多核系统中最相关的性能特征，如存储层次结构和争用对性能的影响。当应用于划分集问题的分支定界应用程序的负载平衡策略是基于MCM时，实现了更好的性能，显示了其效率和适用于现代系统。
2013-02-22 cs.DC
Accelerating Nearest Neighbor Search on Manycore Systems
我们开发了加速度量相似性搜索的方法，这些方法在现代硬件上是有效的。我们的算法考虑到易于并行化的组件，使它们易于部署，在多核CPU和GPU上高效。尽管我们的算法结构简单，但它们的搜索性能在数据库的大小上是可证明的次线性的，其中一个因素仅取决于其内在维度。我们证明了我们的方法在一系列数据集和硬件平台上提供了大量的加速。特别是，我们目前的结果在48核服务器上的机器，图形硬件，和多核桌面。
2011-03-30 cs.CG cs.DB cs.DC
Accelerating Heterogeneous Tensor Parallelism via Flexible Workload Control
针对异构设备与多租户资源争用导致张量并行训练出现落后任务的问题，提出 ZERO-resizing 与轻量迁移结合的 SEMI-migration，在无迁移或无精度损失间自适应均衡工作负载，并在 Colossal-AI 上验证有效。
2024-01-21 cs.DC
Dynamic Partitioning-based JPEG Decompression on Heterogeneous Multicore Architectures
随着社交网络的出现和计算摄影的改进，每天有数十亿张JPEG图像被共享和查看。桌面、平板电脑和智能手机构成了用于显示JPEG图像的绝大多数硬件平台。尽管这些平台是异构多核的，但还没有能够联合系统的CPU和GPU进行JPEG解码的方法。在本文中，我们介绍了一种新的JPEG解码方案的异构体系结构组成的CPU和OpenCL可编程GPU。我们采用离线分析步骤来确定系统的CPU和GPU相对于JPEG解码的性能。对于给定的JPEG图像，我们的性能模型使用（1）CPU和GPU性能特征，（2）图像熵和（3）图像的宽度和高度来平衡底层硬件上的JPEG解码工作负载。我们的运行时分区和调度方案利用任务，数据和流水线并行通过调度CPU上的非并行熵解码任务，而反余弦变换（IDCT），颜色转换和上采样进行的CPU和GPU。我们的内核已针对GPU存储层次结构进行了优化。我们已经实现了libjpeg-turbo库，这是一个工业强度的JPEG编码和解码引擎的上下文中提出的方法。Libjpeg-turbo针对ARM和x86的手动优化SIMD例程构成了与所提出方法进行比较的竞争性标尺。使用libjpeg-turbo改进我们的方法，为异构多核重新设计遗留代码的软件工程方面提供了见解。
2014-05-12 cs.DC
Accelerating Large Language Model Training with 4D Parallelism and Memory Consumption Estimator
School of Computing, Institute of Science Tokyo（科学技术学院计算机学院）；Turing. inc（图灵公司）；Super Computing Research Center, Institute of Science Tokyo（科学技术学院超级计算研究中心）
本研究提出精确内存估计公式，用于Llama架构的4D并行训练，通过454次实验验证，当估计内存低于GPU内存80%时无内存溢出，可提前识别风险配置并缩小搜索空间，提供最优配置经验。
2024-11-10 cs.DC cs.LG
NSP: Accelerating Variable-Length LLM Training via Nested Sequence Parallelism
ByteDance Seed（字节跳动Seed）
NSP通过嵌套不同大小的序列并行组，在共享GPU上平衡长尾变长序列训练的通信与负载，无需修改模型，显著提升端到端吞吐量。
2026-09-22 cs.DC
Temporal Load Imbalance on Ondes3D Seismic Simulator for Different Multicore Architectures
该研究针对Ondes3D地震模拟器，评估其在八种不同多核架构、两种地震场景下的性能，发现时间负载不平衡程度依赖所选架构，部分平台可更有效缓解该问题。
2024-09-17 cs.DC cs.PF
Accelerating Gaussian beam tracing method with dynamic parallelism on graphics processing units
本研究利用CUDA在GPU上重构高斯波束追踪算法，通过动态并行和内存优化，在城市及开阔平面环境中分别实现高达790倍和188倍的加速，并建立了性能评估策略。
2025-01-23 cs.DC cs.PF
Shortcut-connected Expert Parallelism for Accelerating Mixture-of-Experts
提出ScMoE架构与重叠并行策略，解耦通信与计算的顺序依赖实现100%重叠，在保持模型质量的同时显著提升MoE训练和推理速度。
2025-05-29 cs.CL cs.DC cs.LG
BitPipe: Bidirectional Interleaved Pipeline Parallelism for Accelerating Large Models Training
Zhejiang University（浙江大学）
针对同步流水线并行中的气泡与通信开销问题，提出 BitPipe 双向交错流水线及 V 形即时梯度同步调度，在最多 32 GPU 上将 GPT/BERT 风格模型训练吞吐提升 1.05–1.28 倍。
2024-10-25 cs.AI cs.DC cs.LG
Accelerating Distributed K-FAC with Smart Parallelism of Computing and Communication Tasks
The Hong Kong University of Science and Technology（香港科技大学）
在GPU集群上使用同步随机梯度下降（SGD）的分布式训练已被广泛用于加速深度模型的训练过程。然而，SGD仅在模型参数更新中利用一阶梯度，这可能需要数天或数周。最近的研究已经成功地利用近似二阶信息来加速训练过程，其中Kronecker因子近似曲率（KFAC）成为训练深度模型的最有效的近似算法之一。然而，当利用GPU集群来训练具有分布式KFAC（D-KFAC）的模型时，其在每次迭代期间引起大量计算以及引入额外通信。在这项工作中，我们提出了D-KFAC（SPD-KFAC）与智能并行的计算和通信任务，以减少迭代时间。具体而言，1）我们首先描述了D-KFAC的性能瓶颈，2）我们设计并实现了一个流水线机制的克罗内克因子计算和通信与动态张量融合，3）我们开发了一个负载均衡布局，在GPU集群上的多个矩阵求逆。我们在一个64 GPU的集群上进行了实际的实验，该集群具有100 Gb/s的InfiniBand互连。实验结果表明，我们提出的SPD-KFAC训练方案可以实现10%-35%的国家的最先进的算法的改进。
2021-07-14 cs.AI cs.DC
Accelerating the Execution of Matrix Languages on the Cell Broadband Engine Architecture
矩阵语言，包括MATLAB和Octave，是科学和工程应用的既定标准。它们提供了交互式编程环境，由于它们的脚本语言具有矩阵数据类型，因此易于使用。矩阵语言的当前实现没有充分利用高性能、专用芯片架构，例如IBM PowerXCell处理器（Cell），该处理器目前用于世界上最快的计算机。我们提出了一个新的框架，扩展Octave利用细胞的计算能力。有了这个框架，程序员就不必再引入明确的并行性概念。相反，程序员使用一种新的矩阵数据类型，在Cell的协同处理元素（SPE）上并行执行矩阵操作。我们采用懒惰的评估语义为我们的新矩阵数据类型，以获得矩阵操作的执行轨迹。跟踪被转换为数据依赖图;数据依赖图中的操作被降低（分成子矩阵），在SPE上调度和执行。由此我们开发了矩阵语言程序的（1）数据并行，（2）指令级并行，（3）流水线并行和（4）任务并行。我们进行了大量的实验，以证明我们的方法的有效性。我们的基于Cell的实现在最新的Intel Core 2 Quad处理器上运行的代码上实现了高达12倍的加速。
2009-11-14 cs.DC cs.PL
TawPipe: Topology-Aware Weight Pipeline Parallelism for Accelerating Long-Context Large Models Training
针对长上下文大模型训练中现有流水线并行方法通信开销高、带宽利用率低的问题，提出拓扑感知权重流水线并行方法TawPipe，通过拓扑分组、固定分片、通信计算重叠优化效率，实验验证其吞吐量与可扩展性优于现有最优基线。
2025-11-12 cs.AI cs.DC cs.LG
FlexSP: Accelerating Large Language Model Training via Flexible Sequence Parallelism
Peking University（北京大学）；Beihang University（北京航空航天大学）；ByteDance Inc.（字节跳动公司）
针对LLM训练中序列长度异质性导致的工作负载不均衡问题，提出FlexSP灵活序列并行方法，通过动态调整分散策略适应不同长度序列，在保持精度的同时将长上下文训练吞吐量提升1.2-1.98倍。
2025-02-11 cs.DC cs.LG
DHO$_2$: Accelerating Distributed Hybrid Order Optimization via Model Parallelism and ADMM
National University of Defense Technology, Changsha, China（国防科技大学）；Fudan University, Shanghai, China（复旦大学）
本文提出DHO$_2$，一种基于模型并行和ADMM的分布式混合阶优化方法，利用部分曲率信息并行计算，在资源受限下加速DNN训练，实现内存线性降低和1.4-2.1倍加速。
2025-08-04 cs.DC cs.LG
Delta Tokenizer: Reference-Identical Tokenization of Session Deltas and Segment-Parallelism for Long Prompts on Multicore CPUs
Arizona State University（亚利桑那州立大学）
Delta Tokenizer是面向多核CPU的分词前端，通过增量分词与分段并行技术，大幅缩短会话轮次及长请求的分词时间，降低LLM服务的首令牌生成时间，且输出与参考结果完全一致。
2026-10-15 cs.CL cs.DC cs.PF
Accelerating Task-based Iterative Applications
作为传统fork-join并行的替代方案，基于任务的编程模型越来越受欢迎。它们更适合于编写具有不规则并行性的应用程序，这些并行性可能会导致负载不平衡。然而，这些编程模型受到与任务创建、调度和依赖性管理相关的开销的影响，当任务变得太小时，限制了性能和可扩展性。同时，许多HPC应用实现迭代法或多步模拟，其在每次迭代上创建相同的任务的有向非循环图。通过为应用程序员提供一种方式来表达特定循环在每次迭代中创建相同的任务模式，我们可以一次性创建单个任务DAG并将其转换为循环图。这个循环图然后被重复用于连续的迭代，最小化任务创建和依赖管理开销。本文介绍了taskiter，一个新的构造，我们提出的Ompss-2和OpenMP编程模型，允许使用有向循环任务图（DCTG），以尽量减少运行时开销。此外，我们提出了一个简单的直接后继本地感知启发式，最大限度地减少任务调度开销绕过运行时任务调度程序。我们评估的任务和直接后继启发式的实施8迭代基准。使用小的任务粒度，我们获得了3.7倍的平均加速比的参考OmpSs-2的实现和平均5倍和7.46倍的加速比的LLVM和GCC的OpenMP运行时，分别。
2022-08-12 cs.DC
Performance Analysis and Optimization of a Hybrid Distributed Reverse Time Migration Application
处理地震数据的应用程序采用可扩展的并行系统来产生及时的结果。为了充分利用新兴的处理器体系结构，应用程序将需要在节点内采用线程并行，并在节点之间传递消息。如今，MPI+OpenMP是此任务的首选编程模型。然而，为集群调优混合程序是困难的。性能工具可以帮助用户识别瓶颈并发现改进的机会。这张海报描述了我们应用Rice University的HPCToolkit和硬件性能计数器来深入了解在多核处理器集群上执行反向时间迁移（RTM）的MPI+OpenMP代码的经验。这些工具为我们提供了对域分解策略的有效性、线程并行性的使用以及单个内核中功能单元利用率的深入了解。通过应用从工具中获得的见解，我们能够将RTM代码的性能提高约30%。
2016-03-12 cs.DC
Optimization of an electromagnetics code with multicore wavefront diamond blocking and multi-dimensional intra-tile parallelization
了解和优化太阳能电池的性能正在成为寻找核能和化石能源替代品的关键问题。通过数值模拟的理论分析涉及以离散形式求解麦克斯韦方程组，并且通常需要大量的计算工作。我们从一个混合并行（MPI+OpenMP）的生产代码，实现了时间谐波逆迭代法（THIIM）与频域差分（FDFD）离散化。虽然该算法具有强带宽约束的模板更新方案的特点，它是显着不同的流行的模板类型，已被详尽研究的高性能计算文献的日期。我们应用最近开发的模板优化技术，多核波前菱形平铺与多维缓存块共享，并详细描述了由于特殊的模板结构需要考虑的特点。更新电场和磁场的分量的并发性提供了额外的并行性水平。优化代码的缓存大小要求对阻塞参数的依赖性被精确地建模，并且自动调谐器在剩余的参数空间中搜索最优配置。我们能够将执行与内存带宽瓶颈完全分离，与在18核Intel Haswell CPU上使用纯空间阻塞的最佳实现相比，将实现速度提高了三到四倍。
2015-10-18 cs.CE cs.DC cs.PF
Accelerating Deep Neural Network guided MCTS using Adaptive Parallelism
针对DNN-MCTS中CPU端搜索树运算串行导致的瓶颈问题，提出自适应选择最优并行方案及高效搜索通信批量大小的方法，在Alphazero棋类基准上实现1.5×-3×加速。
2023-10-09 cs.DC cs.PF
Enabling OpenMP Task Parallelism on Multi-FPGAs
基于FPGA的硬件加速器受到越来越多的关注，主要是因为它们能够加速深度流水线应用，从而带来更高的计算性能和能源效率。尽管如此，即使是最强大的FPGA上可用的资源量仍然不足以加速非常大的现代工作负载。为了实现这一目标，FPGA需要在能够加速单个应用的多FPGA架构中互连。然而，编程这样的架构是一个具有挑战性的努力，仍然需要额外的研究。本文扩展了基于OpenMP任务的计算卸载模型，使多个FPGA作为一个单一的多FPGA架构一起工作。在由6个Xilinx VC 709板通过光纤链路互连组成的Multi-FPGA平台上运行的一组OpenMP模板应用程序的实验结果显示，随着FPGA数量和每个FPGA的IP核数量的增加，加速接近线性。
2021-03-22 cs.DC
Accelerating Long-Tail Generation in Synchronous RLHF Training via Adaptive Tensor Parallelism
Anhui University（安徽大学）；University of Science and Technology of China（中国科学技术大学）；National University of Singapore（新加坡国立大学）；Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（合肥综合国家科学中心人工智能研究院）
针对同步RLHF训练中长尾生成导致的GPU利用率低问题，提出自适应张量并行方法PAT，通过预测引导的在线重配置和轻量级状态迁移机制，显著降低生成延迟和端到端训练迭代延迟。
2026-05-03 cs.AI cs.DC
Ladder-residual: parallelism-aware architecture for accelerating large model inference with communication overlapping
Together AI；University of Southern California；MIT-IBM Watson Lab；University of Sydney；Massachusetts Institute of Technology；Princeton University
提出Ladder Residual架构修改，通过解耦通信与计算并重叠通信，在张量并行下实现70B模型推理29%端到端加速，且训练1B/3B模型性能与基线相当。
2025-06-19 cs.CL cs.DC cs.LG
Accelerating Sharded Data Parallelism at Scale with Federated Learning
University of Turin（都灵大学）
本工作受联邦学习通信原理启发，提出FL+FSDP和FL+HSDP两种混合算法，将分片数据并行解耦为松散耦合的联邦组，在512个A100 GPU上预训练Llama3.1 8B，实现高达8.04倍数据处理加速和4.48倍困惑度降低。
2026-09-18 cs.AI cs.DC cs.PF
Accelerating Large Language Model Training with Hybrid GPU-based Compression
The Ohio State University（俄亥俄州立大学）
本文针对大规模LLM分布式训练中的通信瓶颈，提出按并行维度差异化设置压缩强度的混合GPU压缩方案，在192块V100 GPU上实现GPT-NeoX-20B训练吞吐量提升17.3%且保持损失收敛。
2024-09-04 cs.AI cs.DC
Accelerating Causal Algorithms for Industrial-scale Data: A Distributed Computing Approach with Ray Framework
本文利用 Ray 框架并行化 EconML 等因果算法库的关键迭代步骤，以提升其在工业级数据集上的可扩展性，并通过案例评估其对估计时间与成本的影响。
2024-01-22 cs.DC
HEAAN Demystified: Accelerating Fully Homomorphic Encryption Through Architecture-centric Analysis and Optimization
同态加密（HE）作为云计算的隐私保护方式引起了极大的关注，因为它允许对被称为密文的加密消息进行计算。在提出的众多HE方案中，用于近似数算术的HE（HEAAN）在广泛的应用中迅速流行，因为它支持可以容忍近似计算的消息，而对适用于相应密文的算术运算的数量没有限制。HE的一个关键缺点是密文算法的计算复杂度高;特别是，HE乘法（HE Mul）比未加密消息之间的相应乘法慢10，000倍以上。这导致了大量的HE加速研究，包括利用FPGA的研究;然而，这些研究并没有对HE Mul的计算复杂性和数据访问模式进行严格的分析。此外，这些提案主要集中在小参数的设计上，因此很难准确估计它们在进行一系列复杂算术运算时的性能。在本文中，我们首先描述了如何HEAAN的HE MUL进行友好的计算机架构师的方式。然后对HE Mul的计算特性和访存特性进行了分析，提取了HE Mul中关键函数的并行性，并通过转置矩阵和线程固定等一系列优化技术，将其有效地映射到多核并行处理平台和GPU上。这使得HE Mul在CPU和GPU上的性能分别比在CPU上运行的单线程引用HEAAN提高了42.9倍和134.1倍。所进行的分析和优化将为未来的HE加速研究奠定新的基础。
2020-03-10 cs.DC
Sky Computing: Accelerating Geo-distributed Computing in Federated Learning
HPC-AI Technology Inc.（HPC-AI技术公司）；National University of Singapore（新加坡国立大学）
联邦学习是由谷歌提出的，通过在用户设备上本地训练模型来保护数据隐私。然而，随着深度学习模型的规模不断增长以获得更好的结果，在单个设备上容纳整个模型变得越来越困难。因此，然后使用模型并行来在若干设备之间划分模型权重。通过这种逻辑，目前使用的方法在设备之间均匀分配权重。然而，在现实中，由于不同用户设备的不同计算能力，可能会出现计算瓶颈。为了解决这个问题，需要负载均衡来基于设备的计算能力分配模型权重。在本文中，我们提出了天空计算，一个负载平衡的模型并行框架，自适应地分配权重的设备。当训练具有64个节点的160层BERT时，Sky Computing在训练时间上优于基线方法55%。源代码可以在https://github.com/hpcaitech/SkyComputing上找到。
2022-02-24 cs.AI cs.DC cs.LG
Efficient Architecture-Aware Acceleration of BWA-MEM for Multicore Systems
下一代测序技术的创新使DNA序列数据的生成速度更快，成本更低。大型测序中心通常使用数百个这样的系统。这种高通量和低成本的数据生成强调了在测序数据的下游计算分析中相应加速的需要。下游分析的基本步骤是将读数映射到长参考DNA序列，例如参考人类基因组。序列映射是一个计算密集型步骤，占GATK工作流程总时间的30%以上。BWA-MEM是最广泛使用的序列映射工具之一，拥有数万名用户。在这项工作中，我们专注于加速BWA-MEM通过一个高效的架构感知实现，同时保持相同的输出。大量的数据需要分布式计算环境，通常部署多核处理器。由于应用程序可以很容易地并行化的分布式内存系统，我们专注于单插槽多核处理器上的性能改进。BWA-MEM运行时间由三个内核控制，它们共同负责超过85%的总计算时间。我们通过以下方式提高了这些内核的性能：1）提高缓存重用，2）简化算法，3）用几个大的连续内存分配取代小的碎片内存分配，4）软件预取，5）在适用的情况下利用SIMD-以及大规模重组源代码以实现这些改进。因此，我们在三个内核上分别实现了近2倍、183倍和8倍的加速，与英特尔至强Skylake处理器的单线程和单插槽上的原始BWA-MEM相比，端到端计算时间的加速分别高达3.5倍和2.4倍。据我们所知，这是BWA-MEM上报告的最高加速比。
2019-07-27 cs.CE cs.DC cs.PF
Energy-Aware Scheduling Strategies for Partially-Replicable Task Chains on Heterogeneous Processors
Sorbonne University（索邦大学）；University of Bordeaux（波尔多大学）；Bordeaux INP（波尔多理工学院）
针对异构多核处理器上部分可复制任务链，提出三种调度策略（FERTAC、2CATAC和HeRAD），以最大化吞吐量并最小化能耗，实验表明近最优性能且能效优于同构方案。
2026-06-23 cs.DC
Accelerating Disaggregated RL for Visual Generative LLMs with Diffusion-Based Parallelism and Trainer-Assisted Generation
School of Computer Science and Technology, Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）计算机科学与技术学院）；Data Science and Analytics Thrust, The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）数据科学与分析学域）；Huawei Technologies Ltd.（华为技术有限公司）
提出解耦强化学习框架DigenRL，通过生成轴流水线、时间步并行和弹性训练器辅助生成，解决扩散生成式大语言模型中执行气泡问题，实现1.56-2.10倍吞吐提升。
2026-09-23 cs.AI cs.DC cs.NI
Accelerating Fortran Codes: A Method for Integrating Coarray Fortran with CUDA Fortran and OpenMP
本研究提出融合Intel Coarray Fortran、Nvidia CUDA Fortran与OpenMP的并行编程方法，优化内存管理、CPU-GPU亲和性等，经并行泊松求解器验证，其性能与MPI相近且更易实现，可助力新老代码高效迁移至并行计算。
2024-09-03 astro-ph.IM astro-ph.SR cs.DC
Towards Compute-Aware In-Switch Computing for LLMs Tensor-Parallelism on Multi-GPU Systems
Shanghai Jiao Tong University（上海交通大学）；Huawei Technologies Co. Ltd.（华为技术有限公司）；Peking University（北京大学）
本文提出CAIS框架，通过计算感知的ISA扩展、线程块协调和数据流优化，提升多GPU系统中LLM张量并行的通信与计算效率，实验显示其在训练速度上优于现有方案。
2026-05-07 cs.AR cs.DC
HierTrain: Fast Hierarchical Edge AI Learning with Hybrid Parallelism in Mobile-Edge-Cloud Computing
Sun Yat-sen University（中山大学）
如今，深度神经网络（DNN）是许多新兴边缘AI应用的核心推动力。训练DNN的传统方法通常在中央服务器或云中心实现，用于集中式学习，由于大量数据样本从设备传输到远程云，这通常是耗时且需要资源的。为了克服这些缺点，我们考虑在移动边缘云计算（MECC）范式上加速DNN的学习过程。在本文中，我们提出了HierTrain，一个分层的边缘AI学习框架，它有效地将DNN训练任务部署在分层的MECC架构上。我们开发了一种新的\textit{hybrid parallelism}方法，这是HierTrain的关键，可以在边缘设备，边缘服务器和云中心三个级别上自适应地分配DNN模型层和数据样本。然后，我们制定了在层粒度和样本粒度上调度DNN训练任务的问题。解决这个优化问题使我们能够实现最小的训练时间。我们进一步实现了一个由边缘设备、边缘服务器和云服务器组成的硬件原型，并在其上进行了大量的实验。实验结果表明，HierTrain与基于云的分层训练方法相比，可以实现高达6.9倍的加速比。
2020-03-22 cs.DC cs.LG cs.NI
CATERPILLAR: Coarse Grain Reconfigurable Architecture for Accelerating the Training of Deep Neural Networks
Stanford University（斯坦福大学）；Cerebras Systems
加速经过训练的DNN的推理是一个很好的研究课题。在本文中，我们将重点转向DNN的训练。训练阶段是计算密集型的，需要复杂的数据通信，并且包含多级数据依赖性和并行性。本文提出了一种高效加速器的算法/架构空间探索，以实现更好的网络收敛速度和更高的能量效率来训练DNN。我们进一步证明，集体通信语义的分层支持的架构提供了灵活性，在训练各种网络执行随机和批量梯度下降为基础的技术。我们的研究结果表明，较小的网络有利于非批处理技术，而较大的网络的性能更高，使用批处理操作。在45纳米技术下，CATERPILLAR在小型网络上的SGD训练中实现了177 GFLOPS/W的性能效率，利用率超过80%，在较大网络上的流水线SGD/CP训练中实现了211 GFLOPS/W的性能效率，利用率超过90%，总面积分别为103.2 mm $^2$和178.9 mm $^2$。
2017-06-08 cs.DC cs.LG cs.NE
Accelerating the computation of FLAPW methods on heterogeneous architectures
计算科学和工程中的遗留代码在为研究人员提供基本功能方面非常成功。然而，他们不能利用新兴的异构体系结构提供的大规模并行性。缺乏可移植的性能和可伸缩性使它们面临很高的风险：要么发展，要么注定要消失。FLEUR是一个电子结构计算软件，它是一个从现代设计中获益匪浅的遗留代码的例子。在以前的工作中，FLEUR的计算瓶颈被部分重新设计为具有依赖于标准构建块（即BLAS和LAPACK）的模块化设计。在本文中，我们演示了初始重新设计如何实现对异构体系结构的可移植性。更具体地说，我们研究了不同的方法来将代码移植到由配备一个或多个协处理器（如Nvidia GPU和Intel Xeon Phis）的多核CPU组成的架构中。我们的最终代码达到了架构峰值性能的70%以上，并且优于Nvidia和Intel的库。最后，在JURECA（FLEUR经常在其中执行的超级计算机）上，代码充分利用了计算节点的全部能力，与单独使用CPU相比，实现了$5\times$加速。
2017-12-19 cs.CE cs.DC cs.MS
