A Nested Partitioning Scheme for Parallel Heterogeneous Clusters
现代超级计算机越来越需要加速器和协处理器。然而，在这样的异构集群上实现良好的性能并不容易。关键的挑战是确保良好的负载平衡，并且CPU和加速器都不会闲置。传统方法将整个计算卸载到加速器，导致CPU空闲，或者选择任务级并行，需要在CPU和加速器之间进行大量数据传输。真正的工作并行性很难实现，因为加速器不能直接与其他CPU（除了主机）和加速器通信。在这项工作中，我们提出了一个新的嵌套分区计划来克服这个问题。通过将给定节点上的工作分配不对称地划分为边界和内部工作，并将内部分配给加速器，我们能够实现出色的效率，同时确保CPU和加速器资源的正确利用。用于评估新分区的问题是耦合弹性-声波传播问题的$hp$不连续Galerkin谱元法。
2013-07-17 cs.DC
Multi-GPU Acceleration of PALABOS Fluid Solver using C++ Standard Parallelism
University of Geneva（日内瓦大学）；Institute for Advanced Study, Beijing Normal - Hong Kong Baptist University, Zhuhai（北京师范大学-香港浸会大学联合国际学院前沿研究院）
该研究通过C++标准并行性实现Palabos流体求解器的多GPU加速，采用混合CPU-GPU执行模型，利用现代C++技术提升性能并保持兼容性。
2026-01-09 cs.DC
Mixture-of-Parallelisms: Towards Memory-Efficient Training Stack for Mixture-of-Experts Models
Salesforce AI Research（Salesforce AI研究院）
提出一种内存高效的MoE模型训练范式，结合多种并行技术，在有限硬件资源下实现万亿参数、百万上下文长度的无损训练，吞吐量比FSDP2基线提升4.7-8.2倍。
2026-07-03 cs.AI cs.DC
Basker: A Threaded Sparse LU Factorization Utilizing Hierarchical Parallelism and Data Layouts
可扩展的稀疏LU分解对于电路和电网的高效数值模拟至关重要。在这项工作中，我们提出了一个新的可扩展的稀疏直接求解器称为Basker。Basker介绍了一种新的算法来并行化稀疏LU分解的Gilbert-Peierls算法。随着体系结构的发展，存在对本质上分层的算法的需求，以匹配线程组、单个线程和向量级并行性中的层次结构。Basker旨在很好地映射到架构中的这种层次结构。还需要数据布局来匹配存储器中的多个层级。Basker使用稀疏矩阵的二维层次结构，该结构映射到存储器架构中的层次结构和并行性中的层次结构。我们使用佛罗里达大学稀疏矩阵集合和Xyce电路仿真中的电路和电网矩阵，在英特尔SandyBridge和至强融核平台上对Basker进行了性能评估。Basker在CPU（16核）上实现了5.91倍的几何平均加速比，在Xeon Phi（32核）上实现了7.4倍的几何平均加速比。对于低填充电路矩阵，Basker在CPU（16核）和Xeon Phi（32核）上的性能分别是Intel MKL Pardiso（PMKL）的53倍和13.3倍。此外，Basker对来自实际Xyce模拟的具有挑战性的矩阵序列提供了5.4倍的加速。
2016-01-21 cs.DC
A DSEL for High Throughput and Low Latency Software-Defined Radio on Multicore CPUs
Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；Bordeaux INP（波尔多国立理工学院）；University of Bordeaux（波尔多大学）；Inria（法国国家信息与自动化研究所）；Bordeaux Institute of Technology（波尔多理工学院）
本文提出了一种新的专用于软件无线电（SDR）的领域特定嵌入式语言（DSEL）。从一组精心设计的组件，它能够建立高效的软件数字通信系统，能够利用现代处理器架构的并行性，以简单和安全的方式为程序员。特别是，建议DSEL使流水线和序列复制技术的组合，以提取时间和空间的并行性从数字通信系统。我们将DSEL功能应用于实际用例：一款完全采用软件设计的全数字收发器，适用于广泛使用的DVB-S2标准。通过评估，我们展示了所提出的软件DVB-S2收发器如何能够从现代高端多核CPU目标中获得最大收益。
2022-08-03 cs.CL cs.DC eess.SP
GPU First -- Execution of Legacy CPU Codes on GPUs
本文提出名为“GPU First”的新型编译方案，无需修改源码即可自动将传统CPU应用编译为GPU代码，通过部分libc GPU实现或远程过程调用解析库函数，在多个基准测试中实现高达14.36倍加速，有效指导大型传统应用的GPU移植。
2023-06-26 cs.DC
Partition-Aware Scheduling for Mobile Heterogeneous Inference Co-Execution
University of Southern California（南加州大学）
本文提出一种分区感知的DAG调度框架，联合优化算子分区、设备分配与执行顺序，在移动异构平台上实现接近离线最优的推理延迟，且调度开销极低。
2026-09-15 cs.DC cs.LG cs.PF
SuperOffload: Unleashing the Power of Large-Scale LLM Training on Superchips
SSAIL Lab, University of Illinois（伊利诺伊大学SSAIL实验室）
针对超级芯片新架构，提出SuperOffload卸载系统，通过自适应权重卸载等技术，在GH200上实现2.5倍吞吐提升，支持单芯片训练25B模型及多芯片长序列训练。
2025-09-25 cs.DC cs.LG
POAS: A high-performance scheduling framework for exploiting Accelerator Level Parallelism
异构计算在各个领域都成为主流。计算机体系结构的这个新时代带来了一种称为加速器级并行化（ALP）的新范式。在ALP中，同时使用加速器以提供前所未有的性能和能效水平。要实现这一目标，有许多问题需要解决，其中最具挑战性的是共同执行。本文开发了一个称为POAS的调度框架，一种通用的方法，为通用应用程序提供协同执行。与其他调度方法不同，POAS不直接调度应用程序。相反，它是一个通用模型，可以转换任何应用程序，使其适合于协同执行，以便可以在ALP环境中执行。我们的建议由四个不同的步骤组成：预测，优化，适应和调度。在这些阶段中，在应用程序中实现不同的修改，使其适合在ALP环境中执行。在这项工作中，我们还将我们的框架应用到矩阵乘法案例研究中，概述了将应用程序与POAS相结合的关键和最重要的步骤。我们评估了在使用CPU核、CUDA核和张量核（XPU）的CPU/GPU/XPU环境上基于POAS的矩阵乘法实现。我们的实验证明，在所研究的情况下，共同执行可以受益于ALP，产生高达45%的加速比只使用一个加速器。POAS已被证明的灵活性和潜力使其成为在未来计算机系统中实现ALP的优秀候选者。
2022-09-21 cs.DC
Accelerating Gaussian beam tracing method with dynamic parallelism on graphics processing units
本研究利用CUDA在GPU上重构高斯波束追踪算法，通过动态并行和内存优化，在城市及开阔平面环境中分别实现高达790倍和188倍的加速，并建立了性能评估策略。
2025-01-23 cs.DC cs.PF
Optimizing Streaming Parallelism on Heterogeneous Many-Core Architectures: A Machine Learning Based Approach
National University of Defense Technology（国防科技大学）；University of Leeds（利兹大学）
本文提出了一种自动化的方法来快速获得一个很好的解决方案，硬件资源划分和任务粒度的基于任务的并行应用程序的异构众核架构。我们的方法采用了一个性能模型来估计目标应用程序在给定的资源分区和任务粒度配置下的性能。该模型被用作在运行时快速搜索良好配置的实用程序。我们采用机器学习技术来自动学习分析模型，而不是手工制作分析模型，因为这需要专家对底层硬件细节的深入了解。我们首先使用训练程序离线学习预测模型。然后，学习的模型可以用于预测运行时任何看不见的程序的性能。我们将我们的方法应用于39个代表性的并行应用程序，并在两个代表性的异构众核平台上进行评估：一个CPU-XeonPhi平台和一个CPU-GPU平台。与单流版本相比，我们的方法在XeonPhi和GPU平台上平均分别实现了1.6倍和1.1倍的加速。这些结果转化为理论上完美的预测器所提供的性能的93%以上。
2020-03-05 cs.DC cs.LG cs.PF
Delta Tokenizer: Reference-Identical Tokenization of Session Deltas and Segment-Parallelism for Long Prompts on Multicore CPUs
Arizona State University（亚利桑那州立大学）
Delta Tokenizer是面向多核CPU的分词前端，通过增量分词与分段并行技术，大幅缩短会话轮次及长请求的分词时间，降低LLM服务的首令牌生成时间，且输出与参考结果完全一致。
2026-10-15 cs.CL cs.DC cs.PF
torch-sla: Differentiable Sparse Linear Algebra with Adjoint Solvers and Sparse Tensor Parallelism for PyTorch
PyTorch
提出 torch-sla 库，通过统一 autograd 接口和 O(1) 图伴随微分，实现可微稀疏线性代数求解器，支持多后端和分布式多 GPU 执行。
2026-06-08 cs.AI cs.DC
Speed-ANN: Low-Latency and High-Accuracy Nearest Neighbor Search via Intra-Query Parallelism
最近邻搜索（NNS）由于其在数据科学和人工智能应用中管理高维向量数据的核心作用，最近引起了人们的兴趣。神经嵌入的成功激发了人们的兴趣，其中深度学习模型将非结构化数据转换为语义相关的特征向量以进行数据分析，例如，推荐热门商品。在快速神经网络分类的几类方法中，相似图是最成功的算法趋势之一。几个最流行和性能最好的相似性图，如NSG和HNSW，在其核心采用最佳优先遍历沿着底层图索引搜索近邻。最大化搜索性能对于许多任务来说都是至关重要的，特别是在大规模和高召回率的情况下。在这项工作中，我们提供了最先进的相似性搜索算法的挑战的深入研究，揭示了它的挑战，利用多核处理器，以加快搜索效率。我们还利用是否相似图搜索是强大的偏离保持严格的顺序，允许多个步行者同时推进搜索前沿。基于我们的见解，我们提出了速度人工神经网络，一个并行的相似性搜索算法，利用隐藏的查询内并行性和存储层次结构，允许相似性搜索，以利用多个CPU内核，显着加快搜索速度，同时实现高精度。我们在各种数据集上评估了Speed-ANN，范围从数百万到数十亿个数据点，并分别显示其比NSG和HNSW更短的查询延迟。此外，在多核支持下，我们表明我们的方法比高度优化的GPU实现提供更快的搜索延迟，并且随着硬件资源数量的增加（例如，CPU核心）和图形大小。
2022-01-31 cs.DC
Justin: Hybrid CPU/Memory Elastic Scaling for Distributed Stream Processing
Justin是一种针对分布式流处理的混合CPU/内存自动伸缩器，通过细粒度内存分配和压力感知策略，在Apache Flink中实现，以更少资源支持目标速率。
2025-05-26 cs.DC
ZNN - A Fast and Scalable Algorithm for Training 3D Convolutional Networks on Multi-Core and Many-Core Shared Memory Machines
Massachusetts Institute of Technology（麻省理工学院）；Princeton University（普林斯顿大学）
卷积网络（ConvNets）已经成为计算机视觉的一种流行方法。加速ConvNet训练是很重要的，这是计算成本很高的。我们提出了一种新的并行算法的基础上分解成一组任务，其中大部分是卷积或FFT。应用布伦特定理的任务依赖图意味着线性加速与处理器的数量是可实现的PRAM模型的并行计算，广泛的网络架构。为了在真正的共享内存机器上实现这样的性能，我们的算法计算收敛在网络的同一节点上的卷积，具有时间局部性，以减少缓存未命中，并通过几乎无等待的并发方法对收敛卷积输出进行求和，以减少在关键部分花费的时间。我们实现了一个公开的软件包称为ZNN的算法。多核CPU的基准测试表明，ZNN可以达到大约等于物理核数量的加速比。我们还表明，ZNN可以在多核CPU（Xeon Phi Knights Corner）上获得超过90倍的加速比。这些加速比是针对具有常用宽度的网络架构实现的。ZNN算法的任务并行性适合于CPU，而以前算法的SIMD并行性与GPU兼容。通过示例，我们表明ZNN可以比某些GPU实现更快或更慢，这取决于网络架构，内核大小以及输出补丁的密度和大小。由于通用CPU编程相对容易，ZNN的开发和维护成本可能更低。
2015-10-22 cs.CV cs.DC cs.LG
Fiuncho: a program for any-order epistasis detection in CPU clusters
上位性可以定义为基因在表型表达过程中的统计相互作用。它被认为在基因表达中起着重要作用，因为在以前的全基因组关联研究中，个别遗传变异报告了疾病风险的非常小的增加。最成功的上位性检测方法是穷举法，尽管其指数时间复杂度要求高度并行的实现以便使用。这项工作提出了Fiuncho，一个程序，利用所有级别的并行存在于\textit{x86\_64} CPU集群，以减轻这种方法的复杂性。它支持任何顺序的上位性相互作用，与其他穷举方法相比，它平均分别比MDR，MPI3SNP和BitEpi快358，7和3倍。
2022-03-08 cs.CE cs.DC
Exploring Parallelism in FPGA-Based Accelerators for Machine Learning Applications
Western New England University（韦斯滕新英格兰大学）；Rice University（Rice大学）
针对神经网络训练加速问题，本工作在MNIST数据集上用OpenMP实现推测反向传播，通过多线程重叠前向与反向传播步骤，CPU实验获24%整体加速比及35%单步最大加速比，计划在FPGA上综合以验证硬件加速潜力。
2025-11-09 cs.AR cs.DC cs.LG
ArcLight: A Lightweight LLM Inference Architecture for Many-Core CPUs
Harbin Institute of Technology（哈尔滨工业大学）；Tsinghua University（清华大学）
本文提出ArcLight，一种为多核CPU优化的LLM推理架构，通过高效内存管理和线程调度及精细控制的张量并行性，解决多核CPU上的跨节点内存访问瓶颈，实现更高的推理吞吐量。
2026-05-13 cs.CL cs.DC
Choice of Parallelism: Multi-GPU Driven Pipeline for Huge Academic Backbone Network
科学信息网（SINET）是日本800多个研究机构和大学的学术骨干网络。在本文中，我们提出了一个多GPU驱动的流水线处理SINET的巨大的会话数据。我们的管道包括ELK堆栈，多GPU服务器和Splunk。多GPU服务器负责两个过程：判别和直方图。区分是通过子网掩码计算和网络地址匹配将会话数据划分为传入/传出。直方图是指使用map-reduce将传入/传出会话数据分组到bin中。在我们的架构中，我们使用GPU来加速会话数据的入口/出口区分。此外，我们使用平铺设计模式来构建CPU和GPU的两阶段映射缩减。我们的多GPU驱动的流水线已经成功地在24小时内处理了大约12亿到16亿个会话流（500 GB-650 GB）的巨大工作负载。
2021-06-24 cs.DC
ScaleFreeCTR: MixCache-based Distributed Training System for CTR Models with Huge Embedding Table
Huawei Noah's Ark Lab（华为诺亚方舟实验室）
由于深度学习具有优越的特征表示能力，工业公司在商业系统中部署了各种深度点击率（CTR）模型。为了获得更好的性能，需要在大量的训练数据上对深度CTR模型进行有效的训练，这使得加快训练过程成为一个重要问题。与具有密集训练数据的模型不同，CTR模型的训练数据通常是高维和稀疏的。为了将高维稀疏输入转换为低维密集实值向量，几乎所有的深度CTR模型都采用嵌入层，嵌入层很容易达到数百GB甚至TB。由于单个GPU无法承受所有嵌入参数，因此在执行分布式训练时，仅进行数据并行是不合理的。因此，现有的分布式推荐训练平台采用模型并行。具体来说，它们使用服务器的CPU（主机）内存来维护和更新嵌入参数，并利用GPU工作器进行向前和向后计算。不幸的是，这些平台遭受两个瓶颈：（1）主机和GPU之间的拉/推操作的延迟;（2）CPU服务器中的参数更新和同步。为了解决这些瓶颈，在本文中，我们提出了ScaleFreeCTR：一个基于MixCache的CTR模型分布式训练系统。具体地说，在SFCTR中，我们也将巨大的嵌入表存储在CPU中，但利用GPU而不是CPU来有效地进行嵌入同步。为了减少GPU主机和GPU之间的数据传输延迟，提出了MixCache机制和虚拟稀疏ID操作。进行了全面的实验和消融研究，以证明SFCTR的有效性和效率。
2021-05-11 cs.AI cs.DC cs.IR
Exploiting Multi-Core Parallelism in Blockchain Validation and Construction
IMDEA Networks Institute（IMDEA网络研究所）；Universidad Carlos III de Madrid（马德里卡洛斯三世大学）；IMDEA Software Institute（IMDEA软件研究所）
本文提出利用多核并行性优化区块链验证与构建，通过精确建模和启发式方法提升效率与收益。
2026-02-03 cs.DC cs.DS
Towards Affordable, Adaptive and Automatic GNN Training on CPU-GPU Heterogeneous Platforms
School of Computer Science and Engineering, Beihang University（北京航空航天大学计算机科学与工程学院）；Qingdao Research Institute, Beihang University（北京航空航天大学青岛研究院）；School of Software, Beihang University（北京航空航天大学软件学院）
针对GNN训练依赖昂贵平台的问题，提出A3GNN框架，通过局部感知采样、细粒度并行调度及强化学习优化资源利用，在CPU-GPU异构平台实现经济、自适应、自动化训练，提升吞吐量并缩小性能差距。
2025-10-15 cs.DC
Chrion: Optimizing Recurrent Neural Network Inference by Collaboratively Utilizing CPUs and GPUs
针对循环神经网络推理优化问题，提出协同利用CPU与GPU的Chrion系统，将模型部署建模为异质设备有向无环图NP难调度问题，可显著降低推理延迟与GPU内存占用。
2023-07-21 cs.DC
Comparative Performance Analysis of Intel Xeon Phi, GPU, and CPU
我们调查和表征一类重要的GPU和许多集成核心（MIC）架构上的操作的性能。我们的工作是由应用程序，分析低维的空间数据集捕获的高分辨率传感器，如图像数据集从整个幻灯片组织标本使用显微图像扫描仪。我们确定了对象分割和特征计算类别中的操作的数据访问和计算模式。我们系统地实现和评估这些核心操作的性能在现代CPU，GPU和MIC系统的显微图像分析应用程序。我们的研究结果表明：（1）数据访问模式和操作所采用的并行化策略强烈影响其性能。虽然执行常规数据访问的操作的MIC上的性能与GPU上的性能相当或有时更好;（2）对于不规则访问数据的操作和算法，GPU比MIC更有效。这是由于后者在随机数据访问方面性能较低的结果;（3）使用性能感知任务调度策略在MIC和CPU上充分协调执行，比先来先服务策略提高了约1.29倍。示例应用程序在192个节点（3072个CPU内核和192个MIC）的执行中获得了84%的效率。
2013-11-02 cs.DC cs.PF
Energy-Efficient High-Throughput Data Transfers via Dynamic CPU Frequency and Core Scaling
全球数据移动的能源足迹已超过100太瓦时，给世界经济造成的损失超过200亿美元。根据源节点和目的节点之间的交换机、路由器和集线器的数量，网络基础设施在活动数据传输期间消耗总能量的10% - 75%，其余部分由终端系统消耗。尽管在降低网络基础设施的功耗方面已经有了广泛的研究，但在终端系统节能方面的工作仅限于调整一些应用级参数，如并行性、流水线和并发性。在本文中，我们介绍了三种新的应用程序级参数调整算法，采用动态CPU频率和核心缩放，结合算法和运行时测量，以实现节能的数据传输。实验结果表明，我们提出的算法优于国家的最先进的解决方案，实现高达48%的降低能耗和80%的吞吐量提高。
2019-04-11 cs.DC cs.NI
Exploring Fine-grained Task Parallelism on Simultaneous Multithreading Cores
针对SMT核心上细粒度任务并行研究不足的问题，本文提出纯软件框架Relic，并在真实细粒度内核上显著优于多种主流共享内存并行编程框架。
2024-10-02 cs.DC
DiT-HC: Enabling Efficient Training of Visual Generation Model DiT on HPC-oriented CPU Cluster
Tsinghua University（清华大学）；Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院）；Sun Yat-sen University（中山大学）；National University of Singapore（新加坡国立大学）；National Supercomputing Center in Shenzhen（国家超级计算深圳中心）
DiT-HC通过三项关键技术在HPC CPU集群上实现生成模型DiT的高效训练与扩展，实验显示在CPU库上速度提升达8.2至87.7倍，且在256节点上达到90.6%的弱标度效率。
2026-02-18 cs.DC
BrainSlug: Transparent Acceleration of Deep Learning Through Depth-First Parallelism
NEC Laboratories Europe（日本电气欧洲实验室）；Systems and Machine Learning Group（系统与机器学习组）
PyTorch和TensorFlow等神经网络框架是从对象识别到机器翻译等众多机器学习应用的主力。虽然这些框架是通用的并且使用简单，但是深度神经网络中的训练和推理是资源密集型的（能量、计算和内存）。与最近专注于算法增强的工作相比，我们引入了BrainSlug，这是一个框架，通过将默认的逐层处理更改为深度优先方法，从而透明地加速神经网络工作负载，减少计算所需的数据量，从而提高可用硬件缓存的性能。BrainSlug在CPU上实现了高达41.1%的性能提升，在GPU上实现了35.7%的性能提升。这些优化对用户来说是零成本的，因为它们不需要改变硬件，只需要对软件进行微小的调整。
2018-04-23 cs.AI cs.CV cs.DC
Testing fine-grained parallelism for the ADMM on a factor-graph
目前正在努力开发应用分布式计算资源来解决大型问题或减少解决这些问题的时间的工具。在这种情况下，交替方向乘法（ADMM）出现作为一种方法，可以利用分布式资源，如双上升方法，并具有增广拉格朗日方法的鲁棒性和改进的收敛性。使用多核加速ADMM的传统方法是特定于问题的，并且通常需要多核编程。相比之下，我们提出了一个问题独立的计划，加速ADMM，不需要用户编写任何并行代码。我们表明，该计划，ADMM的解释作为一个消息传递算法的因子图，可以自动利用细粒度并行在GPU和共享内存的多核计算机，并实现显着的加速在不同的应用领域，如组合优化，机器学习，和最优控制。具体来说，我们在ADMM的串行优化C版本上使用GPU获得了10 - 18倍的加速，使用多个CPU核心获得了5 - 9倍的加速，这与现有GPU加速库报告的典型加速相似，包括cuFFT（19倍），cuBLAS（17倍）和cuRAND（8倍）。
2016-03-08 cs.DC cs.MS math.OC
Fast Parallel Exact Inference on Bayesian Networks: Poster
The University of Western Australia（西澳大利亚大学）；Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Hong Kong University of Science and Technology（香港科技大学）
贝叶斯网络是一种图形化的、可解释的机器学习模型，因此具有很大的吸引力。然而，精确的推理BN是耗时的，特别是对于复杂的问题。为了提高效率，我们提出了一个快速BN精确推理解决方案命名为Fast-BNI多核CPU。Fast-BNI通过紧密集成粗粒度并行和细粒度并行的混合并行来提高精确推理的效率。我们还提出了进一步简化BN精确推理的瓶颈操作的技术。Fast-BNI源代码可在https://github.com/jjiantong/FastBN上免费获得。
2022-12-08 cs.AI cs.DC
Ghidorah: Fast LLM Inference on Edge with Speculative Decoding and Hetero-Core Parallelism
针对边缘端 LLM 解码受内存带宽限制、异构单元利用率低的问题，提出 Ghidorah，结合推测解码、HCMP 异构模型并行与 ARCA 策略优化，在 Jetson NX 上实现最高 7.6 倍解码加速。
2025-06-10 cs.DC
Rank-Aware CPU Reservation and In-Place Adjustment for MPI CFD on Kubernetes
Purdue University（普渡大学）；School of Aeronautics and Astronautics（航空与航天学院）
本文提出基于Kubernetes的秩感知资源调度方法，通过动态调整CPU资源分配，优化低负载子域的资源预留，提升集群利用率而不显著影响性能。
2026-10-30 cs.DC
High-Performance Sorting-Based k-mer Counting in Distributed Memory with Flexible Hybrid Parallelism
针对现有分布式内存k-mer计数方法缓存效率低、内存消耗高、并行灵活性不足的问题，提出基于排序的HySortK计数器，通过优化通信与混合并行实现性能提升与内存降低，并验证了实际集成效果。
2024-07-10 cs.DC q-bio.GN
Breaking the Memory Wall: A Study of I/O Patterns and GPU Memory Utilization for Hybrid CPU-GPU Offloaded Optimizers
本文利用 DeepSpeed 分析混合 CPU-GPU 卸载训练的 GPU 内存利用、PCIe 传输及迭代步骤关系，揭示其瓶颈与优化空间。
2024-06-15 cs.DC
FractalSortCPU: Bandwidth-Efficient Compressed Radix Sort on CPU
University of Toronto（多伦多大学）；Eonforge Labs（Eonforge实验室）
本文提出FractalSortCPU，通过CPU适配的直方图压缩方案，实现任意精度键值的高效基数排序，降低直方图增长，提升带宽效率，适用于大规模数据集。
2026-05-12 cs.DC cs.DS
Distributed learning of CNNs on heterogeneous CPU/GPU architectures
卷积神经网络（CNN）已被证明是强大的分类工具，适用于从支票阅读到医疗诊断的各种任务，接近人类感知，在某些情况下甚至超越人类感知。然而，要解决的问题变得越来越大，越来越复杂，这意味着更大的CNN，导致更长的训练时间，即使采用图形处理单元（GPU）也无法跟上。这个问题通过使用更多的处理单元和分布式训练方法得到部分解决，这些方法由几个专用于神经网络训练的框架提供。然而，这些技术没有充分利用CNN提供的可能的并行化以及具有不同处理能力、时钟速度、存储器大小等的异构设备的协同使用。本文提出了一种用于CNN并行训练的新方法，该方法可以被认为是模型并行的一个特定实例，其中仅分布卷积层。事实上，在训练期间处理的卷积（包括前向和后向传播）表示全局处理时间的$60$ - $90$ \%。本文分析了网络规模、带宽、批量大小、设备数量（包括它们的处理能力）和其他参数的影响。结果表明，该技术能够减少训练时间，而不会影响CPU和GPU的分类性能。对于CIFAR-10数据集，分别使用具有两个卷积层的CNN以及$500$和$1500$内核，最佳加速比使用四个CPU实现$3.28\times$，使用三个GPU实现$2.45\times$。比CIFAR-10更大和更复杂的现代成像数据集肯定需要超过$60$ - $90$ \%的处理时间来计算卷积，并且加速将倾向于相应地增加。
2017-12-07 cs.DC
ReDSEa: Automated Acceleration of Triangular Solver on Supercloud Heterogeneous Systems
ReDSEa工具链通过LLVM编译器分析和性能模型，在鲲鹏ARM CPU与昇腾910异构系统上自动化三角求解器的映射、调度与并行化，实现最高16倍加速。
2023-05-31 cs.AR cs.DC
MICA: A fast short-read aligner that takes full advantage of Intel Many Integrated Core Architecture (MIC)
背景：短读对齐器最近通过利用GPU的大规模并行性获得了很大的速度。GPU的一个崛起的替代品是英特尔MIC;像天河2号这样的超级计算机，目前排名前500，是用48,000个MIC板建造的，提供约55 PFLOPS。MIC的类似CPU的架构允许基于CPU的软件轻松并行化;然而，性能通常不如GPU同行，因为MIC板仅包含约60个核心（而GPU板通常具有超过一千个核心）。结果如下：为了更好地利用支持MIC的计算机进行NGS数据分析，我们开发了一种新的短读比对器MICA，该MICA针对MIC的限制和每个MIC核心内部的额外并行性进行了优化。比对150 bp双端读段的实验表明，使用一个MIC板的MICA比BWA-MEM（使用高端CPU的6核）快4.9倍，比SOAP 3-dp（使用GPU）略快。此外，MICA的简单性允许在一个节点中使用多个MIC板时非常有效地扩展（3个卡比BWA-MEM提供14.1倍的加速）。摘要：MICA可以很容易地被支持MIC的超级计算机用于生产目的。我们已经在天河二号上测试了90个WGS样本（17.47 Tera基）的MICA，这些样本可以在一小时内对齐不到400个节点。MICA具有令人印象深刻的性能，尽管当前的MIC处于开发的初始阶段（下一代MIC已宣布将于2014年底发布）。
2014-02-20 cs.CE cs.DC q-bio.GN
SIMPLE: Disaggregating Sampling from GPU Inference into a Decision Plane for Faster Distributed LLM Serving
SIMPLE通过将采样分解到CPU侧，结合序列并行和热点词汇采样，显著提升分布式LLM服务的吞吐量和效率。
2025-11-30 cs.DC
High-Speed Query Processing over High-Speed Networks
现代数据库集群需要两个级别的网络：在小型服务器中连接CPU和NUMA区域，在大型服务器中连接多个服务器。这两种类型的网络之间的巨大性能差距曾经降低了分布式查询处理的速度，以至于机器集群的性能实际上比单个众核服务器更差。集群的主存容量增加仍然是这种横向扩展的唯一好处。InfiniBand等高速互连的经济可行性大大缩小了这一性能差距。然而，当分布式查询引擎保持不变时，仅凭InfiniBand的更高网络带宽并不能像预期的那样提高查询性能。分布式查询处理的可扩展性受到TCP开销、由于不协调的通信而引起的交换机争用以及由于经典交换操作符模型的可扩展性而导致的负载不平衡的损害。本文提出了一个分布式查询引擎，解决这些问题的蓝图，从整体上考虑这两个层次的网络。它由两部分组成：第一，混合并行性，区分本地和分布式并行性，以便在核心数量和服务器数量方面都具有更好的可扩展性。第二，一种新型的通信多路复用器，专为分析数据库工作负载量身定制，使用远程直接内存访问（RDMA）和低延迟网络调度进行高速通信，几乎没有CPU开销。使用TPC-H基准测试的HyperPer数据库系统内的广泛评估表明，我们的整体方法确实能够在高速网络上进行高速查询处理。
2015-11-02 cs.DB cs.DC
Scalable Fine-Grained Parallel Cycle Enumeration Algorithms
枚举简单循环在计算生物学、网络科学和金融犯罪分析中有重要的应用。在这项工作中，我们专注于并行化的国家的最先进的简单的循环枚举算法的约翰逊和读取Tarjan以及他们的应用程序的时间图。据我们所知，我们是第一个以细粒度方式并行这两个算法的人。我们也是第一个实验证明线性性能缩放。这种扩展是通过我们将长顺序搜索分解为细粒度任务而实现的，然后在CPU内核之间动态调度这些任务，从而实现最佳的负载均衡。此外，我们表明，粗粒度的并行版本的约翰逊和读取Tarjan算法，利用边缘或顶点级并行是不可扩展的。在一个集群的四个多核CPU与$256$物理核心，我们的细粒度的并行算法，平均来说，一个数量级的速度比他们的粗粒度的并行同行。细粒度和粗粒度并行算法之间的性能差距随着我们使用更多的CPU内核而扩大。当使用所有256个CPU内核时，我们的并行算法枚举时间周期，平均而言，$260\times$比Kumar和Calders的串行算法快。
2022-05-31 cs.DC cs.DS
ePython: An implementation of Python for the many-core Epiphany coprocessor
Epiphany是一种多核、低功耗、低片上存储器架构，可以非常便宜地访问多个并行内核，这对HPC教育和原型设计非常有益。这些架构的极低功耗特性也意味着它们在未来的HPC机器中有可能使用，但是由于相关的复杂性和支持工具的不成熟性，在对它们进行编程时存在很高的准入门槛。在本文中，我们介绍了我们在ePython上的工作，ePython是用于Epiphany和类似众核协处理器的Python子集。由于每个内核的片上内存有限，我们开发了一个新的Python解释器，再加上对并行性的额外支持，这意味着新手可以利用Python在Epiphany上快速编写并行代码，并使用较小规模的并行机探索HPC的概念。Python的高级性质为Epiphany开辟了新的可能性，我们从可编程性和性能的角度研究了计算密集型Gauss-Seidel代码，讨论了在主机CPU和Epiphany上运行Python混合，以及CPU上的完整Python解释器和Epyphany上的ePython之间的互操作性。这项工作的结果是支持在Epiphany上开发Python，它可以应用于其他类似的架构，社区已经开始采用和使用这些架构来探索并行和HPC的概念。
2020-10-28 cs.DC cs.PL
