A Unified Optimization Approach for Sparse Tensor Operations on GPUs
稀疏张量出现在许多具有多维和稀疏数据的大规模应用中。虽然多维稀疏数据通常需要在众核处理器上处理，但很少尝试开发基于GPU的稀疏张量操作的高度优化实现。不规则的计算模式和稀疏结构以及稀疏张量操作的大内存占用使得这样的实现具有挑战性。我们利用稀疏张量操作共享类似计算模式的事实，提出了一个统一的张量表示称为F-COO。结合GPU特定的优化，F-COO提供了GPU上稀疏张量计算的高度优化实现。所提出的统一方法的性能被证明为基于张量的内核，如稀疏矩阵化张量-时间-Khatri-Rao乘积（SpMTTKRP）和稀疏张量-时间-矩阵乘法（SpTTM），并用于张量分解算法。与最先进的工作相比，我们在NVIDIA Titan-X GPU上分别将SpTTM和SpMTTKRP的性能提高了3.7和30.6倍。我们实现了CANDECOMP/PARAFAC（CP）分解，并在NVIDIA Titan-X GPU上使用最先进的库使用统一方法实现了高达14.9倍的加速。
2017-05-28 cs.DC cs.MS
A Parallel Sparse Tensor Benchmark Suite on CPUs and GPUs
张量计算提出了重大的性能挑战，影响了从机器学习、医疗分析、社会网络分析、数据采掘到量子化学和信号处理的广泛应用。提高张量计算性能的努力包括探索常见张量内核中的数据布局、执行调度和并行性。这项工作提出了一个基准套件的任意阶稀疏张量内核使用国家的最先进的张量格式：坐标（COO）和层次坐标（HiCOO）的CPU和GPU。它提出了一组参考张量核实现，这些实现与从合成图生成技术扩展的真实世界张量和幂律张量兼容。我们还提出了这些内核的Roofline性能模型，以提供从稀疏张量视图的计算机平台的见解。
2020-01-02 cs.DC cs.PF
Accelerating Compact Fractals with Tensor Core GPUs
这项工作提出了一个GPU线程映射方法，允许使用其紧凑的表示离散分形做快速并行模板般的计算。其背后的直觉是使用两个GPU张量核加速线程映射$λ(ω)$和$ν(ω)$，它们分别充当线程空间到数据空间和数据空间到线程空间的函数。通过组合这些映射，线程可以访问紧凑的空间并与它们的邻居交互。映射的成本是$\mathcal{O}(\log \log(n))$时间，$n$是扩展形式的分形的$n \times n$嵌入的一侧。该技术适用于属于离散分形的非重叠边界盒（NBB）类的任何分形，并且也可以扩展到三维。使用A100 GPU对Sierpinski Triangle进行的案例研究结果表明，相对于限界框方法，加速高达$\sim11\times$，内存使用减少了$234\times$。这些结果表明，所提出的紧凑方法可以让科学界解决以前不适合GPU内存的较大问题，并且运行速度甚至比限界框方法更快。
2021-10-25 cs.DC
Fast Kronecker Matrix-Matrix Multiplication on GPUs
本文提出FastKron技术，通过摆脱对通用线性代数运算的依赖并引入Kron-Matmul特定优化，在单GPU和多GPU上分别实现最高40.7倍和7.85倍的性能提升。
2024-02-28 cs.DC
Accelerating Binarized Neural Networks via Bit-Tensor-Cores in Turing GPUs
Pacific Northwest National Laboratory（西北太平洋国家实验室）；U.S. Army Research Laboratory（美国陆军研究实验室）
尽管与传统的深度神经网络相比，二值化神经网络（BNN）的性能优势得到了巨大的提升，但它仅仅在CPU和GPU等通用处理器上得到了展示。事实上，由于无法利用基于字的架构的位级并行性，GPU在执行BNN时的利用率极低（1%）。因此，NVIDIA Turing GPU中的最新tensorcore开始实验性地支持位计算。在这项工作中，我们将研究这种全新的位计算能力，并描述其独特的功能。我们表明，内存访问的步幅可以显着影响性能交付，并且非常需要数据格式协同设计来支持tensorcore，以实现比没有tensorcore的现有软件解决方案更优越的性能。实现了张量核加速的BNN设计，特别是全连接层和卷积层的主要功能--位矩阵乘法和位卷积。在两个NVIDIA Turing GPU上的评估表明，使用ResNet-18，我们的BTC-BNN设计可以以每秒5.6K图像的速度处理ImageNet，比最先进的速度快77%。我们的BNN方法发布在www.example.com上。
2020-12-15 cs.DC cs.LG
FusionStitching: Deep Fusion and Code Generation for Tensorflow Computations on GPUs
近年来，机器学习在工业领域的应用越来越广泛。其中许多都基于流行的AI框架，如Tensorflow，Torch，Caffe或MxNet等，并由GPU等加速器平台提供支持。在GPU上运行Tensorflow计算的一个重要挑战是细粒度问题，即单个操作的FLOPS远远不足以充分利用底层加速器的计算能力。XLA框架为进一步探讨这个问题提供了坚实的基础。在本文中，我们提出了FusionStitching，一种新颖的，全面的运算融合和代码生成系统缝合到大型GPU内核的计算。在四个公共模型和我们的两个大型内部应用程序上的实验结果显示，与XLA融合基线相比，GPU内核启动又减少了55%（几何平均值）。这将我们两个延迟关键型内部应用程序的E2E性能提高了20%。
2018-11-13 cs.DC cs.MS
Shfl-BW: Accelerating Deep Neural Network Inference with Tensor-Core Aware Weight Pruning
深度神经网络（DNN）中的权重修剪可以降低存储和计算成本，但难以为模型推理时间带来实际加速。张量核可以显著提高GPU在密集计算上的吞吐量，但将张量核用于稀疏DNN是非常具有挑战性的。与现有的CUDA核相比，张量核需要更高的数据重用和矩阵形状的指令粒度，这两者都难以从稀疏DNN内核中产生。现有的剪枝方法无法平衡准确性和效率的要求：随机稀疏性很好地保留了模型质量，但禁止张量核加速，而高度结构化的块稀疏性可以利用张量核，但遭受严重的准确性损失。在这项工作中，我们提出了一种新的稀疏模式，混合块稀疏（Shfl-BW），旨在有效地利用张量核，同时最大限度地减少对权重结构的约束。我们的见解是，行和列排列为权重结构提供了丰富的灵活性，同时使用我们的GPU内核设计引入了可以忽略不计的开销。我们在线性和卷积层中优化了Shfl-BW的GPU内核。评估表明，我们的技术可以实现最先进的GPU上的速度和精度的权衡。例如，在精度损失很小的情况下，我们可以在75%稀疏度下，在NVIDIA V100、T4和A100 GPU上分别将Transformer的计算密集型层加速1.81、4.18和1.90倍。
2022-03-12 cs.DC
Parallelizing Large-Scale Tensor Network Contraction on Multiple GPUs
Singapore University of Technology and Design（新加坡科技设计大学）；NVIDIA Corporation（英伟达公司）
提出一种多GPU框架，通过显式通信和通信感知的分布规划，在固定收缩路径上实现高效并行，相比切片方法获得显著加速。
2026-06-01 cs.DC quant-ph
A Performance Study of the 2D Ising Model on GPUs
二维伊辛模型的模拟被用作基准，以显示图形处理单元（GPU）的计算能力。GPU上现在提供的丰富编程环境和灵活的硬件功能使我们能够快速试验几种实现思路：一种简单的基于模板的算法，将模板操作重新转换为矩阵乘法，以利用NVIDIA GPU上提供的Tensor Core，以及高度优化的多自旋编码方法。使用CUDA中提供的托管内存API，可以在多GPU NVIDIA DGX-2服务器上简单高效地分发这些实现。我们表明，即使是一个基本的GPU实现可以优于目前的结果发表在TPU和优化的多GPU实现可以模拟非常大的晶格比自定义FPGA解决方案更快。
2019-06-14 cs.DC
cu_FastTucker: A Faster and Stabler Stochastic Optimization for Parallel Sparse Tucker Decomposition on Multi-GPUs
高阶、高维和稀疏张量（HOHDST）数据源于实际的工业应用，即，社交网络、推荐系统、生物信息和交通信息。稀疏张量分解（STD）可以将HOHDST数据投影到低秩空间。本文提出了一种新的Kruskal逼近核张量的STD方法和逼近整体梯度的随机策略，该方法包括以下两个部分：（1）核张量的Kruskal积的矩阵化展开顺序遵循因子矩阵的乘法顺序，从而将指数运算量降为线性运算量;（2）随机策略采用一步随机抽样集来逼近整个梯度，抽样集的体积远小于原始样本集的体积。同时，该方法可以保证收敛性，节省内存开销。由于同阶矩阵乘法的紧凑性和随机策略的并行访问，cuFastTucker的速度可以通过GPU进一步增强。此外，针对大规模HOHDST数据无法在单个GPU上容纳的问题，提出了cuFastTucker的数据划分和通信策略，用于多GPU上的数据容纳。cuFastTucker可以实现最快的速度，并保持相同的精度和比SOTA算法低得多的内存开销，例如，P $-$ Tucker、Vest和SGD $\_$ Tucker。代码和部分数据集可在“https://github.com/ZixuanLi-China/FastTucker”上免费获得。
2022-04-14 cs.DC
a-Tucker: Input-Adaptive and Matricization-Free Tucker Decomposition for Dense Tensors on CPUs and GPUs
Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Peking University（北京大学）
Tucker分解是分析和压缩大规模张量数据最常用的模型之一。现有的Tucker分解算法通常依赖于单个求解器来计算因子矩阵和核张量，并且不够灵活以适应输入数据和硬件的变化。此外，为了利用高效的GEMM内核，大多数Tucker分解实现使用显式矩阵化，这可能会在数据转换和内存使用方面引入额外的成本。在本文中，我们提出了a-Tucker，一个新的框架，输入自适应和矩阵化的密集张量的Tucker分解。提出了一种模式灵活的Tucker分解算法，实现了因子矩阵和核张量的不同求解器的切换，并采用机器学习自适应求解器选择器自动应对输入数据和硬件的变化。为了进一步提高性能和提高内存效率，我们实现了a-Tucker在一个完全的矩阵化自由的方式，没有张量和矩阵之间的任何转换。对各种合成和真实世界张量的实验表明，a-Tucker在CPU和GPU上的性能都大大优于现有的作品。
2020-10-20 cs.AI cs.DC
tcFFT: Accelerating Half-Precision FFT through Tensor Cores
快速傅立叶变换（FFT）是科学计算和工程计算中必不可少的工具。随着对混合精度FFT的需求不断增长，半精度浮点（FP 16）算法的使用成为可能，以实现更快的速度和节能。NVIDIA Tensor Cores专注于较低精度，可提供极高的计算性能。然而，固定的计算模式使得它很难利用FFT的张量核心的计算能力。因此，我们开发了tcFFT来用Tensor Core加速FFT。我们的tcFFT支持各种大小的批量1D和2D FFT，并利用一组优化来实现高性能：1）Tensor Core片段上的单元素操作，以支持FFT所需的特殊操作; 2）细粒度数据排列设计，以协调GPU内存访问模式。我们在NVIDIA V100和A100 GPU上评估了各种大小和尺寸的tcFFT和NVIDIA cuFFT。结果表明，在两种GPU上，tcFFT的性能分别比cuFFT高1.29x-3.24x和1.10x-3.03x。我们的tcFFT具有很大的潜力，混合精度的科学应用。
2021-04-23 cs.DC
ALCOP: Automatic Load-Compute Pipelining in Deep Learning Compiler for AI-GPUs
针对现有AI-GPU张量程序流水线优化依赖手写库、扩展性差的问题，本文提出编译器原生的ALCOP框架，攻克多级多阶段流水线生成的三大障碍，实现显著性能提升与高效调度调优。
2023-05-06 cs.DC
Nonuniform-Tensor-Parallelism: Mitigating GPU failure impact for Scaled-up LLM Training
Carnegie Mellon University（卡内基梅隆大学）；NVIDIA（英伟达公司）
针对大规模LLM训练中GPU故障因纵向扩展域扩大而放大吞吐量损失的问题，本文提出非均匀张量并行（NTP）及配套机架设计，使故障副本降级运行并跟上正常副本，实现接近零的吞吐量损失。
2025-04-08 cs.DC cs.LG
MpFA: Hardware-Efficient Train-Free QK4V8 FlashAttention Kernels on Blackwell GPUs
College of Computer Science and Technology, National University of Defense Technology（国防科技大学计算机学院）
针对长上下文 LLM 推理的注意力瓶颈，提出免训练混合精度 FlashAttention 内核 MpFA，采用 QK4PV8 与秩一补偿，在 B200 上显著提升吞吐并恢复精度。
2026-09-29 cs.DC
Scaling State-Space Models on Multiple GPUs with Tensor Parallelism
Stony Brook University（石溪大学）
本文提出一种通信高效的张量并行设计，用于在多GPU上加速选择性状态空间模型推理，通过状态缓存、参数分区和量化AllReduce减少通信开销，提升吞吐量。
2026-02-24 cs.DC cs.LG
Efficient Quantum Circuit Simulation by Tensor Network Methods on Modern GPUs
针对大规模量子电路模拟中状态向量法失效的问题，本文研究基于张量网络在现代GPU上的高效模拟，提出将关键爱因斯坦求和转换为GEMM、结合扩展精度与混合精度的优化策略，在Sycamore 18-cycle验证中实现3.96倍加速并超过21 TFLOPS。
2024-08-12 cs.DC physics.comp-ph quant-ph
Squeeze: Efficient Compact Fractals for Tensor Core GPUs
这项工作提出了挤压，一个有效的紧凑的分形处理方案的张量核心GPU。通过结合紧凑和扩展形式之间的离散空间变换，可以在具有邻域访问的分形上进行数据并行计算，而无需在内存中扩展分形。空间变换被公式化为两个GPU张量核加速线程映射$λ(ω)$和$ν(ω)$，它们分别充当紧凑到扩展和扩展到紧凑的空间函数。映射的成本是$\mathcal{O}(\log_2 \log_s(n))$时间，$n$是扩展形式的分形的$n \times n$嵌入的边，而$s$是线性缩放因子。所提出的方法适用于任何分形，属于非重叠边界盒（NBB）类的离散分形，并可以扩展到三维。实验结果使用离散Sierpinski三角形作为案例研究显示了高达$\sim12\times$的加速比和高达$\sim 315\times$的内存减少因子相对于基于GPU的扩展空间限界框方法。这些结果表明，所提出的紧凑方法将使科学界能够有效地解决迄今为止无法适应GPU内存的问题。
2022-01-03 cs.CG cs.DC cs.DM
TC-GNN: Bridging Sparse GNN Computation and Dense Tensor Cores on GPUs
University of California, Santa Barbara（加州大学圣巴巴拉分校）
TC-GNN是首个基于GPU张量核心的GNN加速框架，通过稀疏图转换技术和CUDA核心与TCU协同设计，桥接稀疏GNN计算与稠密张量核心，在多种模型和数据集上相比DGL平均加速1.70倍。
2023-05-31 cs.DC cs.LG
Graph Traversal on Tensor Cores: A BFS Framework for Modern GPUs
Department of Computer Science and Engineering, Faculty of Engineering and Natural Sciences, Sabancı University（萨班哲大学工程与自然科学学院计算机科学与工程系）；Center of Excellence in Data Analytics, Sabancı University（萨班哲大学数据卓越中心）
提出BLEST框架，通过将广度优先搜索重构为位级稀疏矩阵-向量计算，并引入二值化虚拟切片集、优化张量核心布局和惰性顶点更新等机制，在GPU上实现了平均22.0倍于GAP等现有方法的加速。
2026-06-03 cs.DC cs.DS
An Empirical Evaluation of Allgatherv on Multi-GPU Systems
用于深度学习和大数据分析的应用程序的计算和内存需求超过了单个GPU的限制。然而，由于GPU之间的通信的复杂性，特别是对于具有不规则消息大小的集体通信，有效地将应用扩展到多个GPU是具有挑战性的。在这项工作中，我们提供了一个性能评估的Allanov例程多GPU系统，专注于GPU的网络拓扑结构和使用的通信库。我们提出了OSU-微基准测试的结果，并对稀疏张量因子分解进行了案例研究，这是一个使用具有高度不规则消息大小的Allanov的应用程序。我们扩展了现有的张量因式分解工具，使其可以在具有不同节点数和每个节点不同GPU数量的系统上运行。然后，我们评估我们的工具的通信性能时，使用传统的MPI，CUDA感知MVAPICH和NCCL在一套真实世界的数据集在三个不同的系统：一个16节点的集群，每个节点一个GPU，NVIDIA的DGX-1与8 GPU和克雷的CS风暴与16 GPU。我们的研究结果表明，张量数据集的不规则性产生的趋势与OSU微基准中的趋势相矛盾，以及基准中没有的趋势。
2018-12-14 cs.DC cs.PF
HexiScale: Facilitating Large Language Model Training over Heterogeneous Hardware
The Hong Kong University of Science and Technology（香港科技大学）；Peking University（北京大学）；Shanghai Jiao Tong University（上海交通大学）
本文提出HexiScale系统，通过异构GPU实现训练计算的灵活分配，提升资源利用效率，实验显示其在不同规模LLM训练中性能优于传统同构和异构系统。
2026-05-12 cs.DC
Performance Modeling and Evaluation of Distributed Deep Learning Frameworks on GPUs
深度学习框架已经被广泛部署在GPU服务器上，用于学术界和工业界的深度学习应用。在训练深度神经网络（DNN）时，有许多标准的过程或算法，例如卷积和随机梯度下降（SGD），但是即使在相同的GPU硬件上运行相同的深度模型，不同框架的运行性能也可能不同。在这项研究中，我们评估了四种最先进的分布式深度学习框架（即，Caffe-MPI、CNTK、MXNet和TensorFlow）在单GPU、多GPU和多节点环境中的应用。我们首先在使用SGD训练DNN时建立标准过程的性能模型，然后我们用三种流行的卷积神经网络（即，AlexNet、GoogleNet和ResNet-50），然后分析了造成这四种框架性能差距的因素。通过分析和实验分析，我们确定了可以进一步优化的瓶颈和开销。主要的贡献是，所提出的性能模型和分析提供了进一步的优化方向，在算法设计和系统配置。
2018-08-20 cs.DC
Leveraging GPU Tensor Cores for Double Precision Euclidean Distance Calculations
张量核（Tensor Cores，TC）是一种专用集成电路（ASIC），是图形处理单元（GPU）架构的最新成员。因此，TC被有目的地设计为大大提高矩阵乘法累加（MMA）运算的性能。虽然TC被大量研究用于机器学习和密切相关的领域，在这些领域中，它们的高效率是不可否认的，但MMA操作并不是这些领域所独有的。更一般地说，任何可以表示为MMA操作的计算都可以利用TC，并且与其他通用核心（例如Nvidia GPU上的CUDA核心）相比，可能会受益于其更高的计算吞吐量。在本文中，我们提出了第一个双精度的（FP64）欧几里得距离计算算法，该算法表示为MMA运算，以利用Nvidia GPU上的TC，而不是更常用的CUDA内核。为了表明欧氏距离可以在现实世界中的应用加速，我们评估我们提出的TC算法的距离相似性自连接问题，因为该算法的计算最密集的部分包括在多维空间中计算距离。我们发现，使用张量核心算法的CUDA核心算法的性能增益弱依赖于数据集的大小和分布，但强烈依赖于数据的维数。总的来说，TC是CUDA核心的一个令人信服的替代品，特别是当数据维度较低（$\leq{4}$）时，因为我们实现了$1.28\times$的平均加速比，最高可达$2.23\times$，而不是最先进的GPU距离相似性自连接算法。此外，由于本文是第一个探索使用TC的FP64通用计算，未来的研究是有希望的。
2022-11-17 cs.DC
Data-parallel distributed training of very large models beyond GPU capacity
IBM；IBM Research（IBM研究院）
GPU的内存有限，很难训练宽和/或深的模型，这会导致训练过程耗尽内存。本文展示了一种名为Large Model Support（LMS）的开源工具如何利用CPU和GPU之间的高带宽NVLink连接来完成深度卷积网络的训练。LMS在CPU内存和GPU内存之间执行张量交换，使得在训练步骤中仅将所需的最小数量的张量保留在GPU内存中。它还显示了LMS如何与基于MPI的分布式深度学习模块相结合，以跨多个GPU的数据并行方式训练模型，使得每个GPU都利用CPU内存进行张量交换。讨论了支持高带宽GPU与CPU链接的硬件架构，以及作为PowerAI包提供的相关软件工具集。
2018-11-29 cs.DC cs.LG
ZeroPP: Unleashing Exceptional Parallelism Efficiency through Tensor-Parallelism-Free Methodology
ZeroPP提出无张量并行框架，结合流水线并行与全分片数据并行，在保持内存消耗的同时，相比三维并行实现高达33%的性能提升。
2024-05-24 cs.DC
TOD: GPU-accelerated Outlier Detection via Tensor Operations
Carnegie Mellon University（卡内基梅隆大学）
离群点检测（OD）是一个关键的学习任务，用于发现罕见和异常的数据样本，有许多时间关键的应用，如欺诈检测和入侵检测。在这项工作中，我们提出了TOD，这是第一个基于张量的系统，用于分布式多GPU机器上的高效和可扩展的离群值检测。TOD背后的一个关键思想是将复杂的OD应用程序分解为基本张量代数运算符的小集合。这种分解使TOD能够通过利用硬件和软件中深度学习基础设施的最新进展来加速OD计算。此外，为了在有限的设备内存的现代GPU上部署内存密集型OD应用程序，我们介绍了两个关键技术。首先，可证明的量化加速OD计算，并通过自动执行特定的浮点运算以较低的精度减少其内存占用，同时可证明地保证没有精度损失。其次，为了利用多个GPU的聚合计算资源和内存容量，我们引入了自动并行计算，它将OD计算分解为小批量，以便在单个GPU上顺序执行和在多个GPU上并行执行。TOD支持各种OD算法。对11个真实OD数据集和3个合成OD数据集的广泛评估表明，TOD平均比领先的基于CPU的OD系统PyOD快10.9倍（最大加速比为38.9倍），并且可以处理比现有基于GPU的OD系统大得多的数据集。此外，TOD允许轻松集成新的OD运算符，从而实现新兴和尚未发现的OD算法的快速原型设计。
2022-09-17 cs.DC cs.LG
Channel Estimation for Massive MIMO systems using Tensor Cores in GPU
为了有效地使用大规模MIMO系统，快速和准确的信道估计是非常重要的。但是大规模天线阵列的存在需要高导频开销以实现高精度的估计。此外，当与基于软件的处理系统（如CPU和GPU）一起使用时，高处理延迟成为一个主要问题。为了减少导频开销，结合基于PN序列相关性的信道估计方案来实现导频传输方案。然后，为了处理高处理延迟的问题，Nvidia GPU中的Tensor Cores用于计算信道估计。在ORBIT Testbed平台上使用Nvidia V100 GPU进行了实验，验证了导频传输方案的性能。通过改变诸如PN序列长度、信道脉冲响应长度、复用发射机的数量和MIMO的规模等因素，评估了信道估计的张量核实现的准确性和处理延迟。
2022-06-11 cs.DC eess.SP
QGTC: Accelerating Quantized Graph Neural Networks via GPU Tensor Core
近年来，量化图神经网络（QGNN）由于其高鲁棒性和低计算和存储开销而吸引了大量的研究和工业界的关注。不幸的是，QGNN的性能提升从未在现代GPU平台上实现。为此，我们提出了第一个基于Tensor Core（TC）的计算框架QGTC，以支持GPU上QGNN的任何位宽计算。提出了一种基于低比特数据表示和比特分解计算的量化低比特算术设计。我们通过结合3D堆栈位压缩、零瓦片跳跃和非零瓦片重用技术，设计了一种新颖的TC定制的CUDA内核设计，以系统地提高性能。我们采用了一种有效的带宽优化子图包装策略，以最大限度地提高CPU主机和GPU设备之间的传输效率。我们将QGTC与Pytorch集成，以获得更好的可编程性和可扩展性。大量的实验表明，与最先进的Deep Graph Library框架相比，QGTC在各种设置中平均实现了2.7倍的加速。
2021-12-30 cs.DC
CROSSBOW: Scaling Deep Learning with Small Batch Sizes on Multi-GPU Servers
Imperial College London（帝国理工学院）；Microsoft Research（微软研究院）；Humboldt-Universität zu Berlin（柏林洪堡大学）
深度学习模型在具有许多GPU的服务器上训练，并且训练必须随着GPU的数量而扩展。TensorFlow和Caffe 2等系统使用并行同步随机梯度下降来训练模型：它们一次处理一批训练数据，在GPU之间进行分区，并对产生的部分梯度进行平均，以获得更新的全局模型。为了充分利用所有GPU，系统必须增加批量大小，这会阻碍统计效率。用户调整超参数，如学习率，以补偿这一点，这是复杂的和特定于模型的。我们描述了CROSSBOW，这是一种用于训练深度学习模型的新的单服务器多GPU系统，使用户能够自由选择他们喜欢的批量大小-无论多么小-同时扩展到多个GPU。CROSSBOW使用许多并行模型副本，并通过一种新的同步训练方法避免了统计效率的降低。我们引入SMA，模型平均的同步变体，其中副本独立地探索解空间与梯度下降，但调整其搜索同步的基础上的全局一致的平均模型的轨迹。CROSSBOW通过在每个GPU上训练多个模型副本，自动调整副本数量以最大化吞吐量，从而在小批量的情况下实现高硬件效率。我们的实验表明，与TensorFlow相比，CROSSBOW将深度学习模型在8 GPU服务器上的训练时间缩短了1.3- 4倍。
2019-01-08 cs.DC cs.LG
Entwine: Coordinating Tiled Computation and Fine-Grained Communication across GPUs
State Key Laboratory of Cyberspace Security Defense（网络空间安全防御国家重点实验室）；Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Institute of Microelectronics, Chinese Academy of Sciences（中国科学院微电子研究所）
Entwine通过协调分块计算顺序、细粒度通信和SM资源分配，实现GPU间计算与通信的高效重叠，在张量并行LLM负载上相比cuBLAS+NCCL取得1.232倍几何平均加速。
2026-09-11 cs.AR cs.DC
Do We Need Tensor Cores for Stencil Computations?
Shanghai Jiao Tong University（上海交通大学）；Shanghai Enflame Technology Co.,Ltd.（上海燧原科技有限公司）
本文通过分析张量核心与刻度计算的性能关系，揭示了张量核心在特定刻度工作负载下的适用性，并展示了稀疏张量核心扩展加速空间的潜力。
2026-02-28 cs.DC
FailSafe: High-performance Resilient Serving
针对张量并行大语言模型推理系统易受GPU故障影响的问题，本文提出容错服务系统FailSafe，通过多项负载均衡与快速恢复技术，在多GPU故障场景下仍能实现高吞吐、低延迟的弹性推理服务。
2025-11-18 cs.DC
Static Batching of Irregular Workloads on GPUs: Framework and Application to Efficient MoE Model Inference
Alibaba Group（阿里巴巴集团）
针对GPU上不规则工作负载难以安排和执行的问题，提出将其静态批处理为单kernel的通用框架，并应用于MoE模型推理，实现的CUDA kernel在H800和H20 GPU上分别达到91%和95%的峰值Tensor Core吞吐量。
2025-01-27 cs.DC cs.LG
Brief Announcement: On the Limits of Parallelizing Convolutional Neural Networks on GPUs
GPU目前是训练神经网络的首选平台。然而，即使在GPU上训练深度神经网络（DNN）也是一个耗时的过程，因为必须学习大量的参数。因此，加速DNN训练在过去几年中一直是一个重要的研究领域。虽然早期的网络（如AlexNet）在层和操作之间具有线性依赖性，但最先进的网络（如ResNet，PathNet和GoogleNet）具有非线性结构，表现出更高水平的操作间并行性。然而，流行的深度学习（DL）框架（如TensorFlow和PyTorch）在GPU上串行启动大多数神经网络操作，特别是卷积，并且不利用这种操作间并行性。在这个简短的声明中，我们提出了在最先进的非线性网络中利用这种丰富的并行性来减少训练时间的需求和潜在好处。我们确定了在DL框架的GPU后端（如cuDNN）上启用并发层执行的挑战和限制，并提出了潜在的解决方案。
2020-05-28 cs.DC cs.NE
Gensor: A Graph-based Construction Tensor Compilation Method for Deep Learning
针对张量编译中短时间生成高性能内核的挑战，提出基于图结构的Gensor方法，通过马尔可夫分析探索构造空间，在GPU上性能显著优于现有方法，数秒生成内核且平均提速18%，端到端模型平均加速20%。
2025-02-17 cs.DC
SpDISTAL: Compiling Distributed Sparse Tensor Computations
我们介绍SpDISTAL，稀疏张量代数的编译器，目标是分布式系统。SpDISTAL结合了张量代数表达式、稀疏数据结构、数据分布和计算分布的单独描述。因此，它使得稀疏张量代数表达式的分布式执行具有各种各样的稀疏数据结构和数据分布。SpDISTAL作为一个C++库实现，目标是基于任务的分布式运行时系统，可以为具有多核CPU和多个GPU的节点生成代码。SpDISTAL生成的分布式代码可以与特定稀疏张量代数表达式的手写分布式函数竞争性能，并且性能优于基于一般解释的系统一到两个数量级。
2022-07-28 cs.DC cs.PL
Optimizing Hardware Resource Partitioning and Job Allocations on Modern GPUs under Power Caps
本文面向功耗受限 HPC，结合现代 GPU 的硬件分区与功耗封顶机制，基于可扩展性和干扰建模联合优化芯片分区、作业分配及功耗配置，从而在多类工作负载下获得近优方案。
2024-05-06 cs.DC
10Cache: Heterogeneous Resource-Aware Tensor Caching and Migration for LLM Training
Kuwait University, Kuwait（科威特大学）
针对云端LLM训练的内存瓶颈与现有卸载方案的缺陷，提出异构资源感知的张量缓存迁移系统10Cache，通过智能协调多层存储、优化预取与内存分配，显著提升训练速度与资源利用率。
2025-11-18 cs.DC cs.LG
On-Device Neural Net Inference with Mobile GPUs
Google Research（谷歌研究院）
移动电话的机器学习模型的设备上推断由于其较低的延迟和增加的隐私性而被期望。然而，由于有限的计算能力、热约束和能耗，仅在移动CPU上运行这样的计算密集型任务可能是困难的。应用程序开发人员和研究人员已经开始利用硬件加速器来克服这些挑战。最近，设备制造商正在将神经处理单元添加到高端手机中，用于设备上的推理，但这些仅占手持设备的一小部分。在本文中，我们介绍了如何利用移动GPU（几乎每部手机上无处不在的硬件加速器）为Android和iOS设备实时运行深度神经网络的推理。通过描述我们的架构，我们还讨论了如何设计移动GPU友好的网络。我们最先进的移动GPU推理引擎已集成到开源项目TensorFlow Lite中，并可在https://tensorflow.org/lite上公开获取。
2019-07-03 cs.CV cs.DC cs.LG
DISTAL: The Distributed Tensor Algebra Compiler
我们介绍DISTAL，密集张量代数的目标是现代分布式和异构系统的编译器。DISTAL允许用户通过单独的格式和调度语言独立地描述张量和计算如何映射到目标机器上。对数据和计算分布的选择的组合创建了一个大的设计空间，该设计空间包括来自过去的许多算法（例如，Cannon算法）和本发明（例如，COSMA）。DISTAL将张量代数领域特定语言编译为基于任务的分布式运行时系统，并支持具有多核CPU和多个GPU的节点。DISTAL生成的代码与Lassen超级计算机256个节点上的矩阵乘法优化代码具有竞争力，并且在高阶张量运算上优于现有系统1.8倍至3.7倍（异常值为45.7倍）。
2022-03-17 cs.DC cs.PL
JORA: JAX Tensor-Parallel LoRA Library for Retrieval Augmented Fine-Tuning
Arizona State University（亚利桑那州立大学）；University of Illinois Chicago（伊利诺伊大学芝加哥分校）
针对RAG任务中LLM微调的内存瓶颈，提出基于JAX张量并行和LoRA的JORA库，实现高效分布式微调，在四GPU上运行速度提升超12倍且显存减半。
2024-03-19 cs.CL cs.DC cs.LG
BitGNN: Unleashing the Performance Potential of Binary Graph Neural Networks on GPUs
North Carolina State University（北卡罗来纳州立大学）；Pacific Northwest National Laboratory（太平洋西北国家实验室）
本文提出 BitGNN，面向 GPU 位操作特性重构二元 GNN 推理后端，在保持准确率不变的情况下较现有实现提速 8–22 倍。
2023-06-03 cs.DC cs.LG
Efficient Large-Scale Language Model Training on GPU Clusters Using Megatron-LM
NVIDIA（英伟达）；Stanford University（斯坦福大学）；Microsoft Research（微软研究院）
大语言模型在一系列任务中实现了最先进的准确性。然而，由于两个原因，有效地训练这些模型是具有挑战性的：a）GPU内存容量有限，使得即使在多GPU服务器上也无法适应大型模型，以及b）训练这些模型所需的计算操作数量可能导致不切实际的长训练时间。因此，新的模型并行方法如张量和流水线并行被提出。不幸的是，这些方法的天真使用导致数千个GPU的基本缩放问题，例如，这是由于昂贵的跨节点通信或设备花费大量时间等待其他设备来取得进展。在本文中，我们将展示如何组合不同类型的并行方法（张量，管道和数据并行），以扩展到数千个GPU和具有数万亿参数的模型。我们调查技术的流水线并行，并提出了一种新的交错流水线并行计划，可以提高吞吐量的10+%的内存占用与现有的方法。我们定量地研究了张量、管道和数据并行之间的权衡，并提供了如何配置大型模型的分布式训练的直观性。我们的方法允许我们在3072个GPU上以502 petaFLOP/s的速度对具有1万亿个参数的模型执行训练迭代，实现了理论峰值的52%的每GPU吞吐量。我们的代码在https://github.com/nvidia/megatron-lm上开源。
2021-08-23 cs.CL cs.DC
Tenplex: Dynamic Parallelism for Deep Learning using Parallelizable Tensor Collections
Imperial College London（伦敦帝国学院）；Aalto University（阿尔托大学）；University of Edinburgh（爱丁堡大学）
本文提出Scalai状态管理库，通过可并行化张量集合（PTC）抽象外部化作业状态，实现深度学习作业在运行时GPU分配变化后动态更改多维并行配置，且具有低开销。
2024-09-26 cs.AI cs.DC cs.LG
Fused3S: Fast Sparse Attention on Tensor Cores
University of California, Irvine（加州大学 Irvine 分校）
本文提出融合式 3S 算法 Fused3S，通过协同提升 tensor core 利用率并减少数据移动，在多种 GPU 和图数据集上显著加速稀疏注意力及 Graph Transformer 推理。
2025-05-12 cs.DC cs.LG
Domino: Eliminating Communication in LLM Training via Generic Tensor Slicing and Overlapping
University of Maryland（马里兰大学）；Microsoft DeepSpeed（微软DeepSpeed）
本文提出 Domino 框架，通过通用张量切片将批次训练拆分为独立片段并实现细粒度通信与计算重叠，有效消除分布式 LLM 训练中的通信开销，在 Nvidia DGX-H100 GPU 上较 Megatron-LM 实现最高 1.3 倍加速。
2024-09-23 cs.AI cs.DC cs.LG
T-CCL: Resource Efficient and Performant Collective Communication using Tensor Memory Accelerator
Chalmers University of Technology（查尔姆斯理工大学）；University of Gothenburg（哥德堡大学）；Linnaeus University（林奈大学）
T-CCL利用张量内存加速器卸载数据移动和归约，以流水线异步操作减少SM占用，实现资源高效集合通信，相比NCCL最高提速3.42倍，并提升重叠计算与推理吞吐。
2026-10-07 cs.AI cs.DC
FLUX: Fast Software-based Communication Overlap On GPUs Through Kernel Fusion
ByteDance Ltd（字节跳动有限公司）；Peking University（北京大学）
本文提出 Flux，通过细粒度分解并融合 GPU 通信与计算内核来隐藏张量并行通信延迟，在训练和推理中均取得显著加速。
2024-10-23 cs.DC cs.LG
EmuGEMM: Fused Tensor Core Kernels for Precision Emulation in Matrix Multiplication
ETH Zurich（苏黎世联邦理工学院）
针对低精度矩阵乘法单元与科学计算精度需求之间的差距，提出EmuGEMM，通过融合整数张量核心内核消除Ozaki方案中的冗余内存往返，在Hopper和Blackwell GPU上实现高精度GEMM，性能显著超越cuBLAS。
2026-06-25 cs.DC cs.MS cs.PF
Diving into 3D Parallelism with Heterogeneous Spot Instance GPUs: Design and Implications
Artificial Intelligence Innovation and Incubation Institute, Fudan University（复旦大学人工智能创新与产业研究院）
AutoHet通过自动优化异构GPU的3D并行计划，实现分布式训练的高效性和恢复速度提升。
2025-12-24 cs.DC cs.NI
Efficient, Out-of-Memory Sparse MTTKRP on Massively Parallel Architectures
张量分解（TD）是从高维（多模态）稀疏数据中提取潜在信息的一种重要方法。这项研究提出了一种新的框架，加速大规模并行GPU架构上的基本TD操作。与先前的工作相比，所提出的分块线性化坐标（BLCO）格式使用在单个张量副本上工作的统一实现来实现张量算法的高效内存外计算。我们的自适应分块和线性化策略不仅满足了GPU设备的资源限制，而且还加速了数据索引，消除了控制流和内存访问的不规则性，并减少了内核启动开销。为了解决GPU上的大量同步成本，我们引入了一种机会主义冲突解决算法，其中线程协作而不是竞争内存访问来发现和解决它们的冲突更新，而不保留任何辅助信息或在特定模式方向存储非零元素。因此，与现有技术相比，我们的框架提供了卓越的内存性能，并且是唯一能够处理内存外张量的框架。在最新的Intel和NVIDIA GPU上，BLCO在一系列真实稀疏张量上实现了比最先进的混合模式压缩稀疏光纤（MM-CSF）高2.12- 2.6倍的几何平均加速比（加速比高达33.35倍）。
2022-06-27 cs.DC cs.DS cs.PF
Accelerating High-Order Mesh Optimization Using Finite Element Partial Assembly on GPUs
本文提出了一种基于高阶有限元的面向GPU的网格优化方法。我们的方法依赖于固定拓扑的节点移动，通过目标矩阵优化范式（TMOP），并在整个计算网格上使用全局非线性求解，即，所有网格节点一起移动。该方法的一个关键特性是网格优化过程是在有限元运算方面进行重铸的，这使我们能够利用GPU加速高阶有限元算法领域的最新进展。例如，我们通过使用张量分解和无矩阵方法来减少数据移动，与传统的全有限元矩阵组装相比，这些方法具有更优越的性能特征，并为基于GPU的HPC硬件提供优势。我们描述的主要数学组件的方法，以及其高效的面向GPU的实现。此外，我们提出了一个易于重现的网格优化测试，可以作为网格优化社区的性能基准。
2022-12-02 cs.DC cs.MS physics.comp-ph
Optimizing the Linear Fascicle Evaluation Algorithm for Multi-Core and Many-Core Systems
稀疏矩阵向量乘法（SpMV）操作通常用于各种科学应用中。SpMV操作的性能通常取决于利用矩阵中的规律性模式。已经提出了各种表示来最小化由所涉及的不规则存储器访问模式引起的内存带宽瓶颈。在最近的表示技术中，张量分解是一种流行的用于非常大但稀疏矩阵的方法。在稀疏张量分解之后，新的表示涉及间接访问，这使得针对多核和GPU进行优化变得具有挑战性。计算神经科学算法通常涉及稀疏数据集，同时仍然对它们执行长时间运行的计算。LiFE应用程序是一种流行的神经科学算法，用于修剪大脑连接图。本文采用的数据集涉及稀疏塔克分解（STD），一种广泛使用的张量分解方法。使用这种分解会导致不规则的数组引用，从而很难针对CPU和GPU进行优化。LiFE算法的最新代码表明，其SpMV操作是性能和扩展的关键瓶颈。在这项工作中，我们首先提出了目标无关的优化来优化这些SpMV操作，然后是CPU和GPU系统的目标相关的优化。目标无关技术包括：（1）标准编译器优化，（2）数据重构方法，（3）在线程间划分计算的方法。然后，我们提出了CPU和GPU的优化，以利用特定于平台的速度。我们高度优化的CPU代码在16核英特尔至强（基于Skylake）系统上运行时，比原始顺序CPU代码获得了27.12倍的加速，而我们优化的GPU代码在NVIDIA GeForce RTX 2080 Ti GPU上运行时，比参考优化的GPU代码版本获得了5.2…
2019-07-24 cs.DC cs.NE cs.PF
