High-Level Big Integer Arithmetic in Futhark for GPUs
University of Copenhagen（哥本哈根大学）；Cheriton School of Computer Science, U. Waterloo（滑铁卢大学切里顿计算机科学学院）
该研究用Futhark实现GPU上中等规模大整数的块级四则运算，对比手写C++/CUDA与CGBN，发现数组自动布局对性能关键，高级代码经优化后性能具竞争力。
2026-08-03 cs.DC cs.PL cs.SC
Mimose: An Input-Aware Checkpointing Planner for Efficient Training on GPU
更大的深度学习模型通常会带来更高的模型质量，同时会占用越来越多的GPU内存。尽管已经提出了张量检查点技术以在受限的GPU内存预算下实现训练，但输入张量动态尚未被用于优化性能同时减少GPU内存占用。具体而言，由于数据集和后续数据论证的多样性，每个小批量的输入张量大小在训练过程中是动态的，导致GPU内存占用不断变化。然而，为了在检查点中利用这种输入张量动态，有两个挑战需要解决。首先，由于输入张量的动态性，需要在运行时确定检查点计划。第二，检查点计划需要在运行中应用，而不会显著降低性能。在本文中，我们提出了Mimose，这是一个输入感知张量检查点规划器，它既考虑了内存预算，又能在GPU上进行有效的模型训练。Mimose在线构建了一个轻量级但准确的GPU内存使用预测模型，而无需预先分析模型。它基于每层内存预测生成张量检查点计划，并将其应用于动态训练过程。它还采用了缓存策略，以避免必须重新生成重复输入大小的计划。我们的实验表明，在相同的GPU内存预算下，与最先进的内存规划器相比，Mimose实现了更高的训练吞吐量。
2022-09-06 cs.DC
QGTC: Accelerating Quantized Graph Neural Networks via GPU Tensor Core
近年来，量化图神经网络（QGNN）由于其高鲁棒性和低计算和存储开销而吸引了大量的研究和工业界的关注。不幸的是，QGNN的性能提升从未在现代GPU平台上实现。为此，我们提出了第一个基于Tensor Core（TC）的计算框架QGTC，以支持GPU上QGNN的任何位宽计算。提出了一种基于低比特数据表示和比特分解计算的量化低比特算术设计。我们通过结合3D堆栈位压缩、零瓦片跳跃和非零瓦片重用技术，设计了一种新颖的TC定制的CUDA内核设计，以系统地提高性能。我们采用了一种有效的带宽优化子图包装策略，以最大限度地提高CPU主机和GPU设备之间的传输效率。我们将QGTC与Pytorch集成，以获得更好的可编程性和可扩展性。大量的实验表明，与最先进的Deep Graph Library框架相比，QGTC在各种设置中平均实现了2.7倍的加速。
2021-12-30 cs.DC
cuFasterTucker: A Stochastic Optimization Strategy for Parallel Sparse FastTucker Decomposition on GPU Platform
目前，科学数据的规模正在以前所未有的速度增长。张量形式的数据表现出高阶、高维和高度稀疏的特征。虽然基于张量的分析方法非常有效，但数据大小的大幅增加使得原始张量无法处理。张量分解将张量分解为多个低秩矩阵或张量，可以通过基于张量的分析方法来利用。Tucker分解就是这样一种算法，它将一个$n$阶张量分解为$n$低秩因子矩阵和一个低秩核张量。然而，大多数Tucker分解方法都伴随着巨大的中间变量和巨大的计算量，使得它们无法处理高阶和高维张量。本文在FastTucker分解的基础上提出了FasterTucker分解，FastTucker分解是Tucker分解的一个变种。提出了一种基于GPU平台的快速Tucker分解算法cuFasterTucker。它具有很低的存储和计算要求，有效地解决了高阶和高维稀疏张量分解的问题。与现有算法相比，该算法在因子矩阵更新和核矩阵更新方面分别实现了约$15X$和$7X$的加速比。
2022-10-12 cs.DC
Low-ordered Orthogonal Voxel Finite Element with INT8 Tensor Cores for GPU-based Explicit Elastic Wave Propagation Analysis
本文提出一种利用INT8张量核心并减少数值频散的GPU显式弹性波场模拟方法，在真实问题实验中比传统方法快17.0倍。
2024-04-21 cs.DC
Accelerating Compact Fractals with Tensor Core GPUs
这项工作提出了一个GPU线程映射方法，允许使用其紧凑的表示离散分形做快速并行模板般的计算。其背后的直觉是使用两个GPU张量核加速线程映射$λ(ω)$和$ν(ω)$，它们分别充当线程空间到数据空间和数据空间到线程空间的函数。通过组合这些映射，线程可以访问紧凑的空间并与它们的邻居交互。映射的成本是$\mathcal{O}(\log \log(n))$时间，$n$是扩展形式的分形的$n \times n$嵌入的一侧。该技术适用于属于离散分形的非重叠边界盒（NBB）类的任何分形，并且也可以扩展到三维。使用A100 GPU对Sierpinski Triangle进行的案例研究结果表明，相对于限界框方法，加速高达$\sim11\times$，内存使用减少了$234\times$。这些结果表明，所提出的紧凑方法可以让科学界解决以前不适合GPU内存的较大问题，并且运行速度甚至比限界框方法更快。
2021-10-25 cs.DC
Accelerating Deterministic Global Optimization via GPU-parallel Interval Arithmetic
本文提出基于 GPU 并行区间算术的空间分支定界方法，通过子域划分和 Mean Value Form 计算更紧下界，在 MAiNGO 中实现并验证可减少迭代、获得千倍加速。
2025-07-28 cs.DC math.OC
GPU acceleration of Newton's method for large systems of polynomial equations in double double and quad double arithmetic
University of Illinois at Chicago（芝加哥伊利诺伊大学）
本文研究了通过NVIDIA Tesla K20C GPU加速双双精度和四双精度算术中大规模多项式方程组的牛顿法，通过算法微分的逆模式重构为二叉树结构，提升计算效率。
2014-05-13 cs.DC cs.MS cs.NA
Accelerating Drug Discovery in AutoDock-GPU with Tensor Cores
针对 AutoDock-GPU 评分函数中归约操作的性能瓶颈，提出利用 NVIDIA Tensor Cores 矩阵运算加速四元素向量求和归约的方法，使归约速度提升 4-7 倍，实际对接平均时间缩短 27%。
2024-10-14 cs.DC
High-Throughput Parallel Viterbi Decoder on GPU Tensor Cores
在GPU平台上实现Vitrerbi解码算法的研究工作很多，因为GPU平台提供了相当大的灵活性，除了良好的性能。最近，现代GPU架构中最近推出的Tensor核心提供了令人难以置信的计算能力。提出了一种基于Tensor核的Viterbi译码算法在现代GPU架构中的并行实现方法。所提出的并行算法进行了优化，以有效地利用张量核的计算能力。实验表明，相当大的吞吐量的改善与以前的作品相比。
2020-11-27 cs.DC eess.SP
Sparse MTTKRP Acceleration for Tensor Decomposition on GPU
针对稀疏张量分解瓶颈spMTTKRP，提出基于GPU的算法设计，通过消除线程块全局原子操作、减少中间值内存传输、均衡负载及支持动态张量重映射，实现显著加速，且是唯一支持模式数大于4张量的GPU实现。
2024-05-14 cs.AR cs.DC
cuFastTuckerPlus: A Stochastic Parallel Sparse FastTucker Decomposition Using GPU Tensor Cores
针对大规模稀疏张量分解，提出FastTuckerPlus算法，将问题分解为两个非凸问题并用随机梯度下降交替求解，同时设计基于GPU张量核心的细粒度并行实现cuFastTuckerPlus，实现3-5倍加速。
2024-05-23 cs.DC
Shfl-BW: Accelerating Deep Neural Network Inference with Tensor-Core Aware Weight Pruning
深度神经网络（DNN）中的权重修剪可以降低存储和计算成本，但难以为模型推理时间带来实际加速。张量核可以显著提高GPU在密集计算上的吞吐量，但将张量核用于稀疏DNN是非常具有挑战性的。与现有的CUDA核相比，张量核需要更高的数据重用和矩阵形状的指令粒度，这两者都难以从稀疏DNN内核中产生。现有的剪枝方法无法平衡准确性和效率的要求：随机稀疏性很好地保留了模型质量，但禁止张量核加速，而高度结构化的块稀疏性可以利用张量核，但遭受严重的准确性损失。在这项工作中，我们提出了一种新的稀疏模式，混合块稀疏（Shfl-BW），旨在有效地利用张量核，同时最大限度地减少对权重结构的约束。我们的见解是，行和列排列为权重结构提供了丰富的灵活性，同时使用我们的GPU内核设计引入了可以忽略不计的开销。我们在线性和卷积层中优化了Shfl-BW的GPU内核。评估表明，我们的技术可以实现最先进的GPU上的速度和精度的权衡。例如，在精度损失很小的情况下，我们可以在75%稀疏度下，在NVIDIA V100、T4和A100 GPU上分别将Transformer的计算密集型层加速1.81、4.18和1.90倍。
2022-03-12 cs.DC
TFApprox: Towards a Fast Emulation of DNN Approximate Hardware Accelerators on GPU
Brno University of Technology（布尔诺理工大学）
深度神经网络（DNN）硬件加速器的能量效率可以通过引入近似运算电路来提高。为了量化使用这些电路引入的误差并避免昂贵的硬件原型，DNN加速器的软件仿真器通常在CPU或GPU上执行。然而，这种仿真通常比在CPU或GPU上运行并使用标准浮点算术指令和常见DNN库操作的软件DNN实现慢两个或三个数量级。原因是在普通CPU和GPU上没有硬件支持近似算术运算，并且必须昂贵地仿真这些运算。为了解决这个问题，我们提出了一种有效的模拟方法，用于在GPU上模拟的给定DNN加速器中使用的近似电路。所有相关的近似电路都被实现为查找表，并通过支持CUDA的GPU的纹理存储器机制进行访问。我们利用的事实，纹理存储器进行了优化，不规则的只读访问，在某些GPU架构，甚至实现为一个专用的缓存。这种技术使我们能够将仿真DNN加速器的推理时间减少约200倍，相对于复杂DNN（如ResNet）上的优化CPU版本。所提出的方法扩展了TensorFlow库，可在https://github.com/ehw-fit/tf-approximate上在线获得。
2020-02-21 cs.DC cs.LG
Accelerated solution of Helmholtz equation with Iterative Krylov Methods on GPU
本文对图形处理器（GPU）上双精度复数运算的线性代数运算进行了分析和评价。已知这些操作的性能，迭代Krylov方法被认为是有效地解决声学问题。对一组声学矩阵进行了数值实验，所产生的建模的声学现象在一个气缸和汽车车厢内暴露，表现出我们的算法的性能，鲁棒性和效率，与一个比率高达27倍的点积，10倍的稀疏矩阵-矢量积和求解器在复杂的双精度运算。
2021-12-13 cs.DC cs.NA math.NA
Leveraging GPU Tensor Cores for Double Precision Euclidean Distance Calculations
张量核（Tensor Cores，TC）是一种专用集成电路（ASIC），是图形处理单元（GPU）架构的最新成员。因此，TC被有目的地设计为大大提高矩阵乘法累加（MMA）运算的性能。虽然TC被大量研究用于机器学习和密切相关的领域，在这些领域中，它们的高效率是不可否认的，但MMA操作并不是这些领域所独有的。更一般地说，任何可以表示为MMA操作的计算都可以利用TC，并且与其他通用核心（例如Nvidia GPU上的CUDA核心）相比，可能会受益于其更高的计算吞吐量。在本文中，我们提出了第一个双精度的（FP64）欧几里得距离计算算法，该算法表示为MMA运算，以利用Nvidia GPU上的TC，而不是更常用的CUDA内核。为了表明欧氏距离可以在现实世界中的应用加速，我们评估我们提出的TC算法的距离相似性自连接问题，因为该算法的计算最密集的部分包括在多维空间中计算距离。我们发现，使用张量核心算法的CUDA核心算法的性能增益弱依赖于数据集的大小和分布，但强烈依赖于数据的维数。总的来说，TC是CUDA核心的一个令人信服的替代品，特别是当数据维度较低（$\leq{4}$）时，因为我们实现了$1.28\times$的平均加速比，最高可达$2.23\times$，而不是最先进的GPU距离相似性自连接算法。此外，由于本文是第一个探索使用TC的FP64通用计算，未来的研究是有希望的。
2022-11-17 cs.DC
Syndrome Decoding for Silent Data Corruption in Quantized Integer GPU Arithmetic
National Institute of Technology Warangal（瓦朗加尔国立理工学院）；Athenahealth（阿西娜健康）
针对量化整数GPU算术中的静默数据损坏，提出SProbe验证内核，利用随机化Freivalds门和Reed-Solomon综合征解码，实现高概率检测与精确修复，在H100上全面检测故障，代价可控。
2026-09-18 cs.DC
FlashT2S: GPU-Accelerated Tensor-to-Spike Conversion Operators for Heterogeneous Neuromorphic LLM Backends
College of Computer Science and Electronic Engineering, Hunan University（湖南大学计算机科学与电子工程学院）；Yuelushan Center for Industrial Innovation（岳麓山工业创新中心）
针对神经形态大语言模型中张量转脉冲转换的瓶颈问题，提出GPU加速的FlashT2S算子，实现数百倍加速且支持异构后端集成。
2026-10-14 cs.DC
Exceeding the Numerical and Performance Characteristics of IEEE-754 SGEMM with BFloat16 Tensor Cores on GPUs for Scientific Computing
NVIDIA Corporation（英伟达公司）
本文研究了使用BF16张量核心进行FP32矩阵乘法的仿真实现，展示了其在数值和性能上超越原生FP32的能力，并讨论了完整的库级实现以正确处理下溢数。
2026-05-15 cs.DC
CAT: Cellular Automata on Tensor cores
本研究提出基于GPU张量核心的元胞自动机加速方案CAT，通过扩展PRAM模型和LTL家族案例验证，在大邻域半径下实现最高101倍基线加速与最优能效，为大半径元胞自动机研究提供高效GPU方案。
2024-06-25 cs.DC
ZeroPP: Unleashing Exceptional Parallelism Efficiency through Tensor-Parallelism-Free Methodology
ZeroPP提出无张量并行框架，结合流水线并行与全分片数据并行，在保持内存消耗的同时，相比三维并行实现高达33%的性能提升。
2024-05-24 cs.DC
tcFFT: Accelerating Half-Precision FFT through Tensor Cores
快速傅立叶变换（FFT）是科学计算和工程计算中必不可少的工具。随着对混合精度FFT的需求不断增长，半精度浮点（FP 16）算法的使用成为可能，以实现更快的速度和节能。NVIDIA Tensor Cores专注于较低精度，可提供极高的计算性能。然而，固定的计算模式使得它很难利用FFT的张量核心的计算能力。因此，我们开发了tcFFT来用Tensor Core加速FFT。我们的tcFFT支持各种大小的批量1D和2D FFT，并利用一组优化来实现高性能：1）Tensor Core片段上的单元素操作，以支持FFT所需的特殊操作; 2）细粒度数据排列设计，以协调GPU内存访问模式。我们在NVIDIA V100和A100 GPU上评估了各种大小和尺寸的tcFFT和NVIDIA cuFFT。结果表明，在两种GPU上，tcFFT的性能分别比cuFFT高1.29x-3.24x和1.10x-3.03x。我们的tcFFT具有很大的潜力，混合精度的科学应用。
2021-04-23 cs.DC
Accelerating Binarized Neural Networks via Bit-Tensor-Cores in Turing GPUs
Pacific Northwest National Laboratory（西北太平洋国家实验室）；U.S. Army Research Laboratory（美国陆军研究实验室）
尽管与传统的深度神经网络相比，二值化神经网络（BNN）的性能优势得到了巨大的提升，但它仅仅在CPU和GPU等通用处理器上得到了展示。事实上，由于无法利用基于字的架构的位级并行性，GPU在执行BNN时的利用率极低（1%）。因此，NVIDIA Turing GPU中的最新tensorcore开始实验性地支持位计算。在这项工作中，我们将研究这种全新的位计算能力，并描述其独特的功能。我们表明，内存访问的步幅可以显着影响性能交付，并且非常需要数据格式协同设计来支持tensorcore，以实现比没有tensorcore的现有软件解决方案更优越的性能。实现了张量核加速的BNN设计，特别是全连接层和卷积层的主要功能--位矩阵乘法和位卷积。在两个NVIDIA Turing GPU上的评估表明，使用ResNet-18，我们的BTC-BNN设计可以以每秒5.6K图像的速度处理ImageNet，比最先进的速度快77%。我们的BNN方法发布在www.example.com上。
2020-12-15 cs.DC cs.LG
Multiple Double Arithmetic on NVIDIA Tensor Cores
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
研究如何解决NVIDIA张量核上多重双精度算术运算因重归一化涉及分支而不适用的问题，应用类似尾崎方案的方法，且软件以GPU GPL许可在github上提供。
2026-07-09 cs.DC cs.MS cs.NA
Acc-SpMM: Accelerating General-purpose Sparse Matrix-Matrix Multiplication with GPU Tensor Cores
针对通用SpMM的硬件性能释放需求，提出基于GPU Tensor Core的高性能库Acc-SpMM，通过重排序、压缩格式等多重优化，在多代NVIDIA GPU上实现了相较cuSPARSE的显著性能提升。
2025-01-16 cs.DC
Channel Estimation for Massive MIMO systems using Tensor Cores in GPU
为了有效地使用大规模MIMO系统，快速和准确的信道估计是非常重要的。但是大规模天线阵列的存在需要高导频开销以实现高精度的估计。此外，当与基于软件的处理系统（如CPU和GPU）一起使用时，高处理延迟成为一个主要问题。为了减少导频开销，结合基于PN序列相关性的信道估计方案来实现导频传输方案。然后，为了处理高处理延迟的问题，Nvidia GPU中的Tensor Cores用于计算信道估计。在ORBIT Testbed平台上使用Nvidia V100 GPU进行了实验，验证了导频传输方案的性能。通过改变诸如PN序列长度、信道脉冲响应长度、复用发射机的数量和MIMO的规模等因素，评估了信道估计的张量核实现的准确性和处理延迟。
2022-06-11 cs.DC eess.SP
Nonuniform-Tensor-Parallelism: Mitigating GPU failure impact for Scaled-up LLM Training
Carnegie Mellon University（卡内基梅隆大学）；NVIDIA（英伟达公司）
针对大规模LLM训练中GPU故障因纵向扩展域扩大而放大吞吐量损失的问题，本文提出非均匀张量并行（NTP）及配套机架设计，使故障副本降级运行并跟上正常副本，实现接近零的吞吐量损失。
2025-04-08 cs.DC cs.LG
AnchorTP: Resilient LLM Inference with State-Preserving Elastic Tensor Parallelism
针对多GPU张量并行大语言模型推理易受单GPU故障影响的问题，本文提出状态保留弹性TP框架AnchorTP，可在不改变服务接口的前提下最小化数据移动量，大幅缩短故障恢复时间。
2025-11-05 cs.DC
TOD: GPU-accelerated Outlier Detection via Tensor Operations
Carnegie Mellon University（卡内基梅隆大学）
离群点检测（OD）是一个关键的学习任务，用于发现罕见和异常的数据样本，有许多时间关键的应用，如欺诈检测和入侵检测。在这项工作中，我们提出了TOD，这是第一个基于张量的系统，用于分布式多GPU机器上的高效和可扩展的离群值检测。TOD背后的一个关键思想是将复杂的OD应用程序分解为基本张量代数运算符的小集合。这种分解使TOD能够通过利用硬件和软件中深度学习基础设施的最新进展来加速OD计算。此外，为了在有限的设备内存的现代GPU上部署内存密集型OD应用程序，我们介绍了两个关键技术。首先，可证明的量化加速OD计算，并通过自动执行特定的浮点运算以较低的精度减少其内存占用，同时可证明地保证没有精度损失。其次，为了利用多个GPU的聚合计算资源和内存容量，我们引入了自动并行计算，它将OD计算分解为小批量，以便在单个GPU上顺序执行和在多个GPU上并行执行。TOD支持各种OD算法。对11个真实OD数据集和3个合成OD数据集的广泛评估表明，TOD平均比领先的基于CPU的OD系统PyOD快10.9倍（最大加速比为38.9倍），并且可以处理比现有基于GPU的OD系统大得多的数据集。此外，TOD允许轻松集成新的OD运算符，从而实现新兴和尚未发现的OD算法的快速原型设计。
2022-09-17 cs.DC cs.LG
Direct Low-Dose CT Image Reconstruction on GPU using Out-Of-Core: Precision and Quality Study
本研究针对稀疏视图CT代数重建计算成本高的问题，提出基于单精度浮点运算、结合Out-Of-Core技术的GPU代数重建方案，可突破内存限制处理768×768像素图像，单精度重建速度约为双精度的2倍且保留图像内部结构。
2024-12-11 cs.DC cs.MS physics.med-ph
DPU: DAG Processing Unit for Irregular Graphs with Precision-Scalable Posit Arithmetic in 28nm
概率机器学习、稀疏线性代数和机器人导航等现实应用中的计算可以建模为不规则有向无环图（DAG）。DAG中的不规则数据依赖性对通用CPU和GPU上的并行执行提出了挑战，导致硬件严重利用不足。本文提出了DPU，一个专门的处理器设计的高效执行不规则的DAG。DPU配备了并行计算单元，可独立执行DAG的不同子图。计算单元可以使用硬件支持的同步原语在一个周期内同步，并通过有效的互连与全局存储的暂存器通信。此外，一个精度可扩展的并行计算的算术单元，使应用程序相关的精度。该DPU采用28 nm CMOS流片，在稀疏线性代数和概率机器学习工作负载的DAG上，与最先进的CPU和GPU实现相比，实现了5.1 $\times$和20.6 $\times$的加速比。这一性能是在0.23 W的功率预算下实现的，而CPU和GPU的功率预算分别为55 W和98 W，因此DPU的峰值效率为538 GOPS/W，分别比CPU和GPU高1350 $\times$和9000 $\times$。因此，通过专门的架构，DPU可以实现不规则DAG工作负载的低功耗执行。
2021-12-10 cs.AR cs.DC cs.SY
Data-parallel distributed training of very large models beyond GPU capacity
IBM；IBM Research（IBM研究院）
GPU的内存有限，很难训练宽和/或深的模型，这会导致训练过程耗尽内存。本文展示了一种名为Large Model Support（LMS）的开源工具如何利用CPU和GPU之间的高带宽NVLink连接来完成深度卷积网络的训练。LMS在CPU内存和GPU内存之间执行张量交换，使得在训练步骤中仅将所需的最小数量的张量保留在GPU内存中。它还显示了LMS如何与基于MPI的分布式深度学习模块相结合，以跨多个GPU的数据并行方式训练模型，使得每个GPU都利用CPU内存进行张量交换。讨论了支持高带宽GPU与CPU链接的硬件架构，以及作为PowerAI包提供的相关软件工具集。
2018-11-29 cs.DC cs.LG
Cost-Efficient LLM Training with Lifetime-Aware Tensor Offloading via GPUDirect Storage
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；IBM Research（IBM研究院）
本文提出 TERAIO 框架，依据张量生命周期分析生成卸载与预取计划，并通过 GPUDirect Storage 在 GPU 和 SSD 间直接迁移，以低成本扩展 GPU 显存，显著提升 LLM 训练性能。
2025-06-06 cs.AI cs.DC cs.LG
TENSILE: A Tensor granularity dynamic GPU memory scheduling method toward multiple dynamic workloads system
最近，深度学习一直是一个激烈的研究领域。然而，作为一种计算密集型任务，深度学习高度依赖于GPU内存的规模，这通常是令人望而却步的和稀缺的。尽管已经提出了一些针对动态GPU存储管理的广泛工作，但是它们难以应用于具有多个动态工作负载的系统，例如数据库内机器学习系统。在本文中，我们展示了TENSILE，一种在张量粒度下管理GPU内存的方法，以降低GPU内存峰值，考虑到多个动态工作负载。TENSILE解决了以往工作中存在的冷启动和跨迭代调度问题。我们在自己构建的深度学习框架上实现了Tensile，并对其性能进行了评估。实验结果表明，在单负载和多负载的动态环境下，TENSILE算法能够以更少的额外开销节省更多的GPU内存。
2022-11-06 cs.AI cs.DB cs.DC
Automated Tensor Scheduling for Hybrid CPU-GPU LLM Inference on Consumer Devices
School of Computer Science, Nanjing University（南京大学计算机科学学院）
研究在消费级设备运行大语言模型时因模型权重超GPU内存需卸载推理的问题，提出ATSInfer系统，通过结合静态张量放置与负载感知动态传输及异步协调，在代表性平台评估，相比现有系统显著提升吞吐量、利用率等，改善本地大语言模型部署体验。
2026-07-15 cs.AI cs.DC cs.LG
Squeeze: Efficient Compact Fractals for Tensor Core GPUs
这项工作提出了挤压，一个有效的紧凑的分形处理方案的张量核心GPU。通过结合紧凑和扩展形式之间的离散空间变换，可以在具有邻域访问的分形上进行数据并行计算，而无需在内存中扩展分形。空间变换被公式化为两个GPU张量核加速线程映射$λ(ω)$和$ν(ω)$，它们分别充当紧凑到扩展和扩展到紧凑的空间函数。映射的成本是$\mathcal{O}(\log_2 \log_s(n))$时间，$n$是扩展形式的分形的$n \times n$嵌入的边，而$s$是线性缩放因子。所提出的方法适用于任何分形，属于非重叠边界盒（NBB）类的离散分形，并可以扩展到三维。实验结果使用离散Sierpinski三角形作为案例研究显示了高达$\sim12\times$的加速比和高达$\sim 315\times$的内存减少因子相对于基于GPU的扩展空间限界框方法。这些结果表明，所提出的紧凑方法将使科学界能够有效地解决迄今为止无法适应GPU内存的问题。
2022-01-03 cs.CG cs.DC cs.DM
GLU3.0: Fast GPU-based Parallel Sparse LU Factorization for Circuit Simulation
稀疏矩阵的LU分解是电路仿真等工程和科学计算问题中最重要的计算步骤。但由于数据依赖性高和内存访问不规则，使用图形处理器（GPU）并行LU分解仍然是一个具有挑战性的问题。最近，基于GPU的混合右视稀疏LU求解器，称为GLU（1.0和2.0），已被提出利用GPU的细粒度级并行。然而，GLU引入的一种新类型的数据依赖（称为双U依赖）减慢了预处理步骤。此外，GLU使用固定的GPU线程分配策略，这限制了并行性。在这篇文章中，我们提出了一种新的基于GPU的稀疏LU分解方法，称为{ \it GLU3.0}，它解决了上述问题。首先，它引入了一个更有效的数据依赖检测算法。其次，我们观察到随着矩阵分解的进行，潜在的并行性也会有所不同，因此我们开发了三种不同的GPU内核模式，以适应矩阵分解过程中计算任务的变化。在佛罗里达大学稀疏矩阵集（UFL）的电路矩阵上的实验结果表明，GLU3.0在数据依赖性检测方面比GLU2.0提高了2-3个数量级。此外，GLU3.0实现了13.0 $\times$（算术平均值）或6.7 $\times$（几何平均值）的加速比GLU2.0和7.1 $\times$（算术平均值）或4.8 $\times$（几何平均值）比最近提出的增强型GLU2.0稀疏LU求解器在同一组电路矩阵。
2020-02-12 cs.DC cs.DS
10Cache: Heterogeneous Resource-Aware Tensor Caching and Migration for LLM Training
Kuwait University, Kuwait（科威特大学）
针对云端LLM训练的内存瓶颈与现有卸载方案的缺陷，提出异构资源感知的张量缓存迁移系统10Cache，通过智能协调多层存储、优化预取与内存分配，显著提升训练速度与资源利用率。
2025-11-18 cs.DC cs.LG
An Empirical Evaluation of Allgatherv on Multi-GPU Systems
用于深度学习和大数据分析的应用程序的计算和内存需求超过了单个GPU的限制。然而，由于GPU之间的通信的复杂性，特别是对于具有不规则消息大小的集体通信，有效地将应用扩展到多个GPU是具有挑战性的。在这项工作中，我们提供了一个性能评估的Allanov例程多GPU系统，专注于GPU的网络拓扑结构和使用的通信库。我们提出了OSU-微基准测试的结果，并对稀疏张量因子分解进行了案例研究，这是一个使用具有高度不规则消息大小的Allanov的应用程序。我们扩展了现有的张量因式分解工具，使其可以在具有不同节点数和每个节点不同GPU数量的系统上运行。然后，我们评估我们的工具的通信性能时，使用传统的MPI，CUDA感知MVAPICH和NCCL在一套真实世界的数据集在三个不同的系统：一个16节点的集群，每个节点一个GPU，NVIDIA的DGX-1与8 GPU和克雷的CS风暴与16 GPU。我们的研究结果表明，张量数据集的不规则性产生的趋势与OSU微基准中的趋势相矛盾，以及基准中没有的趋势。
2018-12-14 cs.DC cs.PF
The Tensor-Core Beamformer: A High-Speed Signal-Processing Library for Multidisciplinary Use
本文提出基于GPU张量核心的通用波束形成库，支持16位和1位精度，在NVIDIA和AMD GPU上大幅超越传统方法并显著提升能效，可集成于医学超声和射电天文等应用。
2025-05-06 astro-ph.IM cs.DC
Enabling Memory-efficient Im2win Convolution with Multi-precision Support on GPU CUDA and Tensor Cores
Nanchang Hangkong University（南昌航空大学）；EEO Tech（EEO科技）；University of Washington（华盛顿大学）；AWS（亚马逊云计算服务）
该研究扩展im2win卷积范式，在GPU CUDA核心和Tensor Core上实现多精度支持，经12个CNN基准测试，其性能优于cuDNN等现有方法，内存开销显著降低，成为统一高性能卷积框架。
2026-08-24 cs.CV cs.DC
TC-GNN: Bridging Sparse GNN Computation and Dense Tensor Cores on GPUs
University of California, Santa Barbara（加州大学圣巴巴拉分校）
TC-GNN是首个基于GPU张量核心的GNN加速框架，通过稀疏图转换技术和CUDA核心与TCU协同设计，桥接稀疏GNN计算与稠密张量核心，在多种模型和数据集上相比DGL平均加速1.70倍。
2023-05-31 cs.DC cs.LG
APNN-TC: Accelerating Arbitrary Precision Neural Networks on Ampere GPU Tensor Cores
University of California, Santa Barbara（加州大学圣巴巴拉分校）；Pacific Northwest National Laboratory（太平洋西北国家实验室）
多年来，利用量化加速神经网络已被广泛研究。不幸的是，具有不同精度的先前努力（例如，1-位权重和2位激活）通常受到GPU上的有限精度支持的限制（例如，int 1和int 4）。为了打破这种限制，我们引入了第一个任意精度神经网络框架（APNN-TC），以充分利用Ampere GPU张量核心的量化优势。具体来说，APNN-TC首先采用了一种新的仿真算法，以支持任意短位宽计算与int 1计算原语和XOR/AND布尔运算。第二，APNN-TC集成了任意精度的层设计，以有效地将我们的仿真算法映射到具有新颖的并行策略和专门的内存组织的张量核心。第三，APNN-TC体现了一种新的任意精度NN设计，以最大限度地减少跨层的内存访问，并进一步提高性能。广泛的评估表明，APNN-TC可以在CUTLASS内核和各种NN模型（如ResNet和VGG）上实现显着的加速。
2021-11-16 cs.AI cs.AR cs.CV
GPUOS: A GPU Operating System Primitive for Transparent Operation Fusion
UC Santa Cruz（加州大学圣克鲁兹分校）；University of Washington（华盛顿大学）；UC Berkeley（加州大学伯克利分校）
GPUOS通过持久化内核架构和运行时操作注入技术，减少内核启动开销，提升小规模张量操作性能，实现与PyTorch生态的透明集成。
2026-04-20 cs.DC cs.OS
Sgap: Towards Efficient Sparse Tensor Algebra Compilation for GPU
稀疏编译器是稀疏张量代数优化的一种很有前途的解决方案。在编译器实现中，稀疏-稠密混合代数的约简对性能起着关键作用。虽然GPU提供了各种可以更好地利用并行计算和内存带宽容量的约简语义，但核心问题是：如何将灵活的约简语义提升到假设串行执行的稀疏编译理论。具体而言，我们必须解决两个主要挑战：（1）采用静态同步粒度会浪费并行性（2）静态归约策略限制优化空间探索。我们提出了Sgap：段组和原子并行来解决这些问题。原子并行捕捉灵活的约简语义，系统地分析稀疏-密集混合代数在GPU上的优化空间。它是一种超越当前基于编译器和开源运行时库的新优化技术。段组将灵活的约简语义提升到稀疏编译理论中合适的抽象层次。该算法采用可变群规模和自定义约简策略分别解决问题（1）和（2）。最后，我们在TACO编译器上使用GPU稀疏矩阵-矩阵乘法（SpMM）作为用例来证明段组在约简语义提升中的有效性。我们实现了1.2倍的加速比原来的TACO的SpMM内核。我们还将原子并行发现的新优化技术应用于开源的最先进的SpMM库dgSPARSE。我们实现了1.6x - 2.3x的加速与原子并行调整的算法。
2023-01-09 cs.DC cs.PL
Speeding up Local Optimization in Vehicle Routing with Tensor-based GPU Acceleration
School of Management, Huazhong University of Science and Technology（华中科技大学管理学院）
本文提出基于张量的GPU加速方法，用于加速车辆路径问题中的局部优化，通过高效计算提升计算效率和解质量。
2026-01-29 cs.AI cs.DC
Towards Compute-Aware In-Switch Computing for LLMs Tensor-Parallelism on Multi-GPU Systems
Shanghai Jiao Tong University（上海交通大学）；Huawei Technologies Co. Ltd.（华为技术有限公司）；Peking University（北京大学）
本文提出CAIS框架，通过计算感知的ISA扩展、线程块协调和数据流优化，提升多GPU系统中LLM张量并行的通信与计算效率，实验显示其在训练速度上优于现有方案。
2026-05-07 cs.AR cs.DC
Tesseract: Parallelize the Tensor Parallelism Efficiently
HPC-AI Technology Inc.（HPC-AI科技公司）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；National University of Singapore（新加坡国立大学）
随着各种任务的最新精度的提高，深度学习模型变得越来越大。然而，实现这些大型模型是极其困难的，因为有限的GPU内存使得无法将大型模型放入单个GPU甚至GPU服务器中。此外，对于大型模型，减少训练时间是非常必要的。以前的方法，如Megatron-LM，实现了一维分布式方法，使用GPU来加速训练。然而，这些方法在大规模集群上具有高通信开销和低伸缩效率。为了解决这些问题，我们提出Tesseract，一个高度可扩展的张量并行与一个新的设计。它通过减少通信开销来提高效率，并降低每个GPU所需的内存。Tesseract通过在张量并行中引入新的维数，极大地增加了张量并行的存储容量。具体地说，这个新的维度进一步增加了张量并行的程度。与以前的1-D和2-D方法相比，Tesseract设法降低了每层的通信成本，分别带来了1.38倍和1.53倍的加速比，并具有很强的伸缩性。在弱尺度实验中，Tesseract与1-D/2-D方法相比，分别实现了最大4.0/1.7倍的推理加速和3.4/1.7倍的吞吐量提高。通过引入Tesseract，我们提供了一种更有效和可扩展的方法，可以在有限的GPU资源下实现大型深度学习模型。
2022-09-01 cs.AI cs.DC cs.LG
Accelerating Sparse Matrix-Matrix Multiplication with GPU Tensor Cores
稀疏通用矩阵-矩阵乘法（spGEMM）是许多科学和数据分析应用中的重要组成部分。然而，输入矩阵的稀疏模式和它们的模式的相互作用使得spGEMM具有挑战性。现代GPU包括张量核心单元（TCU），专门用于密集矩阵乘法。我们的目标是为稀疏矩阵重新使用TCU。我们的spGEMM算法tSparse的关键思想是使用TCU的混合精度模式来乘以稀疏矩形块。tSparse将输入矩阵划分为tile，并仅对包含一个或多个元素的tile进行操作。它创建区块的任务列表，并使用TCU执行这些区块的矩阵乘法。据我们所知，这是首次在spGEMM背景下使用TCU。我们表明，spGEMM，我们的平铺方法，从TCU的好处。与cuSPARSE、CUSP、RMerge 2、Nsparse、AC-SpGEMM和spECK相比，我们的方法显著提高了spGEMM的性能。
2020-09-29 cs.DC cs.MS cs.PF
GeoT: Tensor Centric Library for Graph Neural Network via Efficient Segment Reduction on GPU
University of California, San Diego（加利福尼亚大学圣迭戈分校）；Stanford University（斯坦福大学）；Intel Corporation（英特尔公司）
GeoT提出面向GNN的GPU张量中心库，通过高效分段归约和可融合并行算法，实现平均算子加速1.80倍、端到端加速1.68倍。
2024-04-08 cs.DC cs.LG
Scalable CP Decomposition for Tensor Learning using GPU Tensor Cores
University of Rochester（罗切斯特大学）；Huazhong University of Science and Technology（华中科技大学）
提出基于压缩的 Exascale-Tensor 张量分解框架，利用固有并行性提升计算效率，支持百亿亿级张量分解，规模扩大 8,000 倍且加速达 6.95 倍，并在基因分析和神经网络中验证其有效性。
2023-11-22 cs.AI cs.DC cs.LG
Parallel Track Transformers: Enabling Fast GPU Inference with Reduced Synchronization
Apple（苹果公司）
并行轨道变换器通过减少同步操作提升GPU推理效率，适用于大规模LLM服务。
2026-02-07 cs.DC cs.LG
Efficient Large-Scale Language Model Training on GPU Clusters Using Megatron-LM
NVIDIA（英伟达）；Stanford University（斯坦福大学）；Microsoft Research（微软研究院）
大语言模型在一系列任务中实现了最先进的准确性。然而，由于两个原因，有效地训练这些模型是具有挑战性的：a）GPU内存容量有限，使得即使在多GPU服务器上也无法适应大型模型，以及b）训练这些模型所需的计算操作数量可能导致不切实际的长训练时间。因此，新的模型并行方法如张量和流水线并行被提出。不幸的是，这些方法的天真使用导致数千个GPU的基本缩放问题，例如，这是由于昂贵的跨节点通信或设备花费大量时间等待其他设备来取得进展。在本文中，我们将展示如何组合不同类型的并行方法（张量，管道和数据并行），以扩展到数千个GPU和具有数万亿参数的模型。我们调查技术的流水线并行，并提出了一种新的交错流水线并行计划，可以提高吞吐量的10+%的内存占用与现有的方法。我们定量地研究了张量、管道和数据并行之间的权衡，并提供了如何配置大型模型的分布式训练的直观性。我们的方法允许我们在3072个GPU上以502 petaFLOP/s的速度对具有1万亿个参数的模型执行训练迭代，实现了理论峰值的52%的每GPU吞吐量。我们的代码在https://github.com/nvidia/megatron-lm上开源。
2021-08-23 cs.CL cs.DC
Learning to Rank Tensor Network Contraction Plans for GPU-Accelerated Quantum Circuit Simulation
Universitat de València（瓦伦西亚大学）；Universitat Jaume I（哈梅一世大学）
该研究提出学习排序框架，基于GPU测量训练梯度提升排序器，用于选高效张量网络收缩计划以加速量子电路模拟，其排序在不同GPU间具稳定性，可减少计划搜索成本。
2026-10-05 cs.DC cs.LG cs.PF
