TensorFlow as a DSL for stencil-based computation on the Cerebras Wafer Scale Engine
Cerebras Wafer Scale Engine(WSE)是一个加速器,它将数十万个AI核心结合到单个芯片上。虽然这项技术是为机器学习工作负载而设计的,但大量可用的原始计算意味着它也是加速传统HPC计算代码的一个非常有趣的潜在目标。这些算法中的许多是基于模板的,其中更新操作涉及来自相邻元素的贡献,在本文中,我们从技术早期采用者的角度探讨了这种技术对此类代码的适用性,与CPU和GPU相比。使用TensorFlow作为接口,我们探索了性能,并证明了尽管在向用户公开编程接口方面仍有工作要做,但WSE的性能令人印象深刻,因为在我们的实验中,它的性能是四个V100 GPU的2.5倍,两个英特尔至强白金CPU的114倍。因此,该技术在加速未来亿亿次超级计算机上的HPC代码方面发挥重要作用的潜力巨大。
2022-08-26 cs.DC cs.PF
An Efficient Vectorization Scheme for Stencil Computation
摘要空间计算是各种科学和工程应用中最重要的核心之一。各种工作都集中在矢量化和平铺技术,旨在利用内核内的数据并行和数据局部性。在本文中,现有的矢量化方案的缺点进行了分析。简而言之,它们要么引发数据对齐冲突,要么在与切片集成时损害数据局部性。然后,我们提出了一种新的转置布局,以保持数据的局部性平铺和减少数据重组的矢量化开销的同时。为了进一步提高寄存器级的数据重用,设计了一种时间循环展开和阻塞策略,沿时间维执行多步模板计算。在AVX-2和AVX-512 CPU上的实验结果表明,该方法具有较好的性能。
2021-03-18 cs.DC
Reducing Redundancy in Data Organization and Arithmetic Calculation for Stencil Computations
摘要空间计算是各种科学和工程应用中最重要的核心之一。各种工作都集中在向量化技术上,旨在利用核内数据并行。简而言之,它们要么引发数据对齐冲突,要么在与切片集成时损害数据局部性。在本文中,一种新的转置布局的设计,以保持在数据空间中的平铺数据的局部性,并减少数据重组的矢量化开销的同时。然后,我们提出了一种临时计算折叠的方法,旨在进一步减少冗余的算术计算,通过利用寄存器重用,减轻增加的寄存器压力,并推导推广与线性回归模型。在AVX-2和AVX-512 CPU上的实验结果表明,该方法具有较好的性能。
2021-03-16 cs.DC
A Portable Framework for Accelerating Stencil Computations on Modern Node Architectures
本文提出 StencilPy 框架,通过高级 DSL 与多架构后端生成高效模板代码,在 CPU、GPU 和 Cerebras 等加速器上实现接近手写优化代码的性能、可移植性与更高开发效率。
2024-07-07 cs.DC
Stencil Computation at the Intersection of AI and HPC
Intel Corporation(英特尔公司);TotalEnergies EP Research and Technology US(道达尔能源EP美国研究与技术)
本文证明AI张量编译器可高效实现高阶stencil,TinyTC在Intel硬件上性能领先,PyTorch/Triton提供可移植性基线。
2026-09-10 cs.DC
Quantifying performance bottlenecks of stencil computations using the Execution-Cache-Memory model
正则格上的压缩算法广泛应用于计算科学的各个领域,人们一直在努力优化算法的实现。这些活动通常不受提供预期加速估计的性能模型的指导。通过性能建模了解性能属性和瓶颈,可以清楚地看到有希望的优化机会。在这项工作中,我们完善了最近开发的执行缓存内存(ECM)模型,并使用它来量化当代英特尔处理器上的模板算法的性能瓶颈。这包括应用该模型来达到典型的角落情况模板循环内核的单核性能和可扩展性预测。ECM模型的指导下,我们准确地量化的“层条件”,这是需要通过存储层次结构估计的数据流量的意义,并研究典型的优化方法,如空间阻塞,强度降低,和时间阻塞的影响,其预期的好处。我们还比较了ECM模型的广为人知的Roofline模型。
2015-01-17 cs.DC cs.PF
Stencil Computations on Cerebras Wafer-Scale Engine
Sapienza University of Rome(罗马第一大学)
本文研究将Stencil算法映射到Cerebras WSE-3,提出CStencil框架,通过实验显示其在内存瓶颈和计算资源利用上的优势,证明WSE架构可用于传统科学算法。
2026-05-08 cs.CE cs.DC cs.ET
Scalable communication for high-order stencil computations using CUDA-aware MPI
高性能计算中的现代计算节点提供了巨大的并行性和处理能力。然而,由于已经观察到算术性能相对于存储器和网络带宽以更快的速率增加,因此优化数据移动对于在许多通信繁重的应用中实现强大的可扩展性变得至关重要。随着图形处理单元的引入,这种性能差距进一步加剧,图形处理单元可以通过多种因素提供比中央处理单元更高的数据并行任务吞吐量。在这项工作中,我们探讨了迭代模板循环的计算方面,并实现了一个通用的通信方案,使用CUDA感知MPI,我们用它来加速基于高阶有限差分和三阶龙格库塔积分的磁流体力学模拟。我们特别关注提高工作负载的节点内局部性。我们的GPU实现可在$50\%$上从一个$64$设备强烈扩展--基于理论性能模型的预期效率的$87\%$。与多核CPU求解器相比,我们的实现在$16$节点上的计算约束基准测试中表现出$20$-$60\times$加速和$9$ - $12\times$提高的能量效率。
2022-05-10 cs.DC physics.comp-ph physics.flu-dyn
Accelerating Compact Fractals with Tensor Core GPUs
这项工作提出了一个GPU线程映射方法,允许使用其紧凑的表示离散分形做快速并行模板般的计算。其背后的直觉是使用两个GPU张量核加速线程映射$λ(ω)$和$ν(ω)$,它们分别充当线程空间到数据空间和数据空间到线程空间的函数。通过组合这些映射,线程可以访问紧凑的空间并与它们的邻居交互。映射的成本是$\mathcal{O}(\log \log(n))$时间,$n$是扩展形式的分形的$n \times n$嵌入的一侧。该技术适用于属于离散分形的非重叠边界盒(NBB)类的任何分形,并且也可以扩展到三维。使用A100 GPU对Sierpinski Triangle进行的案例研究结果表明,相对于限界框方法,加速高达$\sim11\times$,内存使用减少了$234\times$。这些结果表明,所提出的紧凑方法可以让科学界解决以前不适合GPU内存的较大问题,并且运行速度甚至比限界框方法更快。
2021-10-25 cs.DC
Recovering single precision accuracy from Tensor Cores while surpassing the FP32 theoretical peak performance
针对Tensor Core矩阵乘法精度不足问题,提出基于CUTLASS的校正方法,处理舍入与下溢,实现与FP32 SIMT Core相同精度且吞吐量超越其理论峰值。
2023-10-18 cs.DC
Reducing shared memory footprint to leverage high throughput on Tensor Cores and its flexible API extension library
针对Tensor Core使用中共享内存带宽瓶颈问题,提出含灵活寄存器操控、无额外共享内存SGEMM仿真双组件的WMMA API扩展库,降低共享内存占用,在A100上实现超FP32 SIMT峰值且精度对标cuBLAS的单精度批量SGEMM性能。
2023-08-29 cs.DC
Shfl-BW: Accelerating Deep Neural Network Inference with Tensor-Core Aware Weight Pruning
深度神经网络(DNN)中的权重修剪可以降低存储和计算成本,但难以为模型推理时间带来实际加速。张量核可以显著提高GPU在密集计算上的吞吐量,但将张量核用于稀疏DNN是非常具有挑战性的。与现有的CUDA核相比,张量核需要更高的数据重用和矩阵形状的指令粒度,这两者都难以从稀疏DNN内核中产生。现有的剪枝方法无法平衡准确性和效率的要求:随机稀疏性很好地保留了模型质量,但禁止张量核加速,而高度结构化的块稀疏性可以利用张量核,但遭受严重的准确性损失。在这项工作中,我们提出了一种新的稀疏模式,混合块稀疏(Shfl-BW),旨在有效地利用张量核,同时最大限度地减少对权重结构的约束。我们的见解是,行和列排列为权重结构提供了丰富的灵活性,同时使用我们的GPU内核设计引入了可以忽略不计的开销。我们在线性和卷积层中优化了Shfl-BW的GPU内核。评估表明,我们的技术可以实现最先进的GPU上的速度和精度的权衡。例如,在精度损失很小的情况下,我们可以在75%稀疏度下,在NVIDIA V100、T4和A100 GPU上分别将Transformer的计算密集型层加速1.81、4.18和1.90倍。
2022-03-12 cs.DC
tcFFT: Accelerating Half-Precision FFT through Tensor Cores
快速傅立叶变换(FFT)是科学计算和工程计算中必不可少的工具。随着对混合精度FFT的需求不断增长,半精度浮点(FP 16)算法的使用成为可能,以实现更快的速度和节能。NVIDIA Tensor Cores专注于较低精度,可提供极高的计算性能。然而,固定的计算模式使得它很难利用FFT的张量核心的计算能力。因此,我们开发了tcFFT来用Tensor Core加速FFT。我们的tcFFT支持各种大小的批量1D和2D FFT,并利用一组优化来实现高性能:1)Tensor Core片段上的单元素操作,以支持FFT所需的特殊操作; 2)细粒度数据排列设计,以协调GPU内存访问模式。我们在NVIDIA V100和A100 GPU上评估了各种大小和尺寸的tcFFT和NVIDIA cuFFT。结果表明,在两种GPU上,tcFFT的性能分别比cuFFT高1.29x-3.24x和1.10x-3.03x。我们的tcFFT具有很大的潜力,混合精度的科学应用。
2021-04-23 cs.DC
Dynasor: A Dynamic Memory Layout for Accelerating Sparse MTTKRP for Tensor Decomposition on Multi-core CPU
本文提出Dynasor算法,利用FLYCOO格式和动态重映射,在多核CPU上通过无锁并发与负载均衡,加速稀疏张量分解中的spMTTKRP内核,实现2.12至9.01倍加速。
2023-10-13 cs.DC
Analyzing GPU Tensor Core Potential for Fast Reductions
Nvidia GPU架构引入了新的计算元素,如\textit{tensor cores},这是一种专用于执行快速矩阵乘法累加(MMA)运算和加速\textit{Deep Learning}应用程序的特殊处理单元。在这项工作中,我们提出了将张量核用于不同目的的想法,例如并行算术约简问题,并提出了一种新的基于GPU张量核的算法,并分析了其潜在的性能优势,与传统的基于GPU的算法相比。所提出的方法将$n$数的减少编码为一组$m\times m$ MMA张量核操作(对于Nvidia的Volta架构$m=16$),并利用每个MMA操作仅需要一个GPU周期的事实。在一个简化的GPU计算模型下分析了代价,结果表明新算法成功地减少了$T(n) = 5\log_{m^2}(n)$步骤中的$n$数问题,并获得了$S = \frac{4}{5}\log_2(m^2)$的加速比。
2019-03-08 cs.DC
GPU Tensor Cores for fast Arithmetic Reductions
这项工作提出了一种GPU张量核心的方法,编码的算术减少$n$号码作为一组链式$m \times m$矩阵乘累加(MMA)的操作并行执行的GPU张量核心。所提出的链式张量核方法的渐近运行时间为$T(n)=5 log_{m^2}{n}$,其加速比为$S=\dfrac{4}{5} log_{2}{m^2}$,优于经典的$O(n \log n)$并行约简算法.实验结果表明,该方法比传统的GPU约简方法具有更快的$\sim 3.2 \times$速度,并且由于每个$R$ MMA链的子结果在全部约简为最终32位结果之前都保持为32位浮点值,因此保持了数值精度。链式MMA设计允许灵活配置线程块; 32或128个线程的小线程块仍然可以使用每个块的$R=4,5$ MMA链来实现最大性能,而大线程块使用$R=1$效果最佳。在这项工作中获得的结果表明,张量核确实可以为非机器学习应用提供显着的性能改进,例如算术约简,这是研究许多科学现象的集成工具。
2020-01-15 cs.DC
Can Tensor Cores Benefit Memory-Bound Kernels? (No!)
本研究通过理论和实证分析,证明张量核心在内存受限内核(如STREAM Scale、SpMV和stencil)上相比CUDA核心最多仅能获得1.33倍加速,无法带来可靠的性能提升,挑战了先前研究的结论。
2025-02-27 cs.DC cs.PF
DGEMM with Ozaki Scheme I/II on FP4 Tensor Cores: A Base-13 E2M1 Limb Representation
Nagoya University(名古屋大学)
该研究在FP4张量核心上构建Ozaki格式I/II,提出基-13 E2M1 limb表示方法及内核优化,在RTX PRO 6000 Blackwell上实现FP64矩阵乘法模拟,大问题规模下性能超FP8版本。
2026-08-10 cs.DC
A Computational Model for Tensor Core Units
Stony Brook University(石溪大学);University of Padova(帕多瓦大学);Free University of Bozen(博岑自由大学)
为了满足深度神经网络的高效训练和推理需求,已经引入了大量特定于领域的硬件架构,例如Google Tensor Processing Units和NVIDIA Tensor Cores。这些架构的共同特征是用于有效地计算给定小尺寸的密集矩阵乘法的硬件电路。为了拓宽利用这些系统的算法的类,我们提出了一个计算模型,命名为TCU模型,它捕获的能力,本机乘小矩阵。然后,我们使用TCU模型设计快速算法的几个问题,包括矩阵运算(密集和稀疏乘法,高斯消元),图形算法(传递闭包,所有对最短距离),离散傅立叶变换,模板计算,整数乘法,多项式评估。最后,我们强调TCU模型和外部存储器模型之间的关系。
2020-07-09 cs.AR cs.DC cs.DS
Mass Matrix Assembly on Tensor Cores for Implicit Particle-In-Cell Methods
KTH Royal Institute of Technology(瑞典皇家理工学院)
本文提出通过张量核心高效组装质量矩阵,提升隐式粒子-网格方法的性能,实现3倍加速和15%的运行时间减少。
2026-04-21 cs.CE cs.DC
cuFastTuckerPlus: A Stochastic Parallel Sparse FastTucker Decomposition Using GPU Tensor Cores
针对大规模稀疏张量分解,提出FastTuckerPlus算法,将问题分解为两个非凸问题并用随机梯度下降交替求解,同时设计基于GPU张量核心的细粒度并行实现cuFastTuckerPlus,实现3-5倍加速。
2024-05-23 cs.DC
Mixed-Precision Random Projection for RandNLA on Tensor Cores
提出一种在 NVIDIA GPU Tensor Cores 上利用 FP32 与 FP16 混合精度矩阵乘法(SHGEMM)的快速随机投影方法,在保持精度的同时显著提升了 RandNLA 中 SVD 计算的速度。
2023-04-10 cs.DC
Leveraging GPU Tensor Cores for Double Precision Euclidean Distance Calculations
张量核(Tensor Cores,TC)是一种专用集成电路(ASIC),是图形处理单元(GPU)架构的最新成员。因此,TC被有目的地设计为大大提高矩阵乘法累加(MMA)运算的性能。虽然TC被大量研究用于机器学习和密切相关的领域,在这些领域中,它们的高效率是不可否认的,但MMA操作并不是这些领域所独有的。更一般地说,任何可以表示为MMA操作的计算都可以利用TC,并且与其他通用核心(例如Nvidia GPU上的CUDA核心)相比,可能会受益于其更高的计算吞吐量。在本文中,我们提出了第一个双精度的(FP64)欧几里得距离计算算法,该算法表示为MMA运算,以利用Nvidia GPU上的TC,而不是更常用的CUDA内核。为了表明欧氏距离可以在现实世界中的应用加速,我们评估我们提出的TC算法的距离相似性自连接问题,因为该算法的计算最密集的部分包括在多维空间中计算距离。我们发现,使用张量核心算法的CUDA核心算法的性能增益弱依赖于数据集的大小和分布,但强烈依赖于数据的维数。总的来说,TC是CUDA核心的一个令人信服的替代品,特别是当数据维度较低($\leq{4}$)时,因为我们实现了$1.28\times$的平均加速比,最高可达$2.23\times$,而不是最先进的GPU距离相似性自连接算法。此外,由于本文是第一个探索使用TC的FP64通用计算,未来的研究是有希望的。
2022-11-17 cs.DC
QGTC: Accelerating Quantized Graph Neural Networks via GPU Tensor Core
近年来,量化图神经网络(QGNN)由于其高鲁棒性和低计算和存储开销而吸引了大量的研究和工业界的关注。不幸的是,QGNN的性能提升从未在现代GPU平台上实现。为此,我们提出了第一个基于Tensor Core(TC)的计算框架QGTC,以支持GPU上QGNN的任何位宽计算。提出了一种基于低比特数据表示和比特分解计算的量化低比特算术设计。我们通过结合3D堆栈位压缩、零瓦片跳跃和非零瓦片重用技术,设计了一种新颖的TC定制的CUDA内核设计,以系统地提高性能。我们采用了一种有效的带宽优化子图包装策略,以最大限度地提高CPU主机和GPU设备之间的传输效率。我们将QGTC与Pytorch集成,以获得更好的可编程性和可扩展性。大量的实验表明,与最先进的Deep Graph Library框架相比,QGTC在各种设置中平均实现了2.7倍的加速。
2021-12-30 cs.DC
High-Throughput Parallel Viterbi Decoder on GPU Tensor Cores
在GPU平台上实现Vitrerbi解码算法的研究工作很多,因为GPU平台提供了相当大的灵活性,除了良好的性能。最近,现代GPU架构中最近推出的Tensor核心提供了令人难以置信的计算能力。提出了一种基于Tensor核的Viterbi译码算法在现代GPU架构中的并行实现方法。所提出的并行算法进行了优化,以有效地利用张量核的计算能力。实验表明,相当大的吞吐量的改善与以前的作品相比。
2020-11-27 cs.DC eess.SP
Accelerating Drug Discovery in AutoDock-GPU with Tensor Cores
针对 AutoDock-GPU 评分函数中归约操作的性能瓶颈,提出利用 NVIDIA Tensor Cores 矩阵运算加速四元素向量求和归约的方法,使归约速度提升 4-7 倍,实际对接平均时间缩短 27%。
2024-10-14 cs.DC
Low-ordered Orthogonal Voxel Finite Element with INT8 Tensor Cores for GPU-based Explicit Elastic Wave Propagation Analysis
本文提出一种利用INT8张量核心并减少数值频散的GPU显式弹性波场模拟方法,在真实问题实验中比传统方法快17.0倍。
2024-04-21 cs.DC
High Performance Unstructured SpMM Computation Using Tensor Cores
针对非结构化稀疏矩阵,提出利用张量核心的SpMM库SMaT,通过CUDA MMA和稀疏置换优化,在A100上平均提速2.6倍,最高125倍。
2024-08-21 cs.DC
Exceeding the Numerical and Performance Characteristics of IEEE-754 SGEMM with BFloat16 Tensor Cores on GPUs for Scientific Computing
NVIDIA Corporation(英伟达公司)
本文研究了使用BF16张量核心进行FP32矩阵乘法的仿真实现,展示了其在数值和性能上超越原生FP32的能力,并讨论了完整的库级实现以正确处理下溢数。
2026-05-15 cs.DC
NVIDIA Tensor Core Programmability, Performance & Precision
NVIDIA Volta GPU微架构引入了一个名为“Tensor Core”的专用单元,每个时钟周期在4x 4矩阵上执行一次矩阵乘法和累加。NVIDIA Tesla V100加速器采用Volta微架构,提供640个Tensor核心,理论峰值性能为125 Tflops/s,混合精度。在本文中,我们调查目前的方法来编程NVIDIA张量核心,其性能和精度损失,由于计算混合精度。目前,NVIDIA提供了三种不同的在Tensor Cores上编程矩阵乘和累加的方法:CUDA Warp Matrix Multiply Accumulate(WMMA)API、CUTLASS(基于WMMA的模板库)和cuBLAS GEMM。在试验了不同的方法后,我们发现NVIDIA Tensor Cores在Tesla V100 GPU上的混合精度下可以提供高达83 Tflops/s的性能,分别是单精度和半精度性能的7倍和3倍。批量GEMM的WMMA实现达到了4 Tflops/s的性能。虽然由于半精度输入的矩阵乘法而导致的精度损失在许多HPC应用中可能是关键的,但可以以增加计算为代价来显著降低精度损失。我们的研究结果表明,使用矩阵乘法的HPC应用程序可以从NVIDIA Tensor Core中受益匪浅。
2018-03-11 cs.DC cs.PF
RosneT: A Block Tensor Algebra Library for Out-of-Core Quantum Computing Simulation
随着更强大的量子计算机的出现,对更大的量子模拟的需求已经增加。随着资源量随着目标系统的规模呈指数级增长,张量网络作为一个最佳框架出现,我们用张量因子分解表示量子态。随着张量网络的范围增加,需要HPC工具进行操作的中间张量的大小也会增加。中型电路的模拟不能适合本地存储器,张量的分布式收缩的解决方案是稀缺的。在这项工作中,我们提出了RosnetT,一个分布式的,核心外块张量代数库。我们使用PyCOMPSs编程模型将张量操作转换为COMPSs运行时处理的任务集合,目标是在现有和即将推出的Exascale超级计算机中执行。我们报告的结果验证我们的方法显示良好的可扩展性,在高达53量子位的量子线路的模拟。
2022-01-17 cs.DC quant-ph
Quantum Circuit Simulation by SGEMM Emulation on Tensor Cores and Automatic Precision Selection
本文提出利用输入张量指数范围统计自动选择TF32或FP16张量核心执行GEMM,在保持SGEMM精度的同时将量子电路模拟吞吐量最高提升1.86倍。
2023-07-10 cs.DC quant-ph
A Parallel Scan Algorithm in the Tensor Core Unit Model
针对张量核心单元(TCU)计算模型,提出一种并行扫描算法,在(s², ℓ)-TCU模型中实现深度至多2⌊logₛ(n)⌋、特定时间复杂度的前缀和计算,等价执行O(n/s²)次s阶方阵乘法。
2024-11-26 cs.DC cs.DS
The Tensor-Core Beamformer: A High-Speed Signal-Processing Library for Multidisciplinary Use
本文提出基于GPU张量核心的通用波束形成库,支持16位和1位精度,在NVIDIA和AMD GPU上大幅超越传统方法并显著提升能效,可集成于医学超声和射电天文等应用。
2025-05-06 astro-ph.IM cs.DC
Similarity Search with Tensor Core Units
张量核心单元(TCU)是为深度神经网络开发的硬件加速器,它有效地支持两个密集$\sqrt{m}\times \sqrt{m}$矩阵的乘法,其中$m$是给定的硬件参数。在本文中,我们表明,TCU可以加快相似性搜索问题。我们提出了算法的Johnson-Lindenstrauss降维和相似性连接,通过利用TCU,实现了$\sqrt{m}$加速相对于传统的方法。
2020-06-22 cs.DC cs.DS cs.IR
Multiple Double Arithmetic on NVIDIA Tensor Cores
University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
研究如何解决NVIDIA张量核上多重双精度算术运算因重归一化涉及分支而不适用的问题,应用类似尾崎方案的方法,且软件以GPU GPL许可在github上提供。
2026-07-09 cs.DC cs.MS cs.NA
TensorMD: Scalable Tensor-Diagram based Machine Learning Interatomic Potential on Heterogeneous Many-Core Processors
TensorMD提出基于张量图的机器学习原子间势模型,通过张量形式与可移植优化策略,在新神威超算上实现520亿原子、31皮秒/步/原子的模拟性能,创HPC+AI+MD新纪录。
2023-10-13 cs.DC physics.comp-ph
Channel Estimation for Massive MIMO systems using Tensor Cores in GPU
为了有效地使用大规模MIMO系统,快速和准确的信道估计是非常重要的。但是大规模天线阵列的存在需要高导频开销以实现高精度的估计。此外,当与基于软件的处理系统(如CPU和GPU)一起使用时,高处理延迟成为一个主要问题。为了减少导频开销,结合基于PN序列相关性的信道估计方案来实现导频传输方案。然后,为了处理高处理延迟的问题,Nvidia GPU中的Tensor Cores用于计算信道估计。在ORBIT Testbed平台上使用Nvidia V100 GPU进行了实验,验证了导频传输方案的性能。通过改变诸如PN序列长度、信道脉冲响应长度、复用发射机的数量和MIMO的规模等因素,评估了信道估计的张量核实现的准确性和处理延迟。
2022-06-11 cs.DC eess.SP
Hardware-Aware Reformulation of Convolutions for Efficient Execution on Specialized AI Hardware: A Case Study on NVIDIA Tensor Cores
NVIDIA
本文提出了一种硬件感知的卷积计算重 formulations 方法,通过重写规则在训练后满足专用AI硬件的对齐要求,为高效部署CNN模型提供了新的优化策略。
2026-01-09 cs.AI cs.DC
HadaCore: Tensor Core Accelerated Hadamard Transform Kernel
University of Texas at Austin(德克萨斯大学奥斯汀分校);IBM T.J. Watson Research Center(IBM T.J. 沃森研究中心);Meta AI
本研究提出适配Tensor Core的改进FWHT算法HadaCore,通过硬件感知任务分解利用张量核心加速,在A100、H100 GPU上实现显著提速,且半精度下数值准确,可保障Llama3量化推理的MMLU基准精度。
2024-12-12 cs.AI cs.DC
Flash-SD-KDE: Accelerating SD-KDE with Tensor Cores
Institute for Computational and Mathematical Engineering, Stanford University(计算与数学工程研究所,斯坦福大学)
Flash-SD-KDE通过张量核心加速SD-KDE,实现32k样本16维问题47倍提速,1M样本任务2.3秒完成,使高维密度估计变得可行。
2026-02-10 cs.DC cs.LG
TC-GNN: Bridging Sparse GNN Computation and Dense Tensor Cores on GPUs
University of California, Santa Barbara(加州大学圣巴巴拉分校)
TC-GNN是首个基于GPU张量核心的GNN加速框架,通过稀疏图转换技术和CUDA核心与TCU协同设计,桥接稀疏GNN计算与稠密张量核心,在多种模型和数据集上相比DGL平均加速1.70倍。
2023-05-31 cs.DC cs.LG
Efficient Quantized Sparse Matrix Operations on Tensor Cores
Beijing University of Posts and Telecommunications(北京邮电大学);ETH Zurich(苏黎世联邦理工学院)
针对Tensor Core上稀疏低精度矩阵运算难获实际加速的问题,提出支持混合精度稀疏运算的Magicube库,在A100上相比厂商库和现有最优方案均取得显著加速。
2023-05-07 cs.DC cs.LG
Fused3S: Fast Sparse Attention on Tensor Cores
University of California, Irvine(加州大学 Irvine 分校)
本文提出融合式 3S 算法 Fused3S,通过协同提升 tensor core 利用率并减少数据移动,在多种 GPU 和图数据集上显著加速稀疏注意力及 Graph Transformer 推理。
2025-05-12 cs.DC cs.LG
Enabling Memory-efficient Im2win Convolution with Multi-precision Support on GPU CUDA and Tensor Cores
Nanchang Hangkong University(南昌航空大学);EEO Tech(EEO科技);University of Washington(华盛顿大学);AWS(亚马逊云计算服务)
该研究扩展im2win卷积范式,在GPU CUDA核心和Tensor Core上实现多精度支持,经12个CNN基准测试,其性能优于cuDNN等现有方法,内存开销显著降低,成为统一高性能卷积框架。
2026-08-24 cs.CV cs.DC
Accelerating Binarized Neural Networks via Bit-Tensor-Cores in Turing GPUs
Pacific Northwest National Laboratory(西北太平洋国家实验室);U.S. Army Research Laboratory(美国陆军研究实验室)
尽管与传统的深度神经网络相比,二值化神经网络(BNN)的性能优势得到了巨大的提升,但它仅仅在CPU和GPU等通用处理器上得到了展示。事实上,由于无法利用基于字的架构的位级并行性,GPU在执行BNN时的利用率极低(1%)。因此,NVIDIA Turing GPU中的最新tensorcore开始实验性地支持位计算。在这项工作中,我们将研究这种全新的位计算能力,并描述其独特的功能。我们表明,内存访问的步幅可以显着影响性能交付,并且非常需要数据格式协同设计来支持tensorcore,以实现比没有tensorcore的现有软件解决方案更优越的性能。实现了张量核加速的BNN设计,特别是全连接层和卷积层的主要功能--位矩阵乘法和位卷积。在两个NVIDIA Turing GPU上的评估表明,使用ResNet-18,我们的BTC-BNN设计可以以每秒5.6K图像的速度处理ImageNet,比最先进的速度快77%。我们的BNN方法发布在www.example.com上。
2020-12-15 cs.DC cs.LG
Scalable CP Decomposition for Tensor Learning using GPU Tensor Cores
University of Rochester(罗切斯特大学);Huazhong University of Science and Technology(华中科技大学)
提出基于压缩的 Exascale-Tensor 张量分解框架,利用固有并行性提升计算效率,支持百亿亿级张量分解,规模扩大 8,000 倍且加速达 6.95 倍,并在基因分析和神经网络中验证其有效性。
2023-11-22 cs.AI cs.DC cs.LG
Squeeze: Efficient Compact Fractals for Tensor Core GPUs
这项工作提出了挤压,一个有效的紧凑的分形处理方案的张量核心GPU。通过结合紧凑和扩展形式之间的离散空间变换,可以在具有邻域访问的分形上进行数据并行计算,而无需在内存中扩展分形。空间变换被公式化为两个GPU张量核加速线程映射$λ(ω)$和$ν(ω)$,它们分别充当紧凑到扩展和扩展到紧凑的空间函数。映射的成本是$\mathcal{O}(\log_2 \log_s(n))$时间,$n$是扩展形式的分形的$n \times n$嵌入的边,而$s$是线性缩放因子。所提出的方法适用于任何分形,属于非重叠边界盒(NBB)类的离散分形,并可以扩展到三维。实验结果使用离散Sierpinski三角形作为案例研究显示了高达$\sim12\times$的加速比和高达$\sim 315\times$的内存减少因子相对于基于GPU的扩展空间限界框方法。这些结果表明,所提出的紧凑方法将使科学界能够有效地解决迄今为止无法适应GPU内存的问题。
2022-01-03 cs.CG cs.DC cs.DM
APNN-TC: Accelerating Arbitrary Precision Neural Networks on Ampere GPU Tensor Cores
University of California, Santa Barbara(加州大学圣巴巴拉分校);Pacific Northwest National Laboratory(太平洋西北国家实验室)
多年来,利用量化加速神经网络已被广泛研究。不幸的是,具有不同精度的先前努力(例如,1-位权重和2位激活)通常受到GPU上的有限精度支持的限制(例如,int 1和int 4)。为了打破这种限制,我们引入了第一个任意精度神经网络框架(APNN-TC),以充分利用Ampere GPU张量核心的量化优势。具体来说,APNN-TC首先采用了一种新的仿真算法,以支持任意短位宽计算与int 1计算原语和XOR/AND布尔运算。第二,APNN-TC集成了任意精度的层设计,以有效地将我们的仿真算法映射到具有新颖的并行策略和专门的内存组织的张量核心。第三,APNN-TC体现了一种新的任意精度NN设计,以最大限度地减少跨层的内存访问,并进一步提高性能。广泛的评估表明,APNN-TC可以在CUTLASS内核和各种NN模型(如ResNet和VGG)上实现显着的加速。
2021-11-16 cs.AI cs.AR cs.CV
Accelerating Sparse Matrix-Matrix Multiplication with GPU Tensor Cores
稀疏通用矩阵-矩阵乘法(spGEMM)是许多科学和数据分析应用中的重要组成部分。然而,输入矩阵的稀疏模式和它们的模式的相互作用使得spGEMM具有挑战性。现代GPU包括张量核心单元(TCU),专门用于密集矩阵乘法。我们的目标是为稀疏矩阵重新使用TCU。我们的spGEMM算法tSparse的关键思想是使用TCU的混合精度模式来乘以稀疏矩形块。tSparse将输入矩阵划分为tile,并仅对包含一个或多个元素的tile进行操作。它创建区块的任务列表,并使用TCU执行这些区块的矩阵乘法。据我们所知,这是首次在spGEMM背景下使用TCU。我们表明,spGEMM,我们的平铺方法,从TCU的好处。与cuSPARSE、CUSP、RMerge 2、Nsparse、AC-SpGEMM和spECK相比,我们的方法显著提高了spGEMM的性能。
2020-09-29 cs.DC cs.MS cs.PF
Accelerating High-Order Finite Element Simulations at Extreme Scale with FP64 Tensor Cores
NVIDIA Corporation(英伟达公司);Queen’s University(女王大学);Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文通过整合FP64张量核心与内核融合优化,提升MFEM库在NVIDIA Grace架构上的性能和能效,实现2倍性能提升和83%能效提升,展示了大规模有限元计算的高效实现。
2026-04-09 cs.DC cs.MS cs.PF
TC-GS: A Faster Gaussian Splatting Module Utilizing Tensor Cores
Shanghai Jiao Tong University(上海交通大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Fudan University(复旦大学);Northwestern Polytechnical University(西北工业大学)
本文提出 TC-GS,一个独立于算法的通用模块,通过将 alpha 计算映射为矩阵乘法来利用 Tensor Core 加速 3DGS 渲染,在保持渲染质量的同时实现高达 5.6 倍的总加速。
2025-10-11 cs.CV cs.DC cs.GR
Large Scale Distributed Linear Algebra With Tensor Processing Units
我们已经将Google Tensor Processing Units(TPU)(为机器学习开发的专用芯片)重新用于大规模密集线性代数超级计算机。TPU的快速核间互连(ICI)、物理上的二维网络拓扑和高带宽存储器(HBM)允许分布式矩阵乘法算法迅速成为计算约束。在这种情况下,矩阵乘法单元(MXU)在运行时占主导地位,产生了令人印象深刻的缩放、性能和原始大小:在浮点32精度下运行,一个完整的2048核第三代TPU pod可以在大约2分钟内将两个线性大小为$N= 220= 1 048 576$的矩阵相乘。通过强调大型单核矩阵乘法的策划算法,稠密线性代数中的其他任务也可以类似地扩展。作为例子,我们提出(i)QR分解;(ii)线性系统的分辨率;和(iii)多项式迭代矩阵函数的计算,证明了矩阵极分解。
2021-12-16 cs.DC physics.comp-ph quant-ph
EmuGEMM: Fused Tensor Core Kernels for Precision Emulation in Matrix Multiplication
ETH Zurich(苏黎世联邦理工学院)
针对低精度矩阵乘法单元与科学计算精度需求之间的差距,提出EmuGEMM,通过融合整数张量核心内核消除Ozaki方案中的冗余内存往返,在Hopper和Blackwell GPU上实现高精度GEMM,性能显著超越cuBLAS。
2026-06-25 cs.DC cs.MS cs.PF