GPU Fast Convolution via the Overlap-and-Save Method in Shared Memory
我们提出了一种实现的和保存的方法，非常长的信号与短的响应函数，这是专门为GPU的卷积的方法。我们已经实现了几个FFT算法（使用CUDA程序设计语言），利用GPU共享内存，允许GPU加速卷积。我们比较我们的实现与实现的的快速和保存算法，利用NVIDIA FFT库（cuFFT）。我们证明，通过使用基于共享内存的FFT，我们可以实现显着的速度为某些问题的大小，并降低GPU上的存储和保存方法的内存要求。
2020-04-10 cs.DC cs.MS cs.PF
Collaborative Acceleration for FFT on Commercial Processing-In-Memory Architectures
本文针对商用存内计算架构加速FFT效果不佳的问题，提出PIM与GPU协同加速方案及软硬件优化，使性能和數據移动分别提升最高1.38倍和2.76倍。
2023-08-08 cs.AR cs.DC
Rapid Earthquake-to-Tsunami Waveform Generation via Large-Scale Multi-GPU FFT Convolution Applied to the Cascadia Subduction Zone
Oden Institute for Computational Engineering；Sciences The University of Texas at Austin Austin, TX, USA；Sciences, Walker Department of Mechanical Engineering The University of Texas at Austin Austin, TX, USA
该研究针对地震海啸预警数据集生成成本过高的问题，利用线性时不变结构简化为卷积算子，开发FFT加速的多GPU流水线，在卡斯卡迪亚俯冲带实现了快速波形生成，大幅提升了评估效率。
2026-08-25 cs.DC cs.NA math.NA
Beating vDSP: A 138 GFLOPS Radix-8 Stockham FFT on Apple Silicon via Two-Tier Register-Threadgroup Memory Decomposition
Illumina
本文提出一种优化的Apple Silicon GPU FFT实现，通过双层本地内存模型实现138.45 GFLOPS性能，比vDSP基准提升29%。采用Radix-8 Split-Radix Stockham内核，发现线程组内存屏障成本低而散列访问是瓶颈。
2026-03-29 cs.DC cs.MS cs.PF
3DES ECB Optimized for Massively Parallel CUDA GPU Architecture
现代计算机的图形卡具有比传统CPU高得多的理论效率。本文提出了应用的可能性GPU CUDA加速加密的数据使用的新架构量身定制的3DES算法，其特点是增加了安全性相比，正常的DES。ECB模式（电子码本）中使用的算法，其中64位数据块由流处理器（CUDA内核）独立加密。
2013-05-19 cs.DC
Matrix representation and GPU-optimized parallel B-spline computing
针对CAD系统中复杂模型B样条计算的CPU算法不足问题，提出将B样条转换为规则矩阵结构并结合GPU优化调度的方法，实现关键操作速度提升约两个数量级。
2025-04-15 cs.DC
FastGraph: PCA-Subspace Binned k-Nearest-Neighbor Graph Construction for GPU Geometric Deep Learning
Carnegie Mellon University（卡内基梅隆大学）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；University of Zurich（苏黎世大学）
本文提出GPU优化的k近邻算法FastGraph，通过支持梯度流的GPU驻留分箱分区方案与自适应调优，在低维场景下相比主流库实现20-40倍加速且无额外内存开销，可有效提升GNN工作流性能。
2026-10-26 cs.DC
cuSZ-$i$: High-Ratio Scientific Lossy Compression on GPUs with Optimized Multi-Level Interpolation
本文提出 GPU 误差有界科学有损压缩器 cuSZ-$i$，通过 GPU 优化的多级插值预测、高效 Huffman 编码和集成 NVIDIA Bitcomp-lossless，在相同误差界下压缩比较次优方法提升 476%。
2024-10-01 cs.DC
Accelerating Channel Estimation and Demodulation of Uplink OFDM symbols for Large Scale Antenna Systems using GPU
前端天线数量的增加增加了后端要处理的数据量。这就需要加速后端处理。为了解决后端的大容量数据处理问题，使用了GPU。通过在后端使用CPU和GPU的组合来提供对上行链路OFDM符号的最小二乘信道估计和解调的加速。单用户上行链路方案是在近实时的方式使用USRP平台目前在大规模天线系统在ORBIT测试床。天线的数量和FFT长度是不同的，以提供不同的场景进行比较。CPU和GPU的性能进行了比较，为每个进程。
2019-01-23 cs.DC
mLR: Scalable Laminography Reconstruction based on Memoization
本文提出 mLR 方法，通过记忆化技术优化 ADMM-FFT 断层扫描重建，解决其计算耗时和内存消耗问题，实现 2Kx2Kx2K 规模问题的可扩展性，平均性能提升 52.8%。
2025-10-29 cs.DC cs.PF
Optimized Broadcast for Deep Learning Workloads on Dense-GPU InfiniBand Clusters: MPI or NCCL?
密集多GPU系统最近在HPC领域获得了很多关注。传统上，MPI运行时主要是为具有大量节点的集群设计的。然而，随着MPI+CUDA应用程序和CUDA-Aware MPI运行时（如MVAPICH 2和OpenMPI）的出现，为这种密集的多GPU节点解决有效的通信方案变得非常重要。这与Caffe和Microsoft CNTK等深度学习框架带来的新应用程序工作负载相结合，由于训练阶段GPU缓冲区的消息通信量非常大，因此会带来额外的设计限制。在这种情况下，已经提出了像NVIDIA NCCL这样的专用库，用于在密集GPU系统上进行基于GPU的集体通信。在本文中，我们提出了一种用于MPI_Bcast集体操作的流水线链（环）设计，以及MVAPICH 2-GDR中的增强集体调优框架，该框架可以实现高效的节点内/节点间多GPU通信。我们为建议的MPI_Bcast方案提供了深入的性能前景，并对NVIDIA NCCL Broadcast和基于NCCL的MPI_Bcast进行了比较分析。与基于NCCL的解决方案相比，MVAPICH 2-GDR的拟议设计分别使节点内和节点间广播延迟提高了14倍和16.6倍。此外，所提出的设计提供了高达7%的改进，基于NCCL的解决方案的数据并行训练的VGG网络上的128个GPU使用Microsoft CNTK。
2017-07-28 cs.DC
HongTu: Scalable Full-Graph GNN Training on Multiple GPUs (via communication-optimized CPU data offloading)
提出可扩展全图GNN训练系统HongTu，通过CPU数据卸载、去重通信和成本模型引导的图重组技术，在多GPU上支持十亿规模图训练，显著降低通信开销并实现大幅加速。
2023-11-25 cs.DC
A Performance Study of the 2D Ising Model on GPUs
二维伊辛模型的模拟被用作基准，以显示图形处理单元（GPU）的计算能力。GPU上现在提供的丰富编程环境和灵活的硬件功能使我们能够快速试验几种实现思路：一种简单的基于模板的算法，将模板操作重新转换为矩阵乘法，以利用NVIDIA GPU上提供的Tensor Core，以及高度优化的多自旋编码方法。使用CUDA中提供的托管内存API，可以在多GPU NVIDIA DGX-2服务器上简单高效地分发这些实现。我们表明，即使是一个基本的GPU实现可以优于目前的结果发表在TPU和优化的多GPU实现可以模拟非常大的晶格比自定义FPGA解决方案更快。
2019-06-14 cs.DC
Near Memory Acceleration on High Resolution Radio Astronomy Imaging
像平方公里阵列（SKA）这样的现代射电望远镜将需要实时处理艾字节的射电天文信号，以构建高分辨率的天空地图。近存储计算（NMC）可以缓解现有射电天文成像算法中由于频繁访问存储器而导致的性能瓶颈。在本文中，我们表明，一个子模块执行二维快速傅立叶变换（2D FFT）是内存限制使用CPI击穿分析IBM Power9。然后，我们在FPGA上提出了一种用于2D FFT的NMC方法，该方法的性能优于CPU高达120倍，并在使用更少的带宽和内存的同时执行与高端GPU的并行处理。
2020-05-04 cs.DC
Parallel Louvain Community Detection Optimized for GPUs
社区发现现在是许多基于图的应用中的重要操作。它用于揭示真实世界网络中存在的群体，而不会对社区集施加事先的大小或基数约束。尽管它的潜力，并行计算机的支持是相当有限的。其原因主要是算法的不规则性和潜在的算法暗示了顺序性。本文提出了一种基于GPU的并行版本的鲁汶方法。Louvain方法是一种用于模块化优化的多阶段迭代启发式方法。它最初是由Blondel等人（2008）开发的，该方法由于能够以快速和内存有效的方式检测高模块化社区分区而变得越来越受欢迎。所使用的并行算法首先由Hao Lu et al.（2015）引入。由于Louvain方法本质上是顺序的，它限制了可扩展使用的可能性。多亏了提出的并行算法，我观察到这种方法在GPU上的表现。为了进行评估，我在GeForce GTX 980 GPU上使用CUDA实现了虚拟化，为了进行测试，我使用了CERN开发的协作发现项目中的组织景观，该项目涉及专利和出版物，以可视化其合作者之间的技术联系。与在使用GPU的同一台机器上运行8个线程的并行Louvain实现相比，CUDA实现能够产生与CPU生成的结果相当的社区输出，同时使用GeForce GTX 980消费级GPU提供高达30的绝对加速比。
2018-05-28 cs.DC
GPU-optimized Approaches to Molecular Docking-based Virtual Screening in Drug Discovery: A Comparative Analysis
COVID-19显示了对流行病做出快速反应的重要性。发现一种新药是一个非常漫长和复杂的过程，并且可以通过使用计算机模拟来加速初步阶段。特别是，虚拟筛选是一个计算机模拟阶段，需要将大量可能的候选药物筛选到可管理的数量。本文介绍了实现和比较分析的两个GPU优化实现的虚拟筛选算法针对新的GPU架构。第一种方法采用传统的方法，将评估单个分子所需的计算分散到整个GPU中。第二种使用批处理方法，该方法利用GPU的并行架构并行评估更多分子，而不考虑处理单个分子的延迟。本文介绍了所提出的解决方案的优点和缺点，突出了影响性能的实施细节。实验结果突出了两种方法在NVIDIA A100 GPU上运行时在几个目标分子数据库上的不同性能。这两种实现方式对于要处理的数据具有很强的依赖性。对于这两种情况，性能都在提高，同时降低了目标分子的尺寸（原子和可旋转键的数量）。这两种方法显示了不同的行为，相对于要筛选的分子数据库的大小。虽然延迟时间更快（分子更少）达到吞吐量方面的性能平台，但批量处理需要更大的分子集。然而，在初始过渡期之后的性能要高得多（高达5倍加速）。最后，为了检查这两种实现的效率，我们使用指令屋顶线方法深入分析了它们的工作负载特性。
2022-09-12 cs.DC
Performance Tuning of a Parallel 3-D FFT Package OpenFFT
快速傅立叶变换（FFT）是科学和工程众多领域的基本核心。OpenFFT是一个用于3-D FFT的开源并行软件包，构建在通信最佳区域分解方法上，以实现最小的通信量。在本文中，我们分析和调整OpenFFT的性能，特别注意调整的通信占主导地位的大规模计算的运行时间。我们首先分析它在不同机器上的性能，以了解软件包和机器的行为。基于性能分析，我们开发了六种通信方法进行通信，目的是覆盖各种计算平台上的各种计算规模。然后，OpenFFT增强了通信的自动调整，以根据其性能在运行时间中选择最佳方法。数值结果表明，优化的OpenFFT是能够提供相对良好的性能相比，在不同的计算规模上的一些并行机上的其他国家的最先进的包。
2015-08-26 cs.DC cs.MS
Optimized Password Recovery for Encrypted RAR on GPUs
RAR使用经典的对称加密算法SHA-1哈希和AES算法进行加密，密码恢复的唯一方法是暴力破解，非常耗时。在本文中，我们提出了一种使用GPU来加快密码恢复过程的方法。但由于SHA-1哈希算法中计算量大、耗时长的部分很难并行化，因此本文采用粗粒度并行。也就是说，一个GPU线程负责验证一个密码。我们主要使用了三种优化方法来优化这个并行版本：CPU和GPU之间的异步并行、冗余计算和条件语句减少以及寄存器使用优化。实验结果表明，在AMD FirePro W8000 GPU上，该算法的最终版本比在Intel Core i5 CPU上优化的串行版本的性能提高了43~57倍。
2015-05-28 cs.CR cs.DC
GC3: An Optimizing Compiler for GPU Collective Communication
由数百万或数十亿个参数组成的机器学习模型在大型多GPU系统上进行训练和服务。随着模型规模的增长和在更多GPU上执行，这些应用程序中使用的集体通信成为瓶颈。针对特定网络拓扑和应用特定通信模式优化的自定义集合算法可以缓解此瓶颈并帮助这些应用扩展。然而，正确和有效地实现自定义算法是具有挑战性的。本文介绍了一个可编程GPU通信系统GC3。GC3提供了一种用于编写集体通信算法的领域特定语言和一个优化编译器，用于将它们降低到可执行形式，可以在基于解释器的运行时中高效灵活地执行。我们使用GC 3为AllReduce和AllToAll编写了新的集体算法，它们分别比手工优化的实现快$1.9\times$和$1.3\times$。
2022-07-19 cs.DC
OpSparse: a Highly Optimized Framework for Sparse General Matrix Multiplication on GPUs
稀疏广义矩阵乘法（SpGEMM）在许多实际应用中是一个重要而昂贵的计算原语。由于SpGEMM固有的不规则性及其输入矩阵的多样性，在现代处理器（如GPU）上开发高性能SpGEMM实现具有挑战性。最先进的SpGEMM库（即，$nsparse$和$spECK$）采用若干算法来解决全局负载平衡、局部负载平衡和结果矩阵的分配的挑战。虽然这些库专注于SpGEMM的高级算法设计，但它们忽略了几个低级别的特定于体系结构的优化，这导致其库中的实现效率低下。在本文中，我们将其低效的实现分为七类。基于我们的观察，我们提出了一个高度优化的SpGEMM库称为$OpSparse$。$OpSparse$中的优化包括1）通过提高共享存储器的利用率来优化装仓方法，2）通过减少对散列表的访问来优化散列方法，3）通过设置适当的装仓范围来提高散列方法中的散列冲突率和硬件利用率之间的折衷，4）通过最小化元数据的全局存储器使用来减少全局存储器利用的开销，以及5）通过将全局存储器分配与内核执行重叠来提高执行并行性。在Nvidia Tesla V100 GPU上使用26个常用矩阵进行的性能评估表明，$OpSparse$分别在三个最先进的库（$cuSPARSE$、$nsparse$和$spECK$）上实现了高达$27.8\times$、$1.81\times$和$2.04\times$的性能加速。
2022-06-15 cs.DC
PERKS: a Locality-Optimized Execution Model for Iterative Memory-bound GPU Applications
针对迭代型内存受限GPU应用，提出持久内核执行模型PERKS，将时间循环移入内核并利用寄存器/共享内存缓存减少访存，在2D/3D模板和共轭梯度求解器上分别获得最高2.12倍和4.86倍加速。
2023-05-12 cs.DC
Accelerating Direction-Optimized Breadth First Search on Hybrid Architectures
众所周知，大型无标度图很难有效地处理：倾斜的顶点度分布使得很难获得平衡分区。相反，我们的研究旨在通过划分工作负载以匹配混合GPU加速架构中各个计算元素的强度来将其转化为优势。作为概念证明，我们专注于方向优化的广度优先搜索算法。我们提出了大规模并发和良好的整体性能所需的关键图分区，工作负载分配和通信策略。我们表明，利用专业化可以在解决问题的时间方面获得高达2.4倍的收益，并通过将2个GPU添加到仅2个CPU的基线来实现2.0倍的能源效率，对于具有高达160亿条无向边的合成图以及大型现实世界的图。我们还表明，对于能量上限，添加GPU比添加CPU更有效。最后，我们的表现将使我们在Scale29图形的[Green]Graph500挑战中名列前茅。
2015-10-02 cs.DC
Performance report and optimized implementations of Weather & Climate dwarfs on multi-node systems
本文档是为ESCAPE项目创建的可交付成果报告之一。ESCAPE是Energy-efficient Scalable Algorithms for Weather Prediction at Exascale的缩写。该项目为欧洲业务数值天气预报和未来气候模型开发世界级的极端规模计算能力。这是通过识别天气和气候侏儒来完成的，这些侏儒是计算和通信方面的关键模式（本着伯克利侏儒的精神）。然后针对不同的硬件架构（单节点和多节点）优化这些侏儒，并探索替代算法。性能可移植性是通过使用领域特定的语言来解决的。在这里，我们总结了在侏儒优化方面所做的工作，重点是CPU多节点和多GPU。我们将自己限制在由财团选择的矮配置的子集上。侏儒节点内优化和特定于能量的优化已经在D3.3中描述。为了涵盖重要的算法主题，我们选择了与动力学核心以及柱物理相关的矮星。具体来说，我们专注于制定相关的频谱代码，如ECMWF的IFS代码。本报告的主要结论是：（a）与任务3.3中的优化版dwarfs相比，基于CPU的多节点系统的性能提升高达30%（参见D3.3），（b）通过优化在多个GPU上获得高达10倍的性能增益，以保持数据驻留在GPU上并实现快速的GPU间通信机制，以及（c）以具有NVLink/NVSwitch硬件的高带宽全对全互连拓扑为特征的多GPU系统特别适合于所述算法。
2019-08-16 cs.DC
Performance report and optimized implementation of Weather & Climate Dwarfs on GPU, MIC and Optalysys Optical Processor
本文档是为ESCAPE项目创建的可交付成果报告之一。ESCAPE是Energy-efficient Scalable Algorithms for Weather Prediction at Exascale的缩写。该项目为欧洲业务数值天气预报和未来气候模型开发世界级的极端规模计算能力。这是通过识别天气和气候侏儒来完成的，这些侏儒是计算和通信方面的关键模式（本着伯克利侏儒的精神）。然后针对不同的硬件架构（单节点和多节点）优化这些侏儒，并探索替代算法。性能可移植性是通过使用领域特定的语言来解决的。在这里，我们总结了在CPU、Xeon Phi、GPU和Optalysys光学处理器上对侏儒进行优化的工作。我们限制自己的一个子集的侏儒配置和问题的大小小到足以在一个节点上执行。此外，我们使用的时间解决方案作为主要的性能指标。侏儒的多节点优化和特定于能量的优化超出了本报告的范围，将在可扩展的D3.4中进行描述。为了涵盖重要的算法主题，我们选择了与动力学核心以及柱物理相关的矮星。具体来说，我们专注于制定相关的频谱代码，如ECMWF的IFS代码。该报告的主要发现是：（a）使用编译器指令在基于CPU的系统上加速1.1 - 2.5倍的矮星，（b）使用数据局部优化在GPU上加速矮星的数量级（光谱变换为23倍，MPDATA为9倍）和（c）以纯粹的光学方式证明光谱变换的可行性。
2019-08-16 cs.DC
Boosting Scientific Error-Bounded Lossy Compression through Optimized Synergistic Lossy-Lossless Orchestration
本文提出GPU科学误差有界有损压缩器cuSZ-Hi，通过优化插值预测与无损编码协同编排，在相同误差界限下实现最高249%的压缩比提升。
2025-09-01 cs.DC
Accelerating Multigrid-based Hierarchical Scientific Data Refactoring on GPUs
科学数据的快速增长以及计算速度和I/O带宽之间的差距越来越大，使得存储和共享科学模拟产生的所有数据变得越来越不可行。相反，我们需要减少数据量的方法：理想情况下，可以自适应地扩展数据量的方法，以便在不同情况下进行性能和保真度权衡的协商。基于多重网格的分层数据表示有望解决这个问题，允许不同分辨率之间的灵活转换，例如，数据可以以高保真度创建，然后通过逻辑简单和数学上合理的操作以较低的保真度传输或存储。然而，直到现在，创建、访问、减少和以其他方式操作这些表示的相对高的成本阻碍了这些表示的有效使用。我们在这里描述了用于GPU加速器的高度优化的数据重构内核，这些内核能够以基于多网格的分层形式有效地创建和操作数据。我们证明，我们的优化设计可以实现高达250 TB/s的聚合数据重构吞吐量-理论峰值的83%-在1024个节点的首脑会议超级计算机。我们展示了我们的优化设计，将其应用到一个大规模的科学可视化工作流程和MGARD有损压缩软件。
2021-02-27 cs.DC
Efficient hybrid topology optimization using GPU and homogenization based multigrid approach
我们提出了一种新的混合拓扑优化算法的基础上多重网格的方法，结合了CPU的并行化策略，使用OpenMP和现代图形处理单元（GPU）的多线程能力。除此之外，使用均匀化策略已经实现了在存储器需求方面的显著计算效率。该算法与MATLAB的通用计算平台相结合，方便用户使用和定制。使用优化的几何多重网格方法以及CUDA并行化，使计算时间比当前最先进的实现方式快一个数量级，已经解决了状态方程的检查重复解。多重网格算法中辅助矩阵的实时计算和插值算法中均匀化策略的修改消除了GPU的内存限制。GPU的存储层次结构也被用于进一步优化实现。所有这些使得涉及数亿个三维砖元件的结构的解能够在标准台式计算机或工作站中完成。通过设计相关载荷和多材料的算例验证了该算法的性能，结果表明该算法具有良好的性能和可扩展性。
2022-01-27 cs.DC
GraphCage: Cache Aware Graph Processing on GPUs
由于图算法的不规则性，有效的图处理是具有挑战性的。使用GPU来加速不规则图算法甚至更难高效，因为GPU的高度结构化的SIMT架构并不适合不规则应用。由于之前花费了大量精力将图形算法巧妙地映射到GPU上，GPU上的图形处理性能仍然受到内存延迟的限制，导致计算资源的利用率较低。由稀疏图数据结构生成的随机存储器访问是这种显著的存储器访问延迟的主要原因。简单地应用为矩阵计算提出的常规高速缓存分块技术由于GPU上的显著开销而具有有限的益处。我们提出了GraphCage，一个以缓存为中心的优化框架，用于在GPU上进行高效的图形处理。我们首先提出了一个面向吞吐量的缓存阻塞计划（TOCAB）在推和拉方向。与传统的高速缓存阻塞，遭受重复访问时，在GPU上处理大型图形，TOCAB是专门针对GPU架构优化，以减少这种开销，提高内存访问效率。为了将我们的方案集成到最先进的实现中，而不会产生显著的开销，我们通过考虑子图的稀疏性来协调TOCAB与负载均衡策略。为了使缓存阻塞的算法，我们考虑的好处和开销在不同的迭代与不同的工作集大小，并应用TOCAB拓扑驱动的内核在拉方向。评估表明，与手工优化的实现和最先进的框架（例如CuSha和Gunrock）相比，GraphCage可以将性能提高2 ~ 4倍，并且内存消耗比CuSha更少。
2019-04-03 cs.DC
Multi-GPU Acceleration of the iPIC3D Implicit Particle-in-Cell Code
iPIC3D是一个广泛使用的大规模并行Particle-in-Cell代码，用于模拟空间等离子体。但是，它目前的实现不支持在多个GPU上执行。本文描述了iPIC3D粒子移动器到GPU的移植以及在多个GPU上提高性能和并行扩展的优化步骤。我们分析了两个GPU集群上的移动器的强大的可伸缩性，并评估其性能和加速。优化的GPU版本使用固定内存和异步数据预取，在配备NVIDIA K80和V100 GPU的两种不同系统上的性能优于相应的CPU版本5 - 10倍。
2019-04-07 cs.DC
Scalable Multigrid-based Hierarchical Scientific Data Refactoring on GPUs
科学数据的快速增长以及计算速度和I/O带宽之间的差距越来越大，使得存储和共享科学模拟产生的所有数据变得越来越不可行。相反，我们需要减少数据量的方法：理想情况下，可以自适应地扩展数据量的方法，以便在不同情况下进行性能和保真度权衡的协商。基于多重网格的分层数据表示有望解决这个问题，允许不同分辨率之间的灵活转换，例如，数据可以以高保真度创建，然后通过逻辑简单和数学上合理的操作以较低的保真度传输或存储。然而，直到现在，创建、访问、减少和以其他方式操作这些表示的相对高的成本阻碍了这些表示的有效使用。我们在这里描述了用于GPU加速器的高度优化的数据重构内核，这些内核能够以基于多网格的分层形式有效地创建和操作数据。我们证明，我们的优化设计可以实现高达264 TB/s的聚合数据重构吞吐量-理论峰值的92%-在1024个节点的首脑会议超级计算机。我们展示了我们的优化设计，将其应用到一个大规模的科学可视化工作流程和MGARD有损压缩软件。
2021-05-26 cs.DC
SwarmIO: Towards 100 Million IOPS SSD Emulation for Next-generation GPU-centric Storage Systems
KAIST（韩国科学技术院）
本文提出SwarmIO，一种支持大规模并行GPU-centric存储的SSD仿真器，通过高效建模实现高达40 MIOPS的IOPS优化，比现有最佳方案快303.9倍，并通过向量搜索案例展示其性能提升。
2026-04-08 cs.AR cs.DC
Optimized Multivariate Polynomial Determinant on GPU
提出了一种在GPU上计算多元多项式矩阵行列式的优化算法。新算法在可控时间内对输入的多元多项式矩阵提供精确的行列式。我们的方法是基于模块化的方法，并分为快速傅立叶变换，凝聚方法和孙子剩余定理，每一个算法是在GPU上运行。实验结果表明，我们的并行方法具有显着的加速比Maple相比，允许内存开销和时间的远征在稳定的增量。在Maple平台上，我们还可以处理超过阈值的复杂矩阵，并在CPU上进行限制。此外，在过程中的计算可以恢复，而不会在任何时候失去准确性，无论中断。此外，我们提出了一个时间预测计算多项式行列式根据一些基本的矩阵属性，我们解决了一个公开的问题，有关谐波消除方程的基础上，我们的GPU实现。
2020-10-23 cs.DC cs.NA cs.SC
Locality Optimized Unstructured Mesh Algorithms on GPUs
基于非结构网格的数值算法，如有限体积和有限元算法，在许多科学和工程领域中形成了一类重要的应用。从这些应用程序中实现更高性能的关键困难是间接访问，这会导致并行化时的数据竞争。当前处理这种数据竞争的方法导致并行性降低和次优性能。特别是在现代众核架构（如GPU）上，增加核心/线程数量，减少数据移动和利用内存局部性对于获得良好的性能至关重要。在这项工作中，我们提出了新的本地化开发优化的非结构化网格算法在GPU上的有效执行。建立在一个两层的着色策略处理数据竞争，我们引入新的重新排序和分区技术，以进一步提高执行效率。然后将新的优化应用于几个成熟的非结构化网格应用程序，研究它们在NVIDIA最新的P100和V100 GPU上的性能。我们展示了显着的加速比（$1.1\text{--}1.75\times$）相比，国家的最先进的。一系列的性能指标进行基准测试，包括运行时，内存事务，实现带宽性能，GPU占用和数据重用因素，并用于理解和解释影响性能的关键因素。优化算法实现为一个开源的软件库，我们说明了它的使用，以提高现有的或新的非结构化网格应用程序的性能。
2019-07-27 cs.DC cs.MS
DBCSR: A Library for Dense Matrix Multiplications on Distributed GPU-Accelerated Systems
大多数，如果不是所有的现代科学模拟软件包利用矩阵代数运算。在线性代数的运算中，最重要的核心之一就是矩阵的乘法运算，无论是稠密矩阵还是稀疏矩阵。这样的内核的应用示例是在电子结构计算、机器学习、数据采掘、图形处理和数字信号处理中。有几个优化的库可以在分布式系统上实现高性能。其中只有少数针对分布式GPU加速系统。在大多数情况下，这些库由系统供应商针对其特定计算机系统提供和优化。在本文中，我们提出了DBCSR库（分布式块压缩稀疏行）的分布式密集矩阵矩阵乘法。尽管该库是专门为块稀疏矩阵-矩阵乘法设计的，但我们针对GPU加速系统上的密集情况进行了优化。我们表明，DBCSR优于由供应商优化的GPU版本的ScaLAPACK库提供的不同大小和形状的矩阵的乘法高达2.5倍（平均1.4倍）。
2019-10-10 cs.DC cs.MS
Flexible Multi-Dimensional FFTs for Plane Wave Density Functional Theory Codes
本文提出分布式框架FFTB，为平面波密度泛函理论等应用中球体批次数据上的多维FFT提供灵活实现，支持规则/非规则网格、批处理/非批处理变换及CPU/GPU平台，并在HP Cray EX上验证了执行时间与可扩展性提升。
2024-06-08 cs.DC cs.MS
Fast Convolutional Nets With fbfft: A GPU Performance Evaluation
Facebook AI Research（脸书人工智能研究院）
我们研究了卷积神经网络在当前一代NVIDIA图形处理器上的训练性能。我们介绍了两种新的快速傅里叶变换卷积实现：一种基于NVIDIA的cuFFT库，另一种基于Facebook编写的FFT实现fbfft，它为整个CNN提供了比cuFFT显著的加速（超过1.5倍）。这两种卷积实现都是开源的，并且对于许多常见的卷积层，比NVIDIA的cuDNN实现更快（对于某些合成内核配置，速度高达23.5倍）。我们讨论了卷积的不同性能机制，比较了直接时域卷积优于傅立叶频域卷积的区域。还提供了有关NVIDIA GPU硬件在fbfft实现中的算法应用的详细信息。
2015-04-10 cs.DC cs.LG cs.NE
DeepLearningKit - an GPU Optimized Deep Learning Framework for Apple's iOS, OS X and tvOS developed in Metal and Swift
DeepLearningKit（深度学习工具包）；Atbrox（Atbrox公司）
在本文中，我们介绍了DeepLearningKit -一个开源框架，支持使用iOS，OS X和tvOS的预训练深度学习模型（卷积神经网络）。DeepLearningKit是在Metal中开发的，以便有效地利用GPU和Swift与应用程序集成，例如iPhone/iPad上基于iOS的移动应用程序，基于tvOS的大屏幕应用程序或OS X桌面应用程序。我们的目标是支持使用由流行框架（如Caffe，Torch，TensorFlow，Theano，Pylearn，Deeplearning 4J和Mocha）训练的深度学习模型。考虑到训练深度学习模型所需的大量GPU资源和时间，我们建议使用类似App Store的模型来分发和下载预训练和可重用的深度学习模型。
2016-05-15 cs.DC cs.LG cs.NE
GPU Implementations for Midsize Integer Addition and Multiplication
本文提出在GPU上使用高级函数式语言实现中等规模整数加法和乘法的简洁方案，利用扫描和简单工作划分，FFT乘法在较大尺寸上优于经典方法，原型在超过32K比特时胜过CGBN库。
2024-05-23 cs.DC cs.MS cs.PL
RadiK: Scalable and Optimized GPU-Parallel Radix Top-K Selection
本文提出RadiK，一种可扩展且优化的GPU并行基数Top-K选择方法，通过新型优化框架和自适应缩放技术，支持更大的k值，相比现有技术实现高达4.8倍的加速。
2025-01-24 cs.DC cs.DS
Optimized thread-block arrangement in a GPU implementation of a linear solver for atmospheric chemistry mechanisms
本研究提出Block-cells方法优化GPU上大气化学线性求解器的线程块排列，实现35倍加速，并比40核CPU快50%。
2024-05-27 cs.AR cs.DC cs.PF
High performance Python for direct numerical simulations of turbulent flows
Navier-Stokes方程的直接数值模拟（DNS）是流体动力学中一个非常有价值的研究工具。尽管如此，仍然很少有公开的研究代码，由于隐含的大量数字运算，可用的代码通常是用低级语言编写的，如C/C++或Fortran。在本文中，我们描述了一个纯科学的Python伪谱DNS代码，它在数千个处理器和数十亿个未知数的情况下几乎与C++的性能相匹配。我们还描述了一个通过Cython优化的版本，该版本被发现与C++的速度相匹配。求解器是用Python从头开始编写的，包括网格、MPI域分解和时间积分器。求解器已经在KAUST超级计算实验室的Shaheen超级计算机上进行了验证和基准测试，我们能够很好地扩展到数千个核心。实现的一个非常重要的部分是网格分解（我们实现了板和铅笔分解）和3D并行快速傅立叶变换（FFT）。网格分解和FFT例程已在Python中使用串行FFT例程（NumPy，pyFFTW或任何其他串行FFT模块），NumPy数组操作以及MPI for Python（mpi 4py）处理的MPI通信来实现。我们展示了如何使用4行紧凑的Python代码在Python中执行3D并行FFT以进行平板网格分解，发现Shaheen上的并行性能略好于FFTW库提供的类似例程。对于铅笔网格分解，需要7行代码来执行变换。
2016-02-11 cs.DC cs.MS
Fast GPU 3D Diffeomorphic Image Registration
3D图像配准是医学图像分析中最基本和计算量最大的操作之一。在这里，我们提出了一个混合精度，高斯-牛顿-Krylov求解器的两个图像的双态配准。我们的工作将公开可用的CLAIRE库扩展到GPU架构。尽管图像配准很重要，但只有少数大变形同构配准软件包支持GPU。我们的贡献是新的算法，显着减少运行时间的两个主要计算内核CLAIRE：计算的衍生物和分散的数据插值。我们部署（i）高度优化的混合精度GPU内核用于评估分散数据插值，（ii）用优化的八阶有限差分替换基于快速傅立叶变换（FFT）的一阶导数，以及（iii）与最先进的CPU和GPU实现进行比较。作为一个亮点，我们证明了我们可以在不到6秒的时间内在一个NVIDIA Tesla V100上配准$256^3$临床图像。这相当于在当前版本的CLAIRE上加速超过20 $\times$，在现有GPU实现上加速超过30 $\times$。
2020-04-19 cs.DC eess.IV math.OC
FastPair: GPU-Optimized String Decoding
Spiral；University of Pisa（比萨大学）；CWI（荷兰数学与计算机科学研究中心）
FastPair是一种GPU解码器，通过优化字典解码中的查找重组和连续输出写入，在B300上实现比DE快2.4-4.2倍的解码速度，峰值达1.6 TB/s。
2026-09-15 cs.AR cs.DB cs.DC
Importance of Explicit Vectorization for CPU and GPU Software Performance
当前高性能计算的大部分焦点是多线程、多计算和图形处理单元（GPU）计算。然而，向量化和非并行优化技术，往往可以采用额外的，不经常讨论。在本文中，我们提出了一个分析的几个优化上完成的中央处理器（CPU）和GPU实现的一个特定的计算密集型大都市蒙特卡罗算法。显式向量化的CPU和等价的，显式内存合并，在GPU上被发现是至关重要的，以实现良好的性能，该算法在这两种环境中。完全优化的CPU版本实现了9倍到12倍的速度比原来的CPU版本，除了从多线程加速。这比完全优化的GPU版本快2倍。
2010-03-31 cs.DC cs.PF physics.comp-ph
At-Scale Sparse Deep Neural Network Inference with Efficient GPU Implementation
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；NVIDIA（英伟达）；IBM Research（IBM研究院）
本文介绍了2020年稀疏深度神经网络挑战赛推理模型的GPU性能优化和缩放结果。对网络质量的需求迅速增长，推动了许多神经网络的规模和内存需求，超出了可用加速器的能力。稀疏深度神经网络（SpDNN）已经显示出控制大型神经网络内存占用的前景。然而，在GPU上实现SpDNN操作还有改进的空间。这项工作提出了与ReLU函数融合的优化稀疏矩阵乘法内核。优化的内核重用来自共享存储器的输入特征图和来自寄存器的稀疏权重。对于多GPU并行性，我们的SpDNN实现复制权重并在GPU上静态划分特征图。挑战基准测试的结果表明，所提出的内核设计和多GPU并行化实现了高达每秒180 tera-edges的推理吞吐量。这些结果对于单个GPU来说最多快4.3倍，在满量程下比同一代NVIDIA V100 GPU的2019年稀疏深度神经网络图形挑战赛冠军快一个数量级。使用相同的实现，我们还显示NVIDIA A100上的单GPU吞吐量比V100快2.37 $\times$。
2020-09-02 cs.DC cs.LG
LeftoverLocals: Listening to LLM Responses Through Leaked GPU Local Memory
本研究披露了LeftoverLocals GPU内存漏洞，可在Apple、高通和AMD GPU上跨进程/容器恢复本地内存数据，实现对交互式LLM会话的监听，威胁GPU端LLM与ML应用的安全。
2024-01-29 cs.CR cs.DC
Stochastic Optimized Schwarz Methods for the Gravity Equations on Graphics Processing Unit
三维重力场模拟一般采用低阶、顺序或非大规模并行有限元。为了获得非均匀介质中更好的重力异常解，本文在多CPU/GPU混合机群上采用大规模并行高阶有限元求解重力测量问题。并行算法非常适合这种混合架构的设计。一个新的基于随机的优化程序优化Schwarz方法在这里提出，实现和调整到图形卡处理器单元。在一个真实的测试用例上进行的数值实验表明，该方法及其在大规模多CPU/GPU架构上的实现具有鲁棒性和高效性。
2021-12-07 cs.DC cs.NA math.NA
MoETuner: Optimized Mixture of Expert Serving with Balanced Expert Placement and Token Routing
Georgia Institute of Technology（佐治亚理工学院）
针对MoE模型分布式部署中令牌路由与专家激活不均衡、通信尾延迟等问题，提出MoETuner方案，通过ILP优化专家放置并利用层间令牌路由依赖，实现负载均衡与通信优化，单节点和多节点推理速度分别提升9.3%和17.5%。
2025-02-10 cs.DC cs.LG
High-Throughput Parallel Viterbi Decoder on GPU Tensor Cores
在GPU平台上实现Vitrerbi解码算法的研究工作很多，因为GPU平台提供了相当大的灵活性，除了良好的性能。最近，现代GPU架构中最近推出的Tensor核心提供了令人难以置信的计算能力。提出了一种基于Tensor核的Viterbi译码算法在现代GPU架构中的并行实现方法。所提出的并行算法进行了优化，以有效地利用张量核的计算能力。实验表明，相当大的吞吐量的改善与以前的作品相比。
2020-11-27 cs.DC eess.SP
GPU Optimization of Lattice Boltzmann Method with Local Ensemble Transform Kalman Filter
本文在NVIDIA A100 GPU上优化了LBM与LETKF耦合的集合数据同化，通过重叠计算、I/O和通信加速数据转置，并开发EigenG批量特征值分解，分别实现×3.80和×65.3的加速。
2023-08-07 cs.DC physics.comp-ph physics.flu-dyn
GPU-based Parallel Computation Support for Stan
本文详细介绍了一个可扩展的OpenCL框架，允许斯坦利用异构计算设备。它包括针对Cholesky分解、其导数、其他矩阵代数原语和一些常用的似然性的GPU优化例程，并计划在不久的将来增加更多内容。Stan用户现在可以受益于GPU提供的大幅加速，而无需更改现有的Stan代码。我们展示了我们的工作的实际效用与两个例子-逻辑回归和高斯过程回归。
2020-05-16 cs.DC cs.MS stat.CO
AI-Assisted GPU optimization of the Stochastic Variational Method for Few-Body Boson System
Center for Computational Sciences, University of Tsukuba（筑波大学计算科学中心）；Computing Research Center, High Energy Accelerator Research Organization (KEK)（高能加速器研究机构（KEK）计算研究中心）
针对少体玻色子系统，利用AI编码代理开发并优化了GPU并行SVM代码，引入久期方程法并批处理小矩阵，在GH200和MI300A上分别实现16.2倍和14.7倍加速，使6体及以上系统计算成为可能。
2026-10-05 cs.DC nucl-th physics.comp-ph
GPU Implementation and Optimization of a Flexible MAP Decoder for Synchronization Correction
在本文中，我们提出了一个优化的并行实现的灵活的MAP解码器的同步纠错码，支持非常广泛的代码大小和信道条件。在中档GPU上，我们展示了相同优化算法的CPU实现的解码加速比超过两个数量级，并且比我们早期的GPU实现多一个数量级。突出的挑战是在广泛的代码大小和通道条件以及不同的执行硬件上保持高并行化效率。我们确保这与一个动态的策略，在运行时选择并行执行参数。我们还提出了一个变种，权衡一些解码速度显着降低内存需求，没有损失的解码器的纠错性能。我们的实现增加的吞吐量和它的工作能力，更少的内存，使我们能够分析较大的代码和较差的信道条件，并使实际使用这些代码更可行。
2018-02-23 cs.DC cs.IT math.IT
FP8 is All You Need (Part 2): Full-FP64 3-D FFT on FP8-Generation Tensor CoresThe Integer-Epilogue Wall and the Minimal Hardware That Would Remove It
RIKEN Center for Computational Science (R-CCS)（日本计算科学研究所（R-CCS））
针对 Blackwell Ultra GPU FP64 吞吐量大幅下降的问题，提出 Ozaki-Bailey FFT，利用 FP8 张量核心和 Kulisch 定点完整算术，在软件层面实现全 FP64 精度的 3-D FFT，达到内存带宽极限。
2026-09-10 cs.AI cs.DC cs.MS
