首页/论文/1506.07933

arXiv 1506.079332015-06cs.DC

AccFFT：用于CPU和GPU体系结构上的分布式内存FFT的库

AccFFT: A library for distributed-memory FFT on CPU and GPU architectures

Amir Gholami, Judith Hill, Dhairya Malhotra, George Biros

备注：: Parallel FFT Library

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

摘要英文摘要相关论文

摘要：

我们提出了一个新的库并行分布式快速傅立叶变换（FFT）。FFT在科学和工程中的重要性以及高性能计算的进步需要进一步改进。AccFFT将支持CUDA的图形处理单元（GPU）的现有FFT库扩展到分布式内存集群。我们使用重叠的通信方法来减少PCIe从/到GPU的传输开销。我们目前的数值计算结果小牛平台在得克萨斯州高级计算中心（TACC）和泰坦系统在橡树岭国家实验室（ORNL）。我们将库扩展到Titan的4，096个K20 GPU。

英文摘要：

We present a new library for parallel distributed Fast Fourier Transforms (FFT). The importance of FFT in science and engineering and the advances in high performance computing necessitate further improvements. AccFFT extends existing FFT libraries for CUDA-enabled Graphics Processing Units (GPUs) to distributed memory clusters. We use overlapping communication method to reduce the overhead of PCIe transfers from/to GPU. We present numerical results on the Maverick platform at the Texas Advanced Computing Center (TACC) and on the Titan system at the Oak Ridge National Laboratory (ORNL). We present the scaling of the library up to 4,096 K20 GPUs of Titan.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

阅读原文

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

本文内容

摘要英文摘要相关论文

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

继续探索

相关论文

基于GPU的FFT内存优化并行实现方法

A GPU Based Memory Optimized Parallel Method For FFT Implementation

快速傅立叶变换（FFT）在数字信号处理、数字图像处理等领域有着非常重要的作用，但在实际应用中，FFT成为影响处理效率的一个因素，特别是在遥感领域，需要对大量的数据进行FFT处理。因此缩短FFT计算时间显得尤为重要。GPU（图形处理单元）已应用于许多常见领域，与CPU（中央处理单元）平台相比，其加速效果非常明显。本文提出了一种新的在GPU上并行执行FFT的方法。基于GPU存储系统和硬件处理流水线，改进了数据存储方式。根据数据的大小对数据进行合理的划分，充分利用GPU的特点。提出了基于共享内存和纹理内存的内存优化方法，减少了全局内存访问次数，提高了效率。结果表明，基于GPU的内存优化FFT实现不仅比CPU平台上的FFTW库提高了100%以上，而且比GPU平台上的CUFFT库提高了30%以上。

2017-07-23cs.DC

DaggerFFT：一种使用任务调度的Julia分布式FFT框架

DaggerFFT: A Distributed FFT Framework Using Task Scheduling in Julia

Northeastern University（东北大学）；Massachusetts Institute of Technology（麻省理工学院）

DaggerFFT是一种基于任务调度的Julia分布式FFT框架，通过动态调度提升CPU和GPU集群的FFT性能，实现高达2.6倍的加速。

2026-01-18cs.DC

FLUPS --一个灵活高效的大规模并行傅立叶变换库

FLUPS -- a flexible and performant massively parallel Fourier transform library

大规模并行傅立叶变换广泛应用于计算科学，特别是涉及无界泊松问题的计算流体动力学。在实践中，后者通常是最耗时的操作，因为其不可避免的所有对所有的通信模式。原始的flups库通过为无界泊松问题的连续解决方案量身定制的分布式傅立叶变换的实现来解决这个问题。然而，所提出的实现缺乏灵活性，因为它只支持以单元格为中心的数据布局，并具有一个普通的通信策略。这项工作沿着两个方向扩展了图书馆。首先，flups实现一般化，以支持以节点为中心的数据布局。其次，提供了三种不同的方法来处理通信：一种是所有对所有，两种是依赖于手动打包和MPI_Datatype通过网络进行通信的非阻塞实现。所提出的软件对无界，半无界和周期域的解析解进行了验证。的方法的性能进行比较，accFFT，另一个分布式FFT实现，使用周期性的情况下。最后，每个实现的性能指标进行了分析和详细的各种顶级欧洲设施高达49,152个核心。这项工作带来了一个完全生产就绪和高性能的分布式FFT库，具有所有可能类型的FFT和数据布局的灵活性。该代码可以在BSD-3许可证下在github.com/vortexlab-uclouvain/flups上获得。

2023-03-21cs.DCphysics.comp-ph

ZNNi -在多核CPU和GPU上最大化3D卷积网络的推理吞吐量

ZNNi - Maximizing the Inference Throughput of 3D Convolutional Networks on Multi-Core CPUs and GPUs

Massachusetts Institute of Technology（麻省理工学院）；Princeton University（普林斯顿大学）

滑动窗口卷积网络（ConvNets）已经成为解决诸如图像分割、目标检测和定位等计算机视觉问题的流行方法。在这里，我们考虑推理问题，即应用先前训练的ConvNet，重点是3D图像。我们的目标是最大限度地提高吞吐量，定义为每单位时间计算的输出体素的平均数量。在其他条件相同的情况下，处理较大的图像往往会增加吞吐量，因为在图像的边界上浪费的计算很少。因此，如果一个明显较慢的算法可以在可用RAM的约束范围内处理更大的图像，那么它最终可能具有更高的吞吐量。我们为卷积层和池化层引入了新颖的CPU和GPU原语，旨在最大限度地减少内存开销。基元包括基于高效修剪FFT的卷积。我们的理论分析和实证检验揭示了一些有趣的发现。对于某些ConvNet架构，cuDNN的性能优于我们基于FFT的GPU原语，而这些原语又可以优于我们的CPU原语。由于CPU可以快速访问更多的RAM，因此可以实现更高的吞吐量。GPU访问主机RAM的新原语可以显着提高GPU吞吐量。最后，CPU-GPU算法实现了所有算法中最大的吞吐量，是其他公开的滑动窗口3D ConvNets实现的10倍或更多。我们所有的代码都是开源项目。

2016-06-17cs.DCcs.LG

mLR：基于记忆化的可扩展断层扫描重建

mLR: Scalable Laminography Reconstruction based on Memoization

University of California, Merced（加利福尼亚大学默塞德分校）；Argonne National Laboratory (ANL)（阿贡国家实验室）

本文提出 mLR 方法，通过记忆化技术优化 ADMM-FFT 断层扫描重建，解决其计算耗时和内存消耗问题，实现 2Kx2Kx2K 规模问题的可扩展性，平均性能提升 52.8%。

2025-10-29cs.DCcs.PF

cuFINUFFT：用于通用非均匀FFT的负载平衡GPU库

cuFINUFFT: a load-balanced GPU library for general-purpose nonuniform FFTs

非均匀快速傅立叶变换在图像重建和信号处理等应用中占据着重要的位置。因此，我们提出了一个通用的基于GPU的CUDA库的类型1（非均匀到均匀）和类型2（均匀到非均匀）的转换在2维和3维，在单精度或双精度的。它通过缓存感知点重新排序和共享内存中的负载平衡块扩展，实现了给定用户要求的精度的高性能，而不管非均匀点的分布如何。在低精度下，这会使GPU上的吞吐量大约为每秒$10^9$非均匀点，并且（甚至包括主机-设备传输）通常比最新的并行CPU代码FINUFFT（在28个线程时）快4-10 $\times$。它与两个已建立的GPU代码具有竞争力，在高精度和/或类型1聚类点分布下最多快90 $\times$。最后，我们展示了5-12 $\times$加速比CPU在X射线衍射3D迭代重建任务在$10^{-12}$精度，观察优秀的多GPU弱缩放到一个等级每GPU。

2021-03-25cs.DCcs.MScs.NA

更多相关论文收起更多论文

高分辨率射电天文成像的近记忆加速

Near Memory Acceleration on High Resolution Radio Astronomy Imaging

像平方公里阵列（SKA）这样的现代射电望远镜将需要实时处理艾字节的射电天文信号，以构建高分辨率的天空地图。近存储计算（NMC）可以缓解现有射电天文成像算法中由于频繁访问存储器而导致的性能瓶颈。在本文中，我们表明，一个子模块执行二维快速傅立叶变换（2D FFT）是内存限制使用CPI击穿分析IBM Power9。然后，我们在FPGA上提出了一种用于2D FFT的NMC方法，该方法的性能优于CPU高达120倍，并在使用更少的带宽和内存的同时执行与高端GPU的并行处理。

2020-05-04cs.DC

探索 Tenstorrent Wormhole 上的快速傅里叶变换

Exploring Fast Fourier Transforms on the Tenstorrent Wormhole

本文探索将 Cooley-Tukey FFT 算法移植到 Tenstorrent Wormhole RISC-V 加速器，通过优化技术解决数据移动瓶颈，证明其在二维 FFT 中虽慢于服务器级 CPU，但功耗和能耗显著更低。

2025-06-18cs.DC

雷达处理应用中GPU上的高效FFT映射：建模与实现

Efficient FFT mapping on GPU for radar processing application: modeling and implementation

通用多处理器（在我们的例子中，英特尔IvyBridge和英特尔Haswell）越来越多地为以前的多核架构添加GPU计算能力。当用于具有密集信号处理要求的嵌入式应用（对我们来说，合成孔径雷达）时，它们必须不断计算卷积算法，例如著名的快速傅立叶变换。由于其“分形”性质（典型的蝴蝶形状，较大的FFT定义为较小FFT与辅助数据阵列转置函数的组合），人们可以希望分析计算可以在基本GPU计算块上本地执行的最大FFT的大小。然后，整个应用程序必须围绕这个给定的构建块大小进行组织。现在，由于CPU和GPU之间的各种内存级别之间的数据传输所涉及的现象，这种方案的最优性只能粗略预测（因为通信往往会及时克服计算的复杂性）。因此，这里需要（理论）分析方法和（实际）运行时验证的混合。正如我们将说明的，这发生在两个阶段，首先在决定给定的基本FFT块大小的级别，然后在完整的应用级别。

2015-05-29cs.DCcs.MScs.PF

基于SYCL的快速傅立叶变换库的性能测试

Benchmarking a Proof-of-Concept Performance Portable SYCL-based Fast Fourier Transformation Library

在本文中，我们提出了一个基于SYCL的FFT库的早期版本，能够在所有主要供应商的硬件上运行，包括AMD，ARM，Intel和NVIDIA的CPU和GPU。虽然是初步的，这项工作的目的是种子进一步发展的一组丰富的功能计算FFT。与现有的便携式FFT库相比，它的优势在于它是单源的，因此消除了由于大量使用预处理宏和自动生成的内核来针对不同架构而产生的复杂性。我们使用两个支持SYCL的编译器，Codeplay ComputeCpp和英特尔的开源LLVM项目，来评估我们基于SYCL的FFT在各种异构体系结构上的性能可移植性。我们的库目前的局限性是它支持单维FFT的长度和基2输入序列高达$2^{11}$。我们将我们的结果与高度优化的供应商特定FFT库进行了比较，并提供了详细的分析，以证明性能的合理水平，以及性能瓶颈的潜在来源。

2022-03-17cs.DCcs.MScs.PF

RISC-V 上的并行 FFTW：一项涵盖 OpenMP、MPI 和 HPX 的比较研究

Parallel FFTW on RISC-V: A Comparative Study including OpenMP, MPI, and HPX

本文在 64 核 RISC-V 与 x86-64 上对比 FFTW 的 MPI、OpenMP 并行扩展及 HPX-FFT 内存优化，揭示 8 倍性能差距与不同规划策略影响。

2025-06-10cs.DCcs.ET

基于ARMv8结构的有效相关卷积

Towards Effective Depthwise Convolutions on ARMv8 Architecture

依赖卷积广泛用于轻量级卷积神经网络（CNN）。依赖卷积的性能主要受内存访问的限制，而不是经典卷积的算术运算，因此直接算法通常比具有额外内存访问的间接算法（矩阵乘法，Winograd和FFT卷积）更有效。然而，ARMv8架构上现有的dependency卷积的直接实现具有不同张量的寄存器级重用之间的糟糕权衡，这通常导致次优性能。在本文中，我们提出了新的直接实现的dependency卷积通过隐式填充，寄存器平铺等，其包含前向传播、后向传播和权重梯度更新过程。与现有的实现相比，我们的新实现可以产生更少的通信开销之间的寄存器和缓存。在两个ARMv8 CPU上的实验结果表明，我们的实现可以提供平均4.88倍和16.4倍的性能分别比现有的直接在开源库和基于矩阵乘法的Pytorch，分别。

2022-06-24cs.DC

ZNN-一种在多核和众核共享内存机器上训练3D卷积网络的快速可扩展算法

ZNN - A Fast and Scalable Algorithm for Training 3D Convolutional Networks on Multi-Core and Many-Core Shared Memory Machines

Massachusetts Institute of Technology（麻省理工学院）；Princeton University（普林斯顿大学）

卷积网络（ConvNets）已经成为计算机视觉的一种流行方法。加速ConvNet训练是很重要的，这是计算成本很高的。我们提出了一种新的并行算法的基础上分解成一组任务，其中大部分是卷积或FFT。应用布伦特定理的任务依赖图意味着线性加速与处理器的数量是可实现的PRAM模型的并行计算，广泛的网络架构。为了在真正的共享内存机器上实现这样的性能，我们的算法计算收敛在网络的同一节点上的卷积，具有时间局部性，以减少缓存未命中，并通过几乎无等待的并发方法对收敛卷积输出进行求和，以减少在关键部分花费的时间。我们实现了一个公开的软件包称为ZNN的算法。多核CPU的基准测试表明，ZNN可以达到大约等于物理核数量的加速比。我们还表明，ZNN可以在多核CPU（Xeon Phi Knights Corner）上获得超过90倍的加速比。这些加速比是针对具有常用宽度的网络架构实现的。ZNN算法的任务并行性适合于CPU，而以前算法的SIMD并行性与GPU兼容。通过示例，我们表明ZNN可以比某些GPU实现更快或更慢，这取决于网络架构，内核大小以及输出补丁的密度和大小。由于通用CPU编程相对容易，ZNN的开发和维护成本可能更低。

2015-10-22cs.CVcs.DCcs.LG

大规模并行连续局部搜索用于GPU上的混合SAT求解

Massively Parallel Continuous Local Search for Hybrid SAT Solving on GPUs

National University of Singapore（新加坡国立大学）；Rice University（莱斯大学）

提出FastFourierSAT，一种基于FFT卷积并行计算初等对称多项式的GPU加速混合SAT求解器，梯度计算速度提升100倍以上，并在大规模实例上表现优异。

2023-08-29cs.AIcs.DCcs.IT