TopSort: A High-Performance Two-Phase Sorting Accelerator Optimized on HBM-based FPGAs
高带宽存储器（HBM）的出现为提高FPGA上的排序加速性能带来了新的机遇，而FPGA上的排序加速性能通常受到片外内存带宽的限制。然而，对于设计人员来说，充分利用这一巨大的带宽并非易事。首先，现有的分类器设计不能以可用的片外带宽的增加速率直接缩放，因为所需的片上资源使用以快得多的速率增长，并且将反过来限制分类性能。其次，设计人员需要深入了解HBM特性，以有效利用HBM带宽。为了应对这些挑战，我们提出了TopSort，这是一种针对HBM FPGA优化的新型两阶段排序解决方案。在第一阶段，16个合并树并行工作，以充分利用32个HBM通道。在第二阶段，TopSort重用第一阶段的逻辑，形成一个更宽的合并树，合并第一阶段的部分排序结果。TopSort还采用HBM特定的优化来减少资源开销并提高带宽利用率。TopSort可以使用所有32个HBM通道对多达4 GB的数据进行排序，整体排序性能为15.6 GB/s。TopSort比最先进的CPU和FPGA排序器快6.7倍和2.2倍。
2022-05-16 cs.AR cs.DC
Toki: Profiling HBM Performance on FPGA Systems with RISC-V Soft Cores and PCIe Host DMA Traffic
Politecnico di Milano（米兰理工大学）
Toki是首个开源软硬件框架，通过联合RISC-V软核工作负载与PCIe主机DMA流量，在AMD Alveo U55C上剖析HBM性能，揭示计算核心组织、访问模式及争用对性能的影响。
2026-09-23 cs.AR
ReGraph: Scaling Graph Processing on HBM-enabled FPGAs with Heterogeneous Pipelines
使用FPGA进行高效的图形处理已经引起了极大的兴趣。最近的内存子系统升级，包括在FPGA中引入HBM，有望进一步缓解内存瓶颈。然而，现代多通道HBM需要更多的处理管道来充分利用其带宽潜力。现有的设计不能很好地扩展，导致HBM设备的利用率不足，即使所有其他资源都被完全消耗。在本文中，我们重新检查了图形处理工作负载，发现处理中存在很大的差异。我们还发现，不同的工作负载可以很容易地分为两种类型，即密集和稀疏分区。这促使我们提出一个资源高效的异构流水线架构。我们的异构体系结构包括两种类型的管道：小管道处理密集分区与良好的局部性和大管道处理稀疏分区与极差的局部性。与传统的单片流水线设计不同，异构流水线是针对更特定的存储器访问模式定制的，因此更轻量级，允许架构以有限的资源更有效地扩展。此外，我们提出了一个模型指导的任务调度方法，调度分区到正确的管道类型，生成最有效的管道组合和平衡工作负载。此外，我们开发了一个自动化的开源框架，称为ReGraph，它可以自动化整个开发过程。ReGraph在性能方面超过最先进的FPGA加速器高达5.9倍，在资源效率方面超过12倍。
2022-03-05 cs.AR
High Bandwidth Memory on FPGAs: A Data Analytics Perspective
由于现代工作负载的需求和随之而来的硬件专业化的必要性，基于FPGA的数据处理在数据中心越来越受欢迎。在这一趋势的推动下，供应商正在快速调整可重新配置的设备，以适应数据和计算密集型工作负载。在FPGA器件中包含高带宽存储器（HBM）是最近的一个例子。HBM承诺克服基于FPGA的加速器由于其面向吞吐量的设计而经常面临的带宽瓶颈。在本文中，我们从数据分析的角度研究了HBM在FPGA上的使用和优势。我们考虑了三种经常在面向分析的数据库中执行的工作负载，并在FPGA上实现它们，以显示它们在哪些情况下受益于HBM：范围选择，哈希连接和线性模型训练的随机梯度下降。我们将我们的设计集成到一个列式数据库（MonetDB），并显示从数据移动和分区相关的集成所产生的权衡。在某些情况下，基于FPGA+HBM的解决方案能够超过2插槽POWER9系统或14核XeonE5提供的最高性能，高达1.8倍（选择），12.9倍（加入）和3.2倍（SGD）。
2020-04-02 cs.AR cs.DC
SUSpMV: A High Frequency Sparse Matrix Vector Multiplier on HBM Enabled FPGA written in SUS
University Paderborn（帕德博恩大学）；TU Darmstadt（达姆施塔特工业大学）
SUSpMV利用SUS语言特性设计深度流水线，在Alveo U280 FPGA上实现高性能SpMV加速，峰值吞吐量达144.9 GFLOPs，较先前工作提升79%。
2026-10-08 cs.AR cs.DC
TAPA-CS: Enabling Scalable Accelerator Design on Distributed HBM-FPGAs
针对云级多FPGA加速器开发工具不足的问题，提出开源任务并行框架TAPA-CS，可自动分区编译大型设计、保障高频率高吞吐量，经多类工作负载验证具备良好扩展性，助力复杂FPGA加速器开发。
2024-02-02 cs.AR cs.DC
Efficient Message Passing Architecture for GCN Training on HBM-based FPGAs with Orthogonal Topology On-Chip Networks
University of Science and Technology of China（中国科学技术大学）
针对GCN训练的内存与通信瓶颈，提出基于NUMA和4维超立方体网络的消息传递架构，并重设计反向传播，性能较HP-GNN提升1.03至1.81倍。
2024-11-06 cs.AR cs.LG
Hardware Acceleration of HPC Computational Flow Dynamics using HBM-enabled FPGAs
科学计算是许多高性能计算应用的核心，包括计算流动力学。由于模拟越来越大的计算模型的极端重要性，硬件加速由于其最大化科学计算的性能的潜力而受到越来越多的关注。现场可编程门阵列是一种可重新配置的硬件加速器，其在其生命周期期间在应用的计算资源和存储器存储要求方面完全可定制。因此，它是加速科学计算应用的理想候选者，因为它可以完全定制存储层次结构，这在不规则应用中很重要，例如在科学库中找到的迭代线性求解器。在本文中，我们研究了在HPC中使用FPGA的潜力，因为在可重构硬件的快速进步，如片上存储器的大小增加，逻辑单元的数量增加，以及高带宽存储器的集成板上。为了进行这项研究，我们首先提出了一种新的ILU0预处理器紧密集成的BiCGStab求解器内核设计使用的混合物的高级合成和寄存器传输级手工编码的设计。其次，我们将开发的预处理迭代求解器集成到开放多孔介质（OPM）项目中，这是一个最先进的开源油藏模拟器。最后，我们在独立模式和集成到油藏模拟器中的FPGA求解器内核进行了全面评估，其中包括复杂模拟器软件（如OPM的Flow）中所需的所有片上URAM和BRAM、板载高带宽存储器和片外CPU存储器数据传输。我们对Norne油田的性能进行了评估，Norne油田是一个真实的油藏模型，使用的网格超过10^5个单元格，每个单元格使用3个未知数。
2021-01-05 cs.AR physics.comp-ph
Swift: A Multi-FPGA Framework for Scaling Up Accelerated Graph Analytics
本文提出多FPGA图加速框架Swift，采用基于GAS的解耦异步区间处理模型，最多支持8个FPGA并优化HBM、PCIe和片上资源利用，性能比ForeGraph高12.8倍，能效比GPU系统高2.6倍。
2024-11-21 cs.AR
H2PIPE: High throughput CNN Inference on FPGAs with High-Bandwidth Memory
University of Toronto（多伦多大学）；Microsoft（微软公司）；Vector Institute（向量研究所）
本研究针对大型CNN层流水线加速的高带宽需求，对HPIPE加速器扩展以结合HBM与片上存储，通过算法优化权重缓冲区布局与FIFO深度减少停顿，实现了显著的推理加速。
2024-08-17 cs.AR cs.LG
Solving Large Top-K Graph Eigenproblems with a Memory and Compute-optimized FPGA Design
稀疏矩阵上的大规模特征值计算是基于谱方法的图分析技术的关键组成部分。在这样的应用中，所有特征值和特征向量的穷举计算是不切实际和不必要的，因为谱方法可以仅使用与Top-K最大特征值相关联的特征向量来检索巨大图的相关属性。在这项工作中，我们提出了一个硬件优化的算法来近似的解决方案的Top-K特征问题的稀疏矩阵表示大型图形拓扑结构。我们的算法原型通过定制的FPGA硬件设计，利用HBM，Sysphon架构，和混合精度算法。与运行在80线程CPU上的高度优化的ARPACK库相比，我们实现了6.22倍的加速，同时保持了高精度和49倍的能效。
2021-03-18 cs.AR
Understanding Power Consumption and Reliability of High-Bandwidth Memory with Voltage Underscaling
现代计算设备采用高带宽存储器（HBM）来满足其内存带宽要求。支持HBM的设备由多个DRAM层组成，这些DRAM层在同一封装中的计算芯片（例如CPU，GPU和FPGA）旁边彼此堆叠。虽然这种HBM结构以小的形状因子提供高带宽，但是堆叠的存储器层消耗封装的功率预算的相当大的部分。因此，需要保持HBM性能的节能技术。欠压就是这样一种技术：它降低电源电压以降低功耗，而不降低器件的工作频率以避免性能损失。欠压利用制造商设置的电压保护带，以确保在所有环境条件下正确运行。然而，在不改变频率的情况下降低电压可能会导致可靠性问题，表现为不必要的位翻转。在本文中，我们提供了第一个实验研究的真正HBM芯片在降低电压的条件下。我们表明，我们的HBM芯片的保护带区域构成的标称电压的19%。在保护带范围内降低电源电压可将所有带宽利用率的功耗降低1.5倍。将电压进一步降低11%，以不必要的位翻转为代价，可节省总计2.3倍的功耗。我们探索和表征这些降低电压引起的位翻转的速率和类型，并提出了一个故障图，该故障图使电源，存储器容量和故障率之间的三个因素权衡的可能性。
2020-12-30 cs.AR
BOLT: Bandwidth-Optimized Lightning-Fast Oblivious Map powered by Secure HBM Accelerators
针对不经意映射高开销问题，提出基于HBM的BOLT加速器，实现O(1)+O(log log N)带宽开销，较最先进方案提速高达279倍和480倍。
2025-09-09 cs.AR cs.CR
Callipepla: Stream Centric Instruction Set and Mixed Precision for Accelerating Conjugate Gradient Solver
FPGA处理能力的持续增长加上高带宽存储器（HBM），使得像Xilinx U280这样的系统成为线性求解器的可靠平台，这些线性求解器通常主导着科学和工程应用的运行时间。在本文中，我们提出了Callipepla，一个加速器的预处理共轭梯度线性求解器（CG）。CG的FPGA加速面临三个挑战：（1）如何支持任意问题并动态终止加速处理，（2）如何协调处理模块之间的长向量数据流，以及（3）如何节省片外内存带宽并保持双倍（FP 64）精度准确度。为了解决这三个挑战，我们提出了（1）用于高效流处理和控制的以流为中心的指令集，（2）向量流重用（VSR）和分散式向量流调度，以协调模块之间的向量数据流，并通过双存储器通道设计进一步减少片外存储器访问，以及（3）混合精度方案，以节省带宽而仍然实现有效的双精度的质量解决方案。据我们所知，这是第一个工作，介绍了VSR的概念，片上模块之间的数据重用，以减少不必要的片外访问的FPGA加速器。我们在Xilinx U280 HBM FPGA上实现了加速器原型。我们的评估表明，与Xilinx HPC产品XcgSolver相比，Callipepla实现了3.94倍的加速比，3.36倍的吞吐量和2.94倍的能效。与内存带宽是Callipepla 4倍的NVIDIA A100 GPU相比，我们仍然实现了77%的吞吐量，能源效率提高了3.34倍。该代码可在https://gi…
2022-12-29 cs.AR cs.DC
Automatic Creation of High-Bandwidth Memory Architectures from Domain-Specific Languages: The Case of Computational Fluid Dynamics
数值模拟可以帮助解决复杂的问题。这些算法中的大多数都是大规模并行的，因此由于空间并行性，它们是FPGA加速的良好候选者。现代FPGA器件可以利用高带宽内存技术，但当应用程序是内存受限时，设计人员必须精心设计先进的通信和内存架构，以实现高效的数据移动和片上存储。这个开发过程需要硬件设计技能，这在特定领域的专家中是不常见的。在本文中，我们提出了一个自动化的工具流，从特定领域的语言（DSL）的张量表达式，以生成HBM配备FPGA的并行加速器。设计人员可以使用此流程来集成和评估各种编译器或硬件优化。我们使用计算流体动力学（CFD）作为一个典型的例子。我们的流程从张量操作的高级规范开始，并将基于MLIR的编译器与内部硬件生成流程相结合，以生成具有并行加速器和专用存储器架构的系统，该架构可以有效地移动数据，旨在充分利用可用的CPU-FPGA带宽。我们模拟了具有数百万个元素的应用程序，在针对Xilinx Alveo U280的情况下，使用一个计算单元和自定义精度实现了高达103 GFLOPS。我们的FPGA实现比专家精心设计的英特尔CPU实现节能高达25倍。
2022-11-08 cs.AR
EdgeLLM: A Highly Efficient CPU-FPGA Heterogeneous Edge Accelerator for Large Language Models
针对边缘设备部署大语言模型的计算、内存、算子多样性和编译难题，EdgeLLM采用混合精度脉动阵列与通用数据并行方案，在CPU-FPGA异构系统上实现1.91倍吞吐量和7.55倍能效提升。
2025-02-28 cs.AR
A Review of Memory Wall for Neuromorphic Computing
本文综述了FPGA神经形态计算中的各类内存技术，从多维度对比其优劣势并结合案例分析，为相关从业者选型优化提供参考，助力提升平台性能与能效、推动AI应用发展。
2025-02-24 cs.AR
