Evaluating Built-in ECC of FPGA on-chip Memories for the Mitigation of Undervolting Faults
Barcelona Supercomputing Center (BSC)（巴塞罗那超级计算中心）；IIIA - Artificial Intelligence Research Institute CSIC - Spanish National Research Council（西班牙国家研究委员会IIIA人工智能研究所）；Georgia Institute of Technology（佐治亚理工学院）；Twentieth Century Fox（二十世纪福克斯公司）；Starfleet Academy（星际舰队学院）
低于标称电平的电压欠缩放是用于提高数字电路中的能量效率的有效解决方案，例如，现场可编程门阵列（FPGA）。然而，在安全电压电平以下并且没有伴随频率缩放的进一步欠伏导致定时相关的故障，潜在地破坏能量节省。通过对商用FPGA的实验电压欠标度研究，我们观察到这些故障的发生率在片上存储器或块RAM（BRAM）中呈指数级增加。为了减轻这些故障，我们评估了内置的【形】纠错码（ECC）的效率，并观察到超过90%的故障是可纠正的，还有7%是可检测的（但不可纠正）。这种效率是这些故障的单比特类型的结果，然后通过内置的【形】ECC的单错误校正和双错误检测（SECDED）设计有效地覆盖这些故障。最后，受上述实验观察的启发，我们评估了基于FPGA的神经网络（NN）加速器在低电压操作下的性能，同时利用内置的【形】ECC来减轻欠转故障，从而防止NN显著的精度损失。因此，我们通过低于最小安全电压电平的欠电压实现了40%的BRAM省电，由于内置的【形】ECC的大量故障覆盖，NN精度损失可以忽略不计。
2019-03-29 cs.AR cs.LG
TsetlinWiSARD: On-Chip Training of Weightless Neural Networks using Tsetlin Automata on FPGAs
Institute for Clarity in Documentation（清晰文档研究所）；Inria Paris-Rocquencourt（巴黎-罗克琴库特研究所）；Rajiv Gandhi University（拉吉夫·甘地大学）；Tsinghua University（清华大学）；Palmer Research Laboratories（帕勒实验室）
本文提出TsetlinWiSARD，利用Tsetlin自动机实现重量神经网络的概率反馈学习，提升芯片级训练效率，实现1000倍加速和资源消耗降低。
2026-03-25 cs.AR cs.LG
FPGA-based Multi-Chip Module for High-Performance Computing
当前的集成、架构设计和制造技术不适合Exascale计算所要求的计算密度和功率效率。因此，需要硬件架构的新方法来克服阻止过渡到Exascale时代的技术障碍。在这个范围内，我们报告成功制造的第一ExaNoDe的MCM原型专用于Exascale计算应用。每个MCM由2个Xilinx Zynq Ultrascale+ MPSoC组成，装配在专为该项目设计和制造的先进68.5 mm x 55 mm层压基板上。声学显微镜、X射线、横截面和Thermo-Moire调查显示没有空隙、短路、分层、裂纹或翘曲问题。为了测试目的，FORTH将两个MCM安装在子板上。通过在1866 MHz和2133 MHz的时钟频率下运行广泛的Xilinx内存测试，子板的4个SODI插槽上的DDR内存成功通过测试。所有4个FPGA都使用Xilinx集成误码率测试（IBERT）进行编程，该测试专为该电路板的链路测试而设计。所有FPGA之间的所有板内高速链路都稳定在10 Gbps，即使在要求更高的31位PRBS（伪随机二进制序列）测试下也是如此。
2019-06-26 cs.AR cs.PF
Layer-specific Optimization for Mixed Data Flow with Mixed Precision in FPGA Design for CNN-based Object Detectors
卷积神经网络（CNN）需要密集的计算和频繁的存储器访问，这导致了低的处理速度和大的功耗。虽然CNN中不同层的特性通常非常不同，但是先前的硬件设计已经为它们采用了共同的优化方案。本文提出了一种层特定的设计，采用不同的组织，优化不同的层。所提出的设计采用了两个特定于层的优化：特定于层的混合数据流和特定于层的混合精度。混合数据流旨在最小化片外访问，同时要求FPGA器件的最小片上存储器（BRAM）资源。混合精度量化是为了实现无损精度和积极的模型压缩，从而进一步减少芯片外访问。贝叶斯优化方法用于为每个层选择最佳稀疏度，从而在精度和压缩之间实现最佳权衡。这种混合方案允许将整个网络模型存储在FPGA的BRAM中，以积极减少片外访问，从而实现显著的性能增强。与全精度网络相比，模型大小减少了22.66-28.93倍，VOC，COCO和ImageNet数据集的准确性下降可以忽略不计。此外，混合低功耗和混合精度的组合显着优于以前的作品在吞吐量，片外访问，和片内存储器的要求。
2020-09-03 cs.AR cs.CV cs.DC
A High-Throughput FPGA Accelerator for Lightweight CNNs With Balanced Dataflow
针对现有轻量级CNN FPGA加速器内存开销高、计算效率低的问题，提出多CE平衡数据流加速器，通过混合CE流式架构、平衡数据流及资源感知分配方法，在Xilinx ZC706平台实现了领先的性能与MAC效率。
2024-12-16 cs.AR
A Benchmarking Platform for DDR4 Memory Performance in Data-Center-Class FPGAs
本文提出一种新颖的基准测试平台，通过运行时定义复杂访问模式和灵活实例化支持多通道与多速率，有效评估数据中心级FPGA中的DDR4内存性能。
2025-07-01 cs.AR
VQ4SNN: Vector Quantization for Memory-Efficient FPGA Spiking Neural Networks
Integrated Circuits Lab, Electrical and Computer Engineering, Democritus University of Thrace (DUTH), Greece（德米特里乌斯特拉基亚大学集成电路实验室，电气与计算机工程，特拉基亚大学（DUTH），希腊）
提出VQ4SNN，通过向量量化权重共享减少FPGA上脉冲神经网络的片上内存需求，实现52-61%的BRAM减少而不增加逻辑资源。
2026-06-23 cs.AI cs.AR cs.NE
ShortcutFusion: From Tensorflow to FPGA-based accelerator with reuse-aware memory allocation for shortcut data
残差块是最近最先进的CNN（如EfficientNet或EfficientDet）中非常常见的组件。在ResNet 152中，XML数据占特征地图访问的近40%[8]。以前的DNN编译器、加速器大多忽略了快捷方式的数据优化。本文介绍了ShortcutFusion，基于FPGA的加速器的优化工具，具有重用意识的静态内存分配的快捷数据，最大限度地提高片上数据重用给定的资源约束。从TensorFlow DNN模型中，所提出的设计为一组节点生成指令集，这些节点为每个残留块使用优化的数据重用。在Xilinx KCU 1500 FPGA卡上实现的加速器设计比NVIDIA RTX 2080 Ti快2.8倍，能效高9.9倍，输入尺寸为256 x256。.与基线的结果相比，在基线中，权重、输入和输出每层都从片外存储器访问一次，ShortcutFusion将RetinaNet、Yolov 3、ResNet 152和EfficientNet的DRAM访问减少了47.8-84.8%。考虑到与ShortcutMining [8]类似的缓冲区大小，它也在硬件中挖掘快捷方式数据，所提出的工作将特征映射的片外访问减少了5.27倍，同时从片外存储器访问权重仅一次。
2022-02-13 cs.AR cs.DC
HyNoC: A Hybrid Circuit-Switch/Wormhole Network-on-Chip for Distributed VLIW Computing on FPGA
研究针对FPGA上基于VLIW处理器核心的分布式计算系统，提出HyNoC架构，结合电路交换路径建立与虫洞数据传输，采用源路由，介绍其设计原理等，通过Verilator协同仿真展示优势，RTL实现开源。
2026-07-07 cs.AR cs.DC
Field-Programmable Gate Array Architecture for Deep Learning: Survey & Future Directions
本文综述了FPGA架构在深度学习中的应用与改进，探讨了其在加速深度学习推理中的优势及未来发展方向。
2024-04-15 cs.AR
Benchmarking High Bandwidth Memory on FPGAs
FPGA开始使用高带宽存储器（HBM）进行增强，以减少某些应用中遇到的内存带宽瓶颈，并为FPGA提供更多处理应用状态的能力。然而，HBM的性能特性仍然没有得到很好的说明，特别是在FPGA的背景下。在本文中，我们通过在最先进的FPGA上对HBM进行基准测试，弥合了标称规格和实际性能之间的差距，Xilinx Alveo U280采用双堆栈HBM子系统。为此，我们提出了Shuhai，一个基准测试工具，使我们能够在FPGA上揭开HBM所有底层细节的神秘面纱。基于FPGA的基准测试也应该比在CPU/GPU上提供更准确的HBM图片，因为CPU/GPU由于其复杂的控制逻辑和缓存层次结构而成为噪音更大的系统。由于存储器本身很复杂，利用定制硬件逻辑在FPGA内部进行基准测试可以提供更多细节以及准确和确定性的测量。我们观察到1）HBM能够提供高达425 GB/s的内存带宽，2）HBM的使用方式对性能有很大的影响，这反过来又证明了揭示HBM的性能特征以选择最佳方法的重要性。作为衡量标准，我们还将Shuhai应用于DDR4，以显示HBM和DDR4之间的差异。Shuhai可以很容易地推广到其他FPGA板或其他代存储器，例如，HBM 3和DDR3。我们将使蜀海开源，造福社会
2020-05-09 cs.AR
TopSort: A High-Performance Two-Phase Sorting Accelerator Optimized on HBM-based FPGAs
高带宽存储器（HBM）的出现为提高FPGA上的排序加速性能带来了新的机遇，而FPGA上的排序加速性能通常受到片外内存带宽的限制。然而，对于设计人员来说，充分利用这一巨大的带宽并非易事。首先，现有的分类器设计不能以可用的片外带宽的增加速率直接缩放，因为所需的片上资源使用以快得多的速率增长，并且将反过来限制分类性能。其次，设计人员需要深入了解HBM特性，以有效利用HBM带宽。为了应对这些挑战，我们提出了TopSort，这是一种针对HBM FPGA优化的新型两阶段排序解决方案。在第一阶段，16个合并树并行工作，以充分利用32个HBM通道。在第二阶段，TopSort重用第一阶段的逻辑，形成一个更宽的合并树，合并第一阶段的部分排序结果。TopSort还采用HBM特定的优化来减少资源开销并提高带宽利用率。TopSort可以使用所有32个HBM通道对多达4 GB的数据进行排序，整体排序性能为15.6 GB/s。TopSort比最先进的CPU和FPGA排序器快6.7倍和2.2倍。
2022-05-16 cs.AR cs.DC
The Memory Controller Wall: Benchmarking the Intel FPGA SDK for OpenCL Memory Interface
凭借其高能效和高级综合（HLS）的最新进展，FPGA正在迅速进入HPC和云系统。到目前为止，已经做了大量的工作，对不同的应用程序在FPGA上使用HLS的循环和面积优化。然而，在文献中缺少对FPGA的存储器控制器的行为和效率的全面分析，当考虑到现代FPGA与其GPU对应物相比有限的内存带宽时，这变得更加关键。在这项工作中，我们将分析英特尔FPGA SDK为OpenCL生成的内存接口，这些接口具有不同的输入/输出阵列配置、向量大小、交错、内核编程模型、片上通道、工作频率、填充和多种类型的重叠阻塞。我们的研究结果指出了英特尔FPGA的内存控制器中的多个缺点，特别是在内存访问对齐方面，这可能会阻碍程序员在设计中最大限度地提高内存性能的能力。对于其中的某些情况，我们将提供解决方案来提高内存带宽效率;但是，一般解决方案需要对内存控制器本身进行重大更改。
2020-02-14 cs.AR cs.DC
Block Convolution: Towards Memory-Efficient Inference of Large-Scale CNNs on FPGA
深度卷积神经网络近年来取得了令人瞩目的进展。然而，在推理过程中产生的大量中间结果对资源受限的FPGA的加速器设计构成了重大挑战。由于有限的片上存储，中间层的部分结果频繁地在片上存储器和片外DRAM之间来回传输，导致延迟和能耗的不可忽略的增加。在本文中，我们提出了块卷积，一个硬件友好，简单，但有效的卷积操作，可以完全避免在运行时的中间特征图的片外传输。块卷积的基本思想是在使用空间分片时消除特征图块在空间维度上的依赖性，这是通过将特征图分成独立块来实现的，以便可以对各个块单独执行卷积。我们进行了广泛的实验，以证明所提出的块卷积的算法侧和硬件侧的功效。具体来说，我们评估了1）VGG-16，ResNet-18，ResNet-50和MobileNet-V1用于ImageNet分类任务的块卷积; 2）SSD，COCO目标检测任务的FPN，以及3）Set5单图像超分辨率任务的VDSR。实验结果表明，块卷积可以实现相当或更高的精度。我们还展示了两个CNN加速器通过算法/硬件协同设计的基础上块卷积的内存有限的FPGA，和评估表明，这两个加速器大大优于基线没有片外传输的中间特征映射。
2021-05-19 cs.AR cs.DC
Unified Characterization Platform for Emerging NVM Technology: Neural Network Application Benchmarking Using off-the-shelf NVM Chips
在本文中，我们提出了一个统一的基于FPGA的电气测试台，用于表征不同的新兴非易失性存储器（NVM）芯片。特别是，我们提出了详细的电气特性和基准测试的多个市售，现成的，NVM芯片，即：MRAM、FeRAM、CBRAM和ReRAM。我们调查重要的NVM参数，如：（i）电流消耗模式，（ii）耐久性，和（iii）错误特性。提出的基于FPGA的测试平台，然后利用概念验证（Proof-of-Concept，缩写）神经网络（NN）图像分类应用。四种新兴的NVM芯片在推理模式下作为主动权重存储器，以标准SRAM和闪存技术为基准，用于AI应用。
2020-06-10 cs.AR cs.ET
CNN-MERP: An FPGA-Based Memory-Efficient Reconfigurable Processor for Forward and Backward Propagation of Convolutional Neural Networks
Graduate School of Information, Production and Systems, Waseda University（早稻田大学信息生产系统研究生院）
大规模深度卷积神经网络（CNN）广泛用于机器学习应用中。虽然CNN涉及巨大的复杂性，但提供高密度计算资源集成的VLSI（ASIC和FPGA）芯片被认为是CNN实现的有前途的平台。然而，在计算单元的大规模并行性下，受超大规模集成电路芯片引脚数限制的外部内存带宽成为系统瓶颈。此外，VLSI解决方案通常被认为缺乏针对CNN的各种参数进行重新配置的灵活性。本文提出CNN-MERP来解决这些问题。CNN-MERP采用了高效的存储层次结构，可显著降低片上/片外数据分配、数据流优化和数据重用等多重优化对带宽的要求。提出的2级可重构性是用来使快速和有效的重新配置，这是基于控制逻辑和多引导功能的FPGA。结果，实现了1.94MB/GFlop的外部内存带宽要求，这比现有技术低55%。在有限的DRAM带宽下，Vertex UltraScale平台实现了1244 GFlop/s的系统吞吐量，比最先进的FPGA实现高5.48倍。
2017-03-22 cs.AR cs.LG
ANDROMEDA: An FPGA Based RISC-V MPSoC Exploration Framework
随着消费电子产品需求的不断增长，计算需求呈指数级增长。由于应用程序的计算需求，计算机架构师正试图在单个管芯上封装尽可能多的核以加速应用程序代码的执行。在多处理器片上系统（MPSoC）中，在内核数量、存储器子系统和片上网络参数之间取得平衡对于获得期望的性能是至关重要的。在本文中，我们提出了ANDROMEDA，一个基于RISC-V的框架，使我们能够探索MPSoC的不同配置，并观察性能的损失和收益。我们在Synopsys HAPS-80 D Dual FPGA平台上仿真了MPSoC的各种配置。使用STREAM，矩阵乘法和N体模拟作为基准，我们证明了我们的框架的有效性，快速确定正确的参数，有效地执行这些基准。
2021-01-14 cs.AR
FAME: FPGA Acceleration of Secure Matrix Multiplication with Homomorphic Encryption
University of Southern California（南加州大学）；DEVCOM Army Research Office（美军研发部陆军研究办公室）
FAME是一种基于FPGA的同态加密矩阵乘法加速器，通过优化内存使用和数据重用，实现高效的HE MM加速，达到221倍的加速效果。
2025-12-17 cs.AR cs.CR
An Irredundant and Compressed Data Layout to Optimize Bandwidth Utilization of FPGA Accelerators
针对 FPGA 加速器处理多维数据集时的内存带宽瓶颈，本文提出基于编译器的连续数据布局，并结合数据打包与运行时压缩，将 I/O 周期最多降低 7 倍。
2024-01-22 cs.AR
On-FPGA Training with Ultra Memory Reduction: A Low-Precision Tensor Method
已经开发了各种硬件加速器，用于边缘设备上神经网络的节能和实时推理。然而，大多数训练是在高性能GPU或服务器上完成的，巨大的内存和计算成本阻止了在边缘设备上训练神经网络。本文提出了一种新的基于张量的训练框架，该框架在训练过程中提供了数量级的内存减少。提出了一种新的秩自适应张量化神经网络模型，并设计了一种硬件友好的低精度算法来训练该模型。我们提出了一个FPGA加速器，以证明这种训练方法在边缘设备上的好处。我们的初步FPGA实现实现$59\times$加速和$123\times$能源减少相比，嵌入式CPU，和$292\times$内存减少了标准的全尺寸训练。
2021-04-19 cs.AR
Optimizing Memory Performance of Xilinx FPGAs under Vitis
基于FPGA的加速技术因其低延迟和高能效而受到广泛关注。然而，使用原始的低级硬件描述语言（如Verilog）来编程FPGA通常需要对硬件设计细节和动手经验有很好的了解。幸运的是，FPGA社区打算解决这种低可编程性问题。例如，FPGA编程与GPU编程一样简单。尽管Vitis被证明可以提高可编程性，但如果没有对硬件流水线和存储子系统的精心设计，我们无法直接获得高性能。本文将重点放在存储子系统上，全面系统地测试优化方法对存储性能的影响。通过基准测试，我们定量分析了广泛应用程序（包括AI，HPC和数据库）的典型内存访问模式。此外，我们还提供了相应的优化方向，为每一个内存访问模式，以提高整体性能。
2020-10-18 cs.AR cs.DC
TerEffic: Highly Efficient Ternary LLM Inference on FPGA
提出基于FPGA的三元量化LLM推理架构TerEffic，通过全片上和HBM辅助两种配置，在370M和2.7B模型上分别实现比Jetson Orin Nano高192倍和比A100高3倍的吞吐量，显著提升边缘部署的能效。
2025-05-01 cs.AR
Adaptive FPGA NoC-based Architecture for Multispectral Image Correlation
基于片上网络（Network-on-Chip，NoC）方法的自适应FPGA结构被用于多光谱图像相关。该架构必须包含几个距离算法，这取决于光谱图像的特性和认证的精度。对距离算法的分析是基于算法的复杂度、结果精度、执行时间和实现的适应性。本文在一个光谱数据库上对这些距离计算算法进行了比较。讨论了RGB算法的实现结果。
2009-01-26 cs.AR
DRAM Bender: An Extensible and Versatile FPGA-based Infrastructure to Easily Test State-of-the-art DRAM Chips
本文提出基于 FPGA 的开源基础设施 DRAM Bender，通过底层命令控制、易用 C++/Python 接口和模块化扩展支持现代 DRAM 实验，并在五类 FPGA 及 RowHammer 案例中验证其有效性。
2025-10-20 cs.AR cs.CR
CoMeFa: Compute-in-Memory Blocks for FPGAs
块RAM（BRAM）是FPGA的存储库，为使用逻辑块（LB）和数字信号处理（DSP）片实现的计算单元提供广泛的片上内存带宽。我们建议修改BRAM，将其转换为CoMeFa（FPGA内存计算块）RAM。这些RAM通过将计算和存储能力结合在一个块中来提供高度并行的内存计算。CoMeFa RAM利用FPGA BRAM的真正双端口特性，并包含多个可编程单比特位串行处理元件。CoMeFa RAM可用于任何精度的计算，这对于深度学习等不断发展的应用程序至关重要。将CoMeFa RAM添加到FPGA显著提高了其计算密度。我们探索并提出了这些RAM的两种架构：CoMeFa-D（优化延迟）和CoMeFa-A（优化面积）。与现有提案相比，CoMeFa RAM不需要改变底层SRAM技术，例如同时激活同一端口上的多行，并且易于实现。CoMeFa RAM是一种多功能块，可在众多不同的并行应用中找到应用，如深度学习、信号处理、数据库等。通过使用CoMeFa-D增强Intel Arria-10类FPGA，（CoMeFa-A）RAM，成本为3.8%（1.2%）的面积，并与算法的改进和有效的映射，我们观察到2.5倍的几何加速（1.8x），在几个代表性基准上。在FPGA中用CoMeFa RAM取代所有或部分BRAM可以使它们成为现代计算密集型工作负载的更好加速器。
2022-03-23 cs.AR
Efficient Message Passing Architecture for GCN Training on HBM-based FPGAs with Orthogonal Topology On-Chip Networks
University of Science and Technology of China（中国科学技术大学）
针对GCN训练的内存与通信瓶颈，提出基于NUMA和4维超立方体网络的消息传递架构，并重设计反向传播，性能较HP-GNN提升1.03至1.81倍。
2024-11-06 cs.AR cs.LG
FPGA-Based Near-Memory Acceleration of Modern Data-Intensive Applications
现代数据密集型应用需要高计算能力和严格的功耗限制。不幸的是，由于计算单元和存储器单元之间的昂贵的数据移动，这样的应用遭受当前计算系统中的执行周期和能量的显著浪费。基因组分析和天气预报是这类应用的两个例子。最近的FPGA将可重配置结构与高带宽存储器（HBM）相结合，以实现更高效的数据移动，并提高整体性能和能效。这种趋势是向近内存计算的范式转变的一个例子。我们利用这样一个FPGA与高带宽存储器（HBM），以改善基因组分析和代表性的内核从天气预测模型的预对齐过滤步骤。我们的评估表明，在高端IBM POWER9系统和传统的FPGA板与DDR4内存的大加速和节能。我们的结论是，基于FPGA的近内存计算有可能减轻现代数据密集型应用程序的数据移动瓶颈。
2021-07-03 cs.AR cs.DC
Increasing FPGA Accelerators Memory Bandwidth with a Burst-Friendly Memory Layout
将计算密集型内核卸载到硬件加速器依赖于这些平台提供的高度并行性。然而，存储器接口的有效带宽往往会造成瓶颈，阻碍加速器的有效性能。支持数据重用的技术（如平铺）降低了内存流量的压力，但仍然经常使加速器I/O受限。如果数据在内存中是连续的，则通过使用突发而不是逐元素访问，可以进一步增加有效带宽。在本文中，我们提出了一种内存分配技术，并提供了一个概念验证的源到源编译器通过，通过修改外部存储器中的数据布局，使这种突发传输。我们评估这种技术如何推高内存吞吐量，留出空间，利用额外的并行性，最小的逻辑开销。
2022-02-23 cs.AR
Dynamic Tsetlin Machine Accelerators for On-Chip Training at the Edge using FPGAs
IIT Jammu（贾姆穆印度理工学院）
本文提出一种基于 FPGA 的动态 Tsetlin Machine（DTM）训练加速器，通过逻辑推理和有限状态自动机替代 DNN，支持运行时动态重配置，在多变量传感器边缘任务中实现高能效低功耗的片上训练。
2025-04-28 cs.AR cs.LG
GraphScale: Scalable Bandwidth-Efficient Graph Processing on FPGAs
FPGA图形处理的最新进展有望缓解不规则内存访问模式带来的性能瓶颈。这些瓶颈对越来越多的重要应用领域（如机器学习和数据分析）的性能提出了挑战。虽然FPGA通过灵活的存储层次结构和大规模并行表示一个有前途的解决方案，我们认为，目前的图形处理加速器要么使用片外内存带宽效率低下，或不跨内存通道扩展。在这项工作中，我们提出了GraphScale，一个可扩展的图形处理框架的FPGA。GraphScale首次将多通道内存与异步图形处理相结合（即，用于结果的快速收敛）和压缩的图形表示（即，用于有效使用内存带宽和减少内存占用）。GraphScale通过模块化的用户定义函数、新颖的二维分区方案和高性能的两级交叉开关设计，解决了常见的图问题，如广度优先搜索、PageRank和弱连接组件。
2022-06-16 cs.AR cs.DB
Challenges in implementing DDR3 memory interface on PCB systems: a methodology for interfacing DDR3 SDRAM DIMM to an FPGA
毫无疑问，更快、更大、更低的每比特功耗，但如何将DDR3 SDRAM DIMM连接到FPGA？DDR3标准满足了更快、更大带宽和更低的每比特功耗需求，但除了DDR2 ODT、压摆率降额等带来的挑战外，它还带来了新的设计挑战。DDR3飞越式拓扑要求意味着设计DDR3存储器的客户现在必须考虑PCB上的写入均衡和读取去偏斜。本文将介绍为满足PCB系统上DDR3存储器接口设计的JEDEC定义的端接和严格时序要求所需的建模、仿真和物理布局方法。
2022-04-07 cs.AR
Memory-Efficient Dataflow Inference for Deep CNNs on FPGA
FPGA上的自定义低功耗卷积神经网络（CNN）推理加速器针对特定的CNN拓扑进行定制，并将参数存储在片内存储器（OCM）中，从而实现高能效和低推理延迟。然而，在这些加速器中，参数存储器的形状由吞吐量约束决定，并且不能很好地映射到底层OCM，这成为实现瓶颈。在这项工作中，我们提出了一种加速器的设计方法-频率补偿内存打包（FCMP）-它提高了OCM的利用效率，以最小的吞吐量减少和FPGA OCM的物理结构没有修改的低成本加速器。为了验证我们的方法，我们将其应用于中型CIFAR-10推理加速器的几种实现，并证明OCM利用率可降低高达30%，而不会损失推理吞吐量，从而使我们能够将加速器从Xilinx Zynq 7020移植到7012 S，从而降低应用成本。我们还实现了一个自定义的低功耗FPGA推理加速器的量化ResNet-50 CNN，利用片上权重，有史以来最大的拓扑结构实现了这种加速器架构。我们证明，通过将FCMP应用于ResNet加速器，OCM瓶颈得到缓解，这使得加速器能够从Alveo U250移植到更小的Alveo U280板，与其他技术相比，吞吐量损失更小。通过在吞吐量和OCM要求之间提供更细粒度的权衡，FCMP提高了FPGA上自定义低功耗CNN推理设计的灵活性。
2020-11-14 cs.AR
A Scalable FPGA Architecture With Adaptive Memory Utilization for GEMM-Based Operations
本文提出一种基于FPGA的可扩展动态配置加速器，利用脉动阵列、高带宽内存和UltraRAM，通过多PU实例化与启发式权重调度提升吞吐效率，并可扩展模拟AIMC设备，适用于多种DNN模型。
2025-10-09 cs.AR
When HLS Meets FPGA HBM: Benchmarking and Bandwidth Optimization
随着最近基于高带宽存储器（HBM）的FPGA板的发布，开发人员现在可以利用前所未有的外部内存带宽。这使得更多内存受限的应用能够从FPGA加速中受益。然而，我们发现，这是不容易充分利用可用带宽时，开发一些应用程序与高级综合（HLS）工具。这是由于现有的HLS工具在访问HBM板的大量独立外部存储器通道时的限制。在本文中，我们测量了最近的三个代表HBM FPGA板（英特尔的Stratix 10 MX和Xilinx的Alveo U 50/U280板）的性能与微基准测试，并分析了HLS开销。接下来，我们提出了基于HLS的优化技术，以提高有效带宽时，一个PE访问多个HBM通道或多个PE访问HBM通道。实验结果表明，有效带宽提高了2.4 - 3.8倍。我们还为HBM FPGA HLS设计流程的未来改进提供了一系列见解。
2020-10-12 cs.AR
Designing a WISHBONE Protocol Network Adapter for an Asynchronous Network-on-Chip
微芯片技术从微米到亚微米，再到现在的深亚微米（DSM）范围的扩展，使得大规模片上系统（SoC）成为可能。在未来的深亚微米（DSM）设计中，互连效应必将主导性能。片上网络（NoC）已经成为解决基于总线的通信基础设施局限性的一个很有前途的解决方案。NoC设计通常针对专用集成电路（ASIC），然而，制造工艺成本很高。在FPGA上实现片上网络不仅可以降低成本，还可以减少编程和验证周期。本文在SPARTAN-3E \textregistered器件上实现了一个异步片上网络。NoC支持广泛使用的片上互连标准、开放核心协议（OCP）和WISHBONE协议的基本事务。虽然FPGA器件本质上是同步的，但是已经表明它们可以用于对全局异步本地同步（GALS）系统进行原型设计，该系统包括连接在不同时钟域中操作的IP核的异步NoC。
2012-03-19 cs.AR
CXL over Ethernet: A Novel FPGA-based Memory Disaggregation Design in Data Centers
数据中心中的存储器资源通常遭受低利用率和缺乏动态性。内存分解通过解耦CPU和内存来解决这些问题，目前包括基于RDMA或互连协议（如Compute Express Link（CXL））的方法。然而，基于RDMA的方法涉及代码重构和更高的延迟。基于CXL的方法支持本地存储语义，克服了RDMA的缺点，但限于机架级。此外，基于CXL产品的内存池化和共享，目前还处于早期探索阶段，未来还需要时间才能面世。在本文中，我们提出了以太网上的CXL方法，主机处理器可以通过以太网访问远程存储器的内存语义。我们的方法可以支持本地内存加载/存储访问，并通过利用CXL和RDMA技术将物理范围扩展到跨服务器和机架级别。我们原型我们的方法与一个服务器和两个FPGA板与100 Gbps的网络和测量存储器访问延迟。此外，通过在关键路线中使用数据缓存和拥塞控制算法来优化存储器访问路径，进一步降低访问延迟。评测结果显示，服务器访问远程内存的平均延迟为1.97 μs，比业界基线延迟降低约37%。通过FPGA上的缓存块和命中访问，延迟可以进一步降低到415 ns。
2023-02-22 cs.AR
ScalaBFS: A Scalable BFS Accelerator on HBM-Enhanced FPGAs
高带宽存储器（HBM）通过向处理单元公开多个存储器通道来提供大规模聚合的内存带宽。为了实现高性能，构建在配置有HBM的FPGA之上的加速器（即，FPGA-HBM平台）需要根据可用的内存通道扩展其性能。在本文中，我们提出了一个加速器的BFS（宽度优先搜索）算法，命名为ScalaBFS，建立多个处理元素，充分利用HBM的高带宽，以提高效率。在Xilinx Alveo U280 FPGA卡上实现了ScalaBFS的原型系统，并在真实世界和合成无标度图中进行了BFS。实验结果表明，ScalaBFS的性能几乎与U280的HBM2子系统的可用内存伪通道（PC）成线性关系。通过充分利用U280上的32台PC和构建64个处理单元（PE），ScalaBFS实现了高达19.7 GTEPS（每秒千兆遍历边数）的性能。当在稀疏的现实图形中进行BFS时，ScalaBFS实现了与在最先进的Nvidia V100 GPU上运行的Gunrock等效的GTEPS，该GPU具有64 PC HBM 2（是U280的两倍内存带宽）。
2021-10-12 cs.AR
A General Neural Network Hardware Architecture on FPGA
University of Birmingham（伯明翰大学）
现场可编程门阵列（Field Programmable Gate Arrays，FPGA）以其高度并行的结构、低功耗和灵活的自定义算法在数据采集和处理行业中发挥着越来越重要的作用。特别是在人工智能领域，为了训练和实现神经网络和机器学习算法，需要高能效的硬件实现和大规模并行计算能力。因此，许多全球公司已将FPGA应用于人工智能和机器学习领域，如自动驾驶和自动口语识别（百度）[1] [2]和必应搜索（微软）[3]。考虑到FPGA在这些领域的巨大潜力，我们倾向于在具有丰富硬件资源和强大处理能力的XILINX ZU9CG片上系统（SOC）平台上实现通用神经网络硬件架构[4]。FPGA SOC平台上的通用神经网络架构可以高性能地执行深度神经网络（DNN）中的前向和后向算法，并且容易根据神经网络的类型和规模进行调整。
2017-11-06 cs.AR cs.CV cs.NE
Fully Integrated On-FPGA Molecular Dynamics Simulations
分子动力学（MD）在FPGA上的实现受到了极大的关注。然而，以前的工作包括组件的概念验证实现，通常是范围有限的力量;完整的系统，但大部分工作由主机CPU分担;或原型演示，例如，使用OpenCL，既不实现整个系统，也没有竞争力的性能。在本文中，我们提出了我们认为是第一个基于FPGA的全尺寸仿真引擎，并表明其性能与GPU（在工业生产环境中运行Amber）具有竞争力。该系统具有片上颗粒数据存储和管理、短距离和长距离力评估以及结合力、运动更新和颗粒迁移等功能。这项工作的其他贡献包括探索众多的架构权衡和分析粒子/细胞和各种片上计算单元之间的各种映射方案。潜在的影响是，该系统有望成为长时间尺度分子动力学与商品集群的基础。
2019-05-14 cs.AR cs.DC
GRVI Phalanx: A Massively Parallel RISC-V FPGA Accelerator Accelerator
GRVI是一款FPGA高效的RISC-V RV 32 I软处理器。Phalanx是一个并行处理器和加速器阵列框架。处理器和加速器组形成共享内存集群。集群通过300位宽的Hoplite NOC相互连接，并与极高带宽的I/O和存储设备互连。Kintex UltraScale KU 040系统示例具有400个RISC-V内核、100，000 MIPS的峰值吞吐量、600 GB/s的峰值共享内存带宽、700 Gbps的NOC平分带宽，并且使用13 W。
2016-06-03 cs.AR
High Bandwidth Memory on FPGAs: A Data Analytics Perspective
由于现代工作负载的需求和随之而来的硬件专业化的必要性，基于FPGA的数据处理在数据中心越来越受欢迎。在这一趋势的推动下，供应商正在快速调整可重新配置的设备，以适应数据和计算密集型工作负载。在FPGA器件中包含高带宽存储器（HBM）是最近的一个例子。HBM承诺克服基于FPGA的加速器由于其面向吞吐量的设计而经常面临的带宽瓶颈。在本文中，我们从数据分析的角度研究了HBM在FPGA上的使用和优势。我们考虑了三种经常在面向分析的数据库中执行的工作负载，并在FPGA上实现它们，以显示它们在哪些情况下受益于HBM：范围选择，哈希连接和线性模型训练的随机梯度下降。我们将我们的设计集成到一个列式数据库（MonetDB），并显示从数据移动和分区相关的集成所产生的权衡。在某些情况下，基于FPGA+HBM的解决方案能够超过2插槽POWER9系统或14核XeonE5提供的最高性能，高达1.8倍（选择），12.9倍（加入）和3.2倍（SGD）。
2020-04-02 cs.AR cs.DC
Swift: A Multi-FPGA Framework for Scaling Up Accelerated Graph Analytics
本文提出多FPGA图加速框架Swift，采用基于GAS的解耦异步区间处理模型，最多支持8个FPGA并优化HBM、PCIe和片上资源利用，性能比ForeGraph高12.8倍，能效比GPU系统高2.6倍。
2024-11-21 cs.AR
Enabling Long FFT Convolutions on Memory-Constrained FPGAs via Chunking
通过分块技术在内存受限的FPGA上实现长FFT卷积，提升长上下文推理性能
2025-12-28 cs.AR cs.LG
H2PIPE: High throughput CNN Inference on FPGAs with High-Bandwidth Memory
University of Toronto（多伦多大学）；Microsoft（微软公司）；Vector Institute（向量研究所）
本研究针对大型CNN层流水线加速的高带宽需求，对HPIPE加速器扩展以结合HBM与片上存储，通过算法优化权重缓冲区布局与FIFO深度减少停顿，实现了显著的推理加速。
2024-08-17 cs.AR cs.LG
Programmable FPGA-based Memory Controller
University of Southern California（南加州大学）；US Army Research Lab（美国陆军研究实验室）
即使DRAM技术有了一代又一代的改进，存储器访问延迟仍然是应用加速器的主要瓶颈，这主要是由于存储器接口IP的限制，这些限制不能完全考虑目标应用、所使用的算法和加速器架构的变化。由于开发不同应用程序的存储器控制器是耗时的，本文介绍了一种模块化和可编程的存储器控制器，可以配置为不同的目标应用程序的可用硬件资源。所提出的存储器控制器有效地支持高速缓存线访问以及批量存储器传输。用户可以根据FPGA上的可用逻辑资源、存储器访问模式和外部存储器规格来配置控制器。模块化设计支持各种存储器访问优化技术，包括请求调度、内部高速缓存和直接存储器访问。这些技术有助于减少总体延迟，同时保持高持续带宽。我们在最先进的FPGA上实现该系统，并使用两个广泛研究的领域评估其性能：图分析和深度学习工作负载。与商业内存控制器IP相比，我们在CNN和GCN工作负载上显示了高达58%的整体内存访问时间改善。
2021-08-21 cs.AI cs.AR cs.DC
Demystifying Memory Access Patterns of FPGA-Based Graph Processing Accelerators
可重编程硬件的最新进展（例如，FPGA）和存储器技术（例如，DDR4，HBM）承诺解决图形处理固有的性能问题，如传统硬件上的不规则存储器访问模式（例如，CPU）。虽然近年来提出了几个这样的图形加速器，但由于很少有开源实现和过多的实现工作，仍然很难评估它们的性能并在常见的图形工作负载和加速器平台上进行比较。在这项工作中，我们建立了一个图形处理加速器的模拟环境，使几个现有的加速器方法可比。这使我们能够研究相关的性能维度，例如分区方案和内存技术等。该评估深入了解了当前图形处理加速器在这些方面的优势和劣势，并进行了新颖的深入比较。
2021-03-31 cs.AR cs.DB
Solving Large Top-K Graph Eigenproblems with a Memory and Compute-optimized FPGA Design
稀疏矩阵上的大规模特征值计算是基于谱方法的图分析技术的关键组成部分。在这样的应用中，所有特征值和特征向量的穷举计算是不切实际和不必要的，因为谱方法可以仅使用与Top-K最大特征值相关联的特征向量来检索巨大图的相关属性。在这项工作中，我们提出了一个硬件优化的算法来近似的解决方案的Top-K特征问题的稀疏矩阵表示大型图形拓扑结构。我们的算法原型通过定制的FPGA硬件设计，利用HBM，Sysphon架构，和混合精度算法。与运行在80线程CPU上的高度优化的ARPACK库相比，我们实现了6.22倍的加速，同时保持了高精度和49倍的能效。
2021-03-18 cs.AR
FPGA Processor In Memory Architectures (PIMs): Overlay or Overhaul ?
本文对比 FPGA 上的定制 PIM 架构与 PIM 覆盖层，提出 PiCaSO，并证明其在延迟和 BRAM 利用率上的优势及反哺定制设计的改进。
2023-08-07 cs.AR
Theoretical Analysis of the Efficient-Memory Matrix Storage Method for Quantum Emulation Accelerators with Gate Fusion on FPGAs
针对大规模量子系统门融合实现的内存瓶颈，提出EMMS存储方法及基于EMMS的QEA架构，通过多PE加速张量积与矩阵乘法计算，理论分析表明其内存深度随量子比特数线性增长，并在18量子比特以内的电路计算中显著快于以往工作。
2024-10-15 cs.AR
Performance Modeling Sparse MTTKRP Using Optical Static Random Access Memory on FPGA
静态随机存储器（E-SRAM）是现场可编程门阵列（FPGA）内部静态存储器的现行标准。尽管E-SRAM技术在过去十年中取得了巨大的进步，但E-SRAM技术尚未实现超快速、节能的静态随机存储器的目标。然而，对光学静态随机存取存储器（O-SRAM）的初步研究已经在创建节能超快静态存储器方面显示出有希望的结果。本文研究了O-SRAM在执行稀疏矩阵化张量时间Khatri-Rao乘积（spMTTKRP）时在存取速度和能量性能方面优于E-SRAM的优点。spMTTKRP是张量分解算法的重要组成部分，在数据科学应用中得到了广泛的应用。评估结果显示，与传统的E-SRAM技术相比，O-SRAM可以实现1.1倍-2.9倍的速度，同时节省2.8倍-8.1倍的能量。
2022-08-22 cs.AR cs.DC
Toki: Profiling HBM Performance on FPGA Systems with RISC-V Soft Cores and PCIe Host DMA Traffic
Politecnico di Milano（米兰理工大学）
Toki是首个开源软硬件框架，通过联合RISC-V软核工作负载与PCIe主机DMA流量，在AMD Alveo U55C上剖析HBM性能，揭示计算核心组织、访问模式及争用对性能的影响。
2026-09-23 cs.AR
FPGA-based Hyrbid Memory Emulation System
针对混合内存系统设计探索中仿真速度慢的问题，提出基于FPGA的仿真平台，利用硬IP ARM处理器加速，相比Gem5实现9280倍仿真加速。
2020-11-09 cs.AR
NeuronFabric: A Software Reference Architecture for On-Chip Transformer Training with Local Adam
Independent Researcher（独立研究者）
提出NeuronFabric软件参考架构，用于FPGA/ASIC实现Transformer训练与本地Adam优化，通过BF16W权重存储减少片上内存需求，在334K参数模型上验证数值正确性。
2026-06-16 cs.AI cs.AR cs.LG
Reconfigurable Low-latency Memory System for Sparse Matricized Tensor Times Khatri-Rao Product on FPGA
University of Southern California（南加利福尼亚大学）；US Army Research Lab（美国陆军研究实验室）
张量分解已经成为包括机器学习在内的各个领域的许多应用中的重要工具。稀疏矩阵化张量乘Khatri-Rao乘积（MTTKRP）是张量计算中计算量最大的核函数之一。尽管具有显著的计算并行性，MTTKRP是一个具有挑战性的内核优化，由于其不规则的内存访问特性。本文重点研究了多面存储系统，探讨了MTTKRP的数据结构的空间和时间局部性。此外，用户可以根据FPGA加速器中使用的计算单元的行为重新配置我们的设计。我们的系统有效地访问所有的MTTKRP数据结构，同时减少总的内存访问时间，使用分布式缓存和直接内存访问（DMA）子系统。此外，我们的工作提高了3.5倍的存储器访问时间相比，商业存储器控制器IP。此外，我们的系统显示2倍和1.26倍的加速比相比，只有缓存和DMA的内存系统，分别。
2021-09-18 cs.AI cs.AR cs.DC
