PolyLUT-Add: FPGA-based LUT Inference with Wide Inputs
School of Electrical
针对FPGA上LUT网络资源消耗随输入数指数增长的问题,提出PolyLUT-Add技术通过加法组合子神经元增强连接性,搭配新型架构提升可扩展性,在多个基准上实现精度相近时LUT用量与延迟的显著降低。
2024-09-15 cs.AI cs.AR cs.LG
A Survey on LUT-based Deep Neural Networks Implemented in FPGAs
该综述面向边缘 DNN 推理中 DSP 资源受限的问题,系统梳理 FPGA 上基于 LUT 计算的 DNN 架构、设计方法与性能权衡,并指出未来研究方向。
2025-06-09 cs.AR
Mapping Fusion: Improving FPGA Technology Mapping with ASIC Mapper
本文提出FuseMap框架,通过强化学习在FPGA设计流程中利用ASIC技术映射器改进LUT映射,在多个基准测试上实现了更高映射精度并减少延迟和面积。
2025-07-15 cs.AR
Hardware-Efficient Accurate 4-bit Multiplier for Xilinx 7 Series FPGAs
Graduate School of Science and Technology, Faculty of Engineering, Shinshu University(长野大学理工学部工学研究科);Shinshu University(长野大学)
针对FPGA上并行低比特宽运算,提出仅用11个LUT和2个CARRY4的精确4位乘法器,减少1个LUT并缩短关键路径,延迟2.750ns。
2026-10-20 cs.AR
FAPO: Fanout-Aware Post-Mapping Optimization for LUT-Based FPGAs
State Key Lab of Integrated Chips and Systems, Fudan University(复旦大学集成芯片与系统国家重点实验室)
FAPO是一种映射后优化器,通过联合优化汇点分配和LUT切割,在面积约束下减少扇出瓶颈,实现高达14.48%的ATP降低和7.04%的布线延迟降低。
2026-10-07 cs.AR
FPGN: Redefining Ultra-Fast Programmable Gate-based Neural Acceleration with Differentiable LUTs
HKUST(香港科技大学);ETH Zurich(苏黎世联邦理工学院);HKUST (GZ)(香港科技大学(广州))
研究旨在实现DNN纳秒级推理延迟,针对传统FPGA加速器局限,提出FPGN框架。通过硬件对齐可微公式、结构化拓扑和延迟驱动编译器,弥合差距。实验表明其相比其他加速器延迟降低205倍,LUT效率高30倍,且推理精度有竞争力。
2026-09-17 cs.AR cs.LG
Double Duty: FPGA Architecture to Enable Concurrent LUT and Adder Chain Usage
针对现代FPGA逻辑块无法并发使用LUT和加法器链导致面积优化受限的问题,提出Double Duty架构,通过复用现有输入绕过LUT直连加法器链,在不影响延迟下平均提升9.7%面积-延迟积。
2025-07-15 cs.AR
PolyLUT: Learning Piecewise Polynomials for Ultra-Low Latency FPGA LUT-based Inference
Imperial College London(帝国理工学院)
本文提出PolyLUT方法,利用FPGA查找表实现多元多项式作为基本构建块,以更少的软逻辑层达到相同精度,显著降低延迟和面积,并在入侵检测、喷注识别和MNIST识别中验证有效性。
2023-11-06 cs.AR cs.LG stat.ML
Logic Shrinkage: Learned FPGA Netlist Sparsity for Efficient Neural Network Inference
Imperial College London(帝国理工学院);Cornell University(康奈尔大学)
使用原生LUT作为独立可训练推理算子的FPGA特定DNN架构已被证明可以实现有利的面积精度和能量精度权衡。这一领域的第一个工作是LUTNet,它在标准DNN基准测试中表现出了最先进的性能。在本文中,我们提出了这种基于LUT的拓扑结构的学习优化,从而比直接使用现成的手工设计的网络效率更高。这类架构的现有实现需要手动指定每个LUT的输入数量K。选择适当的K先验是具有挑战性的,并且即使在高粒度下(例如,每层)这样做也是一个耗时且容易出错的过程,这使得FPGA的空间灵活性未得到充分利用。此外,先前的工作看到LUT输入随机连接,这不能保证网络拓扑的良好选择。为了解决这些问题,我们提出了逻辑收缩,一个细粒度的网表修剪方法,使K自动学习的每一个LUT在一个神经网络的FPGA推理为目标。通过去除确定为低重要性的LUT输入,我们的方法提高了所得加速器的效率。我们的GPU友好型LUT输入去除解决方案能够在训练期间处理大型拓扑,速度可以忽略不计。通过逻辑收缩,我们将CNV网络分类CIFAR-10的最佳LUTNet实现的面积和能效分别提高了1.54倍和1.31倍,同时匹配其准确性。这种实现也达到了同样准确,严重修剪BNN的面积效率的2.71倍。在采用Bi-Real Net架构的ImageNet上,采用逻辑收缩导致合成后面积比LUTNet减少2.67倍,从而实现了以前在当今最大的FPGA上不可能实现的实现。
2022-01-02 cs.AR cs.LG
N3H-Core: Neuron-designed Neural Network Accelerator via FPGA-based Heterogeneous Computing Cores
Shanghai Qi Zhi Institute(上海期智研究院);Shanghai Jiao Tong University(上海交通大学);Alibaba Group US Inc.(阿里巴巴集团美国公司);Alibaba Group(阿里巴巴集团)
由于FPGA的可重构性和高性能计算能力本质上满足了快速进化的神经算法的计算需求,利用FPGA加速神经网络推理已成为一种流行的选择。然而,FPGA上流行的神经加速器(例如,Xilinx DPU)主要利用DSP资源来构建其处理单元,而丰富的LUT资源没有得到很好的利用。通过软硬件协同设计的方法,在这项工作中,我们开发了一个基于FPGA的异构计算系统的神经网络加速。从硬件的角度来看,所提出的加速器由基于DSP和LUT的通用矩阵乘法(GEMM)计算核心组成,以异构的方式形成整个计算系统。基于DSP和LUT的GEMM核心是在统一的指令集架构(ISA)和统一的缓冲区中计算的。沿着神经网络推理路径的数据流,卷积/全连接层的计算被分成两部分,由基于DSP和LUT的GEMM内核异步处理。从软件的角度来看,我们数学和系统地模拟的延迟和资源利用率的建议异构加速器,关于不同的系统设计配置。通过利用强化学习技术,构建了一个实现目标异构加速器设计规范端到端选择和优化的框架,包括工作负载划分策略、混合精度量化方案以及DSP核和LUT核的资源分配。凭借所提出的设计框架和异构计算系统,我们的设计优于最先进的Mix&Match设计,延迟减少了1.12- 1.32倍,具有更高的推理精度。N3 H核心是开源的:https://github.com/elliothe/N3H_Core。
2021-12-15 cs.AI cs.AR cs.PF
Fast Iterative Dual-Output-Aware LUT Mapping for Fracturable FPGA Architectures
The University of Texas at Arlington(德克萨斯大学阿灵顿分校)
研究针对可分块FPGA架构的LUT映射问题,提出迭代双输出感知LUT映射框架,集成于ABC映射器优化过程。通过交替单输出割选和双输出匹配,利用稀疏支持索引生成候选对并验证选择,反馈信息调整成本,实验表明该框架能有效降低LUT面积、加速并减少深度和面积。
2026-07-28 cs.AR
KANELÉ: Kolmogorov-Arnold Networks for Efficient LUT-based Evaluation
Massachusetts Institute of Technology(麻省理工学院)
提出KANELÉ框架,利用Kolmogorov-Arnold网络(KAN)的独特性质,通过量化与剪枝协同优化,首次系统实现FPGA上的高效LUT映射,相比先前方法加速高达2700倍并节省大量资源。
2026-06-18 cs.AR cs.LG cs.SY
Multiplier Design Addressing Area-Delay Trade-offs by using DSP and Logic resources on FPGAs
本文提出将小型Booth阵列作为子乘法器集成到现有拼接方法中,在用户指定DSP数量的条件下改善FPGA乘法器的面积-延迟权衡,实验证明可降低关键路径延迟并显著减少LUT资源。
2024-07-04 cs.AR
FINNAS: FINN-Guided Hardware-Aware NAS and Pruning for FPGA Jet Substructure Classification
Reconfigurable Computing Systems Lab, Electronic & Electrical Engineering(可重构计算系统实验室,电子与电气工程系);Trinity College Dublin, Ireland(都柏林三一学院)
FINNAS提出FINN引导的硬件感知进化神经架构搜索框架,联合搜索量化MLP深度、宽度和精度,在CERNBox喷注子结构分类任务上,相比手动优化FINN加速器,精度提升至74.36%,LUT减少8.5倍,延迟减少1.77倍。
2026-09-16 cs.AR
CascadeLUT: Information-Ordered Streaming Inference for Bandwidth-Constrained FPGAs
Imperial College London(帝国理工学院)
针对带宽受限FPGA的流推理瓶颈,提出CascadeLUT框架,通过特征有序子集逐步预测减少数据移动,在延迟、吞吐量、能耗等指标上显著优于现有基线,还实现了低开销的设备端量化。
2026-08-04 cs.AR cs.LG
SparseLUT: Sparse Connectivity Optimization for Lookup Table-based Deep Neural Networks
The University of Sydney(悉尼大学);School of Electrical and Computer Engineering(电气与计算机工程学院)
本文提出 SparseLUT,通过非贪婪剪枝与连接再生优化基于 LUT 的 DNN 稀疏连接,在无硬件开销下提升多基准准确率并达到最先进水平。
2025-03-17 cs.AI cs.AR
Programmable FPGA-based Memory Controller
University of Southern California(南加州大学);US Army Research Lab(美国陆军研究实验室)
即使DRAM技术有了一代又一代的改进,存储器访问延迟仍然是应用加速器的主要瓶颈,这主要是由于存储器接口IP的限制,这些限制不能完全考虑目标应用、所使用的算法和加速器架构的变化。由于开发不同应用程序的存储器控制器是耗时的,本文介绍了一种模块化和可编程的存储器控制器,可以配置为不同的目标应用程序的可用硬件资源。所提出的存储器控制器有效地支持高速缓存线访问以及批量存储器传输。用户可以根据FPGA上的可用逻辑资源、存储器访问模式和外部存储器规格来配置控制器。模块化设计支持各种存储器访问优化技术,包括请求调度、内部高速缓存和直接存储器访问。这些技术有助于减少总体延迟,同时保持高持续带宽。我们在最先进的FPGA上实现该系统,并使用两个广泛研究的领域评估其性能:图分析和深度学习工作负载。与商业内存控制器IP相比,我们在CNN和GCN工作负载上显示了高达58%的整体内存访问时间改善。
2021-08-21 cs.AI cs.AR cs.DC
VQ4SNN: Vector Quantization for Memory-Efficient FPGA Spiking Neural Networks
Integrated Circuits Lab, Electrical and Computer Engineering, Democritus University of Thrace (DUTH), Greece(德米特里乌斯特拉基亚大学集成电路实验室,电气与计算机工程,特拉基亚大学(DUTH),希腊)
提出VQ4SNN,通过向量量化权重共享减少FPGA上脉冲神经网络的片上内存需求,实现52-61%的BRAM减少而不增加逻辑资源。
2026-06-23 cs.AI cs.AR cs.NE
A Benchmarking Platform for DDR4 Memory Performance in Data-Center-Class FPGAs
本文提出一种新颖的基准测试平台,通过运行时定义复杂访问模式和灵活实例化支持多通道与多速率,有效评估数据中心级FPGA中的DDR4内存性能。
2025-07-01 cs.AR
PolyLUT: Ultra-low Latency Polynomial Inference with Hardware-Aware Structured Pruning
Imperial College London(伦敦帝国学院)
该研究提出面向FPGA的PolyLUT方法,以多元多项式为构建模块结合硬件感知结构化剪枝,解决LUT规模随输入指数增长问题,在三类任务中实现更低延迟与面积开销。
2025-01-14 cs.AR cs.LG
A Security-aware and LUT-based CAD Flow for the Physical Synthesis of eASICs
全球化的集成电路(IC)供应链面临着许多威胁,例如盗版、逆向工程、生产过剩和恶意逻辑插入。已经提出了许多混淆方法,通过防止对手完全理解IC(或其部分)来减轻这些威胁。在IC内部使用可重新配置元件是已知的混淆技术,或者作为粗粒度可重新配置块(即,eFPGA)或作为细颗粒元件(即,类似FPGA的查找表)。本文提出了一种安全意识的CAD流程,是基于LUT的,但仍然与基于标准单元的物理合成流程兼容。更确切地说,我们的CAD流程探索了FPGA-ASIC设计空间,并产生了严重混淆的设计,其中只有一小部分逻辑类似于ASIC。因此,我们将这种专用解决方案称为“嵌入式ASIC”(eASIC)。尽管如此,即使对于LUT占主导地位的设计,我们提出的分解和引脚交换算法也可以实现只有ASIC才能达到的性能水平。在安全方面,我们开发了新的基于模板的攻击,并应用现有的攻击,无论是基于预言机和预言机。我们的安全分析显示,SHA-256研究案例的混淆率至少应为45%,以抵御传统攻击,至少应为80%,以抵御基于模板的攻击。当80%混淆的SHA-256设计被物理实现时,它在65 nm商业技术中实现了368 MHz的显着频率,而其FPGA实现(在优越的技术中)仅实现了77 MHz。
2022-07-12 cs.AR cs.CR cs.LO
Benchmarking High Bandwidth Memory on FPGAs
FPGA开始使用高带宽存储器(HBM)进行增强,以减少某些应用中遇到的内存带宽瓶颈,并为FPGA提供更多处理应用状态的能力。然而,HBM的性能特性仍然没有得到很好的说明,特别是在FPGA的背景下。在本文中,我们通过在最先进的FPGA上对HBM进行基准测试,弥合了标称规格和实际性能之间的差距,Xilinx Alveo U280采用双堆栈HBM子系统。为此,我们提出了Shuhai,一个基准测试工具,使我们能够在FPGA上揭开HBM所有底层细节的神秘面纱。基于FPGA的基准测试也应该比在CPU/GPU上提供更准确的HBM图片,因为CPU/GPU由于其复杂的控制逻辑和缓存层次结构而成为噪音更大的系统。由于存储器本身很复杂,利用定制硬件逻辑在FPGA内部进行基准测试可以提供更多细节以及准确和确定性的测量。我们观察到1)HBM能够提供高达425 GB/s的内存带宽,2)HBM的使用方式对性能有很大的影响,这反过来又证明了揭示HBM的性能特征以选择最佳方法的重要性。作为衡量标准,我们还将Shuhai应用于DDR4,以显示HBM和DDR4之间的差异。Shuhai可以很容易地推广到其他FPGA板或其他代存储器,例如,HBM 3和DDR3。我们将使蜀海开源,造福社会
2020-05-09 cs.AR
Reverse Engineering Word-Level Models from Look-Up Table Netlists
从位流到RTL模型的FPGA设计的逆向工程有助于理解设计的高级功能以及验证和重建传统设计。快速进位链通常用于FPGA设计中的运算符综合。我们提出了一种方法来检测字级结构,通过分析这些进位链的LUT(查找表)级网表。我们还提出了方法,以适应现有的技术,以确定组合操作和顺序模块的ASIC网表LUT网表。所有开发和调整的技术被整合到一个集成的工具链中,以帮助从LUT级网表进行字级设计的逆向工程。当对一组真实世界的设计进行评估时,工具链推断网表中34%到100%的元素是已知字级操作或已知顺序模块的一部分。
2023-03-05 cs.AR
Reconfigurable Low-latency Memory System for Sparse Matricized Tensor Times Khatri-Rao Product on FPGA
University of Southern California(南加利福尼亚大学);US Army Research Lab(美国陆军研究实验室)
张量分解已经成为包括机器学习在内的各个领域的许多应用中的重要工具。稀疏矩阵化张量乘Khatri-Rao乘积(MTTKRP)是张量计算中计算量最大的核函数之一。尽管具有显著的计算并行性,MTTKRP是一个具有挑战性的内核优化,由于其不规则的内存访问特性。本文重点研究了多面存储系统,探讨了MTTKRP的数据结构的空间和时间局部性。此外,用户可以根据FPGA加速器中使用的计算单元的行为重新配置我们的设计。我们的系统有效地访问所有的MTTKRP数据结构,同时减少总的内存访问时间,使用分布式缓存和直接内存访问(DMA)子系统。此外,我们的工作提高了3.5倍的存储器访问时间相比,商业存储器控制器IP。此外,我们的系统显示2倍和1.26倍的加速比相比,只有缓存和DMA的内存系统,分别。
2021-09-18 cs.AI cs.AR cs.DC
The Memory Controller Wall: Benchmarking the Intel FPGA SDK for OpenCL Memory Interface
凭借其高能效和高级综合(HLS)的最新进展,FPGA正在迅速进入HPC和云系统。到目前为止,已经做了大量的工作,对不同的应用程序在FPGA上使用HLS的循环和面积优化。然而,在文献中缺少对FPGA的存储器控制器的行为和效率的全面分析,当考虑到现代FPGA与其GPU对应物相比有限的内存带宽时,这变得更加关键。在这项工作中,我们将分析英特尔FPGA SDK为OpenCL生成的内存接口,这些接口具有不同的输入/输出阵列配置、向量大小、交错、内核编程模型、片上通道、工作频率、填充和多种类型的重叠阻塞。我们的研究结果指出了英特尔FPGA的内存控制器中的多个缺点,特别是在内存访问对齐方面,这可能会阻碍程序员在设计中最大限度地提高内存性能的能力。对于其中的某些情况,我们将提供解决方案来提高内存带宽效率;但是,一般解决方案需要对内存控制器本身进行重大更改。
2020-02-14 cs.AR cs.DC
Approximate Attention Weighting for Sustainable FPGA-Based Vision Transformer Inference
University of Regensburg(雷根斯堡大学);NUST(国立科学与技术大学);KFUPM(国王法赫德石油与矿产大学)
提出一种无BRAM的近似注意力加权单元,用16段分段线性函数近似softmax中的自然指数,在Zynq-7020上实现,精度损失仅0.20%。
2026-07-03 cs.AR
On-FPGA Training with Ultra Memory Reduction: A Low-Precision Tensor Method
已经开发了各种硬件加速器,用于边缘设备上神经网络的节能和实时推理。然而,大多数训练是在高性能GPU或服务器上完成的,巨大的内存和计算成本阻止了在边缘设备上训练神经网络。本文提出了一种新的基于张量的训练框架,该框架在训练过程中提供了数量级的内存减少。提出了一种新的秩自适应张量化神经网络模型,并设计了一种硬件友好的低精度算法来训练该模型。我们提出了一个FPGA加速器,以证明这种训练方法在边缘设备上的好处。我们的初步FPGA实现实现$59\times$加速和$123\times$能源减少相比,嵌入式CPU,和$292\times$内存减少了标准的全尺寸训练。
2021-04-19 cs.AR
Enhancing LUT-based Deep Neural Networks Inference through Architecture and Connectivity Optimization
School of Electrical and Computer Engineering(电气与计算机工程学院);The University of Sydney(悉尼大学)
SparseLUT通过架构优化和非贪心训练算法,显著降低LUT消耗和推理延迟,提升DNN在边缘设备上的精度表现。
2026-01-14 cs.AI cs.AR
Optimizing Memory Performance of Xilinx FPGAs under Vitis
基于FPGA的加速技术因其低延迟和高能效而受到广泛关注。然而,使用原始的低级硬件描述语言(如Verilog)来编程FPGA通常需要对硬件设计细节和动手经验有很好的了解。幸运的是,FPGA社区打算解决这种低可编程性问题。例如,FPGA编程与GPU编程一样简单。尽管Vitis被证明可以提高可编程性,但如果没有对硬件流水线和存储子系统的精心设计,我们无法直接获得高性能。本文将重点放在存储子系统上,全面系统地测试优化方法对存储性能的影响。通过基准测试,我们定量分析了广泛应用程序(包括AI,HPC和数据库)的典型内存访问模式。此外,我们还提供了相应的优化方向,为每一个内存访问模式,以提高整体性能。
2020-10-18 cs.AR cs.DC
CoMeFa: Compute-in-Memory Blocks for FPGAs
块RAM(BRAM)是FPGA的存储库,为使用逻辑块(LB)和数字信号处理(DSP)片实现的计算单元提供广泛的片上内存带宽。我们建议修改BRAM,将其转换为CoMeFa(FPGA内存计算块)RAM。这些RAM通过将计算和存储能力结合在一个块中来提供高度并行的内存计算。CoMeFa RAM利用FPGA BRAM的真正双端口特性,并包含多个可编程单比特位串行处理元件。CoMeFa RAM可用于任何精度的计算,这对于深度学习等不断发展的应用程序至关重要。将CoMeFa RAM添加到FPGA显著提高了其计算密度。我们探索并提出了这些RAM的两种架构:CoMeFa-D(优化延迟)和CoMeFa-A(优化面积)。与现有提案相比,CoMeFa RAM不需要改变底层SRAM技术,例如同时激活同一端口上的多行,并且易于实现。CoMeFa RAM是一种多功能块,可在众多不同的并行应用中找到应用,如深度学习、信号处理、数据库等。通过使用CoMeFa-D增强Intel Arria-10类FPGA,(CoMeFa-A)RAM,成本为3.8%(1.2%)的面积,并与算法的改进和有效的映射,我们观察到2.5倍的几何加速(1.8x),在几个代表性基准上。在FPGA中用CoMeFa RAM取代所有或部分BRAM可以使它们成为现代计算密集型工作负载的更好加速器。
2022-03-23 cs.AR
Increasing FPGA Accelerators Memory Bandwidth with a Burst-Friendly Memory Layout
将计算密集型内核卸载到硬件加速器依赖于这些平台提供的高度并行性。然而,存储器接口的有效带宽往往会造成瓶颈,阻碍加速器的有效性能。支持数据重用的技术(如平铺)降低了内存流量的压力,但仍然经常使加速器I/O受限。如果数据在内存中是连续的,则通过使用突发而不是逐元素访问,可以进一步增加有效带宽。在本文中,我们提出了一种内存分配技术,并提供了一个概念验证的源到源编译器通过,通过修改外部存储器中的数据布局,使这种突发传输。我们评估这种技术如何推高内存吞吐量,留出空间,利用额外的并行性,最小的逻辑开销。
2022-02-23 cs.AR
FPGA-Based Near-Memory Acceleration of Modern Data-Intensive Applications
现代数据密集型应用需要高计算能力和严格的功耗限制。不幸的是,由于计算单元和存储器单元之间的昂贵的数据移动,这样的应用遭受当前计算系统中的执行周期和能量的显著浪费。基因组分析和天气预报是这类应用的两个例子。最近的FPGA将可重配置结构与高带宽存储器(HBM)相结合,以实现更高效的数据移动,并提高整体性能和能效。这种趋势是向近内存计算的范式转变的一个例子。我们利用这样一个FPGA与高带宽存储器(HBM),以改善基因组分析和代表性的内核从天气预测模型的预对齐过滤步骤。我们的评估表明,在高端IBM POWER9系统和传统的FPGA板与DDR4内存的大加速和节能。我们的结论是,基于FPGA的近内存计算有可能减轻现代数据密集型应用程序的数据移动瓶颈。
2021-07-03 cs.AR cs.DC
Challenges in implementing DDR3 memory interface on PCB systems: a methodology for interfacing DDR3 SDRAM DIMM to an FPGA
毫无疑问,更快、更大、更低的每比特功耗,但如何将DDR3 SDRAM DIMM连接到FPGA?DDR3标准满足了更快、更大带宽和更低的每比特功耗需求,但除了DDR2 ODT、压摆率降额等带来的挑战外,它还带来了新的设计挑战。DDR3飞越式拓扑要求意味着设计DDR3存储器的客户现在必须考虑PCB上的写入均衡和读取去偏斜。本文将介绍为满足PCB系统上DDR3存储器接口设计的JEDEC定义的端接和严格时序要求所需的建模、仿真和物理布局方法。
2022-04-07 cs.AR
GraphScale: Scalable Bandwidth-Efficient Graph Processing on FPGAs
FPGA图形处理的最新进展有望缓解不规则内存访问模式带来的性能瓶颈。这些瓶颈对越来越多的重要应用领域(如机器学习和数据分析)的性能提出了挑战。虽然FPGA通过灵活的存储层次结构和大规模并行表示一个有前途的解决方案,我们认为,目前的图形处理加速器要么使用片外内存带宽效率低下,或不跨内存通道扩展。在这项工作中,我们提出了GraphScale,一个可扩展的图形处理框架的FPGA。GraphScale首次将多通道内存与异步图形处理相结合(即,用于结果的快速收敛)和压缩的图形表示(即,用于有效使用内存带宽和减少内存占用)。GraphScale通过模块化的用户定义函数、新颖的二维分区方案和高性能的两级交叉开关设计,解决了常见的图问题,如广度优先搜索、PageRank和弱连接组件。
2022-06-16 cs.AR cs.DB
A Scalable FPGA Architecture With Adaptive Memory Utilization for GEMM-Based Operations
本文提出一种基于FPGA的可扩展动态配置加速器,利用脉动阵列、高带宽内存和UltraRAM,通过多PU实例化与启发式权重调度提升吞吐效率,并可扩展模拟AIMC设备,适用于多种DNN模型。
2025-10-09 cs.AR
When HLS Meets FPGA HBM: Benchmarking and Bandwidth Optimization
随着最近基于高带宽存储器(HBM)的FPGA板的发布,开发人员现在可以利用前所未有的外部内存带宽。这使得更多内存受限的应用能够从FPGA加速中受益。然而,我们发现,这是不容易充分利用可用带宽时,开发一些应用程序与高级综合(HLS)工具。这是由于现有的HLS工具在访问HBM板的大量独立外部存储器通道时的限制。在本文中,我们测量了最近的三个代表HBM FPGA板(英特尔的Stratix 10 MX和Xilinx的Alveo U 50/U280板)的性能与微基准测试,并分析了HLS开销。接下来,我们提出了基于HLS的优化技术,以提高有效带宽时,一个PE访问多个HBM通道或多个PE访问HBM通道。实验结果表明,有效带宽提高了2.4 - 3.8倍。我们还为HBM FPGA HLS设计流程的未来改进提供了一系列见解。
2020-10-12 cs.AR
CXL over Ethernet: A Novel FPGA-based Memory Disaggregation Design in Data Centers
数据中心中的存储器资源通常遭受低利用率和缺乏动态性。内存分解通过解耦CPU和内存来解决这些问题,目前包括基于RDMA或互连协议(如Compute Express Link(CXL))的方法。然而,基于RDMA的方法涉及代码重构和更高的延迟。基于CXL的方法支持本地存储语义,克服了RDMA的缺点,但限于机架级。此外,基于CXL产品的内存池化和共享,目前还处于早期探索阶段,未来还需要时间才能面世。在本文中,我们提出了以太网上的CXL方法,主机处理器可以通过以太网访问远程存储器的内存语义。我们的方法可以支持本地内存加载/存储访问,并通过利用CXL和RDMA技术将物理范围扩展到跨服务器和机架级别。我们原型我们的方法与一个服务器和两个FPGA板与100 Gbps的网络和测量存储器访问延迟。此外,通过在关键路线中使用数据缓存和拥塞控制算法来优化存储器访问路径,进一步降低访问延迟。评测结果显示,服务器访问远程内存的平均延迟为1.97 μs,比业界基线延迟降低约37%。通过FPGA上的缓存块和命中访问,延迟可以进一步降低到415 ns。
2023-02-22 cs.AR
ScalaBFS: A Scalable BFS Accelerator on HBM-Enhanced FPGAs
高带宽存储器(HBM)通过向处理单元公开多个存储器通道来提供大规模聚合的内存带宽。为了实现高性能,构建在配置有HBM的FPGA之上的加速器(即,FPGA-HBM平台)需要根据可用的内存通道扩展其性能。在本文中,我们提出了一个加速器的BFS(宽度优先搜索)算法,命名为ScalaBFS,建立多个处理元素,充分利用HBM的高带宽,以提高效率。在Xilinx Alveo U280 FPGA卡上实现了ScalaBFS的原型系统,并在真实世界和合成无标度图中进行了BFS。实验结果表明,ScalaBFS的性能几乎与U280的HBM2子系统的可用内存伪通道(PC)成线性关系。通过充分利用U280上的32台PC和构建64个处理单元(PE),ScalaBFS实现了高达19.7 GTEPS(每秒千兆遍历边数)的性能。当在稀疏的现实图形中进行BFS时,ScalaBFS实现了与在最先进的Nvidia V100 GPU上运行的Gunrock等效的GTEPS,该GPU具有64 PC HBM 2(是U280的两倍内存带宽)。
2021-10-12 cs.AR
GRVI Phalanx: A Massively Parallel RISC-V FPGA Accelerator Accelerator
GRVI是一款FPGA高效的RISC-V RV 32 I软处理器。Phalanx是一个并行处理器和加速器阵列框架。处理器和加速器组形成共享内存集群。集群通过300位宽的Hoplite NOC相互连接,并与极高带宽的I/O和存储设备互连。Kintex UltraScale KU 040系统示例具有400个RISC-V内核、100,000 MIPS的峰值吞吐量、600 GB/s的峰值共享内存带宽、700 Gbps的NOC平分带宽,并且使用13 W。
2016-06-03 cs.AR
FAME: An FPGA-Based Platform for Approximate Multipliers Evaluation with Pattern-Guided DNN Retraining
University of Glasgow(格拉斯哥大学);Heidelberg University(海德堡大学)
提出基于FPGA的FAME平台,直接硬件实现近似乘法器,加速DNN评估,并结合模式引导重训练恢复精度,在ImageNet上实现3.47倍加速和65.5%精度提升。
2026-10-16 cs.AR cs.LG cs.PF
High Bandwidth Memory on FPGAs: A Data Analytics Perspective
由于现代工作负载的需求和随之而来的硬件专业化的必要性,基于FPGA的数据处理在数据中心越来越受欢迎。在这一趋势的推动下,供应商正在快速调整可重新配置的设备,以适应数据和计算密集型工作负载。在FPGA器件中包含高带宽存储器(HBM)是最近的一个例子。HBM承诺克服基于FPGA的加速器由于其面向吞吐量的设计而经常面临的带宽瓶颈。在本文中,我们从数据分析的角度研究了HBM在FPGA上的使用和优势。我们考虑了三种经常在面向分析的数据库中执行的工作负载,并在FPGA上实现它们,以显示它们在哪些情况下受益于HBM:范围选择,哈希连接和线性模型训练的随机梯度下降。我们将我们的设计集成到一个列式数据库(MonetDB),并显示从数据移动和分区相关的集成所产生的权衡。在某些情况下,基于FPGA+HBM的解决方案能够超过2插槽POWER9系统或14核XeonE5提供的最高性能,高达1.8倍(选择),12.9倍(加入)和3.2倍(SGD)。
2020-04-02 cs.AR cs.DC
Enabling Long FFT Convolutions on Memory-Constrained FPGAs via Chunking
通过分块技术在内存受限的FPGA上实现长FFT卷积,提升长上下文推理性能
2025-12-28 cs.AR cs.LG
Memory-Efficient Dataflow Inference for Deep CNNs on FPGA
FPGA上的自定义低功耗卷积神经网络(CNN)推理加速器针对特定的CNN拓扑进行定制,并将参数存储在片内存储器(OCM)中,从而实现高能效和低推理延迟。然而,在这些加速器中,参数存储器的形状由吞吐量约束决定,并且不能很好地映射到底层OCM,这成为实现瓶颈。在这项工作中,我们提出了一种加速器的设计方法-频率补偿内存打包(FCMP)-它提高了OCM的利用效率,以最小的吞吐量减少和FPGA OCM的物理结构没有修改的低成本加速器。为了验证我们的方法,我们将其应用于中型CIFAR-10推理加速器的几种实现,并证明OCM利用率可降低高达30%,而不会损失推理吞吐量,从而使我们能够将加速器从Xilinx Zynq 7020移植到7012 S,从而降低应用成本。我们还实现了一个自定义的低功耗FPGA推理加速器的量化ResNet-50 CNN,利用片上权重,有史以来最大的拓扑结构实现了这种加速器架构。我们证明,通过将FCMP应用于ResNet加速器,OCM瓶颈得到缓解,这使得加速器能够从Alveo U250移植到更小的Alveo U280板,与其他技术相比,吞吐量损失更小。通过在吞吐量和OCM要求之间提供更细粒度的权衡,FCMP提高了FPGA上自定义低功耗CNN推理设计的灵活性。
2020-11-14 cs.AR
Demystifying Memory Access Patterns of FPGA-Based Graph Processing Accelerators
可重编程硬件的最新进展(例如,FPGA)和存储器技术(例如,DDR4,HBM)承诺解决图形处理固有的性能问题,如传统硬件上的不规则存储器访问模式(例如,CPU)。虽然近年来提出了几个这样的图形加速器,但由于很少有开源实现和过多的实现工作,仍然很难评估它们的性能并在常见的图形工作负载和加速器平台上进行比较。在这项工作中,我们建立了一个图形处理加速器的模拟环境,使几个现有的加速器方法可比。这使我们能够研究相关的性能维度,例如分区方案和内存技术等。该评估深入了解了当前图形处理加速器在这些方面的优势和劣势,并进行了新颖的深入比较。
2021-03-31 cs.AR cs.DB
Solving Large Top-K Graph Eigenproblems with a Memory and Compute-optimized FPGA Design
稀疏矩阵上的大规模特征值计算是基于谱方法的图分析技术的关键组成部分。在这样的应用中,所有特征值和特征向量的穷举计算是不切实际和不必要的,因为谱方法可以仅使用与Top-K最大特征值相关联的特征向量来检索巨大图的相关属性。在这项工作中,我们提出了一个硬件优化的算法来近似的解决方案的Top-K特征问题的稀疏矩阵表示大型图形拓扑结构。我们的算法原型通过定制的FPGA硬件设计,利用HBM,Sysphon架构,和混合精度算法。与运行在80线程CPU上的高度优化的ARPACK库相比,我们实现了6.22倍的加速,同时保持了高精度和49倍的能效。
2021-03-18 cs.AR
FPGA Processor In Memory Architectures (PIMs): Overlay or Overhaul ?
本文对比 FPGA 上的定制 PIM 架构与 PIM 覆盖层,提出 PiCaSO,并证明其在延迟和 BRAM 利用率上的优势及反哺定制设计的改进。
2023-08-07 cs.AR
Theoretical Analysis of the Efficient-Memory Matrix Storage Method for Quantum Emulation Accelerators with Gate Fusion on FPGAs
针对大规模量子系统门融合实现的内存瓶颈,提出EMMS存储方法及基于EMMS的QEA架构,通过多PE加速张量积与矩阵乘法计算,理论分析表明其内存深度随量子比特数线性增长,并在18量子比特以内的电路计算中显著快于以往工作。
2024-10-15 cs.AR
TENET: An Efficient Sparsity-Aware LUT-Centric Architecture for Ternary LLM Inference On Edge
Microsoft Research Asia(微软亚洲研究院);Fudan University(复旦大学);Tsinghua University(清华大学);Microsoft(微软)
本文提出TENET,一种面向边缘端三值LLM推理的稀疏感知LUT中心架构,通过引入STL核心、动态激活N:M稀疏性、LUT权重解压缩及异构加速器设计,相比A100 GPU显著提升了能效与端到端推理速度。
2025-09-17 cs.AR
Performance Modeling Sparse MTTKRP Using Optical Static Random Access Memory on FPGA
静态随机存储器(E-SRAM)是现场可编程门阵列(FPGA)内部静态存储器的现行标准。尽管E-SRAM技术在过去十年中取得了巨大的进步,但E-SRAM技术尚未实现超快速、节能的静态随机存储器的目标。然而,对光学静态随机存取存储器(O-SRAM)的初步研究已经在创建节能超快静态存储器方面显示出有希望的结果。本文研究了O-SRAM在执行稀疏矩阵化张量时间Khatri-Rao乘积(spMTTKRP)时在存取速度和能量性能方面优于E-SRAM的优点。spMTTKRP是张量分解算法的重要组成部分,在数据科学应用中得到了广泛的应用。评估结果显示,与传统的E-SRAM技术相比,O-SRAM可以实现1.1倍-2.9倍的速度,同时节省2.8倍-8.1倍的能量。
2022-08-22 cs.AR cs.DC
FPGA Based Implementation of Deep Neural Networks Using On-chip Memory Only
深度神经网络(DNN)需要非常大量的计算和权重存储,因此非常期望使用专用硬件的高效实现。在这项工作中,我们开发了一个基于FPGA的定点DNN系统,只使用片上存储器,不访问外部DRAM。所开发的系统的执行时间和能耗进行比较与基于GPU的实现。由于FPGA存储器容量有限,该算法仅使用3位权值,并采用基于训练的定点权值优化。使用Xilinx XC7Z045的实现进行了测试的MNIST手写数字识别基准和TIMIT语料库上的音素识别任务。所获得的速度约为基于GPU的实现的四分之一,并且比基于PC的实现好得多。全速运行时的功耗小于5瓦,与基于GPU的系统相比,效率更高。
2016-08-29 cs.AR cs.NE
Toki: Profiling HBM Performance on FPGA Systems with RISC-V Soft Cores and PCIe Host DMA Traffic
Politecnico di Milano(米兰理工大学)
Toki是首个开源软硬件框架,通过联合RISC-V软核工作负载与PCIe主机DMA流量,在AMD Alveo U55C上剖析HBM性能,揭示计算核心组织、访问模式及争用对性能的影响。
2026-09-23 cs.AR
FPGA-based Hyrbid Memory Emulation System
针对混合内存系统设计探索中仿真速度慢的问题,提出基于FPGA的仿真平台,利用硬IP ARM处理器加速,相比Gem5实现9280倍仿真加速。
2020-11-09 cs.AR
An Irredundant and Compressed Data Layout to Optimize Bandwidth Utilization of FPGA Accelerators
针对 FPGA 加速器处理多维数据集时的内存带宽瓶颈,本文提出基于编译器的连续数据布局,并结合数据打包与运行时压缩,将 I/O 周期最多降低 7 倍。
2024-01-22 cs.AR
CNN-MERP: An FPGA-Based Memory-Efficient Reconfigurable Processor for Forward and Backward Propagation of Convolutional Neural Networks
Graduate School of Information, Production and Systems, Waseda University(早稻田大学信息生产系统研究生院)
大规模深度卷积神经网络(CNN)广泛用于机器学习应用中。虽然CNN涉及巨大的复杂性,但提供高密度计算资源集成的VLSI(ASIC和FPGA)芯片被认为是CNN实现的有前途的平台。然而,在计算单元的大规模并行性下,受超大规模集成电路芯片引脚数限制的外部内存带宽成为系统瓶颈。此外,VLSI解决方案通常被认为缺乏针对CNN的各种参数进行重新配置的灵活性。本文提出CNN-MERP来解决这些问题。CNN-MERP采用了高效的存储层次结构,可显著降低片上/片外数据分配、数据流优化和数据重用等多重优化对带宽的要求。提出的2级可重构性是用来使快速和有效的重新配置,这是基于控制逻辑和多引导功能的FPGA。结果,实现了1.94MB/GFlop的外部内存带宽要求,这比现有技术低55%。在有限的DRAM带宽下,Vertex UltraScale平台实现了1244 GFlop/s的系统吞吐量,比最先进的FPGA实现高5.48倍。
2017-03-22 cs.AR cs.LG