Run-time reconfigurable multi-precision floating point multiplier design for high speed, low-power applications
浮点乘法运算在图像处理、信号处理等许多应用领域都是一种重要的运算,但不同的应用对浮点乘法运算有不同的要求。有些要求高精度,有些要求低功耗,低延迟等,但IEEE-754格式是不是真正灵活的这些规格,而且设计是复杂的。最佳的运行时间可重配置硬件实现可能需要使用自定义浮点格式,这些格式不一定遵循IEEE指定的大小。本文提出了一种基于FPGA实现的运行时间可重构浮点乘法器,它具有自定义浮点格式,可满足不同的应用需求。根据精度或应用要求,该浮点乘法器可以有6种操作模式。通过使用具有自定义IP(知识产权)的优化设计,通过在乘法之前截断输入来完成更好的实现。并结合Karatsuba算法和Urdhva-Tiryagbhyam算法(吠陀数学)实现了无符号二进制乘法器。这进一步提高了乘法器的效率。
2020-12-06 cs.AR eess.SP
Evaluating Spatial Accelerator Architectures with Tiled Matrix-Matrix Multiplication
Korea Aerospace University(韩国航空大学);Georgia Institute of Technology(佐治亚理工学院);Sandia National Laboratories(桑迪亚国家实验室)
人们对用于机器学习应用的自定义空间加速器越来越感兴趣。这些加速器采用处理元件(PE)的空间阵列,通过自定义缓冲区层次结构和片上网络进行交互。这些加速器的效率来自于采用优化的低成本(即,跨PE的数据的空间/时间分区和细粒度调度)策略来优化数据重用。这项工作的重点是评估这些加速器架构使用平铺一般矩阵矩阵乘法(GEMM)内核。要做到这一点,我们开发了一个框架,找到优化的映射(低和瓦片大小)的平铺GEMM为给定的空间加速器和工作负载的组合,利用分析成本模型的运行时间和能源。我们对五个空间加速器的评估表明,我们的框架系统生成的分片GEMM映射在各种GEMM工作负载和加速器上实现了高性能。
2021-06-19 cs.AI cs.AR cs.DC
An Embedded RISC-V Core with Fast Modular Multiplication
物联网最大的问题之一是隐私和安全。加密和身份验证需要大的功率预算,而电池供电的物联网终端节点没有。为特定加密操作设计的硬件加速器为未来的更新提供了很少或根本没有灵活性。自定义指令解决方案的面积更小,并为要实施的新方法提供更大的灵活性。自定义指令的一个缺点是处理器必须等待操作完成。最终,设备对实时事件的响应时间会变长。在这项工作中,我们提出了一个处理器与扩展的自定义指令的模乘,块处理器,通常,两个周期的任何大小的模乘时,在部分执行模式下使用。我们为概念验证CPU采用了RISC-V的嵌入式和压缩扩展。我们的设计是在椭圆曲线密码学领域的最新密码算法的基准。我们的128位模乘CPU在ASIC上的工作频率为136 MHz,在FPGA上的工作频率为81 MHz。它实现了高达13倍的软件实现速度,同时降低了高达95%的整体功耗与41%的平均面积开销比我们的基础架构。
2020-09-30 cs.AR cs.CR
Efficient Hardware Implementation of Modular Multiplier over GF (2m) on FPGA
本文提出一种结合传统乘法与Karatsuba乘法的混合模乘硬件实现,面向NIST B-163/233/283/571参数,在FPGA上显著降低LUT使用、提升延迟与面积-延迟积,优化ECC点乘效率。
2025-06-24 cs.AR cs.CR
Optimizing Structured-Sparse Matrix Multiplication in RISC-V Vector Processors
本研究针对RISC-V向量处理器的结构化稀疏矩阵乘法优化问题,分析现有实现的性能影响因素,提出vindexmac指令以低硬件成本提升效率,在卷积神经网络测试中较现有优化内核提速25%至33%。
2025-01-17 cs.AR
Design and Implementation of a RISC-V SoC with Custom DSP Accelerators for Edge Computing
Department of Electronics Engineering, HBTU Kanpur(电子工程系,HBTU Kanpur)
本文分析RISC-V架构并通过周期精确仿真评估RV32I及M、A扩展,证明其嵌入式优势及定制加速可扩展性,且功耗较ARM Cortex-M0降低17%。
2025-06-07 cs.AI cs.AR eess.SP
Accelerating BLAS on Custom Architecture through Algorithm-Architecture Co-design
基本线性代数子程序在高性能和科学计算应用中起着关键作用。在实验上,过去的多核和通用图形处理单元(GPGPU)能够在65 W到240 W的功率下分别实现高达理论峰值性能的15%到57%,用于计算边界运算,如双/单精度的通用矩阵乘法(XGEMM)。对于带宽受限的操作,如单/双精度的矩阵向量乘法(XGEMV),性能仅为多核和GPGPU理论峰值性能的5%至7%。实现BLAS的性能需要摆脱传统的智慧,并通过算法架构协同设计,朝着为BLAS量身定制的定制加速器发展。在本文中,我们提出了加速1级(向量运算),2级(矩阵向量运算),3级(矩阵矩阵运算)BLAS通过算法架构协同设计的粗粒度可重构架构(CGRA)。我们选择REDEFINE CGRA作为我们实验的平台,因为REDEFINE可以通过定制的自定义功能单元(CFU)来支持感兴趣的领域。为了有效地实现BLAS的顺序,我们提出了一个处理单元(PE)的设计,并在PE中执行微架构增强,以实现高达74%的理论峰值性能的PE在DGEMM,40%在DGEMV和20%在双精度的内积(DDOT)。我们将此PE作为CFU附加到REDEFINE CGRA,并展示了我们解决方案的可扩展性。最后,我们展示了PE的性能比商用英特尔微架构、ClearSpeed CSX 700、FPGA和Nvidia GPGPU提高了3- 140倍。
2016-11-27 cs.AR cs.MS
NASA: Neural Architecture Search and Acceleration for Hardware Inspired Hybrid Networks
Georgia Institute of Technology(佐治亚理工学院);Nanjing University(南京大学);Rice University(莱斯大学)
乘法可以说是现代深度神经网络(DNN)中成本最占主导地位的操作,限制了它们可实现的效率,从而限制了它们在资源受限应用中的更广泛部署。为了解决这一限制,开创性的工作已经开发了手工制作的免乘法DNN,这需要专业知识和耗时的手动迭代,需要快速开发工具。为此,我们提出了一个名为NASA的神经架构搜索和加速框架,它可以实现自动化的乘法减少DNN开发,并集成了一个专用的乘法减少加速器,以提高DNN的可实现效率。具体来说,NASA采用了神经架构搜索(NAS)空间,该空间使用硬件启发的无乘法运算符(如移位和加法器)来增强最先进的空间,并配备了新颖的渐进式预训练策略(PGP)以及定制的训练配方,以自动搜索最佳的乘法减少DNN;最重要的是,NASA进一步开发了一个专用的加速器,该加速器提倡基于块的模板和自动映射器,专门用于NASA-NAS生成的DNN,以更好地利用其算法特性来提高硬件效率。实验结果和烧蚀研究一致验证了NASA的算法硬件协同设计框架在可实现的精度和效率权衡方面的优势。代码可在https://github.com/GATECH-EIC/NASA上获得。
2022-12-19 cs.AR cs.LG
Strassen Multisystolic Array Hardware Architectures
McMaster University(麦克马斯特大学)
针对Strassen矩阵乘法算法在通用硬件难以实现理论加速比的问题,提出并评估了多脉动阵列架构,可将算法复杂度降低转化为硬件资源节省,提升小矩阵计算利用率,在FPGA上实现资源优化并取得最优性能。
2025-02-14 cs.AI cs.AR cs.PF
SRAM Based Digital Custom Compute Engine for Improved Area Efficiency of AI Hardware
Indian Institute of Technology Indore(印度印多尔理工学院)
本文提出一种利用10T SRAM单元实现基于XNOR的存内计算架构,通过集成全加器减少路由复杂度,提升AI硬件面积效率。
2026-05-15 cs.AR
A Pipelined FPGA Architecture for Banded Sparse Matrix Dense Matrix Multiplication in Longformer
Trinity College Dublin(都柏林三一学院);University of Thessaly(色萨利大学)
本文提出一种流水线FPGA架构,通过自定义行式存储和双路径计算策略,高效加速Longformer中的带状稀疏矩阵-稠密矩阵乘法,实现高吞吐和低功耗。
2026-10-07 cs.AR
AWE: Adaptive Weight Encoding for Exact Integer Matrix Products with Fewer GEMMs on FP4 Tensor Cores
Graduate School of Informatics Nagoya University(名古屋大学信息学研究科);Information Technology Center Nagoya University(名古屋大学信息技术中心)
针对FP4张量核心,提出自适应权重编码(AWE),通过自由选择肢权重和线性组合存储平面,将INT8×INT8精确整数矩阵乘法的GEMM次数从9次降至6次,INT4×INT8降至4次,并减少Ozaki方案II的乘积数。
2026-09-22 cs.AR cs.MS cs.NA
Custom Algorithm-based Fault Tolerance for Attention Layers in Transformers
Integrated Circuits Lab, Electrical;Computer Engineering, Democritus University of Thrace, Xanthi, Greece
本文提出Flash-ABFT方法,通过单次校验覆盖注意力层中查询、键、值三矩阵乘积及softmax运算的在线校验和,在仅5.3%硬件面积和不到1.9%能耗开销下实现高效故障检测。
2025-07-22 cs.AR cs.LG
Efficient Realization of Givens Rotation through Algorithm-Architecture Co-design for Acceleration of QR Factorization
我们提出了基于广义吉文斯旋转(GGR)的QR分解的有效实现,其在Gflops/watt方面的性能比多核和通用图形处理单元(GPGPU)上的最新实现高3- 100倍。GGR是对经典Givens旋转(GR)操作的改进,其可以同时零化输入矩阵的行和列的多个元素。GGR需要减少33%的乘法相比,GR。对于自定义实现GGR,我们确定在GGR宏操作,并实现它们的可重构数据路径(RDP)紧密耦合到流水线的处理元件(PE)。在PE中,GGR比文献中提出的改进的Householder变换(MHT)获得1.1倍的加速。对于GGR的并行实现,我们使用REDEFINE,一个可扩展的大规模并行粗粒度可重构体系结构,并显示所达到的速度是相称的硬件资源在REDEFINE。GGR在Gflops/watt方面也优于通用矩阵乘法(gemm)10%,这是违反直觉的。
2018-03-23 cs.AR cs.DC cs.MS
VEDA: Efficient LLM Generation Through Voting-based KV Cache Eviction and Dataflow-flexible Accelerator
本文提出VEDA加速器,通过基于投票的KV缓存淘汰算法、灵活乘积数据流与可重构PE阵列及元素串行调度,实现边缘设备上LLM高效推理,将硬件复杂度从O(N)降至O(1)。
2025-07-01 cs.AR
FPGA Implementation of Convolutional Neural Network for Real-Time Handwriting Recognition
本文提出了一种基于Altera DE1 FPGA的实时手写识别设备,设计了32位浮点RISC处理器并实现了LC、全连接NN和类LeNet CNN三种机器学习架构,优化了性能、兼容性与资源使用。
2023-06-26 cs.AR cs.CV cs.LG