FPRaker: A Processing Element For Accelerating Neural Network Training
University of Toronto(多伦多大学);Vector Institute(向量研究所)
我们提出FPRaker,一个处理元件组成的训练加速器。FPRaker同时处理多个浮点乘法累加运算,并将其结果累加到更高精度的累加器中。FPRaker通过利用训练过程中自然出现的值来提高训练过程中的性能和能源效率。具体地说,它将每个乘-累加的操作数的有效数处理为一系列2的有符号幂。转换为这种形式是动态完成的。这暴露了可以跳过的无效工作:编码时的值只有很少的项,其中一些可以被丢弃,因为它们会落在浮点精度有限的累加器范围之外。我们证明,FPRaker可以用来组成一个加速器的培训,它可以提高性能和能源效率相比,使用传统的浮点单元ISO计算面积的限制。我们还证明,FPRaker提供额外的好处时,训练合并修剪和量化。最后,我们展示了FPRaker自然地放大了每层使用不同精度的训练方法的性能。
2020-10-15 cs.AI cs.AR
Occamy: A 432-Core 28.1 DP-GFLOP/s/W 83% FPU Utilization Dual-Chiplet, Dual-HBM2E RISC-V-based Accelerator for Stencil and Sparse Linear Algebra Computations with 8-to-64-bit Floating-Point Support in 12nm FinFET
本研究提出基于RISC-V的双核粒2.5D加速器Occamy,通过定制核心集群、低延迟互连与32 GiB HBM2E存储,在模板及稀疏线性代数计算中实现了领先的硬件利用率。
2024-06-21 cs.AR
Combined Integer and Floating Point Multiplication Architecture(CIFM) for FPGAs and Its Reversible Logic Implementation
提出了一种基于FPGA的整数浮点乘法器(CIFM)的设计思想。作者建议用小型4x4位乘法器设计的专用24x24乘法器替换FPGA中现有的18x18专用乘法器。还建议对于每个设计有4x 4位乘法器的专用24 x 24位乘法器块,应提供四个冗余4x 4乘法器,以增强自修复性(从故障中恢复)。在所提出的CIFM中,还提供了在运行时间的可重构性,从而导致低功率。提供专用24 × 24位乘法器的主要动机来源于单精度的浮点乘法器需要24 × 24位整数乘法器用于尾数乘法的事实。一个可重新配置的,可自我修复的24x24位乘法器(用4x4位乘法模块实现)将理想地满足这一目的,使FPGA更适合整数以及浮点运算。本文还提出了一种专用的4 × 4位乘法器。此外,近年来,可逆逻辑已经成为一种有前途的技术,其在低功耗CMOS、量子计算、纳米技术和光计算中具有应用。没有可逆逻辑就不可能实现量子计算。因此,本文还提供了所提出的CIFM的可逆逻辑实现。本文设计和提出的可逆CIFM将成为完全可逆FPGA的基础。
2006-10-14 cs.AR
A Stochastic Rounding-Enabled Low-Precision Floating-Point MAC for DNN Training
本文提出了一种支持随机舍入的FP8乘法器和FP12累加的MAC单元,通过优化SR实现和移除次正规值支持来减少面积和功耗,在保持模型精度的同时显著降低延迟和能耗。
2024-09-26 cs.AR
H-FA: A Hybrid Floating-Point and Logarithmic Approach to Hardware Accelerated FlashAttention
Department of Electrical and Computer Engineering, Democritus University of Thrace(德谟克利特大学电气与计算机工程系)
H-FA通过混合浮点数和对数域计算,优化FlashAttention的硬件实现,实现26.5%的面积和23.4%的功率减少,同时保持性能。
2026-02-09 cs.AR
Procrastination Is All You Need: Exponent Indexed Accumulators for Floating Point, Posits and Logarithmic Numbers
Ocean Logic Pty Ltd(海洋逻辑有限公司)
提出指数索引累加器,通过按指数分桶累加尾数并重构结果,实现高效长序列浮点求和,并扩展至 posits 与对数数。
2024-06-09 cs.AI cs.AR cs.CV
O-POPE: High-Frequency Pipelined Outer Product based GEMM acceleration with minimal buffering overhead
ETH Zurich(苏黎世联邦理工学院);Università di Bologna(博洛尼亚大学)
提出O-POPE,一种可扩展的外积引擎,通过重用浮点单元流水线寄存器作为缓冲区,实现高利用率、低开销和快速运行频率,在12nm FINFET工艺下达到1GHz(0.72V)操作,相比现有加速器性能提升1.33倍。
2026-06-01 cs.AR
NTX: An Energy-efficient Streaming Accelerator for Floating-point Generalized Reduction Workloads in 22nm FD-SOI
用于深度学习等多重累积(MAC)密集型工作负载的专用协处理器在从GPU到移动SoC的SoC平台中越来越普遍。在本文中,我们重新审视NTX(一种为大规模训练深度神经网络而开发的高效加速器),将其作为广义MAC和简化流引擎。该架构由一组32位浮点流协处理器组成,这些协处理器松散耦合到负责编排数据移动和计算的RISC-V核心。最近在22 nm FD-SOI技术中的硅实现的布局后结果显示,该加速器在1.25 GHz和168 mW下能够提供高达20 Gflop/s的性能。基于这些结果,我们表明,缩小到14 nm的NTX版本可以在10.4倍的硅面积上实现比当代GPU高3倍的能效,以及1.4 Tflop/s的计算性能,用于训练具有全浮点精度的大型最先进网络。对MAC密集型内核的扩展评估表明,NTX在机器学习之外的一般减少工作负载中可以始终实现高达87%的峰值性能。其模块化架构支持从高性能GPU级到低功耗嵌入式场景的不同规模部署。
2018-12-01 cs.AR cs.DC
HOBFLOPS CNNs: Hardware Optimized Bitslice-Parallel Floating-Point Operations for Convolutional Neural Networks
Trinity College Dublin, The University of Dublin(都柏林大学圣三一学院);The School of Computer Science and Statistics(计算机科学与统计学院);Institute of Technology Carlow(卡洛理工学院)
卷积神经网络(CNN)通常使用16位或32位浮点(FP)进行训练,研究人员表明,低精度浮点(FP)可以非常有效地进行推理。低精度FP可以在现场可编程门阵列(FPGA)和专用集成电路(ASIC)加速器中实现,但是现有的处理器一般不支持定制精度FP。我们提出了硬件优化的位片并行浮点运算符(HOBFLOPS),生成高效的自定义精度仿真位片并行软件FP算法的方法。我们生成定制精度FP例程,使用硬件合成设计流程进行优化以创建电路。我们提供了标准的单元库匹配的目标微处理器架构上的位操作,和代码生成器的硬件电路的位片软件等价物。我们利用位片并行来创建一个非常宽(32-512个元素)的矢量化卷积神经网络(CNN)卷积。将Arm和Intel处理器上CNN卷积中的硬件优化位片并行浮点运算符(HOBFLOPS)乘法累加(MAC)性能与Berkeley的SoftFP 16等效MAC进行比较。HOBFLOPS 16在Intel AVX 512上的性能是SoftFP 16的8倍。HOBFLOPS提供具有自定义范围和精度的任意精度FP,例如,HOBFLOPS 9在Arm Neon上的性能是HOBFLOPS 16的6倍。HOBFLOPS允许研究人员在软件CNN加速器的算法中原型化不同级别的自定义FP精度。此外,HOBFLOPS快速定制精度FP CNN在内存带宽有限的情况下可能是有价值的。
2021-02-28 cs.AR cs.LG
High-frequency Multispeculative Multiply-Accumulation Unit for Fused Posit Arithmetic
Facultad de Informática, Universidad Complutense de Madrid(马德里康普顿斯大学计算机学院)
本文提出一种面向32/64位Posit算术的高频多推测乘累加单元,通过重构流水线、采用Booth-4与Kogge-Stone乘法器、以多推测加法器替代宽quire累加器,实现面积最多减少19.8%、能耗降低超50%,周期时间较64位quire方案缩短79.0%。
2026-09-18 cs.AR
CHARM: Composing Heterogeneous Accelerators for Matrix Multiply on Versal ACAP Architecture
密集矩阵乘法(MM)是深度学习应用中使用最多的内核之一。为了应对这些应用的高计算需求,具有FPGA和专用ASIC加速器的异构架构已成为有前途的平台。例如,AMD/Xilinx Versal ACAP架构将通用CPU内核和可编程逻辑与针对AI/ML优化的AI Engine处理器相结合。凭借400个AIE,它为32位浮点数据提供了高达6.4 TFLOP的性能。然而,机器学习模型通常包含大型和小型MM操作。虽然大型MM操作可以跨多个核高效并行化,但小型MM操作通常不能。我们观察到,在Versal ACAP中的大型单片MM加速器上执行来自BERT自然语言处理模型的一些小MM层,实现了不到理论峰值性能的5%。因此,一个关键的问题出现了:我们如何设计加速器,以充分利用有限的通信带宽下的丰富的计算资源的应用程序与不同大小的多个MM层?我们确定了最大的系统吞吐量的瓶颈造成的不匹配的大规模计算资源的一个单片加速器和各种MM层的小尺寸的应用程序。为了解决这个问题,我们提出了CHARM框架组成多个不同的MM加速器架构,同时对不同的层在一个应用程序。我们在AMD Versal ACAP VCK 190评估板上为四种不同的应用程序部署了CHARM框架,包括BERT、ViT、NCF和MLP。实验结果表明,我们在BERT、ViT、NCF和MLP上分别获得了1.46 TFLOPs、1.61 TFLOPs、1.74…
2023-01-06 cs.AR
Mokey: Enabling Narrow Fixed-Point Inference for Out-of-the-Box Floating-Point Transformer Models
University of Toronto(多伦多大学);Vector Institute(向量研究所)
越来越大和更好的Transformer模型不断提高自然语言处理应用程序的最新精度和功能。这些模型需要更多的计算能力、存储和能源。Mokey通过将所有值量化为4位索引并放入代表性16位定点质心的字典中,减少了最先进的32位或16位浮点Transformer模型的占用空间。Mokey不需要微调,这是一个基本功能,因为许多人通常无法获得训练资源或数据集。利用Transformer模型中自然出现的值范围,Mokey选择质心值来拟合指数曲线。这一独特的功能使Mokey能够用窄3b定点加法取代大量原始乘法-累加运算,从而实现面积和能效的硬件加速器设计。在一组最先进的Transformer模型上,Mokey加速器的能效比基于Tensor Core的加速器提高了一个数量级,同时根据模型和片上缓冲容量,将性能提高了至少$4\times$和$15\times$。可选地,Mokey可以用作任何其他加速器的内存压缩辅助,透明地将宽浮点或定点激活或权重存储到窄的4位索引中。Mokey证明优于现有技术的Transformers的量化方法。
2022-03-23 cs.AR cs.LG
An Energy-Efficient Approximate Posit Multiply-Divide Unit
Birla Institute of Technology and Science, Hyderabad, India(印度海德拉巴比拉理工科学研究所);Birla Institute of Technology and Science, Pilani, India(印度皮拉尼比拉理工科学研究所);The ICFAI Foundation for Higher Education, India(印度ICFAI高等教育基金会);Sri Sivasubramaniya Nadar College of Engineering, India(印度斯里西瓦苏布拉马尼亚纳达尔工程学院);Arizona State University, Tempe, Arizona USA(美国亚利桑那州坦佩亚利桑那州立大学)
针对正数系统中的除法运算,提出一种基于查找表和减法操作的近似倒数计算方法,结合乘除单元硬件架构,在牺牲完美舍入的条件下显著降低功耗延迟积和面积。
2026-05-23 cs.AR
Monotonicity of Multi-Term Floating-Point Adders
本文揭示了多项浮点加法器在不对中间量规格化时可能出现非单调性,并通过形式化证明和MATLAB仿真验证了该现象及其硬件设计成因。
2023-12-04 cs.AR cs.MS cs.NA
BEANNA: A Binary-Enabled Architecture for Neural Network Acceleration
University of California, Los Angeles(加州大学洛杉矶分校)
现代硬件设计趋势已经转向专门的硬件加速,用于机器学习和计算机视觉等计算密集型任务。虽然这些复杂的工作负载可以通过商用GPU来加速,但在需要满足移动和嵌入式设备严格的内存、吞吐量和功耗限制时,特定于领域的硬件要理想得多。本文提出并评估了二进制使能架构的神经网络加速(BEANNA),一个神经网络硬件加速器能够处理浮点和二进制网络层。通过使用一种新型的16 × 16脉动阵列矩阵乘法器,其处理元件可以计算浮点和二进制乘加,BEANNA可以在高精度浮点和二进制神经网络层之间无缝切换。BEANNA以100 MHz的时钟速度运行,在高精度模式下工作时,峰值吞吐量为52.8 GigaOps/秒,在二进制模式下工作时,峰值吞吐量为820 GigaOps/秒。BEANNA的评估是通过比较一个混合网络与浮点外层和二进制隐藏层的网络,只有浮点层。使用BEANNA加速的混合网络实现了194%的吞吐量增加,68%的内存使用量减少,每个推理的能耗减少66%,所有这些都是以MNIST数据集上仅0.23%的分类准确性降低为代价的。
2021-08-04 cs.AI cs.AR cs.LG
Bit-Accurate Modeling of GPU Matrix Multiply-Accumulate Units: Demystifying Numerical Discrepancy and Accuracy
NVIDIA(英伟达);AMD(超微半导体)
本文提出CLFP框架,构建了十种GPU架构的MMA操作位精确算术模型,揭示了四个精度瓶颈和一个数值不对称设计,为未来MMA单元设计提供指导。
2026-09-29 cs.AR cs.LG cs.NA
LightNorm: Area and Energy-Efficient Batch Normalization Hardware for On-Device DNN Training
DGIST(大邱庆北科学技术院)
在训练早期深度神经网络(DNN)时,通过卷积或线性层生成中间特征占用了大部分执行时间。因此,已经进行了广泛的研究以减少卷积或线性层的计算负担。然而,在最近的移动友好的DNN中,处理这些层所涉及的操作的相对数量已经显着减少。因此,其他层(如批量归一化层)的执行时间比例增加了。因此,在这项工作中,我们进行了详细的分析,批量归一化层,以有效地减少运行时开销的批量归一化过程。在深入分析的基础上,我们提出了一个非常有效的批量归一化,名为LightNorm,及其相关的硬件模块。更详细地说,我们融合了三种近似技术,即i)低位精度,ii)范围批量归一化,以及iii)块浮点。所有这些近似技术都被仔细地利用,不仅要保持中间特征图的统计数据,而且要尽量减少片外存储器访问。通过使用所提出的LightNorm硬件,我们可以在DNN训练期间实现显著的面积和能源节省,而不会影响训练精度。这使得所提出的硬件成为设备上培训的绝佳候选者。
2022-11-04 cs.AR cs.LG
DHFP-PE: Dual-Precision Hybrid Floating Point Processing Element for AI Acceleration
Institute of Engineering and Technology, Devi Ahilya University, Indore, India(印度印多尔德维·阿希利亚大学工程技术学院);NSDCS Research Group, Indian Institute of Technology Indore, India(印度理工学院印多尔分校NSDCS研究组)
本文提出一种支持FP8和FP4格式的双精度混合浮点MAC处理元件,通过创新的位分割技术实现高能效和高吞吐量的AI计算,相比现有设计在面积和功耗上分别节省60.4%和86.6%。
2026-04-08 cs.AR cs.RO eess.AS
The AetherFloat Family: Block-Scale-Free Quad-Radix Floating-Point Architectures for AI Accelerators
Keita Morisaki(独立研究者)
AetherFloat家族是一种面向AI加速器的无块缩放四进制浮点架构,通过显式尾数和四进制缩放实现更高的动态范围和更低的功耗,同时支持量化感知训练。
2026-02-26 cs.AR cs.LG
Shedding the Bits: Pushing the Boundaries of Quantization with Minifloats on FPGAs
School of Computing, National University of Singapore(新加坡国立大学计算机学院);AMD Research and Advanced Development(AMD研究与高级开发部);Tampere University(坦佩雷大学);AMD(AMD公司)
本文提出minifloats低精度浮点格式,并在FPGA上系统比较其与整数表示在3至8位下的精度与硬件成本,证明其对视觉Transformer等负载具有优势。
2024-07-05 cs.AI cs.AR cs.CV
Sparse Stream Semantic Registers: A Lightweight ISA Extension Accelerating General Sparse Linear Algebra
本文提出轻量级 RISC-V ISA 扩展,以流式间接寻址、交集和并集原语支持 CSR/CSF 等格式的单侧与双侧稀疏运算,在极小面积开销下显著提升性能、能效和 FPU 利用率。
2023-10-02 cs.AR
Real-time Hyper-Dimensional Reconfiguration at the Edge using Hardware Accelerators
SRI International(美国斯坦福国际研究院);Center for Vision Technologies(视觉技术中心)
在本文中,我们使用低SWaP嵌入式硬件提出了战术边缘的超维可重构分析(HyDRATE),该硬件可以在边缘利用非MAC(无浮点多重累积运算)深度神经网络(DNN)结合超维(HD)计算加速器执行实时的【形】重构。我们描述的算法,训练量化模型的生成,和模拟性能的特征提取器免费的乘法积累喂养一个多维逻辑为基础的分类器。然后,我们展示了性能如何随着超维的数量而增加。与传统DNN相比,我们描述了实现的低SWaP FPGA硬件和嵌入式软件系统,并详细介绍了实现的硬件加速器。我们讨论了测量的系统延迟和功率,噪声鲁棒性,由于使用可学习的量化和高清计算,实际与模拟系统性能的视频活动分类任务和演示的重新配置在同一个数据集。我们表明,在该领域的可重构性是通过只重新训练前馈HD分类器,而不使用梯度下降反向传播(无梯度),使用少样本学习的新类的边缘。最初的工作使用LRCN DNN,目前已扩展到使用具有改进性能的双流DNN。
2022-06-10 cs.AR cs.CV
Quantized Neural Networks for Low-Precision Accumulation with Guaranteed Overflow Avoidance
AMD(超威半导体)
我们引入了一个量化感知的训练算法,保证避免数值溢出时,减少推理过程中的精度的迭代。我们利用权重归一化作为在训练过程中使用我们推导出的累加器位宽界限来约束参数的一种手段。我们评估我们的算法在多个量化的模型,我们训练不同的任务,表明我们的方法可以降低精度的预测,同时保持模型的精度相对于浮点基线。然后,我们表明,这种减少转化为定制的基于FPGA的加速器的设计效率提高。最后,我们表明,我们的算法不仅限制权重,以适应用户定义的位宽的累加器,但也增加了稀疏性和压缩性的权重。在我们所有使用8位权重和激活训练的基准模型中,我们观察到,将量化神经网络的隐藏层限制为适合16位卷积,平均稀疏度为98.2%,估计压缩率为46.5倍,同时保持99.2%的浮点性能。
2023-01-31 cs.AI cs.AR cs.CV
SPADE: A SIMD Posit-enabled compute engine for Accelerating DNN Efficiency
Centre for Advanced Electronics, IIT Indore(印度理工学院印地那分校高级电子中心);NSDCS Research Group, IIT Indore(印度理工学院印地那分校NSDCS研究组)
SPADE是一种基于SIMD Posit的计算引擎,通过统一的多精度架构提升DNN的计算效率和能效。
2026-01-24 cs.AR cs.CV eess.IV
MiniFloat-NN and ExSdotp: An ISA Extension and a Modular Open Hardware Unit for Low-Precision Training on RISC-V cores
本文提出 RISC-V 的 MiniFloat-NN 低精度训练 ISA 扩展及融合 ExSdotp 硬件单元,支持多种 FP8/FP16 运算,并在 12 nm 八核集群中实现 575 GFLOPS/W。
2022-07-07 cs.AR
Accurate Models of NVIDIA Tensor Cores
School of Computer Science, University of Leeds(利兹大学计算机学院)
针对NVIDIA GPU中矩阵乘法器的非IEEE 754行为导致结果不可重现的问题,提出通过测试向量和半穷举验证构建V100、A100、H100和B200 GPU的低精度矩阵乘法器软件模型,实现位精确模拟。
2026-06-12 cs.AR cs.MS cs.NA
GOBO: Quantizing Attention-Based NLP Models for Low Latency and Energy Efficient Inference
University of Toronto(多伦多大学)
基于注意力的模型在各种自然语言理解任务中取得了显著的成功。然而,高效的执行仍然是一个挑战,这些模型是内存限制,由于其大量的参数。我们提出了GOBO,模型量化技术,压缩的绝大多数(通常为99.9%)的32位浮点参数的最先进的BERT模型及其变种到3位,同时保持其准确性。与其他量化方法不同,GOBO不需要微调或重新训练来补偿量化误差。我们提出了两个实际的硬件应用GOBO。在第一个GOBO减少了内存存储和交通,并因此推理延迟和能源消耗。这种GOBO内存压缩机制与许多架构兼容;我们使用TPU,Eyeriss和使用Tensor Core类单元的架构来演示它。其次,我们提出了一个共同设计的硬件架构,也减少了计算。独特的是,GOBO架构即使在计算期间也保持了3b中的大部分权重,这一特性:(1)使处理元件面积有效,允许我们在每单位面积上封装更多的计算能力,(2)用加法取代大多数乘法累加,以及(3)通过放大片上存储器容量来减少片外流量。
2020-09-27 cs.AR cs.LG stat.ML
POLARON: Precision-aware On-device Learning and Adaptive Runtime-cONfigurable AI acceleration
NSDCS Research Group, Indian Institute of Technology Indore, India(NSDCS研究组,印度理工学院Indore)
本文提出 POLARON 中的多精度 SIMD MAC 引擎 PARV-CE,通过统一数据通路、层级自适应精度和软硬件协同设计,在边缘训练与推理中显著提升能效并降低资源占用。
2025-06-10 cs.AI cs.AR cs.CC
Transformer Accelerator (TFA): A Macro-Op INT8 Hardware Chip for Transformer Inference and Machine Translation
Independent Researcher(独立研究者)
该研究提出了支持Transformer推理和多语言机器翻译的TFA INT8硬件加速器,其功能验证达标,端到端速度较22线程CPU提升约20倍,可实现预训练Transformer的比特精确执行。
2026-08-26 cs.AR cs.CL cs.LG
MARS: Multi-macro Architecture SRAM CIM-Based Accelerator with Co-designed Compressed Neural Networks
National Tsing Hua University(台湾清华大学);Information and Communication Labs, Industrial Technology Research Institute(工业技术研究院资讯与通讯研究所)
卷积神经网络(CNN)在深度学习应用中起着关键作用。然而,CNN的大量存储开销和大量计算成本在硬件加速器中是有问题的。内存计算(CIM)体系结构在有效计算大规模矩阵向量乘法方面表现出巨大的潜力。然而,密集的乘法和累加(MAC)操作执行的交叉阵列和有限的能力的CIM宏仍然是瓶颈,进一步提高能源效率和吞吐量。为了减少计算量,网络修剪和量化是两种广泛研究的压缩方法,以缩小模型的大小。然而,大多数模型压缩算法只能在基于数字的CNN加速器中实现。为了在基于静态随机存取存储器(SRAM)CIM的加速器中实现,模型压缩算法必须考虑CIM宏的硬件限制,例如可以同时导通的字线和位线的数量,以及如何将权重映射到SRAM CIM宏。在这项研究中,提出了一种软件和硬件协同设计的方法来设计一个SRAM的基于CIM的CNN加速器和SRAM的CIM感知模型压缩算法。为了减少批量归一化(BN)对MAC的高精度要求,提出了一种将BN融合到权值中的量化算法。此外,为了减少网络参数的数量,稀疏算法,考虑了CIM架构的建议。最后,MARS,基于CIM的CNN加速器,可以利用多个SRAM CIM宏作为处理单元,并支持稀疏神经网络,提出。
2021-05-25 cs.AR cs.ET cs.LG