PENDA: An Efficient Processing Element via Norm-of-Difference for Deep Learning Accelerators
Institute of Electronics, National Yang Ming Chiao Tung University(国立阳明交通大学电子研究所)
本文提出PENDA处理单元,利用余弦定理将乘法转为平方差运算,在保持精确性的同时,使深度学习加速器PE阵列的面积、能耗和时钟周期分别减少11%~36%、5%~48%和11%~19%。
2026-09-09 cs.AR
PIMSIM-NN: An ISA-based Simulation Framework for Processing-in-Memory Accelerators
针对存内计算加速器性能评估需求,本文提出 PIMSIM-NN,通过专用 ISA、编译器与周期精确仿真器解耦软硬件,并以事件驱动方式支持硬件并行性。
2024-02-28 cs.AR
PRIMAL: Processing-In-Memory Based Low-Rank Adaptation for LLM Inference Accelerator
National University of Singapore(新加坡国立大学)
PRIMAL通过内存计算和低秩适应技术,实现LLM推理加速,相比NVIDIA H100在吞吐量和能效上有显著提升。
2026-01-20 cs.AR
Dynamic Resource Partitioning for Multi-Tenant Systolic Array Based DNN Accelerator
深度神经网络(DNN)已成为云服务器和边缘设备中的重要应用。与此同时,这些平台上越来越多的DNN增加了在同一设备上执行多个DNN的需求。本文提出了一种动态分区算法,在基于系统数组的加速器上执行多个DNN的并发处理。跨多个DNN共享加速器的存储和处理资源可以提高资源利用率,并减少计算时间和能耗。为此,我们提出了一个分区的重量固定的处理元素的逻辑中的一个小的修改的卷积。我们评估的能量消耗和计算时间与重和轻的工作负载。模拟结果显示,与单租户相比,在重负载和轻负载下,能耗分别提高了35%和62%,计算时间分别提高了56%和44%。
2023-02-21 cs.AR
A Near-Sensor Processing Accelerator for Approximate Local Binary Pattern Networks
在这项工作中,提出了一种高速和节能的基于比较器的近传感器本地二进制模式加速器架构(NS-LBP),以执行一种新的本地二进制模式深度神经网络。首先,受到最近LBP网络的启发,我们设计了一个近似的,面向硬件的,和乘法累积(MAC)-免费的网络命名为Ap-LBP有效的特征提取,进一步降低计算复杂度。然后,我们开发了NS-LBP作为一个处理在SRAM单元和一个并行的内存中的LBP算法处理附近的传感器在缓存中的图像,显着降低数据传输到片外处理器的功耗。我们在MNIST和SVHN数据集上的电路到应用联合仿真结果表明,与基线CNN和LBP网络模型相比,精度略有下降,而NS-LBP实现了1.25 GHz和37.4 TOPS/W的能效。与最近最好的基于LBP的网络相比,NS-LBP将能耗降低了2.2倍,执行时间缩短了4倍。
2022-10-13 cs.AR
A Low-Power Accelerator for Deep Neural Networks with Enlarged Near-Zero Sparsity
在物联网中具有严格功率预算的设备中运行深度学习仍然是一个挑战。本文提出了一种用于嵌入式设备中处理深度神经网络的低功耗加速器。通过避免近零值数据的乘法来实现功率降低。提出了近零近似和一个专用的近零近似单元(NZAU)来预测和跳过一定阈值下的近零乘法。与跳过零值计算相比,我们的设计在LeNet-5和Alexnet中分别实现了1.92倍和1.51倍的总乘法进一步减少,而精度损失可以忽略不计。在所提出的加速器中,256个乘法器被分组为16个独立的处理通道(PL),以同时支持多达16个神经元激活。在每个PL中的数据预处理和缓冲的帮助下,即使数据过多地流入,乘法器也可以在大部分时间内进行时钟门控。该加速器采用UMC 65 nm工艺设计和仿真,工作频率为500 MHz,在处理Alexnet的全连接层FC 8时,速度比移动GPU Tegra K1快$>$ 4倍,而能耗则低717倍。
2017-05-22 cs.AR
Flexagon: A Multi-Dataflow Sparse-Sparse Matrix Multiplication Accelerator for Efficient DNN Processing
稀疏性是现代DNN模型中的一个增长趋势。现有的稀疏-稀疏矩阵乘法(SpMSpM)加速器被定制为特定的SpMSpM算法(即,内产品,外产品或古斯塔夫森),这决定了他们的整体效率。我们表明,这种静态的决定固有的结果在一个次优的动态解决方案。这是因为不同的SpMSpM内核显示不同的特征(即,维度、稀疏模式、稀疏度),这使得每个子图更好地适合不同的数据集。在这项工作中,我们提出Flexagon,第一个SpMSpM可重构的加速器,能够通过使用最适合每种情况下的特定的低功耗执行SpMSpM计算。Flexagon加速器基于一种新型的合并-还原网络(MRN),该网络将还原和合并的概念统一在同一衬底上,从而提高了效率。此外,Flexagon还包括一个3层存储层次结构,专门针对输入和输出压缩矩阵的不同访问特性。使用来自各种应用领域的当代DNN模型的详细周期级模拟,我们表明Flexagon相对于最先进的SIGMA类,Sparch类和Gamma类加速器实现了4.59倍,1.71倍和1.35倍的平均性能优势(平均性能/面积效率分别为265%,67%和18%)。
2023-01-25 cs.AR
In-Storage Embedded Accelerator for Sparse Pattern Processing
我们提出了一种新的架构稀疏模式处理,使用嵌入式加速器的闪存存储。大数据集上的稀疏模式处理是诸如文档搜索、自然语言处理、生物信息学、子图匹配、机器学习和图处理等应用的本质。我们的原型加速器的一个切片能够处理高达1 TB的数据,实验表明,它可以在16核系统上以一小部分的功耗和成本胜过C/C++软件解决方案;加速器的优化版本可以匹配48核服务器的性能。
2016-11-10 cs.AR cs.DB
Exploring Memory Access Patterns for Graph Processing Accelerators
商业和技术的最新趋势(例如,机器学习、社会网络分析)受益于在数据库和数据科学平台中存储和处理越来越多的图形结构数据。作为具有可定制的存储层次结构的图形处理的加速器的FPGA承诺解决由传统硬件上固有的不规则存储器访问模式(例如,CPU)。然而,开发这样的硬件加速器仍然是耗时且困难的,并且基准测试是非标准化的,这阻碍了对存储器访问模式变化的影响的理解和图形处理加速器的系统工程。在这项工作中,我们提出了一个模拟环境的基础上模拟他们的内存访问模式的图形处理加速器的分析。此外,我们评估了我们的方法在两个国家的最先进的FPGA图形处理加速器,并显示再现性,可比性,以及缩短开发过程的例子。在FPGA等加速器硬件上不实现周期精确的内部数据流可显著缩短实现时间,提高基准参数透明度,并允许比较图形处理方法。
2021-02-07 cs.AR cs.DB
RAPIDx: High-performance ReRAM Processing in-Memory Accelerator for Sequence Alignment
基因组序列比对是许多生物学应用的核心。测序技术的进步产生了大量的数据,使得序列比对成为生物信息学分析的关键瓶颈。现有的用于对准的硬件加速器受到有限的片上存储器、昂贵的数据移动和不佳优化的对准算法的影响。他们无法同时处理测序机产生的大量数据。在本文中,我们提出了一个基于ReRAM的加速器,RAPIDx,使用内存处理(PIM)进行序列比对。RAPIDx通过软硬件协同设计实现了卓越的效率和性能。首先,我们提出了一种适用于PIM架构的自适应带状并行对齐算法。与原始的基于动态规划的对准相比,所提出的算法显著地降低了所需的复杂度、数据位宽度和存储器占用,而代价是可以忽略不计的精度降低。然后,我们提出了有效的PIM架构,实现所提出的算法。RAPIDx中的数据流实现了四级并行,我们在ReRAM中设计了一个原位对齐计算流程,与我们之前的PIM设计RAPID相比,提供了$5.5$ - $9.7\times$效率和吞吐量的改进。所提出的RAPIDx是可重新配置的,作为一个协处理器集成到现有的基因组分析管道,以提高序列比对或编辑距离计算。在短读段比对方面,RAPIDx提供的$131.1\times$和$46.8\times$吞吐量分别优于最先进的CPU和GPU库。与用于长读比对的ASIC加速器相比,RAPIDx的性能要高出$1.8$ - $2.9\times$。
2023-01-25 cs.AR
Demystifying Memory Access Patterns of FPGA-Based Graph Processing Accelerators
可重编程硬件的最新进展(例如,FPGA)和存储器技术(例如,DDR4,HBM)承诺解决图形处理固有的性能问题,如传统硬件上的不规则存储器访问模式(例如,CPU)。虽然近年来提出了几个这样的图形加速器,但由于很少有开源实现和过多的实现工作,仍然很难评估它们的性能并在常见的图形工作负载和加速器平台上进行比较。在这项工作中,我们建立了一个图形处理加速器的模拟环境,使几个现有的加速器方法可比。这使我们能够研究相关的性能维度,例如分区方案和内存技术等。该评估深入了解了当前图形处理加速器在这些方面的优势和劣势,并进行了新颖的深入比较。
2021-03-31 cs.AR cs.DB
SpOctA: A 3D Sparse Convolution Accelerator with Octree-Encoding-Based Map Search and Inherent Sparsity-Aware Processing
针对3D稀疏卷积在通用平台上的映射搜索慢、计算与内存开销大问题,提出SpOctA加速器,通过八叉树编码协同优化、固有稀疏利用和非均匀缓存实现显著加速与能效提升。
2023-08-18 cs.AR
HPIM: Heterogeneous Processing-In-Memory-based Accelerator for Large Language Models Inference
Beihang University(北京航空航天大学);Shandong Laboratory of ASIC and Intelligent Instruments in Qingdao, Beihang University(青岛山东大学实验室(ASIC与智能仪器))
针对大语言模型推理挑战,提出HPIM,用软硬件协同设计,将工作负载依特性分至SRAM-PIM和HBM-PIM子系统,引入耦合管道策略,显著优于现有加速器。
2026-07-07 cs.AR
An FPGA-Based Hardware Accelerator for Energy-Efficient Bitmap Index Creation
位图索引被认为是在线分析处理系统的一个很有前途的候选者,因为它不仅有效地支持并行处理,而且还支持复杂的多维查询。但是,位图索引创建是一项耗时的任务。本研究充分利用现场可编程门阵列(FPGA)的大规模并行计算能力,首次提出了两种位图索引生成硬件加速器BIC 64 K8和BIC 32 K16。每个加速器包含两个主要组件,即增强的内容可寻址存储器和查询逻辑阵列模块,允许BIC 64 K8和BIC 32 K16在每个时钟周期并行索引65,536个8位字和32,768个16位字。在Intel Arria V 5ASTFD 5 FPGA上的实验结果表明,在100 MHz时,BIC 64 K8和BIC 32 K16的索引吞吐率分别达到1.43 GB/s和1.46 GB/s。吞吐量也被证明是稳定的,无论数据集的大小。更重要的是,与基于中央处理单元和图形处理单元的设计相比,BIC 32 K16的能耗分别仅为6.76%和3.28%。
2018-04-20 cs.AR
PIMCOMP: An End-to-End DNN Compiler for Processing-In-Memory Accelerators
本文提出端到端DNN编译器PIMCOMP,通过抽象可配置模板与多级优化框架,解决PIM加速器部署中的资源利用与数据流调度问题,显著提升多架构下的吞吐量、延迟与能效。
2024-11-14 cs.AR
BARVINN: Arbitrary Precision DNN Accelerator Controlled by a RISC-V CPU
我们提出了一个DNN加速器,允许在任意精度的推理与专用的处理元件,可配置在位级别。我们的DNN加速器有8个处理元件,由RISC-V控制器控制,在使用最新的Alveo U250 FPGA平台实现时,具有8.2 TMAC的计算能力。我们开发了一个代码生成器工具,该工具以ONNX格式摄取CNN模型,并为RISC-V控制器生成可执行命令流。当选择不同的量化级别时,我们通过运行不同的DNN内核和模型来展示我们的加速器的可扩展吞吐量。与其他低精度加速器相比,我们的加速器提供了运行时间可编程性,无需硬件重新配置,并且可以加速具有多个量化级别的DNN,而无论目标FPGA大小如何。BARVINN是一个开源项目,可以在https://github.com/hossein1387/BARVINN上找到。
2022-12-31 cs.AR
SigDLA: A Deep Learning Accelerator Extension for Signal Processing
针对物联网中深度学习与信号处理需求并存但DSP效率低的问题,提出在深度学习加速器上通过可编程数据混洗和可重构计算阵列实现信号处理,显著提升性能并降低能耗。
2024-07-17 cs.AR
Heterogeneous Multi-core Array-based DNN Accelerator
在本文中,我们研究了基于阵列的DNN加速器的架构参数对各种网络拓扑中加速器的能耗和性能的影响。为此,我们开发了一种工具,它模拟神经网络在基于阵列的加速器上的执行,并具有测试不同配置的能力,以估计能耗和处理延迟。基于我们对基准网络在不同架构参数下的行为的分析,我们为高效而高性能的加速器设计提供了一些建议。接下来,我们提出了一种异构多核芯片方案,用于深度神经网络执行。一个选择性的小搜索空间的评估表明,执行神经网络在其接近最佳的核心配置可以节省高达36%的能源消耗和67%的能源延迟产品分别。此外,我们提出了一种算法,将网络层的处理分布在多个相同类型的核心,以加快计算通过模型并行。在不同网络和不同核数的情况下进行的评估验证了该算法在加速处理到接近最优值方面的有效性。
2022-06-25 cs.AR
Combining Fault Tolerance Techniques and COTS SoC Accelerators for Payload Processing in Space
面向空间载荷处理,本文研究 Zynq FPGA 与 Myriad VPU 两类 COTS 加速器的容错方案,并设计基于 CIF/LCD 与自定义 CRC 的可靠协同接口。
2025-06-15 cs.AR
TCIM: Triangle Counting Acceleration With Processing-In-MRAM Architecture
三角形计数(Triangle Counting,TC)是图形分析中的一个基本问题,在GPU和FPGA等传统计算平台上有着广泛的应用。然而,这些方法遭受带宽瓶颈,因为TC计算涉及大量的数据传输。在本文中,我们建议克服这一挑战,设计一个TC加速器利用新兴的处理MRAM(PIM)架构。我们的方法背后的真正创新是一种新颖的方法来执行TC与逐位逻辑运算(如\texttt{AND}),而不是传统的方法,如矩阵计算。这使得高效的存储器中实现TC计算,我们在本文中证明与计算自旋转移矩磁性RAM(STT-MRAM)阵列。此外,我们开发了定制的图切片和映射技术,以加快计算速度,降低能耗。我们使用设备到架构的协同仿真框架来验证我们提出的TC加速器。实验结果表明,该数据映射策略可以减少计算量$99.99\%$和内存操作\texttt{WRITE}的$72\%$。与现有的GPU或FPGA加速器相比,我们的内存加速器分别实现了$9\times$和$23.4\times$的加速,以及比FPGA加速器更高的$20.6\times$能效。
2020-07-21 cs.AR
Leveraging Recurrent Patterns in Graph Accelerators
Concordia University(康科迪亚大学)
本文提出一种图处理方法,通过识别频繁子图模式并分配给图引擎,减少memristor写操作,提升效率与能效。
2025-12-01 cs.AR
Understanding the Impact of On-chip Communication on DNN Accelerator Performance
近年来,深度神经网络以前所未有的速度蓬勃发展。它们在计算机视觉、自然语言处理、医学或经济学等领域都取得了出色的准确性。具体而言,卷积神经网络(CNN)特别适合于对象识别或识别任务。然而,这带来了很高的计算成本,促使使用专门的GPU架构甚至ASIC来实现高速度和能源效率。ASIC加速器简化了适用于CNN计算的某些流程的执行,这些流程意味着大量数据的不断移动,从而将片上通信转变为加速器内的关键功能。本文研究了边缘设备的CNN推理加速器内的通信流,旨在证明当前和未来在互连其处理元件的片上网络设计中的决策是合理的。利用这种分析,然后,我们定性地讨论了在这种情况下,引入无线片上网络的新范式的潜在影响。
2019-12-03 cs.AR
ScalaBFS: A Scalable BFS Accelerator on HBM-Enhanced FPGAs
高带宽存储器(HBM)通过向处理单元公开多个存储器通道来提供大规模聚合的内存带宽。为了实现高性能,构建在配置有HBM的FPGA之上的加速器(即,FPGA-HBM平台)需要根据可用的内存通道扩展其性能。在本文中,我们提出了一个加速器的BFS(宽度优先搜索)算法,命名为ScalaBFS,建立多个处理元素,充分利用HBM的高带宽,以提高效率。在Xilinx Alveo U280 FPGA卡上实现了ScalaBFS的原型系统,并在真实世界和合成无标度图中进行了BFS。实验结果表明,ScalaBFS的性能几乎与U280的HBM2子系统的可用内存伪通道(PC)成线性关系。通过充分利用U280上的32台PC和构建64个处理单元(PE),ScalaBFS实现了高达19.7 GTEPS(每秒千兆遍历边数)的性能。当在稀疏的现实图形中进行BFS时,ScalaBFS实现了与在最先进的Nvidia V100 GPU上运行的Gunrock等效的GTEPS,该GPU具有64 PC HBM 2(是U280的两倍内存带宽)。
2021-10-12 cs.AR
A Fresh Perspective on DNN Accelerators by Performing Holistic Analysis Across Paradigms
采用冯·诺依曼架构的传统计算机无法满足深度神经网络(DNN)工作负载的延迟和可扩展性挑战。已经提出了基于传统计算硬件加速器(CHA)、近数据处理(NDP)和存储器中处理(PIM)范例的各种DNN加速器来应对这些挑战。我们在这项工作中的目标是对DNN加速器范例中最先进的加速器进行严格的比较,我们使用了MLPerf推理基准的MobileNet,ResNet,BERT和DLRM的独特层进行分析。详细的模型是基于硬件实现的最先进的设计。我们观察到,对于内存密集型的全连接层(FCL)DNN,基于NDP的加速器比最先进的CHA快10.6倍,比基于PIM的加速器快39.9倍。对于计算密集型图像分类和目标检测DNN,最先进的CHA比NDP快约10倍,比基于PIM的加速器快约2000倍。基于PIM的加速器适用于能量受限的DNN应用(与传统ASIC系统相比,CNN和FCL应用的能量分别低约2.7倍和约21倍)。此外,我们确定架构的变化(如增加内存带宽,缓冲区重组),可以增加吞吐量(线性增加)和降低能量(线性减少)ML应用程序与CHA,NDP和PIM的加速器的相关组件的详细敏感性分析。
2022-08-10 cs.AR
GCC: A 3DGS Inference Architecture with Gaussian-Wise and Cross-Stage Conditional Processing
针对3DGS加速器中无效预处理与高斯重复加载问题,本文提出GCC,通过跨阶段条件处理、逐高斯渲染和基于alpha的边界识别,在28nm实现中显著提升性能与能效。
2025-07-25 cs.AR
An Energy-Efficient Near-Data Processing Accelerator for DNNs that Optimizes Data Accesses
本文提出近数据处理加速器 QeiHaN,利用 3D 堆叠内存权重存储和对数量化激活的隐式内存内位移,减少 DNN 推理的内存访问,实现 4.3 倍加速和 3.5 倍节能。
2023-10-27 cs.AR
Flip: Data-Centric Edge CGRA Accelerator
Flip 通过将图顶点映射到处理单元并支持动态数据路由,在传统 CGRA 上引入数据中心模式,实现图处理高达 36 倍加速,且面积仅增 19%。
2023-09-19 cs.AR
Energy-Efficient Accelerator Design for Deformable Convolution Networks
可变形卷积网络(DCN)被提出来解决具有几何或光度变化的图像识别问题,通常涉及在输入特征的任意位置上进行卷积的可变形卷积。位置随不同的输入而变化,并引起相当大的动态和不规则的内存访问,这是经典的神经网络加速器(NNA)无法处理的。此外,在DCN中获得变形特征所需的双线性插值(BLI)操作也不能直接部署在现有的NNA上。虽然与经典NNA一起安置的通用处理器(GPP)可以处理可变形卷积,但是由于缺乏并行计算能力,GPP上的处理可能非常慢。为了解决这个问题,我们在现有的NNA上开发了一个DCN加速器,以支持标准卷积和变形卷积。具体来说,对于DCN中的动态和不规则访问,我们将输入和输出特征划分为瓦片,并构建瓦片依赖性表(TDT)以在运行时跟踪不规则瓦片依赖性。利用TDT,我们进一步开发了一个片上瓦片调度器来有效地处理动态和不规则的访问。此外,我们提出了一种新的映射策略,使并行BLI处理NNA和应用层融合技术,更节能的DCN处理。实验结果表明,该加速器的性能和能量效率比ARM、ARM+TPU和GPU等典型计算架构提高了几个数量级,而传统NNA的芯片面积损失仅为6.6%.
2021-07-06 cs.AR
FlashAbacus: A Self-Governing Flash-Based Accelerator for Low-Power Systems
能量效率和计算灵活性是异构计算的一些主要设计约束。在本文中,我们提出了FlashAbacus,一个数据处理加速器,自我管理的异构内核执行和数据存储访问集成在轻量级多处理器的许多闪存模块。所提出的加速器可以同时处理来自不同应用程序的数据,具有不同类型的操作功能,它允许多个内核直接访问闪存,而无需主机级文件系统或I/O运行时库的帮助。我们在基于多核的PCIe平台上对FlashAbacus进行原型设计,该平台连接到基于FPGA的闪存控制器,并采用20 nm节点工艺。评估结果表明,FlashAbacus可以提高127%的数据处理带宽,同时减少78.4%的能耗,相比传统的异构计算方法。\blfootnote {本论文已被2018 EuroSys接受并将发表。提交本文件是为了确保及时传播学术和技术工作。
2018-05-08 cs.AR
Compiling Halide Programs to Push-Memory Accelerators
图像处理和机器学习应用程序从硬件加速中受益匪浅,但现有的编译器要么针对FPGA(牺牲灵活硬件的功率和性能),要么针对ASIC(随着应用程序的变化而迅速过时)。可编程领域特定加速器已经成为这两个极端之间有前途的中间地带,但这种架构传统上是困难的编译器目标。主要障碍是这些加速器通常使用与CPU和GPU不同的内存抽象:将数据流从一个计算内核发送到其他内核的内存,可能重新排序。为了解决由推存储器引起的编译挑战,我们建议修改编译器中间和后端的内存表示,将存储与地址生成和控制逻辑结合在一个单一的结构中-一个统一的缓冲区。我们表明,这种编译器的抽象可以有效地实现在一个可编程的加速器,并设计一个内存映射算法,结合多面体分析和软件矢量化技术,以我们的加速器。我们的评估表明,编译器支持可编程性,同时保持高性能。它可以将各种图像处理和机器学习应用程序编译到我们的加速器上,与FPGA相比,运行时间提高了4.7倍,能效提高了4.3倍。
2021-05-26 cs.AR
LlamaF: An Efficient Llama2 Architecture Accelerator on Embedded FPGAs
本文提出嵌入式 FPGA 加速器 LlamaF,通过训练后量化、带宽优化、异步计算和全流水线矩阵-向量乘法,使 TinyLlama 1.1B 在 ZCU102 上较纯 PS 实现显著提速并提升能效。
2024-09-12 cs.AR
Lightator: An Optical Near-Sensor Accelerator with Compressive Acquisition Enabling Versatile Image Processing
本研究提出光学近传感器加速器Lightator,通过创新压缩采集与细粒度卷积实现边缘低功耗图像处理,仿真显示其能效达84.4千帧每秒每瓦,功耗较现有光子加速器和GPU分别低约24倍、73倍。
2024-03-08 cs.AR eess.SP
Generalized Ping-Pong: Off-Chip Memory Bandwidth Centric Pipelining Strategy for Processing-In-Memory Accelerators
针对大型DNN模型下存内计算片外带宽利用率低的问题,提出广义乒乓流水线策略,通过均匀分配活动时间并充分利用片外带宽,在SRAM PIM架构上实现最高7.71倍加速并开源设计。
2024-11-20 cs.AR
ColibriES: A Milliwatts RISC-V Based Embedded System Leveraging Neuromorphic and Neural Networks Hardware Accelerators for Low-Latency Closed-loop Control Applications
端到端基于事件的计算有可能推动边缘AI应用程序的延迟和能效。不幸的是,基于事件的传感器(例如,DVS相机)和基于神经形态尖峰的处理器(例如,Loihi)都是以解耦的方式设计的,因此错过了主要的精简机会。本文介绍了ColibriES,有史以来第一个神经形态硬件嵌入式系统平台,具有专用的事件传感器接口和完整的处理管道。ColibriES包括事件和帧接口以及数据处理,旨在边缘场景中的高效和长寿命嵌入式系统。ColibriES基于Kraken片上系统,包含异构并行超低功耗(PULP)处理器、基于帧和基于事件的摄像机接口以及两个硬件加速器,用于计算基于事件的脉冲神经网络和基于帧的三元卷积神经网络。本文以ColibriES上的手势识别为例,探索并准确评估事件数据处理的性能,作为全系统评估的第一步。在我们的实验中,我们展示了7.7 \si{\milli\joule}的芯片能耗和每个推理的164.5 \si{\milli\second}延迟,以DVS手势事件数据集为例进行闭环数据处理,展示了ColibriES在电池供电的应用中的潜力,例如需要低延迟闭环控制的可穿戴设备和无人机。
2023-02-15 cs.AR
QAPPA: Quantization-Aware Power, Performance, and Area Modeling of DNN Accelerators
Carnegie Mellon University(卡内基梅隆大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
随着机器学习和系统社区努力通过自定义DNN加速器和模型压缩技术实现更高的能效,需要一种设计空间探索框架,该框架将量化感知处理元素并入加速器设计空间,同时具有准确和快速的功率、性能和面积模型。在这项工作中,我们提出了QAPPA,一个高度参数化的量化感知的DNN加速器的功率,性能和区域建模框架。我们的框架可以促进DNN加速器的设计空间探索的未来研究,用于各种设计选择,如位精度,处理元件类型,处理元件的暂存器大小,全局缓冲区大小,设备带宽,设计中的总处理元件数量和DNN工作负载。我们的研究结果表明,不同的位精度和处理元件类型导致显着差异的性能,单位面积和能量。具体来说,与基于INT 16的实现相比,我们提出的轻量级处理元件在每面积和能源方面的性能提高了4.9倍。
2022-05-17 cs.AR cs.LG
Algorithms and Hardware for Efficient Processing of Logic-based Neural Networks
本文提出一种将基于固定功能组合逻辑的神经网络编译映射到逻辑处理器的优化方法,结合图划分与调度算法,在VGG16上实现比XNOR加速器高25倍的推理吞吐量。
2023-04-13 cs.AR
AutoRAC: Automated Processing-in-Memory Accelerator Design for Recommender Systems
针对推荐系统PIM加速器设计空间庞大、算子映射复杂的问题,提出AutoRAC,利用一次性超网络自动协同搜索混合精度模型与PIM架构,在CTR基准上显著提升速度、面积和能效。
2025-05-15 cs.AR
Hyft: A Reconfigurable Softmax Accelerator with Hybrid Numeric Format for both Training and Inference
Hyft提出一种混合数值格式的可重构Softmax加速器,通过为不同非线性运算自适应选择最合适的数值格式,在训练和推理中实现硬件资源利用率降低10倍、处理延迟降低6倍,且几乎不影响Transformer精度。
2024-09-04 cs.AR
MPAI: A Co-Processing Architecture with MPSoC & AI Accelerators for Vision Applications in Space
针对航天器上AI/ML部署需求,本文提出名为MPAI的高度异构协处理架构,结合UltraScale+ MPSoC及MyriadX VPU等加速器,利用硬件多样性处理不同规模网络并实现速度、精度与能效的权衡。
2024-09-18 cs.AR cs.ET
Retrospective: A Scalable Processing-in-Memory Accelerator for Parallel Graph Processing
本文回顾了ISCA 2015论文,提出可编程的Tesseract存内处理架构,通过3D堆叠存储器与消息传递模型从零设计近内存加速器系统,最大化加速图处理等数据密集型应用,并分析了其广泛影响与未来展望。
2023-06-27 cs.AR cs.DC
Sparse-on-Dense: Area and Energy-Efficient Computing of Sparse Neural Networks on Dense Matrix Multiplication Accelerators
Pohang University of Science and Technology(浦项科技大学);Sogang University(西江大学);Seoul National University(首尔国立大学)
本文提出一种在密集矩阵乘法硬件加速器上高效计算稀疏神经网络的方法,通过优化设计减少面积和能耗,解决稀疏计算中密集PE的利用问题。
2026-04-29 cs.AR
Ring-Mesh: A Scalable and High-Performance Approach for Manycore Accelerators
有越来越多的作品解决快速,可扩展的解决方案,为越来越多的新型应用程序的设计挑战。近来,许多解决方案旨在提高处理元件能力以加速机器学习应用领域的执行。然而,只有少数的工作集中在互连子系统作为一个潜在的性能改善的来源。将多个内核包装在一起提供了出色的并行性,但它带来了其他挑战(例如,适当的互连)。需要可扩展的、功率感知的互连来支持这种数量不断增长的处理元件以及现代应用。在本文中,我们提出了一个可扩展的和节能的片上网络架构融合的优势,环以及2D网格,而不使用任何网桥路由器,以提供高性能。动态适应机制允许更好地适应应用需求。仿真结果显示,与流行的2D-mesh相比,在多个统计流量模式场景下进行测试时,功耗效率高(连接1024个核心可节省高达141.3%),吞吐量增长2倍(平均),可扩展性更好(最多1024个处理元件)。
2019-11-04 cs.AR
Hardware Efficient Accelerator for Spiking Transformer With Reconfigurable Parallel Time Step Computing
本文提出首个低功耗脉冲Transformer硬件加速器,通过IAND修改和全并行tick批处理及时间步可重构架构,实现多时间步并行处理,在28nm工艺下达到3.456 TSOPS和38.334 TSOPS/W能效。
2025-03-25 cs.AR
STI-SNN: A 0.14 GOPS/W/PE Single-Timestep Inference FPGA-based SNN Accelerator with Algorithm and Hardware Co-Design
本文提出算法与硬件协同设计的 FPGA SNN 加速器 STI-SNN,通过 TET 时间剪枝、OS 数据流、压缩排序脉冲表示及可配置并行架构实现单时间步、低延迟高能效推理。
2025-06-10 cs.AR
FHEmem: A Processing In-Memory Accelerator for Fully Homomorphic Encryption
本文提出存内处理加速器 FHEmem,通过新型 PIM 架构与端到端优化流程,解决全同态加密中长位宽乘法与数据移动难题,实现高吞吐量加速并显著超越现有方案。
2023-11-27 cs.AR cs.CR
All-rounder: A Flexible AI Accelerator with Diverse Data Format Support and Morphable Structure for Multi-DNN Processing
本文提出All-rounder加速器,采用支持多种位宽整数和浮点的all-in-one乘法器及可分区融合的MAC阵列,相比基线面积减小1.49倍,在多种AI基准上性能与能效优于三种对比加速器。
2025-02-28 cs.AR
Mega: A 22 nm Convolutional Spiking Neural Network Accelerator Achieving 0.375 pJ/SOP for Efficient Edge Vision
Eindhoven University of Technology(埃因霍温理工大学)
提出Mega数字架构,通过高度并行化3×3卷积、统一数据内存和高效脉冲映射处理,在22nm FDSOI工艺上实现0.375 pJ/SOP的能效,较现有技术提升4倍。
2026-06-29 cs.AR
Computer Architecture with Associative Processor Replacing Last Level Cache and SIMD Accelerator
本研究提出一种新的计算机体系结构,其中最后一级缓存和SIMD加速器被替换为一个关联处理器。关联处理器结合了数据存储和数据处理,同时提供并行计算能力和数据存储。介绍了一种新的计算机体系结构的性能分析模型。通过仿真对比分析表明,这种新的架构可以优于传统的架构,包括一个SIMD协处理器和共享的末级缓存,而消耗更少的功率。
2013-11-08 cs.AR
On the Implementation of Fixed-point Exponential Function for Machine Learning and Signal Processing Accelerators
自然指数函数被广泛用于许多工程和科学系统的建模。它也是许多神经网络激活函数的组成部分,如sigmoid,tanh,ELU,RBF等专用硬件加速器和处理器设计用于更快地执行这些应用程序。这样的加速器可以极大地受益于指数函数的最佳实现。对于大多数应用来说,这可以通过以下知识来实现:负域的指数函数比正域的指数函数使用得更广泛。本文提出了一种变精度定点负输入的指数函数的优化实现方法。这里提出的实现方式显著减少了乘法器和加法器的数量。这是进一步优化使用混合世界长度实现的系列扩展。该方法比原等效方法面积减少30%以上,功耗减少50%以上。
2021-12-04 cs.AR eess.SP
Implementation of an Adaptive Transformer Accelerator for Accurate Outdoor Localization with Massive MIMO
Lund University(隆德大学)
本文提出一种基于Transformer的5G大规模MIMO实时定位系统,通过稀疏性利用和混合数据流架构实现高效计算,减少延迟并提升定位精度。
2026-09-15 cs.AR
Optimization of a Line Detection Algorithm for Autonomous Vehicles on a RISC-V with Accelerator
针对自动驾驶车辆直线检测的实时性等需求,本文在含通用RISC-V核心与领域专用加速器的异构平台上优化检测算法,实现3.7倍加速,满足自动驾驶的相关要求。
2024-02-01 cs.AR
Memory-Guided Unified Hardware Accelerator for Mixed-Precision Scientific Computing
Tongji University(同济大学);Shanghai Jiao Tong University(上海交通大学);Zhejiang University(浙江大学)
提出基于内存引导的混合精度科学计算统一硬件加速器,解决有限元、脉冲神经网络和稀疏计算的精度、吞吐量和能耗问题。
2026-01-08 cs.AR
APACHE: A Processing-Near-Memory Architecture for Multi-Scheme Fully Homomorphic Encryption
针对现有全同态加密加速器硬件利用率低、内存带宽不足的问题,提出分层近内存计算架构APACHE,通过细粒度功能单元设计提升资源利用率,在多基准测试中性能较最优ASIC方案提升10.63-35.47倍。
2024-12-13 cs.AR
CARLA: A Convolution Accelerator with a Reconfigurable and Low-Energy Architecture
卷积神经网络(CNN)已被证明是非常准确的图像识别,甚至超过人类的识别能力。当部署在电池供电的移动设备上时,需要高效的计算机体系结构来实现昂贵的卷积运算的快速且节能的计算。尽管最近在CNN的硬件加速器设计方面取得了进展,但两个主要问题尚未得到有效解决,特别是当卷积层具有高度多样化的结构时:(1)最大限度地减少耗能的片外DRAM数据移动;(2)最大限度地提高处理资源的利用率以执行卷积。因此,这项工作提出了一种节能的架构,配备了几个优化的卷积神经网络,以支持现代CNN的结构多样性。通过实现VGGNet-16和ResNet-50的卷积层来评估所提出的方法。结果表明,该架构对于大多数3x 3和1x 1卷积层实现了98%的处理元素(PE)利用率,同时在执行VGGNet-16和ResNet-50卷积层时将延迟分别限制为396.9 ms和92.7 ms。此外,所提出的架构受益于ResNet-50中的结构化稀疏性,当一半的通道被修剪时,将延迟降低到42.5 ms。
2020-10-01 cs.AR