Mapping and Execution of Nested Loops on Processor Arrays: CGRAs vs. TCPAs
本文对比处理器阵列上嵌套循环的操作中心与迭代中心两类映射方法,并分析 CGRA 与 TCPA 架构的优势及权衡。
2025-02-17 cs.AR
Sustainable Hardware Specialization
本文探讨通过可重构逻辑实现可持续硬件专用化,提出分析模型评估用CGRA替代专用加速器的可持续性,发现可显著降低环境足迹。
2024-11-14 cs.AR
Accelerating Edge AI with Morpher: An Integrated Design, Compilation and Simulation Framework for CGRAs
National University of Singapore(新加坡国立大学)
本文介绍了开源架构自适应CGRA设计框架Morpher,通过集成编译、仿真与验证工具,支持将AI内核自动编译至用户定义架构,加速边缘AI应用的高效编译与功能验证。
2023-09-12 cs.AR cs.LG cs.PF
Building an Open CGRA Ecosystem for Agile Innovation
针对AI和边缘应用对软硬件协同设计的需求,本文构建开放式CGRA生态系统,提出HyCUBE架构、PACE片上系统及Morpher设计框架,降低创新壁垒,推动敏捷硬件开发并呼吁建立统一抽象层。
2025-08-26 cs.AR
Enhancing CGRA Efficiency Through Aligned Compute and Communication Provisioning
针对CGRA通信资源相对计算能力配置过剩的问题,提出新型架构与编译器Plaid,通过识别数据流图的结构基元并设计适配的集合执行路由策略,在保留通用性与性能的同时显著提升能效与面积效率。
2024-12-12 cs.AR
Automatic Nested Loop Acceleration on FPGAs Using Soft CGRA Overlay
卸载计算密集型嵌套循环在FPGA加速器上执行已被许多研究人员证明是跨许多应用领域的有效性能增强技术。为了构建具有高设计效率的加速器,研究人员越来越多地转向使用叠加架构作为构建在现成FPGA之上的中间代目标。然而,实现所需的性能开销权衡仍然是一个主要的生产力挑战,因为需要在覆盖多个架构参数的大型设计空间上进行复杂的特定于应用程序的定制。在这项工作中,提出了一种利用常规软粗粒度可重构阵列(SCGRA)覆盖的自动嵌套循环加速框架。给定高级资源约束,框架自动定制覆盖架构设计参数、高级编译选项以及加速器与主机处理器之间的通信,以针对给定应用程序优化性能。在我们的实验中,以10到20分钟的额外工具运行时间为代价,所提出的定制过程导致了比由相同框架生成的基线加速器高出5倍的额外加速。总的来说,与在Zedboard上仅在主机ARM处理器上运行的等效软件相比,由此产生的加速器实现了高达10倍的加速。
2015-08-27 cs.AR cs.DC
ARENA: Asynchronous Reconfigurable Accelerator Ring to Enable Data-Centric Parallel Computing
由于硬件专业化的趋势和数据驱动应用的出现,下一代HPC和数据中心可能是可重构的和以数据为中心的。在本文中,我们提出了ARENA -一个异步可重构的加速器环架构作为一个潜在的场景,未来的HPC和数据中心将是什么样子。尽管使用粗粒度可重构阵列(CGRAs)作为基板平台,我们的主要贡献不仅是CGRA集群设计本身,而且还集成了一个新的架构和编程模型,使异步任务跨集群的可重构节点,从而使专门的计算数据,而不是相反。我们假设分布式数据存储,而不断言任何关于数据分布的先验知识。当任务发现它所需的大部分数据在当前节点可用时,硬件专门化发生在运行时。换句话说,我们动态生成数据驻留的专用CGRA加速器。通过在由快速环形网络连接的CGRA集群之间循环任务令牌来实现将计算带到数据的异步任务,该任务令牌描述了要为任务执行的数据流图。对不同领域的一组HPC和数据驱动应用程序的评估表明,ARENA可以提供更好的并行可扩展性,减少数据移动(53.9%)。与当代以计算为中心的并行模型相比,ARENA可以带来平均4.37倍的加速比。在45 nm工艺条件下,所合成的CGRA及其任务调度器仅占用2.93mm^2的芯片面积,工作频率为800 MHz,平均功耗为759.8mW。ARENA还支持多应用程序的并发执行,为未来的高性能并行计算和数据分析系统提供理想的架构支持。
2021-04-19 cs.AR cs.DC
Rewriting History: Repurposing Domain-Specific CGRAs
本文提出首个灵活CGRA编译器FlexC,通过数据流改写与等式饱和技术使领域专用CGRAs支持原本不支持的操作,在超2000个内核上实现2.2倍内核覆盖提升和3倍加速。
2023-09-16 cs.AR cs.PL
Hardware Abstractions and Hardware Mechanisms to Support Multi-Task Execution on Coarse-Grained Reconfigurable Arrays
特定于域的加速器用于从边缘设备到数据中心的各种计算系统中。粗粒度可重构阵列(CGRA)代表了FPGA的灵活性和ASIC的效率之间的架构中点,并且是在应用领域内服务于多任务工作负载的有希望的候选者。不幸的是,将多个任务调度到CGRA上是具有挑战性的。CGRA缺乏捕获硬件资源的抽象,使得工作负载调度器无法为不同的调度推断性能、能量和利用率。本文首先提出了一种CGRA体系结构,该体系结构能够灵活地划分关键资源,包括全局缓冲存储器容量、全局缓冲内存带宽和计算资源。分区的资源用作硬件抽象,将编译和资源分配解耦。编译器使用这些抽象进行粗粒度的资源映射,调度器使用它们在运行时间进行灵活的资源分配。然后,我们提出了两个硬件机制来支持多任务执行。灵活形状的执行区域通过映射具有不同资源需求的多个任务来提高整体资源利用率。动态部分重新配置(DPR)使CGRA能够在调度器快速做出决策时更新硬件配置。我们表明,我们的抽象可以帮助自动和有效地将多任务工作负载调度到我们的目标CGRA上,并具有高利用率,与一次运行单个任务的基准CGRA相比,多任务云工作负载的吞吐量提高了1.05倍至1.24倍,延迟降低了23-28%,自治系统工作负载的延迟降低了60.8%。
2023-01-02 cs.AR
Canal: A Flexible Interconnect Generator for Coarse-Grained Reconfigurable Arrays
粗粒度可重构阵列(CGRA)互连的架构不仅对所得到的加速器的灵活性,而且对它的功率、性能和面积具有显著影响。需要探索具有复杂权衡的设计决策,以在各种不断发展的应用程序中保持效率和性能。本文介绍了运河,Python嵌入式领域特定语言(eDSL)和编译器,用于指定和生成CGRA的可重构互连。Canal使用基于图形的中间表示(IR),可以轻松生成硬件,并与布局和布线工具紧密集成。我们评估运河通过构建一个完全静态的互连和一个混合互连与现成的有效信令,并通过修改开关盒拓扑结构,路由轨道的数量,和互连瓦片连接进行设计空间探索的互连架构。通过将基于图形的IR用于CGRA互连、eDSL和互连生成系统,Canal实现了CGRA互连的快速设计空间探索和创建。
2022-11-30 cs.AR
NEURA: A Unified and Retargetable Compilation Framework for Coarse-Grained Reconfigurable Architectures
The Hong Kong University of Science and Technology(香港科技大学);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Google(谷歌);Arizona State University(亚利桑那州立大学)
NEURA通过统一的数据流中间表示解决CGRA中的控制-数据流不匹配问题,实现高效加速并支持多种执行模型的重定向。
2026-04-05 cs.AR cs.PL
STELLA: A 16nm Spatio-Temporal Elastic Low-Latency CGRA for Multi-Stage Pipelined Applications
ESAT-MICAS, KU Leuven(荷语鲁汶大学 ESAT-MICAS 研究中心)
STELLA提出一种16nm时空弹性低延迟CGRA,通过快速配置、硬件循环控制和深度流水线弹性结构,在850MHz下实现110 GOPS/mm2,内核吞吐量较基线提升4.84-7.14倍。
2026-10-01 cs.AR cs.SY eess.SY
Capstone: Power-Capped Pipelining for Coarse-Grained Reconfigurable Array Compilers
University of Southern California(南加州大学)
Capstone通过功率感知流水线技术,优化CGRA编译器在功率限制下的性能与能效。
2026-03-01 cs.AR
X-HEEP: An Open-Source, Configurable and Extendible RISC-V Microcontroller for the Exploration of Ultra-Low-Power Edge Accelerators
针对现有边缘计算平台集成定制加速器可配置性与扩展性不足的问题,本文提出开源可配置的RISC-V异构超低功耗平台X-HEEP,通过医疗场景集成CGRA与IMC加速器的实例验证,实现了最高4.9倍的能效提升。
2024-03-08 cs.AR
PASS: Exploiting Post-Activation Sparsity in Streaming Architectures for CNN Acceleration
针对流式 CNN 加速器难以利用激活后稀疏性的问题,本文提出 PASS 方法,在现代 CNN 基准上较先进指令型稀疏加速器取得 1.41–1.93 倍 GOP/s/DSP 效率提升。
2023-07-15 cs.AR
DICE: Enabling Efficient General-Purpose SIMT Execution with Statically Scheduled Coarse-Grained Reconfigurable Arrays
University of Washington(华盛顿大学)
DICE通过静态调度粗粒度可重构阵列(CGRAs)解决GPU SIMD执行中的能耗问题,减少寄存器访问并提升能效,实验表明其在能耗和能效方面优于NVIDIA Turing架构。
2026-05-06 cs.AR
StreamDCIM: A Tile-based Streaming Digital CIM Accelerator with Mixed-stationary Cross-forwarding Dataflow for Multimodal Transformer
本文提出StreamDCIM加速器,通过可重构CIM宏微架构、混合驻留交叉转发数据流和细粒度计算重写流水线,解决现有多模态Transformer加速器灵活性不足的问题,实现显著性能提升。
2025-02-09 cs.AR
Efficient Kernel Mapping and Comprehensive System Evaluation of LLM Acceleration on a CGLA
Nara Institute of Science and Technology(奈良先端科学技术大学院大学)
本文提出了一种非AI专用的CGLA加速器,通过高效内核映射和综合系统评估,展示了其在LLM推断中的高能效和性能-能耗折中优势。
2025-11-29 cs.AR
Mitigating the Bandwidth Wall via Data-Streaming System-Accelerator Co-Design
École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院);HES-SO University of Applied Sciences and Arts Western Switzerland(瑞士西部应用科学大学)
本文提出一种统一的系统-加速器协同设计方法,通过分页数据流和计算与传输的显式重叠优化Transformer推理,实现端到端性能提升,展示了在多种数据类型和系统配置下的高效能表现。
2026-03-19 cs.AR
DataMaestro: A Versatile and Efficient Data Streaming Engine Bringing Decoupled Memory Access To Dataflow Accelerators
MICAS-ESAT, KU Leuven(鲁汶大学 MICAS-ESAT)
本文提出 DataMaestro 数据流引擎,通过解耦访问/执行架构、可编程访问模式、细粒度预取和即时数据操作解决 DNN 推理的数据移动瓶颈,使 GeMM 核心利用率接近 100%,并显著优于现有方案。
2025-09-19 cs.AR
CIS: Composable Instruction Set for Data Streaming Applications
针对传统指令集架构缺乏可组合性导致难以扩展且控制开销大的问题,提出兼具空间与时间可组合性的CIS架构,高效实现多级循环并支持异构扩展,在数据流应用中显著提升性能并实现近乎最优的PE利用率。
2025-04-27 cs.AR
A Reconfigurable Streaming Deep Convolutional Neural Network Accelerator for Internet of Things
卷积神经网络(CNN)在图像检测中提供了显著的准确性。为了在物联网(IoT)设备中使用CNN实现图像检测,提出了一种流硬件加速器。所提出的加速器通过避免不必要的数据移动来优化能源效率。通过独特的滤波器分解技术,加速器可以支持任意卷积窗口大小。此外,通过使用单独的池化单元,可以与卷积并行计算最大池化函数,从而实现吞吐量的提高。原型加速器采用TSMC 65 nm技术实现,核心尺寸为5 mm 2。该加速器可以支持主要的CNN,并在350 mW时实现152 GOPS的峰值吞吐量和434 GOPS/W的能效,使其成为智能物联网设备的有前途的硬件加速器。
2017-07-08 cs.AR cs.CV
Sparsity-Aware Streaming SNN Accelerator with Output-Channel Dataflow for Automatic Modulation Classification
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学)
本文提出了一种稀疏感知流SNN加速器,通过结合稀疏性优势与高吞吐量,实现高效自动调制分类任务。
2026-01-06 cs.AR
Mapping code on Coarse Grained Reconfigurable Arrays using a SAT solver
Università della Svizzera Italiana(瑞士意大利语大学)
本文提出了一种基于SAT求解器的编译方法,用于在粗粒度可重构阵列上实现更高效的映射,从而减少编译时间并提高映射质量。
2025-12-02 cs.AR
AutoWS: Automate Weights Streaming in Layer-wise Pipelined DNN Accelerators
本文提出 AutoWS 自动化存储管理方法,利用逐层流水线的静态调度协同片上与片外内存优化权重存储,支持大规模 DNN 在资源受限设备上部署。
2023-11-08 cs.AR
Demystifying the 7-D Convolution Loop Nest for Data and Instruction Streaming in Reconfigurable AI Accelerators
本文提出以硬件为中心的 7 维卷积循环嵌套流式映射框架,在 MAVeC 上实现 VGG-16 全模型推理,PE 利用率超 90%,吞吐量达 1.56 TFLOPs/sec。
2025-07-27 cs.AR
NTX: An Energy-efficient Streaming Accelerator for Floating-point Generalized Reduction Workloads in 22nm FD-SOI
用于深度学习等多重累积(MAC)密集型工作负载的专用协处理器在从GPU到移动SoC的SoC平台中越来越普遍。在本文中,我们重新审视NTX(一种为大规模训练深度神经网络而开发的高效加速器),将其作为广义MAC和简化流引擎。该架构由一组32位浮点流协处理器组成,这些协处理器松散耦合到负责编排数据移动和计算的RISC-V核心。最近在22 nm FD-SOI技术中的硅实现的布局后结果显示,该加速器在1.25 GHz和168 mW下能够提供高达20 Gflop/s的性能。基于这些结果,我们表明,缩小到14 nm的NTX版本可以在10.4倍的硅面积上实现比当代GPU高3倍的能效,以及1.4 Tflop/s的计算性能,用于训练具有全浮点精度的大型最先进网络。对MAC密集型内核的扩展评估表明,NTX在机器学习之外的一般减少工作负载中可以始终实现高达87%的峰值性能。其模块化架构支持从高性能GPU级到低功耗嵌入式场景的不同规模部署。
2018-12-01 cs.AR cs.DC
A Quantitative Analysis and Guidelines of Data Streaming Accelerator in Modern Intel Xeon Scalable Processors
本文针对现代CPU集成片上加速器的趋势,深入分析英特尔第四代至强处理器搭载的DSA的特性、通用性与吞吐量优势,总结使用指南并通过DPDK Vhost案例验证其实际应用价值。
2024-01-29 cs.AR cs.PF
A Streaming Accelerator for Deep Convolutional Neural Networks with Image and Feature Decomposition for Resource-limited System Applications
University of California, Los Angeles(加州大学洛杉矶分校);Kneron Inc.(耐能智慧股份有限公司);National Chiao Tung University(台湾交通大学)
深度卷积神经网络(CNN)被广泛用于现代人工智能(AI)和智能视觉系统中,但也受到资源有限场景(诸如移动设备、物联网(IoT)、无人机(UAV))上的计算延迟、吞吐量和能效的限制。提出了一种硬件流架构来加速最先进的深度CNN的卷积和池化计算。它通过最大化本地数据重用来减少片外DRAM数据访问,从而优化了能效。此外,图像和功能分解技术被引入到优化存储器访问模式的任意大小的图像和功能的数量在有限的片上SRAM容量。原型加速器采用TSMC 65 nm CMOS工艺实现,核心面积为2.3 mm x 0.8 mm,峰值吞吐量为144 GOPS,峰值能效为0.8 TOPS/W。
2017-09-15 cs.AI cs.AR
StreamGrid: Streaming Point Cloud Analytics via Compulsory Splitting and Deterministic Termination
针对加速器处理点云时片外存储流量导致的流水线停顿与高能耗问题,提出强制分割与确定性终止技术及 StreamGrid 框架,实现完全流式处理并优化片上缓冲,在精度损失极小下显著降低内存与能耗并大幅提升速度与能效。
2025-06-30 cs.AR
Sextans: A Streaming Accelerator for General-Purpose Sparse-Matrix Dense-Matrix Multiplication
稀疏矩阵稠密矩阵乘法(SpMM)是广泛应用的关键运算符,包括科学计算、图形处理和深度学习。SpMM加速器的设计面临着三个挑战:(1)稀疏矩阵中元素的随机分布导致的随机内存访问和处理负载的不平衡;(2)无法在片上实现的大型矩阵的数据处理效率低下;(3)非通用加速器设计,一个加速器只能处理固定大小的问题。在本文中,我们提出了六分之一,通用的SpMM处理的加速器。Sextans加速器的特点是(1)使用片内存储器进行快速随机访问,(2)对片外大型矩阵进行流式访问,(3)使用II=1流水线实现平衡工作负载的PE感知非零调度,以及(4)硬件灵活性,可以一次性对硬件进行原型设计,以支持不同大小的Spectrometer作为通用加速器。我们利用高带宽内存(HBM)的有效访问稀疏和密集矩阵。在评估中,我们提出了一个FPGA原型Sextans,这是可执行的Xilinx U280 HBM FPGA板和一个预计的原型Sextans-P具有更高的带宽比V100和更多的频率优化。我们对1,400个Sparse在各种稀疏矩阵上进行了全面评估,其中包括来自SNAP的50个矩阵和来自SuiteSparse的150个矩阵。我们将Sextans与NVIDIA K80和V100 GPU进行了比较,Sextans在K80 GPU上实现了2.50倍的几何加速比,Sextans-P在V100 GPU上实现了1.14倍的几何加速…
2022-01-13 cs.AR cs.DC
StreamTensor: Make Tensors Stream in Dataflow Accelerators for LLMs
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Inspirit IoT, Inc.(Inspirit IoT 公司)
StreamTensor提出一种编译器框架,通过迭代张量类型系统和三层设计空间优化,在FPGA上实现LLM数据流加速,显著降低延迟并提升能效。
2025-09-23 cs.AR
Focus: A Streaming Concentration Architecture for Efficient Vision-Language Models
Duke University(杜克大学)
Focus提出了一种高效的视觉-语言模型流式集中架构,通过分层压缩和细粒度冗余消除,实现2.4倍速度提升和3.3倍能效提升。
2025-12-16 cs.AR
A Heterogeneous Neural Network Accelerator for End-to-End Multitask RF Signal Recognition
Sorbonne University, CNRS, LIP6(索邦大学,法国国家科学研究中心,LIP6)
本文提出用于多任务射频信号识别的异构神经网络加速器,结合紧凑注意力增强CNN与LSDec,通过新型硬件架构及调度优化资源。在三个数据集上有高准确率,端到端推理延迟低,对嵌入式和边缘设备的多任务频谱智能应用有效。
2026-07-28 cs.AR
A Toolchain for Streaming Dataflow Accelerator Designs for Big Data Analytics: Defining an IR for Composable Typed Streaming Dataflow Designs
本研究提出一种支持Tydi类型声明的开源中间表示(IR),可创建连接流元、保留高层信息、定义接口契约,搭配语法解析系统与VHDL后端,为硬件设计工具补充数据中心接口视角。
2022-12-22 cs.AR cs.PL
Data Streaming and Traffic Gathering in Mesh-based NoC for Deep Neural Network Acceleration
University of Nevada, Las Vegas(内华达大学拉斯维加斯分校);Southern China Institute of Technology(华南理工学院)
深度神经网络(DNN)应用的日益普及要求高计算能力和高效的硬件加速器架构。DNN加速器使用大量处理元件(PE)和片上存储器来存储权重和其他参数。作为DNN加速器的通信骨干,片上网络(NoC)在支持各种并行模式和实现DNN加速器中具有通信并行性的处理方面起着重要作用。然而,广泛使用的基于网格的NoC架构本质上不能支持DNN工作负载中大量存在的高效的一对多和多对一流量。在本文中,我们提出了一个修改后的网状结构与单向/双向流总线,以加快一对多(多播)流量,并使用收集数据包,以支持多对一(收集)流量。对卷积层的运行时延迟的分析表明,对于输出固定(OS)卷积低架构,双向流传输架构比单向流传输架构实现了更好的改进。仿真结果表明,收集数据包可以帮助减少运行时延迟高达1.8倍,网络功耗高达1.7倍,相比重复单播方法的修改后的网状结构,支持双向流。
2021-08-01 cs.AR cs.DC cs.LG
A Low-Power Streaming Speech Enhancement Accelerator For Edge Devices
Institute of Electronics, National Yang Ming Chiao Tung University(国立阳明交通大学电子研究所)
本文提出一种低功耗流式语音增强加速器,通过领域感知与流式感知剪枝将模型缩小93.9%,结合无Softmax注意力与一维处理阵列,在TSMC 40nm工艺下实现仅8.08mW功耗的实时推理。
2025-03-27 cs.AI cs.AR cs.MM
FPT: a Fixed-Point Accelerator for Torus Fully Homomorphic Encryption
FPT是一种定点FPGA加速器,利用噪声修剪的定点运算实现TFHE自举,达到1 BS/35微秒的吞吐量,比CPU实现快两到三个数量级,比ASIC仿真快2.5倍。
2023-10-18 cs.AR cs.CR
SATAY: A Streaming Architecture Toolflow for Accelerating YOLO Models on FPGA Devices
Imperial College London(伦敦帝国学院)
SATAY提出一种流式架构工具流,在FPGA上以深度流水线方式完整实现YOLO模型,通过新型硬件组件和片外缓冲,实现超低延迟边缘目标检测,性能与能耗优于现有FPGA加速器。
2023-09-04 cs.AR cs.CV cs.LG
Indirection Stream Semantic Register Architecture for Efficient Sparse-Dense Linear Algebra
稀疏-密集线性代数在许多领域都是至关重要的,但在CPU、GPU和加速器上高效处理具有挑战性; CSR和CSF等稀疏格式的乘法需要间接内存查找。在这项工作中,我们增强了内存流RISC-V ISA扩展,通过流间接加速稀疏密集产品。我们使用我们的硬件提供了高效的点、矩阵-向量和矩阵-矩阵乘积内核,使单核FPU利用率高达80%,在优化的基线上加速高达7.2倍,无需扩展。在多核集群上的矩阵向量实现比优化的基准快5.8倍,能效高2.7倍。我们提出了间接硬件的进一步用途,例如分散-聚集操作和码本解码,并将我们的工作与最先进的CPU,GPU和加速器方法进行比较,测量CSR矩阵向量乘法中的峰值FP 64利用率比运行cuSPARSE内核的GTX 1080 Ti GPU高2.8倍。
2020-12-14 cs.AR
Energy-Efficient Hardware Acceleration of Whisper ASR on a CGLA
Nara Institute of Science and Technology(奈良先端科学技术大学院大学)
本文在通用CGLA加速器IMAX上实现并评估了Whisper ASR核心内核,通过软硬件协同设计,预测28nm ASIC能效比NVIDIA Jetson AGX Orin高1.90倍、RTX 4090高9.83倍,为边缘设备可持续ASR提供高能效可编程平台。
2025-11-04 cs.AR
Tessera: Secure, Near-Line-Rate Weight Streaming for UMA Edge Accelerators
Indian Institute of Technology (IIT) Ropar(印度理工学院(IIT)罗帕尔)
Tessera通过在UMA边缘加速器上实现缓存行粒度的权重解密,解决了传统防御方法在受限环境下的不足,实现了接近理论内存带宽上限的性能,同时有效抵御多种攻击。
2026-04-25 cs.AR cs.CR cs.LG
MEDEA: A Design-Time Multi-Objective Manager for Energy-Efficient DNN Inference on Heterogeneous Ultra-Low Power Platforms
EPFL(洛桑联邦理工学院);UPM(马德里理工大学)
MEDEA是一种异构超低功耗平台上的设计时多目标管理器,整合多项技术实现DNN推理的高能效,在HEEPtimize平台上针对癫痫检测案例,较现有方法最高降能耗38%且满足时序内存要求。
2026-08-18 cs.AR
Messaging-based Adaptive Vector Computing (MAVeC) Accelerator for AI Workloads
University of Missouri-Kansas City (UMKC)(密苏里大学堪萨斯城分校)
MAVeC是一种基于消息的自适应向量计算加速器,通过高效的数据移动和调度机制,在AI工作负载中实现高吞吐量和低延迟。
2026-02-04 cs.AR
Performance Modeling of Streaming Kernels and Sparse Matrix-Vector Multiplication on A64FX
A64 FX CPU是目前Top500排行榜上排名第一的超级计算机。虽然它是一个传统的基于缓存的多核处理器,但其峰值性能和内存带宽可与加速器设备相媲美。为这样一个新的体系结构生成高效的代码需要很好地理解其性能特性。利用这些功能,我们构建的执行缓存存储器(ECM)的性能模型的A64 FX处理器在FX 700超级计算机,并验证它使用流循环。我们还确定架构的特点,并获得优化提示。将ECM模型应用于稀疏矩阵向量乘法(SpMV),我们激发了CRS矩阵存储格式不合适的原因以及SELL-C-sigma格式如何通过适当的代码优化实现SpMV的带宽饱和。
2020-09-29 cs.AR cs.DC cs.PF
ITA: An Energy-Efficient Attention and Softmax Accelerator for Quantized Transformers
ETH Zürich(苏黎世联邦理工学院);University of Bologna(博洛尼亚大学)
本文提出ITA加速器,通过8位量化和仅基于整数的流式softmax实现,在嵌入式系统上实现高效Transformer推理,达到16.9 TOPS/W能效和5.93 TOPS/mm²面积效率。
2023-07-10 cs.AR cs.LG
STISA: A 0.16 GOPS/W/PE Single-Shot Inference FPGA-based SNN Accelerator with Algorithm and Hardware Co-Design
Zhejiang University-University of Illinois Urbana-Champaign Institute, Zhejiang University(浙江大学伊利诺伊大学厄巴纳香槟校区联合学院,浙江大学);Singapore University of Technology and Design(新加坡科技设计大学)
本研究提出基于FPGA的STISA SNN加速器,通过算法-硬件协同设计,采用TSC、TPOS映射与BMS架构,在多数据集上实现精度、延迟与能效的平衡,能效达0.16 GOPS/W/PE,优于现有同类加速器。
2026-10-14 cs.AR
XDMA: A Distributed, Extensible DMA Architecture for Layout-Flexible Data Movements in Heterogeneous Multi-Accelerator SoCs
针对异构加速器间数据传输的布局转换开销与互连利用率低的问题,提出分布式可扩展DMA架构XDMA,通过硬件地址生成器、配置与传输分离及灵活插件,实现高链路利用率,面积开销低且显著提升系统性能。
2025-08-11 cs.AR cs.DC
ReDy: A Novel ReRAM-centric Dynamic Quantization Approach for Energy-efficient CNN Inference
针对 ReRAM 模数转换能耗瓶颈,提出面向 ReRAM 的动态量化加速器 ReDy,利用激活值位串行处理与分组统计分布进行即时量化,在可忽略精度损失下实现 13% 能耗节省。
2023-06-28 cs.AR
Expert Streaming: Accelerating Low-Batch MoE Inference via Multi-chiplet Architecture and Dynamic Expert Trajectory Scheduling
AI Chip Center for Emerging Smart Systems(新兴智能系统芯片中心);The Hong Kong University of Science and Technology(香港科技大学);Shanghai UniVista Industrial Software Group Co., Ltd.(上海华大九天工业软件集团有限公司)
本文提出FSE-DP架构,通过多芯片组上的细粒度专家流调度,解决低批次MoE推理中的内存限制和负载不均问题,实现性能提升和内存节省。
2026-03-29 cs.AI cs.AR
Dato: A Task-Based Programming Model for Dataflow Accelerators
Cornell University(康奈尔大学);UC Merced(加州大学默塞德分校);UCLA(加州大学洛杉矶分校);Shanghai Jiao Tong University(上海交通大学)
Dato提出一种嵌入Python的基于任务的编程模型,将通信和分片作为一等类型,在数据流加速器上实现高利用率和低开发负担,在NPU和FPGA上分别达到84%利用率和98%峰值性能。
2025-09-08 cs.AR cs.LG cs.PL
Hyperdrive: A Multi-Chip Systolically Scalable Binary-Weight CNN Inference Engine
ETH Zurich(苏黎世联邦理工学院);University of Bologna(博洛尼亚大学)
深度神经网络在计算机视觉和机器学习方面取得了令人印象深刻的成果。不幸的是,最先进的网络是非常计算和内存密集型的,这使得它们不适合物联网终端节点等兆瓦设备。这些网络的积极量化大大减少了计算和内存占用。二进制权重神经网络(BWN)遵循这一趋势,将权重量化推向极限。到目前为止,针对BWN的硬件加速器一直专注于核心效率,而忽略了I/O带宽和系统级效率,这对于在超低功耗设备中部署加速器至关重要。我们介绍Hyperdrive:BWN加速器利用新颖的二进制权重流方法显著降低I/O带宽,该方法可用于任意大小的卷积神经网络架构和输入分辨率,方法是通过将Hyperdrive芯片系统地布置在2D网格中,同时并行处理整个特征图,从而利用芯片级和系统级计算单元的自然可扩展性。Hyperdrive实现了4.3 TOp/s/W的系统级效率(即,包括I/O)--比最先进的BWN加速器高3.1倍,即使其核心使用资源密集型FP 16算法来提高鲁棒性。
2019-03-14 cs.AR cs.CV cs.DC
ELSA: An ELastic SNN Inference Architecture for Efficient Neuromorphic Computing
Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
本文提出ELSA架构,通过细粒度的脊柱/令牌流水线和针对SNN的硬件优化,实现了真正的弹性推理,从而在保持准确性的同时显著降低延迟,实验表明SNN在保持精度的同时优于量化人工神经网络。
2026-05-20 cs.AI cs.AR