Optimizing ML Workload Partitioning between CPUs and CIM Accelerators for Heterogeneous Computing
Federal Ministry of Research, Technology and Space, Germany(德国联邦研究、科技与航天部)
针对现有CIM相关ML工作负载划分方法未充分考虑RRAM约束等缺陷,提出基于ILP的异构CPU-CIM划分框架,最小化端到端推理延迟,较纯CPU执行最高提速30.9倍。
2026-07-07 cs.AI cs.AR cs.DC
MARS: Exploiting Multi-Level Parallelism for DNN Workloads on Adaptive Multi-Accelerator Systems
Shanghai Jiao Tong University(上海交通大学);Zhejiang University(浙江大学);Sun Yat-sen University(中山大学);Fudan University(复旦大学)
针对多加速器系统中深度神经网络的加速器组合选择与映射策略优化问题,提出新型映射框架MARS,通过感知计算的加速器选择与感知通信的分片策略最大化并行性,有效降低了典型工作负载与异构模型的推理延迟。
2023-07-23 cs.AI cs.AR cs.DC
MEDEM: Multi-Engine DL Accelerator Design Methodology
Chalmers University of Technology and University of Gothenburg(查尔姆斯理工大学和哥德堡大学)
MEDEM提出多引擎深度学习加速器系统化设计方法,通过引擎抽象与协同设计高效搜索指数级设计空间,在多种资源预算下实现EDP最高4.84倍、吞吐量1.59倍的提升。
2026-09-30 cs.AR cs.DC cs.PF
Terastal: Layer-Variant-based Scheduling for Real-Time Multi-DNN Workloads on Heterogeneous Accelerators
nd IEEE International Conference on Embedded and Real-Time Computing Systems and Applications(第32届IEEE嵌入式与实时计算系统与应用国际会议)
针对异构DNN加速器上多DNN执行中因层延迟差异导致的调度灵活性不足和截止时间错过率增加问题,提出层变体概念和Terastal框架,通过离线虚拟预算分配和层变体设计结合在线调度,优化加速器映射和变体选择,实验表明截止时间错过率降低30%以上且精度损失仅2.24%。
2026-06-05 cs.AR cs.DC cs.LG
Towards Efficient IMC Accelerator Design Through Joint Hardware-Workload Co-optimization
King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学);Rain Neuromorphics(Rain Neuromorphics公司)
针对通用内存计算硬件设计空间探索难题,提出硬件-工作负载联合优化框架,识别最优芯片架构参数,相比单负载优化显著提升能效-延迟-面积得分,并量化了通用设计的性能权衡。
2025-02-01 cs.AI cs.AR
Communication Characterization of AI Workloads for Large-scale Multi-chiplet Accelerators
针对下一代AI工作负载的数据密集型特征带来的可扩展性挑战,本文分析多小芯片加速器架构上AI工作负载的通信特征,发现多播流量易成性能瓶颈,建议设计小芯片级灵活互连方案以提升加速器性能与可扩展性。
2025-02-11 cs.AR
A Full-Stack Search Technique for Domain Optimized Deep Learning Accelerators
Google Brain(谷歌大脑);Google(谷歌);Stanford University(斯坦福大学)
快速变化的深度学习环境为构建针对特定企业级工作负载优化的推理加速器提供了独特的机会。我们提出了全栈加速器搜索技术(FAST),这是一个硬件加速器搜索框架,它定义了一个广泛的优化环境,涵盖硬件-软件堆栈中的关键设计决策,包括硬件数据路径,软件调度和编译器通道,如操作融合和张量填充。在本文中,我们分析了最先进的视觉和自然语言处理(NLP)模型中的瓶颈,包括EfficientNet和BERT,并使用FAST设计能够解决这些瓶颈的加速器。与TPU-v3相比,针对单一工作负载优化的FAST生成的加速器在所有基准测试中将Perf/TDP平均提高了3.7倍。与TPU-v3相比,FAST生成的加速器针对服务一系列工作负载进行了优化,平均将Perf/TDP提高了2.4倍。我们的投资回报分析表明,FAST生成的加速器可能适用于中等规模的数据中心部署。
2022-02-01 cs.AR cs.LG cs.PF
Joint Hardware-Workload Co-Optimization for In-Memory Computing Accelerators
King Abdullah University of Science and Technology(国王阿卜杜勒-阿齐兹大学)
本文提出了一种基于优化进化算法的联合硬件工作负载协同优化框架,用于设计通用的内存计算加速器架构,通过显式捕捉跨工作负载的权衡,显著降低了专用与通用设计间的性能差距。
2026-03-04 cs.AI cs.AR cs.ET
NTX: An Energy-efficient Streaming Accelerator for Floating-point Generalized Reduction Workloads in 22nm FD-SOI
用于深度学习等多重累积(MAC)密集型工作负载的专用协处理器在从GPU到移动SoC的SoC平台中越来越普遍。在本文中,我们重新审视NTX(一种为大规模训练深度神经网络而开发的高效加速器),将其作为广义MAC和简化流引擎。该架构由一组32位浮点流协处理器组成,这些协处理器松散耦合到负责编排数据移动和计算的RISC-V核心。最近在22 nm FD-SOI技术中的硅实现的布局后结果显示,该加速器在1.25 GHz和168 mW下能够提供高达20 Gflop/s的性能。基于这些结果,我们表明,缩小到14 nm的NTX版本可以在10.4倍的硅面积上实现比当代GPU高3倍的能效,以及1.4 Tflop/s的计算性能,用于训练具有全浮点精度的大型最先进网络。对MAC密集型内核的扩展评估表明,NTX在机器学习之外的一般减少工作负载中可以始终实现高达87%的峰值性能。其模块化架构支持从高性能GPU级到低功耗嵌入式场景的不同规模部署。
2018-12-01 cs.AR cs.DC
Multi-Objective Hardware-Mapping Co-Optimisation for Multi-DNN Workloads on Chiplet-based Accelerators
本文提出MOHaM框架,针对基于chiplet的加速器,通过定制遗传算子的多目标进化算法协同优化多DNN工作负载的硬件设计与映射,在延迟和能耗上实现帕累托最优,最高分别降低96%和96.12%。
2024-08-23 cs.AR
Workload-Aware Hardware Accelerator Mining for Distributed Deep Learning Training
提出一种基于启发式和关键路径的硬件加速器架构搜索技术,首次解决分布式张量与流水线并行场景,相比Spotlight搜索快31倍且吞吐量提升12倍,并比TPU架构提升12%。
2024-04-23 cs.AR cs.DC
Taming the Tail: NoI Topology Synthesis for Mixed DL Workloads on Chiplet-Based Accelerators
Indraprastha Institute of Information Technology Delhi(印度普拉斯塔信息技术学院德里);Washington State University(华盛顿州立大学);Microsoft Research(微软研究院)
针对异构芯粒加速器中内存突发传输导致NoI尾部延迟超标问题,提出干扰得分量化争用影响,构建多目标优化的PARL拓扑生成器,可在保持竞争力的平均吞吐量的同时将最坏情况减速降至1.2倍,满足SLA要求。
2025-10-28 cs.AI cs.AR cs.LG
HARP: A Taxonomy for Heterogeneous and Hierarchical Processors for Mixed-reuse Workloads
本文提出 HARP 分类法,系统梳理分层异构加速器设计空间,并扩展 Timeloop 以建模和分析不同存储层级异构性对混合复用张量工作负载的影响。
2025-02-18 cs.AR cs.DC
Skydiver: A Spiking Neural Network Accelerator Exploiting Spatio-Temporal Workload Balance
University of Shanghai for Science and Technology(上海理工大学);Institute of Photonic Chips(光子芯片研究院);University of Zürich(苏黎世大学);ETH Zürich(苏黎世联邦理工学院);Institute of Neuroinformatics(神经信息学研究所)
针对SNN硬件推理中时空稀疏性造成的工作负载不均衡问题,提出FPGA加速器Skydiver,通过APRC按通道预测负载并以CBWS调度,使均衡率超过90%,在分割与分类任务中提升吞吐并实现低能耗高精度。
2022-03-14 cs.AR cs.CV cs.LG
AccelForge: Comprehensive Modeling and Co-Design Framework for AI Accelerators
MIT(麻省理工学院);NVIDIA(英伟达)
AccelForge是一个统一的AI加速器建模与协同设计框架,通过可组合模型、快速映射器和高性能Python实现,显著提升评估速度与易用性。
2026-09-11 cs.AR
Performance Implications of Multi-Chiplet Neural Processing Units on Autonomous Driving Perception
University of California, Irvine(加州大学欧文分校)
本文以Tesla Autopilot感知流水线为案例,分析芯粒NPU上各感知模型的性能特征,提出一种新颖的多芯片调度策略,在MAESTRO模拟器上实现吞吐量提升82%、处理引擎利用率提升2.8倍。
2024-11-24 cs.AI cs.AR cs.DC
Messaging-based Adaptive Vector Computing (MAVeC) Accelerator for AI Workloads
University of Missouri-Kansas City (UMKC)(密苏里大学堪萨斯城分校)
MAVeC是一种基于消息的自适应向量计算加速器,通过高效的数据移动和调度机制,在AI工作负载中实现高吞吐量和低延迟。
2026-02-04 cs.AR
Enabling Flexibility for Sparse Tensor Acceleration via Heterogeneity
最近,已经提出了用于深度神经网络(DNN)、图神经网络(GNN)和科学计算应用的众多稀疏硬件加速器。所有这些加速器的一个共同特点是它们都以张量代数(通常是矩阵乘法)为目标;然而,每一个新的应用都提出了几十个新的加速器。动机是工作负载的大小和稀疏性严重影响哪种架构最适合内存和计算效率。为了满足大型数据中心上各种工作负载的高效计算需求,我们建议部署一个灵活的“异构”加速器,其中包含许多“子加速器”(较小的专用加速器)一起工作。为此,我们提议:(1)HARD TACO,一种快速和高效的C++到RTL设计流程,用于生成用于稀疏和密集计算的多种类型的子加速器,以进行公平的设计空间探索,(2)AESPA,一种利用从HARD TACO生成的子加速器构建的异构稀疏加速器设计模板,以及(3)一组调度策略,用于将张量核映射到异构稀疏加速器上,具有高效率和利用率。AESPA与优化调度相比,性能提高了1.96倍,能量延迟产品(EDP)提高了7.9倍。
2022-01-21 cs.AR
DEAP: Design Space Exploration for DNN Accelerator Parallelism
University of California, Berkeley(加州大学伯克利分校)
本文提出DEAP仿真工作流,结合模型并行与多加速器仿真框架,通过设计空间探索为特定LLM推理负载定制硬件,并报告功耗、周期和延迟指标。
2023-12-24 cs.AR cs.DC cs.LG
AI Accelerators for Large Language Model Inference: Architecture Analysis and Scaling Strategies
本文跨GPU、混合封装和晶圆级引擎比较商用AI加速器的LLM推理架构,量化性能差异与并行扩展策略,为硬件选型和下一代设计提供依据。
2025-05-13 cs.AR cs.LG
Contour: Extensible Mapping Surfaces for Agentic Accelerator Kernel Generation
University of Michigan(密歇根大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
针对新兴加速器内核生成的现有方法反复重建无关语义的问题,提出编译器介导的Zomboss框架,将语义编译为可复用接口,在20个Gemmini和36个PLENA工作负载上实现全实例正确,且性能优于基线方法、推理成本更低。
2026-11-19 cs.AR
Modeling and Optimizing Performance Bottlenecks for Neuromorphic Accelerators
Harvard University(哈佛大学);Politecnico di Torino(都灵理工大学);Intel(英特尔);LMU Munich(慕尼黑大学);Accenture Labs(埃森哲实验室);BootLoop AI;TU Delft(代尔夫特理工大学);Wordly
本文提出神经形态加速器的性能瓶颈分析与优化方法,通过理论建模和实证研究,建立三种瓶颈状态模型,并结合稀疏性感知训练与分区方法,实现显著的性能提升。
2025-11-26 cs.AR
Compass: Co-Exploration of Mapping and Hardware for Heterogeneous Multi-Chiplet Accelerators Targeting LLM Inference Service Workloads
University of Science and Technology of China(中国科学技术大学)
针对LLM推理服务的动态请求类型和可变序列长度,提出Compass框架,通过基于计算执行图的映射编码方案和协同优化引擎,在异构多芯粒加速器上实现延迟降低63.92%、能耗降低40.32%。
2026-06-16 cs.AR
In-Network Accumulation: Extending the Role of NoC for DNN Acceleration
片上网络(NoC)在DNN加速器的性能中起着重要作用。NoC的可扩展性和模块化设计属性通过提供运行不同种类的工作负载的灵活性来帮助提高DNN执行的性能。DNN工作负载中的数据移动对于DNN加速器来说仍然是一项具有挑战性的任务,因此需要一种新的方法。在本文中,我们提出了网络内累积(INA)方法,以进一步加速DNN工作负载在众核空间DNN加速器上执行的权重稳定(WS)模型。INA方法扩展了路由器的功能,支持部分和累加。此方法避免了将传入的部分和注入和弹出到本地处理元素的开销。在AlexNet、ResNet-50和VGG-16工作负载上的仿真结果表明,所提出的INA方法在WS低功耗模型上实现了1.22倍的延迟改善和2.16倍的功耗改善。
2022-09-21 cs.AR cs.DC
Polystore++: Accelerated Polystore System for Heterogeneous Workloads
Stanford University(斯坦福大学);Tata Consultancy Services(塔塔咨询服务公司)
现代实时业务分析由异构工作负载(例如,数据库查询、图形处理和机器学习)组成。这些分析应用程序需要能够捕获组成工作负载的所有方面(包括它们所使用的数据模型以及跨处理引擎的数据移动)的编程环境。Polystore系统适合此类应用;然而,这些系统目前在CPU上执行,摩尔定律的减速意味着它们无法满足现代工作负载的性能和效率要求。我们设想Polystore++,一种使用硬件加速器(例如FPGA,CGRA和GPU)加速现有polystore系统的架构。Polystore++系统可以通过识别和卸载polystore系统的组件来实现低功耗的高性能,这些组件可以使用专用硬件进行加速。构建Polystore++系统具有挑战性,并引入了新的研究问题,这些问题是由硬件加速器的使用引起的(例如,优化和映射跨异构计算单元的查询计划,以及利用硬件流水线和并行性来提高性能)。在本文中,我们详细讨论了这些挑战,并列出了解决这些问题的可能方法。
2019-05-24 cs.AR cs.DB cs.DC
Retrospective: A Scalable Processing-in-Memory Accelerator for Parallel Graph Processing
本文回顾了ISCA 2015论文,提出可编程的Tesseract存内处理架构,通过3D堆叠存储器与消息传递模型从零设计近内存加速器系统,最大化加速图处理等数据密集型应用,并分析了其广泛影响与未来展望。
2023-06-27 cs.AR cs.DC
Scale-out Systolic Arrays
EPFL(洛桑联邦理工学院);CodeDepot;SungKyunKwan University(成均馆大学)
多pod脉动阵列正在成为DNN推理加速器的首选架构。尽管它们具有潜力,但设计多舱收缩阵列以最大化有效吞吐量/瓦特(即,在考虑阵列利用率时调整的吞吐量/瓦特)带来了一系列独特的挑战。在这项工作中,我们研究了三个关键支柱,在多荚脉动阵列设计,即阵列粒度,互连和平铺。我们确定了跨工作负载的最佳阵列粒度,并表明最先进的商业加速器对单租户工作负载使用了次优的阵列大小。然后,我们评估互连的带宽/延迟权衡,并表明蝴蝶网络提供了一个可扩展的拓扑结构的加速器与大量的豆荚。最后,我们介绍了一种新的数据分片方案,自定义分区大小,以最大限度地利用最佳大小的豆荚。我们提出了横向扩展的Sysplant阵列,这是一个基于这三个支柱的单租户和多租户的多pod推理加速器。我们表明,SOSA在最先进的DNN推理工作负载的有效吞吐量方面表现出高达600 TeraOps/s的扩展,并且比最先进的多pod加速器性能高出1.5倍。
2022-03-22 cs.AR cs.LG
Acceleration-as-a-μService: A Cloud-native Monte-Carlo Option Pricing Engine on CPUs, GPUs and Disaggregated FPGAs
云应用程序向松耦合微服务的演进为硬件加速器提供了新的机会,以提高工作负载性能。现有的云加速器技术牺牲了微服务的整合优势。本文介绍了CloudiFi,这是一个将加速器作为云服务进行部署和比较的框架。我们在财务工作负载的背景下评估了我们的框架,并给出了早期结果,表明微服务响应时间提高了485倍。
2021-06-11 cs.AR cs.DC cs.NI
Fast and Fusiest: An Optimal Fusion-Aware Mapper for Accelerator Design
MIT(麻省理工学院);Nvidia(英伟达)
本文提出FFM映射器,通过剪枝非最优映射快速找到最优融合映射,实现能量延迟乘积降低1.8倍,比现有状态最先进加速器更高效。
2026-05-02 cs.AR
Data-aware Dynamic Execution of Irregular Workloads on Heterogeneous Systems
针对异构系统调度依赖手动划分的问题,提出DyPe调度框架,通过动态分析数据特征和算子间并行性自动优化执行,在GPU-FPGA系统上相比静态调度和仅GPU方案显著提升性能与能效。
2025-02-10 cs.AR cs.DC
Being-ahead: Benchmarking and Exploring Accelerators for Hardware-Efficient AI Deployment
已经开发了定制的硬件加速器,以提高DNN推理和训练的性能和效率。然而,现有的硬件加速器可能并不总是适合于处理各种DNN模型,因为它们的架构范例和配置权衡是高度特定于应用的。重要的是在最早阶段对加速器候选者进行基准测试,以收集全面的性能指标并定位潜在的瓶颈。在基准测试之后还出现了进一步的需求,这需要适当的解决方案来解决瓶颈并改进针对目标工作负载的当前设计。为了实现这些目标,在本文中,我们利用名为DNNExplorer的自动化工具来对定制的DNN硬件加速器进行基准测试,并探索具有更高性能和效率的新型加速器设计。主要功能包括(1)直接支持用于DNN工作负载分析的流行机器学习框架和用于快速加速器基准测试的准确分析模型;(2)具有高维设计空间支持和细粒度可调整性的新型加速器设计范例,以克服现有的设计缺陷;以及(3)设计空间探索(DSE)引擎,通过考虑目标AI工作负载和可用硬件资源来生成优化的加速器。结果表明,采用所提出的新范式的加速器可以提供高达4.2倍的吞吐量(GOP/s),比DNNBuilder中最先进的流水线设计高出4.2倍,并且在给定相同的DNN模型和资源预算的情况下,比最近发布的HybridDNN中的通用设计高出2.0倍的效率。借助DNNExplorer的基准测试和探索功能,我们可以在构建和优化定制AI加速器方面处于领先地位,并实现更高效的AI应用程序。
2021-04-06 cs.AR
Code Transpilation for Hardware Accelerators
本文提出将代码翻译框架 Metalift 与 DNN 加速器生成器 Gemmini 集成,以简化遗留代码在硬件加速器上的重写与优化流程,降低新增指令的开发成本。
2023-08-11 cs.AR cs.PL
Dynamic Resource Partitioning for Multi-Tenant Systolic Array Based DNN Accelerator
深度神经网络(DNN)已成为云服务器和边缘设备中的重要应用。与此同时,这些平台上越来越多的DNN增加了在同一设备上执行多个DNN的需求。本文提出了一种动态分区算法,在基于系统数组的加速器上执行多个DNN的并发处理。跨多个DNN共享加速器的存储和处理资源可以提高资源利用率,并减少计算时间和能耗。为此,我们提出了一个分区的重量固定的处理元素的逻辑中的一个小的修改的卷积。我们评估的能量消耗和计算时间与重和轻的工作负载。模拟结果显示,与单租户相比,在重负载和轻负载下,能耗分别提高了35%和62%,计算时间分别提高了56%和44%。
2023-02-21 cs.AR
Compiler and Hardware Co-Design for Accelerator Architectures
Technical University of Denmark(丹麦技术大学)
针对异构加速器全栈集成难的问题,提出EAAC编译器与硬件协同设计架构,基于MLIR支持快速原型,原型GEMM加速器较RISC-V基线实现28倍加速,并指出信号量分配优化方向。
2026-09-25 cs.AR
An Empirical-cum-Statistical Approach to Power-Performance Characterization of Concurrent GPU Kernels
数据中心中功率和能量高效的吞吐量加速器(GPU)的日益增长的部署要求增强GPU的功率-性能协同优化能力。使用加速器实现百亿亿次计算需要进一步提高功率效率。通过加速器中的硬连线内核并发启用,工作负载间和工作负载内的同步内核计算预测以较低的能量预算增加吞吐量。为了提高体系结构的每瓦性能指标,需要对真实世界的吞吐量工作负载(具有并发内核执行)进行系统的实证研究。为此,我们提出了一个多内核的吞吐量工作负载生成框架,这将有利于积极的能源和性能管理的exascale数据中心,并将刺激协同功率性能协同优化的吞吐量架构。此外,我们展示了一个多内核的吞吐量基准测试套件的基础上的框架,封装对称,非对称和共存(经常出现在一起)的内核为基础的工作负载。平均而言,我们的分析表明,吞吐量架构中内核执行的空间和时间并发在GTX 470,Tesla M2050和Tesla K20中的12个基准测试中分别节省了32%,26%和33%的能耗。并发性和提高的利用率通常是相关的,但并不意味着功耗有显著的差异。多样性分析建议的多内核确认特性的变化和功率分布的多样性套件内。此外,我们解释了几个发现的并发吞吐量工作负载的功率性能协同优化。
2020-11-05 cs.AR cs.DC cs.GR
Dijkstra-Through-Time: Ahead of time hardware scheduling method for deterministic workloads
以前大多数关于机器学习硬件加速器的数据流优化的工作都试图找到算法重构,例如循环重新排序和循环平铺。然而,它们提供的分析和信息仍然处于非常高的水平,必须进一步将它们映射到硬件可以理解的指令上。本文提出了一种面向确定性工作负载的计算和存储映射算法--“Dijkstra-Through-Time”(DTT)。它提供了一个简单的实现,并支持具有复杂NoC配置的加速器,代价是漫长的编译过程。这篇初始论文说明了合并调度和数据缓存一致性机制以获得更优化的数据流的概念实现的证明。
2021-12-20 cs.AR
NEON: Enabling Efficient Support for Nonlinear Operations in Resistive RAM-based Neural Network Accelerators
ETH Zürich(苏黎世联邦理工学院);Galicia Supercomputing Center (CESGA)(加利西亚超级计算中心(CESGA))
电阻式随机存取存储器(RRAM)非常适合加速神经网络(NN)工作负载,因为基于RRAM的内存处理(PIM)架构本身支持高度并行的乘法累加(MAC)运算,这些运算构成了大多数NN工作负载的主干。不幸的是,NN工作负载(如Transformers)需要支持非MAC操作(例如,softmax),RRAM无法提供。因此,现有技术的工作要么集成额外的数字逻辑电路以支持非MAC操作,要么将非MAC操作卸载到CPU/GPU,从而由于数据移动而导致显著的性能和能效开销。在这项工作中,我们提出了NEON,一种新的编译器优化,使端到端执行的NN工作负载在RRAM。NEON的核心思想是将每个非MAC操作转换为轻量级但高度准确的神经网络。利用神经网络来近似非MAC操作提供了两个优点:1)我们可以利用RRAM的密钥强度,即,高度并行的MAC操作,灵活高效地执行内存中的非MAC操作。2)我们可以通过消除额外的数字逻辑电路来简化RRAM的微架构,同时减少数据移动开销。与理想化的基于数字逻辑的RRAM相比,内存中非MAC操作的加速使NEON能够实现2.28倍的加速比。我们分析了与转型相关的权衡,并在不同的基板上展示了NEON的可行用例。
2022-11-10 cs.AI cs.AR cs.ET
System and Design Technology Co-optimization of SOT-MRAM for High-Performance AI Accelerator Memory System
针对AI加速器内存受限问题,提出基于DTCO定制SOT-MRAM的高容量高带宽片上存储系统,在CV和NLP训练基准上分别实现8倍能效和9倍/4.5倍延迟改善,面积仅为SRAM的一半。
2023-11-14 cs.AR
Machine Learning Accelerators in 2.5D Chiplet Platforms with Silicon Photonics
Colorado State University(科罗拉多州立大学)
特定领域的机器学习(ML)加速器,如谷歌的TPU和苹果的神经引擎,现在主导着CPU和GPU的节能ML处理。然而,由于单片处理芯片的有限计算密度和对缓慢金属互连的依赖,电子加速器的发展正面临根本性的限制。在本文中,我们提出了如何将光学计算和通信集成到2.5D小芯片平台中的愿景,以推动一类全新的可持续且可扩展的机器学习硬件加速器。我们描述了光学器件、电路和架构的跨层设计和制造以及硬件/软件协同设计如何帮助设计高效的基于光子学的2.5D小芯片平台,以加速新兴的机器学习工作负载。
2023-01-28 cs.AI cs.AR cs.LG
A Multicast-Capable AXI Crossbar for Many-core Machine Learning Accelerators
ETH Zurich(苏黎世联邦理工学院);Integrated Systems Laboratory (IIS)(集成系统实验室)
本文提出一种支持多播的轻量级AXI交叉开关,以12%面积和6%时序开销提升众核机器学习加速器的数据移动效率,并在288核加速器的矩阵乘法上实现29%加速。
2025-02-26 cs.AR
Performance monitoring for multicore embedded computing systems on FPGAs
在设计现代嵌入式计算系统时,大多数软件程序员选择使用多核处理器,可能与通用图形处理单元(GPGPU)和/或硬件加速器结合使用。它们还经常使用嵌入式Linux O/S,并运行多应用程序工作负载,甚至可能是多线程的。现代FPGA足够大,可以将多核硬/软处理器与多个硬件加速器结合起来作为定制计算单元,使整个嵌入式计算系统能够在单个FPGA上实现。此外,大型FPGA供应商还支持其软件和嵌入式处理器的嵌入式Linux内核。当与高级综合相结合,使用C-to-gates流程生成硬件加速器时,可以使软件设计人员使用FPGA作为其自定义计算平台的框架所需的原语现在已经存在。然而,为了确保有效地集成和共享计算资源,软件开发人员需要能够在其工作负载中监视和调试应用程序的运行时性能。本文介绍了ABACUS,一个性能监控框架,可用于调试多核系统上的多应用程序工作负载的执行行为和交互。我们还讨论了如何这个框架是可扩展的异构系统中的硬件加速器使用。
2015-08-28 cs.AR cs.PF
CELLO: Co-designing Schedule and Hybrid Implicit/Explicit Buffer for Complex Tensor Reuse
本文提出张量代数加速器CELLO,通过协同设计片上缓冲区机制CHORD与调度器SCORE,解决HPC工作负载中张量操作形状倾斜和复杂DAG依赖导致的复用难题,实现4倍加速与能效提升。
2025-03-04 cs.AR cs.DC
HCiM: ADC-Less Hybrid Analog-Digital Compute in Memory Accelerator for Deep Learning Workloads
针对模拟CiM加速器中ADC带来的高功耗与面积开销问题,提出无ADC的混合模数加速器HCiM,结合模拟交叉阵列与数字CiM阵列处理缩放因子,实现最高28%的能耗降低。
2024-03-20 cs.AR
FLASH-FHE: A Heterogeneous Architecture for Fully Homomorphic Encryption Acceleration
针对真实全同态加密混合工作负载,提出首个异构架构加速器FLASH-FHE,设计可引导与快速两类集群及调度方案,在深层和浅层工作负载上均实现显著性能提升。
2025-01-30 cs.AR cs.CR
OpenGeMM: A High-Utilization GeMM Accelerator Generator with Lightweight RISC-V Control and Tight Memory Coupling
KU Leuven(鲁汶大学);INESC-ID;Instituto Superior Técnico(高等技术学院);Universidade de Lisboa(里斯本大学)
深度神经网络(DNN)由于其计算和数据密集型的性质,在部署在资源受限的极端边缘设备上时面临重大挑战。虽然为特定应用场景量身定制的独立加速器存在控制不灵活和可编程性有限的问题,但与RISC-V CPU相结合的通用硬件加速平台可以实现高可重用性和灵活性,但通常以系统级效率和低利用率为代价。为了填补这一空白,我们提出了OpenGeMM,一个开源的加速平台,共同展示了高效率和利用率,以及易于配置和可编程性。OpenGeMM包含一个参数化的Chisel编码GeMM加速器,一个轻量级的RISC-V处理器和一个紧密耦合的多组暂存器。GeMM内核利用率和系统效率通过三种机制来提高:配置预加载、带输出缓冲的输入预取和可编程跨存储器访问。实验结果表明,OpenGeMM可以在不同的CNN和Transformer工作负载中始终实现81.89%到99.34%的硬件利用率。与SotA开源Gemmini加速器相比,OpenGeMM在各种GeMM工作负载上的归一化吞吐量上实现了3.58倍至16.40倍的加速,同时实现了4.68 TOPS/W的系统效率。
2024-11-21 cs.AI cs.AR
Redwood: A Frontier AI Accelerator Designed, Verified, and Deployed from Scratch in 2 Weeks by AI
Architect Labs(建筑师实验室)
该研究提出端到端AI系统实现软硬件协同设计验证,2周内自主生成Redwood AI加速器,其性能功耗比优于Jetson,是首个AI端到端设计的可生产AI加速器。
2026-08-31 cs.AI cs.AR
Accel-GCN: High-Performance GPU Accelerator Design for Graph Convolution Networks
University of Connecticut(康涅狄格大学);University of Rochester(罗切斯特大学)
针对GCN在GPU上加速面临的工作负载不均与内存访问不规则问题,提出包含度排序、块级分区、组合warp策略的Accel-GCN加速器,其SpMM内核性能显著优于多个现有方案,有效提升GCN计算效率。
2023-08-22 cs.AR cs.LG
Reconfigurable Distributed FPGA Cluster Design for Deep Learning Accelerators
Illinois Institute of Technology(伊利诺伊理工大学);Embedded Computing and Signal Processing (ECASP) Research Laboratory(嵌入式计算与信号处理(ECASP)研究实验室)
本文提出一种基于低功耗嵌入式FPGA的可重构分布式集群,用于探索深度学习工作负载的分布式调度优化,通过流水线结构和资源手动分配在延迟与功耗效率方面获得最佳性能。
2023-05-24 cs.AR cs.DC cs.LG
Leveraging Application-Specific Knowledge for Energy-Efficient Deep Learning Accelerators on Resource-Constrained FPGAs
本文针对资源受限FPGA上深度学习加速器能效不足的问题,提出一个融合RTL优化、工作负载感知策略和应用特定知识的加速器生成框架,系统探索设计配置以在满足资源与推理性能约束的同时提升能效。
2025-04-12 cs.AR
DeGS: A Scalable 3DGS Architecture via Decoupled Workload Parsing and Reorganization
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);Shanghai Jiao Tong University(上海交通大学)
DeGS是一种解耦工作负载解析与重组的可扩展3DGS架构,通过优化数据流提升PE利用率,在多场景多分辨率下较现有3DGS加速器实现吞吐量、加速比与能效提升,高PE扩展时仍保持高利用率。
2026-08-04 cs.AI cs.AR cs.CV
HTS: A Hardware Task Scheduler for Heterogeneous Systems
随着摩尔缩放时代的结束,应用特定的硬件加速器出现作为一个有吸引力的方式来提高我们的计算系统的性能和功率效率。具有大量硬件加速器以及多个通用CPU的大规模异构系统是一个有前途的方向,但在加速器上的任务的运行时调度和加速器的设计粒度方面提出了一些挑战。本文通过开发一个示例异构系统来解决这些挑战,该系统使多个应用程序能够共享可用的加速器。我们建议在较低的抽象设计加速器,使应用程序被分解成可以映射到几个加速器的任务。我们观察到,几个现实生活中的工作负载可以被分解为在许多工作负载之间共享的常见原语。最后,我们提出并设计了一个硬件任务调度器的启发,在乱序超标量处理器的硬件加速器,以有效地利用系统中的加速器,调度任务的乱序,甚至投机。我们评估所提出的系统在现实生活中和综合基准的基础上数字信号处理~(DSP)的应用。与在具有顺序调度的系统上执行基准测试相比,所提出的调度器在性能上实现了高达12倍的改进。
2019-06-29 cs.AR cs.OS
Communication Lower Bound in Convolution Accelerators
在当前的卷积神经网络(CNN)加速器中,通信(即,存储器访问)支配能量消耗。这项工作提供了全面的分析和方法,以尽量减少CNN加速器的通信。对于片外通信,我们推导出任何卷积层的理论下限,并提出了一个达到下限的卷积层。这个基本问题从未被先前的研究解决。基于精心设计的工作负载和存储映射方案,最大限度地减少了片上通信。此外,我们还设计了一个通信最佳的CNN加速器架构。基于65 nm工艺的评估表明,所提出的架构几乎达到了理论上的最小通信在一个三级存储层次结构,它是计算占主导地位。我们的加速器的能量效率与理论最佳值之间的差距仅为37- 87%。
2020-01-17 cs.AR cs.DC
A3D: Agentic AI flow for autonomous Accelerator Design
Purdue University(普渡大学);Argonne National Laboratory(阿贡国家实验室);University of Chicago(芝加哥大学)
A3D通过代理AI实现端到端的硬件加速器设计自动化,自动分析工作负载、识别性能瓶颈、生成微架构并探索速度-面积权衡空间,利用LLM和EDA工具提升复杂应用的加速器设计效率。
2026-05-14 cs.AI cs.AR
SCATTER: Algorithm-Circuit Co-Sparse Photonic Accelerator with Thermal-Tolerant, Power-Efficient In-situ Light Redistribution
Arizona State University(亚利桑那州立大学);Rensselaer Polytechnic Institute(伦斯勒理工学院)
本文提出SCATTER算法-电路联合稀疏光子加速器,结合原位光再分配、功率门控与串扰感知稀疏训练,在保持精度的同时实现511倍面积缩减和12.4倍功耗节省。
2024-07-07 cs.AR cs.ET cs.LG