Accelerating LLM Inference with Flexible N:M Sparsity via A Fully Digital Compute-in-Memory Accelerator
Georgia Institute of Technology(佐治亚理工学院);Intel Labs(英特尔实验室);Intel Corporation(英特尔公司)
针对固定N:M稀疏性限制LLM表达力的问题,提出FLOW方法灵活选择逐层N:M值,并设计FlexCiM数字存内计算架构以低开销支持多样稀疏模式,实现最高36%准确率提升及1.75倍延迟和1.5倍能耗降低。
2025-04-19 cs.AI cs.AR cs.LG
FastTPS: An Optimized Method for LLM Token Phase for AI accelerators
Anonymous Institution(匿名机构)
研究针对LLMs推理令牌阶段低并行性问题,提出FastTPS方法,含无重新加载KV缓存串联、优化“RoPE”注意力、高度融合MLP及细粒度流水线调度,显著缓解内存瓶颈,提升推理速度与内存带宽利用率。
2026-07-14 cs.LG
Communication Compression for Tensor Parallel LLM Inference
Recogni;Technical University of Munich(慕尼黑技术大学)
本文提出通过压缩加速器间通信来减少张量并行大语言模型推断的延迟,实现TTFT减少2倍且性能损失可忽略。
2026-01-06 cs.AI cs.CL cs.LG
BRIM: Workload-Balanced Dual-Sided Bit-Serial Sparse Inference Accelerator
University of Southern California(南加州大学);Yale University(耶鲁大学)
研究针对双边位串行稀疏推理加速器工作负载不平衡问题,提出BRIM。它采用循环平衡剪枝和成对时隙捐赠两种机制,在等面积约束下评估,能提高PE利用率,实现显著加速和能效提升。
2026-07-23 cs.AI cs.AR
WaferLLM: Large Language Model Inference at Wafer Scale
University of Edinburgh(爱丁堡大学);Microsoft Research(微软研究院)
本文提出首个晶圆级LLM推理系统WaferLLM,通过PLMR硬件模型及MeshGEMM/MeshGEMV算法优化数十万核心利用率,在Cerebras WSE2上实现较A100 GPU最高20倍推理加速与16倍能效提升。
2025-05-30 cs.AI cs.AR cs.DC
ViTA: A Vision Transformer Inference Accelerator for Edge Applications
Indian Institute of Technology Madras(印度理工学院马德拉斯分校);University of Southern California(南加州大学);Intel Labs(英特尔实验室)
针对视觉Transformer模型在资源受限边缘设备上难以部署的问题,提出可配置硬件加速器ViTA,采用头级流水线和层间MLP优化避免重复片外内存访问,在多数模型上实现近90%硬件利用率,功耗0.88W,适用于边缘应用。
2023-02-17 cs.AR cs.CV cs.LG
U-Boost NAS: Utilization-Boosted Differentiable Neural Architecture Search
EPFL(洛桑联邦理工学院)
优化目标平台中的资源利用率是在DNN推理期间实现高性能的关键。虽然已经提出了针对推理延迟、内存占用和能耗的优化,但现有的硬件感知神经架构搜索(NAS)方法忽略了资源利用,从而阻止了DNN充分利用目标推理平台。有效和准确地建模资源利用率是一项挑战,特别是对于广泛使用的基于数组的推理加速器,如Google TPU。在这项工作中,我们提出了一种新的硬件感知的NAS框架,不仅优化任务的准确性和推理延迟,而且资源利用率。我们还提出并验证了一个新的计算模型的推理加速器的资源利用率。通过使用所提出的NAS框架和所提出的资源利用模型,与先前的硬件感知NAS方法相比,我们实现了DNN推理的2.8 - 4倍加速,同时在CIFAR-10和Imagenet-100数据集上实现了图像分类的相似或改进的准确性。
2022-03-23 cs.AI cs.CV cs.LG
Inter-Layer Scheduling Space Exploration for Multi-model Inference on Heterogeneous Chiplets
University of California, Irvine(加州大学欧文分校)
针对多模型工作负载的高计算需求,提出基于异构芯粒MCM的加速器及先进调度框架,实验验证其在4芯粒系统上可显著提升吞吐量与能效。
2023-12-14 cs.AI cs.AR cs.DC
HALO: Memory-Centric Heterogeneous Accelerator with 2.5D Integration for Low-Batch LLM Inference
Elmore Family School of Electrical and Computer Engineering, Purdue University(埃洛姆家族电气与计算机工程学院,普渡大学)
针对低批量长上下文LLM推理中预填充与解码阶段需求差异大、现有方案研究不足的问题,提出融合HBM基CiD与片上模拟CiM的2.5D集成异构内存中心加速器HALO及阶段感知映射策略,在两款模型上实现最高18倍与2.5倍的加速比。
2025-10-03 cs.AI cs.AR
Photonic Reconfigurable Accelerators for Efficient Inference of CNNs with Mixed-Sized Tensors
基于光子微谐振器(MRR)的硬件加速器已被证明可以为处理深度卷积神经网络(CNN)提供破坏性的加速和能效改进。然而,以前的基于MRR的CNN加速器无法为具有混合大小张量的CNN提供有效的适应性。这样的CNN的一个示例是深度可分离的CNN。在这种不灵活的加速器上使用混合大小的张量执行CNN的推理通常会导致硬件利用率低,这会降低加速器可实现的性能和能效。在本文中,我们提出了一种新的方式,在基于MRR的CNN加速器中引入可重构性,以实现加速器硬件组件和使用硬件组件处理的CNN张量之间的大小兼容性的动态最大化。基于加速器中所用硬件组件的布局和相对位置,我们将来自先前工作的最先进的基于MRR的CNN加速器分为两类。然后,我们使用我们的方法在这两个类的加速器中引入可重构性,从而提高它们的并行性,有效映射不同大小,速度和整体能源效率的张量的灵活性。我们评估我们的可重构加速器对三个以前的作品面积比例的前景(所有加速器的硬件面积相等)。我们对四种现代CNN的推理进行的评估表明,与先前工作中基于MRR的加速器相比,我们设计的可重构CNN加速器在每秒帧数(FPS)和FPS/W方面的改进高达1.8倍。
2022-07-12 cs.AI cs.AR cs.CV
AMPLE: Event-Driven Accelerator for Mixed-Precision Inference of Graph Neural Networks
Imperial College London(帝国理工学院)
针对现有FPGA加速器双缓冲机制未考虑图节点非规则分布的问题,提出事件驱动加速器AMPLE,采用混合精度量化和预取技术,在2K至700K节点数据集上实现比CPU和GPU分别快243倍和7.2倍的平均加速。
2025-02-28 cs.AI cs.AR cs.LG
ATRIA: A Bit-Parallel Stochastic Arithmetic Based Accelerator for In-DRAM CNN Processing
University of Kentucky(肯塔基大学)
随着卷积神经网络(CNN)在与机器学习和人工智能(AI)相关的现实世界应用中的快速增长,最近已经提出了用于CNN推理和训练的几种硬件加速器设计。在本文中,我们提出了ATRIA,一种新的基于比特位的随机算法的In-DRAM加速器,用于CNN的节能和高速推理。ATRIA在DRAM单元阵列中采用轻量级修改来实现基于位并行随机算术的DRAM内部乘法累加(MAC)操作的加速。ATRIA通过仅在五个连续的存储器操作周期中执行16个MAC操作,显著改善了处理CNN推断的延迟、吞吐量和效率。我们在ATRIA上映射了四个基准CNN的推理任务,以将其性能与之前工作中的五个最先进的DRAM内CNN加速器进行比较。我们的分析结果表明,ATRIA在CNN推理准确性方面仅下降了3.5%,并且与先前工作中性能最好的DRAM内加速器相比,每秒帧数(FPS)和效率(FPS/W/mm 2)仍然提高了3.2倍。
2021-05-26 cs.AI cs.AR cs.LG
Systolic-CNN: An OpenCL-defined Scalable Run-time-flexible FPGA Accelerator Architecture for Accelerating Convolutional Neural Network Inference in Cloud/Edge Computing
Arizona State University(亚利桑那州立大学)
本文介绍了Systolic-CNN,这是一种OpenCL定义的可扩展、运行时间灵活的FPGA加速器架构,经过优化,可加速多租户云/边缘计算中各种卷积神经网络(CNN)的推理。由于在运行时间支持多个CNN模型的灵活性有限,以及可扩展性差,导致FPGA资源利用不足和计算并行性有限,因此现有的用于CNN推理的OpenCL定义的FPGA加速器是不够的。Systolic-CNN采用了高度流水线化的一维脉动阵列结构,有效地探索了空间和时间并行性,以加速FPGA上的CNN推理。Systolic-CNN是高度可扩展和参数化的,用户可以很容易地对其进行调整,以实现粗粒度计算资源的高达100%的利用率(即,DSP块)。Systolic-CNN在多租户云/边缘计算的背景下也具有运行时间灵活性,可以在运行时间分时加速各种CNN模型,而无需重新编译FPGA内核硬件或重新编程FPGA。基于Intel Arria/Stratix 10 GX FPGA开发板的实验结果表明,对于AlexNet、ResNet-50、ResNet-152、RetinaNet和Lightweight RetinaNet,Systolic-CNN的优化单精度实现可以实现7 ms/2 ms、84 ms/33 ms、202 ms/73 ms、1615 ms/873 ms和900 ms/498 ms的平均推理延迟,分别代码可在https://g…
2020-12-06 cs.AI cs.AR cs.LG
ALADIN: Accuracy-Latency-Aware Design-space Inference Analysis for Embedded AI Accelerators
ALADIN是一种面向嵌入式AI加速器的精度-延迟感知设计空间推理分析框架,通过混合精度量化神经网络的渐进细化过程,实现对精度、延迟和资源消耗的高效评估与优化。
2026-02-12 cs.AI cs.AR cs.LG
Adaptive Orchestration for Large-Scale Inference on Heterogeneous Accelerator Systems Balancing Cost, Performance, and Resilience
Amazon(亚马逊)
本文提出一种硬件无关的控制回路,根据实时成本与容量信号在异构加速器间自适应分配推理请求,动态切换成本与容量优化模式,以平衡成本、性能与韧性,经Stable Diffusion评估验证其有效性。
2025-03-27 cs.AI cs.PF
SCONNA: A Stochastic Computing Based Optical Accelerator for Ultra-Fast, Energy-Efficient Inference of Integer-Quantized CNNs
University of Kentucky(肯塔基大学)
CNN推理任务的加速使用通常被转换为矢量点积(VDP)运算的卷积运算。已经提出了几种基于光子微谐振器(MRR)的硬件架构来加速整数量化的CNN,与它们的电子对应物相比具有显著更高的吞吐量和能量效率。然而,现有的基于光子MRR的模拟加速器在可实现的输入/权重精度和VDP操作大小之间表现出非常强的权衡,这严重限制了它们对于4比特和更高的量化输入/权重精度的可实现的VDP操作大小。受限的VDP操作大小最终抑制了计算吞吐量,从而严重降低了可实现的性能优势。为了解决这个缺点,我们首次提出了随机计算和基于MRR的CNN加速器的合并。为了利用随机计算固有的精度灵活性,我们发明了一种基于MRR的光学随机乘法器(OSM)。我们采用多个OSM的级联方式使用密集波分复用,打造一种新的基于随机计算的光学神经网络加速器(SCONNA)。SCONNA实现了显着的高吞吐量和能源效率,以加速高精度量化CNN的推理。我们在8位输入/权重精度下对四个现代CNN的推理进行的评估表明,SCONNA在每秒帧数(FPS)、FPS/W和FPS/W/mm 2方面分别提供了高达66.5倍、90倍和91倍的改进,平均比先前工作中的两个基于光子MRR的模拟CNN加速器高,对于大型CNN,Top-1精度下降仅高达0.4%,对于小型CNN,则高达1.5%。我们开发了一个事务级、事件驱动的基于Python的模拟器,用于评估SCONNA和其他…
2023-02-14 cs.AI cs.AR cs.ET
DNNFuser: Generative Pre-Trained Transformer as a Generalized Mapper for Layer Fusion in DNN Accelerators
Georgia Institute of Technology(佐治亚理工学院)
数据流/映射决定了DNN加速器的计算和能源效率。已经提出了许多映射器来处理层内映射空间。然而,用于层间映射空间(aka层融合映射空间)的映射器很少被讨论。在这项工作中,我们提出了一个映射器,DNNFuser,专门专注于这个层融合映射空间。虽然现有的SOTA DNN映射探索依赖于基于搜索的映射器,但据我们所知,这是第一个提出基于一次性推理的映射器的工作。我们利用Transformer作为DNN架构,将层融合优化作为序列建模问题进行学习。此外,经过训练的DNNFuser可以概括其知识,并为看不见的条件推断新的解决方案。在一次推理过程中,DNNFuser可以推断出与高度优化的基于搜索的映射器找到的解决方案具有兼容性能的解决方案,同时速度提高66 - 127倍。
2022-06-07 cs.AI cs.LG
Subtractor-Based CNN Inference Accelerator
Dalhousie University(达尔豪斯大学)
本研究提出基于减法器的CNN推理加速方法,通过权重处理将乘加运算替换为减法以降低功耗和面积,可调控性能与精度的权衡,在MNIST数据集上实现了显著的功耗和面积优化且精度损失极低。
2023-10-02 cs.AI cs.AR
LUTMUL: Exceed Conventional FPGA Roofline Limit by LUT-based Efficient Multiplication for Neural Network Inference
Northeastern University(东北大学);Adobe(奥多比公司)
本文提出LUTMUL方法,利用数量远超DSP的查找表执行乘法运算,结合可重构数据流架构突破传统FPGA加速器性能极限,在ImageNet上实现每秒1627张图像的推理吞吐量和70.95%的top-1准确率。
2024-11-01 cs.AI cs.AR cs.LG
DGNN-Booster: A Generic FPGA Accelerator Framework For Dynamic Graph Neural Network Inference
Georgia Institute of Technology(佐治亚理工学院)
本文提出DGNN-Booster,一种基于HLS的通用FPGA加速器框架,通过两种数据流设计支持主流动态图神经网络实时推理,在ZCU102上实现最高5.6倍于CPU、8.4倍于GPU的加速,并显著提升能效。
2023-04-13 cs.AI cs.AR cs.LG
Efficient Noise Mitigation for Enhancing Inference Accuracy in DNNs on Mixed-Signal Accelerators
University of Southern California(南加州大学)
本文提出在预训练DNN中插入可训练去噪模块并设计专用架构,以极低参数开销显著缓解混合信号加速器中模拟组件变化导致的推理精度下降。
2024-09-27 cs.AI cs.CV cs.LG
An Efficient Sparse Inference Software Accelerator for Transformer-based Language Models on CPUs
Intel(英特尔);Intel Labs(英特尔实验室);Stanford University(斯坦福大学)
提出一种面向CPU的高效稀疏推理软件栈,利用Intel Deep Learning Boost优化SpMM计算,在多种Transformer模型和稀疏率下显著超越现有稀疏库与主流推理框架,实现大幅加速。
2023-06-28 cs.AI cs.CL cs.LG
A Survey on Impact of Transient Faults on BNN Inference Accelerators
Florida Polytechnic University(佛罗里达理工大学);University of Rhode Island(罗德岛大学)
在过去的几年里,设计人工智能算法的哲学已经显著地转向从海量数据中自动提取可组合系统。大数据的蓬勃发展加速了这种模式的转变,使我们能够轻松访问和分析非常大的数据集。最著名的大数据分析技术被称为深度学习。这些模型需要显著的计算能力和极高的存储器访问,这需要设计新颖的方法来减少存储器访问并提高功率效率,同时考虑特定领域硬件加速器的发展以支持当前和未来的数据大小和模型结构。特定的集成电路几乎不考虑在存在软错误的情况下保持复杂神经网络计算的弹性的基本要求。软错误可能击中硬件加速器中的存储器存储或组合逻辑,这可能影响架构行为,使得结果的精度落在最小允许正确性之后。在这项研究中,我们证明了软错误对称为二值化神经网络的定制深度学习算法的影响可能会导致严重的图像错误分类。我们的实验结果表明,在最坏情况下,在故障注入期间,在CIFAR-10和MNIST数据集上,lfcW 1A 1和cnvW 1A 1网络中的图像分类器的准确率分别大幅下降了76.70%和19.25
2020-04-10 cs.AI cs.LG stat.ML
Spiker+: a framework for the generation of efficient Spiking Neural Networks FPGA accelerators for inference at the edge
Politecnico di Torino(都灵理工大学)
本文提出Spiker+框架,通过可配置多层硬件SNN和高效神经元架构库,用少量Python代码生成低功耗低面积的FPGA SNN加速器,在MNIST和SHD数据集上表现出色,为资源受限的边缘应用提供优秀解决方案。
2024-01-02 cs.AI cs.AR cs.NE
HEANA: A Hybrid Time-Amplitude Analog Optical Accelerator with Flexible Dataflows for Energy-Efficient CNN Inference
University of Kentucky(肯塔基大学)
HEANA是一种混合时间-幅度模拟光学加速器,通过TAOM和BPCA解决串扰、数据流灵活性及原位累加问题,实现CNN推理的显著性能与能效提升。
2024-12-15 cs.AI cs.AR cs.ET
Spiker-LL: An Energy-Efficient FPGA Accelerator Enabling Adaptive Local Learning in Spiking Neural Networks
Control and Computer Engineering Department, Politecnico di Torino(都灵理工学院控制与计算机工程系)
本文提出Spiker-LL,一种能效高的FPGA加速器,通过扩展开源的Spiker+推理架构,实现了高效的STSF局部学习规则支持,从而在边缘设备上实现自适应局部学习。
2026-05-18 cs.AI cs.NE
LEGO: Spatial Accelerator Generation and Optimization for Tensor Applications
Massachusetts Institute of Technology(麻省理工学院)
提出LEGO框架,通过基于仿射变换的架构表示自动生成空间加速器设计及可综合RTL代码,利用线性规划优化流水线寄存器,相比Gemmini实现3.2倍加速和2.4倍能效提升。
2025-09-15 cs.AI cs.AR cs.LG
Sparse by Command: Task-Conditional Compute Skipping for Multi-Task Inference Accelerators
The Hong Kong University of Science and Technology(香港科学与技术大学);Huawei Noah’s Ark Lab(华为诺亚实验室);The Hong Kong University of Science and Technology (Guangzhou)(香港科学与技术大学(广州))
研究多任务推理模型计算浪费问题,提出软硬件协同设计方法,通过轻量级门控网络预测执行掩码实现任务条件计算跳过,在自动驾驶任务中实验,显著减少计算量、延迟并降低能耗。
2026-07-27 cs.AI cs.AR
Mercury: An Automated Remote Side-channel Attack to Nvidia Deep Learning Accelerator
Nanyang Technological University(南洋理工大学);Tsinghua University(清华大学);Chongqing University(重庆大学)
本文提出Mercury,首个针对现成Nvidia DNN加速器的自动化远程侧信道攻击。该方法将侧信道提取建模为序列到序列问题,利用TDC远程收集功耗轨迹并通过学习模型自动恢复模型架构,结合注意力机制定位泄露点,将模型提取错误率降至1%以下。
2023-08-02 cs.AI cs.CR
Accelerator-driven Data Arrangement to Minimize Transformers Run-time on Multi-core Architectures
École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
针对Transformer模型推理的内存带宽瓶颈,提出由加速器内核大小驱动的数据排布策略,减少片外访问,在多核系统上实现高达2.8倍加速。
2023-12-20 cs.AI cs.AR
Photonic Accelerators for Image Segmentation in Autonomous Driving and Defect Detection
Lightmatter Inc.(Lightmatter公司);Corning Inc.(康宁公司)
该研究探索光子加速器在图像分割任务中的应用,分析适配的DNN架构、运行的吞吐量与能效及权衡,验证部分模型精度损失可忽略并给出精度恢复方案,同时讨论相关挑战与优化方向。
2023-10-03 cs.AI cs.CV
TSB: Tiny Shared Block for Efficient DNN Deployment on NVCIM Accelerators
University of Notre Dame(圣母大学);North Carolina State University(北卡罗来纳州立大学)
本文提出 TSB 方法,通过在 DNN 架构中集成小型共享 1x1 卷积块来稳定特征处理,有效缓解 NVCIM 加速器的器件变化影响,显著提升推理精度并降低训练与映射开销。
2024-08-21 cs.AI cs.AR
Optimizing Foundation Model Inference on a Many-tiny-core Open-source RISC-V Platform
ETH Zürich(苏黎世联邦理工学院);University of Bologna(博洛尼亚大学);Politecnico di Torino(都灵理工大学)
本研究首次在开源多微小核心RISC-V平台上实现Transformer模型端到端推理,利用ISA扩展和DMA引擎优化,在编码器和解码器模型上均实现显著加速,FPU利用率超越现有加速器。
2024-05-29 cs.AI cs.AR cs.DC