Structured Weight Matrices-Based Hardware Accelerators in Deep Neural Networks: FPGAs and ASICs
Syracuse University(雪城大学);City University of New York, City College(纽约城市大学城市学院)
工业界和学术界都对硬件加速进行了广泛的研究。在这项工作中,以解决日益增长的需求,在计算能力和内存需求,我们提出了结构化的权重矩阵(SWM)为基础的压缩技术\emph{field programmable gate array}(FPGA)和\emph{application-specific integrated circuit}(ASIC)的实现。在算法部分,基于SWM的框架采用块循环矩阵,以实现精确度和压缩比之间的细粒度权衡。对于每一层以及训练和推理阶段,基于SWM的技术可以将计算复杂性从O($n^2$)降低到O($n\log n$),并且将存储复杂度从O($n^2$)降低到O($n$)。对于深度卷积神经网络(DCNN)的FPGA实现,与使用MNIST,SVHN和CIFAR-10数据集的相同精度约束下的IBM TrueNorth处理器基线相比,使用基于SWM的框架,我们分别实现了至少152倍和72倍的性能和能效提高。对于长短期记忆(LSTM)网络上的FPGA实现,与基线加速器相比,所提出的基于SWM的LSTM可以实现高达21倍的性能增强和33.5倍的能效增益。对于ASIC实现,基于SWM的ASIC设计在功耗、吞吐量和能效方面表现出令人印象深刻的优势。实验结果表明,该方法非常适合将DNN应用到FPGA和移动/物联网设备上。
2018-03-28 cs.AR cs.DC cs.LG
Scrooge: A Fast and Memory-Frugal Genomic Sequence Aligner for CPUs, GPUs, and ASICs
本文提出Scrooge序列比对器,通过三项算法改进降低GenASM的数据移动、内存占用和操作数,在CPU、GPU和ASIC上均实现显著加速与资源节省。
2023-04-12 cs.AR q-bio.GN
A 333.9uW 0.158mm$^2$ Saber Learning with Rounding based Post-Quantum Crypto Accelerator
美国国家标准与技术研究所(NIST)目前正在进行一项为期多年的标准化程序,以选择未来使用的量子安全或后量子加密方案。Saber是唯一进入第三轮决赛的基于LWR的算法。这项工作提出了一个Saber ASIC,它提供了1.37倍的功率效率,1.75倍的低面积,和4倍的内存实现w.r.t.其他SoA PQC ASIC高能耗乘法器模块的能效是SoA的1.5倍。
2022-07-03 cs.AR cs.CR
Xel-FPGAs: An End-to-End Automated Exploration Framework for Approximate Accelerators in FPGA-Based Systems
本文提出Xel-FPGAs框架,利用统计或机器学习模型将ASIC近似电路高效适配到FPGA系统,探索时间最多降低95%,并能找到更优的Pareto最优设计。
2023-08-08 cs.AR
AdAM: Adaptive Fault-Tolerant Approximate Multiplier for Edge DNN Accelerators
University of Zanjan(赞詹大学);Mälardalen University(梅拉达伦大学);Tallinn University of Technology(塔林理工大学)
本研究提出了一款名为AdAM的新型自适应容错近似乘法器架构,专门适配基于ASIC的边缘DNN加速器。
2024-03-05 cs.AI cs.AR cs.LG
Agentic Operator Generation for ML ASICs
Meta;FAIR, Meta Superintelligence Labs(基础人工智能研究,Meta超智能实验室);Meta Superintelligence Labs(Meta超智能实验室)
TritorX通过代理AI系统生成适用于新兴加速器平台的PyTorch ATen内核,强调覆盖范围和正确性,成功生成481个内核并通过测试。
2025-12-03 cs.AR cs.DC cs.PL
Architectural Design and Performance Analysis of FPGA based AI Accelerators: A Comprehensive Review
Indian Institute of Engineering Science and Technology(印度工程科学与技术学院)
本文综述了基于FPGA的AI加速器的架构设计与性能分析,探讨了硬件层面的优化技术及最新加速器的挑战与未来发展方向。
2026-02-25 cs.AI cs.AR
Mining CryptoNight-Haven on the Varium C1100 Blockchain Accelerator Card
加密货币挖掘是一个能源密集型的过程,是硬件加速的主要候选者。这项正在进行的工作提出了第一个协处理器设计的ASIC抗CryptoNight-Haven工作证明(PoW)算法。我们将硬件加速器构建为Xilinx运行时间(XRT)RTL内核,目标是Xilinx Varium C1100区块链加速卡。该设计采用深度流水线计算和高带宽存储器(HBM)的底层暂存数据。我们的目标是将我们的加速器与现有的CPU和GPU矿工进行比较,以显示其哈希计算的吞吐量和能效
2022-12-09 cs.AR cs.CR
Design Space Exploration of Algorithmic Multi-Port Memories in High-Performance Application-Specific Accelerators
内存加载/存储指令在特定域加速器的执行时间和能量消耗中占有重要地位。为了设计高度并行的系统,从工作负载中提取每个粒度的可用并行性。在这些高性能设计中,在每个粒度上最大限度地使用并行性需要利用多端口存储器。目前,真正的多端口设计不太受欢迎,因为对于超过2端口的多端口存储器没有固有的EDA支持,利用更多端口需要电路级实现,因此需要很长的设计时间。在这项工作中,我们提出了一个框架,设计空间探索的ASIC中的多端口存储器(AMM)。我们研究了文献中不同的AMM设计,讨论了如何将它们结合到Pre-RTL Aladdin框架中,具有不同的存储深度,端口配置和银行结构。从我们对MachSuite(加速器基准套件)中选定的应用程序的分析中,我们了解并量化了AMM(作为真正的多端口存储器)在内存访问模式中具有低空间局部性的应用程序中的高性能的潜在用途。
2022-09-03 cs.AR
CAT: Customized Transformer Accelerator Framework on Versal ACAP
针对GPU硬件定制有限、FPGA设计难度高的问题,本文提出基于Versal ACAP的CAT定制化Transformer加速器框架,通过软硬件协同约束定制属性生成加速器,在VCK5000上实现了优于GPU、传统FPGA及现有SOTA的吞吐量与能效表现。
2024-09-15 cs.AR
CiFHER: A Chiplet-Based FHE Accelerator with a Resizable Structure
本文提出基于芯粒的可重构FHE加速器CiFHER,通过灵活核心架构和通用数据映射方法,以多芯片模块设计实现与单片ASIC相当的性能,同时显著降低功耗和制造成本。
2024-04-01 cs.AR cs.CR
ELSA: A Throughput-Optimized Design of an LSTM Accelerator for Energy-Constrained Devices
Arizona State University(亚利桑那州立大学)
人工智能技术发展和扩散的下一个重要步骤将是嵌入式和移动系统中神经网络(NN)模型的集成。这就要求在硅中设计紧凑、节能的NN模型。在本文中,我们提出了一个可扩展的ASIC设计的LSTM加速器命名为ELSA,这是适合于能源受限的设备。它包括几个建筑创新,以实现小面积和高能效。为了减少整体设计的面积和功耗,ELSA的计算密集型单元采用近似乘法,仍然实现高性能和准确性。通过弹性流水线阶段的有效同步以最大化利用率来进一步提高性能。本文还包括ELSA的性能模型,作为隐藏节点和时间步长的函数,允许其用于评估任何LSTM应用程序。ELSA在RTL中实现,并在65 nm技术中合成、放置和布线。它的功能被证明是语言建模-LSTM的一个常见应用。将ELSA与具有标准功能单元的LSTM加速器的基线实现进行比较,而没有ELSA的任何架构创新。该文件表明,ELSA可以实现显着的改进,在功率,面积和能源效率相比,基线设计和文献中报道的几个ASIC实现,使其适合于在嵌入式系统和实时应用。
2019-10-19 cs.AR cs.LG
Cross-Layer Co-Optimized LSTM Accelerator for Real-Time Gait Analysis
Tallinn University of Technology(塔林理工大学)
本文提出首个跨层协同优化的LSTM加速器,用于实时步态分析,通过软件到布局的全面设计空间探索,优化硬件复杂度与准确性,实现高效实时步态异常检测。
2026-04-15 cs.AR cs.LG
Modeling Deep Learning Accelerator Enabled GPUs
深度学习的有效性导致其在越来越多的应用中的使用。NVIDIA的Volta图形处理器单元(GPU)架构引入了一个专门的功能单元“张量核心”,有助于满足深度学习对更高性能日益增长的需求。在本文中,我们研究了NVIDIA的Volta和Turing架构中的张量核的设计。我们进一步提出了一个架构模型的张量核心伏。在GPU模拟器GPGPU-Sim上实现时,我们的张量核模型在运行支持张量核的GEMM工作负载时,与NVIDIA Titan~V GPU在每个周期的平均指令方面实现了99.6\%的相关性。我们还描述了为使GPGPU-Sim能够运行CUTLASS而添加的支持,CUTLASS是一个开源CUDA C++模板库,提供利用张量核心的可定制GEMM模板。
2019-02-21 cs.AR cs.MS
A Fresh Perspective on DNN Accelerators by Performing Holistic Analysis Across Paradigms
采用冯·诺依曼架构的传统计算机无法满足深度神经网络(DNN)工作负载的延迟和可扩展性挑战。已经提出了基于传统计算硬件加速器(CHA)、近数据处理(NDP)和存储器中处理(PIM)范例的各种DNN加速器来应对这些挑战。我们在这项工作中的目标是对DNN加速器范例中最先进的加速器进行严格的比较,我们使用了MLPerf推理基准的MobileNet,ResNet,BERT和DLRM的独特层进行分析。详细的模型是基于硬件实现的最先进的设计。我们观察到,对于内存密集型的全连接层(FCL)DNN,基于NDP的加速器比最先进的CHA快10.6倍,比基于PIM的加速器快39.9倍。对于计算密集型图像分类和目标检测DNN,最先进的CHA比NDP快约10倍,比基于PIM的加速器快约2000倍。基于PIM的加速器适用于能量受限的DNN应用(与传统ASIC系统相比,CNN和FCL应用的能量分别低约2.7倍和约21倍)。此外,我们确定架构的变化(如增加内存带宽,缓冲区重组),可以增加吞吐量(线性增加)和降低能量(线性减少)ML应用程序与CHA,NDP和PIM的加速器的相关组件的详细敏感性分析。
2022-08-10 cs.AR
DG-RePlAce: A Dataflow-Driven GPU-Accelerated Analytical Global Placement Framework for Machine Learning Accelerators
针对机器学习加速器二维PE阵列给VLSI全局布局带来的可扩展性与QoR挑战,研究提出基于OpenROAD的数据流驱动GPU加速框架DG-RePlAce,在12nm工艺下相较主流工具显著降低线长与总负松弛,且效果可拓展至更多布局场景。
2024-06-19 cs.AR cs.LG
A GPU-Outperforming FPGA Accelerator Architecture for Binary Convolutional Neural Networks
Arizona State University(亚利桑那州立大学);Nanyang Technological University(南洋理工大学)
基于FPGA的卷积神经网络(CNN)硬件加速器由于其比GPU更高的能量效率而受到广泛关注。然而,基于FPGA的解决方案要实现比GPU更高的吞吐量是具有挑战性的。在本文中,我们证明了当CNN在权重和激活的二进制约束下进行训练时,FPGA加速在吞吐量和能效方面都是一种优越的解决方案。具体来说,我们提出了一种优化的FPGA加速器架构,专为逐位卷积和归一化而设计,具有大规模的空间并行性和深流水线阶段。FPGA加速器的一个关键优势是其性能对数据批量大小不敏感,而GPU加速的性能在很大程度上取决于数据的批量大小。实验结果表明,在Virtex-7 FPGA上运行的二进制CNN的加速器架构比Titan X GPU快8.3倍,能效高75倍,可以处理小批量的在线个人请求。对于处理大批量静态数据,该解决方案在吞吐量方面与Titan X GPU不相上下,同时提供9.5倍的能效。
2017-06-08 cs.AR cs.CV cs.DC
Why is FPGA-GPU Heterogeneity the Best Option for Embedded Deep Neural Networks?
图形处理单元(GPU)目前是深度学习(DL)加速器的主要可编程架构。然而,在DL加速器中采用现场可编程门阵列(FPGA)的势头越来越猛。在本文中,我们证明了直接硬件映射(DHM)的卷积神经网络(CNN)在嵌入式FPGA上大大优于GPU实现的能源效率和执行时间。然而,DHM是高度资源密集型的,并且在实现最先进的CNN时不能完全替代GPU。因此,我们提出了一种混合的FPGA-GPU DL加速方法,并证明异构加速优于GPU加速,即使包括通信开销。实验结果在嵌入Nvidia(R)Jetson TX 2 CPU-GPU板和Intel(R)Cyclone 10 GX FPGA板的异构多平台设置上进行。实验了SqueezeNet、MobileNetv 2和ShuffleNetv 2面向移动的CNN。我们表明,异构FPG-AGPU加速优于GPU加速,用于MobileNetv 2(12%-30%的能量减少,4%至26%的延迟减少),SqueezeNet(21%-28%的能量减少,相同的延迟)和ShuffleNetv 2(25%的能量减少,21%的延迟减少)的分类推理任务。
2021-02-02 cs.AR
SQUASH: Simple QoS-Aware High-Performance Memory Scheduler for Heterogeneous Systems with Hardware Accelerators
现代SoC集成了多个CPU内核和硬件加速器(HWA),它们共享同一个主内存系统,导致来自不同代理的内存请求之间的干扰。这种干扰的结果,如果没有得到很好的控制,就会错过HWA的最后期限和CPU性能低下。为CPU-GPU系统设计的现有技术的机制通过在GPU必须完成帧的时间附近优先化GPU来努力满足GPU的目标帧速率。我们观察到两个主要问题时,这种方法是适应异构CPU-HWA系统。首先,HWA错过了最后期限,因为它们的优先级只接近最后期限。其次,这种方法没有考虑在CPU和HWA上运行的不同应用程序的不同存储器访问特性,导致延迟敏感的CPU应用程序的低性能和包括GPU在内的一些HWA的最后期限错过。在本文中,我们提出了一个简单的服务质量服务质量意识的内存异构系统(SQUASH),克服了这些问题,使用三个关键的想法,满足HWA的最后期限,同时提供高的CPU性能的目标。首先,当HWA在截止日期期间的任何时间都没有按计划满足其截止日期时,SQUASH优先考虑HWA。其次,SQUASH根据内存密集型应用程序的性能对内存延迟不敏感的观察结果,将HWA优先于内存密集型CPU应用程序。第三,SQUASH以不同的方式对待短期限的HWA,因为它们更有可能错过其期限,并基于最坏情况的内存访问时间估计来调度其请求。对各种不同工作负载和系统的广泛评估表明,SQUASH实现了比以前最好的调度器更好的CPU性能,同时…
2015-05-27 cs.AR
Energy-Efficient Hardware Acceleration of Whisper ASR on a CGLA
Nara Institute of Science and Technology(奈良先端科学技术大学院大学)
本文在通用CGLA加速器IMAX上实现并评估了Whisper ASR核心内核,通过软硬件协同设计,预测28nm ASIC能效比NVIDIA Jetson AGX Orin高1.90倍、RTX 4090高9.83倍,为边缘设备可持续ASR提供高能效可编程平台。
2025-11-04 cs.AR
PipeCNN: An OpenCL-Based FPGA Accelerator for Large-Scale Convolution Neuron Networks
卷积神经网络在图像分类、视频分析和语音识别等领域有着广泛的应用。作为计算密集型,CNN计算主要由具有高功耗的GPU加速。最近,研究进行了利用FPGA作为CNN加速器,因为它的可重构性和能源效率的优势比GPU,特别是当基于OpenCL的高级合成工具,现在提供快速验证和实施流程。以前的基于OpenCL的设计只关注于创建一个通用的框架来识别与性能相关的硬件参数,而没有利用FPGA的特殊能力,流水线内核功能,以最大限度地减少内存带宽的要求。在这项工作中,我们提出了一个FPGA加速器的深度流水线OpenCL内核的新架构。为了提高设计效率,还提出了数据重用和任务映射技术。通过在Altera Stratix-V A7 FPGA上实现AlexNet和VGG两个具有代表性的大规模CNN,验证了所提出的方案。与以前的工作相比,我们已经实现了33.9 GOPS的类似峰值性能,DSP块上的资源减少了34%。我们的设计是开放的,因此可以重用,以探索新的架构神经网络加速器。
2016-11-08 cs.AR
The Immutable Tensor Architecture: A Pure Dataflow Approach for Secure, Energy-Efficient AI Inference
Oklahoma Christian University(俄克拉荷马基督教大学)
不可变张量架构通过将模型权重转化为物理电路拓扑,实现安全、节能的AI推理。
2025-11-28 cs.AR
AI Hardware Accelerators for Large Language Models: Architectures and the Memory Wall
Shiv Nadar Institution of Eminence(Shiv Nadar卓越学院)
本综述梳理了各类面向大语言模型的AI硬件加速器架构,基于Transformer与Roofline分析指出内存是加速核心约束,对比各平台特性并展望了未来以内存为中心的异构系统发展方向。
2026-08-31 cs.AR cs.DC
StreamTensor: Make Tensors Stream in Dataflow Accelerators for LLMs
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Inspirit IoT, Inc.(Inspirit IoT 公司)
StreamTensor提出一种编译器框架,通过迭代张量类型系统和三层设计空间优化,在FPGA上实现LLM数据流加速,显著降低延迟并提升能效。
2025-09-23 cs.AR
PointAcc: Efficient Point Cloud Accelerator
点云上的深度学习在自动驾驶和AR/VR等广泛应用中发挥着至关重要的作用。这些应用程序在边缘设备上与人实时交互,因此需要低延迟和低能耗。与将点云投影到2D空间相比,直接处理3D点云可获得更高的精度和更低的MAC数。然而,点云的极稀疏性质对硬件加速提出了挑战。例如,我们需要显式地确定非零输出并搜索非零邻居(映射操作),这在现有加速器中是不支持的。此外,需要稀疏特征的显式聚集和分散,从而导致大的数据移动开销。本文全面分析了现代点云网络在CPU/GPU/TPU上的性能瓶颈。为了解决这些挑战,我们提出了PointAcc,一种新颖的点云深度学习加速器。PointAcc将不同的映射操作映射到一个通用的基于排名的内核上,通过可配置的缓存来流式传输稀疏计算,并在时间上融合连续的密集层以减少内存占用。在4个应用程序的8个点云模型上进行评估,PointAcc比RTX 2080 Ti GPU实现了3.7倍的加速和22倍的节能。PointAcc与轻量级神经网络共同设计,在S3 DIS数据集上运行分割的准确性提高了9.1%,速度提高了100倍,可与之前的加速器Mesorasi相媲美。PointAcc为高效的点云识别铺平了道路。
2021-10-14 cs.AR
Adapting Atmospheric Chemistry Components for Efficient GPU Accelerators
本文针对 MONARCH 大气化学模型,提出同时求解多个网格单元化学机制实例的策略,并对 CAMP 关键函数进行 GPU 移植和内存访问优化,分别实现最高 9 倍和 1.7 倍加速。
2024-12-13 cs.AR physics.comp-ph
OISA: Architecting an Optical In-Sensor Accelerator for Efficient Visual Computing
本文首次提出光学传感器内加速器架构 OISA,通过最小转换方式在低比特神经网络中实现粗粒度卷积,在保持可接受精度的同时显著提升能效并降低功耗。
2023-11-30 cs.AR eess.SP
Accel-GCN: High-Performance GPU Accelerator Design for Graph Convolution Networks
University of Connecticut(康涅狄格大学);University of Rochester(罗切斯特大学)
针对GCN在GPU上加速面临的工作负载不均与内存访问不规则问题,提出包含度排序、块级分区、组合warp策略的Accel-GCN加速器,其SpMM内核性能显著优于多个现有方案,有效提升GCN计算效率。
2023-08-22 cs.AR cs.LG
Torch2Chip: An End-to-end Customizable Deep Neural Network Compression and Deployment Toolkit for Prototype Hardware Accelerator Design
Cornell University(康奈尔大学)
针对现有深度学习框架量化定制性不足、整数参数提取困难及工具包自由度受限等问题,本文提出开源可定制的Torch2Chip工具包,支持用户自定义压缩并自动完成模型融合与参数提取,直接生成面向CNN和ViT原型芯片验证的可部署格式。
2024-05-06 cs.AR cs.LG
TRIM: A Design Space Exploration Model for Deep Neural Networks Inference and Training Accelerators
在边缘/物联网环境和高性能计算系统中,对用于训练深度神经网络的专用硬件的需求越来越大。由于处理架构、深度神经网络配置和低功耗选项的广泛范围,这种硬件的设计空间非常大。这使得开发深度神经网络处理器非常复杂,特别是对于训练。我们提出TRIM,这是一种基础设施,可以帮助硬件架构师探索深度神经网络加速器的设计空间,以便在早期设计阶段进行推理和训练。该模型在整个网络级别进行评估,同时考虑层间和层内活动。给定应用程序、基本硬件规格和设计目标,TRIM可以快速探索不同的硬件设计选项,选择最佳硬件流程并指导新的硬件架构设计。我们通过基于FPGA的深度神经网络加速器和基于ASIC的架构的实现验证了TRIM。我们还展示了如何使用TRIM探索设计空间,通过几个案例研究。TRIM是一个强大的工具,可以帮助架构师评估不同的硬件选择,以开发有效的推理和培训架构设计。
2022-05-01 cs.AR cs.DC
RoboGPU: Accelerating GPU Collision Detection for Robotics
University of British Columbia(不列颠哥伦比亚大学)
RoboGPU 通过改进 GPU 的光线追踪加速器单元,显著提升了机器人碰撞检测的速度,同时适用于其他机器人任务,兼顾性能与灵活性。
2026-09-18 cs.AR cs.RO
SHARP: An Adaptable, Energy-Efficient Accelerator for Recurrent Neural Network
Microsoft(微软);Universitat Politecnica de Catalunya(加泰罗尼亚理工大学)
针对现有RNN加速器资源利用率低和适应性差的问题,提出自适应节能硬件加速器Sharp,通过智能分块调度和动态可重构架构隐藏数据依赖,相比ASIC、FPGA和GPU实现显著提升速度并降低能耗。
2023-05-21 cs.AR cs.LG cs.NE
Evaluating Emerging AI/ML Accelerators: IPU, RDU, and NVIDIA/AMD GPUs
University of Connecticut(康涅狄格大学);University of Rochester(罗切斯特大学);Pacific Northwest National Laboratory(太平洋西北国家实验室)
本研究初步评估并比较了Graphcore IPU、Sambanova RDU及NVIDIA/AMD GPU等新兴AI/ML加速器,通过基准测试揭示数据流架构优势,为下一代硬件设计提供参考。
2024-03-19 cs.AR cs.DC cs.LG
Space-CIM: Enabling Compute-In-Memory Accelerators for Thermally-Constrained Space Platforms
Iowa State University of Science and Technology(爱荷华州立科技大学)
针对空间热约束,提出辐射器在环协同设计方法,比较GPU与存内计算加速器性能,证明CIM在空间部署中具有放大优势。
2026-06-04 cs.AR cs.ET
A High-Performance Accelerator for Super-Resolution Processing on Embedded GPU
The Chinese University of Hong Kong(香港中文大学);SmartMore(思谋科技)
本文提出一种面向嵌入式GPU的全栈超分辨率加速框架,通过字典选择策略与计算核优化设计解决通信与计算瓶颈,在边缘设备上显著优于NVIDIA TensorRT并实现实时推理。
2023-03-16 cs.AR cs.CV eess.IV
NTX: An Energy-efficient Streaming Accelerator for Floating-point Generalized Reduction Workloads in 22nm FD-SOI
用于深度学习等多重累积(MAC)密集型工作负载的专用协处理器在从GPU到移动SoC的SoC平台中越来越普遍。在本文中,我们重新审视NTX(一种为大规模训练深度神经网络而开发的高效加速器),将其作为广义MAC和简化流引擎。该架构由一组32位浮点流协处理器组成,这些协处理器松散耦合到负责编排数据移动和计算的RISC-V核心。最近在22 nm FD-SOI技术中的硅实现的布局后结果显示,该加速器在1.25 GHz和168 mW下能够提供高达20 Gflop/s的性能。基于这些结果,我们表明,缩小到14 nm的NTX版本可以在10.4倍的硅面积上实现比当代GPU高3倍的能效,以及1.4 Tflop/s的计算性能,用于训练具有全浮点精度的大型最先进网络。对MAC密集型内核的扩展评估表明,NTX在机器学习之外的一般减少工作负载中可以始终实现高达87%的峰值性能。其模块化架构支持从高性能GPU级到低功耗嵌入式场景的不同规模部署。
2018-12-01 cs.AR cs.DC
FPGA or GPU? Analyzing comparative research for application-specific guidance
Western New England University, Member IEEE, Springfield, MA, USA(西部新英格兰大学);Department of ECE , The Citadel , Charleston, NC, USA(电子与计算机工程系,特 CITADEL,查尔斯顿,NC,USA)
本文通过综合比较FPGA与GPU的研究文献,分析其性能、能效和可编程性,为不同领域应用选择合适加速器提供指导。
2025-11-09 cs.AR cs.CL cs.DC
HBM Is Not All You Need: Efficient Disaggregated LLM Serving across Memory-heterogeneous Accelerators
Shanghai Jiao Tong University(上海交通大学);UltraRISC
针对LLM推理中预填充阶段HBM带宽闲置问题,提出HMA-Serve系统,通过分阶段量化、计算-传输流水线和延迟反量化,在GDDR加速器上高效执行预填充,实现3.2倍吞吐提升和4.8倍性价比提升。
2026-06-29 cs.AR cs.DC
An Empirical-cum-Statistical Approach to Power-Performance Characterization of Concurrent GPU Kernels
数据中心中功率和能量高效的吞吐量加速器(GPU)的日益增长的部署要求增强GPU的功率-性能协同优化能力。使用加速器实现百亿亿次计算需要进一步提高功率效率。通过加速器中的硬连线内核并发启用,工作负载间和工作负载内的同步内核计算预测以较低的能量预算增加吞吐量。为了提高体系结构的每瓦性能指标,需要对真实世界的吞吐量工作负载(具有并发内核执行)进行系统的实证研究。为此,我们提出了一个多内核的吞吐量工作负载生成框架,这将有利于积极的能源和性能管理的exascale数据中心,并将刺激协同功率性能协同优化的吞吐量架构。此外,我们展示了一个多内核的吞吐量基准测试套件的基础上的框架,封装对称,非对称和共存(经常出现在一起)的内核为基础的工作负载。平均而言,我们的分析表明,吞吐量架构中内核执行的空间和时间并发在GTX 470,Tesla M2050和Tesla K20中的12个基准测试中分别节省了32%,26%和33%的能耗。并发性和提高的利用率通常是相关的,但并不意味着功耗有显著的差异。多样性分析建议的多内核确认特性的变化和功率分布的多样性套件内。此外,我们解释了几个发现的并发吞吐量工作负载的功率性能协同优化。
2020-11-05 cs.AR cs.DC cs.GR
Edge Physical AI Deployment of Vision Transformers on Heterogeneous Edge GPU Targeting Autonomous Vehicles
Jetson-aware embedded deep learning inference(Jetson-aware嵌入式深度学习推理)
研究针对自动驾驶车辆在异构边缘GPU上部署视觉Transformer的问题,提出硬件感知的H-FraDS方法,通过固定调度比率路由帧,适配组件,结合OFA,实现高效推理,提升了帧率、吞吐量并满足实时操作要求。
2026-07-14 cs.AI cs.AR
Co-design of a novel CMOS highly parallel, low-power, multi-chip neural network accelerator
Green Mountain Semiconductor Inc.(绿山半导体公司);Non-Von LLC(Non-Von有限责任公司);Dartmouth College(达特茅斯学院)
本文提出NV-1低功耗ASIC AI处理器,采用非冯·诺依曼多并行处理器-内存架构,实现并行处理加速超10倍、能耗降低超100倍,并通过软硬件协同设计与数字孪生验证,已成功应用于边缘传感器。
2024-09-28 cs.AI cs.AR cs.DC
MPNA: A Massively-Parallel Neural Array Accelerator with Dataflow Optimization for Convolutional Neural Networks
Vienna University of Technology (TU Wien)(维也纳工业大学(TU Wien));Information Technology University (ITU)(信息技术大学(ITU))
用于卷积神经网络(CNN)的最先进的加速器通常只专注于加速卷积层,但不会优先考虑完全连接的层。因此,它们缺乏硬件架构的协同优化和用于完整CNN设计的不同流程,这可以提供更高的性能/能量效率潜力。为此,我们提出了一种新型的大规模并行神经阵列(MPNA)加速器,它集成了两个异构的脉动阵列和各自的高度优化的卷积模式,以共同加速卷积(CONV)和全连接(FC)层。除了充分利用可用的片外内存带宽之外,这些优化的FIFO还实现了所有数据类型(即,重量,输入和输出激活),从而使我们的MPNA实现高节能。我们使用28 nm技术的ASIC设计流程合成了我们的MPNA架构,并使用多个真实世界的复杂CNN进行了功能和时序验证。MPNA在280 MHz时达到149.7GOPS/W,功耗为239 mW。实验结果表明,我们的MPNA架构提供了1.7倍的整体性能提高相比,国家的最先进的加速器,和51%的节能相比,基线架构。
2018-10-30 cs.AR cs.DC cs.LG
An Open-Source ML-Based Full-Stack Optimization Framework for Machine Learning Accelerators
University of California, San Diego(加州大学圣地亚哥分校);University of Minnesota(明尼苏达大学)
该研究提出一种物理设计驱动的基于学习的预测框架,结合前后端分析实现ML加速器PPA与系统指标的精准估算,还包含全自动DSE技术,在两类工艺下的两个加速器平台实验中预测误差平均不超7%。
2023-08-23 cs.AR cs.LG
LiteCON: An All-Photonic Neuromorphic Accelerator for Energy-efficient Deep Learning (Preprint)
University of California, San Diego(加州大学圣地亚哥分校)
深度学习在当今的数据密集型时代非常普遍。特别地,卷积神经网络(CNN)正被广泛用于各种领域以获得优异的精度。然而,在传统的CPU和GPU上计算深度CNN会带来一些性能和能源陷阱。基于ASIC、FPGA和连续存储器器件的几种新方法最近已经被证明具有很好的效果。它们中的大多数只针对深度学习的推理(测试)阶段。设计一个既能训练又能推理的成熟的深度学习加速器的尝试非常有限。这是由于训练阶段的高度计算和内存密集型。在本文中,我们提出了LiteCON,一种新型的模拟光子学CNN加速器。LiteCON使用基于硅微磁盘的卷积、基于忆阻器的存储器和密集波分复用技术来实现节能和超快的深度学习。我们使用商业CAD框架(IPKISS)在包括LeNet和VGG-Net在内的深度学习基准模型上评估LiteCON。与最先进的技术相比,LiteCON将CNN的吞吐量、能效和计算效率分别提高了32倍、37倍和5倍,而精度下降微不足道。
2022-06-28 cs.AR cs.ET cs.LG
Virtual Screening on FPGA: Performance and Energy versus Effort
基于FPGA的加速器卡已成为GPU和CPU的替代品,可在具有某些要求(如能效)或属性(如定点计算)的应用中加速计算。在本文中,我们展示了在几种类型的加速器上绘制用于药物发现的工业应用的结果和经验。我们特别强调了FPGA与CPU和GPU在性能和能效方面的努力与优势。对于这个应用程序,即使广泛使用FPGA特定的功能,并执行不同的优化,在GPU上的结果仍然更好,无论是在能源和性能方面。
2022-10-19 cs.AR cs.DC cs.PF
CrossLight: A Cross-Layer Optimized Silicon Photonic Neural Network Accelerator
Colorado State University(科罗拉多州立大学)
领域特定的神经网络加速器近年来受到越来越多的关注,因为与CPU和GPU相比,它们提高了能效和推理性能。在本文中,我们提出了一种新的跨层优化的神经网络加速器称为CrossLight,利用硅光子学。CrossLight包括器件级工程,以适应工艺变化和热串扰,电路级调整增强,以减少推理延迟,以及架构级优化,以实现更高的分辨率,更好的能效和更高的吞吐量。平均而言,与最先进的光子深度学习加速器相比,CrossLight在16位分辨率下的每比特能耗低9.5倍,每瓦性能高15.9倍。
2021-02-13 cs.AR cs.ET cs.LG