An Efficient Sparse Hardware Accelerator for Spike-Driven Transformer
针对大模型硬件实现功耗高的问题,本文提出面向脉冲驱动Transformer的高效稀疏硬件加速器,通过新型位置编码与双脉冲自注意力模块充分利用稀疏性,实现吞吐量与能效的显著提升。
2025-01-14 cs.AR
An Algorithm-Hardware Co-Optimized Framework for Accelerating N:M Sparse Transformers
Nanjing University(南京大学);SenseTime(商汤科技)
Transformer一直是深度学习中不可或缺的主食。然而,对于现实生活中的应用,这是非常具有挑战性的部署高效的Transformers由于巨大的参数和操作的模型。为了减轻这种负担,利用稀疏性是加速Transformers的有效方法。新兴的Ampere GPU利用2:4稀疏模式来实现模型加速,但它很难满足部署模型时的各种算法和硬件约束。相比之下,我们提出了一个算法硬件协同优化的框架,灵活,有效地加速Transformers,利用一般的N:M稀疏模式。(1)从算法的角度,我们提出了一个稀疏继承机制,随着继承的动态修剪(IDP)的方法,以获得一系列的N:M稀疏候选Transformers迅速。进一步提出了一种模型压缩方案,大大降低了部署所需的存储空间。(2)从硬件的角度来看,我们提出了一个灵活和高效的硬件架构,即STA,实现显着的加速时,部署N:M稀疏Transformers。STA不仅具有统一稀疏-密集和密集-密集矩阵乘法的计算引擎,具有高计算效率,而且具有可扩展的softmax模块,消除了中间片外数据通信的延迟。实验结果表明,与其他方法相比,使用IDP生成的N:M稀疏Transformers在训练效率较高的情况下,准确率平均提高了6.7%。此外,与Intel i9- 9900 X和NVIDIA RTX 2080 Ti相比,STA可以分别实现14.47倍和11.33倍的加速比,并且执…
2022-08-12 cs.AR cs.LG
Xpikeformer: Hybrid Analog-Digital Hardware Acceleration for Spiking Transformers
Xpikeformer是一种混合模拟-数字硬件架构,通过集成模拟存内计算和随机脉冲注意力引擎,加速脉冲Transformer,在保持与GPU相当的推理精度的同时,实现高达13倍能耗降低。
2025-04-03 cs.AR
HEAT: Hardware-Efficient Automatic Tensor Decomposition for Transformer Compression
NVIDIA(英伟达);Caltech(加州理工学院)
Transformers在自然语言处理和计算机视觉方面取得了卓越的性能。它们的自我注意和前馈层是过度参数化的,限制了推理速度和能量效率。张量分解是一种很有前途的技术,通过利用张量代数性质来表示因子分解形式的参数,以减少参数冗余。先前的努力使用手动或启发式因子分解设置,而没有硬件感知的定制,导致硬件效率低下和性能大幅下降。在这项工作中,我们提出了一个硬件感知的张量分解框架,称为HEAT,它可以有效地探索可能的分解的指数空间,并通过硬件感知的协同优化自动选择张量化形状和分解秩。我们共同研究张量收缩路径优化和融合Einsum映射策略,以弥合理论优势和实际硬件效率提高之间的差距。我们的两阶段知识蒸馏流程解决了可训练性瓶颈,从而显著提高了因子化Transformers的最终准确性。总的来说,我们的实验表明,我们的硬件感知因子分解BERT变体将能量延迟产品减少了5.7倍,准确性损失小于1.1%,并实现了比手动调整和启发式基线更好的效率-准确性帕累托前沿。
2022-11-30 cs.AI cs.AR cs.LG
MLDSE: Scaling Design Space Exploration Infrastructure for Multi-Level Hardware
MLDSE提出面向多层级硬件的设计空间探索基础设施,通过硬件IR建模、时空映射和事件驱动模拟三项创新,支持架构、参数与映射的三层DSE探索。
2025-03-27 cs.AR cs.DC
A Length Adaptive Algorithm-Hardware Co-design of Transformer on FPGA Through Sparse Attention and Dynamic Pipelining
University of Connecticut(康涅狄格大学);Stevens Institute of Technology(史蒂文斯理工学院);Pacific Northwest National Laboratory(太平洋西北国家实验室);George Mason University(乔治梅森大学);Lehigh University(理海大学)
自2018年以来,Transformers被认为是最重要的深度学习模型之一,部分原因是它建立了最先进的(SOTA)记录,并有可能取代现有的深度神经网络(DNN)。尽管取得了显著的胜利,但Transformer型号的周转时间延长是一个公认的障碍。序列长度的变化强加了额外的计算开销,其中输入需要被零填充到批处理中的最大句子长度以适应并行计算平台。针对现场可编程门阵列(FPGA),提出了一种用于Transformer加速的相干序列长度自适应算法-硬件协同设计。特别是,我们开发了一个硬件友好的稀疏注意算子和长度感知的硬件资源调度算法。稀疏注意算子将基于注意力模型的复杂度降低到线性复杂度,并减少了片外内存流量。提出的长度感知资源硬件调度算法动态分配硬件资源,以填补流水线槽,并消除气泡的NLP任务。实验结果表明,该算法的精度损失很小,与CPU和GPU相比,具有80.2 $\times$和2.6 $\times$的加速比,并且比通过CUBLAS GEMM优化的GPU加速器高4 $\times$的能效。
2022-08-20 cs.AR cs.LG
Hardware Efficient Accelerator for Spiking Transformer With Reconfigurable Parallel Time Step Computing
本文提出首个低功耗脉冲Transformer硬件加速器,通过IAND修改和全并行tick批处理及时间步可重构架构,实现多时间步并行处理,在28nm工艺下达到3.456 TSOPS和38.334 TSOPS/W能效。
2025-03-25 cs.AR
Reusing Softmax Hardware Unit for GELU Computation in Transformers
Democritus University of Thrace(德谟克利特色雷斯大学)
本研究将 Transformers 中的 GELU 计算映射到 softmax 算子上以复用硬件单元,在不降低 NLP 应用准确率的情况下,平均减少 6.1% 硬件面积和 11.9% 功耗。
2024-02-16 cs.AR cs.LG
Low Power Vision Transformer Accelerator with Hardware-Aware Pruning and Optimized Dataflow
Institute of Electronics, National Yang Ming Chiao Tung University(电子研究所,阳明交通大学)
本文提出一种低功耗视觉变换器加速器,通过算法-硬件协同设计,利用硬件友好的动态令牌剪枝和动态FFN2剪枝,减少运算和权重,提升能效与面积效率。
2025-10-16 cs.AR cs.LG
HeatViT: Hardware-Efficient Adaptive Token Pruning for Vision Transformers
Northeastern University(东北大学);Simon Fraser University(西蒙弗雷泽大学);CoCoPIE LLC(CoCoPIE有限责任公司)
虽然视觉Transformer(ViTs)在计算机视觉领域不断取得新的里程碑,但其复杂的网络架构以及高计算和内存成本阻碍了其在资源有限的边缘设备上的部署。在本文中,我们提出了一个硬件高效的图像自适应令牌修剪框架,称为HeatViT的高效而准确的ViT加速嵌入式FPGA。通过分析ViTs中固有的计算模式,我们首先设计了一个有效的基于注意力的多头标记选择器,它可以逐步插入到Transformer块之前,以动态地识别和合并输入图像中的非信息标记。此外,我们通过添加微型控制逻辑来实现硬件上的令牌选择器,以大量重用为主干ViT构建的现有硬件组件。为了提高硬件效率,我们进一步采用8位定点量化,并提出了多项式近似的正则化效果的量化误差的ViTs中常用的非线性函数。最后,我们提出了一种延迟感知的多阶段训练策略,以确定用于插入令牌选择器的Transformer块,并优化插入令牌选择器的期望(平均)修剪率,以提高模型的准确性和硬件上的推理延迟。与现有的ViT剪枝研究相比,在相似的计算成本下,HeatViT可以实现0.7% $\sim$ 8.9%的高精度;而在相似的模型精度下,HeatViT可以实现超过28.4% $\sim$ 65.3%的计算减少,对于ImageNet数据集上各种广泛使用的ViT,包括DeiT-T,DeiT-S,DeiT-B,LV-ViT-S和LV-ViT-M。与基线硬件加速器相比,我…
2023-02-25 cs.AI cs.AR cs.CV
Optimizing Layer-Fused Scheduling of Transformer Networks on Multi-accelerator Platforms
本文扩展 DSE 框架 Stream 以支持多类加速器上的 Transformer 调度与层融合探索,发现按注意力头输入大小调整执行调度可显著降低活动特征数据内存需求。
2024-06-14 cs.AR
CATransformers: Carbon Aware Transformers Through Joint Model-Hardware Optimization
Georgia Institute of Technology(佐治亚理工学院);FAIR at Meta(Meta的FAIR部门);Reality Labs at Meta(Meta的Reality Labs);Meta
针对机器学习解决方案碳足迹增长问题,提出首个碳感知协同优化框架CATransformers,通过整合运营与隐含碳进行模型-硬件早期设计探索,实现碳减排(最高30%)且保持性能,揭示与传统方法不同的权衡。
2025-11-11 cs.AR cs.LG
MDTransformer: A Hardware-Software Co-Design of Mode-Division Photonic Transformer Accelerator with Inverse-Designed Coherent Crossbar
New York University (NYU) Abu Dhabi(纽约大学阿布扎比分校)
研究针对光子变压器加速器因有源移相器组件导致的问题,提出MDTransformer软硬件协同设计。利用模分光学数据流等执行复杂矩阵运算,形成紧凑光子张量核。实验表明其在不同工作负载下相比现有技术有面积、功耗、能源节省及延迟相当等优势,为高性能节能变压器系统提供方案。
2026-07-29 cs.AI cs.AR cs.DC
Model Quantization and Hardware Acceleration for Vision Transformers: A Comprehensive Survey
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
本文系统综述了视觉Transformer的模型量化与硬件加速方法,分析其架构特性、量化原理与最新技术,并探讨硬件友好设计和未来研究方向。
2024-05-01 cs.AI cs.AR cs.CV
CAT: Customized Transformer Accelerator Framework on Versal ACAP
针对GPU硬件定制有限、FPGA设计难度高的问题,本文提出基于Versal ACAP的CAT定制化Transformer加速器框架,通过软硬件协同约束定制属性生成加速器,在VCK5000上实现了优于GPU、传统FPGA及现有SOTA的吞吐量与能效表现。
2024-09-15 cs.AR
ShatterQuant: Breaking Uniform Precision with Block-Wise Mixed-Precision on a Systolic Transformer Hardware Accelerator
Johns Hopkins University(约翰斯·霍普金斯大学);KU Leuven(鲁汶大学)
ShatterQuant通过软硬件协同设计,在脉动阵列加速器上实现块级混合精度量化,在低2位有效位宽下达到接近最先进精度,并提升面积与能效。
2026-10-02 cs.AI cs.AR eess.IV
Accelerator-driven Data Arrangement to Minimize Transformers Run-time on Multi-core Architectures
École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
针对Transformer模型推理的内存带宽瓶颈,提出由加速器内核大小驱动的数据排布策略,减少片外访问,在多核系统上实现高达2.8倍加速。
2023-12-20 cs.AI cs.AR
Insights into DeepSeek-V3: Scaling Challenges and Reflections on Hardware for AI Architectures
DeepSeek-AI(深Seek人工智能)
DeepSeek-V3通过硬件感知的模型协同设计,解决了大规模LLM扩展中的硬件限制,展示了内存效率、计算优化和网络拓扑改进的创新方法。
2025-12-23 cs.AI cs.AR cs.DC
Transformer Accelerator (TFA): A Macro-Op INT8 Hardware Chip for Transformer Inference and Machine Translation
Independent Researcher(独立研究者)
该研究提出了支持Transformer推理和多语言机器翻译的TFA INT8硬件加速器,其功能验证达标,端到端速度较22线程CPU提升约20倍,可实现预训练Transformer的比特精确执行。
2026-08-26 cs.AR cs.CL cs.LG
Hardware-Software Co-Design for Accelerating Transformer Inference Leveraging Compute-in-Memory
本文提出软硬件协同的 CIM 加速器 HASTILY,通过 UCLM、细粒度流水线和多核并行策略加速 Transformer 的 softmax 与注意力推理,显著提升 BERT 的吞吐量和能效。
2025-02-17 cs.AR
Evolving Layer-Specific Scalar Functions for Hardware-Aware Transformer Adaptation
Department of Machine Learning and Neural Computing(机器学习与神经计算系);Donders Institute for Brain, Cognition, and Behaviour(大脑、认知与行为多纳尔斯研究所)
本文提出一种高效硬件感知框架,通过遗传编程进化层特定标量函数,避免重新训练,提升Transformer在边缘设备上的性能。
2026-09-07 cs.AR cs.CV
Efficient transformer adaptation for analog in-memory computing via low-rank adapters
Department of Engineering, King's College London, United Kingdom(伦敦大学工程学院,英国)
本文提出AHWA-LoRA方法,通过引入轻量级LoRA模块,解决类比存内计算中模型适应和任务调整的挑战,验证了其在SQuAD和GLUE基准上的有效性,并展示了在实际部署中的高效性。
2026-03-21 cs.AR cs.LG
An FPGA-Based Reconfigurable Accelerator for Convolution-Transformer Hybrid EfficientViT
School of Electronic Science and Engineering, Nanjing University(南京大学电子科学与工程学院);School of Integrated Circuits, Sun Yat-sen University(中山大学集成电路学院)
本文针对EfficientViT混合架构提出FPGA可重构加速器,通过可重构计算架构和时分复用流水线数据流实现层内与层间融合,在ZCU102上取得780.2 GOPS吞吐量和105.1 GOPS/W能效,显著超越现有工作。
2024-03-29 cs.AR cs.LG
ViTA: A Vision Transformer Inference Accelerator for Edge Applications
Indian Institute of Technology Madras(印度理工学院马德拉斯分校);University of Southern California(南加州大学);Intel Labs(英特尔实验室)
针对视觉Transformer模型在资源受限边缘设备上难以部署的问题,提出可配置硬件加速器ViTA,采用头级流水线和层间MLP优化避免重复片外内存访问,在多数模型上实现近90%硬件利用率,功耗0.88W,适用于边缘应用。
2023-02-17 cs.AR cs.CV cs.LG
Kaleido: Algorithm-Hardware Co-Design for Video Diffusion Transformers by Exploiting Latent Space Correlations
Shanghai Jiao Tong University(上海交通大学);Shanghai Jiao Tong University, Shanghai Qi Zhi Institute(上海交通大学、上海颀智研究所);Huawei Technologies(华为技术有限公司);ICT, Chinese Academy of Sciences(信息科技研究所、中国科学院)
针对视频扩散变压器计算成本高的问题,提出Kaleido算法-硬件协同设计,利用潜在空间通道级时空相关性加速操作,有轻量级重用算法,设计了加速器,实验表明其相比现有加速器有显著加速和节能效果。
2026-07-16 cs.AI cs.AR
Warp-Cortex: An Asynchronous, Memory-Efficient Architecture for Million-Agent Cognitive Scaling on Consumer Hardware
Warp Research(Warp研究)
Warp-Cortex通过异步架构和内存优化技术,实现百万智能体在消费级硬件上的高效认知扩展。
2026-01-03 cs.AI cs.AR cs.DC
The Energy Consumption of Transformer Fine-Tuning: A Roofline-Inspired Scaling Model
Université Lumière Lyon 2(里昂第二大学);CNRS(法国国家科学研究中心);Ecole Centrale de Lyon(里昂中央理工学院);INSA Lyon(里昂国立应用科学学院);Universite Claude Bernard Lyon 1(克洛德·贝尔纳里昂第一大学);LIRIS, UMR5205(里昂信息图像与科学计算实验室,UMR5205)
提出一个框架建模Transformer在多GPU上训练的能耗,通过BERT架构扫描关联能耗与计算、内存流量和硬件效率,推导出跨异构配置准确预测训练能耗的缩放定律模型。
2026-06-23 cs.AI cs.AR cs.CL
TransCODE: Co-design of Transformers and Accelerators for Efficient Training and Inference
Princeton University(普林斯顿大学)
机器学习模型和评估硬件的自动协同设计对于大规模有效部署此类模型至关重要。尽管Transformer模型具有最先进的性能,但它们还不能在资源受限的硬件平台上执行。Transformer架构的高存储器要求和低并行性加剧了这个问题。最近提出的加速器试图优化Transformer模型的吞吐量和能耗。然而,这样的工作要么局限于模型架构的片面搜索,要么局限于一组现成的设备。此外,以前的工作只加速模型推理而不是训练,这会导致更高的内存和计算资源,使问题更具挑战性。为了解决这些限制,这项工作提出了一个动态的训练框架,称为DynaProp,加快训练过程,减少内存消耗。DynaProp是一种低开销的修剪方法,可以在运行时修剪激活和梯度。为了有效地执行这种方法的硬件上的一组不同的Transformer架构,我们提出了ELECTOR,一个框架,模拟Transformer推理和训练的设计空间的加速器。我们使用这个模拟器结合拟议的协同设计技术,称为代码转换,以获得最佳性能的模型,在给定的任务上具有高精度,并最大限度地减少延迟,能耗和芯片面积。所获得的变压器-加速器对实现了比最先进的对高0.3%的准确度,同时产生低5.2 $\times$的延迟和低3.0 $\times$的能量消耗。
2023-03-27 cs.AR cs.LG
ESL-former: Event Sparse Linear Transformer for FPGA-Accelerated Malware Detection
School of Computer Science and Engineering, Changsha University(长沙大学计算机科学与工程学院);Electronics and Electrical Engineering, Trinity College Dublin(都柏林三一学院电子与电气工程系)
本文提出ESL-former框架,通过事件稀疏线性Transformer减少FPGA上恶意软件检测的硬件开销,同时保持分类准确率。
2026-10-14 cs.AR
M$^2$-ViT: Accelerating Hybrid Vision Transformers with Two-Level Mixed Quantization
School of Electronic Science and Engineering, Nanjing University(南京大学电子科学与工程学院);School of Integrated Circuits, Sun Yat-sen University(中山大学集成电路学院)
针对混合视觉Transformer边缘部署难的问题,提出两级混合量化策略M$^2$-ViT及专用加速器,在保持精度的同时平均节省80%能耗延迟积。
2024-10-10 cs.AI cs.AR
SOLE: Hardware-Software Co-design of Softmax and LayerNorm for Efficient Transformer Inference
Department of Electronic Engineering, Tsinghua University, Beijing, China(电子工程系,清华大学,北京,中国)
针对 Transformer 中 Softmax 与 LayerNorm 的推理瓶颈,提出 SOLE 软硬件协同设计,以低精度计算和存储在无需重训下保持精度,并显著提升速度、能效和面积效率。
2025-10-20 cs.AR cs.LG
VESTA: A Versatile SNN-Based Transformer Accelerator with Unified PEs for Multiple Computational Layers
VESTA是一种基于SNN的Transformer加速器,通过统一处理单元高效执行线性、卷积和点积计算,利用脉冲数据简化乘法,实现低功耗和高效率,核心面积0.844mm²,500MHz下支持30fps实时图像分类。
2025-03-26 cs.AR
CHOSEN: Compilation to Hardware Optimization Stack for Efficient Vision Transformer Inference
University of Southern California(美国南加州大学)
本文提出软硬件协同设计框架 CHOSEN,通过多核并行、非线性函数近似和编译器设计空间探索,自动化优化 FPGA 上的 ViT 推理,在 DeiT-S 与 DeiT-B 上分别取得 1.5 倍和 1.42 倍吞吐量提升。
2025-06-10 cs.AI cs.AR cs.CV
Vis-TOP: Visual Transformer Overlay Processor
Wuhan University of Science and Technology(武汉科技大学);Wuhan University(武汉大学)
近年来,Transformer在自然语言处理(NLP)方面取得了不错的成绩,也开始向计算机视觉(CV)领域拓展。出现了Vision Transformer、Swin Transformer等优秀机型。同时,将Transformer模型的平台扩展到嵌入式设备,以满足一些资源敏感的应用场景。然而,由于Transformer模型参数多、计算流程复杂、结构变量多,在其硬件设计中存在许多需要解决的问题。这既是机遇,也是挑战。我们提出了Vis-TOP(Visual Transformer Overlay Processor),一个适用于各种视觉Transformer模型的覆盖处理器。它不同于CPU、GPU、NPE等粗粒度覆盖处理器,也不同于针对特定型号的细粒度定制设计。Vis-TOP总结了所有可视化Transformer模型的特点,实现了三层两级的转换结构,允许模型在不改变硬件架构的情况下自由切换或更改。同时采用三层两级转换结构设计了相应的指令束和硬件体系结构。在使用8位固定点(fix_8)量化Swin Transformer微小模型之后,我们在ZCU 102上实现了覆盖处理器。与GPU相比,TOP吞吐量高出1.5倍。与现有的Transformer加速器相比,我们的每个DSP的吞吐量是其他加速器的2.2倍到11.7倍。总之,本文提出的方法在资源消耗和推理速度方面都满足实时人工智能的要求。Vis…
2021-10-21 cs.AR cs.CV
Row-wise Accelerator for Vision Transformer
National Yang Ming Chiao Tung University(阳明交通大学);Institute of Electronics, National Yang Ming Chiao Tung University(阳明交通大学电子研究所)
随着自然语言处理的成功,用于视觉应用的Transformer由于其优异的性能近年来引起了人们的极大关注。然而,现有的用于视觉的深度学习硬件加速器由于显著的模型架构差异而不能有效地执行该结构。因此,本文提出了一种基于行式调度的视觉Transformer硬件加速器,将视觉Transformer中的主要操作分解为单个点积原语,以实现统一高效的执行。此外,通过共享列中的权重,我们可以重用数据并减少内存的使用。采用台积电40nm CMOS工艺实现,在600MHz时钟频率下,仅需262K门数和149KB SRAM缓冲器即可实现403.2 GOPS吞吐量。
2022-05-09 cs.AR cs.CV cs.LG
Design and Implementation of an FPGA-Based Hardware Accelerator for Transformer
University of California, Irvine(加州大学 Irvine 分校)
针对Transformer大语言模型中MHA模块Q、K、V线性投影的性能瓶颈,本研究在Xilinx KV260 FPGA上设计了优化的分块矩阵乘法加速器,通过片上存储、两级分块和类脉动计算引擎实现了显著的性能与能效提升,为边缘深度学习推理提供了新方案。
2025-05-20 cs.AR cs.CL cs.LG
Vision Transformers on the Edge: A Comprehensive Survey of Model Compression and Acceleration Strategies
Oakland University(奥克兰大学)
本综述针对视觉Transformer(ViTs)高计算复杂度导致边缘部署困难的问题,系统梳理了ViT的模型压缩技术、边缘推理软件工具及硬件加速策略,分析其准确率、效率与硬件适配性的权衡,指明边缘部署的挑战与研究方向。
2026-10-27 cs.AR cs.CV
Overcoming Quadratic Hardware Scaling for a Fully Connected Digital Oscillatory Neural Network
Eindhoven University of Technology(埃因霍温理工大学)
针对数字振荡神经网络循环架构硬件随网络规模二次增长的问题,提出平衡串行与并行的混合架构,实现接近线性的硬件缩放,在FPGA上验证了其资源与性能优势,构建了目前最大的全连接数字ONN。
2025-04-29 cs.AR
Dynamic Voltage and Frequency Scaling for Intermittent Computing
针对间歇性计算设备,提出硬件/软件协同的电压与频率动态调节方法,在能量受限下实现高达3.75倍能耗降低和12倍速度提升。
2024-01-15 cs.AR cs.OS
HeTraX: Energy Efficient 3D Heterogeneous Manycore Architecture for Transformer Acceleration
Washington State University(华盛顿州立大学)
本文提出三维异构众核架构 HeTraX,通过硬件资源与 Transformer 计算内核对齐,在保证热可行性的同时实现最高 5.6 倍加速和 14.5 倍 EDP 改善。
2024-08-06 cs.AR cs.LG
Custom Algorithm-based Fault Tolerance for Attention Layers in Transformers
Integrated Circuits Lab, Electrical;Computer Engineering, Democritus University of Thrace, Xanthi, Greece
本文提出Flash-ABFT方法,通过单次校验覆盖注意力层中查询、键、值三矩阵乘积及softmax运算的在线校验和,在仅5.3%硬件面积和不到1.9%能耗开销下实现高效故障检测。
2025-07-22 cs.AR cs.LG
TrainDeeploy: Hardware-Accelerated Parameter-Efficient Fine-Tuning of Small Transformer Models at the Extreme Edge
TrainDeeploy是一种在极端边缘端实现小规模Transformer模型参数高效微调的框架,通过硬件加速和多种训练策略提升训练效率。
2026-03-10 cs.AR cs.LG
DFX: A Low-latency Multi-FPGA Appliance for Accelerating Transformer-based Text Generation
KAIST(韩国科学技术院);NAVER CLOVA
Transformer是一种深度学习语言模型,广泛用于网络中心的自然语言处理(NLP)服务。在Transformer模型中,生成预训练的Transformer(GPT)在文本生成或自然语言生成(NLG)方面取得了卓越的性能,NLG需要在摘要阶段处理大量输入上下文,然后是每次生成单个单词的生成阶段。GPU等传统平台专门用于在摘要阶段并行处理大输入,但由于其顺序特性,其性能在生成阶段显着下降。因此,需要一个高效的硬件平台来解决文本生成的顺序特性所导致的高延迟。在本文中,我们提出了DFX,多FPGA加速装置,执行GPT-2模型推理端到端的低延迟和高吞吐量的总结和生成阶段。DFX使用模型并行性和优化的并行性,它是模型和硬件感知的,可在设备之间快速同步执行工作负载。它的计算核心运行自定义指令,并提供端到端的GPT-2操作。我们在四个Xilinx Alveo U280 FPGA上实现了所提出的硬件架构,并利用高带宽存储器(HBM)的所有通道和最大数量的计算资源来实现高硬件效率。DFX在现代GPT-2型号上的四个NVIDIA V100 GPU上实现了5.58倍的加速和3.99倍的能效。DFX的成本效益也是GPU设备的8.21倍,这表明它是云计算中心文本生成工作负载的一个有前途的解决方案。
2022-09-22 cs.AR cs.LG cs.SY
Lean Attention: Hardware-Aware Scalable Attention Mechanism for the Decode-Phase of Transformers
Microsoft(微软公司)
针对Transformer推理中注意力操作随上下文长度平方增长的延迟问题,提出LeanAttention技术,利用在线softmax结合律和stream-K归约实现解码阶段注意力并行计算,显著提升长上下文下的推理速度。
2025-01-14 cs.AR cs.LG
HADAS: Hardware-Aware Dynamic Neural Architecture Search for Edge Performance Scaling
LAMIH/UMR CNRS, Université Polytechnique Hauts-de-France(法国上法兰西综合理工大学 LAMIH/法国国家科学研究中心联合研究单位);University of California, Irvine(加州大学欧文分校)
动态神经网络(DyNN)已经成为在资源受限的边缘设备上实现智能同时保持计算效率的可行技术。在许多情况下,DyNN的实现可能是次优的,因为其底层骨干架构在设计阶段独立于以下两者而被开发:(i)动态计算特征,例如提前退出,以及(ii)底层硬件的资源效率特征,例如,动态电压和频率缩放(DVFS)。为了解决这个问题,我们提出了HADAS,这是一种新型的硬件感知动态神经架构搜索框架,它实现了DyNN架构,其骨干,早期退出功能和DVFS设置已经过联合优化,以最大限度地提高性能和资源效率。我们使用CIFAR-100数据集和一组不同的边缘计算平台进行的实验表明,与传统的动态模型相比,HADAS动态模型实现了高达57%的能效提升,同时保持了所需的准确度得分水平。我们的代码可在https://github.com/HalimaBouzidi/HADAS上获得
2022-12-06 cs.AR cs.LG cs.NE
ViTALiTy: Unifying Low-rank and Sparse Approximation for Vision Transformer Acceleration with a Linear Taylor Attention
Rice University(莱斯大学);Georgia Institute of Technology(佐治亚理工学院);Nanjing University(南京大学)
视觉Transformer(ViT)已成为各种计算机视觉应用中卷积神经网络的竞争替代方案。具体来说,ViT多头注意力层使得在整个图像中全局嵌入信息成为可能。然而,计算和存储这样的注意力矩阵会导致二次成本依赖于补丁的数量,限制了其可实现的效率和可扩展性,并禁止在资源受限的设备上更广泛的现实世界的ViT应用。稀疏注意力已被证明是提高NLP模型硬件加速效率的一个有前途的方向。然而,一个系统的对应方法仍然缺乏加速ViT模型。为了缩小上述差距,我们提出了一个首创的算法硬件协同设计框架,称为ViTALiTy,用于提高ViTs的推理效率。与NLP的基于稀疏性的Transformer加速器不同,ViTALiTy统一了ViTs中注意力的低秩和稀疏成分。在算法层面,我们通过一阶Taylor注意力近似点积softmax操作,行均值中心作为低秩分量,以线性化注意力块的成本,并通过结合基于稀疏的正则化进一步提高准确性。在硬件层面,我们开发了一个专用的加速器,以更好地利用ViTALiTy的线性泰勒注意力产生的工作负载和流水线,该注意力只需要执行低秩组件,以进一步提高硬件效率。广泛的实验和消融研究证实,ViTALiTy提供了提高的端到端效率(例如,$3\times$更快,$3\times$更节能)。
2022-11-09 cs.AR cs.CV cs.LG
Focus Session: Hardware and Software Techniques for Accelerating Multimodal Foundation Models
eBRAIN Lab, New York University (NYU) Abu Dhabi(eBRAIN实验室,纽约大学(NYU)阿布扎比)
本文提出了一种多层方法,通过硬件和软件协同设计和优化流程,提升多模态基础模型的效率。方法包括混合精度量化、结构剪枝、推测解码等技术,结合硬件加速器优化计算和内存需求,验证了在医疗和代码生成任务中的有效性。
2026-04-23 cs.AI cs.AR cs.LG
HBQ: Hierarchical Scaling Block Quantization with Hardware-Efficiency-Aware Design for Accurate LLM Inference
Cornell University(康奈尔大学);Intel Corporation(英特尔公司)
该研究针对大语言模型推理的块量化设计空间不足问题,提出分层块量化HBQ,通过二级尾数缩放补偿大块误差,实现了比现有权重量化和块量化更高的面积、能量效率与推理速度,达到最优精度。
2026-09-23 cs.AI cs.AR cs.LG