ConSmax: Hardware-Friendly Alternative Softmax with Learnable Parameters
Google Research（谷歌研究院）；University of Michigan（密歇根大学）
提出软硬件协同设计的ConSmax替代Softmax，利用可微归一化参数消除最大值搜索与求和，结合位宽分割LUT硬件设计，在保持模型准确率的同时显著降低功耗与面积开销。
2024-11-15 cs.AI cs.AR cs.LG
FLASH-D: FlashAttention with Hidden Softmax Division
Integrated Circuits Lab, Electrical and Computer Engineering, Democritus University of Thrace（集成电路实验室，电气与计算机工程系，德米特里乌斯特拉契大学）
本研究提出数学等价且更简化的FLASH-D注意力公式，隐藏softmax除法、实现指数稳定计算并降低成本，在28nm硬件下相比最优并行架构减少22.8%面积和20.3%功耗且无性能损失。
2025-05-20 cs.AI cs.AR cs.LG
H-FA: A Hybrid Floating-Point and Logarithmic Approach to Hardware Accelerated FlashAttention
Department of Electrical and Computer Engineering, Democritus University of Thrace（德谟克利特大学电气与计算机工程系）
H-FA通过混合浮点数和对数域计算，优化FlashAttention的硬件实现，实现26.5%的面积和23.4%的功率减少，同时保持性能。
2026-02-09 cs.AR
Approximate Attention Weighting for Sustainable FPGA-Based Vision Transformer Inference
University of Regensburg（雷根斯堡大学）；NUST（国立科学与技术大学）；KFUPM（国王法赫德石油与矿产大学）
提出一种无BRAM的近似注意力加权单元，用16段分段线性函数近似softmax中的自然指数，在Zynq-7020上实现，精度损失仅0.20%。
2026-07-03 cs.AR
A Flexible Template for Edge Generative AI with High-Accuracy Accelerated Softmax & GELU
本研究针对边缘Transformer生成式AI中非线性运算的性能瓶颈，提出含新型SoftEx加速器的异构紧耦合集群加速模板，在精度损失极小的情况下显著提升了softmax、GELU运算及端到端ViT推理的性能与能效。
2024-12-09 cs.AR
VEXP: A Low-Cost RISC-V ISA Extension for Accelerated Softmax Computation in Transformers
ETH Zurich（苏黎世联邦理工学院）；University of Bologna（博洛尼亚大学）
虽然Transformers主要由浮点（FP）矩阵乘法控制，但它们通过专用硬件或众核可编程系统的积极加速已经将性能瓶颈转移到了Softmax等非线性函数。加速Softmax是具有挑战性的，因为它的非逐点、非线性性质，其中取幂是最苛刻的步骤。为了解决这个问题，我们设计了一个自定义的算术块Bfloat 16指数利用一种新的近似算法的基础上Schraudolph的方法，我们集成到浮点单元（FPU）的RISC-V核心的计算集群，通过自定义的指令集架构（ISA）扩展，与1\%的面积开销可以忽略不计。通过优化软件内核以利用扩展，我们执行Softmax时，与基准群集相比，延迟减少了162.7 $\times$，能耗减少了74.3 $\times$，在GPT-2配置中，FlashAttention-2内核的性能提高了8.2 $\times$，能效提高了4.1 $\times$。此外，所提出的方法使得多集群系统能够有效地执行预训练的Transformer模型（诸如GPT-2、GPT-3和ViT）的端到端推理，分别实现高达5.8 $\times$和3.6 $\times$的延迟和能量消耗减少，而不需要重新训练并且具有可忽略的准确性损失。
2025-04-15 cs.AR cs.LG
A Quantitative Evaluation of Approximate Softmax Functions for Deep Neural Networks
Instituto Tecnológico de Costa Rica（哥斯达黎加理工学院）；Università degli Studi di Trieste（的里雅斯特大学）；Universidade Federal de Santa Catarina（圣卡塔琳娜联邦大学）
本文评估了利用泰勒级数和插值方法加速Softmax计算的近似技术，发现二次插值在精度上最佳，而泰勒方法在速度和资源效率上更优，实验证明在资源受限FPGA上具有应用潜力。
2025-05-06 cs.AR eess.SP
Enabling Efficient Hardware Acceleration of Hybrid Vision Transformer (ViT) Networks at the Edge
本文针对混合ViT在边缘设备部署中的层类型多样和数据传输开销问题，提出可配置PE阵列、循环重排序及跨层融合等硬件-调度协同优化，并在28nm CMOS上实现1.39 TOPS/W的峰值能效。
2025-07-19 cs.AR
ITA: An Energy-Efficient Attention and Softmax Accelerator for Quantized Transformers
ETH Zürich（苏黎世联邦理工学院）；University of Bologna（博洛尼亚大学）
本文提出ITA加速器，通过8位量化和仅基于整数的流式softmax实现，在嵌入式系统上实现高效Transformer推理，达到16.9 TOPS/W能效和5.93 TOPS/mm²面积效率。
2023-07-10 cs.AR cs.LG
Hardware-Software Co-Design for Accelerating Transformer Inference Leveraging Compute-in-Memory
本文提出软硬件协同的 CIM 加速器 HASTILY，通过 UCLM、细粒度流水线和多核并行策略加速 Transformer 的 softmax 与注意力推理，显著提升 BERT 的吞吐量和能效。
2025-02-17 cs.AR
LLM Inference Acceleration via Efficient Operation Fusion
d-Matrix
本文提出一种高效操作融合技术，通过将Softmax和层归一化的归一化延迟到线性层之后，与矩阵乘法并行计算集合缩放因子，从而完全隐藏集合操作开销，加速LLM推理，提升硬件利用率并降低延迟。
2025-02-24 cs.AI cs.AR cs.CL
Custom Algorithm-based Fault Tolerance for Attention Layers in Transformers
Integrated Circuits Lab, Electrical；Computer Engineering, Democritus University of Thrace, Xanthi, Greece
本文提出Flash-ABFT方法，通过单次校验覆盖注意力层中查询、键、值三矩阵乘积及softmax运算的在线校验和，在仅5.3%硬件面积和不到1.9%能耗开销下实现高效故障检测。
2025-07-22 cs.AR cs.LG
Refining Datapath for Microscaling ViTs
针对ViT中Softmax、LayerNorm等复杂运算难以低精度硬件化的问题，本文采用MXInt格式量化全模型并设计定制FPGA数据通路，在精度损失低于1%下较Float16加速至少93倍。
2025-06-15 cs.AR
Hardware Acceleration of Fully Quantized BERT for Efficient Natural Language Processing
National Laboratory of Pattern Recognition, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所模式识别国家重点实验室）；School of Future Technology, University of Chinese Academy of Sciences（中国科学院大学未来技术学院）
BERT是最新的基于transformer的模型，在各种NLP任务中实现了最先进的性能。在本文中，我们研究的硬件加速BERT在FPGA上的边缘计算。为了解决巨大的计算复杂性和内存占用的问题，我们提出了对BERT（B-BERT）进行完全的扩展，包括权重、激活、softmax、层归一化和所有的中间结果。实验结果表明，该算法可以实现7.94倍的权值压缩，而性能损失可以忽略不计。然后，我们提出了一个加速器量身定制的BERT和评估Xilinx ZCU 102和ZCU 111 FPGA。它可以实现3.18 fps/W的性能每瓦，这是28.91倍和12.72倍的英特尔（R）核心（TM）i7-8700 CPU和NVIDIA K80 GPU，分别。
2021-03-04 cs.AR cs.CL
An Efficient FPGA-Based Accelerator for Swin Transformer
针对Swin Transformer非线性计算给FPGA加速带来的挑战，提出用BN替换LN、近似计算Softmax与GELU、设计高效矩阵乘法单元的加速器，实现了优于CPU与GPU的加速性能与能效，是当前最快的同类型FPGA加速器。
2023-08-26 cs.AR
A Fully Hardware Implemented Accelerator Design in ReRAM Analog Computing without ADCs
1 SKLP, \ Institute \ of \ Computing \ Technology, \ Chinese \ Academy \ of \ Sciences, \ Beijing, \ China
本文提出一种无需ADC和DAC的ReRAM模拟计算加速器RACA，利用ReRAM噪声实现随机二值化神经元及Sigmoid和SoftMax激活函数，在保持推理精度的同时提升能效和面积效率。
2024-12-27 cs.AI cs.AR
The World Model Hardware Accelerator
针对扩散变换器推理，提出延迟优先的WMHA加速器，利用编译期已知调度、权重固定点积阵列与单遍注意力流水线，在两种配置下实现23倍误差降低，零元素故障。
2026-09-16 cs.AR
An Algorithm-Hardware Co-Optimized Framework for Accelerating N:M Sparse Transformers
Nanjing University（南京大学）；SenseTime（商汤科技）
Transformer一直是深度学习中不可或缺的主食。然而，对于现实生活中的应用，这是非常具有挑战性的部署高效的Transformers由于巨大的参数和操作的模型。为了减轻这种负担，利用稀疏性是加速Transformers的有效方法。新兴的Ampere GPU利用2：4稀疏模式来实现模型加速，但它很难满足部署模型时的各种算法和硬件约束。相比之下，我们提出了一个算法硬件协同优化的框架，灵活，有效地加速Transformers，利用一般的N：M稀疏模式。(1)从算法的角度，我们提出了一个稀疏继承机制，随着继承的动态修剪（IDP）的方法，以获得一系列的N：M稀疏候选Transformers迅速。进一步提出了一种模型压缩方案，大大降低了部署所需的存储空间。(2)从硬件的角度来看，我们提出了一个灵活和高效的硬件架构，即STA，实现显着的加速时，部署N：M稀疏Transformers。STA不仅具有统一稀疏-密集和密集-密集矩阵乘法的计算引擎，具有高计算效率，而且具有可扩展的softmax模块，消除了中间片外数据通信的延迟。实验结果表明，与其他方法相比，使用IDP生成的N：M稀疏Transformers在训练效率较高的情况下，准确率平均提高了6.7%。此外，与Intel i9- 9900 X和NVIDIA RTX 2080 Ti相比，STA可以分别实现14.47倍和11.33倍的加速比，并且执…
2022-08-12 cs.AR cs.LG
ShatterQuant: Breaking Uniform Precision with Block-Wise Mixed-Precision on a Systolic Transformer Hardware Accelerator
Johns Hopkins University（约翰斯·霍普金斯大学）；KU Leuven（鲁汶大学）
ShatterQuant通过软硬件协同设计，在脉动阵列加速器上实现块级混合精度量化，在低2位有效位宽下达到接近最先进精度，并提升面积与能效。
2026-10-02 cs.AI cs.AR eess.IV
A Low-Power Streaming Speech Enhancement Accelerator For Edge Devices
Institute of Electronics, National Yang Ming Chiao Tung University（国立阳明交通大学电子研究所）
本文提出一种低功耗流式语音增强加速器，通过领域感知与流式感知剪枝将模型缩小93.9%，结合无Softmax注意力与一维处理阵列，在TSMC 40nm工艺下实现仅8.08mW功耗的实时推理。
2025-03-27 cs.AI cs.AR cs.MM
GFormer: Accelerating Large Language Models with Optimized Transformers on Gaudi Processors
University of Houston（休斯顿大学）；Indiana University（印第安纳大学）；Stevens Institute of Technology（史蒂文斯理工学院）；Argonne National Laboratory（阿贡国家实验室）；Binghamton University（宾汉姆顿大学）
本文提出GFormer方法，通过融合稀疏与线性注意力并设计窗口化自注意力和高效外积内核，在Gaudi处理器上优化大语言模型推理，显著提升效率与性能并超越主流GPU。
2024-12-19 cs.AR cs.LG
Lean Attention: Hardware-Aware Scalable Attention Mechanism for the Decode-Phase of Transformers
Microsoft（微软公司）
针对Transformer推理中注意力操作随上下文长度平方增长的延迟问题，提出LeanAttention技术，利用在线softmax结合律和stream-K归约实现解码阶段注意力并行计算，显著提升长上下文下的推理速度。
2025-01-14 cs.AR cs.LG
ViTALiTy: Unifying Low-rank and Sparse Approximation for Vision Transformer Acceleration with a Linear Taylor Attention
Rice University（莱斯大学）；Georgia Institute of Technology（佐治亚理工学院）；Nanjing University（南京大学）
视觉Transformer（ViT）已成为各种计算机视觉应用中卷积神经网络的竞争替代方案。具体来说，ViT多头注意力层使得在整个图像中全局嵌入信息成为可能。然而，计算和存储这样的注意力矩阵会导致二次成本依赖于补丁的数量，限制了其可实现的效率和可扩展性，并禁止在资源受限的设备上更广泛的现实世界的ViT应用。稀疏注意力已被证明是提高NLP模型硬件加速效率的一个有前途的方向。然而，一个系统的对应方法仍然缺乏加速ViT模型。为了缩小上述差距，我们提出了一个首创的算法硬件协同设计框架，称为ViTALiTy，用于提高ViTs的推理效率。与NLP的基于稀疏性的Transformer加速器不同，ViTALiTy统一了ViTs中注意力的低秩和稀疏成分。在算法层面，我们通过一阶Taylor注意力近似点积softmax操作，行均值中心作为低秩分量，以线性化注意力块的成本，并通过结合基于稀疏的正则化进一步提高准确性。在硬件层面，我们开发了一个专用的加速器，以更好地利用ViTALiTy的线性泰勒注意力产生的工作负载和流水线，该注意力只需要执行低秩组件，以进一步提高硬件效率。广泛的实验和消融研究证实，ViTALiTy提供了提高的端到端效率（例如，$3\times$更快，$3\times$更节能）。
2022-11-09 cs.AR cs.CV cs.LG
Transformer Accelerator (TFA): A Macro-Op INT8 Hardware Chip for Transformer Inference and Machine Translation
Independent Researcher（独立研究者）
该研究提出了支持Transformer推理和多语言机器翻译的TFA INT8硬件加速器，其功能验证达标，端到端速度较22线程CPU提升约20倍，可实现预训练Transformer的比特精确执行。
2026-08-26 cs.AR cs.CL cs.LG
Multi-Level Resistive Synapses for On-Chip Neural Networks: A Physics-Based Design of a Memristive Crossbar Fabric with Quasi-Continuous Conductance States
提出基于离子输运物理的忆阻突触模型，实现准连续电导态，并构建1T1R交叉阵列，通过模拟域原位学习支持大规模语言模型，效率远超传统CMOS。
2026-06-23 cond-mat.mes-hall cs.AR cs.ET
