LAPA: Log-Domain Prediction-Driven Dynamic Sparsity Accelerator for Transformer Model
School of Integrated Circuits Tsinghua University Beijing, China（集成电路学院清华大学北京中国）；School of Integrated Circuits Tsinghua University Beijing, China Shanghai Artificial Intelligence Laboratory Shanghai, China（集成电路学院清华大学北京中国上海人工智能实验室上海中国）
Huizheng Wang, Hongbin Wang, Shaojun Wei, Yang Hu, Shouyi Yin
Attention-based Transformers have revolutionized natural language processing (NLP) and shown strong performance in computer vision (CV) tasks. However, as the input sequence varies, the computational bottlenecks in Transformer models exhibit dynamic behavior across stages, which calls for a cross-stage sparse acceleration strategy. Unfortunately, most existing sparse Transformer approaches are single-stage based, and their sparsity prediction mechanisms lead to significant power overhead when applied across multiple stages. To this end, this paper proposes a log-domain attention prediction algorithm-architecture co-design, named LAPA. First, an asymmetric leading one computing (ALOC) scheme is designed to eliminate expensive multiplications. Next, a mixed-precision multi-round shifting accumulation (MRSA) mechanism is further proposed to mitigate the accumulation overhead. A data-feature dependent filter (DDF) strategy is designed to work in concert with the MRSA process. Finally, an elaborate accelerator is designed to translate the theoretical enhancement into practical hardware improvement. Experimental results show that LAPA achieves 3.52x, 3.24x and 2.79x higher energy efficiency than the state-of-the-art (SOTA) works Spatten, Sanger and FACT, respectively.
Weight, Block or Unit? Exploring Sparsity Tradeoffs for Speech Enhancement on Tiny Neural Accelerators
Bose Corp.（博士音响公司）；University of Oldenburg（奥尔登堡大学）
我们探索网络稀疏化策略，目的是将神经语音增强（SE）压缩到新一代基于低功耗微控制器的神经加速器（microNPU）的最佳配置。我们研究了三种独特的稀疏结构：权重修剪，块修剪和单元修剪，并讨论了它们的优点和缺点时，适用于SE。我们专注于计算吞吐量，内存占用和模型质量之间的相互作用。我们的方法支持上述所有三种结构，并联合学习整数量化权重和稀疏性。此外，我们展示了离线幅度为基础的修剪整数量化模型作为性能基线。虽然有效的语音增强是一个活跃的研究领域，我们的工作是第一个应用块修剪SE和第一个解决SE模型压缩的microNPU的上下文中。使用权重修剪，我们表明我们能够将已经紧凑的模型的内存占用从3.7MB压缩到87kB，同时仅损失0.1 dB SDR的性能。我们还显示了6.7倍的计算加速比，使用块修剪时相应的SDR下降仅为0.59 dB SDR。
Motivating Next-Gen Accelerators with Flexible (N:M) Activation Sparsity via Benchmarking Lightweight Post-Training Sparsification Approaches
Applied AI（应用人工智能）；Artificial Intelligence Research Institute（人工智能研究所）；HSE University（俄罗斯高等经济大学）；Sb AI Lab（Sb人工智能实验室）；MWS AI（MWS人工智能）；Yandex；Independent Researcher（独立研究者）
PCNN: Pattern-based Fine-Grained Regular Pruning towards Optimizing CNN Accelerators
Tsinghua University（清华大学）；Northeastern University（东北大学）；Xi’an Jiaotong University（西安交通大学）；Institute for Interdisciplinary Information Core Technology（交叉信息核心技术研究院）
BitStopper: An Efficient Transformer Attention Accelerator via Stage-fusion and Early Termination
School of Integrated Circuits Tsinghua University Beijing, China（集成电路学院清华大学北京中国）；School of Integrated Circuits Tsinghua University Beijing, China Shanghai Artificial Intelligence Laboratory Shanghai, China（集成电路学院清华大学北京中国上海人工智能实验室上海中国）
Hardware Acceleration of Sparse and Irregular Tensor Computations of ML Models: A Survey and Insights
School of Computing Informatics and Decision Systems Engineering at Arizona State University（亚利桑那州立大学计算、信息科学与工程学院）；Computer Science and Artificial Intelligence Laboratory at Massachusetts Institute of Technology（麻省理工学院计算机科学与人工智能实验室）；School of Computer Science at University of California, Los Angeles（加利福尼亚大学洛杉矶分校计算机科学学院）；Parallel Computing Lab at Intel Labs（英特尔实验室并行计算实验室）
Adaptable Butterfly Accelerator for Attention-based NNs via Hardware and Algorithm Co-design
Imperial College London（帝国理工学院）；Samsung AI Center（三星人工智能中心）；University of Cambridge（剑桥大学）；Cornell University（康奈尔大学）
基于注意力的神经网络在许多人工智能任务中已经变得普遍。尽管它们具有出色的算法性能，但使用注意力机制和前馈网络（FFN）需要过多的计算和存储器资源，这通常会损害它们的硬件性能。虽然已经引入了各种稀疏变体，但大多数方法仅关注于减轻算法级别上的注意力的二次缩放，而没有明确考虑将其方法映射到实际硬件设计上的效率。此外，大多数努力只集中在注意力机制或FFN，但没有联合优化这两个部分，导致大多数当前的设计缺乏可扩展性时，处理不同的输入长度。本文从硬件的角度系统地考虑了不同变体中的稀疏模式。在算法层面上，我们提出了FABNet，一个硬件友好的变体，采用统一的蝴蝶稀疏模式来近似注意力机制和FFN。在硬件层面上，提出了一种新的自适应蝶形加速器，可以在运行时通过专用的硬件控制配置，以加速不同的蝶形层使用一个统一的硬件引擎。在Long-Range-Arena数据集上，FABNet实现了与普通Transformer相同的精度，同时将计算量减少了10到66倍，参数数量减少了2到22倍。通过联合优化算法和硬件，我们基于FPGA的蝶形加速器实现了14.2到23.2倍的加速比，超过了标准化为相同计算预算的最先进的加速器。与Raspberry Pi 4和Jetson Nano上优化的CPU和GPU设计相比，在相同的功耗预算下，我们的系统速度分别提高了273.8和15.1倍。
Dynamic Sparsity Is Channel-Level Sparsity Learner
Eindhoven University of Technology（埃因霍温理工大学）；Clemson University（克莱姆森大学）；University of Liverpool（利物浦大学）；JD Explore Academy（京东探索研究院）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
Amazon（亚马逊公司）；University of California, San Diego, USA（美国加州大学圣迭戈分校）；Max Planck Institute for Informatics, Saarbrücken, Germany（德国马克斯·普朗克信息研究所）；Technion–Israel Institute of Technology, Haifa, Israel（以色列技术学院）
A Runtime-Adaptive Transformer Neural Network Accelerator on FPGAs
Department of Electrical Engineering and Computer Science, University of Arkansas（电气工程与计算机科学系，亚拉巴马大学）；Department of Computer Science and Engineering, University of South Carolina（计算机科学与工程系，南卡罗来纳大学）
