Exploration of Activation Fault Reliability in Quantized Systolic Array-Based DNN Accelerators
Tallinn University of Technology（塔林理工大学）；University of Alberta（阿尔伯塔大学）；Shahid Bahonar University of Kerman（克尔曼沙希德·巴霍纳尔大学）；York University（约克大学）；Mälardalen University（梅拉达伦大学）
本文提出一种全自动框架，系统评估量化对DNN加速器模型精度、激活故障可靠性和硬件效率的三方面影响，并集成轻量级保护技术以保障脉动阵列FPGA实现的可靠部署。
2024-01-17 cs.AR cs.LG
Analyzing and Mitigating the Impact of Permanent Faults on a Systolic Array Based Neural Network Accelerator
New York University（纽约大学）
由于其日益普及和计算成本，深度神经网络（DNN）正成为硬件加速的目标。谷歌张量处理单元（TPU）采用的DNN加速的流行架构在其核心使用了基于脉动阵列的矩阵乘法单元。本文论述了高缺陷率技术的容错，脉动阵列为基础的DNN加速器的设计。为此，我们的经验表明，即使在极低的故障率（低至$0.006\%$）的基线TPU的分类精度显着下降。然后，我们提出了两种新的策略，故障感知修剪（FAP）和故障感知修剪+再训练（FAP+T），使TPU的故障率高达$50\%$，可以忽略不计的分类精度下降（低至$0.1\%$），没有运行时的性能开销。FAP+T确实在部署之前对每个TPU芯片引入了一次性的再训练惩罚，但我们提出了将这种一次性惩罚减少到12分钟以下的优化。然后，在TPU的整个操作寿命期间摊销惩罚。
2018-02-17 cs.AR cs.CV cs.LG
Scale-out Systolic Arrays
EPFL（洛桑联邦理工学院）；CodeDepot；SungKyunKwan University（成均馆大学）
多pod脉动阵列正在成为DNN推理加速器的首选架构。尽管它们具有潜力，但设计多舱收缩阵列以最大化有效吞吐量/瓦特（即，在考虑阵列利用率时调整的吞吐量/瓦特）带来了一系列独特的挑战。在这项工作中，我们研究了三个关键支柱，在多荚脉动阵列设计，即阵列粒度，互连和平铺。我们确定了跨工作负载的最佳阵列粒度，并表明最先进的商业加速器对单租户工作负载使用了次优的阵列大小。然后，我们评估互连的带宽/延迟权衡，并表明蝴蝶网络提供了一个可扩展的拓扑结构的加速器与大量的豆荚。最后，我们介绍了一种新的数据分片方案，自定义分区大小，以最大限度地利用最佳大小的豆荚。我们提出了横向扩展的Sysplant阵列，这是一个基于这三个支柱的单租户和多租户的多pod推理加速器。我们表明，SOSA在最先进的DNN推理工作负载的有效吞吐量方面表现出高达600 TeraOps/s的扩展，并且比最先进的多pod加速器性能高出1.5倍。
2022-03-22 cs.AR cs.LG
VUSA: Virtually Upscaled Systolic Array Architecture to Exploit Unstructured Sparsity in AI Acceleration
NXP Semiconductors（恩智浦半导体）；University of Bremen（不莱梅大学）
VUSA提出一种基于非结构化稀疏性虚拟扩展的脉动阵列架构，在不增加物理乘加单元的情况下执行更大矩阵乘法，实现面积和能效显著优化，并支持任意稀疏度的通用AI加速。
2025-06-01 cs.AI cs.AR cs.LG
Explainable AI-Guided Efficient Approximate DNN Generation for Multi-Pod Systolic Arrays
University of Missouri（密苏里大学）
针对近似乘法器仿真效率低拖慢AxDNN优化的问题，提出结合硬件分析模型与XAI的XAI-Gen方法，可快速筛选近似层与乘法器，实现7倍能耗降低且精度损失仅1-2%，还可赋能XAI-NAS实现更高效的AxDNN架构搜索。
2025-03-20 cs.AI cs.AR cs.LG
FuSeConv: Fully Separable Convolutions for Fast Inference on Systolic Arrays
IIT Madras（印度理工学院马德拉斯分校）
正在探索高效的神经网络和硬件加速器，以加快边缘设备上的DNN推理。例如，MobileNet使用深度可分离卷积来实现更低的延迟，而脉动阵列提供更高的每瓦性能。然而，有趣的是，这两个想法的组合是低效的：深度方向可分离卷积的计算模式不是脉动的，并且缺乏数据重用来饱和脉动阵列的约束卷积。在本文中，我们提出FuSeConv（完全可分离卷积）作为深度可分离卷积的替代品。FuSeConv将卷积的分解完全推广到沿着空间和深度维度的可分离的1D卷积。所得到的计算是脉动的，并有效地利用脉动阵列与略有修改的卷积。通过FuSeConv，我们在大小为64 x64的脉动阵列上使用MobileNet系列网络实现了3x-7 x的显着速度提升，并且在ImageNet数据集上具有相当的准确性。高速提升激励了对硬件感知神经运算符搜索（NOS）的探索，以补充神经架构搜索（NAS）的持续努力。
2021-05-27 cs.AR cs.LG
Field-Programmable Deep Neural Network (DNN) Learning and Inference accelerator: a concept
Western Digital（西部数据）
加速器是一种专门的集成电路，旨在执行特定的计算速度比CPU或GPU更快。提出了一种采用混合脉动和非脉动技术、分布式信息控制和深度流水线结构的现场可编程DNN学习和推理加速器（FProg-DNN），并给出了其微结构和操作。可重配置性涉及不同的DNN设计，并允许将不同数量的工作者分配给不同的层，作为层之间计算负载的相对差异的函数。沿着流水线加速器结构，每层的计算延迟大致相同。VGG-16和最近提出的Inception模块用于显示FProg-DNN可重构性的灵活性。还添加了特殊的结构，用于卷积层，映射重合和反馈的组合，用于最先进的学习，具有少量示例，这是作者的配套论文的重点（Franca-Neto，2018）。所描述的加速器能够从（1）在次优性能的一个极端中将所有DNN计算分配给单个工作器重新配置为（2）根据要实现的每个DNN层中的计算负载来最优地分配每层工作器。由于采用了流水线架构，相对于GPU或TPU，实现了超过50倍的加速。这种加速是将DNN中从一层到下一层传输激活输出的延迟隐藏在接收层中的计算之后的结果。这个FProg-DNN概念已经在行为功能层面进行了模拟和验证。
2018-03-22 cs.LG cs.NE
Energy Efficient Exact and Approximate Systolic Array Architecture for Matrix Multiplication
Indian Institute of Technology Mandi（印度理工学院曼迪）
本文提出一种高效的脉冲阵列架构，用于矩阵乘法，通过新型精确和近似处理单元实现能量节省，并在DCT和边缘检测中展示高质量输出。
2026-01-28 cs.AR cs.CV cs.LG
REQAP: Resilient Weight Packing and Quantization for Edge DNN Acceleration
Humboldt University of Berlin（柏林洪堡大学）；Tallinn University of Technology（塔林理工大学）；University of Zanjan（赞詹大学）；Brandenburg University of Technology Cottbus-Senftenberg（勃兰登堡工业大学科特布斯-森夫滕贝格分校）
本文提出REQAP方法，通过敏感度驱动的混合精度量化与寄存器级打包，结合MSB复制实现TMR保护，在边缘DNN加速器上显著降低内存和计算开销，并提升故障下的精度弹性。
2026-09-17 cs.AI cs.AR cs.LG
On the Difficulty of Designing Processor Arrays for Deep Neural Networks
Heidelberg University（海德堡大学）
SYSTEMS阵列是一种有前途的计算概念，它特别符合CMOS技术趋势和人工神经网络处理中发现的线性代数运算。这种深度学习方法最近在广泛的应用中取得了成功，产生了各种模型，尽管这些模型在概念上类似于基于卷积和全连接层，但由于设计空间很大，因此详细显示了操作的巨大多样性：操作数的尺寸变化很大，因为它取决于设计原则，如感受野大小，特征数量，步幅，特征的扩展和分组。最后，最近的网络通过各种连接扩展了以前简单的前馈模型，例如ResNet或DenseNet。选择最佳脉动阵列配置的问题不能通过分析来解决，因此需要方法和工具来促进关于总周期、利用率和数据移动量方面的最优性的快速和准确的推理。在这项工作中，我们介绍Camuy，一个轻量级模型的重量固定脉动阵列的线性代数运算，允许快速探索不同的配置，如脉动阵列的尺寸和输入/输出位宽。Camuy帮助加速器设计人员为特定的网络架构找到最佳配置，或者在各种网络架构中实现强大的性能。它通过自定义运算符提供了与现有机器学习工具栈（例如TensorFlow）的简单集成。我们对流行的DNN模型进行了分析，以说明它如何估计所需的周期、数据移动成本以及脉动阵列利用率，并展示了网络架构设计的进展如何影响基于脉动阵列的加速器的推理效率。
2020-06-24 cs.AR cs.LG
Power-Based Attacks on Spatial DNN Accelerators
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
随着基于DNN的应用的激增，DNN模型的机密性是一个重要的商业目标。空间加速器，并行化矩阵/向量运算，用于提高DNN计算的能量效率。最近，模型窃取攻击简单的加速器，无论是一个单一的处理元件或运行一个二进制化的网络，被证明使用的方法，从差分功率分析（DPA）攻击密码设备。本文研究了现实的空间加速器的脆弱性，使用一般的，8位，数字表示。我们研究了两种具有权重平稳的脉动阵列结构：（1）用于点积运算的3 $\times$ 1阵列，和（2）用于矩阵向量乘法的3 $\times$ 3阵列。两者都在SAKURA-G FPGA板上实现。我们表明，这两种架构最终是脆弱的。传统的DPA在1D阵列上完全成功，需要20K功率测量。然而，即使使用460K迹线，2D阵列也表现出更高的安全性。我们表明，这是因为2D阵列本质上需要多个MAC同时依赖于相同的输入。然而，我们发现，一种新的基于模板的DPA与多个剖析阶段是能够完全打破二维阵列，只有40K的痕迹。空间DNN加速器需要研究相应的对策。
2021-08-28 cs.CR cs.LG
Systolic Array-based Accelerator for Structured State-Space Models
Brain Sciences, Boston University
本文提出基于脉动阵列的EpochCore加速器，通过LIMA-PE和ProDF数据流高效执行状态空间模型，在LRA数据集上比GPU快2000倍，比TPU快250倍且能效提升45倍。
2025-08-07 cs.LG cs.SY eess.SY
Automatic Generation of Fast and Accurate Performance Models for Deep Neural Network Accelerators
University of Tübingen（蒂宾根大学）；FZI Research Center for Information Technology（FZI信息技术研究中心）
本文提出一种面向DNN加速器的性能模型自动生成方法，通过DNN/硬件依赖图联合分析，在保持低MAPE的同时以远快于RTL仿真的速度估计延迟。
2024-09-13 cs.AI cs.AR cs.LG
Exploring Fault-Energy Trade-offs in Approximate DNN Hardware Accelerators
University of Missouri（密苏里大学）；The University of Texas at Dallas（德克萨斯大学达拉斯分校）
基于系统阵列的深度神经网络（DNN）加速器最近因其低计算成本而获得了重视。然而，它们的高能耗对其在能量受限设备中的部署构成了瓶颈。为了解决这个问题，近似计算可以采用一些可容忍的精度损失的代价。然而，这种小的精度变化可能会增加DNN对不期望的细微干扰（例如永久性故障）的敏感性。永久性故障对精确DNN的影响已经在文献中进行了彻底的研究。相反，近似DNN加速器（AxDNN）中永久性故障的影响尚未得到充分研究。这种故障的影响可能随着AxDNN层中的故障位位置、激活函数和近似误差而变化。这种动态性对探索AxDNN的能量效率和故障恢复能力之间的权衡提出了相当大的挑战。为此，我们使用最先进的Evoaprox8b符号乘法器对不同AxDNN进行了广泛的逐层和逐位故障恢复和能量分析。特别是，我们改变固定在0，固定在1故障位的位置，和激活函数，以研究其影响使用最广泛使用的MNIST和时尚MNIST数据集。我们的定量分析表明，与精确的DNN加速器相比，永久性故障加剧了AxDNN的准确性损失。例如，AxDNN中的永久性故障可能导致高达66%的准确性损失，而在精确的DNN加速器中，相同的故障位可能仅导致9%的准确性损失。我们的研究结果表明，AxDNN中的故障恢复与能量效率正交。
2021-01-08 cs.AI cs.AR cs.LG
Mirage: An RNS-Based Photonic Accelerator for DNN Training
Boston University（波士顿大学）；Lightmatter（莱特马特公司）
本文提出基于余数数制 RNS 的光子加速器 Mirage，通过模拟域模运算微架构与数据流，在保证 FP32 级训练精度的同时显著提升速度、能效并降低功耗。
2024-05-24 cs.AI cs.AR cs.LG
eFAT: Improving the Effectiveness of Fault-Aware Training for Mitigating Permanent Faults in DNN Hardware Accelerators
New York University Abu Dhabi（纽约大学阿布扎比分校）
本文提出 eFAT 框架，通过韧性驱动的重训练量选择及多芯片故障图分组融合，在保证精度约束下显著降低多颗永久性故障 DNN 加速器芯片的 FAT 重训练成本。
2023-04-20 cs.AR cs.LG
Transfer-Tuning: Reusing Auto-Schedules for Efficient Tensor Program Code Generation
University of Glasgow（格拉斯哥大学）
张量程序的自动调度是一个搜索算法自动探索目标硬件平台上给定程序的候选调度（程序转换）以提高其性能的过程。然而，这可能是一个非常耗时的过程，这取决于张量程序的复杂性和目标设备的容量，通常需要探索数千个程序变体。为了解决这个问题，在本文中，我们介绍了转移调整的想法，一种新的方法来识别和重用张量程序之间的自动调度。我们使用深度神经网络（DNN）来证明这一概念，从预先调整的DNN中获取自动调度集，并使用它们来减少新DNN的推理时间。我们将传输调优与最先进的Ansor自动调度器进行比较，将给定DNN模型的最大可能加速定义为Ansor使用其推荐的完整调优时间实现的加速。在服务器级CPU和11个广泛使用的DNN模型上，我们观察到传输调优达到了$88.41\%$（平均$49.13\%$），而Ansor平均需要$6.5\times$更多的搜索时间来匹配它。我们还评估了受限边缘CPU上的传输调整，并观察到搜索时间的差异加剧，Ansor平均需要$10.8\times$更多的时间来匹配transfer-tuning的加速，这进一步证明了它的价值。我们的代码可在www.example.com上获得
2022-09-07 cs.LG cs.NE cs.PF
Performance Analysis of DNN Inference/Training with Convolution and non-Convolution Operations
University of Minnesota Twin Cities（明尼苏达大学双城分校）；University of California San Diego（加利福尼亚大学圣迭戈分校）
本文提出面向ASIC脉动加速器的性能分析框架SimDIT，全面覆盖CNN推理与训练的卷积及非卷积操作，揭示非卷积操作对运行时的显著影响，并通过优化资源分配实现18倍性能提升。
2023-06-29 cs.AR cs.LG
HW-Aware Initialization of DNN Auto-Tuning to Improve Exploration Time and Robustness
Robert Bosch GmbH（罗伯特·博世有限公司）；University of Tübingen（图宾根大学）；Heidelberg University（海德堡大学）
使用ML模型和硬件在环优化DNN运算符的延迟的过程（称为自动调整）已经成为部署神经网络的普遍方法。从循环优化的搜索空间中，必须选择提供最佳性能的候选。通过硬件测量来评估各个配置的性能。可能配置的组合爆炸，以及硬件评估的成本使得在实践中对搜索空间的详尽探索是不可行的。随机森林或强化学习等机器学习方法用于帮助选择硬件评估的候选者。对于x86和GPGPU架构等通用硬件，与cuDNN等手动优化库相比，可以实现令人印象深刻的性能提升。该方法在硬件加速器的空间中也是有用的，其中高性能库并不总是可用的。然而，硬件加速器在其编程方面通常不太灵活，这导致运算符配置在硬件目标上不可执行。这项工作评估这些无效的配置如何影响自动调整过程及其底层的性能预测模型的VTA硬件。根据这些结果，开发了一种有效性驱动的AutoTVM初始化方法，仅需要41.6%的必要硬件测量来找到最佳解决方案，同时提高了搜索鲁棒性。
2022-05-31 cs.LG cs.PF
Automated machine learning for borehole resistivity measurements
Software Competence Center Hagenberg GmbH (SCCH)（哈根伯格软件能力中心有限公司）；University of the Basque Country (UPV/EHU)（巴斯克大学）；Ikerbasque (Basque Foundation for Sciences)（伊克尔巴斯克基金会（巴斯克科学基金会））
本文提出一种兼顾精度与网络规模的评分函数，并利用DNN架构搜索获得更小的准最优网络，在保持与大型参考网络相当精度的同时显著降低钻孔电阻率测量反演的训练与评估计算成本。
2022-07-20 cs.AI cs.LG
ConfuciuX: Autonomous Hardware Resource Assignment for DNN Accelerators using Reinforcement Learning
Georgia Institute of Technology（佐治亚理工学院）
DNN加速器通过在DNN计算期间利用激活/权重/输出的重用来提供效率，以减少从DRAM到芯片的数据移动。复用被加速器的流水线捕获。虽然在探索和比较各种硬件方面已经有了重要的先前工作，但是用于分配片上硬件资源的策略（即，计算和存储器），其可以优化性能/能量，同时满足感兴趣的DNN的面积/功率的平台约束。平衡计算和内存的设计空间选择组合爆炸，正如我们在这项工作中所展示的那样（例如，运行\mobilenet的选择多达O（10^（72）），这使得通过穷举搜索进行手动调优是不可行的。考虑到不同的DNN和层类型表现出不同的重用量，也很难提出一个特定的启发式方法。在本文中，我们提出了一个自主的策略，称为孔子X找到优化的硬件资源分配为给定的模型和低风格。ConfuciuX利用强化学习方法REINFORCE来指导搜索过程，利用训练循环中详细的硬件性能成本模型来估计奖励。我们还增加了RL的方法与遗传算法进一步微调。与其他技术（如贝叶斯优化，遗传算法，模拟退火和其他RL方法）相比，ConfuciuX在训练中表现出最高的样本效率。它收敛到优化的硬件配置比其他技术快4.7到24倍。
2020-09-04 cs.AR cs.LG eess.SP
Bifrost: End-to-End Evaluation and Optimization of Reconfigurable DNN Accelerators
University of Glasgow（格拉斯哥大学）
深度神经网络（DNN）的可重构加速器有望改善推理延迟等性能。STONNE是第一个可重构DNN推理加速器的周期精确模拟器，允许探索加速器设计和配置空间。然而，在STONNE中准备用于评估的模型和探索配置空间是一个手动的开发时间消耗过程，这是研究的障碍。本文介绍了Bifrost，这是一个用于评估和优化可重构DNN推理加速器的端到端框架。Bifrost作为STONNE的前端运行，并利用TVM深度学习编译器堆栈来解析模型并自动卸载加速计算。我们讨论了Bifrost的优势，石头和其他工具，并评估使用Bifrost的MAERI和SIGMA架构。此外，Bifrost还引入了一个利用AutoTVM的模块，可以有效地探索加速器设计和低映射空间，以优化性能。通过调整MAERI架构并为AlexNet生成高效的低层映射，获得卷积层的平均加速比$50\times$和全连接层的平均加速比$11\times$来证明这一点。我们的代码可在www.github.com/gicLAB/bifrost上获得。
2022-04-26 cs.AR cs.DC cs.LG
TensorOpt: Exploring the Tradeoffs in Distributed DNN Training with Auto-Parallelism
The Chinese University of Hong Kong（香港中文大学）；Huawei Technologies Co. Ltd（华为技术有限公司）
一个好的并行化策略可以显著提高深度神经网络（DNN）分布式训练的效率或降低成本。最近，已经提出了几种方法来找到有效的并行化策略，但它们都优化了单个目标（例如，执行时间、内存消耗）并仅产生一个策略。我们提出了FT，一个有效的算法，搜索一组最佳的并行化策略，以允许不同的目标之间的权衡。FT可以通过在设备数量有限的情况下最小化内存消耗来适应不同的场景，并充分利用额外的资源来减少执行时间。对于流行的DNN模型（例如，视觉，语言），进行了深入的分析，以了解不同的目标之间的权衡及其对并行化策略的影响。我们还开发了一个用户友好的系统，称为TensorOpt，它允许用户运行他们的分布式DNN训练作业，而不关心并行化策略的细节。实验结果表明，FT运行效率高，提供了准确的运行时成本估计，与现有框架相比，TensorOpt在适应资源可用性方面更加灵活。
2020-04-16 cs.DC cs.LG stat.ML
Automated design of error-resilient and hardware-efficient deep neural networks
Bosch Corporate Research（博世企业研究院）；RWTH Aachen University（亚琛工业大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）；University of Freiburg（弗莱堡大学）
将深度神经网络（DNN）应用于移动和安全关键型系统（如自动驾驶汽车），需要在硬件上实现可靠、高效的执行。正在开发优化的专用硬件加速器来实现这一目标。然而，由于现代集成电路技术的增加的复杂性及其对硬件故障（诸如随机位翻转）的敏感性，高效且可靠的硬件的设计已经变得越来越困难。因此，期望也在算法侧利用用于错误恢复和效率的优化潜力，例如，通过优化DNN的架构。由于DNN的架构有许多设计选择，对优选特性（例如低延迟下的小出错率）具有部分相反的影响，因此多目标优化策略是必要的。在本文中，我们开发了一种进化优化技术，用于自动设计硬件优化的DNN架构。为此，我们推导出一组易于计算的目标函数，使DNN架构的硬件效率和错误恢复能力的快速评估仅基于网络拓扑结构。我们观察到预测的错误恢复能力和故障注入模拟获得的实际测量之间的强相关性。此外，我们分析了两种不同的量化方案，以实现高效的DNN计算，并发现它们对错误恢复的影响存在显着差异。
2019-09-30 cs.LG stat.ML
Data Generation Using Pass-phrase-dependent Deep Auto-encoders for Text-Dependent Speaker Verification
Indian Institute of Information Technology（印度信息技术学院）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；LORIA（洛林计算机科学及其应用研究所）；Aalborg University（奥尔堡大学）
在本文中，我们提出了一种新的方法，训练基于密码短语特定深度神经网络（PP-DNN）的自动编码器，以创建用于文本相关说话人验证（TD-SV）的增强数据。每个PP-DNN自动编码器使用目标登记集中可用的特定密码短语的话语通过两种方法来训练：（i）迁移学习和（ii）从头开始训练。接下来，给定话语的特征向量被馈送到PP-DNN，并且来自帧级的每个PP-DNN的输出被认为是一组新的生成数据。然后，从每个PP-DNN生成的数据用于构建TD-SV系统，这与仅考虑可用的评估数据的传统方法相反。所提出的方法可以被认为是使用由每个PP-DNN学习的非线性变换将数据变换到密码短语特定空间。该方法开发了几个TD-SV系统，其数量等于为每个密码短语单独训练的PP-DNN的数量。最后，不同的TD-SV系统的得分进行融合决策。实验在RedDots挑战2016数据库上进行，用于使用短话语的TD-SV。实验结果表明，该方法结合高斯混合模型-通用背景模型（GMM-UBM）和i-向量框架，对传统倒谱特征和深度瓶颈特征都有较好的识别性能。
2021-02-03 cs.LG cs.SD eess.AS
ALWANN: Automatic Layer-Wise Approximation of Deep Neural Network Accelerators without Retraining
Brno University of Technology（布尔诺理工大学）；Technische Universität Wien (TU Wien)（维也纳技术大学）
最先进的方法采用近似计算来降低DNN硬件的能耗。近似DNN随后需要大量的重新训练，以从使用近似运算造成的准确性损失中恢复过来。然而，复杂DNN的再训练不能很好地扩展。在本文中，我们证明了可以将有效的近似引入DNN加速器的计算路径中，同时可以完全避免重新训练。ALWANN为定制的低功耗加速器提供高度优化的DNN实现，其中计算单元的数量低于DNN层的数量。首先，一个经过完全训练的DNN被转换为在卷积层中使用8位权重和8位乘法器进行操作。然后从近似乘法器库中为每个计算元件选择合适的近似乘法器，使得（i）一个近似乘法器服务于若干层，以及（ii）总分类误差和能量消耗最小化。包括乘数选择问题的优化是通过多目标优化NSGA-II算法解决的。为了完全避免DNN的计算昂贵的再训练，这通常是用来提高分类精度，我们提出了一个简单的权重更新方案，补偿采用近似乘法器引入的不准确性。所提出的方法进行评估的DNN加速器与近似乘法器从开源的“EvoApprox”库的两个架构。我们报告说，所提出的方法节省了ResNet-50卷积层乘法所需的30%的能量，而准确度仅下降了0.6%。所提出的技术和近似层可作为TensorFlow的开源扩展在https://github.com/ehw-fit/tf-approximate上获得。
2019-07-25 cs.LG cs.NE
Generative Design of Hardware-aware DNNs
Georgia Institute of Technology（佐治亚理工学院）；SIEMENS Corporate Technology（西门子企业技术）
为了在边缘/云上有效地运行DNN，许多新的DNN推理加速器正在被频繁地设计和部署。为了提高DNN的资源效率，模型量化是一种广泛使用的方法。然而，不同的加速器/HW具有不同的资源，导致需要每个HW的专用量化策略。此外，对每一层使用相同的量化可能是次优的，从而增加了可能的量化选择的设计空间。这使得手动调整不可行。最近在自动确定每层的量化方面的工作是由诸如强化学习之类的优化方法驱动的。然而，这些方法需要为每个新的硬件平台重新训练RL。我们提出了一种自主量化和硬件感知调谐的新方法。我们提出了一个生成模型，AQGAN，它以目标精度为条件，生成一套量化配置。使用条件生成模型，用户可以在推理时间内自主地生成具有不同目标的不同配置。此外，我们提出了一个简化的硬件调整流程，它使用生成模型来生成建议，并根据硬件资源预算执行简单的选择，其过程是快速和交互式的。我们在ImageNet数据集上广泛使用的五个有效模型上评估了我们的模型。我们比较现有的均匀量化和国家的最先进的自主量化方法。然而，我们的生成模型显示出具有竞争力的准确性，每个设计点的搜索成本降低了大约2度。我们的生成模型表明，生成的量化配置在所有实验中的误差小于3.5%。
2020-07-12 cs.LG stat.ML
HALF: Holistic Auto Machine Learning for FPGAs
University of Kaiserslautern（凯泽斯劳滕大学）；Fraunhofer ITWM（弗劳恩霍夫工业数学研究所）
深度神经网络（DNN）能够解决与嵌入式系统相关的领域中的复杂问题，例如图像和自然语言处理。为了针对给定的成本标准（例如，能量效率）在特定的FPGA平台上有效地实现DNN，从拓扑结构到最终的硬件实现，必须考虑大量的设计参数。必须考虑并有效探索不同设计层之间的相互依赖性，这使得手动找到优化解决方案变得几乎不可能。自动化、整体化的设计方法可以显著提高DNN在FPGA上的实现质量。为此，我们提出了一个跨层的设计空间探索方法。它包括从DNN的硬件感知拓扑搜索开始到给定FPGA平台的最终优化实现的优化。该方法在我们的FPGA整体自动机器学习（HALF）框架中实现，该框架结合了进化搜索算法，各种优化步骤和可参数化硬件DNN模块库。HALF可在目标FPGA平台上针对各种应用自动执行探索过程和优化解决方案的实施。我们在心律失常检测的医疗用例中展示了HALF的性能，分别用于三种不同的设计目标，即低功耗、低功耗和高吞吐量。我们的FPGA实现在吞吐量和能耗方面都优于Nvidia Jetson平台上的TensorRT优化模型。
2021-10-20 cs.AR cs.LG
O-HAS: Optical Hardware Accelerator Search for Boosting Both Acceleration Performance and Development Speed
Rice University（莱斯大学）
深度神经网络（DNN）最近的突破和令人望而却步的复杂性激发了人们对特定领域DNN加速器的广泛兴趣，其中光学DNN加速器特别有前途，这要归功于其实现卓越性能每瓦的前所未有的潜力。然而，光学DNN加速器的发展比电DNN加速器慢得多。一个关键的挑战是，虽然已经开发了许多技术来促进电DNN加速器的开发，但支持或加速光学DNN加速器设计的技术仍然很少探索，限制了光学DNN加速器的可实现性能和创新发展。为此，我们开发了首个名为O-HAS的框架，该框架首次展示了自动化光学硬件加速器搜索，以提高光学DNN加速器的加速效率和开发速度。具体地，我们的O-HAS由两个集成的使能器组成：（1）O-成本预测器，其可以基于DNN模型参数和光学加速器设计准确而有效地预测光学加速器的能量和延迟;以及（2）O-搜索引擎，其可以自动探索光学DNN加速器的大设计空间并识别最佳加速器（即，微体系结构和算法到加速器的映射方法），以便最大化目标加速效率。广泛的实验和烧蚀研究一致验证了我们的O-成本预测器和O-搜索引擎的有效性以及O-HAS产生的光学加速器的出色效率。
2021-08-17 cs.AR cs.ET cs.LG
