A Systematic Literature Review on Hardware Reliability Assessment Methods for Deep Neural Networks
Tallinn University of Technology(塔林理工大学);Mälardalen University(马拉达伦大学)
本文对深度神经网络硬件可靠性评估方法进行系统文献综述,识别出故障注入、分析和混合三类方法,并总结其平台、指标及开放性挑战。
2023-05-09 cs.AI cs.AR cs.LG
From Algorithm to Hardware: A Survey on Efficient and Safe Deployment of Deep Neural Networks
Institute for Infocomm Research, A*STAR(新加坡资讯通信研究院(新加坡科技研究局下属机构));Nanyang Technological University(南洋理工大学)
本文综述 DNN 从压缩算法、适配硬件加速器到同态加密安全部署的研究进展,并讨论评估、泛化与多方法集成等开放问题。
2024-05-09 cs.AI cs.LG
Enhancing AI Interpretability with Localised Architectures
针对大型生成式AI模型可解释性差、计算成本高的问题,提出局部化机器学习架构,通过降低带宽、提高节点表达能力来提升可解释性和效率,并评估了多种硬件实现方案的适用性。
2026-08-11 cs.AI cs.LG
Efficiency-driven Hardware Optimization for Adversarially Robust Neural Networks
Yale University(耶鲁大学)
随着物联网(IoT)时代对嵌入式设备智能化需求的不断增长,深度神经网络(DNN)的安全硬件实现已变得势在必行。我们将专注于如何通过效率驱动的硬件优化来解决DNN的对抗鲁棒性。由于内存(特别是点积运算)是DNN的关键能耗组件,因此过去的硬件方法都集中在优化内存上。一种这样的方法是具有混合6 T-8 T SRAM单元的近似数字CMOS存储器,该混合6 T-8 T SRAM单元使得能够实现电源电压(VDD)缩放,从而产生低功率操作,而不会由于在6 T单元中引起的读/写故障而显著影响性能。在本文中,我们展示了混合6 T-8 T存储器的6 T单元中的比特错误如何最小化DNN中的对抗性扰动。从本质上讲,我们发现,对于不同的配置的8 T-6 T的比率和scaledpronunciation操作,在混合存储器架构中产生的噪声是在特定的限制范围内绑定。这种硬件噪声可能会干扰DNN中对抗攻击的创建,从而产生鲁棒性。另一种存储器优化方法涉及使用模拟忆阻交叉开关,其以低能量和面积要求高效地执行矩阵向量乘法(MVMs)。然而,交叉开关通常存在固有的非理想性,这会导致执行MVMs时出现错误,从而导致DNN的准确性下降。我们将展示通过交叉开关非理想性表现出来的固有硬件变化如何在没有任何额外优化的情况下对映射的DNN产生对抗性鲁棒性。
2021-05-09 cs.AR cs.LG
Hardware/Software Co-Design of RISC-V Extensions for Accelerating Sparse DNNs on FPGAs
Department of Computer Science, Friedrich-Alexander-Universität Erlangen-Nürnberg (FAU)(计算机科学系,埃朗根-纽伦堡弗里德里希-亚历山大大学)
本文提出了一种新颖的RISC-V扩展硬件/软件协同设计,通过利用FPGA位级可配置性跳过计算及可变周期乘加单元,有效加速半结构化和非结构化稀疏DNN,在TinyML应用上实现高达5倍加速且占用极少硬件资源。
2025-04-28 cs.AI cs.AR cs.LG
NASA: Neural Architecture Search and Acceleration for Hardware Inspired Hybrid Networks
Georgia Institute of Technology(佐治亚理工学院);Nanjing University(南京大学);Rice University(莱斯大学)
乘法可以说是现代深度神经网络(DNN)中成本最占主导地位的操作,限制了它们可实现的效率,从而限制了它们在资源受限应用中的更广泛部署。为了解决这一限制,开创性的工作已经开发了手工制作的免乘法DNN,这需要专业知识和耗时的手动迭代,需要快速开发工具。为此,我们提出了一个名为NASA的神经架构搜索和加速框架,它可以实现自动化的乘法减少DNN开发,并集成了一个专用的乘法减少加速器,以提高DNN的可实现效率。具体来说,NASA采用了神经架构搜索(NAS)空间,该空间使用硬件启发的无乘法运算符(如移位和加法器)来增强最先进的空间,并配备了新颖的渐进式预训练策略(PGP)以及定制的训练配方,以自动搜索最佳的乘法减少DNN;最重要的是,NASA进一步开发了一个专用的加速器,该加速器提倡基于块的模板和自动映射器,专门用于NASA-NAS生成的DNN,以更好地利用其算法特性来提高硬件效率。实验结果和烧蚀研究一致验证了NASA的算法硬件协同设计框架在可实现的精度和效率权衡方面的优势。代码可在https://github.com/GATECH-EIC/NASA上获得。
2022-12-19 cs.AR cs.LG
DRACO: Co-Optimizing Hardware Utilization, and Performance of DNNs on Systolic Accelerator
IIT Hyderabad(印度理工学院海得拉巴分校);BITS Pilani Hyderabad(比尔拉理工学院海得拉巴分校);IIT Roorkee(印度理工学院鲁尔基分校);NXP Semiconductors(恩智浦半导体);Intel Labs(英特尔实验室)
固定大小的收缩加速器中的处理元件(PE)的数量与大型和计算受限的DNN很好地匹配;然而,内存受限的DNN遭受PE利用不足,并且无法实现峰值性能和能量效率。为了减轻这种情况,已经提出了专门的微架构和/或微架构技术。然而,由于深度学习领域的开发周期较长,发展速度很快,这些基于硬件的解决方案在处理最先进的DNN的PE利用不足方面可能已经过时且无效。在这项工作中,我们解决了PE利用不足的挑战,在算法的前面,并提出数据重用意识的协同优化(DRACO)。这提高了存储器绑定DNN的PE利用率,而无需任何额外的底层/微架构修改。此外,与以前的协同优化方法不同,DRACO不仅可以最大限度地提高性能和能源效率,还可以提高DNN的预测性能。据我们所知,DRACO是第一个在算法层面解决资源利用不足挑战的工作,并展示了DNN的计算效率,PE利用率和预测性能之间的权衡。与最先进的行固定采样器相比,DRACO在$64\times64$脉动阵列上的MobileNetV 1中的平均PE利用率和推理延迟分别提高了41.8%和42.6%,预测性能损失可以忽略不计。DRACO为利用率感知的DNN设计方法提供了开创性的见解,这些方法可以充分利用基于脉动阵列的硬件加速器的计算能力。
2020-06-26 cs.AR cs.LG eess.SP
An Efficient Hardware-Oriented Dropout Algorithm
Kyushu Institute of Technology(九州工业大学)
提出了一种面向硬件的丢弃算法,该算法适用于现场可编程门阵列(FPGA)实现。在深度神经网络(DNN)中,当网络过度训练并且太好地适应训练数据时,就会发生过拟合。因此,它们无法预测用作测试数据的不可见数据。丢弃是DNN中经常应用的一种常见技术,用于克服这个问题。通常,由于功率和存储器约束,在嵌入式系统中实现DNN的这种训练算法是困难的。训练DNN是功耗、时间和内存密集型的;然而,嵌入式系统需要低功耗和实时处理。FPGA具有并行处理的特点和低功耗的特点,非常适合嵌入式系统,但由于其存储空间有限和体系结构的不同,使得通用的神经网络算法难以应用。因此,我们提出了一个面向硬件的丢弃算法,可以有效地利用FPGA的特点,所需的内存较少。软件程序验证表明,该方法的性能是相同的传统的辍学,和硬件综合表明,它导致显着的资源减少。
2019-11-14 cs.LG stat.ML
Real-time Multi-Task Diffractive Deep Neural Networks via Hardware-Software Co-design
University of Utah(犹他大学)
深度神经网络(DNN)具有大量的计算需求,这极大地限制了它们在资源受限环境中的性能。最近,在基于光学神经网络和光计算的DNN硬件上有越来越多的努力,其在功率效率、并行性和计算速度方面为深度学习系统带来显著的优势。其中,自由空间衍射深度神经网络(D $^2$ NNs)基于光的衍射,每层神经元与相邻层的神经元相互连接,每层神经元的数量达到数百万。然而,由于实现可重构性的挑战,部署不同的DNN算法需要重新构建和复制物理衍射系统,这显著降低了实际应用场景中的硬件效率。因此,这项工作提出了一种新的软硬件协同设计方法,使强大的和噪声弹性的多任务学习D $^2$神经网络。我们的实验结果表明,在通用性和硬件效率的显着改善,也证明了所提出的多任务D $^2$ NN架构的鲁棒性下的所有系统组件的宽噪声范围。此外,我们提出了一个特定于域的正则化算法来训练所提出的多任务架构,它可以用来灵活地调整每个任务的期望性能。
2021-04-01 cs.AI cs.LG physics.optics
Cheetah: Mixed Low-Precision Hardware & Software Co-Design Framework for DNNs on the Edge
Rochester Institute of Technology(罗切斯特理工学院)
低精度DNN已被广泛研究,以减少边缘设备的DNN模型的大小。最近,DNN数值格式已经显示出对DNN数据表示和超低精度计算的承诺[5]。8]位。然而,以前的研究仅限于DNN推理的研究。在本文中,我们提出了Cheetah框架,它支持DNN训练和使用posits的推理,以及其他常用格式。此外,该框架适用于不同的量化方法,并支持混合精度浮点和定点数值格式。Cheetah在三个数据集上进行评估:MNIST,Fashion MNIST和CIFAR-10。结果表明,在DNN训练中,16位定位优于16位浮点。此外,使用[5. 8]-位假设改善了性能和能量延迟积之间的权衡[5.. 8]-位浮点和定点。
2019-08-06 cs.LG cs.NE stat.ML
ShiftAddNet: A Hardware-Inspired Deep Network
Rice University(莱斯大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校);Alibaba DAMO Academy(阿里巴巴达摩院)
本文提出硬件启发的ShiftAddNet,用位移和加法替代乘法构建深度网络,在保持准确率的同时大幅降低训练与推理能耗并提升鲁棒性。
2025-03-03 cs.LG
A Long Short-Term Memory for AI Applications in Spike-based Neuromorphic Hardware
Graz University of Technology(格拉茨技术大学);Intel Corporation(英特尔公司)
基于尖峰的神经形态硬件有望提供比GPU等标准硬件更节能的深度神经网络(DNN)实现。但这需要了解DNN如何在基于事件的稀疏激发机制中进行仿真,否则就会失去能量优势。特别是,解决序列处理任务的DNN通常采用长短期记忆(LSTM)单元,这些单元很难用很少的尖峰来模拟。我们发现,许多生物神经元的一个方面,缓慢的超极化(AHP)电流后,每个尖峰,提供了一个有效的解决方案。AHP电流可以很容易地在支持多室神经元模型的神经形态硬件中实现,例如英特尔的Loihi芯片。滤波近似理论解释了为什么AHP神经元可以模拟LSTM单元的功能。这产生了一种高能效的时间序列分类方法。此外,它还为实现非常稀疏的大型DNN提供了基础,这些DNN可以提取文本中单词和句子之间的关系,以回答有关文本的问题。
2021-11-07 cs.ET cs.LG cs.NE
Enabling Unstructured Sparse Acceleration on Structured Sparse Accelerators
Georgia Institute of Technology(佐治亚理工学院);NVIDIA(英伟达)
针对结构化稀疏硬件灵活性有限且需微调的问题,提出利用分配律将非结构化稀疏张量分解为结构化稀疏张量的近似方法,并开发软件框架TASDER,无需微调即可加速DNN,显著提升EDP和实际系统速度。
2025-05-24 cs.AI cs.AR cs.LG
PQA: Exploring the Potential of Product Quantization in DNN Hardware Acceleration
Cornell University(康奈尔大学);Flower Labs(Flower实验室);University of Cambridge(剑桥大学)
本文提出PQA硬件加速器,通过乘积量化将MAC替换为内存查找,并实证研究PQ参数化与训练方法,在紧凑型DNN上实现单位面积性能最高提升3.1倍且准确率损失极小。
2024-03-28 cs.AR cs.LG
From DNNs to GANs: Review of efficient hardware architectures for deep learning
Indian Institute of Technology Bhubaneswar(印度理工学院布巴内斯瓦尔分校)
近年来,超大规模集成(VLSI)工业的发展趋势是多方面的,例如,降低能耗、占用更少的空间、精确的结果、更少的功耗、更快的响应。为了满足这些需求,硬件架构应该是可靠的和鲁棒的这些问题。最近,神经网络和深度学习已经开始对目前的研究范式产生重大影响,这些研究范式包括数百万的参数,用于激活的非线性函数,用于特征提取的卷积运算,用于分类的回归,生成对抗网络。这些操作涉及巨大的计算和内存开销。目前可用的DSP处理器不能执行这些操作,并且它们大多面临诸如存储器开销、性能下降和精度受损的问题。此外,如果使用并行计算为巨大的硅区域供电以加速操作,则IC将由于大量产生的热量而有很大的烧毁机会。因此,新的暗硅约束的开发,以减少散热而不牺牲精度。类似地,不同的算法已经被适配为设计与神经网络、激活函数、卷积神经网络和生成对抗网络中的快速性能兼容的DSP处理器。在这篇综述中,我们说明了硬件的最新发展,以加速深度学习网络的有效实施,提高性能。在这篇评论中调查的技术,预计将指导未来的研究挑战的高性能计算的硬件优化。
2021-06-06 cs.AR cs.LG
On the Noise Stability and Robustness of Adversarially Trained Networks on NVM Crossbars
School of Electrical and Computer Engineering, Purdue University(电气与计算机工程学院,普渡大学)
本文结合对抗训练与NVM交叉阵列硬件的内在鲁棒性,研究了对抗训练DNN在模拟硬件上的噪声稳定性与鲁棒性,发现需在硬件非理想性与训练参数间谨慎校准以优化性能与鲁棒性。
2023-05-18 cs.LG
DeepAxe: A Framework for Exploration of Approximation and Reliability Trade-offs in DNN Accelerators
Tallinn University of Technology(塔林理工大学);Mälardalen University(梅拉达伦大学)
虽然深度神经网络(DNN)在广泛的安全关键应用中的作用正在扩大,但新兴的DNN在计算能力方面经历了大规模的增长。这就需要提高DNN加速器的可靠性,同时减少硬件平台的计算负担,即减少能耗和执行时间,并提高DNN加速器的效率。因此,硬件性能(即面积,功率和延迟)与DNN加速器实现的可靠性之间的权衡变得至关重要,需要工具进行分析。在本文中,我们提出了一个框架DeepAxe的设计空间探索基于FPGA的实现DNN考虑应用功能近似的准确性,可靠性和硬件性能的三边影响。该框架使可靠性关键DNN的选择性近似,提供了一组帕累托最优的DNN实现设计空间点的目标资源利用率的要求。设计流程从Keras中的预训练网络开始,使用创新的高级综合环境DeepHLS,并产生一组帕累托最优设计空间点作为设计师的指导。该框架在自定义和最先进的DNN和数据集的案例研究中得到了演示。
2023-03-14 cs.AI cs.AR cs.LG
Generative Design of Hardware-aware DNNs
Georgia Institute of Technology(佐治亚理工学院);SIEMENS Corporate Technology(西门子企业技术)
为了在边缘/云上有效地运行DNN,许多新的DNN推理加速器正在被频繁地设计和部署。为了提高DNN的资源效率,模型量化是一种广泛使用的方法。然而,不同的加速器/HW具有不同的资源,导致需要每个HW的专用量化策略。此外,对每一层使用相同的量化可能是次优的,从而增加了可能的量化选择的设计空间。这使得手动调整不可行。最近在自动确定每层的量化方面的工作是由诸如强化学习之类的优化方法驱动的。然而,这些方法需要为每个新的硬件平台重新训练RL。我们提出了一种自主量化和硬件感知调谐的新方法。我们提出了一个生成模型,AQGAN,它以目标精度为条件,生成一套量化配置。使用条件生成模型,用户可以在推理时间内自主地生成具有不同目标的不同配置。此外,我们提出了一个简化的硬件调整流程,它使用生成模型来生成建议,并根据硬件资源预算执行简单的选择,其过程是快速和交互式的。我们在ImageNet数据集上广泛使用的五个有效模型上评估了我们的模型。我们比较现有的均匀量化和国家的最先进的自主量化方法。然而,我们的生成模型显示出具有竞争力的准确性,每个设计点的搜索成本降低了大约2度。我们的生成模型表明,生成的量化配置在所有实验中的误差小于3.5%。
2020-07-12 cs.LG stat.ML
NASCaps: A Framework for Neural Architecture Search to Optimize the Accuracy and Hardware Efficiency of Convolutional Capsule Networks
Technische Universität Wien(维也纳工业大学);Politecnico di Torino(都灵理工大学);Brno University of Technology(布尔诺理工大学);New York University Abu Dhabi(纽约大学阿布扎比分校)
深度神经网络(DNN)已经取得了显著的改进,以达到在各种各样的机器学习(ML)应用中采用的期望精度。最近,Google Brain的团队展示了胶囊网络(CapsNets)编码和学习不同输入特征之间的空间相关性的能力,从而获得了与传统(即,非基于胶囊的)DNN。然而,使用传统方法设计CapsNet是一项繁琐的工作,并且需要大量的培训工作。最近的研究表明,为给定的一组应用程序和训练数据集自动选择最佳/最佳DNN模型配置的强大方法是基于神经架构搜索(NAS)算法的。此外,由于其极端的计算和内存要求,DNN使用IoT边缘/CPS设备中的专用硬件加速器。在本文中,我们提出了NASCaps,这是一种用于不同类型DNN的硬件感知NAS的自动化框架,涵盖了传统的卷积DNN和CapsNets。我们研究了部署多目标遗传算法(例如,基于NSGA-II算法)。所提出的框架可以联合优化网络准确性和相应的硬件效率,以执行DNN推理的给定硬件加速器的能量、存储器和延迟表示。除了支持传统的DNN层,我们的框架是第一个模型,并支持专门的胶囊层和动态路由的NAS流。我们在不同的数据集上评估我们的框架,生成不同的网络配置,并展示不同输出指标之间的权衡。我们将在https://github.com/ehw-fit/nascaps上开源Pareto最优架构的完整框架和配置。
2020-08-19 cs.LG stat.ML
Learning on Hardware: A Tutorial on Neural Network Accelerators and Co-Processors
TU Wien(维也纳工业大学)
深度神经网络(DNN)的优势在于它们可以考虑大量参数,这使它们能够解决复杂的任务。在计算机视觉和语音识别中,它们的准确率比普通算法更高,在某些任务中,它们甚至比人类专家的准确率更高。随着近年来DNN的发展,许多其他应用领域,如疾病诊断和自动驾驶,都在利用它们。DNN的趋势很明显:网络规模呈指数级增长,这导致计算工作量和所需内存大小呈指数级增长。出于这个原因,优化的硬件加速器用于提高神经元网络的推理性能。然而,存在各种神经网络硬件加速器平台,诸如图形处理单元(GPU)、专用集成电路(ASIC)和现场可编程门阵列(FPGA)。这些平台中的每一个都提供了某些优点和缺点。此外,存在用于减少DNN的计算工作量的各种方法,这些方法不同地适用于每个硬件加速器。本文综述了现有的神经网络硬件加速器和加速方法。它们的优点和缺点,并给出了合适的应用程序的建议。特别是,我们专注于加速用于图像识别任务的卷积神经网络(CNN)的推理。假设存在许多不同的硬件架构。基于FPGA的实现非常适合展示DNN优化方法对准确性和吞吐量的影响。出于这个原因,这项工作的重点更多地是基于FPGA的实现。
2021-04-19 cs.AR cs.LG cs.NE
Automatic Model Parallelism for Deep Neural Networks with Compiler and Hardware Support
Intel Labs(英特尔实验室)
深度神经网络(DNN)在迄今为止只有人类才能完成的任务(如图像识别和语言翻译)中取得了巨大成功。由于它们的成功,DNN正在被探索用于越来越复杂的任务。DNN为复杂任务扩展的方法之一是增加其规模-更深更宽的网络可以很好地模拟额外的复杂性。在多个计算设备(诸如多GPU和多节点系统)上使用模型并行来训练这样的大型模型。在本文中,我们开发了一个编译器驱动的方法来实现模型并行。我们模拟的计算和通信成本的一个体现神经网络的训练过程,然后,分区图使用的方式,计算设备之间的通信是最小的,我们有一个很好的负载平衡。硬件调度助手的建议,以协助编译器在运行时的工作分配微调。
2019-06-11 cs.DC cs.LG
RoHNAS: A Neural Architecture Search Framework with Conjoint Optimization for Adversarial Robustness and Hardware Efficiency of Convolutional and Capsule Networks
Embedded Computing Systems Group, Institute of Computer Engineering, Technische Universität Wien (TU Wien), Vienna, Austria(嵌入式计算系统组,计算机工程学院,维也纳技术大学);Evolvable Hardware Research Group, Faculty of Information Technology, Brno University of Technology, Brno, Czechia(可进化硬件研究组,信息技术学院,布拉格技术大学);VLSI Lab, Department of Electronics and Telecommunications, Politecnico di Torino, Turin, Italy(非常规集成电路实验室,电子与电信系,托里尼 Politecnico);eBrain Lab, Division of Engineering, New York University Abu Dhabi, UAE(eBrain 实验室,工程系,纽约大学阿布扎克分校)
针对DNN计算复杂、易受对抗攻击的问题,提出可联合优化对抗鲁棒性与硬件效率的NAS框架RoHNAS,支持卷积与胶囊网络,通过适配数据集的扰动值提速,经多GPU HPC评估得到多目标权衡的帕累托最优架构。
2022-10-11 cs.LG
Hardware-Aware DNN Compression via Diverse Pruning and Mixed-Precision Quantization
Aristotle University of Thessaloniki(亚里士多德大学);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Southern Illinois University Carbondale(南伊利诺伊大学卡本代尔分校);University of Patras(帕特雷大学)
提出硬件感知的DNN压缩框架,联合多样化剪枝与混合精度量化,利用强化学习优化配置,在CIFAR和ImageNet上实现39%能耗降低且精度损失仅1.7%。
2023-12-23 cs.LG
Terminal Brain Damage: Exposing the Graceless Degradation in Deep Neural Networks Under Hardware Fault Attacks
University of Maryland, College Park(马里兰大学帕克分校);Vrije Universiteit Amsterdam(阿姆斯特丹自由大学)
深度神经网络(DNN)已被证明可以容忍“脑损伤”:网络参数的累积变化(例如,修剪、数值扰动)通常导致分类精度的适度降低。然而,在DNN参数的底层存储器表示存在小的对抗性变化(例如可能由硬件故障攻击引起的位翻转)的情况下,这种自然弹性的限制并没有得到很好的理解。我们研究了19个DNN模型的按位损坏的影响-三个图像分类任务的六个架构-我们发现大多数模型至少有一个参数,在其按位表示中的特定位翻转后,会导致超过90%的准确性损失。我们采用简单的算法来有效地识别可能易受攻击的参数。我们估计,模型中40-50%的参数可能会导致精度下降超过10%,当单独受到这样的单比特扰动。为了演示对手如何利用此漏洞,我们研究了示例性硬件故障攻击Rowhammer对DNN的影响。具体来说,我们表明,一个Rowhammer使攻击者共同位于同一物理机可以造成显着的准确性下降(高达99%),即使单个位翻转损坏和不知道的模型。我们的研究结果揭示了DNN对现实世界故障攻击引起的参数扰动的弹性极限。最后,我们讨论了可能的缓解措施和未来的研究方向故障攻击弹性DNN。
2019-06-03 cs.CR cs.LG
ProAct: Progressive Training for Hybrid Clipped Activation Function to Enhance Resilience of DNNs
Mälardalen University(梅拉达伦大学);Tallinn University of Technology(塔林理工大学)
ProAct通过混合神经元级和层级截断方法,提升DNNs在高比特误差率下的鲁棒性,采用渐进训练优化阈值。
2024-06-10 cs.LG
XploreNAS: Explore Adversarially Robust & Hardware-efficient Neural Architectures for Non-ideal Xbars
Yale University(耶鲁大学)
本文提出 XploreNAS 算法-硬件协同优化方法,通过交叉开关感知的单次 NAS 搜索对抗鲁棒且硬件高效的 Subnet,在非理想交叉开关上相比 ResNet-18 实现约 8-16% 鲁棒性提升和约 1.5-1.6 倍更低 EDAP。
2023-04-15 cs.ET cs.LG
Fault-Aware Design and Training to Enhance DNNs Reliability with Zero-Overhead
Polytechnic of Torino(都灵理工大学);Univ Rennes(雷恩大学);INRIA(法国国家信息与自动化研究所);University of Trento(特伦托大学)
深度神经网络(DNN)实现了从临床成像到预测性工业维护和自动驾驶等一系列技术进步。然而,最近的研究结果表明,瞬态硬件故障可能会破坏模型的预测显着。例如,辐射引起的错误预测概率可能很高,以至于阻碍了DNN模型的大规模安全部署,迫切需要高效和有效的加固解决方案。在这项工作中,我们建议在训练和模型设计时解决可靠性问题。首先,我们证明了香草模型受到瞬态故障的高度影响,这可能导致性能下降高达37%。因此,我们提供了三个零开销的解决方案,基于DNN重新设计和重新训练,可以提高DNN的可靠性,瞬时故障高达一个数量级。我们补充我们的工作与广泛的烧蚀研究,以量化增益的性能,每个硬化组件。
2022-05-28 cs.AI cs.LG cs.NE
Slalom: Fast, Verifiable and Private Execution of Neural Networks in Trusted Hardware
Stanford University(斯坦福大学)
随着机器学习(ML)应用于安全关键或敏感领域,外包ML计算的完整性和隐私性需求日益增长。一个实用的解决方案来自可信执行环境(TEE),它使用硬件和软件保护将敏感计算与不可信的软件堆栈隔离开来。然而,与不受信任的替代方案相比,这些隔离保证在性能上是有代价的。本文通过在可信设备和不可信设备之间有效地划分深度神经网络(DNN)计算,启动了TEE中DNN的高性能执行研究。基于矩阵乘法的有效外包方案,我们提出了Slalom,这是一个框架,可以安全地从TEE(例如,英特尔SGX或Sanctum)到更快但不受信任的协同定位处理器。我们通过在英特尔SGX安全区中运行DNN来评估Slalom,该安全区选择性地将工作委托给不受信任的GPU。对于规范DNN(VGG16,MobileNet和ResNet变体),我们获得了6倍至20倍的可验证推理吞吐量增加,以及4倍至11倍的可验证和私有推理吞吐量增加。
2019-02-27 cs.CR cs.LG stat.ML
Hardware Approximate Techniques for Deep Neural Network Accelerators: A Survey
National Technical University of Athens(雅典国立技术大学);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
深度神经网络(DNN)非常受欢迎,因为它们在机器学习(ML)中的各种认知任务中表现出色。DNN的最新进展在许多任务中带来了超越人类的准确性,但代价是高计算复杂性。为了实现DNN推理的有效执行,越来越多的研究工作,因此,利用DNN固有的错误恢复能力,并采用近似计算(AC)原理来解决DNN加速器的高能量需求。本文对DNN加速器的硬件近似技术进行了全面的调查和分析。首先,我们分析了最先进的,并通过识别近似家庭,我们集群的近似类型方面的各自的作品。接下来,我们分析所执行评估的复杂性(相对于数据集和DNN大小),以评估近似DNN加速器的效率,潜力和局限性。此外,提供了广泛的讨论,关于更适合于设计DNN加速器的近似单元的误差度量以及针对DNN推理定制的准确度恢复方法。最后,我们介绍了DNN加速器的近似计算如何超越能源效率并解决可靠性和安全问题。
2022-03-16 cs.AR cs.LG
HASI: Hardware-Accelerated Stochastic Inference, A Defense Against Adversarial Machine Learning Attacks
The Ohio State University(俄亥俄州立大学)
深度神经网络(DNN)被用于越来越多的应用中,其中一些是安全关键的。不幸的是,已知DNN容易受到所谓的对抗攻击的攻击,这些攻击操纵输入以导致可能对攻击者有利或对受害者有害的不正确结果。已经提出了多种防御来增加DNN的鲁棒性。一般来说,这些防御具有很高的开销,有些需要对模型进行特定于攻击的重新训练或仔细调整以适应不同的攻击。本文介绍了HASI,一种硬件加速的防御,它使用我们称为随机推理的过程来检测对抗性输入。我们表明,通过在推理时仔细地将噪声注入模型,我们可以区分敌对输入和良性输入。HASI使用与非噪声参考相比的噪声推断的输出分布特征来检测对抗性输入。当应用于VGG 16时,我们显示出86%的对抗检测率,当应用于ResNet 50时,我们显示出93%的对抗检测率,这超过了最先进方法的检测率,并且开销要低得多。我们展示了两个软件/硬件加速的协同设计,相对于未受保护的基线,它将随机推理的性能影响降低到1.58X-2X,而纯软件GPU实现的开销为15 X-20 X。
2021-08-06 cs.AR cs.CR cs.LG
Deep Neural Network inference with reduced word length
University of Stuttgart(斯图加特大学)
深度神经网络(DNN)是许多模式识别任务的强大模型,但其高计算复杂性和内存要求限制了它们在高性能计算平台上的应用。在本文中,我们提出了一种新的方法来评估使用32位浮点(float32)精度训练的DNN,仅使用低精度整数运算并结合二进制移位和裁剪操作。由于这些操作的硬件实现比高精度浮点计算简单得多,因此我们的方法可以用于专用硬件上的高效DNN推理。在MNIST上的实验中,我们证明了使用float32训练的DNN可以使用2位整数运算和每层中的一些float32计算的组合进行评估,或者仅使用3位整数运算结合二进制移位和裁剪,而不会显着降低性能。
2018-10-23 cs.AI cs.LG stat.ML
Automated design of error-resilient and hardware-efficient deep neural networks
Bosch Corporate Research(博世企业研究院);RWTH Aachen University(亚琛工业大学);Bosch Center for Artificial Intelligence(博世人工智能中心);University of Freiburg(弗莱堡大学)
将深度神经网络(DNN)应用于移动和安全关键型系统(如自动驾驶汽车),需要在硬件上实现可靠、高效的执行。正在开发优化的专用硬件加速器来实现这一目标。然而,由于现代集成电路技术的增加的复杂性及其对硬件故障(诸如随机位翻转)的敏感性,高效且可靠的硬件的设计已经变得越来越困难。因此,期望也在算法侧利用用于错误恢复和效率的优化潜力,例如,通过优化DNN的架构。由于DNN的架构有许多设计选择,对优选特性(例如低延迟下的小出错率)具有部分相反的影响,因此多目标优化策略是必要的。在本文中,我们开发了一种进化优化技术,用于自动设计硬件优化的DNN架构。为此,我们推导出一组易于计算的目标函数,使DNN架构的硬件效率和错误恢复能力的快速评估仅基于网络拓扑结构。我们观察到预测的错误恢复能力和故障注入模拟获得的实际测量之间的强相关性。此外,我们分析了两种不同的量化方案,以实现高效的DNN计算,并发现它们对错误恢复的影响存在显着差异。
2019-09-30 cs.LG stat.ML
Adaptive Block Floating-Point for Analog Deep Learning Hardware
Lightmatter, Inc.(Lightmatter公司)
模拟混合信号(AMS)设备承诺比数字设备更快、更节能的深度神经网络(DNN)推理。然而,最近的研究表明,AMS设备上具有定点数的DNN可能会因为精度损失而导致精度损失。为了减轻这种惩罚,我们提出了一种新的AMS兼容的自适应块浮点(ABFP)数表示。我们还介绍了放大(或增益)作为一种方法,用于提高数字表示的准确性,而不增加输出的位精度。我们在MLPerf数据中心推理基准测试中评估了ABFP在DNN上的有效性-与FLOAT 32相比,实现了低于$1\%$的准确性损失。我们还提出了一种新的AMS设备微调方法,差分噪声微调(DNF),与传统的量化感知训练相比,该方法对设备噪声进行采样以加快微调。
2022-05-12 cs.AR cs.LG
A Case For Adaptive Deep Neural Networks in Edge Computing
Queen’s University Belfast(贝尔法斯特女王大学);TU Wien(维也纳工业大学);Wayne State University(韦恩州立大学)
边缘计算提供了一个更接近数据源的额外计算基础设施层,然后将来自隐私敏感和性能关键型应用程序的原始数据传输到云数据中心。深度神经网络(DNN)是一类应用程序,据报道,它们受益于边缘和云之间的协作计算。DNN被分区,使得DNN的特定层被部署到边缘和云上,以满足性能和隐私目标。然而,对以下问题的理解有限:(a)不断变化的操作条件(边缘处CPU和内存利用率的增加或边缘与云之间数据传送率的降低)是否以及如何影响已经部署的DNN的性能,以及(b)是否需要新的分区配置来最大化性能。适应不断变化的操作条件的DNN被称为“自适应DNN”。本文通过考虑三个问题来研究边缘计算中是否存在自适应DNN的情况:(i)DNN对操作条件敏感吗?(ii)DNN对操作条件有多敏感?(iii)单个或组合的操作条件是否同样影响DNN?(iv)DNN分区对云/边缘上的硬件架构敏感吗?该探索是在8个预训练的DNN模型的背景下进行的,所呈现的结果来自分析近800万个数据点。结果表明,网络条件对DNN性能的影响大于CPU或内存相关的操作条件。注意到重新分区在许多情况下提供了性能增益,但没有注意到与底层硬件架构相关的特定趋势。尽管如此,自适应DNN的需求得到了证实。
2020-12-16 cs.DC cs.LG
Hessian-aware Training for Enhancing DNNs Resilience to Parameter Corruptions
Oregon State University(俄勒冈州立大学);Samsung Advanced Institute of Technology(三星先进技术研究院)
本文提出 Hessian-aware Training 方法,通过促进模型损失面更平坦来增强深度神经网络对参数位损坏的鲁棒性,显著减少导致严重准确率下降的关键位翻转数量,并与现有硬件和系统级防御产生协同作用。
2025-04-02 cs.CR cs.LG
LightNorm: Area and Energy-Efficient Batch Normalization Hardware for On-Device DNN Training
DGIST(大邱庆北科学技术院)
在训练早期深度神经网络(DNN)时,通过卷积或线性层生成中间特征占用了大部分执行时间。因此,已经进行了广泛的研究以减少卷积或线性层的计算负担。然而,在最近的移动友好的DNN中,处理这些层所涉及的操作的相对数量已经显着减少。因此,其他层(如批量归一化层)的执行时间比例增加了。因此,在这项工作中,我们进行了详细的分析,批量归一化层,以有效地减少运行时开销的批量归一化过程。在深入分析的基础上,我们提出了一个非常有效的批量归一化,名为LightNorm,及其相关的硬件模块。更详细地说,我们融合了三种近似技术,即i)低位精度,ii)范围批量归一化,以及iii)块浮点。所有这些近似技术都被仔细地利用,不仅要保持中间特征图的统计数据,而且要尽量减少片外存储器访问。通过使用所提出的LightNorm硬件,我们可以在DNN训练期间实现显著的面积和能源节省,而不会影响训练精度。这使得所提出的硬件成为设备上培训的绝佳候选者。
2022-11-04 cs.AR cs.LG
Hardening DNNs against Transfer Attacks during Network Compression using Greedy Adversarial Pruning
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);State University of Rio de Janeiro(里约热内卢州立大学)
近年来,深度神经网络(DNN)应用的流行和成功激发了对DNN压缩的研究,例如修剪和量化。这些技术加速了模型推理,降低了功耗,并降低了运行DNN所需硬件的大小和复杂性,所有这些都几乎没有准确性损失。然而,由于DNN容易受到对抗性输入的影响,因此重要的是要考虑压缩和对抗性鲁棒性之间的关系。在这项工作中,我们研究了几个不规则的修剪方案和8位量化产生的模型的对抗鲁棒性。此外,虽然传统的修剪去除了DNN中最不重要的参数,但我们研究了非传统修剪方法的效果:基于对抗性输入的梯度去除最重要的模型参数。我们称这种方法为贪婪对抗修剪(GAP),我们发现这种修剪方法可以使模型抵抗来自未压缩副本的传输攻击。
2022-06-15 cs.CR cs.LG
Parameterized Structured Pruning for Deep Neural Networks
Ruprecht Karls University, Heidelberg(海德堡鲁普雷希特·卡尔斯大学);Graz University of Technology(格拉茨工业大学)
由于深度神经网络(DNN)的规模不断增长,在内存和计算方面与硬件能力的差距越来越大。为了有效地压缩DNN,通常考虑量化和连接修剪。然而,无约束的修剪通常会导致非结构化的并行性,这映射到大规模并行处理器,并大大降低了通用处理器的效率。类似的情况也适用于量化,这通常需要专用硬件。我们提出了参数化结构修剪(PSP),这是一种通过结构稀疏性动态学习DNN形状的新方法。PSP在权重张量中参数化结构(例如通道或层),并利用权重衰减来学习重要和不重要结构之间的清晰区别。因此,PSP保持了预测性能,创建了大量的稀疏性,这些稀疏性是结构化的,因此可以轻松有效地映射到各种大规模并行处理器,这对于最大的计算能力和能源效率是必需的。PSP分别使用ResNet和DenseNet架构在流行的CIFAR 10/100和ILSVRC 2012数据集上进行了实验验证。
2019-06-12 cs.LG stat.ML
Mitigating multiple single-event upsets during deep neural network inference using fault-aware training
Magics Technologies(马吉克斯科技公司)
针对深度神经网络在高辐射环境中的多单事件翻转问题,提出故障感知训练(FAT)方法,通过模型层面故障注入分析影响,无需硬件修改即可将故障容忍度提升至多3倍,增强其在安全关键应用中的可靠性。
2025-02-13 cs.LG
Examining the Role and Limits of Batchnorm Optimization to Mitigate Diverse Hardware-noise in In-memory Computing
Yale University(耶鲁大学)
本文研究模拟存内计算交叉开关阵列中寄生电阻、随机读取噪声和时间漂移等非理想特性对点积运算的失真影响,提出通过实时微调批归一化参数实现近乎免训练的噪声缓解方法,从而降低 DNN 噪声感知重训练的硬件成本。
2023-05-28 cs.ET cs.LG
HALF: Holistic Auto Machine Learning for FPGAs
University of Kaiserslautern(凯泽斯劳滕大学);Fraunhofer ITWM(弗劳恩霍夫工业数学研究所)
深度神经网络(DNN)能够解决与嵌入式系统相关的领域中的复杂问题,例如图像和自然语言处理。为了针对给定的成本标准(例如,能量效率)在特定的FPGA平台上有效地实现DNN,从拓扑结构到最终的硬件实现,必须考虑大量的设计参数。必须考虑并有效探索不同设计层之间的相互依赖性,这使得手动找到优化解决方案变得几乎不可能。自动化、整体化的设计方法可以显著提高DNN在FPGA上的实现质量。为此,我们提出了一个跨层的设计空间探索方法。它包括从DNN的硬件感知拓扑搜索开始到给定FPGA平台的最终优化实现的优化。该方法在我们的FPGA整体自动机器学习(HALF)框架中实现,该框架结合了进化搜索算法,各种优化步骤和可参数化硬件DNN模块库。HALF可在目标FPGA平台上针对各种应用自动执行探索过程和优化解决方案的实施。我们在心律失常检测的医疗用例中展示了HALF的性能,分别用于三种不同的设计目标,即低功耗、低功耗和高吞吐量。我们的FPGA实现在吞吐量和能耗方面都优于Nvidia Jetson平台上的TensorRT优化模型。
2021-10-20 cs.AR cs.LG
REQ-YOLO: A Resource-Aware, Efficient Quantization Framework for Object Detection on FPGAs
Peking University(北京大学);Northeastern University(东北大学);Peng Cheng Laboratory(鹏城实验室)
深度神经网络(DNN)作为目标检测的基础,将在未来完全自主的自主系统开发中发挥关键作用。自治系统具有在功率受限系统上实时、节能地实现DNN的特殊要求。两个研究重点致力于DNN推理阶段的性能和能效增强。第一个是模型压缩技术,而第二个是高效的硬件实现。最近的工作,如二进制神经网络(BNN)和XNOR-Net的极低位CNN取代了传统的浮点运算与二进制位操作,显着降低了内存带宽和存储要求。然而,它遭受不可忽略的精度损失和未充分利用的FPGA的数字信号处理(DSP)块。为了克服这些局限性,本文提出了REQ-YOLO,一个资源感知的,系统的权重量化框架的目标检测,同时考虑算法和硬件资源方面的目标检测。我们采用块循环矩阵的方法,并提出了一个异构的权重量化使用交替方向乘法(ADMM),一种有效的优化技术一般,非凸优化问题。为了在FPGA上实现实时、高效的实现,我们给出了CONV层块循环矩阵的详细硬件实现,并开发了一种高效的处理单元(PE)结构,该结构支持异构权重量化、CONV流水线和流水线技术、设计优化以及基于模板的自动综合框架,以最佳地利用硬件资源。实验结果表明,我们提出的REQ-YOLO框架可以显着压缩YOLO模型,同时引入非常小的精度下降。
2019-09-29 cs.AR cs.CV cs.LG
FLASH: Fast Neural Architecture Search with Hardware Optimization
The University of Texas at Austin(德克萨斯大学奥斯汀分校);University of Wisconsin–Madison(威斯康星大学麦迪逊分校)
神经结构搜索(NAS)是一种设计高效、高性能深度神经网络(DNN)的技术。随着ML应用程序的性能需求不断增长,硬件加速器开始在DNN设计中发挥核心作用。这种趋势使得NAS对于大多数实际应用程序来说更加复杂和耗时。本文提出了FLASH,一种非常快速的NAS方法,可以在实际硬件平台上共同优化DNN的准确性和性能。作为主要的理论贡献,我们首先提出了NN度,这是一种量化具有跳跃连接的DNN的拓扑特征的分析度量(例如,DenseNets、ResNets、Wide-ResNets和MobileNets)。新提出的NN度允许我们在一秒钟内进行无训练NAS,并通过从具有超过630亿个配置的巨大搜索空间中训练25个样本来构建准确度预测器。其次,通过在目标硬件上执行推理,我们微调和验证我们的分析模型,以估计各种DNN架构的延迟,面积和能耗,同时执行标准ML数据集。第三,我们构建了一个分层算法的基础上单纯同源全局优化(SHGO)优化模型架构协同设计过程中,同时考虑目标硬件的面积,延迟和能耗。我们证明,相比国家的最先进的NAS方法,我们提出的分层SHGO为基础的算法,使超过四个数量级的加速(具体来说,所提出的算法的执行时间约为0.1秒)。最后,我们的实验评估表明,闪存可以轻松地转移到不同的硬件架构,从而使我们能够在不到3秒的时间内在Raspberry Pi-3B处理器上执行NAS。
2021-08-01 cs.CV cs.LG
On the Viability of using LLMs for SW/HW Co-Design: An Example in Designing CiM DNN Accelerators
University of Notre Dame(圣母大学)
针对传统软硬件协同设计的冷启动导致优化慢的问题,提出利用预训练大语言模型的知识加速设计的方法,实现25倍加速,助力DNN在边缘设备高效部署。
2023-06-12 cs.AR cs.LG
You Only Search Once: On Lightweight Differentiable Architecture Search for Resource-Constrained Embedded Platforms
Nanyang Technological University(南洋理工大学)
受益于搜索效率,可区分神经架构搜索(NAS)已发展成为自动设计竞争性深度神经网络(DNN)的最主要替代方案。我们注意到,DNN必须在现实世界场景中严格的硬性能约束下执行,例如,自动驾驶汽车上的运行时延迟。然而,为了获得满足给定性能约束的架构,先前的硬件感知可区分NAS方法必须重复过多的搜索运行以通过试错来手动调整超参数,因此总设计成本成比例地增加。为了解决这个问题,我们引入了一个轻量级的硬件感知的可区分NAS框架,称为LightNAS,努力通过一次性搜索找到满足各种性能约束的所需架构(即,\underline{\textit{you only search once}})。进行了大量的实验,以显示LightNAS比以前的国家的最先进的方法的优越性。
2022-08-30 cs.LG
Ax-BxP: Approximate Blocked Computation for Precision-Reconfigurable Deep Neural Network Acceleration
Purdue University(普渡大学);IBM T.J. Watson Research Center(IBM T.J. 沃森研究中心)
精确缩放已经成为优化深度神经网络(DNN)的计算和存储需求的流行技术。创建超低精度(低于8位)DNN的努力表明,实现给定网络级精度所需的最低精度在网络之间存在很大差异,甚至在网络内的各个层之间也存在很大差异,需要在DNN硬件中支持可变精度。之前的提议(例如位串行硬件)会产生很高的管理费用,从而显着削弱了较低精度的好处。为了有效地支持DNN加速器中的精度可重新配置性,我们引入了一种近似计算方法,其中DNN计算是逐块执行的(块是一组比特),并且以块的粒度支持可重新配置性。块式计算的结果以近似的方式组成,以实现有效的可重新配置性。我们设计了一个DNN加速器,体现了近似分块计算,并提出了一种方法来确定一个合适的近似配置为给定的DNN。通过改变DNN之间的近似配置,我们在8位定点(FxP 8)基线上分别实现了系统能量和性能的1.17倍-1.73倍和1.02倍-2.04倍改进,分类精度的损失可以忽略不计。此外,通过改变DNN中各层和数据结构的近似配置,我们分别在系统能量和性能方面实现了1.25倍-2.42倍和1.07倍-2.95倍的改进,而精度损失可以忽略不计。
2021-10-28 cs.AR cs.CV cs.LG
Exploring Robustness of Image Recognition Models on Hardware Accelerators
University of Edinburgh(爱丁堡大学);University of Glasgow(格拉斯哥大学)
提出MutateNN工具,结合差分与变异测试,在4种硬件加速器上对7个DNN模型注入21个变异,发现条件运算符变异导致跨设备差异达90.3%,层修改等变异严重损害性能或致崩溃。
2025-03-25 cs.LG cs.SE cs.SY
DiviML: A Module-based Heuristic for Mapping Neural Networks onto Heterogeneous Platforms
Cornell University(康奈尔大学)
本文提出DiviML框架,通过编译器级别自动划分与设备映射,将深度神经网络部署到异构硬件上,结合MILP精确求解与模块度启发式算法,在保证解质量的同时大幅降低运行时间并显著提升延迟和吞吐量性能。
2023-08-02 cs.DC cs.LG cs.SE
Exploring Fault-Energy Trade-offs in Approximate DNN Hardware Accelerators
University of Missouri(密苏里大学);The University of Texas at Dallas(德克萨斯大学达拉斯分校)
基于系统阵列的深度神经网络(DNN)加速器最近因其低计算成本而获得了重视。然而,它们的高能耗对其在能量受限设备中的部署构成了瓶颈。为了解决这个问题,近似计算可以采用一些可容忍的精度损失的代价。然而,这种小的精度变化可能会增加DNN对不期望的细微干扰(例如永久性故障)的敏感性。永久性故障对精确DNN的影响已经在文献中进行了彻底的研究。相反,近似DNN加速器(AxDNN)中永久性故障的影响尚未得到充分研究。这种故障的影响可能随着AxDNN层中的故障位位置、激活函数和近似误差而变化。这种动态性对探索AxDNN的能量效率和故障恢复能力之间的权衡提出了相当大的挑战。为此,我们使用最先进的Evoaprox8b符号乘法器对不同AxDNN进行了广泛的逐层和逐位故障恢复和能量分析。特别是,我们改变固定在0,固定在1故障位的位置,和激活函数,以研究其影响使用最广泛使用的MNIST和时尚MNIST数据集。我们的定量分析表明,与精确的DNN加速器相比,永久性故障加剧了AxDNN的准确性损失。例如,AxDNN中的永久性故障可能导致高达66%的准确性损失,而在精确的DNN加速器中,相同的故障位可能仅导致9%的准确性损失。我们的研究结果表明,AxDNN中的故障恢复与能量效率正交。
2021-01-08 cs.AI cs.AR cs.LG
Non-Blocking Simultaneous Multithreading: Embracing the Resiliency of Deep Neural Networks
Technion — Israel Institute of Technology(以色列理工学院)
深度神经网络(DNN)因其对稀疏激活和权重的硬件敏感性而无法利用底层硬件资源而闻名。即使在更精细的粒度中,许多非零值保持零值位的一部分,这可能导致在硬件上执行时效率低下。受传统CPU同时多线程(SMT)的启发,通过在多个线程之间共享它们来提高计算机资源利用率,我们提出了指定用于DNN加速器的非阻塞SMT(NB-SMT)。与传统SMT一样,NB-SMT在多个执行流之间共享硬件资源。然而,与SMT不同,NB-SMT是非阻塞的,因为它通过利用DNN的算法弹性来处理结构性风险。NB-SMT不是在保留站等待可用硬件时伺机分派指令,而是暂时降低计算精度以同时容纳所有线程,从而实现非阻塞操作。我们证明NB-SMT的适用性使用SySMT,NB-SMT启用输出平稳脉动阵列(OS-SA)。与传统的OS-SA相比,2线程的SySMT占用1.4倍的面积,并提供2倍的加速比,节省33%的能源,并且使用ImageNet的最先进CNN的准确性下降不到1%。4线程SySMT占用2.5倍的面积,并提供例如3.4倍的加速比和39%的节能,而精确度下降了40%-修剪ResNet-18。
2020-09-17 cs.AR cs.CV cs.LG
PABO: Pseudo Agent-Based Multi-Objective Bayesian Hyperparameter Optimization for Efficient Neural Accelerator Design
Purdue University(普渡大学);Oak Ridge National Laboratory(橡树岭国家实验室)
深度神经网络(DNN)不断增加的计算成本以及对DNN加速的节能硬件的需求使得DNN的准确性和硬件成本协同优化变得非常重要,特别是对于边缘设备。由于大的参数空间和在搜索空间中评估每个参数的成本,DNN超参数的手动调整是不切实际的。自动联合DNN和硬件超参数优化是必不可少的这样的问题。基于贝叶斯优化的方法在DNN的超参数优化方面已经显示出了有希望的结果。然而,这些技术中的大多数都是在没有考虑底层硬件的情况下开发的,从而导致设计效率低下。此外,少数作品进行联合优化是不可推广的,主要集中在基于CMOS的架构。在这项工作中,我们提出了一种新的基于伪代理的多目标超参数优化(PABO),以最大限度地提高DNN的性能,同时获得低硬件成本。与现有的方法相比,我们的工作提出了一种理论上不同的方法,用于精度和硬件成本的联合优化,并专注于基于忆阻交叉杆的加速器。PABO使用一个管理代理建立网络精度和硬件成本要求的后验高斯分布模型之间的连接。该代理通过消除不必要的计算和更新的采集功能,从而实现显着的加速优化过程,降低了协同优化问题的数学复杂性。PABO输出了一个帕累托边界,强调了设计高精度和硬件效率之间的权衡。我们的研究结果表明,与最先进的方法相比,在准确性和计算速度方面(约100倍的速度)都具有优越的性能。
2019-06-11 cs.ET cs.LG cs.NE
HighLight: Efficient and Flexible DNN Acceleration with Hierarchical Structured Sparsity
MIT(麻省理工学院);NVIDIA(英伟达)
本文提出分层结构化稀疏性 HSS 及加速器 HighLight,用简单稀疏模式分层表示多种稀疏度,以低硬件开销灵活加速稠密与稀疏 DNN,EDP 最高改善 6.4 倍。
2023-10-01 cs.AR cs.LG
Accelerating Training of Deep Neural Networks via Sparse Edge Processing
University of Southern California(南加州大学)
我们提出了一种可重构的硬件架构,用于能够在线训练和推理的深度神经网络(DNN),它使用算法预定的结构化稀疏性来显著降低内存和计算需求。这种新颖的架构引入了边缘处理的概念,以提供灵活性,并结合连接流水线和操作并行化,以加快训练。总体效果是将网络复杂性降低高达30倍,训练时间相对于GPU减少高达35倍,同时保持推理结果的高保真度。这有可能使广泛的参数搜索和DNN的基本上未开发的理论基础的发展。该架构自动适应不同的网络规模给定的可用硬件资源。作为概念的证明,我们展示了不同位宽的结果。
2017-11-03 cs.LG cs.NE
Don't Knock! Rowhammer at the Backdoor of DNN Models
Worcester Polytechnic Institute(伍斯特理工学院)
本文首次在真实硬件上利用Rowhammer实现端到端DNN后门注入,并提出基于约束优化的训练算法,以极少的位翻转达到高攻击成功率。
2023-04-13 cs.CR cs.LG