ADMM-NN: An Algorithm-Hardware Co-Design Framework of DNNs Using Alternating Direction Method of Multipliers
Northeastern University（东北大学）；Syracuse University（雪城大学）；SUNY University at Buffalo（纽约州立大学布法罗分校）；University of Southern California（南加利福尼亚大学）
为了促进深度神经网络（DNN）的高效嵌入式和硬件实现，研究了DNN模型压缩技术的两个重要类别：权重修剪和权重量化。前者利用权重数量的冗余，而后者利用权重的比特表示的冗余。然而，缺乏DNN的联合权重修剪和量化的系统框架，从而限制了可用的模型压缩比。此外，除了简单的模型大小减小之外，还需要考虑计算减少、能量效率提高和硬件性能开销。为了解决这些限制，我们提出了ADMM-NN，这是DNN的第一个算法-硬件协同优化框架，使用交替方向乘法（ADMM），这是一种强大的技术，可以处理具有可能组合约束的非凸优化问题。ADMM-NN的第一部分是使用ADMM的DNN权重修剪和量化的系统联合框架。它可以被理解为一种智能正则化技术，在每次ADMM迭代中动态更新正则化目标，从而导致比先前工作更高的模型压缩性能。第二部分是硬件感知DNN优化，以促进硬件级实现。在没有精度损失的情况下，我们可以在LeNet-5和AlexNet模型上分别实现85个$\times$和24个$\times$修剪，显著高于先前的工作。当专注于计算减少时，改进变得更加显著。结合权重修剪和量化，我们实现了1,910 $\times$和231 $\times$减少在这两个基准的整体模型大小，当专注于数据存储。在VGGNet和ResNet-50等其他代表性DNN上也观察到了非常有希望的结果。
2018-12-31 cs.AI cs.AR cs.CV
Generative Design of Hardware-aware DNNs
Georgia Institute of Technology（佐治亚理工学院）；SIEMENS Corporate Technology（西门子企业技术）
为了在边缘/云上有效地运行DNN，许多新的DNN推理加速器正在被频繁地设计和部署。为了提高DNN的资源效率，模型量化是一种广泛使用的方法。然而，不同的加速器/HW具有不同的资源，导致需要每个HW的专用量化策略。此外，对每一层使用相同的量化可能是次优的，从而增加了可能的量化选择的设计空间。这使得手动调整不可行。最近在自动确定每层的量化方面的工作是由诸如强化学习之类的优化方法驱动的。然而，这些方法需要为每个新的硬件平台重新训练RL。我们提出了一种自主量化和硬件感知调谐的新方法。我们提出了一个生成模型，AQGAN，它以目标精度为条件，生成一套量化配置。使用条件生成模型，用户可以在推理时间内自主地生成具有不同目标的不同配置。此外，我们提出了一个简化的硬件调整流程，它使用生成模型来生成建议，并根据硬件资源预算执行简单的选择，其过程是快速和交互式的。我们在ImageNet数据集上广泛使用的五个有效模型上评估了我们的模型。我们比较现有的均匀量化和国家的最先进的自主量化方法。然而，我们的生成模型显示出具有竞争力的准确性，每个设计点的搜索成本降低了大约2度。我们的生成模型表明，生成的量化配置在所有实验中的误差小于3.5%。
2020-07-12 cs.LG stat.ML
NASCaps: A Framework for Neural Architecture Search to Optimize the Accuracy and Hardware Efficiency of Convolutional Capsule Networks
Technische Universität Wien（维也纳工业大学）；Politecnico di Torino（都灵理工大学）；Brno University of Technology（布尔诺理工大学）；New York University Abu Dhabi（纽约大学阿布扎比分校）
深度神经网络（DNN）已经取得了显著的改进，以达到在各种各样的机器学习（ML）应用中采用的期望精度。最近，Google Brain的团队展示了胶囊网络（CapsNets）编码和学习不同输入特征之间的空间相关性的能力，从而获得了与传统（即，非基于胶囊的）DNN。然而，使用传统方法设计CapsNet是一项繁琐的工作，并且需要大量的培训工作。最近的研究表明，为给定的一组应用程序和训练数据集自动选择最佳/最佳DNN模型配置的强大方法是基于神经架构搜索（NAS）算法的。此外，由于其极端的计算和内存要求，DNN使用IoT边缘/CPS设备中的专用硬件加速器。在本文中，我们提出了NASCaps，这是一种用于不同类型DNN的硬件感知NAS的自动化框架，涵盖了传统的卷积DNN和CapsNets。我们研究了部署多目标遗传算法（例如，基于NSGA-II算法）。所提出的框架可以联合优化网络准确性和相应的硬件效率，以执行DNN推理的给定硬件加速器的能量、存储器和延迟表示。除了支持传统的DNN层，我们的框架是第一个模型，并支持专门的胶囊层和动态路由的NAS流。我们在不同的数据集上评估我们的框架，生成不同的网络配置，并展示不同输出指标之间的权衡。我们将在https://github.com/ehw-fit/nascaps上开源Pareto最优架构的完整框架和配置。
2020-08-19 cs.LG stat.ML
Efficiency-driven Hardware Optimization for Adversarially Robust Neural Networks
Yale University（耶鲁大学）
随着物联网（IoT）时代对嵌入式设备智能化需求的不断增长，深度神经网络（DNN）的安全硬件实现已变得势在必行。我们将专注于如何通过效率驱动的硬件优化来解决DNN的对抗鲁棒性。由于内存（特别是点积运算）是DNN的关键能耗组件，因此过去的硬件方法都集中在优化内存上。一种这样的方法是具有混合6 T-8 T SRAM单元的近似数字CMOS存储器，该混合6 T-8 T SRAM单元使得能够实现电源电压（VDD）缩放，从而产生低功率操作，而不会由于在6 T单元中引起的读/写故障而显著影响性能。在本文中，我们展示了混合6 T-8 T存储器的6 T单元中的比特错误如何最小化DNN中的对抗性扰动。从本质上讲，我们发现，对于不同的配置的8 T-6 T的比率和scaledpronunciation操作，在混合存储器架构中产生的噪声是在特定的限制范围内绑定。这种硬件噪声可能会干扰DNN中对抗攻击的创建，从而产生鲁棒性。另一种存储器优化方法涉及使用模拟忆阻交叉开关，其以低能量和面积要求高效地执行矩阵向量乘法（MVMs）。然而，交叉开关通常存在固有的非理想性，这会导致执行MVMs时出现错误，从而导致DNN的准确性下降。我们将展示通过交叉开关非理想性表现出来的固有硬件变化如何在没有任何额外优化的情况下对映射的DNN产生对抗性鲁棒性。
2021-05-09 cs.AR cs.LG
DRACO: Co-Optimizing Hardware Utilization, and Performance of DNNs on Systolic Accelerator
IIT Hyderabad（印度理工学院海得拉巴分校）；BITS Pilani Hyderabad（比尔拉理工学院海得拉巴分校）；IIT Roorkee（印度理工学院鲁尔基分校）；NXP Semiconductors（恩智浦半导体）；Intel Labs（英特尔实验室）
固定大小的收缩加速器中的处理元件（PE）的数量与大型和计算受限的DNN很好地匹配;然而，内存受限的DNN遭受PE利用不足，并且无法实现峰值性能和能量效率。为了减轻这种情况，已经提出了专门的微架构和/或微架构技术。然而，由于深度学习领域的开发周期较长，发展速度很快，这些基于硬件的解决方案在处理最先进的DNN的PE利用不足方面可能已经过时且无效。在这项工作中，我们解决了PE利用不足的挑战，在算法的前面，并提出数据重用意识的协同优化（DRACO）。这提高了存储器绑定DNN的PE利用率，而无需任何额外的底层/微架构修改。此外，与以前的协同优化方法不同，DRACO不仅可以最大限度地提高性能和能源效率，还可以提高DNN的预测性能。据我们所知，DRACO是第一个在算法层面解决资源利用不足挑战的工作，并展示了DNN的计算效率，PE利用率和预测性能之间的权衡。与最先进的行固定采样器相比，DRACO在$64\times64$脉动阵列上的MobileNetV 1中的平均PE利用率和推理延迟分别提高了41.8%和42.6%，预测性能损失可以忽略不计。DRACO为利用率感知的DNN设计方法提供了开创性的见解，这些方法可以充分利用基于脉动阵列的硬件加速器的计算能力。
2020-06-26 cs.AR cs.LG eess.SP
NASA: Neural Architecture Search and Acceleration for Hardware Inspired Hybrid Networks
Georgia Institute of Technology（佐治亚理工学院）；Nanjing University（南京大学）；Rice University（莱斯大学）
乘法可以说是现代深度神经网络（DNN）中成本最占主导地位的操作，限制了它们可实现的效率，从而限制了它们在资源受限应用中的更广泛部署。为了解决这一限制，开创性的工作已经开发了手工制作的免乘法DNN，这需要专业知识和耗时的手动迭代，需要快速开发工具。为此，我们提出了一个名为NASA的神经架构搜索和加速框架，它可以实现自动化的乘法减少DNN开发，并集成了一个专用的乘法减少加速器，以提高DNN的可实现效率。具体来说，NASA采用了神经架构搜索（NAS）空间，该空间使用硬件启发的无乘法运算符（如移位和加法器）来增强最先进的空间，并配备了新颖的渐进式预训练策略（PGP）以及定制的训练配方，以自动搜索最佳的乘法减少DNN;最重要的是，NASA进一步开发了一个专用的加速器，该加速器提倡基于块的模板和自动映射器，专门用于NASA-NAS生成的DNN，以更好地利用其算法特性来提高硬件效率。实验结果和烧蚀研究一致验证了NASA的算法硬件协同设计框架在可实现的精度和效率权衡方面的优势。代码可在https://github.com/GATECH-EIC/NASA上获得。
2022-12-19 cs.AR cs.LG
Learning on Hardware: A Tutorial on Neural Network Accelerators and Co-Processors
TU Wien（维也纳工业大学）
深度神经网络（DNN）的优势在于它们可以考虑大量参数，这使它们能够解决复杂的任务。在计算机视觉和语音识别中，它们的准确率比普通算法更高，在某些任务中，它们甚至比人类专家的准确率更高。随着近年来DNN的发展，许多其他应用领域，如疾病诊断和自动驾驶，都在利用它们。DNN的趋势很明显：网络规模呈指数级增长，这导致计算工作量和所需内存大小呈指数级增长。出于这个原因，优化的硬件加速器用于提高神经元网络的推理性能。然而，存在各种神经网络硬件加速器平台，诸如图形处理单元（GPU）、专用集成电路（ASIC）和现场可编程门阵列（FPGA）。这些平台中的每一个都提供了某些优点和缺点。此外，存在用于减少DNN的计算工作量的各种方法，这些方法不同地适用于每个硬件加速器。本文综述了现有的神经网络硬件加速器和加速方法。它们的优点和缺点，并给出了合适的应用程序的建议。特别是，我们专注于加速用于图像识别任务的卷积神经网络（CNN）的推理。假设存在许多不同的硬件架构。基于FPGA的实现非常适合展示DNN优化方法对准确性和吞吐量的影响。出于这个原因，这项工作的重点更多地是基于FPGA的实现。
2021-04-19 cs.AR cs.LG cs.NE
HAWX: A Hardware-Aware FrameWork for Fast and Scalable ApproXimation of DNNs
University of Zanjan（赞詹大学）；Brandenburg Technical University（勃兰登堡技术大学）；Tallinn University of Technology（塔林技术大学）；Shahid Bahonar University（沙希德·巴霍纳大学）
HAWX通过多级敏感度评分和预测模型，实现深度神经网络近似的快速且可扩展优化，提升效率并支持多种硬件架构。
2026-02-21 cs.AI cs.LG
ShiftAddNet: A Hardware-Inspired Deep Network
Rice University（莱斯大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Alibaba DAMO Academy（阿里巴巴达摩院）
本文提出硬件启发的ShiftAddNet，用位移和加法替代乘法构建深度网络，在保持准确率的同时大幅降低训练与推理能耗并提升鲁棒性。
2025-03-03 cs.LG
PQA: Exploring the Potential of Product Quantization in DNN Hardware Acceleration
Cornell University（康奈尔大学）；Flower Labs（Flower实验室）；University of Cambridge（剑桥大学）
本文提出PQA硬件加速器，通过乘积量化将MAC替换为内存查找，并实证研究PQ参数化与训练方法，在紧凑型DNN上实现单位面积性能最高提升3.1倍且准确率损失极小。
2024-03-28 cs.AR cs.LG
Slalom: Fast, Verifiable and Private Execution of Neural Networks in Trusted Hardware
Stanford University（斯坦福大学）
随着机器学习（ML）应用于安全关键或敏感领域，外包ML计算的完整性和隐私性需求日益增长。一个实用的解决方案来自可信执行环境（TEE），它使用硬件和软件保护将敏感计算与不可信的软件堆栈隔离开来。然而，与不受信任的替代方案相比，这些隔离保证在性能上是有代价的。本文通过在可信设备和不可信设备之间有效地划分深度神经网络（DNN）计算，启动了TEE中DNN的高性能执行研究。基于矩阵乘法的有效外包方案，我们提出了Slalom，这是一个框架，可以安全地从TEE（例如，英特尔SGX或Sanctum）到更快但不受信任的协同定位处理器。我们通过在英特尔SGX安全区中运行DNN来评估Slalom，该安全区选择性地将工作委托给不受信任的GPU。对于规范DNN（VGG16，MobileNet和ResNet变体），我们获得了6倍至20倍的可验证推理吞吐量增加，以及4倍至11倍的可验证和私有推理吞吐量增加。
2019-02-27 cs.CR cs.LG stat.ML
A Systematic Literature Review on Hardware Reliability Assessment Methods for Deep Neural Networks
Tallinn University of Technology（塔林理工大学）；Mälardalen University（马拉达伦大学）
本文对深度神经网络硬件可靠性评估方法进行系统文献综述，识别出故障注入、分析和混合三类方法，并总结其平台、指标及开放性挑战。
2023-05-09 cs.AI cs.AR cs.LG
From DNNs to GANs: Review of efficient hardware architectures for deep learning
Indian Institute of Technology Bhubaneswar（印度理工学院布巴内斯瓦尔分校）
近年来，超大规模集成（VLSI）工业的发展趋势是多方面的，例如，降低能耗、占用更少的空间、精确的结果、更少的功耗、更快的响应。为了满足这些需求，硬件架构应该是可靠的和鲁棒的这些问题。最近，神经网络和深度学习已经开始对目前的研究范式产生重大影响，这些研究范式包括数百万的参数，用于激活的非线性函数，用于特征提取的卷积运算，用于分类的回归，生成对抗网络。这些操作涉及巨大的计算和内存开销。目前可用的DSP处理器不能执行这些操作，并且它们大多面临诸如存储器开销、性能下降和精度受损的问题。此外，如果使用并行计算为巨大的硅区域供电以加速操作，则IC将由于大量产生的热量而有很大的烧毁机会。因此，新的暗硅约束的开发，以减少散热而不牺牲精度。类似地，不同的算法已经被适配为设计与神经网络、激活函数、卷积神经网络和生成对抗网络中的快速性能兼容的DSP处理器。在这篇综述中，我们说明了硬件的最新发展，以加速深度学习网络的有效实施，提高性能。在这篇评论中调查的技术，预计将指导未来的研究挑战的高性能计算的硬件优化。
2021-06-06 cs.AR cs.LG
Energy-Efficient Deployment of Machine Learning Workloads on Neuromorphic Hardware
University of South Carolina（南卡罗来纳大学）
随着技术行业正朝着在更小的边缘计算设备上实现诸如自然语言处理、路径规划、图像分类等任务的方向发展，对算法和硬件加速器的更有效实现的需求已经成为重要的研究领域。近年来，已经发布了几个边缘深度学习硬件加速器，专门专注于减少深度神经网络（DNN）消耗的功率和面积。另一方面，在离散时间序列数据上操作的脉冲神经网络（SNN）已经被示出在部署在专用神经形态的基于事件/异步硬件上时甚至比上述边缘DNN加速器实现显著的功率降低。虽然神经形态硬件在边缘加速深度学习任务方面表现出了巨大的潜力，但目前算法和硬件的空间有限，仍处于相当早期的发展阶段。因此，已经提出了许多旨在将预训练的DNN转换为SNN的混合方法。在这项工作中，我们提供了一个将预先训练的DNN转换为SNN的通用指南，同时还介绍了在延迟，功率和能量方面改进转换后的SNN在神经形态硬件上的部署的技术。我们的实验结果表明，与英特尔神经计算棒2相比，英特尔的神经形态处理器Loihi使用我们的SNN改进技术，在测试的图像分类任务中，功耗最多可降低27倍，能耗降低5倍。
2022-11-22 cs.AI cs.CV cs.ET
Hardware/Software Co-Design of RISC-V Extensions for Accelerating Sparse DNNs on FPGAs
Department of Computer Science, Friedrich-Alexander-Universität Erlangen-Nürnberg (FAU)（计算机科学系，埃朗根-纽伦堡弗里德里希-亚历山大大学）
本文提出了一种新颖的RISC-V扩展硬件/软件协同设计，通过利用FPGA位级可配置性跳过计算及可变周期乘加单元，有效加速半结构化和非结构化稀疏DNN，在TinyML应用上实现高达5倍加速且占用极少硬件资源。
2025-04-28 cs.AI cs.AR cs.LG
Automatic Model Parallelism for Deep Neural Networks with Compiler and Hardware Support
Intel Labs（英特尔实验室）
深度神经网络（DNN）在迄今为止只有人类才能完成的任务（如图像识别和语言翻译）中取得了巨大成功。由于它们的成功，DNN正在被探索用于越来越复杂的任务。DNN为复杂任务扩展的方法之一是增加其规模-更深更宽的网络可以很好地模拟额外的复杂性。在多个计算设备（诸如多GPU和多节点系统）上使用模型并行来训练这样的大型模型。在本文中，我们开发了一个编译器驱动的方法来实现模型并行。我们模拟的计算和通信成本的一个体现神经网络的训练过程，然后，分区图使用的方式，计算设备之间的通信是最小的，我们有一个很好的负载平衡。硬件调度助手的建议，以协助编译器在运行时的工作分配微调。
2019-06-11 cs.DC cs.LG
On the Noise Stability and Robustness of Adversarially Trained Networks on NVM Crossbars
School of Electrical and Computer Engineering, Purdue University（电气与计算机工程学院，普渡大学）
本文结合对抗训练与NVM交叉阵列硬件的内在鲁棒性，研究了对抗训练DNN在模拟硬件上的噪声稳定性与鲁棒性，发现需在硬件非理想性与训练参数间谨慎校准以优化性能与鲁棒性。
2023-05-18 cs.LG
CodeX: Bit-Flexible Encoding for Streaming-based FPGA Acceleration of DNNs
University of California San Diego（加利福尼亚大学圣地亚哥分校）
本文提出了CodeX，一个端到端的框架，有利于编码，位宽定制，微调，并在FPGA平台上实现神经网络。CodeX将非线性编码结合到神经网络的计算流中以节省内存。与原始全精度激活值相比，编码功能需要的存储量明显更低;因此，CodeX硬件引擎的执行流程完全在FPGA内使用片内流缓冲区执行，无需访问片外DRAM。我们进一步提出了一种受强化学习启发的全自动算法，该算法确定了跨网络层的自定义编码位宽。CodeX全栈框架包括一个编译器，它采用任意神经网络架构的高级Python描述。然后，编译器从CodeX硬件库中实例化相应的元素以用于FPGA实现。在MNIST、SVHN和CIFAR-10数据集上进行的概念验证评估表明，与独立权重编码相比，吞吐量平均提高了4.65倍。我们进一步将CodeX与ImageNet上现有的六个全精度DNN加速器进行了比较，结果显示吞吐量和性能功耗比分别平均提高了3.6倍和2.54倍。
2019-01-17 cs.LG stat.ML
Automated design of error-resilient and hardware-efficient deep neural networks
Bosch Corporate Research（博世企业研究院）；RWTH Aachen University（亚琛工业大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）；University of Freiburg（弗莱堡大学）
将深度神经网络（DNN）应用于移动和安全关键型系统（如自动驾驶汽车），需要在硬件上实现可靠、高效的执行。正在开发优化的专用硬件加速器来实现这一目标。然而，由于现代集成电路技术的增加的复杂性及其对硬件故障（诸如随机位翻转）的敏感性，高效且可靠的硬件的设计已经变得越来越困难。因此，期望也在算法侧利用用于错误恢复和效率的优化潜力，例如，通过优化DNN的架构。由于DNN的架构有许多设计选择，对优选特性（例如低延迟下的小出错率）具有部分相反的影响，因此多目标优化策略是必要的。在本文中，我们开发了一种进化优化技术，用于自动设计硬件优化的DNN架构。为此，我们推导出一组易于计算的目标函数，使DNN架构的硬件效率和错误恢复能力的快速评估仅基于网络拓扑结构。我们观察到预测的错误恢复能力和故障注入模拟获得的实际测量之间的强相关性。此外，我们分析了两种不同的量化方案，以实现高效的DNN计算，并发现它们对错误恢复的影响存在显着差异。
2019-09-30 cs.LG stat.ML
Real-time Multi-Task Diffractive Deep Neural Networks via Hardware-Software Co-design
University of Utah（犹他大学）
深度神经网络（DNN）具有大量的计算需求，这极大地限制了它们在资源受限环境中的性能。最近，在基于光学神经网络和光计算的DNN硬件上有越来越多的努力，其在功率效率、并行性和计算速度方面为深度学习系统带来显著的优势。其中，自由空间衍射深度神经网络（D $^2$ NNs）基于光的衍射，每层神经元与相邻层的神经元相互连接，每层神经元的数量达到数百万。然而，由于实现可重构性的挑战，部署不同的DNN算法需要重新构建和复制物理衍射系统，这显著降低了实际应用场景中的硬件效率。因此，这项工作提出了一种新的软硬件协同设计方法，使强大的和噪声弹性的多任务学习D $^2$神经网络。我们的实验结果表明，在通用性和硬件效率的显着改善，也证明了所提出的多任务D $^2$ NN架构的鲁棒性下的所有系统组件的宽噪声范围。此外，我们提出了一个特定于域的正则化算法来训练所提出的多任务架构，它可以用来灵活地调整每个任务的期望性能。
2021-04-01 cs.AI cs.LG physics.optics
Terminal Brain Damage: Exposing the Graceless Degradation in Deep Neural Networks Under Hardware Fault Attacks
University of Maryland, College Park（马里兰大学帕克分校）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
深度神经网络（DNN）已被证明可以容忍“脑损伤”：网络参数的累积变化（例如，修剪、数值扰动）通常导致分类精度的适度降低。然而，在DNN参数的底层存储器表示存在小的对抗性变化（例如可能由硬件故障攻击引起的位翻转）的情况下，这种自然弹性的限制并没有得到很好的理解。我们研究了19个DNN模型的按位损坏的影响-三个图像分类任务的六个架构-我们发现大多数模型至少有一个参数，在其按位表示中的特定位翻转后，会导致超过90%的准确性损失。我们采用简单的算法来有效地识别可能易受攻击的参数。我们估计，模型中40-50%的参数可能会导致精度下降超过10%，当单独受到这样的单比特扰动。为了演示对手如何利用此漏洞，我们研究了示例性硬件故障攻击Rowhammer对DNN的影响。具体来说，我们表明，一个Rowhammer使攻击者共同位于同一物理机可以造成显着的准确性下降（高达99%），即使单个位翻转损坏和不知道的模型。我们的研究结果揭示了DNN对现实世界故障攻击引起的参数扰动的弹性极限。最后，我们讨论了可能的缓解措施和未来的研究方向故障攻击弹性DNN。
2019-06-03 cs.CR cs.LG
RoHNAS: A Neural Architecture Search Framework with Conjoint Optimization for Adversarial Robustness and Hardware Efficiency of Convolutional and Capsule Networks
Embedded Computing Systems Group, Institute of Computer Engineering, Technische Universität Wien (TU Wien), Vienna, Austria（嵌入式计算系统组，计算机工程学院，维也纳技术大学）；Evolvable Hardware Research Group, Faculty of Information Technology, Brno University of Technology, Brno, Czechia（可进化硬件研究组，信息技术学院，布拉格技术大学）；VLSI Lab, Department of Electronics and Telecommunications, Politecnico di Torino, Turin, Italy（非常规集成电路实验室，电子与电信系，托里尼 Politecnico）；eBrain Lab, Division of Engineering, New York University Abu Dhabi, UAE（eBrain 实验室，工程系，纽约大学阿布扎克分校）
针对DNN计算复杂、易受对抗攻击的问题，提出可联合优化对抗鲁棒性与硬件效率的NAS框架RoHNAS，支持卷积与胶囊网络，通过适配数据集的扰动值提速，经多GPU HPC评估得到多目标权衡的帕累托最优架构。
2022-10-11 cs.LG
Hardware-Aware DNN Compression via Diverse Pruning and Mixed-Precision Quantization
Aristotle University of Thessaloniki（亚里士多德大学）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Southern Illinois University Carbondale（南伊利诺伊大学卡本代尔分校）；University of Patras（帕特雷大学）
提出硬件感知的DNN压缩框架，联合多样化剪枝与混合精度量化，利用强化学习优化配置，在CIFAR和ImageNet上实现39%能耗降低且精度损失仅1.7%。
2023-12-23 cs.LG
Development of Quantized DNN Library for Exact Hardware Emulation
Kumamoto University（熊本大学）
量化用于在AI芯片等边缘设备上运行深度神经网络（DNN）时加快执行时间并节省功耗。为了研究量化的效果，我们需要在以32位浮点精度量化DNN的权重后执行推理，然后将它们量化回32位浮点精度。这是因为DNN库只能处理浮点数。然而，仿真的准确性并不提供准确的精度。我们需要精确的精度来检测MAC操作中的溢出或验证边缘设备上的操作。我们已经开发了PyParch，这是一个DNN库，它可以执行与硬件完全相同的量化DNN（QNN）。在本文中，我们描述了一个新的PyParch的建议和实现。作为评估的结果，可以针对诸如YOLOv5的大型和复杂DNN估计具有任意位宽的QNN的准确性，并且可以检测溢出。我们评估了仿真时间的开销，发现与正常DNN执行时间相比，QNN慢5.6倍，QNN慢42倍。
2021-06-15 cs.AI cs.LG
XploreNAS: Explore Adversarially Robust & Hardware-efficient Neural Architectures for Non-ideal Xbars
Yale University（耶鲁大学）
本文提出 XploreNAS 算法-硬件协同优化方法，通过交叉开关感知的单次 NAS 搜索对抗鲁棒且硬件高效的 Subnet，在非理想交叉开关上相比 ResNet-18 实现约 8-16% 鲁棒性提升和约 1.5-1.6 倍更低 EDAP。
2023-04-15 cs.ET cs.LG
From Algorithm to Hardware: A Survey on Efficient and Safe Deployment of Deep Neural Networks
Institute for Infocomm Research, A*STAR（新加坡资讯通信研究院（新加坡科技研究局下属机构））；Nanyang Technological University（南洋理工大学）
本文综述 DNN 从压缩算法、适配硬件加速器到同态加密安全部署的研究进展，并讨论评估、泛化与多方法集成等开放问题。
2024-05-09 cs.AI cs.LG
Enhancing AI Interpretability with Localised Architectures
针对大型生成式AI模型可解释性差、计算成本高的问题，提出局部化机器学习架构，通过降低带宽、提高节点表达能力来提升可解释性和效率，并评估了多种硬件实现方案的适用性。
2026-08-11 cs.AI cs.LG
Enabling Unstructured Sparse Acceleration on Structured Sparse Accelerators
Georgia Institute of Technology（佐治亚理工学院）；NVIDIA（英伟达）
针对结构化稀疏硬件灵活性有限且需微调的问题，提出利用分配律将非结构化稀疏张量分解为结构化稀疏张量的近似方法，并开发软件框架TASDER，无需微调即可加速DNN，显著提升EDP和实际系统速度。
2025-05-24 cs.AI cs.AR cs.LG
Parameterized Structured Pruning for Deep Neural Networks
Ruprecht Karls University, Heidelberg（海德堡鲁普雷希特·卡尔斯大学）；Graz University of Technology（格拉茨工业大学）
由于深度神经网络（DNN）的规模不断增长，在内存和计算方面与硬件能力的差距越来越大。为了有效地压缩DNN，通常考虑量化和连接修剪。然而，无约束的修剪通常会导致非结构化的并行性，这映射到大规模并行处理器，并大大降低了通用处理器的效率。类似的情况也适用于量化，这通常需要专用硬件。我们提出了参数化结构修剪（PSP），这是一种通过结构稀疏性动态学习DNN形状的新方法。PSP在权重张量中参数化结构（例如通道或层），并利用权重衰减来学习重要和不重要结构之间的清晰区别。因此，PSP保持了预测性能，创建了大量的稀疏性，这些稀疏性是结构化的，因此可以轻松有效地映射到各种大规模并行处理器，这对于最大的计算能力和能源效率是必需的。PSP分别使用ResNet和DenseNet架构在流行的CIFAR 10/100和ILSVRC 2012数据集上进行了实验验证。
2019-06-12 cs.LG stat.ML
A Low-cost Fault Corrector for Deep Neural Networks through Range Restriction
University of British Columbia（不列颠哥伦比亚大学）；University of Iowa（爱荷华大学）
深度神经网络（DNN）在安全关键领域的采用已经引起了严重的可靠性问题。一个突出的例子是硬件瞬态故障，由于技术的不断扩展，这些故障的频率越来越高，并可能导致DNN的故障。这项工作提出了游侠，一个低成本的故障校正器，它直接纠正故障输出由于瞬态故障，而无需重新计算。DNN对良性故障（不会导致输出损坏）具有固有的弹性，但对严重故障（可能导致错误输出）没有弹性。Ranger是一种自动转换，用于选择性地限制DNN中的值范围，从而减少由关键故障引起的大偏差，并将其转换为DNN固有弹性可以容忍的良性故障。我们对8个DNN的评估表明，Ranger显着提高了DNN的错误恢复能力（3倍至50倍），而准确性没有损失，开销可以忽略不计。
2021-03-29 cs.CV cs.LG stat.ML
Fault-Aware Design and Training to Enhance DNNs Reliability with Zero-Overhead
Polytechnic of Torino（都灵理工大学）；Univ Rennes（雷恩大学）；INRIA（法国国家信息与自动化研究所）；University of Trento（特伦托大学）
深度神经网络（DNN）实现了从临床成像到预测性工业维护和自动驾驶等一系列技术进步。然而，最近的研究结果表明，瞬态硬件故障可能会破坏模型的预测显着。例如，辐射引起的错误预测概率可能很高，以至于阻碍了DNN模型的大规模安全部署，迫切需要高效和有效的加固解决方案。在这项工作中，我们建议在训练和模型设计时解决可靠性问题。首先，我们证明了香草模型受到瞬态故障的高度影响，这可能导致性能下降高达37%。因此，我们提供了三个零开销的解决方案，基于DNN重新设计和重新训练，可以提高DNN的可靠性，瞬时故障高达一个数量级。我们补充我们的工作与广泛的烧蚀研究，以量化增益的性能，每个硬化组件。
2022-05-28 cs.AI cs.LG cs.NE
HASI: Hardware-Accelerated Stochastic Inference, A Defense Against Adversarial Machine Learning Attacks
The Ohio State University（俄亥俄州立大学）
深度神经网络（DNN）被用于越来越多的应用中，其中一些是安全关键的。不幸的是，已知DNN容易受到所谓的对抗攻击的攻击，这些攻击操纵输入以导致可能对攻击者有利或对受害者有害的不正确结果。已经提出了多种防御来增加DNN的鲁棒性。一般来说，这些防御具有很高的开销，有些需要对模型进行特定于攻击的重新训练或仔细调整以适应不同的攻击。本文介绍了HASI，一种硬件加速的防御，它使用我们称为随机推理的过程来检测对抗性输入。我们表明，通过在推理时仔细地将噪声注入模型，我们可以区分敌对输入和良性输入。HASI使用与非噪声参考相比的噪声推断的输出分布特征来检测对抗性输入。当应用于VGG 16时，我们显示出86%的对抗检测率，当应用于ResNet 50时，我们显示出93%的对抗检测率，这超过了最先进方法的检测率，并且开销要低得多。我们展示了两个软件/硬件加速的协同设计，相对于未受保护的基线，它将随机推理的性能影响降低到1.58X-2X，而纯软件GPU实现的开销为15 X-20 X。
2021-08-06 cs.AR cs.CR cs.LG
Hardware Approximate Techniques for Deep Neural Network Accelerators: A Survey
National Technical University of Athens（雅典国立技术大学）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
深度神经网络（DNN）非常受欢迎，因为它们在机器学习（ML）中的各种认知任务中表现出色。DNN的最新进展在许多任务中带来了超越人类的准确性，但代价是高计算复杂性。为了实现DNN推理的有效执行，越来越多的研究工作，因此，利用DNN固有的错误恢复能力，并采用近似计算（AC）原理来解决DNN加速器的高能量需求。本文对DNN加速器的硬件近似技术进行了全面的调查和分析。首先，我们分析了最先进的，并通过识别近似家庭，我们集群的近似类型方面的各自的作品。接下来，我们分析所执行评估的复杂性（相对于数据集和DNN大小），以评估近似DNN加速器的效率，潜力和局限性。此外，提供了广泛的讨论，关于更适合于设计DNN加速器的近似单元的误差度量以及针对DNN推理定制的准确度恢复方法。最后，我们介绍了DNN加速器的近似计算如何超越能源效率并解决可靠性和安全问题。
2022-03-16 cs.AR cs.LG
DeepAxe: A Framework for Exploration of Approximation and Reliability Trade-offs in DNN Accelerators
Tallinn University of Technology（塔林理工大学）；Mälardalen University（梅拉达伦大学）
虽然深度神经网络（DNN）在广泛的安全关键应用中的作用正在扩大，但新兴的DNN在计算能力方面经历了大规模的增长。这就需要提高DNN加速器的可靠性，同时减少硬件平台的计算负担，即减少能耗和执行时间，并提高DNN加速器的效率。因此，硬件性能（即面积，功率和延迟）与DNN加速器实现的可靠性之间的权衡变得至关重要，需要工具进行分析。在本文中，我们提出了一个框架DeepAxe的设计空间探索基于FPGA的实现DNN考虑应用功能近似的准确性，可靠性和硬件性能的三边影响。该框架使可靠性关键DNN的选择性近似，提供了一组帕累托最优的DNN实现设计空间点的目标资源利用率的要求。设计流程从Keras中的预训练网络开始，使用创新的高级综合环境DeepHLS，并产生一组帕累托最优设计空间点作为设计师的指导。该框架在自定义和最先进的DNN和数据集的案例研究中得到了演示。
2023-03-14 cs.AI cs.AR cs.LG
Training DNNs with Hybrid Block Floating Point
EPFL（苏黎世联邦理工学院）
本文提出了一种混合块浮点数（HBFP）方法，通过在块浮点数中执行所有点积运算，其他运算使用浮点数，从而在保持高精度的同时提高硬件密度和吞吐量。
2018-12-02 cs.LG cs.NA math.NA
PABO: Pseudo Agent-Based Multi-Objective Bayesian Hyperparameter Optimization for Efficient Neural Accelerator Design
Purdue University（普渡大学）；Oak Ridge National Laboratory（橡树岭国家实验室）
深度神经网络（DNN）不断增加的计算成本以及对DNN加速的节能硬件的需求使得DNN的准确性和硬件成本协同优化变得非常重要，特别是对于边缘设备。由于大的参数空间和在搜索空间中评估每个参数的成本，DNN超参数的手动调整是不切实际的。自动联合DNN和硬件超参数优化是必不可少的这样的问题。基于贝叶斯优化的方法在DNN的超参数优化方面已经显示出了有希望的结果。然而，这些技术中的大多数都是在没有考虑底层硬件的情况下开发的，从而导致设计效率低下。此外，少数作品进行联合优化是不可推广的，主要集中在基于CMOS的架构。在这项工作中，我们提出了一种新的基于伪代理的多目标超参数优化（PABO），以最大限度地提高DNN的性能，同时获得低硬件成本。与现有的方法相比，我们的工作提出了一种理论上不同的方法，用于精度和硬件成本的联合优化，并专注于基于忆阻交叉杆的加速器。PABO使用一个管理代理建立网络精度和硬件成本要求的后验高斯分布模型之间的连接。该代理通过消除不必要的计算和更新的采集功能，从而实现显着的加速优化过程，降低了协同优化问题的数学复杂性。PABO输出了一个帕累托边界，强调了设计高精度和硬件效率之间的权衡。我们的研究结果表明，与最先进的方法相比，在准确性和计算速度方面（约100倍的速度）都具有优越的性能。
2019-06-11 cs.ET cs.LG cs.NE
Deep Neural Network inference with reduced word length
University of Stuttgart（斯图加特大学）
深度神经网络（DNN）是许多模式识别任务的强大模型，但其高计算复杂性和内存要求限制了它们在高性能计算平台上的应用。在本文中，我们提出了一种新的方法来评估使用32位浮点（float32）精度训练的DNN，仅使用低精度整数运算并结合二进制移位和裁剪操作。由于这些操作的硬件实现比高精度浮点计算简单得多，因此我们的方法可以用于专用硬件上的高效DNN推理。在MNIST上的实验中，我们证明了使用float32训练的DNN可以使用2位整数运算和每层中的一些float32计算的组合进行评估，或者仅使用3位整数运算结合二进制移位和裁剪，而不会显着降低性能。
2018-10-23 cs.AI cs.LG stat.ML
BitSplit-Net: Multi-bit Deep Neural Network with Bitwise Activation Function
Pohang University of Science and Technology（浦项科技大学）
深度神经网络（DNN）的显著计算成本和存储器需求使得难以在资源受限的环境中利用DNN。二进制神经网络（BNN），它使用二进制权重和二进制激活，已经获得了它的硬件友好的特性和最小的资源需求的兴趣。然而，BNN通常遭受精度下降。在本文中，我们介绍了“BitSplit-Net”，一个神经网络，它保持了BNN的硬件友好的特性，同时通过使用多位精度来提高精度。在BitSplit-Net中，多位激活的每个位在网络末端合并之前独立地在整个网络中传播。因此，BitSplit-Net的每个位路径类似于BNN，并且在我们的方案中保留了BNN的硬件友好特性，例如逐位二进制激活函数。我们证明，与传统的低比特精度（<= 4比特）的多比特网络相比，LeNet-5，VGG-9，AlexNet和ResNet-18的BitSplit版本可以以更低的计算成本进行训练，以具有相似的分类精度。我们进一步评估了BitSplit-Net在GPU上的自定义CUDA内核，显示BitSplit-Net可以实现更好的硬件性能相比，传统的多位网络。
2019-03-23 cs.CV cs.LG cs.NE
Adaptive Block Floating-Point for Analog Deep Learning Hardware
Lightmatter, Inc.（Lightmatter公司）
模拟混合信号（AMS）设备承诺比数字设备更快、更节能的深度神经网络（DNN）推理。然而，最近的研究表明，AMS设备上具有定点数的DNN可能会因为精度损失而导致精度损失。为了减轻这种惩罚，我们提出了一种新的AMS兼容的自适应块浮点（ABFP）数表示。我们还介绍了放大（或增益）作为一种方法，用于提高数字表示的准确性，而不增加输出的位精度。我们在MLPerf数据中心推理基准测试中评估了ABFP在DNN上的有效性-与FLOAT 32相比，实现了低于$1\%$的准确性损失。我们还提出了一种新的AMS设备微调方法，差分噪声微调（DNF），与传统的量化感知训练相比，该方法对设备噪声进行采样以加快微调。
2022-05-12 cs.AR cs.LG
A Case For Adaptive Deep Neural Networks in Edge Computing
Queen’s University Belfast（贝尔法斯特女王大学）；TU Wien（维也纳工业大学）；Wayne State University（韦恩州立大学）
边缘计算提供了一个更接近数据源的额外计算基础设施层，然后将来自隐私敏感和性能关键型应用程序的原始数据传输到云数据中心。深度神经网络（DNN）是一类应用程序，据报道，它们受益于边缘和云之间的协作计算。DNN被分区，使得DNN的特定层被部署到边缘和云上，以满足性能和隐私目标。然而，对以下问题的理解有限：（a）不断变化的操作条件（边缘处CPU和内存利用率的增加或边缘与云之间数据传送率的降低）是否以及如何影响已经部署的DNN的性能，以及（b）是否需要新的分区配置来最大化性能。适应不断变化的操作条件的DNN被称为“自适应DNN”。本文通过考虑三个问题来研究边缘计算中是否存在自适应DNN的情况：（i）DNN对操作条件敏感吗？(ii)DNN对操作条件有多敏感？(iii)单个或组合的操作条件是否同样影响DNN？(iv)DNN分区对云/边缘上的硬件架构敏感吗？该探索是在8个预训练的DNN模型的背景下进行的，所呈现的结果来自分析近800万个数据点。结果表明，网络条件对DNN性能的影响大于CPU或内存相关的操作条件。注意到重新分区在许多情况下提供了性能增益，但没有注意到与底层硬件架构相关的特定趋势。尽管如此，自适应DNN的需求得到了证实。
2020-12-16 cs.DC cs.LG
Hessian-aware Training for Enhancing DNNs Resilience to Parameter Corruptions
Oregon State University（俄勒冈州立大学）；Samsung Advanced Institute of Technology（三星先进技术研究院）
本文提出 Hessian-aware Training 方法，通过促进模型损失面更平坦来增强深度神经网络对参数位损坏的鲁棒性，显著减少导致严重准确率下降的关键位翻转数量，并与现有硬件和系统级防御产生协同作用。
2025-04-02 cs.CR cs.LG
Accelerating Training of Deep Neural Networks via Sparse Edge Processing
University of Southern California（南加州大学）
我们提出了一种可重构的硬件架构，用于能够在线训练和推理的深度神经网络（DNN），它使用算法预定的结构化稀疏性来显著降低内存和计算需求。这种新颖的架构引入了边缘处理的概念，以提供灵活性，并结合连接流水线和操作并行化，以加快训练。总体效果是将网络复杂性降低高达30倍，训练时间相对于GPU减少高达35倍，同时保持推理结果的高保真度。这有可能使广泛的参数搜索和DNN的基本上未开发的理论基础的发展。该架构自动适应不同的网络规模给定的可用硬件资源。作为概念的证明，我们展示了不同位宽的结果。
2017-11-03 cs.LG cs.NE
SS-Auto: A Single-Shot, Automatic Structured Weight Pruning Framework of DNNs with Ultra-High Efficiency
Northeastern University（东北大学）；IBM Watson Lab（IBM Watson实验室）
结构化权重修剪是DNN的代表性模型压缩技术，用于硬件效率和推理加速。以往的工作在这方面留下了很大的改进空间，因为稀疏结构与不同的结构化修剪方案的组合没有充分和有效地利用。为了减轻这些限制，我们提出了SS-Auto，一个单次，自动结构化修剪框架，可以同时实现行修剪和列修剪。我们采用软约束为基础的配方，以减轻强大的非凸性的l0范数约束中使用的最先进的ADMM为基础的方法，更快的收敛速度和更少的超参数。而不是直接解决问题，提出了一个Primal-Proximal解决方案，以避免惩罚所有权重相等的陷阱，从而提高精度。在CIFAR-10和CIFAR-100数据集上的大量实验表明，该框架可以在保持准确性的同时实现超高的剪枝率。此外，通过对智能手机的实际测量，从所提出的框架中观察到了显著的推理加速。
2020-01-23 cs.CV cs.LG cs.NE
LightNorm: Area and Energy-Efficient Batch Normalization Hardware for On-Device DNN Training
DGIST（大邱庆北科学技术院）
在训练早期深度神经网络（DNN）时，通过卷积或线性层生成中间特征占用了大部分执行时间。因此，已经进行了广泛的研究以减少卷积或线性层的计算负担。然而，在最近的移动友好的DNN中，处理这些层所涉及的操作的相对数量已经显着减少。因此，其他层（如批量归一化层）的执行时间比例增加了。因此，在这项工作中，我们进行了详细的分析，批量归一化层，以有效地减少运行时开销的批量归一化过程。在深入分析的基础上，我们提出了一个非常有效的批量归一化，名为LightNorm，及其相关的硬件模块。更详细地说，我们融合了三种近似技术，即i）低位精度，ii）范围批量归一化，以及iii）块浮点。所有这些近似技术都被仔细地利用，不仅要保持中间特征图的统计数据，而且要尽量减少片外存储器访问。通过使用所提出的LightNorm硬件，我们可以在DNN训练期间实现显著的面积和能源节省，而不会影响训练精度。这使得所提出的硬件成为设备上培训的绝佳候选者。
2022-11-04 cs.AR cs.LG
Hardening DNNs against Transfer Attacks during Network Compression using Greedy Adversarial Pruning
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；State University of Rio de Janeiro（里约热内卢州立大学）
近年来，深度神经网络（DNN）应用的流行和成功激发了对DNN压缩的研究，例如修剪和量化。这些技术加速了模型推理，降低了功耗，并降低了运行DNN所需硬件的大小和复杂性，所有这些都几乎没有准确性损失。然而，由于DNN容易受到对抗性输入的影响，因此重要的是要考虑压缩和对抗性鲁棒性之间的关系。在这项工作中，我们研究了几个不规则的修剪方案和8位量化产生的模型的对抗鲁棒性。此外，虽然传统的修剪去除了DNN中最不重要的参数，但我们研究了非传统修剪方法的效果：基于对抗性输入的梯度去除最重要的模型参数。我们称这种方法为贪婪对抗修剪（GAP），我们发现这种修剪方法可以使模型抵抗来自未压缩副本的传输攻击。
2022-06-15 cs.CR cs.LG
PoTAcc: A Pipeline for End-to-End Acceleration of Power-of-Two Quantized DNNs
UK Engineering and Physical Sciences Research Council（英国工程与物理科学研究委员会）
本文提出PoTAcc流水线，用于在资源受限边缘设备上加速和评估功率为二量化DNN，通过TensorFlow Lite实现无缝准备和部署，展示了在CPU和混合CPU-FPGA系统上的加速效果。
2026-05-07 cs.AR cs.LG cs.PF
DESCNet: Developing Efficient Scratchpad Memories for Capsule Network Hardware
Brno University of Technology（布尔诺理工大学）；New York University Abu Dhabi（纽约大学阿布扎比分校）
深度神经网络（DNN）已被确立为用于高级机器学习应用的最先进算法。最近由Google Brain团队提出的胶囊网络（CapsNets）与DNN相比，由于其多维胶囊和保留不同对象之间的空间关系，因此提高了泛化能力。然而，它们对计算和内存的要求非常高，这使得它们的节能推理成为一项具有挑战性的任务。本文首次提供了一个深入的分析，突出的设计和管理相关的挑战（片上）存储器部署在硬件加速器执行快速CapsNets推理。为了实现高效的设计，我们提出了一个特定于应用程序的存储层次结构，它最大限度地减少了片外存储器访问，同时有效地将数据馈送到硬件加速器。我们分析了相应的片上存储器的要求，并利用它提出了一种新的方法来探索不同的暂存器存储器设计和他们的能量/面积权衡。之后，提出了一种特定于应用的功率门控技术，以进一步降低能耗，这取决于CapsNet的不同操作之间的利用率。我们对选定的帕累托最优解决方案的结果表明，与执行MNIST数据集的Google CapsNet模型的最先进设计相比，完整加速器（包括计算单元和内存）没有性能损失，能耗降低了79%。
2020-10-12 cs.LG
Examining the Role and Limits of Batchnorm Optimization to Mitigate Diverse Hardware-noise in In-memory Computing
Yale University（耶鲁大学）
本文研究模拟存内计算交叉开关阵列中寄生电阻、随机读取噪声和时间漂移等非理想特性对点积运算的失真影响，提出通过实时微调批归一化参数实现近乎免训练的噪声缓解方法，从而降低 DNN 噪声感知重训练的硬件成本。
2023-05-28 cs.ET cs.LG
REQ-YOLO: A Resource-Aware, Efficient Quantization Framework for Object Detection on FPGAs
Peking University（北京大学）；Northeastern University（东北大学）；Peng Cheng Laboratory（鹏城实验室）
深度神经网络（DNN）作为目标检测的基础，将在未来完全自主的自主系统开发中发挥关键作用。自治系统具有在功率受限系统上实时、节能地实现DNN的特殊要求。两个研究重点致力于DNN推理阶段的性能和能效增强。第一个是模型压缩技术，而第二个是高效的硬件实现。最近的工作，如二进制神经网络（BNN）和XNOR-Net的极低位CNN取代了传统的浮点运算与二进制位操作，显着降低了内存带宽和存储要求。然而，它遭受不可忽略的精度损失和未充分利用的FPGA的数字信号处理（DSP）块。为了克服这些局限性，本文提出了REQ-YOLO，一个资源感知的，系统的权重量化框架的目标检测，同时考虑算法和硬件资源方面的目标检测。我们采用块循环矩阵的方法，并提出了一个异构的权重量化使用交替方向乘法（ADMM），一种有效的优化技术一般，非凸优化问题。为了在FPGA上实现实时、高效的实现，我们给出了CONV层块循环矩阵的详细硬件实现，并开发了一种高效的处理单元（PE）结构，该结构支持异构权重量化、CONV流水线和流水线技术、设计优化以及基于模板的自动综合框架，以最佳地利用硬件资源。实验结果表明，我们提出的REQ-YOLO框架可以显着压缩YOLO模型，同时引入非常小的精度下降。
2019-09-29 cs.AR cs.CV cs.LG
AutoHLS: Learning to Accelerate Design Space Exploration for HLS Designs
Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室）
AutoHLS框架结合深度神经网络与贝叶斯优化，加速HLS设计空间探索，实现高达70倍探索时间加速。
2024-03-15 cs.AI cs.AR cs.LG
HALF: Holistic Auto Machine Learning for FPGAs
University of Kaiserslautern（凯泽斯劳滕大学）；Fraunhofer ITWM（弗劳恩霍夫工业数学研究所）
深度神经网络（DNN）能够解决与嵌入式系统相关的领域中的复杂问题，例如图像和自然语言处理。为了针对给定的成本标准（例如，能量效率）在特定的FPGA平台上有效地实现DNN，从拓扑结构到最终的硬件实现，必须考虑大量的设计参数。必须考虑并有效探索不同设计层之间的相互依赖性，这使得手动找到优化解决方案变得几乎不可能。自动化、整体化的设计方法可以显著提高DNN在FPGA上的实现质量。为此，我们提出了一个跨层的设计空间探索方法。它包括从DNN的硬件感知拓扑搜索开始到给定FPGA平台的最终优化实现的优化。该方法在我们的FPGA整体自动机器学习（HALF）框架中实现，该框架结合了进化搜索算法，各种优化步骤和可参数化硬件DNN模块库。HALF可在目标FPGA平台上针对各种应用自动执行探索过程和优化解决方案的实施。我们在心律失常检测的医疗用例中展示了HALF的性能，分别用于三种不同的设计目标，即低功耗、低功耗和高吞吐量。我们的FPGA实现在吞吐量和能耗方面都优于Nvidia Jetson平台上的TensorRT优化模型。
2021-10-20 cs.AR cs.LG
FLASH: Fast Neural Architecture Search with Hardware Optimization
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
神经结构搜索（NAS）是一种设计高效、高性能深度神经网络（DNN）的技术。随着ML应用程序的性能需求不断增长，硬件加速器开始在DNN设计中发挥核心作用。这种趋势使得NAS对于大多数实际应用程序来说更加复杂和耗时。本文提出了FLASH，一种非常快速的NAS方法，可以在实际硬件平台上共同优化DNN的准确性和性能。作为主要的理论贡献，我们首先提出了NN度，这是一种量化具有跳跃连接的DNN的拓扑特征的分析度量（例如，DenseNets、ResNets、Wide-ResNets和MobileNets）。新提出的NN度允许我们在一秒钟内进行无训练NAS，并通过从具有超过630亿个配置的巨大搜索空间中训练25个样本来构建准确度预测器。其次，通过在目标硬件上执行推理，我们微调和验证我们的分析模型，以估计各种DNN架构的延迟，面积和能耗，同时执行标准ML数据集。第三，我们构建了一个分层算法的基础上单纯同源全局优化（SHGO）优化模型架构协同设计过程中，同时考虑目标硬件的面积，延迟和能耗。我们证明，相比国家的最先进的NAS方法，我们提出的分层SHGO为基础的算法，使超过四个数量级的加速（具体来说，所提出的算法的执行时间约为0.1秒）。最后，我们的实验评估表明，闪存可以轻松地转移到不同的硬件架构，从而使我们能够在不到3秒的时间内在Raspberry Pi-3B处理器上执行NAS。
2021-08-01 cs.CV cs.LG
Exploring Robustness of Image Recognition Models on Hardware Accelerators
University of Edinburgh（爱丁堡大学）；University of Glasgow（格拉斯哥大学）
提出MutateNN工具，结合差分与变异测试，在4种硬件加速器上对7个DNN模型注入21个变异，发现条件运算符变异导致跨设备差异达90.3%，层修改等变异严重损害性能或致崩溃。
2025-03-25 cs.LG cs.SE cs.SY
FAT: Training Neural Networks for Reliable Inference Under Hardware Faults
Xilinx Research Labs（赛灵思研究实验室）
深度神经网络（DNN）是用于多种应用的最先进算法，从图像分类到语音识别。在提供出色的准确性的同时，它们通常具有巨大的计算和内存需求。因此，量化神经网络（QNN）越来越多地被采用和部署，特别是在嵌入式设备上，这不仅是因为它们的高准确性，而且还因为与浮点等效网络相比，它们的计算和内存要求显着降低。QNN部署也正在评估安全关键应用，如汽车，航空电子，医疗或工业。这些系统需要功能安全，即使在存在硬件故障的情况下也能保证无故障行为。一般来说，容错可以通过向系统添加冗余来实现，这进一步加剧了总体计算需求，并且使得难以满足功率和性能要求。为了降低实现功能安全的硬件成本，探索可以利用DNN固有特性的特定领域解决方案至关重要。在这项工作中，我们提出了一种新的方法，称为故障感知训练（FAT），其中包括错误建模过程中的神经网络（NN）的训练，使QNN弹性设备上的特定故障模型。我们的实验表明，通过在训练过程中在卷积层中注入故障，可以训练出高度准确的卷积神经网络（CNN），与原始网络相比，CNN具有更好的容错能力。此外，我们表明，冗余系统，这是建立从QNN训练FAT实现更高的最坏情况下的准确性，以较低的硬件成本。这已经在许多分类任务中得到验证，包括CIFAR10，GTSRB，SVHN和ImageNet。
2020-11-11 cs.CV cs.LG
