VWA: Hardware Efficient Vectorwise Accelerator for Convolutional Neural Network
卷积神经网络(CNN)的硬件加速器实现了人工智能技术的实时应用。然而,大多数现有的设计遭受低硬件利用率或高面积成本,由于复杂的布线。本文提出了一种硬件高效的矢量CNN加速器,该加速器采用3 $\times$ 3滤波器优化的脉动阵列,使用1-D广播时钟产生部分和。这使得不同类型的内核可以轻松地重新配置交错输入或逐元素输入的卷积。这种简单且规则的数据流导致低面积成本,同时获得高硬件利用率。在VGG-16、ResNet-34、GoogLeNet和Mobilenet上,硬件利用率分别达到99%、97%、93.7%和94%。采用台积电40 nm工艺的硬件实现采用266.9K“与非”门数和191 KB SRAM,支持168 GOPS吞吐量,在500 MHz工作频率下运行时功耗仅为154.98 mW,具有优于其他设计的面积和功耗效率。
2022-05-02 cs.AR
Hardware-Efficient Accurate 4-bit Multiplier for Xilinx 7 Series FPGAs
Graduate School of Science and Technology, Faculty of Engineering, Shinshu University(长野大学理工学部工学研究科);Shinshu University(长野大学)
针对FPGA上并行低比特宽运算,提出仅用11个LUT和2个CARRY4的精确4位乘法器,减少1个LUT并缩短关键路径,延迟2.750ns。
2026-10-20 cs.AR
Efficient Hardware Realizations of Feedforward Artificial Neural Networks
本文提出了设计技术,提出了有效的硬件实现的前馈人工神经网络(ANN)的并行和时分复用架构。为了降低它们的设计复杂度,在训练阶段确定ANN的权重后,我们引入了一种技术来找到用于将浮点权重值转换为整数的最小量化值。对于每个设计架构,我们还提出了一个算法,调整整数权重,以减少硬件的复杂性,避免损失的硬件精度。此外,常权重的输入变量的乘法实现下的移位-加法架构,使用最少数量的加法/减法运算发现由突出的先前提出的算法。最后,我们介绍了一个计算机辅助设计(CAD)工具,称为SIMURG,它可以描述一个人工神经网络的设计在硬件上自动的人工神经网络结构和建议的设计技术和算法的解决方案的基础上。实验结果表明,调整技术可以显着降低人工神经网络的硬件复杂度下的设计架构和无乘法器的人工神经网络的设计可以导致显着减少面积和能源消耗,增加延迟略有。
2021-08-04 cs.AR
LUT Tensor Core: A Software-Hardware Co-Design for LUT-Based Low-Bit LLM Inference
Imperial College London(帝国理工学院伦敦分校);Microsoft Research London, UK(微软研究院伦敦, UK);Peking University(北京大学);Microsoft Research Beijing, China(微软研究院北京, China);University of Science(科学大学);University of Washington(华盛顿大学);Microsoft Research Seattle, USA(微软研究院西雅图, USA);Shanghai Jiao Tong University Shanghai, China(上海交通大学上海, China);Microsoft Research(微软研究院);Shanghai Jiao Tong University(上海交通大学)
针对低位 LLM 中混合精度矩阵乘法的低效问题,本文提出软硬件协同设计 LUT Tensor Core,通过软件优化、专用硬件、指令集与编译优化实现 1.44 倍计算密度和能效提升。
2025-07-28 cs.AR cs.LG
LUT-DLA: Lookup Table as Efficient Extreme Low-Bit Deep Learning Accelerator
Microsoft Research(微软研究院);University of Chinese Academy of Sciences(中国科学院大学);NTU Singapore(新加坡南洋理工大学)
本文提出LUT-DLA,一种基于查找表的深度学习加速器框架,通过向量量化实现极低比特量化,结合LUTBoost算法和协同设计优化,在保持较小精度损失下显著提升硬件效率。
2025-01-18 cs.AI cs.AR cs.LG
Hardware-conscious Software Training for Deep Neural Network Inference Accelerator Chips to Recover Accuracy Degradation due to Hardware Variabilities
Graduate School of Information, Production and Systems, Waseda University(早稻田大学信息·生产系统研究科)
针对芯片制造导致硬件变异影响DNN推理精度的问题,提出硬件感知软件训练(HCST)方法,以恢复精度并实现高推理精度。
2026-09-07 cs.AR cs.ET
Functional Stability of Software-Hardware Neural Network Implementation The NeuroComp Project
Taras Shevchenko National University of Kyiv, Faculty of Information Technology(基辅塔拉斯舍甫琴科国立大学信息科技学院)
本文通过在神经元层面引入硬件冗余,提升神经网络在硬件故障下的运行稳定性。
2025-12-04 cs.AR cs.NE
HENNC: Hardware Engine for Artificial Neural Network-based Chaotic Oscillators
本文提出一种自动生成基于ANN的混沌振荡器硬件核心的框架,通过训练模型逼近混沌系统并探索设计空间生成可综合HLS代码,在FPGA上实现了优于手动设计的硬件成本与吞吐量。
2024-07-27 cs.AR cs.NE
Rethinking Co-design of Neural Architectures and Hardware Accelerators
Google(谷歌)
神经架构和硬件加速器一直是深度学习进步的两大驱动力。以前的工作通常试图优化给定固定模型架构的硬件或给定固定硬件的模型架构。在之前的工作中探索的主要硬件架构是FPGA。在我们的工作中,我们的目标是在行业标准的边缘加速器上优化硬件和软件配置。我们系统地研究了共同设计神经架构和硬件加速器的重要性和策略。我们提出三点意见:1)软件搜索空间必须被定制以充分利用目标硬件架构,2)对模型架构和硬件架构的搜索应该联合进行以实现两全其美,以及3)不同的用例导致非常不同的搜索结果。我们的实验表明,联合搜索方法在ImageNet top-1准确率上始终优于之前的平台感知神经架构搜索,手动构建的模型和最先进的EfficientNet。我们的方法可以在相同的精度约束下将边缘加速器的能耗降低高达2倍,同时适应模型架构和硬件加速器配置。
2021-02-17 cs.AR cs.LG
SparseLUT: Sparse Connectivity Optimization for Lookup Table-based Deep Neural Networks
The University of Sydney(悉尼大学);School of Electrical and Computer Engineering(电气与计算机工程学院)
本文提出 SparseLUT,通过非贪婪剪枝与连接再生优化基于 LUT 的 DNN 稀疏连接,在无硬件开销下提升多基准准确率并达到最先进水平。
2025-03-17 cs.AI cs.AR
MP-Rec: Hardware-Software Co-Design to Enable Multi-Path Recommendation
Meta AI;Harvard University(哈佛大学)
深度学习推荐系统在不同的尾部延迟目标和输入查询负载下提供个性化内容。为了做到这一点,最先进的推荐模型依赖于TB级的嵌入表来学习用户对大量内容的偏好。对嵌入表的固定嵌入表示的依赖不仅强加了显著的存储器容量和带宽要求,而且还限制了兼容系统解决方案的范围。本文通过展示嵌入表示和硬件平台之间的协同作用如何改善算法和系统性能,对固定嵌入表示的假设提出了挑战。基于我们对各种嵌入表示的表征,我们提出了一种混合嵌入表示,以增加内存和计算需求为代价实现了更高质量的嵌入。为了解决混合表示的系统性能挑战,我们提出了MP-Rec -一种利用嵌入表示和底层硬件平台的异构性和动态选择的协同设计技术。在真实的系统硬件上,我们演示了如何匹配自定义加速器,即,GPU、TPU和IPU,以及兼容的嵌入表示可以带来16.65倍的性能加速。此外,在查询服务场景中,MP-Rec在CPU-GPU系统上分别为Kaggle和Terabyte数据集实现了2.49倍和3.76倍的正确预测吞吐量以及0.19%和0.22%的模型质量。
2023-02-21 cs.AR cs.IR cs.LG
Sparsity-Aware Hardware-Software Co-Design of Spiking Neural Networks: An Overview
University of Arizona(亚利桑那大学)
本文综述了稀疏脉冲神经网络(SNNs)的硬件-软件协同设计,探讨了稀疏性表示、硬件架构和训练技术对硬件效率的影响,旨在为嵌入式神经形态系统利用稀疏SNNs的计算优势提供指导。
2024-08-26 cs.AI cs.AR
LILLIPUT: A Lightweight Low-Latency Lookup-Table Based Decoder for Near-term Quantum Error Correction
量子设备的错误率比运行大多数量子应用所需的错误率高出几个数量级。为了缩小这一差距,量子纠错(QEC)对逻辑量子比特进行编码,并使用几个物理量子比特来分发信息。通过对逻辑量子比特周期性地执行校正子提取电路,在运行程序的同时提取关于错误的信息(称为校正子)。解码器使用这些伴随式来实时识别和纠正错误,这需要使用量子算法中实现的反馈。不幸的是,软件解码器速度慢,硬件解码器速度快,但准确度较低。因此,到目前为止,几乎所有的QEC研究都依赖于离线解码。为了使实时解码在短期QEC,我们提出LILLIPUT-一个轻量级的低延迟查找表解码器。LILLIPUT由两部分组成--首先,它将校正子转换为错误检测事件,这些事件索引到查找表(LUT)中,查找表的条目实时提供错误信息。第二,它通过离线运行软件解码器,为LUT编程所有可能的错误事件的错误分配。LILLIPUT容忍量子硬件中任何操作的错误,包括门和测量,并且容忍的错误数量随着代码的大小而增加。它需要<7%的现成FPGA逻辑,使其能够轻松集成在现有系统中的控制和读出电路旁边。LILLIPUT的延迟只有几纳秒,并支持实时解码。我们还提出了压缩LUT(CLUT),以减少LILLIPUT所需的内存。通过利用并非所有错误事件的可能性都相等的事实,并且仅存储最可能的错误事件的数据,CLUT将所需的存储器减少了高达107倍(从148 MB到1.38 MB),而不会…
2021-08-14 cs.AR quant-ph
BiKA: Kolmogorov-Arnold-Network-inspired Ultra Lightweight Neural Network Hardware Accelerator
Ruhr University Bochum, Germany(博德姆鲁尔大学);Dresden University of Technology, Germany(德累斯顿技术大学);Center for Scalable Data Analytics(可扩展数据与人工智能中心)
BiKA是一种受Kolmogorov-Arnold网络启发的轻量级神经网络硬件加速器,通过二值化阈值替代非线性函数,显著降低硬件资源消耗并保持高精度。
2026-02-26 cs.AI cs.AR
Training Neural Networks for Execution on Approximate Hardware
University of California, Los Angeles(加州大学洛杉矶分校)
针对近似计算因缺乏训练方法未发挥潜力的问题,提出面向近似硬件的专门化训练方法,将训练过程加速高达18倍。
2023-04-08 cs.AR cs.LG
TRIM: A Design Space Exploration Model for Deep Neural Networks Inference and Training Accelerators
在边缘/物联网环境和高性能计算系统中,对用于训练深度神经网络的专用硬件的需求越来越大。由于处理架构、深度神经网络配置和低功耗选项的广泛范围,这种硬件的设计空间非常大。这使得开发深度神经网络处理器非常复杂,特别是对于训练。我们提出TRIM,这是一种基础设施,可以帮助硬件架构师探索深度神经网络加速器的设计空间,以便在早期设计阶段进行推理和训练。该模型在整个网络级别进行评估,同时考虑层间和层内活动。给定应用程序、基本硬件规格和设计目标,TRIM可以快速探索不同的硬件设计选项,选择最佳硬件流程并指导新的硬件架构设计。我们通过基于FPGA的深度神经网络加速器和基于ASIC的架构的实现验证了TRIM。我们还展示了如何使用TRIM探索设计空间,通过几个案例研究。TRIM是一个强大的工具,可以帮助架构师评估不同的硬件选择,以开发有效的推理和培训架构设计。
2022-05-01 cs.AR cs.DC
Hardware Trojan Threats to Multi-Chiplet Photonic Neural Network Accelerators
Colorado State University(科罗拉多州立大学)
本文研究多芯粒光子神经网络加速器面临的硬件木马威胁,从机密性、完整性和可用性三个维度分析其安全风险。
2026-09-09 cs.AI cs.AR cs.LG
LogicNets: Co-Designed Neural Networks and Circuits for Extreme-Throughput Applications
Xilinx Research Labs(赛灵思研究实验室)
为需要非常高吞吐量或极低延迟的应用部署深度神经网络是一项严峻的计算挑战,将计算映射到硬件的效率低下进一步加剧了这一挑战。我们提出了一种新的方法来设计神经网络拓扑,直接映射到一个高效的FPGA实现。通过利用具有量化输入/输出和真值表的人工神经元的等效性,我们可以训练量化神经网络,该量化神经网络可以直接转换为真值表的网表,并随后部署为高度流水线化的大规模并行FPGA电路。然而,神经网络拓扑需要仔细考虑,因为真值表的硬件成本随着神经元扇入呈指数增长。为了获得更小的网络,整个网表可以放置和路由到一个FPGA上,我们推导出一个扇入驱动的硬件成本模型来指导拓扑设计,并结合高稀疏性与低比特激活量化来限制神经元扇入。我们评估我们的方法在两个任务非常高的内在吞吐量的要求,在高能物理和网络入侵检测。我们表明,稀疏性和低比特激活量化的组合结果在高速电路具有小的逻辑深度和低LUT成本,展示了具有竞争力的准确性与不到15 ns的推理延迟和吞吐量在每秒数亿个推理。
2020-04-06 cs.AR cs.LG eess.SP
LUNA-CIM: Lookup Table based Programmable Neural Processing in Memory
本文提出LUNA-CIM,一种基于查找表的分而治之存内计算方法,通过分解高精度乘法降低面积开销约3.7倍,能耗占比低于0.1%,显著提升能效与面积利用率。
2023-11-17 cs.AR cs.ET
RHNAS: Realizable Hardware and Neural Architecture Search
Intel Labs(英特尔实验室)
快速发展的人工智能领域需要自动化方法来协同设计神经网络架构和神经加速器,以最大限度地提高系统效率并解决生产力挑战。为了实现这一巨大空间的联合优化,人们对可微NN-HW协同设计的兴趣越来越大。完全可区分的协同设计降低了发现优化的NN-HW配置的资源需求,但不能适应一般的硬件加速器搜索空间。这是由于在许多硬件加速器的搜索空间中存在不可综合(无效)的设计。为了实现可配置硬件加速器与任意神经网络搜索空间的有效和可实现的协同设计,我们引入RHNAS。RHNAS是一种将用于硬件优化的强化学习与可微神经结构搜索相结合的方法。RHNAS发现了可实现的NN-HW设计,与默认硬件加速器设计相比,ImageNet上的延迟降低了1.84倍,能量延迟积(EDP)降低了1.86倍,CIFAR-10上的延迟降低了2.81倍,EDP降低了3.30倍。
2021-06-17 cs.AR cs.LG cs.NE
Hardware Implementation of Neural Self-Interference Cancellation
带内全双工系统可以在同一频段上同时发送和接收信息。然而,由于发射机对自身接收机造成的强自干扰,使用非线性数字自干扰消除是必不可少的。在这项工作中,我们描述了一个基于神经网络的非线性自干扰(SI)消除器的硬件架构,我们比较它与我们自己的硬件实现的一个传统的基于多项式的SI消除器。特别是,我们提出了一个浅和深神经网络SI消除器以及多项式SI消除器的实施结果。我们的研究结果表明,深度神经网络消除器实现了高达$312.8$ Msamples/s/mm $^2$的硬件效率和高达$0.9$ nJ/sample的能量效率,分别优于多项式SI消除器的$2.1\times$和$2\times$。这些结果表明,应用于通信的基于NN的方法不仅从性能的角度来看是有用的,但也可以是一个非常有效的手段,以降低实现的复杂性。
2020-05-07 cs.AR eess.SP
A General Neural Network Hardware Architecture on FPGA
University of Birmingham(伯明翰大学)
现场可编程门阵列(Field Programmable Gate Arrays,FPGA)以其高度并行的结构、低功耗和灵活的自定义算法在数据采集和处理行业中发挥着越来越重要的作用。特别是在人工智能领域,为了训练和实现神经网络和机器学习算法,需要高能效的硬件实现和大规模并行计算能力。因此,许多全球公司已将FPGA应用于人工智能和机器学习领域,如自动驾驶和自动口语识别(百度)[1] [2]和必应搜索(微软)[3]。考虑到FPGA在这些领域的巨大潜力,我们倾向于在具有丰富硬件资源和强大处理能力的XILINX ZU9CG片上系统(SOC)平台上实现通用神经网络硬件架构[4]。FPGA SOC平台上的通用神经网络架构可以高性能地执行深度神经网络(DNN)中的前向和后向算法,并且容易根据神经网络的类型和规模进行调整。
2017-11-06 cs.AR cs.CV cs.NE
Lupulus: A Flexible Hardware Accelerator for Neural Networks
Eindhoven University of Technology(埃因霍温理工大学)
神经网络对于广泛的应用来说已经变得不可或缺,但它们具有高计算和存储要求,需要从网络的算法描述到硬件实现进行优化。此外,机器学习的高创新率使得硬件实现提供高水平的可编程性以支持神经网络的当前和未来需求变得非常重要。在这项工作中,我们提出了一个灵活的硬件加速神经网络,称为Lupulus,支持各种方法调度和映射到加速器的操作。Lupulus是在28 nm FD-SOI技术中实现的,并展示了380 GOPS/GHz的峰值性能,AlexNet和VGG-16卷积层的延迟分别为21.4ms和183.6ms。
2020-05-03 cs.AR cs.CV eess.SP
NAX: Co-Designing Neural Network and Hardware Architecture for Memristive Xbar based Computing Systems
Purdue University(普渡大学);Microsoft Corporation(微软公司)
使用忆阻交叉阵列(MCA)的存内计算(IMC)硬件越来越受欢迎,以加速深度神经网络(DNN),因为它解决了与von-Neumann架构相关联的“存储墙”问题。映射到这样的硬件的DNN的硬件效率(能量、延迟和面积)以及应用准确性(考虑设备和电路非理想性)共同取决于网络参数(诸如内核大小、深度等)和硬件架构参数(诸如交叉开关大小)。然而,网络和硬件参数两者的共同优化呈现了具有挑战性的搜索空间,其包括映射到变化的交叉开关尺寸的不同内核尺寸。为此,我们提出了NAX --一种高效的神经架构搜索引擎,它共同设计了基于神经网络和IMC的硬件架构。NAX探索上述搜索空间,以确定每个DNN层的内核和相应的交叉开关大小,从而实现硬件效率和应用准确性之间的最佳权衡。NAX的结果表明,网络在不同的网络层上具有异构的交叉开关大小,并在考虑交叉开关的非理想性的情况下实现了最佳的硬件效率和准确性。在CIFAR-10和Tiny ImageNet上,与基线ResNet-20和ResNet-18模型相比,我们的模型分别实现了0.8%,0.2%的准确性和17%,4%的EDAP(能量延迟面积积)。
2021-06-23 cs.AI cs.AR cs.ET
Towards Efficient In-memory Computing Hardware for Quantized Neural Networks: State-of-the-art, Open Challenges and Perspectives
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学)
本文全面综述了基于存内计算(IMC)的量化神经网络(QNN),将软件量化方法与IMC硬件实现相联系,并提出了开放挑战、设计要求、建议、展望及硬件路线图。
2023-07-08 cs.AI cs.AR cs.ET
TMA: Tera-MACs/W Neural Hardware Inference Accelerator with a Multiplier-less Massive Parallel Processor
深度神经网络的计算密集型推理任务已经迫使新的加速器架构的革命,以减少功耗以及延迟。硬件推理加速器的关键指标是每瓦乘法累加运算(MAC/W)的数量,其中,最先进的MAC/W保持数百千兆MAC/W。我们提出了一个Tera-MACS/W神经硬件推理加速器(TMA),具有8位激活和小于1字节的可扩展整数权重。该架构的主要特征是用于矩阵向量运算的可配置神经处理元件。所提出的神经处理元件具有无乘法器的大规模并行处理器,无需任何乘法即可工作,这使得它对于节能高性能神经网络应用具有吸引力。我们使用在ImageNet上训练的Alexnet对系统延迟、功耗和性能进行基准测试。最后,我们比较了我们的加速器的吞吐量和功耗,以前的作品。所提出的加速器在能量和面积方面优于现有技术,实现2.3 TMACS/W@1.0 V,65 nm CMOS技术。
2019-09-08 cs.AR cs.DC eess.SP
Wireless Sensor Networks as Parallel and Distributed Hardware Platform for Artificial Neural Networks
The University of Toledo(托莱多大学)
本研究提出将无线传感器网络作为人工神经网络的大规模并行全分布式硬件平台,以实现超大规模问题的实时计算,有望突破现有计算局限并革新计算模式。
2025-10-30 cs.AR cs.DC cs.NE
LLM-Guided Neural Architecture Search for Robust Co-Design of Physical Neural Networks
University of California, Berkeley(加州大学伯克利分校);DeepMind(深度思维)
提出UH-NAS框架,利用大语言模型作为进化算子,协同优化任务准确率和推理能耗,实现跨硬件平台的公平比较,在光学MZI硬件上发现更鲁棒的架构。
2026-06-09 cs.AI cs.AR cs.LG
Learned Hardware/Software Co-Design of Neural Accelerators
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Google Research(谷歌研究院)
深度学习的使用以指数速度增长,从而产生了许多用于深度学习的专用硬件和软件系统。由于深度学习软件栈和硬件加速器的设计空间是多样和巨大的,因此先前的工作将软件优化与硬件架构分开考虑,从而有效地减少了搜索空间。不幸的是,这种分叉的方法意味着许多有利可图的设计点从未被探索过。相反,本文铸造的问题,硬件/软件协同设计,自动识别在联合设计空间中的理想点的目标。我们的解决方案的关键是一个新的约束贝叶斯优化框架,避免无效的解决方案,利用高度约束的功能,这是半连续/半离散的设计空间。我们通过将其应用于各种神经模型来评估我们的优化框架,与手动调整的最先进系统相比,将能量延迟产品提高了18%(ResNet)和40%(DQN),并在其他神经网络架构(如MLP和Transformers)上展示了强大的结果。
2020-10-05 cs.AI cs.AR cs.LG
Noisy Machines: Understanding Noisy Neural Networks and Enhancing Robustness to Analog Hardware Errors Using Distillation
Arm Research(Arm研究院);Arizona State University(亚利桑那州立大学)
深度学习的成功引发了人们对计算机硬件设计的兴趣,以更好地满足神经网络推理的高要求。特别地,基于电子、光学或光子器件,模拟计算硬件已经被特别地用于加速神经网络,这可以很好地实现比传统数字电子器件更低的功耗。然而,这些提出的模拟加速器受到其物理组件产生的固有噪声的影响,这使得在深度神经网络上实现高精度具有挑战性。因此,为了在模拟加速器上成功部署,必须能够训练深度神经网络,使其对网络权重中的随机连续噪声具有鲁棒性,这在机器学习中是一个新的挑战。在本文中,我们提出了噪声神经网络的理解。我们概述了一个嘈杂的神经网络如何降低学习能力的结果,其输入和输出之间的互信息的损失。为了解决这个问题,我们建议在训练过程中使用知识蒸馏结合噪声注入来实现更具噪声鲁棒性的网络,这在不同的网络和数据集(包括ImageNet)上进行了实验验证。与之前的最佳尝试相比,我们的方法实现的模型具有高达两倍的噪声容限,这是使模拟硬件适用于深度学习的重要一步。
2020-01-14 cs.AI cs.AR cs.LG
Algorithm and Hardware Co-design for Reconfigurable CNN Accelerator
Imperial College London(帝国理工学院);University College London(伦敦大学学院);University of Cambridge(剑桥大学);Hunan Normal University(湖南师范大学);Corerain Technologies Ltd.(科瑞斯科技有限公司)
深度神经网络(DNN)算法-硬件协同设计的最新进展已经证明了它们在自动设计神经架构和硬件设计方面的潜力。然而,由于昂贵的训练成本和耗时的硬件实现,它仍然是一个具有挑战性的优化问题,这使得对神经结构和硬件设计的巨大设计空间的探索变得棘手。在本文中,我们证明了我们提出的方法是能够定位设计的帕累托边界。这种能力是由一个新的三阶段协同设计框架实现的,具有以下新功能:(a)将DNN训练与硬件架构和神经架构的设计空间探索解耦,(b)通过在构造搜索单元时考虑硬件特性来提供硬件友好的神经架构空间,(c)采用高斯过程来预测精度,延迟和功耗,以避免耗时的合成和布局布线过程。与手动设计的ResNet 101、InceptionV 2和MobileNetV 2相比,我们可以在ImageNet数据集上实现高达5%的准确性和高达3倍的速度。与其他最先进的协同设计框架相比,我们发现的网络和硬件配置可以实现2% ~ 6%的准确性,2倍~ 26倍的延迟和8.5倍的能源效率。
2021-11-24 cs.AR cs.LG cs.SY
Hardware/Software Codesign for Training/Testing Multiple Neural Networks on Multiple FPGAs
大多数用于FPGA的神经网络设计是不灵活的。在本文中,我们提出了一个灵活的VHDL结构,将允许任何神经网络在多个FPGA上实现。此外,VHDL结构允许测试以及训练多个神经网络。VHDL设计由多个处理器组组成。有两种类型的处理器组:迷你向量机处理器组和激活处理器组。每个处理器组由单独的迷你向量机和激活处理器组成。迷你向量机将向量运算应用于数据,而激活处理器将激活函数应用于数据。实现了一个环形缓冲区来连接各个处理器组。
2020-03-23 cs.AR cs.LG cs.SE