vidax: A Unified JAX Framework for Video Generative Models on Accelerator Meshes
Massachusetts Institute of Technology（麻省理工学院）
vidax是一个开源的JAX/Flax推理引擎，统一了张量和序列并行，支持多种视频生成模型，在TPU上实现高效推理，并开源作为基线。
2026-09-17 cs.CV cs.DC cs.LG
Structured Model Pruning of Convolutional Networks on Tensor Processing Units
Google（谷歌）
卷积神经网络的部署通常受到高计算和存储要求的阻碍。结构化模型修剪是一种很有前途的方法，以减轻这些要求。以VGG-16模型为例，我们测量了张量处理单元（TPU）上各种结构化模型修剪方法和数据集（CIFAR-10和ImageNet）的准确性-效率权衡。为了衡量模型的实际性能，我们为TensorFlow 2开发了一个结构化的模型修剪库，以就地修改模型（而不是添加掩码层）。我们表明，结构化模型修剪可以显着提高TPU上的模型内存使用率和速度，而不会损失准确性，特别是对于小数据集（例如，CIFAR-10）。
2021-07-21 cs.AR cs.LG
Searching for Efficient Neural Architectures for On-Device ML on Edge TPUs
Google（谷歌）
设备上的ML加速器正在成为现代移动片上系统（SoC）的标准。神经架构搜索（NAS）可以有效地利用这些加速器提供的高计算吞吐量。然而，现有的NAS框架在扩展到多个任务和不同的目标平台方面有几个实际的限制。在这项工作中，我们提供了一个双管齐下的方法来应对这一挑战：（i）NAS使能基础设施，其将模型成本评估、搜索空间设计和NAS算法结合在一起，以快速针对各种设备上的ML任务，以及（ii）从基于组卷积的反向瓶颈（IBN）变体制作的搜索空间，其在ML加速器上提供灵活的质量/性能权衡，补充了现有的基于全卷积和去卷积的IBN。使用这种方法，我们针对最先进的移动平台Google Tensor SoC，并展示了神经架构，可以提高各种计算机视觉（分类，检测，分割）以及自然语言处理任务的质量性能帕累托边界。
2022-04-09 cs.CV cs.DC cs.LG
Accelerator Choice Is Not Enough: AlphaFold2 Inference on Cloud TPUs
LUISS Guido Carli University（路易吉·圭多·卡利大学（卢伊斯大学））；Al Akhawayn University（阿卡韦恩大学）
本文通过对比实验表明，AlphaFold2 推理性能不仅取决于加速器选择，软件层（执行路径、批处理、分片）同样关键，并量化了 TPU 与 GPU 的吞吐差异及跟踪编译开销。
2026-09-30 cs.DC cs.LG cs.PF
Mitigating Edge Machine Learning Inference Bottlenecks: An Empirical Study on Accelerating Google Edge Models
Carnegie Mellon University（卡内基梅隆大学）；University of Illinois at Urbana–Champaign（伊利诺伊大学厄巴纳-香槟分校）；Google（谷歌公司）；ETH Zürich（苏黎世联邦理工学院）
随着对边缘计算需求的增长，许多现代消费设备现在都包含边缘机器学习（ML）加速器，这些加速器可以计算各种神经网络（NN）模型，同时仍然适合严格的资源限制。我们使用24个Google边缘NN模型（包括CNN，LSTM，换能器和RCNN）分析了商业边缘TPU，并发现加速器在计算吞吐量，能源效率和内存访问处理方面存在三个缺点。我们全面研究了所有Google边缘模型中每个NN层的特征，发现这些缺点来自加速器的一刀切方法，因为不同模型和同一模型中不同层的关键层特征存在大量异质性。我们提出了一个新的加速框架，称为门萨。Mensa集成了多个异构ML边缘加速器（包括片上和近数据加速器），每个加速器都满足特定模型子集的特征。在运行时，Mensa将每个层安排在最适合的加速器上运行，同时考虑效率和层间依赖性。当我们分析Google edge NN模型时，我们发现所有层都自然地分组为少量的集群，这使得我们能够为这些模型设计一个高效的Mensa实现，只需三个专门的加速器。在所有24款Google Edge机型中，Mensa将能效和吞吐量分别提高了Edge TPU的3.0倍和3.1倍，以及Eyeriss v2的2.4倍和4.3倍。
2021-03-01 cs.AR cs.LG
High-level Modeling of Manufacturing Faults in Deep Neural Network Accelerators
The University of Texas at Dallas（得克萨斯大学达拉斯分校）；University of Missouri（密苏里大学）
数据驱动的实时应用的出现需要在机器学习加速器上实现深度神经网络（DNN）。谷歌的张量处理单元（TPU）就是这样一个神经网络加速器，它使用基于脉动阵列的矩阵乘法硬件进行计算。矩阵乘法单元的任何状态元素处的制造故障都可能在这些推理网络中引起意外错误。在本文中，我们提出了一个正式的模型，永久性故障及其传播的TPU使用离散时间马尔可夫链（DTMC）的形式主义。所提出的模型进行了分析，使用概率模型检验技术的原因故障输出的可能性。定量结果表明，永久性故障的分类精度与永久性故障的类型、位置、位数以及神经网络的层数有关。从我们的理论模型的结论已经验证了使用实验的数字识别为基础的DNN。
2020-10-26 cs.LG cs.PF stat.ML
Realtime Facial Expression Recognition: Neuromorphic Hardware vs. Edge AI Accelerators
University of South Carolina（南卡罗来纳大学）
本文针对实时面部表情识别，对比神经形态硬件（Intel Loihi）与四种边缘AI加速器，发现Loihi在保持同等精度和实时性下，功耗降低两个数量级、能耗节省一个数量级。
2024-01-30 cs.CV cs.LG cs.NE
ThUnderVolt: Enabling Aggressive Voltage Underscaling and Timing Error Resilience for Energy Efficient Deep Neural Network Accelerators
New York University（纽约大学）
越来越多地部署硬件加速器来提高深度神经网络（DNN）推理的性能和能效。在本文中，我们提出了Thundervolt，一个新的框架，使积极的电压降阶的高性能DNN加速器，而不影响分类精度，即使在存在高定时出错率。使用基于Google TPU建模的DNN加速器的合成后时序模拟，我们表明Thundervolt可以在最先进的语音和图像识别基准上节省34%-57%的能源，分类准确性损失不到1%，并且没有性能损失。此外，我们还证明了Thundervolt与常用的运行时DNN修剪技术（如Zero-Skip）具有协同作用，并可以进一步提高其能效。
2018-03-13 cs.AR cs.LG cs.NE
Benchmarking the Performance and Energy Efficiency of AI Accelerators for AI Training
Hong Kong Baptist University（香港浸会大学）
深度学习已广泛应用于复杂的人工智能应用中。然而，训练深度神经网络（DNN）模型需要大量的计算、长的运行时间和大量的能量。如今，众核AI加速器（例如，GPU和TPU）旨在提高AI训练的性能。然而，来自不同供应商的处理器在性能和能耗方面表现不一。为了研究几种流行的现成处理器之间的差异（即，英特尔CPU、英伟达GPU、AMD GPU和谷歌TPU）在训练DNN时，我们通过对一组代表性的深度学习工作负载进行基准测试，对这些处理器的性能和能效进行了全面的实证研究，包括计算密集型操作、经典卷积神经网络（CNN）、递归神经网络（LSTM）、Deep Speech 2和Transformer。与现有的端到端基准测试仅呈现训练时间不同，我们尝试调查硬件、供应商的软件库和深度学习框架对AI训练的性能和能耗的影响。我们的评估方法和结果不仅为最终用户选择合适的AI加速器提供了信息指南，而且还为硬件供应商提供了改进其软件库的机会。
2020-10-08 cs.DC cs.LG
A Silicon Photonic Accelerator for Convolutional Neural Networks with Heterogeneous Quantization
Colorado State University（科罗拉多州立大学）
卷积神经网络（CNN）中的参数量化可以帮助生成具有较低内存占用和计算复杂性的高效模型。但是，均匀量化可能导致CNN模型精度的显著降低。相比之下，异构量化是一种很有前途的方法来实现紧凑的，量化的模型具有更高的推理精度。在本文中，我们提出了HQNNA，一个CNN加速器的基础上非相干硅光子，可以加速均匀量化和非均匀量化的CNN模型。我们的分析表明，HQNNA实现了比最先进的光子CNN加速器高出73.8倍的每比特能量和高出159.5倍的吞吐量能量效率。
2022-05-17 cs.AR cs.LG
Podracer architectures for scalable Reinforcement Learning
DeepMind
支持最先进的人工智能研究需要平衡快速原型设计、易用性和快速迭代，并能够以传统上与生产系统相关的规模部署实验。TensorFlow、PyTorch和JAX等深度学习框架允许用户透明地使用TPU和GPU等加速器，以卸载现代深度学习系统中训练和推理的计算密集型部分。使用这些框架进行深度学习的流行训练管道通常专注于（非）监督学习。如何最好地训练强化学习（RL）代理的规模仍然是一个活跃的研究领域。在这份报告中，我们认为TPU特别适合以可扩展，高效和可重复的方式训练RL代理。具体来说，我们描述了两种架构，旨在最大限度地利用TPU Pod（Google数据中心中的一种特殊配置，具有通过极低延迟通信通道相互连接的多个TPU设备）上的可用资源。
2021-04-13 cs.LG
Ragged Paged Attention: A High-Performance and Flexible LLM Inference Kernel for TPU
Google（谷歌）
本文提出RPA，一种用于TPU的高性能注意力内核，通过细粒度分块、定制软件流水线和分布感知编译策略，提升TPU在动态不规则执行模式下的效率，实现在解码和预填充任务中达到86%和73%的利用率。
2026-04-16 cs.AI cs.LG cs.PF
PRUNIX: Non-Ideality Aware Convolutional Neural Network Pruning for Memristive Accelerators
University of Toronto（多伦多大学）；York University（约克大学）
在这项工作中，PRUNIX，一个框架，用于训练和修剪卷积神经网络提出了部署在忆阻器交叉杆为基础的加速器。PRUNIX考虑了忆阻器交叉杆的许多非理想效应，包括权重量化、状态漂移、老化和故障固定。PRUNIX利用一种新的组锯齿正则化，旨在提高非理想性容限以及稀疏性，以及一种新的自适应修剪算法（APA），旨在通过考虑CNN的不同层对修剪的敏感性来最大限度地减少准确性损失。我们将我们的正则化和修剪方法与多个CNN架构上的其他标准进行了比较，并观察到当量化和其他非理想效应被占时，测试精度提高了13%，总体稀疏度为85%，这与其他方法相似
2022-02-03 cs.AR cs.LG
Tetris: Re-architecting Convolutional Neural Network Computation for Machine Learning Accelerators
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
推理效率是设计深度学习加速器的主要考虑因素。以往的工作主要集中在跳过零值来处理显著的无效计算，而非零值中的零比特作为无效计算的另一个主要来源，往往被忽略。其原因在于在处理单元中进行乘加（MAC）操作期间提取必要比特的困难。基于现代深度卷积神经网络模型总权值中零比特所占比例高达68.9%的事实，提出了一种权值捏合技术，该技术可以同时消除权值为零或非零权值中零比特所导致的无效计算。此外，提出了一种分裂累加（SAC）计算模式来代替传统的MAC，并设计了相应的硬件加速器Tetris来支持硬件级的权重揉捏。实验结果证明，与最先进的基线相比，Tetris可以将推理速度提高1.50倍，并将功率效率提高5.33倍。
2018-11-14 cs.AR cs.LG
NeuroMAX: A High Throughput, Multi-Threaded, Log-Based Accelerator for Convolutional Neural Networks
Kansas State University（堪萨斯州立大学）
卷积神经网络（CNN）由于其巨大的计算成本，需要高吞吐量的硬件加速器用于实时的应用。大多数传统的CNN加速器依赖于单核线性处理元件（PE）结合1D卷积来加速卷积运算。这将每PE计数的峰值吞吐量的最大可实现比率限制为1。大多数过去的作品优化他们的硬件，以达到接近100%的硬件利用率，以达到这个比例。在本文中，我们介绍了一个高吞吐量，多线程，基于日志的PE核心。与具有相同输出位精度的单个线性乘法器PE核相比，所设计的核在每PE计数的峰值吞吐量方面提供了200%的增加，而面积开销仅增加6%。我们还提出了一个2D权重广播数据流，它利用PE核心的多线程特性来实现各种CNN的每层高硬件利用率。我们称之为NeuroMAX的整个架构在Xilinx Zynq 7020 SoC上以200 MHz处理时钟实现。详细的分析进行吞吐量，硬件利用率，面积和功耗故障，和延迟，以显示性能改善相比，以前的FPGA和ASIC设计。
2020-07-19 cs.AR cs.LG
ARTEMIS: A Mixed Analog-Stochastic In-DRAM Accelerator for Transformer Neural Networks
ARTEMIS是一种混合模拟-随机存内DRAM加速器，通过最小化DRAM改动并利用新型电容器支持随机计算和模拟累加，在加速Transformer时相比GPU、TPU等实现至少3.0倍速度提升和1.9倍能效改善。
2024-07-17 cs.AR cs.LG
PhotoGAN: Generative Adversarial Neural Network Acceleration with Silicon Photonics
Colorado State University（科罗拉多州立大学）
针对GAN在传统电子加速器上因转置卷积和实例归一化导致的高能耗与低效问题，提出首个硅光子加速器PhotoGAN，利用高吞吐量和稀疏优化，实现至少4.4倍GOPS提升和2.18倍EPB降低。
2025-01-23 cs.AR cs.LG
EcoFlow: Efficient Convolutional Dataflows for Low-Power Neural Network Accelerators
ETH Zurich（苏黎世联邦理工学院）；DeepMind（深度思维）；Xilinx（赛灵思）
扩张卷积和转置卷积广泛应用于现代卷积神经网络（CNN）中。这些内核广泛用于CNN训练和应用推理，如图像分割和高分辨率图像生成。虽然这些内核越来越受欢迎，但由于其高内存密度，exascale计算需求和大能耗，它们对当前的计算系统造成了压力。我们发现，基于空间架构的常用低功耗CNN推理加速器并没有针对这两个卷积核进行优化。扩张卷积和转置卷积在映射到底层空间架构时会引入大量的零填充，从而显著降低性能和能效。解决这个问题的现有方法需要对用于计算直接卷积的简单，高效和广泛采用的架构进行重大设计更改。为了应对这一挑战，我们提出了EcoFlow，一组新的卷积和映射算法的扩张和转置卷积。这些算法经过量身定制，可以在现有的低成本、小规模空间架构上高效执行，并且对现有加速器的片上网络的改动最小。EcoFlow通过仔细的流程编排和针对空间架构定制的数据映射消除了零填充。EcoFlow可在针对CNN推理进行优化的架构上实现灵活且高性能的转置和扩张卷积。我们评估了EcoFlow在CNN训练工作负载和生成对抗网络（GAN）训练工作负载上的效率。在我们新的周期精确模拟器中进行的实验表明，与最先进的CNN推理加速器相比，EcoFlow 1）将端到端CNN训练时间减少了7- 85%，2）将端到端GAN训练性能提高了29- 42%。
2022-02-04 cs.AR cs.LG
GROW: A Row-Stationary Sparse-Dense GEMM Accelerator for Memory-Efficient Graph Convolutional Neural Networks
KAIST（韩国科学技术院）；POSTECH（浦项科技大学）
图卷积神经网络（GCN）已经成为输入数据是相关的各种应用领域中的关键技术。GCN的一个独特属性是它的两个主要执行阶段（聚合和组合）表现出截然不同的数据流。因此，先前的GCN加速器通过将聚合和组合阶段铸造为一系列稀疏-密集矩阵乘法来解决这个研究空间。然而，以前的工作经常受到低效数据移动的影响，留下了大量的性能。我们提出了GROW，GCN加速器的基础上Gustavson的算法架构的行积的稀疏密集GEMM加速器。GROW共同设计的软件/硬件在GCN的局部性和并行性方面取得了平衡，与最先进的GCN加速器相比，实现了显著的能效改进。
2022-12-01 cs.AI cs.AR cs.LG
Energy efficiency in Edge TPU vs. embedded GPU for computer-aided medical imaging segmentation and classification
University of Cadiz（加的斯大学）；University of Seville（塞维利亚大学）
本研究评估了Edge TPU和嵌入式GPU在青光眼医学图像分割与分类中的时间与能耗性能，发现Edge TPU在预测速度和能效上均显著优于Maxwell GPU。
2023-11-20 cs.AI cs.CV cs.LG
SGCN: Exploiting Compressed-Sparse Features in Deep Graph Convolutional Network Accelerators
Yonsei University（延世大学）；Samsung Electronics（三星电子）；Seoul National University（首尔国立大学）
图卷积网络（GCN）由于克服了现有神经网络的有限适用性而变得越来越流行。GCN将任意结构的图作为输入，并执行一系列层，这些层利用图的结构来计算它们的输出特征。GCN的一个最新趋势是使用深度网络架构。与传统的GCN仅跨越约2至5层深度相反，现代GCN现在在剩余连接的帮助下包含数十至数百层。从这样的深GCN，我们发现一个重要的特点，他们表现出非常高的中间特征稀疏。我们观察到，随着深层和残余连接，中间特征中的零的数量急剧增加。这揭示了加速器在GCN执行中利用的新机会，这是以前不存在的。在本文中，我们提出了SGCN，一个快速，节能的GCN加速器，充分利用现代GCN的稀疏中间功能。SGCN提出了几种技术，以实现比现有加速器更高的性能和能源效率。首先，SGCN采用GCN友好的特征压缩格式。我们专注于减少片外内存流量，这往往是GCN执行的瓶颈。其次，我们提出了微架构无缝处理的压缩特征格式。第三，为了更好地处理在不同的稀疏性存在的局部性，SGCN采用稀疏感知的合作。稀疏感知的合作创建了一个模式，展示了多个重用窗口，这样缓存可以捕获不同大小的工作集，从而适应不同的稀疏程度。我们表明，SGCN实现了1.71倍的加速比和43.9%的高能效相比，现有的加速器。
2023-01-25 cs.AR cs.LG
H-GCN: A Graph Convolutional Network Accelerator on Versal ACAP Architecture
Washington State University（华盛顿州立大学）；Pacific Northwest National Laboratory（太平洋西北国家实验室）；Boston University（波士顿大学）；University of Rochester（罗切斯特大学）；Indiana University（印第安纳大学）
图神经网络（GNN）由于其将机器学习（ML）方法扩展到广泛定义为具有非结构化数据（特别是图）的应用的独特能力而引起了极大的关注。与其他机器学习（ML）模式相比，由于图类型学的不规则性和异构性，图神经网络（GNNs）的加速更具挑战性。然而，现有的工作主要集中在处理图的不规则性，并没有研究其异质性。为此，我们提出了H-GCN，这是一种基于PL（可编程逻辑）和AIE（AI引擎）的混合加速器，它利用Xilinx Versal自适应计算加速平台（ACAPs）的新兴异构性来实现高性能GNN推理。特别地，H-GCN基于其固有的异质性将每个图划分为三个子图，并分别使用PL和AIE处理它们。为了进一步提高性能，我们探索了AIE的稀疏支持，并开发了一种有效的密度感知方法来自动将稀疏矩阵-矩阵乘法（SpMM）的瓦片映射到收缩张量阵列上。与现有的GCN加速器相比，H-GCN加速器的平均加速比为1.1~ 2.3倍。
2022-06-28 cs.AR cs.LG
Tricking AI chips into Simulating the Human Brain: A Detailed Performance Analysis
Delft University of Technology（代尔夫特理工大学）；Erasmus Medical Center（伊拉斯姆斯医学中心）；Maxeler IoT Labs（Maxeler物联网实验室）
为了打破Nvidia的垄断，专用的AI加速器芯片已经开始出现，用于解决推理，特别是现代深度神经网络（DNN）的训练对现代计算机构成的计算挑战。该领域一直充斥着评估这些参赛者在各种DNN模型类型中表现的研究。然而，人工智能专家意识到当前DNN的局限性，并一直致力于第四次人工智能浪潮，可以说，这将依赖于更多的生物启发模型，主要是脉冲神经网络（SNN）。与此同时，GPU在计算神经科学领域被大量用于模拟此类模型，但AI芯片尚未在此类工作负载上进行测试。本文旨在通过评估多个尖端AI芯片（Graphcore IPU，GroqChip，Nvidia GPU with Tensor Cores和Google TPU）来填补这一重要空白，模拟大脑区域的高度生物详细模型，下橄榄（IO）。此IO应用程序对不同的AI平台进行压力测试，通过改变其计算密度，内存要求和浮点数值精度来突出架构权衡。我们的性能分析表明，模拟问题非常好地映射到GPU和TPU架构上，对于125，000个单元的网络，CPU运行时的加速分别为28倍和1，208倍。在这个速度下，TPU创造了最大实时IO模拟的新纪录。GroqChip在小型网络中的表现优于这两个平台，但由于实现了一些精度较低的浮点运算，因此还不能用于大脑模拟。
2023-01-31 cs.AR cs.LG
I-GCN: A Graph Convolutional Network Accelerator with Runtime Locality Enhancement through Islandization
Pacific Northwest National Laboratory（太平洋西北国家实验室）；Boston University（波士顿大学）；Rice University（莱斯大学）
图卷积网络（GCN）在过去的三年中引起了人们的极大关注。与其他深度学习模式相比，GCN的高性能硬件加速同样重要，但更具挑战性。由于真实世界图的大尺寸、高稀疏性和不规则的非零分布，数据局部性差和冗余计算是产生这些障碍的原因。在本文中，我们提出了一种新的硬件加速器GCN推理，称为I-GCN，显着提高数据的局部性，减少不必要的计算。该机制是一种新的在线图重构算法，我们称为孤岛化。该算法发现集群的节点具有强内部连接，但弱外部连接。岛屿化过程产生两个主要好处。首先，通过处理岛而不是单独的节点，有更好的片上数据重用和更少的片外存储器访问。其次，冗余计算较少，因为岛中的公共/共享邻居的聚合可以重用。图岛的并行搜索、识别和利用都是在运行时在增量管道中工作的纯硬件中处理的。这是在没有对图形数据进行任何预处理或调整GCN模型结构的情况下完成的。实验结果表明，I-GCN可以显着减少片外访问并修剪38%的聚合操作，导致CPU，GPU，现有技术GCN加速器的平均性能加速分别为5549倍，403倍和5.7倍。
2022-03-07 cs.AR cs.LG
MPNA: A Massively-Parallel Neural Array Accelerator with Dataflow Optimization for Convolutional Neural Networks
Vienna University of Technology (TU Wien)（维也纳工业大学（TU Wien））；Information Technology University (ITU)（信息技术大学（ITU））
用于卷积神经网络（CNN）的最先进的加速器通常只专注于加速卷积层，但不会优先考虑完全连接的层。因此，它们缺乏硬件架构的协同优化和用于完整CNN设计的不同流程，这可以提供更高的性能/能量效率潜力。为此，我们提出了一种新型的大规模并行神经阵列（MPNA）加速器，它集成了两个异构的脉动阵列和各自的高度优化的卷积模式，以共同加速卷积（CONV）和全连接（FC）层。除了充分利用可用的片外内存带宽之外，这些优化的FIFO还实现了所有数据类型（即，重量，输入和输出激活），从而使我们的MPNA实现高节能。我们使用28 nm技术的ASIC设计流程合成了我们的MPNA架构，并使用多个真实世界的复杂CNN进行了功能和时序验证。MPNA在280 MHz时达到149.7GOPS/W，功耗为239 mW。实验结果表明，我们的MPNA架构提供了1.7倍的整体性能提高相比，国家的最先进的加速器，和51%的节能相比，基线架构。
2018-10-30 cs.AR cs.DC cs.LG
Machine Learning Fleet Efficiency: Analyzing and Optimizing Large-Scale Google TPU Systems with ML Productivity Goodput
Google（谷歌）；Harvard University（哈佛大学）
针对大型Google TPU ML集群，提出MPG指标以衡量效率，并系统分析性能瓶颈，提供优化策略，实证显示显著改进。
2025-04-20 cs.LG
FPGA deep learning acceleration based on convolutional neural network
Chongqing University（重庆大学）
针对卷积神经网络（CNN）计算量大、计算时间长的问题，提出了一种基于现场可编程逻辑门阵列（FPGA）的卷积神经网络硬件加速器。首先，通过深入分析卷积层的前向运算原理，探索卷积层运算的并行性，设计了一种输入通道并行、输出通道并行、卷积窗口深度流水的硬件架构。然后在上述架构中，设计了一个完全并行的乘加树模块来加速卷积运算，设计了一个高效的窗口缓冲模块来实现卷积窗口的流水线运算。最终实验结果表明，本文提出的加速器能效比达到32.73 GOPS/W，比现有方案提高了34%，性能达到317.86 GOPS。
2020-11-17 cs.AR cs.LG
LW-GCN: A Lightweight FPGA-based Graph Convolutional Network Accelerator
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
已经引入了图卷积网络（GCN）来有效地处理非欧几里德图数据。然而，GCN在计算和存储器访问中引起大量的不规则性，这妨碍了传统神经网络加速器的有效使用。此外，现有的专用GCN加速器需要高存储容量，并且难以在资源有限的边缘设备上实现。在这项工作中，我们提出了LW-GCN，一个轻量级的基于FPGA的加速器与软硬件协同设计的过程，以解决不规则的计算和内存访问GCN推理。LW-GCN将主要的GCN运算分解为稀疏-密集矩阵乘法（SDMM）和密集矩阵乘法（DMM）。我们提出了一种新的压缩格式来平衡PE之间的工作负载并防止数据危险。此外，我们应用数据量化和工作负载平铺，并映射到一个统一的架构上的资源有限的硬件上的GCN推理的SDMM和DMM。在Xilinx Kintex-7 FPGA上使用三个流行的数据集对GCN和GraphSAGE进行了评估。与现有的CPU、GPU和最先进的基于FPGA的加速器相比，LW-GCN将延迟降低了60倍、12倍和1.7倍，并将能效提高了912倍。511 x和3.87x。此外，与NVIDIA最新的边缘GPU Jetson Xavier NX相比，LW-GCN分别实现了32倍的加速和84倍的节能。
2021-11-04 cs.AR cs.DC cs.LG
Using Convolutional Neural Networks for fault analysis and alleviation in accelerator systems
Thapar Institute of Engineering and Technology（塔帕尔工程技术学院）；PES College of Engineering（PES工程学院）
今天，神经网络是几乎所有技术领域突破的基础。它们在加速器中的应用最近在这些系统中产生了更好的性能和效率。与此同时，由于最新的（缩小的）半导体技术而导致的硬件故障越来越多，需要加以解决。由于加速器系统通常用于支持时间关键型应用，例如自动驾驶汽车或医疗诊断应用，因此必须消除这些硬件故障。我们的研究从系统的角度评估这些失败。基于我们的研究结果，我们发现关键的结果，系统的可靠性增强，我们进一步提出了一种有效的方法，以避免这些故障，以最小的硬件开销。
2021-12-05 cs.LG
Extended Bit-Plane Compression for Convolutional Neural Network Accelerators
Integrated Systems Laboratory, ETH Zurich（苏黎世联邦理工学院集成系统实验室）
在卷积神经网络在图像分类、目标检测、语音识别等方面取得巨大成功之后，现在，对于以低成本将这些计算密集型ML模型部署在严格功率约束的嵌入式和移动系统上以及对于推动数据中心中的吞吐量的需求不断增长。这引发了对专用硬件加速器的研究浪潮。它们的性能通常受到I/O带宽的限制，并且能量消耗主要由到片外存储器的I/O传输决定。我们介绍和评估一种新的，硬件友好的压缩方案的特征图内存在的卷积神经网络。我们表明，ResNet-34的平均压缩比相对于未压缩数据为4.4倍，比现有方法的增益为60%，压缩块需要<300位的顺序单元和最少的组合逻辑。
2018-10-01 cs.AI cs.AR cs.CV
SCNN: An Accelerator for Compressed-sparse Convolutional Neural Networks
NVIDIA（英伟达）；Massachusetts Institute of Technology（麻省理工学院）；UC-Berkeley（加州大学伯克利分校）；Stanford University（斯坦福大学）
卷积神经网络（CNN）已经成为机器学习的基础技术。高性能和极高的能效对于CNN在各种情况下的部署至关重要，特别是自动驾驶汽车、相机和电子个人助理等移动平台。本文介绍了稀疏CNN（SCNN）加速器架构，该架构通过利用训练期间网络修剪产生的零值权重和推理期间应用的常见ReLU算子产生的零值激活来提高性能和能效。具体来说，SCNN采用了一种新的卷积算法，可以在压缩编码中保持稀疏权重和激活，从而消除了不必要的数据传输并降低了存储要求。此外，SCNN低功耗有助于将这些权重和激活有效地传递到乘法器阵列，在那里它们被广泛地重用。此外，乘法积的累加是在一个新的累加器阵列中进行的。我们的研究结果表明，在当代神经网络上，SCNN可以将性能和能量分别提高2.7倍和2.3倍，而不是传统的密集CNN加速器。
2017-05-23 cs.AR cs.LG cs.NE
GCoD: Graph Convolutional Network Acceleration via Dedicated Algorithm and Accelerator Co-Design
Rice University（莱斯大学）；Pacific Northwest National Laboratory（太平洋西北国家实验室）
本文提出GCoD协同设计框架，通过分而治之的训练策略将图邻接矩阵极化为两种规则工作负载，并配合双引擎专用加速器分别处理，大幅提升GCN推理效率，相比CPU、GPU及现有加速器最高加速15286倍且不损失准确率。
2025-03-09 cs.AR cs.LG
GHOST: A Graph Neural Network Accelerator using Silicon Photonics
Colorado State University（科罗拉多州立大学）
本文提出首个面向图神经网络的硅光子硬件加速器GHOST，在光域分别实现GNN三个主要阶段，仿真显示其吞吐量和能效显著优于GPU、TPU及现有GNN加速器。
2023-07-04 cs.AI cs.AR cs.ET
EH-DNAS: End-to-End Hardware-aware Differentiable Neural Architecture Search
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Toyota Technological Institute at Chicago（芝加哥丰田工业大学）
在硬件感知的可区分神经架构搜索（DNAS）中，计算硬件度量的梯度以执行架构搜索是具有挑战性的。现有的作品依赖于线性近似与有限的支持定制的硬件加速器。在这项工作中，我们提出了端到端硬件感知DNAS（EH-DNAS），端到端硬件基准测试的无缝集成，以及完全自动化的DNAS，以在各种平台上提供硬件高效的深度神经网络，包括边缘GPU，边缘TPU，移动CPU和定制加速器。给定一个期望的硬件平台，我们建议学习一个可微模型预测端到端的硬件性能的神经网络架构的DNAS。我们还推出了E2 E-Perf，这是一款用于定制加速器的端到端硬件基准测试工具。在CIFAR 10和ImageNet上的实验表明，EH-DNAS在保持分类精度的前提下，在自定义加速器上平均提高了$1.4\times$，在现有硬件处理器上平均提高了$1.6\times$。
2021-11-24 cs.LG
SafeLight: Enhancing Security in Optical Convolutional Neural Network Accelerators
Colorado State University（科罗拉多州立大学）；University of Kentucky（肯塔基大学）
针对光学神经网络（ONN）加速器面临的硬件木马（HT）攻击威胁，本文分析其对CNN模型性能的影响，提出增强鲁棒性的技术以恢复精度下降，提升光学卷积神经网络加速器的安全性。
2024-11-22 cs.AR cs.CR cs.LG
A GPU-Outperforming FPGA Accelerator Architecture for Binary Convolutional Neural Networks
Arizona State University（亚利桑那州立大学）；Nanyang Technological University（南洋理工大学）
基于FPGA的卷积神经网络（CNN）硬件加速器由于其比GPU更高的能量效率而受到广泛关注。然而，基于FPGA的解决方案要实现比GPU更高的吞吐量是具有挑战性的。在本文中，我们证明了当CNN在权重和激活的二进制约束下进行训练时，FPGA加速在吞吐量和能效方面都是一种优越的解决方案。具体来说，我们提出了一种优化的FPGA加速器架构，专为逐位卷积和归一化而设计，具有大规模的空间并行性和深流水线阶段。FPGA加速器的一个关键优势是其性能对数据批量大小不敏感，而GPU加速的性能在很大程度上取决于数据的批量大小。实验结果表明，在Virtex-7 FPGA上运行的二进制CNN的加速器架构比Titan X GPU快8.3倍，能效高75倍，可以处理小批量的在线个人请求。对于处理大批量静态数据，该解决方案在吞吐量方面与Titan X GPU不相上下，同时提供9.5倍的能效。
2017-06-08 cs.AR cs.CV cs.DC
High Performance Scalable FPGA Accelerator for Deep Neural Networks
Intel Corporation（英特尔公司）
低精度是实现更高人工智能操作（AI-TOPS）的第一步。然而，子8位精度计算的算法空间是多种多样的，经常发生破坏性的变化，使FPGA成为深度神经网络推理的自然选择，在这项工作中，我们提出了一个基于FPGA的加速器，用于CNN推理加速。我们使用{ \it INT-8-2}计算（具有{ \it 8 bit}激活和{2 bit}权重），该计算最近在文献中显示出前景，并且目前没有已知的ASIC、CPU或GPU原生支持。使用基于自适应逻辑模块（ALM）的新型设计，与传统的基于DSP的设计不同，我们能够为{ \it Arria 10}实现5个AI-TOPS的高性能测量，并为{ \it Stratix 10}在0.7 TOPS/W下预测76个AI-TOPS的性能。这超过了已知的CPU，GPU性能，接近最知名的ASIC（TPU）数字，同时保留了FPGA平台对其他应用的多功能性。
2019-08-29 cs.DC cs.LG
Systolic-CNN: An OpenCL-defined Scalable Run-time-flexible FPGA Accelerator Architecture for Accelerating Convolutional Neural Network Inference in Cloud/Edge Computing
Arizona State University（亚利桑那州立大学）
本文介绍了Systolic-CNN，这是一种OpenCL定义的可扩展、运行时间灵活的FPGA加速器架构，经过优化，可加速多租户云/边缘计算中各种卷积神经网络（CNN）的推理。由于在运行时间支持多个CNN模型的灵活性有限，以及可扩展性差，导致FPGA资源利用不足和计算并行性有限，因此现有的用于CNN推理的OpenCL定义的FPGA加速器是不够的。Systolic-CNN采用了高度流水线化的一维脉动阵列结构，有效地探索了空间和时间并行性，以加速FPGA上的CNN推理。Systolic-CNN是高度可扩展和参数化的，用户可以很容易地对其进行调整，以实现粗粒度计算资源的高达100%的利用率（即，DSP块）。Systolic-CNN在多租户云/边缘计算的背景下也具有运行时间灵活性，可以在运行时间分时加速各种CNN模型，而无需重新编译FPGA内核硬件或重新编程FPGA。基于Intel Arria/Stratix 10 GX FPGA开发板的实验结果表明，对于AlexNet、ResNet-50、ResNet-152、RetinaNet和Lightweight RetinaNet，Systolic-CNN的优化单精度实现可以实现7 ms/2 ms、84 ms/33 ms、202 ms/73 ms、1615 ms/873 ms和900 ms/498 ms的平均推理延迟，分别代码可在https://g…
2020-12-06 cs.AI cs.AR cs.LG
Integrated Hardware Architecture and Device Placement Search
Georgia Institute of Technology（佐治亚理工学院）；Microsoft Research（微软研究院）
本文首次提出协同优化硬件架构与设备放置策略的算法，利用ILP和动态规划，在TPUv4和Spotlight之上提升大语言模型训练吞吐量。
2024-07-18 cs.AR cs.DC cs.LG
Slice-and-Forge: Making Better Use of Caches for Graph Convolutional Network Accelerators
Yonsei University（延世大学）；Samsung Electronics（三星电子）；Seoul National University（首尔国立大学）
图卷积网络（GCN）正变得越来越流行，因为它们可以处理各种各样的数据格式，而这些格式是之前的深度神经网络无法轻松支持的。设计GCN硬件加速器的一个关键挑战是其数据访问模式的巨大规模和随机性，这大大降低了有限的片上缓存的有效性。为了通过减少不规则的数据访问来提高缓存的有效性，以前的研究通常采用传统图处理应用中使用的顶点分片技术。虽然这些方法在提高缓存效率方面是有效的，但它们通常对平铺配置敏感，其中最佳设置严重依赖于目标输入数据集。此外，现有的解决方案需要通过试错法进行手动调整，或者依赖于次优的分析模型。在本文中，我们提出了切片和锻造（SnF），一个有效的硬件加速器GCN大大提高了有限的片上缓存的有效性。SnF选择了一种名为特征切片的平铺策略，该策略将特征拆分为垂直切片，并在执行的最外层循环中处理它们。这种特定的选择导致在多轮上对不规则图形数据重复相同的计算模式。利用这样的重复，SnF动态地调整其瓦片大小。我们的实验结果表明，SnF可以实现1.73倍更高的性能在几何相比，以前的工作多引擎设置，和1.46倍更高的性能在几何在小规模的设置，而不需要离线分析。
2023-01-24 cs.AR cs.DC cs.LG
I Know What You See: Power Side-Channel Attack on Convolutional Neural Network Accelerators
The Chinese University of Hong Kong（香港中文大学）；Sangfor Technologies Inc.（深信服科技股份有限公司）
深度学习已成为各种感知问题的事实上的计算范式，包括许多隐私敏感应用，例如在线医学图像分析。毫无疑问，这些深度学习系统的数据隐私是一个严重的问题。与以往研究侧重于利用深度学习模型的隐私泄漏不同，本文提出了对深度学习模型实现的第一次攻击。具体来说，我们对基于FPGA的卷积神经网络加速器进行攻击，并且在不知道神经网络中的详细参数的情况下，我们设法从收集的功率迹线恢复输入图像。对于MNIST数据集，我们的功率侧信道攻击能够实现高达89%的识别准确率。
2019-11-29 cs.CV cs.LG
High Throughput Multi-Channel Parallelized Diffraction Convolutional Neural Network Accelerator
George Washington University（乔治华盛顿大学）；University of California, Los Angeles（加州大学洛杉矶分校）
卷积神经网络在包括相关分类和训练任务的图像和信号处理中至关重要，并且构成了当今大多数机器学习计算需求。由于卷积运算是计算密集型的，下一代硬件加速器需要提供并行化和算法硬件同态。幸运的是，衍射显示光学器件能够以低延迟进行百万通道并行数据处理，然而，到目前为止，仅显示出数十赫兹的慢单个图像和内核能力，从而显着低于其性能潜力。在这里，我们展示了一个操作并行化的高吞吐量傅里叶光学卷积神经网络加速器。对于第一次同时处理多个内核在傅立叶域启用光学衍射已经实现了与已经常规的现场输入并行。此外，我们还展示了比现有的基于光学衍射的处理器快100倍的系统速度，这一演示可与现代电子解决方案的性能相媲美。因此，该系统能够比现有技术的电子系统快十倍地处理大规模矩阵。
2022-07-07 cs.LG physics.optics
SAfEPaTh: A System-Level Approach for Efficient Power and Thermal Estimation of Convolutional Neural Network Accelerator
IMEC（IMEC（微电子研究中心））
本文提出SAfEPaTh，一种针对基于分块的CNN加速器的系统级功耗与温度估计方法，无需电路级仿真即可在500秒内准确评估稳态和瞬态场景，助力加速器设计优化。
2024-07-24 cs.LG cs.PF
Field-Programmable Deep Neural Network (DNN) Learning and Inference accelerator: a concept
Western Digital（西部数据）
加速器是一种专门的集成电路，旨在执行特定的计算速度比CPU或GPU更快。提出了一种采用混合脉动和非脉动技术、分布式信息控制和深度流水线结构的现场可编程DNN学习和推理加速器（FProg-DNN），并给出了其微结构和操作。可重配置性涉及不同的DNN设计，并允许将不同数量的工作者分配给不同的层，作为层之间计算负载的相对差异的函数。沿着流水线加速器结构，每层的计算延迟大致相同。VGG-16和最近提出的Inception模块用于显示FProg-DNN可重构性的灵活性。还添加了特殊的结构，用于卷积层，映射重合和反馈的组合，用于最先进的学习，具有少量示例，这是作者的配套论文的重点（Franca-Neto，2018）。所描述的加速器能够从（1）在次优性能的一个极端中将所有DNN计算分配给单个工作器重新配置为（2）根据要实现的每个DNN层中的计算负载来最优地分配每层工作器。由于采用了流水线架构，相对于GPU或TPU，实现了超过50倍的加速。这种加速是将DNN中从一层到下一层传输激活输出的延迟隐藏在接收层中的计算之后的结果。这个FProg-DNN概念已经在行为功能层面进行了模拟和验证。
2018-03-22 cs.LG cs.NE
Origami: A 803 GOp/s/W Convolutional Network Accelerator
ETH Zurich（苏黎世联邦理工学院）
越来越多的计算机视觉和图像/视频处理挑战正在使用深度卷积神经网络来解决，从而在对象识别和检测、语义分割、动作识别、光流和超分辨率方面获得最先进的结果。这些算法的硬件加速对于在嵌入式和移动计算机视觉系统中采用这些改进是必不可少的。我们提出了一个新的架构，设计和实施，以及第一次报告的硅测量这样的加速器，优于以前的工作在功率，面积和I/O效率。所制造的器件在UMC 65 nm技术的3.09 mm^2硅上提供高达196 GOp/s的功率，并可实现803 GOp/s/W的功率效率。大幅降低的带宽要求使其成为首个可扩展到TOp/s性能的架构。
2016-01-19 cs.AI cs.CV cs.LG
Loom: Exploiting Weight and Activation Precisions to Accelerate Convolutional Neural Networks
University of Toronto（多伦多大学）
介绍了一种用于卷积神经网络（CNN）的硬件推理加速器Loom（LM）。在LM中，可以节省的每一位数据精度都转化为成比例的性能增益。具体来说，对于卷积层，LM的执行时间与权重和激活的精度成反比。对于全连接层，LM的性能与权重的精度成反比。LM的目标是面积和带宽受限的片上系统设计，例如那些在移动设备上无法负担存储片上每层所需的多兆字节缓冲区的设计。因此，在给定数据带宽预算的情况下，LM相对于等效的位并行加速器提高了能量效率和性能。对于权重和激活，LM可以利用轮廓导出的每层精度。然而，在运行时，LM进一步以比层粒度小得多的粒度调整激活精度。此外，它可以自然地以比层更小的粒度利用权重精度可变性。平均而言，在几个图像分类CNN中，对于每个周期可以执行相当于128个16 b x 16 b乘法累加操作的配置，LM的性能比最先进的位并行加速器[1]高出4.38倍，而精度没有任何损失，同时能效高出3.54倍。LM可以在执行性能和能源效率的额外改进上权衡准确性，并且与仅针对激活精度的加速器相比是有利的。我们还研究了2位和4位LM变体，发现每周期2位变体是最节能的。
2018-05-16 cs.AR cs.DC cs.LG
CoDR: Computation and Data Reuse Aware CNN Accelerator
University of Michigan（密歇根大学）
计算和数据重用对于资源有限的卷积神经网络（CNN）加速器至关重要。本文提出了通用计算重用，以在卷积层中同时利用权重稀疏性，重复性和相似性。此外，CoDR通过提出定制的行程长度编码方案来降低权重存储器访问的成本，并且通过引入输入和输出稳态递归来减少对中间结果的存储器访问的次数。与最近两个面积相同为2.85 mm^2的压缩CNN加速器相比，CoDR将SRAM访问减少了5.08倍和7.99倍，能耗减少了3.76倍和6.84倍。
2021-04-20 cs.AI cs.AR cs.LG
PCNNA: A Photonic Convolutional Neural Network Accelerator
The George Washington University（乔治华盛顿大学）
卷积神经网络（CNN）已经成为许多应用的核心，包括但不限于计算机视觉、语音处理和自然语言处理（NLP）。然而，计算上昂贵的卷积运算对CNN的性能和可扩展性提出了许多挑战。并行地，传统上用于数据通信的光子系统由于其高带宽、低功耗和可重构性而近来在数据处理方面受到欢迎。在这里，我们提出了一个光子卷积神经网络加速器（PCNNA）作为概念设计的证明，以加速卷积神经网络的卷积运算。我们的设计是基于最近推出的硅光子微权重银行，它使用广播和重量协议来执行乘法和累加（MAC）操作和移动数据通过层的神经网络。在这里，我们的目标是利用波分复用（WDM）形式的光子学固有并行性与CNN中输入特征映射和内核之间连接的稀疏性之间的协同作用。虽然我们的完整系统设计在执行时间上提供了超过3个数量级的加速，但与最先进的电子同行相比，其光学核心可能提供超过5个数量级的加速。
2018-07-23 cs.ET cs.LG eess.SP
Improving Memory Utilization in Convolutional Neural Network Accelerators
CSEM SA（瑞士电子与微技术中心）；Swiss Federal Institute of Technology, ETH Zurich（苏黎世联邦理工学院）；University of Bologna（博洛尼亚大学）
虽然通过引入更大更深的网络架构，卷积神经网络的准确性得到了巨大的提高，但存储其参数和激活的内存占用也有所增加。这一趋势尤其挑战了功率和资源有限的加速器设计，这些设计通常限于将所有网络数据存储在片上存储器中，以避免连接高能耗的外部存储器。因此，最大化适合给定加速器的网络大小需要最大化其内存利用率。虽然传统上使用的乒乓缓冲技术是后续激活层映射到分离的内存区域，我们提出了一种映射方法，允许这些区域重叠，从而更有效地利用内存。这项工作提出了计算最大激活内存重叠的数学模型，从而计算在内存有限的加速器上执行卷积神经网络逐层处理所需的片上内存的下限。我们对各种真实世界对象检测器网络的实验表明，与传统的乒乓缓冲相比，所提出的映射技术可以将激活内存减少高达32.9%，将整个网络的总内存减少高达23.9%。对于更高分辨率的去噪网络，我们实现了48.8%的激活内存节省。此外，我们在基于FPGA的摄像头上实现了一个人脸检测器网络，以在一个完整的端到端系统上验证这些内存节省。
2021-04-06 cs.CV cs.LG cs.NE
A Winograd-based Integrated Photonics Accelerator for Convolutional Neural Networks
神经网络（NN）在过去十年中已经成为人工智能（AI）复兴的主流技术。在不同类型的神经网络中，卷积神经网络（CNN）已经被广泛采用，因为它们在诸如计算机视觉和语音识别的许多领域中取得了领先的结果。这一成功部分是由于广泛可用的有能力的底层硬件平台。应用一直是这种硬件架构设计的驱动因素。硬件专业化可以让我们接触到新颖的架构解决方案，这些解决方案在处理手头的任务时可以胜过通用计算机。虽然不同的应用需要不同的性能指标，但它们都将速度和能效作为高度优先事项。与此同时，光子学处理由于其继承的高速和低功耗特性而重新兴起。在这里，我们通过提出一个基于Winograd滤波算法的CNN加速器设计，研究了在CNN中使用光子学的潜力。我们的评估结果表明，虽然光子加速器可以在速度和功率方面与当前最先进的电子平台竞争，但它有可能将能源效率提高三个数量级。
2019-12-04 cs.DC cs.ET cs.LG
CondConv: Conditionally Parameterized Convolutions for Efficient Inference
Google Brain（谷歌大脑）
卷积层是现代深度神经网络的基本构建块之一。一个基本假设是卷积核应该为数据集中的所有示例共享。我们提出了条件参数化卷积（CondConv），它为每个示例学习专门的卷积核。用CondConv替换常规卷积使我们能够增加网络的大小和容量，同时保持有效的推理。我们证明了使用CondConv扩展网络可以提高几种现有卷积神经网络架构在分类和检测任务上的性能和推理成本权衡。在ImageNet分类上，我们应用于EfficientNet-B 0的CondConv方法实现了78.3%的准确率，仅需4.13亿次乘加。CondConv Tensorflow层和CondConv-EfficientNet模型的代码和检查点可在https://github.com/tensorflow/tpu/tree/master/models/official/efficientnet/condconv上找到。
2020-09-04 cs.AI cs.CV cs.LG
AWB-GCN: A Graph Convolutional Network Accelerator with Runtime Workload Rebalancing
Boston University（波士顿大学）；Pacific Northwest National Laboratory（太平洋西北国家实验室）；The University of Hong Kong（香港大学）；Zhejiang University（浙江大学）；Microsoft（微软）
深度学习系统已成功应用于图像、视频和音频等欧几里德数据。然而，在许多应用中，信息及其关系用图来表达更好。图卷积网络（GCN）是一种有效的图数据结构学习方法，在许多关键应用中显示出了优势。与其他深度学习模式一样，硬件加速至关重要。挑战在于现实世界的图形通常非常大且不平衡;这带来了显著的性能要求和设计挑战。在本文中，我们提出了自动调整-平衡-平衡GCN（AWB-GCN），以加速GCN推理。为了解决在处理真实世界的图形的工作负载不平衡的问题，提出了三个基于硬件的自动调整技术：动态分布平滑，远程切换，行重映射。特别是，AWB-GCN持续监控稀疏图模式，动态调整大量处理元素（高达4K PE）之间的工作负载分布，并在收敛后重用理想配置。使用Intel D5005 FPGA和五个常用数据集进行评估。结果表明，4K-PE AWB-GCN可以将PE利用率平均提高7.7倍，并在CPU（3255倍），GPU（80.3倍）和先前的GCN加速器（5.1倍）上表现出相当大的性能加速。
2020-09-11 cs.DC cs.LG
Pipelined Training with Stale Weights of Deep Convolutional Neural Networks
University of Toronto（多伦多大学）
随着卷积神经网络（CNN）复杂性的增长，人们越来越关注在训练过程中将网络划分为多个加速器，并在加速器上流水线化反向传播计算。现有的方法通过诸如微缓存或权重存储的技术来避免或限制陈旧权重的使用。这些技术要么未充分利用加速器，要么增加内存占用。我们探索了过时权重对流水线反向传播方案中统计效率和性能的影响，该方案可最大化加速器利用率并保持适度的内存开销。我们使用4个CNN（LeNet-5，AlexNet，VGG和ResNet），并表明当流水线仅限于网络中的早期层时，使用陈旧权重的训练会收敛，并导致模型的推理精度与MNIST和CIFAR-10数据集上的非流水线训练结果相当; 4个网络的精度分别下降了0.4%，4%，0.83%和1.45%。然而，当流水线在网络中更深时，推理精度会显着下降。我们建议结合流水线和非流水线训练的混合方案，以解决这个下降。我们使用ResNet在2个GPU上演示了PyTorch中的流水线反向传播的实现和性能，在1个GPU的基线上实现了高达1.8倍的加速，推理精度略有下降。
2019-12-29 cs.DC cs.LG
Convolutional Neural Network Quantization using Generalized Gamma Distribution
Samsung Electronics（三星电子）
随着使用卷积神经网络（CNN）模型的边缘应用的增长，有必要引入专用硬件加速器，其中网络参数和特征图数据以有限的精度表示。在本文中，我们提出了一种新的量化算法的硬件加速器的能源效率的部署。对于权重和偏置，确定小数部分的最佳比特长度，使得量化误差在它们的分布上最小化。对于特征映射数据，利用广义伽马分布（GGD）对样本分布进行近似，并通过GGD的渐近封闭形式求解得到最优量化步长。所提出的量化算法具有比先前针对CNN提出的其他量化方案更高的信号量化噪声比（SQNR），并且甚至可以通过调整量化参数来进一步改进，从而在功耗和内存带宽方面有效地实现CNN的硬件加速器。
2018-10-31 cs.AI cs.LG cs.NE
