arXiv 2109.076012021-09-15cs.LGcs.AIcs.SYeess.IVeess.SY

一种基于列流的卷积引擎和CNN边缘AI加速器映射算法

A Column Streaming-Based Convolution Engine and Mapping Algorithm for CNN-based Edge AI accelerators

Weison Lin, Tughrul Arslan

摘要：

边缘人工智能加速器已成为无人机（UAV）、图像识别传感器、可穿戴设备、机器人和遥感卫星等领域近距离客户应用的解决方案。这些应用不仅需要满足性能目标，而且由于其便携式移动功能和有限的电源，还需要满足严格的面积和功率限制。因此，本文提出了一种基于列流式传输的卷积引擎，其包括处理元件的列集合，以在边缘AI加速器中适用于不同CNN算法方面具有灵活性。与商业化的CNN加速器相比，关键结果表明，基于列流的卷积引擎需要类似的执行周期来处理227 x 227的特征图，同时避免零填充惩罚。

英文摘要：

Edge AI accelerators have been emerging as a solution for near customers' applications in areas such as unmanned aerial vehicles (UAVs), image recognition sensors, wearable devices, robotics, and remote sensing satellites. These applications not only require meeting performance targets but also meeting strict area and power constraints due to their portable mobility feature and limited power sources. As a result, a column streaming-based convolution engine has been proposed in this paper that includes column sets of processing elements design for flexibility in terms of the applicability for different CNN algorithms in edge AI accelerators. Comparing to a commercialized CNN accelerator, the key results reveal that the column streaming-based convolution engine requires similar execution cycles for processing a 227 x 227 feature map with avoiding zero-padding penalties.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

阅读原文

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

本文内容

摘要英文摘要相关论文

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

继续探索

相关论文

基于网格的NoC数据流和流量收集用于深度神经网络加速

Data Streaming and Traffic Gathering in Mesh-based NoC for Deep Neural Network Acceleration

University of Nevada, Las Vegas（内华达大学拉斯维加斯分校）；Southern China Institute of Technology（华南理工学院）

深度神经网络（DNN）应用的日益普及要求高计算能力和高效的硬件加速器架构。DNN加速器使用大量处理元件（PE）和片上存储器来存储权重和其他参数。作为DNN加速器的通信骨干，片上网络（NoC）在支持各种并行模式和实现DNN加速器中具有通信并行性的处理方面起着重要作用。然而，广泛使用的基于网格的NoC架构本质上不能支持DNN工作负载中大量存在的高效的一对多和多对一流量。在本文中，我们提出了一个修改后的网状结构与单向/双向流总线，以加快一对多（多播）流量，并使用收集数据包，以支持多对一（收集）流量。对卷积层的运行时延迟的分析表明，对于输出固定（OS）卷积低架构，双向流传输架构比单向流传输架构实现了更好的改进。仿真结果表明，收集数据包可以帮助减少运行时延迟高达1.8倍，网络功耗高达1.7倍，相比重复单播方法的修改后的网状结构，支持双向流。

2021-08-01cs.ARcs.DCcs.LG

SATAY：一种用于在FPGA设备上加速YOLO模型的流式架构工具流

SATAY: A Streaming Architecture Toolflow for Accelerating YOLO Models on FPGA Devices

Imperial College London（伦敦帝国学院）

SATAY提出一种流式架构工具流，在FPGA上以深度流水线方式完整实现YOLO模型，通过新型硬件组件和片外缓冲，实现超低延迟边缘目标检测，性能与能耗优于现有FPGA加速器。

2023-09-04cs.ARcs.CVcs.LG

面向精确高效存内计算加速器的权重与部分和按列量化

Column-wise Quantization of Weights and Partial Sums for Accurate and Efficient Compute-In-Memory Accelerators

Sungkyunkwan University（成均馆大学）

该研究提出权重与部分和按列对齐量化方法及开源CIM卷积框架，在保持硬件效率的同时提升DNN准确率，并增强对存储单元变化的鲁棒性。

2025-03-13cs.AIcs.ARcs.LG

Tessera：用于UMA边缘加速器的安全近线率权重流

Tessera: Secure, Near-Line-Rate Weight Streaming for UMA Edge Accelerators

Indian Institute of Technology (IIT) Ropar（印度理工学院（IIT）罗帕尔）

Tessera通过在UMA边缘加速器上实现缓存行粒度的权重解密，解决了传统防御方法在受限环境下的不足，实现了接近理论内存带宽上限的性能，同时有效抵御多种攻击。

2026-04-25cs.ARcs.CRcs.LG

面向不规则张量的快速准确双路流式PARAFAC2分解——算法与应用

Fast and Accurate Dual-Way Streaming PARAFAC2 for Irregular Tensors -- Algorithm and Application

Seoul National University（首尔国立大学）

本文提出Dash方法，通过划分新旧数据项并引入遗忘因子，在双路流式场景下实现不规则张量PARAFAC2分解的高效准确计算，速度最高达现有方法的14倍，并成功应用于次贷危机和COVID-19异常检测。

2023-05-28cs.IRcs.LG

基于包围学习的粒子加速器电力电子故障预测

Fault Prognosis in Particle Accelerator Power Electronics Using Ensemble Learning

Oak Ridge National Laboratory（橡树岭国家实验室）

早期故障检测和故障预测对于确保复杂工程系统（如Spanish中子源（SNS）及其电力电子设备（高压转换器调制器））的高效和安全运行至关重要。在模拟SNS操作条件的先进实验设施设置之后，作者成功地进行了21次故障预测实验，其中故障前兆在系统中引入到足以引起波形信号退化的程度，但不足以达到真正的故障。九种不同的机器学习技术的基础上集成树，卷积神经网络，支持向量机，分层投票集成提出了检测故障的前兆。尽管所有9个模型在训练和测试阶段都表现出完美和相同的性能，但一旦暴露于21个实验的真实数据，大多数模型的性能在预测阶段就会下降。分层投票集成具有多层不同的模型，在故障前兆的早期检测中保持了出色的性能，成功率为95%（20/21测试），其次是adaboost和极端随机树，成功率分别为52%和48%。支持向量机模型是最差的，只有24%的成功率（5/21测试）。该研究得出的结论是，在SNS或粒子加速器动力系统中成功实施机器学习需要对控制器和数据采集系统进行重大升级，以促进机器学习模型的大数据流和处理。此外，这项研究表明，表现最好的模型是多样化的，并基于集成概念，以减少个别模型的偏差和超参数敏感性。

2022-09-30cs.LGcs.SYeess.SY

更多相关论文收起更多论文

面向基于交叉阵列的模拟存内加速器中ADC效率提升的剪枝方法

Pruning for Improved ADC Efficiency in Crossbar-based Analog In-memory Accelerators

School of Electrical and Computer Engineering, Purdue University（普渡大学电气与计算机工程学院）

本文提出交叉阵列适配剪枝方法D.U.B.，通过限制稀疏度为2的离散幂并鼓励列间非结构化与平衡稀疏性，有效降低模数转换器能耗，在VGG11和ResNet18上实现最高7.13倍ADC能效提升且准确率下降不到1%。

2024-03-19cs.ETcs.LG

面向高效端到端边缘部署的二值化 Transformer 与硬件加速器协同设计

Co-Designing Binarized Transformer and Hardware Accelerator for Efficient End-to-End Edge Deployment

School of Electronic Science and Engineering, Nanjing University（南京大学电子科学与技术学院）；Department of Computer Science and Engineering, Chinese University of Hong Kong（香港中文大学计算机科学与工程系）；School of Integrated Circuits, Sun Yat-sen University（中山大学集成电路学院）

本文提出 BMT 二值化 Transformer、BAT 加速器及设计空间联合优化方法，在精度、延迟和鲁棒性间取得平衡，并显著提升边缘部署的吞吐量与能效。

2024-07-16cs.AIcs.LG

SCATTER：具有耐热、高能效原位光再分配的算法-电路联合稀疏光子加速器

SCATTER: Algorithm-Circuit Co-Sparse Photonic Accelerator with Thermal-Tolerant, Power-Efficient In-situ Light Redistribution

Arizona State University（亚利桑那州立大学）；Rensselaer Polytechnic Institute（伦斯勒理工学院）

本文提出SCATTER算法-电路联合稀疏光子加速器，结合原位光再分配、功率门控与串扰感知稀疏训练，在保持精度的同时实现511倍面积缩减和12.4倍功耗节省。

2024-07-07cs.ARcs.ETcs.LG

大型矩阵分解的随机子采样方法

Stochastic Subsampling for Factorizing Huge Matrices

我们提出了一个矩阵分解算法，缩放到输入矩阵的行数和列数都很大。学习的因素可能是稀疏或密集和/或非负的，这使得我们的算法适合字典学习，稀疏分量分析和非负矩阵分解。我们的算法流矩阵列，同时对它们进行二次采样，以迭代地学习矩阵因子。在每次迭代中，通过二次采样减少新样本的行维度，从而与简单的流式算法相比具有更低的时间复杂度。我们的方法具有收敛保证，以达到矩阵分解问题的稳定点。我们证明了它的效率，大量的功能磁共振成像数据（2 TB），并从高光谱图像（103 GB）提取的补丁。对于这两个问题，其中涉及不同的处罚行和列，我们获得显着的速度相比，国家的最先进的算法。

2017-10-30cs.LGmath.OCq-bio.NC

Accel-GCN：面向图卷积网络的高性能GPU加速器设计

Accel-GCN: High-Performance GPU Accelerator Design for Graph Convolution Networks

University of Connecticut（康涅狄格大学）；University of Rochester（罗切斯特大学）

针对GCN在GPU上加速面临的工作负载不均与内存访问不规则问题，提出包含度排序、块级分区、组合warp策略的Accel-GCN加速器，其SpMM内核性能显著优于多个现有方案，有效提升GCN计算效率。

2023-08-22cs.ARcs.LG

基于 RISC-V 的 TinyML 加速器：用于边缘 AI 中深度可分离卷积的加速器

RISC-V Based TinyML Accelerator for Depthwise Separable Convolutions in Edge AI

Computer Engineering Department Ihsan Dogramaci Bilkent University（比尔肯特大学计算机工程系）；Engineering Sabancı University（萨班奇大学工程学院）

本文提出了一种基于 RISC-V 的 TinyML 加速器，通过融合像素级数据流消除中间缓冲区，显著降低数据传输成本，实现边缘 AI 加速器的内存墙突破。

2025-11-26cs.ARcs.LG

TeLLMe v2：在边缘 FPGA 上采用查表矩阵乘法的高效端到端三值 LLM Prefill 与 Decode 加速器

TeLLMe v2: An Efficient End-to-End Ternary LLM Prefill and Decode Accelerator with Table-Lookup Matmul on Edge FPGAs

University of California, Irvine（加州大学 Irvine 分校）

本文提出 TeLLMe，一种面向低功耗边缘 FPGA 的端到端三值 LLM 加速器，通过 TLMM、URAM 权重管理、融合数据流与专用 prefill/decode 注意力提升能效和速度。

2025-10-21cs.ARcs.LG

HARFLOW3D：面向 FPGA 设备上 HAR 的延迟导向型 3D-CNN 加速器工具流

HARFLOW3D: A Latency-Oriented 3D-CNN Accelerator Toolflow for HAR on FPGA Devices

Imperial College London（伦敦帝国学院）；Centre of Research and Technology Hellas（希腊研究与技术中心）

本文提出 HARFLOW3D 工具流，利用解析、建模、调度、资源感知优化和自动综合，将多种 ONNX 3D CNN 高效映射到 FPGA，以降低 HAR 推理延迟，最高较现有工作提升 5 倍。

2023-05-29cs.ARcs.CVcs.LG