31.1 A 14.08-to-135.69Token/s ReRAM-on-Logic Stacked Outlier-Free Large-Language-Model Accelerator with Block-Clustered Weight-Compression and Adaptive Parallel-Speculative-Decoding
Hong Kong University of Science and Technology（香港科技大学）；AI Chip Center for Emerging Smart System（新兴智能系统芯片中心）；Hefei Reliance Memory（合肥芯联集成）；Zhejiang University（浙江大学）
本文提出了一种基于55nm推测解码的LLM加速器，采用基于突起的面对面ReRAM-on-logic堆叠技术，通过局部旋转单元实现无异常低比特量化，结合块级向量量化减少权重EMA开销，并采用自适应并行推测解码方案提升资源和带宽利用率。
2026-05-10 cs.AR
A Computationally Efficient Neural Video Compression Accelerator Based on a Sparse CNN-Transformer Hybrid Network
针对神经视频压缩模型计算成本高、难实时部署的问题，提出基于稀疏CNN-Transformer混合网络的算法硬件协同设计框架NVCA，可重构计算核心搭配异质层链式数据流，在28nm工艺下实现解码速度与能效的显著提升。
2023-12-19 cs.AR eess.IV
EBPC: Extended Bit-Plane Compression for Deep Neural Network Inference and Training Accelerators
ETH Zürich（苏黎世联邦理工学院）；University of Bologna（博洛尼亚大学）
随着卷积神经网络在图像分类、对象识别、语音识别等方面的成功，对于在低成本的具有严格功率和能量约束的嵌入式和移动系统上部署这些计算密集型ML模型以及提高数据中心吞吐量的需求正在迅速增长。这引发了对专用硬件加速器的研究热潮。它们的性能通常受到I/O带宽的限制，功耗主要由到片外存储器的I/O传输决定，并且片上存储器占据了大部分硅面积。我们介绍和评估一种新的，硬件友好的，无损压缩方案的特征图内存在的卷积神经网络。我们提出了在65 nm的压缩器和解压缩器的硬件结构和综合结果。在600 MHz时，吞吐量为一个8位字/周期，它们分别适合2.8kGE和3.0kGE的硅面积-在相同的吞吐量下，总的大小小于7个8位乘加单元。我们表明，AlexNet的平均压缩比为5.1倍，VGG-16为4倍，ResNet-34为2.4倍，MobileNetV 2为2.2倍，比现有方法提高了45-70%。我们的方法也有效地适用于各种数字格式，在压缩比上具有较低的帧间方差，并且在训练期间实现了用于梯度图压缩的压缩因子，甚至比用于推断的压缩因子更好。
2019-10-25 cs.AR cs.CV eess.IV
A Flexible Sparsity-Aware FPGA Accelerator with Column-Wise Compression for Efficient CNN Inference
Institut national de la recherche scientifique (INRS-EMT)（国家科学研究研究所（INRS-EMT））
研究针对资源受限平台 CNN 加速难题，提出 SparHiXcel-v2 加速器，通过列向内核压缩技术及硬件 - 算法协同设计框架，在稀疏灵活性与硬件效率间平衡，经实验在吞吐量和能效上显著提升，精度有适度下降。
2026-07-22 cs.AR
RAS: A Bit-Exact rANS Accelerator For High-Performance Neural Lossless Compression
Institute for Artificial Intelligence, Peking University（北京大学人工智能研究院）；School of Electronic Engineering and Computer Science, EECS, Peking University（北京大学电子工程与计算机科学学院）；School of Integrated Circuits, Peking University（北京大学集成电路学院）
本文提出 RAS 硬件加速器，通过将 rANS 算法与概率生成器集成、两阶段更新、预测引导解码和多通道设计，在图像无损压缩中实现 121.2 倍编码和 70.9 倍解码加速，并减少约 55% 的二分搜索步数，优于 CPU/GPU rANS 实现。
2025-10-20 cs.AR
MVQ:Towards Efficient DNN Compression and Acceleration with Masked Vector Quantization
Zhejiang University（浙江大学）
提出MVQ方法，结合N:M剪枝与掩码k-means量化重要权重，在EWS加速器上实现稀疏脉动阵列，提升能效2.3倍并减少55%阵列尺寸。
2024-12-16 cs.AR cs.CV
T-REX: A 68-567 μs/token, 0.41-3.95 μJ/token Transformer Accelerator with Reduced External Memory Access and Enhanced Hardware Utilization in 16nm FinFET
Columbia University（哥伦比亚大学）；Intel（英特尔公司）
本文提出T-REX Transformer加速器，通过训练与训练后压缩方案、动态批处理控制流机制及双向可访问寄存器文件缓冲架构，有效减少外部内存访问并提升硬件利用率。
2025-03-01 cs.AI cs.AR
Vortex: Bridging Extreme Compression and Efficient LLM Inference
Duke University（杜克大学）
Vortex是一种兼容脉动阵列的架构，通过双流执行和码本级上下文稀疏性，实现向量量化LLM的高效推理，较最先进加速器获得8.03至23.7倍加速和5.68至12.5倍能耗降低。
2026-09-14 cs.AR
Torch2Chip: An End-to-end Customizable Deep Neural Network Compression and Deployment Toolkit for Prototype Hardware Accelerator Design
Cornell University（康奈尔大学）
针对现有深度学习框架量化定制性不足、整数参数提取困难及工具包自由度受限等问题，本文提出开源可定制的Torch2Chip工具包，支持用户自定义压缩并自动完成模型融合与参数提取，直接生成面向CNN和ViT原型芯片验证的可部署格式。
2024-05-06 cs.AR cs.LG
RNNAccel: A Fusion Recurrent Neural Network Accelerator for Edge Intelligence
许多边缘设备采用递归神经网络（RNN）来增强其产品智能。然而，不断增加的计算复杂性对性能、能源效率和产品开发时间提出了挑战。在本文中，我们提出了一个RNN深度学习加速器，称为RNNAccel，它支持长短期记忆（LSTM）网络，门控递归单元（GRU）网络和全连接层（FC）/多感知器层（MLP）网络。该RNN加速器解决了（1）由RNN数据依赖性引起的计算单元利用率瓶颈，（2）特定应用的不灵活设计，（3）由内存访问主导的能耗，（4）由于系数压缩导致的准确性损失，以及（5）处理器加速器集成导致的不可预测性能。我们提出的RNN加速器由一个可配置的32-MAC阵列和一个系数解压缩引擎组成。MAC阵列可以扩展以满足吞吐量要求和功率预算。其先进的离线压缩和简单的硬件友好的在线解压缩，称为NeuCompression，减少内存占用高达16倍，并降低内存访问功率。此外，为了方便SOC集成，我们开发了一个工具集位精确的仿真和集成结果验证。使用关键字定位应用程序进行评估，32-MAC RNN加速器实现了90%的MAC利用率，40 nm工艺下的1.27 TOP/W，8倍压缩比和90%的推理准确率。
2020-10-26 cs.AR cs.NE
always_comm: An FPGA-based Hardware Accelerator for Audio/Video Compression and Transmission
提出一种基于 Nexys4 DDR FPGA 的全硬件可扩展视频会议栈，使用 M-JPEG 和 UDP 实现 30 FPS 音视频实时传输与播放，并通过仿真和综合评估了延迟与吞吐量。
2025-09-15 cs.AR
A High-Throughput Hardware Accelerator for Lempel-Ziv 4 Compression Algorithm
本文提出一种LZ4硬件加速器，通过限制并行窗口为单一匹配并消除反馈回路，实现16.10 Gb/s吞吐量，较现有技术提升2.648倍，压缩比仅降低4.93%-11.68%。
2024-09-19 cs.AR eess.SP
FPGA-Based Neural Network Accelerators for Space Applications: A Survey
KTH Royal Institute of Technology（皇家理工学院）
本文综述了基于FPGA的神经网络加速器在空间任务中的应用，分析了现有文献、趋势和空白，并提出了未来研究方向，以提升星载计算系统性能。
2026-10-14 cs.AI cs.AR
MARS: Multi-macro Architecture SRAM CIM-Based Accelerator with Co-designed Compressed Neural Networks
National Tsing Hua University（台湾清华大学）；Information and Communication Labs, Industrial Technology Research Institute（工业技术研究院资讯与通讯研究所）
卷积神经网络（CNN）在深度学习应用中起着关键作用。然而，CNN的大量存储开销和大量计算成本在硬件加速器中是有问题的。内存计算（CIM）体系结构在有效计算大规模矩阵向量乘法方面表现出巨大的潜力。然而，密集的乘法和累加（MAC）操作执行的交叉阵列和有限的能力的CIM宏仍然是瓶颈，进一步提高能源效率和吞吐量。为了减少计算量，网络修剪和量化是两种广泛研究的压缩方法，以缩小模型的大小。然而，大多数模型压缩算法只能在基于数字的CNN加速器中实现。为了在基于静态随机存取存储器（SRAM）CIM的加速器中实现，模型压缩算法必须考虑CIM宏的硬件限制，例如可以同时导通的字线和位线的数量，以及如何将权重映射到SRAM CIM宏。在这项研究中，提出了一种软件和硬件协同设计的方法来设计一个SRAM的基于CIM的CNN加速器和SRAM的CIM感知模型压缩算法。为了减少批量归一化（BN）对MAC的高精度要求，提出了一种将BN融合到权值中的量化算法。此外，为了减少网络参数的数量，稀疏算法，考虑了CIM架构的建议。最后，MARS，基于CIM的CNN加速器，可以利用多个SRAM CIM宏作为处理单元，并支持稀疏神经网络，提出。
2021-05-25 cs.AR cs.ET cs.LG
EXMA: A Genomics Accelerator for Exact-Matching
基因组学是精准医学、全球粮食安全和病毒监测的基础。精确匹配是基因组学中几乎每一个步骤（如比对、组装、注释和压缩）中广泛使用的最基本操作之一。现代基因组学采用Ferragina-Manzini索引（FM-Index），通过额外的数据结构来增强空间有效的Burrows-Wheeler变换（BWT），以允许超快的精确匹配操作。然而，FM-Index是臭名昭著的，其穷人的空间局部性和随机内存访问模式。之前的工作创建了基于GPU、FPGA、ASIC甚至内存处理器（PIM）的加速器，以提高FM-Index搜索吞吐量。尽管它们实现了最先进的FM索引搜索吞吐量，但与所有现有的常规加速器相同，FM索引PIM在每个DRAM行激活之后仅处理一个DNA符号，从而遭受较差的内存带宽利用率。在本文中，我们提出了一个硬件加速器，EXMA，以提高FM索引搜索吞吐量。我们首先创建一个新的EXMA表与多任务学习（MTL）为基础的索引处理多个DNA符号与每个DRAM行激活。然后我们构建一个加速器来搜索EXMA表。我们提出2阶段调度，以增加我们的加速器的缓存命中率。我们引入动态页面策略来提高DRAM主存储器的行缓冲区命中率。我们还提出了CHAIN压缩，以减少数据结构的EXMA表的大小。与最先进的FM-Index PIM相比，EXMA将搜索吞吐量提高了$4.9\times$，并将每瓦搜索吞吐量提高了$4.8\times$。
2021-01-13 cs.AR
Neural Signal Compression using RAMAN tinyML Accelerator for BCI Applications
Indian Institute of Science（印度科学理工学院）；Western Sydney University（西悉尼大学）
针对脑机接口中原始神经数据传输带宽受限与发热问题，提出基于卷积自编码器的神经信号压缩方案，在RAMAN tinyML加速器上实现并经软硬件协同优化，在低功耗小面积下实现高压缩比与较好的重建效果。
2025-09-01 cs.AR cs.HC cs.LG
MeshKV: A Network-on-Chip KV Cache Fabric for Scalable Transformer Decoding Accelerators
University of California, Los Angeles（加州大学洛杉矶分校）；Columbia University（哥伦比亚大学）
MeshKV提出一种基于轻量级NoC的KV缓存结构，通过条带化、多播和流水线重叠技术，在FPGA上实现最高58%的互连流量削减和2.1倍带宽利用率提升。
2026-09-18 cs.AI cs.AR
SaleNet: A low-power end-to-end CNN accelerator for sustained attention level evaluation using EEG
Tsinghua University（清华大学）；Institute of Process Engineering, Chinese Academy of Sciences（中国科学院过程工程研究所）
本文提出了SaleNet-一个端到端的卷积神经网络（CNN），用于使用前额叶脑电图（EEG）进行持续注意力水平评估。提出了一种偏置驱动的剪枝方法，并结合组卷积、全局平均池（GAP）、近零剪枝、权值聚类和量化等技术对模型压缩进行压缩，实现了183.11倍的总压缩比。压缩SaleNet获得了一个国家的最先进的主题独立的持续注意力水平的分类准确率为84.2%，在这项工作中记录的6个主题的EEG数据库。SaleNet在Artix-7 FPGA上实现，具有竞争力的功耗为0.11 W，能效为8.19 GOps/W。
2022-09-03 cs.AR cs.LG eess.SP
Salca: A Sparsity-Aware Hardware Accelerator for Efficient Long-Context Attention Decoding
Fudan University（复旦大学）
本文提出Salca，通过软硬件协同设计，解决长上下文注意力解码中的计算与内存瓶颈，实现3.82倍速度提升和74.19倍能效提升。
2026-04-27 cs.AI cs.AR
Bit-Line Computing for CNN Accelerators Co-Design in Edge AI Inference
通过支持同时访问多个存储器字，位线计算（BC）架构允许在存储器中并行执行按位操作。在数组的外围，然后派生算术运算，几乎没有额外的开销。这种模式为边缘的人工智能（AI）提供了新的机会，这要归功于存储器阵列中固有的大规模并行性和原位计算的极高能效，从而避免了数据传输。以前的工作表明，BC在针对人工智能工作负载时带来了颠覆性的效率提升，这是新兴边缘人工智能场景中的一个关键指标。本文基于这些发现，提出了一个端到端框架，该框架利用BC特定的优化来实现AI模型的高并行性和积极压缩。我们的方法是由一个新的硬件模块执行实时解码，以及新的算法，使BC友好的模型压缩的支持。我们的硬件/软件方法导致91%的节能（1%的精度降级约束）关于国家的最先进的BC计算方法。
2022-09-12 cs.AR eess.IV
An Irredundant and Compressed Data Layout to Optimize Bandwidth Utilization of FPGA Accelerators
针对 FPGA 加速器处理多维数据集时的内存带宽瓶颈，本文提出基于编译器的连续数据布局，并结合数据打包与运行时压缩，将 I/O 周期最多降低 7 倍。
2024-01-22 cs.AR
A Low-Power Streaming Speech Enhancement Accelerator For Edge Devices
Institute of Electronics, National Yang Ming Chiao Tung University（国立阳明交通大学电子研究所）
本文提出一种低功耗流式语音增强加速器，通过领域感知与流式感知剪枝将模型缩小93.9%，结合无Softmax注意力与一维处理阵列，在TSMC 40nm工艺下实现仅8.08mW功耗的实时推理。
2025-03-27 cs.AI cs.AR cs.MM
Beyond MACs: Deployment-Constrained Design Space Exploration for Tensorized Neural Networks
Department of Electrical；Computer Engineering, 1mm University of California, Santa Barbara, 1mm USA
本文提出了一种联合探索框架，通过统一设计空间优化张量神经网络的收缩路径、硬件架构和数据流映射，以提升边缘平台上的部署效率。
2026-11-03 cs.AI cs.AR
APack: Off-Chip, Lossless Data Compression for Efficient Deep Learning Inference
University of Toronto（多伦多大学）；Vector Institute（向量研究院）
片上和片外存储器之间的数据访问占深度学习网络推理期间总能耗的很大一部分。我们提出APack，一个简单而有效的，无损的，片外存储器压缩技术的定点量化模型。APack通过利用深度学习应用中的非均匀值分布来减少数据宽度。APack可用于增加有效存储器容量，以减少片外流量，和/或在使用较小的片外存储器的同时实现期望的性能/能量目标。APack建立在算术编码的基础上，将每个值编码为算术编码的可变长度前缀加上偏移量。为了最大化压缩比，启发式软件算法将值空间划分为每个共享公共前缀的组。APack通过并行使用多个流水线编码器/解码器单元来利用内存访问并行性，并满足深度学习的高数据带宽需求。APack可以与任何机器学习加速器一起使用。在演示的配置中，APack被放置在片外存储器控制器之前，以便片内存储器和计算单元的其余部分可以看到原始数据流。我们在Verilog中实现了APack压缩器和解压缩器，并在65 nm技术节点中展示了其性能和能效。APack将权重和激活的数据足迹平均分别减少到60%和48%。它自然地适应和压缩使用更积极的量化方法的模型。当与基于Tensorcore的加速器集成时，APack将加速比和能效分别提高到1.44倍和1.37倍。
2022-01-21 cs.AR cs.LG
SLOTH: Lightweight Detection and Localization of On-Chip Fail-Slow Failures for DNN Accelerators
Peking University（北京大学）；Tsinghua University（清华大学）
SLOTH通过轻量级硬件感知框架实现多核加速器中高效准确的慢故障检测，减少存储开销并提高检测精度。
2026-07-30 cs.AR
3U-EdgeAI: Ultra-Low Memory Training, Ultra-Low BitwidthQuantization, and Ultra-Low Latency Acceleration
Advanced Digital Sciences Centre（高级数字科学中心）；University of California, Santa Barbara（加州大学圣巴巴拉分校）；Georgia Institute of Technology（佐治亚理工学院）
基于深度神经网络（DNN）的边缘AI应用需要低成本的计算平台和高质量的服务。然而，边缘设备的有限内存、计算资源和功率预算限制了DNN算法的有效性。开发面向边缘的AI算法和实现（例如，加速器是一个挑战。在本文中，我们从三个方面总结了我们最近为有效的设备上AI开发所做的努力，包括训练和推理。首先，我们提出了具有超低内存使用的设备上培训。我们提出了一种新的基于秩自适应张量的张量化神经网络模型，它在训练过程中提供了数量级的记忆减少。其次，我们引入了一种用于DNN模型压缩的超低位宽量化方法，在相同的压缩比下达到了最先进的精度。第三，我们介绍了超低延迟DNN加速器设计，实践软件/硬件协同设计方法。本文强调了训练、量化和加速器设计的重要性和有效性，并呼吁在边缘人工智能领域取得更多的研究突破。
2021-05-11 cs.AR cs.LG
Structured Weight Matrices-Based Hardware Accelerators in Deep Neural Networks: FPGAs and ASICs
Syracuse University（雪城大学）；City University of New York, City College（纽约城市大学城市学院）
工业界和学术界都对硬件加速进行了广泛的研究。在这项工作中，以解决日益增长的需求，在计算能力和内存需求，我们提出了结构化的权重矩阵（SWM）为基础的压缩技术\emph{field programmable gate array}（FPGA）和\emph{application-specific integrated circuit}（ASIC）的实现。在算法部分，基于SWM的框架采用块循环矩阵，以实现精确度和压缩比之间的细粒度权衡。对于每一层以及训练和推理阶段，基于SWM的技术可以将计算复杂性从O（$n^2$）降低到O（$n\log n$），并且将存储复杂度从O（$n^2$）降低到O（$n$）。对于深度卷积神经网络（DCNN）的FPGA实现，与使用MNIST，SVHN和CIFAR-10数据集的相同精度约束下的IBM TrueNorth处理器基线相比，使用基于SWM的框架，我们分别实现了至少152倍和72倍的性能和能效提高。对于长短期记忆（LSTM）网络上的FPGA实现，与基线加速器相比，所提出的基于SWM的LSTM可以实现高达21倍的性能增强和33.5倍的能效增益。对于ASIC实现，基于SWM的ASIC设计在功耗、吞吐量和能效方面表现出令人印象深刻的优势。实验结果表明，该方法非常适合将DNN应用到FPGA和移动/物联网设备上。
2018-03-28 cs.AR cs.DC cs.LG
SAGe: A Lightweight Algorithm-Architecture Co-Design for Mitigating the Data Preparation Bottleneck in Large-Scale Genome Sequence Analysis
ETH Zürich（苏黎世联邦理工学院）；University of Maryland（马里兰大学）；King’s College London（伦敦国王学院）；POSTECH（韩国科学技术院）
SAGe通过算法-架构协同设计，提升大规模基因组序列分析的数据准备效率和性能
2026-01-22 cs.AR cs.DC q-bio.GN
LoAS: Fully Temporal-Parallel Dataflow for Dual-Sparse Spiking Neural Networks
Yale University（耶鲁大学）；University of Central Florida（中佛罗里达大学）
本文针对双稀疏脉冲神经网络推理效率低的问题，提出完全时间并行数据流及配套压缩与内连接电路，并集成于LoAS加速器，实现最高8.51倍加速和3.68倍能耗降低。
2024-09-01 cs.AI cs.AR cs.NE
BinArray: A Scalable Hardware Accelerator for Binary Approximated CNNs
深度卷积神经网络（CNN）由于其优越的精度而成为计算机视觉和其他信号处理任务的最新技术。近年来，为了在低功耗嵌入式设备上实现实时操作，已经做出了大量努力来降低CNN的计算成本。为了实现这一目标，我们提出了BinArray，这是一种用于CNN的自定义硬件加速器，具有二进制近似权重。本文中使用的二进制近似是最初在[1]中提出的网络压缩技术的改进版本。它大大减少了每个推理所需的乘法次数，而没有或很少有精度下降。BinArray易于扩展，并允许通过对用户透明的三个设计参数在硬件资源使用和吞吐量之间进行折衷。此外，可以在运行时期间动态地在高精度或吞吐量之间进行选择。BinArray已在寄存器传输级进行了优化，并在异构XC 7Z 045 -2 FPGA SoC平台上以400 MHz的频率运行。实验结果表明，BinArray可扩展以匹配其他加速器（如EdgeTPU [2]）的性能，适用于不同的网络大小。即使是最大的MobileNet，也只有50%的目标设备和96个DSP块被利用。
2020-12-07 cs.AR eess.SP
STISA: A 0.16 GOPS/W/PE Single-Shot Inference FPGA-based SNN Accelerator with Algorithm and Hardware Co-Design
Zhejiang University-University of Illinois Urbana-Champaign Institute, Zhejiang University（浙江大学伊利诺伊大学厄巴纳香槟校区联合学院，浙江大学）；Singapore University of Technology and Design（新加坡科技设计大学）
本研究提出基于FPGA的STISA SNN加速器，通过算法-硬件协同设计，采用TSC、TPOS映射与BMS架构，在多数据集上实现精度、延迟与能效的平衡，能效达0.16 GOPS/W/PE，优于现有同类加速器。
2026-10-14 cs.AR
LW-GCN: A Lightweight FPGA-based Graph Convolutional Network Accelerator
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
已经引入了图卷积网络（GCN）来有效地处理非欧几里德图数据。然而，GCN在计算和存储器访问中引起大量的不规则性，这妨碍了传统神经网络加速器的有效使用。此外，现有的专用GCN加速器需要高存储容量，并且难以在资源有限的边缘设备上实现。在这项工作中，我们提出了LW-GCN，一个轻量级的基于FPGA的加速器与软硬件协同设计的过程，以解决不规则的计算和内存访问GCN推理。LW-GCN将主要的GCN运算分解为稀疏-密集矩阵乘法（SDMM）和密集矩阵乘法（DMM）。我们提出了一种新的压缩格式来平衡PE之间的工作负载并防止数据危险。此外，我们应用数据量化和工作负载平铺，并映射到一个统一的架构上的资源有限的硬件上的GCN推理的SDMM和DMM。在Xilinx Kintex-7 FPGA上使用三个流行的数据集对GCN和GraphSAGE进行了评估。与现有的CPU、GPU和最先进的基于FPGA的加速器相比，LW-GCN将延迟降低了60倍、12倍和1.7倍，并将能效提高了912倍。511 x和3.87x。此外，与NVIDIA最新的边缘GPU Jetson Xavier NX相比，LW-GCN分别实现了32倍的加速和84倍的节能。
2021-11-04 cs.AR cs.DC cs.LG
EPIM: Efficient Processing-In-Memory Accelerators based on Epitome
Tsinghua University（清华大学）；UC Berkeley（加州大学伯克利分校）；ByteDance（字节跳动）
针对PIM加速器片上内存受限问题，提出基于轻量级类卷积神经算子Epitome的EPIM方案，通过软硬件协同优化大幅减小硬件面积，在ImageNet上准确率表现优异，超越现有PIM剪枝方法。
2024-04-17 cs.AR cs.LG
Sensitivity-Guided Framework for Pruned and Quantized Reservoir Computing Accelerators
Paderborn University（帕德博恩大学）；Brandenburg Technical University（品牌enburg技术大学）；Tallinn University of Technology（塔林技术大学）；Reneo Group GmbH（Reneo集团）
本文提出基于敏感度的压缩框架，通过剪枝和量化优化回声状态网络加速器的资源和计算效率，实验证明在保持精度的同时显著提升性能。
2026-02-24 cs.AI cs.AR cs.DC
CRIMP: Compact & Reliable DNN Inference on In-Memory Processing via Crossbar-Aligned Compression and Non-ideality Adaptation
School of Computer Science and Engineering, Nanyang Technological University（南洋理工大学计算机科学与工程学院）；HP-NTU Digital Manufacturing Corporate Lab, Nanyang Technological University（南洋理工大学惠普-南洋理工数字制造联合实验室）；HP Inc.（惠普公司）
研究基于交叉开关的IMP加速器面临的浮点运算、参数冗余、非理想行为问题，提出通过重用移位单元、应用两种剪枝及运行时感知非理想性适配的方法，集成优化减少训练开销并提高精度，生成高精度整数模型。
2026-07-10 cs.AR
Design and Analysis of Approximate Hardware Accelerators for VVC Intra Angular Prediction
针对VVC帧内预测计算复杂度高的问题，提出基于系数平均的近似方法减小MCM模块尺寸，设计了六种硬件架构，在编码效率损失可控的前提下显著降低了电路面积和功耗。
2025-09-12 cs.AR
CIMPool: Scalable Neural Network Acceleration for Compute-In-Memory using Weight Pools
针对SRAM CIM执行大模型受内存限制的问题，提出CIMPool框架，通过权重池压缩技术在保证精度的同时提升压缩比，协同优化软硬件实现低开销加速，能减少面积、支持更大模型并降低能耗。
2025-04-15 cs.AR
SGCN: Exploiting Compressed-Sparse Features in Deep Graph Convolutional Network Accelerators
Yonsei University（延世大学）；Samsung Electronics（三星电子）；Seoul National University（首尔国立大学）
图卷积网络（GCN）由于克服了现有神经网络的有限适用性而变得越来越流行。GCN将任意结构的图作为输入，并执行一系列层，这些层利用图的结构来计算它们的输出特征。GCN的一个最新趋势是使用深度网络架构。与传统的GCN仅跨越约2至5层深度相反，现代GCN现在在剩余连接的帮助下包含数十至数百层。从这样的深GCN，我们发现一个重要的特点，他们表现出非常高的中间特征稀疏。我们观察到，随着深层和残余连接，中间特征中的零的数量急剧增加。这揭示了加速器在GCN执行中利用的新机会，这是以前不存在的。在本文中，我们提出了SGCN，一个快速，节能的GCN加速器，充分利用现代GCN的稀疏中间功能。SGCN提出了几种技术，以实现比现有加速器更高的性能和能源效率。首先，SGCN采用GCN友好的特征压缩格式。我们专注于减少片外内存流量，这往往是GCN执行的瓶颈。其次，我们提出了微架构无缝处理的压缩特征格式。第三，为了更好地处理在不同的稀疏性存在的局部性，SGCN采用稀疏感知的合作。稀疏感知的合作创建了一个模式，展示了多个重用窗口，这样缓存可以捕获不同大小的工作集，从而适应不同的稀疏程度。我们表明，SGCN实现了1.71倍的加速比和43.9%的高能效相比，现有的加速器。
2023-01-25 cs.AR cs.LG
A 129FPS Full HD Real-Time Accelerator for 3D Gaussian Splatting
National Yang Ming Chiao Tung University（国立阳明交通大学）
本文提出一种低功耗低成本的3D高斯散射硬件加速器，结合迭代高斯剪枝与微调、渐进球谐函数度缩减和所有球谐函数系数及颜色的向量量化，实现全高清实时渲染，并在面积、吞吐量和能效方面优于现有方案。
2026-04-11 cs.AR cs.GR eess.IV
Low Latency CMOS Hardware Acceleration for Fully Connected Layers in Deep Neural Networks
提出了一种新型的低延迟CMOS硬件加速器，用于深度神经网络（DNN）中的全连接（FC）层。FC加速器FC-ACCL基于128个用于矩阵向量乘法的8x8或16x16处理元件（PE），以及128个乘法累加（MAC）单元，其与128个用于存储预训练权重的高带宽存储器（HBM）单元集成。本文介绍了CMOS ASIC实现的微架构细节，并将模拟性能与AlexNet和VGG 16的DNN最新硬件加速器进行了比较。当比较4096 - 1000 FC8层的模拟处理延迟时，我们的FC-ACCL能够实现48.4 GOPS（100 MHz时钟），这比最近的FC8层加速器在150 MHz时钟下的28.8 GOPS有所改善。我们通过充分利用HBM单元在1个周期内存储和读出列特定的FClayer权重，并采用新的列-行-列调度，并实现最大并行数据路径，以使用相应的MAC和PE单元处理这些权重，实现了这一显著的改进。当放大到128个16x16 PE时，对于16x16的权重块，与使用压缩的替代EIE解决方案相比，该设计可以将大型FC6层的延迟在AlexNet中减少60%，在VGG16中减少3%。
2020-11-25 cs.AR cs.NE eess.SP
Dynasparse: Accelerating GNN Inference through Dynamic Sparsity Exploitation
图神经网络（GNN）推理被用于许多现实世界的应用中。GNN推理中的数据稀疏性，包括输入图和GNN模型中的稀疏性，为进一步加速推理提供了机会。此外，已经提出了许多用于模型压缩的修剪技术，这些技术增加了GNN的数据稀疏性。我们提出了Dynasparse，一个全面的硬件-软件协同设计的FPGA上，通过动态稀疏开发来加速GNN推理。为此，我们将GNN计算内核从基本计算原语中解耦，并探索硬件-软件协同设计如下：1）硬件设计：我们提出了一种新的统一的FPGA加速器设计，以有效地执行各种计算原语。我们开发了一个定制的软处理器，是紧密耦合的加速器执行一个运行时系统。此外，我们开发了有效的硬件机制来分析数据的稀疏性，并执行即时数据格式转换，为各种计算原语准备输入数据; 2）软件设计：我们开发了一个运行时系统，与加速器协同工作，以执行基于数据稀疏性的动态内核到原语映射。我们在最先进的FPGA平台Xilinx Alveo U250上实现了Dynasparse，并使用广泛使用的GNN模型（GCN，GraphSAGE，GIN和SGC）对设计进行了评估。对于上述GNN模型和各种输入图，与最先进的GNN加速器中采用的静态映射策略相比，所提出的加速器和动态内核到基元映射平均将推理延迟减少了$3.73\times$。与最先进的CPU（GPU）实现相比，Dynasparse在端到端延迟方面实现了高达$56.9\tim…
2023-03-22 cs.AR cs.DC
ASC: Adaptive Scale Feature Map Compression for Deep Neural Network
Institute of Electronics, National Yang Ming Chiao Tung University（国立阳明交通大学电子研究所）
针对深度学习加速器受特征图尺寸限制导致高带宽与大缓冲需求的问题，提出自适应尺度特征图压缩技术，结合独立通道索引、可切换端点模式等优化压缩率，并设计高效可扩展的硬件架构，以较低硬件成本实现高吞吐量。
2023-12-13 cs.AR cs.CV eess.IV
RFC-HyPGCN: A Runtime Sparse Feature Compress Accelerator for Skeleton-Based GCNs Action Recognition Model with Hybrid Pruning
基于混沌的图卷积网络（GCN）模型在动作识别领域取得了很好的预测精度。然而，受限于大的模型和计算复杂度，用于动作识别的GCN（如2s-AGCN）在GPU上的功率效率和吞吐量不足。因此，低功耗GCN动作识别应用对模型简化和硬件加速的要求越来越高。针对上述问题，本文提出了一种基于混合剪枝方法的稀疏特征压缩加速器RFC-HyPGCN。首先，该方法通过重新组织乘法顺序来跳过图形和空间卷积工作负载。在空间卷积工作负载通道剪枝算法的基础上，设计了时间滤波器的粗粒度剪枝方法和时间维的类采样细粒度剪枝方法。后来，我们提出了一种架构，其中所有卷积层都映射到芯片上以追求高吞吐量。为了进一步降低存储资源的利用率，提出了在线稀疏特征压缩格式。该方法首先将特征按照给定的格式进行划分和编码，然后将特征库存储拆分为深度可变的小特征库。此外，本工作采用量化，输入跳过和PE内动态数据调度，以加速模型。在2s-AGCN上进行了实验，得到了3.0 × 8.4 ×模型压缩比和73.20 × 73.20的跳图效率。在Xilinx XCKU-115 FPGA上实现，该架构的峰值性能为1142 GOP/s，与高端GPU NVIDIA 2080 Ti和NVIDIA V100相比，分别达到9.19倍和3.91倍的加速比。与最新的动作识别加速器GCN模型相比，本文的设计达到了22.9倍的加速比，DSP效率提高了28.93%。
2021-08-02 cs.AR cs.DC
