Exploration of Unary Arithmetic-Based Matrix Multiply Units for Low Precision DL Accelerators
Department of Electrical and Computer Engineering, University of Central Florida(电气与计算机工程系,中央佛罗里达大学)
本文探讨了单元GEMM在低精度深度学习加速器中的应用,通过对比三种最新设计评估其性能与优化点。
2026-01-31 cs.AI cs.AR
MACO: Exploring GEMM Acceleration on a Loosely-Coupled Multi-core Processor
本文提出松耦合多核架构 MACO,通过基于 tile 的指令集、硬件辅助预取与锁定及预测性地址转换,在 GEMM 和深度神经网络负载上实现高可扩展性与最高 1.1 TFLOPS、88% 的计算效率。
2024-04-30 cs.AR
PacQ: A SIMT Microarchitecture for Efficient Dataflow in Hyper-asymmetric GEMMs
本文提出PacQ微架构,通过协同优化INT权重的块级打包与数据流,并设计专用FP-INT乘法器,加速超不对称GEMM,实现最高1.99倍加速和81.4%的EDP降低。
2025-02-25 cs.AR
Panacea: Novel DNN Accelerator using Accuracy-Preserving Asymmetric Quantization and Energy-Saving Bit-Slice Sparsity
Pohang University of Science and Technology (POSTECH)(浦项科技大学);University of Michigan(密歇根大学)
针对传统对称量化精度损失、现有非对称量化位片难以压缩导致的DNN推理效率问题,提出AQS-GEMM与两种协同优化方法,设计Panacea加速器,兼顾高精度与硬件效率,性能优于现有方案。
2024-12-13 cs.AI cs.AR
OpenGeMM: A High-Utilization GeMM Accelerator Generator with Lightweight RISC-V Control and Tight Memory Coupling
KU Leuven(鲁汶大学);INESC-ID;Instituto Superior Técnico(高等技术学院);Universidade de Lisboa(里斯本大学)
深度神经网络(DNN)由于其计算和数据密集型的性质,在部署在资源受限的极端边缘设备上时面临重大挑战。虽然为特定应用场景量身定制的独立加速器存在控制不灵活和可编程性有限的问题,但与RISC-V CPU相结合的通用硬件加速平台可以实现高可重用性和灵活性,但通常以系统级效率和低利用率为代价。为了填补这一空白,我们提出了OpenGeMM,一个开源的加速平台,共同展示了高效率和利用率,以及易于配置和可编程性。OpenGeMM包含一个参数化的Chisel编码GeMM加速器,一个轻量级的RISC-V处理器和一个紧密耦合的多组暂存器。GeMM内核利用率和系统效率通过三种机制来提高:配置预加载、带输出缓冲的输入预取和可编程跨存储器访问。实验结果表明,OpenGeMM可以在不同的CNN和Transformer工作负载中始终实现81.89%到99.34%的硬件利用率。与SotA开源Gemmini加速器相比,OpenGeMM在各种GeMM工作负载上的归一化吞吐量上实现了3.58倍至16.40倍的加速,同时实现了4.68 TOPS/W的系统效率。
2024-11-21 cs.AI cs.AR
Compiler and Hardware Co-Design for Accelerator Architectures
Technical University of Denmark(丹麦技术大学)
针对异构加速器全栈集成难的问题,提出EAAC编译器与硬件协同设计架构,基于MLIR支持快速原型,原型GEMM加速器较RISC-V基线实现28倍加速,并指出信号量分配优化方向。
2026-09-25 cs.AR
O-POPE: High-Frequency Pipelined Outer Product based GEMM acceleration with minimal buffering overhead
ETH Zurich(苏黎世联邦理工学院);Università di Bologna(博洛尼亚大学)
提出O-POPE,一种可扩展的外积引擎,通过重用浮点单元流水线寄存器作为缓冲区,实现高利用率、低开销和快速运行频率,在12nm FINFET工艺下达到1GHz(0.72V)操作,相比现有加速器性能提升1.33倍。
2026-06-01 cs.AR
A Scalable FPGA Architecture With Adaptive Memory Utilization for GEMM-Based Operations
本文提出一种基于FPGA的可扩展动态配置加速器,利用脉动阵列、高带宽内存和UltraRAM,通过多PU实例化与启发式权重调度提升吞吐效率,并可扩展模拟AIMC设备,适用于多种DNN模型。
2025-10-09 cs.AR
Design in Tiles: Automating GEMM Deployment on Tile-Based Many-PE Accelerators
ETH Zürich(苏黎世联邦理工学院)
本文提出DiT框架,通过自动化连接部署工具链和可配置执行模型,实现对基于瓷砖的多PE加速器上GEMM的高效部署,达到比NVIDIA GH200更高的PE利用率和加速性能。
2026-07-29 cs.AR cs.DC
ExaGEMM: Exploration Framework for CPU-Driven ML Inference via Associative In-Register Computing for Low-Bit GEMM
University of California, Irvine(加州大学伊文斯分校)
研究低位GEMM在CPU上的适配问题,提出ExaGEMM框架,通过寄存器驻留查找表执行及分析模型共同探索参数化内核和SIMD ISA支持,缩减候选空间,经验证可大幅提升推理延迟,凸显工作负载感知前沿选择对混合精度LLM工作负载的重要性。
2026-07-17 cs.AR cs.LG cs.OS
A3D-MoE: Acceleration of Large Language Models with Mixture of Experts via 3D Heterogeneous Integration
本文提出A3D-MoE 3D异构集成系统,通过自适应脉动阵列、统一3D数据流、操作融合调度和专家放置优化,提升MoE LLM推理性能。
2025-07-25 cs.AR
TT-Edge: A Hardware-Software Co-Design for Energy-Efficient Tensor-Train Decomposition on Edge AI
School of Intelligent Semiconductor Engineering, Chung-Ang University(中央大学智能半导体工程学院)
针对边缘设备上张量列车分解(TTD)的延迟与能耗问题,提出软硬件协同设计框架TT-Edge,拆分SVD为双对角化和对角化阶段并卸载至专用引擎,与GEMM加速器集成,在RISC-V处理器上压缩ResNet-32时实现1.7倍加速、40.2%能耗降低,硬件开销小。
2025-11-07 cs.AR cs.DC
From Roofline to Ruggedness: Decomposing and Smoothing the GEMM Performance Landscape
Intel Corporation(英特尔公司)
针对GPU上GEMM性能的锯齿状波动(相邻问题吞吐量差异达30%),提出性能粗糙度分析框架,通过最佳动态分块选择和基于动态规划的填充分割优化器,将粗糙度降低70%并提升平均吞吐量30%。
2026-07-20 cs.AR cs.DC cs.PF
Reducing the Cost of Dropout in Flash-Attention by Hiding RNG with GEMM
Princeton University, NVIDIA(普林斯顿大学,NVIDIA);NVIDIA
本文提出将 Flash-Attention 中的 RNG 与前序 GEMM 层重叠执行以隐藏 Dropout 的随机数生成延迟,并通过细粒度分析性能模型验证其在 Llama3/GH100 上相比顺序实现和融合实现分别获得 1.26 倍和 1.22 倍加速。
2025-07-05 cs.AI cs.AR
SISA: A Scale-In Systolic Array for GEMM Acceleration
Department of Computer Science;Engineering,\ University of Technology
针对LLM中非均匀矩阵带来的Systolic Array资源浪费问题,SISA通过将传统正方形阵列划分为水平矩形片,实现小/倾斜矩阵的高效执行,同时保留大GEMM的全阵操作,从而在代表LLM上实现8.52倍的速度提升和93%的EDP降低。
2026-03-31 cs.AI cs.AR
tubGEMM: Energy-Efficient and Sparsity-Effective Temporal-Unary-Binary Based Matrix Multiply Unit
tubGEMM是一种采用混合时间-一元-二进制编码的新型矩阵乘法单元,执行精确GEMM并利用动态稀疏性提升能效,在面积、功耗和能耗上显著优于现有最佳一元设计。
2024-12-23 cs.AR
Understanding the Performance Horizon of the Latest ML Workloads with NonGEMM Workloads
University of California, Irvine(加州大学欧文分校);Computer Science University of California, Irvine(加州大学欧文分校计算机科学系)
针对非GEMM算子在机器学习推理中因GEMM加速而凸显的性能瓶颈问题,通过分析17个模型在多平台的表现,揭示其占总延迟11.3%-73.6%,量化会加剧该问题,且现有优化未完全解决,为非GEMM优化提供指导。
2025-04-16 cs.AR cs.LG cs.PF
Scaling Analog Photonic Accelerators for Byte-Size, Integer General Matrix Multiply (GEMM) Kernels
本文提出可扩展光子GEMM加速器SPOGA,通过零差光信号模拟求和与换能中位置加权等技术,突破4位操作数限制,支持字节大小整数GEMM内核,在吞吐量、能效和面积效率上显著超越现有光子方案。
2024-07-08 cs.AR cs.ET cs.PF
Hardware-Efficient Softmax and Layer Normalization with Guaranteed Normalization for Edge Devices
Dept. of Artificial Intelligence Semiconductor Engineering, Hanyang University, Seoul, Republic of Korea(人工智能半导体工程系,翰阳大学,首尔,大韩民国);Dept. of Electronic Engineering, Hanyang University, Seoul, Republic of Korea(电子工程系,翰阳大学,首尔,大韩民国)
本文提出一种适用于边缘设备的高效Softmax和层归一化设计,通过硬件高效近似方法保持归一化特性,实现高精度与低功耗的平衡。
2026-04-26 cs.AR cs.LG
NeuPIMs: NPU-PIM Heterogeneous Acceleration for Batched LLM Inferencing
针对批量LLM推理中GEMM与GEMV运算适配不同硬件的特性,提出融合NPU与PIM的NeuPIMs异构加速系统,通过双行缓冲区与子批次交错技术实现并发,吞吐量较现有方案最高提升3倍。
2024-03-29 cs.AR
A Flexible Instruction Set Architecture for Efficient GEMMs
Barcelona Supercomputing Center(巴塞罗那超级计算中心);Universitat Politècnica de Catalunya(加泰罗尼亚理工大学)
本文提出 Matrix Tile Extension(MTE),一种将指令集架构与微架构完全解耦的灵活矩阵 ISA,通过利用现有向量寄存器文件并在 M、N、K 三个维度向量化 GEMM,以极小实现开销实现比最先进矩阵 ISA 快 1.35 倍的性能。
2025-07-04 cs.AR cs.LG
Accelerator-driven Data Arrangement to Minimize Transformers Run-time on Multi-core Architectures
École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
针对Transformer模型推理的内存带宽瓶颈,提出由加速器内核大小驱动的数据排布策略,减少片外访问,在多核系统上实现高达2.8倍加速。
2023-12-20 cs.AI cs.AR
MxGLUT: A Reconfigurable LUT-Centric Broadcast Dataflow Accelerator for Mixed-Precision GEMM
University of Macau(澳门大学);Guangdong Institute of Intelligence Science and Technology(广东省智能科学技术研究院)
提出MxGLUT,一种基于可重构LUT中心广播数据流的混合精度GEMM加速器,通过统一LUT计算机制支持FP8-INT4和FP8-FP8,消除独立FP数据路径,在预填充和解码阶段分别实现2.16倍和1.49倍延迟加速,面积和能效显著提升。
2026-07-03 cs.AR
Hardware-Native Joint Sparse-Quantization for Trillion-Scale Mixture-of-Experts
POSTECH(浦项科技大学);ISTA(奥地利科学技术研究所)
针对MoE部署中的内存和带宽瓶颈,提出软硬件协同框架,通过连续重参数化实现联合稀疏量化,并定制分组稀疏GEMM内核,在万亿参数规模下提升精度并显著加速推理。
2026-10-05 cs.AI cs.AR cs.LG
Veryl: A New Hardware Description Language as an Altarnative to SystemVerilog
Veryl是一种基于SystemVerilog的新型硬件描述语言,通过优化语法、保证可综合性、提供包管理器和实时检查器等工具,实现与现有项目的平滑集成并提升硬件设计效率。
2024-11-20 cs.AR
SparseCraft: Agentic Hardware-Software Co-Optimization for Sparse Computing
International Institute of Information Technology, Hyderabad(海得拉巴国际信息技术学院)
SparseCraft利用语言模型在闭环CHIA循环中协同优化稀疏加速器的软硬件设计,通过迭代编辑RTL、内存和调度,在GraphChallenge稀疏DNN层上实现周期、流量和面积的大幅降低。
2026-11-10 cs.AI cs.AR
Global Optimizations & Lightweight Dynamic Logic for Concurrency
本文提出 GOLDYLOC,通过全局资源感知的 GO-Kernel 和轻量级动态逻辑优化 GPU 上并发 GEMM 的执行,最高实现 2.5 倍加速。
2024-09-03 cs.AR cs.DC
A Highly Configurable Hardware/Software Stack for DNN Inference Acceleration
Intel Labs(英特尔实验室)
这项工作的重点是为特定领域的加速器提供一种高效的敏捷设计方法。我们采用功能的垂直开发堆栈的功能增强,并将其应用到TVM/VTA推理加速器。我们增强了VTA设计空间,并为额外的工作负载提供了端到端支持。这是通过增强VTA微体系结构和指令集体系结构(ISA)以及通过增强TVM编译堆栈以支持广泛的VTA编译器来实现的。VTA tsim实现(基于CHISEL)已经通过ALU/GEMM执行单元的完全流水线版本进行了增强。在tsim中,内存宽度现在可以在8-64字节之间变化。字段宽度变得更加灵活,以支持更大的暂存器。添加了新的指令:逐元素的8位乘法以支持dependency卷积,并加载选择的填充值以支持最大池化。还增加了对更多层和更好的双缓冲的支持。完全流水线化的ALU/GEMM有显著的帮助:在默认配置下运行ResNet-18的周期减少4.9倍,面积变化最小。可以实例化以12倍更大的面积为代价进一步减少11.5倍周期计数的配置。图中显示了面积-性能帕累托曲线上的许多点,展示了执行单元大小、内存接口宽度和暂存器大小的平衡。最后,VTA现在能够运行Mobilenet 1.0和ResNets的所有层,包括以前禁用的池和完全连接的层。TVM/VTA体系结构一直以在几分钟内对RTL进行端到端工作负载评估为特色。通过我们的修改,它现在提供了更多的可行配置,具有广泛的成本与性能。所有提到的功能都可以在开源分…
2021-11-29 cs.AR cs.LG
Platinum: Path-Adaptable LUT-Based Accelerator Tailored for Low-Bit Weight Matrix Multiplication
Department of Electrical and Computer Engineering, Duke University(杜克大学电气与计算机工程系)
Platinum是一种基于LUT的轻量级ASIC加速器,专为低比特权重矩阵乘法设计,通过适应性路径切换提升效率,实现显著的加速和能耗降低。
2025-11-26 cs.AR
A Configurable and Efficient Memory Hierarchy for Neural Network Hardware Accelerator
University of Tübingen(蒂宾根大学)
本文提出一种专为DNN逐层自适应访问模式定制的可配置多级存储层次结构框架,在保持高性能的同时大幅降低存储容量需求,实验表明该框架可使芯片面积减少62.2%且性能损失仅为2.4%。
2024-04-24 cs.AI cs.AR
Compiling Multi-Threshold Operators for Quantized Non-Monotonic and Fine-Granular Activations in Custom-Tailored DNN Accelerators
Paderborn University(帕德博恩大学)
该研究针对定制DNN加速器,提出基于ONNX编译器的多阈值算子编译方法,支持非单调函数与细粒度参数,经实验验证其在FPGA加速器综合中的有效性,性能优于部分现有方案。
2026-10-16 cs.AR cs.LG
MixDiT: Accelerating Image Diffusion Transformer Inference with Mixed-Precision MX Quantization
Korea Advanced Institute of Science and Technology(韩国科学技术院)
MixDiT通过算法-硬件协同设计,利用混合MX格式对DiT激活值进行选择性量化,并设计专用加速器实现精度灵活的乘法,在保持FID无损的情况下相比RTX 3090获得2.10至5.32倍加速。
2025-04-11 cs.AR cs.LG
Influence of HW-SW-Co-Design on Quantum Computing Scalability
本文研究面向四个NP完全问题定制QPU硬件属性对电路深度与门数量的影响,发现简单硬件即可接近最优,并得到跨问题的通用模型。
2023-06-07 cs.AR quant-ph
Tawa: Automatic Warp Specialization for Modern GPUs with Asynchronous References
Cornell University(康奈尔大学);NVIDIA(英伟达)
Tawa通过自动编译器实现GPU扭曲专精,利用异步引用抽象,提升LLM内核性能1.1-1.2倍,减少编程努力。
2025-12-10 cs.AR cs.LG cs.PL
ZipServ: Fast and Memory-Efficient LLM Inference with Hardware-Aware Lossless Compression
The Hong Kong University of Science(香港科学与技术大学);Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳))
ZipServ通过硬件感知的无损压缩技术,提升LLM推理效率,减少内存占用,实现比cuBLAS快2.21倍的内核速度和1.22倍的端到端推理加速。
2026-03-18 cs.AR cs.DC cs.LG