arXivDaily arXiv每日学术速递 周一至周五更新
arXiv 2601.13628cs.AR
收藏

PRIMAL：基于内存计算的低秩适应LLM推理加速器

PRIMAL: Processing-In-Memory Based Low-Rank Adaptation for LLM Inference Accelerator

National University of Singapore（新加坡国立大学）

Yue Jiet Chong, Yimin Wang, Zhen Wu, Xuanyao Fong

备注：
Accepted to 2026 IEEE International Symposium on Circuits and Systems (ISCAS'26)
发表信息：
2026 IEEE International Symposium on Circuits and Systems (ISCAS), Shanghai, China, 2026, pp. 195-199
阅读 PDF
arXiv 页面 ↗HTML 原文 ↗

AI总结：

PRIMAL通过内存计算和低秩适应技术，实现LLM推理加速，相比NVIDIA H100在吞吐量和能效上有显著提升。

摘要：

本文提出PRIMAL，一种基于内存计算（PIM）的大型语言模型（LLM）推理加速器，结合低秩适应（LoRA）。PRIMAL整合了异构的内存计算处理元件（PEs），通过2D网格互连的计算网络（IPCN）连接。一种新颖的SRAM重编程和电源门控（SRPG）方案通过重配置与计算和门控空闲资源的重叠，实现了流水线化的LoRA更新和亚线性功率缩放。PRIMAL采用优化的空间映射和数据流协调，以最小化通信开销，并在LoRA秩8（Q,V）上实现Llama-13B的1.5倍吞吐量和25倍能效，优于NVIDIA H100。

英文摘要：

This paper presents PRIMAL, a processing-in-memory (PIM) based large language model (LLM) inference accelerator with low-rank adaptation (LoRA). PRIMAL integrates heterogeneous PIM processing elements (PEs), interconnected by 2D-mesh inter-PE computational network (IPCN). A novel SRAM reprogramming and power gating (SRPG) scheme enables pipelined LoRA updates and sub-linear power scaling by overlapping reconfiguration with computation and gating idle resources. PRIMAL employs optimized spatial mapping and dataflow orchestration to minimize communication overhead, and achieves $1.5\times$ throughput and $25\times$ energy efficiency over NVIDIA H100 with LoRA rank 8 (Q,V) on Llama-13B.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

↑