CIAO: Cache Interference-Aware Throughput-Oriented Architecture and Scheduling for GPUs
现代GPU的目标是同时执行更多的线程束,以实现更高的线程级并行性(TLP)和性能。但是,当生成许多内存请求时,warp会争用有限的缓存空间和thrash cache,这反过来会严重降低性能。为了减少这样的缓存颠簸,我们可以采用缓存本地感知的线程调度,它给更高的执行优先级与更高的数据局部性的潜力线程。然而,我们观察到,具有高潜力的数据局部性的线程往往会招致更多的缓存颠簸或干扰比线程具有低潜力的数据局部性。因此,高速缓存局部感知扭曲调度可能不期望地增加高速缓存干扰和/或不必要地减小TLP。在本文中,我们提出了高速缓存干扰感知面向吞吐量(CIAO)的片上存储器架构和翘曲调度,利用未使用的共享内存空间,并采取洞察相反的高速缓存本地感知翘曲调度。具体而言,CIAO片上存储器架构可以自适应地将严重干扰线程的存储器请求重定向到未使用的共享存储器空间,以将这些干扰线程的存储器请求与受干扰线程的存储器请求隔离。如果这些干扰线程束仍然会导致严重的缓存干扰,CIAO线程束调度就会开始选择性地抑制这些干扰线程束的执行。实验结果表明,CIAO可以提供54%以上的性能比以前的缓存位置感知调度在一个小的芯片成本。
2018-05-20 cs.AR
Enabling Large-Reach TLBs for High-Throughput Processors by Exploiting Memory Subregion Contiguity
加速器(如GPU)已成为满足未来性能需求的趋势,并且越来越多地采用在CPU和GPU之间共享相同的虚拟内存空间以简化编程。然而,作为虚拟内存关键技术的地址转换,正逐渐成为制约GPU性能的瓶颈。在GPU中,由于SIMT执行模型,单个TLB未命中可能会使数百个线程停止,从而显著降低性能。通过实际系统分析,我们观察到操作系统显示出先进的连续性(例如,数百个连续页面),并且具有高级连续性的更大的存储器区域倾向于随着工作集的增加而被分配。利用观察结果,我们提出了MESC来提高GPU的翻译效率。MESC的关键思想是将虚拟内存空间中的每个大页面帧(2MB大小)划分为具有固定大小的内存子区域(即,64个4KB页面),并将子区域和大页面帧的邻接信息存储在L2PTE中。使用MESC,多达512个页面的地址转换可以合并到单个TLB条目中,而不需要改变存储器分配策略(即,请求分页)和对大页面的支持。在实验结果中,MESC实现了77.2%的性能提高和76.4%的动态翻译能量减少敏感的工作负载。
2021-10-16 cs.AR
Revisiting Main Memory-Based Covert and Side Channel Attacks in the Context of Processing-in-Memory
本研究提出利用存内计算架构特性的IMPACT时序攻击方法,构建的隐蔽信道吞吐量远超现有水平,还可低错误率泄露受害应用隐私信息,代码已开源。
2025-06-12 cs.AR cs.CR
HashPIM: High-Throughput SHA-3 via Memristive Digital Processing-in-Memory
最近的研究试图加速加密哈希函数,因为它们是现代密码学的核心。然而,传统的设计受到冯·诺依曼瓶颈的影响,该瓶颈源于处理单元和存储单元的分离。一种克服这一瓶颈的新兴解决方案是内存处理(PIM):在负责内存的同一设备内执行逻辑,以消除数据传输,同时提供大规模的计算并行性。在本文中,我们寻求使用忆阻存储器处理单元(mMPU)(一种通用忆阻PIM架构)来大大加速最先进的SHA-3加密功能。为此,我们提出了一种新的内存中变量旋转算法,并利用SHA-3状态向量的有效映射忆阻交叉阵列,有效地利用PIM并行。我们展示了1,422 Gbps/W的巨大能效,将最先进的忆阻SHA-3加速器(SHINE-2)提高了4.6倍。
2022-06-01 cs.AR cs.CR
RecNMP: Accelerating Personalized Recommendation with Near-Memory Processing
个性化推荐系统利用深度学习模型,并占数据中心AI周期的大部分。它们的性能主要是由内存限制的稀疏嵌入操作与独特的不规则的内存访问模式,构成了一个根本的挑战,以加速。本文提出了一种轻量级的,商品DRAM兼容,近内存处理解决方案,以加速个性化推荐推理。生产级推荐模型的深入表征表明,具有高模型,操作员和数据级并行性的嵌入操作导致内存带宽饱和,限制了推荐推理性能。我们提出RecNMP,它提供了一个可扩展的解决方案,以提高系统吞吐量,支持广泛的稀疏嵌入模型。RecNMP是专门为在单个服务器上有大量操作员的生产环境量身定制的。研究了几种硬件/软件协同优化技术,如内存端缓存,表感知数据包调度和热条目分析,在高度优化的基线上实现了高达9.8倍的内存延迟加速。总体而言,RecNMP提供了4.2倍的吞吐量提升和45.8%的内存节能。
2019-12-30 cs.AR cs.DC
Tensor Manipulation Unit (TMU): Reconfigurable, Near-Memory Tensor Manipulation for High-Throughput AI SoC
针对AI SoC中张量操作研究不足的问题,提出可重构近存硬件模块TMU,采用RISC启发的执行模型等设计,集成后可显著降低算子级与端到端推理延迟,提升AI SoC性能。
2025-06-17 cs.AR
Parallel Interleaver Design for a High Throughput HSPA+/LTE Multi-Standard Turbo Decoder
为了满足新兴无线通信技术的不断发展的数据率要求,已经提出了许多并行架构来实现高吞吐量turbo解码器。然而,并行Turbo译码结构中并发的存储器读写导致了严重的存储器冲突问题,这已成为高吞吐量Turbo译码器的主要瓶颈。在本文中,我们提出了一个灵活和有效的VLSI架构,以解决存储器冲突的问题,高度并行涡轮解码器针对多标准的3G/4G无线通信系统。为了证明所提出的并行交织器架构的有效性,我们实现了一个HSPA+/LTE/LTE-Advanced多标准Turbo解码器与45 nm CMOS工艺。所实现的Turbo码译码器由16个Radix-4 MAP译码器核组成,芯片核面积为2.43 mm^2。当时钟频率为600 MHz时,该Turbo解码器在HSPA+模式下可以实现826 Mbps的最大解码吞吐量,在LTE/LTE-Advanced模式下可以实现1.67 Gbps的最大解码吞吐量,超过了两种标准的峰值数据率要求。
2014-03-26 cs.AR cs.DC cs.IT
SMART: A Heterogeneous Scratchpad Memory Architecture for Superconductor SFQ-based Systolic CNN Accelerators
超快\低功耗超导单通量量子(SFQ)的CNN收缩加速器的建立,以提高CNN的推理吞吐量。然而,由于缺乏随机存取能力,基于移位寄存器(SHIFT)的暂存存储器(SPM)阵列防止SFQ CNN加速器超过其峰值吞吐量的40%。本文首先记录了我们对各种低温存储器技术的研究,包括涡旋转换存储器(VTM),约瑟夫森CMOS SRAM,MRAM和超导纳米线存储器,在此期间,我们发现上述技术都没有使SFQ CNN加速器同时实现高吞吐量,小面积和低功耗。其次,我们提出了一个异构SPM架构,SMART,由一个随机存取阵列和一个随机存取阵列,以提高SFQ CNN收缩加速器的推理吞吐量。第三,我们提出了一个快速,低功耗和密集的流水线随机存取CMOS-SFQ阵列,通过建立SFQ无源传输线为基础的H树连接CMOS子银行。最后,我们创建了一个基于ILP的编译器来在SMART上部署CNN模型。实验结果表明,在芯片面积开销相同的情况下,与最新的基于SHIFT的SFQ CNN加速器相比,SMART在推理单张图像(一批图像)时,推理吞吐量提高了$3.9\times$($2.2\times$),推理能量降低了$86\%$($71\%$)。
2021-09-03 cs.AR cs.ET
Memory-Efficient Dataflow Inference for Deep CNNs on FPGA
FPGA上的自定义低功耗卷积神经网络(CNN)推理加速器针对特定的CNN拓扑进行定制,并将参数存储在片内存储器(OCM)中,从而实现高能效和低推理延迟。然而,在这些加速器中,参数存储器的形状由吞吐量约束决定,并且不能很好地映射到底层OCM,这成为实现瓶颈。在这项工作中,我们提出了一种加速器的设计方法-频率补偿内存打包(FCMP)-它提高了OCM的利用效率,以最小的吞吐量减少和FPGA OCM的物理结构没有修改的低成本加速器。为了验证我们的方法,我们将其应用于中型CIFAR-10推理加速器的几种实现,并证明OCM利用率可降低高达30%,而不会损失推理吞吐量,从而使我们能够将加速器从Xilinx Zynq 7020移植到7012 S,从而降低应用成本。我们还实现了一个自定义的低功耗FPGA推理加速器的量化ResNet-50 CNN,利用片上权重,有史以来最大的拓扑结构实现了这种加速器架构。我们证明,通过将FCMP应用于ResNet加速器,OCM瓶颈得到缓解,这使得加速器能够从Alveo U250移植到更小的Alveo U280板,与其他技术相比,吞吐量损失更小。通过在吞吐量和OCM要求之间提供更细粒度的权衡,FCMP提高了FPGA上自定义低功耗CNN推理设计的灵活性。
2020-11-14 cs.AR
RAPIDx: High-performance ReRAM Processing in-Memory Accelerator for Sequence Alignment
基因组序列比对是许多生物学应用的核心。测序技术的进步产生了大量的数据,使得序列比对成为生物信息学分析的关键瓶颈。现有的用于对准的硬件加速器受到有限的片上存储器、昂贵的数据移动和不佳优化的对准算法的影响。他们无法同时处理测序机产生的大量数据。在本文中,我们提出了一个基于ReRAM的加速器,RAPIDx,使用内存处理(PIM)进行序列比对。RAPIDx通过软硬件协同设计实现了卓越的效率和性能。首先,我们提出了一种适用于PIM架构的自适应带状并行对齐算法。与原始的基于动态规划的对准相比,所提出的算法显著地降低了所需的复杂度、数据位宽度和存储器占用,而代价是可以忽略不计的精度降低。然后,我们提出了有效的PIM架构,实现所提出的算法。RAPIDx中的数据流实现了四级并行,我们在ReRAM中设计了一个原位对齐计算流程,与我们之前的PIM设计RAPID相比,提供了$5.5$ - $9.7\times$效率和吞吐量的改进。所提出的RAPIDx是可重新配置的,作为一个协处理器集成到现有的基因组分析管道,以提高序列比对或编辑距离计算。在短读段比对方面,RAPIDx提供的$131.1\times$和$46.8\times$吞吐量分别优于最先进的CPU和GPU库。与用于长读比对的ASIC加速器相比,RAPIDx的性能要高出$1.8$ - $2.9\times$。
2023-01-25 cs.AR
Analytical models of Energy and Throughput for Caches in MPSoCs
计算机体系结构的总体趋势正更多地转向并行性。多核架构已被证明是处理器发展的重要一步。随着多核架构的发展,研究人员正致力于寻找不同的解决方案来充分利用多核的能力。随着芯片上内核数量的不断增加,高速缓存的作用变得至关重要。一个理想的内存配置应该既大又快,然而,实际上,系统架构师必须在存储层次结构的大小和访问时间之间取得平衡。在设计时了解特定缓存配置对系统吞吐量和能耗的影响非常重要。本文提出了一个增强版本的先前提出的多核系统的缓存能量和吞吐量模型。与其他模型相比,这些模型使用的输入参数数量明显较少。本文还通过周期精确模拟器和著名的处理器功耗估计器验证了所提出的模型。结果表明,所提出的能量模型提供的准确性在10%的最大误差范围内的单核处理器和5%左右的MPSoC,和吞吐量模型的结果在单核和多核架构的最大误差高达11.5%。
2019-10-19 cs.AR
H2PIPE: High throughput CNN Inference on FPGAs with High-Bandwidth Memory
University of Toronto(多伦多大学);Microsoft(微软公司);Vector Institute(向量研究所)
本研究针对大型CNN层流水线加速的高带宽需求,对HPIPE加速器扩展以结合HBM与片上存储,通过算法优化权重缓冲区布局与FIFO深度减少停顿,实现了显著的推理加速。
2024-08-17 cs.AR cs.LG
Optimizing and Exploring System Performance in Compact Processing-in-Memory-based Chips
针对紧凑型存内计算芯片,提出流水线方法和调度算法,提升推理吞吐量和能效,以三分之一面积实现面积不受限设计约56.5%的吞吐量,并优于现代GPU。
2025-02-28 cs.AR
A Customized Memory-aware Architecture for Biological Sequence Alignment
针对生物序列比对中内存带宽限制并行计算吞吐量的问题,提出集成于3D DRAM逻辑层的内存感知存内计算架构,实现最高2.4倍加速与平均37%的功耗降低。
2025-07-29 cs.AR cs.ET
CVA6S+: A Superscalar RISC-V Core with High-Throughput Memory Architecture
本文提出CVA6S+,通过改进分支预测、寄存器重命名和操作数前递,在面积开销仅增加9.30%的情况下实现43.5%的性能提升,并集成HPDCache使带宽提升74.1%。
2025-05-08 cs.AR
BioSEAL: In-Memory Biological Sequence Alignment Accelerator for Large-Scale Genomic Data
基因组序列包含数亿个DNA碱基对。找到两个基因组之间的相似程度需要执行计算密集型动态规划算法,例如Smith-Waterman算法。传统的冯·诺依曼架构具有有限的并行性,并且不能为大规模基因组数据提供有效的解决方案。通常使用近似的探试法(例如BLAST)。然而,它们是次优的并且仍然是计算密集型的。在这项工作中,我们提出了BioSEAL,生物序列对齐加速器。BioSEAL是一种大规模并行非冯·诺依曼内存处理架构,用于大规模DNA和蛋白质序列比对。BioSEAL基于电阻式内容寻址存储器,能够进行节能和高性能的关联处理。我们提出了一种在BioSEAL上进行整个数据库序列比对的关联处理算法,并将其性能和功耗与最先进的解决方案进行了比较。我们表明,与现有的基因组序列比对和蛋白质序列数据库搜索解决方案相比,BioSEAL可以实现高达57倍的加速和156倍的能效。
2019-01-17 cs.AR cs.ET
DNA Pre-alignment Filter using Processing Near Racetrack Memory
最近的DNA预比对过滤器设计采用DRAM来存储参考基因组及其相关联的元数据。然而,随着器件规模的扩大,DRAM招致越来越高的能耗背景和刷新能量。为了克服这个问题,本文探讨了一种设计与赛道存储器(RTM)-一种新兴的非易失性存储器,承诺更高的存储密度,更快的访问延迟,和更低的能耗。RTM中的多位存储单元本质上是顺序的,因此需要数据放置策略来减轻数据访问期间移位的性能和能量影响。我们提出了一个近记忆预对准滤波器与一个新的数据映射和几个移位减少策略明确设计的RTM。在一组四个输入基因组从1000基因组计划,我们的方法提高了性能和能源效率分别为68%和52%,相比,最先进的DRAM为基础的架构。
2022-05-04 cs.AR cs.ET
EXMA: A Genomics Accelerator for Exact-Matching
基因组学是精准医学、全球粮食安全和病毒监测的基础。精确匹配是基因组学中几乎每一个步骤(如比对、组装、注释和压缩)中广泛使用的最基本操作之一。现代基因组学采用Ferragina-Manzini索引(FM-Index),通过额外的数据结构来增强空间有效的Burrows-Wheeler变换(BWT),以允许超快的精确匹配操作。然而,FM-Index是臭名昭著的,其穷人的空间局部性和随机内存访问模式。之前的工作创建了基于GPU、FPGA、ASIC甚至内存处理器(PIM)的加速器,以提高FM-Index搜索吞吐量。尽管它们实现了最先进的FM索引搜索吞吐量,但与所有现有的常规加速器相同,FM索引PIM在每个DRAM行激活之后仅处理一个DNA符号,从而遭受较差的内存带宽利用率。在本文中,我们提出了一个硬件加速器,EXMA,以提高FM索引搜索吞吐量。我们首先创建一个新的EXMA表与多任务学习(MTL)为基础的索引处理多个DNA符号与每个DRAM行激活。然后我们构建一个加速器来搜索EXMA表。我们提出2阶段调度,以增加我们的加速器的缓存命中率。我们引入动态页面策略来提高DRAM主存储器的行缓冲区命中率。我们还提出了CHAIN压缩,以减少数据结构的EXMA表的大小。与最先进的FM-Index PIM相比,EXMA将搜索吞吐量提高了$4.9\times$,并将每瓦搜索吞吐量提高了$4.8\times$。
2021-01-13 cs.AR
PUMA: Efficient and Low-Cost Memory Allocation and Alignment Support for Processing-Using-Memory Architectures
针对标准内存分配无法满足DRAM内存内处理架构的数据布局与对齐要求的问题,提出名为PUMA的内核级惰性分配例程,结合DRAM映射与大页拆分实现合规分配,实验验证其性能显著优于基线分配器。
2024-03-07 cs.AR
A 2.0 Gb/s Throughput Decoder for QC-LDPC Convolutional Codes
提出了一种低密度奇偶校验卷积码(LDPCCC)的译码器结构。具体地,LDPCCC从准循环(QC)LDPC块码导出。通过利用准循环结构,建议LDPCCC解码器采用了动态的消息存储在存储器中,并使用一个简单的地址控制器。解码器有效地将流水线处理器中的存储器组合成大的存储器块,以便利用现代现场可编程门阵列(FPGA)中的嵌入式存储器的数据宽度。在Altera Stratix FPGA上实现了5/6速率的QC-LDPCCC。它可在100 MHz时钟频率下实现高达2.0 Gb/s的吞吐量。此外,该解码器在3.55 dB的比特能量与噪声功率谱密度比($E_b/N_0$)处显示出低于$10^{-13}$的优异的错误性能。
2013-05-01 cs.AR cs.IT math.IT
CryptoSRAM: Enabling High-Throughput Cryptography on MCUs via In-SRAM Computing
University of California, Riverside(加州大学河滨分校)
本文提出CryptoSRAM存内SRAM计算架构,在MCU标准SRAM内直接并行执行AES与SHA3等密码运算,消除数据移动瓶颈并以低硬件开销显著提升吞吐量。
2025-09-26 cs.AR cs.CR
Breaking Memory Bottlenecks in Quantum Control Systems for More Precise Experiments and Higher Throughput Computing
University of Colorado Boulder(科罗拉多大学博尔德分校);Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室)
该研究针对量子控制系统的内存瓶颈,提出集成DRAM与BRAM的Ant-Q设计,经26个电路验证可大幅降低开销,目前正集成至QubiC 3.0。
2026-10-12 cs.AR cs.ET quant-ph
Making Memristive Processing-in-Memory Reliable
内存处理(PIM)解决方案通过减少计算和内存之间的数据传输来大大加速系统。忆阻器具有使存储和逻辑能够在同一设备内的独特属性,这在忆阻存储器处理单元(mMPU)中被利用。mMPU扩展了基本的有状态逻辑技术,如IMPERT、MAGIC和FELIX,以实现内存中的高吞吐量并行逻辑和算术运算。不幸的是,忆阻存储器中的处理非常容易受到软错误的影响,并且这种大规模并行性与传统的可靠性技术(诸如纠错码(ECC))不兼容。在本文中,我们讨论的可靠性技术,有效地支持mMPU利用相同的原则,mMPU计算。我们详细的ECC技术,是基于独特的属性的mMPU有效地利用大量的并行性。此外,我们提出了新的解决方案,有效地实现三重模块冗余(TMR)。评估了大规模应用(如神经网络加速)的短期和长期可靠性。该分析清楚地表明了高吞吐量可靠性机制对于忆阻存储器中处理的重要性。
2021-09-20 cs.AR
ImaGen: A General Framework for Generating Memory- and Power-Efficient Image Processing Accelerators
本文提出ImaGen编译器框架,通过约束优化在保持最大吞吐量下最小化片上内存,自动生成内存和功耗高效的图像处理加速器,实现两位数性能提升。
2023-04-06 cs.AR
Introducing the Arm-membench Throughput Benchmark
本文提出适配 Armv8 全部 SIMD 扩展的 Arm-membench 吞吐量基准,通过精细空间粒度分析三款 Arm 处理器的内存子系统,揭示指令获取与解码宽度在加载-存储架构下成为缓存带宽敏感负载的瓶颈。
2025-04-09 cs.AR cs.PF
An In-Memory Architecture for High-Performance Long-Read Pre-Alignment Filtering
本文提出了一种适用于长读段的预比对过滤算法LongGeneGuardian及其存内计算架构FilterFuse,消除了数据移动开销,显著提升了过滤和端到端比对的执行速度。
2023-10-24 cs.AR cs.ET q-bio.GN
Bare-Metal Tensor Virtualization: Overcoming the Memory Wall in Edge-AI Inference on ARM64
本研究提出一种基于ARM64的软件虚拟张量核心架构,通过直接内存映射和NEON SIMD内核实现高效边缘AI推理,达到60 tokens/秒的吞吐量,满足心理语言学延迟要求。
2026-01-06 cs.AI cs.AR cs.CL
A High-Throughput FPGA Accelerator for Lightweight CNNs With Balanced Dataflow
针对现有轻量级CNN FPGA加速器内存开销高、计算效率低的问题,提出多CE平衡数据流加速器,通过混合CE流式架构、平衡数据流及资源感知分配方法,在Xilinx ZC706平台实现了领先的性能与MAC效率。
2024-12-16 cs.AR
StreamDQ: Near-Memory Weight DeQuantization in Custom HBM for Scalable AI Inference Acceleration
SK Hynix(SK海力士)
研究针对大语言模型内存和计算需求增长,提出StreamDQ架构,将反量化块集成到HBM基础芯片,通过内存端反量化减少GPU开销,实现高吞吐量推理,在混合精度GEMM和端到端LLM推理中均有显著性能提升。
2026-07-13 cs.AR
Hemlet: A Heterogeneous Compute-in-Memory Chiplet Architecture for Vision Transformers with Group-Level Parallelism
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
Hemlet通过组级并行性策略和异构CIM芯片组设计,提升视觉变换器工作负载的吞吐量和能效
2026-02-09 cs.AR
PPAC: A Versatile In-Memory Accelerator for Matrix-Vector-Product-Like Operations
内存中处理(PIM)将计算移动到内存中,与传统的基于冯诺依曼的架构相比,其目标是提高吞吐量和能效。大多数现有的PIM架构要么是通用的,但只支持原子操作,或专门用于加速单个任务。我们提出了关联内容可寻址存储器(PPAC)中的并行处理器,这是一种新型的内存加速器,支持一系列类似于矩阵向量积(MVP)的操作,可用于传统和新兴应用。例如,PPAC能够加速低精度神经网络、精确/近似散列查找、加密和前向纠错。PPAC的全数字特性使其能够使用基于标准单元的CMOS实现,这有助于自动化设计和技术节点之间的可移植性。为了证明PPAC的有效性,我们提供了不同阵列尺寸的28 nm CMOS布局后实施结果。与最近的数字和混合信号PIM加速器的比较表明,PPAC在吞吐量和能效方面具有竞争力,同时加速了广泛的应用并简化了开发。
2019-07-19 cs.AR
When Pipelined In-Memory Accelerators Meet Spiking Direct Feedback Alignment: A Co-Design for Neuromorphic Edge Computing
本文提出软硬件协同设计PipeSDFA,将脉冲直接反馈对齐算法与基于RRAM的存内计算架构结合,通过三级流水线并行化训练,在精度损失小于2%的情况下显著降低SNN训练时间和能耗。
2025-07-21 cs.AR
S$^{3}$: Increasing GPU Utilization during Generative Inference for Higher Throughput
Harvard University(哈佛大学)
针对大语言模型生成推理中KV缓存预留内存过大导致GPU利用率低、吞吐量不足的问题,提出S³系统,通过预测输出序列长度调度查询并处理误预测,实现了6.49倍于最坏情况假设系统的吞吐量。
2023-06-09 cs.AI cs.AR
FireFly: A High-Throughput Hardware Accelerator for Spiking Neural Networks with Efficient DSP and Memory Optimization
针对 FPGA 上 SNN 的算术与内存效率瓶颈,本文提出 FireFly 加速器,利用 DSP48E2 优化多路复用—累加运算并设计高效内存系统,在资源受限边缘器件上实现高计算密度。
2023-06-06 cs.AR cs.NE
Accelerating Polynomial Modular Multiplication with Crossbar-Based Compute-in-Memory
本文提出基于crossbar存内计算的新型高吞吐量紧凑型多项式模乘加速器X-Poly,通过位映射和处理引擎级优化降低能耗并提升利用率,实现了3.1×10^6次操作/秒吞吐量、200倍延迟改进和3.9倍单位面积吞吐量提升。
2023-07-27 cs.AR cs.CR
Efficient and Lightweight In-memory Computing Architecture for Hardware Security
提出基于忆阻器的AES存内计算架构,通过4位状态元件、流水线设计和FPGA验证,在功耗与吞吐量上取得显著优势,以增强无人车辆硬件安全。
2022-05-24 cs.AR cs.CR
TurboAttention: Efficient Attention Approximation For High Throughputs LLMs
Microsoft(微软公司);Georgia Institute of Technology(佐治亚理工学院)
TurboAttention通过FlashQ量化和稀疏Softmax近似,实现注意力高效执行,显著提升吞吐量并压缩缓存,优于现有方法。
2024-12-17 cs.AI cs.AR cs.LG
A 65nm 8b-Activation 8b-Weight SRAM-Based Charge-Domain Computing-in-Memory Macro Using A Fully-Parallel Analog Adder Network and A Single-ADC Interface
Tsinghua University(清华大学);Institute of Microelectronics of the Chinese Academy of Sciences(中国科学院微电子研究所);University of Electronic Science and Technology of China(电子科技大学)
本文提出一种65nm SRAM电荷域存内计算宏单元,通过全并行模拟加法器网络和单ADC接口,在一个周期内完成两个8比特向量的MAC与ReLU运算,实现51.2GOPS吞吐量和10.3TOPS/W能效,并在CIFAR-10上取得88.6%准确率。
2024-04-02 cs.AR cs.LG
A Many-ported and Shared Memory Architecture for High-Performance ADAS SoCs
Horizon Robotics(地平线机器人)
计算技术投资的增加和硅技术的进步推动了高级驾驶员辅助系统(ADAS)和相应SoC开发的快速增长。ADAS SoC代表一种异构架构,由CPU、GPU和人工智能(AI)加速器组成。为了保证其安全性和可靠性,它必须处理从多个冗余源(如高清摄像机,雷达和激光雷达)收集的大量原始数据,以正确识别物体并迅速做出正确的决策。域特定的存储器体系结构对于实现上述目标是必不可少的。我们提出了一个共享内存架构,使高数据吞吐量之间的多个并行访问本地的ADAS应用程序。它还提供了确定性的访问延迟与适当的隔离下严格的实时QoS约束。建立了一个原型并进行了分析。实验结果表明,该结构在全注入速率下,对于多个访问主机同时产生的读写访问,吞吐率接近100%.它还可以为特定于域的有效负载提供一致的QoS,同时实现设计的可扩展性和模块化。
2022-09-13 cs.AI cs.AR
In-memory Implementation of On-chip Trainable and Scalable ANN for AI/ML Applications
National Institute of Technology, Patna(巴特那国家技术学院);Indian Institute of Technology Patna(印度理工学院巴特那分校)
传统的基于冯·诺依曼架构的处理器在能量和吞吐量方面变得低效,因为它们涉及单独的处理和存储单元,也称为~ \textit{memory wall}。当需要在处理单元和存储单元之间进行大规模并行和频繁的数据移动以用于实现许多智能应用的人工神经网络(ANN)的实时实现时,存储器墙问题进一步加剧。解决内存墙问题的最有前途的方法之一是在内存核本身内部执行计算,这提高了内存带宽和能量效率,以进行大量计算。本文提出了一种支持人工智能(AI)和机器学习(ML)应用的ANN内存计算架构。所提出的架构利用深在存储器架构的基础上,标准的六个晶体管(6 T)的静态随机存取存储器(SRAM)的核心实现的多层感知器。我们的新的片上训练和推理存储器架构,降低了能源成本,并通过同时访问每个预充电周期的SRAM阵列的多行,消除了频繁的数据访问,提高了吞吐量。所提出的架构实现了反向传播,这是在网络训练过程中使用新提出的不同的构建块,如权重更新,模拟乘法,误差计算,有符号的模数转换,和其他必要的信号控制单元的关键。所提出的架构进行了训练和测试的IRIS数据集,表现出$\approx46\times$更节能的每MAC(乘和累积)操作相比,早期的分类。
2020-05-19 cs.AR cs.LG cs.NE