Architectural Implications of Neural Network Inference for High Data-Rate, Low-Latency Scientific Applications
UC San Diego(加州大学圣迭戈分校);Fermi National Accelerator Laboratory(费米国家加速器实验室)
该研究指出高数据率、低延迟科学应用要求神经网络参数全部存储在芯片上,并常需定制或可重构逻辑,极端情况下需定制芯片以满足严格约束。
2024-03-13 cs.AR cs.LG
Adversarially Robust Neural Architecture Search for Graph Neural Networks
Tsinghua University(清华大学);Ant Group(蚂蚁集团);Yale University(耶鲁大学)
提出G-RNA框架,通过设计包含图结构掩码操作的鲁棒搜索空间和鲁棒性指标,自动化搜索对抗鲁棒的GNN架构,在基准数据集上显著优于现有基线。
2023-04-09 cs.CR cs.LG cs.SI
The Architectural Implications of Distributed Reinforcement Learning on CPU-GPU Systems
Carnegie Mellon University(卡内基梅隆大学);NVIDIA(英伟达);The University of Texas at Austin(得克萨斯大学奥斯汀分校)
随着深度强化学习(RL)方法在游戏、机器人和模拟环境中取得了超越人类能力的结果,RL训练的持续扩展对于其在解决复杂现实问题中的部署至关重要。然而,通过理解CPU-GPU系统的架构含义来提高RL训练的性能可扩展性和功率效率仍然是一个悬而未决的问题。在这项工作中,我们调查和提高性能和功率效率的分布式RL训练CPU-GPU系统上处理的问题,不仅从GPU微架构的角度来看,但以下的整体系统级分析方法。我们量化了最先进的分布式RL训练框架上的整体硬件利用率,并根据经验确定了GPU微架构,算法和系统级设计选择造成的瓶颈。我们表明,GPU微架构本身对于最先进的RL框架来说是平衡的,但进一步的研究表明,运行环境交互的参与者数量和可用的硬件资源数量是主要的性能和功率效率限制因素。为此,我们引入了一个新的系统设计指标,CPU/GPU比率,并展示了在设计用于RL训练的可扩展和高效的CPU-GPU系统时,如何找到CPU和GPU资源之间的最佳平衡。
2020-12-08 cs.AR cs.LG
Architectural Classification of XR Workloads: Cross-Layer Archetypes and Implications
本文提出了一种跨层方法对XR工作负载进行架构分类,提炼出关键架构范式,并为下一代XR SoC提供了设计指导。
2026-01-15 cs.AR
Architectural Implications of Agentic AI Workflows
Microsoft Azure(微软Azure)
该研究通过生产与受控研究分析智能体AI工作流的架构特性,揭示传统服务器的不匹配问题,提出Agora原型优化资源利用与吞吐量,为未来服务器架构指明方向。
2026-08-06 cs.AI cs.AR cs.OS
Automotive HSMs - Architectural Challenges and Security Implications
University of Detroit Mercy(底特律Mercy大学)
本文分析汽车HSM的架构挑战与安全影响,调研量产ECU的HSM集成模型,探讨其在安全启动等中的作用及相关权衡,指出后量子就绪等新兴挑战,为汽车硬件安全提供方向。
2026-08-27 cs.AR cs.CR cs.ET
NeuMMU: Architectural Support for Efficient Address Translations in Neural Processing Units
KAIST(韩国科学技术院)
为了满足深度神经网络的计算和存储需求,神经处理单元(NPU)被广泛用于加速深度学习算法。与GPU如何从从属设备演变为主流处理器架构类似,NPU很可能会成为这个快速发展的异构架构领域的一等公民。本文提出了一个案例,使地址转换在NPU解耦的虚拟和物理内存地址空间。通过仔细的数据驱动的应用程序特性的研究,我们的根源之前GPU为中心的地址转换方案的几个限制,并提出了一个存储管理单元(MMU),是为NPU量身定制的。相比于一个甲骨文的MMU设计点,我们的建议只会产生平均0.06%的性能开销。
2019-11-15 cs.AR cs.DC cs.LG
NeuroXplorer 1.0: An Extensible Framework for Architectural Exploration with Spiking Neural Networks
最近,工业界和学术界都提出了许多不同的神经形态架构来执行使用脉冲神经网络(SNN)设计的应用程序。因此,越来越需要一个可扩展的仿真框架,可以执行与SNN的架构探索,包括基于平台的设计今天的硬件,硬件-软件协同设计和设计-技术协同优化的未来。我们提出了NeuroXplorer,一个快速和可扩展的框架,它是基于一个通用的模板建模的神经形态架构,可以注入一个给定的硬件和/或技术的具体细节。NeuroXplorer可以执行低级别的周期准确的架构模拟和高级别的数据流抽象分析。NeuroXplorer的优化引擎可以结合面向硬件的指标,如能量,吞吐量和延迟,以及面向SNN的指标,如尖峰间期失真和尖峰紊乱,这直接影响SNN的性能。我们展示了NeuroXplorer的架构探索能力,通过案例研究与许多国家的最先进的机器学习模型。
2021-05-04 cs.AR cs.NE
STONNE: A Detailed Architectural Simulator for Flexible Neural Network Accelerators
Universidad de Murcia(穆尔西亚大学);Universidad Católica San Antonio(圣安东尼奥天主教大学);Georgia Institute of Technology(佐治亚理工学院)
设计专门的架构来加速深度神经网络(DNN)的推理过程是当今蓬勃发展的研究领域。第一代刚性方案已迅速被更先进的灵活加速器架构所取代,这些架构能够有效地支持各种层类型和尺寸。随着设计复杂性的增加,研究人员越来越需要使用周期精确的仿真工具,以便快速准确地探索设计空间,并在设计的早期阶段快速量化架构增强的功效。为此,我们提出了STONNE(神经网络引擎仿真工具),这是一个周期精确,高度模块化和高度可扩展的仿真框架,可以对运行完整的当代DNN模型的灵活加速器架构进行端到端评估。我们使用STONNE模型最近提出的MAERI架构,并显示它如何可以密切接近公开可用的BSV编码的MAERI实现的性能结果。然后,我们进行了全面的评估,并证明了为MAERI实施的折叠策略导致计算单元利用率非常低(5个DNN模型的平均利用率为25%),最终导致性能低下。
2020-06-10 cs.AR cs.LG eess.SP
Architectural and System Implications of CXL-enabled Tiered Memory
针对CXL分层内存的延迟和性能异构问题,提出动态内存请求控制机制MIKU,优先DDR请求并尽力服务CXL请求,实验表明可显著提升系统效率。
2025-03-26 cs.AR cs.ET
NAAS: Neural Accelerator Architecture Search
MIT(麻省理工学院);SJTU(上海交通大学)
神经加速器架构的数据驱动的自动设计空间探索对于专业化和生产力是理想的。以前的框架侧重于确定数值架构超参数的大小,而忽略了搜索PE连接和编译器映射。为了解决这一挑战,我们提出了神经加速器架构搜索(NAAS),它在一个优化循环中全面搜索神经网络架构,加速器架构和编译器映射。NAAS组成了高度匹配的架构以及高效的映射。作为一种数据驱动的方法,NAAS与人类设计Eyeriss相比,在相同的计算资源下,在ImageNet上的EDP减少了4.4倍,准确率提高了2.7%,并且提供了1.4到3.5倍的EDP减少,而不是仅仅调整架构超参数。
2021-05-27 cs.AR cs.LG
Smaller, Faster, Cheaper: Architectural Designs for Efficient Machine Learning
University of Oregon(俄勒冈大学)
本文围绕高效机器学习架构,从数据进出、vision transformers 受限注意力改进及 Normalizing Flows 知识蒸馏三方面证明精心设计可让模型更小、更快、更省。
2025-07-26 cs.AR cs.CV cs.LG
Cicero: Addressing Algorithmic and Architectural Bottlenecks in Neural Rendering by Radiance Warping and Memory Optimizations
针对NeRF在移动设备上运行速度慢的算法与架构双重瓶颈,提出CICERO框架,通过两类算法优化和片上数据布局策略,在极小质量损失下实现显著的速度提升与能耗降低。
2024-04-18 cs.AR cs.GR
Neural Network Model Extraction Attacks in Edge Devices by Hearing Architectural Hints
随着神经网络继续深入到软件操作的几乎每一个方面,这些网络的细节成为一个越来越敏感的话题。即使是那些将神经网络嵌入到物理设备中的公司,也可能希望隐藏其设计的内部工作,以保护其知识产权,或者作为一种保护形式,免受敌对输入的影响。我们解决的具体问题是,如何通过沉重的系统堆栈,给定噪声和不完美的记忆痕迹,可以重建神经网络架构,包括所采用的层的集合,它们的连接性,以及它们各自的维度大小。考虑到层内架构特征和DNN设计经验引入的层间时间关联信息,我们借鉴了语音识别的思想来解决这个问题。我们表明,片外存储器地址的痕迹和PCIe事件提供了充足的信息,准确地重建这样的神经网络架构。我们是第一个提出这种精确的模型提取技术的人,并在具有完整系统堆栈的现成Nvidia GPU平台的背景下实验性地演示了端到端攻击。实验结果表明,该技术具有较高的逆向工程准确率,提高了攻击者进行针对性对抗攻击的能力,成功率从14.6% $\sim$ 25.5%(不含网络结构知识)提高到75.9%(提取网络结构知识).
2019-03-10 cs.AR cs.CR
Microbenchmarking NVIDIA's Blackwell Architecture: An in-depth Architectural Analysis
University of Delaware(特拉华大学)
本文通过微基准测试评估NVIDIA Blackwell架构在内存子系统、张量核心流水线和浮点精度方面的性能,发现其在混合精度训练中比H200提升1.85倍和1.55倍,能效提高32%。
2026-03-02 cs.AR
Architecture, Dataflow and Physical Design Implications of 3D-ICs for DNN-Accelerators
深度神经网络(DNN)对更高计算能力的持续需求推动了并行计算架构的发展。3D集成(芯片垂直集成和连接)可以进一步提高性能,因为它引入了另一个空间并行级别。因此,我们分析了这种3D-DNN-加速器的功耗、性能、面积、功耗和温度。单片和基于TSV的堆叠式3D-IC与2D-IC进行比较。我们确定了高效3D-IC的工作负载属性和架构参数,并实现了3D与2D相比高达9.14倍的加速比。我们讨论面积性能权衡。我们证明了3D-IC的适用性,因为3D-IC的功耗与2D-IC相似,并且没有热限制。
2021-02-18 cs.AR
C3S Micro-architectural Enhancement: Spike Encoder Block and Relaxing Gamma Clock (Asynchronous)
Carnegie Mellon University(卡内基梅隆大学)
本项目基于TNN皮层柱C3S架构,提出二进制到脉冲编码器和Gamma周期控制器设计,以解决数字格式转换与空闲处理时间浪费问题,提升系统整体性能。
2023-06-26 cs.AR cs.ET cs.LG
SparCE: Sparsity aware General Purpose Core Extensions to Accelerate Deep Neural Networks
Purdue University(普渡大学);IBM T.J Watson Research Center(IBM托马斯·J·沃森研究中心)
深度神经网络(DNN)已成为解决各种机器学习任务的首选方法。DNN带来的巨大计算需求通常通过设计自定义加速器来解决。然而,这些加速器在许多设计场景中是禁止的(例如,可穿戴设备和物联网传感器),由于严格的面积/成本限制。在这些低功耗系统上加速DNN,主要包括通用处理器(GPP)内核,需要新的方法。我们通过利用DNN的一个关键属性,即,稀疏性我们提出了稀疏感知核心扩展(SparCE)-一组微架构和ISA扩展,利用稀疏性,侵入性最小,开销低。我们动态地检测零操作数并跳过一组使用它的未来指令。我们的设计确保要跳过的指令甚至不会被获取,因为挤压指令会带来惩罚。SparCE包括两个关键的微架构增强功能-一个是跟踪零寄存器的稀疏寄存器文件(SpRF),另一个是指示要跳过的指令的稀疏感知跳过地址(SASA)表。当提取指令时,SparCE动态地预先识别是否可以跳过后续指令,并适当地修改程序计数器,从而跳过冗余指令并提高性能。我们使用gem 5架构模拟器对SparCE进行建模,并在使用Caffe框架进行训练和推理的背景下,在6个图像识别DNN上评估我们的方法。在标量微处理器上,SparCE实现了19%-31%的应用级减少。我们还使用OpenBLAS库在4路SIMD ARMv 8处理器上评估了SparCE,并证明SparCE在应用级执行时间上减少了8%-15%。
2017-11-29 cs.AR cs.CV cs.DC