Balancing Generality and Specialization: A Survey on AI Datacenter Hardware Architecture
University of Michigan(密歇根大学)
该综述将AI加速器分为四类,分析其计算、内存及互连演进,并探讨通用性与专用性权衡在数据中心规模的设计挑战。
2026-09-24 cs.AR
Efficient Approaches for GEMM Acceleration on Leading AI-Optimized FPGAs
针对两款主流AI优化型FPGA架构差异大的问题,本文提出适配各自架构特性的GEMM优化系统框架,在int8精度下实现了高吞吐量与能效,并给出优化指导与可编程性权衡分析。
2024-04-17 cs.AR
Evaluating Architectural Trade-offs in CGRAs: The Impact of Scratchpad Memory and Heterogeneity on Compute-Intensive Kernels
Complutense University of Madrid(马德里康普顿斯大学);EPFL(洛桑联邦理工学院)
本文分析了CGRA设计中处理单元异构性和局部数据重用支持对计算密集型内核的影响,通过FFT、GEMM和端到端癫痫检测变压器工作负载评估,发现SPM可减少八倍内存流量,同构架构面积开销比异构小4.4-8.2倍且频率达700MHz,为边缘工作负载选择CGRA架构提供路线图。
2026-06-26 cs.AR
Workload Behavior Driven Memory Subsystem Design for Hyperscale
针对云工作负载与通用基准行为不匹配、服务器架构未优化的问题,本文提出MemProf内存剖析工具,基于其对三类停顿原因的分析,提出共享微架构、高带宽小容量内存层等优化方案,并构建内存追踪工具提升预取器性能。
2023-05-02 cs.AR cs.DC
Co-Design of Memory-Storage Systems for Workload Awareness with Interpretable Models
Micron Technology(美光技术)
本文提出一种基于机器学习的系统方法,用于协同设计内存错误管理子系统及存储技术,通过分析多种工作负载提升存储架构设计。
2026-03-16 cs.AR cs.LG cs.SY
DEEP-GAP: Deep-learning Evaluation of Execution Parallelism in GPU Architectural Performance
Independent Researcher (University of Colorado Colorado Springs Alumni)(独立研究者(科罗拉多州立大学科罗拉多斯普林斯校友))
本文通过DEEP-GAP方法系统评估NVIDIA T4和L4 GPU在不同精度下的推理性能,发现INT8精度能显著提升吞吐量,L4在小批量任务中效率更高,T4在大规模任务中仍具竞争力。
2026-04-16 cs.AR cs.LG cs.PF
AI Accelerators for Large Language Model Inference: Architecture Analysis and Scaling Strategies
本文跨GPU、混合封装和晶圆级引擎比较商用AI加速器的LLM推理架构,量化性能差异与并行扩展策略,为硬件选型和下一代设计提供依据。
2025-05-13 cs.AR cs.LG
ScaleSimulator: A Fast and Cycle-Accurate Parallel Simulator for Architectural Exploration
下一代计算机系统的设计应该得到仿真基础设施的支持,仿真基础设施必须实现一些相互矛盾的目标,例如快速执行时间、高精度和足够的灵活性,以允许在大量可能的设计点之间进行比较。大多数现有的体系结构级仿真器被设计为灵活的,并行执行代码以提高效率,但代价是牺牲准确性。本文介绍了ScaleSimulator仿真环境,它是基于一种新的设计方法,其目标是实现近周期精度,同时仍然足够灵活,以模拟许多不同的未来系统架构,并足够有效地运行有意义的工作负载。我们通过在我们的方法中将并行性作为一等公民来实现这些目标。因此,本文主要集中在ScaleSimulator的设计点,使更好的并行执行,同时保持可扩展性和周期精度的模拟架构。该论文指出,新提出的ScaleSimulator工具可以(1)有效地并行执行周期精确的架构模拟器,(2)有效地模拟复杂的架构(例如,乱序CPU流水线、缓存一致性协议和网络)和大规模并行系统,以及(3)使用有意义的工作负载(如OLTP基准测试的完全模拟)来检查未来的体系结构选择。
2018-03-09 cs.AR cs.DC cs.PF
The Role of Advanced Computer Architectures in Accelerating Artificial Intelligence Workloads
Lahore Leads University(拉合尔利兹大学)
本文综述AI与计算机架构的协同进化,分析GPU、ASIC、FPGA等主流架构的设计与性能,探讨核心优化原则及新兴技术,指出软硬件协同设计对AI未来发展的必要性。
2025-11-13 cs.AI cs.AR cs.LG
Koios: A Deep Learning Benchmark Suite for FPGA Architecture and CAD Research
随着深度学习(DL)在许多应用中的流行,研究人员正在研究优化FPGA架构和CAD的不同方法,以在基于DL的工作负载上实现更好的结果质量(QoR)。在这个优化过程中,基准电路是一个重要的组成部分;在一组基准上实现的QoR是架构和CAD设计选择的主要驱动力。然而,目前的学术基准套件是不够的,因为它们没有捕获任何设计从DL域。这项工作提出了一套新的DL加速基准电路的FPGA架构和CAD研究,称为Koios。这套19个电路涵盖了各种各样的加速神经网络,设计尺寸,实现风格,抽象层次和数值精度。与现有的开源基准测试相比,这些设计更大,数据更并行,更异构,更深入的流水线,并利用更多的FPGA架构功能。这使研究人员能够针对此类工作负载确定架构效率低下的问题,并在更现实的基准上优化CAD工具,这些基准以不同的方式强调CAD算法。在本文中,我们描述了我们的基准测试套件的设计,目前的结果,通过Verilog的路由(VTR)流使用最新的FPGA架构模型运行它们,并确定从所产生的指标的关键见解。与广泛使用的VTR套件相比,我们的基准测试平均具有3.7倍的网表原语,1.8倍和4.7倍的DSP和BRAM密度,以及1.7倍的频率和1.9倍的近关键路线。最后,我们提出了两个示例案例研究,展示了如何使用我们的新基准测试套件进行DL优化FPGA的架构探索。
2021-06-13 cs.AR
MetaDSE: A Few-shot Meta-learning Framework for Cross-workload CPU Design Space Exploration
State Key Lab of Processors, Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所处理器状态关键实验室);University of Chinese Academy of Sciences(中国科学院大学);University of Electronic Science and Technology of China(电子科技大学)
针对跨工作负载CPU设计空间探索(DSE)中现有迁移学习方法的过拟合、数据模糊和工作负载差异问题,提出少样本元学习框架MetaDSE,基于模型无关元学习快速适应新目标工作负载,实验显示预测误差降低44.3%,提升DSE效率。
2025-04-18 cs.AI cs.AR
AgentDSE: Reasoning-Augmented Architectural Design Space Exploration
Harvard University(哈佛大学);Massachusetts Institute of Technology(麻省理工学院);Columbia University(哥伦比亚大学)
提出AgentDSE,利用大语言模型编码代理自动进行架构推理,在DNN加速器映射、软硬件协同设计和CPU缓存层次优化中,以少两个数量级的评估次数达到竞争或更优的设计质量。
2026-06-23 cs.AI cs.AR
TESSERA: A Workload-Driven Simulation and Design-Space Exploration Framework for Heterogeneous NPUs
Purdue University(普渡大学);Intel Corporation(英特尔公司)
提出MOSAIC框架,通过分析仿真和设计空间探索,支持异构神经处理单元(HPU)的细粒度微架构设计,在20个工作负载上实现比同构基线平均46.91%的等面积能效提升。
2026-09-23 cs.AR
3D-TrIM: A Memory-Efficient Spatial Computing Architecture for Convolution Workloads
针对卷积加速器内存访问开销问题,提出3D-TrIM架构,通过影子寄存器和共享移位寄存器提升面积与能效,在22nm工艺下实现4.47 TOPS/mm²和4.54 TOPS/W,性能较TrIM提升3.37倍。
2025-02-26 cs.AR
Spatzformer: An Efficient Reconfigurable Dual-Core RISC-V V Cluster for Mixed Scalar-Vector Workloads
Spatzformer提出首个可重构RISC-V V双核集群,通过拆分与合并两种模式协同处理混合标量-向量负载,在几乎不增加面积和能耗的前提下显著加速混合内核与细粒度同步向量内核。
2024-07-07 cs.AR
Architectural Implications of Graph Neural Networks
Shanghai Jiao Tong University(上海交通大学);Peking University(北京大学);Microsoft Research(微软研究院)
图神经网络(GNN)代表了一种新兴的深度学习模型,它对图结构进行操作。它正变得越来越受欢迎,由于其在许多图形相关的任务中实现的高精度。然而,GNN在系统和架构社区中并不像多层感知器和卷积神经网络那样被很好地理解。这项工作试图将GNN介绍给我们的社区。与之前只呈现GCN特征的工作相比,我们的工作覆盖了基于通用GNN描述框架的GNN工作负载的很大一部分。通过在两个广泛使用的库上构建模型,我们在推理阶段描述了GNN计算的通用和专用架构,并希望我们的工作可以促进更多的GNN系统和架构研究。
2021-12-24 cs.AR cs.LG cs.PF
MaxEVA: Maximizing the Efficiency of Matrix Multiplication on Versal AI Engine
提出MaxEVA框架,通过利用Versal AIE架构特性并多角度解决性能瓶颈,高效映射矩阵乘法,实现高达5.44 TFLOPs(fp32)和77.01 TOPs(int8)吞吐量,能效最高124.16 GFLOPs/W,较最先进方法吞吐量提升2.19倍。
2023-11-14 cs.AR
Tensor Casting: Co-Designing Algorithm-Architecture for Personalized Recommendation Training
KAIST(韩国科学技术院)
个性化推荐是云计算中心提供服务的最广泛部署的机器学习(ML)工作负载之一。因此,高性能推荐推理的架构解决方案最近已经成为几个先前文献的目标。不幸的是,关于这种新兴ML工作负载的培训方面,人们几乎没有探索和理解。在本文中,我们首先对训练建议进行了详细的工作负载表征研究,导致稀疏嵌入层训练成为最重要的性能瓶颈之一。然后,我们提出了我们的算法架构协同设计,称为张量铸造,这使得开发一个通用的加速器架构的张量散射,包括所有的关键原语的训练嵌入层。当在真实的CPU-GPU系统上进行原型设计时,与最先进的方法相比,Tensor Casting在训练吞吐量方面提供了1.9- 21倍的改进。
2020-10-25 cs.AR cs.DC cs.IR
Architecture, Dataflow and Physical Design Implications of 3D-ICs for DNN-Accelerators
深度神经网络(DNN)对更高计算能力的持续需求推动了并行计算架构的发展。3D集成(芯片垂直集成和连接)可以进一步提高性能,因为它引入了另一个空间并行级别。因此,我们分析了这种3D-DNN-加速器的功耗、性能、面积、功耗和温度。单片和基于TSV的堆叠式3D-IC与2D-IC进行比较。我们确定了高效3D-IC的工作负载属性和架构参数,并实现了3D与2D相比高达9.14倍的加速比。我们讨论面积性能权衡。我们证明了3D-IC的适用性,因为3D-IC的功耗与2D-IC相似,并且没有热限制。
2021-02-18 cs.AR
Mapping code on Coarse Grained Reconfigurable Arrays using a SAT solver
Università della Svizzera Italiana(瑞士意大利语大学)
本文提出了一种基于SAT求解器的编译方法,用于在粗粒度可重构阵列上实现更高效的映射,从而减少编译时间并提高映射质量。
2025-12-02 cs.AR
Cross-Layer Design for AI Acceleration with Non-Coherent Optical Computing
Colorado State University(科罗拉多州立大学)
ChatGPT、图卷积网络和其他深度神经网络等新兴AI应用需要大量计算资源来进行训练和推理。CPU、GPU和TPU等当代计算平台正在努力跟上这些AI应用程序的需求。非相干光计算代表了一种有前途的方法,用于AI工作负载的光速加速。在本文中,我们展示了跨层设计如何克服非相干光计算平台的挑战。我们描述了光学器件工程、调谐电路增强和架构创新的方法,以使光计算适应各种人工智能工作负载。我们还讨论了硬件/软件协同设计的技术,可以智能地映射和调整AI软件,以提高其在非相干光计算平台上的性能。
2023-03-22 cs.AR cs.ET cs.LG
HYDRA: A Heterogeneous Chiplet DSE Framework for Serving Dynamic Hybrid LLM Workloads
University of Wisconsin–Madison(威斯康星大学麦迪逊分校);University of Ulsan(蔚山大学)
本文提出HYDRA框架,针对异构小芯片系统上混合LLM服务的设计空间开展联合探索,实现了吞吐量与首token生成时间的显著提升,凸显架构与运行时策略协同设计的重要性。
2026-08-21 cs.AI cs.AR cs.LG
Workload-Aware Hardware Accelerator Mining for Distributed Deep Learning Training
提出一种基于启发式和关键路径的硬件加速器架构搜索技术,首次解决分布式张量与流水线并行场景,相比Spotlight搜索快31倍且吞吐量提升12倍,并比TPU架构提升12%。
2024-04-23 cs.AR cs.DC
Architectural Design and Performance Analysis of FPGA based AI Accelerators: A Comprehensive Review
Indian Institute of Engineering Science and Technology(印度工程科学与技术学院)
本文综述了基于FPGA的AI加速器的架构设计与性能分析,探讨了硬件层面的优化技术及最新加速器的挑战与未来发展方向。
2026-02-25 cs.AI cs.AR
Monad: Towards Cost-effective Specialization for Chiplet-based Spatial Accelerators
本研究针对芯粒基空间加速器的架构与集成设计空间未被充分开发的问题,提出成本感知的专业化方法Monad,结合统一编码与ML方法探索设计权衡,相较现有最优方案实现16%-30%的EDP降低。
2024-04-15 cs.AR
Architectural Implications of Agentic AI Workflows
Microsoft Azure(微软Azure)
该研究通过生产与受控研究分析智能体AI工作流的架构特性,揭示传统服务器的不匹配问题,提出Agora原型优化资源利用与吞吐量,为未来服务器架构指明方向。
2026-08-06 cs.AI cs.AR cs.OS
The AMD Rome Memory Barrier
随着AMD作为CPU行业竞争对手的快速增长,高性能和架构工程师分析新的AMD CPU势在必行。通过了解新的和不熟悉的架构,工程师能够调整他们的算法,以充分利用新的硬件。此外,工程师能够预测体系结构的限制,并确定何时需要替代平台用于特定工作负载。本文介绍的结果表明,AMD“罗马”架构的性能受到影响,一旦应用程序的内存带宽超过37.5 GiB/s的整数重应用程序,或100 GiB/s的浮点重工作负载。内存带宽和CPI之间呈现出强正相关性,以及增加的内存负载和SPEC CPU 2017基准测试套件的基准测试完成时间之间的强正相关性。
2022-11-21 cs.AR cs.DC cs.PF
Architectural and System Implications of CXL-enabled Tiered Memory
针对CXL分层内存的延迟和性能异构问题,提出动态内存请求控制机制MIKU,优先DDR请求并尽力服务CXL请求,实验表明可显著提升系统效率。
2025-03-26 cs.AR cs.ET
DeGS: A Scalable 3DGS Architecture via Decoupled Workload Parsing and Reorganization
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);Shanghai Jiao Tong University(上海交通大学)
DeGS是一种解耦工作负载解析与重组的可扩展3DGS架构,通过优化数据流提升PE利用率,在多场景多分辨率下较现有3DGS加速器实现吞吐量、加速比与能效提升,高PE扩展时仍保持高利用率。
2026-08-04 cs.AI cs.AR cs.CV
Towards Efficient Neuro-Symbolic AI: From Workload Characterization to Hardware Architecture
Georgia Institute of Technology(佐治亚理工学院);University of California, Berkeley(加利福尼亚大学伯克利分校);IBM Research(IBM研究院)
本文分析了神经符号AI的工作负载特征,揭示其在现成硬件上的效率瓶颈,并提出跨层优化方案与向量符号架构硬件加速案例以提升性能。
2024-09-23 cs.AI cs.AR
Single 32-bit Sub-Channel DDR5 DIMMs: Architecture, Performance Bounds, and Standardisation
GIGABYTE Technology Co., Ltd.(技嘉科技股份有限公司)
本文探讨了DDR5内存子通道架构,分析了单子通道DIMM在性能和标准化方面的挑战与贡献。
2026-05-09 cs.AR cs.PF
C2C-Explorer: An Exploration Framework for Chip-to-Chip Interconnect Architectures in LLM Cloud Computing Systems
Institute for Artificial Intelligence, Peking University(北京大学人工智能研究院);Beijing Advanced Innovation Center for Integrated Circuits, School of Integrated Circuits, Peking University(北京大学集成电路学院北京先进集成电路创新中心);Hupan Lab(湖畔实验室);Damo Academy, Alibaba Group(阿里巴巴集团达摩院);Alibaba Cloud, Alibaba Group(阿里巴巴集团阿里云)
C2C-Explorer是一种自适应贝叶斯DSE框架,整合流量生成器、可扩展互连模拟器与评估器,用于探索LLM云计算系统的C2C互连架构,在DeepSeek-R1-671B负载中可提升有效吞吐量并降低内存占用。
2026-08-11 cs.AR cs.CE cs.DC
Towards Autonomous Accelerator Design: FPGA Accelerator Generation with SECDA
School of Computing Science, University of Glasgow, Scotland, UK(格拉斯哥大学计算机科学学院)
提出SECDA-DSE框架,集成大语言模型引导FPGA加速器设计空间探索,通过结构化探索器和LLM推理生成可综合的加速器设计,减少人工干预。
2026-06-09 cs.AI cs.AR cs.PF
SPEC CPU2026: Characterization, Representativeness, and Cross-Suite Comparison
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文研究SPEC CPU2026在九种平台上的性能特征,发现其相比2017版增加了指令量和内存占用,同时通过分析发现其在架构评估中可通过精简工作负载集保持高保真度,并通过与其他基准的比较展示其在通用计算中的优势。
2026-08-10 cs.AR cs.PF
A Per-Access Upper Bound for Shared-Resource Interference in Direct-Mapped Multicore Architectures
ExtenSilica
针对直接映射L2缓存、禁用MSHR、单bank主存等严格架构不变性,证明目标任务每关键访问的停滞上界为(N-1)Lmem,并给出可达性构造,为DO-178C/CAST-32A认证提供可追溯的干扰分离方法。
2026-05-20 cs.AR cs.OS cs.PF
No Tile Left Behind: Multiprogramming for Surface-Code Architectures
The Pennsylvania State University(宾夕法尼亚州立大学)
本文提出面向表面码架构的多程序设计框架,解决其结构性约束和运行时影响,通过仿真在Clifford+T工作负载上实现3.1倍的系统加速,比现有基线提高了约29%。
2026-04-28 cs.AR quant-ph
Microarchitecture Design and Benchmarking of Custom SHA-3 Instruction for RISC-V
本文面向RISC-V设计并原型实现SHA-3自定义指令,通过GEM5仿真与FPGA验证实现最高46.31倍加速,且硬件开销较低,为密码学指令集扩展提供微架构设计依据。
2025-08-28 cs.AR cs.CR cs.NI
Machine Learning-Driven Intelligent Memory System Design: From On-Chip Caches to Storage
本文提出利用轻量级机器学习方法设计内存系统,通过三种ML引导的架构策略提升性能与效率,优于传统人工设计策略。
2026-03-15 cs.AI cs.AR cs.DC