An Inquiry into Datacenter TCO for LLM Inference with FP8
POSTECH;NAVER Cloud(NAVER云);KAIST(韩国科学技术院)
本研究从TCO视角分析LLM推理计算特性,提出可泛化框架比较不同AI加速器,探究关键工作负载特性对Intel和NVIDIA加速器TCO的影响,发现Gaudi HPUs在瘦GEMMs上利用率更优,强调实证分析的重要性并为部署决策和加速器设计提供指导。
2025-08-25 cs.LG cs.PF
OpenG2G: A Simulation Platform for AI Datacenter-Grid Runtime Coordination
University of Michigan(密歇根大学)
本文提出OpenG2G平台,用于研究AI数据中心与电网的协调策略,通过模拟不同控制方法评估AI模型对数据中心灵活性的影响。
2026-05-06 cs.DC cs.LG
A Full-Stack Search Technique for Domain Optimized Deep Learning Accelerators
Google Brain(谷歌大脑);Google(谷歌);Stanford University(斯坦福大学)
快速变化的深度学习环境为构建针对特定企业级工作负载优化的推理加速器提供了独特的机会。我们提出了全栈加速器搜索技术(FAST),这是一个硬件加速器搜索框架,它定义了一个广泛的优化环境,涵盖硬件-软件堆栈中的关键设计决策,包括硬件数据路径,软件调度和编译器通道,如操作融合和张量填充。在本文中,我们分析了最先进的视觉和自然语言处理(NLP)模型中的瓶颈,包括EfficientNet和BERT,并使用FAST设计能够解决这些瓶颈的加速器。与TPU-v3相比,针对单一工作负载优化的FAST生成的加速器在所有基准测试中将Perf/TDP平均提高了3.7倍。与TPU-v3相比,FAST生成的加速器针对服务一系列工作负载进行了优化,平均将Perf/TDP提高了2.4倍。我们的投资回报分析表明,FAST生成的加速器可能适用于中等规模的数据中心部署。
2022-02-01 cs.AR cs.LG cs.PF
Characterization of Large Language Model Development in the Datacenter
Shanghai AI Laboratory(上海人工智能实验室);Peking University(北京大学);NTU(南洋理工大学);Shanghai Jiao Tong University(上海交通大学);SenseTime Research(商汤科技研究院);CUHK(香港中文大学)
本文基于 Acme GPU 数据中心六个月的 LLM 开发轨迹,分析其与传统 DL 工作负载的差异、资源利用及故障影响,并提出容错预训练与评估解耦调度两项系统优化。
2024-04-03 cs.DC cs.LG
PyGraph: Robust Compiler Support for CUDA Graphs in PyTorch
Indian Institute of Science(印度科学研究院);Microsoft Research India(微软印度研究院)
PyGraph通过自动代码转换、消除参数复制开销和选择性部署优化,提升PyTorch中CUDA Graphs的效益。
2025-12-22 cs.LG
Graph neural networks with configuration cross-attention for tensor compilers
King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学)
本文提出神经图架构TGraph,通过配置交叉注意力筛选计算图中张量的快速转置与分块配置,将TpuGraphs布局集合上的平均Kendall's τ从29.8%提升至67.4%,实现AI张量编译器并显著降低推理能耗。
2024-11-25 cs.AR cs.LG cs.PF
Towards High Performance, Portability, and Productivity: Lightweight Augmented Neural Networks for Performance Prediction
University of Southern California(南加州大学);US Army Research Lab-West(美国陆军研究实验室西部)
编写高性能代码需要在程序设计语言、编译器优化和硬件知识方面的大量专业知识。这通常会导致生产力和可移植性差,并且对于非程序员领域专家(如物理学家)来说不方便。更理想的是一种高级语言,其中领域专家简单地根据高级操作来指定工作负荷(例如,matrix-multiply(A,B)),并且编译器识别充分利用异构平台的最佳实现。为了创建同时支持生产力、可移植性和性能的编译器,关键在于预测工作负载中包含的主要操作(内核)的各种可用实现(变体)在各种硬件上的性能,以决定(a)应该为工作负载中的每个内核选择哪个变体,以及(b)变体应该在哪个硬件资源上运行。为了实现性能预测,我们提出了轻量级的增强神经网络的内核变体硬件的任意组合。一个关键的创新是利用内核的数学复杂性作为实现更高精度的特征。这些模型是紧凑的,以减少编译时和运行时的训练时间和快速推理。使用少于75个参数的模型,只有250个训练数据实例,我们能够获得3%的低MAPE,在48个内核变体硬件组合上显著优于传统的前馈神经网络。我们进一步证明,我们的变量选择方法可以用于Halide实现,以获得高达1.7倍的加速比Halide的自动调度。
2020-08-30 cs.LG cs.PF
The Pitfall of Evaluating Performance on Emerging AI Accelerators
University of Chinese Academy of Sciences(中国科学院大学);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所)
近年来,特定领域的硬件在深度学习(DL)中带来了显著的性能提升。在评估这些AI加速器时,工业界和学术界都只关注吞吐量,这些加速器通常是部署在数据中心的定制ASIC,以加速DL工作负载的推理阶段。追求更高的硬件吞吐量,如OPS(每秒操作)使用各种优化似乎是他们的主要设计目标。然而,他们忽略了准确性在DL性质中的重要性。受此启发,本文认为单一的吞吐量指标无法全面反映人工智能加速器的真实性能。为了揭示这一缺陷,我们评估了典型AI加速器上的几种常用优化,并量化了它们在代表性DL推理工作负载下对准确性和吞吐量的影响。基于我们的实验结果,我们发现一些优化在某些工作负载下会导致严重的准确性损失,尽管它可以提高吞吐量。此外,我们的研究结果表明,端到端的评估在DL的重要性。
2019-11-08 cs.LG cs.PF
oneDNN Graph Compiler: A Hybrid Approach for High-Performance Deep Learning Compilation
Intel(英特尔)
针对深度学习工作负载变化下现有编译方案无法充分发挥硬件性能的问题,提出结合编译优化与专家调优内核的oneDNN Graph Compiler,在英特尔至强处理器上实现了显著性能提升。
2024-03-11 cs.LG cs.PF
From Loop Nests to Silicon: Mapping AI Workloads onto AMD NPUs with MLIR-AIR
Research and Advanced Development, AMD(AMD 研究与先进开发部)
本文提出MLIR-AIR编译器栈,通过AIR方言将AI工作负载映射到AMD NPU,实现高达78.7%计算效率,并以约150行代码支持多头注意力融合实现。
2025-10-16 cs.AR cs.CL cs.LG
TVM: An Automated End-to-End Optimizing Compiler for Deep Learning
Paul G. Allen School of Computer Science & Engineering, University of Washington(华盛顿大学保罗·G·艾伦计算机科学与工程学院);AWS(亚马逊云科技);Shanghai Jiao Tong University(上海交通大学);UC Davis(加州大学戴维斯分校);Cornell(康奈尔大学)
越来越需要将机器学习引入各种各样的硬件设备。目前的框架依赖于特定于供应商的运算符库,并针对范围较窄的服务器级GPU进行了优化。将工作负载部署到新平台--例如移动电话、嵌入式设备和加速器(例如,FPGA、ASIC)--需要大量的手动工作。我们提出了TVM,这是一个编译器,它公开了图形级和操作符级优化,为跨不同硬件后端的深度学习工作负载提供性能可移植性。TVM解决了特定于深度学习的优化挑战,例如高级操作符融合,映射到任意硬件原语和内存延迟隐藏。它还采用了一种新的,基于学习的成本建模方法,用于快速探索代码优化,从而自动优化低级程序的硬件特性。实验结果表明,TVM在硬件后端提供的性能与低功耗CPU,移动GPU和服务器级GPU的最先进的手工调优库竞争。我们还展示了TVM针对新加速器后端的能力,例如基于FPGA的通用深度学习加速器。该系统是开源的,并在几家大公司的生产中使用。
2018-10-05 cs.AI cs.LG cs.PL
RAF: Holistic Compilation for Deep Learning Model Training
Amazon Web Services, Inc(亚马逊云科技);Scroll Foundation(Scroll基金会);OctoML, Inc(OctoML公司)
随着深度学习在现代应用中的普及,许多深度学习框架被提出来供深度学习从业者快速开发和训练DNN模型。与此同时,随着近年来训练大型深度学习模型成为一种趋势,训练吞吐量和内存占用变得至关重要。因此,通过编译器优化来优化训练工作量是必然的,也越来越受到人们的关注。然而,现有的深度学习编译器(DLC)主要以推理为目标,并且在训练工作负载中没有结合整体优化,例如自动微分和自动混合精度。在本文中,我们提出了RAF,一个用于训练的深度学习编译器。与现有的DLC不同,RAF接受前向模型并在内部生成训练图。因此,RAF能够系统地整合性能,内存和分布式训练的图形优化。此外,为了赶上手工制作的内核库以及张量编译器的最新性能,RAF提出了一种操作符方言机制来无缝集成所有可能的内核实现。我们证明,通过内部训练图生成和操作员方言机制,我们能够执行整体优化,并针对PyTorch(渴望和torchscript模式),XLA和DeepSpeed针对GPU上流行的Transformer模型实现更好的训练吞吐量或更大的批量。
2023-03-08 cs.DC cs.LG cs.PL
REASONING COMPILER: LLM-Guided Optimizations for Efficient Model Serving
University of California San Diego(加州大学圣地亚哥分校)
推理编译器利用大语言模型进行编译优化,通过上下文感知决策提升样本效率,实现高效模型服务。
2026-02-04 cs.AI cs.LG cs.PL