FTuner: A Fast Dynamic Shape Tensors Program Auto-Tuner for Deep Learning Compilers
School of Computer Science and Engineering(计算机科学与工程学院);Beihang University(北京航空航天大学)
FTuner通过uKernel抽象计算单元拼接小张量以匹配动态输入形状,结合解析硬件信息模型,在保持与厂商库相当性能的同时将调优时间降低两个数量级。
2024-07-31 cs.DC cs.LG
Coverage-Guided Tensor Compiler Fuzzing with Joint IR-Pass Mutation
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Tongji University(同济大学);Fudan University(复旦大学)
在过去的十年中,深度学习(DL)系统已被广泛部署在各个领域,以方便我们的日常生活。与此同时,确保DL系统的正确性(例如,由于其固有的不确定性),并且DL系统中的错误可能导致严重的后果,甚至可能威胁人类生命。在文献中,研究人员已经探索了各种技术来测试,分析和验证DL模型,因为它们的质量直接影响相应的系统行为。最近,研究人员还提出了用于测试底层操作符级DL库(如TensorFlow和PyTorch)的新技术,这些库为每个高级DL操作符提供了通用的二进制实现,以便在许多平台上运行各种DL模型。然而,针对新兴张量编译器的可靠性的工作仍然有限,这些编译器旨在直接将高级张量计算图编译为高性能二进制文件,以提高效率,可移植性和可扩展性。本文针对张量编译器测试这一重要问题,提出了一种实用的模糊测试技术Tzer,用于广泛使用的TVM张量编译器。由于高级中间表示(IR)的变异空间有限,Tzer专注于对TVM的低级IR进行变异。更具体地说,Tzer利用覆盖反馈指导的通用和张量编译器特定的变异器进行进化IR变异;此外,Tzer还与IR变异串联执行传递变异,以实现更有效的模糊化。我们的研究结果表明,Tzer在张量编译器测试方面大大优于现有的模糊技术,覆盖率比第二好的技术高75%,测试价值高50%。到目前为止,Tzer已经检测到49个TVM以前未知的bug,其中37个bug得到确认,25个bug得到修复(PR…
2022-02-21 cs.CR cs.LG cs.PL
Tensor Seeks Layout: Formalizing Layout Selection for ML Compilers
TU Wien(维也纳技术大学);Amazon(亚马逊公司)
本文首次形式化机器学习编译器的布局选择问题,提出组合优化模型与算法,实现多种现有策略的统一,在AI加速器编译器上的实验验证了其效果,可分离成本模型误差与搜索质量。
2026-08-25 cs.DS cs.LG cs.PL
Agile Autotuning of a Transprecision Tensor Accelerator Overlay for TVM Compiler Stack
IBM Research Europe(IBM欧洲研究院);Eindhoven University of Technology(埃因霍温理工大学)
专门用于张量运算的加速器,如分块矩阵运算和多维卷积,已经成为高性能深度学习计算的强大架构选择。框架、模型和精度选项的快速发展对这种张量加速器的适应性提出了挑战,因为适应新的要求会产生巨大的工程成本。可编程张量加速器提供了一种有前途的替代方案,它允许重新配置覆盖在物理FPGA可配置结构之上的虚拟架构。我们提出了一个覆盖(τ-VTA)和一个由敏捷启发的自动调整技术指导的优化方法。我们实现了比最先进技术更高的性能和更快的收敛速度。
2020-04-20 cs.DC cs.LG cs.NE
Graph neural networks with configuration cross-attention for tensor compilers
King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学)
本文提出神经图架构TGraph,通过配置交叉注意力筛选计算图中张量的快速转置与分块配置,将TpuGraphs布局集合上的平均Kendall's τ从29.8%提升至67.4%,实现AI张量编译器并显著降低推理能耗。
2024-11-25 cs.AR cs.LG cs.PF
LoopStack: a Lightweight Tensor Algebra Compiler Stack
Meta AI;MIT(麻省理工学院)
我们提出了LoopStack,一个域特定的编译器堆栈张量操作,由前端,LoopTool,和一个高效的优化代码生成器,LoopNest。这个堆栈使我们能够编译整个神经网络并生成针对AVX 2、AVX 512、NEON和NEONfp 16指令集的代码,同时结合其他机器学习编译器后端经常缺少的优化。我们在一组完整的神经网络和常用的网络块以及单个运算符上评估了我们的堆栈,并表明LoopStack生成的机器码在这两种情况下都能匹配并经常超过最先进的机器学习框架的性能。我们还表明,对于大量的时间表LoopNest的编译速度比LLVM快几个数量级,同时导致相等或改进的运行时间性能。此外,LoopStack具有非常小的内存占用-二进制大小为245 KB,有效代码不到30 K行,非常适合在移动和嵌入式设备上使用。
2022-05-02 cs.LG cs.PF cs.SC
TPU-MLIR: A Compiler For TPU Using MLIR
Sophgo Inc.(算能科技有限公司)
多层中间表示(MLIR)通过提供可重用和可扩展的编译器基础结构,在降低构建特定领域编译器的成本方面显示出巨大的潜力。这项工作提出了TPU-MLIR,这是一个基于MLIR的端到端编译器,它将预训练的神经网络(NN)模型部署到称为张量处理单元(TPU)的自定义ASIC中。TPU-MLIR定义了两种新的方言来实现其功能:1。对深度学习图语义进行编码并且独立于深度学习框架的张量操作(TOP)方言,以及2. TPU内核方言,用于在TPU上提供标准内核计算。NN模型被翻译为TOP方言,然后根据芯片的配置针对不同的TPU降低到TPU方言。我们演示了如何使用MLIR通道流水线来组织和执行TPU上的优化,以生成机器码。本文还提出了一个验证过程,以确保每个转换阶段的正确性。
2023-02-09 cs.CL cs.LG cs.PL
oneDNN Graph Compiler: A Hybrid Approach for High-Performance Deep Learning Compilation
Intel(英特尔)
针对深度学习工作负载变化下现有编译方案无法充分发挥硬件性能的问题,提出结合编译优化与专家调优内核的oneDNN Graph Compiler,在英特尔至强处理器上实现了显著性能提升。
2024-03-11 cs.LG cs.PF
CHET: Compiler and Runtime for Homomorphic Evaluation of Tensor Programs
University of Texas at Austin(德克萨斯大学奥斯汀分校);Microsoft Research(微软研究院)
全同态加密(FHE)是指一组加密方案,其允许计算直接应用于加密数据而不需要秘密密钥。这实现了新的应用场景,其中客户端可以安全地将存储和计算卸载到第三方云提供商,而不必信任具有解密密钥的软件和硬件供应商。FHE方案和实现的最新进展已经将这种应用从理论可能性转移到实践领域。本文提出了一个紧凑的和推理良好的接口称为同态指令集架构(HISA)开发FHE应用程序。正如硬件ISA接口使硬件进步能够独立于编译器和语言运行时中的软件进步而进行一样,HISA将用于支持FHE应用的编译器优化和运行时从底层FHE方案的进步中分离出来。本文通过构建一个端到端软件栈来评估加密数据上的神经网络模型,从而展示了HISA的功能。我们的堆栈包括一个端到端编译器、运行时和一组优化。我们的方法表明,在一组流行的神经网络架构上生成的代码比手动优化的实现更快。
2018-10-01 cs.CR cs.LG cs.PL
FamilySeer: Towards Optimized Tensor Codes by Exploiting Computation Subgraph Similarity
Beihang University(北京航空航天大学)
有效地部署各种深度学习(DL)模型促进了DL编译器的研究。生成优化张量代码的困难促使DL编译器对自动调优方法提出了更高的要求,而不断增长的需求要求提高自动调优的效率和质量。目前,DL编译器将输入DL模型划分为几个子图,并利用自动调整来找到这些子图的最佳张量代码。然而,现有的自动调整方法通常将子图视为单独的子图,忽略了它们之间的相似性,因此无法在有限的时间预算下利用更好的张量代码。我们提出了FamilySeer,这是一个用于DL编译器的自动调优框架,即使在有限的时间预算下也可以生成更好的张量代码。FamilySeer利用子图之间的相似性和差异,可以将它们组织成子图家族,其中一个子图的调整也可以改善同一家族中的其他子图。每个族的代价模型得到更纯净的训练样本,并变得更准确,从而可以通过代价模型的轻量级估计来代替真实硬件上的昂贵测量。我们的实验表明,FamilySeer可以生成具有相同代码性能的模型代码,比最先进的自动调优框架更有效。
2022-01-01 cs.DC cs.LG cs.PL
NNSmith: Generating Diverse and Valid Test Cases for Deep Learning Compilers
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);New York University(纽约大学);Northeastern University(东北大学)
TVM和TensorRT等深度学习(DL)编译器越来越多地用于优化深度神经网络(DNN)模型,以满足性能、资源利用率和其他要求。这些编译器中的错误可能导致模型的语义与原始模型不同,从而产生错误的结果,破坏下游应用程序的正确性。然而,由于这些编译器的复杂性,在它们中找到bug是具有挑战性的。在这项工作中,我们提出了一种新的模糊测试方法来发现深度学习编译器中的错误。我们的核心方法包括:(i)生成多样化但有效的DNN测试模型,这些模型可以使用轻量级操作符规范来执行编译器的大部分转换逻辑;(ii)执行基于梯度的搜索,以找到模型执行期间避免任何浮点异常值的模型输入,减少遗漏错误或错误警报的机会;以及(iii)使用差分测试来识别错误。我们在NNSmith中实现了这种方法,到目前为止,NNSmith已经为TVM、TensorRT、ONNXtreme和PyTorch发现了72个新的bug。其中58个已被确认,51个已被各自的项目维护人员修复。
2022-12-30 cs.LG cs.SE
MPK: A Compiler and Runtime for Mega-Kernelizing Tensor Programs
Carnegie Mellon University(卡内基梅隆大学);Tsinghua University(清华大学);NVIDIA;University of Michigan(密歇根大学);Independent Researcher(独立研究者);Peking University(北京大学)
提出MPK,首个自动将多GPU模型推理转化为单个高性能巨型内核的编译器和运行时系统,通过SM级图表示实现跨算子软件流水线和细粒度计算通信重叠,显著降低推理延迟。
2026-06-11 cs.DC cs.LG cs.PL
LoopTune: Optimizing Tensor Computations with Reinforcement Learning
Rice University(莱斯大学);Meta AI;Dabun AI
针对传统编译器性能不足、自动调优耗时长等问题,提出深度强化学习编译器LoopTune,结合图表示与LoopNest代码生成器,可快速针对CPU优化张量计算,性能比肩手动调优库。
2023-11-08 cs.LG cs.PL
Stripe: Tensor Compilation via the Nested Polyhedral Model
Intel(英特尔公司)
硬件架构和机器学习(ML)库发展迅速。传统的编译器通常无法在各种新硬件产品中生成高性能代码。为了缓解这种情况,工程师们为每个ML库更新和硬件升级开发了手动调优的内核。不幸的是,这种方法需要过多的工程工作来扩展或维护任何程度的最先进的性能。在这里,我们提出了一个嵌套多面体模型表示高度并行化的计算有限的依赖关系之间的迭代。该模型为称为Stripe的中间表示(IR)提供了一个底层框架,该框架适用于标准编译器技术,同时自然地对现代ML计算的关键方面进行建模。Stripe代表了并行性、高效的内存布局和多个计算单元,这些计算单元处于一个可自动优化的抽象级别。我们描述了Stripe如何以LLVM的风格为ML启用编译器,允许独立开发算法,优化和硬件加速器。我们还讨论了Stripe相对于内核库和基于调度或基于调度空间的代码生成的设计探索优势。
2019-03-14 cs.DC cs.LG
Toward Compiler World Models: Learning Latent Dynamics for Efficient Tensor Program Search
Hangzhou Institute for Advanced Study, University of Chinese Academy of Sciences(中国科学院大学杭州高等研究院);Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所);University of Chinese Academy of Sciences(中国科学院大学)
提出一种受世界模型启发的评估器,通过轻量级过渡模型在连续潜在空间中展开调度动作,避免昂贵AST变异和重复编码,在TVM AutoScheduler中实现比Ansor更优的延迟和测量效率。
2026-06-08 cs.LG cs.PL
Towards a high-performance AI compiler with upstream MLIR
Intel Corporation(英特尔公司)
提出基于开源 MLIR 的编译流程,通过缓存级优化与微内核降低技术,使线性代数抽象达到 ninja 级性能的 90% 以上。
2024-04-15 cs.AI cs.AR cs.DC
A High-Level Compiler Integration Approach for Deep Learning Accelerators Supporting Abstraction and Optimization
Technical University of Munich(慕尼黑技术大学);TU Wien(维也纳技术大学)
本文提出基于TVM的高层编译器集成方法,结合CoSA设计空间探索自动调度张量,在Gemmini上实现与手工工具链相当的性能,简化GEMM类深度学习加速器集成。
2025-07-07 cs.LG
DLVM: A modern compiler infrastructure for deep learning systems
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
深度学习软件需要可靠性和性能。然而,许多现有的深度学习框架都是软件库,它们在Python中充当不安全的DSL和计算图解释器。我们提出了DLVM,一个设计和实现的编译器基础设施与线性代数中间表示,算法微分伴随代码生成,特定于域的优化和代码生成器通过LLVM针对GPU。DLVM设计为受LLVM启发的现代编译器基础设施,比现有的深度学习编译器框架更具模块化和通用性,并支持具有高表达性的张量DSL。通过我们在Swift中嵌入的原型阶段DSL,我们认为DLVM系统为深度学习提供了一种模块化,安全和高性能的框架。
2018-02-02 cs.LG cs.MS cs.PL
TensorIR: An Abstraction for Automatic Tensorized Program Optimization
Shanghai Jiao Tong University(上海交通大学);Carnegie Mellon University(卡内基梅隆大学);OctoML(OctoML公司);University of Washington(华盛顿大学);UC Berkeley(加州大学伯克利分校);Amazon Web Services(亚马逊云科技)
在各种设备上部署深度学习模型已经成为一个重要的课题。硬件专业化的浪潮为多维张量计算带来了各种各样的加速原语。这些新的加速原语,以及新兴的机器学习模型,带来了巨大的工程挑战。在本文中,我们提出了TensorIR,一个编译器抽象优化程序与这些张量计算原语。TensorIR概括了现有机器学习编译器中使用的循环嵌套表示,将张量计算作为一等公民。最后,我们在我们的抽象之上构建了一个端到端框架,以自动优化给定张量计算原语的深度学习模型。实验结果表明,TensorIR编译自动使用给定硬件后端的张量计算原语,并提供与跨平台的最先进手动优化系统竞争的性能。
2022-10-27 cs.AI cs.LG cs.PL
Optimizing Tensor Train Decomposition in DNNs for RISC-V Architectures Using Design Space Exploration and Compiler Optimizations
School of Informatics, Aristotle University of Thessaloniki(阿尔基托斯大学信息学院);School of Engineering, Computing and Mathematics, University of Plymouth(普利茅斯大学工程、计算与数学学院);School of Informatics, Reutlingen University(鲁特林根大学信息学院)
本文提出了一种在RISC-V架构上通过设计空间探索和编译器优化优化DNN中张量列车分解的方法,以提高计算效率和推理速度。
2026-02-02 cs.AI cs.AR cs.LG
Operator Fusion in XLA: Analysis and Evaluation
University of Toronto(多伦多大学)
机器学习(ML)编译器是一个活跃的研究领域,因为它们提供了自动加速张量程序的潜力。核融合通常被认为是ML编译器执行的重要优化。然而,关于最常见的ML编译器XLA如何应用这种细微的优化,它可以提供什么样的加速,以及它对硬件的低级影响,存在着知识差距。本文旨在通过研究XLA源代码的关键编译通道来弥合这一知识差距。我们对强化学习环境Cartpole的评估显示了XLA在实践中如何做出不同的融合决策。此外,我们实现了几个XLA内核融合策略,可以实现高达10.56倍的加速比相比,我们的基线实现。
2023-01-30 cs.LG
The Deep Learning Compiler: A Comprehensive Survey
Beihang University(北京航空航天大学);Tsinghua University(清华大学)
在不同的深度学习硬件上部署各种深度学习(DL)模型的难度推动了社区中DL编译器的研究和开发。工业界和学术界已经提出了几种DL编译器,如Tensorflow XLA和TVM。类似地,DL编译器将不同DL框架中描述的DL模型作为输入,然后生成针对不同DL硬件的优化代码作为输出。然而,现有的研究还没有全面分析DL编译器独特的设计结构。在本文中,我们进行了全面的调查,现有的DL编译器的详细解剖常用的设计,重点是面向DL的多级IR,前端/后端优化。具体来说,我们提供了一个全面的比较现有的DL编译器从各个方面。此外,我们提出了详细的分析多电平IR的设计,并说明了常用的优化技术。最后,指出了DL编译器未来的研究方向.本文是第一篇针对深度学习编译器设计体系结构的综述性文章,希望能为深度学习编译器的进一步研究铺平道路。
2020-08-28 cs.DC cs.LG cs.PF
DVM: A Bytecode Virtual Machine Approach for Dynamic Tensor Computation
Huawei(华为);HKUST(香港科技大学);HKUST(GZ)(香港科技大学(广州));Hunan University(湖南大学)
本文提出DVM,通过字节码虚拟机实现实时编译,提升动态张量计算的效率和编译速度,相比其他框架在效率和编译时间上有显著优势。
2026-04-02 cs.AI cs.LG cs.PL
LLM-Aided Compilation for Tensor Accelerators
University of California, Berkeley(加州大学伯克利分校)
本文研究利用LLM构建可随应用与硬件变化快速更新的张量加速器编译器,展示GPT-4对Gemmini的高通过率翻译能力,并提出分解翻译步骤及两阶段硬件优化代码生成工作流。
2024-08-06 cs.AR cs.LG cs.PL
CATBench: A Compiler Autotuning Benchmarking Suite for Black-box Optimization
Norwegian University of Science and Technology (NTNU)(挪威科技大学);Lund University(隆德大学)
CATBench 是一个面向编译器自动调优的标准化基准测试套件,涵盖离散、条件、排列参数及多保真度、多目标等复杂场景,旨在促进贝叶斯优化算法的可复现评估与创新。
2025-04-08 cs.AI cs.LG cs.NE
Memory Safe Computations with XLA Compiler
Imperial College London(帝国理工学院);Secondmind(Secondmind公司)
像TensorFlow和PyTorch这样的软件包旨在支持线性代数运算,它们的速度和可用性决定了它们的成功。然而,通过优先考虑速度,他们往往忽略了内存需求。因此,在软件设计方面方便的存储器密集型算法的实现通常由于存储器溢出而不能运行于大问题。内存高效的解决方案需要复杂的编程方法,在计算框架之外具有重要的逻辑。这损害了这种算法的采用和使用。为了解决这个问题,我们开发了一个XLA编译器扩展,根据用户指定的内存限制调整算法的计算数据流表示。我们表明,k-最近邻和稀疏高斯过程回归方法可以在单个设备上以更大的规模运行,而标准实现可能会失败。我们的方法可以更好地利用硬件资源。我们相信,进一步关注在编译器级别消除内存限制将扩大未来可以开发的机器学习方法的范围。
2022-06-28 cs.LG cs.PL stat.ML
GeoT: Tensor Centric Library for Graph Neural Network via Efficient Segment Reduction on GPU
University of California, San Diego(加利福尼亚大学圣迭戈分校);Stanford University(斯坦福大学);Intel Corporation(英特尔公司)
GeoT提出面向GNN的GPU张量中心库,通过高效分段归约和可融合并行算法,实现平均算子加速1.80倍、端到端加速1.68倍。
2024-04-08 cs.DC cs.LG
Hidet: Task-Mapping Programming Paradigm for Deep Learning Tensor Programs
University of Toronto(多伦多大学);Amazon Web Services(亚马逊云科技);Vector Institute(向量研究所)
随着深度学习模型如今被云服务和边缘设备广泛采用,减少深度学习模型推理的延迟对于提供高效的模型服务变得至关重要。然而,由于现代加速器的高度复杂性和运算符数量的快速增长,为深度学习运算符开发高效的张量程序具有挑战性。深度学习编译器,如Apache TVM,采用声明式调度原语来降低开发张量程序的标准。然而,我们表明,这种方法是不够的,以涵盖国家的最先进的张量程序优化。在本文中,我们建议将调度过程嵌入到张量程序中,并使用专用映射(称为任务映射)来定义计算分配和排序。这种新方法通过允许开发人员以更细的粒度操纵张量程序,极大地丰富了可表达的优化。我们称之为任务映射编程范式所提出的方法。此外,我们提出了一种新的调度后融合优化,允许开发人员专注于调度每个操作员,并在调度后自动进行融合。它大大减少了工程工作的运营商融合。我们提出的范例还构建了一个高效的硬件为中心的调度空间,这是不可知的程序输入大小,大大减少了调整时间。利用所提出的范例,我们实现了一个深度学习编译器Hidet。在现代卷积和Transformer模型上进行的大量实验表明,Hidet的性能比最先进的DNN推理框架、ONNX编译器和编译器、配备调度程序AutoTVM和Ansor的TVM高出1.48倍(平均1.22倍)。与AutoTVM和Ansor相比,它还将调优时间分别缩短了20倍和11倍。我们在https://www.github.com…
2023-02-15 cs.AI cs.LG cs.PL
ALT: Boosting Deep Learning Performance by Breaking the Wall between Graph and Operator Level Optimizations
Nanjing University(南京大学);Huawei Technologies(华为技术有限公司);The Hong Kong Polytechnic University(香港理工大学)
深度学习模型依赖于高度优化的张量库,以便在异构硬件上进行高效推理。当前的深度编译器通常预先确定张量的布局,然后优化运算符的循环。然而,这种单向和一次性的工作流严格地将图级优化和操作员级优化分离到不同的系统层中,从而错过了统一调优的机会。本文提出了ALT,一个编译器,执行联合图和操作符级的深度模型优化。ALT提供了一个通用的转换模块,通过简单易用的基本函数来操作布局和循环。ALT还集成了一个自动调优模块,可以在保证效率的同时,联合优化图形级数据布局和操作员级循环。实验结果表明,ALT的性能明显优于最先进的编译器(例如,Ansor)在单个操作者性能(例如,平均加速1.5倍)和端到端推理性能(例如,平均加速1.4倍)。
2022-10-29 cs.DC cs.LG
swTVM: Towards Optimized Tensor Code Generation for Deep Learning on Sunway Many-Core Processor
Beihang University(北京航空航天大学);National University of Singapore(新加坡国立大学);Tsinghua University(清华大学)
深度学习框架和硬件平台的蓬勃发展一直要求高效的编译器能够屏蔽软件和硬件的多样性,以提供应用程序的可移植性。在现有的深度学习编译器中,TVM以其在不同硬件设备上的代码生成和优化效率而闻名。与此同时,Sunway众核处理器凭借其在科学计算和深度学习工作负载方面的诱人计算能力,成为一个有竞争力的候选者。本文结合这两个方向的趋势。具体来说,我们提出了swTVM,扩展了原来的TVM,以支持提前编译的架构,需要交叉编译,如Sunway。此外,我们在编译过程中利用了架构特性,例如用于大规模并行的核心组,用于高带宽内存传输的DMA和用于数据局部性的本地设备内存,以便为Sunway上的深度学习工作负载生成高效的代码。实验结果表明,在六个有代表性的基准测试中,与Sunway上最先进的深度学习框架相比,swTVM生成的代码平均达到1.79倍。这项工作是第一次尝试从编译器的角度来弥合深度学习和Sunway处理器的差距,特别是考虑到生产力和效率。我们相信这项工作将鼓励更多的人接受深度学习和神威众核处理器的力量。
2022-07-11 cs.LG cs.PL stat.ML
Efficient Execution of Quantized Deep Learning Models: A Compiler Approach
Amazon Web Services(亚马逊云科技);Edgecortix Inc.(Edgecortix公司)
越来越多的应用程序使用深度学习模型来实现预测功能,这需要大量使用计算和内存。一种用于提高资源效率的流行技术是8位整数量化,其中使用较短的8位整数来表示32位浮点数(fp32)。尽管TensorFlow、TFLite、MXNet和PyTorch等深度学习框架使开发人员能够以较小的准确度降低对模型进行量化,但它们并不适合在各种硬件平台上执行量化模型。例如,TFLite经过优化,可以在ARM CPU边缘设备上运行推理,但它对Intel CPU和Nvidia GPU没有有效的支持。在本文中,我们通过提出一种增强编译器方法来解决在不同硬件平台上执行量化深度学习模型的挑战。诸如Apache TVM之类的深度学习编译器可以在各种目标上有效执行来自各种框架的模型。然而,今天的许多深度学习编译器主要是为fp32计算而设计的,无法优化预量化的INT 8模型。为了解决这个问题,我们创建了一个新的方言,称为量化神经网络(QNN),它扩展了编译器的内部表示与量化上下文。有了这个量化上下文,编译器可以在各种硬件平台上为预量化模型生成有效的代码。正如在Apache TVM中实现的那样,我们观察到QNN增强的深度学习编译器在Intel Xeon Cascade Lake CPU、Nvidia Tesla T4 GPU、ARM Raspberry Pi3和Pi4上分别实现了2.35倍、2.15倍、1.35倍和1.4…
2020-06-18 cs.DC cs.LG cs.PL
Stateful Testing for Deep Learning Compilers
State Key Laboratory for Novel Software Technology, Nanjing University(南京大学软件新技术国家重点实验室);UNIST(蔚山科学技术院)
针对深度学习编译器的有状态bug问题,提出Rondo有状态测试方法,检测到117个bug,其中35个有状态bug,获开发者确认35份报告并修复18个bug。
2026-10-16 cs.LG cs.SE
Transferable Graph Optimizers for ML Compilers
Google(谷歌公司);UC Riverside(加州大学河滨分校);Carnegie Mellon University(卡内基梅隆大学)
大多数用于机器学习(ML)框架的编译器需要解决许多相关的优化问题以生成高效的机器码。目前的ML编译器依赖于基于算法的算法来一次解决这些优化问题。然而,这种方法不仅难以维护,而且通常会导致次优解决方案,特别是对于较新的模型架构。文献中现有的基于学习的方法是样本效率低下的,解决单个优化问题,并且不推广到看不见的图,使得它们在实践中不可行。为了解决这些局限性,我们提出了一种端到端的,可转移的深度强化学习方法,用于计算图优化(GO),该方法基于归纳图神经网络上的可扩展顺序注意力机制。GO在整个图上生成决策,而不是在每个节点上自回归,与以前的方法相比,大大加快了搜索速度。此外,我们还提出了循环注意力层来联合优化依赖图优化任务,与TensorFlow默认优化相比,在三个图优化任务上实现了33%-60%的加速。在由多达80,000个节点组成的一组不同的代表性图形上,包括Inception-v3,Transformer-XL和WaveNet,GO在实际系统中评估的设备放置任务上,平均比人类专家提高了21%,比现有技术提高了18%,收敛速度提高了15倍。
2021-02-20 cs.DC cs.LG
Intel nGraph: An Intermediate Representation, Compiler, and Executor for Deep Learning
Intel(英特尔)
深度学习(DL)社区每年都会发布许多新颖的拓扑。在每个新拓扑上实现高性能仍然具有挑战性,因为每个拓扑都需要一定程度的手动工作。框架和硬件平台的激增使这个问题变得更加复杂。当前的方法,我们称之为“直接优化”,需要在每个框架内进行深入的更改,以提高每个硬件后端(CPU,GPU,FPGA,ASIC)的训练性能,并需要$\mathcal{O}(fp)$的努力;其中$f$是框架的数量,$p$是平台的数量。虽然针对深度学习原语的优化内核是通过英特尔深度神经网络数学内核库(MKL-DNN)等库提供的,但仍有几种受编译器启发的方法可以进一步优化性能。基于我们创建neon(GPU上的快速深度学习库)的经验,我们开发了英特尔nGraph,这是一个即将开源的C++库,可简化跨框架和硬件平台实现优化的深度学习性能。最初支持的框架包括TensorFlow,MXNet和Intel neon框架。最初的后端是英特尔架构CPU(CPU)、英特尔(R)神经网络神经网络处理器(R)(NNP)和NVIDIA GPU。当前支持的编译器优化包括高效的存储管理和数据布局抽象。在本文中,我们描述了我们的整体架构及其核心组件。在未来,我们设想将nGraph API支持扩展到更广泛的框架,硬件(包括FPGA和ASIC)和编译器优化(训练与推理优化,通过有效的子图分区进行多节点和多设备扩展,以及特定于硬件的复合操作)。
2018-01-30 cs.DC cs.LG
Neptune: Advanced ML Operator Fusion for Locality and Parallelism on GPUs
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);IBM Research(IBM研究院)
Neptune通过引入新的运算融合方法,有效融合复杂减少运算,提升深度学习性能,其在多个基准测试中表现出优于现有编译器的效率。
2026-04-20 cs.LG cs.PL
PassNet: Scaling Large Language Models for Graph Compiler Pass Generation
Baidu, Inc.(百度公司)
针对编译器默认优化在长尾子图上性能不佳的问题,提出PassNet生态系统,包含大规模数据集和基准测试,通过微调小模型在少量轨迹上即可接近前沿模型性能。
2026-05-28 cs.AI cs.LG cs.PL
G10: Enabling An Efficient Unified GPU Memory and Storage Architecture with Smart Tensor Migrations
UIUC(伊利诺伊大学厄巴纳-香槟分校)
G10提出统一GPU内存与存储架构,利用编译器预测张量行为并智能调度迁移,隐藏数据传输开销,性能最高提升1.75倍,达到理想性能的90.3%。
2023-10-13 cs.AR cs.LG
Nova: An End-to-End MLIR Compiler for Deep Learning
Blubridge AI(布鲁布里奇人工智能公司)
Nova是一款端到端MLIR编译器,通过整图优化等技术提升深度学习模型性能,在RTX 3060上的TF32矩阵乘法、模型吞吐量和内存占用等指标上优于PyTorch和XLA,可训练更大规模模型且避免OOM故障。
2026-09-03 cs.AI cs.AR cs.LG
SparseTIR: Composable Abstractions for Sparse Compilation in Deep Learning
University of Washington(华盛顿大学);Carnegie Mellon University(卡内基梅隆大学);OctoML;Shanghai Jiao Tong University(上海交通大学)
稀疏张量正迅速成为现代深度学习工作负载的关键组成部分。然而,开发高性能稀疏运算符可能是困难和繁琐的,现有的供应商库无法满足新的运营商不断增长的需求。稀疏张量编译器简化了运算符的开发,但用于深度学习的高效稀疏编译仍然具有挑战性,因为单一稀疏格式无法最大限度地提高硬件效率,并且单次编译器无法跟上最新的硬件和系统进步。在本文中,我们观察到,解决这两个挑战的关键是利用组合格式和组合转换。我们提出了SparseTIR,这是一种稀疏张量编译抽象,为深度学习工作负载提供了可组合格式和可组合转换。SparseTIR在这些可组合组件上构建了一个搜索空间,用于性能调优。通过这些改进,SparseTIR在GPU上为单个运算符获得了与供应商库一致的性能加速:GNN运算符为1.20- 2.34倍,稀疏注意力运算符为1.05- 2.98倍,稀疏卷积运算符为0.56- 7.45倍。SparseTIR还将GraphSAGE训练的端到端GNN加速了1.08- 1.52倍,RGCN推理加速了4.20- 40.18倍。
2023-02-21 cs.AI cs.LG cs.PL
RAF: Holistic Compilation for Deep Learning Model Training
Amazon Web Services, Inc(亚马逊云科技);Scroll Foundation(Scroll基金会);OctoML, Inc(OctoML公司)
随着深度学习在现代应用中的普及,许多深度学习框架被提出来供深度学习从业者快速开发和训练DNN模型。与此同时,随着近年来训练大型深度学习模型成为一种趋势,训练吞吐量和内存占用变得至关重要。因此,通过编译器优化来优化训练工作量是必然的,也越来越受到人们的关注。然而,现有的深度学习编译器(DLC)主要以推理为目标,并且在训练工作负载中没有结合整体优化,例如自动微分和自动混合精度。在本文中,我们提出了RAF,一个用于训练的深度学习编译器。与现有的DLC不同,RAF接受前向模型并在内部生成训练图。因此,RAF能够系统地整合性能,内存和分布式训练的图形优化。此外,为了赶上手工制作的内核库以及张量编译器的最新性能,RAF提出了一种操作符方言机制来无缝集成所有可能的内核实现。我们证明,通过内部训练图生成和操作员方言机制,我们能够执行整体优化,并针对PyTorch(渴望和torchscript模式),XLA和DeepSpeed针对GPU上流行的Transformer模型实现更好的训练吞吐量或更大的批量。
2023-03-08 cs.DC cs.LG cs.PL
Scaling Deep Learning Computation over the Inter-Core Connected Intelligence Processor with T10
Microsoft Research(微软研究院)
提出首个DL编译器T10,通过引入分布式张量抽象rTensor和广义计算-移位模式,优化AI芯片核间通信与片上存储,在Graphcore IPU上实现最高3.3倍性能提升及更大模型支持。
2024-09-24 cs.DC cs.LG
DyCL: Dynamic Neural Network Compilation Via Program Rewriting and Graph Optimization
UT Dallas(德克萨斯大学达拉斯分校);UC Riverside(加州大学河滨分校)
DyCL 通过程序分析与变换将动态神经网络分解为多个无条件语句的子网络并独立编译,同时生成主机模块建模控制流,使现有 DL 编译器能以 100% 成功率编译 DyNNs,并获得 1.12 至 20.21 倍的性能提升。
2023-07-11 cs.CL cs.LG cs.PL
Prism: Symbolic Superoptimization of Tensor Programs
Carnegie Mellon University(卡内基梅隆大学);Tsinghua University(清华大学);Weizmann Institute of Science(魏茨曼科学研究院)
Prism通过符号化层级表示实现张量程序的符号超优化,结合符号推理与自动调优,提升效率并减少优化时间。
2026-04-16 cs.AI cs.LG cs.PL
Optimizing Tensor Computation Graphs with Equality Saturation and Monte Carlo Tree Search
University of Cambridge(剑桥大学)
针对张量计算图优化的阶段排序问题,提出结合蒙特卡洛树搜索的等价饱和方法构建更优中间表示,并设计新型提取算法,实现最高11%的推理加速提升。
2024-10-07 cs.AI cs.LG
A Comparative Survey of PyTorch vs TensorFlow for Deep Learning: Usability, Performance, and Deployment Trade-offs
Department of Software Engineering Alfaisal University, Riyadh, Saudi Arabia Email
本文比较了PyTorch与TensorFlow在可用性、性能和部署上的权衡,指出PyTorch以灵活简单见长,TensorFlow生态更成熟,为选型提供参考。
2025-08-06 cs.AI cs.LG
Tensor Comprehensions: Framework-Agnostic High-Performance Machine Learning Abstractions
Facebook AI Research(Facebook人工智能研究院);Inria(法国国家信息与自动化研究所);ENS(巴黎高等师范学院);ETH Zürich(苏黎世联邦理工学院);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Polly Labs(Polly实验室)
具有卷积和递归网络的深度学习模型现在无处不在,可以分析大量的音频、图像、视频、文本和图形数据,应用于自动翻译、语音到文本、场景理解、用户偏好排名、广告投放等。构建这些网络的竞争框架,如TensorFlow、Chainer、CNTK、Torch/PyTorch、Caffe 1/2、MXNet和Theano,探索可用性和表现力、面向研究或生产以及支持的硬件之间的不同权衡。它们在计算运算符的DAG上运行,包装高性能库,如CUDNN(用于NVIDIA GPU)或NNPACK(用于各种CPU),并自动分配内存,同步,分发。如果计算不适合现有的高性能库调用,则需要自定义运算符,这通常需要很高的工程成本。当研究人员发明新的算子时,这是经常需要的:这样的算子遭受严重的性能惩罚,这限制了创新的步伐。此外,即使这些框架可以使用现有的运行时调用,它通常也不能为用户的特定网络架构和数据集提供最佳性能,缺少运算符之间的优化以及可以在知道数据大小和形状的情况下进行的优化。我们的贡献包括(1)一种接近深度学习数学的语言,称为张量理解(Tensor Comprehension),(2)一个多面体即时编译器,用于将深度学习DAG的数学描述转换为具有委托存储管理和同步的CUDA内核,还提供了优化,如针对特定大小的运算符融合和专业化,(3)由自动调谐器填充的编译缓存。[摘要截止]
2018-06-29 cs.LG cs.PL
Tempo: Compiled Dynamic Deep Learning with Symbolic Dependence Graphs
Imperial College London(伦敦帝国学院)
Tempo通过符号依赖图结合即时动态性与编译优化,实现动态深度学习加速,在Llama解码和强化学习上分别获得7倍和54倍加速。
2025-10-08 cs.AI cs.DC cs.LG