Nautilus: An Auto-Scheduling Tensor Compiler for Efficient Tiled GPU Kernels
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
Nautilus是一种新型张量编译器，通过端到端系统联合应用高层优化、表达式重写和瓷砖优化，实现从数学描述自动发现FlashAttention-3类内核，提升GPU性能。
2026-04-16 cs.LG cs.PL
Coverage-Guided Tensor Compiler Fuzzing with Joint IR-Pass Mutation
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Tongji University（同济大学）；Fudan University（复旦大学）
在过去的十年中，深度学习（DL）系统已被广泛部署在各个领域，以方便我们的日常生活。与此同时，确保DL系统的正确性（例如，由于其固有的不确定性），并且DL系统中的错误可能导致严重的后果，甚至可能威胁人类生命。在文献中，研究人员已经探索了各种技术来测试，分析和验证DL模型，因为它们的质量直接影响相应的系统行为。最近，研究人员还提出了用于测试底层操作符级DL库（如TensorFlow和PyTorch）的新技术，这些库为每个高级DL操作符提供了通用的二进制实现，以便在许多平台上运行各种DL模型。然而，针对新兴张量编译器的可靠性的工作仍然有限，这些编译器旨在直接将高级张量计算图编译为高性能二进制文件，以提高效率，可移植性和可扩展性。本文针对张量编译器测试这一重要问题，提出了一种实用的模糊测试技术Tzer，用于广泛使用的TVM张量编译器。由于高级中间表示（IR）的变异空间有限，Tzer专注于对TVM的低级IR进行变异。更具体地说，Tzer利用覆盖反馈指导的通用和张量编译器特定的变异器进行进化IR变异;此外，Tzer还与IR变异串联执行传递变异，以实现更有效的模糊化。我们的研究结果表明，Tzer在张量编译器测试方面大大优于现有的模糊技术，覆盖率比第二好的技术高75%，测试价值高50%。到目前为止，Tzer已经检测到49个TVM以前未知的bug，其中37个bug得到确认，25个bug得到修复（PR…
2022-02-21 cs.CR cs.LG cs.PL
PowerFusion: A Tensor Compiler with Explicit Data Movement Description and Instruction-level Graph IR
Tsinghua University（清华大学）
本文提出张量编译器IntelliGen，通过指令级图IR显式描述计算与数据移动并进行整体优化，在多种硬件上显著提升内存密集型算子性能。
2023-07-11 cs.LG cs.PL
Tensor Seeks Layout: Formalizing Layout Selection for ML Compilers
TU Wien（维也纳技术大学）；Amazon（亚马逊公司）
本文首次形式化机器学习编译器的布局选择问题，提出组合优化模型与算法，实现多种现有策略的统一，在AI加速器编译器上的实验验证了其效果，可分离成本模型误差与搜索质量。
2026-08-25 cs.DS cs.LG cs.PL
FTuner: A Fast Dynamic Shape Tensors Program Auto-Tuner for Deep Learning Compilers
School of Computer Science and Engineering（计算机科学与工程学院）；Beihang University（北京航空航天大学）
FTuner通过uKernel抽象计算单元拼接小张量以匹配动态输入形状，结合解析硬件信息模型，在保持与厂商库相当性能的同时将调优时间降低两个数量级。
2024-07-31 cs.DC cs.LG
Agile Autotuning of a Transprecision Tensor Accelerator Overlay for TVM Compiler Stack
IBM Research Europe（IBM欧洲研究院）；Eindhoven University of Technology（埃因霍温理工大学）
专门用于张量运算的加速器，如分块矩阵运算和多维卷积，已经成为高性能深度学习计算的强大架构选择。框架、模型和精度选项的快速发展对这种张量加速器的适应性提出了挑战，因为适应新的要求会产生巨大的工程成本。可编程张量加速器提供了一种有前途的替代方案，它允许重新配置覆盖在物理FPGA可配置结构之上的虚拟架构。我们提出了一个覆盖（τ-VTA）和一个由敏捷启发的自动调整技术指导的优化方法。我们实现了比最先进技术更高的性能和更快的收敛速度。
2020-04-20 cs.DC cs.LG cs.NE
A Tensor Compiler for Unified Machine Learning Prediction Serving
UC San Diego（加利福尼亚大学圣地亚哥分校）；Microsoft（微软）；Seoul National University（首尔国立大学）
机器学习（ML）在企业中的采用需要更简单、更高效的软件基础设施--大型网络公司中典型的定制解决方案根本站不住脚。模型评分是从训练模型中获得对新数据的预测的过程，是基础设施复杂性和成本的主要贡献者，因为模型只训练一次，但使用多次。在本文中，我们提出了HUMMINGBIRD，一种新的模型评分方法，它编译了特征化运算符和传统的ML模型（例如，决策树）分解成一小组张量运算。这种方法本质上降低了基础设施的复杂性，并直接利用神经网络编译器和运行时的现有投资，为CPU和硬件加速器生成高效的计算。我们的性能结果很有趣：尽管替换了命令式计算（例如，树遍历）与张量计算抽象，HUMMINGBIRD具有竞争力，并且在CPU和GPU上的微基准测试中通常优于手工制作的内核，同时实现ML管道的无缝端到端加速。我们已经将HummingBird作为开源发布。
2020-10-19 cs.LG
CHET: Compiler and Runtime for Homomorphic Evaluation of Tensor Programs
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Microsoft Research（微软研究院）
全同态加密（FHE）是指一组加密方案，其允许计算直接应用于加密数据而不需要秘密密钥。这实现了新的应用场景，其中客户端可以安全地将存储和计算卸载到第三方云提供商，而不必信任具有解密密钥的软件和硬件供应商。FHE方案和实现的最新进展已经将这种应用从理论可能性转移到实践领域。本文提出了一个紧凑的和推理良好的接口称为同态指令集架构（HISA）开发FHE应用程序。正如硬件ISA接口使硬件进步能够独立于编译器和语言运行时中的软件进步而进行一样，HISA将用于支持FHE应用的编译器优化和运行时从底层FHE方案的进步中分离出来。本文通过构建一个端到端软件栈来评估加密数据上的神经网络模型，从而展示了HISA的功能。我们的堆栈包括一个端到端编译器、运行时和一组优化。我们的方法表明，在一组流行的神经网络架构上生成的代码比手动优化的实现更快。
2018-10-01 cs.CR cs.LG cs.PL
FamilySeer: Towards Optimized Tensor Codes by Exploiting Computation Subgraph Similarity
Beihang University（北京航空航天大学）
有效地部署各种深度学习（DL）模型促进了DL编译器的研究。生成优化张量代码的困难促使DL编译器对自动调优方法提出了更高的要求，而不断增长的需求要求提高自动调优的效率和质量。目前，DL编译器将输入DL模型划分为几个子图，并利用自动调整来找到这些子图的最佳张量代码。然而，现有的自动调整方法通常将子图视为单独的子图，忽略了它们之间的相似性，因此无法在有限的时间预算下利用更好的张量代码。我们提出了FamilySeer，这是一个用于DL编译器的自动调优框架，即使在有限的时间预算下也可以生成更好的张量代码。FamilySeer利用子图之间的相似性和差异，可以将它们组织成子图家族，其中一个子图的调整也可以改善同一家族中的其他子图。每个族的代价模型得到更纯净的训练样本，并变得更准确，从而可以通过代价模型的轻量级估计来代替真实硬件上的昂贵测量。我们的实验表明，FamilySeer可以生成具有相同代码性能的模型代码，比最先进的自动调优框架更有效。
2022-01-01 cs.DC cs.LG cs.PL
MPK: A Compiler and Runtime for Mega-Kernelizing Tensor Programs
Carnegie Mellon University（卡内基梅隆大学）；Tsinghua University（清华大学）；NVIDIA；University of Michigan（密歇根大学）；Independent Researcher（独立研究者）；Peking University（北京大学）
提出MPK，首个自动将多GPU模型推理转化为单个高性能巨型内核的编译器和运行时系统，通过SM级图表示实现跨算子软件流水线和细粒度计算通信重叠，显著降低推理延迟。
2026-06-11 cs.DC cs.LG cs.PL
TPU-MLIR: A Compiler For TPU Using MLIR
Sophgo Inc.（算能科技有限公司）
多层中间表示（MLIR）通过提供可重用和可扩展的编译器基础结构，在降低构建特定领域编译器的成本方面显示出巨大的潜力。这项工作提出了TPU-MLIR，这是一个基于MLIR的端到端编译器，它将预训练的神经网络（NN）模型部署到称为张量处理单元（TPU）的自定义ASIC中。TPU-MLIR定义了两种新的方言来实现其功能：1。对深度学习图语义进行编码并且独立于深度学习框架的张量操作（TOP）方言，以及2. TPU内核方言，用于在TPU上提供标准内核计算。NN模型被翻译为TOP方言，然后根据芯片的配置针对不同的TPU降低到TPU方言。我们演示了如何使用MLIR通道流水线来组织和执行TPU上的优化，以生成机器码。本文还提出了一个验证过程，以确保每个转换阶段的正确性。
2023-02-09 cs.CL cs.LG cs.PL
Towards a high-performance AI compiler with upstream MLIR
Intel Corporation（英特尔公司）
提出基于开源 MLIR 的编译流程，通过缓存级优化与微内核降低技术，使线性代数抽象达到 ninja 级性能的 90% 以上。
2024-04-15 cs.AI cs.AR cs.DC
LoopTune: Optimizing Tensor Computations with Reinforcement Learning
Rice University（莱斯大学）；Meta AI；Dabun AI
针对传统编译器性能不足、自动调优耗时长等问题，提出深度强化学习编译器LoopTune，结合图表示与LoopNest代码生成器，可快速针对CPU优化张量计算，性能比肩手动调优库。
2023-11-08 cs.LG cs.PL
Optimizing Tensor Train Decomposition in DNNs for RISC-V Architectures Using Design Space Exploration and Compiler Optimizations
School of Informatics, Aristotle University of Thessaloniki（阿尔基托斯大学信息学院）；School of Engineering, Computing and Mathematics, University of Plymouth（普利茅斯大学工程、计算与数学学院）；School of Informatics, Reutlingen University（鲁特林根大学信息学院）
本文提出了一种在RISC-V架构上通过设计空间探索和编译器优化优化DNN中张量列车分解的方法，以提高计算效率和推理速度。
2026-02-02 cs.AI cs.AR cs.LG
Stripe: Tensor Compilation via the Nested Polyhedral Model
Intel（英特尔公司）
硬件架构和机器学习（ML）库发展迅速。传统的编译器通常无法在各种新硬件产品中生成高性能代码。为了缓解这种情况，工程师们为每个ML库更新和硬件升级开发了手动调优的内核。不幸的是，这种方法需要过多的工程工作来扩展或维护任何程度的最先进的性能。在这里，我们提出了一个嵌套多面体模型表示高度并行化的计算有限的依赖关系之间的迭代。该模型为称为Stripe的中间表示（IR）提供了一个底层框架，该框架适用于标准编译器技术，同时自然地对现代ML计算的关键方面进行建模。Stripe代表了并行性、高效的内存布局和多个计算单元，这些计算单元处于一个可自动优化的抽象级别。我们描述了Stripe如何以LLVM的风格为ML启用编译器，允许独立开发算法，优化和硬件加速器。我们还讨论了Stripe相对于内核库和基于调度或基于调度空间的代码生成的设计探索优势。
2019-03-14 cs.DC cs.LG
Toward Compiler World Models: Learning Latent Dynamics for Efficient Tensor Program Search
Hangzhou Institute for Advanced Study, University of Chinese Academy of Sciences（中国科学院大学杭州高等研究院）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）；University of Chinese Academy of Sciences（中国科学院大学）
提出一种受世界模型启发的评估器，通过轻量级过渡模型在连续潜在空间中展开调度动作，避免昂贵AST变异和重复编码，在TVM AutoScheduler中实现比Ansor更优的延迟和测量效率。
2026-06-08 cs.LG cs.PL
LLM-Aided Compilation for Tensor Accelerators
University of California, Berkeley（加州大学伯克利分校）
本文研究利用LLM构建可随应用与硬件变化快速更新的张量加速器编译器，展示GPT-4对Gemmini的高通过率翻译能力，并提出分解翻译步骤及两阶段硬件优化代码生成工作流。
2024-08-06 cs.AR cs.LG cs.PL
Revisiting Lightweight Compiler Provenance Recovery on ARM Binaries
Georgia Tech（佐治亚理工学院）；Vanderbilt University（范德堡大学）
本文针对ARM二进制程序，提出一种基于操作码和寄存器特征的浅层学习模型，高效恢复编译器配置属性，达到超过99%的准确率，训练加速583倍、推理加速3826倍，并揭示先前未发现的过拟合问题。
2023-05-06 cs.LG
ExAIS: Executable AI Semantics
Singapore Management University（新加坡管理大学）
神经网络可以被认为是一种新的编程范例，即，复杂的“人工智能”系统不是通过程序员头脑中的（通常是非正式的）逻辑推理来构建越来越复杂的程序，而是通过用大数据优化通用神经网络模型来构建的。在这种新的范式中，TensorFlow和PyTorch等AI框架发挥了关键作用，这与传统程序的编译器一样重要。众所周知，缺乏用于程序设计语言（例如C）的适当语义，即，编译器的正确性规范导致了许多有问题的程序行为和安全问题。由于程序设计语言的高度复杂性及其快速发展，通常很难为编译器提供正确的规范，但我们有一个独特的机会，这次可以为神经网络（功能有限，其中大多数具有稳定的语义）做正确的规范。在这项工作中，我们报告了我们为TensorFlow等神经网络框架提供正确性规范的努力。我们在逻辑程序设计语言Prolog中指定了几乎所有TensorFlow层的语义。我们证明了有用的语义通过两个应用程序。一个是TensorFlow的模糊引擎，它具有强大的预言和生成有效神经网络的系统方法。另一种是模型验证方法，可以为TensorFlow模型提供一致的错误报告。
2022-02-20 cs.AI cs.LG
DVM: A Bytecode Virtual Machine Approach for Dynamic Tensor Computation
Huawei（华为）；HKUST（香港科技大学）；HKUST(GZ)（香港科技大学（广州））；Hunan University（湖南大学）
本文提出DVM，通过字节码虚拟机实现实时编译，提升动态张量计算的效率和编译速度，相比其他框架在效率和编译时间上有显著优势。
2026-04-02 cs.AI cs.LG cs.PL
Towards Optimal VPU Compiler Cost Modeling by using Neural Networks to Infer Hardware Performances
Intel Corporation（英特尔公司）
在神经网络编译器中计算最有效的工作时间表是一项困难的任务。有许多参数需要考虑，这些参数可以根据其配置积极或不利地影响该调度-如何在分布式目标之间共享工作，张量的细分以适应内存，切换优化的启用等传统上，神经网络编译器通过构建选择图并选择具有最小“成本”的路径来确定如何设置这些值。这些选择及其相应的成本通常由对目标平台有深入了解的工程师制定的算法确定。然而，当编译器可用的选项数量很大时，很难确保这些模型始终为所有场景生成最佳调度，同时仍然在可接受的时间范围内完成编译。本文介绍了“VPUNN”--一种基于神经网络的成本模型，该模型在低级任务分析上进行了训练，其性能始终优于英特尔VPU处理器系列中最先进的成本模型。
2022-05-09 cs.AI cs.LG cs.NE
Memory Safe Computations with XLA Compiler
Imperial College London（帝国理工学院）；Secondmind（Secondmind公司）
像TensorFlow和PyTorch这样的软件包旨在支持线性代数运算，它们的速度和可用性决定了它们的成功。然而，通过优先考虑速度，他们往往忽略了内存需求。因此，在软件设计方面方便的存储器密集型算法的实现通常由于存储器溢出而不能运行于大问题。内存高效的解决方案需要复杂的编程方法，在计算框架之外具有重要的逻辑。这损害了这种算法的采用和使用。为了解决这个问题，我们开发了一个XLA编译器扩展，根据用户指定的内存限制调整算法的计算数据流表示。我们表明，k-最近邻和稀疏高斯过程回归方法可以在单个设备上以更大的规模运行，而标准实现可能会失败。我们的方法可以更好地利用硬件资源。我们相信，进一步关注在编译器级别消除内存限制将扩大未来可以开发的机器学习方法的范围。
2022-06-28 cs.LG cs.PL stat.ML
Event Tensor: A Unified Abstraction for Compiling Dynamic Megakernel
Anonymous Authors（匿名作者）
本文提出事件张量，一种统一的编译动态巨核抽象，通过编码 tiled 任务间的依赖关系，支持动态形状和数据依赖的动态性，从而提升大型语言模型服务的性能和减少系统预热开销。
2026-04-21 cs.DC cs.LG cs.PL
Hidet: Task-Mapping Programming Paradigm for Deep Learning Tensor Programs
University of Toronto（多伦多大学）；Amazon Web Services（亚马逊云科技）；Vector Institute（向量研究所）
随着深度学习模型如今被云服务和边缘设备广泛采用，减少深度学习模型推理的延迟对于提供高效的模型服务变得至关重要。然而，由于现代加速器的高度复杂性和运算符数量的快速增长，为深度学习运算符开发高效的张量程序具有挑战性。深度学习编译器，如Apache TVM，采用声明式调度原语来降低开发张量程序的标准。然而，我们表明，这种方法是不够的，以涵盖国家的最先进的张量程序优化。在本文中，我们建议将调度过程嵌入到张量程序中，并使用专用映射（称为任务映射）来定义计算分配和排序。这种新方法通过允许开发人员以更细的粒度操纵张量程序，极大地丰富了可表达的优化。我们称之为任务映射编程范式所提出的方法。此外，我们提出了一种新的调度后融合优化，允许开发人员专注于调度每个操作员，并在调度后自动进行融合。它大大减少了工程工作的运营商融合。我们提出的范例还构建了一个高效的硬件为中心的调度空间，这是不可知的程序输入大小，大大减少了调整时间。利用所提出的范例，我们实现了一个深度学习编译器Hidet。在现代卷积和Transformer模型上进行的大量实验表明，Hidet的性能比最先进的DNN推理框架、ONNX编译器和编译器、配备调度程序AutoTVM和Ansor的TVM高出1.48倍（平均1.22倍）。与AutoTVM和Ansor相比，它还将调优时间分别缩短了20倍和11倍。我们在https://www.github.com…
2023-02-15 cs.AI cs.LG cs.PL
ALT: Boosting Deep Learning Performance by Breaking the Wall between Graph and Operator Level Optimizations
Nanjing University（南京大学）；Huawei Technologies（华为技术有限公司）；The Hong Kong Polytechnic University（香港理工大学）
深度学习模型依赖于高度优化的张量库，以便在异构硬件上进行高效推理。当前的深度编译器通常预先确定张量的布局，然后优化运算符的循环。然而，这种单向和一次性的工作流严格地将图级优化和操作员级优化分离到不同的系统层中，从而错过了统一调优的机会。本文提出了ALT，一个编译器，执行联合图和操作符级的深度模型优化。ALT提供了一个通用的转换模块，通过简单易用的基本函数来操作布局和循环。ALT还集成了一个自动调优模块，可以在保证效率的同时，联合优化图形级数据布局和操作员级循环。实验结果表明，ALT的性能明显优于最先进的编译器（例如，Ansor）在单个操作者性能（例如，平均加速1.5倍）和端到端推理性能（例如，平均加速1.4倍）。
2022-10-29 cs.DC cs.LG
Compiler-Aware Neural Architecture Search for On-Mobile Real-time Super-Resolution
Northeastern University（东北大学）；College of William and Mary（威廉与玛丽学院）；ETH Zürich（苏黎世联邦理工学院）
基于深度学习的超分辨率（SR）由于其高的图像质量性能和广泛的应用场景，近年来获得了巨大的普及。然而，现有的方法通常遭受大量的计算和巨大的功耗，导致实时的【形】推理困难，特别是在诸如移动设备的资源有限的平台上。为了缓解这一问题，我们提出了一个编译器感知的SR神经架构搜索（NAS）框架，该框架使用自适应SR块进行深度搜索和每层宽度搜索。该方法直接将推理速度和SR损失考虑在内，在满足实时的【形】推理要求的同时，得到高图像质量的SR模型。代替在搜索过程期间的每次迭代测量移动设备上的速度，利用与编译器优化结合的速度模型来预测具有各种宽度配置的SR块的推理延迟，以实现更快的收敛。在此框架下，我们实现了实时的【形】SR推理，并在移动平台（Samsung Galaxy S21）的GPU/DSP上实现了720 p分辨率的SR推理，具有竞争力的SR性能（PSNR和SSIM）。
2022-07-25 cs.AR cs.CV cs.LG
swTVM: Towards Optimized Tensor Code Generation for Deep Learning on Sunway Many-Core Processor
Beihang University（北京航空航天大学）；National University of Singapore（新加坡国立大学）；Tsinghua University（清华大学）
深度学习框架和硬件平台的蓬勃发展一直要求高效的编译器能够屏蔽软件和硬件的多样性，以提供应用程序的可移植性。在现有的深度学习编译器中，TVM以其在不同硬件设备上的代码生成和优化效率而闻名。与此同时，Sunway众核处理器凭借其在科学计算和深度学习工作负载方面的诱人计算能力，成为一个有竞争力的候选者。本文结合这两个方向的趋势。具体来说，我们提出了swTVM，扩展了原来的TVM，以支持提前编译的架构，需要交叉编译，如Sunway。此外，我们在编译过程中利用了架构特性，例如用于大规模并行的核心组，用于高带宽内存传输的DMA和用于数据局部性的本地设备内存，以便为Sunway上的深度学习工作负载生成高效的代码。实验结果表明，在六个有代表性的基准测试中，与Sunway上最先进的深度学习框架相比，swTVM生成的代码平均达到1.79倍。这项工作是第一次尝试从编译器的角度来弥合深度学习和Sunway处理器的差距，特别是考虑到生产力和效率。我们相信这项工作将鼓励更多的人接受深度学习和神威众核处理器的力量。
2022-07-11 cs.LG cs.PL stat.ML
G10: Enabling An Efficient Unified GPU Memory and Storage Architecture with Smart Tensor Migrations
UIUC（伊利诺伊大学厄巴纳-香槟分校）
G10提出统一GPU内存与存储架构，利用编译器预测张量行为并智能调度迁移，隐藏数据传输开销，性能最高提升1.75倍，达到理想性能的90.3%。
2023-10-13 cs.AR cs.LG
TCL: Enabling Fast and Efficient Cross-Hardware Tensor Program Optimization via Continual Learning
Southeast University Nanjing Jiangsu China；University of Amsterdam Amsterdam Netherlands；Southeast University \& Shandong Yunhai Guochuang Innovative Technology Co., Ltd. Nanjing, Jinan Jiangsu, Shandong China；Southeast University；University of Amsterdam；Southeast University \& Shandong Yunhai Guochuang Innovative Technology Co., Ltd.
本文提出TCL框架，通过RDU采样器、Mamba成本模型和持续知识蒸馏，解决传统方法在数据收集成本高和跨平台迁移性差的问题，实验显示其在CPU和GPU平台上的调优速度提升16.8倍和12.48倍，推理延迟降低1.20倍和1.13倍。
2026-04-14 cs.AR cs.LG
TpuGraphs: A Performance Prediction Dataset on Large Tensor Computational Graphs
Google（谷歌）；Stanford（斯坦福大学）；UIUC（伊利诺伊大学厄巴纳-香槟分校）
本文提出 TpuGraphs 数据集，面向 TPU 上完整张量计算图的编译配置与执行时间预测，弥补现有数据集仅覆盖小型子程序的不足，并凸显大图学习挑战。
2023-12-05 cs.AR cs.LG cs.SI
Compiler-Assisted Speculative Sampling for Accelerated LLM Inference on Heterogeneous Edge Devices
NXP Semiconductors（恩智浦半导体）
本文提出编译器辅助的推测采样方法，通过分析成本模型优化异构边缘设备上的LLM推理性能，实现翻译任务加速1.68倍。
2026-02-10 cs.LG
Transferable Graph Optimizers for ML Compilers
Google（谷歌公司）；UC Riverside（加州大学河滨分校）；Carnegie Mellon University（卡内基梅隆大学）
大多数用于机器学习（ML）框架的编译器需要解决许多相关的优化问题以生成高效的机器码。目前的ML编译器依赖于基于算法的算法来一次解决这些优化问题。然而，这种方法不仅难以维护，而且通常会导致次优解决方案，特别是对于较新的模型架构。文献中现有的基于学习的方法是样本效率低下的，解决单个优化问题，并且不推广到看不见的图，使得它们在实践中不可行。为了解决这些局限性，我们提出了一种端到端的，可转移的深度强化学习方法，用于计算图优化（GO），该方法基于归纳图神经网络上的可扩展顺序注意力机制。GO在整个图上生成决策，而不是在每个节点上自回归，与以前的方法相比，大大加快了搜索速度。此外，我们还提出了循环注意力层来联合优化依赖图优化任务，与TensorFlow默认优化相比，在三个图优化任务上实现了33%-60%的加速。在由多达80，000个节点组成的一组不同的代表性图形上，包括Inception-v3，Transformer-XL和WaveNet，GO在实际系统中评估的设备放置任务上，平均比人类专家提高了21%，比现有技术提高了18%，收敛速度提高了15倍。
2021-02-20 cs.DC cs.LG
Nova: An End-to-End MLIR Compiler for Deep Learning
Blubridge AI（布鲁布里奇人工智能公司）
Nova是一款端到端MLIR编译器，通过整图优化等技术提升深度学习模型性能，在RTX 3060上的TF32矩阵乘法、模型吞吐量和内存占用等指标上优于PyTorch和XLA，可训练更大规模模型且避免OOM故障。
2026-09-03 cs.AI cs.AR cs.LG
Neptune: Advanced ML Operator Fusion for Locality and Parallelism on GPUs
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；IBM Research（IBM研究院）
Neptune通过引入新的运算融合方法，有效融合复杂减少运算，提升深度学习性能，其在多个基准测试中表现出优于现有编译器的效率。
2026-04-20 cs.LG cs.PL
PassNet: Scaling Large Language Models for Graph Compiler Pass Generation
Baidu, Inc.（百度公司）
针对编译器默认优化在长尾子图上性能不佳的问题，提出PassNet生态系统，包含大规模数据集和基准测试，通过微调小模型在少量轨迹上即可接近前沿模型性能。
2026-05-28 cs.AI cs.LG cs.PL
RAF: Holistic Compilation for Deep Learning Model Training
Amazon Web Services, Inc（亚马逊云科技）；Scroll Foundation（Scroll基金会）；OctoML, Inc（OctoML公司）
随着深度学习在现代应用中的普及，许多深度学习框架被提出来供深度学习从业者快速开发和训练DNN模型。与此同时，随着近年来训练大型深度学习模型成为一种趋势，训练吞吐量和内存占用变得至关重要。因此，通过编译器优化来优化训练工作量是必然的，也越来越受到人们的关注。然而，现有的深度学习编译器（DLC）主要以推理为目标，并且在训练工作负载中没有结合整体优化，例如自动微分和自动混合精度。在本文中，我们提出了RAF，一个用于训练的深度学习编译器。与现有的DLC不同，RAF接受前向模型并在内部生成训练图。因此，RAF能够系统地整合性能，内存和分布式训练的图形优化。此外，为了赶上手工制作的内核库以及张量编译器的最新性能，RAF提出了一种操作符方言机制来无缝集成所有可能的内核实现。我们证明，通过内部训练图生成和操作员方言机制，我们能够执行整体优化，并针对PyTorch（渴望和torchscript模式），XLA和DeepSpeed针对GPU上流行的Transformer模型实现更好的训练吞吐量或更大的批量。
2023-03-08 cs.DC cs.LG cs.PL
Moses: Efficient Exploitation of Cross-device Transferable Features for Tensor Program Optimization
The Chinese University of Hong Kong（香港中文大学）；City University of Hong Kong（香港城市大学）
实现机器学习模型的高效执行最近引起了极大的关注。为了有效地生成张量程序，DNN编译器的一个关键组件是成本模型，它可以预测特定设备上每个配置的性能。然而，由于硬件平台的快速出现，为每个新平台训练特定于领域的预测器越来越劳动密集。此外，目前的设计成本模型不能提供不同的硬件加速器之间的可转移的功能，有效地和有效地。在本文中，我们提出摩西，一个简单而有效的设计彩票假设的基础上，充分利用的功能，通过领域自适应转移到目标设备。与最先进的方法相比，Moses在搜索阶段实现了高达1.53倍的效率提升，在具有挑战性的DNN基准测试中实现了1.41倍的推理加速。
2022-01-15 cs.LG cs.PL
LeFlow: Enabling Flexible FPGA High-Level Synthesis of Tensorflow Deep Neural Networks
University of British Columbia（不列颠哥伦比亚大学）
最近的研究表明，现场可编程门阵列（FPGA）在加速机器学习应用方面发挥着重要作用。机器学习应用程序的初始规范通常使用面向Python的高级框架（如Tensorflow）完成，然后使用供应商工具手动翻译为C或RTL进行合成。这种手动翻译步骤非常耗时，并且需要专业知识，这限制了FPGA在这一重要领域的适用性。在本文中，我们提出了一个开源工具流，将用Tensorflow编写的数值计算模型映射到可合成的硬件。与其他工具不同，这些工具通常受到少量不灵活模板的限制，我们的流使用Google的XLA编译器，该编译器直接从Tensorflow规范发出LLVM代码。这个LLVM代码可以与高级合成工具一起使用，以自动生成硬件。我们展示了我们的流程允许用户用很少的Python代码生成深度神经网络。
2018-07-14 cs.LG stat.ML
FHE-Agent: Automating CKKS Configuration for Practical Encrypted Inference via an LLM-Guided Agentic Framework
University of Minnesota -- Twin Cities（明尼苏达大学-双城分校）；North Carolina State University（北卡罗来纳州立大学）
FHE-Agent通过LLM引导的代理框架自动化CKKS配置，提升加密推断的精度与效率
2025-11-23 cs.AI cs.CR cs.LG
