FTuner: A Fast Dynamic Shape Tensors Program Auto-Tuner for Deep Learning Compilers
School of Computer Science and Engineering(计算机科学与工程学院);Beihang University(北京航空航天大学)
FTuner通过uKernel抽象计算单元拼接小张量以匹配动态输入形状,结合解析硬件信息模型,在保持与厂商库相当性能的同时将调优时间降低两个数量级。
2024-07-31 cs.DC cs.LG
TensorFlow-Serving: Flexible, High-Performance ML Serving
Google(谷歌)
我们描述了TensorFlow-Serving,这是一个在Google内部为机器学习模型提供服务的系统,它也可以在云中和通过开源提供。它在支持的机器学习平台类型方面非常灵活,并且可以与从训练到服务传递新模型和更新版本的系统集成。与此同时,围绕模型查找和推理的核心代码路径已经被仔细优化,以避免在幼稚实现中观察到的性能缺陷。Google在许多生产部署中使用它,包括一个名为TFS^2的多租户模型托管服务。
2017-12-27 cs.DC cs.LG
Tensor Seeks Layout: Formalizing Layout Selection for ML Compilers
TU Wien(维也纳技术大学);Amazon(亚马逊公司)
本文首次形式化机器学习编译器的布局选择问题,提出组合优化模型与算法,实现多种现有策略的统一,在AI加速器编译器上的实验验证了其效果,可分离成本模型误差与搜索质量。
2026-08-25 cs.DS cs.LG cs.PL
Agile Autotuning of a Transprecision Tensor Accelerator Overlay for TVM Compiler Stack
IBM Research Europe(IBM欧洲研究院);Eindhoven University of Technology(埃因霍温理工大学)
专门用于张量运算的加速器,如分块矩阵运算和多维卷积,已经成为高性能深度学习计算的强大架构选择。框架、模型和精度选项的快速发展对这种张量加速器的适应性提出了挑战,因为适应新的要求会产生巨大的工程成本。可编程张量加速器提供了一种有前途的替代方案,它允许重新配置覆盖在物理FPGA可配置结构之上的虚拟架构。我们提出了一个覆盖(τ-VTA)和一个由敏捷启发的自动调整技术指导的优化方法。我们实现了比最先进技术更高的性能和更快的收敛速度。
2020-04-20 cs.DC cs.LG cs.NE
Coverage-Guided Tensor Compiler Fuzzing with Joint IR-Pass Mutation
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Tongji University(同济大学);Fudan University(复旦大学)
在过去的十年中,深度学习(DL)系统已被广泛部署在各个领域,以方便我们的日常生活。与此同时,确保DL系统的正确性(例如,由于其固有的不确定性),并且DL系统中的错误可能导致严重的后果,甚至可能威胁人类生命。在文献中,研究人员已经探索了各种技术来测试,分析和验证DL模型,因为它们的质量直接影响相应的系统行为。最近,研究人员还提出了用于测试底层操作符级DL库(如TensorFlow和PyTorch)的新技术,这些库为每个高级DL操作符提供了通用的二进制实现,以便在许多平台上运行各种DL模型。然而,针对新兴张量编译器的可靠性的工作仍然有限,这些编译器旨在直接将高级张量计算图编译为高性能二进制文件,以提高效率,可移植性和可扩展性。本文针对张量编译器测试这一重要问题,提出了一种实用的模糊测试技术Tzer,用于广泛使用的TVM张量编译器。由于高级中间表示(IR)的变异空间有限,Tzer专注于对TVM的低级IR进行变异。更具体地说,Tzer利用覆盖反馈指导的通用和张量编译器特定的变异器进行进化IR变异;此外,Tzer还与IR变异串联执行传递变异,以实现更有效的模糊化。我们的研究结果表明,Tzer在张量编译器测试方面大大优于现有的模糊技术,覆盖率比第二好的技术高75%,测试价值高50%。到目前为止,Tzer已经检测到49个TVM以前未知的bug,其中37个bug得到确认,25个bug得到修复(PR…
2022-02-21 cs.CR cs.LG cs.PL
Graph neural networks with configuration cross-attention for tensor compilers
King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学)
本文提出神经图架构TGraph,通过配置交叉注意力筛选计算图中张量的快速转置与分块配置,将TpuGraphs布局集合上的平均Kendall's τ从29.8%提升至67.4%,实现AI张量编译器并显著降低推理能耗。
2024-11-25 cs.AR cs.LG cs.PF
LoopStack: a Lightweight Tensor Algebra Compiler Stack
Meta AI;MIT(麻省理工学院)
我们提出了LoopStack,一个域特定的编译器堆栈张量操作,由前端,LoopTool,和一个高效的优化代码生成器,LoopNest。这个堆栈使我们能够编译整个神经网络并生成针对AVX 2、AVX 512、NEON和NEONfp 16指令集的代码,同时结合其他机器学习编译器后端经常缺少的优化。我们在一组完整的神经网络和常用的网络块以及单个运算符上评估了我们的堆栈,并表明LoopStack生成的机器码在这两种情况下都能匹配并经常超过最先进的机器学习框架的性能。我们还表明,对于大量的时间表LoopNest的编译速度比LLVM快几个数量级,同时导致相等或改进的运行时间性能。此外,LoopStack具有非常小的内存占用-二进制大小为245 KB,有效代码不到30 K行,非常适合在移动和嵌入式设备上使用。
2022-05-02 cs.LG cs.PF cs.SC
oneDNN Graph Compiler: A Hybrid Approach for High-Performance Deep Learning Compilation
Intel(英特尔)
针对深度学习工作负载变化下现有编译方案无法充分发挥硬件性能的问题,提出结合编译优化与专家调优内核的oneDNN Graph Compiler,在英特尔至强处理器上实现了显著性能提升。
2024-03-11 cs.LG cs.PF
CHET: Compiler and Runtime for Homomorphic Evaluation of Tensor Programs
University of Texas at Austin(德克萨斯大学奥斯汀分校);Microsoft Research(微软研究院)
全同态加密(FHE)是指一组加密方案,其允许计算直接应用于加密数据而不需要秘密密钥。这实现了新的应用场景,其中客户端可以安全地将存储和计算卸载到第三方云提供商,而不必信任具有解密密钥的软件和硬件供应商。FHE方案和实现的最新进展已经将这种应用从理论可能性转移到实践领域。本文提出了一个紧凑的和推理良好的接口称为同态指令集架构(HISA)开发FHE应用程序。正如硬件ISA接口使硬件进步能够独立于编译器和语言运行时中的软件进步而进行一样,HISA将用于支持FHE应用的编译器优化和运行时从底层FHE方案的进步中分离出来。本文通过构建一个端到端软件栈来评估加密数据上的神经网络模型,从而展示了HISA的功能。我们的堆栈包括一个端到端编译器、运行时和一组优化。我们的方法表明,在一组流行的神经网络架构上生成的代码比手动优化的实现更快。
2018-10-01 cs.CR cs.LG cs.PL
Block-Diagonal LoRA for Eliminating Communication Overhead in Tensor Parallel LoRA Serving
University of Warwick(沃里克大学);Amazon Web Services(亚马逊网络服务)
本文提出分块对角LoRA方法,通过限制LoRA因素为分块对角,减少通信开销,提升端到端服务效率。
2026-01-06 cs.LG
LoopTune: Optimizing Tensor Computations with Reinforcement Learning
Rice University(莱斯大学);Meta AI;Dabun AI
针对传统编译器性能不足、自动调优耗时长等问题,提出深度强化学习编译器LoopTune,结合图表示与LoopNest代码生成器,可快速针对CPU优化张量计算,性能比肩手动调优库。
2023-11-08 cs.LG cs.PL
FamilySeer: Towards Optimized Tensor Codes by Exploiting Computation Subgraph Similarity
Beihang University(北京航空航天大学)
有效地部署各种深度学习(DL)模型促进了DL编译器的研究。生成优化张量代码的困难促使DL编译器对自动调优方法提出了更高的要求,而不断增长的需求要求提高自动调优的效率和质量。目前,DL编译器将输入DL模型划分为几个子图,并利用自动调整来找到这些子图的最佳张量代码。然而,现有的自动调整方法通常将子图视为单独的子图,忽略了它们之间的相似性,因此无法在有限的时间预算下利用更好的张量代码。我们提出了FamilySeer,这是一个用于DL编译器的自动调优框架,即使在有限的时间预算下也可以生成更好的张量代码。FamilySeer利用子图之间的相似性和差异,可以将它们组织成子图家族,其中一个子图的调整也可以改善同一家族中的其他子图。每个族的代价模型得到更纯净的训练样本,并变得更准确,从而可以通过代价模型的轻量级估计来代替真实硬件上的昂贵测量。我们的实验表明,FamilySeer可以生成具有相同代码性能的模型代码,比最先进的自动调优框架更有效。
2022-01-01 cs.DC cs.LG cs.PL
From Tensor Buffer to Distributed Memory Hierarchy: A Survey of KV Cache Management for LLM Serving
Texas Tech University Department of Computer Science(德克萨斯理工大学计算机科学系)
综述通过四个轴对三十多个键值管理系统和框架分类,揭示五种架构原型,还审计当前评估,找出七个缺失测量,关联容错等开放问题。
2026-07-07 cs.AI cs.DC cs.LG
MPK: A Compiler and Runtime for Mega-Kernelizing Tensor Programs
Carnegie Mellon University(卡内基梅隆大学);Tsinghua University(清华大学);NVIDIA;University of Michigan(密歇根大学);Independent Researcher(独立研究者);Peking University(北京大学)
提出MPK,首个自动将多GPU模型推理转化为单个高性能巨型内核的编译器和运行时系统,通过SM级图表示实现跨算子软件流水线和细粒度计算通信重叠,显著降低推理延迟。
2026-06-11 cs.DC cs.LG cs.PL
TPU-MLIR: A Compiler For TPU Using MLIR
Sophgo Inc.(算能科技有限公司)
多层中间表示(MLIR)通过提供可重用和可扩展的编译器基础结构,在降低构建特定领域编译器的成本方面显示出巨大的潜力。这项工作提出了TPU-MLIR,这是一个基于MLIR的端到端编译器,它将预训练的神经网络(NN)模型部署到称为张量处理单元(TPU)的自定义ASIC中。TPU-MLIR定义了两种新的方言来实现其功能:1。对深度学习图语义进行编码并且独立于深度学习框架的张量操作(TOP)方言,以及2. TPU内核方言,用于在TPU上提供标准内核计算。NN模型被翻译为TOP方言,然后根据芯片的配置针对不同的TPU降低到TPU方言。我们演示了如何使用MLIR通道流水线来组织和执行TPU上的优化,以生成机器码。本文还提出了一个验证过程,以确保每个转换阶段的正确性。
2023-02-09 cs.CL cs.LG cs.PL
Stripe: Tensor Compilation via the Nested Polyhedral Model
Intel(英特尔公司)
硬件架构和机器学习(ML)库发展迅速。传统的编译器通常无法在各种新硬件产品中生成高性能代码。为了缓解这种情况,工程师们为每个ML库更新和硬件升级开发了手动调优的内核。不幸的是,这种方法需要过多的工程工作来扩展或维护任何程度的最先进的性能。在这里,我们提出了一个嵌套多面体模型表示高度并行化的计算有限的依赖关系之间的迭代。该模型为称为Stripe的中间表示(IR)提供了一个底层框架,该框架适用于标准编译器技术,同时自然地对现代ML计算的关键方面进行建模。Stripe代表了并行性、高效的内存布局和多个计算单元,这些计算单元处于一个可自动优化的抽象级别。我们描述了Stripe如何以LLVM的风格为ML启用编译器,允许独立开发算法,优化和硬件加速器。我们还讨论了Stripe相对于内核库和基于调度或基于调度空间的代码生成的设计探索优势。
2019-03-14 cs.DC cs.LG
Optimizing AI Inference Across the Deployment Stack
Dell Technologies(戴尔科技集团)
本文提出跨部署栈的AI推理优化统一分析方法,引入三层分类法,将部署建模为多目标优化,提出证据协议提升基准可比性,并综合边缘与数据中心平台证据,揭示跨层交互决定部署结果。
2026-09-11 cs.LG cs.SE
Toward Compiler World Models: Learning Latent Dynamics for Efficient Tensor Program Search
Hangzhou Institute for Advanced Study, University of Chinese Academy of Sciences(中国科学院大学杭州高等研究院);Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所);University of Chinese Academy of Sciences(中国科学院大学)
提出一种受世界模型启发的评估器,通过轻量级过渡模型在连续潜在空间中展开调度动作,避免昂贵AST变异和重复编码,在TVM AutoScheduler中实现比Ansor更优的延迟和测量效率。
2026-06-08 cs.LG cs.PL
DLVM: A modern compiler infrastructure for deep learning systems
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
深度学习软件需要可靠性和性能。然而,许多现有的深度学习框架都是软件库,它们在Python中充当不安全的DSL和计算图解释器。我们提出了DLVM,一个设计和实现的编译器基础设施与线性代数中间表示,算法微分伴随代码生成,特定于域的优化和代码生成器通过LLVM针对GPU。DLVM设计为受LLVM启发的现代编译器基础设施,比现有的深度学习编译器框架更具模块化和通用性,并支持具有高表达性的张量DSL。通过我们在Swift中嵌入的原型阶段DSL,我们认为DLVM系统为深度学习提供了一种模块化,安全和高性能的框架。
2018-02-02 cs.LG cs.MS cs.PL
TensorIR: An Abstraction for Automatic Tensorized Program Optimization
Shanghai Jiao Tong University(上海交通大学);Carnegie Mellon University(卡内基梅隆大学);OctoML(OctoML公司);University of Washington(华盛顿大学);UC Berkeley(加州大学伯克利分校);Amazon Web Services(亚马逊云科技)
在各种设备上部署深度学习模型已经成为一个重要的课题。硬件专业化的浪潮为多维张量计算带来了各种各样的加速原语。这些新的加速原语,以及新兴的机器学习模型,带来了巨大的工程挑战。在本文中,我们提出了TensorIR,一个编译器抽象优化程序与这些张量计算原语。TensorIR概括了现有机器学习编译器中使用的循环嵌套表示,将张量计算作为一等公民。最后,我们在我们的抽象之上构建了一个端到端框架,以自动优化给定张量计算原语的深度学习模型。实验结果表明,TensorIR编译自动使用给定硬件后端的张量计算原语,并提供与跨平台的最先进手动优化系统竞争的性能。
2022-10-27 cs.AI cs.LG cs.PL
Towards a high-performance AI compiler with upstream MLIR
Intel Corporation(英特尔公司)
提出基于开源 MLIR 的编译流程,通过缓存级优化与微内核降低技术,使线性代数抽象达到 ninja 级性能的 90% 以上。
2024-04-15 cs.AI cs.AR cs.DC
Optimizing Tensor Train Decomposition in DNNs for RISC-V Architectures Using Design Space Exploration and Compiler Optimizations
School of Informatics, Aristotle University of Thessaloniki(阿尔基托斯大学信息学院);School of Engineering, Computing and Mathematics, University of Plymouth(普利茅斯大学工程、计算与数学学院);School of Informatics, Reutlingen University(鲁特林根大学信息学院)
本文提出了一种在RISC-V架构上通过设计空间探索和编译器优化优化DNN中张量列车分解的方法,以提高计算效率和推理速度。
2026-02-02 cs.AI cs.AR cs.LG
DVM: A Bytecode Virtual Machine Approach for Dynamic Tensor Computation
Huawei(华为);HKUST(香港科技大学);HKUST(GZ)(香港科技大学(广州));Hunan University(湖南大学)
本文提出DVM,通过字节码虚拟机实现实时编译,提升动态张量计算的效率和编译速度,相比其他框架在效率和编译时间上有显著优势。
2026-04-02 cs.AI cs.LG cs.PL
LLM-Aided Compilation for Tensor Accelerators
University of California, Berkeley(加州大学伯克利分校)
本文研究利用LLM构建可随应用与硬件变化快速更新的张量加速器编译器,展示GPT-4对Gemmini的高通过率翻译能力,并提出分解翻译步骤及两阶段硬件优化代码生成工作流。
2024-08-06 cs.AR cs.LG cs.PL
Memory Safe Computations with XLA Compiler
Imperial College London(帝国理工学院);Secondmind(Secondmind公司)
像TensorFlow和PyTorch这样的软件包旨在支持线性代数运算,它们的速度和可用性决定了它们的成功。然而,通过优先考虑速度,他们往往忽略了内存需求。因此,在软件设计方面方便的存储器密集型算法的实现通常由于存储器溢出而不能运行于大问题。内存高效的解决方案需要复杂的编程方法,在计算框架之外具有重要的逻辑。这损害了这种算法的采用和使用。为了解决这个问题,我们开发了一个XLA编译器扩展,根据用户指定的内存限制调整算法的计算数据流表示。我们表明,k-最近邻和稀疏高斯过程回归方法可以在单个设备上以更大的规模运行,而标准实现可能会失败。我们的方法可以更好地利用硬件资源。我们相信,进一步关注在编译器级别消除内存限制将扩大未来可以开发的机器学习方法的范围。
2022-06-28 cs.LG cs.PL stat.ML
Scaling TensorFlow to 300 million predictions per second
Zemanta, an Outbrain company(Zemanta,一家Outbrain公司)
我们介绍了在在线广告生态系统中将机器学习模型大规模过渡到TensorFlow框架的过程。在这次演讲中,我们将讨论我们面临的关键挑战,并描述我们如何成功地解决这些挑战;特别是,在TF中实现模型,并使用各种优化技术以低延迟有效地为它们提供服务。
2021-09-20 cs.LG cs.PF
Hidet: Task-Mapping Programming Paradigm for Deep Learning Tensor Programs
University of Toronto(多伦多大学);Amazon Web Services(亚马逊云科技);Vector Institute(向量研究所)
随着深度学习模型如今被云服务和边缘设备广泛采用,减少深度学习模型推理的延迟对于提供高效的模型服务变得至关重要。然而,由于现代加速器的高度复杂性和运算符数量的快速增长,为深度学习运算符开发高效的张量程序具有挑战性。深度学习编译器,如Apache TVM,采用声明式调度原语来降低开发张量程序的标准。然而,我们表明,这种方法是不够的,以涵盖国家的最先进的张量程序优化。在本文中,我们建议将调度过程嵌入到张量程序中,并使用专用映射(称为任务映射)来定义计算分配和排序。这种新方法通过允许开发人员以更细的粒度操纵张量程序,极大地丰富了可表达的优化。我们称之为任务映射编程范式所提出的方法。此外,我们提出了一种新的调度后融合优化,允许开发人员专注于调度每个操作员,并在调度后自动进行融合。它大大减少了工程工作的运营商融合。我们提出的范例还构建了一个高效的硬件为中心的调度空间,这是不可知的程序输入大小,大大减少了调整时间。利用所提出的范例,我们实现了一个深度学习编译器Hidet。在现代卷积和Transformer模型上进行的大量实验表明,Hidet的性能比最先进的DNN推理框架、ONNX编译器和编译器、配备调度程序AutoTVM和Ansor的TVM高出1.48倍(平均1.22倍)。与AutoTVM和Ansor相比,它还将调优时间分别缩短了20倍和11倍。我们在https://www.github.com…
2023-02-15 cs.AI cs.LG cs.PL
TIRx: A Unified Tile Primitive ML Compiler Across Heterogeneous Backends
Axe提出了一种统一的布局抽象,通过多轴物理空间映射逻辑张量坐标,实现跨设备分布和设备内布局的一致表达,并结合多粒度DSL和编译器提升性能。
2026-11-02 cs.AI cs.DC cs.LG
swTVM: Towards Optimized Tensor Code Generation for Deep Learning on Sunway Many-Core Processor
Beihang University(北京航空航天大学);National University of Singapore(新加坡国立大学);Tsinghua University(清华大学)
深度学习框架和硬件平台的蓬勃发展一直要求高效的编译器能够屏蔽软件和硬件的多样性,以提供应用程序的可移植性。在现有的深度学习编译器中,TVM以其在不同硬件设备上的代码生成和优化效率而闻名。与此同时,Sunway众核处理器凭借其在科学计算和深度学习工作负载方面的诱人计算能力,成为一个有竞争力的候选者。本文结合这两个方向的趋势。具体来说,我们提出了swTVM,扩展了原来的TVM,以支持提前编译的架构,需要交叉编译,如Sunway。此外,我们在编译过程中利用了架构特性,例如用于大规模并行的核心组,用于高带宽内存传输的DMA和用于数据局部性的本地设备内存,以便为Sunway上的深度学习工作负载生成高效的代码。实验结果表明,在六个有代表性的基准测试中,与Sunway上最先进的深度学习框架相比,swTVM生成的代码平均达到1.79倍。这项工作是第一次尝试从编译器的角度来弥合深度学习和Sunway处理器的差距,特别是考虑到生产力和效率。我们相信这项工作将鼓励更多的人接受深度学习和神威众核处理器的力量。
2022-07-11 cs.LG cs.PL stat.ML
vTensor: Flexible Virtual Tensor Management for Efficient LLM Serving
Shanghai Jiao Tong University(上海交通大学);Shanghai Qi Zhi Institute(上海期智研究院);Ant Group(蚂蚁集团)
针对LLM服务中KV缓存内存碎片化问题,提出基于GPU虚拟内存管理的vTensor张量结构,解耦计算与碎片整理,实现平均1.86倍加速并释放71.25%内存。
2024-07-22 cs.DC cs.LG
Quantamination: Dynamic Quantization Leaks Your Data Across the Batch
University of Cambridge(剑桥大学);Google DeepMind(谷歌DeepMind)
本文揭示动态量化中存在关键漏洞,攻击者可通过量化策略窃取同一批数据中的敏感信息,主要贡献是发现4种主流框架存在数据泄露风险。
2026-04-29 cs.CR cs.LG
Transferable Graph Optimizers for ML Compilers
Google(谷歌公司);UC Riverside(加州大学河滨分校);Carnegie Mellon University(卡内基梅隆大学)
大多数用于机器学习(ML)框架的编译器需要解决许多相关的优化问题以生成高效的机器码。目前的ML编译器依赖于基于算法的算法来一次解决这些优化问题。然而,这种方法不仅难以维护,而且通常会导致次优解决方案,特别是对于较新的模型架构。文献中现有的基于学习的方法是样本效率低下的,解决单个优化问题,并且不推广到看不见的图,使得它们在实践中不可行。为了解决这些局限性,我们提出了一种端到端的,可转移的深度强化学习方法,用于计算图优化(GO),该方法基于归纳图神经网络上的可扩展顺序注意力机制。GO在整个图上生成决策,而不是在每个节点上自回归,与以前的方法相比,大大加快了搜索速度。此外,我们还提出了循环注意力层来联合优化依赖图优化任务,与TensorFlow默认优化相比,在三个图优化任务上实现了33%-60%的加速。在由多达80,000个节点组成的一组不同的代表性图形上,包括Inception-v3,Transformer-XL和WaveNet,GO在实际系统中评估的设备放置任务上,平均比人类专家提高了21%,比现有技术提高了18%,收敛速度提高了15倍。
2021-02-20 cs.DC cs.LG
Clipper: A Low-Latency Online Prediction Serving System
UC Berkeley(加州大学伯克利分校);The University of Chicago(芝加哥大学)
机器学习正被部署在越来越多的应用程序中,这些应用程序需要在繁重的查询负载下进行实时,准确和鲁棒的预测。然而,大多数机器学习框架和系统只解决模型训练而不是部署。本文介绍了一个通用的低延迟预测服务系统Clipper。Clipper介于最终用户应用程序和各种机器学习框架之间,引入了一种模块化架构,以简化跨框架和应用程序的模型部署。此外,通过引入缓存、缓存和自适应模型选择技术,Clipper在不修改底层机器学习框架的情况下减少了预测延迟,提高了预测吞吐量、准确性和鲁棒性。我们在四个常见的机器学习基准数据集上评估Clipper,并证明其能够满足在线服务应用程序的延迟,准确性和吞吐量需求。最后,我们将Clipper与TensorFlow Serving系统进行了比较,并证明我们能够实现相当的吞吐量和延迟,同时支持模型组合和在线学习,以提高准确性并提供更强大的预测。
2017-02-28 cs.DC cs.LG
Towards Efficient Large Language Model Serving: A Survey on System-Aware KV Cache Optimization
School of Computing and Information Systems, The University of Melbourne(墨尔本大学计算与信息系统学院);School of Computer Science and Technology, Huazhong University of Science and Technology(华中科技大学计算机科学与技术学院)
该综述聚焦大语言模型服务中系统感知的键值缓存优化,从执行与调度、放置与迁移、表示与保留三个维度回顾相关工作,分析跨行为协同设计及行为与目标联系,为理解和创新键值缓存设计提供基础。
2026-07-10 cs.AI cs.CL cs.LG
TpuGraphs: A Performance Prediction Dataset on Large Tensor Computational Graphs
Google(谷歌);Stanford(斯坦福大学);UIUC(伊利诺伊大学厄巴纳-香槟分校)
本文提出 TpuGraphs 数据集,面向 TPU 上完整张量计算图的编译配置与执行时间预测,弥补现有数据集仅覆盖小型子程序的不足,并凸显大图学习挑战。
2023-12-05 cs.AR cs.LG cs.SI
MinT: Managed Infrastructure for Training and Serving Millions of LLMs
Mind Lab
提出MinT系统,通过LoRA适配器管理实现大规模基础模型上的高效训练与在线服务,支持百万级策略目录。
2026-05-26 cs.AI cs.DC cs.LG
Instead of Rewriting Foreign Code for Machine Learning, Automatically Synthesize Fast Gradients
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
将可微分编程技术和机器学习算法应用于外来程序需要开发人员在机器学习框架中重写他们的代码,或者以其他方式提供外来代码的衍生物。本文介绍了酶,一个高性能的自动微分(AD)编译器插件的LLVM编译器框架能够合成梯度的静态分析程序表示的LLVM中间表示(IR)。酶合成梯度的任何语言编写的程序,其编译器的目标LLVM IR包括C,C++,Fortran,Julia,Rust,Swift,MLIR等,从而以这些语言提供本机AD能力。与传统的源到源和操作符重载工具不同,酶在优化的IR上执行AD。在包括Microsoft ADBench在内的机器学习重点基准测试套件中,优化IR上的AD实现了比优化前IR上的AD高4.5倍的几何平均加速,使酶实现了最先进的性能。Packaging Enzyme for PyTorch和TensorFlow提供了对具有最先进性能的外来代码梯度的方便访问,使外来代码能够直接纳入现有的机器学习工作流程。
2020-10-04 cs.AI cs.LG cs.MS