eIQ Neutron: Redefining Edge-AI Inference with Integrated NPU and Compiler Innovations
NXP Semiconductors(恩智浦半导体公司);Politecnico di Torino(托里尼诺理工学院)
本文提出集成于商用旗舰MPU的eIQ Neutron高效NPU及协同设计的编译器,通过数据驱动架构与约束编程优化计算与数据移动,在同等资源下实现1.8倍平均加速,重新定义了边缘AI推理性能。
2025-09-17 cs.AI cs.AR cs.LG
Compiler-First State Space Duality and Portable $O(1)$ Autoregressive Caching for Inference
Imperial College London(帝国理工学院伦敦分校)
提出一种基于编译器优先的状态空间对偶性(SSD)结构的推理方法,通过标准JAX原语实现无自定义内核的单源推理路径,在TPU和GPU上达到高硬件利用率,且缓存解码速度比全前缀重计算快27-36倍。
2026-06-11 cs.AI cs.DC cs.LG
Agint: Agentic Graph Compilation for Software Engineering Agents
Agint通过代理图编译器和运行时实现高效、可靠的软件工程代理,支持自然语言到代码的自动化转换与协作开发。
2025-11-24 cs.LG cs.SE
Compiler-Aware Neural Architecture Search for On-Mobile Real-time Super-Resolution
Northeastern University(东北大学);College of William and Mary(威廉与玛丽学院);ETH Zürich(苏黎世联邦理工学院)
基于深度学习的超分辨率(SR)由于其高的图像质量性能和广泛的应用场景,近年来获得了巨大的普及。然而,现有的方法通常遭受大量的计算和巨大的功耗,导致实时的【形】推理困难,特别是在诸如移动设备的资源有限的平台上。为了缓解这一问题,我们提出了一个编译器感知的SR神经架构搜索(NAS)框架,该框架使用自适应SR块进行深度搜索和每层宽度搜索。该方法直接将推理速度和SR损失考虑在内,在满足实时的【形】推理要求的同时,得到高图像质量的SR模型。代替在搜索过程期间的每次迭代测量移动设备上的速度,利用与编译器优化结合的速度模型来预测具有各种宽度配置的SR块的推理延迟,以实现更快的收敛。在此框架下,我们实现了实时的【形】SR推理,并在移动平台(Samsung Galaxy S21)的GPU/DSP上实现了720 p分辨率的SR推理,具有竞争力的SR性能(PSNR和SSIM)。
2022-07-25 cs.AR cs.CV cs.LG
Concordia: JIT-Compiled Persistent-Kernel Checkpointing for Fault-Tolerant LLM Inference
University of California Santa Cruz(加州大学圣克ruz分校);University of California, Davis(加州大学戴维斯分校);University of Washington(华盛顿大学)
针对LLM推理中GPU状态丢失问题,提出Concordia运行时,利用设备驻留持久内核实现JIT编译的增量检查点,支持PTX/SASS级插桩,无需修改应用代码。
2026-06-23 cs.DC cs.LG
MPK: A Compiler and Runtime for Mega-Kernelizing Tensor Programs
Carnegie Mellon University(卡内基梅隆大学);Tsinghua University(清华大学);NVIDIA;University of Michigan(密歇根大学);Independent Researcher(独立研究者);Peking University(北京大学)
提出MPK,首个自动将多GPU模型推理转化为单个高性能巨型内核的编译器和运行时系统,通过SM级图表示实现跨算子软件流水线和细粒度计算通信重叠,显著降低推理延迟。
2026-06-11 cs.DC cs.LG cs.PL
Revisiting Lightweight Compiler Provenance Recovery on ARM Binaries
Georgia Tech(佐治亚理工学院);Vanderbilt University(范德堡大学)
本文针对ARM二进制程序,提出一种基于操作码和寄存器特征的浅层学习模型,高效恢复编译器配置属性,达到超过99%的准确率,训练加速583倍、推理加速3826倍,并揭示先前未发现的过拟合问题。
2023-05-06 cs.LG
AGO: Boosting Mobile AI Inference Performance by Removing Constraints on Graph Optimization
Nanjing University(南京大学)
传统的深度学习编译器依赖于算法来生成子图,这对图优化施加了额外的约束,例如,每个子图最多只能包含一个复数算子。在本文中,我们提出了AGO,这是一个用于任意结构的图优化的框架,通过消除这些约束来提高深度模型的推理性能。为了给复杂的子图创造新的优化机会,我们提出了密集的算子融合,它可以有效地将多个复杂的算子缝合在一起,以获得更好的性能。此外,我们设计了一个图划分方案,允许任意结构的每个子图,同时保证所有生成的子图之间的无环属性。此外,为了使复杂的子图上的高效性能调优,我们设计了一种新的分而治之的调优机制来编排不同的系统组件。通过在各种神经网络和移动设备上的广泛实验,我们表明,与最先进的深度编译器相比,我们的系统可以将推理性能提高高达3.3倍。
2022-12-02 cs.CL cs.DC cs.LG
Optimizing AI Inference Across the Deployment Stack
Dell Technologies(戴尔科技集团)
本文提出跨部署栈的AI推理优化统一分析方法,引入三层分类法,将部署建模为多目标优化,提出证据协议提升基准可比性,并综合边缘与数据中心平台证据,揭示跨层交互决定部署结果。
2026-09-11 cs.LG cs.SE
Optimizing Tensor Train Decomposition in DNNs for RISC-V Architectures Using Design Space Exploration and Compiler Optimizations
School of Informatics, Aristotle University of Thessaloniki(阿尔基托斯大学信息学院);School of Engineering, Computing and Mathematics, University of Plymouth(普利茅斯大学工程、计算与数学学院);School of Informatics, Reutlingen University(鲁特林根大学信息学院)
本文提出了一种在RISC-V架构上通过设计空间探索和编译器优化优化DNN中张量列车分解的方法,以提高计算效率和推理速度。
2026-02-02 cs.AI cs.AR cs.LG
Woodpecker-DL: Accelerating Deep Neural Networks via Hardware-Aware Multifaceted Optimizations
Ant Group(蚂蚁集团)
加速深度模型训练和推理在实践中至关重要。现有的深度学习框架通常专注于优化训练速度,而很少关注特定于推理的优化。实际上,模型推理在计算方面不同于训练,例如,在训练期间的每个梯度更新步骤中更新参数,但在推理期间保持不变。模型推理的这些特性为其优化提供了新的机会。在本文中,我们提出了一个硬件感知的优化框架,即啄木鸟DL(WPK),以加速推理,利用多个联合优化的角度,图优化,自动搜索,域特定语言(DSL)编译器技术和系统级探索。在WPK中,我们研究了两种新的自动搜索方法,分别基于遗传算法和强化学习,以寻找针对特定硬件的最佳操作符代码配置。定制的DSL编译器进一步附加到这些搜索算法以生成高效的代码。为了创建优化的推理计划,WPK系统地探索了来自第三方库的高速运算符实现,以及我们自动生成的代码,并挑选出每个运算符的最佳实现供使用。大量的实验表明,在Tesla P100 GPU上,我们可以在单个卷积运算符上实现cuDNN的最大加速比5.40和TVM的最大加速比1.63,并且端到端模型推理的运行速度比TensorRT快1.18倍。
2020-08-11 cs.DC cs.LG
PolyQ: Codesigning End-to-End Quantization Framework for Scalable Edge CPU LLM Inference
University of California, Irvine(加利福尼亚大学欧文分校)
研究针对CPU上大语言模型推理的量化问题,提出PolyQ方法,通过激活感知的逐通道比特分配及编译时模型编译器优化,实现分数比特部署,在多个模型上提升质量,在不同CPU上有良好性能,证明其在边缘设备推理的实用性、可预测性和节能性。
2026-07-17 cs.AR cs.LG cs.OS
MAFIA: Machine Learning Acceleration on FPGAs for IoT Applications
University of British Columbia(不列颠哥伦比亚大学);Microsoft Research(微软研究院);University of California, Berkeley(加州大学伯克利分校)
ML最近的突破产生了新的模型类别,允许ML推理直接在毫瓦供电的物联网设备上运行。一方面,现有的ML到FPGA编译器是为大型FPGA上的深度神经网络而设计的。另一方面,通用HLS工具无法利用ML推理的特定属性,从而导致次优性能。我们提出了MAFIA,这是一种在小型FPGA上编译ML推理的工具,用于物联网应用。MAFIA为线性代数运算提供原生支持,并可以表达各种ML算法,包括最先进的模型。我们表明,MAFIA生成的程序优于最佳性能的商业HLS编译器的变种平均2.5倍。
2021-07-08 cs.AR cs.DC cs.LG
NPAS: A Compiler-aware Framework of Unified Network Pruning and Architecture Search for Beyond Real-Time Mobile Acceleration
Northeastern University(东北大学);College of William and Mary(威廉与玛丽学院);Rice University(莱斯大学);Michigan State University(密歇根州立大学)
随着在移动边缘设备上高效部署DNN的需求不断增长,减少不必要的计算并提高执行速度变得更加重要。包括模型压缩和网络架构搜索(NAS)在内的实现该目标的现有方法在很大程度上是独立执行的,并且没有充分考虑编译器级优化,而编译器级优化是移动加速必须做的。在这项工作中,我们首先提出了(i)适用于各种DNN层的细粒度结构化修剪的一般类别,以及(ii)支持不同DNN和不同修剪方案的综合编译器自动代码生成框架,弥补了模型压缩和NAS的差距。我们进一步提出了NPAS,编译器感知的统一网络修剪和架构搜索。为了处理大的搜索空间,我们提出了一个基于强化学习的元建模过程,具有快速评估和贝叶斯优化,确保与代表性NAS框架的总训练次数相当。我们的框架在现成的手机上分别实现了6.7ms,5.9ms,3.9ms的ImageNet推理时间,78.2%,75%(MobileNet-V3级别)和71%(MobileNet-V2级别)的Top-1准确率,始终优于先前的工作。
2021-06-17 cs.AI cs.CV cs.LG
Bridging the Gap Between Neural Networks and Neuromorphic Hardware with A Neural Network Compiler
Tsinghua University(清华大学);University of California at Santa Barbara(加州大学圣塔芭芭拉分校)
与面向通用处理器的神经网络(NN)开发不同,NN芯片的开发通常面临着一些硬件方面的限制,如网络信号和参数的精度有限、计算规模受限、非线性函数的类型有限等。本文提出了一种应对挑战的一般方法。我们解耦的NN应用程序从目标硬件通过引入一个编译器,可以将现有的训练,不受限制的NN到一个等效的网络,满足给定的硬件的约束。我们提出了多种技术,使转换适应不同类型的神经网络芯片,并可靠的限制硬件的限制。我们已经建立了这样一个软件工具,既支持脉冲神经网络(SNN)和传统的人工神经网络(ANN)。我们已经证明了其有效性与制造的神经形态芯片和内存处理(PIM)的设计。实验表明,该方案引起的推理误差很小,且转换时间远短于再训练时间。此外,我们还研究了参数敏感性评估,以探索不同转换策略的网络错误和资源利用率之间的权衡,这可以为神经形态硬件和软件的协同设计优化提供见解。
2018-01-18 cs.ET cs.LG cs.NE
BayesLDM: A Domain-Specific Language for Probabilistic Modeling of Longitudinal Data
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Arizona State University(亚利桑那州立大学);University of California San Diego(加州大学圣地亚哥分校);University of Michigan(密歇根大学)
在本文中,我们提出了贝叶斯LDM,贝叶斯纵向数据建模系统组成的一个高层次的建模语言,具有特定功能的复杂的多变量时间序列数据的建模与编译器,可以产生优化的概率程序代码执行推理在指定的模型。BayesLDM支持贝叶斯网络模型的建模,特别关注动态贝叶斯网络(DBN)的高效,声明性规范。BayesLDM编译器将模型规范与可用数据的检查相结合,并输出用于对未知模型参数执行贝叶斯推断的代码,同时处理缺失数据。这些功能有可能显着加快迭代建模工作流程的领域,涉及复杂的纵向数据的分析,通过抽象出的过程中产生计算效率的概率推理代码。我们描述了贝叶斯LDM系统组件,评估效率的表示和推理优化,并提供了一个说明性的例子,该系统的应用程序来分析异构和部分观察到的移动健康数据。
2022-09-12 cs.AI cs.LG
Toward Compiler World Models: Learning Latent Dynamics for Efficient Tensor Program Search
Hangzhou Institute for Advanced Study, University of Chinese Academy of Sciences(中国科学院大学杭州高等研究院);Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所);University of Chinese Academy of Sciences(中国科学院大学)
提出一种受世界模型启发的评估器,通过轻量级过渡模型在连续潜在空间中展开调度动作,避免昂贵AST变异和重复编码,在TVM AutoScheduler中实现比Ansor更优的延迟和测量效率。
2026-06-08 cs.LG cs.PL
Bern2Edge: A Neurosymbolic Compiler for Edge Deployment via Bernstein Polynomial Networks
University of California, Irvine(加利福尼亚大学欧文分校)
本文提出Bern2Edge端到端框架,通过知识蒸馏将预训练教师网络转为硬件高效的伯恩斯坦多项式激活表示,支持两种部署路径,在边缘FPGA上实现了延迟、资源占用降低,同时保持较高准确率。
2026-08-24 cs.AR cs.LG
FHE-Agent: Automating CKKS Configuration for Practical Encrypted Inference via an LLM-Guided Agentic Framework
University of Minnesota -- Twin Cities(明尼苏达大学-双城分校);North Carolina State University(北卡罗来纳州立大学)
FHE-Agent通过LLM引导的代理框架自动化CKKS配置,提升加密推断的精度与效率
2025-11-23 cs.AI cs.CR cs.LG