NoMAD-Attention: Efficient LLM Inference on CPUs Through Multiply-add-free Attention
Rice University(莱斯大学);Stevens Institute of Technology(史蒂文斯理工学院);ThirdAI Corp.(ThirdAI公司)
针对 CPU 上 LLM 注意力中 MAD 运算开销大的问题,本文提出 NoMAD-Attention,用 SIMD 寄存器内查找替代 MAD,无需微调即可保持质量并将 4-bit LLaMA-7B 在 16k 上下文下最高加速 2 倍。
2024-03-02 cs.AI cs.CL cs.LG
Efficient Large Language Models with Zero-Shot Adjustable Acceleration
本文提出零样本可调加速方法,无需额外微调即可在推理时动态调整硬件利用率,在分类和文本生成任务上实现高达11倍加速。
2025-09-06 cs.CL
Acceleration-as-a-μService: A Cloud-native Monte-Carlo Option Pricing Engine on CPUs, GPUs and Disaggregated FPGAs
云应用程序向松耦合微服务的演进为硬件加速器提供了新的机会,以提高工作负载性能。现有的云加速器技术牺牲了微服务的整合优势。本文介绍了CloudiFi,这是一个将加速器作为云服务进行部署和比较的框架。我们在财务工作负载的背景下评估了我们的框架,并给出了早期结果,表明微服务响应时间提高了485倍。
2021-06-11 cs.AR cs.DC cs.NI
The Impact of Inference Acceleration on Bias of LLMs
Ruhr University Bochum(博德姆鲁尔大学);Aleph Alpha(Aleph Alpha公司);UAR Research Center for Trustworthy Data Science and Security(UAR可信数据科学与安全研究中心)
本文系统研究了推理加速优化(如量化、剪枝和缓存)对LLMs输出中人口统计学偏见的影响,发现偏见变化显著、复杂且不可预测,强调加速后需逐案例评估模型偏见。
2025-06-05 cs.AI cs.CL cs.LG
Accelerating motif finding in DNA sequences with multicore CPUs
发现DNA序列中的模体是分子生物学中的一项具有挑战性的任务。在计算模体发现中,Planted(l,d)模体发现是一个被广泛研究的问题,有很多算法可以用来解决它,硬件加速器和软件加速器都被用来加速模体发现算法。然而,FPGA等硬件加速器的使用需要硬件专家来设计此类系统。另一方面,基于软件的加速方法比硬件加速技术更容易实现。网格计算就是一种基于软件的加速技术,它已被用于模体发现的加速。然而,诸如网络通信延迟和网格中节点之间快速互连的需要等缺点可能限制其使用和可扩展性。随着使用多核CPU来加速CPU密集型任务变得越来越流行和普遍,我们可以使用它来加速模体发现,它可以是一种比基于网格的加速更快的方法。在本文中,我们探讨了使用多核CPU来加速基序发现。我们已经在多核CPU上加速了Skip-Brute Force算法,并使用POSIX线程库将其并行化。我们的方法在32核处理器上的平均速度提高了34倍,而在基于网格的32个节点的实现上的速度提高了21倍。
2014-03-06 cs.CE cs.DC
LoPT: Lossless Parallel Tokenization Acceleration for Long Context Inference of Large Language Model
针对大语言模型长上下文推理中分词瓶颈,提出无损并行分词框架 LoPT,通过字符位置匹配和动态分块长度调整保证与串行分词结果一致,并在实验中实现显著加速。
2025-11-07 cs.CL
Optimizing CNN Model Inference on CPUs
卷积神经网络(CNN)模型的流行和CPU的普及意味着CPU上CNN模型推理的更好性能可以为大量用户提供显著的收益。为了提高CPU上CNN推理的性能,目前的方法(如MXNet和Intel OpenVINO)通常将模型视为图,并使用Intel MKL-DNN等高性能库来实现图的操作。虽然在来自现成库的各个操作上实现了合理的性能,但该解决方案使得在图级别进行优化变得不灵活,因为本地操作级别优化是预定义的。因此,它是限制性的,并且错过了整体优化端到端推理流水线的机会。本文介绍了\emph{NeoCPU},一种在CPU上进行CNN模型推理的综合方法,它采用了全栈和系统的优化方案。\emph{NeoCPU}将操作作为模板进行优化,而不依赖于第三方库,这使得通过操作级和图级联合优化进一步提高性能。实验表明,\emph{NeoCPU}实现了高达3.45 $\times$更低的延迟CNN模型推理比目前最先进的各种流行的CPU上的实现。
2019-07-05 cs.DC
QIGen: Generating Efficient Kernels for Quantized Inference on Large Language Models
ETH Zurich(苏黎世联邦理工学院);IST Austria(奥地利科学技术研究所);Neural Magic
本文提出QIGen自动代码生成方法,结合目标架构与性能模型,在现成CPU上为LLaMA等大型语言模型生成高效量化推理内核,实现高性能与高精度。
2023-07-07 cs.CL cs.LG cs.PF
A Survey on Model Compression and Acceleration for Pretrained Language Models
University of California, San Diego(加州大学圣地亚哥分校)
尽管在许多NLP任务上实现了最先进的性能,但高能量成本和长推理延迟阻止了基于transformer的预训练语言模型(PLM)被更广泛地采用,包括边缘和移动计算。高效的NLP研究旨在全面考虑NLP整个生命周期的计算,时间和碳排放,包括数据准备,模型训练和推理。在本次调查中,我们重点关注推理阶段,并回顾了预训练语言模型的模型压缩和加速的现状,包括基准测试,指标和方法。
2022-11-29 cs.AI cs.CL cs.LG
SWIFT: On-the-Fly Self-Speculative Decoding for LLM Inference Acceleration
The Hong Kong Polytechnic University(香港理工大学);Zhejiang University(浙江大学);Sea AI Lab(Sea AI实验室)
针对推测解码需额外训练草稿模型的问题,提出即插即用的自推测解码算法SWIFT,通过自适应跳过LLM中间层实现1.3-1.6倍推理加速且不改变生成分布。
2025-03-06 cs.CL
Speculative Decoding with CTC-based Draft Model for LLM Inference Acceleration
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Key Laboratory of Al Safety, Chinese Academy of Sciences(中国科学院人工智能安全重点实验室)
针对推测解码中非自回归草稿接受率低的问题,提出基于CTC的草稿模型以增强草稿token相关性,从而提高接受率并加快LLM推理。
2024-11-25 cs.AI cs.CL cs.LG
Inference with Reference: Lossless Acceleration of Large Language Models
Microsoft(微软)
提出LLMA加速器,通过复用参考文本片段并并行验证,在保持与贪婪解码结果相同的前提下,实现大语言模型推理超过2倍的无损加速。
2023-04-10 cs.AI cs.CL
A dynamic parallel method for performance optimization on hybrid CPUs
针对混合CPU因硬件能力不平衡导致AI推理性能低的问题,提出一种动态并行方法,通过并行前平衡各核心负载提升LLM推理性能,使Neural Speed在两款Intel混合CPU上实现平均超90%内存带宽利用率。
2024-11-29 cs.DC cs.PF
Distributed Inference Performance Optimization for LLMs on CPUs
本文提出一种面向CPU的LLM分布式推理优化方案,在第五代英特尔至强处理器上实现72B模型140 ms/token的推理速度,显著缓解单节点内存限制并超越人类平均阅读速度。
2024-05-16 cs.DC
Inference acceleration for large language models using "stairs" assisted greedy generation
Kaunas University of Technology(考纳斯理工大学)
本文提出“阶梯”辅助贪婪生成方法,通过结合小模型快速生成、大模型批量预测与“阶梯”验证,在文本生成任务中实现9.58%至17.24%的推理时间减少且无精度损失。
2024-07-29 cs.CL cs.LG
Optimizing Inference Performance of Transformers on CPUs
Oracle Labs(甲骨文实验室)
Transformer架构彻底改变了自然语言处理(NLP)领域。基于转换器的模型(例如,BERT)支持许多重要的Web服务,如搜索、翻译、问答等。虽然大量的研究关注于这些模型的训练,但相对较少的努力是为了提高它们的推理性能。本文通过对在CPU上推理基于transformer的模型的可扩展性和性能进行实证分析来解决这一差距。专注于非常流行的BERT模型,我们确定了Transformer架构的关键组件,其中大部分的计算发生,并提出了三个优化,以加快它们。使用HuggingFace的推理基准对优化进行了评估,并显示其加速比高达x2.37。所考虑的优化不需要对模型的实现进行任何更改,也不影响其准确性。
2021-02-22 cs.AI cs.CL cs.DC
LoopServe: An Adaptive Dual-phase LLM Inference Acceleration System for Multi-Turn Dialogues
PolyU;HKUST(香港科技大学);HUST(华中科技大学);Huawei Noah’s Ark Lab(华为诺亚实验室);HKUST(GZ)(香港科技大学(广州));Edin;UCL(伦敦大学学院)
LoopServe提出自适应双阶段推理加速框架,通过在线稀疏化和渐进式键值压缩,在长上下文多轮对话中显著提升LLM推理效率与效果。
2025-09-26 cs.AI cs.CL
Beyond FLOPs: Benchmarking Real Inference Acceleration of LLM Pruning under a GEMM-Centric Taxonomy
Ningbo Institute of Digital Twin, Eastern Institute of Technology, Ningbo(宁波数字孪生研究院,东方理工大学(宁波));Department of Computing, The Hong Kong Polytechnic University(香港理工大学计算学系);Munich Center for Machine Learning, LMU Munich(慕尼黑大学机器学习慕尼黑中心)
提出一种基于GEMM维度的剪枝方法分类法,通过统一基准框架系统评估不同剪枝方法在加速-质量帕累托前沿上的表现,发现静态深度剪枝在低质量损失下最优,为LLM剪枝加速提供统一视角。
2026-08-28 cs.CL cs.LG
Chrion: Optimizing Recurrent Neural Network Inference by Collaboratively Utilizing CPUs and GPUs
针对循环神经网络推理优化问题,提出协同利用CPU与GPU的Chrion系统,将模型部署建模为异质设备有向无环图NP难调度问题,可显著降低推理延迟与GPU内存占用。
2023-07-21 cs.DC
Accelerating string matching for bio-computing applications on multi-core CPUs
在生物计算应用中,需要处理大量的字符串形式的数据,搜索算法在其中被频繁地使用。提出了许多利用软件和硬件的方法来加速这些数据的处理。典型的基于硬件的加速技术要么需要诸如通用图形处理单元(GPGPU)之类的特殊硬件,要么需要构建诸如基于FPGA的设计之类的新硬件。另一方面,基于软件的加速技术更容易,因为它们只需要对软件代码或软件架构进行一些更改。典型的基于软件的技术利用通过网络连接的计算机,也称为网络网格来加速处理。在本文中,我们测试的假设,多核架构应该提供更好的性能,在这种计算,但它仍然取决于所选择的算法以及所使用的编程模型。我们提出了加速字符串搜索算法的多核CPU通过POSIX线程为基础的实现。我们在8核处理器(支持16个线程)上的实现与单线程实现相比,吞吐量提高了9倍。
2014-03-28 cs.DC
HiNa-MoE: High-Performance, Non-Intrusive MoE Inference on CPUs with Matrix Engines
College of Computer Science and Technology, National University of Defense Technology(国防科技大学计算机学院)
HiNa-MoE提出非侵入式CPU算子库,利用Intel AMX优化MoE推理,通过微内核、NUMA感知划分和矩阵运算转换,实现FFN内核3.37倍和端到端2.09倍加速。
2026-10-06 cs.DC
CPU-GPU Heterogeneous Code Acceleration of a Finite Volume Computational Fluid Dynamics Solver
本文研究有限体积CFD求解器SENSEI的CPU-GPU异构加速,提出考虑ghost cell交换的性能模型,并通过超声速进气道算例验证异构计算相比纯CPU或纯GPU的性能优势。
2023-05-29 cs.DC cs.PF
ScalableHD: Scalable and High-Throughput Hyperdimensional Computing Inference on Multi-Core CPUs
University of Southern California, Los Angeles, California, USA(美国南加州大学)
本文提出 ScalableHD,通过两阶段流水线、分块、NUMA 绑定及批量自适应变体,在多核 CPU 上高效执行 HDC 推理,最高实现较 TorchHD 10 倍吞吐加速且近线性扩展。
2025-06-10 cs.DC cs.LG
Portable acceleration of CMS computing workflows with coprocessors as a service
本文研究 CMS 实验中以 SONIC 即服务方式将机器学习推理任务卸载到 GPU 等协处理器,证明可显著加速算法并提升整体工作流吞吐量,同时保持可移植性。
2024-09-06 cs.DC hep-ex physics.ins-det
Challenging GPU Dominance: When CPUs Outperform for On-Device LLM Inference
Texas A&M University(德克萨斯大学)
本文在 iPhone 15 Pro 上用 llama.cpp 实测 10 亿参数 LLM,证明双线程 F16 的纯 CPU 推理可达 17 tokens/s,高于 GPU 的 12.8 tokens/s,并分析内存传输、线程与量化等因素。
2025-05-09 cs.DC cs.LG
Towards Resource-Efficient Serverless LLM Inference with SLINFER
Shanghai Jiao Tong University(上海交通大学);Nanyang Technological University(南洋理工大学)
SLINFER通过在异构硬件上实现弹性共享,提高小型至中型LLM推断的资源效率,实验显示服务容量提升达86%-154%
2025-12-15 cs.DC
ZNNi - Maximizing the Inference Throughput of 3D Convolutional Networks on Multi-Core CPUs and GPUs
Massachusetts Institute of Technology(麻省理工学院);Princeton University(普林斯顿大学)
滑动窗口卷积网络(ConvNets)已经成为解决诸如图像分割、目标检测和定位等计算机视觉问题的流行方法。在这里,我们考虑推理问题,即应用先前训练的ConvNet,重点是3D图像。我们的目标是最大限度地提高吞吐量,定义为每单位时间计算的输出体素的平均数量。在其他条件相同的情况下,处理较大的图像往往会增加吞吐量,因为在图像的边界上浪费的计算很少。因此,如果一个明显较慢的算法可以在可用RAM的约束范围内处理更大的图像,那么它最终可能具有更高的吞吐量。我们为卷积层和池化层引入了新颖的CPU和GPU原语,旨在最大限度地减少内存开销。基元包括基于高效修剪FFT的卷积。我们的理论分析和实证检验揭示了一些有趣的发现。对于某些ConvNet架构,cuDNN的性能优于我们基于FFT的GPU原语,而这些原语又可以优于我们的CPU原语。由于CPU可以快速访问更多的RAM,因此可以实现更高的吞吐量。GPU访问主机RAM的新原语可以显着提高GPU吞吐量。最后,CPU-GPU算法实现了所有算法中最大的吞吐量,是其他公开的滑动窗口3D ConvNets实现的10倍或更多。我们所有的代码都是开源项目。
2016-06-17 cs.DC cs.LG
GPU Acceleration of Monte Carlo Tallies on Unstructured Meshes in OpenMC with PUMI-Tally
本文提出PUMI-Tally库,利用网格邻接信息在CPU和GPU上加速聚变反应堆蒙特卡罗模拟中的非结构化网格计数,实现了最高20倍的计算加速和6.69倍的能耗改善。
2025-04-26 cs.DC physics.comp-ph
DAOP: Data-Aware Offloading and Predictive Pre-Calculation for Efficient MoE Inference
School of Computing, National University of Singapore(计算学院,新加坡国立大学)
本文针对MoE模型在内存受限设备部署中因GPU内存有限导致的频繁数据传输抵消速度优势的问题,提出DAOP推理引擎,通过动态分配专家、选择性预计算等优化,性能优于传统方法且保持精度。
2026-08-24 cs.DC cs.LG
Capacity over TFLOPS: Memory-Centric Deployment of Large Clinical Language Models on Consumer CPUs
Balkeum Labs(Balkeum实验室);Claremont Graduate University(克莱蒙特研究生大学)
该研究提出以系统RAM为中心部署大型临床语言模型,在消费级CPU上实现270亿参数模型推理,联邦微调仅需传输22.6MB低秩适配器,为本地临床AI提供了隐私保护的部署路径。
2026-10-14 cs.DC
Design and Prototyping Distributed CNN Inference Acceleration in Edge Computing
Aarhus University(奥胡斯大学)
对于使用深度学习的时间关键型物联网应用,通过分布式计算进行推理加速是满足严格截止日期的一种有前途的方法。在本文中,我们使用三个树莓派4实现了一个新的分布式推理加速方法HALP的工作原型。HALP通过在边缘计算中设计边缘设备(ED)之间的无缝协作来加速推理。我们最大限度地提高了通信和计算之间的协同ED的并行化,通过优化基于段的划分的任务划分比。实验结果表明,分布式推理HALP在VGG-16上实现了1.7倍的推理加速。然后,我们结合分布式推理与传统的神经网络模型压缩通过设置不同的收缩超参数的MobileNet-V1。通过这种方式,我们可以进一步加速推理,但代价是推理精度损失。为了在延迟和准确性之间取得平衡,我们提出了动态模型选择,以选择在延迟约束内提供最高准确性的模型。结果表明,与传统的单机计算相比,分布式推理HALP模型选择可以显着提高服务的可靠性。
2022-11-28 cs.CV cs.DC
SMEPilot: Characterizing and Optimizing LLM Inference with Scalable Matrix Extensions
IPADS, Shanghai Jiao Tong University(上海交通大学IPADS)
针对CPU矩阵扩展单元与核心在LLM推理中的不匹配,提出SMEPilot引擎,通过基于屋顶线的表征指导算子执行选择,实现SME与CPU协同工作,端到端性能提升达3.94倍。
2026-06-16 cs.AI cs.DC cs.PF
Distributed Deep Learning Inference Acceleration using Seamless Collaboration in Edge Computing
Aarhus University(奥胡斯大学)
本文研究了在协作边缘计算中使用分布式卷积神经网络(CNN)的推理加速。为了保证推理任务划分的准确性,我们在执行基于段的划分时考虑了感受域。为了最大限度地提高通信和计算过程之间的并行性,从而最大限度地减少推理任务的总推理时间,我们设计了一种新的任务协作方案,在该方案中,辅助边缘服务器(ES)上的子任务的重叠区域在主机ES上执行,称为HALP.我们进一步将HALP扩展到多任务的场景。实验结果表明,在GTX 1080 TI和JETSON AGX Xavier上,HALP可以将VGG-16中的CNN推理速度提高1.7- 2.0倍(对于单个任务)和1.7- 1.8倍(对于每批4个任务),这优于最先进的MoDNN。此外,我们还对时变信道下的服务可靠性进行了评估,结果表明HALP是一种在严格的服务截止期下保证高服务可靠性的有效解决方案。
2022-07-22 cs.AI cs.DC
Collaborative Inference Acceleration with Non-Penetrative Tensor Partitioning
针对IoT设备协同DNN推理中图块共享通信开销高的问题,提出细粒度NPTP张量分区方法以最小化通信负载,并在四种DNN上实现相对CoEdge 1.44–1.68倍加速。
2025-01-08 cs.DC
Receptive Field-based Segmentation for Distributed CNN Inference Acceleration in Collaborative Edge Computing
Aarhus University(奥胡斯大学)
本文研究了在协作边缘计算网络中使用分布式卷积神经网络(CNN)的推理加速。为了避免推理任务划分中的推理准确性损失,我们提出了基于感受野的分割(RFS)。为了减少计算时间和通信开销,我们提出了一种新的协作边缘计算,使用融合层并行化将CNN模型划分为多个卷积层块。在该方案中,协作边缘服务器(ES)只需要在计算每个融合块后交换一小部分子输出。此外,为了找到将CNN模型划分为多个块的最佳解决方案,我们使用动态规划,称为动态规划融合层并行化(DPFP)。实验结果表明,与预训练模型相比,DPFP可以将VGG-16的推理速度提高73%,在所有测试场景中都优于现有的MoDNN。在时变信道下对DPFP的服务可靠性进行了评估,结果表明,DPFP是一种在严格的服务截止期下保证高服务可靠性的有效解决方案。
2022-07-22 cs.AI cs.DC
Optimizing ML Workload Partitioning between CPUs and CIM Accelerators for Heterogeneous Computing
Federal Ministry of Research, Technology and Space, Germany(德国联邦研究、科技与航天部)
针对现有CIM相关ML工作负载划分方法未充分考虑RRAM约束等缺陷,提出基于ILP的异构CPU-CIM划分框架,最小化端到端推理延迟,较纯CPU执行最高提速30.9倍。
2026-07-07 cs.AI cs.AR cs.DC
Julia Cloud Matrix Machine: Dynamic Matrix Language Acceleration on Multicore Clusters in the Cloud
本文扩展 Julia,利用有向图、惰性求值、动态仿真和自动进程配置实现云上矩阵计算的自动并行与扩展,在 AWS 564 CPU 集群上最高获得 5.1 倍加速。
2023-12-08 cs.DC
Vectorization Of Narrow Matrix Multiplication for Ascend AI Inference Acceleration
Moscow Institute of Physics and Technology(莫斯科物理技术学院)
针对昇腾NPU上窄矩阵乘法中Cube单元利用率低的问题,提出利用AscendC向量指令将计算卸载至Vector单元,通过重叠AIV与AIC计算,在DeepSeek-V3推理中实现平均20%性能提升。
2026-09-16 cs.DC
HeteGen: Heterogeneous Parallel Inference for Large Language Models on Resource-Constrained Devices
针对资源受限设备上 LLM 推理受 I/O 瓶颈限制的问题,本文提出 HeteGen,利用 CPU/GPU 异构并行与异步重叠降低延迟,推理速度最高较 SOTA 提升逾 317%。
2024-03-02 cs.DC cs.PF
Evolutionary Bin Packing for Memory-Efficient Dataflow Inference Acceleration on FPGA
与在CPU或GPU上执行的CNN相比,在现场可编程门阵列(FPGA)中实现的卷积神经网络(CNN)低功耗推理加速器已经证明了更高的能效和更低的延迟。然而,CNN参数存储器的复杂形状通常不能很好地映射到FPGA片上存储器(OCM),这导致OCM利用率差,并最终限制了可以在FPGA上有效加速的CNN的大小和类型。在这项工作中,我们提出了一种设计方法,提高了CNN参数到FPGA OCM的映射效率。我们帧的映射作为装箱问题,并确定传统的装箱算法不适合解决FPGA和CNN特定的约束内的问题。我们杂交遗传算法和模拟退火与传统的装箱算法,以创建灵活的映射器能够分组参数存储器,使每个组最适合FPGA片上存储器。我们评估这些算法的各种FPGA推理加速器。对于所有CNN用例,我们的混合映射器在几秒钟内收敛到最佳解决方案,深度CNN的OCM利用效率提高了65%,并且比当前最先进的模拟退火方法快了200 $\times$。
2020-03-24 cs.DC cs.NE eess.SP
HACK: Homomorphic Acceleration via Compression of the Key-Value Cache for Disaggregated LLM Inference
University of Virginia(弗吉尼亚大学);VMware Research(威睿研究院);University College London(伦敦大学学院);Harvard University(哈佛大学)
本文提出HACK方法,通过压缩KV缓存并直接在量化数据上进行同态计算,消除了分离式LLM推理中的解量化开销,显著降低作业完成时间。
2025-02-05 cs.DC cs.LG
Meta-Learning for Speeding Up Large Model Inference in Decentralized Environments
Nesa Research(内萨研究所)
针对去中心化大模型部署中推理加速方法选择难的问题,提出基于元学习的框架,通过学习历史性能数据自动匹配任务最优加速策略,效率与性能均优于传统方法。
2024-10-28 cs.AI cs.DC cs.LG
A Competitive Edge: Can FPGAs Beat GPUs at DCNN Inference Acceleration in Resource-Limited Edge Computing Applications?
当作为生成模型进行训练时,深度学习算法在涉及高维数据的任务(如图像去噪和超分辨率)上表现出卓越的性能。在一个由移动和边缘设备主导的日益互联的世界中,对这些算法在嵌入式平台上本地运行的需求激增。FPGA凭借其可重编程性和低功耗特性,是这些边缘计算应用的理想候选者。因此,我们设计了一个时空并行的硬件架构,能够加速一个去卷积算法优化的电源效率的推理资源有限的FPGA。我们提出了这种基于FPGA的加速器,用于低功耗边缘计算应用中的解卷积神经网络(DCNN)推理。为此,我们开发了系统地利用微观建筑创新,设计空间探索和统计分析的方法。使用Xilinx PYNQ-Z2 FPGA,我们利用我们的架构来加速使用Wasserstein GAN框架在MNIST和CelebA数据集上训练的两个DCNN的推理。在这些网络上,与NVIDIA Jetson TX 1边缘计算GPU相比,我们的FPGA设计实现了更高的吞吐量与功率比,同时降低了运行间变化。
2021-03-09 cs.AR cs.DC eess.IV
MAFIA: Machine Learning Acceleration on FPGAs for IoT Applications
University of British Columbia(不列颠哥伦比亚大学);Microsoft Research(微软研究院);University of California, Berkeley(加州大学伯克利分校)
ML最近的突破产生了新的模型类别,允许ML推理直接在毫瓦供电的物联网设备上运行。一方面,现有的ML到FPGA编译器是为大型FPGA上的深度神经网络而设计的。另一方面,通用HLS工具无法利用ML推理的特定属性,从而导致次优性能。我们提出了MAFIA,这是一种在小型FPGA上编译ML推理的工具,用于物联网应用。MAFIA为线性代数运算提供原生支持,并可以表达各种ML算法,包括最先进的模型。我们表明,MAFIA生成的程序优于最佳性能的商业HLS编译器的变种平均2.5倍。
2021-07-08 cs.AR cs.DC cs.LG