Static Batching of Irregular Workloads on GPUs: Framework and Application to Efficient MoE Model Inference
Alibaba Group(阿里巴巴集团)
针对GPU上不规则工作负载难以安排和执行的问题,提出将其静态批处理为单kernel的通用框架,并应用于MoE模型推理,实现的CUDA kernel在H800和H20 GPU上分别达到91%和95%的峰值Tensor Core吞吐量。
2025-01-27 cs.DC cs.LG
CoX-MoE: Coalesced Expert Execution for High-Throughput MoE Inference with AMX-Enabled CPU-GPU Co-Execution
KAIST(韩国科学技术院)
本文提出CoX-MoE,一种通过AMX启用的CPU-GPU协同系统,通过协同专家执行和战略工作负载编排优化MoE推理,提升吞吐量。CoX-MoE引入了coalescing-aware orchestration策略和静态专家-aware分层方案,分别优化资源分配和减少PCIe传输开销,从而在吞吐量上比现有框架提升7.1倍和2.4倍。
2026-05-19 cs.LG
Fiddler: CPU-GPU Orchestration for Fast Inference of Mixture-of-Experts Models
University of Washington(华盛顿大学);Tsinghua University(清华大学)
本文提出Fiddler,一个在GPU资源受限环境下的MoE模型高效推理系统,通过策略性调度CPU和GPU确定最优执行策略,在单批次推理、长预填充和束搜索等所有场景下均优于现有系统。
2025-05-01 cs.AI cs.DC cs.LG
Democratizing MoE inference on commodity GPUs with CoMoE
Tsinghua University(清华大学);Alibaba Cloud Computing(阿里云计算)
CoMoE通过以主机为中心的路由,在消费级GPU上实现通信高效的MoE推理,减少通信量并消除同步停顿,吞吐量提升1.46倍,成本仅为NVLink方案的23.4%。
2026-10-20 cs.DC cs.LG
Stanza: A Nonlinear State Space Model for Probabilistic Inference in Non-Stationary Time Series
Duke University(杜克大学)
具有长期结构的时间序列出现在各种背景下,捕获这种时间结构是时间序列分析中的关键挑战,用于推断和预测设置。传统上,状态空间模型已经成功地提供了潜在空间中的轨迹的不确定性估计。最近,深度学习,基于注意力的方法已经实现了序列建模的最新性能,尽管通常需要大量的数据和参数来实现。我们提出了一种非线性、非平稳状态空间模型Stanza,作为一种中间方法,以填补复杂时间序列的传统模型和现代深度学习方法之间的差距。Stanza在高度结构化的时间序列的竞争性预测准确性和概率性、可解释性推理之间取得了平衡。特别是,Stanza在现实世界的数据集上实现了与深度LSTM竞争的预测准确性,特别是对于多步预测。
2020-06-11 cs.LG stat.ML
Patterns behind Chaos: Forecasting Data Movement for Efficient Large-Scale MoE LLM Inference
Indiana University Bloomington(印第安纳大学布卢明顿分校);Columbia University(哥伦比亚大学);NVIDIA
研究通过分析大规模MoE模型的数据移动模式,提出优化方法,提升大规模LLM推理效率,实现6.6倍平均加速和1.25倍速度提升。
2026-05-12 cs.AI cs.AR cs.DC
Context-Aware Mixture-of-Experts Inference on CXL-Enabled GPU-NDP Systems
Rensselaer Polytechnic Institute(罗切斯特理工学院);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);IBM Research Europe(IBM欧洲研究院);IBM T. J. Watson Research Center(IBM托马斯·贾诺斯·沃森研究中心)
本文提出一种基于上下文的混合专家推理系统,利用CXL-NDP减少内存传输成本,提升解码吞吐量8.7倍,精度仅下降0.13%。
2025-12-04 cs.AR cs.LG
MoE-Gen: High-Throughput MoE Inference on a Single GPU with Module-Based Batching
The University of Edinburgh(爱丁堡大学);EPCC, The University of Edinburgh(爱丁堡大学EPCC)
提出单 GPU 高吞吐 MoE 推理系统 MoE-Gen,通过基于模块的批处理及模块级批大小优化重叠计算与通信,显著超越 FlexGen、DeepSpeed、vLLM 等系统。
2025-03-12 cs.DC cs.LG
Automated Tensor Scheduling for Hybrid CPU-GPU LLM Inference on Consumer Devices
School of Computer Science, Nanjing University(南京大学计算机科学学院)
研究在消费级设备运行大语言模型时因模型权重超GPU内存需卸载推理的问题,提出ATSInfer系统,通过结合静态张量放置与负载感知动态传输及异步协调,在代表性平台评估,相比现有系统显著提升吞吐量、利用率等,改善本地大语言模型部署体验。
2026-07-15 cs.AI cs.DC cs.LG
RAIN: Reinforced Hybrid Attention Inference Network for Motion Forecasting
Honda Research Institute USA(美国本田研究院);University of California, Berkeley(加州大学伯克利分校);Carnegie Mellon University(卡内基梅隆大学)
运动预测在各种领域(例如,自动驾驶、人机交互),其目的是在给定一组历史观察的情况下预测未来的运动序列。然而,观察到的要素可能具有不同的重要性水平。在某些情况下,一些信息可能与预测无关,甚至会分散预测的注意力。为了解决这个问题,我们提出了一个通用的运动预测框架(命名为RAIN)与动态的关键信息选择和排名的基础上的混合注意力机制。一般框架实例化处理多智能体轨迹预测和人体运动预测任务,分别。在前一个任务中,模型学习用图形表示来识别代理之间的关系,并确定它们的相对重要性。在后一项任务中,模型学习捕获长期人类运动中的时间接近性和依赖性。我们还提出了一种有效的双阶段训练管道,并采用交替训练策略来优化框架不同模块中的参数。我们在不同领域的合成模拟和运动预测基准上验证了该框架,证明了我们的方法不仅实现了最先进的预测性能,而且提供了可解释的和合理的混合注意力权重。
2021-08-03 cs.AI cs.CV cs.LG
DAOP: Data-Aware Offloading and Predictive Pre-Calculation for Efficient MoE Inference
School of Computing, National University of Singapore(计算学院,新加坡国立大学)
本文针对MoE模型在内存受限设备部署中因GPU内存有限导致的频繁数据传输抵消速度优势的问题,提出DAOP推理引擎,通过动态分配专家、选择性预计算等优化,性能优于传统方法且保持精度。
2026-08-24 cs.DC cs.LG
MoE-Lightning: High-Throughput MoE Inference on Memory-constrained GPUs
UC Berkeley(加州大学伯克利分校);Stanford(斯坦福大学)
本文提出高吞吐量 MoE 批量推理系统 MoE-Lightning,通过 CGOPipe 流水线调度、分页权重和分层 Roofline 性能模型,在内存受限的低成本 GPU 上显著提升 Mixtral 等大模型推理吞吐量。
2024-11-18 cs.AI cs.DC cs.LG
Fast ES-RNN: A GPU Implementation of the ES-RNN Algorithm
Carnegie Mellon University(卡内基梅隆大学)
由于其普遍性,时间序列预测在多个领域中至关重要。我们力求使国家的最先进的预测快速,可访问和推广。ES-RNN是经典状态空间预测模型和现代RNN的混合,在M4竞赛中实现了9.4%的sMAPE改进。至关重要的是,ES-RNN的实现需要每个时间序列的参数。通过对原始实现进行矢量化并将算法移植到GPU上,我们根据批量大小实现了高达322倍的训练加速,结果与原始提交中报告的结果相似。我们的代码可以在https://github.com/damitkwr/ESRNN-GPU上找到
2019-07-07 cs.LG stat.ML
Queueing Analysis of GPU-Based Inference Servers with Dynamic Batching: A Closed-Form Characterization
Osaka University(大阪大学)
GPU加速计算是利用深度神经网络(DNN)实现高速推理服务器的关键技术。基于GPU的推理的一个重要特征是,在处理速度和能耗方面,通过批量处理多个作业,计算效率大幅提高。在本文中,我们制定了基于GPU的推理服务器作为一个批处理模型的批量大小依赖的处理时间。我们首先表明,服务器的能源效率随着推理作业的到达率单调增加,这表明在推理作业的延迟要求内尽可能高的利用率水平下操作推理服务器是节能的。然后,我们推导出一个封闭形式的平均延迟,这提供了一个简单的表征的延迟性能的上限。通过模拟和数值实验,我们表明,平均延迟的精确值很好地近似于这个上限。我们进一步比较了这个上限与延迟曲线的实际实现的基于GPU的推理服务器,我们表明,真正的性能曲线很好地解释了派生的简单公式。
2021-01-12 cs.LG cs.PF
MIGPerf: A Comprehensive Benchmark for Deep Learning Training and Inference Workloads on Multi-Instance GPUs
Alibaba Group(阿里巴巴集团);Institute for Infocomm Research, A*STAR(新加坡科技研究局资讯通信研究院);Wuhan University(武汉大学);NVIDIA AI Tech Center(英伟达人工智能技术中心);Nanyang Technological University(南洋理工大学);National University of Singapore(新加坡国立大学)
像A100这样的新架构GPU现在配备了多实例GPU(GPU)技术,该技术允许将GPU划分为多个小型的独立实例。这项技术为用户提供了更大的灵活性,以支持深度学习训练和推理工作负载,但有效地利用它仍然具有挑战性。本文的目标是为XML提供一个更全面和实用的基准测试研究,以消除繁琐的手动基准测试和调优工作的需要。为了实现这一愿景,本文介绍了MIGPerf,一个开源工具,简化了基准测试研究。使用MIGPerf,作者进行了一系列实验,包括深度学习训练和推理表征,GPU共享表征,以及框架与GPU的兼容性。这些实验的结果为用户有效地使用多媒体数据库提供了新的见解和指导,并为进一步研究混合训练和推理工作负载在MIG上的编排奠定了基础。代码和结果发布在https://github.com/MLSysOps/MIGProfiler上。这项工作仍在进行中,不久将公布更多结果。
2023-01-01 cs.LG cs.PF
Forecasting LLM Inference Performance via Hardware-Agnostic Analytical Modeling
Advanced Micro Devices (AMD)(先进微器件(AMD))
本文提出硬件无关的分析框架LIFE,通过模块化操作符模型仅用硬件规格预测LLM推理性能,并在多种CPU、NPU和GPU上验证其有效性。
2025-07-29 cs.AI cs.AR cs.LG
Democracy of AI Numerical Weather Models: An Example of Global Forecasting with FourCastNetv2 Made by a University Research Lab Using GPU
Department of Mathematics and Statistics, San Diego State University, San Diego, CA 92182, USA(圣地亚哥州立大学数学与统计学系);Research & Cyberinfrastructure Division, San Diego State University, San Diego, CA 92182, USA(圣地亚哥州立大学研究与信息基础设施 division);NVIDIA Corporation, Santa Clara, CA 95051, USA(英伟达公司)
本文探讨了大学研究团队利用GPU和免费AI模型(如FourCastNetv2)普及AI全球天气预报的可行性,展示了API预测与模型训练实践,并分析了资源受限下的优势与挑战,为相关科研与教育提供指南。
2025-08-12 cs.AI cs.LG physics.ao-ph
DeepSpeed Inference: Enabling Efficient Inference of Transformer Models at Unprecedented Scale
Microsoft Corporation(微软公司)
在过去的几年里,基于transformer的模型取得了成功,其规模和应用场景继续积极增长。当前Transformer模型的格局越来越多样化:模型大小变化很大,最大的有千亿个参数;由于专家混合引入的稀疏性,模型特征不同;目标应用场景可以是延迟关键的或面向吞吐量的;部署硬件可以是具有不同类型的存储器和存储装置等的单GPU或多GPU系统。随着Transformer模型的这种增加的多样性和快速发展的步伐,设计高性能和高效的推理系统是极具挑战性的。在本文中,我们提出了DeepSpeed Inference,这是一种用于Transformer模型推理的综合系统解决方案,可解决上述挑战。DeepSpeed Inference包括(1)多GPU推理解决方案,可在密集和稀疏Transformer模型适合聚合GPU内存时,最大限度地减少延迟,同时最大限度地提高吞吐量;(2)异构推理解决方案,除GPU内存和计算外,还利用CPU和NVMe内存,对不适合聚合GPU内存的大型模型实现高推理吞吐量。DeepSpeed Inference在面向延迟的场景中将延迟降低了高达7.3倍,在面向吞吐量的场景中将吞吐量提高了1.5倍以上。此外,它通过利用数百个GPU,在实时延迟约束下实现了万亿参数规模的推理,这是前所未有的推理规模。它可以推理比仅GPU解决方案大25倍的模型,同时提供84 TFLOPS的高吞吐量(超过A60…
2022-06-30 cs.DC cs.LG cs.PF
Multivariate Time Series Forecasting with Latent Graph Inference
University of Amsterdam(阿姆斯特丹大学);Amazon(亚马逊);Zalando(Zalando(扎兰多))
本文介绍了一种新的多变量时间序列预测方法,联合推断和利用时间序列之间的关系。它的模块化使其能够与当前的单变量方法集成。我们的方法允许权衡的准确性和计算效率逐渐通过提供一个极端的推断的一个潜在的全连通图或另一个极端的二分图。在潜在的全连接的情况下,我们考虑时间序列之间的所有成对相互作用,从而获得最佳的预测精度。相反,二分情况通过我们引入的一小组K个辅助节点来相互通信N个时间序列,从而利用依赖结构。这减少了时间和存储器复杂度w.r.t.时间复杂度为O(N^2),时间复杂度为O(NK)。我们证明了我们的模型在各种数据集中的有效性,其中它的两个变体在预测准确性和时间效率方面表现得更好或非常有竞争力。
2022-03-07 cs.LG
Harvest: Opportunistic Peer-to-Peer GPU Caching for LLM Inference
Columbia University(哥伦比亚大学)
Harvest通过利用点对点GPU互连技术,动态管理GPU内存,减少数据移动开销,显著提升LLM推理的吞吐量。
2026-01-30 cs.LG
HG-Caffe: Mobile and Embedded Neural Network GPU (OpenCL) Inference Engine with FP16 Supporting
The University of Hong Kong(香港大学)
深度学习和移动系统芯片领域的突破性进展正在从根本上改变我们使用智能手机的方式。然而,由于移动CPU的计算开销和电池的严重消耗,深度神经网络推理对于边缘AI设备来说仍然是一项具有挑战性的任务。在本文中,我们提出了一个名为HG-Caffe的深度神经网络推理引擎,它支持半精度的GPU。与原始实现相比,HG-Caffe通过GPU提供了高达20倍的加速。除了加速之外,峰值内存使用率也降低到约80%。有了HG-Caffe,更多创新和迷人的移动应用程序将成为现实。
2019-01-03 cs.LG
A Study of Joint Graph Inference and Forecasting
Technical University of Munich(慕尼黑工业大学);AWS AI Labs, Amazon Web Services(亚马逊云服务AWS人工智能实验室);University of Amsterdam(阿姆斯特丹大学)
我们研究了最近的一类模型,它使用图神经网络(GNNs),以提高多变量时间序列的预测。这些模型背后的核心假设是,时间序列(节点)之间存在一个潜图,它控制着多变量时间序列的演变。通过以可微的方式对图进行参数化,这些模型旨在提高预测质量。我们比较了四个最近的模型,这一类的预测任务。此外,我们进行消融以研究它们在变化条件下的行为,例如,当禁用图形学习模块并代之以提供地面实况关系时。根据我们的研究结果,我们提出了新的方式结合现有的架构。
2021-09-10 cs.LG
Characterizing LLM Inference Energy-Performance Tradeoffs across Workloads and GPU Scaling
Multiscale Networked Systems Group University of Amsterdam, Netherlands(多尺度网络化系统组 阿姆斯特丹大学,荷兰)
本文研究了LLM推理在不同工作负载和GPU扩展下的能效权衡,发现解码阶段主导推理时间且对GPU频率不敏感,通过降低频率可实现显著能耗节省,同时提出结合工作负载感知模型选择与阶段感知DVFS的节能策略。
2026-02-24 cs.LG
The OoO VLIW JIT Compiler for GPU Inference
UC Berkeley(加州大学伯克利分校);MIT(麻省理工学院)
硬件加速设备上的机器学习~(ML)推理的当前趋势(例如,GPU、TPU)的利用率低得惊人。由于ML推理越来越受到紧延迟SLO的时间限制,因此增加数据并行不是一种选择。对更高效率的需求促使GPU多路复用。此外,现有的GPU编程抽象迫使程序员以早期绑定、上下文无关的方式微观管理GPU资源。我们提出了一个VLIW启发的无序(OOO)即时(JIT)编译器,合并和重新排序执行内核在运行时的吞吐量最佳的设备利用率,同时满足延迟SLO。我们量化了仅空间和仅时间复用替代方案的效率低下,并通过空间合并展示了可实现的7.7倍机会差距。
2019-01-31 cs.DC cs.LG
SpecOffload: Unlocking Latent GPU Capacity for LLM Inference on Resource-Constrained Devices
Tsinghua University(清华大学);Beijing Jiaotong University(北京交通大学);Beijing University of Posts and Telecommunications(北京邮电大学)
针对资源受限设备上LLM推理因权重卸载导致GPU利用率低的问题,提出嵌入投机解码的SpecOffload推理引擎,通过编排模型交错执行、规划张量放置,以近零额外成本大幅提升GPU利用率与推理吞吐量。
2025-05-21 cs.LG
PARIS and ELSA: An Elastic Scheduling Algorithm for Reconfigurable Multi-GPU Inference Servers
KAIST(韩国科学技术院)
在云机器学习(ML)推理系统中,为最终用户提供低延迟至关重要。然而,最大限度地提高服务器利用率和系统吞吐量对于ML服务提供商来说也是至关重要的,因为它有助于降低总拥有成本。GPU经常因ML推理的使用而受到批评,因为其庞大的计算和内存吞吐量在低批量推理场景下难以充分利用。为了解决这种限制,NVIDIA最近发布的Ampere GPU架构提供了将一个大型单片GPU“重新配置”为多个较小的“GPU分区”的功能。这一特性为云机器学习服务提供商提供了利用可重配置GPU的能力,不仅可以进行大批量训练,还可以进行小批量推理,从而实现高资源利用率。在本文中,我们研究了这种新兴的GPU架构与可重构性,以开发一个高性能的多GPU ML推理服务器。我们的第一个命题是一个复杂的可重构GPU的分区算法,系统地确定一组异构的多粒度GPU分区,最适合推理服务器的部署。此外,我们共同设计了一个弹性调度算法,为我们的异构分区GPU服务器,有效地平衡低延迟和高GPU利用率。
2022-02-27 cs.AI cs.AR cs.DC
Meta-Learning Dynamics Forecasting Using Task Inference
UC San Diego(加州大学圣地亚哥分校);Northeastern University(东北大学)
当前用于动态预测的深度学习模型难以泛化。它们只能在特定的领域进行预测,当应用于具有不同参数、外力或边界条件的系统时,它们会失败。我们提出了一种基于模型的元学习方法称为DyAd,它可以通过将它们划分为不同的任务来概括异构域。DyAd有两个部分:一个编码器,它推断出具有弱监督的任务的时不变隐藏特征,以及一个预测器,它学习整个域的共享动态。编码器在推理期间使用自适应实例归一化和自适应填充来适应和控制预测器。从理论上证明了该方法的泛化误差与源域中任务的相关性以及源域和目标域之间的差异有关。在实验中,我们证明了我们的模型在湍流和现实世界的海洋数据预测任务上都优于最先进的方法。
2022-10-11 cs.LG
DriftSched: Adaptive QoS-Aware Scheduling under Runtime Token Drift for Multi-Tenant GPU Inference
University of California, Berkeley(加州大学伯克利分校)
提出DriftSched框架,通过运行时反馈驱动的漂移补偿和自适应偏差校正,解决多租户LLM推理中令牌漂移导致的调度问题,在NVIDIA L4 GPU上实现平均38.8%的估计误差降低和42%的中位延迟改善。
2026-06-23 cs.DC cs.LG cs.PF
A Study of Skews, Imbalances, and Pathological Conditions in LLM Inference Deployment on GPU Clusters detectable from DPU
Kent State University(肯特州立大学)
本文研究GPU集群上LLM推理部署中的负载偏斜与失衡问题,探讨利用BlueField-3 DPU卸载监控任务、分析GPU遥测与节点间通信以实时检测和缓解多节点张量并行推理中的病态状况。
2025-09-09 cs.LG
NEO: Saving GPU Memory Crisis with CPU Offloading for Online LLM Inference
Peking University(北京大学);UC Berkeley(加州大学伯克利分校);UC Davis(加州大学戴维斯分校);Harvard University(哈佛大学)
针对在线LLM推理中GPU内存不足限制批大小与吞吐量的问题,提出NEO系统通过CPU卸载部分注意力计算与KV缓存,结合非对称流水线与负载感知调度,在多场景下显著提升推理吞吐量。
2024-11-02 cs.AI cs.DC cs.LG
Privacy Risks in Time Series Forecasting: User- and Record-Level Membership Inference
Chalmers University of Technology(查尔姆斯理工大学);AI Sweden(瑞典人工智能)
本文提出两种针对时间序列预测的成员推断攻击方法,揭示预测模型在用户级攻击下的高脆弱性,并建立新的隐私风险评估基准。
2026-02-12 cs.LG
Accelerating Mobile Inference through Fine-Grained CPU-GPU Co-Execution
University of Southern California(南加州大学)
本文提出利用细粒度CPU-GPU协同执行机制,通过轻量级同步机制和机器学习模型提升移动设备推理速度,实现线性层和卷积层的加速效果
2026-02-18 cs.DC cs.LG cs.PF
An Efficient Hybrid Sparse Attention with CPU-GPU Parallelism for Long-Context Inference
Beijing University of Technology(北京理工大学);Microsoft Research(微软研究院);Beijing Jiaotong University(北京交通大学)
本文提出Fluxion,通过输出感知的KV预算分配、头特定的稀疏配置和跨设备协调执行,提升长上下文推断的效率与准确性,实测在多种任务中取得显著加速效果。
2026-05-08 cs.AI cs.LG cs.PF
Forecasting at Full Spectrum: Holistic Multi-Granular Traffic Modeling under High-Throughput Inference Regimes
School of Computing, Korea Advanced Institute of Science and Technology (KAIST)(计算学院,韩国科学技术院)
针对现有GCN无法充分融合多粒度特征且推理慢的问题,提出雾分布式推理系统MultiGran-STGCNFog及调度算法GA-DPHDS,实现高效多粒度时空特征融合并显著提升推理吞吐量。
2025-08-09 cs.LG
Private LLM Inference on Consumer Blackwell GPUs: A Practical Guide for Cost-Effective Local Deployment in SMEs
IE Business University(IE商学院)
本文评估了消费级Blackwell GPU在LLM推理中的性能,证明其在多数中小企业工作负载中可替代云服务,但长上下文RAG任务仍需高端GPU。
2026-01-14 cs.AI cs.LG cs.PF
FlexGen: High-Throughput Generative Inference of Large Language Models with a Single GPU
Stanford University(斯坦福大学);UC Berkeley(加州大学伯克利分校);ETH Zurich(苏黎世联邦理工学院);Yandex(扬德克斯);HSE University(高等经济大学);Meta;Carnegie Mellon University(卡内基梅隆大学)
针对单GPU等有限资源下的大语言模型高吞吐推理需求,提出FlexGen引擎,通过跨硬件资源调度、线性规划优化张量访问及4比特压缩,在16GB GPU上运行OPT-175B时吞吐显著优于现有系统,还可高效完成HELM基准测试。
2023-06-12 cs.AI cs.LG cs.PF
Minions: A Dynamic and Distributed Virtual GPU Cloud Built on Idle Apple Silicon Devices
Apple(苹果公司)
该研究提出Minions,一种聚合闲置苹果硅GPU的分布式虚拟GPU云,用于执行大规模机器学习推理,可利用现有硬件,无需额外采购GPU,为资源受限环境提供实用分布式GPU推理平台。
2026-10-12 cs.DC cs.LG
KVPR: Efficient LLM Inference with I/O-Aware KV Cache Partial Recomputation
University of Southern California(南加州大学)
KVPR提出一种I/O感知的LLM推理方法,通过CPU传输部分激活值使GPU重计算KV缓存并与剩余缓存传输重叠,实现解码延迟降低35.8%、吞吐量提升46.2%。
2025-06-04 cs.DC cs.LG cs.PF
At-Scale Sparse Deep Neural Network Inference with Efficient GPU Implementation
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);NVIDIA(英伟达);IBM Research(IBM研究院)
本文介绍了2020年稀疏深度神经网络挑战赛推理模型的GPU性能优化和缩放结果。对网络质量的需求迅速增长,推动了许多神经网络的规模和内存需求,超出了可用加速器的能力。稀疏深度神经网络(SpDNN)已经显示出控制大型神经网络内存占用的前景。然而,在GPU上实现SpDNN操作还有改进的空间。这项工作提出了与ReLU函数融合的优化稀疏矩阵乘法内核。优化的内核重用来自共享存储器的输入特征图和来自寄存器的稀疏权重。对于多GPU并行性,我们的SpDNN实现复制权重并在GPU上静态划分特征图。挑战基准测试的结果表明,所提出的内核设计和多GPU并行化实现了高达每秒180 tera-edges的推理吞吐量。这些结果对于单个GPU来说最多快4.3倍,在满量程下比同一代NVIDIA V100 GPU的2019年稀疏深度神经网络图形挑战赛冠军快一个数量级。使用相同的实现,我们还显示NVIDIA A100上的单GPU吞吐量比V100快2.37 $\times$。
2020-09-02 cs.DC cs.LG
Semantically-Guided Inference for Conditional Diffusion Models: Enhancing Covariate Consistency in Time Series Forecasting
针对条件扩散模型在时间序列预测中协变量不一致的问题,提出即插即用的推理时方法SemGuide,通过评分网络和重要性重加权增强语义对齐,提升预测准确性与协变量一致性。
2025-08-03 cs.AI cs.LG
Deconfounded Time Series Forecasting: A Causal Inference Approach
本文提出一种融合潜在混杂因素的时间序列预测方法,通过引入历史数据中的混杂因素表示,提升预测准确性和鲁棒性,在气候科学数据中验证了其有效性。
2026-03-16 cs.AI cs.LG
Chronax: A Jax Library for Forecasting and Conformal Inference
Simulacrum New York City, NY, USA(Simulacrum 纽约市纽约州)
Chronax利用JAX的函数式纯度和可组合转换,实现可扩展的多系列预测和模型无关的符合不确定性量化,提升预测系统的效率和可整合性。
2026-10-06 cs.LG
Bridging the Gap Between Training and Inference for Spatio-Temporal Forecasting
James Cook University(詹姆斯库克大学);College of Science and Engineering(科学与工程学院)
时空序列预测是时空数据采掘的基本任务之一。它促进了许多现实世界的应用,如降水临近预报,全市人群流量预测和空气污染预报。最近,已经提出了一些基于Seq2Seq的方法,但是Seq2Seq模型的缺点之一是,由于训练和推理阶段的不同分布,在推理阶段,小的错误可以沿着生成的序列快速积累。这是因为Seq2Seq模型仅在训练期间最小化单步的错误,然而整个序列必须在推理阶段生成,这会在训练和推理之间产生差异。在这项工作中,我们提出了一种新的课程学习为基础的策略命名为时间渐进增长采样,有效地弥合训练和时空序列预测的推理之间的差距,通过将训练过程从一个完全监督的方式,利用所有可用的以前的地面实况值,以较少的监督方式,取代一些地面实况上下文与生成的预测。为了做到这一点,我们通过精心设计的衰减策略,从用更大时间尺度训练的中间模型的中间输出中采样目标序列。实验结果表明,我们提出的方法更好地模型的长期依赖性和两个竞争性数据集上的基线方法。
2020-05-19 cs.AI cs.LG stat.ML
PREBA: A Hardware/Software Co-Design for Multi-Instance GPU based AI Inference Servers
KAIST(韩国科学技术院);Google(谷歌公司)
针对NVIDIA多实例GPU(MIG)在AI推理服务器中因数据预处理导致的性能瓶颈,提出软硬件协同设计PREBA,通过FPGA加速器和动态批处理系统,实现吞吐量、能效等关键指标的显著提升。
2024-11-28 cs.AI cs.AR cs.DC
Scaling On-Device GPU Inference for Large Generative Models
Google LLC(谷歌有限公司);Meta Platforms, Inc(Meta平台公司)
为满足隐私和效率需求,提出优化框架 ML Drift,通过解决跨 GPU API 开发挑战,在资源受限设备上实现了比现有模型大 10-100 倍参数的生成式 AI 工作负载,性能较现有开源引擎提升一个数量级。
2025-05-01 cs.AI cs.LG
GPyTorch: Blackbox Matrix-Matrix Gaussian Process Inference with GPU Acceleration
Cornell University(康奈尔大学)
尽管可扩展模型取得了进展,但用于高斯过程(GP)的推理工具尚未充分利用计算硬件的发展。提出了一种基于黑盒矩阵-矩阵乘法(BBMM)的GP推理方法。BBMM推理使用共轭梯度算法的修改后的批处理版本,在单个调用中导出用于训练和推理的所有项。BBMM将精确GP推断的渐近复杂度从$O(n^3)$降低到$O(n^2)$。使该算法适用于可扩展的近似和复杂的GP模型只需要一个例程,用于与内核及其导数进行有效的矩阵-矩阵乘法。此外,BBMM使用专门的预处理器来大大加快收敛速度。在实验中,我们表明,BBMM有效地使用GPU硬件显着加速精确的GP推理和可扩展的近似。此外,我们还提供GPyTorch,这是一个基于PyTorch构建的软件平台,用于通过BBMM进行可扩展的GP推理。
2021-06-29 cs.LG stat.ML
Escoin: Efficient Sparse Convolutional Neural Network Inference on GPUs
University of Texas at Austin(德克萨斯大学奥斯汀分校)
深度神经网络在许多人工智能应用(例如计算机视觉)中已经实现了显著的准确性,但代价是大量参数和高计算复杂性。权值修剪可以通过去除网络中的冗余参数来压缩DNN模型,但它会带来权值矩阵的稀疏性,从而使GPU上的计算效率低下。虽然修剪可以去除80%以上的权重,但在GPU上运行模型时,它实际上会损害推理性能(速度)。两个主要问题导致GPU上的性能不令人满意。首先,降低矩阵乘法上的卷积减少了数据重用机会并浪费了内存带宽。其次,修剪带来的稀疏性使得计算不规则,这导致在大规模并行GPU上运行时效率低下。为了克服这两个限制,我们提出了Escort,一个有效的稀疏卷积神经网络的GPU。我们选择直接计算稀疏卷积,而不是使用降低方法。然后,我们为直接稀疏卷积内核编排并行性和局部性,并应用定制的优化技术来进一步提高性能。在NVIDIA GPU上的测试表明,与CUBLAS和SPARSE相比,Escort可以分别将稀疏卷积速度提高2.63倍和3.07倍,推理速度提高1.43倍和1.69倍。
2019-04-03 cs.CV cs.DC cs.LG
AGFT: An Adaptive GPU Frequency Tuner for Real-Time LLM Inference Optimization
The Hong Kong University of Science(香港科技大学)
针对LLM实时推理中GPU能耗高且动态波动的问题,提出基于在线强化学习的自适应频率调谐框架AGFT,通过细粒度频率控制与动作空间剪枝,在延迟开销低于10%下节省44.3%能耗,EDP优化达40.3%。
2025-08-03 cs.LG
FISformer: Replacing Self-Attention with a Fuzzy Inference System in Transformer Models for Time Series Forecasting
Computer Engineering Department, Gaziantep University(加扎莱普大学计算机工程系)
FISFormer通过模糊推理机制替代传统注意力机制,提升时间序列预测中对不确定性和非线性依赖的建模能力,实验显示其在准确性、鲁棒性和可解释性上优于现有Transformer变体。
2026-03-23 cs.AI cs.LG
Mind the Memory Gap: Unveiling GPU Bottlenecks in Large-Batch LLM Inference
Barcelona Supercomputing Center(巴塞罗那超级计算中心);Universitat Politècnica de Catalunya - BarcelonaTech (UPC)(巴塞罗那技术大学 - 巴塞罗那技术学院);IBM Research(IBM研究院)
本文揭示大批量LLM推理仍受限于DRAM带宽饱和而非计算能力,提出批处理配置顾问(BCA)优化内存分配,并利用模型复制提升吞吐量与GPU利用率。
2025-07-11 cs.DC cs.LG
Blink: CPU-Free LLM Inference by Delegating the Serving Stack to GPU and SmartNIC
KTH Royal Institute of Technology(瑞典皇家理工学院)
Blink通过将服务栈责任转移至GPU和智能网卡,消除主机CPU在推理路径中的作用,从而提升LLM推理性能,减少延迟并提高吞吐量。
2026-04-08 cs.DC cs.LG cs.OS
On-Device Neural Net Inference with Mobile GPUs
Google Research(谷歌研究院)
移动电话的机器学习模型的设备上推断由于其较低的延迟和增加的隐私性而被期望。然而,由于有限的计算能力、热约束和能耗,仅在移动CPU上运行这样的计算密集型任务可能是困难的。应用程序开发人员和研究人员已经开始利用硬件加速器来克服这些挑战。最近,设备制造商正在将神经处理单元添加到高端手机中,用于设备上的推理,但这些仅占手持设备的一小部分。在本文中,我们介绍了如何利用移动GPU(几乎每部手机上无处不在的硬件加速器)为Android和iOS设备实时运行深度神经网络的推理。通过描述我们的架构,我们还讨论了如何设计移动GPU友好的网络。我们最先进的移动GPU推理引擎已集成到开源项目TensorFlow Lite中,并可在https://tensorflow.org/lite上公开获取。
2019-07-03 cs.CV cs.DC cs.LG
SparseRT: Accelerating Unstructured Sparsity on GPUs for Deep Learning Inference
Massachusetts Institute of Technology(麻省理工学院)
近年来,在深度神经网络修剪和压缩方面有一系列的研究。早期的方法单独修剪权重。然而,在现代硬件(如GPU)上很难利用由此产生的非结构化稀疏模式。因此,在权重中施加稀疏结构的修剪策略变得更加流行。然而,这些结构化修剪方法通常导致比非结构化修剪更高的准确性损失。在本文中,我们介绍了SparseRT,这是一个代码生成器,它利用非结构化稀疏性来加速GPU上深度学习推理中的稀疏线性代数运算。对于1x 1卷积和全连接层,当在深度学习中对数百个测试用例进行评估时,我们证明了在90%稀疏度下等效密集计算的加速比为3.4倍,在95%稀疏度下为5.4倍的几何平均值。对于稀疏3x 3卷积,我们在ResNet-50中的用例中显示了超过5倍的加速。
2020-08-26 cs.LG stat.ML
DVFS-Aware DNN Inference on GPUs: Latency Modeling and Performance Analysis
Beijing National Research Center for Information Science and Technology(北京信息科学国家研究中心);Department of Electronic Engineering, Tsinghua University(清华大学电子工程系)
针对GPU上DNN推理,提出DVFS感知延迟模型,精确刻画推理时间,较CPU-DVFS模型显著降低推理延迟与能耗。
2025-06-20 cs.LG cs.NI