GPU-Enabled Large-Scale Optimization Using Randomized Linear Algebra
Stanford University(斯坦福大学)
本文提出 rlaopt,一个基于 PyTorch 的 GPU 加速优化包,利用随机线性代数加速共轭梯度、算子分裂和随机梯度方法,支持自然语法建模和微分,实验显示显著加速。
2026-09-09 cs.LG math.OC stat.ML
Out-of-Core GPU Gradient Boosting
NVIDIA(英伟达)
基于GPU的算法大大加速了许多机器学习方法;然而,GPU内存通常小于主内存,限制了训练数据的大小。在本文中,我们描述了一个在XGBoost库中实现的核外GPU梯度提升算法。我们证明了更大的数据集可以适合给定的GPU,而不会降低模型的准确性或训练时间。据我们所知,这是梯度提升的第一个核外GPU实现。类似的方法可以应用于其他机器学习算法
2020-05-19 cs.DC cs.LG stat.ML
GPU Accelerated Exhaustive Search for Optimal Ensemble of Black-Box Optimization Algorithms
Nvidia(英伟达);RAPIDS
黑盒优化对于调整复杂的机器学习算法至关重要,这些算法更容易实验而不是理解。在本文中,我们表明,一个简单的集成的黑盒优化算法可以优于任何一个。然而,寻找这样的最佳合奏需要大量的实验。我们提出了一个多GPU优化的框架,通过并行运行许多实验来加速暴力搜索黑盒优化算法的最佳集成。轻量级优化由CPU执行,而昂贵的模型训练和评估则分配给GPU。我们通过训练270万个模型和运行541,440次优化来评估15个优化器。在DGX-1上,搜索时间从两个20核CPU上的10多天减少到8核GPU上的不到24小时。通过GPU加速的穷举搜索找到的最佳集成,我们赢得了NeurIPS 2020黑盒优化挑战赛的第二名。
2021-08-02 cs.LG
Serving DNN Models with Multi-Instance GPUs: A Case of the Reconfigurable Machine Scheduling Problem
ByteDance Inc.(字节跳动公司);Northeastern University(东北大学);New York University(纽约大学)
多实例GPU(Multi-Instance GPU,简称GPU)是NVIDIA A100 GPU推出的一项新功能,可将一个物理GPU划分为多个GPU实例。借助GPU,A100可以成为服务于深度神经网络(DNN)的最具成本效益的GPU。然而,发现最有效的GPU分区是具有挑战性的。底层问题是NP难的,而且,它是一个新的抽象问题,我们定义为可重构机器调度问题(RMS)。本文研究了使用RMS的一个新案例-服务DNN。我们进一步提出了一个解决方案,MIG服务。分布式服务是一个算法管道,融合了各种新设计的算法和定制的经典算法,包括启发式贪心算法,遗传算法(GA)和蒙特卡罗树搜索算法(MCTS)。我们在Kubernetes上实现了MIG服务。我们的实验表明,与使用A100相比,MIG服务可以节省高达40%的GPU,同时提供相同的吞吐量。
2021-09-18 cs.DC cs.LG
A Reduction of the Elastic Net to Support Vector Machines with an Application to GPU Computing
Tsinghua University(清华大学);Washington University in St. Louis(圣路易斯华盛顿大学)
在过去的几年里,我们见证了许多专门的开源项目,这些项目构建和维护支持向量机(SVM)的实现,并为GPU,多核CPU和分布式系统并行化。到目前为止,还没有类似的努力来并行化弹性网,尽管它在许多高影响力的应用中很受欢迎,包括遗传学,神经科学和系统生物学。本文的第一个贡献是理论性的。我们在两个看似不同的算法之间建立了紧密的联系,并证明了弹性网回归可以简化为具有平方铰链损失分类的SVM。我们的第二个贡献是基于此减少推导出一个实用的算法。减少使我们能够利用先前的努力,在加速和并行支持向量机,以获得一个高度优化和并行求解器的弹性网和拉索。通过一个简单的包装器,仅由11行MATLAB代码组成,我们获得了一个自然利用GPU和多核CPU的弹性网实现。我们证明了12个真实世界的数据集,我们的算法产生相同的结果,流行的(和高度优化的)glmnet实现,但一个或几个数量级的速度更快。
2014-09-06 cs.LG stat.ML
Dynamic GPU Energy Optimization for Machine Learning Training Workloads
Harbin Institute of Technology(哈尔滨工业大学);University of Leeds(利兹大学)
GPU被广泛用于加速机器学习工作负载的训练。随着现代机器学习模型变得越来越大,它们需要更长的训练时间,导致更高的GPU能耗。本文介绍了GPOEO,这是一个用于机器学习训练工作负载的在线GPU能量优化框架。GPOEO通过采用在线测量、多目标预测建模和搜索优化的新技术动态地确定最优能量配置。为了表征目标工作负载行为,GPOEO使用GPU性能计数器。为了减少性能计数器分析开销,它使用分析模型来检测训练迭代更改,并且仅在检测到迭代偏移时收集性能计数器数据。GPOEO采用基于梯度提升和局部搜索算法的多目标模型,以找到执行时间和能耗之间的权衡。我们通过将GPOEO应用于在NVIDIA RTX3080Ti GPU上运行的两个AI基准套件的71个机器学习工作负载来评估GPOEO。与NVIDIA默认调度策略相比,GPOEO平均节能16.2%,平均执行时间增加5.1%。
2022-01-05 cs.AI cs.DC cs.LG
Poseidon: A System Architecture for Efficient GPU-based Deep Learning on Multiple Machines
Carnegie Mellon University(卡内基梅隆大学);Seoul National University(首尔国立大学);Institute for Infocomm Research(资讯通信研究院)
深度学习(DL)在许多机器学习任务中取得了显著的成功。已经开发了许多框架来加快设计和训练深度神经网络(DNN)的过程,例如Caffe,Torch和Theano。目前,他们可以在一台机器上利用多个GPU,但无法使用分布在多台机器上的GPU;因为即使是平均大小的DNN也需要几天的时间才能在单个GPU上训练数百GB到TB的数据,分布式GPU为扩展DL提供了一个绝佳的机会。然而,商品以太网网络上可用的有限带宽对分布式GPU训练提出了瓶颈,并阻止其琐碎的实现。为了研究如何适应现有的框架,以有效地支持分布式GPU,我们提出了波塞冬,一个可扩展的系统架构,在现有的DL框架的分布式机器间通信。我们将Poseidon与Caffe集成,并评估其在训练DNN进行对象识别方面的性能。Poseidon具有三个关键贡献,可以加速集群上的DNN训练:(1)三级混合架构,允许Poseidon支持仅CPU和配备GPU的集群,(2)分布式无等待反向传播(DWBP)算法,以提高GPU利用率并平衡通信,以及(3)结构感知通信协议(SACP),以最大限度地减少通信开销。我们的经验表明,Poseidon收敛到与单台机器相同的目标,并使用8个节点的商品GPU集群在多个模型和完善的数据集上实现了最先进的训练加速(例如AlexNet上的4.5倍加速,GoogLeNet上的4倍,CIFAR-10上的4倍)。在更大的ImageNet …
2015-12-19 cs.CV cs.DC cs.LG
Scalable GPU-Accelerated Euler Characteristic Curves: Optimization and Differentiable Learning for PyTorch
本文提出优化GPU内核与可微PyTorch层,实现欧拉特征曲线计算16-2000倍加速,支持端到端学习,并探讨下游应用与扩展。
2025-10-23 cs.LG
Exploring the power of GPU's for training Polyglot language models
Stony Brook University(石溪大学)
异构并行计算的发展是当前的主要研究方向之一。GP-GPU计算正在被广泛使用,并且已经设计了几个应用程序来利用GP-GPU必须提供的大规模并行性。虽然GPU一直被广泛用于图像处理的计算机视觉领域,但很少有人研究GP-GPU提供的大规模并行性是否可以有效地用于自然语言处理(NLP)任务。在这项工作中,我们调查和探索的权力GP-GPU的学习语言模型的任务。更具体地说,我们研究了使用深度信念神经网络训练Polyglot语言模型的性能。我们评估了在GPU上训练模型的性能,并提出了提高GPU性能的优化方法。其中一个关键优化方法是,对于足够大的批处理大小,我们建议将GPU上计算和更新梯度的函数的性能提高约50倍。我们表明,通过上述优化,GP-GPU在任务上的性能提高了大约3-4倍。我们所做的优化是通用的Theano优化,因此可能会提高依赖于这些操作的其他模型的性能。我们还表明,这些优化导致GPU在此任务上的性能现在与CPU相当。最后,我们对GP-GPU在这项任务中的适用性进行了全面的评估,并强调了限制在GPU上训练Polyglot模型的性能的因素。
2014-04-15 cs.CL cs.LG
CryptGPU: Fast Privacy-Preserving Machine Learning on the GPU
University of Virginia(弗吉尼亚大学);Facebook AI Research(Facebook AI研究院)
我们介绍CryptGPU,这是一个用于隐私保护的机器学习系统,它在GPU(图形处理单元)上实现所有操作。正如GPU在现代深度学习的成功中发挥了关键作用一样,它们对于实现可扩展的隐私保护深度学习也至关重要。在这项工作中,我们首先引入了一个新的接口,以将秘密共享值(在离散域中)上的加密操作有损嵌入到浮点运算中,这些运算可以由高度优化的CUDA线性代数内核处理。然后,我们确定了一系列的“GPU友好”的加密协议,使隐私保护评估的线性和非线性运算的GPU。我们的微基准测试表明,我们基于GPU的私有卷积协议比类似的基于CPU的协议快150倍以上;对于ReLU激活函数等非线性操作,我们基于GPU的协议比其CPU模拟快10倍左右。借助CryptGPU,我们支持在具有超过6000万个参数的卷积神经网络上进行私有推理和私有训练,并处理ImageNet等大型数据集。与以前的最先进技术相比,当考虑大型模型和数据集时,我们的协议在私有推理方面实现了2倍至8倍的改进,在私有训练方面实现了6倍至36倍的改进。我们的工作不仅展示了完全在GPU上执行安全多方计算(MPC)以实现快速隐私保护机器学习的可行性,而且还强调了设计可以充分利用GPU计算能力的新MPC原语的重要性。
2021-04-22 cs.CR cs.LG
KernelBrain: Coarse-to-Fine, Budget-Aware Search for Agentic GPU Kernel Optimization
Microsoft(微软公司)
KernelBrain是结合LLM引导变异等技术的GPU内核优化智能体,可提升内核质量与搜索效率,在Triton内核任务中获多倍加速且缩短优化时间。
2026-08-05 cs.AI cs.DC cs.LG
Poseidon: An Efficient Communication Architecture for Distributed Deep Learning on GPU Clusters
Carnegie Mellon University(卡内基梅隆大学);Petuum Inc.(Petuum公司)
深度学习模型可能需要数周的时间在一台配备GPU的机器上进行训练,因此需要将DL训练扩展到GPU集群。然而,当前的分布式DL实现由于网络上的大量参数同步而可伸缩性差,因为GPU的高吞吐量允许每单位时间比CPU处理更多的数据批次,从而导致更频繁的网络同步。我们提出了Poseidon,一个有效的通信架构,用于GPU上的分布式DL。Poseidon利用DL程序中的分层模型结构来重叠通信和计算,减少突发网络通信。此外,Poseidon使用混合通信方案,根据层属性和机器数量优化同步每个层所需的字节数。我们通过将Poseidon插入Caffe和TensorFlow来证明Poseidon适用于不同的DL框架。我们展示了Poseidon使Caffe和TensorFlow能够在16台单GPU机器上实现15.5倍的速度提升,即使带宽有限(10 GbE)和具有挑战性的VGG 19 - 22 K网络用于图像分类。此外,Poseidon支持的TensorFlow在Inception-V3上使用32台单GPU机器实现了31.5倍的速度提升,比开源TensorFlow(20倍速度提升)提高了50%。
2017-06-11 cs.CV cs.DC cs.LG
Nonlinear Optimization with GPU-Accelerated Neural Network Constraints
Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室);Dowson Farms(道森农场);Texas A&M University(德克萨斯大学)
本文提出了一种利用GPU加速的神经网络约束进行非线性优化的降维空间形式化方法,提升了优化求解效率,并在对抗生成和电力系统优化中验证了其有效性。
2025-12-08 cs.LG
GPU-Accelerated Machine Learning in Non-Orthogonal Multiple Access
Nvidia(英伟达);National Instruments(美国国家仪器有限公司)
非正交多址接入(NOMA)是一种有趣的技术,能够实现未来5G和6G网络中所需的大规模连接。虽然纯线性处理已经在NOMA系统中实现了良好的性能,但在某些情况下,非线性处理是强制性的,以确保可接受的性能。在本文中,我们提出了一个神经网络架构,结合了线性和非线性处理的优点。它的实时检测性能证明了一个高效的图形处理单元(GPU)上的实现。在实验室环境中使用实际测量,我们显示了我们的方法比传统方法的优越性。
2022-06-13 cs.LG eess.SP
KernelClaw: A Multi-Agent Framework for GPU Kernel Optimization with Dual-Memory Mechanisms
KernelSkill通过多智能体框架和双层记忆架构,实现高效GPU内核优化,取得显著速度提升。
2026-10-20 cs.AI cs.LG cs.MA
DG-RePlAce: A Dataflow-Driven GPU-Accelerated Analytical Global Placement Framework for Machine Learning Accelerators
针对机器学习加速器二维PE阵列给VLSI全局布局带来的可扩展性与QoR挑战,研究提出基于OpenROAD的数据流驱动GPU加速框架DG-RePlAce,在12nm工艺下相较主流工具显著降低线长与总负松弛,且效果可拓展至更多布局场景。
2024-06-19 cs.AR cs.LG
Scheduling Optimization Techniques for Neural Network Training
Hanyang University(汉阳大学)
神经网络训练需要大量的计算,因此GPU通常用于加速。本文提出了一种用于神经网络训练的有效调度技术--无序反向传播(ooo)。通过利用梯度计算的依赖性,ooo backprop可以重新排序它们的执行,以充分利用GPU资源。我们表明,在单GPU,数据并行,和流水线并行训练的GPU利用率可以通过应用ooo反向传播和优先级的关键操作,通常可以提高。我们提出了三种基于面向对象反向传播的调度算法。对于单GPU训练,我们使用多流乱序计算进行调度,以掩盖内核启动开销。在数据并行训练中,我们对梯度计算进行重新排序,以最大化计算和参数通信的重叠;在流水线并行训练中,我们用十二个神经网络来评估我们的优化,包括一个轻量级的计算机视觉模型(MobileNet)和大型NLP模型(BERT和GPT-3),最多48个V100 GPU。我们的调度算法有效地提高了单GPU训练以及数据和流水线的性能。与现有技术的训练系统的相应状态相比,对于单GPU、数据并行和流水线并行训练,吞吐量显著提高。
2021-10-03 cs.DC cs.LG
KernelFoundry: Hardware-aware evolutionary GPU kernel optimization
Intel Corporation(英特尔公司)
KernelFoundry通过MAP-Elites搜索、元提示进化和模板参数优化,高效探索GPU内核设计空间,实现SYCL内核在KernelBench上的2.3倍加速。
2026-09-04 cs.DC cs.LG
Data Driven Optimization of GPU efficiency for Distributed LLM-Adapter Serving
BSC(巴塞罗那超级计算中心);IBM(国际商业机器公司);UPC(巴塞罗那技术大学)
研究分布式大语言模型适配器服务中GPU资源利用问题,提出数据驱动管道,通过性能预测、数字孪生等组件,以最少GPU服务工作负载,提升效率,还可用于其他目标。
2026-07-07 cs.AI cs.CL cs.DC
GPU Kernel Scientist: An LLM-Driven Framework for Iterative Kernel Optimization
LLM-Driven Framework for Iterative Kernel Optimization(LLM驱动的迭代核优化框架)
本文提出LLM驱动的GPU内核科学家框架,通过多阶段进化式迭代自动优化GPU内核,并在AMD MI300上验证其有效性。
2025-08-22 cs.AI cs.LG cs.PF
TorchOpt: An Efficient Library for Differentiable Optimization
University of Edinburgh(爱丁堡大学);University College London(伦敦大学学院);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Institute for AI, Peking University(北京大学人工智能研究院)
近年来,各种可微优化算法蓬勃发展。这些算法表现出不同的执行模式,并且它们的执行需要超出单个CPU和GPU的大量计算资源。然而,现有的可微分优化库不能支持高效的算法开发和多CPU/GPU执行,使得可微分优化算法的开发通常繁琐且昂贵。本文介绍了TorchOpt,一个基于PyTorch的高效可微优化库。TorchOpt提供了一个统一的和富有表现力的可微优化编程抽象。这种抽象允许用户有效地声明和分析各种显式梯度、隐式梯度和零阶梯度的可微优化程序。TorchOpt还提供了一个高性能的分布式执行运行时。该运行时可以在CPU/GPU上完全并行化计算密集型微分操作(例如张量树展平),并自动将计算分发到分布式设备。实验结果表明,TorchOpt在8 GPU服务器上实现了$5.2\times$训练时间的加速。TorchOpt可在https://github.com/metaopt/torchopt/上获得。
2022-11-13 cs.AI cs.DC cs.LG
Perun: Secure Multi-Stakeholder Machine Learning Framework with GPU Support
TU Dresden(德累斯顿工业大学);IBM Research - Zurich(IBM苏黎世研究院);Scontain UG(Scontain有限责任公司)
机密的多利益相关者机器学习(ML)允许多方执行协作数据分析,同时不泄露其知识产权,如ML源代码、模型或数据集。基于同态加密的现有技术解决方案会导致很大的性能开销。基于硬件的解决方案,诸如可信执行环境(TEE),显著地提高了推理计算中的性能,但是仍然遭受训练计算中的低性能,例如,深度神经网络模型训练,因为受保护内存的可用性有限且缺乏GPU支持。为了解决这个问题,我们设计并实现了Perun,这是一个机密的多利益相关者机器学习框架,允许用户在安全性和性能之间进行权衡。Perun在硬件加速器上执行ML训练(例如,GPU),同时使用可信计算技术提供安全保障,如可信平台模块和完整性度量架构。计算密集度较低的工作负载(例如推理)仅在TEE内部执行,因此在较低的可信计算基础上执行。评估表明,在CIFAR-10和真实世界医疗数据集上的ML训练期间,与纯TEE方法相比,Perun实现了161倍至1560倍的加速。
2021-03-31 cs.AI cs.CR cs.LG
Scalable Mean-Variance Portfolio Optimization via Subspace Embeddings and GPU-Friendly Nesterov-Accelerated Projected Gradient
本文提出基于sketch的因子降维和GPU加速的Nesterov加速投影梯度算法,解决大规模约束均方差投资组合优化问题,通过子空间嵌入、谱截断和岭稳定化构建有效因子,并在GPU上高效求解,实验显示其在真实数据上运行时间显著减少。
2026-04-03 cs.CE cs.DC cs.LG
EnergyLens: Predictive Energy-Aware Exploration for Multi-GPU LLM Inference Optimization
Massachusetts Institute of Technology(麻省理工学院);IBM Research(IBM研究院)
EnergyLens通过einsum接口和MoE建模优化多GPULLM推理能耗,实现9.25%-13.19%的能耗预测精度,揭示配置间能效差异并推动分布式服务。
2026-05-14 cs.LG
Minions: A Dynamic and Distributed Virtual GPU Cloud Built on Idle Apple Silicon Devices
Apple(苹果公司)
该研究提出Minions,一种聚合闲置苹果硅GPU的分布式虚拟GPU云,用于执行大规模机器学习推理,可利用现有硬件,无需额外采购GPU,为资源受限环境提供实用分布式GPU推理平台。
2026-10-12 cs.DC cs.LG
AgentKernelArena: Generalization-Aware Benchmarking of GPU Kernel Optimization Agents
AMD
本文提出AgentKernelArena,一个用于评估GPU核优化代理的开源基准,通过隔离工作区和统一评分机制,测试代理在不同任务和硬件目标上的性能和通用化能力,发现大多数任务在正确性和编译效率上表现优异,但在PyTorch到HIP的转换任务中存在显著的正确性下降。
2026-05-16 cs.AI cs.CL cs.LG
Matrix Factorization on GPUs with Memory Optimization and Approximate Computing
Citadel(城堡投资);IBM T. J. Watson Research Center(IBM托马斯·J·沃森研究中心);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
矩阵分解(MF)发现潜在的功能,从观察,这在协同过滤,数据压缩,特征提取,词嵌入等领域表现出了很大的希望,虽然已经提出了许多特定问题的优化技术,交替最小二乘(ALS)仍然流行,由于其普遍适用性,如易于处理正未标记的输入,快速收敛和并行化能力。当前的MF实现要么针对单个机器进行了优化,要么需要大型计算机集群,但仍然不够。这是因为单个机器为大规模数据提供有限的计算能力,而多台机器则遭受网络通信瓶颈。为了解决上述挑战,在图形处理单元(GPU)上加速ALS是一个有前途的方向。我们提出了新的方法,提高MF效率,通过内存优化和近似计算。前者利用GPU的存储层次结构来提高数据的重用性,后者在不影响学习算法收敛性的前提下减少了不必要的计算。在大规模数据集上进行的大量实验表明,我们的解决方案不仅比竞争对手的CPU解决方案性能好得多,而且与最先进的GPU解决方案相比,性能提高了2 - 4倍。我们的实现是开源和公开的。
2018-08-11 cs.DC cs.IR cs.LG
Comparative Analysis of FPGA and GPU Performance for Machine Learning-Based Track Reconstruction at LHCb
LIP6, LPNHE Sorbonne Université CNRS, IN2P3 Paris, France(LIP6、LPNHE 索邦大学 CNRS、IN2P3 巴黎);Massachusetts Institute of Technology(麻省理工学院);Sorbonne Université CNRS, IN2P3 Paris, France(索邦大学 CNRS、IN2P3 巴黎)
本文比较了LHCb实验一级触发器中径迹重建流水线首步多层感知机在FPGA(使用HLS4ML)与GPU上的推断吞吐量,证明FPGA具备高吞吐、低延迟且低功耗的潜力。
2025-04-30 cs.DC cs.LG hep-ex
Fast Vocabulary Projection Method via Clustering for Multilingual Machine Translation on GPU
Microsoft(微软)
多语言神经机器翻译使用Transformer模型已经取得了巨大的成功。部署这些模型具有挑战性,因为它们通常需要各种语言的大词汇量。这限制了预测最后一个词汇投影层中的输出标记的速度。为了缓解这些挑战,本文提出了一种快速的词汇投影方法,通过聚类,可用于多语言Transformers器上的GPU。首先,我们离线分割词汇搜索空间到不相交的集群给定的隐藏上下文向量的解码器输出,这导致在更小的词汇列的词汇投影。第二,在推理时,该方法预测的聚类和候选活动令牌的隐藏上下文向量的词汇投影。本文还分析了在多语言环境中构建这些集群的不同方法。我们的结果显示,float16 GPU推理的端到端速度提升高达25%,同时保持BLEU分数并略微增加内存成本。所提出的方法将词汇投影步骤本身的速度提高了2.6倍。我们还进行了广泛的人工评估,以验证所提出的方法保留了原始模型的翻译质量。
2022-08-14 cs.CL cs.LG
GPU Forecasters: Language Models as Selective Surrogates for Kernel Runtime Optimization
UNC Chapel Hill(北卡罗来纳大学教堂山分校);AI2;Johns Hopkins University(约翰霍普金斯大学);University of Texas at Austin(德克萨斯大学奥斯汀分校)
研究利用语言模型作为GPU内核性能的选择性替代,通过强化学习提高预测准确性和校准度,在有限GPU评估预算下加速内核搜索。
2026-05-29 cs.AI cs.LG
Machine Learning Subsystem for Autonomous Collision Avoidance on a small UAS with Embedded GPU
Marconi-Rosenblatt AI/ML Innovation Lab, ANDRO Computational Solutions, LLC(ANDRO计算解决方案有限责任公司马可尼-罗森布拉特人工智能/机器学习创新实验室)
随着基于机器学习的自主模块和嵌入式图形处理单元(GPU)的广泛可用性,对用于6G通信网络的无人机系统(UAS)供电的解决方案的兴趣极大地增长。虽然这些技术已经彻底改变了UAS解决方案的可能性,但为UAS设计一个可操作的,强大的自治框架仍然是一个多方面的难题。在这项工作中,我们提出了我们的新的,模块化的框架,为无人机自主权,题为MR-iFLY,并讨论了它如何可以扩展到使6G群解决方案。我们首先详细介绍了与资源受限设备上基于机器学习的UAS自治相关的挑战。接下来,我们将深入介绍MR-iFLY的新型深度估计和防撞技术如何应对这些挑战。最后,我们描述了我们用于测量性能的各种评估标准,展示了我们优化的机器视觉组件如何提供比基线模型高出15倍的加速,并展示了MR-iFLY基于视觉的防撞技术的飞行演示视频。我们认为,这些实证结果证实了MR-iFLY作为候选者,通过提供独立的碰撞避免和导航功能,用于减少6G通信群中节点之间的通信开销。
2021-12-03 cs.LG cs.RO
LithOS: An Operating System for Efficient Machine Learning on GPUs
Carnegie Mellon University(卡内基梅隆大学);Meta
LithOS提出一种GPU操作系统,通过TPC调度、内核原子化、硬件规模调整和功耗管理机制,实现高效细粒度GPU资源管理,显著降低尾部延迟并提升吞吐量,节省GPU容量和能耗。
2025-04-21 cs.LG cs.OS
AGFT: An Adaptive GPU Frequency Tuner for Real-Time LLM Inference Optimization
The Hong Kong University of Science(香港科技大学)
针对LLM实时推理中GPU能耗高且动态波动的问题,提出基于在线强化学习的自适应频率调谐框架AGFT,通过细粒度频率控制与动作空间剪枝,在延迟开销低于10%下节省44.3%能耗,EDP优化达40.3%。
2025-08-03 cs.LG
Towards Universal Performance Modeling for Machine Learning Training on Multi-GPU Platforms
Advanced Micro Devices, Inc(超威半导体公司);UC Davis(加州大学戴维斯分校);Meta, Inc(元公司);NVIDIA(英伟达公司);University of California, Davis(加州大学戴维斯分校)
针对多GPU平台机器学习训练性能预测的挑战,该研究扩展单GPU建模工作,整合数据分布感知嵌入表模型与通信集合体移动预测,实现多GPU训练性能的准确预测与配置优化。
2024-11-26 cs.DC cs.LG cs.PF
Nautilus: An Auto-Scheduling Tensor Compiler for Efficient Tiled GPU Kernels
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
Nautilus是一种新型张量编译器,通过端到端系统联合应用高层优化、表达式重写和瓷砖优化,实现从数学描述自动发现FlashAttention-3类内核,提升GPU性能。
2026-04-16 cs.LG cs.PL
Online GPU Energy Optimization with Switching-Aware Bandits
Illinois Institute of Technology(伊利诺伊理工学院);Argonne National Laboratory(阿贡国家实验室);Emory University(埃默里大学)
本文提出EnergyUCB,一种基于老虎机的轻量级控制器,通过动态调整GPU频率实现能耗优化,同时保证服务质量约束。
2026-02-17 cs.AI cs.AR cs.DC
Hybrid Learning and Optimization-Based Dynamic Scheduling for DL Workloads on Heterogeneous GPU Clusters
Kuwait University, Kuwait(科威特大学);Northwestern Polytechnical University, China(西北工业大学)
RLTune通过强化学习与优化方法实现异构GPU集群上深度学习工作负载的高效动态调度,提升资源利用率并减少延迟。
2025-12-11 cs.AI cs.DC cs.LG
Astra: A Multi-Agent System for GPU Kernel Performance Optimization
Stanford University(斯坦福大学);Shanghai Jiao Tong University(上海交通大学);Nanjing University(南京大学)
Astra是首个基于LLM的多智能体系统,用于优化GPU内核性能,通过协作生成高效内核并实现显著加速。
2025-12-02 cs.AI cs.CL cs.DC
GPU Kernel Optimization Beyond Full Builds: An LLM Framework with Minimal Executable Programs
School of Software Engineering, Xi'an Jiaotong University, China(软件工程学院,西安交通大学)
该研究提出一种LLM框架,通过最小可执行程序实现无需完整构建的GPU内核优化,提升性能并降低开发成本。
2025-12-15 cs.AI cs.DC cs.LG
AutoKernel: Autonomous GPU Kernel Optimization via Iterative Agent-Driven Search
RightNow AI
本文提出AutoKernel框架,通过智能体驱动的迭代搜索优化PyTorch模型的GPU内核,通过自动化测试验证确保性能提升,实测在NVIDIA H100上多个任务中均取得显著性能优势。
2026-03-22 cs.LG cs.PF
Machine learning for ultrafast X-ray diffraction patterns on large-scale GPU clusters
Uppsala university(乌普萨拉大学)
通过分析衍射图样来确定复杂分子的原子结构的经典方法目前正在经历急剧的发展。产生极亮和相干X射线激光的现代技术允许流动粒子束被超短高能X射线束拦截和击中。通过机器学习方法,这样收集的数据可以被转换成颗粒本身的三维体积强度图。与这个问题相关联的计算复杂性是非常高的,使得需要数据并行加速器的集群。我们已经实现了一个分布式和高效的算法,用于反演大量的衍射图案,目标是数百个GPU的集群。在可预见的未来,预计将产生大量的衍射数据,这是在光束现场进行数据实时处理所需的规模。使用真实的和合成的数据,我们看看应用程序的缩放特性,并讨论这种令人兴奋的和新颖的成像技术的整体计算可行性。
2014-12-16 cs.DC cs.LG physics.bio-ph
GPU-Accelerated Policy Optimization via Batch Automatic Differentiation of Gaussian Processes for Real-World Control
Tampere University(坦佩雷大学);HIAB(HIAB公司);Aalto University(阿尔托大学);TU Darmstadt(达姆施塔特工业大学)
高斯过程(GPs)预测动力系统行为的能力,作为一个更有效的样本替代参数模型似乎有希望为现实世界的机器人研究。然而,GP的计算复杂性使得策略搜索成为一个高度耗时和内存消耗的过程,该过程不能扩展到更大的问题。在这项工作中,我们开发了一种策略优化方法,利用快速预测采样方法来处理批量的轨迹在每个向前通过,并计算梯度更新的政策参数通过自动微分的Monte Carlo评估,所有在GPU上。我们证明了我们的方法的有效性,在一组参考跟踪控制实验与重型机器的培训政策。基准测试结果显示,与精确方法相比,速度有了显著的提高,并展示了我们的方法在更大的策略网络、更长的视野以及多达数千个轨迹上的可扩展性,并且速度呈次线性下降。
2022-02-28 cs.LG cs.RO cs.SY
Generating GPU Compiler Heuristics using Reinforcement Learning
Advanced Micro Devices, Inc.(超威半导体公司)
GPU编译器是复杂的软件程序,具有许多特定于目标硬件的优化。这些优化通常由编译器专家使用时间和资源密集型过程手工设计的编译器控制。在本文中,我们开发了一个GPU编译器自动调优框架,该框架使用非策略深度强化学习来生成可提高图形应用程序的帧速率的算法。此外,我们证明了这些学习的编译器更新频繁的弹性,通过分析他们的稳定性在一年的代码签入没有再培训。我们表明,我们的基于机器学习的编译器自动调整框架匹配或超过帧速率的98%的图形基准与1.6%的平均提升高达15.8%。
2021-11-23 cs.AI cs.CL cs.LG