NCCLZ: Compression-Enabled GPU Collectives with Decoupled Quantization and Entropy Coding
Stevens Institute of Technology(史蒂文斯理工学院)
NCCLZ通过解耦量化与熵编码,提升多节点GPU工作负载的通信效率,实验显示比NCCL快9.65倍,比现有压缩辅助库提升3.34倍。
2026-09-18 cs.DC
Rethinking Streaming-Perception Evaluation on Heterogeneous Edge Platforms
Electronics and Telecommunications Research Institute (ETRI)(电子与电信研究所(ETRI));Jeonbuk National University(全北国立大学)
针对异构边缘平台多摄像头流式感知,本文指出孤立评估会错误排序加速器放置,提出评估应报告争用扫描、截止时间错失率和最差流sAP,以揭示平均sAP隐藏的单流退化。
2026-10-06 cs.CV cs.DC
An Online Fragmentation-Aware Scheduler for Managing GPU-Sharing Workloads on Multi-Instance GPUs
National Tsing Hua University(国立清华大学);IBM T. J. Watson Research Center(IBM T.J.沃森研究中心)
本文提出一种在线碎片感知调度器,通过动态分区和任务迁移技术,有效解决多实例GPU上的资源碎片和竞争问题,提升系统效率35%。
2025-12-18 cs.DC
Strong Scaling of OpenACC enabled Nek5000 on several GPU based HPC systems
我们提出了新的结果,强大的并行缩放的OpenACC加速实施的高阶谱元素流体动力学求解器Nek 5000。所考虑的测试情况包括在两个不同的雷诺数$Re_τ=360$和$Re_τ=550$,摩擦速度和管道半径的基础上,在直管中的充分发展的湍流的直接数值模拟。强大的可扩展性在几个支持GPU的HPC系统上进行了测试,包括瑞士的Piz Daint系统,TACC的Longhorn,Jülich的JUWELS Booster和瑞典的Berzelius。性能测试结果表明,在这些不同的系统上,使用GPU加速版本与CPU版本相比,可以实现3-5之间的速度提升。在JUWELS Booster系统上,对于$Re_τ=550$情况,随着GPU数量从64个增加到512个,20个时间步的运行时间从43.5秒减少到13.2秒。这说明了GPU加速版本的高吞吐量的潜力。与此同时,对于GPU,强缩放限制显著更大,在每列大约$2000-5000$元素;与CPU列的大约$50-100$相比。
2021-11-04 cs.DC
FastGraph: PCA-Subspace Binned k-Nearest-Neighbor Graph Construction for GPU Geometric Deep Learning
Carnegie Mellon University(卡内基梅隆大学);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);University of Zurich(苏黎世大学)
本文提出GPU优化的k近邻算法FastGraph,通过支持梯度流的GPU驻留分箱分区方案与自适应调优,在低维场景下相比主流库实现20-40倍加速且无额外内存开销,可有效提升GNN工作流性能。
2026-10-26 cs.DC
Predictable LLM Serving on GPU Clusters
本文提出一种主机级控制器,通过动态 MIG 重配置、PCIe 感知放置和轻量级防护机制,在 GPU 集群上降低 LLM 推理的 SLO 违规率和尾部延迟,代价不超过 5% 吞吐量。
2025-08-27 cs.DC
Torpor: GPU-Enabled Serverless Computing for Low-Latency, Resource-Efficient Inference
针对现有无服务器平台缺乏高效GPU支持的问题,提出Torpor平台,通过延迟绑定、模型交换及多种优化技术实现GPU高效共享,试点部署为用户和平台分别降低70%和65%的GPU配置成本。
2025-07-08 cs.DC
DAK: Direct-Access-Enabled GPU Memory Offloading with Optimal Efficiency for LLM Inference
Cornell University(康奈尔大学)
本文提出DAK框架,通过直接访问远程内存优化GPU内存卸载,提升系统带宽效率,实验显示在NVLink-C2C和PCIe系统中性能提升达3倍和1.8倍。
2026-04-28 cs.DC
Ember: Making Unified Virtual Memory Practical for Discrete-Memory GPUs
Technical University of Munich(慕尼黑工业大学)
Ember是一款UVM管理框架,通过混合地址空间、计数器驱动区域提升等技术,在不修改应用的情况下,使GPU显存过度订阅性能大幅优于原生UVM及性能分析引导方案。
2026-10-12 cs.DC cs.OS
Energy-Aware Scheduling for Serverless LLM Serving on Shared GPUs
University of Pittsburgh(匹兹堡大学);HPE Labs(惠普企业实验室)
针对无服务器LLM服务中多模型共享GPU带来的能耗优化难题,提出Festina系统,通过协同请求放置、SM分区和GPU工作点调整,在满足TTFT/TBT SLO前提下,实现集群能耗降低高达56%。
2026-10-13 cs.DC
Understanding NVIDIA Grace-Blackwell Unified Memory Through Placement-Controlled Microbenchmarks
University of Delaware(特拉华大学)
本文通过位置控制微基准测试,结合多平台验证,揭示NVIDIA Grace-Blackwell统一内存的性能受位置、访问历史等因素影响,修正了单一带宽指标的误导性,为理解该内存系统提供了校准模型。
2026-10-14 cs.DC
Parallel GPU-Enabled Algorithms for SpGEMM on Arbitrary Semirings with Hybrid Communication
Cornell University(康奈尔大学)
本文提出了一种基于GPU的分布式内存SpGEMM算法,通过混合通信方案优化进程间通信,实现对大输入矩阵的加速
2025-12-22 cs.DC
Pollen: High-throughput Federated Learning Simulation via Resource-Aware Client Placement
针对联邦学习模拟器难以高效扩展的问题,本文提出资源感知系统Pollen,通过推送式客户端放置、硬件统计驱动调度和GPU并发工作进程估计,显著提升吞吐并相较主流模拟器实现数天至数周加速。
2024-05-20 cs.DC
Gauge Field Generation on Large-Scale GPU-Enabled Systems
在过去的几年里,GPU已经成功地应用于格点量子色动力学计算中的费米子矩阵反演任务。甚至已经实现了对能力级超级计算机的强大扩展,对应于O(100)GPU或更多。然而,将整个规范场生成算法强缩放到该状态需要比仅仅具有利用GPU的矩阵反相器显著更多的功能,并且尚未实现。这一贡献扩展了QDP-JIT,将SciDAC QDP++迁移到支持GPU的并行系统,以帮助将整个混合蒙特卡罗扩展到该机制。初步结果显示规范场代与色度模拟纯威尔逊费米子OLCF TitanDev。
2012-12-05 cs.DC hep-lat physics.comp-ph
Latency-Aware Orchestration for Multi-Agent LLM Workflows on Heterogeneous GPUs
Beihang University(北京航空航天大学);University of Leeds(利兹大学)
该研究针对异构GPU上的多智能体大语言模型工作流,提出预测引导的运行时系统,通过优化编排降低了端到端延迟与GPU资源消耗。
2026-09-04 cs.DC
MoETuner: Optimized Mixture of Expert Serving with Balanced Expert Placement and Token Routing
Georgia Institute of Technology(佐治亚理工学院)
针对MoE模型分布式部署中令牌路由与专家激活不均衡、通信尾延迟等问题,提出MoETuner方案,通过ILP优化专家放置并利用层间令牌路由依赖,实现负载均衡与通信优化,单节点和多节点推理速度分别提升9.3%和17.5%。
2025-02-10 cs.DC cs.LG
SW# - GPU enabled exact alignments on genome scale
序列比对是生物信息学中最古老、最著名的问题之一。即使在45年后,由于这样或那样的原因,这个问题仍然是现实的;目前的解决方案是在执行时间,内存消耗和准确性之间进行权衡。我们的目的SW#,一个新的CUDA GPU启用和内存效率的实施动态规划算法的局部对齐。在该实现中,使用仿射间隙模型处理插入缺失。尽管Smith-Waterman算法还有其他GPU实现,但SW#是唯一一个可以在全基因组范围内进行序列比对的公开实现。对于长序列,我们的实现至少比相同算法的CPU版本快几百倍。
2013-04-22 cs.CE cs.DC q-bio.GN
Energy-aware Task Scheduling with Deadline Constraint in DVFS-enabled Heterogeneous Clusters
大型数据中心的高性能计算工作负载(例如使用大数据的深度学习)的节能至关重要,其中减少百分之几的电力可以节省数百万美元。本文通过动态电压和频率缩放(DVFS)研究了新兴的CPU-GPU混合集群的节能问题。我们的目标是最小化总的能量消耗处理一批离线任务或实时任务序列的最后期限的限制。我们推导出一个快速,准确的分析模型来计算适当的电压/频率设置为每个任务,并分配多个任务的集群与启发式调度算法。特别是,我们的模型强调GPU加速应用程序的任务执行时间和处理器速度之间的非线性关系,以更准确地捕捉真实世界的GPU能耗。在性能评估驱动的真实世界的功率测量痕迹,我们的调度算法显示出可比的能量节省的理论上限。在GPU扩展间隔中,分析最多可以节省36%的能源,我们记录了33-35%的能源节省。我们的研究结果适用于现代异构集群的能量管理。
2021-04-01 cs.DC
AEGIS: Runtime-Guided GPU Collocation for Multi-Tenant Deep Learning Training
IT University of Copenhagen(丹麦技术大学);University of Basel(巴塞尔大学)
CARMA通过优化GPU协同策略提升DL训练效率,减少能耗与执行时间
2026-10-07 cs.DC cs.LG cs.PF
Analyzing Resource Utilization in an HPC System: A Case Study of NERSC Perlmutter
HPC应用程序的资源需求差异很大。然而,HPC系统通常主要在每个节点的基础上分配资源,以防止来自协同工作负载的干扰。粗粒度资源分配与变化的资源需求之间的这种差距可能导致HPC资源未被充分利用。在这项研究中,我们分析了NERSC的Perlmutter的资源使用和应用程序的行为,这是一个最先进的开放科学HPC系统,具有CPU和GPU加速的节点。我们一个月的使用分析显示,CPU通常没有得到充分利用,特别是对于启用GPU的作业。此外,大约64%的启用CPU和GPU的作业使用了50%或更少的可用主机内存容量。此外,大约50%的启用GPU的作业使用了高达25%的GPU内存,并且内存容量在某些方面并没有被所有作业充分利用。虽然我们的研究是在Perlmutter生命周期的早期进行的,因此策略和应用程序工作负载可能会发生变化,但它提供了有关性能表征、应用程序行为的有价值的见解,并激励系统进行更细粒度的资源分配。
2023-03-13 cs.DC
High-Level Big Integer Arithmetic in Futhark for GPUs
University of Copenhagen(哥本哈根大学);Cheriton School of Computer Science, U. Waterloo(滑铁卢大学切里顿计算机科学学院)
该研究用Futhark实现GPU上中等规模大整数的块级四则运算,对比手写C++/CUDA与CGBN,发现数组自动布局对性能关键,高级代码经优化后性能具竞争力。
2026-08-03 cs.DC cs.PL cs.SC
Expert Coupling in MoE Pretraining: Reducing All-to-All Overhead with Correlated Placement and Token Shuffling
Zyphra
本文提出关联专家放置与令牌洗牌两种方法,利用预训练中路由器学到的令牌-专家关联模式,减少MoE专家并行下的全对全通信开销,最高可将端到端步骤时间减少1.41倍,且不改变路由决策与专家参数。
2026-10-08 cs.CL cs.DC
TensorFlow Enabled Genetic Programming
遗传编程是一种演化计算和机器学习算法,在CPU和GPU架构上应用矢量化数据和TensorFlow数值计算库,可以显著受益。开源Python Karoo GP用于6个平台上的190个测试,真实世界的数据集范围从1800万到550万个数据点。这些测试表明,当从标量/SymPy配置迁移到矢量/TensorFlow配置时,以数十个和数百个数据点测量的数据集可以获得2- 15倍的改进,其中单个核心的性能与多个CPU核心和GPU相当或更好。由90,000个数据点组成的数据集显示,单个向量/TensorFlow CPU内核的性能比40个标量/Sympy CPU内核高875倍。包含550万个数据点的数据集显示,GPU配置的性能平均是CPU配置的1.3倍。
2017-08-10 cs.DC
Large-scale Machine Learning Cluster Scheduling via Multi-agent Graph Reinforcement Learning
大型GPU集群中分布式深度学习(DL)作业的高效调度对于资源效率和作业性能至关重要。虽然作业之间的服务器共享提高了资源利用率,但是由于资源争用,在位于同一地点的DL作业之间发生干扰。干扰感知的工作安排进行了研究,白盒方法的基础上显式干扰建模和黑盒推理机与强化学习。在当今包含数千个GPU服务器的集群中,由于工作负载规模很大,因此运行单个调度程序以及时有效的方式管理所有到达作业是一项挑战。在大规模集群/数据中心中采用多个调度器,提出一种多智能体强化学习(MARL)调度框架,以最小化作业完成时间(JCT)为目标,协同学习细粒度的作业安排策略.为了实现拓扑感知布局,我们提出的框架使用分层图神经网络来编码数据中心拓扑和服务器架构。鉴于普遍缺乏对应于不同安置的精确奖励样本,进一步设计了工作干扰模型,以预测面对不同的协同定位时的干扰水平,用于训练MARL分类器。测试床和跟踪驱动的评估表明,我们的调度框架优于代表调度计划的平均JCT超过20%,是适应各种机器学习集群拓扑结构。
2021-12-26 cs.DC
Optimizing the Variant Calling Pipeline Execution on Human Genomes Using GPU-Enabled Machines
针对人类基因组变异调用流水线在GPU机器上的执行优化,提出基于机器学习预测各阶段执行时间并借鉴柔性作业车间调度生成最优执行计划的方法,平均加速2倍和1.6倍。
2025-09-10 cs.DC
TriMoE: Augmenting GPU with AMX-Enabled CPU and DIMM-NDP for High-Throughput MoE Inference via Offloading
SKLP, Institute of Computing Technology, Chinese Academy of Sciences, Beijing, China(SKLP,计算技术研究所,中国科学院,北京);University of Chinese Academy of Sciences, Beijing, China(中国科学院大学,北京)
TriMoE通过结合AMX启用的CPU和DIMM-NDP,优化MoE推理的计算单元分配,提升高吞吐量性能。
2026-03-01 cs.AI cs.AR cs.DC
Towards Energy Efficient Co-Scheduling in HPC
University of Illinois Chicago(伊利诺伊大学芝加哥分校);Argonne National Laboratory(阿贡国家实验室)
本文提出EcoSched调度器,通过联合优化GPU数量选择与应用协同调度,提升多GPU系统的任务效率,实现14.8%的能耗节省和30.1%的作业跨度提升。
2026-04-19 cs.DC
Sensor Placement for Tsunami Early Warning via Large-Scale Bayesian Optimal Experimental Design
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文提出一种可扩展的贝叶斯最优实验设计框架,用于线性时不变系统,通过数据空间逆问题重述将OED转化为密集矩阵子集选择,采用多GPU和Schur补更新的贪心算法实现高效计算,应用于哥斯达黎加亚duction区的数字孪生,优化175个传感器网络以减少参数场的不确定性。
2026-09-03 cs.DC cs.NA math.NA
Pilot-Data: An Abstraction for Distributed Data
依赖于处理大量数据的科学问题需要克服多个领域的挑战:管理大规模数据分布,控制数据与计算资源的协同放置和调度,以及存储,传输和管理大量数据。虽然存在多种方法来解决这些挑战中的每一个,但缺少一种综合方法;此外,扩展现有功能或实现互操作能力充其量仍然很困难。我们提出了试点数据的概念,以解决在异构和分布式环境中的数据和计算的协同放置和调度的基本挑战,互操作性和可扩展性作为第一顺序的关注。Pilot-Data是Pilot-Job抽象的扩展,用于支持与计算任务相结合的数据管理。Pilot-Data将逻辑数据单元与物理存储分离,从而为高效的计算/数据放置和调度提供基础。在本文中,我们讨论了试点数据原型的设计和实施,演示了它的使用数据密集型应用程序在多个生产分布式网络基础设施,并说明了试点数据启用灵活的执行模式所带来的优势。我们的实验利用一个可扩展的Pilot-Job(BigJob)结合Pilot-Data的实现来建立可以通过使用Pilot-Data来实现的应用程序性能。我们展示了Pilot-Data的概念如何为构建工具和支持功能(如亲和力)提供基础,而亲和力又可用于高级数据计算协同布局和调度。
2013-11-19 cs.DC
It's the People, Not the Placement: Rethinking Allocations in Post-Moore Clouds
针对后摩尔时代异构加速器云资源碎片化问题,提出从静态固定定价分配转向动态多边成本再谈判的分配机制,并设计运营商-租户-应用新交互架构,以提升资源效率并降低成本。
2025-01-19 cs.DC
TPP: Transparent Page Placement for CXL-Enabled Tiered-Memory
本文提出操作系统级透明页面放置机制 TPP,通过轻量级热冷页识别与主动降级/提升策略优化 CXL 分层内存性能,在生产环境中较 Linux 提升 18%,并已合入 Linux v5.18。
2023-05-28 cs.DC cs.OS
A new GPU implementation for lattice-Boltzmann simulations on sparse geometries
我们描述了一个高性能的实现的格子玻尔兹曼方法(LBM)稀疏的3D几何图形处理器(GPU)。这项工作的主要贡献是一个数据布局,允许在LBM的传播步骤,以尽量减少冗余的内存事务的数量。我们表明,通过使用小的三维瓦片的均匀网格和仔细的数据放置,可以利用D3Q19网格和双精度的数的最大理论GPU内存带宽的70%以上。我们的实现的性能进行了彻底检查,并与其他GPU实现的LBM。所提出的方法执行最好的稀疏的几何形状具有良好的空间局部性。
2017-10-07 cs.DC cs.PF
Recurrent Binary Embedding for GPU-Enabled Exhaustive Retrieval from Billion-Scale Semantic Vectors
Bing Ads of AI & Research Group, Microsoft Corp.(微软公司必应广告AI与研究组)
GPU硬件和深度学习的多个领域的快速发展为使用穷举搜索的十亿级信息检索提供了新的机会。基于语义学习的强大概念,本文提出了一种递归二进制嵌入(RBE)模型,该模型可以学习用于实时检索的紧凑表示。该模型具有独特的能力,通过逐步添加二进制残差向量来细化基本二进制向量,以满足所需的精度。改进的向量使得能够有效地实现逐位操作的穷举相似性计算,随后是本文还提出的近无损k-NN选择算法。所提出的算法被集成到一个端到端的多GPU系统中,该系统可以实时从超过10亿个候选项中检索数千个顶级项。RBE模型和检索系统进行了评估,从一个主要的付费搜索引擎的数据。当与最先进的二进制表示模型和语义嵌入的全精度模型进行比较时,RBE的表现明显优于前者,并填补了两者之间超过80%的AUC差距。与我们的生产检索系统相比,实验也表现出优越的性能。虽然本文的主要重点是基于特定类别的语义模型构建RBE,但推广到其他类型是很简单的,正如本文结尾的两个不同模型所示。
2018-02-18 cs.DC cs.IR cs.LG
Towards Portability at Scale: A Cross-Architecture Performance Evaluation of a GPU-enabled Shallow Water Solver
National High Technology Center(国家高技术中心);Jülich Supercomputing Center(于利希超级计算中心);Argonne National Laboratory(阿贡国家实验室);Costa Rica Technological Institute(哥斯达黎加理工学院)
本研究评估了浅水方程求解器 SERGHEI-SWE 在四种异构 HPC 架构上的跨平台性能,发现其扩展性良好且受内存带宽限制,通过调整问题规模实现了可移植性,并指出了进一步内核优化的方向。
2025-11-02 cs.DC cs.PF
Data Driven Optimization of GPU efficiency for Distributed LLM-Adapter Serving
BSC(巴塞罗那超级计算中心);IBM(国际商业机器公司);UPC(巴塞罗那技术大学)
研究分布式大语言模型适配器服务中GPU资源利用问题,提出数据驱动管道,通过性能预测、数字孪生等组件,以最少GPU服务工作负载,提升效率,还可用于其他目标。
2026-07-07 cs.AI cs.CL cs.DC
Exploring AI-Enabled Cybersecurity Frameworks: Deep-Learning Techniques, GPU Support, and Future Enhancements
Technische Universität Berlin(柏林工业大学)
本研究综述了38个开源网络安全框架,识别出其中3个采用两种深度学习算法,并评估其GPU加速支持,旨在弥合理论与实践差距并指导未来框架选择。
2024-12-17 cs.AI cs.CR cs.DC
Probabilistic QoS-aware Placement of VNF chains at the Edge
本文提出EdgeUsher,一种声明式解决方案,利用概率分布建模云边基础设施动态变化,为VNF链确定满足硬件、物联网、安全、带宽和延迟要求的全部合格部署位置,并评估其鲁棒性。
2021-02-15 cs.DC cs.LO cs.NI
ViBE: Co-Optimizing Workload Skew and Hardware Variability for MoE Serving
Georgia Institute of Technology(佐治亚理工学院);Advanced Micro Devices, Inc.(先进微器件公司)
提出ViBE框架,通过感知硬件的专家放置方法,结合GPU性能建模与专家激活分析,最小化分布式MoE推理中的执行时间不平衡,显著提升SLO达标率并降低P90 TTFT。
2026-05-30 cs.DC cs.LG
GLASS: Architecture-Tuned, Composable, Device-Side Linear Algebra for Edge Robotics and Beyond
Dartmouth College(达特茅斯学院)
针对GPU机器人学缺乏可复用数值库的问题,提出GLASS库,通过架构特定放置决策和静态编译优化,在边缘设备上实现最高73倍性能提升,并开源发布。
2026-09-24 cs.DC cs.MS cs.RO
RAFI -- A Ray/Work Forwarding Infrastructure for Data Parallel Multi-Node/Multi-GPU Computing
NVIDIA(英伟达);Bilkent University(比尔肯特大学);SCI Institute, University of Utah(犹他大学计算研究所);University of Cologne(科隆大学);NASA Ames Research Center(NASA艾姆斯研究中心);IT4Innovations, VSB -Technical University of Ostrava(Ostrava理工大学IT4创新中心)
提出基于CUDA和MPI的软件框架RaFI,简化GPU数据并行计算中射线等工作项在不同GPU间迁移的实现,通过统一接口管理底层通信。
2026-05-28 cs.DC cs.GR
Optimizing Resource Allocation for Geographically-Distributed Inference by Large Language Models
Department of Computer Science and Engineering, Pennsylvania State University, University Park, PA, USA(计算机科学与工程系,宾夕法尼亚州立大学,大学公园,PA,USA);Department of Computer Science, Virginia Tech, Blacksburg, VA, USA(计算机科学系,弗吉尼亚理工大学,布莱克堡,VA,USA);Department of Electrical Communication Engineering, Indian Institute of Science, Bangalore, India(电子通信工程系,印度科学研究院,班加罗尔,印度)
本文提出了一种系统研究分布式LLM推断中的资源分配问题,通过块放置和请求路由的优化,显著减少推断时间并开发了轻量级CPU模拟器。
2025-12-26 cs.AI cs.DC cs.NI
Multi-GPU-Enabled Hybrid Quantum-Classical Workflow in Quantum-HPC Middleware: Applications in Quantum Simulations
Imperial College London(帝国理工学院);University of Waterloo(滑铁卢大学);NVIDIA Corp.(英伟达公司);National Taiwan University(台湾大学)
本研究提出分布感知的QCQ架构,融合量子算法与多GPU经典计算,实现量子模拟中相变分类任务高达十倍加速及99.5%准确率,解决量子-高性能计算瓶颈。
2024-03-18 cs.AI cs.AR cs.DC
Efficient Vision-Language-Action Management and Serving for Robot Factories
Max Planck Institute for Software Systems(马克斯·普朗克软件系统研究所)
针对机器人工厂中VLA模型推理的延迟关键性,提出Robion系统,通过GPU内流分离和智能调度,在边缘服务器上高效服务多机器人多模型,显著提升SLO达成率下的负载能力。
2026-09-14 cs.AR cs.DC cs.LG