Coordinating GPU Data Centers and Power Grid Regulation Service for Exogenous Carbon Benefits
University of California, Riverside（加州大学河滨分校）
本文提出Exogenous Carbon指标和EcoCenter框架，通过协调GPU数据中心与电网调频服务，减少对化石燃料调频储备的需求，实现外源碳减排。
2026-06-26 cs.DC
Mirage: Towards Low-interruption Services on Batch GPU Clusters with Reinforcement Learning
针对批量GPU集群上长期DL作业因调度中断影响效率的问题，提出基于强化学习的Mirage资源预配器，实验显示可减少17%-100%中断并保护23%-76%作业零中断。
2023-06-25 cs.DC
Parallax: Efficient LLM Inference Service over Decentralized Environment
针对去中心化异构 GPU 池中 LLM 推理的调度难题，Parallax 通过模型分配与请求时流水线选择两阶段调度，在真实志愿节点上降低延迟并提升吞吐量。
2025-09-30 cs.DC
Mélange: Cost Efficient Large Language Model Serving by Exploiting GPU Heterogeneity
UC Berkeley（加州大学伯克利分校）；National University of Singapore（新加坡国立大学）
Mélange提出一个GPU分配框架，通过成本感知装箱优化异构GPU选择，根据服务特征自动推导最小成本分配，对话、文档和混合场景分别降低部署成本77%、33%和51%。
2024-07-22 cs.DC cs.LG
Study of Automatic GPU Offloading Technology for Open IoT
物联网技术已经取得了进展。开放式物联网（Open IoT）的概念通过整合水平分离的设备和服务来实现各种物联网服务。对于开放物联网时代，我们提出了隐性计算技术，以发现用户需要的数据设备，并动态使用它们。然而，现有的默会计算并不关心性能和操作成本。因此，本文提出了一种GPU自动卸载技术，作为默会计算的基础技术，该技术利用遗传算法提取合适的卸载循环语句来提高性能。我们评估了一个C/C++矩阵操作，以验证GPU卸载的有效性，并确认在1小时的调整时间内性能提高了35倍以上。
2018-06-04 cs.DC
PROFET: Profiling-based CNN Training Latency Prophet for GPU Cloud Instances
训练卷积神经网络（CNN）模型通常需要显著的计算能力，并且云计算资源被广泛用作训练环境。然而，由于云服务的快速发展，CNN算法开发人员很难跟上系统更新并将其应用于其训练环境。因此，对于云计算服务供应商来说，重要的是为各种训练任务设计和交付最佳的训练环境，以减少算法开发人员的系统操作管理开销。为了实现这一目标，我们提出了PROFET，它可以预测在各种图形处理单元（GPU）设备上实现任意CNN的训练延迟，以开发具有成本效益和时间效益的训练云环境。与以往的训练延迟预测工作不同，PROFET不依赖于CNN架构的实现细节，适合在公有云环境下使用。彻底的评估显示优越的预测精度PROFET相比，国家的最先进的相关工作，和示范服务提出了该系统的实用性。
2022-11-21 cs.DC
Acceleration-as-a-Service: Exploiting Virtualised GPUs for a Financial Application
如何在集群中将GPU加速作为服务获得？由于在集群的所有节点上安装GPU的效率低下，这个问题变得越来越重要。本文中报告的研究旨在通过采用rCUDA（远程CUDA）来解决上述问题，rCUDA是一种促进加速即服务（AaaS）的框架，因此集群的节点可以根据需要请求一组远程GPU的加速。rCUDA框架利用虚拟化，并确保多个节点可以共享相同的GPU。在本文中，我们测试了rCUDA框架在金融风险行业中使用的实际应用程序上的可行性，该应用程序可以从生产环境中的AaaS中受益。结果证实了rCUDA的可行性，并强调rCUDA实现了与CUDA相似的性能，提供了一致的结果，更重要的是，允许单个应用程序受益于集群中可用的所有GPU而不会降低效率。
2015-08-11 cs.CE cs.DC
A Simulation Platform for Multi-tenant Machine Learning Services on Thousands of GPUs
University of Toronto（多伦多大学）；National University of Singapore（新加坡国立大学）；SenseTime（商汤科技）
多租户机器学习服务已经成为数据中心中新兴的数据密集型工作负载，其大量使用GPU资源。由于集群规模大、调整参数多、资源占用量大，在真实集群上对这些机器学习服务进行评估和基准测试通常是不切实际的。在这个演示中，我们提出了AnalySIM，一个集群模拟器，允许多租户机器学习服务的有效设计探索。具体来说，通过跟踪驱动的集群工作负载模拟，AnalySIM可以轻松测试和分析各种调度策略在GPU资源利用率等多个性能指标中的表现。AnalySIM基于物理拓扑和逻辑分区模拟集群计算资源。该工具已在SenseTime中使用，以了解不同调度策略的影响，并跟踪超过1000个GPU的实际生产集群。我们发现，抢占和迁移能够显着减少平均作业完成时间，减轻资源碎片化问题。
2022-01-10 cs.AI cs.DC
ParvaGPU: Efficient Spatial GPU Sharing for Large-Scale DNN Inference in Cloud Environments
本文提出 ParvaGPU 技术，通过集成 NVIDIA 的 MIG 和 MPS 技术实现云环境中大规模 DNN 推理的空间 GPU 共享，有效解决了资源利用不足和外部碎片化问题，在多块 A100 GPU 上评估 11 个工作负载，实现了零 SLO 违规并显著减少 GPU 用量。
2024-09-22 cs.DC
AnchorTP: Resilient LLM Inference with State-Preserving Elastic Tensor Parallelism
The University of Hong Kong（香港大学）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Hong Kong University of Science and Technology（香港科技大学）；Chinese University of Hong Kong（香港中文大学）
针对多GPU张量并行大语言模型推理易受单GPU故障影响的问题，本文提出状态保留弹性TP框架AnchorTP，可在不改变服务接口的前提下最小化数据移动量，大幅缩短故障恢复时间。
2025-11-05 cs.DC
AIvailable: A Software-Defined Architecture for LLM-as-a-Service on Heterogeneous and Legacy GPUs
Computer Science and Communication Research Centre（计算机科学与通信研究中心）；Polytechnic University of Leiria（利尔亚理工学院）
针对现有LLM推理框架依赖同构高端GPU、难以适配资源受限场景的问题，提出软件定义LLMaaS平台AIvailable，可充分利用异构及老旧GPU资源实现高可用推理，推动生成式AI普惠。
2025-11-06 cs.AI cs.DC cs.NI
Beyond Microservices: Testing Web-Scale RCA Methods on GPU-Driven LLM Workloads
logsight.ai GmbH（日志洞察有限公司）；Technische Universität Berlin（柏林工业大学）；Technology Innovation Institute（技术创新研究所）
本研究评估了RCA方法在GPU驱动LLM工作负载上的有效性，发现多源方法表现最佳，而基于追踪的方法大多失效，推动了定制分析技术和增强可观测性的需求。
2026-03-02 cs.DC
Approximate Similarity Search for Online Multimedia Services on Distributed CPU-GPU Platforms
高维空间中的相似性搜索是各种数据库应用中的关键操作。最近，已经有越来越多的兴趣在相似性搜索的在线基于内容的多媒体服务。然而，这些服务带来了新的挑战，因为必须对大量数据进行索引/搜索，而且需要尽量缩短最终用户观察到的响应时间。此外，这些用户与系统动态交互，导致查询请求率波动，需要搜索算法进行调整，以便更好地利用下划线硬件来减少响应时间。为了解决这些挑战，我们引入hypercurves，一个灵活的框架，回答近似k-最近邻（kNN）查询非常大的多媒体数据库，针对在线基于内容的多媒体服务。Hypercurves在混合CPU-GPU环境中执行，并且能够协同使用这些设备来支持大规模的查询请求速率。为了在请求率变化时保持最佳的响应时间，它采用了一种新型的动态调度器来在CPU和GPU之间划分工作。使用多媒体描述符的大型数据库对Hypercurves进行了全面评估。与单CPU核心版本相比，其协同CPU-GPU执行实现了高达30倍的性能提升。与最佳静态CPU-GPU任务分区配置相比，动态工作分区机制将观察到的查询响应时间减少了约50%。此外，Hypercurves在分布式（多节点）执行中实现了超线性可扩展性，同时保持了与其顺序版本的高度等价性--这要归功于概率等价性的证明，这支持了其积极的并行化设计。
2012-09-03 cs.DB cs.DC cs.MM
Characterization and Prediction of Deep Learning Workloads in Large-Scale GPU Datacenters
Nanyang Technological University（南洋理工大学）；SenseTime（商汤科技）
现代GPU开发中心对于在研究社区和行业中提供深度学习（DL）模型和服务至关重要。在运营数据中心时，资源调度和管理的优化可以带来显著的经济效益。实现这一目标需要深入了解作业功能和用户行为。我们提出了一个全面的研究DL作业和资源管理的特点。首先，我们对SenseTime的真实工作轨迹进行了大规模分析。从集群、作业和用户的角度，我们发现了一些有趣的结论，这些结论可以促进集群系统的设计。其次，我们引入了一个通用框架，它基于历史数据管理资源。作为案例研究，我们设计：一个准最短的服务优先调度服务，它可以最大限度地减少集群范围内的平均作业完成时间高达6.5倍;和集群节能服务，提高整体集群利用率高达13%。
2021-09-06 cs.DC cs.LG
MultiPath Memory Access: Breaking Host-GPU Bandwidth Bottlenecks in LLM Services
Hunan University（湖南大学）；Tencent（腾讯）
本文提出MMA系统，通过多路径内存访问技术提升主机与GPU间的数据传输效率，减少LLM服务中的延迟瓶颈。
2026-05-13 cs.DC cs.NI cs.PF
GPU-accelerated machine learning inference as a service for computing in neutrino experiments
机器学习算法在基于加速器的中微子实验中的事件重建中变得越来越普遍和高效。这些复杂的算法在计算上可能是昂贵的。与此同时，此类实验的数据量正在迅速增加。用许多机器学习算法推理来处理数十亿个中微子事件的需求产生了计算挑战。我们探讨了一种计算模型，其中异构计算与GPU协处理器是作为一个Web服务。协处理器可以有效和弹性地部署，为给定的处理任务提供适当的计算量。通过我们的协处理器优化网络推理服务（SONIC），我们专门为ProtoDUNE-SP重建链集成了GPU加速，而不会中断本地计算工作流程。通过我们的集成框架，我们将最耗时的任务，跟踪和粒子簇射命中识别加速了17倍。与仅使用CPU的生产相比，这导致总处理时间减少了2.7倍。对于这个特定的任务，每68个CPU线程只需要1个GPU，提供了一个具有成本效益的解决方案。
2021-03-22 cs.DC hep-ex physics.comp-ph
FlowMesh: A Service Fabric for Composable LLM Workflows
National University of Singapore（新加坡国立大学）；DataCanvas
FlowMesh 是一种多租户服务架构，通过将可组合 LLM 工作流分解为细粒度算子并利用全局控制平面优化调度，在异构 GPU 上实现跨用户工作去重与弹性扩容，显著降低成本与能耗。
2025-10-30 cs.DC
CuLDA_CGS: Solving Large-scale LDA Problems on GPUs
潜在狄利克雷分配（LDA）是一种流行的主题模型。考虑到LDA算法的输入语料库由数百万到数十亿个令牌组成的事实，LDA训练过程非常耗时，这可能会阻止LDA在许多场景中的使用，例如，在线服务GPU使现代机器学习算法和大数据分析受益匪浅，因为它们可以提供高内存带宽和计算能力。因此，许多框架，例如Ten- sorFlow、Caffe、CNTK，支持使用GPU来加速流行的机器学习数据密集型算法。然而，我们观察到GPU上的LDA解决方案并不令人满意。在本文中，我们提出了CuLDA_CGS，一个基于GPU的高效和可扩展的方法来加速大规模LDA问题。CuLDA_CGS旨在以高吞吐量有效解决LDA问题。为此，我们首先精心设计了工作负载划分和同步机制，充分利用了多GPU的优势。然后，我们通过从采样算法、并行化和数据压缩的角度进行优化，将LDA采样过程卸载到每个单独的GPU。评估表明，与最先进的LDA解决方案相比，CuLDA_CGS在单个GPU上的性能大幅提升（高达7.3倍）。CuLDA_CGS能够在4个GPU上实现额外的3.0倍加速。源代码可在https://github.com/cuMF/ CuLDA_CGS上公开获取。
2018-03-13 cs.DC
Characterizing Production GPU Workloads using System-wide Telemetry Data
University of Maryland（马里兰大学）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
通过分析Perlmutter超级计算机的GPU硬件计数器，研究了生产型GPU工作负载的分布特征，发现81%的作业为内存受限，且内存受限作业能耗更高。
2026-02-24 cs.DC
iGniter: Interference-Aware GPU Resource Provisioning for Predictable DNN Inference in the Cloud
GPU对于加速云计算中心中对延迟敏感的深度神经网络（DNN）推理工作负载至关重要。为了充分利用GPU资源，在协同定位的DNN推理工作负载之间的GPU空间共享变得越来越引人注目。然而，GPU共享不可避免地会在协同定位的推理工作负载之间带来严重的性能干扰，这是由EC2 GPU实例上DNN推理的经验测量研究所激发的。虽然现有的工作，保证推理性能服务水平目标（SLO）集中在GPU的时间共享或反应性GPU资源扩展和推理迁移技术，如何主动减轻这种严重的性能干扰得到了相对较少的关注。在本文中，我们提出了iGniter，这是一种干扰感知的GPU资源配置框架，用于在云中经济高效地实现可预测的DNN推理。iGniter由两个关键组件组成：（1）轻量级DNN推理性能模型，它利用实际可访问的系统和工作负载指标来捕获性能干扰;（2）基于我们的推理性能模型，联合优化GPU资源分配和自适应调度的具有成本效益的GPU资源供应策略，目的是实现DNN推理工作负载的可预测性能。我们实现了一个基于NVIDIA Triton推理服务器托管在EC2 GPU实例的iGniter原型。在四个有代表性的DNN模型和数据集上进行的大量原型实验表明，iGniter可以保证DNN推理工作负载的性能SLO，并且具有实际可接受的运行时开销，同时与最先进的GPU资源配置策略相比，节省了高达25%的资金成本。
2022-11-03 cs.DC
DxPU: Large Scale Disaggregated GPU Pools in the Datacenter
针对云端GPU固定组装效率低、现有解聚系统存在缺陷的问题，提出数据中心规模GPU解聚方案DxPU，构建AI负载性能模型并部署原型，多数场景下开销低于10%。
2023-10-07 cs.DC
ENOVA: Autoscaling towards Cost-effective and Stable Serverless LLM Serving
EmergingAI（新兴人工智能公司）；Exascale Labs（亿级规模实验室）
针对多GPU集群上无服务器LLM服务因应用混部导致的服务质量与GPU利用率低的问题，提出ENOVA服务，通过解构执行流程设计配置推荐、性能检测模块及部署执行引擎，实现更优的自动扩缩容效果，适用于大型在线系统。
2024-05-17 cs.AI cs.DC
SiDP: Memory-Efficient Data Parallelism for Offline LLM Inference
scitix
提出SiDP，一种将权重视为带宽支持的共享资源的内存高效数据并行范式，通过Weight-as-a-Service和Compute-as-a-Service两种模式，在相同配置下将可用KV容量提升至1.8倍，端到端吞吐量提升至1.5倍。
2026-05-27 cs.DC
ThunderServe: High-performance and Cost-efficient LLM Serving in Cloud Environments
Department of Computer Science, Peking University（北京大学计算机系）
本文提出面向异构云环境的LLM服务系统ThunderServe，通过优化部署调度和轻量级重调度机制，在相同预算下显著提升吞吐量并降低延迟，证明云服务更具成本效益。
2025-11-06 cs.DC
IBM Deep Learning Service
由大型神经网络模型驱动的深度学习正在超越传统的机器学习方法，用于理解语音、文本和视觉等非结构化和感知数据领域。与此同时，基于云的“即服务”商业模式正在从根本上改变信息技术行业。这两个趋势：深度学习和“即服务”正在碰撞，从而产生了一种用于认知应用交付的新商业模式：深度学习即云中的服务。在本文中，我们将讨论IBM的深度学习即服务（DLaaS）背后的软件架构的细节。DLaaS为开发人员提供了灵活性，可以在云中以可扩展和弹性的方式使用流行的深度学习库，如Caffe，Torch和TensorFlow，只需最少的工作。该平台使用分布和编排层，便于在合理的时间内跨计算节点从大量数据中学习。资源供应层在基础设施即服务（IaaS）云中实现对异构资源（诸如图形处理单元（GPU）和中央处理单元（CPU））的灵活作业管理。
2017-09-18 cs.DC
LLM-Driven Intent-Based Privacy-Aware Orchestration Across the Cloud-Edge Continuum
The University of Melbourne（墨尔本大学）；Monash University（莫纳什大学）
本文提出了一种动态管道重新配置方法，用于在云-边连续体上实现意图驱动的隐私意识协同，通过减少服务停机时间和性能损失来优化LLM推理效率。
2026-02-18 cs.DC
GPU coprocessors as a service for deep learning inference in high energy physics
在接下来的十年中，大型科学实验中对计算的需求预计将大幅增长。在同一时间段内，CPU性能的提高将受到限制。在欧洲核子研究中心的大型强子对撞机（LHC）中，这两个问题将在对撞机升级为高亮度运行时相互面对。其他处理器，如图形处理器（GPU），可以解决这个问题，只要算法可以得到充分的加速。在许多情况下，通过采用深度学习算法，发现算法加速最大。我们全面探索了在高能物理的数据重建工作流程中使用基于GPU的硬件加速进行深度学习推理。我们提出了几个现实的例子，并讨论了一个战略的无缝集成的协处理器，使大型强子对撞机可以保持，如果不超过，其当前的性能在其整个运行。
2021-04-23 cs.DC hep-ex physics.comp-ph
Unleashing the Power of Distributed CPU/GPU Architectures: Massive Astronomical Data Analysis and Visualization case study
即将到来的和未来的天文学研究设施将系统地生成TB大小的数据集，将天文学带入Petascale数据时代。虽然这些设施将为天文学家提供前所未有的准确度和覆盖范围，但数据集大小和维度的增加将对许多当前的天文学数据分析和可视化工具构成严重的计算挑战。在这样的数据大小的情况下，即使是简单的数据分析任务（例如，计算直方图或计算数据最小值/最大值）在不访问超级计算设施的情况下也可能无法实现。为了有效地处理这样的数据集大小，这超过了今天的单机内存和处理限制，我们提出了一个框架，利用GPU和众核CPU的分布式电源，目标是提供数据分析和可视化任务作为天文学家的服务。通过混合共享和分布式内存架构，我们的框架有效地利用底层硬件基础设施处理批处理和实时数据分析和可视化任务。以“软件即服务”的方式提供这种功能作为服务将降低总拥有成本，为更广泛的天文社区提供易于使用的工具，并使底层硬件基础设施的利用更加优化。
2011-11-29 astro-ph.IM cs.DC
SGDRC: Software-Defined Dynamic Resource Control for Concurrent DNN Inference on NVIDIA GPUs
针对GPU上并发DNN推理的资源分配难题，提出软件定义的SGDRC，通过逆向工程与缓存着色消除VRAM冲突，动态分配带宽和计算单元，提升SLO达标率与吞吐量。
2025-03-26 cs.AR cs.DC cs.PF
PipeLLM: Fast and Confidential Large Language Model Services with Speculative Pipelined Encryption
PipeLLM通过推测性流水线加密重叠加密与GPU计算，解决机密计算中加密带来的高开销，实现快速且保密的LLM服务，实验显示吞吐量开销小于19.6%。
2024-11-04 cs.CR cs.DC
Cross-Layer Multi-Cloud Real-Time Application QoS Monitoring and Benchmarking As-a-Service Framework
云计算提供了对经济实惠的硬件（多核CPU、GPU、磁盘和网络设备）和软件（数据库、应用服务器和数据处理框架）平台的按需访问，具有弹性、按使用付费、前期投资低和上市时间短等特点。这导致了利用各种云平台的业务关键型应用程序的激增。托管在单个或多个云提供商平台上的这种应用具有需要广泛的监视和基准测试机制以确保运行时服务质量（QoS）（例如，延迟和吞吐量）。本文提出，开发和验证CLAMBS：跨层多云应用程序监控和基准测试即服务，用于对多云环境中托管的云应用程序进行高效的QoS监控和基准测试。CLAMBS的主要亮点是其监控和基准测试单个应用程序组件的能力，例如数据库和Web服务器，分布在云层中，分布在多个云提供商之间。我们使用原型实现和广泛的实验来验证CLAMBS，并表明CLAMBS可以有效地监控和基准测试包括Amazon EC2和Microsoft Azure在内的多云平台上的应用程序组件。
2015-04-29 cs.DC
PARIS and ELSA: An Elastic Scheduling Algorithm for Reconfigurable Multi-GPU Inference Servers
KAIST（韩国科学技术院）
在云机器学习（ML）推理系统中，为最终用户提供低延迟至关重要。然而，最大限度地提高服务器利用率和系统吞吐量对于ML服务提供商来说也是至关重要的，因为它有助于降低总拥有成本。GPU经常因ML推理的使用而受到批评，因为其庞大的计算和内存吞吐量在低批量推理场景下难以充分利用。为了解决这种限制，NVIDIA最近发布的Ampere GPU架构提供了将一个大型单片GPU“重新配置”为多个较小的“GPU分区”的功能。这一特性为云机器学习服务提供商提供了利用可重配置GPU的能力，不仅可以进行大批量训练，还可以进行小批量推理，从而实现高资源利用率。在本文中，我们研究了这种新兴的GPU架构与可重构性，以开发一个高性能的多GPU ML推理服务器。我们的第一个命题是一个复杂的可重构GPU的分区算法，系统地确定一组异构的多粒度GPU分区，最适合推理服务器的部署。此外，我们共同设计了一个弹性调度算法，为我们的异构分区GPU服务器，有效地平衡低延迟和高GPU利用率。
2022-02-27 cs.AI cs.AR cs.DC
Running a Pre-Exascale, Geographically Distributed, Multi-Cloud Scientific Simulation
当我们接近Exascale时代时，重要的是要验证现有的框架和工具仍然可以在该规模下工作。此外，公共云计算已经成为原型设计和紧急计算的可行解决方案。利用云的弹性，我们因此建立了一个用于在云中运行科学模拟的前exascale HTCondor设置，所选应用程序是IceCube的光子传播模拟。也就是说，这不是一个纯粹的演示运行，但它也被用来为IceCube合作产生有价值和急需的科学成果。为了达到所需的规模，我们将来自Amazon Web Services、Microsoft Azure和Google Cloud Platform的许多地理区域的8种GPU型号的GPU资源进行了聚合。使用这种设置，我们达到了超过51k GPU的峰值，对应于近380个PFLOP32，总集成计算约为100k GPU小时。在本文中，我们提供了设置的描述，发现和克服的问题，以及演习的实际科学输出的简短描述。
2020-02-16 cs.DC
SIMPLE: Disaggregating Sampling from GPU Inference into a Decision Plane for Faster Distributed LLM Serving
SIMPLE通过将采样分解到CPU侧，结合序列并行和热点词汇采样，显著提升分布式LLM服务的吞吐量和效率。
2025-11-30 cs.DC
SageServe: Optimizing LLM Serving on Cloud Data Centers with Forecast Aware Auto-Scaling
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Georgia Institute of Technology（佐治亚理工学院）；Indian Institute of Science（印度科学学院）；Microsoft（微软）
针对云数据中心LLM混合工作负载的SLA冲突与资源利用率低问题，提出SageServe框架，通过多时间尺度控制、流量预测与ILP优化，实现25%GPU小时节省、80%扩缩浪费减少及每月250万美元潜在成本节省，同时满足SLA。
2025-11-12 cs.DC
Cost-Efficient LLM Serving in the Cloud: VM Selection with KV Cache Offloading
Sogang University（西江大学）；ETRI（韩国电子通信研究院）
针对云环境LLM推理的高GPU成本问题，提出InferSave框架，通过基于SLO和工作负载优化KV缓存卸载、CTCF校准性能差异来推荐低成本VM实例，实验显示在线场景成本效率提升73.7%，离线场景节省20.19%成本。
2025-04-16 cs.DC cs.LG
Large-Scale LLM Inference with Heterogeneous Workloads: Prefill-Decode Contention and Asymptotically Optimal Control
The Hong Kong University of Science and Technology（香港科技大学）
本文研究了大规模LLM推理中异构工作负载下的Prefill-Decode竞争问题，提出了一种随机控制框架，通过多类多服务器队列网络模型，实现了渐进最优的资源分配与调度策略。
2026-06-04 cs.DC math.OC
Beyond Desktop Computation: Challenges in Scaling a GPU Infrastructure
Salzburg University of Applied Sciences（萨尔茨堡应用科学大学）；NTS Netzwerk Telekom Service AG（NTS网络电信服务股份公司）
执行计算成本高昂的数据科学应用程序的企业和实验室迟早会面临规模化但基础设施未连接的问题。对于这种升级过程，可以雇用IT服务提供商，或者内部人员可以尝试实现软件堆栈。如果只是连接几台机器，第一种选择可能非常昂贵。对于后一种选择，数据科学人员通常缺乏经验，以便在软件丛林中导航。在本技术报告中，我们阐述了内部部署基础设施的决策过程、我们实施的系统架构以及软件堆栈向可扩展GPU集群系统的转变。
2021-10-11 cs.AI cs.DC
Acceleration-as-a-μService: A Cloud-native Monte-Carlo Option Pricing Engine on CPUs, GPUs and Disaggregated FPGAs
云应用程序向松耦合微服务的演进为硬件加速器提供了新的机会，以提高工作负载性能。现有的云加速器技术牺牲了微服务的整合优势。本文介绍了CloudiFi，这是一个将加速器作为云服务进行部署和比较的框架。我们在财务工作负载的背景下评估了我们的框架，并给出了早期结果，表明微服务响应时间提高了485倍。
2021-06-11 cs.AR cs.DC cs.NI
Accelerating GAN training using highly parallel hardware on public cloud
CERN（欧洲核子研究中心）
随着高能物理中机器和深度学习应用的数量不断增加，对专用基础设施的轻松访问是快速高效研发的要求。本文利用Tensorflow数据并行策略，在并行环境中探索不同类型的云服务来训练生成对抗网络（GAN）。更具体地说，我们在多个GPU和Google Tensor Processing Units（TPU）上并行化了训练过程，并比较了两种算法：TensorFlow内置逻辑和自定义循环，优化后可以更好地控制分配给每个GPU工人或TPU核心的元素。所生成的数据的质量进行比较，蒙特卡罗模拟。获得了训练过程的线性加速，同时保留了物理结果方面的大部分性能。此外，我们在多个GPU节点上大规模地对上述方法进行基准测试，在不同的公共云提供商上部署训练过程，寻求整体效率和成本效益。数据科学、云部署选项和相关经济性的结合允许异构地爆发，探索基于云的服务的全部潜力。
2021-11-08 cs.DC cs.LG
An Online Fragmentation-Aware GPU Scheduler for Multi-Tenant MIG-based Clouds
Fondazione Bruno Kessler (FBK)（布鲁诺·克莱斯勒基金会）
本文提出了一种面向多租户MIG云的在线碎片感知GPU调度器，通过引入碎片度量指标和贪心算法，有效减少GPU碎片化，提高工作负载调度效率。
2025-11-24 cs.DC cs.NI
Energy-Aware Agentic Orchestration for Multi-Site Service Deployment
Federal University of Viçosa (UFV)（维索萨联邦大学）；Federal University of Uberlândia (UFU)（乌贝兰迪亚联邦大学）；Instituto de Telecomunicações（电信研究所）；Universidade de Aveiro (UA)（阿威罗大学）；University of São Paulo (USP)（圣保罗大学）；Universitat Politecnica de València (UPV)（瓦伦西亚理工大学）；University of Minho (UMinho)（米尼奥大学）
本文提出能量感知智能体编排框架，对比不同LLM推理策略在多站点Kubernetes测试平台的GPU能耗，发现推理策略与意图复杂度影响能耗，前缀缓存可降低ReAct能耗，为AI编排可持续性评估提供依据。
2026-10-14 cs.DC cs.NI
Bit2Watt: A Cyber-Physical Vulnerability Exploiting GPU Workloads Across Power and Computing Infrastructures
Zhejiang University（浙江大学）
研究揭示利用GPU工作负载的网络物理漏洞Bit2Watt，攻击者借此引发高频功率调制破坏电力及计算设施。通过多种实验验证，此漏洞会致电力质量下降、引发连锁故障等，还分析了反馈路径风险，强调跨层防御的迫切性。
2026-07-08 cs.AR cs.CR cs.DC
FIKIT: Priority-Based Real-time GPU Multi-tasking Scheduling with Kernel Identification
University of Chicago（芝加哥大学）
针对云GPU共享中现有方案缺乏内核级优先级优化的问题，提出FIKIT内核级调度策略，利用高优任务内核间空闲执行低优任务，显著加速高优任务且开销低于5%。
2024-02-01 cs.DC cs.LG
GPU-Accelerated Compression and Visualization of Large-Scale Vessel Trajectories in Maritime IoT Industries
自动识别系统（AIS）是一种自动船舶跟踪系统，已被广泛用于海上物联网（IoT）行业的智能交通管理和避碰服务。随着海上交通的快速发展，大量基于AIS的船舶航迹数据被采集，使得航迹数据压缩成为迫切需要和具有挑战性的问题。本文主要研究大规模血管轨迹的压缩和可视化及其图形处理单元（GPU）加速实现。通过可视化研究了压缩对血管轨迹数据质量的影响。特别是，Douglas-Peucker（DP）和核密度估计（KDE）算法，分别用于轨迹压缩和可视化，通过GPU架构的大规模并行计算能力显着加速。本文对三个不同水域的大规模AIS船舶运动数据进行了轨迹压缩和可视化的综合实验，长江口南港、成山角和舟山群岛。实验结果表明：（1）所提出的基于GPU的并行实现框架可以显著减少轨迹压缩和可视化的计算时间;（2）如果选择合适的压缩阈值，压缩血管轨迹对轨迹可视化的影响可以忽略不计;（3）通过与其他7种核函数的比较，发现高斯核函数能够产生更合适的基于KDE的可视化性能。
2020-04-19 cs.DC eess.SP
Evaluating Serverless Machine Learning Performance on Google Cloud Run
本研究针对无服务器平台原用于网络服务、适配机器学习负载的适配性问题，在无GPU的Google Cloud Run平台上测试机器学习性能，探究无服务器平台处理机器学习工作负载的能力。
2024-06-24 cs.DC cs.OS
MoESys: A Distributed and Efficient Mixture-of-Experts Training and Inference System for Internet Services
Baidu, Inc.（百度公司）；University of Science and Technology of China（中国科学技术大学）
本文提出分布式 MoE 训练与推理系统 MoESys，通过 Elastic MoE、二维预取、分层融合通信及 CPU-GPU 环形内存轮询执行提升效率，并在 48 张 A100 上高效训练 12B 参数 UFO 模型。
2024-08-12 cs.AI cs.DC
ContainerStress: Autonomous Cloud-Node Scoping Framework for Big-Data ML Use Cases
Oracle Physical Sciences Research Center（甲骨文物理科学研究中心）；Oracle Corporation（甲骨文公司）；NVIDIA Corporation（英伟达公司）
在云环境中部署大数据机器学习（ML）服务对云供应商提出了针对任何给定客户用例的云容器配置大小调整方面的挑战。OracleLabs开发了一个自动化框架，该框架使用嵌套循环Monte Carlo模拟来自主扩展云CPU-GPU“配置”（云容器中可供最终客户使用的CPU和/或GPU配置）范围内的任何规模的客户机器学习用例。此外，OracleLabs和NVIDIA作者还合作进行了一项ML基准研究，该研究分析了任何ML预测算法的计算成本和GPU加速，并评估了由传统CPU和NVIDIA GPU组成的云容器中计算成本的降低。
2020-03-18 cs.DC cs.LG cs.PF
Serverless GPU Architecture for Enterprise HR Analytics: A Production-Scale BDaaS Implementation
Department of Engineering Management and Systems Engineering, George Washington University, USA（工程管理与系统工程系，乔治华盛顿大学）；Workday, Inc.（Workday公司）；Department of Computer Science and Information Technology, Youngstown State University, USA（计算机科学与信息技术系，扬斯敦州立大学）
本文提出了一种结合无服务器GPU和TabNet的BDaaS架构，实现了高吞吐量、低延迟和合规性的企业人力资源分析解决方案。
2026-01-29 cs.AI cs.DC cs.LG
