Theoretically Guaranteed Online Workload Dispatching for Deadline-Aware Multi-Server Jobs
多服务器作业在现代计算集群中是必不可少的。多服务器作业具有多个任务组件，每个任务组件负责处理特定大小的工作负载。有效的在线工作负载调度是至关重要的，但具有挑战性的同位异构多服务器作业。分派策略应该决定$(i)$在哪里启动到达作业的每个任务组件实例，以及$(ii)$每个任务组件处理的工作负载的大小。现有的策略是明确的和有效的，当面对服务的本地性和资源争用在离线和在线设置。然而，当加入期限感知约束时，这些策略的理论优越性不能得到保证。为了填补这一理论空白，本文在时空资源网格模型的基础上，设计了一种基于$α$竞争机制的多服务器任务调度策略.我们将问题表示为一个社会福利最大化规划，并使用几个精心设计的伪函数在线求解。将社会福利表示为作业效用和计算集群效用之和。严格证明了所提出的策略对于某些$α\geq 2$是$α$ -竞争的.我们还通过仿真验证了它的理论优越性，结果表明，它明显优于两个手工制定的基线政策的社会福利。
2022-06-12 cs.DC
TailBench++: Flexible Multi-Client, Multi-Server Benchmarking for Latency-Critical Workloads
本文提出增强型基准测试套件 TailBench++，通过支持动态多客户端、多服务器环境及可变 QPS 和到达模式，解决了 TailBench 在延迟关键型云负载评估中的局限，实现更真实的云性能评测。
2025-05-06 cs.DC
Methods and Metrics for Fair Server Assessment under Real-Time Financial Workloads
能源效率一直是企业面临的一个严峻挑战。金融业经营着世界上一些最大的金融中心。随着能源成本的增加和金融服务行业的增长，新兴的金融分析工作负载可能会产生极高的运营成本，以满足其延迟目标。微服务器最近已经成为高端服务器的替代品，通过横向扩展，有望在数据中心实现可扩展的性能和低能耗。不幸的是，架构特征、形状因子和设计考虑方面的明显差异使得服务器和微服务器之间的公平比较异常具有挑战性。在本文中，我们提出了一个严格的方法和新的指标，公平比较服务器和微服务器平台。我们部署了我们的方法和指标来比较一个带有ARM内核的微服务器和两个带有x86内核的服务器，运行相同的实时的【形】财务分析工作负载。我们定义了特定于工作负载但独立于平台的性能指标，用于平台比较，目标是数据中心运营商和最终用户。我们的方法确定了基于Xeon Phi处理器的服务器可提供最高的性能和能效。然而，通过扩展节能微服务器，我们实现了竞争力或更好的能源效率比一个功率等效的服务器与两个桑迪桥插槽，尽管微服务器的核心速度较慢。使用一个新的iso-QoS（iso-服务质量）度量，我们发现，ARM微服务器的规模足以满足市场的吞吐量需求，即100%的QoS方面的及时选项定价，与少至55%的能量消耗的Sandy Bridge服务器。
2014-12-30 cs.DC
ARM Wrestling with Big Data: A Study of Commodity ARM64 Server for Big Data Workloads
ARM处理器由于其良好的计算能量比在过去十年中主导了移动终端市场。在这个云数据中心和大数据分析的时代，人们越来越关注节能处理，而不仅仅是高吞吐量计算。ARM的第一个商品服务器级处理器是最近的AMD A1100系列处理器，基于64位ARM Cortex A57架构。在本文中，我们研究了基于此ARM64 CPU的服务器的性能和能效，相对于运行AMD Opteron 3300系列x64 CPU的可比服务器，用于大数据工作负载。具体来说，我们在Apache Hadoop v2.7上以伪分布式设置研究了英特尔HiBench Web、查询和机器学习基准套件，数据大小可达$20GB$文件、$5M$网页和$500M$元组。我们的研究结果表明，ARM64服务器的运行时性能与基于整数的工作负载（如Sort和Hive查询）的x64服务器相当，只有在没有充分利用数据并行时，才落后于PageRank等浮点密集型基准测试。我们还看到，ARM 64服务器消耗$\frac{1}{3}^{rd}$能量，并且具有比x64服务器低$50-71\%$的能量延迟积（EDP）。这些结果为托管大数据工作负载的ARM64数据中心提供了降低运营成本的希望，同时为进一步分析提供了机会。
2017-09-09 cs.DC
Performance Study of Serverless Workloads in Confidential Virtual Machines
New Jersey Institute of Technology（新泽西理工学院）；Hofstra University（霍夫斯特拉大学）
本文通过实证研究，分析了机密虚拟机（CVM）中无服务器工作负载的内存效率与运行时开销，发现其存在内存和启动延迟问题，提出同一CVM内合并同函数多容器并选择性放松隔离机制的优化方法。
2026-09-07 cs.DC
MAPA: Multi-Accelerator Pattern Allocation Policy for Multi-Tenant GPU Servers
多加速器服务器越来越多地部署在共享多租户环境中（例如云数据中心），以满足大规模计算密集型工作负载的需求。此外，这些加速器越来越多地在复杂的拓扑结构中互连，并且工作负载呈现出更广泛的加速器间通信模式。然而，现有的分配策略不适合这些新兴的用例。具体而言，这项工作确定了多加速器工作负载通常是碎片化的，导致加速器间通信的带宽减少和延迟增加。我们提出了多加速器模式分配（MAPA），一个图形模式挖掘方法，提供广义分配支持多加速器服务器上分配多加速器工作负载。我们证明，MAPA能够提高多加速器工作负载的执行时间，MAPA能够在各种加速器拓扑结构中提供普遍的好处。最后，我们证明了12.4%的加速第75百分位的作业，最坏情况下的执行时间减少了35%，对基线政策使用MAPA。
2021-10-07 cs.DC
Data-Intensive Workload Consolidation on Hadoop Distributed File System
集群合并是在多个工作负载之间共享物理资源，是一种很有前途的节省成本和能量的集群计算系统技术。本文重点介绍了Hadoop作为当前最先进的数据密集型集群计算系统之一在工作负载整合方面面临的一些挑战。通过系统的逐步过程，我们调查了Hadoop环境中高效服务器整合的挑战。为此，我们首先研究了采用Hadoop分布式文件系统（HDFS）的单个物理服务器上的整合工作负载的最后一级缓存（LLC）争用和吞吐量下降之间的相互关系。然后，我们研究了多个物理服务器上的整合的一般情况，以便它们的吞吐量永远不会低于期望的/预定义的利用率水平。我们使用我们的经验结果模型合并作为一个经典的二维装箱问题，然后设计一个计算效率高的贪心算法，以实现最小的吞吐量下降多个服务器。结果是非常有希望的，并表明我们的贪婪的方法是能够在所有的实验情况下，实现接近最优的解决方案。
2013-03-28 cs.DC
Energy-Aware Aggregation of Dynamic Temporal Workload in Data Centers
数据中心提供商寻求最大限度地降低其总拥有成本（TCO），而功耗已成为社会关注的问题。我们提出的配方，以最大限度地减少服务器的能源消耗和服务器成本下三个不同的数据中心服务器设置（同质，异构，混合异构集群）与动态的时间工作负载。我们的研究表明，同质模型显着不同的异质模型的计算时间（一个数量级）。为了能够计算最优配置在近实时的大规模数据中心，我们提出了两种模式，聚合的最大值和聚合的平均值。此外，我们提出了两种聚合方法，静态（周期性）聚合和动态（非周期性）聚合。我们发现，在聚合的最大模式，动态聚合导致成本节省高达约18%的静态聚合。在平均值聚合模式中，与平均值静态聚合模式相比，平均值动态聚合可以节省高达约50%的工作负载重新安排。总的来说，我们的方法有助于理解能源感知聚合的权衡。
2013-09-16 cs.DC
Dynamic Selection of Virtual Machines for Application Servers in Cloud Environments
自动缩放是云计算的一个标志，因为它允许灵活的即时分配和释放计算资源，以响应动态且通常不可预测的工作负载。这对于那些工作负载依赖于时间并且容易出现flash拥挤的web应用程序来说尤其重要。它们中的大多数遵循3层架构模式，分为表示层、应用程序/域层和数据层。在这项工作中，我们专注于应用层。自云计算出现以来，“当平均服务器CPU利用率达到X%时，实例化新的虚拟机（VM）”类型的反应式自动缩放策略已被成功使用。但是，目前哪种VM类型最适合特定应用程序仍然是一个悬而未决的问题。在这项工作中，我们提出了一种动态VM类型选择的方法。它使用在线机器学习技术的组合，实时的工作，并适应用户工作负载模式的变化、应用程序的变化以及中间件的升级和重新配置。我们已经开发了一个原型，并使用部署在AWS EC2上的CloudStone基准进行了测试。结果表明，我们的方法可以快速适应工作量的变化，并降低了总成本相比，行业标准的方法。
2016-02-07 cs.DC
Workload Classification & Software Energy Measurement for Efficient Scheduling on Private Cloud Platforms
目前，为基于私有云的数据中心创建节能工作负载调度程序存在许多障碍。首先，必须研究不同工作负载和功耗之间的关系。其次，当前用于提供能量使用统计的基于硬件的解决方案不适合于仓库规模的数据中心，其中低成本和可扩展性是期望的属性。在本文中，我们讨论了私有云平台中不同工作负载对服务器功耗的影响。当服务器被赋予支配各种资源（CPU、内存、硬盘和网络）的任务时，我们显示出明显的能耗差异。然后，我们使用这种洞察力来开发CloudMonitor，这是一种软件实用程序，在开发动态功耗模型的“训练阶段”之后，能够通过监视工作负载的资源消耗来进行>95%的准确功耗预测。
2011-05-12 cs.DC
Energy and Performance-Can a Wimpy-Node Cluster Challenge a Brawny Server?
传统的DBMS服务器通常在其大部分日常工作负载中过度配置，并且由于它们没有显示出良好的能量比例，因此在未充分利用的情况下浪费了大量能量。一个小型（弱）服务器集群，其中节点的数量可以根据当前的工作负载动态调整，可能会为这些工作负载提供更好的能量特性。然而，集群遭受“摩擦损失”，可能无法快速适应工作负载，而一个强大的服务器可以立即提供性能。在本文中，我们比较了一个小型集群的轻量级节点，一个单一的服务器的性能和能源效率。我们运行了几个基准测试，包括可变利用率的OLTP和OLAP查询，以测试系统适应工作负载的能力。为了量化可能的节能和查询运行时，它可以想象的缺点，我们评估我们的实现集群以及在一个单一的，强壮的服务器和比较结果w.r.t.性能和能耗。我们的研究结果证实，基于工作负载，可以在不牺牲太多性能的情况下节省能源。
2014-07-07 cs.DB cs.DC
Exploiting Inherent Elasticity of Serverless in Irregular Algorithms
无服务器计算，特别是功能即服务（FaaS）执行模型，最近已被证明是有效的运行大规模计算。然而，很少有人注意到高度并行的应用程序与不平衡和不规则的工作负载。通常，由于无法提前预测其计算资源，这些工作负载一直被排除在云之外，经常导致严重的资源过度和不足情况。然而，我们在本文中的主要观点是，无服务器计算技术的弹性和易于管理性可能是首次在云中有效运行这些有问题的工作负载的关键推动因素。更具体地说，我们证明了一个简单的无服务器的执行器池抽象可以实现更好的成本-性能权衡比静态大小的Spark集群建立在大型EC2虚拟机。为了支持这一结论，我们评估三个不规则的算法：不平衡树搜索（UTS），Mandelbrot集使用的Mariani-Silver算法和介数中心性（BC）的随机图。例如，我们的UTS无服务器实现能够以相同的成本超过Spark高达55%。我们还表明，使用相同数量的虚拟CPU，无服务器环境在BC算法中的性能可以超过大型EC2 10%。这提供了第一个具体的证据，表明高度并行的不规则工作负载可以使用纯无状态函数有效地执行，对用户几乎没有负担，即，用户无需了解不明显的系统级参数和优化。此外，我们还表明，UTS可以从FaaS按需付费计费模式中受益，这使得首次启用某些应用程序级优化具有价值，这些优化可以带来显着的改进（例如41%），而成本的增加可以忽略不计。
2022-06-30 cs.DC
Large-scale parallel server system with multi-component jobs
一类广泛的并行服务器系统被认为是，我们证明了服务器的工作负载的稳态渐近独立性，服务器的数量趋于无穷大，而系统的负载仍然是次临界的。到达作业由多个组件组成。存在多个作业类，并且每个类可以是两种类型中的一种，这确定了作业组件根据其向服务器添加工作负载的规则。该模型是广泛的，足以包括作为特殊情况下，一些流行的排队模型与冗余，如取消启动和取消完成冗余。我们的分析使用平均场过程表示和相应的平均场限制。从本质上讲，我们的方法几乎完全依赖于模型的三个基本属性：（a）单调性，（b）工作守恒，（c）平均而言，“新到达的工作负载更喜欢去工作负载较低的服务器”的属性。"
2020-12-17 cs.DC math.PR
A Case Study on Job Scheduling Policy for Workload Characterization and Power Efficiency
随着云计算的日益普及，云计算中心变得比以往任何时候都更加重要。典型的数据中心通常由大量通过网络连接的同构或异构服务器组成。不幸的是，这些服务器和网络设备往往利用率低，耗电量大。为了提高硬件资源的利用率并使其在嵌入式系统中具有功率效率，工作负载表征和分析是基础。在本文中，我们的特点和分析的作业到达率，到达时间，作业长度，功耗，和温度耗散在现实世界中的数据中心，通过使用统计方法。从表征中，我们发现工作负载中的独特功能可以用于优化调度中心的资源利用率和功耗
2014-05-14 cs.DC
$λ$-NIC: Interactive Serverless Compute on Programmable SmartNICs
人们对无服务器计算越来越感兴趣，这是一种云计算模型，可以自动化基础设施资源分配和管理，同时只对客户使用的资源进行计费。像流处理这样的工作负载受益于这些无服务器框架的高弹性和细粒度定价。然而，到目前为止，有限的并发性和服务器CPU的高延迟阻止了许多交互式工作负载（例如，Web服务器和数据库客户端）利用无服务器计算来实现高性能。在本文中，我们认为服务器CPU不适合运行无服务器工作负载（即，$λ$ -NIC是一个开源框架，它直接在SmartNIC上运行交互式工作负载;更具体地说，它是一个基于ASIC的NIC，由密集的网络处理单元（NPU）内核网格组成。$λ$ -NIC利用SmartNIC与网络的接近性和大量NPU内核，在单个NIC上同时运行数千个数据库，并具有严格的尾延迟保证。为了简化部署和开发，$λ$ -NIC公开了一个基于事件的编程抽象Match+Lambda和一个机器模型，允许开发人员在SmartPod上轻松编写和执行部署。我们的评估表明，$λ$ -NIC在工作负载的响应延迟和吞吐量方面分别实现了高达880倍和736倍的改进，同时显著降低了主机CPU和内存使用量。
2019-09-26 cs.DC cs.NI
OS Scheduling Algorithms for Improving the Performance of Multithreaded Workloads
主要的芯片制造商都推出了多核微处理器。从这些处理器构建的多插槽系统用于运行各种服务器应用程序。然而，据我们所知，当前的商业操作系统没有针对在这样的服务器上运行的多线程工作负载进行优化。缓存到缓存传输和远程内存访问会影响此类工作负载的性能。本文提出了一种统一的方法来优化操作系统调度算法的缓存到缓存传输和远程DRAM访问，也考虑到缓存的亲和力。通过观察每个调度量子中每个线程的本地和远程缓存到缓存传输以及本地和远程DRAM访问的模式，并应用不同的算法，我们提出了一个新的线程计划，为下一个量子考虑缓存亲和力。这种新的调度减少了下一个调度量的远程缓存到缓存传输和远程DRAM访问，并提高了整体性能。我们提出了两种算法的不同复杂度的优化缓存到缓存传输。其中之一是一种新的算法，该算法相对简单，并且在与优化远程DRAM访问的算法相结合时性能更好。为了优化远程DRAM访问，我们提出了两种算法。虽然这两种算法在算法复杂度上有所不同，但我们发现，对于我们的工作负载，它们的性能同样出色。我们使用三种不同的合成工作负载来评估这些算法。我们还进行了灵敏度分析，相对于不同的远程缓存到缓存传输延迟和远程DRAM延迟。我们表明，这些算法可以减少整体延迟高达16.79%，这取决于所使用的算法。
2018-10-21 cs.DC
Deep Reinforcement Learning for Online Latency Aware Workload Offloading in Mobile Edge Computing
由于物联网（IoT）设备的资源受限特征，将任务从IoT设备卸载到附近的移动边缘计算（MEC）服务器不仅可以节省IoT设备的能量，而且还可以减少执行任务的响应时间。然而，由于MEC服务器的有限计算资源，将任务卸载到最近的MEC服务器可能不是最佳解决方案。因此，联合优化卸载决策和资源管理至关重要，但仍有待探索。这里，卸载决策指的是在哪里卸载任务，并且资源管理意味着MEC服务器中有多少计算资源被分配给任务。通过考虑任务在通信队列和计算队列中的等待时间，（这被大多数现有的工作所忽略）以及任务优先级，我们提出了\ul{D} eep reinforcement l \ul{E} arning based offloading de \ul{C} Vision and r \ul{E} source manageme \ul{NT}（DECENT）算法，该方法利用优势参与者评价方法来优化卸载决策，并为每个到达的任务实时计算资源分配。时间，使得可以最小化累积加权响应时间。DECENT的性能通过不同的实验证明。
2022-10-29 cs.DC
Hydra: Hybrid Server Power Model
University of California Merced（加州大学默塞德分校）；San Jose State University（圣何塞州立大学）
随着需要大量数据和计算的大数据工作负载日益复杂，数据中心每天消耗大量电力。为了最大限度地减少数据中心的功耗，一些研究开发了可用于作业调度的功率模型，可以减少活动服务器的数量，也可以在服务器的峰值能效点平衡服务器上的工作负载。由于软件和硬件异构性的增加，我们观察到没有一个单一的功率模型可以在所有服务器条件下都发挥最佳作用。一些复杂的机器学习模型本身会导致性能和功率开销，因此不希望频繁使用它们。没有考虑容器化工作负载执行的功率模型。在本文中，我们提出了一个混合服务器功率模型，Hydra，同时考虑预测精度和性能开销。Hydra会根据给定的服务器条件动态选择最佳的功耗模型。与最先进的解决方案相比，Hydra在异构服务器上的所有计算强度级别上都表现出色。
2022-07-20 cs.DC cs.LG
QoS-Aware Power Minimization of Distributed Many-Core Servers using Transfer Q-Learning
Newcastle University（纽卡斯尔大学）
跨分布式系统扩展的Web服务器需要复杂的运行时控制，以提供服务质量（QoS）保证以及在动态工作负载下最小化能量成本。本文提出了一种QoS感知的运行时控制器，其协同地使用水平缩放（节点分配）和垂直缩放（节点内的资源分配）方法来提供对工作负载的适应，同时在QoS约束（即，响应时间）。水平缩放根据一组规则基于工作负载需求和所需的QoS来确定活动节点的数量。然后，它与使用转移Q学习的垂直缩放相耦合，这进一步使用动态电压/频率缩放（DVFS）基于工作负载简档来调整功率/性能。它在最小探索状态内传输Q值，减少了探索要求。此外，该方法利用众核服务器的可扩展架构，允许重用来自完全或部分探索节点的可用知识。当结合使用时，与无模型Q学习相比，这些方法可以减少探索时间和QoS违规。该技术平衡了设计时和运行时成本，以最大限度地提高可移植性和操作的最优性，通过持久的功率降低与最小的QoS违规下不同的工作负载情况下的异构多处理节点的服务器集群。
2021-02-02 cs.AI cs.DC
Quantifying the Carbon Reduction of DAG Workloads: A Job Shop Scheduling Perspective
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
本文从作业车间调度角度研究DAG工作负载的碳减排问题，通过建模和求解发现依赖意识方法能显著降低碳排放，且允许更长的完成时间可进一步提升碳节省效果。
2025-12-08 cs.DC
Distributed Load Balancing with Workload-Dependent Service Rates
Graduate School of Business, Columbia University（哥伦比亚大学商学院）；Department of Computer Science, Cornell University（康奈尔大学计算机科学系）；Google Research（谷歌研究院）
针对服务速率随工作负载变化的分布式系统，提出最大边际服务速率（GMSR）策略，通过仅依赖局部信息的分散决策实现全局最优延迟性能，并证明其收敛性和吞吐量最优性。
2026-06-16 cs.DC
Characterizing Workload of Web Applications on Virtualized Servers
随着云计算服务需求的不断增长，云资源的规划和管理成为一个越来越重要的问题，它直接影响到云资源的利用率、SLA和客户满意度。但在制定资源管理策略之前，对虚拟化环境中应用程序的工作负载有一个很好的了解是资源管理方法的基本事实和原则。不幸的是，这方面的工作很少。缺乏原始数据可能是一个原因;另一个原因是人们仍然使用非虚拟化环境下共享的传统模型或方法。虚拟化环境下的应用程序负载研究应该具有一些不同于非虚拟化环境的特点。在本文中，我们将分析反映应用程序行为和虚拟化影响的工作负载需求。这些结果是从运行Web应用程序的实验云测试平台中获得的，特别是RUBiS基准应用程序。我们分析了虚拟化和非虚拟化环境中的工作负载动态，并对结果进行了比较。实验结果对于我们评估应用程序在计算机体系结构上的性能、根据预计的应用程序工作负载预测SLA遵从性或违反性以及指导决策以使用正确的硬件来支持应用程序是有价值的。
2014-02-14 cs.DC cs.PF
A Comprehensive Analysis of Process Energy Consumption on Multi-Socket Systems with GPUs
针对共享HPC节点难以按进程核算能耗的问题，本文提出基于节点总能耗、进程占用及CPU/GPU指令类型概率向量的两个数学模型，CPU与GPU预测误差分别低至1.9%和9.7%。
2024-09-08 cs.DC cs.PF
Measurement-Driven Diagnosis and Mitigation of Host-CPU Co-location Interference in Single-GPU LLM Serving on a Multi-GPU Server
School of Software Technology, Zhejiang University（浙江大学软件学院）
针对单GPU LLM服务中主机CPU共置干扰问题，提出测量驱动的诊断程序CoTail，通过核心路径尾部指数和核心尾部抑制指标，筛选风险、分析尾部、选择OS级保护并验证SLO，显著提升吞吐量并降低延迟。
2026-09-09 cs.DC
Workload Behavior Driven Memory Subsystem Design for Hyperscale
针对云工作负载与通用基准行为不匹配、服务器架构未优化的问题，本文提出MemProf内存剖析工具，基于其对三类停顿原因的分析，提出共享微架构、高带宽小容量内存层等优化方案，并构建内存追踪工具提升预取器性能。
2023-05-02 cs.AR cs.DC
Energy-Aware Scheduling for Serverless LLM Serving on Shared GPUs
University of Pittsburgh（匹兹堡大学）；HPE Labs（惠普企业实验室）
针对无服务器LLM服务中多模型共享GPU带来的能耗优化难题，提出Festina系统，通过协同请求放置、SM分区和GPU工作点调整，在满足TTFT/TBT SLO前提下，实现集群能耗降低高达56%。
2026-10-13 cs.DC
Energy-aware Load Balancing Policies for the Cloud Ecosystem
计算机和通信系统的能耗并不与工作量成线性比例。即使在空闲或轻负载时，系统也会使用大量的能量。一个广泛报道的大型数据中心资源管理解决方案是将负载集中在服务器的子集上，并尽可能将其余服务器切换到可能的睡眠状态之一。我们提出了一个传统的负载均衡的概念，旨在优化大规模系统的能源消耗：{ \it均匀地分配工作负载的最小的一组服务器运行在一个最佳的能源水平，同时遵守QoS约束，如响应时间。}我们的模型适用于集群系统，该模型还要求在每个重新分配间隔的系统资源的需求以有界的速度增加。在本文中，我们报告了应用程序扩展的VM迁移成本。
2014-01-09 cs.DC
Performance Characterization of In-Memory Data Analytics on a Modern Cloud Server
在过去的十年中，数据分析已经从传统的基于磁盘的处理快速发展到现代的内存处理。然而，很少的努力一直致力于提高性能的微架构级别。本文描述了使用Apache Spark框架进行内存数据分析的性能。我们使用单节点NUMA机器，并确定阻碍工作负载可扩展性的瓶颈。我们还量化了各种数据分析工作负载在微架构级别的效率低下。通过实证评估，我们表明，火花工作负载不线性扩展超过12个线程，由于工作时间膨胀和线程级负载不平衡。此外，在微架构级别，我们观察到内存限制延迟是工作时间膨胀的主要原因。
2015-06-25 cs.DC cs.PF
Revisiting Parameter Server in LLM Post-Training
Sea AI Lab（海智实验室）；National University of Singapore（新加坡国立大学）
本文提出On-Demand Communication（ODC），通过优化参数服务器在LLM后训练中的应用，有效应对不平衡负载，提升设备利用率和训练效率。
2026-01-27 cs.AI cs.DC
A Minimum-Cost Flow Model for Workload Optimization on Cloud Infrastructure
计算、存储和网络领域的最新技术进步，以及组织在削减成本的同时保持对不断增长的服务需求的响应的需求增加，导致了云计算服务的采用增长。云服务提供了提高敏捷性、弹性、可扩展性和降低总拥有成本（TCO）的承诺。这项研究介绍了一个框架，通过使用线性规划（ILP）方法来优化工作负载分配到Amazon Web Services（AWS）云基础设施上的服务器，从而最大限度地降低成本和提高资源利用率。该模型是基于经典的最小成本流模型，被称为分配模型。
2017-07-28 cs.DC
The Merit of Simple Policies: Buying Performance With Parallelism and System Architecture
University of Rome Sapienza（罗马大学）
研究发现，在计算集群服务器数量变化时，平均作业响应时间达到最小值，且简单策略如Join Idle Queue在高并行度下性能与复杂策略相当，多阶段服务器集群进一步提升了性能。
2025-03-20 cs.DC
Efficient Distributed Workload (Re-)Embedding
现代网络系统越来越可重新配置，使需求感知的基础设施，其资源可以根据他们目前服务的工作负载进行调整。通过将频繁交互的通信伙伴移动得更近，例如，将它们配置在同一个服务器或数据中心。然而，动态地改变工作负载的嵌入在算法上是具有挑战性的：通信模式通常事先不知道，但必须学习。在学习过程中，与不必要的移动有关的管理费用（即，再嵌入）应最小化。本文研究了一个基本模型，该模型以在线方式在$\ell$服务器上动态配置通信伙伴的收益和成本之间进行权衡。我们的主要贡献是一个分布式在线算法，这是渐近几乎最优的，即，几乎匹配任何（分布式或集中式）在线算法的竞争比的下限（也在本文中导出）。作为一个应用程序，我们表明，我们的算法可以用来解决分布式联盟发现问题，其中集存储在多个服务器。
2019-04-10 cs.DC cs.DS cs.NI
Workload Scheduling on heterogeneous Mobile Edge Cloud in 5G networks to Minimize SLA Violation
智能设备已成为我们生活中不可或缺的一部分，并在几乎所有领域获得越来越多的适用性。诸如增强现实（AR）、自动驾驶和在线游戏等延迟感知应用需要更多的资源，例如网络带宽和计算能力。由于传统的移动网络无法满足所需的带宽和延迟，移动边缘云（MEC）应运而生，在5G网络上为用户提供云计算能力。在本文中，我们考虑了一个异构MEC网络与众多的移动用户，他们的任务发送到MEC服务器。每个任务都有一个可接受的最大响应时间。用户的非均匀分布使得一些MEC服务器成为热点，无法容纳更多用户。一种解决方案是在MEC服务器之间重新定位任务，称为“任务迁移”。我们制定这个问题的任务调度作为一个混合整数非线性优化问题，以尽量减少服务水平协议（SLA）的违规行为。由于解决这个优化问题具有较高的计算复杂性，我们引入了一个贪心算法，称为MESA，迁移启用调度算法，它达到一个接近最优的解决方案迅速。实验表明，在SLA违反方面，MESA与最优选择的平均距离和最差距离分别只有8%和11%。此外，与将任务分配给MEC服务器而不进行迁移相比，支持迁移的解决方案可以将SLA违规减少约30%。
2020-03-21 cs.DC cs.NI
Faabric: Fine-Grained Distribution of Scientific Workloads in the Cloud
由于其高度并行性和资源需求，许多科学应用程序都受益于云部署。如今，科学应用程序在专用的虚拟机池上执行，导致资源碎片化：用户为未充分利用的资源付费，而提供商无法在应用程序之间重新分配未使用的资源。虽然无服务器云计算可以解决这些问题，但其编程模型与科学应用程序中共享内存和消息传递的使用不兼容：无服务器函数在动态调度函数时不直接在同一VM上共享内存或支持消息传递语义。我们描述了Faabric，一个新的无服务器云运行时，透明地分发应用程序与共享内存和消息传递跨虚拟机。Faabric通过一种称为Granules的新执行抽象，以细粒度（线程/进程）的方式调度计算来实现这一点。为了支持共享内存，Granules使用WebAssembly隔离，但直接共享内存;为了支持消息传递，Granules提供异步点对点通信。Faabric调度Granules以满足应用程序的并行性需求。它还将更改同步到Granule的共享内存，并迁移Granule以提高局部性。
2023-02-22 cs.DC cs.OS
Hierarchical Server Architecture for Agentic Science
Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）
针对智能体科学的资源调度需求，提出分层动态架构及软件，借助秘书智能体在云、边缘和HPC系统中发现资源，经模拟验证其协商准确率达87.71%，选择成本与传统策略相当，可支持Genesis Mission。
2026-09-09 cs.AI cs.DC
Efficient Serverless Cold Start: Reducing Library Loading Overhead by Profile-guided Optimization
针对无服务器冷启动延迟问题，提出基于 Profile-guided Optimization 的工具 SLIMSTART，通过运行时调用路径分析与代码转换优化库加载，在初始化延迟、端到端延迟和内存使用上实现显著提升。
2025-04-27 cs.DC cs.PF
Performance Analysis of Deep Learning Workloads on Leading-edge Systems
Brookhaven National Laboratory（布鲁克海文国家实验室）
这项工作研究了为机器学习计算而设计的领先系统的性能，包括NVIDIA DGX-2、Amazon Web Services（AWS）P3、IBM Power System Accelerated Compute Server AC 922和消费级Exxact TensorEX TS 4 GPU服务器。来自计算机视觉和自然语言处理领域的代表性深度学习工作负载是分析的重点。性能分析与一些重要的维度一起进行。考虑了通信互连和大型高吞吐量深度学习模型的性能。还检查了系统作为独立和在云中的不同潜在使用模型。分析中包括对深度学习模型和系统配置的各种优化的效果。
2019-10-01 cs.DC cs.LG cs.PF
High Bandwidth Memory on FPGAs: A Data Analytics Perspective
由于现代工作负载的需求和随之而来的硬件专业化的必要性，基于FPGA的数据处理在数据中心越来越受欢迎。在这一趋势的推动下，供应商正在快速调整可重新配置的设备，以适应数据和计算密集型工作负载。在FPGA器件中包含高带宽存储器（HBM）是最近的一个例子。HBM承诺克服基于FPGA的加速器由于其面向吞吐量的设计而经常面临的带宽瓶颈。在本文中，我们从数据分析的角度研究了HBM在FPGA上的使用和优势。我们考虑了三种经常在面向分析的数据库中执行的工作负载，并在FPGA上实现它们，以显示它们在哪些情况下受益于HBM：范围选择，哈希连接和线性模型训练的随机梯度下降。我们将我们的设计集成到一个列式数据库（MonetDB），并显示从数据移动和分区相关的集成所产生的权衡。在某些情况下，基于FPGA+HBM的解决方案能够超过2插槽POWER9系统或14核XeonE5提供的最高性能，高达1.8倍（选择），12.9倍（加入）和3.2倍（SGD）。
2020-04-02 cs.AR cs.DC
Reinforced Workload Distribution Fairness
École Polytechnique（巴黎综合理工学院）；Princeton University（普林斯顿大学）
网络负载均衡器是数据中心的核心组件，它将工作负载分布在多个服务器上，从而有助于提供可扩展的服务。然而，当负载均衡器在动态环境中运行时，对应用程序服务器负载的监控有限，它们依赖于启发式算法，需要手动配置以实现公平性和性能。为了缓解这一问题，本文提出了一种分布式异步强化学习机制，在没有主动负载均衡器状态监控和有限网络观察的情况下，提高负载均衡器实现的工作负载分配的公平性。所提出的机制的性能进行评估，并与最先进的负载均衡算法在模拟器中进行比较，在配置与逐步增加的复杂性。初步结果表明，在基于RL的负载均衡算法的承诺，并确定额外的挑战和未来的研究方向，包括奖励功能的设计和模型的可扩展性。
2021-10-29 cs.AI cs.DC cs.NI
Hiku: Pull-Based Scheduling for Serverless Computing
本文提出Hiku拉取式调度算法，通过让空闲工作节点主动请求任务来解耦节点选择与任务分配，在开源FaaS平台上显著改善高并发下的响应延迟、冷启动频率、吞吐量和负载均衡。
2025-07-04 cs.DC cs.PF
Parameter Hub: a Rack-Scale Parameter Server for Distributed Deep Neural Network Training
University of Washington（华盛顿大学）；Microsoft Research（微软研究院）
分布式深度神经网络（DDNN）训练构成了一个日益重要的工作负载，经常在云中运行。更大的DNN模型和更快的计算引擎正在将DDNN训练瓶颈从计算转移到通信。本文描述了DDNN训练的特点，以精确地找出这些瓶颈。我们发现，及时的训练需要具有优化的网络堆栈和梯度处理管道的高性能参数服务器（PS），以及具有平衡的计算和通信资源的服务器和网络硬件。因此，我们提出了PHub，一个高性能的多租户，机架规模的PS设计。PHub共同设计PS软件和硬件，以加速机架级和分层跨机架参数交换，其API与许多DDNN培训框架兼容。与基于云的ImageNet工作负载的最先进的分布式训练技术相比，PHub提供了高达2.7倍的性能提升，每美元的吞吐量提高了25%。
2020-01-17 cs.DC cs.LG cs.NE
Adaptive GPU Resource Allocation for Multi-Agent Collaborative Reasoning in Serverless Environments
Department of Engineering Management and Systems Engineering, George Washington University, USA（工程管理与系统工程系，乔治华盛顿大学）
本文提出一种自适应GPU资源分配框架，通过动态分配资源降低延迟并提升效率，适用于无服务器环境下的多智能体协作推理任务。
2026-01-01 cs.AI cs.DC cs.MA
Architectural Impact on Performance of In-memory Data Analytics: Apache Spark Case Study
虽然集群计算框架正在不断发展以提供实时数据分析功能，但Apache Spark已经成为大数据分析的最前沿，成为批量和流数据处理的统一框架。然而，最近的研究在内存中的数据分析的微架构表征仅限于批处理工作负载。我们使用双套接字服务器上的硬件性能计数器比较Apache Spark中批处理和流处理工作负载的微架构性能。在我们的评估实验中，我们已经发现，批处理是流处理工作负载具有类似的微架构特征，并受到频繁的数据访问DRAM的延迟。对于数据访问，我们发现同时多线程可以有效地隐藏数据延迟。我们还观察到，（i）NUMA节点上的数据局部性可以平均提高10%的性能，（ii）禁用下一行L1-D预取器可以减少高达14%的执行时间，（iii）多个小执行器可以提供高达36%的加速比。
2016-04-28 cs.AR cs.DC cs.PF
Taming Cold Starts: Proactive Serverless Scheduling with Model Predictive Control
Umeå University（于默奥大学）；Elastisys AB（Elastisys公司）
本文提出基于模型预测控制的无服务器调度框架，通过预测调用和优化容器预热，有效缓解冷启动问题，降低尾延迟并减少资源消耗。
2026-01-13 cs.DC cs.PF
An Auto-Scaling Approach for Serverless Environments Based on a Multi-Expert Consensus Mechanism
针对无服务器环境自动缩放难题，提出依赖感知自动缩放框架，集成多种技术，通过识别重要函数、预测资源需求、多模型共识及成本感知控制进行缩放决策，实验证明该方法能有效降低预测误差并减少成本。
2026-08-11 cs.AI cs.DC cs.LG
Dynamic Physiological Partitioning on a Shared-nothing Database Cluster
传统的DBMS服务器通常在其大部分日常工作负载中过度配置，并且由于它们没有显示出足够好的能量比例，因此在未充分利用的情况下浪费了大量能量。一个小型（弱）服务器集群，其大小可以根据当前工作负载动态调整，为这些工作负载提供更好的能量特性。然而，平衡节点之间的利用率所必需的数据迁移是一项重要且耗时的任务，可能会消耗节省的能量。出于这个原因，需要一个复杂且易于调整的分区方案来促进动态重组。在本文中，我们采用了一种技术，最初创建的SMP系统，称为生理分区，在节点之间分布数据，可以很容易地重新分区数据，而不中断事务。我们动态分区数据库表的基础上节点的利用率和给定的能量约束，并比较我们的方法与物理分区和逻辑分区方法。为了量化可能的节能和查询运行时，它可以想象的缺点，我们评估我们的实验集群上的实现，并比较结果w.r.t.性能和能耗。根据工作负载的不同，我们可以在不牺牲太多性能的情况下大幅节省能源。
2014-07-02 cs.DB cs.DC
Workload-Aware DRAM Error Prediction using Machine Learning
技术的积极扩展可能有助于满足对更高存储容量和密度的日益增长的需求，但也使DRAM单元更容易出错。这样的现实引发了人们对DRAM行为建模的极大兴趣，以便提前预测错误或调整DRAM电路参数以实现能效和可靠性之间更好的权衡。现有的建模工作可能已经研究了使用定制FPGA设置的少数操作参数和温度对DRAM可靠性的影响，但是他们忽略了只能在真实系统上系统地研究的特定于工作负载的特性的综合影响。在本文中，我们提出了我们的工作负载相关的DRAM错误行为的研究结果，在一个真正的服务器考虑各种操作参数，如刷新率，电压和温度。我们发现，单比特和多比特错误的速率可能会因工作负载而变化8倍，这表明程序固有的特性会显著影响DRAM的可靠性。基于这一观察，我们从各种计算密集型、缓存和分析基准中提取了249个特征，如内存访问率、缓存未命中率、内存重用时间和数据熵。我们应用几种监督学习方法，建立了72个服务器级DRAM芯片的DRAM错误行为模型，使用内存操作参数和提取的程序固有特征。我们的研究结果表明，通过适当选择程序功能和监督学习方法，可以预测特定DRAM模块的单位和多位错误率，平均错误率小于10.5%，而传统工作负载未知错误模型的估计误差为2.9倍。
2020-03-17 cs.AR cs.DC
DYVERSE: DYnamic VERtical Scaling in Multi-tenant Edge Environments
Queen’s University Belfast（贝尔法斯特女王大学）
本文提出DYVERSE，一种轻量级动态垂直扩展机制，用于管理边缘环境中分配给应用的资源，以促进多租户环境。通过三种不同的优先级管理方法，DYVERSE减少了服务级别目标（SLO）的违反率，并在云边测试床上验证了其有效性。
2020-02-21 cs.DC cs.SY eess.SY
Carbon and Reliability-Aware Computing for Heterogeneous Data Centers
本文提出一种面向异构数据中心的跨分布式数据中心时空工作负载迁移综合优化框架，通过基于服务器预期寿命的隐含碳排放模型及考虑硬件、软件和工作负载故障的备份资源分配策略，在满足SLA的同时联合最小化运营与隐含碳排放，使总碳排放减少高达21%。
2025-04-01 cs.CE cs.DC cs.PF
Ecomap: Sustainability-Driven Optimization of Multi-Tenant DNN Execution on Edge Servers
School of Electrical, Computer and Biomedical Engineering, Southern Illinois University（南伊利诺伊大学电气、计算机与生物医学工程学院）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出可持续性驱动框架Ecomap，通过动态调整功率阈值、采用混合质量模型替换重负载DNN及transformer估计器优化工作负载映射，在保证延迟和功耗效率的同时显著降低边缘服务器碳排放。
2025-03-06 cs.DC cs.LG cs.PF
A strong law for the rate of growth of long latency periods in cloud computing service
云计算在客户之间共享一个公共资源池，其规模比传统的多用户系统大几个数量级。组成物理计算服务器被分配多个“虚拟机”（VM）以同时提供服务。理想情况下，每个VM用户都应该不受其他用户需求的影响。自然，这种环境为服务提供商在满足客户期望的同时从服务器资源中提取有效利用率带来了新的挑战。我们研究了一种新的云服务指标，该指标可以测量客户遭受的延迟或延迟。我们对云服务器的工作负载过程进行建模，并随着客户数量的增长分析该过程。描述了确保长段平均工作量不超过阈值所需的能力。云运营商可以使用这一点来提供服务保证，以避免长时间的延迟。作为分析的一部分，我们提供了一个统一的大偏差原则，是独立的利益的随机变量的集合。
2010-10-15 cs.DC math.PR math.ST
