dynamicMF: A Matrix Factorization Approach to Monitor Resource Usage in High Performance Computing Systems
高性能计算（HPC）设施由大量互连的计算单元（或节点）组成，这些计算单元（或节点）执行高度复杂的科学模拟以支持科学研究。实时监测这些设施对于确保系统以最高效率运行至关重要。这种系统通常使用各种测量和日志数据来监测，这些数据以规则的时间间隔捕获系统内各种组件的状态。随着现代HPC系统在容量和复杂性方面的增长，由当前资源监视工具产生的数据的规模使得分析师不再能够进行可视化监视。我们提出了一种方法，将资源监控工具的多维输出转换为低维表示，便于理解的高性能计算（HPC）系统的行为。该方法能够自动提取数据中的低维信号，用于跟踪系统效率和识别性能异常。该方法将资源使用数据建模为三维张量（捕获所有计算节点随时间的不同资源的资源使用）。一个动态矩阵分解算法，称为dynamicMF，提出了提取一个低维的时间信号为每个节点，这是随后送入异常检测器。从德克萨斯州高级计算中心的Lonestar 4系统收集的资源使用数据的结果表明，所识别的异常与系统日志消息中报告的实际异常事件相关。
2018-09-26 cs.DC
Intelligent Proactive Fault Tolerance at the Edge through Resource Usage Prediction
Harokopio University of Athens（雅典哈罗科皮奥大学）；National Technical University of Athens（雅典国立技术大学）；Ecole de technologie superieure（高等技术学院）
要求苛刻的应用程序和边缘计算的激增需要对底层计算基础设施进行有效管理，促使提供商重新考虑其运营方法。在本文中，我们提出了一种智能主动容错（IPFT）的方法，利用边缘资源使用预测，通过递归神经网络（RNN）。更具体地说，我们专注于过程故障，这是与基础设施无法提供服务质量（QoS）在可接受的范围内，由于缺乏处理能力。为了应对这一挑战，我们提出了一种复合深度学习架构，该架构预测边缘节点的资源使用指标，并触发主动节点复制和任务迁移。考虑到边缘计算基础设施也是高度动态和异构的，我们提出了一种创新的混合贝叶斯演化策略（HBES）算法，用于自动适应资源使用模型。所提出的资源使用预测机制已被实验评估，并与其他国家的最先进的方法相比，显着改善的均方根误差（RMSE）和平均绝对误差（MAE）。此外，利用资源使用预测的IPFT机制已在CloudSim Plus中进行了广泛的模拟评估，结果显示与反应式容错方法相比，在可靠性和可维护性方面有显着改善。
2023-02-09 cs.AI cs.DC
A General Framework for Static Profiling of Parametric Resource Usage
传统的静态资源分析是在不执行程序的情况下估计程序的总资源使用量，本文提出了一种新的资源分析方法，其目的是对累积成本进行静态分析，即，对于节目的选定部分，发现在这些部分中的每一个中累积的资源使用的估计或界限。传统的资源分析是参数化的，因为结果可以是输入数据大小的函数。我们的静态分析也是参数化的，即，我们的累积成本估计也由输入数据大小参数化。我们的建议是基于成本中心的概念和一个程序转换，允许静态推断的功能，返回这些累积的成本取决于输入数据大小的界限，为每个成本中心的利益。这样的信息比传统的资源使用函数对软件开发者更有用，因为它允许识别应该被优化的程序的部分，因为它们对程序执行的总成本的影响更大。我们还报告了我们的实施所提出的技术使用CiaoPP程序分析框架，并提供了一些实验结果。本文件正在考虑被TPLP接受。
2016-10-17 cs.DC cs.PL
An NBDMMM Algorithm Based Framework for Allocation of Resources in Cloud
云计算是计算领域中的技术进步，并且通过经由互联网连接提供诸如网络、存储、计算能力和服务器的计算资源作为服务，使计算的效用愿景更进一步。这些服务以按使用付费的方式提供给用户，取决于云用户对这些资源的使用量。由于这些资源的使用是以弹性的方式进行的，因此这些资源的按需供应是整个云计算基础设施背后的驱动力，因此这些资源的维护是必须考虑的决定性任务。最后，基础设施级别的性能监控和增强也很重要。本文提出了一个框架，在基于云的环境中的资源分配，从而导致在云环境中的性能的基础设施水平的增强。该框架分为四个阶段第一阶段：云服务提供商监控基础设施级别的资源使用模式和云用户的行为。阶段2：向云服务提供商报告有关使用情况的监控活动。第三阶段：第四阶段：为云用户分配资源或提供服务，从而实现基础设施级别的性能增强和资源的高效管理。资源使用模式分析被认为是服务提供商合理分配资源的重要因素，本文使用Google集群跟踪来访问云中的资源使用模式。在cloudsim仿真框架上进行了实验，实验结果表明NBDMMM算法能够有效地提高虚拟云中的资源分配效率。
2014-12-27 cs.DC
Analysis and Clustering of Workload in Google Cluster Trace based on Resource Usage
在过去的几年里，云计算已经引起了商业组织、研究团体、开发人员和其他个人的兴趣。为了推进数据管理领域的研究和这些数据的处理，我们需要基准数据集和可公开访问的免费数据。Google在2011年5月发布了一个11 k机器集群的跟踪，称为Google Cluster Trace。这个跟踪包含了大约29天的单元格信息。本文提供了这个跟踪中的资源使用和需求分析，并试图深入了解这种类似于云环境中的生产跟踪。本文的主要贡献包括基于资源使用情况、工作流模式的聚类以及基于k-means聚类的工件分类等，虽然已有较早的工作对这一轨迹进行了分析，但我们的分析提供了几个新的发现，如生产轨迹中的工件是三峰的，长工件类型中的任务存在对称性
2015-01-07 cs.DC
Stringer: Balancing Latency and Resource Usage in Service Function Chain Provisioning
网络功能虚拟化（NFV）使电信基础设施提供商能够用运行虚拟化网络功能（VNF）的商品服务器取代专用网络设备。利用NFV技术的服务提供商面临将VNF实例分配给物理基础设施（例如，数据中心）和路由服务功能链（客户所需的功能序列，也称为SFC）在物理网络中。在这样做时，提供者必须在性能和资源使用的各种竞争目标之间进行平衡。我们提出了一种方法，为证监会提供，包括三个要素。第一个要素是快速、可扩展的循环启发式。第二个要素是基于混合可编程（MIP）的方法。第三个要素是一个延迟理论模型，用于估计与任何SFC配置解决方案相关的平均延迟。结合这些元素，创建一种方法，生成一组SFC配置解决方案，反映资源使用和性能之间的不同权衡。
2016-06-09 cs.DC cs.NI
Resource Usage Analysis of Logic Programs via Abstract Interpretation Using Sized Types
提出了一种基于大小类型的逻辑程序通用资源分析方法。大小类型是包含结构（形状）信息的表示，并允许在任何位置和深度表达一组术语及其子术语的大小的下限和上限。它们还允许在逻辑谓词中不同论元位置出现的术语和子术语的大小相关。使用这些大小的类型，资源分析可以推断的下限和上限的资源使用的程序中的所有程序作为输入项（和子项）的大小的函数，克服现有的资源分析的局限性，提高其精度。我们的新资源分析已经开发的抽象解释框架内，作为大小类型抽象域的扩展，并已集成到Ciao预处理器，CiaoPP。抽象域操作集成的递归方程的建立和求解，用于推断大小和资源使用函数。我们表明，该分析是一个改进，在CiaoPP目前的资源分析和比较以及功率的最先进的系统。
2014-05-16 cs.DC cs.PL
Thesis Report: Resource Utilization Provisioning in MapReduce
在这篇论文中，我们有一个调查国家的最先进的方法来建模MapReduce应用程序的资源利用率方面的配置参数。在文献中的算法之一的实施后，我们试图发现，如果CPU使用率建模的MapReduce应用程序可以用来预测CPU使用率的另一个MapReduce应用程序。
2012-03-20 cs.DC
Flex: Closing the Gaps between Usage and Allocation
数据中心是互联网数据和服务的巨型工厂。全球数据中心消耗的能源和排放的排放量超过航空业。不幸的是，大多数数据中心都没有得到充分利用。其中一个主要原因是实际使用和供应的资源之间的巨大差距，因为用户倾向于高估他们的需求，并且数据中心运营商经常依赖于用户对资源分配的请求。在本文中，我们首先进行了深入的分析，谷歌集群跟踪揭示低利用率的根本原因，并强调了巨大的潜力，以改善它，然后我们开发了一个在线资源管理器Flex，以最大限度地提高集群的利用率，同时满足服务质量（QoS）。基于真实世界跟踪的大规模评估表明，与传统路由器相比，Flex在保持QoS的同时，可接受高达1.74倍的请求和1.6倍的利用率。
2020-06-02 cs.DC cs.NI cs.OS
Capacity Planning and Scheduling for Jobs with Uncertainty in Resource Usage and Duration
AI Research（AI研究）；J.P. Morgan（摩根大通）；CIB Athena Applied Intelligence（CIB Athena应用智能）
本文针对本地网格计算环境中的作业容量规划与调度问题，提出基于确定性估计器和配对采样约束规划的近似方法，以同时最小化资源使用并保证服务质量，在金融行业资源使用和作业时长不确定条件下显著降低峰值资源使用。
2025-07-21 cs.AI cs.DC
Simulation of Resource Usage in Parallel Evolutionary Peptide Optimization using JavaSpaces Technology
多肽优化是一个非常复杂的问题，它需要很长的计算时间。此优化过程使用运行GNU/Linux操作系统的集群中执行特殊任务的许多软件应用程序。组织整个优化过程的应用程序已经开发出来，即SEPP（肽/聚合物进化帕累托优化系统）。单个肽优化需要大量的计算时间来产生一定数量的个体。但是，可以通过增加并行度以及集群中的节点（处理器）数量来加速。在这篇硕士论文中，我建立了一个模型，模拟程序的相互作用，以便可以确定每个资源（处理器）的使用情况，以及整体优化过程所需的近似时间。进化算法主要有两种，即基于代数的进化算法和稳态进化算法。每个进化算法的结果显示的基础上的模拟。此外，还通过使用不同的参数（并行度和处理器的数量）在模拟的结果进行了比较，给出了一个概述的优点和缺点的算法在计算时间和资源使用。该模型使用JavaSpaces技术建立。
2009-09-13 cs.DC cs.PF
KS+: Predicting Workflow Task Memory Usage Over Time
KS+通过动态分割任务执行并预测各分段内存需求，解决工作流任务内存消耗随输入和时间波动导致的静态配置浪费问题，在真实工作流上相比最优基线平均减少38%内存浪费。
2024-10-01 cs.DC
Efficient Resource Allocation in Mass Customization based on Service Oriented Architecture
大规模定制是通过实现高度的过程集成和灵活性，为所有客户提供独特设计的产品和服务的现象。它已被许多公司用作竞争手段。在大规模定制中充分的资源实施-特别是在资源使用方面，因此在有效响应和满足期限方面满足客户的要求，同时提供高可扩展性非常重要。提出了一种解决大规模定制柔性制造系统中资源分配问题的体系结构，通过建立提前预订系统和调度算法来有效地利用产品。
2017-02-11 cs.DC
Decoupling GPU Programming Models from Resource Management for Enhanced Programming Ease, Portability, and Performance
应用程序资源规范--一个静态的参数规范，如线程数量和每个线程块的暂存器内存使用量--形成了现代GPU编程模型的关键组成部分。该规范确定了应用程序在执行期间的并行性，从而确定了应用程序的性能，因为相应的片上硬件资源是基于该规范分配和管理的。软件提供的资源规范和硬件中的资源管理之间的这种紧密耦合导致了编程简易性、可移植性和性能方面的重大挑战。Zorua是一个新的资源虚拟化框架，它将程序员指定的GPU应用程序的资源使用与片上硬件资源的实际分配相结合。Zorua通过对程序员透明地虚拟化每个资源来实现这种解耦。我们证明，通过提供更多的资源比物理上可用的通过控制和协调的虚拟化的错觉，Zorua提供了几个重要的好处：（一）编程容易。Zorua减轻了程序员的负担，提供了经过优化以有效利用物理可用的片上资源的代码。(ii)便携性。Zorua强调了在跨GPU代移植应用程序时重新调整应用程序资源使用的必要性。(iii)性能通过动态分配资源并在必要时仔细超额订阅，Zorua提高或保持了已经高度调整以最佳利用资源的应用程序的性能。
2018-05-02 cs.DC
Parsimonious Edge Computing to Reduce Microservice Resource Usage
云计算（CC）是通过互联网提供服务的最流行的范例。其成功的最相关特征是其根据用户需求迅速扩展服务的能力。扩展时，主要目标是尽可能提高服务性能。此外，云中的资源通常非常丰富，从服务的角度来看，可以假设它们是无限的：应用程序提供商可以拥有任意数量的服务器，只要它支付费用。首先，能源效率并不是扩展决策的首要标准，这引起了人们对当今云计算的环境影响的担忧。此外，它对于边缘计算（EC）是不可行的，边缘计算是一种将计算资源分布到网络边缘的范例，即，与基站或接入点位于同一地点。在边缘节点，资源是有限的，这迫使不同的节俭的缩放策略被采用。在这项工作中，我们设计了一个扩展策略，旨在实例化，简约，一些微服务足以保证一定的服务质量（QoS）目标。我们在Kubernetes/Docker环境中实现了这样的策略。该策略是基于一个简单的比例积分微分（PID）控制器。在本文中，我们描述了系统的设计和初步的性能评估。
2021-09-06 cs.DC cs.NI
A Holistic Analysis of Datacenter Operations: Resource Usage, Energy, and Workload Characterization -- Extended Technical Report
改善数据中心运营对于数字社会至关重要。我们认为，这样做需要我们的社区从孤立的运营方面转变为对数据中心资源、能源和工作负载的整体分析。反过来，这种转变将需要新的分析方法，以及具有精细时间和空间粒度的开放访问FAIR数据集。在这项工作中，我们利用一个（罕见的）公共数据集提供数据中心操作的细粒度信息。使用它，我们展示了强有力的证据，细粒度的信息揭示了新的业务方面。然后，我们提出了一种方法，对数据中心的操作进行整体分析，提供节点，能源和工作负载方面的统计特征。我们展示了我们的整体分析方法的好处，通过将其应用到具有300多个节点的数据中心基础设施的操作。我们的分析揭示了通用和ML特定方面，并进一步详细说明了数据中心的运营行为在2020年COVID-19大流行期间的变化。我们进行了30多项主要观察，为大型公共科学基础设施的长期运作提供了全面的见解。我们建议这样的观察可以立即帮助性能工程任务，如预测未来的数据中心负载，并长期与数据中心基础设施的设计。
2021-07-25 cs.DC
On Modelling and Prediction of Total CPU Usage for Applications in MapReduce Environments
最近，企业已经开始使用MapReduce作为一种流行的计算框架来处理大量数据，例如垃圾邮件检测，以及公共云和私有云中的不同数据采掘任务。在这样的环境中，两个具有挑战性的问题是（1）为MapReduce配置参数选择合适的值-例如，映射器的数量、缩减器的数量和DFS块大小，以及（2）预测用户应该从服务提供商租用的资源量。目前，选择配置参数和估计所需资源的任务完全是用户的责任。在本文中，我们提出了一种方法来提供总的CPU使用在MapReduce环境中的作业的时钟周期。对于MapReduce作业，时钟周期中的总CPU使用率的简档是从作业过去的执行中构建的，其中具有两个配置参数的不同值，例如，映射器的数量和缩减器的数量。然后，多项式回归被用来模拟这些配置参数和总的CPU使用的工作的时钟周期之间的关系。我们还简要地研究了输入数据缩放对测量的总CPU使用率在时钟周期的影响。这个导出的模型与缩放结果一起可以用于提供具有不同输入数据大小的相同作业的时钟周期中的总CPU使用率。我们验证我们的模型使用三个现实的应用程序的准确性（WordCount的，WARTOM的主日志解析，和TeraSort）。结果表明，在我们的20个节点的虚拟Hadoop集群中，生成的资源配置选项的时钟周期中的预测总CPU使用率小于时钟周期中的测量总CPU使用率的8%。
2012-07-27 cs.DC cs.PF
Economic Models for Management of Resources in Grid Computing
网格和对等计算的快速发展使其成为有前途的下一代计算平台。它们可以创建虚拟企业（VE），以共享分布在世界各地的资源。然而，这些环境中的资源管理、应用程序开发和使用模型是一项复杂的任务。这是由于不同组织拥有的资源的地理分布。这些资源中的每一个的资源所有者具有不同的使用或访问策略和成本模型，以及变化的负载和可用性。为了解决复杂的资源管理问题，我们提出了一个计算经济的资源分配和调节供应和需求的网格计算环境中的框架。该框架提供了通过交易和中介服务优化资源提供者和消费者目标函数的机制。在现实世界的市场中，存在各种经济模型，用于根据供求关系及其对用户的价值来设定商品价格。它们包括商品市场、标价、招标和拍卖。在本文中，我们将讨论使用这些模型的网格组件之间的互动，在决定资源的价值和必要的基础设施，以实现它们。除了网格计算系统提供的常规服务之外，我们还需要一个基础设施来支持交互协议、分配机制、货币、安全银行和强制服务。此外，我们展示了使用这些经济模型中的一些资源经纪人通过Nimrod/G的最后期限和基于成本的调度两种不同的优化策略上的万维网（WWG）的测试平台。
2001-06-11 cs.DC
Zorua: Enhancing Programming Ease, Portability, and Performance in GPUs by Decoupling Programming Models from Resource Management
应用程序资源规范--线程数量和每个线程块的暂存器内存使用率等几个参数的静态规范--形成了现有GPU编程模型的关键组成部分。此规范决定了应用程序在执行期间的性能，因为相应的片上硬件资源完全基于此规范进行分配和管理。软件提供的资源规范和硬件资源管理之间的这种紧密耦合导致编程的易用性，可移植性和性能的重大挑战，因为我们在这项工作中证明。我们在这项工作中的目标是减少软件提供的资源规范的性能的依赖，同时减轻上述挑战。为此，我们介绍了Zorua，一个新的资源虚拟化框架，它将程序员指定的GPU应用程序的资源使用从片上硬件资源的实际分配中分离出来。Zorua通过对程序员透明地虚拟化每个资源来实现这种解耦。我们证明，通过提供更多的资源比物理可用的错觉，Zorua提供了几个重要的好处：（一）编程容易：Zorua减轻了程序员的负担，提供的代码是调整，以有效地利用物理可用的片上资源。(ii)可移植性：Zorua强调了在跨GPU代移植应用程序时重新调整应用程序资源使用的必要性。(iii)性能表现：通过动态分配资源并在必要时仔细超额订阅，Zorua提高或保持了已经高度调整以最佳利用资源的应用程序的性能。Zorua提供的整体虚拟化还有许多其他潜在用途，我们将在本文中介绍。
2018-02-07 cs.AR cs.DC
DeepPlace: Learning to Place Applications in Multi-Tenant Clusters
Adobe Research（奥多比研究院）；IIT Kharagpur（印度理工学院卡哈拉格普尔分校）；IIT Bombay（印度理工学院孟买分校）；IIT Roorkee（印度理工学院鲁尔基分校）；Oakridge National Lab（奥克里奇国家实验室）
大型多租户生产集群通常必须处理具有各种复杂资源使用特征的各种作业和应用程序。手动创建用于调度的放置规则来决定哪些应用程序应该协同定位是不平凡的和非最佳的。在本文中，我们提出了DeepPlace，一种调度器，它使用深度强化学习（Deep RL）来学习利用应用程序的各种时间资源使用模式，以减少在同一台机器上运行的作业之间的资源竞争，同时优化整体集群利用率。
2019-07-30 cs.DC cs.LG stat.ML
Distributedness based scheduling
本文提出一种基于资源使用量级和模式标签的 Kubernetes 调度策略，通过计算分布度因子优化 Pod 放置并支持模拟重调度，以提升云原生集群的资源均衡性和利用效率。
2025-06-03 cs.DC
Battery draining attacks against edge computing nodes in IoT networks
许多物联网设备，特别是部署在网络边缘的设备，其电源资源有限。许多攻击旨在耗尽这些资源并耗尽这些边缘节点的电池。在这项工作中，我们研究了各种电池消耗攻击对边缘节点的影响。通过仿真，我们阐明了这种攻击能够在多大程度上增加使用，从而浪费边缘节点的功率资源。具体来说，我们在ContikiOS中实现了hello flooding、packet flooding、选择性转发、rank attack和versioning attack，并在Cooja模拟器中进行了模拟，测量并报告了一些时间和功率资源使用指标，包括CPU时间、低功耗模式时间、TX/RX时间和电池消耗。此外，我们测试了拉伸攻击与三个不同的电池作为一个极端的情况。我们广泛的测量使我们能够比较这些攻击的有效性。我们的研究结果表明，版本控制攻击是最严重的攻击，在耗尽网络的功率资源，其次是数据包洪水和Hello洪水攻击。此外，我们确认，选择性转发和排名攻击是不能够大大增加我们的方案中的电力资源的使用。通过量化这些攻击的影响，我们证明了在特定场景下，版本控制攻击在浪费网络资源方面的效率可以是Packet Flooding和Hello Flood攻击的三到四倍，而Packet Flooding在CPU和TX时间使用率增加方面通常与Hello Flood相当，但在消耗设备电池方面是Hello Flood的两倍。
2020-02-04 cs.CR cs.DC
Efficient Task Replication for Fast Response Times in Parallel Computation
数据中心大规模分布式计算的一个典型用例是将计算作业分解为许多独立的任务，并在不同的机器上并行运行它们，有时被称为“令人尴尬的并行”计算。对于这种类型的计算，一个挑战是每个机器执行任务的时间是固有的可变的，并且总的响应时间受到最慢机器的执行时间的约束。为了解决这个问题，系统设计者引入了任务复制，它将相同的任务发送到多台机器，并从第一台完成的机器获得结果。虽然任务复制减少了响应时间，但它通常会增加资源使用。在这项工作中，我们提出了一个理论框架来分析之间的权衡响应时间和资源使用。我们表明，虽然在一般情况下，有一个响应时间和资源使用之间的紧张局势，存在的情况下，复制任务明智地减少完成时间和资源使用量同时。给定机器的执行时间分布，我们调查的调度策略，以实现最佳的性能权衡的条件，并提出有效的算法来搜索最佳或接近最佳的调度策略。我们的分析提供了见解，何时以及为什么复制的帮助，这可以用来指导调度器设计在大规模分布式计算系统。
2014-04-04 cs.DC
Low-level I/O Monitoring for Scientific Workflows
本文研究科学工作流在分布式环境中的低层 I/O 监控问题，提出通过关联低层追踪元数据与 Kubernetes 任务日志信息，在逻辑任务层面分类 I/O 行为，从而识别最值得优化的低效任务。
2024-08-01 cs.DC
Dynamic Resource Allocation for Metaverse Applications with Deep Reinforcement Learning
University of Technology Sydney（悉尼科技大学）；La Trobe University（乐卓博大学）；Nanyang Technological University（南洋理工大学）；Auburn University（奥本大学）
这项工作提出了一种新的框架，以动态和有效地管理和分配不同类型的资源的Metaverse应用程序，预计需要大量的各种类型的资源，从来没有见过。具体而言，通过研究Metaverse应用程序的功能，我们首先提出了一种有效的解决方案，将应用程序分组，即Metaverse，其中共同的功能可以在应用程序之间共享，以提高资源的使用效率。然后，捕捉的实时性，动态性和不确定性的请求到达和应用程序离开的过程中，我们开发了一个半马尔可夫决策过程为基础的框架，并提出了一种智能算法，可以逐步学习最佳的接纳策略，以最大限度地提高收入和资源使用效率的Metaverse服务提供商，同时提高Metaverse用户的服务质量。大量的模拟结果表明，我们提出的方法可以实现高达120%的收入增加的Metaverse服务提供商和高达178.9%的接受概率Metaverse应用程序请求比其他基线。
2023-02-27 cs.DC cs.LG cs.NI
Priority Matters: Optimising Kubernetes Clusters Usage with Constraint-Based Pod Packing
University of Southern Denmark（南丹麦大学）；University of Bologna（博洛尼亚大学）
针对Kubernetes默认调度器启发式算法导致的次优放置与资源碎片化问题，提出基于约束规划的插件式后备方案，通过OR-Tools求解器在不同调度窗口下提升高优先级Pod放置率并验证默认调度器最优性。
2025-11-11 cs.DC
Allocation of Fungible Resources via a Fast, Scalable Price Discovery Method
我们考虑分配或分配资源给一组工作的问题。我们考虑的情况下，资源是可互换的，也就是说，工作可以用任何混合的资源，但不同的效率。在我们的公式中，我们最大限度地提高总效用的资源使用，这是一个凸优化问题，所以是听话的限制。在本文中，我们开发了一个自定义的，可并行化的算法来解决资源分配问题，规模大的问题，数百万的工作。我们的算法是基于对偶问题，其中与资源使用限制相关的对偶变量可以解释为资源价格。我们的方法在每次迭代中更新资源价格，最终发现最优资源价格，从中获得最优分配。我们提供了我们方法的开源实现，它可以在几秒钟内在CPU上解决数百万个作业的问题，在GPU上不到一秒钟;我们的软件可以在毫秒内解决较小的问题。在大型问题上，我们的实现比凸优化的数学求解器快三个数量级。
2021-04-18 cs.DC math.OC
A Self-adaptive Approach for Managing Applications and Harnessing Renewable Energy for Sustainable Cloud Computing
托管服务快速采用云计算及其成功主要归功于其具有吸引力的功能，如弹性，可用性和按需付费定价模式。然而，云数据中心消耗的大量能源使其成为碳排放增长最快的来源之一。提高能源利用效率的途径包括提高资源利用率，减少资源浪费;采用可再生能源作为能源供应。这项工作旨在通过减少棕色能源的使用和最大限度地使用可再生能源来减少数据中心的碳足迹。利用微服务和可再生能源，我们提出了一种自适应的方法来管理交互式工作负载和批量工作负载的资源。为了保证工作负载的服务质量，提出了一种基于欠压的交互式工作负载调度算法和一种基于延迟的批处理工作负载调度算法。我们已经实现了所提出的方法在一个原型系统中，并评估它与Web服务下真正的痕迹。结果表明，我们的方法可以减少21%的棕色能源的使用和提高10%的可再生能源的使用。
2020-08-31 cs.DC
Optimisation of ATLAS computing resource usage through a modern HEP Benchmark Suite via HammerCloud and Big PanDA
本文利用HammerCloud和PanDA在136个站点部署增强型HEP Benchmark Suite，系统评估HEPScore23基准下ATLAS计算资源的实际性能与声明能力差异，识别配置问题并优化资源使用效率。
2025-02-07 cs.DC hep-ex
Improved Cloud resource allocation: how INDIGO-DataCloud is overcoming the current limitations in Cloud schedulers
执行有效的资源供应是任何资源提供者的基本方面。本地资源管理系统（LRMS）已经在数据中心中使用了几十年，以便获得资源的最佳使用，为用户提供资源的公平使用和分区。相比之下，当前的云计算服务器通常基于先到先得的基础上立即分配资源，这意味着如果没有资源（例如OpenStack），请求将失败，或者它将按照进入时间进行排队（例如OpenNebula）。此外，这些调度策略基于资源的静态分区，这意味着即使有空闲资源分配给其他项目，也不能超过现有配额。这是云实例与最大执行时间不相关联的事实的结果，并导致资源未被充分利用的情况。INDIGO-DataCloud项目认为这些事实过于简单，无法有效地适应科学工作负载，导致资源利用不足，这是科学数据中心不理想的情况。在这项工作中，我们将介绍INDIGO项目第一年在进度安排方面所做的工作以及可预见的进展。
2017-07-20 cs.DC
An Efficient Online Prediction of Host Workloads Using Pruned GRU Neural Nets
本文提出一种基于剪枝GRU的多变量多步主机负载在线预测模型，利用L1范数与随机剪枝提升预测速度，并通过在线学习适应新旧工作负载模式。
2023-04-25 cs.DC
Real-time Optimization of Simulation and Data Processing Pipelines for Experiments on Exascale Computing Platforms
Enrico Fermi Institute University of Chicago（芝加哥大学恩里科·费米研究所）；Argonne Leadership Computing Facility Argonne National Laboratory（阿贡国家实验室阿贡领导计算设施）
针对百亿亿次平台上大规模实验工作流，提出多阶段任务调度方法，并以SBND蒙特卡洛流水线为例，提供建模工具以优化资源利用。
2026-10-05 cs.DC
A Workload Analysis of NSF's Innovative HPC Resources Using XDMoD
性能表征是高性能计算（HPC）系统性能分析的重要组成部分。对工作负载属性的理解有助于了解资源利用率，并可用于在软件和系统配置级别上进行性能优化。它可以提供有关计算科学使用模式如何变化的信息，这可能有助于更广泛的HPC生态系统的整体容量规划。在这里，我们报告的超级计算机组合的详细工作负载分析的结果，包括NSF创新HPC计划，以表征其过去和当前的工作负载，并寻找趋势，以了解如何支持广泛的计算科学研究组合的性质，以及它如何随着时间的推移而变化。工作负载分析还试图说明在这些系统上运行的作业的各种使用模式和性能要求。对于作业级性能数据可用的所有系统，还研究了文件系统性能、内存利用率和用户采用的并行类型（MPI、线程等）。
2018-01-12 cs.DC
Usage of Cloud Computing Simulators and Future Systems For Computational Research
云计算是一种基于互联网的计算，其中共享资源、软件和信息按需提供给计算机和设备，如电网。目前，IaaS（基础设施即服务）、PaaS（平台即服务）和SaaS（软件即服务）被用作云计算的商业模式。如今，云计算的采用和部署正在各个领域中增加，迫使研究人员在全球范围内进行云计算领域的研究。发展中国家的科研人员要评价科研成果，就必须营造良好的科研环境。目前，建模、仿真技术和对各高校数据中心资源的访问已经成为云计算研究的有力工具。多所大学专门开发了几个云模拟器来进行云计算研究，包括CloudSim、SPECI、Green Cloud和Future Systems（印第安纳大学的机器India、Bravo、Delta、Echo和Foxtrot），支持前沿数据科学研究和广泛的计算教育，以及云和HPC系统的集成。本文对现有的云计算模拟器和未来系统的特点、适用性、适应性和学习曲线进行了回顾和分析。
2016-04-30 cs.DC
