An Economic-based Resource Management and Scheduling for Grid Computing Applications
在网格计算环境中,资源管理和调度是实现资源高效利用的关键。在网格系统中,由于资源的异构性,应用程序的调度是一项非常复杂和具有挑战性的任务。在这方面的研究大多集中在提高网格系统的性能。基于可分负载理论,针对不同类型的工作负载和单个源处理器,已经提出了一些分配模型。本文介绍了一种新的资源分配模型,该模型以多个负荷源处理机作为经济模型。通过线性规划方法,得到了以电网用户成本最小为目标的最优负荷分配方案。结果表明,该资源分配模型能够有效地将工作负载分配到合适的资源上。实验结果表明,该模型在成本和时间上都得到了较好的解决方案。
2010-04-20 cs.DC
Dynamic scheduling of virtual machines running hpc workloads in scientific grids
采用虚拟化的主要动机是资源隔离、容量管理和资源定制,允许资源提供商将其资源整合到虚拟机中。已经采取了各种方法来将虚拟化集成到科学网格中,特别是在高性能计算(HPC)的领域中,以在虚拟机中运行网格作业,从而能够更好地提供底层资源并在运行时定制执行环境。尽管有这些好处,但虚拟化层也会带来性能损失,而且还没有很好地理解这种开销将如何影响系统的性能,其中作业的调度时间很紧。由于这种开销会改变工作负载的类型,无论它们是内存密集型,CPU密集型还是网络I/O绑定,并且可能导致系统中运行作业的不可预测的截止日期估计。在我们的研究中,我们试图通过开发一种智能调度技术来解决这个问题,该技术用于监控虚拟机的工作负载类型和最后期限,并实时的计算系统开销,以最大限度地提高在商定的最后期限内完成的作业数量。
2010-09-24 cs.DC cs.DS cs.PF
Bitcoin's Carbon Footprint Revisited: Proof of Work Mining for Renewable Energy Expansion
针对PoW挖矿高能耗争议,本文系统梳理了挖矿为电网提供柔性负荷响应服务的优劣势,证实可再生能源驱动的比特币挖矿可产生净脱碳效应,为区块链能源争议提供新视角。
2023-07-19 cs.CR cs.DC
Using ATLAS@Home to exploit extra CPU from busy grid sites
网格计算通常为大型高能物理实验提供大部分数据处理资源。然而,典型的网格站点并没有被常规的工作负载充分利用。为了提高这些网格站点的CPU利用率,可以使用ATLAS@Home志愿者计算框架作为一种并行机制。结果表明,额外的15%到42%的CPU周期可以被运行常规工作负载的网格站点利用,而整体CPU利用率可以保持在90%以上。回填对网格作业的失败率没有影响,对网格作业的CPU效率的影响从1%到11%不等,具体取决于站点的配置。此外,回填作业的吞吐量(以每个模拟事件的CPU时间表示)与专用于ATLAS@Home的资源相同。这种方法是足够通用的,它可以很容易地扩展到其他集群。
2018-11-29 cs.DC hep-ex physics.comp-ph
Mining Association Rules in Various Computing Environments: A Survey
Institute of Science, Banaras Hindu University(贝拿勒斯印度大学科学学院);Faculty of Education, Banaras Hindu University(贝拿勒斯印度大学教育学院);Mahila Maha Vidyalaya, Banaras Hindu University(贝拿勒斯印度大学Mahila Maha Vidyalaya)
关联规则挖掘(ARM)是数据采掘中研究最多的技术之一。目前已经设计的ARM算法很多,其计数量也很大。在本文中,我们调查了各种ARM算法在四个计算环境。所考虑的计算环境是顺序计算、并行和分布式计算、网格计算和云计算。随着新的计算范式的出现,许多研究者设计了ARM算法,以利用新的计算范式来提高效率。本文介绍了ARM算法从顺序算法开始,经过并行、分布式和基于网格的算法到目前最先进的算法的历程,以及采用新机器的动机。
2019-06-30 cs.DB cs.DC cs.LG
Workload composition smooths aggregate power demand while sustaining short-horizon ramps in AI data centers
Harvard University(哈佛大学);Texas A&M University(德州农工大学)
研究通过工作负载组合平滑总体电力需求,同时维持短期坡度,揭示了AI数据中心动态特性。
2026-04-12 cs.DC cs.PF cs.SY
An Advanced Approach On Load Balancing in Grid Computing
随着广域网的快速发展和低成本、强大的计算资源,网格计算得到了广泛的应用。随着网格计算的出现,可以克服传统分布式系统的空间限制,并且可以将世界各地不同位置处未充分利用的计算资源用于分布式作业。网格服务和资源管理是网格基础设施服务层的主要关键服务,其中负载均衡是网格开发人员关注的主要问题。负载是服务器面临的主要问题,特别是当用户数量增加时。在负载管理领域进行了大量的研究。本文介绍了网格计算中负载均衡的各种机制,以便读者了解哪种算法适用于不同的情况。关键词:广域网,分布式计算,负载均衡。
2014-09-12 cs.DC
OpenG2G: A Simulation Platform for AI Datacenter-Grid Runtime Coordination
University of Michigan(密歇根大学)
本文提出OpenG2G平台,用于研究AI数据中心与电网的协调策略,通过模拟不同控制方法评估AI模型对数据中心灵活性的影响。
2026-05-06 cs.DC cs.LG
Bit2Watt: A Cyber-Physical Vulnerability Exploiting GPU Workloads Across Power and Computing Infrastructures
Zhejiang University(浙江大学)
研究揭示利用GPU工作负载的网络物理漏洞Bit2Watt,攻击者借此引发高频功率调制破坏电力及计算设施。通过多种实验验证,此漏洞会致电力质量下降、引发连锁故障等,还分析了反馈路径风险,强调跨层防御的迫切性。
2026-07-08 cs.AR cs.CR cs.DC
Power-Flexible AI Data Centers: A New Paradigm for Grid-Responsive Compute
Emerald AI;Electric Power Research Institute (EPRI)(电力研究研究院);National Grid(国家电网);NVIDIA;Oracle
本文提出将GPU集群作为电网交互式资产,通过软件编排实现负载快速削减、持续降载和碳感知运行,同时保持优先级任务服务水平,并实现跨地理集群的性能感知负载迁移。
2026-06-25 cs.AI cs.DC cs.PF
Simulating Data Access Profiles of Computational Jobs in Data Grids
由于近年来高速局域网和广域网的迅速发展,在计算网格中运行的应用程序的数据访问模式正在发生变化。不再严格要求数据密集型作业在相应输入数据所在的计算站点处运行。相反,作业可以使用数据放置、分段和远程数据访问的任意组合来访问数据。这些数据访问配置文件表现出部分不重叠的吞吐量瓶颈。可以利用这一事实来最小化作业等待输入数据的时间。在这项工作中,我们提出了一种新的网格计算模拟器,它把重点放在各种数据访问配置文件。基于我们的模拟器的基本假设是合理的,在欧洲核子研究中心的全球大型强子对撞机计算网格(WLCG)进行的经验实验。我们演示了如何校准模拟器的参数,根据真实的系统使用后验推理与似然无马尔可夫链蒙特卡罗。此后,我们验证了模拟器的输出相对于一个真实的生产工作量从WLCG,证明其显着的准确性。
2019-03-12 cs.DC
Edge-Oriented Orchestration of Energy Services Using Graph-Driven Swarm Intelligence
Technical University of Cluj-Napoca(克卢日-纳波卡工业大学);ENSIIE & SAMOVAR(法国埃夫里国立高等信息技术与工业学院及SAMOVAR实验室)
本文提出一种图驱动群体智能框架,用于智能电网中边缘-雾-云基础设施的分布式能源服务编排,通过高效拓扑探索和任务分配算法实现低延迟服务迁移与数据互操作性。
2026-04-14 cs.DC
Turning AI Data Centers into Grid-Interactive Assets: Results from a Field Demonstration in Phoenix, Arizona
Emerald AI;NVIDIA Corporation(NVIDIA公司);Salt River Project (SRP)(Salt River项目(SRP));Electric Power Research Institute (EPRI)(电力研究 institute(EPRI))
本文展示Emerald Conductor纯软件平台在凤凰城256-GPU集群上的首次现场示范,通过实时电网信号编排AI工作负载,在电网高峰期间降低25%功耗且保持QoS,证明数据中心可成为电网互动型资产。
2025-07-01 cs.AI cs.DC cs.PF
Carbon-Aware Computing for Datacenters
电网上每千瓦时排放的CO $_2$量随时间变化,并且由于发电类型而随位置变化很大。仓库规模计算机的网络集合,有时称为超大规模计算,如果不考虑碳强度的这些变化,则会排放比所需更多的碳。本文介绍了谷歌的碳智能计算管理系统,该系统通过延迟临时灵活的工作负载,积极地最大限度地减少基于电力的碳足迹和电力基础设施成本。该系统的核心组件是一套分析管道,用于收集第二天的碳强度预测,训练前一天的需求预测模型,并使用风险感知优化为Google车队中的所有数据中心集群生成第二天的碳感知虚拟容量曲线(VCC)。VCC对时间灵活的工作负载的可用资源施加了小时限制,同时保留了整体的日容量,使所有此类工作负载都能在一天内完成。运行数据显示,当电网的能源供应组合是碳密集型时,VCC有效地限制了每小时的容量,并将时间灵活的工作负载的执行延迟到“更环保”的时间。
2021-06-11 cs.DC cs.SY eess.SY
Metascheduling of HPC Jobs in Day-Ahead Electricity Markets
高性能网格计算是实现大规模协同计算科学的关键。随着百亿亿次计算的发展,高性能网格系统预计将产生随时间超线性增长的电费。为了实现这些系统的成本效益,这是必不可少的调度算法,以利用电力价格的变化,在空间和时间,这是普遍存在的动态电价市场。在本文中,我们提出了一个元调度算法,以优化放置的工作在一个计算网格消耗电力的一天前的批发市场。我们制定的调度问题作为一个最小成本最大流问题,并利用排队等待时间和电价预测,以准确地估计在系统中的作业执行的成本。使用基于跟踪的模拟与真实和合成的工作负载跟踪,和真实的电价数据集,我们证明了我们的方法在两个目前运行的电网,XSEDE和NorduGrid。我们的实验设置总共包括超过433K的处理器,分布在17个地理位置的58个计算系统中。实验表明,我们的方法同时优化了总的电力成本和平均响应时间的网格,而不会对用户的本地批处理系统是不公平的。
2017-12-29 cs.DC
Resource provisioning in Science Clouds: Requirements and challenges
云计算在过去的几年里已经渗透到信息技术行业,并且它现在正在科学环境中出现。科学用户社区需要广泛的计算能力,以满足高性能应用程序的需求,如本地集群,高性能计算系统和计算网格。不同的计算模型需要不同的工作负载,而云计算已经被认为是一个有前途的范例。在任何形式的计算中,资源的调度和分配总是一个具有挑战性的问题,云也不例外。科学应用程序具有独特的功能,可以区分其工作负载,因此,在构建科学云时必须考虑到它们的要求。本文将讨论支持科学应用的基础设施即服务提供商面临的主要调度和资源分配挑战。
2017-09-25 cs.DC
Scheduler Technologies in Support of High Performance Data Analysis
作业调度器是可伸缩计算基础设施的关键组件。它们协调在计算基础设施上执行的所有工作,并直接影响系统的有效性。最近,工作负载已经多样化,从长时间运行,同步并行模拟,包括短时间,独立并行高性能数据分析(HPDA)的工作。这些作业类型中的每一种都需要不同的功能和调度程序调优才能有效运行。已经开发了许多并行计算器来解决作业工作负载和计算系统异构性。高性能计算(HPC)调度器被设计为在超级计算机上调度大规模科学建模和模拟。大数据调度器旨在在集群上调度数据处理和分析工作。本白皮书比较和对比了HPC和大数据处理器的功能,重点是同时适应科学计算和高性能数据分析工作负载。作业延迟对于可扩展计算基础设施的有效利用至关重要,本文介绍了几个当前集群的作业启动基准测试结果:Slurm,网格引擎之子,Mesos和Yarn。我们发现,所有这些调度器都具有较低的短期运行作业的利用率。此外,采用多级调度显着提高了利用率在所有的集群。
2016-07-22 cs.DC
Carbon Responder: Coordinating Demand Response for the Datacenter Fleet
针对数据中心碳足迹问题,提出Carbon Responder框架,通过性能感知的功率分配协调需响应,实现碳足迹约2倍削减并公平分配性能损失。
2023-11-14 cs.AR cs.DC
Measurement of Generative AI Workload Power Profiles for Whole-Facility Data Center Infrastructure Planning
National Laboratory of the Rockies (NLR)(落基山国家实验室(NLR))
本文通过高精度测量生成式AI工作负载的功率消耗,结合MLCommons和vLLM基准,建立全设施能效模型,为电网接入、本地能源生成和微电网规划提供数据支持。
2026-04-08 cs.DC cs.LG cs.SY
Slasher: Power Flexibility for Cloud Datacenters
University of Chicago(芝加哥大学);Microsoft Azure(微软Azure);Carnegie Mellon University(卡内基梅隆大学)
针对云数据中心需调节电力的多样场景,提出Slasher系统,协调资源满足电力目标并最小化工作负载影响,开发模拟器与影响模型以设计评估电力控制算法。
2026-08-27 cs.DC cs.OS cs.SY
Beyond Scalar Flexibility: From Eligible AI Workloads to Dependable Load Relief
Louisiana State University(路易斯安那州立大学)
该研究通过GPU轨迹数据推导工作负载语义灵活性包络,发现标量灵活性会高估或低估缓解量,聚合集群可提升坚定性,成果可用于电网相关合同。
2026-09-07 cs.DC cs.SY eess.SY
AI Greenferencing: Routing AI Inferencing to Green Modular Data Centers with Heron
Microsoft(微软)
本文提出 Heron 跨站点路由器,将 AI 推理负载调度至风电场同址模块化数据中心,利用风电互补性提升绿色 GPU 部署经济性,实验显示有效吞吐量最高提升 80%。
2025-05-15 cs.AI cs.DC cs.NI