Correction to the article "Dynamic power management in energy-aware computer networks and data intensive computing systems" published in "Future Generation Computer Systems" journal
Warsaw University of Technology（华沙理工大学）
本文指出了前文主要优化模型的两个错误并提供修正方法，属于计算机网络与数据密集型计算领域。
2016-10-13 cs.DC cs.NI cs.SY
Location, Location, Location: Data-Intensive Distributed Computing in the Cloud
在编排高度分布式和数据密集型的Web服务工作流时，编排引擎的地理位置会极大地影响工作流的整体性能。演示引擎通常从组织的网络内运行，并且可能必须跨长的地理距离传输数据，这反过来增加了执行时间并降低了工作流的整体性能。在本文中，我们提出了CloudForecast：一个Web服务框架和分析工具，它给出了一个工作流规范，计算最佳的亚马逊EC2云区域自动部署编排引擎和执行工作流。我们使用Amazon Cloud区域和工作流节点之间的工作流地理距离、网络延迟和HTTP往返时间来查找云区域的排名。这个简单指标的组合集有效地预测了工作流编排引擎应该部署在哪里，以减少总体执行时间。我们通过执行在PlanetLab平台上部署的随机生成的数据密集型工作流来评估我们的方法，以便对Amazon EC2 Cloud区域进行排名。我们的实验结果表明，我们提出的优化策略，根据特定的工作流程，可以加快执行时间平均82.25%相比，本地执行。我们还表明，执行时间的标准差减少了近65%的平均使用优化策略。
2014-02-03 cs.DC
Sea: A lightweight data-placement library for Big Data scientific computing
最近大量的开放科学数据促使科学计算从计算密集型向数据密集型转变。虽然存在许多大数据框架，可以最大限度地降低数据传输的成本，但很少有科学应用程序集成这些框架或采用数据放置策略来降低成本。科学应用程序通常依赖于成熟的命令行工具，这些工具需要完整的重新配置才能整合现有的框架。我们开发Sea是为了实现在HPC集群上执行的科学应用程序的数据放置策略，而无需重新编写工作流。Sea利用GNU C库拦截来拦截应用程序进行的符合POSIX的文件系统调用。我们设计了一个性能模型，并评估了Sea在处理代表性神经成像数据集（Big Brain）的合成数据密集型应用程序上的性能。我们的研究结果表明，海显着提高性能，高达3 $\times$的一个因素。
2022-07-04 cs.DC
Virtual Machine Migration: A Resource Intensive Outsourcing Mechanism for Mobile Cloud Computing
在移动云计算（MCC）中，基于虚拟机（VM）迁移的进程卸载是增强智能移动设备（SMD）的主要方法。VM部署的一个挑战性方面是在VM的部署和管理中使用额外的计算资源，这迫使计算资源用于VM创建和配置。虚拟机的管理包括虚拟机全生命周期监控中的计算资源开发和SMD上虚拟机的物理资源管理。因此，基于VM迁移的应用卸载需要额外的计算资源。因此，计算资源需求和应用程序的执行时间分别增加。在本文中，我们经验审查的影响，虚拟机的部署和管理的应用程序的执行时间在不同的情况下。我们调查虚拟机部署和管理的应用程序处理在模拟环境中采用CloudSim：一个模拟工具包，提供了一个可扩展的模拟框架，模拟虚拟机部署和管理的应用程序处理在云基础设施。这项工作的重要性在于确保VM部署和管理需要SMD上的额外计算资源，以实现应用程序卸载。我们通过分析不同场景下的关键性能参数（KPPs）来评估应用程序处理中的VM部署和管理;例如VM部署，应用程序的执行时间和模拟的总执行时间。我们使用KPPs来评估不同实验方案结果的偏差。实证分析的结论是，虚拟机的部署和管理需要额外的资源上的计算主机，使其成为一个重量级的方法，在智能移动终端的进程卸载。
2012-11-30 cs.DC
Challenges Towards Deploying Data Intensive Scientific Applications on Extreme Heterogeneity Supercomputers
在过去的半个世纪里，推动计算进步的缩小晶体管由于功率墙而停滞不前;现在，极端异质性有望成为满足日益多样化的科学领域需求的下一个驱动力。为了释放这种超级计算机的潜力，我们确定了三大类八个潜在挑战：首先，需要快速的数据移动，因为极端的异构性将不可避免地使通信电路复杂化，从而阻碍数据移动。其次，我们需要为相应的应用程序/阶段智能地调度合适的硬件。第三，我们必须降低编程复杂性，以鼓励采用异构计算。
2018-04-25 cs.DC
LOAM: Low-latency Communication, Caching, and Computation Placement in Data-Intensive Computing Networks
针对分散计算网络中资源分配未综合考虑拓扑、弹性资源、计算复用及非线性拥塞目标的问题，提出低延迟联合通信、缓存与计算部署框架LOAM，通过离线和在线算法解决NP-hard成本最小化问题，性能优于多个基线。
2024-03-23 cs.DC cs.NI
Usage Scenarios for Byte-Addressable Persistent Memory inHigh-Performance and Data Intensive Computing
字节可寻址持久存储器（B-APM）为弥补主存和存储之间的性能差距提供了一个新的机会。在本文中，我们将根据英特尔DCPMM的功能，介绍这项新技术的使用场景。我们概述了DCPMM的一些基本性能特征，并解释了如何配置和使用它来满足HPC和数据密集型领域中内存和I/O密集型应用程序的需求。两个决策树提出了建议的配置选项B-APM，他们的使用说明了两个例子。我们表明，该技术的灵活性具有真正颠覆性的潜力，不仅因为它可以提供的性能改进，还因为它允许系统在同质硬件上满足更广泛的应用。
2020-12-10 cs.DC cs.PF
Cache-based Multi-query Optimization for Data-intensive Scalable Computing Frameworks
在现代大规模分布式系统中，不同用户提交的分析作业通常共享类似的工作，例如扫描和处理相同的数据子集。多查询优化技术可以节省大量的集群资源，而不是单独优化作业，这可能会导致冗余和浪费的处理。在这项工作中，我们介绍了一种新的方法相结合的内存缓存原语和多查询优化，以提高数据密集型，可扩展的计算框架的效率。通过仔细选择和利用共同（子）表达式，同时满足内存限制，我们的方法将一批查询转换成一个新的，更有效的，避免不必要的重新计算。为了找到可行和有效的执行计划，我们的方法使用了基于成本的优化配方类似于多选择背包问题。在我们的系统的原型实现上进行的大量实验表明，工作共享对于TPC-DS工作负载和详细的微基准测试都有显着的好处。
2018-05-22 cs.DB cs.DC
Enabling Practical Processing in and near Memory for Data-Intensive Computing
现代计算系统遭受着一边的计算（仅在处理器（和加速器）中执行）和另一边的数据存储/移动（系统的所有其他部分都专用于此）之间的二分法。由于这种二分法，数据移动很多，以便系统对其执行计算。不幸的是，数据移动在能量和延迟方面非常昂贵，远远超过计算。结果，在现代计算系统中，大部分系统能量仅花费在移动数据上，并且性能损失。在这项工作中，我们重新审视通过执行内存处理（PIM）来减少数据移动的想法。PIM将计算机制放置在存储数据的位置中或附近（即，在内存芯片内部、在3D堆叠逻辑和DRAM的逻辑层中、或在存储器控制器中），从而减少或消除了计算单元和存储器之间的数据移动。虽然PIM的想法并不新鲜，但我们研究了两种新的方法来实现PIM：1）利用DRAM的模拟特性在存储器中执行大规模并行操作，以及2）利用3D堆叠存储器技术设计为存储器中的逻辑提供高带宽。最后，我们讨论了解决实际采用PIM的关键挑战的工作。
2019-05-02 cs.DC
Dynamic Coded Distributed Convolution for UAV-based Networked Airborne Computing
单个无人机（UAV）具有有限的计算资源和电池容量，使得难以处理计算密集型任务，例如许多深度学习应用中的卷积运算。基于无人机的网络化机载计算（NAC）是一种很有前途的技术，以解决这一挑战。它允许一定范围内的无人机通过无人机到无人机的通信链路相互共享资源，并以协作方式执行计算密集型任务。本文研究了NAC架构上的向量卷积问题。针对基于无人机的NAC的节点异构性、频繁变化的网络类型、时变的通信和计算资源等特点，提出了一种具有隐私感知的动态编码卷积策略。仿真结果表明了该算法的高效性和对不确定离散系统的适应能力。
2022-02-24 cs.DC
Big Data Analytics on Traditional HPC Infrastructure Using Two-Level Storage
数据密集型计算已经成为传统高性能计算（HPC）集群的主要工作负载之一。目前，在HPC集群上部署数据密集型计算软件框架仍然面临性能和可扩展性问题。在本文中，我们开发了一个新的两级存储系统，集成Tachyon，一个内存中的文件系统和OrangeFS，一个并行文件系统。我们模拟了四种存储结构的I/O吞吐量：HDFS，OrangeFS，Tachyon和两级存储。我们进行了计算实验来描述两级存储的I/O吞吐量行为，并使用TeraSort基准测试将其性能与HDFS和OrangeFS进行了比较。理论模型和实验测试都表明，两级存储系统可以提高聚合I/O吞吐量。这项工作为将来设计和构建HPC系统奠定了坚实的基础，这些HPC系统可以在保留现有计算资源的情况下为I/O密集型工作负载提供更好的支持。
2015-10-10 cs.DC
FBase: A Replication Service for Data-Intensive Fog Applications
雾计算范式中边缘和云的结合实现了新一代数据密集型应用。然而，这些应用程序必须面对许多特定于雾的挑战，开发人员必须为每个应用程序重复解决这些挑战。在本文中，我们提出了一个复制服务，专门针对数据密集型雾应用程序的需求，旨在缓解或消除高度分布式和异构环境雾应用程序运行所带来的挑战。此外，我们提出了我们的原型概念验证实现FBase，我们已经作为开源。
2020-01-29 cs.DC
Process-Oriented Parallel Programming with an Application to Data-Intensive Computing
我们介绍面向过程的编程作为一个自然的扩展面向对象的编程并行计算。它基于这样的观察：面向对象语言的每个类都可以实例化为一个进程，可以通过远程指针访问。进程指针的引入不需要语法扩展，用编程对象标识进程，并使进程能够通过执行远程方法简单地交换信息。面向过程的编程是一种高级语言，可以替代多线程、MPI和当前用于并行计算的许多其他语言、环境和工具。它只使用现有语言（如C++和Python）的最小语法扩展来实现自然的基于对象的并行性，因此有可能导致并行编程的广泛采用。我们实现了一个原型系统运行进程使用C++与MPI，并使用它来计算一个大型的三维傅立叶变换的计算机集群上建立的商品硬件组件。三维傅立叶变换是具有复杂数据访问模式的数据密集型应用程序的原型。面向进程的代码只有几百行，通过实现大规模并行和最大化硬件利用率来实现非常高的数据吞吐量。
2014-07-21 cs.DC cs.PL
A Simulator for Data-Intensive Job Scheduling
尽管基于大小的调度器可以在平均响应时间和公平性方面给出优异的结果，但数据密集型计算执行引擎通常不采用基于大小的调度器，这主要是因为作业大小不是先验已知的。在这项工作中，我们进行了基于模拟的性能分析时，他们采用典型的数据密集型计划的工作量和近似的大小估计。我们的结果是非常有前途的：即使当大小估计是非常不精确的，响应时间的大小为基础的调度器可以肯定小于简单的调度技术，如处理器共享或FIFO。
2013-08-21 cs.DC
EcoLife: Carbon-Aware Serverless Function Scheduling for Sustainable Computing
本文提出ECOLIFE，首个协同优化碳足迹与性能的碳感知无服务器函数调度器，通过智能利用多代硬件并扩展粒子群优化算法，在保证高性能的同时有效降低碳足迹。
2024-10-16 cs.DC
Data-Intensive Workload Consolidation on Hadoop Distributed File System
集群合并是在多个工作负载之间共享物理资源，是一种很有前途的节省成本和能量的集群计算系统技术。本文重点介绍了Hadoop作为当前最先进的数据密集型集群计算系统之一在工作负载整合方面面临的一些挑战。通过系统的逐步过程，我们调查了Hadoop环境中高效服务器整合的挑战。为此，我们首先研究了采用Hadoop分布式文件系统（HDFS）的单个物理服务器上的整合工作负载的最后一级缓存（LLC）争用和吞吐量下降之间的相互关系。然后，我们研究了多个物理服务器上的整合的一般情况，以便它们的吞吐量永远不会低于期望的/预定义的利用率水平。我们使用我们的经验结果模型合并作为一个经典的二维装箱问题，然后设计一个计算效率高的贪心算法，以实现最小的吞吐量下降多个服务器。结果是非常有希望的，并表明我们的贪婪的方法是能够在所有的实验情况下，实现接近最优的解决方案。
2013-03-28 cs.DC
GreenWhisk: Emission-Aware Computing for Serverless Platform
本文提出基于Apache OpenWhisk的碳感知无服务器平台GreenWhisk，通过并网/离网两种模式和碳感知负载均衡算法，在不显著影响性能的前提下降低函数执行的碳足迹。
2024-09-04 cs.DC
LIDC: A Location Independent Multi-Cluster Computing Framework for Data Intensive Science
针对多组织协作中集中式计算放置的不足，提出基于语义名称的去中心化控制平面，实现位置无关的动态计算放置，使任何有足够资源的K8s集群均可执行任务。
2025-10-24 cs.DC cs.NI
PDMA: Probabilistic Service Migration Approach for Delay-aware and Mobility-aware Mobile Edge Computing
作为5G时代的关键技术，移动边缘计算（MEC）近年来发展迅速。MEC旨在减少移动用户的业务延迟，同时减轻核心网的处理压力。MEC可以看作是云计算在用户端的延伸，可以部署边缘服务器并将计算资源更接近移动用户，提供更高效的交互。然而，由于用户的动态移动性，用户与边缘服务器之间的距离将动态地改变，这可能导致服务质量（QoS）的波动。因此，当移动用户在MEC环境中移动时，需要某些方法来调度部署在边缘服务器上的服务以确保用户体验。在本文中，我们在MEC场景中的服务调度模型，并提出了一种基于简洁的概率方法的延迟感知和移动性感知的服务管理方法。该方法具有较低的计算复杂性，能有效降低业务延迟和迁移成本。此外，我们利用多个现实数据集进行实验，并使用iFogSim来评估算法的性能。实验结果表明，该方法可以优化服务延迟性能，在高峰时段与基线相比，服务延迟性能提高了8%~ 20%，迁移成本降低了75%以上.
2021-06-10 cs.DC
Secure, Efficient Data Transport and Replica Management for High-Performance Data-Intensive Computing
一种新兴的数据密集型应用涉及从大量测量或计算数据中提取地理上分散的复杂科学信息。例如，在实验物理学中，所讨论的数据是由加速器生成的，而在模拟科学中，数据是由超级计算机生成的。所谓的数据网格为这些应用程序提供了必要的基础设施，就像互联网为电子邮件和Web等应用程序提供了必要的服务一样。我们在这里描述两种服务，我们认为这是任何数据网格的基础：可靠，高速transporet和副本管理。我们的高速传输服务GridFTP扩展了流行的FTP协议，增加了数据网格应用程序所需的新功能，如条带化和部分文件访问。我们的副本管理服务将副本目录与GridFTP传输集成，以提供数据集副本的创建，注册，定位和管理。我们目前的设计，这两个服务，也初步的性能结果。我们的实现利用Globus Toolkit提供的安全和其他服务。
2001-03-28 cs.DB cs.DC
Mobile Cloud Computing in Healthcare Using Dynamic Cloudlets for Energy-Aware Consumption
本文针对医疗移动云计算中网络带宽和设备容量限制导致的能耗与延迟问题，提出动态能耗移动云计算模型（DEMCCM），利用动态云端降低医疗移动设备能耗。
2019-08-30 cs.DC
Mobile Cloud Computing: A Review on Smartphone Augmentation Approaches
智能手机最近在繁重的移动处理中获得了显著的普及，而用户正在增加他们对丰富计算体验的期望。然而，资源限制和当前移动计算的进步阻碍了这一愿景。因此，资源密集型应用程序执行仍然是移动计算中的一项具有挑战性的任务，这需要设备增强。在这篇文章中，智能手机增强方法进行了审查，并分为两个主要群体，即硬件和软件。生成高端硬件是硬件增强方法的一个子集，而保存本地资源和减少资源需求的方法被归类为软件增强方法。我们的研究主张，consreving智能手机的原生资源，这主要是通过任务卸载完成，更适合于已经开发的应用程序比新的，由于昂贵的重新开发过程。云计算作为增强智能手机的主要基石技术之一，最近获得了巨大的发展。我们提出了密集型移动应用程序的样本执行模型，并设计了增强方法的分类。为了更好地理解，本研究的结果总结在一个表格中。
2012-05-15 cs.DC
Combining Serverless and High-Performance Computing Paradigms to support ML Data-Intensive Applications
University of Virginia（弗吉尼亚大学）；Biocomplexity Institute and Initiative, University of Virginia（弗吉尼亚大学生物复杂性研究所与倡议）
本文提出Cylon，一种基于无服务器计算和高性能计算的分布式数据框架，通过改进通信机制提升大规模数据处理效率。
2026-03-05 cs.DC
Multiple Linear Regression-Based Energy-Aware Resource Allocation in the Fog Computing Environment
雾计算是时间敏感的物联网（IoT）应用的一种有前途的计算范例。它有助于在用户附近处理数据，以便提供比云更快的处理结果;它还有助于减少网络流量。雾计算中的计算环境是高度动态的，并且大多数雾设备是电池供电的，因此应用程序失败的可能性很高，这导致延迟应用程序结果。另一方面，如果我们在故障发生后将应用程序重新安装到其他设备中，则将不符合时间敏感性。为了解决这个问题，我们需要以节能的方式运行应用程序，由于雾计算环境的动态特性，这是一项具有挑战性的任务。要求以这样的方式安排应用，即应用不应由于能量不可用而失败。在本文中，我们提出了一个多线性，基于回归的资源分配机制，在雾计算环境中以能量感知的方式运行应用程序，以尽量减少由于能量约束的故障。现有的工作缺乏考虑雾环境的动态性的能量感知应用执行。因此，我们提出了一种基于多元线性回归的方法，可以实现这样的目标。我们提出了一个可持续的能源意识的框架和算法，执行应用程序在雾环境中的能源意识的方式。能源效率的分配和应用程序的执行时间之间的权衡已被调查，并显示有一个最小的负面影响系统的能量感知分配。我们比较了我们提出的方法与现有的方法。我们提出的方法最小化的延迟和处理20%，和17%，与现有的。此外，SLA违规减少了57%，建议的能量感知分配。
2021-03-10 cs.DC
Conduit: A C++ Library for Best-effort High Performance Computing
开发软件以有效地利用并行和分布式处理能力的增长带来了巨大的挑战。传统的编程技术允许用户假设执行、消息传递和内存始终保持同步。然而，保持这种一致性的成本越来越高。一种建议的策略是“尽力而为的计算”，它放松了同步和硬件可靠性的要求，接受不确定性，以换取效率。尽管许多程序设计语言和框架旨在促进用于高性能应用的软件开发，但是现有工具不直接提供预打包的尽力而为接口。Conduit C++库旨在提供这样一个接口，以方便实现使用尽力而为的线程间和进程间通信的软件。在这里，我们描述的动机，目标，设计和实现的图书馆。对通信密集型图着色问题和计算密集型数字演进模拟的基准测试表明，Conduit的尽力而为模型可以提高扩展效率和解决方案质量，特别是在分布式多节点环境中。
2021-05-21 cs.DC
Data-Intensive Supercomputing in the Cloud: Global Analytics for Satellite Imagery
Descartes Labs（笛卡尔实验室）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们提出了我们的经验，使用云计算，以支持数据密集型分析卫星图像的商业应用。根据我们在高性能计算方面的背景，我们将早期的集群计算系统与当前的云计算及其颠覆HPC市场的潜力进行了比较。在云远程对象存储之上使用我们自己的虚拟文件系统层，我们使用512个Google Compute Engine（GCE）节点访问美国多区域标准存储桶，展示了每秒230 GB的聚合读取带宽。这个数字可以与现有的最好的HPC存储系统相媲美。我们还提出了几个我们的应用结果，包括在乌克兰的领域边界的识别，并从陆地卫星图像生成一个全球无云的基础层。
2017-02-13 cs.AI cs.DC
FPGA-Based Near-Memory Acceleration of Modern Data-Intensive Applications
现代数据密集型应用需要高计算能力和严格的功耗限制。不幸的是，由于计算单元和存储器单元之间的昂贵的数据移动，这样的应用遭受当前计算系统中的执行周期和能量的显著浪费。基因组分析和天气预报是这类应用的两个例子。最近的FPGA将可重配置结构与高带宽存储器（HBM）相结合，以实现更高效的数据移动，并提高整体性能和能效。这种趋势是向近内存计算的范式转变的一个例子。我们利用这样一个FPGA与高带宽存储器（HBM），以改善基因组分析和代表性的内核从天气预测模型的预对齐过滤步骤。我们的评估表明，在高端IBM POWER9系统和传统的FPGA板与DDR4内存的大加速和节能。我们的结论是，基于FPGA的近内存计算有可能减轻现代数据密集型应用程序的数据移动瓶颈。
2021-07-03 cs.AR cs.DC
Carbon-aware Resource Management for Latency-Sensitive Cloud Computing Environments: A Taxonomy and Future Directions
University of Melbourne（墨尔本大学）；University of Amsterdam（阿姆斯特丹大学）
本文针对延迟敏感型云计算环境的碳感知资源管理问题，对相关最新文献进行分类分析，指出现有研究差距并提出未来研究方向，助力平衡延迟约束与碳减排目标。
2026-10-22 cs.DC
NetDAM: Network Direct Attached Memory with Programmable In-Memory Computing ISA
像分布式AI训练这样的数据密集型应用可能需要多TB的内存容量和多TB的带宽。我们直接将内存连接到以太网控制器上，并使用一些可编程逻辑来设计一个高效的硬件“模板”，用于内存池和内存/网络计算。我们构建了NetDAM的FPGA原型，并演示了MPI-Allreduce通信案例，NetDAM可以作为一种软硬件友好的可编程体系结构，具有高性能的RDMA替代方案。
2021-10-28 cs.DC
Sustainability-Aware Cloud Computing Using Virtual Carbon Tax
本文提出了一种可持续云系统的解决方案，并在一个真实的测试平台上实现。该解决方案包括优化盈利模式和引入虚拟碳税以限制云的环境足迹。所提出的云系统的多标准优化器在本地网格能量混合或云工作负载变化时为CPU核心建议新的最佳CPU频率。云系统在刀片系统上实现，并开发适当的中间件与刀片进行交互。实验结果表明，这是可能的，以显着降低系统的目标环境足迹，并保持其盈利。
2017-11-01 cs.DC
HiRL: Hierarchical Reinforcement Learning for Coordinated Resource Management in Heterogeneous Edge Computing
North China Electric Power University（华北电力大学）；University of Glasgow（格拉斯哥大学）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Sydney（悉尼大学）；Beihang University（北京航空航天大学）
本文提出HiRL框架，通过分层强化学习解决异构边缘计算中的资源协调问题，采用TD3和DDQN分别处理连续功率管理和离散任务分配，实验显示在低负载下节能51%，高负载下延迟降低24%。
2026-05-11 cs.DC
Low-Latency Layer-Aware Proactive and Passive Container Migration in Meta Computing
针对元计算中容器迁移研究不足的问题，本文提出考虑层依赖、融合主动与被动迁移的低延迟策略，采用带专家演示的策略梯度强化学习算法优化决策，实验验证其相比基准算法能有效降低总延迟。
2024-06-19 cs.DC
A Geo-Aware Server Assignment Problem for Mobile Edge Computing
随着移动设备已成为通信、工作和娱乐的首选工具，网络边缘的流量比以往任何时候都增长得更快。为了改善用户体验，商用服务器被部署在边缘，以形成一个分散的小型服务器网络，每个服务器服务于一个本地化的区域。一个挑战是如何在地理上放置这些服务器，以最大限度地提高卸载效益，并靠近它们分别服务的用户。我们引入了这个问题的公式，以服务于涉及不同地理位置的移动设备之间成对通信的应用程序。我们探索了几种启发式解决方案，并使用真实世界和合成数据集进行评估。
2018-07-14 cs.DC
Benchmarking of CPU-intensive Stream Data Processing in The Edge Computing Systems
AGH University of Science and Technology, Poland（波兰AGH科学技术大学）；Newcastle University, UK（英国新castle大学）；Newcastle University Newcastle upon Tyne, UK（英国新castle大学新castle upon Tyne分校）；IBM TJ Watson Yorktown Heights, NY, USA（美国IBM TJ沃森实验室）
本文通过合成微基准测试评估边缘集群中单个处理节点的能耗和性能特征，旨在优化边缘资源的利用效率。
2026-02-23 cs.AI cs.DC
ThermoSim: Deep Learning based Framework for Modeling and Simulation of Thermal-aware Resource Management for Cloud Computing Environments
当前的云计算框架托管数百万个物理服务器，这些物理服务器以不同虚拟机（VM）的形式利用云计算资源。云数据中心（CDC）基础设施需要大量的能源来提供大规模计算服务。计算节点产生大量的热量，需要冷却单元来消除这种热量的影响。因此，CDC的总体能耗对于服务器以及冷却单元而言极大地增加。然而，目前的工作负载分配策略没有考虑到对温度的影响，这是具有挑战性的模拟CDC的热行为。需要一个热感知框架来模拟和建模节点的行为，并测量可能受其温度影响的重要性能参数。在本文中，我们提出了一个轻量级的框架，ThermoSim，热感知资源管理的建模和仿真的云计算环境。这项工作提出了一种基于递归神经网络的深度学习温度预测器，用于CDC，ThermoSim用于受限云环境中的轻量级资源管理。ThermoSim扩展了CloudSim工具包，帮助分析各种关键参数的性能，例如能耗，SLA违规率，VM迁移数量和在云资源管理过程中执行工作负载的温度。此外，不同的能量感知和热感知资源管理技术进行了测试，使用建议的ThermoSim框架，以验证它对现有的框架。实验结果表明，所提出的框架能够对CDC的热行为进行建模和仿真，并且ThermoSim框架在能耗、成本、时间、内存使用和预测精度方面优于Thas。
2020-05-08 cs.DC
A Conflict-Aware Resource Management Framework for the Computing Continuum
TU Wien（维也纳工业大学）；ICREA（加泰罗尼亚高级研究院）；University of Prishtina（普里什蒂纳大学）；Stockholm University（斯德哥尔摩大学）
本文提出基于深度强化学习的冲突解决框架，用于优化计算连续体中资源调度，解决资源冲突和提升服务性能。
2026-04-21 cs.DC
Green-aware Mobile Edge Computing for IoT: Challenges, Solutions and Future Directions
物联网（IoT）技术的发展使互联智能设备和移动应用程序快速增长。然而，由于有限的资源和有限的电池容量，在利用智能设备时存在瓶颈。移动边缘计算（MEC）提供了一个有吸引力的范例来应对这一挑战。在这项工作中，我们专注于物联网的MEC应用，并通过在云和边缘之间卸载工作负载来实现节能目标。在这方面，我们首先确定MEC中与能源相关的挑战。然后，我们提出了一个绿色意识的框架MEC解决能源相关的挑战，并提供了一个通用的模型制定的绿色MEC。我们还讨论了一些最先进的工作负载卸载方法，以实现绿色物联网，并从全面的角度对它们进行比较。最后，对MEC节能的未来研究方向进行了展望。
2020-09-08 cs.DC
10 Years Later: Cloud Computing is Closing the Performance Gap
云计算基础设施能否为科学应用提供HPC竞争力的性能？尽管有大量的相关文献，这个问题仍然是开放的。答案对于设计未来的系统和普及高性能计算至关重要。我们提出了一个多层次的方法来调查HPC和云计算之间的性能差距，隔离不同的变量，有助于这一差距。我们的实验分为（i）硬件和系统微基准测试和（ii）用户应用程序代理。结果表明，由于某些云平台上提供了高速内存系统和互连以及专用批处理调度，如今的高端云计算不仅可以为计算密集型应用提供HPC竞争力的性能，而且还可以为内存和通信密集型应用提供HPC竞争力的性能（至少在中等规模下）。
2021-03-05 cs.DC cs.PF
Environment-Aware AUV Trajectory Design and Resource Management for Multi-Tier Underwater Computing
水下物联网（IOUT）被认为是海事活动的重要组成部分。鉴于物联网设备的广域分布和有限的发射功率，自主水下航行器（AUV）已被广泛采用，用于收集物联网设备感测到的数据并将其转发到水面站。为了适应物联网应用的不同需求，必须通过仔细利用水面站和AUV以及物联网设备的计算和通信以及存储资源来构思多层水下计算（MTUC）框架。此外，为了满足物联网设备严格的能量约束和降低MTUC框架的运行成本，提出了一种环境感知的AUV轨迹设计和资源管理联合问题，该问题是一个高维NP-hard问题.为了应对这一挑战，我们首先将问题转化为马尔可夫决策过程（MDP），并解决它的援助的异步优势演员评论家（A3 C）算法。我们的仿真结果证明了我们的计划的优越性。
2022-10-26 cs.DC
Multi-Criteria-based Dynamic User Behaviour Aware Resource Allocation in Fog Computing
雾计算是一种很有前途的计算模式，可以在边缘附近处理物联网数据，以支持时间敏感的应用程序。然而，计算设备中的资源的可用性是不稳定的，因为它们可能不是专门专用于雾环境中的处理。这与动态用户行为相结合，可能会影响应用程序的执行。针对资源受限的Fog设备中用户行为的动态变化，提出了一种基于多准则的资源预留资源分配策略，该策略考虑了Fog计算相关特性，如设备异构性、资源约束和移动性，以及用户需求的动态变化，以最小化总体延迟、处理时间和SLA违规.我们采用多个目标函数，以找到适当的资源，在雾环境中执行时间敏感的任务。实验结果表明，我们提出的政策表现优于现有的，减少了51%的总延迟。该算法还减少了处理时间和SLA违规，这是有益的运行时间敏感的应用程序在雾环境中。
2019-12-17 cs.DC
Resource-Aware Min-Min (RAMM) Algorithm for Resource Allocation in Cloud Computing Environment
资源分配是云计算的一个重要方面，它将云资源作为一种计量服务提供给云消费者。云资源管理器负责将可用资源分配给任务，以有效的方式执行，从而提高系统性能，减少响应时间，减少完工时间并有效利用资源。为了实现这些目标，需要一个有效的任务调度算法。标准的Min-Min和Max-Min任务调度算法是可用的，但这些算法不能产生更好的最大完工时间和有效的资源利用率。在经典Min-Min算法的基础上，提出了一种资源感知的Min-Min（RAMM）算法。RAMM算法选择执行时间最短的任务，并将其分配给完成时间最短的资源。如果最小完成时间资源忙，则RAMM算法选择下一个最小完成时间资源，以减少任务的等待时间和更好的资源利用率。实验结果表明，RAMM算法比标准的Min-Min算法、Max-Min算法和改进的Max-Min算法具有更好的最大完工时间和负载均衡性。
2018-02-22 cs.DC
Resource Slicing through Intelligent Orchestration of Energy-aware IoT services in Edge-Cloud Continuum
针对边云环境中 IoT 应用的能耗与性能优化难题，提出将应用分解为 nanoservices，并结合资源与网络切片进行能耗感知的智能编排部署。
2024-12-04 cs.DC
An Overview of a Grid Architecture for Scientific Computing
本文概述了NorduGrid项目的网格测试平台架构建议。该项目的目的是建立一个北欧国家间的试验台设施，用于实施广域计算和数据处理。该体系结构应该定义一个网格系统，适用于解决在欧洲核子研究中心的大型强子对撞机的数据密集型问题。我们提出了这样一个系统所需的各种架构组件。之后，我们继续通过显示任务流来描述动态。
2002-05-14 cs.DC
Handoff-Aware Distributed Computing in High Altitude Platform Station (HAPS)-Assisted Vehicular Networks
针对车联网中边缘切换导致计算中断及资源短缺问题，提出含HAPS的分布式计算自适应方案，通过任务拆分同步计算与切换前完成约束，结合优化算法实现时延降低与稳定。
2023-05-07 cs.DC
Distributed and Application-aware Task Scheduling in Edge-clouds
边缘计算是一种新兴技术，它将计算置于网络边缘以提供超低延迟。计算卸载是一种将计算从移动设备迁移到远程服务器的范例，现在可以通过将计算卸载到边缘云中的云来使用边缘计算的力量。然而，边缘云计算卸载的任务调度面临着双重挑战。首先，由于微云在地理上是分布式的，因此在没有集中控制的情况下，每个微云很难执行负载均衡。第二，由于计算卸载的任务具有多种类型，因此在任务类型方面保证用户体验质量（QoE）是具有挑战性的。在本文中，我们提出了Petrel，一个分布式和应用程序感知的边缘云任务调度框架。Petrel实现了基于样本的负载均衡技术，并根据任务类型采用自适应调度策略。这种应用感知调度不仅提供了QoE保证，而且提高了整体调度性能。跟踪驱动的模拟表明，Petrel实现了显着的改善，现有的调度策略。
2019-02-12 cs.DC
Energy Optimization of Memory Intensive Parallel workloads
在现代多核处理器中，能量消耗是一个重要的问题。在应用程序的执行过程中消耗的能量可以最小化通过调整硬件状态利用旋钮，如频率，电压等现有的理论工作，使用全局DVFS（动态电压和频率缩放）的能量最小化，尽管是彻底的，忽略了内存访问上的CPU消耗的能量和空闲内核消耗的动态能量。本文提出了一个分析模型的性能和总的能量消耗的CPU芯片上的CPU指令，以及内存访问，而不忽略的动态能量消耗的空闲内核。我们提出了一个分析框架，围绕我们的能源性能模型来预测全球DVFS的工作频率，最大限度地减少性能预算内的整体CPU能耗。最后，我们提出了一个调度标准的能量感知调度的内存密集型并行应用程序。
2016-05-13 cs.DC
LEAF: Simulating Large Energy-Aware Fog Computing Environments
尽管效率不断提高，但今天的数据中心和网络消耗了大量的能源，预计这一需求将进一步增长。一个重要的研究问题是雾计算是否以及如何遏制这一趋势。由于雾基础设施的实际部署仍然很少，因此很大一部分研究依赖于模拟。然而，现有的功耗模型通常仅针对特定组件，例如计算节点或电池受限的边缘设备。结合分析和离散事件建模，我们开发了一个整体但粒度的能耗模型，可以确定计算节点的功耗以及网络流量和应用程序随着时间的推移。模拟可以包含数千台设备，这些设备在分布式、异构和资源受限的基础设施上执行复杂的应用程序图。我们在智能城市交通场景中评估了我们公开的原型LEAF，证明它可以研究节能雾计算架构，并可用于评估动态任务放置策略和其他节能机制。
2021-03-01 cs.DC
Carbon-Aware Quality Adaptation for Energy-Intensive Services
Technische Universität Berlin（柏林工业大学）；BIFOLD（柏林数据科学与未来智能学习中心）；Huawei Technologies（华为技术有限公司）
本文提出了一种面向碳排放的能源密集型服务质量适应方法，通过调整不同服务质量层级的请求比例，结合预测多时间 horizon 优化，实现接近最优的碳节约效果，减少大规模大语言模型服务的排放量。
2026-03-04 cs.DC cs.SY eess.SY
High-Performance Serverless Computing: A Systematic Literature Review on Serverless for HPC, AI, and Big Data
Department of Computer Science, University of Pisa（帕尔米斯大学计算机科学系）；ISTI – National Research Council（国家研究理事会ISTI）
本文系统综述了122篇论文，提出八个研究方向和九个用例领域，分析了服务器less计算在HPC、AI和大数据中的应用趋势和合作网络。
2026-01-14 cs.DC cs.LG
A Task-Type-Based Algorithm for the Energy-Aware Profit Maximizing Scheduling Problem in Heterogeneous Computing Systems
在本文中，我们设计了一个有效的算法的能源意识的利润最大化调度问题，其中的高性能计算系统管理员是每单位时间的利润最大化。该算法的运行时间依赖于任务类型的数量，而以前的算法的运行时间依赖于任务的数量。此外，我们证明了最坏情况下的性能比接近2，这可能是最好的结果。仿真实验表明，该算法比以往的方法更准确。
2015-01-22 cs.DC cs.DS
PlinyCompute: A Platform for High-Performance, Distributed, Data-Intensive Tool Development
本文介绍了PlinyCompute，一个用于开发高性能、数据密集型、分布式计算工具和库的系统。总的来说，PlinyCompute为程序员提供了一个非常高级的声明式接口，依靠自动的关系数据库风格的优化来弄清楚如何进行分布式计算。然而，在小型计算机中，PlinyCompute为有能力的系统程序员提供了持久对象数据模型和API（“PC对象模型”）以及相关的存储管理系统，这些系统是为高性能、分布式、数据密集型计算而设计的。这与大多数其他大数据系统形成对比，这些系统构建在Java虚拟机（JVM）之上，因此必须至少部分地将性能关键问题（如存储管理（包括布局和分配）和虚拟方法/函数分派）交给JVM。这种混合的方法-在大的声明，信任程序员的能力，有效地利用PC对象模型在小-结果在一个系统，是理想的可重用的，数据密集型的工具和库的开发。通过广泛的基准测试，我们表明，与Spark上的等效实现相比，在PlinyCompute上实现复杂的对象操作和非平凡的库式计算可以导致2倍到50倍以上的加速。
2017-11-16 cs.DB cs.DC
Massively Parallel Processor Architectures for Resource-aware Computing
我们提出了一类大规模并行处理器架构称为侵入性紧耦合处理器阵列（TCPAs）。所提出的处理器类是一个高度可参数化的模板，它可以在运行前定制，以满足客户的要求，如性能，面积成本和能源效率。这些可编程加速器非常适合信号、图像和视频处理以及其他流处理应用领域的特定领域计算。为了克服未来的缩放问题（例如，功耗、可靠性、资源管理以及应用程序并行化和映射），TCPA固有地被设计为在硬件级支持自适应性和资源感知。在这里，我们遵循最近引入的资源感知并行计算范式称为侵入式计算，应用程序可以动态地要求，执行和释放资源。此外，我们展示了如何侵入式计算可以用作电源管理的推动者。最后，我们将介绍如何通过在处理器阵列级采用按需空间冗余来实现这种大规模并行架构上的容错循环执行的想法。
2014-05-12 cs.AR cs.DC
Distributed computing of Seismic Imaging Algorithms
技术计算在石油和天然气行业中的主要用途是地球地下的地震成像，这是由在石油勘探和生产期间做出明智的钻井决策的业务需求驱动的。由于勘探区的每口石油/天然气井都要花费数千万美元，因此在合理的时间内制作高质量的地震图像可以大大降低钻“干井”的风险。同样，这些图像也很重要，因为它们可以改善价值数十亿美元的油田中油井的位置。然而，地震成像是非常数据和计算密集型的，其需要处理TB级的数据并且需要Gflop年的计算（使用“flop”来表示每秒的浮点运算）。由于地震成像的数据/计算密集的性质，并行计算用于处理数据以减少编译时间。随着云计算的引入，MapReduce编程模型在并行和分布式系统中[1，2]执行大量处理算法（如生物信息学[3]，天文学[4]，地质学[5]等）引起了很多关注。在本报告中，我们将调查和讨论当前将地震算法适配到MapReduce编程模型的方法。
2012-04-05 cs.DC physics.geo-ph
Power-aware applications for scientific cluster and distributed computing
计算硬件的总功率使用是科学集群和分布式计算系统中的重要成本因素。全球大型强子对撞机计算网格（WLCG）是这种分布式计算系统的一个主要例子，主要用于高吞吐量计算（HTC）应用。它的计算能力和功耗可与最大的超级计算机相媲美。预计该系统所需的计算能力在今后十年也将增长。因此，优化这种系统的功率利用和成本是非常有意义的。目前正在进行的许多趋势将为功耗感知优化提供新的机会。我们将讨论如何使用功率感知软件应用程序和调度来降低功耗，无论是作为自治实体还是作为（全局）分布式系统的一部分。作为计算中心的具体示例，我们提供了FNAL的大型HEP重点Tier-1和普林斯顿大学的Tigress高性能计算中心的信息，该中心在大学环境中提供HPC资源。
2014-10-22 cs.DC hep-ex physics.comp-ph
