Enhancing Resource Management through Prediction-based Policies
基于任务的编程模型正在成为一种有前途的替代方案,以充分利用多/众核系统。这些编程模型依赖于运行时系统,其目标是通过将应用程序任务适当地调度到核心来提高应用程序性能。此外,这些运行时系统提供策略来应对缺乏并行性以填充所有核心的应用阶段。然而,这些策略通常是静态的,并且有利于性能或能源效率。在本文中,我们扩展了一个基于任务的运行时系统,该系统具有轻量级的监控和预测基础设施,可以动态预测每个应用程序阶段所需的最佳核心数量,从而提高性能和能源效率。通过在多核/众核系统中执行几个基准测试,我们表明,我们的基于预测的政策具有竞争力的性能,同时提高能源效率相比,最先进的政策。
2020-09-23 cs.DC
Taming Offload Overheads in a Massively Parallel Open-Source RISC-V MPSoC: Analysis and Optimization
本文针对开源RISC-V异构MPSoC Occamy,通过周期精确分析卸载开销,提出硬件与卸载例程协同设计及片上网络多播优化,将200余核加速结构的应用运行时间提升达2.3倍,并给出误差低于15%的运行时间估计模型。
2025-05-09 cs.AR cs.DC
Decentralized Resource Discovery and Management for Future Manycore Systems
下一代众核支持的大规模计算系统依赖于连接成单个计算单元的数千亿个异构处理核。在这样的大规模计算环境中,资源管理是高效资源共享和利用的最具挑战性和最复杂的问题之一,特别是当我们向未来众核系统(FMCS)发展时。这项工作提出了一种新的资源管理方案,为未来的千万亿次规模的众核计算系统,基于混合自适应资源发现,称为ElCore。所提出的架构包含一组模块,这些模块将根据需要在分布式系统中的节点上动态地实例化。我们的方法提供了灵活性,为各种类型的进程/应用程序分配所需的资源集。它也可以被认为是一个通用的解决方案(相对于大规模计算环境的一般要求),它带来了一组有趣的功能(如自动扩展,多租户,多维映射等)。使其易于适应任何分布式技术(如SOA、网格和HPC众核)。所取得的评估结果保证了显着的可扩展性和高质量的资源映射建议的资源发现和管理在高度异构的,分层的和动态的计算环境中的几个可扩展性和效率方面,同时支持灵活和复杂的查询,保证发现结果的准确性。仿真结果证明,使用我们的方法,进程和资源之间的映射可以做到高水平的准确性,这可能会导致显着提高系统的整体性能。
2017-10-10 cs.DC
Inter-organizational fault management: Functional and organizational core aspects of management architectures
在过去的十年里,外包--成功的,有时也是痛苦的--已经成为IT服务管理讨论中最热门的话题之一。IT服务外包给外部服务提供商,以减少在本组织内提供这些服务所需的工作量和开销。最近,IT服务提供商本身也开始外包服务部件,或与其他提供商进行非等级合作提供这些服务。将一个服务拆分为多个服务部分是一项重要的任务,因为它们必须由不同的提供者实现、操作和维护。这种组织间合作的一个关键方面是故障管理,因为快速可靠地定位和解决降低服务质量的问题至关重要。在这篇文章中,我们提出了一个全面的基于用例的需求分析的结果,为跨组织故障管理(ioFMA)的架构。此外,给出了ioFMA的组织各自的功能模型的概念。
2011-01-20 cs.DC cs.NI
Fast Shared-Memory Barrier Synchronization for a 1024-Cores RISC-V Many-Core Cluster
本文针对1024核RISC-V众核集群TeraPool,通过对比优化屏障实现、微调树型屏障,大幅降低同步开销,首次实现了上千紧耦合处理单元的共享内存屏障同步。
2023-07-17 cs.DC
GPU Memory and Utilization Estimation for Training-Aware Resource Management: Opportunities and Limitations
IT University of Copenhagen(哥本哈根信息技术大学);University of Copenhagen(哥本哈根大学)
本文分析了三种GPU内存估计方法的优劣,通过合成数据集评估了其准确性与通用性,并指出分析模型、CPU库和ML方法在通用性和硬件适应性上的局限。
2026-04-27 cs.DC
A Two-Level Thermal Cycling-aware Task Mapping Technique for Reliability Management in Manycore Systems
针对众核系统热循环老化影响可靠性的问题,提出一种考虑核心相邻性与工艺偏差的两级热循环感知任务映射技术,可最高提升20%的热循环相关平均无故障时间。
2024-08-14 cs.DC
Container Orchestration in Edge and Fog Computing Environments for Real-Time IoT Applications
资源管理是充分利用边缘/雾计算潜力执行实时的【形】关键物联网应用的主要因素。虽然存在一些资源管理框架,但大多数都不是基于分布式容器化组件设计的。因此,它们不适合高度分布式和异构的计算环境。容器化的资源管理框架(如FogBus 2)可以有效地将框架组件与物联网应用组件一起分发。然而,大量容器的管理、部署、健康检查和可扩展性是具有挑战性的问题。为了编排多个容器,开发了若干编排工具。但是,这些编排工具中的许多都是重量级的,并且具有很高的开销,特别是对于资源有限的边缘/雾节点。因此,对于由异构边缘/雾和/或云节点组成的混合计算环境,需要轻量级容器编排工具来支持边缘/雾处的资源有限的资源和云处的资源丰富的资源。因此,在本文中,我们针对提供容器化资源管理框架的FogBus 2框架提出了一种基于K3构建混合轻量级集群的可行方法。这项工作解决了在混合计算环境中创建轻量级计算集群的挑战。本文还提出了在混合环境中部署FogBus 2框架的三种设计模式,包括1)主机网络,2)代理服务器,3)环境变量。性能评估表明,该方法在可接受的低开销情况下,将实时的【形】物联网应用的响应时间提高了29%.
2022-03-10 cs.DC
Resource Management and Scheduling for Big Data Applications in Cloud Computing Environments
本章介绍大数据处理平台的软件架构。它将提供在云环境中部署大数据处理系统时所涉及的资源管理技术的深入知识。它从最基本的开始,逐步介绍我们分为多个层次的资源管理的核心组件。它涵盖了国家的最先进的实践和研究,在SLA为基础的资源管理,特别侧重于作业调度机制。
2018-12-31 cs.DC
Mell: Memory-Efficient Large Language Model Serving via Multi-GPU KV Cache Management
针对大语言模型服务中KV缓存内存占用大、GPU负载不均的问题,本文提出MELL系统,通过自适应请求迁移机制和支持迁移的多GPU调度在线算法,实现内存高效服务,最多可减少31%GPU用量、提升43%GPU利用率。
2025-01-12 cs.DC
Co-designing a Programmable RISC-V Accelerator for MPC-based Energy and Thermal Management of Many-Core HPC Processors
Integrated Systems Laboratory (IIS), ETH Zurich, Switzerland(苏黎世联邦理工学院集成系统实验室)
针对多核HPC处理器的能耗与热管理,提出基于算子分裂求解器和多核RISC-V的MPC控制器软硬件协同设计,实现亚毫秒延迟、33倍低延迟和7.9倍高能效。
2025-10-10 cs.DC
A Framework for Carbon-aware Real-Time Workload Management in Clouds using Renewables-driven Cores
针对实时工作负载难以利用时间灵活性减排的问题,提出基于可再生能源驱动核心的框架,通过动态切换CPU核心、VM执行模型与装箱算法联合优化,显著降低实时延迟变异系数与VM驱逐事件并提升能源收集。
2024-11-12 cs.DC
an intelligent security centered resource-efficient resource management model for cloud computing environments
本文提出了一个概念模型,在云环境中的安全和性能高效的工作负载管理模型。在该模型中,采用资源管理单元来进行虚拟机的能量和性能优化分配,同时通过实时防御由于对虚拟机的未授权访问而导致的数据泄露来确保用户应用程序的安全处理。资源管理单元由安全虚拟机管理单元引导,该安全虚拟机管理单元被设计为生成关于活动虚拟机之间的未授权访问或相互通信链路的信息。此外,工作负载分析器单元同时操作以估计资源利用信息,以帮助资源管理单元进行虚拟机的性能高效分配。与先前的工作,从事访问控制机制,加密和解密的数据之前的传输和隧道的使用,以防止未经授权的访问虚拟机,从而提高了额外的计算成本开销,所提出的模型操作diligence有效地服务于相同的目的。
2022-10-29 cs.DC
ALP: Alleviating CPU-Memory Data Movement Overheads in Memory-Centric Systems
在NDP和主机CPU核之间划分应用程序导致段间数据移动开销,这是由移动从一个段生成的数据(例如,指令、函数)并在连续的段中使用。以前的作品采取两种方法来解决这个问题。第一类工作基于每个段的属性将段映射到NDP或主机核,忽略段间数据移动开销。第二类工作基于每个段的总体内存带宽节省来划分应用程序,并且如果它们引起高段间数据移动,则不将每个段卸载到最适合的核心。我们表明,1)将每个段映射到其最佳拟合的核心理想地可以提供实质性的好处,2)段间的数据移动显着降低了这种好处。为此,我们引入ALP,一个新的程序员透明的技术,以利用NDP的性能优势,减轻主机和内存之间的段间数据移动开销,并实现有效的分区应用程序。ALP通过主动准确地在段之间传输所需数据来减少段间数据移动开销。这是基于一个关键的观察,即生成段间数据的指令在不同输入上的程序的不同执行中保持相同。ALP使用编译器通道来识别这些指令,并使用专用硬件在运行时在主机和NDP内核之间传输数据。ALP有效地将应用程序段映射到主机或NDP,考虑1)每个段的属性,2)段间数据移动开销,以及3)是否可以及时减轻该开销。我们评估了ALP在广泛的工作负载,并显示平均54.3%和45.4%的加速相比,只有主机CPU或只有NDP执行,分别。
2022-12-13 cs.AR cs.DC
ERASE: Energy Efficient Task Mapping and Resource Management for Work Stealing Runtimes
并行应用程序通常依赖于工作窃取调度器与细粒度任务相结合来实现高性能和可伸缩性。然而,在工作窃取运行时的上下文中降低总能耗仍然具有挑战性,特别是在使用具有不同类型CPU内核的非对称架构时。用于节能的常见方法涉及动态电压和频率缩放(DVFS),其中基于诸如任务并行性、窃取关系和任务关键性的因素来执行节流。本文提出了以下观察结果:(i)在使用细粒度任务时以及在具有集群/芯片级DVFS的环境中,在每个任务的基础上利用DVFS是不切实际的;(ii)任务可塑造性,其中单个任务可以通过工作共享在多个线程/核心上执行,可以帮助减少能耗;以及(iii)任务和分配的资源之间的不匹配(即~核类型和核数量)可能间接地影响能量消耗。在本文中,我们提出ERASE(EneRgy Aware ERAEr),一个应用程序内的任务调度器上的工作窃取运行时,旨在减少并行应用程序的总能耗。它通过基于不同资源配置的每任务能耗预测来指导调度决策,从而实现节能。此外,ERASE能够适应给定的静态频率设置和外部控制的DVFS。总的来说,与最先进的基于DVF的路由器相比,ERASE实现了高达31%的节能,平均性能提高了44%。
2022-01-28 cs.DC
THEAS: Efficient Power Management in Multi-Core CPUs via Cache-Aware Resource Scheduling
Ecole de Technologie Superieure(高等技术学院);Ericsson(爱立信)
提出THEAS算法,通过缓存感知资源调度在多核CPU中平衡性能与功耗,提升能效,适用于实时应用。
2025-10-10 cs.DC cs.PF
A Scalable Multi-Layered Blockchain Architecture for Enhanced EHR Sharing and Drug Supply Chain Management
针对医疗数字化中的数据安全、隐私与可扩展性问题,提出含五层结构的可扩展多层区块链架构,用于EHR共享与药品供应链管理,经Caliper基准测试验证提升了交易吞吐量、降低了通信开销,兼具安全互操作与供应链监控能力。
2024-12-09 cs.CR cs.DC
When Deep Reinforcement Learning Meets Federated Learning: Intelligent Multi-Timescale Resource Management for Multi-access Edge Computing in 5G Ultra Dense Network
Sun Yat-sen University(中山大学);Auburn University(奥本大学)
超密集边缘计算(UDEC)具有巨大的潜力,特别是在5G时代,但其当前的解决方案仍然面临挑战,例如缺乏:i)多个5G资源的有效利用(例如,计算、通信、存储和服务资源); ii)低开销卸载决策和资源分配策略;以及iii)隐私和安全保护方案。因此,我们首先提出了一个智能超密集边缘计算(I-UDEC)框架,它将区块链和人工智能(AI)集成到5G超密集边缘计算网络中。首先,我们展示了框架的架构。然后,为了实现实时和低开销的计算卸载决策和资源分配策略,我们设计了一种新的双时标深度强化学习(\textit{2Ts-DRL})方法,分别由一个快速时标和一个慢速时标的学习过程。主要目标是通过联合优化计算卸载、资源分配和服务缓存放置来最小化总卸载延迟和网络资源使用。我们还利用联邦学习(FL)以分布式方式训练\textit{2Ts-DRL}模型,旨在保护边缘设备的数据隐私。仿真结果证实了I-UDEC框架中的\textit{2Ts-DRL}和FL的有效性,并证明我们提出的算法可以减少任务执行时间高达31.87%。
2020-09-22 cs.AI cs.DC cs.NI