Containers Placement and Migration on Cloud System
目前,许多企业正在使用云计算远程获取整个IT基础设施,同时将其管理委托给第三方。这种架构的提供商确保服务的运行和维护,同时通过Web控制台提供管理功能。这些提供商提供基于裸金属或虚拟化平台(主要是虚拟机)的解决方案。最近,出现了一种新型的虚拟化-基于容器化技术。容器可以部署在裸机服务器或虚拟机中。在动态资源管理(DRM)中,虚拟机(VM)和容器的迁移是降低数据中心能耗、减少其对气候变化的影响从而最大限度降低运营成本的关键因素。本文将研究这两种虚拟化的实时迁移。为此,提出了容器放置和迁移算法,该算法考虑了不同用户的QoS需求,以最小化能量消耗。因此,提出了一种基于数据中心中的主机和虚拟机的RAM使用阈值的动态方法,以避免不必要的功耗。本文将所提出的工作与VM/Container的放置和迁移方法进行了比较,实验结果表明,使用容器迁移代替VM可以降低功耗,同时也减少了影响QoS的迁移时间,减少了SLA违规。
2020-07-16 cs.DC
Performance Evaluation of Container-based Virtualization for High Performance Computing Environments
虚拟化技术是随着计算环境的发展而发展起来的,它提供了隔离、可靠、资源分配、资源公平共享等功能,新的处理器技术为商用计算机提供了模拟各种计算环境的可能性。随着处理器的发展,系统开发人员已经创建了不同的虚拟化机制,其中每个新的开发都增强了以前虚拟化环境的性能。近年来,基于操作系统的虚拟化技术由于其在性能方面的重要改进而引起了国外业界和学术界的广泛关注。介绍了三种基于容器的操作系统虚拟化工具(LXC、Docker和Singularity)的特点。LXC、Docker、Singularity和裸金属通过定制的单节点HPL-Benchmark和基于MPI的多节点测试平台应用程序进行测试。测试了COS技术与裸机的磁盘I/O性能、内存性能、网络带宽和GPU性能。初步结果和结论,围绕他们提出和讨论。
2017-09-28 cs.DC cs.OS cs.PF
Understanding Layered Portability from HPC to Cloud in Containerized Environments
该研究在三个 ARM 平台上用六个 HPC 应用评估容器虚拟化、主机 OS/内核及执行模式对 HPC 向云迁移的性能影响,发现多数应用开销较低,且无根与特权模式差异可忽略。
2024-06-17 cs.DC
On-Demand Grid Provisioning Using Cloud Infrastructures and Related Virtualization Tools: A Survey and Taxonomy
最近的研究表明,网格资源可以由客户端按需访问,在云虚拟化技术的帮助下。由管理程序托管的虚拟机被用来在云环境中构建网格网络。本研究的目的是调查的一些概念,用于按需网格供应使用基础设施作为服务云及其相关组件的分类。本文讨论了使用基础设施云的按需网格的不同方法,它试图解决的问题和实现工具。提出了一种扩展的网格虚拟化技术分类方法,并根据网格资源的体系结构、通信流程和用户需求,提出了一种新的网格云集成分类方法。本文提出的调查、工具和分类将有助于指导未来的体系结构设计,以供进一步研究。
2014-02-04 cs.DC
A Decentralized Framework with Dynamic and Event-Driven Container Orchestration at the Edge
虚拟化为物联网技术提供了一个抽象层,以解决边缘网络的异构性。它支持在具有不同架构的设备上部署应用程序,以实现统一性。这项研究奠定了动态和事件驱动的编排框架的基础,以实现完全分散的边缘。它为通过分布式文件系统(即InterPlanetary文件系统(IPFS))上的注册表注册其资源需求的容器化应用程序提供了基于区块链的交付平台。分散式资源管理器在从主机和虚拟化平台抓取的度量上运行,即,Docker在我们的实现中,动态优化了分配给每个容器的资源。该框架确保异构环境的可变工作负载可以在多个边缘设备上共存。事件驱动的体系结构构建在轻量级消息传递协议MQTT之上,利用发布/订阅模式的异步和分布式特性来实现真正的分布式系统。
2022-09-26 cs.DC
A Fresh Look at the Architecture and Performance of Contemporary Isolation Platforms
随着云计算范例的日益普及,隔离平台的强隔离保证和低性能开销至关重要。一个理想的隔离平台同时提供:一个不可渗透的隔离边界,同时施加一个可以忽略不计的性能开销。在本文中,我们研究了各种隔离平台(容器,安全容器,虚拟机管理程序,unikernels),并进行了广泛的实验,以衡量平台提供的性能开销和隔离程度。我们发现,容器平台具有最好的,接近原生的性能,而新兴的安全容器遭受各种开销。最高程度的隔离是通过unikernels实现的,紧随其后的是传统容器。
2021-10-21 cs.DC
Experimental Assessment of Containers Running on Top of Virtual Machines
本文在真实测试平台上实验比较了容器运行于虚拟机之上与独立虚拟机、独立容器在不同硬件资源下的性能,涵盖多种虚拟化方式和容器平台。
2024-01-15 cs.AR cs.DC cs.PF
The Art of CPU-Pinning: Evaluating and Improving the Performance of Virtualization and Containerization Platforms
云提供商以裸机、VM和容器的形式提供各种执行平台。然而,由于每个执行平台的优点和缺点,为特定的基于云的应用程序选择合适的平台已经成为解决方案架构师的挑战。结合这些平台的可能性(例如在虚拟机中部署容器)提供了新的能力,使挑战变得更加复杂。然而,在文献中很少有关于在各种执行平台上部署不同应用程序类型的利弊的研究。特别是,评估不同的硬件配置和不同的CPU配置方法,如CPU钉扎,还没有得到充分的研究文献。在这项工作中,针对四类现实应用程序(即视频处理、并行处理(MPI)、Web处理和No-SQL),测量和分析了容器、虚拟机和裸金属执行平台的性能开销,分别代表CPU密集型、并行处理和两个IO密集型进程。我们的分析揭示了一组有趣的,有时违反直觉的发现,可以作为解决方案架构师有效部署基于云的应用程序的最佳实践。这里有一些值得注意的地方:(A)在特定情况下,容器可以比VM施加更高的开销;(B)VM顶部的容器可以减轻某些应用程序的VM开销;(C)具有大量核心的容器比具有少数核心的容器施加更低的开销。
2020-06-03 cs.DC cs.OS cs.PF
Portable, high-performance containers for HPC
在高端计算系统上构建和部署软件是一项具有挑战性的任务。高性能应用程序必须在多个平台和环境中可靠地运行,并利用特定于站点的资源,同时解决复杂的软件堆栈依赖关系。容器是一种轻量级虚拟化技术,它试图通过将应用程序及其环境打包到标准软件单元中来解决这个问题,这些软件单元具有以下特点:可移植性,易于构建和部署,占用空间小,运行时开销低。在这项工作中,我们对Shifter的容器运行时进行了扩展,为容器化应用程序提供了一种从主机系统访问GPU加速器和专用网络的机制,有效地实现了容器在HPC资源中的性能可移植性。所提出的扩展可以从在非HPC商品硬件(例如研究人员的笔记本电脑或工作站)中开发,构建和测试的容器化应用程序中快速在超级计算机上部署高性能软件。
2017-04-11 cs.DC
A Performance Evaluation of Container Technologies on Internet of Things Devices
虚拟化技术在云环境、物联网(IoT)、软件定义网络(SDN)等不同环境中的使用在过去几年中迅速增加。在这些技术中,基于容器的解决方案具有部署分布式和轻量级应用程序的特点。本文介绍了容器技术在受限设备上的性能评估,在这种情况下,在树莓派。研究表明,总体而言,容器增加的开销可以忽略不计。
2016-03-09 cs.DC cs.PF
How does Docker affect energy consumption? Evaluating workloads in and out of Docker containers
环境:虚拟机提供了服务隔离,但代价是虚拟机管理程序和更多的资源使用。这刺激了像Docker这样的系统的发展,它使单个主机能够在称为容器的低开销抽象中隔离多个应用程序,类似于VM。动机:尽管容器标榜低开销性能,但它们仍然具有低能耗吗?方法学:这项工作在统计上比较了($t$ -test,Wilcoxon)Docker和裸机Linux上三个应用程序工作负载的能耗。结果如下:在所有情况下,在Docker中运行测试时,能耗都有统计学显著性($t$ -测试和Wilcoxon $p < 0.05$)增加,主要是由于I/O系统调用的性能。
2017-05-02 cs.DC cs.PF
Container-based Cluster Orchestration Systems: A Taxonomy and Future Directions
容器能够实现轻量级的环境和性能隔离,快速灵活的部署以及细粒度的资源共享,除了硬件虚拟化之外,还在更好的应用程序管理和部署方面获得了普及。它们正被组织广泛用于在专有集群或私有云和公共云数据中心中部署来自现代应用程序(如Web服务、大数据和物联网)的日益多样化的工作负载。这导致了容器编排平台的出现,这些平台旨在管理大规模集群中容器化应用程序的部署。这些系统能够在数千台机器上运行数十万个作业。为了有效地做到这一点,他们必须解决几个重要的挑战,包括可伸缩性,容错和可用性,有效的资源利用率,以及请求吞吐量最大化等。本文研究了这些管理系统,并提出了一个分类,确定不同的机制,可用于满足上述挑战。建议的分类,然后应用到各种国家的最先进的系统,导致识别开放的研究挑战和差距,在文献中打算作为未来的研究方向。
2018-11-02 cs.DC
DRAPS: Dynamic and Resource-Aware Placement Scheme for Docker Containers in a Heterogeneous Cluster
虚拟化是一种很有前途的技术,它促进了云计算成为下一波互联网革命。由各种虚拟机提供支持的数百万应用程序被数据中心采用,提高了服务的服务质量。虽然虚拟机彼此之间隔离良好,但它们会受到冗余启动卷和缓慢配置时间的影响。为了解决这些限制,容器的诞生是为了部署和运行分布式应用程序,而无需启动整个虚拟机。作为一个主导者,Docker是容器技术的开源实现。在管理Docker容器集群时,管理工具Swarmkit没有考虑物理节点和虚拟化容器的异构性。异构性在于集群中的不同节点可能具有关于资源类型和可用性等的各种配置,并且服务产生的需求是变化的,例如CPU密集型(例如集群服务)以及内存密集型(例如Web服务)。在本文中,我们的目标是调查Docker容器集群和开发,DRAPS,一个资源感知的放置方案,以提高系统的性能在异构集群。
2018-05-22 cs.DC
Optimizing Infrastructures for Testing Using Virtualization
虚拟化技术和云计算为我们利用、部署和管理计算机资源的方式带来了范式转变。它们允许将多个操作系统快速部署为物理机器上的容器,这些容器可以在使用后丢弃,也可以检查以供以后重新部署。在欧洲核研究组织(CERN),我们一直在使用虚拟化技术为我们的开发人员快速设置虚拟机,并预先配置软件,使他们能够快速测试/部署给定应用程序的新版本软件补丁。本文报告了用于在商用硬件上设置私有云的技术,并介绍了我们用于消除部署特定性能瓶颈的优化技术。
2012-10-28 cs.DC cs.NI
Edge System Design Using Containers and Unikernels for IoT Applications
针对边缘物联网部署缺乏统一框架的问题,提出结合容器与unikernel的混合边缘系统,按应用复杂度分配技术并加入容器编排,经ARM设备实验验证可提升资源利用率、降低延迟。
2024-12-08 cs.DC
H-MBR: Hypervisor-level Memory Bandwidth Reservation for Mixed Criticality Systems
本文提出H-MBR,一种开源、以VM为中心且与操作系统和平台无关的hypervisor级内存带宽预留机制,以极低开销实现混合关键性系统的时间隔离。
2025-02-04 cs.DC cs.SY eess.SY
Lifting the Fog of Uncertainties: Dynamic Resource Orchestration for the Containerized Cloud
针对容器化云的配置不确定性,本文提出基于 Contextual Bandit 的 Drone 动态资源编排框架,自适应调参以兼顾性能与成本,并通过次线性遗憾理论和实验验证其收益。
2023-09-29 cs.DC
Funky: Cloud-Native FPGA Virtualization and Orchestration
Technical University of Munich(慕尼黑工业大学)
针对云原生环境中FPGA缺乏虚拟化、隔离和编排的问题,本文提出Funky全栈FPGA感知编排引擎,通过虚拟化、状态管理和CRI/OCI组件实现高性能与容错,评估显示仅7.4%开销且镜像小28.7倍。
2025-10-17 cs.DC cs.OS
Task Containerization and Container Placement Optimization for MEC: A Joint Communication and Computing Perspective
针对MEC中容器部署导致的通信开销与资源不均衡问题,提出基于工作流的数学模型与多目标组合优化方法,联合优化任务容器化与容器放置,有效降低开销并平衡资源。
2023-05-23 cs.DC cs.NI
Kubernetes in Action: Exploring the Performance of Kubernetes Distributions in the Cloud
本文在 CloudLab 上基于 OpenFaaS 比较四种 Kubernetes 发行版,并评估 Xen 的 HVM/PV 模式及 Docker、Containerd 运行时在磁盘与 CPU 密集型负载下的性能。
2024-03-03 cs.DC cs.PF
Exploring the Impact of Virtualization on the Usability of the Deep Learning Applications
University of Louisiana at Lafayette(路易斯安那大学拉法叶分校)
基于深度学习(DL)的应用正变得越来越流行,并以前所未有的速度发展。虽然许多研究工作正在进行,以增强深度神经网络(DNN)-DL应用程序的核心-这些应用程序在云和边缘系统中的实际部署挑战,以及它们对应用程序可用性的影响尚未得到充分研究。特别是,部署由云和边缘提供的不同虚拟化平台对DL应用程序的可用性(在端到端(E2 E)推理时间方面)的影响仍然是一个悬而未决的问题。重要的是,资源弹性(通过扩展),CPU固定和处理器类型(CPU与GPU)配置已被证明对虚拟化开销有影响。因此,本研究的目标是研究这些潜在的决定性部署选项对E2 E性能的影响,因此,DL应用程序的可用性。为此,我们衡量四种流行的执行平台(即,裸机,虚拟机(VM),容器,容器中的VM)的E2 E推理时间的四种类型的DL应用程序的影响,改变处理器配置(扩展,CPU固定)和处理器类型。这项研究揭示了一组有趣的,有时甚至是违反直觉的发现,这些发现可以作为云解决方案架构师在各种系统中有效部署DL应用程序的最佳实践。值得注意的发现是,解决方案架构师必须了解DL应用程序的特性,特别是其预处理和后处理要求,以便能够最佳地选择和配置执行平台,确定GPU的使用,并决定有效的扩展范围。
2021-12-17 cs.AI cs.DC cs.PF
Towards Multi-container Deployment on IoT Gateways
高级物联网(IoT)应用程序中严格的延迟要求以及云数据中心负载的增加促使人们转向更加分散的方法,通过部署多用途物联网网关,使物联网数据的存储和处理更接近终端设备。然而,这些网关的资源受限性质和多样性在开发可以广泛部署的应用程序方面提出了挑战。这一挑战可以通过容器化来克服,容器化是一种轻量级虚拟化的形式,支持广泛的硬件架构和物联网网关上应用程序的操作系统不可知部署。本文讨论了容器化的架构方面,并研究了可用的容器化工具在物联网网关上下文中用于多容器部署的适用性。我们在AGILE的背景下介绍了容器化,AGILE是一个基于多容器和微服务的物联网网关开源框架,作为Horizon 2020项目的一部分开发。我们对容器化服务进行了研究,以执行常见的网关功能,如设备发现,数据管理和云集成等,揭示了在使用基础映像层次结构和映像分层进行容器内和跨容器性能优化方面,为物联网网关提供容器化环境的优势。我们说明了这些结果在本文中的一组基准实验。
2018-10-04 cs.DC cs.SE
GPU-Virt-Bench: A Comprehensive Benchmarking Framework for Software-Based GPU Virtualization Systems
Bud Ecosystem Inc(Bud生态系统公司)
GPU-Virt-Bench是一种用于评估软件GPU虚拟化系统性能的全面基准测试框架,通过56项指标评估隔离质量、LLM性能等关键因素,为多租户环境下的GPU资源部署提供决策支持。
2025-11-26 cs.AI cs.DC
Machine Learning-based Orchestration of Containers: A Taxonomy and Future Directions
The University of Melbourne(墨尔本大学);Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);The University of Macau(澳门大学)
容器化是一种轻量级的应用程序虚拟化技术,提供高环境一致性、操作系统分发可移植性和资源隔离。现有的主流云服务提供商在其分布式系统基础设施中优先采用容器技术,以实现自动化应用管理。为了处理容器化应用的部署、维护、自动扩展和联网的自动化,容器编排被认为是一个重要的研究问题。然而,云工作负载和环境的高度动态和多样性大大提高了编排机制的复杂性。因此,容器编排系统采用机器学习算法来进行行为建模和多维性能度量的预测。这些见解可以进一步提高资源配置决策的质量,以应对复杂环境下不断变化的工作负载。在本文中,我们对现有的基于机器学习的容器编排方法进行了全面的文献回顾。最后,根据这些研究的共同特点,提出了详细的分类法。此外,基于机器学习的容器编排技术从2016年到2021年的发展是基于目标和指标设计的。根据拟议的分类法,对审查过的技术进行了比较分析,重点是它们的关键特征。最后,各种开放的研究挑战和潜在的未来方向突出。
2021-06-24 cs.DC cs.LG
Evaluation of Docker Containers for Scientific Workloads in the Cloud
HPC社区正在积极研究和评估工具,以支持在基于云的环境中执行科学应用程序。在各种技术中,容器最近变得越来越重要,因为与全面虚拟化相比,它们具有更好的性能,支持微服务和DevOps,并与工作流和编排工具无缝配合。Docker目前是容器化技术的领导者,因为它提供了低开销,灵活性,应用程序的可移植性和可重复性。Singularity是另一个有趣的容器解决方案,因为它是专门为科学应用而设计的。对容器技术进行性能和功能分析,以了解它们对每个应用程序和目标执行环境的适用性,这一点很重要。本文介绍了(1)Docker和Singularity在Chameleon云中的裸金属节点上的性能评估;(2)Docker容器可以通过RDMA通信与InfiniBand硬件映射的机制;(3)分析并行工作负载到容器的映射元素,以便使用容器就绪的编排工具进行最佳资源管理。我们的实验针对应用程序开发人员,以便他们能够在选择适合云基础设施上HPC工作负载的容器技术和方法方面做出明智的决定。我们的性能分析表明,基于Docker和Singularity的容器的科学工作负载可以实现接近原生的性能。Singularity专为HPC工作负载而设计。然而,Docker在云中的使用仍然优于Singularity,因为它提供了覆盖网络和一种直观的方式来运行MPI应用程序,每个等级一个容器,以进行细粒度的资源分配。
2019-05-21 cs.DC cs.PF
Kirin: Cloud-native WebAssembly Service Orchestration
Technische Universität Berlin(柏林工业大学)
本文提出Kirin,一个云原生WebAssembly服务编排器,支持资源调度、生命周期管理等核心功能,评估显示其在服务工作负载上性能与容器相当,是容器的可行替代方案。
2026-10-01 cs.DC
Securing 3rd Party App Integration in Docker-based Cloud Software Ecosystems
针对基于Docker的云软件生态系统中第三方应用集成的安全风险,提出覆盖全软件生命周期、含沙箱测试的安全集成方案,提升生态系统安全性。
2024-05-18 cs.CR cs.DC
Resource Management Schemes for Cloud-Native Platforms with Computing Containers of Docker and Kubernetes
Fordham University(福特汉姆大学);Dublin City University(都柏林城市大学)
本文评估 Docker 与 Kubernetes 云原生环境中大数据和深度学习应用的性能,揭示默认设置、资源管理方案及资源释放延迟对完成时间和资源使用的显著影响。
2025-09-29 cs.DC cs.PF
Towards Distributed Machine Learning in Shared Clusters: A Dynamically-Partitioned Approach
已经提出了许多集群管理系统(CMS)来与多个分布式计算系统共享单个集群。然而,现有的方法都不能处理分布式机器学习(ML)工作负载,给出了以下标准:高资源利用率、公平的资源分配和低共享开销。为了解决这个问题,我们提出了一个新的CMS命名为宿舍,结合动态分区集群管理机制和利用公平性优化。具体来说,Dorm使用基于容器的虚拟化技术来划分集群,每个分区运行一个应用程序,并且可以在应用程序运行时动态调整每个分区的大小,以提高资源效率和公平性。每个应用程序都直接在分配的分区上启动其任务,而无需频繁请求资源,因此Dorm会带来平坦的共享开销。广泛的性能评估表明,与现有方法相比,Dorm可以同时将资源利用率提高2.32倍,将公平性损失降低1.52倍,并将流行的分布式ML应用程序加速2.72倍。在大多数情况下,宿舍的共享开销不到5%。
2017-04-22 cs.DC