Predictive Autoscaling in Cloud-Native and Federated Cloud-Edge Computing Environments: A Taxonomy and Future Directions
The University of Melbourne（墨尔本大学）；Banaras Hindu University（贝拿勒斯印度教大学）
本文系统综述了云原生与联邦云边环境中的预测性自动缩放技术，提出了基于触发器、目标、预测模型和评估指标的分类法，并探讨了CRD、MAPE控制环及联邦学习等机制，最后指出了未来研究方向。
2026-06-05 cs.DC
Self-Aware and Self-Adaptive Autoscaling for Cloud Based Services
现代互联网服务越来越多地利用云计算来实现灵活、弹性和按需提供。通常，基于云的服务的服务质量（QoS）可以使用不同的底层云配置和资源来调整，例如，线程数、CPU和内存等，它们被共享、租赁并作为公用事业定价。这一优势从根本上说是基于自动扩展：一个自动和弹性的过程，根据随时间变化的工作负载按需调整云配置。本文提出了一个整体的云自动伸缩框架，以有效和无缝地解决现有的挑战，涉及到不同的逻辑方面的自动伸缩，包括架构自动伸缩系统，建模的QoS基于云的服务，确定粒度的控制和决定权衡自动伸缩的决定。该框架利用自感知的原理和相关算法自适应地处理动态性、不确定性、QoS干扰和云中目标的权衡。主要的好处是，通过利用框架，可以有效地实现云自动扩展，而无需大量的人工分析和设计时知识。通过使用RUBiS基准和真实云环境下的现实工作负载进行各种实验，本文基于各种质量指标评估了该框架的有效性，并与其他最先进的方法进行了比较。
2016-08-13 cs.DC cs.SE
Agentic Autoscaling through Worker-Pool Orchestration for LLM-driven Text Classification in Cloud Computing Environments
The University of Melbourne（墨尔本大学）；Banaras Hindu University（贝拿勒斯印度教大学）
针对LLM文本分类的高延迟与突发负载，提出基于工作池编排的智能体自动扩缩容框架，集成优先级队列与动态工作池，在AG News和SMS Spam数据集上分别达到90.5%和99.5%准确率，优于基线并提升资源效率。
2026-09-15 cs.DC
Self-Adaptive Trade-off Decision Making for Autoscaling Cloud-Based Services
云中的弹性通常通过按需自动缩放来实现。在这种情况下，目标是优化基于云的服务的服务质量（QoS）和成本目标。然而，困难在于这些目标，例如，吞吐量和成本，可以自然地冲突，并且基于云的服务的QoS经常由于云中的共享基础设施而受到干扰。因此，在云中进行自动缩放的动态和有效的权衡决策是必要的，但具有挑战性。特别是，要实现良好的折衷就更难了，在这种情况下，决策在很大程度上改善了大多数目标，同时对其他目标造成相对较小的退化。在本文中，我们提出了一个自适应的决策方法，在云中的自动缩放。它能够自适应地产生自动缩放决策，从而在没有大量人为干预的情况下实现良好的折衷。我们利用蚁群启发的多目标优化来搜索和优化权衡决策，然后通过妥协优势来过滤结果，这是一种在权衡中提取具有平衡改进的决策的机制。我们实验比较我们的方法，以四个国家的最先进的自动缩放方法：规则，启发式，随机和多目标遗传算法为基础的解决方案。结果表明，我们的方法比其他方法更有效，包括更好的权衡质量和更小的违反要求。
2016-08-21 cs.DC cs.SE
A Survey and Taxonomy of Self-Aware and Self-Adaptive Cloud Autoscaling Systems
自动缩放系统可以通过对云软件的各种配置和硬件资源的调配，重新配置基于云的服务和应用，以适应运行时不断变化的环境。这种行为为在现代云计算范例中实现弹性提供了基础。由于共享云基础设施的动态性和不确定性，云自动伸缩系统已被设计为人类创造的最复杂，最复杂和最智能的工件之一，旨在实现自我感知，自适应和可靠的运行时伸缩。然而，现有的自感知和自适应云自动缩放系统（SSCAS）还没有成熟到可以在云中可靠地利用的状态。在这篇文章中，我们调查了国家的最先进的研究SSCAS的研究，并提供了一个全面的分类，这一领域。我们对结果进行了详细的分析，并提供了对开放挑战的见解，以及在这一研究领域未来工作中值得研究的有前途的方向。我们的调查和分类有助于在云中设计更智能的自动缩放系统的基础。
2018-04-25 cs.DC cs.SE
HGraphScale: Hierarchical Graph Learning for Autoscaling Microservice Applications in Container-based Cloud Computing
本文提出基于层次图神经网络的自动扩缩容方法HGraphScale，通过捕获微服务依赖与容器部署方案应对动态工作负载，在VM预算下最多减少80.16%平均响应时间。
2025-10-23 cs.DC
Graph-PHPA: Graph-based Proactive Horizontal Pod Autoscaling for Microservices using LSTM-GNN
Dublin City University（都柏林城市大学）
基于微服务的架构已经成为云原生应用程序的主流。随着越来越多的应用程序每天部署在云平台上利用这种架构，需要更多的研究工作来了解如何应用不同的策略来有效地管理各种云资源。大量的研究已经部署了自动资源分配算法，使用反应式和主动式自动缩放策略。然而，目前的算法在从微服务的架构和部署环境中捕获微服务的重要特征方面的效率仍然存在差距，例如，缺乏对图形依赖的考虑。为了应对这一挑战，我们提出了Graph-PHPA，这是一种基于图的主动水平pod自动缩放策略，用于利用长短期记忆（LSTM）和基于图神经网络（GNN）的预测方法将云资源分配给微服务。我们使用部署在专用测试环境中的Bookinfo微服务来评估Graph-PHPA的性能，其中实时工作负载是根据真实的数据集生成的。我们通过将Graph-PHPA与Kubernetes中基于规则的资源分配方案作为基线进行比较来证明其有效性。大量的实验已经实施，我们的结果表明，我们提出的方法在资源节约的反应式基于规则的基线算法在不同的测试场景中的优越性。
2022-09-06 cs.DC cs.LG
Performance-Feedback Autoscaling with Budget Constraints for Cloud-based Workloads of Workflows
工作流在云领域的日益普及促进了复杂的自动缩放策略的发展，这些策略允许自动分配和释放资源。然而，许多最先进的工作流自动缩放策略大多是基于计划的，或者是为批量（集成）工作流而设计的。这降低了他们在处理工作流的工作负载时的灵活性，因为工作负载通常会受到不可预测的资源需求波动的影响。此外，云计算中的自动缩放几乎总是施加了应该满足的预算限制。用于工作流的可感知自动缩放器通常需要预先提供任务运行时估计，由于其动态特性，在处理工作负载时并不总是可能的。为了解决这些问题，我们提出了一种新的性能反馈自动定标器（PFA），它是可感知的，不需要任务运行时估计其操作。相反，它使用性能反馈循环来监视每种资源类型的平均吞吐量。我们在流行的Apache Airflow工作流管理系统中实现了PFA，并将我们的自动缩放器与其他两种最先进的自动缩放器的性能进行了比较，并与混合编程方法获得的最优解进行了比较。我们的研究结果表明，PFA优于其他考虑在线自动缩放，因为它有效地最大限度地减少了平均作业延迟高达47%，同时仍然满足预算约束。此外，PFA的平均运行时间比竞争对手低76%。
2019-07-23 cs.DC
Comparison of Autoscaling Frameworks for Containerised Machine-Learning-Applications in a Local and Cloud Environment
本文比较了本地与云环境中容器化机器学习应用在应用级、容器级和机器级三个层级的自动伸缩框架，基于推理时间与扩容响应时间提出部署策略。
2024-02-25 cs.DC
Stability-Aware Proactive Autoscaling Using a Double Deep Q-Network in Cloud Computing Environments
The University of Melbourne（墨尔本大学）；Banaras Hindu University（贝拿勒斯印度教大学）
针对云环境动态负载下反应式扩缩容响应延迟与振荡问题，提出基于双深度Q网络（DDQN+RRS）的主动扩缩容方法，通过解耦动作选择与价值评估提升稳定性，实验显示SLA违反率降至11.81%，CPU利用率达52.23%，扩缩容事件与Pod重启次数显著减少。
2026-09-15 cs.DC
LA-IMR: Latency-Aware, Predictive In-Memory Routing and Proactive Autoscaling for Tail-Latency-Sensitive Cloud Robotics
Umeå University（于默奥大学）
针对混合云边基础设施中突发请求导致的尾延迟问题，提出LA-IMR控制层，通过利用率驱动的延迟模型、事件调度、副本自动缩放和边到云卸载，将P99延迟降低高达20.7%。
2026-07-15 cs.DC
Optimizing simultaneous autoscaling for serverless cloud computing
本文针对无服务器云计算中的自动扩缩容问题，提出基于流体近似模型和分离连续线性规划的优化控制策略，显著降低失败请求和响应时间。
2023-10-29 cs.DC
A proactive autoscaling and energy-efficient VM allocation framework using online multi-resource neural network for cloud data center
这项工作提出了一个节能的资源供应和分配框架，以满足未来应用程序的动态需求。云用户资源需求的频繁变化导致了过度功耗、资源浪费、性能和服务质量下降的问题。所提出的框架通过精确地将应用程序的预测资源需求与VM的资源容量相匹配来解决这些挑战，从而将整个负载整合到最少数量的节能物理机器上。所提出的工作的三个连续的贡献是：在线多资源前馈神经网络，以预测未来的应用程序的多个资源需求同时;自动缩放的虚拟机的基础上预测的资源需求的聚类;分配的缩放的虚拟机上的节能PM。该集成方法连续优化资源利用率，节省能源，并自动适应未来应用资源需求的变化。建议的框架进行了评估，使用基准谷歌集群数据集的真实工作负载跟踪和不同的场景，包括节能的VM放置与资源预测，VMP没有资源预测和自动缩放，最佳VMP与自动缩放的基础上，实际资源利用率进行比较。观察到的结果表明，所提出的集成方法实现了接近最佳的性能对最佳的VMP和优于其余的VMP在节省功率和资源利用率分别高达88.5%和21.12%。与传统的单输入单输出前馈神经网络预测器相比，OM-FNN预测器具有更高的预测精度、更小的时间和空间复杂度。
2022-12-04 cs.DC
AHPA: Adaptive Horizontal Pod Autoscaling Systems on Alibaba Cloud Container Service for Kubernetes
DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）；Alibaba Cloud, Alibaba Group（阿里巴巴集团阿里云）
Kubernetes现有的应用实例资源分配策略无法根据业务需求动态调整，在波动时会造成巨大的资源浪费。此外，新的云服务的出现提出了更高的资源管理要求。本文讨论了阿里云容器服务中的水平POD资源管理，并采用了一个新部署的AI算法框架AHPA --自适应水平POD自动缩放系统。基于一个强大的分解预测算法和性能训练模型，AHPA提供了一个最佳的POD数量调整计划，可以减少POD资源，并保持业务稳定。这套系统自2021年4月部署以来，已拓展到物流、社交网络、AI音视频、电商等多个客户场景，与以往算法相比，AHPA解决了弹性滞后问题，CPU使用率提升10%，资源成本降低20%以上。此外，AHPA可以根据预测的业务量自动进行灵活规划，无需人工干预，大幅节省运维成本。
2023-03-07 cs.DC cs.LG cs.SY
Automated Cloud Provisioning on AWS using Deep Reinforcement Learning
Synaptiq, LLC（Synaptiq有限责任公司）；BlackSky（BlackSky公司）
随着云计算的使用不断增加，控制成本变得越来越重要。然而，有证据表明，30%-45%的云支出被浪费了。现有的云供应工具通常依赖于训练有素的人类专家来指定要监控的内容、触发动作的阈值和动作。在本文中，我们将探索使用强化学习（RL）来获取平衡性能和支出的策略，允许人们指定他们想要什么，而不是如何去做，从而最大限度地减少对云专业知识的需求。使用CloudSim模拟器进行表格式、深度和决斗式双深度Q学习的实证结果显示了RL的实用性和这些方法的相对优点。我们还演示了有效的策略迁移学习，从一个非常简单的模拟器到CloudSim，下一步是从CloudSim迁移到Amazon Web Services物理环境。
2017-09-19 cs.AI cs.DC cs.LG
NimbusGuard: A Novel Framework for Proactive Kubernetes Autoscaling Using Deep Q-Networks
Informatics Institute of Technology（信息科技学院）
本文提出NimbusGuard，基于深度强化学习的主动Kubernetes自动扩展框架，通过LSTM预测工作负载模式，相比传统反应式方法提升性能与成本效率。
2026-04-13 cs.AI cs.DC
Quantifying Autoscaler Vulnerabilities: An Empirical Study of Resource Misallocation Induced by Cloud Infrastructure Faults
Okestro AI Research Center（Okestro 人工智能研究中心）
本文通过实证研究发现，云基础设施故障会导致自动扩展策略出现资源误分配，其中存储故障带来最大成本开销，路由异常导致资源不足，且水平扩展策略对临时异常更敏感。
2026-01-08 cs.DC
A Deep Recurrent-Reinforcement Learning Method for Intelligent AutoScaling of Serverless Functions
The University of Melbourne（墨尔本大学）；School of Computing and Information Systems（计算与信息系统学院）
本文提出将LSTM网络与无模型PPO算法集成用于无服务器函数自动扩展，解决部分可观察云环境下的性能瓶颈，实验表明该方法较阈值法提升吞吐量18%、函数执行13%，并多考虑8.4%的函数实例。
2024-11-11 cs.AI cs.DC cs.SY
Enhancing Kubernetes Automated Scheduling with Deep Learning and Reinforcement Techniques for Large-Scale Cloud Computing Optimization
Stevens Institute of Technology（斯蒂文斯理工学院）；Johns Hopkins University（约翰斯·霍普金斯大学）；North Carolina State University（北卡罗来纳州立大学）；Trine University（特莱恩大学）
针对大规模云计算任务调度的复杂性与实时性需求，本文提出基于深度学习和强化学习的Kubernetes自动调度方案，通过实时监控预测与动态策略调整，实现资源最优利用和任务效率最大化。
2024-02-26 cs.AI cs.DC cs.LG
MAS-H2: A Hierarchical Multi-Agent System for Holistic Cloud-Native Autoscaling
University of Westminster（威斯敏斯特大学）；University of York（约克大学）
MAS-H2通过分层多智能体系统实现云原生自动扩展的前瞻性管理，减少资源浪费和性能下降，提升系统稳定性与资源利用效率。
2026-03-08 cs.DC cs.LG
MARLIN: Multi-Agent Game-Theoretic Reinforcement Learning for Sustainable LLM Inference in Cloud Datacenters
Colorado State University（科罗拉多州立大学）；Hewlett Packard Labs（惠普实验室）
本文提出MARLIN框架，通过博弈强化学习优化LLM推理的TTFT、碳排放、用水量和能耗，实现至少18%的TTFT、33%的碳排放、43%的用水量和11%的能耗降低。
2026-05-13 cs.DC cs.LG
Practical Efficient Microservice Autoscaling with QoS Assurance
云应用程序越来越多地从单一服务转向基于敏捷微服务的部署。然而，由于松散耦合和交互组件的数量庞大，微服务的有效资源管理构成了一个重大障碍。各种微服务之间的相互依赖性使得现有的云资源自动扩展技术无效。同时，基于机器学习（ML）的方法试图捕捉微服务中的复杂关系，需要大量的训练数据，并导致故意违反SLO。此外，这些ML繁重的方法在适应动态变化的微服务操作环境方面很慢。在本文中，我们提出了PEMA（实用高效微服务自动缩放），一个轻量级的微服务资源管理器，通过机会主义的资源减少找到有效的资源分配。PEMA的轻量级设计实现了新颖的工作负载感知和自适应资源管理。使用三个原型微服务实现，我们表明PEMA可以找到高效的资源分配，并与基于商业规则的资源分配相比节省高达33%的资源。
2022-08-09 cs.DC cs.SY eess.SY
Reclaimer: A Reinforcement Learning Approach to Dynamic Resource Allocation for Cloud Microservices
Ohio University（俄亥俄大学）；University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）；Intel（英特尔）
本文提出Reclaimer深度强化学习模型，通过动态感知微服务运行时变化，在满足QoS前提下最小化CPU核心分配，实验表明其资源节省效果显著优于现有方案。
2023-04-17 cs.DC cs.LG
Research on Edge Computing and Cloud Collaborative Resource Scheduling Optimization Based on Deep Reinforcement Learning
Microsoft（微软）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
本研究提出一种基于深度强化学习（DRL）的边缘云协同资源调度优化方法，有效提升了任务处理效率与资源利用率并控制任务迁移，实验证明其优于传统算法，未来将致力于提升学习效率与容错能力。
2025-04-10 cs.AI cs.DC cs.LG
CASA: A Framework for SLO and Carbon-Aware Autoscaling and Scheduling in Serverless Cloud Computing
本文提出CASA框架，在无服务器云集群中同时考虑碳足迹和SLO约束进行容器调度与自动伸缩，实验表明其碳足迹最多降低2.6倍、SLO违反率最多降低1.4倍。
2024-08-31 cs.DC cs.PF
Online Learning for Offloading and Autoscaling in Renewable-Powered Mobile Edge Computing
移动边缘计算（也称为雾计算）最近已经出现，以使得能够在移动网络的边缘处对延迟敏感的应用进行\emph{in-situ}处理。然而，提供支持移动边缘计算的电网供电成本高昂，甚至不可行（在某些崎岖或欠发达地区），因此在越来越多的情况下，要求现场可再生能源作为主要甚至唯一的电源。尽管如此，可再生能源的高不稳定性和不可预测性使得在可再生能源驱动的移动边缘计算系统中向用户提供高服务质量非常具有挑战性。在本文中，我们解决了将可再生能源纳入移动边缘计算的挑战，并提出了一种有效的基于强化学习的资源管理算法，该算法实时学习动态工作负载卸载（到集中式云）和边缘服务器配置的最佳策略，以最大限度地降低长期系统成本（包括服务延迟和运营成本）。我们的在线学习算法使用（离线）值迭代和（在线）强化学习的分解，从而实现了学习率和运行时性能的显着改善相比，标准的强化学习算法，如Q学习。
2016-09-16 cs.DC
ElegantRL-Podracer: Scalable and Elastic Library for Cloud-Native Deep Reinforcement Learning
Columbia University（哥伦比亚大学）；University of California, Berkeley（加州大学伯克利分校）；Shenzhen Inst. of Advanced Tech.（深圳先进技术研究院）；Northwestern University（西北大学）；Bell labs（贝尔实验室）；Amazon（亚马逊）；IDEA Research（IDEA研究院）
深度强化学习（DRL）彻底改变了游戏和机器人控制等应用中的学习和驱动。数据汇集的成本，即，从主体-环境交互产生过渡，仍然是在复杂的现实世界问题中更广泛采用DRL的主要挑战。遵循云原生范例在GPU云平台上训练DRL代理是一种很有前途的解决方案。在本文中，我们提出了一个可扩展的弹性库ElegantRL-podracer，用于云原生深度强化学习，它有效地支持数百万GPU核心在多个级别上进行大规模并行训练。在高层次上，ElegantRL-podracer采用基于锦标赛的集成方案，在数百甚至数千个GPU上编排训练过程，调度排行榜和数百个pod的训练池之间的交互。在低级别上，每个pod通过在单个GPU中充分利用近7，000个GPU CUDA核心来并行模拟代理-环境交互。我们的ElegantRL-podracer库遵循容器化、微服务和MLOps的开发原则，具有高可扩展性、弹性和可访问性。使用NVIDIA DGX SuperPOD云，我们对运动和股票交易中的各种任务进行了广泛的实验，并表明ElegantRL-podracer的性能大大优于RLlib。我们的代码可以在GitHub上找到。
2022-04-04 cs.AI cs.DC cs.LG
The High Cost of Keeping Warm: Characterizing Overhead in Serverless Autoscaling Policies
本研究设计了可复刻商业平台特性的开源无服务器系统，对比不同自动扩缩容策略的性能与成本，揭示了实例更迭、内存分配带来的高额开销及性能与成本的矛盾，提出结合真实部署与仿真的混合方法以贴近生产规模评估。
2025-09-03 cs.DC
Elascale: Autoscaling and Monitoring as a Service
自动可扩展性已经成为云软件系统的一个明显特征，包括但不限于大数据和物联网应用。云应用程序提供商现在可以完全控制其应用程序的微服务和宏服务;虚拟机和容器可以在运行时按需配置或取消配置。Elascale致力于根据工作负载和整个应用程序堆栈内部状态的变化来调整微观/宏观资源。Elascale利用Elasticsearch堆栈收集、分析和存储性能指标。然后，Elascale使用其默认的缩放引擎来弹性地适应托管应用程序。可扩展性通过Elascale中的提供程序，模式，插件和策略元素来保证，通过这些元素，可以为各种技术，基础设施和软件堆栈设计和实施灵活的可扩展性算法，包括反应式和主动式技术。在本文中，我们介绍了Elascale的架构和初始实现;将利用一个实例为通用物联网应用程序添加自动可扩展性。由于对目标软件系统的零依赖性，Elascale可以为任何类型的云软件系统提供自动可扩展性和监控即服务。
2017-11-08 cs.DC
Collective Autoscaling for Cloud Microservices
随着云应用程序从单体转向松散耦合的微服务，应用程序开发人员必须决定有多少计算资源（例如，复制容器的数量）分配给应用程序中的每个微服务。这一决定会影响（1）应用程序开发人员的美元成本和（2）应用程序用户感知的端到端延迟。如今，当每个微服务的CPU或内存利用率超过可配置的阈值时，通过添加VM来独立地自动扩展各个微服务。然而，应用程序用户的端到端延迟包括在多个微服务上花费的时间，每个微服务可能需要不同数量的VM来实现整体端到端延迟。我们提出了COLA，一个基于微服务的应用程序的自动缩放器，它将VM集体分配给微服务，其全球目标是最小化美元成本，同时将端到端应用程序延迟保持在给定目标下。使用5个开源应用程序，我们将COLA与几种利用率和基于机器学习的自动缩放器进行了比较。我们在Google Kubernetes Engine（GKE）上的不同计算设置中评估COLA，其中用户管理计算资源，GKE标准，以及云提供商管理计算基础设施的新操作模式，GKE Autopilot。COLA在63个工作负载中的53个上达到了预期的中位或尾部延迟目标，与下一个最便宜的自动定标器相比，平均成本降低了19.3%。COLA是这53种工作负载中48种最具成本效益的自动扩展策略。使用COLA管理集群节省的成本使COLA在几天内就能支付培训费用。在较小的应用程序中，我们可以彻底搜索微服务配置，我们发现COLA在90%的情…
2022-08-07 cs.DC cs.SY eess.SY
Lifelong Federated Reinforcement Learning: A Learning Architecture for Navigation in Cloud Robotic Systems
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；University of Chinese Academy of Sciences（中国科学院大学）；Hong Kong University of Science and Technology（香港科技大学）
针对机器人如何融合迁移经验以快速适应新环境的问题，提出用于云机器人系统导航的终身联邦强化学习（LFRL）架构，包含知识融合算法与迁移学习方法，实验证明其显著提升了导航学习效率并有效融合先验知识。
2019-05-13 cs.AI cs.DC cs.LG
Adaptive Security Policy Management in Cloud Environments Using Reinforcement Learning
Texas Tech University（德克萨斯理工大学）；Stony Brook University（石溪大学）；Rochester Institute of Technology（罗切斯特理工学院）
本文提出基于深度强化学习的云安全策略管理框架，利用遥测数据动态调整防火墙与IAM策略，显著提升检测率并缩短响应时间。
2025-05-13 cs.CR cs.CV cs.DC
Robust Point Cloud Reinforcement Learning via PCA-Based Canonicalization
Purdue University（普渡大学）
针对点云强化学习对相机位姿不匹配敏感的问题，提出基于PCA的点云规范化框架PPC，将点云对齐到统一规范位姿，提升了机器人任务对未见相机位姿的鲁棒性。
2025-10-28 cs.LG cs.RO
Deep Reinforcement Learning Based Resource Allocation for Cloud Native Wireless Network
针对云原生无线网络中动态资源分配难题，本文提出基于深度强化学习的两种无模型算法，并在Free5gc测试平台上验证，显著提升网络效率。
2023-05-10 cs.LG cs.NI
SpotKube: Cost-Optimal Microservices Deployment with Cluster Autoscaling and Spot Pricing
SpotKube是一个基于Kubernetes的开源方案，利用遗传算法和竞价定价动态扩缩微服务集群，在保障性能的同时实现公有云部署成本最优。
2025-02-07 cs.DC
An Advanced Reinforcement Learning Framework for Online Scheduling of Deferrable Workloads in Cloud Computing
Microsoft（微软公司）；Microsoft Research Asia（微软亚洲研究院）；Peking University（北京大学）；Tsinghua University（清华大学）；Beihang University（北京航空航天大学）
本文提出了一种名为OSDEC的基于深度强化学习的在线可延迟作业调度方法，通过引入辅助任务优化状态表示，在保证高资源利用率的同时有效缩短了用户等待时间。
2024-06-03 cs.AI cs.DC cs.LG
Containers Orchestration with Cost-Efficient Autoscaling in Cloud Computing Environments
容器是独立的、自包含的单元，将软件及其依赖项打包在一起。它们提供轻量级的性能隔离、快速灵活的部署以及细粒度的资源共享。近年来，它们在更好的应用程序管理和部署方面越来越受欢迎，并被组织广泛用于在专有集群或云数据中心部署日益多样化的工作负载，如Web服务，大数据和物联网。这导致了容器编排平台的出现，这些平台旨在管理大规模集群中容器化应用程序的部署。这些平台中的大多数都是为了优化固定大小的私有集群上的容器调度而定制的，但不能自动扩展集群的大小，也不能考虑特定于公共云环境的功能。在这项工作中，我们提出了一个全面的容器资源管理方法，有三个不同的目标。第一个是通过在现有资源上有效地调度容器来优化容器的初始放置。第二个是在运行时根据当前集群的工作负载自动调整资源数量。第三个是重新调度机制，通过在可能的情况下将应用程序整合到更少的VM中，进一步支持资源的有效使用。我们的算法被实现为Kubernetes平台的插件调度器。我们评估了我们的框架和澳大利亚国家云基础设施上提出的算法的有效性。我们的实验表明，可以实现相当大的成本节约，通过动态管理集群的大小和应用程序的位置。我们发现，与默认的Kubernetes调度程序相比，我们提出的方法能够将成本降低58%。
2018-12-02 cs.DC
Learning Cooperative Oversubscription for Cloud by Chance-Constrained Multi-Agent Reinforcement Learning
East China Normal University（华东师范大学）；Microsoft Research（微软研究院）；Microsoft 365（微软365）；Microsoft Research Asia（微软亚洲研究院）
超额订阅是提高云资源利用率的常见做法。它允许云服务提供商销售超过物理限制的资源，假设不是所有用户都能同时充分利用这些资源。然而，如何设计一个超额预订政策，提高利用率，同时满足一些安全约束仍然是一个悬而未决的问题。现有的方法和工业实践过于保守，忽略了不同的资源使用模式和概率约束的协调。为了解决这两个问题，本文将云计算的超额订阅问题描述为一个机会约束优化问题，并提出了一种有效的机会约束多智能体强化学习（C2MARL）方法来解决这个问题。具体来说，C2MARL通过考虑约束的上限来减少约束的数量，并利用多智能体强化学习范式来学习安全和最优的协调策略。我们在内部云平台和公共云数据集上评估我们的C2MARL。实验表明，我们的C2 MARL优于现有的方法，提高利用率（$20\%\sim 86\%$）在不同级别的安全约束。
2022-11-21 cs.AI cs.LG cs.MA
ReLeaSER: A Reinforcement Learning Strategy for Optimizing Utilization Of Ephemeral Cloud Resources
Univ. Rennes（雷恩大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；IRISA（IRISA研究所）；Univ Brest（布雷斯特大学）；Lab-STICC（Lab-STICC实验室）
云数据中心容量过度配置，以应对需求高峰和硬件故障，导致资源利用率低。提高资源利用率并因此降低总拥有成本的一种方式是以较低的价格提供未使用的资源（称为短暂资源）。但是，转售资源需要满足其客户在服务质量方面的期望。我们的目标是最大化回收资源的数量，同时避免SLA惩罚。为了实现这一目标，云提供商必须估计其未来的利用率，以提供可用性保证。预测应该考虑资源的安全裕度，以应对不可预测的工作负载。面临的挑战是找到安全余量，在回收的资源量和违反SLA的风险之间提供最佳权衡。大多数现有技术的解决方案考虑用于所有类型的度量（例如，CPU、RAM）。然而，唯一的固定余量不考虑随着时间的推移可能导致SLA违规或/和利用率低下的各种工作负载变化。为了应对这些挑战，我们提出了ReLeaSER，一种强化学习策略，用于优化云中临时资源的利用率。ReLeaSER在主机级别为每个资源度量动态调整安全裕度。该策略从过去的预测错误（导致SLA违规）中学习。我们的解决方案将SLA违规处罚平均降低了2.7倍，最高可降低3.4倍。它还大大提高了CP的潜在节省，平均节省27.6%，最高可达43.6%。
2020-12-10 cs.DC cs.LG cs.PF
Reinforcement Learning on Computational Resource Allocation of Cloud-based Wireless Networks
Trinity College Dublin（都柏林大学三一学院）；Dublin City University（都柏林城市大学）
用于物联网（IoT）的无线网络预计将在很大程度上涉及基于云的计算和处理。云端的软件化和集中式信号处理和网络交换可实现灵活的网络控制和管理。在云环境中，动态计算资源分配对于在保持进程性能的同时节省能量是必不可少的。中央处理器（CPU）负载变化的随机特征以及云进程可能的复杂并行化情况使得动态资源分配成为一个有趣的研究挑战。本文将这种动态计算资源分配问题建模为马尔可夫决策过程（MDP），并设计了一个基于模型的学习代理来优化CPU使用率的动态资源分配。在MDP过程中，采用值迭代的方法，使学习代理学习最优策略。为了评估我们的性能，我们分析了两种类型的进程，它们可以在基于云的物联网网络中使用，具有不同级别的并行化能力，即，软件定义无线电（SDR）和软件定义网络（SDN）。结果表明，我们的代理快速收敛到最优策略，在不同的参数设置下稳定地执行，在不同的场景下，与基线算法相比，在节能方面优于或至少等同于基线算法。
2020-10-10 cs.AI cs.LG
Edge-Cloud Cooperation for DNN Inference via Reinforcement Learning and Supervised Learning
Nanyang Technological University（南洋理工大学）；Harbin Institute of Technology（哈尔滨工业大学）；University of Chinese Academy of Sciences（中国科学院大学）
深度神经网络（DNN）已经广泛应用于物联网（IoT）系统中，用于诸如图像分类和目标检测的各种任务。然而，由于计算资源有限，重量级DNN模型很难部署在边缘设备上。本文提出了一种边云协作框架，以提高推理精度，同时保持低推理延迟。为此，我们在边缘部署了一个轻量级模型，在云上部署了一个重量级模型。使用基于强化学习（RL）的DNN压缩方法来从重量级模型生成适合于边缘的轻量级模型。此外，基于监督学习（SL）的卸载策略被应用于确定是否应该在边缘或云上处理样本。我们的方法在真实的硬件上实现，并在多个数据集上进行了测试。实验结果表明：（1）基于RL的DNN压缩所获得的轻量级模型的大小比基线方法所获得的模型的大小小87.6%;（2）基于SL的卸载策略在大多数情况下都能做出正确的卸载决策;（3）与仅云策略相比，我们的方法减少了高达78.8%的推理延迟，并实现了更高的准确率。
2022-10-11 cs.LG
On the Role of DAG topology in Energy-Aware Cloud Scheduling : A GNN-Based Deep Reinforcement Learning Approach
Université Grenoble Alpes, CNRS, Grenoble INP, G-SCOP（格勒诺布尔阿尔卑斯大学，法国国家科学研究中心，格勒诺布尔国立理工学院，G-SCOP实验室）
本文研究了单工作流无队列调度场景，提出基于GNN的深度强化学习调度器以最小化完成时间和能耗，分析了GNN调度器在分布外条件下的失效原因，揭示了当前GNN调度器的局限性。
2026-04-10 cs.AI cs.LG
CMI: An Online Multi-objective Genetic Autoscaler for Scientific and Engineering Workflows in Cloud Infrastructures with Unreliable Virtual Machines
云计算正在成为执行科学和工程工作流的领先范例。他们模拟的实验的大规模性质及其可变的工作负载使云成为理想的执行环境，因为它可以快速和弹性地访问大量的计算资源。自动缩放器是中间件级别的软件组件，其允许通过在调度工作流的任务时获取或终止虚拟机（VM）来缩放计算平台。在这项工作中，我们提出了一种新的在线多目标自动缩放命名为云多目标智能（CMI）的工作流，其目的是在最小化的完工时间，货币成本和潜在的影响，来自不可靠的虚拟机的错误。此外，这个问题还受到货币预算的限制。CMI负责定期解决工作流执行过程中遇到的自动缩放问题。四个著名的工作流程的模拟实验表明，CMI显着优于一个国家的最先进的autoscaler的类似特征，称为现场监测感知自动缩放（SIAA）。这些结果传达了一个坚实的基础，在其他Meta探试法的自动缩放工作流应用程序使用廉价的，但不可靠的基础设施的深入研究。
2018-11-02 cs.DC cs.NE
Collaborative Policy Learning for Dynamic Scheduling Tasks in Cloud-Edge-Terminal IoT Networks Using Federated Reinforcement Learning
Kyungnam University（庆南大学）；Sejong University（世宗大学）
本文针对云-边-端IoT网络动态调度任务，提出基于联邦强化学习的协作策略学习框架，通过聚合边缘经验构建中心策略，显著提升学习速度并加速新边缘适应任务。
2023-07-02 cs.AI cs.DC cs.LG
PointPatchRL -- Masked Reconstruction Improves Reinforcement Learning on Point Clouds
Institute for Anthropomatics and Robotics, Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院人体工程与机器人研究所）；HIDSS4Health - Helmholtz Information and Data Science School for Health（HIDSS4Health - 亥姆霍兹健康信息与数据科学学院）
本文提出PointPatchRL，通过点云补丁分词、Transformer编码与掩码重建提升点云强化学习，在复杂可变形物体操作任务中优于强图像观测基线。
2024-10-24 cs.LG cs.RO
On the Efficacy of 3D Point Cloud Reinforcement Learning
UC San Diego（加州大学圣迭戈分校）
该研究系统探究3D点云强化学习的设计选择，开发出适用于多类机器人任务的鲁棒算法，并证实当关系编码为关键因素时其性能显著优于2D图像强化学习。
2023-06-11 cs.AI cs.LG cs.RO
Topology-Aware Graph Reinforcement Learning for Dynamic Routing in Cloud Networks
Carnegie Mellon University（卡内基梅隆大学）；Northeastern University（东北大学）；Northwestern University（西北大学）；New York University（纽约大学）
针对云网络动态路由优化中拓扑感知不足、决策不稳定的问题，提出融合SASE模块与PAGU机制的拓扑感知图强化学习方法，在GEANT数据集上多项指标优于现有模型，实现高效鲁棒的动态路由。
2025-09-05 cs.LG
ContinuumBench: Benchmarking Joint Autoscaling and Placement Across Evaluation Regimes in the Cloud-Edge Continuum
Institute of Information Science and Technologies “Alessandro Faedo” (ISTI), National Research Council of Italy (CNR)（意大利国家研究委员会信息科学与技术研究所（ISTi））；Department of Computer Science, University of Pisa（比萨大学计算机科学系）；Department of AI, Data and Decision Sciences, LUISS University（LUISS大学人工智能、数据与决策科学系）
ContinuumBench基准测试通过完成感知记账和统一协议，在容量受限机制下评估九个控制器，发现弹性容量和自动缩放策略决定完成率，放置质量仅在容量耗尽时起作用。
2026-09-09 cs.DC
DRPC: Distributed Reinforcement Learning Approach for Scalable Resource Provisioning in Container-based Clusters
针对微服务集群集中式自动扩缩容的可扩展性难题，提出基于双延迟深度确定性策略梯度的分布式资源供给方法DRPC，相较前沿方法可降低15%平均响应时间、减少24%失败请求，提升集群可扩展性。
2024-07-14 cs.DC
DexPoint: Generalizable Point Cloud Reinforcement Learning for Sim-to-Real Dexterous Manipulation
UC San Diego（加州大学圣地亚哥分校）；HKUST（香港科技大学）
我们提出了一个模拟到真实的灵巧操作框架，可以推广到新的对象在现实世界中的同一类别。我们的框架的关键是训练的操作策略与点云输入和灵巧的手。我们提出了两种新技术来实现对多个对象的联合学习和模拟到真实的泛化：（i）使用想象的手部点云作为增强输入;（ii）设计新颖的基于接触的奖励。我们经验性地评估我们的方法，使用快板手抓住新的对象在模拟和现实世界中。据我们所知，这是第一个基于策略学习的框架，可以用灵巧的双手实现这样的泛化结果。我们的项目页面可以在https://yzqin.github.io/dexpoint上找到
2022-11-18 cs.CV cs.LG cs.RO
Quantum Reinforcement Learning for Cost and Delay Tradeoffs in Quantum Cloud Orchestration
University of Information Technology, Vietnam National University, Ho Chi Minh City（胡志明市越南国家大学信息技术大学）；Monash University（莫纳什大学）；CSIRO（澳大利亚联邦科学与工业研究组织）
提出QRLQ框架，将参数化量子电路与决斗双深度Q网络结合，在量子云编排中实现成本与延迟权衡，相比启发式方法降低成本延迟，且参数更少。
2026-09-24 cs.AI cs.DC cs.ET
Towards Fair and Firm Real-Time Scheduling in DNN Multi-Tenant Multi-Accelerator Systems via Reinforcement Learning
University of Catania（卡塔尼亚大学）
针对多租户多加速器云环境中差异化 QoS 需求，提出基于深度强化学习的 DNN 在线实时调度算法，以截止时间命中率为 SLI，保障租户级和模型级服务质量。
2024-02-09 cs.AR cs.DC cs.LG
MCRL2: Multi-resource Cross-attention-based Representation Learning-augmented Reinforcement Learning for Cloud Microservice Scheduling
Wuhan University（武汉大学）；Beijing University of Posts and Telecommunications（北京邮电大学）
针对云微服务调度中资源动态失衡与异构耦合问题，提出MCRL2，利用多资源交叉注意力表示学习增强强化学习，在真实集群轨迹上显著提升负载均衡、调度成功率并降低平均完成时间。
2026-09-14 cs.LG
Predict-and-Critic: Accelerated End-to-End Predictive Control for Cloud Computing through Reinforcement Learning
University of Pennsylvania（宾夕法尼亚大学）；AWS AI Labs（AWS人工智能实验室）
云计算有望通过规模经济降低成本。为了实现这一承诺，云计算供应商通常解决顺序资源分配问题，其中客户工作负载打包在共享硬件上。虚拟机（VM）构成了现代云计算的基础，因为它们有助于从共享的物理基础设施中逻辑地抽象用户计算。传统上，VM包装问题通过预测需求来解决，随后是在未来范围内的模型预测控制（MPC）优化。我们引入了工业虚拟机包装问题的近似公式，作为具有由预测参数化的软约束的MILP。最近，预测和优化（PnO）被提出用于预测模型的端到端训练，通过优化问题反向传播决策的成本。但是，PnO无法扩展到云计算中普遍存在的大预测范围。为了解决这个问题，我们提出了预测和批评（PnC）框架，通过利用强化学习，仅用两步时间就可以超越PnO。PnC联合训练预测模型和终端Q函数，其通过将决策成本反向传播通过优化问题\emph{and from the future}来近似长时间范围内的成本。终端Q函数允许我们解决比PnO中所需的多步时域小得多的两步时域优化问题。我们评估PnO和PnC框架上的两个数据集，三个工作负载，并在优化问题中没有建模的干扰。我们发现，PnC显着提高决策质量PnO，即使优化问题是不是一个完美的现实代表。我们还发现，硬化软约束的MILP和反向传播的约束，提高决策质量的PnO和PnC。
2023-02-27 cs.LG
