Autonomic Microservice Management via Agentic AI and MAPE-K Integration
University of Oulu（奥卢大学）
针对微服务去中心化带来的安全与管理挑战，提出基于MAPE-K并利用agentic AI的自主异常检测与修复框架，为分布式系统提供工业级解决方案，可定制以增强稳定性并监控多项质量属性。
2025-06-27 cs.AI cs.DC cs.NI
Hybrid Orchestration of Edge AI and Microservices via Graph-based Self-Imitation Learning
School of Computer Science, South-Central Minzu University（中央民族大学南中央学院）；Key Laboratory of Cyber-Physical Fusion Intelligent Computing, State Ethnic Affairs Commission（国家民族事务委员会网络物理融合智能计算重点实验室）；Hubei Key Laboratory of Smart Internet Technology, School of Electronic Information and Communication, Huazhong University of Science and Technology（湖北智能互联网技术重点实验室，华中科技大学电子信息与通信学院）；Centre for Frontier AI Research, Agency for Science, Technology and Research (A*STAR)（前沿人工智能研究中心，科技研究局（A*STAR））
本文提出SIL-GPO框架，通过图注意力网络和自我模仿学习优化边缘AI与微服务的混合编排，显著降低延迟并提升资源利用率。
2026-03-03 cs.AI cs.NI
AI-Driven Resource Allocation Framework for Microservices in Hybrid Cloud Platforms
Jahangirnagar University（贾汉吉尔纳加尔大学）
本文提出融合强化学习与云管理工具的混合云微服务资源分配框架，可动态预测并调整资源，实验显示其在成本、利用率、延迟和扩缩容方面优于静态及规则方法。
2024-12-03 cs.AI cs.CE cs.PF
Model-based Reinforcement Learning for Service Mesh Fault Resiliency in a Web Application-level
Northwestern University（西北大学）；Nokia Bell Labs（诺基亚贝尔实验室）；Amazon Web Services（亚马逊云科技）
基于微服务的架构使Web应用程序的不同方面能够独立创建和更新，即使在部署之后也是如此。相关的技术（如服务网格）通过属性配置提供了应用程序级的故障恢复能力，这些属性配置在出现故障时控制请求-响应服务的行为以及它们之间的交互。虽然这提供了极大的灵活性，但这些属性的配置值以及它们之间的关系可能会显著影响整个应用程序的性能和故障恢复能力。此外，由于底层分布式系统的复杂性和许多可能的属性值组合，不可能通过测试确定关于故障弹性的属性值的最佳和最差组合。在本文中，我们提出了一个基于模型的强化学习工作流程，对服务网格故障弹性。我们的方法可以预测最重要的故障恢复能力的行为在Web应用程序级别，从单一的服务抓挠到聚合的多服务管理与高效的代理协作。
2021-10-21 cs.AI cs.DC cs.LG
Contention-Aware Microservice Deployment in Collaborative Mobile Edge Networks
针对协作移动边缘网络中微服务资源争用被忽视导致服务质量下降的问题，本文提出CAMD算法，通过子问题分解与启发式迭代优化实现多应用微服务部署，在低时延响应与整体处理效率之间取得平衡，并通过实验验证其优越性。
2025-01-02 cs.DC cs.NI
Topology-aware Microservice Architecture in Edge Networks: Deployment Optimization and Implementation
针对边缘网络微服务部署中的拓扑复杂与通信延迟问题，提出三层流量模型及TAIA-MD遗传算法方案，仿真降低延迟约30%至60%，实物平台验证其抗故障与波动鲁棒性。
2025-01-09 cs.DC cs.NI
Agentic-Kube: A Graph-Enhanced Multi-Agent Reinforcement Learning Framework for Multi-Objective Kubernetes Scheduling
University of Westminster Computer Science（威斯敏斯特大学计算机科学）；University of Westminster（威斯敏斯特大学）
本文提出AGMARL-DKS，通过多智能体强化学习解决动态Kubernetes调度问题，引入图神经网络和应力感知策略，提升容错性和资源利用率。
2026-08-31 cs.DC cs.LG cs.MA
MUSBO: Model-based Uncertainty Regularized and Sample Efficient Batch Optimization for Deployment Constrained Reinforcement Learning
Princeton University（普林斯顿大学）
在诸如医疗保健、金融、机器人和推荐系统的许多当代应用中，用于数据汇集和在线学习的新策略的连续部署要么成本低要么不切实际。我们考虑一种介于纯离线强化学习（RL）和纯在线RL之间的设置，称为部署约束RL，其中用于数据采样的策略部署的数量是有限的。为了解决这个具有挑战性的任务，我们提出了一个新的算法学习框架，称为基于模型的不确定性正则化和样本有效批量优化（MUSBO）。我们的框架为每个部署发现新颖且高质量的样本，以实现高效的数据汇集。在每个离线训练会话中，我们通过量化收集的数据中的不确定性来引导策略更新。在高支持区域（低不确定性），我们通过采取积极的更新来鼓励我们的政策。在低支持区域（高不确定性），当政策引导到分布外区域时，我们通过估计的不确定性量化来降低权重。实验结果表明，MUSBO在部署受限的RL设置中实现了最先进的性能。
2021-06-03 cs.AI cs.LG
Disruption-aware Microservice Re-orchestration for Cost-efficient Multi-cloud Deployments
针对多云环境中微服务重新编排导致的服务中断和成本问题，提出多目标整数线性规划及启发式算法，集成于K8s调度器，在保证QoS的同时显著降低部署成本和服务中断。
2025-09-09 cs.NI
AutoBS: Autonomous Base Station Deployment with Reinforcement Learning and Digital Network Twins
Nokia Technologies（诺基亚技术公司）；University of Southern California（南加州大学）
针对6G无线接入网最优基站部署问题，提出结合PPO算法与PMNet路径损耗预测的AutoBS框架，在接近穷举搜索容量的同时大幅缩短推理时间，提供可扩展的自动化部署方案。
2025-05-19 cs.AI cs.IT cs.LG
A Fast Anti-Jamming Cognitive Radar Deployment Algorithm Based on Reinforcement Learning
School of Mathematical Sciences University of Chinese Academy of Sciences（数学科学学院 中国科学院大学）；Information Science Academy China Electronics Technology Group Corporation（信息科学院 中国电子科技集团）
本文提出基于强化学习的快速抗干扰认知雷达部署算法FARDA，通过高效神经网络推理实现雷达部署速度提升7000倍，覆盖能力与进化算法相当。
2026-01-05 cs.AI cs.LG
Towards Deployment-Efficient Reinforcement Learning: Lower Bound and Optimality
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Microsoft Research Asia（微软亚洲研究院）
部署效率是强化学习（RL）在现实世界中应用的一个重要标准。尽管社会的兴趣越来越大，但缺乏一个正式的理论公式的问题。在本文中，我们提出了这样一个配方部署高效的RL（DE-RL）从“优化约束”的角度来看：我们有兴趣探索MDP和获得一个接近最优的政策内最小的\emph{deployment complexity}，而在每个部署的政策可以采样一大批数据。使用有限时域线性MDP作为一个具体的结构模型，我们揭示了在实现部署效率的基本限制，通过建立信息理论的下限，并提供算法，实现最佳的部署效率。此外，我们制定的DE-RL是灵活的，可以作为其他实际相关的设置的积木，我们给出了“安全DE-RL”和“样本效率DE-RL”作为两个例子，这可能是值得未来的调查。
2022-08-31 cs.AI cs.LG stat.ML
Self-Adaptive Anomaly Detection with Reinforcement Learning and Human Feedback in Connected Vehicles
本文针对车联网运行中行为监测的挑战，提出集成强化学习、统计监测和人工反馈的在线异常检测框架，通过自注意力选择检测器、多检测器集成及人工再训练机制，在测试平台上实现持续自适应且避免灾难性遗忘。
2026-07-10 cs.AI cs.LG
Advanced Scaling Methods for VNF deployment with Reinforcement Learning
Handong Global University（韩东国际大学）
网络功能虚拟化（NFV）和软件定义网络（SDN）已经成为新兴的网络范例，允许以低成本部署虚拟化网络功能（VNF）。尽管VNF部署可以是灵活的，但由于其高度复杂性，优化VNF部署仍然具有挑战性。有几项研究将该任务作为动态规划来处理，例如，整数线性规划（ILP）。然而，为高度复杂的网络优化VNF部署仍然是一个挑战。或者，已经提出了基于强化学习（RL）的方法来优化该任务，特别是采用可以在更少的计算时间内部署VNF的基于缩放动作的方法。然而，模型架构可以进一步改进，以推广到不同的网络设置。在本文中，我们提出了一个增强的模型，可以适应更一般的网络设置。我们采用改进的GNN架构和一些技术，以获得更好的节点表示的VNF部署任务。此外，我们最近提出的强化学习方法，阶段性策略梯度（PPG），利用共享表示的服务功能链（SFC）生成模型的价值函数。我们评估所提出的方法在各种情况下，实现了更好的QoS与最低的资源利用率相比，以前的方法。最后，作为一个定性的评价，我们分析了我们提出的编码器的表示的节点，这表明了一个更解开的表示。
2023-01-19 cs.LG cs.NI
Sinan: Data-Driven, QoS-Aware Cluster Management for Microservices
Cornell University（康奈尔大学）
云应用程序越来越多地从大型单体服务转向大量松散耦合的专用微服务。尽管微服务在促进开发、部署、模块化和隔离方面具有优势，但它们之间的依赖关系会引入背压效应和级联QoS违规，从而使资源管理复杂化。我们介绍了Sinan，一个数据驱动的集群管理器，用于在线和QoS感知的交互式云微服务。Sinan利用一组可扩展且经过验证的机器学习模型来确定微服务之间依赖关系的性能影响，并以保持端到端尾部延迟目标的方式为每个层分配适当的资源。我们评估了Sinan在专用本地集群和Google Compute Engine（GCE）上的大规模部署，这些部署涉及使用微服务构建的代表性端到端应用程序，例如社交网络和酒店预订网站。我们表明，思南总是满足QoS，同时还保持集群利用率高，在以前的工作，导致不可预测的性能或牺牲资源效率。此外，Sinan中的技术是可以解释的，这意味着云运营商可以从ML模型中获得关于如何更好地部署和设计其应用程序以降低不可预测性能的见解。
2021-05-27 cs.DC cs.LG cs.NI
Near-Optimal Deployment Efficiency in Reward-Free Reinforcement Learning with Linear Function Approximation
UC Santa Barbara（加州大学圣巴巴拉分校）
我们研究了在\emph{reward-free}探索环境下使用线性函数逼近的部署有效强化学习（RL）问题。这是一个动机很好的问题，因为在现实生活中的RL应用程序中部署新策略是昂贵的。在线性MDP设置与功能维度$d$和规划视野$H$，我们提出了一种新的算法，收集最多$\widetilde{O}(\frac{d^2H^5}{ε^2})$轨迹内$H$部署，以确定$ε$ -最优策略的任何（可能依赖于数据）的选择奖励函数。据我们所知，我们的方法是第一个实现最佳的部署复杂性和最佳的$d$依赖样本复杂性在同一时间，即使奖励是已知的提前。我们的新技术包括探索保持政策离散化和广义G-最优实验设计，这可能是独立的利益。最后，我们分析了低适应RL中遗憾最小化的相关问题，并给出了切换成本和批处理复杂度的信息论下界。
2023-02-22 cs.AI cs.LG stat.ML
Reinforcement Learning for Machine Learning Model Deployment: Evaluating Multi-Armed Bandits in ML Ops Environments
Aimpoint Digital Labs（安点数字实验室）
本研究探索用多臂老虎机算法动态管理ML模型部署，在真实数据集上验证其性能优于或持平传统方法，提升自动化并降低部署后故障风险。
2025-03-28 cs.LG
Deployment-Efficient Reinforcement Learning via Model-Based Offline Optimization
The University of Tokyo（东京大学）；Google Research（谷歌研究院）
大多数强化学习（RL）算法假设对环境的在线访问，其中可以容易地将对策略的更新与使用该策略的经验收集交错。然而，在许多现实世界的应用中，如健康，教育，对话代理和机器人，部署新的数据收集策略的成本或潜在风险很高，以至于在学习期间多次更新数据收集策略可能会变得令人望而却步。有了这个观点，我们提出了一个新的部署效率的概念，测量不同的数据收集策略，在策略学习过程中使用的数量。我们观察到，天真地应用现有的无模型离线RL算法递归不会导致实际的部署效率和样本效率的算法。我们提出了一种新的基于模型的算法，行为正则化模型的ENERGY（BREMEN），可以有效地优化离线使用10-20倍的数据比以前的作品的政策。此外，BREMEN的递归应用能够实现令人印象深刻的部署效率，同时保持相同或更好的样本效率，在模拟机器人环境中从头开始学习成功的策略，只有5-10次部署，而标准RL基线的典型值为数百万。代码和预训练模型可在https://github.com/matsuolab/BREMEN上获得。
2020-06-23 cs.AI cs.LG stat.ML
CALF: Communication-Aware Learning Framework for Distributed Reinforcement Learning
University of Cambridge（剑桥大学）
本文提出CALF框架，通过在仿真中训练考虑通信延迟等网络条件的策略，减少实际部署中的性能差距，验证了通信约束建模对实现鲁棒现实执行的重要性。
2026-03-13 cs.AI cs.LG
Multi-objective Reinforcement Learning With Augmented States Requires Rewards After Deployment
Institute of Innovation, Science and Sustainability, Federation University Australia（创新、科学与可持续发展研究所，联邦大学澳大利亚）
本文指出多目标强化学习与传统单目标强化学习的关键区别，强调增强状态需要部署后持续获取奖励信号，探讨其实际影响。
2026-04-17 cs.LG
Reducing the Deployment-Time Inference Control Costs of Deep Reinforcement Learning Agents via an Asymmetric Architecture
National Tsing Hua University（台湾清华大学）
深度强化学习（DRL）已被证明在一些具有挑战性的决策和控制任务中提供了有希望的结果。然而，深度神经网络（DNN）所需的推理成本可能会阻止DRL应用于无法承受高能耗计算的移动机器人。为了使DRL方法在这样的能源有限的平台是负担得起的，我们提出了一个不对称的架构，通过计算昂贵的政策和经济之间的切换，降低了整体推理成本。机器人控制任务的一些代表性的基准套件的实验结果表明，我们的方法是能够降低推理成本，同时保持代理的整体性能。
2021-05-30 cs.AI cs.RO
On-Demand Model and Client Deployment in Federated Learning with Deep Reinforcement Learning
Concordia University（康考迪亚大学）；Mohammad Bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Lebanese American University（黎巴嫩美国大学）；Khalifa University（哈利法大学）
针对联邦学习中动态移动环境下客户端不可用的问题，提出基于深度强化学习的按需方案，通过Docker容器即时部署新客户端，采用含主学习器和加入学习器的MDP框架，在客户端可用性、准确率等方面优于现有方案。
2024-05-12 cs.LG
Arena-Rosnav: Towards Deployment of Deep-Reinforcement-Learning-Based Obstacle Avoidance into Conventional Autonomous Navigation Systems
Berlin Institute of Technology（柏林工业大学）；Chair Industry Grade Networks and Clouds（工业级网络与云研究室）；Faculty of Electrical Engineering, and Computer Science（电气工程与计算机科学学院）；Berlin Institute of Technology, Berlin, Germany（柏林工业大学（德国柏林））；Chair Industry Grade Networks and Clouds, Faculty of Electrical Engineering, and Computer Science, Berlin Institute of Technology, Berlin, Germany（柏林工业大学电气工程与计算机科学学院工业级网络与云研究室（德国柏林））
近年来，移动机器人已成为各行各业的重要工具，尤其是在物流领域。深度强化学习作为替代规划方法出现，以取代过于保守的方法，并承诺更有效和灵活的导航。然而，深度强化学习方法由于其倾向于局部最小值和缺乏长期记忆而不适合于远程导航，这阻碍了其广泛集成到移动机器人的工业应用中。在本文中，我们提出了一种导航系统，将基于深度强化学习的本地规划器整合到传统的导航堆栈中，用于远程导航。因此，提出了一个用于训练和测试深度强化学习算法以及经典方法的框架。我们评估了我们的深度强化学习增强型导航系统与各种传统规划器的对比，发现我们的系统在安全性、效率和鲁棒性方面优于它们。
2021-09-23 cs.AI cs.RO
ACES -- Automatic Configuration of Energy Harvesting Sensors with Reinforcement Learning
University of California, San Diego（加利福尼亚大学圣迭戈分校）；Amazon（亚马逊）；Carnegie Mellon University（卡内基梅隆大学）
物联网是现代建筑应用的支柱。无线传感器因其灵活性和降低的部署成本而越来越多地被采用。然而，目前大多数无线传感器都是由电池供电的，手动更换电池会抑制大规模部署。能量收集传感器提供了一种有吸引力的替代方案，但它们需要为给定不确定能源可用性的应用提供足够的服务质量。我们建议使用强化学习来优化能量收集传感器的操作，以最大限度地提高可用能量的感知质量。我们提出了我们的系统ACES，该系统使用强化学习进行周期性和事件驱动的室内感知，并收集环境光能量。我们的定制板使用超级电容器临时存储能量，感知光线，运动事件并使用蓝牙低功耗中继它们。通过模拟和实际部署，我们证明了我们的传感器节点能够适应其照明条件，并在夜间和周末连续发送测量结果和事件。我们使用部署数据来不断调整感知以适应不断变化的环境模式，并转移学习以减少实际部署中的培训时间。在我们持续两周的60个节点部署中，我们观察到0.1%的死区时间。测量亮度的周期性传感器的平均采样周期为90秒，与电池供电的节点相比，使用PIR检测运动的事件传感器平均捕获86%的事件。
2020-08-03 cs.LG cs.SY eess.SY
On Optimization of Next-Generation Microservice-Based Core Networks
本文提出一种优化框架及启发式策略，将大规模微服务图划分并映射到异构裸金属资源上，以最小化服务器间总流量，仿真证明其能稳定支撑负载并降低控制面网络流量。
2024-01-17 cs.NI
Dynamic Sampling for Telemetry in Microservices: A Reinforcement Learning and Entropy-Based Approach
Federal University of Rio Grande do Sul（南大河联邦大学）
本文提出RADAR，一种结合强化学习与熵评估的微服务追踪采样智能体，基于OpenTelemetry实现动态采样，在Kubernetes模拟实验中降低带宽97.4%、CPU 99.0%，保留85.6%稀有模式并提升熵25%，验证了熵驱动遥测的可行性。
2026-09-28 cs.NI
K8S Power Irrigation: Deep Reinforcement Learning for Performance-Aware Power Efficiency of Kubernetes Cloud-Native Microservices
École de technologie supérieure (ÉTS)（高等技术学院）；Ericsson, Canada（爱立信，加拿大）
提出一种分层强化学习控制器K8SPI，通过联合优化CPU核心和末级缓存频率，在保证性能违规率低于2-3%的同时降低节点功耗23-30%。
2026-05-24 cs.NI
Cost Minimization in Multi-cloud Systems with Runtime Microservice Re-orchestration
针对多云微服务动态重部署导致的服务中断问题，提出基于滚动更新的运行时迁移与整数线性成本优化方法，并用两阶段启发式逼近最优解，显著降低成本、中断和QoS违规。
2024-05-08 cs.NI
Chameleons on Cloudlets: Elastic Edge Computing Through Microservice Variants
边缘计算的常见部署模型基于卸载到cloudlet的（可组合）微服务。网络适配-响应变化的负载、QoS实现、移动性等-通常基于粗粒度和高成本的管理操作，例如资源重新分配或迁移。然而，服务本身仍然是非自适应的，与云计算相比，边缘计算已经有限的弹性更加恶化。边缘计算应用程序通常对执行时间有严格的要求，但在计算质量方面是灵活的。利用这一权衡的潜在好处仍未得到利用。本文介绍了自适应微服务的概念，它提供了特定功能的替代变体。我们定义了所谓的服务变体，这些变体与我们的服务变体不同。服务的内部功能，表现在它们使用的不同算法、参数和辅助数据中。这样的变型允许QoS（例如，最大容许执行时间）和计算质量。我们将自适应微服务集成到边缘计算框架中，展示了服务变体的实际影响，并提出了在运行时切换变体的策略。
2021-05-19 cs.DC cs.NI
CaMP-INC: Components-aware Microservices Placement for In-Network Computing Cloud-Edge Continuum
针对云-边及网内设备中的微服务与数据库放置问题，提出考虑节点故障和服务注册距离的 CaMP-INC，通过 ILP 建模与启发式求解平均降低 15.8% 成本并改善时延。
2023-07-17 cs.NI
Optimizing Layerwise Microservice Management in Heterogeneous Wireless Networks
本文提出了一种在异构无线网络中优化微服务管理的方法，通过二元二次规划和改进的ADMM算法，减少微服务请求的延迟。
2025-12-04 cs.NI
Prioritizing Microservice Requests via Retries
Tel Aviv University（特拉维夫大学）；Columbia University（哥伦比亚大学）
针对微服务架构中重试操作引发的问题，提出DiffTry差异化重试机制，通过轻量无状态设计实现请求优先级排序，可降低过载影响，经模拟与Kubernetes部署验证有效。
2026-10-14 cs.CR cs.DC cs.NI
DMSA: A Decentralized Microservice Architecture for Edge Networks
本文提出面向边缘网络的去中心化微服务架构DMSA，通过将调度下放至边缘节点，结合多端口监听、零拷贝转发和动态加权多级负载均衡，显著提升服务响应时延与执行成功率。
2025-01-01 cs.AR cs.NI
ROMA: Resource Orchestration for Microservices-based 5G Applications
随着5G、物联网（IoT）、边缘计算和云计算技术的发展，新兴应用（AR/VR、自动驾驶、工业4.0等）可用的基础设施（计算和网络）变得相当复杂存在多个计算层（IoT设备、近边缘、远边缘、云等）。它们与不同类型的网络技术（LAN、LTE、5G、MAN、WAN等）连接。在这样的环境中部署和管理应用程序是非常具有挑战性的。在本文中，我们提出了ROMA，它在动态，异构，多层计算和网络结构中为基于微服务的5G应用程序执行资源编排。我们假设只有应用程序级别的需求是已知的，而应用程序中各个微服务的详细需求没有指定。作为我们解决方案的一部分，ROMA识别并利用各种微服务的计算和网络使用之间的耦合关系，并解决优化问题，以适当地识别每个微服务应如何部署在复杂的多层计算和网络结构中，从而最佳地满足端到端应用程序的需求。我们在视频监控和智能交通系统（ITS）领域实现了两个真实世界的5G应用。通过大量的实验，我们表明，ROMA能够节省高达90%，55%和44%的计算和高达80%，95%和75%的网络带宽的监控（监视列表）和交通应用（人和汽车检测），分别。这种改进是在满足应用程序性能要求的同时实现的，并且它优于通过忽略资源耦合关系而采用静态和过度供应的资源分配策略的替代方案。
2022-02-25 cs.NI
CrossTrace: Efficient Cross-Thread and Cross-Service Span Correlation in Distributed Tracing for Microservices
本文提出 CrossTrace，一种无需修改源代码的分布式追踪解决方案，通过贪心算法推断服务内 span 关系并利用 eBPF 将标识符嵌入 TCP 头部实现跨服务关联，在几秒内以超 90% 准确率关联数千个 span，适用于生产部署。
2025-08-15 cs.NI
Dynamic Prioritization and Adaptive Scheduling using Deep Deterministic Policy Gradient for Deploying Microservice-based VNFs
网络功能虚拟化（NFV）-资源分配（RA）问题是NP难问题。传统的部署方法揭示了饥饿问题的存在，研究人员未能认识到这一点。基本上，这里的饥饿意味着更长的等待时间和由于“超时”而最终拒绝低优先级服务。这项工作的贡献有三个方面：a）解释了现有方法中存在的饥饿问题及其缺点，b）介绍了“自适应调度”（AdSch），这是一种使用三因素方法的“智能调度”方案（优先级、阈值等待时间和可靠性），这被证明比仅基于优先级的传统方法更合理，以及c）还针对不可见服务以及宏观和微观级优先级的重要性提出了“动态优先级”（DyPr）分配方法。我们提出了一个零接触的解决方案，使用深度确定性策略梯度（DDPG）的自适应调度和在线岭回归（RR）模型的动态优先级。DDPG成功地识别了“有益和饥饿”服务，有效地部署了两倍于其他服务的低优先级服务，减少了饥饿问题。我们的在线RR模型在不到100次转换中学习模式，预测模型的准确率超过80%。
2023-02-17 cs.NI
SafePar: Monitoring Asynchrony in Microservices
Cornell University（康奈尔大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；National University of Singapore（新加坡国立大学）
SafePar提出一种黑盒监控框架，通过编译策略为串并联可见下推自动机，在服务网格层监控微服务执行的并发结构，实现毫秒级开销的并发感知策略强制。
2026-09-29 cs.FL cs.NI cs.PL
Heuristic and Reinforcement Learning Algorithms for Dynamic Service Placement on Mobile Edge Cloud
边缘计算将应用托管在终端用户附近，并支持低延迟实时应用。现代应用程序反过来采用了微服务架构，将应用程序组成为松散耦合的较小组件或服务。这补充了边缘计算基础设施，这些基础设施通常受到资源限制，可能无法处理单片应用程序。相反，边缘服务器可以独立地部署应用服务组件，尽管代价是通信开销。在移动边缘云环境中，持续满足应用程序服务级别目标，同时优化应用程序部署（服务的放置和迁移）成本和通信开销并非易事。在本文中，我们提出并评估三个动态布局策略，两个启发式（贪婪近似的基础上设置覆盖，整数规划为基础的优化）和一个学习为基础的算法。他们的目标是满足应用限制，最大限度地降低基础设施部署成本，同时确保网络覆盖区域内所有客户端和用户设备（UE）的服务可用性。这些算法可以扩展到任何网络拓扑和基于微服务的边缘计算应用。在实验中，我们使用无人机群导航作为边缘计算用例的代表性应用。由于访问现实世界的物理测试平台，这样的应用是困难的，我们证明了我们的算法作为一个模拟的有效性。我们还对比这些算法的放置质量，利用集群，和水平的确定性。我们的评估不仅表明，基于学习的算法提供了更好的质量的解决方案，它也提供了有趣的结论，当（更传统的）启发式算法实际上更适合。
2021-10-30 cs.NI
From Design to Deployment of Zero-touch Deep Reinforcement Learning WLANs
机器学习（ML）越来越多地用于自动化网络任务，这种模式称为零接触网络和服务管理（ZSM）。特别是，深度强化学习（DRL）技术最近因其在不同领域学习做出复杂决策的能力而备受关注。在ZSM上下文中，DRL是诸如动态资源分配之类的任务的有吸引力的候选者，动态资源分配通常被公式化为硬优化问题。与此同时，在现实世界的情况下，成功的培训和部署DRL代理面临着一些挑战，我们在本文中概述和解决。处理无线局域网（WLAN）无线电资源管理的情况下，我们报告的指导方针，扩展到其他用例和更一般的情况下。
2022-07-13 cs.NI
Selfish Cooperation Towards Low-Altitude Economy: Integrated Multi-Service Deployment with Resilient Federated Reinforcement Learning
University of Sydney（悉尼大学）；Nanjing University of Posts and Telecommunications（南京邮电大学）
本文提出一种基于鲁棒联邦强化学习的解决方案，通过保证真实性拍卖机制和博弈论分析，解决低空经济中多服务提供商之间的竞争与合作问题，提升服务性能和系统鲁棒性。
2026-03-05 cs.NI
Federated Deep Reinforcement Learning-Based Intelligent Channel Access in Dense Wi-Fi Deployments
本文针对密集Wi-Fi高冲突问题，提出融合联邦学习与DDPG的智能信道接入机制，并通过训练剪枝和权重聚合降低MAC时延，仿真验证其性能优于A-FRL和DRL。
2024-12-29 cs.NI
Intelligent Load Balancing Systems using Reinforcement Learning System
本文针对传统负载均衡算法难以优化流量分配时间的问题，提出重新思考负载均衡实现，并探讨利用强化学习构建具备智能调度与决策能力的系统。
2025-05-06 cs.NI
Hierarchical Reinforcement Learning Based Traffic Steering in Multi-RAT 5G Deployments
在5G非独立模式中，智能业务导向机制可以通过从用于特定业务流的多RAT环境中选择最佳无线电接入技术（RAT）来极大地帮助确保平滑的用户体验。在本文中，我们提出了一种新的基于分层强化学习（HRL）的负载感知的流量导向算法，同时满足不同的QoS要求的不同类型的流量。HRL可以使用具有元控制器和控制器的双层架构来显著提高系统性能。在我们提出的方法中，元控制器提供了一个适当的阈值负载均衡，而控制器执行业务准入到一个适当的RAT在较低的水平。仿真结果表明，HRL优于深度Q学习（DQN）和基于阈值的启发式基线，平均系统吞吐量分别提高8.49%和12.52%，网络延迟分别降低27.74%和39.13%。
2023-01-18 cs.NI
