Asynchronous Hybrid Reinforcement Learning for Latency and Reliability Optimization in the Metaverse over Wireless Communications
Nanyang Technological University（南洋理工大学）
无线通信和高性能延展实境（XR）的技术进步为Metaverse的发展提供了动力。对Metaverse应用程序的需求以及对现实世界场景的实时数字孪生的需求正在增加。然而，将2D物理世界图像复制到3D虚拟对象是计算密集型的，并且需要计算卸载。传输对象维度（2D与3D相对）的差异导致上行链路（UL）和下行链路（DL）中的不对称数据大小。为了确保系统的可靠性和低延迟，我们考虑异步联合UL-DL场景，其中在UL阶段，由多个延展实境用户（XU）捕获的物理世界图像的较小数据大小将被上传到Metaverse控制台（MC）以进行解释和渲染。在DL阶段，需要将较大尺寸的3D虚拟对象传输回XU。我们设计了一种新的多智能体强化学习算法结构，即异步演员混合批判（AAHC），优化有关的计算卸载和信道分配的决定在上行阶段和优化的DL传输功率在DL阶段。大量的实验表明，与建议的基线相比，AAHC获得了更好的解决方案，令人满意的训练时间。
2023-03-09 cs.LG cs.SI
Self-Sustaining Multiple Access with Continual Deep Reinforcement Learning for Dynamic Metaverse Applications
Oulu University（奥卢大学）；Futurewei Technologies（未来wei科技）
本文针对元宇宙中用户数量动态变化的多信道多址接入问题，提出持续学习增强的双深度Q学习（CL-DDQL）方法，在非平稳未知环境下实现更高吞吐量和更快收敛。
2023-09-18 cs.AI cs.ET cs.LG
Multi-Agent Deep Reinforcement Learning for Dynamic Avatar Migration in AIoT-enabled Vehicular Metaverses with Trajectory Prediction
Guangdong University of Technology（广东工业大学）；Nanyang Technological University（南洋理工大学）；Singapore University of Technology and Design（新加坡科技设计大学）；Sun Yat-sen University（中山大学）；University of Sydney（悉尼大学）
本文针对车载元宇宙中Avatar任务迁移面临的车辆高移动性等挑战，提出基于轨迹预测与多智能体深度强化学习的动态迁移框架，将问题转化为POMDP并去中心化求解，有效降低任务执行延迟并提升用户沉浸体验。
2023-06-26 cs.AI cs.LG eess.SP
Enabling the Wireless Metaverse via Semantic Multiverse Communication
Deakin University（迪肯大学）；Yonsei University（延世大学）；University of Oulu（奥卢大学）
无线网络上的Metaverse是第六代（6 G）无线系统的新兴用例，在具有严格延迟和可靠性要求的多模式数据传输方面提出了前所未有的挑战。为了使这种无线元宇宙，在这篇文章中，我们提出了一种新的语义通信（SC）框架分解成人/机器代理特定的语义多元宇宙（SM）的元宇宙。存储在每个代理处的SM包括语义编码器和生成器，利用生成式人工智能（AI）的最新进展。为了提高通信效率，编码器学习多模态数据的语义表示（SR），而生成器学习如何操纵它们以在元宇宙中本地渲染场景和交互。由于这些学习的SM偏向于本地环境，它们的成功取决于在后台同步异构SM，同时在前台通信SR，将无线元宇宙问题转化为语义多元宇宙通信（SMC）的问题。基于这种SMC架构，我们提出了几个有前途的算法和分析工具建模和设计SMC，从分布式学习和多智能体强化学习（MARL）信号游戏和符号AI。
2022-12-13 cs.AI cs.IT cs.LG
Blockchain-based Pseudonym Management for Vehicle Twin Migrations in Vehicular Edge Metaverse
School of Automation, Guangdong University of Technology（广东工业大学自动化学院）；School of Computer Science and Engineering, Nanyang Technological University（南洋理工大学计算机科学与工程学院）；School of Electronic Science and Engineering, Nanjing University（南京大学电子科学与工程学院）；Department of Electrical and Computer Engineering, Auburn University（奥本大学电气与计算机工程系）
针对车载边缘元宇宙中车辆孪生迁移时的隐私泄露问题，提出基于跨链技术的双重假名管理框架，并采用多智能体深度强化学习方法优化假名生成策略，实现了高效低成本的隐私保护。
2024-03-22 cs.CR cs.HC cs.LG
MetaFed: Advancing Privacy, Performance, and Sustainability in Federated Metaverse Systems
Department of Computer Engineering（计算机工程系）；Faculty of Engineering（工程学院）；Kırıkkale University（Kirikkkale 大学）；Natural Sciences, Sabancı University（自然科学，萨班奇大学）
MetaFed提出一种去中心化联邦学习框架，结合多智能体强化学习、同态加密和碳感知调度，在MNIST和CIFAR-10上实现最多25%的碳排放降低，同时保持高精度和低通信开销。
2025-11-05 cs.CR cs.CY cs.DC
MetaSlicing: A Novel Resource Allocation Framework for Metaverse
创建和维护Metaverse需要前所未有的巨大资源，特别是用于密集数据处理的计算资源，以支持延展实境，巨大的存储资源，以及用于维持超高速和低延迟连接的大量网络资源。因此，这项工作的目的是提出一种新的框架，即MetaSlicing，可以提供一个高效和全面的解决方案，在管理和分配不同类型的资源的Metaverse应用程序。特别是，通过观察Metaverse应用程序可能具有共同的功能，我们首先提出将应用程序分组到集群中，称为Metaverse。在MetaInstance中，可以在应用程序之间共享公共功能。针对Metaverse的实时性和资源需求的动态性和不确定性，提出了一种基于半马尔可夫决策过程的有效框架，并提出了一种智能接纳控制算法，该算法能够最大限度地提高资源利用率和终端用户的服务质量。广泛的模拟结果表明，我们提出的解决方案优于基于贪婪的政策高达80%和47%的长期收入Metaverse提供商和请求接受概率，分别。
2023-02-26 cs.DC cs.NI
Self-Explaining Reinforcement Learning for Mobile Network Resource Allocation
研究移动网络资源分配问题，核心方法是用自解释神经网络参数化PPO智能体策略并聚合局部解释为全局解释，主要贡献是性能接近最优深度学习方法且显著优于启发式方法，全局解释相关性强，在高风险强化学习中有潜力。
2026-07-23 cs.LG cs.NI
Intelligent Bandwidth Allocation for Latency Management in NG-EPON using Reinforcement Learning Methods
Georgia Institute of Technology（佐治亚理工学院）；CableLabs, Inc.（CableLabs公司）
提出了一种基于强化学习的下一代以太网无源光网络（NG-EPON）智能带宽分配方案。我们验证了所提出的方案在固定和动态流量负载情况下实现<1 ms平均延迟的能力。RL代理展示了一种有效的智能机制来管理延迟，这为下一代接入网提供了一个有前途的IBA解决方案。
2020-01-21 cs.LG cs.NI eess.SP
Deep Reinforcement Learning Based Resource Allocation for Cloud Native Wireless Network
针对云原生无线网络中动态资源分配难题，本文提出基于深度强化学习的两种无模型算法，并在Free5gc测试平台上验证，显著提升网络效率。
2023-05-10 cs.LG cs.NI
CLARA: A Constrained Reinforcement Learning Based Resource Allocation Framework for Network Slicing
University of California, Davis（加州大学戴维斯分校）；Shanghai Jiao Tong University（上海交通大学）；University of Minnesota（明尼苏达大学）
随着移动网络的激增，我们正在经历一个强大的服务多样化，这需要从现有的网络更大的灵活性。网络切片被提出作为5G和未来网络中资源利用的一种有前途的解决方案，以解决这一迫切需求。在网络切片中，动态资源编排和网络切片管理对于最大化资源利用率至关重要。不幸的是，这个过程太复杂，传统的方法是有效的，由于缺乏准确的模型和动态隐藏结构。我们制定的问题作为一个约束马尔可夫决策过程（CMDP）不知道模型和隐藏结构。此外，我们提出了解决这个问题，使用约束强化学习的资源分配算法的REACH A。特别是，我们分析了累积和瞬时约束，分别使用自适应邻域点策略优化和投影层。评价显示，在有服务需求保证的情况下，联合国A在资源分配方面的业绩明显优于基线。
2021-11-16 cs.LG cs.NI
Secure Deep Reinforcement Learning for Dynamic Resource Allocation in Wireless MEC Networks
University of Sydney（悉尼大学）；University of the Sunshine Coast（阳光海岸大学）
针对去中心化无线MEC网络的安全资源分配问题，提出结合RPoS共识协议的BC-DRL框架，通过有约束DRL优化资源分配，在安全性、可靠性和资源利用率上优于基准方法。
2023-12-13 cs.LG cs.NI
Deep Reinforcement Learning with Symmetric Prior for Predictive Power Allocation to Mobile Users
Beihang University（北京航空航天大学）
深度强化学习已被应用于各种无线任务，然而，已知其具有高训练和推理复杂度。在本文中，我们诉诸深度确定性策略梯度（DDPG）算法，以优化预测功率分配之间的K个移动用户请求视频流，最大限度地减少网络的能量消耗下，每个用户的无停顿约束。为了降低DDPG的采样复杂度和模型规模，我们利用了一种演员和评论家网络固有的对称先验：置换不变和等变性质，来设计神经网络。我们的分析表明，DDPG的自由模型参数可以压缩2/K^2。仿真结果表明，当K = 10时，具有对称先验的学习模型达到与香草策略相同的性能所需的情节减少了约三分之一。
2021-02-10 cs.LG cs.NI
Reclaimer: A Reinforcement Learning Approach to Dynamic Resource Allocation for Cloud Microservices
Ohio University（俄亥俄大学）；University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）；Intel（英特尔）
本文提出Reclaimer深度强化学习模型，通过动态感知微服务运行时变化，在满足QoS前提下最小化CPU核心分配，实验表明其资源节省效果显著优于现有方案。
2023-04-17 cs.DC cs.LG
Deep Reinforcement Learning for Distributed Uncoordinated Cognitive Radios Resource Allocation
Rochester Institute of Technology（罗切斯特理工学院）
本文提出了一种新的深度强化学习为基础的资源分配技术的多智能体环境中提出的认知无线电网络，通过动态频谱接入（DSA）与主网络共存。在这项工作中提出的资源分配技术是分布式的，不需要与其他代理的协调。所提出的算法是第一个深度强化学习技术，其收敛到平衡的政策，可以显示在非平稳的多智能体环境中，通过共享的无线环境的无线电之间的不协调的动态交互的结果。此外，仿真结果表明，在有限的学习时间内，所提出的技术是能够找到的政策，产生的性能在3%的穷举搜索解决方案，找到最佳的政策，在近70%的情况下。此外，它表明，标准的单智能体深度强化学习可能无法实现收敛时，在非协调，耦合多无线电的情况下使用。
2020-03-06 cs.LG cs.NI stat.ML
Reinforcement Learning Based Resource Allocation for Network Slices in O-RAN Midhaul
University of Ottawa（渥太华大学）
网络切片设想第五代（5G）移动网络资源分配基于对不同服务的不同要求，例如超可靠低延迟通信（URLLC）和增强型移动宽带（eMBB）。开放无线接入网（O-RAN）通过将功能模块化为独立的组件，提出了开放和分散的RAN概念。O-RAN的网络切片可以显著提高性能。因此，在这项研究中，提出了一种先进的资源分配解决方案，在O-RAN网络切片应用强化学习（RL）。这项研究展示了一个RL兼容的简化边缘网络模拟器，它包含三个组件：用户设备（UE）、边缘O-Cloud和区域O-Cloud。此模拟器稍后用于发现如何通过动态分配来自其他切片的未使用带宽来提高目标网络切片的吞吐量。增加某些网络切片的吞吐量还可以使终端用户受益于更高的平均数据率、峰值速率或更短的传输时间。结果表明，RL模型可以提供一个高峰值速率和更短的传输时间URLLC相比，平衡和eMBB焦点基线的eMBB业务。
2022-11-14 cs.LG cs.NI
Human-Centric Resource Allocation for the Metaverse With Multiaccess Edge Computing
University of Ottawa（渥太华大学）；Huawei Technologies Canada（华为技术加拿大公司）
本文提出基于多智能体软演员-评论家与图卷积网络（SAC-GCN）的自适应边缘资源分配方法，通过图建模和自注意力机制优化元宇宙中的资源分配，显著提升用户体验、平衡性和利用率。
2023-12-23 cs.AI cs.MM cs.NI
MetaTrading: An Immersion-Aware Model Trading Framework for Vehicular Metaverse Services
Department of Mathematics and Information Technology, The Education University of Hong Kong（香港教育大学数学与信息技术系）；Pillar of Information Systems Technology and Design, Singapore University of Technology and Design（新加坡科技设计大学信息系统技术与设计学院）；School of Automation, Guangdong University of Technology（广东技术大学自动化学院）；College of Computer Science and Technology, National University of Defense Technology（国防科技大学计算机科学与技术学院）；College of Computing and Data Science, Nanyang Technological University（南洋理工大学计算与数据科学学院）；Department of Computer Science and Engineering, Kyung Hee University（韩国成均馆大学计算机科学与工程系）
针对车载元宇宙服务中数据延迟、隐私风险和计算负担问题，提出基于联邦学习的沉浸感知模型交易框架，通过设计模型沉浸度指标、激励机制及深度强化学习算法，有效激励用户贡献高价值模型并提升系统性能。
2025-09-18 cs.CR cs.GT cs.LG
Data Processing Efficiency Aware User Association and Resource Allocation in Blockchain Enabled Metaverse over Wireless Communications
本文提出数据处理效率（DPE）概念及DAUR算法，通过将非凸问题转化为凸优化并交替优化用户关联、卸载、计算、带宽和功率等资源变量，提升区块链使能元宇宙无线通信中的单位资源数据处理量。
2024-11-25 cs.DC cs.ET cs.NI
Deep-Reinforcement-Learning-Based Scheduling with Contiguous Resource Allocation for Next-Generation Cellular Systems
Intel Corporation（英特尔公司）；Princeton University（普林斯顿大学）
调度在多用户无线通信中起着关键的作用，因为各个用户的服务质量很大程度上取决于分配的无线电资源。提出了一种基于深度强化学习（DRL）的连续频域资源分配调度算法。调度问题被建模为马尔可夫决策过程，并且DRL代理确定在每个RB分配步骤应该调度哪个用户以及该用户的多少个连续RB。状态空间、动作空间和奖励函数经过精心设计，用于训练DRL网络。更具体地说，原来的准连续的动作空间，这是固有的连续的FERMARY，被细化成一个有限的和离散的动作空间，以获得推理延迟和系统性能之间的权衡。仿真结果表明，该算法在具有较低的在线计算复杂性的同时，性能优于其他典型的基线调度算法。
2020-11-26 cs.LG cs.NI eess.SP
Sampling, Communication, and Prediction Co-Design for Synchronizing the Real-World Device and Digital Model in Metaverse
University of Glasgow（格拉斯哥大学）；University of Sydney（悉尼大学）；University of Oxford（牛津大学）
虚拟世界有可能通过在混合现实（MR）技术的帮助下支持高度交互的服务来彻底改变下一代互联网;然而，为了为用户提供满意的体验，物理世界与其数字模型之间的同步至关重要。这项工作提出了一个采样，通信和预测的协同设计框架，以尽量减少通信负载的约束跟踪的均方误差（MSE）之间的真实世界的设备和它的数字模型在虚拟世界。为了优化采样率和预测范围，我们利用专家知识，并开发了一种约束深度强化学习（DRL）算法，命名为知识辅助约束双延迟深度确定性（KC-TD 3）策略梯度算法。我们验证我们的框架上的原型组成的真实世界的机器人手臂和它的数字模型。与现有方法相比：（1）当跟踪误差约束严格（MSE=0.002度）时，该策略退化为采样-通信协同设计框架中的策略。(2)当跟踪误差约束较弱（MSE=0.007度）时，我们的策略退化为预测-通信协同设计框架中的策略。(3)与没有采样和预测的通信系统相比，我们的框架在平均MSE和平均通信负载之间实现了更好的权衡。例如，当跟踪误差约束为0.002度时，平均通信负载可以减少高达87%。(4)我们的政策优于基准的静态采样率和预测范围优化的穷举搜索，在跟踪误差的尾部概率。此外，在专家知识的帮助下，所提出的算法KC-TD 3实现了更好的收敛时间，稳定性和最终的政策性能。
2022-07-31 cs.AI cs.HC cs.LG
Exploring Attention-Aware Network Resource Allocation for Customized Metaverse Services
Nanyang Technological University（南洋理工大学）；Guangdong University of Technology（广东工业大学）；Singapore University of Technology and Design（新加坡科技设计大学）；University of Waterloo（滑铁卢大学）；Sungkyunkwan University（成均馆大学）
在计算和通信技术的支持下，Metaverse有望为用户带来前所未有的服务体验。然而，Metaverse用户数量的增加对网络资源提出了沉重的需求，特别是对于基于图形延展实境并需要渲染过多虚拟对象的Metaverse服务。为了有效利用网络资源，提高用户体验质量（QoE），设计了一种注意力感知的网络资源分配方案，实现Metaverse的定制服务。其目的是将更多的网络资源分配给用户更感兴趣的虚拟对象。我们首先讨论了与Metaverse服务相关的几个关键技术，包括QoE分析，眼动跟踪和远程渲染。然后，我们回顾了现有的数据集，并提出了用户-对象-注意力水平（UOAL）数据集，该数据集包含1,000张图像中30个用户对96个对象的真实注意力。介绍了如何使用UOAL的教程。在UOAL的帮助下，我们提出了一种注意力感知网络资源分配算法，该算法分为两个步骤，即，注意力预测和QoE最大化。特别地，我们提供了两种类型的注意预测方法的设计的概述，即，兴趣感知和时间感知预测。通过使用预测的用户对象关注值，可以最优地分配诸如边缘设备的渲染能力的网络资源以最大化QoE。最后，我们提出了与Metaverse服务相关的有前途的研究方向。
2022-07-31 cs.AI cs.NI
UAV-assisted Semantic Communication with Hybrid Action Reinforcement Learning
Nanyang Technological University（南洋理工大学）；University of North Texas（北德克萨斯大学）
本文针对偏远地区元宇宙用户上行数据收集效率问题，提出一种混合动作强化学习框架，联合优化语义模型规模、信道分配、功率和无人机轨迹，实验表明其优于基准方案。
2023-12-01 cs.AI cs.LG cs.NI
Deep Reinforcement Learning for Dynamic Resource Allocation in Wireless Networks
该研究构建含基站、多天线与用户设备的无线网络环境，利用 RLlib 评估 DQN、PPO 等 DRL 算法，证明算法与学习率显著影响性能且优于传统方法。
2025-03-13 cs.AI cs.DC cs.ET
Deep Reinforcement Learning for Resource Allocation in Business Processes
Warsaw University of Technology（华沙理工大学）
业务流程执行中的重复资源是一项可以有效自动化的重复性任务。然而，不同的自动化方法可能会给出不同的结果，这些结果可能不是最佳的。适当的资源分配至关重要，因为它可能导致成本大幅降低或效率提高，从而增加收入。在这项工作中，我们首先提出了一种新的表示，允许建模的多进程环境与不同的基于过程的奖励。这些进程可以共享资格不同的资源。然后，我们使用双深度强化学习来寻找最优的资源分配策略。我们将这些结果与行业中广泛使用的两种流行策略进行比较。通过强化学习学习最优策略需要与环境进行频繁的交互，因此我们还设计并开发了一个可以模拟真实世界过程的仿真引擎。所取得的结果是有希望的。与两种常用技术相比，基于深度强化学习的资源分配取得了明显更好的结果。
2021-03-29 cs.HC cs.LG
Generalizable Resource Allocation in Stream Processing via Deep Reinforcement Learning
Citadel（城堡投资）；New Jersey Institute of Technology（新泽西理工学院）；IBM Research（IBM研究院）
本文研究了流处理中的资源分配问题，在大型分布式系统中，连续的数据流必须得到实时的处理。为了最大化系统吞吐量，将流处理图的计算任务划分到计算设备上的资源分配策略必须同时平衡工作负载分布和最小化通信。由于这个问题的图划分是已知的NP完全的，但实际的流媒体系统的关键，许多基于启发式的算法已经开发，以找到合理的好的解决方案。在本文中，我们提出了一个图形感知的编码器-解码器框架，学习一个通用的资源分配策略，可以适当地分配计算任务的流处理图未观察到的训练数据。我们首次提出利用图嵌入来学习流处理图的结构信息。使用深度强化学习与图形感知解码器联合训练，我们的方法可以有效地为未见过的图形找到优化的解决方案。我们的实验表明，该模型优于METIS，一个国家的最先进的图分割算法，和基于LSTM的编码器-解码器模型，在约70%的测试用例。
2019-11-19 cs.DC cs.LG eess.SP
Delay-aware Resource Allocation in Fog-assisted IoT Networks Through Reinforcement Learning
Virginia Tech（弗吉尼亚理工大学）；China University of Petroleum（中国石油大学）
物联网设备附近的雾节点有望通过将物联网设备的任务卸载到它们来提供低延迟服务。移动物联网由车辆、可穿戴设备和智能手机等移动物联网设备组成。由于时变的信道条件、业务负载和计算负载，提高移动IoT设备的服务质量（QoS）具有挑战性。由于任务延迟由传输延迟和计算延迟组成，我们研究了资源分配（即，包括无线资源和计算资源），以在满足QoS约束的同时最小化所有任务的延迟。我们将资源分配问题转化为一个整数非线性问题，其中既考虑了无线资源，又考虑了计算资源。由于物联网任务是动态的，不同任务的资源分配是相互耦合的，并且获得未来的信息是不切实际的。为此，我们设计了一种在线强化学习算法，根据系统的经验回放数据，实时的做出次优决策。所设计的算法的性能已被广泛的仿真结果所证明。
2020-07-10 cs.DC cs.LG eess.SP
Combining Reinforcement Learning and Inverse Reinforcement Learning for Asset Allocation Recommendations
AI Center of Excellence for Asset Management, Fidelity Investments（富达投资资产管理人工智能卓越中心）
我们提出了一种简单实用的方法，将人类和人工智能结合起来，学习基金经理的最佳投资实践，并提供改进建议。我们的方法是基于逆强化学习（IRL）和RL的组合。首先，IRL组件根据基金经理的交易历史来学习他们的意图，并恢复他们的隐含奖励函数。在第二步，直接RL算法使用该奖励函数来优化资产分配决策。我们表明，我们的方法是能够提高个人基金经理的业绩。
2022-01-06 cs.AI cs.LG q-fin.CP
ContainerGym: A Real-World Reinforcement Learning Benchmark for Resource Allocation
Ruhr-University Bochum（波鸿鲁尔大学）
ContainerGym 是一个源自真实工业资源分配任务的强化学习基准，可配置不同难度并支持评估多种算法，实验揭示了 PPO、TRPO 和 DQN 的局限性。
2023-07-06 cs.LG
Cooperative Deep Reinforcement Learning for Fair RIS Allocation
Institute of Telecommunications TU Wien Vienna, Austria
本文提出基于公平性的协作多智能体强化学习方法，通过动态分配RIS资源提升弱小区性能，实现无线网络中效率与公平的平衡。
2026-03-26 cs.LG cs.MA cs.NI
Computation Offloading and Resource Allocation in F-RANs: A Federated Deep Reinforcement Learning Approach
Southeast University（东南大学）；Harbin Institute of Technology（哈尔滨工业大学）；University of Oulu（奥卢大学）
雾无线电接入网络（F-RAN）是一项很有前途的技术，其中用户移动设备（MD）可以将计算任务卸载到附近的雾接入点（F-AP）。由于F-AP的资源有限，设计一个有效的任务卸载方案是非常重要的。考虑时变网络环境，以任务执行延迟和MD能耗最小为目标，提出了F-RAN中的动态计算卸载和资源分配问题.为了解决这个问题，提出了一种基于联合深度强化学习（DRL）的算法，其中深度确定性策略梯度（DDPG）算法在每个F-AP中执行计算卸载和资源分配。为了降低训练过程的计算复杂度和保护用户隐私，采用联邦学习对DDPG代理进行训练。仿真结果表明，与现有的其他策略相比，所提出的联邦DDPG算法可以更快地实现更低的任务执行延迟和能量消耗的MD。
2022-06-13 cs.AI cs.LG cs.NI
Deep Reinforcement Learning-Based Channel Allocation for Wireless LANs with Graph Convolutional Networks
Kyoto University（京都大学）
去年，IEEE 802.11极高吞吐量研究组（EHT Study Group）成立，以发起对IEEE 802.11新特性的讨论。EHT研究小组讨论了无线局域网（WLAN）中接入点（AP）的协调控制方法。本研究提出了一种使用图卷积网络（GCN）的基于深度强化学习的信道分配方案。作为一种深度强化学习方法，我们使用了一种著名的方法双深度Q网络。在密集部署的无线局域网中，AP的可用拓扑结构的数量是非常高的，因此，我们提取的拓扑结构的特征的基础上GCN。我们将GCN应用到竞争图中，其中在其载波侦听范围内的AP被连接以提取载波侦听关系的特征。此外，为了提高学习速度，特别是在学习的早期阶段，我们采用了基于博弈论的方法来收集独立于神经网络模型的训练数据。仿真结果表明，与现有的方法相比，该方法可以适当地控制信道。
2019-05-17 cs.LG cs.NI eess.SP
Joint wireless and computing resource management with optimal slice selection in in-network-edge metaverse system
本文提出一种在支持切片的元宇宙网络中联合优化无线与计算资源分配的方法，通过将问题建模为混合整数非线性规划并求解最优解，显著提升系统性能，优于现有基准。
2024-11-07 cs.DC cs.NI
Modelling resource allocation in uncertain system environment through deep reinforcement learning
Pandit Deendayal Energy University（潘迪特·德恩达亚尔能源大学）
强化学习在机电一体化、机器人等资源受限的控制系统中有着广泛的应用。资源分配问题主要使用传统的预定义技术和现代深度学习方法来解决。用于资源分配的预定义和大多数深度学习方法的缺点是在不确定系统环境的情况下无法满足需求。利用深度强化学习，可以在遵循一定准则的前提下，解决不确定系统环境中的资源分配问题。此外，强化学习具有长时间适应新的不确定环境的能力。本文对各种深度强化学习方法进行了详细的比较分析，通过应用不同的组件来修改强化学习的架构，使用噪声层，优先重放，装袋，决斗网络和其他相关组合，以获得性能的改善和计算成本的降低。通过对给定的资源分配仿真环境的探索，证明了采用Noisy Bagging对偶双深Q网络可以有效解决不确定环境下的资源分配问题，通过最大化报酬，效率达到97.7%.
2021-06-17 cs.AI cs.LG cs.MA
Asset Allocation: From Markowitz to Deep Reinforcement Learning
Open University of Catalonia（加泰罗尼亚开放大学）
资产配置是一种投资策略，旨在根据一定的目标、风险承受能力和投资期限，通过不断地重新分配投资组合的资产，来平衡风险和回报。不幸的是，没有简单的公式可以为每个人找到正确的分配。因此，投资者可能会使用不同的资产配置策略来尝试实现其财务目标。在这项工作中，我们进行了广泛的基准研究，以确定一些优化技术的有效性和可靠性。特别是，我们专注于基于现代投资组合理论的传统方法，以及基于深度强化学习的机器学习方法。我们评估了模型在不同市场趋势下的表现，即，看涨和看跌的市场。为了可重复性，我们在此存储库中提供了代码实现代码。
2022-07-14 cs.AI cs.LG q-fin.PM
Memory Allocation in Resource-Constrained Reinforcement Learning
School of Informatics University of Edinburgh（信息学院爱丁堡大学）
本研究探讨资源受限强化学习中内存分配对智能体性能的影响，重点分析MCTS和DQN算法下模型估计与规划间的内存权衡，并评估不同分配在情节式和持续学习场景中的效果。
2025-06-09 cs.AI cs.LG
Deep Reinforcement Learning Architecture for Continuous Power Allocation in High Throughput Satellites
Massachusetts Institute of Technology（麻省理工学院）
在未来几年，卫星宽带市场的服务需求将大幅增长，特别是对于需求激增的移动行业。许多下一代卫星将在功率和带宽分配能力方面配备多个自由度，这使得手动资源分配变得不切实际且效率低下。因此，期望使这些高度灵活的卫星的操作自动化。本文提出了一种基于深度强化学习（DRL）的功率分配方法，将问题表示为连续的状态和动作空间。我们使用邻近策略优化（PPO）算法来优化分配策略，以使未满足的系统需求（USD）和功耗最小。通过对多波束卫星系统的仿真，分析了该算法的性能，结果表明DRL作为一种动态资源分配算法是可行的。
2019-06-03 cs.LG eess.SP stat.ML
Marketing Budget Allocation with Offline Constrained Deep Reinforcement Learning
Ant Group（蚂蚁集团）；Tsinghua University（清华大学）
本文提出一种基于博弈论和混合策略的离线值函数强化学习方法，用于解决营销预算分配问题，该方法只需存储恒定数量策略即可收敛至最优，并在大规模真实营销活动中验证了其优越性。
2023-09-06 cs.LG
Learning List-wise Representation in Reinforcement Learning for Ads Allocation with Multiple Auxiliary Tasks
Meituan（美团）
随着最近强化学习（RL）的流行，人们对利用RL在推荐平台（例如，电子商务和新闻馈送站点）。为了实现更好的分配，最近的基于RL的广告分配方法的输入从逐点的单个项目升级到列表的项目排列。然而，这也导致了状态-动作对的高维空间，使得难以学习具有良好泛化能力的列表式表示。这进一步阻碍了RL代理的探索并导致差的样本效率。为了解决这个问题，我们提出了一种新的基于RL的广告分配方法，该方法通过利用美团外卖平台上的特定任务信号来学习更好的列表表示。具体来说，我们提出了三个不同的辅助任务，分别基于重建，预测，和对比学习根据先验领域知识的广告分配。我们在美团外卖平台上进行了广泛的实验，以评估所提出的辅助任务的有效性。离线和在线实验结果表明，与最先进的基线相比，所提出的方法可以学习更好的列表式表示，并为平台实现更高的收入。
2022-08-11 cs.LG
Resource Allocation in Disaggregated Data Centre Systems with Reinforcement Learning
University College London（伦敦大学学院）
资源分解数据中心（RDDC）提出了一种以资源为中心的高利用率数据中心（DC）架构，避免了资源碎片化，并允许将任意大小的资源池分配给任务，而不是服务器大小的资源池。RDDC通常对网络提出更高的要求，需要更多的基础设施，并增加成本和功耗，因此，共同管理服务器和网络资源的新资源分配算法对于确保分配不受网络的检查，并且可以用最少的网络资源成功地服务请求至关重要。我们首次将强化学习（RL）应用于这个问题，并表明基于图神经网络的RL策略可以学习端到端的资源分配策略，其接受率、CPU和内存利用率分别比以前的手工设计的策略高出22.0%、42.6%和22.6%，当扩展到RDDC拓扑时，$10^2\times$的节点比训练期间看到的更多，并且可以在使用更少的$5.3\times$网络资源的同时实现与最佳基线相当的性能。
2021-11-11 cs.LG
Deep Reinforcement Learning for Asset Allocation: Reward Clipping
SK Inc.(SK C&C)（SK集团（SK C&C））
近年来，有许多尝试将强化学习应用于资产配置，以获得更稳定的利润。在本文中，我们比较了几种强化学习算法-仅演员，演员评论家和PPO模型之间的性能。在此基础上，分析了各种模型的特点，并介绍了改进的算法，即奖励裁剪模型。在金融领域中，特别是在投资组合优化方面，报酬裁剪模型似乎优于其他现有的模型，无论是在牛市还是熊市中，它都具有优势。最后，我们将这些模型与传统投资策略在市场下降和上升期间的表现进行比较。
2023-01-02 cs.AI cs.LG q-fin.CP
Efficient Reinforcement Learning in Resource Allocation Problems Through Permutation Invariant Multi-task Learning
AStar（新加坡科技研究局）；IBM Research（IBM研究院）
现实世界中的强化学习的主要挑战之一是从有限的训练样本中成功学习。我们表明，在某些设置中，可用的数据可以显着增加，通过一种形式的多任务学习，利用任务中的不变性。我们提供了一个理论上的性能界的增益在样本效率在此设置下。这激发了一种新的多任务学习方法，它涉及到一个适当的神经网络架构和优先任务采样策略的设计。我们实证证明了所提出的方法在两个现实世界的顺序资源分配任务中的有效性，这种不变性发生：金融投资组合优化和Meta联邦学习。
2021-02-18 cs.AI cs.LG
A Survey on Applications of Reinforcement Learning in Spatial Resource Allocation
East China Normal University（华东师范大学）；University of Dar es Salaam（达累斯萨拉姆大学）；Shanghai University of Sport（上海体育大学）
本文针对传统空间资源分配算法计算压力大、难兼顾效率与实时性的问题，全面综述强化学习在该领域的理论方法、应用研究及基本原理，指出未来待解决的关键问题。
2024-03-07 cs.AI cs.LG
Deep Reinforcement Learning for Distributed and Uncoordinated Cognitive Radios Resource Allocation
Kate Gleason College Of Engineering, Rochester Institute of Technology（罗切斯特理工学院凯特·格里森工程学院）；Rochester Institute of Technology（罗切斯特理工学院）
本文提出了一种新的深度强化学习为基础的资源分配技术的多智能体环境中提出的认知无线电网络中的智能体在学习过程中的相互作用可能会导致一个非平稳的环境。在这项工作中提出的资源分配技术是分布式的，不需要与其他代理的协调。通过考虑特定于深度强化学习的方面，所提出的算法在任意长的时间内收敛到非平稳多智能体环境中的平衡策略，该环境是通过共享无线环境无线电之间的不协调动态交互而产生的。仿真结果表明，所提出的技术实现了更快的学习性能相比，一个等效的基于表的Q-学习算法，并能够找到最优策略在99%的情况下，足够长的学习时间。此外，模拟表明，我们的DQL方法需要不到一半的学习步骤，以达到相同的性能作为一个等效的基于表的实现。此外，它表明，使用一个标准的单智能体深度强化学习方法可能无法实现收敛时，在一个不协调的互动多无线电场景使用
2022-05-27 cs.LG
A Two-stage Reinforcement Learning-based Approach for Multi-entity Task Allocation
Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）
本文针对动态多实体任务分配问题，提出一种基于相似性的两阶段强化学习方法，通过预分配策略、注意力机制和超参数网络结构避免局部最优并适应任务变化，在多个环境中优于遗传算法且具备零样本泛化能力。
2024-06-29 cs.AI cs.LG
Human-Centric Resource Allocation in the Metaverse over Wireless Communications
针对元宇宙无线通信的以人为中心优化需求，本文联合优化通信、计算资源与VR分辨率，提出新型分式规划技术求解非凸的系统效用成本比优化问题，算法高效且性能更优。
2023-12-19 cs.NI cs.SI
Resource Allocation for a Wireless Coexistence Management System Based on Reinforcement Learning
OWL University of Applied Sciences（东威斯特伐利亚应用科学大学）；Institute of Industrial Information Technologies（工业信息技术研究所）
在工业环境中，使用越来越多的无线设备，这些设备利用免许可频带。由于这些相互干扰的无线系统可能会降低共存的状态。因此，需要一种中央共存管理系统，其将无冲突资源分配给无线系统。为了确保无冲突的资源利用，在分配资源之前预测预期的介质利用是有用的。本文提出了一种基于强化学习的自学习概念。基于神经网络的强化学习代理的模拟评估，称为深度Q网络和双深度Q网络，实现了示例性和实际相关的共存场景。对双深度Q网络的评估表明，在所有调查的情况下，预测准确率至少可以达到98%。
2018-05-24 cs.LG cs.NI eess.SP
Federated Reinforcement Learning for Resource Allocation in V2X Networks
Imperial College London（帝国理工学院）；Beijing Jiaotong University（北京交通大学）
本文提出联邦强化学习框架PASM，结合强化学习与联邦学习，通过不精确ADMM和自适应步长解决V2X网络资源分配问题，兼顾隐私、通信效率并保证收敛。
2023-10-15 cs.AI cs.LG eess.SP
RL4ReAl: Reinforcement Learning for Register Allocation
IIT Hyderabad（印度理工学院海得拉巴分校）；Google（谷歌）
我们的目标是利用机器学习，将寄存器分配方面数十年的研究和经验自动化。我们通过在LLVM中嵌入多智能体强化学习算法来解决这个问题，并使用最先进的技术对其进行训练。我们形式化的约束，精确地定义了一个给定的推理集架构的问题，同时确保生成的代码保留语义的正确性。我们还开发了一个基于gRPC的框架，提供了一个模块化的和高效的编译器接口的培训和推理。我们的方法是架构独立的：我们展示了针对Intel x86和ARM AArch64的实验结果。我们的结果匹配或优于LLVM的大量调优的生产级寄存器分配器。
2023-02-06 cs.AR cs.LG cs.PL
Deep Reinforcement Learning for Uplink Multi-Carrier Non-Orthogonal Multiple Access Resource Allocation Using Buffer State Information
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
对于正交多址接入（OMA）系统，所服务的用户设备（UE）的数量限于可用正交资源的数量。另一方面，非正交多址（NOMA）方案允许多个UE使用相同的正交资源。这种额外的自由度为资源分配带来了新的挑战。缓冲器状态信息（BSI），如等待传输的分组的大小和年龄，可以用于改进OMA系统中的调度。在本文中，我们调查的影响BSI的集中式调度器的性能在上行链路多载波NOMA的情况下，UE具有各种数据率和延迟的要求。为了处理分配UE到资源的大的组合空间，我们提出了一种新的调度器，基于演员-评论家强化学习结合BSI。培训和评估使用诺基亚的“无线套件”进行。我们提出了各种新的技术来稳定和加快训练。建议的调度优于基准调度。
2022-08-31 cs.LG cs.NI cs.SY
Deep Reinforcement Learning for Wireless Resource Allocation Using Buffer State Information
Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院）
随着无线网络中具有各种数据率和延迟要求的用户设备（UE）的数量增加，正交频分多址（OFDMA）的资源分配问题变得具有挑战性。特别地，当在保持UE之间的公平性的同时最大化系统数据率时，变化的要求导致非凸优化问题。在本文中，我们使用深度强化学习（DRL）解决非凸优化问题。我们概述，训练和评估的DRL代理，它执行的任务，下行链路OFDMA的情况下的媒体访问控制调度。为了开始训练我们的代理，我们引入模仿学习。为了提高调度性能，考虑基站处的全缓冲器状态信息（例如，分组年龄、分组大小）。输入特征压缩、数据包重排和年龄上限等技术进一步提高了代理的性能。我们使用诺基亚的无线套件对我们的代理进行训练和评估，并根据不同的基准代理进行评估。我们表明，我们的代理明显优于基准代理。
2021-08-27 cs.LG cs.NI cs.SY
Multi-Agent Reinforcement Learning for Resources Allocation Optimization: A Survey
University of South Australia（南澳大学）
本文综述了用于资源分配优化（RAO）的最新多智能体强化学习（MARL）算法，涵盖核心概念、分类与结构化分类法，并指出当前挑战与未来方向，以助力工业4.0发展。
2025-04-29 cs.AI cs.LG cs.MA
Reinforcement Learning for Dynamic Memory Allocation
University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出用强化学习框架动态优化内存分配，通过高级与低级动作空间实验，证明其能匹配或超越传统策略，尤其在对抗性请求模式下，并探索历史感知策略以增强适应性。
2025-10-08 cs.LG cs.OS
A Prescriptive Dirichlet Power Allocation Policy with Deep Reinforcement Learning
ETH Zürich（苏黎世联邦理工学院）；Harbin Institute of Technology（哈尔滨工业大学）；NASA Ames Research Center（美国国家航空航天局艾姆斯研究中心）
根据系统状况规定最佳操作，从而可能延长剩余使用寿命，对于积极管理复杂系统的可用性、维护和成本具有很大的潜力。强化学习（RL）算法特别适合于这种类型的问题，因为它们具有学习能力。规定性操作的一个特殊情况是功率分配任务，它可以被认为是一个顺序分配问题，其中的动作空间是由单纯形约束。一般连续的行动空间解决这种顺序分配问题仍然是一个开放的研究问题RL算法。在连续动作空间中，强化学习中应用的标准高斯策略不支持单纯形约束，而Gaussian-softmax策略在训练过程中引入了偏差。在这项工作中，我们提出了连续分配任务的Dirichlet策略，并分析了其策略梯度的偏差和方差。我们证明了Dirichlet策略是无偏的，并且比Gaussian-softmax策略提供了更快的收敛速度，更好的性能和更好的超参数鲁棒性。此外，我们证明了所提出的算法的适用性上的规定的操作情况下，我们提出了狄利克雷功率分配政策和评估的一组多个锂离子（Li-I）电池系统的案例研究的性能。实验结果表明，潜在的规定最佳操作，提高多电源系统的效率和可持续性。
2022-01-20 cs.AI cs.LG
