Reinforcement Learning for Resource Allocation in Vehicular Multi-Fog Computing
Jeju National University(济州国立大学)
针对车载多雾计算中动态车辆移动和波动负载导致的资源分配难题,本文将其建模为马尔可夫决策过程,应用Q-learning、DQN和Actor-Critic等强化学习算法实现自适应任务分配,有效降低了延迟并提升了负载平衡与任务成功率。
2025-10-31 cs.NI
Multi-Agent Deep Reinforcement Learning based Spectrum Allocation for D2D Underlay Communications
设备到设备(D2 D)通信蜂窝网络是提高频谱效率的有前途的技术。在这种情况下,D2 D传输可能会对蜂窝和其他D2 D链路造成严重干扰,这对频谱分配提出了很大的技术挑战。现有的集中式方案需要全局信息,这导致了大的信令开销。而现有的分布式方案需要D2 D用户之间频繁的信息交换,无法实现全局优化。本文提出了一种基于多智能体深度强化学习的分布式频谱分配框架--多智能体演员评论器(MAAC)。MAAC在集中训练期间共享全局历史状态、动作和策略,在执行期间不需要信号交互,并利用用户之间的协作来进一步优化系统性能。此外,为了降低训练的计算复杂度,我们进一步提出了基于邻居用户历史信息的邻居代理行为者评价器(NAAC)集中训练。仿真结果表明,MAAC和NAAC能有效降低蜂窝链路中断概率,提高D2 D链路总速率,且收敛速度快。
2019-12-18 cs.NI
A Multi-Agent Deep Reinforcement Learning Approach for RAN Resource Allocation in O-RAN
本文提出一种面向O-RAN的多智能体深度强化学习框架,利用共享gNB的本地监控信息进行无线资源分配,实验证明其能在保证公平性的同时提升资源利用效率并降低过度供应风险。
2023-07-03 cs.NI
Cache-Enabled Dynamic Rate Allocation via Deep Self-Transfer Reinforcement Learning
缓存和速率分配是支持无线网络视频流传输的两种很有前途的方法。然而,现有的速率分配设计没有充分利用这两种方法的优点。本文研究了缓存使能的QoE驱动的视频速率分配问题。建立了该问题的数学模型,指出传统的动态规划难以解决该问题。然后我们提出了一种深度强化学习方法来解决这个问题。在此基础上,提出了一种深度Q-学习算法,并通过特殊的知识转移过程来寻找有效的分配策略。仿真结果表明,该方案能够有效地保持移动用户在小小区间移动时的高质量用户体验。我们还研究了关键参数的配置对算法性能的影响。
2018-03-30 cs.MM cs.NI
Intelligent Bandwidth Allocation for Latency Management in NG-EPON using Reinforcement Learning Methods
Georgia Institute of Technology(佐治亚理工学院);CableLabs, Inc.(CableLabs公司)
提出了一种基于强化学习的下一代以太网无源光网络(NG-EPON)智能带宽分配方案。我们验证了所提出的方案在固定和动态流量负载情况下实现<1 ms平均延迟的能力。RL代理展示了一种有效的智能机制来管理延迟,这为下一代接入网提供了一个有前途的IBA解决方案。
2020-01-21 cs.LG cs.NI eess.SP
Federated Deep Reinforcement Learning for Resource Allocation in O-RAN Slicing
近年来,开放式无线接入网(O-RAN)已经成为一种很有前途的技术,为网络供应商和运营商提供一个开放的环境。协调x应用(xAPP)对于提高灵活性和保证O-RAN的高整体网络性能至关重要。同时,联邦强化学习被认为是一种很有前途的技术,可以增强分布式强化学习代理之间的协作,提高学习效率。在本文中,我们提出了一种联合深度强化学习算法,以协调O-RAN中的多个独立xAPP进行网络切片。我们设计了两个xAPP,即功率控制xAPP和基于切片的资源分配xAPP,并使用联邦学习模型协调两个xAPP代理,以提高学习效率和改善网络性能。与传统的深度强化学习相比,我们提出的算法可以实现增强型移动宽带(eMBB)切片的吞吐量提高11%,超可靠低延迟通信(URLLC)切片的延迟降低33%。
2022-08-02 cs.NI eess.SP
Self-Explaining Reinforcement Learning for Mobile Network Resource Allocation
研究移动网络资源分配问题,核心方法是用自解释神经网络参数化PPO智能体策略并聚合局部解释为全局解释,主要贡献是性能接近最优深度学习方法且显著优于启发式方法,全局解释相关性强,在高风险强化学习中有潜力。
2026-07-23 cs.LG cs.NI
MIX-MAB: Reinforcement Learning-based Resource Allocation Algorithm for LoRaWAN
Amirkabir University of Technology(阿米拉比尔理工大学);Lappeenranta-Lahti University of Technology(拉彭兰塔-拉赫蒂理工大学)
本文主要从分组投递率(PDR)的角度对资源分配算法进行改进,远程广域网(LoRaWAN)中终端设备(ED)发送的成功接收数据包的数量。设置传输参数会显著影响PDR。采用强化学习(RL),我们提出了一个资源分配算法,使ED配置他们的传输参数以分布式的方式。我们的资源分配问题建模为多臂强盗(MAB),然后解决它提出了一个两阶段的算法名为混合MAB,它包括指数权重的勘探和开发(EXP 3)和连续消除(SE)算法。我们通过仿真结果评估了MIX-MAB的性能,并将其与其他现有方法进行了比较。数值结果表明,该方法在收敛时间和PDR方面都优于已有的方法。
2022-06-07 cs.AI cs.NI
Mode Selection and Resource Allocation in Sliced Fog Radio Access Networks: A Reinforcement Learning Approach
雾天无线接入网(F-RAN)中的模式选择和资源分配是提高频谱和能量效率的关键技术。在本文中,我们研究了模式选择和资源分配在上行链路F-RAN的联合优化,其中传统的用户设备(UE)和雾UE都由构造的网络切片实例服务。相关的优化被制定为一个混合整数规划问题,并提出了正交和复用的子信道分配策略,以保证切片隔离。受机器学习发展的推动,开发了两种基于强化学习的算法,以解决传统UE和雾UE特定性能要求下原有的高复杂度问题。该方案的基本思想是根据环境反馈的即时回报产生一个好的模式选择策略。仿真结果验证了我们提出的算法的好处,并表明系统功耗和队列延迟之间的折衷可以实现。
2020-02-13 cs.NI eess.SP
Deep Reinforcement Learning Based Resource Allocation for Cloud Native Wireless Network
针对云原生无线网络中动态资源分配难题,本文提出基于深度强化学习的两种无模型算法,并在Free5gc测试平台上验证,显著提升网络效率。
2023-05-10 cs.LG cs.NI
Sub-Modularity of Waterfilling with Applications to Online Basestation Allocation
我们表明,流行的注水算法最大化并行高斯信道中的互信息是子模块。子模块的注水算法,然后用于推导出在线基站分配算法,其中移动用户被分配到许多可能的基站之一,立即和可替换地到达后,不知道未来的用户信息。分配的目标是在每个基站的功率分配下最大化系统的和速率。我们目前的在线算法的竞争比最多为2相比,离线算法,所有未来的用户到来的知识。
2014-02-20 cs.DS cs.IT cs.NI
Deep Reinforcement Model Selection for Communications Resource Allocation in On-Site Medical Care
University of Bremen(不来梅大学)
移动通信技术的更大能力使现场医疗保健能够以前所未有的规模相互连接。然而,将这些关键的、要求苛刻的任务嵌入到已经复杂的移动通信基础设施中证明具有挑战性。本文探讨了一个资源分配的情况下,调度程序必须平衡连接的用户之间的混合性能指标。为了完成这个资源分配任务,我们提出了一个调度器,自适应切换不同的基于模型的调度算法。我们利用深度Q网络来学习为给定情况选择调度范式的好处,结合模型驱动和数据驱动方法的优势。由此产生的合奏调度器是能够结合其组成算法,以最大限度地提高总效用成本函数,同时确保指定的高优先级用户的性能。
2022-01-25 cs.LG cs.NI
CLARA: A Constrained Reinforcement Learning Based Resource Allocation Framework for Network Slicing
University of California, Davis(加州大学戴维斯分校);Shanghai Jiao Tong University(上海交通大学);University of Minnesota(明尼苏达大学)
随着移动网络的激增,我们正在经历一个强大的服务多样化,这需要从现有的网络更大的灵活性。网络切片被提出作为5G和未来网络中资源利用的一种有前途的解决方案,以解决这一迫切需求。在网络切片中,动态资源编排和网络切片管理对于最大化资源利用率至关重要。不幸的是,这个过程太复杂,传统的方法是有效的,由于缺乏准确的模型和动态隐藏结构。我们制定的问题作为一个约束马尔可夫决策过程(CMDP)不知道模型和隐藏结构。此外,我们提出了解决这个问题,使用约束强化学习的资源分配算法的REACH A。特别是,我们分析了累积和瞬时约束,分别使用自适应邻域点策略优化和投影层。评价显示,在有服务需求保证的情况下,联合国A在资源分配方面的业绩明显优于基线。
2021-11-16 cs.LG cs.NI
Secure Deep Reinforcement Learning for Dynamic Resource Allocation in Wireless MEC Networks
University of Sydney(悉尼大学);University of the Sunshine Coast(阳光海岸大学)
针对去中心化无线MEC网络的安全资源分配问题,提出结合RPoS共识协议的BC-DRL框架,通过有约束DRL优化资源分配,在安全性、可靠性和资源利用率上优于基准方法。
2023-12-13 cs.LG cs.NI
Deep Reinforcement Learning with Symmetric Prior for Predictive Power Allocation to Mobile Users
Beihang University(北京航空航天大学)
深度强化学习已被应用于各种无线任务,然而,已知其具有高训练和推理复杂度。在本文中,我们诉诸深度确定性策略梯度(DDPG)算法,以优化预测功率分配之间的K个移动用户请求视频流,最大限度地减少网络的能量消耗下,每个用户的无停顿约束。为了降低DDPG的采样复杂度和模型规模,我们利用了一种演员和评论家网络固有的对称先验:置换不变和等变性质,来设计神经网络。我们的分析表明,DDPG的自由模型参数可以压缩2/K^2。仿真结果表明,当K = 10时,具有对称先验的学习模型达到与香草策略相同的性能所需的情节减少了约三分之一。
2021-02-10 cs.LG cs.NI
A Simple Reinforcement Learning Mechanism for Resource Allocation in LTE-A Networks with Markov Decision Process and Q-Learning
Federal University of Goias(戈亚斯联邦大学)
在无线网络中,资源分配仍然是一个难以处理的问题。不稳定的信道条件和对服务质量(QoS)的业务需求增加了干扰该过程的一些障碍。重要的是,最优策略在考虑频谱效率和其他相关信道问题的同时考虑到每个业务类可用的一些资源。强化学习是一种动态的、有效的方法,可以支持资源分配的完成,从而适当地维持应用的QoS水平。该技术可以跟踪系统状态作为反馈,以提高给定任务的性能。在此,提出了一种简单的强化学习机制,该机制被引入LTE-A网络中,并且旨在沿着调度过程在每个传输时间间隔(TTI)选择和限制关于QoS类别标识符(QCI)分配给每个业务类别的资源的数量。提出的机制实现了一个马尔可夫决策过程(MDP)解决Q-学习算法找到一个最佳的行动状态决策政策。仿真结果表明,该算法具有良好的性能,尤其适用于实时视频应用。
2017-09-27 cs.AI cs.NI
Deep Reinforcement Learning for Distributed Uncoordinated Cognitive Radios Resource Allocation
Rochester Institute of Technology(罗切斯特理工学院)
本文提出了一种新的深度强化学习为基础的资源分配技术的多智能体环境中提出的认知无线电网络,通过动态频谱接入(DSA)与主网络共存。在这项工作中提出的资源分配技术是分布式的,不需要与其他代理的协调。所提出的算法是第一个深度强化学习技术,其收敛到平衡的政策,可以显示在非平稳的多智能体环境中,通过共享的无线环境的无线电之间的不协调的动态交互的结果。此外,仿真结果表明,在有限的学习时间内,所提出的技术是能够找到的政策,产生的性能在3%的穷举搜索解决方案,找到最佳的政策,在近70%的情况下。此外,它表明,标准的单智能体深度强化学习可能无法实现收敛时,在非协调,耦合多无线电的情况下使用。
2020-03-06 cs.LG cs.NI stat.ML
Vehicle Speed Aware Computing Task Offloading and Resource Allocation Based on Multi-Agent Reinforcement Learning in a Vehicular Edge Computing Network
对于车载应用,具有不同速度的车辆具有不同的延迟要求。然而,车辆速度尚未被广泛探索,这可能导致车辆速度与其分配的计算和无线资源之间的不匹配。在本文中,我们提出了一种车辆速度感知的任务卸载和资源分配策略,以减少执行任务的能量消耗,而不超过延迟约束。首先,我们建立了基于不同速度和任务类型的车辆速度感知延迟约束模型。然后,计算了VEC服务器和本地终端执行任务的延迟和能量消耗。接下来,我们制定了一个联合优化的任务卸载和资源分配,以最大限度地减少车辆的能源成本受延误的约束。采用MADDPG方法得到了卸载和资源分配策略。仿真结果表明,该算法在能量消耗和任务完成延迟方面具有较好的性能。
2020-08-19 cs.NI eess.SP
Deep Reinforcement Learning Based Mode Selection and Resource Allocation for Cellular V2X Communications
蜂窝车联网(V2X)通信对于支持未来各种车辆应用至关重要。然而,对于安全关键型应用,不稳定的车辆到车辆(V2V)链路和集中式资源分配方法的高信令开销成为瓶颈。本文研究了蜂窝V2X通信中传输模式选择和资源分配的联合优化问题。特别是,该问题被公式化为马尔可夫决策过程,并提出了一种基于深度强化学习(DRL)的分散算法,以最大限度地提高车辆到基础设施用户的总容量,同时满足V2V对的延迟和可靠性要求。此外,考虑到局部DRL模型的训练局限性,提出了一种两时标的联邦DRL算法,以帮助获得鲁棒的模型。其中,基于图论的车辆聚类算法在大时间尺度上执行,而联邦学习算法在小时间尺度上进行。仿真结果表明,该算法的性能优于其他分散基线算法,验证了双时标联邦DRL算法在新激活V2V对中的优越性。
2020-02-13 cs.NI eess.SP
Reinforcement Learning Based Resource Allocation for Network Slices in O-RAN Midhaul
University of Ottawa(渥太华大学)
网络切片设想第五代(5G)移动网络资源分配基于对不同服务的不同要求,例如超可靠低延迟通信(URLLC)和增强型移动宽带(eMBB)。开放无线接入网(O-RAN)通过将功能模块化为独立的组件,提出了开放和分散的RAN概念。O-RAN的网络切片可以显著提高性能。因此,在这项研究中,提出了一种先进的资源分配解决方案,在O-RAN网络切片应用强化学习(RL)。这项研究展示了一个RL兼容的简化边缘网络模拟器,它包含三个组件:用户设备(UE)、边缘O-Cloud和区域O-Cloud。此模拟器稍后用于发现如何通过动态分配来自其他切片的未使用带宽来提高目标网络切片的吞吐量。增加某些网络切片的吞吐量还可以使终端用户受益于更高的平均数据率、峰值速率或更短的传输时间。结果表明,RL模型可以提供一个高峰值速率和更短的传输时间URLLC相比,平衡和eMBB焦点基线的eMBB业务。
2022-11-14 cs.LG cs.NI
Online Algorithms for Basestation Allocation
设计{ \it online algorithms}用于将移动用户分配到基站,其目标是当与任何一个基站相关联的所有用户平等地共享每个基站的资源时,最大化和速率。每个用户在其到达时揭示了如果连接到每个基站它可以获得的速率,并且问题是将每个用户分配给任何一个基站,使得在所有用户到达结束时总速率最大化,而不知道未来用户到达或速率信息或其在每个用户到达时的统计。与离线算法(即知道用户到达和用户速率配置文件提前)相比,常数因子损失的在线算法。提出的在线算法的动机是著名的在线k-秘书问题和在线最大权匹配问题。
2013-08-06 cs.DS cs.IT cs.NI
Optimal Power Allocation for Rate Splitting Communications with Deep Reinforcement Learning
Nanyang Technological University(南洋理工大学);University of Technology Sydney(悉尼科技大学);Sungkyunkwan University (SKKU)(成均馆大学)
这封信介绍了一种新的框架,以优化功率分配的用户在速率分裂多址(RSMA)网络。在网络中,针对用户的消息被分成不同的部分,即单个公共部分和各自的私有部分。这种机制使RSMA能够灵活地管理干扰,从而提高能量和频谱效率。虽然RSMA具有突出的优点,但在通信信道的不确定性和发射机对信道信息的了解有限的情况下,优化RSMA的功率分配是非常具有挑战性的。为了解决这个问题,我们首先开发了一个马尔可夫决策过程框架来建模的通信信道的动态。然后,提出了深度强化算法,以找到最佳的功率分配策略的发射机,而不需要任何先验信息的信道。仿真结果表明,在不同的功率和QoS要求下,该方案的平均和速率优于基线方案。
2021-10-05 cs.AI cs.IT cs.NI
Deep-Reinforcement-Learning-Based Scheduling with Contiguous Resource Allocation for Next-Generation Cellular Systems
Intel Corporation(英特尔公司);Princeton University(普林斯顿大学)
调度在多用户无线通信中起着关键的作用,因为各个用户的服务质量很大程度上取决于分配的无线电资源。提出了一种基于深度强化学习(DRL)的连续频域资源分配调度算法。调度问题被建模为马尔可夫决策过程,并且DRL代理确定在每个RB分配步骤应该调度哪个用户以及该用户的多少个连续RB。状态空间、动作空间和奖励函数经过精心设计,用于训练DRL网络。更具体地说,原来的准连续的动作空间,这是固有的连续的FERMARY,被细化成一个有限的和离散的动作空间,以获得推理延迟和系统性能之间的权衡。仿真结果表明,该算法在具有较低的在线计算复杂性的同时,性能优于其他典型的基线调度算法。
2020-11-26 cs.LG cs.NI eess.SP
Cooperative Deep Reinforcement Learning for Fair RIS Allocation
Institute of Telecommunications TU Wien Vienna, Austria
本文提出基于公平性的协作多智能体强化学习方法,通过动态分配RIS资源提升弱小区性能,实现无线网络中效率与公平的平衡。
2026-03-26 cs.LG cs.MA cs.NI
Computation Offloading and Resource Allocation in F-RANs: A Federated Deep Reinforcement Learning Approach
Southeast University(东南大学);Harbin Institute of Technology(哈尔滨工业大学);University of Oulu(奥卢大学)
雾无线电接入网络(F-RAN)是一项很有前途的技术,其中用户移动设备(MD)可以将计算任务卸载到附近的雾接入点(F-AP)。由于F-AP的资源有限,设计一个有效的任务卸载方案是非常重要的。考虑时变网络环境,以任务执行延迟和MD能耗最小为目标,提出了F-RAN中的动态计算卸载和资源分配问题.为了解决这个问题,提出了一种基于联合深度强化学习(DRL)的算法,其中深度确定性策略梯度(DDPG)算法在每个F-AP中执行计算卸载和资源分配。为了降低训练过程的计算复杂度和保护用户隐私,采用联邦学习对DDPG代理进行训练。仿真结果表明,与现有的其他策略相比,所提出的联邦DDPG算法可以更快地实现更低的任务执行延迟和能量消耗的MD。
2022-06-13 cs.AI cs.LG cs.NI
Deep Reinforcement Learning-Based Channel Allocation for Wireless LANs with Graph Convolutional Networks
Kyoto University(京都大学)
去年,IEEE 802.11极高吞吐量研究组(EHT Study Group)成立,以发起对IEEE 802.11新特性的讨论。EHT研究小组讨论了无线局域网(WLAN)中接入点(AP)的协调控制方法。本研究提出了一种使用图卷积网络(GCN)的基于深度强化学习的信道分配方案。作为一种深度强化学习方法,我们使用了一种著名的方法双深度Q网络。在密集部署的无线局域网中,AP的可用拓扑结构的数量是非常高的,因此,我们提取的拓扑结构的特征的基础上GCN。我们将GCN应用到竞争图中,其中在其载波侦听范围内的AP被连接以提取载波侦听关系的特征。此外,为了提高学习速度,特别是在学习的早期阶段,我们采用了基于博弈论的方法来收集独立于神经网络模型的训练数据。仿真结果表明,与现有的方法相比,该方法可以适当地控制信道。
2019-05-17 cs.LG cs.NI eess.SP
DCAF: A Dynamic Computation Allocation Framework for Online Serving System
Alibaba Group(阿里巴巴集团)
现代大型系统,如推荐系统和在线广告系统,都是建立在计算密集型基础设施之上的。在这些应用中,典型的目标是在有限的计算资源下最大化总收益,例如GMV~(总销售量)。在线服务系统通常采用多级级联结构,包括检索、预排序、排序等多个阶段,这些阶段通常采用人工分配资源的方式,要求服务配置进行相应的调整。结果,现有系统很容易陷入关于最大化总收入的次优解决方案。其局限性在于,尽管流量请求的价值变化很大,但在线服务系统仍然在它们之间花费相等的计算能力。在本文中,我们介绍了一种新的思想,在线服务系统可以对待每个流量请求不同,并分配“个性化”的计算资源的基础上,其价值。我们将这个资源分配问题转化为背包问题,并提出了一个动态计算分配框架DCAF。在一定的假设条件下,DCAF理论上可以保证系统在给定的计算预算下,使总收益最大化。DCAF带来了显著的改进,并已部署在淘宝的展示广告系统中,为主要流量服务。通过DCAF,我们能够在减少20%计算资源的情况下保持相同的业务性能。
2020-06-17 cs.AI cs.NI eess.SP
Network Resource Allocation Strategy Based on Deep Reinforcement Learning
State Grid Shandong Electric Power Research Institute(国网山东省电力科学研究院);China University of Petroleum (East China)(中国石油大学(华东))
传统互联网在为新兴技术需求分配网络资源方面遇到了瓶颈。网络虚拟化(NV)技术作为未来的网络体系结构,其支持的虚拟网络嵌入(VNE)算法在解决资源分配问题方面显示出巨大的潜力。结合高效的机器学习(ML)算法,构建了接近底层网络环境的神经网络模型,对强化学习Agent进行训练。针对现有启发式算法映射结果容易收敛于局部最优解的问题,提出一种基于深度强化学习(DRL)的两阶段VNE算法(TS-DRL-VNE)。针对现有的基于ML的VNE算法往往忽视底层网络表示和训练模式的重要性的问题,提出了一种基于全属性矩阵的DRL VNE算法(FAM-DRL-VNE)。针对现有VNE算法往往忽略虚拟网络请求间底层资源变化的问题,提出了一种基于矩阵扰动理论的DRL VNE算法(MPT-DRL-VNE)。实验结果表明,该算法优于其他算法。
2022-02-03 cs.DC cs.LG cs.NI
Learning from Peers: Deep Transfer Reinforcement Learning for Joint Radio and Cache Resource Allocation in 5G RAN Slicing
网络切片是5G通信的关键技术,涵盖无线接入网(RAN)、边缘、传输和核心切片。不断发展的网络架构需要协调无线和缓存资源等多种网络资源。近年来,机器学习(ML)技术已经广泛应用于网络管理。然而,大多数现有的作品没有利用ML的知识转移能力。在本文中,我们提出了一种深度传输强化学习(DTRL)方案,用于联合无线电和缓存资源分配,以服务于5G RAN切片。首先,我们定义了一个层次结构的联合资源分配。然后,我们提出了两种DTRL算法:基于Q值的深度迁移强化学习(QDTRL)和基于动作选择的深度迁移强化学习(ADTRL)。在所提出的计划中,学习者代理利用专家代理的知识,以提高他们的表现在当前的任务。将所提出的算法与无模型探索奖励深度Q学习(EB-DQN)和基于模型的优先级比例公平性和生存时间(PPF-TTL)算法进行比较。与EB-DQN相比,我们提出的基于DTRL的方法为超可靠低延迟通信(URLLC)切片提供了21.4%的延迟,为增强型移动宽带(eMBB)切片提供了22.4%的吞吐量,同时实现了比EB-DQN更快的收敛速度。此外,相对于PPF-TTL,观察到URLLC延迟降低40.8%,eMBB吞吐量提高59.8%。
2022-09-01 cs.NI cs.SY eess.SP
Resource Allocation for a Wireless Coexistence Management System Based on Reinforcement Learning
OWL University of Applied Sciences(东威斯特伐利亚应用科学大学);Institute of Industrial Information Technologies(工业信息技术研究所)
在工业环境中,使用越来越多的无线设备,这些设备利用免许可频带。由于这些相互干扰的无线系统可能会降低共存的状态。因此,需要一种中央共存管理系统,其将无冲突资源分配给无线系统。为了确保无冲突的资源利用,在分配资源之前预测预期的介质利用是有用的。本文提出了一种基于强化学习的自学习概念。基于神经网络的强化学习代理的模拟评估,称为深度Q网络和双深度Q网络,实现了示例性和实际相关的共存场景。对双深度Q网络的评估表明,在所有调查的情况下,预测准确率至少可以达到98%。
2018-05-24 cs.LG cs.NI eess.SP
Deep Reinforcement Learning for Uplink Multi-Carrier Non-Orthogonal Multiple Access Resource Allocation Using Buffer State Information
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
对于正交多址接入(OMA)系统,所服务的用户设备(UE)的数量限于可用正交资源的数量。另一方面,非正交多址(NOMA)方案允许多个UE使用相同的正交资源。这种额外的自由度为资源分配带来了新的挑战。缓冲器状态信息(BSI),如等待传输的分组的大小和年龄,可以用于改进OMA系统中的调度。在本文中,我们调查的影响BSI的集中式调度器的性能在上行链路多载波NOMA的情况下,UE具有各种数据率和延迟的要求。为了处理分配UE到资源的大的组合空间,我们提出了一种新的调度器,基于演员-评论家强化学习结合BSI。培训和评估使用诺基亚的“无线套件”进行。我们提出了各种新的技术来稳定和加快训练。建议的调度优于基准调度。
2022-08-31 cs.LG cs.NI cs.SY
Deep Reinforcement Learning for Wireless Resource Allocation Using Buffer State Information
Karlsruhe Institute of Technology (KIT)(卡尔斯鲁厄理工学院)
随着无线网络中具有各种数据率和延迟要求的用户设备(UE)的数量增加,正交频分多址(OFDMA)的资源分配问题变得具有挑战性。特别地,当在保持UE之间的公平性的同时最大化系统数据率时,变化的要求导致非凸优化问题。在本文中,我们使用深度强化学习(DRL)解决非凸优化问题。我们概述,训练和评估的DRL代理,它执行的任务,下行链路OFDMA的情况下的媒体访问控制调度。为了开始训练我们的代理,我们引入模仿学习。为了提高调度性能,考虑基站处的全缓冲器状态信息(例如,分组年龄、分组大小)。输入特征压缩、数据包重排和年龄上限等技术进一步提高了代理的性能。我们使用诺基亚的无线套件对我们的代理进行训练和评估,并根据不同的基准代理进行评估。我们表明,我们的代理明显优于基准代理。
2021-08-27 cs.LG cs.NI cs.SY