ReaCritic: Reasoning Transformer-based DRL Critic-model Scaling For Wireless Networks
Department of Electrical and Electronic Engineering, University of Hong Kong(香港大学电子与电气工程系)
ReaCritic通过引入基于推理的变压器结构,提升DRL在无线网络中的适应性和性能表现。
2026-02-18 cs.LG cs.NI
A Deep Q-Learning Method for Downlink Power Allocation in Multi-Cell Networks
University of Manitoba(曼尼托巴大学)
最优资源分配是具有大规模无线连接的密集和异构无线网络的基本挑战。由于优化问题的非凸性,获得最佳资源分配的计算要求很高。最近,深度强化学习(DRL)已经成为解决非凸优化问题的一种很有前途的技术。与深度学习(DL)不同,DRL不需要任何最佳/接近最佳的训练数据集,这些数据集在生成合成数据时不可用或计算昂贵。在本文中,我们提出了一种新的集中式DRL为基础的多小区系统的下行链路功率分配方案,旨在最大限度地提高总的网络吞吐量。具体来说,我们应用深度Q学习(DQL)方法来实现接近最优的功率分配策略。为了对所提出的方法进行基准测试,我们使用遗传算法(GA)来获得接近最优的功率分配解决方案。仿真结果表明,所提出的基于DRL的功率分配方案相比,在多小区的情况下,传统的功率分配方案的性能更好。
2019-04-30 cs.LG cs.NI eess.SP
Content Accuracy and Quality Aware Resource Allocation Based on LP-Guided DRL for ISAC-Driven AIGC Networks
State Key Lab of Processors, Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所过程实验室);Beijing Key Laboratory of Mobile Computing and Pervasive Device(北京移动计算与普适设备关键实验室);University of Chinese Academy of Sciences(中国科学院大学)
本文提出LP引导DRL算法,用于优化ISAC驱动AIGC网络中的资源分配,提升内容准确性和质量。
2026-01-14 cs.LG
Secure Deep Reinforcement Learning for Dynamic Resource Allocation in Wireless MEC Networks
University of Sydney(悉尼大学);University of the Sunshine Coast(阳光海岸大学)
针对去中心化无线MEC网络的安全资源分配问题,提出结合RPoS共识协议的BC-DRL框架,通过有约束DRL优化资源分配,在安全性、可靠性和资源利用率上优于基准方法。
2023-12-13 cs.LG cs.NI
Deep Reinforcement Learning Based Cross-Layer Design in Terahertz Mesh Backhaul Networks
Shanghai Jiao Tong University(上海交通大学);University of Michigan-Shanghai Jiao Tong University (UM-SJTU) Joint Institute(上海交通大学密西根学院)
针对太赫兹mesh回传网络中动态流量与链路故障下的跨层路由和资源分配难题,提出基于DRL的DEFLECT方案,通过启发式路由度量和分层多任务DRL实现长期资源效率最大化与毫秒级故障恢复。
2023-10-08 cs.LG
Joint Service Caching, Communication and Computing Resource Allocation in Collaborative MEC Systems: A DRL-based Two-timescale Approach
针对协作式MEC系统中多维资源分配与QoS优化挑战,提出DGL-DDPG双时间尺度方案,通过短期GA与长期LSTM-DDPG联合优化服务缓存与资源分配,降低切换成本并提升QoS。
2024-04-26 cs.LG cs.NI
Auction-Based RIS Allocation With DRL: Controlling the Cost-Performance Trade-Off
Institute of Telecommunications TU Wien(电信研究所 TU 威尼斯)
本文提出基于拍卖和深度强化学习的RIS分配方法,通过动态租赁和智能体学习实现成本与性能的最优权衡。
2026-02-18 cs.LG cs.MA cs.NI
Network Resource Allocation Strategy Based on Deep Reinforcement Learning
State Grid Shandong Electric Power Research Institute(国网山东省电力科学研究院);China University of Petroleum (East China)(中国石油大学(华东))
传统互联网在为新兴技术需求分配网络资源方面遇到了瓶颈。网络虚拟化(NV)技术作为未来的网络体系结构,其支持的虚拟网络嵌入(VNE)算法在解决资源分配问题方面显示出巨大的潜力。结合高效的机器学习(ML)算法,构建了接近底层网络环境的神经网络模型,对强化学习Agent进行训练。针对现有启发式算法映射结果容易收敛于局部最优解的问题,提出一种基于深度强化学习(DRL)的两阶段VNE算法(TS-DRL-VNE)。针对现有的基于ML的VNE算法往往忽视底层网络表示和训练模式的重要性的问题,提出了一种基于全属性矩阵的DRL VNE算法(FAM-DRL-VNE)。针对现有VNE算法往往忽略虚拟网络请求间底层资源变化的问题,提出了一种基于矩阵扰动理论的DRL VNE算法(MPT-DRL-VNE)。实验结果表明,该算法优于其他算法。
2022-02-03 cs.DC cs.LG cs.NI
Deep-Reinforcement-Learning-Based Scheduling with Contiguous Resource Allocation for Next-Generation Cellular Systems
Intel Corporation(英特尔公司);Princeton University(普林斯顿大学)
调度在多用户无线通信中起着关键的作用,因为各个用户的服务质量很大程度上取决于分配的无线电资源。提出了一种基于深度强化学习(DRL)的连续频域资源分配调度算法。调度问题被建模为马尔可夫决策过程,并且DRL代理确定在每个RB分配步骤应该调度哪个用户以及该用户的多少个连续RB。状态空间、动作空间和奖励函数经过精心设计,用于训练DRL网络。更具体地说,原来的准连续的动作空间,这是固有的连续的FERMARY,被细化成一个有限的和离散的动作空间,以获得推理延迟和系统性能之间的权衡。仿真结果表明,该算法在具有较低的在线计算复杂性的同时,性能优于其他典型的基线调度算法。
2020-11-26 cs.LG cs.NI eess.SP
Koopman-Based Generalization of Deep Reinforcement Learning With Application to Wireless Communications
Department of Computer Science, Toronto Metropolitan University(计算机科学系,多伦多 Metropolitan 大学)
针对DRL训练数据非独立同分布导致传统泛化分析方法失效的问题,提出基于Koopman算子的可解释DRL泛化性评估方法,并在无人机毫米波通信场景验证了其对不同DRL算法的对比分析能力。
2025-07-30 cs.IT cs.LG math.IT
Dynamics of Resource Allocation in O-RANs: An In-depth Exploration of On-Policy and Off-Policy Deep Reinforcement Learning for Real-Time Applications
School of Science and Engineering, Al Akhawayn University(伊夫兰阿赫瓦因大学科学与工程学院)
本文复现并比较PPO与ACER在O-RAN资源分配中的表现,验证二者均优于贪婪算法,且PPO平衡能耗与时延、ACER收敛更快。
2024-11-17 cs.LG cs.NI
Hierarchical Multi-Agent DRL-Based Framework for Joint Multi-RAT Assignment and Dynamic Resource Allocation in Next-Generation HetNets
Hamad Bin Khalifa University(哈马德·本·哈利法大学);The University of Texas at Dallas(德克萨斯大学达拉斯分校)
本文提出分层多智能体深度强化学习框架DeepRAT,将多无线接入技术分配与功率控制分解为DQN分配阶段和多智能体DDPG功率分配阶段,以高效求解下一代异构网络中的成本感知和速率最大化问题,并在网络效用和动态适应性上优于现有启发式方法。
2022-02-28 cs.AI cs.LG eess.SP
Adversarial Reinforcement Learning in Dynamic Channel Access and Power Control
Syracuse University(雪城大学)
深度强化学习(DRL)近来已被用于在无线通信中执行高效的资源分配。在本文中,这样的DRL代理对抗攻击的脆弱性进行了研究。特别是,我们考虑多个DRL代理,在无线干扰信道中执行动态信道接入和功率控制。对于这些受害DRL代理,我们设计了一个干扰器,这也是一个DRL代理。我们提出了一种对抗性干扰攻击方案,利用监听阶段,显着降低用户的和速率。随后,我们开发了一个集成的政策防御策略,对这样的干扰攻击者重新加载模型(保存在重新训练),具有最小的过渡相关性。
2021-05-12 cs.IT cs.LG math.IT
Deep Reinforcement Learning for Optimal Portfolio Allocation: A Comparative Study with Mean-Variance Optimization
本文通过比较深度强化学习与均值-方差优化方法,探讨了在投资组合分配中的性能和效果。
2026-02-19 cs.AI cs.LG q-fin.PM
Edge Intelligence for Energy-efficient Computation Offloading and Resource Allocation in 5G Beyond
University of Electronic Science and Technology of China(电子科技大学);University of Oslo(奥斯陆大学);Simula Metropolitan Center for Digital Engineering(Simula大都会数字工程中心)
5G超越是一个端-边缘-云协调网络,可以利用终端设备、边缘服务器和云的异构功能,因此有可能通过计算卸载来实现计算密集型和延迟敏感型应用。然而,在多用户无线网络中,不同的应用需求和各种无线电接入模式的可能性,用于设备之间的通信,使得设计一个最佳的计算卸载方案具有挑战性。此外,能够访问包括诸如无线信道状态、可用带宽和计算资源等变量的完整网络信息是一个主要问题。深度强化学习(Deep Reinforcement Learning,DRL)是一种新兴技术,用于解决网络信息有限且不准确的问题。在本文中,我们利用DRL设计一个最佳的计算卸载和资源分配策略,以最小化系统的能量消耗。我们首先提出了一个多用户端-边缘-云协调网络,其中所有设备和基站都具有计算能力。然后,我们制定了联合计算卸载和资源分配问题的马尔可夫决策过程(MDP),并提出了一种新的DRL算法,以最大限度地减少系统的能量消耗。基于真实数据集的数值结果表明,所提出的基于DRL的算法显着优于基准政策的系统能耗。大量的仿真结果表明,学习率,折扣因子,和设备的数量有相当大的影响所提出的算法的性能。
2020-11-18 cs.LG eess.SP
Provable Performance Bounds for Digital Twin-driven Deep Reinforcement Learning in Wireless Networks: A Novel Digital-Twin Bisimulation Metric
Pervasive Communication Research Center, Purple Mountain Laboratories(紫金山实验室普适通信研究中心)
提出DT-BSM度量,基于Wasserstein距离量化数字孪生与真实环境MDP差异,证明DT训练策略性能遗憾值有界,并给出经验计算方法与收敛性保证。
2025-02-25 cs.LG
A Rollout-Based Algorithm and Reward Function for Resource Allocation in Business Processes
Eindhoven University of Technology Department of Industrial Engineering(埃因霍温理工大学工业工程与创新科学系)
针对现有深度强化学习方法不适用于业务流程动态环境、依赖人工设计奖励函数易导致次优策略的问题,提出基于rollout的DRL算法与直接分解最小化周期时间目标的奖励函数,在多场景与真实规模流程上性能优于或持平最佳启发式方法。
2025-09-02 cs.AI cs.LG
Deep Reinforcement Learning for Dynamic Resource Allocation in Wireless Networks
该研究构建含基站、多天线与用户设备的无线网络环境,利用 RLlib 评估 DQN、PPO 等 DRL 算法,证明算法与学习率显著影响性能且优于传统方法。
2025-03-13 cs.AI cs.DC cs.ET
On the Robustness of Deep Reinforcement Learning in IRS-Aided Wireless Communications Systems
University of Manitoba(曼尼托巴大学)
我们考虑一个智能反射面(IRS)辅助多输入单输出(MISO)系统的下行链路传输。我们比较了深度强化学习(DRL)和传统优化方法在寻找IRS元素的最佳相移以最大化用户信噪比(SNR)方面的性能。此外,我们评估这些方法的鲁棒性,以信道损伤和系统中的变化。我们证明数字DRL解决方案显示出更强的鲁棒性,噪声信道和用户的移动性。
2021-07-26 cs.IT cs.LG math.IT
Learning Deterministic Policy with Target for Power Control in Wireless Networks
University of Science and Technology of China(中国科学技术大学);Columbia University(哥伦比亚大学);Yahoo Labs(雅虎实验室)
小区间干扰协调(ICIC)是提高无线网络中的能量效率的有前途的方式,特别是在密集部署小型基站的情况下。然而,传统的基于优化的ICIC方案遭受严重的性能下降与复杂的干扰模式。为了解决这个问题,我们提出了一个深度强化学习与确定性的政策和目标(DRL-DPT)框架ICIC在无线网络中。DRL-DPT克服了强化学习和深度学习在无线网络中应用的主要障碍,即连续状态空间、连续动作空间和收敛性。首先,深度神经网络(DNN)参与作为演员,以获得确定性的功率控制动作在连续空间。然后,为了保证算法的收敛性,提出了一种在线训练的方法,该方法使用一个专门的奖励函数作为目标规则,并使用策略梯度下降算法来调整DNN的权值。实验结果表明,所提出的DRL-DPT框架一致优于现有的计划在能源效率和吞吐量在不同的无线干扰情况下。更具体地说,它提高了高达15%的能源效率和更快的收敛速度。
2019-02-21 cs.LG cs.NI stat.ML
Explainable AI-aided Feature Selection and Model Reduction for DRL-based V2X Resource Allocation
Koc University(科克大学);King Abdullah University of Science and Technology(阿卜杜拉国王科技大学)
本文提出一种基于可解释AI的两阶段框架,用于简化多智能体深度强化学习在V2X资源分配中的特征与模型,在保持97%性能的同时减少28%特征、11%训练时间和46%参数。
2025-01-23 cs.AI cs.LG cs.MA
Adversarial jamming attacks and defense strategies via adaptive deep reinforcement learning
Syracuse University(雪城大学)
随着深度强化学习(Deep Reinforcement Learning,DRL)在无线通信中应用的不断深入,基于DRL的无线通信策略对对抗性攻击的敏感性开始引起越来越多的关注。为了解决这种敏感性和减轻由此产生的安全问题,我们在本文中考虑受害者用户执行基于DRL的动态信道接入,和攻击者执行基于DRL的干扰攻击,以破坏受害者。因此,受害者和攻击者都是DRL代理,可以相互交互,重新训练他们的模型,并适应对手的策略。在这种情况下,我们首先开发了一个对抗性的干扰攻击策略,旨在最大限度地减少受害者的动态信道接入的决策的准确性。随后,我们设计的防御策略,对这样的攻击者,并提出了三种防御策略,即多样化的比例积分微分(PID)控制的防御,多样化的防御与模仿攻击者,防御通过正交的政策。我们设计这些策略,以最大限度地提高攻击受害者的准确性,并评估他们的表现。
2020-07-12 cs.LG eess.SP
DeepSlicing: Deep Reinforcement Learning Assisted Resource Allocation for Network Slicing
The University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校);Texas A&M University at Corpus Christi(德克萨斯农工大学科珀斯克里斯蒂分校);Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳))
网络切片使多个虚拟网络能够在同一物理基础设施上运行,以支持5G及更高级别的各种用例。然而,这些用例具有非常不同的网络资源需求,例如,通信和计算,以及各种性能指标,如延迟和吞吐量。为了有效地将网络资源分配给切片,我们提出了DeepSlicing,它集成了交替方向乘法器(ADMM)和深度强化学习(DRL)。DeepSlicing将网络切片问题分解为一个主问题和几个从问题。主问题采用凸优化方法求解,从问题采用DRL方法学习最优资源分配策略。通过网络仿真验证了该算法的性能。
2020-08-19 cs.LG eess.SP
Large Vision Model-Enhanced Digital Twin with Deep Reinforcement Learning for User Association and Load Balancing in Dynamic Wireless Networks
National Mobile Communications Research Lab, Southeast University, Nanjing 210096, China(南京东南大学国家移动通信研究中心);Pervasive Communication Research Center, Purple Mountain Laboratories, Nanjing 211111, China(南京紫金山实验室 pervasive 通信研究中心)
针对动态蜂窝网络用户关联优化的现有DRL方法存在试错成本高、仅适配固定用户数等问题,该研究提出大视觉模型增强的数字孪生及并行驱动的DRL方法,可基于街景生成用户移动轨迹,训练效率与边缘用户性能均显著提升。
2025-05-16 cs.LG cs.SY eess.SY
Deep Reinforcement Learning Architecture for Continuous Power Allocation in High Throughput Satellites
Massachusetts Institute of Technology(麻省理工学院)
在未来几年,卫星宽带市场的服务需求将大幅增长,特别是对于需求激增的移动行业。许多下一代卫星将在功率和带宽分配能力方面配备多个自由度,这使得手动资源分配变得不切实际且效率低下。因此,期望使这些高度灵活的卫星的操作自动化。本文提出了一种基于深度强化学习(DRL)的功率分配方法,将问题表示为连续的状态和动作空间。我们使用邻近策略优化(PPO)算法来优化分配策略,以使未满足的系统需求(USD)和功耗最小。通过对多波束卫星系统的仿真,分析了该算法的性能,结果表明DRL作为一种动态资源分配算法是可行的。
2019-06-03 cs.LG eess.SP stat.ML
DRL-Based Resource Allocation for Motion Blur Resistant Federated Self-Supervised Learning in IoV
School of Internet of Things Engineering, Jiangnan University(江南大学物联网工程学院);Department of Electronic Engineering, Beijing National Research Center for Information Science and Technology, Tsinghua University(清华大学电子工程系,北京信息科技大学国家信息科学与技术研究中心);Qualcomm(高通);State Key Lab. of ISN and School of Telecommunications Engineering, Xidian University(西安电子科技大学信息与通信系统国家重点实验室及电信工程学院);Department of Electronic Engineering, Shanghai Jiao Tong University(上海交通大学电子工程系);Department of Electrical and Computer Engineering, the Hong Kong University of Science and Technology (HKUST)(香港科技大学电子与计算机工程系)
针对车联网中联邦自监督学习的隐私与运动模糊问题,提出基于SimCo的抗模糊方法BFSSL,并设计DRL资源分配方案以最小化能耗和延迟,仿真验证其有效性。
2025-06-18 cs.CV cs.LG cs.NI
Vehicle Tracking in Wireless Sensor Networks via Deep Reinforcement Learning
Nanjing University of Science and Technology(南京理工大学)
车辆跟踪已成为无线传感器网络在救援、监控、交通监控等领域的重要应用之一,但跟踪精度的提高需要更多的能量消耗。在这封信中,分散的车辆跟踪策略的构想,以提高跟踪精度和节能,这是基于调整之间的交叉区域的固定传感区域和动态激活区域。然后,两个深度强化学习(DRL)的辅助解决方案,提出了依赖于激活区域半径的动态选择。最后,仿真结果显示了我们的DRL辅助设计的优越性。
2020-02-22 cs.LG cs.SY eess.SY
Dynamic Channel Access via Meta-Reinforcement Learning
Syracuse University(雪城大学)
在本文中,我们通过Meta强化学习来解决动态无线环境中的信道接入问题。频谱是无线通信中的稀缺资源,特别是随着网络中设备数量的急剧增加。最近,受到深度强化学习(DRL)的成功的启发,已经在经由DRL解决无线资源分配问题方面进行了广泛的研究。然而,训练DRL算法通常需要为每个特定任务从环境中收集大量数据,并且如果环境中存在微小变化,则经过良好训练的模型可能会失败。在这项工作中,为了解决这些挑战,我们提出了一个元DRL框架,其中包括模型不可知元学习(MAML)的方法。在建议的框架中,我们训练一个共同的初始化类似的通道选择任务。从初始化,我们表明,只有几个梯度下降需要适应不同的任务从同一分布。我们通过仿真结果证明了性能的改善。
2021-12-24 cs.LG cs.NI cs.SY
Safe Deep Reinforcement Learning for Resource Allocation with Peak Age of Information Violation Guarantees
Department of Electrical and Electronics Engineering, Koc University(电气与电子工程系,科克大学)
本文提出一种基于优化理论的安全深度强化学习两阶段框架,通过师生机制指导智能体在满足PAoI违例概率等约束下最小化功耗,实现了比基线更快的收敛速度与更高稳定性。
2025-07-11 cs.AI cs.LG cs.MA
Buffer-aware Wireless Scheduling based on Deep Reinforcement Learning
Huawei Technologies(华为技术有限公司)
本文对蜂窝网络下行分组调度问题进行了建模,使吞吐量、公平性和丢包率联合优化。两个基因辅助的启发式搜索方法来探索解决方案的空间。提出了一种基于A2C算法的深度强化学习(DRL)框架。在该框架中采用了几种方法来提高采样和训练效率,并使算法适应特定的调度问题。数值结果表明,DRL优于基线算法,并达到类似的性能基因辅助方法,而不使用未来的信息。
2019-11-13 cs.IT cs.LG math.IT
Semantic-Aware Collaborative Deep Reinforcement Learning Over Wireless Cellular Networks
University of Colorado(科罗拉多大学);Virginia Tech(弗吉尼亚理工学院)
协作式深度强化学习(CDRL)算法可以让多个智能体通过无线网络进行协调,这是一种很有前途的方法,可以实现未来依赖于复杂动态环境中实时决策的智能和自治系统。然而,在实际应用中,由于智能体及其学习任务的异构性、不同的环境、学习的时间限制以及无线网络的资源限制,CDRL面临着许多挑战。为了解决这些挑战,在本文中,提出了一种新的语义感知的CDRL方法,使一组异构的未经训练的代理与语义链接的DRL任务,有效地合作,在资源受限的无线蜂窝网络。为此,提出了一种新的异构联邦DRL(HFDRL)算法选择语义相关的DRL代理的最佳子集进行协作。所提出的方法,然后共同优化的培训损失和无线带宽分配的合作选定的代理,以训练每个代理的时间限制内的实时任务。仿真结果表明,所提出的算法相比,国家的最先进的基线的优越性能。
2022-03-04 cs.IT cs.LG cs.NI
ColO-RAN: Developing Machine Learning-based xApps for Open RAN Closed-loop Control on Programmable Experimental Platforms
尽管开放RAN带来了新的机遇,但基于ML的网络自动化的进展一直很缓慢,主要是因为大规模数据集和实验测试基础设施的不可用。这减缓了深度强化学习(DRL)代理在真实网络上的开发和广泛采用,延迟了智能和自主RAN控制的进展。在本文中,我们提出了实用的解决方案和软件管道的设计,培训,测试,并在开放RAN基于DRL的闭环控制的实验评估,以解决这些挑战。我们介绍ColO-RAN,这是第一个公开的具有软件定义无线电在环的大规模O-RAN测试框架。基于Colosseum无线网络仿真器的规模和计算能力,ColO-RAN使用O-RAN组件、可编程基站和“无线数据工厂”实现了大规模的ML研究。具体来说,我们设计和开发了三个示例性xApp,用于基于DRL的RAN切片控制、调度和在线模型训练,并评估它们在具有7个软件化基站和42个用户的蜂窝网络上的性能。最后,我们展示了ColO-RAN到不同平台的可移植性,通过将其部署在室内可编程测试平台Arena上。我们首次大规模评估的广泛结果突出了基于DRL的自适应控制的优势和挑战。他们还提供了关于无线DRL管道开发的见解,从数据分析到DRL代理的设计,以及与现场RAN培训相关的权衡。ColO-RAN和收集的大规模数据集将向研究界公开提供。
2022-01-12 cs.LG cs.NI
Bandwidth Allocation for Multiple Federated Learning Services in Wireless Edge Networks
University of Miami(迈阿密大学)
研究了一种联邦学习(FL)系统,其中\textit{multiple} FL服务共存于无线网络中,共享公共无线资源。它填补了现有文献中多个同时FL业务的无线资源分配的空白。我们的方法设计了一个两级资源分配框架,包括\emph{intra-service}资源分配和\emph{inter-service}资源分配。服务内资源分配问题旨在通过优化每个FL服务的客户端之间的带宽分配来最小化FL轮的长度。在此基础上,进一步考虑服务间资源分配问题,其在多个同时FL服务之间分配带宽资源。我们认为合作和自私的FL服务提供商。对于合作FL服务提供商,设计了一种分布式带宽分配算法,以优化多FL服务的整体性能,同时兼顾FL服务间的公平性和客户端的隐私性。针对自私的FL服务提供商,设计了一种新的拍卖方案,FL服务所有者作为投标人,网络提供商作为拍卖人。所设计的拍卖方案在整体FL性能和公平性之间取得了平衡。我们的仿真结果表明,所提出的算法优于其他基准在各种网络条件下。
2021-01-10 cs.LG cs.NI
Twin Sorting Dynamic Programming Assisted User Association and Wireless Bandwidth Allocation for Hierarchical Federated Learning
National Yang Ming Chiao Tung University(国立阳明交通大学);Mississippi State University(密西西比州立大学)
针对分层联邦学习系统的用户关联与带宽分配问题,提出双排序动态规划算法及多边缘服务器下的辅助算法,还求解了带宽分配凸优化问题,仿真显示性能优于多种方案。
2024-08-17 cs.LG cs.NI
Hybrid Beamforming for RIS-Empowered Multi-hop Terahertz Communications: A DRL-based Method
太赫兹频带(0.1- 10 THz)中的无线通信被设想为未来第六代(6 G)无线通信系统的关键使能技术之一。然而,太赫兹频率很高的传播衰减和分子散射往往限制了信号的传输距离和覆盖范围。基于可重构智能表面(RIS)在实现智能无线电传播环境方面的突破,提出了一种新的混合波束形成方案,用于多跳RIS辅助通信网络,以提高太赫兹频段的覆盖范围。我们研究了BS处的数字波束成形矩阵和RIS处的模拟波束成形矩阵的联合设计,通过利用深度强化学习(DRL)的最新进展来对抗传播损耗。仿真结果表明,与基准方案相比,该方案能够将THz通信的覆盖范围提高50%以上.此外,它也表明,我们提出的DRL为基础的方法是一个国家的最先进的方法来解决NP-巴德波束成形问题,特别是当信号在RIS授权太赫兹通信网络经历多跳。
2020-09-20 cs.IT cs.LG eess.SP
Deep Reinforcement Learning Based Resource Allocation for Cloud Native Wireless Network
针对云原生无线网络中动态资源分配难题,本文提出基于深度强化学习的两种无模型算法,并在Free5gc测试平台上验证,显著提升网络效率。
2023-05-10 cs.LG cs.NI
DRL-Based Federated Self-Supervised Learning for Task Offloading and Resource Allocation in ISAC-Enabled Vehicle Edge Computing
School of Internet of Things Engineering, Jiangnan University(江南大学物联网工程学院);Department of Electronic Engineering, Beijing National Research Center for Information Science and Technology, Tsinghua University(清华大学信息科学与技术国家研究中心电子工程系);State Key Lab. of ISN and School of Telecommunications Engineering, Xidian University(西安电子科技大学信息与通信系统国家重点实验室和电信工程学院);Department of Electronic Engineering, Shanghai Jiao Tong University(上海交通大学电子工程系);Department of Electrical and Computer Engineering, the Hong Kong University of Science and Technology (HKUST)(香港科技大学电子与计算机工程系)
针对ISAC赋能的车辆边缘计算,提出基于DRL的改进联邦自监督学习算法,通过部分任务卸载与资源分配优化能耗,提升卸载效率与模型精度。
2025-06-19 cs.DC cs.LG cs.NI
Handover and SINR-Aware Path Optimization in 5G-UAV mmWave Communication using DRL
Institute of Information Science and Technologies (ISTI) CNR(国家研究委员会信息科学与技术研究所(ISTI))
针对动态信道下UAV毫米波通信的路径优化问题,提出无模型AC-DRL框架,综合飞行时间、切换、连接性和SINR,实现最短时间、最少切换与高SINR的最优路径决策。
2025-04-03 cs.LG cs.NI eess.SP
LLM-OptiRA: LLM-Driven Optimization of Resource Allocation for Non-Convex Problems in Wireless Communications
提出LLM-OptiRA框架,利用大型语言模型自动检测并转换非凸组件,实现无线通信非凸资源分配问题的全自动求解,在GPT-4上达到96%执行率和80%成功率,显著优于基线。
2025-09-26 cs.CL cs.LG
Can You Fix My Neural Network? Real-Time Adaptive Waveform Synthesis for Resilient Wireless Signal Classification
Institute for the Wireless Internet of Things, Northeastern University(东北大学无线物联网研究所);Roux Institute, Northeastern University(东北大学鲁克斯学院)
深度学习(DL)无需明确建模即可对复杂现象进行分类,因此已被证明是无线信号分类(WSC)的关键推动因素。虽然DL在某些条件下可以达到非常高的准确性,但最近的研究发现,无线信道可能会破坏DL模型在训练过程中学习到的特征,从而大大降低真实世界实时设置中的分类性能。由于重新训练分类器在部署之后是麻烦的,现有的工作已经利用了精心定制的有限脉冲响应(FIR)滤波器的使用,当在发射机侧应用时,该滤波器可以恢复由于信道动作而丢失的特征,即,波形合成然而,这些方法使用离线优化策略来计算FIR,这限制了它们在高度动态信道设置中的功效。在本文中,我们通过提出Chares来改进现有技术,Chares是一种基于深度强化学习(DRL)的框架,用于通道弹性自适应波形合成。Chares通过DRL实时的【形】最佳计算FIR来适应新的和不可见的信道条件。Chares是一个DRL代理,其体系结构是基于双延迟深度确定性策略梯度(TD 3),它需要最小的反馈,从接收器和探索一个连续的动作空间。Chares在两个著名的数据集上进行了广泛的评估。我们还通过现场可编程门阵列(FPGA)的实现评估了Chares的实时的【形】延迟。结果表明,当不进行波形合成时,Chares将准确度提高了4.1倍,相对于现有工作提高了1.9倍,并且可以在41 us内计算新的动作。
2021-03-05 cs.LG cs.NI
Power Allocation for Wireless Federated Learning using Graph Neural Networks
Army Research Office(陆军研究办公室)
我们提出了一个数据驱动的方法,在干扰受限的无线网络的背景下,联邦学习(FL)的功率分配。功率策略的设计是为了在通信约束下最大化FL过程中传输的信息,最终目标是提高全局FL模型的训练精度和效率。所提出的功率分配策略使用图卷积网络参数化,并通过原始-对偶算法解决相关的约束优化问题。数值实验表明,该方法在传输成功率和FL全局性能方面都优于三种基线方法。
2022-04-04 cs.LG cs.NI eess.SP
Deep Learning based Wireless Resource Allocation with Application to Vehicular Networks
Intel Labs(英特尔实验室);Georgia Institute of Technology(佐治亚理工学院);Zhejiang University(浙江大学)
长期以来一直认为,明智的资源分配对于减轻干扰、提高网络效率以及最终优化无线通信性能是至关重要的。传统的智慧是将资源分配明确地表述为优化问题,然后利用数学规划来解决问题,以达到一定的最优水平。尽管如此,随着无线网络变得越来越多样化和复杂,例如,在高移动性车载网络中,当前的设计方法面临着重大挑战,因此需要重新思考传统的设计理念。与此同时,深度学习在各个学科都有许多成功的案例,由于其利用数据解决问题的非凡能力,它代表了一种有前途的替代方案。在本文中,我们讨论了使用深度学习进行无线资源分配的关键动机和障碍,并将其应用于车辆网络。我们回顾了最近在无线资源分配中调动深度学习理念并取得令人印象深刻结果的主要研究。我们首先讨论用于资源分配的深度学习辅助优化。然后,我们强调了深度强化学习方法,以解决传统优化框架中难以处理的资源分配问题。我们还确定了一些值得进一步研究的研究方向。
2019-10-01 cs.IT cs.LG math.IT
Unsupervised Learning for Asynchronous Resource Allocation in Ad-hoc Wireless Networks
University of Pennsylvania(宾夕法尼亚大学);Intel Labs(英特尔实验室)
我们考虑异步无线网络环境下的最优资源分配问题。在没有明确模型知识的情况下,设计了一种基于聚合图神经网络(Agg-GNNs)的无监督学习方法。根据每个网络节点上的本地化聚合信息结构,该方法可以在本地实现的同时全局地和异步地学习。我们捕捉到的激活模式建模为每个节点的特性和训练基于策略的资源分配方法的复杂性。我们还提出了一个置换不变性的属性,这表明训练的Agg-GNN的可转移性。最后,我们通过数值模拟与基线方法相比,验证了我们的策略。
2020-11-05 cs.LG cs.NI eess.SP
Learning Optimal Resource Allocations in Wireless Systems
University of Pennsylvania(宾夕法尼亚大学);Cornell Tech(康奈尔理工学院)
本文将无线通信系统中最优资源分配策略的设计问题建模为一个带随机约束的函数优化问题。这些优化问题具有学习问题的结构,其中统计损失作为约束出现,激励学习方法的发展来尝试解决它们。为了处理随机约束,在对偶域中进行训练。结果表明,这可以做到这一点时,使用近普遍的学习参数化的最优性损失小。特别是,由于深度神经网络(DNN)几乎是通用的,因此提倡并探索其使用。DNN在这里使用无模型的原始-对偶方法进行训练,该方法同时学习资源分配策略的DNN参数化并优化原始和对偶变量。数值模拟表明,所提出的方法对一些常见的无线资源分配问题的强大性能。
2022-02-04 cs.LG cs.NI stat.ML
Hierarchical Multi-Agent DRL Based Dynamic Cluster Reconfiguration for UAV Mobility Management
KTH Royal Institute of Technology(瑞典皇家理工学院);Princeton University(普林斯顿大学);Linköping University(林雪平大学);Aalborg University(奥尔堡大学);Airbus(空中客车公司)
本文提出基于层次多智能体深度强化学习的动态集群重构方法,用于提升无人机移动管理的效率与可扩展性。
2026-01-28 cs.LG cs.MA cs.NI
Deep Reinforcement Learning for Wireless Resource Allocation Using Buffer State Information
Karlsruhe Institute of Technology (KIT)(卡尔斯鲁厄理工学院)
随着无线网络中具有各种数据率和延迟要求的用户设备(UE)的数量增加,正交频分多址(OFDMA)的资源分配问题变得具有挑战性。特别地,当在保持UE之间的公平性的同时最大化系统数据率时,变化的要求导致非凸优化问题。在本文中,我们使用深度强化学习(DRL)解决非凸优化问题。我们概述,训练和评估的DRL代理,它执行的任务,下行链路OFDMA的情况下的媒体访问控制调度。为了开始训练我们的代理,我们引入模仿学习。为了提高调度性能,考虑基站处的全缓冲器状态信息(例如,分组年龄、分组大小)。输入特征压缩、数据包重排和年龄上限等技术进一步提高了代理的性能。我们使用诺基亚的无线套件对我们的代理进行训练和评估,并根据不同的基准代理进行评估。我们表明,我们的代理明显优于基准代理。
2021-08-27 cs.LG cs.NI cs.SY
Learning based E2E Energy Efficient in Joint Radio and NFV Resource Allocation for 5G and Beyond Networks
Tarbiat Modares University(塔比亚特·莫达雷斯大学);Shahrood University of Technology(沙赫鲁德工业大学);TU Braunschweig(布伦瑞克工业大学)
在本文中,我们提出了一个联合无线电和核心资源分配框架的NFV使能网络。在所提出的系统模型中,目标是通过保证不同服务类型的端到端(E2 E)服务质量(QoS)来最大限度地提高能源效率(EE)。为此,我们制定了一个优化问题,其中功率和频谱资源分配在无线电部分。在核心部分中,执行功能的链接、放置和调度,以确保所有用户的QoS。该联合优化问题被建模为一个马尔可夫决策过程(MDP),考虑可用资源和无线信道的时变特性。基于最大熵框架的软行动者-评论者深度强化学习(SAC-DRL)算法随后被用于解决上述MDP。数值实验结果表明,与R-RA和NFV-RA分别优化的情况相比,基于SAC-DRL算法的联合方法可以显著降低能耗.
2021-07-13 cs.LG cs.NI eess.SP
GNN-Based Joint Channel and Power Allocation in Heterogeneous Wireless Networks
University of Melbourne(墨尔本大学)
本文提出JCPGNN,将异构无线网络建模为异构图,通过共享消息计算层和两个任务特定层联合优化信道与功率分配,在保证性能的同时提升计算效率。
2024-07-28 cs.IT cs.LG cs.NI
DRL-AdaPart: DRL-Driven Adaptive STAR-RIS Partitioning for Fair and Efficient Resource Utilization
Indian Institute of Technology Madras(印度理工学院马德拉斯分校);Imperial College London(伦敦帝国学院);University of Peradeniya(佩拉德尼亚大学);University of Southampton(南安普顿大学)
本文提出DRL-AdaPart,利用深度强化学习联合优化STAR-RIS相移与子表面分配,实现公平高数据速率,并通过惩罚项智能停用元件,静态和移动场景下分别可停用27%和21%而不影响性能。
2026-09-18 cs.IT cs.LG eess.SP