Provable Performance Bounds for Digital Twin-driven Deep Reinforcement Learning in Wireless Networks: A Novel Digital-Twin Bisimulation Metric
Pervasive Communication Research Center, Purple Mountain Laboratories(紫金山实验室普适通信研究中心)
提出DT-BSM度量,基于Wasserstein距离量化数字孪生与真实环境MDP差异,证明DT训练策略性能遗憾值有界,并给出经验计算方法与收敛性保证。
2025-02-25 cs.LG
Deep Reinforcement Learning Based Resource Allocation for Cloud Native Wireless Network
针对云原生无线网络中动态资源分配难题,本文提出基于深度强化学习的两种无模型算法,并在Free5gc测试平台上验证,显著提升网络效率。
2023-05-10 cs.LG cs.NI
Continual Meta-Reinforcement Learning for UAV-Aided Vehicular Wireless Networks
University of Bologna(博洛尼亚大学);King’s College London(伦敦国王学院)
无人空中基站(UABS)可以部署在车载无线网络中,以支持诸如通过车联网(V2X)服务的扩展感测等应用。在这样的系统中的一个关键问题是设计算法,可以有效地优化轨迹的UABS,以最大限度地提高覆盖率。在现有的解决方案中,通常通过传统的强化学习(RL),对于任何新的业务配置从头开始执行这种优化。在本文中,我们建议使用连续元RL作为一种手段,将信息从以前经历的交通配置转移到新的条件下,目标是减少优化UABS的政策所需的时间。采用连续Meta策略搜索(CoMPS)策略,我们证明了显着的效率提高相比,传统的RL,以及天真的迁移学习方法。
2022-10-05 cs.LG cs.NI
Adaptive Layer Splitting for Wireless LLM Inference in Edge Computing: A Model-Based Reinforcement Learning Approach
Zhejiang University(浙江大学)
本研究针对边缘计算中无线大语言模型推理的效率问题,提出基于模型的强化学习框架确定最优层拆分点,通过奖励代理模型降低评估成本,在不同网络条件下平衡推理性能与计算负载,为去中心化LLM部署提供鲁棒方案。
2024-09-11 cs.AI cs.LG
Resource Allocation for a Wireless Coexistence Management System Based on Reinforcement Learning
OWL University of Applied Sciences(东威斯特伐利亚应用科学大学);Institute of Industrial Information Technologies(工业信息技术研究所)
在工业环境中,使用越来越多的无线设备,这些设备利用免许可频带。由于这些相互干扰的无线系统可能会降低共存的状态。因此,需要一种中央共存管理系统,其将无冲突资源分配给无线系统。为了确保无冲突的资源利用,在分配资源之前预测预期的介质利用是有用的。本文提出了一种基于强化学习的自学习概念。基于神经网络的强化学习代理的模拟评估,称为深度Q网络和双深度Q网络,实现了示例性和实际相关的共存场景。对双深度Q网络的评估表明,在所有调查的情况下,预测准确率至少可以达到98%。
2018-05-24 cs.LG cs.NI eess.SP
Reinforcement Learning for Admission Control in Wireless Virtual Network Embedding
Hasso Platter Institute(哈索·普拉特纳研究所);Potsdam University(波茨坦大学);Paderborn University(帕德博恩大学)
在无线网络中使用服务功能链(SFC)在网络和多媒体等许多领域变得流行。它依赖于通过虚拟网络嵌入(VNE)算法将网络资源分配给传入的SFC请求,从而优化SFC的性能。当传入请求的负载-竞争有限的网络资源-增加时,决定哪些请求应该被接纳,哪些请求应该被拒绝变得具有挑战性。在这项工作中,我们提出了一种深度强化学习(RL)解决方案,可以学习不同依赖关系的准入策略,例如服务生命周期和传入请求的优先级。我们将深度强化学习解决方案与先到先得的基线进行比较,只要有可用的资源,就可以接受请求。我们表明,深度RL优于基线,即使有足够的资源,也能提供更高的接受率和低拒绝率。
2021-10-04 cs.LG cs.NI
Vehicle Tracking in Wireless Sensor Networks via Deep Reinforcement Learning
Nanjing University of Science and Technology(南京理工大学)
车辆跟踪已成为无线传感器网络在救援、监控、交通监控等领域的重要应用之一,但跟踪精度的提高需要更多的能量消耗。在这封信中,分散的车辆跟踪策略的构想,以提高跟踪精度和节能,这是基于调整之间的交叉区域的固定传感区域和动态激活区域。然后,两个深度强化学习(DRL)的辅助解决方案,提出了依赖于激活区域半径的动态选择。最后,仿真结果显示了我们的DRL辅助设计的优越性。
2020-02-22 cs.LG cs.SY eess.SY
A Reinforcement Learning Environment for Multi-Service UAV-enabled Wireless Systems
Sapienza Univ. of Rome(罗马大学)
我们为自主无人机设计了一个多用途环境,在各种应用环境中提供不同的通信服务(例如,无线移动连接服务、边缘计算、数据收集)。我们基于OpenAI Gym框架开发环境,以模拟真实操作环境的不同特征,并采用强化学习生成策略,以最大化某些期望的性能。将生成的策略的质量与简单的基线进行比较,以评估系统并得出在不同用例中采用该技术的指导方针。本文的主要贡献是一个灵活且可扩展的OpenAI Gym环境,它允许在多服务应用中为自主多无人机系统生成,评估和比较策略。这种环境允许在各种应用环境中对不同方法进行比较评估和基准测试。
2021-05-11 cs.LG cs.MA
Q-NAV: NAV Setting Method based on Reinforcement Learning in Underwater Wireless Networks
ChungBuk National University(忠北国立大学)
在水下资源搜寻、海洋考察、环境研究等方面对水下通信的需求日益增加,但由于水下环境的特点,无线通信存在许多问题。特别是在水下无线网络中,由于节点之间的距离,不可避免地会产生时延和空间不等性。针对这些问题,提出了一种基于ALOHA-Q的解决方案。建议的方法使用随机NAV值。环境通过沟通的成功或失败获得奖励。然后,环境从奖励中设置NAV值。该模型最大限度地减少了水下无线网络下的能量和计算资源的使用,并通过强化学习来学习和设置NAV值。仿真结果表明,NAV值具有环境适应性,可以根据环境选择最佳值,从而解决了不必要的延迟时间和空间不等性等问题。仿真结果表明,与原始导航相比,导航时间减少了17.5%.
2020-05-21 cs.LG eess.SP
Deep Reinforcement Learning Based Power control for Wireless Multicast Systems
Indian Institute of Science(印度科学学院);Purdue University(普渡大学)
我们考虑最近在[1]中提出的用于无线下行链路的多播方案。前面已经表明,功率控制可以显着提高其性能。然而,对于这个系统,获得最优功率控制是棘手的,因为一个非常大的状态空间。因此,在本文中,我们使用深度强化学习,其中我们通过深度神经网络使用Q函数的函数逼近。我们表明,最优功率控制可以通过这种方法学习合理的大系统。平均功率约束通过拉格朗日乘子来确保,拉格朗日乘子也是学习的。最后,我们证明了稍微修改的学习算法允许最优控制跟踪时变系统统计。
2019-10-24 cs.LG cs.NI stat.ML
Distributed Transmission Control for Wireless Networks using Multi-Agent Reinforcement Learning
Marconi-Rosenblatt AI/ML Innovation Lab(马可尼-罗森布拉特人工智能/机器学习创新实验室);ANDRO Computational Solutions(ANDRO计算解决方案公司)
我们研究传输控制的问题,即,何时传输,在分布式无线通信网络中通过多智能体强化学习的镜头。大多数使用强化学习来控制或调度传输的其他作品使用一些集中式控制机制,而我们的方法是完全分布式的。每个发送器节点是独立的强化学习代理,并且不直接知道其他代理所采取的动作。我们考虑的情况下,只有一个子集的代理可以成功地传输在同一时间,所以每个代理必须学会与其他代理合作。一个代理可以决定在未来传输一定数量的步骤,但是这个决定不会被传达给其他代理,所以各个代理的任务是在适当的时候尝试传输。我们通过研究不同动作空间的影响来实现这种协作行为。我们对物理层是不可知的,这使得我们的方法适用于许多类型的网络。我们认为,类似于我们的方法可能是有用的,在其他领域,使用独立的代理多智能体强化学习。
2022-05-13 cs.LG cs.NI
Deep Reinforcement Learning (DRL): Another Perspective for Unsupervised Wireless Localization
位置是空间化物联网(IoT)数据的关键。然而,使用低成本IoT设备进行鲁棒的无监督定位(即,没有具有已知位置标签的训练数据的定位)。因此,本文提出了一种基于深度强化学习(DRL)的无监督无线定位方法。主要贡献如下。(1)本文提出了一种方法来模拟一个连续的无线定位过程的马尔可夫决策过程(MDP),并在DRL框架内处理它。(2)为了减轻在使用未标记数据时获得奖励的挑战(例如,日常生活中的众包数据),本文提出了一种奖励设置机制,该机制从未标记的无线接收信号强度(RSS)中提取鲁棒的地标数据。(3)为了减轻使用DRL进行本地化时对模型重新训练的要求,本文使用RSS测量与代理位置一起构建DRL输入。该方法是通过使用多个蓝牙5智能耳标在牧场的现场测试数据进行测试。同时,实验验证过程也反映了DRL在无线定位中的优势和挑战。
2020-04-09 cs.LG eess.SP stat.ML
Buffer-aware Wireless Scheduling based on Deep Reinforcement Learning
Huawei Technologies(华为技术有限公司)
本文对蜂窝网络下行分组调度问题进行了建模,使吞吐量、公平性和丢包率联合优化。两个基因辅助的启发式搜索方法来探索解决方案的空间。提出了一种基于A2C算法的深度强化学习(DRL)框架。在该框架中采用了几种方法来提高采样和训练效率,并使算法适应特定的调度问题。数值结果表明,DRL优于基线算法,并达到类似的性能基因辅助方法,而不使用未来的信息。
2019-11-13 cs.IT cs.LG math.IT
QoS and Jamming-Aware Wireless Networking Using Deep Reinforcement Learning
Intelligent Automation Inc.(智能自动化公司);U.S. Army C5ISR(美国陆军C5ISR);University of Minnesota(明尼苏达大学);The Pennsylvania State University(宾夕法尼亚州立大学)
研究了在受到外部窃听和干扰攻击的对抗性无线网络中的服务质量和干扰感知通信问题。为了确保强大的通信对干扰,干扰感知路由协议的开发,使节点能够避免通信孔的干扰攻击。然后,提出了一种基于深度强化学习的分布式协作框架,该框架允许节点评估网络状况,并就是否参与数据通信、保护网络免受干扰和窃听攻击或干扰其他传输做出深度学习驱动的分布式实时决策。其目标是最大限度地提高网络性能,包括吞吐量,能源效率,延迟和安全指标。仿真结果表明,所提出的干扰感知路由方法对干扰是鲁棒的,并且当吞吐量被优先考虑时,所提出的深度强化学习方法可以实现吞吐量的显着(测量为三倍)增加,与具有分配给节点的固定角色的基准策略相比。
2019-10-13 cs.LG cs.NI
Emergent Communication in Multi-Agent Reinforcement Learning for Future Wireless Networks
New York University(纽约大学);NYU Tandon School of Engineering(纽约大学坦登工程学院);Technology Innovation Institute(技术创新研究院)
本文探讨了带有涌现通信的多智能体强化学习(EC-MARL)在未来6G无线网络中的应用,阐述其如何通过构建涌现通信协议实现协作,解决高维连续控制等复杂任务,并提供了算法设计准则、应用案例及研究机遇。
2023-09-12 cs.LG cs.MA eess.SP
Offline and Distributional Reinforcement Learning for Wireless Communications
University of Oulu(奥卢大学);Centre for Wireless Communications (CWC)(无线通信中心)
针对6G实时无线网络中传统在线强化学习面临的交互成本高、不安全及无法处理不确定性等局限,提出结合离线与分布式强化学习的新框架及CQR算法,在UAV轨迹优化与RRM中有效提升了收敛速度与风险管理能力。
2025-04-04 cs.LG cs.MA cs.NI
Single and Multi-Agent Deep Reinforcement Learning for AI-Enabled Wireless Networks: A Tutorial
University of Manitoba(曼尼托巴大学)
深度强化学习(Deep Reinforcement Learning,DRL)最近取得了重大进展,在解决各个领域(特别是无线通信领域)的顺序决策问题方面取得了多项成功。未来的第六代(6G)网络预计将提供可扩展的、低延迟的、超可靠的服务,这些服务由数据驱动的人工智能(AI)的应用授权。未来6G网络的关键使能技术,如智能元表面、空中网络和边缘人工智能,涉及多个智能体,这激发了多智能体学习技术的重要性。此外,合作对于建立自我组织、自我维持和分散的网络至关重要。在这种情况下,本教程重点介绍DRL的作用,重点是支持AI的6G网络的深度多智能体强化学习(MARL)。本文的第一部分将对单智能体RL和MARL的数学框架进行清晰的概述。这项工作的主要思想是激励RL的应用超越近年来广泛采用的无模型视角。因此,我们提供了一个选择性的描述RL算法,如基于模型的RL(MBRL)和合作MARL,我们强调他们在6G无线网络中的潜在应用。最后,我们概述了MARL在移动边缘计算(MEC)、无人机(UAV)网络和无小区大规模MIMO等领域的最新进展,并确定了未来有前途的研究方向。我们希望本教程能够激发更多的研究工作,以构建基于MARL的可扩展和分散的系统。
2020-11-06 cs.LG cs.NI
Deep Multi-Agent Reinforcement Learning Based Cooperative Edge Caching in Wireless Networks
Syracuse University(雪城大学)
高质量和低延迟的多媒体服务的需求不断增长,导致了边缘缓存技术的兴趣。出于这一动机,我们在本文中考虑边缘缓存在基站未知的内容流行度分布。为了解决缓存决策的动态控制问题,我们提出了一个基于深度行动者-批评者强化学习的多智能体框架,其目标是最小化整体平均传输延迟。为了评估所提出的框架,我们比较了基于学习的性能与其他三个缓存政策,即最近最少使用(LRU),最不频繁使用(LFU),先进先出(FIFO)的政策。通过仿真结果,性能改进的建议框架,这三种缓存算法已被确定,其优越的能力,以适应不同的环境中被证明。
2019-05-13 cs.IT cs.LG math.IT
Deep Reinforcement Learning-Based Channel Allocation for Wireless LANs with Graph Convolutional Networks
Kyoto University(京都大学)
去年,IEEE 802.11极高吞吐量研究组(EHT Study Group)成立,以发起对IEEE 802.11新特性的讨论。EHT研究小组讨论了无线局域网(WLAN)中接入点(AP)的协调控制方法。本研究提出了一种使用图卷积网络(GCN)的基于深度强化学习的信道分配方案。作为一种深度强化学习方法,我们使用了一种著名的方法双深度Q网络。在密集部署的无线局域网中,AP的可用拓扑结构的数量是非常高的,因此,我们提取的拓扑结构的特征的基础上GCN。我们将GCN应用到竞争图中,其中在其载波侦听范围内的AP被连接以提取载波侦听关系的特征。此外,为了提高学习速度,特别是在学习的早期阶段,我们采用了基于博弈论的方法来收集独立于神经网络模型的训练数据。仿真结果表明,与现有的方法相比,该方法可以适当地控制信道。
2019-05-17 cs.LG cs.NI eess.SP
Learning Practical Communication Strategies in Cooperative Multi-Agent Reinforcement Learning
University of Southern California(南加州大学)
在多智能体强化学习中,通信对于鼓励智能体之间的合作至关重要。在现实的无线网络中,由于网络条件随代理的移动性和传输过程的随机性而变化,通信可能是高度不可靠的。我们提出了一个框架来学习实际的通信策略,解决三个基本问题:(1)当:代理学习的通信时间不仅基于消息的重要性,但也无线信道条件。(2)内容:代理通过无线网络测量增加消息内容,以更好地选择游戏和通信动作。(3)如何:代理使用一种新的神经消息编码器来保存接收到的消息中的所有信息,而不管消息的数量和顺序如何。在现实的无线网络设置下模拟标准的基准测试,我们显示出显着的改进,在游戏性能,收敛速度和通信效率相比,国家的最先进的。
2022-09-02 cs.AI cs.LG cs.MA
Deep Reinforcement Learning for Wireless Resource Allocation Using Buffer State Information
Karlsruhe Institute of Technology (KIT)(卡尔斯鲁厄理工学院)
随着无线网络中具有各种数据率和延迟要求的用户设备(UE)的数量增加,正交频分多址(OFDMA)的资源分配问题变得具有挑战性。特别地,当在保持UE之间的公平性的同时最大化系统数据率时,变化的要求导致非凸优化问题。在本文中,我们使用深度强化学习(DRL)解决非凸优化问题。我们概述,训练和评估的DRL代理,它执行的任务,下行链路OFDMA的情况下的媒体访问控制调度。为了开始训练我们的代理,我们引入模仿学习。为了提高调度性能,考虑基站处的全缓冲器状态信息(例如,分组年龄、分组大小)。输入特征压缩、数据包重排和年龄上限等技术进一步提高了代理的性能。我们使用诺基亚的无线套件对我们的代理进行训练和评估,并根据不同的基准代理进行评估。我们表明,我们的代理明显优于基准代理。
2021-08-27 cs.LG cs.NI cs.SY
Secure Deep Reinforcement Learning for Dynamic Resource Allocation in Wireless MEC Networks
University of Sydney(悉尼大学);University of the Sunshine Coast(阳光海岸大学)
针对去中心化无线MEC网络的安全资源分配问题,提出结合RPoS共识协议的BC-DRL框架,通过有约束DRL优化资源分配,在安全性、可靠性和资源利用率上优于基准方法。
2023-12-13 cs.LG cs.NI
Reinforcement Learning on Computational Resource Allocation of Cloud-based Wireless Networks
Trinity College Dublin(都柏林大学三一学院);Dublin City University(都柏林城市大学)
用于物联网(IoT)的无线网络预计将在很大程度上涉及基于云的计算和处理。云端的软件化和集中式信号处理和网络交换可实现灵活的网络控制和管理。在云环境中,动态计算资源分配对于在保持进程性能的同时节省能量是必不可少的。中央处理器(CPU)负载变化的随机特征以及云进程可能的复杂并行化情况使得动态资源分配成为一个有趣的研究挑战。本文将这种动态计算资源分配问题建模为马尔可夫决策过程(MDP),并设计了一个基于模型的学习代理来优化CPU使用率的动态资源分配。在MDP过程中,采用值迭代的方法,使学习代理学习最优策略。为了评估我们的性能,我们分析了两种类型的进程,它们可以在基于云的物联网网络中使用,具有不同级别的并行化能力,即,软件定义无线电(SDR)和软件定义网络(SDN)。结果表明,我们的代理快速收敛到最优策略,在不同的参数设置下稳定地执行,在不同的场景下,与基线算法相比,在节能方面优于或至少等同于基线算法。
2020-10-10 cs.AI cs.LG
Semantic-Aware Collaborative Deep Reinforcement Learning Over Wireless Cellular Networks
University of Colorado(科罗拉多大学);Virginia Tech(弗吉尼亚理工学院)
协作式深度强化学习(CDRL)算法可以让多个智能体通过无线网络进行协调,这是一种很有前途的方法,可以实现未来依赖于复杂动态环境中实时决策的智能和自治系统。然而,在实际应用中,由于智能体及其学习任务的异构性、不同的环境、学习的时间限制以及无线网络的资源限制,CDRL面临着许多挑战。为了解决这些挑战,在本文中,提出了一种新的语义感知的CDRL方法,使一组异构的未经训练的代理与语义链接的DRL任务,有效地合作,在资源受限的无线蜂窝网络。为此,提出了一种新的异构联邦DRL(HFDRL)算法选择语义相关的DRL代理的最佳子集进行协作。所提出的方法,然后共同优化的培训损失和无线带宽分配的合作选定的代理,以训练每个代理的时间限制内的实时任务。仿真结果表明,所提出的算法相比,国家的最先进的基线的优越性能。
2022-03-04 cs.IT cs.LG cs.NI
Large Language Model (LLM)-enabled Reinforcement Learning for Wireless Network Optimization
State-Province Joint Engineering and Research Center of Advanced Networking and Intelligent Information Services, College of Computer Science, Northwest University(高级网络与智能信息服务省-市联合工程与研究中心,计算机科学学院,西北大学);College of Computing and Data Science, Nanyang Technological University(计算与数据科学学院,南洋理工大学);Institute of Artificial Intelligence, University of Science and Technology Beijing(人工智能研究院,北京科技大学);Department of Electrical and Electronic Engineering, the University of Hong Kong(电子与电气工程系,香港大学);Automation of School, Guangdong University of Technology(自动化学院,广东工业大学);Queen’s University Belfast(贝尔法斯特女王大学)
本文提出利用大语言模型增强强化学习,以优化6G无线网络,通过多智能体强化学习框架提升网络性能。
2026-01-15 cs.AI cs.LG cs.NI
Deep Reinforcement Learning for Resource Constrained Multiclass Scheduling in Wireless Networks
EURECOM(欧洲通信学院);LTCI, Telecom Paris, Institut Polytechnique de Paris(巴黎理工学院巴黎电信学院LTCI)
本文研究了动态异构无线环境下的资源受限调度问题。在我们的设置中,分配可用的有限带宽资源,以服务随机到达的服务需求,这反过来又属于不同的类的有效载荷数据的要求,延迟容忍度,和重要性/优先级。除了异构业务,另一个主要的挑战源于随机的服务速率,由于时变的无线通信信道。可以使用用于调度和资源分配的各种方法,范围从简单的贪婪算法和约束优化到组合算法。这些方法是针对特定的网络或应用程序配置定制的,通常不是最佳的。为此,我们求助于深度强化学习(DRL),并提出了一种分布式深度确定性策略梯度(DDPG)算法结合深度集来解决上述问题。此外,我们提出了一种新的方式来使用决斗网络,这导致进一步的性能改善。我们提出的算法进行了测试的合成和真实的数据,显示一致的收益对国家的最先进的传统方法从组合,优化和调度指标。
2022-03-31 cs.IT cs.LG cs.NI
Multi-agent reinforcement learning strategy to maximize the lifetime of Wireless Rechargeable
HANOI UNIVERSITY OF SCIENCE AND TECHNOLOGY(河内科学技术大学);School of Information and Communications Technology(信息与通信技术学院)
本文提出基于Dec-POSMDP和AMAPPO的多移动充电器协作充电框架,结合多点充电模型,在保证覆盖与连通的同时最大化WRSN网络寿命。
2024-11-21 cs.CV cs.GT cs.LG
Deep Reinforcement Learning for Online Routing of Unmanned Aerial Vehicles with Wireless Power Transfer
National University of Defense Technology(国防科技大学);Tsinghua University(清华大学)
无人机在运输、军事任务、灾难救援、通信等各种应用中发挥着至关重要的作用,由于其灵活性和多功能性。提出了一种深度强化学习方法来解决具有无线能量传输的无人机在线路由问题,可以在没有电线的情况下对无人机进行远程充电,从而扩展了电池有限的无人机的能力。我们的研究考虑了无人机的功耗和无线充电过程。与以前的工作不同,我们通过设计一个深度神经网络来解决这个问题。该模型离线使用深度强化学习方法进行训练,并用于在线优化无人机路由问题。在小规模和大规模的情况下,该模型的运行速度从4倍到500倍,比谷歌OR工具,最先进的组合优化求解器,具有相同的解决方案的质量。它在运行时间和最优性方面也优于不同类型的启发式和局部搜索方法。此外,一旦模型经过训练,它就可以扩展到新生成的问题实例,这些问题实例具有在训练期间看不到的任意拓扑结构。当问题规模较大且对响应时间要求较高时,该方法具有较强的实用性。
2022-04-25 cs.LG cs.NE cs.SY
Asynchronous Hybrid Reinforcement Learning for Latency and Reliability Optimization in the Metaverse over Wireless Communications
Nanyang Technological University(南洋理工大学)
无线通信和高性能延展实境(XR)的技术进步为Metaverse的发展提供了动力。对Metaverse应用程序的需求以及对现实世界场景的实时数字孪生的需求正在增加。然而,将2D物理世界图像复制到3D虚拟对象是计算密集型的,并且需要计算卸载。传输对象维度(2D与3D相对)的差异导致上行链路(UL)和下行链路(DL)中的不对称数据大小。为了确保系统的可靠性和低延迟,我们考虑异步联合UL-DL场景,其中在UL阶段,由多个延展实境用户(XU)捕获的物理世界图像的较小数据大小将被上传到Metaverse控制台(MC)以进行解释和渲染。在DL阶段,需要将较大尺寸的3D虚拟对象传输回XU。我们设计了一种新的多智能体强化学习算法结构,即异步演员混合批判(AAHC),优化有关的计算卸载和信道分配的决定在上行阶段和优化的DL传输功率在DL阶段。大量的实验表明,与建议的基线相比,AAHC获得了更好的解决方案,令人满意的训练时间。
2023-03-09 cs.LG cs.SI
Foundation Model-Aided Multi-Agent Reinforcement Learning for Wireless Random Access Network Optimization
The Ohio State University(俄亥俄州立大学);University of Colorado Boulder(科罗拉多大学博尔德分校);Pathfinder Applied Research, LLC(Pathfinder应用研究有限责任公司)
本文提出利用基础模型辅助多智能体强化学习,在共识式分布式架构中设计FM辅助的演员-评论家算法,以降低训练开销并提升无线随机接入网络优化的效率。
2026-10-07 cs.AI cs.LG
Deep Reinforcement Learning for Dynamic Resource Allocation in Wireless Networks
该研究构建含基站、多天线与用户设备的无线网络环境,利用 RLlib 评估 DQN、PPO 等 DRL 算法,证明算法与学习率显著影响性能且优于传统方法。
2025-03-13 cs.AI cs.DC cs.ET
Average Reward Reinforcement Learning for Wireless Radio Resource Management
University of Virginia(弗吉尼亚大学);The Pennsylvania State University(宾夕法尼亚州立大学)
针对无线资源管理中折扣报酬强化学习与无折扣优化目标不匹配的问题,提出平均报酬离策略软演员评论家方法,仿真显示系统性能较传统方法提升15%。
2025-01-12 cs.IT cs.LG cs.NI
Towards Multi-agent Reinforcement Learning for Wireless Network Protocol Synthesis
Michigan State University(密歇根州立大学)
提出了一种基于多智能体强化学习的无线网络介质访问框架。接入问题被公式化为马尔可夫决策过程(MDP),并使用强化学习解决,每个网络节点充当分布式学习代理。解决方案组件是逐步开发的,从一个节点接入的情况下,节点代理逐步学习控制MAC层的数据包负载,以控制自冲突。然后,通过使用更精细的奖励结构,将该策略扩展到多节点完全连接的场景。它也证明了更一般的部分连接拓扑的初步可行性。结果表明,通过学习调整MAC层传输概率,该协议不仅能够在最佳负载下达到理论最大吞吐量,而且与经典方法不同,它还可以在较高的负载条件下保持最大吞吐量。此外,该机制在保留该特性的同时对异构加载是不可知的。它还表明,跨节点的协议的访问优先级可以参数调整。最后,它也表明,强化学习的在线学习功能是能够使协议适应时变负载条件。
2021-02-02 cs.AI cs.LG cs.SY
Scheduling and Power Control for Wireless Multicast Systems via Deep Reinforcement Learning
Indian Institute of Science(印度科学理工学院);Purdue University(普渡大学)
无线系统中的多播是利用内容中心网络中的用户请求中的冗余的自然方式。功率控制和优化调度可以显著提高无线多播网络在衰落环境下的性能。然而,基于模型的方法,功率控制和调度研究较早的是不可扩展的大状态空间或不断变化的系统动态。在本文中,我们使用深度强化学习,其中我们通过深度神经网络使用Q函数的函数逼近来获得与小型网络的最优策略相匹配的功率控制策略。我们表明,功率控制策略可以通过这种方法学习合理的大系统。此外,我们使用多时间尺度随机优化,以保持平均功率约束。我们证明,稍微修改的学习算法允许跟踪随时间变化的系统统计。最后,我们扩展了多时间尺度的方法,同时学习最佳的路由策略以及功率控制。我们通过模拟展示了我们的算法的可扩展性,跟踪和跨层优化能力。所提出的多时间尺度方法可以用于一般的大型状态空间动力系统的多目标和约束,并可能是独立的利益。
2020-09-27 cs.LG cs.NI stat.ML
A Survey of Freshness-Aware Wireless Networking with Reinforcement Learning
Department of Electrical and Computer Engineering, Illinois Institute of Technology(伊利诺伊理工学院电气与计算机工程系);School of Computer Science and Engineering, California State University(加州州立大学计算机科学与工程学院)
本文通过强化学习视角调研了面向新鲜度的无线网络,系统梳理了AoI及其变体分类,并提出策略分类法,综合了RL驱动的新鲜度控制进展,突出了延迟决策、随机变化和跨层设计等挑战。
2026-11-03 cs.LG cs.SY eess.SY
The association problem in wireless networks: a Policy Gradient Reinforcement Learning approach
KTH, Royal Institute of Technology(瑞典皇家理工学院)
提出了一种基于策略梯度强化学习(PGRL)的自优化关联算法,该算法具有可扩展性、稳定性和鲁棒性。术语鲁棒性意味着学习阶段的性能下降应该被禁止或限制在预定义的阈值内。该算法是无模型的(与值迭代相反)和鲁棒的(与Q学习相反)。关联问题被建模为马尔可夫决策过程(MDP)。策略空间是参数化的。参数化家庭的政策,然后作为专家知识的PGRL。PGRL收敛于局部最优,在学习过程中,平均成本单调下降。该解决方案的属性使其成为实际实现的良好候选者。此外,鲁棒性属性允许在"始终在线"学习模式中使用PGRL算法。
2013-06-11 cs.IT cs.LG cs.NI
Multi-Agent Reinforcement Learning for Power Control in Wireless Networks via Adaptive Graphs
University of Bologna(博洛尼亚大学);WiLab - National Wireless Communication Laboratory (CNIT)(WiLab国家无线通信实验室(CNIT));Imperial College London(伦敦帝国学院)
针对MADRL用于无线网络功率控制时的收敛难题,提出以GNN参数化策略并构建自适应图诱导的通信与学习框架,仿真证明其在更大及异构网络中具有更强泛化能力。
2023-11-27 cs.LG cs.MA cs.NI
Medium Access using Distributed Reinforcement Learning for IoTs with Low-Complexity Wireless Transceivers
Michigan State University(密歇根州立大学)
本文提出了一种基于分布式强化学习(RL)的框架,该框架可用于在具有低复杂度无线收发器的物联网网络中合成MAC层无线协议。所提出的框架不依赖于复杂的硬件功能,例如载波侦听及其相关的算法复杂性,这些功能在低成本和低能耗物联网设备的无线收发器中通常不受支持。在这个框架中,访问协议首先制定为马尔可夫决策过程(MDP),然后使用RL解决。一个分布式和多Agent RL框架被用作协议合成的基础。分布式行为使得节点独立地学习最优传输策略,而不必依赖于完整的网络级信息和其他节点行为的直接知识。节点学习最小化分组冲突,使得可以针对高于用于IoT设备的已知基准协议(诸如ALOHA)的负载条件获得和维持最佳吞吐量,而无需复杂的收发器。此外,观察到的节点能够学习最佳的行为在异构负载和网络拓扑条件的存在下。最后,所提出的学习方法允许无线带宽以不依赖于这种异质性的方式在网络节点之间公平地分布。通过仿真实验,本文展示了学习范式的性能和它的能力,使节点适应他们的最佳传输策略,在飞行中响应各种网络动态。
2021-04-29 cs.DC cs.LG cs.NI
Active management of battery degradation in wireless sensor network using deep reinforcement learning for group battery replacement
University of Arizona(亚利桑那大学);Shenzhen Institutes of Advanced Technology Chinese Academy of Sciences(中国科学院深圳先进技术研究院)
针对无线传感器网络现有电池管理方法缺乏系统视角、电池失效时间分散导致更换调度难的问题,提出基于深度强化学习的系统级占空比优化方法,可在不降低网络性能的前提下实现电池成组更换,且具备高效性与可扩展性。
2025-03-22 cs.AI cs.LG
UAV aided Metaverse over Wireless Communications: A Reinforcement Learning Approach
Nanyang Technological University(南洋理工大学);University of North Texas(北德克萨斯大学)
Metaverse有望在5G高数据速率通信技术的支持下,创造一个与现实紧密相连的虚拟世界,为用户提供身临其境的体验。物理世界中的大量数据需要同步到虚拟世界,为用户提供沉浸式体验,并且将更多用户纳入Metaverse对覆盖率提出更高要求。然而,5G信号遭受严重衰减,这使得维持相同覆盖范围的成本更高。无人机(UAV)是未来实现Metaverse作为低成本和高移动性通信设备平台的一种有前途的候选技术。本文提出了一种基于最近策略优化(PPO)的双智能体协同强化学习方法,用于无人机的信道分配和轨迹控制,实现从物理世界到虚拟世界的数据收集和同步,经济地扩大Metaverse服务的覆盖范围。仿真结果表明,我们提出的方法是能够实现更好的性能相比,基准方法。
2023-01-04 cs.LG cs.SY eess.SY
Multi-Agent Reinforcement Learning for Task Offloading in Wireless Edge Networks
LIA, Avignon University(阿维尼翁大学LIA中心);INRIA, Sophia Antipolis, France(法国索菲亚Antipolis研究所)
本文提出一种去中心化多智能体强化学习框架,通过共享约束向量实现隐式协调,解决边缘计算中任务卸载的资源竞争问题,在有限通信下优于集中式和独立基线。
2025-10-23 cs.AI cs.LG cs.NI
Koopman-Based Generalization of Deep Reinforcement Learning With Application to Wireless Communications
Department of Computer Science, Toronto Metropolitan University(计算机科学系,多伦多 Metropolitan 大学)
针对DRL训练数据非独立同分布导致传统泛化分析方法失效的问题,提出基于Koopman算子的可解释DRL泛化性评估方法,并在无人机毫米波通信场景验证了其对不同DRL算法的对比分析能力。
2025-07-30 cs.IT cs.LG math.IT
Fast Reinforcement Learning for Anti-jamming Communications
Guangzhou University(广州大学);Xiamen University(厦门大学)
本文提出了一种用于抗干扰通信的快速强化学习算法,该算法以概率$τ$选择先前动作,并以概率$(1-τ)$应用$ε$ -贪婪。设计了一个基于前几个动作的平均值的动态阈值,并将概率$τ$公式化为类高斯函数来指导无线设备。作为一个具体的例子,所提出的算法在一个无线通信系统中实现对多个干扰。实验结果表明,该算法在信噪比和收敛速度方面优于Q学习、深度Q网络(DQN)、双DQN(DDQN)和基于优先经验应答的DDQN(PDDQN)。
2020-02-13 cs.LG eess.SP
Toward Safe and Accelerated Deep Reinforcement Learning for Next-Generation Wireless Networks
Queen’s University(女王大学);Cairo University(开罗大学);University of Calgary(卡尔加里大学)
深度强化学习(Deep Reinforcement Learning,DRL)算法近年来在无线网络领域得到了广泛的关注。它们被认为是解决下一代网络中动态无线资源管理(RRM)问题的有前途的方法。由于DRL算法能够构建无线网络环境的近似和不断更新的模型,因此可以处理此类环境的多方面复杂性。然而,一些挑战阻碍了商业网络中DRL的实际采用。在本文中,我们首先讨论了两个关键的实际挑战,面临的,但很少解决时,开发基于DRL的RRM解决方案。我们认为,这是不可避免的,以解决这些DRL相关的挑战,DRL找到自己的方式RRM商业解决方案。特别是,我们讨论了需要有安全和加速的DRL为基础的RRM解决方案,减轻DRL算法所表现出的收敛速度慢和性能不稳定。然后,我们审查和分类的主要方法中使用的RRM域开发安全和加速DRL为基础的解决方案。最后,进行了案例研究,以证明具有安全和加速的基于DRL的RRM解决方案的重要性。我们采用多种变体的迁移学习(TL)技术,以加速智能无线电接入网络(RAN)切片DRL为基础的控制器的收敛。我们还提出了一种基于TL的混合方法和基于S形函数的奖励,作为基于DRL的RAN切片中安全探索的示例。
2022-09-16 cs.AI cs.LG cs.NI
Securing SIM-Assisted Wireless Networks via Quantum Reinforcement Learning
Smart Green Transformation Center, VinUniversity(Vin大学智能绿色转型中心);Université Paris-Saclay - CNRS - CentraleSupélec - L2S(巴黎萨克雷大学 - CNRS - 中央超导实验室 - L2S);School of Electrical and Data Engineering, University of Technology Sydney(悉尼技术大学电气与数据工程学院);School of Computer Science and Statistics, Trinity College Dublin, The University of Dublin(都柏林大学三一学院计算机科学与统计学学院)
针对SIM辅助无线网络中高维优化和动态环境挑战,提出混合量子近端策略优化框架,联合优化功率分配和SIM相位,实现约15%保密率提升和30%收敛加速。
2026-11-17 cs.LG cs.NI
Optimization-driven Deep Reinforcement Learning for Robust Beamforming in IRS-assisted Wireless Communications
Sun Yat-sen University(中山大学);Huazhong University of Science and Technology(华中科技大学);University of Technology Sydney(悉尼科技大学);Nanyang Technological University(南洋理工大学)
智能反射面(IRS)是一种很有前途的技术,以协助下行链路信息传输从多天线接入点(AP)到接收机。在本文中,我们最小化AP的发射功率的AP的主动波束形成和IRS的被动波束形成的联合优化。由于不确定的信道条件下,我们制定了一个鲁棒的功率最小化问题的接收机的信噪比(SNR)的要求和IRS的功率预算约束。我们提出了一种深度强化学习(DRL)方法,可以根据过去的经验调整波束成形策略。为了提高学习性能,我们推导出凸逼近作为鲁棒问题的下界,并将其集成到DRL框架中,从而推广了一种新型优化驱动的深度确定性策略梯度(DDPG)方法。具体地,当DDPG算法生成动作的一部分(例如,被动波束形成),我们可以使用基于模型的凸近似来优化其它部分(例如,主动波束成形)的动作更有效。仿真结果表明,与传统的无模型DDPG算法相比,优化驱动的DDPG算法能够显著提高学习率和奖励性能.
2020-05-25 cs.LG eess.SP
RIS-assisted UAV Communications for IoT with Wireless Power Transfer Using Deep Reinforcement Learning
Queen’s University Belfast(贝尔法斯特女王大学);HoChiMinh City University of Technology and Education(胡志明市工业与教育大学);Princeton University(普林斯顿大学)
物联网(IoT)应用中使用的许多设备都是能量有限的,因此在为IoT设备提供能量的同时保持无缝连接是非常重要的。在这种情况下,我们提出了一种同时无线电力传输和信息传输方案的物联网设备的支持下,从可重构智能表面(RIS)辅助无人机(UAV)通信。具体地,在第一阶段中,IoT设备通过无线电力传输从UAV获取能量;然后在第二阶段中,UAV通过信息传输从IoT设备收集数据。为了提高无人机的敏捷性,我们考虑了两种情况:悬停无人机和移动无人机。以最大化网络总速率为目标,我们联合优化了无人机的轨迹、物联网设备的能量收集调度以及RIS的相移矩阵。我们制定了一个马尔可夫决策过程,并提出了两个深度强化学习算法来解决最大化总网络和率的优化问题。数值结果表明,与其他基准计划相比,我们提出的技术的无人机的飞行路径优化和网络的吞吐量的有效性。考虑到RIS和UAV的严格要求,处理时间和吞吐量性能的显着改善表明,我们提出的方案非常适用于实际的物联网应用。
2021-08-05 cs.GT cs.LG eess.SP
Optimisation of Resource Allocation in Heterogeneous Wireless Networks Using Deep Reinforcement Learning
African Institute for Mathematical Sciences, South Africa(非洲数学科学研究所,南非);University of Cape Town, South Africa(开普敦大学,南非)
本文提出基于深度强化学习的近实时RAN智能控制器,通过联合优化发射功率、带宽切片和用户调度,减少能耗并提升用户公平性。
2026-04-07 cs.LG cs.NI eess.SP
Reinforcement Learning for Deceiving Reactive Jammers in Wireless Networks
École de technologie supérieure(特克诺高等学院);Virginia Tech(弗吉尼亚理工大学)
传统的抗干扰方法大多依靠跳频来隐藏或逃避干扰。这些方法在带宽使用方面效率不高,并且还可能导致高的干扰概率。与现有的抗干扰策略不同,本文提出了一种新的抗干扰策略,该策略基于欺骗干扰者攻击受害信道的思想,同时保持合法用户在安全信道上通信。由于干扰源的信道信息不为用户所知,提出了一种基于强化学习(RL)的最优信道选择方案和次优功率分配方案。所提出的抗干扰技术的性能进行评估,推导出的统计下界的总接收功率(TRP)。分析结果表明,对于一个给定的接入点,超过50%的最高可实现的TRP,即在没有干扰,实现了一个用户和三个频率信道的情况下。此外,该值随着用户和可用信道的数量而增加。将所得结果与现有的两种基于RL的抗干扰技术和无干扰攻击的随机信道分配策略进行了比较。仿真结果表明,所提出的抗干扰方法优于基于RL的抗干扰方法和随机搜索方法,并产生接近最优的可实现的TRP。
2021-03-25 cs.CR cs.LG
Energy Efficiency in Reinforcement Learning for Wireless Sensor Networks
University of Bristol(布里斯托大学)
随着用于健康监测的传感器网络变得越来越普遍,因此需要控制其使用和能源消耗。本文提出了一种方法,利用该算法的性能和能量消耗。通过利用强化学习(RL)技术,我们提供了一个自适应框架,该框架在能量感知系统中连续执行弱训练。我们激励这一点使用一个现实的例子,基于接收信号强度(RSS)的住宅定位。该方法在工时、校准和能源使用方面都很便宜。它通过利用环境中可用的其他传感器来实现这一点。这些其他传感器提供弱标签,然后用于采用状态-动作-奖励-状态-动作(SARSA)算法,并随着时间的推移训练模型。我们的方法是在模拟的本地化环境中进行评估,并在广泛使用的普适健康数据集上进行验证,该数据集使用RSS实现了现实的住宅本地化。我们表明,我们的方法是更便宜的实施,需要更少的努力,而在同一时间提供了一个性能增强和节能随着时间的推移。
2018-11-19 cs.LG eess.SP stat.ML
Generalization of Deep Reinforcement Learning for Jammer-Resilient Frequency and Power Allocation
Marconi-Rosenblatt AI/ML Innovation Laboratory(马可尼-罗森布拉特人工智能/机器学习创新实验室);ANDRO Computational Solutions, LLC(ANDRO计算解决方案有限责任公司)
针对深度强化学习模型在无线网络中泛化能力不足的问题,提出增强训练方法,在分布式多智能体抗干扰场景下提升频率与功率分配的泛化性能,并通过软件定义无线电空中验证。
2023-05-06 cs.LG cs.NI
Dynamic Channel Access via Meta-Reinforcement Learning
Syracuse University(雪城大学)
在本文中,我们通过Meta强化学习来解决动态无线环境中的信道接入问题。频谱是无线通信中的稀缺资源,特别是随着网络中设备数量的急剧增加。最近,受到深度强化学习(DRL)的成功的启发,已经在经由DRL解决无线资源分配问题方面进行了广泛的研究。然而,训练DRL算法通常需要为每个特定任务从环境中收集大量数据,并且如果环境中存在微小变化,则经过良好训练的模型可能会失败。在这项工作中,为了解决这些挑战,我们提出了一个元DRL框架,其中包括模型不可知元学习(MAML)的方法。在建议的框架中,我们训练一个共同的初始化类似的通道选择任务。从初始化,我们表明,只有几个梯度下降需要适应不同的任务从同一分布。我们通过仿真结果证明了性能的改善。
2021-12-24 cs.LG cs.NI cs.SY
A Reinforcement Learning Approach to Sensing Design in Resource-Constrained Wireless Networked Control Systems
Department of Information Engineering, University of Padova(帕多瓦大学信息工程学院);Autec s.r.l.(奥特克有限公司)
针对资源受限无线传感器网络中原始测量与本地处理之间的延迟-精度权衡问题,本文提出一种强化学习方法动态决策各传感器何时处理测量数据,并通过无人机互联网场景下的智能感知案例仿真验证其有效性。
2024-01-10 cs.LG cs.RO cs.SY
Meta-Reinforcement Learning for Fast and Data-Efficient Spectrum Allocation in Dynamic Wireless Networks
African Institute for Mathematical Sciences(非洲数学科学研究所);Stanford University(斯坦福大学);University of Oklahoma(俄克拉荷马大学);University of Glasgow(格拉斯哥大学)
本文提出元学习框架用于动态无线网络中快速且数据高效的频谱分配,通过对比实验展示其在性能和适应性上的优势。
2025-07-13 cs.AI cs.LG cs.NI