Learning Deterministic Policy with Target for Power Control in Wireless Networks
University of Science and Technology of China（中国科学技术大学）；Columbia University（哥伦比亚大学）；Yahoo Labs（雅虎实验室）
小区间干扰协调（ICIC）是提高无线网络中的能量效率的有前途的方式，特别是在密集部署小型基站的情况下。然而，传统的基于优化的ICIC方案遭受严重的性能下降与复杂的干扰模式。为了解决这个问题，我们提出了一个深度强化学习与确定性的政策和目标（DRL-DPT）框架ICIC在无线网络中。DRL-DPT克服了强化学习和深度学习在无线网络中应用的主要障碍，即连续状态空间、连续动作空间和收敛性。首先，深度神经网络（DNN）参与作为演员，以获得确定性的功率控制动作在连续空间。然后，为了保证算法的收敛性，提出了一种在线训练的方法，该方法使用一个专门的奖励函数作为目标规则，并使用策略梯度下降算法来调整DNN的权值。实验结果表明，所提出的DRL-DPT框架一致优于现有的计划在能源效率和吞吐量在不同的无线干扰情况下。更具体地说，它提高了高达15%的能源效率和更快的收敛速度。
2019-02-21 cs.LG cs.NI stat.ML
Koopman-Based Generalization of Deep Reinforcement Learning With Application to Wireless Communications
Department of Computer Science, Toronto Metropolitan University（计算机科学系，多伦多 Metropolitan 大学）
针对DRL训练数据非独立同分布导致传统泛化分析方法失效的问题，提出基于Koopman算子的可解释DRL泛化性评估方法，并在无人机毫米波通信场景验证了其对不同DRL算法的对比分析能力。
2025-07-30 cs.IT cs.LG math.IT
Adversarial jamming attacks and defense strategies via adaptive deep reinforcement learning
Syracuse University（雪城大学）
随着深度强化学习（Deep Reinforcement Learning，DRL）在无线通信中应用的不断深入，基于DRL的无线通信策略对对抗性攻击的敏感性开始引起越来越多的关注。为了解决这种敏感性和减轻由此产生的安全问题，我们在本文中考虑受害者用户执行基于DRL的动态信道接入，和攻击者执行基于DRL的干扰攻击，以破坏受害者。因此，受害者和攻击者都是DRL代理，可以相互交互，重新训练他们的模型，并适应对手的策略。在这种情况下，我们首先开发了一个对抗性的干扰攻击策略，旨在最大限度地减少受害者的动态信道接入的决策的准确性。随后，我们设计的防御策略，对这样的攻击者，并提出了三种防御策略，即多样化的比例积分微分（PID）控制的防御，多样化的防御与模仿攻击者，防御通过正交的政策。我们设计这些策略，以最大限度地提高攻击受害者的准确性，并评估他们的表现。
2020-07-12 cs.LG eess.SP
A Deep Q-Learning Method for Downlink Power Allocation in Multi-Cell Networks
University of Manitoba（曼尼托巴大学）
最优资源分配是具有大规模无线连接的密集和异构无线网络的基本挑战。由于优化问题的非凸性，获得最佳资源分配的计算要求很高。最近，深度强化学习（DRL）已经成为解决非凸优化问题的一种很有前途的技术。与深度学习（DL）不同，DRL不需要任何最佳/接近最佳的训练数据集，这些数据集在生成合成数据时不可用或计算昂贵。在本文中，我们提出了一种新的集中式DRL为基础的多小区系统的下行链路功率分配方案，旨在最大限度地提高总的网络吞吐量。具体来说，我们应用深度Q学习（DQL）方法来实现接近最优的功率分配策略。为了对所提出的方法进行基准测试，我们使用遗传算法（GA）来获得接近最优的功率分配解决方案。仿真结果表明，所提出的基于DRL的功率分配方案相比，在多小区的情况下，传统的功率分配方案的性能更好。
2019-04-30 cs.LG cs.NI eess.SP
Adversarial Reinforcement Learning in Dynamic Channel Access and Power Control
Syracuse University（雪城大学）
深度强化学习（DRL）近来已被用于在无线通信中执行高效的资源分配。在本文中，这样的DRL代理对抗攻击的脆弱性进行了研究。特别是，我们考虑多个DRL代理，在无线干扰信道中执行动态信道接入和功率控制。对于这些受害DRL代理，我们设计了一个干扰器，这也是一个DRL代理。我们提出了一种对抗性干扰攻击方案，利用监听阶段，显着降低用户的和速率。随后，我们开发了一个集成的政策防御策略，对这样的干扰攻击者重新加载模型（保存在重新训练），具有最小的过渡相关性。
2021-05-12 cs.IT cs.LG math.IT
Vehicle Tracking in Wireless Sensor Networks via Deep Reinforcement Learning
Nanjing University of Science and Technology（南京理工大学）
车辆跟踪已成为无线传感器网络在救援、监控、交通监控等领域的重要应用之一，但跟踪精度的提高需要更多的能量消耗。在这封信中，分散的车辆跟踪策略的构想，以提高跟踪精度和节能，这是基于调整之间的交叉区域的固定传感区域和动态激活区域。然后，两个深度强化学习（DRL）的辅助解决方案，提出了依赖于激活区域半径的动态选择。最后，仿真结果显示了我们的DRL辅助设计的优越性。
2020-02-22 cs.LG cs.SY eess.SY
Secure Deep Reinforcement Learning for Dynamic Resource Allocation in Wireless MEC Networks
University of Sydney（悉尼大学）；University of the Sunshine Coast（阳光海岸大学）
针对去中心化无线MEC网络的安全资源分配问题，提出结合RPoS共识协议的BC-DRL框架，通过有约束DRL优化资源分配，在安全性、可靠性和资源利用率上优于基准方法。
2023-12-13 cs.LG cs.NI
On the Robustness of Deep Reinforcement Learning in IRS-Aided Wireless Communications Systems
University of Manitoba（曼尼托巴大学）
我们考虑一个智能反射面（IRS）辅助多输入单输出（MISO）系统的下行链路传输。我们比较了深度强化学习（DRL）和传统优化方法在寻找IRS元素的最佳相移以最大化用户信噪比（SNR）方面的性能。此外，我们评估这些方法的鲁棒性，以信道损伤和系统中的变化。我们证明数字DRL解决方案显示出更强的鲁棒性，噪声信道和用户的移动性。
2021-07-26 cs.IT cs.LG math.IT
Dealing with Limited Backhaul Capacity in Millimeter Wave Systems: A Deep Reinforcement Learning Approach
Auburn University（奥本大学）
毫米波（MmWave）通信是第五代（5G）无线系统实现预期的1000倍数据速率的关键技术之一。在毫米波波段具有大带宽的情况下，用户和基站（BS）之间的链路容量与低于6GHz的无线系统相比可以高得多。同时，由于基础设施升级的高成本，运营商将难以大幅提高毫米波BS与核心网络之间的回程链路的容量。因此，回程提供的数据速率可能不足以支持所有毫米波链路，回程连接成为限制系统性能的新瓶颈。另一方面，由于毫米波信道受到随机阻塞，毫米波用户的数据速率随时间显著变化。在回程容量有限、用户数据速率动态变化大的情况下，如何为每个用户分配回程资源仍然是毫米波系统面临的一个挑战。在本文中，我们提出了一种深度强化学习（DRL）方法来应对这一挑战。通过学习阻塞模式，可以捕获和预测系统动态，从而有效利用回程资源。我们首先讨论DRL及其在无线系统中的应用。然后，我们调查的问题回程资源分配，并提出了基于DRL的解决方案。最后，我们讨论了未来研究的开放性问题，并总结了本文。
2018-12-27 cs.LG eess.SP stat.ML
Hybrid Beamforming for RIS-Empowered Multi-hop Terahertz Communications: A DRL-based Method
太赫兹频带（0.1- 10 THz）中的无线通信被设想为未来第六代（6 G）无线通信系统的关键使能技术之一。然而，太赫兹频率很高的传播衰减和分子散射往往限制了信号的传输距离和覆盖范围。基于可重构智能表面（RIS）在实现智能无线电传播环境方面的突破，提出了一种新的混合波束形成方案，用于多跳RIS辅助通信网络，以提高太赫兹频段的覆盖范围。我们研究了BS处的数字波束成形矩阵和RIS处的模拟波束成形矩阵的联合设计，通过利用深度强化学习（DRL）的最新进展来对抗传播损耗。仿真结果表明，与基准方案相比，该方案能够将THz通信的覆盖范围提高50%以上.此外，它也表明，我们提出的DRL为基础的方法是一个国家的最先进的方法来解决NP-巴德波束成形问题，特别是当信号在RIS授权太赫兹通信网络经历多跳。
2020-09-20 cs.IT cs.LG eess.SP
Handover and SINR-Aware Path Optimization in 5G-UAV mmWave Communication using DRL
Institute of Information Science and Technologies (ISTI) CNR（国家研究委员会信息科学与技术研究所（ISTI））
针对动态信道下UAV毫米波通信的路径优化问题，提出无模型AC-DRL框架，综合飞行时间、切换、连接性和SINR，实现最短时间、最少切换与高SINR的最优路径决策。
2025-04-03 cs.LG cs.NI eess.SP
Dynamic Channel Access via Meta-Reinforcement Learning
Syracuse University（雪城大学）
在本文中，我们通过Meta强化学习来解决动态无线环境中的信道接入问题。频谱是无线通信中的稀缺资源，特别是随着网络中设备数量的急剧增加。最近，受到深度强化学习（DRL）的成功的启发，已经在经由DRL解决无线资源分配问题方面进行了广泛的研究。然而，训练DRL算法通常需要为每个特定任务从环境中收集大量数据，并且如果环境中存在微小变化，则经过良好训练的模型可能会失败。在这项工作中，为了解决这些挑战，我们提出了一个元DRL框架，其中包括模型不可知元学习（MAML）的方法。在建议的框架中，我们训练一个共同的初始化类似的通道选择任务。从初始化，我们表明，只有几个梯度下降需要适应不同的任务从同一分布。我们通过仿真结果证明了性能的改善。
2021-12-24 cs.LG cs.NI cs.SY
Large Vision Model-Enhanced Digital Twin with Deep Reinforcement Learning for User Association and Load Balancing in Dynamic Wireless Networks
National Mobile Communications Research Lab, Southeast University, Nanjing 210096, China（南京东南大学国家移动通信研究中心）；Pervasive Communication Research Center, Purple Mountain Laboratories, Nanjing 211111, China（南京紫金山实验室 pervasive 通信研究中心）
针对动态蜂窝网络用户关联优化的现有DRL方法存在试错成本高、仅适配固定用户数等问题，该研究提出大视觉模型增强的数字孪生及并行驱动的DRL方法，可基于街景生成用户移动轨迹，训练效率与边缘用户性能均显著提升。
2025-05-16 cs.LG cs.SY eess.SY
Deep Reinforcement Learning for Dynamic Resource Allocation in Wireless Networks
该研究构建含基站、多天线与用户设备的无线网络环境，利用 RLlib 评估 DQN、PPO 等 DRL 算法，证明算法与学习率显著影响性能且优于传统方法。
2025-03-13 cs.AI cs.DC cs.ET
Optimizing Wireless Systems Using Unsupervised and Reinforced-Unsupervised Deep Learning
University of Southampton（南安普顿大学）；Beihang University（北京航空航天大学）
无线网络中的资源分配和收发器通常通过求解服从特定约束的优化问题来设计，该优化问题可以被公式化为变量或函数优化。如果变量优化问题的目标函数和约束函数可以导出，则可以应用标准数值算法来寻找最优解，然而当变量的维数较高时，这会导致较高的计算成本。为了降低在线计算复杂性，通过深度神经网络（DNN）学习作为环境状态的函数的最优解是一种有效的方法。DNN可以在最优解的监督下进行训练，但不适用于没有模型的场景或难以获得最优解的功能优化。如果目标和约束函数不可用，则可以应用强化学习来找到函数优化问题的解，然而，这并不适合于无线网络中的优化问题。在这篇文章中，我们介绍了无监督和加强无监督学习框架，用于解决变量和函数优化问题，而无需监督最优解。当环境的数学模型是完全已知的，环境的状态分布是已知的或未知的，我们可以调用无监督学习算法。当环境的数学模型是不完整的，我们引入了加强-无监督学习算法，通过与环境的交互来学习模型。我们的模拟结果证实了这些学习框架的适用性，以用户关联问题为例。
2020-01-03 cs.LG stat.ML
Buffer-aware Wireless Scheduling based on Deep Reinforcement Learning
Huawei Technologies（华为技术有限公司）
本文对蜂窝网络下行分组调度问题进行了建模，使吞吐量、公平性和丢包率联合优化。两个基因辅助的启发式搜索方法来探索解决方案的空间。提出了一种基于A2C算法的深度强化学习（DRL）框架。在该框架中采用了几种方法来提高采样和训练效率，并使算法适应特定的调度问题。数值结果表明，DRL优于基线算法，并达到类似的性能基因辅助方法，而不使用未来的信息。
2019-11-13 cs.IT cs.LG math.IT
ColO-RAN: Developing Machine Learning-based xApps for Open RAN Closed-loop Control on Programmable Experimental Platforms
尽管开放RAN带来了新的机遇，但基于ML的网络自动化的进展一直很缓慢，主要是因为大规模数据集和实验测试基础设施的不可用。这减缓了深度强化学习（DRL）代理在真实网络上的开发和广泛采用，延迟了智能和自主RAN控制的进展。在本文中，我们提出了实用的解决方案和软件管道的设计，培训，测试，并在开放RAN基于DRL的闭环控制的实验评估，以解决这些挑战。我们介绍ColO-RAN，这是第一个公开的具有软件定义无线电在环的大规模O-RAN测试框架。基于Colosseum无线网络仿真器的规模和计算能力，ColO-RAN使用O-RAN组件、可编程基站和“无线数据工厂”实现了大规模的ML研究。具体来说，我们设计和开发了三个示例性xApp，用于基于DRL的RAN切片控制、调度和在线模型训练，并评估它们在具有7个软件化基站和42个用户的蜂窝网络上的性能。最后，我们展示了ColO-RAN到不同平台的可移植性，通过将其部署在室内可编程测试平台Arena上。我们首次大规模评估的广泛结果突出了基于DRL的自适应控制的优势和挑战。他们还提供了关于无线DRL管道开发的见解，从数据分析到DRL代理的设计，以及与现场RAN培训相关的权衡。ColO-RAN和收集的大规模数据集将向研究界公开提供。
2022-01-12 cs.LG cs.NI
Jointly Pre-training with Supervised, Autoencoder, and Value Losses for Deep Reinforcement Learning
Washington State University（华盛顿州立大学）
深度强化学习（DRL）算法被认为是数据低效的。一个原因是DRL代理学习功能和策略表。将先验知识集成到DRL算法中是提高学习效率的一种方法，因为它有助于构建有用的表示。在这项工作中，我们考虑将人类知识，以加速异步优势演员-评论家（A3 C）算法通过预训练少量的非专家的人类示范。我们利用监督自动编码器框架，并提出了一种新的预训练策略，该策略联合训练加权监督分类损失，无监督重建损失和预期返回损失。与以监督或无监督方式独立训练相比，所得到的预训练模型学习到更多有用的特征。我们的预训练方法大大提高了A3 C代理在Atari游戏Pong和MsPacman中的学习性能，在更少的游戏交互次数下超过了最先进算法的性能。我们的方法是轻量级的，易于实现在一个单一的机器。为了重现性，我们的代码可在github.com/gabrieledcjr/DeepRL/tree/A3C-ALA2019上获得
2019-04-03 cs.LG stat.ML
Edge Intelligence for Energy-efficient Computation Offloading and Resource Allocation in 5G Beyond
University of Electronic Science and Technology of China（电子科技大学）；University of Oslo（奥斯陆大学）；Simula Metropolitan Center for Digital Engineering（Simula大都会数字工程中心）
5G超越是一个端-边缘-云协调网络，可以利用终端设备、边缘服务器和云的异构功能，因此有可能通过计算卸载来实现计算密集型和延迟敏感型应用。然而，在多用户无线网络中，不同的应用需求和各种无线电接入模式的可能性，用于设备之间的通信，使得设计一个最佳的计算卸载方案具有挑战性。此外，能够访问包括诸如无线信道状态、可用带宽和计算资源等变量的完整网络信息是一个主要问题。深度强化学习（Deep Reinforcement Learning，DRL）是一种新兴技术，用于解决网络信息有限且不准确的问题。在本文中，我们利用DRL设计一个最佳的计算卸载和资源分配策略，以最小化系统的能量消耗。我们首先提出了一个多用户端-边缘-云协调网络，其中所有设备和基站都具有计算能力。然后，我们制定了联合计算卸载和资源分配问题的马尔可夫决策过程（MDP），并提出了一种新的DRL算法，以最大限度地减少系统的能量消耗。基于真实数据集的数值结果表明，所提出的基于DRL的算法显着优于基准政策的系统能耗。大量的仿真结果表明，学习率，折扣因子，和设备的数量有相当大的影响所提出的算法的性能。
2020-11-18 cs.LG eess.SP
Auction-Based RIS Allocation With DRL: Controlling the Cost-Performance Trade-Off
Institute of Telecommunications TU Wien（电信研究所 TU 威尼斯）
本文提出基于拍卖和深度强化学习的RIS分配方法，通过动态租赁和智能体学习实现成本与性能的最优权衡。
2026-02-18 cs.LG cs.MA cs.NI
Provable Performance Bounds for Digital Twin-driven Deep Reinforcement Learning in Wireless Networks: A Novel Digital-Twin Bisimulation Metric
Pervasive Communication Research Center, Purple Mountain Laboratories（紫金山实验室普适通信研究中心）
提出DT-BSM度量，基于Wasserstein距离量化数字孪生与真实环境MDP差异，证明DT训练策略性能遗憾值有界，并给出经验计算方法与收敛性保证。
2025-02-25 cs.LG
Deep Reinforcement Learning for Wireless Resource Allocation Using Buffer State Information
Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院）
随着无线网络中具有各种数据率和延迟要求的用户设备（UE）的数量增加，正交频分多址（OFDMA）的资源分配问题变得具有挑战性。特别地，当在保持UE之间的公平性的同时最大化系统数据率时，变化的要求导致非凸优化问题。在本文中，我们使用深度强化学习（DRL）解决非凸优化问题。我们概述，训练和评估的DRL代理，它执行的任务，下行链路OFDMA的情况下的媒体访问控制调度。为了开始训练我们的代理，我们引入模仿学习。为了提高调度性能，考虑基站处的全缓冲器状态信息（例如，分组年龄、分组大小）。输入特征压缩、数据包重排和年龄上限等技术进一步提高了代理的性能。我们使用诺基亚的无线套件对我们的代理进行训练和评估，并根据不同的基准代理进行评估。我们表明，我们的代理明显优于基准代理。
2021-08-27 cs.LG cs.NI cs.SY
Optimization-driven Deep Reinforcement Learning for Robust Beamforming in IRS-assisted Wireless Communications
Sun Yat-sen University（中山大学）；Huazhong University of Science and Technology（华中科技大学）；University of Technology Sydney（悉尼科技大学）；Nanyang Technological University（南洋理工大学）
智能反射面（IRS）是一种很有前途的技术，以协助下行链路信息传输从多天线接入点（AP）到接收机。在本文中，我们最小化AP的发射功率的AP的主动波束形成和IRS的被动波束形成的联合优化。由于不确定的信道条件下，我们制定了一个鲁棒的功率最小化问题的接收机的信噪比（SNR）的要求和IRS的功率预算约束。我们提出了一种深度强化学习（DRL）方法，可以根据过去的经验调整波束成形策略。为了提高学习性能，我们推导出凸逼近作为鲁棒问题的下界，并将其集成到DRL框架中，从而推广了一种新型优化驱动的深度确定性策略梯度（DDPG）方法。具体地，当DDPG算法生成动作的一部分（例如，被动波束形成），我们可以使用基于模型的凸近似来优化其它部分（例如，主动波束成形）的动作更有效。仿真结果表明，与传统的无模型DDPG算法相比，优化驱动的DDPG算法能够显著提高学习率和奖励性能.
2020-05-25 cs.LG eess.SP
Multi-UAV Multi-RIS QoS-Aware Aerial Communication Systems using DRL and PSO
Hamad Bin Khalifa University（哈马德·本·哈利法大学）；Mohamed Bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
本文提出一种结合深度强化学习和粒子群优化的两步方法，用于解决多无人机多RIS系统中的路径规划与相位配置优化问题，以最大化吞吐量和覆盖范围，仿真显示其QoS较暴力法和基线方案分别提升20%和30%。
2024-06-16 cs.LG eess.SP
Can You Fix My Neural Network? Real-Time Adaptive Waveform Synthesis for Resilient Wireless Signal Classification
Institute for the Wireless Internet of Things, Northeastern University（东北大学无线物联网研究所）；Roux Institute, Northeastern University（东北大学鲁克斯学院）
深度学习（DL）无需明确建模即可对复杂现象进行分类，因此已被证明是无线信号分类（WSC）的关键推动因素。虽然DL在某些条件下可以达到非常高的准确性，但最近的研究发现，无线信道可能会破坏DL模型在训练过程中学习到的特征，从而大大降低真实世界实时设置中的分类性能。由于重新训练分类器在部署之后是麻烦的，现有的工作已经利用了精心定制的有限脉冲响应（FIR）滤波器的使用，当在发射机侧应用时，该滤波器可以恢复由于信道动作而丢失的特征，即，波形合成然而，这些方法使用离线优化策略来计算FIR，这限制了它们在高度动态信道设置中的功效。在本文中，我们通过提出Chares来改进现有技术，Chares是一种基于深度强化学习（DRL）的框架，用于通道弹性自适应波形合成。Chares通过DRL实时的【形】最佳计算FIR来适应新的和不可见的信道条件。Chares是一个DRL代理，其体系结构是基于双延迟深度确定性策略梯度（TD 3），它需要最小的反馈，从接收器和探索一个连续的动作空间。Chares在两个著名的数据集上进行了广泛的评估。我们还通过现场可编程门阵列（FPGA）的实现评估了Chares的实时的【形】延迟。结果表明，当不进行波形合成时，Chares将准确度提高了4.1倍，相对于现有工作提高了1.9倍，并且可以在41 us内计算新的动作。
2021-03-05 cs.LG cs.NI
A DRL-based Reflection Enhancement Method for RIS-assisted Multi-receiver Communications
University of Bristol（布里斯托大学）；Bristol Research and Innovation Laboratory, Toshiba Europe Ltd.（东芝欧洲有限公司布里斯托研究与创新实验室）
本文针对RIS辅助通信中周期性轮廓叠加导致的远场性能退化问题，提出一种基于DRL的双反射优化方法，在无需硬件修改下实现1.2 dB峰值增益提升且优化时间最短。
2023-09-11 cs.LG eess.SP
Pervasive Machine Learning for Smart Radio Environments Enabled by Reconfigurable Intelligent Surfaces
National and Kapodistrian University of Athens（雅典国立卡波季斯特里安大学）；Technology Innovation Institute（技术创新研究院）；Zhejiang University（浙江大学）；Singapore University of Technology and Design（新加坡科技设计大学）；University of Oulu（奥卢大学）；Mohamed Bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
新兴的可重构智能表面（RISs）技术被提供作为智能无线环境的使能者，提供高度可扩展、低成本、硬件高效且几乎能量中性的解决方案，用于动态控制电磁信号在无线介质上的传播，最终为不同的操作目标提供增强的环境智能。在这种可重新配置的无线电环境中设想的密集部署RIS的主要挑战之一是利用有限的或甚至不存在的计算硬件来有效配置多个元表面。在本文中，我们考虑多用户和多RIS授权的无线系统，并提出了一个彻底的调查在线机器学习方法，他们的各种可调组件的编排。以总速率最大化为代表的设计目标，我们提出了一个基于深度强化学习（DRL）的综合问题公式。我们详细的无线系统和DRL术语的参数之间的对应关系，并设计通用的人工神经网络的训练和部署的算法步骤，同时讨论其实施细节。在第六代（6G）时代的多RIS授权的无线通信的进一步实际考虑，提出了一些关键的开放的研究挑战。从基于DRL的现状来看，我们利用系统设计参数的配置与无线环境的未来状态之间的独立性，并提出了有效的多臂强盗方法，其产生的和速率性能在数值上显示优于随机配置，同时足够接近传统的深度Q网络（DQN）算法，但具有较低的实现复杂度。
2022-05-08 cs.ET cs.IT cs.LG
Unsupervised Paraphrasing via Deep Reinforcement Learning
University of California, Riverside（加州大学河滨分校）
释义是用不同的措辞表达输入句子的含义，同时保持流畅性（即，语法和句法正确性）。大多数关于释义的现有工作使用限于特定领域的监督模型（例如，图像字幕）。这样的模型既不能直接转移到其他领域，也不能很好地推广，并且为新领域创建标记的训练数据是昂贵和费力的。跨领域释义的需要和在许多这样的领域中标记的训练数据的稀缺性要求探索无监督释义生成方法。我们提出了渐进式无监督释义（PUP）：一种基于深度强化学习（DRL）的新型无监督释义生成方法。PUP使用变分自编码器（使用非并行语料库训练）来生成种子释义，该种子释义热启动DRL模型。然后，PUP在我们的新颖奖励函数的指导下逐步调整种子释义，该奖励函数结合了语义充分性，语言流畅性和表达多样性措施，以量化每次迭代中生成的释义的质量，而无需并行句子。我们广泛的实验评估表明，PUP在四个真实数据集上的自动度量和用户研究方面优于无监督的最先进的释义技术。我们还表明，PUP在几个数据集上的性能优于域适应监督算法。我们的评估还表明，PUP实现了语义相似性和表达的多样性之间的很大的权衡。
2020-07-05 cs.AI cs.CL cs.LG
Multi-hop RIS-Empowered Terahertz Communications: A DRL-based Hybrid Beamforming Design
Zhejiang University（浙江大学）；ZJU-UIUC Institute, Zhejiang University（浙江大学ZJU-UIUC联合学院）；National and Kapodistrian University of Athens（雅典国立卡波迪斯特里安大学）；University of Electronic Science and Technology of China（电子科技大学）；Singapore University of Technology and Design（新加坡科技设计大学）；CentraleSupélec（巴黎中央理工-高等电力学院）；University Paris-Saclay（巴黎萨克雷大学）
太赫兹频带（0.1- 10 THz）中的无线通信被设想为未来第六代（6 G）无线通信系统的关键使能技术之一，该第六代无线通信系统的规模超过大规模多输入多输出（Massive-MIMO）技术。然而，太赫兹频率很高的传播衰减和分子散射往往限制了信号的传输距离和覆盖范围。基于可重构智能表面（RIS）在实现智能无线电传播环境方面的突破，提出了一种新的混合波束形成方案，用于多跳RIS辅助通信网络，以提高太赫兹频段的覆盖范围。特别地，部署多个无源和可控的RIS以辅助基站（BS）与多个单天线用户之间的传输。我们研究了BS处的数字波束成形矩阵和RIS处的模拟波束成形矩阵的联合设计，通过利用深度强化学习（DRL）的最新进展来对抗传播损耗。为了提高所提出的DRL算法的收敛性，然后设计了两种算法来初始化的数字波束形成和模拟波束形成矩阵，利用交替优化技术。仿真结果表明，与基准方案相比，该方案能够将THz通信的覆盖范围提高50%以上.此外，它也表明，我们提出的DRL为基础的方法是一个国家的最先进的方法来解决NP难波束成形问题，特别是当信号在RIS辅助太赫兹通信网络经历多跳。
2022-06-22 cs.IT cs.LG eess.SP
Continual Deep Reinforcement Learning to Prevent Catastrophic Forgetting in Jamming Mitigation
Nexcepta（内克塞克塔）
针对动态无线环境中DRL抗干扰系统的灾难性遗忘问题，提出基于PackNet的持续深度强化学习方法，使网络在学习新干扰模式时保留旧知识，显著提升抗干扰性能与鲁棒性。
2024-10-14 cs.AI cs.LG cs.NI
Analyzing Symbolic Properties for DRL Agents in Systems and Networking
University of Waterloo（滑铁卢大学）；Leibniz University Hannover（莱布尼茨汉诺威大学）
本文研究DRL在系统与网络中的符号属性，提出通用框架diffRL，通过符号属性分析提升验证工具的应用性，并通过实验证明其比点属性具有更广的覆盖范围。
2026-04-06 cs.AI cs.LG cs.NI
Model-aided Deep Reinforcement Learning for Sample-efficient UAV Trajectory Design in IoT Networks
EURECOM（欧洲通信学院）
深度强化学习（DRL）作为一种潜在的方法正在受到关注，用于设计在蜂窝或物联网（IoT）连接背景下用作飞行接入点的自主无人机（UAV）的轨迹。DRL解决方案提供了在线学习的优势，因此依赖于很少的先验上下文信息。然而，一个相应的缺点在于需要许多学习情节，这严重限制了这种方法在现实世界中的时间和能量受限的任务的适用性。在这里，我们提出了一种模型辅助的深度Q学习方法，与以前的工作相比，该方法大大减少了对大量训练数据样本的需求，同时仍然实现了DRL的首要目标，即在没有无线信道特性的先验知识和无线节点位置的有限知识的情况下，引导电池有限的UAV在有效的数据采集轨迹上。其关键思想在于使用一小部分节点作为锚（即具有已知位置），并学习传播环境的模型，同时隐式地估计常规节点的位置。与模型的交互允许我们训练一个深度Q网络（DQN）来近似最优的无人机控制策略。我们表明，与标准的DRL方法相比，所提出的模型辅助方法需要至少一个数量级的训练数据样本，以达到相同的数据汇集性能，从而提供了第一步，使DRL一个可行的解决方案的问题。
2021-10-05 cs.IT cs.LG math.IT
Deep-Reinforcement-Learning-Based Scheduling with Contiguous Resource Allocation for Next-Generation Cellular Systems
Intel Corporation（英特尔公司）；Princeton University（普林斯顿大学）
调度在多用户无线通信中起着关键的作用，因为各个用户的服务质量很大程度上取决于分配的无线电资源。提出了一种基于深度强化学习（DRL）的连续频域资源分配调度算法。调度问题被建模为马尔可夫决策过程，并且DRL代理确定在每个RB分配步骤应该调度哪个用户以及该用户的多少个连续RB。状态空间、动作空间和奖励函数经过精心设计，用于训练DRL网络。更具体地说，原来的准连续的动作空间，这是固有的连续的FERMARY，被细化成一个有限的和离散的动作空间，以获得推理延迟和系统性能之间的权衡。仿真结果表明，该算法在具有较低的在线计算复杂性的同时，性能优于其他典型的基线调度算法。
2020-11-26 cs.LG cs.NI eess.SP
Deep Reinforcement Learning Based Joint Downlink Beamforming and RIS Configuration in RIS-aided MU-MISO Systems Under Hardware Impairments and Imperfect CSI
Bilkent University（比尔肯特大学）；KTH Royal Institute of Technology（KTH皇家理工学院）
我们引入了一种新的深度强化学习（DRL）方法，在多用户多输入单输出（MU-MISO）系统中联合优化发射波束成形和可重构智能表面（RIS）相移，以最大化相位相关反射幅度模型下的总下行链路速率。我们的方法解决了不完美的信道状态信息（CSI）和硬件损伤的挑战，考虑一个实际的RIS幅度模型。我们比较了我们的方法对香草DRL代理在两种情况下的性能：完美的CSI和相位相关的RIS幅度，和不匹配的CSI和理想的RIS反射。结果表明，该框架显着优于香草DRL代理下失配和接近黄金标准。我们的贡献包括修改DRL方法，以解决发射波束成形和相移和相位相关的幅度模型的联合设计。据我们所知，我们的方法是第一个基于DRL的方法，在RIS辅助MU-MISO系统中的相位相关反射振幅模型。我们在这项研究中的发现突出了我们的方法作为一个有前途的解决方案，以克服硬件损伤的RIS辅助无线通信系统的潜力。
2023-03-29 cs.LG cs.NI eess.SP
Communication-Control Codesign for Large-Scale Wireless Networked Control Systems
School of Electrical and Computer Engineering, The University of Sydney（悉尼大学电气与计算机工程学院）；College of Computing and Data Science, Nanyang Technological University（南洋理工大学计算与数据科学学院）
本文针对大规模无线网络化控制系统，提出一种基于深度强化学习的通信调度与控制输入联合优化方法，以应对耦合回路、时变信道和计算复杂度等挑战，并通过仿真验证其优于基准方法。
2024-10-15 cs.IT cs.LG cs.SY
Single and Multi-Agent Deep Reinforcement Learning for AI-Enabled Wireless Networks: A Tutorial
University of Manitoba（曼尼托巴大学）
深度强化学习（Deep Reinforcement Learning，DRL）最近取得了重大进展，在解决各个领域（特别是无线通信领域）的顺序决策问题方面取得了多项成功。未来的第六代（6G）网络预计将提供可扩展的、低延迟的、超可靠的服务，这些服务由数据驱动的人工智能（AI）的应用授权。未来6G网络的关键使能技术，如智能元表面、空中网络和边缘人工智能，涉及多个智能体，这激发了多智能体学习技术的重要性。此外，合作对于建立自我组织、自我维持和分散的网络至关重要。在这种情况下，本教程重点介绍DRL的作用，重点是支持AI的6G网络的深度多智能体强化学习（MARL）。本文的第一部分将对单智能体RL和MARL的数学框架进行清晰的概述。这项工作的主要思想是激励RL的应用超越近年来广泛采用的无模型视角。因此，我们提供了一个选择性的描述RL算法，如基于模型的RL（MBRL）和合作MARL，我们强调他们在6G无线网络中的潜在应用。最后，我们概述了MARL在移动边缘计算（MEC）、无人机（UAV）网络和无小区大规模MIMO等领域的最新进展，并确定了未来有前途的研究方向。我们希望本教程能够激发更多的研究工作，以构建基于MARL的可扩展和分散的系统。
2020-11-06 cs.LG cs.NI
Don't Watch Me: A Spatio-Temporal Trojan Attack on Deep-Reinforcement-Learning-Augment Autonomous Driving
Northwestern Polytechnical University（西北工业大学）
深度强化学习（Deep Reinforcement Learning，DRL）是实现自动驾驶（autonomous driving，AD）系统的最常用算法之一。DRL的关键成功因素是它包含了深度神经网络的感知能力，但已被证明易受特洛伊木马攻击。特洛伊木马攻击已经在监督学习（SL）任务（例如，图像分类），但很少在顺序决策任务解决的DRL。因此，在本文中，我们探讨木马攻击DRL AD任务。首先，我们提出了一种基于递归神经网络和注意力机制的时空DRL算法，证明了时空交通特征的捕获是DRL增强AD系统有效性和安全性的关键因素。然后，我们设计了一个时空特洛伊木马攻击DRL政策，触发器隐藏在一系列的空间和时间的流量特征，而不是一个单一的即时状态，在现有的特洛伊木马SL和DRL任务。使用我们的特洛伊木马，对手充当周围的正常车辆，可以通过特定的时空驾驶行为触发攻击，而不是物理或无线访问。通过大量的实验，我们发现，虽然捕获时空流量特征可以提高DRL针对不同AD任务的性能，但由于我们设计的特洛伊木马具有高度的隐蔽性（各种时空触发模式）、有效性（性能变化率小于3.1%，攻击成功率超过98.5%），并且可持续到现有的高级防御，因此它们会遭受特洛伊木马攻击。
2022-11-22 cs.AI cs.CR cs.LG
Stacked Auto Encoder Based Deep Reinforcement Learning for Online Resource Scheduling in Large-Scale MEC Networks
Hunan Normal University（湖南师范大学）；Northumbria University（诺森比亚大学）；Hunan University of Technology and Business（湖南工商大学）；Queen Mary University of London（伦敦玛丽女王大学）；Changchun Institute of Technology（长春工程学院）；University of Essex（埃塞克斯大学）
针对大规模移动边缘计算（MEC）系统，通过优化卸载决策、传输功率和资源分配，提出了一种在线资源调度框架，以最小化所有物联网（IoT）用户的加权任务延迟之和。为此，提出了一种基于深度强化学习（DRL）的解决方案，其包括以下组件。首先，采用一种具有无监督学习的相关正则化堆栈自动编码器（2 r-SAE）对高维信道质量信息（CQI）数据进行数据压缩和表示，以减少DRL的状态空间。其次，我们提出了一种基于自适应模拟退火的方法（ASA）作为DRL的动作搜索方法，其中使用自适应h-变异来引导搜索方向，并提出了自适应迭代，以提高搜索效率在DRL过程中。第三，引入一个保留和优先级的经验重放（2 p-ER）来帮助DRL训练策略网络，并找到最优的卸载策略。数值结果表明，该算法可以实现接近最优的性能，同时显着减少计算时间与现有的基准相比。
2020-04-14 cs.LG cs.NI stat.ML
Digital Twin Assisted Deep Reinforcement Learning for Online Admission Control in Sliced Network
Southeast University（东南大学）；Purple Mountain Laboratories（紫金山实验室）
针对切片网络准入控制中DRL模型初始不稳定、收敛慢的问题，提出数字孪生辅助的DRL方案，通过DT预训练辅助加速DRL收敛，相比现有对决深度Q学习模型资源利用率提升超40%，同时保留长期奖励优化能力。
2023-11-21 cs.LG cs.SY eess.SP
Combining Transformer based Deep Reinforcement Learning with Black-Litterman Model for Portfolio Optimization
Xi’an Jiaotong-Liverpool University（西安交通-利物浦大学）
本文提出将基于Transformer的深度强化学习与Black-Litterman模型结合的混合投资组合优化方法，使智能体学习资产收益动态相关性并实施多空策略，在道琼斯成分股上累计收益至少提升42%。
2024-02-23 cs.LG q-fin.PM
Active management of battery degradation in wireless sensor network using deep reinforcement learning for group battery replacement
University of Arizona（亚利桑那大学）；Shenzhen Institutes of Advanced Technology Chinese Academy of Sciences（中国科学院深圳先进技术研究院）
针对无线传感器网络现有电池管理方法缺乏系统视角、电池失效时间分散导致更换调度难的问题，提出基于深度强化学习的系统级占空比优化方法，可在不降低网络性能的前提下实现电池成组更换，且具备高效性与可扩展性。
2025-03-22 cs.AI cs.LG
Green Deep Reinforcement Learning for Radio Resource Management: Architecture, Algorithm Compression and Challenge
National University of Defense Technology（中国人民解放军国防科技大学）；Kings College London（伦敦国王学院）；Cranfield University（克兰菲尔德大学）；Alan Turing Institute（艾伦·图灵研究所）；Queen Mary University of London（伦敦玛丽女王大学）；Nanjing University of Aeronautics and Astronautics（南京航空航天大学）
人工智能预示着无线网络和其他关键基础设施的性能和能力发生了重大变化。然而，由于其高能耗，它也可能造成不可逆转的环境损害。在这里，我们在5G及以后的背景下解决这一挑战，其中无线电资源管理（RRM）的复杂性激增。一方面，深度强化学习（DRL）为动态环境下高维RRM问题的可扩展优化提供了一个强大的工具。另一方面，DRL算法随着时间的推移消耗大量的能量，并有可能损害绿色无线电研究的进展。本文回顾并分析了如何通过架构和算法创新实现RRM的绿色DRL。在架构上，提出了一种基于云的训练和分布式决策DRL方案，其中RRM实体可以在云上训练和更新的辅助下进行轻量级深度本地决策。在算法层面，为深度神经网络和底层马尔可夫决策过程引入了压缩方法，从而实现了挑战的准确低维表示。为了跨地理区域扩展学习，提出了一种空间迁移学习方案，通过利用交通需求相关性来进一步提高分布式日间行车线实体的学习效率。总之，我们提出的架构和算法提供了一个绿色和按需日间行车能力的愿景。
2019-10-11 cs.AI cs.LG cs.NI
Improving log-based anomaly detection through learned adaptive filter
National University of Singapore（新加坡国立大学）
针对基于日志的异常检测中固定过滤配置忽略序列动态特性的问题，提出基于深度强化学习的自适应滤波器，为不同日志序列动态设置过滤阈值，在HDFS和BGL数据集上显著提升了DeepLog和LogAnomaly的检测性能。
2025-04-03 cs.DB cs.LG
Knowledge-Assisted Deep Reinforcement Learning in 5G Scheduler Design: From Theoretical Framework to Implementation
University of Sydney（悉尼大学）；Telstra Corporation Ltd（澳大利亚电信公司）
在本文中，我们开发了一种知识辅助的深度强化学习（DRL）算法，用于在具有时间敏感流量的第五代（5G）蜂窝网络中设计无线路由器。由于调度策略是从通道和队列状态到调度动作的确定性映射，因此可以通过使用深度确定性策略梯度（DDPG）来优化调度策略。我们表明，DDPG的直接实现收敛缓慢，服务质量（QoS）性能较差，并且无法在通常非平稳的现实世界5G系统中实现。为了解决这些问题，我们提出了一个理论的DRL框架，从无线通信的理论模型被用来制定一个马尔可夫决策过程在DRL。为了减少收敛时间，提高每个用户的QoS，我们设计了一个知识辅助的DDPG（K-DDPG），利用专家知识的调度器设计问题，如知识的QoS，目标调度策略，每个训练样本的重要性，确定的近似误差的值函数和数据包丢失的数量。此外，我们开发了一个在线训练和推理的体系结构，其中K-DDPG离线调度器，然后在线微调调度器，以处理离线模拟和非平稳真实世界系统之间的不匹配。仿真结果表明，该方法显著缩短了DDPG的收敛时间，并获得了比现有算法更好的QoS（减少30% ~ 50%的丢包率）.实验结果表明，离线初始化，我们的方法获得了更好的初始QoS比随机初始化和在线微调收敛在几分钟内。
2021-02-03 cs.LG eess.SP
Hierarchical Multi-Agent DRL-Based Framework for Joint Multi-RAT Assignment and Dynamic Resource Allocation in Next-Generation HetNets
Hamad Bin Khalifa University（哈马德·本·哈利法大学）；The University of Texas at Dallas（德克萨斯大学达拉斯分校）
本文提出分层多智能体深度强化学习框架DeepRAT，将多无线接入技术分配与功率控制分解为DQN分配阶段和多智能体DDPG功率分配阶段，以高效求解下一代异构网络中的成本感知和速率最大化问题，并在网络效用和动态适应性上优于现有启发式方法。
2022-02-28 cs.AI cs.LG eess.SP
Asymmetric Diffusion Based Channel-Adaptive Secure Wireless Semantic Communications
Shanghai Jiao Tong University（上海交通大学）；Waseda University（早稻田大学）；The University of Tokyo（东京大学）
本文提出DiffuSeC安全语义通信系统，通过非对称扩散模型与深度强化学习相结合，实现信道自适应扩散步数选择，有效缓解语义攻击扰动，在不稳定信道条件下显著提升鲁棒精度。
2023-10-30 cs.CR cs.LG
Meta-Reinforcement Learning for Fast and Data-Efficient Spectrum Allocation in Dynamic Wireless Networks
African Institute for Mathematical Sciences（非洲数学科学研究所）；Stanford University（斯坦福大学）；University of Oklahoma（俄克拉荷马大学）；University of Glasgow（格拉斯哥大学）
本文提出元学习框架用于动态无线网络中快速且数据高效的频谱分配，通过对比实验展示其在性能和适应性上的优势。
2025-07-13 cs.AI cs.LG cs.NI
A novel multi-agent dynamic portfolio optimization learning system based on hierarchical deep reinforcement learning
Xi’an Jiaotong-Liverpool University（西交利物浦大学）
针对深度强化学习应用于投资组合优化时存在的正奖励稀疏、维度灾难导致风险调整盈利能力提升有限的问题，提出含辅助与执行智能体的多智能体HDRL框架，提升训练效率与策略收益。
2025-01-12 cs.LG cs.MA
Securing SIM-Assisted Wireless Networks via Quantum Reinforcement Learning
Smart Green Transformation Center, VinUniversity（Vin大学智能绿色转型中心）；Université Paris-Saclay - CNRS - CentraleSupélec - L2S（巴黎萨克雷大学 - CNRS - 中央超导实验室 - L2S）；School of Electrical and Data Engineering, University of Technology Sydney（悉尼技术大学电气与数据工程学院）；School of Computer Science and Statistics, Trinity College Dublin, The University of Dublin（都柏林大学三一学院计算机科学与统计学学院）
针对SIM辅助无线网络中高维优化和动态环境挑战，提出混合量子近端策略优化框架，联合优化功率分配和SIM相位，实现约15%保密率提升和30%收敛加速。
2026-05-28 cs.LG cs.NI
Safe Deep Reinforcement Learning for Resource Allocation with Peak Age of Information Violation Guarantees
Department of Electrical and Electronics Engineering, Koc University（电气与电子工程系，科克大学）
本文提出一种基于优化理论的安全深度强化学习两阶段框架，通过师生机制指导智能体在满足PAoI违例概率等约束下最小化功耗，实现了比基线更快的收敛速度与更高稳定性。
2025-07-11 cs.AI cs.LG cs.MA
Prompt-Tuned LLM-Augmented DRL for Dynamic O-RAN Network Slicing
Holcombe Department of Electrical and Computer Engineering, Clemson University（霍尔科姆电气与计算机工程系，克莱姆森大学）
本文提出提示增强多智能体强化学习框架PA-MRL，通过可学习提示将LLM语义聚类能力融入DRL，实现O-RAN切片中更快、更自适应的资源分配。
2025-05-31 cs.AI cs.LG
User-centric Heterogeneous-action Deep Reinforcement Learning for Virtual Reality in the Metaverse over Wireless Networks
Nanyang Technological University（南洋理工大学）
针对元宇宙多用户VR场景，提出一种基于异构动作深度强化学习的用户中心算法UCHA，联合优化帧生成位置与下行传输功率以提升用户效用。
2023-05-22 cs.AI cs.LG cs.NI
Deep Reinforcement Learning for Power Control in Next-Generation WiFi Network Systems
BlueHalo（蓝光环公司）；University Technical Services, Inc.（大学技术服务公司）；National Security Institute, Virginia Tech（弗吉尼亚理工大学国家安全研究所）
本文提出了一种用于无线通信功率控制的深度强化学习（DRL）解决方案，描述了其在WiFi网络系统中的嵌入式WiFi收发器实现，并通过高保真仿真测试评估了性能。在多跳无线网络中，每个移动节点测量其链路质量和信号强度，并控制其发射功率。作为一种无模型的解决方案，强化学习允许节点通过观察状态来调整它们的动作，并随着时间的推移最大化它们的累积奖励。对于每个节点，状态由发射功率、链路质量和信号强度组成;动作调整发射功率;奖励结合能量效率（通过能量消耗归一化的吞吐量）和改变发射功率的惩罚。由于状态空间很大，Q学习很难在内存和处理能力有限的嵌入式平台上实现。通过用DQN近似Q值，为每个节点的嵌入式平台实现DRL，该嵌入式平台结合了ARM处理器和802.11n的WiFi收发器。通过对射频信号产生逼真的信道效应，进行可控和可重复的仿真测试。与基准计划的固定和近视的功率分配的性能比较表明，DRL的功率控制提供了重大的改进，在WiFi网络系统的能源效率和吞吐量。
2022-11-02 cs.LG cs.NI cs.SY
PoPS: Policy Pruning and Shrinking for Deep Reinforcement Learning
Ben-Gurion University of the Negev（本-古里安大学）
针对深度强化学习中DNN剪枝后性能下降的问题，提出基于迁移学习的迭代式策略剪枝收缩算法PoPS，在多基准环境中验证了其在保持高性能的同时压缩模型的效果，并开源了相关工具。
2020-01-14 cs.AI cs.LG
