Multiagent Copilot Approach for Shared Autonomy between Human EEG and TD3 Deep Reinforcement Learning
Nagoya Institute of Technology（名古屋工业大学）
本研究提出一种多智能体副驾驶方法，整合人类EEG解码与TD3深度强化学习，通过共享自主性提升目标接近得分、降低失败率，并利用d指数分析控制权威与BCI性能提升的相关性。
2023-12-22 cs.HC cs.LG eess.SP
Deep Reinforcement Learning Based Intelligent Reflecting Surface for Secure Wireless Communications
在本文中，我们研究了一个智能反射面（IRS）辅助的无线安全通信系统的物理层的安全，IRS是部署调整其表面反射元件，以确保安全通信的多个合法用户在存在多个窃听者。以提高系统保密率为目标，针对不同的服务质量（QoS）要求和时变信道条件，提出了一种联合优化基站波束形成和IRS反射波束形成的设计问题。针对系统的动态性和复杂性，以及非凸优化问题的挑战性，提出了一种基于深度强化学习（Deep Reinforcement Learning，DRL）的安全波束形成方法，以实现动态环境下对抗窃听者的最优波束形成策略。此外，决策后状态（PDS）和优先经验重放（PER）计划被用来提高学习效率和保密性能。具体地说，PDS能够跟踪环境的动态特性，并相应地调整波束成形策略。仿真结果表明，在IRS辅助的安全通信系统中，基于深度PDS-PER学习的安全波束形成方法能够显著提高系统的保密率和QoS满足概率。
2020-12-24 eess.SP
Deep Reinforcement Learning based Joint Active and Passive Beamforming Design for RIS-Assisted MISO Systems
可重构智能表面（RIS）由于具有低成本、可控性等独特优势，是解决毫米波通信系统阻塞问题的一种有效途径，近年来受到广泛关注。然而，由于高计算复杂性和无线环境的动态变化，使得有源波束形成和无源波束形成的联合设计是一项艰巨的任务。在本文中，我们考虑了一个RIS辅助的多用户多输入单输出（MU-MISO）毫米波系统，旨在开发一种基于深度强化学习（DRL）的算法，以联合设计在基站（BS）侧的有源混合波束形成器和RIS侧的无源波束形成器。通过采用先进的软演员-评论家（SAC）算法，我们提出了一种基于最大熵的DRL算法，它可以探索更多的随机策略比确定性的政策，同时设计有源模拟预编码器和无源波束形成器。然后，采用最小均方误差（MMSE）方法确定数字预编码器。实验结果表明，我们提出的SAC算法可以获得更好的性能相比，传统的优化算法和DRL算法。
2022-02-21 cs.IT eess.SP math.IT
Flexible Robust Beamforming for Multibeam Satellite Downlink using Reinforcement Learning
本文提出用SAC深度强化学习方法学习LEO多波束卫星下行链路鲁棒预编码策略，无需系统先验知识即可灵活适应任意配置，并在可达速率和抗干扰鲁棒性上优于解析基准预编码器。
2024-02-26 eess.SP
Dynamic Beamforming and Power Allocation in ISAC via Deep Reinforcement Learning
University of Twente（特温特大学）；TNO（荷兰组织应用科学研究）
针对ISAC系统动态场景下资源分配计算复杂度高的问题，提出基于DRL的动态波束成形与功率分配方法，在保证接近SDR基准频谱效率的同时大幅缩短决策时间，且和速率优于离散波束成形DQN方案。
2025-10-29 eess.SP
Two-Layer Reinforcement Learning-Assisted Joint Beamforming and Trajectory Optimization for Multi-UAV Downlink Communications
University of Electronic Science and Technology of China（电子科技大学）；Khalifa University（哈利法大学）
本文提出双层框架，结合图神经网络与多智能体强化学习，解决无人机波束成形与轨迹优化问题，提升系统速率和收敛速度。
2026-04-17 eess.SP
Joint Robust Beamforming Design for WPT-assisted D2D Communications in MISO-NOMA: Fractional Programming and Deep Reinforcement Learning
本文提出了一种用于设想的第六代（6 G）超大规模机器类型通信（umMTC）的方案。特别地，在非正交多址接入（NOMA）下行链路网络中部署无线功率传输（WPT）辅助通信以实现频谱和能量协作。本文重点研究联合稳健波束成形设计，以最大限度地提高多输入单输出（MISO）-NOMA下行链路网络中WPT辅助D2 D通信的能量效率。为了有效地解决公式化的非凹能量效率最大化问题，提出了一种纯分数规划（PFP）算法，其中WPT设备的时间切换系数和基站的波束形成向量分别通过应用Dinkelbach方法和二次变换交替地优化。为了证明所提出的算法的最优性，部分穷举搜索算法作为基准。基于深度强化学习（DRL）的方法也被应用于直接解决非凹问题。在不同的信道估计误差情况下，对PFP算法和DDPG算法进行了比较。仿真结果表明，在信道状态信息（CSI）估计精度较好或误差较小的情况下，PFP算法的性能优于DDPG算法，而在信道估计精度不理想的情况下，DDPG算法具有更好的鲁棒性。另一方面，可以得出结论，NOMA方案可以在传统多用户下行链路网络中的WPT辅助的D2 D通信的能量效率上提供比OMA更高的增益。
2023-03-12 eess.SP
Deep Reinforcement Learning Based Joint Downlink Beamforming and RIS Configuration in RIS-aided MU-MISO Systems Under Hardware Impairments and Imperfect CSI
Bilkent University（比尔肯特大学）；KTH Royal Institute of Technology（KTH皇家理工学院）
我们引入了一种新的深度强化学习（DRL）方法，在多用户多输入单输出（MU-MISO）系统中联合优化发射波束成形和可重构智能表面（RIS）相移，以最大化相位相关反射幅度模型下的总下行链路速率。我们的方法解决了不完美的信道状态信息（CSI）和硬件损伤的挑战，考虑一个实际的RIS幅度模型。我们比较了我们的方法对香草DRL代理在两种情况下的性能：完美的CSI和相位相关的RIS幅度，和不匹配的CSI和理想的RIS反射。结果表明，该框架显着优于香草DRL代理下失配和接近黄金标准。我们的贡献包括修改DRL方法，以解决发射波束成形和相移和相位相关的幅度模型的联合设计。据我们所知，我们的方法是第一个基于DRL的方法，在RIS辅助MU-MISO系统中的相位相关反射振幅模型。我们在这项研究中的发现突出了我们的方法作为一个有前途的解决方案，以克服硬件损伤的RIS辅助无线通信系统的潜力。
2023-03-29 cs.LG cs.NI eess.SP
Deep Reinforcement Learning for Distributed Dynamic Coordinated Beamforming in Massive MIMO Cellular Networks
为了适应爆炸性的无线业务，大规模多输入多输出（MIMO）被认为是下一代通信系统的关键使能技术之一。在大规模MIMO蜂窝网络中，协作波束形成（CBF）是一种有效的提高网络性能的方法，它联合设计多个基站（BS）的波束形成器。在本文中，我们研究了大规模MIMO移动蜂窝网络中的和速率最大化问题，其中在每个小区中，多天线BS通过下行链路波束成形同时为多个移动用户提供服务。虽然现有的基于优化的CBF算法可以提供接近最优的解决方案，他们需要实时和全局的信道状态信息（CSI），除了他们的高计算复杂度。在实际的无线网络中，特别是在高度动态的移动蜂窝网络中，几乎不可能应用它们。基于此，我们提出了一种基于深度强化学习的分布式动态协调波束形成（DDCBF）框架，该框架使每个BS能够仅利用本地CSI和来自其他BS的一些历史信息来确定波束形成器。此外，通过利用神经网络和专家知识，即，从加权最小均方误差（WMMSE）算法的迭代过程观察到的解结构。此外，我们提供了广泛的数值模拟，以验证所提出的DRL为基础的方法的有效性。结果表明，该方法具有较低的计算复杂性和较少的信息需求，可获得与集中式迭代优化算法相当的性能。
2023-03-24 cs.IT eess.SP math.IT
Blind Beamforming for Intelligent Reflecting Surfaces: A Gradient Bandit Approach
Queensland Technology International School of Engineering, Dalian University of Technology（大连理工大学青岛国际工程学院）；School of Science and Engineering, The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳）理工学院）
本文从强化学习视角研究智能反射面盲波束成形，提出梯度采样方案替代均匀采样，并在真实原型系统中验证其可将平均信噪比提升超过5 dB。
2026-10-06 eess.SP
Deep Reinforcement Learning in mmW-NOMA: Joint Power Allocation and Hybrid Beamforming
K. N. Toosi University of Technology（K. N. 图西理工大学）
毫米波频段的非正交多址接入（NOMA）技术可以满足下一代无线通信对数据率的高要求。通过联合功率分配和波束形成，在保持比特率的同时降低对其他用户的干扰，是保证高比特率要求的必要条件。此外，由于同时在实现和性能方面的权衡，mmW频带规定了用于波束成形的混合结构。在本文中，联合功率分配和混合波束形成的mmW-NOMA系统提出了通过最近的进展，机器学习和控制理论的方法，称为深度强化学习（DRL）。利用演员-评论家现象来衡量即时奖励并提供新动作以最大化网络的整体Q值。此外，为了提高该方法的稳定性，我们利用了软演员批评（SAC）的方法，其中整体奖励和动作熵最大化，同时。立即奖励已被定义的基础上的所有用户的速率的软加权求和。软加权基于每个用户的实现速率和分配功率。此外，用户和基站（BS）之间的信道响应被定义为环境的状态，而行动空间涉及的数字和模拟波束成形的权重和分配给每个用户的功率。仿真结果表明，该方法优于时分多址（TDMA）和非视距（NLOS）-NOMA的用户的和速率。它的优越性是由于所提出的方法的联合优化和信道响应的独立性。
2022-05-13 cs.AI cs.IT eess.SP
Reinforcement learning-based waveform optimization for MIMO multi-target detection
提出了一种基于强化学习（RL）框架的MIMO雷达协同定位认知波束形成算法。我们分析了一个基于RL的优化协议，允许MIMO雷达，即\textit{agent}，迭代地感测未知的环境，即雷达场景涉及未知数量的目标在未知的角位置，因此，合成一组发射的波形，其相关的波束方向图是定制的所获得的知识。所提出的基于RL的波束形成算法的性能进行评估，通过数值模拟的检测概率（$P_D$）。
2018-11-06 eess.SP
Deep Reinforcement Learning for Hybrid RIS Assisted MIMO Communications
Centre for Wireless Communications, University of Oulu（奥卢大学无线通信中心）
本文提出基于深度强化学习的框架，用于优化混合RIS辅助MIMO通信中的波束成形与RIS配置，以提高频谱效率，同时降低计算复杂度。
2026-04-10 eess.SP
Model-Free Robust Beamforming in Satellite Downlink using Reinforcement Learning
University of Bremen（不来梅大学）；Gauss-Olbers Space Technology Transfer Center, University of Bremen（不来梅大学高斯-奥尔伯斯空间技术转移中心）
针对卫星下行链路非理想信道状态信息下预编码性能下降、解析求解鲁棒预编码困难的问题，提出基于Soft Actor-Critic强化学习的无模型鲁棒波束成形算法，适配多场景且和速率性能优于解析基线，代码已公开。
2025-10-29 eess.SP
Enhancing Secrecy in UAV RSMA Networks: Deep Unfolding Meets Deep Reinforcement Learning
本文研究多无人机RSMA网络中的保密速率最大化问题，提出结合深度展开与DDPG的多智能体深度强化学习框架DUN-DRL，联合优化波束成形、速率分配与轨迹，性能优于现有DRL方法。
2023-09-30 cs.CR cs.ET cs.NI
Joint Trajectory and Passive Beamforming Design for Intelligent Reflecting Surface-Aided UAV Communications: A Deep Reinforcement Learning Approach
研究了智能反射面（IRS）辅助无人机（UAV）通信系统，通过在多个建筑物上安装多个IRS，部署UAV为用户设备（UE）提供服务，以提高UAV与UE之间的通信质量。当UE移动时，通过联合优化无人机的轨迹和IRS反射元件的相移，最大化系统的能量效率，包括UE的数据速率和UAV的能量消耗，并考虑IRS的选择以达到节能的目的。由于系统是复杂的，环境是动态的，这是具有挑战性的低复杂度的算法，通过使用传统的优化方法。为了解决这个问题，我们首先通过离散化轨迹提出了一种基于深度Q网络（DQN）的算法，该算法具有训练时间的优势。此外，我们提出了一种基于深度确定性策略梯度（DDPG）的算法来处理连续轨迹的情况，以获得更好的性能。实验结果表明，该算法实现了相当的性能相比，其他传统的解决方案。
2022-08-30 eess.SP
Hybrid Deep Reinforcement Learning for Joint Resource Allocation in Multi-Active RIS-Aided Uplink Communications
Faculty of IET German university in Cairo（开罗德国大学信息技术工程学院）
本文提出混合深度强化学习框架，用于多主动RIS辅助上行通信中的联合资源分配，通过优化用户功率、RIS配置和基站波束成形以提升最小用户速率。
2025-12-26 eess.SP
Joint Beamforming and Antenna Placement Optimization in Pinching Antenna Systems with User Mobility: A Deep Reinforcement Learning Approach
本文提出利用深度强化学习优化移动用户与 pinch 天线系统之间的波束成形和天线位置，以提升平均速率并满足 QoS 要求，克服非凸性和环境随机性带来的挑战。
2026-05-08 eess.SP
Deep Reinforcement Learning for RIS-Assisted FD Systems: Single or Distributed RIS?
本文研究了可重构智能表面（RIS）辅助的全双工多输入单输出无线系统，其中波束形成和RIS相移被优化以最大化单个和分布式RIS部署方案的和速率。通过三种基于链路质量的实际场景，研究了使用单个或分布式RIS部署方案的偏好。推导出优化波束形成向量的闭式解，并提出了一种新的深度强化学习（DRL）算法来优化RIS相移。仿真结果表明，部署方案的选择取决于场景和链路质量。它进一步表明，该算法显着提高和速率相比，非优化的情况下，在单一和分布式RIS部署方案。此外，所提出的波束形成推导实现了显着的改善相比，在以前的作品近似推导。最后，通过复杂度分析，证明了本文提出的DRL算法与文献中的DRL算法相比，计算复杂度有所降低。
2022-08-15 eess.SP
Multi-User Beamforming with Deep Reinforcement Learning in Sensing-Aided Communication
Department of Electronic Systems, Aalborg University（电子系统系，奥胡斯大学）；Department of Electrical and Computer Engineering, Aarhus University（电气与计算机工程系，奥胡斯大学）
本文针对毫米波通信中移动用户的波束漂移问题，提出基于深度强化学习的多波束动态分配方法，仅依赖感知回波优化波束管理，在无需用户反馈的情况下显著提升吞吐量并对用户速度具有鲁棒性。
2025-05-09 cs.LG cs.NI eess.SP
User Association and Coordinated Beamforming in Cognitive Aerial-Terrestrial Networks: A Safe Reinforcement Learning Approach
针对认知空天地网络中空中用户受地面基站干扰的问题，提出基于安全DRL的用户关联与协调波束成形方案，仅需一次训练即可在干扰阈值约束下提升地面用户和速率。
2025-02-19 cs.IT eess.SP math.IT
A Reinforcement Learning based approach for Multi-target Detection in Massive MIMO radar
Institute of Digital Communication Systems, Ruhr University Bochum（鲁尔大学波鸿分校数字通信系统研究所）；Université Paris-Saclay（巴黎萨克雷大学）；CentraleSupélec（中央理工-高等电力学院）；DR2I-IPSA（DR2I-IPSA机构）；Università di Pisa（比萨大学）
研究了大规模多输入多输出（MMIMO）认知雷达（CR）的多目标检测问题。CR的概念基于感知-行动循环，感知并智能地适应动态环境，以最佳地满足特定任务。然而，这通常需要环境模型的先验知识，而这在大多数情况下是不可用的。提出了一种基于强化学习（RL）的认知多目标检测算法。雷达充当连续感测未知环境的代理（即，目标和干扰）并因此优化发射波形以便通过将能量聚焦在特定的距离-角度单元（即，波束成形）。此外，我们提出了一种解决波束形成优化问题的方法，其复杂度低于现有的方法。数值模拟进行评估所提出的RL为基础的算法在静态和动态环境中的性能。基于RL的波束形成相比，传统的全向方法具有相等的功率分配和自适应波束形成没有RL。正如所提出的数值结果所强调的那样，我们的基于RL的波束形成器在目标检测性能方面优于这两种方法。在环境恶劣的条件下，如低信噪比，重尾干扰和快速变化的情况下，性能改善甚至特别显着。
2021-03-02 cs.LG eess.SP
Deep Reinforcement Learning for RIS-aided Multiuser Full-Duplex Secure Communications with Hardware Impairments
在本文中，我们研究了一个可重构智能表面（RIS）辅助的多用户全双工安全通信系统的收发器和RIS的硬件损伤，其中多个窃听者偷听的双向传输信号同时，和RIS应用，以提高保密性能。以最大化和保密率（SSR）为目标，在基站发射功率约束和移相器单位模约束下，建立了基站发射波束形成和反射波束形成的联合优化问题。由于环境是时变的，系统是高维的，这种非凸优化问题在数学上是难以解决的。探索了一种基于深度强化学习（DRL）的算法，通过与动态环境的反复交互和学习来获得满意的解。大量的仿真结果表明，基于DRL的安全波束形成算法被证明是显着有效的改善SSR。研究还发现，通过选择合适的神经网络参数，可以大大提高DRL方法的性能，加快神经网络的收敛速度。
2022-08-16 cs.IT eess.SP math.IT
Distributed Noncoherent Joint Transmission Based on Multi-Agent Reinforcement Learning for Dense Small Cell MISO Systems
针对密集小小区MISO系统中非相干联合传输和速率最大化的非凸NP难问题，推导最优波束成形结构降维，提出基于深度确定性策略梯度的分布式方案，以更低开销达到接近集中式优化的性能。
2024-09-11 cs.AI cs.NI eess.SP
Hybrid Beamforming for RIS-Empowered Multi-hop Terahertz Communications: A DRL-based Method
太赫兹频带（0.1- 10 THz）中的无线通信被设想为未来第六代（6 G）无线通信系统的关键使能技术之一。然而，太赫兹频率很高的传播衰减和分子散射往往限制了信号的传输距离和覆盖范围。基于可重构智能表面（RIS）在实现智能无线电传播环境方面的突破，提出了一种新的混合波束形成方案，用于多跳RIS辅助通信网络，以提高太赫兹频段的覆盖范围。我们研究了BS处的数字波束成形矩阵和RIS处的模拟波束成形矩阵的联合设计，通过利用深度强化学习（DRL）的最新进展来对抗传播损耗。仿真结果表明，与基准方案相比，该方案能够将THz通信的覆盖范围提高50%以上.此外，它也表明，我们提出的DRL为基础的方法是一个国家的最先进的方法来解决NP-巴德波束成形问题，特别是当信号在RIS授权太赫兹通信网络经历多跳。
2020-09-20 cs.IT cs.LG eess.SP
