Transmit Power Control for Indoor Small Cells: A Method Based on Federated Reinforcement Learning
University of Bristol（布里斯托大学）；Vilicom UK Ltd.（英国Vilicom有限公司）
设置5G小区的发射功率设置一直是一个长期讨论的话题，因为优化的功率设置可以帮助减少干扰并提高用户的服务质量。近年来，基于机器学习（ML），特别是基于强化学习（RL）的控制方法受到了广泛关注。然而，很少有关于训练RL模型的泛化能力的讨论。本文指出，在特定的室内环境中训练的RL代理是依赖于房间的，不能直接服务于新的异构环境。因此，在开放无线接入网（O-RAN）的背景下，本文提出了一种基于联邦强化学习（FRL）的分布式小区功率控制方案。在训练过程中，不同室内环境中的模型被聚合到全局模型，然后中央服务器将更新后的模型广播回每个客户端。该模型也将被用作在新环境中进行自适应训练的基础模型。仿真结果表明，FRL模型与单个RL代理具有相似的性能，且均优于随机功率分配方法和穷举搜索方法。推广试验的结果表明，使用FRL模型作为基础模型，提高了模型在新环境下的收敛速度。
2022-08-31 cs.LG cs.NI
NVCell: Standard Cell Layout in Advanced Technology Nodes with Reinforcement Learning
NVIDIA（英伟达）
由于复杂的设计规则，在先进技术节点中的高质量标准单元布局自动化在当今的行业中仍然具有挑战性。在本文中，我们介绍了一个自动的标准单元布局生成器称为NVCell，可以生成相同的或更小的面积超过90%的单行单元在一个先进的技术节点上的工业标准单元库的布局。NVCell利用强化学习（RL）来修复布线过程中的设计规则违规并生成有效的布局。
2021-07-09 cs.LG
Cellular traffic offloading via Opportunistic Networking with Reinforcement Learning
Institute for Informatics and Telematics, National Research Council（国家研究委员会信息与远程信息处理研究所）
移动电话的广泛普及正在引发移动数据流量的指数增长，这可能在不久的将来甚至在上一代蜂窝网络中引起相当大的流量过载问题。将部分流量卸载到其他网络被认为是一种非常有前途的方法，特别是在本文中，我们考虑通过用户设备的机会网络进行卸载。然而，这种解决方案的性能强烈地依赖于移动节点之间的相遇模式，因此在设计卸载控制算法时应考虑到这一点。在本文中，我们提出了一个自适应卸载解决方案的基础上的强化学习框架，我们评估和比较两个著名的学习算法：演员批评和Q学习的性能。更确切地说，在我们的解决方案中，传播过程的控制器，一旦训练，能够选择适当数量的内容副本注入到机会网络，以保证及时交付的内容给所有感兴趣的用户。我们表明，我们的系统基于强化学习是能够自动学习一个非常有效的策略，以减少蜂窝网络上的流量，而不依赖于任何额外的上下文信息的机会网络。我们的解决方案在一系列不同的移动性设置中实现了比其他最先进方法更高水平的卸载。此外，我们还证明了基于Actor-Critic算法的更精细的学习解决方案比基于Q学习的更简单的解决方案更有效。
2021-10-01 cs.LG cs.NI
Path Design for Cellular-Connected UAV with Reinforcement Learning
School of Electrical and Information Engineering, The University of Sydney（悉尼大学电气与信息工程学院）
研究了蜂窝连接无人机（UAV）的路径设计问题，目标是在保持与蜂窝网络良好连接的同时，最小化其任务完成时间。针对传统的通过公式化和求解优化问题的路径设计方法面临的实际挑战，提出了一种基于强化学习的无人机路径设计算法，该算法应用\emph{temporal-difference}方法直接学习相应马尔可夫决策过程的\emph{state-value function}。该算法被进一步扩展，通过使用线性函数逼近与瓦片编码，以处理大的状态空间。所提出的算法只需要原始测量或模拟生成的信号强度作为输入，适合在线和离线实现。数值结果表明，即使在复杂的城市环境中，所提出的路径设计也可以成功地避免蜂窝网络的覆盖空洞。
2019-05-09 cs.LG cs.NI eess.SP
Context-Aware Mobility Management in HetNets: A Reinforcement Learning Approach
Technische Universität Dresden（德累斯顿工业大学）；University of Oulu（奥卢大学）；Florida International University（佛罗里达国际大学）
在异构网络（HetNet）环境中使用小小区部署预计将成为4G网络及更高网络的关键特征，并且对于提供更高的用户吞吐量和小区边缘覆盖至关重要。然而，由于宏基站和微微基站（BS）的不同覆盖范围大小，这种范式转变在密集网络中引入了额外的要求和挑战。在这些挑战中，用户设备（UE）的切换性能将受到影响，尤其是当高速UE穿越微微小区时。在本文中，我们提出了一个基于协调和上下文感知的移动性管理（MM）的小小区网络使用强化学习的工具的过程。在这里，宏BS和微微BS联合了解其长期流量负载和最佳小区范围扩展，并根据其速度和历史速率（在层之间交换）调度其UE。所提出的方法不仅在UE吞吐量方面优于经典MM，而且还能够实现更好的公平性。平均而言，高达80%的增益是实现UE吞吐量，而切换失败的概率降低了三个因素，所提出的基于学习的MM方法。
2015-05-07 cs.LG cs.NI
Runtime Safety Assurance Using Reinforcement Learning
Stanford University（斯坦福大学）；GE Research（通用电气研究）
非血统自动驾驶仪的适航性和安全性必须得到验证，但正式这样做的成本可能令人望而却步。我们可以通过将安全性保证（RTSA）作为确保安全性的机制来绕过非血统组件的形式化验证。RTSA由一个元控制器组成，它观察非血统组件的输入和输出，并在系统运行时验证正式指定的行为。当系统被触发时，部署经验证的恢复控制器。恢复控制器的设计是安全的，但很可能破坏系统的操作目标，因此RTSA系统必须平衡安全和效率。本文的目的是设计一个元控制器，能够识别不安全的情况下，具有较高的准确性。高维和非线性动态，其中现代控制器部署随着黑盒子性质的名义控制器，使这是一个困难的问题。目前的方法在很大程度上依赖于领域专业知识和人类工程。我们用马尔可夫决策过程（MDP）框架设计RTSA，并使用强化学习（RL）来解决它。我们学习的元控制器在我们的实验中始终表现出优于我们的基线，人类工程方法。
2020-10-20 cs.AI cs.LG cs.SY
CellRFT: Reinforcement Fine-Tuning for Single-Cell Perturbation Modeling
Chinese Academy of Sciences（中国科学院）；Peking University（北京大学）；Renmin University of China（中国人民大学）；University of Chinese Academy of Sciences（中国科学院大学）；Central University of Finance and Economics（中央财经大学）
CellRFT提出强化微调框架，以生物学评估为直接反馈，通过策略梯度优化和分层奖励聚合，提升单细胞扰动预测，并揭示不同生物学标准间的相互作用。
2026-09-18 cs.LG
CellFluxRL: Biologically-Constrained Virtual Cell Modeling via Reinforcement Learning
Stanford University（斯坦福大学）
本文提出CellFluxRL，通过强化学习约束虚拟细胞模型，使其在生物功能、结构有效性及形态正确性方面更符合生物学规律，从而提升虚拟细胞建模的生物意义。
2026-05-20 cs.LG q-bio.QM
Deep-Reinforcement-Learning-Based Scheduling with Contiguous Resource Allocation for Next-Generation Cellular Systems
Intel Corporation（英特尔公司）；Princeton University（普林斯顿大学）
调度在多用户无线通信中起着关键的作用，因为各个用户的服务质量很大程度上取决于分配的无线电资源。提出了一种基于深度强化学习（DRL）的连续频域资源分配调度算法。调度问题被建模为马尔可夫决策过程，并且DRL代理确定在每个RB分配步骤应该调度哪个用户以及该用户的多少个连续RB。状态空间、动作空间和奖励函数经过精心设计，用于训练DRL网络。更具体地说，原来的准连续的动作空间，这是固有的连续的FERMARY，被细化成一个有限的和离散的动作空间，以获得推理延迟和系统性能之间的权衡。仿真结果表明，该算法在具有较低的在线计算复杂性的同时，性能优于其他典型的基线调度算法。
2020-11-26 cs.LG cs.NI eess.SP
A Framework for Automated Cellular Network Tuning with Reinforcement Learning
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
针对始终发生的无线损害调整蜂窝网络性能可以显著提高最终用户的可靠性。在本文中，我们制定蜂窝网络性能调整作为一个强化学习（RL）的问题，并提供了一个解决方案，以提高室内和室外环境的性能。通过利用Q学习的能力来估计未来的性能改进回报，我们提出了两种算法：（1）用于LTE下行语音（VoLTE）的闭环功率控制（PC）和（2）自组织网络（SON）故障管理。VoLTE PC算法使用RL来调整室内基站发射功率，使得用户设备（UE）的信号与干扰加噪声比（SINR）满足目标SINR。它这样做，而UE不必发送功率控制请求。SON故障管理算法使用RL通过配置管理解决网络中的故障来提高室外基站集群的性能。这两种算法都利用来自连接用户的测量、无线损伤和相关配置参数来使用RL解决非凸性能优化问题。仿真结果表明，我们提出的基于RL的算法优于当今的行业标准，在现实的蜂窝通信环境。
2019-12-29 cs.LG cs.NI stat.ML
Using Reinforcement Learning to Allocate and Manage Service Function Chains in Cellular Networks
Centro de Informática（信息中心）；Universidade Federal de Pernambuco（伯南布哥联邦大学）；Universidade de Pernambuco（伯南布哥大学）
预计下一代蜂窝网络将提供一个具有充分移动性的互联社会，以促进社会经济转型。物联网、智慧城市、智慧农业、车载网络、医疗应用等其他技术也将受益于这一演进，每一种场景都有特定的需求，需要不同的网络配置。虚拟化技术是解决这种异构性的关键技术。实际上，网络功能虚拟化（NFV）范例为网络管理器提供了灵活性，根据需求分配资源，并降低了获取和操作成本。此外，可以为给定服务指定网络虚拟功能（VNF）的有序集合，其被称为服务功能链（SFC）。然而，除了服务虚拟化的优势之外，网络性能和可用性预计不会受到其使用的影响。在本文中，我们提出使用强化学习来部署蜂窝网络服务的SFC并管理VNF操作。我们认为SFC由强化学习代理部署，考虑分布式数据中心的场景，其中VNF部署在商品服务器中的虚拟机中。NFV管理涉及创建、删除和重启VNF。其主要目的是考虑到服务器的能耗，减少丢失数据包的数量。我们使用近端策略优化（PPO）算法来实现该代理，初步结果表明，该代理能够分配SFC和管理VNF，减少了丢失数据包的数量。
2020-10-20 cs.LG cs.NI stat.ML
A Lifetime Extended Energy Management Strategy for Fuel Cell Hybrid Electric Vehicles via Self-Learning Fuzzy Reinforcement Learning
建模难度大、模型时变、外部输入不确定是燃料电池混合动力汽车能量管理面临的主要挑战。为降低燃料电池混合动力汽车的燃油消耗，维持电池的长期运行，延长燃料电池系统的使用寿命，提出了一种基于模糊强化学习的能量管理策略。模糊Q学习是一种无模型强化学习，它可以通过与环境的交互来自我学习，因此不需要对燃料电池系统进行建模。此外，燃料电池的频繁启动将减少燃料电池系统的剩余使用寿命。该方法通过在强化学习的奖励中考虑对燃料电池启动次数的惩罚来抑制燃料电池的频繁启动。此外，应用模糊逻辑来近似Q-学习中的价值函数，可以解决连续状态和动作空间问题。最后，基于Python的训练测试平台验证了该方法在初始状态变化、模型变化和驾驶条件变化情况下的有效性和自学习能力的提高。
2023-02-13 cs.AI cs.LG cs.SY
Distributed Deep Reinforcement Learning for Functional Split Control in Energy Harvesting Virtualized Small Cells
CTTC/CERCA（加泰罗尼亚电信技术中心）；Imperial College London（伦敦帝国理工学院）
为了满足对增强网络容量的日益增长的需求，移动网络运营商（MNO）正在部署密集的小型小区基础设施。这反过来又增加了移动网络的功耗，从而影响环境。因此，我们已经看到了最近的趋势，即利用收集的环境能源为移动网络供电，以实现环境和成本效益。在本文中，我们考虑了一个由能量收集器供电并配备可充电电池的虚拟化小小区（vsc）网络，该网络可以根据其能量可用性将基带（BB）功能机会性地卸载到并网边缘服务器。我们制定了相应的网格能量和流量丢弃率最小化问题，并提出了分布式深度强化学习（DDRL）解决方案。vSC之间的协调通过交换电池状态信息来实现。根据电网能耗和流量丢弃率对网络性能进行的评估证实，通过知识交换实现vSC之间的协调可以实现接近最佳的性能。数值结果也证实了所提出的DDRL解决方案提供了更高的网络性能，更好地适应不断变化的环境，以及更高的成本节约相对于表格多智能体强化学习（MRL）解决方案用作基准。
2020-08-07 cs.AI cs.LG cs.MA
Multi-Agent Deep Reinforcement Learning for Resilience Optimization in 5G RAN
University of Rennes 1（雷恩第一大学）；Nokia Standards（诺基亚标准公司）；University of Liverpool（利物浦大学）；Nokia Bell Labs（诺基亚贝尔实验室）；Irisa（IRISA研究所）；Inria（法国国家信息与自动化研究所）
本文提出基于多智能体深度强化学习的方法，通过动态调整天线倾角和发射功率全局优化5G密集多小区网络弹性，显著提升服务可用性和覆盖范围。
2024-07-25 cs.LG cs.NI
Reinforcement Learning for Control of Non-Markovian Cellular Population Dynamics
Carnegie Mellon University（卡内基梅隆大学）；University of Massachusetts Boston（马萨诸塞大学波士顿分校）；IAIFI
本研究应用无模型深度强化学习（RL）控制在非马尔可夫动力学下演化的细胞种群药物给药问题，发现该方法能恢复精确解并在含噪声和动态记忆强度的环境中实现鲁棒控制。
2025-01-28 cs.LG q-bio.PE
Reinforcement Learning Based Vehicle-cell Association Algorithm for Highly Mobile Millimeter Wave Communication
University of Oulu（奥卢大学）；Kyung Hee University（庆熙大学）
车联网（V2X）通信是一个不断增长的通信领域，具有各种用例。研究了毫米波通信网络中的车辆-小区关联问题。目标是最大化每个车辆用户（VUE）的时间平均速率，同时确保所有VUE的目标最低速率以及低信令开销。我们首先制定的用户（车辆）关联问题作为一个离散的非凸优化问题。然后，通过利用机器学习的工具，特别是分布式深度强化学习（DDRL）和异步演员评论算法（A3C），我们提出了一个低复杂度的算法，近似于所提出的优化问题的解决方案。所提出的基于DDRL的算法赋予每个路边单元（RSU）与本地RL代理，选择一个本地的行动的基础上观察到的输入状态。不同RSU的动作被转发到中央实体，中央实体计算全局奖励，然后反馈给RSU。结果表明，每个独立训练的RL执行车辆RSU关联动作，与运行在线复杂算法来解决非凸优化问题相比，具有较低的控制开销和较低的计算复杂性。最后，仿真结果表明，与几种基准设计相比，该方案在总速率方面获得了15%的增益，VUE中断减少了20%.
2020-01-22 cs.LG cs.NI eess.SP
Deep Reinforcement Learning of Cell Movement in the Early Stage of C. elegans Embryogenesis
University of Tennessee（田纳西大学）；Oak Ridge National Laboratory（橡树岭国家实验室）；Sloan-Kettering Institute（斯隆-凯特琳研究所）
细胞运动在C.秀丽线虫的发育是由一个高度复杂的过程来调节的，在这个过程中，一套规则和联系在不同的尺度上形成。以往的研究表明，基于主体的多尺度建模系统可以整合物理和生物规则，为研究发育系统提供新的途径。然而，应用这些系统来模拟细胞运动仍然具有挑战性，需要在正确的尺度上全面了解调控网络。深度学习和强化学习的最新发展为使用3D延时图像探索细胞运动提供了前所未有的机会。我们提出了一种在ABM系统中的深度强化学习方法来表征C中的细胞运动。线虫胚胎发生我们的建模系统捕捉胚胎中细胞运动模式的复杂性，并克服了传统的基于规则的ABM，使用贪婪算法遇到的局部优化问题。我们用两个真实的发育过程测试了我们的模型：通过插入的Cpaaa细胞的前向运动和左右不对称的重排。在第一种情况下，模型结果表明，Cpaaa的嵌入是一个积极的定向细胞运动所造成的连续的影响，从一个较长的距离，而不是被动的运动所造成的邻居细胞的运动。这是因为基于学习的模拟发现，被动运动模型无法将Cpaaa引导到预定义的目的地。在第二种情况下，领导者-追随者机制很好地解释了集体细胞运动模式。这些结果表明，我们将深度强化学习引入ABM的方法可以通过从逆向工程的角度探索细胞迁移路径来测试调控机制。该模型为探索由实时成像生成的大型数据集打开了新的大门。
2018-03-02 cs.LG q-bio.QM
PertMind: Eliciting Emergent Biological Reasoning in LLM via Reinforcement Learning on Cellular Perturbation Data
本研究提出PertMind模型，结合可信轨迹监督初始化与多层面强化信号，以细胞扰动图谱为强化学习环境训练，实现生物推理能力的涌现，且可迁移至多类生物任务。
2026-10-07 cs.AI cs.LG q-bio.QM
T-Cell Receptor Optimization with Reinforcement Learning and Mutation Policies for Precesion Immunotherapy
The Ohio State University（俄亥俄州立大学）；NEC Labs（NEC实验室）；National Research Council Canada（加拿大国家研究委员会）；Baylor College of Medicine（贝勒医学院）；NEC Oncolmmunity AS（NEC肿瘤免疫公司）
T细胞通过识别其表面上展示的外源肽来监测细胞的健康状态。T细胞受体（TCR）是在T细胞表面上发现的蛋白质复合物，能够结合这些肽。这个过程被称为TCR识别，是免疫应答的关键步骤。针对TCR识别优化TCR序列代表了开发个性化治疗以触发杀死癌细胞或病毒感染细胞的免疫应答的基本步骤。在本文中，我们制定了这些优化的TCR搜索作为一个强化学习（RL）的问题，并提出了一个框架TCRPPO的变异政策，使用邻近的政策优化。TCRPPO将TCR突变为可以识别给定肽的有效TCR。TCRPPO利用奖励函数，该奖励函数将突变序列作为有效TCR的可能性与突变序列识别来自肽-TCR相互作用预测因子的肽的概率相结合，所述突变序列是通过基于深度自动编码器的新评分函数测量的。我们将TCRPPO与多种基线方法进行了比较，并证明TCRPPO在产生阳性结合和有效TCR方面显著优于所有基线方法。这些结果证明了TCRPPO用于精确免疫治疗和肽识别TCR基序发现的潜力。
2023-03-02 cs.LG q-bio.QM
Cooperative Deep Reinforcement Learning for Fair RIS Allocation
Institute of Telecommunications TU Wien Vienna, Austria
本文提出基于公平性的协作多智能体强化学习方法，通过动态分配RIS资源提升弱小区性能，实现无线网络中效率与公平的平衡。
2026-03-26 cs.LG cs.MA cs.NI
Anomaly Detection for Scalable Task Grouping in Reinforcement Learning-based RAN Optimization
Samsung AI Center（三星人工智能中心）
针对RAN优化中大量基站的模型训练难题，提出基于异常检测的可扩展强化学习策略库框架，通过评估任务与策略的兼容性实现策略复用，高效构建高性能策略库，适配现实计算约束。
2023-12-06 cs.LG
Opportunities of Hybrid Model-based Reinforcement Learning for Cell Therapy Manufacturing Process Control
Northeastern University（东北大学）；Genentech, Inc.（基因泰克公司）
受细胞治疗制造的关键挑战（包括高复杂性，高不确定性和非常有限的过程观察）的驱动，我们提出了一种基于混合模型的强化学习（RL）来有效地指导过程控制。我们首先创建了一个概率知识图（KG）混合模型，该模型表征了对生物制造过程机制的基于风险和科学的理解，并量化了固有的随机性，例如，批次间差异。它可以捕捉关键特征，包括非线性反应，非平稳动力学和部分观测状态。这种混合模型可以利用现有的机制模型，并促进从异构过程数据的学习。一个计算抽样方法是用来产生量化模型不确定性的后验样本。然后，我们引入了基于混合模型的贝叶斯RL，考虑了固有的随机性和模型的不确定性，以指导最优的，鲁棒的和可解释的动态决策。细胞治疗制造的例子是用来实证证明，所提出的框架可以优于经典的确定性机制模型辅助过程优化。
2022-01-26 cs.LG cs.SY eess.SY
Deep Reinforcement Learning for Joint Spectrum and Power Allocation in Cellular Networks
Northwestern University（西北大学）
无线网络运营商通常将其拥有的无线电频谱划分为多个子带。在蜂窝网络中，这些子带然后在许多小区中被重用。为了减轻同信道干扰，联合频谱和功率分配问题通常被公式化以最大化和速率目标。用于解决这种问题的最佳已知算法通常需要瞬时全局信道状态信息和集中式优化器。事实上，这些算法在实践中还没有在具有时变子带的大型网络中实现。深度强化学习算法是解决复杂资源管理问题的有前途的工具。这里的一个主要挑战是频谱分配涉及离散子带选择，而功率分配涉及连续变量。在本文中，提出了一个学习框架，以优化离散和连续的决策变量。具体来说，两个独立的深度强化学习算法被设计为同时执行和训练，以最大化联合目标。仿真结果表明，该方案优于最先进的分数规划算法和以前的解决方案基于深度强化学习。
2020-12-19 cs.IT cs.LG eess.SP
Maximizing UAV Cellular Connectivity with Reinforcement Learning for BVLoS Path Planning
Sunway University（双威大学）；Universiti Kebangsaan Malaysia（马来西亚国立大学）
提出基于强化学习的超视距蜂窝连接无人机路径规划方法，以最小化飞行距离并最大化蜂窝链路质量，仿真验证了其有效性，可作为离线模块集成于地面控制系统。
2025-10-10 cs.LG cs.RO
Deep Reinforcement Learning for Controlled Traversing of the Attractor Landscape of Boolean Models in the Context of Cellular Reprogramming
University of Warsaw（华沙大学）；IDEAS NCBR
针对湿实验发现细胞重编程策略耗时且成本高的问题，提出一种基于深度强化学习的计算框架，在异步更新模式下构建BNs和PBNs控制问题，引入伪吸引子概念，并在多个模型上验证了其有效性。
2025-03-03 cs.AI cs.LG q-bio.MN
Online Antenna Tuning in Heterogeneous Cellular Networks with Deep Reinforcement Learning
University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们的目标是共同优化天线倾斜角，垂直和水平半功率波束宽度的宏蜂窝在异构蜂窝网络（HetNet）。细胞之间的相互作用，最明显的是由于它们的耦合干扰，使得这种优化非常复杂。利用单代理强化学习（RL）算法进行这种优化变得相当次优，尽管其可扩展性，而多代理RL算法产生更好的解决方案，在牺牲可扩展性。因此，我们提出了一个折衷的算法之间的这两个。具体而言，首先在离线阶段中利用多代理平均场RL算法，以便将信息作为第二（在线）阶段单代理RL算法的特征进行传递，该算法采用深度神经网络来学习用户位置。这种两步方法是实际部署的实用解决方案，它应该自动适应网络中的环境变化。我们的研究结果表明，该算法的性能接近多智能体RL，这需要数百万次试验，数百次在线试验，假设相对较低的环境动态，并表现得比单智能体RL好得多。此外，所提出的算法是紧凑的和可实现的，并根据经验似乎提供了性能保证，无论环境动态的量。
2019-06-17 cs.LG stat.ML
Continual Model-based Reinforcement Learning for Data Efficient Wireless Network Optimisation
Huawei Ireland Research Center（华为爱尔兰研究中心）
本文针对新无线网络站点部署小区级参数优化策略周期过长的问题，提出基于持续强化学习的吞吐量优化方法，在保持优化增益的同时将端到端部署周期缩短两倍。
2024-04-30 cs.LG
Cell-o1: Training LLMs to Solve Single-Cell Reasoning Puzzles with Reinforcement Learning
National Institutes of Health（美国国立卫生研究院）；University of Virginia（弗吉尼亚大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对单细胞注释中批次级推理不足的问题，提出CellPuzzles基准和Cell-o1模型，通过监督微调与批次级奖励强化学习，使7B模型性能超越o1达73%以上。
2025-06-03 cs.AI cs.CE cs.CL
Network Slicing via Transfer Learning aided Distributed Deep Reinforcement Learning
Nokia Bell Labs（诺基亚贝尔实验室）；University of Nebraska Lincoln（内布拉斯加大学林肯分校）；Technical University of Munich（慕尼黑工业大学）
针对网络切片中DRL策略部署受异构小区条件影响的问题，提出基于迁移学习辅助的多智能体深度强化学习方法，通过智能体间相似性分析实现资源划分，并集成迁移学习加速策略部署，实验表明性能、收敛速度和样本效率优于现有方法，且额外增益超过27%。
2023-06-23 cs.LG cs.MA cs.NI
Semantic-Aware Collaborative Deep Reinforcement Learning Over Wireless Cellular Networks
University of Colorado（科罗拉多大学）；Virginia Tech（弗吉尼亚理工学院）
协作式深度强化学习（CDRL）算法可以让多个智能体通过无线网络进行协调，这是一种很有前途的方法，可以实现未来依赖于复杂动态环境中实时决策的智能和自治系统。然而，在实际应用中，由于智能体及其学习任务的异构性、不同的环境、学习的时间限制以及无线网络的资源限制，CDRL面临着许多挑战。为了解决这些挑战，在本文中，提出了一种新的语义感知的CDRL方法，使一组异构的未经训练的代理与语义链接的DRL任务，有效地合作，在资源受限的无线蜂窝网络。为此，提出了一种新的异构联邦DRL（HFDRL）算法选择语义相关的DRL代理的最佳子集进行协作。所提出的方法，然后共同优化的培训损失和无线带宽分配的合作选定的代理，以训练每个代理的时间限制内的实时任务。仿真结果表明，所提出的算法相比，国家的最先进的基线的优越性能。
2022-03-04 cs.IT cs.LG cs.NI
Inter-Cell Network Slicing With Transfer Learning Empowered Multi-Agent Deep Reinforcement Learning
Nokia Bell Labs（诺基亚贝尔实验室）；Technical University of Munich（慕尼黑工业大学）；University of Nebraska-Lincoln（内布拉斯加大学林肯分校）
针对网络切片中的跨小区干扰问题，提出基于迁移学习的多智能体深度强化学习算法TL-DIRP，通过集中训练通用模型并迁移至各智能体进行分布式微调，提升资源分配性能，降低QoS违例率。
2023-06-20 cs.LG cs.MA cs.NI
TCR-GPT: Integrating Autoregressive Model and Reinforcement Learning for T-Cell Receptor Repertoires Generation
School Of Basic Medical Sciences, Fudan University（复旦大学基础医学院）
本文提出TCR-GPT，一个基于仅解码器Transformer的概率模型，结合强化学习调整TCR序列分布，用于生成能识别特定肽段的TCR序列，为靶向免疫疗法和疫苗开发提供支持。
2024-08-02 cs.AI cs.LG
Deep Reinforcement Learning for Scheduling in Cellular Networks
Huawei Technologies（华为技术有限公司）
将人工智能（AI）集成到无线网络中引起了工业界和学术界的极大兴趣。通常的解决方案是替换传统系统中的部分甚至全部模块，这通常由于忽略了专家知识而缺乏效率和鲁棒性。在本文中，我们以基于深度强化学习（DRL）的调度为例，研究专家知识如何帮助蜂窝网络中的AI模块。为了便于研究，开发了一个仿真平台，该平台考虑了链路自适应、反馈等实用机制。除了传统的直接从环境中学习的方法外，我们还提出了两种新的训练DRL Agent的方法，从双AI模块学习和从专家解决方案学习。结果表明，对于考虑调度问题的DRL训练过程，通过引入专家知识，可以在性能和收敛速度上得到改善。因此，与其替换系统中的传统调度模块，不如添加新引入的AI模块，该AI模块能够与传统模块交互并提供更大的灵活性，这是一种更可行的解决方案。
2019-07-23 cs.IT cs.LG math.IT
Reinforcement Learning-based Joint Path and Energy Optimization of Cellular-Connected Unmanned Aerial Vehicles
KTH Royal Institute of Technology（瑞典皇家理工学院）
近年来，无人机（UAV）引起了人们极大的研究兴趣。特别是在物联网领域，具有互联网连接的无人机是主要需求之一。此外，能量约束，即电池限制，是一个瓶颈的无人机，可以限制其应用。我们正在努力解决和解决能源问题。因此，提出了一种用于蜂窝连接的UAV的路径规划方法，该方法将使UAV能够通过在配备有发电站（PS）的某些位置充电来在比其电池范围大得多的区域中规划其路径。除了能量约束之外，还存在禁飞区;例如，由于空对空（A2 A）和空对地（A2 G）干扰，或者由于缺乏必要的连通性，这在UAV的轨迹优化中施加了额外的约束。禁飞区确定了应该避免的不可行区域。我们使用了一个强化学习（RL）分层扩展典型的短程路径规划器，考虑电池充电和解决问题的无人机在长期任务。针对无人机在大范围内飞行的问题进行了仿真，Q-学习算法可以使无人机找到最优路径和补给策略。
2020-11-27 cs.LG eess.SP
Physics-Based Trajectory Design for Cellular-Connected UAV in Rainy Environments Based on Deep Reinforcement Learning
University College Dublin（都柏林大学）；University of Alberta（阿尔伯塔大学）
针对雨天蜂窝连接无人机轨迹设计难题，提出基于物理的电磁模拟与深度强化学习（多步学习、双重Q学习）方法，联合优化飞行时间与信号干扰比，实验验证其在雨天环境中的有效性。
2023-08-31 cs.LG cs.SY eess.SY
Reinforcement Learning-Based Coverage Path Planning with Implicit Cellular Decomposition
LG Electronics（LG电子）
在一个通用的已知环境中的覆盖路径规划被证明是NP难的。当环境未知时，机器人需要依靠在覆盖过程中建立的在线地图信息进行路径规划，因此设计具有合理性能的启发式或近似算法成为一个重要的研究方向。这样的算法在覆盖区域或覆盖成本方面具有次优性能，例如，覆盖时间或能量消耗。在本文中，我们提供了一个系统的分析的覆盖问题，并制定它作为一个最佳的停止时间的问题，覆盖性能和成本之间的权衡明确占。接下来，我们证明了强化学习（RL）技术可以用来解决计算问题。为此，我们提供了一些技术和实际的考虑，以促进RL算法的应用和提高解决方案的效率。最后，通过在网格世界环境和Gazebo模拟器中的实验，我们证明了基于强化学习的算法能够有效地覆盖真实的未知室内环境，并且性能优于当前的最新技术水平。
2021-10-18 cs.AI cs.LG cs.RO
Chemotaxis of sea urchin sperm cells through deep reinforcement learning
Zhejiang University（浙江大学）；Ningbo Institute of Technology, Beihang University（北京航空航天大学宁波研究院）
通过模仿生物微泳者，微机器人可以被设计成在微尺度上完成货物的靶向递送和生物医学操作。然而，使微型机器人在复杂环境中进行机动仍然是一个巨大的挑战。机器学习算法提供了一个工具，以提高机动性和灵活性的合成微型游泳，因此可以帮助我们设计真正智能的微型机器人。在这项工作中，我们研究了海胆精子细胞模型如何在化学引诱剂浓度场中自学习趋化运动。我们采用人工神经网络作为决策代理，并通过深度强化学习（DRL）算法帮助精子细胞发现有效的机动策略。我们的研究结果表明，趋化行为，非常相似的现实的，可以实现的DRL只利用有限的环境信息。在大多数情况下，DRL算法发现了比人类设计的更有效的策略。此外，如果人工神经网络也考虑了额外的流量信息，DRL甚至可以利用外部干扰来促进趋化运动。我们的研究结果提供了见解的海胆精子细胞的趋化过程，也准备指导的智能机动的微型机器人。
2022-08-02 cs.AI cs.LG cs.NE
Distributed Uplink Beamforming in Cell-Free Networks Using Deep Reinforcement Learning
University of Manitoba（曼尼托巴大学）；University of Tübingen（图宾根大学）
新的无线技术的出现以及大规模连接的需求导致了若干技术问题，诸如过度干扰、对信号处理的高计算需求以及冗长的处理延迟。在这项工作中，我们提出了几种用于上行链路无小区网络的波束成形技术，这些技术具有集中式，半分布式和全分布式处理，所有这些都基于深度强化学习（DRL）。首先，我们提出了一种完全集中式波束形成方法，该方法使用具有连续空间的深度确定性策略梯度算法（DDPG）。然后，我们通过在接入点（AP）实现分布式体验来增强这种方法。事实上，我们开发了一个波束成形方案，使用分布式分布式确定性策略梯度算法（D4 PG）与代表分布式代理的AP。最后，为了降低计算复杂度，我们提出了一个完全分布式的波束形成方案，划分AP之间的波束形成计算。结果表明，具有分布式经验的D4 PG方案在不考虑网络规模的情况下获得了最佳性能。此外，所提出的分布式波束形成技术的性能优于DDPG算法与集中式学习，仅用于小规模的网络。随着AP和/或用户数量的增加，DDPG模型的性能优势变得更加明显。此外，在操作阶段，所有DRL模型表现出显着更短的处理时间比传统的梯度下降（GD）的解决方案。
2021-10-21 cs.LG eess.SP
Multi-Agent Deep Reinforcement Learning For Optimising Energy Efficiency of Fixed-Wing UAV Cellular Access Points
无人机（UAV）有望成为下一代通信的固有组成部分，因为它们可以被部署为向地面用户提供无线连接，以补充现有的地面网络。大多数关于使用UAV接入点进行蜂窝覆盖的现有研究考虑旋翼UAV设计（即四轴飞行器）。然而，我们预计固定翼无人机在需要长时间飞行的情况下（例如农村覆盖）更适合用于连接目的，因为与旋翼设计相比，固定翼无人机依赖于更节能的飞行形式。由于固定翼无人机通常无法悬停到位，其部署优化涉及优化其单独的飞行轨迹，使其能够以节能的方式为地面用户提供高质量的服务。在本文中，我们提出了一种多智能体深度强化学习方法，以优化固定翼无人机蜂窝接入点的能效，同时仍允许它们为地面用户提供高质量的服务。在我们的分散方法中，每个无人机都配备了一个决斗深度Q网络（DDQN）代理，可以在一系列时间步长内调整无人机的3D轨迹。通过与邻居协调，无人机以优化整个系统能源效率的方式调整各自的飞行轨迹。我们对一系列启发式轨迹规划策略的性能进行基准测试，并证明我们的方法可以提高系统的能源效率高达70%。
2021-11-03 cs.LG eess.SP
Multi-agent reinforcement learning for intent-based service assurance in cellular networks
Ericsson Research（爱立信研究院）
最近，基于意图的管理在电信网络中受到了很好的关注，这是由于许多用例的严格性能要求。文献中的几种方法采用传统的闭环驱动方法来实现KPI的意图。然而，这些方法考虑每个闭环彼此独立，这降低了组合性能。而且，这种现有方法不容易扩展。多智能体强化学习（MARL）技术在传统闭环控制不足的许多领域显示出了重要的前景，通常用于循环之间的复杂协调和冲突管理。在这项工作中，我们提出了一种基于MARL的方法来实现基于意图的管理，而不需要知道一个模型的底层系统。此外，当存在相互冲突的意图时，MARL代理可以通过优先考虑重要的KPI来隐式地激励循环进行合作并促进权衡，而无需人工交互。在网络仿真器上进行了三种服务的KPI优化实验。结果表明，该系统性能良好，能够满足所有现有的意图时，有足够的资源或优先级的KPI时，资源稀缺。
2022-08-26 cs.AI cs.LG
Simultaneous Navigation and Radio Mapping for Cellular-Connected UAV with Deep Reinforcement Learning
Southeast University（东南大学）；Purple Mountain Laboratories（紫金山实验室）；National University of Singapore（新加坡国立大学）
细胞连接无人机（UAV）是一种很有前途的技术，可以释放未来无人机的全部潜力。然而，如何实现空中无人机的泛在三维（3D）通信覆盖是一个新的挑战。针对这一问题，提出了一种新的覆盖感知导航方法，利用无人机的可控机动性设计其导航/轨迹，以避开蜂窝基站的覆盖盲区，同时完成任务。我们制定了一个无人机轨迹优化问题，以最小化其任务完成时间和预期的通信中断时间的加权和，并提出了一种新的解决方案的基础上，深度强化学习（DRL）技术。为了进一步提高性能，我们提出了一个称为同步导航和无线电映射（SNARM）的新框架，其中无人机的信号测量不仅用于直接训练深度Q网络（DQN），而且还用于创建能够预测感兴趣区域中所有位置的中断概率的无线电地图。因此，这使得能够生成模拟的UAV轨迹并预测它们的预期返回，然后将其用于通过Dyna技术进一步训练DQN，从而大大提高学习效率。
2020-03-17 cs.IT cs.LG eess.SP
Energy Saving for Cell-Free Massive MIMO Networks: A Multi-Agent Deep Reinforcement Learning Approach
Bilkent University（比尔肯大学）；Aalborg University（奥尔堡大学）
本文提出一种多智能体深度强化学习算法，用于无源大规模MIMO网络下行链路动态交通条件下的节能，通过自主控制天线配置和先进睡眠模式选择，降低能耗并减少掉线率。
2026-04-08 cs.AI cs.IT cs.LG
Multi-Agent Reinforcement Learning in NOMA-aided UAV Networks for Cellular Offloading
Queen Mary University of London（伦敦玛丽女王大学）
提出了一种新的框架，蜂窝卸载的帮助下，多个无人机（UAV），而非正交多址接入（NOMA）技术，在每个无人机，以进一步提高频谱效率的无线网络。以吞吐量最大化为目标，建立了联合三维轨迹设计和功率分配的优化问题。由于地面移动用户被认为是连续漫游的，因此需要根据用户的移动及时重新部署无人机。为了解决这一动态问题，首先采用基于K-均值的聚类算法对用户进行周期性划分。然后，提出了一种交互深度Q网络（MDQN）算法来联合确定无人机的最优三维轨迹和功率分配。与传统的DQN算法相比，MDQN算法将多Agent的经验输入到一个共享的神经网络中，并辅以状态抽象，从而缩短了训练时间。仿真结果表明：1）MDQN算法能够在较小的约束条件下收敛，并且在多智能体情况下比传统的DQN算法具有更快的收敛速度; 2）NOMA增强的无人机网络的可达总速率比正交多址接入（OMA）的可达总速率高23%; 3）利用MDON算法设计无人机最优三维航迹，网络总速率比调用圆形航迹和二维航迹分别提高142%和56%。
2020-10-18 cs.LG
Resource Allocation for Mobile Metaverse with the Internet of Vehicles over 6G Wireless Communications: A Deep Reinforcement Learning Approach
Nanyang Technological University（南洋理工大学）
提高人与人之间的交互性和互联性是Metaverse的亮点之一。Metaverse依赖于一种核心方法，即数字孪生，这是一种将物理世界的对象，人，动作和场景复制到虚拟世界的方法。能够在Metaverse中实时和移动地访问与物理世界相关的场景和信息，对于为所有用户开发高度可访问，交互和互连的体验至关重要。这种发展允许来自其他位置的用户访问关于在另一个位置发生的事件的高质量的真实世界和最新信息，并与其他人超交互地进行社交。然而，由于虚拟世界图形的数据量很大，并且需要低延迟传输，因此从Metaverse接收其他人生成的连续、平滑的更新是一项具有挑战性的任务。随着移动增强现实（MAR）技术的发展，即使在移动环境下，用户也可以通过Metaverse以高度交互的方式进行交互。因此，在我们的工作中，我们考虑了一个用户移动车联网（IoV）的环境，通过无线通信从Metaverse服务提供商小区站（MSPCS）下载实时虚拟世界更新。我们设计了一个环境，多个小区站，其中将有一个切换用户的虚拟世界图形下载任务之间的小区站。由于传输延迟是移动性下接收虚拟世界更新的主要问题，我们的工作旨在分配系统资源，以最大限度地减少车辆中的用户从蜂窝基站下载虚拟世界场景所需的总时间。我们利用深度强化学习，并评估算法在不同环境配置下的性能。我们的工作提供了Metaverse在支持AI的6G通信上的用例。
2022-09-27 cs.LG cs.NI eess.SP
Multi-agent Reinforcement Learning for Energy Saving in Multi-Cell Massive MIMO Systems
KTH Royal Institute of Technology（瑞典皇家理工学院）；TOBB ETU（TOBB经济技术大学）
提出基于MAPPO的多智能体强化学习算法，通过多级睡眠模式和天线切换优化多小区大规模MIMO基站能耗，在保持QoS的同时，相比基线策略显著降低功耗并提升能效。
2024-02-05 cs.AI cs.IT cs.LG
Adaptive Height Optimisation for Cellular-Connected UAVs using Reinforcement Learning
Trinity College Dublin（都柏林圣三一学院）；Virginia Tech（弗吉尼亚理工大学）
为蜂窝连接的无人机提供可靠的连接可能非常具有挑战性;它们的性能在很大程度上取决于周围环境的性质，例如地面BS的密度和高度。另一方面，高层建筑物可能阻挡来自地面BS的不期望的干扰信号，从而改善UAV与其服务BS之间的连接性。为了解决无人机在这种环境中的连通性问题，本文提出了一种RL算法，用于动态优化无人机在环境中移动时的高度，其目标是增加其所经历的吞吐量或频谱效率。所提出的解决方案在两种情况下进行评估：使用一系列生成的环境，我们在其中改变BS的数量和建筑密度，并在一个场景中使用从爱尔兰都柏林的实验中获得的真实数据。结果表明，我们提出的基于RL的解决方案提高了6%至41%的无人机的QoS，这取决于场景。我们还得出结论，当飞行高度高于建筑物，建筑物密度的变化对无人机的QoS没有影响。另一方面，BS密度会对UAV QoS产生负面影响，BS数量越多，产生的干扰越多，UAV性能越差。
2022-04-13 cs.LG eess.SP
Joint Path planning and Power Allocation of a Cellular-Connected UAV using Apprenticeship Learning via Deep Inverse Reinforcement Learning
Northern Arizona University（北亚利桑那大学）；Clemson University（克莱姆森大学）；Harvard Medical School（哈佛医学院）；North Carolina State University（北卡罗来纳州立大学）
本文提出基于逆强化学习的学徒学习方法，用于蜂窝连接无人机的联合路径规划与功率分配，在稀疏郊区环境中最大化上行吞吐量并最小化干扰，达到专家级性能且优于行为克隆。
2023-06-15 cs.AI cs.DC cs.GT
Multiple Access in Dynamic Cell-Free Networks: Outage Performance and Deep Reinforcement Learning-Based Design
University of Manitoba（曼尼托巴大学）；University of Toronto（多伦多大学）
在未来的无小区（或无小区）无线网络中，地理区域中的大量设备将在非正交多址接入场景中由大量分布式接入点（AP）同时服务，这些AP与集中式处理池协调。对于这样一个集中式的无小区网络与静态预定义的波束成形设计，我们首先推导出一个封闭形式的表达式的上行链路每用户中断概率。为了显著降低在存在大量设备和AP的情况下联合处理用户信号的复杂度，我们提出了一种新的动态无小区网络架构。在该架构中，分布式AP在一组子组之间被划分（即，聚类），其中每个子组充当配备有分布式天线系统（DAS）的虚拟AP。当簇大小为1时，传统的静态无小区网络是这种动态无小区网络的特殊情况。对于这种动态的无小区网络，我们提出了一个连续的干扰消除（SIC）启用信号检测方法和用户间干扰（IUI）感知DAS的接收分集合并方案。然后，我们制定的一般问题的集群AP和设计的波束成形向量的目标，以最大化的总和速率或最大化的最小速率。为此，我们提出了一种混合深度强化学习（DRL）模型，即深度确定性策略梯度（DDPG）-深度双Q网络（DDQN）模型，以解决低复杂度在线实现的优化问题。DRL模型的总和速率优化显着优于最大化的最小速率方面的平均每用户速率性能。此外，在我们的系统设置中，发现所提出的DDPG-DDQN方案实现通过基于穷举搜索的设计可实现的速率的大约$78\%$。
2020-02-24 cs.IT cs.LG eess.SP
Deep Reinforcement Learning for the Design of Metamaterial Mechanisms with Functional Compliance Control
Seoul National University of Science and Technology（首尔科学技术大学）
本文提出一种基于深度强化学习的柔顺机构设计方法，通过将设计域离散为带铰链连接的单元并结合有限元分析学习最优构型，在门锁和软体夹持器设计中验证了其优于人工设计的效果。
2024-08-08 cs.LG
Investigating Action Encodings in Recurrent Neural Networks in Reinforcement Learning
University of Alberta（阿尔伯塔大学）
本文探讨了在强化学习中如何通过修改循环神经网络架构来整合动作信息，评估了不同方法在多个示例领域中的效果，并讨论了未来发展的挑战。
2026-05-04 cs.LG
A Deep Reinforcement Learning Approach to Efficient Drone Mobility Support
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
无人机在无数应用中的部署越来越多，这依赖于无缝可靠的无线连接来实现无人机的安全控制和操作。蜂窝技术是为空中飞行的无人机提供基本无线服务的关键推动因素。针对地面使用的现有蜂窝网络可以支持低空无人机用户的初始部署，但存在移动性支持等挑战。在本文中，我们提出了一种新的切换框架，提供高效的移动性支持和可靠的无线连接到由地面蜂窝网络服务的无人机。使用深度强化学习的工具，我们开发了一种深度Q-学习算法来动态优化切换决策，以确保无人机用户的鲁棒连接。仿真结果表明，所提出的框架显着减少了发射机的数量，代价是相对于基线情况的信号强度的小损失，其中无人机总是连接到提供最强接收信号强度的基站。
2020-05-11 cs.IT cs.LG math.IT
HyperNCA: Growing Developmental Networks with Neural Cellular Automata
IT University of Copenhagen（哥本哈根信息技术大学）
与深度强化学习代理相反，生物神经网络是通过自组织发展过程生长的。在这里，我们提出了一种新的超网络方法来增长人工神经网络的神经元自动机（NCA）的基础上。受自组织系统和发育生物学信息理论方法的启发，我们证明了我们的HyperNCA方法可以生长能够解决常见强化学习任务的神经网络。最后，我们将探讨如何使用相同的方法来构建能够转换其权重以解决初始RL任务变化的发育变态网络。
2022-04-25 cs.AI cs.LG cs.NE
Optimising Energy Efficiency in UAV-Assisted Networks using Deep Reinforcement Learning
Trinity College Dublin（都柏林圣三一学院）
在这封信中，我们研究了为静态和移动地面用户提供无线覆盖的无人机（UAV）的能效（EE）优化。最近的多智能体强化学习方法使用2D轨迹设计来优化系统的EE，忽略来自附近无人机单元的干扰。我们的目标是通过联合优化每个无人机的3D轨迹、连接用户的数量和消耗的能量，同时考虑干扰，最大限度地提高系统的EE。因此，我们提出了一种合作的多智能体分散式双深度Q网络（MAD-DDQN）方法。我们的方法在EE方面比现有的基线高出55 - 80%。
2022-04-04 cs.DC cs.LG cs.NI
Efficient Drone Mobility Support Using Reinforcement Learning
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Ericsson Research（爱立信研究院）
飞行无人机可用于从监视到包裹递送的广泛应用和服务。为了确保无人机操作的鲁棒控制和安全性，蜂窝网络需要向无人机用户设备（UE）提供可靠的无线连接。迄今为止，现有的移动网络主要是为服务地面UE而设计和优化的，因此使得空中的移动性支持具有挑战性。在本文中，开发了一种新的切换（HO）机制，用于蜂窝连接的无人机系统，以确保强大的无线连接和移动性支持无人机UE。通过利用来自强化学习的工具，使用Q-学习算法来动态优化HO决策，以在空中提供有效的移动性支持。结果表明，所提出的方法可以显着减少（例如，相比于无人机总是连接到最强小区的基线HO方案，在保持连接性的同时减少80%）的HO数量。
2019-11-21 cs.IT cs.LG eess.SP
