Combining Reinforcement Learning and Inverse Reinforcement Learning for Asset Allocation Recommendations
AI Center of Excellence for Asset Management, Fidelity Investments（富达投资资产管理人工智能卓越中心）
我们提出了一种简单实用的方法，将人类和人工智能结合起来，学习基金经理的最佳投资实践，并提供改进建议。我们的方法是基于逆强化学习（IRL）和RL的组合。首先，IRL组件根据基金经理的交易历史来学习他们的意图，并恢复他们的隐含奖励函数。在第二步，直接RL算法使用该奖励函数来优化资产分配决策。我们表明，我们的方法是能够提高个人基金经理的业绩。
2022-01-06 cs.AI cs.LG q-fin.CP
Federated Reinforcement Learning for Resource Allocation in V2X Networks
Imperial College London（帝国理工学院）；Beijing Jiaotong University（北京交通大学）
本文提出联邦强化学习框架PASM，结合强化学习与联邦学习，通过不精确ADMM和自适应步长解决V2X网络资源分配问题，兼顾隐私、通信效率并保证收敛。
2023-10-15 cs.AI cs.LG eess.SP
Multi-Agent Reinforcement Learning for Resources Allocation Optimization: A Survey
University of South Australia（南澳大学）
本文综述了用于资源分配优化（RAO）的最新多智能体强化学习（MARL）算法，涵盖核心概念、分类与结构化分类法，并指出当前挑战与未来方向，以助力工业4.0发展。
2025-04-29 cs.AI cs.LG cs.MA
Modelling resource allocation in uncertain system environment through deep reinforcement learning
Pandit Deendayal Energy University（潘迪特·德恩达亚尔能源大学）
强化学习在机电一体化、机器人等资源受限的控制系统中有着广泛的应用。资源分配问题主要使用传统的预定义技术和现代深度学习方法来解决。用于资源分配的预定义和大多数深度学习方法的缺点是在不确定系统环境的情况下无法满足需求。利用深度强化学习，可以在遵循一定准则的前提下，解决不确定系统环境中的资源分配问题。此外，强化学习具有长时间适应新的不确定环境的能力。本文对各种深度强化学习方法进行了详细的比较分析，通过应用不同的组件来修改强化学习的架构，使用噪声层，优先重放，装袋，决斗网络和其他相关组合，以获得性能的改善和计算成本的降低。通过对给定的资源分配仿真环境的探索，证明了采用Noisy Bagging对偶双深Q网络可以有效解决不确定环境下的资源分配问题，通过最大化报酬，效率达到97.7%.
2021-06-17 cs.AI cs.LG cs.MA
Deep Reinforcement Learning for Asset Allocation: Reward Clipping
SK Inc.(SK C&C)（SK集团（SK C&C））
近年来，有许多尝试将强化学习应用于资产配置，以获得更稳定的利润。在本文中，我们比较了几种强化学习算法-仅演员，演员评论家和PPO模型之间的性能。在此基础上，分析了各种模型的特点，并介绍了改进的算法，即奖励裁剪模型。在金融领域中，特别是在投资组合优化方面，报酬裁剪模型似乎优于其他现有的模型，无论是在牛市还是熊市中，它都具有优势。最后，我们将这些模型与传统投资策略在市场下降和上升期间的表现进行比较。
2023-01-02 cs.AI cs.LG q-fin.CP
Adaptive Rollout Allocation for Online Reinforcement Learning with Verifiable Rewards
The Chinese University of Hong Kong（香港中文大学）；Huawei Hong Kong Research Center（华为香港研究中心）
VIP通过基于方差的预测分配策略提高在线强化学习中可验证奖励的采样效率和性能。
2026-03-05 cs.AI cs.CL cs.LG
ContainerGym: A Real-World Reinforcement Learning Benchmark for Resource Allocation
Ruhr-University Bochum（波鸿鲁尔大学）
ContainerGym 是一个源自真实工业资源分配任务的强化学习基准，可配置不同难度并支持评估多种算法，实验揭示了 PPO、TRPO 和 DQN 的局限性。
2023-07-06 cs.LG
Deep Reinforcement Learning for Resource Allocation in Business Processes
Warsaw University of Technology（华沙理工大学）
业务流程执行中的重复资源是一项可以有效自动化的重复性任务。然而，不同的自动化方法可能会给出不同的结果，这些结果可能不是最佳的。适当的资源分配至关重要，因为它可能导致成本大幅降低或效率提高，从而增加收入。在这项工作中，我们首先提出了一种新的表示，允许建模的多进程环境与不同的基于过程的奖励。这些进程可以共享资格不同的资源。然后，我们使用双深度强化学习来寻找最优的资源分配策略。我们将这些结果与行业中广泛使用的两种流行策略进行比较。通过强化学习学习最优策略需要与环境进行频繁的交互，因此我们还设计并开发了一个可以模拟真实世界过程的仿真引擎。所取得的结果是有希望的。与两种常用技术相比，基于深度强化学习的资源分配取得了明显更好的结果。
2021-03-29 cs.HC cs.LG
Intelligent Bandwidth Allocation for Latency Management in NG-EPON using Reinforcement Learning Methods
Georgia Institute of Technology（佐治亚理工学院）；CableLabs, Inc.（CableLabs公司）
提出了一种基于强化学习的下一代以太网无源光网络（NG-EPON）智能带宽分配方案。我们验证了所提出的方案在固定和动态流量负载情况下实现<1 ms平均延迟的能力。RL代理展示了一种有效的智能机制来管理延迟，这为下一代接入网提供了一个有前途的IBA解决方案。
2020-01-21 cs.LG cs.NI eess.SP
Deep Reinforcement Learning for Dynamic Resource Allocation in Wireless Networks
该研究构建含基站、多天线与用户设备的无线网络环境，利用 RLlib 评估 DQN、PPO 等 DRL 算法，证明算法与学习率显著影响性能且优于传统方法。
2025-03-13 cs.AI cs.DC cs.ET
A reinforcement learning approach to resource allocation in genomic selection
Iowa State University（爱荷华州立大学）
基因组选择（GS）是植物育种者用来选择个体进行交配并产生新一代物种的技术。资源分配是全球服务的一个关键因素。在每个选择周期，育种者都面临着预算分配的选择，以进行杂交和生产下一代育种亲本。受人工智能问题强化学习最新进展的启发，我们开发了一种基于强化学习的算法，可以自动学习在不同的育种世代中分配有限的资源。我们在数学上制定的马尔可夫决策过程（MDP）的框架中的问题，通过定义状态和动作空间。为了避免状态空间的爆炸，提出了一个整数线性规划，量化资源和时间之间的权衡。最后，我们提出一个价值函数近似方法来估计行动价值函数，然后开发一个贪婪的策略改进技术，以找到最佳的资源。我们证明了所提出的方法在提高遗传增益与现实数据的案例研究的有效性。
2021-07-22 cs.AI cs.LG math.OC
Marketing Budget Allocation with Offline Constrained Deep Reinforcement Learning
Ant Group（蚂蚁集团）；Tsinghua University（清华大学）
本文提出一种基于博弈论和混合策略的离线值函数强化学习方法，用于解决营销预算分配问题，该方法只需存储恒定数量策略即可收敛至最优，并在大规模真实营销活动中验证了其优越性。
2023-09-06 cs.LG
Learning List-wise Representation in Reinforcement Learning for Ads Allocation with Multiple Auxiliary Tasks
Meituan（美团）
随着最近强化学习（RL）的流行，人们对利用RL在推荐平台（例如，电子商务和新闻馈送站点）。为了实现更好的分配，最近的基于RL的广告分配方法的输入从逐点的单个项目升级到列表的项目排列。然而，这也导致了状态-动作对的高维空间，使得难以学习具有良好泛化能力的列表式表示。这进一步阻碍了RL代理的探索并导致差的样本效率。为了解决这个问题，我们提出了一种新的基于RL的广告分配方法，该方法通过利用美团外卖平台上的特定任务信号来学习更好的列表表示。具体来说，我们提出了三个不同的辅助任务，分别基于重建，预测，和对比学习根据先验领域知识的广告分配。我们在美团外卖平台上进行了广泛的实验，以评估所提出的辅助任务的有效性。离线和在线实验结果表明，与最先进的基线相比，所提出的方法可以学习更好的列表式表示，并为平台实现更高的收入。
2022-08-11 cs.LG
Situational-Constrained Sequential Resources Allocation via Reinforcement Learning
School of Computer Science and Engineering, University of Electronic Science and Technology of China（电子科技大学计算机科学与工程学院）；The University of Auckland（奥克兰大学）；The University of New South Wales（新南威尔士大学）
针对带情境约束的序贯资源分配难题，提出SCRL框架，将约束形式化为逻辑蕴含式并结合动态惩罚与概率选择机制，在医疗、农业场景中验证其在约束满足与资源效率上优于现有基线。
2025-06-17 cs.AI
Resource Allocation in Disaggregated Data Centre Systems with Reinforcement Learning
University College London（伦敦大学学院）
资源分解数据中心（RDDC）提出了一种以资源为中心的高利用率数据中心（DC）架构，避免了资源碎片化，并允许将任意大小的资源池分配给任务，而不是服务器大小的资源池。RDDC通常对网络提出更高的要求，需要更多的基础设施，并增加成本和功耗，因此，共同管理服务器和网络资源的新资源分配算法对于确保分配不受网络的检查，并且可以用最少的网络资源成功地服务请求至关重要。我们首次将强化学习（RL）应用于这个问题，并表明基于图神经网络的RL策略可以学习端到端的资源分配策略，其接受率、CPU和内存利用率分别比以前的手工设计的策略高出22.0%、42.6%和22.6%，当扩展到RDDC拓扑时，$10^2\times$的节点比训练期间看到的更多，并且可以在使用更少的$5.3\times$网络资源的同时实现与最佳基线相当的性能。
2021-11-11 cs.LG
Deep Reinforcement Learning Architecture for Continuous Power Allocation in High Throughput Satellites
Massachusetts Institute of Technology（麻省理工学院）
在未来几年，卫星宽带市场的服务需求将大幅增长，特别是对于需求激增的移动行业。许多下一代卫星将在功率和带宽分配能力方面配备多个自由度，这使得手动资源分配变得不切实际且效率低下。因此，期望使这些高度灵活的卫星的操作自动化。本文提出了一种基于深度强化学习（DRL）的功率分配方法，将问题表示为连续的状态和动作空间。我们使用邻近策略优化（PPO）算法来优化分配策略，以使未满足的系统需求（USD）和功耗最小。通过对多波束卫星系统的仿真，分析了该算法的性能，结果表明DRL作为一种动态资源分配算法是可行的。
2019-06-03 cs.LG eess.SP stat.ML
Deep Reinforcement Learning for Distributed and Uncoordinated Cognitive Radios Resource Allocation
Kate Gleason College Of Engineering, Rochester Institute of Technology（罗切斯特理工学院凯特·格里森工程学院）；Rochester Institute of Technology（罗切斯特理工学院）
本文提出了一种新的深度强化学习为基础的资源分配技术的多智能体环境中提出的认知无线电网络中的智能体在学习过程中的相互作用可能会导致一个非平稳的环境。在这项工作中提出的资源分配技术是分布式的，不需要与其他代理的协调。通过考虑特定于深度强化学习的方面，所提出的算法在任意长的时间内收敛到非平稳多智能体环境中的平衡策略，该环境是通过共享无线环境无线电之间的不协调动态交互而产生的。仿真结果表明，所提出的技术实现了更快的学习性能相比，一个等效的基于表的Q-学习算法，并能够找到最优策略在99%的情况下，足够长的学习时间。此外，模拟表明，我们的DQL方法需要不到一半的学习步骤，以达到相同的性能作为一个等效的基于表的实现。此外，它表明，使用一个标准的单智能体深度强化学习方法可能无法实现收敛时，在一个不协调的互动多无线电场景使用
2022-05-27 cs.LG
Self-Explaining Reinforcement Learning for Mobile Network Resource Allocation
研究移动网络资源分配问题，核心方法是用自解释神经网络参数化PPO智能体策略并聚合局部解释为全局解释，主要贡献是性能接近最优深度学习方法且显著优于启发式方法，全局解释相关性强，在高风险强化学习中有潜力。
2026-07-23 cs.LG cs.NI
MIX-MAB: Reinforcement Learning-based Resource Allocation Algorithm for LoRaWAN
Amirkabir University of Technology（阿米拉比尔理工大学）；Lappeenranta-Lahti University of Technology（拉彭兰塔-拉赫蒂理工大学）
本文主要从分组投递率（PDR）的角度对资源分配算法进行改进，远程广域网（LoRaWAN）中终端设备（ED）发送的成功接收数据包的数量。设置传输参数会显著影响PDR。采用强化学习（RL），我们提出了一个资源分配算法，使ED配置他们的传输参数以分布式的方式。我们的资源分配问题建模为多臂强盗（MAB），然后解决它提出了一个两阶段的算法名为混合MAB，它包括指数权重的勘探和开发（EXP 3）和连续消除（SE）算法。我们通过仿真结果评估了MIX-MAB的性能，并将其与其他现有方法进行了比较。数值结果表明，该方法在收敛时间和PDR方面都优于已有的方法。
2022-06-07 cs.AI cs.NI
Simplex Decomposition for Portfolio Allocation Constraints in Reinforcement Learning
LMU Munich（慕尼黑大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）
针对约束强化学习处理投资组合配置约束时结果次优的问题，提出基于单纯形分解的CAOSD方法，将约束动作空间转化为无约束问题，在Nasdaq-100数据上表现优于现有CRL基准。
2024-04-16 cs.AI
Deep Reinforcement Learning Based Resource Allocation for Cloud Native Wireless Network
针对云原生无线网络中动态资源分配难题，本文提出基于深度强化学习的两种无模型算法，并在Free5gc测试平台上验证，显著提升网络效率。
2023-05-10 cs.LG cs.NI
Deep Reinforcement Learning for Distributed Uncoordinated Cognitive Radios Resource Allocation
Rochester Institute of Technology（罗切斯特理工学院）
本文提出了一种新的深度强化学习为基础的资源分配技术的多智能体环境中提出的认知无线电网络，通过动态频谱接入（DSA）与主网络共存。在这项工作中提出的资源分配技术是分布式的，不需要与其他代理的协调。所提出的算法是第一个深度强化学习技术，其收敛到平衡的政策，可以显示在非平稳的多智能体环境中，通过共享的无线环境的无线电之间的不协调的动态交互的结果。此外，仿真结果表明，在有限的学习时间内，所提出的技术是能够找到的政策，产生的性能在3%的穷举搜索解决方案，找到最佳的政策，在近70%的情况下。此外，它表明，标准的单智能体深度强化学习可能无法实现收敛时，在非协调，耦合多无线电的情况下使用。
2020-03-06 cs.LG cs.NI stat.ML
RL4ReAl: Reinforcement Learning for Register Allocation
IIT Hyderabad（印度理工学院海得拉巴分校）；Google（谷歌）
我们的目标是利用机器学习，将寄存器分配方面数十年的研究和经验自动化。我们通过在LLVM中嵌入多智能体强化学习算法来解决这个问题，并使用最先进的技术对其进行训练。我们形式化的约束，精确地定义了一个给定的推理集架构的问题，同时确保生成的代码保留语义的正确性。我们还开发了一个基于gRPC的框架，提供了一个模块化的和高效的编译器接口的培训和推理。我们的方法是架构独立的：我们展示了针对Intel x86和ARM AArch64的实验结果。我们的结果匹配或优于LLVM的大量调优的生产级寄存器分配器。
2023-02-06 cs.AR cs.LG cs.PL
Reinforcement Learning for Dynamic Memory Allocation
University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出用强化学习框架动态优化内存分配，通过高级与低级动作空间实验，证明其能匹配或超越传统策略，尤其在对抗性请求模式下，并探索历史感知策略以增强适应性。
2025-10-08 cs.LG cs.OS
An Online Reinforcement Learning Approach to Quality-Cost-Aware Task Allocation for Multi-Attribute Social Sensing
University of Notre Dame（圣母大学）
社会感知已经成为一种新的感知范式，其中人类（或代表他们的设备）共同报告关于物理世界的测量结果。研究了多属性社会感知应用中的质量-成本感知任务分配问题。目标是确定任务分配策略（即，决定何时何地收集感测数据）以实现数据质量和感测成本之间的优化折衷。虽然最近在解决类似问题方面取得了进展，但三个重要挑战尚未得到很好的解决：（i）“在线任务分配”：任务分配方案需要快速响应社会感知中测量变量的潜在大动态;（ii）“多属性约束优化”：在给定测量变量的多个属性的依赖性和约束的情况下，最小化总体感测误差是要解决的重要问题;（iii）“非均匀任务分配成本”：社会感知中的任务分配成本通常具有非均匀分布，这给优化任务分配问题增加了额外的复杂性。本文开发了一个质量-成本-感知在线任务分配（QCO-TA）计划，以解决上述挑战，使用一个原则性的在线强化学习框架。我们评估QCO-TA计划通过一个现实世界的社会传感应用程序和结果表明，我们的计划显着优于国家的最先进的基线方面的传感精度和成本。
2019-09-11 cs.LG stat.ML
Deep Reinforcement Learning for Joint Spectrum and Power Allocation in Cellular Networks
Northwestern University（西北大学）
无线网络运营商通常将其拥有的无线电频谱划分为多个子带。在蜂窝网络中，这些子带然后在许多小区中被重用。为了减轻同信道干扰，联合频谱和功率分配问题通常被公式化以最大化和速率目标。用于解决这种问题的最佳已知算法通常需要瞬时全局信道状态信息和集中式优化器。事实上，这些算法在实践中还没有在具有时变子带的大型网络中实现。深度强化学习算法是解决复杂资源管理问题的有前途的工具。这里的一个主要挑战是频谱分配涉及离散子带选择，而功率分配涉及连续变量。在本文中，提出了一个学习框架，以优化离散和连续的决策变量。具体来说，两个独立的深度强化学习算法被设计为同时执行和训练，以最大化联合目标。仿真结果表明，该方案优于最先进的分数规划算法和以前的解决方案基于深度强化学习。
2020-12-19 cs.IT cs.LG eess.SP
CLARA: A Constrained Reinforcement Learning Based Resource Allocation Framework for Network Slicing
University of California, Davis（加州大学戴维斯分校）；Shanghai Jiao Tong University（上海交通大学）；University of Minnesota（明尼苏达大学）
随着移动网络的激增，我们正在经历一个强大的服务多样化，这需要从现有的网络更大的灵活性。网络切片被提出作为5G和未来网络中资源利用的一种有前途的解决方案，以解决这一迫切需求。在网络切片中，动态资源编排和网络切片管理对于最大化资源利用率至关重要。不幸的是，这个过程太复杂，传统的方法是有效的，由于缺乏准确的模型和动态隐藏结构。我们制定的问题作为一个约束马尔可夫决策过程（CMDP）不知道模型和隐藏结构。此外，我们提出了解决这个问题，使用约束强化学习的资源分配算法的REACH A。特别是，我们分析了累积和瞬时约束，分别使用自适应邻域点策略优化和投影层。评价显示，在有服务需求保证的情况下，联合国A在资源分配方面的业绩明显优于基线。
2021-11-16 cs.LG cs.NI
DeepSlicing: Deep Reinforcement Learning Assisted Resource Allocation for Network Slicing
The University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）；Texas A&M University at Corpus Christi（德克萨斯农工大学科珀斯克里斯蒂分校）；Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））
网络切片使多个虚拟网络能够在同一物理基础设施上运行，以支持5G及更高级别的各种用例。然而，这些用例具有非常不同的网络资源需求，例如，通信和计算，以及各种性能指标，如延迟和吞吐量。为了有效地将网络资源分配给切片，我们提出了DeepSlicing，它集成了交替方向乘法器（ADMM）和深度强化学习（DRL）。DeepSlicing将网络切片问题分解为一个主问题和几个从问题。主问题采用凸优化方法求解，从问题采用DRL方法学习最优资源分配策略。通过网络仿真验证了该算法的性能。
2020-08-19 cs.LG eess.SP
Secure Deep Reinforcement Learning for Dynamic Resource Allocation in Wireless MEC Networks
University of Sydney（悉尼大学）；University of the Sunshine Coast（阳光海岸大学）
针对去中心化无线MEC网络的安全资源分配问题，提出结合RPoS共识协议的BC-DRL框架，通过有约束DRL优化资源分配，在安全性、可靠性和资源利用率上优于基准方法。
2023-12-13 cs.LG cs.NI
Deep Reinforcement Learning with Symmetric Prior for Predictive Power Allocation to Mobile Users
Beihang University（北京航空航天大学）
深度强化学习已被应用于各种无线任务，然而，已知其具有高训练和推理复杂度。在本文中，我们诉诸深度确定性策略梯度（DDPG）算法，以优化预测功率分配之间的K个移动用户请求视频流，最大限度地减少网络的能量消耗下，每个用户的无停顿约束。为了降低DDPG的采样复杂度和模型规模，我们利用了一种演员和评论家网络固有的对称先验：置换不变和等变性质，来设计神经网络。我们的分析表明，DDPG的自由模型参数可以压缩2/K^2。仿真结果表明，当K = 10时，具有对称先验的学习模型达到与香草策略相同的性能所需的情节减少了约三分之一。
2021-02-10 cs.LG cs.NI
A Simple Reinforcement Learning Mechanism for Resource Allocation in LTE-A Networks with Markov Decision Process and Q-Learning
Federal University of Goias（戈亚斯联邦大学）
在无线网络中，资源分配仍然是一个难以处理的问题。不稳定的信道条件和对服务质量（QoS）的业务需求增加了干扰该过程的一些障碍。重要的是，最优策略在考虑频谱效率和其他相关信道问题的同时考虑到每个业务类可用的一些资源。强化学习是一种动态的、有效的方法，可以支持资源分配的完成，从而适当地维持应用的QoS水平。该技术可以跟踪系统状态作为反馈，以提高给定任务的性能。在此，提出了一种简单的强化学习机制，该机制被引入LTE-A网络中，并且旨在沿着调度过程在每个传输时间间隔（TTI）选择和限制关于QoS类别标识符（QCI）分配给每个业务类别的资源的数量。提出的机制实现了一个马尔可夫决策过程（MDP）解决Q-学习算法找到一个最佳的行动状态决策政策。仿真结果表明，该算法具有良好的性能，尤其适用于实时视频应用。
2017-09-27 cs.AI cs.NI
Large scale continuous-time mean-variance portfolio allocation via reinforcement learning
Columbia University（哥伦比亚大学）
提出了一种基于强化学习的大规模Markowitz均值-方差投资组合分配问题的求解方法。通过采用最近开发的连续时间探索控制框架，我们制定了探索MV问题的高维。我们进一步展示了一个多变量高斯反馈策略的最优性，随着时间的衰减方差，在权衡勘探和开发。基于一个可证明的政策改进定理，我们设计了一个可扩展的和数据高效的RL算法，并进行大规模的实证测试，使用的数据从标准普尔500指数的股票。我们发现，我们的方法持续实现超过10%的年化回报率，并且对于月度和每日交易的长期和中期投资而言，它的表现远远优于计量经济学方法和深度RL方法。
2019-08-02 cs.LG math.OC q-fin.PM
Model-Free Reinforcement Learning for Asset Allocation
J.P. Morgan and Chase Co.（摩根大通公司）
资产配置（或投资组合管理）是确定如何将有限预算的资金最佳分配到一系列金融工具/资产（如股票）中的任务。这项研究调查了强化学习（RL）应用于投资组合管理时使用无模型深度RL代理的性能。我们对几个RL代理进行了真实世界股票价格的培训，以学习如何执行资产配置。我们将这些RL代理的性能与一些基线代理进行了比较。我们还比较了RL代理之间的相互关系，以了解哪类代理的性能更好。根据我们的分析，RL代理可以执行投资组合管理的任务，因为它们的性能明显优于两个基线代理（随机分配和均匀分配）。四种RL试剂（A2 C、SAC、PPO和TRPO）的总体表现优于最佳基线MPT。这显示了RL代理发现更有利可图的交易策略的能力。此外，基于价值和基于策略的RL代理之间没有显着的性能差异。演员-评论家型代理人的表现优于其他类型的代理人。此外，在政策代理人表现得更好，因为他们更好地在政策评估和样本效率是不是一个显着的问题，在投资组合管理。这项研究表明，RL代理可以大大改善资产配置，因为他们超越强基线。根据我们的分析，在政策上，演员-评论家RL代理表现出最大的希望。
2022-09-21 cs.LG q-fin.PM
Reclaimer: A Reinforcement Learning Approach to Dynamic Resource Allocation for Cloud Microservices
Ohio University（俄亥俄大学）；University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）；Intel（英特尔）
本文提出Reclaimer深度强化学习模型，通过动态感知微服务运行时变化，在满足QoS前提下最小化CPU核心分配，实验表明其资源节省效果显著优于现有方案。
2023-04-17 cs.DC cs.LG
Optimal Power Allocation for Rate Splitting Communications with Deep Reinforcement Learning
Nanyang Technological University（南洋理工大学）；University of Technology Sydney（悉尼科技大学）；Sungkyunkwan University (SKKU)（成均馆大学）
这封信介绍了一种新的框架，以优化功率分配的用户在速率分裂多址（RSMA）网络。在网络中，针对用户的消息被分成不同的部分，即单个公共部分和各自的私有部分。这种机制使RSMA能够灵活地管理干扰，从而提高能量和频谱效率。虽然RSMA具有突出的优点，但在通信信道的不确定性和发射机对信道信息的了解有限的情况下，优化RSMA的功率分配是非常具有挑战性的。为了解决这个问题，我们首先开发了一个马尔可夫决策过程框架来建模的通信信道的动态。然后，提出了深度强化算法，以找到最佳的功率分配策略的发射机，而不需要任何先验信息的信道。仿真结果表明，在不同的功率和QoS要求下，该方案的平均和速率优于基线方案。
2021-10-05 cs.AI cs.IT cs.NI
Deep-Reinforcement-Learning-Based Scheduling with Contiguous Resource Allocation for Next-Generation Cellular Systems
Intel Corporation（英特尔公司）；Princeton University（普林斯顿大学）
调度在多用户无线通信中起着关键的作用，因为各个用户的服务质量很大程度上取决于分配的无线电资源。提出了一种基于深度强化学习（DRL）的连续频域资源分配调度算法。调度问题被建模为马尔可夫决策过程，并且DRL代理确定在每个RB分配步骤应该调度哪个用户以及该用户的多少个连续RB。状态空间、动作空间和奖励函数经过精心设计，用于训练DRL网络。更具体地说，原来的准连续的动作空间，这是固有的连续的FERMARY，被细化成一个有限的和离散的动作空间，以获得推理延迟和系统性能之间的权衡。仿真结果表明，该算法在具有较低的在线计算复杂性的同时，性能优于其他典型的基线调度算法。
2020-11-26 cs.LG cs.NI eess.SP
Generalizable Resource Allocation in Stream Processing via Deep Reinforcement Learning
Citadel（城堡投资）；New Jersey Institute of Technology（新泽西理工学院）；IBM Research（IBM研究院）
本文研究了流处理中的资源分配问题，在大型分布式系统中，连续的数据流必须得到实时的处理。为了最大化系统吞吐量，将流处理图的计算任务划分到计算设备上的资源分配策略必须同时平衡工作负载分布和最小化通信。由于这个问题的图划分是已知的NP完全的，但实际的流媒体系统的关键，许多基于启发式的算法已经开发，以找到合理的好的解决方案。在本文中，我们提出了一个图形感知的编码器-解码器框架，学习一个通用的资源分配策略，可以适当地分配计算任务的流处理图未观察到的训练数据。我们首次提出利用图嵌入来学习流处理图的结构信息。使用深度强化学习与图形感知解码器联合训练，我们的方法可以有效地为未见过的图形找到优化的解决方案。我们的实验表明，该模型优于METIS，一个国家的最先进的图分割算法，和基于LSTM的编码器-解码器模型，在约70%的测试用例。
2019-11-19 cs.DC cs.LG eess.SP
Deep Learning based Wireless Resource Allocation with Application to Vehicular Networks
Intel Labs（英特尔实验室）；Georgia Institute of Technology（佐治亚理工学院）；Zhejiang University（浙江大学）
长期以来一直认为，明智的资源分配对于减轻干扰、提高网络效率以及最终优化无线通信性能是至关重要的。传统的智慧是将资源分配明确地表述为优化问题，然后利用数学规划来解决问题，以达到一定的最优水平。尽管如此，随着无线网络变得越来越多样化和复杂，例如，在高移动性车载网络中，当前的设计方法面临着重大挑战，因此需要重新思考传统的设计理念。与此同时，深度学习在各个学科都有许多成功的案例，由于其利用数据解决问题的非凡能力，它代表了一种有前途的替代方案。在本文中，我们讨论了使用深度学习进行无线资源分配的关键动机和障碍，并将其应用于车辆网络。我们回顾了最近在无线资源分配中调动深度学习理念并取得令人印象深刻结果的主要研究。我们首先讨论用于资源分配的深度学习辅助优化。然后，我们强调了深度强化学习方法，以解决传统优化框架中难以处理的资源分配问题。我们还确定了一些值得进一步研究的研究方向。
2019-10-01 cs.IT cs.LG math.IT
Delay-aware Resource Allocation in Fog-assisted IoT Networks Through Reinforcement Learning
Virginia Tech（弗吉尼亚理工大学）；China University of Petroleum（中国石油大学）
物联网设备附近的雾节点有望通过将物联网设备的任务卸载到它们来提供低延迟服务。移动物联网由车辆、可穿戴设备和智能手机等移动物联网设备组成。由于时变的信道条件、业务负载和计算负载，提高移动IoT设备的服务质量（QoS）具有挑战性。由于任务延迟由传输延迟和计算延迟组成，我们研究了资源分配（即，包括无线资源和计算资源），以在满足QoS约束的同时最小化所有任务的延迟。我们将资源分配问题转化为一个整数非线性问题，其中既考虑了无线资源，又考虑了计算资源。由于物联网任务是动态的，不同任务的资源分配是相互耦合的，并且获得未来的信息是不切实际的。为此，我们设计了一种在线强化学习算法，根据系统的经验回放数据，实时的做出次优决策。所设计的算法的性能已被广泛的仿真结果所证明。
2020-07-10 cs.DC cs.LG eess.SP
Wireless Resource Allocation with Collaborative Distributed and Centralized DRL under Control Channel Attacks
School of Electrical and Computer Engineering, The University of Sydney（悉尼大学电气与计算机工程学院）
针对CPS控制信道DoS攻击下的无线资源分配问题，提出CDC-DRL算法，通过协同分布式与集中式决策优化资源分配策略，显著优于现有DRL基准。
2024-11-16 cs.IT cs.LG cs.SY
Optimizing Job Allocation using Reinforcement Learning with Graph Neural Networks
EPFL（洛桑联邦理工学院）
针对复杂调度中的作业分配问题，提出结合强化学习与图神经网络的方法，通过试错交互学习自适应策略并利用图结构数据，无需人工标注，在合成与真实数据上优于基线算法，有效优化作业分配。
2025-01-31 cs.LG
RPAF: A Reinforcement Prediction-Allocation Framework for Cache Allocation in Large-Scale Recommender Systems
Kuaishou Technology（快手科技）；Tsinghua University（清华大学）
本文提出了一种基于强化学习的两阶段框架RPAF，通过预测阶段估计缓存价值并利用松弛局部分配器与PoolRank算法解决流式分配问题，在计算预算约束下显著提升了大规模推荐系统的用户参与度。
2024-09-20 cs.IR cs.LG
Deep Reinforcement Model Selection for Communications Resource Allocation in On-Site Medical Care
University of Bremen（不来梅大学）
移动通信技术的更大能力使现场医疗保健能够以前所未有的规模相互连接。然而，将这些关键的、要求苛刻的任务嵌入到已经复杂的移动通信基础设施中证明具有挑战性。本文探讨了一个资源分配的情况下，调度程序必须平衡连接的用户之间的混合性能指标。为了完成这个资源分配任务，我们提出了一个调度器，自适应切换不同的基于模型的调度算法。我们利用深度Q网络来学习为给定情况选择调度范式的好处，结合模型驱动和数据驱动方法的优势。由此产生的合奏调度器是能够结合其组成算法，以最大限度地提高总效用成本函数，同时确保指定的高优先级用户的性能。
2022-01-25 cs.LG cs.NI
Resource Allocation via Model-Free Deep Learning in Free Space Optical Communications
University of Pennsylvania（宾夕法尼亚大学）；Intel Corporation（英特尔公司）
本文研究了在自由空间光通信系统中为减轻信道衰落效应而进行的资源分配问题。资源分配问题被建模为约束随机优化框架，它涵盖了各种FSO场景，包括功率自适应，中继选择和它们的联合分配。在此框架下，我们提出了两个算法，解决FSO资源分配问题。我们首先提出了随机对偶梯度（SDG）算法，该算法通过利用强对偶性来精确地解决问题，但其实现必然需要明确和准确的系统模型。作为替代方案，我们提出了基于SDG算法的原始-对偶深度学习（PDDL）算法，该算法使用深度神经网络（DNN）参数化资源分配策略，并通过原始-对偶方法优化后者。由于DNN的强大代表性，参数化资源分配问题只会导致很小的最优性损失，而且可以在不知道系统模型的情况下实现。一组广泛的数值实验，以证实所提出的算法在FSO资源分配问题。我们证明了其优越的性能和计算效率相比，在连续功率分配和二进制中继选择设置的基线方法。
2021-04-17 cs.LG eess.SP
Bandwidth Allocation for Multiple Federated Learning Services in Wireless Edge Networks
University of Miami（迈阿密大学）
研究了一种联邦学习（FL）系统，其中\textit{multiple} FL服务共存于无线网络中，共享公共无线资源。它填补了现有文献中多个同时FL业务的无线资源分配的空白。我们的方法设计了一个两级资源分配框架，包括\emph{intra-service}资源分配和\emph{inter-service}资源分配。服务内资源分配问题旨在通过优化每个FL服务的客户端之间的带宽分配来最小化FL轮的长度。在此基础上，进一步考虑服务间资源分配问题，其在多个同时FL服务之间分配带宽资源。我们认为合作和自私的FL服务提供商。对于合作FL服务提供商，设计了一种分布式带宽分配算法，以优化多FL服务的整体性能，同时兼顾FL服务间的公平性和客户端的隐私性。针对自私的FL服务提供商，设计了一种新的拍卖方案，FL服务所有者作为投标人，网络提供商作为拍卖人。所设计的拍卖方案在整体FL性能和公平性之间取得了平衡。我们的仿真结果表明，所提出的算法优于其他基准在各种网络条件下。
2021-01-10 cs.LG cs.NI
Deep Learning for Radio Resource Allocation in Multi-Cell Networks
University of Manitoba（曼尼托巴大学）；York University（约克大学）
新兴5G和超5G（B5 G）无线网络的复杂性和异构性增加，将需要从传统的资源分配机制进行范式转变。深度学习（DL）是一种强大的工具，可以通过训练多层神经网络，使用网络数据对资源管理算法进行建模，从而无需进行密集的在线计算即可获得资源分配决策，而在线计算是解决资源分配问题所必需的。在此背景下，本文着重于应用DL来获得多小区网络中的无线电资源分配问题的解决方案。从作为DL模型的深度神经网络（DNN）、相关DNN架构和数据训练过程的简要概述开始，我们提供了在无线电资源分配的上下文中应用DL的现有技术水平的概述。在目标、投入/产出、学习和数据培训方法方面进行了定性比较。然后，我们提出了一个监督DL模型来解决多小区网络中的子带和功率分配问题。使用遗传算法产生的数据，我们首先训练模型，然后测试所提出的模型在预测资源分配解决方案的准确性。仿真结果表明，训练后的DL模型能够提供所需的最优解的时间为86.3%。
2018-08-02 cs.LG cs.NI eess.SP
