Learning List-wise Representation in Reinforcement Learning for Ads Allocation with Multiple Auxiliary Tasks
Meituan(美团)
随着最近强化学习(RL)的流行,人们对利用RL在推荐平台(例如,电子商务和新闻馈送站点)。为了实现更好的分配,最近的基于RL的广告分配方法的输入从逐点的单个项目升级到列表的项目排列。然而,这也导致了状态-动作对的高维空间,使得难以学习具有良好泛化能力的列表式表示。这进一步阻碍了RL代理的探索并导致差的样本效率。为了解决这个问题,我们提出了一种新的基于RL的广告分配方法,该方法通过利用美团外卖平台上的特定任务信号来学习更好的列表表示。具体来说,我们提出了三个不同的辅助任务,分别基于重建,预测,和对比学习根据先验领域知识的广告分配。我们在美团外卖平台上进行了广泛的实验,以评估所提出的辅助任务的有效性。离线和在线实验结果表明,与最先进的基线相比,所提出的方法可以学习更好的列表式表示,并为平台实现更高的收入。
2022-08-11 cs.LG
Memory Allocation in Resource-Constrained Reinforcement Learning
School of Informatics University of Edinburgh(信息学院爱丁堡大学)
本研究探讨资源受限强化学习中内存分配对智能体性能的影响,重点分析MCTS和DQN算法下模型估计与规划间的内存权衡,并评估不同分配在情节式和持续学习场景中的效果。
2025-06-09 cs.AI cs.LG
Resource Allocation in Disaggregated Data Centre Systems with Reinforcement Learning
University College London(伦敦大学学院)
资源分解数据中心(RDDC)提出了一种以资源为中心的高利用率数据中心(DC)架构,避免了资源碎片化,并允许将任意大小的资源池分配给任务,而不是服务器大小的资源池。RDDC通常对网络提出更高的要求,需要更多的基础设施,并增加成本和功耗,因此,共同管理服务器和网络资源的新资源分配算法对于确保分配不受网络的检查,并且可以用最少的网络资源成功地服务请求至关重要。我们首次将强化学习(RL)应用于这个问题,并表明基于图神经网络的RL策略可以学习端到端的资源分配策略,其接受率、CPU和内存利用率分别比以前的手工设计的策略高出22.0%、42.6%和22.6%,当扩展到RDDC拓扑时,$10^2\times$的节点比训练期间看到的更多,并且可以在使用更少的$5.3\times$网络资源的同时实现与最佳基线相当的性能。
2021-11-11 cs.LG
Asset Allocation: From Markowitz to Deep Reinforcement Learning
Open University of Catalonia(加泰罗尼亚开放大学)
资产配置是一种投资策略,旨在根据一定的目标、风险承受能力和投资期限,通过不断地重新分配投资组合的资产,来平衡风险和回报。不幸的是,没有简单的公式可以为每个人找到正确的分配。因此,投资者可能会使用不同的资产配置策略来尝试实现其财务目标。在这项工作中,我们进行了广泛的基准研究,以确定一些优化技术的有效性和可靠性。特别是,我们专注于基于现代投资组合理论的传统方法,以及基于深度强化学习的机器学习方法。我们评估了模型在不同市场趋势下的表现,即,看涨和看跌的市场。为了可重复性,我们在此存储库中提供了代码实现代码。
2022-07-14 cs.AI cs.LG q-fin.PM
Deep Reinforcement Learning Architecture for Continuous Power Allocation in High Throughput Satellites
Massachusetts Institute of Technology(麻省理工学院)
在未来几年,卫星宽带市场的服务需求将大幅增长,特别是对于需求激增的移动行业。许多下一代卫星将在功率和带宽分配能力方面配备多个自由度,这使得手动资源分配变得不切实际且效率低下。因此,期望使这些高度灵活的卫星的操作自动化。本文提出了一种基于深度强化学习(DRL)的功率分配方法,将问题表示为连续的状态和动作空间。我们使用邻近策略优化(PPO)算法来优化分配策略,以使未满足的系统需求(USD)和功耗最小。通过对多波束卫星系统的仿真,分析了该算法的性能,结果表明DRL作为一种动态资源分配算法是可行的。
2019-06-03 cs.LG eess.SP stat.ML
Deep Reinforcement Learning for Distributed and Uncoordinated Cognitive Radios Resource Allocation
Kate Gleason College Of Engineering, Rochester Institute of Technology(罗切斯特理工学院凯特·格里森工程学院);Rochester Institute of Technology(罗切斯特理工学院)
本文提出了一种新的深度强化学习为基础的资源分配技术的多智能体环境中提出的认知无线电网络中的智能体在学习过程中的相互作用可能会导致一个非平稳的环境。在这项工作中提出的资源分配技术是分布式的,不需要与其他代理的协调。通过考虑特定于深度强化学习的方面,所提出的算法在任意长的时间内收敛到非平稳多智能体环境中的平衡策略,该环境是通过共享无线环境无线电之间的不协调动态交互而产生的。仿真结果表明,所提出的技术实现了更快的学习性能相比,一个等效的基于表的Q-学习算法,并能够找到最优策略在99%的情况下,足够长的学习时间。此外,模拟表明,我们的DQL方法需要不到一半的学习步骤,以达到相同的性能作为一个等效的基于表的实现。此外,它表明,使用一个标准的单智能体深度强化学习方法可能无法实现收敛时,在一个不协调的互动多无线电场景使用
2022-05-27 cs.LG
Self-Explaining Reinforcement Learning for Mobile Network Resource Allocation
研究移动网络资源分配问题,核心方法是用自解释神经网络参数化PPO智能体策略并聚合局部解释为全局解释,主要贡献是性能接近最优深度学习方法且显著优于启发式方法,全局解释相关性强,在高风险强化学习中有潜力。
2026-07-23 cs.LG cs.NI
Efficient Reinforcement Learning in Resource Allocation Problems Through Permutation Invariant Multi-task Learning
AStar(新加坡科技研究局);IBM Research(IBM研究院)
现实世界中的强化学习的主要挑战之一是从有限的训练样本中成功学习。我们表明,在某些设置中,可用的数据可以显着增加,通过一种形式的多任务学习,利用任务中的不变性。我们提供了一个理论上的性能界的增益在样本效率在此设置下。这激发了一种新的多任务学习方法,它涉及到一个适当的神经网络架构和优先任务采样策略的设计。我们实证证明了所提出的方法在两个现实世界的顺序资源分配任务中的有效性,这种不变性发生:金融投资组合优化和Meta联邦学习。
2021-02-18 cs.AI cs.LG
A Survey on Applications of Reinforcement Learning in Spatial Resource Allocation
East China Normal University(华东师范大学);University of Dar es Salaam(达累斯萨拉姆大学);Shanghai University of Sport(上海体育大学)
本文针对传统空间资源分配算法计算压力大、难兼顾效率与实时性的问题,全面综述强化学习在该领域的理论方法、应用研究及基本原理,指出未来待解决的关键问题。
2024-03-07 cs.AI cs.LG
Deep Reinforcement Learning for Asset Allocation: Reward Clipping
SK Inc.(SK C&C)(SK集团(SK C&C))
近年来,有许多尝试将强化学习应用于资产配置,以获得更稳定的利润。在本文中,我们比较了几种强化学习算法-仅演员,演员评论家和PPO模型之间的性能。在此基础上,分析了各种模型的特点,并介绍了改进的算法,即奖励裁剪模型。在金融领域中,特别是在投资组合优化方面,报酬裁剪模型似乎优于其他现有的模型,无论是在牛市还是熊市中,它都具有优势。最后,我们将这些模型与传统投资策略在市场下降和上升期间的表现进行比较。
2023-01-02 cs.AI cs.LG q-fin.CP
A Two-stage Reinforcement Learning-based Approach for Multi-entity Task Allocation
Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院)
本文针对动态多实体任务分配问题,提出一种基于相似性的两阶段强化学习方法,通过预分配策略、注意力机制和超参数网络结构避免局部最优并适应任务变化,在多个环境中优于遗传算法且具备零样本泛化能力。
2024-06-29 cs.AI cs.LG
Deep Reinforcement Learning Based Resource Allocation for Cloud Native Wireless Network
针对云原生无线网络中动态资源分配难题,本文提出基于深度强化学习的两种无模型算法,并在Free5gc测试平台上验证,显著提升网络效率。
2023-05-10 cs.LG cs.NI
Optimal Perturbation Budget Allocation for Data Poisoning in Offline Reinforcement Learning
SJTU Paris Elite Institute of Technology(上海交通大学巴黎精英理工学院);Shanghai Jiao Tong University(上海交通大学);Department of Computer Science(计算机科学系)
本文提出一种基于TD误差的全局预算分配攻击策略,有效提升离线强化学习中数据污染攻击的效率与隐蔽性。
2025-12-10 cs.LG
Deep Reinforcement Learning for Distributed Uncoordinated Cognitive Radios Resource Allocation
Rochester Institute of Technology(罗切斯特理工学院)
本文提出了一种新的深度强化学习为基础的资源分配技术的多智能体环境中提出的认知无线电网络,通过动态频谱接入(DSA)与主网络共存。在这项工作中提出的资源分配技术是分布式的,不需要与其他代理的协调。所提出的算法是第一个深度强化学习技术,其收敛到平衡的政策,可以显示在非平稳的多智能体环境中,通过共享的无线环境的无线电之间的不协调的动态交互的结果。此外,仿真结果表明,在有限的学习时间内,所提出的技术是能够找到的政策,产生的性能在3%的穷举搜索解决方案,找到最佳的政策,在近70%的情况下。此外,它表明,标准的单智能体深度强化学习可能无法实现收敛时,在非协调,耦合多无线电的情况下使用。
2020-03-06 cs.LG cs.NI stat.ML
Federated Reinforcement Learning for Resource Allocation in V2X Networks
Imperial College London(帝国理工学院);Beijing Jiaotong University(北京交通大学)
本文提出联邦强化学习框架PASM,结合强化学习与联邦学习,通过不精确ADMM和自适应步长解决V2X网络资源分配问题,兼顾隐私、通信效率并保证收敛。
2023-10-15 cs.AI cs.LG eess.SP
RL4ReAl: Reinforcement Learning for Register Allocation
IIT Hyderabad(印度理工学院海得拉巴分校);Google(谷歌)
我们的目标是利用机器学习,将寄存器分配方面数十年的研究和经验自动化。我们通过在LLVM中嵌入多智能体强化学习算法来解决这个问题,并使用最先进的技术对其进行训练。我们形式化的约束,精确地定义了一个给定的推理集架构的问题,同时确保生成的代码保留语义的正确性。我们还开发了一个基于gRPC的框架,提供了一个模块化的和高效的编译器接口的培训和推理。我们的方法是架构独立的:我们展示了针对Intel x86和ARM AArch64的实验结果。我们的结果匹配或优于LLVM的大量调优的生产级寄存器分配器。
2023-02-06 cs.AR cs.LG cs.PL
Designing high-fidelity multi-qubit gates for semiconductor quantum dots through deep reinforcement learning
Intel Labs(英特尔实验室);Intel Corporation(英特尔公司)
在本文中,我们提出了一个机器学习框架,以设计基于硅中量子点的量子处理器的高保真多量子比特门,量子比特编码在单电子的自旋中。在这种硬件架构中,控制景观是巨大而复杂的,因此我们使用深度强化学习方法来设计最佳控制脉冲,以实现高保真多量子比特门。在我们的学习模型中,模拟器模拟量子点的物理系统并执行系统的时间演化,深度神经网络作为函数逼近器来学习控制策略。我们在系统的全状态空间中演化哈密顿量,并实施现实的约束,以确保实验的可行性。
2020-06-15 cs.LG cs.SY eess.SY
Reinforcement Learning for Dynamic Memory Allocation
University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文提出用强化学习框架动态优化内存分配,通过高级与低级动作空间实验,证明其能匹配或超越传统策略,尤其在对抗性请求模式下,并探索历史感知策略以增强适应性。
2025-10-08 cs.LG cs.OS
A Prescriptive Dirichlet Power Allocation Policy with Deep Reinforcement Learning
ETH Zürich(苏黎世联邦理工学院);Harbin Institute of Technology(哈尔滨工业大学);NASA Ames Research Center(美国国家航空航天局艾姆斯研究中心)
根据系统状况规定最佳操作,从而可能延长剩余使用寿命,对于积极管理复杂系统的可用性、维护和成本具有很大的潜力。强化学习(RL)算法特别适合于这种类型的问题,因为它们具有学习能力。规定性操作的一个特殊情况是功率分配任务,它可以被认为是一个顺序分配问题,其中的动作空间是由单纯形约束。一般连续的行动空间解决这种顺序分配问题仍然是一个开放的研究问题RL算法。在连续动作空间中,强化学习中应用的标准高斯策略不支持单纯形约束,而Gaussian-softmax策略在训练过程中引入了偏差。在这项工作中,我们提出了连续分配任务的Dirichlet策略,并分析了其策略梯度的偏差和方差。我们证明了Dirichlet策略是无偏的,并且比Gaussian-softmax策略提供了更快的收敛速度,更好的性能和更好的超参数鲁棒性。此外,我们证明了所提出的算法的适用性上的规定的操作情况下,我们提出了狄利克雷功率分配政策和评估的一组多个锂离子(Li-I)电池系统的案例研究的性能。实验结果表明,潜在的规定最佳操作,提高多电源系统的效率和可持续性。
2022-01-20 cs.AI cs.LG
An Online Reinforcement Learning Approach to Quality-Cost-Aware Task Allocation for Multi-Attribute Social Sensing
University of Notre Dame(圣母大学)
社会感知已经成为一种新的感知范式,其中人类(或代表他们的设备)共同报告关于物理世界的测量结果。研究了多属性社会感知应用中的质量-成本感知任务分配问题。目标是确定任务分配策略(即,决定何时何地收集感测数据)以实现数据质量和感测成本之间的优化折衷。虽然最近在解决类似问题方面取得了进展,但三个重要挑战尚未得到很好的解决:(i)“在线任务分配”:任务分配方案需要快速响应社会感知中测量变量的潜在大动态;(ii)“多属性约束优化”:在给定测量变量的多个属性的依赖性和约束的情况下,最小化总体感测误差是要解决的重要问题;(iii)“非均匀任务分配成本”:社会感知中的任务分配成本通常具有非均匀分布,这给优化任务分配问题增加了额外的复杂性。本文开发了一个质量-成本-感知在线任务分配(QCO-TA)计划,以解决上述挑战,使用一个原则性的在线强化学习框架。我们评估QCO-TA计划通过一个现实世界的社会传感应用程序和结果表明,我们的计划显着优于国家的最先进的基线方面的传感精度和成本。
2019-09-11 cs.LG stat.ML
Multi-Agent Reinforcement Learning for Resources Allocation Optimization: A Survey
University of South Australia(南澳大学)
本文综述了用于资源分配优化(RAO)的最新多智能体强化学习(MARL)算法,涵盖核心概念、分类与结构化分类法,并指出当前挑战与未来方向,以助力工业4.0发展。
2025-04-29 cs.AI cs.LG cs.MA
Reinforcement Learning on Computational Resource Allocation of Cloud-based Wireless Networks
Trinity College Dublin(都柏林大学三一学院);Dublin City University(都柏林城市大学)
用于物联网(IoT)的无线网络预计将在很大程度上涉及基于云的计算和处理。云端的软件化和集中式信号处理和网络交换可实现灵活的网络控制和管理。在云环境中,动态计算资源分配对于在保持进程性能的同时节省能量是必不可少的。中央处理器(CPU)负载变化的随机特征以及云进程可能的复杂并行化情况使得动态资源分配成为一个有趣的研究挑战。本文将这种动态计算资源分配问题建模为马尔可夫决策过程(MDP),并设计了一个基于模型的学习代理来优化CPU使用率的动态资源分配。在MDP过程中,采用值迭代的方法,使学习代理学习最优策略。为了评估我们的性能,我们分析了两种类型的进程,它们可以在基于云的物联网网络中使用,具有不同级别的并行化能力,即,软件定义无线电(SDR)和软件定义网络(SDN)。结果表明,我们的代理快速收敛到最优策略,在不同的参数设置下稳定地执行,在不同的场景下,与基线算法相比,在节能方面优于或至少等同于基线算法。
2020-10-10 cs.AI cs.LG
CLARA: A Constrained Reinforcement Learning Based Resource Allocation Framework for Network Slicing
University of California, Davis(加州大学戴维斯分校);Shanghai Jiao Tong University(上海交通大学);University of Minnesota(明尼苏达大学)
随着移动网络的激增,我们正在经历一个强大的服务多样化,这需要从现有的网络更大的灵活性。网络切片被提出作为5G和未来网络中资源利用的一种有前途的解决方案,以解决这一迫切需求。在网络切片中,动态资源编排和网络切片管理对于最大化资源利用率至关重要。不幸的是,这个过程太复杂,传统的方法是有效的,由于缺乏准确的模型和动态隐藏结构。我们制定的问题作为一个约束马尔可夫决策过程(CMDP)不知道模型和隐藏结构。此外,我们提出了解决这个问题,使用约束强化学习的资源分配算法的REACH A。特别是,我们分析了累积和瞬时约束,分别使用自适应邻域点策略优化和投影层。评价显示,在有服务需求保证的情况下,联合国A在资源分配方面的业绩明显优于基线。
2021-11-16 cs.LG cs.NI
DeepSlicing: Deep Reinforcement Learning Assisted Resource Allocation for Network Slicing
The University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校);Texas A&M University at Corpus Christi(德克萨斯农工大学科珀斯克里斯蒂分校);Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳))
网络切片使多个虚拟网络能够在同一物理基础设施上运行,以支持5G及更高级别的各种用例。然而,这些用例具有非常不同的网络资源需求,例如,通信和计算,以及各种性能指标,如延迟和吞吐量。为了有效地将网络资源分配给切片,我们提出了DeepSlicing,它集成了交替方向乘法器(ADMM)和深度强化学习(DRL)。DeepSlicing将网络切片问题分解为一个主问题和几个从问题。主问题采用凸优化方法求解,从问题采用DRL方法学习最优资源分配策略。通过网络仿真验证了该算法的性能。
2020-08-19 cs.LG eess.SP
Deep Reinforcement Learning for Joint Spectrum and Power Allocation in Cellular Networks
Northwestern University(西北大学)
无线网络运营商通常将其拥有的无线电频谱划分为多个子带。在蜂窝网络中,这些子带然后在许多小区中被重用。为了减轻同信道干扰,联合频谱和功率分配问题通常被公式化以最大化和速率目标。用于解决这种问题的最佳已知算法通常需要瞬时全局信道状态信息和集中式优化器。事实上,这些算法在实践中还没有在具有时变子带的大型网络中实现。深度强化学习算法是解决复杂资源管理问题的有前途的工具。这里的一个主要挑战是频谱分配涉及离散子带选择,而功率分配涉及连续变量。在本文中,提出了一个学习框架,以优化离散和连续的决策变量。具体来说,两个独立的深度强化学习算法被设计为同时执行和训练,以最大化联合目标。仿真结果表明,该方案优于最先进的分数规划算法和以前的解决方案基于深度强化学习。
2020-12-19 cs.IT cs.LG eess.SP
Secure Deep Reinforcement Learning for Dynamic Resource Allocation in Wireless MEC Networks
University of Sydney(悉尼大学);University of the Sunshine Coast(阳光海岸大学)
针对去中心化无线MEC网络的安全资源分配问题,提出结合RPoS共识协议的BC-DRL框架,通过有约束DRL优化资源分配,在安全性、可靠性和资源利用率上优于基准方法。
2023-12-13 cs.LG cs.NI
Deep Reinforcement Learning with Symmetric Prior for Predictive Power Allocation to Mobile Users
Beihang University(北京航空航天大学)
深度强化学习已被应用于各种无线任务,然而,已知其具有高训练和推理复杂度。在本文中,我们诉诸深度确定性策略梯度(DDPG)算法,以优化预测功率分配之间的K个移动用户请求视频流,最大限度地减少网络的能量消耗下,每个用户的无停顿约束。为了降低DDPG的采样复杂度和模型规模,我们利用了一种演员和评论家网络固有的对称先验:置换不变和等变性质,来设计神经网络。我们的分析表明,DDPG的自由模型参数可以压缩2/K^2。仿真结果表明,当K = 10时,具有对称先验的学习模型达到与香草策略相同的性能所需的情节减少了约三分之一。
2021-02-10 cs.LG cs.NI
Model-Free Reinforcement Learning for Asset Allocation
J.P. Morgan and Chase Co.(摩根大通公司)
资产配置(或投资组合管理)是确定如何将有限预算的资金最佳分配到一系列金融工具/资产(如股票)中的任务。这项研究调查了强化学习(RL)应用于投资组合管理时使用无模型深度RL代理的性能。我们对几个RL代理进行了真实世界股票价格的培训,以学习如何执行资产配置。我们将这些RL代理的性能与一些基线代理进行了比较。我们还比较了RL代理之间的相互关系,以了解哪类代理的性能更好。根据我们的分析,RL代理可以执行投资组合管理的任务,因为它们的性能明显优于两个基线代理(随机分配和均匀分配)。四种RL试剂(A2 C、SAC、PPO和TRPO)的总体表现优于最佳基线MPT。这显示了RL代理发现更有利可图的交易策略的能力。此外,基于价值和基于策略的RL代理之间没有显着的性能差异。演员-评论家型代理人的表现优于其他类型的代理人。此外,在政策代理人表现得更好,因为他们更好地在政策评估和样本效率是不是一个显着的问题,在投资组合管理。这项研究表明,RL代理可以大大改善资产配置,因为他们超越强基线。根据我们的分析,在政策上,演员-评论家RL代理表现出最大的希望。
2022-09-21 cs.LG q-fin.PM
Large scale continuous-time mean-variance portfolio allocation via reinforcement learning
Columbia University(哥伦比亚大学)
提出了一种基于强化学习的大规模Markowitz均值-方差投资组合分配问题的求解方法。通过采用最近开发的连续时间探索控制框架,我们制定了探索MV问题的高维。我们进一步展示了一个多变量高斯反馈策略的最优性,随着时间的衰减方差,在权衡勘探和开发。基于一个可证明的政策改进定理,我们设计了一个可扩展的和数据高效的RL算法,并进行大规模的实证测试,使用的数据从标准普尔500指数的股票。我们发现,我们的方法持续实现超过10%的年化回报率,并且对于月度和每日交易的长期和中期投资而言,它的表现远远优于计量经济学方法和深度RL方法。
2019-08-02 cs.LG math.OC q-fin.PM
Reclaimer: A Reinforcement Learning Approach to Dynamic Resource Allocation for Cloud Microservices
Ohio University(俄亥俄大学);University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校);Intel(英特尔)
本文提出Reclaimer深度强化学习模型,通过动态感知微服务运行时变化,在满足QoS前提下最小化CPU核心分配,实验表明其资源节省效果显著优于现有方案。
2023-04-17 cs.DC cs.LG
Deep Reinforcement Learning for Dynamic Resource Allocation in Wireless Networks
该研究构建含基站、多天线与用户设备的无线网络环境,利用 RLlib 评估 DQN、PPO 等 DRL 算法,证明算法与学习率显著影响性能且优于传统方法。
2025-03-13 cs.AI cs.DC cs.ET
Adaptive Rollout Allocation for Online Reinforcement Learning with Verifiable Rewards
The Chinese University of Hong Kong(香港中文大学);Huawei Hong Kong Research Center(华为香港研究中心)
VIP通过基于方差的预测分配策略提高在线强化学习中可验证奖励的采样效率和性能。
2026-03-05 cs.AI cs.CL cs.LG
A reinforcement learning approach to resource allocation in genomic selection
Iowa State University(爱荷华州立大学)
基因组选择(GS)是植物育种者用来选择个体进行交配并产生新一代物种的技术。资源分配是全球服务的一个关键因素。在每个选择周期,育种者都面临着预算分配的选择,以进行杂交和生产下一代育种亲本。受人工智能问题强化学习最新进展的启发,我们开发了一种基于强化学习的算法,可以自动学习在不同的育种世代中分配有限的资源。我们在数学上制定的马尔可夫决策过程(MDP)的框架中的问题,通过定义状态和动作空间。为了避免状态空间的爆炸,提出了一个整数线性规划,量化资源和时间之间的权衡。最后,我们提出一个价值函数近似方法来估计行动价值函数,然后开发一个贪婪的策略改进技术,以找到最佳的资源。我们证明了所提出的方法在提高遗传增益与现实数据的案例研究的有效性。
2021-07-22 cs.AI cs.LG math.OC
(DEMO) Deep Reinforcement Learning Based Resource Allocation in Distributed IoT Systems
Graduate School of Informatics and Engineering, The University of Electro-Communications(信息与工程研究生学校,电子通信大学)
本文针对分布式物联网系统中真实数据训练DRL模型的不足,提出一种利用ACK反馈在实际环境中训练DRL模型进行信道选择的新框架,并通过帧成功率评估验证其可行性与有效性。
2025-09-21 cs.AI cs.LG
Deep-Reinforcement-Learning-Based Scheduling with Contiguous Resource Allocation for Next-Generation Cellular Systems
Intel Corporation(英特尔公司);Princeton University(普林斯顿大学)
调度在多用户无线通信中起着关键的作用,因为各个用户的服务质量很大程度上取决于分配的无线电资源。提出了一种基于深度强化学习(DRL)的连续频域资源分配调度算法。调度问题被建模为马尔可夫决策过程,并且DRL代理确定在每个RB分配步骤应该调度哪个用户以及该用户的多少个连续RB。状态空间、动作空间和奖励函数经过精心设计,用于训练DRL网络。更具体地说,原来的准连续的动作空间,这是固有的连续的FERMARY,被细化成一个有限的和离散的动作空间,以获得推理延迟和系统性能之间的权衡。仿真结果表明,该算法在具有较低的在线计算复杂性的同时,性能优于其他典型的基线调度算法。
2020-11-26 cs.LG cs.NI eess.SP
Deep Reinforcement Learning for Efficient and Fair Allocation of Health Care Resources
Northwestern University(西北大学);Princeton University(普林斯顿大学)
本研究提出基于transformer的深度Q网络,通过整合患者疾病进展与交互效应优化重症监护资源分配策略,在呼吸机短缺下显著降低超额死亡并提升分配公平性。
2024-08-22 cs.AI cs.LG
Graph Neural Network Aided Deep Reinforcement Learning for Resource Allocation in Dynamic Terahertz UAV Networks
Terahertz Wireless Communications (TWC) Laboratory, Shanghai Jiao Tong University(太赫兹无线通信实验室,上海交通大学);Cooperative Medianet Innovation Center (CMIC), School of Information Science and Electronic Engineering, Shanghai Jiao Tong University(协同中继网络创新中心,信息科学与电子工程学院,上海交通大学)
本文提出GLOVE算法,将图神经网络与深度强化学习结合,通过自节点特征强调和多任务协同训练,解决动态太赫兹无人机网络中功率与天线阵列的联合资源分配问题,在资源效率和时延上优于基准方法并保持零丢包。
2025-05-08 cs.LG
Reinforcement Learning Based Resource Allocation for Network Slices in O-RAN Midhaul
University of Ottawa(渥太华大学)
网络切片设想第五代(5G)移动网络资源分配基于对不同服务的不同要求,例如超可靠低延迟通信(URLLC)和增强型移动宽带(eMBB)。开放无线接入网(O-RAN)通过将功能模块化为独立的组件,提出了开放和分散的RAN概念。O-RAN的网络切片可以显著提高性能。因此,在这项研究中,提出了一种先进的资源分配解决方案,在O-RAN网络切片应用强化学习(RL)。这项研究展示了一个RL兼容的简化边缘网络模拟器,它包含三个组件:用户设备(UE)、边缘O-Cloud和区域O-Cloud。此模拟器稍后用于发现如何通过动态分配来自其他切片的未使用带宽来提高目标网络切片的吞吐量。增加某些网络切片的吞吐量还可以使终端用户受益于更高的平均数据率、峰值速率或更短的传输时间。结果表明,RL模型可以提供一个高峰值速率和更短的传输时间URLLC相比,平衡和eMBB焦点基线的eMBB业务。
2022-11-14 cs.LG cs.NI
Action-Constrained Reinforcement Learning for Frame-Level Bit Allocation in HEVC/H.265 through Frank-Wolfe Policy Optimization
National Yang Ming Chiao Tung University(国立阳明交通大学)
本文提出了一种强化学习(RL)框架,该框架利用Frank-Wolfe策略优化来解决HEVC/H.265的帧级比特分配。大多数以前的基于RL的方法采用单批评的设计,加权失真最小化和率正则化的经验选择的超参数的奖励。最近,提出了双批评设计,通过交替的速率和失真的批评,更新演员网络。然而,训练的收敛性并不能得到保证。为了解决这个问题,我们引入神经Frank-Wolfe策略优化(NFWPO),将帧级比特分配作为一个动作约束的RL问题。在这个新的框架中,率评论家服务于指定一个可行的动作集,和失真评论家更新的演员网络朝着最大化的重建质量,同时符合动作约束。实验结果表明,当训练优化视频多方法评估融合(VMAF)度量时,我们基于NFWPO的模型优于单批评和双批评方法。它还展示了与x265的2遍平均比特率控制相当的率失真性能。
2022-03-10 cs.LG eess.IV
Reinforcement-Learning Portfolio Allocation with Dynamic Embedding of Market Information
University of California at Berkeley(加州大学伯克利分校);Antai College of Economics & Management, Shanghai Jiao Tong University(上海交通大学安泰经济与管理学院)
本文提出结合生成式自编码器与在线元学习的强化学习投资组合分配框架,通过动态嵌入高维非平稳市场信息实现降维,实证表明其在美国前500只股票上优于基准与PTO方法,并在市场动荡期有效降低风险敞口。
2025-01-29 cs.LG q-fin.PM
Deep Page-Level Interest Network in Reinforcement Learning for Ads Allocation
Meituan(美团);Tsinghua University(清华大学)
广告和有机项目的混合列表通常显示在饲料中,如何分配有限的插槽,以最大限度地提高整体收入是一个关键问题。同时,用历史行为对用户偏好进行建模在推荐和广告中是必不可少的(例如,CTR预测和广告分配)。大多数先前的用户行为建模工作仅对用户的历史点级正反馈(即,点击),忽略了页面级信息的反馈和其他类型的反馈。为此,我们提出了深度页面级兴趣网络(DPIN)来建模页面级用户偏好,并利用多种类型的反馈。具体而言,我们引入了四种不同类型的页面级反馈作为输入,并通过多通道交互模块捕获用户在不同感受野下对项目排列的偏好。通过在美团外卖平台上进行大量的线下和线上实验,我们证明了DPIN可以有效地建模页面级别的用户偏好,并增加平台的收入。
2022-04-01 cs.LG
Generalizable Resource Allocation in Stream Processing via Deep Reinforcement Learning
Citadel(城堡投资);New Jersey Institute of Technology(新泽西理工学院);IBM Research(IBM研究院)
本文研究了流处理中的资源分配问题,在大型分布式系统中,连续的数据流必须得到实时的处理。为了最大化系统吞吐量,将流处理图的计算任务划分到计算设备上的资源分配策略必须同时平衡工作负载分布和最小化通信。由于这个问题的图划分是已知的NP完全的,但实际的流媒体系统的关键,许多基于启发式的算法已经开发,以找到合理的好的解决方案。在本文中,我们提出了一个图形感知的编码器-解码器框架,学习一个通用的资源分配策略,可以适当地分配计算任务的流处理图未观察到的训练数据。我们首次提出利用图嵌入来学习流处理图的结构信息。使用深度强化学习与图形感知解码器联合训练,我们的方法可以有效地为未见过的图形找到优化的解决方案。我们的实验表明,该模型优于METIS,一个国家的最先进的图分割算法,和基于LSTM的编码器-解码器模型,在约70%的测试用例。
2019-11-19 cs.DC cs.LG eess.SP
Delay-aware Resource Allocation in Fog-assisted IoT Networks Through Reinforcement Learning
Virginia Tech(弗吉尼亚理工大学);China University of Petroleum(中国石油大学)
物联网设备附近的雾节点有望通过将物联网设备的任务卸载到它们来提供低延迟服务。移动物联网由车辆、可穿戴设备和智能手机等移动物联网设备组成。由于时变的信道条件、业务负载和计算负载,提高移动IoT设备的服务质量(QoS)具有挑战性。由于任务延迟由传输延迟和计算延迟组成,我们研究了资源分配(即,包括无线资源和计算资源),以在满足QoS约束的同时最小化所有任务的延迟。我们将资源分配问题转化为一个整数非线性问题,其中既考虑了无线资源,又考虑了计算资源。由于物联网任务是动态的,不同任务的资源分配是相互耦合的,并且获得未来的信息是不切实际的。为此,我们设计了一种在线强化学习算法,根据系统的经验回放数据,实时的做出次优决策。所设计的算法的性能已被广泛的仿真结果所证明。
2020-07-10 cs.DC cs.LG eess.SP
Cooperative Deep Reinforcement Learning for Fair RIS Allocation
Institute of Telecommunications TU Wien Vienna, Austria
本文提出基于公平性的协作多智能体强化学习方法,通过动态分配RIS资源提升弱小区性能,实现无线网络中效率与公平的平衡。
2026-03-26 cs.LG cs.MA cs.NI
Computation Offloading and Resource Allocation in F-RANs: A Federated Deep Reinforcement Learning Approach
Southeast University(东南大学);Harbin Institute of Technology(哈尔滨工业大学);University of Oulu(奥卢大学)
雾无线电接入网络(F-RAN)是一项很有前途的技术,其中用户移动设备(MD)可以将计算任务卸载到附近的雾接入点(F-AP)。由于F-AP的资源有限,设计一个有效的任务卸载方案是非常重要的。考虑时变网络环境,以任务执行延迟和MD能耗最小为目标,提出了F-RAN中的动态计算卸载和资源分配问题.为了解决这个问题,提出了一种基于联合深度强化学习(DRL)的算法,其中深度确定性策略梯度(DDPG)算法在每个F-AP中执行计算卸载和资源分配。为了降低训练过程的计算复杂度和保护用户隐私,采用联邦学习对DDPG代理进行训练。仿真结果表明,与现有的其他策略相比,所提出的联邦DDPG算法可以更快地实现更低的任务执行延迟和能量消耗的MD。
2022-06-13 cs.AI cs.LG cs.NI
Deep Reinforcement Learning-Based Channel Allocation for Wireless LANs with Graph Convolutional Networks
Kyoto University(京都大学)
去年,IEEE 802.11极高吞吐量研究组(EHT Study Group)成立,以发起对IEEE 802.11新特性的讨论。EHT研究小组讨论了无线局域网(WLAN)中接入点(AP)的协调控制方法。本研究提出了一种使用图卷积网络(GCN)的基于深度强化学习的信道分配方案。作为一种深度强化学习方法,我们使用了一种著名的方法双深度Q网络。在密集部署的无线局域网中,AP的可用拓扑结构的数量是非常高的,因此,我们提取的拓扑结构的特征的基础上GCN。我们将GCN应用到竞争图中,其中在其载波侦听范围内的AP被连接以提取载波侦听关系的特征。此外,为了提高学习速度,特别是在学习的早期阶段,我们采用了基于博弈论的方法来收集独立于神经网络模型的训练数据。仿真结果表明,与现有的方法相比,该方法可以适当地控制信道。
2019-05-17 cs.LG cs.NI eess.SP
Generalization of Deep Reinforcement Learning for Jammer-Resilient Frequency and Power Allocation
Marconi-Rosenblatt AI/ML Innovation Laboratory(马可尼-罗森布拉特人工智能/机器学习创新实验室);ANDRO Computational Solutions, LLC(ANDRO计算解决方案有限责任公司)
针对深度强化学习模型在无线网络中泛化能力不足的问题,提出增强训练方法,在分布式多智能体抗干扰场景下提升频率与功率分配的泛化性能,并通过软件定义无线电空中验证。
2023-05-06 cs.LG cs.NI
Hybrid Transfer in Deep Reinforcement Learning for Ads Allocation
Meituan(美团)
广告分配是指将广告和有机项目分配到Feed中的有限位置,以最大化平台收入为目的,已成为研究热点。请注意,电子商务平台通常有多个入口用于不同的类别,有些入口的访问量很少。来自这些入口的数据覆盖率很低,这使得代理很难学习。为了应对这一挑战,我们提出了基于相似性的广告分配混合传输(SHTAA),它有效地将样本和知识从数据丰富的入口转移到数据贫乏的入口。具体来说,我们定义了一个不确定性感知的相似性MDP估计不同入口的MDP的相似性。基于这种相似性,我们设计了一种混合迁移方法,包括实例迁移和策略迁移,有效地将样本和知识从一个入口转移到另一个入口。在美团外卖平台上进行的线下和线上实验表明,该方法能够在数据贫乏的入口上获得更好的性能,并增加平台的收入。
2022-08-11 cs.IR cs.LG
SERA: Scale-Equalized Rollout Allocation for Maximum Likelihood Reinforcement Learning
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Nanyang Technological University(南洋理工大学)
SERA通过重新分配固定回放预算以均衡有限回放尺度因子,解决MaxRL中低成功提示梯度衰减问题,提升梯度对齐与解覆盖率。
2026-09-30 cs.AI cs.LG
A Game-Theoretic Spatio-Temporal Reinforcement Learning Framework for Collaborative Public Resource Allocation
针对公共资源分配中缺乏容量感知协作的问题,提出CPRA问题并构建GSTRL框架,通过势博弈理论逼近纳什均衡,捕捉时空动态,在真实数据集上表现优越。
2026-09-29 cs.CY cs.LG
Adaptive Reinforcement Learning for Dynamic Configuration Allocation in Pre-Production Testing
University of California, Santa Cruz(加州大学圣克鲁兹分校)
本文提出一种将配置分配重构为序列决策问题的强化学习框架,首次结合Q学习与混合奖励设计,并开发自适应在线-离线训练方案,在模拟中优于静态基线,接近最优性能。
2025-10-02 cs.LG cs.SE stat.ML
A Multi-Agent Reinforcement Learning Method for Impression Allocation in Online Display Advertising
Alibaba Group(阿里巴巴集团)
在在线展示广告中,保证合同和实时竞价(RTB)是出版商销售展示的两种主要方式。尽管RTB越来越受欢迎,但仍有一半的在线展示广告收入来自担保合同。因此,通过保证合同和RTB同时销售展示是出版商最大化其收益的直接选择。然而,得出分配印象的最佳策略并不是一项简单的任务,特别是当现实世界中的应用环境不稳定时。在本文中,我们制定的印象分配问题作为一个拍卖问题,每个合同可以提交虚拟投标的个人印象。有了这个公式,我们通过求解合同的最优投标函数来获得最优印象分配策略。由于合同的出价是由出版商决定的,我们提出了一个多智能体强化学习(MARL)的方法来获得合作政策的出版商,以最大限度地提高其产量在一个不稳定的环境。该方法还解决了MARL中常见的输入维爆炸、奖励信用分配和非平稳环境等问题。在大规模真实数据集上的实验验证了该方法的有效性。
2018-09-10 cs.AI cs.GT cs.LG
Network Resource Allocation Strategy Based on Deep Reinforcement Learning
State Grid Shandong Electric Power Research Institute(国网山东省电力科学研究院);China University of Petroleum (East China)(中国石油大学(华东))
传统互联网在为新兴技术需求分配网络资源方面遇到了瓶颈。网络虚拟化(NV)技术作为未来的网络体系结构,其支持的虚拟网络嵌入(VNE)算法在解决资源分配问题方面显示出巨大的潜力。结合高效的机器学习(ML)算法,构建了接近底层网络环境的神经网络模型,对强化学习Agent进行训练。针对现有启发式算法映射结果容易收敛于局部最优解的问题,提出一种基于深度强化学习(DRL)的两阶段VNE算法(TS-DRL-VNE)。针对现有的基于ML的VNE算法往往忽视底层网络表示和训练模式的重要性的问题,提出了一种基于全属性矩阵的DRL VNE算法(FAM-DRL-VNE)。针对现有VNE算法往往忽略虚拟网络请求间底层资源变化的问题,提出了一种基于矩阵扰动理论的DRL VNE算法(MPT-DRL-VNE)。实验结果表明,该算法优于其他算法。
2022-02-03 cs.DC cs.LG cs.NI
Rule-Bottleneck Reinforcement Learning: Joint Explanation and Decision Optimization for Resource Allocation with Language Agents
Harvard John A. Paulson School of Engineering and Applied Sciences(哈佛大学约翰·A·保尔森工程与应用科学学院);Harvard T.H. Chan School of Public Health(哈佛大学陈曾熙公共卫生学院);Google DeepMind(谷歌DeepMind)
针对深度RL策略缺乏透明度、语言智能体决策有效性不足的问题,提出RBRL框架,联合优化决策与解释,在真实场景中性能媲美深度RL且效率优于LLM微调,解释质量获提升。
2025-02-15 cs.AI cs.LG