Time-Varying Constraint-Aware Reinforcement Learning for Energy Storage Control
Electronics and Telecommunications Research Institute (ETRI)（电子通信研究院（ETRI））
针对储能连续充放电及随SoC变化的可行范围约束，提出带额外动作范围学习目标的连续强化学习方法，提升储能利用率与控制效果。
2024-05-17 cs.AI cs.LG
Comparing Traditional and Reinforcement-Learning Methods for Energy Storage Control
Technion—Israel Institute of Technology（以色列理工学院）
本文比较了传统方法和强化学习方法在储能管理中的性能权衡，基于简化的微电网模型考察了复杂度递增的三个用例，详细阐述了各用例的公式与优化挑战，并探讨了两种方法的适用场景及未来研究方向。
2025-05-31 cs.AI cs.LG
Arbitrage of Energy Storage in Electricity Markets with Deep Reinforcement Learning
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Virginia Tech（弗吉尼亚理工学院暨州立大学）；South China University of Technology（华南理工大学）
在这封信中，我们解决的问题，控制储能系统（ESS）的套利在实时电力市场价格不确定性。我们首先将这个问题公式化为马尔可夫决策过程，然后开发基于深度强化学习的算法来学习随机控制策略，该策略将一组由递归神经网络处理的可用信息映射到ESS的充电/放电动作。最后，我们使用PJM的实时电价验证了我们的算法的有效性。
2019-05-04 cs.LG math.OC stat.ML
Explainable AI: Deep Reinforcement Learning Agents for Residential Demand Side Cost Savings in Smart Grids
IIT Bombay（印度理工学院孟买分校）
受深度强化学习（RL）最新进展的启发，我们开发了一个RL代理来管理家庭中存储设备的操作，旨在最大限度地节省需求方的成本。所提出的技术是数据驱动的，RL代理从头开始学习如何有效地使用给定可变费率结构的储能设备。在大多数研究中，RL agent被认为是一个黑盒子，agent是如何学习的往往被忽略。我们解释了RL代理的学习过程，以及它根据存储设备的容量所遵循的策略。
2019-10-30 cs.AI cs.GT cs.LG
Reinforcement Learning for Battery Energy Storage Dispatch augmented with Model-based Optimizer
Washington State University（华盛顿州立大学）
强化学习已被发现在解决电力分配系统中的最优潮流（OPF）问题中是有用的。然而，使用完全忽略基于物理的电网建模的基本上无无模型强化学习算法会损害优化器性能并带来可扩展性挑战。本文提出了一种新的方法，协同结合基于物理的模型和基于学习的算法，使用模仿学习来解决分布级的最优潮流问题。具体而言，我们提出了基于模仿学习的改进深度强化学习（DRL）方法，以解决配电系统中电池存储调度的特定情况下的OPF问题。提出的模仿学习算法使用从线性化的基于模型的OPF求解器获得的近似最优解，为DRL算法提供良好的初始策略，同时提高训练效率。所提出的方法的有效性证明了使用IEEE 34总线和123总线配电馈线与众多的分布式级电池存储系统。
2021-09-02 cs.AI cs.LG cs.SY
Dynamic Optimization of Storage Systems Using Reinforcement Learning Techniques
University of California, Irvine, Irvine, USA（加州大学尔湾分校）；Columbia University, New York, USA（哥伦比亚大学）
本文提出RL-Storage框架，利用深度Q学习从实时I/O模式中动态优化缓存大小、队列深度和预读设置等存储参数，以解决传统启发式方法难以适应动态工作负载的问题，为智能存储基础设施提供可扩展的优化方案。
2025-08-22 cs.DC cs.LG cs.OS
Intelligent Replication Management for HDFS Using Reinforcement Learning
Sungkyunkwan University（成均馆大学）
用于云计算的存储系统将大量商用计算机合并到单个大型存储池中。它通过不可靠的动态网络提供高性能存储，成本低于购买和维护大型主机。在本文中，我们研究将强化学习（RL）应用于系统域问题是否可行。实验结果表明，RL模型在解决块管理问题上具有可比性，甚至优于其他算法。然而，我们的实验在可扩展性和保真度方面是有限的。尽管我们的公式不是很实用，但将强化学习应用于系统领域可以为现有的算法提供很好的替代方案。
2020-08-19 cs.AI cs.DC cs.LG
Topology-Aware and Highly Generalizable Deep Reinforcement Learning for Efficient Retrieval in Multi-Deep Storage Systems
针对多深位存储系统检索中的巷道堵塞问题，提出结合图神经网络与Transformer的深度强化学习框架，以最小化总延迟，并具备跨布局泛化能力。
2025-09-15 cs.AI cs.LG
Optimization of geological carbon storage operations with multimodal latent dynamic model and deep reinforcement learning
College of Engineering, Peking University（北京大学工学院）；Ningbo Institute of Digital Twin, Eastern Institute of Technology（东方理工大学宁波数字孪生研究院）；The University of Hong Kong（香港大学）；Peng Cheng Laboratory（鹏城实验室）
本文提出多模态潜在动态（MLD）深度学习模型，结合软演员-评论家（SAC）深度强化学习，用于地质碳封存井控优化，在将计算资源降低60%以上的同时实现最高净现值，并展现出对新场景的强泛化能力。
2024-06-07 cs.AI cs.LG stat.AP
A storage expansion planning framework using reinforcement learning and simulation-based optimization
Rutgers University（罗格斯大学）；Nanjing University of Science and Technology（南京理工大学）；Rutgers Business School（罗格斯大学商学院）
在我们面前的高度电气化的未来之后，在分布式发电丰富的地方，例如在微电网环境中，储能的作用至关重要。鉴于存储选项的多样性变得越来越经济，确定投资哪种类型的存储技术以及适当的时间和容量成为一个关键的研究问题。这些问题今后将不可避免地继续变得越来越重要，需要进行战略规划和建立全面的现代框架，以便加以解决。强化学习算法已经被证明在顺序决策是固有的问题中是成功的。在运营规划领域，这些算法已经被使用，但大多数是在短期问题与明确定义的约束。相反，我们利用无模型算法结合基于模拟的模型，扩展和定制这些技术的长期规划。已经开发了一个模型和扩展计划，以最佳地确定微电网设计，因为它们可以动态地对不断变化的条件做出反应，并利用储能能力。我们表明，有可能获得更好的工程解决方案，这些解决方案将指向可能成为未来微电网应用核心的储能单元类型。另一个关键发现是，系统的最佳存储容量阈值在很大程度上取决于可用存储单元的价格变动。通过利用所提出的方法，它是可能的模型固有的问题的不确定性和优化的顺序投资决策的整个流程。
2021-03-24 cs.LG eess.SP stat.ML
Phoebe: Reuse-Aware Online Caching with Reinforcement Learning for Emerging Storage Models
UC Santa Barbara（圣巴巴拉大学）；Alibaba Group（阿里巴巴集团）
NVMe和SSD作为新兴存储技术的代表，具有数据持久性、高访问速度、低功耗和字节可寻址等特点，在众多领域得到了广泛的应用。然而，高性能采用这些技术的一个关键问题是如何正确定义智能缓存层，以便能够很好地弥合新兴技术和主存之间的性能差距。为此，我们提出了菲比，重用意识的强化学习框架的最佳在线缓存，适用于各种新兴的存储模型。通过与缓存环境和数据流的持续交互，Phoebe能够从单个跟踪中提取关键的时间数据依赖性和相对位置信息，随着时间的推移变得越来越智能。为减少在线学习期间的培训开销，我们利用定期培训来摊销成本。Phoebe在一组Microsoft云存储工作负载上进行评估。实验结果表明，Phoebe能够将LRU和基于在线学习的缓存策略的缓存未命中率分别缩小到Belady最优策略的70.3%和52.6%。
2020-11-13 cs.AI cs.LG cs.OS
A Survey of Explainable Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）
可解释强化学习（XRL）是近年来引起广泛关注的可解释机器学习的一个新兴子领域。XRL的目标是阐明学习代理在顺序决策设置中的决策过程。在这项调查中，我们提出了一种新的分类法，用于组织XRL文献，优先考虑RL设置。我们根据这种分类法概述技术。我们指出文献中的差距，我们用它来激励和概述未来工作的路线图。
2022-02-17 cs.LG
Reinforcement learning for multi-item retrieval in the puzzle-based storage system
Tsinghua University（清华大学）；Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Tsinghua-Berkeley Shenzhen Institute, Tsinghua University（清华大学伯克利深圳学院）
如今，快速交付服务创造了对高密度仓库的需求。基于拼图的存储系统是一种提高存储密度的实用方法，但在检索过程中面临困难。在这项工作中，深度强化学习算法，特别是双重和决斗深度Q网络，被开发用于解决系统中的多项检索问题，其中多个所需的项目，护送和I/O点被随机放置。此外，我们提出了一个通用的紧凑的整数规划模型来评估解决方案的质量。大量的数值实验表明，强化学习方法可以产生高质量的解决方案，并优于三个相关的最先进的启发式算法。此外，转换算法和分解框架分别提出了处理同时运动和大规模的实例，从而提高PBS系统的适用性。
2022-02-05 cs.AI cs.DM cs.LG
Energy Storage Arbitrage in Real-Time Markets via Reinforcement Learning
Department of Electrical Engineering, University of Washington（华盛顿大学电气工程系）
本文通过强化学习设计了一个时间套利策略，用于能源存储，解决了实时价格套利中价格高度不确定带来的策略设计难题，通过设计奖励函数提升性能。
2020-10-26 cs.LG cs.SY eess.SY
Interpretable Deep Reinforcement Learning for Optimizing Heterogeneous Energy Storage Systems
East China University of Science and Technology（华东理工大学）；Nantong University（南通大学）；University of New South Wales（新南威尔士大学）；Nanyang Technological University（南洋理工大学）
针对异构PV-ESS的能源套利调度，提出一种基于原型的策略网络，通过人工设计的原型比较情境相似性实现透明决策，克服黑箱模型局限，在四案例中验证了有效性与实用性。
2023-10-20 cs.AI cs.LG
Multi-market Energy Optimization with Renewables via Reinforcement Learning
本文提出深度强化学习框架，将含储能的可再生能源电厂多市场运营优化建模为分层MDP，通过动作投影满足约束，适配复杂储能模型，经美印市场数据验证效果优于基线策略。
2023-06-13 cs.LG
Sibyl: Adaptive and Extensible Data Placement in Hybrid Storage Systems Using Online Reinforcement Learning
ETH Zürich（苏黎世联邦理工学院）；Eindhoven University of Technology（埃因霍温理工大学）；LIRMM, Univ. Montpellier, CNRS（蒙彼利埃大学计算机科学、机器人及微电子实验室）
Sibyl利用在线强化学习，通过观察工作负载和设备特征并获取系统奖励，实现混合存储系统中的自适应数据放置，相比现有技术性能提升显著，且开销极小。
2023-11-16 cs.AI cs.AR cs.DC
Battery and Hydrogen Energy Storage Control in a Smart Energy Network with Flexible Energy Demand using Deep Reinforcement Learning
Keele University（基尔大学）；Luxembourg Institute of Science and Technology（卢森堡科学技术研究院）
智能能源网络提供了一种有效的手段，以适应太阳能和风能等可变可再生能源的高渗透率，这是能源生产深度脱碳的关键。然而，考虑到可再生能源的可变性以及能源需求，必须开发有效的控制和能量存储方案来管理可变的能量产生并实现期望的系统经济性和环境目标。本文介绍了一种由电池和氢储能组成的混合储能系统，以处理与电价、可再生能源生产和消费相关的不确定性。我们的目标是提高可再生能源的利用率，最大限度地降低能源成本和碳排放，同时确保网络内的能源可靠性和稳定性。为了实现这一目标，我们提出了一种多智能体深度确定性策略梯度方法，这是一种基于深度强化学习的控制策略，可以实时优化混合储能系统的调度和能源需求。所提出的方法是无模型的，不需要明确的知识和严格的数学模型的智能能源网络环境。基于真实世界数据的仿真结果表明：（i）与其他基准模型相比，混合储能系统和能源需求的集成和优化操作减少了78.69%的碳排放，节省了23.5%的成本，可再生能源利用率提高了13.2%以上;（ii）所提出的算法优于最先进的自学习算法，如深度Q网络。
2022-08-26 cs.AI cs.LG cs.MA
Reinforcement Learning for Adaptive Caching with Dynamic Storage Pricing
University of Minnesota（明尼苏达大学）；King Juan Carlos University（胡安·卡洛斯国王大学）
第五代（5G）蜂窝网络的小型基站（SB）被设想为具有存储设备，以通过\emph{caching}在网络的边缘处、靠近最终用户本地地服务对可重用和流行内容的请求。最终目标是将回程链路上的部分可预测负载从高峰期转移到非高峰期，从而有助于改善整体网络性能和服务体验。为了使SB与有效的\textit{fetch-cache}决策方案在动态设置中运行，本文介绍了简单但灵活的通用随时间变化的获取和缓存成本，然后使用它来制定一个约束最小化的总成本跨文件和时间。由于每个时隙的缓存决策影响未来时隙中的内容可用性，因此用于最佳获取缓存决策的新颖公式属于动态规划类。在这种通用公式下，首先通过考虑成本和文件流行度的平稳分布，可以使用一种称为值迭代算法的基于强化学习的高效求解器来解决新出现的优化问题。后来，它表明，缓存容量的实际限制，可以处理使用一个特定的实例的通用动态定价制定。在这种设置下，为了提供用于相应优化的轻量级在线求解器，采用众所周知的强化学习算法$Q$ -学习来找到最佳的获取高速缓存决策。数值试验证实了所提出的方法的优点总结的文件。
2018-12-21 cs.AI cs.LG eess.SP
Closed-Loop CO2 Storage Control With History-Based Reinforcement Learning and Latent Model-Based Adaptation
提出一种闭环CO2封存控制框架，结合历史条件策略和潜在模型自适应，仅利用井口观测数据实现接近特权状态性能，并在异常工况下优于直接无模型重调。
2026-06-26 cs.LG
Peer-to-Peer Energy Trading of Solar and Energy Storage: A Networked Multiagent Reinforcement Learning Approach
School of Industrial Engineering, Purdue University（普渡大学工业工程学院）
针对P2P能源交易中主体缺乏交易 expertise、可再生能源零边际成本定价难的问题，提出结合供需比P2P出清机制的多智能体强化学习框架，实现光伏与储能资源自动化管理，还可整合网络约束实现电压控制，保障交易物理可行性以推动落地。
2024-10-09 cs.LG cs.MA cs.SY
Verifier-Based Reinforcement Fine-Tuning of Reasoning Models for Thermal Energy Storage Control
The University of Tokyo（东京大学）；Tokyo University of Science（东京理科大学）
研究针对建筑物热能存储控制中模型难以扩展的问题，采用基于可验证奖励的强化学习，通过强化微调训练开放权重推理模型，在简单办公楼TES基准测试中取得较好效果，明确了规划模式转移情况，推动了相关测试与验证器发展。
2026-07-15 cs.LG
Reinforcement Learning for Efficient Returns Management
Fraunhofer Institute for Intelligent Analysis and Information Systems IAIS（弗劳恩霍夫智能分析与信息系统研究所 IAIS）；University of Bonn（波恩大学）
针对零售仓库退货存储效率低下的问题，提出将退货重新分配转化为在线多背包问题，并采用强化学习进行求解，在模拟数据上仅损失3%性能，却将平均存储时间降低96%。
2025-01-24 cs.LG
Natural-gas storage modelling by deep reinforcement learning
Università Roma Tre（罗马三大学）；Banca d’Italia（意大利银行）
本文提出GasRL模拟器，结合天然气市场校准与深度强化学习训练的存储策略，发现SAC算法在实现盈利、市场出清和价格稳定等目标上表现优异，且能真实复现价格动态，并验证了欧盟最低存储阈值对提升市场韧性的积极作用。
2025-11-04 cs.AI cs.CE cs.LG
MPC-based Reinforcement Learning for Economic Problems with Application to Battery Storage
Norwegian University of Science and Technology (NTNU)（挪威科技大学）
在本文中，我们感兴趣的最优控制问题的纯经济成本，这往往会产生最优的政策具有（近）bang-bang结构。我们专注于基于模型预测控制（MPC）的政策近似和使用的确定性策略梯度方法来优化MPC的闭环性能，在存在未建模的随机性或模型误差。当策略具有（接近）bang-bang结构时，我们观察到策略梯度方法可能难以在策略参数中产生有意义的步骤。为了解决这个问题，我们提出了一个同伦策略的基础上的邻域点的方法，提供了一个放松的政策在学习过程中。我们调查了一个特定的众所周知的电池存储问题，并表明，所提出的方法提供了一个均匀的和更快的学习比经典的策略梯度方法。
2021-04-06 cs.LG cs.SY eess.SY
Resilient Load Restoration in Microgrids Considering Mobile Energy Storage Fleets: A Deep Reinforcement Learning Approach
Interdisciplinary Graduate School, Nanyang Technological University Singapore（南洋理工大学跨学科研究生院（新加坡））；School of Electrical and Electronic Engineering, Nanyang Technological University Singapore（南洋理工大学电气与电子工程学院（新加坡））
移动储能系统（MESS）提供了移动性和灵活性，以增强配电系统的弹性。本文提出了一个马尔可夫决策过程（MDP）制定的综合服务恢复策略，协调调度的MESS和微电网的资源调度。考虑了负荷消耗的不确定性。深度强化学习（DRL）算法被用来解决MDP优化调度。具体地说，双延迟深度确定性策略梯度（TD 3）被应用于训练深度Q网络和策略网络，然后训练好的策略可以以在线方式部署，以同时执行多个动作。所提出的模型被证明在一个集成的测试系统与苏福尔斯交通网络连接的三个微电网。仿真结果表明，移动和固定的能量资源可以很好地协调，以提高系统的弹性。
2020-03-27 cs.LG cs.SY eess.SY
Decentralized Multi-agent Reinforcement Learning based State-of-Charge Balancing Strategy for Distributed Energy Storage System
本文提出一种去中心化多智能体强化学习（Dec-MARL）方法，通过一阶平均一致性和反事实需求平衡算法，在无需专家经验下解决分布式储能系统的荷电状态均衡问题，仿真验证了其有效性与高效性。
2023-08-29 cs.AI cs.LG cs.SY
Knowledge Transfer in Deep Reinforcement Learning for Slice-Aware Mobility Robustness Optimization
Nokia Bell Labs（诺基亚贝尔实验室）；Technical University of Munich（慕尼黑工业大学）；Nokia Software（诺基亚软件部门）
自组织网络中的传统移动性鲁棒性优化（MRO）旨在通过优化小区特定的切换参数来提高切换性能。然而，这样的解决方案不能满足下一代网络的需求与网络切片，因为它只保证接收信号的强度，而不是每个切片的服务质量。为了提供真正无缝的移动服务，我们提出了一种基于深度强化学习的切片感知移动鲁棒性优化（SAMRO）方法，该方法通过优化切片特定的切换参数来提高切换性能，并确保切片服务。此外，为了允许安全和样本有效的在线训练，我们开发了一个两步迁移学习方案：1）正则化的离线强化学习，以及2）有效的在线微调与混合经验重放。系统级仿真结果表明，与传统的MRO算法相比，SAMRO算法在优化切换性能的同时，显著提高了切片感知服务的连续性。
2022-03-07 cs.AI cs.LG cs.NI
Attentive Convolutional Deep Reinforcement Learning for Optimizing Solar-Storage Systems in Real-Time Electricity Markets
Monash University（莫纳什大学）
针对实时电力市场下的光储系统优化问题，提出结合注意力机制与多粒度特征卷积的AC-DRL算法，相较基准方法收益提升11%-23%，光伏弃电降低76%，实现光储协同增效。
2024-01-29 cs.LG cs.SY eess.SY
Optimal Planning of Hybrid Energy Storage Systems using Curtailed Renewable Energy through Deep Reinforcement Learning
Seoul National University（首尔国立大学）；Ewha Womans University（梨花女子大学）；Pukyong National University（釜庆国立大学）
能源管理系统（EMS）变得越来越重要，以利用不断增长的削减可再生能源。应采用电池和绿色氢等有前途的储能系统，以最大限度地提高能源利益攸关方的效率。然而，最佳决策，即，规划不同战略之间的杠杆作用，面临着大规模问题的复杂性和不确定性。在这里，我们提出了一个复杂的深度强化学习（DRL）方法与基于策略的算法，实现实时优化ESS规划下削减可再生能源的不确定性。一个定量的性能比较证明，DRL代理优于基于神经网络的随机优化（SO）算法，即使有一个广泛的行动和观察空间。由于DRL的不确定性拒绝能力，我们可以确认一个强大的性能，在一个很大的不确定性的削减可再生能源，净利润最大化和稳定的系统。根据状态，进行DRL映射以视觉评估DRL代理所采取的动作。相应的结果证实，DRL代理学习的方式就像人类专家会做什么，这表明所提出的方法的可靠应用。
2022-12-12 cs.LG cs.SY eess.SY
The Economic Dispatch of Power-to-Gas Systems with Deep Reinforcement Learning:Tackling the Challenge of Delayed Rewards with Long-Term Energy Storage
McGill University（麦吉尔大学）；Siemens Energy（西门子能源）
针对P2G长期储能带来的延迟奖励难题，本文改进Deep Q-Networks与PPO，通过预测、奖励惩罚和策略性成本计算提升经济调度性能。
2025-06-06 cs.AI cs.LG cs.SY
Harmonia: Enhancing Data Placement and Migration in Hybrid Storage Systems via Multi-Agent Reinforcement Learning
ETH Zürich（苏黎世联邦理工学院）；AMD Research（AMD研究）
针对混合存储系统中数据放置与迁移策略相互依赖导致性能次优的问题，提出基于多智能体强化学习的协同优化方法Harmonia，显著提升系统性能。
2026-05-26 cs.AR cs.DC cs.LG
Application of Reinforcement Learning for 5G Scheduling Parameter Optimization
Vodafone Qatar（卡塔尔沃达丰）
RF网络参数优化需要丰富的经验和知识，以实现覆盖范围、容量、系统效率和服务用户的电信站点的客户体验之间的最佳平衡。对于5G，由于使用大规模MIMO、波束成形和引入具有不同参数集的更高调制方案，空中接口调度的复杂性已经增加。在这项工作中，我们调整机器学习模型，使用交叉熵方法强化学习“学习”给定流量配置文件的最佳参数组合，并将其与RF主题专家“SME”建议进行比较。这项工作的目的是自动参数调整和功能优化作为一个自组织网络模块
2019-10-21 cs.LG cs.NI
Renewable energy integration and microgrid energy trading using multi-agent deep reinforcement learning
Keele University（基尔大学）；Luxembourg Institute of Science and Technology（卢森堡科学技术研究院）
本文采用多智能体强化学习控制混合储能系统协同工作，通过最大化可再生能源价值和交易降低微电网的能源成本。智能体必须学会控制三种不同类型的储能系统，适用于在需求波动、动态批发能源价格和不可预测的可再生能源发电情况下的短期、中期和长期存储。考虑两个案例研究：第一个是研究储能系统如何在动态定价下更好地整合可再生能源发电，第二个是研究这些相同的代理如何与聚合代理一起使用，将能源出售给自利的外部微电网，以减少自己的能源账单。这项工作发现，多代理深度确定性策略梯度及其最先进的变体的集中式学习与分散式执行允许多代理方法比单个全局代理的控制表现得更好。研究还发现，在多代理方法中使用单独的奖励函数比使用单个控制代理要好得多。能够与其他微电网进行交易，而不仅仅是卖回给公用电网，也被发现大大增加了电网的储蓄。
2021-12-05 cs.AI cs.LG cs.MA
RLCache: Automated Cache Management Using Reinforcement Learning
Girton College（格顿学院）；University of Cambridge（剑桥大学）
本研究探讨使用强化学习来指导通用缓存管理器的决策。高速缓存管理器直接影响计算机系统的整体性能。它们决定哪些对象应该被缓存，缓存的持续时间，以及在缓存已满时决定从缓存中驱逐哪些对象。这三个决定会影响缓存命中率和实现该缓存命中率所需的存储大小。一个最佳的缓存管理器将避免不必要的操作，最大限度地提高缓存命中率，从而减少到较慢的后端存储系统的往返次数，并最大限度地减少实现高命中率所需的存储大小。该项目通过为每个缓存管理器任务设计三个单独的代理，研究在缓存管理中使用强化学习。此外，该项目研究了两种先进的强化学习架构的多决策问题：一个单一的多任务代理和多代理。我们还介绍了一个框架，以简化计算机系统问题的建模作为一个强化学习任务。该框架抽象了计算机系统中的延迟经验观察和奖励分配，同时提供了一种灵活的方式来扩展到多个代理。基于已建立的数据库基准测试系统的仿真结果表明，强化学习代理可以实现更高的缓存命中率比启发式驱动的算法，同时最大限度地减少所需的空间。它们还能够适应不断变化的工作负载，并相应地动态调整其缓存策略。所提出的高速缓存管理器模型是通用的，并且适用于其他类型的高速缓存，例如文件系统高速缓存。据我们所知，这个项目是第一个将缓存管理器决策建模为多任务控制问题的项目。
2019-09-30 cs.DC cs.LG stat.ML
Combined Model for Partially-Observable and Non-Observable Task Switching: Solving Hierarchical Reinforcement Learning Problems Statically and Dynamically with Transfer Learning
Middle Tennessee State University（中田纳西州立大学）
完全自主机器人和人类的一个不可或缺的功能是能够将注意力集中在一些相关的感知上以达到某个目标，同时忽略不相关的感知。人类和动物依靠前额叶皮层（PFC）和基底神经节（BG）之间的相互作用来实现这种称为工作记忆（WM）的焦点。工作记忆工具包（WMtk）是基于这种现象的计算神经科学模型与自治系统的时间差异（TD）学习开发的。工具包的最新调整要么利用抽象任务表示（ATR）来解决不可观察（NO）任务，要么存储过去的输入特征来解决部分可观察（PO）任务，但不能两者兼而有之。我们提出了一个新的模型，PONOWMtk，它结合了这两种方法，ATR和输入存储，与一个静态或动态的ATR数量。我们的实验结果表明，PONOWMtk执行有效的任务，表现出PO，NO，或两者兼而有之。
2020-04-17 cs.AI cs.LG
Generalized Reinforcement Learning: Experience Particles, Action Operator, Reinforcement Field, Memory Association, and Decision Concepts
University of Texas, Arlington（德克萨斯大学阿灵顿分校）
学习能够适应时变和潜在演化系统动态的控制策略一直是主流强化学习（RL）的一大挑战。主要是，不断变化的系统属性将不断影响RL代理如何通过其动作与状态空间交互，这有效地（重新）将概念漂移引入到底层的策略学习过程中。我们假设，通过用额外的“自由度“来表征和表示动作，可以实现控制策略的更高适应性，从而以更大的灵活性来适应动作的“行为”结果的变化，包括这些动作如何实时的执行以及动作集本身的变化。本文提出了一个贝叶斯风格的广义强化学习框架，首先建立参数动作模型的概念，以更好地应对不确定性和流体动作行为，然后引入强化场的概念，作为一个物理启发的结构，通过“极化经验粒子”在强化学习代理的工作记忆中维护。这些粒子有效地编码代理的动态学习经验，随着时间的推移，以自组织的方式演变。使用强化场作为基底，我们将通过将过去的记忆视为隐式图结构，进一步概括策略搜索以纳入高级决策概念，其中记忆实例或粒子，与定义和量化的关联性/相似性程度相互关联，使得“关联记忆”原则可以一致地应用于建立和增强学习代理的进化世界模型。
2022-08-29 cs.AI cs.LG
Fast deep reinforcement learning using online adjustments from the past
DeepMind（深度思维）
我们提出了短暂值调整（EVA）：一种允许深度强化学习代理快速适应重放缓冲区中的经验的方法。EVA移动由神经网络预测的值，其中价值函数的估计是通过对来自当前状态附近的重放缓冲器的经验元组进行规划而找到的。EVA结合了许多最近的想法，将情景记忆结构结合到强化学习代理中：基于槽的存储，基于内容的检索和基于记忆的规划。我们表明，EVA是一个演示任务和雅达利游戏的性能。
2018-10-18 cs.AI cs.LG
Combining Evolution and Deep Reinforcement Learning for Policy Search: a Survey
Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；Institut des Systèmes Intelligents et de Robotique（智能系统与机器人研究所）
深度神经进化和深度强化学习在过去几年中受到了很多关注。有些作品比较了它们，突出了它们的优点和缺点，但一个新兴的趋势是将它们结合起来，以便从两个世界的最佳状态中受益。在本文中，我们提供了一个调查，这一新兴的趋势，组织成相关的作品组的文学和铸造成一个通用的框架，在每个组中的所有现有的组合。我们系统地涵盖了所有容易获得的论文，无论其出版状态，侧重于组合机制，而不是实验结果。总的来说，我们涵盖了比2017年更新的45种算法。我们希望这一努力将有利于该领域的发展，促进对方法之间关系的理解，导致更深入的分析，概述缺失的有用比较，并提出新的机制组合。
2022-06-11 cs.LG
Toward multi-target self-organizing pursuit in a partially observable Markov game
Southern University of Science and Technology（南方科技大学）；University of Technology Sydney（悉尼科技大学）
该研究将无通信、局部观察的多目标追捕建模为 POMG，并提出 FSC2，通过协调式 MARL、模糊任务分配与协作协同进化实现可扩展的高效自组织追捕。
2023-04-19 cs.AI cs.MA
Cost-Aware Reinforcement Learning with Action Masking and Projection for Battery Energy Storage Dispatch under Suppressed-Spread Market Shifts
National Tsing Hua University（国立清华大学）
针对价差收窄下电池储能调度，提出将PPO控制器的物理动作掩蔽与投影同经济咨询分离的方法，实验显示其提升T2利润但整体仍低于代理成本MPC，并验证了可行性保障与经济筛选的独立作用。
2026-09-22 cs.AI cs.LG cs.SY
AI-Native Integrated Sensing and Communications for Self-Organizing Wireless Networks: Architectures, Learning Paradigms, and System-Level Design
New Jersey Institute of Technology（新泽西理工学院）
本文综述了AI原生集成感知与通信在自组织无线网络中的架构、学习范式及系统设计，探讨了深度强化学习等方法在动态环境中的应用及未来研究方向。
2025-12-29 cs.AI cs.NI
RAIL: A modular framework for Reinforcement-learning-based Adversarial Imitation Learning
The University of Texas at Austin（得克萨斯大学奥斯汀分校）；US Army Research Laboratory（美国陆军研究实验室）；Sony AI（索尼人工智能）
虽然对抗性模仿学习（AIL）算法最近在各种模仿学习基准测试中取得了最先进的结果，但目前还不清楚各种设计决策对性能的影响。为此，我们在这里提出了一个有组织的，模块化的框架，称为强化学习为基础的对抗性模仿学习（RAIL），包括和概括现有的AIL方法的一个流行的子类。使用RAIL所支持的观点，我们创建了两个新的IfO（Imitation from Observation）算法，我们称之为SAIfO：基于SAC的对抗性模仿来自观察和SILEM（Skilling Feature Compensation for模仿学习with Embodiment Mismatch）。我们将在单独的技术报告中更深入地介绍SILEM。在本文中，我们专注于SAIfO，在OpenAI Gym的一系列运动任务上对其进行评估，并表明它优于执行IfO的同期RAIL算法。
2021-05-08 cs.LG
Optimal Energy Storage Scheduling for Wind Curtailment Reduction and Energy Arbitrage: A Deep Reinforcement Learning Approach
Monash University（莫纳什大学）
本文提出一种基于深度强化学习的风储联合竞价框架，通过解耦共址系统市场参与，实现电池储能系统同时减少弃风与能量套利，从而最大化现货市场整体收入并提升经济可行性。
2023-04-05 cs.LG cs.SY eess.SY
Coordinated Power Smoothing Control for Wind Storage Integrated System with Physics-informed Deep Reinforcement Learning
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen Institute of Artificial Intelligence and Robotics for Society (AIRS)（深圳市人工智能与机器人研究院）；The Hong Kong Polytechnic University（香港理工大学）；Nanyang Technological University（南洋理工大学）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））
本文提出一种基于物理信息多智能体深度强化学习的分层协调控制框架，通过集成尾流与电池退化模型，解决了风储系统功率平滑控制中的复杂交互与双层优化问题，使总利润提升约11%、功率波动降低约19%。
2024-12-17 cs.AI cs.SY eess.SY
Temporal-Aware Deep Reinforcement Learning for Energy Storage Bidding in Energy and Contingency Reserve Markets
Monash University（莫纳什大学）；University of Electronic Science and Technology of China（电子科技大学）
针对BESS在价格不确定下多市场联合竞价难题，提出基于transformer时间特征提取的DRL策略，在澳大利亚七个现货与应急FCAS市场中显著提升收益和可解释性。
2024-02-29 cs.LG cs.SY eess.SY
A Constraint Enforcement Deep Reinforcement Learning Framework for Optimal Energy Storage Systems Dispatch
Delft University of Technology（代尔夫特理工大学）；Eindhoven University of Technology（埃因霍温理工大学）
针对储能系统最优调度中DRL算法难以严格满足运行约束的问题，提出MIP-DRL框架，将动作价值函数转化为混合整数规划以强制执行约束，仿真验证其性能优于现有DRL算法。
2023-07-26 cs.LG cs.SY eess.SY
Reinforcement Learning-Based Co-Design and Operation of Chiller and Thermal Energy Storage for Cost-Optimal HVAC Systems
Plaksha University（普拉克斯大学）
本文通过强化学习优化冷水机与热能存储的联合设计，以实现HVAC系统的成本最优方案。
2026-02-07 cs.AI cs.SY eess.SY
Topology-Aware Graph Reinforcement Learning for Energy Storage Systems Optimal Dispatch in Distribution Networks
Department of Electrical Sustainable Energy, Delft University of Technology（代尔夫特理工大学电气可持续能源系）；Beijing Energy Quant Ltd.（北京能源量子科技有限公司）
本文提出一种拓扑感知的强化学习架构，利用图神经网络优化配电网储能系统调度，通过对比不同GNN变体评估其在不同拓扑结构下的鲁棒性和迁移性能。
2026-03-27 cs.LG cs.SY eess.SY
Deep Reinforcement Learning for Wind and Energy Storage Coordination in Wholesale Energy and Ancillary Service Markets
Monash University（莫纳什大学）
针对风电波动性导致弃风损失、储能调度难平衡弃风消纳与市场收益的问题，提出基于深度强化学习的风电-储能共址系统联合市场竞价方法，收益较基准提升约25%，弃风减少2.3倍。
2023-08-28 cs.LG cs.SY eess.SY
Economic Battery Storage Dispatch with Deep Reinforcement Learning from Rule-Based Demonstrations
McGill University（麦吉尔大学）；Siemens Energy Canada Limited（西门子能源加拿大有限公司）
针对经济型电池调度中奖励延迟导致深度强化学习训练困难的问题，本文提出在SAC中引入基于简单规则生成的演示数据进行学习，在微电网案例中显著提升了样本效率和最终奖励，且方法对规则选择具有鲁棒性。
2025-04-06 cs.LG cs.SY eess.SY
Map-based Experience Replay: A Memory-Efficient Solution to Catastrophic Forgetting in Reinforcement Learning
L3S Research Center（L3S研究中心）；Airbus（空中客车公司）；Zhejiang University（浙江大学）；University of Hamburg（汉堡大学）
针对深度强化学习的灾难性遗忘问题，提出基于GWR自组织网络的地图式经验回放方法，通过合并相似样本精简记忆，实现内存大幅减少且性能损失微小。
2023-08-28 cs.AI cs.LG cs.RO
Towards Sustainable Hydrogen Systems: Supply Chain Optimization with Model Predictive Control and Reinforcement Learning
本文针对可再生能源驱动的氢能供应链，比较了基于规则、模型预测控制和强化学习等四种控制策略，发现MPC经济性最优，强化学习无需预测也能稳健运行，为运营策略选择提供指导。
2026-09-14 cs.LG math.OC
Emergence of Hierarchies in Multi-Agent Self-Organizing Systems Pursuing a Joint Objective
Beijing Institute of Technology（北京理工大学）；University College Dublin（都柏林大学）
本文利用多智能体强化学习训练协作推箱任务，通过计算智能体动作梯度量化依赖关系，发现多智能体自组织系统在追求联合目标时会动态涌现依赖层级，该层级受任务环境、网络初始化及智能体天赋与努力的影响。
2025-08-13 cs.LG cs.MA
