On the Use of Reinforcement Learning for Attacking and Defending Load Frequency Control
本文提出了一种基于深度强化学习的方法，用于识别负荷频率控制中的漏洞并合成虚假数据注入和负荷切换攻击，同时设计了有监督和无监督检测器以基于识别出的攻击策略指导防御策略的设计。
2023-03-28 cs.SY eess.SY
Adaptive Load Shedding for Grid Emergency Control via Deep Reinforcement Learning
紧急控制，典型地如欠压减载（UVLS），被广泛地用于在紧急情况下解决实际电力系统中的低电压和电压不稳定问题。然而，现有的紧急控制方案是基于规则的，不能自适应地应用于不确定和浮动的操作条件。本文提出了一种基于深度强化学习和专家系统的自适应UVLS紧急控制算法。我们首先构造动态组件，用于将电力系统操作描绘为环境。瞬态电压恢复准则对UVLS提出了时变要求，它被集成到状态和奖励函数中，以指导深度神经网络的学习。该方法不存在报酬函数系数的调整问题，而这一问题被认为是现有基于DRL算法的不足之处。大量的案例研究表明，所提出的方法优于传统的UVLS继电器在紧急控制的及时性和有效性。
2021-02-25 cs.SY eess.SY
Reinforcement Learning Based Symbolic Regression for Load Modeling
本文提出一种基于Actor-Critic强化学习的符号回归算法，通过可训练表达式树和候选池机制生成紧凑可解释的负荷模型，在降低计算复杂度的同时实现优于现有基准的动态负荷建模性能。
2025-03-10 cs.SY eess.SY
Dynamic Load Balancing for EV Charging Stations Using Reinforcement Learning and Demand Prediction
本文提出结合预训练图神经网络需求预测与强化学习的电动汽车充电网络动态定价和负载均衡框架，利用深圳EVCDP数据集验证其能显著改善负载均衡并减少过载。
2025-03-09 cs.SY eess.SY
Distributed Optimal Load Frequency Control with Stochastic Wind Power Generation
针对传统控制方法在可再生能源发电占较大比重的电网中的不足，研究了基于双馈感应发电机（DFIG）的风力发电机的（随机）无源性。从文献中的大多数结果来看，可再生能源发电被忽略或假设为常数，我们将风力发电建模为随机过程，其中风速由一类随机微分方程描述。在此基础上，设计了一种分布式控制方案，实现了负荷频率控制和经济调度，保证了受控网络的随机稳定性。
2021-03-04 cs.SY eess.SY
Proactive Load-Shaping Strategies with Privacy-Cost Trade-offs in Residential Households based on Deep Reinforcement Learning
The University of Manchester（曼彻斯特大学）；KU Leuven（鲁汶大学）；COSIC（计算机与安全集成中心）
针对智能电表隐私泄露问题，提出基于深度强化学习的主动负荷整形算法PLS-DQN，通过制造虚假负荷特征误导攻击者，在保护隐私的同时兼顾成本，优于现有方法。
2024-05-29 cs.LG cs.SY eess.SY
Load Frequency Control For Distributed Grid Power System Single Area & Multi-area System
Amity University, Noida, India（印度诺伊达阿米提大学）
本文提出了一种分布式控制方案用于电力系统的负荷频率控制，通过仿真验证了在包含两个发电单元和多个可变负荷单元的系统中，控制方案的鲁棒性和可靠性。
2014-05-12 cs.SY eess.SY
On Statistical Modeling of Load in Systems with High Capacity Distributed Energy Resources
分布式能源的出现给电网的运行和规划带来了新的挑战。特别重要的是引入了一个新的复杂层，其表现为新的不确定性的形式，这可能严重限制现代电力系统的弹性和可靠性。例如，越来越多地采用非常规负载，如插电式电动汽车，可能导致不确定的消费者需求模式，其特征通常是随机的不期望的能源消耗峰值。二零二一年上半年，电动汽车销量增长近160%，约占全球汽车市场新增销量的26%。本文研究了广义混合模型的适用性，在系统中的聚合负载的统计表示增强与高容量的分布式能源，如插入式电动汽车。
2022-07-22 cs.SY eess.SY
Multi-agent Deep Reinforcement Learning for Distributed Load Restoration
针对停电后配电系统负荷恢复问题，提出融合无效动作掩码的多智能体深度强化学习方法，确定断路器最优操作序列，并在多个 IEEE 测试馈线上验证其更优的学习性能与稳定性。
2023-06-24 cs.SY eess.SY
Dynamic Matching Markets in Power Grid: Concepts and Solution using Deep Reinforcement Learning
传统的大容量负荷灵活性选项，如负荷转移和负荷削减，用于管理电力市场中的不确定性，限制了选项的多样性，并忽略了个别负荷的偏好，从而降低了效率和福利。本文提出了一种替代大容量负荷灵活性选项管理电力市场的不确定性：基于强化学习的动态匹配市场。本文提出了一种新的基于混合学习的动态匹配市场社会福利最大化模型。我们模型的主要特征是一个固定的基于规则的函数和一个可学习的组件，可以通过在线收集的数据进行训练，而无需先验知识或专家监督。可学习组件的输出是各个客户的匹配决策的概率分布。所提出的混合模型使学习算法能够找到一个有效的匹配策略，同时满足客户的服务偏好。仿真结果表明，学习算法学习一个有效的匹配策略，为不同的发电消费配置文件，并表现出更好的性能相比，标准的在线匹配策略，如匹配到达，匹配到最高，匹配到最早的截止日期的政策。
2021-12-16 cs.SY eess.SY
Reinforcement Learning for Thermostatically Controlled Loads Control using Modelica and Python
Ukrainian Catholic University（乌克兰天主教大学）；Rensselaer Polytechnic Institute（伦斯勒理工学院）
该项目的目的是调查和评估应用强化学习（RL）的电力系统控制的机会。作为概念验证（proof of concept，ESTA），使用基于Modelica的流水线开发了用于功耗调节的恒温控制负载（thermostatically controlled loads，TCLs）的电压控制。Q-学习RL算法已被验证为确定性和随机初始化的TCL。后一种建模更接近于真实的电网行为，考虑到负载切换的随机性，这对控制开发提出了挑战。此外，本文还讨论了Q-学习参数，包括状态-动作空间的离散化，对控制器性能的影响。
2020-05-09 cs.LG cs.SY eess.SY
Large-Signal Stability Criteria in DC Power Grids with Distributed-Controlled Converters and Constant Power Loads
随着电力电子装置的广泛应用，未来电力系统可能会出现大的扰动和不稳定。然而，稳定性准则仍然是一个未解决的难题，因为传统的小干扰稳定性分析不适用于电力电子使能的电力系统时，发生大的干扰，如故障，脉冲功率负载，或负载切换。为了解决这个问题，本文提出了第一次严格推导的大信号稳定性的DC微电网与分布式控制的DC-DC功率转换器的充分标准。设计并考虑了一种新型的闭环变换器控制器。此外，本文首次证明了著名的和经常被引用的布雷顿-莫泽混合势理论（发表于1964年）是不完整的。通过算例分析，说明了Brayton-Moser混合势理论的缺陷，并验证了所提出的新稳定性判据的有效性.
2020-05-25 cs.SY eess.SY
Distributed flexibility as a cost-effective alternative to grid reinforcement
在低压网络中部署分布式光伏（PV）可能会给配电系统运营商（DSO）带来诸如电压升高、线路载流量违规和Transformer过载等技术问题。这些问题可能导致高的网格加固成本。在这项工作中，我们假设DSO可以控制每个Prosumer的电池和光伏系统。在这样的假设下，我们评估提供灵活性的成本，并将其与网格加固成本进行比较。我们的研究结果强调，使用分布式灵活性比加强低压网络更有利可图，直到光伏发电覆盖网络年能源需求的145%。
2021-09-15 cs.SY eess.SY
Load Forecasting Based Distribution System Network Reconfiguration-A Distributed Data-Driven Approach
University of Denver（丹佛大学）；National Renewable Energy Laboratory（国家可再生能源实验室）；Arizona State University（亚利桑那州立大学）
本文提出了一种基于支持向量回归的短时负载预测方法，用于改进网络重构。通过二次锥规划放松非凸优化问题，并利用交替方向乘子法实现分布式优化，验证了方法的可行性和有效性。
2017-11-29 cs.SY eess.SY
Critical Load Restoration using Distributed Energy Resources for Resilient Power Distribution System
极端天气事件对老化和过时的配电基础设施产生重大影响。这些高影响低概率（HILP）事件通常会导致长期停机和关键服务的损失，从而严重影响客户的安全。这就需要在灾难期间迅速恢复关键服务，以确保配电网络的复原力。本文提出了一种先进的馈线恢复方法，恢复关键负荷使用分布式能源（DER）。提出了一种弹性恢复方法，联合最大限度地提高恢复的关键负载的量，并通过优化分配网格的可用DER资源，优化恢复时间。恢复问题被建模为一个混合整数线性规划的目标是最大限度地提高恢复后故障的恢复能力，同时满足电网的关键连接和操作约束，并确保一个给定的开环馈线配置的径向操作。仿真结果表明，所提出的方法使用IEEE 123节点馈线与5 DER供应11个关键负荷和IEEE 906总线馈线与3 DER供应17个关键负荷的有效性。DER的可用性和燃料储备恢复网络的影响进行了评估，它表明，所提出的方法是成功地能够恢复最大数量的临界负载使用可用的DER。
2019-12-10 cs.SY eess.SY
Privacy-preserving Distributed Probabilistic Load Flow
概率潮流（PLF）允许评估可再生能源对系统运行的不确定性。理想情况下，PLF计算是针对整个电网实施的，要求输电线路和节点负载/发电的所有参数都可用。然而，在多区域互联电网中，跨区域的独立系统运营商（ISO）可能不与其他ISO共享其各自区域的参数。因此，面临的挑战是如何识别区域电网中的流量与跨区域可再生发电源的不确定功率注入之间的函数关系，而无需有关整个电网的完整信息。为了克服这一挑战，我们首先提出了一个隐私保护的分布式加速投影为基础的共识算法为每个ISO计算所需的函数关系的相应的系数矩阵。然后，我们利用隐私保护的加速平均共识算法，让每个ISO获得相同关系的相应常数向量。使用这两个算法，我们最终得出一个隐私保护的分布式PLF方法，每个ISO解析地获得其区域联合PLF在一个完全分布式的方式，而不会透露其参数给其他ISO。通过对IEEE 118节点系统的算例分析，验证了该方法的正确性、有效性和高效性。
2020-04-20 cs.SY eess.SY
Safe Reinforcement Learning for Emergency LoadShedding of Power Systems
电网的范式转变需要重新审视现有的控制方法，以确保电网的安全性和弹性。特别是，电力系统中增加的不确定性和快速变化的操作条件已经揭示了电力系统的现有控制方法在速度、自适应性或可扩展性方面的突出问题。另一方面，大量实时数据的可用性可以更清楚地了解网格中正在发生的事情。最近，深度强化学习（RL）被认为是一种利用海量数据进行快速自适应网格控制的有前途的方法。然而，与大多数现有的基于机器学习（ML）的控制技术一样，RL控制通常不能保证被控系统的安全性。介绍了一种基于RL的电力系统安全减载新方法，该方法可以提高电网在发生故障后的电压安全恢复能力。在39节点IEEE基准上进行了数值仿真，以证明所提出的安全RL紧急控制的有效性，以及其对训练中未出现的故障的自适应能力。
2020-11-17 cs.SY eess.SY
Distributed Load Shedding for Microgrid with Compensation Support via Wireless Network
Shanghai Jiao Tong University（上海交通大学）；Collaborative Innovation Center for Advanced Ship and Deep-Sea Exploration（先进船舶与深海探测协同创新中心）；Key Laboratory of System Control and Information Processing, Ministry of Education of China（教育部系统控制与信息处理重点实验室）
本文提出基于无线网络的分布式负荷切除方案，通过优化不同优先级负载的有功功率协调，结合子梯度方法算法和TDMA多播Metropolis调度，提高响应率和可靠性，验证了方案的有效性。
2018-07-23 cs.SY eess.SY
Reinforcement Learning based Distributed Control of Dissipative Networked Systems
我们考虑的问题，设计分布式控制器，以稳定一类网络系统，其中每个子系统是耗散的，并设计了一个基于强化学习的本地控制器，以最大限度地提高个人的累积奖励函数。我们开发了一种方法，在每个子系统的这些本地控制器上强制耗散性条件，以保证整个网络系统的稳定性。所提出的方法说明了一个直流微电网的例子，其目标是保持网络的电压稳定性，使用本地分布式控制器在每个发电单元。
2020-11-29 cs.SY eess.SY
IoT-enabled Distributed Cyber-attacks on Transmission and Distribution Grids
本文提出一种分析物联网控制负载分布式网络攻击对电网影响的建模框架，通过双层优化分析配电与输电电网的 techno-economic 互动，并通过案例研究展示攻击对电网的潜在影响。
2017-06-22 cs.SY eess.SY
Distributed Optimal Generation and Load-Side Control for Frequency Regulation in Power Systems
针对可再生能源在电力系统中日益普及所带来的问题，提出了一种新的输电网分布式频率控制算法，以取代传统的自动发电控制（AGC）。该控制算法的目标是双重的。首先，在发电和需求之间的有功功率不匹配之后，恢复标称频率和预定的区域间净功率交换。二是以分布式方式最优协调所有可控单元的有功功率。所设计的控制器只依赖于本地信息，计算，和网络连接的总线之间的对等通信，它也是对不确定的系统参数的鲁棒性。采用包含一阶汽轮机调速器动态的非线性保结构模型，分析了闭环系统在所设计算法下的渐近稳定性。最后通过实例验证了该方法的有效性。
2020-02-18 cs.SY eess.SY
Decentralised L1 Adaptive Primary Controllers and Distributed Consensus-Based Secondary Control for DC Microgrids with Constant-Power Loads
University College Cork（科克大学）；United Technologies Research Centre Ireland Ltd（联合技术研究中心爱尔兰有限公司）；MaREI-SFI Research Centre, University College Cork（马雷i-sfi研究中心，科克大学）
本文提出分布式L1自适应控制器用于直流微电网主控制层级，以应对恒功率负载带来的稳定性问题，具有可扩展性、即插即用功能及明确的性能和鲁棒性保证。
2018-04-11 cs.SY eess.SY
Stability Analysis of DC Microgrids with Constant Power Load under Distributed Control Method
Central South University（中南大学）；Aalborg University（奥尔堡大学）
本文研究含恒功率负载直流微电网在分布式控制下的稳定性问题，通过简化模型分析稳定性条件，并通过仿真验证方法的有效性。
2017-11-19 cs.SY eess.SY
Data-driven Under Frequency Load Shedding Using Reinforcement Learning
针对传统低频减载方案适应性差、强化学习方法训练计算负担重的问题，提出用机器学习分类器捕捉系统频率响应后训练RL智能体的方法，可缩短训练与实时应用时间、减少减载量，在IEEE 68节点系统上验证了更优性能。
2024-10-06 cs.SY eess.SY
Distributed Coordination of Deferrable Loads: A Real-time Market with Self-fulfilling Forecasts
对可变可再生能源发电的增加吸收和能源需求的进一步电气化需要有效协调灵活的需求资源，以最有效地利用电力系统资产。灵活的电力负载通常是小的，众多的，异构的，由自私的代理人拥有。考虑到灵活性的多时间性质和所涉及的不确定性，调度它们是一项复杂的任务。本文提出了一种预测中介的实时基于市场的控制方法（F-MBC）的成本最小化协调的不间断时移（即延期）负荷。F-MBC是可扩展的，隐私保护的，并可由具有小计算能力的设备代理使用。此外，F-MBC被证明可以克服同品种器械相互冲突的决策挑战。在一个简化但具有挑战性的案例研究中进行的模拟表明，F-MBC在多个时间步长内产生接近最佳的行为。
2020-06-15 cs.SY eess.SY
DER Allocation without Load Prediction via Reinforcement Learning
Arizona State University（亚利桑那州立大学）；Indian Institute of Technology Madras（马德拉斯印度理工学院）
针对现有DERA框架依赖负荷预测易受误差影响的问题，提出无预测RL框架，通过LSVI算法学习最优策略，在CAISO数据实验中实现高跟踪精度与稳定调节。
2026-08-18 cs.SY eess.SY
Distributed Droop-Free Control of Grid-Forming Inverters with Dynamic Line and Load Modeling
Massachusetts Institute of Technology（麻省理工学院）
本文提出一种暂态感知的无下垂分布式控制框架，用于构网型逆变器，通过动态线路和负荷建模实现功率比例分配与调节，在弱电网中改善暂态性能。
2026-09-09 cs.SY eess.SY
Learning a Distributed Control Scheme for Demand Flexibility in Thermostatically Controlled Loads
鉴于可再生能源发电的渗透率不断提高，需求灵活性对电网越来越重要。仔细协调恒温控制负载（TCL）可以潜在地调节能源需求，降低运营成本，并提高电网弹性。然而，它是具有挑战性的控制一个异质人口的TCL：控制问题有一个大的状态动作空间;每个TCL有独特的和复杂的动态;和多个系统级的目标需要同时优化。为了解决这些挑战，我们提出了一个分布式控制解决方案，它包括一个中央负载聚合器，优化系统级目标和建筑物级控制器，跟踪聚合器计划的负载配置文件。为了优化我们的代理的政策，我们从强化学习（RL）和模型预测控制的启发。具体来说，聚合器更新的进化策略，这是最近被证明是一个有竞争力的和可扩展的替代更复杂的RL算法，使政策更新独立于建筑物级控制器。我们使用新引入的CityLearn模拟环境，在四个九个建筑群的四个气候区评估我们提出的方法。我们的方法实现了平均减少16.8%的环境成本相比，基准基于规则的控制器。
2020-10-05 cs.SY eess.SY
Curriculum-based Reinforcement Learning for Distribution System Critical Load Restoration
针对配电网大停电后关键负荷恢复问题，提出结合课程学习的强化学习方法，通过渐进式训练提升策略性能，实验验证其在可再生能源预测误差下比模型预测控制器更可靠。
2024-01-29 cs.SY eess.SY
Distributed Real-Time Power Balancing in Renewable-Integrated Power Grids with Storage and Flexible Loads
University of Toronto（多伦多大学）；University of Ontario Institute of Technology（安大略理工大學）
本文研究了含储能和柔性负荷的可再生能源整合电力电网的实时功率平衡问题，提出了一种集中式解决方案和分布式算法，降低计算和通信开销，并证明其在存储容量增大和传统发电机调峰约束放宽时渐近最优。
2016-06-03 cs.SY eess.SY
Dynamic Power Management Methodology for Distributed Vertical Power Delivery in High-Performance Computing Systems
University of Illinois Chicago（伊利诺伊大学芝加哥分校）
针对分布式垂直供电架构在中轻负载下效率下降的问题，提出一种负载感知的功率系统激活框架，通过空间信息选择激活的电压调节器，减少横向再分布电流和开关损耗，在5%-30%负载范围内维持约87%的效率平台。
2026-05-24 cs.SY eess.SY
Lyapunov-based reinforcement learning for distributed control with stability guarantee
本文提出一种基于李雅普诺夫的强化学习分布式控制方法，通过稳定性条件指导局部策略设计，确保非线性系统闭环稳定，并在化工基准过程中验证其有效性。
2024-12-14 cs.SY eess.SY
Learning Distributed and Fair Policies for Network Load Balancing as Markov Potential Game
École Polytechnique（巴黎综合理工学院）；Cisco Systems（思科系统公司）；Princeton University（普林斯顿大学）
本文研究了数据中心网络负载均衡问题，其中部署了多个负载均衡器（LB），使用多智能体强化学习（MARL）框架。这个问题的挑战包括异构的处理体系结构和动态环境，以及有限的和部分的可观察性的每个LB代理在分布式网络系统中，这可以大大降低性能的生产负载均衡算法在现实世界的设置。集中训练分散执行（CTDE）RL计划已被提出来提高MARL的性能，但它招致-特别是在分布式网络系统中，更喜欢分布式和即插即用的设计方案-代理之间的额外的通信和管理开销。我们制定的多代理负载均衡问题作为一个马尔可夫潜在的游戏，与一个精心设计的工作量分配公平性的潜在功能。提出了一种完全分布式的MARL算法来逼近博弈的纳什均衡。实验评估涉及事件驱动的模拟器和真实世界的系统，其中所提出的MARL负载均衡算法在模拟中显示出接近最佳的性能，并在现实世界的系统中的生产LB的优越的结果。
2022-10-14 cs.AI cs.DC cs.SY
Convolutional Neural Networks For Automatic State-Time Feature Extraction in Reinforcement Learning Applied to Residential Load Control
VITO/EnergyVille（VITO/能源城）；Vrije Universiteit Brussel（布鲁塞尔自由大学）
本文提出使用卷积神经网络提取隐藏状态-时间特征，以缓解部分可观测性带来的 curse，通过拟合 Q-迭代的监督学习步骤估计状态-动作值函数，验证了该方法在住宅负荷控制中的有效性。
2016-10-11 cs.LG cs.SY eess.SY
Privacy-Preserving Distributed Clustering for Electrical Load Profiling
电力负荷分析支持零售商和配电网络运营商更好地了解消费者的消费行为。然而，传统的用于负载分析的聚类方法是集中式的，并且需要访问所有智能电表数据，从而导致消费者和零售商的隐私问题。为了解决这个问题，我们提出了一个隐私保护的分布式集群框架的负载分析，通过开发一个隐私保护的加速平均共识（PP-AAC）算法证明收敛。使用所提出的框架，我们修改了几个常用的聚类方法，包括k-均值，模糊C-均值，高斯混合模型，提供隐私保护的分布式聚类方法。通过这种方式，可以仅通过本地计算和相邻数据所有者之间的信息共享来执行负载分析，而不会牺牲隐私。同时，与传统的集中式聚类方法相比，每个数据所有者消耗的计算时间显著减少。分析了所提出的隐私保护分布式聚类框架的隐私性和复杂性。使用真实世界的爱尔兰住宅数据集验证了所提出的框架和建议的PP-AAC算法的正确性，效率，有效性和隐私保护功能。
2020-02-26 cs.DC cs.SY eess.SP
Accelerated Deep Reinforcement Learning Based Load Shedding for Emergency Voltage Control
切负荷是防止电压失稳的最有效的紧急控制手段之一。随着电力系统中不确定性的增加和运行条件的快速变化，现有方法在速度、自适应性或可扩展性方面存在突出问题。近年来，深度强化学习（DRL）被认为是一种有前途的快速自适应电网稳定控制方法。然而，现有的DRL算法在应用于电力系统控制问题时表现出两个突出的问题：1）计算效率低，需要大量的训练和调整时间;以及2）可扩展性差，使得难以扩展到高维控制问题。为了克服这些问题，一个加速DRL算法称为PARS开发和定制的电力系统电压稳定控制通过减载。PARS具有高度的可扩展性，并且仅使用五个主要超参数即可轻松调优。IEEE 39总线和IEEE 300总线系统的方法进行了测试，后者是迄今为止最大的规模这样的研究。测试结果表明，与其他方法相比，包括模型预测控制（MPC）和邻近策略优化（PPO）方法，PARS具有更好的计算效率（更快的收敛速度）、更强的学习鲁棒性、良好的可扩展性和泛化能力。
2020-12-05 cs.SY eess.SP eess.SY
Distributed Automatic Load-Frequency Control with Optimality in Power Systems
Harvard University（哈佛大学）；the Chinese University of Hong Kong（香港中文大学）
本文研究了电力系统中平衡供需和维持额定频率的挑战，提出了一种完全分布式自动负荷控制算法，通过局部测量和通信实现，证明该算法能够全局收敛到最优运行点，同时恢复额定频率和调度的联络线功率流，并满足负荷容量限制和传输线热约束。
2020-04-15 cs.SY eess.SY math.OC
Load constrained wind farm flow control through multi-objective multi-agent reinforcement learning
Department of Wind and Energy Systems, Technical University of Denmark（丹麦技术大学风能与能源系统系）
提出多智能体强化学习框架，结合独立软演员-评论家架构和数据驱动代理模型，在风电场流动控制中通过形状奖励函数约束损伤等效载荷增量，实现功率提升与负载控制的多目标优化。
2026-05-06 cs.LG cs.SY eess.SY
Towards Multi-agent Reinforcement Learning for Wireless Network Protocol Synthesis
Michigan State University（密歇根州立大学）
提出了一种基于多智能体强化学习的无线网络介质访问框架。接入问题被公式化为马尔可夫决策过程（MDP），并使用强化学习解决，每个网络节点充当分布式学习代理。解决方案组件是逐步开发的，从一个节点接入的情况下，节点代理逐步学习控制MAC层的数据包负载，以控制自冲突。然后，通过使用更精细的奖励结构，将该策略扩展到多节点完全连接的场景。它也证明了更一般的部分连接拓扑的初步可行性。结果表明，通过学习调整MAC层传输概率，该协议不仅能够在最佳负载下达到理论最大吞吐量，而且与经典方法不同，它还可以在较高的负载条件下保持最大吞吐量。此外，该机制在保留该特性的同时对异构加载是不可知的。它还表明，跨节点的协议的访问优先级可以参数调整。最后，它也表明，强化学习的在线学习功能是能够使协议适应时变负载条件。
2021-02-02 cs.AI cs.LG cs.SY
Deep Reinforcement Learning Approach to QoSAware Load Balancing in 5G Cellular Networks under User Mobility and Observation Uncertainty
School of Electrical Engineering, Iran University of Science & Technology (IUST), Tehran, Iran（伊朗科技大学电气工程学院）
本文提出基于PPO的深度强化学习框架，用于在用户移动性和观测不确定性下实现端到端的QoS感知负载均衡，通过多目标奖励机制平衡效率与稳定性。
2026-05-12 cs.NI cs.SY eess.SY
Resilient Load Restoration in Microgrids Considering Mobile Energy Storage Fleets: A Deep Reinforcement Learning Approach
Interdisciplinary Graduate School, Nanyang Technological University Singapore（南洋理工大学跨学科研究生院（新加坡））；School of Electrical and Electronic Engineering, Nanyang Technological University Singapore（南洋理工大学电气与电子工程学院（新加坡））
移动储能系统（MESS）提供了移动性和灵活性，以增强配电系统的弹性。本文提出了一个马尔可夫决策过程（MDP）制定的综合服务恢复策略，协调调度的MESS和微电网的资源调度。考虑了负荷消耗的不确定性。深度强化学习（DRL）算法被用来解决MDP优化调度。具体地说，双延迟深度确定性策略梯度（TD 3）被应用于训练深度Q网络和策略网络，然后训练好的策略可以以在线方式部署，以同时执行多个动作。所提出的模型被证明在一个集成的测试系统与苏福尔斯交通网络连接的三个微电网。仿真结果表明，移动和固定的能量资源可以很好地协调，以提高系统的弹性。
2020-03-27 cs.LG cs.SY eess.SY
Multi-Agent Reinforcement Learning for Fast-Timescale Demand Response of Residential Loads
Mila（米拉研究所）
为了整合大量的可再生能源，电网必须能够应对发电过程中的高幅度、快速时间尺度变化。通过需求响应的频率调节有可能协调时间灵活的负载，如空调，以抵消这些变化。现有的离散控制方法与动态约束的斗争提供令人满意的性能快速时标动作选择数百代理。我们提出了一个分散的代理训练多代理近端策略优化本地化通信。我们探讨两种通信框架：手工设计，或通过有针对性的多智能体通信学习。由此产生的政策执行良好，稳健的频率调节，并无缝扩展到任意数量的房屋恒定的处理时间。
2023-01-06 cs.AI cs.LG cs.MA
Exploring Lightweight Federated Learning for Distributed Load Forecasting
Trinity College Dublin（都柏林圣三一学院）
本文提出用于分布式负荷预测的轻量级联邦学习方法，以全连接DNN在保护电表数据隐私的同时达到可比精度，并在Arduino Uno上实现低资源与低能耗部署。
2024-04-04 cs.LG cs.SY eess.SY
Model-Free Load Frequency Control of Nonlinear Power Systems Based on Deep Reinforcement Learning
School of Cyber Science and Engineering, Xi’an Jiaotong University（西安交通大学网络空间安全学院）；College of Control Science and Engineering, Zhejiang University（浙江大学控制科学与工程学院）；School of Astronautics, Harbin Institute of Technology（哈尔滨工业大学航天学院）
针对现有负荷频率控制依赖精确建模、忽略非线性特性的问题，提出基于DDPG框架的无模型LFC方法，通过仿真器网络评估动作、结合ZOO与反向传播优化控制器，对非线性电力系统适应性更强。
2024-03-07 cs.AI cs.SY eess.SY
Reinforcement Learning and Distributed Model Predictive Control for Conflict Resolution in Highly Constrained Spaces
University of California, Berkeley（加州大学伯克利分校）
本文提出了一种分布式算法，用于解决高度受限空间中的多车辆协同冲突问题。通过将冲突解决问题制定为多智能体强化学习（RL）问题，我们可以离线训练策略，以在简化的离散环境中安全有效地驾驶车辆驶向目的地。在在线执行过程中，每个车辆首先用训练好的策略模拟车辆之间的交互，以获得其策略，该策略用于指导参考轨迹的计算。然后，提出了一种分布式模型预测控制器（MPC）跟踪的参考，同时避免冲突。初步结果表明，RL和分布式MPC的组合有可能引导车辆安全顺利地解决冲突，同时比集中式方法的计算要求更低。
2023-02-03 cs.RO cs.SY eess.SY
Optimal Adaptive Prediction Intervals for Electricity Load Forecasting in Distribution Systems via Reinforcement Learning
Shanghai Jiao Tong University（上海交通大学）；Tsinghua-Berkeley Shenzhen Institute（清华-伯克利深圳学院）；Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院）；Tsinghua University（清华大学）
针对配电系统负荷预测中传统预测区间难以适应偏态分布和概念漂移的问题，提出一种基于强化学习的在线自适应最优预测区间方法，通过自适应选择概率比例对并结合优先经验回放提升分位数预测质量，实验表明其预测区间质量更优且鲁棒性更强。
2022-05-18 cs.AI cs.LG cs.SY
Reinforcement Learning for Distributed Transient Frequency Control with Stability and Safety Guarantees
本文提出基于强化学习的分布式暂态频率控制方法，结合Lyapunov稳定性与安全关键控制推导充分条件，并通过分布式动态预算分配降低保守性，在IEEE 39节点系统上验证了稳定性、安全性及最优性的提升。
2024-01-06 cs.SY eess.SY math.OC
Evaluation of Prosumer Networks for Peak Load Management in Iran: A Distributed Contextual Stochastic Optimization Approach
Faculty of Electrical Engineering, KN Toosi of Technology（KN Toosi理工大学电气工程学院）
本文针对伊朗可再生能源产消者面临的峰值负荷问题，提出一种集成预测与优化的分布式情境随机优化框架，并通过共识信息共享机制和ADMM算法实现协调调度，有效降低峰值负荷与总成本。
2024-08-31 cs.LG cs.SY eess.SY
Distributed Estimation of State and Parameters in Multi-Agent Cooperative Load Manipulation
CNRS, LAAS（法国国家科学研究中心（CNRS）、拉瓦尔大学（LAAS））
本文提出两种分布式方法，用于估计未知平面体的运动学参数、动力学参数和运动学状态，利用刚体运动学和动力学、非线性观测理论和一致性算法，通过智能体对负载施加二维力矩、测量接触点速度以及通信图连通性来实现，理论分析和收敛证明均提供，第一种方法假设参数恒定，第二种方法可处理时变参数并可并行应用于任何任务导向的控制律，对于无控制律的情况，提出了一种分布式且安全的控制策略以满足可观测性条件，通过现实的蒙特卡洛模拟展示了估计策略的有效性和鲁棒性。
2018-09-23 cs.MA cs.RO cs.SY
Privacy-Preserving Distributed Learning for Residential Short-Term Load Forecasting
University of Liverpool（利物浦大学）；KU Leuven（鲁汶大学）；EnergyVille（能源城研究院）；COSIC（计算机与安全工业密码学研究中心）；The University of Manchester（曼彻斯特大学）
针对居民负荷预测中的数据隐私问题及联邦学习模型易受梯度泄露、投毒攻击且安全聚合方案鲁棒性不足的缺陷，提出基于马尔可夫切换的分布式训练框架，兼具隐私性、鲁棒性与可扩展性。
2024-02-02 cs.AI cs.CR cs.DC
