Reinforcement Learning-Based Adaptive Load Balancing for Dynamic Cloud Environments
The University of Manchester(曼彻斯特大学)
针对传统静态负载均衡难以适应云工作负载波动的问题,提出基于强化学习的自适应框架,依据实时性能、流量与资源状态动态分配任务,实验表明其在响应时间、资源利用率和适应性上更优。
2024-09-07 cs.AI cs.DC cs.NI
Reinforcement Learning based Dynamic Model Selection for Short-Term Load Forecasting
The University of Texas at Dallas(德克萨斯大学达拉斯分校)
随着智能网格技术的日益普及,短期负荷预测(STLF)在电力系统运行中变得尤为重要。有大量的方法开发的STLF,但选择一个合适的方法在不同的条件下仍然是具有挑战性的。提出了一种基于强化学习的STLF动态模型选择方法。首先建立预测模型池,包括十个最先进的基于机器学习的预测模型。然后,Q学习代理根据模型性能学习为下一时间步选择最佳预测模型的最优策略。最优DMS策略被应用于在每个时间步选择最佳模型,并具有移动窗口。对两年负荷和气象数据的仿真结果表明,Q-学习算法收敛速度快,能有效地提高DMS的性能。与最先进的基于机器学习的STLF模型相比,开发的基于Q学习的DMS的STLF模型将预测精度提高了约50%。
2018-11-05 cs.AI cs.LG stat.ML
Bayesian Reinforcement Learning with Limited Cognitive Load
Stanford University(斯坦福大学);New York University(纽约大学)
本文综述了融合强化学习、贝叶斯决策与率失真理论的容量受限贝叶斯强化学习框架的最新算法与理论成果,并探讨其在认知与行为科学中的应用。
2023-05-05 cs.AI cs.LG
Intelligent Residential Energy Management System using Deep Reinforcement Learning
Indian Institute of Technology Patna(印度理工学院巴特那分校)
当今世界对电力及其基本性质的需求不断增长,需要能够减少能源使用的智能家庭能源管理(HEM)系统。这涉及从能量消耗处于其最高时的一天的高峰时间到能量消耗相对较低时的一天的较低非高峰时段的负载调度,从而降低系统的峰值负载需求,这将因此导致更少的能量账单,并改善负载需求曲线。这项工作介绍了一种新的方法来开发一个学习系统,可以从经验中学习,将负载从一个时间实例转移到另一个时间实例,并实现最小化总峰值负载的目标。本文提出了一种用于需求响应的深度强化学习(DRL)模型,其中虚拟代理像人类一样学习任务。智能体在环境中采取的每一个行动都会得到反馈;这些反馈将驱使智能体学习环境,并在学习阶段的后期采取更明智的步骤。我们的方法优于国家的最先进的混合整数线性规划(MILP)的负荷峰值降低。作者还设计了一个智能体来学习同时最小化消费者的电费和公用事业公司的系统峰值负荷需求。所提出的模型进行了分析,从五个不同的住宅消费者的负载,所提出的方法增加了每个消费者的每月储蓄,减少他们的电费大幅减少,同时最大限度地减少系统上的峰值负荷时,所提出的方法处理的时移负载。
2020-05-28 cs.AI cs.LG eess.SP
Decentralized Coordination of Distributed Energy Resources through Local Energy Markets and Deep Reinforcement Learning
University of Alberta(阿尔伯塔大学);Alberta Machine Intelligence Institute(阿尔伯塔机器智能研究所);University of Hradec Králové(赫拉德茨-克拉洛韦大学)
本研究利用深度强化学习智能体自动化终端用户在本地能源市场中的参与,以最小化能源账单并有效降低社区层面的净负荷波动,其在削减进口、出口和峰值需求上表现出了与动态规划基准相当或更优的性能。
2024-11-14 cs.AI cs.LG cs.MA
Forecast Aware Deep Reinforcement Learning for Efficient Electricity Load Scheduling in Dairy Farms
School of Computer Science, University of Galway(Galway大学计算机科学学院);School of Computing, Atlantic Technological University(阿特兰大技术大学计算学院)
本研究提出一种面向奶牛场的预报感知深度强化学习框架,通过优化电池存储和水加热,实现高效电力负荷调度,降低运营成本并提升能源利用效率。
2026-02-06 cs.AI
Deep Reinforcement Learning for Community Battery Scheduling under Uncertainties of Load, PV Generation, and Energy Prices
Monash University(莫纳什大学);Monash Energy Institute(莫纳什能源研究所)
本文提出以SAC为核心并结合噪声网络的深度强化学习策略,在PV、负荷和价格不确定下实现社区电池的多重调度目标,实验证明其优于PPO、DDPG及优化基准。
2023-12-04 cs.AI cs.LG math.OC
A centralized reinforcement learning method for multi-agent job scheduling in Grid
Isfahan University of Technology(伊斯法罕理工大学)
在网格系统中的主要挑战之一是设计一个自适应的,可扩展的,和模型无关的方法来调度作业,以达到理想程度的负载均衡和系统效率。集中式作业调度方法存在单点故障和缺乏可扩展性等缺点。此外,分散的方法需要一个通信有限的协调机制。在本文中,我们提出了一个多智能体的方法,在网格作业调度,命名为集中式学习分布式调度(CLDS),利用强化学习框架。CLDS是一种无模型的方法,它利用作业的信息和它们的完成时间来估计资源的效率。在该方法中,有一个学习者代理和几个调度器代理,执行学习和作业调度的任务,使用的协调策略,保持在有限的水平的通信成本。我们评估的CLDS方法的效率,通过设计和执行一组实验模拟网格系统在不同的系统规模和负载。实验结果表明,CLDS在大规模、重负载的网格环境下仍能有效地平衡系统的负载,同时保持其自适应性能和可扩展性。
2016-09-11 cs.AI cs.DC
WAR: Workload-Aware Rollouts for Synchronous Agentic Reinforcement Learning
研究针对智能体强化学习中展开成为系统瓶颈的问题,提出工作负载感知展开系统WAR,通过联合优化解码和调度加速同步智能体RL,在不同负载下提高吞吐量,消除主要展开瓶颈,为长上下文智能体训练提供实用路径。
2026-07-21 cs.AI cs.CL cs.LG
Deep Reinforcement Learning Microgrid Optimization Strategy Considering Priority Flexible Demand Side
Changchun Institute of Technology(长春工程学院);National and Local Joint Engineering Research Center for Smart Distribution Network Measurement, Control and Safe Operation Technology(智能配电网测控与安全运行技术国家地方联合工程研究中心);Qilu University of Technology (Shandong Academy of Sciences)(齐鲁工业大学(山东省科学院));Institute of Oceanographic Instrumentation(海洋仪器研究所)
微电网作为一种有效的分布式能源与用户端的集成方式,主要面临着分布式能源的小范围波动性、不确定性、不确定性和需求侧不确定性等问题。传统的微电网形式单一,无法满足复杂需求侧与微电网之间的能量灵活调度。针对这一问题,提出了风电、恒温控制负荷、储能系统、价格响应负荷和主电网的整体环境。其次,微网运行的集中控制便于分布式电源的无功和电压的控制以及电网频率的调整。然而,存在的问题在于,在电价谷期间,柔性负荷聚集并产生峰值。现有的研究考虑到微电网的功率约束,无法保证单个柔性负载的电能供应。在考虑微网整体运行环境的基础上,考虑TCL和ESS各单元组件的响应优先级,以保证微网柔性负荷的供电,最大程度地节约电力投入成本。最后,仿真环境的优化可以表示为一个马尔可夫决策过程。它在培训过程中结合了线下和线上两个阶段的操作。多线程的加入和缺乏历史数据学习导致学习效率低下。通过增加异步优势Actor-Criter和经验回放池内存库,解决了训练过程中数据的相关性和非静态分布问题。
2022-11-11 cs.AI cs.LG cs.SY
Optimal Economic Gas Turbine Dispatch with Deep Reinforcement Learning
McGill University(麦吉尔大学);Siemens Energy Canada Limited(西门子能源加拿大有限公司)
本研究利用深度强化学习(DQN、PPO等)解决燃气轮机经济调度问题,在加拿大案例中集成热力学软件并动态分配运维成本,实现更真实、高效的调度策略。
2023-08-28 cs.AI cs.LG cs.SY
Reinforcement Learning for Load-balanced Parallel Particle Tracing
The Ohio State University(俄亥俄州立大学);Argonne National Laboratory(阿贡国家实验室);Broad Institute of MIT and Harvard(麻省理工学院和哈佛大学布罗德研究所)
我们探索了一种在线强化学习(RL)范式,以动态优化分布式内存系统中的并行粒子跟踪性能。我们的方法结合了三个新的组件:(1)工作捐赠算法,(2)高阶工作量估计模型,(3)通信成本模型。首先,我们设计了一个基于RL的工作捐赠算法。我们的算法监控进程的工作负载,并创建RL代理,将数据块和粒子从高工作负载进程捐赠给低工作负载进程,以最大限度地减少程序执行时间。代理学习捐赠策略的基础上的奖励和成本函数设计考虑过程的工作量变化和捐赠行动的数据传输成本的飞行。其次,我们提出了一个工作负载估计模型,帮助RL代理估计未来计算过程的工作负载分布。第三,我们设计了一个考虑块和粒子数据交换成本的通信成本模型,帮助RL代理以最小的通信成本做出有效的决策。我们证明了我们的算法适用于大规模流体动力学,海洋和天气模拟数据中的不同流动行为。我们的算法提高了并行粒子跟踪性能的并行效率,负载平衡,I/O和通信的成本与多达16,384个处理器的评估。
2022-02-01 cs.AI cs.DC cs.GR
Adaptive Event-triggered Reinforcement Learning Control for Complex Nonlinear Systems
The University of Texas at San Antonio(德克萨斯大学圣安东尼奥分校);University of Cincinnati(辛辛那提大学)
本文提出一种自适应事件触发强化学习控制方法,通过联合学习控制与通信策略并利用累积奖励增广状态空间,在无需显式学习触发条件的情况下实现高效触发判定,适用于具有复杂交互的连续时间非线性系统。
2024-09-29 cs.AI cs.LG cs.SY
Control of nonlinear, complex and black-boxed greenhouse system with reinforcement learning
Korea Advanced Institute of Science and Technology(韩国科学技术院);Kyungbuk National University(庆北国立大学)
现代控制理论如系统工程方法试图通过揭示组件之间的因果关系或相关关系来解决非线性系统问题;大多数这些方法都专注于对复杂建模的白盒系统的控制。我们提出了一个应用行动者-批评者强化学习方法来控制一个非线性的,复杂的黑箱系统。我们在人工温室环境模拟器上演示了这种方法,所有的控制输入都有一些副作用,所以人类无法很容易地找出如何控制这个系统。我们的方法成功地维持了至少比PID和深度Q学习长20倍的环境。
2019-07-30 cs.AI cs.LG cs.SY
Deep Reinforcement Learning-Based Battery Conditioning Hierarchical V2G Coordination for Multi-Stakeholder Benefits
State Grid Fujian Electric Power Research Institute(国网福建省电力科学研究院)
提出基于深度强化学习和权益证明算法的多利益相关方分层V2G协调策略,兼顾电网、EVA和用户三方利益,有效提升可再生能源消纳、缓解负荷波动并降低充电成本与电池退化。
2023-08-01 cs.AI cs.LG cs.SY
A Generalized Reinforcement Learning Algorithm for Online 3D Bin-Packing
Tata Consultancy Services Research and Innovation Lab(塔塔咨询服务研究与创研实验室);Indian Institute of Technology Madras(印度理工学院马德拉斯分校)
我们提出了一种深度强化学习(Deep RL)算法,用于解决任意数量的箱子和任意大小的箱子的在线3D装箱问题。重点是产生可以由机器人装载臂(用于测试概念的实验室原型)物理实施的决策。本文所考虑的问题在两个方面是新颖的。首先,与传统的3D装箱问题不同,我们假设要打包的整个对象集是先验未知的。相反,固定数量的即将到来的对象对加载系统是可见的,并且它们必须按照到达的顺序加载。第二,目标不是经由可行路径将物体从一个点移动到另一个点,而是为每个物体找到最大化箱子的整体包装效率的位置和取向。最后,学习的模型被设计成可以处理任意大小的问题实例,而无需重新训练。仿真结果表明,基于RL的方法优于国家的最先进的在线装箱物流的经验竞争比和容积效率。
2020-07-01 cs.AI
Optimized cost function for demand response coordination of multiple EV charging stations using reinforcement learning
Ghent University – imec(根特大学-imec)
电动汽车(EV)充电站代表了具有显著灵活性的大量负载。需求响应(DR)算法的灵活性的开发变得越来越重要的管理和平衡的需求和供应在电网。基于强化学习(RL)的无模型DR是平衡这种EV充电负载的有吸引力的方法。我们建立在以前的研究RL,基于马尔可夫决策过程(MDP),同时协调多个充电站。然而,我们注意到,在以前的研究中采用的计算昂贵的成本函数导致大量的训练时间,这限制了该方法的可行性和实用性。因此,我们提出了一种改进的成本函数,基本上迫使学习控制策略始终满足任何充电需求,不提供任何灵活性。我们严格比较新提出的批量RL拟合Q-迭代实现与原来的(昂贵的),使用真实世界的数据。具体而言,对于负载平坦化的情况,我们比较了两种方法的(i)处理时间来学习基于RL的计费策略,以及(ii)在满足目标负载方面的策略决策的整体性能看不见的测试数据。针对不同的训练周期和不同的训练样本大小分析性能。除了两个RL政策的性能结果,我们提供了性能界限方面(i)最佳的全知策略,和(ii)一个简单的启发式传播个人电动汽车充电均匀随着时间的推移
2022-03-03 cs.AI
Graph Reinforcement Learning for QoS-Aware Load Balancing in Open Radio Access Networks
Intel Labs(英特尔实验室)
本文提出一种基于图强化学习的QoS感知负载均衡方法,通过GNN与DQN结合建模马尔可夫决策过程,在多频段O-RAN中优化GBR与BE流量,显著降低QoS违规并提升BE流量速率。
2025-04-28 cs.AI cs.IT cs.LG
Scheduling Out-of-Coverage Vehicular Communications Using Reinforcement Learning
Huawei Technologies Duesseldorf GmbH(华为技术杜塞尔多夫有限公司);Technische Universität Berlin(柏林工业大学)
车对车(V2V)通信的性能在很大程度上取决于所采用的调度方法。虽然集中式网络路由器提供高V2V通信可靠性,但它们的操作通常限于具有全蜂窝网络覆盖的区域。相反,在蜂窝覆盖区域外,使用相对低效的分布式无线电资源管理。为了利用集中式方法的优势来增强缺乏蜂窝网络覆盖的道路上V2V通信的可靠性,我们提出了VRLS(车辆强化学习),这是一种集中式调度器,可以主动为覆盖范围外的V2V通信\textit{before}车辆离开蜂窝网络覆盖范围分配资源。通过在模拟车辆环境中进行训练,VRLS可以学习鲁棒且适应环境变化的调度策略,从而无需在复杂的现实环境中进行有针对性的(重新)训练。我们评估VRLS在不同的移动性,网络负载,无线信道和资源配置下的性能。VRLS通过在高负载条件下将分组出错率降低一半并在低负载情况下实现接近最大的可靠性,在没有蜂窝网络覆盖的区域中优于最先进的分布式调度算法。
2022-07-13 cs.AI cs.NI eess.SP
Multi-objective Reinforcement Learning with Nonlinear Preferences: Provable Approximation for Maximizing Expected Scalarized Return
Harvard University(哈佛大学);Duke University(杜克大学)
针对多目标 MDP 中非线性偏好下的 ESR 最大化问题,提出含时间与累积奖励的扩展 Bellman 形式,并给出伪多项式近似算法及理论与实验验证。
2025-02-18 cs.AI cs.LG
Optimizing Sensory Neurons: Nonlinear Attention Mechanisms for Accelerated Convergence in Permutation-Invariant Neural Networks for Reinforcement Learning
针对强化学习训练成本高的问题,提出一种非线性注意力机制,通过增强键向量表示提升置换不变神经网络的收敛速度与训练效率,同时保持性能与基线相当。
2025-06-23 cs.AI cs.LG
Scaling Agentic Capabilities, Not Context: Efficient Reinforcement Finetuning for Large Toolspaces
Microsoft Research(微软研究院)
ATLAS通过强化微调框架使小型语言模型在大规模工具空间中更高效地执行任务,通过学习上下文获取和动作执行,提升长周期工作流程的稳定性与效率。
2026-03-05 cs.AI cs.LG
Contextual Quality-Diversity Evolutionary Reinforcement Learning for HVAC Control in Tropical Commercial Buildings
本文提出 CQD-ERL 控制器,用于热带商业建筑 HVAC 监督控制,在新加坡建筑降阶环境训练后,经年度回测与 ASHRAE Guideline 36 基线对比,实现更优控制性能。
2026-08-13 cs.AI cs.LG cs.NE
DRL-based Slice Placement under Realistic Network Load Conditions
Orange Labs(奥兰治实验室);Sorbonne Université / CNRS / Inria(索邦大学/法国国家科学研究中心/法国国家信息与自动化研究所)
我们提出了一种基于深度强化学习(DRL)的网络切片放置优化解决方案,称为启发式控制DRL,它使用启发式来控制DRL算法收敛。该解决方案适用于现实的网络规模大,在非平稳的业务条件下(即,网络负载)。我们证明了所提出的解决方案的适用性和其更高的和稳定的性能超过一个非控制的基于DRL的解决方案。演示场景包括具有多个易失性网络切片放置请求到达的完整在线学习。
2021-09-27 cs.AI cs.NI
Constraint-Aware Aggregation for Federated Reinforcement Learning in Microgrid Energy Coordination
School of Computer Science, University of Galway(戈尔韦大学计算机科学学院)
研究微电网能量协调中联邦强化学习的约束感知聚合,提出含本地性能和约束违反的聚合规则,基于惩罚的规则效果最佳,实验表明轻量级聚合策略能在保留通信协议时提高联邦强化学习的经验安全性。
2026-07-15 cs.AI cs.LG
Deep Multi-Agent Reinforcement Learning for Cost Efficient Distributed Load Frequency Control
基于微电网的架构的兴起极大地改变了配电系统中的能量控制景观,使得分布式控制机制对于确保可靠的电力系统操作是必要的。在本文中,我们提出使用强化学习技术来实现负载频率控制,而无需中央机构。为此,我们近似的最佳解决方案的主要,次要的,和三级控制与使用的多智能体深度确定性策略梯度(MADDPG)算法。发电机组的特点是作为代理人,学习如何最大限度地提高其长期性能的行为和与环境的相互作用,以平衡发电和负载在一个具有成本效益的方式。在我们的框架中,网络效应也被建模,用于将频率恢复到标称值。我们通过数值结果验证了我们的强化学习方法,并表明它可以用于以分布式和成本有效的方式实现负载频率控制。
2020-10-13 cs.SY eess.SY
Proactive Load-Shaping Strategies with Privacy-Cost Trade-offs in Residential Households based on Deep Reinforcement Learning
The University of Manchester(曼彻斯特大学);KU Leuven(鲁汶大学);COSIC(计算机与安全集成中心)
针对智能电表隐私泄露问题,提出基于深度强化学习的主动负荷整形算法PLS-DQN,通过制造虚假负荷特征误导攻击者,在保护隐私的同时兼顾成本,优于现有方法。
2024-05-29 cs.LG cs.SY eess.SY
Reinforcement Learning for Thermostatically Controlled Loads Control using Modelica and Python
Ukrainian Catholic University(乌克兰天主教大学);Rensselaer Polytechnic Institute(伦斯勒理工学院)
该项目的目的是调查和评估应用强化学习(RL)的电力系统控制的机会。作为概念验证(proof of concept,ESTA),使用基于Modelica的流水线开发了用于功耗调节的恒温控制负载(thermostatically controlled loads,TCLs)的电压控制。Q-学习RL算法已被验证为确定性和随机初始化的TCL。后一种建模更接近于真实的电网行为,考虑到负载切换的随机性,这对控制开发提出了挑战。此外,本文还讨论了Q-学习参数,包括状态-动作空间的离散化,对控制器性能的影响。
2020-05-09 cs.LG cs.SY eess.SY
On the Use of Reinforcement Learning for Attacking and Defending Load Frequency Control
本文提出了一种基于深度强化学习的方法,用于识别负荷频率控制中的漏洞并合成虚假数据注入和负荷切换攻击,同时设计了有监督和无监督检测器以基于识别出的攻击策略指导防御策略的设计。
2023-03-28 cs.SY eess.SY
Adaptive Load Shedding for Grid Emergency Control via Deep Reinforcement Learning
紧急控制,典型地如欠压减载(UVLS),被广泛地用于在紧急情况下解决实际电力系统中的低电压和电压不稳定问题。然而,现有的紧急控制方案是基于规则的,不能自适应地应用于不确定和浮动的操作条件。本文提出了一种基于深度强化学习和专家系统的自适应UVLS紧急控制算法。我们首先构造动态组件,用于将电力系统操作描绘为环境。瞬态电压恢复准则对UVLS提出了时变要求,它被集成到状态和奖励函数中,以指导深度神经网络的学习。该方法不存在报酬函数系数的调整问题,而这一问题被认为是现有基于DRL算法的不足之处。大量的案例研究表明,所提出的方法优于传统的UVLS继电器在紧急控制的及时性和有效性。
2021-02-25 cs.SY eess.SY
Reinforcement Learning Based Symbolic Regression for Load Modeling
本文提出一种基于Actor-Critic强化学习的符号回归算法,通过可训练表达式树和候选池机制生成紧凑可解释的负荷模型,在降低计算复杂度的同时实现优于现有基准的动态负荷建模性能。
2025-03-10 cs.SY eess.SY
Dynamic Load Balancing for EV Charging Stations Using Reinforcement Learning and Demand Prediction
本文提出结合预训练图神经网络需求预测与强化学习的电动汽车充电网络动态定价和负载均衡框架,利用深圳EVCDP数据集验证其能显著改善负载均衡并减少过载。
2025-03-09 cs.SY eess.SY
Multi-Agent Reinforcement Learning for Fast-Timescale Demand Response of Residential Loads
Mila(米拉研究所)
为了整合大量的可再生能源,电网必须能够应对发电过程中的高幅度、快速时间尺度变化。通过需求响应的频率调节有可能协调时间灵活的负载,如空调,以抵消这些变化。现有的离散控制方法与动态约束的斗争提供令人满意的性能快速时标动作选择数百代理。我们提出了一个分散的代理训练多代理近端策略优化本地化通信。我们探讨两种通信框架:手工设计,或通过有针对性的多智能体通信学习。由此产生的政策执行良好,稳健的频率调节,并无缝扩展到任意数量的房屋恒定的处理时间。
2023-01-06 cs.AI cs.LG cs.MA
Multi-agent Deep Reinforcement Learning for Distributed Load Restoration
针对停电后配电系统负荷恢复问题,提出融合无效动作掩码的多智能体深度强化学习方法,确定断路器最优操作序列,并在多个 IEEE 测试馈线上验证其更优的学习性能与稳定性。
2023-06-24 cs.SY eess.SY
Dynamic Matching Markets in Power Grid: Concepts and Solution using Deep Reinforcement Learning
传统的大容量负荷灵活性选项,如负荷转移和负荷削减,用于管理电力市场中的不确定性,限制了选项的多样性,并忽略了个别负荷的偏好,从而降低了效率和福利。本文提出了一种替代大容量负荷灵活性选项管理电力市场的不确定性:基于强化学习的动态匹配市场。本文提出了一种新的基于混合学习的动态匹配市场社会福利最大化模型。我们模型的主要特征是一个固定的基于规则的函数和一个可学习的组件,可以通过在线收集的数据进行训练,而无需先验知识或专家监督。可学习组件的输出是各个客户的匹配决策的概率分布。所提出的混合模型使学习算法能够找到一个有效的匹配策略,同时满足客户的服务偏好。仿真结果表明,学习算法学习一个有效的匹配策略,为不同的发电消费配置文件,并表现出更好的性能相比,标准的在线匹配策略,如匹配到达,匹配到最高,匹配到最早的截止日期的政策。
2021-12-16 cs.SY eess.SY
Safe Reinforcement Learning for Emergency LoadShedding of Power Systems
电网的范式转变需要重新审视现有的控制方法,以确保电网的安全性和弹性。特别是,电力系统中增加的不确定性和快速变化的操作条件已经揭示了电力系统的现有控制方法在速度、自适应性或可扩展性方面的突出问题。另一方面,大量实时数据的可用性可以更清楚地了解网格中正在发生的事情。最近,深度强化学习(RL)被认为是一种利用海量数据进行快速自适应网格控制的有前途的方法。然而,与大多数现有的基于机器学习(ML)的控制技术一样,RL控制通常不能保证被控系统的安全性。介绍了一种基于RL的电力系统安全减载新方法,该方法可以提高电网在发生故障后的电压安全恢复能力。在39节点IEEE基准上进行了数值仿真,以证明所提出的安全RL紧急控制的有效性,以及其对训练中未出现的故障的自适应能力。
2020-11-17 cs.SY eess.SY
Data-driven Under Frequency Load Shedding Using Reinforcement Learning
针对传统低频减载方案适应性差、强化学习方法训练计算负担重的问题,提出用机器学习分类器捕捉系统频率响应后训练RL智能体的方法,可缩短训练与实时应用时间、减少减载量,在IEEE 68节点系统上验证了更优性能。
2024-10-06 cs.SY eess.SY
Convolutional Neural Networks For Automatic State-Time Feature Extraction in Reinforcement Learning Applied to Residential Load Control
VITO/EnergyVille(VITO/能源城);Vrije Universiteit Brussel(布鲁塞尔自由大学)
本文提出使用卷积神经网络提取隐藏状态-时间特征,以缓解部分可观测性带来的 curse,通过拟合 Q-迭代的监督学习步骤估计状态-动作值函数,验证了该方法在住宅负荷控制中的有效性。
2016-10-11 cs.LG cs.SY eess.SY
Accelerated Deep Reinforcement Learning Based Load Shedding for Emergency Voltage Control
切负荷是防止电压失稳的最有效的紧急控制手段之一。随着电力系统中不确定性的增加和运行条件的快速变化,现有方法在速度、自适应性或可扩展性方面存在突出问题。近年来,深度强化学习(DRL)被认为是一种有前途的快速自适应电网稳定控制方法。然而,现有的DRL算法在应用于电力系统控制问题时表现出两个突出的问题:1)计算效率低,需要大量的训练和调整时间;以及2)可扩展性差,使得难以扩展到高维控制问题。为了克服这些问题,一个加速DRL算法称为PARS开发和定制的电力系统电压稳定控制通过减载。PARS具有高度的可扩展性,并且仅使用五个主要超参数即可轻松调优。IEEE 39总线和IEEE 300总线系统的方法进行了测试,后者是迄今为止最大的规模这样的研究。测试结果表明,与其他方法相比,包括模型预测控制(MPC)和邻近策略优化(PPO)方法,PARS具有更好的计算效率(更快的收敛速度)、更强的学习鲁棒性、良好的可扩展性和泛化能力。
2020-12-05 cs.SY eess.SP eess.SY
DER Allocation without Load Prediction via Reinforcement Learning
Arizona State University(亚利桑那州立大学);Indian Institute of Technology Madras(马德拉斯印度理工学院)
针对现有DERA框架依赖负荷预测易受误差影响的问题,提出无预测RL框架,通过LSVI算法学习最优策略,在CAISO数据实验中实现高跟踪精度与稳定调节。
2026-08-18 cs.SY eess.SY
Resilient Load Restoration in Microgrids Considering Mobile Energy Storage Fleets: A Deep Reinforcement Learning Approach
Interdisciplinary Graduate School, Nanyang Technological University Singapore(南洋理工大学跨学科研究生院(新加坡));School of Electrical and Electronic Engineering, Nanyang Technological University Singapore(南洋理工大学电气与电子工程学院(新加坡))
移动储能系统(MESS)提供了移动性和灵活性,以增强配电系统的弹性。本文提出了一个马尔可夫决策过程(MDP)制定的综合服务恢复策略,协调调度的MESS和微电网的资源调度。考虑了负荷消耗的不确定性。深度强化学习(DRL)算法被用来解决MDP优化调度。具体地说,双延迟深度确定性策略梯度(TD 3)被应用于训练深度Q网络和策略网络,然后训练好的策略可以以在线方式部署,以同时执行多个动作。所提出的模型被证明在一个集成的测试系统与苏福尔斯交通网络连接的三个微电网。仿真结果表明,移动和固定的能量资源可以很好地协调,以提高系统的弹性。
2020-03-27 cs.LG cs.SY eess.SY
Curriculum-based Reinforcement Learning for Distribution System Critical Load Restoration
针对配电网大停电后关键负荷恢复问题,提出结合课程学习的强化学习方法,通过渐进式训练提升策略性能,实验验证其在可再生能源预测误差下比模型预测控制器更可靠。
2024-01-29 cs.SY eess.SY
Load constrained wind farm flow control through multi-objective multi-agent reinforcement learning
Department of Wind and Energy Systems, Technical University of Denmark(丹麦技术大学风能与能源系统系)
提出多智能体强化学习框架,结合独立软演员-评论家架构和数据驱动代理模型,在风电场流动控制中通过形状奖励函数约束损伤等效载荷增量,实现功率提升与负载控制的多目标优化。
2026-05-06 cs.LG cs.SY eess.SY
Deep Reinforcement Learning Approach to QoSAware Load Balancing in 5G Cellular Networks under User Mobility and Observation Uncertainty
School of Electrical Engineering, Iran University of Science & Technology (IUST), Tehran, Iran(伊朗科技大学电气工程学院)
本文提出基于PPO的深度强化学习框架,用于在用户移动性和观测不确定性下实现端到端的QoS感知负载均衡,通过多目标奖励机制平衡效率与稳定性。
2026-05-12 cs.NI cs.SY eess.SY
Nonlinear Incremental Control for Flexible Aircraft Trajectory Tracking and Load Alleviation
提出了一种柔性飞行器同时进行轨迹跟踪和载荷减缓的非线性控制结构。通过利用控制冗余,阵风和机动载荷减轻而不降低刚体指令跟踪性能。所提出的控制结构包含四个级联的控制回路:位置控制,飞行路径控制,姿态控制和最优多目标机翼控制。由于位置运动学不受模型不确定性的影响,非线性动态逆控制应用。相反,飞行轨迹动力学受到模型不确定性和大气扰动的影响,因此采用增量式滑模控制。基于李雅普诺夫的分析表明,该方法可以同时减少传统的滑模控制方法的模型依赖性和最小可能的增益。此外,姿态动力学是严格反馈形式的,因此采用增量反推滑模控制。此外,一个新的负载参考发生器的设计,以区分必要的负载执行机动从过量的负载。载荷参考由内环最优机翼控制器实现,而过量载荷由襟翼自然化而不影响外环跟踪性能。在空间冯卡门湍流场中的轨迹跟踪任务和阵风载荷减缓任务验证了所提出的控制结构的优点。
2021-01-03 cs.SY eess.SY
Passivity Conditions for Plug-and-Play Operation of Nonlinear Static AC Loads
在交流微电网中,多个相互作用的分布式发电单元(DGU)具有间歇性供电行为,这一复杂性要求在初级以分布式或分散式方式控制本地电压源逆变器(VSI)。在(Strehle等人,2019),我们使用无源性理论为此类VSI设计分散的即插即用电压和频率控制器。然而,闭环系统的稳定性分析需要一个负载连接的拓扑结构,在真实的电网中,负载是任意定位的。在本文中,我们扩大了我们以前的方法,考虑更现实和一般的情况下,非线性静态AC负载(ZIP和指数)在任意位置内的AC微电网。研究了可微映射的单调性,得到了这类非线性静态交流负载严格无源的充分不等式条件。与我们的即插即用VSI控制器一起,这使我们能够使用无源性参数来推断具有任意拓扑结构的AC微电网的渐近电压和频率稳定性。一个说明性的模拟验证我们的理论研究结果结束我们的工作。
2020-02-12 cs.SY eess.SY
A Nonlinear Regression Method for Composite Protection Modeling of Induction Motor Loads
保护设备用于在发生严重故障时将感应电动机负载与电力系统隔离,以防止对感应电动机负载的损坏。感应电动机负载及其保护的响应建模对于电力系统的规划和运行,特别是在理解系统的动态性能和故障发生后的稳定性是至关重要的。感应电动机通常配备有具有不同操作机制的几种类型的保护,这使得开发足够但不过于复杂的保护模型并确定其参数对于聚合感应电动机模型具有挑战性。本文提出了一种基于优化的非线性回归框架,以确定保护模型参数的综合感应电动机负载在商业建筑。使用数学抽象,确定一组合适的参数的保护模型在复合负荷模型的任务制定为一个非线性回归问题。数值例子说明了该框架的应用。敏感性研究表明,缺乏可用的电动机负载信息的保护模型的准确性的影响。
2019-12-16 cs.SY eess.SY
On the Effect of Tap Changers and Nonlinear Loads on Voltage Stability
针对2024年欧洲东南部电力系统停电事件,研究评估了非线性负荷下有载分接开关(OLTC)对电压稳定性的影响,以揭示此类场景下的潜在失稳机制。
2025-09-04 cs.SY eess.SY
Deep Reinforcement Learning for Long-Term Voltage Stability Control
深度强化学习(Deep Reinforcement Learning,DRL)是一种基于机器学习的方法,适用于复杂和高维的控制问题。在这项研究中,实时控制系统的基础上DRL的长期电压稳定事件的开发。利用需求响应(DR)和能量存储系统(ESS)的系统服务作为控制措施,以稳定系统的可能性进行了研究。在改进的Nordic32测试系统上评估DRL控制的性能。结果表明,DRL控制快速学习一个有效的控制策略,可以处理所涉及的不确定性时,使用DR和ESS。DRL控制相比,基于规则的甩负荷计划和DRL控制稳定系统显着更快,更少的负荷削减。最后,当测试和评估的负载和干扰的情况下,不包括在训练数据的性能,鲁棒性和泛化能力的控制是有效的。
2022-07-09 cs.SY eess.SY
Deep Reinforcement Learning Based Controller for Active Heave Compensation
升沉补偿是各种海上作业的重要组成部分。它用于各种应用,包括装载或卸载系统,海上钻井,直升机在振荡结构上着陆,以及部署和收回载人潜水器。本文提出了一种基于强化学习(RL)的控制器,采用深度确定性策略梯度(DDPG)算法进行主动升沉补偿。DDPG算法是一种无模型的在线强化学习方法,用于在训练试验期间捕获代理的经验。仿真结果表明,RL控制器的升沉补偿性能比调谐比例-微分控制提高了10%。所提出的方法的性能进行了比较方面的升沉补偿,偏移跟踪,扰动抑制,和噪声衰减。
2021-07-23 cs.SY eess.SY
Barrier Function-based Safe Reinforcement Learning for Emergency Control of Power Systems
低压减载已被认为是在紧急和严重情况下恢复电网电压稳定的标准和有效措施。然而,这种方案通常会使大量的负载跳闸,这对客户来说是不必要的和有害的。最近,深度强化学习(RL)被认为是一种很有前途的方法,可以显着减少甩负荷量。然而,与大多数现有的基于机器学习(ML)的控制技术一样,RL控制通常不能保证被控系统的安全性。介绍了一种新的电力系统紧急切负荷的安全RL方法,该方法可以提高电网在发生故障后的电压安全恢复能力。与标准RL方法不同,安全RL方法具有由障碍函数组成的奖励函数,当系统状态达到安全界限时,该障碍函数达到负无穷大。因此,最优控制策略,使最大化的回报函数,可以使电力系统,以避免安全边界。该方法具有通用性,可应用于其它安全关键控制问题。在39节点IEEE基准上进行了数值仿真,以证明所提出的安全RL紧急控制的有效性,以及其对训练中未出现的故障的自适应能力。
2021-09-30 cs.SY eess.SY
Reinforcement Learning Generalization for Nonlinear Systems Through Dual-Scale Homogeneity Transformations
针对强化学习控制非线性系统时参数泛化差的问题,提出双尺度齐次变换与强化学习结合的方法,在带吊挂载荷四旋翼控制任务中实现96%成功率和0.0253m的3D RMSE,性能优于同类方法。
2023-11-08 cs.SY eess.SY
Autonomous Wheel Loader Trajectory Tracking Control Using LPV-MPC
在本文中,我们提出了一个系统的方法,高性能和高效的自主轮式装载机的轨迹跟踪控制。针对轮式装载机的非线性动力学模型,将非线性模型预测控制(MPC)应用于离线轨迹规划,以获得满足状态和控制约束的高性能状态控制轨迹。在跟踪控制中,将非线性模型嵌入到线性变参数(LPV)模型中,并采用LPV-MPC策略实现快速在线计算和良好的跟踪性能。为了证明LPV-MPC的有效性和优越性,我们在高保真仿真环境中测试和比较了三种模型预测控制策略。在规划轨迹的基础上,对LPV-MPC、非线性MPC和LTI-MPC三种跟踪控制策略进行了仿真,并从计算量和跟踪性能两个方面进行了比较。LPV-MPC可以实现比常规LTI-MPC更好的性能,因为在LPV模型中捕获更准确的标称系统动态。此外,LPV-MPC实现略差的跟踪性能,但大大提高了计算效率比非线性MPC。我们的自动轮式装载机在模拟环境中完成装载循环的视频可以在这里找到:https://youtu.be/QbNfS_wZKKA。
2022-04-07 cs.SY eess.SY
A Nonlinear Controller for Parallel DC-DC Converters with ZIP Load and Constrained Output Voltage
本文提出一种基于障碍函数的自适应反步非线性控制器,用于带未知ZIP负载的并联DC-DC变换器,实现大信号下的电压调节与功率共享,并确保输出电压约束在负载突变时不被违反。
2025-02-28 cs.SY eess.SY