A Graph-Enhanced DeepONet Approach for Real-Time Estimating Hydrogen-Enriched Natural Gas Flow under Variable Operations
针对富氢天然气（HENG）管网氢气分数估计在变工况下的挑战，提出图增强DeepONet框架，通过双网络架构结合管道拓扑，提升大规模管网估计精度，实验证明其优于传统方法。
2025-04-09 cs.LG cs.SY eess.SY
Integrated Energy System Optimal Operation in Coal District With Hydrogen Heavy Trucks
Southeast University（东南大学）；Changzhou Power Supply Company of State Grid Jiangsu Electric Power Co., Ltd.（国网江苏省电力有限公司常州供电公司）
本文针对煤炭产区场景，提出基于二阶锥规划的电气综合能源系统优化调度模型，构建含煤开采、制氢、氢重卡运煤的封闭工业循环，可降低运行成本并提升可再生能源利用率。
2026-08-14 cs.SY eess.SY
Micro Energy-Water-Hydrogen Nexus: Data-driven Real-time Optimal Operation
本文将能源-水-氢耦合系统概念扩展至配电侧，提出基于凸包松弛技术和数据驱动预测的快速求解方法，解决微EWH耦合系统实时优化运行的大规模混合整数非线性规划问题。
2023-11-21 cs.SY eess.SY
Multi-Objective Deep Reinforcement Learning for Secure and Stable Power System Operation
Technical University of Denmark（丹麦技术大学）
针对电力系统多目标运行需求，提出统一控制的深度强化学习智能体，兼顾热安全与关键模式阻尼，在扰动下实现更好的运行平衡与性能提升。
2026-08-24 cs.SY eess.SY
A Hierarchical Optimisation Framework for Integrated Electric-Hydrogen-Transport Systems
Cardiff University（卡迪夫大学）
针对集成式电-氢-运输系统中车辆调度与多能源调度的强耦合问题，提出分层优化框架。车辆调度层用SFGH算法，能源调度层用DRL方法，经案例研究等验证了框架有效性、鲁棒性及策略泛化能力。
2026-10-20 cs.SY eess.SY
Technoeconomic Supplement of P2G Clusters with Hydrogen Pipeline for Coordinated Renewable Energy and HVDC Systems
在可再生能源发电机价格下降和氢气需求上升的趋势下，研究了P2G集群与氢气管道对高压直流输电共同消耗可再生能源的技术经济补充。首先，建立了大容量P2G集群的规划和运营约束。在此基础上，综合考虑可变性和不确定性，建立了可再生能源、HVDC、P2G和氢气管道的多阶段协调规划模型，给出了分布式鲁棒机会约束（DRCC）规划。并以蒙鲁系统为例进行了实证研究。与仅通过高压直流输电的能量传输相比，P2G可以以其运营灵活性和长期经济性提供运营补充，以满足高价值运输部门不断增长的需求，这刺激了额外的24 GW可再生能源勘探。技术和经济因素的敏感性分析进一步验证了P2G在可再生能源的高波动性和可再生能源发电机价格下降趋势下的优势。然而，由于P2G的额外平准化成本（0.04元人民币/千瓦时）约为HVDC（0.02元人民币/千瓦时）的两倍，因此P2G对可再生能源和氢气需求的不确定性更加敏感。
2021-02-02 cs.SY eess.SY
Annual Benefit Analysis of Integrating the Seasonal Hydrogen Storage into the Renewable Power Grids
人们越来越有兴趣将氢存储集成到具有高可再生渗透水平的电网中。储氢一体化的经济效益和电网可靠性都是至关重要的。本文提出了一个能源枢纽（EH）耦合电网的年度调度模型（ASM），以研究季节性储氢（SHS）的年度效益。每个能源中心都由氢存储，电解槽和燃料电池组成。电能和氢能可以在公交车上与能源中心交换。在ASM中强制执行网格和EH的物理约束。建议的ASM考虑了EH耦合电网的季节内日常运行。ASM采用四种典型的日廓线来表示四季的网格状况，减少了计算量。此外，季节内和跨季节的氢交换和存储都在ASM中建模。因此，氢储存的利用率在全年水平上得到优化。对IEEE 24节点系统进行了数值仿真。模拟结果表明，季节性储氢可以有效地节省年运行成本，减少可再生能源的削减。
2023-02-18 cs.SY eess.SY
Operational Value of Multi-Horizon Load Forecasts for Energy Management in a Hydrogen-Enabled Community Microgrid
Central Queensland University（中央昆士兰大学）；An-Najah National University（安纳贾国家大学）；The University of New South Wales, Canberra（新南威尔士大学堪培拉校区）
研究氢能社区微电网能量管理问题，核心方法是扩展近端策略优化（PPO）能量管理系统，添加多时段社区负荷预测。主要贡献是虽预测准确性有限，但能提前收敛、增加奖励、提升可再生能源利用率及节省成本。
2026-08-03 cs.SY eess.SY
Collaborative planning and optimization for electric-thermal-hydrogen-coupled energy systems with portfolio selection of the complete hydrogen energy chain
本文提出高分辨率电-热-氢耦合系统协同规划模型，结合完整氢能链投资组合，优化中国东北2050年能源布局，实现CO2减排60%、弃电率降低97%，成本低于社会碳成本4%。
2023-11-14 cs.SY eess.SY
Hydrogen-Diesel Dual-Fuel Engine Operation Using Real-Time GRU-Based Nonlinear Model Predictive Control
RWTH Aachen University（亚琛工业大学）；University of Alberta（阿尔伯塔大学）
本研究提出基于GRU神经网络动力学的非线性模型预测控制，用于氢-柴油双燃料发动机瞬态控制，在99,800循环训练后，实验显示负载跟踪误差降低27.8%，PM减少61.1%，峰值氢能份额达77.8%，实现实时约束感知控制。
2026-09-15 cs.SY eess.SY
The Benefits of Hydrogen Energy Transmission and Conversion Systems to the Renewable Power Grids: Day-ahead Unit Commitment
随着可再生能源在现代电力系统中的渗透率迅速上升，可再生能源的削减越来越频繁。这是对免费和绿色可再生能源的浪费，意味着目前的电网无法容纳更多的可再生能源。一个主要原因是，更高的可再生能源渗透水平需要更高的输电容量。另一个主要原因是可再生能源发电的波动性。混合氢或纯氢管道既能以氢的形式传递能量，又能以氢的形式储存能量。然而，其加速可再生能源整合的潜力尚未得到研究。本文将氢气管网与电力制氢（P2H）和氢气发电（H2P）设施相结合，组成氢能传输与转换系统（HETCS）。研究了含HETCS的电力系统的运行情况，提出了含HETCS的日前安全约束机组组合（SCUC）。SCUC仿真是在一个改进的IEEE 24节点电力系统上进行的。仿真结果表明，HETS可以大大减少可再生能源削减，CO2排放，负荷支付和总运营成本。这项研究验证了HETCS可以成为实现净零可再生电网的一个有前途的解决方案。
2022-06-28 cs.SY eess.SY
Proactive Scheduling of Hydrogen Systems for Resilience Enhancement of Distribution Networks
智能电网技术的最新进展为更好地控制具有可再生集成的现代复杂电网带来了机会。电力系统尤其是配电网的运行正面临着网络-物理-人类（CPH）威胁和自然灾害的严峻挑战。为了更好地应对威胁并提高电网的弹性，系统运营商需要主动计划和运营方案，以最大限度地减少CPH威胁造成的损失。为此，本文提出了一个积极的DN操作计划，通过使用氢（H2）系统，通过具有成本效益的长期能源储存来提高弹性。与电池不同，H2能量可以在极端事件发生前几天存储在储罐中，并在事件发生后通过燃料电池单元转化为电力，以减少由CPH威胁引起的负荷削减。通过对33节点测试馈线的测试，验证了该框架的有效性.仿真结果表明，H2系统可以提高DN的韧性在$N-m$中断持续超过10小时。
2021-06-01 cs.SY eess.SY
Representation Learning Enhanced Deep Reinforcement Learning for Optimal Operation of Hydrogen-based Multi-Energy Systems
School of Automation Science and Engineering, Xi’an Jiaotong University（自动化科学与工程学院，西安交通大学）；Center for Intelligent and Networked Systems, Department of Automation, BNRist, Tsinghua University（智能与网络化系统中心，自动化系，清华大学）；Department of Electrical Engineering and Computer Sciences, University of California（电气工程与计算机科学系，加州大学）
本文提出基于表示学习的深度强化学习框架，用于优化氢基多能源系统的运行，通过增强策略优化提升运行效率和安全性。
2026-01-17 cs.AI cs.LG cs.SY
Proactive Rolling-Horizon based Scheduling of Hydrogen Systems for Resilient Power Grids
部署分布式能源（DER）和其他智能电网技术增加了电网的复杂性，使其更容易受到自然灾害和网络物理人类（CPH）威胁的影响。为了应对这些极端事件，公用事业公司需要制定积极的计划，以最大限度地减少CPH威胁造成的损失。本文提出了一种积极的滚动时域为基础的计划，在集成的分配和传输网络的氢（H2）系统的连续性为导向的操作。所提出的框架是一个双层模型，其中上层的重点是在正常和紧急操作模式下的配电系统的操作，和较低的水平的问题帐户的传输网络的操作。本文考虑了氢气系统的两个突出方面：1）为了显示氢气系统的灵活性，考虑了电解槽、固定式燃料电池（FC）单元和氢气储罐在正常和紧急操作模式下的基于容量的需求响应信号; 2）与只能基于最大持续时间和额定功率来充电和放电能量的电池不同，H2系统可以被认为是灵活的长期能量存储，通过存储H2数天，并在\textit{N-m}中断持续超过10小时的情况下向FC供电。此外，计算了基于水电解的H2生产成本和储存成本。仿真结果表明，公用事业可以提高系统级的弹性使用H2系统作为长期的备用电源资源。
2021-07-17 cs.SY eess.SY
A Review of Hydrogen-Enabled Resilience Enhancement for Multi-Energy Systems
Nanjing University of Posts and Telecommunications（南京邮电大学）；Imperial College London（帝国理工学院）；University of Exeter（埃克塞特大学）；Xi’an Jiaotong University（西安交通大学）
本文综述了氢能赋能多能源系统韧性增强的挑战与方法，提出韧性提升框架，分类规划与运营措施，探讨未来研究方向。
2026-04-12 cs.SY eess.SY
Optimization and Control Technologies for Renewable-Dominated Hydrogen-Blended Integrated Gas-Electricity System: A Review
Huazhong University of Science and Technology（华中科技大学）；New Uzbekistan University（新乌兹别克斯坦大学）
本文针对掺氢气电综合系统整合面临的高效安全运行挑战，综述了其优化控制技术进展，涵盖关键技术、示范项目、系统整合各方向研究及安全分析控制方法，并提出未来研究方向。
2025-10-22 cs.SY eess.SY
Battery and Hydrogen Energy Storage Control in a Smart Energy Network with Flexible Energy Demand using Deep Reinforcement Learning
Keele University（基尔大学）；Luxembourg Institute of Science and Technology（卢森堡科学技术研究院）
智能能源网络提供了一种有效的手段，以适应太阳能和风能等可变可再生能源的高渗透率，这是能源生产深度脱碳的关键。然而，考虑到可再生能源的可变性以及能源需求，必须开发有效的控制和能量存储方案来管理可变的能量产生并实现期望的系统经济性和环境目标。本文介绍了一种由电池和氢储能组成的混合储能系统，以处理与电价、可再生能源生产和消费相关的不确定性。我们的目标是提高可再生能源的利用率，最大限度地降低能源成本和碳排放，同时确保网络内的能源可靠性和稳定性。为了实现这一目标，我们提出了一种多智能体深度确定性策略梯度方法，这是一种基于深度强化学习的控制策略，可以实时优化混合储能系统的调度和能源需求。所提出的方法是无模型的，不需要明确的知识和严格的数学模型的智能能源网络环境。基于真实世界数据的仿真结果表明：（i）与其他基准模型相比，混合储能系统和能源需求的集成和优化操作减少了78.69%的碳排放，节省了23.5%的成本，可再生能源利用率提高了13.2%以上;（ii）所提出的算法优于最先进的自学习算法，如深度Q网络。
2022-08-26 cs.AI cs.LG cs.MA
A Statistical and Machine Learning Framework for Operational Threshold Detection and Deployable Dispatch Controller Development in Hydrogen Multi-Energy Systems
Antioch College（安提阿学院）；The Open University of Sri Lanka（斯里兰卡开放大学）
提出统计与机器学习框架，利用一年高分辨率运行数据表征氢多能系统，通过统计分析和随机森林揭示非线性动态，并利用强化学习优化调度。
2026-06-15 cs.LG cs.SY eess.SY
Power and Hydrogen Hybrid Transmission for Renewable Energy Systems: An Integrated Expansion Planning Strategy
本文提出整合电力与氢气传输日常运行的 TEP-H 扩展规划模型，并在 TX-123BT 上验证其在高可再生渗透率和高转换效率下可降低总成本。
2023-12-17 cs.SY eess.SY
Optimizing Operation Recipes with Reinforcement Learning for Safe and Interpretable Control of Chemical Processes
TU Dortmund University（图卢兹大学）
本文提出利用强化学习优化操作配方，结合专家知识提升化学过程控制的安全性和可解释性，通过仿真验证其性能优势。
2025-11-20 cs.LG cs.SY eess.SY
Long-Term Energy Management for Microgrid with Hybrid Hydrogen-Battery Energy Storage: A Prediction-Free Coordinated Optimization Framework
针对含氢-电池混合储能的微电网长期能量管理，提出无预测两阶段协调优化框架，结合核回归与自适应虚拟队列OCO算法，实现次线性动态遗憾并显著降本减失负荷。
2024-07-31 cs.SY eess.SY math.OC
Optimal Management of a Smart Port with Shore-Connection and Hydrogen Supplying by Stochastic Model Predictive Control
本文提出了一种智能港口的最佳管理策略，该港口配备了可再生能源发电，由一个电气化码头和一个氢基码头组成，可提供零排放船舶。一个电池储能系统和一个氢储能系统用于管理可再生能源，并为电力和氢燃料船舶提供电力。设计了一种基于模型预测控制的算法，以确定在运行过程中要遵循的最佳经济策略。控制算法考虑到可再生能源发电的不确定性，使用随机优化。该方法的性能在未来可能配备风力和光伏发电的智能港口上进行了测试。
2022-11-22 cs.SY eess.SY
Optimal Energy System Scheduling Using A Constraint-Aware Reinforcement Learning Algorithm
针对现有深度强化学习算法难以严格满足能源系统运行约束的问题，提出MIP-DQN算法，利用深度神经网络可表示为混合整数规划的特性，在动作空间强制执行所有约束，仿真验证其优于现有算法且误差更低。
2023-05-09 cs.SY eess.SY
Autonomous Voltage Control for Grid Operation Using Deep Reinforcement Learning
GEIRI North America（GEIRI北美中心）；State Grid Corporation of China（国家电网公司）
本文提出Grid Mind框架，通过深度强化学习实现自主电网控制，解决传统方法在处理可再生能源和需求响应动态性带来的挑战，提升电网运行的安全性和经济性。
2019-04-24 cs.LG cs.SY eess.SY
Risk and Anomaly Identification for Distribution Network Optimal Operation Based on Reinforcement Learning and Uncertainty Quantification
College of Automation Engineering, Nanjing University of Aeronautics and Astronautics（南京航空航天大学自动化工程学院）
针对配电网优化运行的联合风险与异常识别问题，提出显式感知不确定性的深度强化学习框架，分解不确定性为两类以分别表征风险与异常，仿真验证了方法的性能与有效性。
2026-09-04 cs.LG cs.MA cs.SY
Green Hydrogen under Uncertainty: Evaluating Power-to-X Strategies Using Agent-Based Simulation and Multi-Criteria Decision Framework
SDU Center for Energy Informatics, The Maersk Mc-Kinney Moller Institute, The Faculty of Engineering, University of Southern Denmark（南丹麦大学工程学院马士基麦肯锡莫勒研究所能源信息学中心）
本文提出集成智能体仿真与多准则决策的框架，评估丹麦案例中三种运营策略与三种电解槽容量下的绿色氢能生产，发现混合策略在成本和排放上优于仅电网策略，为能源规划提供洞见。
2025-10-24 cs.SY eess.SY
On Training Effective Reinforcement Learning Agents for Real-time Power Grid Operation and Control
如何快速有效地协调控制仍然是影响当今大规模电网安全经济运行的重大挑战。本文提出了一种新的人工智能（AI）为基础的方法来实现多目标实时电网控制的现实世界的实施。采用最新的非策略强化学习（RL）算法，软行动者-评论者（SAC），通过多线程离线训练和周期在线训练来训练AI智能体，以在不违反线路热约束的情况下调节电压和传输损耗。开发了一个软件原型，并部署在国家电网江苏省电力公司控制中心，每5分钟与他们的能量管理系统（EMS）进行交互。大量的数值研究，使用实际的电网快照在实时环境中验证了所提出的方法的有效性。训练有素的SAC代理可以学习提供有效的亚秒级控制动作，以调节电压曲线并减少传输损耗。
2020-12-11 cs.SY eess.SY math.OC
Deep Behaviour Cloning of Model Predictive Control for Real-Time Operation of a Hydrogen-Diesel Dual-Fuel Engine
RWTH Aachen University（亚琛工业大学）；University of Alberta（阿尔伯塔大学）
本文通过行为克隆训练深度神经网络模仿模型预测控制，用于氢-柴油双燃料发动机的实时逐循环控制，在低成本硬件上实现快速推理并保持专家级性能。
2026-10-28 cs.SY eess.SY
Prescribing Optimal Health-Aware Operation for Urban Air Mobility with Deep Reinforcement Learning
针对城市空中交通中电池老化带来的任务规划难题，本文提出深度强化学习算法，结合电池健康状态优化运行参数与路径规划，在不确定性场景下实现接近最优的飞行性能。
2024-04-12 cs.SY eess.SY
Understanding the Safety Requirements for Learning-based Power Systems Operations
机器学习和强化学习的最新进展使人们越来越关注它们在电力系统运行中的一系列决策任务中的适用性，例如短期紧急控制，Volt/VAr控制，长期住宅需求响应和电池能量管理。尽管承诺提供强有力的表示复杂的系统动态和快速，有效的学习操作策略，这种学习范式的安全要求讨论较少。本文通过利用对抗性攻击对安全关键系统操作的影响，探讨了此类学习算法在数据和模型方面的设计要求。对电压调节和拓扑控制任务进行的案例研究表明了标准强化学习算法的潜在漏洞，并讨论了电力系统操作任务的机器学习鲁棒性和安全性的可能措施。
2021-10-12 cs.SY eess.SY
Integer-Clustering Optimization of Hydrogen and Battery EV Fleets Considering DERs
Johns Hopkins University（约翰斯·霍普金斯大学）；Massachusetts Institute of Technology（麻省理工学院）；New York University（纽约大学）
本文提出整数聚类优化模型，协同设计氢/电池EV车队、分布式能源及充加氢基础设施，并基于波士顿公交网络验证其计算效率与系统规划价值。
2025-06-11 cs.SY eess.SY
Close-Proximity Satellite Operations through Deep Reinforcement Learning and Terrestrial Testing Environments
Verus Research（韦勒斯研究公司）；Air Force Research Laboratory（空军研究实验室）
本文研究利用深度强化学习实现多智能体卫星检查任务中的自主控制，并通过LINCS实验室从仿真到真实四旋翼硬件测试算法性能，关注其在训练环境外部署时的行为与性能退化。
2025-02-27 cs.RO cs.SY eess.SY
Batch-Constrained Reinforcement Learning for Dynamic Distribution Network Reconfiguration
动态配电网重构（DNR）算法每小时执行远程可控开关的状态变化，以提高配电系统的性能。该问题通常通过基于物理模型的控制算法来解决，该算法不仅依赖于精确的网络参数，而且缺乏可扩展性。为了解决这些限制，本文开发了一种数据驱动的批量约束强化学习（RL）算法的动态DNR问题。所提出的RL算法学习网络重构控制策略，从一个有限的历史操作数据集，而无需与配电网。对三个配电网的数值研究结果表明，该算法不仅优于现有的强化学习算法，而且改进了行为控制策略，生成了历史运行数据。所提出的算法也是非常可扩展的，可以实时找到一个理想的网络重构解决方案。
2020-06-23 cs.SY eess.SY
A Review of Safe Reinforcement Learning Methods for Modern Power Systems
本文综述了安全强化学习在现代电力系统运行与控制中的应用，指出其通过Lagrangian松弛、安全层和Lyapunov函数等主动机制严格保障安全约束，并总结了现有技术、部署场景、真实案例及未来挑战。
2025-06-26 cs.SY eess.SY
A Multi-stack Power-to-Hydrogen Load Control Framework for the Power Factor-Constrained Integration in Volatile Peak Shaving Conditions
多电堆组成的大规模发电制氢（P2H）系统是电力系统潜在的强大调峰资源。然而，由于在连接电网侧的性能与固有的运行控制的研究差距，P2H负荷的连续运行是有限的PF评估时，融入电网的波动条件下。本文首先填补了空白，提出了一个典型的功率变换器接口拓扑的P2H负载的有功功率和无功功率的分析模型。在此基础上，捕捉多堆P2H负载的全工况PF特性作为统一的电流和温度控制变量的函数。然后，PF约束的多时标控制框架的构建，以综合评估柔性，PF，生产和安全。为保证控制精度和易处理性，提出了基于模型的小时前鲁棒模型预测控制器和基于规则的实时增量校正算法的两级连接。案例研究验证了一个内在的控制PF和生产之间的权衡，从而在一个不平等的分配策略相比，传统的面向生产的控制。验证了扩展PF和安全维度的意义，以提高灵活性。在此基础上，归纳出了集群级低、中、高负荷下的5种典型运行模式，可供工业应用。
2023-01-14 cs.SY eess.SY
Grid-Interactive Multi-Zone Building Control Using Reinforcement Learning with Global-Local Policy Search
在本文中，我们开发了一种基于深度强化学习（RL）方法的网格交互式多区域建筑控制器。该控制器旨在促进正常条件和需求响应事件期间的建筑物运行，同时确保居住者的舒适性和能源效率。我们利用一个连续的动作空间RL制定，并设计了一个两阶段的全球本地RL培训框架。在第一阶段，使用无梯度RL算法执行全局快速策略搜索。在第二阶段中，使用政策梯度方法进行局部微调。与现有的模型预测控制（MPC）方法相比，所提出的RL控制器在实时操作期间不需要复杂的计算，并且可以适应非线性建筑模型。我们说明了控制器的性能数值使用一个五区的商业建筑。
2020-10-13 cs.SY eess.SY
Cost Optimized Scheduling in Modular Electrolysis Plants
本文提出基于交替方向乘子法的分散式调度模型，用于优化模块化电解厂运行，以平衡产氢与波动需求、最小化边际平准化氢气成本并适应运行扰动。
2024-02-07 cs.AI cs.SY eess.SY
Joint Optimization for Coordinated Charging Control of Commercial Electric Vehicles Under Distributed Hydrogen Energy Supply
最近，向零碳电力系统的过渡正在加速。氢能和电动汽车（EV）是供应和需求方面有前途的解决方案。本文提出了一种新的架构，包括制氢站（HPS），快速充电站（FCS）和商用电动汽车。该架构联合优化分布式氢能调度和电动汽车充电位置选择，并制定了一个时变的双层二分图（T-BBG）模型的实时操作。提出了一种结合线性规划和库恩-芒克雷斯算法的双层迭代优化方法来求解联合优化问题，并从理论上证明了该方法的最优性。通过在上海的案例研究验证了所提出的架构在降低运营成本的有效性。所提出的方法优于其他策略，并提高了至少13%的性能，这表明联合架构的潜在经济效益。分析了桩数、电池容量、电动汽车速度和惩罚因子对算法收敛性的影响。
2021-03-23 cs.SY eess.SY
Dynamic Optimization of Proton Exchange Membrane Water Electrolyzers Considering Usage-Based Degradation
本文构建融合零维物理、质量能量平衡、运行约束与使用退化数据的PEM电解槽技术经济优化模型，评估不同年份与电价情景下的最优尺寸、运行和储氢配置。
2024-05-10 cs.SY eess.SY math.OC
Shared Renewable Allocation and Hydrogen Flexibility in Local Energy Markets: A Market Design Perspective
Norwegian University of Science and Technology (NTNU)（挪威科技大学）
提出协调的本地电-氢市场框架，通过混合整数线性规划模型优化电力交易、电池运行、风电分配和氢生产，揭示市场设计规则和可再生能源接入机制对系统行为与灵活性的关键影响。
2026-06-11 cs.SY eess.SY
Hydrogen and Battery Storage Technologies for Low Cost Energy Decarbonization in Distribution Networks
如果没有可再生能源的高渗透率，深度能源脱碳就无法实现。在更高的可再生能源渗透率下，太阳能光伏（PV）电力的可变性和间歇性可能会导致现有化石燃料发电的斜坡问题，需要更长时间的能量存储来提高电网运行的可靠性。质子交换膜电解槽可以生产氢气，并作为公用可控负载。产生的氢气可以储存并转化为电能，或与天然气混合，或用作运输燃料或化学原料。本文认为，在一个标准的IEEE 33节点配电网络上运行的分布式能源的配电系统运营商的角度考虑的技术和物理约束，以最大限度地减少总投资和运营成本的目标。不同的案例研究，在非常高的光伏渗透率被认为是显示的挑战和路径，以净零排放能源生产使用氢能源。公用事业光伏成本和电解槽资本成本对以1美元/公斤生产氢气的敏感性表明，配电网络可以生产100%的可再生电力，到2050年，可以以保守的成本估计以相同的价格生产氢气，到2030年，成本加速下降。
2022-02-06 cs.SY eess.SY
A Reinforcement Learning-based Economic Model Predictive Control Framework for Autonomous Operation of Chemical Reactors
KAUST（阿卜杜拉国王科技大学）
本研究针对经济模型预测控制依赖模型精度、纯强化学习控制存安全稳定性问题，提出二者结合的非线性系统在线参数估计框架，在保障闭环稳定的同时优化过程，推动反应器自主运行落地。
2021-05-06 cs.LG cs.SY eess.SY
Meta-Reinforcement Learning for Robust and Non-greedy Control Barrier Functions in Spacecraft Proximity Operations
University of Illinois Urbana–Champaign（伊利诺伊大学厄巴纳-香槟分校）；Massachusetts Institute of Technology（麻省理工学院）；University of Auckland（奥克兰大学）
本文提出一种基于元强化学习的方法，用于航天器近距离操作中鲁棒且非贪婪的控制屏障函数设计，通过参数化和学习类-K函数层次，减少保守性并提高安全性。
2026-02-07 cs.SY eess.SY math.DS
UAV Aided Search and Rescue Operation Using Reinforcement Learning
由于部署灵活性的增强和制造成本的降低，预计未来几年对无人机（UAV）的需求将飙升。在本文中，我们探讨了无人机辅助搜索和救援~（SAR）在室内环境中，GPS信号可能是不可靠的操作。我们考虑SAR场景，其中无人机试图通过感测受害者拥有的智能设备发出的RF信号来定位被困在室内环境中的受害者。为了尽可能快地定位受害者，我们利用强化学习（RL）的工具。无人机上的接收信号强度（RSS）取决于与源的距离、室内阴影和衰落参数以及安装在无人机上的接收机的天线辐射方向图。为了使我们的分析更加真实，我们使用商业射线跟踪软件模拟了两个不同尺寸的室内场景。然后，在每个可能的离散UAV位置处提取相应的RSS值，并在Q学习框架中使用。与利用GPS坐标的传统基于位置的导航方法不同，我们的方法使用RSS来定义RL算法的状态和奖励。我们比较所提出的方法，其中使用定向和全向天线的性能。结果表明，使用定向天线提供更快的收敛速度比全向天线。
2020-02-19 cs.SY eess.SP eess.SY
Reinforcement Learning-Based Co-Design and Operation of Chiller and Thermal Energy Storage for Cost-Optimal HVAC Systems
Plaksha University（普拉克斯大学）
本文通过强化学习优化冷水机与热能存储的联合设计，以实现HVAC系统的成本最优方案。
2026-02-07 cs.AI cs.SY eess.SY
A Multiobjective Reinforcement Learning Framework for Microgrid Energy Management
Cornell University（康奈尔大学）；Cornell Energy Systems Institute（康奈尔能源系统研究所）
提出一种多目标强化学习框架，利用外生信息训练参数化策略以揭示微电网冲突目标间的权衡，并在CU-MG上验证其可全面提升运行性能。
2025-02-14 cs.LG cs.SY eess.SY
Green Hydrogen Plant: Optimal control strategies for integrated hydrogen storage and power generation with wind energy
风能和太阳能等可再生能源的间歇性导致能源供应的可预测性较低，从而导致电网中可能出现不匹配。为此，氢的生产和储存可以通过增加系统内的灵活性来提供解决方案。储存的氢气可以转化为电能，也可以用作工业原料、建筑环境的供暖以及车辆燃料。本研究探讨了运营由可再生能源生产和储氢组成的综合能源系统的最佳策略。使用马尔可夫决策过程理论，我们构建了最佳的政策，每天的决策，有多少能量存储为氢，或购买或出售给电力市场，以及有多少氢出售作为天然气使用。我们特别重视实际环境，例如具有合同约束力的购电协议、不同的电价、不同的分销渠道、绿色氢气承购协议以及氢气市场价格的不确定性。广泛的实验和分析进行的背景下，荷兰北部，欧洲的第一个氢谷正在形成。结果表明，通过引入储氢装置和具有竞争力的氢气市场价格，可以实现高达51%的运营收入大幅增长。这相当于4.5兆瓦风力涡轮机每年每台涡轮机的收入增加\euro 126，000英镑。此外，我们的研究结果表明，氢气供应协议对于保持能源转型的正常进行至关重要。
2021-08-01 cs.SY eess.SY math.OC
A Reinforcement Learning-based Volt-VAR Control Dataset and Testing Environment
University of California, Riverside（加州大学河滨分校）
为了促进基于强化学习（RL）的配电系统电压无功控制（VVC）的开发，本文介绍了一套用于基于RL的VVC算法研究的开源数据集，该数据集具有样本高效、安全和鲁棒性。该数据集由两个部分组成：1。一个体操类VVC测试环境的IEEE-13，123和8500总线测试馈线和2。每个馈线的历史操作数据集。数据集和测试环境的潜在用户可以首先在历史数据集上训练样本有效的离线（批处理）RL算法，然后在测试环境中评估训练的RL代理的性能。该数据集可作为一个有用的测试平台，用于进行基于RL的VVC研究，以模拟电力公司面临的现实运营挑战。同时，它允许研究人员在不同算法之间进行公平的性能比较。
2022-04-20 cs.LG cs.SY eess.SY
Learning and Fast Adaptation for Grid Emergency Control via Deep Meta Reinforcement Learning
Pacific Northwest National Laboratory（太平洋西北国家实验室）；Google Research（谷歌研究院）
随着电力系统正在经历一场重大变革，不确定性增加，惯性减小，接近运行极限，大规模停电的风险越来越大。因此，迫切需要加强电网紧急控制，以维护系统的可靠性和安全性。为此，近年来在开发基于深度强化学习（DRL）的网格控制解决方案方面取得了很大进展。然而，现有的基于DRL的解决方案具有两个主要局限性：1）它们不能很好地处理大范围的电网操作条件、系统参数和突发事件; 2）它们通常缺乏快速适应新的电网操作条件、系统参数和突发事件的能力，限制了它们对于现实世界应用的适用性。在本文中，我们通过开发一种新的深度Meta强化学习（DMRL）算法来减轻这些限制。DMRL将Meta策略优化与DRL相结合，并训练由潜在空间调制的策略，可以快速适应新的场景。我们测试的IEEE 300节点系统上开发的DMRL算法。我们证明了快速适应的元训练DRL政策与潜在变量，以新的操作条件和情况下，使用所提出的方法，并实现优越的性能相比，国家的最先进的DRL和模型预测控制（MPC）的方法。
2022-02-05 cs.LG cs.SY eess.SY
Reconfiguring flexibility in renewable power-to-ammonia systems using molten-salt thermal energy storage in the ammonia synthesis loop: A coordinated electro-hydrogen-thermal scheduling approach
College of Electrical Engineering, Sichuan University（四川大学电气工程学院）；School of Chemical Engineering, Sichuan University（四川大学化学工程学院）；School of Advanced Engineering, Great Bay University（大湾区大学先进工程学院）
本文提出在氨合成循环中引入熔盐热能存储，以解决风能和太阳能间歇性带来的氢气生产波动及氨合成反应器热不稳定问题，通过协调电-氢-热调度提升系统灵活性和经济性。
2026-04-28 cs.SY eess.SY math.OC
Optimizing the switching operation in monoclonal antibody production: Economic MPC and reinforcement learning
University of Alberta（阿尔伯塔大学）
针对单克隆抗体连续生产中捕获柱切换的离散优化难题，本文提出sigmoid函数近似、ReLU近似两种经济MPC高效实现方法及深度强化学习方法，并与传统1%穿透规则切换策略进行比较，以提升计算可行性和生产性能。
2023-08-07 cs.LG cs.SY eess.SY
Safe Decentralized Operation of EV Virtual Power Plant with Limited Network Visibility via Multi-Agent Reinforcement Learning
Department of Data Science and AI, Faculty of IT, Monash University（蒙纳士大学信息技术学院数据科学与人工智能系）；Monash Energy Institute, Monash University（蒙纳士大学蒙纳士能源研究所）
本文提出一种安全增强的虚拟电厂框架，利用多智能体强化学习在有限信息约束下协调多个电动汽车充电站，确保电压安全并维持经济运行。
2026-03-24 cs.AI cs.SY eess.SY
Reinforcement Learning Based Power Grid Day-Ahead Planning and AI-Assisted Control
enliteAI
正在进行的向可再生能源的过渡正在增加风能和太阳能等波动性电源的份额，增加电网波动性，并使电网运营变得日益复杂和成本高昂。在我们以前的工作中，我们已经介绍了一种拥塞管理方法，包括一个再调度优化器结合机器学习为基础的拓扑优化代理。与典型的仅重调度代理相比，它能够使模拟电网保持更长的运行时间，同时降低运营成本。我们的方法还在欧洲最大的电网运营商RTE发起的L2RPN 2022竞赛中排名第一。本文的目的是使这一有前途的技术更接近现实世界的电网运行。我们在两种类似于既定工作流程的设置中部署基于RL的代理，即AI辅助的提前规划和实时控制，以展示这种新技术的好处和警告。然后，我们分析拥塞，重新调度和切换配置文件，和基本的灵敏度分析提供了一个一瞥的操作鲁棒性。虽然距离真正的控制室还有很长的路要走，但我们相信本文和相关的原型有助于缩小差距，并为在未来的电网中安全部署RL代理铺平道路。
2023-02-15 cs.AI cs.LG cs.SY
Facilitating Connected Autonomous Vehicle Operations Using Space-weighted Information Fusion and Deep Reinforcement Learning Based Control
Purdue University（普渡大学）；Carnegie Mellon University（卡内基梅隆大学）
互联自动驾驶汽车（CAV）的连接性方面是有益的，因为它有助于通过车辆到外部（V2X）通信向车辆传播交通相关信息。机载传感设备包括LiDAR和摄像头，可以合理地表征CAV附近的交通环境。然而，它们的性能受到其传感器范围（SR）的限制。另一方面，较长范围的信息有助于描述下游即将发生的情况。通过同时合并短距离和长距离信息，CAV可以全面构建其周围环境，从而促进短期（包括车道变换的局部决策）和长期（路线选择）的明智、安全和有效的运动规划。在本文中，我们描述了一种基于深度强化学习的方法，该方法集成了通过传感和连接功能从位于CAV附近的其他车辆以及位于下游的车辆收集的数据，我们使用融合数据来指导变道，这是CAV操作的特定上下文。此外，认识到连通范围（CR）的重要性，不仅对算法的性能，而且在实际驾驶环境中的车辆，本文进行了案例研究。案例研究表明，所提出的算法的应用，并及时确定适当的CR为每个级别的现行交通密度。预计该算法在CAV中的实施可以提高CAV驾驶操作的安全性和机动性。从一般的角度来看，其实施可以为连接设备制造商和CAV运营商提供关于CAV的默认CR设置或给定交通环境中的推荐CR设置的指导。
2020-09-30 cs.AI cs.LG cs.SY
