SIR-RL: Reinforcement Learning for Optimized Policy Control during Epidemiological Outbreaks in Emerging Market and Developing Economies
BML Munjal University（BML Munjal大学）；Ambo University（安博大学）
本文提出SIR-RL强化学习框架，结合SIR模型、封锁严格性指数与疫苗接种策略，为新兴市场和发展中经济体优化疫情期间公共卫生与经济稳定之间的政策权衡。
2024-04-30 cs.LG physics.soc-ph q-bio.PE
MPC-based Reinforcement Learning for Economic Problems with Application to Battery Storage
Norwegian University of Science and Technology (NTNU)（挪威科技大学）
在本文中，我们感兴趣的最优控制问题的纯经济成本，这往往会产生最优的政策具有（近）bang-bang结构。我们专注于基于模型预测控制（MPC）的政策近似和使用的确定性策略梯度方法来优化MPC的闭环性能，在存在未建模的随机性或模型误差。当策略具有（接近）bang-bang结构时，我们观察到策略梯度方法可能难以在策略参数中产生有意义的步骤。为了解决这个问题，我们提出了一个同伦策略的基础上的邻域点的方法，提供了一个放松的政策在学习过程中。我们调查了一个特定的众所周知的电池存储问题，并表明，所提出的方法提供了一个均匀的和更快的学习比经典的策略梯度方法。
2021-04-06 cs.LG cs.SY eess.SY
Contingency-constrained economic dispatch with safe reinforcement learning
Technical University of Munich（慕尼黑工业大学）
针对未来微电网中高不确定性和安全挑战，提出一种形式化验证的强化学习经济调度控制器，通过安全层和约束区域投影确保动作安全，并在实际住宅数据中验证。
2024-07-16 cs.AI cs.LG cs.SY
End-to-End Reinforcement Learning of Koopman Models for Economic Nonlinear Model Predictive Control
Forschungszentrum Jülich GmbH（于利希研究中心）；RWTH Aachen University（亚琛工业大学）；JARA-ENERGY（JARA能源研究中心）
本文提出端到端强化学习Koopman替代模型用于经济非线性模型预测控制，在连续搅拌釜反应器应用中优于系统辨识模型，且无需重训即可适应控制变化。
2024-08-01 cs.LG cs.SY eess.SY
Study on Supply Chain Finance Decision-Making Model and Enterprise Economic Performance Prediction Based on Deep Reinforcement Learning
University of San Francisco（旧金山大学）；Brown University（布朗大学）；Cornell University（康奈尔大学）；JPMorgan Chase（摩根大通）
本文提出结合深度学习与智能粒子群优化的决策模型，通过深度强化学习优化后端冗余供应链网络，仿真表明该模型有效降低资源消耗并提升动态环境下的实时决策与鲁棒控制能力。
2025-10-31 cs.LG
Decentralized Reinforcement Learning: Global Decision-Making via Local Economic Transactions
University of California, Berkeley（加州大学伯克利分校）；Princeton University（普林斯顿大学）
本文旨在建立一个框架，指导一个简单的，专门的，自利的代理人的社会，解决传统上被称为单片单代理顺序决策问题。使用分散的方法来集体优化一个中心目标的挑战在于难以描述非合作博弈的均衡策略。为了克服这一挑战，我们设计了一种机制，用于定义每个代理的学习环境，我们知道，全球目标的最佳解决方案与代理优化自己的本地目标的纳什均衡策略配置文件相吻合。社会作为一个经济的代理人，学习信用分配过程本身通过购买和出售对环境状态的经营权。我们得到了一类分散的强化学习算法，不仅广泛适用于标准的强化学习，但也选择半MDP的选项和动态组成计算图。最后，我们展示了一个社会的内在模块化结构的潜在优势，更有效的迁移学习。
2020-08-14 cs.GT cs.LG cs.MA
Reinforcement Learning for Combining Search Methods in the Calibration of Economic ABMs
Università Cattolica del Sacro Cuore（圣心天主教大学）；Universität Bielefeld（比勒费尔德大学）
针对宏观经济 ABM 校准的高维无导数搜索问题，提出用强化学习在运行中动态选择并组合搜索方法，性能优于固定方法及人工组合。
2023-12-07 cs.AI cs.LG cs.MA
Independent policy gradient-based reinforcement learning for economic and reliable energy management of multi-microgrid systems
School of Mechanical and Electrical Engineering, Shenzhen Polytechnic University（机械与电气工程学院，深圳职业技术大学）；School of Business, Sun Yat-Sen University（商学院，中山大学）
本文提出了一种基于独立策略梯度的分布式强化学习方法，用于解决多微电网系统的经济可靠能源管理问题，通过均值-方差团队随机博弈模型实现去中心化策略优化。
2025-11-26 cs.LG cs.SY eess.SY
Climate Adaptation with Reinforcement Learning: Economic vs. Quality of Life Adaptation Pathways
Technical University of Denmark（技术大学）；University of Galway（Galway大学）
本文提出用强化学习在气候不确定性下识别适应路径，并通过综合评估模型显式比较经济优先与生活质量优先的政策差异，发现后者会导致更高且更均衡的适应支出。
2025-11-05 cs.LG
Reinforcement Learning and Consumption-Savings Behavior
New York University（纽约大学）
本文构建采用Q学习的消费-储蓄决策模型，用强化学习解释经济衰退中家庭消费的两个实证模式，其模拟结果与实证匹配，为理解过往经历对消费的影响提供了统一框架。
2026-09-29 cs.AI cs.LG econ.GN
EconoJax: A Fast & Scalable Economic Simulation in Jax
LIACS, Leiden University（莱顿大学LIACS）
针对多智能体经济环境下强化学习训练慢的问题，提出基于JAX的快速经济模拟系统EconoJax，可在15分钟内完成百智能体训练并涌现真实经济行为，且不同多智能体方法行为多样性无显著差异，已开源。
2025-05-16 cs.LG cs.MA econ.GN
Reinforcement Learning for Mean Field Games, with Applications to Economics
University of California Santa Barbara（加州大学圣巴巴拉分校）；Princeton University（普林斯顿大学）
平均场博弈（MFG）和平均场控制问题（MFC）是研究具有连续个体的博弈中的纳什均衡或社会最优解的框架。这些问题可以用来近似竞争或合作对策与大量的有限数量的代理人，并已发现了广泛的应用，特别是在经济学。近年来，MFG和MFC中的学习问题引起了人们的兴趣，无论是作为一种计算解决方案的方法，还是作为一种模拟大量学习者如何收敛到均衡的方法。特别感兴趣的是智能体不知道模型的设置，这导致了强化学习（RL）方法的发展。在回顾了有关这一主题的文献后，我们提出了一种针对MFG和MFC的RL双时标方法，该方法依赖于统一的Q学习算法。该方法的主要新颖之处是同时更新动作值函数和分布，但具有不同的速率，以无模型的方式。根据两个学习率的比率，算法学习MFG或MFC解决方案。为了说明这种方法，我们将其应用到一个平均场问题的累积消费在有限的地平线与HARA效用函数，和一个交易者的最佳清算问题。
2021-06-25 cs.LG math.OC
A Reinforcement Learning-based Economic Model Predictive Control Framework for Autonomous Operation of Chemical Reactors
KAUST（阿卜杜拉国王科技大学）
本研究针对经济模型预测控制依赖模型精度、纯强化学习控制存安全稳定性问题，提出二者结合的非线性系统在线参数估计框架，在保障闭环稳定的同时优化过程，推动反应器自主运行落地。
2021-05-06 cs.LG cs.SY eess.SY
Simulating the Economic Impact of Rationality through Reinforcement Learning and Agent-Based Modelling
Università di Trieste（的里雅斯特大学）；Banca d’Italia（意大利银行）；Università Cattolica del Sacro Cuore（圣心天主教大学）
本文提出理性宏观 ABM（R-MABM）框架，将多智能体强化学习引入经济仿真，发现理性智能体能自发学习多种利润最大化策略并分化群体，其数量增加可提升总产出但可能加剧不稳定性。
2024-10-21 cs.AI cs.CE cs.LG
Optimal Economic Gas Turbine Dispatch with Deep Reinforcement Learning
McGill University（麦吉尔大学）；Siemens Energy Canada Limited（西门子能源加拿大有限公司）
本研究利用深度强化学习（DQN、PPO等）解决燃气轮机经济调度问题，在加拿大案例中集成热力学软件并动态分配运维成本，实现更真实、高效的调度策略。
2023-08-28 cs.AI cs.LG cs.SY
Economic Battery Storage Dispatch with Deep Reinforcement Learning from Rule-Based Demonstrations
McGill University（麦吉尔大学）；Siemens Energy Canada Limited（西门子能源加拿大有限公司）
针对经济型电池调度中奖励延迟导致深度强化学习训练困难的问题，本文提出在SAC中引入基于简单规则生成的演示数据进行学习，在微电网案例中显著提升了样本效率和最终奖励，且方法对规则选择具有鲁棒性。
2025-04-06 cs.LG cs.SY eess.SY
Exploring Equity of Climate Policies using Multi-Agent Multi-Objective Reinforcement Learning
Delft University of Technology（代尔夫特理工大学）
本文提出Justice框架，结合多目标多智能体强化学习与整合评估模型，以生成兼顾公平性与气候经济目标的政策建议。
2025-11-30 cs.LG
Optimizing the switching operation in monoclonal antibody production: Economic MPC and reinforcement learning
University of Alberta（阿尔伯塔大学）
针对单克隆抗体连续生产中捕获柱切换的离散优化难题，本文提出sigmoid函数近似、ReLU近似两种经济MPC高效实现方法及深度强化学习方法，并与传统1%穿透规则切换策略进行比较，以提升计算可行性和生产性能。
2023-08-07 cs.LG cs.SY eess.SY
SLM Lab: A Comprehensive Benchmark and Modular Software Framework for Reproducible Deep Reinforcement Learning
California Institute of Technology（加州理工学院）
我们介绍SLM实验室，一个可重复的强化学习（RL）研究的软件框架。SLM Lab实现了许多流行的RL算法，提供同步和异步并行实验执行，超参数搜索和结果分析。SLM Lab中的RL算法以模块化的方式实现，因此算法性能的差异可以自信地归因于算法之间的差异，而不是实现之间的差异。在这项工作中，我们提出了SLM实验室背后的设计选择，并使用它来产生一个全面的单代码库RL算法基准。此外，由于SLM实验室的模块化设计，我们引入并评估了Soft Actor-Critic算法的离散动作变体（Haarnoja等人，2018）和RL代理的混合同步/异步训练方法。
2019-12-28 cs.AI cs.LG stat.ML
Optimising Lockdown Policies for Epidemic Control using Reinforcement Learning
TCS Research（塔塔咨询服务研究院）；Microsoft Research（微软研究院）
在新型冠状病毒肺炎（COVID-19）疫情持续的背景下，多份报告和研究试图对该疾病的传播进行建模和预测。关于限制对健康和经济的损害的政策也有激烈的辩论。一方面，人口的健康和安全是大多数国家的主要考虑。另一方面，我们不能忽视全国范围内严格封锁可能造成的长期经济损害。在这篇工作论文中，我们提出了一种定量方法来计算单个城市或地区的封锁决策，同时平衡健康和经济因素。此外，这些政策是自动学习所提出的算法，作为疾病参数（传染性，妊娠期，症状持续时间，死亡概率）和人口特征（密度，运动倾向）的函数。我们考虑了现实的考虑因素，如不完美的封锁，并表明使用强化学习获得的政策是一个可行的量化方法对封锁。
2020-05-01 cs.AI cs.LG physics.soc-ph
Epidemic Decision-making System Based Federated Reinforcement Learning
Beijing University of Posts and Telecommunications（北京邮电大学）
针对疫情数据样本有限、隐私敏感的问题，提出联邦强化学习疫情决策系统，联合多省数据协同训练，实验证明其性能、回报和收敛速度更优，并发现A2C最适合该场景。
2023-11-03 cs.IR cs.LG
Reinforcement Learning Policy Recommendation for Interbank Network Stability
Duke university（杜克大学）；Università degli studi di Bari Aldo Moro（巴里大学阿尔多·莫罗大学）；Universitat Jaume I（海梅一世大学）；Università di Bologna（博洛尼亚大学）
本文提出基于强化学习的政策建议框架，通过结合公共与私人信号引导银行间信贷决策，生成动态网络，证明核心-边缘结构与机构规模同质性对系统韧性至关重要，且最优政策能有效缓解系统性风险。
2023-05-17 cs.LG econ.GN q-fin.EC
End-to-End Reinforcement Learning of Koopman Models for eNMPC of an Air Separation Unit
Forschungszentrum Jülich GmbH, Institute of Climate and Energy Systems, Energy Systems Engineering (ICE-1)（贾格尔中心Jülich GmbH，气候与能源系统研究所，能源系统工程（ICE-1））；RWTH Aachen University, Process Systems Engineering (AVT.SVT)（亚琛工业大学，过程系统工程（AVT.SVT））；JARA-ENERGY, Jülich 52425（JARA-ENERGY，Jülich 52425）；RWTH Aachen University（亚琛工业大学）
本文提出了一种端到端强化学习方法，用于在空气分离单元中实现经济非线性模型预测控制，通过Koopman模型在保持经济性能的同时避免约束违反。
2025-12-15 cs.LG math.OC
Inverse Reinforcement Learning with Explicit Policy Estimates
Carnegie Mellon University（卡内基梅隆大学）；Sony Corporation（索尼公司）
在机器学习和经济学中，已经独立地开发了用于解决逆强化学习（IRL）问题的各种方法。特别是，最大因果熵IRL方法是基于熵最大化的观点，而经济学领域的相关进展则假设存在未观察到的行动冲击来解释专家行为（嵌套不动点算法，条件选择概率方法，嵌套伪Likestive算法）。在这项工作中，我们在这两个领域的这些相关方法之间建立了以前未知的联系。我们实现这一点，表明它们都属于一类优化问题，其特征在于一个共同的形式的目标，相关的政策和目标梯度。我们证明了关键的计算和算法之间的差异，由于最佳软价值函数的近似的方法，并描述了如何导致更有效的算法。使用的见解，从我们的研究这一类的优化问题，我们确定了各种问题的情况下，并调查每种方法的适用性，这些问题。
2021-03-04 cs.LG stat.ML
Government Intervention in Catastrophe Insurance Markets: A Reinforcement Learning Approach
The American University in Cairo（开罗美国大学）；Université du Québec à Montréal（魁北克大学蒙特利尔分校）
本文设计了一个微观基础社会的连续重复博弈，其中有三种类型的代理人：个人，保险公司和政府。我们使用强化学习（RL），与多臂强盗问题密切相关，来学习每花费1美元的一组拟议政策干预对福利的影响。本文件通过逐案比较，严格讨论了拟议干预措施的可取性。本文提供了一个框架，算法的政策评估使用校准的理论模型，可以协助可行性研究。
2022-07-03 cs.LG cs.MA econ.GN
COVID-19 Pandemic Cyclic Lockdown Optimization Using Reinforcement Learning
Oracle Corporation（甲骨文公司）
这项工作研究了使用强化学习（RL）来优化循环封锁，这是控制COVID-19大流行的方法之一。该问题被构造为用于跟踪参考值的最优控制系统，该参考值对应于关键资源（诸如ICU病床）的最大使用水平。然而，代替使用常规的最优控制方法，RL被用于找到最优控制策略。开发了一个框架，使用基于RL的开关控制器来计算最佳循环锁定定时。基于RL的控制器实现为RL代理，与流行病模拟器交互，实现为扩展的SEIR流行病模型。RL代理学习策略函数，该策略函数产生开放/锁定决策的最优序列，使得RL奖励函数中指定的目标被优化。使用了两个并行目标：第一个是公共卫生目标，最大限度地减少ICU床位使用超过ICU床位阈值的情况，第二个是社会经济目标，最大限度地减少封锁时间。假设当一个地区面临超过资源容量限制的紧迫危险，以及由于缺乏必要的经济资源在长期封锁期间支持其受影响人口而实施长期封锁将导致严重的社会和经济后果时，周期性封锁被视为长期封锁的临时替代方案。
2020-09-10 cs.AI cs.LG q-bio.PE
The Economic Dispatch of Power-to-Gas Systems with Deep Reinforcement Learning:Tackling the Challenge of Delayed Rewards with Long-Term Energy Storage
McGill University（麦吉尔大学）；Siemens Energy（西门子能源）
针对P2G长期储能带来的延迟奖励难题，本文改进Deep Q-Networks与PPO，通过预测、奖励惩罚和策略性成本计算提升经济调度性能。
2025-06-06 cs.AI cs.LG cs.SY
Causal Campbell-Goodhart's law and Reinforcement Learning
University College London（伦敦大学学院）
坎贝尔-古德哈特定律（Campbell-Goodhart's law）指的是一种因果推理错误，即决策主体试图影响与其目标目标相关的变量，但并不可靠地导致它。这是经济学和政治学中众所周知的错误，但在人工智能研究中并没有被广泛标记。通过一个简单的例子，我们展示了现成的深度强化学习（RL）算法不一定不受这种认知错误的影响。离策略学习方法被欺骗，而在策略方法不是。实际的含义是，将RL天真地应用于复杂的现实生活问题可能会导致与人类相同类型的政策错误。在理解基于强化学习的解决方案的因果模型时，应该非常小心。
2021-02-18 cs.AI cs.LG econ.GN
Deep Reinforcement Learning for Constrained Field Development Optimization in Subsurface Two-phase Flow
Chevron ETC（雪佛龙能源技术公司）；Stanford University（斯坦福大学）
我们提出了一种基于深度强化学习的人工智能代理，该代理可以以最小的计算成本提供对储层和岩石/流体性质的基本描述的优化开发计划。该人工智能代理包括卷积神经网络，提供从储层模型的给定状态、约束和经济条件到在所定义的顺序油田开发规划过程的下一阶段中要采取的最优决策（钻井/不钻井和井位置）的映射。使用出现在两相流的控制方程中的参数来定义储层模型的状态。被称为深度强化学习的反馈回路训练过程用于训练具有这种能力的人工智能代理。培训需要数百万个流动模拟，其中包括不同的储层模型描述（结构、岩石和流体性质）、操作约束和经济条件。定义储层模型、操作约束和经济条件的参数从定义的适用范围中随机抽样。几个算法处理，以加强训练的人工智能代理。经过适当的训练后，人工智能代理在定义的适用范围内立即为新场景提供优化的油田开发计划。该方法具有优于传统优化算法（例如，粒子群优化、遗传算法），它们通常用于为特定的油田开发方案找到解决方案，并且通常不能推广到不同的方案。
2021-03-31 cs.AI cs.LG math.OC
Advancements and Challenges in Continual Reinforcement Learning: A Comprehensive Review
Electrical and Computer Science Engineering Department, Faculty of Engineering, Monash University, Clayton, Victoria, Australia（莫纳什大学工程学院电气与计算机科学工程系）
本综述探讨了持续强化学习如何使智能体按顺序持续学习并保留可重用知识，分析了关键概念、挑战与新颖方法，并重点介绍了机器人领域的最新进展及评估环境，最后指出了局限性与未来方向。
2025-06-27 cs.LG
Gimitest: A Comprehensive Tool for Testing Reinforcement Learning Policies
Simula Research Laboratory（西莫拉研究实验室）
针对强化学习策略可靠性测试难的问题，提出综合框架并实现开源工具Gimitest，它支持多种gym框架，可修改集成组件，能在不同环境下测试单智能体和多智能体RL策略，展示了其有效性。
2026-07-09 cs.AI cs.LG cs.SE
Towards Sustainable Hydrogen Systems: Supply Chain Optimization with Model Predictive Control and Reinforcement Learning
本文针对可再生能源驱动的氢能供应链，比较了基于规则、模型预测控制和强化学习等四种控制策略，发现MPC经济性最优，强化学习无需预测也能稳健运行，为运营策略选择提供指导。
2026-09-14 cs.LG math.OC
Rationally Inattentive Inverse Reinforcement Learning Explains YouTube Commenting Behavior
KATERRA；Cornell University（康奈尔大学）
我们考虑了一种新的应用程序的逆强化学习与行为经济学的约束建模，学习和预测的YouTube观众的评论行为。每一组用户被建模为一个合理的疏忽贝叶斯代理，解决了上下文强盗问题。我们的方法集成了三个关键组成部分。首先，为了识别不同的评论模式，我们使用深度嵌入式聚类来估计框架信息（必要的外部特征），将用户聚类到不同的组中。其次，我们提出了一个逆强化学习算法，该算法使用贝叶斯揭示的偏好来测试合理性：是否存在一个效用函数，使给定的数据合理化，如果是的话，它可以用来预测评论行为吗？最后，我们施加行为经济学的限制，从理性的注意力不集中的用户群体的注意力范围的特点。该测试施加了R{é}nyi互信息成本约束，该约束影响智能体如何选择注意力策略以最大化其预期效用。在对大量YouTube数据集进行仔细分析后，我们得出了令人惊讶的结果：在大多数YouTube用户组中，评论行为与优化理性疏忽约束的贝叶斯效用一致。本文还强调了理性注意力不集中模型如何准确预测评论行为。本文中使用的大量YouTube数据集和分析可在GitHub上获得，并且完全可复制。
2020-04-04 cs.LG cs.SI stat.ML
Reinforcement Learning for IoT Security: A Comprehensive Survey
Howard University（霍华德大学）
对于不同的物联网（IoT）应用，连接的智能设备数量呈指数级增长。安全性一直是物联网系统中的一个长期挑战，物联网系统具有许多攻击向量，安全缺陷和漏洞。确保物联网中数十亿B连接设备的安全是实现物联网应用全部潜力的必要任务。最近，研究人员为物联网提出了许多安全解决方案。机器学习已被提出作为物联网安全的新兴解决方案之一，强化学习在保护物联网系统方面越来越受欢迎。与其他机器学习技术不同，强化学习可以通过具有关于要学习的参数的最小信息来学习环境。它通过与环境交互来动态地调整参数来解决优化问题。在本文中，我们全面调查了针对不同物联网系统的不同类型的网络攻击，然后我们提出了强化学习和基于深度强化学习的安全解决方案，以打击不同物联网系统中的不同类型的攻击。此外，我们提出了用于保护CPS系统的强化学习（即，具有反馈和控制的物联网），如智能电网和智能交通系统。还以表格的形式总结了最近在物联网中使用强化学习B的重要攻击和对策。通过本文，读者可以更深入地了解使用强化学习的物联网安全攻击和对策，以及该领域的研究趋势。
2021-02-14 cs.AI cs.LG
A Comprehensive Survey of Reinforcement Learning: From Algorithms to Practical Challenges
Wilfrid Laurier University（劳里埃大学）
本文全面综述强化学习算法，从基础表格方法到深度强化学习技术，按可扩展性和样本效率等标准分类评估，并提供算法选择与实现的实用见解。
2025-02-01 cs.AI cs.LG
Analyzing Micro-Founded General Equilibrium Models with Many Agents using Deep Reinforcement Learning
University of Maryland（马里兰大学）；Salesforce（赛富时）
实体经济可以被建模为一个有许多异质主体（如消费者、企业和政府）的序贯信息博弈。动态一般均衡（DGE）模型经常用于这种背景下的宏观经济分析。然而，使用现有的理论或计算方法，寻找一般均衡是具有挑战性的，特别是当使用微基础来建模个体代理时。在这里，我们展示了如何使用深度多智能体强化学习（MARL）来找到$ε$ -微基DGE模型中智能体类型的元均衡。虽然标准的MARL无法学习非平凡的解决方案，但我们的结构化学习课程能够稳定地收敛到有意义的解决方案。从概念上讲，我们的方法更灵活，不需要不切实际的假设，例如，连续的市场清算，通常用于分析易处理性。此外，我们的端到端GPU实现能够与大量RL经济代理进行快速实时收敛。我们在开放和封闭的真实商业周期（RBC）模型中展示了我们的方法，其中包括100名工人-消费者，10家公司和一名税收和再分配的社会规划师。我们通过最佳响应分析验证了学习的解决方案是$ε$ -元均衡，表明它们与经济直觉一致，并表明我们的方法可以学习开放RBC模型中定性不同的$ε$ -元均衡。因此，我们表明，硬件加速的MARL是一个很有前途的框架，用于模拟基于微观基础的经济复杂性。
2022-02-24 cs.AI cs.GT cs.LG
COOL-MC: A Comprehensive Tool for Reinforcement Learning and Model Checking
Radboud University（拉德堡德大学）；University of Antwerp（安特卫普大学）；Flanders Make（法兰德斯制造研究院）
本文介绍了COOL-MC，一个工具，集成了最先进的强化学习（RL）和模型检验。具体来说，该工具基于OpenAI gym和概率模型检查器Storm。COOL-MC提供以下功能：（1）一个模拟器，用于在OpenAI gym中训练RL策略，用于定义为Storm输入的马尔可夫决策过程（MDP），（2）一个新的Storm模型构建器，使用回调函数来验证（神经网络）RL策略，（3）将OpenAI gym或Storm中指定的模型和策略关联起来的形式化抽象，以及（4）获得所谓的许可策略的性能上的界限的算法。我们描述了COOL-MC的组件和架构，并在多个基准测试环境中展示了其功能。
2022-09-15 cs.LG cs.LO
Graph Reinforcement Learning for Power Grids: A Comprehensive Survey
Fraunhofer Institute for Energy Economics and Energy System Technology (IEE)（弗劳恩霍夫能源经济与能源系统技术研究所（IEE））；University of Kassel（卡塞尔大学）；University of Greifswald（格赖夫斯瓦尔德大学）
本文综述了图强化学习在电力网络中的应用，探讨了其在表示学习和决策制定中的改进，并指出现阶段仍处于概念验证阶段，需进一步解决实际应用中的挑战。
2026-01-07 cs.LG
Deep Reinforcement Learning and Transportation Research: A Comprehensive Review
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
深度强化学习（DRL）是一种新兴的方法，正在改变许多复杂的交通决策问题的解决方式。研究人员越来越多地转向这种强大的基于学习的方法来解决交通领域的挑战性问题。虽然在文献中已经报道了许多有前途的应用，但仍然缺乏对许多DRL算法及其使用和适应的全面综合。本文的目的是填补这一空白，进行全面的，综合性的审查，日间行车灯在交通运输中的应用。首先，我们提供了一个概述的DRL的数学背景，流行的和有前途的DRL算法，和一些非常有效的DRL扩展。在此概述的基础上，约150 DRL的研究，出现在交通文献中，分为七个不同的类别，进行了系统的调查。在此次审查的基础上，我们继续研究日间行车灯技术在交通领域应用的适用性、优点、缺点以及常见和特定应用问题。最后，我们建议未来的研究方向和目前可用的资源，实际实施DRL。
2020-10-13 cs.AI cs.LG
Comprehensive Overview of Reward Engineering and Shaping in Advancing Reinforcement Learning Applications
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）；Innopolis University（Innopolis 大学）
本文系统综述了强化学习中奖励工程与奖励塑造的方法、技术、局限及最新进展，并探讨了其在机器人、自动驾驶等复杂任务中的未来应用方向。
2024-12-27 cs.LG cs.SY eess.SY
Challenges and Opportunities in Deep Reinforcement Learning with Graph Neural Networks: A Comprehensive review of Algorithms and Applications
PNNL（太平洋西北国家实验室）；Kansas State University（堪萨斯州立大学）；ETH Zurich（苏黎世联邦理工学院）
深度强化学习（Deep Reinforcement Learning，DRL）已经为各种人工智能领域提供了支持，包括模式识别、机器人、推理系统和游戏。类似地，图神经网络（GNN）也在图结构数据的监督学习中展示了其优越的性能。近年来，GNN与DRL在图结构环境中的融合吸引了很多关注。本文提供了一个全面的审查，这些混合工程。这些工作可以分为两类：（1）算法增强，其中DRL和GNN相互补充以获得更好的效用;（2）特定于应用的增强，其中DRL和GNN相互支持。这种融合有效地解决了工程和生命科学中的各种复杂问题。在综述的基础上，我们进一步分析了融合这两个领域的适用性和好处，特别是在提高泛化能力和降低计算复杂性方面。最后，在整合DRL和GNN的关键挑战，以及潜在的未来研究方向，这将是更广泛的机器学习社区的兴趣。
2022-11-08 cs.LG
Information Design in Multi-Agent Reinforcement Learning
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
本文研究多智能体强化学习中的信息设计问题，提出马尔可夫信号博弈框架及信号梯度与扩展服从约束方法，以应对非平稳性和信息被忽略的挑战，并在混合动机任务上验证了算法的高效性。
2023-10-29 cs.AI cs.GT cs.LG
Meta-Cognition. An Inverse-Inverse Reinforcement Learning Approach for Cognitive Radars
Cornell University（康奈尔大学）；Lockheed Martin Advanced Technology Laboratories（洛克希德·马丁先进技术实验室）
本文认为，元认知雷达在一个对抗性的设置。认知雷达最佳地适应其波形（响应），以响应可能对抗的移动目标的机动（探测）。元认知雷达意识到目标的敌对性质，并试图减轻敌对目标。元认知雷达应该如何选择它的反应，以充分迷惑试图估计雷达效用函数的对手？本文抽象的雷达的元认知问题的频谱（特征值）的状态和观测噪声协方差矩阵，并嵌入代数Riccati方程到经济学为基础的效用最大化设置。这个对抗性目标是一个反向强化学习器。通过观察雷达响应（波形）的噪声序列，对抗目标使用统计假设检验来检测雷达是否是效用最大化者。反过来，元认知雷达故意选择次优响应，增加了对手检测器的I型错误概率。我们将元认知雷达采取的这一反对抗步骤称为逆逆强化学习（I-IRL）。我们通过简单的数值例子来说明本文的元认知结果。本文中我们的元认知方法基于微观经济学中的显示偏好理论，并受到机器学习中的差异隐私和对抗混淆结果的启发。
2022-05-03 cs.LG eess.SP
XuanCe: A Comprehensive and Unified Deep Reinforcement Learning Library
Anhui University（安徽大学）；Peng Cheng Laboratory（鹏城实验室）；Southeast University（东南大学）；Tongji University（同济大学）；Tianjin University（天津大学）
XuanCe是一个兼容PyTorch、TensorFlow和MindSpore的全面统一深度强化学习库，提供超40种算法，支持多硬件与操作系统，在MuJoCo、Atari等基准上表现优异。
2023-12-25 cs.AI cs.DL cs.LG
Applications of Reinforcement Learning in Deregulated Power Market: A Comprehensive Review
随着可再生能源发电的日益普及，以及电力工业的市场化和放松管制，推动了电力市场运营模式的转变。这些新范式下的最优报价策略和调度方法是市场参与者和电力系统运营商优先关注的问题，具有不确定性特征，计算效率以及远视决策的要求。为了解决这些问题，强化学习（Reinforcement Learning，RL）作为一种新兴的机器学习技术，具有传统优化工具无法比拟的优势，在学术界和工业界发挥着越来越重要的作用。本文在精选150多篇文献的基础上，对RL在电力市场运营中的应用进行了全面的综述，包括竞价策略和调度策略优化。对于每个应用程序，除了一般化方法的范式总结，深入讨论的适用性和障碍，同时部署RL技术也提供。最后，介绍和讨论了一些在投标和调度问题中具有很大应用潜力的强化学习技术。
2023-05-12 cs.GT cs.LG cs.SY
Bridging Evolutionary Algorithms and Reinforcement Learning: A Comprehensive Survey on Hybrid Algorithms
College of Intelligence and Computing, Tianjin University（天津大学智能与计算学院）；Montreal Institute of Learning Algorithms (MILA)（蒙特利尔学习算法研究所）；Department of Computer Science and Engineering, Southern University of Science and Technology（南方科技大学计算机科学与工程系）
本文全面综述了进化强化学习（ERL）领域，将进化算法（EA）与强化学习（RL）融合，系统总结了三种主要研究方向：EA辅助RL优化、RL辅助EA优化以及EA与RL协同优化，并分析了各分支解决的问题及未来挑战。
2026-05-24 cs.AI cs.LG cs.NE
Alpha-R1: Alpha Screening with LLM Reasoning via Reinforcement Learning
Shanghai Jiao Tong University（上海交通大学）
Alpha-R1通过强化学习实现基于LLM的上下文感知alpha筛选，提升非平稳市场中的投资策略性能。
2026-09-09 cs.AI cs.CE cs.LG
A Comprehensive Guide to Combining R and Python code for Data Science, Machine Learning and Reinforcement Learning
Universidad Carlos III de Madrid（马德里卡洛斯三世大学）
本文介绍如何通过R的reticulate包结合R与Python，利用Python的机器学习库和R的统计功能，提升数据科学、机器学习和强化学习项目的开发效率。
2024-07-19 cs.LG cs.PL
Planning Multiple Epidemic Interventions with Reinforcement Learning
New York University Abu Dhabi（纽约大学阿布扎比分校）；New York University（纽约大学）
该研究将多种连续流行病干预规划建模为马尔可夫决策过程，并利用 PPO 与 SAC 强化学习算法在常微分方程疾病模型中搜索低成本方案，实验表明其优于手工政策基线。
2023-06-07 cs.LG
Reinforcement Learning for Control Systems with Time Delays: A Comprehensive Survey
Department of Electronics Eng. (DELT), UFMG（电子工程系（DELT），联邦大学米纳斯吉拉斯州分校）
本文综述了针对控制系统中时间延迟的强化学习方法，分析了不同方法的优缺点，并提出了未来研究方向。
2026-01-30 cs.LG stat.ML
A Multi-Agent Deep Reinforcement Learning Approach for a Distributed Energy Marketplace in Smart Grids
University of Kansas（堪萨斯大学）
本文提出了一种基于强化学习（RL）的能源市场的生产消费者占主导地位的微电网。所提出的市场模型促进了实时和需求依赖的动态定价环境，降低了电网成本，提高了生产消费者的经济效益。此外，这种市场模式使电网运营商能够利用生产消费者的存储容量作为电网支持应用的可调度资产。基于Deep QNetwork（DQN）框架的仿真结果表明，产消者和电网运营商的24小时累计利润都有显着提高，电网备用功率利用率也大幅降低。
2020-09-23 cs.LG cs.MA cs.SY
Intelligent Offloading in Vehicular Edge Computing: A Comprehensive Review of Deep Reinforcement Learning Approaches and Architectures
Department of Electrical and Computer Engineering, University of Windsor（滑铁卢大学电气与计算机工程系）
本文综述了基于深度强化学习的车辆边缘计算卸载方法，分类比较了学习范式、系统架构和优化目标，并分析了马尔可夫决策过程的应用及未来研究方向。
2026-05-25 cs.AI cs.DC cs.LG
Value-aware Recommendation based on Reinforced Profit Maximization in E-commerce Systems
Alibaba Group（阿里巴巴集团）；Carnegie Mellon University（卡内基梅隆大学）；Rutgers University（罗格斯大学）
现有的推荐算法大多集中在优化传统的推荐措施，如RMSE方面的评级预测的准确性或前$k$推荐列表的质量方面的精度，召回率，MAP等，然而，商业推荐系统的一个重要期望是提高系统的最终收入/利润。传统的推荐目标如评分预测和顶级$k$推荐与此目标没有直接关系。在这项工作中，我们将在线广告和微观经济学的基本概念融入个性化推荐中，以实现利润最大化。具体而言，我们提出了基于强化学习的价值感知推荐，直接优化候选项的经济价值来生成推荐列表。特别是，我们推广的基本概念的点击转化率（CVR）在计算广告到会话率的任意用户动作（XVR）在电子商业，其中的用户动作可以点击，添加到购物车，添加到愿望清单等，这样，每种类型的用户动作被映射到其货币化的经济价值。进一步综合不同用户行为的经济价值作为排行榜的奖励，并利用强化学习对推荐榜进行优化，使总价值最大。在离线基准测试和在线商业系统中的实验结果验证了我们的框架在传统的顶级$k$排名任务和系统的经济效益方面的性能改进。
2019-02-03 cs.IR cs.LG
Deep Reinforcement Learning Agents for Strategic Production Policies in Microeconomic Market Simulations
Universidad Pontificia Comillas（康普卢滕塞大学（不对，正确是：庞培法布拉大学？不，正确常见译名：Pontificia Comillas 是康普卢滕塞？不对，查正确：Universidad Pontificia Comillas 的标准中文译名是“科米利亚斯主教大学”，对，是西班牙的。哦对，刚才错了，是科米利亚斯主教大学。所以修正：{）
本文提出基于深度强化学习的多生产者竞争市场框架，使智能体在噪声和波动条件下学习适应性生产策略，并证明其优于静态与随机策略。
2024-10-27 cs.AI cs.LG cs.MA
