The AI Economist: Optimal Economic Policy Design via Two-level Deep Reinforcement Learning
Salesforce Research(赛富时研究院);Harvard University(哈佛大学)
人工智能和强化学习(RL)已经改善了许多领域,但尚未广泛应用于经济政策设计,机制设计或经济学。与此同时,当前的经济学方法受到缺乏反事实数据、简单化的行为模型以及有限的政策实验和评估行为反应的机会的限制。在这里,我们表明,基于机器学习的经济模拟是一个强大的政策和机制设计框架,以克服这些限制。人工智能经济学家是一个两级深度强化学习框架,可以训练智能体和社会规划者共同适应,为高度不稳定和新颖的两级强化学习挑战提供了一个易于处理的解决方案。从一个简单的经济规范,我们学习理性的代理人的行为,以适应学习计划者的政策,反之亦然。我们证明了AI经济学家在最优税收问题上的有效性。在简单的一步经济中,AI经济学家恢复了经济理论的最优税收政策。在复杂、动态的经济体中,AI经济学家大大改善了功利主义的社会福利以及平等与生产率之间的权衡。尽管出现了税收博弈策略,但它仍然如此,同时比经济理论更准确地解释了代理人的相互作用和行为变化。这些结果首次表明,两级深度强化学习可以用于理解,并作为经济设计理论的补充,开启了一种新的基于计算学习的方法来理解经济政策。
2021-08-05 cs.LG econ.GN q-fin.EC
Emergent time-keeping mechanisms in a deep reinforcement learning agent performing an interval timing task
IDLab, Department of Information Technology, Ghent University - imec(IDLab信息科技系,根特大学-imec);Department of Social Sciences, Wageningen University and Research(社会科学系,瓦赫宁根大学与研究所)
本研究通过深度强化学习代理在区间定时任务中的表现,揭示了类似生物节律的时间保持机制,并探讨了其与生物模型的类比。
2026-02-03 cs.LG q-bio.NC
Comprehensive Review of Deep Reinforcement Learning Methods and Applications in Economics
Technische Universität Dresden(德累斯顿工业大学);Oxford Brookes University(牛津布鲁克斯大学);Helmholtz-Zentrum Dresden-Rossendorf(德累斯顿-罗森多夫亥姆霍兹中心);University of Lisbon(里斯本大学);Hunan University(湖南大学)
深度强化学习(DRL)方法在经济学中的普及程度呈指数级增长。DRL通过强化学习(RL)和深度学习(DL)等各种功能来处理复杂的动态业务环境,提供了巨大的机会。DRL的特点是可扩展性与潜在的应用到高维问题,结合噪声和非线性模式的经济数据。在这项工作中,我们首先考虑在经济学的各种应用中的DL,RL和深度RL方法的简要回顾,提供了一个深入的了解最先进的状态。此外,DRL的架构应用于经济应用进行了研究,以突出的复杂性,鲁棒性,准确性,性能,计算任务,风险约束和盈利能力。调查结果表明,DRL可以提供更好的性能和更高的精度相比,传统的算法,而面对现实的经济问题中存在的风险参数和不断增加的不确定性。
2020-03-21 cs.LG econ.GN q-fin.EC
A Survey of Reinforcement Learning For Economics
Georgetown University(乔治城大学)
本文综述了强化学习在经济学中的应用,探讨了其在高维状态和连续动作问题中的扩展,分析了算法的局限性及经济结构下的灵活性。
2026-07-27 cs.LG econ.GN q-fin.EC
Timing Process Interventions with Causal Inference and Reinforcement Learning
KU Leuven(荷语鲁汶大学);Faculty of Economics and Business(经济与商业学院);Research Centre for Information Systems Engineering (LIRIS)(信息系统工程研究中心(LIRIS))
本文针对定时流程干预问题,基于支持真实在线学习的合成数据定量比较CI与RL,证明在线RL策略更优、更稳健且适用于通用PresPM任务。
2023-06-07 cs.AI cs.LG
Evolutionary Dispersal of Ecological Species via Multi-Agent Deep Reinforcement Learning
Natural Science Research Institute, KAIST(韩国科学技术院自然科学研究院);Korea University(高丽大学)
本研究将SDD类型奖励引入基于DQN的MARL框架,模拟单物种与捕食者—猎物互动,以揭示异质环境中的进化扩散策略并验证传统数学模型。
2024-10-24 cs.LG math.DS q-bio.PE
Driver Assistance Eco-driving and Transmission Control with Deep Reinforcement Learning
Clemson University(克莱姆森大学);Allison Transmission Inc.(艾里逊变速箱公司)
随着减少能源消耗和温室气体排放的需求日益增长,生态驾驶战略为交通运输部门寻求的其他技术解决方案提供了额外节省燃料的重要机会。本文提出了一种无模型的深度强化学习(RL)控制代理,用于主动生态驾驶辅助,将燃料消耗与其他驾驶员适应目标进行权衡,并从经验中学习最佳牵引扭矩和变速器换档策略。所提出的RL代理的训练方案使用了一个离线策略的演员-评论家架构,该架构迭代地进行策略评估,并使用混合动作空间的最大后验策略优化算法进行多步返回和策略改进。建议的生态驾驶RL代理实现的商业车辆在汽车跟随交通。与完全了解燃油效率表的基准控制器相比,它在最大限度地减少燃油消耗方面表现出卓越的性能。
2022-12-15 cs.AI cs.LG cs.SY
Improving generalization in reinforcement learning through forked agents
Vrije Universiteit Amsterdam(阿姆斯特丹自由大学);Vrije Universiteit Medical Center Amsterdam(阿姆斯特丹自由大学医学中心)
代理的生态系统,每个都有自己的政策与一些,但有限的,概括性已被证明是一个可靠的方法,以增加跨程序生成的环境的概括性。在这种方法中,当遇到生态系统范围之外的新环境时,新的代理人定期添加到生态系统中。生态系统方法的适应速度和普遍有效性在很大程度上取决于新代理人的启动。在本文中,我们提出了不同的初始化技术,灵感来自深度神经网络初始化和迁移学习,并研究了它们的影响。
2022-12-29 cs.AI cs.LG
Economic span selection of bridge based on deep reinforcement learning
Jiangsu College of Finance & Accounting(江苏财会职业学院);Lianyungang Open University(连云港开放大学);Wanshi Antecedence Digital Intelligence Traffic Technology Co., Ltd(万世先行数智交通科技有限公司)
针对桥梁跨径选择影响工程成本的问题,结合经济跨径理论,构建含对应观测、动作空间和奖励函数的仿真环境,采用基于卷积网络、ε贪心策略与经验回放的深度Q网络智能体学习最优策略,实现桥梁经济跨径选择,为桥梁设计提供决策工具。
2024-07-09 cs.AI cs.LG
Study on Supply Chain Finance Decision-Making Model and Enterprise Economic Performance Prediction Based on Deep Reinforcement Learning
University of San Francisco(旧金山大学);Brown University(布朗大学);Cornell University(康奈尔大学);JPMorgan Chase(摩根大通)
本文提出结合深度学习与智能粒子群优化的决策模型,通过深度强化学习优化后端冗余供应链网络,仿真表明该模型有效降低资源消耗并提升动态环境下的实时决策与鲁棒控制能力。
2025-10-31 cs.LG
Solving Heterogeneous General Equilibrium Economic Models with Deep Reinforcement Learning
Bank of England(英格兰银行);University College London(伦敦大学学院);Office for National Statistics(英国国家统计局)
一般均衡宏观经济模型是决策者用来理解一国经济的核心工具。它们将经济体描述为具有前瞻性的行为者的集合,这些行为者的行为可能与随机效应相结合,以动态平衡的方式确定全球变量(如价格)。然而,解决这些模型的标准半分析技术使其难以包括异质性经济行为体的重要影响。COVID-19大流行进一步凸显了异质性的重要性,例如年龄和就业部门,以及宏观经济结果,以及对更容易纳入它的模型的需求。我们使用强化学习的技术来解决这种模型,以简单,可扩展和计算效率高的方式纳入异构代理。我们证明了该方法的准确性和稳定性的玩具问题,有一个已知的分析解决方案,它的通用性,通过解决一个一般均衡问题,包括全球随机性,其灵活性,通过解决一个综合的宏观经济和流行病学模型,以探索经济和健康的影响大流行。后者成功地捕捉到了由不同年龄的健康风险引起的合理的经济行为。
2021-03-31 cs.LG cs.MA econ.GN
Queue-based Eco-Driving at Roundabouts with Reinforcement Learning
本研究针对混合交通环形交叉口,提出基于规则和强化学习的生态驾驶系统以优化网联车辆速度,实验表明两者均优于基线,但RL在高速流量下优势不显著。
2024-07-18 cs.LG
Climate Adaptation with Reinforcement Learning: Economic vs. Quality of Life Adaptation Pathways
Technical University of Denmark(技术大学);University of Galway(Galway大学)
本文提出用强化学习在气候不确定性下识别适应路径,并通过综合评估模型显式比较经济优先与生活质量优先的政策差异,发现后者会导致更高且更均衡的适应支出。
2025-11-05 cs.LG
Safe Model-based Off-policy Reinforcement Learning for Eco-Driving in Connected and Automated Hybrid Electric Vehicles
Center for Automotive Research, The Ohio State University(俄亥俄州立大学汽车研究中心);Bending Spoons(本丁斯普恩斯);Department of Electrical and Computer Engineering, The Ohio State University(俄亥俄州立大学电气与计算机工程系)
互联和自动化混合动力电动汽车有可能在现实驾驶条件下减少燃油消耗和旅行时间。生态驾驶问题寻求基于来自连接和高级映射功能的前瞻信息来设计最佳速度和功率使用曲线。最近,深度强化学习(DRL)已被应用于生态驾驶问题。虽然以前的研究综合模拟器和无模型DRL,以减少在线计算,这项工作提出了一个安全的非政策基于模型的强化学习算法的生态驾驶问题。与现有文献相比,其优点有三方面。首先,离策略学习和基于物理的模型的使用的组合提高了样本效率。第二,训练不需要任何外在的约束满足的奖励机制。第三,通过使用由深度生成模型近似的安全集来保证轨迹的可行性。所提出的方法的性能是基准对代表人类驾驶员的基线控制器,以前设计的无模型DRL策略,和观望的最佳解决方案。在仿真中,所提出的算法导致一个更高的平均速度和更好的燃油经济性相比,无模型代理的政策。与基线控制器相比,学习策略在保持平均速度相当的情况下减少了超过21%的燃料消耗。
2022-01-30 cs.LG cs.SY eess.SY
MPC-based Reinforcement Learning for Economic Problems with Application to Battery Storage
Norwegian University of Science and Technology (NTNU)(挪威科技大学)
在本文中,我们感兴趣的最优控制问题的纯经济成本,这往往会产生最优的政策具有(近)bang-bang结构。我们专注于基于模型预测控制(MPC)的政策近似和使用的确定性策略梯度方法来优化MPC的闭环性能,在存在未建模的随机性或模型误差。当策略具有(接近)bang-bang结构时,我们观察到策略梯度方法可能难以在策略参数中产生有意义的步骤。为了解决这个问题,我们提出了一个同伦策略的基础上的邻域点的方法,提供了一个放松的政策在学习过程中。我们调查了一个特定的众所周知的电池存储问题,并表明,所提出的方法提供了一个均匀的和更快的学习比经典的策略梯度方法。
2021-04-06 cs.LG cs.SY eess.SY
Exploring Equity of Climate Policies using Multi-Agent Multi-Objective Reinforcement Learning
Delft University of Technology(代尔夫特理工大学)
本文提出Justice框架,结合多目标多智能体强化学习与整合评估模型,以生成兼顾公平性与气候经济目标的政策建议。
2025-11-30 cs.LG
Contingency-constrained economic dispatch with safe reinforcement learning
Technical University of Munich(慕尼黑工业大学)
针对未来微电网中高不确定性和安全挑战,提出一种形式化验证的强化学习经济调度控制器,通过安全层和约束区域投影确保动作安全,并在实际住宅数据中验证。
2024-07-16 cs.AI cs.LG cs.SY
Enhanced Adversarial Strategically-Timed Attacks against Deep Reinforcement Learning
Georgia Institute of Technology(佐治亚理工学院);IBM Research(IBM研究院);Preferred Network America(美国首选网络公司);Columbia University(哥伦比亚大学)
最近的基于深度神经网络的技术,特别是那些配备有系统级自适应能力的技术,如深度强化学习(DRL),被证明具有优化机器人学习系统的许多优点(例如,自主导航和连续的机器人手臂控制。然而,基于学习的系统和相关联的模型可能受到有意自适应(例如,噪声传感器混淆)和来自真实世界场景的对抗性扰动。在本文中,我们引入了基于时间的对抗策略对基于DRL的导航系统的干扰,在选定的时间帧上的物理噪声模式。为了研究基于学习的导航系统的脆弱性,我们提出了两种对抗代理模型:一种是基于在线学习的,另一种是基于进化学习的。此外,三个开源的机器人学习和导航控制环境被用来研究对抗性定时攻击下的脆弱性。我们的实验结果表明,对抗性的时间攻击会导致显着的性能下降,也表明了增强机器人学习系统的鲁棒性的必要性。
2020-02-20 cs.LG eess.SP stat.ML
End-to-End Reinforcement Learning of Koopman Models for Economic Nonlinear Model Predictive Control
Forschungszentrum Jülich GmbH(于利希研究中心);RWTH Aachen University(亚琛工业大学);JARA-ENERGY(JARA能源研究中心)
本文提出端到端强化学习Koopman替代模型用于经济非线性模型预测控制,在连续搅拌釜反应器应用中优于系统辨识模型,且无需重训即可适应控制变化。
2024-08-01 cs.LG cs.SY eess.SY
Hybrid Reinforcement Learning-Based Eco-Driving Strategy for Connected and Automated Vehicles at Signalized Intersections
University of California at Riverside(加州大学河滨分校);Beijing Jiaotong University(北京交通大学)
利用车联网(V2X)通信和自动驾驶技术,互联和自动驾驶汽车正迅速成为许多交通问题的变革性解决方案之一。然而,在信号交叉口的混合交通环境中,考虑到交通系统的复杂性和不确定性,如何提高整体吞吐量和能量效率仍然是一个具有挑战性的任务。在这项研究中,我们提出了一个混合强化学习(HRL)框架,该框架结合了基于规则的策略和深度强化学习(深度RL),以支持在混合交通信号交叉口连接生态驾驶。视觉感知方法与车辆到基础设施(V2 I)通信相结合,以在混合连接的交通中实现更高的移动性和能源效率。HRL框架有三个组成部分:一个基于规则的驾驶管理器,用于操作基于规则的策略和RL策略之间的协作;一个多流神经网络,用于提取视觉和V2 I信息的隐藏特征;以及一个基于RL的深度策略网络,用于生成纵向和横向的生态驾驶行为。为了评估我们的方法,我们开发了一个基于Unity的模拟器,并设计了一个混合交通路口的情况。此外,几个基线实施,以比较我们的新设计,并进行了数值试验,以测试的HRL模式的性能。实验表明,我们的HRL方法可以减少能源消耗的12.70%,节省11.75%的旅行时间相比,最先进的基于模型的生态驾驶方法。
2022-01-28 cs.LG cs.SY eess.SY
Decentralized Reinforcement Learning: Global Decision-Making via Local Economic Transactions
University of California, Berkeley(加州大学伯克利分校);Princeton University(普林斯顿大学)
本文旨在建立一个框架,指导一个简单的,专门的,自利的代理人的社会,解决传统上被称为单片单代理顺序决策问题。使用分散的方法来集体优化一个中心目标的挑战在于难以描述非合作博弈的均衡策略。为了克服这一挑战,我们设计了一种机制,用于定义每个代理的学习环境,我们知道,全球目标的最佳解决方案与代理优化自己的本地目标的纳什均衡策略配置文件相吻合。社会作为一个经济的代理人,学习信用分配过程本身通过购买和出售对环境状态的经营权。我们得到了一类分散的强化学习算法,不仅广泛适用于标准的强化学习,但也选择半MDP的选项和动态组成计算图。最后,我们展示了一个社会的内在模块化结构的潜在优势,更有效的迁移学习。
2020-08-14 cs.GT cs.LG cs.MA
Reinforcement Learning for Mean Field Games, with Applications to Economics
University of California Santa Barbara(加州大学圣巴巴拉分校);Princeton University(普林斯顿大学)
平均场博弈(MFG)和平均场控制问题(MFC)是研究具有连续个体的博弈中的纳什均衡或社会最优解的框架。这些问题可以用来近似竞争或合作对策与大量的有限数量的代理人,并已发现了广泛的应用,特别是在经济学。近年来,MFG和MFC中的学习问题引起了人们的兴趣,无论是作为一种计算解决方案的方法,还是作为一种模拟大量学习者如何收敛到均衡的方法。特别感兴趣的是智能体不知道模型的设置,这导致了强化学习(RL)方法的发展。在回顾了有关这一主题的文献后,我们提出了一种针对MFG和MFC的RL双时标方法,该方法依赖于统一的Q学习算法。该方法的主要新颖之处是同时更新动作值函数和分布,但具有不同的速率,以无模型的方式。根据两个学习率的比率,算法学习MFG或MFC解决方案。为了说明这种方法,我们将其应用到一个平均场问题的累积消费在有限的地平线与HARA效用函数,和一个交易者的最佳清算问题。
2021-06-25 cs.LG math.OC
Independent policy gradient-based reinforcement learning for economic and reliable energy management of multi-microgrid systems
School of Mechanical and Electrical Engineering, Shenzhen Polytechnic University(机械与电气工程学院,深圳职业技术大学);School of Business, Sun Yat-Sen University(商学院,中山大学)
本文提出了一种基于独立策略梯度的分布式强化学习方法,用于解决多微电网系统的经济可靠能源管理问题,通过均值-方差团队随机博弈模型实现去中心化策略优化。
2025-11-26 cs.LG cs.SY eess.SY
A Reinforcement Learning-based Economic Model Predictive Control Framework for Autonomous Operation of Chemical Reactors
KAUST(阿卜杜拉国王科技大学)
本研究针对经济模型预测控制依赖模型精度、纯强化学习控制存安全稳定性问题,提出二者结合的非线性系统在线参数估计框架,在保障闭环稳定的同时优化过程,推动反应器自主运行落地。
2021-05-06 cs.LG cs.SY eess.SY
Modeling Recommender Ecosystems: Research Challenges at the Intersection of Mechanism Design, Reinforcement Learning and Generative Models
Google Research(谷歌研究院)
本文提出建模推荐生态系统需显式考虑所有参与者的激励与交互,并融合强化学习、社会选择、机制设计、行为经济学及生成模型,以提升长期效用和系统健康度。
2023-09-22 cs.AI cs.GT cs.HC
Economic Battery Storage Dispatch with Deep Reinforcement Learning from Rule-Based Demonstrations
McGill University(麦吉尔大学);Siemens Energy Canada Limited(西门子能源加拿大有限公司)
针对经济型电池调度中奖励延迟导致深度强化学习训练困难的问题,本文提出在SAC中引入基于简单规则生成的演示数据进行学习,在微电网案例中显著提升了样本效率和最终奖励,且方法对规则选择具有鲁棒性。
2025-04-06 cs.LG cs.SY eess.SY
Joint Optimization of Traffic Signal Control and Vehicle Routing in Signalized Road Networks using Multi-Agent Deep Reinforcement Learning
Southeast University(东南大学);University of California, Davis(加州大学戴维斯分校)
本文提出一种基于多智能体深度强化学习的交通信号控制与车辆路径规划联合优化方法,通过智能体间共享观察与奖励促进合作,实验证明其优于单独控制方法。
2023-10-16 cs.LG cs.MA cs.SY
Optimal Economic Gas Turbine Dispatch with Deep Reinforcement Learning
McGill University(麦吉尔大学);Siemens Energy Canada Limited(西门子能源加拿大有限公司)
本研究利用深度强化学习(DQN、PPO等)解决燃气轮机经济调度问题,在加拿大案例中集成热力学软件并动态分配运维成本,实现更真实、高效的调度策略。
2023-08-28 cs.AI cs.LG cs.SY
EconoJax: A Fast & Scalable Economic Simulation in Jax
LIACS, Leiden University(莱顿大学LIACS)
针对多智能体经济环境下强化学习训练慢的问题,提出基于JAX的快速经济模拟系统EconoJax,可在15分钟内完成百智能体训练并涌现真实经济行为,且不同多智能体方法行为多样性无显著差异,已开源。
2025-05-16 cs.LG cs.MA econ.GN
When to Intervene? State-Aware Sparse Manipulation in Federated Reinforcement Learning
Sun Yat-sen University(中山大学);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
本文针对联邦强化学习的拜占庭操纵问题,提出V-BSA攻击方法,通过状态感知稀疏干预实现高效攻击,揭示干预时机是序贯鲁棒性的独立维度。
2026-10-12 cs.LG
IntersectionZoo: Eco-driving for Benchmarking Multi-Agent Contextual Reinforcement Learning
MIT(麻省理工学院);ETH Zurich(苏黎世联邦理工学院)
针对多智能体上下文强化学习缺乏标准化基准的问题,本文提出基于城市生态驾驶的IntersectionZoo基准套件,利用美国10个城市16,334个交叉口生成100万个交通场景,并证明现有流行算法在CRL设置中泛化困难。
2024-10-19 cs.AI cs.LG cs.MA
Multi-Agent Deep Reinforcement Learning for Cooperative and Competitive Autonomous Vehicles using AutoDRIVE Ecosystem
Clemson University International Center for Automotive Research (CU-ICAR)(克莱姆森大学国际汽车研究中心(CU-ICAR))
提出基于 AutoDRIVE Ecosystem 的模块化多智能体深度强化学习框架,分别用 Nigel 共享策略和 F1TENTH 独立策略验证合作通行与对抗竞速。
2023-09-30 cs.AI cs.LG cs.MA
CiRL: Open-Source Environments for Reinforcement Learning in Circular Economy and Net Zero
Department of Information Engineering and Mathematics, University of Siena(信息工程与数学系,锡耶纳大学)
CiRL是一个开源库,用于通过深度强化学习优化循环经济和净零目标中的材料循环控制。
2025-12-16 cs.CE cs.CY cs.LG
Predictive Spike Timing Enables Distributed Shortest Path Computation in Spiking Neural Networks
Department of Mathematical Sciences(数学科学系);Norwegian University of Science and Technology(挪威科学与技术大学);School of Computation, Information and Technology(计算、信息与技术学院);Technical University Munich(慕尼黑技术大学)
该研究提出了一种基于生物合理机制的最短路径计算算法,利用脉冲时间巧合实现分布式计算,为生物和人工系统中的复杂问题解决提供新思路。
2026-01-17 cs.AI cs.DS cs.LG
Optimising Lockdown Policies for Epidemic Control using Reinforcement Learning
TCS Research(塔塔咨询服务研究院);Microsoft Research(微软研究院)
在新型冠状病毒肺炎(COVID-19)疫情持续的背景下,多份报告和研究试图对该疾病的传播进行建模和预测。关于限制对健康和经济的损害的政策也有激烈的辩论。一方面,人口的健康和安全是大多数国家的主要考虑。另一方面,我们不能忽视全国范围内严格封锁可能造成的长期经济损害。在这篇工作论文中,我们提出了一种定量方法来计算单个城市或地区的封锁决策,同时平衡健康和经济因素。此外,这些政策是自动学习所提出的算法,作为疾病参数(传染性,妊娠期,症状持续时间,死亡概率)和人口特征(密度,运动倾向)的函数。我们考虑了现实的考虑因素,如不完美的封锁,并表明使用强化学习获得的政策是一个可行的量化方法对封锁。
2020-05-01 cs.AI cs.LG physics.soc-ph
A Nested Graph Reinforcement Learning-based Decision-making Strategy for Eco-platooning
School of Mechanical Engineering, Beijing Institute of Technology(北京理工大学机械工程学院);School of Computer and Information Technology, Beijing Jiaotong University(北京交通大学计算机与信息技术学院);Center for AI Safety and Governance, Institute for AI, Peking University(北京大学人工智能研究院AI安全与治理中心)
针对大规模混合编队的虚拟瓶颈问题,提出嵌套图强化学习决策策略,通过嵌套交通图表示和时空加权图多头注意力提升协同决策能力,经I-24数据集验证,吞吐量提升10%、能耗降9%。
2024-08-14 cs.LG cs.MA
Precise Insulin Delivery for Artificial Pancreas: A Reinforcement Learning Optimized Adaptive Fuzzy Control Approach
Ecole Nationale Polytechnique(国立高等理工学院)
本文提出用强化学习实时优化Type-1 Takagi-Sugeno模糊控制器的27个参数,实现人工胰腺对进餐量和时间变化的鲁棒自适应胰岛素输注,以最少外源性胰岛素稳定血糖。
2025-03-09 cs.LG cs.SY eess.SY
Time your hedge with Deep Reinforcement Learning
Dauphine university(巴黎第九大学);AI Square Connect;ULCO(滨海大学);Societe Generale(法国兴业银行)
资产管理人能否在给定的市场条件下为其对冲策略规划最佳时机?基于Markowitz或其他或多或少复杂的金融规则的标准方法旨在根据预测的预期收益率和风险找到最佳的投资组合配置,但未能将市场条件与对冲策略决策完全联系起来。相比之下,深度强化学习(DRL)可以通过在市场信息和对冲策略分配决策之间建立动态依赖关系来应对这一挑战。在本文中,我们提出了一个现实的和增强的DRL框架:(i)使用附加的上下文信息来决定动作,(ii)在观察和动作之间具有一个时段的滞后,以说明普通资产管理者的一天滞后周转以重新平衡其对冲,(iii)由于被称为锚定步行训练的重复训练测试方法,在稳定性和鲁棒性方面被充分测试,类似于时间序列的k倍交叉验证,以及(iv)允许管理我们对冲策略的杠杆。我们的实验增强资产管理人感兴趣的大小和时间,他的对冲表明,我们的方法实现了较高的回报和较低的风险。
2020-11-09 cs.LG q-fin.PM stat.ML
Simulating the Economic Impact of Rationality through Reinforcement Learning and Agent-Based Modelling
Università di Trieste(的里雅斯特大学);Banca d’Italia(意大利银行);Università Cattolica del Sacro Cuore(圣心天主教大学)
本文提出理性宏观 ABM(R-MABM)框架,将多智能体强化学习引入经济仿真,发现理性智能体能自发学习多种利润最大化策略并分化群体,其数量增加可提升总产出但可能加剧不稳定性。
2024-10-21 cs.AI cs.CE cs.LG
Reinforcement Learning for Combining Search Methods in the Calibration of Economic ABMs
Università Cattolica del Sacro Cuore(圣心天主教大学);Universität Bielefeld(比勒费尔德大学)
针对宏观经济 ABM 校准的高维无导数搜索问题,提出用强化学习在运行中动态选择并组合搜索方法,性能优于固定方法及人工组合。
2023-12-07 cs.AI cs.LG cs.MA
Optimizing the switching operation in monoclonal antibody production: Economic MPC and reinforcement learning
University of Alberta(阿尔伯塔大学)
针对单克隆抗体连续生产中捕获柱切换的离散优化难题,本文提出sigmoid函数近似、ReLU近似两种经济MPC高效实现方法及深度强化学习方法,并与传统1%穿透规则切换策略进行比较,以提升计算可行性和生产性能。
2023-08-07 cs.LG cs.SY eess.SY
Fast Reinforcement Learning with Large Action Sets using Error-Correcting Output Codes for MDP Factorization
UPMC(巴黎第六大学);LIP6(巴黎第六大学计算机科学实验室);LIFL (UMR CNRS)(法国国家科学研究中心里尔基础信息学实验室);INRIA Lille Nord-Europe(法国国家信息与自动化研究所里尔-北欧分部);Université de Lille(里尔大学)
强化学习在现实场景中的使用受到规模问题的严重限制。大多数RL学习算法无法处理由数百甚至数十个可能动作组成的问题,因此无法应用于许多现实问题。我们认为RL问题的监督分类框架中的最优策略是通过一个多类分类器,类的集合是一组行动的问题。我们引入纠错输出码(ECOCs)在这种情况下,并提出了两种新的方法来降低复杂性时,使用基于推出的方法。第一种方法是使用基于EECC的分类器作为多类分类器,将学习复杂度从O(A2)降低到O(Alog(A))。然后,我们提出了一种新的方法,从ECOC的编码字典的利润分裂成O(log(A))分开的两个动作MDP的初始MDP。第二种方法进一步降低了学习复杂度,从O(A2)到O(log(A)),从而使具有大动作集的问题变得易于处理。最后,我们通过实验证明了我们的方法在一组基准问题上的优势,无论是在速度和性能。
2012-02-29 cs.LG stat.ML
End-to-End Reinforcement Learning of Koopman Models for eNMPC of an Air Separation Unit
Forschungszentrum Jülich GmbH, Institute of Climate and Energy Systems, Energy Systems Engineering (ICE-1)(贾格尔中心Jülich GmbH,气候与能源系统研究所,能源系统工程(ICE-1));RWTH Aachen University, Process Systems Engineering (AVT.SVT)(亚琛工业大学,过程系统工程(AVT.SVT));JARA-ENERGY, Jülich 52425(JARA-ENERGY,Jülich 52425);RWTH Aachen University(亚琛工业大学)
本文提出了一种端到端强化学习方法,用于在空气分离单元中实现经济非线性模型预测控制,通过Koopman模型在保持经济性能的同时避免约束违反。
2025-12-15 cs.LG math.OC
Reinforcement Learning and Consumption-Savings Behavior
New York University(纽约大学)
本文构建采用Q学习的消费-储蓄决策模型,用强化学习解释经济衰退中家庭消费的两个实证模式,其模拟结果与实证匹配,为理解过往经历对消费的影响提供了统一框架。
2026-09-29 cs.AI cs.LG econ.GN
Deep Reinforcement Learning for Conservation Decisions
University of California, Berkeley(加州大学伯克利分校)
机器学习能帮助我们对不断变化的地球做出更好的决策吗?在本文中,我们说明并讨论了机器学习的一个有前途的角落,称为_强化学习_(RL),以帮助解决最具挑战性的保护决策问题的潜力。RL非常适合保护和全球变化挑战,原因有三个:(1)RL明确专注于设计与动态和不确定的环境进行交互的代理,(2)RL方法不需要大量数据,(3)RL方法将利用而不是取代现有的模型、模拟及其包含的知识。我们提供了一个概念和技术介绍RL及其相关的生态和保护的挑战,包括在设定渔业配额和管理生态临界点的问题的例子。四个带有注释代码的附录为希望采用、评估或扩展这些方法的研究人员提供了切实的介绍。
2021-06-15 cs.LG q-bio.QM
Epidemic Decision-making System Based Federated Reinforcement Learning
Beijing University of Posts and Telecommunications(北京邮电大学)
针对疫情数据样本有限、隐私敏感的问题,提出联邦强化学习疫情决策系统,联合多省数据协同训练,实验证明其性能、回报和收敛速度更优,并发现A2C最适合该场景。
2023-11-03 cs.IR cs.LG
Group-Theoretic Reinforcement Learning of Dynamical Decoupling Sequences
JILA, Department of Physics, University of Colorado Boulder, Boulder, Colorado 80309, USA(JILA物理系,科罗拉多大学博尔德分校,博尔德,科罗拉多州80309,美国)
基于群论的强化学习方法用于设计量子比特上的动态解耦序列,无需显式了解噪声谱即可学习最优脉冲序列。
2025-12-15 cs.LG cs.SY eess.SY
Analyzing Micro-Founded General Equilibrium Models with Many Agents using Deep Reinforcement Learning
University of Maryland(马里兰大学);Salesforce(赛富时)
实体经济可以被建模为一个有许多异质主体(如消费者、企业和政府)的序贯信息博弈。动态一般均衡(DGE)模型经常用于这种背景下的宏观经济分析。然而,使用现有的理论或计算方法,寻找一般均衡是具有挑战性的,特别是当使用微基础来建模个体代理时。在这里,我们展示了如何使用深度多智能体强化学习(MARL)来找到$ε$ -微基DGE模型中智能体类型的元均衡。虽然标准的MARL无法学习非平凡的解决方案,但我们的结构化学习课程能够稳定地收敛到有意义的解决方案。从概念上讲,我们的方法更灵活,不需要不切实际的假设,例如,连续的市场清算,通常用于分析易处理性。此外,我们的端到端GPU实现能够与大量RL经济代理进行快速实时收敛。我们在开放和封闭的真实商业周期(RBC)模型中展示了我们的方法,其中包括100名工人-消费者,10家公司和一名税收和再分配的社会规划师。我们通过最佳响应分析验证了学习的解决方案是$ε$ -元均衡,表明它们与经济直觉一致,并表明我们的方法可以学习开放RBC模型中定性不同的$ε$ -元均衡。因此,我们表明,硬件加速的MARL是一个很有前途的框架,用于模拟基于微观基础的经济复杂性。
2022-02-24 cs.AI cs.GT cs.LG
Ecological Reinforcement Learning
University of California Berkeley(加州大学伯克利分校)
目前关于强化学习的大部分工作都是研究情景设置,在情景设置中,智能体在试验之间被重置为初始状态分布,通常具有良好的奖励函数。非情景设置,其中代理必须通过与世界的连续交互而无需重置来学习,并且其中代理仅接收延迟和稀疏的奖励信号,这实际上更加困难,但是考虑到现实世界的环境,可以说更现实,不向学习者提供方便的“重置机制”和容易的奖励塑造。在本文中,我们没有研究可以解决这种非情景和稀疏奖励设置的算法改进,而是研究了可以使这种条件下的学习更容易的环境属性。了解环境的属性如何影响强化学习代理的性能可以帮助我们以使学习易于处理的方式构建任务。我们首先讨论我们称之为“环境塑造”的东西--对环境的修改提供了奖励塑造的替代方案,并且可能更容易实施。然后,我们讨论了一个更简单的属性,我们称之为“动态”,它描述了环境变化的程度独立于代理的行动,可以通过环境过渡熵来衡量。令人惊讶的是,我们发现,即使是这种属性也可以大大减轻与稀疏奖励设置中的非情景RL相关的挑战。我们提供了一组新的任务,专注于非情景学习稀疏奖励的实证评估。通过这项研究,我们希望将社区的重点转移到分析环境的属性如何影响学习以及通过RL学习的最终行为类型。
2020-06-22 cs.AI cs.LG stat.ML
Improving Generative Ad Text on Facebook using Reinforcement Learning
Meta Platforms(Meta平台)
通过强化学习改进Facebook广告文本生成,提升点击率和广告效果
2025-12-15 cs.LG
COVID-19 Pandemic Cyclic Lockdown Optimization Using Reinforcement Learning
Oracle Corporation(甲骨文公司)
这项工作研究了使用强化学习(RL)来优化循环封锁,这是控制COVID-19大流行的方法之一。该问题被构造为用于跟踪参考值的最优控制系统,该参考值对应于关键资源(诸如ICU病床)的最大使用水平。然而,代替使用常规的最优控制方法,RL被用于找到最优控制策略。开发了一个框架,使用基于RL的开关控制器来计算最佳循环锁定定时。基于RL的控制器实现为RL代理,与流行病模拟器交互,实现为扩展的SEIR流行病模型。RL代理学习策略函数,该策略函数产生开放/锁定决策的最优序列,使得RL奖励函数中指定的目标被优化。使用了两个并行目标:第一个是公共卫生目标,最大限度地减少ICU床位使用超过ICU床位阈值的情况,第二个是社会经济目标,最大限度地减少封锁时间。假设当一个地区面临超过资源容量限制的紧迫危险,以及由于缺乏必要的经济资源在长期封锁期间支持其受影响人口而实施长期封锁将导致严重的社会和经济后果时,周期性封锁被视为长期封锁的临时替代方案。
2020-09-10 cs.AI cs.LG q-bio.PE
Towards Sustainable Hydrogen Systems: Supply Chain Optimization with Model Predictive Control and Reinforcement Learning
本文针对可再生能源驱动的氢能供应链,比较了基于规则、模型预测控制和强化学习等四种控制策略,发现MPC经济性最优,强化学习无需预测也能稳健运行,为运营策略选择提供指导。
2026-09-14 cs.LG math.OC
Teaching robots to perceive time -- A reinforcement learning approach (Extended version)
KTH Royal Institute of Technology(瑞典皇家理工学院);Institute for Systems and Robotics, Instituto Superior Técnico(高等技术学院系统与机器人研究所)
时间知觉是个体对时间的现象学体验。在本文中,我们研究如何复制参与时间感知的神经机制,使机器人向时间认知迈出一步。我们的框架遵循双重生物启发的方法。第一步包括从传感器测量估计时间的流逝,因为环境刺激影响时间的感知。传感器数据被建模为高斯过程,代表自然环境的二阶统计。两个事件之间的估计经过时间是从它们之间收集的数据的联合分布的最大似然估计计算的。此外,时间在大脑中究竟是如何编码的仍然未知,但有强有力的证据表明多巴胺能神经元参与了计时机制。由于它们的阶段性活动与时间差异学习模型的奖励预测误差具有相似的行为,后者被用来复制这种行为。因此,这种方法的第二步包括在强化学习问题中应用代理对经过时间的估计,其中使用称为微刺激的特征表示。我们通过将其应用于最初用小鼠进行的实验来验证我们的框架,并得出结论,使用该框架的机器人能够再现动物大脑的计时机制。
2019-12-20 cs.AI cs.LG cs.SY
Learning Fault-Tolerant Locomotion with Adaptive Gait Timing
Italian Institute of Technology(意大利技术研究院)
针对大型四足机器人执行器动力损失的容错运动问题,提出带潜在对齐损失的非对称Actor-Critic深度强化学习方法,通过自适应步态频率实现容错,经仿真与真实实验验证有效。
2026-08-10 cs.LG cs.RO