Deep Reinforcement Learning for Investor-Specific Portfolio Optimization: A Volatility-Guided Asset Selection Approach
School of Mathematical and Statistical Sciences, Indian Institute of Technology Mandi(印度理工学院曼迪数学与统计科学学院);Department of Mathematics, Indian Institute of Technology Guwahati(印度理工学院古瓦哈提数学系)
本文提出一种波动率引导的深度强化学习投资组合优化框架,利用GARCH模型按投资者风险偏好预选资产,并通过DRL智能体学习最优投资策略,在道琼斯30指数上验证其优于基线策略的风险调整后收益。
2025-04-20 cs.AI math.OC q-fin.PM
Continuous-Time Reinforcement Learning for Asset-Liability Management
Department of Industrial Engineering and Operations Research, Columbia University(工业工程与运筹学系,哥伦比亚大学)
本文提出面向资产负债管理的无模型连续时间强化学习方法,通过线性二次目标和自适应探索的 soft actor-critic 直接学习最优策略,并在200个随机市场情景中优于多种传统与RL基线。
2026-11-17 cs.AI cs.LG math.OC
AAMDRL: Augmented Asset Management with Deep Reinforcement Learning
AI Square Connect;MILES;LAMSADE;Dauphine university(多芬大学);LISIC;ULCO;Societe Generale(法国兴业银行)
智能体能否在具有连续、非平稳和非齐次观测的噪声和自适应环境中有效地学习?通过交易机器人,我们说明了深度强化学习(DRL)如何应对这一挑战。我们的贡献有三个方面:(i)在DRL中使用上下文信息(也称为增强状态),(ii)对于资产管理环境而言更现实的观测和动作之间的一个时段滞后的影响,(iii)实现称为向前走分析的新的重复性训练测试方法,其精神类似于时间序列的交叉验证。虽然我们的实验是在交易机器人上进行的,但它可以很容易地转换到其他机器人环境中,这些机器人环境在政权变化和噪声数据的连续环境中运行。我们的实验增强资产管理公司有兴趣找到最好的投资组合对冲策略表明,AAMDRL实现了卓越的回报和较低的风险。
2020-09-30 cs.AI cs.LG q-fin.MF
Predictive Crypto-Asset Automated Market Making Architecture for Decentralized Finance using Deep Reinforcement Learning
Nanyang Polytechnic(南洋理工学院);Singapore Management University(新加坡管理大学)
该研究提出了一个报价驱动的预测自动做市商(AMM)平台,具有链上托管和结算功能,以及链下预测强化学习功能,以改善现实世界AMM的流动性供给。拟议的AMM架构是对加密货币AMM协议Uniswap V3的增强,通过利用新的市场均衡定价来减少分歧和滑点损失。此外,所提出的架构涉及预测AMM功能,利用深度混合的长短期记忆(LSTM)和Q学习强化学习框架,通过更好地预测流动性集中范围来提高市场有效性,因此流动性在资产价格变动之前开始向预期集中范围移动,从而提高流动性利用率。增强的协议框架预计将具有实际的现实意义,通过(i)减少流动性提供者的分歧损失,(ii)减少加密资产交易者的滑点,同时(iii)提高AMM协议流动性供给的资本效率。据我们所知,目前还没有已知的协议或文献提出类似的深度学习增强AMM,可以为实际的现实应用实现类似的资本效率和损失最小化目标。
2023-01-26 cs.AI cs.LG q-fin.CP
Deep Reinforcement Learning Strategies in Finance: Insights into Asset Holding, Trading Behavior, and Purchase Diversity
University of North Texas(北得克萨斯大学);Artificial Intelligence Research Center (AIRC)(人工智能研究中心(AIRC))
该研究针对金融领域DRL算法行为研究不足的问题,分析五类DRL算法的资产持有、交易行为与购买多样性特征,发现不同算法交易模式差异显著,A2C累积收益表现最优,为金融DRL应用的决策逻辑理解提供参考。
2024-06-29 cs.AI cs.LG q-fin.TR
Deep Reinforcement Learning for Optimal Asset Allocation Using DDPG with TiDE
School of Computer Science, University of Bristol, Bristol, UK(布里斯托大学计算机科学学院);School of Engineering Mathematics and Technology, University of Bristol, Bristol, UK(布里斯托大学工程数学与技术学院);School of Engineering Mathematics(工程数学学院)
本研究利用DDPG与TiDE的深度强化学习方法,实现了在风险资产与无风险资产之间更优的动态配置策略,提升了投资回报率与风险调整能力。
2025-08-12 cs.AI cs.LG q-fin.PM
FinXplore: An Adaptive Deep Reinforcement Learning Framework for Balancing and Discovering Investment Opportunities
School of Mathematical & \& Statistical Sciences(数学与统计科学学院);Indian Institute of Technology Mandi(印度理工学院曼迪分校)
本研究提出FinXplore框架,通过两个DRL代理动态平衡现有资产利用与新投资机会探索,显著提升投资组合优化表现。
2025-09-05 cs.AI cs.LG
Robust Reinforcement Learning in Finance: Modeling Market Impact with Elliptic Uncertainty Sets
University of Maryland(马里兰大学)
本文提出了一种基于椭圆不确定性集的鲁棒强化学习方法,用于金融市场中的市场影响建模,通过显式和隐式闭式解提升策略评估效率,并在单资产和多资产交易任务中验证了其在夏普比率和鲁棒性方面的优越性。
2026-01-23 cs.AI cs.LG math.OC
Optimizing Information Asset Investment Strategies in the Exploratory Phase of the Oil and Gas Industry: A Reinforcement Learning Approach
ISCTE Business School(ISCTE商学院);Oxaala Technologies(Oxaala技术公司)
本文通过强化学习方法,提出在油气勘探早期优先获取高质量信息资产的策略,以减少冗余成本并提高储量估值精度,挑战传统投资策略的经济效率。
2025-11-28 cs.AI cs.MA econ.TH
Reinforcement Learning with Intrinsic Affinity for Personalized Prosperity Management
Sparebank 1 SR-Bank;Center for Artificial Intelligence Research(人工智能研究中心);University of Agder(阿格德大学)
将强化学习(RL)应用于资产管理的共同目的是利润最大化。用于学习最优策略的外部奖励函数通常不考虑任何其他偏好或约束。我们已经开发了一种正则化方法,该方法确保策略具有全局内在亲和力,即,不同的个性可能对某些资产具有偏好,这些偏好可能随时间而改变。我们利用这些内在的政策亲和力,使我们的强化学习模型内在地可解释。我们演示了如何可以训练RL代理,以协调这种个人政策,为特定的个性配置文件,仍然实现高回报。
2022-07-27 cs.AI cs.LG
Adaptive Liquidity Provision in Uniswap V3 with Deep Reinforcement Learning
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);New York University(纽约大学)
本文提出基于深度强化学习的方法,自适应调整Uniswap V3流动性价格区间并结合期货对冲,以最大化LP收益并降低市场风险,在ETH/USDC和ETH/USDT池中优于现有基线。
2023-09-18 cs.AI
Intelligent Trading Systems: A Sentiment-Aware Reinforcement Learning Approach
Universidade de São Paulo(圣保罗大学);Centro Universitário FEI(FEI大学中心)
长期以来,基于模式识别在证券交易所进行单一资产盈利交易的可行性一直吸引着研究者。强化学习(RL)和自然语言处理在这些单一资产交易任务中声名狼借,但只有少数作品探索了它们的组合。此外,一些问题仍未得到解决,例如通过明确捕捉反映市场状况的情绪特征来提取市场情绪动量,以及评估RL结果在不同情况下的一致性和稳定性。为了填补这一空白,我们提出了情绪感知RL(SentARL)智能交易系统,该系统通过从文本新闻中提取的自适应量的过去情绪特征来利用市场情绪,从而提高利润稳定性。我们在20个资产、2个交易成本和5个不同的时期和初始化中评估了SentARL,以显示其相对于基线的一致有效性。随后,这种彻底的评估使我们能够确定新闻报道和市场情绪之间的边界,关于价格的相关性-时间序列,SentARL的有效性是突出的。
2021-11-14 cs.AI cs.CL cs.LG
Multi-Year Maintenance Planning for Large-Scale Infrastructure Systems: A Novel Network Deep Q-Learning Approach
Department of Civil Engineering, Toronto Metropolitan University(土木工程系,多伦多 metropolitan 大学)
本文提出网络级深度强化学习框架,将 MDP 分解到资产级并纳入年度预算分配,在 68,800 段路面网络上显著提升多年维护规划效率与性能。
2025-07-24 cs.AI cs.LG cs.SY
Advancing Investment Frontiers: Industry-grade Deep Reinforcement Learning for Portfolio Optimization
本文提出工业级深度强化学习框架AlphaOptimizerNet,融合仿真到现实方法论,实现跨资产类别投资组合的风险收益优化,并兼顾统计严谨与监管合规。
2024-02-27 cs.AI cs.LG
MSPM: A Modularized and Scalable Multi-Agent Reinforcement Learning-based System for Financial Portfolio Management
University of Tsukuba(筑波大学)
金融投资组合管理(PM)是强化学习(RL)中最适用的问题之一,因为它具有序列决策的性质。然而,现有的基于RL的方法很少关注可扩展性或可重用性,以适应不断变化的市场。这些方法是刚性的和不可扩展的,以适应不同数量的资产组合和日益增长的异构数据的需求。此外,现有系统中的RL代理是专门训练的,很难重用于不同的投资组合。为了面对上述问题,模块化的设计是期望的系统与可重用的资产专用代理兼容。在本文中,我们提出了一个多代理RL为PM(MSPM)为基础的系统。MSPM包括两类不断更新的模块:演化代理模块(EAM)和战略代理模块(SAM)。EAM是一个带有DQN代理的信息生成模块,它接收异构数据并为特定资产生成包含信号的信息。SAM是一个带有PPO代理的决策模块,用于投资组合优化,它连接到EAM以重新分配投资组合中的资产。经过培训的EAM可以随意连接到任何SAM。MSPM以其模块化的体系结构、对易变市场信息的多步压缩和EAM的可重用设计,同时解决了基于RL的PM的两个挑战:可扩展性和可重用性。在美国8年的股票市场数据上进行的实验证明了MSPM在累积收益率(ARR)、日收益率和索提诺比率方面优于5个基线的有效性。与CRP(一种广泛使用的PM策略)相比,MSPM可使ARR至少提高186.5%。为了验证EAM的不可或缺性,我们回测和比较四个投资组合的MSPM。与EAM禁用的MSPM相比,EAM启用的MSP…
2022-02-19 cs.AI cs.LG q-fin.CP
A deep reinforcement learning model for predictive maintenance planning of road assets: Integrating LCA and LCCA
AmirKabir University of Technology(阿米尔卡比尔理工大学);Oklahoma State University(俄克拉荷马州立大学);Islamic Azad University(伊斯兰阿扎德大学)
本研究提出基于强化学习的框架,利用LTPP数据库确定道路维护类型与时机,采用PPO模型,整合经济与环境成本,在案例中生成20年维护计划,帮助决策者优化预算并减少环境影响。
2023-11-27 cs.AI cs.LG
Deep Reinforcement Learning with Buffered Quantile Objectives
Virginia Tech(弗吉尼亚理工大学)
提出无模型深度强化学习框架Deep-BQRL,通过缓冲分位数目标和集成探索实现风险敏感决策,在资产出售等任务中优于PPO和TRPO。
2026-09-21 cs.AI cs.LG math.OC
Reinforcement Learning and Consumption-Savings Behavior
New York University(纽约大学)
本文构建采用Q学习的消费-储蓄决策模型,用强化学习解释经济衰退中家庭消费的两个实证模式,其模拟结果与实证匹配,为理解过往经历对消费的影响提供了统一框架。
2026-09-29 cs.AI cs.LG econ.GN
Simplex Decomposition for Portfolio Allocation Constraints in Reinforcement Learning
LMU Munich(慕尼黑大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心)
针对约束强化学习处理投资组合配置约束时结果次优的问题,提出基于单纯形分解的CAOSD方法,将约束动作空间转化为无约束问题,在Nasdaq-100数据上表现优于现有CRL基准。
2024-04-16 cs.AI
Modelling crypto markets by multi-agent reinforcement learning
INSERM(法国国家健康与医学研究院);École Normale Supérieure(巴黎高等师范学院);Higher School of Economics(高等经济学院)
本研究提出基于多智能体强化学习的加密货币市场模拟模型,通过赋予智能体RL技术并利用Binance上153种加密货币数据进行校准,准确模拟了市场微观结构及牛熊市中的关键行为。
2024-02-16 cs.AI cs.GT cs.MA
SAMP-HDRL: Segmented Allocation with Momentum-Adjusted Utility for Multi-agent Portfolio Management via Hierarchical Deep Reinforcement Learning
School of AI and Advanced Computing, XJTLU Entrepreneur College (Taicang), Xi’an Jiaotong-Liverpool University(人工智能与先进计算学院,XJTLU创业学院(太仓),西安交通大学利物浦大学);Department of Management Science and Engineering, School of Economics and Management, Xinjiang University(管理科学与工程系,经济管理学院,新疆大学)
SAMP-HDRL通过分层深度强化学习实现多智能体投资组合管理,结合动态资产分组和动量调整效用,提升投资策略的适应性、鲁棒性和可解释性。
2025-12-28 cs.AI
mt5se: An Open Source Framework for Building Autonomous Trading Robots
Aeronautics Institute of Technology (ITA - Instituto Tecnológico de Aeronáutica)(航空技术研究所(ITA - 航空技术研究所))
自主交易机器人已经在人工智能领域研究了相当长的一段时间。许多人工智能技术已经过测试,用于构建能够交易金融资产的自主智能体。这些举措包括传统的神经网络,模糊逻辑,强化学习,但也包括最近的方法,如深度神经网络和深度强化学习。许多开发人员声称在使用历史价格系列模拟执行时,成功地创建了具有出色性能的机器人,即所谓的回测。然而,当这些机器人在真实市场中频繁使用时,它们在风险和回报方面表现不佳。在本文中,我们提出了一个开源框架(mt5se),它有助于自主交易者的开发,回测,现场测试和实际操作。我们使用mt5se构建并测试了几个交易者。结果表明,它可能有助于更好的交易者的发展。此外,我们讨论了在许多研究中使用的简单架构,并提出了一种替代的多智能体体系结构。这种架构将投资组合经理(PM)的两个主要关注点分开:价格预测和资本分配。除了实现高精度,PM还应该在正确时增加利润,在错误时减少损失。此外,价格预测高度依赖于资产的性质和历史,而资本配置仅取决于分析师的预测性能和资产的相关性。最后,我们讨论了该领域的一些有前途的技术。
2022-06-28 cs.AI
Mastering Pair Trading with Risk-Aware Recurrent Reinforcement Learning
School of Computer Science, Wuhan University(武汉大学计算机学院);ChanceFocus AMC(方正富邦基金管理有限公司);Southwest Jiaotong University(西南交通大学)
提出CREDIT,一种风险感知循环强化学习智能体,通过双向GRU和时间注意力机制捕捉资产价格变动的长期模式,并设计风险感知奖励,在五年美股数据上实现显著利润,优于现有RL方法。
2023-04-01 cs.AI q-fin.CP
Deep Reinforcement Learning and Mean-Variance Strategies for Responsible Portfolio Optimization
J.P. Morgan AI Research(摩根大通人工智能研究院);University College London(伦敦大学学院)
本文研究了将深度强化学习应用于负责任的投资组合优化,通过纳入ESG状态和目标,在财务与ESG责任的加性及乘性效用函数下,表现出与均值-方差方法相媲美的性能。
2024-03-25 cs.AI
Reinforcement Learning based Proactive Control for Transmission Grid Resilience to Wildfire
University of Houston(休斯顿大学);Washington State University(华盛顿州立大学);Vanderbilt University(范德堡大学)
极端事件下的电网运行需要人类操作员在高认知负荷的压力条件下进行决策。在不利的动态事件下的决策支持,特别是如果预测,可以通过智能主动控制来补充。电力系统在野火期间的操作需要考虑野火和故障传播的动态特性的用于减载、线路切换和资源分配的顺应性驱动的主动控制。然而,在事件期间,大型系统中可能的线路和负载切换次数使得传统的预测驱动和随机方法在计算上难以处理,导致运营商经常使用贪婪算法。我们的模型和解决作为一个马尔可夫决策过程的主动控制问题,并介绍了一个集成的测试平台的时空野火传播和积极的电力系统操作。我们改变了巨大的野火传播观测空间,并利用它作为一个启发式的一部分,主动去重的传输资产。我们将这种启发式与基于学习的主动策略相结合,以控制生成的资产。我们的方法允许这个控制器提供设定点的一部分,而近视的运营商可以确定设定点的其余一套,这导致了一个共生的行动。我们评估我们的方法,利用IEEE 24节点系统映射到一个假设的地形。我们的研究结果表明,所提出的方法可以帮助运营商,以减少在极端事件中的负载损失,减少通过线路的功率流被断电,并减少不可行的功率流解决方案的可能性,这将表明违反短期的输电线路的热限制。
2021-07-12 cs.AI cs.SY eess.SY
Deep Reinforcement Learning for Optimal Portfolio Allocation: A Comparative Study with Mean-Variance Optimization
本文通过比较深度强化学习与均值-方差优化方法,探讨了在投资组合分配中的性能和效果。
2026-02-19 cs.AI cs.LG q-fin.PM
Causal Inference on Investment Constraints and Non-stationarity in Dynamic Portfolio Optimization through Reinforcement Learning
Mizuho Research & Technologies, Ltd.(瑞穗综合研究所科技有限公司);Mizuho Bank, Ltd.(瑞穗银行股份有限公司)
本研究针对金融时间序列非平稳性问题,开发了融入机制转换等变量的强化学习动态资产配置策略,还将三类投资约束纳入框架并分析其对投资行为的影响,提升了预测准确率与优化灵活性。
2023-11-08 cs.AI q-fin.PM
OR-Gym: A Reinforcement Learning Library for Operations Research Problems
Carnegie Mellon University(卡内基梅隆大学)
强化学习(RL)已被广泛应用于游戏中,并在许多领域超过了最佳的人类水平的性能,但在工业或商业环境中的用例很少。我们介绍OR-Gym,这是一个用于开发强化学习算法以解决运筹学问题的开源库。在本文中,我们将强化学习应用到背包,多维装箱,多级供应链,多阶段资产配置模型问题,以及基准的RL解决方案对MILP和启发式模型。这些问题用于物流、金融、工程,并且在许多业务操作设置中很常见。我们开发环境的基础上,在文献中的原型模型,并实现各种优化和启发式模型,以基准的RL结果。通过将一系列经典的优化问题重新定义为RL任务,我们试图为运筹学社区提供一种新的工具,同时也为RL社区中的许多问题和挑战打开了大门。
2020-10-17 cs.AI cs.LG
Improving Search through A3C Reinforcement Learning based Conversational Agent
Adobe Systems Inc(奥多比系统公司);IIT Delhi(印度理工学院德里分校)
我们开发了一个基于强化学习的搜索助手,它可以通过一组动作和一系列交互来帮助用户实现他们的意图。我们的方法迎合主观搜索,用户正在寻找数字资产,如图像,这是从根本上不同的任务,具有客观和有限的搜索方式。标记的会话数据通常在这样的搜索任务中不可用,并且通过人类交互来训练代理可能是耗时的。我们提出了一个随机虚拟用户模拟一个真实的用户,可以用来有效地采样用户的行为,训练代理,加快了自举代理。我们开发了基于A3C算法的上下文保持体系结构,使代理提供上下文的帮助给用户。我们将A3C代理与Q学习进行比较,并评估其在验证事件中与虚拟用户获得的平均奖励和状态值上的性能。我们的实验表明,智能体学习获得更高的奖励和更好的状态。
2018-08-19 cs.AI
Planning or Learning: Reliability and Cost in Multi-Asset Maintenance
Industrial AI Lab, Hitachi America Ltd.(日立美国有限公司工业人工智能实验室)
本研究实证比较规划与强化学习在多资产维护中的表现,发现规划以硬约束实现零故障,RL在低惩罚下成本更低但存在非零故障,并探讨了约束机制,表明两者互补。
2026-09-15 cs.AI cs.LG
Learning Cyber Defence Tactics from Scratch with Multi-Agent Reinforcement Learning
Royal Military College of Canada(加拿大皇家军事学院);Defence Research and Development Canada(加拿大国防研究与发展部)
本研究利用多智能体强化学习(MARL)在模拟环境中从零学习网络防御战术,比较独立学习与CTDE方法,证明两者均优于启发式防御者,展示了合作MARL应对多样威胁的有效性。
2023-08-25 cs.AI cs.CR cs.LG
Predictive Maintenance for Edge-Based Sensor Networks: A Deep Reinforcement Learning Approach
Nanyang Technological University(南洋理工大学);Singapore University of Technology and Design(新加坡科技设计大学)
关键任务设备的故障会中断生产并造成金钱损失。通过对创收资产进行预测性维护,可以最大限度地降低计划外设备停机的风险,以确保设备的最佳性能和安全运行。然而,设备的增加的传感器化产生了大量的数据,并且现有的基于机器学习的预测模型本身对于及时的设备状况预测变得不足够。本文提出了一种无模型的深度强化学习算法,用于基于设备的传感器网络上下文的预测性设备维护。在每个设备内,传感器设备聚集原始传感器数据,并且针对异常事件分析设备健康状态。与传统的黑盒回归模型不同,该算法可以自学习最优维护策略,并为每个设备提供可操作的建议。我们的实验结果表明,更广泛的设备维护应用的自动学习框架的潜力。
2020-07-07 cs.AI cs.LG stat.ML
Effects of Different Optimization Formulations in Evolutionary Reinforcement Learning on Diverse Behavior Generation
Osaka Prefecture University(大阪府立大学)
为给定的任务生成各种策略是具有挑战性的。然而,它已经被证明为主要的学习过程带来了许多资产,例如改进的行为探索。随着人们对演化计算和强化学习中解的异质性的兴趣的增长,出现了许多有前途的方法。为了更好地理解人们如何引导多个策略朝向不同的策略并从多样性中受益,我们需要进一步分析奖励信号调制和其他进化机制对所获得的行为的影响。为此,本文考虑了现有的进化强化学习框架,该框架利用多目标优化作为一种方法来获得成功的行为相关的任务,以及完成主要目标的政策。Atari游戏上的实验强调,不考虑目标的优化公式同样无法产生多样性,甚至输出在解决手头问题方面表现较差的代理,无论获得的行为如何。
2022-01-27 cs.AI cs.NE
Can Interpretable Reinforcement Learning Manage Prosperity Your Way?
Sparebank 1 SR-Bank(Sparebank 1 SR银行);Center for Artificial Intelligence Research(人工智能研究中心);University of Agder(阿格德大学)
产品和服务的个性化正在迅速成为银行和商业成功的驱动力。机器学习有望更深入地了解客户的需求和偏好,并根据客户的需求和偏好进行定制。传统的金融决策问题解决方案通常依赖于模型假设,而强化学习能够利用大量数据,以更少的假设在复杂的金融环境中改善客户建模和决策。从监管角度来看,模型的可解释性和可解释性提出了挑战,这需要透明度才能被接受;它们还提供了改善对客户的洞察和理解的机会。事后方法通常用于解释预训练的强化学习模型。基于我们之前对客户支出行为的建模,我们调整了我们最近的强化学习算法,该算法本质上表征了理想的行为,我们过渡到资产管理问题。我们训练内在可解释的强化学习代理,以提供与原型财务人格特质相一致的投资建议,这些人格特质被结合起来,以提出最终建议。我们观察到,受过训练的代理人的建议坚持其预期的特点,他们学习复合增长的价值,并在没有任何明确的参考,风险的概念,以及改善政策趋同。
2022-06-29 cs.AI cs.LG
Maintenance Strategies for Sewer Pipes with Multi-State Degradation and Deep Reinforcement Learning
Ruhr-University Bochum(波鸿鲁尔大学);University of Twente(特温特大学);Eindhoven University of Technology(埃因霍温理工大学);Rolsch Assetmanagement(罗尔施资产管理公司);Radboud University(拉德堡德大学)
本研究针对污水管道多状态退化问题,结合多状态退化模型与深度强化学习,提出超越启发式的智能维护策略,按管道年龄动态调整被动或主动管理,以降低成本并防止故障。
2024-07-17 cs.AI cs.CE cs.LG
Deep Reinforcement Learning for Optimal Stopping with Application in Financial Engineering
HEC Montreal(蒙特利尔高等商学院)
最优停止是在随机系统中决定采取特定行动的正确时间的问题,以最大化期望回报。它在金融、医疗保健和统计等领域有许多应用。在本文中,我们采用深度强化学习(RL)来学习两个金融工程应用中的最优停止策略:即期权定价和最优期权行使。我们首次对三种最先进的深度RL算法确定的最佳停止策略的质量进行了全面的实证评估:双重深度Q学习(DDQN),分类分布RL(C51)和隐式分位数网络(IQN)。在期权定价的情况下,我们的研究结果表明,在理论上的布莱克-舒尔环境中,IQN成功地确定了接近最优的价格。另一方面,当面临涉及标准普尔500指数资产的看跌期权行使问题中的实际股票数据变动时,C51的表现略好于C51。更重要的是,C51算法能够确定一个最佳停止策略,该策略比四个自然基准策略中的最佳策略多获得8%的样本外回报。最后,我们讨论了我们的研究结果,这应该为相关的未来研究铺平道路。
2021-05-19 cs.AI
Model-based Deep Reinforcement Learning for Dynamic Portfolio Optimization
Neuri PTE LTD(Neuri私人有限公司)
动态投资组合优化是根据投资者的收益-风险状况,在一些连续的交易期内将财富按顺序分配到资产集合中的过程。用机器学习自动化这个过程仍然是一个具有挑战性的问题。在这里,我们设计了一个具有自主交易代理的深度强化学习(RL)架构,以便基于全局目标定期自主地做出投资决策和行动。特别是,在不依赖于一个纯粹的无模型的RL代理,我们训练我们的交易代理使用一种新的RL架构组成的注入预测模块(IPM),生成对抗性数据增强模块(DAM)和行为克隆模块(DAM)。我们的基于模型的方法适用于on-policy或off-policy RL算法。我们进一步设计了回测引擎和执行引擎,它们与RL Agent进行实时的交互。使用历史{ \em real}金融市场数据,我们模拟了实际约束条件下的交易,并证明了我们提出的模型是稳健的,有利可图的和风险敏感的,与基线交易策略和先前工作中的无模型RL代理相比。
2019-01-25 cs.AI cs.LG stat.ML
Current applications and potential future directions of reinforcement learning-based Digital Twins in agriculture
University of Vienna(维也纳大学);TU Wien(维也纳技术大学);SBA Research gGmbH(SBA研究有限责任公司)
本文综述了强化学习在农业机器人、温室、灌溉和作物管理中的应用,分类现有技术并展望基于强化学习的数字孪生未来方向,以推动高效可持续农业发展。
2024-06-13 cs.AI cs.LG
Deep Reinforcement Learning Algorithms for Option Hedging
Concordia University(康考迪亚大学)
针对动态对冲问题,本文首次比较八种DRL算法(含两种新变体)的性能,以Black-Scholes delta对冲为基线,发现MCPG在根半二次惩罚指标上最优且唯一优于基线,为该领域提供算法选择参考。
2025-04-17 cs.AI cs.CE q-fin.CP
Fly, Fail, Fix: Iterative Game Repair with Reinforcement Learning and Large Multimodal Models
本文提出将强化学习智能体作为游戏测试者、大型多模态模型作为设计者的迭代框架,通过分析行为轨迹自动修订游戏配置,实现AI辅助游戏设计的实用化。
2025-07-16 cs.AI cs.LG
Deep Reinforcement Learning for Reliability Based Bi-Objective Portfolio Optimization
Indian Institute of Management Amritsar(印度管理学院阿姆利则分校);McKinsey and Company(麦肯锡公司)
研究不确定性下投资组合优化问题,提出深度强化学习框架MORP-DRL,用三种风险度量联合优化回报与风险,结合多种方法表示资产回报并生成场景,基于PPO开发策略,实验表明该框架有竞争力、能降风险且可扩展。
2026-07-09 cs.AI cs.LG math.OC
MetaTrader: An Reinforcement Learning Approach Integrating Diverse Policies for Portfolio Optimization
Tsinghua University(清华大学);Harbin Institute of Technology(哈尔滨工业大学)
投资组合管理是金融学中的一个基本问题。它涉及定期重新分配资产,以在适当的风险敞口水平内最大化预期收益率。深度强化学习(RL)被认为是解决这一问题的一种很有前途的方法,因为它具有很强的顺序决策能力。然而,由于金融市场的非平稳性,将强化学习技术应用于投资组合优化仍然是一个具有挑战性的问题。从各种专家策略中提取交易知识可以帮助代理人适应不断变化的市场。在本文中,我们提出了MetaTrader,这是一种新的基于RL的两阶段投资组合管理方法,它可以学习整合不同的交易策略以适应各种市场条件。在第一阶段,MetaTrader将模仿学习目标纳入强化学习框架。通过模仿不同的专家演示,MetaTrader获得了一套非常多样化的交易策略。在第二阶段,MetaTrader学习元策略以识别市场条件并决定要遵循的最合适的学习策略。我们在三个真实世界的索引数据集上评估了所提出的方法,并将其与最先进的基线进行了比较。实证结果表明,MetaTrader在平衡利润和风险方面明显优于这些基线。此外,彻底的消融研究验证了所提出的方法中的组件的有效性。
2022-09-01 cs.AI q-fin.CP
Reinforcement and Deep Reinforcement Learning-based Solutions for Machine Maintenance Planning, Scheduling Policies, and Optimization
University of Victoria(维多利亚大学)
本文综述了强化学习与深度强化学习在机器维护计划与优化中的应用,通过构建分类法对文献进行系统分类和总结,并指出研究空白与未来方向。
2023-07-07 cs.AI cs.LG
Self-discovering RL in the Era of Experience: Is Learning History an Asset or a Burden?
University of Cambridge(剑桥大学)
本研究首次对自我发现的强化学习规则进行因果机制审计,揭示循环历史在扩展奖励尺度、解耦历史内容与维护、以及环境变化下控制重放保留三方面的影响,为自进化RL算法奠定审计标准。
2026-09-30 cs.AI cs.LG
Deep Stock Trading: A Hierarchical Reinforcement Learning Framework for Portfolio Optimization and Order Execution
Nanyang Technological University(南洋理工大学);WeBank Co. Ltd.(微众银行股份有限公司)
通过强化学习进行投资组合管理是金融科技研究的前沿,该研究探索如何通过试错法在长期内将资金最佳地重新分配到不同的金融资产中。现有的方法是不切实际的,因为它们通常假设每次重新分配可以立即完成,从而忽略了作为交易成本的一部分的价格滑点。为了解决这些问题,我们提出了一个分层加强证券交易系统的投资组合管理(HRPM)。具体而言,我们将交易过程分解为交易执行的投资组合管理层次,并对相应的策略进行训练。高级策略以较低的频率给出投资组合权重,以最大化长期利润,并调用低级策略在较短的时间窗口内以较高的频率出售或购买相应的股票,以最小化交易成本。我们通过预训练方案和迭代训练方案对两个级别的策略进行训练,以提高数据效率。在美国市场和中国市场的大量实验结果表明,HRPM实现了许多国家的最先进的方法显着改善。
2021-02-07 cs.AI cs.LG
Bridging the gap between Markowitz planning and deep reinforcement learning
AI Square Connect;MILES, LAMSADE, Dauphine university(MILES,LAMSADE,巴黎第九大学);LISIC, ULCO(LISIC,上法兰西理工大学加莱校区);Societe Generale, Cross Asset Quantitative Research(法国兴业银行跨资产量化研究部)
虽然资产管理行业的研究人员大多专注于基于金融和风险规划技术的技术,如Markowitz有效边界,最小方差,最大多样化或等风险平价,但与此同时,机器学习的另一个社区已经开始研究强化学习,更具体地说,深度强化学习,以解决自动驾驶等具有挑战性的任务的其他决策问题,机器人学习,以及更概念化的游戏,比如围棋。本文旨在通过展示深度强化学习(DRL)技术可以为投资组合分配提供新的思路,这要归功于更一般的优化设置,将投资组合分配作为最优控制问题,这不仅仅是一步优化,而是具有延迟奖励的连续控制优化。优点很多:(i)DRL直接将市场条件映射到设计的行动,因此应该适应不断变化的环境,(ii)DRL不依赖于任何传统的金融风险假设,例如风险由方差表示,(iii)DRL可以包含额外的数据,并且是一种多输入方法,而不是更传统的优化方法。我们提出了一些令人鼓舞的结果,使用卷积网络的实验。
2020-09-30 cs.AI cs.LG cs.MA
MOT: A Mixture of Actors Reinforcement Learning Method by Optimal Transport for Algorithmic Trading
School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
本文提出MOT强化学习方法,利用多行动者解耦建模、最优传输样本分配及预训练模仿模块,提升期货算法交易在不同市场模式下的收益与风险平衡表现。
2024-06-03 cs.AI cs.LG q-fin.TR
A Maintenance Planning Framework using Online and Offline Deep Reinforcement Learning
Eindhoven University of Technology(埃因霍温理工大学);Rolsch Assetmanagement(罗尔施资产管理公司);Radboud University(拉德堡德大学)
本文提出一种基于在线与离线深度强化学习的水管修复维护规划框架,利用DQN和保守Q学习从模拟交互及静态回放数据中学习最优策略,实验证明其优于传统预防性、纠正性和贪心规划方法。
2023-04-18 cs.AI cs.LG
Learning to Sell: Reinforcement Learning for Strategic Large Language Model Agents in Multi-Product Markets
本研究提出一种基于可验证奖励强化学习的后训练方法,使大型语言模型智能体在多产品讨价还价环境中作为卖方动态匹配买家与产品,在剩余提取和分配质量上达到或超越万亿参数模型,并泛化至未见市场。
2026-10-02 cs.AI
Memory as a Wasting Asset: Pricing Flash Endurance for Embodied Agents, and the Limits of Doing So
KAIKAKU
本文提出将机器人闪存耐久性视为折旧资本,通过单一影子价格η进行定价,实现成本最优的存储层级分配,并基于真实机器人日志测量价值-写入关联χ的符号,发现其取决于部署场景。
2026-06-17 cs.AI cs.CY cs.LG
CLIP-RL: Surgical Scene Segmentation Using Contrastive Language-Vision Pretraining & Reinforcement Learning
Department of Surgery(外科部);Hamad Medical Corporation(哈马德医疗集团);Department of Computer Science and Engineering(计算机科学与工程系);Qatar University(卡塔尔大学)
针对微创手术视频的手术场景语义分割问题,提出融合对比语言-视觉预训练、强化学习与课程学习的CLIP-RL模型,在EndoVis数据集上取得优于现有最优模型的性能,可稳健处理复杂光学环境。
2025-07-06 cs.AI cs.CV cs.LG
Mitigating Bias in Low-SNR Financial Reinforcement Learning via Quantum Representations
The Hong Kong University of Science and Technology(香港科技大学)
针对低信噪比金融市场中SAC算法的不稳定性,提出FPQC-SAC变体,在表征层使用参数化量子电路约束特征传播,减少极端波动影响,在真实组合管理任务中累计收益相对提升66.89%。
2026-06-09 cs.AI cs.LG
PPO-HRAP: Proximal Policy Optimization with a Hybrid Regime-Aware Policy for Risk-Controlled Trading
College of Engineering and Computer Science, VinUniversity(VinUniversity工程与计算机科学学院)
提出PPO-HRAP,结合近端策略优化与制度先验的混合策略,在SPY测试中显著降低回撤并提升风险调整收益,优于买入并持有。
2026-10-02 cs.AI q-fin.TR
Critic-Free Deep Reinforcement Learning for Maritime Coverage Path Planning on Irregular Hexagonal Grids
本文提出一种深度强化学习框架,用于在不规则海域的六边形网格上解决覆盖路径规划问题,通过Transformer指针策略自回归构造覆盖路径,并采用无评价组相对策略优化方法,实现高效路径规划。
2026-08-11 cs.AI cs.LG cs.NE