Study on Supply Chain Finance Decision-Making Model and Enterprise Economic Performance Prediction Based on Deep Reinforcement Learning
University of San Francisco(旧金山大学);Brown University(布朗大学);Cornell University(康奈尔大学);JPMorgan Chase(摩根大通)
本文提出结合深度学习与智能粒子群优化的决策模型,通过深度强化学习优化后端冗余供应链网络,仿真表明该模型有效降低资源消耗并提升动态环境下的实时决策与鲁棒控制能力。
2025-10-31 cs.LG
Reinforcement Learning Applications
我们首先简要介绍强化学习(RL),关于它的成功故事,基础知识,示例,问题,ICML 2019真实生活RL研讨会,如何使用它,学习材料和展望。然后,我们讨论了一系列RL应用,包括推荐系统、计算机系统、能源、金融、医疗保健、机器人和交通。
2019-08-19 cs.AI cs.LG
A Review of Reinforcement Learning in Financial Applications
North Carolina State University(北卡罗来纳州立大学);Amazon(亚马逊公司)
本文系统综述了强化学习在金融领域的应用,通过元分析揭示影响其性能的关键因素,并指出可解释性、MDP建模与鲁棒性等挑战及未来研究方向。
2024-11-01 cs.AI cs.LG q-fin.CP
FinRL-Meta: A Universe of Near-Real Market Environments for Data-Driven Deep Reinforcement Learning in Quantitative Finance
Columbia University(哥伦比亚大学);The University of Hong Kong(香港大学);University of Virginia(弗吉尼亚大学);Northwestern University(西北大学);New York University (Shanghai)(上海纽约大学);IDEA Research(IDEA研究院)
深度强化学习(Deep Reinforcement Learning,DRL)在构建金融市场模拟器方面显示出巨大的潜力。然而,由于现实世界市场的高度复杂性和动态性,原始的历史金融数据往往包含很大的噪声,可能无法反映市场的未来,从而降低了基于DRL的市场模拟器的保真度。此外,基于DRL的市场模拟器的准确性在很大程度上依赖于众多不同的DRL代理,这增加了对市场环境的需求,并对模拟速度提出了挑战。在本文中,我们提出了一个FinRL-Meta框架,该框架为数据驱动的金融强化学习构建了一个市场环境。一是FinRL-Meta将金融数据处理与基于DRL的策略设计管道分离,为金融大数据提供开源数据工程工具。其次,FinRL-Meta为各种交易任务提供了数百种市场环境。第三,FinRL-Meta通过利用数千个GPU核心实现多处理仿真和训练。我们的代码可在https://github.com/AI4Finance-Foundation/FinRL-Meta上获得。
2022-03-02 cs.LG q-fin.TR
FinRL: Deep Reinforcement Learning Framework to Automate Trading in Quantitative Finance
Columbia University(哥伦比亚大学);University of Virginia(弗吉尼亚大学);New York University Shanghai(纽约大学上海校区)
深度强化学习(DRL)被认为在量化金融中具有竞争优势。然而,由于编程容易出错,调试工作艰巨,量化交易者要想获得一个自动定位以在市场上获胜的代理,即\textit{to decide where to trade, at what price}和\textit{what quantity},有一个陡峭的发展曲线。在本文中,我们提出了第一个开源框架\textit{FinRL}作为一个完整的管道,以帮助量化交易者克服陡峭的学习曲线。FinRL在\textit{full-stack framework, customization, reproducibility}和\textit{hands-on tutoring}的关键原则下具有简单性、适用性和可扩展性的特点。FinRL是一个具有模块化结构的三层架构,它实现了微调的最先进的DRL算法和常见的奖励函数,同时减轻了调试工作量。因此,我们帮助用户以高周转率进行策略设计。在多个时间粒度级别上,FinRL使用历史数据和实时交易API模拟各种市场作为训练环境。FinRL具有高度的可扩展性,保留了一套用户导入接口,并结合了市场摩擦、市场流动性和投资者风险规避等交易约束。此外,作为从业者的垫脚石,典型的交易任务是作为一步一步的教程提供的,例如,股票交易、投资组合分配、加密货币交易等。
2021-11-07 cs.LG q-fin.TR
Systematic Review on Reinforcement Learning in the Field of Fintech
King Abdulaziz University(阿卜杜勒阿齐兹国王大学)
该综述系统探讨了强化学习在金融科技中的应用,通过PRISMA方法分析2018年以来的研究,发现基于强化学习的策略在预测准确性、盈利性等方面显著优于现有算法,并指出其在投资组合优化、风险管理等决策中的巨大潜力。
2023-04-29 cs.AI cs.LG q-fin.CP
FinRL: A Deep Reinforcement Learning Library for Automated Stock Trading in Quantitative Finance
Columbia University(哥伦比亚大学);AI4Finance LLC.(AI4Finance有限责任公司);Ion Media Networks(Ion媒体网络公司);Imperial College(帝国理工学院);New York University (Shanghai)(上海纽约大学)
由于深度强化学习(DRL)已被公认为量化金融中的有效方法,因此获得实践经验对初学者很有吸引力。然而,要训练一个实用的日间行车灯交易代理,决定在哪里交易,以什么价格,什么数量,涉及到容易出错和艰苦的开发和调试。在本文中,我们介绍了一个DRL库FinRL,方便初学者暴露自己的量化金融,并制定自己的股票交易策略。除了易于复制的教程外,FinRL库还允许用户简化自己的开发,并轻松与现有方案进行比较。在FinRL中,虚拟环境配置有股票市场数据集,交易代理使用神经网络进行训练,并通过交易表现进行广泛的回测分析。此外,它还包括重要的交易约束,如交易成本,市场流动性和投资者的风险厌恶程度。FinRL的特点是完整性,实践教程和可重复性,有利于初学者:(i)在多个级别的时间粒度,FinRL模拟各种股票市场的交易环境,包括纳斯达克100,道琼斯工业平均指数,标准普尔500,恒生指数,上证50指数和沪深300指数;(ii)FinRL以模块化结构的分层架构组织,提供微调的最先进的DRL算法(DQN,DDPG,PPO,SAC,A2 C,TD 3等),FinRL提供了常用的奖励函数和标准的评估基线,以减轻调试工作量并提高可重复性;(iii)具有高度可扩展性,FinRL保留了一套完整的用户导入接口。此外,我们还结合了三个应用程序演示,即单一股票交易,多个股票交易和投资组合分配。FinRL库将在Github上提供,…
2022-03-02 cs.LG q-fin.TR
Applications of Reinforcement Learning in Finance -- Trading with a Double Deep Q-Network
School of Engineering(工程学院);Zurich University of Applied Sciences(苏黎世应用科技大学)
本文提出了一种用于交易单一资产的双深度Q网络算法,即E-mini S&P 500连续期货合约。我们使用经过验证的设置作为具有多个扩展的环境的基础。我们的交易代理的功能不断扩展,以包括商品等额外资产,从而产生四种模式。我们还应对环境状况,包括成本和危机。我们的交易代理首先在特定的时间段内进行培训,并在新数据上进行测试,并将其与长期持有策略作为基准(市场)进行比较。我们分析了各种模型之间的差异和相对于环境的样本内/样本外性能。实验结果表明,交易代理遵循适当的行为。它可以根据不同的情况调整其政策,例如在存在交易成本时更广泛地使用中立立场。此外,净资产价值超过了基准,和代理跑赢了市场的测试集。我们提供了初步的见解代理在金融领域使用DDQN算法的行为。本研究的结果可用于进一步的开发。
2022-06-28 cs.LG q-fin.TR
Advancing Investment Frontiers: Industry-grade Deep Reinforcement Learning for Portfolio Optimization
本文提出工业级深度强化学习框架AlphaOptimizerNet,融合仿真到现实方法论,实现跨资产类别投资组合的风险收益优化,并兼顾统计严谨与监管合规。
2024-02-27 cs.AI cs.LG
A Novel Experts Advice Aggregation Framework Using Deep Reinforcement Learning for Portfolio Management
Sharif University of Technology(谢里夫理工大学)
使用深度强化学习解决投资组合管理问题在金融界引起了广泛的关注。我们提出了一种新方法,使用专家信号和历史价格数据来输入我们的强化学习框架。虽然专家信号已经在金融领域的以前的工作中使用过,但据我们所知,这是第一次将这种方法与深度RL结合起来用于解决金融投资组合管理问题。我们提出的框架由一个用于聚合信号的卷积网络、另一个用于历史价格数据的卷积网络和一个普通网络组成。我们使用邻近策略优化算法作为代理来处理奖励并在环境中采取行动。结果表明,平均而言,我们的框架可以获得最好的专家所获得的利润的90%。
2022-12-29 cs.LG q-fin.CP q-fin.PM
AlphaStock: A Buying-Winners-and-Selling-Losers Investment Strategy using Interpretable Deep Reinforcement Attention Networks
Beihang University(北京航空航天大学);Tsinghua University(清华大学)
近年来,金融创新和人工智能技术在包括量化交易(QT)在内的各种金融应用中成功结合。尽管大量的研究致力于利用深度学习(DL)方法来构建更好的QT策略,但现有的研究仍然面临着严重的挑战,特别是来自金融方面的挑战,例如风险与收益的平衡,对极端损失的抵抗力,以及策略的可解释性,这些都限制了基于DL的策略在现实金融市场中的应用。在这项工作中,我们提出了AlphaStock,一种新的基于强化学习(RL)的投资策略,通过可解释的深度注意力网络来增强,以解决上述挑战。我们的主要贡献总结如下:(1)将深度注意力网络与面向夏普比率的强化学习框架相结合,实现风险收益均衡的投资策略;(2)建立资产之间的相互关系模型,避免选择偏差,建立跨资产注意力机制;据我们所知,这项工作是第一个使用深度强化学习模型提供可解释的投资策略的工作之一。在美国和中国的长周期市场上进行的实验证明了AlphaStock在不同市场状态下的有效性和稳健性。事实证明,AlphaStock倾向于选择长期增长率高、波动性低、内在价值高、最近被低估的股票作为赢家。
2019-07-24 cs.LG q-fin.ST q-fin.TR
Baichuan4-Finance Technical Report
Baichuan Inc(百川智能公司)
本文报告了基于 Baichuan4-Turbo 构建的金融大模型 Baichuan4-Finance 系列,通过数据质量提升、领域自约束持续预训练及对齐训练,在金融任务上显著超越基线且保持通用能力。
2025-01-02 cs.AI cs.CE cs.CL
Trading Devil RL: Backdoor attack via Stock market, Bayesian Optimization and Reinforcement Learning
University of Montréal(蒙特利尔大学)
本研究提出一种名为FinanceLLMsBackRL的后门攻击,仅通过数据投毒实现,并利用动态系统与统计分布分析进行检测,旨在评估强化学习大型语言模型在金融等领域的潜在风险。
2025-04-21 cs.CE cs.LG physics.comp-ph
CNN-DRL with Shuffled Features in Finance
University of North Texas(北得克萨斯大学)
本研究通过特征重排优化CNN输入矩阵,在深度强化学习金融应用中显著提升奖励获取,实验验证了方法的有效性。
2024-01-16 cs.LG q-fin.CP
LLMs Meet Finance: Fine-Tuning Foundation Models for the Open FinLLM Leaderboard
University of Maryland, College Park(马里兰大学学院公园分校);Department of Mathematics(数学系);Department of Computer Science(计算机科学系)
本文以Open FinLLM排行榜为基准,基于Qwen2.5和Deepseek-R1,通过SFT、DPO、RL技术微调基础模型,提升其金融任务性能并测量金融领域数据缩放定律,证明LLMs在金融应用中的潜力。
2025-04-17 cs.AI cs.CL cs.LG
An Introduction to Deep Reinforcement Learning
McGill University(麦吉尔大学);Google Brain(谷歌大脑);Facebook(脸书)
深度强化学习是强化学习(RL)和深度学习的结合。这一研究领域已经能够解决以前机器无法完成的各种复杂决策任务。因此,深度RL在医疗保健、机器人、智能电网、金融等领域开辟了许多新的应用。本手稿介绍了深度强化学习模型、算法和技术。特别关注的是与泛化相关的方面,以及如何将深度RL用于实际应用。我们假设读者熟悉基本的机器学习概念。
2018-12-03 cs.AI cs.LG stat.ML
A Gentle Lecture Note on Filtrations in Reinforcement Learning
本说明旨在提供强化学习(RL)背景下使用的过滤概念的基本直觉。过滤通常用于正式定义RL问题,但对于那些没有测度理论背景的人来说,它们的含义可能并不突出。从本质上讲,过滤是一种构造,它捕获到时间$t$的部分知识,而不透露任何已经模拟但尚未透露给决策者的未来信息。我们用离散和连续结果空间上的金融领域的简单例子来说明这一点。此外,我们表明,过滤的概念是不需要的,因为仅根据当前的问题状态(这是可能的,由于马尔可夫属性)的决策足以消除未来的知识从决策过程中。
2020-08-06 cs.AI cs.LG
Deep Reinforcement Learning for Asset Allocation: Reward Clipping
SK Inc.(SK C&C)(SK集团(SK C&C))
近年来,有许多尝试将强化学习应用于资产配置,以获得更稳定的利润。在本文中,我们比较了几种强化学习算法-仅演员,演员评论家和PPO模型之间的性能。在此基础上,分析了各种模型的特点,并介绍了改进的算法,即奖励裁剪模型。在金融领域中,特别是在投资组合优化方面,报酬裁剪模型似乎优于其他现有的模型,无论是在牛市还是熊市中,它都具有优势。最后,我们将这些模型与传统投资策略在市场下降和上升期间的表现进行比较。
2023-01-02 cs.AI cs.LG q-fin.CP
Bellman Meets Hawkes: Model-Based Reinforcement Learning via Temporal Point Processes
Ant Group(蚂蚁集团);Toyota Technological Institute at Chicago(芝加哥丰田技术研究所)
我们考虑一个序贯决策问题,代理面临的环境特征的随机离散事件,并寻求一个最优的干预政策,使其长期回报最大化。这个问题普遍存在于社交媒体、金融和健康信息学中,但在强化学习的传统研究中却很少被研究。为此,我们提出了一个新的框架,基于模型的强化学习代理的行动和意见是异步随机离散事件发生在连续时间。我们通过具有外部干预控制项的Hawkes过程来模拟环境的动态,并开发了一种算法来将这样的过程嵌入到Bellman方程中,该方程指导值梯度的方向。我们证明了我们的方法在合成模拟器和现实世界的问题的优越性。
2022-12-27 cs.AI cs.LG
Synergistic Formulaic Alpha Generation for Quantitative Trading based on Reinforcement Learning
Kwangwoon University(光云大学)
针对股票量化交易中Alpha因子挖掘搜索空间大的问题,提出基于强化学习、以预训练公式化Alpha集为种子扩展搜索空间的协同生成方法,在CSI300数据上验证性能显著优于现有技术。
2024-07-08 cs.AI cs.CE
Safe Distributional Reinforcement Learning
UM-SJTU Joint Institute(上海交大-密西根联合学院);Shanghai Jiao Tong University(上海交通大学)
强化学习(RL)的安全性是自动驾驶或金融等许多领域的训练和执行的关键属性。在本文中,我们形式化它的约束RL制定的分布RL设置。我们的通用模型接受各种安全定义(例如,预期业绩的界限、CVaR、方差或达到不良状态的概率)。为了保证学习过程中的安全性,我们扩展了一种安全策略优化方法来解决我们的问题。分布式强化学习的观点导致了一个更有效的算法,同时还满足了自然安全的约束。我们经验验证我们的主张对适当的国家的最先进的安全RL算法的人工和真实的域。
2021-02-26 cs.LG
Tackling Decision Processes with Non-Cumulative Objectives using Reinforcement Learning
Max Planck Institute for the Science of Light(马克斯·普朗克光科学研究所);Friedrich-Alexander-Universität Erlangen-Nürnberg(埃尔兰根-纽伦堡弗里德里希-亚历山大大学)
本研究提出将非累积马尔可夫决策过程映射为标准MDPs的方法,使强化学习等技术可直接应用,在控制、金融和离散优化任务中提升性能与训练效率。
2025-05-23 cs.LG q-fin.CP quant-ph
OR-Gym: A Reinforcement Learning Library for Operations Research Problems
Carnegie Mellon University(卡内基梅隆大学)
强化学习(RL)已被广泛应用于游戏中,并在许多领域超过了最佳的人类水平的性能,但在工业或商业环境中的用例很少。我们介绍OR-Gym,这是一个用于开发强化学习算法以解决运筹学问题的开源库。在本文中,我们将强化学习应用到背包,多维装箱,多级供应链,多阶段资产配置模型问题,以及基准的RL解决方案对MILP和启发式模型。这些问题用于物流、金融、工程,并且在许多业务操作设置中很常见。我们开发环境的基础上,在文献中的原型模型,并实现各种优化和启发式模型,以基准的RL结果。通过将一系列经典的优化问题重新定义为RL任务,我们试图为运筹学社区提供一种新的工具,同时也为RL社区中的许多问题和挑战打开了大门。
2020-10-17 cs.AI cs.LG
Deep Reinforcement Learning for Online Control of Stochastic Partial Differential Equations
University of Toronto(多伦多大学);Vector Institute(向量研究所)
在许多领域,如物理科学,生命科学和金融,控制方法被用来实现由微分方程控制的复杂动力系统的预期目标。在这项工作中,我们制定了控制随机偏微分方程(SPDE)的问题作为一个强化学习问题。提出了一种基于学习的分布式控制方法,利用深度确定性策略梯度方法对具有高维状态-动作空间的SPDE系统进行在线控制。我们测试了我们的方法控制随机Burgers方程的问题上的性能,描述了一个湍流流体流动在一个无限大的域。
2021-12-08 cs.LG math.DS
Integrating Large Language Models and Reinforcement Learning for Sentiment-Driven Quantitative Trading
Wo Long(未知);Wenxin Zeng(未知);Xiaoyu Zhang(未知);Ziyao Zhou(未知)
本研究开发了一个情感驱动的量化交易系统,利用 FinGPT 进行情感分析,并采用 TD3 强化学习算法集成情感与技术信号,实验表明该方法能有效融合异构信号并提升交易策略表现。
2025-10-12 cs.LG q-fin.CP
Showing Your Offline Reinforcement Learning Work: Online Evaluation Budget Matters
Tinkoff(廷科夫银行)
在这项工作中,我们认为在线评估预算的重要性,深离线RL算法的可靠比较。首先,我们描述了在线评价预算是问题依赖性的,其中一些问题允许更少,但其他更多。其次,我们证明了算法之间的偏好在机器人、金融和能源管理等各种决策领域都是依赖于时间的。根据以上几点,我们建议报告不同在线评估预算下深度离线RL算法的性能。为了促进这一点,我们建议使用NLP领域的报告工具,预期验证性能。这种技术使得在不同预算下可靠地估计预期的最大性能成为可能,同时不需要超参数搜索之外的任何额外计算。通过使用这个工具,我们还表明,在有限的预算范围内工作时,行为克隆通常更有利于离线RL算法。
2022-06-05 cs.AI cs.LG
Reinforcement Learning in Practice: Opportunities and Challenges
本文是关于强化学习实践领域的温和讨论,关于机遇和挑战,涉及广泛的主题,有观点,没有技术细节。本文基于历史和最近的研究论文,调查,教程,会谈,博客,书籍,(小组)讨论和研讨会/会议。不同的读者群体,如研究人员,工程师,学生,经理,投资者,官员和想了解更多关于该领域的人,可能会发现这篇文章很有趣。在这篇文章中,我们首先简要介绍了强化学习(RL),以及它与深度学习、机器学习和AI的关系。然后,我们讨论了强化学习的机会,特别是产品和服务,游戏,强盗,推荐系统,机器人,交通,金融和经济,医疗保健,教育,组合优化,计算机系统,科学和工程。然后我们讨论了挑战,特别是1)基础,2)表示,3)奖励,4)探索,5)模型,模拟,规划和基准,6)离线/离线学习,7)学习学习a.k.a.元学习,8)可解释性和可解释性,9)约束,10)软件开发和部署,11)业务视角,以及12)更多挑战。最后,我们讨论,试图回答:“为什么RL还没有被广泛采用在实践中呢?和“RL什么时候有用?".
2022-04-22 cs.AI cs.LG
Review of Metrics to Measure the Stability, Robustness and Resilience of Reinforcement Learning
Oak Ridge National Laboratory(橡树岭国家实验室)
近年来,强化学习受到了极大的关注,这主要是由于深度强化学习在解决许多具有挑战性的任务(如下棋、围棋和在线计算机游戏)方面的成功。然而,随着对强化学习的关注越来越多,游戏和模拟环境之外的应用需要了解强化学习方法的鲁棒性,稳定性和弹性。为此,我们进行了全面的文献综述,以描述这三种行为的可用文献,因为它们与强化学习有关。我们对用于指示或测量鲁棒性、稳定性和弹性行为的定量和理论方法进行了分类。此外,我们确定了定量方法试图保持稳定、稳健或弹性的行动或事件。最后,我们提供了一个决策树有用的选择指标来量化的行为。我们认为,这是第一次针对强化学习的稳定性、鲁棒性和弹性进行全面审查。
2022-03-22 cs.AI cs.LG
Deep Reinforcement Learning
我们以概述的方式讨论深度强化学习。我们画一幅大图,充满细节。我们讨论了六个核心要素,六个重要的机制,和十二个应用程序,侧重于当代工作,并在历史背景下。我们从人工智能,机器学习,深度学习和强化学习(RL)的背景开始,并提供资源。接下来我们讨论RL的核心元素,包括价值函数、策略、奖励、模型、探索与利用以及表示。然后,我们讨论了强化学习的重要机制,包括注意和记忆,无监督学习,层次强化学习,多智能体强化学习,关系强化学习,学习学习。之后,我们讨论了强化学习的应用,包括游戏,机器人,自然语言处理(NLP),计算机视觉,金融,商业管理,医疗保健,教育,能源,交通,计算机系统,以及科学,工程和艺术。最后,我们简要总结,讨论挑战和机遇,并结束结语。
2018-10-15 cs.LG stat.ML
Deep Reinforcement Learning for Market Making Under a Hawkes Process-Based Limit Order Book Model
University of Zagreb(萨格勒布大学);Faculty of Electrical Engineering and Computing, University of Zagreb(萨格勒布大学电气工程与计算学院)
最优做市的随机控制问题是量化金融的核心问题之一。在本文中,基于深度强化学习的控制器进行训练的弱一致,多变量霍克斯过程为基础的限价订单簿模拟器,以获得做市控制。该方法充分利用了蒙特卡罗回测的优点,有助于弱一致限价订单簿模型下做市的研究。随后的深度强化学习控制器与多个做市基准进行了比较,结果表明其在各种风险回报指标方面具有优异的性能,即使在显著的交易成本下也是如此。
2022-07-20 cs.LG q-fin.GN q-fin.TR
Optimal Market Making by Reinforcement Learning
Almafintech S.A.(Almafintech 公司);Universidad Torcuato Di Tella(托尔夸托·迪特拉大学);UCEMA(阿根廷企业管理大学);Qontigo, a Deutsche Boerse company(Qontigo,德意志交易所集团旗下公司);Universidad de Buenos Aires(布宜诺斯艾利斯大学)
我们应用强化学习算法来解决经典的定量金融市场决策问题,在该问题中,代理人通过在最大化效用函数的同时放置买入和卖出订单来为市场提供流动性。最优代理人必须在其库存的价格风险和通过捕捉买卖价差获得的利润之间找到一个微妙的平衡。我们设计了一个环境与奖励函数,决定了一个顺序关系的政策相当于原来的效用函数。当将我们的代理与最佳解决方案和基准对称代理进行比较时,我们发现Deep Q-学习算法能够恢复最佳代理。
2021-04-08 cs.LG q-fin.ST
Reinforcement Learning with Expert Trajectory For Quantitative Trading
Sun Yat-Sen University(中山大学)
近年来,与人工智能相结合的量化投资方法越来越受到投资者和研究者的关注。现有的基于监督学习的相关方法不太适合实际期货交易中具有长期目标和延迟回报的学习问题。因此,在本文中,我们将价格预测问题建模为马尔可夫决策过程(MDP),并通过带有专家轨迹的强化学习对其进行优化。在所提出的方法中,我们采用了100多个短期阿尔法因素,而不是价格,数量和几个技术因素,在使用现有的方法来描述的状态MDP。此外,与相关方法中的DQN(深度Q学习)和BC(行为克隆)不同,我们在训练阶段引入专家经验,并考虑专家-环境交互和代理-环境交互来设计时间差误差,使代理更适应金融数据中不可避免的噪声。对我国股指期货(包括IF(CSI 300)和IC(CSI 500))的实验结果表明,与三种典型的技术分析方法和两种基于深度学习的方法相比,该方法具有明显的优势。
2021-05-09 cs.AI cs.LG q-fin.TR
Deep Reinforcement Learning: An Overview
我们概述了深度强化学习(RL)最近取得的令人兴奋的成就。我们讨论了六个核心要素,六个重要机制和十二个应用程序。我们从机器学习、深度学习和强化学习的背景开始。接下来,我们讨论核心RL元素,包括价值函数,特别是深度Q网络(DQN),策略,奖励,模型,规划和探索。在此之后,我们讨论了强化学习的重要机制,包括注意和记忆,无监督学习,迁移学习,多智能体强化学习,分层强化学习和学习学习。然后我们讨论了RL的各种应用,包括游戏,特别是AlphaGo,机器人,自然语言处理,包括对话系统,机器翻译和文本生成,计算机视觉,神经架构设计,商业管理,金融,医疗保健,工业4.0,智能电网,智能交通系统和计算机系统。我们提到了一些尚未回顾的主题,并列出了一系列RL资源。在简要总结之后,我们以讨论结束。请参阅深度强化学习,arXiv:1810.06339,以获取重要更新。
2018-11-26 cs.LG
MUSBO: Model-based Uncertainty Regularized and Sample Efficient Batch Optimization for Deployment Constrained Reinforcement Learning
Princeton University(普林斯顿大学)
在诸如医疗保健、金融、机器人和推荐系统的许多当代应用中,用于数据汇集和在线学习的新策略的连续部署要么成本低要么不切实际。我们考虑一种介于纯离线强化学习(RL)和纯在线RL之间的设置,称为部署约束RL,其中用于数据采样的策略部署的数量是有限的。为了解决这个具有挑战性的任务,我们提出了一个新的算法学习框架,称为基于模型的不确定性正则化和样本有效批量优化(MUSBO)。我们的框架为每个部署发现新颖且高质量的样本,以实现高效的数据汇集。在每个离线训练会话中,我们通过量化收集的数据中的不确定性来引导策略更新。在高支持区域(低不确定性),我们通过采取积极的更新来鼓励我们的政策。在低支持区域(高不确定性),当政策引导到分布外区域时,我们通过估计的不确定性量化来降低权重。实验结果表明,MUSBO在部署受限的RL设置中实现了最先进的性能。
2021-06-03 cs.AI cs.LG
Logic-Q: Improving Deep Reinforcement Learning-based Quantitative Trading via Program Sketch-based Tuning
Nanyang Technological University(南洋理工大学);Hong Kong Polytechnic University(香港理工大学);Chinese University of Hong Kong(香港中文大学);Singapore Management University(新加坡管理大学);Peng Cheng Lab(鹏城实验室)
本文提出Logic-Q框架,通过程序草稿合成引入人类专家市场趋势知识,以事后方式调整DRL策略,显著提升量化交易性能。
2025-02-06 cs.AI cs.CE cs.PL
Reinforcement Learning for Quantitative Trading
Nanyang Technological University(南洋理工大学)
定量交易(Quantitative Trading,QT)是指使用数学模型和数据驱动技术分析金融市场,自20世纪70年代以来一直是学术界和金融业的热门话题。在过去的十年中,强化学习(RL)由于其在解决复杂序列决策问题上的卓越能力,在机器人和视频游戏等许多领域引起了极大的兴趣。RL的影响是普遍的,最近证明了它有能力征服许多具有挑战性的QT任务。探索强化学习技术在QT任务上的潜力是一个蓬勃发展的研究方向。本文旨在提供一个全面的调查研究工作,基于RL的方法QT任务。更具体地说,我们设计了一个基于RL的QT模型的分类,以及最先进的全面总结。最后,我们讨论了当前的挑战,并提出了未来的研究方向,在这个令人兴奋的领域。
2021-09-28 cs.LG q-fin.CP
Deep Reinforcement Learning in Computer Vision: A Comprehensive Survey
深度强化学习增强了强化学习框架,并利用了深度神经网络的强大表示。最近的工作已经证明了深度强化学习在各个领域的显着成功,包括金融,医学,医疗保健,视频游戏,机器人和计算机视觉。在这项工作中,我们提供了一个详细的审查和国家的最先进的研究进展,深度强化学习在计算机视觉。我们从理解深度学习、强化学习和深度强化学习的理论开始。然后,我们提出了一个分类的深度强化学习方法,并讨论其优点和局限性。特别是,我们根据深度强化学习在计算机视觉中的应用将其分为七个主要类别,即(i)地标定位(ii)目标检测;(iii)目标跟踪;(iv)2D图像和3D图像体积数据的配准(v)图像分割;(vi)视频分析;以及(vii)其他应用。这些类别中的每一个都将通过强化学习技术、网络设计和性能进行进一步分析。此外,我们还对现有的公开数据集进行了全面的分析,并检查了源代码的可用性。最后,我们提出了一些开放的问题,并讨论了计算机视觉中深度强化学习的未来研究方向
2021-08-25 cs.AI cs.CV
Anomaly Detection in Time Series Data Using Reinforcement Learning, Variational Autoencoder, and Active Learning
Portland State University(波特兰州立大学)
本文提出将深度强化学习、变分自编码器与主动学习结合,并引入LSTM网络,以克服传统时间序列异常检测需手动调参且难适应新异常类型的局限,实现用最少标记数据检测新异常类别。
2025-04-03 cs.LG
Markowitz Meets Bellman: Knowledge-distilled Reinforcement Learning for Portfolio Management
School of Computer Science(计算机学院);Georgia Institute of Technology(佐治亚理工学院);University of Manchester(曼彻斯特大学)
本文提出融合 Markowitz 理论与 DDPG 强化学习的两阶段知识蒸馏方法 KDD,用于优化投资组合,并在多项金融指标上优于标准模型与 AI 框架。
2024-05-08 cs.LG q-fin.CP
Explainable Reinforcement Learning on Financial Stock Trading using SHAP
Institute for Development and Research in Banking Technology (IDRBT)(银行业技术发展与研究所(IDRBT));University of Hyderabad(海得拉巴大学)
近年来,可解释人工智能(XAI)研究在响应用户社区对AI更高透明度和信任度的需求方面取得了显著进展。这一点尤其重要,因为人工智能被应用于金融、医学等敏感领域,对社会、道德和安全的影响是巨大的。经过全面系统的评估,XAI的工作主要集中在机器学习(ML)的分类,决策或行动。据我们所知,没有任何工作报告提供了一个可解释的强化学习(XRL)方法来交易金融股票。在本文中,我们提出在流行的深度强化学习架构上使用SHapley加法解释(SHAP),即,深度Q网络(DQN),用于解释金融股票交易中给定实例的代理行为。为了证明我们的方法的有效性,我们在两个流行的数据集上进行了测试,即SENSEX和DJIA,并报告了结果。
2022-08-18 cs.AI
Learning Multi-Agent Intention-Aware Communication for Optimal Multi-Order Execution in Finance
Shanghai Jiao Tong University(上海交通大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Microsoft Research Asia(微软亚洲研究院)
本文针对金融多订单同时执行问题,提出一种多智能体强化学习方法,通过可学习的多轮意图通信协议和动作价值归因优化,显著提升智能体协作效果与整体执行收益。
2023-07-06 cs.AI cs.LG cs.MA
DRTA: Dynamic Reward Scaling for Reinforcement Learning in Time Series Anomaly Detection
School of Computer Science Portland State University Portland, Oregon, United States(计算机科学学院波特兰州立大学波特兰俄勒冈州美国)
针对时间序列异常检测标注少、误报高和新型异常泛化难的问题,提出融合动态奖励塑形、VAE与主动学习的强化学习框架DRTA,并在Yahoo基准上验证其优于现有方法。
2025-08-25 cs.AI cs.LG
Reinforcement Learning and Bandits for Speech and Language Processing: Tutorial, Review and Outlook
Columbia University(哥伦比亚大学)
本文综述了 reinforcement learning 和 bandits 在语音和自然语言处理中的最新进展,探讨了如何利用其奖励驱动适应性等优势构建自适应、交互式且可扩展的模型来解决相关问题。
2023-10-19 cs.AI cs.CL cs.LG
Alpha Discovery via Grammar-Guided Learning and Search
University of Electronic Science and Technology of China(电子科技大学);King's College London(伦敦国王学院);University of Southampton(南安普顿大学)
AlphaCFG通过语法引导的学习与搜索方法,高效发现金融中可解释且高效的Alpha因子,提升交易盈利能力。
2026-01-29 cs.AI cs.LG q-fin.CP
Mean-Semivariance Policy Optimization via Risk-Averse Reinforcement Learning
Tsinghua University(清华大学);Sun Yat-sen University(中山大学)
在现实世界的决策情况下,如金融、机器人、自动驾驶等,保持风险可控往往比最大化预期回报更重要。风险度量的最自然选择是方差,它对上行波动的惩罚与下行波动的惩罚一样多。相反,(下)半方差,它捕捉了一个随机变量在其均值下的负偏差,更适合于风险厌恶的建议。针对强化学习中的均值-半方差(Mean-SemiVariance,MSV)准则进行优化。稳定的奖励分配。由于半方差不满足标准Bellman方程且时间不一致,传统的动态规划方法不适用于MSV问题。为了解决这一问题,我们借助摄动分析理论,建立了MSV的性能差异公式。我们发现,MSV问题可以通过迭代求解一系列RL问题与政策相关的奖励函数来解决。在此基础上,提出了基于策略梯度理论和信赖域方法的两种基于策略的算法。最后,我们在MuJoCo中进行了从简单的强盗问题到连续控制任务的各种实验,证明了我们所提出的方法的有效性。
2023-03-08 cs.AI cs.LG
Optimizing Trading Strategies in Quantitative Markets using Multi-Agent Reinforcement Learning
Tsinghua Shenzhen International Graduate School(清华大学深圳国际研究生院)
本文融合CPPI与TIPP策略于MADDPG框架,提出CPPI-MADDPG和TIPP-MADDPG两种多智能体强化学习方法,在100只真实股票上验证其优于传统交易策略,提升量化交易绩效。
2023-12-22 cs.LG cs.MA q-fin.TR
A parallel-network continuous quantitative trading model with GARCH and PPO
University of Electronic Science and Technology of China(电子科技大学);Harbin Institute of Technology(哈尔滨工业大学)
在股票市场中,无论是专业投资者还是个人投资者,要想持续获利都是一项艰巨的任务。随着计算机科学和深度强化学习技术的发展,买入持有(Buy\&Hold,B\&H)已经被许多人工智能交易算法所超越。然而,信息和过程是不够的,这限制了强化学习算法的性能。因此,我们提出了一个并行网络连续定量交易模型,其中包含GARCH和PPO,以丰富基本的深度强化学习模型,其中深度学习并行网络层处理3个不同频率的数据(包括GARCH信息),并且邻近策略优化(PPO)算法与股票交易环境交互动作和奖励。在中国股票市场的5只股票上的实验表明,与基本的强化学习方法和实验模型相比,该方法获得了更多的额外收益。
2021-05-21 cs.LG q-fin.TR
Deep Reinforcement Learning in Quantitative Algorithmic Trading: A Review
The University of Edinburgh(爱丁堡大学)
电子股票交易已成为当今金融市场的主要内容,大多数交易现在都是完全自动化的。深度强化学习(DRL)代理被证明是许多复杂游戏(如国际象棋和围棋)中需要考虑的力量。我们可以把股票市场的历史价格序列和走势看作是一个复杂的不完全信息环境,在这个环境中,我们试图使回报利润最大化,风险最小化。本文回顾了深度强化学习在金融AI子领域取得的进展,更准确地说,是自动低频量化股票交易。许多被审查的研究都只是在不现实的环境中进行实验的概念验证,没有实时交易应用程序。就大多数工程而言,尽管与既定基线战略相比,所有工程的业绩在统计上都有显著改善,但没有获得可观的盈利水平。此外,实时在线交易平台缺乏实验测试,并且基于不同类型的日间行车线或人类交易员构建的代理之间缺乏有意义的比较。我们的结论是,DRL在股票交易中表现出巨大的适用性潜力,在强有力的假设下,专业交易员相媲美,但研究仍处于非常早期的发展阶段。
2021-05-31 cs.LG q-fin.TR
Style Miner: Find Significant and Stable Explanatory Factors in Time Series with Constrained Reinforcement Learning
Huawei EI Innovation Lab(华为EI创新实验室)
在高维时间序列分析中,必须有一组关键因子(即风格因子)来解释观测变量的变化。例如,金融中的波动性建模依赖于一组风险因素,气候学中的气候变化研究依赖于一组因果因素。理想的低维风格因素应该平衡显著性(具有高解释力)和稳定性(一致,无显著波动)。然而,以前的监督和无监督特征提取方法很难解决的折衷。在本文中,我们提出了风格矿工,一个强化学习方法来生成风格因素。我们首先制定的问题作为一个约束马尔可夫决策过程的解释能力的回报和稳定性的约束。然后,我们设计细粒度的即时奖励和成本,并使用拉格朗日启发式自适应地平衡它们。在真实世界的金融数据集上进行的实验表明,Style Miner的性能大大优于现有的基于学习的方法,并且与人类专家提出的行业知名因素相比,R平方解释力提高了10%。
2023-03-21 cs.AI cs.LG q-fin.RM
A Survey on Large-Population Systems and Scalable Multi-Agent Reinforcement Learning
Technische Universität Darmstadt(达姆施塔特工业大学)
大种群系统的分析和控制对不同的研究和工程领域都有很大的兴趣,从流行病学到机器人群到经济和金融。在多智能体系统中实现顺序决策的一种越来越流行和有效的方法是通过多智能体强化学习,因为它允许对高度复杂的系统进行自动和无模型的分析。然而,可扩展性的关键问题使控制和强化学习算法的设计复杂化,特别是在具有大量代理的系统中。虽然强化学习在许多只有少数智能体的场景中取得了巨大的经验成功,但许多智能体的问题很快变得棘手,需要特别考虑。在这项调查中,我们将阐明当前的方法来可追溯地理解和分析大人口系统,无论是通过多智能体强化学习,并通过相邻的研究领域,如平均场游戏,集体智慧,或复杂网络理论。这些经典独立的学科领域提供了各种方法来理解或建模大人口系统,这可能是非常有用的制定易于处理的MARL算法在未来。最后,我们调查潜在的大规模控制的应用领域,并确定在实际系统中的学习算法富有成效的未来应用。我们希望我们的调查可以提供洞察力和未来的方向,初级和高级研究人员在理论和应用科学一样。
2022-09-08 cs.AI cs.LG cs.MA
Auto.gov: Learning-based Governance for Decentralized Finance (DeFi)
Centre for Blockchain Technologies, University College London, UK(伦敦大学学院区块链技术中心);School of Computer Science and Engineering, Nanyang Technological University(南洋理工大学计算机科学与工程学院);Computer Science Department, Imperial College London, UK(伦敦帝国学院计算机科学系);Imperial College London, UK(伦敦帝国学院)
本文提出基于深度Q网络强化学习的DeFi治理框架Auto.gov,通过数据驱动的半自动参数调整抵御价格预言机攻击,在真实数据测试中协议盈利能力比基准方法至少提升14%,优于传统治理方法。
2025-05-07 cs.CE cs.LG q-fin.RM
Quantitative Trading using Deep Q Learning
本文提出使用深度Q学习进行量化交易,案例研究表明其优于传统算法,展示了强化学习在提升交易系统效率与收益方面的潜力。
2025-02-23 cs.LG q-fin.GN q-fin.TR
QTMRL: An Agent for Quantitative Trading Decision-Making Based on Multi-Indicator Guided Reinforcement Learning
Guangdong University of Finance(广东金融学院);Jinan University(吉林大学)
本文提出QTMRL代理,结合多维技术指标与强化学习,实现动态稳定的投资组合管理,通过实验验证其在盈利性、风险调整和下行风险控制上的优越性。
2026-04-21 cs.LG q-fin.CP q-fin.PM
Automatic Discovery of Multi-perspective Process Model using Reinforcement Learning
Dongeui University(东义大学);Pusan National University(釜山国立大学)
流程挖掘是一种基于事件日志的流程模型推导和分析方法。当使用流程挖掘来分析业务流程时,流程发现步骤、一致性检查步骤和增强步骤被重复。如果用户希望从多个角度(例如活动角度、发起者角度和时间角度)分析过程,则必须一遍又一遍地重复上述过程,这是不方便的。虽然过去的研究涉及过程挖掘应用了详细的逐步方法,没有尝试已被纳入和优化多角度的过程挖掘程序。本文有助于开发一个解决这个问题的方法。首先,我们提出了一个基于深度Q-Learning的多视角流程模型自动发现框架。我们的双体验重放与体验分布(DERED)方法可以自动执行流程模型发现步骤、一致性检查步骤和增强步骤。其次,我们提出了一种新的方法,进一步优化经验重放(ER)方法,深度Q学习的关键算法之一,以提高强化学习代理的学习性能。最后,我们使用在港口物流、钢铁制造、金融、IT和政府管理中收集的六个真实事件数据集来验证我们的方法。我们表明,我们的DERED方法可以为用户提供多角度,高质量的过程模型,可以更方便地采用多角度的过程挖掘。
2022-11-30 cs.AI cs.LG