FinRL: Deep Reinforcement Learning Framework to Automate Trading in Quantitative Finance
Columbia University（哥伦比亚大学）；University of Virginia（弗吉尼亚大学）；New York University Shanghai（纽约大学上海校区）
深度强化学习（DRL）被认为在量化金融中具有竞争优势。然而，由于编程容易出错，调试工作艰巨，量化交易者要想获得一个自动定位以在市场上获胜的代理，即\textit{to decide where to trade, at what price}和\textit{what quantity}，有一个陡峭的发展曲线。在本文中，我们提出了第一个开源框架\textit{FinRL}作为一个完整的管道，以帮助量化交易者克服陡峭的学习曲线。FinRL在\textit{full-stack framework, customization, reproducibility}和\textit{hands-on tutoring}的关键原则下具有简单性、适用性和可扩展性的特点。FinRL是一个具有模块化结构的三层架构，它实现了微调的最先进的DRL算法和常见的奖励函数，同时减轻了调试工作量。因此，我们帮助用户以高周转率进行策略设计。在多个时间粒度级别上，FinRL使用历史数据和实时交易API模拟各种市场作为训练环境。FinRL具有高度的可扩展性，保留了一套用户导入接口，并结合了市场摩擦、市场流动性和投资者风险规避等交易约束。此外，作为从业者的垫脚石，典型的交易任务是作为一步一步的教程提供的，例如，股票交易、投资组合分配、加密货币交易等。
2021-11-07 cs.LG q-fin.TR
Study on Supply Chain Finance Decision-Making Model and Enterprise Economic Performance Prediction Based on Deep Reinforcement Learning
University of San Francisco（旧金山大学）；Brown University（布朗大学）；Cornell University（康奈尔大学）；JPMorgan Chase（摩根大通）
本文提出结合深度学习与智能粒子群优化的决策模型，通过深度强化学习优化后端冗余供应链网络，仿真表明该模型有效降低资源消耗并提升动态环境下的实时决策与鲁棒控制能力。
2025-10-31 cs.LG
FinRL: A Deep Reinforcement Learning Library for Automated Stock Trading in Quantitative Finance
Columbia University（哥伦比亚大学）；AI4Finance LLC.（AI4Finance有限责任公司）；Ion Media Networks（Ion媒体网络公司）；Imperial College（帝国理工学院）；New York University (Shanghai)（上海纽约大学）
由于深度强化学习（DRL）已被公认为量化金融中的有效方法，因此获得实践经验对初学者很有吸引力。然而，要训练一个实用的日间行车灯交易代理，决定在哪里交易，以什么价格，什么数量，涉及到容易出错和艰苦的开发和调试。在本文中，我们介绍了一个DRL库FinRL，方便初学者暴露自己的量化金融，并制定自己的股票交易策略。除了易于复制的教程外，FinRL库还允许用户简化自己的开发，并轻松与现有方案进行比较。在FinRL中，虚拟环境配置有股票市场数据集，交易代理使用神经网络进行训练，并通过交易表现进行广泛的回测分析。此外，它还包括重要的交易约束，如交易成本，市场流动性和投资者的风险厌恶程度。FinRL的特点是完整性，实践教程和可重复性，有利于初学者：（i）在多个级别的时间粒度，FinRL模拟各种股票市场的交易环境，包括纳斯达克100，道琼斯工业平均指数，标准普尔500，恒生指数，上证50指数和沪深300指数;（ii）FinRL以模块化结构的分层架构组织，提供微调的最先进的DRL算法（DQN，DDPG，PPO，SAC，A2 C，TD 3等），FinRL提供了常用的奖励函数和标准的评估基线，以减轻调试工作量并提高可重复性;（iii）具有高度可扩展性，FinRL保留了一套完整的用户导入接口。此外，我们还结合了三个应用程序演示，即单一股票交易，多个股票交易和投资组合分配。FinRL库将在Github上提供，…
2022-03-02 cs.LG q-fin.TR
Applications of Reinforcement Learning in Finance -- Trading with a Double Deep Q-Network
School of Engineering（工程学院）；Zurich University of Applied Sciences（苏黎世应用科技大学）
本文提出了一种用于交易单一资产的双深度Q网络算法，即E-mini S&P 500连续期货合约。我们使用经过验证的设置作为具有多个扩展的环境的基础。我们的交易代理的功能不断扩展，以包括商品等额外资产，从而产生四种模式。我们还应对环境状况，包括成本和危机。我们的交易代理首先在特定的时间段内进行培训，并在新数据上进行测试，并将其与长期持有策略作为基准（市场）进行比较。我们分析了各种模型之间的差异和相对于环境的样本内/样本外性能。实验结果表明，交易代理遵循适当的行为。它可以根据不同的情况调整其政策，例如在存在交易成本时更广泛地使用中立立场。此外，净资产价值超过了基准，和代理跑赢了市场的测试集。我们提供了初步的见解代理在金融领域使用DDQN算法的行为。本研究的结果可用于进一步的开发。
2022-06-28 cs.LG q-fin.TR
A Review of Reinforcement Learning in Financial Applications
North Carolina State University（北卡罗来纳州立大学）；Amazon（亚马逊公司）
本文系统综述了强化学习在金融领域的应用，通过元分析揭示影响其性能的关键因素，并指出可解释性、MDP建模与鲁棒性等挑战及未来研究方向。
2024-11-01 cs.AI cs.LG q-fin.CP
Robust Reinforcement Learning in Finance: Modeling Market Impact with Elliptic Uncertainty Sets
University of Maryland（马里兰大学）
本文提出了一种基于椭圆不确定性集的鲁棒强化学习方法，用于金融市场中的市场影响建模，通过显式和隐式闭式解提升策略评估效率，并在单资产和多资产交易任务中验证了其在夏普比率和鲁棒性方面的优越性。
2026-01-23 cs.AI cs.LG math.OC
A Novel Experts Advice Aggregation Framework Using Deep Reinforcement Learning for Portfolio Management
Sharif University of Technology（谢里夫理工大学）
使用深度强化学习解决投资组合管理问题在金融界引起了广泛的关注。我们提出了一种新方法，使用专家信号和历史价格数据来输入我们的强化学习框架。虽然专家信号已经在金融领域的以前的工作中使用过，但据我们所知，这是第一次将这种方法与深度RL结合起来用于解决金融投资组合管理问题。我们提出的框架由一个用于聚合信号的卷积网络、另一个用于历史价格数据的卷积网络和一个普通网络组成。我们使用邻近策略优化算法作为代理来处理奖励并在环境中采取行动。结果表明，平均而言，我们的框架可以获得最好的专家所获得的利润的90%。
2022-12-29 cs.LG q-fin.CP q-fin.PM
AlphaStock: A Buying-Winners-and-Selling-Losers Investment Strategy using Interpretable Deep Reinforcement Attention Networks
Beihang University（北京航空航天大学）；Tsinghua University（清华大学）
近年来，金融创新和人工智能技术在包括量化交易（QT）在内的各种金融应用中成功结合。尽管大量的研究致力于利用深度学习（DL）方法来构建更好的QT策略，但现有的研究仍然面临着严重的挑战，特别是来自金融方面的挑战，例如风险与收益的平衡，对极端损失的抵抗力，以及策略的可解释性，这些都限制了基于DL的策略在现实金融市场中的应用。在这项工作中，我们提出了AlphaStock，一种新的基于强化学习（RL）的投资策略，通过可解释的深度注意力网络来增强，以解决上述挑战。我们的主要贡献总结如下：（1）将深度注意力网络与面向夏普比率的强化学习框架相结合，实现风险收益均衡的投资策略;（2）建立资产之间的相互关系模型，避免选择偏差，建立跨资产注意力机制;据我们所知，这项工作是第一个使用深度强化学习模型提供可解释的投资策略的工作之一。在美国和中国的长周期市场上进行的实验证明了AlphaStock在不同市场状态下的有效性和稳健性。事实证明，AlphaStock倾向于选择长期增长率高、波动性低、内在价值高、最近被低估的股票作为赢家。
2019-07-24 cs.LG q-fin.ST q-fin.TR
Systematic Review on Reinforcement Learning in the Field of Fintech
King Abdulaziz University（阿卜杜勒阿齐兹国王大学）
该综述系统探讨了强化学习在金融科技中的应用，通过PRISMA方法分析2018年以来的研究，发现基于强化学习的策略在预测准确性、盈利性等方面显著优于现有算法，并指出其在投资组合优化、风险管理等决策中的巨大潜力。
2023-04-29 cs.AI cs.LG q-fin.CP
CNN-DRL with Shuffled Features in Finance
University of North Texas（北得克萨斯大学）
本研究通过特征重排优化CNN输入矩阵，在深度强化学习金融应用中显著提升奖励获取，实验验证了方法的有效性。
2024-01-16 cs.LG q-fin.CP
Reinforcement Learning Applications
我们首先简要介绍强化学习（RL），关于它的成功故事，基础知识，示例，问题，ICML 2019真实生活RL研讨会，如何使用它，学习材料和展望。然后，我们讨论了一系列RL应用，包括推荐系统、计算机系统、能源、金融、医疗保健、机器人和交通。
2019-08-19 cs.AI cs.LG
Advancing Investment Frontiers: Industry-grade Deep Reinforcement Learning for Portfolio Optimization
本文提出工业级深度强化学习框架AlphaOptimizerNet，融合仿真到现实方法论，实现跨资产类别投资组合的风险收益优化，并兼顾统计严谨与监管合规。
2024-02-27 cs.AI cs.LG
Trading Devil RL: Backdoor attack via Stock market, Bayesian Optimization and Reinforcement Learning
University of Montréal（蒙特利尔大学）
本研究提出一种名为FinanceLLMsBackRL的后门攻击，仅通过数据投毒实现，并利用动态系统与统计分布分析进行检测，旨在评估强化学习大型语言模型在金融等领域的潜在风险。
2025-04-21 cs.CE cs.LG physics.comp-ph
Tackling Decision Processes with Non-Cumulative Objectives using Reinforcement Learning
Max Planck Institute for the Science of Light（马克斯·普朗克光科学研究所）；Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔兰根-纽伦堡弗里德里希-亚历山大大学）
本研究提出将非累积马尔可夫决策过程映射为标准MDPs的方法，使强化学习等技术可直接应用，在控制、金融和离散优化任务中提升性能与训练效率。
2025-05-23 cs.LG q-fin.CP quant-ph
Deep Reinforcement Learning for Asset Allocation: Reward Clipping
SK Inc.(SK C&C)（SK集团（SK C&C））
近年来，有许多尝试将强化学习应用于资产配置，以获得更稳定的利润。在本文中，我们比较了几种强化学习算法-仅演员，演员评论家和PPO模型之间的性能。在此基础上，分析了各种模型的特点，并介绍了改进的算法，即奖励裁剪模型。在金融领域中，特别是在投资组合优化方面，报酬裁剪模型似乎优于其他现有的模型，无论是在牛市还是熊市中，它都具有优势。最后，我们将这些模型与传统投资策略在市场下降和上升期间的表现进行比较。
2023-01-02 cs.AI cs.LG q-fin.CP
Deep Reinforcement Learning for Market Making Under a Hawkes Process-Based Limit Order Book Model
University of Zagreb（萨格勒布大学）；Faculty of Electrical Engineering and Computing, University of Zagreb（萨格勒布大学电气工程与计算学院）
最优做市的随机控制问题是量化金融的核心问题之一。在本文中，基于深度强化学习的控制器进行训练的弱一致，多变量霍克斯过程为基础的限价订单簿模拟器，以获得做市控制。该方法充分利用了蒙特卡罗回测的优点，有助于弱一致限价订单簿模型下做市的研究。随后的深度强化学习控制器与多个做市基准进行了比较，结果表明其在各种风险回报指标方面具有优异的性能，即使在显著的交易成本下也是如此。
2022-07-20 cs.LG q-fin.GN q-fin.TR
Baichuan4-Finance Technical Report
Baichuan Inc（百川智能公司）
本文报告了基于 Baichuan4-Turbo 构建的金融大模型 Baichuan4-Finance 系列，通过数据质量提升、领域自约束持续预训练及对齐训练，在金融任务上显著超越基线且保持通用能力。
2025-01-02 cs.AI cs.CE cs.CL
LLMs Meet Finance: Fine-Tuning Foundation Models for the Open FinLLM Leaderboard
University of Maryland, College Park（马里兰大学学院公园分校）；Department of Mathematics（数学系）；Department of Computer Science（计算机科学系）
本文以Open FinLLM排行榜为基准，基于Qwen2.5和Deepseek-R1，通过SFT、DPO、RL技术微调基础模型，提升其金融任务性能并测量金融领域数据缩放定律，证明LLMs在金融应用中的潜力。
2025-04-17 cs.AI cs.CL cs.LG
Markowitz Meets Bellman: Knowledge-distilled Reinforcement Learning for Portfolio Management
School of Computer Science（计算机学院）；Georgia Institute of Technology（佐治亚理工学院）；University of Manchester（曼彻斯特大学）
本文提出融合 Markowitz 理论与 DDPG 强化学习的两阶段知识蒸馏方法 KDD，用于优化投资组合，并在多项金融指标上优于标准模型与 AI 框架。
2024-05-08 cs.LG q-fin.CP
Safe Distributional Reinforcement Learning
UM-SJTU Joint Institute（上海交大-密西根联合学院）；Shanghai Jiao Tong University（上海交通大学）
强化学习（RL）的安全性是自动驾驶或金融等许多领域的训练和执行的关键属性。在本文中，我们形式化它的约束RL制定的分布RL设置。我们的通用模型接受各种安全定义（例如，预期业绩的界限、CVaR、方差或达到不良状态的概率）。为了保证学习过程中的安全性，我们扩展了一种安全策略优化方法来解决我们的问题。分布式强化学习的观点导致了一个更有效的算法，同时还满足了自然安全的约束。我们经验验证我们的主张对适当的国家的最先进的安全RL算法的人工和真实的域。
2021-02-26 cs.LG
An Introduction to Deep Reinforcement Learning
McGill University（麦吉尔大学）；Google Brain（谷歌大脑）；Facebook（脸书）
深度强化学习是强化学习（RL）和深度学习的结合。这一研究领域已经能够解决以前机器无法完成的各种复杂决策任务。因此，深度RL在医疗保健、机器人、智能电网、金融等领域开辟了许多新的应用。本手稿介绍了深度强化学习模型、算法和技术。特别关注的是与泛化相关的方面，以及如何将深度RL用于实际应用。我们假设读者熟悉基本的机器学习概念。
2018-12-03 cs.AI cs.LG stat.ML
Deep Reinforcement Learning for Online Control of Stochastic Partial Differential Equations
University of Toronto（多伦多大学）；Vector Institute（向量研究所）
在许多领域，如物理科学，生命科学和金融，控制方法被用来实现由微分方程控制的复杂动力系统的预期目标。在这项工作中，我们制定了控制随机偏微分方程（SPDE）的问题作为一个强化学习问题。提出了一种基于学习的分布式控制方法，利用深度确定性策略梯度方法对具有高维状态-动作空间的SPDE系统进行在线控制。我们测试了我们的方法控制随机Burgers方程的问题上的性能，描述了一个湍流流体流动在一个无限大的域。
2021-12-08 cs.LG math.DS
Concentrated Liquidity Provision: a Reinforcement Learning Perspective
University of Liverpool（利物浦大学）；University of Oxford（牛津大学）
该研究将DeFi中集中流动性提供建模为随机脉冲控制问题，采用强化学习求解，其策略可压缩损益分布左尾、规避高不确定性下的灾难性结果，且性能优于AMM微观结构文献中的相关基准与复杂智能体。
2026-08-21 cs.AI cs.LG q-fin.CP
Deep Reinforcement Learning
我们以概述的方式讨论深度强化学习。我们画一幅大图，充满细节。我们讨论了六个核心要素，六个重要的机制，和十二个应用程序，侧重于当代工作，并在历史背景下。我们从人工智能，机器学习，深度学习和强化学习（RL）的背景开始，并提供资源。接下来我们讨论RL的核心元素，包括价值函数、策略、奖励、模型、探索与利用以及表示。然后，我们讨论了强化学习的重要机制，包括注意和记忆，无监督学习，层次强化学习，多智能体强化学习，关系强化学习，学习学习。之后，我们讨论了强化学习的应用，包括游戏，机器人，自然语言处理（NLP），计算机视觉，金融，商业管理，医疗保健，教育，能源，交通，计算机系统，以及科学，工程和艺术。最后，我们简要总结，讨论挑战和机遇，并结束结语。
2018-10-15 cs.LG stat.ML
Optimal Market Making by Reinforcement Learning
Almafintech S.A.（Almafintech 公司）；Universidad Torcuato Di Tella（托尔夸托·迪特拉大学）；UCEMA（阿根廷企业管理大学）；Qontigo, a Deutsche Boerse company（Qontigo，德意志交易所集团旗下公司）；Universidad de Buenos Aires（布宜诺斯艾利斯大学）
我们应用强化学习算法来解决经典的定量金融市场决策问题，在该问题中，代理人通过在最大化效用函数的同时放置买入和卖出订单来为市场提供流动性。最优代理人必须在其库存的价格风险和通过捕捉买卖价差获得的利润之间找到一个微妙的平衡。我们设计了一个环境与奖励函数，决定了一个顺序关系的政策相当于原来的效用函数。当将我们的代理与最佳解决方案和基准对称代理进行比较时，我们发现Deep Q-学习算法能够恢复最佳代理。
2021-04-08 cs.LG q-fin.ST
A Gentle Lecture Note on Filtrations in Reinforcement Learning
本说明旨在提供强化学习（RL）背景下使用的过滤概念的基本直觉。过滤通常用于正式定义RL问题，但对于那些没有测度理论背景的人来说，它们的含义可能并不突出。从本质上讲，过滤是一种构造，它捕获到时间$t$的部分知识，而不透露任何已经模拟但尚未透露给决策者的未来信息。我们用离散和连续结果空间上的金融领域的简单例子来说明这一点。此外，我们表明，过滤的概念是不需要的，因为仅根据当前的问题状态（这是可能的，由于马尔可夫属性）的决策足以消除未来的知识从决策过程中。
2020-08-06 cs.AI cs.LG
Deep Reinforcement Learning: An Overview
我们概述了深度强化学习（RL）最近取得的令人兴奋的成就。我们讨论了六个核心要素，六个重要机制和十二个应用程序。我们从机器学习、深度学习和强化学习的背景开始。接下来，我们讨论核心RL元素，包括价值函数，特别是深度Q网络（DQN），策略，奖励，模型，规划和探索。在此之后，我们讨论了强化学习的重要机制，包括注意和记忆，无监督学习，迁移学习，多智能体强化学习，分层强化学习和学习学习。然后我们讨论了RL的各种应用，包括游戏，特别是AlphaGo，机器人，自然语言处理，包括对话系统，机器翻译和文本生成，计算机视觉，神经架构设计，商业管理，金融，医疗保健，工业4.0，智能电网，智能交通系统和计算机系统。我们提到了一些尚未回顾的主题，并列出了一系列RL资源。在简要总结之后，我们以讨论结束。请参阅深度强化学习，arXiv：1810.06339，以获取重要更新。
2018-11-26 cs.LG
NVCell: Standard Cell Layout in Advanced Technology Nodes with Reinforcement Learning
NVIDIA（英伟达）
由于复杂的设计规则，在先进技术节点中的高质量标准单元布局自动化在当今的行业中仍然具有挑战性。在本文中，我们介绍了一个自动的标准单元布局生成器称为NVCell，可以生成相同的或更小的面积超过90%的单行单元在一个先进的技术节点上的工业标准单元库的布局。NVCell利用强化学习（RL）来修复布线过程中的设计规则违规并生成有效的布局。
2021-07-09 cs.LG
Bellman Meets Hawkes: Model-Based Reinforcement Learning via Temporal Point Processes
Ant Group（蚂蚁集团）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
我们考虑一个序贯决策问题，代理面临的环境特征的随机离散事件，并寻求一个最优的干预政策，使其长期回报最大化。这个问题普遍存在于社交媒体、金融和健康信息学中，但在强化学习的传统研究中却很少被研究。为此，我们提出了一个新的框架，基于模型的强化学习代理的行动和意见是异步随机离散事件发生在连续时间。我们通过具有外部干预控制项的Hawkes过程来模拟环境的动态，并开发了一种算法来将这样的过程嵌入到Bellman方程中，该方程指导值梯度的方向。我们证明了我们的方法在合成模拟器和现实世界的问题的优越性。
2022-12-27 cs.AI cs.LG
Calibration of Derivative Pricing Models: a Multi-Agent Reinforcement Learning Perspective
J.P. Morgan AI Research（摩根大通人工智能研究院）
针对量化金融中期权定价模型校准难题，提出基于博弈论表述的多智能体强化学习方法，可学习局部波动率与路径依赖性，实现更通用的校准目标，拓展了粒子方法的应用。
2023-10-06 cs.AI cs.LG q-fin.CP
Market Making with Deep Reinforcement Learning from Limit Order Books
Microsoft（微软）
本文提出基于限价订单簿的深度强化学习做市方法，利用卷积与注意力机制提取LOB特征，设计连续动作空间和混合奖励函数，并通过实验验证其适用性。
2023-05-25 cs.LG q-fin.CP
Anomaly Detection in Time Series Data Using Reinforcement Learning, Variational Autoencoder, and Active Learning
Portland State University（波特兰州立大学）
本文提出将深度强化学习、变分自编码器与主动学习结合，并引入LSTM网络，以克服传统时间序列异常检测需手动调参且难适应新异常类型的局限，实现用最少标记数据检测新异常类别。
2025-04-03 cs.LG
Deep Reinforcement Learning in Quantitative Algorithmic Trading: A Review
The University of Edinburgh（爱丁堡大学）
电子股票交易已成为当今金融市场的主要内容，大多数交易现在都是完全自动化的。深度强化学习（DRL）代理被证明是许多复杂游戏（如国际象棋和围棋）中需要考虑的力量。我们可以把股票市场的历史价格序列和走势看作是一个复杂的不完全信息环境，在这个环境中，我们试图使回报利润最大化，风险最小化。本文回顾了深度强化学习在金融AI子领域取得的进展，更准确地说，是自动低频量化股票交易。许多被审查的研究都只是在不现实的环境中进行实验的概念验证，没有实时交易应用程序。就大多数工程而言，尽管与既定基线战略相比，所有工程的业绩在统计上都有显著改善，但没有获得可观的盈利水平。此外，实时在线交易平台缺乏实验测试，并且基于不同类型的日间行车线或人类交易员构建的代理之间缺乏有意义的比较。我们的结论是，DRL在股票交易中表现出巨大的适用性潜力，在强有力的假设下，专业交易员相媲美，但研究仍处于非常早期的发展阶段。
2021-05-31 cs.LG q-fin.TR
Model-based gym environments for limit order book trading
University of Liverpool（利物浦大学）；King’s College London（伦敦国王学院）；University of Warwick（华威大学）
在金融数学文献中，有大量的数学模型用于研究算法交易问题--比如做市和最优执行--在限价订单簿中。本文介绍了\mbtgym，这是一个Python模块，它提供了一套健身房环境，用于训练强化学习（RL）代理来解决此类基于模型的交易问题。该模块以可扩展的方式设置，以允许不同模型的不同方面的组合。它支持矢量化环境的高效实现，以允许更快地训练RL代理。在本文中，我们激励的挑战，使用RL解决这种基于模型的限价订单簿问题在金融数学，我们解释了我们的健身房环境的设计，然后演示其使用解决标准和非标准的问题，从文献。最后，我们为我们的模块的进一步开发制定了路线图，我们将其作为GitHub上的开源存储库提供，以便它可以作为基于模型的算法交易中RL研究的焦点。
2022-09-16 cs.AI cs.LG q-fin.CP
Advancements and Challenges in Continual Reinforcement Learning: A Comprehensive Review
Electrical and Computer Science Engineering Department, Faculty of Engineering, Monash University, Clayton, Victoria, Australia（莫纳什大学工程学院电气与计算机科学工程系）
本综述探讨了持续强化学习如何使智能体按顺序持续学习并保留可重用知识，分析了关键概念、挑战与新颖方法，并重点介绍了机器人领域的最新进展及评估环境，最后指出了局限性与未来方向。
2025-06-27 cs.LG
OR-Gym: A Reinforcement Learning Library for Operations Research Problems
Carnegie Mellon University（卡内基梅隆大学）
强化学习（RL）已被广泛应用于游戏中，并在许多领域超过了最佳的人类水平的性能，但在工业或商业环境中的用例很少。我们介绍OR-Gym，这是一个用于开发强化学习算法以解决运筹学问题的开源库。在本文中，我们将强化学习应用到背包，多维装箱，多级供应链，多阶段资产配置模型问题，以及基准的RL解决方案对MILP和启发式模型。这些问题用于物流、金融、工程，并且在许多业务操作设置中很常见。我们开发环境的基础上，在文献中的原型模型，并实现各种优化和启发式模型，以基准的RL结果。通过将一系列经典的优化问题重新定义为RL任务，我们试图为运筹学社区提供一种新的工具，同时也为RL社区中的许多问题和挑战打开了大门。
2020-10-17 cs.AI cs.LG
Reinforcement Learning and Bandits for Speech and Language Processing: Tutorial, Review and Outlook
Columbia University（哥伦比亚大学）
本文综述了 reinforcement learning 和 bandits 在语音和自然语言处理中的最新进展，探讨了如何利用其奖励驱动适应性等优势构建自适应、交互式且可扩展的模型来解决相关问题。
2023-10-19 cs.AI cs.CL cs.LG
Stock Trading Optimization through Model-based Reinforcement Learning with Resistance Support Relative Strength
强化学习（Reinforcement Learning，RL）作为一种与决策过程相关联的主体-环境交互框架，在量化金融领域得到了越来越多的研究者的关注。目前，大多数使用RL算法的金融应用都是基于无模型方法，这仍然面临着稳定性和自适应性的挑战。随着许多前沿的基于模型的强化学习（MBRL）算法在视频游戏或机器人等应用中的成熟，我们设计了一种新的方法，利用阻力和支持（RS）水平作为MBRL中动作的正则化项，以提高算法的效率和稳定性。从实验结果可以看出，RS水平作为一种市场时机选择技术，在各种测量方面都提高了纯MBRL模型的性能，并在风险较小的情况下获得了更好的利润收益。此外，当金融市场出现不可预测的危机时，我们提出的方法甚至可以抵抗COVID-19大流行期间的大幅下跌（小于最大回撤）。通过数值实验，如行动者-批评者网络的损失和过渡动力学模型的预测误差，解释了为什么阻力和支持水平的控制可以提高MBRL。结果表明，RS指标确实有助于MBRL算法在早期收敛得更快，并随着训练集的增加获得更小的批评损失。
2022-05-30 cs.LG q-fin.MF q-fin.PM
Safe-FinRL: A Low Bias and Variance Deep Reinforcement Learning Implementation for High-Freq Stock Trading
The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））
近年来，许多量化金融的从业者试图使用深度强化学习（DRL）来构建更好的量化交易（QT）策略。然而，许多现有的研究未能解决一些严重的挑战，如非平稳的金融环境和偏差和方差权衡时，应用DRL在现实金融市场。在这项工作中，我们提出了Safe-FinRL，一种新的基于DRL的高频股票交易策略，通过近平稳的金融环境和低偏差和方差估计来增强。我们的主要贡献是两方面的：首先，我们分离的长期金融时间序列到近平稳的短期环境，其次，我们实现了跟踪SAC在近平稳的金融环境中，将一般的回溯算子到软演员批评。在加密货币市场上进行的大量实验表明，Safe-FinRL提供了稳定的价值估计和稳定的政策改进，并在接近稳定的金融环境中显着减少了偏差和方差。
2022-06-13 cs.LG q-fin.PM
Expression might be enough: representing pressure and demand for reinforcement learning based traffic signal control
Lanzhou University（兰州大学）；University of Electronic Science and Technology of China（电子科技大学）；University of Wollongong（伍伦贡大学）；Jiangxi University of Science and Technology（江西理工大学）
许多研究证实，对于经典的交通信号控制（TSC）问题，一个合适的交通状态表示比复杂的算法更重要。本文（1）提出了一种新颖、灵活、有效的方法--先进最大压力法（2）创造性地设计了基于Advanced-MP的有效压力和有效行驶车辆的交通运动表示，即先进交通状态（ATS）;以及（3）通过将ATS与最新的强化学习方法相结合，开发基于强化学习（RL）的算法模板，称为Advanced-XLight，并从Advanced-XLight生成两种强化学习算法，即“Advanced-MPLight”和“Advanced-CoLight”。在多个真实世界数据集上的综合实验表明：（1）Advanced-MP优于基线方法，并且对于部署来说也是高效和可靠的;（2）Advanced-MPLight和Advanced-CoLight可以达到最先进的水平。
2022-08-09 cs.AI cs.LG eess.SP
A Study on Overfitting in Deep Reinforcement Learning
近年来，深度强化学习（RL）取得了重大进展。借助大规模神经网络、精心设计的架构、新颖的训练算法和大规模并行计算设备，研究人员能够解决许多具有挑战性的强化学习问题。然而，在机器学习中，更多的训练能力伴随着更多过拟合的潜在风险。随着深度强化学习技术被应用于医疗保健和金融等关键问题，了解经过训练的智能体的泛化行为非常重要。在本文中，我们对标准RL代理进行了系统的研究，发现它们可以以各种方式过拟合。此外，过拟合可能“稳健地”发生：RL中常用的添加随机性的技术不一定能防止或检测过拟合。特别是，相同的智能体和学习算法可能具有截然不同的测试性能，即使它们在训练期间都获得了最佳奖励。这些观察结果要求在RL中制定更有原则和更仔细的评估协议。最后，我们对强化学习中的过拟合进行了一般性的讨论，并从归纳偏差的角度对泛化行为进行了研究。
2018-04-20 cs.LG stat.ML
Showing Your Offline Reinforcement Learning Work: Online Evaluation Budget Matters
Tinkoff（廷科夫银行）
在这项工作中，我们认为在线评估预算的重要性，深离线RL算法的可靠比较。首先，我们描述了在线评价预算是问题依赖性的，其中一些问题允许更少，但其他更多。其次，我们证明了算法之间的偏好在机器人、金融和能源管理等各种决策领域都是依赖于时间的。根据以上几点，我们建议报告不同在线评估预算下深度离线RL算法的性能。为了促进这一点，我们建议使用NLP领域的报告工具，预期验证性能。这种技术使得在不同预算下可靠地估计预期的最大性能成为可能，同时不需要超参数搜索之外的任何额外计算。通过使用这个工具，我们还表明，在有限的预算范围内工作时，行为克隆通常更有利于离线RL算法。
2022-06-05 cs.AI cs.LG
Reinforcement Learning in Practice: Opportunities and Challenges
本文是关于强化学习实践领域的温和讨论，关于机遇和挑战，涉及广泛的主题，有观点，没有技术细节。本文基于历史和最近的研究论文，调查，教程，会谈，博客，书籍，（小组）讨论和研讨会/会议。不同的读者群体，如研究人员，工程师，学生，经理，投资者，官员和想了解更多关于该领域的人，可能会发现这篇文章很有趣。在这篇文章中，我们首先简要介绍了强化学习（RL），以及它与深度学习、机器学习和AI的关系。然后，我们讨论了强化学习的机会，特别是产品和服务，游戏，强盗，推荐系统，机器人，交通，金融和经济，医疗保健，教育，组合优化，计算机系统，科学和工程。然后我们讨论了挑战，特别是1）基础，2）表示，3）奖励，4）探索，5）模型，模拟，规划和基准，6）离线/离线学习，7）学习学习a.k.a.元学习，8）可解释性和可解释性，9）约束，10）软件开发和部署，11）业务视角，以及12）更多挑战。最后，我们讨论，试图回答：“为什么RL还没有被广泛采用在实践中呢？和“RL什么时候有用？".
2022-04-22 cs.AI cs.LG
Improving DeFi Accessibility through Efficient Liquidity Provisioning with Deep Reinforcement Learning
Pratt School of Engineering, Duke University（杜克大学普拉特工程学院）
本研究针对DeFi协议Uniswap v3的流动性提供问题，用PPO算法训练DRL智能体动态调整头寸平衡收益与损失，经滚动窗口验证优于散户启发式方法，助力提升DeFi市场可及性与效率。
2025-01-13 cs.LG q-fin.CP
StepScorer: Accelerating Reinforcement Learning with Step-wise Scoring and Psychological Regret Modeling
INDEPENDENT RESEARCHER（独立研究者）
StepScorer通过分步评分与心理遗憾建模，加速强化学习收敛，适用于连续控制任务和延迟反馈环境。
2026-02-03 cs.LG
Comparing Normalization Methods for Portfolio Optimization with Reinforcement Learning
Escola Politécnica Universidade de São Paulo (USP)（圣保罗大学理工学院）
本文探究强化学习投资组合优化中状态归一化方法导致性能下降的假设，通过对比两种归一化方法在三个市场的表现，证实状态归一化会损害智能体性能。
2025-08-05 cs.LG q-fin.CP
LLM-Enhanced Reinforcement Learning for Time Series Anomaly Detection
dept. Computer Science Portland State University（计算机科学系波特兰州立大学）；dept. Computer Science Smith College（计算机科学系史密斯学院）
本文提出结合大语言模型与强化学习的统一框架，通过奖励塑造、动态奖励缩放和主动学习提升时间序列异常检测的准确性和效率。
2026-01-05 cs.LG
Learning Multi-Agent Intention-Aware Communication for Optimal Multi-Order Execution in Finance
Shanghai Jiao Tong University（上海交通大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Microsoft Research Asia（微软亚洲研究院）
本文针对金融多订单同时执行问题，提出一种多智能体强化学习方法，通过可学习的多轮意图通信协议和动作价值归因优化，显著提升智能体协作效果与整体执行收益。
2023-07-06 cs.AI cs.LG cs.MA
MUSBO: Model-based Uncertainty Regularized and Sample Efficient Batch Optimization for Deployment Constrained Reinforcement Learning
Princeton University（普林斯顿大学）
在诸如医疗保健、金融、机器人和推荐系统的许多当代应用中，用于数据汇集和在线学习的新策略的连续部署要么成本低要么不切实际。我们考虑一种介于纯离线强化学习（RL）和纯在线RL之间的设置，称为部署约束RL，其中用于数据采样的策略部署的数量是有限的。为了解决这个具有挑战性的任务，我们提出了一个新的算法学习框架，称为基于模型的不确定性正则化和样本有效批量优化（MUSBO）。我们的框架为每个部署发现新颖且高质量的样本，以实现高效的数据汇集。在每个离线训练会话中，我们通过量化收集的数据中的不确定性来引导策略更新。在高支持区域（低不确定性），我们通过采取积极的更新来鼓励我们的政策。在低支持区域（高不确定性），当政策引导到分布外区域时，我们通过估计的不确定性量化来降低权重。实验结果表明，MUSBO在部署受限的RL设置中实现了最先进的性能。
2021-06-03 cs.AI cs.LG
From Rules to Rewards: Reinforcement Learning for Interest Rate Adjustment in DeFi Lending
University of Zurich（苏黎世大学）；ETH Zurich（苏黎世联邦理工学院）；UZH Blockchain Center（苏黎世大学区块链中心）
本文利用离线强化学习优化 DeFi 借贷利率调整，基于 Aave 历史数据比较 CQL、BC 和 TD3-BC，发现 TD3-BC 在平衡利用率、资本稳定性与风险方面表现最优，并能有效应对历史压力事件。
2025-05-31 cs.LG
Deep Reinforcement Learning for Advanced Longitudinal Control and Collision Avoidance in High-Risk Driving Scenarios
College of Engineering, University of Maryland（马里兰大学工程学院）
针对现有高级驾驶辅助系统易忽视后车风险、难以应对高速密集车流中连环碰撞的问题，提出一种同时考虑前后车行为的深度强化学习纵向避撞算法，仿真验证其可有效预防含重型车辆在内的连环碰撞。
2025-02-21 cs.AI cs.LG cs.RO
Style Miner: Find Significant and Stable Explanatory Factors in Time Series with Constrained Reinforcement Learning
Huawei EI Innovation Lab（华为EI创新实验室）
在高维时间序列分析中，必须有一组关键因子（即风格因子）来解释观测变量的变化。例如，金融中的波动性建模依赖于一组风险因素，气候学中的气候变化研究依赖于一组因果因素。理想的低维风格因素应该平衡显著性（具有高解释力）和稳定性（一致，无显著波动）。然而，以前的监督和无监督特征提取方法很难解决的折衷。在本文中，我们提出了风格矿工，一个强化学习方法来生成风格因素。我们首先制定的问题作为一个约束马尔可夫决策过程的解释能力的回报和稳定性的约束。然后，我们设计细粒度的即时奖励和成本，并使用拉格朗日启发式自适应地平衡它们。在真实世界的金融数据集上进行的实验表明，Style Miner的性能大大优于现有的基于学习的方法，并且与人类专家提出的行业知名因素相比，R平方解释力提高了10%。
2023-03-21 cs.AI cs.LG q-fin.RM
Quantum Reinforcement Learning Trading Agent for Sector Rotation in the Taiwan Stock Market
Neuro Industry Research（神经产业研究）；Neuro Industry, Inc.（神经产业公司）；Department of Computer Science（计算机科学系）；The University of Alabama（阿拉巴马大学）；Industrial Technology Research Institute（工业技术研究 institutes）
本文构建量子-经典混合PPO板块轮动交易框架，对比经典与量子增强模型，发现量子模型训练奖励更高但真实收益与夏普比率更差，并指出奖励错配、过拟合及NISQ优化不稳定等问题。
2025-10-20 cs.LG q-fin.CP quant-ph
A Survey on Large-Population Systems and Scalable Multi-Agent Reinforcement Learning
Technische Universität Darmstadt（达姆施塔特工业大学）
大种群系统的分析和控制对不同的研究和工程领域都有很大的兴趣，从流行病学到机器人群到经济和金融。在多智能体系统中实现顺序决策的一种越来越流行和有效的方法是通过多智能体强化学习，因为它允许对高度复杂的系统进行自动和无模型的分析。然而，可扩展性的关键问题使控制和强化学习算法的设计复杂化，特别是在具有大量代理的系统中。虽然强化学习在许多只有少数智能体的场景中取得了巨大的经验成功，但许多智能体的问题很快变得棘手，需要特别考虑。在这项调查中，我们将阐明当前的方法来可追溯地理解和分析大人口系统，无论是通过多智能体强化学习，并通过相邻的研究领域，如平均场游戏，集体智慧，或复杂网络理论。这些经典独立的学科领域提供了各种方法来理解或建模大人口系统，这可能是非常有用的制定易于处理的MARL算法在未来。最后，我们调查潜在的大规模控制的应用领域，并确定在实际系统中的学习算法富有成效的未来应用。我们希望我们的调查可以提供洞察力和未来的方向，初级和高级研究人员在理论和应用科学一样。
2022-09-08 cs.AI cs.LG cs.MA
