A Novel Experts Advice Aggregation Framework Using Deep Reinforcement Learning for Portfolio Management
Sharif University of Technology（谢里夫理工大学）
使用深度强化学习解决投资组合管理问题在金融界引起了广泛的关注。我们提出了一种新方法，使用专家信号和历史价格数据来输入我们的强化学习框架。虽然专家信号已经在金融领域的以前的工作中使用过，但据我们所知，这是第一次将这种方法与深度RL结合起来用于解决金融投资组合管理问题。我们提出的框架由一个用于聚合信号的卷积网络、另一个用于历史价格数据的卷积网络和一个普通网络组成。我们使用邻近策略优化算法作为代理来处理奖励并在环境中采取行动。结果表明，平均而言，我们的框架可以获得最好的专家所获得的利润的90%。
2022-12-29 cs.LG q-fin.CP q-fin.PM
High-Dimensional Stock Portfolio Trading with Deep Reinforcement Learning
Schumpeter School of Business and Economics（熊彼特商业与经济学院）；University of Wuppertal（伍珀塔尔大学）
本文提出了一种基于深度Q学习的金融组合交易深度强化学习算法。该算法能够从任何大小的横截面数据集交易高维投资组合，其中可能包括资产中的数据缺口和非唯一历史长度。我们通过对每个环境抽样一个资产来顺序设置环境，同时用所得资产的回报奖励投资，并用资产集的平均回报奖励现金储备。这迫使代理人战略性地将资本分配给它预测表现高于平均水平的资产。我们应用我们的方法在样本外分析48美国股票投资组合设置，不同的股票数量从10到500只股票，在选择标准和交易成本的水平。该算法的平均表现优于所有考虑被动和主动基准投资策略的大幅度使用一个超参数设置的所有投资组合。
2021-12-09 cs.LG q-fin.CP q-fin.PM
MetaTrader: An Reinforcement Learning Approach Integrating Diverse Policies for Portfolio Optimization
Tsinghua University（清华大学）；Harbin Institute of Technology（哈尔滨工业大学）
投资组合管理是金融学中的一个基本问题。它涉及定期重新分配资产，以在适当的风险敞口水平内最大化预期收益率。深度强化学习（RL）被认为是解决这一问题的一种很有前途的方法，因为它具有很强的顺序决策能力。然而，由于金融市场的非平稳性，将强化学习技术应用于投资组合优化仍然是一个具有挑战性的问题。从各种专家策略中提取交易知识可以帮助代理人适应不断变化的市场。在本文中，我们提出了MetaTrader，这是一种新的基于RL的两阶段投资组合管理方法，它可以学习整合不同的交易策略以适应各种市场条件。在第一阶段，MetaTrader将模仿学习目标纳入强化学习框架。通过模仿不同的专家演示，MetaTrader获得了一套非常多样化的交易策略。在第二阶段，MetaTrader学习元策略以识别市场条件并决定要遵循的最合适的学习策略。我们在三个真实世界的索引数据集上评估了所提出的方法，并将其与最先进的基线进行了比较。实证结果表明，MetaTrader在平衡利润和风险方面明显优于这些基线。此外，彻底的消融研究验证了所提出的方法中的组件的有效性。
2022-09-01 cs.AI q-fin.CP
AlphaZeroBeta: Deep Reinforcement Learning for Market-Neutral Portfolios
HSE University（高等经济学院）
研究市场中性投资组合，提出AlphaZeroBeta深度强化学习框架，结合复合奖励函数与CNN-GRU策略，经递归近端策略优化训练及滚动向前协议评估，回测显示该模型在七只股票指数上表现良好，夏普比率高且保持市场中性。
2026-07-21 q-fin.CP q-fin.PM
Accelerated Portfolio Optimization and Option Pricing with Reinforcement Learning
Magnative AI
本文提出用强化学习动态调整迭代求解器的块预条件子尺寸，以加速投资组合优化和期权定价中大型线性系统的收敛，并在真实矩阵上验证其可显著降低计算成本、支持实时决策。
2025-06-23 cs.AI cs.LG q-fin.CP
A Deep Reinforcement Learning Framework for the Financial Portfolio Management Problem
Xi’an Jiaotong-Liverpool University（西交利物浦大学）
金融投资组合管理是将资金不断重新分配到不同金融产品中的过程。本文提出了一个无金融模型的强化学习框架，为投资组合管理问题提供深度机器学习解决方案。该框架由相同的独立评估者（EIIE）拓扑结构，投资组合向量记忆（PVM），在线随机批量学习（OSBL）计划，和充分利用和明确的奖励函数的包围。在这项工作中，这个框架通过卷积神经网络（CNN）、基本递归神经网络（RNN）和长短期记忆（LSTM）在三个时刻实现。它们与一些最近审查或发布的投资组合选择策略一起，在加密货币市场中进行了三次回测实验，交易时间为30分钟。加密货币是政府发行货币的电子和分散的替代品，比特币是加密货币最着名的例子。该框架的所有三个实例在所有实验中垄断了前三名的位置，远远超过了其他比较交易算法。虽然在回测中有0.25%的高佣金率，但该框架能够在50天内实现至少4倍的回报。
2017-07-16 cs.AI q-fin.CP q-fin.PM
Diffusion-Augmented Reinforcement Learning for Robust Portfolio Optimization under Stress Scenarios
Indian Institute of Technology Mandi（印度理工学院曼迪）
针对金融市场压力情景，提出扩散增强强化学习（DARL）框架，融合去噪扩散概率模型与深度强化学习，生成合成崩盘数据以提升训练稳健性，实证优于传统基线，增强风险调整后收益与危机韧性。
2025-10-08 cs.CE cs.LG q-fin.CP
Comparing Normalization Methods for Portfolio Optimization with Reinforcement Learning
Escola Politécnica Universidade de São Paulo (USP)（圣保罗大学理工学院）
本文探究强化学习投资组合优化中状态归一化方法导致性能下降的假设，通过对比两种归一化方法在三个市场的表现，证实状态归一化会损害智能体性能。
2025-08-05 cs.LG q-fin.CP
Deep Graph Convolutional Reinforcement Learning for Financial Portfolio Management -- DeepPocket
National Research Council（加拿大国家研究委员会）
投资组合管理的目标是通过不断重新分配构成投资组合的资产，使投资回报最大化，同时使风险最小化。这些资产不是独立的，而是在短时间内相互关联的。提出了一个名为DeepPocket的图卷积强化学习框架，其目标是利用金融工具之间的时变相互关系。这些相互关系由图表示，其节点对应于金融工具，而边缘对应于资产之间的成对相关函数。DeepPocket包括一个用于特征提取的受限堆栈自动编码器，一个用于收集金融工具之间共享的底层本地信息的卷积网络，以及一个演员-评论家强化学习代理。行动者-批评者结构包含两个卷积网络，其中行动者学习并执行投资策略，该投资策略反过来由批评者评估，以便通过不断重新分配各种投资组合资产来确定最佳行动方案，以优化投资的预期收益率。该代理最初是离线训练与在线随机抽样的历史数据。当新数据可用时，它会使用被动概念漂移方法在线训练，以处理其分布中的意外变化。DeepPocket在三个不同的投资时期（包括2019冠状病毒病危机期间）根据五个真实数据集进行评估，表现明显优于市场指数。
2021-05-06 cs.CE cs.LG q-fin.CP
A Deep Reinforcement Learning Framework For Financial Portfolio Management
University of Waterloo（滑铁卢大学）
本研究复现了一种基于EIIE拓扑、PVM、OSBL的无金融模型强化学习投资组合管理框架，验证了其在加密货币市场的优异收益，同时发现其在股票市场表现不佳。
2024-09-03 cs.LG q-fin.CP q-fin.PM
Deep Reinforcement Learning for Long-Short Portfolio Optimization
Chongqing University（重庆大学）
本文提出符合真实交易规则、融合深度神经网络与平均夏普比率奖励的多空DRL投资组合框架，在A股回测中实现持续正收益、更优风险调整收益并降低最大回撤。
2025-03-15 cs.LG q-fin.CP q-fin.PM
Adaptive and Regime-Aware RL for Portfolio Optimization
本研究提出一种状态感知强化学习框架用于长期投资组合优化，通过设计逼真环境和约束奖励函数训练多种架构（PPO、LSTM-PPO、Transformer PPO），在金融压力下表现稳健，兼顾了风险调整收益与可解释性。
2025-09-17 q-fin.CP q-fin.PM
MSPM: A Modularized and Scalable Multi-Agent Reinforcement Learning-based System for Financial Portfolio Management
University of Tsukuba（筑波大学）
金融投资组合管理（PM）是强化学习（RL）中最适用的问题之一，因为它具有序列决策的性质。然而，现有的基于RL的方法很少关注可扩展性或可重用性，以适应不断变化的市场。这些方法是刚性的和不可扩展的，以适应不同数量的资产组合和日益增长的异构数据的需求。此外，现有系统中的RL代理是专门训练的，很难重用于不同的投资组合。为了面对上述问题，模块化的设计是期望的系统与可重用的资产专用代理兼容。在本文中，我们提出了一个多代理RL为PM（MSPM）为基础的系统。MSPM包括两类不断更新的模块：演化代理模块（EAM）和战略代理模块（SAM）。EAM是一个带有DQN代理的信息生成模块，它接收异构数据并为特定资产生成包含信号的信息。SAM是一个带有PPO代理的决策模块，用于投资组合优化，它连接到EAM以重新分配投资组合中的资产。经过培训的EAM可以随意连接到任何SAM。MSPM以其模块化的体系结构、对易变市场信息的多步压缩和EAM的可重用设计，同时解决了基于RL的PM的两个挑战：可扩展性和可重用性。在美国8年的股票市场数据上进行的实验证明了MSPM在累积收益率（ARR）、日收益率和索提诺比率方面优于5个基线的有效性。与CRP（一种广泛使用的PM策略）相比，MSPM可使ARR至少提高186.5%。为了验证EAM的不可或缺性，我们回测和比较四个投资组合的MSPM。与EAM禁用的MSPM相比，EAM启用的MSP…
2022-02-19 cs.AI cs.LG q-fin.CP
CVA Hedging by Risk-Averse Stochastic-Horizon Reinforcement Learning
本研究针对衍生品组合信用估值调整（CVA）的动态风险管理，提出一种风险厌恶随机期限强化学习方法，通过实务对齐的目标函数处理路径波动率，并在外汇远期合约组合上验证了其有效性。
2023-12-21 q-fin.CP q-fin.RM q-fin.TR
Dynamic ETF Portfolio Optimization Using enhanced Transformer-Based Models for Covariance and Semi-Covariance Prediction(Work in Progress)
本研究针对传统ETF投资组合优化方法难以捕捉市场动态的问题，提出基于增强Transformer模型预测协方差与半协方差矩阵的方案，实验证明其能提升组合表现，尤其在波动市场中更优，为资产管理者提供动态数据驱动框架。
2024-11-29 q-fin.CP q-fin.PM
Variational Quantum Circuit-Based Reinforcement Learning for Dynamic Portfolio Optimization
Chair of Information Systems Humboldt University Berlin（信息系统教授 Humboldt 大学柏林）；Department of Mathematics National University of Singapore（数学系 新加坡国立大学）；Bucharest University of Economic Studies（布加勒斯特经济大学）
本文提出基于变分量子电路的量子强化学习方法，用于动态投资组合优化，展示了其在风险调整性能上的竞争力，并探讨了实际部署中的延迟问题。
2026-01-28 cs.LG q-fin.CP q-fin.PM
SciPhy Reinforcement Learning for Portfolio Optimization
Fidelity Investments（富达投资）；FRE Department, Tandon School of Engineering, New York University（纽约大学坦登工程学院 FRE 系）
研究为大型机构投资者用SciPhyRL构建动态投资组合优化框架，利用离线数据学习策略，核心是将优化转化为求解HJB方程并用PINN求解，控制变量转换后评估效果良好，能将信号质量转化为有效分配机制。
2026-07-17 cs.NA math.AP math.NA
Robo-Advising: Enhancing Investment with Inverse Optimization and Deep Reinforcement Learning
The Vanguard Group, Inc.（先锋集团）
机器学习（ML）已被金融行业视为一种强大的工具，在包括投资管理在内的各个领域都有显着的应用。在这项工作中，我们提出了一个全周期数据驱动的投资机器人建议框架，由两个ML代理组成。第一代理，逆投资组合优化代理，使用在线逆优化直接从历史分配数据推断投资者的风险偏好和预期收益率。第二个代理，深度强化学习（RL）代理，聚合预期收益率的推断序列，以制定一个新的多期均值-方差投资组合优化问题，可以使用深度强化学习方法来解决。拟议的投资管道应用于2016年4月1日至2021年2月1日的实际市场数据，并显示其表现始终优于代表总体市场最佳配置的标准普尔500指数基准投资组合。这可能归因于多周期规划（与单周期规划相比）和数据驱动的RL方法（与经典估计方法相比）。
2021-05-19 cs.LG q-fin.CP q-fin.PM
Reinforcement learning for options on target volatility funds
Intesa Sanpaolo Group（联合圣保罗银行集团）；Marketz S.p.A.（Marketz 股份有限公司）；X-Numeris S.r.l.（X-Numeris 有限责任公司）
在这项工作中，我们处理的资金成本上升，从对冲风险证券的基础上的目标波动率策略（TVS），一个投资组合的风险资产和无风险的动态再平衡，以保持已实现波动率的投资组合在一定的水平。TVS风险投资组合中的不确定性以及每个组成部分的套期保值成本的差异需要解决一个控制问题来评估期权价格。我们推导出一个解析解的问题在布莱克和斯科尔斯（BS）的情况下。然后，我们使用强化学习（RL）技术来确定在局部波动率（LV）模型下导致最保守价格的基金组成，其中先验解不可用。我们展示了RL代理的性能如何与通过将路径明智的BS分析策略应用于TVS动态所获得的性能兼容，因此在LV场景中也具有竞争力。
2021-12-03 cs.LG q-fin.CP q-fin.PR
