A Comparative Analysis of Portfolio Optimization Using Mean-Variance, Hierarchical Risk Parity, and Reinforcement Learning Approaches on the Indian Stock Market
Praxis Business School（普拉克西斯商学院）
本文比较了均值-方差、分层风险平价和深度Q学习强化学习三种方法在印度股票市场上的投资组合优化性能，以年化收益、风险和夏普比率为评价指标。
2023-05-27 cs.LG q-fin.PM
Accelerating Cutting-Plane Algorithms via Reinforcement Learning Surrogates
J.P. Morgan AI Research（摩根大通AI研究）；University College London（伦敦大学学院）；University of Cambridge（剑桥大学）
本文提出用强化学习策略替代割生成中的 NP-hard 环节，在保持最优性保证的同时，将 Benders decomposition 与迭代损失近似的平均收敛速度最高提升 45%。
2024-02-27 cs.AI cs.LG math.OC
Reinforcement Learning for Stock Transactions
Harvard John A. Paulson School of Engineering and Applied Sciences（哈佛约翰·A·保罗森工程与应用科学学院）
本研究应用强化学习（Q-Learning、线性逼近Q-Learning和深度Q-Learning）确定股票买卖最佳时机，通过自定义MDP训练智能体，并比较其策略收敛性与利润最大化效果。
2025-05-24 cs.LG
Reinforcement Learning with Maskable Stock Representation for Portfolio Management in Customizable Stock Pools
Nanyang Technological University（南洋理工大学）；Zhejiang University（浙江大学）；Skywork AI（天工智源（新加坡）科技有限公司）
针对可定制股票池投资组合管理需频繁重训的问题，本文提出EarnMore框架，通过可掩码股票表示、自监督掩蔽重构和重新加权机制实现全局股票池一次性训练，在8个美国股票子池上以超40%利润提升显著优于14个基线。
2024-02-27 cs.AI cs.CE cs.LG
High-Dimensional Stock Portfolio Trading with Deep Reinforcement Learning
Schumpeter School of Business and Economics（熊彼特商业与经济学院）；University of Wuppertal（伍珀塔尔大学）
本文提出了一种基于深度Q学习的金融组合交易深度强化学习算法。该算法能够从任何大小的横截面数据集交易高维投资组合，其中可能包括资产中的数据缺口和非唯一历史长度。我们通过对每个环境抽样一个资产来顺序设置环境，同时用所得资产的回报奖励投资，并用资产集的平均回报奖励现金储备。这迫使代理人战略性地将资本分配给它预测表现高于平均水平的资产。我们应用我们的方法在样本外分析48美国股票投资组合设置，不同的股票数量从10到500只股票，在选择标准和交易成本的水平。该算法的平均表现优于所有考虑被动和主动基准投资策略的大幅度使用一个超参数设置的所有投资组合。
2021-12-09 cs.LG q-fin.CP q-fin.PM
Deep Reinforcement Learning Approach for Trading Automation in The Stock Market
Ozyegin University（奥兹耶金大学）
深度强化学习（DRL）算法可以扩展到以前难以解决的问题。通过将金融资产价格“预测”步骤和投资组合的“分配”步骤结合在一个统一的过程中，产生能够与其环境交互的完全自主的系统，以通过试错来做出最佳决策，从而使用DRL，股票市场中的利润生成的自动化是可能的。这项工作代表了一个DRL模型产生有利可图的交易在股票市场，有效地克服了监督学习方法的局限性。考虑到股票市场施加的约束（例如流动性和交易成本），我们将交易问题描述为部分观察马尔可夫决策过程（POMDP）模型。然后，我们使用双延迟深度确定性策略梯度（TD 3）算法解决了POMDP问题，在看不见的数据集（测试数据）上报告了2.68夏普比率。从股票市场预测和智能决策机制的角度，论证了DRL在金融市场中相对于其他类型机器学习的优越性，证明了其可信性和战略决策的优势。
2022-07-05 cs.CE cs.LG q-fin.TR
Learning Stock Trading Policies via Barycenter-Based Adversarial Inverse Reinforcement Learning
School of Mathematical and Statistical Sciences（数学与统计学院）；Indian Institue of Technology Mandi（印度曼迪理工学院）
本研究提出基于重心的对抗逆强化学习框架BRaG，聚合多异构专家策略学习股票交易策略，在四大全球股市上表现优于经典交易规则及深度强化学习方法，风险特征更稳定。
2026-08-18 cs.LG stat.ML
A New Tensioning Method using Deep Reinforcement Learning for Surgical Pattern Cutting
Institute for Intelligent Systems Research and Innovation, Deakin University（迪肯大学智能系统研究与创新研究所）；Imperial College London（伦敦帝国理工学院）
外科医生通常需要手术剪刀和组织夹持器来切穿可变形的手术组织。切割精度取决于操作这两种工具的技能。这些技能是基本外科技能培训的一部分，如腹腔镜手术基础。夹持器用于夹持手术单上的点，并将组织拉向特定方向，以在剪刀沿轨迹切割时保持张力。由于手术材料是可变形的，因此需要全面的张紧策略以在切割过程的每个步骤产生适当的张紧方向。针对给定切割轨迹自动执行张紧策略不仅将支持人类外科医生，而且还将支持手术机器人，以提高切割精度和可靠性。提出了一种基于深度强化学习算法的多夹点自动张紧规划器建模方法。仿真实验表明，该方法在性能和鲁棒性方面均优于现有方法。
2019-01-10 cs.AI cs.LG cs.RO
Pretraining & Reinforcement Learning: Sharpening the Axe Before Cutting the Tree
University of California, Berkeley, USA（美国加州大学伯克利分校）
预训练是深度学习中用于提高性能和减少训练时间的常用技术，在深度强化学习（RL）中具有良好的实验结果。然而，预训练需要相关的数据集进行训练。在这项工作中，我们评估了RL任务的预训练的有效性，有和没有分散注意力的背景，使用大型的，公开的数据集与最小的相关性，以及通过自我监督标记的逐个案例生成的数据集。结果表明，在不太相关的数据集上训练期间学习的过滤器会使预训练无效，而在分布数据集上训练期间学习的过滤器可靠地减少了RL训练时间，并在80k RL训练步骤后提高了性能。我们进一步研究，给定有限数量的环境步骤，如何最佳地将可用步骤划分为预训练和RL训练，以最大限度地提高RL性能。我们的代码可以在GitHub上找到
2021-10-06 cs.AI cs.LG
Safe-FinRL: A Low Bias and Variance Deep Reinforcement Learning Implementation for High-Freq Stock Trading
The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））
近年来，许多量化金融的从业者试图使用深度强化学习（DRL）来构建更好的量化交易（QT）策略。然而，许多现有的研究未能解决一些严重的挑战，如非平稳的金融环境和偏差和方差权衡时，应用DRL在现实金融市场。在这项工作中，我们提出了Safe-FinRL，一种新的基于DRL的高频股票交易策略，通过近平稳的金融环境和低偏差和方差估计来增强。我们的主要贡献是两方面的：首先，我们分离的长期金融时间序列到近平稳的短期环境，其次，我们实现了跟踪SAC在近平稳的金融环境中，将一般的回溯算子到软演员批评。在加密货币市场上进行的大量实验表明，Safe-FinRL提供了稳定的价值估计和稳定的政策改进，并在接近稳定的金融环境中显着减少了偏差和方差。
2022-06-13 cs.LG q-fin.PM
Modelling Stock-market Investors as Reinforcement Learning Agents [Correction]
University of Sheffield（谢菲尔德大学）
在不确定和风险环境中的决策是一个突出的研究领域。标准的经济理论无法完全解释人类行为，而一个潜在的有前途的替代方案可能是强化学习（RL）理论。我们分析了从金融市场在线游戏中提取的46名玩家的数据，并测试了强化学习（Q-Learning）是否可以使用基于金融建模的风险度量来捕获这些玩家的行为。此外，我们测试了一个早期的假设，即玩家是“天真的”（短视的）。我们的研究结果表明，一个简单的强化学习模型，只考虑任务的销售部分，捕捉决策过程的一个子集的球员，但这是不足以得出任何结论的人口。我们还发现，当使用一个完整的RL模型对一个近视的版本，只有即时奖励是由球员的价值，有没有一个显着的改善拟合的球员。这表明，如果使用强化学习方法，玩家会很天真地这样做
2016-09-20 cs.CE cs.LG
Fairness in Multi-agent Reinforcement Learning for Stock Trading
Capgemini Invent（凯捷 Invent）
不公平的股票交易策略已被证明是客户对交易的最负面看法之一，并可能导致公司的长期损失。投资银行通常会为多个目标资产相同但订单规模不同、时间框架和风险规避水平等要求不同的客户下达交易订单，从而无法同时优化总收益和个人收益。提前执行的订单会影响市场价格水平，因此延迟执行通常意味着额外的执行成本。在本文中，我们提出了一个新的计划，利用多智能体强化学习系统来获得股票交易策略的所有客户端之间保持收入和公平性的平衡。首先，我们证明了强化学习（RL）能够从经验中学习，并使交易策略适应复杂的市场环境。其次，我们证明了多代理RL系统允许为所有客户单独开发交易策略，从而优化个人收入。第三，我们使用广义基尼指数（GGI）聚合函数来控制所有客户端的收入公平水平。最后，我们实证证明了新方案的优越性，在提高公平性，同时保持收入的优化。
2019-12-14 cs.LG cs.MA q-fin.ST
A Deep Reinforcement Learning Approach to Automated Stock Trading, using xLSTM Networks
Faculty of Computer Science and Engineering, Shahid Beheshti University（谢赫·贝赫什提大学计算机科学与工程学院）；Faculty of Electrical Engineering, Shahid Beheshti University（谢赫·贝赫什提大学电气工程学院）
本文提出利用xLSTM网络与深度强化学习结合，改进传统LSTM在处理时序数据时的不足，通过PPO算法优化交易策略，实验证明xLSTM在股票交易指标上表现更优。
2026-04-28 cs.CE cs.LG q-fin.TR
Reinforcement Learning for Integer Programming: Learning to Cut
Columbia University（哥伦比亚大学）
可重构编程（IP）是一种通用优化框架，广泛适用于各种非结构化和结构化问题，调度、生产计划和图形优化。由于IP模型有许多难以解决的问题，现代IP求解器依赖于许多算法。这些策略通常是人为设计的，自然倾向于次优。这项工作的目标是表明，这些求解器的性能可以大大提高使用强化学习（RL）。特别是，我们研究了一个具体的方法来解决IP，被称为切割平面法。该方法被所有现代IP求解器作为子程序使用。我们提出了一个深度强化学习公式，网络架构和智能自适应选择切割平面（又名切割）的算法。在广泛的IP任务中，我们表明，经过训练的RL代理显着优于人类设计的算法，并有效地推广到10倍大的实例和IP问题类。经过训练的代理也被证明有利于分支和切割算法中切割平面方法的流行下游应用，这是最先进的商业IP求解器的骨干。
2020-07-21 cs.LG math.OC stat.ML
FinRL: A Deep Reinforcement Learning Library for Automated Stock Trading in Quantitative Finance
Columbia University（哥伦比亚大学）；AI4Finance LLC.（AI4Finance有限责任公司）；Ion Media Networks（Ion媒体网络公司）；Imperial College（帝国理工学院）；New York University (Shanghai)（上海纽约大学）
由于深度强化学习（DRL）已被公认为量化金融中的有效方法，因此获得实践经验对初学者很有吸引力。然而，要训练一个实用的日间行车灯交易代理，决定在哪里交易，以什么价格，什么数量，涉及到容易出错和艰苦的开发和调试。在本文中，我们介绍了一个DRL库FinRL，方便初学者暴露自己的量化金融，并制定自己的股票交易策略。除了易于复制的教程外，FinRL库还允许用户简化自己的开发，并轻松与现有方案进行比较。在FinRL中，虚拟环境配置有股票市场数据集，交易代理使用神经网络进行训练，并通过交易表现进行广泛的回测分析。此外，它还包括重要的交易约束，如交易成本，市场流动性和投资者的风险厌恶程度。FinRL的特点是完整性，实践教程和可重复性，有利于初学者：（i）在多个级别的时间粒度，FinRL模拟各种股票市场的交易环境，包括纳斯达克100，道琼斯工业平均指数，标准普尔500，恒生指数，上证50指数和沪深300指数;（ii）FinRL以模块化结构的分层架构组织，提供微调的最先进的DRL算法（DQN，DDPG，PPO，SAC，A2 C，TD 3等），FinRL提供了常用的奖励函数和标准的评估基线，以减轻调试工作量并提高可重复性;（iii）具有高度可扩展性，FinRL保留了一套完整的用户导入接口。此外，我们还结合了三个应用程序演示，即单一股票交易，多个股票交易和投资组合分配。FinRL库将在Github上提供，…
2022-03-02 cs.LG q-fin.TR
A parallel-network continuous quantitative trading model with GARCH and PPO
University of Electronic Science and Technology of China（电子科技大学）；Harbin Institute of Technology（哈尔滨工业大学）
在股票市场中，无论是专业投资者还是个人投资者，要想持续获利都是一项艰巨的任务。随着计算机科学和深度强化学习技术的发展，买入持有（Buy\&Hold，B\&H）已经被许多人工智能交易算法所超越。然而，信息和过程是不够的，这限制了强化学习算法的性能。因此，我们提出了一个并行网络连续定量交易模型，其中包含GARCH和PPO，以丰富基本的深度强化学习模型，其中深度学习并行网络层处理3个不同频率的数据（包括GARCH信息），并且邻近策略优化（PPO）算法与股票交易环境交互动作和奖励。在中国股票市场的5只股票上的实验表明，与基本的强化学习方法和实验模型相比，该方法获得了更多的额外收益。
2021-05-21 cs.LG q-fin.TR
Agent Performing Autonomous Stock Trading under Good and Bad Situations
Manning College of Information and Computer Science University of Massachusetts Amherst（信息与计算机科学曼宁学院马萨诸塞大学阿姆赫斯特分校）
本研究构建股票交易模拟环境流水线，用深度Q学习、深度SARSA、策略梯度三种深度强化学习方法训练交易智能体，在多只热门股票的好坏行情中均实现正收益。
2025-05-19 cs.LG
Deep Stock Trading: A Hierarchical Reinforcement Learning Framework for Portfolio Optimization and Order Execution
Nanyang Technological University（南洋理工大学）；WeBank Co. Ltd.（微众银行股份有限公司）
通过强化学习进行投资组合管理是金融科技研究的前沿，该研究探索如何通过试错法在长期内将资金最佳地重新分配到不同的金融资产中。现有的方法是不切实际的，因为它们通常假设每次重新分配可以立即完成，从而忽略了作为交易成本的一部分的价格滑点。为了解决这些问题，我们提出了一个分层加强证券交易系统的投资组合管理（HRPM）。具体而言，我们将交易过程分解为交易执行的投资组合管理层次，并对相应的策略进行训练。高级策略以较低的频率给出投资组合权重，以最大化长期利润，并调用低级策略在较短的时间窗口内以较高的频率出售或购买相应的股票，以最小化交易成本。我们通过预训练方案和迭代训练方案对两个级别的策略进行训练，以提高数据效率。在美国市场和中国市场的大量实验结果表明，HRPM实现了许多国家的最先进的方法显着改善。
2021-02-07 cs.AI cs.LG
Deep Reinforcement Learning in Quantitative Algorithmic Trading: A Review
The University of Edinburgh（爱丁堡大学）
电子股票交易已成为当今金融市场的主要内容，大多数交易现在都是完全自动化的。深度强化学习（DRL）代理被证明是许多复杂游戏（如国际象棋和围棋）中需要考虑的力量。我们可以把股票市场的历史价格序列和走势看作是一个复杂的不完全信息环境，在这个环境中，我们试图使回报利润最大化，风险最小化。本文回顾了深度强化学习在金融AI子领域取得的进展，更准确地说，是自动低频量化股票交易。许多被审查的研究都只是在不现实的环境中进行实验的概念验证，没有实时交易应用程序。就大多数工程而言，尽管与既定基线战略相比，所有工程的业绩在统计上都有显著改善，但没有获得可观的盈利水平。此外，实时在线交易平台缺乏实验测试，并且基于不同类型的日间行车线或人类交易员构建的代理之间缺乏有意义的比较。我们的结论是，DRL在股票交易中表现出巨大的适用性潜力，在强有力的假设下，专业交易员相媲美，但研究仍处于非常早期的发展阶段。
2021-05-31 cs.LG q-fin.TR
Self-Supervised Auxiliary Task Discovery for Stable Reinforcement Learning in Stock Trading
School of Mathematical and Statistical Sciences, Indian Institute of Technology Mandi（印度理工大学曼迪分校数学与统计科学学院）
本研究提出自监督框架自动发现辅助任务以支持股票交易的强化学习，通过广义价值函数和双网络结构优化，在四大股指上验证其较基线方法更具稳健性与交易性能。
2026-08-18 cs.LG q-fin.CP stat.ML
Beware of Instantaneous Dependence in Reinforcement Learning
Nanjing University（南京大学）；Carnegie Mellon University（卡内基梅隆大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
环境模型在基于模型的强化学习（MBRL）中扮演着重要角色，其目标是基于过去预测未来状态。现有的工作通常忽略了状态的瞬时依赖性，即假设未来的状态变量是条件独立的给定的过去的状态。然而，瞬时依赖在许多RL环境中普遍存在。例如，在股票市场中，两支股票之间可能存在瞬时相关性，因为一只股票的波动可以迅速影响另一只股票，并且价格变化的分辨率低于影响的分辨率。在本文中，我们证明了，除了少数例外，忽略瞬时依赖可能会导致次优的策略学习MBRL。为了解决次优问题，我们提出了一个简单的即插即用的方法，使现有的MBRL算法考虑瞬时依赖。通过对两个基准测试的实验，我们（1）通过可视化证实了瞬时依赖的存在;（2）验证了我们的理论发现，即忽略瞬时依赖会导致次优策略;（3）验证了我们的方法有效地实现了具有瞬时依赖的强化学习，并提高了策略性能。
2023-03-09 cs.LG
Hierarchical Reinforcement Learning for Temporal Pattern Prediction
Rutgers University（罗格斯大学）
本研究探索层次强化学习在时间序列预测中的应用，结合深度学习开发股票与车辆预测智能体，发现feudal reinforcement learning相比标准RL在训练速度、稳定性和精度上有显著提升，其关键在于多分辨率结构引入的时空抽象。
2023-10-09 cs.LG
Adaptive Regime-Aware Stock Price Prediction Using Autoencoder-Gated Dual Node Transformers with Reinforcement Learning Control
School of Electrical Engineering
本文提出了一种自适应预测框架，通过自编码器识别异常市场状态，并利用门控双节点变压器和强化学习控制提升预测准确性，实验表明其在预测精度和高波动时期表现优异。
2026-04-02 cs.AI cs.LG q-fin.ST
Trading Devil RL: Backdoor attack via Stock market, Bayesian Optimization and Reinforcement Learning
University of Montréal（蒙特利尔大学）
本研究提出一种名为FinanceLLMsBackRL的后门攻击，仅通过数据投毒实现，并利用动态系统与统计分布分析进行检测，旨在评估强化学习大型语言模型在金融等领域的潜在风险。
2025-04-21 cs.CE cs.LG physics.comp-ph
Quantum Reinforcement Learning Trading Agent for Sector Rotation in the Taiwan Stock Market
Neuro Industry Research（神经产业研究）；Neuro Industry, Inc.（神经产业公司）；Department of Computer Science（计算机科学系）；The University of Alabama（阿拉巴马大学）；Industrial Technology Research Institute（工业技术研究 institutes）
本文构建量子-经典混合PPO板块轮动交易框架，对比经典与量子增强模型，发现量子模型训练奖励更高但真实收益与夏普比率更差，并指出奖励错配、过拟合及NISQ优化不稳定等问题。
2025-10-20 cs.LG q-fin.CP quant-ph
Stock Trading Optimization through Model-based Reinforcement Learning with Resistance Support Relative Strength
强化学习（Reinforcement Learning，RL）作为一种与决策过程相关联的主体-环境交互框架，在量化金融领域得到了越来越多的研究者的关注。目前，大多数使用RL算法的金融应用都是基于无模型方法，这仍然面临着稳定性和自适应性的挑战。随着许多前沿的基于模型的强化学习（MBRL）算法在视频游戏或机器人等应用中的成熟，我们设计了一种新的方法，利用阻力和支持（RS）水平作为MBRL中动作的正则化项，以提高算法的效率和稳定性。从实验结果可以看出，RS水平作为一种市场时机选择技术，在各种测量方面都提高了纯MBRL模型的性能，并在风险较小的情况下获得了更好的利润收益。此外，当金融市场出现不可预测的危机时，我们提出的方法甚至可以抵抗COVID-19大流行期间的大幅下跌（小于最大回撤）。通过数值实验，如行动者-批评者网络的损失和过渡动力学模型的预测误差，解释了为什么阻力和支持水平的控制可以提高MBRL。结果表明，RS指标确实有助于MBRL算法在早期收敛得更快，并随着训练集的增加获得更小的批评损失。
2022-05-30 cs.LG q-fin.MF q-fin.PM
An Application of Deep Reinforcement Learning to Algorithmic Trading
University of Liège（列日大学）
这篇科学研究论文提出了一种基于深度强化学习（DRL）的创新方法，以解决算法交易问题，即在股票市场的交易活动中的任何时间点确定最佳交易位置。它提出了一种新的DRL交易策略，以最大限度地提高夏普比率的性能指标在广泛的股票市场。这种新的交易策略被命名为交易深度Q网络算法（TDQN），其灵感来自流行的DQN算法，并显著适应手头的特定算法交易问题。由此产生的强化学习（RL）代理的训练完全基于从有限的股票市场历史数据集生成人工轨迹。为了客观地评估交易策略的绩效，本文还提出了一种新的、更严格的绩效评估方法。根据这种新的性能评估方法，有希望的结果报告TDQN战略。
2020-10-09 cs.AI cs.LG q-fin.TR
Lot sizing problem integrated with cutting stock problem in a paper industry: a multiobjective approach
在这项工作中，我们使用一个多目标的方法来解决批量生产的问题，在造纸工业中的切割库存问题。我们分析了成本与其决策变量之间的权衡和相关性。考虑到我们的一些计算结果，如果我们降低生产成本，那么我们增加了切割过程的材料浪费，反之亦然。因此，我们显示的重要性，允许多个答案的决策者，使用帕累托最优解集的多目标方法。进行了几次测试来检查我们方法的质量。
2017-07-18 math.OC
Your Offline Policy is Not Trustworthy: Bilevel Reinforcement Learning for Sequential Portfolio Optimization
MoE Key Lab of Artificial Intelligence, AI Institute, Shanghai Jiao Tong University, China（人工智能教育部重点实验室、人工智能研究院、上海交通大学）；Department of Computer Science, University of Illinois Chicago, USA（计算机科学系、伊利诺伊大学芝加哥分校）
针对传统离线强化学习在序列投资组合优化中泛化性差、易受市场非平稳性影响的问题，提出采用双层框架与最坏情况时序差分的MetaTrader方法，在公开股票数据集上表现优于现有方法。
2025-05-19 cs.LG
Cutting Stock with Binary Patterns: Arc-flow Formulation with Graph Compression
二进制模式下料问题（0-1 CSP）是CSP的一个变种，通常表现为二维和三维包装问题的松弛。我们提出了一个精确的方法，弧流制定与侧约束的基础上，简单地表示在一个非常紧凑的图中的所有模式，解决0-1 CSP。Gilmore-Gomory列生成方法通常用于计算0-1 CSP的强下界。我们报告的电弧流的方法和吉尔摩-Gomory的方法之间的计算比较。
2015-02-10 cs.DS math.OC
A bi-integrated model for coupling lot-sizing and cutting-stock problems
在本文中，提出了一个框架，解决了造纸过程的核心，从生产的jumbos和结束与日常生活中使用的纸张。该过程的第一阶段是根据批量问题建模的，在该阶段中，为了满足整个供应链的需求，确定了台车的数量。第二阶段采用一维切割坯料配方，将这些巨型机切割成预定长度的较小卷筒。其中一些用于满足订单组合，而另一些则用作工艺第三阶段的原材料，即在二维切割库存问题之后，将卷轴切割成具有特定尺寸和要求的片材。该模型被称为双集成模型，因为它由两个集成模型组成。所开发的启发式方法在下料的两个阶段使用带列生成的单纯形法，并应用松弛和修复技术来获得舍入整数解。计算实验比较的解决方案的双集成模型的其他战略建模的生产过程表明，平均成本收益达到26.63%。在几种情况下的模型行为的额外分析导致显着的结果。
2019-12-04 math.OC
Finding Optimal Trading History in Reinforcement Learning for Stock Market Trading
University of North Texas（北得克萨斯大学）；Ajman University（阿治曼大学）
该研究将金融DRL模型的时间窗口设为CNN策略超参数，通过迭代扩展观测窗口、对比按公司/类别排列特征的两种设置，发现特征按公司分组时更长时间窗口性能更优，且模型表现优于Global X Guru等机构产品。
2025-02-19 cs.AI cs.LG
Algorithmic Trading Using Continuous Action Space Deep Reinforcement Learning
Sharif University of Technology（谢里夫理工大学）
在金融市场交易中，价格走势预测一直是交易者关注的问题之一。为了增加利润，他们可以分析历史数据并预测价格走势。庞大的数据量和它们之间的复杂关系导致我们使用算法交易和人工智能。本文旨在提供一种使用双延迟DDPG（TD3）和每日收盘价的方法，以实现股票和加密货币市场的交易策略。与之前使用离散动作空间强化学习算法的研究不同，TD3是连续的，提供了头寸和交易股票的数量。在这项研究中，股票（亚马逊）和加密货币（比特币）市场都被用来评估所提出的算法的性能。使用TD 3实现的策略与使用技术分析，强化学习，随机和确定性策略的一些算法进行了比较，通过两个标准指标，回报率和夏普比率。结果表明，采用位置和交易股票的数量可以提高基于上述指标的交易系统的性能。
2022-10-07 cs.LG q-fin.TR
A Reinforcement Learning Based Encoder-Decoder Framework for Learning Stock Trading Rules
最近提出了各种各样的深度强化学习（DRL）模型来学习有利可图的投资策略。特别是在高频交易环境中，这些模型学习的规则优于以前的策略。然而，它表明，从长期序列的原始价格的工具提取的功能的质量极大地影响了这些模型学习的交易规则的性能。事实证明，采用神经编码器-解码器结构从复杂的输入时间序列中提取信息特征在其他流行的任务中非常有效，如神经机器翻译和视频字幕，其中模型面临类似的问题。编码器-解码器框架从一长串价格中提取高度信息化的特征，并学习如何基于提取的特征生成输出。本文提出了一种基于神经编码器-解码器框架结合DRL的端到端模型，用于从一长串的原始价格序列中学习单一工具的交易策略。该模型包括一个编码器，这是一个神经结构，负责学习信息功能的输入序列，和一个解码器，这是一个DRL模型，负责学习有利可图的策略的基础上提取的特征的编码器。编码器和解码器结构的参数是共同学习的，这使得编码器能够提取适合于解码器DRL的任务的特征。此外，不同结构的编码器和各种形式的输入序列的学习策略的性能的影响进行了研究。实验结果表明，该模型优于其他国家的最先进的模型在高度动态的环境。
2021-01-08 cs.AI cs.LG cs.NE
Reinforcement learning for inverse silhouette design and rapid laser cutting of compact parallelogram quad kirigami prototypes
Department of Electrical and Computer Engineering, The University of British Columbia（电气与计算机工程系，不列颠哥伦比亚大学）；School of Biomedical Engineering, Biomedical Research Centre, The University of British Columbia（生物医学工程学院，生物医学研究中心，不列颠哥伦比亚大学）；Department of Orthopaedics, Gordon and Leslie Diamond Health Care Centre, The University of British Columbia（骨科系，戈登和丽丝·戴维健康中心，不列颠哥伦比亚大学）；International Collaboration on Repair Discoveries (ICORD), Blusson Spinal Cord Centre（修复发现国际协作（ICORD），布卢森脊髓中心）
本文提出 RL-Kirigami 框架，结合最优传输条件流匹配与强化学习，生成兼容比场以实现紧凑可重构平行四边形 kirigami 结构。通过 marching 解码器和 GRPO 策略提升生成精度与效率，实现快速原型制造。
2026-10-12 cs.LG
Multi-Agent Deep Reinforcement Learning for Liquidation Strategy Analysis
Columbia University（哥伦比亚大学）
清算是指在一定时间范围内，考虑到市场冲击和交易者的风险规避所产生的成本，连续出售一种股票的大量股份的过程。在优化清算的主要挑战是找到一个合适的建模系统，可以纳入股票市场的复杂性，并产生实用的交易策略。在本文中，我们建议使用多智能体深度强化学习模型，与各种机器学习方法相比，它可以更好地捕捉高级复杂性，以便智能体可以学习如何做出最佳销售决策。首先，我们从理论上分析了Almgren和Chriss模型，并对其基本机制进行了扩展，使其可以作为多主体交易环境。我们的工作为未来的多智能体环境交易分析奠定了基础。其次，我们通过调整每个代理的奖励函数来分析代理之间的合作和竞争行为，这克服了单代理强化学习算法的局限性。最后，我们模拟交易，并开发了一个最佳的交易策略与实际的限制，通过使用强化学习方法，这表明强化学习方法在解决现实的清算问题的能力。
2019-06-24 cs.LG q-fin.TR stat.ML
Solving Cutting Stock Problems via an Extended Ryan-Foster Branching Scheme and Fast Column Generation
本文提出融合扩展 Ryan-Foster 分支、快速列生成、原始启发式与数值安全下界技术的 branch-cut-and-price 框架，在多类库存与装箱调度问题上超越现有方法，并发布新基准。
2025-05-14 math.OC
Deep Reinforcement Learning in Factor Investment
Georgetown University（乔治城大学）
本文提出CAFPO方法，通过条件自编码将个股收益压缩为潜在因子，并结合PPO和DDPG深度强化学习生成多空组合，在20年美国股票数据上取得24.6%复合收益率和0.94夏普比率，验证了因子感知表示学习在低频组合管理中的有效性。
2025-07-30 cs.CE cs.LG
Can Artificial Intelligence Trade the Stock Market?
University of Warsaw（华沙大学）
本文研究深度强化学习（DDQN和PPO）在股票、外汇和加密货币交易中的表现，发现其通过策略性弃权（不执行）交易，在风险调整后收益上优于买入持有和监督学习方法。
2025-06-05 cs.LG q-fin.CP q-fin.TR
The Ensemble Approach of Column Generation for Solving Cutting Stock Problems
本文针对传统列生成方法求解下料问题时存在的解质量损失和收敛慢的问题，提出了多列和多路径的集成方法，在非线性约束下显著减少运行时间并提高了线性约束下的最优求解比例。
2023-05-23 math.OC
A Deep Q-Network for the Beer Game: A Deep Reinforcement Learning algorithm to Solve Inventory Optimization Problems
Department of Industrial and Systems Engineering, Lehigh University（利哈伊大学工业与系统工程系）
啤酒游戏是一种广泛使用的课堂游戏，在供应链管理课程中播放，以展示牛鞭效应。该博弈是一个分散的、多代理人的合作问题，可以建模为一个串行供应链网络，其中代理人合作试图使网络的总成本最小化，即使每个代理人只能观察到自己的本地信息。每个代理商选择订单数量来补充库存。在一定条件下，基本库存补充策略是最优的。然而，在一个分散的供应链中，一些代理（阶段）可能会采取非理性的行动（如他们在啤酒游戏），有没有已知的最优策略，希望采取最佳行动的代理。我们提出了一种基于深度Q网络的机器学习算法，以优化给定阶段的补货决策。当与遵循基本库存策略的代理一起玩时，我们的算法获得了接近最优的订单数量。当其他代理使用更现实的人类订购行为模型时，它的表现要比基本库存策略好得多。与文献中的大多数其他算法不同，我们的算法对啤酒游戏参数值没有任何限制。像任何深度学习算法一样，训练算法可能是计算密集型的，但这可以提前执行;当玩游戏时，算法会实时的执行。此外，我们提出了一个迁移学习的方法，使一个代理和一组成本系数进行的训练，可以迅速适应其他代理和成本。我们的算法可以扩展到其他分散的多智能体合作博弈与部分可观察的信息，这是一种常见的情况下，在现实世界的供应链问题。
2020-10-14 cs.LG cs.MA
TradeR: Practical Deep Hierarchical Reinforcement Learning for Trade Execution
University of Toronto（多伦多大学）；RBC Capital Markets（加拿大皇家银行资本市场）
强化学习（RL）的进步跨越了各种各样的应用，推动了这一领域的发展。虽然应用程序任务作为现实世界问题的合适基准，但RL很少用于由突发动态组成的实际场景。这使得人们可以根据实际挑战重新思考问题设置。我们提出了使用强化学习（TradeR）的交易执行，旨在通过将交易制定为现实世界的分层RL问题来解决灾难和惊喜最小化这两个实际挑战。通过这个镜头，TradeR利用分层RL对2019财年COVID 19股票市场崩盘期间的高频真实市场体验执行交易出价。该框架利用基于能量的计划，结合惊喜值函数估计和最小化惊喜。在对标准普尔500指数的35个股票符号进行的大规模研究中，TradeR展示了对价格突然变化和灾难性损失的鲁棒性，同时保持盈利结果。我们希望我们的工作可以作为RL应用于实际问题的激励示例。
2021-02-16 cs.AI cs.LG q-fin.TR
Multi-Objective reward generalization: Improving performance of Deep Reinforcement Learning for applications in single-asset trading
Institute of Science and Technology Austria (ISTA)（奥地利科学技术研究所（ISTA））；TRALITY GmbH（Trality有限公司）；University of Trieste（的里雅斯特大学）
我们研究了多目标深度强化学习在股票和加密货币单一资产交易中的潜力：特别是，我们考虑了一种多目标算法，该算法概括了奖励函数和折扣因子（即，这些分量不是先验指定的，而是结合在学习过程中）。首先，使用几种重要的资产（加密货币对BTCUSD，ETHUSDT，XRPUSDT和股票指数AAPL，SPY，NIFTY50），我们验证了所提出的多目标算法的奖励泛化特性，并提供了初步的统计证据，表明与相应的单目标策略相比，预测稳定性有所提高。其次，我们证明了当奖励机制是稀疏的（即，当非零反馈随时间不频繁时）。最后，我们讨论了关于折扣因子的推广性质。我们的代码全部以开源格式提供。
2023-02-17 cs.LG q-fin.CP q-fin.TR
Improving the Efficiency of Off-Policy Reinforcement Learning by Accounting for Past Decisions
Khoury College of Computer Sciences（库里计算机科学学院）；Northeastern University（东北大学）
来自多步返回的离策略学习对于样本有效的强化学习至关重要，特别是在现在常用于深度神经网络的经验重放设置中。传统上，政策外估计偏差是以每决策的方式校正的：过去的时间差误差在每次行动后由瞬时重要性采样（IS）比率（通过资格跟踪）重新加权。许多重要的非策略算法，如树备份和回溯依赖于这种机制以及不同的协议，用于截断（“切割”）比率（“痕迹”），以抵消IS估计器的过度变化。不幸的是，在每个决策的基础上切割轨迹不一定是有效的;一旦轨迹根据本地信息被切割，这种效果以后就不能逆转，可能导致估计收益的过早截断和较慢的学习。为了激励高效的离线策略算法，我们提出了一个多步算子，允许任意的过去依赖的痕迹。我们证明了我们的运营商是收敛的政策评估，和最优控制时，目标贪婪的限制政策。我们的定理建立了许多现有的算法，包括截断IS，非马尔可夫回溯，历史依赖TD（$λ$）的第一个收敛保证。我们的理论研究结果也提供了指导的新算法，共同考虑多个过去的决策，更好的信用分配和更快的学习的发展。
2021-12-23 cs.LG
A forward-looking matheuristic approach for the multi-period two-dimensional non-guillotine cutting stock problem with usable leftovers
针对带可用余料的多周期二维非断头台切材问题，提出一种评估余料未来利用率的前瞻性数学启发式方法，实验表明其优于短视方法。
2022-02-03 math.OC
Minimal proper non-IRUP instances of the one-dimensional Cutting Stock Problem
我们考虑著名的一维下料问题（1CSP）。基于Gilmore和Gomory的经典ILP公式的模式结构，我们可以将具有固定需求n的1CSP实例的无限集分解为有限个等价类。我们展示了一个强大的关系，加权简单对策。通过研究整数舍入性质，我们计算证明了所有具有$n\le 9$的CSP实例都是正确的IRUP，同时给出了具有$n=10$的正确的非IRUP实例的例子.对于$n=11$，出现大于1的间隙。已知的最差差距从1.003提高到1.0625。所使用的算法方法是基于穷举和整数线性规划。此外，我们给出了一些理论界表明，所有的1CSP实例与一些特定的参数有适当的IRUP。
2014-05-23 math.CO math.OC
Large scale continuous-time mean-variance portfolio allocation via reinforcement learning
Columbia University（哥伦比亚大学）
提出了一种基于强化学习的大规模Markowitz均值-方差投资组合分配问题的求解方法。通过采用最近开发的连续时间探索控制框架，我们制定了探索MV问题的高维。我们进一步展示了一个多变量高斯反馈策略的最优性，随着时间的衰减方差，在权衡勘探和开发。基于一个可证明的政策改进定理，我们设计了一个可扩展的和数据高效的RL算法，并进行大规模的实证测试，使用的数据从标准普尔500指数的股票。我们发现，我们的方法持续实现超过10%的年化回报率，并且对于月度和每日交易的长期和中期投资而言，它的表现远远优于计量经济学方法和深度RL方法。
2019-08-02 cs.LG math.OC q-fin.PM
A study of column generation embedded in scalarization methods for the bi-objective cutting stock problem
Escola Municipal Profa. Josiany França（Profa. Josiany França 市立学校）；Prefeitura Municipal de Uberlândia（乌贝兰迪亚市政府）；Universidade Estadual Paulista (Unesp)（圣保罗州立大学）
本文研究了一维和二维切割问题的双目标问题，采用动态列生成嵌入标量化方法，发现其能更准确地逼近帕累托前沿，而标量化方法则互补性更强。
2026-04-12 math.OC
Integrating Stock Features and Global Information via Large Language Models for Enhanced Stock Return Prediction
Hithink RoyalFlush Information Network Co., Ltd.（浙江核新同花顺网络信息股份有限公司）
本文提出一个包含局部-全局模型和自相关强化学习的框架，以整合股票特征与LLM全局信息，提升中国A股市场的股票收益预测性能。
2023-10-09 cs.CL cs.LG q-fin.ST
Deep Q-Learning Market Makers in a Multi-Agent Simulated Stock Market
Universidad Carlos III Madrid（马德里卡洛斯三世大学）
做市商通过提供流动性在金融市场中发挥着关键作用。他们通常在订单簿中填写买入和卖出限价订单，以便为交易者提供可供选择的价格水平。本文的重点正是从基于代理的角度研究这些做市商的策略。特别是，我们提出了应用强化学习（RL）在模拟股票市场中创建智能市场标记。本研究分析了RL做市商代理在非竞争性（只有一个RL做市商同时学习）和竞争性场景（多个RL做市商同时学习）中的行为，以及他们如何在Sim2Real范围内调整策略，并获得有趣的结果。此外，它涵盖了不同实验之间的政策转移的应用，描述了竞争环境对RL代理性能的影响。强化学习和深度强化学习技术被证明是有利可图的做市商方法，从而更好地了解他们在股票市场中的行为。
2021-12-08 cs.AI cs.LG
Formulating Multistage Cutting Stock Problems as QUBO
University of Siegen（锡根大学）；eleQtron GmbH（eleQtron有限公司）；University of Trento（特伦托大学）；INFN-TIFPA, Trento Institute for Fundamental Physics and Applications（意大利国家核物理研究所-特伦托基础物理与应用研究所）
本文提出多阶段二维切割下料问题的线性规划表述，并推导其QUBO非精确重构，通过模拟退火和迭代增广拉格朗日方法求解受限问题，并探讨量子退火的应用前景。
2026-09-15 math.OC quant-ph
Mean--Variance Portfolio Selection by Continuous-Time Reinforcement Learning: Algorithms, Regret Analysis, and Empirical Study
Columbia University（哥伦比亚大学）；The Chinese University of Hong Kong（香港中文大学）
本文提出一种连续时间强化学习方法，用于均值-方差投资组合选择，通过直接学习预承诺投资策略，不需估计市场系数，并在Black-Scholes市场中证明了其性能保证，实证显示其在波动市场中表现优异。
2026-03-28 cs.LG cs.SY eess.SY
Multi-Dimensional Behavioral Evaluation of Agentic Stock Prediction Systems Using Large Language Model Judges with Closed-Loop Reinforcement Learning Feedback
School of Electrical Engineering and Computer Science（电气工程与计算机科学学院）
本文提出一种多维行为评估方法，通过大语言模型判官评估代理系统决策过程，利用闭环强化学习反馈提升预测性能，验证了方法在股票预测中的有效性。
2026-05-16 cs.AI cs.CL cs.LG
Bin Packing and Related Problems: General Arc-flow Formulation with Graph Compression
我们提出了一个确切的方法，弧流制定侧约束的基础上，解决装箱和切割库存问题-包括多约束的变种-通过简单地表示在一个非常紧凑的图中的所有模式。我们的方法包括一个图形压缩算法，通常减少了基本图形的大小，而不会削弱模型。与我们提供强模型的方法相反，传统模型通常是高度对称的，并且提供非常弱的下界。我们的配方是相当于吉尔摩和Gomory的，从而提供了一个非常强大的线性松弛。然而，该方法不是在迭代过程中使用列生成，而是构造一个图，其中从源到目标节点的路径表示每个有效的打包模式。同样的方法，没有任何特定问题的参数化，被用来解决各种各样的情况下，从几个不同的切割和包装问题。本文研究了向量装箱、图着色、装箱、排料、基数约束装箱、有切刀限制的排料、有二进制模式的排料、有冲突的装箱、有二进制模式和禁止对的排料等问题。我们报告的计算结果与许多基准测试数据集，所有这些都显示了很大的优势，这种提法相对于传统的。
2013-10-25 cs.DS math.OC
