Capturing Financial markets to apply Deep Reinforcement Learning
BITS Pilani University（pilani大学）；K.K. Birla Goa Campus（K.K.比尔拉果阿校区）；ISI Calcutta（加尔各答印度统计研究所）
在本文中，我们探索了深度强化学习算法的使用，以在任何一般金融市场中自动生成持续盈利，稳健，不相关的交易信号。为了做到这一点，我们提出了一个新的马尔可夫决策过程（MDP）模型来捕捉金融交易市场。我们回顾并提出对现有方法的各种修改，并探索不同的技术，如技术指标的使用，以简洁地捕捉市场动态来建模市场。然后，我们继续使用深度强化学习，使智能体（算法）能够学习如何在任何市场中独立进行有利可图的交易，同时建议各种方法的变化，并利用FMDP（金融MDP）的独特表示来解决类似工作中面临的主要挑战。通过我们的实验结果，我们继续表明，我们的模型可以很容易地扩展到两个非常不同的金融市场，并在所有进行的实验中产生积极的鲁棒性能。
2019-12-15 cs.LG q-fin.CP
Deep Reinforcement Learning for Cryptocurrency Trading: Practical Approach to Address Backtest Overfitting
Columbia University（哥伦比亚大学）
在高度波动的加密货币市场中，设计有利可图且可靠的交易策略是一项挑战。现有的工作应用了深度强化学习方法，并乐观地报告了回测中的利润增加，这可能会由于过拟合而导致误报问题。在本文中，我们提出了一种实用的方法，使用深度强化学习来解决加密货币交易的回测过拟合问题。首先，我们将回测过拟合的检测公式化为假设检验。然后，我们训练DRL代理，估计过拟合的概率，并拒绝过拟合的代理，增加了良好的交易表现的机会。最后，在2022年5月1日至2022年6月27日的测试期内，对10种加密货币进行了测试（在此期间，加密市场崩溃了两次），我们表明，过拟合程度较低的深度强化学习代理的回报率高于过拟合程度较高的代理、等权重策略和S&P DBM指数。（市场基准），为可能部署到真实市场提供信心。
2023-01-31 cs.AI cs.LG q-fin.ST
Dreaming machine learning: Lipschitz extensions for reinforcement learning on financial markets
Instituto Universitario de Matemática Pura y Aplicada（纯粹与应用数学大学研究所）；Universitat Politècnica de València（瓦伦西亚理工大学）
我们考虑了一个准度量拓扑结构的金融市场的框架下构建一个新的强化学习模型。它基于度量空间中定义的奖励函数的Lipschitz型扩展。具体而言，McShane和惠特尼扩展被认为是一个奖励函数，这是由总的评价所产生的投资决策在给定的时间。我们将度量定义为欧几里得距离和角度量分量的线性组合。从时间间隔开始的关于系统演化的所有信息都用于支持奖励函数的扩展，但此外，通过添加一些人工产生的状态来丰富该数据集。因此，我们的方法的主要新颖之处在于我们产生更多状态的方式-我们称之为“梦”-以丰富学习。利用代表金融市场演化的动力系统的一些已知状态，我们使用我们的技术通过插值真实状态和引入一些随机变量来模拟新的状态。这些新的状态被用来提供学习算法，该学习算法旨在通过遵循典型的强化学习方案来改进投资策略。
2020-03-28 cs.LG math.FA q-fin.ST
Reinforcement Learning in Agent-Based Market Simulation: Unveiling Realistic Stylized Facts and Behavior
Stevens Institute of Technology（史蒂文斯理工学院）
本文提出基于强化学习智能体的市场模拟框架，验证其能复现真实市场典型事实，并分析智能体在闪崩等外部冲击下的响应行为，为投资者和监管者提供决策预判工具。
2024-03-28 cs.LG cs.MA q-fin.TR
FinRL-Meta: A Universe of Near-Real Market Environments for Data-Driven Deep Reinforcement Learning in Quantitative Finance
Columbia University（哥伦比亚大学）；The University of Hong Kong（香港大学）；University of Virginia（弗吉尼亚大学）；Northwestern University（西北大学）；New York University (Shanghai)（上海纽约大学）；IDEA Research（IDEA研究院）
深度强化学习（Deep Reinforcement Learning，DRL）在构建金融市场模拟器方面显示出巨大的潜力。然而，由于现实世界市场的高度复杂性和动态性，原始的历史金融数据往往包含很大的噪声，可能无法反映市场的未来，从而降低了基于DRL的市场模拟器的保真度。此外，基于DRL的市场模拟器的准确性在很大程度上依赖于众多不同的DRL代理，这增加了对市场环境的需求，并对模拟速度提出了挑战。在本文中，我们提出了一个FinRL-Meta框架，该框架为数据驱动的金融强化学习构建了一个市场环境。一是FinRL-Meta将金融数据处理与基于DRL的策略设计管道分离，为金融大数据提供开源数据工程工具。其次，FinRL-Meta为各种交易任务提供了数百种市场环境。第三，FinRL-Meta通过利用数千个GPU核心实现多处理仿真和训练。我们的代码可在https://github.com/AI4Finance-Foundation/FinRL-Meta上获得。
2022-03-02 cs.LG q-fin.TR
Learning Unfair Trading: a Market Manipulation Analysis From the Reinforcement Learning Perspective
King’s College London（伦敦国王学院）
市场操纵是交易者用来改变金融证券价格的一种策略。其中一种操纵是基于使用几种交易策略买卖资产的过程，其中欺骗是一种流行的策略，被市场监管机构视为非法。已经开发了一些有前途的工具来检测操纵行为，但在市场中仍然可以发现案例。在本文中，我们模拟欺骗和ping交易，两种策略，不同的法律背景，但有相同的基本概念的市场操纵。我们在马尔可夫决策过程的完全和部分可观测性中使用强化学习框架，并通过寻找鼓励交易者进行欺诈活动的原因来分析操纵者的潜在行为。这揭示了应对问题的程序，这可能有助于市场监管机构，因为我们的模型预测了欺骗者的活动。
2015-11-02 cs.LG q-fin.TR
Approximating Energy Market Clearing and Bidding With Model-Based Reinforcement Learning
University of Oldenburg（奥尔登堡大学）
本文提出用学习到的OPF近似模型替代显式最优潮流计算，结合显式市场规则加速多智能体强化学习在能量市场仿真中的训练，在性能略降的情况下将训练时间减少约一个数量级。
2023-11-01 cs.AI cs.LG cs.SY
Robust Market Making with Hawkes Order Flow and Price Impact via Adversarial Reinforcement Learning
North China Institute of Computer System Engineering（华北计算机系统工程研究所）；University of Science and Technology of China（中国科学技术大学）
针对做市策略面临模型不确定性和制度风险，提出结合Hawkes订单流、价格冲击与LSTM的对抗强化学习框架，通过博弈论分析和实验验证，在复杂微观结构环境中显著提升收益左尾稳健性。
2026-09-22 cs.LG
A Multi-Agent Deep Reinforcement Learning Approach for a Distributed Energy Marketplace in Smart Grids
University of Kansas（堪萨斯大学）
本文提出了一种基于强化学习（RL）的能源市场的生产消费者占主导地位的微电网。所提出的市场模型促进了实时和需求依赖的动态定价环境，降低了电网成本，提高了生产消费者的经济效益。此外，这种市场模式使电网运营商能够利用生产消费者的存储容量作为电网支持应用的可调度资产。基于Deep QNetwork（DQN）框架的仿真结果表明，产消者和电网运营商的24小时累计利润都有显着提高，电网备用功率利用率也大幅降低。
2020-09-23 cs.LG cs.MA cs.SY
Market-Based Reinforcement Learning in Partially Observable Worlds
与传统的强化学习（RL）不同，基于市场的强化学习原则上适用于部分可观察马尔可夫决策过程（POMDPs）描述的世界，其中智能体需要学习相关先前事件的短期记忆，以便执行最佳行动。然而，大多数以前的工作都集中在反应式设置（MDP），而不是POMDP。在这里，我们重新实现了最近的基于市场的RL方法，并首次在玩具POMDP设置中对其进行评估。
2001-05-15 cs.AI cs.LG cs.MA
Market Making Strategies with Reinforcement Learning
Universidad Carlos III de Madrid（马德里卡洛斯三世大学）
本文研究强化学习做市策略，通过奖励工程、MORL及POW-dTS策略加权算法应对库存管理与市场非平稳性，实验显示其性能显著优于传统基线。
2025-07-24 cs.AI cs.LG
Arbitrage of Energy Storage in Electricity Markets with Deep Reinforcement Learning
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Virginia Tech（弗吉尼亚理工学院暨州立大学）；South China University of Technology（华南理工大学）
在这封信中，我们解决的问题，控制储能系统（ESS）的套利在实时电力市场价格不确定性。我们首先将这个问题公式化为马尔可夫决策过程，然后开发基于深度强化学习的算法来学习随机控制策略，该策略将一组由递归神经网络处理的可用信息映射到ESS的充电/放电动作。最后，我们使用PJM的实时电价验证了我们的算法的有效性。
2019-05-04 cs.LG math.OC stat.ML
Adaptive Regime-Aware Stock Price Prediction Using Autoencoder-Gated Dual Node Transformers with Reinforcement Learning Control
School of Electrical Engineering
本文提出了一种自适应预测框架，通过自编码器识别异常市场状态，并利用门控双节点变压器和强化学习控制提升预测准确性，实验表明其在预测精度和高波动时期表现优异。
2026-04-02 cs.AI cs.LG q-fin.ST
Profitable Strategy Design by Using Deep Reinforcement Learning for Trades on Cryptocurrency Markets
K. N. Toosi University of Technology（K. N. 图西理工大学）
深度强化学习解决方案已被应用于不同的控制问题，并取得了优异和有希望的结果。在这项研究工作中，我们将最近策略优化，软演员批评和生成对抗模仿学习应用于三个加密货币市场的策略设计问题。我们的输入数据包括价格数据和技术指标。我们已经实现了一个基于加密货币市场的Gym环境，以与算法一起使用。我们对未知数据的测试结果表明，这种方法在帮助投资者利用专家系统开拓市场并获得利润方面具有很大的潜力。我们的最高收益为一个看不见的66天跨度是4850美元每10000美元的投资。我们还讨论了如何使用环境设计中的特定超参数来调整生成策略中的风险。
2022-01-15 cs.AI cs.LG q-fin.TR
How to Use Reinforcement Learning to Facilitate Future Electricity Market Design? Part 2: Method and Applications
本文提出基于强化学习模拟的联合电力市场设计方法，通过马尔可夫博弈模型和MAPPO算法评估市场设计选项，以优化市场运行性能。
2023-05-12 cs.AI cs.GT cs.LG
Multi-Agent Reinforcement Learning for Greenhouse Gas Offset Credit Markets
University of Toronto（多伦多大学）
本文利用多智能体强化学习方法研究温室气体抵消信用市场的纳什均衡，通过数值实验展示其在降低企业排放成本方面的有效性。
2026-03-11 cs.LG q-fin.MF
Market Making with Deep Reinforcement Learning from Limit Order Books
Microsoft（微软）
本文提出基于限价订单簿的深度强化学习做市方法，利用卷积与注意力机制提取LOB特征，设计连续动作空间和混合奖励函数，并通过实验验证其适用性。
2023-05-25 cs.LG q-fin.CP
Robust Market Making via Adversarial Reinforcement Learning
University of Liverpool（利物浦大学）
我们证明了对抗强化学习（ARL）可以用来产生对对抗和自适应选择的市场条件具有鲁棒性的市场标记代理。为了应用ARL，我们将Avellaneda和Stoikov [2008]的单代理模型转化为做市商和对手之间的离散时间零和博弈。对手充当了其他市场参与者的代理人，这些参与者希望以做市商为代价获利。我们实证比较了两个传统的单代理RL代理与ARL，并表明我们的ARL方法导致：1）出现风险规避行为，没有约束或特定领域的惩罚; 2）在一组标准指标的性能显着改善，在测试环境中评估有或没有对手，以及; 3）提高鲁棒性模型的不确定性。我们的经验表明，我们的ARL方法一致收敛，我们证明了几种特殊情况下，我们收敛到一个简化的单阶段游戏中的纳什均衡的配置文件。
2020-07-08 cs.AI cs.LG q-fin.TR
How to Use Reinforcement Learning to Facilitate Future Electricity Market Design? Part 1: A Paradigmatic Theory
本文提出一种基于强化学习仿真的联合电力市场设计范式理论，通过马尔可夫博弈建模竞价过程，并利用多种RL算法仿真验证，以协调现货、辅助服务和金融市场，提升系统运行安全、经济与环境效益。
2023-05-12 cs.AI cs.LG cs.SY
Reinforcement-Learning Portfolio Allocation with Dynamic Embedding of Market Information
University of California at Berkeley（加州大学伯克利分校）；Antai College of Economics & Management, Shanghai Jiao Tong University（上海交通大学安泰经济与管理学院）
本文提出结合生成式自编码器与在线元学习的强化学习投资组合分配框架，通过动态嵌入高维非平稳市场信息实现降维，实证表明其在美国前500只股票上优于基准与PTO方法，并在市场动荡期有效降低风险敞口。
2025-01-29 cs.LG q-fin.PM
Proximal Policy Optimization Based Reinforcement Learning for Joint Bidding in Energy and Frequency Regulation Markets
Monash University（莫纳什大学）
在全球脱碳努力的推动下，可再生能源快速融入传统电网，为参与能源市场的电池储能系统（BESS）带来了新的挑战和机遇。能源套利可能是BESS的重要收入来源，因为可再生能源发电和电力需求之间的不匹配导致现货市场价格波动加剧。此外，为稳定电网而建立的频率控制辅助服务（FCAS）市场可以为BESS提供更高的回报，因为它们能够在毫秒内做出响应。因此，在不确定的市场条件下，BESS必须仔细决定分配给每个市场的容量，以使总利润最大化。本文将BESS的报价问题描述为一个马尔可夫决策过程，使BESS能够同时参与现货市场和FCAS市场，以获得最大利润。然后，采用无模型深度强化学习算法--邻近策略优化（Proximal Policy Optimization），在连续竞价规模下，从能源市场的动态环境中学习最优竞价策略。该模型使用澳大利亚国家电力市场的真实历史数据进行训练和验证。结果表明，我们开发的联合投标策略在这两个市场是显着有利可图的相比，单独的市场。
2022-12-13 cs.AI cs.LG cs.SY
Deep Reinforcement Learning Approach for Trading Automation in The Stock Market
Ozyegin University（奥兹耶金大学）
深度强化学习（DRL）算法可以扩展到以前难以解决的问题。通过将金融资产价格“预测”步骤和投资组合的“分配”步骤结合在一个统一的过程中，产生能够与其环境交互的完全自主的系统，以通过试错来做出最佳决策，从而使用DRL，股票市场中的利润生成的自动化是可能的。这项工作代表了一个DRL模型产生有利可图的交易在股票市场，有效地克服了监督学习方法的局限性。考虑到股票市场施加的约束（例如流动性和交易成本），我们将交易问题描述为部分观察马尔可夫决策过程（POMDP）模型。然后，我们使用双延迟深度确定性策略梯度（TD 3）算法解决了POMDP问题，在看不见的数据集（测试数据）上报告了2.68夏普比率。从股票市场预测和智能决策机制的角度，论证了DRL在金融市场中相对于其他类型机器学习的优越性，证明了其可信性和战略决策的优势。
2022-07-05 cs.CE cs.LG q-fin.TR
Multi-market Energy Optimization with Renewables via Reinforcement Learning
本文提出深度强化学习框架，将含储能的可再生能源电厂多市场运营优化建模为分层MDP，通过动作投影满足约束，适配复杂储能模型，经美印市场数据验证效果优于基线策略。
2023-06-13 cs.LG
Generative Market Equilibrium Models with Stable Adversarial Learning via Reinforcement
Vector Institute（向量研究所）；NSERC（加拿大自然科学与工程研究理事会）
本文提出一种结合GAN与深度强化学习的生成式框架，通过“强化链接”解耦反馈机制稳定训练，在含交易成本的多智能体连续时间市场中求解均衡并预测资产收益与波动率的涌现。
2025-04-05 cs.LG q-fin.MF q-fin.PR
When AI Trading Agents Compete: Adverse Selection of Meta-Orders by Reinforcement Learning-Based Market Making
JP Morgan（摩根大通）
研究基于Hawkes LOB模型与脉冲控制强化学习框架，探讨了高频做市商对中频交易者meta订单的不利选择机制，发现RL代理能利用meta订单引起的价格漂移获利，
2025-10-31 cs.LG q-fin.TR
Applications of Reinforcement Learning in Deregulated Power Market: A Comprehensive Review
随着可再生能源发电的日益普及，以及电力工业的市场化和放松管制，推动了电力市场运营模式的转变。这些新范式下的最优报价策略和调度方法是市场参与者和电力系统运营商优先关注的问题，具有不确定性特征，计算效率以及远视决策的要求。为了解决这些问题，强化学习（Reinforcement Learning，RL）作为一种新兴的机器学习技术，具有传统优化工具无法比拟的优势，在学术界和工业界发挥着越来越重要的作用。本文在精选150多篇文献的基础上，对RL在电力市场运营中的应用进行了全面的综述，包括竞价策略和调度策略优化。对于每个应用程序，除了一般化方法的范式总结，深入讨论的适用性和障碍，同时部署RL技术也提供。最后，介绍和讨论了一些在投标和调度问题中具有很大应用潜力的强化学习技术。
2023-05-12 cs.GT cs.LG cs.SY
PRUDEX-Compass: Towards Systematic Evaluation of Reinforcement Learning in Financial Markets
Nanyang Technological University（南洋理工大学）
涉及90多万亿美元市场资金的金融市场吸引着全球无数投资者的目光。最近，强化学习在金融市场（FinRL）已成为一个有前途的方向，训练代理作出有利可图的投资决策。然而，大多数FinRL方法的评估仅关注与利润相关的指标，而忽略了许多关键轴，这对于金融从业者将这些方法部署到现实世界的金融市场中来说远远不能令人满意。因此，我们推出PRUDEX-Compass，它有6个轴，即，盈利性、风险控制、普遍性、多样性、可靠性和可解释性，共17项指标进行系统评价。具体来说，i）我们建议AlphaMix+作为一个强大的FinRL基准，它利用专家混合（MoE）和风险敏感方法来做出多样化的风险意识投资决策，ii）我们在4个有影响力的金融市场的长期真实数据集中评估了8种FinRL方法，以展示我们的PRUDEX-Compass的使用，iii）PRUDEX-Compass与4个真实数据集，8种FinRL方法的标准实现和投资组合管理环境作为公共资源发布，以促进新FinRL方法的设计和比较。我们希望PRUDEX-Compass不仅可以为未来的FinRL研究提供指导，以防止不可信的结果阻碍FinRL进入成功的行业部署，还可以为强化学习（RL）社区提供一个新的具有挑战性的算法评估场景。
2023-03-02 cs.AI cs.LG q-fin.TR
News-Aware Direct Reinforcement Trading for Financial Markets
针对金融市场新闻敏感性强的特点，提出将大模型新闻情感分数与量价数据共同作为强化学习输入、结合序列模型实现端到端交易的新闻感知直接强化交易方法，在加密货币市场实验中表现优于市场基准，验证了时序信息的关键作用。
2025-10-22 cs.AI cs.LG q-fin.CP
Robust Reinforcement Learning in Finance: Modeling Market Impact with Elliptic Uncertainty Sets
University of Maryland（马里兰大学）
本文提出了一种基于椭圆不确定性集的鲁棒强化学习方法，用于金融市场中的市场影响建模，通过显式和隐式闭式解提升策略评估效率，并在单资产和多资产交易任务中验证了其在夏普比率和鲁棒性方面的优越性。
2026-01-23 cs.AI cs.LG math.OC
Learn to Match with No Regret: Reinforcement Learning in Markov Matching Markets
Northwestern University（西北大学）；Yale University（耶鲁大学）；University of California, Berkeley（加州大学伯克利分校）
我们研究了一个马尔可夫匹配市场，涉及一个计划者和一组战略代理人在市场的两侧。在每一步，代理都会呈现一个动态上下文，其中上下文决定实用程序。规划者控制情境的转换以最大化累积的社会福利，而智能体的目标是在每一步都找到一个短视的稳定匹配。这样的设置涵盖了包括拼车平台在内的一系列应用。我们正式提出了一个强化学习框架，集成了最大权重匹配的乐观值迭代的问题。该算法解决了顺序探索，匹配稳定性和函数逼近的耦合挑战。我们证明了该算法实现次线性遗憾。
2022-03-07 cs.AI cs.GT cs.LG
Modelling Stock-market Investors as Reinforcement Learning Agents [Correction]
University of Sheffield（谢菲尔德大学）
在不确定和风险环境中的决策是一个突出的研究领域。标准的经济理论无法完全解释人类行为，而一个潜在的有前途的替代方案可能是强化学习（RL）理论。我们分析了从金融市场在线游戏中提取的46名玩家的数据，并测试了强化学习（Q-Learning）是否可以使用基于金融建模的风险度量来捕获这些玩家的行为。此外，我们测试了一个早期的假设，即玩家是“天真的”（短视的）。我们的研究结果表明，一个简单的强化学习模型，只考虑任务的销售部分，捕捉决策过程的一个子集的球员，但这是不足以得出任何结论的人口。我们还发现，当使用一个完整的RL模型对一个近视的版本，只有即时奖励是由球员的价值，有没有一个显着的改善拟合的球员。这表明，如果使用强化学习方法，玩家会很天真地这样做
2016-09-20 cs.CE cs.LG
LLM-based Personalized Portfolio Recommender: Integrating Large Language Models and Reinforcement Learning for Intelligent Investment Strategy Optimization
University of Electronic Science and Technology of China（电子科技大学）；Ross School of Business, University of Michigan（密歇根大学罗斯商学院）；School of Humanities and Sciences, Stanford University（斯坦福大学人文与科学学院）
本文提出一种结合大语言模型与强化学习的个性化投资组合推荐系统，旨在通过智能优化提升投资策略的适应性和有效性。
2025-12-15 cs.LG
Robust Risk-Sensitive Reinforcement Learning Agents for Trading Markets
University of Alberta（阿尔伯塔大学）；Borealis AI
交易市场代表了部署强化学习代理的现实金融应用，然而，它们面临着巨大的基本挑战，例如高方差和昂贵的探索。此外，市场本质上是一个多主体领域，由许多行动者组成，他们采取行动并改变环境。为了解决这些类型的场景，代理需要表现出某些特性，例如风险意识，对扰动的鲁棒性和低学习方差。我们把这些作为积木，并提出了一个家庭的四个算法。首先，我们贡献了两个算法，使用风险规避的目标函数和方差减少技术。然后，我们将框架扩展到多智能体学习，并假设对手可以接管和干扰学习过程。我们的第三和第四算法在此设置下表现良好，并平衡理论保证与实际使用。此外，我们考虑了环境的多代理性质，我们的工作是第一个扩展经验博弈论分析多代理学习考虑风险敏感的回报。
2021-07-16 cs.LG cs.MA
Government Intervention in Catastrophe Insurance Markets: A Reinforcement Learning Approach
The American University in Cairo（开罗美国大学）；Université du Québec à Montréal（魁北克大学蒙特利尔分校）
本文设计了一个微观基础社会的连续重复博弈，其中有三种类型的代理人：个人，保险公司和政府。我们使用强化学习（RL），与多臂强盗问题密切相关，来学习每花费1美元的一组拟议政策干预对福利的影响。本文件通过逐案比较，严格讨论了拟议干预措施的可取性。本文提供了一个框架，算法的政策评估使用校准的理论模型，可以协助可行性研究。
2022-07-03 cs.LG cs.MA econ.GN
Temporal-Aware Deep Reinforcement Learning for Energy Storage Bidding in Energy and Contingency Reserve Markets
Monash University（莫纳什大学）；University of Electronic Science and Technology of China（电子科技大学）
针对BESS在价格不确定下多市场联合竞价难题，提出基于transformer时间特征提取的DRL策略，在澳大利亚七个现货与应急FCAS市场中显著提升收益和可解释性。
2024-02-29 cs.LG cs.SY eess.SY
Reinforcement Learning with Hawkes-Structured Networks for Market Making
J.P. Morgan QTR AI Research（摩根大通QTR AI研究院）；Imperial College London（帝国理工学院）
该研究针对订单流的聚类自激发特性，提出霍克斯结构网络（HSN）的无模型强化学习做市框架，经多类订单流核的实验验证，HSN性能优于通用神经架构，可提升交易奖励并恢复订单流强度。
2026-10-14 cs.LG q-fin.CP
Predictive Crypto-Asset Automated Market Making Architecture for Decentralized Finance using Deep Reinforcement Learning
Nanyang Polytechnic（南洋理工学院）；Singapore Management University（新加坡管理大学）
该研究提出了一个报价驱动的预测自动做市商（AMM）平台，具有链上托管和结算功能，以及链下预测强化学习功能，以改善现实世界AMM的流动性供给。拟议的AMM架构是对加密货币AMM协议Uniswap V3的增强，通过利用新的市场均衡定价来减少分歧和滑点损失。此外，所提出的架构涉及预测AMM功能，利用深度混合的长短期记忆（LSTM）和Q学习强化学习框架，通过更好地预测流动性集中范围来提高市场有效性，因此流动性在资产价格变动之前开始向预期集中范围移动，从而提高流动性利用率。增强的协议框架预计将具有实际的现实意义，通过（i）减少流动性提供者的分歧损失，（ii）减少加密资产交易者的滑点，同时（iii）提高AMM协议流动性供给的资本效率。据我们所知，目前还没有已知的协议或文献提出类似的深度学习增强AMM，可以为实际的现实应用实现类似的资本效率和损失最小化目标。
2023-01-26 cs.AI cs.LG q-fin.CP
Inverse Reinforcement Learning for Marketing
NYU Tandon School of Engineering（纽约大学坦顿工程学院）
本文提出利用逆强化学习研究动态消费者需求，通过最大熵方法构建可 tractable 模型，展示观测噪声可能被误认为消费者异质性。
2017-12-13 cs.AI cs.CE cs.LG
Finding Regularized Competitive Equilibria of Heterogeneous Agent Macroeconomic Models with Reinforcement Learning
Northwestern University（西北大学）；Yale University（耶鲁大学）；University of California, Berkeley（加州大学伯克利分校）
本文研究了一个具有无限多个家庭和企业在劳动力市场中竞争的异质主体宏观经济模型。每个家庭在每一个时间步赚取收入并参与消费，同时旨在最大化受潜在市场条件影响的凹效用。在给定的市场条件下，家庭的目标是找到最优储蓄策略，使其贴现累积效用最大化，而企业则根据家庭的人口行为，通过最大化企业利润来确定市场条件。该模型在宏观经济研究中具有广泛的应用，我们提出了一个数据驱动的强化学习框架，可以找到模型的正则化竞争均衡。该算法在理论上保证了以次线性速率收敛到市场均衡。
2023-02-24 cs.LG econ.GN q-fin.EC
Multi-Agent Reinforcement Learning from Delayed Marketplace Feedback for Objective-Weight Adaptation in Three-Sided Dispatch
DoorDash
提出在DoorDash部署的强化学习系统，利用延迟信号自适应调整调度目标权重，通过离线策略学习在噪声和耦合反馈下优化配送质量与批处理效率的权衡。
2026-06-12 cs.AI cs.LG cs.MA
A Comparative Analysis of Portfolio Optimization Using Mean-Variance, Hierarchical Risk Parity, and Reinforcement Learning Approaches on the Indian Stock Market
Praxis Business School（普拉克西斯商学院）
本文比较了均值-方差、分层风险平价和深度Q学习强化学习三种方法在印度股票市场上的投资组合优化性能，以年化收益、风险和夏普比率为评价指标。
2023-05-27 cs.LG q-fin.PM
Integrating Tick-level Data and Periodical Signal for High-frequency Market Making
The Hong Kong University of Science and Technology（香港科技大学）
针对高频交易中做市策略开发因数据量庞大而面临挑战的问题，提出一种融合Tick级数据与周期性预测信号的深度强化学习方法，在加密货币市场实验中其盈利与风险管理均优于现有方法。
2023-06-19 cs.AI cs.CE cs.LG
Optimizing Trading Strategies in Quantitative Markets using Multi-Agent Reinforcement Learning
Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院）
本文融合CPPI与TIPP策略于MADDPG框架，提出CPPI-MADDPG和TIPP-MADDPG两种多智能体强化学习方法，在100只真实股票上验证其优于传统交易策略，提升量化交易绩效。
2023-12-22 cs.LG cs.MA q-fin.TR
Safe Reinforcement Learning for Strategic Bidding of Virtual Power Plants in Day-Ahead Markets
ETH Zurich（苏黎世联邦理工学院）；Technical University of Denmark（丹麦技术大学）
本文提出一种基于DDPG的安全强化学习算法，通过引入基于投影的安全防护和防护激活惩罚，解决虚拟电厂在日前市场竞标中的内部物理约束问题，使其能学习高竞争性且安全的策略。
2023-09-12 cs.LG cs.SY eess.SY
AdCraft: An Advanced Reinforcement Learning Benchmark Environment for Search Engine Marketing Optimization
System1
AdCraft是一个面向SEM竞价与预算优化的强化学习基准环境，通过模拟随机非平稳场景，评估算法鲁棒性并揭示稀疏性挑战。
2023-11-14 cs.AI cs.LG
Resolving Latency and Inventory Risk in Market Making with Reinforcement Learning
The Hong Kong Polytechnic University（香港理工大学）；Singapore Management University（新加坡管理学院）；Nanyang Technological University（南洋理工大学）
针对现有做市强化学习方法忽略交易所延迟、易引发库存风险的问题，提出Relaver方法，通过增强状态动作空间、动态规划引导探索、趋势预测调库存，在真实延迟环境下显著提升做市策略性能。
2025-05-18 cs.LG
Data Cross-Segmentation for Improved Generalization in Reinforcement Learning Based Algorithmic Trading
Carnegie Mellon University（卡内基梅隆大学）；Kenanga Investment Bank Berhad（肯安格投资银行有限公司）
针对交易清淡及差异化资产市场中传统监督学习驱动的交易策略失效问题，提出一种基于学习预测模型信号交易的强化学习算法，并用马来西亚证交所20余年股票数据测试。
2023-07-18 cs.LG
Dynamic Datasets and Market Environments for Financial Reinforcement Learning
Columbia University（哥伦比亚大学）；University of Virginia（弗吉尼亚大学）；Rice University（莱斯大学）；SIAT, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；New York University (Shanghai)（上海纽约大学）；Northwestern University（西北大学）；IDEA Research, International Digital Economy Academy（国际数字经济研究院IDEA研究院）
本文提出开源库 FinRL-Meta，通过 DataOps 流水线将真实金融动态数据集构建为 gym 风格环境，并提供论文复现、云端竞赛与教程，以缓解金融强化学习中的低信噪比、幸存者偏差和过拟合问题。
2023-04-25 cs.AI cs.LG
A Reinforcement Learning Approach for the Continuous Electricity Market of Germany: Trading from the Perspective of a Wind Park Operator
Fraunhofer Institute for Energy Economics and Energy System Technology (IEE)（弗劳恩霍夫能源经济与能源系统技术研究所）
针对德国连续电力市场中风电场运营商的交易需求，提出基于PPO算法的DRL自主交易策略，建模为MDP并搭建分钟级仿真框架，2018年德国市场测试中较基准方法性能提升至少45.24%。
2021-11-26 cs.LG
Optimizing Portfolio with Two-Sided Transactions and Lending: A Reinforcement Learning Framework
Virginia Tech（弗吉尼亚理工大学）；Tehran Institute for Advanced Studies (TeIAS)（德黑兰高等研究院）
本文提出结合PnL奖励、SAC与CNN-MHA的RL框架，通过双边交易和USDT借贷管理12种加密资产永续期货组合，并在两个16个月测试期内显著跑赢基准。
2024-08-09 cs.LG q-fin.PM
MTS: A Deep Reinforcement Learning Portfolio Management Framework with Time-Awareness and Short-Selling
University of Liverpool（利物浦大学）；Universidad Politécnica de Madrid（马德里理工大学）
MTS通过时间感知和做空功能，提升投资组合管理的稳健性和适应性，实现更高的收益与风险平衡。
2025-03-06 cs.AI cs.LG
Online Trading Models with Deep Reinforcement Learning in the Forex Market Considering Transaction Costs
Tokyo Institute of Technology（东京工业大学）
近年来，使用人工智能创建了各种投资模型。人工智能自动交易可以扩大交易方式的范围，例如通过赋予24小时运营的能力和高频率交易的能力。如果能够充分考虑过去的数据，自动交易也可以预期使用比人类可用的更多的信息进行交易。在本文中，我们提出了一种基于深度强化学习模型的投资代理，这是一种人工智能模型。该模型考虑了实际交易中涉及的交易成本，并为长期交易建立了一个框架，以便在单笔交易中获得大量利润。这样做，它可以在保持低交易成本的同时实现利润最大化。此外，考虑到实际操作，我们使用在线学习，使系统可以通过不断更新最新的在线数据来持续学习，而不是使用静态数据进行学习。这使得在非平稳的金融市场中进行交易成为可能，因为它总是包含当前的市场趋势信息。
2021-12-16 cs.AI cs.LG q-fin.TR
A Multi-Agent Reinforcement Learning Framework for Off-Policy Evaluation in Two-sided Markets
London School of Economics and Political Science（伦敦政治经济学院）；North Carolina State University（北卡罗来纳州立大学）；Didi Chuxi（滴滴出行）
像拼车公司这样的双边市场通常涉及一群在时间和/或地点上做出顺序决策的主体。随着智能手机和物联网的快速发展，它们极大地改变了人类的交通格局。在本文中，我们考虑了拼车公司的大规模车队管理，这些公司涉及不同地区的多个单位，随着时间的推移接收产品（或治疗）序列。在这些研究中出现了重大的技术挑战，如政策评估，因为㈠空间和时间上的接近引起了地点和时间之间的干扰; ㈡地点的大量导致了维数灾难。为了同时应对这两个挑战，我们引入了多智能体强化学习（MARL）框架，用于在这些研究中进行政策评估。我们提出了新的估计的平均结果下，不同的产品是一致的，尽管状态-动作空间的高维性。所提出的估计器在仿真实验中效果良好。我们进一步说明了我们的方法，使用一个真实的数据集，从双边市场的公司，以评估应用不同的补贴政策的影响。我们提出的方法的Python实现可在www.example.com上获得。
2023-03-26 cs.LG stat.ML
Reinforcement Learning in High-frequency Market Making
Princeton University（普林斯顿大学）
本文针对高频做市中的强化学习应用开展理论分析，揭示了采样频率下算法误差与复杂度的权衡关系，证明了双人场景下纳什均衡的收敛性，相关理论可推广至其他高频金融决策问题。
2024-08-12 cs.LG econ.EM q-fin.ST
