Market Making via Reinforcement Learning
University of Liverpool（利物浦大学）；Stratagem Technologies Ltd（斯特拉塔吉姆科技有限公司）；University College London（伦敦大学学院）
做市是一个基本的交易问题，其中代理人通过不断提供购买和出售证券来提供流动性。由于存在库存风险、积累不利头寸并最终亏损的风险，这一问题具有挑战性。在本文中，我们开发了一个高保真的模拟限价委托书市场，并使用它来设计一个做市代理商使用时间差强化学习。我们使用瓦片编码的线性组合作为一个价值函数近似，并设计了一个自定义的奖励函数，控制库存风险。我们证明了我们的方法的有效性，表明我们的代理优于简单的基准策略和最近的在线学习方法从文献。
2018-04-11 cs.AI q-fin.TR
FinRL-Meta: A Universe of Near-Real Market Environments for Data-Driven Deep Reinforcement Learning in Quantitative Finance
Columbia University（哥伦比亚大学）；The University of Hong Kong（香港大学）；University of Virginia（弗吉尼亚大学）；Northwestern University（西北大学）；New York University (Shanghai)（上海纽约大学）；IDEA Research（IDEA研究院）
深度强化学习（Deep Reinforcement Learning，DRL）在构建金融市场模拟器方面显示出巨大的潜力。然而，由于现实世界市场的高度复杂性和动态性，原始的历史金融数据往往包含很大的噪声，可能无法反映市场的未来，从而降低了基于DRL的市场模拟器的保真度。此外，基于DRL的市场模拟器的准确性在很大程度上依赖于众多不同的DRL代理，这增加了对市场环境的需求，并对模拟速度提出了挑战。在本文中，我们提出了一个FinRL-Meta框架，该框架为数据驱动的金融强化学习构建了一个市场环境。一是FinRL-Meta将金融数据处理与基于DRL的策略设计管道分离，为金融大数据提供开源数据工程工具。其次，FinRL-Meta为各种交易任务提供了数百种市场环境。第三，FinRL-Meta通过利用数千个GPU核心实现多处理仿真和训练。我们的代码可在https://github.com/AI4Finance-Foundation/FinRL-Meta上获得。
2022-03-02 cs.LG q-fin.TR
Learning Unfair Trading: a Market Manipulation Analysis From the Reinforcement Learning Perspective
King’s College London（伦敦国王学院）
市场操纵是交易者用来改变金融证券价格的一种策略。其中一种操纵是基于使用几种交易策略买卖资产的过程，其中欺骗是一种流行的策略，被市场监管机构视为非法。已经开发了一些有前途的工具来检测操纵行为，但在市场中仍然可以发现案例。在本文中，我们模拟欺骗和ping交易，两种策略，不同的法律背景，但有相同的基本概念的市场操纵。我们在马尔可夫决策过程的完全和部分可观测性中使用强化学习框架，并通过寻找鼓励交易者进行欺诈活动的原因来分析操纵者的潜在行为。这揭示了应对问题的程序，这可能有助于市场监管机构，因为我们的模型预测了欺骗者的活动。
2015-11-02 cs.LG q-fin.TR
Reinforcement Learning in Agent-Based Market Simulation: Unveiling Realistic Stylized Facts and Behavior
Stevens Institute of Technology（史蒂文斯理工学院）
本文提出基于强化学习智能体的市场模拟框架，验证其能复现真实市场典型事实，并分析智能体在闪崩等外部冲击下的响应行为，为投资者和监管者提供决策预判工具。
2024-03-28 cs.LG cs.MA q-fin.TR
Adaptive perturbation adversarial training: based on reinforcement learning
Yunnan University（云南大学）
对抗性训练已经成为防御对抗性样本的主要方法。然而，由于许多缺点，它很难实际应用。对抗训练的缺点之一是它会降低正常样本的识别准确率。提出了自适应扰动对抗训练来缓解这个问题。它使用接近决策边界但不跨越决策边界的边缘对抗样本进行对抗训练，在保持模型鲁棒性的同时提高了模型识别的准确率。然而，搜索边际对抗样本会带来额外的计算成本。提出了一种基于强化学习的边缘对抗样本发现方法，并将其与最新的快速对抗训练技术相结合，有效地加快了训练过程，降低了训练成本。
2021-08-30 cs.AI cs.LG
Market Making Strategies with Reinforcement Learning
Universidad Carlos III de Madrid（马德里卡洛斯三世大学）
本文研究强化学习做市策略，通过奖励工程、MORL及POW-dTS策略加权算法应对库存管理与市场非平稳性，实验显示其性能显著优于传统基线。
2025-07-24 cs.AI cs.LG
Approximating Energy Market Clearing and Bidding With Model-Based Reinforcement Learning
University of Oldenburg（奥尔登堡大学）
本文提出用学习到的OPF近似模型替代显式最优潮流计算，结合显式市场规则加速多智能体强化学习在能量市场仿真中的训练，在性能略降的情况下将训练时间减少约一个数量级。
2023-11-01 cs.AI cs.LG cs.SY
Adversarial attacks in consensus-based multi-agent reinforcement learning
University of Notre Dame（圣母大学）
近年来，许多合作分布式多智能体强化学习（MARL）算法已在文献中提出。在这项工作中，我们研究了对抗性攻击对采用基于共识的MARL算法的网络的影响。我们证明了一个对抗性代理可以说服网络中的所有其他代理实施优化其期望目标的策略。从这个意义上说，标准的基于共识的MARL算法是脆弱的攻击。
2021-03-11 cs.AI cs.LG cs.SY
Predictive Crypto-Asset Automated Market Making Architecture for Decentralized Finance using Deep Reinforcement Learning
Nanyang Polytechnic（南洋理工学院）；Singapore Management University（新加坡管理大学）
该研究提出了一个报价驱动的预测自动做市商（AMM）平台，具有链上托管和结算功能，以及链下预测强化学习功能，以改善现实世界AMM的流动性供给。拟议的AMM架构是对加密货币AMM协议Uniswap V3的增强，通过利用新的市场均衡定价来减少分歧和滑点损失。此外，所提出的架构涉及预测AMM功能，利用深度混合的长短期记忆（LSTM）和Q学习强化学习框架，通过更好地预测流动性集中范围来提高市场有效性，因此流动性在资产价格变动之前开始向预期集中范围移动，从而提高流动性利用率。增强的协议框架预计将具有实际的现实意义，通过（i）减少流动性提供者的分歧损失，（ii）减少加密资产交易者的滑点，同时（iii）提高AMM协议流动性供给的资本效率。据我们所知，目前还没有已知的协议或文献提出类似的深度学习增强AMM，可以为实际的现实应用实现类似的资本效率和损失最小化目标。
2023-01-26 cs.AI cs.LG q-fin.CP
Market-Based Reinforcement Learning in Partially Observable Worlds
与传统的强化学习（RL）不同，基于市场的强化学习原则上适用于部分可观察马尔可夫决策过程（POMDPs）描述的世界，其中智能体需要学习相关先前事件的短期记忆，以便执行最佳行动。然而，大多数以前的工作都集中在反应式设置（MDP），而不是POMDP。在这里，我们重新实现了最近的基于市场的RL方法，并首次在玩具POMDP设置中对其进行评估。
2001-05-15 cs.AI cs.LG cs.MA
Off-Policy Adversarial Inverse Reinforcement Learning
McGill University（麦吉尔大学）
对抗性模仿学习（AIL）是强化学习（RL）中的一类算法，它试图在不从环境中获取任何奖励的情况下模仿专家，并且不将专家行为直接提供给策略训练。相反，代理学习策略分布，最大限度地减少与对抗环境中专家行为的差异。对抗性逆强化学习（AIRL）利用AIL的思想，将奖励函数近似与学习策略相结合，并显示了IRL在迁移学习设置中的实用性。但是，实现迁移学习的奖励函数近似器在模仿任务中表现不佳。我们提出了一种非策略对抗逆强化学习（Off-policy-AIRL）算法，该算法在连续控制任务中具有样本有效性，并且与现有的AIL算法相比具有良好的模仿性能。对于相同的奖励函数逼近器，我们显示了学习我们的算法AIL的实用性，通过使用学习的奖励函数重新训练的政策在一个任务下的显着变化，专家演示是缺席。
2020-05-03 cs.AI cs.LG cs.RO
Deep Reinforcement Learning Policies Learn Shared Adversarial Features Across MDPs
使用深度神经网络作为函数逼近器已经导致强化学习算法和应用取得了惊人的进展。然而，我们对决策边界几何形状和神经策略的损失景观的了解仍然非常有限。在本文中，我们提出了一个框架，以调查的决策边界和损失景观相似性的国家和跨MDPs。我们在Arcade Learning Environment的各种游戏中进行了实验，发现神经策略的高灵敏度方向在MDP之间是相关的。我们认为，这些高灵敏度的方向支持的假设，即非鲁棒的功能共享跨训练环境的强化学习代理。我们相信，我们的研究结果揭示了深度强化学习训练中使用的环境的基本特性，并代表了构建强大可靠的深度强化学习代理的切实步骤。
2021-12-16 cs.AI cs.LG stat.ML
Arbitrage of Energy Storage in Electricity Markets with Deep Reinforcement Learning
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Virginia Tech（弗吉尼亚理工学院暨州立大学）；South China University of Technology（华南理工大学）
在这封信中，我们解决的问题，控制储能系统（ESS）的套利在实时电力市场价格不确定性。我们首先将这个问题公式化为马尔可夫决策过程，然后开发基于深度强化学习的算法来学习随机控制策略，该策略将一组由递归神经网络处理的可用信息映射到ESS的充电/放电动作。最后，我们使用PJM的实时电价验证了我们的算法的有效性。
2019-05-04 cs.LG math.OC stat.ML
Generative Adversarial Imagination for Sample Efficient Deep Reinforcement Learning
University of Birmingham（伯明翰大学）
强化学习在过去的五年里取得了巨大的进步。深度学习取代传统方法的成功引入，使强化学习能够扩展到非常复杂的领域，在围棋或许多视频游戏等环境中实现超人的性能。尽管在多个领域取得了巨大的成功，但这些新方法存在自身的问题，使它们往往不适用于现实世界的问题。数据效率的极度缺乏，加上巨大的差异和难以执行安全约束，是该领域三个最突出的问题之一。通常，从环境中采样的数百万个数据点对于这些算法收敛到可接受的策略是必要的。本文提出了一种新的生成对抗想象强化学习算法。它利用了最近引入的高效生成对抗模型，以及支持强化学习设置的马尔可夫特性，在内部想象模块中对真实环境的动态进行建模。然后，来自想象的卷展用于在标准强化学习过程中人工模拟真实环境，以避免在真实环境中进行通常昂贵且危险的试验和错误。实验结果表明，该算法比现有的Rainbow DQN算法更经济地利用了来自真实环境的经验，从而向样本高效的深度强化学习迈出了重要一步。
2019-06-10 cs.AI cs.LG stat.ML
Online Trading Models with Deep Reinforcement Learning in the Forex Market Considering Transaction Costs
Tokyo Institute of Technology（东京工业大学）
近年来，使用人工智能创建了各种投资模型。人工智能自动交易可以扩大交易方式的范围，例如通过赋予24小时运营的能力和高频率交易的能力。如果能够充分考虑过去的数据，自动交易也可以预期使用比人类可用的更多的信息进行交易。在本文中，我们提出了一种基于深度强化学习模型的投资代理，这是一种人工智能模型。该模型考虑了实际交易中涉及的交易成本，并为长期交易建立了一个框架，以便在单笔交易中获得大量利润。这样做，它可以在保持低交易成本的同时实现利润最大化。此外，考虑到实际操作，我们使用在线学习，使系统可以通过不断更新最新的在线数据来持续学习，而不是使用静态数据进行学习。这使得在非平稳的金融市场中进行交易成为可能，因为它总是包含当前的市场趋势信息。
2021-12-16 cs.AI cs.LG q-fin.TR
Adaptive Adversarial Training for Meta Reinforcement Learning
Westlake University（西湖大学）；Westlake Institute for Advanced Study（西湖高等研究院）；Nanyang Technological University（南洋理工大学）
Meta强化学习（MRL）使智能体能够从有限数量的过去轨迹中学习并外推到新任务。在本文中，我们试图提高MRL的鲁棒性。我们建立在模型不可知的元学习（MAML），并提出了一种新的方法来生成对抗样本的MRL使用生成对抗网络（GAN）。这使我们能够通过在Meta训练过程中利用这些攻击来增强MRL对administrator攻击的鲁棒性。
2021-04-27 cs.AI cs.LG
Adversarial Policies: Attacking Deep Reinforcement Learning
University of California, Berkeley（加州大学伯克利分校）
众所周知，深度强化学习（RL）策略容易受到对其观察结果的对抗性扰动的影响，类似于分类器的对抗性示例。然而，攻击者通常不能直接修改另一个代理的观察结果。这可能会让人怀疑：是否有可能通过选择在多智能体环境中采取对抗性策略来攻击RL智能体，从而创建对抗性的自然观察？我们证明了对抗性政策的存在与本体感受观察模拟人形机器人之间的零和游戏，对国家的最先进的受害者通过自我发挥训练是强大的对手。对抗性策略可靠地战胜了受害者，但产生了看似随机和不协调的行为。我们发现，这些政策是更成功的高维环境中，并诱导实质上不同的激活受害者的政策网络比当受害者对一个正常的对手。视频可在https://adversarialpolicies.github.io/上获得。
2021-01-17 cs.AI cs.CR cs.LG
FinSMART: Financial Sentiment Analysis for Algorithmic Trading through Market-Aligned Reinforcement Learning
Imperial College London（帝国理工学院）
FinSMART是首个基于市场对齐强化学习的金融情感分析框架，通过市场感知数据过滤与非对称交易奖励优化情感信号，在交易回报等指标上较基线提升220%，可自适应市场动态。
2026-07-31 cs.CL cs.LG q-fin.ST
Adversarial Robust Deep Reinforcement Learning Requires Redefining Robustness
通过利用深度神经网络，已经有效地实现了经由与给定环境的交互从原始高维数据中学习。然而，观察到的由沿着高灵敏度方向的不可察觉的最坏情况的策略依赖转换（即对抗性扰动）引起的策略性能的下降引起了对深度强化学习策略的鲁棒性的关注。在我们的论文中，我们证明了这些高敏感度的方向不仅存在于特定的最坏情况方向上，而且在深层神经策略领域中更丰富，并且可以通过更自然的方式在黑盒环境中找到。此外，我们发现，与通过最先进的对抗训练技术学习的策略相比，香草训练技术有趣地导致学习更强大的策略。我们相信我们的工作展示了深度强化学习策略流形的有趣特性，我们的结果可以帮助构建强大且可推广的深度强化学习策略。
2023-01-17 cs.AI cs.CR cs.LG
How to Use Reinforcement Learning to Facilitate Future Electricity Market Design? Part 2: Method and Applications
本文提出基于强化学习模拟的联合电力市场设计方法，通过马尔可夫博弈模型和MAPPO算法评估市场设计选项，以优化市场运行性能。
2023-05-12 cs.AI cs.GT cs.LG
Factor Representation and Decision Making in Stock Markets Using Deep Reinforcement Learning
Georgia Institute of Technology（佐治亚理工学院）
深度强化学习是无监督学习的一个分支，其中智能体学习根据环境状态采取行动，以最大化其总奖励。深度强化学习提供了一个很好的机会，通过利用深度神经网络的强大表示，在高维和数据驱动的环境中对投资组合选择的复杂性进行建模。在本文中，我们使用直接深度强化学习构建了一个投资组合管理系统，通过学习一个好的因子表示（作为输入），在S\&P500标的股票中周期性地做出最优投资组合选择。结果表明，有效的市场学习和最优投资组合配置可以显着优于平均市场。
2021-08-03 cs.LG q-fin.ST
Robust Deep Reinforcement Learning through Adversarial Loss
UC San Diego（加州大学圣地亚哥分校）；MIT（麻省理工学院）
最近的研究表明，深度强化学习代理很容易受到代理输入的小对抗干扰，这引起了人们对在现实世界中部署此类代理的担忧。为了解决这个问题，我们提出了RADIAL-RL，一个原则性的框架，训练强化学习代理，提高了对$l_p$ -范数有界对抗攻击的鲁棒性。我们的框架与流行的深度强化学习算法兼容，我们用深度Q学习，A3 C和PPO展示了它的性能。我们在三个深度RL基准测试（Atari，MuJoCo和ProcGen）上进行了实验，以显示我们的鲁棒训练算法的有效性。在针对不同强度的攻击进行测试时，我们的RADIAL-RL代理始终优于先前的方法，并且在训练时计算效率更高。此外，我们提出了一种新的评估方法，称为贪婪最坏情况奖励（GWC）来衡量深度RL代理的攻击不可知鲁棒性。我们表明，GWC可以有效地进行评估，是一个很好的估计下的最坏的可能序列的对抗攻击的奖励。用于我们实验的所有代码都可以在https://github.com/tuomaso/radial_rl_v2上获得。
2021-11-10 cs.AI cs.CR cs.LG
How to Use Reinforcement Learning to Facilitate Future Electricity Market Design? Part 1: A Paradigmatic Theory
本文提出一种基于强化学习仿真的联合电力市场设计范式理论，通过马尔可夫博弈建模竞价过程，并利用多种RL算法仿真验证，以协调现货、辅助服务和金融市场，提升系统运行安全、经济与环境效益。
2023-05-12 cs.AI cs.LG cs.SY
Deep Reinforcement Learning Approach for Trading Automation in The Stock Market
Ozyegin University（奥兹耶金大学）
深度强化学习（DRL）算法可以扩展到以前难以解决的问题。通过将金融资产价格“预测”步骤和投资组合的“分配”步骤结合在一个统一的过程中，产生能够与其环境交互的完全自主的系统，以通过试错来做出最佳决策，从而使用DRL，股票市场中的利润生成的自动化是可能的。这项工作代表了一个DRL模型产生有利可图的交易在股票市场，有效地克服了监督学习方法的局限性。考虑到股票市场施加的约束（例如流动性和交易成本），我们将交易问题描述为部分观察马尔可夫决策过程（POMDP）模型。然后，我们使用双延迟深度确定性策略梯度（TD 3）算法解决了POMDP问题，在看不见的数据集（测试数据）上报告了2.68夏普比率。从股票市场预测和智能决策机制的角度，论证了DRL在金融市场中相对于其他类型机器学习的优越性，证明了其可信性和战略决策的优势。
2022-07-05 cs.CE cs.LG q-fin.TR
oIRL: Robust Adversarial Inverse Reinforcement Learning with Temporally Extended Actions
McGill University（麦吉尔大学）；Mila（Mila（魁北克人工智能研究所））；MIT（麻省理工学院）；DeepMind
针对给定环境的奖励函数的显式工程一直是强化学习方法的主要障碍。虽然逆强化学习（IRL）是一种仅从演示中恢复奖励函数的解决方案，但这些学习的奖励通常与环境的动态性有很大的\textit{entangled}，因此不能移植或\emph{robust}到变化的环境中。现代对抗方法在减少IRL设置中的奖励纠缠方面取得了一些成功。在这项工作中，我们利用这样一种方法，对抗逆强化学习（AIRL），提出了一种算法，学习分层解开奖励与政策的选项。我们表明，这种方法有能力在复杂的迁移学习任务中学习\emph{generalizable}策略和奖励函数，同时在连续控制基准中产生与最先进方法相当的结果。
2020-02-20 cs.LG stat.ML
When AI Trading Agents Compete: Adverse Selection of Meta-Orders by Reinforcement Learning-Based Market Making
JP Morgan（摩根大通）
研究基于Hawkes LOB模型与脉冲控制强化学习框架，探讨了高频做市商对中频交易者meta订单的不利选择机制，发现RL代理能利用meta订单引起的价格漂移获利，
2025-10-31 cs.LG q-fin.TR
Proximal Policy Optimization Based Reinforcement Learning for Joint Bidding in Energy and Frequency Regulation Markets
Monash University（莫纳什大学）
在全球脱碳努力的推动下，可再生能源快速融入传统电网，为参与能源市场的电池储能系统（BESS）带来了新的挑战和机遇。能源套利可能是BESS的重要收入来源，因为可再生能源发电和电力需求之间的不匹配导致现货市场价格波动加剧。此外，为稳定电网而建立的频率控制辅助服务（FCAS）市场可以为BESS提供更高的回报，因为它们能够在毫秒内做出响应。因此，在不确定的市场条件下，BESS必须仔细决定分配给每个市场的容量，以使总利润最大化。本文将BESS的报价问题描述为一个马尔可夫决策过程，使BESS能够同时参与现货市场和FCAS市场，以获得最大利润。然后，采用无模型深度强化学习算法--邻近策略优化（Proximal Policy Optimization），在连续竞价规模下，从能源市场的动态环境中学习最优竞价策略。该模型使用澳大利亚国家电力市场的真实历史数据进行训练和验证。结果表明，我们开发的联合投标策略在这两个市场是显着有利可图的相比，单独的市场。
2022-12-13 cs.AI cs.LG cs.SY
A Multi-Agent Deep Reinforcement Learning Approach for a Distributed Energy Marketplace in Smart Grids
University of Kansas（堪萨斯大学）
本文提出了一种基于强化学习（RL）的能源市场的生产消费者占主导地位的微电网。所提出的市场模型促进了实时和需求依赖的动态定价环境，降低了电网成本，提高了生产消费者的经济效益。此外，这种市场模式使电网运营商能够利用生产消费者的存储容量作为电网支持应用的可调度资产。基于Deep QNetwork（DQN）框架的仿真结果表明，产消者和电网运营商的24小时累计利润都有显着提高，电网备用功率利用率也大幅降低。
2020-09-23 cs.LG cs.MA cs.SY
Capturing Financial markets to apply Deep Reinforcement Learning
BITS Pilani University（pilani大学）；K.K. Birla Goa Campus（K.K.比尔拉果阿校区）；ISI Calcutta（加尔各答印度统计研究所）
在本文中，我们探索了深度强化学习算法的使用，以在任何一般金融市场中自动生成持续盈利，稳健，不相关的交易信号。为了做到这一点，我们提出了一个新的马尔可夫决策过程（MDP）模型来捕捉金融交易市场。我们回顾并提出对现有方法的各种修改，并探索不同的技术，如技术指标的使用，以简洁地捕捉市场动态来建模市场。然后，我们继续使用深度强化学习，使智能体（算法）能够学习如何在任何市场中独立进行有利可图的交易，同时建议各种方法的变化，并利用FMDP（金融MDP）的独特表示来解决类似工作中面临的主要挑战。通过我们的实验结果，我们继续表明，我们的模型可以很容易地扩展到两个非常不同的金融市场，并在所有进行的实验中产生积极的鲁棒性能。
2019-12-15 cs.LG q-fin.CP
Robust Market Making with Hawkes Order Flow and Price Impact via Adversarial Reinforcement Learning
North China Institute of Computer System Engineering（华北计算机系统工程研究所）；University of Science and Technology of China（中国科学技术大学）
针对做市策略面临模型不确定性和制度风险，提出结合Hawkes订单流、价格冲击与LSTM的对抗强化学习框架，通过博弈论分析和实验验证，在复杂微观结构环境中显著提升收益左尾稳健性。
2026-09-22 cs.LG
News-Aware Direct Reinforcement Trading for Financial Markets
针对金融市场新闻敏感性强的特点，提出将大模型新闻情感分数与量价数据共同作为强化学习输入、结合序列模型实现端到端交易的新闻感知直接强化交易方法，在加密货币市场实验中表现优于市场基准，验证了时序信息的关键作用。
2025-10-22 cs.AI cs.LG q-fin.CP
Robust Reinforcement Learning in Finance: Modeling Market Impact with Elliptic Uncertainty Sets
University of Maryland（马里兰大学）
本文提出了一种基于椭圆不确定性集的鲁棒强化学习方法，用于金融市场中的市场影响建模，通过显式和隐式闭式解提升策略评估效率，并在单资产和多资产交易任务中验证了其在夏普比率和鲁棒性方面的优越性。
2026-01-23 cs.AI cs.LG math.OC
ViperQ: Order Flow Pattern Recognition via Auction Market Theory for Reinforcement Learning Trading
University of Colorado, Colorado Springs（科罗拉多大学斯普林斯分校）；University of Iowa（爱荷华大学）
ViperQ利用拍卖市场理论特征构建强化学习交易状态表示，在真实机构数据上实现TSLA和NVDA的高回报，验证了微观结构模式在顺序决策中的有效性。
2026-09-15 cs.AI q-fin.TR
Generative Market Equilibrium Models with Stable Adversarial Learning via Reinforcement
Vector Institute（向量研究所）；NSERC（加拿大自然科学与工程研究理事会）
本文提出一种结合GAN与深度强化学习的生成式框架，通过“强化链接”解耦反馈机制稳定训练，在含交易成本的多智能体连续时间市场中求解均衡并预测资产收益与波动率的涌现。
2025-04-05 cs.LG q-fin.MF q-fin.PR
Adversarial Imitation via Variational Inverse Reinforcement Learning
University of California San Diego（加利福尼亚大学圣地亚哥分校）；Georgia Institute of Technology（佐治亚理工学院）
我们考虑一个问题，学习奖励和政策，从专家的例子未知的动态。我们提出的方法建立在生成对抗网络的框架上，并引入授权正则化最大熵逆强化学习来学习接近最优的奖励和策略。基于授权的正则化防止策略过度拟合专家演示，这有利地导致更一般化的行为，从而导致学习接近最优的奖励。我们的方法同时通过变分信息最大化以及对抗学习公式下的奖励和策略来学习授权。我们评估我们的方法在各种高维复杂的控制任务。我们还在具有挑战性的迁移学习问题中测试我们的学习回报，其中训练和测试环境在动态或结构方面彼此不同。结果表明，我们提出的方法不仅学习接近最优的奖励和政策，是匹配专家的行为，但也表现出显着优于最先进的逆强化学习算法。
2019-02-22 cs.AI cs.LG cs.RO
Domain Adversarial Reinforcement Learning
McGill University（麦吉尔大学）；Mila（米拉研究所）；VU Amsterdam（阿姆斯特丹自由大学）
我们考虑强化学习中的泛化问题，其中观察的视觉方面可能不同，例如，当有不同的背景或对比度，亮度等变化时，我们假设我们的代理在训练期间只能访问MDP分布中的少数MDP。然后，在从分布中提取的新的未知测试域（例如，看不见的背景）上报告代理的性能。对于这个“zero-shot RL”任务，我们通过域对抗优化过程将学习到的表示强制执行到视觉域的不变性。我们的经验表明，这种方法可以实现一个显着的泛化改善新的看不见的领域。
2021-02-14 cs.AI cs.LG
Universal Distributional Decision-based Black-box Adversarial Attack with Reinforcement Learning
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
高性能机器学习模型的脆弱性意味着在具有现实后果的应用程序中存在安全风险。对对抗攻击的研究，一方面有利于指导机器学习模型的开发，另一方面也有利于寻找有针对性的防御。然而，当今大多数对抗攻击利用来自模型的梯度或logit信息来生成对抗扰动。适用于更现实的领域：基于决策的攻击，仅基于观察目标模型的输出标签来生成对抗性扰动，仍然相对罕见，并且大多使用梯度估计策略。在这项工作中，我们提出了一个像素明智的决策为基础的攻击算法，发现通过强化学习算法的对抗扰动的分布。我们称这种方法为基于决策的黑盒攻击与强化学习（DBAR）。实验结果表明，该方法具有更高的攻击成功率和更大的可移植性，优于最先进的基于决策的攻击。
2022-11-15 cs.AI cs.CR cs.LG
Learn to Match with No Regret: Reinforcement Learning in Markov Matching Markets
Northwestern University（西北大学）；Yale University（耶鲁大学）；University of California, Berkeley（加州大学伯克利分校）
我们研究了一个马尔可夫匹配市场，涉及一个计划者和一组战略代理人在市场的两侧。在每一步，代理都会呈现一个动态上下文，其中上下文决定实用程序。规划者控制情境的转换以最大化累积的社会福利，而智能体的目标是在每一步都找到一个短视的稳定匹配。这样的设置涵盖了包括拼车平台在内的一系列应用。我们正式提出了一个强化学习框架，集成了最大权重匹配的乐观值迭代的问题。该算法解决了顺序探索，匹配稳定性和函数逼近的耦合挑战。我们证明了该算法实现次线性遗憾。
2022-03-07 cs.AI cs.GT cs.LG
Multi-Agent Adversarial Inverse Reinforcement Learning
Stanford University（斯坦福大学）
强化学习智能体由于奖励错误指定而容易出现不期望的行为。在多智能体场景中，找到一组奖励函数来正确地指导智能体行为是特别具有挑战性的。逆强化学习提供了一个框架，自动获取合适的奖励功能，从专家的示范。然而，由于理性行为的概念更为复杂，将其扩展到多代理设置是困难的。在本文中，我们提出了MA-AIRL，一个新的框架，多智能体逆强化学习，这是有效的和可扩展的马尔可夫游戏的高维状态-动作空间和未知的动态。我们推导出我们的算法的基础上一个新的解决方案的概念和最大pseudolikestimation内的对抗性奖励学习框架。在实验中，我们证明了MA-AIRL可以恢复与地面实况高度相关的奖励函数，并且在策略模仿方面显着优于先前的方法。
2019-07-30 cs.LG stat.ML
Marketing Budget Allocation with Offline Constrained Deep Reinforcement Learning
Ant Group（蚂蚁集团）；Tsinghua University（清华大学）
本文提出一种基于博弈论和混合策略的离线值函数强化学习方法，用于解决营销预算分配问题，该方法只需存储恒定数量策略即可收敛至最优，并在大规模真实营销活动中验证了其优越性。
2023-09-06 cs.LG
Robust Deep Reinforcement Learning with Adversarial Attacks
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出了针对强化学习（RL）的对抗攻击，并在这些攻击的帮助下提高了深度强化学习算法（DRL）对参数不确定性的鲁棒性。我们发现，即使是一个天真的设计攻击成功地降低DRL算法的性能。我们进一步改进的攻击使用梯度信息的工程损失函数，导致性能进一步下降。然后在训练期间利用这些攻击来提高RL在鲁棒控制框架内的鲁棒性。我们表明，DRL算法（如深度双Q学习和深度确定性策略梯度）的这种对抗性训练导致RL基准测试（如Cart-pole，Mountain Car，Hopper和Half Cheetah环境）对参数变化的鲁棒性显着增加。
2017-12-11 cs.AI cs.LG cs.RO
Generative Adversarial Imitation Learning
Stanford University（斯坦福大学）
考虑从示例专家行为中学习策略，而无需与专家交互或访问强化信号。一种方法是用逆强化学习恢复专家的成本函数，然后用强化学习从该成本函数中提取策略。这种方法是间接的，可能会很慢。我们提出了一个新的一般框架，直接从数据中提取的政策，就好像它是通过强化学习以下的逆强化学习。我们证明了我们框架的某个实例在模仿学习和生成对抗网络之间进行了类比，从中我们得到了一个无模型的模仿学习算法，该算法在模仿大型高维环境中的复杂行为时，比现有的无模型方法获得了显着的性能增益。
2016-06-10 cs.AI cs.LG
Optimal Market Making by Reinforcement Learning
Almafintech S.A.（Almafintech 公司）；Universidad Torcuato Di Tella（托尔夸托·迪特拉大学）；UCEMA（阿根廷企业管理大学）；Qontigo, a Deutsche Boerse company（Qontigo，德意志交易所集团旗下公司）；Universidad de Buenos Aires（布宜诺斯艾利斯大学）
我们应用强化学习算法来解决经典的定量金融市场决策问题，在该问题中，代理人通过在最大化效用函数的同时放置买入和卖出订单来为市场提供流动性。最优代理人必须在其库存的价格风险和通过捕捉买卖价差获得的利润之间找到一个微妙的平衡。我们设计了一个环境与奖励函数，决定了一个顺序关系的政策相当于原来的效用函数。当将我们的代理与最佳解决方案和基准对称代理进行比较时，我们发现Deep Q-学习算法能够恢复最佳代理。
2021-04-08 cs.LG q-fin.ST
Failure-Scenario Maker for Rule-Based Agent using Multi-agent Adversarial Reinforcement Learning and its Application to Autonomous Driving
IBM Research AI（IBM研究AI）
我们研究的问题，对抗性强化学习的多代理域，包括基于规则的代理。基于规则的算法在安全关键型应用中是必需的，以便它们在各种情况下都能正常工作。因此，尽一切努力在开发阶段找到故障场景。然而，随着软件变得复杂，查找失败案例变得困难。特别是在多智能体领域，如自动驾驶环境，很难找到有用的故障场景，帮助我们改进算法。我们提出了一种方法，有效地找到失败的情况下，这种方法使用多智能体强化学习训练的对抗代理，这样测试的基于规则的代理失败。我们使用一个简单的环境和自动驾驶模拟器证明了我们所提出的方法的有效性。
2019-05-25 cs.AI cs.LG cs.RO
Certifying Safety in Reinforcement Learning under Adversarial Perturbation Attacks
Washington University in Saint Louis（圣路易斯华盛顿大学）
函数逼近使得强化学习（RL）技术在具有高维输入（如图像）的环境中以端到端的方式应用取得了显着进展，将这些输入直接映射到低级控制。尽管如此，这些已经被证明容易受到小的对抗性输入扰动的影响。因此，出现了许多用于提高或证明端到端RL对对抗性扰动的鲁棒性的方法，重点是累积奖励。然而，在对抗性场景中，最关键的往往是违反基本属性，如安全性，而不是将安全性与效率相结合的整体回报。此外，诸如安全性之类的属性只能相对于真实状态来定义，而不是端到端策略的高维原始输入。为了解开名义效率和对抗安全性，我们在确定性部分可观察马尔可夫决策过程（POMDPs）中使用RL，目标是在安全约束下最大化累积奖励。然后，我们提出了一个部分监督的强化学习（PSRL）框架，该框架利用了一个额外的假设，即POMDP的真实状态在训练时已知。我们提出了在对抗性输入扰动下验证PSRL策略安全性的第一种方法，以及直接使用PSRL的两种对抗性训练方法。我们的实验证明了所提出的方法在对抗环境中认证安全性的有效性，以及PSRL框架与对抗训练相结合在提高认证安全性同时保持高名义奖励和高质量真实状态预测方面的价值。
2022-12-28 cs.AI cs.LG
Admissable: Training Reinforcement Learning Agents against Adversarial Missingness
Bielefeld University（比勒费尔德大学）
针对强化学习中的对抗性特征缺失问题，提出对抗训练算法，在MuJoCo三个基准环境上相比随机缺失基线显著提升鲁棒性。
2026-09-15 cs.LG
RoAd-RL: A Unified Library and Benchmark for Robust Adversarial Reinforcement Learning
Hightech-Agenda Bayern（巴伐利亚高科技议程）
提出RoAd-RL开源基准框架，统一策略、攻击、防御和鲁棒性指标，评估192种配置下DQN/PPO/SAC的鲁棒性，发现常用防御可能比攻击更有害。
2026-06-29 cs.AI cs.LG
Multi-Agent Reinforcement Learning from Delayed Marketplace Feedback for Objective-Weight Adaptation in Three-Sided Dispatch
DoorDash
提出在DoorDash部署的强化学习系统，利用延迟信号自适应调整调度目标权重，通过离线策略学习在噪声和耦合反馈下优化配送质量与批处理效率的权衡。
2026-06-12 cs.AI cs.LG cs.MA
RL-Based Method for Benchmarking the Adversarial Resilience and Robustness of Deep Reinforcement Learning Policies
Kansas State University（堪萨斯州立大学）
本文提出区分DRL智能体漏洞来源的方法，并开发两种基于RL的定量基准测试技术，以评估DRL策略在状态转换扰动下的对抗韧性与鲁棒性，并在Cartpole环境中验证了其可行性。
2019-06-03 cs.AI cs.CR cs.LG
Learning Stock Trading Policies via Barycenter-Based Adversarial Inverse Reinforcement Learning
School of Mathematical and Statistical Sciences（数学与统计学院）；Indian Institue of Technology Mandi（印度曼迪理工学院）
本研究提出基于重心的对抗逆强化学习框架BRaG，聚合多异构专家策略学习股票交易策略，在四大全球股市上表现优于经典交易规则及深度强化学习方法，风险特征更稳定。
2026-08-18 cs.LG stat.ML
Continual Adversarial Reinforcement Learning (CARL) of False Data Injection detection: forgetting and explainability
National Renewable Energy Laboratory (NREL)（国家可再生能源实验室）；South Dakota State University（南达科他州立大学）
针对智能逆变器虚假数据注入攻击 (FDIA) 检测易受对抗样本攻击的问题，提出持续对抗强化学习 (CARL) 方法，将对抗样本纳入训练以提升检测可解释性，并采用联合训练策略解决灾难性遗忘问题。
2024-11-15 cs.AI cs.LG
Transferring Deep Reinforcement Learning with Adversarial Objective and Augmentation
National Taiwan University（台湾大学）
在过去的几年里，深度强化学习已被证明可以解决视频游戏或棋盘游戏等复杂状态的问题。智能代理的下一步将能够在任务之间进行概括，并利用先前的经验更快地学习新技能。然而，目前大多数强化学习算法即使在面对非常相似的目标任务时也经常遭受灾难性遗忘。我们的方法使智能体能够从单个源任务中概括知识，并在面对新任务时使用半监督学习方法来提高学习进度。我们在Atari游戏上评估了这种方法，这是一种流行的强化学习基准，并表明它优于基于预训练和微调的常见基线。
2018-09-04 cs.LG stat.ML
Inverse Reinforcement Learning for Marketing
NYU Tandon School of Engineering（纽约大学坦顿工程学院）
本文提出利用逆强化学习研究动态消费者需求，通过最大熵方法构建可 tractable 模型，展示观测噪声可能被误认为消费者异质性。
2017-12-13 cs.AI cs.CE cs.LG
AdCraft: An Advanced Reinforcement Learning Benchmark Environment for Search Engine Marketing Optimization
System1
AdCraft是一个面向SEM竞价与预算优化的强化学习基准环境，通过模拟随机非平稳场景，评估算法鲁棒性并揭示稀疏性挑战。
2023-11-14 cs.AI cs.LG
