RLgraph: Modular Computation Graphs for Deep Reinforcement Learning
University of Cambridge(剑桥大学);rlcore;Helmut Schmidt University(赫尔穆特·施密特大学)
强化学习(RL)任务的实现、执行和测试具有挑战性,这是由于算法的不稳定性、超参数敏感性和异构分布式通信模式。我们主张分离的逻辑组件组成,后端图形定义,和分布式执行。为此,我们引入RLgraph,一个用于在静态图和运行定义范式中设计和执行强化学习任务的库。由此产生的实现是健壮的,可增量测试的,并在不同的深度学习框架和分布式后端之间产生高性能。
2019-02-28 cs.AI cs.LG stat.ML
Towards Understanding the Link Between Modularity and Performance in Neural Networks for Reinforcement Learning
School of Information Technology;Electrical Engineering The University of Queensland Brisbane, Australia
本文利用 NEAT 神经进化和 MAP-Elites 在三项强化学习任务中分析模块化与性能的关系,发现二者受网络及环境特征共同制约,直接优化模块化未必有益。
2024-10-25 cs.LG cs.NE
Optimal Execution with Reinforcement Learning
本研究通过强化学习开发最优执行策略,利用限价订单簿特征在高频下最大化控制,并使用ABIDES模拟器克服历史数据局限,结果显示强化学习智能体优于标准策略,为实际交易提供基础。
2025-11-01 cs.LG q-fin.TR
Assessing Policy, Loss and Planning Combinations in Reinforcement Learning using a New Modular Architecture
INESC-ID / Instituto Superior Técnico(INESC-ID / 里斯本高等理工学院)
基于模型的强化学习范式使用规划算法和神经网络模型,最近在各种应用中取得了前所未有的成果,导致了现在被称为深度强化学习的东西。这些代理人是相当复杂的,涉及多个组件,因素,可以创造研究的挑战。在这项工作中,我们提出了一种适合这些类型代理的新模块化软件架构,以及一组可以轻松重用和组装的构建块,以构建新的基于基于模型的强化学习代理。这些构建块包括规划算法、策略和损失函数。我们说明了使用这种架构相结合的几个这些构建块来实现和测试代理,优化到三个不同的测试环境:Cartpole,Minigrid和Tictactoe。一个特定的规划算法,在我们的实现中可用,以前没有在强化学习中使用,我们称之为平均极大极小,在三个测试环境中取得了良好的效果。用这种结构进行的实验表明,规划算法、策略和损失函数的最佳组合严重依赖于问题。这一结果提供了证据表明,所提出的架构,这是模块化和可重用的,是有用的强化学习研究人员谁想要研究新的环境和技术。
2022-01-08 cs.AI cs.LG
skrl: Modular and Flexible Library for Reinforcement Learning
Mondragon Unibertsitatea(蒙德拉贡大学);Aalborg University(奥尔堡大学)
skrl是一个用Python编写的用于强化学习的开源模块化库,其设计重点是算法实现的可读性,简单性和透明度。除了支持使用OpenAI Gym和DeepMind传统界面的环境外,它还提供加载、配置和操作NVIDIA Isaac Gym和NVIDIA Omniverse Isaac Gym环境的工具。此外,它还可以同时训练具有可定制范围(所有可用环境中的环境子集)的多个代理,这些代理可以在同一次运行中共享资源,也可以不共享资源。该库的文档可以在https://skrl.readthedocs.io上找到,其源代码可以在GitHub https://github.com/Toni-SM/skrl上找到。
2022-07-09 cs.AI cs.LG
RAIL: A modular framework for Reinforcement-learning-based Adversarial Imitation Learning
The University of Texas at Austin(得克萨斯大学奥斯汀分校);US Army Research Laboratory(美国陆军研究实验室);Sony AI(索尼人工智能)
虽然对抗性模仿学习(AIL)算法最近在各种模仿学习基准测试中取得了最先进的结果,但目前还不清楚各种设计决策对性能的影响。为此,我们在这里提出了一个有组织的,模块化的框架,称为强化学习为基础的对抗性模仿学习(RAIL),包括和概括现有的AIL方法的一个流行的子类。使用RAIL所支持的观点,我们创建了两个新的IfO(Imitation from Observation)算法,我们称之为SAIfO:基于SAC的对抗性模仿来自观察和SILEM(Skilling Feature Compensation for模仿学习with Embodiment Mismatch)。我们将在单独的技术报告中更深入地介绍SILEM。在本文中,我们专注于SAIfO,在OpenAI Gym的一系列运动任务上对其进行评估,并表明它优于执行IfO的同期RAIL算法。
2021-05-08 cs.LG
Distributed Optimization of Modular Production Systems using Model-based Reinforcement Learning with Inverse Models
South Westphalia University of Applied Sciences(南威斯特法伦应用科学大学);Hochschule Düsseldorf University of Applied Sciences(杜塞尔多夫应用科学大学)
本文提出一种基于逆模型的模型强化学习框架,用于模块化制造系统的分布式优化,通过分离执行与状态动力学,提升训练速度与性能,尤其在离策略算法中效果显著。
2026-09-11 cs.AI cs.LG cs.SY
SLM Lab: A Comprehensive Benchmark and Modular Software Framework for Reproducible Deep Reinforcement Learning
California Institute of Technology(加州理工学院)
我们介绍SLM实验室,一个可重复的强化学习(RL)研究的软件框架。SLM Lab实现了许多流行的RL算法,提供同步和异步并行实验执行,超参数搜索和结果分析。SLM Lab中的RL算法以模块化的方式实现,因此算法性能的差异可以自信地归因于算法之间的差异,而不是实现之间的差异。在这项工作中,我们提出了SLM实验室背后的设计选择,并使用它来产生一个全面的单代码库RL算法基准。此外,由于SLM实验室的模块化设计,我们引入并评估了Soft Actor-Critic算法的离散动作变体(Haarnoja等人,2018)和RL代理的混合同步/异步训练方法。
2019-12-28 cs.AI cs.LG stat.ML
On Semi-Markov Suboptimality in Hierarchical Reinforcement Learning
本文识别分层强化学习中执行与策略次优性,提出统一价值函数和广义贝尔曼方程,实现独立执行选择与改进,实验验证互补收益。
2026-10-06 cs.AI cs.LG
Heterogeneous Knowledge for Augmented Modular Reinforcement Learning
University College London(伦敦大学学院);University of Bologna(博洛尼亚大学)
针对现有模块化强化学习模块同构、难整合多源异构知识的问题,提出AMRL框架,通过选择器组合异构模块,实现性能、效率与泛化性提升,并探讨了相关安全等问题。
2024-10-31 cs.AI cs.LG
Low-Rank Modular Reinforcement Learning via Muscle Synergy
Tsinghua University(清华大学);Harvard University(哈佛大学)
模块化强化学习(RL)通过学习每个执行器的策略来分散多关节机器人的控制。先前关于模块化RL的工作已经证明了它能够通过共享执行器策略控制形态上不同的代理。然而,随着机器人的自由度(DoF)的增加,训练一个形态可推广的模块化控制器变得指数级困难。受人类中枢神经系统控制众多肌肉的方式的启发,我们提出了一个协同导向的学习(SOLAR)框架,该框架利用了DoF在机器人控制中的冗余性。通过无监督学习方法将致动器分组为协同,并且学习协同动作以同步控制多个致动器。通过这种方式,我们实现了一个低级别的控制在协同水平。我们广泛评估我们的方法在各种机器人形态,结果表明其优越的效率和推广性,特别是在机器人与一个大的自由度像Humanoids++和UNIMALs。
2022-10-26 cs.AI cs.LG cs.RO
Centralized Training with Hybrid Execution in Multi-Agent Reinforcement Learning
INESC-ID(INESC-ID(系统与计算机工程研究所));Instituto Superior Técnico, University of Lisbon(里斯本大学高等技术学院)
本文提出混合执行范式与 hybrid-POMDP 形式化,并通过集中训练的自回归预测方法 MARO 估计缺失观测,使智能体在任意通信水平下稳健协作。
2023-06-05 cs.LG
A Goal-Oriented Reinforcement Learning-Based Path Planning Algorithm for Modular Self-Reconfigurable Satellites
State Key Laboratory of Micro-Spacecraft Rapid Design(微航天快速设计国家重点实验室);Intelligent Cluster, Harbin Institute of Technology, Harbin(哈尔滨工业大学)
本文提出一种面向目标的强化学习路径规划算法,首次解决模块化自重构卫星的多目标构型问题,并结合后见经验回放与无效动作掩码,在四单元和六单元集群中分别实现95%和73%的成功率。
2025-07-22 cs.AI cs.LG cs.RO
Modular Deep Reinforcement Learning with Temporal Logic Specifications
University of Oxford(牛津大学)
我们提出了一个演员批评,无模型,和在线强化学习(RL)框架的连续状态连续动作马尔可夫决策过程(MDP)时,奖励是高度稀疏的,但包括一个高层次的时间结构。我们表示这个时间结构的有限状态机和构建一个在飞行中的同步产品与MDP和有限机。时间结构作为产品内的RL代理的指南,其中提出了模块化深度确定性策略梯度(DDPG)架构来生成低级控制策略。我们评估我们的框架在火星探测器实验中,我们提出的合成政策的成功率。
2019-11-22 cs.AI cs.LG cs.LO
Efficient Action Robust Reinforcement Learning with Probabilistic Policy Execution Uncertainty
University of California, Davis(加州大学戴维斯分校);Northwestern University(西北大学)
本文研究带概率策略执行不确定性的动作鲁棒强化学习问题,证明最优策略存在性并给出Bellman最优方程,提出ARRLC算法实现极小极大最优遗憾与样本复杂度,实验验证其在动作扰动下性能更优、收敛更快。
2023-07-20 cs.AI cs.LG math.OC
Amplifying the Imitation Effect for Reinforcement Learning of UCAV's Mission Execution
University of Yonsei(延世大学)
本文提出了一种新的强化学习(RL)算法,通过放大模仿效应(AIE)来增强探索。该算法由自模仿学习和随机网络蒸馏算法组成。我们认为,这两个算法相辅相成,这两个算法相结合,可以放大模仿效果的探索。此外,通过向RL代理频繁访问的状态添加固有惩罚奖励,并在使用探索奖励时使用重放记忆来学习特征状态,所提出的方法导致深度探索并偏离当前的收敛策略。通过在二维网格环境中的实验,验证了算法的探索性能。最后,将该算法应用于无人作战飞机(UCAV)任务执行的仿真环境中,实验结果表明,该算法能够有效地找到UCAV规避敌方导弹的最短飞行路径。
2019-01-17 cs.AI cs.LG
Hierarchical Modular Reinforcement Learning Method and Knowledge Acquisition of State-Action Rule for Multi-target Problem
Prefectural University of Hiroshima(广岛县立大学);Iyo Bank, Ltd.(伊予银行有限公司)
分层模块化强化学习(Hierarchical Modular Reinforcement Learning,HMRL)由两层学习组成,其中利润分享在高层规划猎物位置,Q学习方法在低层训练状态动作到目标。本文将HMRL扩展到多目标问题,考虑目标间的距离。该函数称为“AT场”,可以根据两个代理之间的距离和另一个代理的优势/劣势来估计代理的利益。此外,与状态-动作规则相关的知识由C4.5提取。在这种情况下的行动是通过使用所获得的知识来决定的。为了验证所提出的方法的有效性,一些实验结果的报告。
2018-04-08 cs.AI cs.LG cs.MA
Beyond Tabula-Rasa: a Modular Reinforcement Learning Approach for Physically Embedded 3D Sokoban
DeepMind(深度思维)
智能机器人需要使用具体的、时空复杂的感觉信息和运动控制来实现抽象的目标。Tabula rasa深度强化学习(RL)已经解决了视觉、抽象或物理推理方面的高要求任务,但联合解决这些问题仍然是一个艰巨的挑战。最近,一个未解决的基准任务是Mujoban,它集成了这些挑战,其中机器人需要安排从2D推箱子拼图生成的3D仓库。我们探讨了像Mujoban这样的集成任务是否可以通过将RL模块组合在一起来解决,其中模块具有类似于经典机器人架构的明确定义的角色。与通常基于模型的经典架构不同,我们仅使用通过RL或监督学习训练的无模型模块。我们发现,我们的模块化RL方法大大优于Mujoban上最先进的单片RL代理。此外,当例如,使用不同的机器人平台来解决相同的任务。总之,我们的研究结果为研究模块化RL设计的重要性提供了强有力的证据。项目网址:https://sites.google.com/view/modular-rl/
2020-10-03 cs.AI cs.LG cs.RO
Multi-Task Reinforcement Learning with Soft Modularization
UC San Diego(加州大学圣迭戈分校);UC Berkeley(加州大学伯克利分校);IIIS, Tsinghua(清华大学交叉信息研究院)
多任务学习是强化学习中一个非常具有挑战性的问题。虽然联合训练多个任务允许策略在不同任务之间共享参数,但优化问题变得不简单:仍然不清楚网络中的哪些参数应该在任务之间重用,以及来自不同任务的梯度如何相互干扰。因此,而不是天真地在任务之间共享参数,我们引入了一个明确的模块化技术的政策表示,以减轻这个优化问题。给定一个基本策略网络,我们设计了一个路由网络,估计不同的路由策略,以重新配置每个任务的基本网络。我们的任务特定策略不是直接为每个任务选择路由,而是使用一种称为软模块化的方法来软组合所有可能的路由,这使得它适用于顺序任务。我们在仿真中对各种机器人操作任务进行了实验,并表明我们的方法在强基线上大幅提高了样本效率和性能。
2020-12-07 cs.AI cs.LG cs.RO
Role-Adaptive Policy Optimization for Offline Reinforcement Learning
Hanyang University(汉阳大学)
针对离线强化学习中策略正则化角色耦合问题,提出角色自适应策略优化(RAPO),按价值学习与执行角色独立调整更新系数,在D4RL任务上超越TD3+BC和IQL基线。
2026-10-01 cs.LG
Mixture-of-World Models: Scaling Multi-Task Reinforcement Learning with Modular Latent Dynamics
School of Automation, Beijing Institute of Technology(自动化学院,北京理工大学);Jiangxing Intelligence Inc.(江行智能有限公司)
混合世界模型通过模块化架构和任务聚类策略,在多任务强化学习中实现了高效的参数利用和样本效率,展示了在Atari和Meta-World基准上的卓越性能。
2026-02-01 cs.LG
Bridging the Sim-to-Real Gap in Reinforcement Learning-Based Industrial Dispatching through Execution Semantics
Department of Industrial Engineering(工业工程系);Rosenheim Technical University of Applied Sciences(罗森海姆应用技术大学)
提出一个策略无关的执行与测量层,通过构建决策有效快照、定义标准化执行合约并记录结果分歧,将执行不确定性转化为可观测的结构化数据,从而弥合仿真与现实的差距。
2026-05-27 cs.AI cs.LG
An Introduction to Centralized Training for Decentralized Execution in Cooperative Multi-Agent Reinforcement Learning
Northeastern University(东北大学)
本文介绍了协作多智能体强化学习中集中式训练去中心化执行(CTDE)的基本概念、设定与常用方法,阐述其相较于其他范式的优势及适用场景。
2024-09-04 cs.LG cs.MA
Reinforcement Learning in Queue-Reactive Models: Application to Optimal Execution
ORFE, Princeton University(ORFE,普林斯顿大学);CMAP, École Polytechnique(CMAP,巴黎高等学院);Scuola Normale Superiore(高等师范大学);Intesa Sanpaolo(意昂萨帕洛)
针对元订单最优执行问题,本文结合队列反应模型的限价订单簿模拟,训练双重深度Q网络智能体,其策略可适应订单簿状态,在多种配置下表现优于标准方法。
2025-11-19 cs.LG q-fin.TR
A modular framework for stabilizing deep reinforcement learning control
University of British Columbia(不列颠哥伦比亚大学);Honeywell Process Solutions(霍尼韦尔过程解决方案公司)
提出一种结合深度强化学习与Youla-Kucera参数化的模块化反馈控制器设计框架,利用数据驱动内部模型和神经网络实现非线性稳定算子,在保证稳定性的同时具备无模型优势,并在双水箱系统仿真中验证了有效性。
2023-04-07 cs.LG cs.SY eess.SY
Modular Lifelong Reinforcement Learning via Neural Composition
University of Pennsylvania(宾夕法尼亚大学);Microsoft Research(微软研究院)
人类通常通过将复杂问题分解为更容易的子问题,然后组合子问题解决方案来解决复杂问题。这种类型的组合推理允许在处理共享部分底层组合结构的未来任务时重用子问题解决方案。在持续或终身的强化学习(RL)设置中,这种将知识分解为可重用组件的能力将使代理能够通过利用累积的组合结构快速学习新的RL任务。我们探索了一种基于神经模块的组合形式,并提出了一组RL问题,直观地承认组合解决方案。从经验上讲,我们证明,神经组成确实抓住了这个空间的问题的底层结构。我们进一步提出了一种组合终身RL方法,该方法利用累积的神经组件来加速未来任务的学习,同时通过离线RL在重放的经验上保留先前任务的性能。
2022-07-01 cs.AI cs.LG
Modular Object-Oriented Games: A Task Framework for Reinforcement Learning, Psychology, and Neuroscience
Massachusetts Institute of Technology(麻省理工学院);Center for Brains, Minds and Machines, MIT(麻省理工学院脑、心智与机器中心);McGovern Institute of Brain Research, MIT(麻省理工学院麦戈文脑科学研究所)
近年来,研究模拟游戏的趋势在人工智能、认知科学、心理学和神经科学领域获得了动力。这些领域的交叉点最近也有所增长,因为研究人员越来越多地使用人工代理和人类或动物主题来研究此类游戏。然而,实现游戏可能是一项耗时的工作,并且可能需要研究人员处理不容易定制的复杂代码库。此外,研究人工智能、人类心理学和动物神经生理学的跨学科研究人员面临着额外的挑战,因为现有的平台只针对其中一个领域。在这里,我们介绍模块化面向对象游戏,这是一个轻量级,灵活,可定制的Python任务框架,专为机器学习,心理学和神经生理学研究人员设计。
2021-02-25 cs.AI cs.LG q-bio.NC
Modular Networks Prevent Catastrophic Interference in Model-Based Multi-Task Reinforcement Learning
Institute for Neural Computation(神经计算研究所);Ruhr-University Bochum(波鸿鲁尔大学)
在多任务强化学习环境中,学习者通常通过利用多个相关任务之间的相似性来从多个相关任务的训练中受益。与此同时,经过训练的代理能够解决更广泛的不同问题。虽然这种影响是有据可查的无模型多任务方法,我们证明了一个不利的影响时,使用一个单一的学习动力学模型的多个任务。因此,我们解决了一个基本问题,即基于模型的多任务强化学习是否可以像无模型方法从共享策略网络中受益那样从共享动态模型中受益。使用一个单一的动力学模型,我们看到了任务混乱和性能下降的明显证据。作为补救措施,通过为每个任务训练隔离的子网络来强制学习的动态模型的内部结构,在使用相同数量的参数的同时显著提高了性能。我们说明了我们的研究结果,通过比较两种方法在一个简单的gridworld和一个更复杂的vizdoom多任务实验。
2021-11-15 cs.AI cs.LG
FlowRL: A Taxonomy and Modular Framework for Reinforcement Learning with Diffusion Policies
提出扩散/流策略强化学习算法的统一分类法,构建模块化JAX框架,在多个基准上提供系统比较,为算法设计与应用提供指导。
2026-06-16 cs.LG
From semantics to execution: Integrating action planning with reinforcement learning for robotic causal problem-solving
强化学习是在噪声条件下鲁棒地执行低级别机器人控制的适当且成功的方法。符号行动计划有助于解决因果依赖关系,并将因果关系复杂的问题分解为一系列更简单的高级行动。这两种方法的集成的一个问题是,行动规划是基于离散的高级动作和状态空间,而强化学习通常是由连续的奖励函数驱动。然而,强化学习的最新进展,特别是通用价值函数逼近器和事后经验重放,都集中在基于稀疏奖励的目标无关方法上。在本文中,我们建立在这些新方法的基础上,通过利用奖励稀疏性作为高级和低级状态和控制空间之间的桥梁,促进行动规划与强化学习的集成。因此,我们证明了集成的神经符号的方法是能够解决对象操作问题,涉及工具使用和非平凡的因果依赖关系在嘈杂的条件下,利用数据和知识。
2019-12-08 cs.AI cs.LG cs.RO
Adaptable Automation with Modular Deep Reinforcement Learning and Policy Transfer
Northeastern University(东北大学)
深度强化学习(RL)的最新进展为智能自动化创造了前所未有的机会,机器可以自主学习执行给定任务的最佳策略。然而,目前的深度强化学习算法主要专注于窄范围的任务,样本效率低下,缺乏足够的稳定性,这反过来又阻碍了它们的工业应用。本文通过开发和测试基于任务模块化和迁移学习概念的Hyper-Actor Soft Actor-Critic(HASAC)RL框架来解决这一限制。建议的HASAC的目标是提高一个代理的适应性,以新的任务,通过一个“超演员”的前任务的学习政策转移到新的任务。HASAC框架进行了测试,一个新的虚拟机器人操作基准,元世界。数值实验表明,HASAC在奖励值、成功率和任务完成时间方面优于最先进的深度RL算法。
2020-11-27 cs.AI cs.HC cs.LG
Learn Continuously, Act Discretely: Hybrid Action-Space Reinforcement Learning For Optimal Execution
Huawei EI Innovation Lab(华为EI创新实验室);E Fund Innovation Lab(易方达创新实验室)
在算法交易中,最优执行是一个节约成本的序贯决策问题。研究发现,强化学习(RL)可以帮助确定订单拆分大小。然而,一个问题仍然没有解决:如何在适当的限价下限价订单?关键的挑战在于行动空间的“连续-离散二元性”。一方面,使用价格变化百分比的连续行动空间更适合推广。另一方面,由于最小价格变动单位的存在,交易者最终需要离散地选择限价,这需要针对具有不同特征的每只股票进行专业化(例如,流动性和价格范围)。因此,我们需要连续控制的泛化和离散控制的专业化。为此,我们提出了一种混合RL方法,结合两者的优点。我们首先使用一个连续的控制代理范围的动作子集,然后部署一个细粒度的代理选择一个特定的限制价格。大量的实验表明,我们的方法具有更高的样本效率和更好的训练稳定性比现有的强化学习算法和显着优于以前的学习为基础的方法的订单执行。
2022-07-22 cs.LG q-fin.TR
POSET-RL: Phase ordering for Optimizing Size and Execution Time using Reinforcement Learning
IIT Hyderabad(印度理工学院海得拉巴分校)
几个应用程序的不断增加的内存需求导致了嵌入式设备可能无法满足的需求增加。在这种情况下,限制内存的使用至关重要。重要的是,这种代码大小的改进不应该对运行时产生负面影响。在优化代码大小的同时改善执行时间是一项重要的任务。现代编译器中标准优化序列的顺序是固定的,并且由编译器领域专家基于他们的专业知识来创建。然而,这种排序是次优的,并且不能很好地推广到所有情况。我们提出了一个基于强化学习的解决方案的阶段排序问题,其中排序提高了执行时间和代码大小。我们提出了两种不同的方法来建模的序列:一个手动排序,和其他基于一个图称为奥兹依赖图(ODG)。我们的方法使用最少的数据作为训练集,并与LLVM集成。我们在SPEC-CPU 2006、SPEC-CPU 2017和MiBench的基准测试中展示了x86和AArch 64架构的结果。我们观察到,在SPEC 2017基准测试中,基于ODG的拟议模型在大小和执行时间方面均优于当前的Oz序列,平均分别为6.19%和11.99%。
2022-07-27 cs.LG cs.PL
Modular Multitask Reinforcement Learning with Policy Sketches
University of California, Berkeley(加州大学伯克利分校)
我们描述了一个由策略草图指导的多任务深度强化学习框架。草图用命名的子任务序列来注释任务,提供关于任务之间的高级结构关系的信息,但不提供如何实现它们-特别是不提供以前关于RL学习策略抽象的许多工作所使用的详细指导(例如,中间奖励,子任务完成信号或内在动机)。为了从草图中学习,我们提出了一个模型,该模型将每个子任务与模块化子策略相关联,并通过在共享子策略中绑定参数来联合最大化整个任务特定策略的奖励。优化是通过一个解耦的演员-评论家训练目标,促进学习共同的行为,从多个不同的奖励功能。我们评估了我们的方法在三个环境中的有效性,这些环境具有离散和连续控制,并且只有在完成一些高级别子目标后才能获得稀疏奖励。实验表明,使用我们的方法来学习由草图指导的策略,比现有的学习特定于任务或共享策略的技术具有更好的性能,同时自然地诱导出一个可解释的原始行为库,这些行为可以重新组合以快速适应新任务。
2017-06-17 cs.LG cs.NE
TradeR: Practical Deep Hierarchical Reinforcement Learning for Trade Execution
University of Toronto(多伦多大学);RBC Capital Markets(加拿大皇家银行资本市场)
强化学习(RL)的进步跨越了各种各样的应用,推动了这一领域的发展。虽然应用程序任务作为现实世界问题的合适基准,但RL很少用于由突发动态组成的实际场景。这使得人们可以根据实际挑战重新思考问题设置。我们提出了使用强化学习(TradeR)的交易执行,旨在通过将交易制定为现实世界的分层RL问题来解决灾难和惊喜最小化这两个实际挑战。通过这个镜头,TradeR利用分层RL对2019财年COVID 19股票市场崩盘期间的高频真实市场体验执行交易出价。该框架利用基于能量的计划,结合惊喜值函数估计和最小化惊喜。在对标准普尔500指数的35个股票符号进行的大规模研究中,TradeR展示了对价格突然变化和灾难性损失的鲁棒性,同时保持盈利结果。我们希望我们的工作可以作为RL应用于实际问题的激励示例。
2021-02-16 cs.AI cs.LG q-fin.TR
Metareasoning in Modular Software Systems: On-the-Fly Configuration using Reinforcement Learning with Rich Contextual Representations
University of Michigan, Ann Arbor(密歇根大学安娜堡分校);Microsoft Research(微软研究院)
模块化子系统的组件正在投入使用,以在运输,医疗保健和工业自动化等领域的高风险,时间紧迫的任务中执行传感,推理和决策。我们利用强化学习来指导包括系统的一组交互模块的配置,从而最大化整个计算系统的效用。进行系统范围优化的挑战是一个组合问题。通过修改特定模块的配置来提高其性能的本地尝试通常会导致系统性能的整体效用的损失,因为下游模块的输入分布会发生急剧变化。我们提出的元推理技术,考虑了丰富的输入表示,监控整个管道的状态,并调整模块的配置上的飞行,以最大限度地提高系统的操作的效用。我们在各种强化学习技术中显示了真实世界和合成管道的显着改进。
2019-05-12 cs.AI cs.LG cs.SE
ROS2Learn: a reinforcement learning framework for ROS 2
Acutronic Robotics(Acutronic机器人技术公司)
我们提出了一个新的框架,深度强化学习(DRL)模块化机器人训练机器人直接从关节状态,使用传统的机器人工具。我们使用一个国家的最先进的实现的近端策略优化,信任域策略优化和Actor-Critic Kronecker因子的信任域算法学习政策,在四个不同的模块化关节机械臂(MARA)环境。我们使用与机器人中使用的典型工具(如Gazebo和Robot操作系统2(ROS 2))通信的框架来支持此过程。我们评估了几种算法在模块化机器人与仿真的实证研究。
2019-03-18 cs.AI cs.LG cs.RO
Energy-Aware Multi-Agent Reinforcement Learning for Collaborative Execution in Mission-Oriented Drone Networks
Colby College(科尔比学院);Columbia University(哥伦比亚大学)
针对任务型无人机网络协同执行的能量与轨迹设计挑战,提出基于多智能体强化学习的协同执行模型,以电池电量驱动设计,实现高任务成功率。
2024-10-29 cs.AI cs.LG cs.MA
Stable Modular Control via Contraction Theory for Reinforcement Learning
HP-NTU Digital Manufacturing Corporate Lab(惠普-南洋理工大学数字制造企业实验室);Massachusetts Institute of Technology(麻省理工学院)
本研究提出基于收缩理论的强化学习稳定模块化控制方法,通过信号合成与动态分解实现模块化,将非线性稳定性问题转化为可代数求解的子问题,可轻松集成到分层RL等架构中并提升鲁棒性、泛化性及操作学习性能。
2023-11-07 cs.AI cs.LG cs.SY
HarnessMDP: Learning to Control LLM Agent Harnesses with Offline Reinforcement Learning
University of Toronto(多伦多大学);Emory University(埃默里大学)
研究提出将大语言模型智能体的执行框架视为可学习控制层,通过有限 horizon 的框架马尔可夫决策过程,利用离线强化学习训练轻量级控制器,在多领域实验中改进验证行为、提高任务质量,证明框架控制可学习且离线支持有局限。
2026-10-16 cs.AI cs.LG
A New Framework for Multi-Agent Reinforcement Learning -- Centralized Training and Exploration with Decentralized Execution via Policy Distillation
Victoria University of Wellington(惠灵顿维多利亚大学)
深度强化学习(DRL)是人工智能的一个蓬勃发展的领域。DRL的许多实际应用自然涉及多个协作学习者,因此在多智能体环境中研究DRL非常重要。以往的研究表明,在复杂的多智能体系统中的有效学习需要高度协调的环境探索所有参与的代理。许多研究者试图通过学习集中式价值函数来应对这一挑战。然而,每个代理直接学习本地政策的共同策略往往无法培养强大的代理间合作,并且每当代理改变其沟通渠道时,可能会出现样本效率低下的情况。为了解决这些问题,我们提出了一个新的框架,称为集中式培训和探索,通过政策蒸馏分散执行。在此框架和最大熵学习技术的指导下,我们将首先训练具有共享全局组件的代理策略,以促进协调和有效的学习。本地可执行的策略随后将通过策略提炼从经过训练的全局策略中导出。实验表明,我们的新框架和算法可以实现显着更好的性能和更高的样本效率比一个尖端的基线多代理DRL基准。
2019-10-21 cs.LG stat.ML
PTDE: Personalized Training with Distilled Execution for Multi-Agent Reinforcement Learning
Renmin University of China(中国人民大学);SenseTime(商汤科技);Huawei(华为);JD Explore Academy(京东探索研究院)
本文提出多智能体强化学习新范式PTDE,通过为每个智能体定制并蒸馏全局信息至局部信息,在去中心化执行时保持性能,显著提升SMAC、GRF和LTR等基准表现。
2024-04-20 cs.AI cs.LG cs.MA
Towards Generalizable Reinforcement Learning for Trade Execution
Microsoft Research(微软研究院);IIIS, Tsinghua University(清华大学智能产业研究院)
针对交易执行场景下现有强化学习方法过拟合严重的问题,本文将任务建模为带动态上下文的离线强化学习框架,推导泛化界并提出上下文紧凑表示学习方法,经高保真模拟器验证可有效缓解过拟合、提升性能。
2023-05-12 cs.LG q-fin.TR stat.ML
From Simulation to Real World Maneuver Execution using Deep Reinforcement Learning
VisLab - University of Parma(帕尔马大学 VisLab);VisLab srl, an Ambarella Inc. company(VisLab 有限公司,安霸公司旗下企业)
深度强化学习已被证明能够解决不同领域的许多控制任务,但这些系统在部署到现实场景中时,其行为并不总是像预期的那样。这主要是由于模拟和真实世界数据之间缺乏领域自适应,以及训练和测试数据集之间缺乏区别。在这项工作中,我们调查这些问题在自动驾驶领域,特别是为回旋插入的机动规划模块。特别是,我们提出了一个基于多个环境的系统,其中代理同时进行训练,评估模型在不同场景中的行为。最后,我们分析了旨在减少模拟和真实世界数据之间差距的技术,表明这增加了系统在不可见和真实世界场景中的泛化能力。
2021-04-28 cs.AI cs.LG cs.RO
Deep Stock Trading: A Hierarchical Reinforcement Learning Framework for Portfolio Optimization and Order Execution
Nanyang Technological University(南洋理工大学);WeBank Co. Ltd.(微众银行股份有限公司)
通过强化学习进行投资组合管理是金融科技研究的前沿,该研究探索如何通过试错法在长期内将资金最佳地重新分配到不同的金融资产中。现有的方法是不切实际的,因为它们通常假设每次重新分配可以立即完成,从而忽略了作为交易成本的一部分的价格滑点。为了解决这些问题,我们提出了一个分层加强证券交易系统的投资组合管理(HRPM)。具体而言,我们将交易过程分解为交易执行的投资组合管理层次,并对相应的策略进行训练。高级策略以较低的频率给出投资组合权重,以最大化长期利润,并调用低级策略在较短的时间窗口内以较高的频率出售或购买相应的股票,以最小化交易成本。我们通过预训练方案和迭代训练方案对两个级别的策略进行训练,以提高数据效率。在美国市场和中国市场的大量实验结果表明,HRPM实现了许多国家的最先进的方法显着改善。
2021-02-07 cs.AI cs.LG
Hybrid-Adaptive Thread Tuning to Mitigate Simulation Execution Bottlenecks in High-Performance Reinforcement Learning Inference
College of Systems Engineering, National University of Defense Technology(国防科技大学系统工程学院);College of Computer Science and Technology, National University of Defense Technology(国防科技大学计算机科学与技术学院)
该研究针对仿真闭环RL推理的线程资源匹配问题,提出AutoThread方法,结合PINO与M/M/1排队模型并辅以在线微调,显著提升了推理的加速比与吞吐量。
2026-08-07 cs.LG cs.MA cs.PF
Reinforcement Learning under Latent Dynamics: Toward Statistical and Algorithmic Modularity
Microsoft(微软公司);Google(谷歌公司)
本文从统计与算法角度研究一般潜在动力学下的强化学习,提出潜在前推可覆盖性条件以保证统计可处理性,并开发了两种可证明高效的观测到潜在约简方法,为统一理论奠定基础。
2024-10-23 cs.AI cs.LG math.OC
An Initial Introduction to Cooperative Multi-Agent Reinforcement Learning
Northeastern University(东北大学)
本文是协同多智能体强化学习的导论,梳理了CTE、CTDE、DTE三类方法的核心概念、典型算法与相关研究,还探讨了认知误区、方法关联及开放问题。
2026-09-24 cs.LG cs.MA
Decision Stacks: Flexible Reinforcement Learning via Modular Generative Models
University of California Los Angeles(加州大学洛杉矶分校)
本文提出Decision Stacks框架,将目标条件策略智能体分解为三个可并行训练的生成模块,分别模拟观测、奖励和动作的时序演化,在多个MDP和POMDP离线策略优化任务中优于现有方法。
2023-10-29 cs.AI cs.LG
Separating Ansatz Discovery from Deployment on Larger Problems: Reinforcement Learning for Modular Circuit Design
Politecnico di Milano(米兰理工大学)
本文提出了一种用于模块化电路设计的强化学习方法,通过在小规模实例上学习可重用的模块化结构,从而在更大问题上实现更高效的ansatz设计。
2026-03-01 cs.LG quant-ph
Message-Dropout: An Efficient Training Method for Multi-Agent Deep Reinforcement Learning
KAIST(韩国科学技术院)
在本文中,我们提出了一种新的学习技术,称为消息丢弃,以提高性能的多智能体深度强化学习在两个应用场景:1)经典的多智能体强化学习与代理之间的直接消息通信和2)集中式训练与分散执行。在第一个应用场景中的多代理系统,其中代理之间的直接消息通信是允许的,消息丢弃技术放弃了从其他代理接收到的消息,在一个块的方式与一定的概率在训练阶段,并补偿这种影响,通过乘以权重的丢失块单元的校正概率。应用的消息丢弃技术有效地处理了多智能体强化学习中增加的输入维度,并使学习对执行阶段的通信错误具有鲁棒性。在第二个应用场景的集中训练与分散执行,我们特别考虑的应用程序提出的消息丢弃多代理深度确定性策略梯度(MADDPG),它使用一个集中的批评训练每个代理的分散演员。我们评估了几个游戏的建议的消息丢弃技术,数值结果表明,建议的消息丢弃技术与适当的丢弃率提高强化学习的性能显着的训练速度和执行阶段的稳态性能。
2019-02-18 cs.AI cs.LG cs.MA
Compositional Learning for Modular Multi-Agent Self-Organizing Networks
Nokia Bell Labs(诺基亚贝尔实验室);Nokia(诺基亚)
本文提出组合深度强化学习与组合预测决策两种组合学习方法,通过小区级和小区对级两层模块化框架,在降低模型复杂度的同时提升多智能体自组织网络的切换、吞吐量、时延、可扩展性、收敛速度、样本效率和训练安全性。
2025-06-03 cs.LG
On Jointly Optimizing Partial Offloading and SFC Mapping: A Cooperative Dual-agent Deep Reinforcement Learning Approach
Southwest Jiaotong University(西南交通大学)
多接入边缘计算(MEC)和网络功能虚拟化(NFV)是支持新兴物联网应用的有前途的技术,特别是那些计算密集型应用。在支持NFV的MEC环境中,服务功能链(SFC),即,一组有序的虚拟网络功能(VNF)可以被映射到MEC服务器上。移动设备(MD)可以将计算密集型应用(可以由SFC表示)全部或部分卸载到MEC服务器以供远程执行。本文研究了支持NFV的MEC系统中的部分卸载和SFC映射联合优化(POSMJO)问题,其中传入任务可以划分为两部分,一部分用于本地执行,另一部分用于远程执行。目标是最大限度地减少长期的平均成本,这是执行延迟,MD的能耗和边缘计算的使用费用的组合。该问题包括两个密切相关的决策步骤,即任务划分和VNF放置,这是非常复杂和具有挑战性的。为了解决这个问题,我们提出了一个合作的双代理深度强化学习(CDADRL)算法,在那里我们设计了一个框架,使两个代理之间的互动。仿真结果表明,该算法在累积和平均情节奖励方面优于三种深度强化学习算法组合,在执行延迟、能耗和使用费用方面优于许多基线算法。
2022-05-20 cs.AI cs.LG cs.NI
A Modular and Transferable Reinforcement Learning Framework for the Fleet Rebalancing Problem
National Renewable Energy Laboratory(国家可再生能源实验室)
随需应变(MoD)系统在实现灵活高效的城市交通方面显示出巨大的潜力。然而,与国防部车辆调度和车队再平衡相关的作战决策带来了重大的技术挑战。出于这个原因,运营商倾向于采用已被证明在特定设置中工作良好的简化算法。为了帮助弥合新方法和现有方法之间的差距,我们提出了一个基于无模型强化学习(RL)的车队再平衡模块化框架,该框架可以利用现有的调度方法来最大限度地降低系统成本。特别是,通过将调度视为环境动态的一部分,集中式代理可以学习间歇地指导调度员重新定位空闲车辆并减轻车队不平衡。我们制定RL状态和动作空间的分布在网格分区的操作区域,使框架的可扩展性和避免与多智能体RL的复杂性。数值实验,使用真实世界的行程和网络数据,表明这种方法有几个明显的优势,基线方法,包括:改善系统成本;高度的适应性,选择的调度方法;和执行规模不变的迁移学习的能力,具有相似的车辆和请求分布的问题实例之间。
2021-05-27 cs.AI cs.LG cs.MA