Optimal Execution Using Reinforcement Learning
The Hong Kong University of Science and Technology(香港科技大学)
本研究探讨加密货币的最优订单执行问题,首次通过对齐多交易所数据提取跨交易所信号,并验证了该信号能为基于强化学习的智能体决策提供额外信息,从而促进最优执行过程。
2023-06-19 cs.LG q-fin.TR
Optimal Execution with Reinforcement Learning
本研究通过强化学习开发最优执行策略,利用限价订单簿特征在高频下最大化控制,并使用ABIDES模拟器克服历史数据局限,结果显示强化学习智能体优于标准策略,为实际交易提供基础。
2025-11-01 cs.LG q-fin.TR
On Semi-Markov Suboptimality in Hierarchical Reinforcement Learning
本文识别分层强化学习中执行与策略次优性,提出统一价值函数和广义贝尔曼方程,实现独立执行选择与改进,实验验证互补收益。
2026-10-06 cs.AI cs.LG
Multi-agent deep reinforcement learning with centralized training and decentralized execution for transportation infrastructure management
organization= Department of Civil;Environmental Engineering , addressline= The Pennsylvania State University , city= University Park , postcode= 16802 , state= PA , country= USA;organization= Faculty of Architecture \& the Built Environment , addressline= Delft University of Technology , postcode= 2628 BL , state= Delft , country= The Netherlands
本文提出DDMAC-CTDE框架,用于交通基础设施管理中的多智能体深度强化学习,通过集中训练与分布式执行解决高维状态和动作空间问题,并在基准环境中验证其有效性。
2026-02-25 cs.AI cs.LG cs.MA
PTDE: Personalized Training with Distilled Execution for Multi-Agent Reinforcement Learning
Renmin University of China(中国人民大学);SenseTime(商汤科技);Huawei(华为);JD Explore Academy(京东探索研究院)
本文提出多智能体强化学习新范式PTDE,通过为每个智能体定制并蒸馏全局信息至局部信息,在去中心化执行时保持性能,显著提升SMAC、GRF和LTR等基准表现。
2024-04-20 cs.AI cs.LG cs.MA
Energy-Aware Multi-Agent Reinforcement Learning for Collaborative Execution in Mission-Oriented Drone Networks
Colby College(科尔比学院);Columbia University(哥伦比亚大学)
针对任务型无人机网络协同执行的能量与轨迹设计挑战,提出基于多智能体强化学习的协同执行模型,以电池电量驱动设计,实现高任务成功率。
2024-10-29 cs.AI cs.LG cs.MA
Optimisation of Resource Allocation in Heterogeneous Wireless Networks Using Deep Reinforcement Learning
African Institute for Mathematical Sciences, South Africa(非洲数学科学研究所,南非);University of Cape Town, South Africa(开普敦大学,南非)
本文提出基于深度强化学习的近实时RAN智能控制器,通过联合优化发射功率、带宽切片和用户调度,减少能耗并提升用户公平性。
2026-04-07 cs.LG cs.NI eess.SP
Centralised rehearsal of decentralised cooperation: Multi-agent reinforcement learning for the scalable coordination of residential energy flexibility
Department of Engineering Science, University of Oxford(牛津大学工程科学系);Department of Computer Science, University of Liverpool(利物浦大学计算机科学系)
本文提出采用集中式但因子化 critic 的深度多智能体 actor-critic 方法,在执行前排练住宅能源协调,实现可扩展、隐私保护且训练成本显著降低的分布式控制。
2023-06-05 cs.LG cs.MA cs.SY
An Initial Introduction to Cooperative Multi-Agent Reinforcement Learning
Northeastern University(东北大学)
本文是协同多智能体强化学习的导论,梳理了CTE、CTDE、DTE三类方法的核心概念、典型算法与相关研究,还探讨了认知误区、方法关联及开放问题。
2026-09-24 cs.LG cs.MA
Hybrid-Adaptive Thread Tuning to Mitigate Simulation Execution Bottlenecks in High-Performance Reinforcement Learning Inference
College of Systems Engineering, National University of Defense Technology(国防科技大学系统工程学院);College of Computer Science and Technology, National University of Defense Technology(国防科技大学计算机科学与技术学院)
该研究针对仿真闭环RL推理的线程资源匹配问题,提出AutoThread方法,结合PINO与M/M/1排队模型并辅以在线微调,显著提升了推理的加速比与吞吐量。
2026-08-07 cs.LG cs.MA cs.PF
Online Antenna Tuning in Heterogeneous Cellular Networks with Deep Reinforcement Learning
University of Texas at Austin(德克萨斯大学奥斯汀分校)
我们的目标是共同优化天线倾斜角,垂直和水平半功率波束宽度的宏蜂窝在异构蜂窝网络(HetNet)。细胞之间的相互作用,最明显的是由于它们的耦合干扰,使得这种优化非常复杂。利用单代理强化学习(RL)算法进行这种优化变得相当次优,尽管其可扩展性,而多代理RL算法产生更好的解决方案,在牺牲可扩展性。因此,我们提出了一个折衷的算法之间的这两个。具体而言,首先在离线阶段中利用多代理平均场RL算法,以便将信息作为第二(在线)阶段单代理RL算法的特征进行传递,该算法采用深度神经网络来学习用户位置。这种两步方法是实际部署的实用解决方案,它应该自动适应网络中的环境变化。我们的研究结果表明,该算法的性能接近多智能体RL,这需要数百万次试验,数百次在线试验,假设相对较低的环境动态,并表现得比单智能体RL好得多。此外,所提出的算法是紧凑的和可实现的,并根据经验似乎提供了性能保证,无论环境动态的量。
2019-06-17 cs.LG stat.ML
Towards End to End Motion Planning and Execution for Autonomous Underwater Vehicles Using Reinforcement Learning
University of Haifa(海法大学)
提出分层强化学习架构,将原始传感器数据直接映射为推进器指令,实现AUV端到端运动规划与执行,在HoloOcean仿真中轨迹长度接近RRT*基线(误差4%-6%),并具备鲁棒性。
2026-06-07 cs.LG cs.RO cs.SY
Efficient Action Robust Reinforcement Learning with Probabilistic Policy Execution Uncertainty
University of California, Davis(加州大学戴维斯分校);Northwestern University(西北大学)
本文研究带概率策略执行不确定性的动作鲁棒强化学习问题,证明最优策略存在性并给出Bellman最优方程,提出ARRLC算法实现极小极大最优遗憾与样本复杂度,实验验证其在动作扰动下性能更优、收敛更快。
2023-07-20 cs.AI cs.LG math.OC
Message-Dropout: An Efficient Training Method for Multi-Agent Deep Reinforcement Learning
KAIST(韩国科学技术院)
在本文中,我们提出了一种新的学习技术,称为消息丢弃,以提高性能的多智能体深度强化学习在两个应用场景:1)经典的多智能体强化学习与代理之间的直接消息通信和2)集中式训练与分散执行。在第一个应用场景中的多代理系统,其中代理之间的直接消息通信是允许的,消息丢弃技术放弃了从其他代理接收到的消息,在一个块的方式与一定的概率在训练阶段,并补偿这种影响,通过乘以权重的丢失块单元的校正概率。应用的消息丢弃技术有效地处理了多智能体强化学习中增加的输入维度,并使学习对执行阶段的通信错误具有鲁棒性。在第二个应用场景的集中训练与分散执行,我们特别考虑的应用程序提出的消息丢弃多代理深度确定性策略梯度(MADDPG),它使用一个集中的批评训练每个代理的分散演员。我们评估了几个游戏的建议的消息丢弃技术,数值结果表明,建议的消息丢弃技术与适当的丢弃率提高强化学习的性能显着的训练速度和执行阶段的稳态性能。
2019-02-18 cs.AI cs.LG cs.MA
Centralized Training with Hybrid Execution in Multi-Agent Reinforcement Learning
INESC-ID(INESC-ID(系统与计算机工程研究所));Instituto Superior Técnico, University of Lisbon(里斯本大学高等技术学院)
本文提出混合执行范式与 hybrid-POMDP 形式化,并通过集中训练的自回归预测方法 MARO 估计缺失观测,使智能体在任意通信水平下稳健协作。
2023-06-05 cs.LG
A Modular Framework for Reinforcement Learning Optimal Execution
Zurich University of Applied Sciences(苏黎世应用科学大学)
在这篇文章中,我们开发了一个模块化框架,用于将强化学习应用于最优交易执行问题。该框架的设计考虑了灵活性,以简化不同模拟设置的实施。而不是专注于代理和优化方法,我们专注于环境,并分解必要的要求,以模拟强化学习框架下的最佳交易执行,如数据预处理,观察的构建,动作处理,子订单执行,模拟基准,奖励计算等。探讨它们各自的实现所面临的困难以及它们之间的相互作用,并讨论每个组件在模拟中引起的不同现象,突出模拟与真实市场行为之间的差异。我们通过一个设置展示了我们的模块化实现,该设置遵循时间加权平均价格(TWAP)订单提交时间表,允许代理专门下限价订单,通过迭代限价订单簿(LOB)的快照来模拟它们的执行,并计算奖励作为TWAP基准算法遵循相同时间表实现的价格的改进。我们还开发了评估程序,其中包括在训练范围的间隔内对给定代理进行迭代再训练和评估,模仿代理在不断重新训练时的行为,因为新的市场数据变得可用,并模仿算法提供商在当前监管框架下必须执行的监控实践。
2022-08-11 cs.CE cs.LG
Amplifying the Imitation Effect for Reinforcement Learning of UCAV's Mission Execution
University of Yonsei(延世大学)
本文提出了一种新的强化学习(RL)算法,通过放大模仿效应(AIE)来增强探索。该算法由自模仿学习和随机网络蒸馏算法组成。我们认为,这两个算法相辅相成,这两个算法相结合,可以放大模仿效果的探索。此外,通过向RL代理频繁访问的状态添加固有惩罚奖励,并在使用探索奖励时使用重放记忆来学习特征状态,所提出的方法导致深度探索并偏离当前的收敛策略。通过在二维网格环境中的实验,验证了算法的探索性能。最后,将该算法应用于无人作战飞机(UCAV)任务执行的仿真环境中,实验结果表明,该算法能够有效地找到UCAV规避敌方导弹的最短飞行路径。
2019-01-17 cs.AI cs.LG
From semantics to execution: Integrating action planning with reinforcement learning for robotic causal problem-solving
强化学习是在噪声条件下鲁棒地执行低级别机器人控制的适当且成功的方法。符号行动计划有助于解决因果依赖关系,并将因果关系复杂的问题分解为一系列更简单的高级行动。这两种方法的集成的一个问题是,行动规划是基于离散的高级动作和状态空间,而强化学习通常是由连续的奖励函数驱动。然而,强化学习的最新进展,特别是通用价值函数逼近器和事后经验重放,都集中在基于稀疏奖励的目标无关方法上。在本文中,我们建立在这些新方法的基础上,通过利用奖励稀疏性作为高级和低级状态和控制空间之间的桥梁,促进行动规划与强化学习的集成。因此,我们证明了集成的神经符号的方法是能够解决对象操作问题,涉及工具使用和非平凡的因果依赖关系在嘈杂的条件下,利用数据和知识。
2019-12-08 cs.AI cs.LG cs.RO
Bridging the Sim-to-Real Gap in Reinforcement Learning-Based Industrial Dispatching through Execution Semantics
Department of Industrial Engineering(工业工程系);Rosenheim Technical University of Applied Sciences(罗森海姆应用技术大学)
提出一个策略无关的执行与测量层,通过构建决策有效快照、定义标准化执行合约并记录结果分歧,将执行不确定性转化为可观测的结构化数据,从而弥合仿真与现实的差距。
2026-05-27 cs.AI cs.LG
TradeR: Practical Deep Hierarchical Reinforcement Learning for Trade Execution
University of Toronto(多伦多大学);RBC Capital Markets(加拿大皇家银行资本市场)
强化学习(RL)的进步跨越了各种各样的应用,推动了这一领域的发展。虽然应用程序任务作为现实世界问题的合适基准,但RL很少用于由突发动态组成的实际场景。这使得人们可以根据实际挑战重新思考问题设置。我们提出了使用强化学习(TradeR)的交易执行,旨在通过将交易制定为现实世界的分层RL问题来解决灾难和惊喜最小化这两个实际挑战。通过这个镜头,TradeR利用分层RL对2019财年COVID 19股票市场崩盘期间的高频真实市场体验执行交易出价。该框架利用基于能量的计划,结合惊喜值函数估计和最小化惊喜。在对标准普尔500指数的35个股票符号进行的大规模研究中,TradeR展示了对价格突然变化和灾难性损失的鲁棒性,同时保持盈利结果。我们希望我们的工作可以作为RL应用于实际问题的激励示例。
2021-02-16 cs.AI cs.LG q-fin.TR
Reinforcement Learning in Queue-Reactive Models: Application to Optimal Execution
ORFE, Princeton University(ORFE,普林斯顿大学);CMAP, École Polytechnique(CMAP,巴黎高等学院);Scuola Normale Superiore(高等师范大学);Intesa Sanpaolo(意昂萨帕洛)
针对元订单最优执行问题,本文结合队列反应模型的限价订单簿模拟,训练双重深度Q网络智能体,其策略可适应订单簿状态,在多种配置下表现优于标准方法。
2025-11-19 cs.LG q-fin.TR
Double Distillation Network for Multi-Agent Reinforcement Learning
School of Computer Science and Engineering, University of Electronic Science and Technology of China(电子科技大学计算机科学与工程学院);School of Automation Engineering, University of Electronic Science and Technology of China(电子科技大学自动化工程学院)
本文提出双重蒸馏网络(DDN),通过外部蒸馏调和全局训练与局部执行差距,并利用内部蒸馏引入内在奖励增强探索,从而提升多智能体协作性能。
2025-02-05 cs.LG cs.MA
Learn Continuously, Act Discretely: Hybrid Action-Space Reinforcement Learning For Optimal Execution
Huawei EI Innovation Lab(华为EI创新实验室);E Fund Innovation Lab(易方达创新实验室)
在算法交易中,最优执行是一个节约成本的序贯决策问题。研究发现,强化学习(RL)可以帮助确定订单拆分大小。然而,一个问题仍然没有解决:如何在适当的限价下限价订单?关键的挑战在于行动空间的“连续-离散二元性”。一方面,使用价格变化百分比的连续行动空间更适合推广。另一方面,由于最小价格变动单位的存在,交易者最终需要离散地选择限价,这需要针对具有不同特征的每只股票进行专业化(例如,流动性和价格范围)。因此,我们需要连续控制的泛化和离散控制的专业化。为此,我们提出了一种混合RL方法,结合两者的优点。我们首先使用一个连续的控制代理范围的动作子集,然后部署一个细粒度的代理选择一个特定的限制价格。大量的实验表明,我们的方法具有更高的样本效率和更好的训练稳定性比现有的强化学习算法和显着优于以前的学习为基础的方法的订单执行。
2022-07-22 cs.LG q-fin.TR
POSET-RL: Phase ordering for Optimizing Size and Execution Time using Reinforcement Learning
IIT Hyderabad(印度理工学院海得拉巴分校)
几个应用程序的不断增加的内存需求导致了嵌入式设备可能无法满足的需求增加。在这种情况下,限制内存的使用至关重要。重要的是,这种代码大小的改进不应该对运行时产生负面影响。在优化代码大小的同时改善执行时间是一项重要的任务。现代编译器中标准优化序列的顺序是固定的,并且由编译器领域专家基于他们的专业知识来创建。然而,这种排序是次优的,并且不能很好地推广到所有情况。我们提出了一个基于强化学习的解决方案的阶段排序问题,其中排序提高了执行时间和代码大小。我们提出了两种不同的方法来建模的序列:一个手动排序,和其他基于一个图称为奥兹依赖图(ODG)。我们的方法使用最少的数据作为训练集,并与LLVM集成。我们在SPEC-CPU 2006、SPEC-CPU 2017和MiBench的基准测试中展示了x86和AArch 64架构的结果。我们观察到,在SPEC 2017基准测试中,基于ODG的拟议模型在大小和执行时间方面均优于当前的Oz序列,平均分别为6.19%和11.99%。
2022-07-27 cs.LG cs.PL
Role-Adaptive Policy Optimization for Offline Reinforcement Learning
Hanyang University(汉阳大学)
针对离线强化学习中策略正则化角色耦合问题,提出角色自适应策略优化(RAPO),按价值学习与执行角色独立调整更新系数,在D4RL任务上超越TD3+BC和IQL基线。
2026-10-01 cs.LG
HarnessMDP: Learning to Control LLM Agent Harnesses with Offline Reinforcement Learning
University of Toronto(多伦多大学);Emory University(埃默里大学)
研究提出将大语言模型智能体的执行框架视为可学习控制层,通过有限 horizon 的框架马尔可夫决策过程,利用离线强化学习训练轻量级控制器,在多领域实验中改进验证行为、提高任务质量,证明框架控制可学习且离线支持有局限。
2026-10-16 cs.AI cs.LG
A New Framework for Multi-Agent Reinforcement Learning -- Centralized Training and Exploration with Decentralized Execution via Policy Distillation
Victoria University of Wellington(惠灵顿维多利亚大学)
深度强化学习(DRL)是人工智能的一个蓬勃发展的领域。DRL的许多实际应用自然涉及多个协作学习者,因此在多智能体环境中研究DRL非常重要。以往的研究表明,在复杂的多智能体系统中的有效学习需要高度协调的环境探索所有参与的代理。许多研究者试图通过学习集中式价值函数来应对这一挑战。然而,每个代理直接学习本地政策的共同策略往往无法培养强大的代理间合作,并且每当代理改变其沟通渠道时,可能会出现样本效率低下的情况。为了解决这些问题,我们提出了一个新的框架,称为集中式培训和探索,通过政策蒸馏分散执行。在此框架和最大熵学习技术的指导下,我们将首先训练具有共享全局组件的代理策略,以促进协调和有效的学习。本地可执行的策略随后将通过策略提炼从经过训练的全局策略中导出。实验表明,我们的新框架和算法可以实现显着更好的性能和更高的样本效率比一个尖端的基线多代理DRL基准。
2019-10-21 cs.LG stat.ML
Gym-Ignition: Reproducible Robotic Simulations for Reinforcement Learning
Istituto Italiano di Tecnologia(意大利理工学院);University of Manchester(曼彻斯特大学)
本文介绍了体操点火,一个新的框架,创造可再生的机器人环境的强化学习研究。它与新一代的Gazebo接口,这是Ignition Robotics套件的一部分,与替代品相比,它为强化学习应用提供了三个主要改进:1)模块化架构使模拟器能够作为C++库使用,简化了与外部软件的互连; 2)多个物理和渲染引擎作为插件支持,简化了执行过程中的选择; 3)新的分布式仿真能力允许在多个工人和机器上分担负载的同时仿真复杂的场景。Gym-Ignition的核心是一个包含Ignition Gazebo模拟器的组件,并为其配置和执行提供了一个简单的接口。我们提供了一个Python包,允许开发人员在Ignition Gazebo中创建模拟的机器人环境。环境公开了通用的OpenAI Gym接口,使其与包含强化学习算法的第三方框架开箱即用。模拟可以在无头和GUI模式下执行,物理引擎可以在加速模式下运行,实例可以并行化。此外,Gym-Ignition软件架构提供了Robot和Task的抽象,使环境与特定的运行时无关。这种抽象允许它们在实际的机器人平台上实时执行,即使是由不同的中间件驱动。
2019-12-02 cs.DC cs.LG cs.RO
A Semi Centralized Training Decentralized Execution Architecture for Multi Agent Deep Reinforcement Learning in Traffic Signal Control
Faculty of Computer Science and Engineering, Shahid Beheshti University(沙希德·贝赫什提大学计算机科学与工程学院)
本文提出SEMI-CTDE架构,通过区域划分实现多交叉口交通信号控制,结合集中训练与分布式执行,提升性能与适应性。
2026-03-29 cs.AI cs.LG cs.MA
Towards Generalizable Reinforcement Learning for Trade Execution
Microsoft Research(微软研究院);IIIS, Tsinghua University(清华大学智能产业研究院)
针对交易执行场景下现有强化学习方法过拟合严重的问题,本文将任务建模为带动态上下文的离线强化学习框架,推导泛化界并提出上下文紧凑表示学习方法,经高保真模拟器验证可有效缓解过拟合、提升性能。
2023-05-12 cs.LG q-fin.TR stat.ML
From Simulation to Real World Maneuver Execution using Deep Reinforcement Learning
VisLab - University of Parma(帕尔马大学 VisLab);VisLab srl, an Ambarella Inc. company(VisLab 有限公司,安霸公司旗下企业)
深度强化学习已被证明能够解决不同领域的许多控制任务,但这些系统在部署到现实场景中时,其行为并不总是像预期的那样。这主要是由于模拟和真实世界数据之间缺乏领域自适应,以及训练和测试数据集之间缺乏区别。在这项工作中,我们调查这些问题在自动驾驶领域,特别是为回旋插入的机动规划模块。特别是,我们提出了一个基于多个环境的系统,其中代理同时进行训练,评估模型在不同场景中的行为。最后,我们分析了旨在减少模拟和真实世界数据之间差距的技术,表明这增加了系统在不可见和真实世界场景中的泛化能力。
2021-04-28 cs.AI cs.LG cs.RO
Communication-Enhanced Tutoring for Efficient Decentralized Multi-Agent Reinforcement Learning
University of Warsaw(华沙大学);IDEAS Research Institute(IDEAS研究机构);Institute of Fundamental Technological Research, Polish Academy of Sciences(波兰科学院基础技术研究所);IDEAS NCBR;Warsaw University of Technology(华沙技术大学)
MACTAS通过自注意力机制实现多智能体强化学习中的智能体间通信,结合动作-价值函数分解,提供可微通信方法,实现大规模系统的高效训练与高性能表现。
2026-08-06 cs.LG cs.MA
An Efficient Distributed Multi-Agent Reinforcement Learning for EV Charging Network Control
University of Kansas(堪萨斯大学)
针对电动汽车普及带来的配电网变压器过载风险问题,本文提出一种保护用户隐私的去中心化多智能体强化学习充电框架,采用CTDE-DDPG方案实现集中训练分散执行,可降低充电网络成本与总需求峰均比,减少高峰时段变压器过载风险。
2023-08-24 cs.LG cs.MA cs.SY
Deep Stock Trading: A Hierarchical Reinforcement Learning Framework for Portfolio Optimization and Order Execution
Nanyang Technological University(南洋理工大学);WeBank Co. Ltd.(微众银行股份有限公司)
通过强化学习进行投资组合管理是金融科技研究的前沿,该研究探索如何通过试错法在长期内将资金最佳地重新分配到不同的金融资产中。现有的方法是不切实际的,因为它们通常假设每次重新分配可以立即完成,从而忽略了作为交易成本的一部分的价格滑点。为了解决这些问题,我们提出了一个分层加强证券交易系统的投资组合管理(HRPM)。具体而言,我们将交易过程分解为交易执行的投资组合管理层次,并对相应的策略进行训练。高级策略以较低的频率给出投资组合权重,以最大化长期利润,并调用低级策略在较短的时间窗口内以较高的频率出售或购买相应的股票,以最小化交易成本。我们通过预训练方案和迭代训练方案对两个级别的策略进行训练,以提高数据效率。在美国市场和中国市场的大量实验结果表明,HRPM实现了许多国家的最先进的方法显着改善。
2021-02-07 cs.AI cs.LG
Hierarchical Reinforcement Learning for Optimal Agent Grouping in Cooperative Systems
London School of Economics(伦敦政治经济学院)
针对协作多智能体系统的分组配对问题,提出结合CTDE范式、置换不变网络与option-critic算法的分层强化学习方法,可同时学习最优分组与智能体策略,实现高效可扩展的动态协调决策。
2025-01-11 cs.AI cs.LG cs.MA
On Jointly Optimizing Partial Offloading and SFC Mapping: A Cooperative Dual-agent Deep Reinforcement Learning Approach
Southwest Jiaotong University(西南交通大学)
多接入边缘计算(MEC)和网络功能虚拟化(NFV)是支持新兴物联网应用的有前途的技术,特别是那些计算密集型应用。在支持NFV的MEC环境中,服务功能链(SFC),即,一组有序的虚拟网络功能(VNF)可以被映射到MEC服务器上。移动设备(MD)可以将计算密集型应用(可以由SFC表示)全部或部分卸载到MEC服务器以供远程执行。本文研究了支持NFV的MEC系统中的部分卸载和SFC映射联合优化(POSMJO)问题,其中传入任务可以划分为两部分,一部分用于本地执行,另一部分用于远程执行。目标是最大限度地减少长期的平均成本,这是执行延迟,MD的能耗和边缘计算的使用费用的组合。该问题包括两个密切相关的决策步骤,即任务划分和VNF放置,这是非常复杂和具有挑战性的。为了解决这个问题,我们提出了一个合作的双代理深度强化学习(CDADRL)算法,在那里我们设计了一个框架,使两个代理之间的互动。仿真结果表明,该算法在累积和平均情节奖励方面优于三种深度强化学习算法组合,在执行延迟、能耗和使用费用方面优于许多基线算法。
2022-05-20 cs.AI cs.LG cs.NI
Graph-Reward-SQL: Execution-Free Reinforcement Learning for Text-to-SQL via Graph Matching and Stepwise Reward
Beijing University of Posts and Telecommunications(北京邮电大学);ByteDance(字节跳动);Institute of Data Science, National University of Singapore(新加坡国立大学数据科学研究所)
针对现有Text-to-SQL强化学习奖励模型延迟高、内存开销大的问题,提出基于图匹配的Graph-Reward-SQL框架与分步奖励模型StepRTM,在保证奖励准确的同时提升效率,在标准基准上性能优于现有方法。
2025-10-03 cs.DB cs.LG cs.PL
ReaCritic: Reasoning Transformer-based DRL Critic-model Scaling For Wireless Networks
Department of Electrical and Electronic Engineering, University of Hong Kong(香港大学电子与电气工程系)
ReaCritic通过引入基于推理的变压器结构,提升DRL在无线网络中的适应性和性能表现。
2026-02-18 cs.LG cs.NI
The Rollout Infrastructure Tax in Coding-Agent Reinforcement Learning
Daytona
研究四种执行环境(单容器、托管沙箱、Kubernetes编排容器、云虚拟机)在编码智能体RL中的冷启动延迟和工人工时差异,发现优化执行基础设施可显著提升训练效率。
2026-07-03 cs.DC cs.LG
RMIX: Learning Risk-Sensitive Policies for Cooperative Reinforcement Learning Agents
School of Computer Science and Engineering, Nanyang Technological University(南洋理工大学计算机科学与工程学院);Department of Computer Science and Engineering, Hong Kong University of Science and Technology(香港科技大学计算机科学与工程学系)
当前基于值的多智能体强化学习方法通过分散执行的集中式训练(CTDE)来优化个体Q值以指导个体的行为。然而,这种预期,即,风险中性,由于激励的随机性和环境的不确定性,即使使用CTDE,Q值也不够,这导致这些方法无法在复杂环境中训练协调Agent的训练。为了解决这些问题,我们提出了RMIX,一种新的合作MARL方法与条件风险价值(CVaR)的措施,个人的Q值的学习分布。具体来说,我们首先学习个人的回报分布,以分析计算分散执行的CVaR。然后,为了处理在执行过程中的随机结果的时间性质,我们提出了一个动态的风险水平预测器的风险水平调整。最后,我们优化了CVaR策略,CVaR值用于在集中训练期间估计TD误差中的目标,CVaR值用作辅助局部奖励,通过分位数回归损失来更新局部分布。经验上,我们表明,我们的方法显着优于国家的最先进的方法,具有挑战性的星际争霸II的任务,表现出增强的协调和提高样本效率。
2021-03-22 cs.LG cs.MA
Image-Based Deep Reinforcement Learning with Intrinsically Motivated Stimuli: On the Execution of Complex Robotic Tasks
The University of Auckland(奥克兰大学)
本文提出NaSA-TD3,一种结合新颖性与惊讶内在刺激的基于图像的深度强化学习方法,用于改善稀疏奖励下复杂机器人任务的探索效率,并在模拟和真实环境中优于现有方法。
2024-07-31 cs.AI cs.LG
EnvPool: A Highly Parallel Reinforcement Learning Environment Execution Engine
Sea AI Lab(Sea人工智能实验室);Drexel University(德雷塞尔大学);Snap(Snap公司);NVIDIA(英伟达);National University of Singapore(新加坡国立大学);Carnegie Mellon University(卡内基梅隆大学);Peking University(北京大学);OpenAI
在开发强化学习(RL)训练系统方面已经取得了重大进展。过去的工作,如IMPALA,Apex,Seed RL,Sample Factory等,旨在提高系统的整体吞吐量。在本文中,我们的目标是解决RL培训系统中的一个常见瓶颈,即,并行环境执行,这通常是整个系统中最慢的部分,但很少受到关注。通过针对并行RL环境的精心设计,我们提高了不同硬件设置的RL环境模拟速度,从笔记本电脑和普通工作站到高端机器(如NVIDIA DGX-A100)。在高端机器上,EnvPool在Atari环境中的环境执行速度达到每秒100万帧,在MuJoCo环境中达到每秒300万帧。在笔记本电脑上运行EnvPool时,速度是Python子进程的2.8倍。此外,在开源社区中已经证明了与现有RL训练库的良好兼容性,包括CleanRL,rl_games,DeepMind Acme等。最后,EnvPool允许研究人员以更快的速度验证他们的想法,并具有成为事实上的RL环境执行引擎的巨大潜力。示例运行表明,训练代理在笔记本电脑上玩Atari Pong和MuJoCo Ant只需要五分钟。EnvPool在https://github.com/sail-sg/envpool上开源。
2022-10-12 cs.AI cs.DC cs.LG
Off-Beat Multi-Agent Reinforcement Learning
Nanyang Technological University(南洋理工大学);Tianjin University(天津大学);Netease, Inc.(网易公司)
我们研究了无模型多智能体强化学习(MARL)在环境中的异常行为是普遍的,即,所有动作都具有预先设置的执行持续时间。在执行期间,环境变化受动作执行的影响,但不与动作执行同步。这样的设置在许多现实问题中是普遍存在的。然而,大多数MARL方法假设动作在推理后立即执行,这通常是不现实的,并且可能导致具有非节拍动作的多智能体协调的灾难性失败。为了填补这一空白,我们开发了一个算法框架的MARL与非拍的行动。然后,我们针对无模型MARL算法提出了一种新型的情景记忆LeGEM。LeGEM通过利用主体的个体经验建立主体的情景记忆。它通过解决具有挑战性的时间信用分配问题提出了通过我们的新的奖励再分配方案,减轻非马尔可夫奖励的问题,从而提高多智能体学习。我们评估LeGEM在各种多智能体场景中的非常规行动,包括Stag-Hunter游戏,采石场游戏,Affiliate游戏和星际争霸II微观管理任务。实验结果表明,LeGEM显著提高了多智能体的协调能力,取得了领先的性能,提高了样本效率。
2022-06-19 cs.AI cs.LG cs.MA
Increasing Energy Efficiency of Massive-MIMO Network via Base Stations Switching using Reinforcement Learning and Radio Environment Maps
Poznań University of Technology(波兹南理工大学);Institute of Radiocommunications(无线电通信研究所)
在考虑大规模多输入多输出(M-MIMO)网络时,能量效率(EE)是非常重要的,其中基站(BS)配备有由多达数百个元件组成的天线阵列。M-MIMO传输虽然频谱效率很高,但会导致高能耗随着天线数量的增加而增加。本文研究了通过打开/关闭未充分利用的BS来改善EE。建议使用位置感知方法,其中关于最佳活动BS集合的数据存储在无线电环境地图(REM)中。为了有效地获取、处理和利用REM数据,使用强化学习(RL)算法。评估了最先进的勘探/开发方法,包括e-greedy,上置信限(UCB)和梯度Bandit。在此基础上,提出了解析动作滤波和基于REM的探索算法(REM-EA)来提高RL的收敛速度。算法评估使用先进的系统级模拟器的M-MIMO异构网络(HetNet)利用精确的三维射线跟踪无线电信道模型。建议的RL为基础的BS切换算法被证明是提供70%的收益,在EE超过一个国家的最先进的算法,使用分析启发式。此外,所提出的动作滤波和REM-EA可以减少RL收敛时间相对于性能最好的国家的最先进的探索方法,分别由60%和83%。
2021-03-08 cs.IT cs.LG cs.NI
Strict Subgoal Execution: Reliable Long-Horizon Planning in Hierarchical Reinforcement Learning
Graduate School of Artificial Intelligence(人工智能研究生院);Ulsan National Institute of Science and Technology (UNIST)(釜山国立科学与技术研究所);Ulsan, South Korea(韩国釜山)
本文提出严格子目标执行(SSE)框架,通过前沿经验回放(FER)分离不可达与可接受的子目标,提高高层决策效率,从而在长horizon任务中实现更可靠的规划。
2026-05-20 cs.AI cs.LG
Hierarchically Structured Scheduling and Execution of Tasks in a Multi-Agent Environment
INESC-ID(里斯本系统与计算机工程研究所);Instituto Superior Técnico, University of Lisbon(里斯本大学高等技术学院);Zebra Technologies(斑马技术公司)
在仓库环境中,任务是动态出现的。因此,过早地将他们与劳动力相匹配的任务管理系统(例如,提前几周)是次优的。此外,这种系统的动作空间的快速增加的大小构成了传统调度器的一个重要问题。然而,强化学习适合于处理需要为长期目标(通常是远程目标)做出连续决策的问题。在这项工作中,我们设置自己的一个问题,提出了一个层次结构:任务调度,由一个集中的代理,在一个动态的仓库多智能体环境和执行这样的时间表,由分散的代理,只有部分的可观测性。我们建议使用深度强化学习来解决高级调度问题和调度执行的低级多代理问题。最后,我们还设想的情况下,集中化是不可能的,在测试时,工人必须学会如何合作,在执行任务的环境中,没有时间表,只有部分可观测性。
2022-03-06 cs.LG cs.MA stat.ML
Execution-based Code Generation using Deep Reinforcement Learning
Virginia Tech(弗吉尼亚理工学院)
针对现有代码生成方法忽略代码序列级特征的问题,提出结合预训练PL模型与PPO强化学习的PPOCoder框架,利用执行反馈优化模型,在多任务多语言上显著提升编译成功率和功能正确性。
2023-07-19 cs.AI cs.CL cs.LG
Multi-Agent Deep Reinforcement Learning with Adaptive Policies
University of Science and Technology of China(中国科学技术大学)
针对多智能体强化学习(RL)中的非平稳性问题,提出了一种新的解决方法。这违反了大多数单智能体RL方法的马尔可夫假设,是多智能体RL的关键挑战之一。为了解决这个问题,我们建议训练多个政策,为每个代理,并推迟执行时的最佳政策的选择。具体来说,我们模拟环境的非平稳性与一组有限的场景和训练政策适合每个场景。除了多个策略之外,每个代理还学习策略预测器,以确定哪个策略是最好的。通过这样做,每个代理都能够在环境变化时调整其策略,并且因此其他代理在执行期间更改其策略。我们在文献中为多智能体深度RL提出的各种常见基准问题上对我们的方法进行了经验评估。我们的实验结果表明,我们的算法训练的代理人有更好的适应性,在不断变化的环境中,并在所有测试环境中优于国家的最先进的方法。
2019-11-28 cs.AI cs.LG cs.MA
Agent Modelling under Partial Observability for Deep Reinforcement Learning
School of Informatics(信息学院);University of Edinburgh(爱丁堡大学)
对其他代理人的行为进行建模对于理解代理人如何互动和做出有效决策至关重要。现有的代理建模方法通常假设在执行过程中的本地观测和选定的动作的建模代理的知识。为了消除这一假设,我们提取表示从本地信息的控制代理使用编码器-解码器架构。在训练过程中使用建模代理的观察和动作,我们的模型学习提取仅以受控代理的局部观察为条件的建模代理的表示。这些表示用于增强受控代理的决策策略,该策略通过深度强化学习进行训练;因此,在执行期间,该策略不需要访问其他代理的信息。我们提供了一个全面的评估和消融研究在合作,竞争和混合的多智能体环境中,表明我们的方法实现了更高的回报比基线方法,不使用学习的表示。
2021-11-09 cs.LG cs.MA stat.ML
Scalable Reinforcement Learning Policies for Multi-Agent Control
University of Pennsylvania(宾夕法尼亚大学)
我们开发了一个多智能体强化学习(MARL)方法来学习可扩展的目标跟踪控制策略。我们的方法可以处理任意数量的追求者和目标,我们显示的任务组成的1000个追求者跟踪1000个目标的结果。我们使用一个分散的,部分可观察的马尔可夫决策过程框架模型的追求者作为代理接收部分观察(范围和轴承)的目标,使用固定的,未知的政策。使用注意力机制来参数化代理的价值函数;该机制允许我们处理任意数量的目标。熵正则化的政策外RL方法用于训练一个随机的政策,我们讨论它如何使追求者之间的对冲行为,导致一个弱形式的合作,尽管完全分散控制执行。我们进一步开发了一个掩蔽启发式算法,允许在较小的问题上进行训练,很少有追求者目标,并且可以在更大的问题上执行。彻底的模拟实验,消融研究,并比较最先进的算法进行研究的方法和性能的鲁棒性,以不同数量的代理和目标的可扩展性。
2021-11-10 cs.LG cs.MA
MABL: Bi-Level Latent-Variable World Model for Sample-Efficient Multi-Agent Reinforcement Learning
Carnegie Mellon University(卡内基梅隆大学);Indian Institute of Technology, Madras(马德拉斯印度理工学院)
提出基于双层隐变量世界模型的MARL算法MABL,通过在训练时编码全局信息并保证分布式执行,显著提升了样本效率和整体性能。
2024-02-13 cs.LG cs.MA
Reinforcement Learning for Execution under Dynamic Fees in a Closed-Loop DEX Simulator
研究在闭环去中心化交易所模拟器中,针对动态费用下的执行问题,采用构建最小闭环模拟器及小深度Q网络的方法,得出该方法能减少执行缺口,且优势集中在动态费用环境中的结论。
2026-07-14 cs.LG q-fin.CP stat.ML
Universal Trading for Order Execution with Oracle Policy Distillation
Microsoft Research Asia(微软亚洲研究院)
订单执行是算法交易中的一个基本问题,其目的是完成特定交易订单,无论是清算还是收购。为了实现有效的执行策略,近年来已经见证了从基于模型的市场假设的分析视角到无模型视角的转变,即,强化学习,由于其顺序决策优化的性质。然而,政策可以利用的嘈杂但不完美的市场信息使得建立样本有效的强化学习方法来实现有效的订单执行变得非常具有挑战性。在本文中,我们提出了一个新的通用的交易政策优化框架,以弥合之间的差距嘈杂但不完美的市场状态和订单执行的最佳行动序列。特别地,该框架利用策略蒸馏方法,该策略蒸馏方法可以更好地引导具有完美信息的oracle教师对公共策略的学习朝向实际上的最优执行,以近似最优交易策略。大量的实验表明,我们的方法在各种强基线上有了显着的改进,并采取了合理的交易行动。
2021-01-28 cs.LG q-fin.TR
Deep Implicit Coordination Graphs for Multi-agent Reinforcement Learning
Stanford University(斯坦福大学);Microsoft(微软);MIT Lincoln Labs(麻省理工学院林肯实验室)
多智能体强化学习(MARL)需要协调来有效地解决某些任务。由于联合行动空间的大小,完全集中式控制在这些领域通常是不可行的。基于协调图的形式化允许基于交互结构的联合动作的推理。但是,它们在设计中通常需要领域专业知识。本文介绍了这种情况下的深层隐式协调图(DICG)架构。DICG包括用于推断动态协调图结构的模块,该动态协调图结构然后被基于图神经网络的模块用来学习隐式地推理联合动作或值。DICG允许通过标准的行动者-批评者方法学习完全集中和分散之间的权衡,以显着提高具有大量代理的域的协调。我们将DICG应用于集中培训集中执行和集中培训分散执行制度。我们证明,DICG解决了相对过度泛化的病理捕食-猎物的任务,以及优于各种MARL基线上具有挑战性的星际争霸II多智能体挑战赛(SMAC)和交通路口的环境。
2021-02-03 cs.AI cs.LG cs.MA