Optimal Execution with Reinforcement Learning
本研究通过强化学习开发最优执行策略,利用限价订单簿特征在高频下最大化控制,并使用ABIDES模拟器克服历史数据局限,结果显示强化学习智能体优于标准策略,为实际交易提供基础。
2025-11-01 cs.LG q-fin.TR
Bridging the Sim-to-Real Gap in Reinforcement Learning-Based Industrial Dispatching through Execution Semantics
Department of Industrial Engineering(工业工程系);Rosenheim Technical University of Applied Sciences(罗森海姆应用技术大学)
提出一个策略无关的执行与测量层,通过构建决策有效快照、定义标准化执行合约并记录结果分歧,将执行不确定性转化为可观测的结构化数据,从而弥合仿真与现实的差距。
2026-05-27 cs.AI cs.LG
RLEF: Grounding Code LLMs in Execution Feedback with Reinforcement Learning
Meta AI (FAIR)(Meta AI(FAIR))
针对代码大语言模型迭代改进代码困难的问题,提出端到端强化学习方法RLEF以利用执行反馈,在竞赛编程任务上使8B和70B参数模型取得新SOTA,样本量减少一个数量级,且模型能多步有效利用自动反馈。
2025-02-18 cs.AI cs.CL
POSET-RL: Phase ordering for Optimizing Size and Execution Time using Reinforcement Learning
IIT Hyderabad(印度理工学院海得拉巴分校)
几个应用程序的不断增加的内存需求导致了嵌入式设备可能无法满足的需求增加。在这种情况下,限制内存的使用至关重要。重要的是,这种代码大小的改进不应该对运行时产生负面影响。在优化代码大小的同时改善执行时间是一项重要的任务。现代编译器中标准优化序列的顺序是固定的,并且由编译器领域专家基于他们的专业知识来创建。然而,这种排序是次优的,并且不能很好地推广到所有情况。我们提出了一个基于强化学习的解决方案的阶段排序问题,其中排序提高了执行时间和代码大小。我们提出了两种不同的方法来建模的序列:一个手动排序,和其他基于一个图称为奥兹依赖图(ODG)。我们的方法使用最少的数据作为训练集,并与LLVM集成。我们在SPEC-CPU 2006、SPEC-CPU 2017和MiBench的基准测试中展示了x86和AArch 64架构的结果。我们观察到,在SPEC 2017基准测试中,基于ODG的拟议模型在大小和执行时间方面均优于当前的Oz序列,平均分别为6.19%和11.99%。
2022-07-27 cs.LG cs.PL
From semantics to execution: Integrating action planning with reinforcement learning for robotic causal problem-solving
强化学习是在噪声条件下鲁棒地执行低级别机器人控制的适当且成功的方法。符号行动计划有助于解决因果依赖关系,并将因果关系复杂的问题分解为一系列更简单的高级行动。这两种方法的集成的一个问题是,行动规划是基于离散的高级动作和状态空间,而强化学习通常是由连续的奖励函数驱动。然而,强化学习的最新进展,特别是通用价值函数逼近器和事后经验重放,都集中在基于稀疏奖励的目标无关方法上。在本文中,我们建立在这些新方法的基础上,通过利用奖励稀疏性作为高级和低级状态和控制空间之间的桥梁,促进行动规划与强化学习的集成。因此,我们证明了集成的神经符号的方法是能够解决对象操作问题,涉及工具使用和非平凡的因果依赖关系在嘈杂的条件下,利用数据和知识。
2019-12-08 cs.AI cs.LG cs.RO
TradeR: Practical Deep Hierarchical Reinforcement Learning for Trade Execution
University of Toronto(多伦多大学);RBC Capital Markets(加拿大皇家银行资本市场)
强化学习(RL)的进步跨越了各种各样的应用,推动了这一领域的发展。虽然应用程序任务作为现实世界问题的合适基准,但RL很少用于由突发动态组成的实际场景。这使得人们可以根据实际挑战重新思考问题设置。我们提出了使用强化学习(TradeR)的交易执行,旨在通过将交易制定为现实世界的分层RL问题来解决灾难和惊喜最小化这两个实际挑战。通过这个镜头,TradeR利用分层RL对2019财年COVID 19股票市场崩盘期间的高频真实市场体验执行交易出价。该框架利用基于能量的计划,结合惊喜值函数估计和最小化惊喜。在对标准普尔500指数的35个股票符号进行的大规模研究中,TradeR展示了对价格突然变化和灾难性损失的鲁棒性,同时保持盈利结果。我们希望我们的工作可以作为RL应用于实际问题的激励示例。
2021-02-16 cs.AI cs.LG q-fin.TR
HarnessMDP: Learning to Control LLM Agent Harnesses with Offline Reinforcement Learning
University of Toronto(多伦多大学);Emory University(埃默里大学)
研究提出将大语言模型智能体的执行框架视为可学习控制层,通过有限 horizon 的框架马尔可夫决策过程,利用离线强化学习训练轻量级控制器,在多领域实验中改进验证行为、提高任务质量,证明框架控制可学习且离线支持有局限。
2026-10-16 cs.AI cs.LG
Energy-Aware Multi-Agent Reinforcement Learning for Collaborative Execution in Mission-Oriented Drone Networks
Colby College(科尔比学院);Columbia University(哥伦比亚大学)
针对任务型无人机网络协同执行的能量与轨迹设计挑战,提出基于多智能体强化学习的协同执行模型,以电池电量驱动设计,实现高任务成功率。
2024-10-29 cs.AI cs.LG cs.MA
Learning to Model Optimization Problems from Solver Outcomes
School of Computer Science and Engineering, Nanjing University of Science and Technology(南京理工大学计算机科学与工程学院);School of Intelligence Science and Technology, Nanjing University(南京大学智能科学与技术学院);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
本文提出EVOM框架,通过将数学规划求解器作为确定性验证器,利用强化学习生成并执行求解代码,实现高效的优化建模。实验表明EVOM在多个数据集上表现优异,支持零样本求解器迁移和低成本适应。
2026-10-30 cs.AI cs.CL
PTDE: Personalized Training with Distilled Execution for Multi-Agent Reinforcement Learning
Renmin University of China(中国人民大学);SenseTime(商汤科技);Huawei(华为);JD Explore Academy(京东探索研究院)
本文提出多智能体强化学习新范式PTDE,通过为每个智能体定制并蒸馏全局信息至局部信息,在去中心化执行时保持性能,显著提升SMAC、GRF和LTR等基准表现。
2024-04-20 cs.AI cs.LG cs.MA
Deep Stock Trading: A Hierarchical Reinforcement Learning Framework for Portfolio Optimization and Order Execution
Nanyang Technological University(南洋理工大学);WeBank Co. Ltd.(微众银行股份有限公司)
通过强化学习进行投资组合管理是金融科技研究的前沿,该研究探索如何通过试错法在长期内将资金最佳地重新分配到不同的金融资产中。现有的方法是不切实际的,因为它们通常假设每次重新分配可以立即完成,从而忽略了作为交易成本的一部分的价格滑点。为了解决这些问题,我们提出了一个分层加强证券交易系统的投资组合管理(HRPM)。具体而言,我们将交易过程分解为交易执行的投资组合管理层次,并对相应的策略进行训练。高级策略以较低的频率给出投资组合权重,以最大化长期利润,并调用低级策略在较短的时间窗口内以较高的频率出售或购买相应的股票,以最小化交易成本。我们通过预训练方案和迭代训练方案对两个级别的策略进行训练,以提高数据效率。在美国市场和中国市场的大量实验结果表明,HRPM实现了许多国家的最先进的方法显着改善。
2021-02-07 cs.AI cs.LG
From Simulation to Real World Maneuver Execution using Deep Reinforcement Learning
VisLab - University of Parma(帕尔马大学 VisLab);VisLab srl, an Ambarella Inc. company(VisLab 有限公司,安霸公司旗下企业)
深度强化学习已被证明能够解决不同领域的许多控制任务,但这些系统在部署到现实场景中时,其行为并不总是像预期的那样。这主要是由于模拟和真实世界数据之间缺乏领域自适应,以及训练和测试数据集之间缺乏区别。在这项工作中,我们调查这些问题在自动驾驶领域,特别是为回旋插入的机动规划模块。特别是,我们提出了一个基于多个环境的系统,其中代理同时进行训练,评估模型在不同场景中的行为。最后,我们分析了旨在减少模拟和真实世界数据之间差距的技术,表明这增加了系统在不可见和真实世界场景中的泛化能力。
2021-04-28 cs.AI cs.LG cs.RO
A Modular Framework for Reinforcement Learning Optimal Execution
Zurich University of Applied Sciences(苏黎世应用科学大学)
在这篇文章中,我们开发了一个模块化框架,用于将强化学习应用于最优交易执行问题。该框架的设计考虑了灵活性,以简化不同模拟设置的实施。而不是专注于代理和优化方法,我们专注于环境,并分解必要的要求,以模拟强化学习框架下的最佳交易执行,如数据预处理,观察的构建,动作处理,子订单执行,模拟基准,奖励计算等。探讨它们各自的实现所面临的困难以及它们之间的相互作用,并讨论每个组件在模拟中引起的不同现象,突出模拟与真实市场行为之间的差异。我们通过一个设置展示了我们的模块化实现,该设置遵循时间加权平均价格(TWAP)订单提交时间表,允许代理专门下限价订单,通过迭代限价订单簿(LOB)的快照来模拟它们的执行,并计算奖励作为TWAP基准算法遵循相同时间表实现的价格的改进。我们还开发了评估程序,其中包括在训练范围的间隔内对给定代理进行迭代再训练和评估,模仿代理在不断重新训练时的行为,因为新的市场数据变得可用,并模仿算法提供商在当前监管框架下必须执行的监控实践。
2022-08-11 cs.CE cs.LG
Centralized Training with Hybrid Execution in Multi-Agent Reinforcement Learning
INESC-ID(INESC-ID(系统与计算机工程研究所));Instituto Superior Técnico, University of Lisbon(里斯本大学高等技术学院)
本文提出混合执行范式与 hybrid-POMDP 形式化,并通过集中训练的自回归预测方法 MARO 估计缺失观测,使智能体在任意通信水平下稳健协作。
2023-06-05 cs.LG
Message-Dropout: An Efficient Training Method for Multi-Agent Deep Reinforcement Learning
KAIST(韩国科学技术院)
在本文中,我们提出了一种新的学习技术,称为消息丢弃,以提高性能的多智能体深度强化学习在两个应用场景:1)经典的多智能体强化学习与代理之间的直接消息通信和2)集中式训练与分散执行。在第一个应用场景中的多代理系统,其中代理之间的直接消息通信是允许的,消息丢弃技术放弃了从其他代理接收到的消息,在一个块的方式与一定的概率在训练阶段,并补偿这种影响,通过乘以权重的丢失块单元的校正概率。应用的消息丢弃技术有效地处理了多智能体强化学习中增加的输入维度,并使学习对执行阶段的通信错误具有鲁棒性。在第二个应用场景的集中训练与分散执行,我们特别考虑的应用程序提出的消息丢弃多代理深度确定性策略梯度(MADDPG),它使用一个集中的批评训练每个代理的分散演员。我们评估了几个游戏的建议的消息丢弃技术,数值结果表明,建议的消息丢弃技术与适当的丢弃率提高强化学习的性能显着的训练速度和执行阶段的稳态性能。
2019-02-18 cs.AI cs.LG cs.MA
Memory-Induced Supra-Competitive Outcomes Between Deep Reinforcement Learning Agents in Optimal Trade Execution
Institute of Finance and Technology, University College London(金融与技术研究所,伦敦大学学院);UZH Blockchain Center(苏黎世大学区块链中心)
本文研究了在共享的最优执行环境中交互的深度强化学习代理是否能维持超竞争性结果,即在实现短损方面优于博弈论竞争基准。研究了一个双代理阿尔梅伦-克里斯特流动性清算游戏,并探讨了学习行为如何依赖于回合内环境反馈、解读中间价格的能力以及代理对过去的了解。我们首先使用事前调度学习代理来去除回合内反馈,以确定当代理在执行开始前承诺完成清算轨迹时会发生什么。然后允许代理使用多种DDQN架构根据演进的状态进行条件判断。我们发现,当代理能够访问回合内历史,特别是近期价格和自身过去行为时,超竞争性结果变得更加频繁和持久。这些发现表明,这种执行游戏中的超竞争性行为并非由多代理学习或当前价格观察单独驱动,而是由反馈、记忆和沿实际执行路径的状态依赖性交互驱动。
2026-05-19 cs.AI q-fin.CP
On Jointly Optimizing Partial Offloading and SFC Mapping: A Cooperative Dual-agent Deep Reinforcement Learning Approach
Southwest Jiaotong University(西南交通大学)
多接入边缘计算(MEC)和网络功能虚拟化(NFV)是支持新兴物联网应用的有前途的技术,特别是那些计算密集型应用。在支持NFV的MEC环境中,服务功能链(SFC),即,一组有序的虚拟网络功能(VNF)可以被映射到MEC服务器上。移动设备(MD)可以将计算密集型应用(可以由SFC表示)全部或部分卸载到MEC服务器以供远程执行。本文研究了支持NFV的MEC系统中的部分卸载和SFC映射联合优化(POSMJO)问题,其中传入任务可以划分为两部分,一部分用于本地执行,另一部分用于远程执行。目标是最大限度地减少长期的平均成本,这是执行延迟,MD的能耗和边缘计算的使用费用的组合。该问题包括两个密切相关的决策步骤,即任务划分和VNF放置,这是非常复杂和具有挑战性的。为了解决这个问题,我们提出了一个合作的双代理深度强化学习(CDADRL)算法,在那里我们设计了一个框架,使两个代理之间的互动。仿真结果表明,该算法在累积和平均情节奖励方面优于三种深度强化学习算法组合,在执行延迟、能耗和使用费用方面优于许多基线算法。
2022-05-20 cs.AI cs.LG cs.NI
Reinforcement Learning for Autonomous Warehouse Orchestration in SAP Logistics Execution: Redefining Supply Chain Agility
Applied Materials(应用材料公司)
本文提出基于强化学习的 SAP LE 自主仓库任务编排框架,通过动态环境建模实时优化任务分配、库存移动与拣选,并在 30 万条交易数据上验证其效率提升。
2025-06-06 cs.AI
Image-Based Deep Reinforcement Learning with Intrinsically Motivated Stimuli: On the Execution of Complex Robotic Tasks
The University of Auckland(奥克兰大学)
本文提出NaSA-TD3,一种结合新颖性与惊讶内在刺激的基于图像的深度强化学习方法,用于改善稀疏奖励下复杂机器人任务的探索效率,并在模拟和真实环境中优于现有方法。
2024-07-31 cs.AI cs.LG
E$^3$-Orch: Towards Effective, Efficient, and Extensible Agentic Orchestration with Reinforcement Learning
Monash University(莫纳什大学)
EASy是一种可训练的智能体框架,通过强化学习优化任务性能与计算效率,采用里程碑-规划-执行工作流,在多类基准上实现了更优的性能-效率权衡。
2026-09-29 cs.AI cs.CL
An Introduction to Centralized Training for Decentralized Execution in Cooperative Multi-Agent Reinforcement Learning
Northeastern University(东北大学)
本文介绍了协作多智能体强化学习中集中式训练去中心化执行(CTDE)的基本概念、设定与常用方法,阐述其相较于其他范式的优势及适用场景。
2024-09-04 cs.LG cs.MA
Reinforcement Learning in Queue-Reactive Models: Application to Optimal Execution
ORFE, Princeton University(ORFE,普林斯顿大学);CMAP, École Polytechnique(CMAP,巴黎高等学院);Scuola Normale Superiore(高等师范大学);Intesa Sanpaolo(意昂萨帕洛)
针对元订单最优执行问题,本文结合队列反应模型的限价订单簿模拟,训练双重深度Q网络智能体,其策略可适应订单簿状态,在多种配置下表现优于标准方法。
2025-11-19 cs.LG q-fin.TR
BoostAPR: Boosting Automated Program Repair via Execution-Grounded Reinforcement Learning with Dual Reward Models
State Key Laboratory of Networking and Switching Technology(网络与交换技术国家重点实验室);Beijing University of Posts and Telecommunications(北京邮电大学);University of Luxembourg(卢森堡大学)
BoostAPR通过基于执行的强化学习与双奖励模型,解决程序修复中反馈稀疏和奖励粗粒度的问题,实现40.7%的SWE-bench Verified准确率,展现强大的跨语言泛化能力。
2026-09-21 cs.AI cs.SE
Graph-Reward-SQL: Execution-Free Reinforcement Learning for Text-to-SQL via Graph Matching and Stepwise Reward
Beijing University of Posts and Telecommunications(北京邮电大学);ByteDance(字节跳动);Institute of Data Science, National University of Singapore(新加坡国立大学数据科学研究所)
针对现有Text-to-SQL强化学习奖励模型延迟高、内存开销大的问题,提出基于图匹配的Graph-Reward-SQL框架与分步奖励模型StepRTM,在保证奖励准确的同时提升效率,在标准基准上性能优于现有方法。
2025-10-03 cs.DB cs.LG cs.PL
Learn Continuously, Act Discretely: Hybrid Action-Space Reinforcement Learning For Optimal Execution
Huawei EI Innovation Lab(华为EI创新实验室);E Fund Innovation Lab(易方达创新实验室)
在算法交易中,最优执行是一个节约成本的序贯决策问题。研究发现,强化学习(RL)可以帮助确定订单拆分大小。然而,一个问题仍然没有解决:如何在适当的限价下限价订单?关键的挑战在于行动空间的“连续-离散二元性”。一方面,使用价格变化百分比的连续行动空间更适合推广。另一方面,由于最小价格变动单位的存在,交易者最终需要离散地选择限价,这需要针对具有不同特征的每只股票进行专业化(例如,流动性和价格范围)。因此,我们需要连续控制的泛化和离散控制的专业化。为此,我们提出了一种混合RL方法,结合两者的优点。我们首先使用一个连续的控制代理范围的动作子集,然后部署一个细粒度的代理选择一个特定的限制价格。大量的实验表明,我们的方法具有更高的样本效率和更好的训练稳定性比现有的强化学习算法和显着优于以前的学习为基础的方法的订单执行。
2022-07-22 cs.LG q-fin.TR
SpeedTuning: Speeding Up Policy Execution with Lightweight Reinforcement Learning
Stanford University(斯坦福大学)
SpeedTuning是一种轻量强化学习框架,可预测动作最优执行速度,在无需额外数据采集的情况下,将机器人操作策略加速超2.4倍且保持足够成功率,适用于多种动态精确任务。
2026-08-12 cs.AI cs.RO
Strict Subgoal Execution: Reliable Long-Horizon Planning in Hierarchical Reinforcement Learning
Graduate School of Artificial Intelligence(人工智能研究生院);Ulsan National Institute of Science and Technology (UNIST)(釜山国立科学与技术研究所);Ulsan, South Korea(韩国釜山)
本文提出严格子目标执行(SSE)框架,通过前沿经验回放(FER)分离不可达与可接受的子目标,提高高层决策效率,从而在长horizon任务中实现更可靠的规划。
2026-05-20 cs.AI cs.LG
Role-Adaptive Policy Optimization for Offline Reinforcement Learning
Hanyang University(汉阳大学)
针对离线强化学习中策略正则化角色耦合问题,提出角色自适应策略优化(RAPO),按价值学习与执行角色独立调整更新系数,在D4RL任务上超越TD3+BC和IQL基线。
2026-10-01 cs.LG
A New Framework for Multi-Agent Reinforcement Learning -- Centralized Training and Exploration with Decentralized Execution via Policy Distillation
Victoria University of Wellington(惠灵顿维多利亚大学)
深度强化学习(DRL)是人工智能的一个蓬勃发展的领域。DRL的许多实际应用自然涉及多个协作学习者,因此在多智能体环境中研究DRL非常重要。以往的研究表明,在复杂的多智能体系统中的有效学习需要高度协调的环境探索所有参与的代理。许多研究者试图通过学习集中式价值函数来应对这一挑战。然而,每个代理直接学习本地政策的共同策略往往无法培养强大的代理间合作,并且每当代理改变其沟通渠道时,可能会出现样本效率低下的情况。为了解决这些问题,我们提出了一个新的框架,称为集中式培训和探索,通过政策蒸馏分散执行。在此框架和最大熵学习技术的指导下,我们将首先训练具有共享全局组件的代理策略,以促进协调和有效的学习。本地可执行的策略随后将通过策略提炼从经过训练的全局策略中导出。实验表明,我们的新框架和算法可以实现显着更好的性能和更高的样本效率比一个尖端的基线多代理DRL基准。
2019-10-21 cs.LG stat.ML
EnvPool: A Highly Parallel Reinforcement Learning Environment Execution Engine
Sea AI Lab(Sea人工智能实验室);Drexel University(德雷塞尔大学);Snap(Snap公司);NVIDIA(英伟达);National University of Singapore(新加坡国立大学);Carnegie Mellon University(卡内基梅隆大学);Peking University(北京大学);OpenAI
在开发强化学习(RL)训练系统方面已经取得了重大进展。过去的工作,如IMPALA,Apex,Seed RL,Sample Factory等,旨在提高系统的整体吞吐量。在本文中,我们的目标是解决RL培训系统中的一个常见瓶颈,即,并行环境执行,这通常是整个系统中最慢的部分,但很少受到关注。通过针对并行RL环境的精心设计,我们提高了不同硬件设置的RL环境模拟速度,从笔记本电脑和普通工作站到高端机器(如NVIDIA DGX-A100)。在高端机器上,EnvPool在Atari环境中的环境执行速度达到每秒100万帧,在MuJoCo环境中达到每秒300万帧。在笔记本电脑上运行EnvPool时,速度是Python子进程的2.8倍。此外,在开源社区中已经证明了与现有RL训练库的良好兼容性,包括CleanRL,rl_games,DeepMind Acme等。最后,EnvPool允许研究人员以更快的速度验证他们的想法,并具有成为事实上的RL环境执行引擎的巨大潜力。示例运行表明,训练代理在笔记本电脑上玩Atari Pong和MuJoCo Ant只需要五分钟。EnvPool在https://github.com/sail-sg/envpool上开源。
2022-10-12 cs.AI cs.DC cs.LG
Towards Generalizable Reinforcement Learning for Trade Execution
Microsoft Research(微软研究院);IIIS, Tsinghua University(清华大学智能产业研究院)
针对交易执行场景下现有强化学习方法过拟合严重的问题,本文将任务建模为带动态上下文的离线强化学习框架,推导泛化界并提出上下文紧凑表示学习方法,经高保真模拟器验证可有效缓解过拟合、提升性能。
2023-05-12 cs.LG q-fin.TR stat.ML
Hybrid-Adaptive Thread Tuning to Mitigate Simulation Execution Bottlenecks in High-Performance Reinforcement Learning Inference
College of Systems Engineering, National University of Defense Technology(国防科技大学系统工程学院);College of Computer Science and Technology, National University of Defense Technology(国防科技大学计算机科学与技术学院)
该研究针对仿真闭环RL推理的线程资源匹配问题,提出AutoThread方法,结合PINO与M/M/1排队模型并辅以在线微调,显著提升了推理的加速比与吞吐量。
2026-08-07 cs.LG cs.MA cs.PF
Seq2SQL: Generating Structured Queries from Natural Language using Reinforcement Learning
Salesforce Research(Salesforce 研究院)
世界上大量的知识存储在关系数据库中。然而,由于缺乏对诸如SQL的查询语言的理解,用户从数据库检索事实的能力是有限的。我们提出了Seq2SQL,这是一种深度神经网络,用于将自然语言问题转换为相应的SQL查询。我们的模型利用SQL查询的结构来显着减少生成的查询的输出空间。此外,我们使用的回报,从在数据库的循环查询执行学习的政策,以产生无序的部分查询,我们表明是不太适合通过交叉熵损失优化。此外,我们还将发布WikiSQL,这是一个包含80654个手工注释的问题和SQL查询示例的数据集,分布在维基百科的24241个表中。该数据集是训练我们的模型所必需的,并且比可比数据集大一个数量级。通过将基于策略的强化学习与查询执行环境应用于WikiSQL,我们的模型Seq2SQL优于注意序列到序列模型,将执行准确率从35.9%提高到59.4%,逻辑形式准确率从23.4%提高到48.3%。
2017-11-09 cs.AI cs.CL
Towards Execution-Grounded Automated AI Research
Stanford University(斯坦福大学)
本研究提出自动化执行器,通过执行反馈学习改进LLM预训练和后训练方法,验证了进化搜索在样本效率上的优势,但强化学习存在模式崩溃问题。
2026-01-20 cs.AI cs.CL cs.LG
A Semi Centralized Training Decentralized Execution Architecture for Multi Agent Deep Reinforcement Learning in Traffic Signal Control
Faculty of Computer Science and Engineering, Shahid Beheshti University(沙希德·贝赫什提大学计算机科学与工程学院)
本文提出SEMI-CTDE架构,通过区域划分实现多交叉口交通信号控制,结合集中训练与分布式执行,提升性能与适应性。
2026-03-29 cs.AI cs.LG cs.MA
An Initial Introduction to Cooperative Multi-Agent Reinforcement Learning
Northeastern University(东北大学)
本文是协同多智能体强化学习的导论,梳理了CTE、CTDE、DTE三类方法的核心概念、典型算法与相关研究,还探讨了认知误区、方法关联及开放问题。
2026-09-24 cs.LG cs.MA
Distributed-Training-and-Execution Multi-Agent Reinforcement Learning for Power Control in HetNet
Imperial College London(帝国理工学院)
在异构网络(HetNet)中,小小区和宏小区的重叠导致严重的跨层干扰。虽然已有一些方法来解决这个问题,但它们通常需要全局信道状态信息,而这在实际中是很难获得的,并且得到的次优功率分配策略具有很高的计算复杂度。为了克服这些限制,我们提出了一种基于多代理深度强化学习(MADRL)的HetNet功率控制方案,其中每个接入点根据本地信息独立做出功率控制决策。为了促进代理之间的合作,我们开发了一个基于惩罚的Q学习(PQL)算法的MADRL系统。通过在损失函数中引入正则化项,每个代理在重访状态时倾向于选择具有高回报的经验动作,从而减慢了策略更新速度。通过这种方式,代理的策略可以更容易地被其他代理学习,从而导致更有效的协作过程。然后,我们在考虑HetNet实现建议的PQL,并将其与其他分布式训练和执行(DTE)算法进行比较。仿真结果表明,我们提出的PQL可以学习所需的功率控制策略,从一个动态的环境中,用户的位置发生变化,并优于现有的DTE MADRL算法。
2022-12-15 cs.LG cs.MA cs.SY
The Rollout Infrastructure Tax in Coding-Agent Reinforcement Learning
Daytona
研究四种执行环境(单容器、托管沙箱、Kubernetes编排容器、云虚拟机)在编码智能体RL中的冷启动延迟和工人工时差异,发现优化执行基础设施可显著提升训练效率。
2026-07-03 cs.DC cs.LG
Hierarchical Reinforcement Learning for Optimal Agent Grouping in Cooperative Systems
London School of Economics(伦敦政治经济学院)
针对协作多智能体系统的分组配对问题,提出结合CTDE范式、置换不变网络与option-critic算法的分层强化学习方法,可同时学习最优分组与智能体策略,实现高效可扩展的动态协调决策。
2025-01-11 cs.AI cs.LG cs.MA
Training High-Level Schedulers with Execution-Feedback Reinforcement Learning for Long-Horizon GUI Automation
School of Computer Science and Technology, Soochow University(苏州大学计算机科学与技术学院);School of Computer Science, Shanghai Jiao Tong University(上海交通大学计算机科学学院)
本文提出CES多代理框架,通过训练高阶调度器解决GUI代理在长周期任务中的责任耦合和状态管理问题,提升任务规划与执行效率。
2026-03-04 cs.AI
TRIAGE: Direction-Aware Mismatch Stabilization of Native NVFP4 Reinforcement Learning
本文提出TRIAGE,一种方向感知的稳定化方法,通过片段级诊断和修复解决原生NVFP4强化学习中的失配问题,在Qwen3模型上实现全精度性能并提升2.3倍吞吐量。
2026-10-12 cs.AI cs.LG
Off-Beat Multi-Agent Reinforcement Learning
Nanyang Technological University(南洋理工大学);Tianjin University(天津大学);Netease, Inc.(网易公司)
我们研究了无模型多智能体强化学习(MARL)在环境中的异常行为是普遍的,即,所有动作都具有预先设置的执行持续时间。在执行期间,环境变化受动作执行的影响,但不与动作执行同步。这样的设置在许多现实问题中是普遍存在的。然而,大多数MARL方法假设动作在推理后立即执行,这通常是不现实的,并且可能导致具有非节拍动作的多智能体协调的灾难性失败。为了填补这一空白,我们开发了一个算法框架的MARL与非拍的行动。然后,我们针对无模型MARL算法提出了一种新型的情景记忆LeGEM。LeGEM通过利用主体的个体经验建立主体的情景记忆。它通过解决具有挑战性的时间信用分配问题提出了通过我们的新的奖励再分配方案,减轻非马尔可夫奖励的问题,从而提高多智能体学习。我们评估LeGEM在各种多智能体场景中的非常规行动,包括Stag-Hunter游戏,采石场游戏,Affiliate游戏和星际争霸II微观管理任务。实验结果表明,LeGEM显著提高了多智能体的协调能力,取得了领先的性能,提高了样本效率。
2022-06-19 cs.AI cs.LG cs.MA
Double Distillation Network for Multi-Agent Reinforcement Learning
School of Computer Science and Engineering, University of Electronic Science and Technology of China(电子科技大学计算机科学与工程学院);School of Automation Engineering, University of Electronic Science and Technology of China(电子科技大学自动化工程学院)
本文提出双重蒸馏网络(DDN),通过外部蒸馏调和全局训练与局部执行差距,并利用内部蒸馏引入内在奖励增强探索,从而提升多智能体协作性能。
2025-02-05 cs.LG cs.MA
Multi-Agent Deep Reinforcement Learning with Adaptive Policies
University of Science and Technology of China(中国科学技术大学)
针对多智能体强化学习(RL)中的非平稳性问题,提出了一种新的解决方法。这违反了大多数单智能体RL方法的马尔可夫假设,是多智能体RL的关键挑战之一。为了解决这个问题,我们建议训练多个政策,为每个代理,并推迟执行时的最佳政策的选择。具体来说,我们模拟环境的非平稳性与一组有限的场景和训练政策适合每个场景。除了多个策略之外,每个代理还学习策略预测器,以确定哪个策略是最好的。通过这样做,每个代理都能够在环境变化时调整其策略,并且因此其他代理在执行期间更改其策略。我们在文献中为多智能体深度RL提出的各种常见基准问题上对我们的方法进行了经验评估。我们的实验结果表明,我们的算法训练的代理人有更好的适应性,在不断变化的环境中,并在所有测试环境中优于国家的最先进的方法。
2019-11-28 cs.AI cs.LG cs.MA
Self-Execution Simulation Improves Coding Models
FAIR team, Meta(Meta FAIR团队);Hebrew University of Jerusalem(耶路撒冷希伯来大学);Inria(法国国家信息与自动化研究所)
本文通过自主执行模拟提升编码模型,结合监督微调与强化学习,改进编程竞赛表现,验证了执行模拟在代码生成中的有效性。
2026-03-11 cs.CL cs.LG
Right Place, Right Time: Market Simulation-based RL for Execution Optimisation
Simudyne UK(Simudyne英国公司)
本文提出基于反应式市场模拟器的强化学习框架,用于优化交易执行策略,在有效前沿上平衡风险与成本,实验证明其优于基线并接近最优。
2025-10-25 cs.AI cs.LG q-fin.CP
Simion Zoo: A Workbench for Distributed Experimentation with Reinforcement Learning for Continuous Control Tasks
我们介绍Simion Zoo,一个强化学习(RL)工作台,它提供了一套完整的工具来设计,运行和分析RL控制应用程序的统计和可视化结果。Simion Zoo与类似软件包的主要区别在于其易于使用的GUI,对分布式执行的支持,包括通过图形处理单元(GPU)进行部署,以及同时探索RL元空间的可能性,这是成功RL实验的关键。
2019-04-16 cs.AI cs.LG
Towards End to End Motion Planning and Execution for Autonomous Underwater Vehicles Using Reinforcement Learning
University of Haifa(海法大学)
提出分层强化学习架构,将原始传感器数据直接映射为推进器指令,实现AUV端到端运动规划与执行,在HoloOcean仿真中轨迹长度接近RRT*基线(误差4%-6%),并具备鲁棒性。
2026-06-07 cs.LG cs.RO cs.SY
Reinforcement Learning for Execution under Dynamic Fees in a Closed-Loop DEX Simulator
研究在闭环去中心化交易所模拟器中,针对动态费用下的执行问题,采用构建最小闭环模拟器及小深度Q网络的方法,得出该方法能减少执行缺口,且优势集中在动态费用环境中的结论。
2026-07-14 cs.LG q-fin.CP stat.ML
Periodic Asynchrony: An On-Policy Approach for Accelerating LLM Reinforcement Learning
Big Data & AI Lab(大数据与人工智能实验室)
本文提出一种周期性异步框架,通过分离推理与训练部署,提升LLM强化学习的训练效率,采用统一三模型架构和共享提示注意力机制,实现高效异步执行并减少冗余计算,实验显示在NPU平台实现约2倍的吞吐量提升。
2026-08-07 cs.AI cs.LG
MTIR-SQL: Multi-turn Tool-Integrated Reasoning Reinforcement Learning for Text-to-SQL
Meituan(美团);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);Beijing Institute of Technology(北京理工大学);Shanghai Jiao Tong University(上海交通大学);Peking University(北京大学)
针对现有Text-to-SQL强化学习方法依赖静态反馈、纠错能力有限的问题,提出多轮工具集成推理框架MTIR-SQL,通过引入执行感知多轮推理与改进的GRPO算法,在两个基准数据集上取得了优于现有方法的性能。
2025-10-29 cs.AI
Multi-agent deep reinforcement learning with centralized training and decentralized execution for transportation infrastructure management
organization= Department of Civil;Environmental Engineering , addressline= The Pennsylvania State University , city= University Park , postcode= 16802 , state= PA , country= USA;organization= Faculty of Architecture \& the Built Environment , addressline= Delft University of Technology , postcode= 2628 BL , state= Delft , country= The Netherlands
本文提出DDMAC-CTDE框架,用于交通基础设施管理中的多智能体深度强化学习,通过集中训练与分布式执行解决高维状态和动作空间问题,并在基准环境中验证其有效性。
2026-02-25 cs.AI cs.LG cs.MA
Universal Trading for Order Execution with Oracle Policy Distillation
Microsoft Research Asia(微软亚洲研究院)
订单执行是算法交易中的一个基本问题,其目的是完成特定交易订单,无论是清算还是收购。为了实现有效的执行策略,近年来已经见证了从基于模型的市场假设的分析视角到无模型视角的转变,即,强化学习,由于其顺序决策优化的性质。然而,政策可以利用的嘈杂但不完美的市场信息使得建立样本有效的强化学习方法来实现有效的订单执行变得非常具有挑战性。在本文中,我们提出了一个新的通用的交易政策优化框架,以弥合之间的差距嘈杂但不完美的市场状态和订单执行的最佳行动序列。特别地,该框架利用策略蒸馏方法,该策略蒸馏方法可以更好地引导具有完美信息的oracle教师对公共策略的学习朝向实际上的最优执行,以近似最优交易策略。大量的实验表明,我们的方法在各种强基线上有了显着的改进,并采取了合理的交易行动。
2021-01-28 cs.LG q-fin.TR
PEARL: Adaptive Prefill-Decode Execution with Elasticity for Agentic Reinforcement Learning
USTC(中国科学技术大学);HKUST(香港科技大学);Alibaba Group(阿里巴巴集团)
针对智能体强化学习中多轮 rollout 成本高、训练 GPU 闲置的问题,提出 PEARL 系统,通过弹性资源协调、空闲训练 GPU 复用和自适应预填充-解码配置,显著提升吞吐量。
2026-09-29 cs.AI