面向可扩展强化学习的自适应策略同步
Adaptive Policy Synchronization for Scalable Reinforcement Learning
AI总结：
针对分布式强化学习中环境执行僵化与策略同步开销问题，本文提出保留 Gymnasium API 的 ClusterEnv 及 APS 机制，在保持性能的同时减少通信开销。
摘要：
扩展强化学习（RL）通常需要在许多机器上运行环境，但大多数框架将仿真、训练和基础设施绑定在僵化的系统中。我们提出 ClusterEnv，这是一个用于分布式环境执行的轻量级接口，并保留人们熟悉的 Gymnasium API。ClusterEnv 使用 DETACH 模式，将环境的 reset() 和 step() 操作移至远程工作节点，同时保持学习过程集中化。为了在不产生大量通信的情况下减少策略过时，我们提出自适应策略同步（Adaptive Policy Synchronization，APS）：只有当工作节点与中央学习器之间的差异变得过大时，工作节点才请求更新。ClusterEnv 同时支持同策略（on-policy）和异策略（off-policy）方法，只需极少改动即可集成到现有训练代码中，并能在集群上高效运行。在离散控制任务上的实验表明，APS 在保持性能的同时降低了同步开销。源代码可在 https://github.com/rodlaf/ClusterEnv 获取。
英文摘要：
Scaling reinforcement learning (RL) often requires running environments across many machines, but most frameworks tie simulation, training, and infrastructure into rigid systems. We introduce ClusterEnv, a lightweight interface for distributed environment execution that preserves the familiar Gymnasium API. ClusterEnv uses the DETACH pattern, which moves environment reset() and step() operations to remote workers while keeping learning centralized. To reduce policy staleness without heavy communication, we propose Adaptive Policy Synchronization (APS), where workers request updates only when divergence from the central learner grows too large. ClusterEnv supports both on- and off-policy methods, integrates into existing training code with minimal changes, and runs efficiently on clusters. Experiments on discrete control tasks show that APS maintains performance while cutting synchronization overhead. Source code is available at https://github.com/rodlaf/ClusterEnv.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
