无需批量更新、目标网络或回放缓冲区的深度策略梯度方法
Deep Policy Gradient Methods Without Batch Updates, Target Networks, or Replay Buffers
AI总结：
针对现有深度策略梯度方法依赖大型回放缓冲区或批量更新、难以适配资源受限真实系统的问题，提出增量方法AVG及配套归一化缩放技术，在仿真基准上性能媲美批量方法，首次实现真实机器人的增量式深度强化学习。
摘要：
现代深度策略梯度方法在模拟机器人任务上取得了有效性能，但它们都需要大型回放缓冲区或高成本的批量更新，或两者兼具，这导致它们无法适配搭载资源受限计算机的真实系统。我们证明，当这些方法被限制使用小型回放缓冲区，或在增量学习场景（即更新仅使用最新样本、不进行批量更新也不使用回放缓冲区）中运行时，会出现灾难性失效。我们提出了一种新型增量深度策略梯度方法——Action Value Gradient（动作值梯度，简称AVG），以及一套归一化与缩放技术，以解决增量学习中的不稳定性挑战。在机器人仿真基准测试中，我们证明AVG是唯一能有效学习的增量方法，其最终性能往往能与批量策略梯度方法相媲美。这一进展让我们首次得以在真实机器人上仅通过增量更新实现有效的深度强化学习，实验对象包括一台机械臂和一台移动机器人。
英文摘要：
Modern deep policy gradient methods achieve effective performance on simulated robotic tasks, but they all require large replay buffers or expensive batch updates, or both, making them incompatible for real systems with resource-limited computers. We show that these methods fail catastrophically when limited to small replay buffers or during incremental learning, where updates only use the most recent sample without batch updates or a replay buffer. We propose a novel incremental deep policy gradient method -- Action Value Gradient (AVG) and a set of normalization and scaling techniques to address the challenges of instability in incremental learning. On robotic simulation benchmarks, we show that AVG is the only incremental method that learns effectively, often achieving final performance comparable to batch policy gradient methods. This advancement enabled us to show for the first time effective deep reinforcement learning with real robots using only incremental updates, employing a robotic manipulator and a mobile robot.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
