The increasing number of different, incompatible congestion control algorithms has led to an increased deployment of fair queuing. Fair queuing isolates each network flow and can thus guarantee fairness for each flow even if the flows' congestion controls are not inherently fair. So far, each queue in the fair queuing system either has a fixed, static maximum size or is managed by an Active Queue Management (AQM) algorithm like CoDel. In this paper we design an AQM mechanism (Learning Fair Qdisc (LFQ)) that dynamically learns the optimal buffer size for each flow according to a specified reward function online. We show that our Deep Learning based algorithm can dynamically assign the optimal queue size to each flow depending on its congestion control, delay and bandwidth. Comparing to competing fair AQM schedulers, it provides significantly smaller queues while achieving the same or higher throughput.
Reinforcement Learning in MDPs with Information-Ordered Policies
Department of Industrial Engineering and Management Sciences, Northwestern University（西北大学工业工程与管理科学系）；Department of Industrial Engineering and Operations Research, Columbia University（哥伦比亚大学工业工程与运筹学系）；Technology, Operations, and Statistics, Stern School of Business, New York University（纽约大学 Stern 商学院技术、运营与统计系）；School of Operations Research and Information Engineering, Cornell University（康奈尔大学运筹学与信息工程学院）
Reinforcement Learning for Cognitive Delay/Disruption Tolerant Network Node Management in an LEO-based Satellite Constellation
University of Chinese Academy of Sciences（中国科学院大学）；Technology and Engineering Center for Space Utilization, Chinese Academy of Sciences（中国科学院空间应用工程与技术中心）
Stable Reinforcement Learning with Unbounded State Space
MIT（麻省理工学院）；Cornell University（康奈尔大学）
本文考虑了由调度网络中的经典调度问题所激发的具有无界状态空间的强化学习（RL）问题。传统的策略以及为有限、有界或紧凑状态空间设计的误差度量需要无限样本来为无界状态空间提供任何有意义的性能保证（例如，$\ell_\infty$误差）。也就是说，我们需要一个新的性能度量概念。作为这项工作的主要贡献，在排队系统与控制理论的文献的启发下，我们提出了稳定性的概念“善良”的状态动态下的政策应保持在一个有界区域的高概率。作为概念的证明，我们提出了一个RL政策，使用稀疏采样为基础的Monte Carlo Oracle，并认为它满足稳定性，只要系统动力学下的最优策略尊重李雅普诺夫函数。存在李雅普诺夫函数的假设不是限制性的，因为它等价于任何马尔可夫链的正递归或稳定性，即，如果有任何政策可以稳定系统，那么它必须拥有一个李雅普诺夫函数。而且，我们的政策不利用知识的具体李雅普诺夫函数。为了使我们的方法样本效率，我们提供了一个改进的，样本效率的稀疏采样的蒙特卡罗Oracle与Lipschitz价值函数，可能是在自己的权利感兴趣。此外，我们设计了一个自适应版本的算法，精心构造的统计测试，自动找到正确的调整参数的基础上。
