A Tour of Reinforcement Learning: The View from Continuous Control
University of California, Berkeley（加州大学伯克利分校）
本文从优化和控制的角度对强化学习进行了研究，重点是连续控制应用。它调查了强化学习的一般公式，术语和典型的实验实现，并回顾了竞争的解决方案范例。为了比较各种技术的相对优点，本调查提出了一个案例研究的线性二次型调节器（LQR）与未知的动态，也许是最简单的和最好的研究问题，在最优控制。该手稿描述了如何合并技术从学习理论和控制可以提供非渐近表征的LQR性能，并表明，这些特征往往与实验行为相匹配。反过来，当重新审视更复杂的应用程序时，LQR中观察到的许多现象仍然存在。特别是，理论和实验证明了模型的作用和重要性以及强化学习算法的通用性成本。本调查最后讨论了设计学习系统时面临的一些挑战，这些系统可以安全可靠地与复杂和不确定的环境进行交互，以及如何将强化学习和控制工具结合起来来应对这些挑战。
2018-11-10 cs.LG math.OC stat.ML
Policy Evaluation in Distributional LQR (Extended Version)
本文针对折扣线性二次调节器（LQR）的分布型强化学习问题，推导了随机回报分布的闭式表达式，证明了其方差有界性及对模型扰动的敏感性，并提出了有限随机变量近似与无模型估计方法，最后扩展至部分可观测系统。
2024-03-23 math.OC
Primal-dual policy learning for mean-field stochastic LQR problem
Shandong University of Science and Technology（山东科技大学）；City University of Hong Kong（香港城市大学）
本文提出基于对偶优化的策略学习方法，用于解决均值场随机线性二次调节问题，通过构建非凸约束优化问题并结合广义李雅普诺夫方程，实现部分模型无关的控制器设计。
2025-12-09 math.OC
Risk-Constrained Reinforcement Learning for Inverter-Dominated Power System Controls
针对GFM逆变器主导电力系统的频率振荡问题，提出带均值—方差风险约束的LQR控制器，并用基于ZOPG的SGDmax强化学习算法求解，IEEE 68节点系统验证了其收敛性与鲁棒控制效果。
2023-12-17 math.OC
Policy Gradient Methods for the Cost-Constrained LQR: Strong Duality and Global Convergence
本文研究成本约束LQR问题，提出策略梯度原始-对偶方法，证明强对偶性、对偶函数Lipschitz光滑性及全局收敛性，并通过仿真验证理论结果。
2024-06-06 cs.SY eess.SY math.OC
Asynchronous Distributed Reinforcement Learning for LQR Control via Zeroth-Order Block Coordinate Descent
Chongqing University（重庆大学）；North Carolina State University（北卡罗来纳州立大学）；Oklahoma State University（俄克拉荷马州立大学）；DEVCOM Army Research Laboratory（DEVCOM陆军研究实验室）
本文提出一种利用网络结构进行局部零阶梯度估计的异步分布式优化算法，无需共识协议，并将其应用于分布式LQR控制的强化学习设计。
2024-05-03 cs.AI cs.LG cs.SY
Structured Policy Iteration for Linear Quadratic Regulator
Stanford University（斯坦福大学）；Adobe Research（Adobe研究院）；Google DeepMind（谷歌DeepMind）
线性二次型调节器（LQR）是处理连续马尔可夫决策过程任务的最流行的框架之一。由于LQR的基本理论和易于处理的最优策略，近年来，在强化学习场景（如无模型或基于模型的设置）方面，LQR被重新审视和分析。在本文中，我们介绍了\textit{Structured Policy Iteration}（S-PI）的LQR，一种方法能够推导出一个结构化的线性政策。这种具有（块）稀疏性或低秩的结构化策略与标准LQR策略相比具有显着优势：更可解释，内存效率更高，并且非常适合分布式设置。为了得到这样的政策，我们首先铸造一个正则化的LQR问题时，模型是已知的。然后，我们的结构化策略迭代（S-PI）算法，它需要一个策略评估步骤和策略改进步骤，在迭代的方式，可以有效地解决这个正则化的LQR。我们进一步扩展的S-PI算法的无模型设置采用平滑过程来估计梯度。在已知模型和无模型的情况下，我们证明了在适当的参数选择下的收敛性分析。最后，通过实验验证了S-PI在平衡LQR性能和结构层次方面的优势。
2020-07-13 cs.AI math.OC
Global Convergence of Policy Gradient Primal-dual Methods for Risk-constrained LQRs
虽然最优控制理论中的技术通常是基于模型的，但是策略优化（PO）方法直接优化感兴趣的性能度量。尽管它已经成为强化学习问题的一种基本方法，但对其性能的理论认识很少。在本文中，我们专注于风险约束线性二次型调节器（RC-LQR）问题，通过PO方法，这需要解决一个具有挑战性的非凸约束最优化问题。为了解决这个问题，我们首先建立在我们以前的结果，最优策略具有时不变的仿射结构，以表明相关的拉格朗日函数是强制性的，局部梯度占主导地位，并具有局部Lipschitz连续梯度，基于此，我们建立强对偶。然后，我们设计的政策梯度原始-对偶方法与整体收敛保证在基于模型和基于样本的设置。最后，我们使用模拟系统轨迹的样本来验证我们的方法。
2022-11-22 cs.SY eess.SY math.OC
A Fully Data-Driven Value Iteration for Stochastic LQR: Convergence, Robustness and Stability
University of New Mexico（新墨西哥大学）；Tandon School of Engineering, New York University（纽约大学坦登工程学院）；Courant Institute of Mathematical Sciences, New York University（纽约大学库朗数学科学研究所）
本文研究了数据驱动控制中价值迭代算法在随机线性二次系统中的收敛性、鲁棒性和稳定性，提出无需初始控制策略的鲁棒自适应动态规划算法，并通过数据中心冷却和动态投资组合分配实验验证其有效性。
2026-03-17 math.OC
Learning robust control for LQR systems with multiplicative noise via policy gradient
Control, Optimization, and Networks lab, UT Dallas（控制、优化与网络实验室，UT Dallas）；Delft Center for Systems and Control, TU Delft（代尔夫特系统与控制中心，TU Delft）
本文研究了具有乘性噪声的LQR系统，通过策略梯度方法实现鲁棒控制，证明了在非凸成本函数下策略梯度算法的全局收敛性。
2020-05-01 cs.LG cs.SY eess.SY
Decomposability and Parallel Computation of Multi-Agent LQR
North Carolina State University（北卡罗来纳州立大学）；Oklahoma State University（俄克拉荷马州立大学）；US Army Research Laboratory（美国陆军研究实验室）
多智能体系统（MAS）中的个体智能体可能具有解耦的开环动力学，但是合作控制目标通常导致耦合的闭环动力学，从而使得控制设计在计算上昂贵。当需要应用诸如强化学习（RL）的学习策略来处理代理动态未知的情况时，计算时间变得更高。为了解决这个问题，我们提出了一个并行RL计划的线性二次型调节器（LQR）的设计在连续时间线性MAS。其思想是利用嵌入在LQR目标中的$Q$和$R$加权矩阵中的两个图的结构特性来定义正交变换，该正交变换可以将原始LQR设计转换为多个解耦的较小尺寸的LQR设计。我们表明，如果MAS是均匀的，那么这种分解保留闭环最优性。可分解的条件，构造转换矩阵的算法，并行RL算法，和鲁棒性分析时，设计适用于非均匀MAS。仿真结果表明，所提出的方法可以保证显着的学习速度没有任何损失的LQR成本的累积值。
2021-03-07 cs.AI cs.SY eess.SY
Policy Gradient Adaptive Control for the LQR: Indirect and Direct Approaches
针对LQR问题，提出基于在线闭环数据的策略梯度自适应控制（PGAC），含间接、直接两类方法，结合自然梯度、Gauss-Newton法及正则化，证明稳定性与收敛性，仿真验证其鲁棒性与高效性。
2025-06-13 cs.SY eess.SY math.OC
On the Robustness of Derivative-free Methods for Linear Quadratic Regulator
本文研究未知动态下无限时域LQR问题中无导数策略优化方法的鲁棒性，证明小扰动下可收敛至最优策略邻域，并给出扰动显式界与样本复杂度。
2025-06-14 math.OC
Data-Driven Continuous-Time LQR: Linking Reinforcement Learning and Behavioral System Theory
Institute of Control Systems, Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院控制系统研究所）
本文研究了基于闭环和积分强化学习参数化的数据驱动连续时间线性二次调节器问题，提出数据驱动的连续时间代数黎卡提方程和凸优化方法。
2026-11-09 cs.SY eess.SY math.OC
Policy Transfer for Continuous-Time Reinforcement Learning: A (Rough) Differential Equation Approach
UC Berkeley, IEOR（伯克利大学，工业工程与运筹学系）
本文提出了一种基于粗糙路径理论的连续时间强化学习策略迁移方法，通过利用高斯结构和黎卡提方程的稳定性，实现了策略迁移的理论证明，并提出了新的策略学习算法，实现了全局和局部收敛。
2026-03-03 cs.LG math.OC
Natural Actor-Critic Converges Globally for Hierarchical Linear Quadratic Regulator
Stanford University（斯坦福大学）；Princeton University（普林斯顿大学）；Northwestern University（西北大学）；The University of Chicago Booth School of Business（芝加哥大学布斯商学院）
多智能体强化学习已成功应用于许多具有挑战性的问题。尽管这些经验的成功，不同的算法的理论理解是缺乏的，主要是由于灾难的维数所造成的指数增长的状态动作空间的代理人的数量。研究了多智能体线性二次型调节器（LQR）的一个基本问题。在这种情况下，我们开发了一个分层的演员-评论家算法，其计算复杂性是独立的代理的总数，并证明了其全局线性收敛到最优策略。由于LQR经常被用来近似一般的动态系统，本文提供了一个重要的一步，更好地理解一般的分层平均场多智能体强化学习。
2021-12-24 cs.LG math.OC stat.ML
Modeling and LQR Control of Insect Sized Flapping Wing Robot
University of Washington（华盛顿大学）；Dolby Laboratories（杜比实验室）
本文针对昆虫尺寸扑翼机器人FIRs，提出基于更精确扑翼周期平均模型的LQR最优控制方法，在150 mg的UW Robofly上实现机载计算的高效稳定悬停与轨迹跟踪，避免了传统PID手工调试和任务特定调参的局限。
2024-06-28 cs.RO math.OC
Boundary Control of a Modified Timoshenko-Ehrenfest Beam via Reduced-Order Reinforcement Learning
Federal University of Maranhão（马拉尼昂联邦大学）
本文针对带简支边界条件的改进Timoshenko-Ehrenfest梁，采用特征值展开与截断Galerkin投影得到的降阶模型，通过PPO算法实现边界主动振动控制，并与LQR调节器进行对比分析。
2026-10-14 math.OC
Linear Dynamics meets Linear MDPs: Closed-Form Optimal Policies via Reinforcement Learning
针对电力系统等领域中动态系统与难建模随机环境交互的问题，结合线性二次调节器（LQR）和线性马尔可夫决策过程（MDPs）框架，推导闭式最优策略并提供稳定性保证与样本复杂度分析，数值示例验证其有效性。
2025-08-24 cs.SY eess.SY math.OC
On the Analysis of Model-free Methods for the Linear Quadratic Regulator
许多强化学习方法在实践中取得了巨大的成功，但缺乏理论基础。本文研究了线性二次型调节器（LQR）问题的收敛性分析。研究了策略梯度算法、TD学习算法和ACTOR CRITIC（actor-critic）算法的全局线性收敛性质和样本复杂度。实验结果表明，与策略梯度算法相比，行动者-批评者算法可以降低样本复杂度。虽然我们的分析仍然是初步的，但它在一定意义上解释了AC算法的好处。
2020-07-08 math.OC
Finite-time Analysis of Approximate Policy Iteration for the Linear Quadratic Regulator
University of California, Berkeley（加州大学伯克利分校）
我们研究了线性二次调节器（LQR）的近似策略迭代（PI）的样本复杂性，建立在最近的工作线上，使用LQR作为测试平台，以了解强化学习（RL）算法在连续控制任务上的局限性。我们的分析量化了政策改进和政策评估之间的紧张关系，并认为政策评估是样本复杂性的主导因素。具体而言，我们表明，要获得一个控制器，最优的LQR控制器的$\varepsilon$内，每一步的政策评估需要最多$(n+d)^3/\varepsilon^2$样本，其中$n$是状态向量的维度和$d$是输入向量的维度。另一方面，只有$\log(1/\varepsilon)$策略改进步骤就足够了，导致总体示例复杂度为$(n+d)^3 \varepsilon^{-2} \log(1/\varepsilon)$。我们进一步建立在我们的分析和构造一个简单的自适应程序的基础上$\varepsilon$贪婪的探索依赖于近似PI作为一个子例程，并获得$T^{2/3}$遗憾，改善后，最近的结果Abbasi-Yadkori等人。
2019-05-30 cs.LG math.OC stat.ML
A model-free first-order method for linear quadratic regulator with $\tilde{O}(1/\varepsilon)$ sampling complexity
研究了在无限水平平均阶段费用下的经典随机线性二次型调节器（LQR）问题。通过利用最近的政策梯度法从强化学习，我们得到一个一阶方法，找到一个稳定的反馈法，其目标函数的差距最多是$\varepsilon$与高概率使用$\tilde{O}(1/\varepsilon)$样本，其中$\tilde{O}$隐藏多对数依赖于$\varepsilon$。我们所提出的方法似乎有最好的依赖$\varepsilon$在无模型的文献中，没有假设，算法产生的所有政策几乎肯定是稳定的，它匹配的最知名的速率从基于模型的文献，对数因子。对$\varepsilon$的改进依赖性是通过显示具有梯度估计误差的方差而不是标准差的精度尺度来实现的。我们的发展，导致这种改进的采样复杂性属于演员评论家算法的类别。演员的一部分涉及到一个变分不等式制定的随机LQR问题，而在评论家的一部分，我们利用了条件随机原始对偶方法，并表明该算法具有最佳的收敛速率时，配对收缩多历元计划。
2025-02-20 math.OC
Model-free stochastic linear quadratic control for discrete-time systems with multiplicative and additive noises via semidefinite programming
College of Electrical Engineering and Automation, Shandong University of Science and Technology（山东科技大学电气工程学院）；School of Mathematics and Statistics, Shandong University of Technology（山东理工大学数学与统计学院）；College of New Energy, China University of Petroleum (East China)（中国石油大学（华东）新能源学院）
本文提出了一种基于半正定规划的无模型随机线性二次控制方法，通过理论分析和实验验证，实现了非迭代、样本高效且无需超参数调优的最优控制增益估计。
2025-12-24 math.OC
Model-Free Optimal Control of Linear Multi-Agent Systems via Decomposition and Hierarchical Approximation
为大规模多智能体系统（MAS）设计最优线性二次型调节器（LQR）是一项耗时的工作，因为它涉及求解大型矩阵Riccati方程。当设计需要使用强化学习（RL）等方案以无模型的方式完成时，情况会进一步恶化。为了降低计算复杂度，我们将大规模LQR设计问题分解为多个较小尺寸的LQR设计问题。我们认为目标函数被指定在一个无向图，并铸造分解为一个图聚类问题。该图被分解成两部分，一部分由独立的连接组件集群组成，另一部分包含连接不同集群的边。因此，所得到的控制器具有由两个组件组成的分层结构。第一个组件通过使用RL算法以无模型的方式解决较小尺寸的LQR设计问题来优化每个独立集群的性能。第二个组成部分占目标耦合不同的集群，这是通过解决最小二乘问题在一个镜头。虽然次优，分层控制器坚持一个特定的结构，指定的目标函数中的代理间的耦合和分解策略。建立数学公式，以找到一个分解，最大限度地减少所需的通信链路的数量或减少最优性差距。数值模拟提供突出的优点和缺点的建议的设计。
2021-03-17 cs.MA cs.SY eess.SY
Reinforcement Learning-based Output Structured Feedback for Distributed Multi-Area Power System Frequency Control
负荷频率控制是多区域电力系统维持频率稳定的关键因素。随着现代电力系统从集中式向分布式的发展，LFC需要考虑基于对等（P2P）的方案，该方案考虑来自每个互连区域的发电机控制的信息交换图的有限信息。本文旨在解决一个具有均值-方差风险约束和输出结构反馈的数据驱动约束LQR问题，并将该框架应用于多区域电力系统的LFC问题。通过将约束最优化问题转化为极小极大问题，采用带零阶策略梯度（ZOPG）的随机梯度下降极大预言（SGDmax）算法，在保证收敛性的前提下，从学习中寻找最优反馈增益.此外，为了提高所提出的学习方法对新的或不同的模型的适应性，我们构建了一个模拟器网格，该网格近似于物理网格的动态，并基于该模型进行训练。一旦从仿真器网格获得反馈增益，就将其应用于具有鲁棒性测试的物理网格，以检查来自近似仿真器的控制器是否适用于实际系统。数值试验表明，所得到的反馈控制器能够成功地控制各区域的频率，同时能够有效地抑制负荷的不确定性，具有可靠的鲁棒性，保证了所得到的反馈增益对实际物理电网的适应性。
2022-09-26 math.OC
Sample Complexity of the Linear Quadratic Regulator: A Reinforcement Learning Lens
该研究针对参数未知的折扣离散时间线性二次调节器问题，从强化学习视角提出无需两点梯度估计的算法，实现了O~(1/ε)的样本复杂度，显著优于现有非两点梯度估计类方法的性能。
2025-06-16 cs.LG cs.SY eess.SY
Optimal-PhiBE: A PDE-based Model-free framework for Continuous-time Reinforcement Learning
本文提出Optimal-PhiBE，一种结合离散信息与连续PDE的无模型连续时间强化学习框架，在LQR下误差更小、对振荡奖励不敏感，并支持高阶扩展与轨迹数据直接求解。
2025-10-12 math.OC
Direct Data-Driven Discounted Infinite Horizon Linear Quadratic Regulator with Robustness Guarantees
针对随机线性系统LQR控制，本文提出基于Bellman不等式的单次自适应动态规划数据驱动方法，可直接学习控制增益和值函数，并在噪声下保证鲁棒稳定与次优性能。
2024-10-25 cs.SY eess.SY math.OC
Data-enabled Policy Optimization for the Linear Quadratic Regulator
针对线性二次型调节器（LQR）中策略优化数据需求过大的问题，提出数据使能策略优化（DeePO）方法，利用持续激励数据计算策略梯度并证明其全局收敛性，同时通过正则化增强控制器鲁棒性。
2023-09-15 cs.SY eess.SY math.OC
Value Function Estimators for Feynman-Kac Forward-Backward SDEs in Stochastic Optimal Control
针对随机最优控制问题中值函数的Feynman-Kac表示形式的正倒向随机微分方程，提出了两种新的数值估计方法.在目前的数值方法是基于离散化的连续时间FBBACK相反，我们提出了一个相反的方法，即，我们得到一个离散时间近似的政策价值函数，然后我们推导出一个离散时间估计，类似于连续时间对应。所提出的方法允许随着误差分析的建设更高的精度估计。该方法被应用到强化学习中的策略改进步骤。数值结果和误差分析表明，使用（i）一个标量非线性随机最优控制问题和（ii）一个四维线性二次型调节器（LQR）问题。所提出的估计量在这两种情况下的精度显着改善欧拉-丸山为基础的估计在竞争中使用的方法。在LQR问题的情况下，我们证明了我们的估计结果在近机器精度水平的准确性，与以前提出的方法，可以潜在地分歧相同的问题。
2021-09-30 cs.RO cs.SY eess.SY
Towards a Theoretical Foundation of Policy Optimization for Learning Control Policies
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Massachusetts Institute of Technology（麻省理工学院）；University of Maryland, College Park（马里兰大学帕克分校）；Harvard University（哈佛大学）；University of Washington（华盛顿大学）
基于性能的方法已被广泛用于各种应用领域的系统设计和优化。最近，在控制和强化学习的背景下，研究这些方法的理论特性又引起了人们的兴趣。本文综述了策略优化的一些最新进展，这是一种用于反馈控制合成的基于梯度的迭代方法，通过强化学习的成功推广。我们采取跨学科的角度在我们的论述，连接控制理论，强化学习和大规模优化。我们回顾了一些最近发展的理论结果的优化景观，整体收敛，和样本复杂性的梯度为基础的方法，各种连续控制问题，如线性二次调节器（LQR），$\mathcal{H}_\infty$控制，风险敏感控制，线性二次高斯（LQG）控制，和输出反馈合成。结合这些优化结果，我们还讨论了直接策略优化如何处理基于学习的控制中的稳定性和鲁棒性问题，这是控制工程中的两个主要需求。我们通过指出学习和控制交叉点的几个挑战和机遇来结束调查。
2022-10-10 cs.LG math.OC stat.ML
Escaping High-order Saddles in Policy Optimization for Linear Quadratic Gaussian (LQG) Control
一阶策略优化在强化学习中有着广泛的应用。它保证了状态反馈线性二次型调节器（LQR）的最优策略。然而，政策优化的性能仍然不清楚的线性二次高斯（LQG）控制的LQG成本有虚假的次优平稳点。在本文中，我们引入了一种新的扰动策略梯度（PGD）方法，以逃避一大类坏的稳定点（包括高阶鞍）。特别是，基于LQG的特定结构，我们引入了一种新的重新参数化过程，将高阶鞍点转换为严格鞍点，从而有效地逃避PGD中的标准随机扰动。我们进一步刻画了高阶鞍，可以逃脱我们的算法。
2022-04-02 cs.SY eess.SY math.DS
Learning in games via reinforcement and regularization
CNRS (French National Center for Scientific Research)（法国国家科学研究中心）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；University of Wisconsin（威斯康星大学）
我们研究了一类强化学习动态，其中玩家根据他们的行动随时间的累积收益调整他们的策略-具体来说，通过玩混合策略来最大化他们的预期累积收益减去正则化项。一个被广泛研究的例子是指数强化学习，这是一个由熵正则化项引起的过程，它导致混合策略根据复制动力学进化。然而，与用于在随机虚拟游戏模型中定义平滑最佳响应的正则化函数类相反，本文中使用的函数在单纯形的边界处不需要无限陡峭;事实上，放弃这一要求会导致陡峭和非陡峭情况之间的重要二分法。在这个一般框架中，我们扩展了指数学习的几个性质，包括消除支配策略，严格纳什均衡的渐近稳定性，以及在具有内部纳什均衡的零和对策中时间平均轨迹的收敛性。
2016-02-08 cs.GT cs.LG math.OC
Policy Optimization for $\mathcal{H}_2$ Linear Control with $\mathcal{H}_\infty$ Robustness Guarantee: Implicit Regularization and Global Convergence
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
策略优化（PO）是强化学习（RL）的关键组成部分。对于控制设计，通常对策略施加某些约束以进行优化，考虑系统的稳定性，鲁棒性或安全性问题。因此，PO在大多数情况下本质上是一个约束（非凸）优化，其整体收敛通常很难分析。更重要的是，一些安全关键的约束，例如，保证系统鲁棒性的$\mathcal{H}_\infty$ -范数约束在PO方法进行时难以强制执行。最近，政策梯度法已被证明收敛到线性二次型调节器（LQR）的全局最优值，一个经典的最优控制问题，没有正则化/投影的控制迭代到稳定集，其（隐式）的可行集。这个惊人的结果是建立在成本的强制属性上的，确保迭代在成本降低时保持可行。本文研究了具有$\mathcal{H}_\infty$ -范数鲁棒性保证的$\mathcal{H}_2$线性控制的PO收敛性理论。这个问题的一个重要的新特征是缺乏连续性，即，成本在可行集边界附近可能具有有限值，打破了现有的LQR分析。有趣的是，我们证明了两种PO方法具有隐式正则化性质，即，迭代保持$\mathcal{H}_\infty$鲁棒性约束，就好像它们被算法正则化一样。此外，尽管问题的非凸性，我们表明，这些算法收敛到全局最优的政策与全局次线性率，避免所有次优驻点/局部极小值，并与局部（超）线性率在一定条件下。
2021-02-15 cs.LG cs.SY eess.SY
On Data-Driven Model Identification for Nonlinear Optimal Control
TAMU（德克萨斯农工大学）
本文针对非线性最优控制中的数据驱动模型辨识，揭示高阶大域近似存在方差与病态性诅咒，并提出迭代辨识局部LTV模型结合ILQR的方法，可有效缓解问题并局部精确求解。
2026-09-22 cs.SY eess.SY math.OC
The Gap Between Model-Based and Model-Free Methods on the Linear Quadratic Regulator: An Asymptotic Viewpoint
University of California, Berkeley（加利福尼亚大学伯克利分校）
基于模型与无模型方法的有效性是强化学习（RL）中一个长期存在的问题。受最近RL在连续控制任务上的经验成功的启发，我们研究了线性二次调节器（LQR）上流行的基于模型和无模型算法的样本复杂度。我们表明，对于政策评估，一个简单的基于模型的插件方法需要渐近更少的样本比经典的最小二乘时间差（LSTD）估计，以达到相同的质量的解决方案，这两种方法之间的样本复杂性差距可以至少是一个因素的状态维度。对于政策评估，我们研究了一个简单的家庭的问题的情况下，表明标称（确定性等价原则）控制也需要几个因素的状态和输入维更少的样本比策略梯度方法，以达到相同的水平，这些情况下的控制性能。此外，即使采用常用的基线，差距仍然存在。据我们所知，这是第一个理论结果，它表明了分离的样本复杂性之间的基于模型的方法和无模型的连续控制任务。
2019-02-03 cs.LG math.OC stat.ML
Task-Optimal Exploration in Linear Dynamical Systems
University of Washington（华盛顿大学）；University of California, Berkeley（加州大学伯克利分校）
未知环境中的探索是强化学习和控制中的一个基本问题。在这项工作中，我们研究了任务引导的探索，并确定代理必须了解他们的环境，以完成特定的任务。形式上，我们研究了广泛的一类决策问题的线性动态系统的设置，一类，包括线性二次调节器问题。我们提供了实例和任务相关的下限，明确量化完成感兴趣的任务的难度。我们的下限的动机，我们提出了一个计算效率的实验设计为基础的探索算法。我们表明，它最佳地探索环境，精确地收集完成任务所需的信息，并提供有限的时间范围，保证它实现了实例和任务的最佳样本复杂性，常数因子。通过LQR问题的几个例子，我们表明，执行任务引导的探索可证明提高探索计划，不考虑感兴趣的任务。一路上，我们建立了确定性等价决策是实例和任务最优的，并获得了线性二次调节器问题的第一个算法是实例最优的。最后，我们用几个实验来说明我们的方法在实践中的有效性。
2021-07-09 cs.LG math.OC stat.ML
$QD$-Learning: A Collaborative Distributed Strategy for Multi-Agent Reinforcement Learning Through Consensus + Innovations
Carnegie Mellon University（卡内基梅隆大学）；Princeton University（普林斯顿大学）
本文考虑一类多智能体马尔可夫决策过程（MDP），其中网络智能体对全局受控状态和远程控制器的控制行为的响应不同（表现为瞬时单阶段随机代价）.本文研究了一种分布式强化学习设置，没有全局状态转移和本地代理成本统计的先验信息。具体地说，与代理的目标，包括最小化的网络平均无限地平线的折扣成本，本文提出了一个分布式版本的$Q$ -学习，$\mathcal{QD}$ -学习，其中网络代理合作，通过本地处理和相互信息交换稀疏（可能是随机的）通信网络，以实现网络目标。在每个Agent只知道其本地在线费用数据且Agent间通信网络是\emph{weakly}连通的假设下，所提出的分布式方案几乎必然（a.s.）所示的收益率渐近期望值函数和最优稳态控制策略在每个网络代理。在本文中开发的分析技术，以解决混合的时间尺度随机动态的\emph{consensus + innovations}形式，这是由于所提出的交互式分布式计划，是独立的利益。
2012-10-25 cs.LG cs.MA math.OC
Policy Learning of MDPs with Mixed Continuous/Discrete Variables: A Case Study on Model-Free Control of Markovian Jump Systems
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
马尔可夫跳变线性系是一类重要的动力系统，在许多控制应用中得到了广泛的应用。在本文中，我们介绍了控制未知（离散时间）MJLS的问题作为一个新的基准基于政策的强化学习马尔可夫决策过程（MDP）与混合连续/离散状态变量。与传统的线性二次型调节器（LQR）相比，我们提出的问题导致了一个特殊的混合MDP（与混合连续和离散变量），并提出了重大的新的挑战，由于一个潜在的马尔可夫跳变参数的出现，管理模式的系统动态。具体而言，MJLS的状态不形成马尔可夫链，因此不能将MJLS控制问题作为仅具有连续状态变量的MDP来研究。然而，可以增加状态和跳跃参数以获得具有混合连续/离散状态空间的MDP。我们讨论了如何控制理论揭示了政策参数化的混合MDP。然后，我们修改了广泛使用的自然策略梯度法，直接学习最优状态反馈控制策略的MJLS没有识别系统的动态或切换参数的转移概率。我们在不同的MJLS示例上实现了（数据驱动的）自然策略梯度法。我们的仿真结果表明，自然梯度法可以有效地学习最优控制器的MJLS与未知动态。
2020-07-15 cs.LG cs.SY eess.SY
Robust Learning-based Predictive Control for Discrete-time Nonlinear Systems with Unknown Dynamics and State Constraints
National University of Defense Technology（国防科技大学）；Jilin University（吉林大学）
鲁棒模型预测控制（MPC）是一种众所周知的用于具有约束和不确定性的基于模型的控制的控制技术。在经典的鲁棒基于管的MPC方法中，通过周期性地求解在线标称MPC问题来计算开环控制序列，这需要先验模型信息和频繁访问板载计算资源。针对具有状态约束和干扰的未知非线性系统，提出了一种基于滚动时域强化学习的鲁棒预测控制算法（r-LPC）。建议的r-LPC利用Koopman算子为基础的预测模型获得离线从预先收集的输入输出数据集。与经典的基于管的MPC不同，在r-LPC的每个预测时间间隔内，我们使用一个actor-critic结构来学习一个接近最优的反馈控制策略，而不是一个控制序列。所得到的闭环控制策略可以离线学习并在线部署，或者以异步方式在线学习。在后一种情况下，可以在必要时激活在线学习;例如，部署的策略违反了安全约束。在函数逼近误差下证明了该网络的闭环递归可行性、鲁棒性和渐近稳定性。对两个具有未知动态和干扰的非线性系统的仿真和实验结果表明，与基于管的MPC和LQR相比，我们的方法具有更好或相当的性能，并且优于最近开发的actor-critic学习方法。
2022-01-15 cs.LG cs.SY eess.SY
