3DPG: Distributed Deep Deterministic Policy Gradient Algorithms for Networked Multi-Agent Systems
Paderborn University（帕德博恩大学）；Karlstad University（卡尔斯塔德大学）；Hasso-Plattner-Institute（哈索·普拉特纳研究所）；University of Potsdam（波茨坦大学）
我们提出了分布式深度确定性策略梯度（3DPG），一个多智能体的演员-评论家（MAAC）算法的马尔可夫游戏。与以前的MAAC算法不同，3DPG在训练和部署期间都是完全分布式的。3DPG代理基于最近可用的本地数据（状态、动作）和其他代理的本地策略来计算本地策略梯度。在训练期间，使用潜在的有损和延迟通信网络来交换该信息。因此，该网络引发了数据和政策的信息时代（AoI）。我们证明了3DPG的渐近收敛性，即使在潜在的无界信息时代（AoI）的存在。这为实际的在线和分布式多智能体学习迈出了重要的一步，因为3DPG并不假设信息是确定性的。我们分析3DPG在温和的实际假设下的政策和数据传输的存在。我们的分析表明，3DPG代理收敛到一个局部纳什均衡的马尔可夫博弈的效用函数表示为代理的期望值的局部近似行动-价值函数（Q-函数）。局部Q函数的期望是关于由代理累积的局部经验形成的全局状态-动作空间上的限制分布。我们的研究结果也揭示了一般MAAC算法所获得的政策。我们通过一个启发式的参数和数值实验表明，3DPG提高了收敛性比以前的MAAC算法，使用旧的行动，而不是旧的政策在训练过程中。此外，我们表明，3DPG是强大的AoI，它学习竞争政策，即使大AoI和低数据可用性。
2022-11-02 cs.AI cs.LG cs.MA
Deep reinforcement learning for scheduling in large-scale networked control systems
Faculty of Computer Science, Electrical Engineering and Mathematics（计算机科学、电气工程与数学系）；Paderborn University（帕德博恩大学）
本文提出了一种基于深度强化学习的迭代资源分配算法DIRA，用于解决网络化系统中的控制与资源调度问题，通过联合优化控制与调度以提高性能。
2019-09-23 cs.LG cs.SY eess.SY
Scalable Multi-Agent Reinforcement Learning for Networked Systems with Average Reward
Caltech（加州理工学院）；Tsinghua University（清华大学）；Harvard University（哈佛大学）
人们早就认识到，多智能体强化学习（MARL）面临着重大的可扩展性问题，因为状态和动作空间的大小在智能体数量上呈指数级增长。在本文中，我们确定了一个丰富的网络MARL问题的模型表现出一个本地的依赖结构，使其能够以可扩展的方式解决。具体来说，我们提出了一个可扩展的演员-评论家（SAC）的方法，可以学习一个接近最优的本地化策略，以优化平均奖励与复杂性缩放的状态-动作空间大小的本地社区，而不是整个网络。我们的结果围绕着识别和利用指数衰减属性，确保代理对彼此的影响在其图形距离中以指数方式快速衰减。
2020-06-11 cs.AI cs.LG cs.MA
Value Propagation for Decentralized Networked Deep Multi-agent Reinforcement Learning
Ant Financial Services Group（蚂蚁金融服务集团）；Technion（以色列理工学院）；Alibaba Group（阿里巴巴集团）；Georgia Institute of Technology（佐治亚理工学院）
我们认为网络化的多智能体强化学习（MARL）问题在一个完全分散的设置，代理学习协调，以实现联合成功。这个问题在包括交通控制、分布式控制和智能电网在内的许多领域中广泛遇到。我们假设每个代理的奖励函数可以是不同的，并且只能由代理本身局部观察。此外，每个代理位于通信网络的节点处，并且只能与其邻居交换信息。使用softmax时间一致性和分散优化方法，我们得到了一个原则和数据有效的迭代算法。在每次迭代的第一步中，代理计算其本地策略和值梯度，然后仅更新策略参数。在第二步中，代理基于其价值函数向其邻居传播消息，然后更新其自身的价值函数。因此，我们将算法命名为值传播。在非线性函数逼近下，我们证明了非渐近收敛速度为1/T。据我们所知，这是第一个MARL算法的收敛保证在控制，关闭政策和非线性函数逼近设置。我们经验证明我们的方法在实验中的有效性。
2019-09-28 cs.LG stat.ML
Networked Control of Nonlinear Systems under Partial Observation Using Continuous Deep Q-Learning
Osaka University（大阪大学）
针对数学模型未知的非线性对象，提出了一种无模型网络控制器的设计方法。在网络化控制系统中，控制器和工厂彼此远离并且通过网络交换数据，这导致网络延迟，该网络延迟可能由于网络路由而随机波动。因此，在本文中，我们假设当前的网络延迟是未知的，但波动的网络延迟的最大值是已知的。此外，我们还假设传感器无法观测到被控对象的所有状态变量。在这些假设下，我们将连续深度Q学习应用于网络控制器的设计。然后，我们引入一个由过去的控制输入和输出序列组成的扩展状态作为深度神经网络的输入。仿真结果表明，在部分观测的情况下，利用扩展状态，控制器可以学习到对网络时延波动具有鲁棒性的控制策略。
2019-08-30 cs.LG cs.SY eess.SY
Multi-agent Reinforcement Learning for Networked System Control
Uhana Inc.（乌哈纳公司）；Stanford University（斯坦福大学）
研究网络系统控制中的多智能体强化学习。具体来说，每个代理学习一个分散控制政策的基础上，当地的意见和消息，从连接的邻居。我们制定这样一个网络MARL（NMARL）的问题作为一个时空马尔可夫决策过程，并引入了空间折扣因子来稳定每个本地代理的训练。此外，我们提出了一种新的可区分的通信协议，称为NeurComm，以减少信息丢失和非平稳性在NMARL。基于自适应交通信号控制和协同自适应巡航控制的实际NMARL场景的实验，适当的空间折扣因子有效地提高了非通信MARL算法的学习曲线，而NeurComm在学习效率和控制性能方面均优于现有的通信协议.
2020-04-24 cs.LG stat.ML
Distributed Algorithms for Linearly-Solvable Optimal Control in Networked Multi-Agent Systems
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Georgia Institute of Technology（佐治亚理工学院）；University of Nevada, Reno（内华达大学里诺分校）
研究了网络化多智能体系统（MAS）离散时间和连续时间线性可解最优控制（LSOC）问题的分布式算法。提出了一种分布式框架，将网络化MAS的最优控制问题分解为阶乘子系统中的多个局部最优控制问题，使得每个（中心）Agent的行为最优地最小化由中心Agent及其相邻Agent组成的子系统的联合成本函数，并且局部控制行为（策略）仅依赖于局部观测的知识.在这个框架下，我们不仅保持相邻代理之间的相关性，但适度的通信和计算复杂性通过分散的采样和计算过程中的网络。对于离散时间系统的马尔可夫决策过程建模，每个子系统的联合贝尔曼方程转化为线性方程组，并使用并行编程求解。对于连续时间系统的伊藤扩散过程建模，每个子系统的联合最优性方程转化为一个线性偏微分方程，其解分别近似的路径积分公式和样本有效的相对熵策略搜索算法。通过组合性原理将学习控制策略推广到非学习任务的求解，并以无人机编队为例验证了算法的有效性和优越性。
2021-02-18 cs.LG cs.MA cs.RO
Sparse optimal control of networks with multiplicative noise via policy gradient
The University of Texas at Dallas（德克萨斯大学达拉斯分校）
本文提出了一种基于策略梯度的近优稀疏控制器设计算法，用于处理受乘性噪声影响的复杂动态网络系统，通过多种正则化方案的比较，展示了算法在大规模网络系统中的有效性。
2019-05-28 cs.LG cs.SY eess.SY
Learning to Share in Multi-Agent Reinforcement Learning
Peking University（北京大学）；Peng Cheng Lab（鹏城实验室）
在本文中，我们研究了网络化多智能体强化学习（MARL）的问题，其中一些代理被部署为一个部分连接的网络，每个交互只与附近的代理。网络MARL要求所有代理以分散的方式做出决策，以优化网络上邻居之间通信受限的全局目标。受共享在人类学习合作中起着关键作用这一事实的启发，我们提出了LToS，一个分层分散的MARL框架，使代理能够学习动态地与邻居分享奖励，以鼓励代理通过集体在全局目标上合作。对于每个代理，高层策略学习如何与邻居共享奖励以分解全局目标，而低级策略学习优化由高层策略在邻域中诱导的局部目标。这两种策略形成一个双层优化，交替学习。我们的经验表明，LToS优于现有的方法，在社会困境和网络MARL的情况下跨尺度。
2022-06-21 cs.LG cs.MA
Reinforcement Learning in Linear Quadratic Deep Structured Teams: Global Convergence of Policy Gradient Methods
Concordia University（康考迪亚大学）
本文研究了线性二次型深度结构团队的基于模型和无模型的策略梯度下降算法和自然策略梯度下降算法的全局收敛性。在这样的系统中，代理被划分成几个子群体，其中每个子群体中的代理通过所有代理的状态和动作的一组线性回归在动态和成本函数中耦合。每个智能体观察其局部状态和状态的线性回归，称为深度状态。对于一个足够小的风险因素和/或足够大的人口，我们证明了基于模型的策略梯度方法全局收敛到最优解。给定任意数量的代理，我们开发的无模型策略梯度和自然策略梯度算法的风险中性成本函数的特殊情况。所提出的算法是可扩展的代理的数量，由于事实上，他们的政策空间的维度是独立的代理在每个子群体的数量。仿真结果验证了理论分析的正确性。
2020-12-15 cs.LG cs.MA cs.SY
Approximate Midpoint Policy Iteration for Linear Quadratic Control
University of Texas at Dallas（得克萨斯大学达拉斯分校）；University of Melbourne（墨尔本大学）
本文提出了一种中点策略迭代算法来求解线性二次型最优控制问题，包括基于模型和无模型两种情况。该算法是一个变化的牛顿法，我们表明，在基于模型的设置，它实现立方收敛，这是优于标准的政策迭代和政策梯度算法，实现二次和线性收敛，分别。我们还表明，该算法可以近似实现的动力学模型的知识，通过使用最小二乘估计的状态动作值函数的轨迹数据，从该政策的改进，可以得到。有了足够的轨迹数据，策略迭代立方收敛到近似最优策略，并且这与近似标准策略迭代具有相同的可用样本预算。数值实验证明了算法的有效性。
2022-02-15 cs.LG cs.SY eess.SY
Policy Optimization for Markovian Jump Linear Quadratic Control: Gradient-Based Methods and Global Convergence
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
最近，由于对强化学习的兴趣越来越大，用于控制目的的策略优化重新受到关注。本文研究离散马尔可夫跳变线性系二次最优控制的基于梯度的策略最优化方法的整体收敛性。首先，我们研究了MJLS的直接策略优化的优化景观，静态状态反馈控制器和二次性能成本。尽管结果问题的非凸性，我们仍然能够确定几个有用的属性，如bandwidth，梯度优势，几乎光滑。基于这些性质，我们证明了三种策略最优化方法的整体收敛：梯度下降法，高斯-牛顿法和自然策略梯度法。我们证明了这三种方法收敛到最优的状态反馈控制器MJLS在一个线性的速度，如果初始化在一个控制器，这是均方稳定。给出了一些数值例子来支持理论。这项工作带来了新的见解，了解性能的政策梯度法的马尔可夫跳跃线性二次控制问题。
2020-11-24 cs.LG cs.SY eess.SY
Transformer-Based Multi-Agent Reinforcement Learning for Networked Systems with Long-Range Interactions
Department of Electrical and Computer Engineering, Carnegie Mellon University（电气与计算机工程系，卡内基梅隆大学）
研究针对现有多智能体强化学习在处理长程交互及网络泛化性上的局限，提出均值场稳定性分析等，贡献了基于Transformer的STACCA框架，提升了在相关网络控制任务中的性能与泛化性。
2026-07-07 cs.LG cs.MA cs.SY
Resource Optimization for Tail-Based Control in Wireless Networked Control Systems
Centre for Wireless Communication, University of Oulu, Finland（奥卢大学无线通信中心，芬兰）；Infotech Oulu, University of Oulu, Finland（奥卢大学Infotech，芬兰）
针对资源受限的WNCS，提出融合Lyapunov调度、GPR预测与RL控制的尾部控制优化方案，实验显示总体代价降低22%。
2024-06-20 cs.LG cs.SY eess.SY
Distributed Reinforcement Learning for Decentralized Linear Quadratic Control: A Derivative-Free Policy Optimization Approach
John A. Paulson School of Engineering and Applied Sciences, Harvard University（哈佛大学约翰·A·保尔森工程与应用科学学院）
研究了具有部分状态观测和局部代价的分散线性二次型控制的分布式强化学习问题。我们提出了一个零阶分布式策略优化算法（ZODPO），学习线性局部控制器在分布式的方式，利用策略梯度，零阶优化和共识算法的思想。在ZODPO中，每个代理通过一致性估计全局成本，然后基于零阶梯度估计并行执行局部策略梯度。即使在大规模系统中，ZODPO也只需要有限的通信和存储。此外，我们调查的非渐近性能的ZODPO，并表明，样本的复杂性，以接近一个平稳点是多项式的误差容限的逆和问题的尺寸，展示了ZODPO的可扩展性。我们还表明，整个ZODPO产生的控制器是稳定的控制器具有很高的概率。最后，我们在多区域HVAC系统上对ZODPO进行了数值测试。
2020-10-23 cs.LG cs.SY eess.SY
Online Policy Gradient for Model Free Learning of Linear Quadratic Regulators with $\sqrt{T}$ Regret
School of Computer Science, Tel Aviv University（特拉维夫大学计算机科学学院）；Google Research（谷歌研究院）
我们考虑的任务是学习控制一个线性动态系统下固定的二次成本，被称为线性二次调节器（LQR）的问题。虽然无模型方法在实践中通常是有利的，但到目前为止，只有依赖于昂贵的系统辨识的基于模型的方法已被证明可以实现与时间范围T的最佳依赖性成比例的遗憾。我们提出了第一个无模型算法，实现了类似的遗憾保证。我们的方法依赖于一个有效的策略梯度计划，和一个新的和更严格的分析，在政策空间的探索在这种情况下。
2021-02-25 cs.LG stat.ML
A Multi-Agent Off-Policy Actor-Critic Algorithm for Distributed Reinforcement Learning
Stony Brook University（石溪大学）；Princeton University（普林斯顿大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Northwestern University（西北大学）
本文将离线强化学习扩展到多智能体的情况下，一组网络代理与他们的邻居根据随时间变化的图进行通信，协同评估和改进的目标策略，同时遵循一个独特的行为策略。为此，本文开发了一个多智能体版本的时间差分学习的离线政策评估，并证明了收敛性下的线性函数逼近。然后，本文利用这一结果，结合一个新的多智能体关政策策略梯度定理和最近的工作在多智能体的政策和单智能体关政策的行动者-评论家的方法，开发并给出一个新的多智能体关政策的行动者-评论家算法的收敛保证。
2019-11-18 cs.LG stat.ML
Regret Analysis of Certainty Equivalence Policies in Continuous-Time Linear-Quadratic Systems
本文从理论上研究了一种普适的强化学习策略，用于控制连续时间随机线性二次系统的规范模型。我们发现，随机确定性等价策略解决了线性控制系统中的探索-开发困境，根据未知的随机微分方程，其运营成本是二次的。更确切地说，我们建立了时间后悔界的平方根，表明随机确定性等价策略从单个状态轨迹快速学习最优控制动作。此外，线性缩放的遗憾与参数的数量示出。所提出的分析介绍了新颖而有用的技术方法，并揭示了连续时间强化学习的基本挑战。
2022-08-22 cs.LG cs.SY eess.SY
Analyzing the Variance of Policy Gradient Estimators for the Linear-Quadratic Regulator
University of Southern California（南加州大学）；T.U. Kaiserslautern（凯泽斯劳滕工业大学）
我们研究了REINFORCE策略梯度估计器在连续状态和动作空间、线性动态、二次成本和高斯噪声环境中的方差。这些简单的环境使我们能够根据环境和噪声参数推导出估计方差的界限。我们比较了我们的边界的预测模拟实验中的经验方差。
2019-10-02 cs.LG stat.ML
Global Convergence Using Policy Gradient Methods for Model-free Markovian Jump Linear Quadratic Control
IIT-Bombay（印度理工学院孟买分校）
由于强化学习在过去几年中的兴趣增长，基于梯度的策略控制方法也在控制问题中越来越受欢迎。这是正确的，因为梯度策略方法具有以端到端的方式优化感兴趣的度量的优势，并且在不完全了解底层系统的情况下相对容易实现。本文研究离散无模型马尔可夫跳变线性系统二次控制的基于梯度的策略优化方法的全局收敛性。我们克服了无数的挑战，因为一个以上的国家加上缺乏知识的系统动力学和显示全局收敛的政策，使用梯度下降和自然的策略梯度方法。我们还提供模拟研究来证实我们的说法。
2021-11-30 cs.LG math.OC
Policy Gradient Converges to the Globally Optimal Policy for Nearly Linear-Quadratic Regulators
University of Southern California（南加州大学）
本文研究部分信息下近线性二次调节器的强化学习最优策略问题，通过刻画代价函数在全局最优附近的局部强凸性与光滑性，并提出初始化机制和策略梯度算法，保证以线性速率收敛到全局最优策略。
2025-04-09 cs.LG math.OC stat.ML
Robust Reinforcement Learning: A Case Study in Linear Quadratic Regulation
New York University（纽约大学）
本文研究了强化学习算法对学习过程中错误的鲁棒性。具体来说，我们重新审视离散时间线性二次调节（LQR）的基准问题，并研究长期存在的开放问题：在什么条件下是策略迭代法鲁棒稳定的动力系统的角度来看？利用控制理论中的先进稳定性结果，证明了LQR的策略迭代对学习过程中的小误差具有内在的鲁棒性，并且具有小干扰输入-状态稳定性：只要每次迭代中的误差有界且小，策略迭代算法的解也有界，并且进入并停留在最优LQR解的一个小邻域内.作为应用，当系统动态受到加性随机干扰时，提出了一种新的LQR问题的非策略乐观最小二乘策略迭代。最后通过数值算例验证了所提出的鲁棒强化学习的新结果。
2021-03-15 cs.AI cs.LG cs.SY
Scalable Reinforcement Learning for Multi-Agent Networked Systems
Carnegie Mellon University（卡内基梅隆大学）；California Institute of Technology（加州理工学院）；Harvard University（哈佛大学）
我们研究强化学习（RL）的设置与代理网络的状态和动作相互作用的本地方式，其目标是找到本地化的政策，使（折扣）的全球奖励最大化。在这种情况下，一个根本的挑战是，状态动作空间的大小在代理的数量呈指数级扩展，使问题难以处理的大型网络。在本文中，我们提出了一个可扩展的演员评论（SAC）框架，利用网络结构，并找到一个本地化的政策，这是一个$O(ρ^κ)$ -近似的一个固定点的目标，一些$ρ\in(0,1)$，与复杂性的规模与当地的状态动作空间大小的最大$κ$跳邻居的网络。我们举例说明我们的模型和方法，从无线通信，流行病和交通。
2021-11-01 cs.AI cs.LG math.OC
Policy Gradient Methods Find the Nash Equilibrium in N-player General-sum Linear-quadratic Games
University of Oxford（牛津大学）
考虑有限时间内具有随机动态的一般和N-局中人线性二次对策，证明了自然策略梯度法对Nash均衡的整体收敛.为了证明该方法的收敛性，我们要求系统中存在一定量的噪声。我们给出了一个条件，基本上是一个下界的噪声的模型参数的协方差，以保证收敛。我们用数值实验来说明我们的结果，表明即使在政策梯度法可能不会收敛于确定性设置的情况下，噪声的加入导致收敛。
2022-08-15 cs.GT cs.LG math.OC
Taylor Representations for Model-Free RL in Networked MDPs
Massachusetts Institute of Technology（麻省理工学院）
本文提出基于泰勒展开的局部评论家表示，用于网络化MDP的无模型强化学习，并设计可扩展的演员-评论家算法，在三个控制基准上匹配或超越谱方法。
2026-10-06 cs.LG math.OC stat.ML
Fast Policy Learning for Linear Quadratic Control with Entropy Regularization
Department of Industrial Engineering & Operations Research, University of California, Berkeley（工业工程与运营管理系，加州大学伯克利分校）；Department of Mathematics, University of Oxford（数学系，牛津大学）；Department of Management Science & Engineering, Stanford University（管理科学与工程系，斯坦福大学）
本文提出正则化策略梯度（RPG）和迭代策略优化（IPO）两种方法，用于带熵正则化的线性二次控制问题，证明其线性收敛，且IPO在局部区域及环境相近的迁移场景下可实现超线性收敛。
2025-10-07 cs.LG math.OC
Finite-time Analysis of Approximate Policy Iteration for the Linear Quadratic Regulator
University of California, Berkeley（加州大学伯克利分校）
我们研究了线性二次调节器（LQR）的近似策略迭代（PI）的样本复杂性，建立在最近的工作线上，使用LQR作为测试平台，以了解强化学习（RL）算法在连续控制任务上的局限性。我们的分析量化了政策改进和政策评估之间的紧张关系，并认为政策评估是样本复杂性的主导因素。具体而言，我们表明，要获得一个控制器，最优的LQR控制器的$\varepsilon$内，每一步的政策评估需要最多$(n+d)^3/\varepsilon^2$样本，其中$n$是状态向量的维度和$d$是输入向量的维度。另一方面，只有$\log(1/\varepsilon)$策略改进步骤就足够了，导致总体示例复杂度为$(n+d)^3 \varepsilon^{-2} \log(1/\varepsilon)$。我们进一步建立在我们的分析和构造一个简单的自适应程序的基础上$\varepsilon$贪婪的探索依赖于近似PI作为一个子例程，并获得$T^{2/3}$遗憾，改善后，最近的结果Abbasi-Yadkori等人。
2019-05-30 cs.LG math.OC stat.ML
Policy Gradient Methods for Discrete Time Linear Quadratic Regulator With Random Parameters
Fudan University（复旦大学）；Shanghai Center for Mathematical Sciences（上海数学中心）
针对参数随时间独立同分布的离散时间线性二次控制问题，提出无需参数统计知识的策略梯度方法，证明状态次高斯性与全局线性收敛，并通过数值实验验证。
2024-03-01 cs.LG math.OC
Wasserstein Policy Gradient for Entropy-Regularized Linear-Quadratic Control
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
该研究针对熵正则化线性二次控制问题，将Wasserstein策略梯度简化为有限维ODE并证明其指数收敛，明确了收敛指数在熵温度趋于0时的极限特性。
2026-08-10 cs.LG math.OC
Policy Optimization for Continuous-time Linear-Quadratic Graphon Mean Field Games
Department of Mathematics, Imperial College London（数学系，帝国理工学院伦敦分校）
本文针对连续时间线性二次图子平均场博弈提出策略优化框架，设计仿射策略参数化与双层优化算法，证明其线性收敛到最优响应并全局收敛到纳什均衡，实验验证了算法的收敛性与鲁棒性。
2025-06-06 cs.LG math.OC math.PR
Convergence of policy gradient methods for finite-horizon exploratory linear-quadratic control problems
Mathematical Institute, University of Oxford（牛津大学数学研究所）；Department of Mathematics, Imperial College London（帝国理工学院数学系）
针对有限时域连续时间探索性LQC，本文提出基于Fisher与Bures–Wasserstein几何的策略梯度方法，证明其有界且全局线性收敛，并给出跨动作频率稳健收敛的离散时间算法。
2024-03-01 cs.LG math.OC
Policy Gradient Methods for the Noisy Linear Quadratic Regulator over a Finite Horizon
University of Oxford（牛津大学）
我们探讨强化学习方法，以寻找最佳的政策，在线性二次型调节器（LQR）的问题。特别地，我们考虑了策略梯度方法在已知和未知参数下的收敛性。我们能够产生一个全球性的线性收敛保证这种方法在有限的时间范围和随机状态动力学的设置下弱的假设。为了处理有约束的问题，还建立了投影策略梯度方法的收敛性。我们用两个例子说明了算法的性能。第一个例子是资产持有的最优清算。我们显示的情况下，我们假设一个模型的基本动力学，我们直接将该方法应用于数据的结果。经验证据表明，策略梯度方法可以学习全局最优解的一个较大的类随机系统包含LQR框架，它是更强大的模型误指定相比，基于模型的方法。第二个例子是在具有合成数据的高维设置中的LQR系统。
2021-06-23 cs.LG q-fin.ST
Linear-Quadratic Mean-Field Reinforcement Learning: Convergence of Policy Gradient Methods
Program in Applied and Computational Mathematics, Princeton（普林斯顿大学应用与计算数学项目）；Shanghai Frontiers Science Center of Artificial Intelligence and Deep Learning（上海人工智能与深度学习前沿科学中心）；NYU-ECNU Institute of Mathematical Sciences at NYU Shanghai（纽约大学-华东师范大学纽约大学上海数学科学研究所）；NYU Shanghai（上海纽约大学）；Walmart Global Tech（沃尔玛全球科技）
研究大量可交换智能体在平均场交互下的强化学习问题，通过分析离散时间平均场控制问题，严格证明了线性二次设定下策略梯度方法的收敛性及速率界限，并给出图形验证。
2025-04-28 cs.LG math.OC
Global Convergence of Policy Gradient Methods for the Linear Quadratic Regulator
University of Washington（华盛顿大学）；Duke University（杜克大学）
用于强化学习和连续控制问题的直接策略梯度方法是一种流行的方法，原因有很多：1）它们很容易实现，无需明确了解底层模型; 2）它们是一种“端到端”方法，直接优化感兴趣的性能指标; 3）它们固有地允许丰富的参数化策略。一个显着的缺点是，即使在最基本的连续控制问题（线性二次调节器），这些方法必须解决一个非凸优化问题，其中很少有人了解他们的效率从计算和统计的角度。相比之下，系统辨识和基于模型的规划在最优控制理论有一个更坚实的理论基础，在那里知道很多关于他们的计算和统计特性。这项工作弥合了这一差距，表明（无模型）策略梯度方法全局收敛到最优解，是有效的（多项式，所以在相关的问题依赖量），其样本和计算复杂性。
2019-03-23 cs.LG stat.ML
Policy Optimization for Linear-Quadratic Zero-Sum Mean-Field Type Games
Princeton University（普林斯顿大学）
本文研究了无限时间折扣效用函数下具有线性动态和二次效用的零和平均场型对策。ZSMFTG是一类博弈，其中两个效用总和为零的决策者竞争影响大量代理。特别是，在这种情况下，过渡和效用函数依赖于状态，控制器的动作，和状态和动作的平均值，进行了研究。博弈分析和明确的表达式的纳什均衡策略。此外，两个策略最优化方法，依赖于策略梯度提出了基于模型和基于样本的框架。在第一种情况下，使用模型精确地计算梯度，而在第二种情况下，使用蒙特卡罗模拟来估计梯度。数值实验表明，收敛的两个球员的控制，以及效用函数时，这两个算法被用于不同的场景。
2020-09-02 cs.GT cs.LG math.OC
Linear-Quadratic Zero-Sum Mean-Field Type Games: Optimality Conditions and Policy Optimization
Department of Operations Research and Financial Engineering, Princeton University（普林斯顿大学运筹学与金融工程系）
本文研究了无限时间折扣效用函数下具有线性动态和二次费用的零和平均场型对策。ZSMFTG是一类博弈，其中两个效用总和为零的决策者竞争影响大量不可区分的代理人。特别是，在这种情况下，过渡和效用函数依赖于状态，控制器的动作，和状态和动作的平均值，进行了研究。分析了开环控制和闭环控制下博弈的最优性条件，并给出了纳什均衡策略的显式表达式。此外，两个策略最优化方法，依赖于策略梯度提出了基于模型和基于样本的框架。在基于模型的情况下，使用模型精确地计算梯度，而在基于样本的情况下，使用蒙特卡罗模拟来估计梯度。数值实验表明，效用函数的收敛性以及两个球员的控制。
2020-09-01 cs.GT cs.LG math.OC
Escaping from Zero Gradient: Revisiting Action-Constrained Reinforcement Learning via Frank-Wolfe Policy Optimization
National Yang Ming Chiao Tung University（国立阳明交通大学）；Facebook AI（脸书人工智能）；Academia Sinica（中央研究院）
约束强化学习（RL）是一种在各种现实世界应用中广泛使用的方法，例如具有资源约束的网络系统中的调度和具有运动约束的机器人的控制。虽然现有的基于投影的方法确保零约束违反，但由于策略梯度和投影的紧密耦合，它们可能遭受零梯度问题，这导致样本低效的训练和缓慢的收敛。为了解决这个问题，我们提出了一个学习算法，利用状态明智的Frank-Wolfe和基于回归的策略更新方案，从策略参数更新的动作约束。此外，我们表明，该算法在表格的情况下，以及推广流行的DDPG算法的动作约束RL在一般情况下，具有收敛性和政策改进性能。通过实验，我们证明了该算法显着优于各种控制任务的基准方法。
2021-08-02 cs.LG
Policy-Gradient Algorithms Have No Guarantees of Convergence in Linear Quadratic Games
University of California, Berkeley（加州大学伯克利分校）；University of Washington（华盛顿大学）
我们通过反例表明，策略梯度算法没有保证，甚至局部收敛到纳什均衡在连续的行动和状态空间多智能体设置。要做到这一点，我们分析梯度发挥N-玩家一般和线性二次游戏，一个经典的游戏设置，最近出现的多智能体学习领域的基准。在这种博弈中，状态空间和行动空间是连续的，全局纳什均衡可以通过求解耦合的Ricatti方程来找到。此外，LQ博弈中的梯度博弈等价于多智能体策略梯度。我们首先表明，这些游戏是令人惊讶的不是凸的游戏。尽管如此，我们仍然能够证明梯度动力学的唯一临界点是全局纳什均衡。然后，我们给出了充分条件下，策略梯度将避免纳什均衡，并产生大量的一般和线性二次博弈，满足这些条件。在这样的博弈中，我们凭经验观察到参与者收敛到极限环，对于极限环，时间平均值不符合纳什均衡。这种游戏的存在表明，在经典的强化学习设置中解决强化学习问题的最流行的方法之一在多智能体设置中没有局部收敛保证。此外，我们可以很容易地生成这些反例，这表明这种情况不仅仅是边缘情况，实际上是很常见的。
2019-12-16 cs.LG stat.ML
Meta-Learning Linear Quadratic Regulators: A Policy Gradient MAML Approach for Model-free LQR
Columbia University（哥伦比亚大学）
研究多任务异构无模型环境下的 LQR 学习问题，提出基于策略梯度的 MAML-LQR 算法，证明了其在有模型和无模型场景下的稳定性、个性化保证及线性收敛速率，实现了对未知任务的高效适应。
2024-05-31 cs.LG math.OC
Distributed Neural Policy Gradient Algorithm for Global Convergence of Networked Multi-Agent Reinforcement Learning
针对网络化多智能体强化学习问题，提出一种包含分布式评论家和去中心化演员步骤的分布式神经策略梯度算法，利用神经网络近似Q函数与策略，理论证明了其全局收敛性并在机器人路径规划中验证了有效性。
2025-05-30 cs.MA
Distributed Zeroth-Order Policy Gradient for Networked Multi-agent Reinforcement Learning from Human Feedback
Singapore University of Technology and Design（新加坡科技设计大学）；Southeast University（东南大学）；University of California, Riverside（加州大学河滨分校）；Sichuan University（四川大学）；Purple Mountain Laboratories（紫金山实验室）
本文提出一种分布式零阶策略梯度算法，利用人类反馈在无限时间 horizon 下实现多智能体协作优化，通过局部状态依赖网络实现高效 scalable 的多智能体强化学习。
2026-05-15 cs.MA
Distributed scalable coupled policy algorithm for networked multi-agent reinforcement learning
Singapore University of Technology and Design（新加坡科技设计大学）；University of California, Riverside（加州大学河滨分校）；Southeast University（东南大学）；Purple Mountain Laboratories（紫金山实验室）
本文提出了一种分布式可扩展耦合策略算法，用于解决网络化多智能体强化学习中的相互依赖奖励和耦合策略问题，通过几何2步采样方法实现无偏梯度估计，提升协同优化效率。
2026-11-02 cs.MA
Distributed Q-Learning with State Tracking for Multi-agent Networked Control
Arizona State University（亚利桑那州立大学）；University of California, Irvine（加州大学欧文分校）
研究了多智能体网络中线性二次型调节器（LQR）的分布式Q学习问题。现有的结果往往假设代理可以观察到的全球系统状态，这可能是不可行的，在大规模的系统，由于隐私问题或通信约束。在这项工作中，我们考虑设置未知的系统模型和没有集中协调。我们设计了一个基于状态跟踪的Q-学习算法来设计智能体的最优控制器。具体来说，我们假设代理维护本地估计的全球状态的基础上，他们的本地信息和与邻居的通信。在每一步中，每个代理更新其局部全局状态估计，基于该状态估计，通过策略迭代在局部求解近似Q因子。假设在策略评估过程中注入衰减的激励噪声，我们证明了局部估计收敛到真正的全局状态，并建立了所提出的基于ST的分布式Q-学习算法的收敛性。实验研究证实了我们的理论结果表明，我们提出的方法实现了类似的性能与集中的情况下。
2020-12-22 cs.AI cs.MA
Distributed Management of Fluctuating Energy Resources in Dynamic Networked Systems
Ruhr-University Bochum（鲁尔大学波鸿分校）；University of Tübingen（蒂宾根大学）；Fraunhofer Heinrich Hertz Institute（弗劳恩霍夫海因里希·赫兹研究所）
针对可再生能源不可靠性，本文提出分布式决策策略解决能源共享的bandit凸优化问题，采用动态遗憾指标并加入调整策略，理论分析与真实数据实验均验证其有效性。
2024-05-29 cs.LG cs.MA cs.SY
Networked Communication for Mean-Field Games with Function Approximation and Empirical Mean-Field Estimation
University of Oxford（牛津大学）
本文提出基于函数逼近和经验均值估计的网络通信方法，解决均值场博弈中去中心化智能体在大规模状态空间和群体依赖策略下的学习问题。
2025-12-22 cs.AI cs.GT cs.LG
Neuroadaptive Distributed Event-triggered Control of Networked Uncertain Pure-feedback Systems with Polluted Feedback
研究一类带有污染反馈的不确定纯反馈非线性多智能体系统的分布式事件触发控制问题。在事件触发控制的背景下，对于非仿射纯反馈形式的系统，由于传感器故障，系统的状态变量不能直接连续地获取，甚至被污染，其控制设计和稳定性分析都面临着很大的挑战。首先将神经网络逼近与动态滤波技术相结合，提出了规则状态反馈下的标称控制策略，然后采用一种新的替换策略，提出了基于神经网络的分布式事件触发控制策略，完全避免了事件触发设置的不可微性问题.此外，传感器失效自动适应，而无需使用故障检测和诊断单元或控制器重构。它表明，所有的内部信号是半全局一致最终有界（SGUUB）的几个重要引理的帮助下，而所有的子系统的输出达成共识，没有无限快的执行。最后，通过数值仿真验证了算法的有效性.
2023-02-27 cs.MA cs.SY eess.SY
Adaptive Accountability in Networked MAS: Tracing and Mitigating Emergent Norms at Scale
Computer Science Department, Al-Baha University（阿尔巴哈大学计算机科学系）
本文提出自适应问责框架（AAF），通过记录可验证交互溯源、检测分布变化点、利用因果影响图归因责任以及应用成本受限干预措施，有效缓解网络化多智能体系统中涌现的不合规规范问题，同时在大规模模拟中保持社会福利。
2026-03-19 cs.AI cs.MA
GRAND: Guidance, Rebalancing, and Assignment for Networked Dispatch in Multi-Agent Path Finding
本文提出GRAND方法，结合学习指导与轻量优化，通过图神经网络和最小费用流提升仓库调度效率，实验证明在500个智能体场景下提升吞吐量达10%。
2026-03-04 cs.LG cs.MA cs.RO
Inducing Equilibria in Networked Public Goods Games through Network Structure Modification
网络公共产品博弈模型的场景中，自利的代理人决定是否或多少投资的行动，不仅有利于自己，而且他们的网络邻居。例子包括疫苗接种、安全投资和犯罪报告。虽然每个代理的效用都在其邻居的联合投资中增加，但具体形式可能会因场景而异。委托人，如决策者，可能希望从代理人那里吸引大量投资。除了直接激励之外，这里的一个重要杠杆是网络结构本身：通过增加和去除边缘，例如通过社区会议，委托人可以改变效用函数的性质，从而产生不同的，也许是社会上更可取的均衡结果。我们启动了有针对性的网络修改的算法研究，目标是诱导特定形式的均衡。我们研究这个问题的各种均衡形式（诱导所有代理投资，至少一个给定的集合$S$，正是一个给定的集合$S$，至少$k$代理），并为各种效用函数。虽然我们表明，这个问题是NP-完全的一些这些情况下，我们展示了广泛的情况下，该问题可以解决在多项式时间的非平凡减少（最小成本）匹配问题。
2021-09-02 cs.GT cs.MA
Solving Large-Scale Extensive-Form Network Security Games via Neural Fictitious Self-Play
Nanyang Technological University（南洋理工大学）；Dartmouth College（达特茅斯学院）
保护网络基础设施在现实世界中非常重要。部署安全资源以防止网络域中的攻击者的问题可以建模为网络安全游戏（NSG）。不幸的是，现有的方法，包括基于深度学习的方法，对于解决大规模的可拓形式的NSG是低效的。在本文中，我们提出了一种新的学习范式，NSG-NFSP，解决大规模的扩展形式的NSG基于神经虚拟自我发挥（NFSP）。我们的主要贡献包括：i）将NFSP中的最佳响应（BR）策略网络改造为从动作-状态对到动作-值的映射，使NSG中的BR计算成为可能; ii）将NFSP代理的平均策略网络转换为基于度量的分类器，帮助代理仅对合法动作而不是所有动作分配分配分布; iii）使NFSP具有高级动作，这可以有益于NSG中的训练效率和稳定性;以及iv）通过学习有效的图节点嵌入来利用NSG的图中包含的信息。我们的算法在可扩展性和解决方案质量方面显着优于最先进的算法。
2021-06-02 cs.AI cs.GT cs.LG
