Decentralized Exchangeable Stochastic Dynamic Teams in Continuous-time, their Mean-Field Limits and Optimality of Symmetric Policies
本文研究连续时间下有限与无限总体的可交换随机动态团队,证明了有限总体最优策略收敛于无限总体去中心化对称策略并具有全局最优性,首次建立了受控McKean-Vlasov动力学与去中心化随机控制问题的联系。
2024-04-25 math.OC
Guaranteeing Both Consensus and Optimality in Decentralized Nonconvex Optimization with Multiple Local Updates
Clemson University(克莱姆森大学)
本文提出完全去中心化算法MILE,通过周期系统表述和提升分析,首次在多次局部更新下的非凸优化中同时保证共识性与最优性,并达到O(1/T)收敛速率且通信内存开销最小。
2025-11-07 math.OC
Optimality of Symmetric Independent Policies under Decentralized Mean-Field Information Sharing for Stochastic Teams and Equivalence with McKean-Vlasov Control of a Representative Agent
Royal Military College of Canada(加拿大皇家军事学院);Bilkent University(比尔肯特大学);Queen’s University(女王大学)
研究有限和无限决策者随机可交换团队的最优策略,证明有限人口最优策略收敛到无限人口的分散对称独立策略,并建立与McKean-Vlasov控制的关系。
2026-06-05 math.OC
Decentralized Strategies for Backward Linear-Quadratic Mean Field Games and Teams
针对由弱耦合线性 BSDE 描述的线性二次平均场博弈与团队问题,利用随机最大值原理、最优滤波及 Riccati 方程解耦,得到反馈型去中心化最优策略并通过数值算例验证。
2025-01-02 math.OC
Optimality of Independently Randomized Symmetric Policies for Exchangeable Stochastic Teams with Infinitely Many Decision Makers
本文研究了决策者数目为大或可数无穷多的随机团队(也称为分散随机控制或同息随机动态博弈)问题,刻画了(全局)最优策略的存在性和结构性质。我们考虑静态和动态的非凸团队问题的费用函数和动态满足交换条件。为了达到最优策略的存在性和结构性结果,我们首先介绍了控制策略的拓扑结构,它涉及到分散的信息结构的各种放松。然后利用这一点来达到可交换政策的de Finetti型表示定理。这导致了一个表示定理的政策,承认一个无限的交换条件。对于一般设置的随机团队问题与$N$决策者,下交换的观察决策者和费用函数,我们表明,在不损失全局最优性,搜索最优策略可以限制到那些是$N$ -可交换的。然后,通过将$N$ -可交换策略推广到无限可交换策略,建立了诱导成本的收敛性论证,并利用所提出的de Finetti型定理,我们建立了具有可数无限个决策者的静态和动态团队的最优分散策略的存在性,证明了该策略是对称的(即,相同)和随机化。特别是,与以前的工作,凸性的成本在政策不假设。最后,我们证明了有限$N$ -决策者团队问题的对称独立随机策略的近最优性,从而建立了$N$ -决策者弱耦合随机团队的近似结果。
2021-07-07 math.OC
Linear-Quadratic Stackelberg Mean Field Games and Teams with Arbitrary Population Sizes
本文研究了任意种群规模的线性二次Stackelberg平均场博弈与团队问题,提出了一种新的解聚合方法,获得了相对于分散式策略集的精确分散式最优策略,并通过变分分析和维度展开解耦高维FBSDEs,推导出所有参与者的分散式均衡解。
2024-12-17 math.OC
Isomorphism Properties of Optimality and Equilibrium Solutions under Equivalent Information Structure Transformations I: Stochastic Dynamic Teams
在随机最优控制中,测度变元一直是随机分析的关键问题。这种方法通常被称为动态团队理论(或分散随机控制)中的静态约简,并且已经成为建立最优策略的存在性和近似结果的有效方法。在本文中,我们将这种静态减少分为三类:(i)独立于政策的(如Witsenhausen介绍的),(ii)政策依赖型(正如Ho和Chu为部分嵌套的动态团队介绍的那样),以及(iii)我们将称为具有控制共享减少的静态测量的那些(其中测量是静态的,尽管根据部分嵌套的信息结构共享控制动作)。对于第一种类型,我们证明了动态团队的个人最优(全局最优)政策与其政策独立的静态减少之间存在双射。对于第二种类型,虽然有一个双射动态团队的全局最优政策与部分嵌套的信息结构和他们的静态约简,一般不存在双射动态团队的个人最优政策和他们的政策相关的静态约简。我们还建立了一个关于定常解的更强的负结果。我们提出了双射关系成立的充分条件。在控制共享减少的静态测量下,最优性概念之间的联系可以在放松的条件下建立。一个蕴涵是一个凸性特征的动态团队问题在静态测量与控制共享减少。最后,我们介绍了多阶段的改进,这样的减少。第二部分的文件解决了类似的问题的背景下,随机动态游戏,其中出现了进一步的微妙之处。
2021-11-27 math.OC
Centralized Versus Decentralized Team Games of Distributed Stochastic Differential Decision Systems with Noiseless Information Structures-Part II: Applications
University of Cyprus(塞浦路斯大学);University of Ottawa(渥太华大学)
本文利用随机最大值原理、条件哈密顿量和耦合正倒向随机微分方程,推导了无噪声信息结构下分布式随机微分系统的团队最优分散策略,并通过线性和非线性二次型示例展示了信息信号对降低计算复杂度的作用。
2013-02-14 cs.IT cs.SY eess.SY
Deep Structured Teams in Arbitrary-Size Linear Networks: Decentralized Estimation, Optimal Control and Separation Principle
在这篇文章中,我们介绍了分散的卡尔曼滤波器的线性二次深度结构的团队。深度结构化团队中的智能体通过一组状态和动作的线性回归(也称为深度状态和深度动作)在动态、成本和测量中耦合。信息结构是分散的,其中每个代理观察其局部状态和全局深层状态的噪声测量。由于在深度结构化团队中,代理的数量通常非常大,因此任何寻找最佳卡尔曼滤波器的天真方法都会受到维数灾难的影响。此外,由于分散的信息结构的性质,所得到的优化问题是非凸的,在一般情况下,非线性策略可以优于线性的。然而,我们证明了最优策略在局部状态估计以及深层状态估计中是线性的,并且可以通过两个无标度Riccati方程和卡尔曼滤波器有效地计算。我们提出了一种基于规范变换技术的跨空间和时间两个层次的双层次正交方法来实现上述结果。我们还建立了最优控制与最优估计的分离原则。此外,我们表明,随着代理的数量趋于无穷大,与深度状态估计相关联的卡尔曼增益收敛到零的速度与代理的数量成反比。这导致了一个完全分散的近似策略,每个代理通过其条件和无条件期望值预测深度状态,也被称为确定性等价近似和(加权)平均场近似。
2021-10-23 cs.MA math.OC
Mean-Field Systems with Heterogeneous Subteams: Optimality of Cluster-Symmetric Independent Policies and Equivalence with Decentralized McKean-Vlasov Control of Cluster-Representative Agents
Queen’s University(女王大学);Royal Military College of Canada(加拿大皇家军事学院);Bilkent University(比尔肯特大学)
本文研究了异质子团队的均场系统,证明了集群对称独立策略的最优性,并展示了其与去中心化麦肯-瓦拉斯控制的等价性,为复杂合作系统的分析提供了新途径。
2026-04-30 math.OC
Decentralized Q-Learning for Stochastic Teams and Games
只有少数学习算法适用于随机动态团队和游戏,推广马尔可夫决策过程的分散随机控制问题,涉及可能是自私的决策者。游戏中的学习通常很困难,因为游戏是一个非静态环境,每个决策者都希望在其他决策者也在学习的情况下,用最少的信息学习最佳决策。在随机动态博弈中,学习更具挑战性,因为在学习过程中,决策者会改变系统的状态,从而改变未来的成本。本文提出了随机对策的分散Q-学习算法,并研究了弱非循环情形下的收敛性,其中团队问题是一个重要的特例。该算法是分散的,因为每个决策者只能访问其本地信息,状态信息和本地成本实现;此外,它完全无视其他决策者的存在。我们表明,这些算法收敛到均衡政策几乎肯定在大型类的随机对策。
2016-05-02 cs.GT cs.LG math.OC
Optimality in Decentralized Optimization under Bandwidth Constraints
AXXX;Applied AI Institute(应用人工智能研究所)
本文研究带带宽限制的去中心化优化问题,推导非凸随机并行异步优化的最优时间复杂度,提出Grace SGD和Leon SGD方法,利用最小割/最大流和Gomory-Hu树等工具改进复杂度。
2026-03-21 cs.DC math.CO math.OC
A Universal Dynamic Program and Refined Existence Results for Decentralized Stochastic Control
对于具有标准Borel测度和控制作用空间的序列随机控制问题,我们引入了一个普遍适用的动态规划公式,建立了它的适定性,并给出了最优策略的存在性结果.我们的动态程序部分地建立在Witsenhausen的标准式上,但对状态、动作和过渡动态有不同的表述。利用分散控制中战略措施的可测性的最新结果,我们得到了一个标准的Borel控制的马尔可夫模型。这允许通过用于每个时间阶段的值函数的通用可测量性属性的良好定义的动态规划递归。此外,还得到了分散随机控制最优策略的存在性结果。这些国家,对于一个静态的团队与独立的测量,它足以为费用函数是连续的(仅)在温和的紧凑性(或紧密性)条件下的最优策略的存在的行动。这些也适用于动态团队,通过改变度量变换,允许静态减少独立的度量。我们通过一个反例表明,较弱的条件下可能不会导致存在一个最优的团队策略。本文的存在性结果推广了以前文献中报道的结果。总结和比较以前报道的结果和一些应用。
2020-07-01 math.OC
A Decentralized Partially Observable Team Decision Methodology with Delayed Information Sharing
Cornell University(康奈尔大学);Imperial College London(帝国理工学院);Aalborg University(奥尔堡大学);University of Trieste(的里雅斯特大学)
针对低秩潜在动力学且模型未知的分散式部分可观测团队决策问题,提出结合团队等价性与低秩表示的分散学习规划算法,各成员基于局部信息和延迟共享信息学习近似MDP并采用最小二乘值迭代,无需集中协调或训练,可逼近集中式团队最优解,并给出有限样本保证与样本复杂度界。
2026-09-23 cs.LG cs.SY eess.SY
Dynamic Team Theory of Stochastic Differential Decision Systems with Decentralized Noisy Information Structures via Girsanov's Measure Transformation
University of Cyprus(塞浦路斯大学);University of Ottawa(渥太华大学)
本文提出两种方法,将静态团队理论推广到动态团队理论,通过连续时间随机非线性微分去中心化决策系统,利用Girsanov测度变换获得等价动态团队问题,研究团队最优条件和放松策略的存在性。
2013-10-10 cs.SY eess.SY math.OC
Decentralized Feedback Optimization via Sensitivity Decoupling: Stability and Sub-optimality
本文针对网络化系统提出一种基于灵敏度矩阵对角近似的完全分散式反馈优化控制器,以降低通信负担并提升可扩展性,同时证明了闭环稳定性、界定了分散化带来的次优性,并揭示其解对应于非合作博弈的纳什均衡。
2024-03-28 cs.SY eess.SY math.OC
Comments and Corrections on the DP Equations of Paper "On Team Decision Problems With Nonclassical Information Structures"
University of Cyprus(塞浦路斯大学);University of Tennessee(田纳西大学)
指出[1]中定理5和定理7的DP方程证明错误,导致相关引理和定理无效,并给出正确的逐人最优性DP方程。
2026-05-25 math.OC
Centralized Versus Decentralized Team Games of Distributed Stochastic Differential Decision Systems with Noiseless Information Structures-Part I: General Theory
分布式随机微分系统的分散优化是半个多世纪以来的一个活跃的研究领域。它的制定利用静态团队和个人的最优性标准进行了很好的研究。然而,结果还没有推广到非线性分布随机微分系统可能是由于分散决策策略固有的技术困难。在本文的第一部分中,我们推导了具有不同信息结构的分布式随机微分系统的团队最优性和个人最优性条件最优性条件。最优性条件给出的哈密顿系统系统的耦合向后和向前随机微分方程和一个条件哈密尔顿方程,根据经常和放松的战略。我们的方法是基于半鞅表示定理和变分方法。在整个演示文稿中,我们讨论的相似之处集中式决策的最优性条件。
2013-02-14 cs.IT math.IT math.OC
Mean Field Linear Quadratic Control: Uniform Stabilization and Social Optimality
研究了一般平均场线性二次型控制系统的一致镇定和社会最优性,其中子系统通过各自的动态和代价耦合,且状态权不满足确定性条件.对于有限时域问题,我们首先从变分分析得到一组正倒向随机微分方程(FBSDEs),并通过解耦FBSDEs构造一个反馈型控制。对于无限时域问题,利用两个Riccati方程的解,设计了一组分散控制律,并进一步证明了该控制律是渐近社会最优的。分别给出了系统在不同情况下一致镇定的等价条件。最后,所提出的分散控制进行了比较,在以前的作品中的渐近最优策略。
2020-02-27 math.OC
A Decentralized Shotgun Approach for Team Deception
针对多智能体团队向监督者隐藏替代任务的问题,提出集中式综合、去中心化执行的欺骗策略方法,通过最小化最差 KL 散度保证行为合理性并线性扩展,还处理监督者清除部分智能体后的任务完成。
2024-10-25 math.OC
Decentralized Detection with Many Sensors: Optimality of Exchangeable and Identical Encoding Policies
Royal Military College of Canada(加拿大皇家军事学院);Bilkent University(比尔肯特大学);Queen’s University(女王大学)
本文研究多传感器分散二元检测,证明有限及无限传感器场景下最优编码策略存在且具有阈值、可交换或对称独立性质,并表明无限场景对称策略对有限场景近似最优。
2025-09-26 math.OC
Networked Control and Mean Field Problems Under Diagonal Dominance: Decentralized and Social Optimality
University of Nevada, Reno(内华达大学里诺分校);University of Minnesota Twin Cities(明尼苏达大学双城分校)
本文针对具有平均场相互作用的多智能体系统,采用输入-输出方法将同质智能体的控制框架拓展至非同质场景,证明了对角占优且局部开环动力学有界时,n趋于无穷下H∞和H2范数最小化的最优控制器仍具分散自利性。
2025-10-01 cs.SY eess.SY math.OC
Intrinsic Decentralized Stochastic Riemannian Optimization on Manifolds with Bounded Sectional Curvature
Rice University(莱斯大学)
本文研究了在具有有界截面曲率的流形上,使用递减步长的内在去中心化随机黎曼梯度方法,证明了网络共识误差和全局最优差距的界,并展示了在分布式PCA问题上的应用。
2026-03-17 math.OC
Deep Teams: Decentralized Decision Making with Finite and Infinite Number of Agents
受人工智能中的深度学习和行为经济学中的公平性概念的启发,我们在本文中引入了深度团队。在这样的系统中,代理被划分成几个子群体,使每个子群体中的代理的动态和成本是不变的代理的索引。代理的目标是最小化一个共同的费用函数,在这样的方式,在每个子人口的代理不歧视或特权的方式,他们被索引。研究了两种非经典信息结构。在第一种情况下,每个代理观察其本地状态以及每个子群体中代理状态的经验分布,称为深度状态,而在第二种情况下,未观察到子群体的子集(可能是所有)的深度状态。开发了新的动态程序来分别识别第一和第二信息结构的全局最优和次最优解。在空间和时间上找到最优解的计算复杂性相对于每个子群体中的代理数量是多项式的(而不是指数的),并且相对于控制范围是线性的(而不是指数的)。通过引入向前方程,我们称之为深度Chapman-Kolmogorov方程,由二项式概率分布的多个卷积层描述,进一步降低了这种复杂性。两个不同的价格被定义为计算和通信,它表明,在温和的假设下,他们收敛到零的量化水平和代理的数量趋于无穷大。此外,将主要结果推广到无限期贴现模型和任意非对称费用函数。最后给出了一个200用户的服务管理实例。
2020-06-02 math.OC
When Does Selfishness Align with Team Goals? A Structural Analysis of Equilibrium and Optimality
Imperial College London(帝国理工学院);Aalborg University(奥尔堡大学);University of Trieste(的里雅斯特大学);Cornell University(康奈尔大学)
本文通过参数化博弈模型分析纳什均衡与团队最优解的一致性,提出充要条件和偏差上界,并设计两阶段学习响应干预框架引导均衡趋向最优,以协调自利行为与团队目标。
2026-09-17 cs.GT math.OC
Team-Optimal Solution of Finite Number of Mean-Field Coupled LQG Subsystems
研究了具有线性动态、二次型成本和高斯扰动的分散控制系统。该系统由有限数量的子系统组成,其动态和每步费用函数通过它们的平均场(经验平均)耦合。该系统具有平均场共享信息结构,每个控制器观察其局部子系统的状态(或者完全地或者具有噪声)和平均场。它表明,最优控制法律是唯一的,线性的,并在所有子系统相同。此外,最佳增益的计算是通过求解两个解耦的Riccati方程在全观测模型和通过求解一个额外的滤波器Riccati方程在噪声观测模型。这些Riccati方程不依赖于子系统的数量。它还表明,最佳分散的性能是相同的最佳集中的性能。以智能电网为例,说明了该方法的有效性.
2020-12-02 math.OC
Isomorphism Properties of Optimality and Equilibrium Solutions under Equivalent Information Structure Transformations: Stochastic Dynamic Games and Teams
本文研究随机动态博弈与团队中信息结构静态约简的等价性,系统分类三类约简并给出 Nash 均衡及平稳解同构的条件与反例。
2023-07-12 math.OC
Optimal Symmetric Strategies in Multi-Agent Systems with Decentralized Information
本文研究分散信息协作多智能体系统中的有限时域最优对称策略,改造公共信息方法形成单函数最小化动态规划,并给出私有信息可约简的专用模型。
2023-07-14 cs.MA math.OC
Near-Optimality of Linear Strategies for Static Teams with `Big' Non-Gaussian Noise
我们研究具有静态信息结构的随机团队问题,假设控制器具有线性信息和二次成本,但允许噪声来自非高斯类。当噪声为高斯噪声时,这些问题允许线性最优控制器。我们表明,对于这样的线性二次静态团队与任何对数凹噪声,如果噪声或数据向量的长度变得大相比,团队的大小和他们的意见,然后线性策略接近最优的“大多数”问题。近似的质量随着噪声向量长度的增长而提高,并且近似渐近不精确的一类问题接近一组测量零。我们表明,如果对数凹噪声问题的最优策略逐点收敛,他们这样做的(线性)最优策略的高斯噪声问题。并且我们得到了非高斯问题的最优费用与线性策略下的最优费用之差的渐近紧误差界。
2018-12-28 cs.GT cs.IT math.IT
Team Variance Optimization of n-Player Stochastic Games with Separately Controlled Chains
针对独立受控链n人随机博弈的团队方差优化难题,提出基于灵敏度的双层分布式优化算法,证明了纳什均衡存在性与算法收敛性,并通过智能电网能量管理实验验证了有效性。
2025-07-30 math.OC
Asymptotically Optimal Distributionally Robust Solutions through Forecasting and Operations Decentralization
针对两阶段风险规避分布鲁棒优化问题计算难处理的特点,提出将其分散为预测与运营两阶段的框架,通过预测团队传达两点分布使运营团队求解出渐近最优解,在保持竞争性能的同时提升了计算效率与适用性。
2024-12-23 math.OC
An Energy-Optimal Framework for Assignment and Trajectory Generation in Teams of Autonomous Agents
在本文中,我们提出了一种方法来解决问题的移动$N$同质代理到$M \geq N$目标位置沿能量最小化的轨迹。我们提出了一个分散的框架,只需要每个代理的目标位置和部分观测的全局状态的知识。该框架包括通过动态约束对安全性的保证,以及对代理施加动态的全局优先级排序的方法。以二进制程序和非线性系统方程的形式导出了目标分配和轨迹生成问题的解。然后,我们提出了最优性的条件和特征的条件下,我们的算法是保证收敛到一个独特的分配代理的目标。我们还解决了完全约束分散轨迹生成问题,考虑到状态,控制和安全约束。最后,我们通过MATLAB中的数值模拟验证了我们的方法的有效性。
2020-03-09 math.OC
Finite Model Approximations and Asymptotic Optimality of Quantized Policies in Decentralized Stochastic Control
Queen’s University(女王大学)
本文研究了通过观测和行动空间均匀量化构造有限模型的静态和动态团队问题,证明这些模型能以任意精度逼近最优成本,尤其在Witsenhausen反例和高斯中继信道问题中展示了去量化策略的渐近最优性。
2016-01-01 cs.SY eess.SY math.OC
Mean-Field Multi-Agent Reinforcement Learning: A Decentralized Network Approach
University of California, Berkeley(加州大学伯克利分校);Tsinghua-Berkeley Shenzhen Institute(清华-伯克利深圳学院);University of Southern California(南加州大学)
多智能体强化学习(MARL)面临的挑战之一是为大型系统设计有效的学习算法,在该系统中每个智能体仅具有整个系统的有限或部分信息。虽然在分析具有社交网络和团队视频游戏的代理网络的去中心化MARL方面取得了令人兴奋的进展,但理论上对具有用于建模自动驾驶车辆,乘车共享以及数据和交通路由的状态网络的去中心化MARL知之甚少。本文提出了一个局部训练和分散执行的框架来研究具有状态网络的MARL。局部化训练意味着Agent只需要在训练阶段收集邻近状态的局部信息;分散化执行意味着Agent可以在训练之后执行学习到的分散化策略,这些策略仅取决于Agent的当前状态。理论分析由三个关键部分组成:第一是将MARL系统重新表述为具有多个代理团队的网络化马尔可夫决策过程,使得能够以局部方式更新相关团队Q函数;第二是用于价值函数的Bellman方程和概率测度空间上的适当Q函数;第三是团队Q函数的指数衰减特性,使其具有有效的样本效率和可控的误差近似。理论分析为一种新的算法LTDE-Neural-AC铺平了道路,其中提出了过参数化神经网络的Actor-Critic方法。的收敛性和样本的复杂性的建立和证明是可扩展的代理和状态的大小。据我们所知,这是第一个基于神经网络的MARL算法的网络结构和可证明的收敛保证。
2022-02-19 cs.LG math.OC
Stability and optimality of multi-scale transportation networks with distributed dynamic tolls
我们研究由动态反馈收费控制的交通网络。我们考虑一个多尺度交通网络模型,其中的交通流的动态交织在一起的司机的路线选择。后者受整个网络的拥塞状态以及系统运营商设置的动态收费的影响。我们的主要研究结果表明,广泛的一类分散的收费依赖收费全球各地的Wardrop均衡稳定的交通网络。此外,使用动态边际成本收费,可以保证交通网络的稳定性周围的社会最优交通分配。这是特别值得注意的,因为所考虑的分散反馈收费策略不需要任何关于网络结构或网络或状态上的外源业务负载的全局信息,并且可以以完全本地的方式计算。我们还评估了这些反馈收费政策的性能,无论是在渐近和瞬态制度,通过数值模拟。
2019-01-29 math.OC
Decentralized and Parallel Primal and Dual Accelerated Methods for Stochastic Convex Programming Problems
介绍了求解分散凸优化问题的原始和对偶随机梯度预言方法。无论是原始和双重预言机,所提出的方法是最佳的通信步骤的数量。然而,对于目标的所有类,每个节点的Oracle调用的数量方面的最优性只发生到对数因子和平滑的概念。通过使用mini-technique,我们表明,所提出的方法与随机预言可以在每个节点上额外并行化。所考虑的算法可以应用于许多数据科学问题和反问题。
2021-02-10 math.OC
Linear-Quadratic Delayed Mean-Field Social Optimization
研究了一类具有时滞的弱耦合大种群线性二次随机最优化问题。与经典的平均场博弈不同,这里的智能体相互合作,以最小化所谓的\emph{social}目标。借助于\emph{delayed person-by-person optimality}原理,利用分散信息得到一个辅助LQ时滞控制问题。利用MF型预期正倒向随机时滞微分方程(AFBSDDE)的一致性条件,得到了一种分散策略。采用具有时滞特征的折现方法求解相容性条件系统。最后,通过对AFBSDDE的一些估计,我们得到了渐近社会最优性。
2023-01-15 math.OC
Social Optima of Linear Forward-Backward Stochastic System
本文研究由FBSDE驱动的大种群LQ随机优化系统的社会最优问题,通过逐人最优性原理推导辅助控制问题,利用MF型一致性条件和Riccati方程解耦求解,并验证了分散策略的渐近社会最优性。
2024-04-29 math.OC
Decentralized Control of Two Agents with Nested Accessible Information
在本文中,我们研究了一个分散的随机控制问题的两个代理,其中的第二个代理的记忆的一部分也可用于第一代理在每个实例的时间。我们推导出一个结构形式的最优控制策略,使我们能够限制其域的大小不随时间的推移。我们还提出了一个动态规划(DP)分解,可以利用我们的结果,以获得任意长的时间范围内的最优策略。由于获得最优控制策略,通过解决这个DP分解是计算密集型的,我们提出了潜在的决议形式的简化策略,通过对我们的模型施加额外的条件,和一个近似技术,可以用来实现我们的结果与有限的最优性损失。
2022-03-09 math.OC
Breaking the Hierarchy: Distributed Control & Economic Optimality in Microgrids
在电力传输系统的递阶控制架构之后建模,一级、二级和三级控制的分层已经成为孤岛微电网的标准操作范例。尽管这种表面上的相似性,在微电网的控制目标在这三个层是不同的和雄心勃勃的,他们必须实现,同时允许强大的即插即用操作和最大的灵活性,没有递阶决策和时间尺度分离。在这项工作中,我们探讨了这三个层的控制策略,并阐明了它们之间的一些可能意想不到的连接和依赖关系。从分散式初级下垂控制的第一原理分析,我们研究了集中式,分散式和分布式架构的二次频率调节。我们发现,平均为基础的分布式控制器使用发电机组之间的通信提供了最佳的组合的灵活性和性能。我们进一步利用这些结果来研究约束AC经济调度在三级控制层。令人惊讶的是,我们表明,经济调度问题的最小值是在一对一的对应关系与下垂控制可达到的稳态集。换句话说,采用下垂控制是必要的,并且足以实现经济优化。这种等效性导致选择下垂系数的简单指南,其包括用于功率共享的已知标准。我们通过仿真说明了我们的设计的性能和鲁棒性。
2014-12-08 math.OC
Robust optimal policies for team Markov games
Peking University(北京大学);University of Groningen(格罗宁根大学)
在随机动态环境中,团队马尔可夫博弈已经成为研究完全合作多智能体系统序列决策问题的通用范式。然而,导出的策略的最优性通常是敏感的模型参数,这通常是未知的,并需要估计噪声数据在实践中。为了减轻最优策略对这些不确定参数的敏感性,本文提出了一种鲁棒的团队马尔可夫博弈模型,其中代理利用鲁棒优化方法来更新策略。该模型将团队马尔可夫博弈扩展到不完全信息的情形,同时提供了一种鲁棒团队最优性的替代解概念。为了寻求这样的解决方案,我们开发了一个强大的迭代学习算法的团队政策,并证明其收敛性。与鲁棒动态规划相比,该算法不仅具有更快的收敛速度,而且允许使用近似计算来减轻维数灾难。此外,通过将序列社会困境的对策模型推广到不确定场景,给出了一些数值模拟来证明算法的有效性。
2022-05-02 cs.AI cs.GT cs.MA
Nash Equilibria for Exchangeable Team against Team Games, their Mean Field Limit, and Role of Common Randomness
我们研究了有限个团队与有限个和无限个决策者之间的随机平均场博弈。对于这类游戏中的静态和动态设置,我们建立了一个纳什均衡的存在性,并表明纳什均衡表现出交换在有限的决策者制度和对称性在无限的。为了得到这些存在性和结构性定理,我们在各种分散信息结构下赋予随机化策略集一个合适的拓扑结构,从而使随机化策略集具有所需的凸性和紧性。然后,我们建立了一个随机纳什均衡,可交换(不一定是对称的)之间的决策者在每个团队的一般类可交换的随机对策的存在。当每个团队中的决策者数量达到无穷大时(即团队之间的平均场博弈),使用de Finetti表示定理,我们证明了对称的随机纳什均衡的存在性(即,在每个团队内的决策者之间,也是独立随机的。最后,我们建立了一个纳什均衡的团队(这是对称的)之间的一类平均场游戏构成了一个近似纳什均衡相应的前限制(可交换)游戏之间的团队大,但有限数量的决策者。因此,我们表明,共同的随机性是没有必要的大型团队对团队的游戏,不像小型球队的情况下。
2022-11-10 cs.GT math.OC
Optimal Decentralized Smoothed Online Convex Optimization
Georgia Institute of Technology(佐治亚理工学院);California Institute of Technology(加州理工学院)
针对多智能体平滑在线凸优化问题,提出了首个可证明渐近最优的去中心化算法ACORD,仅依赖局部信息即可实现低计算复杂度,且性能优于现有LPC算法。
2025-01-30 cs.DS cs.LG math.OC
Online decentralized decision making with inequality constraints: an ADMM approach
我们讨论了一个在线分散决策问题的代理人耦合仿射不等式约束。交替方向乘子法(ADMM)作为计算引擎,我们讨论了在线设置的算法的收敛性。具体来说,当决策必须以固定的时间步长顺序做出时,ADMM可能没有足够的时间在场景改变之前收敛,并且需要更新决策。在这种情况下,一个次优的解决方案,我们分析的最优性差距的收敛条件。此外,在许多情况下,决策问题随着时间的推移而逐渐变化。我们提出了一个热启动方案,以加快ADMM的收敛速度,并分析了热启动的好处。所提出的方法在一个分散式多智能体控制障碍函数问题中进行了仿真验证。
2020-11-19 cs.SY eess.SY math.OC
Non-signaling Approximations of Stochastic Team Problems
本文研究了有限随机团队问题的非信号近似,提出了一种分层的团队决策规则体系,并通过可扩展的非信号策略对序列团队的最优策略进行近似,最后提出了关于量子相关策略最优值计算的开放性问题。
2020-06-16 cs.GT cs.SY eess.SY