On the convergence of decentralized gradient descent with diminishing stepsize, revisited
分布式优化由于其在各个领域的广泛应用,近年来受到了广泛的关注。在这项工作中,我们重新审视分散梯度下降的收敛性质[A. Nedi{ć}-A.Ozdaglar(2009)]在由$$ x_i(t+1) = \sum^m_{j=1}w_{ij}x_j(t) - α(t) \nabla f_i(x_i(t)), $$给出的整个空间上,其中步长被给出为具有$0< p\leq 1$的$α(t) = \frac{a}{(t+w)^p}$。在局部费用函数$f_i$不一定是凸的总代价函数$f$上的强凸性假设下,证明了当适当选择$a>0$和$w>0$的值时,序列收敛到具有速率$O(t^{-p})$的优化器.
2022-03-30 cs.SY eess.SY math.OC
Policy Improvement From Private Information For Decentralized LQG Teams
Cornell University(康奈尔大学)
针对带延迟信息的去中心化LQG团队问题,本文提出基于私有信息增益梯度下降的线性策略优化算法,通过实例验证了该算法可实现策略改进。
2026-10-14 cs.SY eess.SY
Decentralized Game-Theoretic Control for Dynamic Task Allocation Problems for Multi-Agent Systems
我们提出了一个分散的博弈论框架的多智能体系统的动态任务分配问题。在我们的问题公式化中,代理的效用取决于与成功完成分配给他们的任务相关的奖励和成本。奖励反映了智能体完成其分配任务的可能性,而成本反映了完成这些任务所需的努力(该努力由相应的最优控制问题的解决方案确定)。这里考虑的任务分配问题对应于一个动态的游戏,其解决方案取决于与经典的静态(或单行为)游戏配方的代理的状态。我们提出了一个贪婪的解决方案的方法,在该方法中,代理商相互协商,以找到一个相互同意的(或个别合理的)任务分配配置文件的基础上,反映其当前状态的任务实用程序的评价。我们通过大量的数值模拟来说明这项工作的主要思想。
2020-09-29 cs.MA cs.SY eess.SY
Decentralized Riemannian Gradient Descent on the Stiefel Manifold
Texas A&M University(德克萨斯农工大学);University of Minnesota(明尼苏达大学)
我们考虑一个分布式的非凸优化网络的代理人的目的是最小化一个全局函数的Stiefel流形。全局函数被表示为光滑局部函数的有限和,其中每个局部函数与一个代理相关联,并且代理通过无向连通图彼此通信。这个问题是非凸的,因为局部函数可能是非凸的(但光滑的),Steifel流形是一个非凸集。本文提出了一种分散的黎曼随机梯度法(DRSGD),其收敛速度为$\mathcal{O}(1/\sqrt{K})$。为了在恒定步长下具有精确收敛性,我们还提出了一种分散的黎曼梯度跟踪算法(DRGTA),其收敛速度为$\mathcal{O}(1/K)$到一个稳定点。我们使用多步共识来保持局部(共识)区域中的迭代。DRGTA是Stiefel流形上第一个具有精确收敛性的分布式优化算法。
2021-02-14 cs.LG cs.SY eess.SY
CoDGraD: A Code-based Distributed Gradient Descent Scheme for Decentralized Convex Optimization
在本文中,我们考虑了一个大型网络包含许多区域,每个区域都配备了一个工人与一些数据处理和通信能力。对于这样的网络,一些工人可能会成为掉队者,由于故障或严重的延迟计算或通信。为了解决上述离散问题,最近提出了一种编码方案,为每个工人引入一定的冗余,并开发了梯度编码范式来解决凸优化问题时,网络具有一个集中式融合中心。在本文中,我们提出了一个迭代分布式算法,称为基于代码的分布式梯度下降算法(CoDGraD),解决分布式网络上的凸优化问题。在所提出的算法的每次迭代中,一个积极的工人共享编码的局部梯度和近似解的凸优化问题与非离散工人在相邻区域。在本文中,我们还提供了一致性和收敛性分析的CoDGraD算法,我们通过数值模拟来证明其性能。
2022-04-13 cs.SY eess.SY math.OC
Switching transformations for decentralized control of opinion patterns in signed networks: application to dynamic task allocation
本研究提出一种基于切换变换的符号网络意见模式分散控制方法,利用结构平衡网络的单调动力学特性实现意见模式切换,可应用于多机器人协调与动态任务分配场景。
2022-05-31 cs.SY eess.SY math.DS
A Decentralized Multi-UAV Spatio-Temporal Multi-Task Allocation Approach for Perimeter Defense
Indian Institute of Science(印度科学学院);Nanyang Technological University(南洋理工大学)
针对多人边界防御博弈,提出了一种新的求解方法,在该博弈中,入侵者的队伍试图进入领土,而防御者的队伍通过在领土的边界上捕获入侵者来保护领土。防御者的目标是在入侵者进入领土之前发现和捕获入侵者。每个防御者独立地感知入侵者并计算其轨迹,以合作的方式捕获指定的入侵者。入侵者估计在特定时间到达周界上的特定位置。每个入侵者被看作是一个时空任务,防御者被分配执行这些时空任务。在任何给定的时间,周边防御问题转化为一个分散的多无人机时空多任务分配(DMUST-MTA)问题。针对轨迹执行任务的成本由空间和时间分量的复合代价函数定义。本文提出了一种改进的基于分散共识的捆绑算法来解决时空多任务分配问题,并基于Monte-Carlo仿真对该算法进行了性能评估。仿真结果表明了该方法在不同场景下解决周界防御博弈的有效性。与具有完全可观测性的最先进的集中式方法的性能比较清楚地表明,DMUST-MTA以分散的方式实现了类似的性能,具有部分可观测性条件,计算时间更短,易于扩展。
2021-02-15 cs.MA cs.RO cs.SY
Decentralized On-line Task Reallocation on Parallel Computing Architectures with Safety-Critical Applications
针对并行计算体系结构中安全关键型应用,提出了一种分布式分配算法,其中单个计算单元可能受到故障的影响。所描述的方法在于通过抽象图来表示架构,其中每个节点表示计算单元。应用程序也由它们执行所需的计算单元图表示。然后,问题是决定如何将计算单元分配给应用程序以保证安全关键应用程序的执行。该问题被表述为一个优化问题,其形式为线性规划。然后使用最先进的求解器来解决问题。分散分配过程是通过在架构上执行的分配器的冗余来实现的。没有集中的元件决定整个架构的分配,从而提高了系统的可靠性。还提出了一个多核架构的实验再现。它被用来证明拟议的分配过程的能力,以维持一个分散的方式运行的物理系统,而个别组件发生故障。
2019-11-19 cs.DC cs.SY eess.SY
Towards Decentralized Task Offloading and Resource Allocation in User-Centric Mobile Edge Computing
本文提出以用户为中心的移动边缘计算架构UCMEC,并基于多智能体深度强化学习与凸优化设计去中心化联合优化方案,显著提升上行速率并降低长期平均总时延。
2023-12-03 cs.DC cs.SY eess.SP
Game-Theoretic Energy Source Allocation Mechanism in Smart-Grids
这项工作研究了分散和不协调的能源选择问题的智能电网消费者异构的能源配置文件和风险的态度:他们在当地社区竞争有限数量的可再生能源,在风险支付更高的成本,如果能源不足以满足所有这些需求。我们建模这个问题作为一个非合作博弈和研究的混合策略纳什均衡(NE)的存在性比例分配政策时,可再生能源的总需求超过了可用的。我们得出下NE封闭形式的表达式所产生的总可再生能源需求和社会成本在不同的消费者配置文件,能源成本和可用性。分析还提供了有用的指导方针,消费者应该做什么(竞争或不)的基础上,他们的风险态度,或如果他们应该更多的冒险,在某些情况下。最后,我们数值研究了这种分散的计划相比,通过价格的无政府度量集中的效率。
2022-03-15 cs.SY eess.SY
Fair Energy Allocation in Risk-aware Energy Communities
本文提出一种去中心化机制,用于能源社区中有限可再生能源的公平高效分配。通过构建非合作博弈模型,证明了纳什均衡的存在性,并设计了相应的去中心化算法。研究表明,消费者风险态度对社会成本偏离最优值有显著影响,且所提按比例分配策略优于均分策略。
2023-05-22 cs.SY eess.SY math.OC
Decentralized Optimization with Amplified Privacy via Efficient Communication
针对多智能体去中心化优化中的通信效率与隐私问题,提出融合随机智能体激活和稀疏化通信的随机梯度下降算法,在不牺牲隐私的前提下减少噪声并改善准确率,同时分析其收敛性与三方权衡。
2025-06-08 cs.SY eess.SY
A Semi-Decentralized Tikhonov-based Algorithm for Optimal Generalized Nash Equilibrium Selection
针对广义纳什均衡的最优选择问题,提出融合双层 Tikhonov 正则化与预条件前后向分裂的半分散算法,保证线性收敛并与混合最速下降法进行对比。
2023-04-25 cs.SY eess.SY
Decentralized Stochastic Optimization with Inherent Privacy Protection
Clemson University(克莱姆森大学);Princeton University(普林斯顿大学)
分散随机优化是现代协作机器学习、分布式估计和控制以及大规模传感的基本构建块。由于所涉及的数据通常包含敏感信息,如用户位置,医疗记录和金融交易,隐私保护已成为一个越来越迫切的需求,在实现分散的随机优化算法。在本文中,我们提出了一个分散的随机梯度下降算法,这是嵌入固有的隐私保护,为每个参与代理对其他参与代理和外部窃听。该算法建立在一个基于动态的梯度混淆机制,使隐私保护,而不损害优化精度,这是在显着的差异,基于隐私的隐私解决方案的分散优化,必须贸易优化精度的隐私。基于动态的隐私方法是免维护的,因此避免了产生沉重的通信或计算开销,这是分散随机优化的基于加密的隐私解决方案的常见问题。除了严格的特征的收敛性能的分散随机梯度下降算法下凸目标函数和非凸目标函数,我们还提供了严格的信息理论分析其强度的隐私保护。分布式估计问题的仿真结果以及在基准机器学习数据集上进行分散学习的数值实验证实了所提出方法的有效性。
2022-05-08 cs.LG cs.SY eess.SY