Distributionally Robust Inverse Covariance Estimation: The Wasserstein Shrinkage Estimator
我们引入了一个具有Wasserstein模糊集的分布鲁棒极大似然估计模型,从$n$独立样本中推断$p$维高斯随机向量的逆协方差阵。所提出的模型最大限度地减少了最坏的情况下(最大值)的Stein的损失在所有正常的参考分布在规定的Wasserstein距离的正态分布的特征在于样本均值和样本协方差阵。我们证明,这个估计问题是相当于一个半定的程序,是听话的理论,但超出了通用的解决方案,实际相关的问题尺寸$p$。在没有任何先验结构信息的情况下,估计问题具有自然地被解释为非线性收缩估计的解析解。新的收缩估计量不仅是可逆的,而且对于$p>n$也是条件良好的,而且是旋转等变的,并且保持了样本协方差阵特征值的阶数.这些理想的属性并不是特别强加的,而是从底层的分布鲁棒最优化模型中自然出现的。最后,我们开发了一个序列二次近似算法,有效地解决了一般的估计问题的条件独立约束通常遇到高斯图形模型。
2018-05-18 math.OC q-fin.PM stat.ML
Linear convergence of a dual optimization formulation for distributed optimization on directed graphs with unreliable communications
这项工作的基础上,我们最近的工作与定向不可靠的通信图的分布式优化算法。当我们取每个函数的最接近点或当函数光滑时取仿射次量时,我们证明了它的线性收敛。
2018-11-28 math.OC
Distributed Interval Optimization with Stochastic Zeroth-order Oracle
本文研究了一个分布式区间最优化问题,该问题是由一组凸区间值目标函数在全局凸约束下的最优化问题构成的,对应于时变网络上的智能体.首先通过标量化将分布区间最优化问题转化为分布约束最优化问题。然后,设计了一个随机零阶算法来求解重构后的分布问题,并证明了其最优解也是分布区间最优化问题的Pareto最优解.此外,我们构造了算法的显式收敛性和期望下的收敛速度。最后通过数值算例说明了该算法的有效性。
2019-04-30 math.OC
A Universal Decomposition for Distributed Optimization Algorithms
在多智能体系统的分布式最优化问题中,每个智能体都知道一个局部函数,必须通过局部梯度估计和与相邻智能体之间的信息通信来找到所有智能体局部函数之和的最小值。我们证明了每个分布式优化算法可以分解为一个集中式最优化方法和一个二阶一致性估计器,有效地分离“优化”和“共识”任务。我们说明了这一事实,提供了许多最近提出的分布式优化算法的分解。相反,我们证明,任何最优化方法,收敛于集中式设置可以结合任何二阶共识估计,形成一个分布式的优化算法,收敛于多智能体设置。最后,我们描述了我们的分解可能会导致一个更系统的算法设计方法。
2022-06-14 math.OC
A dual ascent algorithm for asynchronous distributed optimization with unreliable directed communications
我们证明了Bof-Carli-Schenato在不可靠通信的有向图上的平均一致性算法具有双重优化解释,该解释可以推广到分布式优化的情况.我们报告我们的数值模拟的分布式优化算法的光滑和非光滑的功能。
2019-02-21 math.OC
Distributed Zero-Order Algorithms for Nonconvex Multi-Agent Optimization
分布式多智能体优化在分布式学习、控制、估计等方面有着广泛的应用。现有的大多数算法假设目标的一阶信息是已知的,并已被分析为凸问题。然而,在某些情况下,目标是非凸的,并且只能在多个点处评估函数值。在本文中,我们考虑非凸多智能体优化的无导数分布式算法,基于零级优化的最新进展。我们开发了两种算法,为不同的设置,提供了详细的分析,他们的收敛行为,并将它们与现有的集中式零级算法和基于梯度的分布式算法进行比较。
2020-06-16 math.OC
A Unified Framework for Continuous-time Unconstrained Distributed Optimization
我们介绍了一类分布式非线性控制系统,被称为流量跟踪器动态,它捕捉的现象,其中的平均状态控制的平均控制输入,没有个别代理直接访问这个平均值。智能体通过非线性观测器更新其对平均值的估计。我们证明,利用适当的梯度反馈的任何分布式控制系统,满足这些条件将导致相应的分布式最优化问题的解决方案。我们发现,许多现有的算法解决分布式优化的实例,这种动态,因此,他们的收敛性能可以遵循其属性。从这个意义上说,所提出的方法建立了一个统一的框架,在连续时间的分布式优化。此外,这种提法使我们能够引入一套新的连续时间分布式优化算法,很容易扩展的图论条件下,这种动态收敛。
2022-11-08 math.OC
Distributed Stochastic Nonsmooth Nonconvex Optimization
分布式一致性优化近年来受到了相当大的关注,已经提出了几个分布式的共识为基础的算法(非光滑)凸和(光滑)非凸目标函数。然而,这些分布式算法对{ \it非凸,非光滑和随机}目标函数的行为是不理解的。这类函数和分布式设置的动机是几个应用程序,包括机器学习和信号处理中的问题。本文提出了第一次收敛性分析的分散随机次梯度方法的这类问题,在网络建模为无向,固定,图。
2019-11-03 math.OC
Distributed Aggregative Optimization over Multi-Agent Networks
本文提出了一种新的分布式优化框架,称为分布式聚合优化,它允许本地目标函数不仅依赖于自己的决策变量,但也对所有其他代理的决策变量的可和函数的平均值。针对这一问题,提出并分析了一种分布式梯度跟踪算法(DGT),该算法的全局目标函数是强凸的,通信图是平衡的和强连通的。结果表明,该算法可以以线性速度收敛到最优变量。最后给出了一个数值例子来验证理论结果。
2020-05-27 math.OC
A new nonmonotone adaptive trust region algorithm
本文提出了一种新的有效的非单调自适应置信域算法来求解无约束最优化问题。该算法结合了两个新颖之处:它受益于一个半径依赖收缩参数调整的置信域半径,避免不必要的方向,它利用了一种新的策略,以防止突然增加的目标函数值的非单调置信域技术。在较弱的条件下证明了算法的整体收敛性。数值实验表明,该算法的效率和鲁棒性在解决一系列无约束最优化问题从CUTEst包。
2021-05-09 math.OC
Distributed Optimization Method Based On Optimal Control
本文提出一种基于最优控制的分布式优化框架,将优化问题转化为最优控制问题,利用最大值原理设计算法,并严格分析了收敛性与超线性收敛速度。
2025-03-31 math.OC
Cybersecurity in Distributed and Fully-Decentralized Optimization: Distortions, Noise Injection, and ADMM
随着机器学习、智能电网调度和物联网协调问题的增长,分布式和完全分散的最优化模型因向优化工具提供计算可扩展性而受到关注。然而,在消费者设备被信任用作分布式计算节点的应用中,受损设备可能会将优化算法暴露于先前文献中尚未研究的网络安全威胁。本文研究了广义分布式最优化问题的潜在攻击向量,重点是交替方向法的乘法器(ADMM),一个流行的凸优化的工具。ADMM问题中的检测和减轻攻击的方法进行了描述,并通过仿真证明了所提出的模型的有效性。完全分散的优化方案,其中节点直接与邻居进行通信,证明了弱点,并讨论了一些潜在的架构,为这些网络提供安全性。
2018-05-28 math.OC
Fast Algorithms for Distributed Optimization and Hypothesis Testing: A Tutorial
我们考虑分布优化和假设检验领域中的几个问题。我们展示了如何获得这些问题的收敛时间,规模与网络中的节点总数线性使用最近的线性时间算法的平均共识问题。
2017-05-22 math.OC
Distributed Optimization Over Dependent Random Networks
研究了随机网络上基于平均的分布式优化求解器。我们展示了一个一般性的结果,这样的计划使用的权重矩阵,行随机几乎肯定和列随机的期望为一个广泛的依赖权重矩阵序列的收敛性。除了暗示许多以前已知的结果在这个域上,我们的工作表明分布式优化结果的鲁棒性链路故障。同时,它也为分布式优化算法的综合提供了一种新的工具。{To证明了我们的主要定理,我们建立了新的结果的收敛速率分析的平均动态(相依)随机网络。这些次要的结果,以及所需的鞅型的结果,以建立他们,可能会感兴趣的更广泛的研究努力,在分布式计算随机网络。
2020-10-05 math.OC
Distributed Mirror Descent Algorithm with Bregman Damping for Nonsmooth Constrained Optimization
为了有效地解决分布式优化与各种约束和非光滑函数,我们提出了一个分布式镜像下降算法嵌入Bregman阻尼,作为传统的分布式投影算法的推广。事实上,我们的连续时间算法很好地继承了镜像下降方法的良好性能,可以快速计算具有某些特定约束结构的问题的显式解。此外,我们严格证明了我们的算法的收敛性,以及轨迹的有界性和解决方案的准确性。
2021-08-27 math.OC
Towards Online Optimization for Power Grids
在本说明中,我们讨论了扩展分布式优化框架的潜在优势,以增强对电网运营商管理大量在线顺序决策的支持。首先,我们回顾了最先进的电力系统分布式优化框架,并解释了分布式算法如何提供可扩展的解决方案。接下来,我们将介绍在线优化的关键概念和范例,并提出一个分布式在线优化框架,突出重要的性能特征。最后,我们讨论了离线和在线分布式优化之间的联系和区别,展示了这种优化技术对电网应用的适用性。
2021-09-26 math.OC
Bilevel Distributed Optimization in Directed Networks
在无线传感器网络和大规模数据处理的新兴应用的动机,我们认为分布式优化有向网络中的代理本地通信他们的信息,他们的邻居合作最小化的全球费用函数。本文提出了一个新的统一的分布式约束最优化模型,它被描述为一个双层最优化问题。该模型涵盖了有向网络上广泛的现有问题,包括:(i)线性约束的分布式优化;(ii)有向网络上的分布式无约束非强凸优化。采用一种新的正则化松弛方法和梯度跟踪计划,我们开发了一个迭代正则化推挽梯度算法。我们建立了共识,并得出新的收敛速度报表的次优和不可行的生成的迭代求解双层模型。所提出的算法和在这项工作中获得的复杂性分析似乎是新的解决双层模型,也为两个子类的问题。所提出的算法的数值性能。
2021-03-19 math.OC
Solving specified-time distributed optimization problem via sampled-data-based algorithm
尽管多智能体网络的分布式连续时间优化取得了显著的进展,但仍然缺乏一种有效的算法来实现在预定时间的分布式优化的目标。在这里,我们设计了一个指定时间的分布式优化算法连接代理与有向拓扑集体最小化的总和受等式约束的个别目标函数。该算法可以精确地确定分布式优化的调整时间。这种稳定时间的指定选择不仅与代理的初始条件无关,而且与算法参数和通信拓扑无关。该算法仅在离散采样时刻进行邻居间信息交换,从而实现指定时间的优化,减少了通信负担。此外,该算法在整个求解过程中始终满足等式约束,适用于在线求解经济调度等分布式最优化问题。对于无向通信拓扑的特殊情况,还设计了一种降阶算法。最后,通过数值模拟验证了理论分析的有效性。
2021-06-22 math.OC
Resilient Distributed Optimization Algorithms for Resource Allocation
分布式算法为资源分配问题提供了优于集中式算法的灵活性,例如,网络物理系统然而,这些算法的分布式性质往往使系统容易受到中间人攻击,特别是当消息之间的价格采取代理和中央协调员传输。在原对偶分布式优化框架下,提出了一种分布式算法的弹性策略。我们制定了一个强大的最优化模型,占拜占庭攻击代理和协调员之间的通信渠道。我们提出了一个弹性的原始对偶法使用国家的最先进的强大的统计方法。该算法收敛到鲁棒最优化模型的一个邻域,该邻域的半径与受攻击信道的比例成正比。
2019-09-10 math.OC
Distributed Continuous-Time Optimization with Time-Varying Objective Functions and Inequality Constraints
研究了具有时变目标函数和时变非线性不等式约束约束的分布式连续时间最优化问题。与大多数具有时不变目标函数和约束条件的分布式最优化问题不同,本文的最优解是时变的,并形成一条轨迹。为了最小化全局时变目标函数受时变局部约束函数,仅使用局部信息和局部相互作用,我们提出了一种分布式控制算法,由一个滑模部分和基于Hessian的优化部分。在适当的假设条件下,研究了算法对最优解的渐近收敛性。通过仿真实例验证了该方案的有效性。
2020-09-04 math.OC
Dynamic Regret of Distributed Online Frank-Wolfe Convex Optimization
本文研究了分布式在线凸约束优化问题,在该问题中,多智能体系统中的多个智能体通过与时变网络中的邻居进行通信来协作以最小化全局费用函数。当最优化问题的约束集是高维的、复杂的时,投影运算的计算量往往变得令人望而却步。为了解决这个问题,我们开发了一个分布式的在线Frank-Wolfe优化算法结合梯度跟踪技术。我们严格建立动态遗憾界的建议优化算法为$\mathcal{O}(\sqrt{T(1+H_T)}+D_T)$,这显式地依赖于迭代轮$T$,功能变化$H_T$,和梯度变化$D_T$。最后,在分布式在线岭回归问题的情况下,对理论结果进行了验证和比较。
2023-02-01 math.OC
Time Distributed Optimization for Model Predictive Control: Stability, Robustness, and Constraint Satisfaction
时间分布优化是一种利用模型预测控制对不完全优化的鲁棒性,显著降低模型预测控制计算量的实现策略。当使用该策略时,通过维护最优控制问题的运行解估计并在每个采样时刻更新它,优化迭代随时间分布。所得到的控制器可以被看作是一个动态补偿器,它被放置在闭环与植物。本文提出了一个通用的时间分布优化系统理论分析框架。利用输入-状态稳定性概念分析了耦合的工厂-优化器系统,并导出了稳定性和约束满足的充分条件。当应用于时间分布序列二次规划,该框架显着扩展了现有的理论分析的实时迭代计划。数值模拟证明了该方案的有效性。
2019-10-27 math.OC
Fully Distributed Optimization based CAV Platooning Control under Linear Vehicle Dynamics
本文开发了分布式优化的基础上,以队列为中心的CAV汽车跟随计划,最近的兴趣在CAV排队技术的动机。各种分布式优化或控制方案已被开发的CAV编队。然而,大多数现有的分布式计划为中心的CAV控制的队列需要集中的数据处理或集中计算,在至少一个步骤,他们的计划,被称为部分分布式计划。在本文中,我们开发了完全分布式优化为基础的,以队列为中心的CAV排队控制下的线性车辆动力学通过模型预测控制方法与一般的预测时域。这些完全分布式的方案不需要通过整个方案进行集中式数据处理或集中式计算。为了开发这些计划,我们提出了一个新的配方的目标函数和分解方法,分解成几个局部耦合的功能,其耦合满足网络拓扑约束的一个密集耦合的中央目标函数的总和。然后,我们利用制定的局部耦合优化和运营商分裂的方法来开发完全分布式计划。进行控制设计和稳定性分析,以实现所需的业务瞬态性能和渐近稳定性。数值试验验证了所提出的全分布式方案和CAV编队控制的有效性。
2021-03-20 math.OC
A distributed augmented Lagrangian decomposition algorithm for constrained optimization
School of Intelligent Systems Science and Engineering, Jinan University(暨南大学智能系统科学与工程学院)
本文提出分布式增广拉格朗日分解算法 DALD 及其加速变体,证明收敛性,并用分层协调网络统一 AL 框架下的相关理论,数值实验验证了其有效性。
2025-10-04 math.OC
Distributed Bayesian: a continuous Distributed Constraint Optimization Problem solver
在连续分布式约束最优化问题(DCOP)框架下,提出了一种求解多智能体问题的分布式贝叶斯(D-Bay)算法。该框架将经典的DCOP框架扩展到具有连续域的效用函数。传统的DCOP求解器将连续域离散化,这使问题的规模呈指数级增加。D-Bay通过利用贝叶斯优化对变量进行自适应采样来完全避免离散化,从而克服了这个问题。我们从理论上证明了D-Bay收敛到Lipschitz连续效用函数的DCOP的全局最优值。基于样本效率对算法的性能进行了经验评估。所提出的算法相比,一个集中的方法与等距离散的连续域的传感器协调问题。我们发现,我们的算法产生更好的解决方案,同时需要更少的样本。
2020-02-08 math.OC
Distributed Algorithm Over Time-Varying Unbalanced Topologies for Optimization Problem Subject to Multiple Local Constraints
研究了局部约束可能不同的分布式最优化问题,其全局目标函数由$N$凸函数组成.我们的目的是解决所考虑的最优化问题在一个分布式的方式在随时间变化的不平衡的有向拓扑结构,只使用本地信息,只执行本地计算。为此,综合行随机阵序列和列随机阵序列分析技术,提出了一种新的分布式离散时间算法。此外,对于分布式离散时间算法,它的收敛性的最优解以及它的收敛速度建立在一些温和的假设。最后通过数值模拟验证了理论分析的正确性。
2022-08-25 math.OC
Distributed Gradient Methods for Nonconvex Optimization: Local and Global Convergence Guarantees
本文讨论了非凸优化中计算局部和全局极小值的分布式梯度下降算法。对于局部最优化,我们专注于分布式随机梯度下降(D-SGD)-一个简单的基于网络的经典SGD的变体。我们讨论了局部极小收敛保证,并探讨了稳定流形定理在分析鞍点避免中的简单但关键的作用。对于全局优化,我们讨论了基于退火的方法,其中缓慢衰减的噪声被添加到D-SGD。条件下,收敛到全局极小值的保证进行了讨论。数值例子说明了本文的关键概念。
2020-09-16 math.OC
Distributed Computation of Linear Matrix Equations: An Optimization Perspective
本文从优化的角度研究了多智能体网络上$AXB = F$形式的线性矩阵方程的分布式计算,其中矩阵A,B,X和F具有适当的维数.在本文中,我们考虑了标准的分布式矩阵信息结构,其中所考虑的多智能体网络的每个智能体都可以访问A,B和F的子块矩阵之一。具体地说,我们首先提出了不同的分解方法,通过引入替代变量将标准结构中的矩阵方程转化为分布式约束最优化问题,证明了转化后的分布式最优化问题的解等价于原矩阵方程的最小二乘解;我们设计了分布式连续时间算法的约束最优化问题,甚至通过使用增广矩阵和导数反馈技术。此外,我们证明了算法的指数收敛到一个最小二乘解的矩阵方程的任何初始条件。
2018-06-09 math.OC
Distributed Nonsmooth Optimization with Coupled Inequality Constraints via Modified Lagrangian Function
本技术说明考虑了一个具有非光滑费用函数和耦合非线性不等式约束的分布式凸优化问题。为了解决这个问题,我们首先提出了一个修改的拉格朗日函数包含局部乘子和一个非光滑的罚函数。然后,我们构造了一个分布式连续时间算法凭借投影原始对偶次梯度动力学。基于非光滑分析和李雅普诺夫函数,我们得到了非光滑算法解的存在性和收敛性。
2017-05-07 math.OC
A Distributed Time-Varying Optimization Approach Based on an Event-Triggered Scheme
针对分布式时变优化问题,本文在分布式神经动力学框架下提出事件触发控制器,通过离散时刻通信和积分模态技术降低通信能耗与计算成本,并以电池充电示例验证有效性。
2024-10-25 math.OC
Exponentially Convergent Algorithm Design for Constrained Distributed Optimization via Non-smooth Approach
我们考虑最小化的非光滑目标函数的集合约束的分布式方式的总和。针对这一问题,我们首次提出了一种具有指数收敛速度的分布式算法。通过精确惩罚法,我们将该问题等价地转化为一个没有共识约束的标准分布式问题。然后利用微分包含设计了一个分布式投影次梯度法。此外,我们证明了算法收敛到最优解的强凸目标函数指数。
2020-01-03 math.OC
Distributed Computation for Solving the Sylvester Equation Based on Optimization
本文采用分布式方法求解AX+XB=C形式的Sylvester方程,并针对三种情况提出了三种分布式连续时间算法。我们从求解方程的最小二乘解的基本算法开始,然后给出一个简化算法的情况下,有一个精确解的方程,其次是正则化的情况下的算法。基于局部信息和相邻代理之间的适当通信,从优化的角度解决了Sylvester方程的分布式计算问题,并借助凸优化和半稳定性证明了所提算法在三种不同情况下收敛于最优解.
2019-04-30 math.OC
An Overview of Sensitivity-Based Distributed Optimization and Model Predictive Control
Friedrich-Alexander-Universität Erlangen-Nürnberg(埃尔朗根-纽伦堡大学)
本文综述了基于灵敏度的分布式优化方法,并提出了一种实时的分布式模型预测控制器,通过实验验证其有效性。
2025-12-09 math.OC
Achieving Acceleration in Distributed Optimization via Direct Discretization of the Heavy-Ball ODE
本文提出了一种求解凸经验风险最小化问题的分布式算法,即网络上最小化大而有限的凸函数和的问题。该算法直接离散二阶重球微分方程,并导致加速的收敛速度,即比分布式梯度下降为基础的方法,强凸的目标,可能不顺利。值得注意的是,我们实现了加速,而没有诉诸著名的涅斯捷罗夫的动量方法。我们提供了数值实验和对比最近提出的最佳分布式优化算法所提出的方法。
2018-11-06 math.OC
Distributed and Anytime Algorithm for Network Optimization Problems with Separable Structure
针对可分结构的网络约束优化问题,提出一种分布式且随时可行的动力学算法,保证可行集前向不变并收敛,仿真验证有效性。
2023-09-06 math.OC
Nonlinear Programming Methods for Distributed Optimization
在本文中,我们研究如何标准的非线性规划算法可以用来解决有约束的最优化问题在分布式方式。优化设置由一组代理通过通信图进行交互,其共同目标是将表示为(可能是非凸的)可微函数的和的函数最小化。和中的每个函数对应于一个代理,并且每个代理具有关联的等式约束。通过重新铸造的分布式最优化问题成一个等价的,增强的集中式问题,我们表明,分布式算法的结果自然从应用标准的非线性规划技术。由于分布式公式化,标准假设和收敛结果不再成立。我们强调什么样的变化是必要的收敛仍然实现三个算法:两个算法的基础上拉格朗日方法,和一个算法的基础上的方法的乘数。收敛结果的变化是必要的,这主要是由于以下事实,即作为分布式公式的结果,提升的最优化问题的(局部)最小值是不规则的。与基于乘子方法的标准算法不同,对于分布式版本,我们不能证明可以实现理论上的超线性收敛速率。
2017-07-14 math.OC
Distributed Optimization with Projection-free Dynamics
本文考虑了带集合约束的连续时间动态分布优化问题。为了解决基于投影的动力学求解一般二次优化子问题时的计算复杂性问题,我们采用Frank-Wolfe方法,也称为条件梯度算法,提出了一种分布式无投影动力学.该过程通过求解替代的线性最优化而不是二次优化来搜索可行的下降方向。为了使该方法适用于权重平衡的有向图,我们设计了一个动态的共识的局部决策变量和另一个动态的辅助变量跟踪全局梯度。然后,我们证明了动力系统的最优解的收敛性,并提供了详细的数值比较与基于投影的动力学和其他分布式投影自由算法。此外,我们推导出分布式离散时间计划的指导思想,建议的动力学,并提供相应的收敛速度。
2022-06-23 math.OC
Exact Spectral-Like Gradient Method for Distributed Optimization
自80年代末首次提出以来,谱梯度法一直受到人们的关注,特别是由于其在各种大规模应用中的优异数值性能。然而,到目前为止,它们还没有在分布式优化的上下文中得到充分的探索。在本文中,我们考虑无约束分布式最优化问题,其中$n$节点构成一个任意连接的网络,并合作最小化其局部凸费用函数的总和。在这种情况下,从现有的精确分布式梯度方法的建设,我们提出了一种新的精确分布式梯度法,其中节点的步长设计根据新的规则类似于那些在谱梯度法。我们将所提出的方法称为分布式谱梯度法(DSG)。该方法在节点局部代价和算法步长的标准假设下具有R-线性收敛。我们通过仿真示例说明了该方法的性能。
2019-01-17 math.OC
SCOPE: Spectral Concentration by Distributionally Robust Joint Covariance-Precision Estimation
Chinese University of Hong Kong(香港中文大学)
针对随机向量的协方差矩阵与精度矩阵联合估计问题,提出基于凸谱散度模糊集的分布鲁棒模型,将其简化为凸优化问题得到准解析非线性收缩估计器,通过调参纠正谱偏差并改善条件数,实验显示其性能优于现有方法。
2025-11-18 cs.LG math.OC stat.ML
Privacy Preservation in Distributed Subgradient Optimization Algorithms
隐私保护在数据采掘和机器学习中正成为一个越来越重要的问题。在本文中,我们考虑分布式次梯度优化算法的隐私保护功能。我们首先表明,一个著名的分布式次梯度同步优化算法,其中所有的代理,使他们的优化更新同时在任何时候,是不是隐私保护的意义上说,恶意代理可以学习其他代理的次梯度渐近。然后,我们提出了一个分布式次梯度投影异步优化算法,而不依赖于任何现有的隐私保护技术,代理之间可以直接交换数据的邻居。与同步算法相比,在新的异步算法中,代理异步地进行优化更新。通过引入投影操作和异步优化机制,保证了异步优化算法的隐私保护性。此外,我们还建立了新提出的算法的最优收敛性。所提出的隐私保护技术为开发其他隐私保护分布式优化算法提供了借鉴。
2015-12-30 cs.DC math.OC
Partitioning Data on Features or Samples in Communication-Efficient Distributed Optimization?
Lehigh University(利哈伊大学)
本文研究了数据划分方式对分布式优化的影响。原始的DiSCO算法[Communication-Efficient Distributed Optimization of Self-Concordant Empirical Loss,Ychen Zhang and Lin Xiao,2015]基于样本对输入数据进行分区。我们描述了如何修改原始算法,允许分区功能,并显示其效率在理论上和实践中。
2015-10-22 cs.LG math.OC
Analysis of Distributed ADMM Algorithm for Consensus Optimization in Presence of Error
ADMM算法是求解凸优化问题的一种常用算法。将该算法应用于分布式共识优化问题,得到了一个完全分布式的迭代解,该解依赖于节点的处理和邻居之间的通信。本地计算通常遭受不同类型的误差,例如,观测或量化噪声,这会降低算法的性能。在这项工作中,我们专注于分析分布式ADMM的一致性优化存在的附加节点误差的收敛行为。我们特别表明,(一个嘈杂的)ADMM在一定条件下线性收敛,并检查相关的收敛点。数值结果证明了所提出的分析的有效性。
2017-01-14 cs.DC math.OC
DSCOVR: Randomized Primal-Dual Block Coordinate Algorithms for Asynchronous Distributed Optimization
使用大数据的机器学习通常涉及大型最优化模型。对于机器集群上的分布式优化,所有模型参数(优化变量)的频繁通信和同步可能非常昂贵。一个有前途的解决方案是使用参数服务器来存储模型参数的不同子集,并使用本地数据集在不同的机器上异步更新它们。本文研究了具有凸损失函数的大型线性模型的分布式优化问题,提出了一类特别适合于参数服务器异步分布式实现的随机原-对偶块协调算法.特别是,我们的工作与鞍点制定这样的问题,它允许同时数据和模型分区,并利用其结构的双随机坐标优化与方差减少(DSCOVR)。与其他一阶分布式算法相比,我们表明,DSCOVR可能需要更少的整体计算和通信量,和更少或没有同步。我们讨论了DSCOVR算法的实现细节,并在工业分布式计算系统上进行了数值实验。
2017-10-13 math.OC stat.ML
Lower Bounds and a Near-Optimal Shrinkage Estimator for Least Squares using Random Projections
在这项工作中,我们认为使用随机投影的确定性优化作为一个统计估计问题,其中从估计器的预测和真正的解决方案之间的平方距离是误差度量。在近似解决一个大规模的最小二乘问题,使用高斯草图,我们表明,草图的解决方案有一个条件高斯分布的真正的解决方案作为其平均值。首先,紧最坏情况下的误差下界与显式常数推导出任何估计使用高斯草图,和经典草图是最佳无偏估计。对于有偏估计量,下界也包含了关于真解的先验知识。其次,我们使用James-Stein估计器,推导出一个改进的估计器,用于使用高斯草图的最小二乘解。该估计的期望误差的上界,这是小于的任何给定的数据的经典高斯草图解决方案的错误。当已知真实解的SNR较小且数据矩阵条件良态时,上界和下界匹配。经验上,该估计器在模拟和真实数据集上实现了较小的误差,并且也适用于其他常见的草图绘制方法。
2020-06-15 cs.IT math.IT math.OC
Distributed Global Optimization by Annealing
本文考虑非凸函数全局极小化的一个分布式算法。该算法是一个一阶共识+新息型算法,采用衰减加性高斯噪声进行退火,在一定的技术假设下收敛到全局最小值。本文提出了简单的方法来验证所需的技术假设,并说明了它与分布式目标定位应用程序。
2019-07-20 cs.MA math.OC
Impact of Power System Partitioning on the Efficiency of Distributed Multi-Step Optimization
近年来的研究表明,基于模型预测控制(MPC)的多步优化可以有效地协调电力系统中不断增加的分布式可再生能源和存储资源。然而,MPC的计算复杂度通常很高,这限制了它在实际实现中的使用。为了提高预测控制的效率,本文将分布式优化方法应用于预测控制。该方法包括一个分区技术的基础上,谱聚类,确定最佳的系统分区和一个改进的最优条件分解方法,解决了分布式方式的优化问题。IEEE 14节点和118节点系统的仿真结果表明,分布式MPC问题可以解决显着更快,通过使用一个良好的系统分区,这种分区是适用于多个时间步长,而不频繁的变化。
2016-05-31 cs.DC math.OC
Distributed Convex Optimization in Networks of Agents with Single Integrator Dynamics
研究了无向动态网络上的分布式凸优化问题。在这里,网络代理与单积分动态应该会合在一个点,这是一个全局凸优化问题的解决方案与一些局部不等式约束。为此,所有的代理人应与他们的邻居合作,以寻求网络的全局目标函数的最优点。提出了一种基于邻接点法的分布式优化算法,将优化算法与非线性一致性协议相结合,以寻找全局目标函数的最优值。我们解决这个问题,解决它的子问题,即共识问题和凸优化问题。首先,我们提出了一个饱和协议的共识子问题。然后,为了解决分布式优化部分,我们实现了一个集中式控制律,它产生的全局目标函数的最优值,在分布式的方式与分布式估计器的帮助下。基于时变非线性系统的稳定性理论,对该协议进行了收敛性分析。最后给出了一个仿真例子来说明该算法的有效性。
2017-06-30 math.DS math.OC
Distributed and Stochastic Optimization Methods with Gradient Compression and Local Steps
Moscow Institute of Physics and Technology(莫斯科物理技术学院)
在这篇论文中,我们提出了新的理论框架,用于分析具有误差补偿和局部更新的随机和分布式方法。使用这些框架,我们开发了20多个新的最优化方法,包括第一个线性收敛的误差补偿SGD和第一个线性收敛的局部SGD任意异构的局部函数。此外,本文还提出了几种新的求解分布式非凸优化问题的无偏压缩分布式算法。这些方法的复杂性结果优于以前最知名的结果所考虑的问题。最后,我们提出了一种新的可扩展的分散容错分布式方法,并在合理的假设下,我们推导出该方法的迭代复杂度界相匹配的集中式Local-SGD。
2021-12-20 cs.LG math.OC
Network Optimization via Smooth Exact Penalty Functions Enabled by Distributed Gradient Computation
本文提出了一种分布式算法,用于解决具有可分离目标函数和局部耦合约束的最优化问题。我们的策略是基于重新制定了原来的约束问题的无约束优化的光滑(连续可微)精确罚函数。即使在原始最优化问题的可分性假设下,以分布式方式计算该罚函数的梯度也是具有挑战性的。我们的技术方法表明,梯度的分布式计算问题可以用公式表示为由可分离的问题数据定义的线性代数方程系统。为了解决这个问题,我们设计了一个指数快速,输入到状态稳定的分布式算法,不需要单个代理矩阵是可逆的。我们采用这种策略来计算当前网络状态下的罚函数的梯度。我们的分布式算法求解器的原始约束最优化问题互连此估计与处方的代理遵循产生的方向。数值模拟说明了该算法的收敛性和鲁棒性。
2021-03-11 cs.MA math.OC
A Tutorial on Distributed Optimization for Cooperative Robotics: from Setups and Algorithms to Toolboxes and Research Directions
University of Bologna(博洛尼亚大学)
本文探讨了分布式优化在协作机器人中的应用,介绍了约束耦合和聚合优化框架,并展示了相关算法、工具箱及在异构机器人网络上的实验验证。
2025-04-02 cs.RO math.OC
Quantization Avoids Saddle Points in Distributed Optimization
Clemson University(克莱姆森大学)
该研究提出一种随机量化方案,利用量化过程使分布式非凸优化逃离鞍点并收敛至二阶稳定点,同时通过可调量化粒度降低通信开销,实验验证其有效性。
2024-03-15 cs.LG math.OC
Gradient-tracking Based Differentially Private Distributed Optimization with Enhanced Optimization Accuracy
针对差分隐私会降低分布式优化精度的问题,提出时变步长与时变噪声方差的鲁棒梯度跟踪算法,并建立统一收敛分析框架,给出更宽松步长界且揭示智能体交互对精度的影响。
2023-04-26 cs.SY eess.SY math.OC
Reciprocity of Algorithms Solving Distributed Consensus-Based Optimization and Distributed Resource Allocation
本文的目的是提出一个程序来获得分布式算法的分布式共识为基础的优化,通过使用分布式算法的网络资源分配,反之亦然交换网络/无同步协议。结果表明,一阶梯度分布式基于共识的优化算法可以用来找到一个最优解的分布式资源分配与同步协议下较弱的假设下,在文献中给出的非切换(静态)网络。结果表明,一阶梯度分布式资源分配算法可以用来找到一个最优解的分布式共识为基础的优化。本文的结果可应用于时变随机有向网络,无论有无同步协议,其初始化都是任意的。因此,现在可以使用几种算法来推导基于共识的优化和资源分配的分布式算法,这可以克服现有结果的局限性。虽然本文的重点是一阶梯度算法,但应注意的是,结果也适用于二阶梯度算法。
2022-08-02 cs.SY eess.SY math.OC
Online Distributed Optimization in Radial Power Distribution Systems: Closed-Form Expressions
集中式最优化方法在管理配电系统操作中的局限性激发了分布式控制和优化算法。然而,现有的分布式优化算法是低效的管理快速变化的现象,导致高度可变的分布式能源(DER)。相关的在线分布式控制方法在其应用中同样受到限制。它们需要数千个时间步来跟踪网络级最优解,导致性能缓慢。我们以前开发了一个在线分布式控制器,利用系统的径向拓扑结构,实现网络级的最优解在几个时间步长。然而,它需要解决一个节点级的非线性规划问题在每个时间步。本文分析了节点级最优化问题的解空间,推导出了决策变量的解析封闭解。通过对节点级最优化问题的理论分析和得到的封闭形式的最优解,消除了在每个分布式代理处嵌入优化求解器的需要,显著降低了计算时间和优化成本。
2021-09-02 cs.SY eess.SY math.OC