RC Circuits based Distributed Conditional Gradient Method
本文研究了无向连通图上的分布优化问题。提出了一种新的分布式条件梯度法，其收敛速度为O（1/ \sqrt{k}）.与现有方法相比，该方法的每次迭代只使用一次通信和线性最小化步骤，而不是多次。我们进一步扩展我们的结果与复合局部约束的情况下。我们证明我们的结果通过分布式矩阵完成问题的例子。
2020-03-15 math.OC
Exact Spectral-Like Gradient Method for Distributed Optimization
自80年代末首次提出以来，谱梯度法一直受到人们的关注，特别是由于其在各种大规模应用中的优异数值性能。然而，到目前为止，它们还没有在分布式优化的上下文中得到充分的探索。在本文中，我们考虑无约束分布式最优化问题，其中$n$节点构成一个任意连接的网络，并合作最小化其局部凸费用函数的总和。在这种情况下，从现有的精确分布式梯度方法的建设，我们提出了一种新的精确分布式梯度法，其中节点的步长设计根据新的规则类似于那些在谱梯度法。我们将所提出的方法称为分布式谱梯度法（DSG）。该方法在节点局部代价和算法步长的标准假设下具有R-线性收敛。我们通过仿真示例说明了该方法的性能。
2019-01-17 math.OC
Distributed Adaptive Gradient Algorithm with Gradient Tracking for Stochastic Non-Convex Optimization
本文针对分布式随机非凸优化问题，提出一种结合梯度跟踪的自适应步长算法，并给出最优性间隙上界，证明其可达到一阶平稳解。
2024-03-29 math.OC
Distributed Conjugate Gradient Method via Conjugate Direction Tracking
本文提出一种基于共轭方向追踪的分布式共轭梯度法，通过动态共识估计平均共轭方向，允许非协调步长且无需递减步长即可收敛，并在分布式状态估计中验证了其优于一阶方法的性能。
2024-02-26 cs.DC cs.MA math.OC
Team Games Optimality Conditions of Distributed Stochastic Differential Decision Systems with Decentralized Noisy Information Structures
我们考虑一个团队博弈的奖励，我们推导出一个随机庞特里亚金的最大值原理的分布式随机微分系统分散噪声信息结构。我们的方法利用半鞅表示定理，变分方法，和向后随机微分方程。此外，我们推导出表征分散策略的团队和逐个最优性的必要和充分的最优性条件。最后，我们将随机最大值原理应用于通信、滤波和控制等应用领域的几个例子。
2013-04-11 math.OC
A Distributed Optimization Algorithm over Time-Varying Graphs with Efficient Gradient Evaluations
我们提出了一个算法，分布式优化时变通信网络。我们的算法使用优化的通信轮数和梯度评估之间的比例，以实现快速收敛。迭代收敛到全局优化器的速度与集中式梯度下降相同，当使用最小数量的通信来这样做时，根据梯度评估的数量来测量。此外，迭代收敛在一个接近最佳的速度时，测量的通信轮数。我们比较我们的算法与其他几个已知的算法的分布式目标定位问题。
2020-01-07 math.OC
A Dual Accelerated Method for Online Stochastic Distributed Averaging: From Consensus to Decentralized Policy Evaluation
出于分散的传感和政策评估问题，我们考虑一种特殊类型的分布式随机最优化问题的网络，称为在线随机分布平均问题。我们设计了一个基于对偶的方法来解决这个带有Polyak-Ruppert平均的分布式一致性问题，并分析了它的行为。我们表明，该算法达到了加速确定性误差最佳依赖于网络的条件数，也有一个顺序最优的随机误差。这提高了保证国家的最先进的分布式随机最优化算法时，专门为此设置，并产生-除其他事项外-推论分散的政策评估。我们的证明依赖于明确地研究几个相关的线性系的演化，可能是独立的利益。数值实验，验证了我们的理论结果，并表明，我们的方法优于现有的方法在有限样本的情况下，几个自然的网络拓扑结构。
2022-08-08 cs.MA cs.SY eess.SY
Optimal Distributed and Tangential Boundary Control for the Unsteady Stochastic Stokes Equations
考虑了一类在连通有界区域上的非定常随机斯托克斯方程约束下的控制问题，该方程具有非齐次边界条件。在本文中，控制定义的领域内以及边界上。利用随机最大值原理，我们得到了必要和充分的最优性条件，从而推导出了最优控制的显式公式。因此，我们能够控制的随机斯托克斯方程使用分布式控制以及边界控制在一个理想的方式。
2018-09-04 math.OC
Distributed Interval Optimization with Stochastic Zeroth-order Oracle
本文研究了一个分布式区间最优化问题，该问题是由一组凸区间值目标函数在全局凸约束下的最优化问题构成的，对应于时变网络上的智能体.首先通过标量化将分布区间最优化问题转化为分布约束最优化问题。然后，设计了一个随机零阶算法来求解重构后的分布问题，并证明了其最优解也是分布区间最优化问题的Pareto最优解.此外，我们构造了算法的显式收敛性和期望下的收敛速度。最后通过数值算例说明了该算法的有效性。
2019-04-30 math.OC
Asymptotic Network Independence in Distributed Stochastic Optimization for Machine Learning
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳大数据研究院）；Boston University（波士顿大学）
我们提供了一个讨论的几个最近的结果，在某些情况下，能够克服障碍，分布式随机最优化机器学习。我们的重点是所谓的渐近网络独立性的财产，这是实现分布式方法在网络上执行的n个节点渐近收敛到最优解在一个可比的速度集中的方法具有相同的计算能力作为整个网络。我们通过一个涉及ML模型训练的例子来解释这一特性，并简要地描述了一个比较分布式随机梯度下降（DSGD）与集中式随机梯度下降（SGD）性能的数学分析。
2020-02-18 cs.DC cs.LG cs.MA
Second-order Guarantees of Distributed Gradient Algorithms
本文考虑网络上的分布光滑非凸无约束优化问题，网络模型为连通图。我们研究了分布式基于梯度的算法在严格鞍点附近的行为。具体来说，我们建立，（i）著名的分布式梯度下降（DGD）算法可能收敛到一个二阶平稳（SoS）解决方案的邻域;和（ii）最近的一类分布式算法的基础上梯度跟踪-实现也有向图-可能收敛到确切的SoS解决方案，从而避免（严格）鞍点。此外，对后一类算法建立了新的一阶临界点的收敛速度结果。
2020-05-25 cs.DC math.OC
Geometric Convergence of Distributed Gradient Play in Games with Unconstrained Action Sets
本文提出了一种分布式算法来学习一类具有强单调映射和无约束行动集的非合作对策的纳什均衡。每个参与者都可以访问自己的平滑局部费用函数，并且可以与无向图中的邻居进行通信。我们考虑一个分布式通信为基础的梯度算法。对于这个过程中，我们证明几何收敛到纳什均衡。与我们以前的工作[15]，[16]相比，其中所提出的算法需要设置两个参数并且分析基于所谓的增强博弈映射，这项工作中的过程对应于标准的分布式梯度游戏，因此，仅需要适当选择一个恒定的步长参数以保证快速收敛到博弈解。此外，我们提供了一个严格的比较之间的收敛速度的分布式梯度播放和速度的GRANE算法在[15]。它使我们能够证明分布式梯度播放在收敛速度方面优于GRANE。
2019-07-15 math.OC
Achieving Social Optimum in Non-convex Cooperative Aggregative Games: A Distributed Stochastic Annealing Approach
本文设计了一种求解非凸合作聚集对策的分布式随机退火算法，该算法的费用函数不仅依赖于Agent自身的决策变量，而且依赖于Agent决策变量之和。为了寻求合作聚集博弈的社会最优解，提出了一种分布式随机退火算法，其中局部费用函数是非凸的，Agent之间的通信拓扑是时变的。进一步分析了该算法对社会最优解的弱收敛性。 算例验证了算法的有效性.
2022-04-02 math.OC
Distributed Gradient Methods for Nonconvex Optimization: Local and Global Convergence Guarantees
本文讨论了非凸优化中计算局部和全局极小值的分布式梯度下降算法。对于局部最优化，我们专注于分布式随机梯度下降（D-SGD）-一个简单的基于网络的经典SGD的变体。我们讨论了局部极小收敛保证，并探讨了稳定流形定理在分析鞍点避免中的简单但关键的作用。对于全局优化，我们讨论了基于退火的方法，其中缓慢衰减的噪声被添加到D-SGD。条件下，收敛到全局极小值的保证进行了讨论。数值例子说明了本文的关键概念。
2020-09-16 math.OC
A stochastic MPC scheme for distributed systems with multiplicative uncertainty
本文提出了一种分布式随机模型预测控制算法，用于状态和控制输入具有局部机会约束的具有乘性不确定性的线性系网络。通过Cantelli不等式，利用期望值和协方差来逼近机会约束.该算法基于乘法器的分布式交替方向法，使得控制器完全分布式可实现，递归可行，并保证状态的逐点收敛。通过适当选择的分布不变集和分布终端的平均值和协方差的约束，保证上述属性。本文结束了一个例子，突出的机会约束满意度，数值特性和可扩展性，我们的方法。
2022-02-11 math.OC
Distributed dual gradient methods and error bound conditions
本文提出了线性约束可分凸问题的分布式对偶梯度算法，并在不同的假设条件下分析了它们的收敛速率。在原目标函数的强凸性假设下，我们提出了两种分布式对偶快速梯度格式，证明了其对偶次优性的次线性收敛速率，以及原次优性和平均原序列或最后生成的原序列的可行性破坏。在原目标函数梯度Lipshitz连续的附加假设下，我们证明了该对偶问题的全局误差界类型性质，然后分析了一个对偶梯度方案，并推导出了该方案的全局线性收敛速率。对于对偶和原次优性以及原可行性违反。我们还提供了最优潮流问题的数值模拟。
2014-02-03 math.OC
Numerical Methods for Distributed Stochastic Compositional Optimization Problems with Aggregative Structure
研究了网络上的分布式随机组合最优化问题，其中所有智能体的内层函数是每个智能体的私有期望函数之和。针对内层函数的聚集结构，采用混合方差约简方法获取各Agent的私有期望函数信息，并采用动态一致性机制跟踪各Agent的内层函数信息.然后结合标准的分布式随机梯度下降法，提出了一种分布式聚集随机合成梯度下降法。当目标函数光滑时，该方法具有最优的收敛速度$\mathcal{O}\left(K^{-1/2}\right)$ .我们进一步将该方法与通信压缩相结合，提出了通信压缩变量分布聚集随机合成梯度下降法。所提出的方法的压缩变体保持最佳的收敛速度$\mathcal{O}\left(K^{-1/2}\right)$。分散强化学习的仿真实验验证了所提方法的有效性。
2022-11-04 math.OC
High Probability Convergence of Distributed Clipped Stochastic Gradient Descent with Heavy-tailed Noise
本文针对重尾噪声下的分布式优化问题，提出分布式裁剪随机梯度下降算法，并在图连通性温和假设下证明其高概率收敛，仿真验证了理论结果。
2025-06-18 math.OC
Primal-Dual Gradient Flow Algorithm for Distributed Support Vector Machines
提出了一种求解分布式支持向量机（DSVM）问题的原始-对偶梯度流算法。一个网络的计算节点，每个携带一个子集的水平分区的大型数据集被认为是。节点被表示为动力系统与箭头Hurwicz-Uzawa梯度流动力学，来自拉格朗日函数的DSVM问题。首先证明了节点是无源动力系统。然后，利用Krasovskii型候选李雅普诺夫函数，证明了计算节点渐近收敛于最优原对偶解.
2018-09-10 math.OC
A Stochastic Gradient Descent Theorem and the Back-Propagation Algorithm
我们建立了一类随机梯度下降的收敛定理，从而得到了反向传播算法的收敛变形
2021-04-01 math.OC
Stochastic Bregman Parallel Direction Method of Multipliers for Distributed Optimization
Bregman并行方向乘数法（BPDMM）有效地解决了网络上的分布式优化问题，这在广泛的协作多智能体学习应用中出现。在本文中，我们推广BPDMM随机BPDMM，每次迭代只解决局部最优化的一个随机选择的节点的子集，而不是在网络中的所有节点。这样的推广减少了对计算资源的需求，并允许应用到更大规模的网络。我们建立了随机BPDMM的整体收敛和\(O(1/T)\)迭代复杂性。我们证明我们的结果通过数值例子。
2019-03-02 math.OC
Fenchel Dual Gradient Methods for Distributed Convex Optimization over Time-varying Networks
在现有的大量凸多智能体优化分布式算法中，只有少数算法能保证智能体网络在时变拓扑下的收敛速度，而这又限制了问题的无约束性.出于这一动机，我们开发了一个家庭的分布式Fenchel双梯度法解决约束，强凸，但不一定光滑的多智能体最优化问题随时间变化的无向网络。所提出的算法构造的基础上应用加权梯度法的Fenchel对偶的多智能体最优化问题，并可以实现在一个完全分散的方式。我们表明，所提出的算法驱动所有的代理原始和对偶最优渐近下的最小连通性条件和次线性速率下的标准连通性条件。最后，通过仿真验证了分布式Fenchel对偶梯度法的良好收敛性能.
2018-04-05 math.OC
Quantized Distributed Gradient Tracking Algorithm with Linear Convergence in Directed Networks
通信效率是分布式网络应用的主要瓶颈。为了解决这个问题，量化分布式优化问题引起了人们的广泛关注。然而，现有的量化分布式优化算法大多只能达到次线性收敛。为了实现线性收敛，本文提出了一种新的量化分布式梯度跟踪算法（Q-DGT），以最小化有向网络上局部目标函数的有限和。此外，我们显式地推导出更新规则的量化水平，并证明Q-DGT可以线性收敛，即使交换变量分别为一位。数值结果也证实了该算法的有效性。
2022-10-31 math.OC
Distributed Randomized Gradient-Free Mirror Descent Algorithm for Constrained Optimization
本文研究多主体最优化问题。在非欧Bregman发散的镜像下降算法中引入一个随机无梯度预言，发展了一种分布式随机无梯度镜像下降算法（DRGIMD）.在不利用目标函数的次梯度信息的情况下，推广了经典的梯度下降法。该算法是第一个分布式非欧零阶方法，它实现了$O(1/\sqrt{T})$收敛速度，恢复了分布式紧约束凸优化的最优速度。此外，DRFMD算法实现了强凸约束优化情况下的$O(\ln T/T)$收敛速度。该速率匹配最佳已知的非紧凑约束结果。研究了一种分散倒数加权平均逼近序列，并首次将其应用于分布式算法中。同时给出了加权平均算法（DRGFMD-WA）的一类收敛速度。分散加权平均序列的构造技术为分布式算法中极小值的搜索提供了新的思路。
2019-03-11 math.OC
Stochastic gradient methods with inexact oracle
本文对求解随机最优化问题的当代梯度型方法（带不精确预言）作了一个简要的综述。
2018-01-06 math.OC
Gradient and gradient-free methods for stochastic convex optimization with inexact oracle
本文推广了通用梯度法（Yu. Nesterov）推广到强凸情形和中间梯度法（Devolder-Glineur-Nesterov）。我们还考虑可能的泛化随机和在线环境。我们展示了如何将这些结果推广到无梯度方法和随机方向搜索方法。但本文的主要内容是对神谕的假设。我们认为神谕不准确。
2016-03-28 math.OC
Optimal Distributed Stochastic Mirror Descent for Strongly Convex Optimization
本文研究时变多智能体网络上带约束集的非欧意义下随机强凸优化的收敛速度问题。我们提出了两个有效的非欧随机次梯度下降算法的基础上的Bregman分歧作为距离测量功能，而不是由标准的分布式随机投影次梯度法采用的欧几里德距离。对于非光滑和强凸函数的分布式优化，其唯一的随机次梯度是可用的，第一个算法恢复的最好的以前已知的速度为O（ln（T）/T）（其中T是总的迭代次数）。第二个算法是第一个算法的一个历元变体，它达到O（1/T）的最佳收敛速度，与先前已知的最佳集中式随机次梯度法相匹配。最后，我们报告一些模拟结果来说明所提出的算法。
2018-08-22 math.OC
Distributed learning with compressed gradients
异步计算和梯度压缩已经成为大规模机器学习分布式优化中实现可扩展性的两项关键技术。本文提出了一个统一的分析框架，分布式梯度法运行与静态和压缩梯度。对于几种优化算法，推导了收敛速度和信息交换的非渐近界。这些边界给出了步长的显式表达式，并描述了压缩量和压缩精度如何影响迭代和通信复杂性保证。数值结果突出了不同的梯度压缩算法的收敛特性，并确认有限的信息交换下的快速收敛确实是可能的。
2018-11-29 math.OC stat.ML
Distributed Online Randomized Gradient-Free Optimization with Compressed Communication
School of Mathematics, Southeast University（东南大学数学学院）
本文提出了一种分布式在线优化框架，通过压缩通信和梯度-free 技术，在有限反馈下实现高效的优化算法。
2025-12-05 math.OC
ErasureHead: Distributed Gradient Descent without Delays Using Approximate Gradient Coding
UW–Madison（威斯康星大学麦迪逊分校）
我们提出了ErasureHead，一种新的分布式梯度下降（GD）的方法，采用近似梯度编码，减轻系统延迟。梯度编码的分布式GD使用冗余来从计算节点的子集在每次迭代时精确地恢复梯度。相反，ErasureHead使用近似梯度代码在每次迭代时恢复不精确的梯度，但具有更高的延迟容忍度。与以前的工作梯度编码，我们提供了一个性能分析，结合延迟和收敛保证。我们建立了一个小的噪声本底，ErasureHead收敛速度一样快，分布式GD，并具有更快的整体运行时间下的概率延迟模型。我们在真实世界的数据集和分布式集群上进行了广泛的实验，并证明了我们的方法可以导致显着的加速比标准和梯度编码的GD。
2019-01-28 cs.DC cs.IT cs.LG
Distributed Variable Sample-size Stochastic Optimization with Fixed Step-sizes
本文研究了随机切换网络上的分布式随机最优化问题，在该问题中，多个智能体协作地最小化所有智能体的局部期望值凸费用函数的平均值.由于梯度观测的随机性、局部函数的分布性和通信拓扑的随机性，在固定步长下具有收敛保证的分布式算法尚未实现。这项工作将方差减少计划到分布式随机梯度跟踪算法，其中局部梯度估计通过在可变数量的采样梯度的平均。具有同分布和独立分布（i.i.d.）随机网络中，我们证明了在固定步长下，所有代理的迭代几乎必然收敛到相同的最优解。当全局费用函数是强凸的且样本量以几何速率增加时，我们证明了迭代几何收敛于唯一的最优解，并建立了迭代、预言和通信复杂度.算法的性能，包括速率和复杂度分析，进一步研究了恒定的步长和多项式增加的样本量。最后，通过数值例子说明了经验算法的性能。
2022-04-06 math.OC
Distributed Momentum-based Frank-Wolfe Algorithm for Stochastic Optimization
本文考虑了分布式随机最优化问题，在该问题中，多个智能体通过局部计算和与网络上的邻居进行信息交换来协作优化全局目标函数。随机最优化问题通常是通过投影随机梯度下降的变体来解决的。然而，将一个点投影到一个可行集上通常是昂贵的。Frank-Wolfe（FW）方法在处理凸约束方面具有良好的优点，但现有的随机FW算法基本上是针对集中设置开发的。在这种情况下，目前的工作提出了一个分布式随机Frank-Wolfe求解器，明智地结合Nesterov的动量和梯度跟踪技术的随机凸和非凸优化网络。结果表明，该算法对凸优化问题的收敛速度为$\mathcal{O}(k^{-\frac{1}{2}})$，对非凸优化问题的收敛速度为$\mathcal{O}(1/\mathrm{log}_2(k))$.该算法的有效性证明了数值模拟对一些竞争的替代品。
2022-08-08 math.OC
Online Stochastic Optimization of Networked Distributed Energy Resources
本文研究了分布式控制和激励机制，以协调分布式能源（DER）与连续和离散决策变量以及设备动态在配电网。我们建立了一个多期社会福利最大化问题，并基于其凸松弛提出了一个分布式随机对偶梯度算法管理DER。我们进一步扩展到一个在线实时设置与时变的操作条件，异步更新的设备，并利用反馈来考虑非线性功率流，以及减少通信开销。由此产生的算法提供了一个通用的在线随机最优化算法，用于协调网络DER与离散功率设定值和动态，以满足操作和经济的目标和约束。我们的收敛性的算法解析和评估其性能数值。
2019-06-14 math.OC
Distributed Stochastic Optimization for Non-Smooth and Weakly Convex Problems under Heavy-Tailed Noise
针对重尾噪声下方差无界且现有分布式算法多限于凸光滑问题的不足，提出一种基于裁剪、适用于非光滑弱凸问题的分布式随机优化算法，并证明收敛性、给出参数条件，实验验证其有效性。
2025-05-14 math.OC
Distributed Coupled Multi-Agent Stochastic Optimization
本文提出了一种有效的分布式策略，用于求解具有耦合参数的约束多智能体随机最优化问题。在这个公式中，每个代理只受全局参数向量或模型的条目的子集的影响，并且受到仅局部已知的凸约束。这种类型的问题出现在几个应用中，最明显的是在疾病传播模型，最小费用流问题，分布式控制公式，分布式电力系统监控。这项工作的重点是随机设置，其中一个随机风险函数与每个代理和目标是寻求最小的总和的所有风险受到一组约束。代理不知道数据的统计分布，因此，只能依靠随机逼近在他们的学习策略。我们得到一个有效的分布式学习策略，能够跟踪漂移的基础参数模型。进行了详细的性能和稳定性分析表明，所得到的耦合扩散策略以线性速度收敛到真正的惩罚优化的$O(μ)-$邻域。
2019-03-13 math.OC
Distributed Randomized Block Stochastic Gradient Tracking Method
我们考虑网络上的分布式优化，其中每个代理与一个光滑和强凸的局部目标函数。我们假设代理商只能获得其目标函数的梯度的无偏估计。受大数据应用的启发，我们的目标在于当解空间的维数可能很大时解决这个问题，因此，局部梯度映射的计算可能变得昂贵。我们开发了一个随机块坐标最近开发的分布式随机梯度跟踪（DSGT）方法的变体。我们分别在一个最优性度量和一个一致违反度量下得到了阶$1/k$和$1/k^2$的非渐近收敛速度。重要的是，虽然块坐标方案已经研究了分布式最优化问题之前，所提出的算法似乎是第一个随机块坐标梯度跟踪方法，配备了上述收敛速度声明。我们验证了所提出的方法的性能MNIST和不同的网络设置下的合成数据集。
2021-10-13 math.OC
Adaptive fast gradient method in stochastic optimization tasks
本文提出了一种基于镜像变形相似三角形方法的随机自适应快速梯度下降法。据我们所知，这是第一次尝试使用自适应随机方法。另外，还从大偏差概率的角度证明了一个主要结果.
2017-11-30 math.OC
Linear Convergence of Primal-Dual Gradient Methods and their Performance in Distributed Optimization
在这项工作中，我们重新审视了经典的原始下降双上升梯度法用于解决等式约束最优化问题的增量实现。我们提供了一个简短的证明，建立了光滑强凸费用函数的算法的线性（指数）收敛性，并研究其关系到非增量实现。我们还研究了增广拉格朗日惩罚项对多智能体网络上聚合费用函数最小化分布式优化算法性能的影响。
2020-01-16 math.OC
An Enhanced Gradient-Tracking Bound for Distributed Online Stochastic Convex Optimization
在求解分布式在线随机最优化问题时，基于梯度跟踪（GT）的分散方法已成为分散（随机）梯度下降（DSGD）的一种有效可行的替代方法。对GT方法的初步研究表明，GT方法比DSGD方法具有更差的网络依赖率，这与实验结果相矛盾。这一难题最近得到了解决，GT方法的更严格的费率已经建立，这改进了DSGD。在这项工作中，我们建立了更多的增强率的GT方法在线随机凸设置。我们提出了另一种方法来分析GT方法的凸问题和静态图。与以前的分析相比，这种方法使我们能够建立增强的网络依赖率。
2023-01-07 math.OC
On the convergence rate of distributed gradient methods for finite-sum optimization under communication delays
受机器学习和统计学应用的启发，我们研究了处理器网络上的分布式最优化问题，其目标是优化由局部函数和组成的全局目标。在这些问题中，由于数据集的规模很大，数据和计算必须分布在处理器上，从而需要分布式算法。在本文中，我们考虑一个流行的分布式基于梯度的共识算法，它只需要本地计算和通信。在这方面的一个重要问题是分析的收敛速度，这样的算法在分布式系统中不可避免的通信延迟的存在。我们证明了收敛的基于梯度的共识算法中存在的统一，但可能任意大，处理器之间的通信延迟。此外，我们得到了一个上界的收敛速率的算法作为网络的大小，拓扑结构和处理器间的通信延迟的函数。
2019-05-11 math.OC
On Biased Stochastic Gradient Estimation
我们提出了一个统一的分析偏置随机梯度法最小化凸，强凸，非凸复合目标，并确定设置偏差是有用的随机梯度估计。我们提出的框架允许我们扩展近端支持有偏算法，包括SAG和SARAH，第一次在凸设置。我们还使用我们的框架来开发一种新的算法，随机平均递归算法（SARGE），实现了非凸，有限和目标的预言复杂性下限，并要求严格减少调用随机梯度预言每次迭代比SVRG和SARAH。我们支持我们的理论结果与数值实验，证明某些有偏梯度估计的好处。
2020-02-27 math.OC
Convergence Analysis of the Last Iterate in Distributed Stochastic Gradient Descent with Momentum
本文研究分布式 mSGD 在非凸设置下的最后一次迭代收敛问题，证明其在 Robbins-Monro 步长下的几乎必然与 $L_2$ 收敛及速率，并说明动量可加速早期收敛。
2025-05-16 math.OC
Stability and Convergence of Distributed Stochastic Approximations with large Unbounded Stochastic Information Delays
本文将Borkar-Meyn稳定性定理推广到具有任意矩界信息延迟的分布式随机逼近，通过引入信息年龄过程并利用新的Gronwall型不等式证明稳定性，应用于分布式优化和动量SAs分析。
2023-05-11 cs.DC cs.LG cs.MA
Mini-batch stochastic gradient descent with dynamic sample sizes
我们专注于解决约束凸优化问题的小批量随机梯度下降。动态样本量规则，确保下降方向具有高概率。从两个应用程序的实证结果显示出优越的收敛性相比，固定的样本实现。
2017-08-02 math.OC
On the Distributed Optimization over Directed Networks
在本文中，我们提出了一个分布式算法，称为定向分布式梯度下降（D-DGD），解决多智能体最优化问题在有向图。现有的算法大多在无向网络的假设下处理类似的问题，即，要求权重矩阵是双随机的。权重矩阵的行随机性保证所有代理达成共识，而列随机性确保每个代理的局部梯度对全局目标的贡献相等。然而，在有向图中，可能不可能以分布式方式构造双随机权重矩阵。我们克服了这个困难，增加了一个额外的变量为每个代理记录的状态演变的变化。该算法在每次迭代中同时构造一个行随机阵和一个列随机阵，而不是仅构造一个双随机阵。新的权重矩阵的收敛性依赖于行随机矩阵和列随机阵，保证了智能体达到共识和最优。分析表明，该算法以$O(\frac{\ln k}{\sqrt{k}})$的速度收敛，其中$k$是迭代次数。
2016-02-01 math.OC
A Gradient-Free Distributed Optimization Method for Convex Sum of Non-Convex Cost Functions
本文提出了一种特殊类型的分布式最优化问题，其中代理的局部费用函数（即，全局费用函数）是凸的，但是每个个体可以是非凸的。不同于大多数分布式优化算法利用梯度的优点，考虑的问题是非光滑的，梯度信息是未知的代理。为了解决这一问题，引入了高斯平滑技术，并提出了一种无梯度方法。我们证明了每个代理的最优解近似收敛到最优解的概率为1和平均值，并提供了一个上界的最优性差距，其特征在于之间的差异的函数值的最优解和最优值。通过数值例子和在隐私增强中的应用，证明了该算法的性能。
2021-08-13 math.OC
Adaptive Gradient Descent for Convex and Non-Convex Stochastic Optimization
本文提出了几种求解随机最优化的自适应梯度法。与AdaGrad类型的方法，我们的算法是基于Armijo型线搜索，他们同时适应未知的Lipschitz常数的梯度和方差的梯度的随机逼近。我们考虑了凸问题的加速和非加速梯度下降以及非凸问题的梯度下降。在实验中，我们证明了我们的方法的优越性，现有的自适应方法，如AdaGrad和亚当。
2020-06-12 math.OC
Distributed Stochastic Compositional Optimization Problems over Directed Networks
研究了有向通信网络上的分布式随机组合最优化问题，其中智能体私有一个随机组合目标函数，并通过协作来最小化所有目标函数之和.本文提出了一种分布式随机组合梯度下降算法，该算法采用梯度跟踪和随机校正技术，以适应网络的有向结构，提高内函数估计的精度。当目标函数光滑时，该方法的收敛速度和样本复杂度分别为$\mathcal{O}\left(k^{-1/2}\right)$和$\mathcal{O}\left(\frac{1}{ε^2}\right)$，并能找到（$ε$）-平稳点.当目标函数为强凸时，收敛速度提高到$\mathcal{O}\left(k^{-1}\right)$ .此外，还给出了该方法的Polyak-Ruppert平均迭代的渐近正态性.我们证明了所提出的方法在模型不可知的元学习问题和逻辑斯谛回归问题上的经验性能。
2022-03-21 math.OC
Distributed Adaptive Gradient Optimization Algorithm
本文研究了单积分器和双积分器多智能体系统中具有一般可微凸目标函数的分布式最优化问题。介绍了两种分布式自适应优化算法，该算法利用相关信息构造交互作用项的增益。基于李雅普诺夫函数、系统解的分析和局部目标函数的凸性进行了分析。结果表明，对于单积分和双积分的多智能体系统，只要凸目标函数的梯度连续，则团队凸目标函数都能随时间的变化而最小化.数值例子显示所得到的理论结果。
2017-03-27 math.OC
S-NEAR-DGD: A Flexible Distributed Stochastic Gradient Method for Inexact Communication
我们提出并分析了一种随机分布式方法（S-NEAR-DGD），它可以容忍不精确的计算和不准确的信息交换，以减轻大规模系统中昂贵的梯度评估和带宽有限的通信问题。我们的方法是基于一类灵活的，分布式的一阶算法，允许计算和通信的权衡，以最好地适应应用程序的设置。我们假设节点之间的所有信息交换都受到随机失真的影响，并且只有真实梯度的随机逼近可用。我们的理论结果证明了所提出的算法在期望线性收敛到最优解的一个邻域的强凸目标函数与Lipschitz梯度。我们的特征依赖于算法和网络参数，通信信道的质量和所使用的随机梯度近似的精度，这附近。最后，我们提供了数值结果来评估我们的方法的经验性能。
2021-01-30 math.OC
Accelerated Zeroth-order Algorithm for Stochastic Distributed Nonconvex Optimization
本文研究了在只有零阶信息的非凸问题上如何加速分布式优化算法的收敛。我们提出了一个零阶（ZO）分布式原始-对偶随机坐标算法配备了“强力球”方法来加速。我们证明了所提出的算法具有$\mathcal{O}(\sqrt{p}/\sqrt{nT})$的收敛速度一般非凸费用函数。我们考虑从黑盒DNN问题中解决对抗性示例的生成，以与现有的最先进的集中式和分布式ZO算法进行比较。数值结果表明，该算法具有更快的收敛速度，与理论分析相吻合。
2021-10-13 math.OC
Nested Distributed Gradient Methods with Adaptive Quantized Communication
在本文中，我们考虑最小化的局部凸目标函数在分布式设置，其中通信可能是昂贵的总和。提出并分析了一类自适应量化通信的嵌套分布式梯度法（NEAR-DGD+Q）。我们展示了执行多个量化通信步骤对收敛速度收敛速率和收敛邻域大小的影响，并证明了随着一致步骤和自适应量化的数量增加，R-线性收敛到精确解。我们测试的性能的方法，以及一些实际的变种，二次函数，并显示多个量化的通信步骤的迭代/梯度评估，通信和成本方面的影响。
2019-08-26 math.OC
Local Differential Privacy via Dynamic Quantization in Distributed Online Stochastic Optimization
Nanjing University of Science and Technology（南京理工大学）；Huazhong University of Science and Technology（华中科技大学）
提出一种使用动态随机量化器实现本地差分隐私的分布式在线随机优化算法，在几乎必然收敛到最优解的同时为每个智能体提供(0,δ^i)-本地差分隐私，并适用于有向图网络。
2026-05-28 math.OC
Stochastic Composition Optimization of Functions without Lipschitz Continuous Gradient
本文研究了无Lipschitz连续梯度的两层复合函数的随机最优化问题。光滑性是广义的相对光滑性的概念，它激发了Bregman梯度法。我们提出了三个随机组成Bregman梯度算法的三种可能的相对平滑的成分的情况下，并提供其样本的复杂性，以实现一个$ε$ -近似稳定点。对于相对光滑的组合，第一个算法要求$O(ε^{-2})$调用内部函数值和梯度以及外部函数梯度的随机预言机。当两个函数都相对光滑时，第二个算法要求$O(ε^{-3})$调用内部函数值随机预言机，$O(ε^{-2})$调用内部和外部函数梯度随机预言机。我们进一步改进了第二个算法的方差减少的设置，只有内部函数是光滑的。所得到的算法需要$O(ε^{-5/2})$调用内部函数值随机预言机，$O(ε^{-3/2})$调用内部函数梯度和$O(ε^{-2})$调用外部函数梯度随机预言机。最后，我们数值评估这三种算法在两个不同的例子的性能。
2023-02-23 math.OC
