Numerical Methods for Distributed Stochastic Compositional Optimization Problems with Aggregative Structure
研究了网络上的分布式随机组合最优化问题，其中所有智能体的内层函数是每个智能体的私有期望函数之和。针对内层函数的聚集结构，采用混合方差约简方法获取各Agent的私有期望函数信息，并采用动态一致性机制跟踪各Agent的内层函数信息.然后结合标准的分布式随机梯度下降法，提出了一种分布式聚集随机合成梯度下降法。当目标函数光滑时，该方法具有最优的收敛速度$\mathcal{O}\left(K^{-1/2}\right)$ .我们进一步将该方法与通信压缩相结合，提出了通信压缩变量分布聚集随机合成梯度下降法。所提出的方法的压缩变体保持最佳的收敛速度$\mathcal{O}\left(K^{-1/2}\right)$。分散强化学习的仿真实验验证了所提方法的有效性。
2022-11-04 math.OC
Stochastic Bregman Parallel Direction Method of Multipliers for Distributed Optimization
Bregman并行方向乘数法（BPDMM）有效地解决了网络上的分布式优化问题，这在广泛的协作多智能体学习应用中出现。在本文中，我们推广BPDMM随机BPDMM，每次迭代只解决局部最优化的一个随机选择的节点的子集，而不是在网络中的所有节点。这样的推广减少了对计算资源的需求，并允许应用到更大规模的网络。我们建立了随机BPDMM的整体收敛和\(O(1/T)\)迭代复杂性。我们证明我们的结果通过数值例子。
2019-03-02 math.OC
Optimal Distributed Stochastic Mirror Descent for Strongly Convex Optimization
本文研究时变多智能体网络上带约束集的非欧意义下随机强凸优化的收敛速度问题。我们提出了两个有效的非欧随机次梯度下降算法的基础上的Bregman分歧作为距离测量功能，而不是由标准的分布式随机投影次梯度法采用的欧几里德距离。对于非光滑和强凸函数的分布式优化，其唯一的随机次梯度是可用的，第一个算法恢复的最好的以前已知的速度为O（ln（T）/T）（其中T是总的迭代次数）。第二个算法是第一个算法的一个历元变体，它达到O（1/T）的最佳收敛速度，与先前已知的最佳集中式随机次梯度法相匹配。最后，我们报告一些模拟结果来说明所提出的算法。
2018-08-22 math.OC
Distributed Momentum-based Frank-Wolfe Algorithm for Stochastic Optimization
本文考虑了分布式随机最优化问题，在该问题中，多个智能体通过局部计算和与网络上的邻居进行信息交换来协作优化全局目标函数。随机最优化问题通常是通过投影随机梯度下降的变体来解决的。然而，将一个点投影到一个可行集上通常是昂贵的。Frank-Wolfe（FW）方法在处理凸约束方面具有良好的优点，但现有的随机FW算法基本上是针对集中设置开发的。在这种情况下，目前的工作提出了一个分布式随机Frank-Wolfe求解器，明智地结合Nesterov的动量和梯度跟踪技术的随机凸和非凸优化网络。结果表明，该算法对凸优化问题的收敛速度为$\mathcal{O}(k^{-\frac{1}{2}})$，对非凸优化问题的收敛速度为$\mathcal{O}(1/\mathrm{log}_2(k))$.该算法的有效性证明了数值模拟对一些竞争的替代品。
2022-08-08 math.OC
Online Stochastic Optimization of Networked Distributed Energy Resources
本文研究了分布式控制和激励机制，以协调分布式能源（DER）与连续和离散决策变量以及设备动态在配电网。我们建立了一个多期社会福利最大化问题，并基于其凸松弛提出了一个分布式随机对偶梯度算法管理DER。我们进一步扩展到一个在线实时设置与时变的操作条件，异步更新的设备，并利用反馈来考虑非线性功率流，以及减少通信开销。由此产生的算法提供了一个通用的在线随机最优化算法，用于协调网络DER与离散功率设定值和动态，以满足操作和经济的目标和约束。我们的收敛性的算法解析和评估其性能数值。
2019-06-14 math.OC
Distributed Stochastic Optimization for Non-Smooth and Weakly Convex Problems under Heavy-Tailed Noise
针对重尾噪声下方差无界且现有分布式算法多限于凸光滑问题的不足，提出一种基于裁剪、适用于非光滑弱凸问题的分布式随机优化算法，并证明收敛性、给出参数条件，实验验证其有效性。
2025-05-14 math.OC
Distributed Coupled Multi-Agent Stochastic Optimization
本文提出了一种有效的分布式策略，用于求解具有耦合参数的约束多智能体随机最优化问题。在这个公式中，每个代理只受全局参数向量或模型的条目的子集的影响，并且受到仅局部已知的凸约束。这种类型的问题出现在几个应用中，最明显的是在疾病传播模型，最小费用流问题，分布式控制公式，分布式电力系统监控。这项工作的重点是随机设置，其中一个随机风险函数与每个代理和目标是寻求最小的总和的所有风险受到一组约束。代理不知道数据的统计分布，因此，只能依靠随机逼近在他们的学习策略。我们得到一个有效的分布式学习策略，能够跟踪漂移的基础参数模型。进行了详细的性能和稳定性分析表明，所得到的耦合扩散策略以线性速度收敛到真正的惩罚优化的$O(μ)-$邻域。
2019-03-13 math.OC
An Enhanced Gradient-Tracking Bound for Distributed Online Stochastic Convex Optimization
在求解分布式在线随机最优化问题时，基于梯度跟踪（GT）的分散方法已成为分散（随机）梯度下降（DSGD）的一种有效可行的替代方法。对GT方法的初步研究表明，GT方法比DSGD方法具有更差的网络依赖率，这与实验结果相矛盾。这一难题最近得到了解决，GT方法的更严格的费率已经建立，这改进了DSGD。在这项工作中，我们建立了更多的增强率的GT方法在线随机凸设置。我们提出了另一种方法来分析GT方法的凸问题和静态图。与以前的分析相比，这种方法使我们能够建立增强的网络依赖率。
2023-01-07 math.OC
On the Distributed Optimization over Directed Networks
在本文中，我们提出了一个分布式算法，称为定向分布式梯度下降（D-DGD），解决多智能体最优化问题在有向图。现有的算法大多在无向网络的假设下处理类似的问题，即，要求权重矩阵是双随机的。权重矩阵的行随机性保证所有代理达成共识，而列随机性确保每个代理的局部梯度对全局目标的贡献相等。然而，在有向图中，可能不可能以分布式方式构造双随机权重矩阵。我们克服了这个困难，增加了一个额外的变量为每个代理记录的状态演变的变化。该算法在每次迭代中同时构造一个行随机阵和一个列随机阵，而不是仅构造一个双随机阵。新的权重矩阵的收敛性依赖于行随机矩阵和列随机阵，保证了智能体达到共识和最优。分析表明，该算法以$O(\frac{\ln k}{\sqrt{k}})$的速度收敛，其中$k$是迭代次数。
2016-02-01 math.OC
High Probability Convergence of Distributed Clipped Stochastic Gradient Descent with Heavy-tailed Noise
本文针对重尾噪声下的分布式优化问题，提出分布式裁剪随机梯度下降算法，并在图连通性温和假设下证明其高概率收敛，仿真验证了理论结果。
2025-06-18 math.OC
Convergence Analysis of the Last Iterate in Distributed Stochastic Gradient Descent with Momentum
本文研究分布式 mSGD 在非凸设置下的最后一次迭代收敛问题，证明其在 Robbins-Monro 步长下的几乎必然与 $L_2$ 收敛及速率，并说明动量可加速早期收敛。
2025-05-16 math.OC
Distributed Stochastic Compositional Optimization Problems over Directed Networks
研究了有向通信网络上的分布式随机组合最优化问题，其中智能体私有一个随机组合目标函数，并通过协作来最小化所有目标函数之和.本文提出了一种分布式随机组合梯度下降算法，该算法采用梯度跟踪和随机校正技术，以适应网络的有向结构，提高内函数估计的精度。当目标函数光滑时，该方法的收敛速度和样本复杂度分别为$\mathcal{O}\left(k^{-1/2}\right)$和$\mathcal{O}\left(\frac{1}{ε^2}\right)$，并能找到（$ε$）-平稳点.当目标函数为强凸时，收敛速度提高到$\mathcal{O}\left(k^{-1}\right)$ .此外，还给出了该方法的Polyak-Ruppert平均迭代的渐近正态性.我们证明了所提出的方法在模型不可知的元学习问题和逻辑斯谛回归问题上的经验性能。
2022-03-21 math.OC
Accelerated Zeroth-order Algorithm for Stochastic Distributed Nonconvex Optimization
本文研究了在只有零阶信息的非凸问题上如何加速分布式优化算法的收敛。我们提出了一个零阶（ZO）分布式原始-对偶随机坐标算法配备了“强力球”方法来加速。我们证明了所提出的算法具有$\mathcal{O}(\sqrt{p}/\sqrt{nT})$的收敛速度一般非凸费用函数。我们考虑从黑盒DNN问题中解决对抗性示例的生成，以与现有的最先进的集中式和分布式ZO算法进行比较。数值结果表明，该算法具有更快的收敛速度，与理论分析相吻合。
2021-10-13 math.OC
Local Differential Privacy via Dynamic Quantization in Distributed Online Stochastic Optimization
Nanjing University of Science and Technology（南京理工大学）；Huazhong University of Science and Technology（华中科技大学）
提出一种使用动态随机量化器实现本地差分隐私的分布式在线随机优化算法，在几乎必然收敛到最优解的同时为每个智能体提供(0,δ^i)-本地差分隐私，并适用于有向图网络。
2026-05-28 math.OC
Logic-based Benders Decomposition and Binary Decision Diagram Based Approaches for Stochastic Distributed Operating Room Scheduling
分布式手术室（OR）调度问题的目的是找到一个手术分配到手术室之间的合作医院，共享他们的等候名单和OR。我们提出了一个随机扩展这个问题的手术时间被认为是不确定的。为了获得具有挑战性的随机模型的解决方案，我们使用样本平均近似，并开发了两个增强的分解框架，使用基于逻辑的Benders（LBBD）最优切割和基于二元决策图的Benders切割。具体而言，据我们所知，推导LBBD最优切割在随机规划的情况下是新的文献。我们在医院数据集上的计算实验表明，随机制定产生强大的时间表，我们的算法提高了计算效率。
2020-10-02 math.OC
Convergence rates for distributed stochastic optimization over random networks
我们建立了O（$\frac{1}{k}$）收敛速度的分布式随机梯度法，强凸成本和随机网络。所考虑的类的方法是标准的每个节点执行其自己的加权平均值和它的邻居的解决方案估计（共识），并采取一个负步骤相对于其本地函数梯度（创新）的噪声版本。底层通信网络通过时间独立同分布（i.i.d.）平均连接的拉普拉斯矩阵，而局部梯度噪声也是独立同分布的。在时间上，具有有限二阶矩，且可能具有无界支承。我们表明，经过仔细设置的共识和创新潜力（权重），分布式随机梯度法实现了（订单最优）O（$\frac{1}{k}$）收敛速度的均方距离的解决方案。当网络是随机的和/或梯度噪声具有无界支撑时，这是分布强凸随机最优化的一阶最优收敛速度结果.仿真例子证实了理论研究结果。
2018-03-21 math.OC
Time-Varying Distributed Optimization for A Class of Stochastic Multi-Agent Systems
本文首次研究一类随机多智能体系统的时变分布式优化，提出固定时间全局变量估计器与分布式协议，证明跟踪误差均方指数最终有界，并通过仿真验证。
2025-03-17 math.OC
An Accelerated Second-Order Method for Distributed Stochastic Optimization
我们考虑分布式随机最优化问题，解决了主/工人计算架构。统计参数允许利用统计相似性和近似这个问题的有限和问题，为此，我们提出了一个不精确的加速的正则化牛顿法，实现了较低的通信复杂度的限制，这种设置，并改善现有的上界。我们进一步利用这个算法，以获得收敛速度界为原来的随机最优化问题，并比较我们的界限与现有的界限在几个政权时，目标是最大限度地减少通信轮数和增加的并行化，通过增加工人的数量。
2021-03-26 math.OC
An Accelerated Method For Decentralized Distributed Stochastic Optimization Over Time-Varying Graphs
我们考虑一个分布式的随机最优化问题，解决了一个分散的网络的代理与相邻的代理之间只有本地通信。整个系统的目标是最小化一个全局目标函数，该函数是由每个代理持有的局部目标之和。每个局部目标被定义为一个凸光滑随机函数的期望值，并允许代理对该函数的随机梯度进行采样。对于这种设置，我们提出了第一个加速（在Nesterov的加速意义上）的方法，同时达到最佳的对数因子通信和Oracle的复杂性边界光滑强凸分布随机最优化。我们还考虑的情况下，当通信图被允许随时间变化，并获得我们的算法的复杂性界限，这是第一个上复杂性界限，在文献中的设置。
2022-11-09 math.OC
On Data Dependence in Distributed Stochastic Optimization
我们研究了一个分布式的共识为基础的随机梯度下降（SGD）算法，并表明，收敛速率涉及两个矩阵的频谱特性：标准的频谱间隙的权重矩阵从网络拓扑结构和一个新的长期依赖于频谱范数的样本协方差阵的数据。这种依赖于数据的收敛速度表明，分布式SGD算法在具有小谱范数的数据集上表现得更好。我们的分析方法还允许我们找到数据依赖的收敛速度，因为我们限制了通信量。将固定量的数据分布在更多节点上会减慢收敛速度;对于渐进增长的数据集，我们表明添加更多机器可以帮助最大限度地减少二次可微损失。
2016-09-01 math.OC
S-NEAR-DGD: A Flexible Distributed Stochastic Gradient Method for Inexact Communication
我们提出并分析了一种随机分布式方法（S-NEAR-DGD），它可以容忍不精确的计算和不准确的信息交换，以减轻大规模系统中昂贵的梯度评估和带宽有限的通信问题。我们的方法是基于一类灵活的，分布式的一阶算法，允许计算和通信的权衡，以最好地适应应用程序的设置。我们假设节点之间的所有信息交换都受到随机失真的影响，并且只有真实梯度的随机逼近可用。我们的理论结果证明了所提出的算法在期望线性收敛到最优解的一个邻域的强凸目标函数与Lipschitz梯度。我们的特征依赖于算法和网络参数，通信信道的质量和所使用的随机梯度近似的精度，这附近。最后，我们提供了数值结果来评估我们的方法的经验性能。
2021-01-30 math.OC
Compressed Momentum-based Single-Point Zeroth-Order Algorithm for Stochastic Distributed Nonconvex Optimization
Shanghai University（上海大学）；Tongji University（同济大学）
本文提出一种压缩动量单点零阶算法，旨在降低通信开销并解决显式梯度信息不可用问题，通过局部随机更新和压缩交换实现非凸优化。
2026-05-10 math.OC
Stochastic Sensor Scheduling via Distributed Convex Optimization
在本文中，我们提出了一个随机调度策略，估计N离散时间线性时不变（DTLTI）动态系统的状态，其中只有一个系统可以观察到的传感器在每个时刻，由于实际的资源限制。我们的随机策略的想法是，一个系统是随机选择的观察在每个时刻根据预先分配的概率分布。我们的目标是找到最佳的预分配的概率，以最小化动态系统之间的最大估计误差协方差。我们首先表明，在温和的条件下，随机调度问题给出了一个上界的最佳传感器选择问题的性能，出了名的难以解决。接下来，我们放松随机调度问题到一个听话的次优准凸形式。然后，我们表明，新的问题可以分解成耦合的小凸优化问题，它可以在一个分布式的方式解决。最后，对于调度的实现，我们提出了基于最优随机解的集中式和分布式确定性调度策略，并提供了仿真例子。
2015-06-22 math.OC
Distributed Adaptive Gradient Algorithm with Gradient Tracking for Stochastic Non-Convex Optimization
本文针对分布式随机非凸优化问题，提出一种结合梯度跟踪的自适应步长算法，并给出最优性间隙上界，证明其可达到一阶平稳解。
2024-03-29 math.OC
Distributed Seeking for Fixed Points of Biased Stochastic Operators: A Communication-Efficient Approach
Northeastern University（东北大学）；KTH Royal Institute of Technology（瑞典皇家理工学院）；Tongji University（同济大学）；Southeast University（东南大学）；University of Victoria（维多利亚大学）
本文研究了多智能体网络上可和性随机算子的分布式固定点寻找问题，提出了一种在放松增长偏置和方差条件下基于近似Krasnosel'ski\uı--Mann迭代的通信高效分布式算法，通过整合通信压缩和动态周期跳过技术，建立了分布式固定点迭代的收敛性保证，实现了与分布式非凸优化算法的理论统一。
2026-05-21 math.OC
On Primal-Dual Approach for Distributed Stochastic Convex Optimization over Networks
针对网络上的分布式凸优化问题，提出了一种原始-对偶随机梯度预言算法。我们表明，所提出的方法是最佳的通信步骤。此外，我们提出了一种新的分析方法的收敛速率的对偶差距和大偏差的概率。这种分析是基于一种新的技术，允许约束迭代序列和最佳点之间的距离。通过正确选择批量大小，我们可以保证这个距离等于（直到一个常数）起点和解决方案之间的距离。
2019-11-26 math.OC
Compressed Zeroth-Order Algorithm for Stochastic Distributed Nonconvex Optimization
针对带宽受限且无显式梯度的随机分布式非凸优化，提出CZSD算法，利用压缩通信与两点零阶预言机实现线性加速及低通信、低采样复杂度。
2025-08-29 math.OC
A Slow-Fast Stochastic Framework for Zeroth-Order Distributed Time-Varying Optimization
Sichuan University（四川大学）
研究仅用零阶信息的随机多智能体系统分布式时变优化，构建慢-快随机框架，引入辅助变量和快速子系统生成梯度估计，慢子系统进行优化和一致性，分析收敛性并通过模拟验证，建立界表征参数等对跟踪性能的影响。
2026-07-17 math.OC
A Communication-Efficient Stochastic Gradient Descent Algorithm for Distributed Nonconvex Optimization
针对多智能体分布式非凸优化，本文提出支持通用压缩器的通信高效分布式 SGD，证明其线性加速收敛及 PL 条件下的邻域线性收敛，并通过实验验证效率。
2024-03-02 math.OC
A Flocking-based Approach for Distributed Stochastic Optimization
近年来，云计算的范例已经作为利用分布式（联网）计算资源的计算架构而出现。在本文中，我们考虑一个分布式计算算法方案的随机最优化，它依赖于适度的处理器之间的通信要求，最重要的是，不需要同步。具体来说，我们分析了一个计划与$N>1$独立的线程实现每个随机梯度算法。这些线通过梯度的扰动（具有吸引力和排斥力）以类似于自然界中发现的具有温和通信要求的群集、群集和其他群组形成的数学模型的方式耦合。当目标函数是凸的，我们表明，分布式随机最优化的一个群集的方法提供了一个降噪效果类似的集中式随机梯度算法的基础上，平均$N$梯度样本在每一步。群集的分布式本质使其成为一种吸引人的计算替代方案。我们表明，当收集$N$样本和同步所需的时间相关的开销是不可忽略的，植绒实现优于集中的随机梯度算法的基础上，平均$N$梯度样本在每一步。当目标函数不是凸函数时，基于群集的方法似乎更适合于逃避局部最优解，这是由于排斥力在候选解集合中强制执行一定程度的多样性。在这里，我们再次表明，降噪效果是类似的集中式随机梯度算法的基础上的平均值的$N$梯度样本在每一步。
2017-09-20 math.OC
A distributed adaptive steplength stochastic approximation method for monotone stochastic Nash Games
我们考虑一个分布式的随机逼近（SA）计划计算一个随机纳什博弈的均衡。标准SA方案采用平方可和但不可和的递减步长序列。这样的要求提供了一个小的或没有指导如何利用Lipschitz和单调性的问题和天真的选择一般不执行统一的问题的广度。虽然[1]中提出了一种集中式自适应步长SA方案用于优化框架，但这种方案没有为代理提供选择自己步长的自由。因此，直接应用集中步长方案求解纳什博弈是不切实际的。此外，对博弈论机制的扩展（其中玩家可以独立选择步长序列）仅限于Koshal等人的最新工作。出于这些缺点，我们提出了一个分布式算法，其中每个球员更新他的步长的基础上，以前的步长和一些问题参数。步长规则是从最小化与玩家决策相关的误差的上界导出的。结果表明，这些规则产生的序列，几乎肯定收敛到一个平衡的随机纳什博弈。重要的是，这条规则的变体建议玩家独立选择步长序列，同时遵守整体协调要求。初步的数值结果被认为是有希望的。
2013-03-19 math.OC
A stochastic output-feedback MPC scheme for distributed systems
本文针对具有加性过程和测量噪声的分布式系统，提出了一种新的随机输出反馈预测控制方案。利用概率可达集的概念处理机会约束，在扰动分布的单峰性假设下，保证闭环系统满足概率可达集。通过将最优化问题的初态以可行性为条件，保证了递归可行性的基本性质。闭环机会约束满足，递归的可行性和收敛到一个渐近平均成本界。最后，本文以三个相互关联的子系统为例，突出了与集中式设置相比的机会约束满意度和平均成本。
2023-03-06 math.OC
Distributed computation of equilibria in misspecified convex stochastic Nash games
纳什均衡的分布式计算在分布式控制的背景下出现这样的问题时，在工程中的相关性越来越大。因此，我们提出了两类静态随机凸对策的平衡计算方案复杂的参数误设定，一个自然的关注，在控制大规模网络化工程系统。在这两种方案中，玩家学习的均衡策略，同时解决错误指定：（1）单调随机纳什博弈：我们提出了一组耦合的随机逼近计划分布在代理，其中第一个计划更新每个代理的策略通过一个预计（随机）梯度步骤，而第二个计划更新每个代理的信念，其错误指定的参数使用一个独立指定的学习问题。我们继续表明，所产生的序列收敛在几乎肯定的意义上真正的均衡策略和真正的参数，分别。令人惊讶的是，在均衡策略中的收敛在均方意义上实现了最优的收敛收敛速率，并且速率常数具有可量化的退化;（2）具有不可观察的总输出的随机纳什-古诺博弈：我们将（1）改进为古诺设置，其中我们假设策略元组是不可观察的，而支付函数和策略集是通过公共知识假设的公共知识。通过利用噪声破坏的价格的观察，迭代不动点计划的开发，允许同时学习的均衡策略和错误指定的参数在几乎肯定的意义。
2017-10-14 math.OC
Finite-Time Performance of Distributed Two-Time-Scale Stochastic Approximation
双时间尺度随机逼近是求解双方程组的一种常用的迭代法。这些方法在许多领域都有广泛的应用，特别是在机器学习和强化学习中。在本文中，我们提出了一个分布式的代理网络，代理使用两个图形表示他们的通信在不同的速度，由于他们的两个时间尺度更新的性质，这种方法的变体。我们的主要贡献是提供一个有限的时间分析所提出的方法的性能。特别是，我们建立了一个上界的收敛速度的均方误差在代理为零的函数的步长和网络拓扑结构。
2019-12-21 math.OC
Distributed Stochastic Optimization with Gradient Tracking over Time-Varying Directed Networks
本文提出SAB-TV分布式随机优化方法，在时变有向网络上利用梯度跟踪和行列随机权重实现智能体协同优化，并证明其线性收敛到最优解邻域。
2023-10-30 math.OC
An Optimal Distributed Algorithm with Operator Extrapolation for Stochastic Aggregative Games
本文研究了一类随机集结对策的纳什均衡问题，其中每个局中人都有一个期望值目标函数，该期望值取决于其局部策略和所有局中人策略的集合。我们提出了一个分布式算法与运营商外推，其中每个球员保持估计这个聚集通过交换此信息与它的邻居在一个随时间变化的网络，并更新其决定通过镜像下降法。在搜索方向上应用算子外推，使得利用两步历史梯度样本来加速收敛。在伪梯度映射的强单调性假设下，证明了该算法对于随机对策的纳什均衡搜索具有$\mathcal{O}(1/k)$的最优收敛速度。最后，通过数值模拟验证了算法的性能.
2022-05-14 math.OC
Distributed Stochastic Gradient Descent: Nonconvexity, Nonsmoothness, and Convergence to Local Minima
在集中式环境下，随机梯度下降（SGD）算法避免了鞍点并收敛于非凸问题的局部极小值。然而，分布式一阶算法缺乏类似的保证。本文研究了分布式随机梯度下降（D-SGD）-一个简单的基于网络的SGD实现。研究了D-SGD避开鞍点和收敛于局部极小点的条件。首先，我们考虑计算临界点的问题。假设损失函数是非凸的，可能是非光滑的，它表明，对于每个固定的初始化，D-SGD收敛到临界点的损失概率为1。接下来，我们考虑避免鞍点的问题。在这种情况下，我们再次假设损失函数可以是非凸和非光滑的，但在鞍点的邻域内是光滑的。结果表明，对于任何固定的初始化，D-SGD避免这样的鞍点的概率为1。通过研究底层（分布式）梯度流，使用常微分方程（ODE）方法的随机逼近，并从动力系统理论，如稳定的流形扩展经典技术证明了结果。结果证明在一般情况下的子空间约束优化，其中D-SGD是一个特殊的情况。
2022-03-04 math.OC
Asymptotic Properties of Primal-Dual Algorithm for Distributed Stochastic Optimization Over Random Networks
本文研究了一个分布的随机最优化问题在随机网络上的不完全通信受一个全局约束，这是分配给代理的局部约束集的交集。全局成本函数是局部费用函数的和，每个局部成本函数是随机费用函数的期望。将增广拉格朗日方法与投影方法相结合，提出了一种基于随机逼近的分布式原始对偶法。每个智能体通过使用本地观测值和来自邻居的信息来更新其估计。对于约束问题，首先证明估计几乎必然有界（a.s.），然后证明了算法收敛于最优解集a.s.在无约束条件下，证明了算法的渐近正态性和有效性.仿真结果表明了随机网络、通信噪声和梯度误差对算法性能的影响。最后，通过数值模拟验证了理论分析的正确性。
2016-07-22 math.OC
Distributed Zeroth Order Optimization Over Random Networks: A Kiefer-Wolfowitz Stochastic Approximation Approach
我们研究了一个标准的分布式优化框架，其中$N$网络节点协作最小化其局部凸成本之和。现有工作的主体考虑了当下层网络是静态的或确定性变化的时所描述的问题，并且分布式优化算法是一阶或二阶的，即，它涉及到局部成本的梯度和可能的局部Hessian。在本文中，我们考虑了目前研究不足但高度相关的场景：1）只有噪声函数值的估计可用（没有梯度也没有Hessian可以评估）; 2）底层网络是随机变化的（根据独立的，同分布的过程）。对于所描述的随机网络零阶优化设置，我们开发了一个分布式的Kiefer-Wolfowitz型随机逼近方法。此外，根据标准的光滑性和强凸性假设的本地成本，我们建立了$O(1/k^{1/2})$均方收敛速度的方法-该速度匹配的方法的集中式对应在同等条件下。
2018-03-21 math.OC
Nested Distributed Gradient Methods with Stochastic Computation Errors
在这项工作中，我们考虑的问题，网络的代理集体最小化的总和凸函数。在我们的设置中的代理只能访问他们的本地目标函数，并与他们的近邻交换信息。受计算不完善的应用程序的启发，包括但不限于经验风险最小化（ERM）和在线学习，我们假设只有局部梯度的噪声估计可用。为了解决这个问题，我们适应一类嵌套分布式梯度法（NEAR-DGD）的随机梯度设置。这些方法具有最小的存储要求，是通信感知的，并且在梯度计算昂贵而通信相对便宜的设置中表现良好。我们调查我们的方法的收敛性在标准假设下的随机梯度，即无偏性和有界方差。分析表明，对于局部强凸函数和适当的常数步长，该方法以线性速度收敛到最优解的邻域。我们还表明，随机梯度的分布式优化实现了类似于mini-square的降噪效果，其规模与网络大小无关。最后，我们提出的数值结果来证明我们的方法的有效性。
2019-09-30 math.OC
Null Controllability for Cascade systems of Coupled Backward Stochastic Parabolic Equations with One Distributed Control
本文证明了含反应、对流项及一般二阶抛物算子的n个耦合后向随机抛物方程级联系统的零能控性，通过施加单一分布控制，开发了新的全局Carleman估计推导能观性不等式，并给出零控制成本估计。
2024-11-13 math.OC
Distributed Stochastic Nested Optimization via Cubic Regularization
本文考虑一个嵌套随机分布最优化问题。在它中，近似解实现的内部问题的杠杆，以获得一个分布式随机立方正则牛顿（DiSCRN）更新的决策变量的外部问题。我们提供了一个例子，涉及电动汽车用户的各种偏好，这表明该模型是适当的，足够复杂的各种数据驱动的多智能体设置，与非嵌套模型。主要的两个贡献的文件是：（一）本地停止标准的发展，以解决内部最优化问题，保证足够的精度外问题更新，和（ii）开发的新的DiSCRN算法解决外问题和其功效的理论证明。仿真表明，这种方法是更稳定，收敛速度比标准梯度和牛顿外问题更新在一个高度非凸的情况下，我们还证明了该方法扩展到电动汽车充电的情况下，其中电阻电池损耗和时间的使用定价模型被认为是在一个时间范围内。
2021-08-04 math.OC
Distributed Randomized Block Stochastic Gradient Tracking Method
我们考虑网络上的分布式优化，其中每个代理与一个光滑和强凸的局部目标函数。我们假设代理商只能获得其目标函数的梯度的无偏估计。受大数据应用的启发，我们的目标在于当解空间的维数可能很大时解决这个问题，因此，局部梯度映射的计算可能变得昂贵。我们开发了一个随机块坐标最近开发的分布式随机梯度跟踪（DSGT）方法的变体。我们分别在一个最优性度量和一个一致违反度量下得到了阶$1/k$和$1/k^2$的非渐近收敛速度。重要的是，虽然块坐标方案已经研究了分布式最优化问题之前，所提出的算法似乎是第一个随机块坐标梯度跟踪方法，配备了上述收敛速度声明。我们验证了所提出的方法的性能MNIST和不同的网络设置下的合成数据集。
2021-10-13 math.OC
Zeroth-Order Algorithms for Stochastic Distributed Nonconvex Optimization
在本文中，我们考虑了一个随机分布的非凸最优化问题的成本函数分布在$n$代理只访问零阶（ZO）的成本信息。这个问题有各种机器学习应用。作为一种解决方案，我们提出了两个分布式ZO算法，在每次迭代中，每个代理样本的本地随机ZO预言在两个点随时间变化的平滑参数。我们证明了所提出的算法实现了线性加速收敛速度$\mathcal{O}(\sqrt{p/(nT)})$光滑的费用函数下的状态依赖方差的假设，这是更一般的比常用的有界方差和Lipschitz假设，和$\mathcal{O}(p/(nT))$收敛速度时，全局成本函数另外满足Polyak-Jasiewicz（P-Jasiewicz）条件此外，其中，$p$和$T$分别是决策变量的维数和迭代的总次数。据我们所知，这是分布式ZO算法的第一个线性加速结果，它通过添加更多的代理来提高系统的处理性能。我们还表明，所提出的算法线性收敛的相对有界的二阶矩假设和P-S条件下。我们通过数值实验证明了我们的算法在从深度神经网络生成对抗性示例方面的效率，并与基线和最近提出的集中式和分布式ZO算法进行了比较。
2021-12-13 math.OC
Randomized Block Proximal Methods for Distributed Stochastic Big-Data Optimization
本文提出了一类新的求解有向图上随机大数据凸优化问题的分布式算法。在所述的设置中，决策变量的维数可以非常高，并且目标函数可以是非光滑的。一般算法包括两个主要步骤：共识步骤和对优化变量的单个块的更新，然后将其广播给邻居。三个特殊的情况下，所提出的方法，涉及特定的问题结构，然后提出。在一般情况下，证明了随机行随机阵上动态一致性算法的收敛性。然后，证明了该算法在期望值内收敛到最优费用。当使用递减（局部）步长时实现精确收敛，而当使用恒定步长时实现近似收敛。的收敛速度被证明是次线性的，并提供了一个明确的速度的情况下，恒定的步长。最后，该算法进行了测试的分布式分类问题，首先在合成数据，然后，在一个真正的，高维的，文本数据集。
2020-10-04 math.OC
Distributed Stochastic Optimization under Heavy-Tailed Noises
本文针对无集中式服务器且存在重尾梯度噪声的分布式优化问题，提出一种结合梯度裁剪与分布式随机次梯度投影的方法，并证明在适当步长条件下各智能体状态以概率1收敛到最优解。
2025-05-09 math.OC
Distributed Stochastic Approximation: Weak Convergence and Network Design
研究了通信网络中基于广播流言的分布式随机逼近算法。证明了这些算法的弱收敛性，并将收敛点与局部目标函数和网络性质联系起来，建立了相应的常微分方程（ODE）。利用这些结果，提出了一种方法，网络设计，旨在实现所需的渐近行为的共识。同时分析了算法的收敛速度，并利用附加的随机微分方程进一步改进了算法。仿真结果验证了理论概念。
2016-09-02 math.OC stat.AP
The Min-Max Complexity of Distributed Stochastic Convex Optimization with Intermittent Communication
Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）；Weizmann Institute of Science（魏茨曼科学研究所）
我们解决了分布式随机凸优化的最小-最大复杂性（最多为对数因子）在间歇性通信设置，其中$M$机器并行工作的过程中的$R$轮的通信，以优化目标，并在每一轮的通信，每台机器可以顺序计算$K$随机梯度估计。我们提出了一个新的下限与匹配的上限，建立一个最佳的算法。
2021-08-05 cs.LG math.OC
Distributed stochastic projection-free solver for constrained optimization
针对大规模约束有限和优化问题，提出了一种分布式随机无投影算法。全局费用函数被分配给多个代理，每个代理计算其局部随机梯度并与其邻居通信以解决全局问题。随机梯度法计算量小，但由于随机采样引起的方差较大，收敛速度慢。为了构造一个收敛的分布式随机无投影算法，本文在Frank-Wolfe更新中引入了方差缩减技术和梯度跟踪技术。我们开发了一个抽样规则的方差减少技术，以减少随机梯度引入的方差。完整和严格的证明表明，所提出的分布式无投影算法收敛于次线性收敛速度，并享有优越的复杂性保证凸和非凸目标函数。通过比较仿真，我们证明了所提出的算法的收敛性和计算效率。
2022-04-22 cs.MA math.OC
Distributed strategies for generating weight-balanced and doubly stochastic digraphs
University of California San Diego（加州大学圣地亚哥分校）
研究权重平衡和双随机有向图的特征，并提出分布式算法来计算相应的权重集。
2011-10-17 cs.SY eess.SY math.OC
Optimal Complexity in Byzantine-Robust Distributed Stochastic Optimization with Data Heterogeneity
Pengcheng Laboratory（鹏城实验室）
该研究针对数据异构的拜占庭鲁棒分布式随机优化问题，推导了强凸与非凸场景下的紧下界，结合Nesterov加速与方差缩减技术提出匹配下界的新方法，验证了下界的紧致性。
2025-03-20 cs.LG math.OC
Numerics for Stochastic Distributed Parameter Control Systems: a Finite Transposition Method
在本章中，我们介绍了随机分布参数控制系统的数值计算的一些最新进展，在我们以前的工作中介绍的\emph{finite transposition method}。我们首先解释如何减少在这方面的一些随机控制问题的数值向后随机发展方程的数值。然后，我们提出了一种方法来找到有限的换位解决方案，这样的方程。最后给出了一个具有启发性的例子。
2021-04-07 cs.NA math.NA math.OC
Distributed and Stochastic Optimization Methods with Gradient Compression and Local Steps
Moscow Institute of Physics and Technology（莫斯科物理技术学院）
在这篇论文中，我们提出了新的理论框架，用于分析具有误差补偿和局部更新的随机和分布式方法。使用这些框架，我们开发了20多个新的最优化方法，包括第一个线性收敛的误差补偿SGD和第一个线性收敛的局部SGD任意异构的局部函数。此外，本文还提出了几种新的求解分布式非凸优化问题的无偏压缩分布式算法。这些方法的复杂性结果优于以前最知名的结果所考虑的问题。最后，我们提出了一种新的可扩展的分散容错分布式方法，并在合理的假设下，我们推导出该方法的迭代复杂度界相匹配的集中式Local-SGD。
2021-12-20 cs.LG math.OC
Distributed Stochastic Zeroth-Order Optimization with Compressed Communication
针对分布式系统中通信开销大和梯度计算不可行的挑战，提出仅需两次函数评估且集成压缩算子的随机分布式零阶算法Com-DSZO及其方差缩减变体，并证明其次线性收敛速率与压缩-收敛权衡。
2025-09-18 cs.MA math.OC
