Topology Optimization under Microscale Uncertainty using Stochastic Gradients
本文考虑了工程材料结构的设计，考虑材料特性的不确定性。我们提出了一种拓扑优化方法，优化结构的形状和拓扑结构在宏观上假设设计无关的不确定性微结构。在宏观尺度上的结构几何形状是由一个显式水平集方法描述，和宏观结构响应预测的扩展有限元法（XFEM）。我们描述的微观布局的解析几何模型与不确定的参数或水平切割从高斯随机场。通过均匀化方法预测了微结构材料的宏观性能。考虑到大量可能的微尺度配置，解决这种拓扑最优化问题的主要挑战之一是估计成本和约束函数的统计矩及其相对于设计变量的梯度的计算成本。用于预测这些时刻的方法，例如蒙特卡罗采样、泰勒级数和多项式混沌展开，通常需要许多随机样本，导致不切实际的计算。为了减少这种成本，我们提出了一种方法，其中，在每次设计迭代，我们只使用少量的微结构配置，以产生一个独立的，随机逼近的梯度。这些梯度然后使用梯度下降算法，即亚当，或移动渐近线（GCMMA）的全局收敛方法。三个结构力学的数值例子表明，所提出的方法提供了一种计算效率高的方法，在微观结构的不确定性的存在下，宏观拓扑优化，使设计人员能够考虑一类新的问题，是遥不可及的今天与传统的工具。
2021-10-26 math.OC
A nonmonotone spectral projected gradient method for large-scale topology optimization problems
提出了一种基于梯度的求解体积约束拓扑最优化问题的有效方法。该算法的每一步都是通过将Barzilai-Borwein步投影到由盒和一个线性约束（体积约束）组成的可行集上来获得的。为保证算法的整体收敛，沿当前点和投影点给定的方向进行自适应非单调线搜索。采用自适应循环重用的Barzilai-Borwein步长作为初始步长。最小的内存需求，保证收敛性，几乎只有一个功能和梯度每次迭代评估，使这种新方法非常有吸引力的常见的替代方法来解决大规模的最优设计问题。数值实验表明了该方法的有效性和可行性。
2010-06-03 math.OC
Multilevel Stochastic Gradient Descent for Optimal Control Under Uncertainty
提出一种多层随机梯度下降法，用于求解受不确定输入数据影响的偏微分方程最优控制问题，通过并行多层蒙特卡洛估计随机梯度，实现线性收敛并显著优于标准随机梯度下降法。
2026-06-23 cs.MS cs.NA math.NA
Topology optimization concerning the mass distribution via filtered gradient flows on the Wasserstein space
Institute of Science Tokyo（东京科学大学）；The University of Tokyo（东京大学）
本文提出了一种基于过滤梯度流的拓扑优化方法，用于在Wasserstein空间中优化质量分布并确定材料形状。
2026-01-20 math.AP math.OC
A Unified Phase-Field Fourier Neural Network Framework for Topology Optimization
East China Normal University（华东师范大学）；The Hong Kong Polytechnic University（香港理工大学）；Shanghai Jiao Tong University（上海交通大学）；Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）
本文提出了一种基于物理的统一相场傅里叶神经网络框架，用于高效拓扑优化，通过物理一致的梯度驱动实现清晰的拓扑结构。
2026-01-26 cs.NA math.NA math.OC
Reliability-based Topology Optimization using Stochastic Gradients
针对基于可靠性的结构拓扑优化（RBTO）的计算难题，提出了采用标准抽样方法对目标和约束的统计量进行估计的方法，克服了传统方法依赖于极限状态函数近似的精度问题。在这里，我们提出了一个随机的基于梯度的方法，我们估计在每隔几次迭代使用一个有效的采样策略的故障概率。为了估计失效概率相对于设计参数的梯度，我们应用贝叶斯规则，其中我们假设以失效为条件的设计参数的密度函数为参数指数模型。设计参数以及该密度函数的参数使用随机梯度下降方法来更新，该方法仅需要小的，例如，O（1），每次迭代的随机样本的数量，从而导致与标准RBTO技术相比计算成本的显著降低。我们说明了所提出的方法与基准的例子，有一个解析解，以及两个广泛使用的问题，在结构拓扑优化。这些例子说明了该方法在产生可靠设计方面的有效性。
2021-07-26 math.OC
A Stochastic Proximal Gradient Framework for Decentralized Non-Convex Composite Optimization: Topology-Independent Sample Complexity and Communication Efficiency
分散式优化是一种很有前途的并行计算范例，用于定义在节点网络上的大规模数据分析和机器学习问题。研究了具有总体风险或经验风险的分散非凸组合问题。特别地，网络节点的任务是找到局部的、平滑的、可能非凸的风险函数加上可能不可微的扩展值凸正则化子的平均值的近似稳定点。在这个一般配方下，我们提出了第一个可证明有效的随机邻近梯度框架，称为ProxGT。具体来说，我们构建和分析ProxGT的几个实例，分别为不同的问题类的兴趣。值得注意的是，我们表明，这些实例的样本复杂性是网络拓扑无关的，并实现线性加速相比，在一个单一的节点上实现相应的集中式优化方法。
2021-10-04 math.OC
Converging an Overlay Network to a Gradient Topology
KTH - Royal Institute of Technology（皇家理工学院）；Swedish Institute of Computer Science (SICS)（瑞典计算机研究所）
本文利用矩阵分析工具，研究了基于八卦的梯度覆盖网络的拓扑收敛问题，证明了收敛到完整梯度结构的充要条件，并给出了收敛时间估计和最坏情况边界，最后通过仿真展示了其在P2P直播系统中的效率提升。
2011-03-29 cs.SY eess.SY math.OC
Multilevel Quasi-Monte Carlo for Optimization under Uncertainty
研究了具有不确定对数正态扩散系数的椭圆型偏微分方程的平均跟踪误差的优化问题。特别地，研究了多层拟蒙特卡罗方法（MLQMC）在梯度估计中的应用，并采用循环嵌入方法对随机场进行采样。伴随变量的一种新的规律性分析是必不可少的MLQMC估计的梯度结合使用CE方法产生的样本。严格的成本和误差分析表明，随机移位拟蒙特卡罗方法方法导致比普通蒙特卡罗方法更快的梯度均方根误差衰减速率，同时考虑多个水平大大减少了计算工作量。数值实验证实了改进的收敛速率，并表明MLQMC方法优于多层蒙特卡罗方法和单层拟蒙特卡罗方法方法。
2021-09-29 cs.NA math.NA math.OC
Uncertainty Quantification for Gradient and Accelerated Gradient Descent Methods on Strongly Convex Functions
考虑了一类依赖于不确定参数$θ$的强凸函数的极小化问题。目标函数中的不确定性意味着最优值$x^*(θ)$也是$θ$的函数。我们提出了一个有效的方法来计算$x^*(θ)$和它的统计。我们使用混沌扩展的$x^*(θ)$沿截断的基础和研究一阶方法计算的最佳系数。我们将方法的收敛速度定义为基函数的个数，从而增加了最优化问题的维数。我们给出了梯度下降法和加速梯度下降法的第一非渐近速率。我们的分析利用凸性，并不依赖于一个递减步长的策略。因此，无论是在理论上还是在我们初步的数值实验中，它都比最先进的方法快得多。我们的分析的一个令人惊讶的副作用是，所提出的方法也作为一个方差减少技术的问题估计$x^*(θ)$。
2021-12-01 math.OC
Weak topology and Opial property in Wasserstein spaces, with applications to Gradient Flows and Proximal Point Algorithms of geodesically convex functionals
本文讨论了在可分Hilbert空间$H$上的有限二次矩Borel概率测度的Wasserstein空间$(\mathcal{P}_2(H),W_2)$中如何定义一个适当的弱拓扑概念.我们将证明这样的拓扑继承了Hilbert空间中通常的弱拓扑的许多特征，特别是测地凸闭集的弱闭性和弱收敛序列的Opial性质。我们将这一概念应用于$\mathcal{P}_2(H)$的弱闭子集中的非扩张映射的不动点的逼近以及下连续测地凸泛函$ϕ:\mathcal{P}_2(H)\to(-\infty,+\infty]$的极小值的逼近.特别地，我们将证明$ϕ$的Wasserstein梯度流的每一个解随着时间的推移到$+\infty$弱收敛到$ϕ$的极小值。类似地，如果$ϕ$也是沿广义测地线凸的，则由邻近点法生成的每个序列都收敛到$ϕ$关于$\mathcal{P}_2(H)$的弱拓扑的极小元。
2021-04-13 math.DS math.FA math.MG
Robust Control with Gradient Uncertainty
Peking University（北京大学）
本文针对值函数梯度不确定性提出鲁棒控制新框架，建立GU-HJBI方程并证明适定性，揭示LQ情形下二次值函数假设失效，进而提出GURAC算法并验证其稳定训练效果。
2025-07-20 cs.AI cs.LG math.OC
A stochastic gradient method for a class of nonlinear PDE-constrained optimal control problems under uncertainty
本文提出一种在Hilbert空间上求解非凸随机优化问题的随机梯度方法，证明了迭代序列的聚点几乎必然收敛于稳定点，并应用于不确定性下椭圆半线性PDE约束的最优控制问题。
2023-04-05 math.OC
An Efficient Gradient Projection Method for Structural Topology Optimization
针对结构拓扑优化问题，提出了一种基于梯度投影的有效算法，该算法的目标函数为非线性，且在由双边界和线性等式约束定义的可行域上最小化。利用约束类型的特殊性以及启发式工程经验，改进了缩放方案、投影和搜索步骤。具体地说，该方法利用梯度裁剪和在一定条件下对搜索方向的投影进行修正来提高算法的效率。此外，提出了一种近似该投影的解析解，其计算和存储开销可以忽略不计。此外，搜索步骤的计算大大简化。基准问题，包括MBB，力逆变器机构，和三维悬臂梁被用来验证该方法的有效性。所提出的方法在MATLAB中实现，MATLAB是开源的，用于教育用途。
2020-06-15 cs.CE math.OC
Decentralized gradient methods: does topology matter?
Inria（法国国家信息与自动化研究所）；Univ. Côte d’Azur（蔚蓝海岸大学）；UMass Amherst（马萨诸塞大学阿默斯特分校）
最近，基于递归的分布式优化方法被提倡作为参数服务器和环全约简范例的替代方案，用于机器学习模型的大规模训练。在这种情况下，每个工作者维护最优参数向量的局部估计，并通过平均从其邻居获得的估计来迭代地更新它，并基于其局部数据集应用校正。虽然理论结果表明，工作者通信拓扑结构应该对收敛所需的epoch数量有很大影响，但以前的实验显示了相反的结论。本文揭示了这一明显的矛盾，并显示稀疏拓扑结构可以导致更快的收敛，即使在没有通信延迟。
2020-02-28 cs.DC cs.LG math.OC
Graph topology invariant gradient and sampling complexity for decentralized and stochastic optimization
分散式多智能体优化中的一个基本问题是梯度/采样复杂度和通信复杂度之间的权衡。我们提出了新的算法，其梯度和采样的复杂性是图形拓扑不变的，而他们的通信复杂性保持最佳。对于凸光滑确定性问题，我们提出了一个原始对偶滑动（PDS）算法，计算$ε$ -解决方案与$O((\tilde{L}/ε)^{1/2})$梯度和$O((\tilde{L}/ε)^{1/2}+\|\mathcal{A}\|/ε)$通信复杂性，其中$\tilde{L}$是光滑参数的目标和$\mathcal{A}$是相关的图形拉普拉斯算子或转置的通信网络的定向关联矩阵。在$μ$-强凸性下，结果可分别改进为$O((\tilde{L}/μ)^{1/2}\log(1/ε))$和$O((\tilde{L}/μ)^{1/2}\log(1/ε) + \|\mathcal{A}\|/ε^{1/2})$.我们还提出了一个随机变量，原始对偶滑动（SPDS）算法的随机梯度问题。SPDS算法利用小批量技术，使代理同时执行采样和通信。它计算具有$O((\tilde{L}/ε)^{1/2} + (σ/ε)^2)$采样复杂度的随机$ε$ -解，该解可以改进为具有强凸性的$O((\tilde{L}/μ)^{1/2}\log(1/ε) + σ^2/ε)$。这里$σ^2$是方差。SPDS的通信复杂度与确定性情形相同。所有上述梯度和采样复杂度都与集中式凸光滑优化的复…
2021-01-13 math.OC
Bi-fidelity Stochastic Gradient Descent for Structural Optimization under Uncertainty
结构的材料特性和几何形状的不确定性是普遍存在的。因此，鲁棒工程结构的设计需要在优化过程中考虑不确定性。随机梯度下降（SGD）方法可以减轻不确定性下的优化代价，其中包括目标和约束条件中感兴趣量的统计矩。然而，在优化过程的初始迭代期间，设计可能会发生相当大的变化，这阻碍了传统SGD方法及其变体的收敛。在本文中，我们提出了两个基于SGD的算法，其中的计算成本降低采用低保真度模型的优化过程中。在第一种算法中，大多数随机梯度计算是在低保真度模型上进行的，每次迭代只使用高保真模型中的少数梯度，从而提高了收敛性。在第二种算法中，我们使用低保真度模型的梯度作为控制变量，一种方差减少技术，以减少搜索方向上的方差。这两个双保真算法首先说明了一个概念性的例子。然后，所提出的双保真度算法的收敛性进行了研究与两个数值例子的形状和拓扑优化和比较流行的变体的SGD方法，不使用低保真度模型。结果表明，提出的使用双保真度的方法的SGD方法可以提高收敛性。在适当的假设条件下，证明了这两种算法的线性收敛。
2019-11-23 math.OC
Density-Based Topology Optimization for Characteristic Modes Manipulation
本文提出基于密度的拓扑优化框架，通过伴随灵敏度分析和梯度更新高效操控导电表面特征模，实现单模谐振控制、模态Q因子及多模优化。
2025-02-06 math.OC
Maximum stress minimization via data-driven multifidelity topology design
本文提出用数据驱动多保真拓扑设计（MFTD）直接求解原始最大应力最小化问题，无需松弛技术，并在L型支架基准上实现相同最大应力下体积最多减少22.6%。
2025-02-05 math.OC
Gradient Flows in Uncertainty Propagation and Filtering of Linear Gaussian Systems
University of California, Irvine（加州大学欧文分校）
本文探讨了不确定传播与滤波中的梯度流方法，分析了JKO和LMMR方案作为密度空间中的近端算子，并展示了其在求解福克-普朗克方程和非线性滤波方程中的潜力。
2017-09-29 cs.SY eess.SY math.OC
Reliability-based Topology Optimization using Large Deviation Theory
Northern Arizona University（北亚利桑那大学）
本文提出一种结合大偏差理论与随机梯度下降的方法，用于解决可靠性拓扑优化中的小失效概率估计问题，通过闭式解提高计算效率，验证了在不同基准下优化结果的可靠性。
2026-04-29 math.OC
Rapid Aerodynamic Shape Optimization Under Parametric and Turbulence Model Uncertainty: A Stochastic Gradient Approach
气动优化在大多数与流体相互作用的工程系统的设计中是普遍存在的。一种常见的方法是优化由空气动力学模型的选择定义的性能函数，例如，湍流RANS模型，并在标称操作条件下。实际经验表明，当采用的空气动力学模型不能得到准确的气流预测或实际运行条件与设计中考虑的条件不同时，这种确定性方法可能导致相当次最优设计。解决该缺点的一种方法是考虑平均或稳健设计，其中，在给定操作条件和空气动力学模型的不确定性的情况下，性能函数的统计矩被优化。然而，当不确定输入的数量很大或性能函数表现出显着的变化，这些时刻的准确评估可能需要大量的前向和/或伴随解决方案，在基于梯度的计划的每次迭代。这反过来又使得设计在计算上昂贵，如果不是不可行的话。为了解决这个困难，我们考虑一个变种的随机梯度下降法，在每个优化迭代，一个随机逼近的目标，约束，和它们的梯度产生。这是通过对应于随机选择的不确定参数和空气动力学模型的少量正向/伴随解来完成的。该方法适用于鲁棒优化的标准NACA-0012参数和湍流模型的不确定性。随机梯度方法的成本比确定性方法的成本大一个小因子，但在各种运行条件和湍流模型下，该方法显著提高了气动设计的性能（平均值和方差）。
2021-05-03 math.OC
Policy Gradient Algorithms for Robust MDPs with Non-Rectangular Uncertainty Sets
Risk Analytics and Optimization Chair, EPFL（洛桑联邦理工学院风险分析与优化教席）；Department of Economics, University of St.Gallen（圣加仑大学经济系）
针对非矩形不确定性集下难以动态规划求解的鲁棒无限时域 MDP，提出随机投影 Langevin、确定性策略梯度与 actor-critic 算法，并给出误差、复杂度及全局最优性保证。
2025-09-28 cs.LG math.OC
Improving the Robustness of the Projected Gradient Descent Method for Nonlinear Constrained Optimization Problems in Topology Optimization
本研究针对拓扑优化中的非线性约束优化问题，对引入惯性步的投影梯度下降法提出两项改进，提升了算法在大规模设计空间的鲁棒性与性能，在散热器拓扑优化任务中表现媲美甚至优于MMA方法。
2024-12-10 math-ph math.MP math.OC
Snap-Shot Decentralized Stochastic Gradient Tracking Methods
在分散式优化中，$m$代理形成一个网络，只与它们的邻居通信，这在数据所有权、隐私和可扩展性方面具有优势。与此同时，分散随机梯度下降（\texttt{SGD}）方法作为用于训练大规模机器学习模型的流行分散算法，已显示出其相对于集中式方法的优越性。分布式随机梯度跟踪（\texttt{DSGT}）\citep{pu2021distributed}由于其良好的理论保证而被公认为是最流行和最先进的分散\texttt{SGD}方法。然而，对\dsgt ~ \citep{koloskova2021improved}的理论分析表明，其迭代复杂度为$\tilde{\mathcal{O}} \left(\frac{\barσ^2}{mμ\varepsilon} + \frac{\sqrt{L}\barσ}{μ(1 - λ_2(W))^{1/2} C_W \sqrt{\varepsilon} }\right)$，其中$W$是表示网络拓扑的双随机混合矩阵，$ C_W $是依赖于$W$的参数。因此，这表明\texttt{DSGT}的收敛特性受到通信网络拓扑的严重影响。针对\texttt{DSGT}算法的不足，本文采用快照梯度跟踪技术，提出了两种新的算法。我们进一步证明了在与\dsgt ~相似的算法结构和相同的通信策略下，所提出的两种算法对通信网络的拓扑结构具有更强的鲁棒性。与\dsgt相比，它们的迭代复杂度…
2022-12-10 math.OC
A 140 line MATLAB code for topology optimization problems with probabilistic parameters
本文基于top99neo开发140行MATLAB代码，通过自适应重组随机梯度样本求解含概率参数的拓扑优化问题，并验证其在材料失效等场景中的性能。
2025-05-15 math.OC
An extension of the projected gradient method to a Banach space setting with application in structural topology optimization
将投影梯度法推广至Banach空间，允许内积和缩放逐次变化，应用于相场模型的结构拓扑优化，数值结果展示网格无关性并大幅减少迭代与计算时间。
2015-03-13 math.OC
Multi-material phase field approach to structural topology optimization
多材料结构拓扑和形状最优化问题是在相场方法制定。给出了一阶条件，讨论了必要条件与经典形状导数的关系。介绍了一种基于$H^1$的高效数值方法--梯度投影法，最后给出了几个数值结果，验证了该方法的适用性。
2013-12-09 math.OC
Uncertainty-aware Power System Planning via Gradient Descent
Rutgers University（罗格斯大学）
提出一种考虑两阶段日前和实时运行不确定性的电力系统扩展规划方法，采用投影随机梯度下降算法结合原始-对偶优化框架和指数移动平均平滑策略，实现更低的总系统成本并满足可再生能源整合目标。
2026-06-29 math.OC
Potentiality-Based Smoothed Randomized Stochastic Gradient Schemes for Solving Nonconvex Nonsmooth Games under Uncertainty
University of Michigan（密歇根大学）
针对非凸非光滑随机势博弈，提出随机平滑RSG方案，实现渐近收敛到平滑博弈均衡，样本复杂度为O(L^4_max n^{3/2}_max N^3 η^{-1} ε^{-4})，并证明平滑均衡的期望残差为O(η^2)。
2026-08-11 math.OC
Distributed Kalman Filtering under Model Uncertainty
研究了模型不确定性下传感器网络的分布式卡尔曼滤波问题。更准确地说，我们假设实际的状态空间模型属于一个球，在Kullback-Leibler拓扑，关于名义状态空间模型，其半径反映了每个时间步允许的失配建模预算。我们提出了一个分布式卡尔曼滤波器的扩散步骤，这是强大的上述模型的不确定性。此外，我们得到相应的最不利的性能。最后，我们通过一个数值例子来检验所提出的算法在不确定性的存在下的有效性。
2020-04-17 math.OC
BISTRO -- A Bi-Fidelity Stochastic Gradient Framework using Trust-Regions for Optimization Under Uncertainty
University of Michigan（密歇根大学）；NASA Langley Research Center（美国国家航空航天局兰利研究中心）
BISTRO通过结合信任区域和双保真方法，实现不确定性下的高效随机优化，提供$\mathcal{O}(1/n)$收敛率并显著降低计算成本。
2025-12-09 math.OC stat.CO
The Continuous Stochastic Gradient Method: Part II -- Application and Numerics
在这篇文章中，我们提出了一个数值分析的连续随机梯度（CSG）方法，包括应用拓扑优化和收敛速度。与标准的随机梯度优化方案相比，CSG不丢弃来自先前迭代的旧梯度样本。相反，计算设计相关的积分权重以形成线性组合作为对当前设计处的真实梯度的近似。由于近似误差在迭代过程中消失，CSG代表了一种混合方法，开始时像一个纯粹的随机方法，并表现得像一个完整的梯度计划的限制。在这项工作中，CSG的效率证明了拓扑优化的实际相关应用。这些设置的特点是，大量的优化变量\textit{and}的目标函数，其评估需要数值计算的多重积分级联在一个非线性的方式。以往任何一种现有的最优化方法都无法解决这类问题。最后，关于收敛速度，第一估计提供和确认的帮助下，数值实验。
2023-03-22 math.OC
Anytime-Feasible Gradient Descent for Constrained Optimization Under Gradient Uncertainty
Johns Hopkins University（约翰斯·霍普金斯大学）
针对梯度不确定下的非线性约束优化，提出任意时刻可行的一阶方法，通过二阶锥规划和带保护回溯保证严格可行性与目标下降，并在多智能体导航中验证了噪声下的无碰撞性能。
2026-09-22 cs.SY eess.SY math.OC
Topology Optimization of Broadband Acoustic Transition Section: A Comparison between Deterministic and Stochastic Approaches
针对宽带声学过渡段拓扑优化问题，对比了基于MMA的确定性方法与结合SG、CSG的随机方法，验证了随机方法在提升声学性能、降低计算量及增强设计实用性方面的优势。
2023-10-07 math.OC
Data-driven multifidelity and multiscale topology optimization based on phasor-based evolutionary de-homogenization
The University of Osaka（大阪大学）；University of Alberta（阿尔伯塔大学）
针对多尺度拓扑优化计算昂贵且结构复杂的问题，提出耦合多保真度设计与相量去均质化的进化框架，实现高效可制造的高分辨率结构优化。
2025-10-09 math.OC
Tackling Data Heterogeneity: A New Unified Framework for Decentralized SGD with Sample-induced Topology
Zhejiang University（浙江大学）；The Pennsylvania State University（宾夕法尼亚州立大学）
我们开发了一个通用的框架，统一了几个基于梯度的随机最优化方法的经验风险最小化问题，在集中式和分布式的情况下。该框架的关键在于引入一个增强图，该图由对样本进行建模的节点和对设备间通信和设备内随机梯度计算进行建模的边组成。通过适当设计的拓扑结构的增强图，我们能够恢复作为特殊情况下著名的本地SGD和DSGD算法，并提供了一个统一的视角方差减少（VR）和梯度跟踪（GT）的方法，如SAGA，本地SVRG和GT-SAGA。我们还提供了一个统一的收敛性分析光滑和（强）凸的目标依赖于一个适当的结构李雅普诺夫函数，所获得的速度可以恢复最好的已知结果，许多现有的算法。速率结果进一步表明，VR和GT方法可以分别有效地消除设备内和设备间的数据异构性，从而使算法精确收敛到最优解。数值实验证实了本文的研究结果。
2022-07-08 cs.DC cs.LG math.OC
KOALA++: Efficient Kalman-Based Optimization with Gradient-Covariance Products
University of Bern（伯尔尼大学）
KOALA++通过递归更新紧凑梯度协方差乘积，显式建模结构化梯度不确定性，在保持一阶效率的同时达到与最先进优化器相当或更优的精度。
2025-10-24 cs.LG math.OC
A Unified and Refined Convergence Analysis for Non-Convex Decentralized Learning
我们研究的共识分散优化问题的目标函数是平均的$n$代理私人非凸成本函数，而且，代理只能与他们的邻居在一个给定的网络拓扑结构。随机学习设置被认为是在本文中，每个代理只能访问其梯度的噪声估计。许多分散的方法可以解决这样的问题，包括EXTRA，精确扩散/D $^2$，和梯度跟踪。与著名的DSGD算法不同，这些方法已被证明对局部成本函数的异质性具有鲁棒性。然而，这些方法的收敛速度表明，它们对网络拓扑结构的敏感性比DSGD差。这样的理论结果意味着这些方法在稀疏网络上的性能比DSGD差得多，然而，这与DSGD对网络拓扑结构更敏感的经验实验相矛盾。在这项工作中，我们研究了一个一般的随机统一分散算法（SUDA），其中包括上述方法作为特殊情况。在非凸和Polyak-Lojasiewicz条件下，我们建立了SUDA的收敛性。我们的研究结果提供了改进的网络拓扑结构相关的界限，这些方法（如精确扩散/D $^2$和梯度跟踪）相比，现有的文献。此外，我们的研究结果表明，这些方法往往是不太敏感的网络拓扑结构相比，DSGD，这与数值实验。
2022-06-16 cs.DC math.OC
