Guaranteed sensor coverage with the weighted-$D^2$ sampling
IBM
本文提出加权-D²采样方法以选择初始传感器配置,实现O(logk)的竞争性传感器覆盖,减少传感器移动距离和能耗,提升收敛速度。
2014-11-30 cs.MA cs.SY eess.SY
STay-ON-the-Ridge: Guaranteed Convergence to Local Minimax Equilibrium in Nonconvex-Nonconcave Games
Massachusetts Institute of Technology(麻省理工学院);École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院);University of California, Berkeley(加州大学伯克利分校)
涉及非凸-非凹目标的最小-最大优化问题在对抗训练和其他多智能体学习环境中有着重要的应用。然而,没有已知的梯度下降为基础的方法是保证收敛到(甚至是局部概念)最小-最大平衡的非凸-非凹设置。对于所有已知的方法,存在相对简单的目标,它们循环或表现出不同于收敛到一个点的其他不期望的行为,更不用说收敛到一些博弈理论上有意义的点-\cite{flokas2019poincare,hsieh2021limits}。唯一已知的收敛性保证在初始化非常接近局部极小-极大平衡点~ \cite{wang2019solving}的强假设下成立。此外,上述挑战不仅仅是理论上的好奇心。所有已知的方法在实践中都是不稳定的,即使在简单的设置中。我们提出了第一种方法,保证收敛到一个局部的最小-最大平衡光滑非凸非凹目标。我们的方法是二阶和可证明的逃逸极限环,只要它是在一个容易找到的初始点初始化。我们的方法的定义和它的收敛性分析的动机是由问题的拓扑性质。特别是,我们的方法不是设计来减少一些潜在的功能,如距离的地方最小-最大平衡或投影梯度的目标,但设计满足拓扑性质,保证避免循环,并暗示其收敛。
2022-10-18 cs.GT cs.LG math.OC
A Guaranteed Convergence Analysis for the Projected Fast Iterative Soft-Thresholding Algorithm in Parallel MRI
Xiamen University(厦门大学);Xiamen University of Technology(厦门理工学院);Neusoft Medical System(东软医疗系统)
非均匀采样和压缩感知技术的兴起极大地解决了磁共振成像中数据采集时间过长的问题。稀疏重建由于其快速的计算速度和良好的性能,吸引了研究人员的大量努力,并已被用于商业扫描仪。在进行稀疏重建时,选择合适的算法是获得满意结果和节省参数调整时间的关键。pFISTA是一种简单有效的稀疏重建算法,已成功地扩展到并行成像。然而,它的收敛性标准仍然是一个悬而未决的问题。现有的单线圈pFISTA的收敛标准不能应用于并行成像pFISTA,因此,这给用户确定唯一的参数-步长带来了困惑和困难。在这项工作中,我们提供了保证收敛分析的并行成像版本pFISTA解决两个著名的并行成像重建模型,SENSE和SPIRiT。随着收敛分析,我们提供了建议的SENSE和SPIRiT重建的步长值,以获得快速和有前途的重建。在活体脑图像上的实验证明了收敛准则的有效性。此外,实验结果表明,与使用回溯和幂迭代确定步长相比,在大多数测试情况下,我们推荐的步长在重建时间上实现了5倍以上的加速。
2020-08-04 cs.CV eess.IV math.OC
QLABGrad: a Hyperparameter-Free and Convergence-Guaranteed Scheme for Deep Learning
University of Saskatchewan(萨斯喀彻温大学)
针对深度学习中学习率需依赖经验调参的问题,提出无超参数的QLABGrad自适应方案,通过优化QLAB函数自动确定学习率,理论证明收敛性,实验验证其在多数据集和架构上优于现有方案。
2024-03-11 cs.LG math.OC
A Convergence-Guaranteed Algorithm for Stochastic Optimal Control Problems
Aalto University(阿尔托大学)
本文提出基于马尔可夫算子的随机最优化原理算法,避免了伴随过程的模拟,有效缓解了维度瓶颈并保持了竞争力。
2026-03-15 eess.SP math.OC
Triangle Steepest Descent: A Geometry-Based Gradient Algorithm with Guaranteed R-Linear Convergence
Beijing Institute of Technology(北京理工大学);Chinese Academy of Sciences(中国科学院);University of Chinese Academy of Sciences(中国科学院大学)
本文提出三角最速下降(TSD)梯度算法,利用几何性质周期组合历史搜索方向,在强凸二次问题上保证R-线性收敛且数值上超线性,优于BB和DY方法。
2025-10-17 math.OC
Distributed Training of Deep Neural Networks with Theoretical Analysis: Under SSP Setting
我们提出了一种分布式方法来训练深度神经网络(DNN),该方法在理论上保证了收敛性,并在经验上具有很大的可扩展性:当使用6台机器运行时,ImageNet数据集的实例速度接近6倍。所提出的计划是接近最佳可扩展的机器数量,并保证收敛到相同的最优值作为未分配的设置。分布式设置的收敛性和可扩展性在不同的数据集(TIMIT和ImageNet)和机器学习任务(图像分类和音素提取)之间以经验为基础进行了展示。收敛性分析为这种复杂的学习方案提供了新的见解,包括:1)逐层收敛,2)权重的概率收敛。
2015-12-11 cs.LG math.OC stat.ML
Accelerated gradient descent: A guaranteed bound for a heuristic restart strategy
本文证明O'Donoghue和Candès的梯度重启策略在一维函数上保持并改进加速梯度下降的$O(1/k^2)$收敛界,并推广到可分离函数。
2023-10-11 math.OC
Convergence Speed in Distributed Consensus and Control
研究分布式迭代算法在共识和平均问题中的收敛速度,提出固定拓扑下的最优算法和时变拓扑下的多项式时间平均算法。
2009-01-14 cs.SY eess.SY math.OC
Exponential convergence under distributed averaging integral frequency control
University of Groningen(格罗宁根大学);University of Cambridge(剑桥大学)
本文研究了分布式平均积分控制器在电力网络最优频率调节中的性能和鲁棒性,构建了严格李雅普诺夫函数以量化闭环系统的指数收敛率,并探讨了通信网络中断对系统稳定性及收敛率的影响。
2017-07-07 cs.SY eess.SY math.OC
Convergence-Guaranteed Algorithms for l1/2-Regularized Quadratic Programs with Assignment Constraints
University of Chinese Academy of Sciences(中国科学院大学)
本文提出了一种收敛保证算法,用于解决具有分配约束的l1/2正则化二次程序问题,通过放松约束并引入正则化项,结合ADMM框架实现高效求解。
2025-12-12 math.OC
Blended Dynamics Approach to Distributed Optimization: Sum Convexity and Convergence Rate
研究了混合动力学方法在分布式最优化问题中的应用,其中全局代价函数由局部费用函数之和给出。优点包括(i)单个费用函数不需要是凸的,只要全局费用函数是强凸的,以及(ii)分布式算法的收敛速度任意地接近于集中式算法的收敛速度。两个特殊的连续时间算法使用比例积分型耦合。一个是“免初始化”的好处,这样代理可以在操作期间加入或离开网络。另一个具有最小量的通信信息。在给出了一个可用于设计分布式算法的一般定理后,我们特别提出了一个分布式重球方法,并讨论了它相对于其他方法的优势。
2021-02-25 cs.SY eess.SY math.OC
Automated Lyapunov Analysis of Primal-Dual Optimization Algorithms: An Interpolation Approach
本文针对线性约束凸优化中的一阶原始-对偶算法,提出基于插值和线性矩阵不等式的自动李雅普诺夫分析方法,可证明比文献结果更快的指数收敛速率。
2023-09-20 cs.SY eess.SY math.OC
Exponential convergence of distributed optimization for heterogeneous linear multi-agent systems
在这项工作中,我们研究了一个分布式的最优输出共识问题的异构线性多智能体系统的代理的目的是达成共识的目的是最小化的私人凸成本的总和。基于输出反馈,采用比例积分(PI)控制技术,提出了一种全分布式控制律。对于具有Lipschitz梯度的强凸代价函数,所设计的控制器在无向连通网络中可以指数收敛。此外,为了消除连续通信的要求,所提出的控制律,然后扩展到周期性和事件触发的通信计划,这也达到指数收敛。最后给出了两个仿真例子来验证所提出的控制算法。
2021-01-12 cs.SY eess.SY math.OC
Stability, Linear Convergence, and Robustness of the Wang-Elia Algorithm for Distributed Consensus Optimization
我们重新审视了J. Wang和N.伊利亚通过基于Lyapunov的分析,我们证明了输入状态稳定的算法相对于一个封闭的不变集组成的最佳平衡和扰动影响算法的动态。在没有扰动的情况下,这一结果意味着局部估计的线性收敛和最优稳态的李雅普诺夫稳定性。此外,我们揭示了与著名的梯度跟踪和分布式积分控制的基本连接。总体而言,我们的研究结果表明,控制理论的方法可以有相当大的影响(分布式)优化,特别是当鲁棒性被认为是。
2022-04-21 cs.SY eess.SY math.OC
Q-linear Convergence of Distributed Optimization with Barzilai-Borwein Step Sizes
大规模系统和机器学习中数据的增长使得分布式优化成为解决不同背景下判定问题的自然吸引力技术。在这样的方法中,每个代理迭代地使用从其邻居接收的信息对其本地目标进行计算,并与相邻代理共享相关信息。虽然基于梯度的方法由于其简单性而被广泛使用,但已知它们具有缓慢的收敛速度。另一方面,虽然牛顿型方法具有更好的收敛性能,但由于计算量和存储量巨大,它们并不适用。在这项工作中,我们介绍了一个分布式拟牛顿法与Barzilai-Borwein步长。我们证明了Q-线性收敛到最优解,给出了算法超线性收敛的条件,并通过数值模拟验证了我们的结果。
2022-06-18 cs.SY eess.SY math.OC
On the Convergence Analysis of Asynchronous Distributed Quadratic Programming via Dual Decomposition
Department of Aerospace Engineering, Texas A&M University(德克萨斯农工大学航空航天工程系)
本文通过切换系统框架分析异步分布式二次规划的收敛性与收敛速率,提出异步更新对偶变量以减少同步延迟,探讨速度与精度的权衡。
2015-06-19 cs.SY eess.SY math.OC
On Centralized and Distributed Mirror Descent: Convergence Analysis Using Quadratic Constraints
Northeastern University(东北大学);Johns Hopkins University(约翰斯·霍普金斯大学)
镜像下降(MD)是一种功能强大的一阶优化技术,它包含了包括梯度下降(GD)在内的几种优化算法。在这项工作中,我们开发了一个半定规划(SDP)的框架来分析的收敛速度的MD在集中式和分布式设置下的强凸和非强凸的假设。我们认为MD与动力系统的镜头,并利用二次约束(QC)提供明确的收敛速度的基础上李雅普诺夫稳定性。对于强凸假设下的集中MD,我们给出了一个证明指数收敛速度的SDP.我们证明了SDP总是有一个可行解,恢复最佳GD率作为一个特殊情况。我们补充我们的分析,提供了$O(1/k)$收敛速度凸问题。接下来,我们分析了分布式MD的收敛性,并使用SDP描述了速率。据我们所知,分布MD的数值速率以前没有在文献中报道。我们进一步证明了一个$O(1/k)$收敛速度分布MD在凸设置。我们的强凸问题的数值实验表明,我们的框架证明优越的收敛速度相比,现有的分布式GD率。
2022-01-18 cs.LG cs.SY eess.SY
Learning Distributed Stabilizing Controllers for Multi-Agent Systems
我们使用强化学习(RL)解决异构多智能体系统的无模型分布式稳定问题。开发了两种算法。第一种算法解决了集中式线性二次型调节器(LQR)问题,而不需要事先知道任何初始稳定增益。第二个算法建立在第一个算法的结果,并将其扩展到分布式稳定的多智能体系统与预定义的交互图。严格的证明表明,所提出的算法实现保证收敛,如果特定的条件下举行。最后给出了一个仿真例子来验证理论结果。
2021-03-07 cs.SY eess.SY math.OC
On Linear Convergence of Distributed Stochastic Bilevel Optimization over Undirected Networks via Gradient Aggregation
Georgia Institute of Technology(佐治亚理工学院);Indian Institute of Technology, Bombay(印度孟买理工学院)
本文提出了一种分布式随机梯度聚合方案,证明在全局强凸性假设下实现线性收敛,扩展了双层优化的理论保证,并通过实验验证了其有效性。
2025-11-23 cs.SY eess.SY math.OC
Memory-Reduced Meta-Learning with Guaranteed Convergence
Xiamen University(厦门大学)
本文提出一种无需历史参数或梯度的元学习算法,显著降低内存开销,并证明其具有次线性收敛性及与现有方法匹配的计算复杂度,实验验证了其有效性。
2024-12-16 cs.LG math.OC
GuSTO: Guaranteed Sequential Trajectory Optimization via Sequential Convex Programming
Stanford University(斯坦福大学)
序列凸规划(SCP)作为一种轨迹优化的工具,最近引起了人们极大的兴趣.然而,大多数可用的方法缺乏严格的性能保证,并且它们通常针对特定的最优控制设置。本文提出了GuSTO(Guaranteed Sequential Trajectory Optimization)算法框架,用于求解具有漂移的仿射控制系统的轨迹最优化问题。GuSTO概括了早期基于SCP的轨迹优化方法(通过解决目标集约束和具有固定或自由最终时间的问题),并在收敛到至少一个稳定点方面享有理论收敛保证。进一步利用理论分析,设计一个加速实施的GuSTO,它最初注入的想法,从间接最优控制到SCP的上下文中。在各种轨迹优化设置上的数值实验表明,GuSTO在成功率、解决方案质量和计算时间方面通常优于当前最先进的方法。
2019-03-01 cs.RO math.OC
Guaranteed Sufficient Decrease for Variance Reduced Stochastic Gradient Descent
The Chinese University of Hong Kong(香港中文大学);National Institute of Informatics(国立信息学研究所);Preferred Infrastructure, Inc.(Preferred Infrastructure公司)
在本文中,我们提出了一种新的充分减少技术的方差减少随机梯度下降方法,如SAG,SVRG和SAGA。为了使随机优化问题得到充分的降阶,我们设计了一个新的充分降阶准则,该准则产生了SVRG-SD和SAGA-SD等方差降阶算法的充分降阶版本。我们引入一个系数来缩放当前向量,并满足充分减少性质,决定收缩、扩张或向相反方向移动,然后给出Lasso和岭回归的两个具体的系数更新规则。此外,我们分析了我们的算法的收敛性强凸问题,这表明我们的算法达到线性收敛速度。我们还为非强凸问题提供了算法的收敛性保证。我们的实验结果进一步验证了我们的算法实现显着优于他们的同行。
2017-06-04 cs.LG math.OC stat.ML
Convergence Analysis of Nonconvex Distributed Stochastic Zeroth-order Coordinate Method
University of North Texas(北得克萨斯大学);Huazhong University of Science and Technology(华中科技大学)
研究了随机分布非凸最优化问题,即最小化由$n$局部费用函数求和形成的全局费用函数。我们解决这样的问题,涉及零阶(ZO)信息交换。本文提出了一种求解随机最优化问题的ZO分布原始-对偶坐标方法。代理近似自己的本地随机ZO预言与坐标与自适应平滑参数。我们表明,该算法实现了一般非凸费用函数的$\mathcal{O}(\sqrt{p}/\sqrt{T})$的收敛速度。我们证明了所提出的算法的效率,通过一个数值例子与现有的国家的最先进的集中式和分布式ZO算法的比较。
2021-10-13 cs.LG cs.SY eess.SY
Linear Convergence of Distributed Mirror Descent with Integral Feedback for Strongly Convex Problems
Texas A&M University(德州农工大学)
分布式优化通常需要找到写为局部函数之和的全局目标函数的最小值。一组代理共同工作以最小化全局函数。我们研究了一个连续时间分散镜像下降算法,使用纯粹的局部梯度信息收敛到全局最优解。该算法使用积分反馈的思想来强制代理之间的共识。最近,Sun和Shahrampour(2020)研究了当全局函数是强凸函数但局部函数是凸函数时该算法的渐近收敛。使用控制理论工具,在这项工作中,我们证明了该算法确实达到(局部)指数收敛。我们还提供了一个真实数据集上的数值实验作为验证我们的算法的收敛速度。
2020-11-24 cs.LG cs.SY eess.SY
On the Geometric Convergence of Byzantine-Resilient Distributed Optimization Algorithms
本文提出了一个通用的拜占庭弹性分布式优化算法框架,分析了其几何收敛速率,并揭示了收敛区域、智能体值距离、步长与函数性质之间的关系。
2024-12-25 cs.MA math.OC
Guaranteed Sufficient Decrease for Stochastic Variance Reduced Gradient Optimization
Department of Computer Science and Engineering, The Chinese University of Hong Kong(香港中文大学计算机科学与工程学系);National Institute of Informatics(日本国家信息学研究所)
在本文中,我们提出了一种新的充分减少技术的随机方差减少梯度下降方法,如SVRG和SAGA。为了使随机最优化得到充分的降阶,设计了一个新的充分降阶准则,该准则产生了SVRG-SD和SAGA-SD等随机方差降阶算法的充分降阶版本。我们引入一个系数来衡量当前回归的尺度,并满足充分减少性,它决定了收缩、扩张甚至向相反方向移动,然后给出了Lasso和岭回归的两个具体的系数更新规则.此外,我们分析了我们的算法的收敛性强凸问题,这表明我们的算法达到线性收敛速度。对于非强凸问题,我们也给出了算法的收敛性保证。我们的实验结果进一步验证了我们的算法实现显着优于他们的同行。
2018-02-26 cs.DS cs.LG math.OC
Efficient state transition algorithm with guaranteed optimality
本文提出一种改进的状态转移算法,通过引入新颖的翻译变换、自适应参数控制策略和专用终止条件,解决传统STA收敛慢和依赖人工设定迭代次数的问题,实验验证其有效性。
2026-04-29 math.OC
Convergence rate of distributed Dykstra's algorithm with sets defined as level sets of convex functions
当某些集合被定义为凸函数的水平集时,我们研究了分布式Dykstra算法的收敛速度。我们进行了数值实验与理论结果进行了比较。
2018-09-25 math.OC
Convergence Analysis of the Last Iterate in Distributed Stochastic Gradient Descent with Momentum
本文研究分布式 mSGD 在非凸设置下的最后一次迭代收敛问题,证明其在 Robbins-Monro 步长下的几乎必然与 $L_2$ 收敛及速率,并说明动量可加速早期收敛。
2025-05-16 math.OC
Linear convergence of a dual optimization formulation for distributed optimization on directed graphs with unreliable communications
这项工作的基础上,我们最近的工作与定向不可靠的通信图的分布式优化算法。当我们取每个函数的最接近点或当函数光滑时取仿射次量时,我们证明了它的线性收敛。
2018-11-28 math.OC
Linear convergence of distributed Dykstra's algorithm for sets under an intersection property
我们展示了Dykstra算法的线性收敛的方式略强于通常的约束规格相交集。
2019-02-21 math.OC
Converging outer approximations to global attractors using semidefinite programming
本文提出一种基于半定规划层级的方法,通过Borel测度空间的无限维LP及其对偶的平方和收紧,生成多项式动力系统全局吸引子的收敛外逼近,方法简便且有收敛保证,经数值算例验证。
2023-10-04 math.DS math.OC
Innovation Compression for Communication-efficient Distributed Optimization with Linear Convergence
Tsinghua University(清华大学);Nanyang Technological University(南洋理工大学)
在对等网络分布式优化中,信息压缩是降低通信代价的关键。提出了一种求解强凸优化问题的通信有效的线性收敛分布式(COLD)算法。通过压缩新息向量,这是决策向量和他们的估计之间的差异,COLD是能够实现线性收敛的一类$δ$压缩器。我们明确量化压缩如何影响的收敛速度,并表明COLD匹配其未压缩版本的相同速率。为了适应更广泛的压缩机,包括二进制量化器,我们进一步设计了一种新的动态缩放机制,并获得线性收敛Dyna-COLD。重要的是,我们的结果严格改进了量化共识问题的现有结果。数值实验证明了两种算法在不同压缩器下的优越性。
2021-05-14 cs.DC cs.LG cs.SY
Fast Convergence Rates for Distributed Non-Bayesian Learning
我们考虑分布式学习的问题,其中代理网络的共同目标是同意一个假设,最好地解释了一组条件独立的随机过程的分布式观测。我们提出了一个分布式算法,并建立一致性,以及一个非渐近的,明确的和几何收敛速度的信念周围的最佳假设集的浓度。此外,如果代理在静态网络上进行交互,我们提供了一个改进的学习协议,具有更好的可扩展性,在网络中的节点数量。
2017-04-11 math.OC
Convergence, Duality and Well-Posedness in Convex Bilevel Optimization
Cornell University(康奈尔大学);The University of Sydney(悉尼大学);Carnegie Mellon University(卡内基梅隆大学)
本文针对凸双层优化问题,指出强对偶性与算法收敛的挑战,证明强对偶性等价于内外层函数值的渐近收敛,并结合Levitin-Polyak适定性给出保证收敛到最优解集的条件。
2025-09-26 math.OC
Distributed Solver for Discrete-Time Lyapunov Equations Over Dynamic Networks with Linear Convergence Rate
研究了多智能体系统中离散时间李雅普诺夫方程(DTLE)的求解问题,其中每个智能体都可以访问自己的局部信息并与邻居进行通信.为了获得DTLE的解决方案,提出了一种分布式算法与不协调的常数步长随时间变化的拓扑结构。分析了该算法的收敛性和定步长范围。证明了该算法具有线性收敛速率,并通过数值模拟验证了算法在动态网络中的收敛性能。
2019-04-30 math.OC
Geometric Convergence of Distributed Gradient Play in Games with Unconstrained Action Sets
本文提出了一种分布式算法来学习一类具有强单调映射和无约束行动集的非合作对策的纳什均衡。每个参与者都可以访问自己的平滑局部费用函数,并且可以与无向图中的邻居进行通信。我们考虑一个分布式通信为基础的梯度算法。对于这个过程中,我们证明几何收敛到纳什均衡。与我们以前的工作[15],[16]相比,其中所提出的算法需要设置两个参数并且分析基于所谓的增强博弈映射,这项工作中的过程对应于标准的分布式梯度游戏,因此,仅需要适当选择一个恒定的步长参数以保证快速收敛到博弈解。此外,我们提供了一个严格的比较之间的收敛速度的分布式梯度播放和速度的GRANE算法在[15]。它使我们能够证明分布式梯度播放在收敛速度方面优于GRANE。
2019-07-15 math.OC
Linear and sublinear convergence rates for a subdifferentiable distributed deterministic asynchronous Dykstra's algorithm
在两个较早的文件中,我们设计了一个分布式的确定性异步算法最小化的次可微和可逼近的功能和一个正则化的二次时变图的基础上Dykstra的算法,或块坐标双上升。分布式最优化问题中的每个节点是已知的正则化二次函数和要最小化的函数的和。本文证明了一般算法的次线性收敛速度,以及当函数在每个结点上光滑且具有Lipschitz梯度时的线性收敛速率。
2018-08-22 math.OC
Distributed Stochastic Approximation: Weak Convergence and Network Design
研究了通信网络中基于广播流言的分布式随机逼近算法。证明了这些算法的弱收敛性,并将收敛点与局部目标函数和网络性质联系起来,建立了相应的常微分方程(ODE)。利用这些结果,提出了一种方法,网络设计,旨在实现所需的渐近行为的共识。同时分析了算法的收敛速度,并利用附加的随机微分方程进一步改进了算法。仿真结果验证了理论概念。
2016-09-02 math.OC stat.AP
Distributed Gradient Methods for Nonconvex Optimization: Local and Global Convergence Guarantees
本文讨论了非凸优化中计算局部和全局极小值的分布式梯度下降算法。对于局部最优化,我们专注于分布式随机梯度下降(D-SGD)-一个简单的基于网络的经典SGD的变体。我们讨论了局部极小收敛保证,并探讨了稳定流形定理在分析鞍点避免中的简单但关键的作用。对于全局优化,我们讨论了基于退火的方法,其中缓慢衰减的噪声被添加到D-SGD。条件下,收敛到全局极小值的保证进行了讨论。数值例子说明了本文的关键概念。
2020-09-16 math.OC
On the convergence time of asynchronous distributed quantized averaging algorithms
本文提出了一类适用于固定、切换和随机拓扑结构的异步通信网络的分布式量化平均算法。这些算法的实现受到通信速率、代理的存储容量和计算精度有限的现实约束。本文的重点是研究所提出的量化平均算法的收敛时间。通过调用图上的随机游动,我们得到多项式的预期收敛时间的界限的算法。
2010-02-10 math.OC
On the convergence rate of distributed gradient methods for finite-sum optimization under communication delays
受机器学习和统计学应用的启发,我们研究了处理器网络上的分布式最优化问题,其目标是优化由局部函数和组成的全局目标。在这些问题中,由于数据集的规模很大,数据和计算必须分布在处理器上,从而需要分布式算法。在本文中,我们考虑一个流行的分布式基于梯度的共识算法,它只需要本地计算和通信。在这方面的一个重要问题是分析的收敛速度,这样的算法在分布式系统中不可避免的通信延迟的存在。我们证明了收敛的基于梯度的共识算法中存在的统一,但可能任意大,处理器之间的通信延迟。此外,我们得到了一个上界的收敛速率的算法作为网络的大小,拓扑结构和处理器间的通信延迟的函数。
2019-05-11 math.OC
Guaranteed Noisy CP Tensor Recovery via Riemannian Optimization on the Segre Manifold
Department of Applied and Computational Mathematics and Statistics, University of Notre Dame(应用与计算数学与统计学系,诺特丹大学)
针对高维数据分析中低CP秩张量的含噪恢复难题,提出基于Segre流形黎曼优化的RGD与RGN算法,证明其收敛性并通过实验验证了有效性。
2026-11-10 cs.LG math.OC math.ST
DAve-QN: A Distributed Averaged Quasi-Newton Method with Local Superlinear Convergence Rate
在本文中,我们考虑分布式算法解决的经验风险最小化问题下的主/工人通信模型。我们开发了一个分布式异步拟牛顿算法,可以实现超线性收敛。据我们所知,这是第一个分布式异步算法的超线性收敛保证。我们的算法是通信效率的意义上说,在每一次迭代的主节点和工人沟通矢量的大小$O(p)$,其中$p$是决策变量的尺寸。所提出的方法是基于一个分布式异步平均方案的决策向量和梯度的方式,以有效地捕捉局部Hessian信息的目标函数。我们的收敛理论支持异步计算受到有界延迟和无界延迟有界的时间平均。与大多数异步优化文献不同,当延迟很大时,我们不需要选择较小的步长。我们提供的数值实验,我们的理论结果相匹配,并展示了显着的改进相比,最先进的分布式算法。
2019-06-10 math.OC
Convergence speed of unsteady distributed consensus: decay estimate along the settling spanning-trees
估计非平稳分布式一致性算法的收敛速度的结果提供的基础上,定性(主要是拓扑)以及基本的定量信息(下界的矩阵条目)。结果似乎是紧在一些情况下,并说明通过简单的,以及更复杂的例子。其主要思想是沿着通信图中出现的某些生成树跟踪信息的传播。
2007-12-22 math.OC
Quantized Distributed Gradient Tracking Algorithm with Linear Convergence in Directed Networks
通信效率是分布式网络应用的主要瓶颈。为了解决这个问题,量化分布式优化问题引起了人们的广泛关注。然而,现有的量化分布式优化算法大多只能达到次线性收敛。为了实现线性收敛,本文提出了一种新的量化分布式梯度跟踪算法(Q-DGT),以最小化有向网络上局部目标函数的有限和。此外,我们显式地推导出更新规则的量化水平,并证明Q-DGT可以线性收敛,即使交换变量分别为一位。数值结果也证实了该算法的有效性。
2022-10-31 math.OC
A stochastic MPC scheme for distributed systems with multiplicative uncertainty
本文提出了一种分布式随机模型预测控制算法,用于状态和控制输入具有局部机会约束的具有乘性不确定性的线性系网络。通过Cantelli不等式,利用期望值和协方差来逼近机会约束.该算法基于乘法器的分布式交替方向法,使得控制器完全分布式可实现,递归可行,并保证状态的逐点收敛。通过适当选择的分布不变集和分布终端的平均值和协方差的约束,保证上述属性。本文结束了一个例子,突出的机会约束满意度,数值特性和可扩展性,我们的方法。
2022-02-11 math.OC
Distributed SAGA: Maintaining linear convergence rate with limited communication
Criteo
近年来,方差缩减随机方法显示出很好的实用性能,在其他随机方法只能提供次线性收敛速度的情况下,方差缩减随机方法显示出线性收敛速率。然而,随着数据集变得越来越大,聚类变得越来越普遍,对快速分发方法的需求变得迫切。我们在这里提出了一个分配方案SAGA保持线性收敛速率,即使节点之间的通信是有限的。
2017-05-29 cs.LG math.OC
Distributed Newton Optimization with Maximized Convergence Rate
分布式最优化问题建立在经由通信网络互连的节点的集合中。我们的目标是找到一个全局目标函数的最小值,形成的部分功能,在每个节点上本地已知的添加。有许多方法可用于解决这个问题,具有不同的优点。这项工作的目标是实现最大可能的收敛速度。作为实现这一目标的第一步,我们提出了一种新的方法,我们显示收敛速度比其他可用的选项。与大多数分布式最优化方法一样,收敛速度取决于步长参数。作为我们的目标的第二步,我们补充了所提出的方法与一个完全分布式的方法来估计最佳的步长,最大限度地提高收敛速度。我们提供了理论上的保证所得到的方法在解决方案的邻域中的收敛性。此外,对于全局目标函数具有单个局部极小值的情况,我们提供了不同的步长选择标准以及收敛的理论保证。我们提出的数值实验表明,当使用相同的步长,我们的方法收敛速度显着快于它的竞争对手。实验还表明,分布式步长估计方法实现了非常接近理论最大值的渐近收敛速度。
2022-06-03 math.OC
Robustness and Convergence Analysis of First-Order Distributed Optimization Algorithms over Subspace Constraints
本文扩展算法,消除分散梯度下降的不动点偏差,以解决更一般的问题,分布式优化子空间的约束。利用积分二次约束框架,我们分析了这些广义算法的性能,在最坏情况下的鲁棒性和收敛速度。我们的框架的效用证明了如何扩展的算法,最初设计的共识,现在能够解决多任务推理问题。
2022-10-28 math.OC
Linear Convergence of Primal-Dual Gradient Methods and their Performance in Distributed Optimization
在这项工作中,我们重新审视了经典的原始下降双上升梯度法用于解决等式约束最优化问题的增量实现。我们提供了一个简短的证明,建立了光滑强凸费用函数的算法的线性(指数)收敛性,并研究其关系到非增量实现。我们还研究了增广拉格朗日惩罚项对多智能体网络上聚合费用函数最小化分布式优化算法性能的影响。
2020-01-16 math.OC
Convergence of Message-Passing for Distributed Convex Optimisation with Scaled Diagonal Dominance
本文研究了凸优化问题的消息传递算法的收敛性。在两两分离和对角优势的假设下,建立了算法的渐近收敛,并给出了消息传递的收敛速度的一个简单界。与已有的结果相比,我们的结果不要求给定的凸规划具有已知的凸两两分量,并且我们的收敛速度的界更紧更简单.当专门二次优化,我们概括已知的结果,提供了一个非常简单的界的收敛速度。
2019-04-09 eess.SP math.OC
Improving Convergence Rate of Distributed Consensus Through Asymmetric Weights
我们提出了一种权重设计方法来提高分布式共识的收敛速度。先前的工作集中在对称重量设计,由于计算的易处理性。我们表明,适当选择的非对称权重,收敛速度可以显着提高,甚至对称的最优设计。特别地,我们证明了在一个格图的收敛速度可以独立于图的大小与非对称的权重。然后,我们使用Sturm-Liouville算子来近似更一般的图的拉普拉斯算子。基于这种连续近似,提出了一种通用的重量设计方法。数值计算表明,非对称权值设计的收敛速度收敛速度比对称最优权值和Metropolis-Hastings权值设计的收敛速度有明显提高。
2012-03-13 math.OC