Newton-Raphson Consensus for Distributed Convex Optimization
本文研究了在可分性假设下的分布式无约束凸优化问题,该框架中,网络的每个代理被赋予局部私有多维凸成本,受到通信约束,并且想要协作以计算局部成本之和的最小化者。我们提出了一种设计方法,结合平均共识算法和时间尺度的想法分离。在适当的假设下,证明了该策略是全局收敛于真极小点的。直观地说,该程序让代理分布式计算和顺序更新的近似牛顿-拉夫森方向通过适当的平均共识比率。我们用数值模拟表明,这种策略的收敛速度与其他优化策略,如乘数的交替方向法。最后,我们提出了一些替代策略,权衡通信和计算的要求与收敛速度。
2015-11-04 math.OC
Primal Recovery from Consensus-Based Dual Decomposition for Distributed Convex Optimization
对偶分解已成功地应用于各种分布式凸优化问题,这些问题由计算和通信节点组成的网络来解决。通常,当费用函数是可分离的,但约束是耦合的,对偶分解方案涉及本地并行次梯度计算和全局次梯度更新执行的主节点。在本文中,我们提出了一个基于共识的对偶分解,以消除需要这样的主节点,仍然使计算节点生成一个近似的对偶解的基础凸优化问题。此外,我们提供了一个原始的恢复机制,让节点有机会接近接近最优的原始解决方案。我们的计划是基于一个恒定的步长选择和对偶和原始目标的收敛实现了一个有界的错误地板依赖于步长和节点之间的共识步骤的数量。
2015-03-26 math.OC
Multi-agent constrained optimization of a strongly convex function over time-varying directed networks
我们认为合作的多智能体共识最优化问题在静态和时变通信网络,只允许本地通信。我们的目标是最小化代理特定的私人圆锥约束集上的代理特定的可能非光滑的复合凸函数的总和,因此,最佳的共识决策应该位于这些私人集合的交集。假设和函数是强凸的,我们提供了收敛速度在次优,不可行性和共识违反,检查底层网络拓扑结构的影响上的收敛速度的建议分散算法。
2017-06-24 math.OC
On Lyapunov functions and gradient flow structures in linear consensus systems
二次型李雅普诺夫函数在线性一致系统的稳定性分析中很常见。本文证明了不可约一致系统的不同坐标下的凸函数的加权和是李雅普诺夫函数。我们引入了一类特殊的添加剂凸李雅普诺夫函数,其中包括作为特殊情况下,在RC电路,Kullback-Leiber的信息散度之间的两个概率测度,和吉布斯自由能在化学反应网络中存储的电能。在此基础上,我们建立了一个一般的梯度形式主义,允许表示线性对称共识动力学的梯度下降动力学的任何添加剂凸李雅普诺夫函数,适当选择当地的标量产品。这一结果推广了著名的欧几里得梯度结构的共识一般黎曼。我们还发现自然的非线性共识动力学不同的线性由不同的黎曼结构,共享相同的李雅普诺夫函数。我们还看到如何信息理论的李雅普诺夫函数,常见的马尔可夫链理论,通过适当的梯度下降产生线性共识。从这个统一的角度来看,我们希望开辟途径的线性和非线性的共识收敛的研究。
2015-01-07 math.OC
Distributed Random Convex Programming via Constraints Consensus
本文讨论随机凸规划的分布式求解方法。RCP是具有(通常很大)N个随机提取约束的凸优化问题;它们出现在几个应用领域,特别是在不确定性不确定决策的背景下,参见[2],[3]。我们在这里考虑一种设置,其中随机约束(场景)的实例不是由单个集中式处理单元保存,而是分布在网络的不同节点之间。每个节点只“看到”约束的一个小子集,并且可以与邻居通信。目标是使所有节点收敛到与集中式RCP问题相同的解。为此,我们开发了两种分布式算法,它们是约束一致性算法的变体[4],[5]:积极约束一致性(ACC)算法和顶点约束一致性(VCC)算法。我们表明,ACC算法计算的整体最优解在有限的时间内,几乎肯定有界的通信在每次迭代。而VCC算法是专门为特殊情况下,其中的约束函数也是凸w.r.t.不确定的参数,它计算的解决方案,在一定数量的迭代由通信图的直径。我们进一步设计了一个变种的VCC算法,即量化顶点约束共识(qVCC),以应付处理器之间的通信带宽有界的情况下。我们讨论了几个应用所提出的分布式技术,包括估计,分类和随机模型预测控制,我们提出了一个数值分析的性能所提出的方法。作为一个补充的数值结果,我们表明,使用ACC算法的场景解决方案的并行计算显着优于其集中等效。
2012-07-26 math.OC
Distributed Linearized Alternating Direction Method of Multipliers for Composite Convex Consensus Optimization
给定一个无向图$\mathcal{G}=(\mathcal{N},\mathcal{E})$的代理$\mathcal{N}=\{1,\ldots,N\}$连接的边缘$\mathcal{E}$,我们研究如何计算一个最佳的决定,有共识的代理之间,并最小化的总和代理特定的私人凸复合函数$\{Φ_i\}_{i\in\mathcal{N}}$,同时尊重隐私的要求,其中$Φ_i\triangleq ξ_i + f_i$属于代理$i$。假设只有代理连接的边缘可以通信,我们提出了一个分布式的近端梯度方法DPGA的共识优化在未加权和加权静态(无向)通信网络。在一次迭代中,每个代理- $i$计算$ξ_i$的prox映射和$f_i$的梯度,然后与相邻代理进行本地通信。我们还研究了它的随机梯度变体,SDPGA,它只能访问噪音估计$\nabla f_i$在每个代理- $i$。该计算模型抽象了分布式传感、机器学习和统计推断中的许多应用。我们证明了遍历收敛的次优误差和共识违反率$\mathcal{O}(1/t)$和$\mathcal{O}(1/\sqrt{t})$,分别为DPGA和SDPGA。
2017-01-01 math.OC
An Accelerated Asynchronous Distributed Method for Convex Constrained Optimization Problems
考虑了一类带有局部非线性凸约束的多智能体协作共识最优化问题,其中只有通过边连接的智能体可以直接通信,因此最优共识决策位于这些私有集的交集中.我们开发了一个异步分布式加速原始对偶法来解决所考虑的问题。该计划是第一个异步方法,这类问题的最佳收敛保证,据我们所知。特别是,我们提供了一个最佳的收敛速度的$\mathcal{O(1/K)}$次优,不可行性,共识违反。
2023-02-21 math.OC
Consensus seeking gradient descent flows on boundaries of convex sets
非线性空间的共识在许多控制应用中是有用的。提出了一种超曲面一致性的梯度下降流算法。我们证明了,如果一个不等式成立,那么系统对几乎所有的初始条件和所有的连通图都是收敛的。该不等式涉及超曲面高斯映射和隐式方程的梯度和Hessian。此外,为了使不等式成立,流形必须是凸集的边界。文献中已经包含了一个算法的共识超曲面。该算法在任何椭球上都等价于我们在单位球面上的算法。特别是,该算法实现了几乎全球同步的椭球。这些发现表明,强收敛的结果,寻求共识的梯度下降流可以建立在流形上的凸集的边界。
2020-04-01 math.OC nlin.AO
A Constrained Consensus Based Optimization algorithm and its Application to Finance
在本文中,我们提出了一个预测-校正型一致性优化(CBO)算法的凸可行集。我们提出的算法推广了文献[11]中的CBO算法,以解决定义在凸区域上的非凸函数的全局极小值的约束最优化问题。作为该算法的一个实际应用,我们研究了金融领域的投资组合最优化问题。在这个应用中,我们引入了一个目标函数来选择最优权重的资产组合中的每一个资产,产生最大的预期收益给定一定的风险水平。仿真结果表明,我们提出的预测-校正型模型是成功地找到最优值。
2021-10-13 math.OC
Decentralized Proximal Optimization Method with Consensus Procedure
针对分散复合优化问题,提出基于加速近向梯度下降并在计算间进行多次共识迭代的方法,证明共识过程适用于复合优化且结构分析简单。
2023-04-07 math.OC
A RNNs-based Algorithm for Decentralized-partial-consensus Constrained Optimization
本技术说明提出了具有不等式约束的分散部分共识优化问题,并推导了基于多个互连递归神经网络(RNN)的连续时间算法来求解所得到的最优化问题。首先,从拉普拉斯矩阵出发,构造部分一致矩阵来解决部分一致性约束。此外,利用非光滑分析和基于Lyapunov的技术,进一步保证了所设计算法的收敛性。最后,给出了几个算例,说明了所得结果的有效性。
2021-03-22 math.OC
Trends in Consensus-based optimization
在本章中,我们将概述基于共识的全局优化算法及其最近的变体。我们回顾了原始模型的公式和分析结果,然后我们讨论了使用分量独立或共同噪声的变体。结合小批量方法,这些变体是为机器学习应用定制的。此外,它证明了分析估计是维数无关的,这是有用的高维问题。我们讨论了基于共识的优化与粒子群优化的关系,粒子群优化是一种广泛应用于工程界的方法。然后,我们调查了一个变种的共识为基础的优化,提出了全球最优化问题约束超曲面。我们结束了本章的应用程序,预印本和开放的问题的意见。
2021-04-03 math.OC
A consensus-based algorithm for multi-objective optimization and its mean-field description
提出了一种求解多目标最优化问题的多智能体算法,该算法扩展了基于共识的最优化方法,并依赖于一种标量化策略.优化是通过一组相互作用的代理探索搜索空间,并试图同时解决所有标量子问题。我们表明,这些动态所描述的平均场模型,这是合适的算法收敛性的理论分析。数值结果表明了该方法的有效性。
2022-03-30 math.OC
Polynomial Optimization via Random Projection and Consensus
提出一种基于随机线性子空间投影的黑盒方法,将大型半定规划约简为多个小规模半定规划,并在多项式优化问题上验证了其可扩展性的提升。
2025-09-16 math.OC
Smoothing Iterative Consensus-based Optimization Algorithm for Nonsmooth Nonconvex Optimization Problems with Global Optimality
针对无约束非光滑非凸优化的全局极小值求解问题,结合平滑与共识优化方法提出新型SICBO算法,证明其指数收敛性与全局最优性理论保证,且适用于非利普希茨连续情形,数值实验验证了算法有效性。
2025-01-13 math.OC
Consensus-based algorithms for stochastic optimization problems
本文提出基于共识的随机优化算法,通过均场近似分析并验证了算法的有效性及收敛性。
2025-11-21 math.OC
A consensus-based algorithm for non-convex multiplayer games
本文提出一种基于共识的零阶算法,利用群体智能识别非凸多人博弈的全局Nash均衡,通过粒子相互作用渐近收敛至最优策略,并在平均场极限下提供收敛保证,成功应用于非线性Cournot寡头博弈。
2024-07-29 math.DS math.OC
Decentralized Resource Allocation via Dual Consensus ADMM
我们考虑一个无向网络的代理,网络的边缘定义的通信链路的资源分配问题。目标是最小化特定于代理的凸目标函数的总和,而代理的决策通过凸圆锥约束耦合。我们推导出两种方法,通过应用交替方向法的乘法器(ADMM)分散共识优化我们的资源分配问题的对偶。这两种方法都是完全并行和分散的,在这个意义上,每个代理只与网络中的邻居交换信息,只需要自己的数据来更新决策。我们证明了所提出的方法的收敛性,并证明了它们的有效性与数值例子。
2019-03-04 math.OC
A Resilient Convex Combination for consensus-based distributed algorithms
Purdue University(普渡大学)
本文提出基于凸包交集的鲁棒凸组合方法,用于应对分布式算法中的拜占庭攻击,相比Tverberg点方法具有更低的计算复杂度。
2018-07-10 cs.SY eess.SY math.OC
Distributed Online Stochastic Convex-Concave Optimization: Dynamic Regret Analyses under Single and Multiple Consensus Steps
本文研究多智能体网络上的分布式在线凸-凹优化问题,提出一种基于时变预测映射的在线随机镜像下降算法,证明其动态鞍点遗憾上界并利用多次一致性技术收紧了界,最后通过目标跟踪仿真验证了有效性。
2025-08-13 math.OC
Consensus-based Optimization and Ensemble Kalman Inversion for Global Optimization Problems with Constraints
我们介绍了一种实用的方法,将平等和不等式约束的基础上随机相互作用粒子系统的全局最优化方法,特别是基于共识的优化(CBO)和集合卡尔曼反演(EKI)。与文献中的其他方法不同,我们提出的方法并不约束的动态的状态空间的可行域在任何时候,粒子在整个空间中的演变,但被吸引到可行集的惩罚项添加到目标函数的装置,在CBO的情况下,一个额外的松弛漂移。我们研究了该方法的性质,通过相关的平均场Fokker-Planck方程,并证明其性能在几个测试问题的数值实验。
2021-11-04 math.OC
Nonlinear Consensus for Distributed Optimization
分布式优化算法已经在文献中得到了广泛的研究,然而,大多数算法的基础是一个线性共识计划,即通过双随机阵从邻居平均变量。我们考虑一组时变和代理依赖的单调Lipschitz非线性变换的非线性共识计划,其中我们注意到的操作是一个子投影到共识平面,这已被确定通过随机逼近理论。对于提出的非线性共识方案,我们建立了与NEXT算法结合时的收敛性[Lorenzo and Scutari,2016],并分析了与DGD算法结合时的收敛速度[Nedić and Ozdaglar,2009]。此外,我们表明,收敛仍然可以得到保证,即使列随机性放松的八卦的原始变量,然后再加上这与非线性变换表明,作为一个结果,可以选择任何点内的“收缩立方体壳”跨越邻居的变量在共识步骤。我们进行了数值模拟,以证明不同的一致性计划提出的文件可以优于传统的线性计划。
2023-03-13 math.OC
Parameter calibration with Consensus-based Optimization for interaction dynamics driven by neural networks
我们校准的神经网络的参数,相互作用动力学模型的帮助下,基于遗传算法的全局最优化方法(CBO)。我们陈述了由神经网络驱动的交互粒子系统的一般框架,并使用ESIMAS交通实验的真实数据集测试了所提出的方法。将所得力与众所周知的物理相互作用力进行比较。此外,我们将所提出的校准过程的性能与[4]中使用随机梯度下降算法的校准过程的性能进行了比较。
2021-09-10 math.OC
A Decentralized Primal-dual Method for Constrained Minimization of a Strongly Convex Function
我们提出了分散的原始-对偶方法的合作多智能体共识最优化问题在静态和时变通信网络,只允许本地通信。其目标是最小化圆锥约束集上的代理特定的凸函数的总和,因此,最佳的共识决策应该位于这些私人集的交集。在强凸性假设下,我们提供了次优,不可行性和共识违反所需的通信数量方面的收敛速度;检查底层网络拓扑结构对收敛速度的影响。
2022-02-21 math.OC
Consensus, polarization, and optimization of the mean value in a nonlinear model of opinion dynamics
本文研究意见动力学非线性模型中使平均均衡意见最大化的网络结构,证明异质性群体难以达成共识,并给出实现HMO的充要条件、最优连接矩阵构造算法及智能体修剪策略。
2025-09-18 math.OC
Is Consensus Acceleration Possible in Decentralized Optimization over Slowly Time-Varying Networks?
我们考虑分散最优化问题,其中一个目的是最小化的凸光滑目标函数分布在网络中的节点之间的总和。网络中的链接可能会随时发生变化。对于任意变化量的设置,较低的复杂度界限和相应的最优算法是已知的,并且共识加速是不可能的。然而,在实践中,网络变化的幅度可能是有限的。我们得出较低的通信复杂性界限的几个制度的速度网络的变化。此外,我们展示了如何使用特定的共识算法来获得某一类时变图的加速通信速率。
2023-01-27 math.OC
Constrained Optimal Consensus in Multi-agent Systems with First and Second Order Dynamics
本文全面研究了无向动态网络中的分布式最优一致性问题。我们考虑一组网络代理,应该会合在一个集体凸目标函数的最佳点。每个智能体都不知道全局目标函数,只能访问自己的局部目标函数,这是全局的一部分,并在其邻域集内的状态信息的智能体。在这种设置中,所有的代理与他们的邻居协调,以寻求共识点,最小化网络的全局目标函数。在本文中,我们考虑单积分和双积分动态代理。我们进一步假设,代理人的运动受到一些凸不等式约束。为了找到最佳的共识点下所描述的情况下,我们结合了邻居点优化算法的共识协议,并提出了一种分布式控制律。基于李雅普诺夫稳定性分析给出了相应的收敛性分析。
2017-12-21 math.OC
Improving the communication in decentralized manifold optimization through single-step consensus and compression
针对去中心化流形优化的通信瓶颈问题,研究利用流形的光滑性与渐近1-利普希茨连续性,将多步共识简化为单步,结合通信压缩提出高效梯度算法,复杂度匹配欧氏空间结果,实验验证其优于现有方法。
2024-07-12 math.OC
A Consensus-based optimization algorithm using Gaussian processes for global optimization problems in Sobolev spaces
University of Wuppertal(伍珀塔尔大学)
本文提出一种基于高斯过程的共识优化算法,用于Sobolev空间中的全局优化问题,通过高斯过程工具生成满足初始值、边界条件或状态约束的样本函数,并展示其在非线性边界值问题和最优控制问题中的有效性。
2026-03-16 math.OC
A Primal-Dual Quasi-Newton Method for Exact Consensus Optimization
我们引入原始-对偶拟牛顿(PD-QN)方法作为求解分散最优化问题的近似二阶方法。PD-QN方法对共识最优化问题的原始变量和对偶变量执行拟牛顿更新,以找到增广拉格朗日的最优点。通过优化增广拉格朗日量,PD-QN方法能够以线性收敛速率找到一致性问题的精确解。我们推导出完全分散的拟牛顿更新,近似二阶信息,以减少相对于对偶方法的计算负担,并使该方法在病态问题中相对于一阶方法更具鲁棒性。形式上建立了PD-QN的线性收敛速率,数值上显示了相对于现有对偶方法和原始-对偶方法的强大性能优势。
2019-07-10 math.OC
Stochastic Mirror Descent for Convex Optimization with Consensus Constraints
本文提出加性噪声下连续时间精确分布式随机镜像下降及 Gauss-Seidel 离散格式,利用对偶镜像映射同时适应原变量与一致性约束几何,证明线性收敛并通过实验验证优势。
2024-03-12 math.OC
Distributed proximal gradient algorithm for non-smooth non-convex optimization over time-varying networks
研究了具有非光滑正则化的分布式非凸优化问题,该问题在分散学习、估计和控制中有着广泛的应用。目标函数是不同的局部目标函数的和,这些局部目标函数由可微的(可能是非凸的)费用函数和非光滑的凸函数组成。针对时变多智能体网络上的非光滑非凸优化问题,提出了一种分布式近似梯度算法。每个智能体通过多步一致性算子和邻近算子更新局部变量估计。我们证明了生成的局部变量达到共识,收敛到一组临界点的收敛速度$O(1/T)$。最后,通过数值模拟验证了该算法的有效性.
2021-03-03 math.OC
Model predictive control strategies using consensus-based optimization
针对模型预测控制需序列求解大量非凸优化问题的需求,提出基于并行演化随机智能体的共识优化求解方法,证明其加性线性控制下的收敛性,并通过搅拌釜反应器非线性系统控制验证了策略有效性。
2023-12-20 math.OC
A Smoothing Consensus-Based Optimization Algorithm for Nonsmooth Nonconvex Optimization
针对传统基于共识的优化算法收敛分析受限于光滑目标函数的问题,提出结合平滑方法的新型CBO算法,可求解非凸非光滑非利普希茨连续最小化问题,给出理论分析与误差估计,并通过数值实验验证其性能。
2025-01-12 math.OC
On the Linear Convergence of the ADMM in Decentralized Consensus Optimization
在分散式共识优化中,连接的代理网络协作地最小化它们在公共决策变量上的局部目标函数的和,其中它们的信息交换在邻居之间受到限制。为此,可以首先获得问题的重新表述,然后应用乘子的交替方向法(ADMM)。该方法采用迭代计算在各个代理和邻居之间的信息交换。据观察,这种方法收敛迅速,被认为是强大的。本文对具有强凸局部目标函数的分散一致最优化问题建立了它的线性收敛速率。根据网络拓扑结构、局部目标函数的性质和算法参数,给出了算法的理论收敛速度。这一结果不仅是性能保证,也是加快ADMM收敛的指导方针。
2014-11-30 math.OC
Consensus-Based Optimization for Multi-Objective Problems: A Multi-Swarm Approach
提出了一种基于遗传算法的最优化方法(CBO)的多群算法来逼近一般多目标最优化问题的Pareto前沿。该算法的动机是一步一步从一个单扩张的CBO的基础上固定的标量权重。为了克服选择权重的问题,我们在第二建模步骤中提出了自适应权重策略。建模过程的结论与合并的惩罚策略,避免集群沿帕累托前和扩散项,防止崩溃群。总之,建议的$K$ -群CBO算法是专为不同的近似帕累托前沿,同时,有效的一般非凸多目标问题。该方法的可行性是合理的分析结果,包括收敛性证明,和性能比较,著名的非支配排序遗传算法(NSGA 2)和最近提出的一群方法的多目标问题,涉及基于遗传算法的优化。
2022-11-28 math.OC
Exponential stability of finite-$N$ consensus-based optimization
针对以往基于共识的优化(CBO)研究多聚焦渐近平均场极限的情况,采用分层方法分析有限$N$规模下确定性与完全随机场景中CBO的稳定性,证明其几乎必然和均方指数收敛特性并给出收敛速率的精确量化估计。
2025-10-22 math.OC
An Approximate Projected Consensus Algorithm for Computing Intersection of Convex Sets
Key Laboratory of Systems and Control, Institute of Systems Science, Chinese Academy of Sciences(中国科学院系统科学研究所);ACCESS Linnaeus Centre, School of Electrical Engineering, Royal Institute of Technology(皇家理工学院电气工程学院)
针对网络协同计算凸集交集问题,提出近似投影一致性算法,允许节点计算近似投影并通过有向时变图通信,给出保证全局一致性的投影精度条件,并发现π/4是确保状态有界的临界角度误差。
2012-05-26 cs.SY eess.SY math.OC
Distributed Computing for Huge-Scale Aggregative Convex Programming
Indian Institute of Technology Madras(印度马德拉斯理工学院)
本文提出了一种用于大规模聚合凸规划的分布式计算算法,通过一致性块和松弛变量处理约束,并利用多种优化方法实现收敛,收敛速率为O(1/k^{1/2})。
2026-07-30 math.OC
An adaptive consensus based method for multi-objective optimization with uniform Pareto front approximation
在这项工作中,我们感兴趣的随机粒子方法的多目标最优化。该问题是制定使用参数化,单目标的子问题,同时解决。为此,提出了一种基于共识的多目标最优化方法的搜索空间结合一个额外的启发式策略,以适应在计算过程中的参数。自适应策略的目的是通过使用基于能量的措施来量化系统的多样性,均匀分布的粒子在图像空间。由此产生的元启发式算法进行了数学分析,使用平均场近似和收敛保证对最佳点的严格证明。此外,揭示和分析了自适应方法在参数空间中的梯度流结构。几个数值实验表明所提出的随机粒子动力学的有效性,并说明了理论研究结果。
2022-08-02 math.OC
Consensus ALADIN: A Framework for Distributed Optimization and Its Application in Federated Learning
针对非凸分布式共识优化中T-ALADIN通信计算开销高的问题,提出兼具收敛保证与效率优势的C-ALADIN框架,其简化版性能优于Consensus ADMM,还衍生出适配联邦学习的FedALADIN,经实验验证收敛性能显著提升。
2023-06-09 math.OC
Consensus-ADMM for General Quadratically Constrained Quadratic Programming
非凸二次约束二次规划(QCQP)问题在信号处理、机器学习和无线通信中有着广泛的应用,尽管一般的QCQP是NP难的,并且一些有趣的特殊情况也是NP难的。本文提出了一种新的通用QCQP算法。该问题首先被重新表述为共识优化形式,其中的交替方向法的乘法器(ADMM)可以应用。重新制定是这样一种方式,每个子问题是一个QCQP只有一个约束(QCQP-1),这是有效地解决(非)凸性无关。核心组件经过精心设计,使整个算法更具可扩展性,包括求解QCQP-1的有效方法,内存高效实现,并行/分布式实现和智能初始化。该算法,然后在两个应用程序中进行测试:多播波束形成和相位检索。结果表明优于现有技术的方法的性能。
2016-07-07 math.OC
Graph-theoretic optimization for edge consensus
我们认为网络结构,优化加权,时间尺度的共识网络的$\mathcal{H}_2$范数,在边缘拉普拉斯算子描述的这种共识网络的最小表示。我们表明,贪婪算法可以用来找到最小的$\mathcal{H}_2$规范生成树,以及如何选择边,以优化的$\mathcal{H}_2$规范时,添加回生成树的边缘。在边缘共识的情况下,考虑所有边缘的测量模型在图中,我们表明,在图中的慢节点之间添加边缘提供了最小的增加$\mathcal{H}_2$规范。
2020-06-29 math.OC
Discrete Consensus-Based Optimization
本研究提出无连续对应形式的离散CBO框架DCBO,用hardmin替代softmin保留CBO原理,给出不依赖智能体数量的收敛条件,在基准测试及多类现实问题中表现出竞争力。
2024-04-16 math.OC
Distributed, scalable and gossip-free consensus optimization with application to data analysis
用于解决加法或共识最优化问题的分布式算法通常依赖于一阶或邻近分裂方法。这些算法通常带有限制性假设,并且最多享受线性收敛速率。因此,它们可能需要代理之间的多次迭代或通信来收敛。然而,在许多情况下,我们并不寻求共识问题的高度准确的解决方案。在此基础上,我们提出了一个控制松弛的耦合问题,使我们能够计算出一个近似解,其中的近似精度可以控制的水平放松。松弛的问题可以有效地解决了在一个分布式的方式使用原始-对偶相邻点方法(PDIPMs)和消息传递的组合。该算法完全依赖于二阶方法,因此需要更少的迭代和通信来收敛。数值实验表明,与现有的方法相比,它具有优越的性能。
2017-05-10 math.OC
A discrete Consensus-Based Global Optimization Method with Noisy Objective Function
本文将离散时间CBO方法的收敛性分析扩展到目标函数仅能计算带噪声随机估计量的情况,证明在有限次迭代中粒子到解的均方距离期望可任意小,并通过数值实验展示噪声影响。
2025-04-03 math.OC
A consensus-based global optimization method for high dimensional machine learning problems
本文改进了最近提出的基于共识的最优化方法。平瑙角托策克岛Tse和S. Martin,数学模型方法应用科学,27(01):183--204,2017],其是用于一般非凸函数的无梯度最优化方法。我们首先用分量布朗运动代替各向同性几何布朗运动,从而消除了漂移率的维数依赖性,使得该方法在高维最优化问题中更具竞争力.其次,我们利用随机小批量的思想,以减少计算加权平均的计算成本,个别粒子倾向于放松。对于它的平均场极限-一个非线性福克-普朗克方程-我们证明,在时间连续和半离散设置,该方法的收敛性,这是指数的时间,保证与参数约束{ \it独立}的维数。我们还对高维问题进行了数值试验,以检验该方法的成功率。
2020-03-04 math.OC
Consensus-Based Optimization Beyond Finite-Time Analysis
本文提出了一种具有小固定噪声强度的共识优化算法,通过定量拉普拉斯原理和分块控制 Wasserstein 距离,证明了算法在长期行为中收敛到极小值点。
2025-11-21 math.OC
Constrained consensus-based optimization
在这项工作中,我们感兴趣的是建设的数值方法高维约束非线性最优化问题的粒子为基础的无梯度技术。为此,引入了一种基于共识的优化(CBO)方法,并结合适当的惩罚技术。该方法依赖于重新制定的约束最小化问题的无约束问题的罚函数和扩展到约束设置类CBO方法。采用精确惩罚,由于最佳罚参数是未知的,提出了一种迭代策略,连续更新的参数的基础上的约束违反。使用平均场描述的许多粒子的限制所产生的CBO动力学,我们能够显示所提出的方法收敛到最低限度的一般非线性约束问题。分析了新算法的性质。几个数值例子,也在高维,说明了理论的研究结果和良好的性能,新的数值方法。
2021-11-20 math.OC
Quantized Consensus ADMM for Multi-Agent Distributed Optimization
网络上的多智能体分布式优化仅使用局部计算和通信来最小化由局部凸函数的和形成的全局目标。我们开发和分析了一个量化的分布式算法的基础上的交替方向法的乘法器(ADMM)时,代理间的通信受到有限的容量和其他实际约束。虽然现有的量化ADMM方法只适用于二次局部目标,所提出的算法可以处理更一般的目标函数(可能是非光滑的),包括LASSO。在一定的凸性假设下,我们的算法收敛到一个共识内$\log_{1+η}Ω$迭代,其中$η>0$依赖于本地目标和网络拓扑结构,和$Ω$是一个多项式确定的量化分辨率,初始和最佳变量值之间的距离,本地目标函数和网络拓扑结构。一致性误差的紧上界也得到了不依赖于网络的大小。
2015-10-29 math.OC
A multiscale Consensus-Based algorithm for multi-level optimization
提出一种多尺度CBO算法,通过多个相互作用粒子群分别优化各层级,求解双层和三层优化问题,并理论证明其收敛性,数值实验验证其在多级及最小-最大优化中的有效性。
2025-06-20 math.OC
Consensus based optimization with memory effects: random selection and applications
本文提出带记忆效应与随机粒子丢弃策略的CBO算法,通过基准、图像分割和神经网络训练验证性能,并借助连续时间平均场分析证明全局收敛。
2023-03-19 math.OC
Accelerated Consensus via Min-Sum Splitting
我们应用Min-Sum消息传递协议来解决分布式优化中的一致性问题。我们表明,虽然普通的最小和算法不收敛,它被称为分裂的修改版本产生收敛的问题的解决方案。我们证明,一个适当的选择的调谐参数允许最小和分裂产生亚扩散加速收敛速度,匹配的移位寄存器方法获得的速率。最小和分裂的共识问题的加速方案体现具有相似之处,提升马尔可夫链技术和多步一阶方法的凸优化。
2017-11-03 math.OC
$\mathcal{H}_\infty$ Network Optimization for Edge Consensus
本文探讨了$\mathcal{H}_\infty$性能问题的边缘协议的代理网络上独立的时间尺度,连接的加权边缘,并受到外部干扰。$\mathcal{H}_\infty$ -范数表达式和边界计算,然后用于获得新的见解网络性能的影响方面的时间尺度和边缘权重的干扰抑制。我们使用我们的界限,制定一个凸优化问题的时间尺度和边的权重选择。数值例子来说明推导的$\mathcal{H}_\infty$ -范数界表达式的适用性,并通过一个涉及非均匀代理的编队控制的例子来说明优化范例。
2021-07-07 math.OC