Consensus under Misaligned Orientations
本文提出了一种方向不对准的一致性算法，这种方向不对准定义为：（i）局部坐标系与全局坐标系不对准，（ii）控制方向或感知方向有偏差，或（iii）虚拟全局坐标系不对准。在给出数学公式后，我们给出了一致性或发散性的一些充分条件。除了稳定性分析外，我们还根据特征值的位置对收敛特性进行了分析。通过大量的数值模拟，我们将试图了解失准共识动力学的行为。
2017-09-08 math.OC
A Consensus-based optimization algorithm using Gaussian processes for global optimization problems in Sobolev spaces
University of Wuppertal（伍珀塔尔大学）
本文提出一种基于高斯过程的共识优化算法，用于Sobolev空间中的全局优化问题，通过高斯过程工具生成满足初始值、边界条件或状态约束的样本函数，并展示其在非线性边界值问题和最优控制问题中的有效性。
2026-03-16 math.OC
Global Finite-Time Attitude Consensus of Leader-Following Spacecraft Systems Based on Distributed Observers
研究了当至少有一个跟随者可以获得主飞行器相对于惯性空间的姿态和速度时，一组飞行器的主跟随姿态一致性问题。设计了一个非线性分布式观测器来估计每个跟随者的领导者状态。该观测器具有保持姿态和角速度估计误差在二阶滑模上的一个重要而新颖的特性，从而为每个跟随器提供有限时间收敛的估计。此外，四元数为基础的混合齐次控制器最近开发的单航天器的扩展，然后应用，通过建立一个分离原则与建议的观察员，跟踪领导人的姿态运动。其结果是，全球有限时间的态度共识是实现整个态度流形上，无论是全状态测量或态度只有测量，只要网络拓扑之间的追随者是无向和连接。数值模拟证明了所提出的方法的性能。
2017-12-11 math.OC
A discrete Consensus-Based Global Optimization Method with Noisy Objective Function
本文将离散时间CBO方法的收敛性分析扩展到目标函数仅能计算带噪声随机估计量的情况，证明在有限次迭代中粒子到解的均方距离期望可任意小，并通过数值实验展示噪声影响。
2025-04-03 math.OC
Constrained Optimal Consensus in Multi-agent Systems with First and Second Order Dynamics
本文全面研究了无向动态网络中的分布式最优一致性问题。我们考虑一组网络代理，应该会合在一个集体凸目标函数的最佳点。每个智能体都不知道全局目标函数，只能访问自己的局部目标函数，这是全局的一部分，并在其邻域集内的状态信息的智能体。在这种设置中，所有的代理与他们的邻居协调，以寻求共识点，最小化网络的全局目标函数。在本文中，我们考虑单积分和双积分动态代理。我们进一步假设，代理人的运动受到一些凸不等式约束。为了找到最佳的共识点下所描述的情况下，我们结合了邻居点优化算法的共识协议，并提出了一种分布式控制律。基于李雅普诺夫稳定性分析给出了相应的收敛性分析。
2017-12-21 math.OC
Trends in Consensus-based optimization
在本章中，我们将概述基于共识的全局优化算法及其最近的变体。我们回顾了原始模型的公式和分析结果，然后我们讨论了使用分量独立或共同噪声的变体。结合小批量方法，这些变体是为机器学习应用定制的。此外，它证明了分析估计是维数无关的，这是有用的高维问题。我们讨论了基于共识的优化与粒子群优化的关系，粒子群优化是一种广泛应用于工程界的方法。然后，我们调查了一个变种的共识为基础的优化，提出了全球最优化问题约束超曲面。我们结束了本章的应用程序，预印本和开放的问题的意见。
2021-04-03 math.OC
Strong Global Convergence of the Consensus-Based Optimization Algorithm
RWTH Aachen University（亚琛工业大学）；University of Oxford（牛津大学）；University of Ferrara（费拉拉大学）
本文证明了基于共识的优化算法在特定条件下对全局极小值的强收敛性，并给出了超参数选择和收敛速率的分析。
2026-10-19 math.OC
A consensus-based global optimization method with adaptive momentum estimation
大规模机器学习和人工智能应用中的目标函数通常存在于具有强非凸性和大量局部极小值的高维空间中。一阶方法，如随机梯度法和亚当，经常被用来寻找全局最小值。近年来，基于一致性的优化方法（CBO）作为一种无梯度最优化方法被引入，并证明了其收敛性。通过将各向同性的几何布朗运动替换为分量运动，CBO方法的最新改进保证收敛到具有维数无关参数的全局极小点，尽管初始数据需要很好地选择。本文在CBO方法和Adam的基础上，提出了一种基于共识的自适应动量估计全局最优化方法（Adam-CBO）。Adam-CBO方法的优点包括：（1）能够以高成功率和低成本找到非凸目标函数的全局最小值;（2）可以处理不可微的激活函数，从而以更好的精度逼近低正则性函数。前者是通过近似的$1000$维Rastrigin功能与$100\%$成功率在成本只线性增长的维度。后者通过求解具有低正则性解的偏微分方程的机器学习任务来证实，其中Adam-CBO方法提供了比最先进的方法Adam更好的结果。一个线性稳定性分析，以了解渐近行为的Adam-CBO方法。
2020-12-09 math.OC
A consensus-based optimization method for nonsmooth nonconvex programs with approximated gradient descent scheme
本文针对非光滑非凸无约束优化问题，提出结合前向差分近似梯度下降的离散CBO算法，证明其指数速率全局共识等理论性质，通过实验验证了方法的效率与性能。
2025-01-15 math.OC
A Smoothing Consensus-Based Optimization Algorithm for Nonsmooth Nonconvex Optimization
针对传统基于共识的优化算法收敛分析受限于光滑目标函数的问题，提出结合平滑方法的新型CBO算法，可求解非凸非光滑非利普希茨连续最小化问题，给出理论分析与误差估计，并通过数值实验验证其性能。
2025-01-12 math.OC
Faithful global convergence for the rescaled Consensus-Based Optimization
Hunan University（湖南大学）；University of Graz（格拉茨大学）；Technical University of Munich（慕尼黑工业大学）
本文研究了通过缩放共识点的共识优化算法，证明了其在特定条件下无条件收敛到全局极小值点，并扩展到多个极小值点的情况。
2026-01-16 math.AP math.OC
A consensus-based model for global optimization and its mean-field limit
我们介绍了一种新的一阶随机群体智能（SI）模型的共识形成模型的精神，即基于共识的优化（CBO）算法，它可用于在多个维度的函数的全局优化。CBO算法允许通过平均场极限，这导致一个非标准的，非局部的，退化的抛物型偏微分方程（PDE）。利用偏微分方程分析工具，我们提供的收敛结果，有助于理解的SI模型的渐近行为。我们进一步提出了数值研究强调我们的方法的可行性。
2016-12-29 math.OC math.PR
One dimensional consensus based algorithm for non-convex optimization
我们分析了Pinnau等人提出的基于共识的最优化方法。（2017）在一个维度上。我们严格地提供了一个定量的误差估计之间的共识点和全局极小的一个给定的目标函数。我们的分析涵盖了一般的目标函数，我们不需要任何结构上的假设目标函数。
2021-09-10 math.OC
A Unified Dual Consensus Approach to Distributed Optimization with Globally-Coupled Constraints
针对含非线性不等式、仿射等式且可行域可能无界的全局耦合约束分布式凸优化，提出统一框架 DUCA 与 Pro-DUCA，实现 O(1/k) 收敛并优于现有方法。
2025-03-13 math.OC
Convergence of a first-order consensus-based global optimization algorithm
非凸目标函数的全局优化问题经常出现在大规模机器学习和人工智能应用中。最近，基于共识的优化（简称CBO）方法已被引入作为无梯度最优化方法之一。本文给出了\cite{C-J-L-Z}中一阶CBO方法的收敛性分析。在此之前，CBO方法的收敛性研究进行了相应的平均场极限，福克-普朗克方程，这并不意味着CBO方法{ \it本身}的收敛性。基于一阶CBO模型的一致性估计，我们给出了一阶CBO方法\cite{C-J-L-Z}的收敛性分析，而无需借助于相应的平均场模型。我们的收敛性分析包括两个步骤。在第一步中，我们表现出的CBO模型的全局共识时间渐近的任何初始数据，并在第二步中，我们提供了一个充分条件的系统参数-这是维数无关的-和初始数据，保证收敛的共识状态几乎肯定位于一个小的邻域的全局极小值。
2019-10-18 math.DS math.OC
Well-posedness and mean-field limit estimate of a consensus-based algorithm for min-max problems
Hunan University（湖南大学）；University of Oxford（牛津大学）
本文研究了求解极小-极大问题的共识算法的适定性及均场极限估计，提供了粒子数量相关的定量分析和均场动力学的理论保障。
2026-02-13 math.OC
Optimal Output Consensus of Heterogeneous Linear Multi-Agent Systems Over Weight-Unbalanced Directed Networks
研究了权重不平衡有向网络上异构线性多智能体系统的分布式最优输出一致性问题。提出了一种新的分布式连续时间状态反馈控制器，使所有智能体的输出收敛到全局费用函数的最优解。在非平衡有向图强连通和局部费用函数强凸且具有全局Lipschitz梯度的标准条件下，建立了闭环多智能体系统的指数收敛性.然后，所提出的状态反馈控制法扩展到基于双稳态的输出反馈设置。最后通过两个算例验证了所提控制方案的有效性。
2021-11-16 math.OC
Global $H_\infty$ Consensus of Multi-Agent Systems with Lipschitz Nonlinear Dynamics
School of Automation, Beijing Institute of Technology（北京理工大学自动化学院）；School of Electrical and Electronic Engineering, Nanyang Technological University（南洋理工大学电气与电子工程学院）
针对具有Lipschitz非线性和有向通信图的多智能体系统，提出基于相邻智能体相对状态的分布式一致性协议，通过两步算法实现无扰动下的全局一致性，并进一步设计协议保证外部扰动下的$H_\infty$性能。
2012-02-24 cs.SY eess.SY math.OC
Fast and robust consensus-based optimization via optimal feedback control
本文提出 controlled-CBO，利用 HJB 方程数值近似的梯度作为反馈控制，在无目标导数的情况下增强多维非凸 CBO 的全局收敛性，并在少粒子和初值不佳场景中显著优于标准方法。
2025-07-27 math.OC
Discrete Consensus-Based Optimization
本研究提出无连续对应形式的离散CBO框架DCBO，用hardmin替代softmin保留CBO原理，给出不依赖智能体数量的收敛条件，在基准测试及多类现实问题中表现出竞争力。
2024-04-16 math.OC
Adaptive Leader-Following Consensus for a Class of Higher-Order Nonlinear Multi-Agent Systems with Directed Switching Networks
本文研究了联合连接有向切换网络下一类不确定非线性多智能体系统的领导-跟随一致性问题。不确定性包括常数、无界参数和外部干扰。本文首先将自适应分布式观测器的最新结果从全局渐近收敛推广到全局指数收敛。然后，将传统的适应控制技术与自适应分布式观测器相结合，提出了一种分布式自适应状态反馈控制律。我们的结果说明了领导者以下的一致性问题的一组vanderPol振荡器。
2017-03-28 math.OC
Consensus-Based Optimization Beyond Finite-Time Analysis
本文提出了一种具有小固定噪声强度的共识优化算法，通过定量拉普拉斯原理和分块控制 Wasserstein 距离，证明了算法在长期行为中收敛到极小值点。
2025-11-21 math.OC
Anisotropic Diffusion in Consensus-based Optimization on the Sphere
本文利用多智能体无导数方法研究了约束在单位超球面上的可能非光滑非凸目标函数的全局极小化问题。该算法属于最近推出的基于神经网络的优化类。事实上，智能体在球体上移动，由朝向瞬时共识点的漂移驱动，瞬时共识点被计算为智能体位置的凸组合，根据拉普拉斯原理由费用函数加权，并且它表示对全局最小值的近似。各向异性随机向量场进一步扰动动力学，以利于勘探。本文的主要结果是在充分准备初值的条件下，证明了数值格式收敛于全局极小值。收敛性的证明结合了一个平均场极限的结果与一个新的渐近分析，和经典的收敛结果的数值方法的反问题。相对于以前的工作的主要创新是各向异性随机项的引入，这使我们能够确保从维度的算法的参数的独立性和规模的方法工作在非常高的维度。我们提出了几个数值实验，这表明，在本文中提出的算法是非常通用的，优于以前的配方与各向同性随机噪声。
2021-04-01 math.OC
Parameter calibration with Consensus-based Optimization for interaction dynamics driven by neural networks
我们校准的神经网络的参数，相互作用动力学模型的帮助下，基于遗传算法的全局最优化方法（CBO）。我们陈述了由神经网络驱动的交互粒子系统的一般框架，并使用ESIMAS交通实验的真实数据集测试了所提出的方法。将所得力与众所周知的物理相互作用力进行比较。此外，我们将所提出的校准过程的性能与[4]中使用随机梯度下降算法的校准过程的性能进行了比较。
2021-09-10 math.OC
From Consensus-Based Optimization to Evolution Strategies: Proof of Global Convergence
Technical University of Munich（慕尼黑工业大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；Munich Data Science Institute (MDSI)（慕尼黑数据科学研究所）；Hunan University（湖南大学）；University of Florence（佛罗伦萨大学）
本文提出新的CBO变体，解决原有方法的限制，通过引入非消失扩散和共识冻结方案，实现全局收敛性和指数收敛速率。
2026-10-14 cs.NA math.NA math.OC
Analysis of Newton-Raphson Consensus for multi-agent convex optimization under asynchronous and lossy communications
我们扩展了一个多代理凸优化算法牛顿-拉夫森共识的网络场景，涉及定向，异步和有损通信。我们从理论上分析了算法的稳定性和性能，特别是，提供充分条件，保证局部指数收敛的节点状态的全局集中式极小，即使在存在数据包丢失。最后，我们补充的理论分析与数值模拟，比较性能的牛顿-拉夫森共识对异步实现的分布式次梯度方法从开源数据库中提取的真实数据集。
2017-04-20 math.OC
Adaptive Output Consensus of Heterogeneous Nonlinear Multi-agent Systems: A Distributed Dynamic Compensator Approach
分布式动态补偿器，也称为分布式观测器，在异构非线性多智能体系统的输出一致性问题中起着关键作用。然而，大多数现有的分布式动态补偿器要求补偿器的信息通过通信网络交换，或者每个子系统的控制器满足一类小增益条件。本文提出了一种新的分布式动态补偿器来解决参数未知的异构非线性多智能体系统的自适应输出一致性问题。分布式动态补偿器只需要通过通信网络交换输出信息。因此，它减少了通信负担，并有利于实现的动态补偿器。此外，分布式动态补偿器将原自适应输出一致性问题转化为一类参数未知的非线性系统的全局渐近跟踪问题。然后，利用自适应反推方法，我们为每个子系统设计了一个自适应跟踪控制器，它不需要像以前的研究中那样的小增益条件。进一步证明了闭环系统中所有信号全局一致有界，且所提出的控制方案能使所有子系统的输出渐近跟踪领导者的输出.仿真结果表明了该设计方法的有效性。
2019-12-17 math.OC
Constrained Consensus-Based Optimization and Numerical Heuristics for the Few Particle Regime
Technical University of Munich（慕尼黑工业大学）；University of Vienna（维也纳大学）；Munich Data Science Institute, Technical University of Munich（慕尼黑数据科学研究所，慕尼黑工业大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）；Hunan University（湖南大学）
本文提出了一种改进的CBO算法，通过自适应区域控制和几何特定噪声，解决了少数粒子 regime 中的收敛问题，并应用于约束p-Allen-Cahn问题的全局极小值计算。
2026-01-12 math.OC
Optimal condition for asymptotic consensus in the Hegselmann-Krause model with finite speed of information propagation
证明了在有限信息传播速度$\mathfrak{c}>0$的Hegselmann-Krause模型中，在极小（即，（2）影响函数的假设。特别是，我们假设的影响函数是全球积极的，这是必要的，以达到全球共识，使代理移动的速度严格小于$\mathfrak{c}$，这是必要的适定性的解决方案。从这个角度来看，我们的结果是最优的。证明是基于这样一个事实，即状态相关的延迟，引起的有限速度的信息传播，是一致有界的。
2023-03-13 math.AP math.DS math.OC
Newton-Raphson Consensus under asynchronous and lossy communications for peer-to-peer networks
在这项工作中，我们研究了无约束凸优化问题在一个完全分布式的多智能体设置，其中包括异步计算和有损通信。特别是，我们扩展了最近提出的算法命名为牛顿-拉夫森共识整合它与基于广播的平均共识算法，这是强大的数据包丢失。我们通过时间尺度分离原理证明了在温和条件下（即，代理激活的持久性和有界连续通信故障），所提出的算法被证明是局部指数稳定的最优全局解。最后，我们补充的理论分析与数值模拟是基于真实的数据集。
2017-07-28 math.OC
Distributed Optimal Consensus of Nonlinear Multi-Agent Systems
College of Electrical Engineering and Automation, Shandong University of Science and Technology（山东科技大学电气工程学院）；School of Control Science and Engineering, Shandong University（山东大学控制科学与工程学院）
本文研究了非线性多智能体系统的最优一致性问题，提出基于最优控制原理的分布式最优一致性算法，并在模型预测控制框架下开发了两种增强算法，证明了算法的收敛性和超线性收敛速度。
2026-04-05 math.OC
Distributed Gradient-Regularized Newton Method: Scheduled Consensus and O(epsilon^{-1}) Global Iteration Complexity
Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）；University of Chinese Academy of Sciences（中国科学院大学）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
本文提出了一种完全去中心化的二次优化方法DisGrem，用于解决网络上的凸共识优化问题。该方法通过两阶段 gossip-mixing 机制进行通信，结合消失梯度范数正则化和特征值位移稳定器，实现了O(epsilon^{-1})的迭代复杂度，匹配中心化正则化牛顿方法的收敛速度，无需线搜索或步长调整。
2026-05-19 math.OC
Multi-agent Optimal Consensus with Unknown Control Directions
研究了一类控制方向未知的异质高阶智能体的最优一致性问题。与已有的一致性结果相比，进一步要求一致点是某个分布式最优化问题的最优解。为了解决这一问题，我们首先为每个智能体增加一个最优信号发生器，以重现给定分布式最优化问题的全局最优点，然后通过为这些增强的智能体开发自适应跟踪控制器来完成全局最优一致性设计.此外，我们提出了一个扩展时，只有实时梯度。在这两种情况下，所有代理的轨迹被证明是明确的，并达到预期的共识的最佳点。两个数值例子验证了我们的算法的有效性。
2020-07-25 cs.SY eess.SY math.OC
FedBC: Calibrating Global and Local Models via Federated Learning Beyond Consensus
University of Maryland, College Park（马里兰大学帕克分校）；University of British Columbia（不列颠哥伦比亚大学）；JP Morgan Chase AI Research（摩根大通人工智能研究院）；Amazon（亚马逊）；DEVCOM Army Research Laboratory（美国陆军作战能力发展司令部陆军研究实验室）
在这项工作中，我们通过基于多标准优化的框架（我们将其视为约束程序）定量校准了联邦学习中全局和局部模型的性能。设备的目标是其局部目标，它寻求在满足量化局部和全局模型之间的接近度的非线性约束的同时使其最小化。通过考虑这个问题的拉格朗日松弛，我们开发了一种新的原始-对偶方法称为超越共识的联邦学习（\texttt{FedBC}）。从理论上讲，我们建立\texttt{FedBC}收敛到一个一阶稳定点的速率相匹配的国家的最先进的，一个额外的误差项，这取决于一个公差参数引入标量化的多准则制定。最后，我们证明了\texttt{FedBC}在一系列数据集（合成，MNIST，CIFAR-10，莎士比亚）中平衡了全局和局部模型测试精度指标，实现了具有最先进水平的竞争性能。
2023-02-01 cs.DC cs.LG math.OC
Consensus-Based Optimization on the Sphere: Convergence to Global Minimizers and Machine Learning
Technical University of Munich（慕尼黑工业大学）；University of Calgary（卡尔加里大学）；University of Ferrara（费拉拉大学）
我们研究了一个新的随机Kuramoto-Vicsek型模型的实现非凸函数的全局优化的领域。该模型属于基于最优化的一类。事实上，粒子在朝向瞬时共识点的漂移的驱动下在球体上移动，该共识点被计算为粒子位置的凸组合，根据拉普拉斯原理由成本函数加权，并且它代表对全局最小化的逼近。动力学进一步受到随机向量场的扰动，以利于探索，其方差是粒子到共识点的距离的函数。特别是，一旦达成共识，随机分量就消失了。本文的主要结果是在充分准备初值的条件下，证明了数值格式收敛于全局极小值。证明结合了以往的平均场极限的结果与一个新的渐近分析，和经典的收敛性结果的数值方法的双曲型。我们提出了几个数值实验，这表明，在本文件中提出的算法规模以及与尺寸，是非常通用的。为了量化的新方法的性能，我们表明，该算法是能够执行基本上一样好的ad hoc最先进的方法在具有挑战性的问题，在信号处理和机器学习，即相位恢复问题和强大的子空间检测。
2021-07-28 cs.LG cs.NA math.AP
Consensus-Based Optimization on Hypersurfaces: Well-Posedness and Mean-Field Limit
Technical University of Munich（慕尼黑工业大学）；University of Ferrara（费拉拉大学）
本文提出了一个新的随机微分模型，用于求解紧致超曲面上非凸函数的全局优化问题。该模型受随机Kuramoto-Vicsek系统的启发，属于基于随机的最优化方法。事实上，粒子在超曲面上移动，由朝向瞬时共识点的漂移驱动，瞬时共识点被计算为根据拉普拉斯原理由费用函数加权的粒子位置的凸组合。共识点表示对全局最小值的近似。动力学被随机向量场进一步扰动以有利于探索，其方差是粒子到共识点的距离的函数。特别是，一旦达成共识，那么随机分量就消失了。本文研究了该模型的适定性，并严格导出了它在大粒子极限下的平均场近似。
2020-12-07 cs.LG math.AP math.OC
An interacting particle consensus method for constrained global optimization
University of Oxford（牛津大学）；Shanghai Jiao Tong University（上海交通大学）；University of California, San Diego（加州大学圣迭戈分校）；University of California, Los Angeles（加州大学洛杉矶分校）
本文提出了一种基于粒子的优化方法，用于解决具有等式约束的最小化问题，尤其适用于损失函数非可导或非凸的情况。方法结合了共识优化算法和新引入的约束集导向项，并通过数值实验验证了其有效性。
2026-09-26 cs.NA math.AP math.NA
Distributed off-Policy Actor-Critic Reinforcement Learning with Policy Consensus
Department of Mechanical Engineering and Materials Science, Duke University（杜克大学机械工程与材料科学系）；Duke University（杜克大学）
在本文中，我们提出了一个分布式的off-policy演员评论方法来解决多智能体强化学习问题。具体来说，我们假设所有的代理保持本地估计的全局最优的政策参数和更新其本地价值函数估计独立。然后，我们引入了一个额外的共识步骤，让所有的代理渐近达成协议的全局最优策略函数。给出了算法的收敛性分析，并通过分布式资源分配实例验证了算法的有效性。相对于相关的分布式演员评论家的方法，在这里的代理不共享有关他们的本地任务的信息，而是他们协调估计的全球政策功能。
2019-03-21 cs.AI cs.LG math.OC
A modified Consensus-Based Optimization model: consensus formation and uniform-in-time propagation of chaos
Yonsei University（延世大学）
本文提出了一种改进的基于共识的优化模型，通过正则化的吉布斯权重稳定共识点并避免退化，实现了有限粒子系统、麦肯-沃拉斯科夫方程及优化行为的统一分析。
2026-11-03 math.AP math.OC math.PR
From particle swarm optimization to consensus based optimization: stochastic modeling and mean-field limit
在本文中，我们考虑了一个连续的描述基于随机微分方程的流行粒子群优化（PSO）过程解决全球最优化问题，并推导出相应的平均场近似的基础上，在大粒子限制的Vlasov-Fokker-Planck型方程。通过引入一个描述局部最优解演化的附加微分方程，克服了由于需要存储局部最优解而引起的记忆效应的缺点。一个正则化过程的全球最佳许可证正式推导出各自的平均场描述。随后，在小惯性限制，我们计算相关的宏观流体动力学方程，澄清与最近推出的基于共识的优化（CBO）方法的联系。几个数值例子说明了平均场过程，小惯性限制和潜力，这类一般的全球最优化方法。
2020-12-10 cs.NA math.NA math.OC
Consensus-Based Optimization Methods Converge Globally
本文提出平均场分析技术，证明多智能体无导数CBO在智能体数趋于无穷时对非凸、非光滑及局部Lipschitz目标全局收敛，并给出非渐近Laplace原理与概率估计。
2024-08-02 cs.NA math.AP math.NA
Global Optimality in Distributed Low-rank Matrix Factorization
Colorado School of Mines（科罗拉多矿业学院）
我们研究了分布式梯度下降（DGD）的一个变种的收敛性的分布式低秩矩阵近似问题，其中一些优化变量用于共识（如在经典的DGD）和一些优化变量只出现在本地的网络中的一个单一的节点。我们称所得到的算法为DGD+ DGD。使用算法连接到梯度下降和几何连接到集中式低秩矩阵逼近问题的良好景观，我们确定了充分条件，保证DGD+ DGD收敛到原集中式问题的全局极小值的精确共识。对于分布式低秩矩阵近似问题，这些保证是更强的-在共识和最优性方面-比出现在文献中的经典DGD和更一般的问题。
2018-12-24 cs.LG math.OC stat.ML
CB$^2$O: Consensus-Based Bi-Level Optimization
本文提出基于共识的双层优化方法CB$^2$O，通过分位数粒子选择与Laplace原理近似内蕴求解非凸双层优化问题，并给出平均场动力学存在性及全局指数收敛分析，在约束全局优化、稀疏表示学习和鲁棒联邦学习等实验中验证了其有效性。
2025-05-10 math.AP math.OC
Leveraging Memory Effects and Gradient Information in Consensus-Based Optimization: On Global Convergence in Mean-Field Law
Technical University of Munich, School of Computation, Information and Technology, Department of Mathematics（慕尼黑工业大学计算、信息与技术学院数学系）；Munich Center for Machine Learning（慕尼黑机器学习中心）
本文研究了一种结合记忆效应和梯度信息的共识优化变体，并严格证明了其在平均场定律下对一大类函数收敛到全局最小值，数值实验展示了其在机器学习和压缩感知等应用中的优越性。
2023-09-15 cs.NA cs.NE math.AP
Uniform-in-time propagation of chaos for Consensus-Based Optimization
Institute of Applied Analysis, Ulm University（乌尔姆大学应用分析研究所）；Department of Computing and Mathematical Sciences, Caltech（加州理工学院计算与数学科学系）；MATHERIALS team, Inria Paris（法国国家信息与自动化研究所巴黎 MATHERIALS 团队）；CERMICS, École des Ponts（巴黎路桥学校 CERMICS）
本文研究了一致性优化算法的均匀时间传播混沌特性，证明了其在接近全局极小点时的稳定性及指数收敛性。
2026-02-19 math.AP math.OC math.PR
A Distributed Newton Method for Large Scale Consensus Optimization
在本文中，我们提出了一个分布式牛顿算法的共识优化。我们的方法优于最先进的方法，包括ADMM。其核心思想是利用对偶Hessian的稀疏性，将牛顿步的计算转化为求解对称对角占优线性方程组的有效计算。我们验证我们的算法在理论上和经验。在理论方面，我们证明了我们的算法在最优邻域内具有超线性收敛性。经验上，我们展示了这种新方法在各种机器学习问题上的优越性。所提出的方法是可扩展的非常大的问题，并具有较低的通信开销。
2016-06-21 cs.DC math.OC
On the Convergence Rate of Average Consensus and Distributed Optimization over Unreliable Networks
我们认为，在不可靠的通信网络，其中数据包可能会被意外丢弃在传输过程中，达到平均共识和解决基于共识的优化问题。现有的工作要么假设链路故障影响两个方向上的通信，要么假设消息发送器{ \em确切地知道}在每次迭代中有多少个输出链路正常工作。在本文中，我们考虑有向链路，我们{ \em不}要求每个节点知道它的当前传出度。首先，我们提出并刻画了达到平均一致的收敛速度。然后，我们将我们的鲁棒共识更新的经典分布式双平均方法，其中的共识更新被用作信息聚合原语。我们表明，局部迭代收敛到一个共同的最优的全局目标的速率$O(\frac{1}{\sqrt{t}})$，其中$t$是迭代次数，匹配的无故障性能的分布式双平均方法。
2018-12-07 cs.DC math.OC
Learned Finite-Time Consensus for Distributed Optimization
本文针对稀疏图上去中心化学习中线性平均共识收敛慢的瓶颈，提出通过带约束矩阵分解以去中心化方式学习有限时间共识矩阵序列，并在多种图上验证了其加速效果。
2024-06-06 eess.SP math.OC
Distributed Constrained Optimization by Consensus-Based Primal-Dual Perturbation Method
National Taiwan University of Science and Technology（台湾科技大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of California, Davis（加州大学戴维斯分校）
本文提出基于共识的分布式对偶扰动算法，用于解决具有耦合全局成本函数和不等约束的一般优化问题，能处理光滑和非光滑约束，证明算法收敛性，并通过智能电网需求响应控制问题验证性能。
2013-11-06 cs.SY eess.SY math.OC
Network-GIANT: Fully distributed Newton-type optimization via harmonic Hessian consensus
University of Padova（帕多瓦大学）；Maynooth University（梅努斯大学）；Uppsala University（乌普萨拉大学）
针对分布式多智能体学习的全局损失最小化问题，提出结合梯度跟踪、牛顿迭代与共识平均的完全分布式牛顿型算法Network-GIANT，理论上证明其强凸光滑损失下半全局指数收敛，实验显示性能优于现有先进算法。
2023-07-19 cs.LG cs.MA math.OC
Robust Constrained Consensus and Inequality-constrained Distributed Optimization with Guaranteed Differential Privacy and Accurate Convergence
本文协同设计分布式优化与差分隐私噪声机制，提出可在无限迭代下保证精确收敛和 ε-差分隐私的不等式约束优化算法，并给出隐私约束一致性算法。
2024-04-02 cs.SY eess.SY math.OC
A dynamical approach to privacy preserving average consensus
Linköping University（林雪平大学）
本文提出了一种新颖的方法，在连续时间多智能体网络中实现平均一致性的同时避免泄露个体智能体的初始状态。通过引入称为输出掩码的映射，改变状态值后再进行传输。这些输出掩码是局部的、确定性的、时间变化的，并渐近收敛到真实状态。所得到的掩码系统也是时间变化的，其原始系统是其极限系统。论文证明了掩码系统具有原始平均一致性值作为全局吸引子，但为了保护隐私，它不能与未掩码系统共享平衡点，这意味着在掩码系统中，全局吸引子也不能稳定。
2019-03-02 cs.SY eess.SY math.OC
Multi-consensus Decentralized Accelerated Gradient Descent
Xi’an Jiaotong University（西安交通大学）；Fudan University（复旦大学）；The Hong Kong Polytechnic University（香港理工大学）；The Hong Kong University of Science and Technology（香港科技大学）
针对去中心化凸优化问题，提出融合Nesterov加速、多共识与梯度跟踪的新型算法，实现最优计算复杂度和近似最优通信复杂度，收敛仅依赖全局强凸性，在机器学习任务中表现更优。
2023-10-10 cs.LG math.OC stat.ML
FedCBO: Reaching Group Consensus in Clustered Federated Learning through Consensus-based Optimization
University of Oxford（牛津大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本研究针对聚类联邦学习问题，提出基于CBO思想的FedCBO算法，通过无感知群体归属的交互粒子系统实现，有平均场分析等理论支撑，实验效果优于现有前沿方法。
2023-05-04 cs.LG math.AP math.OC
