Leader-Based Optimal Coordination Control for the Consensus Problem of Multiagent Differential Games via Fuzzy Adaptive Dynamic Programming
针对多智能体微分对策的一致性问题，提出了一种基于模糊自适应动态规划（FADP）的在线最优协调控制设计方法，该方法将对策论、广义模糊双曲模型（GFHM）和自适应动态规划相结合.一般来说，多智能体微分对策的最优协调控制是耦合的Hamilton Jacobi（HJ）方程的解。在这里，第一次，GFHM被用来近似的解决方案（价值函数）的耦合HJ方程，基于策略迭代（PI）算法。也就是说，对于每个代理，GFHM被用来捕获本地共识误差和本地值函数之间的映射。由于我们的方案使用单网络架构的每个代理（这消除了行动网络模型相比，双网架构），它是一个更合理的多Agent系统的架构。进而利用近似解得到最优协调控制。最后，我们给出了该方案的稳定性分析，并证明了权估计误差和局部一致误差是一致最终有界的。此外，控制节点的轨迹被证明是合作一致最终有界的。
2017-11-30 math.OC
Adaptive Consensus: A network pruning approach for decentralized optimization
针对分布式优化中通信瓶颈问题，提出自适应随机通信高效框架，通过跟踪不一致误差并选择关键边减少通信，给出AC与AC-GT算法，具备理论收敛保证且实验验证有效。
2023-09-06 math.OC stat.ML
Distributed Consensus of Linear Multi-Agent Systems with Adaptive Dynamic Protocols
Beijing Institute of Technology（北京理工大学）；University of California, Riverside（加州大学河滨分校）；Nanyang Technological University（南洋理工大学）
针对一般连续时间线性多智能体系统，提出两种基于邻居相对输出信息的自适应动态一致性协议，实现无需全局信息的完全分布式一致性，并推广到领导-跟随和切换通信图情形。
2011-09-22 cs.SY eess.SY math.OC
Consensus of Multi-Agent Systems with General Linear and Lipschitz Nonlinear Dynamics Using Distributed Adaptive Protocols
School of Automation, Beijing Institute of Technology（北京理工大学自动化学院）；Department of Electrical and Computer Engineering, Utah State University（犹他州立大学电气与计算机工程系）
针对一般线性和Lipschitz非线性多智能体系统，设计分布式自适应协议实现无向连通图下的完全分布式一致性，无需全局信息。
2011-09-17 cs.SY eess.SY math.OC
Adaptive Consensus and Parameter Estimation of Multi-Agent Systems with An Uncertain Leader
研究了一类具有不确定领导系统的多智能体系统的领导-跟随一致性和参数估计问题。先导系统由一组幅值、频率和相位未知的正弦波组成。为每个智能体建立一个分布式自适应观测器来估计领导者的未知频率。研究表明，如果领导者的信号足够丰富，未知频率的估计误差渐近收敛到零的所有代理。基于所设计的分布式自适应观测器，为每个智能体综合一个分布式自适应控制律，以解决领导者跟随一致性问题。
2020-07-27 cs.SY eess.SY math.OC
Adaptive Leader-Following Consensus for Multiple Euler-Lagrange Systems with an Uncertain Leader System
本文研究了具有不确定领导系统的多Euler-Lagrange系统的领导-跟随一致性问题。首先，我们建立了一个自适应分布式观测器的中立稳定的线性领导系统的系统矩阵是不确切的。在标准假设条件下，这种自适应分布式观测器可以估计出领导者的状态，并通过系统的通信网络将其传递给每个跟随者，而不需要精确地知道领导者的系统矩阵。在领导者的状态持续激励的附加假设下，该自适应分布式观测器还可以渐近学习领导者的系统矩阵的参数。在此基础上，利用确定性等价原理，进一步综合了自适应分布式控制律。我们的结果允许解决多个欧拉-拉格朗日系统的领导者跟随一致性问题，即使没有跟随者确切地知道领导者系统的系统矩阵。
2019-09-17 cs.SY eess.SY math.OC
PI Consensus Error Transformation for Adaptive Cooperative Control of Nonlinear Multi-Agent Systems
National Technical University of Athens（雅典国家技术大学）
本文提出PI一致性误差变换，用于解决非线性多智能体系统在未知非相同控制方向下的自适应一致性问题，通过解耦设计实现一致性控制，仿真验证了理论结果。
2018-03-25 cs.SY eess.SY math.OC
Consensus Based Stochastic Control
针对高维随机控制中策略梯度估计方差高的问题，提出无梯度M-CBO与Adam-CBO框架，利用价值函数的Monte Carlo估计优化策略，理论上证明收敛性并验证了可扩展性。
2025-01-31 math.OC
DADAM: A Consensus-based Distributed Adaptive Gradient Method for Online Optimization
Amirkabir University of Technology（阿米尔卡比尔理工大学）；University of Florida（佛罗里达大学）
诸如\textsc{Adagrad}、\textsc{Rmsprop}和\textsc{Adam}的基于自适应梯度的优化方法被广泛用于解决包括深度学习的大规模机器学习问题。在文献中已经提出了许多方案，旨在并行化它们，基于外围节点与中心节点的通信，但产生高的通信成本。为了解决这个问题，我们开发了一种新的共识为基础的分布式自适应矩估计方法（\textsc{Dadam}）在线优化的分散网络，使数据并行化，以及分散计算。该方法特别有用，因为它可以适应允许访问本地数据的设置。此外，在这项工作中建立的理论，它可以优于集中式自适应算法，为某些类别的损失函数中使用的应用程序。我们分析了所提出的算法的收敛特性，并提供了一个动态的遗憾界的收敛速度的自适应矩估计方法在随机和确定性设置。实验结果表明，\textsc{Dadam}工程也很好地在实践中，并媲美竞争在线优化方法。
2019-05-28 cs.LG math.OC stat.ML
Distributed Inexact Newton Method with Adaptive Step Sizes
本文提出带自适应步长的分布式非精确牛顿法DINAS，可求解两类分布式优化问题，具备收敛速率优势且减少全局参数需求，实验表现优于现有方法，还首次给出相关非精确牛顿法的收敛性分析。
2025-01-14 math.OC
Distributed Stochastic Consensus Optimization with Momentum for Nonconvex Nonsmooth Problems
Sichuan University（四川大学）；Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳市大数据研究院）；University of Florida（佛罗里达大学）
虽然已经提出了许多分布式优化算法来解决网络上的光滑或凸问题，但很少有人能处理非凸和非光滑问题。基于近似原-对偶方法，提出了一种新的带Nesterov动量的（随机）分布式算法，用于非凸非光滑优化问题的加速优化。理论上，我们证明了该算法在恒定步长下可以获得具有$\mathcal{O}(1/ε^2)$计算复杂度和$\mathcal{O}(1/ε)$通信复杂度的$ε$平稳解.与现有的基于梯度跟踪的方法相比，该算法具有相同数量级的计算复杂度，但通信复杂度较低。据我们所知，所提出的结果是第一个随机算法与$\mathcal{O}(1/ε)$通信复杂性的非凸和非光滑问题。通过对分布式非凸回归问题和基于深度神经网络的分类问题的数值实验，验证了所提算法的有效性。
2020-11-10 cs.LG math.OC
Consensus-Based Optimization for Multi-Objective Problems: A Multi-Swarm Approach
提出了一种基于遗传算法的最优化方法（CBO）的多群算法来逼近一般多目标最优化问题的Pareto前沿。该算法的动机是一步一步从一个单扩张的CBO的基础上固定的标量权重。为了克服选择权重的问题，我们在第二建模步骤中提出了自适应权重策略。建模过程的结论与合并的惩罚策略，避免集群沿帕累托前和扩散项，防止崩溃群。总之，建议的$K$ -群CBO算法是专为不同的近似帕累托前沿，同时，有效的一般非凸多目标问题。该方法的可行性是合理的分析结果，包括收敛性证明，和性能比较，著名的非支配排序遗传算法（NSGA 2）和最近提出的一群方法的多目标问题，涉及基于遗传算法的优化。
2022-11-28 math.OC
Second-Order Consensus of Networked Mechanical Systems With Communication Delays
Beijing Institute of Control Engineering（北京控制工程研究所）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
本文研究了存在非均匀通信延迟的网络机械系统二级共识问题，提出自适应控制器和分布式速度观测器实现二级共识，证明位置和速度同步，并收敛到初始值的加权平均。
2014-02-28 cs.SY eess.SY math.OC
Distributed Optimization with Nesterov Momentum and Finite-Time Quantized Averaging over Directed Networks: Extended Version
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；The Hong Kong University of Science and Technology（香港科技大学）；KTH Royal Institute of Technology（皇家理工学院）
本文针对分布式优化中节点函数曲率差异导致的zigzag现象及通信带宽限制问题，提出QANM算法，结合Nesterov加速梯度下降与量化共识协议，实现线性收敛。
2026-10-27 cs.SY eess.SY math.OC
Adaptive Uncertainty-Weighted ADMM for Distributed Optimization
提出了一种求解大规模凸优化问题的自适应不确定加权一致ADMM方法AUQ-ADMM。我们的主要贡献是一种新的自适应加权方案，经验上增加了共识ADMM计划取得的进展，是有吸引力的，当使用大量的子问题。权重与每个子问题的解决方案相关的不确定性，并使用低秩近似有效地计算。我们证明了AUQ-ADMM可证明收敛，并证明了其在一系列机器学习应用中的有效性，包括弹性网络回归，多项式逻辑斯谛回归和支持向量机。我们提供了一个基于PyTorch包的实现。
2022-04-19 cs.NA math.NA math.OC
Adaptive Momentum via Minimal Dual Function for Accelerating Randomized Sparse Kaczmarz
College of Science, National University of Defense Technology（国防科技大学理学院）
本文提出基于最小对偶函数原理的自适应动量方法，突破最小误差原理的精确测量限制，并结合分位数采样构建通用算法框架，实现对精确、噪声或损坏线性系统的统一处理，理论证明了期望Bregman距离的线性收敛性，并通过实验验证方法有效性。
2026-03-31 math.OC
Multi-agent Optimal Consensus with Unknown Control Directions
研究了一类控制方向未知的异质高阶智能体的最优一致性问题。与已有的一致性结果相比，进一步要求一致点是某个分布式最优化问题的最优解。为了解决这一问题，我们首先为每个智能体增加一个最优信号发生器，以重现给定分布式最优化问题的全局最优点，然后通过为这些增强的智能体开发自适应跟踪控制器来完成全局最优一致性设计.此外，我们提出了一个扩展时，只有实时梯度。在这两种情况下，所有代理的轨迹被证明是明确的，并达到预期的共识的最佳点。两个数值例子验证了我们的算法的有效性。
2020-07-25 cs.SY eess.SY math.OC
The fastest linearly converging discrete-time average consensus using buffered information
在这封信中，我们研究的问题，加速达成平均共识的连通图在离散时间通信设置。文献表明，可以通过增加图的连通性或优化代理对从邻居接收的信息所设置的权重来加速共识算法。在这封信中，我们没有改变通信图，而是研究了两种使用缓冲状态来加速在给定图上达到平均共识的方法。在第一种方法中，我们研究了著名的一阶Laplacian平均一致性算法的收敛速度如何随延迟反馈的变化，并得到了一个关于延迟范围的充分条件，导致更快的收敛。在第二种方法中，我们展示了如何将平均一致性问题转化为一个凸优化问题，并通过一阶加速优化算法求解强凸费用函数。我们使用所谓的三重动量优化算法构造最快收敛的平均一致性算法。我们证明了我们的结果使用网络内的线性回归问题，这是制定为两个平均共识问题。
2022-06-20 cs.MA math.OC
Training Deep Neural Networks with Adaptive Momentum Inspired by the Quadratic Optimization
National University of Defense Technology（国防科技大学）；Tsinghua University（清华大学）；University of Utah（犹他大学）
重球动量在加速（随机）基于梯度的优化算法用于机器学习中至关重要。现有的重球动量通常由一个统一的超参数加权，这依赖于过度的调整。此外，校准的固定超参数可能不会导致最佳性能。在本文中，为了消除调整动量相关的超参数的努力，我们提出了一个新的自适应动量的启发重球动量的二次优化的最佳选择。我们提出的自适应重球动量可以改善随机梯度下降（SGD）和亚当。具有新设计的自适应动量的SGD和Adam对大学习率更鲁棒，收敛更快，并且比基线更好地推广。我们在广泛的机器学习基准测试（包括图像分类、语言建模和机器翻译）上验证了SGD和Adam的效率。最后，我们提供了收敛保证SGD和亚当与建议的自适应动量。
2021-10-18 cs.LG math.OC
Topology Design for Distributed Consensus with Relay-Assisted Communication
Linköping University（林雪平大学）
本文提出一种基于时间共享和ActiveSet算法的中继辅助拓扑优化方法，通过概率激活多个中继配置并联合优化混合矩阵与激活概率，加速弱连接网络上的分布式一致性收敛，实现更优的性能-成本权衡。
2026-10-07 cs.SY eess.SY math.OC
Accelerated Alternating Direction Method of Multipliers Gradient Tracking for Distributed Optimization
本文提出一种结合动量、ADMM与梯度跟踪的新型加速分布式优化算法，理论证明其收敛速度快于非加速同类算法，仿真验证其性能优于现有分布式共识一阶优化协议。
2024-05-14 cs.SY eess.SY math.OC
Stochastic Gradient Descent with Nonlinear Conjugate Gradient-Style Adaptive Momentum
University of Utah（犹他大学）；University of Kentucky（肯塔基大学）
动量在基于随机梯度的优化算法中起着至关重要的作用，用于加速或改进深度神经网络（DNN）的训练。在深度学习实践中，动量通常由校准良好的常数加权。然而，调整动量的超参数可能是一个巨大的计算负担。在本文中，我们提出了一种新的\emph{adaptive momentum}用于改进DNN训练;这种自适应动量，不需要动量相关的超参数，由非线性共轭梯度（NCG）方法激发。具有这种新的自适应动量的随机梯度下降（SGD）消除了对动量超参数校准的需要，允许显著更大的学习率，加速DNN训练，并提高训练的DNN的最终准确性和鲁棒性。例如，具有该自适应动量的SGD分别从$5.25\%$到$4.64\%$和从$23.75\%$到$20.03\%$减少了用于训练CIFAR 10和CIFAR 100的ResNet 110的分类误差。此外，具有新的自适应动量的SGD也有利于对抗训练，并提高了训练的DNN的对抗鲁棒性。
2020-12-03 cs.LG cs.NA math.NA
Solving a class of non-convex min-max games using adaptive momentum methods
Splunk；University of Florida（佛罗里达大学）
自适应动量方法最近在深度神经网络的训练中引起了很多关注。它们使用目标函数的过去梯度的指数移动平均来更新搜索方向和学习速率。然而，这些方法不适合解决在训练生成对抗网络中出现的最小-最大最优化问题。在本文中，我们提出了一个自适应动量最小-最大算法，推广自适应动量方法的非凸最小-最大制度。此外，我们建立了非渐近收敛速度的算法时，在一个合理的广泛的类非凸最小最大最优化问题。实验结果表明，它的优越性能与基准方法解决此类问题。
2021-04-26 cs.LG math.OC stat.ML
Adaptivity without Compromise: A Momentumized, Adaptive, Dual Averaged Gradient Method for Stochastic Optimization
Facebook AI Research（Facebook人工智能研究院）；Princeton University（普林斯顿大学）
我们介绍MADGRAD，一种新的优化方法在家庭的AdaGrad自适应梯度方法。MADGRAD在多个领域的深度学习优化问题上表现出色，包括视觉中的分类和图像到图像任务，以及自然语言处理中的循环和双向掩码模型。对于这些任务中的每一个，MADGRAD在测试集性能上都与SGD和ADAM相匹配或优于SGD和ADAM，即使在自适应方法通常表现不佳的问题上也是如此。
2021-08-26 cs.AI cs.LG math.OC
DEAM: Adaptive Momentum with Discriminative Weight for Stochastic Optimization
IFM Lab, Florida State University（佛罗里达州立大学IFM实验室（IFM Lab, Florida State University））
具有动量的优化算法，例如，（ADAM），由于与随机梯度下降（SGD）相比更快的收敛速度，已被广泛用于构建深度学习模型。在参数更新过程中，动量有助于加速相关方向上的SGD，从而减小参数更新路径的振荡。然而，像ADAM这样的动量优化算法在某些更新步骤中存在误差。固定动量权重（例如，β_1）将传播动量计算中的误差。本文介绍了一种新的优化算法，即自适应动量判别加权法（DEAM）。DEAM提出了基于判别角自动计算动量项权重的方法，而不是用固定的超参数来分配动量项权重。这样，DEAM涉及更少的超参数。DEAM还包含一个新的回溯项，当需要校正最后一步时，该项限制了冗余更新。大量的实验表明，DEAM可以实现更快的收敛速度比现有的优化算法在训练的深度学习模型的凸和非凸的情况。
2020-01-23 cs.LG math.OC stat.ML
Stability and Performance Limits of Adaptive Primal-Dual Networks
MIT Lincoln Laboratory（麻省理工学院林肯实验室）；University of California, Los Angeles（加州大学洛杉矶分校）
这项工作研究了分布式的原始-对偶策略，用于从流数据中通过网络进行适应和学习。基于Arrow-Hurwicz（AH）和增广拉格朗日（AL）技术，考虑了两种一阶方法。几个揭示性的结果发现在这些策略的性能和稳定性时，采用自适应网络。结论表明，这些方法对确定性优化问题的优点不一定适用于随机最优化问题。结果表明，它们的稳定性范围较窄，稳态均方误差性能比共识和扩散型原始方法差。研究还发现，AH技术在部分观测模型下会变得不稳定，而其他技术在这种情况下能够恢复未知。提出了一种通过将步长的选择与正则化参数相联系来提高AL策略性能的方法。结果表明，这种方法允许AL算法接近共识和扩散策略的性能，但它仍然比这些其他策略不太稳定。
2015-05-13 cs.DC cs.LG cs.MA
Optimal Output Consensus of Second-Order Uncertain Nonlinear Systems on Weight-Unbalanced Directed Networks
研究了二阶不确定非线性多智能体系统在权值不平衡有向网络上的分布式最优输出一致性问题。在局部代价函数强凸且具有全局Lipschitz梯度的标准假设下，设计了一种新的分布式动态状态反馈控制器，使得所有智能体的输出均达到最小化全局代价函数的最优解，该全局代价函数是所有局部费用函数之和.控制器的设计是基于一个两层的策略，其中一个分布式的最优协调器和参考跟踪控制器分别提出来解决所带来的挑战，从不平衡的有向网络和不确定的非线性函数。所提出的控制器的一个关键特点是，包含不确定性和干扰的非线性函数不需要全局Lipschitz。此外，利用适应控制技术，不需要任何不确定性或干扰的先验知识。最后通过两个仿真实例验证了所提控制方案的有效性。
2021-07-08 cs.SY eess.SY math.OC
Adaptive and Momentum Methods on Manifolds Through Trivializations
University of Oxford（牛津大学）
自适应方法没有直接推广到流形，因为自适应项不是不变的。流形上的动量方法受到流形曲率引起的效率问题的影响。我们引入了一个框架来推广自适应和动量方法到任意流形，注意到对于每个可微流形，存在一个径向凸开集，几乎覆盖了所有的流形。由于是径向凸的，所以该集合与$\mathbb{R}^n$同构。这给出了任何自适应和基于动量的算法到覆盖任意流形中几乎所有流形的集合的自然推广。我们还展示了如何将这些方法扩展到具有收缩的梯度下降方法。对于它的实现，我们带来了一个近似矩阵的指数，只需要5个矩阵乘法，使其在GPU上特别有效。在实践中，我们看到，这一系列的算法关闭的数值差距所造成的不正确使用的动量和自适应方法的流形。同时，我们看到，这个家庭的最有效的算法是通过简单地拉回到切空间的问题在初始点通过指数映射。
2020-10-09 cs.LG cs.NA math.NA
