Distributed aggregative optimization with quantization communication
本文研究了一类通信瓶颈下的聚合最优化问题。综合优化的目标是使局部费用函数之和最小。每个费用函数不仅依赖于局部状态变量，而且依赖于全局状态变量的函数之和。我们的目标是解决聚合最优化问题，通过分布式计算和本地有效的通信网络的代理没有一个中央协调员。采用变量跟踪方法寻找全局状态变量，并采用量化方案减少优化过程中的通信开销，提出了一种新的分布式量化算法D-QAGT，利用有限比特通信来跟踪最优变量。虽然量化可能会损失传输信息，我们的算法仍然可以达到精确的最优解与线性收敛速率。最后通过一个最优布局问题的仿真实验验证了理论结果的正确性。
2022-01-06 math.OC
Distributed Nash equilibrium seeking for aggregative games with coupled constraints
本文研究了具有耦合约束的聚合对策的分布式连续时间设计问题，目的是通过简单的局部信息交换，由一组代理寻求广义Nash均衡。为了解决这个问题，我们提出了一个分布式算法的基础上投影动力学和非光滑跟踪动力学，即使在多智能体网络的交互拓扑结构是时变的情况下。利用分布式对策的特殊结构，结合变分不等式和李雅普诺夫函数的技巧，证明了分布式对策非光滑算法的收敛性.
2017-02-23 math.OC
Accelerated Distributed Aggregative Optimization
本文提出两种结合重球法和Nesterov加速的分布式聚合梯度跟踪算法，在强凸和Lipschitz连续梯度条件下实现全局线性收敛，并通过数值实验验证其有效性、鲁棒性和优越性。
2025-03-30 math.OC
Distributed Online Convex Optimization with an Aggregative Variable
研究了多智能体网络中存在聚集变量且没有全局/中心协调器的分布式在线凸优化问题，其中每个智能体只能获得时变全局损失函数的部分信息，因此需要相邻智能体之间进行局部信息交换.受现实中许多应用的启发，所考虑的局部损失函数不仅依赖于它们自己的决策变量，而且依赖于一个聚集变量，例如所有决策变量的平均值。为了解决这个问题，在线分布式梯度跟踪算法（O-DGT）提出了准确的梯度信息，它表明，动态遗憾的上界由三个项：一个次线性项，路径变化项，和梯度变化项。同时，O-DGT算法也分析了随机/噪声梯度，表明预期的动态遗憾有相同的上界的精确梯度的情况下。据我们所知，本文是第一个研究在线凸优化存在的聚集变量，这与传统的情况下，没有聚集变量相比，具有新的特点。最后，数值实验证实了所得到的理论结果。
2020-07-14 math.OC
Single-timescale distributed GNE seeking for aggregative games over networks via forward-backward operator splitting
我们考虑具有仿射耦合约束的聚合博弈，其中代理商具有关于聚合值的部分信息，并且只能与相邻代理商进行通信。我们提出了一个单层分布式算法，达到变分广义纳什均衡，恒定的步长。该算法在单个时间尺度上工作，即，在更新其动作之前，不需要代理之间的多轮通信。收敛性证明利用了聚合估计的不变性，并依赖于两个预处理算子的前向-后向分裂及其在共识子空间上的限制（强）单调性。
2020-08-04 math.OC
Distributed event-triggered aggregative optimization with applications to price-based energy management
本文针对基于价格的能源管理中的分布式聚合优化问题，提出一种结合梯度动力学与动态平均一致性估计器的双时间尺度连续时间算法，证明其指数收敛性，并研究了事件触发通信实现，通过分布式能源管理仿真验证了方法的有效性。
2023-09-25 math.OC
Distributed Nash Equilibrium Seeking in Aggregative Games over Jointly Connected and Weight-Balanced Networks
该研究针对联合连通且权平衡的网络场景，提出新方法解决现有聚合博弈分布式纳什均衡求解方法依赖网络连通性的问题，证明了闭环系统输出可指数收敛到未知纳什均衡点。
2024-05-13 math.OC
A Communication-Efficient and Differentially-Private Distributed Generalized Nash Equilibrium Seeking Algorithm for Aggregative Games
本文针对聚合博弈中带宽受限的分布式广义纳什均衡求解问题，提出一种结合事件触发通信与信息压缩的通信高效算法，同时节省传输轮次和比特数，并证明其收敛性及在随机量化下实现$(0,δ)$-差分隐私。
2025-03-11 math.OC
An Optimal Distributed Algorithm with Operator Extrapolation for Stochastic Aggregative Games
本文研究了一类随机集结对策的纳什均衡问题，其中每个局中人都有一个期望值目标函数，该期望值取决于其局部策略和所有局中人策略的集合。我们提出了一个分布式算法与运营商外推，其中每个球员保持估计这个聚集通过交换此信息与它的邻居在一个随时间变化的网络，并更新其决定通过镜像下降法。在搜索方向上应用算子外推，使得利用两步历史梯度样本来加速收敛。在伪梯度映射的强单调性假设下，证明了该算法对于随机对策的纳什均衡搜索具有$\mathcal{O}(1/k)$的最优收敛速度。最后，通过数值模拟验证了算法的性能.
2022-05-14 math.OC
Dual Privacy Guarantees for Distributed Nash Equilibrium Seeking in Aggregative Games
School of Automation, Nanjing University of Science and Technology（南京理工大学自动化学院）
针对聚合博弈中的隐私保护分布式纳什均衡求解问题，提出一种结合随机事件触发与随机量化的差分隐私机制，通过双重随机性实现严格差分隐私并保证收敛性。
2026-05-26 math.OC
Efficient algorithm for approximating Nash equilibrium of distributed aggregative games
在本文中，我们的目的是设计一个分布式近似算法，寻找纳什均衡的一个集团对策。由于每个局中人的局部集合约束，基于投影的算法已被广泛应用于解决这类问题的实际。由于在实际中很难得到精确的投影，我们利用内接多面体来近似局部集合约束，从而得到一个相关的近似对策模型。我们首先证明了近似博弈的Nash均衡是原博弈的$ε$ -Nash均衡，然后提出了一个分布式算法来寻找$ε$ -Nash均衡，其中投影是二次规划的标准式.借助已有的求解二次规划的方法，证明了该算法的收敛性，并讨论了与逼近有关的计算代价问题.此外，基于算法的指数收敛性，我们估计了与$ε$相关的逼近精度。此外，我们调查的计算成本节省近似的数值例子。
2021-08-27 math.OC
Bayesian Nash Equilibrium Seeking for Distributed Incomplete-information Aggregative Games
本文研究不完全信息聚合博弈的分布式贝叶斯纳什均衡寻求问题，通过离散化连续类型克服非紧策略集带来的障碍，证明了离散模型均衡是ε-BNE，并提出并证明了具有收敛性的分布式算法。
2023-01-11 cs.GT math.OC
Privacy and Robustness Guarantees in Distributed Dynamics for Aggregative Games
本文研究了群体对策中的纳什均衡问题，其中每个局中人的支付函数依赖于所有局中人行动的总和。我们提出了一个分布式的连续时间算法，使球员的行动收敛到NE通过相互沟通，通过一个连接的网络。战略代理人之间的通信方案的一个主要问题是，他们的私人信息可能会透露给其他代理人或好奇的第三方谁可以窃听的通信。我们解决这个问题所提出的算法，并表明，私人信息的球员不能重建，即使所有的通信变量受到损害。由于代理可能会偏离NE寻求协议所规定的最优策略，我们研究了所提出的算法对时变干扰的鲁棒性。特别是，我们提供了严格的鲁棒性保证，通过证明输入状态稳定性（ISS）的NE寻求动态的属性。最后，我们展示了我们的理论研究结果的实际应用两个案例研究，即，在一个能源消耗的游戏和电动汽车的充电协调问题。
2019-11-01 math.OC
Networked Aggregative Games with Linear Convergence
本文研究了一个网络聚合博弈（NAG），其中局中人分布在一个通信网络上。通过仅与参与者的子集通信，NAG中的每个参与者的目标是最小化依赖于其自身动作和所有参与者动作的总和的个体费用函数。为此，我们设计了一种新的分布式算法，共同利用的共识算法和条件投影下降的想法。在伪梯度映射的强单调假设下，证明了所提出的固定步长算法线性收敛到NAG的唯一Nash平衡点。最后通过数值实验对理论结果进行了验证。
2021-05-12 math.OC
Distributed Generalized Nash Equilibria Learning for Online Stochastic Aggregative Games
针对含局部与时变耦合约束的在线随机聚合博弈，本文基于push-sum和原始-对偶策略设计分布式在线算法，证明其收敛性与性能界并通过仿真验证。
2025-11-17 math.OC
Distributed Computing for Huge-Scale Aggregative Convex Programming
Indian Institute of Technology Madras（印度马德拉斯理工学院）
本文提出了一种用于大规模聚合凸规划的分布式计算算法，通过一致性块和松弛变量处理约束，并利用多种优化方法实现收敛，收敛速率为O(1/k^{1/2})。
2026-07-30 math.OC
Nonconvex Distributed Feedback Optimization for Aggregative Cooperative Robotics
针对协作机器人网络的非凸聚合优化问题，提出结合闭环梯度流与一致性动态补偿器的 Aggregative Tracking Feedback，并证明其收敛至驻点且经多机器人监视仿真验证。
2024-04-05 cs.SY eess.SY math.OC
Distributed Projection-free Algorithm for Constrained Aggregative Optimization
本文研究了网络中的一个分布式凸聚合最优化问题，其中每个智能体都有自己的费用函数，该成本函数不仅依赖于它自己的决策变量，而且依赖于所有智能体的决策变量的聚合函数.决策变量被约束在可行集内。为了在每个Agent只知道其局部费用函数的情况下最小化费用函数之和，提出了一种基于梯度跟踪的分布式Frank-Wolfe算法，用于求解每个节点保持两个估计的聚集最优化问题，即Agent的决策变量之和的估计和全局函数梯度的估计.该算法是无投影的，但只涉及解决一个线性最优化得到一个搜索方向在每一步。我们证明了所提出的算法的收敛性凸和光滑的目标函数在一个随时间变化的网络。最后，我们通过数值模拟证明了该算法的收敛性和计算效率。
2022-07-25 cs.MA math.OC
Differentially Private Online Distributed Aggregative Games With Time-Varying and Non-Identical Communication and Feedback Delays
本文提出了一种在线分布式双平均算法，以处理具有时间变化和非相同通信和反馈延迟的差分隐私在线分布式聚合博弈中的隐私泄露问题，并实现了可证明的低遗憾界。
2025-12-13 cs.GT math.OC
Distributed Nash Equilibrium Seeking for Constrained Aggregative Games over Jointly Connected and Weight-Balanced Switching Networks
针对联合连通且权重平衡的切换网络上的约束聚合博弈，结合投影梯度与动态平均一致性算法，通过时变李雅普诺夫分析证明系统指数稳定性，实现分布式纳什均衡求解。
2025-02-25 math.DS math.OC
Distributed strategy-updating rules for aggregative games of multi-integrator systems with coupled constraints
在本文中，我们探讨了网络上的多集成商代理与耦合约束的聚合博弈。为了达到聚合博弈的一般纳什均衡，结合拉格朗日乘子的协调和聚合者的估计，提出了一种分布式策略更新规则.每个玩家只能访问部分决策信息，并在一个权重平衡的有向图中与他的邻居进行通信，该有向图表征了玩家对从邻居那里接收到的信息值的偏好。我们首先考虑网络的双积分代理，然后专注于多积分代理。利用李雅普诺夫稳定性理论、奇异扰动理论和无源理论分析了相应动力系统的收敛性，证明了所提策略更新规则的有效性.数值例子来说明我们的结果。
2021-06-20 cs.SY eess.SY math.OC
Accelerated Distributed Aggregative Optimization
Zhejiang University（浙江大学）；Huzhou Institute of Zhejiang University（浙江大学湖州研究院）
本文针对分布式聚合优化问题，结合 heavy ball、Nesterov 加速方法与分布式聚合梯度跟踪，提出 DAGT-HB 和 DAGT-NES 两种算法，在光滑强凸条件下实现全局 R-线性收敛，并通过数值实验验证其有效性与优越性。
2023-04-17 cs.LG cs.MA math.OC
Distributed coordination for seeking the optimal Nash equilibrium of aggregative games
针对具有层次结构的多智能体判定问题，设计了一种分布式协调算法。主要目标是寻找一个非合作对策的纳什均衡，使得每个局中人在其私人目标下都没有偏离均衡的动机。同时，代理人可以协调优化的纳什均衡的基础游戏的集合内的社会成本。这样的最优纳什均衡问题可以建模为一个带有变分不等式约束的分布式最优化问题。我们考虑的情况下，潜在的游戏和社会成本最优化问题的目标函数有一个特殊的聚合结构。由于每个参与者只能访问其局部目标，而不能知道所有参与者的决策，因此分布式算法是非常可取的。利用Tikhonov正则化和动态平均跟踪技术，在基于梯度的Nash均衡搜索的基础上引入激励项，提出了一种分布式协调算法，以干预参与者的决策，提高系统效率.通过仿真研究，证明了该算法收敛于单调对策的最优纳什均衡。
2022-05-14 cs.GT math.OC
Tracking-based distributed equilibrium seeking for aggregative games
Alma Mater Studiorum - Universita‘ di Bologna（博洛尼亚大学）；IMT School for Advanced Studies Lucca（卢卡高等研究学院）；University of Seville（塞维利亚大学）；University of Oxford（牛津大学）
针对网络下聚合博弈的纳什均衡搜索问题，提出两种带跟踪机制的全分布式算法，分别处理局部约束和耦合约束场景，证明其线性收敛性并通过仿真验证有效性与先进性。
2024-02-12 cs.GT cs.SY eess.SY
Model-Free Aggregative Cooperative Optimization via Randomized Gradient-Free Minimization and Exploration Momentum
UCLouvain（瓦隆布鲁塞尔天主教大学）；Università di Bologna（博洛尼亚大学）
本文提出ARGFree算法，通过随机梯度近似和跟踪变量解决无梯度信息的聚合协作优化问题，并改进为ARGFree-EM以提升高维场景下的性能。
2026-04-08 math.OC
Gradient-extrapolation-based distributed mirror descent algorithm for multi-cluster aggregative games
College of Artificial Intelligence, Nankai University（南开大学人工智能学院）
本文针对多集群聚合博弈的纳什均衡求解问题，提出带梯度外推的分布式镜像下降算法，在非欧几里得场景下实现$\tilde{O}(1/k)$收敛，经能源系统需求响应算例验证有效。
2026-08-26 cs.GT math.OC
A Distributed Iterative Tikhonov Method for Networked Monotone Aggregative Hierarchical Stochastic Games
针对网络化非光滑聚合随机博弈，提出一种叠加Tikhonov正则化的全分布式迭代近端随机梯度方法，证明了其几乎必然收敛至最小范数Nash均衡，并扩展至私有分层博弈环境，在Nash-Cournot问题上验证了正则化的有效性。
2024-06-27 math.OC
Distributed Online Aggregative Optimization for Dynamic Multi-robot Coordination
本文研究动态多机器人协调中的分布式在线聚合优化问题，提出常数步长的 Projected Aggregative Tracking 算法，证明动态遗憾有界且静态情形下线性收敛，数值实验验证其有效性。
2023-09-12 cs.SY eess.SY math.OC
Differentially-private Distributed Algorithms for Aggregative Games with Guaranteed Convergence
针对聚合博弈，提出一种无需加密的分布式算法，在保证严格差分隐私的同时确保纳什均衡计算精度，并适用于随机场景。
2023-06-23 cs.GT cs.SY eess.SY
A distributed algorithm for average aggregative games with coupling constraints
Laboratory for Information and Decision Systems, MIT（麻省理工学院信息与决策系统实验室）；Automatic Control Laboratory, ETH Zurich（苏黎世联邦理工学院自动控制实验室）
本文提出一种分布式算法，用于解决带有耦合约束的平均聚合博弈问题，通过局部通信实现近Nash均衡，理论分析应用于多市场Cournot博弈。
2017-10-17 cs.GT cs.MA cs.SI
Distributed equilibrium seeking in aggregative games: linear convergence under singular perturbations lens
提出一种全分布式算法，通过跟踪机制重构聚合变量，利用奇异摄动框架分析，在强单调博弈中实现线性收敛，并在智能电网电压支撑案例中验证有效性。
2025-05-27 cs.GT cs.SY eess.SY
Data-Driven Distributed Optimization via Aggregative Tracking and Deep-Learning
Department of Electrical, Electronic and Information Engineering, Alma Mater Studiorum - Universita‘ di Bologna（博洛尼亚大学电气、电子与信息工程学院）
本文提出基于聚合跟踪和深度学习的数据驱动分布式优化方法，通过神经网络学习局部成本下降方向并结合跟踪机制，实现强凸问题的线性收敛。
2026-01-23 cs.SY eess.SY math.OC
Network Aggregative Games and Distributed Mean Field Control via Consensus Theory
ETH Zurich（苏黎世联邦理工学院）
本文研究了网络聚合博弈模型，提出分布式算法以实现纳什均衡，并结合共识理论实现分布式均场控制，同时扩展了意见动态和智能建筑需求响应模型。
2015-06-25 cs.GT cs.MA cs.SI
A Primal Decomposition Approach to Globally Coupled Aggregative Optimization over Networks
我们考虑一类多智能体优化问题，其中每个智能体都有一个局部目标函数，该函数依赖于自己的决策变量和其他智能体的集合，并且愿意与其他智能体合作以最小化局部目标的总和。在将每个代理与一个辅助变量和相关的局部估计相关联之后，我们对全局耦合问题进行原始分解并重新表示，以便可以分布式求解。基于Douglas-Rachford方法，提出了一个算法，该算法保证精确收敛到原问题的解。所提出的方法只需要每个代理保持本地估计，其数量与其邻居的数量线性增长，享有理想的可扩展性。我们说明了我们提出的算法通过数值模拟的商品配送问题的运输网络。
2021-09-30 cs.SY eess.SY math.OC
Distributed Stochastic Compositional Optimization Problems over Directed Networks
研究了有向通信网络上的分布式随机组合最优化问题，其中智能体私有一个随机组合目标函数，并通过协作来最小化所有目标函数之和.本文提出了一种分布式随机组合梯度下降算法，该算法采用梯度跟踪和随机校正技术，以适应网络的有向结构，提高内函数估计的精度。当目标函数光滑时，该方法的收敛速度和样本复杂度分别为$\mathcal{O}\left(k^{-1/2}\right)$和$\mathcal{O}\left(\frac{1}{ε^2}\right)$，并能找到（$ε$）-平稳点.当目标函数为强凸时，收敛速度提高到$\mathcal{O}\left(k^{-1}\right)$ .此外，还给出了该方法的Polyak-Ruppert平均迭代的渐近正态性.我们证明了所提出的方法在模型不可知的元学习问题和逻辑斯谛回归问题上的经验性能。
2022-03-21 math.OC
On the Efficiency of Nash Equilibria in Aggregative Charging Games
ETH Zürich（苏黎世联邦理工学院）；MIT（麻省理工学院）
本文研究了在聚合充电博弈中纳什均衡的效率问题，通过分析纳什均衡与社会最优解之间的价格错配，得出了在不同价格函数情况下纳什均衡效率趋近于最优的结论，并提供了有限人口下的效率界限。
2018-05-15 cs.GT cs.SY eess.SY
Contractivity of Distributed Optimization and Nash Seeking Dynamics
本文从收缩理论视角研究分布式优化与纳什均衡寻求动态，给出鞍点矩阵对数范数新界，建立分布式梯度流在不变子空间上的强收缩性，并给出伪梯度与最优响应博弈中强收缩的充分条件及其等价性。
2023-09-21 cs.SY eess.SY math.OC
Linearly Convergent Variable Sample-Size Schemes for Stochastic Nash Games: Best-Response Schemes and Distributed Gradient-Response Schemes
本文研究了一个$N$ -局中人随机Nash对策，其中第一局中人$i$最小化一个复合目标$f_i(x) + r_i(x_i)$，其中$f_i$是期望值，$r_i$有一个有效的最优估计.在这方面，我们作出以下贡献。(i)在一个强单调性假设的级联梯度图，我们推导出（{ \bf最优}）率报表和Oracle的复杂性界限，建议可变样本量近端随机梯度响应（VS-PGR）计划;（ii）我们覆盖（VS-PGR）的共识阶段，以期发展分布式协议的聚合随机纳什博弈。值得注意的是，当样本量和共识步骤的数量在每次迭代增长在一个合适的速度，线性收敛速率可以实现;（iii）最后，根据一个合适的收缩属性与近端最佳响应（BR）地图，我们设计了一个可变的样本量近端BR（VS-PBR）计划，其中近端BR计算通过解决一个样本平均问题。如果计算样本平均值的批量大小以合适的速率提高，我们证明了所得到的迭代以线性速率收敛，并推导出预言机的复杂性。
2018-10-25 math.OC
Continuous-time fully distributed generalized Nash equilibrium seeking for multi-integrator agents
我们考虑在部分决策信息场景中由动态代理进行的具有凸可分离耦合约束的强单调游戏。我们首先设计连续时间完全分布式反馈控制器，基于共识和原始-对偶梯度动力学，在单积分代理网络中寻求广义纳什均衡。我们的第一个解决方案采用了一个固定的增益，其选择需要一些全局参数的游戏的知识。为了放松这一要求，我们设想了一个控制器，可以调整在一个完全分散的方式，由于使用不协调的积分自适应权重。我们还介绍了专门为广义聚合游戏设计的算法。最后，我们适应我们所有的控制方案来处理异构多积分代理，反过来，与非线性反馈线性化动力系统。对于所有提出的动态，我们证明了收敛到变分平衡，利用单调性和稳定性理论的投影动力系统。
2021-03-19 cs.GT cs.MA math.OC
Distributed Variable Sample-Size Gradient-response and Best-response Schemes for Stochastic Nash Equilibrium Problems over Graphs
本文考虑了一个随机纳什对策，其中每个局中人最小化一个期望值复合目标。我们做出以下贡献。(I)在级联梯度映射上适当的单调性假设下，当样本量以几何速率增加时，我们得到了所提出的变样本量邻近随机梯度响应（VS-PGR）方案的最优速率声明和预言复杂度界.如果样本量以次数$v > 0$的多项式速率增加，则均方误差以相应的多项式速率衰减，而获得$ε$ -NE的迭代和oracle复杂性分别为$\mathcal{O}(1/ε^{1/v})$和$\mathcal{O}(1/ε^{1+1/v})$。(II)然后，我们覆盖（VS-PGR）的共识阶段，以期发展分布式协议的聚合随机纳什博弈。在所得到的方案中，当样本量和一致性步骤以几何和线性速率增长时，计算$ε$需要与具有$\mathcal{O}(\ln^2(1/ε))$的通信复杂度的（VS-PGR）类似的迭代和oracle复杂度;（III）在与邻近最佳反应（BR）图相关联的适当收缩性质下，我们设计了可变样本量邻近BR（VS-PBR）方案，其中每个参与者解决样本平均BR问题。类似于（I），我们也给出了速率语句、预言机和迭代复杂度的界. (IV)类似于（II），当每次迭代的通信轮数以线性速率增加时，分布式变体实现了与集中式（VS-PBR）类似的迭代和预言复杂度，其中通信复杂度为$\mathcal{O}(\ln^2(1/ε))$。最后，我们提出了一些初步的数字，…
2020-05-22 math.OC
A Tutorial on Distributed Optimization for Cooperative Robotics: from Setups and Algorithms to Toolboxes and Research Directions
University of Bologna（博洛尼亚大学）
本文探讨了分布式优化在协作机器人中的应用，介绍了约束耦合和聚合优化框架，并展示了相关算法、工具箱及在异构机器人网络上的实验验证。
2025-04-02 cs.RO math.OC
Federated Compositional Muon Optimizer for Matrix-Wise Models
College of Computer Science and Technology, Nanjing University of Aeronautics and Astronautics（南京航空航天大学计算机科学与技术学院）
针对现有Muon优化器不适用于分层结构化问题的缺陷，提出FedCoMuon及FedCoMuon-VR优化器，理论分析其收敛性并通过实验验证其在联邦学习等任务中的性能优于基线方法。
2026-08-19 cs.LG math.OC
FedDRO: Federated Compositional Optimization for Distributionally Robust Learning
Wayne State University（韦恩州立大学）；New Jersey Institute of Technology（新泽西理工学院）
本文提出FedDRO框架，通过利用DRO结构设计通信策略解决联邦组合优化中的数据异构与偏差放大问题，实现不依赖大批量梯度的独立精度算法，并达到O(ε^-2)样本与O(ε^-3/2)通信复杂度及客户端线性加速。
2023-11-21 cs.LG math.OC
Faster Adaptive Momentum-Based Federated Methods for Distributed Composition Optimization
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）
联邦学习是机器学习中一种流行的分布式学习范式。同时，组合优化是一种有效的分层学习模型，它出现在许多机器学习应用中，如元学习和鲁棒学习。最近，虽然已经提出了一些联邦组合优化算法，但它们仍然受到高样本和通信复杂性的困扰。因此，在本文中，我们提出了一类更快的联邦组合优化算法（即，MFCGD和AdaMFCGD）来求解非凸分布组合问题，该方法建立在基于动量的方差缩减和局部SGD技术的基础上。特别是，我们的自适应算法（即，AdaMFCGD）使用统一的自适应矩阵来灵活地合并各种自适应学习率。此外，我们提供了一个坚实的理论分析，我们的算法在非独立同分布。设置，并证明我们的算法获得了较低的样本和通信复杂性同时比现有的联邦组合算法。具体来说，我们的算法获得较低的样本复杂度的$\tilde{O}(ε^{-3})$与较低的通信复杂性的$\tilde{O}(ε^{-2})$在寻找一个$ε$ -平稳的解决方案。我们在鲁棒的联邦学习和分布式元学习任务上进行了数值实验，以证明我们的算法的效率。
2023-03-30 cs.LG math.OC
Achieving Linear Speedup in Decentralized Stochastic Compositional Minimax Optimization
Temple University（天普大学）
针对去中心化随机复合极小极大优化中标准gossip通信策略因内层函数共识误差大而无法实现线性加速的问题，提出了一种带动量的去中心化随机复合梯度下降上升算法，有效降低了共识误差并实现了线性加速。
2023-08-01 cs.LG math.OC
A Compositional Framework for First-Order Optimization
本文提出基于操作子代数的一阶优化组合框架，可分层组合超图优化问题并自动生成分布式算法，推导了分解可解性充分条件，实现了Julia包并验证分层对偶分解在分层流网络上性能更优。
2024-03-08 math.CT math.OC
Optimal Design of Queuing Systems via Compositional Stochastic Programming
设计良好的排队系统构成了现代通信、分布式计算和内容交付体系结构的支柱。平衡基础设施成本和用户体验指数的设计需要来自电信业务理论和运营研究的工具。设计这种系统的标准方法涉及制定优化问题，这些优化问题力求在遵守服务质量和其他物理约束的同时最大化相关的效用函数。在许多情况下，制定这样的问题需要对到达和离开过程进行简单的假设，以保持问题的简单性。本文提出了一个随机优化框架，用于设计外生过程可能具有任意和未知分布的排队系统。我们发现，许多这样的排队设计问题一般可以制定为随机优化问题的目标和约束是非线性函数的期望。组成结构避免了使用经典的随机近似方法，其中随机梯度往往需要是无偏的。为此，提出了一种约束随机组合梯度下降算法，该算法利用跟踪步骤的预期价值函数。该算法的非渐近性能的特点是通过其迭代复杂度。数值试验验证了理论结果，并证明了所提出的算法的有效性。
2019-07-20 cs.IT math.IT math.OC
Distributed Algorithms for Linearly-Solvable Optimal Control in Networked Multi-Agent Systems
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Georgia Institute of Technology（佐治亚理工学院）；University of Nevada, Reno（内华达大学里诺分校）
研究了网络化多智能体系统（MAS）离散时间和连续时间线性可解最优控制（LSOC）问题的分布式算法。提出了一种分布式框架，将网络化MAS的最优控制问题分解为阶乘子系统中的多个局部最优控制问题，使得每个（中心）Agent的行为最优地最小化由中心Agent及其相邻Agent组成的子系统的联合成本函数，并且局部控制行为（策略）仅依赖于局部观测的知识.在这个框架下，我们不仅保持相邻代理之间的相关性，但适度的通信和计算复杂性通过分散的采样和计算过程中的网络。对于离散时间系统的马尔可夫决策过程建模，每个子系统的联合贝尔曼方程转化为线性方程组，并使用并行编程求解。对于连续时间系统的伊藤扩散过程建模，每个子系统的联合最优性方程转化为一个线性偏微分方程，其解分别近似的路径积分公式和样本有效的相对熵策略搜索算法。通过组合性原理将学习控制策略推广到非学习任务的求解，并以无人机编队为例验证了算法的有效性和优越性。
2021-02-18 cs.LG cs.MA cs.RO
