Distributed Asynchronous Mixed-Integer Linear Programming with Feasibility Guarantees
本文提出一种分布式异步鞍点计算方法求解混合整数线性规划，通过线性规划松弛、正则化Lagrangian及并行算法，保证解的可行性且对异步通信具有容忍度。
2024-09-27 math.OC
Asynchronous Parallel Policy Gradient Methods for the Linear Quadratic Regulator
本文针对连续时间线性二次调节问题，提出异步并行零阶策略梯度方法，并从理论和仿真两方面证明了其线性加速特性。
2024-07-03 math.OC
Delay-agnostic Asynchronous Distributed Optimization
针对现有异步分布式优化算法步长依赖延迟界导致收敛慢的问题，提出两种与延迟无关的异步分布式优化算法，在两类异步场景下证明收敛性，实验验证了其性能优势。
2023-08-23 math.OC
Asynchronous Sequential Inertial Iterations for Common Fixed Points Problems with an Application to Linear Systems
公共不动点问题要求在有限算子集合的不动点集合的交集中找到一个点。快速解决这类问题对于工程和科学任务具有重要的实际意义（例如，用于计算机断层扫描）。求解这些问题的迭代法通常采用Krasnosel'ski \u-Mann型迭代。我们提出了一个异步序列惯性（ASI）算法框架，在希尔伯特空间中解决常见的不动点问题的非扩张算子的集合。我们的计划允许使用过时的迭代生成更新时，从而使处理节点同时工作，没有同步。该方法还包括惯性型外推项，以提高收敛速度。特别地，我们扩展了最近的ARock算法”[Peng，Z.等人，SIAM J. on Scientific Computing 38，A2851-2879，（2016）]中。ASI算法的收敛性证明，没有假设的延迟的分布，但他们是一致有界的。讨论提供了一个计算的例子，显示的性能的ASI算法与对角松弛正交投影（DROP）算法估计的解决方案，以大型线性系。
2019-01-23 math.OC
Asynchronous Schemes for Stochastic and Misspecified Potential Games and Nonconvex Optimization
分布式计算的均衡和最优已经看到越来越多的兴趣在广泛收集的网络问题。本文研究了由可能非凸的势函数刻画的凸随机Nash对策的平衡点的计算。我们的重点是两类随机纳什博弈：（P1）：一个潜在的随机纳什博弈，其中每个玩家解决一个参数化的随机凸规划;和（P2）：一个错误指定的推广，其中玩家特定的随机规划是复杂的参数错误指定。在这两种情况下，精确的近端BR解决方案通常是不可用的有限时间，因为它们需要解决参数化的随机程序。因此，我们设计了两个异步的不精确的邻近BR计划来解决问题，在每次迭代中，一个单一的球员被随机选择计算一个不精确的邻近BR解决方案与竞争对手的可能过时的信息。然而，在错误指定的制度（P2），每个球员拥有一个额外的估计错误指定的参数，并更新其估计的投影随机梯度（SG）算法。由于任何固定点的势函数是一个纳什均衡的相关游戏，我们相信本文是第一个随机非凸（但块凸）最优化问题配备了几乎必然收敛的保证。这些陈述可以扩展到允许容纳加权势博弈和广义势博弈。最后，我们提出了初步的数值应用所提出的方案的基础上，拥塞控制和纳什古诺游戏。
2019-08-02 math.OC
The Asynchronous PALM Algorithm for Nonsmooth Nonconvex Problems
我们介绍了异步PALM算法，一个新的扩展的近似交替线性最小化（PALM）算法解决非光滑，非凸最优化问题。与PALM算法一样，异步PALM算法的每一步都会更新一个坐标块;但与PALM算法不同的是，异步PALM算法不需要一个接一个地进行顺序更新。相反，我们的新算法允许每个坐标块以任何顺序异步更新，这意味着任何数量的计算核心都可以并行计算更新，而无需同步计算。在实践中，这种并行化策略通常会导致加速比随着计算核心的数量线性增加。我们介绍了两个变种的异步PALM算法，一个随机和一个确定性。在随机\textit{and}确定的情况下，我们证明了算法的聚类点是平稳点。在确定性的情况下，我们表明，该算法的全局收敛时，Kurdyka-Eschojasiewicz属性保持密切相关的目标函数的功能，我们推导出它的收敛速度在一个共同的特殊情况。最后，我们提供了一个具体的情况下，我们的假设成立。
2016-04-02 math.OC
An Asynchronous Parallel Randomized Kaczmarz Algorithm
我们描述了一个异步并行变量的随机Kaczmarz（RK）算法求解线性系$Ax=b$。分析表明，线性收敛，并表明，近线性加速，可以预期，如果处理器的数量是有界的$A$中的行数的倍数。
2014-06-07 cs.NA math.NA math.OC
A Fast Distributed Asynchronous Newton-Based Optimization Algorithm
网络系统上局部凸目标函数之和最小化问题是分布式优化领域的重要问题之一。这一领域的大部分现有工作都集中在开发分布式算法，在一个中央时钟的存在下，在同步设置，代理需要等待最慢的一个完成更新，然后再进行下一个时钟。异步分布式算法消除了对中央协调器的需要，减少了同步等待，并允许一些代理更快地计算和执行更多的迭代。在异步设置中，用于解决该问题的唯一已知算法可以实现线性或次线性的收敛速率。在这项工作中，我们建立在现有的文献开发和分析的异步牛顿为基础的方法来解决惩罚版本的问题。我们证明了该算法在期望下具有全局线性收敛性和局部二次收敛性，并保证了算法的几乎必然收敛。数值研究证实了我们的算法对其他异步方法的优越性能。
2019-01-04 math.OC
Conservative Signal Processing Architectures For Asynchronous, Distributed Optimization Part II: Example Systems
本文提供了各种同步和异步信号处理系统进行优化的例子，利用在前面的文件中开发的框架和元素。该论文的一般策略是对适用于一类凸和非凸最优化问题的平稳性条件进行线性变换，从而得到对相关原始和对偶决策变量的线性叠加进行运算的算法。本文中的例子解决了各种具体的最优化问题，包括LASSO问题，最小最大最优滤波器设计，分散训练的支持向量机分类器，稀疏滤波器设计的声学均衡。在适当的情况下，多个算法解决相同的最优化问题，说明了使用的基础框架，在设计各种不同类别的算法。例子中附有数值模拟和收敛性的讨论。
2015-03-04 math.OC
Asynchronous and Distributed Tracking of Time-Varying Fixed Points
本文提出了一个跟踪时变压缩映射不动点的算法框架。跟踪误差的分析结果建立的情况下，其中：（i）基本的收缩自映射在算法的每一步的变化;（ii）只有一个不完美的信息的地图是可用的;和，（iii）该算法是以分布式的方式实现的，与通信延迟和丢包导致异步算法更新。分析结果适用于几类问题，包括时变收缩映射出现的在线和异步实现的基于梯度的方法随时间变化的凸规划。在该领域中，所提出的框架还可以捕获基于反馈的在线算法的操作原理，其中在线梯度步骤被适当地修改以适应来自底层物理或逻辑网络的可操作反馈。提供的应用程序和说明性的数值结果的例子。
2018-09-12 math.OC
Towards Totally Asynchronous Primal-Dual Convex Optimization in Blocks
提出了一种求解约束凸优化问题的并行原始对偶法。该算法是“基于块的”，因为原始和对偶变量的向量被划分成块，每个块仅由单个处理器更新。我们考虑四种可能的形式的通信：在更新原始变量，更新对偶变量，通信的原始变量，和通信的对偶变量。我们明确地构造了一个家庭的反例，以排除允许异步通信的对偶变量，虽然其他形式的异步通信是允许的，所有不需要限制延迟。一阶更新法的开发和被证明是鲁棒的。然后，我们推导出收敛速度的拉格朗日鞍点方面的操作代理执行，而不指定任何时间或模式，他们必须执行。这些收敛速度包含作为特殊情况的同步算法，并用于量化“延迟惩罚”。“数值结果说明了这些发展。
2020-08-29 math.OC
Totally Asynchronous Primal-Dual Convex Optimization in Blocks
提出了一种求解约束凸优化问题的并行原始对偶法。该算法是“基于块的”，因为原始和对偶变量的向量被划分成块，每个块仅由单个处理器更新。我们考虑四种可能的形式的通信：在更新原始变量，更新对偶变量，通信的原始变量，和通信的对偶变量。我们构建了一个家庭的明确的反例，以显示需要消除异步通信的对偶变量，虽然其他形式的同步是允许的，所有不需要限制延迟。一阶原始-对偶更新法的开发和证明是强大的。然后，我们推导出收敛速度的拉格朗日鞍点方面的操作代理执行，而不指定任何时间或模式，他们必须执行。这些收敛速度包括一个“模糊惩罚”，我们量化和目前的方法来减轻。数值结果说明了这些发展。
2022-05-03 math.OC
DAve-QN: A Distributed Averaged Quasi-Newton Method with Local Superlinear Convergence Rate
在本文中，我们考虑分布式算法解决的经验风险最小化问题下的主/工人通信模型。我们开发了一个分布式异步拟牛顿算法，可以实现超线性收敛。据我们所知，这是第一个分布式异步算法的超线性收敛保证。我们的算法是通信效率的意义上说，在每一次迭代的主节点和工人沟通矢量的大小$O(p)$，其中$p$是决策变量的尺寸。所提出的方法是基于一个分布式异步平均方案的决策向量和梯度的方式，以有效地捕捉局部Hessian信息的目标函数。我们的收敛理论支持异步计算受到有界延迟和无界延迟有界的时间平均。与大多数异步优化文献不同，当延迟很大时，我们不需要选择较小的步长。我们提供的数值实验，我们的理论结果相匹配，并展示了显着的改进相比，最先进的分布式算法。
2019-06-10 math.OC
Impact of Communication Delay on Asynchronous Distributed Optimal Power Flow Using ADMM
近年来，分布式优化在电力系统运行中引起了广泛的关注，它将一个大的区域分解为多个小的控制区域，每个控制区域通过与相邻区域的周期性信息交换来解决局部优化问题。然而，大多数分布式优化方法是迭代的，并且需要在每次迭代时同步所有区域，这在没有集中式协调器的情况下很难实现，并且由于区域的异构性可能导致计算资源的利用不足。为了解决同步方案的这些局限性，本文研究了异步分布式优化方法在电力系统优化中的适用性。特别是，我们专注于解决交流最优潮流问题，并提出了一个算法框架的基础上的交替方向乘法（ADMM）的方法，允许区域执行本地更新的信息从一个子集，但不是所有的邻居。通过实验研究，我们证明了所提出的异步方案的收敛性能是依赖于区域之间传递消息的通信延迟。在轻微的通信延迟下，该方案可以实现与同步算法相当甚至更快的收敛速度，这可以作为集中式或同步分布式优化方法的一个很好的替代方案。
2017-11-06 cs.DC math.OC
A Unified Tool for Solving Uni-Parametric Linear Programs, Convex Quadratic Programs, and Linear Complementarity Problems
我们介绍了一种新的技术，用于解决单参数版本的线性规划，凸二次规划，和线性互补性问题，其中一个单一的参数是允许存在于任何输入数据。我们演示了使用我们的方法在一个小的，激励的例子，并提出了少量的计算测试的结果，证明其实用程序更大规模的问题。
2022-03-24 math.OC
Scheduled-Asynchronous Distributed Algorithm for Optimal Power Flow
最优潮流（OPF）问题是一类非凸的大规模最优化问题，在电力网络中有着重要的应用。本文提出了调度异步算法来解决分布式半定规划（SDP）的最优潮流问题。在这个公式中，每个代理寻求解决一个局部最优化与自己的费用函数，物理约束的节点功率注入，电压，和它所连接的线路的功率流，并与邻居共享的变量的决策约束，以确保所获得的解决方案的一致性。在调度异步算法中，电网络中的每对连接节点以交替的方式更新它们的局部变量。这种策略是异步的，在这个意义上，不需要时钟同步，并依赖于一个方向的电网络，规定了精确的排序节点更新。我们建立了原-对偶优化器的渐近收敛性质时，方向是非循环的。鉴于网络方向的收敛速度的依赖性，我们还开发了一个分布式图着色算法，找到一个方向的直径最多为5的电网络的几何度分布。仿真说明了我们的结果在各种IEEE总线测试用例。
2017-10-08 math.OC
Composite Optimization with Coupling Constraints via Penalized Proximal Gradient Method in Partially Asynchronous Networks
本文研究了多智能体网络中具有线性耦合约束的复合最优化问题。在这个问题中，所有的代理人共同优化的全球复合成本函数，这是由光滑和非光滑组件的各个费用函数的线性和。为了解决这个问题，我们提出了一种异步惩罚邻近梯度（Asyn-PPG）算法，它是经典邻近梯度法的一种变体，考虑了代理的异步更新时刻和网络中的通信延迟。具体来说，我们考虑一个基于时隙的异步网络（SAN），其中整个时域被分割成连续的时隙，每个代理被允许在一个时隙期间通过访问他人的历史状态信息进行多次更新。此外，我们考虑了一组全局线性约束，并对更新算法施加一些违规处罚。通过Asyn-PPG算法，我们将证明，如果所有代理的惩罚系数在时隙结束时同步，并且Asyn-PPG算法的步长适当确定，则可以保证以O（1/K）（K是时隙的索引）的速度周期收敛。通过求解基于共识的分布式LASSO问题和电力市场中的社会福利最优化问题，验证了该算法的可行性。
2021-06-25 math.OC
Accelerating Asynchronous Algorithms for Convex Optimization by Momentum Compensation
Peking University（北京大学）
由于求解大规模最优化问题的迫切需求，异步算法近年来受到了广泛的关注。然而，异步算法的加速版本很少被研究。在本文中，我们提出了“动量补偿”技术来加速凸问题的异步算法。具体来说，我们首先加速普通的异步梯度下降，这实现了更快的$O(1/\sqrtε)$（与$O(1/ε)$）收敛速度，以及$O(\sqrtκ\log(1/ε))$（v.s. $O(κ\log(1/ε))$），使强凸函数达到条件数为$κ$的$ε$ -近似极小元.我们进一步应用该技术来加速现代随机异步算法，如异步随机坐标下降和异步随机梯度下降。这两种实用算法都比现有的算法快。据我们所知，我们是第一个考虑加速算法，允许更新延迟梯度，是第一个提出真正的加速异步算法。最后，在共享内存系统上的实验结果表明，加速可以导致显着的性能增益病态问题。
2018-02-27 cs.LG math.OC
On Solving a Class of Linear Semi-Infinite Programs by the Trigonometric Moment
本文提出了一类半无限规划的一种新的易于实现的求解方法，其中基于半无限规划的对偶理论和三角矩理论，构造了一类半无限规划的近似线性半定规划.我们得到了半无限规划的lnK/K-最优解，其中K是截断因子.此外，我们给出了一些数值例子来显示新方法的效率。
2019-12-21 math.OC
Asynchronous parallel primal-dual block coordinate update methods for affinely constrained convex programs
近几年来，由于许多现代应用中涉及的超大数据以及多核机器和计算机集群的发展，异步（异步）并行计算方法激增。在优化问题中，大多数关于并行算法的工作都是针对无约束问题或具有块可分约束的问题。本文提出了一种基于块坐标更新（BCU）的求解具有不可分线性约束的凸问题的并行算法。该方法在单节点上运行，成为一种新的具有自适应步长的随机原始-对偶BCU算法。对于这些问题，Gauss-Seidel循环原始-对偶BCU需要强凸性才具有收敛性。相反，仅假设凸性，我们表明，所提出的算法产生的目标值序列的概率收敛到最优值和约束残差为零。此外，我们建立了遍历$O(1/k)$收敛结果，其中$k$是迭代次数。数值实验表明，该方法的有效性和显着优于同步并行的性能。
2019-10-15 cs.DC cs.NA math.NA
An Asynchronous Decentralised Optimisation Algorithm for Nonconvex Problems
Department of Electrical and Electronic Engineering, University of Melbourne（墨尔本大学电气与电子工程系）；CIICADA Lab, School of Engineering, The Australian National University（澳大利亚国立大学工程学院CIICADA实验室）
针对分布式智能体网络的非凸去中心化优化问题，提出基于随机块坐标Douglas-Rachford分裂的异步ADMM算法，是首个带收敛证明的此类算法，在相位恢复等任务中验证了有效性。
2025-07-30 cs.LG math.OC
Asynchronous Block-Iterative Primal-Dual Decomposition Methods for Monotone Inclusions
提出了求解线性组合极大单调算子和的包含组的原-对偶分解算法。这些算法的主要创新之处在于，它们是块迭代的，在这个意义上，在每次迭代中，只有一个子集的单调算子需要处理，而不是在建立的方法中的所有算子。确定性策略用于选择在每次迭代时激活的操作符块。此外，我们允许操作员处理“滞后”，允许异步实现。我们的方法的每次迭代的分解阶段是在所选择的单调算子的图中生成点，以构造包含与系统相关联的Kuhn-Tucker集的半空间。每次迭代的协调阶段都涉及到这个半空间上的投影。我们提出了两个相关的方法：第一种方法提供弱收敛的原始和对偶序列在一般条件下，而第二种是一个变种，其中强收敛性是保证没有额外的假设。这两种算法都不需要有关线性算子的边界或线性算子的反演的先验知识。我们的算法框架统一和显着扩展的方法，在早期的工作原始对偶投影分裂方法。
2015-11-27 math.OC
An Improved Sequential Quadratic Programming Algorithm for Solving General Nonlinear Programming Problems
本文讨论了一类带有不等式和等式约束的一般非线性规划问题。首先，将原问题转化为一个仅含不等式约束的简单等价问题。然后，受序列二次规划（SQP）方法和线性方程组（SLE）方法思想的启发，提出了一种求解原问题的新型SQP算法。在每次迭代中，搜索方向由两个方向的组合产生，这两个方向分别通过求解总是可行的二次规划（QP）子问题和SLE获得。为了克服Maratos效应，通过求解另一个系统方程组得到高阶修正方向。这两个SLE具有相同的系数矩阵，并且我们只需要在有限次迭代之后求解其中一个。通过一种新的线搜索技术，在适当的假设条件下，该算法具有全局收敛性和超线性收敛性。最后，一些比较数值结果表明，该算法是有效的和有前途的。
2012-12-18 math.OC
Analysis and Implementation of an Asynchronous Optimization Algorithm for the Parameter Server
KTH Royal Institute of Technology（瑞典皇家理工学院）
提出了一种求解正则化最优化问题的异步增量聚合梯度算法及其在参数服务器框架中的实现。该算法可以处理一般的凸（可能是非光滑的）正则化和一般的凸约束。当经验数据损失是强凸的，我们建立线性收敛速率，给出明确的表达式，步长的选择，保证收敛到最佳值，并绑定相关的收敛因子。该表达式具有显式的依赖度的同步操作和恢复经典的结果。商业计算云的模拟和实现验证了我们的研究结果。
2016-10-18 cs.DC cs.LG math.OC
Asynchronous Distributed Optimization with Delay-free Parameters
KTH Royal Institute of Technology（KTH皇家理工学院）；Stockholm University（斯德哥尔摩大学）
针对现有异步分布式优化算法因延迟依赖步长导致收敛慢的问题，提出Prox-DGD和DGD-ATC的异步版本，采用与延迟无关的步长，在凸和强凸问题下保证收敛，且速度适应实际异步程度。
2024-11-07 cs.LG math.OC
Asynchronous Parallel Stochastic Quasi-Newton Methods
虽然一阶随机算法（如随机梯度下降）一直是扩大机器学习模型（如深度神经网络）的主要力量，但二阶拟牛顿法由于其在处理病态最优化问题方面的有效性而开始引起关注。L-BFGS方法是应用最广泛的拟牛顿法之一。提出了一种随机拟牛顿法的异步并行算法（AsySQN）。与以前的尝试，它只并行计算梯度或两个循环递归的L-BFGS，我们的算法是第一个真正并行L-BFGS的收敛保证。采用方差缩减技术，先验随机L-BFGS，这还没有被设计为并行计算，达到线性收敛速率。我们证明，我们的异步并行方案保持相同的线性收敛速率，但实现了显着的加速。在模拟和基准数据集的实证评估表明，与非并行随机L-BFGS相比，加速，以及更好的性能比一阶方法在解决病态问题。
2020-11-02 cs.DC math.OC
Make Workers Work Harder: Decoupled Asynchronous Proximal Stochastic Gradient Descent
University of Science and Technology of China（中国科学技术大学）
异步并行优化算法用于解决大规模机器学习问题，近年来引起了学术界和工业界的广泛关注。本文提出了一种新的算法，解耦异步近端随机梯度下降（DAP-SGD），以最小化的目标函数，是多个经验损失的平均值和正则化项的组合。与传统的异步近似随机梯度下降（TAP-SGD），其中主进行大部分的计算负载，所提出的算法卸载的大部分计算任务从主工人，并离开主进行简单的加法运算。这种策略产生一个易于并行化的算法，其性能是合理的理论收敛性分析。具体地，当步长减小时，DAP-SGD实现$O(\log T/T)$速率，而当步长恒定时，DAP-SGD实现遍历$O(1/\sqrt{T})$速率，其中$T$是总迭代次数。
2016-05-21 cs.DC cs.LG math.OC
Asynchronous Stochastic Approximation with Applications to Average-Reward Reinforcement Learning
Department of Computing Science, University of Alberta（计算科学系，阿尔伯塔大学）；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔人工智能研究所（Amii））
研究异步随机逼近算法的稳定性与收敛性，通过扩展Borkar-Meyn稳定性证明方法和Hirsch-Benaïm动力学系统方法，为平均奖励强化学习中的相对值迭代算法提供理论基础。
2025-12-09 cs.LG math.OC
Asynchronous Stochastic Composition Optimization with Variance Reduction
University of Science and Technology of China（中国科学技术大学）；Sun Yat-Sen University（中山大学）
组合优化在从风险管理到强化学习的各种机器学习领域中引起了广泛的关注。现有的求解组合最优化问题的方法多采用单机顺序求解的方式，限制了其在大规模问题中的应用。为了解决这个问题，本文提出了两个异步并行方差减少随机组成梯度（AsyVRSC）算法，适合于处理大规模数据集。这两个算法是AsyVRSC-Shared的共享内存架构和AsyVRSC-Distributed的主从架构。嵌入式方差减少技术使算法能够实现线性收敛速率。此外，AsyVRSC-Shared和AsyVRSC-Distributed享受可证明的线性加速比，当时间延迟分别由数据维数或部分梯度的稀疏比限制时。大量的实验验证了所提出的算法的有效性。
2018-11-15 cs.DC cs.LG math.OC
Asynchronous Push-sum Dual Gradient Algorithm in Distributed Model Predictive Control
针对有向网络上带全局约束的分布式系统DMPC问题，提出异步push-sum对偶梯度算法，证明了R-线性收敛并保证闭环系统稳定性。
2025-11-05 cs.SY eess.SY math.OC
Asynchronous Delay-Aware Accelerated Proximal Coordinate Descent for Nonconvex Nonsmooth Problems
University of Central Florida（中佛罗里达大学）
非凸和非光滑问题最近在机器学习中引起了相当大的关注。然而，对于非凸和非光滑最优化问题，在保证一定性能的前提下，开发有效的方法仍然是一个挑战。近点坐标下降法（PCD）已被广泛应用于求解最优化问题，但对非凸环境下的PCD方法的认识非常有限。另一方面，异步最近坐标下降（APCD）最近受到了广泛的关注，以解决大规模的问题。然而，APCD算法的加速变体很少被研究。在本文中，我们扩展APCD方法的加速算法（AAPCD）的非光滑和非凸的问题，满足充分下降的性质，通过比较在最近的更新和线性外推点使用延迟感知动量值的函数值。据我们所知，我们是第一个提供随机和确定性加速扩展APCD算法一般非凸和非光滑问题，确保有界延迟和无界延迟的每一个极限点是一个临界点。利用Kurdyka-Lojasiewicz性质，我们将证明线性和次线性收敛速度的确定性AAPCD与有界延迟。数值结果表明，我们的算法在速度上的实际效率。
2019-02-05 cs.DC cs.LG math.OC
