AsyncQVI: Asynchronous-Parallel Q-Value Iteration for Discounted Markov Decision Processes with Near-Optimal Sample Complexity
Fudan University（复旦大学）；Columbia University（哥伦比亚大学）；University of California, Los Angeles（加州大学洛杉矶分校）
在本文中，我们提出了AsyncQVI，折扣马尔可夫决策过程的过渡和奖励只能通过生成模型进行采样的一个并行Q值迭代。给定$|\mathcal{S}|$状态、$|\mathcal{A}|$动作和折扣因子$γ\in(0,1)$的这种问题，AsyncQVI使用大小为$\mathcal{O}(|\mathcal{S}|)$的存储器，并使用$$\tilde{\mathcal{O}}\big(\frac{|\mathcal{S}||\mathcal{A}|}{(1-γ)^5\varepsilon^2}\log(\frac{1}δ)\big)$$样本返回概率至少为$1-δ$的$\varepsilon$最优策略。AsyncQVI也是第一个折扣马尔可夫决策过程的并行算法，其样本复杂度几乎与理论下界相匹配。相对较低的内存占用和并行能力使AsyncQVI适合大规模应用。在数值测试中，我们比较了AsyncQVI与四种基于样本的值迭代法。实验结果表明，该算法具有很高的效率，并达到了线性并行加速比。
2020-02-22 cs.LG math.OC
An Inertial Parallel and Asynchronous Fixed-Point Iteration for Convex Optimization
凸分解算法的两个吸引人的特点是操作的简单性和可并行结构的生成。原则上，这些方案要求所有坐标同时更新，即，它们通过构造而同步。在更新中引入并行性可以解决同步情况下出现的几个问题，如计算中的负载不平衡或通信链路故障。然而，据我们所知，还没有常见算法的异步版本与惯性加速技术相结合的实例。在这项工作中，我们提出了一个惯性异步和并行不动点迭代，从现有的凸优化算法的几个新版本的起源。从规范出发，坐标的更新的频率应遵守一些先验分布，我们提出了一个方案，唯一的要求是坐标更新在一个有界的时间间隔。我们证明了该计划所产生的迭代序列的收敛性在一个线性速率。所提出的方案的一个实例实施，以解决分布式优化负载分配问题，在智能电网设置和它的优越性，相对于非加速版本的说明。
2018-03-06 math.OC
Distributed Asynchronous Policy Iteration for Sequential Zero-Sum Games and Minimax Control
我们介绍了一个压缩抽象动态规划框架和相关的政策迭代算法，专门设计的顺序零和游戏和极大极小问题的一般结构。除了更大的一般性，我们的算法优于替代方案的优点是，它们解决了一些长期存在的收敛困难的“自然”的政策迭代算法，这是已知的，因为Pollatschek和Avi-Itzhak方法[PoA 69]有限状态马尔可夫博弈。在数学上，这种“自然”算法是牛顿方法的一种形式，用于求解贝尔曼方程，但牛顿方法，与单人DP问题的情况相反，在极大极小问题的情况下不是全局收敛的，因为贝尔曼算子可能具有既不是凸也不是凹的分量。我们的算法通过引入交替的玩家选择来解决这个困难，并通过使用具有统一超范数收缩属性的策略依赖映射，类似于Bertsekas和Yu的早期作品[BeY 10]，[BeY 12]，[YuB 13]。此外，我们的算法允许一个收敛和高度并行化的实现，这是基于状态空间分区，和分布式异步策略评估和策略改进操作内的每一组分区。我们的框架也适合使用基于聚合的强化学习方法，这可能对大规模问题实例有用。
2021-10-20 cs.GT cs.SY eess.SY
Asynchronous Sequential Inertial Iterations for Common Fixed Points Problems with an Application to Linear Systems
公共不动点问题要求在有限算子集合的不动点集合的交集中找到一个点。快速解决这类问题对于工程和科学任务具有重要的实际意义（例如，用于计算机断层扫描）。求解这些问题的迭代法通常采用Krasnosel'ski \u-Mann型迭代。我们提出了一个异步序列惯性（ASI）算法框架，在希尔伯特空间中解决常见的不动点问题的非扩张算子的集合。我们的计划允许使用过时的迭代生成更新时，从而使处理节点同时工作，没有同步。该方法还包括惯性型外推项，以提高收敛速度。特别地，我们扩展了最近的ARock算法”[Peng，Z.等人，SIAM J. on Scientific Computing 38，A2851-2879，（2016）]中。ASI算法的收敛性证明，没有假设的延迟的分布，但他们是一致有界的。讨论提供了一个计算的例子，显示的性能的ASI算法与对角松弛正交投影（DROP）算法估计的解决方案，以大型线性系。
2019-01-23 math.OC
Asynchronous stochastic approximations with asymptotically biased errors and deep multi-agent learning
异步随机逼近（SA）是一类重要的无模型算法，工具和技术，流行的多智能体和分布式控制方案。为了对抗贝尔曼的维数灾难，这种算法与函数近似相结合。虽然学习/控制问题变得更容易处理，但函数逼近会影响稳定性和收敛性。在本文中，我们提出了可验证的充分条件的稳定性和收敛性的异步SA有偏逼近误差。本文中开发的理论用于分析策略梯度法和噪声值迭代方案。具体来说，我们分析了异步近似对应的政策梯度（A2 PG）和价值迭代（A2 VI）计划。结果表明，这些算法的稳定性是不受有偏逼近误差，只要它们是渐近有界的。关于收敛性（A2 VI和A2 PG），建立了极限集与逼近误差之间的关系。最后，实验结果支持的理论。
2019-05-02 math.DS math.OC stat.ML
Asynchronous Sensitivity-Based Distributed NMPC
Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡大学）
提出用于非线性连续时间系统的协同分布式模型预测控制方案，通过固定次数基于灵敏度的分布式编程异步求解集中式最优控制问题，证明其优势。
2026-10-27 math.OC
Delay-agnostic Asynchronous Coordinate Update Algorithm
提出延迟无关的异步坐标更新算法DEGAS，用于计算算子不动点，包含ADMM和块坐标下降的异步变体，在有界和无界延迟下均收敛，并通过分类实验验证有效性。
2023-05-15 math.OC
A Coordinate Descent Primal-Dual Algorithm and Application to Distributed Asynchronous Optimization
本文提出一种基于随机坐标下降的对偶优化算法，用于解决分布式异步优化问题，通过随机更新坐标实现共识。
2015-09-30 cs.DC cs.NA cs.SY
Asynchronous Block-Iterative Primal-Dual Decomposition Methods for Monotone Inclusions
提出了求解线性组合极大单调算子和的包含组的原-对偶分解算法。这些算法的主要创新之处在于，它们是块迭代的，在这个意义上，在每次迭代中，只有一个子集的单调算子需要处理，而不是在建立的方法中的所有算子。确定性策略用于选择在每次迭代时激活的操作符块。此外，我们允许操作员处理“滞后”，允许异步实现。我们的方法的每次迭代的分解阶段是在所选择的单调算子的图中生成点，以构造包含与系统相关联的Kuhn-Tucker集的半空间。每次迭代的协调阶段都涉及到这个半空间上的投影。我们提出了两个相关的方法：第一种方法提供弱收敛的原始和对偶序列在一般条件下，而第二种是一个变种，其中强收敛性是保证没有额外的假设。这两种算法都不需要有关线性算子的边界或线性算子的反演的先验知识。我们的算法框架统一和显着扩展的方法，在早期的工作原始对偶投影分裂方法。
2015-11-27 math.OC
Asynchronous Parallel Stochastic Gradient for Nonconvex Optimization
Department of Computer Science, University of Rochester（罗切斯特大学计算机科学系）
本文研究了非凸优化中两种异步并行随机梯度方法，证明了其在计算机网络和共享内存系统中的渐进收敛率，并展示了线性加速的可能性。
2019-04-18 cs.NA math.NA math.OC
A Distributed Asynchronous Generalized Momentum Algorithm Without Delay Bounds
该研究提出一种允许任意有限延迟的分布式异步广义动量算法，其收敛性经参数条件保证，在20newsgroups文本分类任务中，相比梯度下降等算法迭代次数显著减少，收敛更快。
2026-08-11 math.OC
A Sharp Finite-Iteration Theory for Asynchronous Categorical Distributional Temporal-Difference Learning
Elmore Family School of Electrical and Computer Engineering（埃尔摩家庭电气与计算机工程学院）
本文提出两种分类策略的有限迭代理论，通过等距嵌入将算法转化为异步单状态随机近似递归，从而在折扣和非折扣问题中提供保证。
2026-10-07 cs.LG math.OC
Controlled Hopwise Averaging: Bandwidth/Energy-Efficient Asynchronous Distributed Averaging for Wireless Networks
University of Oklahoma（俄克拉荷马大学）
针对无线网络分布式平均的带宽/能量效率问题，提出受控逐跳平均算法，通过利用无线广播特性和迭代控制，实现更高效的通信。
2010-12-26 cs.DC cs.SY eess.SY
Asynchronous parallel primal-dual block coordinate update methods for affinely constrained convex programs
近几年来，由于许多现代应用中涉及的超大数据以及多核机器和计算机集群的发展，异步（异步）并行计算方法激增。在优化问题中，大多数关于并行算法的工作都是针对无约束问题或具有块可分约束的问题。本文提出了一种基于块坐标更新（BCU）的求解具有不可分线性约束的凸问题的并行算法。该方法在单节点上运行，成为一种新的具有自适应步长的随机原始-对偶BCU算法。对于这些问题，Gauss-Seidel循环原始-对偶BCU需要强凸性才具有收敛性。相反，仅假设凸性，我们表明，所提出的算法产生的目标值序列的概率收敛到最优值和约束残差为零。此外，我们建立了遍历$O(1/k)$收敛结果，其中$k$是迭代次数。数值实验表明，该方法的有效性和显着优于同步并行的性能。
2019-10-15 cs.DC cs.NA math.NA
Nonconvex optimization and convergence of stochastic gradient descent, and solution of asynchronous game
本文回顾了凸与非凸优化中随机梯度下降的收敛性与行为，建立了梯度方差收敛至零的条件，并通过示例展示了迭代下概率密度的近似演化及其在经典双人及异步多人博弈中的应用。
2025-03-05 math.OC
Linearly Convergent Asynchronous Distributed ADMM via Markov Sampling
我们考虑的共识分布式最优化问题，并提出了一个异步版本的交替方向法的乘法器（ADMM）算法来解决它。“异步”部分在这里是指的事实，只有一个节点/处理器更新（即执行最小化步骤）在算法的每次迭代。通过模拟一个马尔可夫链来决定待更新节点的选择。对强凸连续可微函数类，证明了该算法具有期望的线性收敛性质。
2022-03-31 math.OC
Asynchronous Coordinate Descent under More Realistic Assumptions
National University of Defense Technology（国防科技大学）；UCLA（加州大学洛杉矶分校）
本文在更现实的假设下证明了异步并行块坐标下降法的收敛性，不依赖独立性假设，适用于有界和无界延迟，覆盖非凸、弱凸和强凸函数。
2017-07-18 cs.NA math.NA math.OC
Practical Precoding via Asynchronous Stochastic Successive Convex Approximation
Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）；Radisys India Pvt. Ltd.（瑞迪斯印度私人有限公司）
考虑光滑非凸损失函数与凸非光滑正则化子的随机最优化。在在线设置中，其中在每次迭代时损失的随机梯度的单个样本可用，该问题可以使用近似随机梯度下降（SGD）算法及其变体来解决。然而，在许多问题中，特别是在通信和信号处理中出现的那些问题中，由于损失函数的结构，可以获得超出随机梯度的信息。SGD不使用这种额外的梯度信息，但已被证明是有用的，例如在随机期望最大化，随机优化最小化和随机连续凸逼近（SCA）方法的背景下。通过在每次迭代时构造损失函数的随机强凸代理，随机SCA算法可以利用损失函数的结构特性，并获得优于SGD的经验性能。在这项工作中，我们仔细研究随机SCA算法，并开发其异步变体，可用于无线网络中的资源分配。虽然随机SCA算法是已知的渐近收敛，其迭代复杂性还没有得到很好的研究，是目前工作的重点。从非渐近分析中获得的见解，使我们能够开发一个更实用的随机SCA算法，它允许使用在早期迭代计算的代理人的异步变体。我们的特点是精确的界限上的最大延迟的算法可以容忍，而仍然达到相同的收敛速度。我们将该算法应用于无线传感器网络中的线性预编码问题，它可以在低复杂度下实现，但在实践中表现良好。
2020-10-03 cs.LG eess.SP math.OC
Dual-Delayed Asynchronous SGD for Arbitrarily Heterogeneous Data
The Hong Kong University of Science and Technology（香港科技大学）；The Chinese University of Hong Kong（香港中文大学）
针对异步SGD在数据异构时性能下降的问题，提出双延迟异步SGD（DuDe-ASGD），利用双时间滞后与增量聚合，在光滑非凸问题上达到近最优收敛，实验验证其优于现有算法。
2024-05-27 cs.LG math.OC
A2BCD: An Asynchronous Accelerated Block Coordinate Descent Algorithm With Optimal Complexity
在本文中，我们提出了异步加速非均匀随机块坐标下降算法（A2BCD），第一个异步Nesterov加速算法，达到最佳的复杂性。这种并行算法解决了无约束凸最小化问题，使用p个计算节点计算更新共享的解决方案向量，在一个异步的方式，没有中央协调。异步算法中的节点在开始新的迭代之前不等待来自其他节点的更新，而是简单地使用可用的最新解决方案信息来计算更新。这使得它们能够比传统算法更快地完成迭代，特别是在规模上，通过消除传统算法的昂贵同步代价。我们首先证明，A2BCD线性收敛到一个快速的加速率，最近提出的NU_ACDM相匹配的解决方案，只要最大延迟不是太大。有些令人惊讶的是，A2BCD并没有因为使用过时的信息而付出复杂性代价。然后，我们证明了随机坐标下降法，这表明A2 BCD（因此NU_ACDM）具有最佳的复杂性在一个常数因子内的较低的复杂性界限。通过数值实验证实，A2 BCD算法在小尺度下的性能优于NU_ACDM算法，后者是目前最快的坐标下降算法。我们还推导和分析了一个二阶常微分方程，这是我们的算法的连续时间限制，并证明了它的线性收敛到一个类似的加速率的解决方案。
2018-05-20 math.OC
Make Workers Work Harder: Decoupled Asynchronous Proximal Stochastic Gradient Descent
University of Science and Technology of China（中国科学技术大学）
异步并行优化算法用于解决大规模机器学习问题，近年来引起了学术界和工业界的广泛关注。本文提出了一种新的算法，解耦异步近端随机梯度下降（DAP-SGD），以最小化的目标函数，是多个经验损失的平均值和正则化项的组合。与传统的异步近似随机梯度下降（TAP-SGD），其中主进行大部分的计算负载，所提出的算法卸载的大部分计算任务从主工人，并离开主进行简单的加法运算。这种策略产生一个易于并行化的算法，其性能是合理的理论收敛性分析。具体地，当步长减小时，DAP-SGD实现$O(\log T/T)$速率，而当步长恒定时，DAP-SGD实现遍历$O(1/\sqrt{T})$速率，其中$T$是总迭代次数。
2016-05-21 cs.DC cs.LG math.OC
Asynchronous distributed algorithms for seeking generalized Nash equilibria under full and partial decision information
本文研究了多智能体网络中具有延迟信息的异步分布式广义纳什均衡求解算法。所考虑的对策模型具有所有参与者的局部决策以及共享的仿射约束。我们假设每个参与者只能访问其局部目标函数、局部约束和仿射约束的局部块矩阵。我们首先给出算法的情况下，每个代理都能够完全访问所有其他球员的决定。借助于辅助边变量和边拉普拉斯矩阵，每个参与者可以以异步方式进行其局部迭代，仅使用局部数据和可能延迟的邻居信息。然后我们研究了当代理人不能知道所有其他参与人的决策时的情况，这被称为部分决策情况。我们引入局部估计的整体决策的情况下，每个代理，并开发另一个异步算法，将共识动态的整体决策的局部估计。由于这两种算法都不需要任何集中的时钟协调，算法充分利用了每个参与者的本地计算资源，并消除了由于等待“最慢”代理而导致的空闲时间。这两种算法都是由一个预处理的向前向后算子分裂方法，而收敛性的异步不动点迭代的帮助下，适当的假设和固定的步长选择。数值实验验证了算法的收敛性和有效性。
2018-07-24 math.OC
Distributed and Asynchronous Algorithms for N-block Convex Optimization with Coupling Constraints
本文首先提出了一种N块PCPM算法来求解同时具有线性和非线性约束的N块凸优化问题，并证明了算法的整体收敛性。数值实验表明，在强二阶最优性条件下，该方法具有线性收敛速率。其次，以线性约束N块凸优化问题为出发点，提出了一种异步N块PCPM算法。数值结果表明，在有界时滞假设下，该方法具有亚线性收敛速率，并且比同步迭代法具有更快的收敛速度，只需更多的短时迭代。
2021-03-25 math.OC
A Newton--Kleinman Iteration for Infinite-Dimensional Linear-Quadratic Optimal Control
Institute of Mathematics, Technische Universität Ilmenau（尹尔瑙工业大学数学研究所）
本文提出一种针对无限维线性二次最优控制的Newton--Kleinman迭代，通过线性化Lur'e恒等式并采用预解式归一化处理无界控制，保证稳定性和单调收敛，并在有限维情形恢复经典迭代，适用于圆柱尾流和弹性问题。
2026-10-05 math.OC
Asynchronous Variance-reduced Block Schemes for Composite Nonconvex Stochastic Optimization: Block-specific Steplengths and Adapted Batch-sizes
我们考虑的期望值坐标明智$L_i$光滑非凸函数和非光滑块可分凸正则化的总和的最小化。我们提出了一个异步方差减少算法，在每次迭代中，一个单一的块被随机选择更新其估计由一个邻近的可变样本大小的随机梯度计划，而其余的块保持不变。值得注意的是，每个块采用根据其块特定的Lipschitz常数的步长，而块特定的批量大小是以随着该块被选择的（随机）次数以几何或多项式速率增长的速率更新的随机变量。我们证明了几乎每个样本路径的每个极限点都是平稳点，并建立了遍历非渐近速率$\mathcal{O}(1/K) $。迭代和预言复杂性，以获得$ε$ -平稳点被证明是$\mathcal{O}(1/ε)$和$\mathcal{O}(1/ε^2)$，分别。进一步证明了在$ μ$ -proximal Polyak-Proximojasiewicz（PL）条件下，当批量以几何速率增加时，次优性以{ \em几何}速率减小，而获得$ε$ -最优解的迭代和预言复杂性分别被证明为$\mathcal{O}( (L_{\rm max}/μ) \ln(1/ε))$和$\mathcal{O}\left((L_{\rm ave}/μ) (1/ε)^{1+c} \right)$ with $c\geq 0$.在追求不太积极的采样率，当批量大小增加的次数$v \geq 1$的多项式率，次优衰减在相应的多项式率，而迭代和预言复杂性，以获得$ε…
2020-02-19 math.OC
Robust $Q$-learning for mean-field control under Wasserstein uncertainty in common noise
Shanghai Center for Data Science（上海数据科学研究中心）；NYU-ECNU Institute of Mathematical Sciences, NYU Shanghai（纽约大学-复旦大学数学科学研究所，纽约上海）；Division of Mathematical Sciences, Nanyang Technological University（南洋理工大学数学科学学院）
提出一种针对公共噪声分布Wasserstein不确定性的离散时间平均场控制鲁棒$Q$-学习算法，结合量化投影与Wasserstein对偶，证明同步和异步学习的收敛性及有限时间界，并在系统风险和流行病模型中验证鲁棒性-性能权衡。
2026-06-19 cs.AI cs.LG math.OC
On the convergence of conditional gradient method for unbounded multiobjective optimization problems
针对可行域无界的多目标优化问题，提出一种基于回收锥保证良定的条件梯度算法，并在温和假设下证明其渐近收敛性与迭代复杂度界，数值算例验证了性能。
2024-03-05 math.OC
Asynchronous Parallel Policy Gradient Methods for the Linear Quadratic Regulator
本文针对连续时间线性二次调节问题，提出异步并行零阶策略梯度方法，并从理论和仿真两方面证明了其线性加速特性。
2024-07-03 math.OC
Asynchronous Delay-Aware Accelerated Proximal Coordinate Descent for Nonconvex Nonsmooth Problems
University of Central Florida（中佛罗里达大学）
非凸和非光滑问题最近在机器学习中引起了相当大的关注。然而，对于非凸和非光滑最优化问题，在保证一定性能的前提下，开发有效的方法仍然是一个挑战。近点坐标下降法（PCD）已被广泛应用于求解最优化问题，但对非凸环境下的PCD方法的认识非常有限。另一方面，异步最近坐标下降（APCD）最近受到了广泛的关注，以解决大规模的问题。然而，APCD算法的加速变体很少被研究。在本文中，我们扩展APCD方法的加速算法（AAPCD）的非光滑和非凸的问题，满足充分下降的性质，通过比较在最近的更新和线性外推点使用延迟感知动量值的函数值。据我们所知，我们是第一个提供随机和确定性加速扩展APCD算法一般非凸和非光滑问题，确保有界延迟和无界延迟的每一个极限点是一个临界点。利用Kurdyka-Lojasiewicz性质，我们将证明线性和次线性收敛速度的确定性AAPCD与有界延迟。数值结果表明，我们的算法在速度上的实际效率。
2019-02-05 cs.DC cs.LG math.OC
Asynchronous and Stochastic Distributed Resource Allocation
针对异步随机场景下的分布式资源分配问题，提出异步随机原始-对偶（Asyn-PD）算法，证明其以O(1/t)速率收敛，数值实验验证其优于同步算法。
2025-09-01 math.OC stat.ML
On the O(1/k) Convergence of Asynchronous Distributed Alternating Direction Method of Multipliers
我们考虑一个网络的代理，合作解决一个全球性的最优化问题，其中的目标函数是私人已知的本地目标函数的代理和决策变量通过线性约束耦合的总和。最近的文献集中在这种配方的特殊情况下，并研究了他们的分布式解决方案，通过次梯度为基础的方法与O（1/sqrt（k））的收敛速率（其中k是迭代次数）或交替方向法的乘法器（ADMM）为基础的方法，这需要一个同步的实现和全球已知的代理顺序。在本文中，我们提出了一种新的异步ADMM为基础的分布式方法的一般配方，并表明它的收敛速度为O（1/k）。
2013-07-31 math.OC
Technical Report: A Totally Asynchronous Nesterov's Accelerated Gradient Method for Convex Optimization
本文提出一种基于 Nesterov 加速梯度推广的全异步凸优化算法，在无延迟上界条件下保证线性收敛，并通过数值仿真验证其迭代次数显著少于 heavy ball 算法和梯度下降。
2024-06-14 cs.SY eess.SY math.OC
DAve-QN: A Distributed Averaged Quasi-Newton Method with Local Superlinear Convergence Rate
在本文中，我们考虑分布式算法解决的经验风险最小化问题下的主/工人通信模型。我们开发了一个分布式异步拟牛顿算法，可以实现超线性收敛。据我们所知，这是第一个分布式异步算法的超线性收敛保证。我们的算法是通信效率的意义上说，在每一次迭代的主节点和工人沟通矢量的大小$O(p)$，其中$p$是决策变量的尺寸。所提出的方法是基于一个分布式异步平均方案的决策向量和梯度的方式，以有效地捕捉局部Hessian信息的目标函数。我们的收敛理论支持异步计算受到有界延迟和无界延迟有界的时间平均。与大多数异步优化文献不同，当延迟很大时，我们不需要选择较小的步长。我们提供的数值实验，我们的理论结果相匹配，并展示了显着的改进相比，最先进的分布式算法。
2019-06-10 math.OC
A Fast Distributed Asynchronous Newton-Based Optimization Algorithm
网络系统上局部凸目标函数之和最小化问题是分布式优化领域的重要问题之一。这一领域的大部分现有工作都集中在开发分布式算法，在一个中央时钟的存在下，在同步设置，代理需要等待最慢的一个完成更新，然后再进行下一个时钟。异步分布式算法消除了对中央协调器的需要，减少了同步等待，并允许一些代理更快地计算和执行更多的迭代。在异步设置中，用于解决该问题的唯一已知算法可以实现线性或次线性的收敛速率。在这项工作中，我们建立在现有的文献开发和分析的异步牛顿为基础的方法来解决惩罚版本的问题。我们证明了该算法在期望下具有全局线性收敛性和局部二次收敛性，并保证了算法的几乎必然收敛。数值研究证实了我们的算法对其他异步方法的优越性能。
2019-01-04 math.OC
Escaping From Saddle Points Using Asynchronous Coordinate Gradient Descent
大规模非凸优化问题由于计算和存储成本而求解起来很昂贵。为了降低成本，一阶（计算效率）和并行（内存效率）算法是必要的，以最小化非凸函数在机器学习。然而，在非凸设置中应用的非线性一阶方法遇到两个困难：（i）并行化延迟，其通过破坏一阶方法的单调性来影响收敛，以及（ii）梯度为零的次优鞍点。为了解决这两个困难，我们提出了一种异步坐标梯度下降算法，该算法以有界延迟收敛到局部最小值。我们的算法克服了并行延迟问题，通过使用精心构造的哈密顿函数。我们证明，我们设计的动能项，纳入哈密顿量，允许我们的算法，每次迭代单调减少。接下来，我们的算法利用扰动子例程引导迭代避开鞍点。类似于其他国家的最先进的（SOTA）算法，我们实现了多对数收敛速度方面的尺寸。与其他SOTA算法，这是同步的，我们的工作是第一个研究如何并行延迟影响异步一阶算法的收敛速度。我们证明了我们的算法优于同步同行下大并行延迟，收敛依赖于次线性延迟。据我们所知，这是第一个局部最优收敛结果的一阶异步算法的非凸设置。
2022-11-17 cs.DC math.OC
Delay-adaptive step-sizes for asynchronous learning
KTH Royal Institute of Technology（KTH皇家理工学院）；Stockholm University（斯德哥尔摩大学）；ABB Corporate Research（ABB企业研究院）
在可扩展的机器学习系统中，模型训练通常在多个节点上并行化，这些节点在没有紧密同步的情况下运行。大多数相关的异步算法的分析结果使用上界的系统中的信息延迟，以确定学习率。这样的界限不仅很难提前获得，而且还会导致不必要的缓慢收敛。在本文中，我们表明，它是可以使用的学习率，取决于系统中的实际时变延迟。我们开发一般的收敛结果延迟自适应异步迭代和专门这些近端增量梯度下降和块坐标下降算法。对于这些方法中的每一个，我们演示了如何延迟可以在线测量，目前的延迟自适应步长政策，并说明其理论和实践的优势，在国家的最先进的。
2022-04-11 cs.LG math.OC
Setwise Coordinate Descent for Dual Asynchronous Decentralized Optimization
针对去中心化优化中随机选择邻居忽略优化状态的问题，提出基于对偶代价最大改进的成组坐标下降算法，并开发新分析框架证明其能将迭代收敛速度提升至最大坐标集大小的倍数。
2025-04-26 math.OC
Impact of Communication Delay on Asynchronous Distributed Optimal Power Flow Using ADMM
近年来，分布式优化在电力系统运行中引起了广泛的关注，它将一个大的区域分解为多个小的控制区域，每个控制区域通过与相邻区域的周期性信息交换来解决局部优化问题。然而，大多数分布式优化方法是迭代的，并且需要在每次迭代时同步所有区域，这在没有集中式协调器的情况下很难实现，并且由于区域的异构性可能导致计算资源的利用不足。为了解决同步方案的这些局限性，本文研究了异步分布式优化方法在电力系统优化中的适用性。特别是，我们专注于解决交流最优潮流问题，并提出了一个算法框架的基础上的交替方向乘法（ADMM）的方法，允许区域执行本地更新的信息从一个子集，但不是所有的邻居。通过实验研究，我们证明了所提出的异步方案的收敛性能是依赖于区域之间传递消息的通信延迟。在轻微的通信延迟下，该方案可以实现与同步算法相当甚至更快的收敛速度，这可以作为集中式或同步分布式优化方法的一个很好的替代方案。
2017-11-06 cs.DC math.OC
AsGrad: A Sharp Unified Analysis of Asynchronous-SGD Algorithms
Institut Polytechnique de Paris (IP Paris)（巴黎综合理工学院）；Institute of Science and Technology Austria (IST Austria)（奥地利科学技术学院）
本文提出AsGrad统一分析框架，为异构环境下异步SGD及其变体建立非凸收敛理论，并引入基于工作节点重排的新异步方法，其收敛速率与已知最优结果匹配。
2023-10-31 cs.AI cs.LG math.OC
Average-reward reinforcement learning in semi-Markov decision processes via relative value iteration
Department of Computing Science, University of Alberta（计算科学系，阿尔伯塔大学）；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所）
本文提出了一种在半马尔可夫决策过程中利用相对价值迭代算法进行平均奖励强化学习的方法，并引入新的单调性条件以提高算法收敛性。
2025-12-05 cs.LG math.OC
On the Convergence Analysis of Asynchronous Distributed Quadratic Programming via Dual Decomposition
Department of Aerospace Engineering, Texas A&M University（德克萨斯农工大学航空航天工程系）
本文通过切换系统框架分析异步分布式二次规划的收敛性与收敛速率，提出异步更新对偶变量以减少同步延迟，探讨速度与精度的权衡。
2015-06-19 cs.SY eess.SY math.OC
Complexity of trust-region methods in the presence of unbounded Hessian approximations
本文研究了信任区域方法在Hessian近似无界情况下的复杂性，推导了不同增长模式下的尖锐复杂度界，并改进了Powell的结论。
2025-11-27 math.OC
Bilevel Optimization under Unbounded Smoothness: A New Algorithm and Convergence Analysis
George Mason University（乔治梅森大学）
针对 RNN/LSTM 等无界光滑场景，本文提出 BO-REP 双层优化算法，通过归一化动量、初始化精炼与周期性下层更新实现与有界光滑条件相当的随机复杂度。
2024-01-17 cs.LG math.OC
Asynchronous Stochastic Approximation with Applications to Average-Reward Reinforcement Learning
Department of Computing Science, University of Alberta（计算科学系，阿尔伯塔大学）；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔人工智能研究所（Amii））
研究异步随机逼近算法的稳定性与收敛性，通过扩展Borkar-Meyn稳定性证明方法和Hirsch-Benaïm动力学系统方法，为平均奖励强化学习中的相对值迭代算法提供理论基础。
2025-12-09 cs.LG math.OC
Sharper Convergence Guarantees for Asynchronous SGD for Distributed and Federated Learning
EPFL（洛桑联邦理工学院）；CISPA（亥姆霍兹信息安全中心）
我们研究了异步随机梯度下降算法的分布式训练$n$工人，随着时间的推移，具有不同的计算和通信频率。在该算法中，工作者以自己的速度并行计算随机梯度，并将其返回给服务器，而不进行任何同步。现有的非凸光滑目标的算法的收敛速度依赖于最大梯度延迟$τ_{\max}$和显示$ε$ -平稳点达到后$\mathcal{O}\!\left(σ^2ε^{-2}+ τ_{\max}ε^{-1}\right)$迭代，其中$σ$表示随机梯度的方差。在这项工作中，（i）我们获得了一个更严格的收敛速度$\mathcal{O}\!\left(σ^2ε^{-2}+ \sqrt{τ_{\max}τ_{avg}}ε^{-1}\right)$没有任何变化的算法，其中$τ_{avg}$是平均延迟，它可以显着小于$τ_{\max}$。我们还提供了（ii）一个简单的延迟自适应学习率计划，异步SGD实现了$\mathcal{O}\!\left(σ^2ε^{-2}+ τ_{avg}ε^{-1}\right)$的收敛速度，不需要任何额外的超参数调整，也不需要额外的通信。我们的结果允许第一次表明，异步SGD总是比小批量SGD更快。此外，（iii）我们考虑了由联邦学习应用程序驱动的异构函数的情况，并通过证明与先前的工作相比对最大延迟的依赖性较弱来提高收敛速度。特别是，我们表明，在收敛速度的异质性项只受每个工人的平均延迟。
2022-06-16 cs.DC cs.LG math.OC
Empirical Q-Value Iteration
Computer Engineering Texas A\&M University, e1
提出了一种新的简单而自然的算法，用于在转移核未知的情况下学习折扣成本马尔可夫决策过程（MDP）的最优Q值函数。与经典的MDP学习算法，如Q学习和actor-critic算法不同，该算法不依赖于基于随机逼近的方法。我们表明，我们的算法，我们称之为经验Q值迭代（EQVI）算法，收敛到最佳的Q值函数。我们还给出了一个收敛速率或非渐近样本复杂度界，并表明该算法的异步（或在线）版本也将工作。初步的实验结果表明，我们的算法相比，随机逼近为基础的算法收敛到一个球场估计的速度更快。
2019-01-30 cs.LG math.OC
Asynchronous Distributed Bilevel Optimization
Tongji University（同济大学）；University of Connecticut（康涅狄格大学）
从超参数优化到元学习，双层优化在许多机器学习任务中起着至关重要的作用。然而，现有的两级优化研究集中在集中式或同步分布式设置上。集中式双层优化方法需要将大量数据收集到单个服务器上，这不可避免地产生大量的通信费用，并可能引起数据隐私风险。同步分布式双层优化算法，另一方面，经常面临的落伍者的问题，并会立即停止工作，如果几个工人没有响应。作为补救措施，我们提出了异步分布式双层优化（ADBO）算法。该算法能够同时处理上下层目标函数均为非凸的双层优化问题，且理论上保证了算法的收敛性。理论分析表明，ADBO算法求$ε$ -稳定点的迭代复杂度上界为$\mathcal{O}(\frac{1}{ε^2})$。对公共数据集进行了深入的实证研究，以阐明拟议的ADBO的有效性和效率。
2023-02-24 cs.AI cs.LG math.OC
Distributed Asynchronous Primal-Dual Optimization for Supply-Chain Networks
针对不可靠通信和无界延迟下的分布式供应链流分配问题，提出全异步原始-对偶算法 DAPD-SCO，证明其 $O(K^{-1/2})$ 鞍点收敛速率，并在仿真中展现更低开销与更强鲁棒性。
2025-05-29 math.OC
Distributed Average Consensus with Bounded Quantizer and Unbounded Input
本文考虑分布式平均共识使用有限位有界量化器与可能的无界数据。在乘子的交替方向法（ADMM）框架下，我们开发了分布式平均算法，其中每个节点仅使用其邻居的局部信息和重复量化输出迭代更新。它示出，所有的代理变量收敛到相同的量化水平或循环后的数据平均有限的迭代。建立了一致值的误差界，其结果与使用无界舍入量化器的误差界相同，只要算法参数（即，ADMM步长）足够小。我们还分析了算法参数的影响，并提出了一个自适应的参数选择策略，只需要知道的代理的数量，以加快算法与一定的共识精度保证。最后，通过仿真验证了所提算法的有效性.
2017-08-20 math.OC
Empirical Dynamic Programming
提出了马尔可夫决策过程的经验动态规划算法。在这些算法中，经典值迭代中Bellman算子中的精确期望被经验估计所取代，从而得到“经验值迭代”（EVI）。经典政策迭代中的政策评估和政策改进也被模拟所取代，以获得“经验政策迭代”（EPI）。因此，这些经验动态规划算法涉及随机算子（经验Bellman算子）的迭代。我们引入这样的随机单调算子的概率不动点的概念。我们开发了一个随机优势的框架，这样的运营商的收敛性分析。然后，我们使用它来给出EVI和EPI的样本复杂度界限。然后，我们提供了各种变化和扩展异步经验动态规划，极大极小经验动态规划，并显示如何也可以用来解决动态报童问题。初步的实验结果表明，收敛速率比随机逼近算法。
2013-11-22 math.OC
Asynchronous Push-sum Dual Gradient Algorithm in Distributed Model Predictive Control
针对有向网络上带全局约束的分布式系统DMPC问题，提出异步push-sum对偶梯度算法，证明了R-线性收敛并保证闭环系统稳定性。
2025-11-05 cs.SY eess.SY math.OC
Asynchronous Distributed Optimization via Randomized Dual Proximal Gradient
Università del Salento（萨伦托大学）
本文提出基于对偶问题的近似梯度方法，通过选择合适的原变量副本，使对偶问题分离，并开发异步算法以实现非重叠块的分布式优化。
2016-06-24 cs.SY eess.SY math.OC
