Chebyshev Inertial Iteration for Accelerating Fixed-Point Iterations
提出了一种加快不动点迭代收敛速度的Chebyshev惯性迭代法。Chebyshev惯性迭代可以看作是利用切比雪夫多项式的根的逆作为迭代相关惯性因子的逐次超松弛或Krasnosel'ski \v-Mann迭代的变体。该方法的一个显著特点是除了线性不动点迭代外，还可以应用于非线性不动点迭代。不动点附近的线性化是分析该方法局部收敛速度的关键。所提出的方法似乎是有效的，特别是加速近端梯度法，如ISTA。证明了只要雅可比矩阵在不动点处的特征值都是实数，该方法就能成功地加速几乎所有的不动点迭代.
2020-01-10 cs.IT math.IT math.OC
Asynchronous Block-Iterative Primal-Dual Decomposition Methods for Monotone Inclusions
提出了求解线性组合极大单调算子和的包含组的原-对偶分解算法。这些算法的主要创新之处在于，它们是块迭代的，在这个意义上，在每次迭代中，只有一个子集的单调算子需要处理，而不是在建立的方法中的所有算子。确定性策略用于选择在每次迭代时激活的操作符块。此外，我们允许操作员处理“滞后”，允许异步实现。我们的方法的每次迭代的分解阶段是在所选择的单调算子的图中生成点，以构造包含与系统相关联的Kuhn-Tucker集的半空间。每次迭代的协调阶段都涉及到这个半空间上的投影。我们提出了两个相关的方法：第一种方法提供弱收敛的原始和对偶序列在一般条件下，而第二种是一个变种，其中强收敛性是保证没有额外的假设。这两种算法都不需要有关线性算子的边界或线性算子的反演的先验知识。我们的算法框架统一和显着扩展的方法，在早期的工作原始对偶投影分裂方法。
2015-11-27 math.OC
Asynchronous Iterations in Optimization: New Sequence Results and Sharper Algorithmic Guarantees
ABB Corporate Research（ABB企业研究院）；KTH Royal Institute of Technology（KTH皇家理工学院）
本文提出了异步迭代的新收敛结果，明确了异步程度对收敛速率的影响，加强了现有异步优化算法的理论保证，并改进了多种流行算法的复杂度界限与收敛分析。
2023-04-03 cs.DC cs.LG cs.SY
More Iterations per Second, Same Quality -- Why Asynchronous Algorithms may Drastically Outperform Traditional Ones
Department of Mathematics, University of California, Los Angeles（加州大学洛杉矶分校数学系）
本文研究了异步并行算法ARock的收敛性，证明在大规模问题中，异步算法所需的额外迭代次数可忽略，从而证明其在分布式计算中的潜力。
2017-08-17 cs.DC cs.NA math.NA
AsyncQVI: Asynchronous-Parallel Q-Value Iteration for Discounted Markov Decision Processes with Near-Optimal Sample Complexity
Fudan University（复旦大学）；Columbia University（哥伦比亚大学）；University of California, Los Angeles（加州大学洛杉矶分校）
在本文中，我们提出了AsyncQVI，折扣马尔可夫决策过程的过渡和奖励只能通过生成模型进行采样的一个并行Q值迭代。给定$|\mathcal{S}|$状态、$|\mathcal{A}|$动作和折扣因子$γ\in(0,1)$的这种问题，AsyncQVI使用大小为$\mathcal{O}(|\mathcal{S}|)$的存储器，并使用$$\tilde{\mathcal{O}}\big(\frac{|\mathcal{S}||\mathcal{A}|}{(1-γ)^5\varepsilon^2}\log(\frac{1}δ)\big)$$样本返回概率至少为$1-δ$的$\varepsilon$最优策略。AsyncQVI也是第一个折扣马尔可夫决策过程的并行算法，其样本复杂度几乎与理论下界相匹配。相对较低的内存占用和并行能力使AsyncQVI适合大规模应用。在数值测试中，我们比较了AsyncQVI与四种基于样本的值迭代法。实验结果表明，该算法具有很高的效率，并达到了线性并行加速比。
2020-02-22 cs.LG math.OC
A Distributed Asynchronous Generalized Momentum Algorithm Without Delay Bounds
该研究提出一种允许任意有限延迟的分布式异步广义动量算法，其收敛性经参数条件保证，在20newsgroups文本分类任务中，相比梯度下降等算法迭代次数显著减少，收敛更快。
2026-08-11 math.OC
A stochastic coordinate descent inertial primal-dual algorithm for large-scale composite optimization
考虑一种惯性原始对偶法，用于计算两个凸函数之和与另一个凸函数与一个连续线性算子的复合的极小化。利用坐标下降的思想，设计了一种随机坐标下降惯性原对偶分裂算法。此外，为了证明所提出的惯性算法的收敛性，我们首先构造了随机Krasnosel'skiii-Mann迭代算法的惯性版本，用于逼近非扩张算子的不动点集，并研究了它的收敛性。然后将随机Krasnosel'skiii-Mann迭代的惯性形式应用于邻近算子的合成，得到了随机坐标下降惯性原对偶分裂算法的收敛性.
2016-04-17 math.OC
A Riemannian Inertial Adaptive Gradient Method with Momentum Restart
University of Hertfordshire（赫特福德大学）；Sefako Makgatho Health Sciences University（塞法科·马卡索健康科学大学）
本文提出RIAG-R，一种结合自适应步长、惯性外推和梯度触发重启的黎曼优化方法，在多个矩阵流形上显著优于基线，证明了自适应重启对曲率空间动量的关键作用。
2026-09-29 math.OC
An inexact inertial projective splitting algorithm with strong convergence
针对涉及有限多个极大单调算子之和的复合单调包含问题，提出具有强收敛性的不精确惯性投影分裂算法，通过半空间交集投影确保强收敛，建立迭代复杂度结果，还推导采用前向-后向等步骤的变体。
2025-07-07 math.OC
Linearly Convergent Asynchronous Distributed ADMM via Markov Sampling
我们考虑的共识分布式最优化问题，并提出了一个异步版本的交替方向法的乘法器（ADMM）算法来解决它。“异步”部分在这里是指的事实，只有一个节点/处理器更新（即执行最小化步骤）在算法的每次迭代。通过模拟一个马尔可夫链来决定待更新节点的选择。对强凸连续可微函数类，证明了该算法具有期望的线性收敛性质。
2022-03-31 math.OC
A2BCD: An Asynchronous Accelerated Block Coordinate Descent Algorithm With Optimal Complexity
在本文中，我们提出了异步加速非均匀随机块坐标下降算法（A2BCD），第一个异步Nesterov加速算法，达到最佳的复杂性。这种并行算法解决了无约束凸最小化问题，使用p个计算节点计算更新共享的解决方案向量，在一个异步的方式，没有中央协调。异步算法中的节点在开始新的迭代之前不等待来自其他节点的更新，而是简单地使用可用的最新解决方案信息来计算更新。这使得它们能够比传统算法更快地完成迭代，特别是在规模上，通过消除传统算法的昂贵同步代价。我们首先证明，A2BCD线性收敛到一个快速的加速率，最近提出的NU_ACDM相匹配的解决方案，只要最大延迟不是太大。有些令人惊讶的是，A2BCD并没有因为使用过时的信息而付出复杂性代价。然后，我们证明了随机坐标下降法，这表明A2 BCD（因此NU_ACDM）具有最佳的复杂性在一个常数因子内的较低的复杂性界限。通过数值实验证实，A2 BCD算法在小尺度下的性能优于NU_ACDM算法，后者是目前最快的坐标下降算法。我们还推导和分析了一个二阶常微分方程，这是我们的算法的连续时间限制，并证明了它的线性收敛到一个类似的加速率的解决方案。
2018-05-20 math.OC
Asynchronous distributed algorithms for seeking generalized Nash equilibria under full and partial decision information
本文研究了多智能体网络中具有延迟信息的异步分布式广义纳什均衡求解算法。所考虑的对策模型具有所有参与者的局部决策以及共享的仿射约束。我们假设每个参与者只能访问其局部目标函数、局部约束和仿射约束的局部块矩阵。我们首先给出算法的情况下，每个代理都能够完全访问所有其他球员的决定。借助于辅助边变量和边拉普拉斯矩阵，每个参与者可以以异步方式进行其局部迭代，仅使用局部数据和可能延迟的邻居信息。然后我们研究了当代理人不能知道所有其他参与人的决策时的情况，这被称为部分决策情况。我们引入局部估计的整体决策的情况下，每个代理，并开发另一个异步算法，将共识动态的整体决策的局部估计。由于这两种算法都不需要任何集中的时钟协调，算法充分利用了每个参与者的本地计算资源，并消除了由于等待“最慢”代理而导致的空闲时间。这两种算法都是由一个预处理的向前向后算子分裂方法，而收敛性的异步不动点迭代的帮助下，适当的假设和固定的步长选择。数值实验验证了算法的收敛性和有效性。
2018-07-24 math.OC
Distributed and Asynchronous Algorithms for N-block Convex Optimization with Coupling Constraints
本文首先提出了一种N块PCPM算法来求解同时具有线性和非线性约束的N块凸优化问题，并证明了算法的整体收敛性。数值实验表明，在强二阶最优性条件下，该方法具有线性收敛速率。其次，以线性约束N块凸优化问题为出发点，提出了一种异步N块PCPM算法。数值结果表明，在有界时滞假设下，该方法具有亚线性收敛速率，并且比同步迭代法具有更快的收敛速度，只需更多的短时迭代。
2021-03-25 math.OC
Asynchronous Variance-reduced Block Schemes for Composite Nonconvex Stochastic Optimization: Block-specific Steplengths and Adapted Batch-sizes
我们考虑的期望值坐标明智$L_i$光滑非凸函数和非光滑块可分凸正则化的总和的最小化。我们提出了一个异步方差减少算法，在每次迭代中，一个单一的块被随机选择更新其估计由一个邻近的可变样本大小的随机梯度计划，而其余的块保持不变。值得注意的是，每个块采用根据其块特定的Lipschitz常数的步长，而块特定的批量大小是以随着该块被选择的（随机）次数以几何或多项式速率增长的速率更新的随机变量。我们证明了几乎每个样本路径的每个极限点都是平稳点，并建立了遍历非渐近速率$\mathcal{O}(1/K) $。迭代和预言复杂性，以获得$ε$ -平稳点被证明是$\mathcal{O}(1/ε)$和$\mathcal{O}(1/ε^2)$，分别。进一步证明了在$ μ$ -proximal Polyak-Proximojasiewicz（PL）条件下，当批量以几何速率增加时，次优性以{ \em几何}速率减小，而获得$ε$ -最优解的迭代和预言复杂性分别被证明为$\mathcal{O}( (L_{\rm max}/μ) \ln(1/ε))$和$\mathcal{O}\left((L_{\rm ave}/μ) (1/ε)^{1+c} \right)$ with $c\geq 0$.在追求不太积极的采样率，当批量大小增加的次数$v \geq 1$的多项式率，次优衰减在相应的多项式率，而迭代和预言复杂性，以获得$ε…
2020-02-19 math.OC
On inexact relative-error hybrid proximal extragradient, forward-backward and Tseng's modified forward-backward methods with inertial effects
本文提出并研究了求解单调包含问题的一种惯性欠松弛的相对误差混合邻近超梯度（HPE）方法的渐近收敛性和非渐近整体收敛速度（迭代复杂度）.我们分析了所提出的方法下更灵活的假设比现有的外推和相对误差参数。作为应用，我们提出和/或研究了求解结构单调包含的惯性欠松弛前后向和Tseng的修正前后向方法。
2018-12-05 math.OC
Asynchronous Parallel Policy Gradient Methods for the Linear Quadratic Regulator
本文针对连续时间线性二次调节问题，提出异步并行零阶策略梯度方法，并从理论和仿真两方面证明了其线性加速特性。
2024-07-03 math.OC
Distributed Asynchronous Policy Iteration for Sequential Zero-Sum Games and Minimax Control
我们介绍了一个压缩抽象动态规划框架和相关的政策迭代算法，专门设计的顺序零和游戏和极大极小问题的一般结构。除了更大的一般性，我们的算法优于替代方案的优点是，它们解决了一些长期存在的收敛困难的“自然”的政策迭代算法，这是已知的，因为Pollatschek和Avi-Itzhak方法[PoA 69]有限状态马尔可夫博弈。在数学上，这种“自然”算法是牛顿方法的一种形式，用于求解贝尔曼方程，但牛顿方法，与单人DP问题的情况相反，在极大极小问题的情况下不是全局收敛的，因为贝尔曼算子可能具有既不是凸也不是凹的分量。我们的算法通过引入交替的玩家选择来解决这个困难，并通过使用具有统一超范数收缩属性的策略依赖映射，类似于Bertsekas和Yu的早期作品[BeY 10]，[BeY 12]，[YuB 13]。此外，我们的算法允许一个收敛和高度并行化的实现，这是基于状态空间分区，和分布式异步策略评估和策略改进操作内的每一组分区。我们的框架也适合使用基于聚合的强化学习方法，这可能对大规模问题实例有用。
2021-10-20 cs.GT cs.SY eess.SY
A relative-error inexact ADMM splitting algorithm for convex optimization with inertial effects
本研究提出一种带惯性效应的凸优化相对误差非精确ADMM分裂算法，证明其渐近收敛性与残差的逐点、遍历迭代复杂度，并通过回归问题初步数值实验验证了算法有效性。
2024-09-16 math.OC
A Sharp Finite-Iteration Theory for Asynchronous Categorical Distributional Temporal-Difference Learning
Elmore Family School of Electrical and Computer Engineering（埃尔摩家庭电气与计算机工程学院）
本文提出两种分类策略的有限迭代理论，通过等距嵌入将算法转化为异步单状态随机近似递归，从而在折扣和非折扣问题中提供保证。
2026-10-07 cs.LG math.OC
A Fast Distributed Asynchronous Newton-Based Optimization Algorithm
网络系统上局部凸目标函数之和最小化问题是分布式优化领域的重要问题之一。这一领域的大部分现有工作都集中在开发分布式算法，在一个中央时钟的存在下，在同步设置，代理需要等待最慢的一个完成更新，然后再进行下一个时钟。异步分布式算法消除了对中央协调器的需要，减少了同步等待，并允许一些代理更快地计算和执行更多的迭代。在异步设置中，用于解决该问题的唯一已知算法可以实现线性或次线性的收敛速率。在这项工作中，我们建立在现有的文献开发和分析的异步牛顿为基础的方法来解决惩罚版本的问题。我们证明了该算法在期望下具有全局线性收敛性和局部二次收敛性，并保证了算法的几乎必然收敛。数值研究证实了我们的算法对其他异步方法的优越性能。
2019-01-04 math.OC
A new inertial condition on the subgradient extragradient method for solving pseudomonotone equilibrium problem
本文针对伪单调均衡问题，提出一种仅依赖迭代系数的新惯性条件，并用于带自适应步长的次梯度外梯度方法，在更弱条件下证明了弱收敛性，数值实验表明其优于现有方法。
2023-10-31 math.OC
Asynchronous stochastic approximations with asymptotically biased errors and deep multi-agent learning
异步随机逼近（SA）是一类重要的无模型算法，工具和技术，流行的多智能体和分布式控制方案。为了对抗贝尔曼的维数灾难，这种算法与函数近似相结合。虽然学习/控制问题变得更容易处理，但函数逼近会影响稳定性和收敛性。在本文中，我们提出了可验证的充分条件的稳定性和收敛性的异步SA有偏逼近误差。本文中开发的理论用于分析策略梯度法和噪声值迭代方案。具体来说，我们分析了异步近似对应的政策梯度（A2 PG）和价值迭代（A2 VI）计划。结果表明，这些算法的稳定性是不受有偏逼近误差，只要它们是渐近有界的。关于收敛性（A2 VI和A2 PG），建立了极限集与逼近误差之间的关系。最后，实验结果支持的理论。
2019-05-02 math.DS math.OC stat.ML
An Asynchronous Approximate Distributed Alternating Direction Method of Multipliers in Digraphs
在这项工作中，我们考虑异步分布式最优化问题，其中每个节点都有自己的凸费用函数，可以直接与它的邻居，由一个有向通信拓扑（有向图或有向图）。首先，我们重新制定的最优化问题，使交替方向法的乘数（ADMM）可以利用。在此基础上，提出了一种基于有限时间异步近似比率一致性的多节点凸最优化问题的求解算法--异步近似分布式乘子交替方向法（AsyAD-ADMM），该算法中每个节点进行迭代计算，并与相邻节点异步交换信息.更具体地说，在AsyAD-ADMM的每次迭代中，每个节点为原始变量之一求解局部凸优化问题，并利用有限时间异步近似共识协议来获得接近最优值的另一变量的值，因为第二原始变量的费用函数是不可分解的。如果各个费用函数是凸的但不一定是可微的，则所提出的算法以$\mathcal{O}(1/k)$的速率收敛，其中$k$是迭代计数器。AsyAD-ADMM的功效是通过一个分布式最小二乘最优化问题的概念验证与不同的性能影响因素的调查。
2021-04-24 cs.DC math.OC
An inertial three-operator splitting algorithm with applications to image inpainting
三算子分裂算法是求解三个最大单调算子之和的零点的一种常用的算子分裂方法，其中一个最大单调算子是余度算子。本文提出了一类惯性三算子分裂算法。在实希尔伯特空间中，利用惯性Krasnoselskiii-Mann迭代法，对迭代参数在一定条件下，证明了算法的收敛性.作为应用，我们发展了一个惯性三算子分裂算法来求解三个凸函数之和的凸极小化问题，其中一个凸函数是Lipschitz连续梯度可微的.最后，我们进行了数值实验的约束图像修复问题的核范数正则化。数值结果证明了所提出的惯性三算子分裂算法的优越性。
2019-04-26 math.OC
RodFIter: Attitude Reconstruction from Inertial Measurement by Functional Iteration
Shanghai Jiao Tong University（上海交通大学）
本文提出了一种基于罗德里格斯向量的函数迭代方法（RodFIter），用于从陀螺仪测量中精确重建姿态，该方法在理论上能够准确重构增量姿态，并在姿态摆动运动中表现出优于主流姿态算法的精度。
2018-02-01 cs.RO cs.SY eess.SY
Setwise Coordinate Descent for Dual Asynchronous Decentralized Optimization
针对去中心化优化中随机选择邻居忽略优化状态的问题，提出基于对偶代价最大改进的成组坐标下降算法，并开发新分析框架证明其能将迭代收敛速度提升至最大坐标集大小的倍数。
2025-04-26 math.OC
Dual-Delayed Asynchronous SGD for Arbitrarily Heterogeneous Data
The Hong Kong University of Science and Technology（香港科技大学）；The Chinese University of Hong Kong（香港中文大学）
针对异步SGD在数据异构时性能下降的问题，提出双延迟异步SGD（DuDe-ASGD），利用双时间滞后与增量聚合，在光滑非凸问题上达到近最优收敛，实验验证其优于现有算法。
2024-05-27 cs.LG math.OC
A strongly convergent inertial inexact proximal-point algorithm for monotone inclusions with applications to variational inequalities
本文提出一种在更弱惯性参数假设下强收敛的惯性非精确邻近点算法，并给出迭代复杂度分析，将其应用于变分不等式，得到多种经典方法的强收敛惯性变体，数值实验验证了其有效性。
2025-09-23 math.OC
General inertial smoothing proximal gradient algorithm for the relaxation of matrix rank minimization problem
我们考虑了Yu和Zhang（Comput.Optim.Appl. 1-20，2022）提出的矩阵秩最小化问题的精确连续松弛模型。受惯性技术的启发，我们提出了一种求解这类问题的通用惯性平滑近似梯度算法（GIMSPG）。证明了任意聚点的奇异值有一个公共的支撑集，非零奇异值有一个统一的下界。此外，在有限次迭代中，可以达到聚点的零奇异值。此外，我们证明了GIMSPG算法产生的序列的任何聚点是柔性参数约束下的连续松弛模型的提升平稳点。最后，分别对随机数据和图像数据进行了数值实验，验证了GIMSPG算法的有效性。
2022-04-15 math.OC
Asynchronous Distributed Optimization using a Randomized Alternating Direction Method of Multipliers
考虑一组网络代理赋予私人成本函数，并寻求找到一个共识的最小化的总成本。介绍了一类新的随机异步分布优化方法。该方法将标准的交替方向乘法器（ADMM）推广到异步设置，其中网络的隔离组件以不协调的方式被激活。该算法依赖于引入随机高斯-赛德尔迭代的道格拉斯-Rachford运营商寻找两个单调运营商的总和的零。收敛到所寻求的极小提供温和的连接条件下。数值结果支持我们的主张。
2013-03-12 cs.DC math.OC
DAve-QN: A Distributed Averaged Quasi-Newton Method with Local Superlinear Convergence Rate
在本文中，我们考虑分布式算法解决的经验风险最小化问题下的主/工人通信模型。我们开发了一个分布式异步拟牛顿算法，可以实现超线性收敛。据我们所知，这是第一个分布式异步算法的超线性收敛保证。我们的算法是通信效率的意义上说，在每一次迭代的主节点和工人沟通矢量的大小$O(p)$，其中$p$是决策变量的尺寸。所提出的方法是基于一个分布式异步平均方案的决策向量和梯度的方式，以有效地捕捉局部Hessian信息的目标函数。我们的收敛理论支持异步计算受到有界延迟和无界延迟有界的时间平均。与大多数异步优化文献不同，当延迟很大时，我们不需要选择较小的步长。我们提供的数值实验，我们的理论结果相匹配，并展示了显着的改进相比，最先进的分布式算法。
2019-06-10 math.OC
Practical Precoding via Asynchronous Stochastic Successive Convex Approximation
Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）；Radisys India Pvt. Ltd.（瑞迪斯印度私人有限公司）
考虑光滑非凸损失函数与凸非光滑正则化子的随机最优化。在在线设置中，其中在每次迭代时损失的随机梯度的单个样本可用，该问题可以使用近似随机梯度下降（SGD）算法及其变体来解决。然而，在许多问题中，特别是在通信和信号处理中出现的那些问题中，由于损失函数的结构，可以获得超出随机梯度的信息。SGD不使用这种额外的梯度信息，但已被证明是有用的，例如在随机期望最大化，随机优化最小化和随机连续凸逼近（SCA）方法的背景下。通过在每次迭代时构造损失函数的随机强凸代理，随机SCA算法可以利用损失函数的结构特性，并获得优于SGD的经验性能。在这项工作中，我们仔细研究随机SCA算法，并开发其异步变体，可用于无线网络中的资源分配。虽然随机SCA算法是已知的渐近收敛，其迭代复杂性还没有得到很好的研究，是目前工作的重点。从非渐近分析中获得的见解，使我们能够开发一个更实用的随机SCA算法，它允许使用在早期迭代计算的代理人的异步变体。我们的特点是精确的界限上的最大延迟的算法可以容忍，而仍然达到相同的收敛速度。我们将该算法应用于无线传感器网络中的线性预编码问题，它可以在低复杂度下实现，但在实践中表现良好。
2020-10-03 cs.LG eess.SP math.OC
Multi-step Inertial Accelerated Doubly Stochastic Gradient Methods for Block Term Tensor Decomposition
针对带正则项的秩-$(L_r,L_r,1)$块项张量分解，本文提出多步惯性加速双随机方法 Midas-LL1 及方差缩减估计框架，证明其收敛性与 $\mathcal{O}(\varepsilon^{-2})$ 迭代复杂度，并在实验中优于现有方法。
2025-01-08 math.OC
An inertial iteratively regularized extragradient method for bilevel variational inequality problems
针对可行集为另一变分不等式解集的双层变分不等式问题，提出惯性迭代正则化外梯度方法IneIREG，建立一般与强单调情形下的复杂度界，并给出数值实验验证。
2025-07-22 math.OC
A two-step inertial method with a new step-size rule for variational inequalities in hilbert spaces
Chongqing Normal University（重庆师范大学）；Near East University（近东大学）
本文提出了一种新的两步惯性方法，用于求解Hilbert空间中的变分不等式，该方法结合自适应和Armijo型步长规则，无需Lipschitz条件，具有更广的应用范围。
2026-01-15 math.OC
Controlled Hopwise Averaging: Bandwidth/Energy-Efficient Asynchronous Distributed Averaging for Wireless Networks
University of Oklahoma（俄克拉荷马大学）
针对无线网络分布式平均的带宽/能量效率问题，提出受控逐跳平均算法，通过利用无线广播特性和迭代控制，实现更高效的通信。
2010-12-26 cs.DC cs.SY eess.SY
On the Convergence of Asynchronous Parallel Iteration with Unbounded Delays
Rensselaer Polytechnic Institute（伦斯勒理工学院）；Michigan State University（密歇根州立大学）；University of California, Los Angeles（加州大学洛杉矶分校）
本文从概率角度分析了异步并行方法在无界延迟下的收敛性，给出了依赖延迟统计的显式步长公式，并通过实验验证了理论模型的正确性，展示了传统最大延迟诱导步长过于保守的问题。
2017-11-15 cs.DC cs.NA math.NA
Relaxed and inertial nonlinear Forward-Backward algorithm
Universidad de O’Higgins（奥希金斯大学）；Universidad de Chile（智利大学）；Universidad de Concepción（康塞普西翁大学）；Universidad de Tarapacá（塔拉帕卡大学）
本文提出了一种放松和惯性非线性前向-反向算法，研究其收敛性并验证了其在优化和图像恢复中的有效性。
2025-12-01 math.OC
Delay-adaptive step-sizes for asynchronous learning
KTH Royal Institute of Technology（KTH皇家理工学院）；Stockholm University（斯德哥尔摩大学）；ABB Corporate Research（ABB企业研究院）
在可扩展的机器学习系统中，模型训练通常在多个节点上并行化，这些节点在没有紧密同步的情况下运行。大多数相关的异步算法的分析结果使用上界的系统中的信息延迟，以确定学习率。这样的界限不仅很难提前获得，而且还会导致不必要的缓慢收敛。在本文中，我们表明，它是可以使用的学习率，取决于系统中的实际时变延迟。我们开发一般的收敛结果延迟自适应异步迭代和专门这些近端增量梯度下降和块坐标下降算法。对于这些方法中的每一个，我们演示了如何延迟可以在线测量，目前的延迟自适应步长政策，并说明其理论和实践的优势，在国家的最先进的。
2022-04-11 cs.LG math.OC
A Coordinate Descent Primal-Dual Algorithm and Application to Distributed Asynchronous Optimization
本文提出一种基于随机坐标下降的对偶优化算法，用于解决分布式异步优化问题，通过随机更新坐标实现共识。
2015-09-30 cs.DC cs.NA cs.SY
Inertial Quadratic Majorization Minimization with Application to Kernel Regularized Learning
本文提出QMME框架，通过固定曲率二次上界最小化结合外推，在保持低迭代成本的同时提升收敛速度，并成功应用于大规模核正则化学习，提出基于Sylvester方程的核多项回归建模方法。
2025-07-06 cs.LG math.OC stat.ML
Technical Report: A Totally Asynchronous Nesterov's Accelerated Gradient Method for Convex Optimization
本文提出一种基于 Nesterov 加速梯度推广的全异步凸优化算法，在无延迟上界条件下保证线性收敛，并通过数值仿真验证其迭代次数显著少于 heavy ball 算法和梯度下降。
2024-06-14 cs.SY eess.SY math.OC
Asynchronous ADMM for Distributed Non-Convex Optimization in Power Systems
电力系统等复杂网络中的大规模、非凸优化问题需要高效、可扩展的分布式优化算法。现有的分布式方法通常是迭代的，并且在每次迭代时需要所有工作者的同步，这是难以扩展的，并且由于子问题的异构性可能导致计算资源的利用不足。针对同步算法的这些局限性，提出了一种基于交替方向乘子法（ADMM）的异步分布式非凸最优化方法。所提出的方法只需要本地通信，并允许每个工作者执行本地更新的信息从一个子集，但不是所有的邻居。给出了问题形式、算法参数选择和网络时延的充分条件，并证明了在这些条件下，异步ADMM方法渐近收敛于非凸问题的KKT点.我们验证了异步ADMM的有效性，将其应用到多个电力系统的最优潮流问题，并表明，所提出的异步计划的收敛速度可能比同步对应的大规模应用。
2017-10-24 cs.DC math.OC
Average-reward reinforcement learning in semi-Markov decision processes via relative value iteration
Department of Computing Science, University of Alberta（计算科学系，阿尔伯塔大学）；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所）
本文提出了一种在半马尔可夫决策过程中利用相对价值迭代算法进行平均奖励强化学习的方法，并引入新的单调性条件以提高算法收敛性。
2025-12-05 cs.LG math.OC
Asynchronous and Stochastic Distributed Resource Allocation
针对异步随机场景下的分布式资源分配问题，提出异步随机原始-对偶（Asyn-PD）算法，证明其以O(1/t)速率收敛，数值实验验证其优于同步算法。
2025-09-01 math.OC stat.ML
Inertial Proximal Deep Learning Alternating Minimization for Efficient Neutral Network Training
National University of Defense Technology（国防科技大学）
近年来，深度学习交替最小化（DLAM），实际上是应用于深度神经网络训练的惩罚形式的交替最小化，已被开发为克服随机梯度下降（SGD）算法的几个缺点的替代算法。这项工作开发了一个改进的DLAM的众所周知的惯性技术，即iPDLAM，预测一个点的线性化的当前和最后的迭代。为了获得更快的训练速度，我们对惩罚参数应用了一种预热技术，即从一个小的初始值开始，并在迭代中增加它。真实世界的数据集上的数值结果表明，我们所提出的算法的效率。
2021-01-30 cs.LG math.OC
Robust $Q$-learning for mean-field control under Wasserstein uncertainty in common noise
Shanghai Center for Data Science（上海数据科学研究中心）；NYU-ECNU Institute of Mathematical Sciences, NYU Shanghai（纽约大学-复旦大学数学科学研究所，纽约上海）；Division of Mathematical Sciences, Nanyang Technological University（南洋理工大学数学科学学院）
提出一种针对公共噪声分布Wasserstein不确定性的离散时间平均场控制鲁棒$Q$-学习算法，结合量化投影与Wasserstein对偶，证明同步和异步学习的收敛性及有限时间界，并在系统风险和流行病模型中验证鲁棒性-性能权衡。
2026-06-19 cs.AI cs.LG math.OC
Escaping From Saddle Points Using Asynchronous Coordinate Gradient Descent
大规模非凸优化问题由于计算和存储成本而求解起来很昂贵。为了降低成本，一阶（计算效率）和并行（内存效率）算法是必要的，以最小化非凸函数在机器学习。然而，在非凸设置中应用的非线性一阶方法遇到两个困难：（i）并行化延迟，其通过破坏一阶方法的单调性来影响收敛，以及（ii）梯度为零的次优鞍点。为了解决这两个困难，我们提出了一种异步坐标梯度下降算法，该算法以有界延迟收敛到局部最小值。我们的算法克服了并行延迟问题，通过使用精心构造的哈密顿函数。我们证明，我们设计的动能项，纳入哈密顿量，允许我们的算法，每次迭代单调减少。接下来，我们的算法利用扰动子例程引导迭代避开鞍点。类似于其他国家的最先进的（SOTA）算法，我们实现了多对数收敛速度方面的尺寸。与其他SOTA算法，这是同步的，我们的工作是第一个研究如何并行延迟影响异步一阶算法的收敛速度。我们证明了我们的算法优于同步同行下大并行延迟，收敛依赖于次线性延迟。据我们所知，这是第一个局部最优收敛结果的一阶异步算法的非凸设置。
2022-11-17 cs.DC math.OC
A Provably Communication-Efficient Asynchronous Distributed Inference Method for Convex and Nonconvex Problems
University of Minnesota（明尼苏达大学）
针对异步协议下的一般非凸非光滑信号处理和机器学习问题，提出并分析了一个通信高效的分布式优化框架。在每次迭代中，工作机器使用它们自己的本地数据计算已知经验损失函数的梯度，并且主机器解决相关的最小化问题以更新当前估计。我们证明了，对于非凸非光滑问题，该算法收敛于一个次线性率的通信轮数，符合最好的理论速度，可以实现这类问题。对于光滑部分为强凸的复合损失函数问题，在不对局部数据作任何统计假设的情况下建立了线性收敛.大量的数值实验验证，所提出的方法的性能确实提高-有时显着-在其他国家的最先进的算法在总的通信效率。
2019-03-16 cs.LG math.OC
Stochastic Inertial Krasnosel'skii-Mann Iteration Achieves Near-Optimal Sample Complexity
Carnegie Mellon University（卡内基梅隆大学）；Meta FAIR；Yale University（耶鲁大学）；Boston University（波士顿大学）
提出随机惯性Krasnosel'skii-Mann（iKM）方法，通过两次惯性外推实现非扩张算子不动点求解，达到近最优样本复杂度并改进经典KM的收敛速率。
2026-09-28 cs.LG math.OC stat.ML
Make Workers Work Harder: Decoupled Asynchronous Proximal Stochastic Gradient Descent
University of Science and Technology of China（中国科学技术大学）
异步并行优化算法用于解决大规模机器学习问题，近年来引起了学术界和工业界的广泛关注。本文提出了一种新的算法，解耦异步近端随机梯度下降（DAP-SGD），以最小化的目标函数，是多个经验损失的平均值和正则化项的组合。与传统的异步近似随机梯度下降（TAP-SGD），其中主进行大部分的计算负载，所提出的算法卸载的大部分计算任务从主工人，并离开主进行简单的加法运算。这种策略产生一个易于并行化的算法，其性能是合理的理论收敛性分析。具体地，当步长减小时，DAP-SGD实现$O(\log T/T)$速率，而当步长恒定时，DAP-SGD实现遍历$O(1/\sqrt{T})$速率，其中$T$是总迭代次数。
2016-05-21 cs.DC cs.LG math.OC
Asynchronous Stochastic Approximation with Applications to Average-Reward Reinforcement Learning
Department of Computing Science, University of Alberta（计算科学系，阿尔伯塔大学）；Alberta Machine Intelligence Institute (Amii)（阿尔伯塔人工智能研究所（Amii））
研究异步随机逼近算法的稳定性与收敛性，通过扩展Borkar-Meyn稳定性证明方法和Hirsch-Benaïm动力学系统方法，为平均奖励强化学习中的相对值迭代算法提供理论基础。
2025-12-09 cs.LG math.OC
On Unbounded Delays in Asynchronous Parallel Fixed-Point Algorithms
University of California, Los Angeles（加州大学洛杉矶分校）
对可扩展的数值解的需求推动了异步并行算法的发展，其中一组节点在很少或没有同步的情况下并行运行，从而使用延迟信息进行计算。本文研究了异步并行算法ARock在潜在无界时滞下的收敛性。ARock是一种通用的异步算法，有着广泛的应用。它通过让一组节点随机选择解坐标并以异步并行方式更新它们来并行不动点迭代。ARock将最近的一些异步坐标下降算法作为特例，提出了新的异步算子分裂算法。现有的ARock分析假设延迟是有界的，并使用该界来设置对收敛和效率都很重要的步长。其他的工作，虽然允许无限的延迟，对底层的不动点算子施加了严格的条件，导致有限的应用。在本文中，收敛建立无界时滞，这可以是随机的或确定性的。建议的步长更实用，一般比现有的工作。步长适应于延迟分布或系统中经历的当前延迟。新的李雅普诺夫函数，这是分析异步算法的关键，产生获得我们的结果。给出了一套具有大规模应用的实用优化算法，包括机器学习算法和科学计算算法。
2017-08-17 cs.DC cs.LG math.OC
Empirical Q-Value Iteration
Computer Engineering Texas A\&M University, e1
提出了一种新的简单而自然的算法，用于在转移核未知的情况下学习折扣成本马尔可夫决策过程（MDP）的最优Q值函数。与经典的MDP学习算法，如Q学习和actor-critic算法不同，该算法不依赖于基于随机逼近的方法。我们表明，我们的算法，我们称之为经验Q值迭代（EQVI）算法，收敛到最佳的Q值函数。我们还给出了一个收敛速率或非渐近样本复杂度界，并表明该算法的异步（或在线）版本也将工作。初步的实验结果表明，我们的算法相比，随机逼近为基础的算法收敛到一个球场估计的速度更快。
2019-01-30 cs.LG math.OC
