Thinking Outside the Ball: Optimal Learning with Gradient Descent for Generalized Linear Stochastic Convex Optimization
Tel Aviv University(特拉维夫大学);Toyota Technological Institute at Chicago(芝加哥丰田技术研究院)
我们考虑具有凸Lipschitz损失的线性预测,或者更一般地,考虑广义线性形式的随机凸优化问题,即~其中每个瞬时损失是线性函数的标量凸函数。我们表明,在这种设置中,早期停止的梯度下降(GD),没有任何显式的正则化或投影,确保过多的错误在大多数$ε$(相比,最好的可能与单位欧几里德范数)与最佳的,高达对数因子,样本复杂度$\tilde{O}(1/ε^2)$和只有$\tilde{O}(1/ε^2)$迭代。这与一般随机凸优化形成对比,其中需要$Ω(1/ε^4)$迭代Amir等人[2021 b]。通过利用一致收敛而不是稳定性来确保较低的迭代复杂度。但是,而不是在一个规范球的一致收敛,我们可以保证使用$Θ(1/ε^4)$样本的次优学习,我们依赖于分布相关的球的一致收敛。
2022-10-30 cs.LG math.OC
Near-Optimal Convex Optimization with Lazy Second-Order Oracles
Tsinghua University(清华大学);Westlake University(西湖大学)
本文研究懒惰二阶预言机下凸优化的迭代复杂度,证明下界Ω(m+m^{1/7}ε^{-2/7})并提出新方法达到相同上界,显著改进先前结果并紧至对数因子。
2026-10-05 cs.LG math.OC stat.ML
Sharp convergence rates for Langevin dynamics in the nonconvex setting
University of California(加利福尼亚大学);VinAI
研究了从分布$p^*(x) \propto \exp\left(-U(x)\right)$中抽样的问题,其中函数$U$是$L$ -处处光滑的,$m$ -在半径为$R$的球外强凸的,但在球内可能是非凸的.我们研究了过阻尼和欠阻尼Langevin MCMC和建立上界的步骤,以获得一个样本的分布,是在$1$ - Wasserstein距离的$p^*$的$ε$的数量。对于一阶方法(过阻尼Langevin MCMC),迭代复杂度为$\tilde{\mathcal{O}}\left(e^{cLR^2}d/ε^2\right)$,其中$d$是底层空间的维数。对于二阶方法(欠阻尼Langevin MCMC),对于显式正常数$c$,迭代复杂度为$\tilde{\mathcal{O}}\left(e^{cLR^2}\sqrt{d}/ε\right)$。令人惊讶的是,这两种算法的迭代复杂度在维度$d$和目标精度$ε$上仅为多项式。然而,在问题参数$LR^2$中,它是指数的,这是目标分布的非对数分布的度量。
2020-07-06 cs.LG math.PR stat.CO
On Parallel or Distributed Asynchronous Iterations with Unbounded Delays and Possible Out of Order Messages or Flexible Communication for Convex Optimization Problems and Machine Learning
LAAS-CNRS(LAAS-法国国家科学研究中心);Université de Toulouse(图卢兹大学);CNRS(法国国家科学研究中心)
我们描述了并行或分布式异步迭代算法的几个特点,如无界延迟,可能的顺序消息或灵活的通信。本文重点讨论了为了研究异步迭代的收敛性或终止性而引入的宏迭代序列的概念。本文还综述了凸优化问题的异步迭代方法。最后,给出了凸优化问题和机器学习中具有灵活通信的并行或分布式异步迭代算法收敛性的一个新结果。
2022-10-05 cs.DC cs.LG cs.NE
On the Global Convergence of Fitted Q-Iteration with Two-layer Neural Network Parametrization
Purdue University(普渡大学)
基于深度Q学习的算法已成功应用于许多决策问题,但其理论基础还不太清楚。本文研究了一种基于双层ReLU神经网络参数化的拟合Q迭代算法,并给出了该算法的样本复杂度保证。我们的方法估计的Q-函数在每次迭代使用凸优化问题。我们表明,这种方法实现了样本的复杂性$\tilde{\mathcal{O}}(1/ε^{2})$,这是顺序最优的。该结果适用于可数状态空间,并且不需要任何假设,例如MDP上的线性或低秩结构。
2023-01-31 cs.AI cs.LG
Byzantine Stochastic Gradient Descent
IST Austria(奥地利科学技术研究所);Microsoft Research AI(微软研究院AI);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
本文研究了分布式随机优化问题在一个敌对的设置,其中,出的$m$机器,据称计算随机梯度的每一个迭代,一个$α$ -分数是拜占庭式的,可以任意和敌对的行为。我们的主要结果是随机梯度下降(SGD)的一个变种,发现$\varepsilon$ -近似极小的凸函数在$T = \tilde{O}\big( \frac{1}{\varepsilon^2 m} + \frac{α^2}{\varepsilon^2} \big)$迭代。相比之下,传统的小批量SGD需要$T = O\big( \frac{1}{\varepsilon^2 m} \big)$迭代,但不能容忍拜占庭式的失败。此外,我们提供了一个下限表明,对数因子,我们的算法是信息理论上最优的采样复杂度和时间复杂度。
2018-03-23 cs.DC cs.DS cs.LG
Accelerated Gradient Descent Escapes Saddle Points Faster than Gradient Descent
University of California, Berkeley(加州大学伯克利分校);Microsoft Research, India(微软印度研究院)
Nesterov的加速梯度下降(AGD),一般家庭的“动量方法”的一个例子,证明了实现更快的收敛速度比梯度下降(GD)在凸设置。然而,这些方法是否优于GD在非凸设置仍然开放。本文研究了AGD的一个简单的变形,并证明了它在$\tilde{O}(1/ε^{7/4})$迭代中能逃脱鞍点并找到二阶稳定点,比GD所需的$\tilde{O}(1/ε^{2})$迭代快。据我们所知,这是第一个Hessian-free算法找到一个二阶稳定点比GD更快,也是第一个单循环算法,甚至在设置中找到一个一阶稳定点的速度比GD更快。我们的分析基于两个关键思想:(1)使用一个简单的哈密顿函数,灵感来自连续时间的角度,AGD单调递减每一步,即使是非凸函数,和(2)一个新的框架称为改善或本地化,这是有用的跟踪基于梯度的优化算法的长期行为。我们相信这些技术可以加深我们对加速算法和非凸优化的理解。
2017-11-28 cs.LG math.OC stat.ML
A Parallel SGD method with Strong Convergence
Microsoft Research(微软研究院);Microsoft Corporation(微软公司)
本文提出了一种新的并行随机梯度下降(SGD)方法,该方法通过应用并行SGD迭代集(每个集合使用驻留在其中的数据在一个节点上操作)来获得,用于在批下降方法的每次迭代中找到方向。该方法具有较强的收敛性。在高维特征空间数据集上的实验表明了该方法的有效性。
2013-11-04 cs.DC cs.LG
Massively-Parallel Feature Selection for Big Data
我们提出了并行,向前向后修剪(PFBP)算法的特征选择(FS)在大数据设置(高维度和/或样本大小)。为了应对大数据的挑战,FS PFBP根据行(样本、训练样本)和列(特征)对数据矩阵进行分区。通过采用$p$ -条件独立性测试和元分析技术的值的概念,PFBP管理,只依赖于本地的计算分区,同时最大限度地减少通信成本。然后,它采用强大而安全的(渐近合理的)算法来做出早期的近似决策,例如在随后的迭代中提前放弃考虑功能,在同一迭代中提前停止考虑功能,或者在每次迭代中提前返回获胜者。PFBP提供了一个因果网络(贝叶斯网络或最大祖先图)忠实地表示数据分布的最优性的渐近保证。我们的实证分析证实了一个超线性加速的算法,增加样本大小,线性可扩展性的功能和处理核心的数量,同时主导其他竞争对手的同类算法。
2017-08-23 cs.LG stat.ML
Efficient Projection-Free Algorithms for Saddle Point Problems
Shanghai Jiao Tong University(上海交通大学);The Hong Kong University of Science and Technology(香港科技大学)
Frank-Wolfe算法是求解约束最优化问题的经典算法。它最近在许多机器学习应用程序中很受欢迎,因为它的无投影属性可以带来更高效的迭代。本文研究了具有复杂约束的凸-强-凹鞍点问题的无投影算法。我们的方法结合了条件梯度滑动与Prox-Prox,并表明它只需要$\tilde{O}(1/\sqrtε)$梯度评估和$\tilde{O}(1/ε^2)$线性最优化在批量设置。我们还将我们的方法扩展到随机设置,并提出了第一随机投影无算法的鞍点问题。实验结果证明了我们的算法的有效性,并验证了我们的理论保证。
2020-10-21 cs.LG math.OC
EventGraD: Event-Triggered Communication in Parallel Machine Learning
University of Notre Dame(圣母大学)
并行系统中的通信会带来很大的开销,这往往会成为并行机器学习的瓶颈。为了减轻一些这种开销,在本文中,我们提出了EventGraD -一个算法与事件触发的通信随机梯度下降并行机器学习。该算法的主要思想是将并行机器学习中的随机梯度下降的标准实现中的每次迭代时的通信要求修改为仅在某些迭代中必要时进行通信。我们提供了我们所提出的算法的收敛性的理论分析。我们还实现了所提出的算法,用于训练CIFAR-10数据集的流行残差神经网络的数据并行训练,并表明EventGraD可以减少高达60%的通信负载,同时保持相同的准确度。此外,EventGraD可以与其他方法(如Top-K稀疏化)结合使用,以在保持准确性的同时进一步减少通信。
2021-12-08 cs.DC cs.LG cs.SY
Accelerating Frank-Wolfe Algorithm using Low-Dimensional and Adaptive Data Structures
在本文中,我们研究的问题,加快一类优化算法称为Frank-Wolfe,一个条件梯度法。我们开发并采用了两种新的内积搜索数据结构,改进了[Shrivastava,Song和Xu,NeurIPS 2021]中的现有最快算法。* 第一种数据结构使用低维随机投影将问题降维,然后使用高效的内积数据结构。它具有预处理时间$\tilde O(nd^{ω-1}+dn^{1+o(1)})$和每次迭代成本$\tilde O(d+n^ρ)$小常数$ρ$。* 第二数据结构利用了自适应内积搜索数据结构的最新发展,该数据结构可以输出对所有内积的估计。它具有预处理时间$\tilde O(nd)$和每次迭代成本$\tilde O(d+n)$。第一种算法在所有情况下都改进了现有技术(具有预处理时间$\tilde O(d^2n^{1+o(1)})$和每次迭代成本$\tilde O(dn^ρ)$),而第二种算法提供了甚至更快的预处理时间,并且在迭代次数小时是合适的。
2022-07-19 cs.DS
Solving Packing and Covering LPs in $\tilde{O}(\frac{1}{ε^2})$ Distributed Iterations with a Single Algorithm and Simpler Analysis
包装和覆盖线性规划属于线性规划的狭义类别,在并行和分布式计算模型中可有效求解,但在理论计算机科学,运筹学和许多其他领域中,它是一个强大的建模工具。在获得更快的分布式和并行算法包装和覆盖线性规划的最新进展,我们提出了一个简单的算法,其迭代计数匹配最知名的$\tilde{O}(\frac{1}{ε^2})$这类问题。该算法类似于[Allen-Zhu和Orecchia,2015]的算法,它可以被解释为Nesterov的对偶平均,并且它构造了原始(填充)和对偶(覆盖)问题的近似解。然而,分析依赖于一个近似的最优性差距和原始对偶视图的建设,导致更直观的解释。此外,我们的分析表明,所有现有的算法解决包装和覆盖线性程序的并行/分布式计算模型,事实上,unaccelerated,并提出了这类问题的加速算法设计的问题。
2017-10-24 cs.DS
Fast, Parallel, Query-Efficient Binary Classification
Stanford University(斯坦福大学)
研究为有归一化d维特征的二元标记数据集计算分离超平面的分类问题,提出随机算法,给出不同算法的顺序运行时间、并行深度及矩阵向量查询次数等,改进了顺序运行时间和并行深度。
2026-07-07 cs.DS cs.LG math.OC
Truncated Variance Reduced Value Iteration
Stanford University(斯坦福大学)
本文提出截断方差缩减值迭代算法,在采样与稀疏离线MDP设置中降低计算$ε$-最优策略的复杂度,并缩小无模型与基于模型方法的样本复杂度差距。
2024-05-21 cs.DS cs.LG math.OC
More Efficient Parallel $(Δ+1)$-Edge Coloring
Georgetown University(乔治城大学)
针对$Δ+1$边着色问题,提出跨度$\tilde{O}(Δ^3)$、工作量$\tilde{O}(mΔ^3)$的确定性并行算法,以及高概率下跨度$\tilde{O}(Δ^2)$、工作量$\tilde{O}(mΔ^2)$的随机算法,大幅优于现有算法且未增大对数因子。
2026-09-28 cs.DS
A Deterministic Parallel APSP Algorithm and its Applications
在本文中,我们提出了一个确定性的并行所有对最短路径算法的实加权有向图。该算法对任意深度参数$d\in [1,n]$都有$\tilde{O}(nm+(n/d)^3)$功和$\tilde{O}(d)$深度。据我们所知,这样的权衡之前仅针对使用随机化的实加权单源最短路径问题进行了描述[Bringmann等人,ICALP'17]。此外,我们的结果改进了用于计算传递闭包的现有技术的随机化并行算法的并行性,该算法具有$\tilde{O}(nm+n^3/d^2)$工作和$\tilde{O}(d)$深度[Ullman和Yannakakis,SIAM J. '91]。我们的APSP算法原来是一个强大的工具,设计高效的平面图算法在并行和顺序制度。我们的并行APSP算法的一个显着的成分是一个简单的确定性$\tilde{O}(nm)$ -工作$\tilde{O}(d)$ -深度过程计算$\tilde{O}(n/d)$大小的最短$d$ -跳路径之间的实加权有向图的所有顶点对的命中集。这样的命中集也被称为$d$ -集线器集。枢纽集在设计并行或动态最短路径算法时特别有用,通常通过随机抽样获得。我们的程序意味着,例如,一个$\tilde{O}(nm)$时间确定性算法找到一个最短的负圈的实加权有向图。到目前为止,仅使用随机算法[Orlin等人,谨慎。'18]。
2021-01-07 cs.DS
Strongly Polynomial Parallel Maximum Flow Revisited
University of Warsaw(华沙大学)
该研究针对并行环境下带实数容量的有向网络最大流问题,提出一种强多项式最大流算法变体的随机并行实现,优化了工作量与深度的权衡,优于此前同类算法。
2026-08-13 cs.DS
Nearly Work-Efficient Parallel Algorithm for Digraph Reachability
有向图上最简单的问题之一是确定从指定的源顶点可达的顶点集。这个问题可以很容易地通过执行图搜索来解决,但是高效的并行算法已经困扰了研究人员几十年。对于稀疏的高直径图,特别是,有没有已知的工作效率的并行算法与非平凡的并行。这相当于并行图算法中最基本的开放问题之一:是否有一个并行算法的有向图可达性与近线性工作?本文表明,答案是肯定的。本文提出了一种随机并行算法,用于求解任意具有$m$弧和$n$顶点的图上的有向图的可达性及相关问题,算法的期望工作量为$\tilde{O}(m)$,跨度为$\tilde{O}(n^{2/3})$,从而具有并行性$\tildeΩ(n^{1/3})$.这是第一个并行算法,具有近线性工作和强次线性跨度。该算法可以扩展到产生有向生成树,确定图是否是无环的,拓扑排序图的强连通分量,或产生强连通图的有向耳分解,所有这些都具有类似的工作和跨度。主要的技术贡献是\emph{efficient}蒙特卡罗算法,通过添加$\tilde{O}(n)$快捷方式,以高概率将图的直径减小到$\tilde{O}(n^{2/3})$。虽然串行和并行算法都具有这些组合特性,但即使是顺序算法也不是有效的。本文提出了一个令人惊讶的简单的顺序算法,实现了规定的直径减少和运行在$\tilde{O}(m)$的时间。对该算法进行优化可以产生主要结果,但这样做还需要克服其他几个挑战。
2017-11-06 cs.DS
Path Finding I :Solving Linear Programs with Õ(sqrt(rank)) Linear System Solves
MIT(麻省理工学院)
本文提出了一种新的线性规划求解算法,通过 Õ(sqrt(rank)) 线性系统求解次数,在 m 个约束、n 个变量和约束矩阵 A 的条件下,以 bit 复杂度 L 解决线性规划问题。该方法在迭代次数上优于现有方法,并且可并行化,适用于加速线性系统求解的线性代数技术。
2015-03-05 cs.DS cs.NA math.NA
Solving Linear Programs with Sqrt(rank) Linear System Solves
我们提出了一个算法,给定一个线性规划的$n$变量,$m$约束,和约束矩阵$A$,计算一个$ε$ -近似解的$\tilde{O}(\sqrt{rank(A)}\log(1/ε))$迭代具有高概率。我们的方法的每次迭代包括求解$\tilde{O}(1)$线性系统和额外的近似线性时间计算,由于Renegar(1988)的迭代成本,与以前最快的方法相比,提高了$\tildeΩ((m/rank(A))^{1/2})$的因子。此外,我们提供了一个确定性的多项式时间可计算的$\tilde{O}(rank(A))$ -自协调的障碍函数的多面体,解决了一个悬而未决的问题Nesterov和Nemirovski(1994)的理论“通用障碍”的内点方法。应用我们的技术的线性规划制定的最大流产生一个$\tilde{O}(|E|\sqrt{|V|}\log(U))$时间算法解决最大流问题的有向图与$|E|$边,$|V|$顶点,和整数容量的大小最$U$。这改进了Goldberg和Rao(1998)以前实现的$O(|E|\min\{|E|^{1/2},|V|^{2/3}\}\log(|V|^{2}/|E|)\log(U))$的最快多项式运行时间。在求解稠密有向单位容量图的特殊情况下,我们的算法改进了Even和Tarjan(1975)和Karzanov(1973)之前实现的$O(|E|\min\{|E|^{1/2}…
2020-08-31 cs.DS math.OC
Scalable Parallel Factorizations of SDD Matrices and Efficient Sampling for Gaussian Graphical Models
USC(南加州大学);MIT(麻省理工学院)
基于计算统计推断的抽样问题,我们为谱图理论和数值分析中的一个基本问题开发了一个近似最优算法。给定一个$n\times n$ SDDM矩阵${\bf \mathbf{M}}$,和一个常数$-1 \leq p \leq 1$,我们的算法给出了有效的访问稀疏$n\times n$线性算子$\tilde{\mathbf{C}}$,使$${\mathbf{M}}^{p} \approx \tilde{\mathbf{C}} \tilde{\mathbf{C}}^\top.$$的解决方案是基于因子分解${\bf \mathbf{M}}$到一个简单的和稀疏的矩阵,使用平方和频谱稀疏化的产品。对于具有$m$非零条目的${\mathbf{M}}$,我们的算法在$m$中以接近线性的方式工作,并且在具有$m$处理器的并行机上以多对数深度工作。这给出了第一个仅需要近似线性功和$n$ i.i.d.的采样算法。随机单变量高斯样本以生成i.i.d.具有SDDM精度矩阵的$n$维高斯随机场的随机样本。对于高斯随机场的这个自然子类的采样,它在随机性方面是最优的,在工作量和并行复杂度方面几乎是最优的。此外,我们的采样算法可以直接推广到具有SDD精度矩阵的高斯随机场。
2014-10-20 cs.DS cs.LG cs.NA
Near-Optimal Approximate Shortest Paths and Transshipment in Distributed and Streaming Models
我们提出了一种方法来解决转运问题-也被称为无容量限制的最小成本流-直到$1 + \varepsilon$在无向图中的乘法误差与非负边权重使用定制的梯度下降算法。使用$\tilde{O}(\cdot)$来隐藏$n$中的多对数因子(图中的节点数),我们的梯度下降算法进行$\tilde O(\varepsilon^{-2})$迭代,并且在每次迭代中,它解决转运问题的一个实例,直到$\operatorname{polylog} n$的乘法误差。特别是,这使我们能够通过计算对数拉伸的稀疏矩阵上的解来执行单次迭代。使用随机舍入方案,我们可以进一步扩展的方法,找到近似的单源最短路径(SSSP)问题的解决方案。因此,我们通过获得以下结果改进了先前的工作:(1)广播拥塞模型:$(1 + \varepsilon)$ -使用$\tilde{O}((\sqrt{n} + D)\varepsilon^{-3})$轮的近似SSSP,其中$ D $是网络的(跳)直径。(2)广播拥塞集团模型:$(1 + \varepsilon)$ -使用$\tilde{O}(\varepsilon^{-2})$轮的近似转运和SSSP。(3)多通道流式传输模型:$(1 + \varepsilon)$ -使用$\tilde{O}(n)$空间和$\tilde{O}(\varepsilon^{-2})$通道的近似转运和SSSP。这些模型…
2021-02-02 cs.DS
Duality and Nonlinear Graph Laplacians
本文给出了一类非线性Laplacian方程组的$\tilde{O}(k^2m \log(kn/ε))$迭代求解算法,其中$k$是非线性测度,$n$是变量个数,$m$是Laplacian图中非零项的个数$L$,$ε$是解的精度,而$\tilde{O}()$忽略(非主导)对数项.该算法是Kelner等人的一种自然的非线性推广。例如,其在近似线性时间内求解线性拉普拉斯方程组。与线性情况不同,在非线性情况下,每次迭代都需要$\tilde{O}(n)$时间,因此总运行时间为$\tilde{O}(k^2mn \log(kn/ε))$。对于$m = O(n)$和固定$k$的稀疏图,这种非线性算法是$\tilde{O}(n^2 \log(n/ε))$,它比求解线性方程组的标准方法稍快,后者需要大约$O(n^{2.38})$时间。我们的分析依赖于非线性“能量函数”的构造和Kelner等人二元分析的非线性扩展。al的非线性情况下,没有任何明确的参考频谱分析或电流。这些新的见解和结果提供了更广泛的扩展谱理论和非线性应用的工具。
2015-07-28 cs.DS
Near Optimal Parallel Algorithms for Dynamic DFS in Undirected Graphs
深度优先搜索(DFS)树是求解图问题的基本数据结构。对于具有$n$顶点和$m$边的给定图$G$,用于构建DFS树的经典算法[SiComp 74]需要$O(m+n)$时间。最近,Baswana等人[SODA 16]提出了一种在$\tilde{O}(n)$时间内更新边/顶点后更新无向图DFS树的简单算法。然而,他们的算法是严格顺序的。我们提出了一个算法实现类似的界限,可以很容易地采用并行环境。在并行模型中,DFS树可以在EREW PRAM上使用$m$处理器在预期的$\tilde{O}(1)$时间[SiComp 90]内从头开始计算,而最佳确定性算法在CRCW PRAM上需要$\tilde{O}(\sqrt{n})$时间[SiComp 90,JAlg 93]。我们的算法可以用来开发最佳的(最多polylog n因子确定性算法,以保持完全动态DFS和容错DFS,无向图。1-并行全动态DFS:给定一个任意的在线顶点/边更新序列,我们可以在EREW PRAM上使用$m$处理器在每次更新的$\tilde{O}(1)$时间内维护无向图的DFS树。2-并行容错DFS:可以预处理无向图以构建大小为O(m)的数据结构,使得对于图中的一组$k$更新(其中$k$是常数),可以使用EREW PRAM上的$n$处理器在$\tilde{O}(1)$时间内计算更新的DFS树。此外,我们的完全动态DFS算法提供,在一…
2017-05-10 cs.DS
Efficient Construction of Directed Hopsets and Parallel Approximate Shortest Paths
近似的单源最短路径问题如下:给定一个具有非负边权重的图和指定的源顶点$s$,返回从~ $s$到每个其他顶点的距离的估计值,使得估计值落在真实距离和$(1+ε)$乘以距离之间。针对\emph{directed}图上的近似最短路问题,提出了第一个具有次线性跨度(也称为深度)的近似工作有效并行算法。具体来说,对于常数$ε$和多项式有界的边权重,我们的算法有工作$\tilde{O}(m)$和跨度$n^{1/2+o(1)}$。先前已知几种算法用于\emph{undirected}图的情况,但似乎没有一种技术转化为有向设置。主要的技术贡献是第一个近线性工作算法构造有向图上的跳集。$(β,ε)$ -跳集是一组加权边(有时称为捷径),当添加到图中时,允许$β$ -跳路径的权重不超过真正最短路径距离的$(1+ε)$倍。有一个简单的顺序算法,它以有向图作为输入,并使用$β=O(\sqrt{n})$生成线性基数跳集,但它的运行时间相当长-特别是$\tilde{O}(m\sqrt{n})$。我们的算法是第一个更有效的算法,产生一个有向跳集具有类似的特点。具体地说,我们的顺序算法在$\tilde{O}(m)$时间内运行,并构造一个具有$\tilde{O}(n)$边和$β= n^{1/2+o(1)}$的跳集。该算法的并行版本具有工作$\tilde{O}(m)$和跨度$n^{1/2+o(1)}$。
2019-12-11 cs.DS
Variance Reduced Value Iteration and Faster Algorithms for Solving Markov Decision Processes
Stanford University(斯坦福大学);Princeton University(普林斯顿大学)
在本文中,我们提供了更快的算法近似求解折扣马尔可夫决策过程的多参数制度。给定一个折扣马尔可夫决策过程(DMDP)与$|S|$状态,$|A|$行动,折扣因子$γ\in(0,1)$,并在$[-M, M]$范围内的奖励,我们展示了如何计算$ε$ -最优策略,概率$1 - δ$在时间\[ \tilde{O}\left( \left(|S|^2 |A| + \frac{|S| |A|}{(1 - γ)^3} \right) \log\left( \frac{M}ε \right) \log\left( \frac{1}δ \right) \right) ~ . \]这一贡献反映了第一近线性时间,近线性收敛算法求解DMDP的中间值$γ$。我们还展示了如何获得改进的次线性时间算法,我们可以从$O(1)$时间的过渡函数的样本。在此假设下,我们提供了一个算法,计算$ε$ -最优策略的概率$1 - δ$在时间\[ \tilde{O} \left(\frac{|S| |A| M^2}{(1 - γ)^4 ε^2} \log \left(\frac{1}δ\right) \right) ~. \]最后,我们将这两个算法扩展到解决有限时域MDP。我们的算法改进了以前最好的近似计算最优政策的固定地平线MDP在多参数制度。有趣的是,我们通过对近似值迭代的仔细修改来获得我们的结果。我们展示了如何将经典的近似值迭代…
2020-12-23 cs.DS cs.LG math.OC
Undirected $(1+\varepsilon)$-Shortest Paths via Minor-Aggregates: Near-Optimal Deterministic Parallel & Distributed Algorithms
本文提出了计算任意无向赋权图中$(1+\varepsilon)$ -近似单源最短路径的近优确定性并行和分布式算法。在一个高层次上,我们确定性地减少这个和其他最短路径的问题,以$\tilde{O}(1)$次要聚合。Minor-Aggregation计算聚合(例如,最大值或总和)的节点值为每个连通分支的一些子图。我们的减少立即意味着:最佳确定性并行(PRAM)算法与$\tilde{O}(1)$深度和近线性工作。普遍最优的确定性分布式(CONGEST)算法,只要存在确定性Minor-Aggregate算法。例如,用于排除次要网络的最优$\tilde{O}(HopDiameter(G))$轮确定性CONGEST算法。几个新的工具开发的上述结果是有趣的,在自己的权利:一个本地的迭代方法减少最短路径计算“距离$D$“计算低直径分解“距离$\frac{D}{2}$“。与[Li 20]的递归顶点约简方法相比,我们的方法更简单,适用于分布式算法,并消除了许多去随机化障碍。一个简单的基于图的$\tilde{O}(1)$ -竞争$\ell_1$ -不经意的路由基于低直径分解,可以评估在近线性的工作。以前的此类路由[ZGY+20]是$n^{o(1)}$ -竞争性的,需要$n^{o(1)}$更多的工作。一个确定性算法,四舍五入任何分数单源转运流到一个完整的树解决方案。第一个分布式算法计算欧拉方向。
2022-09-23 cs.DC cs.DS
Acceleration for Distributed Transshipment and Parallel Maximum Flow
本研究结合并行线性代价近似器与box-simplex game加速框架,提出低深度低工作量的并行算法求解(1+ε)-转运与最大流问题,同时给出适配两类网络的分布式转运近似算法。
2025-11-19 cs.DS
Parallel Batch-Dynamic Algorithms for Spanners, and Extensions
本文提出首个并行批量动态算法,用于维护生成树和稀疏化器,支持批量边更新,实现低深度和近线性摊销工作,并扩展到稀疏生成树和割/谱稀疏化器。
2025-07-08 cs.DS
Nearly Work-Efficient Parallel DFS in Undirected Graphs
本文提出首个近线性工作量、次线性深度的无向图并行深度优先搜索算法,在 Õ(√n) 深度和 Õ(m+n) 工作量内完成 DFS,解决了以往方法要么深度过高要么工作量过大的问题。
2023-04-19 cs.DC cs.DS
Parallel Reachability in Almost Linear Work and Square Root Depth
本文给出了一个并行算法,给定任意$n$ -节点$m$ -边有向图和源点$s$,在$n$中,用$\tilde{O}(m)$工作和$n^{1/2 + o(1)}$深度以高概率计算从$s$可达的所有顶点.该算法还计算一组$\tilde{O}(n)$边,当将其添加到图中时,保留可达性,并确保所得图的直径至多为$n^{1/2 + o(1)}$。我们的结果改进了以前最有名的几乎线性的工作可达性算法,由于Fineman的深度$\tilde{O}(n^{2/3})$。此外,我们将展示如何利用该算法来实现改进的分布式算法的单源可达性的CONGEST模型。特别是,我们提供了一个分布式算法,给定一个$n$节点有向图的无向跳直径$D$解决了单源可达性问题与$\tilde{O}(n^{1/2} + n^{1/3 + o(1)} D^{2/3})$轮的通信中的CONGEST模型在$n$具有高概率。我们的算法是几乎最优的,只要$D = O(n^{1/4 - ε})$对任何常数$ε> 0$,是第一个几乎最优的算法的一般图的直径为$Ω(n^δ)$对任何常数$δ$。
2019-12-06 cs.DS
A Simple Parallel Algorithm with Near-Linear Work for Negative-Weight Single-Source Shortest Paths
本文提出一种随机并行算法,通过近零开销的并行黑盒归约,将一般负权图 SSSP 转化为无负边图问题,实现 \ ilde{O}(m) 近线性工作量与 n^{1/2+o(1)} 跨度。
2024-10-28 cs.DS
Algorithmic warm starts for Hamiltonian Monte Carlo
UToronto(多伦多大学);UPenn(宾夕法尼亚大学);Yale(耶鲁大学)
本文研究了在强凹性和三阶导数约束下,通过非Metropolized HMC生成预热的算法复杂度,证明了在$\ ilde{O}(d^{1/4})$次迭代后可实现高效采样,改进了传统HMC的复杂度。
2026-03-24 cs.DS cs.LG cs.NA
Iterative Refinement for $\ell_p$-norm Regression
本文提出了改进的 $\ell_p$-回归算法,通过基于平滑 $\ell_p$-范数的迭代细化方案,在较少迭代次数内实现高精度求解,并可与图拉普拉斯求解器结合,显著提升了运行时间。
2019-01-21 cs.DS cs.NA math.NA
Near-Optimal Parallel $M$-Matrix Scaling
National Taiwan University(国立台湾大学);Stanford University(斯坦福大学)
本文针对对称M矩阵的正对角缩放问题,提出对数级迭代算法,改进了现有迭代界,得到近线性时间、对数级并行深度的随机算法。
2026-10-16 cs.DS math.OC
Strongly Polynomial Parallel Work-Depth Tradeoffs for Directed SSSP
University of Warsaw(华沙大学);Max Planck Institute for Informatics(马克斯·普朗克 informatics 研究所);Saarland Informatics Campus(萨尔兰 informatics 校园)
该研究提出非负权有向图SSSP并行计算的全新强多项式工作-深度权衡,给出首个亚线性深度的近工作高效稠密图算法,还推动了最小费用流等多个相关问题的算法进展。
2025-10-22 cs.DS
Faster Parallel Solver for Positive Linear Programs via Dynamically-Bucketed Selective Coordinate Descent
University of California at Berkeley(加州大学伯克利分校);International Computer Science Institute(国际计算机科学研究所)
本文提出改进的并行近似算法,用于求解重要的打包和覆盖线性规划问题,通过动态分桶选择坐标下降法在期望时间内取得更优的解。
2015-11-20 cs.DS cs.NA math.NA
Randomized Block Krylov Methods for Stronger and Faster Approximate Singular Value Decomposition
Massachusetts Institute of Technology(麻省理工学院)
本文提出了一种随机块Krylov方法,该方法在理论上和实验上均优于现有的随机同时幂迭代方法,能够以更少的迭代次数提供更优的低秩近似,并解决了传统Krylov子空间方法依赖奇异值间隙的问题。
2015-10-30 cs.DS cs.LG cs.NA
Non-monotone Submodular Maximization in Exponentially Fewer Iterations
在本文中,我们考虑并行化的应用程序,其目标可以表示为最大化的基数约束下的非单调子模函数。我们的主要结果是一个算法,其近似是任意接近$1/2e$在$O(\log^2 n)$自适应轮,其中$n$是地面集的大小。这是一个指数加速并行运行时间超过任何以前研究的算法约束非单调子模最大化。除了其可证明的保证,该算法在实践中表现良好。具体来说,流量监测和个性化数据汇总应用程序的实验表明,该算法找到的解决方案,其值是竞争力的最先进的算法,同时运行在指数级更少的并行迭代。
2018-07-30 cs.DS
Using Optimization to Obtain a Width-Independent, Parallel, Simpler, and Faster Positive SDP Solver
Princeton University(普林斯顿大学);MIT(麻省理工学院);Boston University(波士顿大学)
本文提出一种基于优化框架的简单算法,通过新的矩阵不等式和随机化梯度截断技术,实现与最佳线性规划求解器相同的迭代次数,解决正SDP求解问题。
2016-01-11 cs.DC cs.DS cs.NA
Breaking 3-Factor Approximation for Correlation Clustering in Polylogarithmic Rounds
Boston College(波士顿学院)
针对相关性聚类并行算法长期受限于3近似比的问题,提出多对数深度的(2.4+ε)-近似并行算法,并给出串行与MPC实现。
2023-07-13 cs.DC cs.DS cs.LG
Deterministic PRAM Approximate Shortest Paths in Polylogarithmic Time and Slightly Super-Linear Work
研究了$n$ -顶点无向加权图并行(PRAM)计算模型中的一个$(1+ε)$ -近似单源最短路径(以下简称$(1+ε)$ -SSSP).对于任意小的$ρ>0$,Cohen [Coh 94]在$25$多年前给出了一个具有多对数时间和略微超线性工作的随机算法$\tilde{O}(|E|\cdot n^ρ)$。近年来,在这个问题上取得了令人兴奋的进展[ElkinN 17,ElkinN 19,Li 19,AndoniSZ 19],最终在随机多对数时间和$\tilde{O}(|E|)$工作中达到高潮。然而,是否存在科恩算法的确定性对应物的问题仍然是开放的。在目前的文件中,我们设计的第一个确定性的多项式时间算法,这个基本问题,与工作$\tilde{O}(|E|\cdot n^ρ)$,对于一个任意小的$ρ>0$。这一结果是基于第一个有效的确定性的并行算法建立跳集,我们在本文中设计。
2020-09-30 cs.DC cs.DS
Tree Embedding in High Dimensions: Dynamic and Massively Parallel
Faculty of Computer Science, University of Vienna(维也纳大学计算机科学系);School of Computer Science, Peking University(北京大学计算机学院);UniVie Doctoral School Computer Science DoCS, University of Vienna(维也纳大学计算机科学博士学院)
本文提出了一种高维树嵌入框架,实现了动态和大规模并行算法,用于解决k-中位数和地球移动距离问题。
2026-01-12 cs.DS
Solving Tall Dense Linear Programs in Nearly Linear Time
本文给出了求解具有$n$约束和$d$变量的线性规划问题的一个$\tilde{O}(nd+d^{3})$时间随机算法。为了获得这一结果,我们提供了一种鲁棒的原始-对偶$\tilde{O}(\sqrt{d})$ -迭代内点方法,该方法受到Lee和Sidford(2014,2019)方法的启发,并展示了如何使用基于重命中器,Johnson-Lindenstrauss引理和逆维护的新数据结构有效地实现这种方法。有趣的是,我们得到这个运行时间,而不使用快速矩阵乘法,因此,除非在线性系统求解的重大进展,我们的运行时间是接近最佳的算法,不使用快速矩阵乘法解决密集的线性程序。
2021-08-22 cs.DS math.OC
Improved Massively Parallel Computation Algorithms for MIS, Matching, and Vertex Cover
我们提出了$O(\log\log n)$轮算法的大规模并行计算(MPC)模型,与$\tilde{O}(n)$内存每台机器,计算一个最大的独立集,一个$1+ε$近似的最大匹配,和一个$2+ε$近似的最小顶点覆盖,任何$n$顶点图和任何常数$ε>0$。这些改进了现有技术如下:-我们的MIS算法导致一个简单的$O(\log\log Δ)$ -轮MIS算法在分布式计算的拥塞集团模型,它改进了$\tilde{O}(\sqrt{\log Δ})$轮算法的Ghaffari [PODC'17]。- 我们的$O(\log\log n)$ -圆形$(1+ε)$ -近似最大匹配算法简化或改进了以下先前的工作:$O(\log^2\log n)$ -圆形$(1+ε)$ -Czumaj等人的近似算法[STOC'18]和$O(\log\log n)$ -圆形$(1+ε)$ -Assadi等人的近似算法[SODA'19]。- 我们的$O(\log\log n)$ -圆形$(2+ε)$ -近似最小顶点覆盖算法改进了Assadi等人的$O(\log\log n)$ -圆形$O(1)$ -近似[arXiv'17]。
2022-03-17 cs.DC cs.DS
Improved Massively Parallel Shortest Path Computation
National University of Singapore(新加坡国立大学)
该研究针对大规模并行计算模型,提出两种场景下的近似单源最短路径预言机构建算法,改进了现有工作的轮次复杂度与适用范围,核心是高效计算近似近邻域的新方法。
2026-10-14 cs.DC cs.DS
Approaching optimality for solving SDD systems
我们提出了一个算法,在输入的$n$ -顶点$m$ -边加权图$G$和一个值$k$,产生一个{ \em增量稀疏} $\hat{G}$与$n-1 + m/k$边,使$G$与$\hat{G}$的条件数是有界以上的$\tilde{O}(k\log^2 n)$,概率$1-p$。该算法在时间上运行$$\tilde{O}((m \log{n} + n\log^2{n})\log(1/p)).$$因此,我们得到了一个算法,该算法在具有$m$非零元素的$n\times n$对称对角占优矩阵$A$和向量$b$的输入下,计算满足$||{x}-A^{+}b||_A<ε||A^{+}b||_A $的向量${x}$,在预期时间内$$\tilde{O}(m\log^2{n}\log(1/ε)).$$求解器基于增量稀疏器的重复应用,该增量稀疏器产生一个图链,然后将其用作递归预处理Chebyshev迭代
2010-08-03 cs.DS
Massively Parallel Algorithms for the Stochastic Block Model
本文研究MPC模型下SBM的精确社区恢复,提出基于r步邻域统计比较的并行算法,在更一般的低内存s-空间模型中改进轮数、空间及参数条件。
2023-08-14 cs.DC cs.DS
Sparsifying Distributed Algorithms with Ramifications in Massively Parallel Computation and Centralized Local Computation
我们介绍了一种方法,稀疏化分布式算法,并展示它如何导致改进,过去已知的障碍,在两个算法设置的大规模图形处理:大规模并行计算(MPC),和本地计算算法(LCA)。- 具有强次线性存储器的MPC:最近,对于MIS、最大匹配、最小顶点覆盖的2-近似和最大匹配的$(1+ε)$ -近似等问题,获得比其经典$O(\log n)$轮并行对应物更快的MPC算法的兴趣越来越大。目前,所有这样的MPC算法需要每台机器的$\tildeΩ(n)$存储器。Czumaj等人[STOC'18]是第一个处理$\tildeΩ(n)$内存的人,在$O((\log\log n)^2)$轮中运行。我们得到$\tilde{O}(\sqrt{\log Δ})$轮MPC算法的所有这四个问题,即使每个机器有内存$n^α$任何常数$α\in (0, 1)$。这里,PDMATHAMT表示最大程度。这些是第一个亚临界时间算法,这些问题,打破了线性记忆障碍。- 查询复杂度低于Parnas-Ron范式的LCA:目前,最知名的MIS LCA具有查询复杂度$Δ^{O(\log Δ)} poly(\log n)$,由Ghaffari [SODA'16]提出。正如Rubinfeld所指出的,获得$poly(Δ\log n)$的查询复杂度仍然是一个中心的开放问题。Ghaffari的界限几乎达到了所有已知MIS LCA所共有的$Δ^{Ω\left(\…
2018-07-17 cs.DC cs.DS
Minimum Cost Flows, MDPs, and $\ell_1$-Regression in Nearly Linear Time for Dense Instances
在本文中,我们提供了新的随机算法与改进的运行时间求解双边约束的线性规划。在$n$ -顶点$m$ -边图的最小费用流问题的特殊情况下,我们得到了一个随机方法,解决了问题的$\tilde{O}(m+n^{1.5})$时间。这改进了$\tilde{O}(m\sqrt{n})$(Lee-Sidford 2014)之前的最佳运行时间,并且在单位容量最大流的特殊情况下,改进了$m^{4/3+o(1)}$(Liu-Sidford 2020,Kathuria 2020)和$\tilde{O}(m\sqrt{n})$(Lee-Sidford 2014)之前的最佳运行时间。对于$\ell_1$ -回归矩阵与$n$ -列和$m$ -行,我们得到一个随机的方法,计算$ε$ -近似解在$\tilde{O}(mn+n^{2.5})$时间。这产生了一种随机化方法,该方法计算折扣马尔可夫决策过程的$ε$ -最优策略,其中$S$状态和每个状态的$A$动作在时间上为$\tilde{O}(S^2A+S^{2.5})$。这些方法改进了以前的最佳运行时间的方法,这些方法依赖于问题参数的多项式,这些方法是$\tilde{O}(mn^{1.5})$(Lee-Sidford 2015)和$\tilde{O}(S^{2.5}A)$(Lee-Sidford 2014,Sidford-Wang-Wu-Ye 2018)。为了获得这一结果…
2021-08-22 cs.DS math.OC
Distributed Algorithms for Matching in Hypergraphs
$ $我们研究了$d$ -一致超图匹配($d$ -UHM)问题:给定一个$n$ -顶点超图$G$,其中每个超边的大小都是$d$,找出不相交超边的最大基数集.对于$d\geq3$,寻找最大匹配的问题是NP-完全问题,是Karp的21个$\mathcal{NP}$ -完全问题之一。在本文中,我们有兴趣在超图中的大规模并行计算(MPC)模型,这是一个常见的抽象MapReduce风格的计算中找到匹配的问题。在这个模型中,我们提出了前三个并行算法的$d$ -均匀超图匹配,我们分析他们的资源,如内存使用,轮的通信需要,和近似比。亮点包括:$\bullet$一种$O(\log n)$ -轮$d$ -近似算法,每台机器使用$O(nd)$空间。$\bullet$一种$3$ -循环、$O(d^2)$ -近似算法,每台机器使用$\tilde{O}(\sqrt{nm})$空间。$\bullet$一种$3$轮算法,它计算包含$(d-1+\frac{1}{d})^2$近似的子图,对于线性超图使用每机器的$\tilde{O}(\sqrt{nm})$空间,一般使用$\tilde{O}(n\sqrt{nm})$。
2020-09-21 cs.DS
Scheduling Coflows with Precedence Constraints for Minimizing the Total Weighted Completion Time in Identical Parallel Networks
Escherlow是最近提出的用于数据并行计算应用的网络抽象。本文研究了在相同并行网络中,以最小化同流的加权完工时间为目标的具有优先约束的同流调度问题。同构并行网络是一种基于多个网络核并行运行的体系结构。在可分同流调度问题中,该算法分别在任意释放时间和零释放时间下获得了$(6-\frac{2}{m})μ$和$(5-\frac{2}{m})μ$的近似比值,其中$m$是网络核心数,$μ$是优先图中最长路径的同流数.在不可分同流调度问题中,该算法分别在任意释放时间和零释放时间下实现了$(4m+1)μ$和$4mμ$的近似比值.在单网络核心调度问题中,我们提出了一个具有任意释放时间的$5μ$ -近似算法和一个没有释放时间的$4μ$ -近似算法。此外,所提出的算法可以修改,以解决多阶段作业调度问题的同流。在多阶段作业中,coflow在服务器之间传输,以启动下一阶段。这意味着作业的同流之间存在优先约束。我们的结果是一个改进后,以前的最佳近似比$O(\tildeμ \log(N)/ \log(\log(N)))$,其中$\tildeμ$是最大数量的coflows在一个作业和$N$是服务器的数量。
2022-07-14 cs.DS
Speed-scaling with no Preemptions
我们重新审视了非抢占式的速度缩放问题,其中一组作业必须在一个或一组并行的速度可伸缩的处理器(S)的发布日期和截止日期之间执行,以使能量消耗最小化。我们采用在[Yao et al.,FOCS 1995],根据该方法,耗散的功率是处理器速度的凸函数。直觉上,处理器的速度越高,能耗就越高。对于单处理器的情况下,我们通过提供一个$(1+ε)^α\tilde{B}_α$ -近似算法,其中$\tilde{B}_α$是贝尔数的推广,提高了最知名的近似算法。对于多处理机的情况下,我们提出了一个近似算法的比率$\tilde{B}_α((1+ε)(1+\frac{w_{\max}}{w_{\min}}))^α$提高了$(\frac{5}{2})^{α-1}(\frac{w_{\max}}{w_{\min}})^α$的最佳已知结果的一个因素。请注意,我们的结果适用于完全异构的环境,而以前已知的结果只适用于更受限制的情况下,具有相同的功率函数的并行处理器。
2014-07-29 cs.DS