The Complexity of Making the Gradient Small in Stochastic Convex Optimization
MIT（麻省理工学院）；Cornell University（康奈尔大学）；Weizmann Institute（魏茨曼科学研究所）；TTI Chicago（芝加哥技术创新研究所（TTI Chicago））
本文给出了随机凸优化问题中寻找$ε$-平稳点（$\| \nabla F(x) \| \leqε$）的预言复杂性的近似匹配上、下界。我们共同分析了本地随机预言机模型和全局预言机（或统计学习）模型的预言机复杂性。这使我们能够将寻找近稳定点的复杂性分解为优化复杂性和样本复杂性，并揭示了随机优化与学习的复杂性之间的一些令人惊讶的差异。值得注意的是，我们表明，在全球预言机/统计学习模型中，只有对数依赖于光滑度需要找到一个近平稳点，而多项式依赖于光滑度是必要的，在当地的随机预言机模型。换句话说，这两个模型之间的复杂性分离可以是指数级的，并且民间认为找到稳定点需要平滑度的理解对于统计学习来说只是弱正确的。我们的上界是基于Allen-Zhu（2018）提出的最近的"递归正则化"技术的扩展。我们将展示如何扩展该技术以实现接近最优的速率，特别是展示如何利用全球Oracle模型中的额外信息。我们的算法的全球模型可以有效地实现通过有限和方法，并提出了一个有趣的新的计算统计权衡。
2019-02-14 cs.LG math.OC stat.ML
On the Oracle Complexity of Higher-Order Smooth Non-Convex Finite-Sum Optimization
证明了光滑非凸有限和优化问题高阶方法的下界。我们的贡献有三个方面：我们首先表明，一个确定性的算法不能受益于有限和结构的目标，和模拟的p阶正则化方法的整个功能，通过构建精确的梯度信息是最佳的常数因子。我们进一步显示随机算法的下界，并与最知名的上界。为了解决边界之间的一些差距，我们提出了一个新的二阶平滑假设，可以看作是一阶均方平滑假设的模拟。我们证明，这是足够的，以确保国家的最先进的收敛保证，同时允许一个尖锐的下界。
2021-07-02 cs.DS cs.LG math.OC
(Bandit) Convex Optimization with Biased Noisy Gradient Oracles
University of Alberta（阿尔伯塔大学）；Indian Institute of Technology Madras（马德拉斯印度理工学院）；Imperial College London（伦敦帝国理工学院）
用于凸优化和在线学习的算法通常依赖于构造噪声梯度估计，然后在适当调整的一阶算法中使用该噪声梯度估计，以代替实际梯度。依赖于要优化的函数的性质和在强盗反馈中的“噪声”的性质，梯度估计的偏差和方差表现出各种折衷。在本文中，我们提出了一个新的框架，取代了具体的梯度估计方法与抽象的预言。在新框架的帮助下，我们统一了以前的作品，再现他们的结果在一个干净和简洁的方式，同时，也许更重要的是，该框架还允许我们正式表明，要实现最佳的根$n$率的算法，使用现有的梯度估计，或证明技术来分析他们必须超越今天存在的。
2020-07-04 cs.LG stat.ML
Near-Optimal Convex Optimization with Lazy Second-Order Oracles
Tsinghua University（清华大学）；Westlake University（西湖大学）
本文研究懒惰二阶预言机下凸优化的迭代复杂度，证明下界Ω(m+m^{1/7}ε^{-2/7})并提出新方法达到相同上界，显著改进先前结果并紧至对数因子。
2026-10-05 cs.LG math.OC stat.ML
Oracle Inequalities for Convex Loss Functions with Non-Linear Targets
本文考虑了目标函数为未知非线性的凸损失函数的惩罚经验损失极小化问题。利用弹性网罚，我们建立了一个有限样本的预言不等式，它以高概率限制了我们的估计量的损失。如果未知目标是线性的，则该不等式还提供了所估计的参数向量的估计误差的上界。这些都是新的结果，它们推广了计量经济学和统计学文献。接下来，我们使用非渐近结果来证明我们的估计的超额损失是渐近的相同的顺序的预言。如果目标是线性的，我们给出了估计的参数向量的一致性的充分条件。接下来，我们简要讨论如何使用我们的估计量的阈值版本来执行一致的变量选择。我们给出了我们的框架所涵盖的损失函数的两个例子，并显示如何惩罚非参数序列估计包含作为一个特例，并提供了一个有限的样本上界的弹性净序列估计的均方误差。
2013-12-12 math.ST stat.ML stat.TH
Private (Stochastic) Non-Convex Optimization Revisited: Second-Order Stationary Points and Excess Risks
Google Research（谷歌研究院）；University of Washington（华盛顿大学）
我们考虑的问题，最小化的非凸目标，同时保持隐私的例子中的训练数据。在以前的方差减少算法SpiderBoost的基础上，我们引入了一个新的框架，利用两种不同的梯度预言。第一种预言机可以估计一个点的梯度，第二种预言机，精度较低，成本较低，可以估计两点之间的梯度差。SpiderBoost定期使用第一种，每隔几步使用一次，而我们的框架建议在总漂移变大时使用第一个预言，否则依赖于第二个预言。这种新的框架确保梯度估计始终保持准确，从而提高了找到二阶稳定点的速度。此外，我们解决了一个更具挑战性的任务，找到一个非凸目标的全局最小值使用指数机制。我们的研究结果表明，正则化的指数机制可以密切匹配以前的经验和人口的风险界限，而不需要平滑假设的算法与多项式运行时间。此外，通过忽略运行时间的考虑，我们表明，指数机制可以实现一个很好的人口风险界，并提供一个几乎匹配的下限。
2023-02-20 cs.CR cs.LG math.OC
Optimal Guarantees for Algorithmic Reproducibility and Gradient Complexity in Convex Optimization
ETH Zurich（苏黎世联邦理工学院）；Max Planck ETH Center for Learning Systems（马克斯·普朗克-苏黎世联邦理工学院学习系统中心）；Yale University（耶鲁大学）；Google Research（谷歌研究院）
本研究挑战了凸优化中可复现性与收敛速度必须权衡的观点，提出基于正则化的算法在多种易错预言机设置下，同时实现了最优可复现性和近最优梯度复杂度。
2024-01-09 cs.LG math.OC stat.ML
Exact Recovery of Clusters in Finite Metric Spaces Using Oracle Queries
University of Milan（米兰大学）；Google（谷歌）；Italian Institute of Technology（意大利技术研究院）
我们调查的问题，准确的集群恢复使用Oracle查询。以前的结果表明，在欧氏空间中，是凸的，并与利润分离的集群可以重建准确地使用只有$O(\log n)$相同的集群查询，其中$n$是输入点的数量。在这项工作中，我们研究这个问题中更具挑战性的非凸设置。我们介绍了集群的结构特征，称为$(β,γ)$ -凸性，可以应用于任何有限的点集配备了度量（甚至半度量，三角形不等式是不需要的）。使用$(β,γ)$ -凸性，我们可以将簇的自然密度属性（例如，包括$\mathbb{R}^d$中强非凸的簇）转化为凸性的图论概念。通过利用这个凸性的概念，我们设计了一个确定性的算法，恢复$(β,γ)$凸集群使用$O(k^2 \log n + k^2 (6/βγ)^{dens(X)})$相同的集群查询，其中$k$是集群的数量和$dens(X)$是密度维度的半度量。我们表明，指数依赖的密度维度是必要的，我们还表明，如果我们被允许使$O(k^2 + k\log n)$额外的查询“集群分离”的甲骨文，那么我们可以恢复集群，有不同的和任意的规模，即使每个集群的规模是未知的。
2021-07-13 cs.LG stat.ML
Non-asymptotic bounds for stochastic optimization with biased noisy gradient oracles
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
我们引入有偏梯度预言机来捕获一个设置，其中函数测量具有可以通过批量大小参数控制的估计误差。我们提出的预言是有吸引力的，在几个实际情况下，例如，风险度量估计从一批独立同分布（i.i.d.）样本或模拟优化，其中函数测量由于计算约束而“有偏”。在任何一种情况下，增加批量大小都会减少估计误差。我们强调了我们的有偏梯度预言在风险敏感的强化学习环境中的适用性。在随机非凸优化的背景下，我们分析了一个变种的随机梯度（RSG）算法与有偏梯度预言。我们量化该算法的收敛速度，通过推导其性能的非渐近界。接下来，在随机凸优化设置，我们推导出非渐近界的随机梯度下降（SGD）算法的最后一个有偏梯度预言。
2021-05-16 cs.LG math.OC stat.ML
Frank-Wolfe with a Nearest Extreme Point Oracle
Technion - Israel Institute of Technology（以色列理工学院）
我们认为经典的Frank-Wolfe算法的变种约束光滑凸最小化，而不是访问标准的甲骨文最小化的线性函数的可行集，有访问一个甲骨文，可以找到一个极值点的可行集是最接近的欧几里得距离到一个给定的向量。我们首先表明，对于许多可行的兴趣集，这样的预言可以实现与标准的线性最优化预言相同的复杂性。然后，我们表明，与这样的预言，我们可以设计新的Frank-Wolfe变种享有显着改善的复杂性界限的情况下，最优解的集合在于在凸包的一个子集的极值点与小直径（例如，多面体的低维面）。特别是，对于许多$0\text{--}1$多面体，在二次增长和严格互补的条件下，我们得到的第一个线性收敛的变化率，只依赖于最佳的面的尺寸，而不是周围的尺寸。
2022-02-09 cs.LG math.OC stat.ML
Projection-free Adaptive Regret with Membership Oracles
Google AI Princeton（谷歌AI普林斯顿）；Princeton University（普林斯顿大学）；UC Berkeley（加州大学伯克利分校）
在在线凸优化的框架中，大多数迭代算法需要计算到凸集上的投影，这在计算上是昂贵的。为了解决这个问题，HK 12提出了无投影方法的研究，用更便宜的计算取代投影。最常见的方法是基于Frank-Wolfe方法，该方法使用线性优化计算代替投影。GK 22最近的工作给出了基于Frank Wolfe方法的无投影算法的次线性自适应后悔保证。在这项工作中，我们给出了无投影算法，是基于不同的技术，灵感来自Mhammedi 22，取代投影集成员计算。我们提出了一个简单的懒惰的基于梯度的算法与Minkowski正则化，达到近最佳的自适应遗憾界。对于一般的凸损失函数，我们改进了以前的自适应遗憾界从$O(T^{3/4})$到$O(\sqrt{T})$，并进一步到紧的区间相关界$\tilde{O}(\sqrt{I})$，其中$I$表示区间长度。对于强凸函数，我们使用无投影算法获得了第一个多对数自适应遗憾界。
2022-12-14 cs.LG math.OC stat.ML
Convex Optimization with Unbounded Nonconvex Oracles using Simulated Annealing
我们考虑最小化凸目标函数$F$时，只能评估其噪声近似$\hat{F}$的问题。除非假设噪声上有某种结构，否则$\hat{F}$可能是任意的非凸函数，这使得最小化$F$的任务变得棘手。为了克服这一点，以前的工作往往集中在$F(x)-\hat{F}(x)$是一致有界的情况下。在本文中，我们研究了更一般的情况下，噪声的幅度$αF(x) + β$的一些$α, β> 0$，并提出了一个多项式时间算法，找到一个近似极小的$F$的噪声模型。以前，马尔可夫链，如随机梯度朗之万动力学，已被用来达到这些优化问题的近似解。然而，在本文中考虑的噪声模型，没有一个单一的温度允许这样的马尔可夫链既混合迅速，并集中在全球最小。我们通过将“模拟退火”与随机梯度Langevin动力学相结合来绕过这一点，并逐渐降低链的温度以接近全局最小值。作为一个推论，我们可以近似地最小化一个接近凸函数的非凸函数;然而，当我们远离最优值时，这种接近性会恶化。
2018-06-18 cs.DS cs.LG math.OC
Fast Decomposable Submodular Function Minimization using Constrained Total Variation
Imperial College London（帝国理工学院）；INRIA（法国国家信息与自动化研究所）；Ecole normale superieure（巴黎高等师范学院）；PSL Research University（巴黎文理研究大学）；Graz University of Technology（格拉茨工业大学）
考虑子模集函数之和极小化问题，假设每个被加数函数都有极小化预言。大多数现有的方法将问题重新表述为相应的Lovász扩展和平方欧几里德范数之和的凸最小化，导致算法需要被加数函数的全变分预言;没有进一步的假设，这些更复杂的预言需要许多调用更简单的最小化预言在实践中经常可用。在本文中，我们考虑了一个修改的凸问题，需要约束版本的总变分预言，可以解决显着较少的调用简单的最小化预言。我们支持我们的主张，显示结果的图形切割的2D和3D图形
2019-05-27 cs.LG stat.ML
Composite Logconcave Sampling with a Restricted Gaussian Oracle
University of Washington（华盛顿大学）；Stanford University（斯坦福大学）；Microsoft Research（微软研究院）
我们考虑从复合密度$\mathbb{R}^d$的形式$dπ(x) \propto \exp(-f(x) - g(x))dx$的采样良好的条件$f$和凸（但可能是非光滑）$g$，一个家庭推广到一个凸集的限制，通过抽象的限制高斯预言。对于条件数为$κ$的$f$，我们的算法在$O \left(κ^2 d \log^2\tfrac{κd}ε\right)$迭代中运行，每次查询$f$的梯度和受限的高斯预言，以实现总变化距离$ε$。限制高斯预言机，从分布的负对数似然总和二次和$g$，以前已经研究过，是一个自然的扩展，在复合优化中使用的邻近预言机。我们的算法是概念上简单，并获得更强的可证明的保证和更大的通用性比现有的复合抽样方法。我们进行的实验表明，我们的算法大大提高了打了就跑算法采样的限制（非对角）高斯的正正交。
2020-06-10 cs.DS cs.LG cs.NA
Accelerated stochastic first-order method for convex optimization under heavy-tailed noise
Department of Mathematics, Linköping University, Sweden（林雪平大学数学系）；Department of Industrial and Systems Engineering, University of Minnesota, USA（明尼苏达大学工业与系统工程系）
针对重尾噪声下的凸复合优化问题，本文提出一种无需梯度裁剪或归一化的加速随机近端次梯度方法，证明其在光滑、弱光滑及非光滑等情况下均具有普遍最优的一阶预言机复杂度，并通过数值实验验证了理论结果。
2026-09-22 cs.AI cs.LG math.OC
A General Analysis Framework of Lower Complexity Bounds for Finite-Sum Optimization
School of Mathematical Sciences, Peking University（北京大学数学科学学院）
本文研究了以$n$为目标函数的光滑凸函数的平均值为最优化问题的复杂性下界。我们考虑的算法，它可以访问每个单独的组件的梯度和接近的预言。对于强凸情形，我们证明了这样的算法在少于$Ω((n+\sqrt{κn})\log(1/\varepsilon))$的迭代次数内不能达到$\varepsilon$ -次优点，其中$κ$是目标函数的条件数.这个下界比以前的结果更紧，并完全匹配现有的近端增量一阶预言算法Point-SAGA的上界。我们发展了一种新的结构来证明上述结果，它将经典例子的三对角矩阵划分为$n$群。该构造对近似预言的分析是友好的，也可以自然地用于一般凸和平均光滑情形。
2019-08-22 cs.LG math.OC stat.ML
On the Oracle Complexity of Interpolation-Based Gradient Descent
Purdue University（普渡大学）
提出分段多项式插值梯度下降（PPI-GD）方法，通过数据域等距点查询一阶预言构造多项式插值近似全梯度，在强凸和非凸损失下分析预言复杂度，证明在数据维数受限且损失足够光滑时优于多种GD变体。
2026-06-19 cs.LG math.OC stat.ML
Non-Euclidean High-Order Smooth Convex Optimization
Institute for Mathematical and Computational Engineering（数学与计算工程研究所）；Faculty of Mathematics（理学院）；School of Engineering（工学院）；Universidad Carlos III de Madrid（马德里卡洛斯三世大学）
本文提出基于$q$阶预言机的非欧几里得高阶光滑凸优化算法，适用于一般范数并支持非精确球优化，同时证明其在高维黑盒模型下几乎最优，并解决了并行凸优化的一个开放问题。
2025-02-06 cs.DS cs.LG math.OC
Improved Regret Bounds for Projection-free Bandit Convex Optimization
Technion - Israel Institute of Technology（以色列理工学院）
我们重新审视的挑战，设计在线算法的强盗凸优化问题（BCO），这也是可扩展的高维问题。因此，我们考虑算法是\textit{projection-free}，即，基于条件梯度方法，其对可行决策集的唯一访问是通过线性优化预言（与需要潜在地计算昂贵得多的子过程的其他方法相反，诸如计算欧几里德投影）。我们提出了第一个这样的算法，达到$O(T^{3/4})$预期的遗憾只使用$O(T)$整体调用的线性优化预言，在预期中，其中$T$是预测轮数。这比\cite{Karbasi19}最近获得的$O(T^{4/5})$预期后悔界限有所改进，实际上与\textit{full information}设置中无投影在线学习的当前最佳后悔界限相匹配。
2019-10-08 cs.LG math.OC stat.ML
A Hybrid Variance-Reduced Method for Decentralized Stochastic Non-Convex Optimization
Carnegie Mellon University（卡内基梅隆大学）；Tufts University（塔夫茨大学）
本文考虑$n$节点网络上的分散随机最优化问题，其中每个节点具有光滑的非凸局部费用函数，网络节点的目标是找到局部代价之和的$ε$精确一阶平稳点.我们专注于在线设置，每个节点访问其本地成本仅通过随机一阶预言机，返回一个嘈杂的版本的确切梯度。在这种情况下，我们提出了一种新的单循环分散混合方差减少随机梯度法，称为GT-HSGD，优于现有的方法，在甲骨文的复杂性和实际实现。GT-HSGD算法实现了专门的局部混合随机梯度估计器，这些估计器在网络上融合以跟踪全局梯度。值得注意的是，GT-HSGD实现了$O(n^{-1}ε^{-3})$的网络拓扑无关的预言复杂性时，所需的容错$ε$是足够小的，导致相对于集中式最佳在线方差减少的方法，在一个单一的节点上操作的线性加速。数值实验来说明我们的主要技术成果。
2021-06-14 cs.DC cs.LG cs.MA
Frank-Wolfe Splitting via Augmented Lagrangian Method
MILA；DIRO；Université de Montréal（蒙特利尔大学）；UC Berkeley（加州大学伯克利分校）；ETH Zurich（苏黎世联邦理工学院）
在凸集的交集上最小化函数是优化中的一个重要任务，通常比在每个单独的约束集上最小化它更具挑战性。虽然传统的方法，如弗兰克-沃尔夫（FW）或近似梯度下降假设访问一个线性或二次预言的交集，分裂技术利用每个集的结构，只需要访问的预言的个人约束。在这项工作中，我们开发和分析的弗兰克-沃尔夫增广拉格朗日（FW-AL）算法，一种方法，用于最小化一个光滑函数相关的凸紧集的“线性一致性”的约束，只需要访问一个线性最小化预言的个人约束。它基于增广拉格朗日方法（ALM），也称为乘数方法，但与大多数现有的分裂方法不同，它只需要访问线性（而不是二次）最小化神谕。利用Frank-Wolfe分析的最新进展和乘子算法的交替方向法证明了FW-AL在一般凸紧集上的次线性收敛速度和在多面体上的线性收敛速率.
2018-04-09 cs.LG math.OC stat.ML
Riemannian Projection-free Online Learning
College of Computing, Georgia Institute of Technology（佐治亚理工学院计算学院）；Google Research（谷歌研究院）
本文研究黎曼流形上的无投影在线学习，针对测地凸损失，利用分离预言机和线性优化预言机分别设计了算法，并在完整信息和老虎机设置下获得了次线性的遗憾界。
2024-06-01 cs.LG stat.ML
Lower Bounds for Parallel and Randomized Convex Optimization
UC Berkeley（加州大学伯克利分校）；Pontificia Universidad Católica de Chile（智利天主教大学）；Millennium Nucleus Center for the Discovery of Structures in Complex Data（千年复杂数据结构发现核心中心）
本文研究了在局部预言机计算模型下，可行集探索中的并行化是否可以用来加速凸优化的问题。我们表明，答案是否定的确定性和随机算法适用于基本上任何有趣的几何形状和非光滑，弱光滑，或光滑的目标函数。特别是，我们表明，它是不可能获得一个polylogarithmic（在顺序复杂的问题）的并行轮数与多项式（在维度）每轮查询数。在大多数这些设置和当空间的维数是多项式的逆目标精度，我们下界匹配的顺序凸优化的预言复杂性，最多的对数因子的维度，这使得他们（几乎）紧。在此之前，我们的工作，并行凸优化算法的下界只知道在本文中考虑的设置的一小部分，主要适用于欧几里德（$\ell_2$）和$\ell_\infty$空间。本文的工作为并行凸优化的下界证明提供了一种更一般的方法。
2019-06-19 cs.DS cs.LG math.OC
Private Stochastic Convex Optimization: Efficient Algorithms for Non-smooth Objectives
Johns Hopkins University（约翰斯·霍普金斯大学）
在本文中，我们重新审视私人随机凸优化问题。我们提出了一种算法的基础上嘈杂的镜像下降，达到最佳的统计复杂度和查询次数的一阶随机预言机的制度时，隐私参数是成反比的样本数。
2020-11-17 cs.LG stat.ML
Memory-Constrained Algorithms for Convex Optimization via Recursive Cutting-Planes
MIT（麻省理工学院）
提出递归切割平面算法族，在内存受限下解决凸优化可行性问题，实现内存与预言机复杂度的正权衡，并在特定区间优于梯度下降。
2023-06-16 cs.CC cs.DS cs.LG
Safe Learning under Uncertain Objectives and Constraints
University of Pennsylvania（宾夕法尼亚大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；Yale University（耶鲁大学）
在本文中，我们考虑\textit{unknown}下的非凸优化问题，但安全关键的约束。这样的问题自然会出现在各种领域，包括机器人，制造和医疗程序，其中不可能知道或识别所有的约束。因此，应该以保守的方式探索参数空间，以确保一旦我们从安全的初始化点开始，在优化过程中不会违反任何约束。为此，我们开发了一个算法称为可靠的弗兰克-沃尔夫（可靠FW）。给定一个一般的非凸函数和一个未知的多面体约束，Reliable-FW同时学习目标函数的景观和安全多面体的边界。更确切地说，通过假设Reliable-FW可以访问目标函数的（随机）梯度预言和安全多面体的噪声可行性预言，它找到了具有最佳${\mathcal{O}}({1}/{ε^2})$梯度预言复杂度的$ε$ -近似一阶稳定点（分别为：$\tilde{\mathcal{O}}({1}/{ε^3})$（在随机梯度设置中也是最优的），同时确保所有迭代的安全性。相当令人惊讶的是，Reliable-FW只对噪声可行性oracle进行$\tilde{\mathcal{O}}(({d^2}/{ε^2})\log 1/δ)$查询（分别为：随机梯度设置中的$\tilde{\mathcal{O}}(({d^2}/{ε^4})\log 1/δ)$），其中$d$是维数，$δ$是可靠性参数，即使对于凸函数的安全最小化，也收紧了现有界限。我们进一步专门我们的结果的情况下，目标…
2020-06-23 cs.AI cs.LG math.OC
An Improved Cutting Plane Method for Convex Optimization, Convex-Concave Games and its Applications
University of Washington（华盛顿大学）；Microsoft Research Redmond（微软研究院雷德蒙德分院）；Princeton University（普林斯顿大学）；Institute for Advanced Study（高等研究院）
给定一个凸集$K \subset \mathbb{R}^n$的分离预言，它包含在一个半径为$R$的盒子中，目标是计算$K$中的一个点，或者证明$K$不包含半径为$ε$的球。我们提出了一个新的切割平面算法，使用一个最佳的$O(n \log (κ))$评估的oracle和一个额外的$O(n^2)$时间每次评估，其中$κ= nR/ε$。$\bullet$这改进了Vaidya的$O( \text{SO} \cdot n \log (κ) + n^{ω+1} \log (κ))$时间算法[Vaidya，FOCS 1989 a]在$n$的多项式依赖性方面，其中$ω< 2.373$是矩阵乘法的指数，$\text{SO}$是oracle求值的时间。$\bullet$这在对$κ$的依赖性方面改进了Lee-Sidford-Wong的$O( \text{SO} \cdot n \log (κ) + n^3 \log^{O(1)} (κ))$时间算法[Lee，Sidford and Wong，FOCS 2015]。对于经济学中的许多重要应用，$κ= Ω(\exp(n))$和这导致$\log(κ)$和$\mathrm{poly}(\log (κ))$之间的显著差异。我们还提供证据表明，$n^2$每次评估的时间无法提高，因此我们的运行时间是最佳的。以前的切割平面方法的一个瓶颈是计算杠杆分数，过去的约束的相对重…
2020-04-08 cs.DS cs.LG stat.ML
Natasha 2: Faster Non-Convex Optimization Than SGD
Microsoft Research（微软研究院）
我们设计了一个随机算法来训练任何光滑的神经网络$\varepsilon$ -近似局部极小值，使用$O(\varepsilon^{-3.25})$反向传播。最好的结果基本上是SGD的$O(\varepsilon^{-4})$。更广泛地说，它发现$\varepsilon$ -近似局部极小值的任何光滑非凸函数率$O(\varepsilon^{-3.25})$，只有oracle访问随机梯度。
2018-06-11 cs.DS cs.LG cs.NE
Quadratic Memory is Necessary for Optimal Query Complexity in Convex Optimization: Center-of-Mass is Pareto-Optimal
MIT（麻省理工学院）
本文证明凸优化中二次内存是实现最优一阶预言机复杂度的必要条件，并证明质心割平面算法在内存与查询复杂度上达到帕累托最优，解决了COLT 2019的开放问题。
2023-05-19 cs.CC cs.DS cs.LG
