A provably convergent alternating minimization method for mean field inference
EPFL（洛桑联邦理工学院）；Idiap Research Institute（Idiap研究所）
均值场是一种有效的方法来近似后验分布在复杂的图形模型，并构成最流行的一类贝叶斯变分近似方法。在大多数应用中，平均场分布参数使用交替坐标最小化来计算。然而，该算法的收敛性仍不清楚。在本文中，我们展示了如何通过添加适当的惩罚项，我们可以保证收敛到一个临界点，同时保持在每一步的封闭形式更新。收敛速度估计也可以根据非凸优化的最新结果得出。
2015-02-20 cs.LG math.OC
Learning Provably Improves the Convergence of Gradient Descent
Xiamen University（厦门大学）；The Chinese University of Hong Kong（香港中文大学）
本研究提出了一种学习优化框架，通过理论证明和实验验证，展示了其在提升梯度下降收敛性和优化性能方面的显著优势。
2025-12-23 cs.LG math.OC
Muon is Provably Faster with Momentum Variance Reduction
KAUST（王国立大学）；Center of Excellence for Generative AI（生成人工智能卓越中心）；Yandex Research（Yandex研究）
本文通过将动量方差缩减引入Gluon框架，证明Muon等优化器在非凸和星凸情况下收敛速度的提升。
2025-12-18 cs.LG math.OC
Gradient Descent Provably Optimizes Over-parameterized Neural Networks
Carnegie Mellon University（卡内基梅隆大学）；Massachusetts Institute of Technology（麻省理工学院）
神经网络成功的奥秘之一是随机初始化的一阶方法，如梯度下降，即使目标函数是非凸和非光滑的，也可以实现零训练损失。本文揭示了双层全连接ReLU激活的神经网络的这一惊人现象。对于具有ReLU激活和$n$训练数据的$m$隐藏节点浅层神经网络，我们证明了只要$m$足够大并且没有两个输入是并行的，随机初始化的梯度下降就以二次损失函数的线性收敛速度收敛到全局最优解。我们的分析依赖于以下观察：过度参数化和随机初始化共同限制每个权重向量在所有迭代中接近其初始化，这使我们能够利用强的类凸性质来表明梯度下降以全局线性速率收敛到全局最优值。我们相信这些见解在分析深层模型和其他一阶方法时也很有用。
2019-02-05 cs.LG math.OC stat.ML
Cross apprenticeship learning framework: Properties and solution approaches
Indian Institute of Technology Bombay（印度理工学院孟买分校）；University of Groningen（格罗宁根大学）
学徒制学习是一个框架，在这个框架中，智能体使用专家提供的示例轨迹来学习策略以在环境中执行给定的任务。在现实世界中，人们可能会在不同的环境中访问专家轨迹，其中系统动力学不同，而学习任务相同。对于这样的场景，可以定义两种类型的学习目标。一种是学习的策略在一个特定环境中表现良好，另一种是在所有环境中表现良好。为了在原则上平衡这两个目标，我们的工作提出了跨学徒学习（CAL）框架。这包括一个最优化问题，其中寻求每个环境的最优策略，同时确保所有策略保持彼此接近。通过最优化问题中的一个调谐参数来促进这种接近。我们得到的优化问题的调整参数的变化的性质。由于问题是非凸的，我们提供了一个凸外近似。最后，我们展示了我们的框架的属性在一个有风的网格世界环境中的导航任务的上下文中。
2022-09-06 cs.LG cs.SY eess.SY
Gradient Descent with Provably Tuned Learning-rate Schedules
Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
本研究提出了一种可证明调优学习率调度的方法，适用于非凸和非光滑函数，改进了梯度下降算法的样本复杂度界。
2025-12-04 cs.LG
Armijo Line-search Can Make (Stochastic) Gradient Descent Provably Faster
Simon Fraser University（西蒙 Fraser大学）
本文证明了Armijo线搜索可使随机梯度下降在特定条件下实现更快的收敛速度，尤其在凸和非凸目标函数中表现出优于传统方法的性能。
2026-02-24 cs.LG math.OC stat.ML
Surpassing Gradient Descent Provably: A Cyclic Incremental Method with Linear Convergence Rate
University of Pennsylvania（宾夕法尼亚大学）；Rutgers University（罗格斯大学）
近年来，人们越来越关注开发用于解决大规模机器学习问题的最优化方法。这些问题中的大多数归结为最小化一组光滑和强凸函数的平均值的问题，其中函数$n$的数量很大。梯度下降法（GD）是成功的最小化凸问题在一个快速的线性速度，但它不适用于所考虑的大规模优化设置，因为高的计算复杂性。增量方法通过用增量梯度近似代替下降方向所需的梯度来解决梯度法的这个缺点。它们通过每次迭代评估一个梯度并执行$n$可用梯度的平均值作为梯度近似值来操作。尽管增量方法降低了GD的计算成本，但它们的收敛速度并不能证明它们相对于GD在收敛之前的梯度评估总数方面的优势。在本文中，我们介绍了一种双增量聚合梯度方法（DIAG），在每次迭代中只计算一个函数的梯度，这是基于一个循环的计划选择，并使用聚合的平均梯度的所有功能来近似的完整的梯度。所提出的DIAG方法的迭代使用迭代和梯度两者的平均值，这与利用梯度平均值但不利用梯度平均值的经典增量方法相反。我们证明了所提出的DIAG方法不仅线性收敛到最优解，而且其线性收敛因子证明了增量方法在GD上的优势。特别是，我们证明了DIAG的最坏情况下的性能优于GD的最坏情况下的性能。
2018-02-07 cs.LG math.OC
SLowcal-SGD: Slow Query Points Improve Local-SGD for Stochastic Convex Optimization
Technion（以色列理工学院）
针对异构分布式学习，提出SLowcal-SGD方法，通过定制慢查询技术，首次在理论上证明优于Minibatch-SGD和Local-SGD，有效缓解局部更新偏差。
2025-01-18 cs.LG math.OC
Beyond Convexity: Stochastic Quasi-Convex Optimization
Princeton University（普林斯顿大学）；Technion（以色列理工学院）；The Hebrew University（希伯来大学）
随机凸优化是机器学习中的一个基本问题，也是一个研究得很好的问题.众所周知，可以使用随机梯度下降（SGD）有效地最小化凸函数和Lipschitz函数。归一化梯度下降（NGD）算法是梯度下降的一种改编，它根据梯度的方向而不是梯度本身进行更新。在本文中，我们分析了一个随机版本的NGD和证明其收敛到一个全局最小值的更广泛的一类功能：我们需要的功能是准凸和局部Lipschitz。准凸性将单峰的概念扩展到多维，并允许某些类型的鞍点，这是一阶优化方法（如梯度下降）的已知障碍。局部Lipschitz函数只需要在最优值附近的一个小区域内是Lipschitz。这个假设避免了梯度爆炸，这是梯度下降变体的另一个已知障碍。有趣的是，与香草SGD算法不同，随机归一化梯度下降算法可证明需要最小的minibatch大小。
2015-10-28 cs.LG math.OC
Optimal Decentralized Smoothed Online Convex Optimization
Georgia Institute of Technology（佐治亚理工学院）；California Institute of Technology（加州理工学院）
针对多智能体平滑在线凸优化问题，提出了首个可证明渐近最优的去中心化算法ACORD，仅依赖局部信息即可实现低计算复杂度，且性能优于现有LPC算法。
2025-01-30 cs.DS cs.LG math.OC
Provably Faster Gradient Descent via Long Steps
Johns Hopkins University（约翰斯·霍普金斯大学）
本研究通过计算机辅助分析，证明在光滑凸优化中允许非恒定长步长的梯度下降虽短期可能上升，但长期收敛更快，并提出达到$O(1/T\log T)$速率的猜想及数值验证。
2024-02-05 cs.LG cs.NA math.NA
On Graduated Optimization for Stochastic Non-Convex Problems
Princeton University（普林斯顿大学）；Technion（以色列理工学院）；The Hebrew University（希伯来大学）
分级优化方法，也称为连续方法，是一种解决非凸问题的流行启发式方法，在过去十年中重新受到关注。尽管它很受欢迎，但在理论收敛分析方面知之甚少。本文提出了一种新的基于梯度优化的一阶算法，并分析了它的性能。我们刻画了一个参数化的非凸函数族，对于该函数族，该算法可证明收敛于全局最优解。特别地，我们证明了该算法在O（1/ε^2）梯度步长内收敛到ε-近似解.我们扩展我们的算法和分析的设置随机非凸优化噪声梯度反馈，达到相同的收敛速度。此外，我们讨论了零阶优化的设置，并设计了一个变体，我们的算法收敛速度为O（d^2/ε^4）。
2015-07-08 cs.LG math.OC
Are Convex Optimization Curves Convex?
Tel-Aviv University（特拉维夫大学）；Weizmann Institute of Science（魏茨曼科学研究所）；UCLouvain（列日大学）
本文研究梯度下降在平滑凸函数上的优化曲线是否为凸，发现其凸性关键取决于步长选择，并刻画了曲线凸与非凸的步长机制，同时将结论扩展至梯度流及梯度范数单调递减问题。
2025-06-28 cs.LG math.OC
Adaptive Gradient Methods Can Be Provably Faster than SGD after Finite Epochs
Bytedance AI Lab（字节跳动人工智能实验室）；Peking University（北京大学）；Ohio State University（俄亥俄州立大学）
自适应梯度法因其高效性而受到机器学习界的广泛关注。然而，它们在实践中的加速效果，特别是在神经网络训练中，很难从理论上分析。理论收敛结果和实际性能之间的巨大差距阻碍了对现有优化器的进一步理解和更先进的最优化方法的发展。在本文中，我们提供了自适应梯度法一个新的分析与额外的温和的假设，并修改AdaGrad为\radagrad匹配一个更好的可证明的收敛速度。为了找到一个$ε$ -近似的一阶驻点在非凸目标，我们证明随机洗牌\radagrad实现$\tilde{O}(T^{-1/2})$收敛速度，这是显着改善的因素$\tilde{O}(T^{-1/4})$和$\tilde{O}(T^{-1/6})$相比，现有的自适应梯度法和随机洗牌SGD，分别。据我们所知，这是第一次证明，自适应梯度法可以确定性地比SGD有限时期后更快。此外，我们进行了全面的实验，以验证额外的温和的假设和加速效果受益于二阶矩和随机洗牌。
2020-06-12 cs.LG math.OC
Bridging the Gap Between General and Down-Closed Convex Sets in Submodular Maximization
University of Haifa（海法大学）；DataHeroes
本文针对一般凸集约束下非单调DR-子模函数最大化问题，提出基于将凸体分解为下闭凸体与一般凸体的新型离线与在线算法，实现了下闭与非下闭约束之间的可证明平滑插值，并在多个应用中验证了其优越性。
2024-01-17 cs.LG math.OC
Provably convergent acceleration in factored gradient descent with applications in matrix sensing
Rice University（莱斯大学）；IBM T.J. Watson Research Center（IBM T.J. 沃森研究中心）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
我们提出了理论上的收敛性\emph{non-convex}加速梯度下降矩阵分解模型与$\ell_2$ -范数损失。这项工作的目的是研究在非凸设置的加速的影响，其中可证明的收敛与加速不应该被认为是一个\emph{de facto}属性。该技术被应用到矩阵传感问题，估计秩$r$最优解$X^\star \in \mathbb{R}^{n \times n}$。我们的贡献可归纳如下。$i)$我们表明，加速因子梯度下降收敛于线性速率，这一事实是新颖的非凸矩阵分解设置，在常见的假设。$ii)$我们的证明技术需要根据问题的性质（例如$X^\star$的条件数和目标函数的条件数）仔细选择加速参数。$iii)$目前，我们的证明导致相同的依赖于条件数（S）的收缩参数，类似于最近的结果，非加速算法。$iv)$加速在实践中观察到，无论是在合成的例子和两个实际应用：神经元多单元活动恢复从单电极记录，量子计算模拟器上的量子态断层扫描。
2019-09-21 cs.DS cs.IT cs.LG
Quickly Finding a Benign Region via Heavy Ball Momentum in Non-Convex Optimization
Georgia Institute of Technology（佐治亚理工学院）
由Polyak在50多年前提出的重球方法是一种用于优化连续函数的一阶方法。虽然它的随机对应物在训练深度网络中非常受欢迎，但几乎没有已知的函数可以证明确定性重球比非凸优化中的简单经典梯度下降算法更快。到目前为止，《重球》的成功还没有得到理论上的理解。我们的目标是解决这一差距，在目前的工作中，我们确定了两个非凸问题，我们证明，重球动量有助于进入一个良性的区域，包含一个全局最优点更快。我们发现，重球表现出简单的动力学，清楚地揭示了使用更大的值的动量参数的问题的好处。这些优化问题中的第一个是相位恢复问题，其在物理科学中具有有用的应用。第二个优化问题是Nesterov-Polyak正则化最小化，这是Nesterov-Polyak正则化方法在一般光滑非凸问题中找到二阶稳定点所需的关键子程序。
2021-02-14 cs.LG stat.ML
Stochastic Non-Smooth Convex Optimization with Unbounded Gradients
Yandex Research（Yandex研究院）
针对梯度范数受最优性间隙仿射函数约束的广义Lipschitz函数类，证明AdamW带裁剪更新在随机非光滑凸优化中优于SGD和AdaGrad，并建立其指数加权梯度累积的关键作用及推广到广义光滑和拟凸设置。
2026-05-26 cs.LG math.OC
Improving Stochastic Cubic Newton with Momentum
Machine Learning and Optimization Laboratory (MLO)（机器学习与优化实验室）
针对一般非凸优化问题，提出利用特殊动量稳定随机梯度和Hessian估计的随机三次牛顿法，证明了其在任意批量大小下的全局收敛性，并在凸问题上实现速度提升。
2025-06-26 cs.LG math.OC
Improved Oracle Complexity of Variance Reduced Methods for Nonsmooth Convex Stochastic Composition Optimization
考虑了目标函数为两个有限和函数复合的非光滑凸复合最优化问题，分析了随机复合方差约化梯度（SCVRG）方法. SCVRG及其变体最近因其优于随机成分梯度下降（SCGD）而引起了广泛关注;但理论分析仅假设目标的强凸性，排除了几个重要的例子，如Lasso，逻辑斯谛回归，主成分分析和深度神经网络。相比之下，我们证明了非渐近增量的一阶预言（IFO）复杂性SCVRG或其新的变种非光滑凸组合优化，并表明它们是可证明的速度比SCGD和梯度下降。更具体地说，我们的方法实现了总的IFO复杂度的$O\left((m+n)\log\left(1/ε\right)+1/ε^3\right)$，提高了$O\left(1/ε^{3.5}\right)$和$O\left((m+n)/\sqrtε\right)$分别获得SCGD和加速梯度下降（AGD）。实验结果证实，我们的方法优于几个现有的方法，例如，稀疏均值-方差最优化问题的SCGD和AGD。
2019-07-30 cs.LG math.OC
Unsupervised approaches based on optimal transport and convex analysis for inverse problems in imaging
University of Twente（特文特大学）；University of Cambridge（剑桥大学）；University of Birmingham（伯明翰大学）
本文系统综述了基于最优传输与凸分析的成像逆问题无监督深度学习方法，涵盖循环一致性、对抗正则化、可证明收敛的学习优化算法及即插即用算法，并总结其关键数学基础。
2023-11-29 cs.CV cs.LG math.OC
Safeguarded Learned Convex Optimization
Typal LLC（Typal有限责任公司）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Alibaba US, DAMO Academy（阿里巴巴美国达摩院）
在大量的应用中，最优化问题必须反复求解，每次都使用新的（但相似的）数据。解析优化算法可以手工设计，以迭代的方式可证明地解决这些问题。一方面，数据驱动算法可以“学习优化”（L2 O），迭代次数少得多，每次迭代的成本与通用优化算法相似。另一方面，不幸的是，许多L2 O算法缺乏收敛保证。为了融合这些方法的优点，我们提出了一个安全的L2 O框架。Safe-L2 O更新包含了一个保障措施，以保证使用近似和/或梯度预言机的凸问题的收敛性。该保护措施简单且计算成本低，并且仅在数据驱动的L2 O更新性能不佳或出现分歧时才会激活。这产生了使用机器学习来创建快速L2 O算法的数值优势，同时仍然保证收敛。我们的数值示例显示了Safe-L2 O算法的收敛性，即使提供的数据不是来自训练数据的分布。
2022-09-26 cs.LG math.OC
Provable Constrained Stochastic Convex Optimization with XOR-Projected Gradient Descent
Purdue University（普渡大学）；Indiana University（印第安纳大学）；Peking University（北京大学）
可证明地求解带约束的随机凸优化问题对于科学、商业和统计中的各种问题都是必不可少的。最近提出的XOR-随机梯度下降（XOR-SGD）提供了一个收敛速度保证解决约束的版本的问题，利用XOR-采样。然而，当需要满足额外的等式和不等式约束时，任务变得更加困难。本文提出了一种基于投影梯度下降（PGD）和异或采样器相结合的新算法XOR-PGD，通过选择合适的步长，保证了该算法能够以线性收敛速率求解约束随机凸优化问题。我们表明，在合成随机库存管理和现实世界的道路网络设计问题的约束满足率优化的解决方案的XOR-PGD是$10\%$比竞争的方法在一个非常大的搜索空间。实验结果表明，改进的XOR-PGD算法比XOR-SGD算法和结合MCMC采样器的SGD算法具有更高的精度和效率。它也被证明是更可扩展的样本个数和处理器内核，通过实验与大尺寸。
2022-03-22 cs.LG math.OC
Rethinking Warm-Starts with Predictions: Learning Predictions Close to Sets of Optimal Solutions for Faster $\text{L}$-/$\text{L}^\natural$-Convex Function Minimization
The University of Tokyo（东京大学）
一项新兴的工作表明，机器学习的预测对于离散优化问题（如二分匹配）的热启动算法是有用的。以前的研究表明，时间复杂度的界限成正比的预测和最优解之间的距离，我们可以近似地最小化从过去的最优解学习预测。然而，当存在多个最佳解决方案时，这种保证可能没有意义。事实上，二分匹配的对偶问题，更一般地说，$\text{L}$ -/ $\text{L}^\natural$ -凸函数最小化有任意多个最优解，使得这种预测相关的边界任意大。为了解决这个理论上的关键问题，我们提出了一个新的热启动与预测框架$\text{L}$ -/ $\text{L}^\natural$ -凸函数最小化。我们的框架提供了时间复杂度的界限成比例的预测和所有最优解的集合之间的距离。主要的技术难点在于学习的预测，可证明接近所有的最优解，为此，我们提出了一个在线梯度下降为基础的方法。因此，我们给出了第一个多项式时间可学习的预测，可以证明热启动算法，无论多个最优解。
2023-02-02 cs.DS cs.LG
Byzantine-Robust Distributed Learning: Towards Optimal Statistical Rates
UC Berkeley（加州大学伯克利分校）；Cornell University（康奈尔大学）
在大规模分布式学习中，安全问题变得越来越重要。特别是在去中心化的环境中，一些计算单元可能会表现得异常，甚至表现出拜占庭式的故障--任意的和潜在的敌对行为。在本文中，我们开发分布式学习算法，可证明对这种故障是强大的，重点是实现最佳的统计性能。这项工作的一个主要结果是两个强大的分布式梯度下降算法的中值和修剪平均操作的基础上，分别尖锐的分析。我们证明了三种人口损失函数：强凸，非强凸，光滑非凸的统计出错率。特别是，这些算法实现了强凸损失的顺序最优统计出错率。为了实现更好的通信效率，我们进一步提出了一个基于中位数的分布式算法，可证明是强大的，只使用一个通信轮。对于强凸二次损失，我们证明了该算法达到了与鲁棒分布式梯度下降算法相同的最优出错率。
2021-02-25 cs.CR cs.DC cs.LG
Exponential convergence rates for Batch Normalization: The power of length-direction decoupling in non-convex optimization
ETH Zurich（苏黎世联邦理工学院）
规范化技术（如批量规范化）已成功应用于训练深度神经网络。然而，尽管它有明显的经验优势，批量标准化成功背后的原因大多是假设的。我们在这里的目的是从经典优化的角度提供一个更深入的理论理解。我们对这一目标的主要贡献是识别机器学习领域中的各种问题实例，其中% -在某些假设下-批量归一化可以证明加速优化。我们认为，这种加速是由于批量归一化将优化任务分解为分别优化参数的长度和方向。这使得基于梯度的方法能够利用损失景观中有利的全局结构，我们证明了这种结构存在于学习半空间问题和高斯输入的神经网络训练中。因此，我们将批量归一化从一个有效的实用启发式算法转化为这些设置的可证明收敛算法。此外，我们证实了我们的分析与经验证据表明，我们的理论结果在更广泛的背景下的有效性。
2018-10-06 cs.LG stat.ML
A Non-generative Framework and Convex Relaxations for Unsupervised Learning
我们给了一个新的正式的理论框架无监督学习有两个鲜明的特点。首先，它不假设任何生成模型，并基于最坏情况下的性能指标。第二，它是比较性的，即绩效是相对于给定的假设类来衡量的。这允许避免已知的计算硬度结果和基于凸松弛的不适当算法。我们展示了几个家庭的无监督学习模型，这是以前只分析概率假设下，否则证明是棘手的，可以有效地学习在我们的框架凸优化。
2016-12-27 cs.DS cs.LG stat.ML
Weighted total variation based convex clustering
National University of Singapore（新加坡国立大学）；Zhejiang University（浙江大学）
数据聚类是一个有着广泛应用的基本问题。标准方法，例如$k$ -均值方法，通常需要求解非凸优化问题。最近，基于全变差的凸松弛到$k$ -均值模型已成为数据聚类的一个有吸引力的替代方案。然而，现有的结果，其确切的聚类性质，即施加在数据上的条件，使该方法可以证明地给出正确的识别所有的集群成员，是只适用于非常具体的数据，也是更多的限制比其他一些方法。针对基于全变差的凸聚类问题，提出了一种加权$\ell_1$范数和相关凸模型.本文所建立的精确聚类性质，在确定性和概率背景下，适用于一般数据，比现有的结果更尖锐。这些结果为推进凸聚类的研究提供了很好的启示。实验结果表明，与传统的聚类方法相比，本文提出的凸模型具有更好的经验性能，在实际应用中具有一定的潜力。
2018-08-28 cs.LG math.OC stat.ML
Accelerated Algorithms for Convex and Non-Convex Optimization on Manifolds
University of Notre Dame（圣母大学）；University of Rochester（罗切斯特大学）；University of Hong Kong（香港大学）；Duke University（杜克大学）
我们提出了一个通用的计划，解决凸和非凸流形上的优化问题。其中心思想是，通过增加一个倍数的平方收缩距离的目标函数的问题，我们“凸”的目标函数，并解决了一系列的凸子问题的优化过程。流形上优化的关键挑战之一是难以验证目标函数的复杂性，例如，目标函数是凸的还是非凸的，以及非凸的程度。我们所提出的算法适应目标函数的复杂程度。我们表明，当目标函数是凸的，该算法可证明收敛到最优，并导致加速收敛。当目标函数为非凸时，算法将收敛到一个稳定点。我们提出的方法统一的见解Nesterov的原始想法，加速梯度下降算法的最新发展，在欧几里德空间的优化算法。我们展示了我们的算法在几个流形优化任务上的实用性，例如估计球体上的内在和外在Fréchet均值以及应用于Netflix评级数据集的Grassmann流形的低秩矩阵分解。
2020-10-18 cs.LG math.OC stat.CO
Nesterov acceleration despite very noisy gradients
University of Pittsburgh（匹兹堡大学）；Texas A&M University（德克萨斯农工大学）
针对梯度噪声与幅值成正比的场景，提出可适配任意信噪比的AGNES算法，推广Nesterov加速梯度法，参数更少且性能更优，还给出参数选择的几何解释与启发式规则。
2024-10-31 cs.LG math.OC stat.ML
Convex Bounds on the Softmax Function with Applications to Robustness Verification
IBM Research（IBM研究院）；Stanford University（斯坦福大学）
softmax函数在神经网络的输出端是一个普遍存在的组件，在中间层也越来越多。本文提供了softmax函数的凸下界和凹上界，它们与表征神经网络和其他ML模型的凸优化公式兼容。我们使用softmax的自然指数倒数分解以及对数和exp函数的替代分解来推导边界。新的界限是可证明的和/或数值上比线性界限在以前的工作中获得的Transformers的鲁棒性验证更严格。作为说明的效用的界限，我们将它们应用到验证Transformers以及深度合奏的预测不确定性估计的鲁棒性。
2023-03-03 cs.LG
RedEx: Beyond Fixed Representation Methods via Convex Optimization
Google Research Tel Aviv（谷歌研究特拉维夫）；Hebrew University of Jerusalem（耶路撒冷希伯来大学）；Weizmann Institute of Science（魏茨曼科学研究所）
本文提出 RedEx 架构，通过带半定约束的凸规划实现逐层可证明优化训练，在保持神经网络表达能力的同时超越核方法与随机特征等固定表示方法。
2024-01-15 cs.LG math.OC stat.ML
Highly Scalable and Provably Accurate Classification in Poincare Balls
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
许多具有实际意义的高维大容量数据集具有由树、图或时间序列诱导的层次结构。这样的数据集很难在欧几里得空间中处理，人们经常在其他空间形式中寻找低维嵌入来执行所需的学习任务。对于分层数据，选择的空间是双曲空间，因为它保证了树状结构的低失真嵌入。不幸的是，双曲空间的几何学具有在欧几里得空间中没有遇到的性质，这在试图严格分析算法解决方案时构成了挑战。在这里，我们第一次建立了一个统一的框架，用于学习可扩展和简单的双曲线性分类器，并具有可证明的性能保证。我们的方法的要点是专注于庞加莱球模型和制定的分类问题，使用切空间形式主义。我们的研究结果包括一个新的双曲线和二阶感知器算法，以及一个高效和高精度的凸优化设置双曲线支持向量机分类。所有算法都可证明收敛，并且具有高度可扩展性，因为它们的复杂性与欧几里得算法相当。它们在包含数百万个点的合成数据集以及复杂的真实世界数据集（如单细胞RNA-seq表达测量、CIFAR10、Fashion-MNIST和mini-ImageNet）上的性能准确性。
2021-09-15 cs.LG
Necessary and Sufficient Conditions and a Provably Efficient Algorithm for Separable Topic Discovery
我们开发的必要条件和充分条件和一种新的可证明一致的和有效的算法发现的主题（潜在因素）从观察（文件），实现从概率混合共享的潜在因素，具有一定的属性。我们的重点是一类主题模型，其中每个共享的潜在因素包含一个新的词，是唯一的因素，一个属性，已被称为可分性。我们的算法是基于一个关键的洞察力，即新的单词对应的凸包的极端点形成的行向量的适当规范的词同现矩阵。我们利用这种几何洞察力，建立多项式计算和样本的复杂性界限的基础上的几个各向同性的随机投影的行的规范化的词同现矩阵。我们提出的基于随机投影的算法是自然服从一个有效的分布式实现，是有吸引力的现代网络规模的分布式数据采掘应用。
2015-12-04 cs.CL cs.IR cs.LG
Katyusha X: Practical Momentum Method for Stochastic Sum-of-Nonconvex Optimization
Microsoft Research AI（微软研究院AI）
最小化非凸函数之和的问题（即，凸函数（即非凸函数的平均值）在机器学习中变得越来越重要，并且是PCA、SVD、正则化牛顿法、加速非凸优化等的核心机制。我们展示了如何可证明地获得一个加速的随机算法最小化的总和的非凸函数，由$\textit{adding one additional line}$著名的SVRG方法。这条线对应于动量，并显示了如何直接将动量应用于非凸函数之和的有限和随机最小化。作为一个副作用，我们的方法享有线性并行加速使用小批量。
2018-02-12 cs.DS cs.LG math.OC
Linear RNNs Provably Learn Linear Dynamic Systems
China Information Technology Security Evaluation Center（中国信息技术安全评估中心）；Beijing Jiaotong University（北京交通大学）
研究线性RNN使用梯度下降学习稳定线性动态系统的能力，证明了在足够宽度下可克服非凸性实现可证明学习，并给出多项式复杂度的首个理论保证。
2023-10-23 cs.LG cs.SY eess.SY
Difference of Convex Functions Programming Applied to Control with Expert Data
Univ. Lille（里尔大学）；CRIStAL (UMR CNRS 9189/Lille 1)（CRIStAL研究中心（UMR CNRS 9189/里尔第一大学））；CentraleSupélec（巴黎中央理工-高等电力学院）；IUF（法国大学研究院）；Google DeepMind（谷歌DeepMind）
本文报告了凸函数差（DC）编程在基于专家数据的演示学习（LfD）和强化学习（RL）中的应用。这是可能的，因为最佳贝尔曼残差（OBR）的范数，这是许多RL和LfD算法的核心，是DC。性能的改善表现在两个特定的算法，即奖励正则化分类学徒学习（RCAL）和强化学习与专家演示（RLED），通过实验通用马尔可夫决策过程（MDP），称为石榴石。
2016-09-05 cs.LG math.OC stat.ML
Fast, Provably convergent IRLS Algorithm for p-norm Linear Regression
University of Toronto（多伦多大学）；Georgia Institute of Technology（佐治亚理工学院）
$\ell_p$ -范数线性回归是一个典型的优化问题，出现在几个应用中，包括稀疏恢复，半监督学习和信号处理。求解$\ell_p$ -回归的一般凸优化算法在实践中是缓慢的。迭代重加权最小二乘（IRLS）是一个易于实现的家庭的算法，解决这些问题，已研究了50多年。然而，这些算法经常在p > 3时发散，并且自从Osborne（1985）的工作以来，是否存在保证在p > 3时快速收敛的IRLS算法一直是一个开放的问题。我们提出的p-IRLS，第一个IRLS算法，可证明收敛几何任何$p \in [2,\infty).$我们的算法是简单的实现，并保证找到一个$(1+\varepsilon)$近似解$O(p^{3.5} m^{\frac{p-2}{2(p-1)}} \log \frac{m}{\varepsilon}) \le O_p(\sqrt{m} \log \frac{m}{\varepsilon} )$迭代。我们的实验表明，它的性能甚至优于我们的理论界限，击败了标准的Matlab/CVX实现解决这些问题的10- 50倍，是最快的可用实现中的高精度制度。
2020-01-10 cs.DS cs.LG cs.NA
Estimation from Non-Linear Observations via Convex Programming with Application to Bilinear Regression
Georgia Institute of Technology（佐治亚理工学院）
我们提出了一个计算效率的估计，制定为一个凸计划，为广泛的一类非线性回归问题，涉及凸（DC）的非线性差异。所提出的方法可以被视为[10]中针对凸非线性回归制定和分析的“锚定回归”方法的重要扩展。我们的主要假设，除了其他温和的统计和计算假设，是在地面真值的观测函数的梯度的平均值的某种近似预言的可用性。在此假设下，并使用PAC-Bayesian分析，我们表明，所提出的估计产生一个准确的估计，具有很高的概率。作为一个具体的例子，我们研究了所提出的框架中的双线性回归问题的高斯因子和量化的样本复杂性，准确的恢复。此外，我们描述了一个计算易处理的计划，可证明所需的近似预言机在考虑双线性回归问题。
2019-03-28 cs.LG math.OC stat.CO
Last-iterate convergence rates for min-max optimization
Georgia Institute of Technology（佐治亚理工学院）
虽然凸-凹最小-最大优化的经典工作依赖于平均收敛结果，但非凸应用（如训练生成对抗网络）的出现重新引起了人们对最后收敛保证的兴趣。证明最后一次收敛是具有挑战性的，因为许多自然算法，如同时梯度下降/上升，可证明发散或循环，即使在简单的凸-凹最小-最大设置，和以前的工作对全球最后一次收敛速度已被限制到双线性和凸-强凹设置。在这项工作中，我们表明，哈密顿梯度下降（HGD）算法实现线性收敛在各种更一般的设置，包括凹凸问题，满足“充分双线性”的条件。我们还证明了类似的收敛速度的共识优化（CO）算法[MNG 17]的CO的一些参数设置。
2019-10-25 cs.GT cs.LG math.OC
Permutation Compressors for Provably Faster Distributed Nonconvex Optimization
University of Warwick（华威大学）；KAUST（阿卜杜拉国王科技大学）
我们研究了Gorbunov等人（2021）的MARINA方法--从理论通信复杂性的角度来看，这是当前最先进的分布式非凸优化方法。这种方法的理论优势可以在很大程度上归因于两个来源：使用一个精心设计的偏置随机梯度估计器，这导致了通信轮数的减少，以及依赖于{ \em独立}随机通信压缩算子，这导致了每个通信轮内的传输比特数的减少。在本文中，我们i）扩展的理论，以支持更广泛的一类潜在的{ \em相关}压缩机，扩展的方法超出了经典的独立压缩机设置的范围，ii）表明，一个新的数量，我们硬币的名称{ \em海森方差}，使我们能够显着细化原始分析的MARINA没有任何额外的假设，以及iii）基于{ \em随机置换}的思想识别特殊类别的相关压缩器，为此我们创造了术语$K$，其使用导致$O(\sqrt{n})$（分别地，$O(1 + d/\sqrt{n})$）在低Hessian方差状态下MARINA的理论通信复杂性的改进，当$d\geq n$（分别为$d \leq n$），其中$n$是工作者的数量，$d$是描述我们正在学习的模型的参数的数量。我们证实了我们的理论结果与精心设计的合成实验，最大限度地减少非凸二次曲线的平均值，并与MNIST数据集的自动编码器训练。
2021-10-07 cs.LG math.OC stat.ML
GraB: Finding Provably Better Data Permutations than Random Reshuffling
Cornell University（康奈尔大学）
随机重排（Random reshuffling）在每个时期随机排列数据集，在模型训练中被广泛采用，因为它比带替换采样产生更快的收敛速度。最近的研究表明，更好地选择数据排序可以进一步加速收敛经验，在使用更多的计算和内存的成本。然而，贪婪排序缺乏理论上的合理性，并且由于其非平凡的内存和计算开销而具有有限的实用性。在本文中，我们首先制定了一个名为羊群的示例排序框架，并肯定地回答，SGD与羊群收敛速度$O(T^{-2/3})$光滑，非凸目标，快于随机重排获得的$O(n^{1/3}T^{-2/3})$，其中$n$表示的数据点的数量和$T$表示的总迭代次数。为了减少内存开销，我们利用差异最小化理论，提出了一个在线梯度平衡算法（GraB），享有相同的速度放牧，同时减少了内存使用从$O(nd)$到$O(d)$和计算从$O(n^2)$到$O(n)$，其中$d$表示模型维数。我们在MNIST，CIFAR10，WikiText和GLUE等应用程序上的经验表明，GraB在训练和验证性能方面都优于随机重排，甚至优于最先进的贪婪排序，同时减少了$100\times$的内存使用。
2023-01-04 cs.LG
Fast Stochastic Methods for Nonsmooth Nonconvex Optimization
Carnegie Mellon University（卡内基梅隆大学）；Massachusetts Institute of Technology（麻省理工学院）
我们分析随机算法优化非凸，非光滑有限和问题，其中非凸部分是光滑的，非光滑部分是凸的。令人惊讶的是，与光滑情况不同，我们对这个基本问题的了解非常有限。例如，不知道具有常数小批量的邻近随机梯度法是否收敛到一个稳定点。为了解决这个问题，我们开发了快速的随机算法，可证明收敛到一个固定的点恒定的小批量。此外，使用这些算法的一个变体，我们证明了比批量邻近梯度下降更快的收敛速度。最后，我们证明了全局线性收敛速率的一个有趣的子类的非光滑非凸函数，其中包括一些最近的工作。本文建立在我们最近关于光滑非凸优化的快速随机方法的一系列论文[22，23]的基础上，对非凸和非光滑函数进行了新的分析。
2016-05-23 cs.LG math.OC stat.ML
Provably Accurate and Scalable Linear Classifiers in Hyperbolic Spaces
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
许多高维实际数据集都具有由图或时间序列诱导的层次结构。这样的数据集很难在欧几里得空间中处理，人们经常在其他空间形式中寻找低维嵌入来执行所需的学习任务。对于分层数据，选择的空间是双曲空间，因为它保证了树状结构的低失真嵌入。双曲空间的几何学具有在欧几里得空间中没有遇到的性质，当试图严格分析算法解决方案时，这些性质构成了挑战。我们提出了一个统一的框架，学习可扩展的和简单的双曲线性分类与可证明的性能保证。我们的方法的要点是专注于庞加莱球模型和制定的分类问题，使用切空间形式主义。我们的研究结果包括一个新的双曲感知器算法，以及一个高效和高精度的凸优化设置双曲支持向量机分类。此外，我们调整我们的方法，以适应二阶感知器，其中数据是基于二阶信息（相关性）进行预处理，以加速收敛，和战略感知器，其中潜在的操纵数据以在线方式到达，并顺序作出决定。庞加莱二阶感知器和策略感知器的优异性能表明，该框架可以扩展到双曲空间中的一般机器学习问题。我们的实验结果，关于合成的，单细胞RNA-seq表达测量，CIFAR 10，Fashion-MNIST和mini-ImageNet，建立了所有算法可证明收敛，并具有与欧几里得对应算法相当的复杂性。随附代码可在https://github.com/thupchnsky/PoincareLinearClassification上找到。
2022-03-11 cs.LG
Algorithmic Connections Between Active Learning and Stochastic Convex Optimization
Carnegie Mellon University（卡内基梅隆大学）
有趣的理论协会已经建立了最近的论文之间的领域的主动学习和随机凸优化由于反馈在顺序查询机制的共同作用。在本文中，我们继续这一线索在两个部分中，利用这些关系的第一次产生新的算法在这两个领域，进一步激励他们的交集的研究。首先，最近的优化算法，是自适应未知的一致凸性参数的启发，我们提出了一个新的主动学习算法的一维阈值，可以通过适应未知的噪声参数产生极大极小率。接下来，我们证明了当仅允许oracle访问沿任何坐标而不是实值梯度的噪声梯度符号时，可以执行光滑一致凸函数的$d$维随机最小化，通过使用简单的随机坐标下降过程，其中每个线搜索可以通过$1$维主动学习来解决，可证明地实现与具有整个实值梯度相同的误差收敛速率。结合这两个部分产生的算法，解决随机凸优化的一致凸和光滑的功能，只使用噪声梯度符号，通过反复执行主动学习，达到最佳的速率，是自适应的所有未知的凸性和光滑性参数。
2015-05-15 cs.AI cs.LG math.OC
Safety Filter Design for Neural Network Systems via Convex Optimization
Microsoft Research（微软研究院）；University of Pennsylvania（宾夕法尼亚大学）
针对神经网络系统难以合成可证明安全控制器的问题，提出一种基于凸优化的安全滤波器，结合神经网络验证的线性过近似与鲁棒线性MPC实现加性扰动下的安全保障，并在非线性摆系统上验证了有效性。
2023-08-28 cs.LG cs.SY eess.SY
Private Adaptive Gradient Methods for Convex Optimization
Stanford University（斯坦福大学）；Apple（苹果公司）；Massachusetts Institute of Technology（麻省理工学院）
我们研究自适应方法差分私人凸优化，提出和分析差分私人变量的自适应步长的随机梯度下降（SGD）算法，以及AdaGrad算法。我们提供了两种算法的遗憾上界，并表明边界是（最坏情况下）最优的。由于我们的发展，我们表明，我们的私人版本的AdaGrad优于自适应SGD，这反过来又优于传统的SGD的情况下，非各向同性梯度（非私人）Adagrad可证明优于SGD。主要的挑战是，通常为隐私而添加的各向同性噪声在高维问题的梯度几何中占主导地位;有效优化低维子空间的方法简单地忽略了变化的梯度几何引入的实际问题。相比之下，我们研究非各向同性剪切和噪声添加，开发一个原则性的理论方法，随之而来的程序也享有显着更强的经验性能比以前的方法。
2021-06-25 cs.CR cs.LG math.OC
On Arbitrary Compression for Decentralized Consensus and Stochastic Optimization over Directed Networks
Rice University（莱斯大学）
研究静态有向图上具有压缩通信的分散一致性和随机最优化问题。我们提出了一个迭代的基于梯度的算法，压缩消息根据所需的压缩比。所提出的方法可证明减少了网络上的通信开销，在每一个通信轮。与现有文献相反，我们允许任意的压缩比在通信的消息。我们显示了一个线性收敛速率所提出的方法的共识问题。此外，我们提供了明确的收敛速度分散随机最优化问题的光滑函数是（i）强凸，（ii）凸，或（iii）非凸。最后，我们提供了数值实验来说明在任意压缩比下的收敛性和我们的算法的通信效率。
2022-04-18 cs.LG cs.MA cs.SY
Byzantine-Resilient Non-Convex Stochastic Gradient Descent
Microsoft Research Redmond（微软雷德蒙德研究院）；University of Waterloo（滑铁卢大学）；IST Austria（奥地利科学技术研究所）
我们研究了对抗弹性随机分布式优化，其中$m$机器可以独立地计算随机梯度，并合作共同优化其局部目标函数。然而，$α$ -一小部分机器是$\textit{Byzantine}$，因为它们可以以任意的、对抗的方式行为。我们考虑在具有挑战性的$\textit{non-convex}$情况下，这种程序的变体。我们的主要结果是一个新的算法SafeguardSGD，它可以证明逃逸鞍点，并找到近似的局部极小的非凸目标。该算法是基于一个新的浓度过滤技术，其样本和时间复杂度界匹配的随机，分布式设置时，没有拜占庭机器的最佳已知的理论界。我们的算法非常实用：它在训练深度神经网络时提高了所有现有方法的性能，它相对轻量级，并且它是第一个能够抵御两种最近提出的拜占庭攻击的方法。
2021-04-02 cs.DC cs.DS cs.LG
A Convex Formulation for Mixed Regression with Two Components: Minimax Optimal Rates
The University of California, Berkeley（加州大学伯克利分校）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文研究了在对抗噪声和随机噪声下的两个分量的混合回归问题。我们给出了一个凸优化公式，可证明恢复的真实解，并提供上界的恢复误差为任意噪声和随机噪声设置。我们还匹配极大极小下界（对数因子），表明在一定的假设下，我们的算法是信息理论上最优的。我们的研究结果代表了第一个易于处理的算法，保证成功恢复与紧界恢复错误和样本的复杂性。
2015-02-13 cs.IT cs.LG math.IT
A fast randomized incremental gradient method for decentralized non-convex optimization
Carnegie Mellon University（卡内基梅隆大学）；Tufts University（塔夫茨大学）
我们研究分散的非凸有限和最小化问题描述的网络节点，其中每个节点拥有一个本地批次的数据样本。在这种情况下，我们分析了一种单时间尺度随机增量梯度法，称为GT-SAGA。GT-SAGA在计算上是高效的，因为它在每次迭代中评估每个节点的一个分量梯度，并通过利用节点级方差减少和网络级梯度跟踪来实现可证明的快速和鲁棒性能。对于一般的光滑非凸问题，我们证明了GT-SAGA的几乎必然和均方收敛到一阶稳定点，并进一步描述了具有实际意义的制度，它优于现有的方法，并分别实现了网络拓扑无关的迭代复杂性。当全局函数满足Polyak-Lojaciewisz条件时，我们证明了GT-SAGA具有线性收敛到期望的最优解，并描述了实际感兴趣的制度，其中性能是网络拓扑无关的，并改进了现有的方法。数值实验包括突出的主要方面的GT-SAGA在非凸设置的收敛性。
2021-09-30 cs.LG cs.SY eess.SY
Stochastic Variance Reduction for Nonconvex Optimization
Carnegie Mellon University（卡内基梅隆大学）；Massachusetts Institute of Technology（麻省理工学院）
我们研究非凸有限和问题，并分析随机方差约减梯度（SVRG）方法。SVRG和相关的方法最近在凸优化中脱颖而出，因为它们比随机梯度下降（SGD）更有优势;但它们的理论分析几乎完全假设凸性。相比之下，我们证明了非渐近速度的收敛（稳定点）的SVRG非凸优化，并证明它是可证明的速度比SGD和梯度下降。我们还分析了一类非凸问题，SVRG达到线性收敛的全局最优值。我们扩展我们的分析，SVRG的小批量变体，显示（理论）线性加速，由于在并行设置中的小批量。
2016-04-04 cs.LG cs.NE math.OC
Are ResNets Provably Better than Linear Predictors?
Weizmann Institute of Science（魏茨曼科学研究所）；Microsoft Research（微软研究院）
残差网络（或ResNet）是一种标准的深度神经网络架构，在众多应用中具有最先进的性能。ResNets的主要前提是，它们允许每一层的训练专注于拟合前一层输出和目标输出的残差。因此，我们应该期望训练后的网络不会比我们去除剩余层并训练一个更浅的网络更差。然而，由于优化问题的非凸性，目前还不清楚ResNets是否真的实现了这种行为，而不是陷入了一些任意的局部最小值。在本文中，我们严格证明了任意深度的非线性残差单元确实表现出这种行为，在这个意义上，优化景观不包含任何局部极小值，其值高于线性预测器（即1层网络）所能获得的值。值得注意的是，我们在最小或没有假设的精确网络架构，数据分布，或损失函数使用。我们还提供了一个定量分析的近似稳定点这个问题。最后，我们表明，通过对架构进行一定的调整，使用标准随机梯度下降训练网络可以达到接近或优于任何线性预测器的目标值。
2018-09-27 cs.LG cs.NE stat.ML
