A Potential Reduction Method for Canonical Duality, with an Application to the Sensor Network Localization Problem
我们提出用正则对偶理论来求解非凸优化问题的大型实例。为此，我们提出了一个内点潜在的减少算法的基础上的原始-对偶全互补（拉格朗日）函数的解决方案。我们建立了整体收敛结果的算法在温和的假设下，并证明了该方法的传感器网络定位问题的实例。我们的数值结果是有前途的，并显示出设计有效的内点方法的非凸对偶的可能性。
2014-10-24 math.OC
Accelerated gradient sliding and variance reduction
考虑了具有光滑凸非邻近友好复合函数（第二项）的和型强凸优化问题（首项）。我们发现，这个问题的复杂性可以分为最佳数量的增量Oracle调用的第一（和型）长期和最佳数量的Oracle调用的第二（复合）长期。在这里，在“最佳数”下，我们指的是在没有另一项的情况下对应于众所周知的下界的估计。
2020-03-11 math.OC
Bias Reduction in Compressed Sensing
稀疏性和秩函数是欠定线性系正则化的重要方法。由于这两种惩罚都是非凸的和不连续的，因此难以优化所得到的制剂。最常见的补救办法是使用$\ell^1$规范和核规范。虽然这些是凸的，因此可以可靠地优化，但它们会受到收缩偏差的影响，这会在存在噪声的情况下降低解决方案的质量。在本文中，我们结合最近开发的无偏非凸的替代品与核和$\ell^1-$处罚。这减少了偏差，并且仍然能够实现可靠的优化属性。我们开发了一个有效的最小化方案，使用派生的邻近算子，并评估了几个真实的和合成的计算机视觉应用程序的方法有前途的结果。
2018-12-29 math.OC
Convex Separation from Optimization via Heuristics
设$K$是$\mathbb{R}^n$的全维凸子集。我们描述了一个新的多项式时间图灵减少从弱分离问题$K$的弱优化问题$K$是基于几何启发式。我们比较我们的减少，这依赖于分析中心，与标准的，更一般的减少。
2006-03-22 cs.DS math.OC
Asynchronous Stochastic Gradient Descent with Variance Reduction for Non-Convex Optimization
我们提供了第一个非凸优化的异步随机方差降低梯度（SVRG）下降算法的收敛速度的理论分析。最近的研究表明，基于异步随机梯度下降（SGD）算法的方差减少收敛于凸问题的线性收敛速度。然而，目前还没有工作来分析异步SGD方差缩减技术的非凸问题。在本文中，我们研究了SVRG的两个异步并行实现：一个是在分布式存储系统上，另一个是在共享存储系统上。我们提供的理论分析，这两种算法可以获得$O(1/T)$的收敛速度，和线性加速是可以实现的，如果工人的数量是上界。由于参考问题，V1、V2、V3已被撤回，请参考最新版本V4。
2016-12-20 cs.LG math.OC
Adaptive Stochastic Variance Reduction for Non-convex Finite-Sum Minimization
EPFL（洛桑联邦理工学院）
我们提出了一种自适应方差缩减方法，称为AdaSpider，用于最小化具有有限和结构的$L$ -光滑非凸函数。本质上，AdaSpider结合了AdaGrad启发的[Duchi等人，2011，McMahan & Streeter，2010]，但是在[Fang等人，2018年]。据我们所知，Adaspider是第一个无参数非凸方差缩减方法，因为它不需要问题相关参数的知识，例如平滑常数$L$，目标精度$ε$或梯度范数的任何界限。在这样做的时候，我们能够计算一个$ε$ -固定点与$\tilde{O}\left(n + \sqrt{n}/ε^2\right)$ oracle-calls，它匹配相应的下界的对数因子。
2022-11-03 cs.LG math.OC
On variance reduction for stochastic smooth convex optimization with multiplicative noise
提出了一种求解重尾分布（有限二阶矩）随机优化问题的动态采样随机逼近（SA）方法。目标函数是光滑凸函数与凸正则化子的和。通常，假设Oracle在其方差（OUBV）上具有上限$σ^2$。因此，我们假设一个带有\emph{multiplicative noise}的oracle。这种很少涉及的设置更具侵略性，但现实，其中方差可能没有限制。我们的方法实现了最优的迭代复杂度和（接近）最优的预言复杂度。对于光滑的凸类，我们使用一个加速SA方法一la FISTA实现，给定公差$ε>0$，最佳的迭代复杂度的$\mathcal{O}(ε^{-\frac{1}{2}})$与接近最佳的预言复杂度$\mathcal{O}(ε^{-2})[\ln(ε^{-\frac{1}{2}})]^2$。这改进了Ghadimi和Lan [ \emph{Math. Program.}，156：59-99，2016]，其中假设OUBV。对于强凸类，我们的方法达到了$\mathcal{O}(\ln(ε^{-1}))$的最优迭代复杂度和$\mathcal{O}(ε^{-1})$的最优预言复杂度.这改进了Byrd等人[ \emph{Math. Program.}，134：127-155，2012]，其中假设OUBV。在方差方面，我们的边界是局部的：它们取决于在解$x^*$和每单位距离乘法方差$σ^2_L$处的方差$σ(x^*)^2…
2017-05-24 math.OC
Distributed stochastic gradient tracking algorithm with variance reduction for non-convex optimization
针对一般光滑非凸有限和优化问题，提出了一种方差缩减的分布式随机算法，该算法在信号处理和机器学习领域有着广泛的应用.在分布式环境中，大量的样本个数被分配给网络中的多个代理。每个智能体计算局部随机梯度，并与其邻居进行通信，以寻求全局最优值。在本文中，我们开发了一种改进的方差缩减技术来处理随机梯度引入的方差。结合梯度跟踪和方差缩减技术，提出了一种求解多智能体网络上大规模非凸有限和优化问题的分布式随机算法GT-VR。证明了GT-VR算法以$O(\frac{1}{k})$收敛速度收敛到一阶稳定点。此外，我们提供了所提出的算法的复杂性分析。与现有的一些一阶方法相比，该算法在一定的条件下具有较低的$\mathcal{O}(PMε^{-1})$梯度复杂度。通过仿真实验比较了现有算法和GT-VR算法，验证了该算法的有效性。
2021-07-22 cs.DC math.OC
Provable Reduction in Communication Rounds for Non-Smooth Convex Federated Learning
Umeå University（于默奥大学）
针对非光滑凸联邦学习，提出FedMLS算法，利用投影高效优化方法，在无数据异质性假设下，通过多次本地步骤将通信轮次降至O(1/ε)，总随机次梯度调用为O(1/ε^2)。
2025-03-27 cs.LG math.OC
Variance reduction for Riemannian non-convex optimization with batch size adaptation
University of Sydney（悉尼大学）
方差缩减技术在欧几里得空间和黎曼流形上定义的最优化问题的加速梯度下降和随机梯度下降中很流行。本文进一步改进了已有的求解非凸黎曼优化问题的方差缩减方法，包括R-SVRG和R-SRG/R-SPIDER。我们表明，这种策略可以实现较低的总复杂性优化一般非凸和梯度主导的功能下，有限和在线设置。因此，我们还提供了更简单的收敛性分析R-SVRG和有限和设置下，提高R-SRG的复杂性界限。具体来说，我们证明了R-SRG实现了相同的接近最优的复杂性，R-SPIDER，而不需要一个小的步长。在多种任务上的实验结果证明了所提出的自适应批量策略的有效性。
2020-07-03 cs.LG math.OC stat.ML
Momentum-Based Variance Reduction in Non-Convex SGD
Google Research（谷歌研究院）；Boston University（波士顿大学）
近年来，方差缩减算法在非凸问题中成为随机梯度下降的有力竞争者，它为提高随机梯度下降的收敛速度提供了第一个算法。然而，方差减少技术通常需要仔细调整的学习率和愿意使用过大的“大批量”，以实现其改进的结果。我们提出了一种新的算法，风暴，不需要任何批次，并利用自适应学习率，使更简单的实现和更少的超参数调整。我们的技术，用于删除批次使用一个变种的动量，以实现非凸优化的方差减少。在平滑损失$F$上，STORM在梯度中具有$σ^2$方差的$T$迭代中找到具有$\mathbb{E}[\|\nabla F(\boldsymbol{x})\|]\le O(1/\sqrt{T}+σ^{1/3}/T^{1/3})$的点$\boldsymbol{x}$，匹配最优速率，但不需要$σ$的知识。
2020-04-21 cs.LG math.OC stat.ML
Variance Reduction for Faster Non-Convex Optimization
Princeton University（普林斯顿大学）
本文研究了非凸优化中有效到达稳定点的基本问题。与凸情况相反，在这个基本问题的长期历史中，关于一阶非凸优化的唯一已知的理论结果仍然是对于光滑目标在$O(1/\varepsilon)$迭代中收敛的全梯度下降，以及对于作为光滑函数之和的目标在$O(1/\varepsilon^2)$迭代中收敛的随机梯度下降。我们提供了这一研究领域的第一个改进。我们的结果是基于最近引入凸优化的方差减少技巧，以及一个全新的适合于非凸优化的方差减少方差分析。对于光滑函数和的目标，我们的一阶小批量随机方法以$O(1/\varepsilon)$速率收敛，并且比$Ω(n^{1/3})$的全梯度下降快。我们证明了我们的方法的有效性经验风险最小化与非凸损失函数和训练神经网络。
2016-08-25 cs.DS cs.LG cs.NE
The Problem of Projecting the Origin of Euclidean Space onto the Convex Polyhedron
本文对欧几里得空间的原点在凸多面体上的投影问题（PPOCP）的现有不同表述作了系统的综述。本文研究了投影规划化为二次规划、极大极小、线性互补和非负最小二乘问题的问题。这种减少证明了利用更广泛的强大的数学规划工具来解决PPOCP的机会。本文的目标是提请注意广泛的研究在不同配方的投影问题，这在很大程度上是未知的，由于事实上，该文件（解决问题的关注）发表，即使在相邻的，但其他主题，或仅在会议记录。
2016-05-17 math.OC
Variance Reduction via Accelerated Dual Averaging for Finite-Sum Optimization
Tsinghua-Berkeley Shenzhen Institute, Tsinghua University（清华大学-伯克利深圳学院，清华大学）；University of California, Berkeley（加利福尼亚大学伯克利分校）
本文介绍了有限和凸优化问题的一种简化统一的方法，称为\emph{Variance Reduction via Accelerated Dual Averaging (VRADA)}。在一般的凸和强凸的设置，VRADA可以达到$O\big(\frac{1}{n}\big)$ -精确的解决方案，在$O(n\log\log n)$数量的随机梯度评估，提高了最有名的结果$O(n\log n)$，其中$n$是样本的数量。同时，VRADA匹配的一般凸设置的下限到一个$\log\log n$因子，并匹配的下限在两个制度$n\le Θ(κ)$和$n\gg κ$的强凸设置，其中$κ$表示的条件数。VRADA不仅改进了已有的结果，而且同时满足上述所有下界，对于一般凸和强凸情形，VRADA的算法实现和收敛性分析更加统一和简化.潜在的新方法，如VRADA中的新初始化策略，可能会引起独立的兴趣。通过在真实数据集上的实验，我们证明了VRADA在大规模机器学习问题上优于现有方法的良好性能。
2021-03-07 cs.LG math.OC
Stochastic Distributed Learning with Gradient Quantization and Variance Reduction
我们考虑分布式优化，其中目标函数分布在不同的设备中，每个设备向中央服务器发送增量模型更新。为了缓解通信瓶颈，最近的工作提出了各种方案来压缩（例如，稀疏化或稀疏化）梯度，从而引入可能减慢收敛的附加方差$ω\geq 1$。对于条件数$κ$分布在$n$机上的强凸函数，我们（i）给出了一个以$\mathcal{O}((κ+ κ\fracω{n} + ω)$ $\log (1/ε))$步收敛到最优解邻域的方案.对于目标函数的有限和结构，每个工人有少于$m$组件，我们（ii）提出了新的方差减少计划，收敛在$\mathcal{O}((κ+ κ\fracω{n} + ω+ m)\log(1/ε))$步骤任意精度$ε> 0$。这些是实现任意量化更新的线性收敛的第一种方法。我们还（iii）分析了弱凸和非凸的情况下，（iv）在实验中验证，我们的新的方差减少计划比基线更有效。
2019-04-10 math.OC
Stochastic Variable Metric Proximal Gradient with variance reduction for non-convex composite optimization
Institut de Mathématiques de Toulouse（图卢兹数学研究所）；CNRS（法国国家科学研究中心）；Université de Toulouse（图卢兹大学）；Ecole Polytechnique（巴黎综合理工学院）
提出了一种求解有限和非凸复合优化问题的新算法--扰动邻近预处理SPIDER算法（3 P-SPIDER）。它是一种随机变度量前向-后向算法，允许近似预处理前向算子，并使用变度量邻近算子作为后向算子;它还提出了一种方差减少的小批量策略来解决有限和设置。我们表明，3 P-SPIDER扩展了一些随机预处理的梯度下降为基础的算法和一些增量期望最大化算法的复合优化和前向算子的情况下，不能计算在封闭的形式。我们还提供了一个显式的收敛控制的期望3 P-SPIDER，并研究其复杂性，以满足ε-近似平稳条件。我们的研究结果是第一个结合复合非凸优化设置，方差减少技术来解决有限和设置通过使用minibatch策略，并允许确定性或随机近似的预处理前向算子。最后，通过应用逻辑回归模型的推理随机效应，我们数值比较3 P-SPIDER其他随机向前向后算法，并讨论了一些设计参数的3 P-SPIDER的作用。
2023-03-08 cs.LG math.OC
Communication reduction in distributed optimization via estimation of the proximal operator
我们介绍了一个减少通信的分布式优化方案的基础上估计的解决方案，以一个接近的最小化问题。我们提出的设置涉及一组代理人协调的一个中央实体，在一个合作的框架中运作。代理解决隐藏在中央协调器中的最小化问题。该方案使协调器能够构造一个凸集，其中代理的优化器驻留，并迭代地细化每次查询的代理集。我们分析了质量的构造集显示它们的连接到ε-次微分的凸函数和表征其大小。我们证明了收敛结果的解决方案，这样的分布式最优化问题，我们设计了一个通信标准，嵌入该计划的乘法器（ADMM）的交替方向法。所开发的计划表明显着的通信减少时，应用到微电网设置。
2018-07-07 math.OC
COCO Denoiser: Using Co-Coercivity for Variance Reduction in Stochastic Convex Optimization
Instituto de Sistemas e Robótica, Instituto Superior Técnico（系统与机器人研究所，高等技术学院）；Carnegie Mellon University（卡内基梅隆大学）
随机优化的一阶方法具有不可否认的相关性，部分原因是它们在机器学习中的关键作用。降低这些算法的方差已成为一个重要的研究课题。与常见的方法，很少利用全局模型的目标函数，我们利用凸性和L-光滑性，以提高噪声估计输出的随机梯度预言机。我们的方法，名为COCO降噪，是联合最大似然估计的多个函数梯度从他们的噪音观测，受到他们之间的协方差约束。由此产生的估计是凸二次约束二次问题的解决方案。虽然这个问题是昂贵的解决内点方法，我们利用其结构，适用于加速一阶算法，快速双邻近梯度法。除了分析所提出的估计特征，我们经验表明，增加查询点的数量和接近度会导致更好的梯度估计。我们还将COCO应用于随机设置中，将其插入现有算法，如SGD，Adam或STRSAGA，即使在我们的建模假设不匹配的情况下，也会优于其普通版本。
2021-09-07 cs.LG math.OC
Projection-Free Variance Reduction Methods for Stochastic Constrained Multi-Level Compositional Optimization
Nanjing University（南京大学）；Zhejiang University（浙江大学）
本文针对随机约束多层级复合优化提出无投影方差缩减算法，在梯度映射和Frank-Wolfe间隙准则下均达到或匹配最优复杂度，并扩展至凸与强凸情形，实验验证了其有效性。
2024-06-06 cs.LG math.OC
Distributed Stochastic Non-Convex Optimization: Momentum-Based Variance Reduction
在这项工作中，我们提出了一个分布式算法的随机非凸优化。我们考虑一个工作者-服务器架构，其中一组$K$工作者节点（WN）与服务器节点（SN）合作，共同的目标是最小化一个全球性的，潜在的非凸目标函数。目标函数被假定为在每个WN处可用的局部目标函数的总和，其中每个节点仅能够访问其局部目标函数的随机样本。与现有的方法相比，我们采用了基于动量的“单循环”分布式算法，消除了需要计算大批量梯度，以实现方差减少。我们提出了两种算法，一种是“自适应”学习率，另一种是“非自适应”学习率。我们表明，所提出的算法实现了最佳的计算复杂性，同时达到线性加速与WN的数量。具体地，算法在$T$迭代中利用$\mathbb{E}\| \nabla f(x_a) \| \leq \tilde{O}(K^{-1/3}T^{-1/2} + K^{-1/3}T^{-1/3})$达到$ε$ -稳定点$x_a$，从而需要在每个WN处进行$\tilde{O}(K^{-1} ε^{-3})$梯度计算。此外，我们的方法不假设WN之间的数据分布相同，使得该方法对于联邦学习应用程序来说足够通用。
2020-05-01 cs.DC math.OC
A Zeroth-Order Variance-Reduced Method for Decentralized Stochastic Non-convex Optimization
本文提出DZOVR算法，结合两点梯度估计、动量方差缩减与梯度跟踪，首次在去中心化随机非凸优化中实现O(dn^{-1}ε^{-3})采样复杂度，并具有网络无关性和线性加速特性。
2023-10-29 math.OC
Sampling methods for multistage robust convex optimization problems
本文导出了多级鲁棒凸优化问题约束采样的概率保证。这些问题的动态性质是通过所谓的证书认证方法来解决的。这允许通过决策规则避免保守地使用显式参数化，并且提供了满足给定可靠性水平的样本复杂性的显著降低。一个明确的界限上的概率违反。多阶段库存管理问题的数值结果表明，所提出的方法的有效性。
2016-11-06 math.OC
Optimal Power Allocation in Battery/Supercapacitor Electric Vehicles using Convex Optimization
本文提出了一种电动汽车储能系统中电池和超级电容器之间功率分配的优化框架。提出了一种凸最优控制公式，其最小化总能量消耗，同时对电池和超级电容器中存储的功率输出和总能量实施硬约束。提出了一种乘子交替方向法（ADMM）算法，该算法的计算量和内存需求与预测时域长度成线性关系（并可通过并行处理来降低）。在数值模拟中，将最优控制器与低通滤波器针对全电池基线进行比较，其中示出了在电池退化方面的显著改善（通过峰值电池功率降低71.4%、均方根电池功率降低21.0%和电池吞吐量降低13.7%来推断），以及能耗降低5.7%。它还表明，ADMM算法可以解决最优化问题在几分之一秒的预测范围超过15分钟，因此是一个很有前途的候选人在线滚动时域控制。
2020-09-11 math.OC
Cubic Regularized Newton Method with Variance Reduction for Finite-sum Non-convex Problems
MBZUAI（穆罕默德·本·扎耶德人工智能大学）；TSE（图卢什经济学院）
本文提出一种结合粗粒随机框架和终端同伦细化的方差减少立方牛顿法，用于解决有限和非凸优化问题，在平均梯度平滑和平均均方Hessian平滑假设下，达到(ε,√(L₂ε))二阶 stationary 点，总有限和 oracle 复杂度为n+~O(n^{1/2}ε^{-3/2})。
2026-04-27 math.OC
Stochastic Recursive Variance Reduction for Efficient Smooth Non-Convex Compositional Optimization
Peking University（北京大学）；University of Rochester（罗切斯特大学）；Kwai Inc.（快手公司）
随机组合优化出现在许多重要的机器学习任务中，例如强化学习和投资组合管理中的价值函数评估。目标函数是随机函数的两个期望的组合，并且比普通随机最优化问题更具有挑战性。本文研究了一般光滑非凸环境下的随机合成优化问题。我们采用最近发展起来的\textit{Stochastic Recursive Gradient Descent}的思想设计了一个新的算法SARAH-Compositional，并证明了一个尖锐的增量一阶Oracle（IFO）复杂性上界：$\mathcal{O}((n+m)^{1/2} \varepsilon^{-2})$在有限和情况下和$\mathcal{O}(\varepsilon^{-3})$在线的情况下.这样的复杂性是已知的最好的一个IFO复杂性结果的非凸随机组合优化，并被认为是最优的。我们的实验验证了我们的算法的理论性能。
2020-01-25 cs.LG math.OC stat.ML
Model reduction, machine learning based global optimisation for large-scale steady state nonlinear systems
针对PDE系统高维非凸导致优化受限的问题，提出结合PCA与ANN构建降阶代理模型，并通过分段仿射重构或ReLU激活函数降低计算复杂度，实现高效确定性全局优化。
2024-10-15 math.OC
Variance Reduction via Primal-Dual Accelerated Dual Averaging for Nonsmooth Convex Finite-Sums
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
我们研究了结构化非光滑凸有限和优化，它广泛地出现在机器学习应用中，包括支持向量机和最小绝对偏差。对于这个问题的原始-对偶公式，我们提出了一种新的算法称为\emph{Variance Reduction via Primal-Dual Accelerated Dual Averaging (\vrpda)}。在非光滑和一般凸设置中，\vrpda ~具有根据原始-对偶间隙的总体复杂度$O(nd\log\min \{1/ε, n\} + d/ε)$，其中$n$表示样本的数量，$d$表示原始变量的维度，并且$ε$表示期望的精度。在非光滑和强凸的情况下，\vrpda ~的整体复杂性在原始-对偶间隙和最优解与最优解之间的距离方面都变成了$O(nd\log\min\{1/ε, n\} + d/\sqrtε)$. \vrpda ~的这两个结果都以更简单和直接的方式显着改善了最先进的复杂性估计，即非光滑和一般凸设置的$O(nd\log \min\{1/ε, n\} + \sqrt{n}d/ε)$和非光滑和强凸设置的$O(nd\log \min\{1/ε, n\} + \sqrt{n}d/\sqrtε)$。此外，这两个复杂性都优于\emph{lower}边界的一般凸有限和，缺乏特定的（共同的）结构，我们认为。我们的理论结果得到了数值实验的支持，证实了\vrpda ~的竞争力的性能相比，国家的最先进的。
2021-04-07 cs.LG cs.NA math.NA
SPAM: Stochastic Proximal Point Method with Momentum Variance Reduction for Non-convex Cross-Device Federated Learning
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）
针对跨设备联邦学习中的客户端漂移和数据相似性不敏感问题，提出非凸损失下的新算法SPAM，在二阶相似性下提供严格分析，支持部分参与设置，且无需目标平滑性即可从相似数据中获益。
2024-05-30 cs.LG math.OC
A Proximal Stochastic Gradient Method with Progressive Variance Reduction
考虑两个凸函数之和的极小化问题：一个是大量光滑分量函数的平均，另一个是允许简单邻近映射的一般凸函数。我们假设整个目标函数是强凸的。这些问题经常出现在机器学习中，称为正则化经验风险最小化。我们提出并分析了一种新的近似随机梯度法，它使用一个多阶段的计划，逐步减少随机梯度的方差。虽然该算法的每次迭代具有类似的成本作为经典的随机梯度法（或增量梯度法），我们表明，期望的目标值收敛到最优的几何速度。该方法的总体复杂度远低于近端全梯度法和标准近端随机梯度法。
2014-03-19 math.OC stat.ML
ZIVR: An Incremental Variance Reduction Technique For Zeroth-Order Composite Problems
ZIVR提出了一种用于零阶复合优化问题的增量方差减少技术，通过灵活实现和纯2点零阶算法，解决了大规模问题中的计算瓶颈，并在多种优化设置中提供了与一阶方法相当的收敛保证。
2026-01-08 cs.SY eess.SY math.OC
A Stochastic Alternating Direction Method of Multipliers for Non-smooth and Non-convex Optimization
乘子的交替方向法（ADMM）是一种常用的一阶方法，具有简单、高效等优点。然而，与其他邻近分裂方法类似，当要解决的最优化问题规模变大时，ADMM的性能会显着下降。本文考虑将ADMM与一类方差缩减的随机梯度相结合来求解大规模非凸非光滑最优化问题。在目标函数满足Kurdyka-Lojasiewicz（KL）性质的额外假设下，证明了生成序列的整体收敛.数值实验上的图形引导融合Lasso和计算机断层扫描，以证明所提出的方法的性能。
2020-12-14 math.OC
Improving the distance reduction step in the von Neumann algorithm
一种已知的用于找到圆锥问题的可行解的一阶方法是自适应冯诺依曼算法。我们改进的距离减少的步骤，通过投影到凸包上的先前生成的点使用原始活动集二次规划（QP）算法。当QP尽可能大时，收敛理论得到了改进。对于R^2中的问题，我们用上图和次微分的单调性来分析我们的算法。从逻辑上讲，投影到的集合越大，每次迭代的性能就越好，这在我们的数值实验中确实可以看到。
2014-08-14 math.OC
Bilateral facial reduction: qualification-free subdifferential calculus and exact duality
本文提出了一种无资格条件的双侧面部缩减方法，用于解决一般凸优化问题中的对偶性、最优性条件和子微分计算。
2026-02-10 math.FA math.OC
Merits of the Incremental Method for modeling Piecewise Linear functions
提出了几种分段线性（PWL）函数的建模方法，包括凸组合、增量法和多选法。虽然增量方法被证明是非常有效的，但凸组合方法，特别是对于不连续PWL函数，引起了该领域作者的注意。在这项工作中，我们修改的增量方法，使其适用于不连续的功能。数值结果表明，改进的增量法可以有相当大的减少计算时间，主要是由于所需的变量的数量减少。此外，我们提出了一个更严格的制定可分离的单变量PWL函数与二元指标的最优化问题通过使用增量的方法。
2018-02-12 math.OC
Regrets of Proximal Method of Multipliers for Online Non-convex Optimization with Long Term Constraints
在闭凸集上具有非凸损失函数的在线最优化问题，加上一组不等式（可能是非凸的）约束，是一个具有挑战性的在线学习问题。提出了一种二次逼近乘子近似法（OPMM）来求解这类带长期约束的在线非凸优化问题。分析了OPMM在求解在线非凸优化问题时违反Karush-Kuhn-Tucker条件的不足。在较弱的条件下，证明了该算法具有${\cO}(T^{-1/8})$拉格朗日梯度违背遗憾、${\cO}(T^{-1/8})$约束违背遗憾和${\cO}(T^{-1/4})$互补剩余遗憾，其中$T$表示时间段的个数.对于目标为凸二次函数的情形，证明了即使可行集为非凸的，目标约简的遗憾也是成立的。对于约束函数为凸函数的情形，若OPMM子问题的解是通过求解其对偶得到的，则证明了OPMM是求解在线非凸最优化问题的一种可实现的投影方法.
2022-04-23 math.OC
Sufficient Dimension Reduction and Modeling Responses Conditioned on Covariates: An Integrated Approach via Convex Optimization
给定协变量和响应$(Y, X) \in \mathbb{R}^p \times \mathbb{R}^q$的集合的观察，充分的降维（SDR）技术旨在识别$f: \mathbb{R}^q \rightarrow \mathbb{R}^k$与$k \ll q$的映射，使得$Y|f(X)$独立于$X$。图像$f(X)$总结了影响响应$Y$的潜在大量协变量$X$中的相关信息。在许多当代环境中，除了大量$q$协变量外，响应$p$的数量也相当大。这导致了将简洁的参数化统计模型拟合到$Y|f(X)$的挑战，这是传统SDR框架中通常不解决的问题。在本文中，我们提出了一个计算上易于处理的凸松弛估计同时（a）确定一个线性降维$f(X)$的协变量，这是足够的响应，和（b）拟合几种类型的结构化低维模型-因子模型，图形模型，潜在变量图形模型-的条件分布的$Y|f(X)$。我们分析了我们的估计在高维尺度制度的一致性。我们还说明了我们的方法在新闻组数据集和金融资产价格组成的数据集上的性能。
2015-08-18 math.OC math.ST stat.ME
Stochastic Variance Reduction Methods for Saddle-Point Problems
INRIA - Ecole Normale Supérieure, Paris（法国国家信息与自动化研究所 - 巴黎高等师范学院）
我们考虑凹凸鞍点问题的目标函数可能会被分裂成许多组件，并扩展最近的随机方差减少方法（如SVRG或SAGA）提供第一个大规模的线性收敛算法，这是常见的机器学习这类问题。虽然算法扩展很简单，但它带来了挑战和机遇：（a）凸最小化分析不适用，我们使用单调算子的概念来证明收敛性，特别表明相同的算法适用于更大类的问题，例如变分不等式，（b）有两个分裂的概念，根据函数，或根据偏导数，（c）分割确实需要用凸-凹项来完成，（d）非均匀采样在理论和实践上都是有效算法的关键，以及（e）这些增量算法可以使用“催化剂”框架的简单扩展来容易地加速，从而产生总是优于加速的批处理算法的算法。
2016-11-03 cs.LG math.OC
Efficient Projection-Free Online Convex Optimization with Membership Oracle
Massachusetts Institute of Technology（麻省理工学院）
在约束凸优化问题中，现有的基于椭球或割平面法的方法不能很好地适应环境空间的维数。其他方法，如投影梯度下降，只提供了一个简单的凸集，如欧几里德球，其中欧几里德投影可以有效地执行计算的好处。对于其他集合，投影的成本可能太高。为了规避这些问题，基于著名的Frank-Wolfe算法的替代方法已经被研究和使用。这种方法在每次迭代时使用线性最优化Oracle而不是欧几里得投影;前者通常可以有效地执行。这种方法也被推广到在线和随机最优化的设置。然而，Frank-Wolfe算法及其变体并没有达到最佳性能，在遗憾或率，一般凸集。更重要的是，他们使用的线性最优化Oracle在某些情况下仍然可能是计算昂贵的。在本文中，我们远离弗兰克-沃尔夫风格的算法，并提出了一个新的减少，把任何算法A定义在一个欧几里德球（投影是廉价的）的算法约束集C内包含的球，而不牺牲原算法A的性能。我们的减少需要在T轮之后对C上的Membership Oracle进行O（T log T）调用，并且不需要C上的线性最优化。使用我们的减少，我们恢复最佳后悔界限[分别。率]，在迭代次数方面，在线[resp.随机]凸优化。我们的保证也是有用的离线凸优化设置时，周围空间的维数是大的。
2021-11-10 cs.LG math.OC
Low-rank Optimization with Convex Constraints
研究了在数据分析、系统辨识、模型降阶、低阶控制器设计和低复杂度建模中存在的凸约束下的低秩逼近问题。给定一个矩阵，目标是找到一个满足秩和凸约束的低秩近似，同时最小化到矩阵的平方Frobenius范数的距离。在许多情况下，这个非凸问题通过核范数正则化来转化。然而，我们将看到，通过这种方法获得的近似值可能远非最佳。在本文中，我们提出了一种替代的凸松弛，使用的平方Frobenius范数和秩约束的凸包络。用这种方法，容易验证的条件下，凸松弛和原来的非凸问题的解决方案是一致的。一个SDP表示的凸包络，这使我们能够应用这种方法来解决几个已知的问题。我们关于最优低秩汉克尔近似/模型降阶的例子表明，所提出的凸松弛的性能始终优于核范数正则化，并且可能优于平衡截断。
2018-03-06 cs.LG math.OC stat.ML
Some Black-box Reductions for Objective-robust Discrete Optimization Problems Based on their LP-Relaxations
我们考虑鲁棒离散最小化问题的不确定性是由一个凸集的目标。我们展示了如何完整性间隙验证的线性规划松弛的非鲁棒版本的问题，可以用来推导出近似算法的强大版本。
2019-07-15 cs.DS math.OC
Convex Optimization Learning of Faithful Euclidean Distance Representations in Nonlinear Dimensionality Reduction
University of Southampton（南安普顿大学）
经典的多维标度只有在高维空间中观察到的噪声距离可以由低维空间中的欧几里得距离忠实地表示时才能很好地工作。先进的模型，如最大方差展开（MVU）和最小体积嵌入（MVE）使用半定规划（SDP）来重建这种忠实的表示。虽然这些SDP模型能够产生高质量的配置数字，他们遭受两个主要的缺点。一个是不存在理论上保证的配置质量的界限。另一个是当数据点超过中等大小时，它们的计算速度很慢。本文提出了一个欧氏距离矩阵的凸优化模型。本文建立了具有亚高斯噪声的随机图模型的非渐近误差界，并证明了当均匀样本量的阶数约为低秩矩阵的自由度的对数因子时，我们的模型产生高精度的矩阵估计.我们的研究结果部分解释了为什么MVU和MVE经常工作得很好。此外，我们发展了一个快速的不精确加速邻近梯度法。数值实验表明，该模型可以产生高质量的配置上的大数据点，SDP方法将努力应付。
2014-06-22 cs.LG math.OC stat.ML
Stochastic dual averaging methods using variance reduction techniques for regularized empirical risk minimization problems
Tokyo Institute of Technology（东京工业大学）；Japan Science and Technology Agency（日本科学技术振兴机构）
我们考虑一个复合凸最小化问题与正则化的经验风险最小化，这经常出现在机器学习。本文提出了两种新的随机梯度法，它们是基于方差缩减的随机对偶平均方法。我们的方法生成一个稀疏的解决方案比现有的方法，因为我们不需要采取的平均历史的解决方案。这在可解释性和概括性方面都是有利的。此外，我们的方法有理论支持的强和非强凸正则化，并实现现有的非加速随机梯度法之间的最佳收敛速度。
2016-03-08 cs.LG math.OC stat.ML
Symmetry reduction to optimize a graph-based polynomial from queueing theory
对于给定的整数$n$和$d$，都至少为2，我们考虑一个齐次多元多项式$f_d$度$d$在变量索引的边缘的完全图上的$n$顶点和系数取决于基数的某些工会的边缘。Cardinaels，Borst和Van Leeuwaarden（arXiv：2111.05777，2021）询问是否$f_d$，它出现在冗余调度中的作业占用模型中，在均匀概率向量处在标准单纯形上达到其最小值。Brosch，Laurent和Steenkamp [SIAM J. Optim. 31（2021），2227--2254]证明了如果$d=2$和$d=3$是标准单纯形，则$f_d$在标准单纯形上是凸的，这意味着对于这些$d$是期望的结果。我们给出了一个对称性的减少，以表明固定的$d$，多项式是凸的标准单纯形（所有$n\geq 2$），如果一个常数的常数矩阵（与大小和系数独立的$n$）是半正定的。这个结果，然后结合使用计算机辅助验证表明，多项式$f_d$是凸的$d\leq 9$。
2021-12-31 math.CO math.OC
Limitations on Variance-Reduction and Acceleration Schemes for Finite Sum Optimization
Weizmann Institute of Science（魏茨曼科学研究所）
我们研究的条件下，能够有效地应用方差减少和加速计划有限和最优化问题。首先，我们表明，也许令人惊讶的是，有限和结构本身，是不足以获得$\tilde{\cO}((n+L/μ)\ln(1/ε))$的复杂性界的$L$ -光滑和$μ$ -强凸的个别功能-还必须知道，个别功能是指在每次迭代的甲骨文。接下来，我们证明了，对于广泛的一类一阶和坐标下降有限和算法（包括，例如，SDCA，SVRG，SAG），不可能得到$\tilde{\cO}((n+\sqrt{n L/μ})\ln(1/ε))$的“加速”复杂性界，除非明确给出强凸性参数。最后，我们表明，当这类算法用于最小化$L$ -光滑和凸有限和，最佳的复杂性界是$\tilde{\cO}(n+L/ε)$，假设（平均）相同的更新规则在每次迭代中使用，和$\tilde{\cO}(n+\sqrt{nL/ε})$，否则。
2017-12-06 cs.LG math.OC stat.ML
Beyond Phase Reduction: Amplitude Collapse in Optimal Control of Coupled Oscillators
University of California, Santa Barbara（加州大学圣塔芭芭拉分校）
本研究通过求解HJB方程发现，强耦合下最优控制会利用振幅坍缩实现低成本的相位重定位，超越了传统相位约化模型的预测，且该策略在等时及Van der Pol振子中同样适用。
2026-09-16 cs.NA cs.SY eess.SY
Momentum with Variance Reduction for Nonconvex Composition Optimization
University of Utah（犹他大学）
组合优化在非凸机器学习中有着广泛的应用。各种先进的随机算法，采用动量和方差减少技术已经开发的组成优化。然而，这些算法没有充分利用这两种技术来加速收敛，并且在非凸优化中缺乏收敛保证。本文通过开发各种具有基于SPIDER的方差缩减的动量方案来补充现有文献，用于非凸组合优化。特别是，我们的势头设计需要更少的近端映射评估每迭代比现有的喀秋莎势头所需的。此外，我们的算法实现了接近最优的样本复杂度的结果，在非凸有限和和在线组合优化，并实现了梯度优势条件下的线性收敛速度。数值实验表明，我们的算法收敛速度显着比现有的算法在非凸组合优化。
2020-05-15 cs.LG math.OC stat.ML
RECAPP: Crafting a More Efficient Catalyst for Convex Optimization
Stanford University（斯坦福大学）；Tel Aviv University（特拉维夫大学）
加速的邻近点法（APPA），也称为“催化剂”，是从凸优化到近似邻近点计算（即，正则化最小化）。这种简化在概念上是优雅的，并产生强大的收敛速度保证。然而，这些速率具有由于需要高精度地计算每个近端点而产生的无关对数项。在这项工作中，我们提出了一种新的松弛误差标准加速近点（RECAPP），消除了高精度的子问题解决方案的需要。我们应用RECAPP两个典型的问题：有限和最大结构最小化。对于有限和问题，我们匹配最好的已知的复杂性，以前通过精心设计的特定问题的算法。为了最小化$\max_y f(x,y)$，其中$f$在$x$中是凸的，在$y$中是强凹的，我们通过对数因子改进了最知名的（基于催化剂的）约束。
2022-06-17 cs.DS cs.LG math.OC
Efficient Convex Optimization with Membership Oracles
我们考虑的问题，最小化凸函数在一个凸集只访问一个评估预言的功能和一个成员预言集。我们给出了一个简单的算法，解决了这个问题的$\tilde{O}(n^2)$ oracle调用和$\tilde{O}(n^3)$额外的算术运算。利用这一结果，我们获得了更有效的约简中的五个基本神谕的凸集和函数定义的Grötschel，Lovasz和Schrijver。
2017-06-22 cs.CG cs.DS math.OC
A Rewriting System for Convex Optimization Problems
我们描述了一个模块化的重写系统翻译最优化问题写在一个特定领域的语言，以兼容的形式与低级别的求解器接口。归约可以促进翻译，它接受一类问题，并将该类别的实例转换为另一类的等价实例。我们的系统在两个关键阶段进行：分析，在此过程中，我们试图找到一个合适的解决方案提供的问题，和规范化，在此过程中，我们重写选定的解决方案的标准式的问题。我们在CVXPY的1.0版本中实现了所描述的系统，CVXPY是一种用于数学尤其是凸优化的领域特定语言。通过将约简视为第一类对象，我们的方法可以轻松地将问题与适合它们的求解器相匹配，并支持具有各种标准式的求解器。
2019-01-22 cs.MS math.OC
Drago: Primal-Dual Coupled Variance Reduction for Faster Distributionally Robust Optimization
University of Washington（华盛顿大学）；University of Wisconsin（威斯康星大学）
针对含闭合凸不确定性集的惩罚分布式鲁棒优化（DRO）问题，提出随机原对偶算法Drago，结合循环与随机组件及正则化原更新实现对偶方差减少，在强凸-强凹DRO问题上获线性收敛速率，数值基准验证了理论结果。
2025-02-11 cs.LG math.OC stat.ML
Convex Formulations for Fair Principal Component Analysis
UC Berkeley（加州大学伯克利分校）
虽然有越来越多的文献对监督学习的公平性，将公平性纳入无监督学习的问题还没有得到很好的研究。本文研究的背景下，主成分分析（PCA）的公平性。我们首先给出了降维的公平性的定义，并且我们的定义可以被解释为说，如果关于受保护类的信息（例如，种族或性别）不能从降维的数据点推断。接下来，我们开发凸优化公式，可以提高PCA和核PCA的公平性（相对于我们的定义）。这些配方是半定程序（SDP的），我们证明了我们的配方使用几个数据集的有效性。最后，我们展示了我们的方法可以用来执行一个公平的（相对于年龄）聚类的健康数据，可用于设置健康保险费率。
2018-11-12 cs.LG math.OC stat.ML
VR-SGD: A Simple Stochastic Variance Reduction Method for Machine Learning
Xidian University（西安电子科技大学）；The Chinese University of Hong Kong（香港中文大学）；University of Technology Sydney（悉尼科技大学）；Nanjing University（南京大学）；University of Sydney（悉尼大学）
在本文中，我们提出了一个简单的变种，原来的SVRG，称为方差减少随机梯度下降（VR-SGD）。与SVRG及其邻近变体Prox-SVRG中的快照和起始点的选择不同，VR-SGD的两个向量分别设置为前一个历元的平均值和最后一个历元。这些设置允许我们使用更大的学习率，也使我们的收敛分析更具挑战性。我们还分别为光滑和非光滑目标函数设计了两种不同的更新规则，这意味着VR-SGD可以直接处理非光滑和/或非强凸问题，而无需任何约简技术。此外，我们还分析了VR-SGD在强凸问题上的收敛性，证明了VR-SGD具有线性收敛性。不同于其同行，没有收敛保证的非强凸问题，我们还提供了这种情况下的VR-SGD的收敛保证，并实证验证了VR-SGD与不同的学习率达到类似的性能，其动量加速的变种，具有最佳的收敛速度$\mathcal{O}(1/T^2)$。最后，我们应用VR-SGD解决各种机器学习问题，如凸和非凸经验风险最小化，和领先的特征值计算。实验结果表明，VR-SGD的收敛速度明显快于SVRG和Prox-SVRG，并且通常优于最先进的加速方法，例如，喀秋莎
2018-10-28 cs.CV cs.LG math.OC
Improved Analysis and Rates for Variance Reduction under Without-replacement Sampling Orders
University of Pennsylvania（宾夕法尼亚大学）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）；Tsinghua University（清华大学）
当应用随机算法时，必须选择一个顺序来抽取样本。实际的选择是无替换采样顺序，这是经验上更快，更缓存友好比均匀iid采样，但往往有较差的理论保证。无替换抽样仅适用于无方差缩减的SGD。本文改进了复合有限和最小化问题在无替换抽样序下的收敛性分析和方差缩减率。我们的结果是双重的。首先，我们开发了一个阻尼的变种，称为Prox-Dendo，并建立其收敛速度与随机重排，循环采样，洗牌一次，凸和强凸的情况下。这些速率与全批次梯度下降匹配，并且与方差缩减的无替换采样的现有结果相比是最先进的。其次，我们的分析可以衡量循环顺序将如何影响循环采样率，因此，允许我们导出最佳固定顺序。在数据高度异构的情况下，最佳循环采样的Prox-Daptto可以获得与样本大小无关的收敛速度，据我们所知，这是第一个可以与方差减少的均匀iid采样相匹配的结果。我们还提出了一个实用的方法来发现最佳的循环顺序数值。
2021-10-26 cs.LG math.OC
Stochastic Variance Reduction for Nonconvex Optimization
Carnegie Mellon University（卡内基梅隆大学）；Massachusetts Institute of Technology（麻省理工学院）
我们研究非凸有限和问题，并分析随机方差约减梯度（SVRG）方法。SVRG和相关的方法最近在凸优化中脱颖而出，因为它们比随机梯度下降（SGD）更有优势;但它们的理论分析几乎完全假设凸性。相比之下，我们证明了非渐近速度的收敛（稳定点）的SVRG非凸优化，并证明它是可证明的速度比SGD和梯度下降。我们还分析了一类非凸问题，SVRG达到线性收敛的全局最优值。我们扩展我们的分析，SVRG的小批量变体，显示（理论）线性加速，由于在并行设置中的小批量。
2016-04-04 cs.LG cs.NE math.OC
