Minimizing Polynomials via Sum of Squares over the Gradient Ideal
这篇论文因发表已被作者撤回
2007-09-18 math.OC
Optimal Parameter Design for DIGing on Minimizing Unweighted Sum of Squares
College of Control Science and Engineering, Zhejiang University（浙江大学控制科学与工程学院）
研究分布式优化算法DIGing在最小化非加权平方和时的最优参数设计，通过将迭代算法表示为动态线性系统并分解，利用劳斯稳定性判据推导最优收敛速率及参数公式，为DIGing算法最优参数设计迈出第一步。
2026-07-29 cs.SY eess.SY math.OC
Proximal methods for minimizing the sum of a convex function and a composite function
本文将\cite{Nesterov2007a}和\cite{Nesterov2007b}中提出的算法方案推广到复合目标函数和凸函数之和的最小化问题。给出了两个邻近点型格式，并研究了它们的整体收敛性。在一定的利普希茨条件和非退化条件下，估计了最坏情况下的复杂性界.然后对算法进行加速，使其在强凸情形下具有更快的收敛速度。
2011-05-02 math.OC
On Optimal Universal First-Order Methods for Minimizing Heterogeneous Sums
本文研究异质凸函数和的最小化问题，证明Nesterov通用快速梯度法无需修改即可适配该场景，其收敛速率为各分项最优速率之和，且无需先验参数知识，还拓展至强凸等场景并给出匹配下界。
2023-06-13 math.OC
Minimizing a Sum of Clipped Convex Functions
我们考虑的问题，最小化的削减凸函数的总和，应用包括削减经验风险最小化和削减控制。虽然最小化裁剪凸函数和的问题是NP-难的，我们提出了一些近似解决这些问题的实例的算法。这些方法可以用来找到好的（如果不是全球性的）解决方案，并且在实践中似乎效果良好。我们还描述了一种替代配方，透视变换的基础上，这使得问题服从混合整数凸规划，并产生计算上易处理的下界。我们说明我们的启发式方法之一，通过将其应用到各种例子，并使用透视变换来证明的解决方案是相对接近的全局最优值。本文附有一个开源的实现。
2019-10-29 math.OC stat.ML
Dykstra splitting and an approximate proximal point algorithm for minimizing the sum of convex functions
我们表明，Dykstra的分裂投影到交集的凸集可以扩展到最小化的总和凸函数和正则二次。我们给出的条件，收敛到原始极小，使多个凸函数可以最小化的时间，凸函数不一定是在一个循环的方式进行采样，和SHQP策略的问题，涉及到一个以上的凸集的交集可以应用。当和不涉及正则化二次型时，我们讨论了一种近似邻近点方法结合Dykstra分裂来最小化这个和。
2017-09-27 math.OC
Auxiliary problem principle and inexact variable metric forward-backward algorithm for minimizing the sum of a differentiable function and a convex function
针对一类由可微函数$f$与凸函数$g$之和构成的函数的极小化问题，我们引入了下降法，它可以看作是由不精确辅助问题原理或不精确变尺度前后向算法产生的.假设全局目标函数满足Kurdyka-Lojasiewicz不等式，我们证明了所提出的算法的收敛性，削弱了前人工作中的假设.
2016-09-10 math.OC
On proximal subgradient splitting method for minimizing the sum of two nonsmooth convex functions
当目标函数为两个不可微的凸函数之和时，本文提出了一种近似前后分裂迭代法，用于求解希尔伯特空间中的非光滑最优化问题.建议的迭代，这将被称为邻近次梯度分裂方法，扩展了经典的次梯度迭代的重要类别的问题，利用添加剂结构的目标函数。在适当的假设条件下，利用不同的步长证明了所生成序列的弱收敛性。此外，我们分析了迭代的复杂性。
2016-01-12 math.OC
Approximation algorithms for coupled task scheduling minimizing the sum of completion times
本文针对单机耦合任务调度问题，以最小化总完成时间为目标，为多个NP困难变体提出常数因子近似算法，并证明两个变体的NP困难性，首次给出双目标近似结果。
2022-09-29 math.OC
Sparse SOS Relaxations for Minimizing Functions that are Summations of Small Polynomials
本文讨论了如何求小多项式（“小”意味着涉及少量变量）的和函数的全局极小值。提出了一些稀疏平方和（SOS）技术。我们比较他们的计算复杂性和下界与以前的SOS松弛。在一定的条件下，我们还讨论了如何从这些稀疏松弛中提取全局极小点。所提出的方法在求解稀疏多项式系统和非线性最小二乘问题时特别有用。数值实验表明，所提出的方法显着提高了以前的方法来解决这些问题的计算性能。最后，我们提出了应用这种稀疏技术在解决多项式系统的非线性微分方程和传感器网络定位。
2007-10-05 math.OC
Novel bi-objective optimization algorithms minimizing the max and sum of vectors of functions
我们研究了一个双目标最优化问题，对于一个给定的正实数$n$的目的是找到一个向量$X = \{x_0,\cdots,x_{k-1}\} \in \mathbb{R}^{k}_{\ge 0}$，使$\sum_{i=0}^{k-1} x_i = n$，最小化的最大值的$k$功能的目标类型一，$\max_{i=0}^{k-1} f_i(x_i)$，和$k$功能的目标类型二，$\sum_{i=0}^{k-1} g_i(x_i)$的总和。这个问题出现在高性能计算平台上的性能和能量的应用程序的优化。本文首先提出了一个算法，解决了目标类型1的函数连续且严格递增，目标类型2的函数线性递增的情形。然后，我们提出了一个算法解决的问题，其中$n$是一个正整数和所有的功能是离散的，并表示为有限集，没有假设他们的形状的版本。这两个算法都是多项式复杂度。
2022-09-06 cs.DC math.OC
Proximal Stochastic Newton-type Gradient Descent Methods for Minimizing Regularized Finite Sums
本文将Jascha \cite{sohl2014fast}和Lee \cite{lee2012proximal}最近的两个完全不同的工作分别推广和统一为一个，提出了优化两个凸函数（一个是大量光滑凸函数的平均值，另一个是非光滑凸函数）和的\textbf{prox} s \textbf{to}随机\textbf{N}牛顿型梯度（PROXTONE）方法.虽然最近提出的一组邻近随机梯度方法，包括MISO，Prox-SDCA，Prox-SVRG和SAG，以线性速率收敛，但PROXTONE包含二阶信息以获得更强的收敛结果，它不仅在目标函数的值中实现线性收敛速率，而且在\emph{solution}中也实现线性收敛速率。证明简单直观，所得结果和技巧可作为研究二阶信息近似随机方法的一个开端。
2014-10-29 math.OC
Bregman Proximal Linearized ADMM for Minimizing Separable Sums Coupled by a Difference of Functions
本文提出一种结合Bregman距离的线性化ADMM分裂算法，用于求解由函数差耦合的非凸非光滑可分离复合优化问题，并证明了其子序列及全序列收敛性，在鲁棒PCA和最优潮流问题上验证了有效性。
2024-09-30 math.OC
Incremental Subgradient Methods for Minimizing The Sum of Quasi-convex Functions
比率和问题在经济学和管理学中有着广泛的应用，但整体求解是一个困难的问题。本文考虑闭凸集上若干不可微拟凸分支函数之和的极小化问题，其中包括比和问题作为特例.拟凸分支函数的和不一定是拟凸的，因此，本文的研究超越了拟凸优化。利用和最小化问题的结构，我们提出了一种新的增量次梯度法，并研究了当使用常数、递减或动态步长规则时，在齐次假设和$p$阶的赫尔德条件下，该方法收敛于全局最优解的性质.为了节省大量分量函数的次梯度的计算代价，我们进一步提出了一种随机增量次梯度方法，在该方法中，每次迭代时只随机选择一个分量函数来构造次梯度方向.利用函数值和迭代点到概率为1的最优解集的距离，得到了收敛性。将所提出的增量次梯度方法应用于求解比率和问题以及多个Cobb-Douglas产生式的有效性问题，数值结果表明所提出的方法对于求解大比率和问题是有效的.
2017-10-17 math.OC
Stochastic DCA for minimizing a large sum of DC functions with application to Multi-class Logistic Regression
University of Lorraine（洛林大学）
本文研究了在不同领域，特别是在随机最优化和机器学习中出现的DC（Difference of Convex）函数最小化问题。提出了两种基于DCA（DC算法）的算法：随机DCA和不精确随机DCA.我们证明了这两个算法的收敛到一个临界点是有保证的概率为1。此外，我们发展我们的随机DCA解决多任务学习中的一个重要问题，即多类逻辑斯谛回归中的组变量选择。相应的随机DCA是非常便宜的，所有的计算是显式的。在多个基准数据集和合成数据集上的数值实验表明，该算法在分类精度、解的稀疏性和运行时间等方面均优于现有方法.
2019-11-10 cs.LG cs.NA math.NA
Sums of squares over totally real fields are rational sums of squares
设$K$是具有Galois闭包$L$的全实数域.我们证明了如果$f \in \mathbb Q[x_1,...,x_n]$是$K[x_1,...,x_n]$中的$m$平方和，则$f$是$\mathbb Q[x_1,...,x_n]$中的\[4m \cdot 2^{[L: \mathbb Q]+1} {[L: \mathbb Q] +1 \choose 2}\]平方和。此外，我们的论点是建设性的，并推广到交换$K$ -代数的情况。这一结果给出了部分解决Sturmfels问题的代数程度的某些半定规划问题。
2008-08-29 math.AC math.OC math.RA
Minimizing Convex Functions with Rational Minimizers
给定一个分离Oracle $\mathsf{SO}$的凸函数$f$定义的$\mathbb{R}^n$上，有一个积分极小值内的半径$R$框，我们展示了如何找到一个确切的极小值的$f$使用最多（a）$O(n (n \log \log (n)/\log (n) + \log(R)))$调用$\mathsf{SO}$和$\mathsf{poly}(n, \log(R))$算术运算，或（b）$O(n \log(nR))$调用$\mathsf{SO}$和$\exp(O(n)) \cdot \mathsf{poly}(\log(R))$算术运算。当$f$的极小元集有积分极值点时，我们的算法输出$f$的积分极小元。这改进了以前最好的预言复杂度的$O(n^2 (n + \log(R)))$多项式时间算法和$O(n^2\log(nR))$指数时间算法获得的[Grötschel，Lovász和Schrijver，Prog. Comb.Opt.1984，Springer 1988]三十多年前。我们对Grötschel，Lovász和Schrijver的结果的改进推广到$f$的极小元集是一个具有有界顶点复杂性的有理多面体的情况.对于次模函数最小化问题，我们的结果立即意味着一个强多项式算法，使最多$O(n^3 \log \log (n)/\log (n))$调用一个评估oracle，和一个指数时间算法，使最多…
2022-09-20 cs.DM cs.DS cs.IT
On the behaviour of the Douglas-Rachford algorithm for minimizing a convex function subject to a linear constraint
Douglas-Rachford算法（Douglas-Rachford algorithm）是一种功能强大的最优化方法，用于最小化两个凸（不一定光滑）函数之和。绝大多数以前的研究处理的情况下，和至少有一个极小。在最小的情况下，它最近表明，对于两个指示函数的情况下，收敛到一个最佳逼近的解决方案。本文给出了一个新的收敛性结果，该结果应用于具有线性约束的凸函数极小化问题。实际上，即使当目标函数的域和线性子空间约束没有共同点时，也可以找到正规解。作为一个重要的应用，给出了一个新的并行分裂结果。我们还说明了我们的结果，通过各种例子。
2020-07-09 math.OC
On the Complexity of Minimizing Convex Finite Sums Without Using the Indices of the Individual Functions
NYU（纽约大学）；The Hebrew University（希伯来大学）；Google Research（谷歌研究院）；Massachusetts Institute of Technology（麻省理工学院）
最小化$L$ -光滑$μ$ -强凸有限和的随机增量方法的最新进展最终导致了$\tilde{O}((n+\sqrt{n L/μ})\log(1/ε))$和$O(n+\sqrt{nL/ε})$的紧复杂性，其中$μ>0$和$μ=0$分别是$n$和$n$表示单个函数的数量。与增量方法不同，有限和的随机方法不依赖于在每次迭代中处理哪个单个函数的显式知识，因此，必须至少执行$Ω(n^2)$迭代以获得$O(1/n^2)$ -最优解。在这项工作中，我们利用有限噪声结构的有限和推导出一个匹配的$O(n^2)$ -上界下的全球预言机模型，表明这个下界确实是紧的。按照类似的方法，我们提出了一种新的适应SVRG，这是\emph{compatible with stochastic oracles}，并实现了复杂性界限的$\tilde{O}((n^2+n\sqrt{L/μ})\log(1/ε))$和$O(n\sqrt{L/ε})$，分别为$μ>0$和$μ=0$。我们的边界保持w. h. p.和匹配部分现有的下限$\tildeΩ(n^2+\sqrt{nL/μ}\log(1/ε))$和$\tildeΩ(n^2+\sqrt{nL/ε})$，分别为$μ>0$和$μ=0$。
2020-02-09 cs.LG math.OC stat.ML
Fast Alternating Linearization Methods for Minimizing the Sum of Two Convex Functions
Columbia University（哥伦比亚大学）；Lehigh University（理海大学）
提出基于交替方向增广拉格朗日方法的一阶交替线性化算法，用于最小化两个凸函数的和，基本方法需O(1/ε)次迭代达到ε-最优解，加速版本需O(1/√ε)次迭代，并给出数值结果。
2010-10-13 cs.CV cs.NA math.NA
A Stochastic Decoupling Method for Minimizing the Sum of Smooth and Non-Smooth Functions
我们考虑三个凸函数之和的最小化问题：i）期望或有限平均形式的光滑函数$f$，ii）可逼近函数$g_j$的有限平均形式的非光滑函数$g$，iii）可逼近正则化子$R$ .我们设计了一个方差减少的方法，它是能够逐步学习$g$通过计算一个单一的随机选择的功能$g_j$在每次迭代的邻近算子的邻近算子。我们的方法可以证明和有效地容纳许多策略的梯度估计的$f$，包括通过标准和方差减少随机估计，有效地解耦的光滑部分的问题，从非光滑的部分。我们证明了一些迭代复杂性的结果，包括一般的${\cal O}(1/t)$率，${\cal O}(1/t^2)$率的情况下，强凸光滑$f$，和几个线性率在特殊情况下，包括加速线性率。例如，我们的方法实现了一个线性率的问题，最小化强凸函数$f$受线性约束下没有假设的约束超出一致性。当结合SGD或SAGA估计的梯度$f$，这导致了一个非常有效的方法，经验风险最小化。我们的方法推广了几种现有的算法，包括向前向后分裂，道格拉斯-Rachford分裂，近端SGD，近端SAGA，SDCA，随机Kaczmarz和点SAGA。然而，我们的方法导致许多新的具体方法在特殊情况下，例如，我们获得的Dykstra的方法投影到闭凸集的交集的第一个随机变量。
2022-03-24 math.OC
Sum of Squares Decompositions of Polynomials over their Gradient Ideals with Rational Coefficients
通过计算{ \em非负性证书}来评估多元多项式在实数上的非负性是多项式优化中的一个热门问题。这通常通过计算{ \em平方和分解}来解决，该分解依赖于半定规划的有效数值求解器。这种方法面临两个困难。第一个问题是，以这种方式获得的证书是{ \em近似}的，然后是不精确的。第二个是由于并非所有非负多项式都是平方和。在本文中，我们建立在以前的工作Parrilo，聂，Demmel和Sturmfels谁介绍了非负模{ \em梯度理想}的证书。我们证明，实际上，这样的证书可以获得{ \em确切}，在有理数，如果考虑的多项式有合理的系数，我们提供{ \em确切}算法来计算它们。我们分析了这些算法的比特复杂度，并推导出此类证书的比特大小界限。
2021-07-25 cs.SC math.OC
A Gradient Complexity Analysis for Minimizing the Sum of Strongly Convex Functions with Varying Condition Numbers
随机梯度下降（SGD）及其变体是最小化凸函数有限和的一种流行方法。与SGD相关的基本研究问题包括：（i）为了找到总体目标的$ε$ -最小化者，必须对每个单独函数的梯度预言进行评估的次数的下限;（ii）设计保证在不超过一定次数的情况下找到期望中的总体目标的$ε$ -最小值的算法（根据$1/ε$）需要评估每个函数的梯度预言（即，上界）。如果这两个界限处于相同的数量级，则算法可以被称为最优的。大多数现有的结果沿着这条线的研究通常假设在目标中的功能共享相同的条件数。本文研究的第一个模型是极小化多个条件数不同的强凸函数之和问题。我们提出了一个SGD方法，这个模型，并表明它是最佳的梯度计算，对数因子。然后，我们考虑了一个有约束的单独块最优化模型，并提出了其梯度计算复杂度的上下界。接下来，我们提出了通过我们前面介绍的SGD来解决约束块最优化模型的Fenchel对偶，并表明它产生的迭代复杂度比通过ADMM型方法求解原始模型低。最后，我们将分析推广到一般的复合凸最优化模型，并在一定条件下得到了梯度计算复杂度的结果。
2022-08-12 math.OC
Sum-of-square-of-rational-function based representations of positive semidefinite polynomial matrices
Quy Nhon University（归仁大学）；Paris-Sud University（巴黎第十一大学）
本文证明了在某些特殊集合上半正定的多项式矩阵的基于有理函数平方和的表示（简称为基于sosrf的表示）：$\mathbb{R}^n;$ $\mathbb{R}$及其区间$[a,b]$、$[0,\infty)$ ;以及条带$[a,b] \times \mathbb{R} \subset \mathbb{R}^2.$还提供了数值计算此类表示的方法。该方法分为两个阶段：（S1）基于Schmüdgen的过程\cite{Schmudgen09}对角化初始多项式矩阵;（S2）对于所得矩阵的每个对角元素，找到满足解决Hilbert第17问题的Artin定理的低秩sosrf表示。对于每一类多项式矩阵，本文还用\textsf{OCTAVE}进行了数值试验和举例说明。
2019-03-28 cs.CL math.OC
Dual certificates and efficient rational sum-of-squares decompositions for polynomial optimization over compact sets
研究了紧半代数集上正多项式的加权平方和证书的计算问题。建立在凸优化的边界点方法的理论基础上，我们引入了对偶锥证书的概念，这使得我们能够将来自平方和锥的对偶的向量解释为WSOS多项式的严格非负性证书。传统的WSOS证书是它们所认证的多项式的替代表示，而双重证书与所认证的多项式不同;此外，每个双重证书认证WSOS多项式的全维凸锥。因此，理性的WSOS证书可以构造从数字计算的双重证书在很少的额外成本，没有任何舍入或投影步骤应用到数字证书。作为一个额外的算法应用程序，我们提出了一个几乎完全数值的混合算法，用于计算一个给定的多项式的最佳WSOS下界以及一个合理的双重证书，每次迭代的多项式时间的计算成本和线性收敛速率。
2022-05-06 math.AG math.OC
Katyusha X: Practical Momentum Method for Stochastic Sum-of-Nonconvex Optimization
Microsoft Research AI（微软研究院AI）
最小化非凸函数之和的问题（即，凸函数（即非凸函数的平均值）在机器学习中变得越来越重要，并且是PCA、SVD、正则化牛顿法、加速非凸优化等的核心机制。我们展示了如何可证明地获得一个加速的随机算法最小化的总和的非凸函数，由$\textit{adding one additional line}$著名的SVRG方法。这条线对应于动量，并显示了如何直接将动量应用于非凸函数之和的有限和随机最小化。作为一个副作用，我们的方法享有线性并行加速使用小批量。
2018-02-12 cs.DS cs.LG math.OC
Minimizing Finite Sums with the Stochastic Average Gradient
INRIA（法国国家信息与自动化研究所）；Département d’Informatique de l’École Normale Supérieure（巴黎高等师范学院计算机系）
本文提出了一种随机平均梯度（SAG）方法来优化有限个光滑凸函数的和。与随机梯度（SG）方法一样，SAG方法的迭代成本与和中的项数无关。然而，通过结合先前梯度值的存储器，SAG方法实现了比黑盒SG方法更快的收敛速度。一般来说，收敛速度从O（1/k^{1/2}）提高到O（1/k），并且当和是强凸的时，收敛速度从次线性O（1/k）提高到对于p \textless{} 1的形式为O（p^k）的线性收敛速率。此外，在许多情况下，新方法的收敛速度在梯度评估的数量方面也比黑盒确定性梯度法快。数值实验表明，新算法的性能明显优于已有的SG和确定性梯度法，并且通过采用非均匀采样策略，性能可以进一步提高。
2016-05-11 cs.LG math.OC stat.CO
A new primal-dual algorithm for minimizing the sum of three functions with a linear operator
Michigan State University（密歇根州立大学）
本文提出一种新的对偶算法，用于最小化三个函数之和及其线性算子，该算法包含经典算法为特例，证明了收敛性并具有O(1/k)的收敛率，且参数范围更广、效率更高。
2018-01-29 cs.NA math.NA math.OC
SAN: Stochastic Average Newton Algorithm for Minimizing Finite Sums
本文提出一种基于重写平稳性和子采样牛顿-拉夫森法的随机平均牛顿（SAN）算法，用于有限和优化，每次迭代仅需一个数据点，无需调参，且与SAG、SVRG等方法相比具有竞争力。
2022-03-14 cs.NA math.NA math.OC
Facial reduction for exact polynomial sum of squares decompositions
我们研究的问题分解的非负多项式作为一个确切的平方和（SOS）的情况下，相关的半定方案是可行的，但不是严格可行的（例如，如果多项式有真正的零）。通过计算原始多项式的根并应用面约简技术，我们可以代数地解决问题或限制到一个子空间，在该子空间中问题变得严格可行，并且数值逼近可以四舍五入到精确解。作为一个应用，我们研究的问题，确定什么时候可以一个合理的多项式，这是一个多项式的平方和的实系数被写为多项式的平方和的合理系数，并回答这个问题的一些以前未知的情况。首先证明了如果$f$是系数在奇数次${\mathbb Q}$的代数扩张中的两个平方和，则它总是可以分解为有理SOS.对于多于两个多项式的情况，我们提供了一个不可约多项式的例子，该不可约多项式是三个平方的和，其系数在${\mathbb Q}(\sqrt[3]{2})$中不能分解为有理SOS。
2018-10-09 math.AG math.OC
