We provide theory for the computation of convex envelopes of non-convex functionals including an l2-term, and use these to suggest a method for regularizing a more general set of problems. The applications are particularly aimed at compressed sensing and low rank recovery problems but the theory relies on results which potentially could be useful also for other types of non-convex problems. For optimization problems where the l2-term contains a singular matrix we prove that the regularizations never move the global minima. This result in turn relies on a theorem concerning the structure of convex envelopes which is interesting in its own right. It says that at any point where the convex envelope does not touch the non-convex functional we necessarily have a direction in which the convex envelope is affine.
在本文中，我们提出了一个通用的框架，允许加速几乎任意的非加速确定性和随机算法光滑凸优化问题。我们的信封的主要方法与Catalyst中的相同（Lin et al.，2015年）：加速邻近外梯度法，它被用作$\ell_2$正则化辅助问题的非加速内梯度法的包络。我们的算法有两个关键的区别：1）容易验证的停止标准的内部算法; 2）正则化参数可以调整的方式。因此，我们的工作的主要贡献是一个新的框架，适用于自适应内部算法：最速下降，自适应坐标下降，交替最小化。此外，在非自适应的情况下，我们的方法允许在没有对数因子的情况下获得催化剂，该对数因子出现在标准催化剂中（Lin等人，2015年，2018年）。
Stochastic Cubic Regularization for Fast Nonconvex Optimization
University of California, Berkeley（加州大学伯克利分校）
本文提出了一个经典算法的随机变体-正则化牛顿法[Nesterov and Polyak 2006]。该算法有效地逃脱鞍点，并找到近似的局部极小值一般光滑，非凸函数在只有$\mathcal{\tilde{O}}(ε^{-3.5})$随机梯度和随机海森向量积的评价。后者可以像随机梯度一样有效地计算。这改进了随机梯度下降的$\mathcal{\tilde{O}}(ε^{-4})$速率。我们的速度匹配最著名的结果，找到当地的最小值，而不需要任何微妙的加速或方差减少技术。
Smoothing the Edges: Smooth Optimization for Sparse Regularization using Hadamard Overparametrization
Department of Statistics, LMU Munich（慕尼黑大学统计系）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；Institute of Computational Biology, Helmholtz Munich（亥姆霍兹慕尼黑计算生物学研究所）；Center for Computational Mathematics, Flatiron Institute（熨斗研究所计算数学中心）
Department of Mathematics, College of Sciences, Shanghai University, Shanghai 200444, P.R.China（数学系，科学学院，上海大学，上海200444，中华人民共和国）；Center for Intelligent Computing, Great Bay Institute for Advanced Study, Dongguan, 523000, People's Republic of China（智能计算中心，大亚湾先进研究院，东莞，523000，中华人民共和国）
