Sparse linear regression with compressed and low-precision data via concave quadratic programming
我们考虑的问题，从压缩的线性测量数据时，被破坏的量化噪声的k-稀疏向量的恢复。当测量的数目不是足够大时，不同的$k$稀疏解可能存在于可行集中，并且经典的l1方法可能是不成功的。为此，我们提出了一种非凸二次规划方法，利用先验信息的大小的非零参数。这导致更有效的支持恢复。我们提供了成功恢复的充分条件和数值模拟，以说明所提出的方法的实际可行性。
2019-09-09 cs.LG math.OC stat.ML
A Mathematical Programming Approach for Integrated Multiple Linear Regression Subset Selection and Validation
多元线性回归的子集选择旨在通过选择少量解释变量来构建误差最小的回归模型。一旦建立了模型，就会进行各种统计测试和诊断，以验证模型并确定是否符合回归假设。大多数传统方法在这一步需要人为决策。例如，用户添加或删除变量，直到获得满意的模型。然而，这种试错策略不能保证一个子集，最大限度地减少了错误，同时满足所有的回归assumptions.In本文中，我们提出了一个完全自动化的多个线性回归子集的选择，集成模型的建立和验证数学规划的基础上的模型建设过程。该模型最大限度地减少了均方误差，同时确保大多数重要的回归假设得到满足。我们还提出了一个有效的约束来近似系数t检验的约束。当没有子集满足所有考虑的回归假设时，我们的模型提供了一个替代子集，满足大多数假设。计算结果表明，我们的模型产生更好的解决方案（即，满足更多的回归假设），同时保持类似的解释能力。
2020-07-26 stat.ML
Statistical consistency and asymptotic normality for high-dimensional robust M-estimators
我们研究了正则化稳健M-估计的理论性质，适用于当数据来自稀疏高维线性模型，并被重尾分布和/或离群值的附加误差和协变量污染时。我们首先在误差分布相当温和的条件下建立了惩罚回归估计的局部统计相合性的一种形式：当损失函数的导数有界且满足局部限制曲率条件时，在真实回归向量的恒定半径内的所有平稳点都以具有亚高斯误差的Lasso所享有的minimax速率收敛.当一个适当的非凸正则化的地方使用的l_1-罚款，我们表明，这样的驻点实际上是唯一的，等于当地的甲骨文解决方案与正确的支持-因此，结果渐近正态性在低维的情况下进行立即到高维设置。这对正则化非凸M-估计的效率有重要的影响，当误差是重尾的。当鲁棒回归函数和/或正则化函数是非凸的并且目标函数在局部区域外具有固定点时，我们对损失函数的局部曲率的分析对于优化也具有有用的后果。我们表明，只要一个复合梯度下降算法初始化的真实回归向量的恒定半径内，连续的迭代将以线性速度收敛到一个固定的点在局部区域内。此外，可以使用凸正则化鲁棒回归函数的全局最优值来获得合适的初始化。其结果是一个新的两步程序，使用凸M-估计，以实现一致性和非凸M-估计，以提高效率。
2015-01-01 cs.IT math.IT math.ST
Ensemble Methods for Convex Regression with Applications to Geometric Programming Based Circuit Design
Duke University（杜克大学）
本文提出集成方法（如bagging、smearing和随机划分）来改进分段线性凸回归的稳定性，并应用于基于几何规划的电路设计中的器件建模和约束近似。
2012-06-18 cs.LG cs.NA math.NA
Partial frontiers are not quantiles
本文证明部分前沿估计并非分位数，提出凸化阶-α及保序CQR/CER等替代估计量，并通过蒙特卡洛模拟和电厂数据验证其性能优劣。
2022-05-24 stat.AP stat.ME
Best subset selection in linear regression via bi-objective mixed integer linear programming
研究了在给定n个观测值的线性回归中p个特征的最佳子集的选择问题。这个问题自然包含两个目标函数，包括最小化偏差量和最小化预测因子的数量。现有的方法将问题转化为一个单目标优化问题。我们解释了现有方法的主要弱点，并克服其缺点，我们提出了一个双目标混合整数线性规划方法。计算研究表明，所提出的方法的有效性。
2018-04-21 stat.ME
Linear programming approach to nonparametric inference under shape restrictions: with an application to regression kink designs
我们开发了一种在形状约束下构建非参数回归函数置信带的新方法。该方法可以通过线性规划实现，因此在计算上具有吸引力。我们说明了我们所提出的方法与应用程序的回归折点设计（RKD）的用法。基于RKD的计量经济学分析由于非参数导数估计的收敛速度慢，经常会遇到置信区间较宽的问题。我们证明，经济模型和结构激励形状的限制，这反过来又有助于缩小置信区间的失业保险金对失业持续时间的因果关系的分析。
2021-02-12 econ.EM stat.ME
On High dimensional Poisson models with measurement error: hypothesis testing for nonlinear nonconvex optimization
The University of California, San Francisco（加州大学旧金山分校）；Tongji University（同济大学）；Syracuse University（雪城大学）
本文研究了高维协变量含有噪声的Poisson回归模型的估计和检验问题，该模型在噪声大数据分析中有着广泛的应用。校正由于协变量噪声引起的估计偏差导致非凸目标函数最小化。处理高维问题进一步导致我们增加一个顺从的惩罚项的目标函数。我们建议通过最小化惩罚目标函数来估计回归参数。我们推导了估计量的L1和L2收敛速度，并证明了变量选择的相合性。我们进一步建立了参数的任何子集的渐近正态性，其中该子集可以有无限多个组件，只要其基数增长足够慢。我们基于估计量的渐近正态性开发Wald和score检验，这允许检验子集成员的线性函数。我们研究了有限样本的性能所提出的测试广泛的模拟。最后，所提出的方法被成功地应用到阿尔茨海默病神经影像学倡议的研究，这激励了这项工作最初。
2022-12-31 cs.LG math.ST stat.TH
Partially linear additive quantile regression in ultra-high dimension
本文考虑了一个分析高维异质数据的灵活半参数分位数回归模型。该模型具有以下特点：（1）通过考虑不同的条件分位数，可以得到一个更完整的响应变量的条件分布的图片给定高维协变量。(2)在不同的分位数级别上，允许稀疏性级别不同。(3)部分线性加性结构适应非线性并避免维数灾难。(4)它对重尾分布自然具有鲁棒性。本文采用B样条基函数逼近非线性分量。我们首先研究了当非零分量事先已知且线性部分的协变量个数发散时该模型下的估计。然后，我们研究了同时变量选择和估计的非凸惩罚估计。在松弛条件下，我们得到了一类具有超高维协变量的非凸罚函数的预言性质。为了解决非光滑损失函数、非凸罚函数和非线性成分的存在等问题，我们将最近发展起来的凸差分方法与现代经验过程技术相结合.蒙特卡罗模拟和应用程序的微阵列研究表明，所提出的方法的有效性。我们还讨论了如何为一个单一的分位数的方法可以扩展到同时变量选择和估计在多个分位数。
2016-01-22 math.ST stat.TH
Stochastic First- and Zeroth-order Methods for Nonconvex Stochastic Programming
针对一类重要的非线性（可能非凸）随机规划（SP）问题，提出了一种新的随机逼近（SA）型算法，即随机化随机梯度（RSG）算法.我们建立了计算一个非线性规划问题的近似稳定点的方法的复杂性。我们还表明，这种方法具有接近最佳的收敛速率，如果问题是凸的。我们讨论了一个变体的算法，其中包括应用后优化阶段，以评估由几个独立运行的RSG方法产生的解决方案的短列表，并表明，这样的修改允许显着提高算法的大偏差属性。这些方法，然后专门解决一类基于模拟的最优化问题，其中只有随机零阶信息。
2013-09-22 cs.CC math.OC stat.ML
Generalized Uniformly Optimal Methods for Nonlinear Programming
在本文中，我们提出了一个通用的框架来扩展现有的一致最优凸规划算法，以解决更一般的非线性，可能非凸，最优化问题。其基本思想是在这些一致最优凸规划方法中加入一个局部搜索步骤（梯度下降或拟牛顿迭代），然后使计算的函数值沿轨迹单调递减.这些类型的算法将实现最佳已知的复杂性为非凸问题，和凸的最佳复杂性，而不需要任何问题参数。这样，对于一般的非线性规划问题，无论其凸性和光滑性如何，我们都可以得到统一的处理。特别是，我们表明，加速梯度和水平的方法，原来只为解决凸优化问题，可以用来解决凸和非凸问题的一致。在类似的静脉，我们表明，一些良好的研究技术非线性规划，例如，拟牛顿迭代可以嵌入到最优凸优化算法中，以进一步提高其数值性能。我们的理论和算法的发展得到了补充，一些有前途的数值结果解决了一些重要的非凸和非线性数据分析问题的文献。
2015-09-12 math.OC stat.ML
High Dimensional Multivariate Regression and Precision Matrix Estimation via Nonconvex Optimization
在稀疏性约束下，我们提出了一个联合多元回归和精度矩阵估计在高维制度的非凸估计。提出了一种基于硬阈值的梯度下降算法来求解非凸估计量，该算法在统计误差范围内线性收敛到真回归系数和精度矩阵。与现有的方法相比，沿着这条研究路线，这几乎没有理论保证，该算法不仅是计算上更有效的可证明的收敛保证，但也达到了最佳的有限样本统计率的对数因子。在合成数据集和真实数据集上进行的彻底实验支持了我们的理论。
2016-06-02 stat.ML
Nonconvex Sparse Logistic Regression with Weakly Convex Regularization
Tsinghua University（清华大学）
在这项工作中，我们提出了适合稀疏逻辑回归模型的弱凸正则化非凸优化问题。这个想法是基于这样的发现，即作为$\ell_0$伪范数的近似的弱凸函数能够比常用的$\ell_1$范数更好地诱导稀疏性。对于一类弱凸稀疏诱导函数，证明了相应稀疏Logistic回归问题的非凸性，并研究了其局部最优性条件和排除平凡解的正则化参数的选择.尽管非凸性，基于近似梯度下降的方法来解决一般弱凸稀疏逻辑回归，并从理论上研究其收敛性。然后将一般框架应用于一个具体的弱凸函数，并给出了局部最优性的一个充分必要条件。在这种情况下，作为一个迭代的坚定收缩算法的解决方案的方法实例化，其有效性在数值实验中证明了随机生成的和真实的数据集。
2017-08-07 cs.LG stat.ML
Expanded Alternating Optimization of Nonconvex Functions with Applications to Matrix Factorization and Penalized Regression
我们提出了一个通用的技术，提高交替优化（AO）的非凸函数。从AO给出的解开始，我们在子空间上进行另一系列搜索，这些子空间对手头的优化问题都有意义，并且与AO使用的子空间不同。为了证明我们的方法的实用性，我们将其应用于推荐系统的矩阵分解（MF）算法和惩罚回归（PR）的坐标下降算法，并使用真实世界（MF）和模拟（PR）数据集显示有意义的改进。此外，我们证明了MF，通过构建搜索空间定制给定的数据集，我们可以显着提高我们的技术的收敛速度。
2014-12-12 stat.CO stat.ML
Sparse Reduced Rank Regression With Nonconvex Regularization
The Hong Kong University of Science and Technology（香港科技大学）
研究了稀疏降秩回归模型的估计问题。SRRR模型被广泛应用于信号处理、计量经济学等领域的降维和变量选择。该问题的目标是最小化最小二乘损失，并考虑到正交性约束。在文献中，凸稀疏诱导函数已被用于SRRR。在这项工作中，提出了一个非凸函数更好的稀疏诱导。基于交替极小化（或投影）方法，提出了一种求解非凸优化问题的有效算法。数值仿真结果表明，该算法是更有效的基准方法相比，非凸函数可以导致更好的估计精度。
2018-03-20 cs.LG q-fin.CP stat.ME
Robust Tensor Regression with Nonconvexity: Algorithmic and Statistical Theory
Nantong University（南通大学）；Shanghai Lixin University of Accounting and Finance（上海立信会计金融学院）；City University of Hong Kong（香港城市大学）；City University of Hong Kong Shenzhen Research Institute（香港城市大学深圳研究院）
本文提出一种低管状秩鲁棒回归方法，用于分析高维张量数据中的重尾随机噪声，通过非凸松弛的张量管状秩建立优化框架，实现全局收敛并提供统计理论支持。
2026-05-08 stat.CO stat.ME stat.ML
A proximal-proximal majorization-minimization algorithm for nonconvex tuning-free robust regression problems
Zhejiang University City College（浙大城市学院）；Southwest Jiaotong University（西南交通大学）；Zhejiang University（浙江大学）
针对非凸无调谐鲁棒回归问题，提出了一种近似-近似优化-最小化（PPMM）算法。其基本思想是应用邻近优化-最小化算法求解非凸问题，内子问题采用基于稀疏半光滑牛顿法的邻近点法求解。必须强调的是，算法设计的主要困难在于如何克服内子问题的奇异性困难。此外，我们还证明了PPMM算法收敛到一个d-平稳点。由于该问题的Kurdyka-Lojasiewicz（KL）性质，我们给出了PPMM算法的收敛速度。数值实验表明，我们提出的算法优于现有的国家的最先进的算法。
2021-06-25 cs.LG cs.NA math.NA
Group descent algorithms for nonconvex penalized linear and logistic regression models with grouped predictors
惩罚回归是变量选择问题的一个有吸引力的框架。通常，变量具有分组结构，相关的选择问题是选择组，而不是单个变量。群体套索是将套索的思想扩展到群体选择问题的一种方法。SCAD和MCP等非凸罚函数已经被提出，并显示出比套索有几个优点;这些罚函数也可以扩展到组选择问题，从而产生组SCAD和组MCP方法。在这里，我们描述的算法，以适应这些模型稳定和有效。此外，我们提出了模拟结果和实际数据的例子比较和对比这些方法的统计特性。
2013-08-23 stat.CO stat.ML
A sparse semismooth Newton based proximal majorization-minimization algorithm for nonconvex square-root-loss regression problems
Zhejiang University City College（浙大城市学院）；Southwest Jiaotong University（西南交通大学）；The Hong Kong Polytechnic University（香港理工大学）；National University of Singapore（新加坡国立大学）
本文考虑高维非凸平方根损失回归问题，并提出了一种近似优化最小化算法。我们的关键思想，使建议的PMM是有效的是开发一个稀疏半光滑牛顿方法来解决相应的子问题。利用下划线问题中的Kurdyka-Schojasiewicz性质，证明了PMM算法收敛于d-平稳点.我们还分析了算法中初始子问题的预言性质。大量的数值实验证明了所提出的PMM算法的高效率。
2020-05-27 cs.LG cs.NA math.NA
A Greedy Homotopy Method for Regression with Nonconvex Constraints
约束最小二乘回归是高维数据分析的重要工具。给定一个输入变量的划分$\mathcal{G}$，本文考虑一类特殊的非凸约束函数，鼓励线性模型选择少量的变量从少量的组在$\mathcal{G}$。这种限制在许多实际应用中是相关的，例如全基因组关联研究（GWAS）。出于效率的Lasso同伦方法，我们提出RepLasso，一个贪婪的同伦算法，试图解决诱导序列的非凸问题，通过解决一系列适当适应凸代理问题。我们证明，在某些情况下，RepLasso恢复的非凸问题的全局极小。此外，即使它不恢复全局最小值，我们证明，在相关情况下，它仍然不会比套索在支持和签署支持恢复，而在实践中优于it.We经验表明，该策略也可以用来改善其他拉索式算法。最后，强直性脊柱炎的GWAS突出了我们的方法的实际效用。
2014-10-27 stat.ME stat.ML
Tight Certification of Adversarially Trained Neural Networks via Nonconvex Low-Rank Semidefinite Relaxations
University of Illinois at Urbana–Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对现有方法难以对对抗训练模型生成高质量鲁棒性认证的问题，提出基于半定规划松弛低秩限制的非凸认证技术，兼具强认证能力与低变量数优势，可在多项式时间内认证全局最优，几乎填补精确认证缺口。
2023-06-14 cs.LG math.OC stat.ML
Support recovery without incoherence: A case for nonconvex regularization
我们证明了原始-对偶见证证明方法可以用来建立变量选择的一致性和$\ell_\infty$ -界稀疏回归问题，即使当损失函数和/或正则化是非凸的。使用这种方法，我们得到两个定理的支持恢复和$\ell_\infty$ -保证的回归估计在一般设置。我们的研究结果提供了严格的理论依据使用非凸正则化：对于某些非凸正则化与消失的衍生物远离原点，支持恢复一致性可以保证，而不需要典型的不相干条件存在于$\ell_1$为基础的方法。然后，我们推导出几个推论，说明我们的方法分析复合目标函数，涉及损失，如最小二乘，非凸修正最小二乘误差变量线性回归，负对数似然广义线性模型，和图形拉索的广泛适用性。最后，我们用实证研究来证实我们的理论预测。
2014-12-17 cs.IT math.IT math.ST
DC Decomposition of Nonconvex Polynomials with Algebraic Techniques
我们把一个多元多项式的分解问题看成是两个凸多项式的差。我们介绍代数技术，减少这项任务的线性，二阶锥，半定规划。这使我们能够优化凸分解的有效差分（dcds）的子集，并找到加速凸-凹过程（CCP）的子集。然而，我们证明，在整个集的dcds优化是NP难的。
2018-09-12 cs.DS math.OC stat.ML
Data-driven Piecewise Affine Decision Rules for Stochastic Programming with Covariate Information
Department of Industrial Engineering, Tsinghua University（清华大学工业工程系）
本文提出嵌入非凸分段仿射决策规则的经验风险最小化方法，用于含协变量信息的随机规划，具有理论一致性和计算可行性，数值实验显示其成本更低、耗时更少且鲁棒性更优。
2025-09-26 cs.LG math.OC stat.ML
A Stochastic Semismooth Newton Method for Nonsmooth Nonconvex Optimization
在这项工作中，我们提出了一个全球化的随机半光滑牛顿法解决随机最优化问题，涉及光滑非凸和非光滑凸项的目标函数。我们假设只有噪声梯度和Hessian信息的光滑部分的目标函数是通过调用随机一阶和二阶预言。所提出的方法可以看作是一个混合的方法相结合的随机半光滑牛顿步骤和随机邻近梯度步骤。引入两个不精确的增长条件来监控半光滑牛顿步的收敛性和可接受性，并表明该算法全局收敛到预期的平稳点。此外，在标准假设下，利用随机矩阵浓度不等式，我们证明了该方法局部地转化为一个纯随机半光滑牛顿法，并且以高概率r-超线性收敛.我们提出的数值结果和比较$\ell_1$正则化逻辑斯谛回归和非凸二进制分类，证明了我们的算法的效率。
2018-03-09 math.OC stat.ML
A Unified Framework for Sparse Relaxed Regularized Regression: SR3
University of Washington（华盛顿大学）
正则化回归问题普遍存在于统计建模、信号处理和机器学习中。稀疏回归在科学模型发现中尤其重要，包括压缩传感应用、变量选择和高维分析。我们提出了一个广泛的框架稀疏松弛正则化回归，称为SR 3。关键思想是解决正则化问题的松弛，这与最先进的方法相比有三个优点：（1）松弛问题的解在误差、假阳性和条件方面是优越的，（2）松弛允许用于凸和非凸公式的极快算法，以及（3）该方法适用于复合正则化子，例如全变差（TV）及其非凸变体。我们证明了SR3的优势（计算效率，更高的精度，更快的收敛速度，更大的灵活性）在一系列的正则化回归问题的合成和真实的数据，包括压缩感知，LASSO，矩阵完成，电视正则化，和组稀疏的应用。为了促进可重复的研究，我们还提供了一个配套的MATLAB软件包来实现这些示例。
2018-11-08 cs.LG math.OC stat.ML
Compound Poisson Processes, Latent Shrinkage Priors and Bayesian Nonconvex Penalization
本文讨论了稀疏学习问题的贝叶斯非凸惩罚问题。我们探索了一个非参数的潜在收缩参数使用从属，这是一维的Lévy过程。我们特别研究了一族连续复合Poisson从属算子和一族离散复合Poisson从属算子。我们提出了四个具体的从属：伽玛，泊松，负二项和平方贝塞尔从属。从属子的Laplace指数是Bernstein函数，因此它们可以用作稀疏诱导非凸罚函数。我们利用这些从属回归问题，产生一个层次模型与多个正则化参数。我们设计了ECME（Expectation/Conditional Maximization Either）算法来同时估计回归系数和正则化参数。模拟数据的实证评价表明，该方法在高维数据分析中是可行和有效的。
2015-05-15 stat.ME stat.ML
The Bernstein Function: A Unifying Framework of Nonconvex Penalization in Sparse Estimation
本文利用Bernstein函数研究了非凸惩罚问题。由于Bernstein函数在原点处是凹的和非光滑的，它可以诱导出一类高维稀疏估计问题的非凸函数。我们推导了一个基于Bernstein罚的阈值函数，并给出了它在稀疏建模中的数学性质。我们表明，坐标下降算法是特别适合惩罚回归问题的伯恩斯坦罚款。此外，我们证明了Bernstein函数可以定义为一个$φ$ -发散的凹共轭，并开发了一个共轭最大化算法寻找稀疏的解决方案。最后，我们基于一个广义Gamma测度特别构造了一类Bernstein非凸罚函数，并对这类罚函数进行了实证分析。
2013-12-17 stat.ML
Optimal computational and statistical rates of convergence for sparse nonconvex learning problems
我们提供了理论分析的统计和计算性质的惩罚$M$ -估计，可以制定为一个可能的非凸优化问题的解决方案。许多重要的估计属于这一类，包括最小二乘回归与非凸正则化，广义线性模型与非凸正则化和稀疏椭圆随机设计回归。对于这些问题，由于非凸形式，计算全局解是困难的。在本文中，我们提出了一个近似正则化路径跟踪方法来解决各种非凸目标函数的学习问题。在一个统一的分析框架下，我们同时提供明确的统计和计算收敛速度的算法所获得的任何局部解。在计算上，我们的算法达到了全局几何收敛速度计算的完整的正则化路径，这是最佳的所有一阶算法。与大多数现有的方法，只达到一个单一的正则化参数的几何收敛率，我们的算法计算完整的正则化路径相同的迭代复杂度。特别地，我们提供了一个精确的迭代复杂度界，以清晰地描述正则化路径上每个阶段的性能;在统计上，我们提供了对正则化路径上所有近似局部解的精确样本复杂度分析;特别地，我们的分析通过提供一个更精确的样本复杂度界以及最终估计的精确支持度恢复结果来改进现有结果。这些结果表明，由于使用了非凸罚函数，最终的估计量获得了一个预言的统计性质。
2015-01-27 stat.ML
On Regularized Sparse Logistic Regression
Clemson University（克莱姆森大学）
本文提出统一框架求解L1正则化逻辑回归，可扩展至非凸正则项，并用新线搜索保证单调收敛，实验证明算法在二分类中高效实现分类与特征选择。
2023-10-12 cs.AI cs.LG stat.ML
Nonconvex Penalization in Sparse Estimation: An Approach Based on the Bernstein Function
本文利用一阶导数完全单调的Bernstein函数研究非凸惩罚问题。Bernstein函数可以导出一类高维稀疏估计问题的非凸罚函数。我们推导了一个基于Bernstein惩罚的阈值函数，并讨论了稀疏建模中的一些重要数学性质。我们表明，坐标下降算法是特别适合的回归问题的惩罚伯恩斯坦函数。我们还考虑了Bernstein惩罚在分类问题中的应用，并设计了一个近似交替线性化最小化方法。基于Kurdyka-Lojasiewicz不等式理论，我们对这些交替迭代过程进行了收敛性分析。我们特别构造了一类基于广义Gamma测度的Bernstein非凸罚函数，并对这类罚函数进行了实证分析.
2015-10-29 stat.ML
Block stochastic gradient iteration for convex and nonconvex optimization
Rice University（莱斯大学）；UCLA（加州大学洛杉矶分校）
随机梯度（SG）方法可以使由大量可微函数组成的目标函数最小化，或者以中等精度解决随机最优化问题。另一方面，块坐标下降/更新（BCD）方法通过一次更新一个变量来处理多个变量块的问题;当变量块单独更新比一起更新更容易时，BCD具有较低的每次迭代成本。本文介绍了一种结合SG和BCD特点的方法，用于解决目标中含有多个分量和多个（块）变量的问题。具体来说，提出了一种用于求解凸规划和非凸规划的块随机梯度（BSG）方法。在每次迭代中，BSG通过随机采样一小组数据或从目标中的和项中采样几个函数来近似目标的可微部分的梯度，然后使用这些样本，它以确定性或随机混洗顺序更新所有变量块。在不同的意义下，证明了它对凸和非凸情形的收敛性。在凸情形下，该方法具有与SG方法相同的收敛速度阶。在非凸的情况下，它的收敛性建立在一阶最优性条件的预期违反。所提出的方法进行了数值测试的问题，包括随机最小二乘和逻辑斯谛回归，这是凸的，以及低秩张量恢复和双线性逻辑斯谛回归，这是非凸的。
2015-03-02 cs.LG cs.NA math.NA
Analysis of Generalized Bregman Surrogate Algorithms for Nonsmooth Nonconvex Statistical Learning
现代统计应用通常涉及最小化可能是非光滑和/或非凸的目标函数。本文重点介绍了一个广泛的Bregman代理算法框架，包括局部线性逼近，镜像下降，迭代阈值，DC编程和许多其他作为特殊情况。通过广义Bregman函数的重新表征，使我们能够构建合适的误差措施，并建立整体收敛率的非凸和非光滑的目标，在可能的高维。对于具有复合目标的稀疏学习问题，在一定的正则性条件下，得到的估计量作为代理的不动点，虽然不一定是局部极小值，但具有可证明的统计保证，并且迭代序列可以在所需精度内几何快速地逼近统计真值.本文还研究了如何通过控制步长和松弛因子来设计自适应的基于动量的加速度，而不需要假设凸性或光滑性。
2021-12-16 math.OC math.ST stat.CO
Nonconvex sparse regularization for deep neural networks and its optimality
University of Notre Dame（圣母大学）；Seoul National University（首尔国立大学）
最近的理论研究证明，通过在一定稀疏性约束下最小化经验风险获得的深度神经网络（DNN）估计量可以获得回归和分类问题的最佳收敛速度。然而，稀疏性约束要求知道真实模型的某些属性，这在实践中是不可用的。此外，由于稀疏约束的离散性质，计算是困难的。在本文中，我们提出了一种新的惩罚估计方法稀疏DNN，解决了上述问题存在的稀疏性约束。我们建立了一个预言不等式的建议稀疏惩罚DNN估计的超额风险，并推导出几个学习任务的收敛速度。特别是，我们证明了稀疏惩罚估计可以自适应地获得各种非参数回归问题的极小极大收敛速度。对于计算，我们开发了一个有效的基于梯度的优化算法，保证单调减少的目标函数。
2021-08-09 cs.LG math.ST stat.ML
A Convergent Gradient Descent Algorithm for Rank Minimization and Semidefinite Programming from Random Linear Measurements
University of Chicago（芝加哥大学）
我们提出了一个简单的，可扩展的，快速的梯度下降算法来优化非凸目标的秩最小化问题和一个密切相关的家庭的半定程序。通过对秩为$r$、条件数为$κ$的半正定$n \times n$矩阵进行$O(r^3 κ^2 n \log n)$随机测量，保证了该方法线性收敛于全局最优解.
2016-03-24 cs.LG stat.ML
Zoetrope Genetic Programming for Regression
MyDataModels；INRIA Saclay（法国国家信息与自动化研究所萨克雷中心）
Zoetrope遗传程序设计（ZGP）算法基于数学表达式的原始表示，目标是进化符号回归。Zoetrope表示从终端集开始，在部分表达式之间进行重复融合操作。个体内部的重复融合逐渐产生更复杂的表达，最终形成可以被视为新特征的东西。然后将这些特征线性组合以最佳拟合训练数据。然后，ZGP个体经历特定的交叉和变异算子，并且在父母和后代之间进行选择。使用大量的公共领域回归数据集对ZGP进行了验证，并与其他符号回归算法以及传统的机器学习算法进行了比较。ZGP达到了最先进的性能，这两种类型的算法，并证明了较低的计算时间相比，其他符号回归方法。
2021-02-26 cs.AI cs.LG cs.NE
Matrix Completion with Nonconvex Regularization: Spectral Operators and Scalable Algorithms
在本文中，我们研究了俗称的矩阵完成问题，其中的任务是“填写”未观察到的条目的一个小的子集的观察到的条目的矩阵，假设基础矩阵是低秩的。我们在此的贡献，增强了我们先前关于矩阵完备的核范数正则化问题的工作（Mazumder等人，2010）通过在凸核范数和非凸秩函数之间引入连续的非凸罚函数。灵感来自于IMPUTE（Mazumder等人，2010; Hastie等人，2016），我们提出了NC-IMPUTE-一个EM风格的算法框架，用于计算一系列具有热启动的非凸惩罚矩阵完成问题。我们提出了一个系统的研究相关的光谱阈值算子，这在整个算法中发挥了重要作用。我们研究了算法的收敛性。使用结构化的低秩SVD计算，我们证明了我们的建议的Netflix大小的问题的计算可扩展性（大约，一个$500,000 \times 20, 000$矩阵与$10^8$观察条目）。我们证明，在广泛的合成和真实数据的情况下，我们提出的非凸正则化框架导致低秩的解决方案具有更好的预测性能相比，从核范数问题。本文提出的算法的实现，用R编程语言编写，在github上可用。
2020-03-03 stat.CO stat.ML
Canonical dual solutions to nonconvex radial basis neural network optimization problem
University of Ballarat（巴拉瑞特大学）；Australian National University（澳大利亚国立大学）
径向基函数神经网络（RBFNN）是在回归问题中广泛使用的工具。它们的主要缺点之一是，与中心和权重都有监督的训练相对应的公式是一个高度非凸的优化问题，这导致传统优化理论和方法的一些根本困难。本文提出了一个广义正则对偶理论来解决这个具有挑战性的问题。我们证明了，通过连续的正则对偶变换，RBFNN的非凸优化问题可以重新表述为一个正则对偶问题（没有对偶间隙）。全局最优解和局部极值都可以分类。最常用的径向基函数之一，高斯函数的几个应用程序，说明。结果表明，即使在一维情况下，非凸问题的全局极小值也不一定是RBFNN的最优解，而正则对偶理论是解决一般神经网络训练问题的有效工具.
2013-02-18 cs.LG cs.NE stat.ML
Nonconvex Demixing From Bilinear Measurements
ShanghaiTech University（上海科技大学）
我们考虑从有噪双线性测量之和中解混源信号序列的问题。它是一种用于盲解混和盲去卷积的广义数学模型，其在字典学习、图像处理和通信领域中普遍存在。然而，通过半定规划盲解混的最先进的凸方法对于大规模问题在计算上是不可行的。虽然现有的非凸算法能够解决缩放问题，但它们通常需要适当的正则化来建立最优性保证。额外的正则化产生繁琐的算法参数和保守步长的悲观收敛率。为了解决现有方法的局限性，因此，我们开发了一个可证明的非凸分层过程viaWirtinger流，很像香草梯度下降，利用积极的步长和计算最优性保证的正则化自由快速收敛速度的好处。这是通过利用良性的几何形状的盲分离问题，从而揭示了Wirtinger流强制在强凸性和合格的平滑度的区域中的正则化自由迭代，其中可以积极地选择步长。
2018-09-19 cs.IT cs.LG math.IT
