Variance Reduction with Sparse Gradients
University of California, Berkeley(加州大学伯克利分校);Stanford University(斯坦福大学)
诸如SVRG和SpiderBoost之类的方差减小方法使用大批量梯度和小批量梯度的混合来减小随机梯度的方差。与SGD相比,这些方法每次更新模型参数所需的操作次数至少是SGD的两倍。为了减少这些方法的计算成本,我们引入了一个新的稀疏算子:随机顶k算子。我们的运营商降低了计算复杂性通过估计梯度稀疏性表现在各种应用程序相结合的top-k算子和随机坐标下降算子。使用此运算符,大批量梯度提供了方差减少之外的额外好处:梯度稀疏性的可靠估计。从理论上讲,我们的算法至少和最好的算法(SpiderBoost)一样好,并且在随机前k算子捕获梯度稀疏性时,性能更好。从经验上讲,我们的算法在各种任务上使用各种模型,包括图像分类,自然语言处理和稀疏矩阵分解,始终优于SpiderBoost。我们还通过一个简单的梯度熵计算提供了经验证据来支持我们算法背后的直觉,该计算用于在每次迭代时量化梯度稀疏性。
2020-01-27 cs.LG stat.ML
Nonconvex Sparse Learning via Stochastic Optimization with Progressive Variance Reduction
University of Minnesota Twin Cities(明尼苏达大学双城分校);Johns Hopkins University(约翰斯·霍普金斯大学);Northwestern University(西北大学)
针对基数约束下的稀疏学习问题,提出了一种随机方差缩减优化算法。充分条件下,该算法具有很强的线性收敛保证和最佳的估计精度在高维。我们进一步扩展所提出的算法的异步并行变种与近线性加速比。数值实验表明,我们的算法在参数估计和计算性能方面的效率。
2017-12-23 cs.LG math.OC stat.ML
Learning sparse gradients for variable selection and dimension reduction
University of California, Irvine(加州大学欧文分校)
变量选择和降维是两种常用的高维数据分析方法,但传统上被分开处理。在这里,我们提出了一个集成的方法,称为稀疏梯度学习(SGL),变量选择和降维通过学习梯度的预测函数直接从样本。通过对梯度施加稀疏约束,通过选择对应于非零偏导数的变量来实现变量选择,并且基于导出的稀疏经验梯度协方差阵的特征向量来提取有效维度。给出了误差分析的估计梯度收敛到真正的欧氏和流形设置。我们还开发了一个有效的前向-后向分裂算法来解决SGL问题,使得该框架实际上可扩展到中型或大型数据集。明确给出了SGL在变量选择和特征提取方面的实用性,并通过人工数据和真实世界的示例进行了说明。我们的方法的主要优点包括变量选择的线性和非线性预测,有效的降维与稀疏加载,和一个有效的算法,大p,小n的问题。
2010-07-01 cs.LG stat.ME stat.ML
Variable noise and dimensionality reduction for sparse Gaussian processes
稀疏伪输入高斯过程(SPGP)是一种新的逼近方法,用于在数据点数目N较大的情况下加速GP回归。该近似由M个“伪输入”的小集合的梯度优化控制,从而将复杂度从N^3降低到NM ^2。SPGP的一个局限性是,这种优化空间变得不切实际的高维数据集大。本文通过执行自动降维来解决这个限制。输入空间到低维空间的投影是以监督的方式学习的,与伪输入一起,伪输入现在存在于这个缩减的空间中。本文还研究了适合的SPGP建模数据与输入相关的噪声。对模型进行了进一步的扩展,使其在这方面更加强大-我们为每个伪输入学习一个不确定性参数。稀疏性、降维和依赖于输入的噪声的组合使得将GP应用于比以前实际的更大和更复杂的数据集成为可能。我们证明了这些方法在几个合成和现实世界的问题的好处。
2012-06-27 cs.LG stat.ML
Sparse Reduced-Rank Regression for Simultaneous Rank and Variable Selection via Manifold Optimization
The University of Electro-Communications(电气通信大学)
针对高真实秩下降秩回归系数估计失效的问题,提出基于稀疏正则化与流形优化的同时秩与变量选择算法,实现准确估计并验证有效性。
2019-11-01 cs.LG stat.ME stat.ML
Simultaneous Grouping and Denoising via Sparse Convex Wavelet Clustering
University of Florida Informatics Institute(佛罗里达大学信息学研究所);Rice University(莱斯大学)
聚类是数据科学和信号处理中普遍存在的问题。在我们观察噪声信号的许多应用中,通常的做法是首先对数据进行降噪,可能使用小波降噪,然后应用聚类算法。在本文中,我们开发了一种稀疏凸小波聚类方法,同时去噪和发现群体。我们的方法利用凸融合的罚款,以实现凝聚和组稀疏的罚款去噪,通过稀疏在小波域。与通常的去噪然后聚类的做法相反,我们的方法是一个统一的,凸的方法,同时执行。我们的方法产生去噪(小波稀疏)聚类质心,既提高了可解释性和数据压缩。我们证明了我们的方法在合成的例子和NMR光谱的应用。
2021-03-04 cs.LG eess.SP stat.ME
Hierarchical Data Reduction and Learning
Tufts University(塔夫茨大学)
本文描述了一种用于生成多变量数据集稀疏表示的分层学习策略。层次结构产生于近似空间考虑在连续更细的尺度。与近似的误差泛函的稳定性,收敛性和行为的详细分析,以及一组精心挑选的应用程序。结果表明,该方法作为合成(单变量和多变量)和真实数据集(地理空间和数值模型结果)的数据减少机制的性能。所产生的稀疏表示有效地重建数据,并最大限度地减少预测误差。
2019-10-22 cs.LG stat.ML
Simultaneous Block-Sparse Signal Recovery Using Pattern-Coupled Sparse Bayesian Learning
University of Electronic Science and Technology of China(电子科技大学);China Academy of Engineering Physics(中国工程物理研究院)
在本文中,我们考虑块稀疏信号恢复问题的背景下,多个测量向量(MMV)与共同的行稀疏模式。我们开发了一种新的方法来恢复常见的行稀疏MMV信号,其中模式耦合的分层高斯先验模型被引入到共同的行稀疏MMV信号的系数的块稀疏性和相邻系数之间的统计依赖性的特征。与许多其他方法不同,该方法能够自动捕获未知信号的块稀疏结构。我们的方法是使用期望最大化(EM)的框架。仿真结果表明,该方法在恢复块稀疏共行稀疏模式MMV信号时具有较好的性能。
2017-11-06 cs.IT cs.LG eess.SP
NP-Hardness and Inapproximability of Sparse PCA
RPI(伦斯勒理工学院)
我们从{ \sc clique}给出了一个约简,证明了稀疏PCA是NP难的。减少有一个差距,我们用来排除稀疏PCA的FPTAS(除非P=NP)。在较弱的复杂性假设下,我们也排除了多项式常数因子近似算法。
2015-02-20 cs.CC cs.DS cs.LG
Simultaneous Safe Screening of Features and Samples in Doubly Sparse Modeling
学习稀疏模型的问题在概念上被解释为识别活动特征/样本,然后优化模型的过程。最近引入的安全筛选允许我们识别部分非活动特征/样本。到目前为止,安全筛选已被单独研究,无论是特征筛选或样本筛选。在本文中,我们介绍了一种新的方法,安全筛选功能和样本同时交替迭代功能和样本筛选步骤。同时考虑它们而不是单独考虑它们的显著优点是它们具有协同效应,在这个意义上,先前安全特征筛选的结果可以用于改善下一个安全样本筛选性能,反之亦然。我们首先从理论上研究了协同效应,然后通过针对具有大量特征和样本的问题进行密集的数值实验来说明其实际优势。
2016-02-08 stat.ML
Recovery of simultaneous low rank and two-way sparse coefficient matrices, a nonconvex approach
我们研究的问题的恢复矩阵,同时低秩和行和/或列稀疏。这种矩阵最近出现在认知神经科学、成像、计算机视觉、宏观经济学和遗传学中。我们提出了一个GDT(梯度下降与硬保持)算法,有效地恢复矩阵的结构,通过最小化一个双凸函数的非凸约束。我们证明了GDT得到的迭代线性收敛到最优解的统计误差范围内的一个区域。作为我们的方法的应用,我们考虑多任务学习问题,并表明GDT获得的统计错误率是接近最优的最小化率相比。实验表明,竞争力的性能和更快的运行速度相比,现有的方法,在模拟和真实数据集。
2019-04-10 stat.ML
Federated Sufficient Dimension Reduction Through High-Dimensional Sparse Sliced Inverse Regression
University of Science and Technology of China(中国科学技术大学);Quzhou University(衢州学院)
联邦学习已经成为当今大数据时代的流行工具。它基于来自不同客户端的数据训练集中式模型,同时保持数据分散。本文首次提出了一种联邦稀疏切片逆回归算法。我们的方法可以同时估计中央降维子空间,并在联邦设置进行变量选择。通过安全、无损地构造协方差阵,将联合高维稀疏切片逆回归问题转化为凸优化问题。然后,我们使用一个线性化的交替方向方法的乘子算法估计的中心子空间。给出了确定中心子空间维数和算法超参数的贝叶斯信息准则和保持验证方法。我们建立了一个上界的统计误差率的估计下的异质设置。我们证明了我们的方法的有效性,通过模拟和现实世界中的应用。
2023-01-23 cs.LG math.ST stat.ML
Learning from Incomplete Features by Simultaneous Training of Neural Networks and Sparse Coding
RIKEN(理化学研究所);Instituto Argentino de Radioastronomía, CONICET-CCT La Plata / CIC-PBA / UNLP(阿根廷射电天文研究所,CONICET-拉普拉塔科技中心 / 布宜诺斯艾利斯省科学调查委员会 / 拉普拉塔国立大学);Southeast University(东南大学);University of Vic - Central University of Catalonia(维克大学-加泰罗尼亚中央大学)
在本文中,训练一个分类器上的数据集与不完整的功能的问题。我们假设每个数据实例都有不同的特征子集(随机或结构化)。这种情况通常发生在应用程序中,即不是为每个数据样本收集所有特征时。开发了一种新的监督学习方法来训练通用分类器,例如逻辑回归或深度神经网络,仅使用每个样本的特征子集,同时假设未知字典上的数据向量的稀疏表示。充分的条件被识别,使得如果有可能在不完整的观察上训练分类器,使得它们的重建被超平面很好地分离,则相同的分类器也正确地分离原始(未观察到的)数据样本。在合成数据集和知名数据集上的大量仿真结果验证了我们的理论研究结果,并与传统的数据插补方法和一种最先进的算法相比,证明了所提出的方法的有效性。
2021-04-17 cs.LG stat.ML
Simultaneous Identification of Sparse Structures and Communities in Heterogeneous Graphical Models
Shanghai Center for Mathematical Sciences, Fudan University(复旦大学上海数学中心);Columbia University(哥伦比亚大学)
该研究在高斯图模型框架下提出将图结构分解为稀疏部分与低秩非重叠社区的新方法,构建三阶段估计算法,给出理论保障,实验及股票数据应用验证了其在图结构估计与社区识别上的优越性。
2024-05-16 cs.LG stat.ML
Optimal Average-Case Reductions to Sparse PCA: From Weak Assumptions to Strong Hardness
Massachusetts Institute of Technology(麻省理工学院)
在过去的十年中,稀疏主成分分析已经成为一个典型的问题,说明计算的权衡。这一趋势在很大程度上是由一系列研究驱动的,这些研究旨在通过从种植集团(PC)猜想的减少来表征稀疏PCA的平均情况复杂度-这表明没有多项式时间算法来检测$\mathcal{G}(N, \frac{1}{2})$中$K = o(N^{1/2})$大小的种植集团。所有以前的减少稀疏PCA要么没有显示出紧密的计算下限匹配现有的算法或显示出较低的界限,制定稀疏PCA以外的规范生成模型,尖峰协方差模型。而且,这些下界都随着PC猜想中的指数而迅速退化。具体地说,当仅给定PC猜想直到$K = o(N^α)$,其中$α< 1/2$时,不存在这些下界保持紧密的稀疏水平$k$。如果$α\le 1/3$,这些减少甚至不能显示在任何稀疏度$k$的计算-计算折衷的存在。我们从PC产生的第一个完整的表征的计算障碍的尖峰协方差模型,在所有的稀疏$k$提供严格的下限减少。我们还显示了令人惊讶的结果,较弱形式的PC猜想集团大小$K = o(N^α)$为任何给定的$α\in (0, 1/2]$意味着紧密的计算下界稀疏PCA稀疏$k = o(n^{α/3})$。这表明,即使是最知名的多项式时间稀疏PCA算法所需的信号强度的轻微改善也意味着PC的硬度阈值是次多项式。这是第一个次优硬度假设的例子,暗示了无监督学习中另一个问题的最优下限。
2019-02-20 cs.CC cs.LG math.PR
Simultaneous Sparse Dictionary Learning and Pruning
字典学习是图像处理的前沿领域,最近在许多信号处理任务中取得了最先进的成果。这个想法是使用学习的几个原子对信号进行线性分解,通常是过度完成的字典,而不是预定义的基础。确定合适的待学习字典的大小对于该过程的精度和效率都是至关重要的,而大多数现有的字典学习算法选择的大小相当任意。在本文中,一种新的正则化方法称为分组平滑裁剪绝对偏差(GSCAD)的学习字典。该方法可以同时学习稀疏字典和选择合适的字典大小。基于交替方向乘子法(ADMM)将带非凸罚函数的联合非凸优化问题分解为两个凸优化问题,设计了一种高效的求解算法。给出了几个图像去噪的例子,并将实验结果与其他最先进的方法进行了比较。
2016-05-25 stat.ML
Estimation of Simultaneously Sparse and Low Rank Matrices
ENS Cachan(卡尚高等师范学院);mercis(1000mercis公司);Ecole Centrale Paris(巴黎中央理工学院)
本文提出一种凸混合惩罚方法,同时使用ℓ1范数和迹范数,以估计同时稀疏和低秩的矩阵,并推导了预言不等式和链接预测的泛化误差界,通过近端下降算法高效求解。
2012-06-27 cs.DS cs.LG cs.NA
Dimensionality reduction for click-through rate prediction: Dense versus sparse representation
Adform ApS(Adform公司);Technical University of Denmark(丹麦技术大学)
在在线广告中,展示广告越来越多地基于实时拍卖来投放,其中获胜的广告客户可以投放广告。这就是所谓的实时竞价(RTB)。在RTB中,拍卖有非常严格的时间限制,大约为100 ms。因此,用于智能出价的机制(诸如点击率预测)需要足够快。在这项工作中,我们建议使用降维的用户-网站交互图,以产生简化的功能,用户和网站,可用作预测的点击率。我们证明了无限关系模型(Infinite Relational Model,缩写为RRM)作为降维方法,提供了与传统降维方案相当的预测性能,同时实现了最经济的功能使用和运行时最快的计算。对于实时竞价等应用,快速的数据库I/O和少量的计算是成功的关键,因此我们建议使用基于特征的预测器来利用二分图的推荐效果。
2014-05-13 cs.LG stat.AP stat.ME
Sparse quadratic classification rules via linear dimension reduction
本文研究了具有不等协方差阵的两组样本之间的高维分类问题。而不是估计完整的二次判别规则,我们建议同时进行变量选择和线性降维的原始数据,随后应用二次判别分析的减少空间。与二次判别分析相比,所提出的框架不需要估计精度矩阵,并且随着测量次数线性扩展,这使得它在高维数据集上的使用特别有吸引力。我们支持的方法与理论保证变量选择的一致性,并与竞争的方法进行实证比较。我们将该方法应用于乳腺癌患者的基因表达数据,并证实了ESR1基因在区分雌激素受体状态中的重要性。
2018-01-16 stat.ME stat.ML
A Distributed Hierarchical SGD Algorithm with Sparse Global Reduction
Georgia Institute of Technology(佐治亚理工学院);IBM Thomas J. Watson Research Center(IBM托马斯·J·沃森研究中心)
在分布式平台上训练大规模机器学习应用时,减少通信仍然是一个很大的挑战。为了解决这个问题,我们提出了一个分布式分层平均随机梯度下降(Hier-AVG)算法,通过引入局部约简,减少了全局约简。作为一种通用的并行SGD,Hier-AVG可以通过调整参数来复制几种流行的同步并行SGD变体。我们表明,Hier-AVG与不频繁的全球减少仍然可以达到标准的收敛速度为非凸优化问题。此外,我们还表明,更多参与者参与的更频繁的局部平均可以导致更快的训练收敛。通过比较Hier-AVG与另一种流行的分布式训练算法K-AVG,我们表明,通过部署局部平均与更少的全局平均,Hier-AVG仍然可以达到相当的训练速度,同时经常得到更好的测试精度。这表明,局部平均可以作为一种替代的补救措施,以有效地减少通信开销时,学习者的数量是大的。Hier-AVG在CIFAR-10和IMAGENET-1 K上使用几种最先进的深度神经网络进行实验,以验证我们的分析并显示其优越性。
2019-09-09 cs.DC cs.LG math.OC
Sparse Group Lasso: Optimal Sample Complexity, Convergence Rate, and Statistical Inference
University of Pennsylvania(宾夕法尼亚大学);Duke University(杜克大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
我们研究了高维双稀疏线性回归的稀疏群Lasso,其中感兴趣的参数同时是元素和群稀疏的。这个问题是同时结构化模型的一个重要实例,同时结构化模型是统计学和机器学习中一个积极研究的课题。在无噪声的情况下,匹配的上界和下界的样本复杂度分别建立了稀疏向量的精确恢复和近似稀疏向量的稳定估计。在有噪声的情况下,估计误差的上限和匹配的极大极小下界。我们还考虑了去偏稀疏群Lasso,并研究了它的渐近性质,以便进行统计推断。最后,数值研究提供了支持的理论结果。
2022-05-07 cs.LG math.ST stat.ML
A Nonlinear Dimensionality Reduction Framework Using Smooth Geodesics
Worcester Polytechnic Institute(伍斯特理工学院);Clarkson University(克拉克森大学)
现有的降维方法善于揭示隐藏的底层流形所产生的高维数据,从而产生一个低维的表示。然而,由经典技术在稀疏和噪声数据上产生的流形的平滑性是不能保证的。事实上,使用这些数据生成的嵌入可能会扭曲流形的几何形状,从而产生不忠实的嵌入。在这里,我们提出了一个非线性降维的框架,生成一个流形上的光滑测地线,旨在处理问题,其中流形测量是稀疏的或被噪声破坏。我们的方法生成一个网络结构,给定的高维数据使用最近邻搜索,然后产生分段线性最短路径被定义为测地线。然后,我们拟合点在每个测地线光滑样条强调的光滑性。通过在合成数据集和真实数据集上实施该方法,证明了该方法对稀疏和噪声数据集的鲁棒性。
2018-07-13 cs.CV cs.LG math.DS
Dimensionality reduction with subgaussian matrices: a unified theory
我们提出了一个理论,欧几里德降维与亚高斯矩阵,统一了几个限制等距属性和约翰逊-林登施特劳斯型的结果,以前获得的特定数据集。特别是,我们恢复,并在几种情况下,提高结果集的稀疏和结构稀疏向量,低秩矩阵和张量,光滑流形。此外,我们建立了一个新的Johnson-Lindenstrauss嵌入的数据集的形式的Hilbert空间的子空间的无限联盟。
2014-02-17 cs.DS cs.IT math.IT
Toward a unified theory of sparse dimensionality reduction in Euclidean space
令$Φ\in\mathbb{R}^{m\times n}$为稀疏Johnson-Lindenstrauss变换[KN 14],每列具有$s$非零值。对于一个子集$T$的单位球,$\varepsilon\in(0,1/2)$给定的,我们研究设置$m,s$需要确保$$ \mathop{\mathbb{E}}_Φ\sup_{x\in T} \left|\|Φx\|_2^2 - 1 \right| < \varepsilon , $$,即,使$Φ$保持规范的每个$x\in T$同时和乘法高达$1+\varepsilon$。我们引入了一个新的复杂性参数,这取决于几何的$T$,并表明,它足以选择$s$和$m$,使这个参数是小的。我们的结果是Gordon定理的一个稀疏模拟,Gordon定理涉及的是具有i.i.d.的稠密$Φ$。高斯项。我们定性地统一了几个结果相关的约翰逊-林登施特劳斯引理,子空间嵌入,和基于傅立叶的限制等距。我们的工作也意味着新的结果,在使用稀疏约翰逊-林登施特劳斯变换在数值线性代数,经典和基于模型的压缩传感,流形学习,约束最小二乘问题,如拉索。
2015-08-25 cs.CG cs.DS cs.IT
Bayesian Sparse Tucker Models for Dimension Reduction and Tensor Completion
RIKEN Brain Science Institute(理化学研究所脑科学研究所);Shanghai Jiao Tong University(上海交通大学)
本文提出一种概率生成Tucker模型,通过结构稀疏性在多线性潜在空间中实现张量降维与补全,自动适应模型复杂度并提升泛化性能。
2015-05-10 cs.LG cs.NA math.NA
Linear Dimensionality Reduction in Linear Time: Johnson-Lindenstrauss-type Guarantees for Random Subspace
我们考虑的问题,有效的随机降维与范数保持保证。具体来说,我们证明了数据相关的约翰逊-林登施特劳斯型几何保存保证何的随机子空间方法:当数据满足一个温和的规则性条件-的程度可以估计从数据采样-然后随机子空间近似保持欧几里得几何的数据具有很高的概率。我们的保证是相同的顺序为随机投影,即所需的尺寸投影是对数的数据点的数量,但有一个较大的常数项的界限,这取决于这种规律性。一个具有挑战性的情况是,当原始数据有一个稀疏的表示,因为这意味着一个非常大的投影维数是必需的:我们展示了这种情况如何可以改善稀疏的二进制数据通过应用一个有效的“致密化”预处理,既不改变欧几里德几何的数据,也不需要一个明确的矩阵矩阵乘法。我们证实了我们的理论研究结果与密集和稀疏的高维数据集从几个应用领域的实验。
2017-05-18 stat.ML
Simultaneously sparse and low-rank abundance matrix estimation for hyperspectral image unmixing
National Observatory of Athens(雅典国家天文台)
在处理逆问题的大量应用中,例如在图像处理、社交网络、压缩感测、生物数据处理等中,已知感兴趣的信号同时以几种方式构造。这一前提最近引导研究的创新和有意义的想法施加多重约束的参数所涉及的问题正在研究中。例如,当处理其参数形成稀疏和低秩矩阵的问题时,采用施加稀疏性和低秩的适当组合的约束,预期会产生显著增强的估计结果。在本文中,我们解决的光谱分解问题,在高光谱图像。具体而言,两种新的解混算法的介绍,试图利用空间相关性和稀疏表示的像素躺在均匀区域的高光谱图像。为此,首先定义了一种新的凸混合惩罚项,其由对应于由滑动方窗确定的图像的小区域的丰度矩阵的加权$\ell_1$和加权核范数的和组成。这个惩罚项,然后使用常规的二次成本函数,并同时施加稀疏性和行秩的丰度矩阵。得到的正则化成本函数最小化a)增量近端稀疏和低秩解混算法和b)基于交替最小化乘法器(ADMM)的算法。在模拟和真实数据上进行的实验表明,所提出的算法的有效性。
2015-10-14 cs.CV math.OC stat.ML
A sequential reduction method for inference in generalized linear mixed models
广义线性混合模型参数的似然性涉及一个可能具有很高维数的积分。由于这种棘手性,已经提出了许多近似的可能性,但当模型稀疏时,所有这些都可能失败,因为每个随机效应只有少量的信息可用。本文所述的序贯约简方法利用了随机效应的后验分布的相关性结构,从而大大降低了在具有稀疏结构的模型中找到精确近似似然的成本。
2014-08-29 stat.CO stat.ME stat.ML
Reducibility and Statistical-Computational Gaps from Secret Leakage
Massachusetts Institute of Technology(麻省理工学院)
在现代统计学、计算机科学和统计物理学中,具有约束的计算间隙的推理问题是普遍存在的。虽然已经成功地证明了这些差距的失败,限制类的算法,进展到一个更传统的减少为基础的方法,计算复杂性的统计推断已受到限制。现有的减少在很大程度上被限制到推理问题与类似的结构-主要是映射问题表示为一个稀疏的子矩阵信号加上噪声矩阵,这是类似的常见的硬度假设种植集团。在这项工作中的见解是,种植集团猜想的轻微概括-秘密泄漏种植集团-引起了各种新的平均情况下减少技术,产生一个网络的减少之间的问题非常不同的结构。使用特定形式的秘密泄漏种植集团的种植集团猜想的变体,我们推导出各种问题的紧密计算-计算权衡,包括鲁棒稀疏均值估计,稀疏线性回归的混合,鲁棒稀疏线性回归,张量PCA,稠密$k$ -块随机块模型的变体,负相关稀疏PCA,半随机种植稠密子图,隐藏分区模型中的检测和学习稀疏混合的普适性原则。特别是,一个$k$ -partite超图变体的种植集团猜想是足以建立我们所有的计算下界。我们的技术还揭示了新的连接到组合设计和随机矩阵理论。这项工作给出了第一个证据,一套扩大的硬度假设,如秘密泄漏种植集团,可能是一个关键的第一步,更完整的理论减少统计问题。
2020-06-28 cs.CC cs.LG math.PR
A refined convergence analysis of pDCA$_e$ with applications to simultaneous sparse recovery and outlier detection
We consider the problem of minimizing a difference-of-convex (DC) function, which can be written as the sum of a smooth convex function with Lipschitz gradient, a proper closed convex function and a continuous possibly nonsmooth concave function . We refine the convergence analysis in [38] for the proximal DC algorithm with extrapolation (pDCA $_e$ ) and show that the whole sequence generated by the algorithm is convergent when the objective is level-bounded, { \em without} imposing differentiability assumptions in the concave part. Our analysis is based on a new potential function and we assu…
2018-04-19 math.OC stat.ML
Simultaneous sparse estimation of canonical vectors in the p>>N setting
本文研究了线性判别分析中当采用$p\gg N$时典型向量的稀疏估计问题。在文献中已经提出了几种方法,估计一个典型的向量,在两组的情况下。然而,如果组的数目是$G$,则可以考虑$G-1$规范向量。在多组上下文中,通常以顺序方式估计典范向量。此外,通常需要对协方差结构进行单独的先验估计。我们提出了一种新的方法直接估计的典型向量。与现有技术相比,该方法一次估计所有典型向量,在所有向量上执行变量选择,并在变量选择和分类一致性上具有理论保证。首先,我们强调的事实是,在$N>p$设置的规范向量可以表示在一个封闭的形式,正交变换。其次,我们提出了这种形式的扩展到$p\gg N$设置,并通过使用组惩罚实现特征选择。由此产生的优化问题是凸的,可以使用块坐标下降算法来解决。该方法的实际性能进行了评估,通过模拟研究以及实际数据的应用。
2015-04-30 stat.ME stat.ML