Exploiting Activation based Gradient Output Sparsity to Accelerate Backpropagation in CNNs
The Pennsylvania State University(宾夕法尼亚州立大学)
基于机器/深度学习(ML/DL)的技术正在成为许多尖端技术背后的驱动力,实现了计算机视觉工作负载的高精度,如图像分类和目标检测。然而,训练这些涉及大参数的模型既耗时又耗能。在这方面,一些先前的工作已经提倡稀疏性来加速DL训练,更重要的是,推理阶段。这项工作开始于观察,在训练过程中,稀疏的向前和向后传递是相关的。在这种情况下,我们调查两种类型的稀疏性(输入和输出类型)固有的梯度下降为基础的优化算法,并提出了一个硬件微架构,以利用相同的。我们的实验结果在Imagenet数据集上使用了五个最先进的CNN模型,与密集基线执行相比,反向传播加速范围为1.69 $\times$至5.43 $\times$。通过在向前和向后传递中利用稀疏性,与稀疏性无关的基线执行相比,加速改进的范围从1.68 $\times$到3.30 $\times$。我们的工作还实现了训练迭代时间的显着减少,在几个以前提出的密集以及稀疏加速器为基础的平台,除了实现数量级的能源效率提高基于GPU的执行。
2021-09-16 cs.CV cs.LG
Direct l_(2,p)-Norm Learning for Feature Selection
Institute of Automation, Chinese Academy of Science(中国科学院自动化研究所)
本文提出了一种新的基于稀疏学习的特征选择方法,该方法在数据拟合约束条件下直接优化大间隔线性分类模型的l2,p范数(0 < p < 1)稀疏度,而不是将稀疏度作为正则项.针对0<p<1时非光滑非凸的直接稀疏优化问题,通过在每一步迭代中将其转化为凸光滑优化问题,给出了一种有效的迭代算法,并证明了算法的收敛性.该算法已被评估的基础上公开可用的数据集,广泛的比较实验表明,我们的算法可以实现特征选择性能竞争的最先进的算法。
2015-04-02 cs.CV cs.LG
Efficient Relaxed Gradient Support Pursuit for Sparsity Constrained Non-convex Optimization
Key Laboratory of Intelligent Perception and Image Understanding of Ministry of Education(教育部智能感知与图像理解重点实验室);School of Artificial Intelligence, Xidian University(西安电子科技大学人工智能学院);Department of Computer Science, The University of Texas at Austin(德克萨斯大学奥斯汀分校计算机科学系)
大规模非凸稀疏约束问题近年来得到了广泛的关注。大多数现有的确定性优化方法(例如,GraSP)不适用于大规模和高维问题,因此具有硬阈值的随机优化方法(例如,#21453;变得更有吸引力。受GraSP算法的启发,提出了一种新的广义松弛梯度支持追踪算法框架(RGraSP),该框架中的子算法只需满足松弛下降条件。我们还设计了两个具体的半随机梯度硬阈值算法。特别地,我们的算法具有比SVRGHT少得多的硬阈值操作,并且它们的平均每次迭代成本低得多(即,O(d)vs. O(d log(d))for SVRGHT),这导致更快的收敛。我们在合成数据集和真实数据集上的实验结果表明,我们的算法优于最先进的梯度硬阈值方法。
2019-12-02 cs.CV cs.LG math.OC
On Unbalanced Optimal Transport: Gradient Methods, Sparsity and Approximation Error
Massachusetts Institute of Technology(麻省理工学院);Georgia Institute of Technology(佐治亚理工学院);IBM Research(IBM研究院)
本文针对非平衡最优传输(UOT)问题提出了一种基于梯度外推的新颖算法(GEM-UOT),证明了其优于传统 Sinkhorn 求解器的稀疏性与复杂度优势,并提供了 UOT 与 OT 间近似误差的新刻画及 OT 检索方法。
2024-01-08 cs.LG math.OC
$\ell_0$ Regularized Structured Sparsity Convolutional Neural Networks
University of California, Irvine(加州大学欧文分校);Whittier College(惠蒂尔学院);Qualcomm AI(高通人工智能)
加深和加宽卷积神经网络(CNN)通过分别增加更多的卷积层和每层的特征图来显著增加可训练权重参数的数量。通过在训练过程中对层的权重施加组间和组内稀疏性,可以获得精度与密集网络相当的压缩网络。在本文中,我们提出了一个新的变种稀疏组套索,混合$\ell_0$规范到个人的权重参数和$\ell_{2,1}$规范到一个层的输出通道。为了解决$\ell_0$范数的不可微性,我们应用变量分裂,从而产生一种算法,该算法包括执行随机梯度下降,然后对每次迭代进行硬阈值处理。分别在MNIST和CIFAR 10/100的LeNet-5和宽残差网络上进行了数值实验。他们展示了我们提出的方法在实现卓越的测试精度与网络稀疏化与当前最先进的水平。
2019-12-17 cs.CV cs.LG
Projection-Free Functional Constrained Optimization for Risk Aversion and Sparsity Control
H. Milton Stewart School of Industrial and Systems Engineering, Georgia Institute of Technology(赫尔曼·米利顿·斯图尔特工业与系统工程学院,佐治亚理工学院);College of Management of Technology, EPFL(技术管理学院,苏黎世联邦理工学院)
本文提出无投影方法解决函数约束优化问题,针对凸和非凸目标,提出LCG和IPP-LCG方法,展示了迭代复杂度并验证了在投资组合选择和IMRT中的稀疏性与风险平衡。
2026-05-09 cs.LG math.OC
Screening for Sparse Online Learning
Institute of Natural Sciences(自然科学研究院);Shanghai Jiao Tong University(上海交通大学);University of Bath(巴斯大学)
稀疏促进正则化器被广泛用于将低复杂度结构(例如,稀疏性的l1范数)强加给监督学习的回归系数。在确定性优化领域中,由迭代算法(如近似梯度下降)生成的序列表现出“有限活性识别”,即它们可以在有限次数的迭代中识别低复杂度结构。然而,大多数在线算法(如近端随机梯度下降)不具有的性质,由于消失的步长和非零的方差。本文结合一个筛选规则,给出了如何剔除在线算法产生的迭代中的无用特征,从而实现有限活动识别。一个结果是,当与任何收敛的在线算法相结合时,可以利用正则化器施加的稀疏性来获得计算增益。在数值上,可以获得显著的加速度。
2022-11-11 cs.LG math.OC
An Accelerated Doubly Stochastic Gradient Method with Faster Explicit Model Identification
University of Pittsburgh(匹兹堡大学);MBZUAI(穆罕默德·本·扎耶德人工智能大学)
针对稀疏正则化损失最小化问题,提出加速双随机梯度下降(ADSGD)方法,通过消除非活动系数实现显式模型识别,理论证明线性收敛与识别速率,实验验证其高效性。
2022-08-11 cs.LG stat.ML
First-Order Sparse Convex Optimization: Better Rates with Sparse Updates
本文提出通过稀疏更新实现一阶方法在稀疏最优解下的线性收敛速度,提升运行效率并简化实现。
2026-03-19 cs.LG math.OC
Accelerating Sinkhorn Algorithm with Sparse Newton Iterations
Stanford University(斯坦福大学);Amazon(亚马逊)
本文提出 Sinkhorn-Newton-Sparse(SNS),通过提前停止矩阵缩放并引入稀疏 Hessian 的 Newton 型第二阶段,在保持每轮 $O(n^2)$ 复杂度的同时显著加快最优传输求解。
2024-01-20 cs.LG math.OC stat.ML
Exploring Structural Sparsity of Deep Networks via Inverse Scale Spaces
Fudan University(复旦大学);Zhejiang Normal University(浙江师范大学);Jiangxi Normal University(江西师范大学);Hong Kong University of Science and Technology(香港科技大学)
深度神经网络的巨大成功是建立在其过度参数化的基础上的,这在不降低泛化能力的情况下平滑了优化景观。尽管过度参数化有好处,但大量的参数使得深度网络在日常生活应用中变得繁琐。尽管开发了修剪和蒸馏等技术,但它们作为后向选择方法在完全训练密集网络时成本很高,并且仍然缺乏系统地探索用于学习深度网络结构稀疏性的前向选择方法。为了填补这一空白,本文提出了一种新的方法,基于反尺度空间的微分包含,通过耦合一对参数,沿着动力学生成一系列从简单到复杂的模型,从而可以同时探索过参数化的深层模型及其结构稀疏性。这种差分包含方案具有简单的离散化,称为深度结构分裂线性化Bregman迭代(DessiLBI),其在学习深度网络时的全局收敛性可以在Kurdyka-Lojasiewicz框架下建立。实验证据表明,我们的方法在探索基准数据集上几个广泛使用的骨干的稀疏结构时,实现了与竞争性优化器相当甚至更好的性能。值得注意的是,通过早期停止,我们的方法在早期阶段揭示了“中奖门票”:有效的稀疏网络结构,其测试精度与完全训练的过度参数化模型相当,可进一步转移到类似的替代任务。此外,我们的方法能够有效地增长网络与自适应滤波器配置,表现出良好的性能,少得多的计算成本。代码和模型可以从{https://github.com/DessiLBI2020/DessiLBI}下载。
2022-04-21 cs.LG math.DS math.OC
Screening for a Reweighted Penalized Conditional Gradient Method
Stony Brook University(石溪大学);INRIA-Paris(法国国家信息与自动化研究所巴黎分部)
条件梯度法(CGM)是一种广泛应用于大规模稀疏凸优化的方法,它具有构造稀疏正则化算子的低迭代计算量和收集非零值的贪婪方法。我们探讨了稀疏获取属性的一般惩罚CGM(P-CGM)的凸正则化和一个重新加权的惩罚CGM(RP-CGM)的非凸正则化,取代通常的凸约束规范启发的处罚。这种泛化不会显著增加每次迭代的复杂性。没有假设有界迭代或使用线搜索,我们显示$O(1/t)$收敛的间隙的每个子问题,它的措施距离一个固定点。我们将其与在凸情况下安全的筛选规则相结合,以$O(1/(δ^2))$的速率收敛到真正的支持,其中$δ\geq 0$测量问题与退化的接近程度。在非凸情形下,筛选规则在有限次迭代中收敛到真支撑,但在中间迭代中不一定是安全的。在我们的实验中,我们验证了该方法的一致性,并通过调整正则化器的宽度来调整筛选规则的积极性。
2021-07-02 cs.LG math.OC
StructADMM: A Systematic, High-Efficiency Framework of Structured Weight Pruning for DNNs
Bar-Ilan University(巴伊兰大学)
DNN的权重修剪方法已被证明可以在不损失准确性的情况下实现良好的模型修剪率,从而减轻大规模DNN的显著计算/存储要求。提出了结构化权重修剪方法,以克服不规则网络结构的限制,并展示了实际的GPU加速。然而,在先前的工作中,修剪率(稀疏度)和GPU加速是有限的(小于50%)时,需要保持准确性。在这项工作中,我们通过提出一个统一的,系统的DNN结构化权重修剪框架来克服这些限制。它是一个框架,可用于诱导不同类型的结构化稀疏性,例如滤波器稀疏性、通道稀疏性和形状稀疏性,以及非结构化稀疏性。该框架将随机梯度下降与ADMM相结合,可以理解为一种动态正则化方法,其中正则化目标在每次迭代中解析更新。在不损失AlexNet模型准确性的情况下,我们在两个GPU上实现了2.58倍和3.65倍的平均测量加速,明显优于之前的工作。当允许2%的适度精度损失时,平均加速比达到3.15倍和8.52倍。在这种情况下,卷积层的模型压缩是15.0倍,对应于11.93倍的测量CPU加速。我们在ResNet模型和其他数据集(如UCF 101和CIFAR-10)上的实验证明了我们的框架具有更高的性能。
2019-03-27 cs.CV cs.LG cs.NE
Sparse Generalized Canonical Correlation Analysis: Distributed Alternating Iteration based Approach
Shanghai Jiao Tong University(上海交通大学);University of Southampton(南安普顿大学)
稀疏典型相关分析(CCA)是一种有用的统计工具,用于检测具有稀疏结构的潜在信息。然而,稀疏CCA仅适用于两个数据集,即,只有两个视图或两个不同的对象。为了克服这一局限性,本文提出了一种稀疏广义典型相关分析(GCCA),它可以检测具有稀疏结构的多视图数据的潜在关系。此外,引入的稀疏性可以被认为是典型变量的拉普拉斯先验。具体来说,我们将GCCA转换成一个线性方程组,并施加$\ell_1$最小化惩罚稀疏追求。这导致Stiefel流形上的非凸问题,这是很难解决的。受Boyd一致性问题的启发,提出了一种基于分布式交替迭代的算法,并在较弱的条件下详细研究了算法的理论一致性分析。在多个人工数据集和真实数据集上的实验证明了该算法的有效性。
2020-04-23 cs.LG stat.ML
Estimation Network Design framework for efficient distributed optimization
ETH Zürich(苏黎世联邦理工学院);TU Delft(代尔夫特理工大学)
本文将END框架应用于分布式优化,通过利用问题稀疏性改进ADMM等算法,在保证收敛性的同时显著提升效率并降低通信与内存开销。
2024-04-23 cs.DC cs.LG cs.MA
Scaling Up Differentially Private LASSO Regularized Logistic Regression via Faster Frank-Wolfe Iterations
Booz Allen Hamilton(博兹艾伦汉密尔顿公司)
本文针对稀疏输入数据上的差分隐私回归训练问题,提出一种能感知稀疏性的 Frank-Wolfe 算法,显著降低 LASSO 正则化逻辑回归的训练时间,最高可加速 2200 倍。
2023-10-30 cs.LG stat.CO stat.ML
$S^{2}$-LBI: Stochastic Split Linearized Bregman Iterations for Parsimonious Deep Learning
Fudan University(复旦大学);Peking University(北京大学);Hong Kong University of Science and Technology(香港科技大学)
本文提出了一种新的随机分裂线性化Bregman迭代($S^{2}$ -LBI)算法来有效地训练深度网络。$S^{2}$ -LBI引入了具有结构稀疏性的迭代正则化路径。我们的$S^{2}$ -LBI结合了LBI的计算效率,以及学习结构稀疏性的模型选择一致性。从理论上讲,这得益于我们的$S^{2}$ -LBI算法的动力学特性。在MNIST和CIFAR-10数据集上的实验结果验证了我们的$S^{2}$ -LBI。例如,在MNIST中,我们可以使用仅1.5K参数(1个卷积层,5个过滤器和1个FC层)来提升网络,达到98.40%的识别准确率;或者我们简化LeNet-5网络中的参数$82.5\%$,仍然达到98.47%的识别准确率。此外,我们还有ImageNet上的学习结果,将添加到我们的下一个版本的报告中。
2019-04-24 cs.CV cs.LG stat.ML
Proximal Iteration for Nonlinear Adaptive Lasso
University of Massachusetts, Amherst(马萨诸塞大学阿默斯特分校);Georgetown University(乔治城大学)
针对$\u2113_1$惩罚的偏差问题与Adaptive Lasso惩罚系数设置难题,提出将惩罚系数作为额外决策变量、以最大后验方式学习的近端梯度联合优化方法,可诱导任意稀疏结构,在非高斯回归及两个真实非线性案例中表现出速度与精度竞争力。
2024-12-07 cs.LG stat.ML
Stochastic Iterative Hard Thresholding for Graph-structured Sparsity Optimization
SUNY at Albany(纽约州立大学奥尔巴尼分校)
随机优化算法以较低的每次迭代成本连续更新模型,这使得它们适合大规模数据分析。这种算法已经被广泛研究用于结构化稀疏模型,其中稀疏信息是非常具体的,例如,凸稀疏诱导范数或$\ell^0$ -范数。然而,这些规范不能直接应用于复杂的(非凸)图结构稀疏模型的问题,这在疾病爆发和社交网络等有重要的应用。在本文中,我们提出了一种基于随机梯度的方法来解决图结构稀疏约束问题,不限于最小二乘损失。我们证明了我们的算法具有线性收敛到一个常数的错误,这是竞争对手在批量学习设置。我们进行了大量的实验,以显示所提出的算法的效率和有效性。
2019-05-09 cs.AI cs.LG stat.ML
Stochastic Variance-Reduced Iterative Hard Thresholding in Graph Sparsity Optimization
Texas A&M University(德克萨斯农工大学)
针对复杂非凸图稀疏模型,本文提出两种基于随机方差缩减梯度的优化方法GraphSVRG-IHT和GraphSCSG-IHT,并构建理论框架证明其具有线性收敛速度。
2024-07-24 cs.AI cs.LG stat.ML
Split Bregman Method for Sparse Inverse Covariance Estimation with Matrix Iteration Acceleration
University of California, Irvine(加利福尼亚大学欧文分校);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
我们考虑通过最大化似然函数来估计逆协方差矩阵的问题,并增加惩罚以鼓励所得矩阵的稀疏性。提出了一种基于分裂Bregman方法的正则化极大似然估计问题的新方法。我们表明,我们的方法是显着快于广泛使用的图形套索方法,这是基于块坐标下降,人工和真实世界的数据。更重要的是,与图套索不同,基于分裂Bregman的方法更一般,并且可以应用于除了$\ell_1$范数之外的一类正则化项
2010-12-23 cs.LG stat.ML
Variance Reduction with Sparse Gradients
University of California, Berkeley(加州大学伯克利分校);Stanford University(斯坦福大学)
诸如SVRG和SpiderBoost之类的方差减小方法使用大批量梯度和小批量梯度的混合来减小随机梯度的方差。与SGD相比,这些方法每次更新模型参数所需的操作次数至少是SGD的两倍。为了减少这些方法的计算成本,我们引入了一个新的稀疏算子:随机顶k算子。我们的运营商降低了计算复杂性通过估计梯度稀疏性表现在各种应用程序相结合的top-k算子和随机坐标下降算子。使用此运算符,大批量梯度提供了方差减少之外的额外好处:梯度稀疏性的可靠估计。从理论上讲,我们的算法至少和最好的算法(SpiderBoost)一样好,并且在随机前k算子捕获梯度稀疏性时,性能更好。从经验上讲,我们的算法在各种任务上使用各种模型,包括图像分类,自然语言处理和稀疏矩阵分解,始终优于SpiderBoost。我们还通过一个简单的梯度熵计算提供了经验证据来支持我们算法背后的直觉,该计算用于在每次迭代时量化梯度稀疏性。
2020-01-27 cs.LG stat.ML
Sparsity Meets Robustness: Channel Pruning for the Feynman-Kac Formalism Principled Robust Deep Neural Nets
University of California, Irvine(加州大学欧文分校);University of California, Los Angeles(加州大学洛杉矶分校)
深度神经网络(DNN)压缩对于适应移动设备至关重要。虽然存在许多成功的算法来压缩自然训练的DNN,但为健壮训练的DNN开发高效和稳定的压缩算法仍然是一个很大的问题。在本文中,我们专注于高效DNN压缩算法和稀疏神经架构的协同设计,以实现鲁棒和准确的深度学习。这样的协同设计使我们能够推进同时容纳稀疏性和鲁棒性的目标。考虑到这一目标,我们利用基于松弛增广拉格朗日的算法来修剪结构化和非结构化级别上的对抗训练DNN的权重。使用Feynman-Kac形式主义原则的鲁棒和稀疏DNN,我们可以将对抗训练的ResNet 20的信道稀疏度至少提高一倍用于CIFAR 10分类,同时将自然准确率提高$8.69$ \%,并将IFGSM攻击的基准$20$迭代下的鲁棒准确率提高$5.42$ \%。代码可在\url{https://github.com/BaoWangMath/rvsm-rgsm-admm}上获得。
2020-03-02 cs.AI cs.LG stat.ML
Network Pruning via Annealing and Direct Sparsity Control
Florida State University(佛罗里达州立大学)
人工神经网络(ANN)尤其是深度卷积网络目前非常流行,并且已被证明成功地为许多视觉问题提供了非常可靠的解决方案。然而,深度神经网络的使用受到其密集的计算和存储成本的广泛阻碍。在本文中,我们提出了一种新的有效的网络修剪方法,适用于非结构化和结构化的通道级修剪。我们提出的方法收紧稀疏性约束,逐渐删除网络参数或过滤器通道的基础上的标准和时间表。网络大小在整个迭代过程中不断下降的吸引人的事实使其适合于修剪任何未经训练或预先训练的网络。因为我们的方法使用$L_0$约束而不是$L_1$惩罚,所以它不会在训练参数或滤波器通道中引入任何偏差。此外,$L_0$约束使得在网络修剪过程中容易直接指定期望的稀疏水平。最后,在大量的合成和真实视觉数据集上进行了实验验证,结果表明,与其他现有的网络剪枝方法相比,该方法具有更好的性能。
2020-07-27 cs.LG cs.NE stat.ML
Modified Frank-Wolfe Algorithm for Enhanced Sparsity in Support Vector Machine Classifiers
Universidad Autónoma de Madrid(马德里自治大学);KU Leuven(鲁汶大学)
本文提出了一种新的训练加权L2支持向量机(SVM)的算法,该算法的灵感来自Candès等人的加权Lasso算法和Jaggi最近提出的Lasso和SVM之间的等价性。特别地,每个训练向量所需的余量被独立地设置,从而定义新的加权SVM模型。这些权重被选择为二进制的,并且它们在模型的训练期间自动适应,导致Frank-Wolfe优化算法的变体,其具有与原始算法基本相同的计算复杂性。如实验所示,该算法在计算上更便宜,因为它需要更少的迭代来收敛,并且它产生的模型在支持向量方面具有更稀疏的表示,并且相对于正则化超参数的选择更稳定。
2018-04-13 cs.AI cs.LG stat.ML
Boosting with Structural Sparsity: A Differential Inclusion Approach
作为梯度下降算法的提升是机器学习中的一种流行方法。本文提出了一种新的Boosting型算法的基础上限制梯度下降与结构稀疏控制,其潜在的动力学是由微分包含。特别是,我们提出了一个迭代正则化路径与结构稀疏的参数是稀疏的一些线性变换下,基于变量分裂和线性化Bregman迭代。因此,它被称为\emph{Split LBI}。尽管它的简单,分裂LBI优于流行的广义Lasso在理论和实验。提出了路径一致性理论,通过适当的提前停止,使得Split LBI在一组不可表示条件下可以达到模型选择一致性,这组不可表示条件比广义Lasso的充分必要条件弱.此外,还给出了在极小极大最优速率下的$\ell_2$误差界.该算法的效用和好处说明了几个应用程序,包括图像去噪,偏序排名的运动队,和世界大学分组与众包排名数据。
2017-04-16 stat.ML
Efficient Algorithm for Extremely Large Multi-task Regression with Massive Structured Sparsity
我们开发了一种高度可扩展的优化方法,称为“分层组阈值”,用于解决多任务回归模型的输入和输出空间上具有复杂的结构稀疏约束。尽管最近出现了几种有效的优化算法来处理复杂的稀疏诱导正则化器,但在实际的高维问题中,需要强制执行的(数百万个)稀疏模式仍然是一个公开的挑战,因为所有现有的算法必须在每次迭代中穷尽地处理所有这样的模式,这在计算上是禁止的。我们提出的算法解决了可扩展性问题,同时和系统地筛选出多组系数。我们采用层次树表示的组约束,以加快的过程中去除不相关的约束,利用组稀疏性之间的包含关系,从而避免在每个优化步骤中处理所有的约束,并需要优化操作只有少数优秀的系数。在我们的实验中,我们证明了我们的方法在模拟数据集上的效率,并在检测与基因表达性状相关的遗传变异的应用中。
2012-08-15 q-bio.QM stat.ML
Second-Order Stochastic Optimization for Machine Learning in Linear Time
Princeton University(普林斯顿大学)
一阶随机方法是大规模机器学习优化中最先进的方法,因为它具有高效的迭代复杂度。二阶方法,虽然能够提供更快的收敛,但由于计算二阶信息的高成本,已经很少被探索。在本文中,我们开发了二阶随机方法,用于机器学习中的优化问题,该方法与基于梯度的方法的每次迭代成本相匹配,并且在某些设置中,改进了流行的一阶方法的整体运行时间。此外,我们的算法具有所需的属性是可实现的时间线性的稀疏输入数据。
2017-11-30 cs.LG stat.ML
Structured Sparsity via Alternating Direction Methods
Columbia University(哥伦比亚大学)
我们考虑一类稀疏学习问题,在高维特征空间正则化的结构稀疏诱导规范,其中包括先验知识的组结构的功能。由于正则化项的非光滑性和不可分离性,这类问题常常对优化算法提出相当大的挑战。在本文中,我们专注于两个常用的稀疏诱导正则化项,重叠组Lasso惩罚$l_1/l_2$ -范数和$l_1/l_\infty$ -范数。我们提出了一个统一的框架,基于增广拉格朗日方法,在此框架下,这两种类型的正则化及其变体的问题可以有效地解决。作为该框架的核心构建块,我们开发了新的算法,使用交替的部分线性化/分裂技术,我们证明了这些算法的加速版本需要$O(\frac{1}{\sqrtε})$迭代,以获得$ε$ -最优解。为了证明我们的算法的效率和相关性,我们在一组数据集上进行了测试,并将其应用于两个现实问题,以比较两种规范的相对优点。
2011-12-15 cs.AI math.OC stat.ML
Iterative Hard Thresholding with Adaptive Regularization: Sparser Solutions Without Sacrificing Runtime
MIT(麻省理工学院);Yahoo! Research(雅虎研究院)
我们提出了一个简单的修改迭代硬阈值(IHT)算法,恢复渐近稀疏的解决方案作为条件数的函数。当目标是最小化凸函数$f(x)$,条件数$κ$服从$x$是$s$ -稀疏向量时,标准IHT保证是具有松弛稀疏性$O(sκ^2)$的解,而我们提出的算法正则化IHT返回具有稀疏性$O(sκ)$的解。我们的算法显着提高了ARHT也找到了稀疏$O(sκ)$的解决方案,因为它不需要在每次迭代中重新优化(因此更快),是确定性的,不需要最佳解值$f(x^*)$或最佳稀疏水平$s$的知识。我们的主要技术工具是一个自适应正则化框架,其中算法逐步学习$\ell_2$正则化项的权重,这将允许收敛到稀疏的解决方案。我们还将此框架应用于低秩优化,在那里我们实现了类似的改善,从$κ^2$到$κ$的最知名的条件数依赖。
2022-04-11 cs.DS cs.IT cs.LG
Sparse online variational Bayesian regression
这项工作认为变分贝叶斯推断作为一个廉价的和可扩展的替代方案,完全贝叶斯方法的背景下,稀疏促进先验。特别是,考虑的先验产生的正态分布与广义逆高斯混合分布的尺度混合。这包括变分贝叶斯LASSO作为[65]中引入的贝叶斯LASSO的廉价且可扩展的替代方案。它还包括一个家庭的先验更强烈地促进稀疏。对于线性模型,该方法只需要迭代求解确定性最小二乘问题。此外,对于p个未知协变量,该方法可以精确地在线实现,每次迭代的计算成本为$O(p^3)$,存储器成本为$O(p^2)$-换句话说,每次迭代的成本与n无关,并且原则上可以考虑无限的数据。对于大的$p$的近似是能够实现有希望的结果,每次迭代的成本$O(p)$,在计算和存储器。超参数调整的策略也被认为是。该方法是实现真实和模拟数据。结果表明,性能的变量选择和不确定性量化的变贝叶斯LASSO可以媲美贝叶斯LASSO的问题,这是易于处理的方法,并为一小部分的成本。本方法在膝上型计算机上在不到30分钟内舒适地处理$n = 65536$、$p = 131073$,并且在一夜之间处理$n = 10^5$、$p = 2.1 \times 10^6$。
2021-12-22 cs.NA math.NA math.OC
Online AUC Optimization for Sparse High-Dimensional Datasets
Stony Brook University(石溪大学);University at Albany(奥尔巴尼大学)
ROC曲线下面积(Area Under the ROC Curve,AUC)是一种广泛应用于高维稀疏数据丰富的应用领域的不平衡分类性能指标。在这种情况下,每个$d$维度样本仅具有具有$k \ll d$的$k$非零特征,并且数据以流形式顺序到达。当前的在线AUC优化算法具有高的每次迭代成本$\mathcal{O}(d)$,并且通常产生非稀疏解,因此不适合处理上述数据挑战。本文针对在线学习环境下高维稀疏数据集的AUC值直接优化问题,提出了一种新的算法\textsc{FTRL-AUC}。我们提出的算法可以处理数据在一个在线的方式与一个更便宜的每次迭代成本$\mathcal{O}(k)$,使其适合高维稀疏流数据分析。我们的新算法设计关键取决于一个新的重新制定的U-统计AUC目标函数的经验鞍点重新制定,并创新地引入了“懒惰更新”规则,使每次迭代的复杂性显着降低从$\mathcal{O}(d)$到$\mathcal{O}(k)$。此外,\textsc{FTRL-AUC}可以通过应用广义的FTRL框架来更有效地捕获稀疏性。在真实数据集上的实验表明,与最先进的方法相比,\textsc{FTRL-AUC}显着提高了运行时间和模型稀疏性,同时获得了有竞争力的AUC分数。与逻辑损失的在线学习方法的比较表明,\textsc{FTRL-AUC}实现了更高的AUC分数,特别是当数据集不平衡时。
2020-09-23 cs.AI cs.LG stat.ML
Fair principal component analysis (PCA): minorization-maximization algorithms for Fair PCA, Fair Robust PCA and Fair Sparse PCA
本文提出基于极小化-最大化方法的迭代算法解决公平PCA问题,并扩展至公平鲁棒PCA和公平稀疏PCA,算法高效且无需超参数,实验验证优于现有方法。
2023-05-10 eess.SP stat.ML
Sparse Principal Component Analysis via Rotation and Truncation
Zhejiang University(浙江大学)
稀疏主成分分析(Sparse PCA)的目的是寻找一个稀疏基,以提高PCA稠密基的可解释性,同时稀疏基应尽可能覆盖数据子空间。与现有的大多数工作通过在PCA的各个目标上添加一些稀疏性惩罚来处理这个问题相比,在本文中,我们提出了一种新的方法SPCArt,其动机是找到一个旋转矩阵和一个稀疏基,使得稀疏基近似旋转后的PCA基。SPCArt算法由三个交替的步骤组成:旋转PCA基,截断小条目,更新旋转矩阵。并给出了其性能界。SPCArt是高效的,每次迭代都与数据维度线性缩放。由于其明确的物理解释,在SPCArt中选择参数很容易。此外,我们给出了一个统一的看法,现有的几种稀疏PCA方法,并讨论了与SPCArt的联系。将SPCArt中的一些思想推广到GPower算法中,克服了GPower算法的不足。实验结果表明,SPCArt达到了最先进的性能。它还实现了一个很好的折衷之间的各种标准,包括稀疏性,解释方差,正交性,负载之间的稀疏性的平衡,和计算速度。
2014-05-01 cs.CV cs.LG stat.ML
In-network Sparsity-regularized Rank Minimization: Algorithms and Applications
给定来自低秩矩阵加上已知脂肪压缩矩阵乘以稀疏矩阵的乘积的叠加的有限数量的条目,低秩和稀疏分量的恢复是包含压缩感测、矩阵完成和主分量追踪的基本任务。本文提出了分布式稀疏正则秩最小化网络的算法,当核和$\ell_1$ -范数分别作为代理的秩和非零项计数的寻求矩阵,分别。虽然核范数最小化在集中式处理可行时具有有据可查的优点,但奇异值和的不可分离性对其分布式最小化提出了挑战。为了克服这一限制,核范数的另一种表征,通过交替方向的乘法器的方法,导致一个可分离的,但非凸的成本最小化。新的分布式迭代需要降低每个节点的任务的复杂性,并负担得起的单跳邻居之间的消息传递。有趣的是,在收敛时,分布式(非凸)估计可证明达到其集中式对应的全局最优,而不管初始化。几个应用领域的概述,以突出建议的框架的一般性和影响。这些包括揭示骨干网络中的流量异常,预测网络范围内的路径延迟,以及使用无线认知无线电来映射RF环境。模拟合成和真实的网络数据证实了新的分布式算法的收敛性,其集中的性能保证。
2012-03-07 cs.IT cs.MA cs.NI
Sparse Quadratic Optimisation over the Stiefel Manifold with Application to Permutation Synchronisation
TU Munich(慕尼黑工业大学);University of Bonn(波恩大学);Halmstad University(哈尔姆斯塔德大学)
我们解决的非凸优化问题找到一个稀疏矩阵的Stiefel流形(矩阵相互正交列的单位长度),最大化(或最小化)的二次目标函数。Stiefel流形上的优化问题例如出现在各种组合问题的谱松弛中,例如图匹配、聚类或置换同步。虽然稀疏性是一个理想的属性,在这样的设置,它主要是忽略了频谱公式,因为现有的求解器,例如,基于特征值分解,无法考虑稀疏性,同时保持全局最优性的保证。我们填补了这一空白,并提出了一个简单而有效的稀疏促进修改的正交迭代算法找到一个矩阵的主导特征空间。通过这样做,我们可以保证我们的方法找到相对于二次目标函数全局最优的Stiefel矩阵,同时另外是稀疏的。作为一个激励性的应用,我们考虑置换同步的任务,这可以被理解为一个约束聚类问题,在计算机视觉、计算机图形学等领域中,它与匹配多个图像或3D形状特别相关。我们证明,所提出的方法优于以前的方法在这一领域。
2021-09-30 cs.CV cs.LG math.OC
Learning a Latent Simplex in Input-Sparsity Time
Carnegie Mellon University(卡内基梅隆大学);Indian Institute of Science(印度科学研究所);Microsoft Research India(微软印度研究院)
我们考虑的问题,学习潜在的$k$ -顶点单纯形$K\subset\mathbb{R}^d$,访问$A\in\mathbb{R}^{d\times n}$,这可以被看作是一个数据矩阵与$n$点,通过随机扰动单$K$(潜在的超越$K$)中的潜在点。一大类潜在变量模型,如对抗聚类,混合隶属度随机块模型和主题模型,可以转换为学习一个潜在的单纯形。Bhattacharyya和Kannan(SODA,2020)给出了一种学习这种潜在单纯形的算法,大致为$O(k\cdot\textrm{nnz}(A))$,其中$\textrm{nnz}(A)$是$A$中非零的数量。我们表明,依赖于$k$在运行时间是不必要的给定一个自然的假设的质量的顶部$k$奇异值的$A$,这在许多这些应用程序。此外,我们证明了这个假设是必要的,否则学习潜在单纯形的算法将意味着谱低秩近似的算法突破。Bhattacharyya和Kannan提出了一种自适应算法,它使$k$矩阵-向量积查询成为$A$,每个查询都是它之前所有查询的函数,由于每个矩阵-向量积都需要$\textrm{nnz}(A)$时间,因此它们的总运行时间是不可避免的。相反,我们得到一个低秩近似$A$在输入稀疏时间,并表明,这样得到的列空间有小的$\sinΘ$(角)距离右顶部- $k$奇异空间的$A$。我们的算法,然后选择$k$点的低秩子空间与$k$精心选择的随机向量的…
2021-05-17 cs.DS cs.LG stat.ML