Locally Regularized Sparse Graph by Fast Proximal Gradient Descent
Arizona State University(亚利桑那州立大学)
针对原始稀疏图忽略数据几何信息的问题,提出支持正则化稀疏图(SRSG),通过支持正则化项鼓励局部平滑,并采用快速近端梯度下降求解,实验证明其在聚类上优于其他方法。
2024-09-25 cs.LG math.OC
Nearly Minimax-Optimal Rates for Noisy Sparse Phase Retrieval via Early-Stopped Mirror Descent
University of Oxford(牛津大学)
本文研究了应用于噪声稀疏相位恢复的早期停止镜像下降法,即从一组被次指数噪声破坏的二次高斯测量中恢复出$k$ -稀疏信号$\mathbf{x}^\star\in\mathbb{R}^n$的问题。我们认为(非凸)非正则化的经验风险最小化问题,并表明,早期停止镜像下降,当配备了双曲熵镜像映射和适当的初始化,实现了近最小最大最优的收敛速度,提供的样本大小至少是为了$k^2$(模对数项)和最小(模)非零条目的信号是在$\|\mathbf{x}^\star\|_2/\sqrt{k}$的顺序。我们的理论导致一个简单的算法,不依赖于显式正则化或阈值步骤,以促进稀疏性。更一般地说,我们的研究结果建立了镜像下降和稀疏性之间的连接,在噪声稀疏相位恢复的非凸问题,增加了早期停止的文献,主要集中在非稀疏,欧几里德,和凸设置通过梯度下降。我们的证明结合了潜在的分析,镜像下降与定量控制的变分相干性,我们建立沿镜像下降的路径,直到规定的停止时间。
2021-05-08 cs.LG eess.SP stat.ML
Sparse Diffusion Steepest-Descent for One Bit Compressed Sensing in Wireless Sensor Networks
Qom University of Technology(库姆理工大学);Swinburne University of Technology(斯威本科技大学);Sharif University of Technology(谢里夫理工大学)
提出了一种基于稀疏扩散的最速下降算法,用于无线传感器网络中的一比特压缩感知。该方法利用扩散策略从分布式学习的一位压缩感知框架。为了仅从测量的符号协作地估计公共稀疏向量,使用最速下降来最小化合适的全局和局部凸代价函数。提出了稀疏向量的分布式学习扩散策略。仿真结果表明,提出的分布式算法的有效性相比,国家的最先进的非分布式算法在一位压缩感知框架。
2016-01-03 cs.IT cs.LG math.IT
Sparse Nonnegative CANDECOMP/PARAFAC Decomposition in Block Coordinate Descent Framework: A Comparison Study
Dalian University of Technology(大连理工大学)
非负CANDECOMP/PARAFAC(NCP)分解是处理非负张量的重要工具。有时,需要额外的稀疏正则化来提取有意义的非负和稀疏分量。因此,需要一种可以有效地施加稀疏性的NCP优化方法。本文利用l1-范数构造了稀疏正则化的NCP(sparse NCP)。采用块坐标下降框架中的几种常用优化方法求解稀疏NCP,并对它们进行了深入的分析,给出了数学解。我们比较这些方法的实验合成和真实的张量数据,这两个都包含三阶和四阶的情况下。通过比较,总结出计算速度快、效果好的稀疏化方法。此外,提出了一种计算稀疏NCP目标函数和相对误差的加速方法,显著提高了张量分解的计算量,尤其是高阶张量的计算量。
2018-12-27 cs.LG eess.SP stat.ML
Sparse Communication for Distributed Gradient Descent
University of Edinburgh(爱丁堡大学)
我们通过交换稀疏更新而不是密集更新来使分布式随机梯度下降更快。梯度更新是正偏态的,因为大多数更新都接近零,所以我们将99%的最小更新(按绝对值)映射到零,然后交换稀疏矩阵。这种方法可以与量化相结合,以进一步提高压缩。我们探索不同的配置,并将其应用于神经机器翻译和MNIST图像分类任务。大多数配置在MNIST上工作,而不同的配置降低了更复杂的翻译任务的收敛速度。我们的实验表明,我们可以在MNIST上实现高达49%的速度,在NMT上实现22%的速度,而不会损害最终的准确性或BLEU。
2017-07-24 cs.CL cs.DC cs.LG
On the Suboptimality of Proximal Gradient Descent for $\ell^{0}$ Sparse Approximation
Snap Research(Snap 研究院);National University of Singapore(新加坡国立大学);Microsoft Research(微软研究院);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文研究了求解$\ell^{0}$稀疏逼近问题的近似梯度下降(PGD)方法及其随机优化算法。我们首先提供PGD的理论分析,显示在弱于压缩传感文献中广泛使用的限制等距属性的条件下,PGD的次优解与$\ell^{0}$稀疏逼近问题的全局最优解之间存在有界差距。此外,我们提出了随机算法,以加速优化的PGD使用随机低秩矩阵近似(PGD-RMA)和随机降维(PGD-RDR)。我们的随机化算法大大降低了原始PGD的计算成本为$\ell^{0}$稀疏近似问题,和由此产生的次最优解仍然享有可证明的次优性,即,次最优解减少的问题仍然有界差距的全局最优解的原问题。
2017-09-05 cs.LG math.OC
A block-coordinate descent framework for non-convex composite optimization. Application to sparse precision matrix estimation
Laboratoire J.A. Dieudonné(拉格朗日J.A.迪乌多夫实验室);Université Côte d'Azur(蔚蓝海岸大学)
本文提出了一种通用的块坐标下降框架,用于解决非凸复合优化问题,并应用于稀疏精度矩阵估计,提供收敛保证和加速迭代次数。
2026-01-29 cs.LG math.OC
An iterative coordinate descent algorithm to compute sparse low-rank approximations
University Politehnica of Bucharest(布加勒斯特理工大学);University of Bucharest(布加勒斯特大学)
在本文中,我们描述了一个新的算法,建立一些稀疏的主成分从一个给定的数据矩阵。我们的方法不显式地创建数据的协方差矩阵,并且可以被视为Kogbetliantz算法的扩展,以建立几个主成分的近似奇异值分解。我们展示了所提出的算法的性能,从文献中的各种数据集上恢复稀疏主成分,并进行降维分类应用。
2021-07-30 cs.DS cs.LG cs.NA
Gradient Descent for Sparse Rank-One Matrix Completion for Crowd-Sourced Aggregation of Sparsely Interacting Workers
Boston University(波士顿大学);Google DeepMind(谷歌DeepMind)
我们考虑了单个硬币Dawid-Skene众包模型的工人技能估计。在实践中,技能估计是具有挑战性的,因为工人的分配是稀疏和不规则的,由于工人的任意和不受控制的可用性。我们制定技能估计作为一个秩一相关矩阵完成问题,其中观察到的组件对应于观察到的工人之间的标签相关性。我们表明,相关矩阵可以成功地恢复和技能是可识别的,当且仅当采样矩阵(观察到的组件)没有一个二分连接组件。然后,我们提出了一个预计的梯度下降计划,并表明技能估计收敛到所需的全局最优值,这样的采样矩阵。我们的证明是原创的,而且考虑到即使是加权一阶矩阵分解问题通常也是NP难的这一事实,结果也令人惊讶。接下来,我们推导出采样矩阵的无符号拉普拉斯算子的谱特性方面的样本复杂度界。我们提出的方案在许多现实世界的数据集上实现了最先进的性能。
2020-07-23 cs.HC cs.LG stat.ML
Quantum Algorithm for Sparse Online Learning with Truncated Gradient Descent
University of Latvia(拉脱维亚大学);National University of Singapore(新加坡国立大学);University of Edinburgh(爱丁堡大学)
本文基于截断梯度下降方法,为逻辑回归、SVM和最小二乘开发量子稀疏在线学习算法,实现维度上的二次加速并保持最优遗憾界。
2024-11-06 cs.LG quant-ph
High-Dimensional Sparse Data Low-rank Representation via Accelerated Asynchronous Parallel Stochastic Gradient Descent
College of Computer and Information Science, Southwest University(西南大学计算机与信息科学学院)
本文提出加速异步并行随机梯度下降方法A2PSGD,通过无锁调度、贪心负载均衡和Nesterov加速梯度,提升高维稀疏数据低秩表示的训练效率与准确率。
2024-08-29 cs.DC cs.LG
A Stochastic Variance-Reduced Coordinate Descent Algorithm for Learning Sparse Bayesian Network from Discrete High-Dimensional Data
K. N. Toosi University of Technology(K.N.托西理工大学);Polytechnique Montréal(蒙特利尔理工学院)
研究了从高维离散数据中学习稀疏结构贝叶斯网络的问题。与连续贝叶斯网络相比,离散贝叶斯网络的学习是一个具有挑战性的问题,由于大的参数空间。虽然已经开发了许多方法来学习连续贝叶斯网络,很少有方法已经提出了离散的。在本文中,我们解决学习贝叶斯网络作为一个优化问题,并提出了一个得分函数,保证学习的结构是一个稀疏的有向无环图。此外,我们还实现了一个分块随机坐标下降算法来优化得分函数。具体来说,我们在优化算法中使用了方差减少方法,使算法有效地处理高维数据。所提出的方法适用于合成数据从著名的基准网络。所构建的网络的质量,可扩展性和鲁棒性进行测量。与一些有竞争力的方法相比,结果表明,我们的算法优于一些众所周知的方法。
2022-09-24 cs.LG stat.ML
Manifold Gradient Descent Solves Multi-Channel Sparse Blind Deconvolution Provably and Efficiently
Carnegie Mellon University(卡内基梅隆大学)
多通道稀疏盲解卷积或卷积稀疏编码是指通过观察未知滤波器与多个稀疏输入信号的循环卷积来学习未知滤波器的问题。这个问题在信号处理、计算机视觉和逆问题中有许多应用。然而,由于观测值相对于未知滤波器和输入的双线性结构以及稀疏性约束,有效地学习滤波器是具有挑战性的。在本文中,我们提出了一种新的方法的基础上非凸优化球流形上最小化光滑代理的稀疏促进损失函数。它表明,流形梯度下降与随机初始化将可证明恢复过滤器,缩放和移位模糊,只要观察的数量是足够大的适当的随机数据模型下。数值实验表明,所提出的方法的性能与现有的比较。
2021-04-06 cs.IT cs.LG eess.SP
Sparse Training of Neural Networks based on Multilevel Mirror Descent
Institute of Mathematics(数学研究所);University of Würzburg(乌尔姆大学);Institute of Mathematics, CAIDAS University of Würzburg(数学研究所,CAIDAS乌尔姆大学)
本文提出了一种基于线性化Bregman迭代/镜像下降的动态稀疏训练算法,通过交替静态和动态稀疏模式更新来利用自然产生的稀疏性,结合稀疏诱导Bregman迭代与自适应冻结网络结构,以高效探索稀疏参数空间并保持稀疏性。通过多级优化框架保证收敛性,并实验证明该算法在标准基准上能产生高稀疏性和准确性的模型,同时在理论FLOPs数量和训练时间上均有显著提升。
2026-05-18 cs.LG cs.NA math.NA
Implicit Sparse Regularization: The Impact of Depth and Early Stopping
Texas A&M University(德克萨斯A&M大学);AWS AI;New York University(纽约大学)
本文研究了稀疏回归梯度下降算法的隐偏差问题。我们将二次参数化回归的结果(相当于深度为2的对角线性网络)扩展到更一般的深度为N的网络,在更现实的噪声和相关设计设置下。我们发现,早期停止是至关重要的梯度下降收敛到一个稀疏的模型,我们称之为隐式稀疏正则化的现象。这一结果与无噪声和不相关设计情况下的已知结果形成鲜明对比。我们表征的深度和早期停止的影响,并表明,对于一般的深度参数N,梯度下降与早期停止实现极小极大最优稀疏恢复足够小的初始化和步长。特别是,我们表明,增加深度扩大规模的工作初始化和早期停止窗口,使这种隐式稀疏正则化效果更有可能发生。
2021-10-26 cs.LG stat.ML
Stochastic Mirror Descent for Large-Scale Sparse Recovery
Université Grenoble Alpes(格勒诺布尔阿尔卑斯大学);ENSAE Paris(巴黎国立统计与经济管理学院);CRITEO AI Lab(科韬人工智能实验室)
本文讨论了随机逼近在高维稀疏参数统计估计中的应用。所提出的解决方案减少到解决惩罚随机最优化问题的多级算法的每个阶段,每个问题被解决到规定的精度由非欧几里德复合随机镜像下降(CSMD)算法。假设问题的目标是光滑和二次minorated和随机扰动是次高斯,我们的分析规定的方法参数,确保快速收敛的估计误差(半径的置信球的近似解周围的一个给定的范数)。这种收敛在程序的第一个“初始”阶段是线性的,在第二个“渐近”阶段是次线性的。我们考虑所提出的方法稀疏广义线性回归问题的应用。在这种情况下,我们证明了该算法在弱假设下回归分布的估计误差达到最优收敛。我们还提出了一个数值研究,说明高维模拟数据的算法的性能。
2022-10-23 cs.LG math.OC math.ST
Matching the Statistical Query Lower Bound for $k$-Sparse Parity Problems with Sign Stochastic Gradient Descent
University of California, Los Angeles(加州大学洛杉矶分校);Harvard University(哈佛大学);Kempner Institute at Harvard University(哈佛大学肯普纳研究院)
本文提出在两层全连接神经网络上使用 sign SGD 求解 $k$-稀疏奇偶校验问题,并证明其以 $2^{Θ(k)}$ 个神经元和 $\tilde{O}(d^{k-1})$ 样本复杂度匹配 SQ 下界。
2024-12-06 cs.LG math.OC stat.ML
Sparse Spiking Gradient Descent
Imperial College London(帝国理工学院)
在类脑计算设备上仿真脉冲神经网络(SNN)由于其低能耗而受到越来越多的关注。最近的进展已经允许训练SNN到一个点,在准确性方面,它们开始与传统的人工神经网络(ANN)竞争,同时在神经形态硬件上运行时是节能的。然而,训练SNN的过程仍然基于最初为ANN开发的密集张量运算,其不利用SNN的时空稀疏性质。我们在这里提出了第一个稀疏SNN反向传播算法,它实现了与当前最先进的方法相同或更好的精度,同时速度更快,内存效率更高。我们展示了我们的方法在不同复杂度的真实数据集(Fashion-MNIST,Neuromophic-MNIST和Spiking Heidelberg Digits)上的有效性,在向后传递中实现了高达150倍的加速,并且内存效率提高了85%,而不会失去准确性。
2022-01-13 cs.ET cs.LG cs.NE
Efficient Sum of Outer Products Dictionary Learning (SOUP-DIL) - The $\ell_0$ Method
University of Michigan(密歇根大学)
自然信号和图像在变换域或变换字典中的稀疏性在压缩、去噪和逆问题等应用中得到了广泛的利用。最近,与固定或分析词典模型相比,数据驱动的合成词典适应在许多应用中显示出了希望。然而,字典学习问题通常是非凸和NP难的,并且用于这些问题的通常交替最小化方法通常在计算上是昂贵的,其中计算由NP难合成稀疏编码步骤主导。在这项工作中,我们研究了一种有效的方法$\ell_{0}$“规范”为基础的字典学习,首先近似的训练数据集与稀疏秩一矩阵的总和,然后使用块坐标下降的方法来估计未知数。所提出的块坐标下降算法涉及有效的封闭形式的解决方案。特别地,稀疏编码步骤涉及简单形式的阈值化。我们提供了一个收敛性分析所提出的块坐标下降方法。我们的数值实验表明,我们的方法提供了良好的性能和显着的速度比经典的K-SVD计划在稀疏信号表示和图像去噪。
2017-04-21 cs.LG
Stochastic gradient descent with gradient estimator for categorical features
Lokad;Litis(Litis实验室)
本文针对类别数据独热编码导致的稀疏性问题,提出一种新的梯度估计器,从理论和实验上证明其优于常用估计器,并发布匿名化零售数据集。
2023-04-18 cs.LG
Asymmetric Momentum: A Rethinking of Gradient Descent
该研究提出损失控制非对称动量(LCAM)这一SGD增强方法,按损失阶段采用不同动量,适配稀疏与非稀疏梯度,在Cifar10、Cifar100数据集上用近半训练轮次达到相当或更优准确率。
2023-10-03 cs.LG
Stabilized Sparse Online Learning for Sparse Data
Columbia University(哥伦比亚大学)
随机梯度下降(SGD)通常用于大规模机器学习问题的优化。Langford等人(2009)介绍了一种稀疏在线学习方法,通过截断梯度来诱导稀疏性。然而,对于高维稀疏数据,由于特征稀疏性的异质性,该方法收敛速度慢且方差大。为了缓解这个问题,我们引入了一个稳定的截断随机梯度下降算法。我们采用软阈值方案的权重向量,其中施加的收缩是自适应的每个功能中可用的信息量。所得到的稀疏权重向量的可变性进一步控制的稳定性选择集成的信息截断。为了更好地收敛,我们采用了一种退火策略的截断率,这导致了一个平衡的权衡之间的探索和利用学习稀疏的权重向量。数值实验表明,该算法在预测精度、稀疏性和稳定性方面优于原算法。
2017-05-09 cs.LG stat.ML
Tree-Projected Gradient Descent for Estimating Gradient-Sparse Parameters on Graphs
Yale University(耶鲁大学)
研究了梯度稀疏参数向量$\boldsymbolθ^* \in \mathbb{R}^p$的估计问题,该向量在底层图$G$上具有强梯度稀疏性$s^*:=\|\nabla_G \boldsymbolθ^*\|_0$.给定观测$Z_1,\ldots,Z_n$和一个光滑的凸损失函数$\mathcal{L}$,其中$\boldsymbolθ^*$使人口风险$\mathbb{E}[\mathcal{L}(\boldsymbolθ;Z_1,\ldots,Z_n)]$最小化,我们建议通过投影梯度下降算法来估计$\boldsymbolθ^*$,该算法迭代地近似地将梯度步长投影到在$G$的低度生成树上具有小梯度稀疏性的向量空间上。我们表明,在适当的限制强凸性和光滑性假设的损失,由此产生的估计达到平方误差风险$\frac{s^*}{n} \log (1+\frac{p}{s^*})$的乘法常数是独立的$G$。相比之下,以前的多项式时间算法只被证明可以在更专门的设置中实现这种保证,或者在对$G$和/或$\nabla_G \boldsymbolθ^*$的稀疏模式的附加假设下实现这种保证。作为一般框架的应用,我们将所得结果应用于随机设计的线性模型和广义线性模型的例子。
2020-05-31 cs.LG math.ST stat.ME
A Particle-based Sparse Gaussian Process Optimizer
Oden Institute(奥登研究所);University of Texas at Austin(德克萨斯大学奥斯汀分校)
神经网络中的任务学习通常需要找到损失函数目标的全局最优最小化器。基于群的优化方法的常规设计应用固定更新规则,对于基于梯度下降的优化可能具有自适应步长。虽然这些方法在解决不同的优化问题中取得了巨大的成功,但在某些情况下,这些方案要么效率低下,要么患有局部最小值。我们提出了一个新的基于粒子群的框架,利用高斯过程回归来学习下降的基本动力学过程。这种方法的最大优点是在决定下降方向之前对当前状态进行更多的探索。实验结果表明,我们的方法可以摆脱局部极小值相比,广泛使用的国家的最先进的优化器在解决非凸优化问题。我们还测试了我们的方法在高维参数空间的情况下,即,图像分类任务。
2022-11-26 cs.LG math.OC
Block Coordinate Descent for Sparse NMF
Mind Research Network(心智研究网络);University of New Mexico(新墨西哥大学);Mitsubishi Electric Research Labs(三菱电机研究实验室);National University of Ireland Maynooth(爱尔兰国立梅努斯大学)
针对稀疏NMF问题,提出基于L1/L2混合范数的块坐标下降算法,在保持稀疏性的同时显著提升计算速度,适用于大规模数据集。
2013-03-18 cs.LG cs.NA math.NA
Reparameterizing Mirror Descent as Gradient Descent
Google Research(谷歌研究院)
最近神经网络的大多数成功应用都是基于梯度下降更新的训练。然而,对于一些小型网络,当目标稀疏时,其他镜像下降更新可以证明更有效地学习。我们提出了一个通用的框架,用于将镜像下降更新转换为不同参数集上的梯度下降更新。在某些情况下,镜像下降重新参数化可以被描述为使用标准反向传播训练修改的网络。重新参数化框架是通用的,并涵盖了广泛的镜像下降更新,即使是域受到约束的情况下。我们的重新参数化参数的构造是针对更新的连续版本完成的。寻找离散版本密切跟踪其连续的同行的一般标准仍然是一个有趣的开放问题。
2020-06-22 cs.LG stat.ML
Block-Norm Geometries for Online Mirror Descent with Sparse Losses
Massachusetts Institute of Technology(麻省理工学院);Carnegie Mellon University(卡内基梅隆大学);Georgia Institute of Technology(佐治亚理工学院)
本文提出通过组合镜像映射改进在线镜像下降的后悔保证,展示基于块范数的镜像映射在稀疏损失函数中取得多项式级别的后悔改进。
2026-09-14 cs.DS cs.LG math.OC
Training L1-Regularized Models with Orthant-Wise Passive Descent Algorithms
Tencent AI Lab(腾讯人工智能实验室)
$L_1$正则化模型广泛用于稀疏回归或分类任务。在本文中,我们提出了正交明智的被动下降算法(OPDA)优化$L_1$正则化模型,作为一个改进的替代邻近算法,这是目前的标准工具,优化模型。OPDA使用一个随机方差缩减梯度(SVRG)来初始化下降方向,然后应用一种新的对齐算子来鼓励每个元素在一次迭代更新后保持相同的符号,从而使参数保持与以前相同的正体。它还显式地抑制每个元素的大小以施加稀疏性。拟牛顿更新可以用来合并曲率信息并加快速度。证明了OPDA在一般光滑强凸损失函数上的线性收敛速度。通过对$L_1$ -正则化逻辑回归和卷积神经网络进行实验,我们表明OPDA优于最先进的随机邻近算法,这意味着在训练稀疏模型方面有广泛的应用。
2018-02-22 cs.LG stat.ML
Efficient coordinate-descent for orthogonal matrices through Givens rotations
Hebrew University of Jerusalem(耶路撒冷希伯来大学);Bar Ilan University(巴伊兰大学)
优化正交矩阵集是稀疏PCA或张量分解等问题的核心组成部分。不幸的是,这样的优化是困难的,因为对正交矩阵的简单操作容易破坏正交性,并且校正正交性通常花费大量的计算。在这里,我们提出了一个优化正交矩阵的框架,即坐标下降在欧氏空间中的并行。它基于{ \em Givens-rotations},这是一种快速计算操作,影响学习矩阵中的少量条目,并保持正交性。我们展示了这种方法的两个应用:用于学习混合模型的张量分解算法和稀疏PCA算法。我们研究了Givens旋转方法收敛速度更快并在全基因组全脑mRNA表达数据集上实现卓越模型的参数制度。
2013-12-13 cs.LG stat.ML
Quantized Sparse Weight Decomposition for Neural Network Compression
Qualcomm AI Research(高通人工智能研究院);Qualcomm Technologies Netherlands B.V.(高通技术荷兰有限公司)
本文介绍了一种新的神经网络权值压缩方法。在我们的方法中,我们将权重张量存储为稀疏的量化矩阵因子,其乘积在推理过程中动态计算以生成目标模型的权重。我们使用投影梯度下降方法来找到量化和稀疏分解的权重张量。我们表明,这种方法可以被看作是一个统一的权重SVD,矢量量化,稀疏PCA。结合端到端的微调,我们的方法在准确性和模型大小之间的权衡方面超过或等同于以前的最先进的方法。我们的方法是适用于温和的压缩制度,不像矢量量化,和极端的压缩制度。
2022-07-22 cs.LG
The Statistics of Streaming Sparse Regression
Stanford University(斯坦福大学)
我们提出了一个稀疏模拟随机梯度下降,保证在类似的条件下表现良好的套索。在具有不可表示的噪声特征的线性回归设置中,我们的算法以高概率恢复最优参数向量的支撑集,并实现统计上准最优的收敛速率Op(k log(d)/T),其中k是解的稀疏性,d是特征的数量,T是训练样本的数量。同时,我们的算法不需要任何更多的计算资源比随机梯度下降。在我们的实验中,我们发现,我们的方法大大优于现有的流算法的真实和模拟数据。
2014-12-13 cs.LG math.ST stat.ML
Sparse Representations of Positive Functions via First and Second-Order Pseudo-Mirror Descent
NetApp(NetApp公司);Amazon(亚马逊公司)
我们考虑期望风险最小化问题时,估计的范围是非负的,动机的设置极大似然估计(MLE)和轨迹优化。为了便于非线性插值,我们假设搜索空间是再生核希尔伯特空间(RKHS)。我们开发的第一和第二阶变量的随机镜像下降采用(i)\emph{pseudo-gradients}和(ii)复杂性降低的预测。一阶格式中的压缩投影是通过核正交匹配追踪(KOMP)来实现的,克服了在随机环境下,香草RKHS参数化随迭代次数增长而无界的问题.此外,当成本的梯度估计仅可计算到某个数值误差时,需要伪梯度,该数值误差出现在,例如,积分近似在恒定步长和压缩预算下,我们建立了预期次优性的收敛半径和投影预算参数之间的权衡,以及模型复杂性的非渐近界。为了提高解决方案的精度,我们开发了一个二阶扩展,采用递归平均伪梯度外积近似的Hessian逆,其平均收敛建立在一个额外的特征值衰减条件下的最佳RKHS元素,这是唯一的这项工作的Hessian。实验结果表明,非齐次泊松过程强度估计在实际应用中具有良好的性能。
2022-05-03 cs.CV cs.LG math.OC
Transformers Trained via Gradient Descent Can Provably Learn a Class of Teacher Models
The University of Hong Kong(香港大学);University of California, Los Angeles(加州大学洛杉矶分校)
本文研究了通过Transformer学习各类教师模型的理论基础,证明单层Transformer能恢复教师模型的所有参数块并达到最优损失,同时展示其在分布外数据上的泛化能力。
2026-03-24 cs.LG
Dual Extrapolation for Sparse Generalized Linear Models
Université Paris-Saclay(巴黎萨克雷大学);Inria(法国国家信息与自动化研究所);CEA(法国原子能和替代能源委员会);CNRS(法国国家科学研究中心);Institut de Mathématiques de Bourgogne(勃艮第数学研究所);Univ Montpellier(蒙彼利埃大学);IMAG(蒙彼利埃数学与建模研究所)
广义线性模型(GLM)形成了广泛的一类回归和分类模型,其中预测是输入变量的线性组合的函数。对于高维的统计推断,稀疏诱导正则化已被证明是有用的,同时提供统计保证。然而,解决由此产生的优化问题可能具有挑战性:即使是像坐标下降这样流行的迭代算法,也需要循环大量的变量。为了缓解这种情况,被称为筛选规则和工作集的技术可以通过逐步删除变量或解决一系列更小的问题来减少手头的优化问题的大小。对于这两种技术,显着的变量被确定由于凸对偶参数。在本文中,我们表明,对偶迭代的GLM表现出向量自回归(VAR)的行为后,符号识别,当原始问题的解决与邻近梯度下降或循环坐标下降。利用这种规律性,人们可以构建对偶点,提供更严格的最优性证书,提高筛选规则的性能,并帮助设计有竞争力的工作集算法。
2022-08-24 cs.LG stat.ML
Projected Wirtinger Gradient Descent for Low-Rank Hankel Matrix Completion in Spectral Compressed Sensing
University of Iowa(爱荷华大学)
本文考虑从少量随机观测的时域样本中重建频谱稀疏信号。感兴趣的信号是$R$不同频率的复正弦曲线的线性组合。频率可以采用归一化频域$[0,1)$中的任何连续值。在将频谱稀疏信号恢复问题转化为低秩结构矩阵完备化问题后,提出了一种有效的可行点方法--投影Wirtinger梯度下降(PWGD)算法,有效地解决了该结构矩阵完备化问题.我们进一步加速我们提出的算法的FISTA启发的计划。我们给出了我们提出的算法的收敛性分析。大量的数值实验来说明我们所提出的算法的效率。与以前的方法不同,我们的算法可以非常有效地解决非常大的维度的问题。
2015-07-14 cs.IT cs.LG math.IT
LSALSA: Accelerated Source Separation via Learned Sparse Coding
New York University Tandon School of Engineering(纽约大学坦登工程学院)
针对广义稀疏编码(SC)推理问题,提出了一种有效的算法.所提出的框架适用于单字典设置,其中每个数据点表示为一个字典矩阵的列的稀疏组合,以及多字典设置中给出的形态成分分析(MCA),其中的目标是将信号分离成添加剂部分,使得每个部分在相应的字典内具有不同的稀疏表示。SC任务及其通过MCA的推广都被转换为$\ell_1$ -正则化最小二乘优化问题。为了加速稀疏码的传统获取,我们提出了一种深度学习架构,该架构构成了分裂增广拉格朗日收缩算法(SALSA)的可训练时间展开版本,SALSA是乘法器交替方向法(ADMM)的一种特殊情况。我们经验验证的算法的两个变种,我们称为LSALSA(学习SALSA),图像视觉任务,并证明在推理我们的网络实现了巨大的改进,在运行时间,估计稀疏代码的质量,和视觉清晰度的经典SC和MCA问题。最后,我们提出了一个分析LSALSA网络的理论框架:我们表明,所提出的方法完全实现了截断ADMM适用于一个新的,学习的成本函数与曲率修改的学习参数化矩阵之一。我们扩展了一个非常新的随机交替优化分析框架,表明沿着这个学习损失景观的梯度下降步骤相当于沿着原始损失景观的修改后的梯度下降步骤。在这个框架中,LSALSA实现的加速可以通过网络学习对陡峭下降的梯度方向的校正的能力来解释。
2019-06-07 cs.LG stat.ML
Coordinate Descent for MCP/SCAD Penalized Least Squares Converges Linearly
Wuhan University(武汉大学)
从观测数据中恢复稀疏信号是信号/成像处理、统计学和机器学习中的一个重要课题。非凸惩罚最小二乘因其良好的统计性质而受到广泛关注。在计算上,坐标下降(CD)是一个主力最小化非凸惩罚最小二乘准则,由于其简单性和可扩展性。在这项工作中,我们证明了线性收敛速度CD解决MCP/SCAD惩罚最小二乘问题。
2021-09-18 cs.LG stat.CO stat.ML
Asymmetric Scaling Laws from Sparse Features
Yale University(耶鲁大学);Energy Sciences Institute(能源科学研究所);Institute for Advanced Study(高级研究院);Alignment Research Center(对齐研究中心)
本文提出一个稀疏激活下的神经缩放定律模型,发现测试损失由训练输入中从未出现的稀有坐标主导,导致密集模型中不存在的瓶颈,并推导出欠参数化和过参数化区域的渐近总体损失,揭示双下降峰值和两个不同的缩放指数。
2026-05-22 cond-mat.dis-nn cs.LG math.ST
Depth Without the Magic: Inductive Bias of Natural Gradient Descent
University of Cambridge(剑桥大学);Eötvös Loránd University(罗兰大学)
在梯度下降中,改变我们参数化模型的方式可以导致截然不同的优化轨迹,从而产生一系列令人惊讶的有意义的归纳偏差:识别稀疏分类器或在没有显式正则化的情况下重建低秩矩阵。这种隐式正则化被假设为深度学习中良好泛化的一个促成因素。然而,自然梯度下降对于重新参数化是近似不变的,它总是遵循相同的轨迹并找到相同的最优解。问题自然出现了:如果我们消除参数化的作用,会发生什么?会找到哪个解?会出现什么新的性质?我们描述了逻辑损失和深度矩阵分解下的可分离分类的深度线性网络中的自然梯度流的行为。我们的一些发现扩展到非线性神经网络充分,但有限的过参数化。我们证明了存在自然梯度下降无法推广的学习问题,而具有正确架构的梯度下降表现良好。
2021-11-22 cs.LG stat.ML
Conditioning of Random Feature Matrices: Double Descent and Generalization Error
Carnegie Mellon University(卡内基梅隆大学)
我们提供了随机特征矩阵的条件数的(高概率)界。特别是,我们表明,如果复杂度比$\frac{N}{m}$,其中$N$是神经元的数量和$m$是数据样本的数量规模像$\log^{-1}(N)$或$\log(m)$,那么随机特征矩阵是良好的条件。该结果在不需要正则化的情况下成立,并且依赖于在随机特征矩阵的相关分量之间建立各种浓度界限。此外,我们推导出的限制等距常数的随机特征矩阵的界限。我们证明了使用随机特征矩阵的回归问题的风险表现出双重下降现象,这是条件数的双重下降行为的影响。风险边界包括使用最小二乘问题的欠参数化设置和使用最小范数插值问题或稀疏回归问题的过参数化设置。对于最小二乘或稀疏回归的情况下,我们表明,风险降低$m$和$N$增加,即使在有界或随机噪声的存在下。风险界匹配文献中的最佳尺度,我们的结果中的常数是明确的,独立于数据的维数。
2021-11-04 cs.LG math.OC math.PR
Inductive Bias of Gradient Descent for Weight Normalized Smooth Homogeneous Neural Nets
Indian Institute of Technology Madras(印度理工学院马德拉斯分校)
我们分析了在指数或交叉熵损失下训练的加权归一化光滑齐次神经网络的梯度下降的归纳偏差。我们分析了标准权重归一化(SWN)和指数权重归一化(EWN),并证明了EWN的梯度流路径等价于具有自适应学习率的标准网络上的梯度流。我们将这些结果推广到梯度下降,并建立SWN和EWN的权重和梯度之间的渐近关系。我们还表明,EWN的原因权重更新的方式,更喜欢渐近相对稀疏。对于EWN,我们提供了一个有限时间收敛速度的损失与梯度流和一个紧渐近收敛速度与梯度下降。我们证明了我们的结果SWN和EWN的合成数据集。简单数据集上的实验结果支持我们对稀疏EWN解决方案的主张,即使是SGD。这证明了它在学习服从修剪的神经网络中的潜在应用。
2023-01-31 cs.LG stat.ML
Coordinate descent on the orthogonal group for recurrent neural network training
National Physical Laboratory(国家物理实验室);Mathematical Institute(数学研究所);University of Oxford(牛津大学);IIIT Delhi(德里印度理工学院)
我们建议使用正交群上的随机黎曼坐标下降来训练循环神经网络。该算法连续旋转递归矩阵的两列,这种操作可以有效地实现为与Givens矩阵相乘。在每次迭代中随机均匀选择坐标的情况下,我们证明了该算法在标准假设下对损失函数、步长和小批量噪声的收敛性。此外,我们数值证明了循环神经网络训练中的黎曼梯度具有近似稀疏的结构。利用这一观察结果,我们提出了一个更快的变种,所提出的算法依赖于高斯-索斯韦尔规则。在一个标准的循环神经网络训练问题上的实验证明了该算法的有效性。
2021-07-30 cs.LG math.OC
A case where a spindly two-layer linear network whips any neural network with a fully connected input layer
Google Research(谷歌研究院);Poznan University of Technology(波兹南理工大学)
证明了任何结构的神经网络和节点处的任意可微传递函数在使用梯度下降训练时不能有效地学习以下问题样本:实例是$d$维Hadamard矩阵的行,目标是特征之一,即非常稀疏。我们从本质上证明了这个猜想:我们表明,在接收大小为$k < d$的随机训练集后,预期平方损失仍然是$1-\frac{k}{(d-1)}$。唯一的要求是输入层是完全连接的,并且输入节点的初始权重向量是从旋转不变分布中选择的。令人惊讶的是,同样类型的问题可以通过简单的2层线性神经网络更有效地解决,其中$d$输入通过长度为2的链连接到输出节点(现在输入层每个输入只有一条边)。当这样的网络通过梯度下降训练时,已经表明其预期平方损失是$\frac{\log d}{k}$。我们的下界本质上表明,当样本数量小于输入特征数量时,需要稀疏输入层来有效地采样学习具有梯度下降的稀疏目标。
2020-10-16 cs.LG stat.ML
Does Sparse Connectivity Improve Generalization? Convolutional Networks Below the Edge of Stability
UC San Diego(圣迭戈大学)
研究稀疏连接在卷积网络中如何在稳定性边缘以下提升泛化能力,揭示其与数据几何和梯度下降的联合影响。
2026-05-07 cs.LG stat.ML
Coordinate Descent for Network Linearization
针对基于ResNet的私有推理中ReLU激活函数导致高延迟的问题,提出直接在离散域中利用坐标下降法优化网络线性化的方法,该方法设计上产生稀疏解,在常见基准测试中达到最先进水平。
2025-11-14 cs.CV cs.LG stat.ML
Overfitting Can Be Harmless for Basis Pursuit, But Only to a Degree
Purdue University(普渡大学);The Ohio State University(俄亥俄州立大学)
最近,人们对研究过参数化和过拟合机制下线性回归模型的泛化误差的所谓“双下降”产生了浓厚的兴趣,希望这种分析可以为理解为什么过参数化深度神经网络(DNN)仍然具有良好的泛化能力提供第一步。然而,到目前为止,这些研究大多集中在最小$\ell_2$ -范数的解决方案,过拟合的数据。相比之下,在本文中,我们研究过拟合的解决方案,最大限度地减少了$\ell_1$ -范数,这是被称为基追踪(BP)在压缩传感文献。在具有$p$ i.i.d.的稀疏真线性回归模型下,高斯特征,我们表明,对于大范围的$p$到一个限制,指数增长的样本数$n$,具有很高的概率BP模型误差的上限值,减少与$p$。据我们所知,这是第一个分析结果,在文献中建立了双下降的过拟合BP有限$n$和$p$。此外,我们的研究结果揭示了BP和最小$\ell_2$ -范数解的双重下降之间的显着差异。具体而言,BP的双下降上限与信号强度无关,并且对于高SNR和稀疏模型,BP的下降底可以比最小$\ell_2$范数解的下降底低得多且宽得多。
2020-11-17 cs.LG math.ST stat.ML
Quantifying Model Uncertainty in Inverse Problems via Bayesian Deep Gradient Descent
University College London(伦敦大学学院)
逆问题重建方法的最新进展利用了强大的数据驱动模型,例如,深度神经网络。这些技术已经证明了几个成像任务的最先进的性能,但他们往往不提供所获得的重建的不确定性。在这项工作中,我们开发了一个可扩展的,数据驱动的,知识辅助的计算框架,通过贝叶斯神经网络来量化模型的不确定性。该方法建立在深度梯度下降(最近开发的贪婪迭代训练方案)的基础上,并对其进行了扩展,并在概率框架内对其进行了重铸。可扩展性是通过混合架构实现的:只有每个块的最后一层是贝叶斯的,而其他层仍然是确定性的,并且在训练中是贪婪的。该框架在一种代表性的医学成像模式上展示,即具有稀疏视图或有限视图数据的计算机断层扫描,并且相对于最先进的基准表现出有竞争力的性能,例如,全变分、深度梯度下降和学习的原始-对偶。
2020-10-19 cs.CV cs.LG eess.IV
Convexifying Sparse Interpolation with Infinitely Wide Neural Networks: An Atomic Norm Approach
University of Minnesota(明尼苏达大学)
这项工作探讨了通过稀疏(神经元计数),无限宽,单隐层神经网络泄漏整流线性单元激活的精确数据插值的问题。使用[Rasekaran et al.,2012]中,我们在对网络权值和偏置的几种不同约束下,推导出了该问题相应原子集的凸包的简单刻画,从而得到了这些问题的等价凸公式。一个适度的扩展,我们提出的框架,二进制分类问题。我们通过实验探索了由此产生的配方的有效性,并与通过梯度下降训练的网络进行了比较。
2020-07-15 cs.LG eess.SP stat.ML
Learning Sparse Low-Precision Neural Networks With Learnable Regularization
Samsung Semiconductor Inc.(三星半导体有限公司)
我们考虑学习由低精度权重和激活组成的深度神经网络(DNN),以有效推断定点运算。在训练低精度网络时,使用高精度权重执行向后传递中的梯度下降,而在向前传递中使用量化的低精度权重和激活来计算用于训练的损失函数。因此,梯度下降变得次优,并且精度损失随之而来。为了减少前向和后向通道中的失配,我们利用均方量化误差(MSQE)正则化。特别是,我们建议使用一个可学习的正则化系数与MSQE正则化器,以加强高精度权重的收敛到它们的量化值。我们还研究了部分L2正则化如何以类似的方式用于权重修剪。最后,结合权重修剪、量化和熵编码,建立了低精度DNN压缩流水线。在我们的实验中,所提出的方法在ImageNet分类上产生了低精度的MobileNet和ShuffleNet模型,最先进的压缩比分别为7.13和6.79。此外,我们研究了我们的图像超分辨率网络的方法,以产生8位低精度模型,性能损失可以忽略不计。
2020-05-24 cs.CV cs.LG cs.NE
Provable Methods for Training Neural Networks with Sparse Connectivity
University of Southern California(南加州大学)
我们提供了新的保证方法来训练前馈神经网络与稀疏连接。我们利用以前开发的学习线性网络的技术,并表明它们也可以有效地用于学习非线性网络。我们对涉及输入的标签和得分函数的矩进行操作,并证明了它们的因子分解可证明在温和的条件下产生深度网络第一层的权重矩阵。在实践中,我们的方法的输出可以作为有效的初始化梯度下降。
2015-04-28 cs.LG cs.NE stat.ML