Improved Sparse Low-Rank Matrix Estimation
New York University(纽约大学)
我们解决的问题估计稀疏低秩矩阵从其噪声观测。我们提出了一个目标函数的数据保真度项和两个参数化的非凸罚函数。此外,我们展示了如何设置非凸罚函数的参数,以确保目标函数是严格凸的。与利用核范数和$\ell_1$范数之和的凸方法相比,所提出的目标函数更好地估计稀疏低秩矩阵。我们推导出一种算法(作为ADMM的实例)来解决所提出的问题,并在适当设置标量增广拉格朗日参数的情况下保证其收敛性。我们证明了所提出的方法去噪的音频信号和邻接矩阵表示蛋白质相互作用的“大肠杆菌”细菌。
2017-04-12 cs.LG math.OC stat.ML
Generalized Low-rank plus Sparse Tensor Estimation by Fast Riemannian Optimization
我们研究了一个广义的框架来估计潜在的低秩加稀疏张量,其中低秩张量通常捕获多路主成分,稀疏张量解释了潜在的模型错误指定或低秩部分无法解释的异构信号。该框架是灵活的,涵盖了线性和非线性模型,可以很容易地处理连续或分类变量。我们提出了一个快速算法,结合黎曼梯度下降和一个新的梯度修剪过程。在适当的条件下,该算法线性收敛,并能同时估计低秩张量和稀疏张量。根据损失函数的梯度建立了最终估计的统计误差界。在特定的统计模型下,误差界限通常是尖锐的,鲁棒张量PCA和超图网络中孤立点的社团检测。此外,我们的方法实现了非平凡的误差界重尾张量PCA的噪声具有有限的$2+\varepsilon$时刻。我们应用我们的方法来分析国际贸易流量数据集和统计学家超图合著网络,都产生了新的和有趣的发现。
2022-04-14 math.OC math.ST stat.ME
Sparse Reduced-Rank Regression for Simultaneous Rank and Variable Selection via Manifold Optimization
The University of Electro-Communications(电气通信大学)
针对高真实秩下降秩回归系数估计失效的问题,提出基于稀疏正则化与流形优化的同时秩与变量选择算法,实现准确估计并验证有效性。
2019-11-01 cs.LG stat.ME stat.ML
Factor Group-Sparse Regularization for Efficient Low-Rank Matrix Recovery
Cornell University(康奈尔大学)
本文提出了一类新的非凸正则化子,用于低秩矩阵的恢复。许多正则化子的动机是作为矩阵秩函数的凸松弛。我们的新的因子组稀疏正则化的动机是作为一个放松的非零列的矩阵分解的数量。这些非凸正则化子比核规范更尖锐,事实上,我们证明了它们与任意小$0 < p \leq 1$的Schatten-$p$规范有关。此外,这些因子组稀疏正则化器可以写成因子化的形式,从而实现高效和有效的非凸优化;值得注意的是,该方法不使用奇异值分解。我们提供了低秩矩阵完备化的泛化误差界,这表明随着$p$的减小,Schatten- $p$范数正则化的上界得到了改进。与核范数的最大范数和因子化形式相比,因子组稀疏正则化更有效,更准确,并且对秩的初始猜测具有鲁棒性。实验结果表明,因子组稀疏正则化方法在低秩矩阵完备化和鲁棒主成分分析中具有良好的性能。
2019-11-18 cs.LG stat.ML
Dictionary-based Low-Rank Approximations and the Mixed Sparse Coding problem
Univ Lyon, INSA-Lyon, UCBL, UJM-Saint Etienne, CNRS, Inserm, CREATIS UMR 5220, U1206(里昂大学、里昂国立应用科学学院、里昂第一大学、圣埃蒂安让·莫内大学、法国国家科学研究中心、法国国家健康与医学研究院、CREATIS医学影像研究中心)
约束张量和矩阵分解模型允许从多路数据中提取可解释的模式。因此,约束低秩近似的可辨识性及其有效算法是当前重要的研究课题。本文研究了一个低秩近似的因子矩阵列在一个已知且可能过完备的基上是稀疏的,这个模型被称为基于字典的低秩近似(DLRA).虽然早期的贡献集中在寻找候选列字典中的因子列,即一稀疏近似,但这项工作是第一个解决稀疏度大于一的DLRA。我建议把重点放在稀疏编码子问题创造混合稀疏编码(MSC),解决DLRA时出现的交替优化策略。提出了几种基于稀疏编码算法(贪婪法、凸松弛法)的MSC求解算法。模拟数据的性能进行评估,这些prosticistics。然后,我展示了如何适应一个高效的MSC求解器的基础上LASSO计算字典为基础的矩阵分解和规范的多元分解的背景下,高光谱图像处理和化学计量学。这些实验表明,DLRA扩展了低秩近似的建模能力,有助于减少估计方差,提高估计因子的可识别性和可解释性。
2022-01-21 cs.LG stat.ML
Subzero matrix completion for sparse data analysis: large-scale learning of latent low-rank structure
Flatiron Institute(弗莱堡研究所);Courant Institute, NYU(纽约大学库朗数学研究所);Google Research(谷歌研究院)
本文针对稀疏非负矩阵补全问题,提出可扩展的随机交替最小二乘算法,结合稀疏优化与CUDA内核加速,成功应用于果蝇连接组突触权重矩阵分析,揭示其潜在低秩结构的预测能力。
2026-08-25 cs.LG stat.ML
Several Approximation Algorithms for Sparse Best Rank-1 Approximation to Higher-Order Tensors
Guangxi University(广西大学)
稀疏张量最佳秩1近似(BR1Approx)是稠密张量BR1Approx的稀疏推广,是稀疏矩阵BR1Approx的高阶扩展,是稀疏张量分解及相关统计和机器学习问题中的重要问题之一.利用问题的多重线性和稀疏结构,提出了四种易于实现、计算复杂性低、可作为迭代算法初始化步骤的近似算法。此外,理论上保证最坏情况下的近似下界证明了所有的算法。我们提供了数值实验的合成和真实的数据来说明所提出的算法的有效性。
2022-07-14 cs.LG cs.NA math.NA
Compressed sensing of low-rank plus sparse matrices
将矩阵表示为低秩矩阵加上稀疏矩阵的和是捕获数据中的全局和局部特征的灵活模型,其被推广为Robust PCA(Candes等人,2011年; Amarasekaran等人,2009年)。压缩感知、矩阵补全及其变体(Eldar and Kutyniok,2012; Foucart and Rauhut,2013)已经确定,满足低复杂度模型的数据可以有效地测量,并从与模型复杂度而不是环境维度成比例的多个测量中恢复。该手稿开发了类似的保证,表明可以表示为秩- $r$矩阵和$s$ -稀疏矩阵之和的$m\times n$矩阵可以通过计算上易于处理的方法从$\mathcal{O}(r(m+n-r)+s)\log(mn/s)$线性测量中恢复。更具体地说,我们建立了低秩加稀疏矩阵集是封闭的低秩分量的不相干性是上界为$μ<\sqrt{mn}/(r\sqrt{s})$,随后,上述矩阵的限制等距常数保持有界独立于问题的大小提供$p/mn$,$s/p$,和$r(m+n-r)/p$保持固定。此外,我们表明,半定规划和两个硬阈值梯度下降算法,NIHT和NAHT,收敛到测量矩阵的测量算子的RIC的足够小。这些结果还可证明地解决了凸和非凸的鲁棒PCA的渐近最优分数的腐败$α=\mathcal{O}\left(1/(μr) \right)$,其中$s = α^2 mn$,并提高了以前最好的已知的保证,不需要腐败的分数…
2022-04-27 cs.NA math.NA stat.ML
When coding meets ranking: A joint framework based on local learning
King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学);Chinese Academy of Sciences(中国科学院)
稀疏编码将数据点表示为关于字典的稀疏重构码,已经成为流行的数据表示方法。同时,在数据库检索问题中,从数据点学习排序分数起着重要的作用。到目前为止,这两个问题一直被单独考虑,假设数据编码和排名是两个独立且不相关的问题。然而,稀疏编码和排名分数学习之间是否存在内在联系?如果是,如何探索和利用这种内在联系?在本文中,我们试图回答这些问题,通过开发第一个联合稀疏编码和排名得分学习算法。为了探索稀疏代码空间中的局部分布,也为了桥接编码和排名问题,我们假设在每个数据点的邻域中,排名分数可以通过局部线性函数从相应的稀疏代码近似。通过考虑排序得分的局部逼近误差、稀疏编码的重构误差和稀疏性以及用户提供的查询信息,构造了稀疏编码、字典和排序得分学习的统一目标函数。我们进一步开发了一个迭代算法来解决这个优化问题。
2016-11-02 cs.CV cs.LG stat.ML
Fast Methods for Recovering Sparse Parameters in Linear Low Rank Models
在本文中,我们研究的恢复稀疏的权重向量(参数向量)从一组噪声的线性组合。然而,只有关于表示线性组合的矩阵的部分信息可用。假设矩阵具有低秩结构,一个自然的解决方案是首先对数据应用矩阵补全,然后解决由此产生的压缩感知问题。在大规模MIMO和医疗数据等大数据应用中,矩阵完成步骤会带来巨大的计算负担。在这里,我们建议通过忽略稀疏向量中对应于零元素的列来降低完成任务的计算成本。为此,我们采用了一种技术,最初近似的稀疏向量的支持。我们进一步建议将部分矩阵完备化和稀疏向量恢复统一为一个扩展的四步问题。仿真结果表明,增强的方法实现了最佳的性能,而这两种方法优于自然的两步技术,大大减少了计算需求。
2016-11-17 cs.LG stat.ML
Multivariate Convolutional Sparse Coding with Low Rank Tensor
Ecole Normale Supérieure de Cachan(卡尚高等师范学院);CNRS(法国国家科学研究中心);Université Paris-Saclay(巴黎-萨克雷大学);Université Paris 13(巴黎第十三大学)
本文介绍了一种新的多元卷积稀疏编码的基础上张量代数的一般模型,同时执行元素的稀疏性和低秩的激活张量。通过使用CP分解,该模型实现了多变量信号的显著更有效的编码-特别是在高阶/维数设置中-从而产生更好的性能。我们证明,我们的模型是密切相关的Kruskal张量回归问题,提供有趣的理论保证,我们的设置。在此基础上,提出了一种基于交替优化的高效优化算法来求解该模型。最后,我们评估我们的算法与大范围的实验,突出其优点和局限性。
2019-08-09 cs.LG stat.ML
Gradient Descent for Sparse Rank-One Matrix Completion for Crowd-Sourced Aggregation of Sparsely Interacting Workers
Boston University(波士顿大学);Google DeepMind(谷歌DeepMind)
我们考虑了单个硬币Dawid-Skene众包模型的工人技能估计。在实践中,技能估计是具有挑战性的,因为工人的分配是稀疏和不规则的,由于工人的任意和不受控制的可用性。我们制定技能估计作为一个秩一相关矩阵完成问题,其中观察到的组件对应于观察到的工人之间的标签相关性。我们表明,相关矩阵可以成功地恢复和技能是可识别的,当且仅当采样矩阵(观察到的组件)没有一个二分连接组件。然后,我们提出了一个预计的梯度下降计划,并表明技能估计收敛到所需的全局最优值,这样的采样矩阵。我们的证明是原创的,而且考虑到即使是加权一阶矩阵分解问题通常也是NP难的这一事实,结果也令人惊讶。接下来,我们推导出采样矩阵的无符号拉普拉斯算子的谱特性方面的样本复杂度界。我们提出的方案在许多现实世界的数据集上实现了最先进的性能。
2020-07-23 cs.HC cs.LG stat.ML
Smoothed Low Rank and Sparse Matrix Recovery by Iteratively Reweighted Least Squares Minimization
National University of Singapore(新加坡国立大学);Peking University(北京大学)
这项工作提出了一个通用的框架,用于解决低秩和/或稀疏矩阵最小化问题,这可能涉及多个非光滑项。迭代加权最小二乘法(IRLS)是一种快速求解器,它通过交替更新变量及其权重来平滑目标函数并使其最小化。然而,传统的IRLS只能解决稀疏或低秩的平方损失或仿射约束的最小化问题。这项工作推广IRLS解决联合/混合低秩和稀疏最小化问题,这是许多任务的基本配方。作为一个具体的例子,我们用IRLS求解了$p$范数和$\ell_{2,q}$ -范数正则化的低秩表示(LRR)问题,并从理论上证明了所导出的解是一个稳定点(如果$p,q\geq1$是全局最优的).我们的IRLS的收敛性证明比以前的证明更一般,它依赖于$p$范数和$\ell_{2,q}$ -范数的特殊性质.在合成数据集和真实数据集上的大量实验表明,我们的IRLS更有效。
2014-12-06 cs.CV cs.LG stat.ML
Low Rank Matrix Recovery with Simultaneous Presence of Outliers and Sparse Corruption
University of Central Florida(中佛罗里达大学)
本文研究了一个数据模型,其中数据矩阵D可以表示为D = L + S + C,其中L是低秩矩阵,S是元素稀疏矩阵,C是非零列为离群数据点的矩阵。到目前为止,强大的PCA算法只考虑S或C的模型,而不是两者都考虑。因此,现有的算法不能同时考虑元素和列的腐败。本文提出了一种新的鲁棒PCA算法,该算法对同时发生的腐败类型具有鲁棒性。我们的方法依赖于稀疏损坏列的稀疏近似,使得列相对于其他数据点的稀疏扩展用于区分稀疏损坏的内点列和外围数据点。我们还开发了一个随机设计,提供了一个可扩展的实施所提出的方法。稀疏近似的核心思想进行了分析,我们表明,潜在的ell_1-范数最小化可以获得一个内点的稀疏腐败的存在下的表示。
2017-02-07 cs.CV cs.LG stat.ML
A Survey on Nonconvex Regularization Based Sparse and Low-Rank Recovery in Signal Processing, Statistics, and Machine Learning
Shanghai Jiao Tong University(上海交通大学)
在过去的十年中,稀疏和低秩恢复在信号/图像处理、统计学、生物信息学和机器学习等领域引起了广泛的关注。为了实现稀疏性和/或低秩诱导,$\ell_1$范数和核范数由于其凸性而成为最流行的正则化惩罚。虽然$\ell_1$和核范数是方便的,因为相关的凸优化问题通常是易处理的,但在许多应用中已经表明,非凸惩罚可以产生显着更好的性能。近年来,基于非凸正则化的稀疏和低秩恢复引起了人们的极大兴趣,事实上,它是非凸和非光滑优化的最新进展的主要驱动力。本文综述了这一主题在信号处理、统计和机器学习的各个领域,包括压缩感知(CS)、稀疏回归和变量选择、稀疏信号分离、稀疏主成分分析(PCA)、大协方差和逆协方差矩阵估计、矩阵完备和鲁棒PCA。我们目前的非凸正则化为基础的稀疏和低秩恢复在这些领域的最新发展,解决问题的惩罚选择,应用和非凸算法的收敛性。代码可在https://github.com/FWen/ncreg.git上获得。
2019-06-06 cs.IT cs.LG eess.SP
Sparse Representation of a Polytope and Recovery of Sparse Signals and Low-rank Matrices
本文考虑压缩感知和仿射秩最小化在无噪和有噪情况下,并建立了尖锐的限制等距稀疏信号和低秩矩阵恢复条件。分析依赖于一个关键的技术工具,表示点的多面体的凸组合稀疏向量。该技术是基本的,但导致尖锐的结果。它示出,对于任何给定的常数$t\ge {4/3}$,在压缩感知$δ_{tk}^A < \sqrt{(t-1)/t}$保证精确恢复的所有$k$稀疏信号在无噪声的情况下,通过约束$\ell_1$最小化,并同样在仿射秩最小化$δ_{tr}^\mathcal{M}< \sqrt{(t-1)/t}$确保精确重建的所有矩阵的秩最多$r$在无噪声的情况下,通过约束核范数最小化。此外,对于任何$ε>0$,对于大的$k$,$δ_{tk}^A<\sqrt{\frac{t-1}{t}}+ε$不足以保证所有$k$稀疏信号的精确恢复。类似的结果也适用于基质回收。此外,条件$δ_{tk}^A < \sqrt{(t-1)/t}$和$δ_{tr}^\mathcal{M}< \sqrt{(t-1)/t}$也被证明是足够的,分别为稳定恢复的近似稀疏信号和低秩矩阵在噪声的情况下。
2013-10-22 cs.IT math.IT math.ST
Two step recovery of jointly sparse and low-rank matrices: theoretical guarantees
我们介绍了一个两步算法的理论保证,以恢复一个联合稀疏和低秩矩阵的欠采样测量其列。该算法首先使用列的一组公共测量来估计矩阵的行子空间。在第二步中,使用简单的最小二乘算法解决矩阵的子空间感知恢复。在从欠采样测量中恢复CINE数据的背景下验证了结果;当采样条件满足时,我们获得了良好的恢复。
2015-06-02 cs.IT math.IT stat.ML
Sparse and Low-rank Tensor Estimation via Cubic Sketchings
在本文中,我们提出了一个通用的框架稀疏和低秩张量估计从立方草图。基于稀疏张量分解和阈值梯度下降,提出了一种两阶段的非凸实现方法,保证了无噪声情况下的精确恢复和噪声情况下的稳定恢复。非渐近分析揭示了优化误差和统计误差之间的相互作用。所提出的方法被证明是在一定条件下的速率最优。作为一个技术副产品,新的高阶浓度不等式的研究高矩亚高斯张量。一个有趣的张量公式说明了在高维线性回归中高阶相互作用追踪的潜在应用。
2020-03-15 math.ST stat.ML stat.TH
Integrative Multi-View Reduced-Rank Regression: Bridging Group-Sparse and Low-Rank Models
在科学和工程的各个领域中,已经常规地收集多视图数据。一个普遍的问题是研究多变量响应和多视图预测器集之间的预测关联,所有这些都可以是高维的。很可能只有少数视图与预测相关,并且每个相关视图内的预测因子共同而不是稀疏地对预测做出贡献。我们投下熟悉的多元回归框架下的这个新问题,并提出了一个综合降秩回归(iRRR),其中每个视图都有自己的低秩系数矩阵。因此,以监督的方式从每个视图中提取潜在特征。对于模型估计,我们提出了一种凸复合核范数惩罚方法,该方法通过交替方向乘子法实现了一种有效的算法。扩展到非高斯和不完整的数据进行了讨论。在理论上,我们在一个限制的特征值条件下得到了iRRR的非渐近预言界。我们的结果恢复了iRRR的几个特殊情况下,包括Lasso,组Lasso和核范数惩罚回归的预言界。因此,iRRR无缝地桥接了组稀疏和低秩方法,并且可以在多视图学习的现实设置下实现更快的收敛速度。模拟研究和应用程序中的纵向研究老化进一步展示了所提出的方法的有效性。
2018-07-26 math.ST stat.ME stat.ML
Optimal Estimation and Rank Detection for Sparse Spiked Covariance Matrices
本文研究了高维稀疏加样协方差阵模型,研究了协方差阵和主子空间的Minimax估计以及Minimax秩检测。建立了在谱范数下估计尖峰协方差矩阵的最优收敛速率,这需要与估计其他结构化协方差阵(如可带或稀疏协方差阵)的技术显著不同的技术。我们还建立了谱范数下的极小极大率,用于估计主成分分析中的主要感兴趣对象主子空间。此外,最佳速率的秩检测边界得到。这一结果也解决了Berthet和Rigollet [1]最近的一篇论文中的空白,其中考虑了秩1的特殊情况。
2016-03-25 math.ST stat.TH
Bayesian sparse multiple regression for simultaneous rank reduction and variable selection
我们开发了一种贝叶斯方法,旨在同时估计低秩和行稀疏矩阵的高维多响应线性回归模型。我们考虑了精心设计的收缩前的矩阵的回归系数,从而避免了需要指定一个先验的秩,并缩小回归矩阵对低秩和行稀疏结构。我们提供了理论支持,所提出的方法,通过证明极小极大最优的后验均值下的预测风险在超高的维度设置的预测因子的数量可以增长相对于样本量的次指数。一个一步的后处理方案引起的估计系数矩阵的行上的组套索处罚变量的选择,与默认选择的调谐参数。我们还提供了一个估计的秩使用一种新的优化函数实现降维的协变量空间。我们展示了所提出的方法在一个广泛的模拟研究和一个真实的数据例子的性能。
2019-04-09 math.ST stat.ME stat.TH
A Bayesian Approach to Sparse plus Low rank Network Identification
研究了用稀疏动态贝叶斯网络模型对多元时间序列进行建模的问题。这种结构转化为稀疏加低秩模型。在本文中,我们提出了一个高斯回归方法来识别这样的模型。
2015-09-26 math.OC stat.ML
Low-Rank and Sparse Drift Estimation for High-Dimensional Lévy-Driven Ornstein--Uhlenbeck Processes
Huron University College, Western University(韦仕敦大学休伦学院)
本文研究高维莱维驱动的奥本-乌尔申贝克过程,提出低秩加稀疏结构的漂移矩阵估计方法,通过核范数与ℓ1惩罚结合的凸估计器,在受限强凸性条件下推导出估计器的Frobenius风险非渐近Oracle不等式。
2026-09-02 math.PR math.ST stat.ME
Sparse and Low-Rank Matrix Decomposition for Automatic Target Detection in Hyperspectral Imagery
在给定目标先验信息的情况下,我们的目标是提出一种自动分离高光谱图像中感兴趣的目标和背景的方法。更确切地说,我们认为给定的高光谱图像(HSI)是由低秩背景HSI和稀疏目标HSI的总和,其中包含基于预先学习的目标字典从一些在线光谱库构建的目标。基于所提出的方法,两个策略进行了简要概述和评估,以实现目标检测的合成和真实的实验。
2020-03-04 eess.IV stat.AP
Sparse Approximate Solutions to Max-Plus Equations with Application to Multivariate Convex Regression
National Technical University of Athens(雅典国家技术大学);University of Pennsylvania(宾夕法尼亚大学)
在这项工作中,我们研究的问题,找到近似,最小支撑集,解决矩阵最大-加方程,我们称之为稀疏近似解。我们展示了如何可以有效地获得这样的解决方案,并在多项式时间的任何$\ell_p$近似误差。基于这些结果,我们提出了一种新的方法,凸多元函数的分段线性拟合,最优性保证的模型参数和近似最小数量的仿射区域。
2020-12-21 cs.LG math.OC math.RA
3BASiL: An Algorithmic Framework for Sparse plus Low-Rank Compression of LLMs
Operations Research Center(运筹学研究中心);Massachusetts Institute of Technology(麻省理工学院)
3BASiL-TM提出了一种高效的单次后训练方法,用于LLMs的稀疏加低秩分解,显著提升了压缩效果和效率。
2026-10-09 cs.LG stat.ML
Sample-Efficient Personalization: Modeling User Parameters as Low Rank Plus Sparse Components
Google Research India(谷歌印度研究院);Google Brain(谷歌大脑)
提出AMHT-LRS方法,将网络权重建模为低秩加稀疏组件,实现样本高效的个性化,并在理论上证明其近最优样本复杂度,同时提供差分隐私变体以保护用户隐私。
2023-09-06 cs.CR cs.LG math.OC
Ranky : An Approach to Solve Distributed SVD on Large Sparse Matrices
Istanbul Technical University(伊斯坦布尔技术大学)
奇异值分解(SVD)是从数据采掘到图像处理等众多领域和应用中的一个研究热点。从这些应用程序中产生的数据可以表示为矩阵,其中它是大的和稀疏的。现有的算法大多用于计算大型稠密矩阵的奇异值和左、右奇异向量,而不是大型稀疏矩阵。即使他们可以找到一个大矩阵的奇异值分解,由于顺序算法,计算大的密集矩阵有很高的时间复杂度。提出了一种计算大型矩阵奇异值分解的分布式方法。然而,矩阵的秩仍然是一个问题时,解决奇异值分解与这些分布式算法。在本文中,我们提出了Ranky,一套方法来解决大型和稀疏矩阵的秩问题的分布式方式。实验结果表明,Ranky方法可以恢复给定的大型稀疏矩阵的奇异值、奇异左向量和奇异右向量,且误差可以忽略不计。
2020-09-21 cs.LG stat.ML
D-SLR: The Disjoint Row-Sparse plus Low-Rank Decomposition
Chalmers University of Technology(查尔姆斯理工大学)
本文提出D-SLR分解,作为截断SVD的闭式替代方法,通过将行限制为逐字存储或低秩近似,在相同或更少参数下提升重构性能,无需调参,在多类真实数据实验中验证了其有效性。
2026-10-09 cs.LG stat.ME stat.ML
High Dimensional Low Rank plus Sparse Matrix Decomposition
University of Central Florida(中佛罗里达大学)
本文提出一种可扩展的子空间追猎方法,将矩阵分解问题转化为子空间学习问题,通过小数据草稿实现分解,适应性采样算法提升了处理结构化数据的效率。
2017-03-16 cs.DS cs.LG cs.NA
Boosted Sparse and Low-Rank Tensor Regression
Weill Cornell Medicine(威尔康奈尔医学院);University of Connecticut(康涅狄格大学);Michigan State Universtiy(密歇根州立大学)
我们提出了一个稀疏和低秩张量回归模型,将单变量结果与特征张量相关联,其中来自系数张量的CP分解的每个单位秩张量被假设为稀疏的。这种结构既简约又高度可解释,因为它意味着结果通过几个不同的途径与特征相关,每个途径可能只涉及特征维度的子集。我们采取分而治之的策略,简化成一组稀疏的单位秩张量回归问题的任务。为了使计算效率和可扩展性,对于单位秩张量回归,我们提出了一个逐步估计过程,以有效地跟踪其整个解决方案的路径。我们表明,当步长为零,逐步解决方案的路径收敛到相应的正则化回归。我们的方法的优越性能表现在各种现实世界和合成的例子。
2018-11-03 cs.LG stat.ML
Identifying good directions to escape the NTK regime and efficiently learn low-degree plus sparse polynomials
Princeton University(普林斯顿大学);Salesforce Research(赛富时研究院)
深度学习理论的一个最近的目标是确定神经网络如何摆脱“懒惰训练”或神经切线核(NTK)机制,其中网络在初始化时与其一阶泰勒展开相耦合。虽然NTK对于学习密集多项式是最小最大最优的(Ghorbani等人,2021),但它不能学习特征,因此对于学习包括稀疏多项式在内的许多类函数具有较差的样本复杂度。因此,最近的工作旨在确定基于梯度的算法可证明比NTK更好地推广的设置。一个这样的例子是白和李(2020)的“QuadNTK”方法,该方法分析泰勒展开中的二阶项。Bai和Lee(2020)表明,二阶项可以有效地学习稀疏多项式;然而,它牺牲了学习一般密集多项式的能力。在本文中,我们分析了双层神经网络上的梯度下降如何通过利用NTK的谱特征(Montanari和Zhong,2020)并建立在QuadNTK方法的基础上来逃避NTK机制。我们首先扩展频谱分析,以确定参数空间中的“好”方向,我们可以在不损害泛化的情况下移动。接下来,我们证明了一个宽的两层神经网络可以联合使用NTK和QuadNTK来拟合由密集的低次项和稀疏的高次项组成的目标函数-NTK和QuadNTK都不能单独完成。最后,我们构造了一个正则化器,它鼓励我们的参数向量向“好”的方向移动,并表明正则化损失的梯度下降将收敛到全局最小值,这也具有较低的测试误差。这产生了端到端的收敛性和泛化保证,并且可证明NTK和QuadNTK自身的样本复杂度都有所改…
2022-11-27 cs.LG stat.ML
HERA: Partial Label Learning by Combining Heterogeneous Loss with Sparse and Low-Rank Regularization
Beijing Jiaotong University(北京交通大学);Hangzhou Dianzi University(杭州电子科技大学)
部分标签学习(PLL)旨在从数据中学习,其中每个训练实例与一组候选标签相关联,其中只有一个是正确的。大多数现有的方法通过平等对待每个候选标签或迭代地识别地面真实标签来处理这样的问题。在本文中,我们提出了一种新的PLL方法,称为HERA,它同时结合了Heterogeneous Loss和SpaRse和Low-rAnk过程来估计每个实例的标签置信度,同时训练模型。具体地说,异构损失综合了成对排序损失和逐点重构损失的优点,为标签识别提供了有用的标签排序和重构信息,而嵌入式稀疏低秩方案限制了地面真实标签矩阵的稀疏性和噪声标签矩阵的低秩,以探索整个训练数据之间的全局标签相关性,从而改进了学习模型。在人工和真实世界数据集上的大量实验表明,我们的方法可以实现优于或与最先进的方法相当的性能。
2019-06-03 cs.LG stat.ML
Learning the Sparse and Low Rank PARAFAC Decomposition via the Elastic Net
Peking University(北京大学);Massachusetts General Hospital(麻省总医院)
本文提出一种贝叶斯模型,通过弹性网学习存在缺失值的张量的稀疏和低秩PARAFAC分解,能鲁棒地找到真实秩和稀疏因子矩阵,并提出高效的块坐标下降算法和admax随机块坐标下降算法以解决大规模问题。
2017-05-29 cs.NA math.NA math.OC
Sparse and Low-Rank Covariance Matrices Estimation
本文的目的是从半定总体协方差阵中获得同时稀疏和低秩的估计。我们首先受益于一个凸优化开发$l_1$ -范数惩罚,鼓励稀疏性和核范数有利于低秩属性。对于所提出的估计量,我们证明了估计率的Frobenious范数在一般情况下可以是$O(\sqrt{s(\log{r})/n})$阶,其中$s$和$r$分别表示稀疏条目数和总体协方差的秩,$n$表示样本容量.最后提出了一种有效的具有全局收敛性的乘子交替方向法,并通过数值模拟说明了该方法的优点.
2014-08-07 math.OC math.ST stat.ML
Sparse Least Squares Low Rank Kernel Machines
The University of Sydney(悉尼大学);University of Reading(雷丁大学)
提出了一种低秩核最小二乘支持向量机(LR-LSSVM)的一般框架。具有受控模型大小的低秩核的特殊结构为所提出的模型带来了稀疏性和计算效率。同时,提出了一种两步优化算法与三种不同的标准,并进行了各种实验,使用所谓的鲁棒RBF核的例子来验证模型。实验结果表明,该算法的性能与现有的几种核机器相当或更好。
2019-10-18 cs.AI cs.LG stat.ML
Recovery of Sparse and Low Rank Components of Matrices Using Iterative Method with Adaptive Thresholding
Advanced Communication Research Institute (ACRI), Electrical Engineering Department, Sharif University of Technology(德黑兰理工大学先进通信研究院)
本文提出一种利用自适应阈值迭代方法恢复矩阵稀疏和低秩成分的算法,通过阈值操作获取低秩和稀疏成分,具有高效性和易实现性,并在非稀疏噪声应用中表现出良好的性能。
2017-04-12 cs.NA math.NA stat.ML
Learning sparse mixtures of rankings from noisy information
Northwestern University(西北大学);Carnegie Mellon University(卡内基梅隆大学);Columbia University(哥伦比亚大学)
我们研究的问题,学习一个未知的混合物的$k$排名超过$n$元素,获得噪声样本从未知的混合物。我们考虑了一系列不同的噪声模型,包括“热核”噪声框架和Mallow模型的自然变体。对于这些噪声模型中的每一个,我们给出了一个算法,在温和的假设下,学习未知的混合物,以高精度和运行在$n^{O(\log k)}$时间。对于密切相关的问题,以前最好的算法的运行时间在$k$中是指数的。
2018-11-03 cs.CC cs.DS cs.LG
The Sparse Principal Component of a Constant-rank Matrix
矩阵稀疏主成分的计算等价于识别具有最大特征值的主子阵。找到这个最优子矩阵是使问题${\mathcal{NP}}$困难的原因。在这项工作中,我们证明了,如果矩阵是半正定的,其秩是常数,那么它的稀疏主成分是多项式可计算的。我们的证明利用辅助单位向量技术,最近开发的多项式可解的问题,以确定。此外,我们使用这种技术来设计一个算法,对于任何稀疏值,计算稀疏主成分的复杂性${\mathcal O}\left(N^{D+1}\right)$,其中$N$和$D$是矩阵的大小和秩,分别。我们的算法是完全并行化和内存效率。
2013-12-20 cs.IT math.IT stat.ML
Low Rank for Rank: Uncertainty-Aware Task-Specific LLM Ranking under Sparse Pairwise Comparisons
Laboratory for Information and Decision Systems, MIT(麻省理工学院信息与决策系统实验室);Daniels School of Business, Purdue University(普渡大学丹尼尔斯商学院)
提出一种低秩框架,通过稀疏成对比较进行任务特定的大语言模型排名,利用任务-模型能力矩阵的低秩结构实现跨任务信息共享,并开发了不确定性量化方法以提供置信区间和排名证书。
2026-09-04 stat.ME stat.ML
Semi-Supervised Classification on Non-Sparse Graphs Using Low-Rank Graph Convolutional Networks
Department of Mathematics, Chair of Scientific Computing(数学系,科学计算教研室)
本文提出了一种低秩图卷积网络架构,用于高效处理非稀疏图上的半监督学习问题,通过引入低秩滤波器提升运行效率和准确率,并扩展到超图数据集的处理。
2019-05-24 cs.DM cs.LG cs.NA
On Cross-validation for Sparse Reduced Rank Regression
在高维数据分析中,追求稀疏性和/或低秩的正则化方法近年来受到了广泛的关注。为了提供适当的收缩量,通常使用网格搜索和模型比较准则来找到最佳正则化参数。然而,我们发现,在所有褶皱上固定参数可能会导致不一致的问题,更合适的方法是交叉验证投影选择模式以获得最佳系数估计。我们在联合稀疏和秩亏模型的样本误差研究导致一类新的信息标准与四个无标度形式绕过噪声水平的估计。通过使用一个身份,我们提出了一种新的无标度校准,以帮助交叉验证非渐近地实现最小最大最优错误率。实验证明了所提方法的有效性。
2018-12-30 stat.ME stat.ML
A least-squares method for sparse low rank approximation of multivariate functions
Ecole Centrale Nantes, Université de Nantes, GeM UMR CNRS 6183(南特中央理工学院,南特大学,GeM UMR CNRS 6183);Department of Applied Mathematics and Modeling, Airbus Group(空中客车集团应用数学与建模系)
本文提出一种基于离散最小二乘的低秩近似方法,用于从随机无噪声观测中近似多变量函数,通过引入稀疏诱导正则化技术,利用交叉验证选择最优正则化参数和秩,验证该算法在少次数评估下近似多变量函数的能力。
2014-07-09 cs.NA math.NA stat.ML
Estimation of partial rankings from sparse, noisy comparisons
Institute of Data Science, University of Hong Kong(香港大学数据科学研究所);Department of Urban Planning and Design, University of Hong Kong(香港大学城市规划与设计系);Urban Systems Institute, University of Hong Kong(香港大学城市系统研究所)
本文提出了一种非参数贝叶斯方法,用于在稀疏和噪声数据中学习部分排名,通过快速聚类算法实现MAP推断,提升了稀疏数据下的排名效率。
2026-01-08 cs.SI physics.soc-ph stat.ML