A Bayesian Approach to Sparse plus Low rank Network Identification
研究了用稀疏动态贝叶斯网络模型对多元时间序列进行建模的问题。这种结构转化为稀疏加低秩模型。在本文中，我们提出了一个高斯回归方法来识别这样的模型。
2015-09-26 math.OC stat.ML
How Can We Be So Dense? The Benefits of Using Highly Sparse Representations
Numenta
今天大多数人工网络依赖于密集表示，而生物网络依赖于稀疏表示。在本文中，我们将展示如何稀疏表示可以更强大的噪声和干扰，只要潜在的维数是足够高的。我们开发的一个关键直觉是，稀疏向量周围的可操作体积除以代表性空间的体积的比率随维度呈指数下降。然后，我们分析计算效率稀疏网络包含稀疏权重和激活。在MNIST和Google Speech Command Dataset上进行的模拟表明，与密集网络相比，此类网络的鲁棒性和稳定性显著提高，同时保持了具有竞争力的准确性。我们讨论了稀疏性在精度、噪声鲁棒性、超参数调整、学习速度、计算效率和功耗要求方面的潜在好处。
2019-04-02 cs.LG stat.ML
Sparse Reduced-Rank Regression for Simultaneous Rank and Variable Selection via Manifold Optimization
The University of Electro-Communications（电气通信大学）
针对高真实秩下降秩回归系数估计失效的问题，提出基于稀疏正则化与流形优化的同时秩与变量选择算法，实现准确估计并验证有效性。
2019-11-01 cs.LG stat.ME stat.ML
A Unified Framework for Low-Rank plus Sparse Matrix Recovery
我们提出了一个统一的框架来解决基于矩阵分解的一般低秩加稀疏矩阵恢复问题，它涵盖了满足限制性强凸性和光滑性条件的广泛目标函数族。基于投影梯度下降和双阈值算子，我们提出的遗传算法保证以局部线性速度收敛到未知的低秩和稀疏矩阵，同时匹配最知名的鲁棒性保证（即，稀疏性的容忍度）。在我们的理论的核心是一个新的结构Lipschitz梯度条件的低秩加稀疏矩阵，这是必不可少的证明我们的算法的线性收敛速度，我们相信是独立的兴趣，以证明一般的叠加结构模型的快速速度。我们通过两个具体的例子来说明我们的框架的应用：鲁棒矩阵传感和鲁棒PCA。合成和真实数据集上的实验证实了我们的理论。
2018-02-20 stat.ML
On the Landscape of One-hidden-layer Sparse Networks and Beyond
Peking University（北京大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
稀疏神经网络由于其相对于密集网络的小尺寸而受到越来越多的关注。然而，现有的神经网络理论研究大多集中在密集神经网络上，对稀疏网络的理解非常有限。在本文中，我们研究了单隐层稀疏网络的损失景观。首先，我们考虑具有密集最终层的稀疏网络。我们证明了线性网络在特殊的稀疏结构下可以不存在伪谷，而非线性网络在宽的最终层下也可以不存在伪谷。其次，我们发现，虚假的山谷和虚假的最小值可以存在广泛的稀疏网络与稀疏的最后一层。这与在温和假设下没有虚假谷的宽密集网络不同。
2022-05-17 cs.LG stat.ML
Fast Training of Sparse Graph Neural Networks on Dense Hardware
University of Cambridge（剑桥大学）；MPI Tübingen（马克斯·普朗克研究所图宾根分所）；Google Research, Brain Team（谷歌研究大脑团队）；DeepMind（深度思维）
图神经网络由于其自然编码关系输入数据的能力以及通过对图邻接矩阵的稀疏表示进行操作而扩展到大型图的能力，近年来变得越来越流行。当我们希望使用自定义硬件扩展这些模型时，一个自然的假设是我们需要针对稀疏操作和/或动态控制流定制的硬件。在这项工作中，我们通过使用针对固定大小数据的密集计算的平台来扩展稀疏图神经网络来质疑这一假设。从稀疏矩阵上的数值算法优化中汲取灵感，我们开发了一些技术，可以使用512核TPUv 2 Pod在13分钟内训练Allamanis等人[2018]的稀疏图神经网络模型，而原始训练几乎需要一天。
2019-06-27 cs.LG stat.ML
Provable Low Rank Plus Sparse Matrix Separation Via Nonconvex Regularizers
University of Pittsburgh（匹兹堡大学）；UPMC Hillman Cancer Center（匹兹堡大学医学中心希尔曼癌症中心）；Rensselaer Polytechnic Institute（伦斯勒理工学院）
本文考虑了一个大类的问题，我们试图恢复一个低秩矩阵和/或稀疏向量从一些测量。虽然基于凸松弛的方法遭受（可能很大）估计偏差，和其他非凸方法需要的秩或稀疏性是已知的先验，我们使用非凸正则化，以最大限度地减少秩和$l_0$规范没有估计偏差的凸松弛。我们提出了一种新的分析交替近端梯度下降算法应用到这样的问题，并绑定的迭代和地面真实稀疏和低秩矩阵之间的误差。该算法和误差界可以应用于稀疏优化，矩阵补充，和鲁棒主成分分析作为我们的结果的特殊情况。
2021-09-26 cs.LG math.OC stat.ML
Recovery of Sparse and Low Rank Components of Matrices Using Iterative Method with Adaptive Thresholding
Advanced Communication Research Institute (ACRI), Electrical Engineering Department, Sharif University of Technology（德黑兰理工大学先进通信研究院）
本文提出一种利用自适应阈值迭代方法恢复矩阵稀疏和低秩成分的算法，通过阈值操作获取低秩和稀疏成分，具有高效性和易实现性，并在非稀疏噪声应用中表现出良好的性能。
2017-04-12 cs.NA math.NA stat.ML
Factor Group-Sparse Regularization for Efficient Low-Rank Matrix Recovery
Cornell University（康奈尔大学）
本文提出了一类新的非凸正则化子，用于低秩矩阵的恢复。许多正则化子的动机是作为矩阵秩函数的凸松弛。我们的新的因子组稀疏正则化的动机是作为一个放松的非零列的矩阵分解的数量。这些非凸正则化子比核规范更尖锐，事实上，我们证明了它们与任意小$0 < p \leq 1$的Schatten-$p$规范有关。此外，这些因子组稀疏正则化器可以写成因子化的形式，从而实现高效和有效的非凸优化;值得注意的是，该方法不使用奇异值分解。我们提供了低秩矩阵完备化的泛化误差界，这表明随着$p$的减小，Schatten- $p$范数正则化的上界得到了改进。与核范数的最大范数和因子化形式相比，因子组稀疏正则化更有效，更准确，并且对秩的初始猜测具有鲁棒性。实验结果表明，因子组稀疏正则化方法在低秩矩阵完备化和鲁棒主成分分析中具有良好的性能。
2019-11-18 cs.LG stat.ML
When coding meets ranking: A joint framework based on local learning
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）；Chinese Academy of Sciences（中国科学院）
稀疏编码将数据点表示为关于字典的稀疏重构码，已经成为流行的数据表示方法。同时，在数据库检索问题中，从数据点学习排序分数起着重要的作用。到目前为止，这两个问题一直被单独考虑，假设数据编码和排名是两个独立且不相关的问题。然而，稀疏编码和排名分数学习之间是否存在内在联系？如果是，如何探索和利用这种内在联系？在本文中，我们试图回答这些问题，通过开发第一个联合稀疏编码和排名得分学习算法。为了探索稀疏代码空间中的局部分布，也为了桥接编码和排名问题，我们假设在每个数据点的邻域中，排名分数可以通过局部线性函数从相应的稀疏代码近似。通过考虑排序得分的局部逼近误差、稀疏编码的重构误差和稀疏性以及用户提供的查询信息，构造了稀疏编码、字典和排序得分学习的统一目标函数。我们进一步开发了一个迭代算法来解决这个优化问题。
2016-11-02 cs.CV cs.LG stat.ML
Boosted Sparse and Low-Rank Tensor Regression
Weill Cornell Medicine（威尔康奈尔医学院）；University of Connecticut（康涅狄格大学）；Michigan State Universtiy（密歇根州立大学）
我们提出了一个稀疏和低秩张量回归模型，将单变量结果与特征张量相关联，其中来自系数张量的CP分解的每个单位秩张量被假设为稀疏的。这种结构既简约又高度可解释，因为它意味着结果通过几个不同的途径与特征相关，每个途径可能只涉及特征维度的子集。我们采取分而治之的策略，简化成一组稀疏的单位秩张量回归问题的任务。为了使计算效率和可扩展性，对于单位秩张量回归，我们提出了一个逐步估计过程，以有效地跟踪其整个解决方案的路径。我们表明，当步长为零，逐步解决方案的路径收敛到相应的正则化回归。我们的方法的优越性能表现在各种现实世界和合成的例子。
2018-11-03 cs.LG stat.ML
Dictionary-based Low-Rank Approximations and the Mixed Sparse Coding problem
Univ Lyon, INSA-Lyon, UCBL, UJM-Saint Etienne, CNRS, Inserm, CREATIS UMR 5220, U1206（里昂大学、里昂国立应用科学学院、里昂第一大学、圣埃蒂安让·莫内大学、法国国家科学研究中心、法国国家健康与医学研究院、CREATIS医学影像研究中心）
约束张量和矩阵分解模型允许从多路数据中提取可解释的模式。因此，约束低秩近似的可辨识性及其有效算法是当前重要的研究课题。本文研究了一个低秩近似的因子矩阵列在一个已知且可能过完备的基上是稀疏的，这个模型被称为基于字典的低秩近似（DLRA）.虽然早期的贡献集中在寻找候选列字典中的因子列，即一稀疏近似，但这项工作是第一个解决稀疏度大于一的DLRA。我建议把重点放在稀疏编码子问题创造混合稀疏编码（MSC），解决DLRA时出现的交替优化策略。提出了几种基于稀疏编码算法（贪婪法、凸松弛法）的MSC求解算法。模拟数据的性能进行评估，这些prosticistics。然后，我展示了如何适应一个高效的MSC求解器的基础上LASSO计算字典为基础的矩阵分解和规范的多元分解的背景下，高光谱图像处理和化学计量学。这些实验表明，DLRA扩展了低秩近似的建模能力，有助于减少估计方差，提高估计因子的可识别性和可解释性。
2022-01-21 cs.LG stat.ML
Learning the Sparse and Low Rank PARAFAC Decomposition via the Elastic Net
Peking University（北京大学）；Massachusetts General Hospital（麻省总医院）
本文提出一种贝叶斯模型，通过弹性网学习存在缺失值的张量的稀疏和低秩PARAFAC分解，能鲁棒地找到真实秩和稀疏因子矩阵，并提出高效的块坐标下降算法和admax随机块坐标下降算法以解决大规模问题。
2017-05-29 cs.NA math.NA math.OC
Low Rank for Rank: Uncertainty-Aware Task-Specific LLM Ranking under Sparse Pairwise Comparisons
Laboratory for Information and Decision Systems, MIT（麻省理工学院信息与决策系统实验室）；Daniels School of Business, Purdue University（普渡大学丹尼尔斯商学院）
提出一种低秩框架，通过稀疏成对比较进行任务特定的大语言模型排名，利用任务-模型能力矩阵的低秩结构实现跨任务信息共享，并开发了不确定性量化方法以提供置信区间和排名证书。
2026-09-04 stat.ME stat.ML
Transfer Denoising of Low-Rank Plus Sparse Matrices under Ambient and Rank Growth
Department of Operations Research & Financial Engineering, Princeton University（普林斯顿大学运筹学与金融工程系）；Department of Technology, Operations, & Statistics, New York University（纽约大学技术、运营与统计系）；Department of Computer Science, Dartmouth College（达特茅斯学院计算机科学系）
本文提出了一种在环境维度和表示同时增长下的迁移学习框架，通过低秩和稀疏分解实现高效的目标参数估计，并在理论和实验上验证了其有效性。
2026-10-14 cs.LG stat.ML
Sparse GPU Kernels for Deep Learning
Stanford University（斯坦福大学）；Google Brain（谷歌大脑）；DeepMind
科学工作负载传统上利用高水平的稀疏性来加速计算并减少内存需求。虽然深度神经网络可以变得稀疏，但在GPU上实现实际的加速是困难的，因为这些应用具有相对中等的稀疏性水平，不足以使现有的稀疏内核优于其密集的对应物。在这项工作中，我们研究了深度学习应用中的稀疏矩阵，并确定了可用于加速计算的有利属性。基于这些见解，我们开发了高性能的GPU内核的两个稀疏矩阵运算广泛适用于神经网络：稀疏矩阵稠密矩阵乘法和采样稠密矩阵乘法。我们的内核在Nvidia V100 GPU上达到单精度峰值的27%。使用我们的内核，我们展示了稀疏的Transformer和MobileNet模型，实现了1.2- 2.1倍的加速比和高达12.8倍的内存节省，而不牺牲准确性。
2020-08-31 cs.DC cs.LG stat.ML
Subzero matrix completion for sparse data analysis: large-scale learning of latent low-rank structure
Flatiron Institute（弗莱堡研究所）；Courant Institute, NYU（纽约大学库朗数学研究所）；Google Research（谷歌研究院）
本文针对稀疏非负矩阵补全问题，提出可扩展的随机交替最小二乘算法，结合稀疏优化与CUDA内核加速，成功应用于果蝇连接组突触权重矩阵分析，揭示其潜在低秩结构的预测能力。
2026-08-25 cs.LG stat.ML
Sparse and Low-Rank Covariance Matrices Estimation
本文的目的是从半定总体协方差阵中获得同时稀疏和低秩的估计。我们首先受益于一个凸优化开发$l_1$ -范数惩罚，鼓励稀疏性和核范数有利于低秩属性。对于所提出的估计量，我们证明了估计率的Frobenious范数在一般情况下可以是$O(\sqrt{s(\log{r})/n})$阶，其中$s$和$r$分别表示稀疏条目数和总体协方差的秩，$n$表示样本容量.最后提出了一种有效的具有全局收敛性的乘子交替方向法，并通过数值模拟说明了该方法的优点.
2014-08-07 math.OC math.ST stat.ML
Gradient Descent for Sparse Rank-One Matrix Completion for Crowd-Sourced Aggregation of Sparsely Interacting Workers
Boston University（波士顿大学）；Google DeepMind（谷歌DeepMind）
我们考虑了单个硬币Dawid-Skene众包模型的工人技能估计。在实践中，技能估计是具有挑战性的，因为工人的分配是稀疏和不规则的，由于工人的任意和不受控制的可用性。我们制定技能估计作为一个秩一相关矩阵完成问题，其中观察到的组件对应于观察到的工人之间的标签相关性。我们表明，相关矩阵可以成功地恢复和技能是可识别的，当且仅当采样矩阵（观察到的组件）没有一个二分连接组件。然后，我们提出了一个预计的梯度下降计划，并表明技能估计收敛到所需的全局最优值，这样的采样矩阵。我们的证明是原创的，而且考虑到即使是加权一阶矩阵分解问题通常也是NP难的这一事实，结果也令人惊讶。接下来，我们推导出采样矩阵的无符号拉普拉斯算子的谱特性方面的样本复杂度界。我们提出的方案在许多现实世界的数据集上实现了最先进的性能。
2020-07-23 cs.HC cs.LG stat.ML
Improved Sparse Low-Rank Matrix Estimation
New York University（纽约大学）
我们解决的问题估计稀疏低秩矩阵从其噪声观测。我们提出了一个目标函数的数据保真度项和两个参数化的非凸罚函数。此外，我们展示了如何设置非凸罚函数的参数，以确保目标函数是严格凸的。与利用核范数和$\ell_1$范数之和的凸方法相比，所提出的目标函数更好地估计稀疏低秩矩阵。我们推导出一种算法（作为ADMM的实例）来解决所提出的问题，并在适当设置标量增广拉格朗日参数的情况下保证其收敛性。我们证明了所提出的方法去噪的音频信号和邻接矩阵表示蛋白质相互作用的“大肠杆菌”细菌。
2017-04-12 cs.LG math.OC stat.ML
Several Approximation Algorithms for Sparse Best Rank-1 Approximation to Higher-Order Tensors
Guangxi University（广西大学）
稀疏张量最佳秩1近似（BR1Approx）是稠密张量BR1Approx的稀疏推广，是稀疏矩阵BR1Approx的高阶扩展，是稀疏张量分解及相关统计和机器学习问题中的重要问题之一.利用问题的多重线性和稀疏结构，提出了四种易于实现、计算复杂性低、可作为迭代算法初始化步骤的近似算法。此外，理论上保证最坏情况下的近似下界证明了所有的算法。我们提供了数值实验的合成和真实的数据来说明所提出的算法的有效性。
2022-07-14 cs.LG cs.NA math.NA
Smoothed Low Rank and Sparse Matrix Recovery by Iteratively Reweighted Least Squares Minimization
National University of Singapore（新加坡国立大学）；Peking University（北京大学）
这项工作提出了一个通用的框架，用于解决低秩和/或稀疏矩阵最小化问题，这可能涉及多个非光滑项。迭代加权最小二乘法（IRLS）是一种快速求解器，它通过交替更新变量及其权重来平滑目标函数并使其最小化。然而，传统的IRLS只能解决稀疏或低秩的平方损失或仿射约束的最小化问题。这项工作推广IRLS解决联合/混合低秩和稀疏最小化问题，这是许多任务的基本配方。作为一个具体的例子，我们用IRLS求解了$p$范数和$\ell_{2,q}$ -范数正则化的低秩表示（LRR）问题，并从理论上证明了所导出的解是一个稳定点（如果$p,q\geq1$是全局最优的）.我们的IRLS的收敛性证明比以前的证明更一般，它依赖于$p$范数和$\ell_{2,q}$ -范数的特殊性质.在合成数据集和真实数据集上的大量实验表明，我们的IRLS更有效。
2014-12-06 cs.CV cs.LG stat.ML
Low Rank Matrix Recovery with Simultaneous Presence of Outliers and Sparse Corruption
University of Central Florida（中佛罗里达大学）
本文研究了一个数据模型，其中数据矩阵D可以表示为D = L + S + C，其中L是低秩矩阵，S是元素稀疏矩阵，C是非零列为离群数据点的矩阵。到目前为止，强大的PCA算法只考虑S或C的模型，而不是两者都考虑。因此，现有的算法不能同时考虑元素和列的腐败。本文提出了一种新的鲁棒PCA算法，该算法对同时发生的腐败类型具有鲁棒性。我们的方法依赖于稀疏损坏列的稀疏近似，使得列相对于其他数据点的稀疏扩展用于区分稀疏损坏的内点列和外围数据点。我们还开发了一个随机设计，提供了一个可扩展的实施所提出的方法。稀疏近似的核心思想进行了分析，我们表明，潜在的ell_1-范数最小化可以获得一个内点的稀疏腐败的存在下的表示。
2017-02-07 cs.CV cs.LG stat.ML
Sparse and Low-rank Tensor Estimation via Cubic Sketchings
在本文中，我们提出了一个通用的框架稀疏和低秩张量估计从立方草图。基于稀疏张量分解和阈值梯度下降，提出了一种两阶段的非凸实现方法，保证了无噪声情况下的精确恢复和噪声情况下的稳定恢复。非渐近分析揭示了优化误差和统计误差之间的相互作用。所提出的方法被证明是在一定条件下的速率最优。作为一个技术副产品，新的高阶浓度不等式的研究高矩亚高斯张量。一个有趣的张量公式说明了在高维线性回归中高阶相互作用追踪的潜在应用。
2020-03-15 math.ST stat.ML stat.TH
