The folded concave Laplacian spectral penalty learns block diagonal sparsity patterns with the strong oracle property
结构稀疏性是现代统计工具包的重要组成部分。我们说一组模型参数具有块对角稀疏性，直到排列，如果它的元素可以被视为具有多个连通分量的图的边。例如，具有K个变量块的块对角相关阵对应于具有K个连通分量的图，其节点是变量，其边是相关性。这种类型的稀疏性捕获模型参数的聚类。为了学习块对角稀疏模式，我们开发了折叠凹拉普拉斯谱惩罚，并提供了一个优化最小化算法产生的非凸问题。我们表明，该算法具有吸引力的计算和统计保证收敛到Oracle估计后，两个步骤的高概率，即使在高维设置。然后，该理论证明在几个经典的问题，包括协方差估计，线性回归，和逻辑斯谛回归。
2021-10-09 math.ST stat.ME stat.TH
High Dimensional Gaussian Graphical Regression Models with Covariates
虽然高斯图模型已被广泛应用于许多科学领域，相对有限的进展已取得联系图结构的外部协变量。我们提出了一个高斯图回归模型，它回归的平均值和精度矩阵的高斯图模型的协变量。在共表达数量性状基因座（QTL）研究的背景下，我们的方法可以确定遗传变异和临床状况如何调节受试者级别的网络结构，并恢复群体级别和受试者级别的基因网络。我们的框架鼓励协变量对均值和精度矩阵的影响稀疏。特别是对于精度矩阵，我们规定同时稀疏，即，组稀疏性和元素稀疏性，分别对有效协变量及其对网络边缘的影响。我们首先在已知均值参数的情况下建立变量选择一致性，然后在均值未知依赖于外部协变量的情况下建立更具挑战性的变量选择一致性，并在这两种情况下建立估计精度参数的$\ell_2$收敛速度和选择一致性。我们提出的方法的实用性和有效性证明，通过模拟研究和应用程序与脑癌患者的共表达QTL研究。
2022-01-29 math.ST stat.ME stat.TH
A first-order optimization algorithm for statistical learning with hierarchical sparsity structure
在许多统计学习问题中，期望最优解符合由有向无圈图表示的先验已知稀疏结构。通过凸正则化子来诱导这样的结构需要利用组重叠的非光滑罚函数。我们的研究重点是评价Jacob等人（2009）开发的潜在重叠组套索的近端操作符。我们实现了一个乘法器的交替方向法与共享计划，以解决大规模的基础最优化问题的情况下有效地。在不存在强凸性的情况下，利用误差界理论证明了算法的全局线性收敛性。更具体地说，当目标函数中的非光滑部分不具有多面体epigraph时，本文有助于建立原始和对偶误差界。我们还研究了图的结构对算法收敛速度的影响。详细的数值模拟研究不同的图形结构支持所提出的算法和两个应用程序中的学习。
2020-10-18 math.OC stat.CO
Sparsity-Inducing Categorical Prior Improves Robustness of the Information Bottleneck
Michigan State University（密歇根州立大学）；Argonne National Laboratory（阿贡国家实验室）；Google Research（谷歌研究院）
信息瓶颈框架提供了一种系统的方法来学习表示，压缩输入中的滋扰信息，并提取有关预测的语义上有意义的信息。然而，选择固定所有数据的维度的先验分布会限制这种方法用于学习鲁棒表示的灵活性。我们提出了一种新的稀疏诱导穗板分类先验，使用稀疏性作为一种机制，以提供灵活性，允许每个数据点学习自己的维度分布。此外，它提供了一种机制，用于学习潜在变量和稀疏度的联合分布，因此可以考虑潜在空间中的完全不确定性。通过在MNIST、CIFAR-10和ImageNet数据上使用分布内和分布外学习场景进行的一系列实验，我们表明，与传统的固定维先验以及文献中提出的潜变量模型的其他稀疏诱导机制相比，所提出的方法提高了准确性和鲁棒性。
2022-10-28 cs.LG stat.ME stat.ML
Improving approximate RPCA with a k-sparsity prior
Technische Universität München（慕尼黑工业大学）
鲁棒PCA（RPCA）的过程中心视图允许其基于具有跨所有层共享的权重的深度神经网络的特殊形式的快速近似实现。然而，根据经验，这种快速近似RPCA未能找到的表示是parsemonious。我们解决这些坏的局部最小值通过放松elementwise L1和L2先验，而不是利用结构诱导k-稀疏先验。在判别分类任务中，新学习的表示明显优于原始近似RPCA公式。
2014-12-29 cs.LG cs.NE
Efficient Robustness Certificates for Discrete Data: Sparsity-Aware Randomized Smoothing for Graphs, Images and More
Technical University of Munich（慕尼黑工业大学）
现有的技术用于证明离散数据的模型的鲁棒性，或者只适用于一小类模型，或者是以效率或紧密性为代价的一般性技术。此外，他们不占稀疏的输入，我们的研究结果表明，往往是必不可少的获得非平凡的保证。我们提出了一个模型不可知的证书的基础上的随机平滑框架，它包含了早期的工作，是紧密的，高效的，和稀疏意识。它的计算复杂性不依赖于离散类别的数量或输入的维度（例如图的大小），使其具有高度的可扩展性。我们展示了我们的方法在各种模型，数据集和任务上的有效性-特别强调了它在图神经网络中的应用。到目前为止，由于离散和非独立同分布，获得GNN的可证明保证一直很困难。图表数据的性质。我们的方法可以证明任何GNN，并处理对图结构和节点属性的扰动。
2023-02-27 cs.CR cs.LG cs.SI
Stochastic Variance-Reduced Iterative Hard Thresholding in Graph Sparsity Optimization
Texas A&M University（德克萨斯农工大学）
针对复杂非凸图稀疏模型，本文提出两种基于随机方差缩减梯度的优化方法GraphSVRG-IHT和GraphSCSG-IHT，并构建理论框架证明其具有线性收敛速度。
2024-07-24 cs.AI cs.LG stat.ML
Stochastic Iterative Hard Thresholding for Graph-structured Sparsity Optimization
SUNY at Albany（纽约州立大学奥尔巴尼分校）
随机优化算法以较低的每次迭代成本连续更新模型，这使得它们适合大规模数据分析。这种算法已经被广泛研究用于结构化稀疏模型，其中稀疏信息是非常具体的，例如，凸稀疏诱导范数或$\ell^0$ -范数。然而，这些规范不能直接应用于复杂的（非凸）图结构稀疏模型的问题，这在疾病爆发和社交网络等有重要的应用。在本文中，我们提出了一种基于随机梯度的方法来解决图结构稀疏约束问题，不限于最小二乘损失。我们证明了我们的算法具有线性收敛到一个常数的错误，这是竞争对手在批量学习设置。我们进行了大量的实验，以显示所提出的算法的效率和有效性。
2019-05-09 cs.AI cs.LG stat.ML
Solving Linear Inverse Problems Using GAN Priors: An Algorithm with Provable Guarantees
Iowa State University（爱荷华州立大学）
在最近的工作中，基于稀疏性的方法以及基于学习的方法已被证明是成功的，在解决一些具有挑战性的线性逆问题。然而，稀疏先验的自然信号和图像遭受差的判别能力，而基于学习的方法很少提供具体的理论保证。在这项工作中，我们提倡用生成对抗网络（GAN）代替手工制作的先验（如稀疏性）来解决线性逆问题（如压缩感知）。特别是，我们提出了一个投影梯度下降（PGD）算法，有效地利用GAN先验的线性反问题，并提供理论保证，这种算法的收敛速度。此外，我们的经验表明，我们的算法表现出优越的性能比现有的方法利用GANs压缩感知。
2018-02-23 cs.LG stat.ML
Partial Disentanglement via Mechanism Sparsity
Mila（米拉人工智能研究所）；DIRO, Université de Montréal（蒙特利尔大学计算机科学与运筹学系）
最近引入了通过机制稀疏解纠缠作为一种原则性的方法来提取潜在的因素，而无需监督时，因果图与他们在时间上是稀疏的，和/或当行动被观察到，并影响他们稀疏。然而，这个理论只适用于满足特定标准的地面实况图。在这项工作中，我们介绍了这一理论的推广，适用于任何地面真值图，并定性地指定如何解开学习表示预期，通过一个新的等价关系模型，我们称之为一致性。这种等价性捕获了哪些因素预计将保持纠缠，哪些因素不基于地面实况图的特定形式。我们把这种较弱形式的可识别性称为部分解纠缠。在早期的工作中提出的允许完全解纠缠的图形准则可以作为我们理论的一个特例导出。最后，我们用约束优化来增强图的稀疏性，并在仿真中说明了我们的理论和算法。
2022-07-15 cs.LG stat.ML
Fiedler Regularization: Learning Neural Networks with Graph Sparsity
Duke University（杜克大学）
我们引入了一种新的深度学习正则化方法，该方法结合并尊重神经网络的底层图形结构。现有的正则化方法通常专注于以全局方式丢弃/惩罚权重，而忽略了神经网络的连接结构。我们建议使用神经网络的底层图的Fiedler值作为正则化的工具。我们通过谱图理论为这种方法提供了理论支持。我们列出了Fiedler值的几个有用的属性，使其适合正则化。我们提供了一个近似的，变分的方法，在实际训练的神经网络的快速计算。我们提供这种近似的界限。我们提供了一个替代的，但等价的制定这个框架的结构加权L1处罚的形式，从而将我们的方法稀疏感应。我们在数据集上进行了实验，将Fiedler正则化与传统的正则化方法（如dropout和weight decay）进行了比较。结果证明了Fiedler正则化的有效性。
2020-08-15 cs.LG stat.ML
Dual Averaging Method for Online Graph-structured Sparsity
University at Albany, SUNY（纽约州立大学奥尔巴尼分校）
在线学习算法通过每次迭代一个样本来更新模型，因此可以有效地处理大规模数据集，并有助于检测恶意事件以获得社会效益，例如疾病爆发和交通拥堵。然而，现有的图结构模型的算法主要集中在离线设置和最小平方损失，无法在线设置，而在线设置的方法不能直接应用于复杂（通常是非凸）图结构稀疏模型的问题。为了解决这些问题，在本文中，我们提出了一个新的算法，我们称之为\textsc{GraphDA}在线设置下的图结构稀疏约束问题。\textsc{GraphDA}的关键部分是将平均梯度（对偶空间）和原始变量（原始空间）投影到低维子空间上，从而有效地捕获图结构稀疏性。此外，这里假设的目标函数通常是凸的，以便处理在线学习设置的不同损失。据我们所知，\textsc{GraphDA}是第一个图结构约束优化问题的在线学习算法。为了验证我们的方法，我们在基准图和真实世界的图数据集上进行了大量的实验。实验结果表明，与其他基线方法相比，\textsc{GraphDA}不仅提高了分类性能，而且更有效地捕获了图结构特征，具有更强的可解释性。
2019-05-26 cs.AI cs.LG stat.ML
SpeqNets: Sparsity-aware Permutation-equivariant Graph Networks
McGill University（麦吉尔大学）；Mila Quebec AI Institute（米拉魁北克人工智能研究所）；RWTH Aachen University（亚琛工业大学）；Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所）
虽然（消息传递）图神经网络在图或一般关系数据上近似置换等变函数方面具有明显的局限性，但更具表达力的高阶图神经网络不能扩展到大型图。它们要么在$k$阶张量上操作，要么考虑所有$k$节点子图，这意味着内存需求对$k$的指数依赖，并且不适应图的稀疏性。通过引入新的算法的图同构问题，我们设计了一类通用的，置换等变图网络，这与以前的架构不同，提供了一个细粒度的控制之间的表达性和可扩展性，并适应稀疏的图形。与标准高阶图网络相比，这些架构在监督节点级和图级分类和回归机制中大大减少了计算时间，同时在预测性能方面显著改善了标准图神经网络和图核架构。
2022-08-30 cs.AI cs.DS cs.LG
Approximate Message Passing with Nearest Neighbor Sparsity Pattern Learning
Tsinghua University（清华大学）；The University of Western Australia（西澳大学）
我们考虑的问题，恢复聚类稀疏信号的稀疏模式没有先验知识。除了简单的稀疏性之外，感兴趣的信号通常表现出潜在的稀疏性模式，如果利用该模式，可以提高重建性能。然而，稀疏模式通常是未知的先验。受k-近邻（k-NN）算法思想的启发，提出了一种自适应学习稀疏模式的近似消息传递算法（AMP-NNSPL）。AMP-NNSPL在未知信号上指定灵活的尖峰和厚片先验，并且在每次AMP迭代之后，通过期望最大化（EM）将稀疏比率设置为最近邻估计的平均值。仿真和实际数据的实验结果表明，我们提出的算法的优越性，无论是在重建性能和计算复杂性。
2016-01-04 cs.IT cs.LG math.IT
Implications of sparsity and high triangle density for graph representation learning
University of Bristol（布里斯托大学）
针对含大量三角形的稀疏图，本文提出节点表示位于低维流形上的无限维内积模型，指出全局表示不可恢复但局部低维表示可行，并质疑三角形隐含社区结构的观点。
2023-04-21 cs.LG stat.ML
Bayesian sparsity and class sparsity priors for dictionary learning and coding
Oak Ridge National Laboratory（橡树岭国家实验室）；Case Western Reserve University（凯斯西储大学）
提出贝叶斯框架下的字典压缩误差补偿与组稀疏编码方法，通过子字典压缩和降维，降低字典匹配的计算复杂度，并在LIGO毛刺检测和高光谱遥感中验证有效性。
2023-09-02 cs.LG cs.NA math.NA
Leveraging joint sparsity in hierarchical Bayesian learning
MIT（麻省理工学院）；Dartmouth College（达特茅斯学院）
提出层次贝叶斯方法，利用联合稀疏先验从多测量向量中推断稀疏参数，实验证明其优于常用方法。
2024-05-24 cs.LG cs.NA math.NA
Learning a Gaussian Mixture for Sparsity Regularization in Inverse Problems
MaLGa Center, Department of Mathematics, University of Genoa（马尔加中心，数学系，热那亚大学）；Department of Mathematics, University of Bologna（数学系，博洛尼亚大学）
该研究提出基于退化高斯混合的概率稀疏先验，构建可解释为线性逆问题贝叶斯估计器的神经网络及监督/无监督训练策略，在一维数据集上的重建均方误差优于多种经典稀疏正则化方法。
2025-06-11 cs.LG stat.ML
Information Theoretic Limits for Linear Prediction with Graph-Structured Sparsity
Krannert School of Management（克兰纳特管理学院）；Purdue University（普渡大学）；Department of Computer Science（计算机科学系）
我们分析了在有噪线性预测设置中进行稀疏向量恢复所需的样本数量。该模型包括线性回归和分类等问题。我们专注于结构化图模型。特别地，我们证明了Hegde等人提出的加权图模型的足够数量的样本也是必要的。我们使用的Fano的不平等，以及构造合奏作为我们的主要工具，在建立信息论的下限。
2017-05-06 cs.IT cs.LG math.IT
Efficient structure learning with automatic sparsity selection for causal graph processes
Imperial College London（帝国理工学院）
我们提出了一种新的算法，有效地计算一组时间序列的稀疏有向邻接矩阵的因果图过程。我们的解决方案是可扩展的密集和稀疏图，并自动选择LASSO系数，以获得适当数量的边缘的邻接矩阵。当前最先进的方法依赖于稀疏矩阵计算库来缩放，并且避免LASSO惩罚系数的自动选择或者依赖于预测均方误差，其与边缘的正确数量不直接相关。相反，我们提出了一个循环坐标下降算法，采用两个新的非参数误差度量自动选择LASSO系数。我们展示了我们的算法在模拟随机块模型和S\&P $500$的股票真实数据集上的最新性能。
2019-11-18 cs.LG stat.ML
Rethinking Bayesian Learning for Data Analysis: The Art of Prior and Inference in Sparsity-Aware Modeling
Zhejiang University（浙江大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；National and Kapodistrian University of Athens（雅典国立卡波迪斯特里安大学）；Aalborg University（奥尔堡大学）；Cyprus University of Technology（塞浦路斯理工大学）
二十多年来，信号处理和机器学习的稀疏建模一直是科学研究的焦点。其中，监督稀疏感知学习包括两条主要路径：a）判别方法和b）生成方法。后者，更广泛地称为贝叶斯方法，使不确定性评估w.r.t.进行的预测。此外，它们可以更好地利用相关的先验信息，并自然地将鲁棒性引入模型中，因为它们具有将与参数估计相关的不确定性边缘化的独特能力。此外，可以通过训练数据学习与所采用的先验知识相关联的超参数。实现稀疏感知学习的关键在于判别方法中函数正则化子的选择和贝叶斯学习中先验分布的选择。在过去十年左右的时间里，由于对深度学习的深入研究，重点放在了判别技术上。然而，贝叶斯方法的回归正在发生，这为深度神经网络的设计提供了新的思路，深度神经网络也与贝叶斯模型建立了牢固的联系，并为无监督学习带来了新的途径，例如贝叶斯张量分解。本文的目的是双重的。首先，以统一的方式回顾将稀疏促进先验纳入三种非常流行的数据建模工具（即深度神经网络，高斯过程和张量分解）的一些最新进展。其次，从不同的角度回顾了它们的相关推理技术，包括：基于最优化的证据最大化方法和变分推断方法。还讨论了小数据困境、自动模型结构搜索和自然预测不确定性评估等挑战。演示了典型的信号处理和机器学习任务。
2022-05-28 cs.LG eess.IV eess.SP
Improving Molecular Graph Neural Network Explainability with Orthonormalization and Induced Sparsity
Bayer AG（拜耳公司）
确定分子的哪些部分驱动分子图卷积神经网络（GCNN）的预测可能是困难的。为了提供帮助，我们提出了两种简单的正则化技术，用于GCNN的训练：批量表示正交归一化（BRO）和Gini正则化。BRO受分子轨道理论的启发，鼓励图形卷积运算生成正交节点嵌入。Gini正则化应用于输出层的权重，并限制模型可以用于进行预测的维度数量。我们证明了Gini和BRO正则化可以提高人工基准数据集上最先进的GCNN属性方法的准确性。在现实世界中，我们证明了药物化学家更喜欢从正则化模型中提取的解释。虽然我们只在GCNN的上下文中研究这些正则化器，但两者都可以应用于其他类型的神经网络
2021-08-31 cs.LG stat.ML
Sparsity exploitation via discovering graphical models in multi-variate time-series forecasting
FPT Software AI Center（FPT软件人工智能中心）；University of California San Diego（加州大学圣迭戈分校）
针对多变量时间序列预测中生成图缺乏稀疏性导致计算昂贵且难解释的问题，提出包含图生成与预测模块的解耦训练方法，利用GraphLASSO构建稀疏图结构并输入GCRN，在保持竞争力的同时提升可解释性并减少约40%训练时间。
2023-06-29 cs.LG
Learning Generative Prior with Latent Space Sparsity Constraints
Indian Institute of Science（印度科学学院）
我们使用深度生成先验模型解决压缩感知问题，并考虑线性和学习非线性感知机制，其中非线性感知机制涉及全连接神经网络或卷积神经网络。最近，有人认为，自然图像的分布不在于一个单一的流形，而是在于一个联盟的几个子流形。我们提出了一个稀疏驱动的潜在空间采样（SDLSS）框架，并开发了一个近似元学习（PML）算法，以加强潜在空间的稀疏性。SDLSS允许生成元的值域空间被视为子流形的并集。我们还推导出样本的复杂性界限内的SDLSS框架的线性测量模型。结果表明，对于更高程度的压缩，SDLSS方法是更有效的比国家的最先进的方法。我们首先考虑在Fashion-MNIST数据集上比较线性和非线性传感机制，并表明学习的非线性版本优于线性版本。随后的比较与深压缩传感（DCS）的框架中提出的文献报道。我们还考虑了潜在空间的维度和稀疏因子在验证SDLSS框架中的效果。性能量化是通过采用三个客观指标：峰值信噪比（PSNR），结构相似性指数度量（SSIM），和重建误差（RE）。
2021-05-25 cs.CV cs.LG
Beyond normality: Learning sparse probabilistic graphical models in the non-Gaussian setting
MIT（麻省理工学院）
我们提出了一个算法来识别稀疏依赖结构在连续和非高斯概率分布，给定相应的数据集。任意分布的条件独立结构可以表示为无向图（或马尔可夫随机场），但大多数学习这种结构的算法仅限于离散或高斯情况。我们的新方法可以更真实和准确地描述所讨论的分布，从而更好地估计其稀疏马尔可夫结构。图中的稀疏性是有趣的，因为它可以加速推理，改进采样方法，并揭示变量之间的重要依赖关系。该算法依赖于利用图的稀疏性和运输地图的稀疏性之间的连接，确定性地将一个概率度量耦合到另一个概率度量。
2017-11-06 cs.LG stat.ML
Compressive Phase Retrieval: Optimal Sample Complexity with Deep Generative Priors
Northeastern University（东北大学）；Rice University（莱斯大学）
压缩感知的进步提供了从具有最佳样本复杂度的线性测量重构稀疏信号的算法，但是这种方法到非线性逆问题的自然扩展已经遇到了潜在的基本样本复杂度瓶颈。特别是，用于具有稀疏先验的压缩相位恢复的易处理算法还不能实现最佳的样本复杂度。这在压缩相位恢复中产生了一个开放的问题：在通用的无相位线性测量下，是否存在以最佳样本复杂度成功的易处理的重建算法？与此同时，机器学习的进步导致了新的数据驱动信号先验的发展，其形式为生成模型，可以用更少的测量来超越稀疏先验。在这项工作中，我们解决了压缩相位恢复中的开放问题，并证明了生成先验可以通过在这个具有挑战性的非线性逆问题中通过易于处理的算法允许最佳样本复杂性来实现根本性的进步。此外，我们提供的算法表明，利用生成先验相位检索可以显着优于稀疏先验。这些结果提供了支持生成先验作为一个新的范例，在各种情况下，信号恢复，经验和理论。这种范式的优点在于：（1）生成先验可以比稀疏先验更简洁地表示某些类别的自然信号，（2）生成先验允许在自然信号流形上进行直接优化，这在稀疏先验下是难以处理的，以及（3）生成先验的非凸优化问题可以在最佳样本复杂度下允许良性优化景观，也许令人惊讶的是，即使在非线性测量的情况下。
2020-08-24 cs.IT cs.LG math.IT
Are Graph Representation Learning Methods Robust to Graph Sparsity and Asymmetric Node Information?
Institut Louis Bachelier（路易·巴舍利耶研究所）；Société Générale（法国兴业银行）
图表示学习（GRL）方法的日益流行导致了大量模型的发展，应用于各种领域。在这种领域多样性的背后，存在着图形的强烈异质性，这使得很难估计新图形上模型的预期性能，特别是当图形具有在基准测试中尚未遇到的独特特征时。为了解决这个问题，我们开发了一个实验管道，以评估给定属性对模型性能的影响。在本文中，我们使用这条管道来研究银行交易图上遇到的两个特殊性的影响，这两个特殊性是由于银行对市场上所有个人和交易的部分看法造成的。这些特定的功能是图稀疏性和不对称的节点信息。这项研究证明了GRL方法对这些独特特征的鲁棒性。我们相信，这项工作可以减轻GRL方法的评估，以具体的特点，并促进这种方法在事务图的发展。
2022-05-19 cs.AI cs.LG
Graph-Sparse LDA: A Topic Model with Structured Sparsity
Harvard University（哈佛大学）；University of Texas at Austin（得克萨斯大学奥斯汀分校）
主题建模最初是为了对文本进行建模而设计的，现在已经成为揭示医学、金融和视觉等领域潜在结构的强大工具。模型的目标根据应用而有所不同：在某些情况下，发现的主题可能用于预测或其他下游任务。在其他情况下，专题本身的内容可能具有内在的科学意义。不幸的是，即使使用现代稀疏技术，由于底层空间的高维性，所发现的主题通常也难以解释。为了提高主题的可解释性，我们引入了Graph-Sparse LDA，这是一种分层主题模型，它利用了单词之间关系的知识（例如，如由本体编码的）。在我们的模型中，主题总结了一些潜在的概念词从底层图，解释观察到的话。Graph-Sparse LDA在两个真实世界的生物医学数据集上恢复稀疏的、可解释的摘要，同时匹配最先进的预测性能。
2014-11-21 cs.CL cs.LG stat.ML
Sparsity-Aware Communication for Distributed Graph Neural Network Training
University of California, Berkeley（加州大学伯克利分校）；Lawrence Berkeley Nat. Laboratory（劳伦斯伯克利国家实验室）
本文针对分布式GNN训练中SpMM通信瓶颈，提出稀疏性感知通信算法，通过仅通信必要元素、图划分重排序和负载均衡划分减少通信量，并结合1.5D并行SpMM，在256个GPU上实现最高14倍加速，甚至接近无通信并行训练。
2025-04-07 cs.LG
Characterization of Frequent Online Shoppers using Statistical Learning with Sparsity
ArangoDB Inc（ArangoDB公司）；Chitek-i
开发让客户满意的购物体验需要企业了解客户的品味。这项工作报告了一种方法来学习经常购物者的购物偏好，以在线礼品店结合零售分析和统计学习的思想与稀疏。购物活动被表示为二分图。该图通过应用基于稀疏性的统计学习方法进行细化。这些方法是可解释的，并揭示了有关客户偏好以及产品驱动商店收入的见解。
2021-11-11 cs.LG
Rethinking Graph Lottery Tickets: Graph Sparsity Matters
Auburn University（奥本大学）；The University of Alabama at Birmingham（阿拉巴马大学伯明翰分校）；Clemson University（克莱姆森大学）
该研究针对图神经网络剪枝中高图稀疏度导致性能骤降的问题，提出含辅助损失头与最小-最大优化的改进剪枝方法，性能优于UGS，还提出并验证了可迁移图彩票假设。
2023-05-03 cs.AI cs.LG
Efficient Reward Identification In Max Entropy Reinforcement Learning with Sparsity and Rank Priors
University of Michigan（密歇根大学）
本文研究从最大熵强化学习的最优策略或演示中恢复时变奖励函数，通过引入奖励稀疏性和低秩先验，将问题转化为线性约束下的稀疏化和秩最小化问题，并提出了高效的多项式时间优化算法准确恢复奖励并验证其泛化能力。
2025-08-10 cs.LG
Signal and Noise Statistics Oblivious Orthogonal Matching Pursuit
IIT Madras（印度理工学院马德拉斯分校）
正交匹配追踪（OMP）算法是一种广泛应用于恢复线性回归模型中稀疏高维向量的算法。OMP的最佳性能要求\textit{a priori}知道回归向量的稀疏性或噪声统计。这两个统计量都很少为\textit{a priori}所知，并且很难估计。在本文中，我们提出了一种新的技术，称为剩余比阈值（RRT）操作OMP没有任何\textit{a priori}知识的稀疏性和噪声统计，并建立有限样本和大样本支持恢复保证相同。在真实数据集和合成数据集上的分析结果和数值模拟表明，RRT具有与具有稀疏性和噪声统计的\textit{a priori}知识的OMP相当的性能。
2018-06-02 cs.IT cs.LG math.IT
Product Graph Learning from Multi-domain Data with Sparsity and Rank Constraints
Indian Institute of Science（印度科学学院）
在本文中，我们专注于从多域数据中学习乘积图。我们假设乘积图是由两个更小的图的笛卡尔乘积形成的，我们称之为图因子。本文将积图学习问题归结为图因子拉普拉斯矩阵的估计问题。为了捕获数据中的局部交互，我们寻求稀疏图因子并假设数据的平滑模型。我们提出了一个有效的迭代求解器学习稀疏产品图的数据。然后，我们扩展此求解器，推断多组件图的因素与产品图聚类的应用程序，通过对图形拉普拉斯矩阵施加秩约束。虽然使用较小的图因子在计算上更具吸引力，但并非所有图都可以容易地接受精确的笛卡尔积因子分解。为此，我们提出了有效的算法来近似一个图形的两个较小的图形的最接近的笛卡尔积。所开发的框架的有效性证明了使用几个数值实验的合成数据和真实数据。
2020-12-15 cs.LG eess.SP
Towards Flexible Sparsity-Aware Modeling: Automatic Tensor Rank Learning Using The Generalized Hyperbolic Prior
Zhejiang University（浙江大学）；The University of Hong Kong（香港大学）；Tongji University（同济大学）；Shenzhen Research Institute of Big Data（深圳大数据研究院）；National and Kapodistrian University of Athens（雅典国立卡波迪斯特里安大学）；Aalborg University（奥尔堡大学）
典型多进分解（CPD）的张量秩学习一直被认为是一个重要而又具有挑战性的问题。特别是，由于张量秩控制CPD模型的复杂性，其不准确的学习将导致对噪声的过拟合或对信号源的欠拟合，甚至破坏模型参数的可解释性。然而，张量秩的最佳确定是一个非确定性的多项式时间困难（NP-困难）的任务。在概率CPD建模的背景下，引入了高斯-伽马先验下的贝叶斯推理，而不是通过试错实验来穷尽地搜索最佳张量秩，并且它被证明是自动张量秩确定的有效策略。这引发了对具有自动张量秩学习的其他结构化张量CPD的蓬勃研究。另一方面，这些研究工作也揭示了高斯-伽马模型在高阶张量和/或低信噪比（SNR）下表现不佳。为了克服这些缺点，本文在概率CPD模型之前引入了一种更先进的广义双曲（GH）模型，它不仅包括Gaussian-gamma模型作为特例，而且更灵活地适应不同水平的稀疏性。基于这种新的概率模型，算法的变分推理的框架下，其中每一个更新是在一个封闭的形式。大量的数值结果，使用合成数据和真实世界的数据集，证明了显着改善的性能，所提出的方法在学习低以及高张量秩，即使在低信噪比的情况下。
2022-03-29 cs.LG eess.SP stat.ML
A Set-Theoretic Study of the Relationships of Image Models and Priors for Restoration Problems
Nanyang Technological University（南洋理工大学）；University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
图像先验建模是图像恢复、计算成像、压缩感知等逆问题的关键。最近的算法结合了多种有效的先验知识，如稀疏或低秩模型，在各种应用中表现出优越的性能。然而，流行的图像模型之间的关系尚不清楚，也没有一般的理论可以证明它们之间的联系。在本文中，我们提出了一个理论分析的图像模型，弥合应用程序和图像先验理解之间的差距，包括稀疏性，组稀疏性，联合稀疏性，低秩等，我们系统地研究了如何有效的图像模型是图像恢复。此外，我们将结合多个模型的去噪性能的改善，图像模型的关系。进行了大量的实验，比较与我们的分析一致的去噪结果。在基于模型的方法之上，我们定量地展示了深度学习方法未明确利用的图像属性，通过与其互补图像模型相结合，可以进一步提高去噪性能。
2020-03-29 cs.LG eess.IV eess.SP
Sparsity Emerges Naturally in Neural Language Models
University of Edinburgh（爱丁堡大学）
对可解释性、计算资源和原则归纳先验的关注促使人们努力为NLP任务设计稀疏神经模型。如果稀疏性对NLP很重要，那么经过良好训练的神经模型会自然地变得稀疏吗？使用Taxi-Euclidean范数来度量稀疏性，我们发现频繁输入词与集中或稀疏激活相关联，而频繁目标词与分散激活但集中梯度相关联。我们发现，与功能词相关的梯度比实义词的梯度更集中，甚至控制词频。
2019-07-22 cs.CL cs.LG stat.ML
An unsupervised method for MRI recovery: Deep image prior with structured sparsity
Ohio State University（俄亥俄州立大学）；The Ohio State University（俄亥俄州立大学）；The Ohio State University Wexner Medical Center（俄亥俄州立大学韦克斯纳医学中心）
提出无监督MRI重建方法DISCUS，通过引入群稀疏性扩展DIP以捕捉时间变化，在仿真与临床数据上验证其优于压缩感知和DIP的重建质量。
2025-05-28 cs.CV cs.LG eess.IV
AEGIS: Authentic Edge Growth In Sparsity for Link Prediction in Edge-Sparse Bipartite Knowledge Graphs
Chalmers University of Technology and University of Gothenburg（瑞典查尔摩斯理工大学和哥德堡大学）
针对稀疏双图知识图谱的链接预测问题，提出AEGIS框架，通过重采样现有训练边以保持节点集并避免伪造端点，结合自然稀疏图和诱导稀疏性基准进行验证，结果显示语义KNN增强在文本丰富图中效果最佳。
2026-04-30 cs.LG
A Sparsity-promoting Dictionary Model for Variational Autoencoders
Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；LORIA（洛林计算机科学及其应用实验室）
构建概率深度生成模型中的潜在空间，例如，变分自编码器（VAE）对于产生更有表现力的模型和可解释的表示以及避免过拟合是重要的。实现该目标的一种方式是对潜变量施加稀疏约束，例如，通过拉普拉斯先验然而，这样的方法通常使训练阶段复杂化，并且它们牺牲重建质量来提高稀疏性。在本文中，我们提出了一个简单而有效的方法来构建潜在的空间，通过稀疏促进字典模型，它假设每个潜在的代码可以写为字典的列的稀疏线性组合。特别是，我们利用了一种计算效率高且无需调谐的方法，该方法依赖于具有可学习方差的零均值高斯潜在先验。我们推导出一个变分推理方案来训练模型。语音生成建模的实验表明，所提出的方法比竞争技术的优势，因为它促进了稀疏性，而不会恶化输出语音质量。
2022-06-17 cs.LG cs.SD eess.AS
Generalized Residual Ratio Thresholding
Samsung Research Institute（三星研究院）；Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
同时正交匹配追踪（SOMP）和块OMP（BOMP）分别是多测量向量（MMV）和块稀疏（BS）模型中两种广泛使用的稀疏支持恢复技术。为了获得最佳性能，SOMP和BOMP都需要信号稀疏性或噪声方差的\textit{a priori}知识。然而，在大多数实际应用中，稀疏性和噪声方差是不可用的。这封信提出了一种新的技术，称为广义残差比阈值（GRRT）操作SOMP和BOMP没有\textit{a priori}的信号稀疏性和噪声方差的知识，并获得有限的样本和有限的信号噪声比（SNR）保证准确的支持恢复。数值模拟表明，GRRT执行类似的BOMP和SOMP与\textit{a priori}知识的信号和噪声统计。
2020-05-25 cs.IT cs.LG eess.SP
Diving into Unified Data-Model Sparsity for Class-Imbalanced Graph Representation Learning
Brandeis University（布兰迪斯大学）；University of Hong Kong（香港大学）；University of Notre Dame（圣母大学）；Hunan University（湖南大学）
即使通过最先进的网络压缩方法进行修剪，与规则欧几里得空间中的数据相比，由于非欧几里得图数据的不规则和讨厌的密度特性，图神经网络（GNNs）在非欧几里得图数据上的训练通常会遇到相对较高的时间成本。与图相伴的另一个自然属性是类不平衡，这不能通过大量的图数据来缓解，同时阻碍了GNN的推广。为了完全解决这些令人不快的特性，（i）理论上，我们引入了一个假设，即训练数据的子集在多大程度上可以近似于整个数据集的学习效率。通过子集和全集之间的梯度距离进一步保证和证明了有效性;（ii）经验上，我们发现在GNN的学习过程中，训练数据集中的一些样本对于提供梯度来更新模型参数是有用的。此外，在训练过程中，信息子集是不固定的。在当前训练时期中提供信息的样本在下一个训练时期中可能不是这样。我们还注意到，从经过良好训练的GNN中修剪出来的稀疏子网有时会忘记信息子集提供的信息，这反映在它们在该子集上的糟糕性能上。基于这些发现，我们开发了一个统一的数据模型动态稀疏性框架命名为图Decantation（GraphDec），以解决在大量类不平衡图数据上训练所带来的挑战。GraphDec的核心思想是采用稀疏图对比学习在训练过程中动态识别信息子集。在基准数据集上进行的大量实验表明，GraphDec在分类准确性和数据使用效率方面优于图和节点任务的基线。
2022-10-01 cs.LG
S2Aligner: Pair-Efficient and Transferable Pre-Training for Sparse Text-Attributed Graphs
Beihang University（北航大学）；Tianjin University（天津大学）
本文提出S2Aligner，一种针对稀疏文本属性图的高效且可迁移的预训练方法，通过解耦语义对齐与结构建模，增强对齐过程而不污染共享的语义空间，从而减少跨域泛化差距。
2026-05-20 cs.LG
Bayesian Compressive Sensing Using Normal Product Priors
University of Electronic Science and Technology of China（电子科技大学）
在本文中，我们引入了一个新的稀疏促进先验，即“正常产品”的先验，并开发了一个有效的算法稀疏信号恢复贝叶斯框架下。正态乘积分布是两个均值为零且方差可能不同的正态分布变量的乘积的分布。与其他稀疏性鼓励分布（如学生$t$分布）一样，正态积分布在原点有一个尖峰，这使其成为鼓励稀疏解的合适先验。提出了一种基于正态产品的两阶段递阶模型。我们诉诸变分贝叶斯（VB）方法来执行推理。仿真结果表明，我们提出的算法相比，其他国家的最先进的压缩感知算法的有效性。
2017-08-24 cs.IT cs.LG math.IT
Multi-View Graph Feature Propagation for Privacy Preservation and Feature Sparsity
Tel Aviv University（特拉维夫大学）
针对图神经网络在节点分类中面临的特征稀疏和隐私泄露问题，提出多视图特征传播（MFP）框架，通过多视图高斯噪声特征传播增强分类性能并保护隐私，实验表明其优于基线且隐私性更佳。
2025-10-13 cs.AI cs.LG
Joint Adaptive Graph and Structured Sparsity Regularization for Unsupervised Feature Selection
HuaQiao University（华侨大学）；Fuzhou University（福州大学）
特征选择是数据采掘和机器学习中一个重要的数据预处理过程，它可以在不降低模型性能的前提下降低特征维数。由于获取带注释的数据在许多情况下是费力的，甚至是不可行的，无监督的特征选择在现实中更实用。虽然已经提出了许多无监督的特征选择方法，但这些方法都是独立地选择特征，因此不能保证选择的特征组是最优的。此外，必须仔细调整所选特征的数量以获得满意的结果。为了解决这些问题，本文提出了一种联合自适应图和结构稀疏正则化无监督特征选择（JASFS）方法.该方法在流形学习中引入一个关于变换矩阵的$l_{2,0}$范数正则化项用于特征选择，在学习模型中引入一个图正则化项用于自适应地学习数据的局部几何结构.通过对该优化问题的计算复杂性分析，设计了一种简单有效的迭代算法。优化完成后，将分组选择最优特征子集，并自动确定所选特征的数量。八个基准测试的实验结果表明，该方法的有效性和效率相比，一些国家的最先进的方法。
2022-04-07 cs.LG
When Reviews Are Scarce: Structure-Aware Review Imputation for Recommendation in Realistic Sparse Review Settings
Yale University（耶鲁大学）；Vanderbilt University（范德比大学）；Adobe Research（Adobe研究）；Cisco AI Research（思科人工智能研究）
针对推荐中评论稀疏问题，提出TWISTER框架，通过文本边图联合建模语义与结构信号，利用大语言模型聚合邻域生成个性化评论，在Amazon和Goodreads上提升推荐性能。
2026-11-05 cs.AI cs.IR cs.LG
Network Topology Inference with Sparsity and Laplacian Constraints
Hong Kong University of Science and Technology（香港科技大学）；North China University of Technology（北方工业大学）；Shenzhen Research Institute of Big Data（深圳大数据研究院）；City University of Hong Kong（香港城市大学）
针对拉普拉斯约束高斯图模型中l1范数导致稠密图的问题，提出结合l0范数约束的图拉普拉斯估计方法，并开发高效梯度投影算法，实验验证其网络拓扑推断有效性。
2023-09-02 cs.LG eess.SP
CGGM: A conditional graph generation model with adaptive sparsity for node anomaly detection in IoT networks
College of Artificial Intelligence, Dalian Maritime University（大连海事大学人工智能学院）；Singapore University of Technology and Design（新加坡科技设计大学）；Yonsei University（延世大学）
针对物联网动态图节点异常检测中类别不平衡问题，提出含条件图生成与异常检测模块的CGGM模型，通过自适应稀疏处理、多维特征编码等生成少数类样本，提升了检测准确率与多分类性能。
2024-12-12 cs.LG cs.RO
Graph Neural Networks with Coarse- and Fine-Grained Division for Mitigating Label Sparsity and Noise
针对图半监督学习中标签稀疏和噪声问题，提出GNN-CFGD，通过粗粒度划分识别干净/噪声标签、面向干净标签的连接缓解稀疏性，并基于置信度细粒度划分提供精细监督，实验验证其有效性和鲁棒性。
2024-11-06 cs.LG
Approximate Maximum A Posteriori Inference with Entropic Priors
Columbia University（哥伦比亚大学）
在某些应用中，使用惩罚项将多项分布拟合到观察到的数据以促进稀疏性是有用的。例如，在概率潜在音频源分解中，人们可能希望对在任何给定时间只有少数潜在源是活动的假设进行编码。当将参数拟合到多项式分布时，应用L1惩罚的标准启发式不是一种选择，多项式分布被限制为总和为1。另一种方法是使用一个惩罚项，鼓励低熵的解决方案，这对应于最大后验（MAP）参数估计与熵先验。熵先验和多项式分布之间缺乏共轭性使这种方法复杂化。在这份报告中，我提出了一个简单的迭代算法的MAP估计的多项分布与稀疏诱导熵先验。
2010-09-29 cs.LG cs.SD
