Parametric Maxflows for Structured Sparse Learning with Convex Relaxations of Submodular Functions
The Institute of Scientific and Industrial Research, Osaka University（大阪大学科学与工业研究所）；The University of Tokyo（东京大学）
本文提出利用参数最大流优化解决结构稀疏学习中的凸松弛子模函数问题，展示现有结构惩罚满足条件，可快速求解正则化学习。
2015-09-14 cs.LG cs.NA math.NA
Nonlinear Level Set Learning for Function Approximation on Sparse Data with Applications to Parametric Differential Equations
Florida State University（佛罗里达州立大学）；University of South Carolina（南卡罗来纳大学）
提出了一种基于“非线性水平集学习”（NLL）方法的降维方法，用于稀疏采样函数的逐点预测。该算法利用隐函数定理提供的几何信息，以较小的精度损失有效地将输入维数降低到理论下限，提供了一个一维的函数表示，可用于回归和敏感性分析。实验和应用比较，这种修改后的NLL与原来的NLL和主动子空间（AS）的方法。同时容纳稀疏的输入数据，所提出的算法被证明是训练迅速，并提供了一个更准确和翔实的减少比AS或原始NLL的两个示例功能与高维域，以及两个状态依赖量取决于参数微分方程的解决方案。
2021-08-07 cs.LG cs.NA math.NA
Detecting Dependencies in Sparse, Multivariate Databases Using Probabilistic Programming and Non-parametric Bayes
Massachusetts Institute of Technology（麻省理工学院）
具有数百个变量和许多缺失值的数据集是常见的。在这种情况下，检测变量之间的真实预测关系以及抑制假阳性在统计和计算上都具有挑战性。本文提出了一种方法，结合概率规划，信息论，和非参数贝叶斯。它展示了如何使用贝叶斯非参数建模来（i）为所有变量构建联合概率模型的集合;（ii）有效地检测边缘独立性;以及（iii）估计变量的任意子集之间的条件互信息，受到广泛的约束。用户可以使用BayesDB访问这些功能，BayesDB是一个用于概率数据分析的概率编程平台，通过用简单的类似SQL的语言编写查询。本文实证表明，该方法可以（i）检测具有挑战性的合成问题的上下文特定（中）的依赖关系，（ii）提高敏感性和特异性，超过基线的统计和机器学习，在现实世界的数据库中的300多个稀疏观察的宏观经济发展和公共卫生指标。
2017-03-27 cs.AI cs.LG stat.ML
Deep-learning of Parametric Partial Differential Equations from Sparse and Noisy Data
Peking University（北京大学）；Southern University of Science and Technology（南方科技大学）；Peng Cheng Laboratory（鹏城实验室）
数据驱动方法在从时空数据发现偏微分方程方面取得了很大进展。然而，仍有一些挑战有待解决，包括稀疏噪声数据，不完整的候选库，空间或时间变化的系数。在这项工作中，一个新的框架，它结合了神经网络，遗传算法和自适应方法，提出了同时解决所有这些挑战。该框架利用训练好的神经网络计算导数，生成大量的元数据，解决了数据稀疏、噪声大的问题。其次，利用遗传算法在候选库不完整的情况下，发现偏微分方程的形式和相应的系数。最后，一个两步的自适应方法被引入到发现参数偏微分方程的空间或时间变化的系数。在该方法中，首先发现参数偏微分方程的结构，然后确定变系数的一般形式。所提出的算法进行了测试上的Burgers方程，对流扩散方程，波动方程，KdV方程。实验结果表明，该方法对稀疏和噪声数据具有较好的鲁棒性，并且能够在候选库不完整的情况下发现参数偏微分方程。
2020-05-16 cs.AI cs.LG cs.NE
Optimizing Sparse Matrix Multiplications for Graph Neural Networks
University of Leeds（利兹大学）；Alibaba Group（阿里巴巴集团）
图神经网络（GNN）正在成为一种强大的图结构建模技术。由于真实世界图数据的稀疏性，GNN的性能受到计算中涉及的大量稀疏矩阵乘法（SpMM）操作的限制。虽然正确的稀疏矩阵存储格式因输入数据而异，但现有的深度学习框架采用单一的静态存储格式，这留下了很大的改进空间。本文研究了稀疏矩阵存储格式的选择如何影响GNN的性能。我们观察到，选择合适的稀疏矩阵存储格式可以显着提高GNN的训练性能，但正确的格式取决于输入工作负载，并且可以随着GNN在输入图上的迭代而变化。然后，我们开发了一个预测模型，根据输入矩阵动态选择GNN层使用的稀疏矩阵存储格式。我们的模型首先使用训练矩阵样本进行离线训练，经过训练的模型可以应用于任何输入矩阵和具有SpMM计算的GNN内核。我们在PyTorch之上实现了我们的方法，并将其应用于使用真实和合成数据集在多核CPU上运行的5个代表性GNN模型。实验结果表明，我们的方法为GNN运行时间提供了1.17倍（高达3倍）的平均加速比。
2021-10-30 cs.LG
Matrix Completion with Sparse Noisy Rows
Stanford University（斯坦福大学）
在不同的基础条件下，研究了矩阵的精确完备化和低秩矩阵的估计问题。本文研究了非退化噪声模型下的精确低秩完备化问题。非退化随机噪声模型在噪声稀疏且存在于某些列中的情况下，已被许多研究者研究过。在本文中，我们假设每行可以接收随机噪声，而不是列，并提出了一个交互式算法，是强大的这种噪声。我们表明，我们使用的参数化技术给出了一个条件时，底层矩阵可以恢复，并提出了一个算法，恢复底层矩阵。
2022-04-05 cs.LG
Identifiability in Two-Layer Sparse Matrix Factorization
Université de Lyon（里昂大学）；ENS de Lyon（里昂高等师范学院）；UCBL（里昂克洛德·贝尔纳大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）
稀疏矩阵分解是通过$J$稀疏因子$\mathbf{X}^{(J)} \mathbf{X}^{(J-1)} \ldots \mathbf{X}^{(1)}$的乘积来近似矩阵$\mathbf{Z}$的问题。本文重点研究了该问题中出现的可识别性问题，以期更好地理解在何种稀疏性约束下该问题是适定的。我们给出的条件下，分解成\emph{two}稀疏因子矩阵的问题承认一个唯一的解决方案，不可避免的置换和缩放等价。我们的一般框架认为，一个任意的家庭规定的稀疏模式，使我们能够捕捉更多的结构化概念的稀疏性比简单的非零条目的计数。这些条件被证明是有关的基本唯一性的确切矩阵分解成一个秩一矩阵的总和，结构稀疏约束。特别是，在固定支撑稀疏矩阵分解的情况下，我们给出了一个一般的充分条件，基于秩一矩阵完备性的可识别性，我们从中推导出一个完备化算法，可以验证这个充分条件是否满足，如果是这种情况下，恢复在两个稀疏因子的条目。一个配套文件进一步利用这些条件来获得可识别性属性和理论上健全的分解方法，多层稀疏矩阵分解与支持相关的一些著名的快速变换，如阿达玛或离散傅立叶变换的约束。
2021-11-17 cs.LG
Sparse FEONet: A Low-Cost, Memory-Efficient Operator Network via Finite-Element Local Sparsity for Parametric PDEs
Department of Mathematics, Inha University（inha大学数学系）；Department of Mathematics, Ajou University（ajou大学数学系）
针对参数化PDE的有限元算子网络（FEONet）在大规模问题中计算成本高、精度下降的问题，提出一种基于有限元结构的新型稀疏网络架构，在保持精度相当的同时显著提升计算效率，并给出理论逼近和稳定性分析。
2026-06-01 cs.LG cs.NA math.NA
Parametric Matrix Models
Michigan State University（密歇根州立大学）；Facility for Rare Isotope Beams（稀有同位素束流设施）；University of Oslo（奥斯陆大学）；Cornell Tech（康奈尔科技校区）
本文提出参数化矩阵模型，通过学习模拟物理系统的矩阵控制方程实现数据驱动建模，证明其为通用函数逼近器，并在多类任务中展现准确、高效、可解释及外推能力。
2025-01-06 cond-mat.dis-nn cs.LG nucl-th
Bayesian Beta-Bernoulli Process Sparse Coding with Deep Neural Networks
Columbia University（哥伦比亚大学）
对于深度离散潜变量模型，已经提出了几种近似推理方法。然而，非参数的方法，以前已成功地用于经典的稀疏编码模型在很大程度上尚未探索的背景下，深模型。我们提出了一种非参数迭代算法来学习这种深度模型中的离散潜在表示。此外，为了学习尺度不变的离散特征，我们提出了局部数据缩放变量。最后，为了鼓励我们表示的稀疏性，我们提出了一个潜在因素的Beta-Bernoulli过程。我们评估我们的备用编码模型加上不同的似然模型。我们在具有不同特征的数据集上评估我们的方法，并将我们的结果与当前的摊销近似推理方法进行比较。
2023-03-14 cs.LG stat.ML
Variational Inference for Sparse Gaussian Process Modulated Hawkes Process
The Australian National University（澳大利亚国立大学）；Data61 CSIRO（联邦科学与工业研究组织数据61所）；University of Technology Sydney（悉尼科技大学）
霍克斯过程（HP）已被广泛应用于模拟自激事件，包括神经元尖峰，地震和鸣叫。为了避免设计参数触发核，并能够量化的预测置信度，非参数贝叶斯HP已被提出。然而，这样的模型的推理遭受不可扩展性或缓慢的收敛。在本文中，我们旨在解决这两个问题。具体来说，首先，我们提出了一个新的非参数贝叶斯HP中的触发内核建模为一个平方稀疏高斯过程。然后，我们提出了一种新的变分推理模式的模型优化。我们采用分支结构的HP，使最大化的证据下限（ELBO）是易于处理的期望最大化算法。我们提出了一个更紧密的ELBO，提高了拟合性能。此外，我们加速了新的变分推理模式的线性时间复杂度，利用平稳的触发内核。与以往的加速方法不同，我们的方法具有更高的效率。最后，我们利用合成数据和两个大型社交媒体数据集来评估我们的方法。我们表明，我们的方法优于国家的最先进的非参数频率和贝叶斯方法。我们验证了我们的加速变分推理模式的效率和实际效用，我们更紧密的ELBO模型选择。我们观察到，更严格的ELBO超过了常见的模型选择。
2019-11-23 cs.LG stat.ML
Optimized Structured Sparse Sensing Matrices for Compressive Sensing
Technion - Israel Institute of Technology（以色列理工学院）；The Chinese University of Hong Kong（香港中文大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；Colorado School of Mines（科罗拉多矿业学院）
本文考虑设计一个由稀疏矩阵和稠密基矩阵组成的鲁棒结构稀疏感知矩阵，以有效地捕获信号。我们通过最小化等价字典的Gram矩阵和目标Gram矩阵之间的距离来设计鲁棒结构稀疏感知矩阵。此外，正则化被添加到执行的优化的结构化稀疏传感矩阵的稀疏表示误差（SRE）的感兴趣的信号的鲁棒性。提出了一种具有全局序列收敛性的交替极小化算法来求解相应的优化问题。对合成数据和自然图像的数值实验表明，所得到的结构化传感矩阵比随机稠密传感矩阵具有更高的信号重构能力。
2019-02-05 cs.LG eess.SP
Learning parametric dictionaries for graph signals
Ecole Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
在稀疏信号表示中，字典的选择通常涉及两个期望属性之间的权衡-适应特定信号数据的能力和字典的快速实现。为了稀疏地表示驻留在加权图上的信号，额外的设计挑战是将不规则数据域的固有几何结构并入字典的原子中。在这项工作中，我们提出了一个参数字典学习算法设计数据适应，结构化的字典，稀疏表示图形信号。特别是，我们将图形信号建模为重叠的局部模式的组合。我们施加的约束，每个字典是一个串联的subdictionaries，每个subdictionary是一个多项式的图形拉普拉斯矩阵，表示一个单一的模式翻译到不同的领域的图形。学习算法使模式适应于图形信号的训练集。实验结果表明，该算法学习到的字典在稀疏逼近图信号方面与最新数值学习算法学习到的非结构化字典相比，具有很强的竞争力，并且往往优于后者.然而，与非结构化字典相比，通过所提出的算法学习的字典具有局部原子的特征，并且可以在信号处理任务（例如压缩、去噪和分类）中以计算高效的方式实现。
2014-01-05 cs.LG cs.SI stat.ML
Group Sparse Additive Models
School of Computer Science, Carnegie Mellon University（卡内基梅隆大学计算机科学学院）
我们考虑非参数加性模型中稀疏变量的选择问题，利用协变量之间结构的先验知识来鼓励一组变量中的那些变量被联合选择。以前的工作要么研究参数设置中的组稀疏性（例如，GroupLasso），或者在不利用结构信息的情况下解决非参数设置中的问题（例如，稀疏加性模型）。在本文中，我们提出了一种新的方法，称为组稀疏加性模型（GroupSpAM），它可以处理组稀疏加性模型。我们将l1/l2范数推广到Hilbert空间作为GroupSpAM中的稀疏诱导惩罚。此外，我们推导出一个新的阈值条件，以确定在组水平的功能稀疏，并提出了一个有效的块坐标下降算法来构建的估计。我们通过模拟证明，GroupSpAM在支持恢复和预测准确性方面大大优于竞争方法，并在真实的乳腺癌数据集上进行了比较实验。
2012-06-18 cs.LG stat.ML
Sparse Matrix Factorization
Toyota Technological Institute at Chicago（芝加哥丰田理工学院）；Microsoft Research（微软研究院）
我们调查的问题分解成几个稀疏矩阵的矩阵，并提出了一个算法，这随机性和稀疏性的假设。这个问题可以被看作是深度学习问题的简化，其中找到因子分解对应于找到不同层中的边缘和隐藏单元的值。我们证明，在一定的假设下，一个稀疏的线性深度网络与$n$节点在每一层，我们的算法是能够恢复网络的结构和顶层隐藏单元的深度高达$\tilde O(n^{1/6})$的值。我们进一步讨论了稀疏矩阵分解、深度学习、稀疏恢复和字典学习之间的关系。
2014-05-13 cs.LG stat.ML
Parametric Models for Mutual Kernel Matrix Completion
Graduate School of Science and Technology, Gunma University（群马大学科学技术研究生院）
最近的研究利用多核学习来处理不完全数据问题。在这项研究中，我们引入了新的方法，不仅完成多个不完整的内核矩阵同时，但也允许通过参数化的模型矩阵的灵活性的控制。通过对模型协方差施加限制，避免了数据的过拟合。通过目标函数的优化完成的核矩阵估计的限制是不能保证结果的正定性。鉴于这一限制，我们提出的方法采用LogDet发散，这确保了所得到的推断核矩阵的正定性。我们的经验表明，我们提出的限制协方差模型，采用LogDet发散，产生显着的改进，以前的完成方法的泛化性能。
2018-04-17 cs.LG stat.ML
FlashSparse: Minimizing Computation Redundancy for Fast Sparse Matrix Multiplications on Tensor Cores
Beijing University of Posts and Telecommunications（北京邮电大学）
FlashSparse通过交换-转置策略最小化稀疏粒度，减少计算冗余并充分利用张量核心，在H100和RTX 4090上实现稀疏矩阵乘法5.5倍和3.22倍加速。
2024-12-15 cs.DC cs.LG
Mining Block I/O Traces for Cache Preloading with Sparse Temporal Non-parametric Mixture of Multivariate Poisson
NetApp, Inc.（网存公司）；Indian Institute of Science（印度科学学院）
本文提出稀疏时间非参数混合多维泊松模型，用于从块I/O轨迹中挖掘缓存预加载的长程模式，通过稀疏建模提高效率，实验证明在基准轨迹上显著提升命中率。
2014-10-13 cs.LG cs.OS cs.SY
Non-negative matrix factorization with sparseness constraints
非负矩阵分解（NMF）是最近发展起来的一种技术，用于寻找非负数据的基于部分的线性表示。虽然它已成功地应用于多个应用程序中，但它并不总是导致基于零件的表示。在本文中，我们将展示如何明确地将“稀疏”的概念，提高了发现分解。此外，我们还为标准NMF和我们的扩展提供了完整的MATLAB代码。我们希望这将进一步应用这些方法来解决新的数据分析问题。
2004-08-25 cs.LG cs.NE
Ranky : An Approach to Solve Distributed SVD on Large Sparse Matrices
Istanbul Technical University（伊斯坦布尔技术大学）
奇异值分解（SVD）是从数据采掘到图像处理等众多领域和应用中的一个研究热点。从这些应用程序中产生的数据可以表示为矩阵，其中它是大的和稀疏的。现有的算法大多用于计算大型稠密矩阵的奇异值和左、右奇异向量，而不是大型稀疏矩阵。即使他们可以找到一个大矩阵的奇异值分解，由于顺序算法，计算大的密集矩阵有很高的时间复杂度。提出了一种计算大型矩阵奇异值分解的分布式方法。然而，矩阵的秩仍然是一个问题时，解决奇异值分解与这些分布式算法。在本文中，我们提出了Ranky，一套方法来解决大型和稀疏矩阵的秩问题的分布式方式。实验结果表明，Ranky方法可以恢复给定的大型稀疏矩阵的奇异值、奇异左向量和奇异右向量，且误差可以忽略不计。
2020-09-21 cs.LG stat.ML
Memory Based Trajectory-conditioned Policies for Learning from Sparse Rewards
University of Michigan（密歇根大学）；Google Brain（谷歌大脑）
具有稀疏奖励的强化学习是具有挑战性的，因为代理很少能够获得非零奖励，因此，参数化策略的基于梯度的优化可能是增量的且缓慢的。最近的研究表明，使用以前成功轨迹的记忆缓冲区可以产生更有效的策略。然而，现有的方法可能会过度利用过去的成功经验，这可能会鼓励代理采取次优和短视的行为。在这项工作中，而不是专注于良好的经验有限的多样性，我们建议学习一个自动调节的政策，以遵循和扩大不同的过去的轨迹从记忆缓冲区。我们的方法允许代理到达状态空间中的不同区域，并改进过去的轨迹以达到新的状态。我们的经验表明，我们的方法显着优于基于计数的探索方法（参数方法）和自我模仿学习（参数方法与非参数记忆）在各种复杂的任务与局部最优。特别是，在不使用专家演示或重置到任意状态的情况下，我们在50亿帧的情况下实现了最先进的分数，挑战Atari游戏，如Montezuma的复仇和陷阱。
2021-02-15 cs.AI cs.LG stat.ML
Approximate Method of Variational Bayesian Matrix Factorization/Completion with Sparse Prior
Ibaraki University（茨城大学）
在假设观测矩阵是低秩稠密矩阵和稀疏矩阵的乘积的前提下，利用变分贝叶斯方法，推导出了矩阵分解/完备解的解析表达式.考虑到矩阵的稀疏性，我们假设稀疏矩阵的先验服从拉普拉斯分布。然后，我们使用几个近似推导矩阵分解/完成解决方案。通过我们的解决方案，我们还数值评估的性能稀疏矩阵重构矩阵分解，并完成缺失的矩阵元素的矩阵完成。
2018-03-14 cond-mat.dis-nn cs.IT cs.LG
Low Rank Matrix Recovery with Simultaneous Presence of Outliers and Sparse Corruption
University of Central Florida（中佛罗里达大学）
本文研究了一个数据模型，其中数据矩阵D可以表示为D = L + S + C，其中L是低秩矩阵，S是元素稀疏矩阵，C是非零列为离群数据点的矩阵。到目前为止，强大的PCA算法只考虑S或C的模型，而不是两者都考虑。因此，现有的算法不能同时考虑元素和列的腐败。本文提出了一种新的鲁棒PCA算法，该算法对同时发生的腐败类型具有鲁棒性。我们的方法依赖于稀疏损坏列的稀疏近似，使得列相对于其他数据点的稀疏扩展用于区分稀疏损坏的内点列和外围数据点。我们还开发了一个随机设计，提供了一个可扩展的实施所提出的方法。稀疏近似的核心思想进行了分析，我们表明，潜在的ell_1-范数最小化可以获得一个内点的稀疏腐败的存在下的表示。
2017-02-07 cs.CV cs.LG stat.ML
Automatic Hyperparameter Tuning in Sparse Matrix Factorization
Chuo University（中央大学）；Ibaraki University（茨城大学）
研究贝叶斯框架下稀疏矩阵分解的超参数调优问题，基于变分贝叶斯方法的解析解提出评估归一化因子零点的新型数值调优方法，并在真实稀疏矩阵重建中表现优异。
2023-05-17 cond-mat.dis-nn cs.IT cs.LG
Gradient Descent for Sparse Rank-One Matrix Completion for Crowd-Sourced Aggregation of Sparsely Interacting Workers
Boston University（波士顿大学）；Google DeepMind（谷歌DeepMind）
我们考虑了单个硬币Dawid-Skene众包模型的工人技能估计。在实践中，技能估计是具有挑战性的，因为工人的分配是稀疏和不规则的，由于工人的任意和不受控制的可用性。我们制定技能估计作为一个秩一相关矩阵完成问题，其中观察到的组件对应于观察到的工人之间的标签相关性。我们表明，相关矩阵可以成功地恢复和技能是可识别的，当且仅当采样矩阵（观察到的组件）没有一个二分连接组件。然后，我们提出了一个预计的梯度下降计划，并表明技能估计收敛到所需的全局最优值，这样的采样矩阵。我们的证明是原创的，而且考虑到即使是加权一阶矩阵分解问题通常也是NP难的这一事实，结果也令人惊讶。接下来，我们推导出采样矩阵的无符号拉普拉斯算子的谱特性方面的样本复杂度界。我们提出的方案在许多现实世界的数据集上实现了最先进的性能。
2020-07-23 cs.HC cs.LG stat.ML
The Ubiquitous Sparse Matrix-Matrix Products
Lawrence Berkeley National Laboratory and University of California, Berkeley（伯克利国家实验室和加州大学伯克利分校）
本文统一处理稀疏矩阵-矩阵乘法运算，涵盖其在半环及异构代数上的扩展，并总结其在机器学习、生物信息学、图算法和科学计算中的广泛应用。
2025-08-06 cs.DC cs.LG cs.MS
Surrogate models for diffusion on graphs via sparse polynomials
MathLab, International School for Advanced Studies（数学实验室，国际高级研究学校）；Department of Mathematics and Statistics, Concordia University（数学与统计学系，康科迪亚大学）
本文提出基于稀疏多项式的图上扩散 surrogate 模型，通过理论分析和实验验证其在具有社区结构的图上参数扩散方程中的有效性。
2026-04-13 cs.LG cs.NA math.NA
Exact Recovery of Sparsely-Used Dictionaries
Yale University（耶鲁大学）；Columbia University（哥伦比亚大学）
我们考虑学习稀疏使用的字典与任意平方字典和随机，稀疏系数矩阵的问题。我们证明了$O (n \log n)$样本是足够的唯一确定的系数矩阵。在此基础上，我们设计了一个多项式时间的稀疏字典精确恢复算法（ER-SpUD），并证明了当系数矩阵足够稀疏时，该算法可以恢复字典和系数矩阵。仿真结果表明，ER-SpUD揭示了真正的字典以及系数的概率高于许多国家的最先进的算法。
2012-06-26 cs.IT cs.LG math.IT
Sparse and nonparametric estimation of equations governing dynamical systems with applications to biology
Department of Information Engineering, University of Padova（信息工程系，帕多瓦大学）；Department of Pathology, Cambridge University（病理学系，剑桥大学）；Department of Applied Mathematics, University of Washington（应用数学系，华盛顿大学）；Department of Pharmacology, University of North Carolina at Chapel Hill（药理学系，北卡罗来纳大学教堂山分校）
提出一种结合稀疏参数估计与非参数技术的新框架，用于克服Sindy等参数化模型在捕捉复杂系统非线性时的局限，并在复杂生物现象估计的示例中验证了其有效性。
2025-11-01 cs.LG q-bio.QM stat.ML
Optimizing Block-Sparse Matrix Multiplications on CUDA with TVM
在CUDA平台上实现并优化了稠密矩阵和块稀疏矩阵之间的矩阵乘法运算。我们利用TVM（一种深度学习编译器）来探索操作的调度空间并生成高效的CUDA代码。通过TVM中的自动参数调整，我们的基于跨线程缩减的实现与其他最先进的框架相比具有竞争力或更好的性能。
2020-07-26 cs.DC cs.LG cs.MS
Observe Locally, Classify Globally: Using GNNs to Identify Sparse Matrix Structure
University of Oklahoma（俄克拉荷马大学）
针对稀疏矩阵计算中格式与结构匹配问题，提出用图卷积网络基于局部特征识别全局矩阵结构，避免全量读取，在代表性形状上达97%准确率。
2023-07-26 cs.AI cs.LG cs.NA
Optimized Sparse Matrix Operations for Reverse Mode Automatic Differentiation
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；NVIDIA Corporation（英伟达公司）；Memorial University of Newfoundland（纽芬兰纪念大学）
本研究为PyTorch实现了基于CSR的稀疏矩阵封装，支持CUDA加速和自动微分，并在优化问题中展示了其性能优势。
2023-11-09 cs.LG cs.MS cs.NA
0-1 phase transitions in sparse spiked matrix estimation
International Center for Theoretical Physics（国际理论物理中心）；Ecole Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
我们考虑估计的秩一矩阵（尖峰）被加性高斯噪声矩阵在稀疏极限损坏的统计模型。在这种限制下，潜在的隐藏向量（其构造秩一矩阵）具有多个非零分量，这些非零分量与向量的总维度成次线性比例，并且信号强度以适当的速度趋于无穷大。我们证明了显式的低维变分公式之间的渐近互信息的尖峰和所观察到的噪声矩阵在适当的稀疏限制。对于Bernoulli和Bernoulli-Rademacher分布向量，当稀疏度和信号强度满足适当的比例关系时，这些公式意味着渐近最小均方误差的0-1相变。最近在稀疏高维线性回归（压缩感知）的背景下分析了类似的相变。
2019-11-12 cond-mat.dis-nn cs.IT cs.LG
