Algorithms for Boolean Matrix Factorization using Integer Programming
University of Mons（蒙斯大学）
针对NP难的布尔矩阵分解问题，提出基于整数规划的交替优化策略及解的最优合并算法，在中等规模问题上优于现有技术。
2023-05-17 cs.LG eess.SP math.OC
C-SALT: Mining Class-Specific ALTerations in Boolean Matrix Factorization
TU Dortmund University（多特蒙德工业大学）
给定由二进制矩阵表示的标记数据，我们考虑的任务是导出一个布尔矩阵分解，它识别类之间的共性和规范。虽然现有的作品专注于排名一因子分解，这是特定的或共同的类，我们从共同的因子分解，以及类特定的变化。因此，我们扩大了我们的新方法的适用性，其类依赖关系具有更复杂的结构的数据集。在合成数据集和真实数据集的基础上，我们一方面证明了我们的方法能够过滤与我们的模型假设相对应的结构，另一方面证明了我们的模型假设在实际应用中是合理的。我们的方法是无参数的。
2019-06-17 cs.LG
Fast And Efficient Boolean Matrix Factorization By Geometric Segmentation
Purdue University（普渡大学）；Indiana University（印第安纳大学）；Amazon（亚马逊）
布尔矩阵已被广泛应用于银行交易、犯罪记录、自然语言处理、蛋白质相互作用等领域。布尔矩阵分解（BMF）旨在寻找一个二元矩阵近似为两个低秩布尔矩阵的布尔积，从而产生大量的特征与样本之间关系模式的信息。受二进制矩阵置换理论和几何分割的启发，我们开发了一种快速有效的BMF方法，称为MEBF（Median Expansion for Boolean Factorization）。总的来说，MEBF采用了一种启发式的方法来定位二进制模式表示为密集的1的子矩阵。在每次迭代中，MEBF置换行和列，使得置换矩阵近似于上三角形（UTL），具有所谓的同时连续一属性（SC1P）。在1中稠密的最大子矩阵将位于置换矩阵的上三角区域，并且其位置基于三角形的几何分割来确定。我们比较了MEBF与其他国家的最先进的方法在不同的稀疏性和噪声水平的数据场景。MEBF在重建误差小、计算效率高、稀疏模式精度高等方面优于ASSO、PANDA和MP等主流方法。我们展示了MEBF在二进制和非二进制数据集上的应用，并揭示了其在知识检索和数据去噪方面的进一步潜力。
2020-02-10 cs.CG cs.LG stat.ML
Boolean matrix factorization meets consecutive ones property
University of Helsinki（赫尔辛基大学）；University of Eastern Finland（东芬兰大学）；MPI-INF（马克斯·普朗克信息学研究所）
布尔矩阵分解是一种自然的和流行的技术总结二进制矩阵。本文研究了布尔矩阵分解的一个问题，其中我们附加要求分解矩阵具有连续1性质（OBMF）。这个优化问题的一个主要应用来自图形可视化：图形可视化的标准技术是圆形或线性布局，其中节点按圆形或直线排列。可视化图形的一个常见问题是由于太多的边而导致的混乱。处理此问题的标准方法是将边捆绑在一起并将它们表示为带状。我们还表明，我们可以使用OBMF边缘捆绑结合圆形或线性布局技术。我们证明，不仅这个问题是NP难的，但我们不能有一个多项式时间的算法，产生一个乘法近似保证（除非P = NP）。在积极的一面，我们开发了一个贪心算法，在每一步，我们寻找最好的1秩分解。由于即使获得1-秩分解也是NP难的，因此我们提出了一个迭代算法，其中我们固定一边并找到另一边，颠倒角色并重复。我们表明，这一步可以在线性时间使用pq树。我们还将问题推广到循环的性质和对称分解。我们的实验表明，我们的算法找到高质量的因子分解和规模以及。
2019-01-17 cs.DM cs.DS cs.LG
Biclustering and Boolean Matrix Factorization in Data Streams
KTH Royal Institute of Technology（瑞典皇家理工学院）；University of Vienna（维也纳大学）；Brown University（布朗大学）；University of Eastern Finland（东芬兰大学）
我们研究了数据流中二部图的聚类和布尔矩阵分解。我们考虑一个流设置，其中从图的左侧的顶点到达一个接一个连同其所有的入射边。我们提供了一个算法，经过一次流后，使用次线性空间恢复图右侧的聚类集;据我们所知，这是第一个具有此属性的算法。我们还表明，经过第二次通过流，左集群的二分图可以恢复，我们展示了如何扩展我们的算法来解决布尔矩阵分解问题（通过利用布尔矩阵和二分图的对应关系）。我们评估的算法在合成数据和现实世界的数据的实现。在真实世界的数据集上，该算法比静态基线算法快几个数量级，同时提供基线算法的2倍内的质量结果。我们的算法在图中的边的数量线性缩放。最后，我们从理论上分析了该算法，并提供了充分条件下，该算法恢复一组种植集群在一个标准的随机图模型。
2020-12-05 cs.AI cs.DS cs.LG
Recent Developments in Boolean Matrix Factorization
University of Eastern Finland（东芬兰大学）；KTH Royal Institute of Technology（瑞典皇家理工学院）；University of Vienna（维也纳大学）
布尔矩阵分解（Boolean Matrix Factorization，BMF）的目标是将给定的二元矩阵近似为两个低秩二元因子矩阵的乘积，其中因子矩阵的乘积是在布尔代数下计算的。虽然这个问题在计算上很难，但它也很有吸引力，因为因子矩阵的二进制性质使它们具有高度的可解释性。在过去的十年中，BMF在数据采掘和形式概念分析社区中受到了相当大的关注，最近，机器学习和理论社区也开始研究BMF。在这次调查中，我们简要总结了所有这些社区的努力，并提出了一些我们认为需要进一步调查的开放性问题。
2020-12-05 cs.AI cs.LG
From-Below Approximations in Boolean Matrix Factorization: Geometry and New Algorithm
Modeling Lab Dept. Computer Science, Palack\'y University, Czech Republic e-mail
本文提出布尔矩阵分解的新结果及新算法，强调从下逼近在输入矩阵中的重要性，并通过实验验证了算法在覆盖性和分解效率上的优势。
2013-06-20 cs.LG cs.NA math.NA
Boolean and $\mathbb{F}_p$-Matrix Factorization: From Theory to Practice
University of Bergen（卑尔根大学）；IIT Hyderabad（印度理工学院海得拉巴分校）；EdgeVerve Systems Limited（EdgeVerve系统有限公司）；Amazon（亚马逊）
布尔矩阵分解（BMF）的目的是找到一个近似的一个给定的二进制矩阵的布尔产品的两个低秩二进制矩阵。二进制数据在许多领域中是普遍存在的，并且通过二进制矩阵表示数据在医学、自然语言处理、生物信息学、计算机图形学以及许多其他领域中是常见的。不幸的是，BMF是计算困难和启发式算法用于计算布尔因式分解。最近，两个研究小组独立地获得了理论突破。Ban等人（SODA 2019）和Fomin等人（Trans. Algorithms 2020）表明BMF允许有效的多项式时间近似方案（EPTAS）。然而，尽管理论上的重要性，高的双指数依赖的运行时间从排名使这些算法在实践中无法实现。激励我们工作的主要研究问题是BMF的理论进展是否可以导致实用算法。我们工作的主要概念贡献如下。虽然BMF的EPTAS是一个纯粹的理论进步，但这些算法背后的一般方法可以作为设计更好的算法的基础。我们也使用这种策略来开发相关的$\mathbb{F}_p$ -矩阵分解的新算法。这里，给定有限域GF（$p$）上的矩阵$A$，其中$p$是素数，以及整数$r$，我们的目标是找到相同域上的矩阵$B$，其中GF（$p$）-秩至多$r$最小化$A-B$的某个范数。我们对合成数据和真实数据的实证研究表明，新算法比以前的工作BMF和$\mathbb{F}_p$ -矩阵分解的优势。
2022-07-25 cs.AI cs.IR cs.LG
Visualizing Overlapping Biclusterings and Boolean Matrix Factorizations
KTH Royal Institute of Technology（瑞典皇家理工学院）；University of Eastern Finland（东芬兰大学）
针对二部图重叠双聚类及布尔矩阵分解的可视化难题，提出三项可视化目标、对应目标函数与优化算法，并用局部相似归属相邻放置的启发式方法取得最佳折衷。
2023-07-14 cs.LG
Sparse Matrix Factorization
Toyota Technological Institute at Chicago（芝加哥丰田理工学院）；Microsoft Research（微软研究院）
我们调查的问题分解成几个稀疏矩阵的矩阵，并提出了一个算法，这随机性和稀疏性的假设。这个问题可以被看作是深度学习问题的简化，其中找到因子分解对应于找到不同层中的边缘和隐藏单元的值。我们证明，在一定的假设下，一个稀疏的线性深度网络与$n$节点在每一层，我们的算法是能够恢复网络的结构和顶层隐藏单元的深度高达$\tilde O(n^{1/6})$的值。我们进一步讨论了稀疏矩阵分解、深度学习、稀疏恢复和字典学习之间的关系。
2014-05-13 cs.LG stat.ML
Automatic Hyperparameter Tuning in Sparse Matrix Factorization
Chuo University（中央大学）；Ibaraki University（茨城大学）
研究贝叶斯框架下稀疏矩阵分解的超参数调优问题，基于变分贝叶斯方法的解析解提出评估归一化因子零点的新型数值调优方法，并在真实稀疏矩阵重建中表现优异。
2023-05-17 cond-mat.dis-nn cs.IT cs.LG
Data embedding and prediction by sparse tropical matrix factorization
Faculty of Computer and Information Science（计算机与信息科学学院）；University of Ljubljana（卢布尔雅那大学）；Antalya Bilim University（安塔利亚比林大学）
矩阵分解方法是线性模型，对复杂关系建模的能力有限。在我们的工作中，我们使用热带半环将非线性引入矩阵分解模型。我们提出了一种称为稀疏热带矩阵分解（STMF）的方法，用于估计缺失（未知）值。我们评估了STMF方法对合成数据和生物数据的效率，这些数据以从癌症基因组图谱（TCGA）数据库下载的基因表达测量的形式。对唯一合成数据的测试表明，STMF近似实现了比非负矩阵分解（NMF）更高的相关性，这是无法有效地恢复模式。在真实数据上，STMF在九个基因表达数据集中的六个上优于NMF。NMF假设正态分布，倾向于均值，STMF可以更好地拟合极值和分布。STMF是第一个在稀疏数据上使用热带半环的工作。我们表明，在某些情况下，半环是有用的，因为他们考虑的结构，这是不同的，更简单的理解比它是与标准的线性代数。
2020-12-09 cs.LG stat.ML
Online Learning for Matrix Factorization and Sparse Coding
INRIA（法国国家信息与自动化研究所）；Laboratoire d’Informatique de l’Ecole Normale Supérieure（巴黎高等师范学院信息学实验室）；Ecole Normale Supérieure（巴黎高等师范学院）；University of Minnesota（明尼苏达大学）
稀疏编码--即将数据向量建模为基本元素的稀疏线性组合--广泛用于机器学习、神经科学、信号处理和统计学。本文主要研究大规模矩阵分解问题，包括学习基集，使其适应特定数据。这个问题的变体包括信号处理中的字典学习、非负矩阵分解和稀疏主成分分析。在本文中，我们提出了一个新的在线优化算法，基于随机逼近，它可以优雅地扩展到具有数百万训练样本的大型数据集，并自然扩展到各种矩阵分解公式，使其适用于广泛的学习问题。收敛的证明，以及自然图像和基因组数据的实验表明，它导致最先进的性能方面的速度和优化的小型和大型数据集。
2010-02-11 cs.LG math.OC stat.ML
Matrix Factorization for Inferring Associations and Missing Links
Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）；University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）；Institute for Clarity in Documentation（文献清晰度研究所）；Inria Paris-Rocquencourt（法国国家信息与自动化研究所巴黎-罗康校区）；Rajiv Gandhi University（拉吉夫·甘地大学）；Tsinghua University（清华大学）；Palmer Research Laboratories（帕尔默研究实验室）
针对缺失链接预测问题，提出WNMFk、BNMFk和RNMFk矩阵分解及集成方法，结合自动秩估计和不确定性量化，在合成和真实数据集上提升了预测性能。
2025-03-06 cs.AI cs.LG cs.LO
Approximate Method of Variational Bayesian Matrix Factorization/Completion with Sparse Prior
Ibaraki University（茨城大学）
在假设观测矩阵是低秩稠密矩阵和稀疏矩阵的乘积的前提下，利用变分贝叶斯方法，推导出了矩阵分解/完备解的解析表达式.考虑到矩阵的稀疏性，我们假设稀疏矩阵的先验服从拉普拉斯分布。然后，我们使用几个近似推导矩阵分解/完成解决方案。通过我们的解决方案，我们还数值评估的性能稀疏矩阵重构矩阵分解，并完成缺失的矩阵元素的矩阵完成。
2018-03-14 cond-mat.dis-nn cs.IT cs.LG
Non-negative matrix factorization with sparseness constraints
非负矩阵分解（NMF）是最近发展起来的一种技术，用于寻找非负数据的基于部分的线性表示。虽然它已成功地应用于多个应用程序中，但它并不总是导致基于零件的表示。在本文中，我们将展示如何明确地将“稀疏”的概念，提高了发现分解。此外，我们还为标准NMF和我们的扩展提供了完整的MATLAB代码。我们希望这将进一步应用这些方法来解决新的数据分析问题。
2004-08-25 cs.LG cs.NE
Performance evaluation of matrix factorization for fMRI data
Ibaraki University（茨城大学）
本研究将多种矩阵分解方法应用于人类全脑fMRI数据，验证全脑信息表征的稀疏编码假设，发现高稀疏度稀疏MF及近似稀疏方法的特征分类视觉刺激更准确。
2023-12-14 cond-mat.dis-nn cs.LG q-bio.NC
Tight convex relaxations for sparse matrix factorization
Stanford University（斯坦福大学）；Université Paris-Est（巴黎东大学）；Ecole des Ponts - ParisTech（巴黎高科桥路学院）；Mines ParisTech（巴黎高科矿业学院）；PSL Research University（巴黎文理研究大学）；Institut Curie（居里研究所）；INSERM（法国国家健康与医学研究院）
基于一个新的原子范数，我们提出了一个新的稀疏矩阵分解问题的凸公式，其中因子的非零元素的数量是固定的和已知的。该公式计算多因素稀疏PCA，子空间聚类和低秩稀疏双线性回归作为潜在的应用。我们计算慢速率和上界的秩1矩阵的建议规范的统计维数，表明其统计维数是一个数量级小于通常的$\ell\_1$ -规范，跟踪规范和它们的组合。即使我们的凸公式是在理论上很难，并没有导致可证明的多项式时间算法方案，我们提出了一个有效的集算法利用凸问题的结构来解决它，并显示出有前途的数值结果。
2014-12-04 cs.LG math.ST stat.ML
Identifiability in Two-Layer Sparse Matrix Factorization
Université de Lyon（里昂大学）；ENS de Lyon（里昂高等师范学院）；UCBL（里昂克洛德·贝尔纳大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）
稀疏矩阵分解是通过$J$稀疏因子$\mathbf{X}^{(J)} \mathbf{X}^{(J-1)} \ldots \mathbf{X}^{(1)}$的乘积来近似矩阵$\mathbf{Z}$的问题。本文重点研究了该问题中出现的可识别性问题，以期更好地理解在何种稀疏性约束下该问题是适定的。我们给出的条件下，分解成\emph{two}稀疏因子矩阵的问题承认一个唯一的解决方案，不可避免的置换和缩放等价。我们的一般框架认为，一个任意的家庭规定的稀疏模式，使我们能够捕捉更多的结构化概念的稀疏性比简单的非零条目的计数。这些条件被证明是有关的基本唯一性的确切矩阵分解成一个秩一矩阵的总和，结构稀疏约束。特别是，在固定支撑稀疏矩阵分解的情况下，我们给出了一个一般的充分条件，基于秩一矩阵完备性的可识别性，我们从中推导出一个完备化算法，可以验证这个充分条件是否满足，如果是这种情况下，恢复在两个稀疏因子的条目。一个配套文件进一步利用这些条件来获得可识别性属性和理论上健全的分解方法，多层稀疏矩阵分解与支持相关的一些著名的快速变换，如阿达玛或离散傅立叶变换的约束。
2021-11-17 cs.LG
Fast Non-Bayesian Poisson Factorization for Implicit-Feedback Recommendations
本文研究了基于正则化泊松模型的非负低秩矩阵分解（PF或Poisson factorization）在隐式反馈数据推荐系统中的应用。泊松似然的特性允许在零值输入上进行非常快速的计算，并且通常会导致用户和项目的非常稀疏的因子。与HPF（一种流行的贝叶斯公式的问题与分层先验）相比，这里提出的基于频率论优化的方法往往会产生更好的前N个建议，拟合时间显着缩短，在稀疏的解决方案之上。
2022-02-23 cs.LG stat.ML
Supervised Dictionary Learning by a Variational Bayesian Group Sparse Nonnegative Matrix Factorization
Rudjer Boskovic Institute（鲁杰尔·博什科维奇研究所）
非负矩阵分解（NMF）与组稀疏约束的概率图形模型，并制定，假设一些观察数据已产生的模型，一个可行的变分贝叶斯算法的学习模型参数。当在监督学习场景中使用时，NMF最常用作无监督特征提取器，然后在所获得的特征子空间中进行分类。在将类标签映射到更一般的组概念（其是系数的稀疏性的基础）之后，所提出的组稀疏NMF模型允许的是将类标签信息并入以找到低维标签驱动的字典，其不仅旨在忠实地表示数据，而且还适合于类判别。在面部识别和面部表情识别领域进行的实验表明，在这种标签驱动的特征子空间中进行分类比在无监督方式下获得的特征子空间中进行分类具有优势。
2014-05-27 cs.CV cs.LG stat.ML
FastSTMF: Efficient tropical matrix factorization algorithm for sparse data
University of Ljubljana（卢布尔雅那大学）；Faculty of Computer and Information Science（计算机与信息科学学院）
矩阵分解是机器学习中最流行的方法之一，最近受益于使用热带半环在预测任务中引入非线性。非线性使得能够更好地拟合极值和分布，从而发现与标准线性代数发现的高方差模式不同的高方差模式。然而，各种热带矩阵分解方法的优化过程缓慢。在我们的工作中，我们提出了一种新的方法FastSTMF稀疏热带矩阵分解（STMF）的基础上，它引入了一种新的策略更新因子矩阵，从而提高了计算性能。我们评估了FastSTMF在TCGA数据库的合成和真实基因表达数据上的效率，结果表明FastSTMF在准确性和运行时间方面都优于STMF。与NMF相比，我们表明FastSTMF在某些数据集上表现更好，并且不像NMF那样容易过拟合。这项工作的基础上开发其他矩阵分解技术的基础上，许多其他半环使用一个新的建议的优化过程。
2022-05-13 cs.LG
Topic Diffusion Discovery based on Sparseness-constrained Non-negative Matrix Factorization
National Sun Yat-sen University（国立中山大学）
由于最近的文本数据爆炸，研究人员已经被不同研究社区产生的不断增加的文章数量所淹没。各种学术搜索网站，引文推荐引擎和研究数据库已经被创建，以简化文本搜索任务。然而，研究人员仍然很难在不对期刊、会议、会议和研讨会发表的大量文章进行深入审查的情况下确定潜在的研究主题。在本文中，我们考虑了一种新的主题扩散发现技术，它结合了稀疏约束的非负矩阵分解与广义詹森-香农发散，以帮助理解术语主题的演变和识别主题扩散。我们的实验结果表明，该方法可以从大型文章数据库中提取更多的突出主题，可视化感兴趣的术语和抽象主题之间的关系，并进一步帮助研究人员了解给定的术语/主题是否已被广泛探讨，或者是否有新的主题正在从文献中出现。
2018-07-12 cs.IR cs.LG stat.ML
Log-based Sparse Nonnegative Matrix Factorization for Data Representation
Qingdao University（青岛大学）；Harbin Institute of Technology（哈尔滨工业大学）；University of Electronic Science and Technology of China（电子科技大学）；University of Kentucky（肯塔基大学）
非负矩阵分解（NMF）是近年来得到广泛研究的一种基于部分表示的非负数据表示方法。对于NMF，稀疏解意味着更好的基于部分的表示。然而，目前的NMF方法并不总是产生稀疏解。本文提出了一种新的NMF方法，在因子矩阵上施加对数范数以增强稀疏性。此外，我们提出了一种新的列方向稀疏范数，称为$\ell_{2,\log}$ -（伪）范数，以增强所提出方法的鲁棒性。$\ell_{2,\log}$ -（伪）范数是不变的，对于$\ell_{2,\log}$正则化收缩问题，给出了一个可用于其他一般问题的封闭解，并提出了有效的乘性更新规则，从理论上保证了目标值序列的收敛性，大量的实验结果证实了所提方法的有效性，以及增强的稀疏性和鲁棒性.
2022-04-22 cs.LG
Efficient Identification of Butterfly Sparse Matrix Factorizations
Univ. de Lyon（里昂大学）；ENS de Lyon（里昂高等师范学院）；UCBL（里昂第一大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）
快速变换对应于$\mathbf{Z} = \mathbf{X}^{(1)} \ldots \mathbf{X}^{(J)}$形式的因子分解，其中每个因子$ \mathbf{X}^{(\ell)}$是稀疏的并且可能是结构化的。本文研究了这类分解的本质唯一性，即，唯一性到不可避免的缩放模糊性。我们的主要贡献是证明，任何$N \times N$矩阵具有所谓的蝴蝶结构承认一个基本上唯一的分解成$J$蝴蝶因子（其中$N = 2^{J}$），并认为该因素可以恢复的分层分解方法，其中包括递归分解成两个因素的考虑矩阵。这种分层可识别性属性依赖于两层和固定支撑设置中的简单可识别性条件。这种方法与现有的方法形成对比，现有的方法通过梯度下降将蝶形因子的乘积拟合到给定的矩阵。所提出的方法可以特别地应用于检索尺寸为$N=2^J$的Hadamard或离散傅立叶变换矩阵的因式分解。计算这样的因式分解需要$\mathcal{O}(N^{2})$，这是密集矩阵-向量乘法的量级，而获得的因式分解能够实现快速的$\mathcal{O}(N \log N)$矩阵-向量乘法，并且有可能应用于压缩深度神经网络。
2022-11-07 cs.LG
Sparse Separable Nonnegative Matrix Factorization
University of Mons（蒙斯大学）；Univ Rennes（雷恩大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；IRISA（法国雷恩信息与自动化系统研究所）
我们提出了一个新的非负矩阵分解（NMF）的变种，结合分离性和稀疏性的假设。可分离性要求第一NMF因子的列等于输入矩阵的列，而稀疏性要求第二NMF因子的列是稀疏的。我们称这种变体稀疏可分NMF（SSNMF），我们证明是NP-完全的，而不是可分NMF，可以解决多项式时间。考虑这种新模型的主要动机是处理欠定盲声源分离问题，如多光谱图像解混。我们介绍了一种算法来解决SSNMF，基于连续非负投影算法（SNPA，一种有效的算法可分离NMF），和一个精确的稀疏非负最小二乘求解器。我们证明，在无噪声设置和温和的假设下，我们的算法恢复真正的潜在来源。这说明了合成数据集和多光谱图像的解混实验。
2020-06-13 cs.CV cs.LG eess.SP
Dropout Training of Matrix Factorization and Autoencoder for Link Prediction in Sparse Graphs
Binghamton University（宾汉姆顿大学）
矩阵分解（MF）和自动编码器（AE）是无监督学习中最成功的方法之一。虽然基于MF的模型已经在图建模和链接预测文献中被广泛利用，但AE族尚未获得太多关注。在本文中，我们调查MF和AE的应用程序的链接预测问题的稀疏图。我们从多视图学习的角度展示了AE和MF之间的联系，并进一步提出了MF+AE：一个具有共享参数的MF和AE联合训练模型。我们应用dropout来训练MF和AE部分，并表明它可以通过充当自适应正则化来显着防止过拟合。我们在六个真实世界的稀疏图数据集上进行了实验，结果表明MF+AE始终优于竞争方法，特别是在表现出强大的非内聚结构的数据集上。
2015-12-14 cs.LG
Purdue University（普渡大学）；Indiana University（印第安纳大学）；Amazon（亚马逊公司）
Boolean tensor has been broadly utilized in representing high dimensional logical data collected on spatial, temporal and/or other relational domains. Boolean Tensor Decomposition (BTD) factorizes a binary tensor into the Boolean sum of multiple rank-1 tensors, which is an NP-hard problem. Existing BTD methods have been limited by their high computational cost, in applications to large scale or higher order tensors. In this work, we presented a computationally efficient BTD algorithm, namely \textit{Geometric Expansion for all-order Tensor Factorization} (GETF), that sequentially identifies th…
2020-10-26 cs.CG cs.LG stat.ML
Convex Sparse Matrix Factorizations
Laboratoire d’Informatique de l’Ecole Normale Supérieure（巴黎高等师范学院计算机实验室）
我们提出了一个凸制定的字典学习稀疏信号分解。凸性是通过用一个类似于迹范数的凸秩减少项来替换字典大小的通常的显式上界来获得的。特别是，我们的配方引入了一个明确的权衡大小和稀疏性的矩形矩阵的分解。使用一个大的合成的例子，我们比较的凸和非凸的方法的估计能力，表明，虽然凸的制定有一个单一的局部最小值，这可能会导致在某些情况下，性能是劣于非凸的制定的局部最小值。
2008-12-10 cs.LG
Fast Parallel Randomized Algorithm for Nonnegative Matrix Factorization with KL Divergence for Large Sparse Datasets
本文提出一种快速并行随机坐标下降算法，用于大规模稀疏数据集的非负矩阵分解与KL散度优化，实现更高效的稀疏建模与表示。
2016-04-14 cs.LG cs.NA math.NA
Bridging the Gap between Sparse Matrix Reordering and Factorization: A Deep Learning Framework for Fill-in Reduction
Institute of Software, Chinese Academy of Sciences, Beijing, China（中国科学院软件研究所，北京，中国）；University of Chinese Academy of Sciences, Beijing, China（中国科学院大学，北京，中国）
本文提出一种深度学习框架，通过谱嵌入最小化填充代理函数，弥合稀疏矩阵重排与分解之间的差距，实验表明其性能优于传统图论算法和深度学习方法。
2026-05-17 cs.LG
Sparse Nonnegative Tensor Factorization and Completion with Noisy Observations
Central China Normal University（华中师范大学）；The University of Hong Kong（香港大学）
本文研究了三阶张量的稀疏非负张量分解和完备化问题。由于稀疏性和非负性，底层张量被分解为一个稀疏非负张量和一个非负张量的张量积。我们提出了最小化的极大似然估计的非负约束的观察和张量$\ell_0$范数的稀疏因子的总和。我们表明，所提出的模型的估计的误差界可以建立在一般的噪声观测。在特定的噪声分布下，包括加性高斯噪声，加性拉普拉斯噪声，和泊松观测的详细误差范围可以推导出来。此外，极大极小下界与所建立的上界相匹配，最高可达底层张量大小的对数因子。张量的这些理论结果优于矩阵的结果，这说明了使用非负稀疏张量模型完成和去噪的优势。数值实验验证了所提出的基于张量的方法相比，基于矩阵的方法的优越性。
2021-10-20 cs.CV cs.LG cs.NA
Robust Non-Linear Matrix Factorization for Dictionary Learning, Denoising, and Clustering
The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳大数据研究院）；Cornell University（康奈尔大学）
低维非线性结构广泛存在于计算机视觉和机器学习的数据集中。最近提出了核矩阵分解技术，通过观察足够大的特征空间中的矩阵图像是低秩的，来学习这些非线性结构，用于去噪、分类、字典学习和缺失数据填补。然而，这些非线性方法在稀疏噪声或离群值的存在下失败。在这项工作中，我们提出了一个新的鲁棒非线性分解方法称为鲁棒非线性矩阵分解（RNLMF）。RNLMF通过分解核化特征空间来构建数据空间的字典;然后可以将噪声矩阵分解为稀疏噪声矩阵和位于低维非线性流形中的干净数据矩阵的总和。RNLMF对稀疏噪声和离群值具有鲁棒性，并可扩展到具有数千行和列的矩阵。根据经验，RNLMF在去噪和聚类方面比基线方法取得了显着的改进。
2020-12-02 cs.LG stat.ML
Nonparametric Sparse Tensor Factorization with Hierarchical Gamma Processes
University of Utah（犹他大学）
我们提出了一个稀疏观测张量的非参数因子分解方法。稀疏性并不意味着零值条目是大量的或占优势的。相反，它意味着观察到的条目非常少，随着张量的增长甚至更少;这在实践中是普遍存在的。与已有的工作相比，我们的模型不仅利用了观察到的入口指数的结构信息，而且提供了额外的可解释性和灵活性-它可以同时估计一组关于张量节点内在属性的位置因子，以及另一组反映其与他人互动时的外向活动的社交性因子;用户可以自由选择这两类因素之间的折衷。具体来说，我们使用分层Gamma过程和泊松随机测度来构造一个张量值过程，该过程可以自由地对两种类型的因子进行采样以生成张量，并且始终保证渐近稀疏性。然后，我们规范化张量过程，以获得分层Dirichlet过程采样每个观察到的条目索引，并使用一个高斯过程采样的条目值作为一个非线性函数的因素，以便捕获的稀疏结构属性和复杂的节点关系。为了有效的推理，我们使用Dirichlet过程的有限样本分区，密度变换和随机功能，开发一个随机变分估计算法。我们证明了我们的方法在几个基准数据集的优势。
2021-11-03 cs.LG stat.ML
Identifying Sparse Low-Dimensional Structures in Markov Chains: A Nonnegative Matrix Factorization Approach
University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们考虑学习大规模马尔可夫链的低维表示的问题。我们将表示学习的任务表述为将模型的状态空间映射到低维状态空间，称为核空间。内核空间包含一组Meta状态，这些元状态仅代表原始状态的一个小子集。为了促进这一结构属性，我们约束状态空间和核空间之间的映射的非零条目的数量。通过施加所需的特性的表示，我们投的问题作为一个约束的非负矩阵分解。为了计算解，我们提出了一种有效的块坐标梯度下降算法，并从理论上分析了其收敛性。
2020-04-07 cs.LG cs.SY eess.SY
Forecasting Sparse Movement Speed of Urban Road Networks with Nonstationary Temporal Matrix Factorization
Polytechnique Montreal（蒙特利尔理工学院）；McGill University（麦吉尔大学）；University of Electronic Science and Technology of China（电子科学与技术大学）
本文提出非平稳时间矩阵分解模型，用于预测城市道路网络稀疏行驶速度，通过低秩结构和季节性信息提升预测精度。
2025-04-12 cs.LG stat.ML
Variational Auto-encoder Based Bayesian Poisson Tensor Factorization for Sparse and Imbalanced Count Data
Monash University（莫纳什大学）；Beijing Shandesitong Technology（北京山德斯通科技）；Deakin University（迪肯大学）
非负张量因子分解模型能够对计数数据进行预测分析。其中，贝叶斯Poisson-Gamma模型可以推导出潜在因素的完整后验分布，并且对稀疏计数数据不太敏感。然而，目前的推理方法，这些贝叶斯模型采用限制更新规则的后验参数。它们也无法共享更新信息以更好地应对数据稀疏性。此外，这些模型没有被赋予处理计数数据值中的不平衡的组件。在本文中，我们提出了一种新的变分自动编码器框架称为VAE-BPTF，解决了上述问题。它使用多层感知器网络来编码和共享复杂的更新信息。然后对每个数据实例重新加权编码信息，以在聚合以计算潜在因素的后验参数之前惩罚公共数据值。在合成数据评估下，VAE-BPTF倾向于恢复正确数量的潜在因子和后验参数值。它在五个真实世界数据集的重建错误和潜在因素（语义）一致性方面也优于当前模型。此外，VAE-BPTF推断的潜在因素被认为是有意义的和一致的定性分析。
2020-12-14 cs.LG stat.ML
NetSMF: Large-Scale Network Embedding as Sparse Matrix Factorization
Tsinghua University（清华大学）；Microsoft Research（微软研究院）；Facebook AI（脸书人工智能研究院）；Beijing National Research Center for Information Science and Technology (BNRist)（北京信息科学与技术国家研究中心）
我们研究了大规模网络嵌入的问题，其目的是学习潜在的表示网络挖掘应用程序。先前的研究表明：1）流行的网络嵌入基准测试，如DeepWalk，本质上是隐式分解具有封闭形式的矩阵，2）这种矩阵的显式分解比现有方法生成更强大的嵌入。然而，直接构造和分解这个矩阵-这是密集的-在时间和空间方面都是非常昂贵的，使得它不适合大型网络。在这项工作中，我们提出了大规模的网络嵌入的稀疏矩阵分解（NetSMF）的算法。NetSMF利用频谱稀疏化的理论来有效地稀疏上述密集矩阵，从而显著提高嵌入学习的效率。稀疏矩阵在频谱上接近原始稠密矩阵，具有理论上有界的近似误差，这有助于保持学习嵌入的表示能力。我们在各种规模和类型的网络上进行实验。结果表明，在流行的基准测试和基于因子分解的方法中，NetSMF是唯一实现高效率和有效性的方法。我们发现，NetSMF只需要24小时就可以为一个拥有数千万节点的大规模学术合作网络生成有效的嵌入，而DeepWalk需要花费数月的时间，并且对于密集矩阵分解解决方案来说，这在计算上是不可行的。NetSMF的源代码是公开的（https：//github.com/xptree/NetSMF）。
2019-06-26 cs.LG cs.SI stat.ML
Decoding the Encoding of Functional Brain Networks: an fMRI Classification Comparison of Non-negative Matrix Factorization (NMF), Independent Component Analysis (ICA), and Sparse Coding Algorithms
University of California, Los Angeles（加州大学洛杉矶分校）
功能磁共振成像中的大脑网络通常使用空间独立成分分析（ICA）来识别，但稀疏编码和阳性等数学约束都为生成大脑网络提供了替代的生物学合理框架。非负矩阵分解（NMF）通过增强正性来抑制负BOLD信号。空间稀疏编码算法（$L1$正则化学习和K-SVD）将强加局部专业化和多任务的阻碍，其中单个体素中的总观察到的活动源自有限数量的可能的大脑网络。独立性，积极性和稀疏性的假设，以编码任务相关的大脑网络进行了比较，得到的大脑网络为不同的约束条件被用作基函数，在给定的时间点编码所观察到的功能活动。这些编码是使用机器学习解码的，以比较算法和它们的假设，使用时间序列权重来预测受试者是否正在观看视频，收听音频提示，或者在来自51名受试者的304次fMRI扫描中休息。对于认知活动分类，$L1$正则化学习的稀疏编码算法在不同数量的网络和噪声水平上始终优于ICA的4种变体（p $<$ 0.001）。抑制负BOLD信号的NMF算法精度最差。在每种算法中，使用稀疏空间网络（包含更多零值体素）的编码具有更高的分类准确度（p $<$ 0.001）。稀疏编码算法的成功可能表明，执行稀疏编码，不鼓励多任务处理，并促进本地专业化的算法可以更好地捕捉底层源过程比那些允许取之不尽的本地过程，如ICA。
2016-07-01 cs.LG q-bio.NC stat.ML
Bayesian Poisson Tensor Factorization for Inferring Multilateral Relations from Sparse Dyadic Event Counts
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Columbia University（哥伦比亚大学）；Microsoft Research（微软研究院）
我们提出了一个贝叶斯张量分解模型，用于从动态成对交互模式推断潜在组结构。几十年来，政治学家收集和分析了“国家$i$在时间$t$对国家$j$采取行动$a$“的记录-被称为二元事件-以形成和检验国际关系理论。我们将这些事件数据表示为计数张量，并开发贝叶斯泊松张量因子分解来推断其显着模式的低维，可解释的表示。我们证明了我们的模型的预测性能优于标准的非负张量因子分解方法。我们还提供了一个比较我们的变分更新，他们的极大似然同行。在这样做时，我们确定了一个更好的方式来形成点估计的潜在因素比通常使用的贝叶斯泊松矩阵分解。最后，我们展示了我们的模型作为政治科学家的探索性分析工具。我们发现，推断的潜在因素矩阵捕捉可解释的多边关系，既符合我们的知识，并告知国际事务。
2015-06-10 cs.AI cs.LG cs.SI
Sparse Hierarchical Tucker Factorization and its Application to Healthcare
Georgia Institute of Technology（佐治亚理工学院）
本文提出稀疏分层Tucker分解方法，用于处理稀疏高阶张量数据。该方法通过嵌套采样技术解决传统分层Tucker方法的可扩展性问题，提升了效率和准确性，并在医疗数据集上验证了其性能。
2016-10-25 cs.LG cs.NA math.NA
Sparse encoding for more-interpretable feature-selecting representations in probabilistic matrix factorization
National Institutes of Health（美国国立卫生研究院）；Clinical Center（临床中心）；NIDDK（糖尿病、消化系统疾病和肾脏疾病研究所）；mederrata
针对层级泊松矩阵分解缺乏编码器稀疏性、可解释性不足的问题，提出用广义加性模型自洽强制编码器稀疏性的方法，兼具特征选择能力，在模拟数据与医保患者共病场景验证了有效性。
2020-12-29 cs.LG q-bio.QM stat.ML
Large Enforced Sparse Non-Negative Matrix Factorization
University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）；MIT Lincoln Laboratory（麻省理工学院林肯实验室）
本文提出一种强制生成稀疏中间和输出矩阵的NMF改进方法，提升内存和计算性能，同时保持或提高主题模型的准确性和算法收敛速度。
2015-10-18 cs.LG cs.NA cs.SI
Recommendations with Sparse Comparison Data: Provably Fast Convergence for Nonconvex Matrix Factorization
EPFL（瑞士联邦理工学院）；TUM（慕尼黑工业大学）
本文研究用户通过成对比较给出反馈的推荐问题，证明非凸损失在真实解附近具有受限强凸性，使梯度方法在稀疏比较数据下借助热启动实现指数级快速收敛。
2025-08-19 cs.LG
Graphical model for factorization and completion of relatively high rank tensors by sparse sampling
D3 Center, Osaka University（大阪大学D3中心）；Department of Physics, Graduate School of Science, Osaka University（大阪大学理学研究生院物理学科）；Department of Systems Science, Graduate School of Informatics, Kyoto University（京都大学信息学研究生院系统科学学科）；RIKEN center for AIP（RIKEN AIP研究中心）
本文提出基于稀疏测量的张量分解方法，利用随机图结构进行信息交互，在高维极限下构建信息传递算法并发展复制理论以评估统计推断性能。
2026-02-18 cond-mat.dis-nn cond-mat.stat-mech cs.IT
A Discrete Perspective Towards the Construction of Sparse Probabilistic Boolean Networks
The University of Hong Kong（香港大学）
本文提出贪婪条目移除算法构建稀疏概率布尔网络，推导理论上界并首次研究下界，实验表明GER在合成和实际数据上优于现有算法，输出最稀疏分解。
2024-07-16 cs.LG cs.NA math.NA
Transformers with RL or SFT Provably Learn Sparse Boolean Functions, But Differently
School of Electronics and Computer Science, University of Southampton, United Kingdom（南安普顿大学电子与计算机科学学院，英国）；Independent Researcher（独立研究员）
本文通过统一分析RL（过程奖励）和SFT微调Transformer学习可递归分解的k-稀疏布尔函数的动态，证明两者都能学习k-PARITY、k-AND、k-OR等函数，但RL同时学习整个CoT链，而SFT逐步学习。
2026-08-07 cs.LG stat.ML
Optimizing Sparse Boolean Rule Networks using Mixed Integer Linear Programming
Institute for Application-Oriented Knowledge Processing (FAW)（应用知识处理研究所）；LIT AI Lab（林茨人工智能实验室）
该研究提出混合整数线性规划（MILP）公式优化稀疏布尔规则网络，通过增强公式提升计算效率，在合成基准和UCI数据集上实现了与可解释基线相当或更优的准确率，为学习紧凑布尔规则集提供了可控权衡的框架。
2026-10-15 cs.LG stat.ML
Deep Weight Factorization: Sparse Learning Through the Lens of Artificial Symmetries
LMU Munich（慕尼黑大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）
本文提出深度权重分解方法，将权重分解为多个因子并施加可微L2正则化，理论上等价于非凸稀疏正则化，并通过定制初始化和学习率策略在多种架构与数据集上优于浅层分解和剪枝方法。
2025-02-07 cs.LG stat.ML
Simplicity Bias in Transformers and their Ability to Learn Sparse Boolean Functions
Mila（米拉人工智能研究所）；McGill University（麦吉尔大学）；University of Oxford（牛津大学）；Cohere（Cohere公司）
本文通过布尔函数实证研究揭示 Transformer 相比 LSTM 更偏向低敏感度函数，并在稀疏布尔函数上表现出更强抗噪泛化能力，从而解释了其实际泛化优势。
2023-07-10 cs.CL cs.LG
Two Sparse Matrices are Better than One: Sparsifying Neural Networks with Double Sparse Factorization
Faculty of Mathematics, Physics and Informatics, Comenius University（数学、物理与信息学系，科门纽斯大学）；Powerful Medical（强力医疗）；GrizzlyTech（灰熊科技）
本文提出双重稀疏分解（DSF），将权重矩阵分解为两个稀疏矩阵，并基于ADMM交替最小化实现高效求解，在LLaMA2-13B等模型上实现50%稀疏化且性能优于稠密小模型，超越现有逐层剪枝方法。
2025-06-04 cs.LG
Factorization Machines with Regularization for Sparse Feature Interactions
Hokkaido University（北海道大学）
因式分解机（FM）是基于二阶特征交互的机器学习预测模型，具有稀疏正则化的FM被称为稀疏FM。这样的正则化使得能够进行特征选择，其选择最相关的特征以进行准确的预测，因此它们可以有助于提高模型的准确性和可解释性。然而，由于FM使用二阶特征交互，特征的选择通常会导致结果模型中许多相关特征交互的丢失。在这种情况下，具有专门为尝试实现交互级稀疏性的特征交互选择而设计的正则化的FM可能是优选的，而不是仅用于尝试实现特征级稀疏性的特征选择的FM。在本文中，我们提出了一个新的正则化计划的功能模块中的功能交互选择。所提出的正则化算子是特征交互矩阵的$\ell_1$正则化算子的上界，该特征交互矩阵是从FM的参数矩阵计算的。对于特征交互选择，我们提出的正则化器使特征交互矩阵稀疏，而不限制现有方法所施加的稀疏模式。我们还描述了有效的邻近算法，建议FM和现有的理论分析和新的正则化。此外，我们将讨论如何将我们的想法应用或扩展到更准确的特征选择和其他相关模型，如高阶FM和全子集模型。在人工数据集和真实数据集上的分析和实验结果表明了所提方法的有效性。
2021-04-01 cs.LG stat.ML
Sparse Factorization of Large Square Matrices
Norwegian University of Science and Technology（挪威科技大学）
方阵出现在许多机器学习问题和模型中。在大型方阵上进行优化在存储器和时间上是昂贵的。因此，需要一个经济近似值。传统的近似方法将方阵分解为许多秩低得多的矩阵。然而，如果近似矩阵本质上是高秩或接近满秩，则低秩约束是性能瓶颈。本文提出用稀疏满秩矩阵的乘积来逼近大型方阵。在近似中，我们的方法只需要$N(\log N)^2$非零的数字为$N\times N$全矩阵。我们提出了非参数和参数的方法来找到因式分解。在前者中，我们直接学习分解矩阵，而在后者中，我们训练神经网络将输入数据映射到非零矩阵元素。稀疏分解方法测试了各种合成和现实世界的方阵。实验结果表明，当近似矩阵稀疏且秩较高时，该方法具有更好的近似效果。基于这一发现，我们使用我们的参数化方法作为一个可扩展的注意力架构，在学习任务中表现强劲的长序列数据和击败Transformer及其几个变种。
2021-09-16 cs.LG
Approximating Optimal Transport via Low-rank and Sparse Factorization
Zhejiang University（浙江大学）
最优传输（OT）自然地出现在广泛的机器学习应用中，但通常可能成为计算瓶颈。最近，一系列的工作提出了解决OT近似搜索的\emph{transport plan}在一个低秩子空间。然而，最优运输计划往往不是低秩的，这往往会产生很大的近似误差。例如，当Monge的\emph{transport map}存在时，运输计划是满秩的。本文讨论了OT距离的计算问题，并给出了计算的精度和效率.提出了一种新的OT近似方法，将运输计划分解为一个低秩矩阵和一个稀疏矩阵之和。我们从理论上分析了近似误差。一个增广拉格朗日方法，然后设计有效地计算运输计划。
2021-11-12 cs.LG
