Ellipsoidal Rounding for Nonnegative Matrix Factorization Under Noisy Separability
提出了一种噪声可分离条件下非负矩阵分解问题的数值算法。可分离条件下的NMF问题可以表述为求数据点凸包的所有顶点。本文的研究兴趣是在数据点中加入噪声的情况下,找到尽可能接近顶点的向量。我们的算法被设计成通过使用其封闭椭球来捕获数据点的凸包的形状。从理论和实践的角度证明了算法的正确性和鲁棒性;正确性是指如果数据点不包含任何噪声,则算法可以找到其凸包的顶点;鲁棒性是指如果数据点包含噪声,则算法可以找到其邻近顶点。最后,我们将该算法应用于文档聚类,并报告了实验结果。
2014-02-12 stat.ML
Model Selection for Nonnegative Matrix Factorization by Support Union Recovery
Department of Electrical and Computer Engineering(电子工程系)
本文提出了一种通过计算经验二阶矩并恢复与经验二阶矩相关的矩阵中非零行的索引集来自动选择非负矩阵分解的潜在维度的算法,该算法在理论上有保证地检测出真实的潜在维度。
2018-10-23 cs.LG cs.NA math.NA
First Order Methods for Robust Non-negative Matrix Factorization for Large Scale Noisy Data
非负矩阵分解(NMF)在可分性假设下是可识别的,在可分性假设下,输入数据矩阵的所有列(或行)都属于仅由这些列(或行)中的少数列(或行)生成的凸锥[1]。然而,在实际应用中,这种可分性假设很难满足。继[4]和[5]之后,在本文中,我们研究了基于线性规划(LP)的重新制定,以定位凸锥的极端光线,但在噪声设置中。此外,为了处理大规模的数据,我们采用一阶方法(FOM)来减轻LP的计算复杂性,这主要是由于大量的约束。我们展示了该算法在真实和合成数据集上的性能。
2014-03-24 stat.ML
Pursuits in Structured Non-Convex Matrix Factorizations
UT Austin(德克萨斯大学奥斯汀分校);ETH Zurich(苏黎世联邦理工学院)
在许多领域中,以简洁和简约的方式有效地表示真实世界的数据是至关重要的。我们提出了一个广义贪婪追求框架,使我们能够有效地解决结构化矩阵因式分解问题,其中允许因子来自任意结构化向量集。这种结构可以包括稀疏性、非负性、有序性或其组合。该算法通过几个秩1矩阵的线性组合来近似给定的矩阵,每个矩阵分解为所需结构的两个向量原子的外积。对于获得良好秩-1结构矩阵原子的非凸子问题,我们采用并分析了一种通用的原子幂方法。除了上述应用程序,我们证明了线性收敛广义追求变量在希尔伯特空间中的近似任务的线性跨度的任意字典-推广OMP和矩阵问题之外是有用的。我们在真实数据集上的实验证实了我们的框架在实践中的效率和广泛的适用性。
2016-02-12 cs.LG stat.ML
A Non-convex One-Pass Framework for Generalized Factorization Machine and Rank-One Matrix Sensing
University of Michigan(密歇根大学)
我们开发了一个有效的交替框架,用于学习具有可证明保证的数据流上的广义因式分解机(gFM)。当样本是从$d$维随机高斯向量中采样的,且gFM中的目标二阶系数矩阵秩为$k$时,算法线性收敛,在检索$O(k^{3}d\log(1/ε))$训练样本后达到$O(ε)$恢复误差,一遍数据集消耗$O(kd)$内存,每次迭代只需要矩阵向量乘积运算。我们的框架的关键成分是一个建设的估计序列赋予所谓的连续性独立RIP条件(CI-RIP)。作为gFM的特殊情况,我们的框架可以应用于对称或非对称的秩一矩阵传感问题,如归纳矩阵完成和相位检索。
2016-10-25 cs.LG stat.ML
Dimensionality Reduction for Binary Data through the Projection of Natural Parameters
二进制数据的主成分分析(PCA),称为逻辑PCA,已经成为二进制数据降维的一种流行的替代方法。它的动机是通过矩阵分解,类似于奇异值分解,最大化伯努利对数似然的普通PCA的扩展。我们提出了一个新的制剂的逻辑PCA扩展皮尔逊的制定低维数据表示与最小误差的二进制数据。我们的公式不需要矩阵分解,因为以前的方法,而是寻找从饱和模型的自然参数的投影。由于这种差异,参数的数量不会随着观测值的数量而增加,并且可以通过简单的矩阵乘法来计算新数据的主成分得分。我们推导出特殊结构的数据矩阵的显式解决方案,并提供计算效率高的算法求解主成分负荷。通过模拟实验和对医疗诊断数据的分析,我们将我们的逻辑PCA公式与以前的公式以及普通PCA进行了比较,以证明其优点。
2015-10-21 stat.ME stat.ML
Stochastic gradient descent estimation of generalized matrix factorization models with application to single-cell RNA sequencing data
Bocconi Institute for Data Science and Analytics, Bocconi University(博科尼大学数据科学与分析研究所);Department of Applied Mathematics, Computer Science and Statistics, Ghent University(根特大学应用数学、计算机科学与统计系);Department of Statistical Sciences, University of Padova(帕多瓦大学统计科学系)
提出基于指数分散族的广义矩阵分解模型及自适应随机梯度下降算法,高效实现单细胞RNA测序数据降维,在速度与内存上优于现有方法并保持高精度。
2025-10-11 stat.CO stat.ML
Tight convex relaxations for sparse matrix factorization
Stanford University(斯坦福大学);Université Paris-Est(巴黎东大学);Ecole des Ponts - ParisTech(巴黎高科桥路学院);Mines ParisTech(巴黎高科矿业学院);PSL Research University(巴黎文理研究大学);Institut Curie(居里研究所);INSERM(法国国家健康与医学研究院)
基于一个新的原子范数,我们提出了一个新的稀疏矩阵分解问题的凸公式,其中因子的非零元素的数量是固定的和已知的。该公式计算多因素稀疏PCA,子空间聚类和低秩稀疏双线性回归作为潜在的应用。我们计算慢速率和上界的秩1矩阵的建议规范的统计维数,表明其统计维数是一个数量级小于通常的$\ell\_1$ -规范,跟踪规范和它们的组合。即使我们的凸公式是在理论上很难,并没有导致可证明的多项式时间算法方案,我们提出了一个有效的集算法利用凸问题的结构来解决它,并显示出有前途的数值结果。
2014-12-04 cs.LG math.ST stat.ML
Global Optimality in Tensor Factorization, Deep Learning, and Beyond
Johns Hopkins University(约翰斯·霍普金斯大学)
本文提出一个通用框架,分析非凸分解问题,证明局部最小值为全局最小值,并指导深度网络架构和正则化策略以提高优化效率。
2015-06-24 cs.LG cs.NA math.NA
Risk budget portfolios with convex Non-negative Matrix Factorization
本研究提出一种基于凸非负矩阵分解的风险因子预算投资组合配置方法,可得到可解释的纯多头多元化组合,在两类资产组合上表现优于经典方法和HRP,且经蒙特卡洛模拟验证稳健。
2023-06-12 econ.EM q-fin.PM stat.AP
Online Convex Matrix Factorization with Representative Regions
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
矩阵分解(MF)是一种通用的学习方法,在各种数据驱动的学科中得到了广泛的应用。尽管如此,许多MF算法不能充分地随可用数据集的大小扩展和/或缺乏可解释性。为了提高该方法的计算效率,Mairal等人[2010]提出了一种在线(流式)MF算法。为了实现数据的可解释性,Ding等人[2010]引入了MF的约束版本,称为凸MF。在后一种工作中,要求基向量位于数据样本的凸包中,从而确保每个基可以被解释为数据样本的加权组合。目前没有已知的在线凸MF的算法解决方案,因为在不访问完整数据集的情况下找到足够的凸基是具有挑战性的。我们通过提出第一个在线凸MF算法来解决这两个问题,该算法维护解释每个基所需的代表性数据样本的恒定大小集合(Ding et al. [2010]),并且具有与Mairal et al. [2010]的在线学习算法相同的几乎肯定收敛保证。我们的证明技术结合随机坐标下降算法与专门的准鞅收敛分析。合成和真实世界的数据集上的实验表明显着的计算节省所提出的在线凸MF方法相比,经典的凸MF。由于所提出的方法保留了凸解释所需的小的代表性数据样本集,因此它与理论计算机科学中的一系列工作有关,涉及生成点集(Blum et al. [2016]),以及计算机视觉,涉及原型分析(Mei et al. [2018])。然而,它在目标和算法实现方面都不同于这些工作。
2019-05-29 cs.LG stat.ML
Matrix factorization with Binary Components
Saarland University(萨尔兰大学)
出于在计算生物学中的应用,我们考虑低秩矩阵分解与$\{0,1\}$ -约束的因素之一,并可选地凸约束的第二个。除了与其他矩阵分解方案共享的非凸性之外,我们的问题还被大小为$2^{m \cdot r}$的组合约束集进一步复杂化,其中$m$是数据点的维度,$r$是分解的秩。尽管明显的棘手,我们提供了-在最近的工作线上的非负矩阵因式分解的Arora等。(2012)-一个算法,可证明恢复的基本因式分解在确切的情况下与$O(m r 2^r + mnr + r^2 n)$操作的$n$数据点。为了得到这个结果,我们使用了组合学中的Littlewood-Offord引理。
2014-01-23 cs.LG stat.ML
Provable Tensor Factorization with Missing Data
研究了存在缺失数据的低秩张量分解问题。我们提出以下问题:我们需要多少个采样项,才能有效准确地用低秩正交分解重建张量?我们提出了一种新的交替最小化为基础的方法,迭代细化奇异向量的估计。我们表明,在一定的标准假设下,我们的方法可以恢复三模式$n\times n\times n$维秩$r$张量正好从$O(n^{3/2} r^5 \log^4 n)$随机采样条目。在证明这一结果的过程中,我们解决了两个具有挑战性的子问题的张量与缺失数据。首先,在分析初始化步骤的过程中,我们证明了Szemerédie等人关于随机图谱的一个著名结果的推广。其次,我们证明了交替极小化的全局收敛性与一个良好的初始化。模拟表明,样本量对维数$n$的依赖性确实是紧密的。
2014-06-11 stat.ML
Matrix Completion and Related Problems via Strong Duality
Carnegie Mellon University(卡内基梅隆大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本文研究了非凸矩阵分解问题的强对偶性:证明了在一定的对偶条件下,这类问题与其对偶问题具有相同的最优解。这对于凸优化已经很好地理解,但对于非凸问题知之甚少。我们提出了一个新的分析框架,并表明在一定的对偶条件下,矩阵分解程序的最优解是相同的,它的双对偶是凸的,因此,非凸规划的全局最优性可以通过解决其双对偶。虽然矩阵分解问题很难在一般情况下求解,但许多矩阵分解问题都满足这些对偶条件。这个分析框架可能是独立的兴趣,更广泛的非凸优化。我们将我们的框架应用于两个原型矩阵分解问题:矩阵完备和鲁棒主成分分析(PCA)。这些都是有效地恢复一个隐藏的矩阵有限的可靠observations.Our框架表明,精确的可恢复性和强大的对偶持有接近最佳的样本复杂度保证矩阵完成和强大的PCA的例子。
2018-04-25 cs.DS cs.LG stat.ML
Robust Matrix Factorization with Grouping Effect
Baidu Research, Baidu Inc.(百度公司百度研究院);Columbia University(哥伦比亚大学)
虽然许多技术已被应用于矩阵分解(MF),他们可能没有充分利用的特征结构。在本文中,我们将分组效应纳入MF,提出了一种新的方法,称为鲁棒矩阵分解与分组效应(GRMF)。分组效应是稀疏效应的推广,它通过围绕多个中心而不是仅围绕0聚类相似值来进行去噪。与现有算法相比,该算法无需先验知识,通过引入一种自然可调的非凸正则化,实现稀疏性和分组性的同时学习,从而自动学习MF中的分组结构和稀疏性。具体来说,GRMF使用一个高效的交替最小化框架来执行MF,其中原始的非凸问题首先通过凸差分(DC)规划转换为凸问题,然后通过交替方向乘法(ADMM)求解。此外,GRMF可以很容易地扩展到非负矩阵分解(NMF)设置。大量的实验已经进行了使用真实世界的数据集与离群值和污染的噪声,实验结果表明,GRMF提高了性能和鲁棒性相比,五个基准算法。
2021-07-08 cs.LG stat.ME stat.ML
Riemannian Perspective on Matrix Factorization
MIT(麻省理工学院)
本文研究了利用黎曼几何的非凸矩阵分解方法来完成矩阵完备化。基于格拉斯曼流形上的优化公式,我们根据子空间之间的主角度的概念来描述景观。对于完全观测的情形,我们的结果表明,存在一个区域,在该区域中的成本是测地线凸的,并且在该区域之外的所有临界点都是严格鞍点。我们实证研究的部分观察的情况下,根据我们的研究结果。
2021-02-01 cs.LG math.DG math.OC
Convex Non-negative Matrix Factorization Through Quantum Annealing
EDF Lab Saclay(法国电力集团萨克莱实验室);Université Sorbonne Paris Nord(索邦巴黎北大学);La Maison des Sciences Numériques(数字科学之家)
在本文中,我们提供了量子版本的凸非负矩阵分解算法(Convex-NMF)使用D波量子退火。更准确地说,我们使用D-wave 2000 Q通过两个非负矩阵因子W和G的乘积来找到固定实值矩阵X的低秩近似,使得差值X-XWG的Frobenius范数最小化。为了解决这个优化问题,我们分两步进行。第一步,我们将依赖于W,G的全局实优化问题转化为两个分别依赖于W和G的二次无约束二元优化问题(QUBO)。在第二步中,我们使用一个替代策略之间的两个QUBO问题对应的W和G找到全局解。在D-wave 2000 Q上运行这两个QUBO问题需要对D-wave 2000 Q的嵌合体图进行嵌入,这种嵌入受到D-wave 2000 Q的量子比特数的限制。我们进行了研究的最大数量的真实数据将使用我们的方法对D波2000 Q。拟议的研究是基于用于表示每个实变量的量子位数。我们还使用几个随机生成的数据集在D-Wave 2000 Q上测试了我们的方法,以证明我们的方法比经典方法更快,并证明它可以获得最佳结果。
2022-03-28 cs.LG stat.ML
On Convolutional Approximations to Linear Dimensionality Reduction Operators for Large Scale Data Processing
在本文中,我们研究的问题近似的一般线性降维(LDR)运营商,表示为一个矩阵$A \in \mathbb{R}^{m \times n}$与$m < n$,由一个部分循环矩阵与循环移位相关的行。部分循环矩阵允许通过傅立叶变换方法和子采样操作的快速实现;我们的研究是出于在大规模数据处理任务中利用这些潜在的计算改进的愿望。我们建立了一个基本的结果,大多数大型LDR矩阵(其行空间均匀分布),事实上不能很好地近似部分循环矩阵。然后,我们提出了一个自然的推广的部分循环近似框架,需要近似的范围空间的一个给定的LDR运营商$A$在一个有限的输入域,使用一个矩阵形成的产品的部分循环矩阵具有$m '> m$行和一个$m \times k$“后处理”矩阵。我们引入了一种新的算法技术,基于稀疏矩阵分解,用于识别包括这种近似的因素,并提供初步证据来证明这种方法的潜力。
2015-02-25 stat.ML
On a Neural Implementation of Brenier's Polar Factorization
Apple(苹果公司)
本文提出Brenier极分解定理的神经实现,利用输入凸神经网络参数化势函数,通过凸共轭或辅助网络计算保测映射,应用于非凸优化和非对数凹密度采样。
2025-05-26 cs.LG stat.ML
Checking the Sufficiently Scattered Condition using a Global Non-Convex Optimization Software
University of Mons(蒙斯大学);Gurobi(古罗比公司)
本文将充分分散条件检验转化为有界集合上的非凸二次优化问题,利用 Gurobi 在分解秩适中时实现合理时间内的全局检验,并通过合成数据与高光谱图像验证其实用性。
2024-02-08 cs.LG eess.SP math.OC
Deep matrix factorizations
Université de Mons(蒙斯大学)
几十年来,约束低秩矩阵近似一直被认为是强大的线性降维技术,能够以相关的方式提取包含在大型数据集中的信息。然而,这种低秩的方法是无法挖掘复杂的,交错的功能,分层语义的基础。最近,深度矩阵分解(deep MF)被引入来处理多层特征的提取,并已被证明在无监督任务中具有出色的性能。深度MF的动机是深度学习的成功,因为它在概念上接近一些神经网络范例。在本文中,我们提出了主要的模型,算法和应用程序的深度MF通过一个全面的文献综述。我们还讨论了研究的理论问题和观点。
2020-10-03 cs.LG stat.ML
Non-negative Matrix Factorization via Archetypal Analysis
Stanford University(斯坦福大学)
给定一组数据点,非负矩阵分解(NMF)建议将它们表示为一小组具有非负条目的“原型”的凸组合。这种分解是唯一的,只有当真正的原型是非负的和足够稀疏(或权重是足够稀疏),一个制度,是由可分性条件及其推广。在本文中,我们研究了一种NMF方法,该方法可以追溯到Cutler和Breiman(1994)的工作,并且不要求数据是可分离的,同时提供了一个普遍唯一的分解。我们优化了两个目标之间的权衡:最小化数据点与原型凸包络的距离(可以解释为经验风险),同时最小化原型与数据凸包络的距离(可以解释为数据依赖正则化)。的原型分析方法(卡特勒,Breiman,1994年)恢复的极限情况下,最后一项被赋予无限的权重。我们引入了一个“唯一性条件”的数据,这是必要的,准确地恢复的原型,从无噪声的数据。我们证明,在唯一性(加上额外的正则条件的几何原型),我们的估计是强大的。虽然我们的方法需要解决一个非凸优化问题,我们发现,标准的优化方法成功地找到了良好的解决方案,为真实和合成数据。
2017-05-08 cs.LG stat.ML
Reexamining Low Rank Matrix Factorization for Trace Norm Regularization
University College London(伦敦大学学院);Computational Statistics and Machine Learning - Istituto Italiano di Tecnologia(意大利技术研究院计算统计与机器学习)
迹范数正则化是一种广泛使用的学习低秩矩阵的方法。一个标准的优化策略是基于制定的问题,作为一个低秩矩阵分解,然而,导致一个非凸问题。在实践中,这种方法工作得很好,它通常比标准的凸解算器(如近似梯度方法)计算速度更快。然而,它不能保证收敛到全局最优值,并且优化可能被困在差的稳定点。在本文中,我们表明,它是可能的所有临界点的非凸问题的特征。这使我们能够提供一个有效的标准,以确定是否临界点也是一个全球性的极小。我们的分析表明,一个迭代的元算法,动态扩展的参数空间,并允许优化逃避任何非全局临界点,从而收敛到一个全局极小。该算法可以应用于矩阵完成或多任务学习等问题,我们的分析适用于任何随机初始化的因素矩阵。最后,我们证实了该算法在合成和真实数据集上的良好性能。
2017-07-31 cs.LG stat.ML
Tight Semi-Nonnegative Matrix Factorization
United States Census Bureau(美国人口普查局);Colorado State University(科罗拉多州立大学)
非负矩阵分解是一种广泛使用的、灵活的矩阵分解,在生物学、图像和信号处理以及信息检索等领域都有应用。在这里,我们提出了一个相关的矩阵分解。多目标优化问题找到近似给定数据矩阵的模板的圆锥组合。选择模板,以便尽可能地仅以这种方式表示初始数据集。然而,模板不需要是原始数据的非负或凸组合。
2017-12-11 cs.LG stat.ML
Convex Optimization Learning of Faithful Euclidean Distance Representations in Nonlinear Dimensionality Reduction
University of Southampton(南安普顿大学)
经典的多维标度只有在高维空间中观察到的噪声距离可以由低维空间中的欧几里得距离忠实地表示时才能很好地工作。先进的模型,如最大方差展开(MVU)和最小体积嵌入(MVE)使用半定规划(SDP)来重建这种忠实的表示。虽然这些SDP模型能够产生高质量的配置数字,他们遭受两个主要的缺点。一个是不存在理论上保证的配置质量的界限。另一个是当数据点超过中等大小时,它们的计算速度很慢。本文提出了一个欧氏距离矩阵的凸优化模型。本文建立了具有亚高斯噪声的随机图模型的非渐近误差界,并证明了当均匀样本量的阶数约为低秩矩阵的自由度的对数因子时,我们的模型产生高精度的矩阵估计.我们的研究结果部分解释了为什么MVU和MVE经常工作得很好。此外,我们发展了一个快速的不精确加速邻近梯度法。数值实验表明,该模型可以产生高质量的配置上的大数据点,SDP方法将努力应付。
2014-06-22 cs.LG math.OC stat.ML
Provable Burer-Monteiro factorization for a class of norm-constrained matrix problems
Toyota Technological Institute at Chicago(芝加哥丰田技术研究所);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文研究了在强凸目标下的低秩矩阵问题的投影梯度下降法,采用Burer-Monteiro分解隐式约束低秩性,并在正定约束和特定矩阵范数约束下展示局部线性收敛性。
2016-10-01 cs.DS cs.IT cs.NA
Multi-output Polynomial Networks and Factorization Machines
NTT Communication Science Laboratories(NTT通信科学实验室);Cornell University(康奈尔大学);RIKEN(理化学研究所)
因式分解机和多项式网络是基于有效低秩分解的监督多项式模型。我们将这些模型扩展到多输出设置,即,学习向量值函数,应用于多类或多任务问题。我们将此转换为学习3路张量的问题,其切片共享公共基础,并提出了该问题的凸公式。然后,我们开发了一个有效的条件梯度算法,并证明其全局收敛性,尽管它涉及到一个非凸的基础选择步骤。在分类任务中,我们证明了我们的算法比现有方法具有更稀疏的模型,从而实现了出色的准确性。在推荐系统任务中,我们展示了如何将我们的算法与从有序回归到多输出分类的减少相结合,并表明所得到的算法在排名准确性方面优于简单的基线。
2017-11-04 cs.LG stat.ML
Stochastic variance reduced multiplicative update for nonnegative matrix factorization
Graduate School of Informatics and Engineering, The University of Electro-Communications(信息与工程研究生院,东京电波通信大学)
本文提出一种随机方差缩减乘法更新算法,改进非负矩阵分解的收敛速度,通过数值实验验证其在不同数据集上的优越性。
2018-04-03 cs.CV cs.LG cs.NA
Beyond Alternating Updates for Matrix Factorization with Inertial Bregman Proximal Gradient Algorithms
Saarland University(萨尔大学)
矩阵分解是一个非常流行的非凸优化问题,对于它,最常用的是交替极小化算法。他们通常遭受的主要缺点,解决方案是偏向于优化变量之一。一种补救办法是非交替方案。然而,由于在矩阵分解问题中梯度缺乏Lipschitz连续性,不能保证收敛。最近开发的方法依赖于Bregman距离的概念,它概括了标准的欧几里得距离。我们利用这一理论,提出了一种新的Bregman距离矩阵分解问题,这在同一时间,允许简单的/封闭的形式更新步骤。因此,对于非交替的计划,如最近推出的Bregman邻近梯度(BPG)方法和惯性变凸-凹惯性BPG(CoCaIn BPG),收敛的整个序列的一个稳定点被证明为矩阵分解。在几个实验中,我们观察到一个优越的性能,我们的非交替计划的速度和目标值在极限点。
2019-12-06 cs.CV cs.IR math.OC
Global Convergence of Gradient Descent for Asymmetric Low-Rank Matrix Factorization
Institute for Interdisciplinary Information Sciences(交叉信息研究院);Tsinghua University(清华大学);Paul G. Allen School of Computer Science and Engineering(保罗·G·艾伦计算机科学与工程学院);University of Washington(华盛顿大学)
研究了非对称低秩分解问题:\[\min_{\mathbf{U} \in \mathbb{R}^{m \times d}, \mathbf{V} \in \mathbb{R}^{n \times d}} \frac{1}{2}\|\mathbf{U}\mathbf{V}^\top -\mathbfΣ\|_F^2\],其中$\mathbfΣ$是一个给定的矩阵,其大小为$m \times n$,秩为$d$ .这是一个规范问题,在优化中存在两个困难:1)非凸性和2)非光滑性(由于$\mathbf{U}$和$\mathbf{V}$的不平衡性)。这也是一个原型,更复杂的问题,如非对称矩阵传感和矩阵完成。尽管是非凸的和非光滑的,但已经根据经验观察到,随机初始化的梯度下降算法可以在多项式时间内解决这个问题。现有的理论来解释这一现象都需要人工修改算法,如在每次迭代中添加噪声,并添加平衡正则化器来平衡$\mathbf{U}$和$\mathbf{V}$。本文首次证明了随机初始梯度下降法以多项式速率收敛于非对称低秩分解问题的全局极小值。为了证明,我们开发了1)一种新的对称化技术来捕获对称性和不对称性的大小,以及2)一个定量的扰动分析来近似矩阵导数。我们相信这两个是有用的其他相关的非凸问题。
2021-06-27 cs.LG math.OC stat.ML
Evading Curse of Dimensionality in Unconstrained Private GLMs via Private Gradient Descent
Google(谷歌公司)
我们重新研究了差异私人经验风险最小化(ERM)的问题。我们证明了对于无约束凸广义线性模型(GLM),可以得到$\tilde O\left(\sqrt{\texttt{rank}}/εn\right)$的超额经验风险,其中${\texttt{rank}}$是GLM问题中特征矩阵的秩,$n$是数据样本数,$ε$是隐私参数.这个界限是通过差分私有梯度下降(DP-GD)来实现的。此外,通过第一个无约束的私人ERM的下限,我们表明,我们的上限是紧的。与受约束的ERM设置形成鲜明对比的是,不依赖于环境模型空间($p$)的维数。(请注意,${\texttt{rank}}\leq \min\{n, p\}$。)此外,我们还得到了一个类似的超额人口风险界,它依赖于${\texttt{rank}}$而不是$p$。对于平滑非凸GLM设置(即,其中的目标函数是非凸的,但保持GLM结构),我们进一步表明,DP-GD达到了一个维数无关的收敛$\tilde O\left(\sqrt{\texttt{rank}}/εn\right)$的一阶平稳点的基本目标。最后,我们表明,对于凸GLM,在实践中常用的DP-GD的一个变体(涉及裁剪个别梯度)也表现出相同的维数独立收敛到一个明确定义的目标的最小值。为此,我们提供了一个结构引理,其特征在于DP-GD的优化配置文件上的裁剪的效果。
2021-03-02 cs.CR cs.LG math.OC
Minimum description length as an objective function for non-negative matrix factorization
University of Southampton(南安普顿大学)
非负矩阵分解(NMF)是一种降维技术,它倾向于产生数据的稀疏表示。通常,实际矩阵和重建矩阵之间的误差被用作目标函数,但这种方法可能不会产生我们想要的表示类型,因为它允许模型的复杂性增长,仅受子空间大小和非负性要求的约束。如果施加额外的约束,如稀疏性,参数选择的问题变得至关重要。而不是增加稀疏性约束,在特设的方式,我们提出了一种新的目标函数,通过使用最小描述长度(MDL)的原则。我们的公式,MDL-NMF,自动权衡模型的复杂性和准确性之间的原则性的方法,几乎没有参数选择或需要领域的专业知识。我们证明了我们的模型有效地工作在三个异构的数据集和一系列的半合成数据显示我们的方法的广泛适用性。
2019-02-05 cs.LG stat.ML
Trading off Consistency and Dimensionality of Convex Surrogates for the Mode
Department of Computer Science University of Colorado Boulder(计算机科学系科罗拉多大学博尔德分校);Department of Computer Science Boston College(计算机科学系波士顿学院)
本文研究了在多类分类中如何通过权衡替代损失函数的维度、问题实例数量和一致性区域来提升模式识别的性能。
2026-01-17 cs.LG stat.ML
Convex Formulations for Fair Principal Component Analysis
UC Berkeley(加州大学伯克利分校)
虽然有越来越多的文献对监督学习的公平性,将公平性纳入无监督学习的问题还没有得到很好的研究。本文研究的背景下,主成分分析(PCA)的公平性。我们首先给出了降维的公平性的定义,并且我们的定义可以被解释为说,如果关于受保护类的信息(例如,种族或性别)不能从降维的数据点推断。接下来,我们开发凸优化公式,可以提高PCA和核PCA的公平性(相对于我们的定义)。这些配方是半定程序(SDP的),我们证明了我们的配方使用几个数据集的有效性。最后,我们展示了我们的方法可以用来执行一个公平的(相对于年龄)聚类的健康数据,可用于设置健康保险费率。
2018-11-12 cs.LG math.OC stat.ML
Automatic Relevance Determination in Nonnegative Matrix Factorization with the β-Divergence
研究了β-散度下非负矩阵分解(NMF)的潜在维数估计问题.β-散度是一类代价函数,包括平方欧几里德距离、Kullback-Leibler和Itakura-Saito散度作为特例。学习模型阶数很重要,因为需要在数据保真度和过拟合之间取得适当的平衡。我们提出了一个贝叶斯模型的基础上自动相关性确定的字典矩阵的列和激活矩阵的行被绑在一起,通过一个共同的尺度参数在他们的先验。提出了一类最大后验概率(MAP)估计的优化最小化算法。在推理过程中,尺度参数的子集被驱动到一个小的下限,具有修剪相应的伪分量的效果。我们通过对合成数据、游泳者数据集、音乐分解示例和股票价格预测任务进行广泛的实验,证明了我们算法的有效性和鲁棒性。
2012-10-05 stat.ME stat.ML
Learning From Hidden Traits: Joint Factor Analysis and Latent Clustering
University of Minnesota(明尼苏达大学)
先验性降低技术在数据分析、信号处理和机器学习中起着至关重要的作用。简化通常在预处理阶段执行,该预处理阶段与后续的数据分析(例如聚类或分类)分开。找到适合预期任务的降维表示更有吸引力。本文提出了一种联合因子分析和潜在聚类框架,旨在学习矩阵和张量数据的聚类感知低维表示。所提出的方法利用矩阵和张量因子分解模型,这些模型产生数据的基本上唯一的潜在表示,以解开潜在的集群结构-由于在潜在空间中应用倾斜变换的自由,否则会被掩盖。同时,利用潜在聚类结构作为先验信息,提高了分解的性能。具体的贡献包括几个定制的问题配方,相应的算法,并讨论相关的收敛性能。除了广泛的模拟,真实世界的数据集,如路透社的文档数据和MNIST图像数据也被用来展示所提出的方法的有效性。
2016-05-21 cs.LG stat.ML
Analyzing Single Cell RNA Sequencing with Topological Nonnegative Matrix Factorization
Michigan State University(密歇根州立大学)
针对单细胞RNA测序数据缺乏多尺度分析的问题,提出两种持久拉普拉斯正则化非负矩阵分解方法TNMF和rTNMF,在12个数据集上显著优于其他NMF方法并用于数据可视化。
2023-10-24 cs.LG math.AT stat.ML
Simplex-Structured Matrix Factorization: Sparsity-based Identifiability and Provably Correct Algorithms
Department of Mathematics and Operational Research(数学与运筹学系);Faculté Polytechnique, Université de Mons(蒙斯大学理工学院)
在本文中,我们提供了新的算法与可识别性保证单纯形结构矩阵分解(SSMF),推广的非负矩阵分解。为SSMF提供可识别性结果的当前最先进的算法依赖于充分分散条件(SSC),其要求数据点在基向量的凸包内良好地分散。在大多数情况下,我们提出的算法恢复唯一分解的条件比SSC弱得多。我们只需要在维数为$d-1$的基向量的凸包的每个面上具有$d$点。关键思想是基于提取包含最大数量的点的小平面。我们说明了我们的方法对合成数据集和高光谱图像的有效性,表明它优于最先进的SSMF算法,因为它能够处理更高的噪声水平,秩亏矩阵,离群值和输入数据,高度违反SSC。
2020-07-22 cs.LG eess.IV eess.SP
Recovering Quantized Data with Missing Information Using Bilinear Factorization and Augmented Lagrangian Method
Sharif University of Technology(谢里夫理工大学)
在本文中,我们提出了一种新的方法,以恢复一个量化的矩阵与丢失的信息。我们提出了一个正则化的凸成本函数组成的对数似然项和跟踪范数项。采用双因子分解法和增广拉格朗日方法(ALM)来寻找代价函数的全局极小值,以恢复真实数据。我们提供了我们提出的算法的数学收敛性分析。在数值实验部分中,我们展示了我们的方法在精度上的优越性,以及与最先进的文献方法相比在计算复杂度上的鲁棒性。
2018-10-07 cs.LG stat.ML
Non--negative matrix factorization using the \textit{R} package \textsf{nnmf}
Muğla SıtkıKoçman University Faculty of Science Department of Statistics(穆尔加大学科学学院统计学系);University of Crete(克里特大学);University of Piraeus(比雷埃克斯大学)
该研究引入新的用于非负矩阵分解的R包,与两个广泛使用的R包进行系统性能比较,通过使用真实数据和一致实验框架,重点评估计算效率等多方面性能,为实际应用选择合适包提供客观指导。
2026-07-23 cs.LG stat.ML
Compressed Factorization: Fast and Accurate Low-Rank Factorization of Compressively-Sensed Data
Stanford University(斯坦福大学)
哪些学习算法可以直接在压缩感知数据上运行?在这项工作中,我们考虑的问题,准确和有效地计算低秩矩阵或张量分解给定的数据压缩通过随机投影。我们研究的方法,首先在压缩域中进行因式分解,然后从恢复(压缩)的因素重建原始的高维因素。在矩阵和张量设置中,我们建立了这种自然方法将可证明地恢复原始因子的条件。虽然众所周知,随机投影保留了数据集的许多几何属性,但我们的工作可以被视为表明它们也可以保留非凸NP难题的某些解决方案,如非负矩阵分解。我们通过对合成数据的实验来支持这些理论结果,并证明了压缩因子分解在现实世界基因表达和EEG时间序列数据集上的实用性。
2019-05-27 cs.AI cs.LG stat.ML
A Convex Relaxation Approach to Generalization Analysis for Parallel Positively Homogeneous Networks
University of Pennsylvania(宾夕法尼亚大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本研究提出一种基于凸松弛的通用框架,通过关联非凸经验风险最小化问题与凸优化问题的下界,在控制凸与非凸模型差异的同时开展泛化分析,适用于多种并行正齐次网络,得到样本复杂度与网络宽度近线性的泛化界。
2025-03-18 cs.LG eess.SP stat.ML
Accelerating Nonnegative Matrix Factorization Algorithms using Extrapolation
Faculté Polytechnique, Université de Mons(蒙斯大学理工学院);Department of Mathematics and Operational Research(数学与运筹学系)
本文提出了一种通用框架,用于显著加速非负矩阵因子分解(NMF)算法。该框架灵感来源于用于加速凸优化中梯度方法的外推方案以及平行切线法。然而,在处理非凸NMF问题的双块精确坐标下降算法中使用外推是新颖的。我们通过合成、图像和文档数据集,展示了该方法在两个最先进的NMF算法(加速层次交替最小二乘法(A-HALS)和交替非负最小二乘法(ANLS))上的性能。
2018-07-12 cs.NA math.NA math.OC
Dimensionality-Dependent Generalization Bounds for $k$-Dimensional Coding Schemes
University of Technology Sydney(悉尼科技大学);Nanyang Technological University(南洋理工大学)
$k$维编码方案是指尝试使用一组代表性$k$维向量来表示数据的方法的集合,并且包括非负矩阵分解、字典学习、稀疏编码、$k$均值聚类和向量量化作为特殊情况。以前的泛化界的重建误差的$k$维编码方案主要是维数无关的。这些边界的一个主要优点是,当数据映射到无限维或高维特征空间时,它们可以用于分析泛化误差。然而,许多应用程序使用有限维数据特征。当数据在有限维特征空间中时,我们能否获得比维数无关的边界更紧的$k$维编码方案的维数相关的泛化界?答案是肯定的。在本文中,我们解决这个问题,并推导出一个依赖于维数的广义界的$k$维编码方案的覆盖数的重建错误引起的损失函数类的范围。该界限是$\mathcal{O}\left(\left(mk\ln(mkn)/n\right)^{λ_n}\right)$阶的,其中$m$是特征的维数,$k$是编码方案的线性实现中的列数,$n$是样本的大小,当$n$是有限的时为$λ_n>0.5$,当$n$是无限的时为$λ_n=0.5$。我们表明,我们的界可以比以前的结果更紧,因为它避免了在损失函数的$k$上引入最坏情况的上界,并且收敛得更快。本文还将所提出的广义界应用于一些具体的编码方案,以证明维数相关界是这些维数无关的泛化界的一个不可缺少的补充。
2016-04-23 cs.LG stat.ML
Statistically Guided Divide-and-Conquer for Sparse Factorization of Large Matrix
University of Connecticut(康涅狄格大学);University of Science and Technology of China(中国科学技术大学)
大型矩阵的稀疏分解是现代统计学习的基础。特别是,稀疏奇异值分解及其变体已被用于多元回归,因子分析,双聚类,向量时间序列建模等。这种因子分解的吸引力在于它能够发现一个高度可解释的潜在关联网络,无论是在样本和变量之间,还是在响应和预测之间。然而,许多现有的方法要么是临时的,没有一般的性能保证,或者是计算密集型的,使它们不适合大规模的研究。我们将统计问题表述为稀疏因子回归,并采用分而治之的方法来解决。在划分的第一阶段,我们考虑顺序和并行的方法来简化任务成一组稀疏的单位秩估计(CURE)的问题,并建立这些常用的,但知之甚少的通货紧缩方法的统计基础。在划分的第二阶段,我们创新了一种竞争阶段式学习技术,由一系列简单的增量更新组成,以有效地跟踪CURE的整个解决方案路径。我们的算法有一个更低的计算复杂度比交替凸搜索,和步长的选择,使统计精度和计算效率之间的灵活和原则的权衡。我们的工作是第一个使阶段学习非凸问题,这个想法可以适用于许多多凸问题。广泛的模拟研究和遗传学中的应用证明了我们的方法的有效性和可扩展性。
2020-03-17 cs.LG math.ST stat.CO
Inertial Block Proximal Methods for Non-Convex Non-Smooth Optimization
我们提出了惯性版本的块坐标下降法解决非凸非光滑复合最优化问题。与当前最先进的加速一阶方法相比,我们的方法具有三个主要优势:(1)它们允许使用两个不同的外推点来评估梯度并添加惯性力(我们将凭经验证明它比使用单个外推点更有效),(2)它们允许随机挑选要更新的变量块,以及(3)它们不需要重新启动步骤。在较弱的假设下证明了生成序列的渐近收敛性,在一些附加的假设下证明了生成序列的整体收敛性,并给出了收敛速度.我们部署所提出的方法来解决非负矩阵分解(NMF),并表明它们与最先进的NMF算法竞争。还提供了关于非负近似规范多进分解(也称为非负张量因子分解)的其他实验。
2020-06-01 cs.NA math.NA math.OC
Time series forecasting from partial observations via Non-negative Matrix Factorization
Institut Camille Jordan, Ecole Centrale Lyon(让-卡米尔·约当研究所,中央理工大学);Institut Universitaire de France(法国大学研究院)
提出滑动掩码方法(SMM)结合非负矩阵补全进行多非负时间序列预测,通过掩码原型矩阵分解(mAMF)和掩码归一化非负矩阵分解(mNMF)实现,理论证明恢复误差与噪声成比例,实验优于Transformer、LSTM等方法。
2026-06-09 cs.LG math.ST stat.ML
Gaussian Process Latent Variable Model Factorization for Context-aware Recommender Systems
University of Technology Sydney(悉尼科技大学)
上下文感知推荐系统(CARS)由于其利用上下文信息的能力而受到越来越多的关注。与传统的推荐系统相比,CARS通常能够生成更准确的推荐。潜在因素法在CARS中占很大比例。最近,一种基于非线性高斯过程(GP)的因子分解方法被证明优于CARS中最先进的方法。尽管它的有效性,GP模型为基础的方法可能遭受过度拟合,可能无法确定每个上下文的影响自动。为了解决这样的缺点,我们提出了高斯过程潜在变量模型分解(GPLVMF)方法,在那里我们应用一个适当的前原GP模型。我们的工作主要受到高斯过程潜变量模型(GPLVM)的启发,这是一种非线性降维方法。因此,我们显著提高了真实数据集的性能,并捕捉到了每个上下文的重要性。除了一般的优点,我们的方法提供了两个主要贡献推荐系统设置:(1)解决偏见的影响,通过设置一个非零的均值函数,以及(2)利用实值上下文通过固定的潜在空间与实值。
2019-12-19 cs.IR cs.LG stat.ML
Algorithms for Nonnegative Matrix Factorization with the Kullback-Leibler Divergence
Université de Mons(蒙斯大学)
非负矩阵分解(NMF)是一种标准的非负数据线性降维技术。Kullback-Leibler(KL)散度是NMF中最常用的目标函数之一,它用于度量输入数据与低秩近似之间的差异。它对应于最大似然估计,当观察到的数据样本的基本统计量遵循泊松分布,KL NMF是特别有意义的计数数据集,如文档或图像。在本文中,我们首先收集的KL目标函数的重要性质是必不可少的研究KL NMF算法的收敛性。其次,在回顾现有求解KL NMF的算法的基础上,提出了三种保证目标函数非增性的新算法。我们还提供了一个整体收敛保证我们提出的算法之一。最后,我们进行了广泛的数值实验,提供了一个全面的图片的KL NMF算法的性能。
2021-04-17 cs.LG eess.SP math.OC
Sequential Dimensionality Reduction for Extracting Localized Features
University of Bari “A. Moro”(巴里大学“A. Moro”);Université de Mons(蒙斯大学)
线性降维技术是图像分析的有力工具,因为它们允许识别数据集中的重要特征。特别是,非负矩阵分解(NMF)已经变得非常流行,因为它能够通过施加非负基元素的加性组合来提取稀疏、局部化和易于解释的特征。非负矩阵欠近似(NMU)是一种密切相关的技术,具有顺序识别特征的优势。在本文中,我们提出了一个变体的NMU,特别适合于图像分析,因为它结合了空间信息,也就是说,它考虑到了这样一个事实,即相邻像素更有可能被包含在相同的功能,并有利于通过寻找稀疏的基础元素的本地化功能的提取。我们表明,我们的新方法在合成,面部和高光谱图像数据集上与最先进的技术相媲美。
2016-07-05 cs.CV cs.LG cs.NA
Tensor Decompositions: A New Concept in Brain Data Analysis?
RIKEN BSI(理化学研究所脑科学综合研究中心)
本文综述了张量分解在多向BSS/ICA、特征提取、分类和多向PLS回归中的新模型与方法,涵盖约束Tucker和CP模型及惩罚张量分解。
2013-05-02 cs.LG cs.NA math.NA