A Survey on Surrogate Approaches to Non-negative Matrix Factorization
University of Bremen(不来梅大学)
出于应用程序在高光谱成像,我们调查的方法近似的高维非负矩阵$\mathbf{\mathit{Y}}$由两个低维,非负矩阵$\mathbf{\mathit{K}}$和$\mathbf{\mathit{X}}.$的产品。这种所谓的非负矩阵分解是基于定义合适的Tikhonov泛函,它结合了一个差异措施$\mathbf{\mathit{Y}}\approx\mathbf{\mathit{KX}}$与惩罚条款强制执行额外的属性$\mathbf{\mathit{K}}$和$\mathbf{\mathit{X}}$。最小化是基于交替最小化相对于$\mathbf{\mathit{K}}$或$\mathbf{\mathit{X}}$,其中在每个迭代步骤中,一个取代了原来的Tikhonov功能的本地定义的代理功能。代理泛函的选择是至关重要的:它应该允许一个相对简单的最小化,同时它的一阶最优性条件应该导致乘法更新规则,自动保持迭代的非负性。我们回顾了Frobenius范数和Kullback-Leibler差异测度的代理泛函的最标准的构造原则。我们扩展了已知的替代结构的一般框架,它允许添加各种各样的惩罚条款。本文最后明确地推导出相应的交替最小化方案,并将这些方法应用于MALDI成像数据。
2018-08-09 cs.LG stat.ML
An Exponential Factorization Machine with Percentage Error Minimization to Retail Sales Forecasting
National University of Singapore(新加坡国立大学);Red Jasper Holdings(红碧玉控股公司);Nanjing University(南京大学)
针对交货期长、产品生存周期短的新产品,提出了一种新的销售预测方法。这些SKU通常只销售一个季节,没有任何折扣。针对这一问题,提出了一种指数因子分解机(EFM)销售预测模型。EFM模型与原始的因子分解机(FM)有两个方面的显著不同:(1)解释变量的属性水平公式和(2)积极响应变量的指数公式。属性级的形成排除不可行的属性内的相互作用,并导致更有效的功能工程相比,传统的一热编码,而指数公式被证明比对数变换的积极的,但不偏斜的分布响应更有效。为了估计参数,百分比误差平方(PES)和误差平方(ES)最小化的建议自适应批量梯度下降方法在训练集。真实世界的数据提供的鞋类零售商在新加坡用于测试所提出的方法。平均绝对百分比误差(MAPE)和平均绝对误差(MAE)方面的预测性能相比,不仅是现成的模型,而且现有的销售和需求预测研究报告的结果有利。两个外部公共数据集也证明了所提出方法的有效性。此外,我们证明了PES和ES最小化之间的理论关系,并提出了回归模型的PES最小化的一个重要性质,它训练模型低估数据。这一性质适用于单位持有成本远大于单位短缺成本的销售预测。
2020-09-22 cs.IR cs.LG stat.ML
KL property of exponent $1/2$ of $\ell_{2,0}$-norm and DC regularized factorizations for low-rank matrix recovery
South China University of Technology(华南理工大学)
本文研究秩正则化损失最小化问题的因式分解形式。为了满足只有粗略估计可用于真矩阵的秩的情况,将$\ell_{2,0}$范数正则化项添加到因子化的损失函数以自适应地降低秩;并且考虑因子分解中的模糊性,然后引入平衡项。对于最小二乘损失,在对采样算子的条件数作一定限制的假设下,建立了非光滑分解复合函数的指数$1/2$及其等价DC重构在其全局极小点集上的KL性质.我们还证实了理论研究结果,通过应用一个近似的线性化交替最小化方法的正则化因式分解。
2019-08-24 cs.LG math.OC stat.ML
Learning Nearly Decomposable Value Functions Via Communication Minimization
Tsinghua University(清华大学);Turing AI Institute of Nanjing(南京图灵人工智能研究院)
强化学习在多智能体环境中遇到了重大挑战,例如可扩展性和非平稳性。最近,价值函数因子分解学习出现了一个很有前途的方式来解决这些挑战的协作多智能体系统。然而,现有的方法一直专注于学习完全分散的价值函数,这对于需要通信的任务来说是没有效率的。为了解决这一问题,本文提出了一种新的框架,通过通信最小化学习几乎可分解的Q函数(NDQ),与代理自己的大部分时间,但偶尔发送消息给其他代理,以有效的协调。该框架通过引入两个信息论正则化器,将价值函数分解学习和交流学习混合起来。这些正则化器最大化代理的动作选择和通信消息之间的互信息,同时最小化代理之间的消息的熵。我们展示了如何优化这些正则化的方式,很容易与现有的价值函数因式分解方法,如QMIX集成。最后,我们证明,在星际单位微观管理基准,我们的框架显着优于基线方法,并允许我们切断超过$80\%$的通信,而不牺牲性能。我们实验的视频可以在https://sites.google.com/view/ndq上找到。
2020-07-19 cs.LG stat.ML
Convergence of the majorized PAM method with subspace correction for low-rank composite factorization model
Foshan University(佛山大学);The Hong Kong Polytechnic University(香港理工大学);South China University of Technology(华南理工大学)
本文证明带有子空间校正的majorized PAM方法在低秩复合分解模型中的完全收敛性,并在二值矩阵补全中优于PALM,能以更少时间获得更低相对误差。
2025-10-07 math.OC stat.ML
Positive Semidefinite Matrix Factorization: A Connection with Phase Retrieval and Affine Rank Minimization
Tel Aviv University(特拉维夫大学);University of Maryland, Baltimore County(马里兰大学巴尔的摩县分校);IRIT(图卢兹计算机科学研究所);Université de Toulouse(图卢兹大学);CNRS(法国国家科学研究中心);National University of Singapore(新加坡国立大学)
半正定矩阵分解(Positive semi-definite matrix factorization,简称PSDMF)将非负矩阵的每一元素表示为两个半正定(positive semi-definite,简称PSD)矩阵的内积。当所有这些psd矩阵被约束为对角时,此模型等价于非负矩阵分解。其应用包括组合优化、基于量子的统计模型和推荐系统等。然而,尽管越来越多的兴趣在PSDMF,只有少数PSDMF算法提出了在文献中。在这项工作中,我们提供了一个收集的工具PSDMF,通过显示PSDMF算法可以设计的相位恢复(PR)和仿射秩最小化(ARM)算法的基础上。这个过程允许在设计新的PSDMF算法的捷径,因为它允许利用现有的PR和ARM方法的PSDMF框架的一些有用的数值特性。出于这个想法,我们引入了一个新的家庭的PSDMF算法的基础上迭代硬阈值(IHT)。这个家庭包括以前提出的投影梯度PSDMF方法。我们发现,PSDMF优化问题之间存在很高的可变性,这使得尝试一些基于不同原则的方法来解决困难的问题是有益的。在某些情况下,我们提出的方法是唯一能够找到解决方案的算法。在某些情况下,它们收敛得更快。我们的研究结果支持我们的主张,PSDMF框架可以继承PR和ARM算法所需的数值特性,从而更有效的PSDMF算法,并激励进一步研究这些模型之间的联系。
2021-04-02 cs.LG eess.SP stat.CO
Nyström Approximation with Nonnegative Matrix Factorization
National University of Defense Technology(国防科技大学)
出于估计邻近聚类的需要,从有利位置或地标远程网络系统的部分距离测量,我们表明,邻近聚类问题可以有效地制定为Nyström近似问题,解决了复杂空间中的核K-均值聚类问题。我们实现的Nyström近似的基础上的地标为基础的非负矩阵分解(NMF)的过程。评估结果表明,该方法发现几乎最佳的聚类质量的合成和真实世界的数据集,因为我们改变了参数选择和网络条件的范围。
2020-08-07 cs.LG stat.ML
Maximum Volume Inscribed Ellipsoid: A New Simplex-Structured Matrix Factorization Framework via Facet Enumeration and Convex Optimization
考虑一个结构化矩阵分解模型,其中一个因子被限制为使其列位于单位单纯形中。这种单纯形结构矩阵分解(SSMF)模型和相关的分解技术在不同领域引起了人们的极大兴趣,如遥感中的高光谱解混、机器学习中的主题发现等。在本文中,我们开发了一个新的理论SSMF框架,其思想是研究一个最大体积椭球内接在凸包的数据点。这种最大体积内接椭球(MVIE)的想法还没有尝试在以前的文献中,我们展示了一个充分条件下,MVIE框架保证准确恢复的因素。我们为MVIE所展示的充分恢复条件比可分离的非负矩阵分解(或纯像素搜索)要宽松得多;巧合的是,它也与最小体积封闭单纯形相同,这被认为是不可分离问题实例的强大SSMF框架。我们还表明,MVIE可以实际上通过执行面枚举,然后通过求解凸优化问题来实现。的MVIE框架的潜力说明了数值结果。
2018-06-21 stat.ML
Implicit Regularization in Deep Learning May Not Be Explainable by Norms
Tel Aviv University(特拉维夫大学)
在数学上表征由基于梯度的优化引起的隐式正则化是深度学习理论中的长期追求。人们普遍希望基于范数最小化的特征可以应用,研究这种前景的标准测试平台是矩阵分解(通过线性神经网络完成矩阵)。范数能否解释矩阵分解中的隐正则化是一个悬而未决的问题。当前的论文通过证明存在自然矩阵因式分解问题,隐式正则化将所有范数(和准范数)推向无穷大,从反面解决了这个悬而未决的问题。我们的研究结果表明,而不是感知通过规范的隐式正则化,一个潜在的更有用的解释是最小化的秩。我们经验性地证明了这种解释可以扩展到某一类非线性神经网络,并假设它可能是解释深度学习中泛化的关键。
2020-10-17 cs.LG cs.NE stat.ML
Expectile Matrix Factorization for Skewed Data Analysis
矩阵分解是解决基于部分观测值的矩阵估计问题的一种常用方法。现有的矩阵分解是基于最小二乘法,目的是产生一个低秩矩阵来解释条件样本均值给定的观察。然而,在许多实际应用中,有倾斜和极端的数据,最小二乘法不能解释他们的中心趋势或尾部分布,产生不希望的估计。在本文中,我们提出了\emph{expectile matrix factorization}通过引入非对称最小二乘,一个关键的概念,在预期的回归分析,到矩阵分解的框架。我们提出了一个有效的算法来解决新的问题的基础上交替极小化和二次规划。我们证明了我们的算法收敛到一个全局最优,并准确地恢复真正的底层低秩矩阵时,噪声为零。对于具有偏斜噪声的合成数据和包含Web服务响应时间的真实数据集,该方案在广泛的设置范围内实现了比现有的基于最小二乘的矩阵分解方法更低的恢复误差。
2017-03-03 stat.ME stat.ML
Joint Tensor Factorization and Outlying Slab Suppression with Applications
本文针对存在离群切片的低秩张量分解问题,提出基于组稀疏性和$\ell_p$最小化的交替优化框架,其收敛性易于分析,并在语音分离、荧光分析和社交网络挖掘等任务中验证了有效性。
2015-07-16 stat.ML
Column $\ell_{2,0}$-norm regularized factorization model of low-rank matrix recovery and its computation
本文研究了低秩矩阵恢复问题的列$\ell_{2,0}$ -正则因子分解模型及其计算。引入因子矩阵的列$\ell_{2,0}$ -范数,以提高因子矩阵的列稀疏性和低秩解的稀疏性。对于这种非凸的不连续最优化问题,我们提出了一种带外推的交替优化-最小化(AMM)方法,以及一种混合AMM方法,该方法首先提出了一种优化交替邻近方法来寻找具有较少非零列的初始因子对,然后采用带外推的AMM来最小化光滑非凸损失。我们提供了整体收敛分析所提出的AMM方法,并将其应用到矩阵完成问题的非均匀采样计划。通过模拟数据和实际数据进行了数值实验,并与核范数正则化因子分解模型和最大范数正则化凸模型进行了比较,结果表明,列$\ell_{2,0}$正则化因子分解模型具有在较短时间内提供较低误差和秩的解的优势.
2021-12-26 math.OC stat.ML
Towards a Fairer Non-negative Matrix Factorization
Department of Mathematics, California State University, Fullerton(数学系,加州州立大学,弗里蒙特分校);Department of Mathematics, University of California, San Diego(数学系,加州大学圣地亚哥分校);Department of Mathematics, University of California, Los Angeles(数学系,加州大学洛杉矶分校);McCormick School of Engineering Northwestern University(工程学院,西北大学);Department of Mathematics Amherst College(数学系,阿默斯特学院);Department of Industrial Engineering and Operations Research Univ. of California, Berkeley(工业工程与运筹学系,加州大学伯克利分校)
本文提出了一种改进的非负矩阵分解方法,通过min-max公式优化公平性,同时指出公平性并非绝对,方法选择需根据具体应用调整。
2026-03-05 cs.LG stat.ML
Nonlinear hyperspectral unmixing with robust nonnegative matrix factorization
本文介绍了一种鲁棒混合模型来描述由几个纯光谱特征混合而成的高光谱数据。这种新的模型不仅推广了常用的线性混合模型,而且还允许可能的非线性效应很容易处理,依赖于温和的假设,这些非线性。标准的非负性和总和为一的限制,固有的频谱分解加上一组稀疏的非线性组件上施加的约束。这导致一种新形式的鲁棒非负矩阵分解。数据保真度项被表示为β-散度,这是一个连续的相异性测度族,将平方欧几里德距离和广义库尔贝克-莱布勒散度作为特例。惩罚的目标是最小化的块坐标下降,涉及优化最小化更新。仿真结果表明,所提出的策略与国家的最先进的线性和非线性解混方法。
2014-03-06 stat.ME stat.ML
Convolutional Dictionary Learning through Tensor Factorization
University of California Irvine(加州大学欧文分校)
张量方法已经成为许多潜在变量模型(如主题模型,独立成分分析和字典学习)的一致性学习的强大范例。模型参数估计通过CP分解所观察到的高阶输入的时刻。然而,在许多领域中,存在额外的不变性,例如移位不变性,通过卷积字典学习等模型来实施。在本文中,我们开发了新的张量分解算法的卷积模型的参数估计。我们的算法是基于流行的交替最小二乘法,但有效的投影到堆叠循环矩阵的空间。我们的方法是并行的,由简单的操作,如快速傅立叶变换和矩阵乘法。我们的算法收敛到字典更快,更准确地相比,交替最小化过滤器和激活映射。
2015-06-18 cs.LG stat.ML
Error bound of critical points and KL property of exponent $1/2$ for squared F-norm regularized factorization
South China University of Technology(华南理工大学)
研究了含噪声低秩矩阵恢复问题的平方F(robenius)范数正则化分解形式。在对损失函数的Hessian约束条件数作适当假设的情况下,对于秩不大于真矩阵秩的非严格临界点,得到了误差界.然后,对于平方F-范数正则化因子分解最小二乘损失函数,在有噪声和全样本情况下,建立了其指数$1/2$在全局极小点集上的KL性质,并在有噪声和部分样本情况下,对一类临界点得到了该性质.这些理论研究结果也证实了解决平方F-范数正则因式分解问题的加速交替最小化方法。
2021-06-26 cs.LG math.OC stat.ML
A convex model for non-negative matrix factorization and dimensionality reduction on physical space
提出了一种协作凸框架,用于将数据矩阵$X$分解为具有稀疏系数矩阵$S$的非负积$AS$。我们限制字典矩阵$A$的列与数据矩阵$X$的某些列一致,从而保证物理上有意义的字典和降维。我们使用$l_{1,\infty}$正则化从数据中选择字典,并显示这导致$l_0$在不同的无噪声数据的情况下的精确凸松弛。我们还展示了如何放松的限制,$X$约束,通过初始化一个交替的最小化方法与凸模型的解决方案,获得一个字典接近,但不一定在$X$。我们专注于所提出的框架,高光谱端元和丰度识别的应用程序,也显示了应用程序的核磁共振数据的盲源分离。
2011-02-04 stat.ML
A Non-monotone Alternating Updating Method for A Class of Matrix Factorization Problems
在本文中,我们考虑了一个通用的矩阵分解模型,它涵盖了一大类现有的模型,在机器学习和成像科学等领域的许多应用。为了解决这一可能的非凸、非光滑和非Lipschitz问题,我们提出了一种基于势函数的非单调交替更新方法。我们的方法本质上是通过不精确地最小化这个势函数来依次更新两个变量块,并使用显式公式更新另一个辅助变量块。我们的势函数的特殊结构,使我们能够利用有效的非负矩阵分解的计算策略,执行交替最小化的两个块的变量。一个合适的线搜索准则也被纳入,以提高数值性能。在适当的条件下,证明了线性搜索准则的定义,并证明了生成的序列是有界的,且序列的任一聚点都是平稳点。最后,我们使用真实数据集进行了一些数值实验,比较我们的方法与现有的一些有效的方法,非负矩阵分解和矩阵完成。数值结果表明,我们的方法可以优于这些方法为这些特定的应用。
2018-05-15 math.OC stat.ML
DeepVir -- Graphical Deep Matrix Factorization for "In Silico" Antiviral Repositioning: Application to COVID-19
IIIT - Delhi(德里印度理工学院);Inria Saclay(法国国家信息与自动化研究所萨克雷分部);Univ. Paris Saclay(巴黎萨克雷大学)
这项工作制定了抗病毒重新定位作为一个矩阵完成的问题,其中抗病毒药物是沿行和病毒沿列。输入矩阵是部分填充的,在已知抗病毒药物对病毒有效的位置上有一个。抗病毒药物(化学结构和途径)和病毒(基因组结构和症状)的策划元数据被编码到我们的矩阵完成框架中,作为图拉普拉斯正则化。然后,我们将由此产生的多图正则化矩阵完成问题框架为深度矩阵分解。这是通过使用一种新的优化方法,称为HyPALM(混合近端交替线性化最小化)。我们策划的RNA药物病毒关联(DVA)数据集的结果表明,所提出的方法优于最先进的图正则化矩阵完成技术。当应用于COVID-19抗病毒药物的“计算机模拟”预测时,我们的方法返回用于治疗患者或正在进行相同试验的抗病毒药物。
2020-09-22 cs.LG stat.ML
Automatic Relevance Determination in Nonnegative Matrix Factorization with the β-Divergence
研究了β-散度下非负矩阵分解(NMF)的潜在维数估计问题.β-散度是一类代价函数,包括平方欧几里德距离、Kullback-Leibler和Itakura-Saito散度作为特例。学习模型阶数很重要,因为需要在数据保真度和过拟合之间取得适当的平衡。我们提出了一个贝叶斯模型的基础上自动相关性确定的字典矩阵的列和激活矩阵的行被绑在一起,通过一个共同的尺度参数在他们的先验。提出了一类最大后验概率(MAP)估计的优化最小化算法。在推理过程中,尺度参数的子集被驱动到一个小的下限,具有修剪相应的伪分量的效果。我们通过对合成数据、游泳者数据集、音乐分解示例和股票价格预测任务进行广泛的实验,证明了我们算法的有效性和鲁棒性。
2012-10-05 stat.ME stat.ML
Robust Low-tubal-rank Tensor Completion based on Tensor Factorization and Maximum Correntopy Criterion
University of Central Florida(中佛罗里达大学)
张量补全的目标是从其条目的子集中恢复张量,通常是通过利用其低秩属性。在张量秩的几个有用的定义中,低管秩给出了张量固有的低秩结构的一个有价值的特征。虽然最近已经提出了一些具有良好性能的低管秩张量补全算法,但这些算法利用二阶统计量来测量误差残差,当观察到的条目包含大的离群值时,这可能不能很好地工作。在本文中,我们提出了一个新的目标函数的低管秩张量完成,它使用相关熵作为误差测量,以减轻离群值的影响。为了有效地优化所提出的目标,我们利用半二次最小化技术,从而将优化转化为加权低管秩张量因式分解问题。随后,我们提出了两个简单而有效的算法来获得解决方案,并提供其收敛性和复杂性分析。模拟和实际数据的数值结果表明,所提出的算法的鲁棒性和优越的性能。
2022-10-14 cs.LG stat.ML
Beyond Alternating Updates for Matrix Factorization with Inertial Bregman Proximal Gradient Algorithms
Saarland University(萨尔大学)
矩阵分解是一个非常流行的非凸优化问题,对于它,最常用的是交替极小化算法。他们通常遭受的主要缺点,解决方案是偏向于优化变量之一。一种补救办法是非交替方案。然而,由于在矩阵分解问题中梯度缺乏Lipschitz连续性,不能保证收敛。最近开发的方法依赖于Bregman距离的概念,它概括了标准的欧几里得距离。我们利用这一理论,提出了一种新的Bregman距离矩阵分解问题,这在同一时间,允许简单的/封闭的形式更新步骤。因此,对于非交替的计划,如最近推出的Bregman邻近梯度(BPG)方法和惯性变凸-凹惯性BPG(CoCaIn BPG),收敛的整个序列的一个稳定点被证明为矩阵分解。在几个实验中,我们观察到一个优越的性能,我们的非交替计划的速度和目标值在极限点。
2019-12-06 cs.CV cs.IR math.OC
Robust Matrix Factorization with Grouping Effect
Baidu Research, Baidu Inc.(百度公司百度研究院);Columbia University(哥伦比亚大学)
虽然许多技术已被应用于矩阵分解(MF),他们可能没有充分利用的特征结构。在本文中,我们将分组效应纳入MF,提出了一种新的方法,称为鲁棒矩阵分解与分组效应(GRMF)。分组效应是稀疏效应的推广,它通过围绕多个中心而不是仅围绕0聚类相似值来进行去噪。与现有算法相比,该算法无需先验知识,通过引入一种自然可调的非凸正则化,实现稀疏性和分组性的同时学习,从而自动学习MF中的分组结构和稀疏性。具体来说,GRMF使用一个高效的交替最小化框架来执行MF,其中原始的非凸问题首先通过凸差分(DC)规划转换为凸问题,然后通过交替方向乘法(ADMM)求解。此外,GRMF可以很容易地扩展到非负矩阵分解(NMF)设置。大量的实验已经进行了使用真实世界的数据集与离群值和污染的噪声,实验结果表明,GRMF提高了性能和鲁棒性相比,五个基准算法。
2021-07-08 cs.LG stat.ME stat.ML
A Majorization-Minimization Gauss-Newton Method for 1-Bit Matrix Completion
University of California, Riverside(加利福尼亚大学河滨分校);Tencent(腾讯);Rice University(莱斯大学);Weizmann Institute of Science(魏茨曼科学研究所)
提出MMGN方法解决1-bit矩阵补全问题,通过majorization-minimization原理转化为标准低秩子问题并用Gauss-Newton求解,实验证明其比现有方法更准确、快速且对spikiness不敏感。
2024-09-23 cs.LG stat.ML
Towards Tuning-Free Minimum-Volume Nonnegative Matrix Factorization
Texas Christian University(德克萨斯基督教大学);Rice University(莱斯大学)
本文提出一种受平方根lasso启发的免调参最小体积非负矩阵分解方法,其调参参数最优值不依赖噪声水平,并设计了具有全局收敛保证的MM算法。
2023-09-24 cs.LG stat.CO stat.ML
Stochastic Majorization-Minimization Algorithms for Large-Scale Optimization
INRIA Grenoble(法国国家信息与自动化研究所格勒诺布尔分部)
优化最小化算法包括迭代地最小化目标函数的优化代理。由于它的简单性和广泛的适用性,这个原则在统计学和信号处理中非常流行。在本文中,我们打算使这一原则可扩展。我们引入了一个随机优化最小化方案,它能够处理大规模或可能无限的数据集。当适用于凸优化问题在适当的假设下,我们表明,它达到了预期的收敛速度的$O(1/\sqrt{n})$ $n$迭代后,和$O(1/n)$强凸函数。同样重要的是,我们的计划几乎肯定收敛到一个大类的非凸问题的驻点。我们开发了几个有效的算法基于我们的框架。首先,我们提出了一个新的随机邻近梯度方法,实验匹配国家的最先进的大规模$\ell_1$-逻辑斯谛回归的求解器。其次,我们提出了一个非凸稀疏估计的在线DC规划算法。最后,我们证明了我们的方法解决大规模结构矩阵分解问题的有效性。
2013-09-10 cs.LG math.OC stat.ML
Dual Simplex Volume Maximization for Simplex-Structured Matrix Factorization
K.N.Toosi University (KNTU)(K.N.图西大学(KNTU));University of Mons(蒙斯大学)
本文利用多面体对偶性将最小体积 SSMF 转化为对偶最大体积问题,证明其可辨识性,并提出统一体积最小化与面识别的优化算法,实验表现优于现有方法。
2024-03-29 cs.IR cs.LG cs.NA
Provable Alternating Gradient Descent for Non-negative Matrix Factorization with Strong Correlations
Princeton University(普林斯顿大学)
本文提出了一种简单的交替梯度下降算法,证明在强相关性下能有效恢复真实特征矩阵,并展示了其在噪声下的鲁棒性。
2017-06-13 cs.DS cs.LG cs.NA
Understanding Alternating Minimization for Matrix Completion
IBM Research Almaden(IBM阿尔马登研究院)
本文针对矩阵补全的交替最小化方法,提出基于幂法收敛分析与QR分解平滑分析的新算法,大幅降低样本量需求,运行时间接近线性,样本边界优于多数次二次时间算法。
2026-08-11 cs.DS cs.LG stat.ML
Probabilistic Simplex Component Analysis
本研究提出了PRISM,一个概率的单纯形成分分析方法,以确定一个数据外接单形的顶点数据。该问题有着丰富的应用,最值得注意的是遥感中的高光谱分解和机器学习中的非负矩阵分解。PRISM使用一个简单的概率模型,即均匀单纯形数据分布和加性高斯噪声,它进行最大似然推理。推理模型是合理的,在这个意义上说,顶点是可证明的,在某些假设下,它表明,PRISM可以有效地对抗噪声时,数据点的数量是大的。PRISM与单纯形体积最小化有很强但隐藏的关系,单纯形体积最小化是解决同一问题的一种强大的几何方法。我们研究这些基本方面,我们也认为算法计划的基础上的重要性抽样和变分推理。特别是,变分推理方案类似于一个矩阵分解问题与一个特殊的正则化,它绘制了一个有趣的连接矩阵分解方法。数值结果证明了PRISM的潜力。
2022-01-20 eess.SP stat.ML
A Non-commutative Extension of Lee-Seung's Algorithm for Positive Semidefinite Factorizations
National University of Singapore(新加坡国立大学);Institute of High Performance Computing, Agency for Science, Technology and Research(新加坡科技研究局高性能计算研究所);Singapore University of Technology and Design(新加坡科技设计大学)
给定具有非负项的矩阵$X\in \mathbb{R}_+^{m\times n}$,$X\in \mathbb{R}_+^{m\times n}$的半正定(PSD)分解是$r \times r$维PSD矩阵$\{A_i\}$和$\{B_j\}$的集合,其对于所有$\ i\in [m],\ j\in [n]$满足$X_{ij}= \mathrm{tr}(A_i B_j)$. PSD因子分解从根本上与理解半定程序的表达性以及信息论中量子资源的能力和局限性有关。PSD因式分解任务推广了非负矩阵因式分解(NMF)问题,其中我们寻求满足$X_{ij}= a_i^\top b_j$的$r$维非负向量$\{a_i\}$和$\{b_j\}$的集合,对于所有$i\in [m],\ j\in [n]$-可以通过将PSD因式分解中的矩阵选择为对角线来恢复后一个问题。计算矩阵的NMF的最广泛使用的算法是由Lee和Seung开发的乘法更新算法,其中更新的非负性通过用正对角矩阵缩放来保持。在本文中,我们描述了一个非交换的扩展李Seung的算法,我们称之为矩阵乘法更新(MMU)算法,计算PSD分解。MMU算法通过与适当PSD矩阵的矩阵几何平均值进行同余缩放来确保更新保持PSD,并且它保留了Lee-Seung算法所享有的实现的简单性。基于优化最小化框架,我们证明了在我们的更新方案下,平方损失目标是非增的,不动点对…
2021-06-01 cs.LG eess.SP math.OC
Kernel Nonnegative Matrix Factorization Without the Curse of the Pre-image - Application to Unmixing Hyperspectral Images
Institut Charles Delaunay (CNRS)(查尔斯·德洛奈研究所(法国国家科学研究中心));Université de Technologie de Troyes(特鲁瓦技术大学);LITIS lab(LITIS实验室);Université de Rouen(鲁昂大学);Centre de Recherche en Automatique de Nancy (CNRS)(南锡自动化研究中心(法国国家科学研究中心));Université de Lorraine(洛林大学)
非负矩阵分解(NMF)在信号和图像处理中有着广泛的应用,包括生物信息学、盲声源分离和遥感高光谱图像分析等。一个很大的挑战时,出现处理的非线性制定的NMF。在核机器的框架内,在文献中提出的模型不允许表示的分解矩阵,这是一个辐射的诅咒的前图像。在本文中,我们提出了一种新的基于核的模型的NMF,不受前像的问题,通过直接在输入空间中调查的分解矩阵的估计。对于不同的核函数,我们描述了两个计划的迭代算法:添加剂更新规则的基础上的梯度下降计划和乘法更新规则在相同的精神,在李和Seung算法。在建议的框架内,我们开发了几个扩展,将约束,包括稀疏性,平滑性和空间正则化与总变差一样的惩罚。所提出的方法的有效性证明了解混高光谱图像的问题,使用著名的真实图像和结果与国家的最先进的技术。
2016-03-27 cs.CV cs.IT cs.LG
ACCAMS: Additive Co-Clustering to Approximate Matrices Succinctly
Google(谷歌)
矩阵完成和近似是流行的工具,以捕捉用户的偏好推荐和近似缺失的数据。而不是使用低秩因子分解,我们采取了一个截然不同的方法,基于简单的见解,一个加性模型的共同聚类允许一个近似矩阵有效。这使我们能够构建一个简洁的模型,每学习一点模型,都大大击败了矩阵近似的所有因子分解方法。更令人惊讶的是,我们发现,在小的联合聚类求和是更有效的建模矩阵比经典的联合聚类,它只使用一个大的矩阵分区。遵循奥卡姆剃刀原理表明,我们的模型所诱导的简单结构比经典的共聚类或矩阵分解更好地捕捉了现实世界中存在的潜在偏好和决策过程。我们提供了一个迭代的最小化算法,一个崩溃的吉布斯采样器,理论保证矩阵近似,和优秀的经验证据,我们的方法的有效性。我们在Netflix问题上实现了最先进的结果,模型复杂性只有一小部分。
2014-12-31 cs.LG stat.ML
Forecasting Sparse Movement Speed of Urban Road Networks with Nonstationary Temporal Matrix Factorization
Polytechnique Montreal(蒙特利尔理工学院);McGill University(麦吉尔大学);University of Electronic Science and Technology of China(电子科学与技术大学)
本文提出非平稳时间矩阵分解模型,用于预测城市道路网络稀疏行驶速度,通过低秩结构和季节性信息提升预测精度。
2025-04-12 cs.LG stat.ML
Solving NMF with smoothness and sparsity constraints using PALM
École normale supérieure de Lyon(里昂高等师范学院)
非负矩阵分解是一个数据降维和声源分离的问题,自1999年Lee和Seung对它进行深入研究以来,它已被广泛应用于数据压缩、文档聚类、声谱图处理和天文学等领域。在这项工作中,我们已经适应了凸函数的最小化方案与不可微的约束,称为PALM解决NMF问题的解决方案,可以是光滑和/或稀疏的,两个属性经常需要。
2021-03-18 cs.CV cs.LG stat.ML