发表机构
ENS de Lyon; CNRS and LIP (UMR5668, Université de Lyon - ENS de Lyon - UCBL - CNRS - Inria)（里昂高等师范学校; 法国国家科学研究中心和里昂信息学实验室（联合研究单位5668，里昂大学 - 里昂高等师范学校 - 里昂中央理工学院 - 法国国家科学研究中心 - 法国国家信息与自动化研究所））
机构由 AI 辅助整理，请以论文原文为准。AI 中文总结
研究非负矩阵分解，针对多数KL-NMF算法用可分离主元找迭代已达极限的问题，提出用损失的二阶泰勒展开，通过推广HALS算法最小化不可分离替代函数，得到高效且收敛的KL-NMF算法，在多数据集上表现良好。
AI 中文摘要
非负矩阵分解（NMF）是无监督学习中的一个基本工具，它通过两个低秩非负因子的乘积来近似一个非负矩阵。当分解的数据样本服从泊松分布时，Kullback-Leibler（KL）散度最适合衡量数据与模型的差异，这在词项-文档矩阵或图像等计数数据集的情况下成立。文献中的大多数KL-NMF算法通过最小化损失的可分离主元来找到下一次迭代。我们认为这种方法已达到极限，建议改为使用损失的二阶泰勒展开，从而得到一种牛顿型方法。我们通过提出著名的HALS算法的推广来最小化这个不可分离的替代函数。这产生了一种高效的KL-NMF算法，该算法可证明收敛，并且在各种数据集上与现有算法相比具有优势。
英文摘要
Nonnegative Matrix Factorization (NMF) is a fundamental tool in unsupervised learning, which approximates a nonnegative matrix by the product of two low-rank nonnegative factors. The Kullback-Leibler (KL) divergence is best suited to measure the data to model discrepancy when the decomposed data sample follows a Poisson distribution, which is the case for count datasets such as term-document matrices or images. Most KL-NMF algorithms in the literature minimize a separable majorant of the loss to find their next iterate. We argue that this method has reached its limits and propose to use instead the second-order Taylor expansion of the loss, leading to a Newton-type method. We minimize this non-separable surrogate by proposing a generalization of the well-known HALS algorithm. This yields an efficient KL-NMF algorithm which provably converges and which competes favorably with state-of-the-art algorithms on a large variety of datasets.
Comments35 pages, 8 figures
