We study the asymmetric matrix factorization problem under a natural nonconvex formulation with arbitrary overparametrization. The model-free setting is considered, with minimal assumption on the rank or singular values of the observed matrix, where the global optima provably overfit. We show that vanilla gradient descent with small random initialization sequentially recovers the principal components of the observed matrix. Consequently, when equipped with proper early stopping, gradient descent produces the best low-rank approximation of the observed matrix without explicit regularization. We provide a sharp characterization of the relationship between the approximation error, iteration complexity, initialization size and stepsize. Our complexity bound is almost dimension-free and depends logarithmically on the approximation error, with significantly more lenient requirements on the stepsize and initialization compared to prior work. Our theoretical results provide accurate prediction for the behavior gradient descent, showing good agreement with numerical experiments.
PARAFAC2-based Coupled Matrix and Tensor Factorizations
Simula Metropolitan Center for Digital Engineering（西姆拉大都会数字工程中心）；Oslo Metropolitan University（奥斯陆城市大学）；Affiliated Zhongshan Hospital of Dalian University（大连大学附属中山医院）；Dalian University of Technology（大连理工大学）
针对现有 PARAFAC2 耦合矩阵-张量分解在正则化与耦合类型上的局限，本文提出结合 AO 与 ADMM 的算法框架，支持全模态约束和线性耦合，并通过实验验证其模式恢复准确性。
A Flexible Optimization Framework for Regularized Matrix-Tensor Factorizations with Linear Couplings
Simula Metropolitan Center for Digital Engineering（Simula城市数字工程中心）；Oslo Metropolitan University（奥斯陆城市大学）；CNRS（法国国家科学研究中心）；Université de Rennes（雷恩大学）；Inria（法国国家信息与自动化研究所）；IRISA（IRISA研究所）
Online Convex Matrix Factorization with Representative Regions
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
矩阵分解（MF）是一种通用的学习方法，在各种数据驱动的学科中得到了广泛的应用。尽管如此，许多MF算法不能充分地随可用数据集的大小扩展和/或缺乏可解释性。为了提高该方法的计算效率，Mairal等人[2010]提出了一种在线（流式）MF算法。为了实现数据的可解释性，Ding等人[2010]引入了MF的约束版本，称为凸MF。在后一种工作中，要求基向量位于数据样本的凸包中，从而确保每个基可以被解释为数据样本的加权组合。目前没有已知的在线凸MF的算法解决方案，因为在不访问完整数据集的情况下找到足够的凸基是具有挑战性的。我们通过提出第一个在线凸MF算法来解决这两个问题，该算法维护解释每个基所需的代表性数据样本的恒定大小集合（Ding et al. [2010]），并且具有与Mairal et al. [2010]的在线学习算法相同的几乎肯定收敛保证。我们的证明技术结合随机坐标下降算法与专门的准鞅收敛分析。合成和真实世界的数据集上的实验表明显着的计算节省所提出的在线凸MF方法相比，经典的凸MF。由于所提出的方法保留了凸解释所需的小的代表性数据样本集，因此它与理论计算机科学中的一系列工作有关，涉及生成点集（Blum et al. [2016]），以及计算机视觉，涉及原型分析（Mei et al. [2018]）。然而，它在目标和算法实现方面都不同于这些工作。
Fast and Effective Computation of Generalized Symmetric Matrix Factorization
School of Computer Science and Engineering（计算机科学与工程学院）；Guangdong Province Key Laboratory of Computational Science（广东省计算科学重点实验室）；Sun Yat-sen University（中山大学）；School of Mathematics and Information Science（数学与信息科学学院）；Guangzhou University（广州大学）；Department of Mathematics（数学系）；The University of Tennessee, Knoxville（田纳西大学，诺克斯维尔）
PARAFAC2-based Coupled Matrix and Tensor Factorizations with Constraints
Simula Metropolitan Center for Digital Engineering（Simula 城市数字工程中心）；First Affiliated Hospital of Dalian Medical University（大连医科大学第一附属医院）；Dalian Innovation Institute of Stem Cell and Precision Medicine（大连干细胞与精准医学创新研究院）；COPSAC: Copenhagen Studies on Asthma in Childhood（COPSAC：儿童哮喘研究）；University of Copenhagen（哥本哈根大学）
Accelerating Matrix Factorization by Dynamic Pruning for Fast Recommendation
School of Computer Engineering and Science, Shanghai University（上海大学计算机工程与科学学院）；College of Integrated Circuits and Optoelectronic Chips, School of Computer Engineering and Science, Shenzhen Technology University（深圳科技大学集成电路与光电芯片学院、计算机工程与科学学院）
tPARAFAC2: Tracking evolving patterns in (incomplete) temporal data
Simula Metropolitan Center for Digital Engineering（Simula 数字工程中心）；Faculty of Technology, Art and Design, OsloMet（技术、艺术与设计学院）；Institute for Numerical and Applied Mathematics, Georg-August-Universität Göttingen（数值与应用数学研究所）
