Implicit Regularization in Deep Learning May Not Be Explainable by Norms
Tel Aviv University（特拉维夫大学）
在数学上表征由基于梯度的优化引起的隐式正则化是深度学习理论中的长期追求。人们普遍希望基于范数最小化的特征可以应用，研究这种前景的标准测试平台是矩阵分解（通过线性神经网络完成矩阵）。范数能否解释矩阵分解中的隐正则化是一个悬而未决的问题。当前的论文通过证明存在自然矩阵因式分解问题，隐式正则化将所有范数（和准范数）推向无穷大，从反面解决了这个悬而未决的问题。我们的研究结果表明，而不是感知通过规范的隐式正则化，一个潜在的更有用的解释是最小化的秩。我们经验性地证明了这种解释可以扩展到某一类非线性神经网络，并假设它可能是解释深度学习中泛化的关键。
2020-10-17 cs.LG cs.NE stat.ML
Implicit Regularization in Deep Tensor Factorization
Aix Marseille Univ（艾克斯-马赛大学）；Université de Toulon（土伦大学）；CNRS（法国国家科学研究中心）；LIS（信息与系统实验室）；Ecole Centrale de Marseille（马赛中央理工学院）
研究与梯度下降（GD）相关的隐式正则化的尝试已经将矩阵补全确定为合适的测试平台。最近的研究结果表明，这种现象不能被措辞为一个最小化规范的问题，这意味着一个范式的转变是必要的，必须考虑到动态。在目前的工作中，我们利用两个推广的张量因式分解，即Tucker和TensorTrain（TT），解决了更一般的张量完成设置。我们跟踪相关的量，如张量核范数，有效秩，广义奇异值，我们引入深度塔克和TT无约束因式分解来处理完成任务。在模拟数据和真实数据上的实验表明，梯度下降算法能够提高低秩解的质量，并验证了必须从动力学角度来解决这一问题的猜想.
2021-05-04 cs.AI cs.LG stat.ML
AIR-Net: Adaptive and Implicit Regularization Neural Network for Matrix Completion
National University of Defense Technology（国防科技大学）；University of Utah（犹他大学）
显式低秩正则化，例如，核范数正则化在成像科学中有着广泛的应用。然而，已经发现隐式正则化在各种图像处理任务中优于显式正则化。另一个问题是，固定的显式正则化限制了对广泛图像的适用性，因为不同的图像有利于通过不同的显式正则化捕获的不同特征。因此，本文提出了一种新的自适应和隐式低秩正则化，动态捕获低秩先验的训练数据。我们新的自适应隐式低秩正则化的核心是在基于Dirichlet能量的正则化中参数化拉普拉斯矩阵，我们称之为正则化\textit{AIR}。理论上，我们表明，自适应正则化的AIR增强了隐式正则化，并在训练结束时消失。我们验证了空气的有效性在各种基准任务，表明空气是特别有利的情况下，丢失的条目是不均匀的。代码可以在https://github.com/lizhemin15/AIR-Net上找到
2022-06-27 cs.LG stat.ML
Theoretically Accurate Regularization Technique for Matrix Factorization based Recommender Systems
正则化是解决机器学习算法过拟合问题的一种常用技术。大多数正则化技术依赖于正则化系数的参数选择。插入法和交叉验证法是岭回归、Lasso回归和核回归等回归方法中最常用的两种参数选择方法。基于矩阵分解的推荐系统也严重依赖于正则化技术。大多数人选择单个标量值来独立或共同正则化用户特征向量和项目特征向量。在本文中，我们证明了这种选择正则化系数的方法是无效的，我们提供了一个理论上准确的方法，优于最广泛使用的方法在准确性和公平性指标。
2022-05-21 cs.IR cs.LG
Supervised low-rank semi-nonnegative matrix factorization with frequency regularization for forecasting spatio-temporal data
POSTECH（浦项科技大学）；University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
本研究提出带频域软/硬正则化的监督半非负矩阵分解方法用于时空数据预测，可提升时间模式清晰度与频域可解释性，在GRACE数据上效果与现有研究相当且解释性更强。
2024-06-19 cs.LG stat.ML
In Search of the Real Inductive Bias: On the Role of Implicit Regularization in Deep Learning
Toyota Technological Institute at Chicago（芝加哥丰田理工学院）
我们目前的实验表明，一些其他形式的容量控制，不同的网络规模，在学习多层前馈网络中起着核心作用。我们认为，部分通过类比矩阵分解，这是一个归纳的偏见，可以帮助阐明深度学习。
2015-04-16 cs.AI cs.CV cs.LG
Towards Resolving the Implicit Bias of Gradient Descent for Matrix Factorization: Greedy Low-Rank Learning
Princeton University（普林斯顿大学）；Tsinghua University（清华大学）
矩阵分解是研究梯度下降隐式正则化的一个简单而自然的测试平台。Gunasekar et al.（2017）证明了具有无穷小初始化的梯度流收敛于最小化核范数的解，但最近的一系列论文认为范数最小化的语言不足以给出隐式正则化的完整表征。在这项工作中，我们提供了理论和经验证据，证明对于深度2矩阵分解，具有无穷小初始化的梯度流在数学上等价于一个简单的启发式秩最小化算法，贪婪低秩学习，在一些合理的假设下。这将先前工作中的秩最小化观点推广到更广泛的环境，并使我们能够构建反例来反驳Gunasekar等人的猜想。我们还将结果扩展到深度为$\ge 3$的情况，并且我们表明更深的好处是上述收敛对初始化幅度的依赖性要弱得多，因此这种秩最小化更有可能对实际规模的初始化生效。
2021-04-11 cs.LG stat.ML
A Converged Algorithm for Tikhonov Regularized Nonnegative Matrix Factorization with Automatic Regularization Parameters Determination
提出了一种Tikhonov正则化非负矩阵分解（NMF）的收敛算法.我们特别选择这种正则化，因为它是已知的Tikhonov正则化最小二乘（LS）是更可取的形式在解决线性反问题比传统的LS。由于NMF问题可以分解为LS子问题，因此可以预期Tikhonov正则化NMF将是求解NMF问题的更合适的方法。该算法是使用已被证明具有收敛保证的加性更新规则推导出来的。我们配备了一个机制，自动确定正则化参数的基础上的L-曲线，一个众所周知的概念，在反问题的社区，但在NMF的研究是未知的。该算法的引入解决了Tikhonov正则化NMF算法研究中的两个固有问题，即，收敛性保证和正则化参数确定。
2012-05-10 cs.LG
Unsupervised Selective Manifold Regularized Matrix Factorization
George Mason University（乔治梅森大学）
用于矩阵分解的流形正则化方法依赖于聚类假设，由此在分解空间中保留输入空间中数据的邻域结构。我们认为，使用所有数据点的k邻域作为正则化约束可能会对因子分解的质量产生负面影响，并提出了一种无监督的选择性正则矩阵因子分解算法来解决这个问题。我们的方法联合学习稀疏的代表集及其邻居的亲和力，以及数据分解。我们进一步提出了一个快速近似我们的方法，放松对数据的选择性约束。我们提出的算法是有竞争力的基线和国家的最先进的流形正则化和聚类算法。
2020-10-20 cs.LG
Discriminatively Constrained Semi-supervised Multi-view Nonnegative Matrix Factorization with Graph Regularization
siat.ac.cn（siat.ac.cn（注：此处原文仅提供了邮箱，未明确完整机构名，根据要求不提取））
近年来，半监督多视图非负矩阵分解（MVNMF）算法在多视图聚类中取得了很好的性能。然而，大多数半监督MVNMF都未能有效地考虑聚类之间的区分信息和多个视图的特征对齐。本文提出了一种新的判别约束半监督多视图非负矩阵分解算法（DCS^2MVNMF）。具体地说，每个视图的辅助矩阵，这增强了类间的区别引入一个判别加权矩阵。同时，利用标号和几何信息构造了一种新的图正则化方法。此外，我们设计了一种新的特征尺度归一化策略来对齐多个视图，并完成了相应的迭代优化方案。在多个真实世界的多视点数据集上进行的实验证明了该方法的有效性。
2020-10-26 cs.LG
Implicit Bias in Matrix Factorization and its Explicit Realization in a New Architecture
Technical University of Munich, Germany（慕尼黑技术大学）
本文研究矩阵分解中无需迭代有界假设的隐式低秩偏置动态，提出引入对角因子 $D$ 并约束 $U$、$V$ 的新分解模型以显式实现该偏置，并将其扩展至神经网络，在分类回归任务中取得竞争力且生成轻量低秩表示。
2025-11-03 cs.LG math.OC stat.ML
Implicit Regularization for Tubal Tensor Factorizations via Gradient Descent
Northeastern University（东北大学）；Michigan State University（密歇根州立大学）；Technical University of Munich（慕尼黑工业大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）
本文首次在梯度下降（而非梯度流）下严格证明了管状张量分解的隐式正则化，表明小随机初始化会使超参数化模型偏向低管状秩解，并通过数值模拟验证了理论动态与初始化的重要性。
2024-10-21 cs.LG math.OC math.ST
Implicit regularization and solution uniqueness in over-parameterized matrix sensing
Boston University（波士顿大学）；Rice University（莱斯大学）；University of Maryland（马里兰大学）
我们考虑过参数化线性矩阵分解中的算法选择是否引入了隐式正则化。我们专注于$\mathbb{R}^{n \times n}$中秩- $r$半正定（PSD）矩阵上的无噪声矩阵感知，其感知机制满足限制等距性质（RIP）。我们研究的算法是\emph{factored gradient descent}，其中我们模型的低秩和PSD约束与因子分解$UU^\top$，为$U \in \mathbb{R}^{n \times r}$。令人惊讶的是，最近的工作认为$r \leq n$的选择并不关键：即使设置$U \in \mathbb{R}^{n \times n}$也足以让因子梯度下降找到秩- $r$解，这表明对因子进行操作会导致隐式正则化。在这篇文章中，我们提供了一个不同的角度来看待隐式正则化问题。我们表明，在一定的条件下，PSD约束本身就足以导致一个独特的秩- $r$矩阵恢复，没有隐式或显式低秩正则化。\emph{I.e.}，在假设下，与观察到的数据一致的PSD矩阵的集合是单例的，无论使用的算法如何。
2019-09-13 cs.LG math.OC stat.ML
Connectivity Shapes Implicit Regularization in Matrix Factorization Models for Matrix Completion
Shanghai Jiao Tong University（上海交通大学）
本文研究矩阵补全中矩阵分解的隐式正则化，发现观测数据连通性决定模型从低核范数偏向低秩的转变，并通过层次不变流形遍历过程从理论上刻画训练轨迹，建立了保证最小核范数和最小秩的条件。
2025-04-14 cs.LG
Reexamining Low Rank Matrix Factorization for Trace Norm Regularization
University College London（伦敦大学学院）；Computational Statistics and Machine Learning - Istituto Italiano di Tecnologia（意大利技术研究院计算统计与机器学习）
迹范数正则化是一种广泛使用的学习低秩矩阵的方法。一个标准的优化策略是基于制定的问题，作为一个低秩矩阵分解，然而，导致一个非凸问题。在实践中，这种方法工作得很好，它通常比标准的凸解算器（如近似梯度方法）计算速度更快。然而，它不能保证收敛到全局最优值，并且优化可能被困在差的稳定点。在本文中，我们表明，它是可能的所有临界点的非凸问题的特征。这使我们能够提供一个有效的标准，以确定是否临界点也是一个全球性的极小。我们的分析表明，一个迭代的元算法，动态扩展的参数空间，并允许优化逃避任何非全局临界点，从而收敛到一个全局极小。该算法可以应用于矩阵完成或多任务学习等问题，我们的分析适用于任何随机初始化的因素矩阵。最后，我们证实了该算法在合成和真实数据集上的良好性能。
2017-07-31 cs.LG stat.ML
Robust Nonnegative Matrix Factorization via $L_1$ Norm Regularization
非负矩阵分解（Nonnegative Matrix Factorization，NMF）是一种在人脸识别、运动分割等应用中广泛使用的技术。它利用两个非负矩阵的乘积，将高维空间中的非负数据近似为低维空间中的线性表示。在许多应用中，数据经常被大的加性噪声部分破坏。当噪声的位置已知时，可以通过将这些损坏的条目视为缺失值来应用NMF的一些现有变体。然而，在许多现实世界的应用中，这些位置通常是未知的，这阻止了传统NMF或NMF的其他现有变体的使用。提出了一种鲁棒非负矩阵分解（RobustNMF）算法，该算法将部分腐败明确地建模为大的加性噪声，而不需要噪声的位置信息。在实践中，可以使用大的加性噪声来对离群值进行建模。特别是，所提出的方法联合近似的两个非负矩阵的产品的清洁数据矩阵和估计的位置和值的离群值/噪声。一个有效的迭代优化算法与坚实的理论证明已被提出来学习所需的矩阵分解。实验结果证明了该算法的优越性。
2012-04-11 cs.CV cs.LG stat.ML
Tuning-Free Online Robust Principal Component Analysis through Implicit Regularization
Department of Electrical Engineering, Indian Institute of Technology Madras（电子工程系，印度理工学院马德拉斯）
针对标准在线鲁棒主成分分析（OR-PCA）依赖数据集敏感调参的问题，提出利用修正梯度下降的隐式正则化效应实现免调参，在模拟与真实数据集上表现优于或等同于调参后的OR-PCA，提升了大规模数据集的可扩展性。
2025-08-14 cs.CV cs.LG stat.ML
Algorithmic Regularization in Model-free Overparametrized Asymmetric Matrix Factorization
Cornell University（康奈尔大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
该研究针对无模型超参数化非对称矩阵分解的过拟合问题，证明带小随机初始化的普通梯度下降结合早停可无需显式正则化得到最优低秩近似，给出了更宽松的复杂度界，且理论与数值实验吻合。
2022-09-15 cs.LG math.OC stat.ML
Robust Bayesian Nonnegative Matrix Factorization with Implicit Regularizers
Microsoft Corporation（微软公司）
我们引入了一个概率模型，隐式范数正则化学习非负矩阵分解（NMF），通常用于预测缺失值和发现数据中的隐藏模式，其中矩阵因子是与每个数据维度相关的潜在变量。潜在因子的非负性约束通过选择具有非负子空间上的支持的先验来处理，例如，指数密度或基于指数函数的分布。贝叶斯推理过程的基础上吉布斯抽样。我们评估了几个真实世界的数据集，包括癌症药物敏感性的基因组学（GDSC $IC_{50}$）和基因体甲基化与不同的大小和尺寸的模型，并表明，所提出的贝叶斯NMF GL $_2^2$和GL $_\infty$模型导致不同的数据值的鲁棒预测，并避免过拟合与竞争贝叶斯NMF方法相比。
2022-08-22 cs.LG
Fast Adaptively Weighted Matrix Factorization for Recommendation with Implicit Feedback
College of Computer Science, Zhejiang University（浙江大学计算机科学学院）；Zhejiang University-LianlianPay Joint Research Center（浙江大学-连连支付联合研究中心）
由于缺乏可靠的观察到的负面数据，隐式反馈的推荐是一项极具挑战性的任务。一种流行而有效的隐式推荐方法是将未观察到的数据视为负面，但降低其置信度。当然，如何分配置信度权重和如何处理大量的未观测数据是隐式推荐模型的两个关键问题。然而，现有的方法要么追求快速学习，通过手动分配简单的信心权重，这缺乏灵活性，并可能会产生经验偏见，在评估用户的偏好;或自适应推断个性化的信心权重，但效率低下。为了实现自适应权重分配和有效的模型学习，我们提出了一种快速自适应加权矩阵分解（FAWMF）的变分自动编码器的基础上。个性化数据的置信度权重自适应分配与参数化神经网络（功能）和网络可以推断出的数据。此外，为了支持FAWMF的快速和稳定的学习，已经开发了一种新的特定的基于批处理的学习算法fBGD，其在所有反馈数据上进行训练，但其复杂度与观测数据的数量成线性关系。在真实数据集上的大量实验证明了所提出的FAWMF及其学习算法fBGD的优越性。
2020-03-04 cs.IR cs.LG stat.ML
Toward Implicit Sample Noise Modeling: Deviation-driven Matrix Factorization
Intel Labs（英特尔实验室）；Intel Corporation（英特尔公司）
矩阵分解模型的目标函数通常旨在最小化由每个元素贡献的回归误差的平均值。然而，由于随机噪声的存在，样本数据与其真实值的隐式偏差几乎肯定是不同的，这使得每个数据点并不同样适合拟合模型。在这种情况下，简单地平均目标函数中的数据之间的成本是不理想的。直觉上，我们想更多地强调可靠的实例（即，那些包含较小的噪声），同时训练模型。出于这样的观察，我们从异方差噪声分布下的最佳加权的理论框架推导出我们的公式。具体地说，通过对数据的偏差进行建模和学习，我们设计了一种新的矩阵分解模型。我们的模式有两个优势。首先，它联合学习偏差并对实例进行动态重新加权，使模型收敛到更好的解决方案。其次，在学习过程中，偏离实例被分配较低的权重，这导致更快的收敛，因为模型不需要过拟合噪声。在干净的推荐和噪声传感器数据集上进行实验，以测试该模型在各种场景下的有效性。结果表明，我们的模型在准确性和效率方面都优于最先进的因子分解和深度学习模型。
2016-10-28 cs.IR cs.LG stat.ML
Persistent Nonnegative Matrix Factorization via Multi-Scale Graph Regularization
School of Mathematics and Statistics, Xi’an Jiaotong University（数学与统计学学院，西安交通大学）
本文提出持久非负矩阵分解方法，通过多尺度图正则化生成多尺度低秩嵌入，解决传统NMF单尺度问题，提升数据表示的解释性与鲁棒性。
2026-02-26 cs.LG
A Dynamics Theory of Implicit Regularization in Deep Low-Rank Matrix Factorization
Xiamen University（厦门大学）；Xiamen University of Technology（厦门理工学院）
本文提出用景观分析研究深度矩阵分解中的隐式正则化，证明秩R矩阵重构需经历R个鞍点逃逸阶段后收敛到二阶临界点，并通过低秩重构实验验证该理论。
2023-08-11 cs.LG
The Inductive Bias of Flatness Regularization for Deep Matrix Factorization
MIT（麻省理工学院）；Stanford University（斯坦福大学）；Google（谷歌）
本研究证明在深度矩阵分解中，满足RIP条件下最小化Hessian迹近似等价于最小化端到端矩阵的Schatten 1-范数，从而解释了平坦性正则化提升泛化的原因。
2023-06-22 cs.LG
Maximum Discrepancy Generative Regularization and Non-Negative Matrix Factorization for Single Channel Source Separation
NTNU – Norwegian University of Science and Technology（挪威科技大学）
本文提出最大差异生成正则化方法，通过对抗训练非负矩阵分解（NMF）基，有效提升了图像与音频的单通道源分离效果，尤其在缺乏强监督数据时表现突出。
2024-03-26 cs.LG cs.NA eess.SP
STELAR: Spatio-temporal Tensor Factorization with Latent Epidemiological Regularization
University of Minnesota（明尼苏达大学）；IQVIA（艾昆纬）；University of Virginia（弗吉尼亚大学）；Temple University（天普大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
准确预测COVID-19等流行病的传播对实施有效的缓解措施至关重要。在这项工作中，我们开发了一个张量方法来预测多个地区同时流行趋势的演变。我们构造了一个3向时空张量（位置，属性，时间）的情况下计数，并提出了一个非负张量分解与潜在的流行病学模型正则化命名为STELAR。与标准的张量分解方法，不能预测板坯提前，STELAR使长期预测，通过一个系统的离散时间差分方程的广泛采用的流行病学模型，将潜在的时间正则化。我们使用潜在的而不是位置/属性级别的流行病学动态来捕获常见的流行病学特征子类型，并改善协作学习和预测。我们使用县级和州级COVID-19数据进行实验，并表明我们的模型可以识别流行病的有趣潜在模式。最后，我们评估了我们的方法的预测能力，与基线相比表现出优越的性能，县级预测的均方根误差降低了21%，平均绝对误差降低了25%。
2021-03-17 cs.LG q-bio.PE
Understanding Urban Dynamics via Context-aware Tensor Factorization with Neighboring Regularization
Beihang University（北京航空航天大学）；Microsoft Research Asia（微软亚洲研究院）
近年来，世界范围内出现了人口众多的大都市。因此，了解居民的流动模式或城市动态对于建设现代智慧城市至关重要。在本文中，我们提出了一个邻居正则化和上下文感知的非负张量因子分解模型（NR-cNTF），以发现可解释的城市动态从城市异构数据。与现有的许多通过张量完成预测任务的研究不同，NR-cNTF专注于从空间，时间和时空模式中获得城市管理见解。这是通过基于POI的城市背景和地理相邻关系正则化的高质量塔克因子分解实现的。NR-cNTF还能够通过管道初始化方法揭示城市动态的长期演变。我们将NR-cNTF应用于包含北京丰富的出租车GPS轨迹和POI记录的真实数据集。结果表明：1）NR-cNTF准确捕捉到了四种城市节奏和十七个空间群落; 2）以CBD为代表的北京市的快速发展确实加剧了职住不平衡; 3）近期政府投资的南部地区表现出更健康的发展趋势。最后，NR-cNTF与一些基线的交通预测进行了比较，这进一步证明了城市环境意识和邻近法规的重要性。
2019-05-10 cs.LG stat.ML
Wasserstein Nonnegative Tensor Factorization with Manifold Regularization
Northwestern Polytechnical University（西北工业大学）
针对非负张量分解忽略特征边信息的问题，提出Wasserstein流形非负张量分解（WMNTF），通过最小化Wasserstein距离并引入图正则化项，有效利用特征相关性和样本流形信息，实验证明其优于现有NMF和NTF方法。
2024-01-03 cs.LG
Stability of Low-Rank Implicit Regularization in Perturbed Deep Matrix Factorization
Department of Informatics and Networked Systems, University of Pittsburgh（信息学与网络系统系，匹兹堡大学）；Department of Mathematics, University of Pittsburgh（数学系，匹兹堡大学）
本文研究扰动深度矩阵分解中低秩隐式正则化的稳定性，通过推导谱条件分析无噪声情况下的低秩阶段，并证明扰动下梯度下降的收敛性与低秩阶段的保持性。
2026-07-23 cs.LG math.OC stat.ML
Context-aware recommendations from implicit data via scalable tensor factorization
尽管基于隐式反馈的推荐问题-当只有用户历史可用但没有评级时-是现实世界应用中最典型的设置，但它比显式反馈情况少得多。在显式情况下有效的最先进的算法不能自动转换到隐式情况下，如果应保持可伸缩性。很少有隐式反馈基准数据集，因此新的想法通常在显式基准上进行实验。在本文中，我们提出了一种通用的上下文感知隐式反馈推荐算法，称为iTALS。iTALS应用了一种快速的、基于ALS的张量因式分解学习方法，该方法与张量中非零元素的数量呈线性关系。我们还提出了两个近似的和更快的变体iTALS使用坐标下降和共轭梯度方法在学习。该方法还允许我们将各种上下文信息纳入模型，同时保持其计算效率。我们提出了两个上下文感知的iTALS的变体，将季节性和项目购买顺序性的模型，以区分用户行为在不同的时间间隔，和产品类型具有不同的重复性。在六个数据集上运行的实验表明，iTALS明显优于上下文感知模型和上下文感知基线，而在召回率和MAP方面，它与因子分解机器（12种情况中有7种）不相上下。
2013-09-29 cs.IR cs.LG
Scalable Recommendation with Poisson Factorization
Princeton University（普林斯顿大学）；Microsoft Research（微软研究院）
我们开发了一个贝叶斯泊松矩阵分解模型，用于从稀疏的用户行为数据中形成推荐。这些数据是大的用户/项目矩阵，其中每个用户仅对项目的小子集提供反馈，或者显式地（例如，通过星级）或隐含地（例如，通过浏览或购买）。与传统的矩阵分解方法不同，泊松分解隐式地对每个用户对消费项目的有限注意力进行建模。此外，由于泊松似然的数学形式，该模型只需要显式地考虑矩阵中观察到的条目，从而实现可扩展的计算和良好的预测性能。我们开发了一个变分推理算法的近似后验推理，规模庞大的数据集。这是一种有效的算法，它迭代观察到的条目并调整用户/项目表示的近似后验。我们将我们的方法应用于大型真实世界的用户数据，其中包含用户对电影的评分，用户听歌和用户阅读科学论文。在所有这些设置中，贝叶斯泊松分解优于最先进的矩阵分解方法。
2014-05-20 cs.AI cs.IR cs.LG
AgFlow: Fast Model Selection of Penalized PCA via Implicit Regularization Effects of Gradient Flow
Big Data Lab, Baidu Research（百度研究院大数据实验室）；School of Artificial Intelligence and Automation Huazhong University of Science and Technology（华中科技大学人工智能与自动化学院）
主成分分析（PCA）作为一种有效的特征提取和降维技术得到了广泛的应用。在高维低样本量（HDLSS）设置中，人们可能更喜欢修改的主成分，带有惩罚载荷，并通过在这些不同模型中使用不同的惩罚来实现模型选择，从而实现自动惩罚选择。早期的工作[1，2]提出了惩罚主成分分析，指出了$L_2$ -惩罚主成分分析通过岭回归的求解路径进行模型选择的可行性，但由于矩阵求逆的计算量大，非常耗时。在本文中，我们提出了一种快速的惩罚PCA模型选择方法，称为近似梯度流（AgFlow），它通过引入（随机）梯度流[3，4]引入的隐式正则化效应来降低计算复杂度，并在不同的$L_2$ -正则化下获得$L_2$ -惩罚PCA的完整解路径。我们在真实世界的数据集上进行了大量的实验。AgFlow在计算成本方面优于现有方法（Oja [5]，Power [6]和Shamir [7]以及vanilla Ridge估计器）。
2021-10-07 cs.LG stat.ML
Cross-Domain Latent Factors Sharing via Implicit Matrix Factorization
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）；AIRI；Sber AI Lab（Sber AI实验室）
针对推荐系统数据稀疏及现有跨域模型扩展性差的问题，提出CDIMF模型，通过乘子交替方向法在隐式矩阵分解中学习重叠用户的共享潜在因子，在双域冷启动和热启动实验中表现优异。
2024-09-23 cs.IR cs.LG
Rethinking Symmetric Matrix Factorization: A More General and Better Clustering Perspective
Clemson University（克莱姆森大学）
针对现有对称非负矩阵分解算法约束单一、缺乏有效正则项的问题，本文提出带正则项的无强制非负约束的高效对称矩阵分解算法，并构建可适配因子矩阵不同约束的通用框架，提升聚类性能。
2023-11-03 cs.AI cs.LG
Fast ALS-based tensor factorization for context-aware recommendation from implicit feedback
Budapest University of Technology and Economics（布达佩斯技术与经济大学）
提出iTALS算法，利用基于ALS的张量分解方法线性扩展至非零元素，整合上下文信息（如季节性和序列模式），在隐式反馈数据集上显著提升推荐质量。
2013-04-04 cs.IR cs.LG cs.NA
Rethinking Non-Negative Matrix Factorization with Implicit Neural Representations
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Apple（苹果公司）
本文提出将非负矩阵分解重新表述为可学习函数，使其能够处理不规则采样的时频表示，从而扩展NMF到更广泛的信号类别。
2025-07-09 cs.LG cs.SD eess.AS
Implicit Regularization for Optimal Sparse Recovery
University of Oxford（牛津大学）
我们研究隐式正则化方案的梯度下降法适用于无惩罚的最小二乘回归，以解决问题的重建稀疏信号的欠定系统的线性测量下的限制等距假设。对于一个给定的参数化产生一个非凸优化问题，我们表明，规定的初始化，步长和停止时间的选择产生一个统计和计算上的最优算法，实现了极大极小率与相同的成本所需的读取数据的多对数因子。除了极大极小最优性，我们表明，我们的算法适应实例的难度，并产生一个维度独立的率时，信噪比是足够高的。我们的方法的计算效率的关键是一个不断增加的步长计划，适应真正的解决方案的精确估计。我们验证了我们的研究结果与数值实验，并比较我们的算法对明确的$\ell_{1}$处罚。从困难的实例到简单的，我们的算法被认为是经历了一个相变，最终匹配最小二乘与真正的支持的预言知识。
2019-09-11 cs.LG eess.SP stat.ML
Implicit Regularization in Nonconvex Statistical Estimation: Gradient Descent Converges Linearly for Phase Retrieval, Matrix Completion, and Blind Deconvolution
Princeton University（普林斯顿大学）；Carnegie Mellon University（卡内基梅隆大学）
近年来，在设计可证明有效的非凸程序来解决统计估计问题方面出现了一系列的活动。由于经验损失的高度非凸性质，最先进的程序通常需要适当的正则化（例如修剪，正则化成本，投影），以保证快速收敛。然而，对于诸如梯度下降之类的常规过程，先验理论要么推荐高度保守的学习率以避免过冲，要么完全缺乏性能保证。本文揭示了非凸优化中一个引人注目的现象：即使在没有显式正则化的情况下，梯度下降也会在各种统计模型下隐式地执行适当的正则化。事实上，梯度下降遵循的轨迹停留在具有良好几何形状的盆地内，由与采样机制不一致的点组成。这种“隐式正则化”特性允许梯度下降以更积极的方式进行，而不会过冲，这反过来又导致大量的计算节省。聚焦于三个基本的统计估计问题，即相位恢复，低秩矩阵完成，和盲反卷积，我们建立了梯度下降实现接近最优的统计和计算保证，而无需显式正则化。特别是，通过将统计建模与通用优化理论相结合，我们开发了一个通用的配方，通过留一法扰动参数分析迭代算法的轨迹。作为一个副产品，嘈杂的矩阵完成，我们证明，梯度下降实现了接近最优的误差控制-测量entrywise和频谱范数-这可能是独立的利益。
2019-07-30 cs.IT cs.LG math.IT
Multi-Label Network Classification via Weighted Personalized Factorizations
University of Hildesheim（希尔德斯海姆大学）
多标签网络分类是一个众所周知的任务，被用于各种各样的基于Web和非基于Web的域。它可以被形式化为一个多关系学习任务，用于根据网络中的关系预测节点标签。在稀疏网络中，当只有隐式反馈信息可用时，例如在预测社交网络中的用户兴趣时，该预测任务可能非常具有挑战性。目前的方法依赖于通过利用网络结构来学习每个节点的潜在表示，然而，隐式反馈关系是自然稀疏的，并且仅包含正的观察到的反馈，这意味着这些方法将把所有观察到的关系视为同等重要。这在现实世界的场景中不一定是这种情况，因为隐式关系可能具有反映这些关系的强度的语义权重。如果这些权重可以近似，则可以训练模型以区分强关系和弱关系。提出了一种基于贝叶斯个性化排序损失的加权个性化两阶段多关系矩阵分解网络分类模型，该模型利用基本传递节点相似度函数对隐式反馈关系进行加权.实验表明，该模型显着优于国家的最先进的模型在三个不同的现实世界的基于Web的数据集和基于生物学的数据集。
2019-02-25 cs.IR cs.LG cs.SI
Coupled Item-based Matrix Factorization
Advanced Analytics Institute（高级分析研究所）；University of Technology, Sydney（悉尼科技大学）
推荐系统（RS）面临的冷启动和稀疏性挑战的本质在于，现有的协同过滤（CF）和矩阵分解（MF）等技术主要依赖于用户-项目评分矩阵，而该矩阵有时不能提供足够的信息来预测推荐。为了解决这些问题，客观的项目属性被纳入作为补充信息。然而，大多数现有的推断项目之间关系的方法都假设属性是“独立同分布的（iid）”，这在现实中并不总是成立的。事实上，这些属性或多或少通过一些隐式关系相互耦合。因此，在这篇文章中，我们提出了一个基于属性的耦合相似性度量来捕捉项目之间的隐含关系。然后，我们将隐含的项目耦合到MF形成耦合的基于项目的矩阵分解（CIMF）模型。在两个开放数据集上的实验结果表明，CIMF优于基准方法。
2014-04-08 cs.IR cs.LG
Separable Nonnegative Matrix Factorization Using Powered Ratio-of-Norms Regularization
University of Kentucky（肯塔基大学）
该研究提出基于幂次范数比正则化的SNMF模型，结合DCA与ADMM算法求解，在锚点识别和分类任务上性能优于或媲美现有方法，计算效率具竞争力。
2026-09-01 cs.LG cs.NA math.NA
Gradient Descent for Deep Matrix Factorization: Dynamics and Implicit Bias towards Low Rank
LMU Munich（慕尼黑大学）；RWTH Aachen University（亚琛工业大学）
该研究在深度矩阵分解的简化线性网络设定下，严格分析普通梯度下降的动力学与谱收敛特性，定位迭代有效秩接近低秩真值的区间以用于早停，并实证验证隐式偏向现象，提出有效秩单调递增轨迹的核心概念。
2023-08-21 cs.LG math.OC
Neural Network Regularization via Robust Weight Factorization
University of Guelph（圭尔夫大学）
在训练大型神经网络时，正则化是必不可少的。由于深度神经网络可以在数学上解释为通用函数逼近器，因此它们在记忆训练数据中的采样噪声方面是有效的。这导致对不可见数据的泛化能力较差。因此，毫不奇怪，一种新的正则化技术Dropout是多伦多大学ImageNet 2012年获奖作品的部分原因。目前，Dropout（以及相关方法，如DropConnect）是正则化大型神经网络的最有效方法。这相当于在训练时有效地访问大量相关模型，同时在测试时将它们聚合为单个预测器。所提出的FaMe模型旨在应用类似的策略，但学习每个权重矩阵的因子分解，使得因子对噪声具有鲁棒性。
2015-01-05 cs.LG cs.NE stat.ML
Combining Explicit and Implicit Regularization for Efficient Learning in Deep Networks
New York University（纽约大学）
本文提出一种仅在 Adam 等自适应优化器下生效的显式低秩惩罚，以模拟深度带来的隐式正则化，使简单单层网络达到深度线性网络的泛化性能。
2023-06-01 cs.AI cs.LG cs.NE
Implicit Regularization in ReLU Networks with the Square Loss
Weizmann Institute of Science（魏茨曼科学研究所）
理解梯度下降的隐式正则化（或隐式偏差）是最近一个非常活跃的研究领域。然而，非线性神经网络中的隐式正则化仍然知之甚少，特别是对于回归损失，如平方损失。也许令人惊讶的是，我们证明了即使对于单个ReLU神经元，也不可能通过模型参数的任何显式函数来表征具有平方损失的隐式正则化（尽管从积极的方面来看，我们可以近似地表征它）。对于一个隐藏层网络，我们证明了一个类似的结果，一般来说，不可能以这种方式表征隐式正则化属性，除了Du et al. [2018]中确定的“平衡性”属性。我们的研究结果表明，可能需要一个更一般的框架比迄今为止考虑的理解隐式正则化的非线性预测，并提供了一些线索，这个框架应该是什么。
2021-06-08 cs.LG stat.ML
Variational Deep Learning via Implicit Regularization
本文提出通过梯度下降的隐式偏见正则化变分神经网络，理论分析了过参数化线性模型中的归纳偏置，并实验证明其在分布内和分布外任务中的有效性。
2026-03-13 cs.AI cs.LG stat.ML
Estimating Implicit Regularization in Deep Learning
University of Pennsylvania（宾夕法尼亚大学）
本文提出通过梯度匹配方法估计深度学习中的隐式正则化，验证了其在处理复杂网络时的有效性，并展示了在Dropout等方法中的应用。
2026-11-05 cs.LG stat.ML
Implicit Gradient Regularization
DeepMind（深度思维）；Google（谷歌）
梯度下降在优化深度神经网络方面可以非常出色，而不会过度拟合，也不会显式正则化。我们发现梯度下降的离散步骤通过惩罚具有大损失梯度的梯度下降轨迹来隐式地正则化模型。我们称之为隐式梯度正则化（IGR），我们使用向后误差分析来计算这个正则化的大小。我们证实经验，隐式梯度正则化偏向梯度下降平坦的最小值，测试误差小，解决方案是强大的噪声参数扰动。此外，我们证明了隐式梯度正则化项可以用作显式正则化，使我们能够直接控制这个梯度正则化。更广泛地说，我们的工作表明，向后误差分析是一个有用的理论方法，学习率，模型大小和参数正则化如何相互作用，以确定使用梯度下降优化的过参数化模型的属性。
2022-07-18 cs.LG stat.ML
Ensemble Kernel Methods, Implicit Regularization and Determinantal Point Processes
KU Leuven（荷语鲁汶大学）
利用行列式点过程（DPPs）的框架，可以得到关于多样性和正则化之间相互作用的一些理论结果。在本文中，我们表明，采样子集与kDPPs的结果在隐式正则化的上下文中的无脊核回归。此外，我们利用最先进的DPP算法的常见设置来采样多个小子集，并将它们用于无脊回归的集合中。我们的第一个实证结果表明，集成的无脊回归可能是有趣的，用于数据集，包括冗余信息。
2020-07-07 cs.LG stat.ML
Implicit Rugosity Regularization via Data Augmentation
Rice University（莱斯大学）
深度（神经）网络已经在广泛的监督和无监督学习任务中得到了有效的应用。与经典的机器学习算法不同，深度网络通常在\emph{overparameterized}机制中运行，其中参数的数量大于训练数据点的数量。因此，理解这些网络的泛化性质和正则化（显式或隐式）的作用是非常重要的。在这项工作中，我们探讨了如何经常使用的启发式\emph{data augmentation}施加一个新的措施的\emph{rugosity}或“粗糙度”的基础上的正切海森函数适合训练数据的{ \em隐式正则化}罚款。
2019-10-10 cs.LG stat.ML
Implicit Regularization for Group Sparsity
Texas A&M University（德克萨斯农工大学）；New York University（纽约大学）
我们研究了隐式正则化梯度下降结构稀疏通过一种新的神经重新参数化，我们称之为对角分组线性神经网络。我们展示了我们的重新参数化的以下有趣的性质：在平方回归损失上的梯度下降，没有任何明确的正则化，偏向于具有组稀疏结构的解决方案。与许多现有的理解隐式正则化的工作相比，我们证明了我们的训练轨迹不能通过镜像下降来模拟。我们分析了相应的回归问题在一般噪声设置的梯度动力学，并获得最小最优错误率。与使用对角线性网络的隐式稀疏正则化的现有界限相比，我们的分析与新的重新参数化显示出改进的样本复杂度。在退化的情况下，大小一组，我们的方法产生了一个新的算法稀疏线性回归。最后，我们证明了我们的方法的有效性与几个数值实验。
2023-01-29 cs.LG stat.ML
Implicit regularization for deep neural networks driven by an Ornstein-Uhlenbeck like process
Stanford University（斯坦福大学）；Purdue University（普渡大学）；Institute for Advanced Study（高等研究院）
我们考虑通过随机梯度下降训练的网络，以最小化$\ell_2$损失，训练标签在每次迭代时受到独立噪声的干扰。我们描述了在任何参数向量附近实现零训练误差的训练动态的行为，根据对应于数据点上的总和的隐式正则化项，模型相对于参数向量的梯度的平方$\ell_2$范数，在每个数据点处评估。这适用于任何连通性、宽度、深度和激活函数选择的网络。我们将这个隐式正则化项解释为三个简单的设置：矩阵感测，在一维数据上训练的双层ReLU网络，以及在单个数据点上训练的具有sigmoid激活的双层网络。对于这些设置，我们展示了为什么这种新的和一般的隐式正则化效应将网络推向“简单”模型。
2020-07-22 cs.LG stat.ML
Implicit Regularization via Neural Feature Alignment
Mila, Université de Montréal（蒙特利尔大学米拉研究所）；Microsoft Research（微软研究院）；Canada CIFAR AI chair（加拿大高级研究所加拿大人工智能主席项目）
我们从几何的角度来处理深度学习中的隐式正则化问题。我们强调了由Jacot等人引入的神经切线特征的动态对齐引起的正则化效应，沿着少数任务相关的方向。这可以解释为特征选择和压缩的组合机制。通过外推一个新的分析Rademacher复杂性界限的线性模型，我们激励和研究的启发式复杂性措施，捕捉这种现象，在序列的切线内核类沿优化路径。
2021-03-17 cs.LG stat.ML
Implicit Regularization in Over-parameterized Neural Networks
Graduate School of Informatics, Kyoto University（京都大学信息学研究生院）；School of Informatics and Mathematical Science, Faculty of Engineering, Kyoto University（京都大学工学部信息与数学科学学院）
过参数化神经网络在实践中推广得很好，无需任何显式正则化。尽管尚未得到证实，但经验证据表明，隐式正则化在深度学习中起着至关重要的作用，可以防止网络过度拟合。在这项工作中，我们引入梯度间隙偏差和梯度偏转作为对应于网络曲率和Hessian矩阵的统计度量，以分析网络导数相对于输入参数的变化，并从理论和经验角度研究ReLU神经网络中隐式正则化的工作原理。我们的研究结果表明，每对输入样本之间的网络输出是适当的控制随机初始化和随机梯度下降，以保持几乎直的样本之间的插值，这导致过参数化神经网络的复杂性低。
2019-03-05 cs.LG stat.ML
