Unsupervised Selective Manifold Regularized Matrix Factorization
George Mason University（乔治梅森大学）
用于矩阵分解的流形正则化方法依赖于聚类假设，由此在分解空间中保留输入空间中数据的邻域结构。我们认为，使用所有数据点的k邻域作为正则化约束可能会对因子分解的质量产生负面影响，并提出了一种无监督的选择性正则矩阵因子分解算法来解决这个问题。我们的方法联合学习稀疏的代表集及其邻居的亲和力，以及数据分解。我们进一步提出了一个快速近似我们的方法，放松对数据的选择性约束。我们提出的算法是有竞争力的基线和国家的最先进的流形正则化和聚类算法。
2020-10-20 cs.LG
Discriminatively Constrained Semi-supervised Multi-view Nonnegative Matrix Factorization with Graph Regularization
siat.ac.cn（siat.ac.cn（注：此处原文仅提供了邮箱，未明确完整机构名，根据要求不提取））
近年来，半监督多视图非负矩阵分解（MVNMF）算法在多视图聚类中取得了很好的性能。然而，大多数半监督MVNMF都未能有效地考虑聚类之间的区分信息和多个视图的特征对齐。本文提出了一种新的判别约束半监督多视图非负矩阵分解算法（DCS^2MVNMF）。具体地说，每个视图的辅助矩阵，这增强了类间的区别引入一个判别加权矩阵。同时，利用标号和几何信息构造了一种新的图正则化方法。此外，我们设计了一种新的特征尺度归一化策略来对齐多个视图，并完成了相应的迭代优化方案。在多个真实世界的多视点数据集上进行的实验证明了该方法的有效性。
2020-10-26 cs.LG
Implicit Regularization with Polynomial Growth in Deep Tensor Factorization
National Engineering School of Tunis, University of Tunis El Manar（突尼斯埃尔马纳尔大学突尼斯国立工程学院）；Aix Marseille University（艾克斯-马赛大学）；CNRS（法国国家科学研究中心）；Ecole Centrale de Marseille（马赛中央理工学院）
我们研究了张量因式分解中深度学习的隐式正则化效应。虽然通过线性和某些类型的非线性神经网络的深层矩阵和“浅层”张量因式分解的隐式正则化促进了最多二次增长的低秩解，但我们表明，其在深层张量因式分解中的效果随着网络的深度呈多项式增长。这为观察到的实验行为提供了非常忠实的描述。使用数值实验，我们证明了这种隐式正则化的好处，在产生一个更准确的估计和更好的收敛性能。
2022-07-25 cs.AI cs.LG cs.NE
Fast and Accurate Power Load Data Completion via Regularization-optimized Low-Rank Factorization
Chongqing Aerospace Polytechnic（重庆航天职业技术学院）；Dongfang Electronics Co.,Ltd（东方电子股份有限公司）；China Mobile Cloud Capability Center（中国移动云能力中心）；Southwest University（西南大学）
针对电力负荷数据缺失问题，提出基于PID控制器自适应调整正则化系数的低秩分解方法，在保持随机梯度下降效率的同时提升插补精度与训练效率。
2025-06-22 cs.LG
Implicit Regularization in Deep Matrix Factorization
Princeton University（普林斯顿大学）；Institute for Advanced Study（高等研究院）；Tel Aviv University（特拉维夫大学）
对深度学习中泛化之谜的理解使人们相信，基于梯度的优化引入了一种隐式正则化形式，即偏向于低“复杂度”的模型。“我们研究了深度线性神经网络上的梯度下降的隐式正则化，用于矩阵完成和检测，这是一个被称为深度矩阵分解的模型。我们的第一个发现，理论和实验的支持，是增加深度的矩阵分解增强了对低秩的解决方案的隐含趋势，往往导致更准确的恢复。其次，我们提出了理论和经验的论点质疑一个新生的观点，隐式正则化矩阵分解可以捕获使用简单的数学规范。我们的研究结果表明，标准正则化的语言可能不够丰富，无法完全包含基于梯度的优化所带来的隐式正则化。
2019-10-26 cs.AI cs.LG cs.NE
Implicit Regularization in Hierarchical Tensor Factorization and Deep Convolutional Neural Networks
Tel Aviv University（特拉维夫大学）
为了解释深度学习中的隐式正则化，重点关注了矩阵和张量分解，它们对应于简化的神经网络。结果表明，这些模型表现出一个隐含的倾向，低矩阵和张量秩，分别。为了更接近实际的深度学习，本文从理论上分析了分层张量分解中的隐式正则化，这是一种等效于某些深度卷积神经网络的模型。通过动力系统的镜头，我们克服了与层次结构相关的挑战，并建立了隐式正则化低层次张量秩。这转化为对相关卷积网络局部性的隐式正则化。受我们理论的启发，我们设计了显式正则化来抑制局部性，并证明了它能够提高现代卷积网络在非局部任务上的性能，这与需要改变架构的传统智慧背道而驰。我们的工作突出了通过对神经网络的隐式正则化进行理论分析来增强神经网络的潜力。
2022-09-18 cs.AI cs.LG cs.NE
Connectivity Shapes Implicit Regularization in Matrix Factorization Models for Matrix Completion
Shanghai Jiao Tong University（上海交通大学）
本文研究矩阵补全中矩阵分解的隐式正则化，发现观测数据连通性决定模型从低核范数偏向低秩的转变，并通过层次不变流形遍历过程从理论上刻画训练轨迹，建立了保证最小核范数和最小秩的条件。
2025-04-14 cs.LG
Implicit Regularization in Tensor Factorization
Tel Aviv University（特拉维夫大学）
最近在深度学习中解开隐式正则化之谜的努力导致了对矩阵分解的理论关注-通过线性神经网络完成矩阵。作为迈向实际深度学习的一步，我们提供了张量因式分解中隐式正则化的第一个理论分析-通过某种类型的非线性神经网络实现张量完备化。我们规避了臭名昭著的困难张量问题，通过采用动力系统的角度来看，和表征的演变引起的梯度下降。的表征表明，贪婪的低张量秩搜索的形式，我们严格证明在某些条件下，和经验证明在其他情况下。受张量秩捕获非线性神经网络的隐式正则化的启发，我们将其作为复杂性的度量进行了经验探索，并发现它捕获了神经网络概括的数据集的本质。这让我们相信，张量秩可以为解释深度学习中的隐式正则化以及将这种隐式正则化转化为泛化的真实数据的属性铺平道路。
2021-06-09 cs.AI cs.LG cs.NE
Surrogate Modeling via Factorization Machine and Ising Model with Enhanced Higher-Order Interaction Learning
Future Science and Technology Research Lab（未来科技研究实验室）；China Mobile (Suzhou) Software Technology Company Limited（中国移动（苏州）软件技术有限公司）；Graduate School of China Academy of Engineering Physics（中国工程物理研究院研究生部）；National Laboratory of Solid State Microstructures（固态微结构国家实验室）；School of Physics, Nanjing University（南京大学物理学院）；BrightGene Bio-Medical Technology Co., Ltd（BrightGene生物医学技术有限公司）
本文提出了一种结合因子机和异或模型的增强替代模型，通过引入松弛变量提升高阶特征交互能力，用于预测药物组合效应，实验表明性能显著提升。
2026-01-19 cs.LG quant-ph
Persistent Nonnegative Matrix Factorization via Multi-Scale Graph Regularization
School of Mathematics and Statistics, Xi’an Jiaotong University（数学与统计学学院，西安交通大学）
本文提出持久非负矩阵分解方法，通过多尺度图正则化生成多尺度低秩嵌入，解决传统NMF单尺度问题，提升数据表示的解释性与鲁棒性。
2026-02-26 cs.LG
A Dynamics Theory of Implicit Regularization in Deep Low-Rank Matrix Factorization
Xiamen University（厦门大学）；Xiamen University of Technology（厦门理工学院）
本文提出用景观分析研究深度矩阵分解中的隐式正则化，证明秩R矩阵重构需经历R个鞍点逃逸阶段后收敛到二阶临界点，并通过低秩重构实验验证该理论。
2023-08-11 cs.LG
Supervised low-rank semi-nonnegative matrix factorization with frequency regularization for forecasting spatio-temporal data
POSTECH（浦项科技大学）；University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
本研究提出带频域软/硬正则化的监督半非负矩阵分解方法用于时空数据预测，可提升时间模式清晰度与频域可解释性，在GRACE数据上效果与现有研究相当且解释性更强。
2024-06-19 cs.LG stat.ML
The Inductive Bias of Flatness Regularization for Deep Matrix Factorization
MIT（麻省理工学院）；Stanford University（斯坦福大学）；Google（谷歌）
本研究证明在深度矩阵分解中，满足RIP条件下最小化Hessian迹近似等价于最小化端到端矩阵的Schatten 1-范数，从而解释了平坦性正则化提升泛化的原因。
2023-06-22 cs.LG
Neural Network Regularization via Robust Weight Factorization
University of Guelph（圭尔夫大学）
在训练大型神经网络时，正则化是必不可少的。由于深度神经网络可以在数学上解释为通用函数逼近器，因此它们在记忆训练数据中的采样噪声方面是有效的。这导致对不可见数据的泛化能力较差。因此，毫不奇怪，一种新的正则化技术Dropout是多伦多大学ImageNet 2012年获奖作品的部分原因。目前，Dropout（以及相关方法，如DropConnect）是正则化大型神经网络的最有效方法。这相当于在训练时有效地访问大量相关模型，同时在测试时将它们聚合为单个预测器。所提出的FaMe模型旨在应用类似的策略，但学习每个权重矩阵的因子分解，使得因子对噪声具有鲁棒性。
2015-01-05 cs.LG cs.NE stat.ML
Wasserstein Nonnegative Tensor Factorization with Manifold Regularization
Northwestern Polytechnical University（西北工业大学）
针对非负张量分解忽略特征边信息的问题，提出Wasserstein流形非负张量分解（WMNTF），通过最小化Wasserstein距离并引入图正则化项，有效利用特征相关性和样本流形信息，实验证明其优于现有NMF和NTF方法。
2024-01-03 cs.LG
Implicit Regularization in Deep Tensor Factorization
Aix Marseille Univ（艾克斯-马赛大学）；Université de Toulon（土伦大学）；CNRS（法国国家科学研究中心）；LIS（信息与系统实验室）；Ecole Centrale de Marseille（马赛中央理工学院）
研究与梯度下降（GD）相关的隐式正则化的尝试已经将矩阵补全确定为合适的测试平台。最近的研究结果表明，这种现象不能被措辞为一个最小化规范的问题，这意味着一个范式的转变是必要的，必须考虑到动态。在目前的工作中，我们利用两个推广的张量因式分解，即Tucker和TensorTrain（TT），解决了更一般的张量完成设置。我们跟踪相关的量，如张量核范数，有效秩，广义奇异值，我们引入深度塔克和TT无约束因式分解来处理完成任务。在模拟数据和真实数据上的实验表明，梯度下降算法能够提高低秩解的质量，并验证了必须从动力学角度来解决这一问题的猜想.
2021-05-04 cs.AI cs.LG stat.ML
STELAR: Spatio-temporal Tensor Factorization with Latent Epidemiological Regularization
University of Minnesota（明尼苏达大学）；IQVIA（艾昆纬）；University of Virginia（弗吉尼亚大学）；Temple University（天普大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
准确预测COVID-19等流行病的传播对实施有效的缓解措施至关重要。在这项工作中，我们开发了一个张量方法来预测多个地区同时流行趋势的演变。我们构造了一个3向时空张量（位置，属性，时间）的情况下计数，并提出了一个非负张量分解与潜在的流行病学模型正则化命名为STELAR。与标准的张量分解方法，不能预测板坯提前，STELAR使长期预测，通过一个系统的离散时间差分方程的广泛采用的流行病学模型，将潜在的时间正则化。我们使用潜在的而不是位置/属性级别的流行病学动态来捕获常见的流行病学特征子类型，并改善协作学习和预测。我们使用县级和州级COVID-19数据进行实验，并表明我们的模型可以识别流行病的有趣潜在模式。最后，我们评估了我们的方法的预测能力，与基线相比表现出优越的性能，县级预测的均方根误差降低了21%，平均绝对误差降低了25%。
2021-03-17 cs.LG q-bio.PE
Implicit Regularization for Tubal Tensor Factorizations via Gradient Descent
Northeastern University（东北大学）；Michigan State University（密歇根州立大学）；Technical University of Munich（慕尼黑工业大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）
本文首次在梯度下降（而非梯度流）下严格证明了管状张量分解的隐式正则化，表明小随机初始化会使超参数化模型偏向低管状秩解，并通过数值模拟验证了理论动态与初始化的重要性。
2024-10-21 cs.LG math.OC math.ST
Ising-Dropout: A Regularization Method for Training and Compression of Deep Neural Networks
University of Toronto（多伦多大学）
过拟合是训练机器学习模型的主要问题，特别是深度神经网络。这个问题可能是由不平衡的数据集和模型参数的初始化引起的，这使模型过于接近训练数据，并且负面地影响模型对于看不见的数据的泛化性能。最初的dropout是一种正则化技术，用于在训练过程中随机丢弃隐藏单元。在本文中，我们提出了一种自适应技术，明智地删除在一个深神经网络的伊辛能量的网络中的可见和隐藏的单元。初步结果表明，该方法在保持原有网络分类性能的同时，避免了在每个训练周期中对不必要的网络参数进行优化。单元的退出状态也可以应用于训练的（推理）模型。对于MNIST和Fashion-MNIST数据集上的分类任务，该技术可以分别将网络的参数数量压缩到41.18%和55.86%。
2019-02-07 cs.LG cs.NE
Likelihood-guided Regularization in Attention Based Models
Department of Statistics, Virginia Polytechnic Institute and State University（统计学系，弗吉尼亚理工大学和州立大学）；Department of Statistics, Virginia Tech.（统计学系，弗吉尼亚理工大学）
针对ViT依赖大规模数据、易过拟合的问题，提出似然引导的变分伊辛正则化框架，实现自适应结构化稀疏与动态剪枝，在多个视觉基准上验证了其泛化性、不确定性量化与校准性能优势。
2025-11-17 cs.LG stat.ML
Factorization Machines with Regularization for Sparse Feature Interactions
Hokkaido University（北海道大学）
因式分解机（FM）是基于二阶特征交互的机器学习预测模型，具有稀疏正则化的FM被称为稀疏FM。这样的正则化使得能够进行特征选择，其选择最相关的特征以进行准确的预测，因此它们可以有助于提高模型的准确性和可解释性。然而，由于FM使用二阶特征交互，特征的选择通常会导致结果模型中许多相关特征交互的丢失。在这种情况下，具有专门为尝试实现交互级稀疏性的特征交互选择而设计的正则化的FM可能是优选的，而不是仅用于尝试实现特征级稀疏性的特征选择的FM。在本文中，我们提出了一个新的正则化计划的功能模块中的功能交互选择。所提出的正则化算子是特征交互矩阵的$\ell_1$正则化算子的上界，该特征交互矩阵是从FM的参数矩阵计算的。对于特征交互选择，我们提出的正则化器使特征交互矩阵稀疏，而不限制现有方法所施加的稀疏模式。我们还描述了有效的邻近算法，建议FM和现有的理论分析和新的正则化。此外，我们将讨论如何将我们的想法应用或扩展到更准确的特征选择和其他相关模型，如高阶FM和全子集模型。在人工数据集和真实数据集上的分析和实验结果表明了所提方法的有效性。
2021-04-01 cs.LG stat.ML
Function Smoothing Regularization for Precision Factorization Machine Annealing in Continuous Variable Optimization Problems
National Institute of Advanced Industrial Science and Technology (AIST)（日本国立先进工业科学技术研究院（AIST））
本文针对FMQA在连续变量优化中因FM哈密顿量曲面噪声导致性能受限的问题，识别噪声来源并提出一种简单通用的函数平滑正则化方法，验证了其泛化性能与解决实际问题的能力。
2024-07-05 cs.LG quant-ph
Implicit Regularization in Deep Learning May Not Be Explainable by Norms
Tel Aviv University（特拉维夫大学）
在数学上表征由基于梯度的优化引起的隐式正则化是深度学习理论中的长期追求。人们普遍希望基于范数最小化的特征可以应用，研究这种前景的标准测试平台是矩阵分解（通过线性神经网络完成矩阵）。范数能否解释矩阵分解中的隐正则化是一个悬而未决的问题。当前的论文通过证明存在自然矩阵因式分解问题，隐式正则化将所有范数（和准范数）推向无穷大，从反面解决了这个悬而未决的问题。我们的研究结果表明，而不是感知通过规范的隐式正则化，一个潜在的更有用的解释是最小化的秩。我们经验性地证明了这种解释可以扩展到某一类非线性神经网络，并假设它可能是解释深度学习中泛化的关键。
2020-10-17 cs.LG cs.NE stat.ML
Reexamining Low Rank Matrix Factorization for Trace Norm Regularization
University College London（伦敦大学学院）；Computational Statistics and Machine Learning - Istituto Italiano di Tecnologia（意大利技术研究院计算统计与机器学习）
迹范数正则化是一种广泛使用的学习低秩矩阵的方法。一个标准的优化策略是基于制定的问题，作为一个低秩矩阵分解，然而，导致一个非凸问题。在实践中，这种方法工作得很好，它通常比标准的凸解算器（如近似梯度方法）计算速度更快。然而，它不能保证收敛到全局最优值，并且优化可能被困在差的稳定点。在本文中，我们表明，它是可能的所有临界点的非凸问题的特征。这使我们能够提供一个有效的标准，以确定是否临界点也是一个全球性的极小。我们的分析表明，一个迭代的元算法，动态扩展的参数空间，并允许优化逃避任何非全局临界点，从而收敛到一个全局极小。该算法可以应用于矩阵完成或多任务学习等问题，我们的分析适用于任何随机初始化的因素矩阵。最后，我们证实了该算法在合成和真实数据集上的良好性能。
2017-07-31 cs.LG stat.ML
Robust Nonnegative Matrix Factorization via $L_1$ Norm Regularization
非负矩阵分解（Nonnegative Matrix Factorization，NMF）是一种在人脸识别、运动分割等应用中广泛使用的技术。它利用两个非负矩阵的乘积，将高维空间中的非负数据近似为低维空间中的线性表示。在许多应用中，数据经常被大的加性噪声部分破坏。当噪声的位置已知时，可以通过将这些损坏的条目视为缺失值来应用NMF的一些现有变体。然而，在许多现实世界的应用中，这些位置通常是未知的，这阻止了传统NMF或NMF的其他现有变体的使用。提出了一种鲁棒非负矩阵分解（RobustNMF）算法，该算法将部分腐败明确地建模为大的加性噪声，而不需要噪声的位置信息。在实践中，可以使用大的加性噪声来对离群值进行建模。特别是，所提出的方法联合近似的两个非负矩阵的产品的清洁数据矩阵和估计的位置和值的离群值/噪声。一个有效的迭代优化算法与坚实的理论证明已被提出来学习所需的矩阵分解。实验结果证明了该算法的优越性。
2012-04-11 cs.CV cs.LG stat.ML
Algorithmic Regularization in Model-free Overparametrized Asymmetric Matrix Factorization
Cornell University（康奈尔大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
该研究针对无模型超参数化非对称矩阵分解的过拟合问题，证明带小随机初始化的普通梯度下降结合早停可无需显式正则化得到最优低秩近似，给出了更宽松的复杂度界，且理论与数值实验吻合。
2022-09-15 cs.LG math.OC stat.ML
Maximum Discrepancy Generative Regularization and Non-Negative Matrix Factorization for Single Channel Source Separation
NTNU – Norwegian University of Science and Technology（挪威科技大学）
本文提出最大差异生成正则化方法，通过对抗训练非负矩阵分解（NMF）基，有效提升了图像与音频的单通道源分离效果，尤其在缺乏强监督数据时表现突出。
2024-03-26 cs.LG cs.NA eess.SP
Deep Weight Factorization: Sparse Learning Through the Lens of Artificial Symmetries
LMU Munich（慕尼黑大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）
本文提出深度权重分解方法，将权重分解为多个因子并施加可微L2正则化，理论上等价于非凸稀疏正则化，并通过定制初始化和学习率策略在多种架构与数据集上优于浅层分解和剪枝方法。
2025-02-07 cs.LG stat.ML
Understanding Urban Dynamics via Context-aware Tensor Factorization with Neighboring Regularization
Beihang University（北京航空航天大学）；Microsoft Research Asia（微软亚洲研究院）
近年来，世界范围内出现了人口众多的大都市。因此，了解居民的流动模式或城市动态对于建设现代智慧城市至关重要。在本文中，我们提出了一个邻居正则化和上下文感知的非负张量因子分解模型（NR-cNTF），以发现可解释的城市动态从城市异构数据。与现有的许多通过张量完成预测任务的研究不同，NR-cNTF专注于从空间，时间和时空模式中获得城市管理见解。这是通过基于POI的城市背景和地理相邻关系正则化的高质量塔克因子分解实现的。NR-cNTF还能够通过管道初始化方法揭示城市动态的长期演变。我们将NR-cNTF应用于包含北京丰富的出租车GPS轨迹和POI记录的真实数据集。结果表明：1）NR-cNTF准确捕捉到了四种城市节奏和十七个空间群落; 2）以CBD为代表的北京市的快速发展确实加剧了职住不平衡; 3）近期政府投资的南部地区表现出更健康的发展趋势。最后，NR-cNTF与一些基线的交通预测进行了比较，这进一步证明了城市环境意识和邻近法规的重要性。
2019-05-10 cs.LG stat.ML
Stability of Low-Rank Implicit Regularization in Perturbed Deep Matrix Factorization
Department of Informatics and Networked Systems, University of Pittsburgh（信息学与网络系统系，匹兹堡大学）；Department of Mathematics, University of Pittsburgh（数学系，匹兹堡大学）
本文研究扰动深度矩阵分解中低秩隐式正则化的稳定性，通过推导谱条件分析无噪声情况下的低秩阶段，并证明扰动下梯度下降的收敛性与低秩阶段的保持性。
2026-07-23 cs.LG math.OC stat.ML
B3C: A Minimalist Approach to Offline Multi-Agent Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）
B3C通过引入批评者剪裁和非线性价值分解，有效解决离线多智能体强化学习中的过估计问题，提升性能。
2026-02-12 cs.LG
Separable Nonnegative Matrix Factorization Using Powered Ratio-of-Norms Regularization
University of Kentucky（肯塔基大学）
该研究提出基于幂次范数比正则化的SNMF模型，结合DCA与ADMM算法求解，在锚点识别和分类任务上性能优于或媲美现有方法，计算效率具竞争力。
2026-09-01 cs.LG cs.NA math.NA
Structure Learning in Inverse Ising Problems Using $\ell_2$-Regularized Linear Estimator
The University of Tokyo（东京大学）；Kyoto University（京都大学）
在逆Ising问题的框架下讨论了采用$\ell_2$ -正则化（岭）线性回归时伪随机方法的推理性能。这种设置是为了从理论上研究数据生成模型与推理模型不同的情况，即模型不匹配的情况。在教师-学生的情况下，假设教师耦合是稀疏的，分析是使用复制品和腔的方法进行的，特别侧重于教师耦合的存在/不存在是否被正确地推断或不。结果表明，尽管模型不匹配，但在热力学极限$N\to \infty$中，当自旋数$N$小于数据集大小$M$时，可以使用朴素线性回归而无需正则化来完美地识别网络结构。此外，为了访问欠定区域$M < N$，我们检查了$\ell_2$正则化的效果，并发现偏差出现在所有的耦合估计，防止网络结构的完美识别。然而，我们发现，随着与伪似然方法中选择的中心自旋的距离的增加，偏差呈指数级快速衰减。基于这一发现，我们提出了一个两阶段的估计：在第一阶段，岭回归被使用，估计被修剪一个相对较小的阈值;在第二阶段的朴素线性回归只进行剩余的耦合，并得到的估计再次修剪另一个相对较大的阈值。这种估计与适当的正则化系数和阈值，以实现完美的识别网络结构，即使在$0<M/N<1$。大量数值实验的结果支持这些发现。
2020-11-24 cond-mat.dis-nn cs.LG stat.ML
Dropout as a Low-Rank Regularizer for Matrix Factorization
Istituto Italiano di Tecnologia（意大利技术研究院）；Johns Hopkins University（约翰斯·霍普金斯大学）
矩阵分解（MF）和近似问题的正则化已经以许多不同的方式进行。由于其在深度学习中的流行，dropout也被应用于这类问题。尽管dropout有着坚实的经验表现，但它作为正则化子的理论性质对于这类问题仍然非常难以捉摸。在本文中，我们提出了一个理论分析的脱落MF，其中伯努利随机变量用于下降列的因素。我们证明了辍学和完全确定性模型MF中的因素是正规化的平方欧几里德规范的列的产品的总和之间的等价性。此外，我们检查的情况下，一个可变大小的分解，我们证明了辍学达到全局最小值的凸逼近问题（平方）核范数正则化。因此，我们可以得出结论，dropout可以作为一个低秩正则化与数据相关的奇异值阈值。
2017-10-13 cs.LG stat.ML
Low-Rank Matrix Factorizations with Volume-based Constraints and Regularizations
Université de Mons（蒙斯大学）；Faculté Polytechnique（理工学院）；University of Florida（佛罗里达大学）；University of Lille（里尔大学）；Université du Littoral Côte d’Opale（滨海大学）
该研究聚焦提升低秩矩阵分解的可解释性与唯一性，提出多种基于体积的约束与正则化模型及对应高效算法，可应用于盲源分离、缺失数据插补等场景。
2024-12-09 cs.LG eess.SP
Majorization-minimization for Sparse Nonnegative Matrix Factorization with the $β$-divergence
Aix-Marseille Université（艾克斯-马赛大学）；CNRS（法国国家科学研究中心）；IRIT（图里尔信息学研究所）；Université de Toulouse（图卢兹大学）；Toulouse INP（图卢兹国立综合理工学院）
针对带β散度的稀疏非负矩阵分解优化难题，提出基于重参数化的块下降优化最小化算法，适用于任意β散度且有收敛保证，在多数据集上实现相当精度下CPU耗时显著降低。
2024-03-12 cs.LG math.OC
Robust PCA Based on Adaptive Weighted Least Squares and Low-Rank Matrix Factorization
Yunnan University of Finance and Economics（云南财经大学）；Hunan Normal University（湖南师范大学）；Guangxi Normal University（广西师范大学）
针对传统RPCA方法易引入偏差且非凸正则化方法优化复杂、对初始条件敏感的问题，提出一种结合自适应加权最小二乘和低秩矩阵分解的新模型，通过自注意力机制动态更新权重，有效降低偏差并提高计算效率，数值实验证明其具有更优的性能与鲁棒性。
2024-12-19 cs.CV cs.LG
Time-Aware Tensor Decomposition for Missing Entry Prediction
Seoul National University（首尔大学）
给定一个带有缺失项的时间演化张量，我们如何有效地对其进行因式分解以精确预测缺失项？张量分解已经被广泛用于分析各种多维真实世界数据。然而，现有的张量分解模型忽略了张量分解的时间属性，而大多数现实世界的数据是密切相关的时间。此外，它们没有解决由于时间片的稀疏性而导致的精度降低。如何利用张量分解的时间特性以及如何考虑时间片的稀疏性等关键问题尚未解决。在本文中，我们提出了TATD（时间感知张量分解），一种新的张量分解方法，真实世界的时间张量。TATD的目的是利用时间依赖性和随时间变化的稀疏性的真实世界的时间张量。我们提出了一种新的平滑正则化高斯核建模时间依赖。此外，我们通过考虑时变稀疏性来提高TATD的性能。我们设计了一个交替的优化方案，适合时间张量因式分解与我们的平滑正则化。大量的实验表明，TATD提供了国家的最先进的时间张量分解的准确性。
2020-12-16 cs.LG stat.ML
Learning Low-rank Deep Neural Networks via Singular Vector Orthogonality Regularization and Singular Value Sparsification
Duke University（杜克大学）；Tsinghua University（清华大学）；University of Nevada, Reno（内华达大学里诺分校）；Newport High School（纽波特高中）
现代深度神经网络（DNN）通常需要高内存消耗和大计算负载。为了在边缘或移动设备上有效地部署DNN算法，已经探索了一系列DNN压缩算法，包括因子分解方法。分解方法通过两个或多个低秩矩阵的乘法来近似DNN层的权重矩阵。然而，在训练过程中很难测量DNN层的等级。以往的工作主要是通过隐式近似或通过昂贵的奇异值分解（SVD）过程中的每一个训练步骤诱导低秩。前一种方法通常导致高精度损失，而后者具有低效率。在这项工作中，我们提出了SVD训练，这是第一种在训练过程中显式实现低秩DNN的方法，而无需在每一步都应用SVD。SVD训练首先将每一层分解成其满秩SVD的形式，然后直接对分解后的权重进行训练。在奇异向量上加入正交正则化，保证了奇异值分解的有效形式，避免了梯度消失/爆炸。通过在每层的奇异值上应用稀疏诱导正则化器来鼓励低秩。奇异值修剪应用在最后显式地达到低秩模型。我们的经验表明，SVD训练可以显着降低DNN层的秩，并在相同的精度下实现更高的计算负载减少，不仅与以前的因式分解方法相比，而且与最先进的过滤器修剪方法相比。
2020-04-20 cs.LG stat.ML
Stage-dependent integer-binary encoding in factorization-machine black-box optimization
Graduate School of Science and Technology, Keio University（庆应义塾大学理工学研究科）；Keio University Sustainable Quantum Artificial Intelligence Center (KSQAIC), Keio University（庆应义塾大学可持续量子人工智能中心）；Department of Applied Physics and Physico-Informatics, Keio University（庆应义塾大学应用物理与物理信息学系）；Human Biology-Microbiome-Quantum Research Center (WPI-Bio2Q), Keio University（庆应义塾大学人类生物学-微生物组-量子研究中心）；Green Computing System Research Organization, Waseda University（早稻田大学绿色计算系统研究机构）
针对黑箱优化中传统FMQA使用单一编码的局限，提出阶段依赖编码框架，在Rastrigin函数上验证学习阶段用独热编码、搜索阶段用域壁编码可提升性能。
2026-06-23 cs.LG
SLORR: Simple and Efficient In-Training Low-Rank Regularization
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Tübingen（图宾根大学）；ELLIS Institute Tübingen（图宾根ELLIS研究所）；Tübingen AI Center（图宾根人工智能中心）
研究针对神经网络低秩正则化难题，提出简单无状态的SLORR框架，基于霍耶尔稀疏性度量和核范数有两个变体，通过GPU友好近似正则化权重矩阵，在ImageNet-1K及LLM预训练中验证其能在低开销下诱导可压缩性并保持性能。
2026-07-10 cs.AI cs.LG
CoRMF: Criticality-Ordered Recurrent Mean Field Ising Solver
University of Rochester（罗切斯特大学）；Northwestern University（西北大学）；University of Maryland（马里兰大学）；National Center for Theoretical Sciences（国家理论科学中心）；HonHai (Foxconn) Research Institute（鸿海研究院）
本研究提出基于RNN的CoRMF伊辛求解器，通过临界性排序自旋序列结合自回归平均场分解与RNN优化，实现高效正向伊辛推断，具备模块化通用性，且在理论和数值实验中均验证了其优势。
2024-03-07 cond-mat.stat-mech cs.LG stat.ML
A consistent and flexible framework for deep matrix factorizations
University of Mons（蒙斯大学）
深度矩阵分解（Deep matrix factorizations，deep MF）是一种受约束低秩近似启发的无监督数据采掘技术。它们的目标是在高维数据集中提取复杂的特征层次。文献中提出的用于评估深度MF模型质量的大多数损失函数和底层优化框架并不一致，因为在不同层使用不同的损失。在本文中，我们引入了两个有意义的损失函数的深度MF和提出了一个通用的框架来解决相应的优化问题。我们说明了这种方法的有效性，通过整合各种约束和正则化，如稀疏性，非负性和最小体积。该模型成功地应用于合成和真实数据，即高光谱解混和面部特征提取。
2022-10-13 cs.LG cs.NA eess.SP
A Time-aware tensor decomposition for tracking evolving patterns
Simula Metropolitan Center for Digital Engineering（Simula城市数字工程中心）；OsloMet（奥斯陆城市大学）；Georg-August-Universität Göttingen（哥廷根大学）
本文提出时序 PARAFAC2（tPARAFAC2），通过在 PARAFAC2 张量分解中引入时间正则化，解决现有方法无法建模潜在模式随时间演化的问题，并在合成数据上验证其优于 PARAFAC2 和带时间平滑正则化的耦合矩阵分解。
2023-08-15 cs.CV cs.LG stat.ML
