Fast and Accurate Power Load Data Completion via Regularization-optimized Low-Rank Factorization
Chongqing Aerospace Polytechnic（重庆航天职业技术学院）；Dongfang Electronics Co.,Ltd（东方电子股份有限公司）；China Mobile Cloud Capability Center（中国移动云能力中心）；Southwest University（西南大学）
针对电力负荷数据缺失问题，提出基于PID控制器自适应调整正则化系数的低秩分解方法，在保持随机梯度下降效率的同时提升插补精度与训练效率。
2025-06-22 cs.LG
A Dynamics Theory of Implicit Regularization in Deep Low-Rank Matrix Factorization
Xiamen University（厦门大学）；Xiamen University of Technology（厦门理工学院）
本文提出用景观分析研究深度矩阵分解中的隐式正则化，证明秩R矩阵重构需经历R个鞍点逃逸阶段后收敛到二阶临界点，并通过低秩重构实验验证该理论。
2023-08-11 cs.LG
Low Rank Regularization: A Review
Northwestern Polytechnical University（西北工业大学）
低秩正则化本质上是对所学习的矩阵引入一个低秩或近似低秩的假设，它在机器学习、数据采掘和计算机翻译等领域都取得了巨大的成功。在过去的十年里，在理论和实际应用方面都取得了很大的进展。然而，它们之间的交集非常小。为了在实际应用和理论研究之间架起一座桥梁，本文对低秩正则化进行了全面的综述。我们首先回顾了几种使用低秩正则化的传统机器学习模型，然后展示了它们（或它们的变体）在解决实际问题中的应用，例如非刚性运动恢复结构和图像去噪。随后，我们总结了在传统机器学习任务中取得巨大成功但在解决实际问题中很少见到的正则化器和优化方法。最后，我们对一些有代表性的正则化子（包括凸松弛和非凸松弛）进行了讨论和比较。大量的实验结果表明，非凸正则化可以提供一个很大的优势，核范数，正则化广泛用于解决实际问题。
2020-12-10 cs.CV cs.LG
Self-supervised debiasing using low rank regularization
KAIST（韩国科学技术院）
针对有限标注下的深度神经网络去偏难题，该研究基于虚假相关属性会降低表征有效秩的发现，提出带低秩正则化的自监督去偏框架，通过有偏编码器挖掘偏差冲突样本实现去偏，性能优于多数监督去偏方法。
2023-10-09 cs.AI cs.LG stat.ML
Landmark Regularization: Ranking Guided Super-Net Training in Neural Architecture Search
EPFL（洛桑联邦理工学院）；Intel（英特尔）
权重共享已经成为神经架构搜索中的事实标准，因为它使搜索能够在商品硬件上完成。然而，最近的工作经验表明，独立架构的性能和相应的共享权重网络的性能之间的排名混乱。这违反了权重共享NAS算法的主要假设，从而限制了它们的有效性。我们通过提出一个正则化项来解决这个问题，该正则化项旨在最大限度地提高共享权重网络的性能排名与使用少量地标架构的独立架构之间的相关性。我们将我们的正则化项到三个不同的NAS算法，并表明它始终提高性能的算法，搜索空间和任务。
2021-04-12 cs.CV cs.LG
Automatic Rank Allocation for Low-Rank Adaptation in Large Language Models via lp Regularization
National University of Singapore（新加坡国立大学）；Huawei（华为）；The University of Hong Kong（香港大学）；Hong Kong Baptist University（香港浸会大学）
本文提出基于lp正则化的自动秩分配方法，通过正则化秩一组件能量并推导隐式阈值准则，在自然语言理解与问答任务上达到与现有LoRA基线相当的性能。
2026-09-25 cs.LG
Non-convex Regularizations for Feature Selection in Ranking With Sparse SVM
Institut de Recherche en Informatique de Toulouse（图卢兹计算机科学研究所）；CNRS（法国国家科学研究中心）；Université de Toulouse（图卢兹大学）；Nomao SA（Nomao公司）；Laboratoire Lagrange（拉格朗日实验室）；Université de Nice-Sophia Antipolis（尼斯-索菲亚·安提波利斯大学）；INSA de Rouen（鲁昂国立应用科学学院）；Institut de Mathématiques de Toulouse（图卢兹数学研究所）；Institut Universitaire de Formation de Maîtres（大学教师培训学院）
学习排序中的特征选择是一个重要的问题。虽然已经提出了几种预处理方法，但只有少数作品专注于将特征选择集成到学习过程中。在这项工作中，我们提出了一个通用的框架，特征选择在学习排序使用SVM与稀疏正则项。我们研究了经典的凸正则化，如$\ell\_1$或加权$\ell\_1$和非凸正则化项，如对数罚，极小极大凹罚（MCP）或$\ell\_p$伪范数与$p\textless{}1$。提出了两种算法，第一种是求解凸问题的加速近似方法，第二种是求解非凸正则化问题的加权$\ell\_1$方法。我们从Letor 3.0和Letor 4.0语料库的九个数据集进行密集的实验。数值结果表明，使用非凸正则化，我们建议导致更稀疏的模型，同时保持预测性能。与$\ell\_1$正则化相比，特征的数量减少了六倍。此外，该软件在网上公开提供。
2015-07-02 cs.LG
Low-rank Tensor Decomposition for Compression of Convolutional Neural Networks Using Funnel Regularization
张量分解是深度卷积神经网络模型压缩的基本技术之一，因为它能够揭示复杂结构之间的潜在关系。然而，大多数现有的方法，压缩网络逐层，这不能提供一个令人满意的解决方案，以实现全局优化。在本文中，我们提出了一种模型简化方法，使用卷积层的低秩张量分解来压缩预训练网络。我们的方法是基于优化技术来选择适当的层次分解的网络层。提出了一种新的正则化方法--漏斗函数法，用来抑制压缩过程中的不重要因素，从而更容易地显示出合适的秩。实验结果表明，与其他张量压缩方法相比，该算法可以减少更多的模型参数。对于使用ImageNet 2012的ResNet 18，我们的简化模型在GMAC方面可以达到两倍以上的速度，而Top-1精度仅下降0.7%，这在两个指标上都优于大多数现有方法。
2021-12-07 cs.AI cs.CV cs.LG
Calibrated Multivariate Distributional Regression with Pre-Rank Regularization
Department of Statistics and Data Science, Mohamed Bin Zayed University of Artificial Intelligence, Abu Dhabi, UAE（统计与数据科学系，Mohamed Bin Zayed人工智能大学，阿布扎比，阿联酋）
本文提出了一种基于正则化的校准方法，利用预排名函数在训练过程中提升多变量分布回归模型的校准性能，并引入PCA预排名揭示依赖结构不规范问题。
2026-01-30 cs.LG
AIR-Net: Adaptive and Implicit Regularization Neural Network for Matrix Completion
National University of Defense Technology（国防科技大学）；University of Utah（犹他大学）
显式低秩正则化，例如，核范数正则化在成像科学中有着广泛的应用。然而，已经发现隐式正则化在各种图像处理任务中优于显式正则化。另一个问题是，固定的显式正则化限制了对广泛图像的适用性，因为不同的图像有利于通过不同的显式正则化捕获的不同特征。因此，本文提出了一种新的自适应和隐式低秩正则化，动态捕获低秩先验的训练数据。我们新的自适应隐式低秩正则化的核心是在基于Dirichlet能量的正则化中参数化拉普拉斯矩阵，我们称之为正则化\textit{AIR}。理论上，我们表明，自适应正则化的AIR增强了隐式正则化，并在训练结束时消失。我们验证了空气的有效性在各种基准任务，表明空气是特别有利的情况下，丢失的条目是不均匀的。代码可以在https://github.com/lizhemin15/AIR-Net上找到
2022-06-27 cs.LG stat.ML
Revisiting Weight Regularization for Low-Rank Continual Learning
State Key Laboratory of Human-Machine Hybrid Augmented Intelligence（人机混合增强智能国家重点实验室）；Institute of Artificial Intelligence and Robotics（人工智能与机器人研究院）；Computer Vision Center（计算机视觉中心）；Universitat Autònoma de Barcelona（巴塞罗那自治大学）；School of Instrument Science and Engineering（仪器科学与工程学院）；Bernoulli Institute（伯努利学院）；University of Groningen（格罗宁根大学）；School of Software Engineering（软件工程学院）
本文提出EWC-LoRA方法，通过EWC正则化共享低秩更新来减轻PECL中的任务干扰，提供高效且稳定的持续学习解决方案。
2026-02-19 cs.LG
WERank: Towards Rank Degradation Prevention for Self-Supervised Learning Using Weight Regularization
University of Waterloo（滑铁卢大学）；University of Toronto（多伦多大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
针对自监督学习中的维度坍塌问题，提出权重正则化器WERank，通过约束网络不同层权重防止秩退化，在图SSL等任务中有效提升BYOL的表征秩与下游准确率。
2024-02-14 cs.LG
Fairness Through Regularization for Learning to Rank
IST Austria（奥地利科学技术研究所）
鉴于近年来大量的排名应用，解决自动排名系统的公平性问题对于增加最终用户之间的信任是必要的。以前关于公平排名的工作主要集中在应用程序特定的公平概念上，通常是针对在线广告的，很少考虑学习作为过程的一部分。在这项工作中，我们将展示如何将众多的公平性概念从二进制分类转移到学习排序设置。我们的形式主义使我们能够设计方法，将公平性目标与可证明的泛化保证。一个广泛的实验评估表明，我们的方法可以大大提高排名的公平性，没有或只有很少的损失模型的质量。
2021-06-07 cs.IR cs.LG stat.ML
Prototype-Rule Neurosymbolic Regularization for Rank-Constrained Tensor Neural Networks under Label Scarcity
University of Macedonia（马其顿大学）；University of Malta（马耳他大学）
本研究提出原型规则神经符号正则化方法，在标签稀缺下增强秩约束张量神经网络，通过训练时正则化显著提升高光谱分类性能，推理融合效果有限。
2026-10-01 cs.CV cs.LG
Enforcing Calibration in Multi-Output Probabilistic Regression with Pre-rank Regularization
本研究提出一种通用正则化框架，通过惩罚预秩概率积分变换偏离均匀分布，在训练中强制多输出概率回归的多元校准，并引入PCA预秩，在18个数据集上显著提升校准且不损精度。
2025-10-27 cs.LG stat.ML
Learning Representations from Imperfect Time Series Data via Tensor Rank Regularization
Carnegie Mellon University（卡内基梅隆大学）；RIKEN Center for Artificial Intelligence Project（理化学研究所人工智能项目中心）
对包括多模态对话、问答、情感分析和语音识别的多模态语言处理的兴趣已经增加。然而，自然发生的多模态数据往往是不完美的，由于不完美的模态，丢失的条目或噪声损坏。为了解决这些问题，我们提出了一种基于张量秩最小化的正则化方法。我们的方法是基于观察，高维多模态时间序列数据往往表现出跨时间和模态的相关性，导致低秩张量表示。然而，噪声或不完整值的存在打破了这些相关性，并导致更高秩的张量表示。我们设计了一个模型来学习这种张量表示，并有效地正则化它们的秩。多模态语言数据的实验表明，我们的模型在各种程度的不完善取得了良好的效果。
2019-07-01 cs.CL cs.LG stat.ML
Bootstrap-Based Regularization for Low-Rank Matrix Estimation
Agrocampus Ouest（西部农业学院）；INRIA Saclay（法国国家信息与自动化研究所萨克莱分部）；Université Paris-Sud（巴黎南大学）；Stanford University（斯坦福大学）
我们开发了一个灵活的低秩矩阵估计框架，使我们能够通过一个简单的自举算法将噪声模型转换为正则化方案。有效地，我们的程序寻求一个自动编码的基础上观察到的矩阵是稳定的，相对于指定的噪声模型，我们称之为一个稳定的自动编码器的过程。在最简单的情况下，与各向同性噪声模型，我们的方法是等价的经典奇异值收缩估计。对于非各向同性噪声模型，例如，泊松噪声，该方法不减少奇异值收缩，而是产生新的估计，在实验中表现良好。此外，通过迭代我们的稳定自动编码方案，我们可以自动生成低秩估计，而无需指定目标秩作为调优参数。
2016-06-28 cs.LG stat.ME stat.ML
Euclidean-Norm-Induced Schatten-p Quasi-Norm Regularization for Low-Rank Tensor Completion and Tensor Robust Principal Component Analysis
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳大数据研究院）；University of Washington（华盛顿大学）；Cornell University（康奈尔大学）；Hefei University of Technology（合肥工业大学）；Stanford University（斯坦福大学）
本文提出基于张量CP分量向量欧几里得范数的新型秩正则化器，实现隐式最小化Schatten-p拟范数，可扩展至大张量并提供更锐利的秩代理，理论证明其具有更紧的泛化误差界，数值实验验证了方法有效性。
2023-10-18 cs.AI cs.LG
An Empirical Study of Implicit Regularization in Deep Offline RL
DeepMind（深度思维）
深度神经网络是离线强化学习中最常用的函数逼近器。先前的工作已经表明，用TD学习和梯度下降训练的神经网络可以表现出隐式正则化，其特征在于这些网络的参数化不足。具体而言，已观察到倒数第二个特征层（也称为\textit{effective rank}）的秩在训练期间急剧崩溃。反过来，这种崩溃被认为会降低模型在学习后期进一步适应的能力，导致最终性能下降。有效排名和性能之间的这种关联使得有效排名对于离线RL（主要是对于离线策略评估）是有吸引力的。在这项工作中，我们在三个离线RL数据集上对有效排名与性能之间的关系进行了仔细的实证研究：bsuite，Atari和DeepMind实验室。我们观察到，直接关联只存在于受限设置中，而在更广泛的超参数扫描中消失。此外，我们经验性地确定了三个阶段的学习，解释了隐式正则化对学习动力学的影响，并发现仅自举不足以解释有效秩的崩溃。此外，我们发现，其他几个因素可能混淆有效排名和性能之间的关系，并得出结论，在简单的假设下研究这种关联可能是高度误导。
2022-07-07 cs.LG
Orthogonally weighted $\ell_{2,1}$ regularization for rank-aware joint sparse recovery: algorithm and analysis
Georgia Institute of Technology（佐治亚理工学院）；Oak Ridge National Laboratory（橡树岭国家实验室）
本文提出一种名为正交加权 $\ell_{2,1}$ 的正则化方法解决联合稀疏恢复问题，该方法具备秩感知特性，能利用解矩阵的满秩特征，并提供了理论证明与高效收敛算法，数值实验验证了其有效性。
2023-11-21 cs.LG cs.NA math.NA
Implicit Regularization in Tensor Factorization
Tel Aviv University（特拉维夫大学）
最近在深度学习中解开隐式正则化之谜的努力导致了对矩阵分解的理论关注-通过线性神经网络完成矩阵。作为迈向实际深度学习的一步，我们提供了张量因式分解中隐式正则化的第一个理论分析-通过某种类型的非线性神经网络实现张量完备化。我们规避了臭名昭著的困难张量问题，通过采用动力系统的角度来看，和表征的演变引起的梯度下降。的表征表明，贪婪的低张量秩搜索的形式，我们严格证明在某些条件下，和经验证明在其他情况下。受张量秩捕获非线性神经网络的隐式正则化的启发，我们将其作为复杂性的度量进行了经验探索，并发现它捕获了神经网络概括的数据集的本质。这让我们相信，张量秩可以为解释深度学习中的隐式正则化以及将这种隐式正则化转化为泛化的真实数据的属性铺平道路。
2021-06-09 cs.AI cs.LG cs.NE
Low-rank Tensor Learning with Nonconvex Overlapped Nuclear Norm Regularization
非凸正则化在低秩矩阵学习中得到了广泛的应用。然而，将其扩展到低秩张量学习仍然是计算昂贵的。为了解决这个问题，我们开发了一个有效的求解器，用于与重叠核范数正则化的非凸扩展。该算法基于近似平均算法，避免了昂贵的张量折叠/展开操作。一个特殊的“稀疏加低秩”结构在整个迭代过程中保持不变，并允许快速计算各个邻近步骤。使用自适应动量进一步提高了经验收敛性。我们提供收敛保证光滑损失的临界点，也满足库尔迪卡-Jasojasiewicz条件的目标。当优化问题是非凸非光滑的时，我们证明了它的临界点在张量完备化问题上仍然具有良好的统计性能。在各种合成数据集和真实数据集上的实验表明，该算法在时间和空间上都是有效的，并且比现有的最先进的算法更准确。
2022-05-06 cs.LG stat.ML
Factor Group-Sparse Regularization for Efficient Low-Rank Matrix Recovery
Cornell University（康奈尔大学）
本文提出了一类新的非凸正则化子，用于低秩矩阵的恢复。许多正则化子的动机是作为矩阵秩函数的凸松弛。我们的新的因子组稀疏正则化的动机是作为一个放松的非零列的矩阵分解的数量。这些非凸正则化子比核规范更尖锐，事实上，我们证明了它们与任意小$0 < p \leq 1$的Schatten-$p$规范有关。此外，这些因子组稀疏正则化器可以写成因子化的形式，从而实现高效和有效的非凸优化;值得注意的是，该方法不使用奇异值分解。我们提供了低秩矩阵完备化的泛化误差界，这表明随着$p$的减小，Schatten- $p$范数正则化的上界得到了改进。与核范数的最大范数和因子化形式相比，因子组稀疏正则化更有效，更准确，并且对秩的初始猜测具有鲁棒性。实验结果表明，因子组稀疏正则化方法在低秩矩阵完备化和鲁棒主成分分析中具有良好的性能。
2019-11-18 cs.LG stat.ML
Bayesian and regularization approaches to multivariable linear system identification: the role of rank penalties
University of Padova（帕多瓦大学）
本文提出一种基于ℓ2正则化和秩惩罚的冲击响应估计器，用于处理多输入多输出系统中输入输出通道的耦合问题，通过优化边际似然估计超参数，实现闭式解。
2014-09-29 cs.LG cs.SY eess.SY
Implicit Regularization Towards Rank Minimization in ReLU Networks
Weizmann Institute of Science（魏茨曼科学研究院）
研究了梯度训练下ReLU网络隐式正则化与权重矩阵秩最小化的关系，证明ReLU网络上的GF在多数小数据集上不再最小化秩，但足够深度的ReLU网络可证明偏向低秩解。
2022-01-30 cs.LG stat.ML
Random Subspace Cubic-Regularization Methods, with Applications to Low-Rank Functions
NAG Ltd（NAG有限公司）
本文提出ARC算法的随机子空间变体，仅利用导数的低维投影计算步长，在保持最优全局收敛速率的同时提升可扩展性，并可自适应低秩函数的真实秩。
2025-01-16 cs.LG cs.NA math.NA
Connectivity Shapes Implicit Regularization in Matrix Factorization Models for Matrix Completion
Shanghai Jiao Tong University（上海交通大学）
本文研究矩阵补全中矩阵分解的隐式正则化，发现观测数据连通性决定模型从低核范数偏向低秩的转变，并通过层次不变流形遍历过程从理论上刻画训练轨迹，建立了保证最小核范数和最小秩的条件。
2025-04-14 cs.LG
Constrained Low-Rank Learning Using Least Squares-Based Regularization
低秩学习由于其在各种各样的现实世界任务中的有效性，最近引起了人们的广泛关注，例如，子空间分割和图像分类。大多数低秩方法不能捕获用于监督学习任务的低维子空间，例如，分类与回归本文的目的是学习判别低秩表示（LRR）和鲁棒投影子空间在监督的方式。为了实现这一目标，我们把问题转化为一个约束的秩最小化框架，采用最小二乘正则化。自然地，数据标签结构倾向于类似于相应的低维表示的结构，该低维表示是通过低秩学习从干净数据的鲁棒子空间投影导出的。此外，原始数据的低维表示可以通过施加适当的约束来与一些信息结构配对，例如，Laplacian正则化子因此，我们提出了一种新的约束LRR方法。将目标函数转化为一个约束核范数极小化问题，并采用非精确增广拉格朗日乘子算法求解。在图像分类、人体姿态估计和鲁棒人脸恢复上的大量实验证实了我们方法的优越性。
2016-11-15 cs.CV cs.LG
Hyperspectral Image Denoising Using Non-convex Local Low-rank and Sparse Separation with Spatial-Spectral Total Variation Regularization
Qingdao University（青岛大学）；Harbin Institute of Technology（哈尔滨工业大学）；University of Electronic Science and Technology of China（电子科技大学）；University of Kentucky（肯塔基大学）；University of California, Santa Barbara（加州大学圣巴巴拉分校）
在本文中，我们提出了一种新的非凸方法来鲁棒的主成分分析HSI去噪，重点是同时开发更准确的近似秩和列稀疏的低秩和稀疏的组件，分别。特别地，新方法采用对数行列式秩近似和一种新的$\ell_{2,\log}$范数，分别限制了分量矩阵的局部低秩或列稀疏性。对于$\ell_{2,\log}$-正则化收缩问题，我们给出了一个有效的封闭形式的解，称之为$\ell_{2,\log}$-收缩算子.新的正则化和相应的算子可以普遍用于其他需要列稀疏性的问题。此外，我们在基于对数的非凸RPCA模型中施加空间-光谱全变分正则化，这增强了恢复的HSI中空间和光谱视图的全局分段平滑性和光谱一致性。仿真和真实HSI上的大量实验证明了该方法在去噪HSI方面的有效性。
2022-01-08 cs.CV cs.LG eess.IV
Stability of Low-Rank Implicit Regularization in Perturbed Deep Matrix Factorization
Department of Informatics and Networked Systems, University of Pittsburgh（信息学与网络系统系，匹兹堡大学）；Department of Mathematics, University of Pittsburgh（数学系，匹兹堡大学）
本文研究扰动深度矩阵分解中低秩隐式正则化的稳定性，通过推导谱条件分析无噪声情况下的低秩阶段，并证明扰动下梯度下降的收敛性与低秩阶段的保持性。
2026-07-23 cs.LG math.OC stat.ML
Implicit regularization and solution uniqueness in over-parameterized matrix sensing
Boston University（波士顿大学）；Rice University（莱斯大学）；University of Maryland（马里兰大学）
我们考虑过参数化线性矩阵分解中的算法选择是否引入了隐式正则化。我们专注于$\mathbb{R}^{n \times n}$中秩- $r$半正定（PSD）矩阵上的无噪声矩阵感知，其感知机制满足限制等距性质（RIP）。我们研究的算法是\emph{factored gradient descent}，其中我们模型的低秩和PSD约束与因子分解$UU^\top$，为$U \in \mathbb{R}^{n \times r}$。令人惊讶的是，最近的工作认为$r \leq n$的选择并不关键：即使设置$U \in \mathbb{R}^{n \times n}$也足以让因子梯度下降找到秩- $r$解，这表明对因子进行操作会导致隐式正则化。在这篇文章中，我们提供了一个不同的角度来看待隐式正则化问题。我们表明，在一定的条件下，PSD约束本身就足以导致一个独特的秩- $r$矩阵恢复，没有隐式或显式低秩正则化。\emph{I.e.}，在假设下，与观察到的数据一致的PSD矩阵的集合是单例的，无论使用的算法如何。
2019-09-13 cs.LG math.OC stat.ML
Hybrid Conditional Gradient - Smoothing Algorithms with Applications to Sparse and Low Rank Regularization
École Centrale Paris（巴黎中央理工学院）；KU Leuven（鲁汶大学）
研究了求解有界集上多项复合凸优化问题的混合条件梯度光滑算法。这些例子包括正则化问题与几个规范作为惩罚和规范约束。HCGS将条件梯度法扩展到具有多个非光滑项的情况，其中标准条件梯度法可能难以应用。HCGS算法借用了平滑邻近方法的技术，需要一阶计算（次梯度和邻近运算）。与近似方法不同，HCGS受益于条件梯度法的优点，这使得它在某些大规模最优化问题上更有效。我们证明了这些优势与模拟上的两个矩阵最优化问题：正则化的矩阵结合$\ell_1$和迹范数罚款;和稀疏PCA的凸松弛。
2014-04-15 cs.LG math.OC stat.ML
Solving weakly supervised regression problem using low-rank manifold regularization
Sobolev Institute of Mathematics（索博列夫数学研究所）；Novosibirsk State University（新西伯利亚国立大学）；RWTH Aachen（亚琛工业大学）
我们解决了一个弱监督回归问题。在“弱”下，我们理解对于一些训练点，标签是已知的，对于一些未知的，对于其他由于随机噪声或其他原因（如缺乏资源）而不确定的。求解过程需要优化某个目标函数（损失函数），它结合了流形正则化和低秩矩阵分解技术。这些低秩近似使我们能够加快所有矩阵计算并减少存储需求。这对于大型数据集尤其重要。包围聚类用于获得共关联矩阵，我们认为这是相似性矩阵。这些技术的使用使我们能够提高解决方案的质量和稳定性。在数值部分，我们使用Monte-Carlo建模将建议的方法应用于人工和真实数据集。
2021-04-13 cs.LG cs.NA math.NA
A Survey on Nonconvex Regularization Based Sparse and Low-Rank Recovery in Signal Processing, Statistics, and Machine Learning
Shanghai Jiao Tong University（上海交通大学）
在过去的十年中，稀疏和低秩恢复在信号/图像处理、统计学、生物信息学和机器学习等领域引起了广泛的关注。为了实现稀疏性和/或低秩诱导，$\ell_1$范数和核范数由于其凸性而成为最流行的正则化惩罚。虽然$\ell_1$和核范数是方便的，因为相关的凸优化问题通常是易处理的，但在许多应用中已经表明，非凸惩罚可以产生显着更好的性能。近年来，基于非凸正则化的稀疏和低秩恢复引起了人们的极大兴趣，事实上，它是非凸和非光滑优化的最新进展的主要驱动力。本文综述了这一主题在信号处理、统计和机器学习的各个领域，包括压缩感知（CS）、稀疏回归和变量选择、稀疏信号分离、稀疏主成分分析（PCA）、大协方差和逆协方差矩阵估计、矩阵完备和鲁棒PCA。我们目前的非凸正则化为基础的稀疏和低秩恢复在这些领域的最新发展，解决问题的惩罚选择，应用和非凸算法的收敛性。代码可在https://github.com/FWen/ncreg.git上获得。
2019-06-06 cs.IT cs.LG eess.SP
Ortho-Shot: Low Displacement Rank Regularization with Data Augmentation for Few-Shot Learning
West Virginia University（西弗吉尼亚大学）
在Few-Shot分类中，主要目标是从少数几个样本中学习表示，这些样本可以很好地概括新的类。在本文中，我们提出了一种有效的低位移秩（LDR）正则化策略，称为Ortho-Shot;一种对基于双块toeplitz（DBT）矩阵结构的Few-Shot分类器的卷积层进行正交正则化的技术。Few-Shot分类器的正则化卷积层增强了模型泛化和类内特征嵌入，这对于少样本学习至关重要。过拟合是Few-Shot模型的一个典型问题，数据多样性的缺乏抑制了适当的模型推理，从而削弱了Few-Shot学习器对新类别的分类准确性。在这方面，我们打破了Few-Shot分类器的管道，并建立了支持，查询和任务数据增强共同消除了网络中的过拟合。通过令人信服的结果，我们证明了将基于DBT的低秩正交正则化器与数据增强策略相结合，显着提高了Few-Shot分类器的性能。我们在miniImagenet、CIFAR-FS和Stanford数据集上进行了实验，与最先进的数据集相比，性能值约为5
2021-10-18 cs.CV cs.LG eess.IV
HERA: Partial Label Learning by Combining Heterogeneous Loss with Sparse and Low-Rank Regularization
Beijing Jiaotong University（北京交通大学）；Hangzhou Dianzi University（杭州电子科技大学）
部分标签学习（PLL）旨在从数据中学习，其中每个训练实例与一组候选标签相关联，其中只有一个是正确的。大多数现有的方法通过平等对待每个候选标签或迭代地识别地面真实标签来处理这样的问题。在本文中，我们提出了一种新的PLL方法，称为HERA，它同时结合了Heterogeneous Loss和SpaRse和Low-rAnk过程来估计每个实例的标签置信度，同时训练模型。具体地说，异构损失综合了成对排序损失和逐点重构损失的优点，为标签识别提供了有用的标签排序和重构信息，而嵌入式稀疏低秩方案限制了地面真实标签矩阵的稀疏性和噪声标签矩阵的低秩，以探索整个训练数据之间的全局标签相关性，从而改进了学习模型。在人工和真实世界数据集上的大量实验表明，我们的方法可以实现优于或与最先进的方法相当的性能。
2019-06-03 cs.LG stat.ML
Supervised low-rank semi-nonnegative matrix factorization with frequency regularization for forecasting spatio-temporal data
POSTECH（浦项科技大学）；University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
本研究提出带频域软/硬正则化的监督半非负矩阵分解方法用于时空数据预测，可提升时间模式清晰度与频域可解释性，在GRACE数据上效果与现有研究相当且解释性更强。
2024-06-19 cs.LG stat.ML
Implicit Regularization in Hierarchical Tensor Factorization and Deep Convolutional Neural Networks
Tel Aviv University（特拉维夫大学）
为了解释深度学习中的隐式正则化，重点关注了矩阵和张量分解，它们对应于简化的神经网络。结果表明，这些模型表现出一个隐含的倾向，低矩阵和张量秩，分别。为了更接近实际的深度学习，本文从理论上分析了分层张量分解中的隐式正则化，这是一种等效于某些深度卷积神经网络的模型。通过动力系统的镜头，我们克服了与层次结构相关的挑战，并建立了隐式正则化低层次张量秩。这转化为对相关卷积网络局部性的隐式正则化。受我们理论的启发，我们设计了显式正则化来抑制局部性，并证明了它能够提高现代卷积网络在非局部任务上的性能，这与需要改变架构的传统智慧背道而驰。我们的工作突出了通过对神经网络的隐式正则化进行理论分析来增强神经网络的潜力。
2022-09-18 cs.AI cs.LG cs.NE
Reexamining Low Rank Matrix Factorization for Trace Norm Regularization
University College London（伦敦大学学院）；Computational Statistics and Machine Learning - Istituto Italiano di Tecnologia（意大利技术研究院计算统计与机器学习）
迹范数正则化是一种广泛使用的学习低秩矩阵的方法。一个标准的优化策略是基于制定的问题，作为一个低秩矩阵分解，然而，导致一个非凸问题。在实践中，这种方法工作得很好，它通常比标准的凸解算器（如近似梯度方法）计算速度更快。然而，它不能保证收敛到全局最优值，并且优化可能被困在差的稳定点。在本文中，我们表明，它是可能的所有临界点的非凸问题的特征。这使我们能够提供一个有效的标准，以确定是否临界点也是一个全球性的极小。我们的分析表明，一个迭代的元算法，动态扩展的参数空间，并允许优化逃避任何非全局临界点，从而收敛到一个全局极小。该算法可以应用于矩阵完成或多任务学习等问题，我们的分析适用于任何随机初始化的因素矩阵。最后，我们证实了该算法在合成和真实数据集上的良好性能。
2017-07-31 cs.LG stat.ML
Graph Contrastive Learning with Low-Rank Regularization and Low-Rank Attention for Noisy Node Classification
针对图数据噪声损害GNNs性能的问题，提出两阶段直推式学习方法GCL-LRR及其改进版GCL-LR-Attention，通过低秩正则化与低秩注意力提升节点分类的鲁棒性和泛化能力。
2025-06-28 cs.LG cs.SI stat.ML
Sparse Reduced Rank Regression With Nonconvex Regularization
The Hong Kong University of Science and Technology（香港科技大学）
研究了稀疏降秩回归模型的估计问题。SRRR模型被广泛应用于信号处理、计量经济学等领域的降维和变量选择。该问题的目标是最小化最小二乘损失，并考虑到正交性约束。在文献中，凸稀疏诱导函数已被用于SRRR。在这项工作中，提出了一个非凸函数更好的稀疏诱导。基于交替极小化（或投影）方法，提出了一种求解非凸优化问题的有效算法。数值仿真结果表明，该算法是更有效的基准方法相比，非凸函数可以导致更好的估计精度。
2018-03-20 cs.LG q-fin.CP stat.ME
Rank regularization and Bayesian inference for tensor completion and extrapolation
University of Minnesota（明尼苏达大学）
本文提出了一种新的正则化的PARAFAC分解因子捕获张量的秩，作为完成的三路数据阵列的缺失条目的关键使能器。在贝叶斯框架中，张量完成方法结合了先验信息，以增强其平滑和预测能力。这种概率方法可以自然地适应数据分布的一般模型，从而适应各种拟合标准，从而在最大后验意义上产生最佳估计。特别是，两个算法的高斯分布和泊松分布的数据，最小化秩正则化最小二乘误差和Kullback-Leibler发散，分别设计。所提出的技术是能够恢复“地面实况”的张量秩测试时，合成数据，并完成脑成像和酵母基因表达数据集分别与50%和15%的缺失条目，导致在-10 dB和-15 dB的恢复误差。
2013-01-31 cs.IT cs.LG math.IT
Learning Low-rank Deep Neural Networks via Singular Vector Orthogonality Regularization and Singular Value Sparsification
Duke University（杜克大学）；Tsinghua University（清华大学）；University of Nevada, Reno（内华达大学里诺分校）；Newport High School（纽波特高中）
现代深度神经网络（DNN）通常需要高内存消耗和大计算负载。为了在边缘或移动设备上有效地部署DNN算法，已经探索了一系列DNN压缩算法，包括因子分解方法。分解方法通过两个或多个低秩矩阵的乘法来近似DNN层的权重矩阵。然而，在训练过程中很难测量DNN层的等级。以往的工作主要是通过隐式近似或通过昂贵的奇异值分解（SVD）过程中的每一个训练步骤诱导低秩。前一种方法通常导致高精度损失，而后者具有低效率。在这项工作中，我们提出了SVD训练，这是第一种在训练过程中显式实现低秩DNN的方法，而无需在每一步都应用SVD。SVD训练首先将每一层分解成其满秩SVD的形式，然后直接对分解后的权重进行训练。在奇异向量上加入正交正则化，保证了奇异值分解的有效形式，避免了梯度消失/爆炸。通过在每层的奇异值上应用稀疏诱导正则化器来鼓励低秩。奇异值修剪应用在最后显式地达到低秩模型。我们的经验表明，SVD训练可以显着降低DNN层的秩，并在相同的精度下实现更高的计算负载减少，不仅与以前的因式分解方法相比，而且与最先进的过滤器修剪方法相比。
2020-04-20 cs.LG stat.ML
Low rank tensor completion with sparse regularization in a transformed domain
University of Electronic Science and Technology of China（电子科技大学）
张量完备化是一个具有挑战性的问题，有着广泛的应用。基于张量的低秩先验，已经提出了许多相关的模型。然而，低秩先验可能不足以从观察到的不完整张量恢复原始张量。本文利用张量的低秩和稀疏先验，提出了一种张量完备化方法。具体地，张量完成任务可以被公式化为具有稀疏正则化器的低秩最小化问题。基于张量奇异值分解（T-SVD）的张量截断核范数刻画了其低秩性质，与张量核范数相比，T-SVD是张量管秩的一种更好的近似.而稀疏正则化子是在离散余弦变换（DCT）域中通过$\ell_{1}$ -范数来实现的，它能更好地利用完备数据的局部稀疏性。为了解决最优化问题，我们采用了交替方向法的乘法器（ADMM），其中我们只需要解决几个子问题，有封闭形式的解决方案。在真实图像和视频上的大量实验表明，该方法具有更好的性能比现有的国家的最先进的方法。
2019-11-19 cs.LG cs.NA math.NA
Low-Rank Tensor Learning by Generalized Nonconvex Regularization
School of Mathematics and Statistics, Central China Normal University（华中师范大学数学与统计学学院）；Department of Mathematics, Hong Kong Baptist University（香港浸会大学数学系）
针对少量观测下的低秩张量学习，提出基于变换张量核范数的非凸正则化模型与 PMM 算法，并证明误差界、全局收敛性及实验优势。
2024-10-24 cs.LG
Adaptive regularization parameter selection for high-dimensional inverse problems: A Bayesian approach with Tucker low-rank constraints
School of Science, University of Science and Technology Liaoning（辽宁科技大学科学学院）
本文提出一种结合Tucker分解的变分贝叶斯方法，通过降低维度核心张量空间减少计算复杂度，引入每模式精度参数实现对各向异性结构的自适应正则化，实验显示在图像去模糊、热传导和Fredholm积分方程中均优于传统方法。
2026-03-17 cs.LG
Bayesian Matrix Completion via Adaptive Relaxed Spectral Regularization
Tsinghua University（清华大学）
本文提出一种基于谱正则化的贝叶斯矩阵补全方法，通过放松奇异向量的正交约束，设计出适用于贝叶斯推断的自适应谱正则化方法，无需参数调优即可自动推断潜在因子数量，在稀疏矩阵上表现优异。
2015-12-25 cs.AI cs.LG cs.NA
Efficient Differentiable Approximation of Generalized Low-rank Regularization
Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院）；Shenzhen University（深圳大学）
针对低秩正则化优化难、依赖不可微的奇异值分解的问题，提出广义低秩正则化的高效可微近似方法，支持即插即用、适配GPU，经收敛分析和多任务实验验证了其有效性与高效性。
2025-05-21 cs.LG cs.NA math.NA
Rank/Norm Regularization with Closed-Form Solutions: Application to Subspace Clustering
University of Alberta（阿尔伯塔大学）
本文通过推广Eckart-Young-Mirsky定理到所有酉不变范数，得到秩/范数正则化问题的闭式解，并应用于子空间聚类，获得新理论见解和实验效果。
2012-10-09 cs.LG cs.NA math.NA
Robust Low-Rank Tensor Completion based on M-product with Weighted Correlated Total Variation and Sparse Regularization
Department of Computational and Data Sciences, Indian Institute of Science（计算与数据科学系，印度科学研究院）
本文提出基于M-积的加权相关总变分正则化方法，结合低秩性和平滑性约束，提升张量补全的鲁棒性和精度，通过改进的ADMM算法在图像恢复、去噪和背景分割中验证了其优越性能。
2026-04-15 cs.LG math.OC stat.ML
Simplifying Optimal Transport through Schatten-$p$ Regularization
Department of Mathematics, Brandeis University（数学系，品牌e大学）
本文提出基于 Schatten-$p$ 范数正则化的最优传输低秩恢复框架，通过凸规划与镜像下降算法，在理论和实验上验证了其有效性与可扩展性。
2025-10-13 cs.LG stat.ML
On the Regularization of Autoencoders
Netflix（奈飞）
虽然已经有很多工作致力于理解监督环境中深度非线性网络的隐式（和显式）正则化，但本文关注的是无监督学习，即，训练自动编码器的目的是从输入再现输出。我们扩展了最近关于无约束线性模型的结果[Jin et al. 2021]，并将其应用于（1）非线性自编码器和（2）约束线性自编码器，得到以下两个结果：首先，我们证明了无监督设置本身会引起强的额外正则化，即，学习的自动编码器的模型容量的严重降低：我们得出，如果两个模型在它们的最后隐藏层中具有相同的维数（并且在一些附加假设下），则深度非线性自动编码器不能比线性自动编码器更准确地拟合训练数据。我们的第二个贡献是关于低秩EDLAE模型[Steck 2020]，这是一个线性自动编码器，对学习的低秩参数矩阵的对角线有约束，以提高泛化能力：我们推导出其非凸训练目标的最佳值的封闭形式近似，并实证证明，它是一个准确的近似在所有的模型排名在我们的实验上的三个众所周知的数据集。
2021-10-21 cs.LG
A New Approach to Collaborative Filtering: Operator Estimation with Spectral Regularization
University of California（加利福尼亚大学）；INRIA（法国国家信息与自动化研究所）；Laboratoire d’Informatique de l’Ecole Normale Supérieure（巴黎高等师范学院计算机科学实验室）；INSEAD（欧洲工商管理学院）；Mines ParisTech（巴黎高等矿业学院）；Institut Curie（居里研究所）；Inserm（法国国家健康与医学研究院）
我们提出了一种通用的方法，协同过滤（CF）使用谱正则化学习线性算子从“用户”到“对象”，他们的评级。最近的低秩型矩阵完成CF的方法被证明是特殊情况。然而，与现有的基于正则化的CF方法不同，我们的方法还可以用于合并诸如用户或对象的属性之类的信息-现有的基于正则化的CF方法的限制。然后，我们提供了新的表示定理，我们使用开发新的估计方法。我们提供了基于低秩分解的学习算法，并在标准CF数据集上测试它们。实验结果表明，推广现有的正则化CF方法的优势，将用户和对象的相关信息。最后，我们表明，某些多任务学习方法也可以被视为我们所提出的方法的特殊情况。
2008-12-19 cs.LG
On the Effect of Low-Rank Weights on Adversarial Robustness of Neural Networks
RWTH Aachen University（亚琛工业大学）
最近，有大量关于设计深度神经网络（DNN）的工作，这些网络对对抗性示例具有鲁棒性。特别是，一个中心问题是DNN的哪些特征会影响对抗鲁棒性，因此可以用于设计鲁棒的DNN。在这项工作中，这个问题是研究通过镜头的压缩，这是由低秩结构的权重矩阵。首先证明了对抗性训练倾向于同时促进神经网络权值矩阵的低秩和稀疏结构。这是通过有效秩和有效稀疏度的概念来衡量的。在相反的方向上，当低秩结构通过核范数正则化提升并与稀疏诱导正则化相结合时，神经网络表现出显著提高的对抗鲁棒性。当核范数正则化应用于卷积神经网络时，它对对抗鲁棒性的影响是至关重要的。虽然仍然没有与对抗训练竞争，但这一结果有助于理解鲁棒分类器的关键属性。
2021-10-06 cs.LG stat.ML
