Neural Networks are Convex Regularizers: Exact Polynomial-time Convex Optimization Formulations for Two-layer Networks
Stanford University（斯坦福大学）
我们开发的精确表示的训练两层神经网络与整流线性单元（ReLU）在一个单一的凸规划的变量多项式的训练样本的数量和隐藏的神经元的数量。我们的理论利用半无限对偶和最小范数正则化。我们证明了用标准权重衰减训练的ReLU网络等价于块$\ell_1$惩罚凸模型。此外，我们表明，某些标准的卷积线性网络是等价的半定规划，可以简化为$\ell_1$正则化的线性模型在一个多项式大小的离散傅立叶特征空间。
2020-08-15 cs.CC cs.LG stat.ML
Factorization Machines with Regularization for Sparse Feature Interactions
Hokkaido University（北海道大学）
因式分解机（FM）是基于二阶特征交互的机器学习预测模型，具有稀疏正则化的FM被称为稀疏FM。这样的正则化使得能够进行特征选择，其选择最相关的特征以进行准确的预测，因此它们可以有助于提高模型的准确性和可解释性。然而，由于FM使用二阶特征交互，特征的选择通常会导致结果模型中许多相关特征交互的丢失。在这种情况下，具有专门为尝试实现交互级稀疏性的特征交互选择而设计的正则化的FM可能是优选的，而不是仅用于尝试实现特征级稀疏性的特征选择的FM。在本文中，我们提出了一个新的正则化计划的功能模块中的功能交互选择。所提出的正则化算子是特征交互矩阵的$\ell_1$正则化算子的上界，该特征交互矩阵是从FM的参数矩阵计算的。对于特征交互选择，我们提出的正则化器使特征交互矩阵稀疏，而不限制现有方法所施加的稀疏模式。我们还描述了有效的邻近算法，建议FM和现有的理论分析和新的正则化。此外，我们将讨论如何将我们的想法应用或扩展到更准确的特征选择和其他相关模型，如高阶FM和全子集模型。在人工数据集和真实数据集上的分析和实验结果表明了所提方法的有效性。
2021-04-01 cs.LG stat.ML
On Regularized Sparse Logistic Regression
Clemson University（克莱姆森大学）
本文提出统一框架求解L1正则化逻辑回归，可扩展至非凸正则项，并用新线搜索保证单调收敛，实验证明算法在二分类中高效实现分类与特征选择。
2023-10-12 cs.AI cs.LG stat.ML
Stochastic dual averaging methods using variance reduction techniques for regularized empirical risk minimization problems
Tokyo Institute of Technology（东京工业大学）；Japan Science and Technology Agency（日本科学技术振兴机构）
我们考虑一个复合凸最小化问题与正则化的经验风险最小化，这经常出现在机器学习。本文提出了两种新的随机梯度法，它们是基于方差缩减的随机对偶平均方法。我们的方法生成一个稀疏的解决方案比现有的方法，因为我们不需要采取的平均历史的解决方案。这在可解释性和概括性方面都是有利的。此外，我们的方法有理论支持的强和非强凸正则化，并实现现有的非加速随机梯度法之间的最佳收敛速度。
2016-03-08 cs.LG math.OC stat.ML
A Unified Framework for Sparse Relaxed Regularized Regression: SR3
University of Washington（华盛顿大学）
正则化回归问题普遍存在于统计建模、信号处理和机器学习中。稀疏回归在科学模型发现中尤其重要，包括压缩传感应用、变量选择和高维分析。我们提出了一个广泛的框架稀疏松弛正则化回归，称为SR 3。关键思想是解决正则化问题的松弛，这与最先进的方法相比有三个优点：（1）松弛问题的解在误差、假阳性和条件方面是优越的，（2）松弛允许用于凸和非凸公式的极快算法，以及（3）该方法适用于复合正则化子，例如全变差（TV）及其非凸变体。我们证明了SR3的优势（计算效率，更高的精度，更快的收敛速度，更大的灵活性）在一系列的正则化回归问题的合成和真实的数据，包括压缩感知，LASSO，矩阵完成，电视正则化，和组稀疏的应用。为了促进可重复的研究，我们还提供了一个配套的MATLAB软件包来实现这些示例。
2018-11-08 cs.LG math.OC stat.ML
Accelerated Algorithm for Sparse Regularized Partial Optimal Transport
Hanoi University of Science and Technology（河内理工大学）；High School for the Gifted（天才高中）；VinUniversity；Rochambeau French International School（罗尚博法语国际学校）；RMIT University（皇家墨尔本理工大学）；Aalto University（阿尔托大学）；Linköping University（林雪平大学）
本文提出一种基于惩罚重述的加速一阶算法，利用平滑强凸正则化器生成稀疏部分最优传输计划，在颜色迁移、域适应和点云配准中实现更低成本、更高稀疏性和更快收敛。
2026-10-14 cs.LG
Bringing regularized optimal transport to lightspeed: a splitting method adapted for GPUs
KTH（瑞典皇家理工学院）
本文提出一种基于Douglas-Rachford分裂的正则化最优传输算法，具备全局收敛保证和低迭代成本，并可利用GPU并行化显著加速，在领域自适应和生成模型学习中表现优异。
2023-05-29 cs.LG
A Fast and Convergent Proximal Algorithm for Regularized Nonconvex and Nonsmooth Bi-level Optimization
University of Utah（犹他大学）；Lawrence Livermore National Lab（劳伦斯利弗莫尔国家实验室）
许多重要的机器学习应用涉及正则化非凸双层优化。然而，现有的基于梯度的双层优化算法不能处理非凸或非光滑的正则化子，并且它们在非凸双层优化中具有很高的计算复杂度。在这项工作中，我们研究了一个近似梯度型算法，采用近似隐式微分（AID）计划的非凸双层优化可能非凸和非光滑正则化。特别地，该算法应用Nesterov的动量来加速AID中涉及的隐式梯度的计算。通过确定算法的内禀势函数，全面分析了算法的全局收敛性。特别是，我们正式建立了收敛的模型参数的临界点的双层问题，并获得了改进的计算复杂度$\mathcal{O}(κ^{3.5}ε^{-2})$的国家的最先进的结果。此外，我们分析了该算法的渐近收敛速度下的一类局部非凸几何的特点是一个Eschojasiewicz型梯度不等式。超参数优化实验表明了该算法的有效性。
2022-06-03 cs.LG math.OC
Learning Sparse Visual Representations with Leaky Capped Norm Regularizers
Tsinghua University（清华大学）；The Chinese University of Hong Kong（香港中文大学）
本文提出泄漏受限范数正则化器，用于学习过完备视觉表示，证明了其在3D形状恢复中的收敛性，优于ℓ1和非凸正则化方法。
2017-11-08 cs.AI cs.CV cs.LG
Sparse LMS via Online Linearized Bregman Iteration
Howard Hughes Medical Institute, Janelia Farm Research Campus（霍华德·休斯医学研究所，贾尼利亚农场研究园区）
提出了一种用于稀疏系统辨识的最小均方（LMS）算法。我们的算法称为在线线性化Bregman迭代（OLBI）是来自最小化的累积预测误差平方以及l1-l2范数正则化。通过系统地处理不可微正则化子，我们得到了一个简单的两步迭代。我们证明了OLBI是无偏的，并将其操作与现有的稀疏LMS算法进行比较，通过在在线凸优化框架中重新推导它们。我们进行白输入信号的OLBI的收敛性分析，并推导出稳态和瞬时均方偏差（MSD）的理论表达式。我们证明数值OLBI提高了性能的LMS型算法产生的信号稀疏抽头权重。
2012-10-01 cs.IT cs.LG math.IT
A generalised log-determinant regularizer for online semi-definite programming and its applications
Kyushu University（九州大学）；RIKEN AIP（理化学研究所AIP）；SMN Corporation（SMN公司）
我们考虑在线半定规划问题（OSDP）的一个变体：决策空间由具有有界$Γ$ -迹范数的半定矩阵组成，这是由正定矩阵$Γ.$定义的迹范数的推广。为了解决这个问题，我们利用具有$Γ$依赖对数行列式正则化子的跟随正则化领导算法。然后，我们将我们的广义设置和我们提出的算法在线矩阵完成（OMC）和在线相似性预测与边信息。特别是，我们减少了在线矩阵完成问题的广义OSDP问题，和边信息表示为$Γ$矩阵。因此，由于我们的遗憾界的广义OSDP，我们得到了最佳的错误界的OMC通过删除对数因子。
2020-12-11 cs.LG math.OC
Locally Regularized Sparse Graph by Fast Proximal Gradient Descent
Arizona State University（亚利桑那州立大学）
针对原始稀疏图忽略数据几何信息的问题，提出支持正则化稀疏图（SRSG），通过支持正则化项鼓励局部平滑，并采用快速近端梯度下降求解，实验证明其在聚类上优于其他方法。
2024-09-25 cs.LG math.OC
CR-SAM: Curvature Regularized Sharpness-Aware Minimization
Missouri University of Science and Technology（密苏里科技大学）
本文提出CR-SAM，通过引入归一化Hessian迹作为正则化项，应对损失景观非线性，提升SAM泛化能力，并在CIFAR和ImageNet上验证了其对ResNet和ViT模型的分类性能提升。
2023-12-23 cs.CV cs.LG
Computing Optimal Regularizers for Online Linear Optimization
MIT（麻省理工学院）；Google Research（谷歌研究院）
本文提出一种为在线线性优化计算最优正则化器的算法，使FTRL遗憾达到最优界的常数因子内，并证明判定正则化器强凸性是NP困难的。
2024-10-22 cs.DS cs.GT cs.LG
HSR: L1/2 Regularized Sparse Representation for Fast Face Recognition using Hierarchical Feature Selection
Ocean University of China（中国海洋大学）；The University of Iowa（爱荷华大学）
在本文中，我们提出了一种新的方法，用于快速人脸识别称为L1/2正则稀疏表示使用分层特征选择（HSR）。通过采用分层特征选择，可以压缩全局字典的规模和维数，这直接有助于减少稀疏表示的计算开销，而稀疏表示正是本文方法的基础。它由Gabor小波和极端学习机自动编码器（ELM-AE）分层。对于Gabor小波部分，可以在多个尺度和方向上提取局部特征，形成基于Gabor特征的图像，从而提高识别率。此外，当人脸图像被遮挡时，基于Gabor特征的遮挡字典存在冗余，可以相应地压缩全局字典的规模。对于ELM-AE部分，基于Gabor特征的全局字典的维数可以被压缩，因为高维的人脸图像可以被快速地表示为低维的特征。通过引入L1/2正则化，我们的方法可以产生更稀疏和更强大的表示相比，正则化稀疏表示基于分类（SRC），这也有助于减少稀疏表示的计算成本。在多种人脸数据库上的实验结果表明，与SRC和基于Gabor特征的SRC（GSRC）等相关工作相比，该方法在计算量方面具有很大的优势。此外，我们还实现了近似甚至更好的识别率。
2014-09-23 cs.CV cs.LG
Stochastic Projective Splitting: Solving Saddle-Point Problems with Multiple Regularizers
Brookhaven National Laboratory（布鲁克海文国家实验室）；Rutgers University（罗格斯大学）
我们提出了一个新的，随机变量的投影分裂（PS）家庭的算法单调包含问题。它可以解决鲁棒ML等应用中出现的最小-最大和非合作对策公式，而不会出现与梯度下降-上升相关的收敛问题，而梯度下降-上升是目前这种情况下的事实上的标准方法。我们的建议是第一个版本的PS能够使用随机（而不是确定性）梯度预言。它也是第一个可以解决最小-最大博弈的随机方法，同时可以通过投影和邻近算子轻松处理多个约束和非光滑正则化。我们关闭一个分布鲁棒稀疏逻辑斯谛回归问题的数值实验。
2021-06-24 cs.LG math.OC
Consistent and Complementary Graph Regularized Multi-view Subspace Clustering
Xi’an Jiaotong University（西安交通大学）；Shanghai University（上海大学）；Nanjing University of Posts and Telecommunications（南京邮电大学）
研究了多视图聚类问题，多个视图包含一致的信息，每个视图也包含互补的信息。探索所有信息对于良好的多视图聚类至关重要。然而，大多数传统的方法盲目或粗糙地结合多个视图进行聚类，无法充分利用有价值的信息。因此，我们提出了一种方法，涉及一致和互补图正则化多视图子空间聚类（GRMSC），它同时集成了一个一致的图正则化与互补图正则化的目标函数。特别地，一致图正则化器学习由所有视图共享的数据点的内在亲和关系。互补图正则化器研究多个视图的特定信息。值得注意的是，一致的和互补的正则化公式由两个不同的图构造从多个视图的一阶接近和二阶接近，分别。采用增广拉格朗日乘子法优化目标函数，实现多视图聚类。在六个基准数据集上的实验验证了该方法的有效性。
2020-04-07 cs.LG stat.ML
Relaxed Sparse Eigenvalue Conditions for Sparse Estimation via Non-convex Regularized Regression
Department of Automation, Tsinghua University, Beijing 100084, P.R.China（自动化系，清华大学，北京100084，中国）；State Key Lab of Intelligent Technologies and Systems（智能技术与系统国家重点实验室）；Tsinghua National Laboratory for Information Science and Technology(TNList)（信息科学与技术国家实验室（清华大学））
本文研究了非凸正则化回归中稀疏估计的松弛特征值条件，证明了非凸正则化在稀疏估计中的有效性，并展示了坐标下降法在获得近似全局解中的应用。
2014-02-12 cs.LG cs.NA math.NA
Factor Group-Sparse Regularization for Efficient Low-Rank Matrix Recovery
Cornell University（康奈尔大学）
本文提出了一类新的非凸正则化子，用于低秩矩阵的恢复。许多正则化子的动机是作为矩阵秩函数的凸松弛。我们的新的因子组稀疏正则化的动机是作为一个放松的非零列的矩阵分解的数量。这些非凸正则化子比核规范更尖锐，事实上，我们证明了它们与任意小$0 < p \leq 1$的Schatten-$p$规范有关。此外，这些因子组稀疏正则化器可以写成因子化的形式，从而实现高效和有效的非凸优化;值得注意的是，该方法不使用奇异值分解。我们提供了低秩矩阵完备化的泛化误差界，这表明随着$p$的减小，Schatten- $p$范数正则化的上界得到了改进。与核范数的最大范数和因子化形式相比，因子组稀疏正则化更有效，更准确，并且对秩的初始猜测具有鲁棒性。实验结果表明，因子组稀疏正则化方法在低秩矩阵完备化和鲁棒主成分分析中具有良好的性能。
2019-11-18 cs.LG stat.ML
Provable Low Rank Plus Sparse Matrix Separation Via Nonconvex Regularizers
University of Pittsburgh（匹兹堡大学）；UPMC Hillman Cancer Center（匹兹堡大学医学中心希尔曼癌症中心）；Rensselaer Polytechnic Institute（伦斯勒理工学院）
本文考虑了一个大类的问题，我们试图恢复一个低秩矩阵和/或稀疏向量从一些测量。虽然基于凸松弛的方法遭受（可能很大）估计偏差，和其他非凸方法需要的秩或稀疏性是已知的先验，我们使用非凸正则化，以最大限度地减少秩和$l_0$规范没有估计偏差的凸松弛。我们提出了一种新的分析交替近端梯度下降算法应用到这样的问题，并绑定的迭代和地面真实稀疏和低秩矩阵之间的误差。该算法和误差界可以应用于稀疏优化，矩阵补充，和鲁棒主成分分析作为我们的结果的特殊情况。
2021-09-26 cs.LG math.OC stat.ML
dpVAEs: Fixing Sample Generation for Regularized VAEs
Scientific Computing and Imaging Institute（科学计算与成像研究所）；University of Utah（犹他大学）
在没有标记数据的情况下，通过生成建模的无监督表示学习是许多计算机视觉应用的主食。变分自编码器（VAE）是一种强大的生成模型，它可以学习对数据生成有用的表示。然而，由于训练目标中的固有挑战，VAE无法学习适合下游任务的有用表示。试图改善VAE的表示学习方面的基于正则化的方法是有代价的：糟糕的样本生成。在本文中，我们探讨了这种代表性的代权衡正则化VAE，并引入了一个新的家庭的先验，即解耦先验，或dpVAE，解耦的代表空间从生成空间。这种解耦使得能够在表示空间上使用VAE正则化器，而不影响用于样本生成的分布，从而在不牺牲样本生成的情况下获得正则化的表示学习益处。dpVAE利用可逆网络来学习从任意复杂的表示分布到简单、易处理的生成分布的双射映射。解耦的先验可以适应最先进的VAE正则化器，而无需额外的超参数调整。我们展示了使用不同的正则化dpVAE。MNIST，SVHN和CelebA的实验表明，定量和定性，dpVAE固定的样本生成正则化VAE。
2020-03-22 cs.CV cs.LG stat.ML
Provably Convergent Working Set Algorithm for Non-Convex Regularized Regression
Univ. de Rouen（鲁昂大学）；Criteo AI Lab（Criteo人工智能实验室）；Univ Côte d’Azur（蔚蓝海岸大学）；CNRS（法国国家科学研究中心）；OCA Lagrange（拉格朗日蔚蓝海岸天文台）；INSA de Rouen（鲁昂国立应用科学学院）；IMAG（蒙彼利埃亚历山大·格罗滕迪克研究所）；Université de Montpellier（蒙彼利埃大学）
非凸稀疏正则化子由于其统计性质，在高维数据的稀疏线性模型估计中引起了广泛的兴趣。考虑到解是稀疏的，为了加速收敛，工作集策略通过迭代算法来解决优化问题，即增加待优化变量的数量，直到识别出解的支持。虽然这些方法已经得到了很好的研究和理论支持的凸正则化，本文提出了一个工作集算法的非凸稀疏正则收敛保证。该算法，名为FireWorks，是基于最近的原始对偶方法的非凸重构，并利用残差的几何形状。我们的理论保证来自于两个内部求解器迭代之间的目标函数的下界减少，并显示收敛到整个问题的稳定点。更重要的是，我们还表明，即使内部求解器是不精确的，在足够的衰减的误差跨越迭代收敛。我们的实验结果表明，高计算增益时，使用我们的工作集策略相比，完整的问题求解器块坐标下降或近端梯度求解器。
2021-10-20 cs.LG stat.ML
Policy Mirror Descent for Regularized Reinforcement Learning: A Generalized Framework with Linear Convergence
Princeton University（普林斯顿大学）；Carnegie Mellon University（卡内基梅隆大学）；University of California, Berkeley（加州大学伯克利分校）；University of Pennsylvania（宾夕法尼亚大学）
策略优化是强化学习（RL）的核心，它通过优化技术最大化价值函数来找到所需的策略。除了价值最大化之外，还出现了其他实际考虑，包括需要鼓励探索，以及由于安全、资源和操作限制而确保学习策略的某些结构属性。这些通常可以通过正则化RL来解释，正则化RL使用结构促进正则化器来增强目标价值函数。针对折扣无限时域马尔可夫决策过程，提出了一种求解正则化RL的广义策略镜像下降（GPMD）算法。作为策略镜像下降（arXiv：2102.00135）的推广，我们的算法适应了一般类的凸正则化，并促进了Bregman散度在使用中的正则化的认知。我们证明了我们的算法在整个学习率的范围内线性收敛到全局解，以无量纲的方式，即使正则化缺乏强凸性和光滑性。此外，这种线性收敛特性在面对不精确的策略评估和不完美的策略更新时是稳定的。数值实验证实了GPMD的良好性能。
2023-01-10 cs.IT cs.LG math.IT
Graph Regularized Autoencoder and its Application in Unsupervised Anomaly Detection
Texas A&M University（德克萨斯农工大学）；BAE Systems, Inc.（BAE系统公司）
对于包括异常检测和聚类在内的许多无监督学习任务来说，先验性降低是至关重要的第一步。自动编码器是一种流行的降维机制。为了对嵌入非线性低维流形的高维数据进行有效的降维，需要使用某种测地距离度量来区分数据样本。受测地线距离近似器（如ISOMAP）的成功启发，我们提出使用最小生成树（MST），一种基于图的算法，来近似局部邻域结构并生成数据点之间的结构保持距离。我们使用这种基于MST的距离度量来取代自编码器嵌入函数中的欧氏距离度量，并开发了一种新的图形正则化自编码器，该编码器在20个基准异常检测数据集上优于各种替代方法。我们进一步将MST正则化器纳入两个生成对抗网络，并发现使用MST正则化器大大提高了两个生成对抗网络的异常检测性能。我们还在聚类应用程序中的两个数据集上测试了我们的MST正则化自动编码器，并见证了其卓越的性能。
2021-03-11 cs.LG stat.ML
On Coresets for Regularized Loss Minimization
RelationalAI（RelationalAI公司）；UC Merced（加州大学默塞德分校）；Carnegie Mellon University（卡内基梅隆大学）；University of Pittsburgh（匹兹堡大学）
我们设计和数学分析基于采样的正则化损失最小化问题的算法，这些算法可以在流行的大数据计算模型中实现，其中对数据的访问以某种方式受到限制。我们的主要结果是，如果正则化的效果不成为可以忽略不计的规范的假设规模，并作为数据规模，那么一个均匀的样本适度的大小是具有高概率的coreset。在损失函数是逻辑回归或软边缘支持向量机的情况下，并且正则化器是常见的推荐选择之一，该结果意味着大小为$O(d \sqrt{n})$的均匀样本很有可能是$\Re^d$中$n$点的核心集。我们将这个上界与两个下界进行对比。第一个下界表明我们对均匀抽样的分析是严格的;也就是说，较小的均匀样本可能不是核心集。第二个下限表明，在某种意义上，均匀采样接近最佳，因为通常不存在明显较小的核心集。
2019-05-31 cs.LG stat.ML
Regularized Inverse Reinforcement Learning
Mila, Quebec AI Institute（魁北克人工智能研究所Mila）；School of Computer Science, McGill University（麦吉尔大学计算机科学学院）；Facebook AI Research（Facebook人工智能研究院）
逆强化学习（IRL）旨在通过获取解释专家决策的奖励函数来促进学习者模仿专家行为的能力。正则化IRL将强凸正则化器应用于学习者的策略，以避免专家的行为被任意恒定的奖励合理化，也称为退化解决方案。我们提出了易于处理的解决方案，和实用的方法来获得它们，正则化IRL。目前的方法局限于最大熵IRL框架，限制他们的香农熵正则化，以及提出的解决方案，是难以解决的实际问题。我们提出的理论支持我们提出的IRL方法的适用性离散和连续控制，经验验证我们的各种任务上的表现。
2020-12-03 cs.LG
A Regularized Approach to Sparse Optimal Policy in Reinforcement Learning
Peking University（北京大学）
我们提出并研究了正则化马尔可夫决策过程（MDPs）的一般框架，其目标是找到一个最优的政策，最大限度地提高预期的折扣总回报加上政策正则化项。现有的熵正则化的MDP可以投到我们的框架。此外，在我们的框架下，许多正则化项可以带来多模态和稀疏性，这在强化学习中是潜在有用的。特别是，我们提出了充分和必要的条件，诱导稀疏的最优策略。我们还对提出的正则化MDP进行了全面的数学分析，包括最优性条件，性能误差和稀疏控制。我们提供了一个通用的方法来设计正则化形式，并提出了在复杂的环境设置的政策演员评论家算法。我们实证分析了最优策略的数值特性，并比较了离散和连续环境中不同稀疏正则化形式的性能。
2019-10-20 cs.LG stat.ML
Robust Discriminative Clustering with Sparse Regularizers
INRIA - Sierra Project-team（INRIA - Sierra 项目组）；Département d’Informatique de l’Ecole Normale Supérieure (CNRS - ENS - INRIA)（巴黎高等师范学院计算机科学系（CNRS - ENS - INRIA））
对高维数据进行聚类通常需要某种形式的降维，其中聚类变量与“噪声外观”变量分离。我们把这个问题转化为找到一个低维投影的数据，这是良好的聚类。在最简单的情况下，这会产生一个一维投影，两个集群，并自然扩展到多标签的情况下，两个以上的集群。在本文中，（a）我们首先表明，这种联合聚类和降维公式是等价于以前提出的判别聚类框架，从而导致凸松弛的问题，（b）我们提出了一种新的稀疏扩展，这仍然是一个凸松弛，并允许在更高的维度估计，（c）我们提出了一个自然的扩展多标签的情况下，（d）我们用简单的概率模型对这些公式的性能进行了新的理论分析，导致仿射不变情况下的$d=O(\sqrt{n})$形式和稀疏情况下的$d=O(n)$形式的缩放，其中$n$是示例的数量，$d$是环境维度，最后，（e）我们提出了一个运行时间复杂度与$O(nd^2)$成正比的有效迭代算法，改进了以前的算法，其在例子数上具有二次复杂度。
2016-08-29 cs.LG stat.ML
L0-norm Sparse Graph-regularized SVD for Biclustering
Wuhan University（武汉大学）
学习“分块”结构是高维数据（例如，基因表达数据）。最近，稀疏奇异值分解（SVD）已被用作双聚类工具，以实现这一目标。然而，该模型忽略了变量之间的结构信息（例如，基因相互作用图）。虽然典型的图正则化范数可以结合这些先验图信息来获得准确的发现和更好的可解释性，但它没有考虑具有不同符号的变量的相反效果。受稀疏编码和图正则化范数发展的启发，我们提出了一种新的稀疏图正则化SVD作为一个强大的双聚类工具，用于分析高维数据。该方法的关键是对奇异向量施加两种惩罚，包括一种新的图正则化范数（$|\pmb{u}|\pmb{L}|\pmb{u}|$）和一种新的$L_0$范数（$\|\pmb{u}\|_0$），以诱导结构稀疏性并增强可解释性。我们设计了一个有效的交替迭代稀疏投影算法（Alternating Iterative Sparse Projection，AISP）来解决这个问题。最后，我们将我们的方法和相关算法应用于模拟数据和真实数据，以显示其在捕捉自然块结构方面的效率。
2016-03-19 cs.LG stat.ML
WEEP: A Differentiable Nonconvex Sparse Regularizer via Weakly-Convex Envelope
Nagoya Institute of Technology, Aichi, Japan（名古屋技术大学，爱知，日本）；RIKEN Center for Advanced Intelligence Project, Tokyo, Japan（理化学研究所先进智能项目中心，东京，日本）
WEEP通过弱凸包框架提出了一种可微非凸稀疏正则化器，实现了可调无偏稀疏性和闭式近似算子，适用于压缩感知和图像去噪任务。
2026-01-19 cs.CV cs.LG
Dropout as a Low-Rank Regularizer for Matrix Factorization
Istituto Italiano di Tecnologia（意大利技术研究院）；Johns Hopkins University（约翰斯·霍普金斯大学）
矩阵分解（MF）和近似问题的正则化已经以许多不同的方式进行。由于其在深度学习中的流行，dropout也被应用于这类问题。尽管dropout有着坚实的经验表现，但它作为正则化子的理论性质对于这类问题仍然非常难以捉摸。在本文中，我们提出了一个理论分析的脱落MF，其中伯努利随机变量用于下降列的因素。我们证明了辍学和完全确定性模型MF中的因素是正规化的平方欧几里德规范的列的产品的总和之间的等价性。此外，我们检查的情况下，一个可变大小的分解，我们证明了辍学达到全局最小值的凸逼近问题（平方）核范数正则化。因此，我们可以得出结论，dropout可以作为一个低秩正则化与数据相关的奇异值阈值。
2017-10-13 cs.LG stat.ML
A Novel Sparse Regularizer
本文提出一种基于新型熵度量、关注权重空间排列的稀疏正则化器，可在 MNIST 上训练 LeNet300 时将达到给定准确率所需的非零参数减少约一个数量级。
2023-04-20 cs.LG
Theory of Dual-sparse Regularized Randomized Reduction
the University of Iowa（爱荷华大学）；Nanjing University（南京大学）；Michigan State University（密歇根州立大学）；Institute of Data Science and Technologies at Alibaba Group（阿里巴巴集团数据科学与技术研究院）
本文研究了随机约简方法，该方法通过随机方法将高维特征约简到低维空间（例如，随机投影、随机散列），用于大规模高维分类。先前关于随机化约简方法的理论结果取决于关于数据的强假设，例如，数据矩阵的秩低或分类的可分离边界大，这阻碍了它们在广泛领域的应用。为了解决这些限制，我们提出了双稀疏正则化随机约简方法，该方法将稀疏正则化器引入到约简的对偶问题中。在一个温和的条件下，原来的对偶解决方案是一个（近）稀疏向量，我们表明，由此产生的对偶解决方案是接近原来的对偶解决方案，并集中在其支持集。在数值实验中，我们提出了一个实证研究来支持分析，我们还提出了一个新的应用程序的双稀疏正则化随机约简方法，以减少通信成本的分布式学习从大规模的高维数据。
2015-07-18 cs.LG stat.ML
MR-GAN: Manifold Regularized Generative Adversarial Networks
Syracuse University（雪城大学）；Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）；Duke University（杜克大学）；The Ohio State University（俄亥俄州立大学）
尽管人们对生成对抗网络（GANs）的兴趣越来越大，但从理论和实践的角度来看，训练GANs仍然是一个具有挑战性的问题。为了解决这个问题，在本文中，我们提出了一种新的方法来利用独特的几何形状的真实数据，特别是流形信息。更具体地说，我们设计了一种方法来正则化GAN训练，通过添加一个额外的正则化项称为流形正则化。流形正则化器迫使生成器尊重真实数据流形的唯一几何形状并生成高质量的数据。此外，我们从理论上证明，在任何类别的GANs（包括DCGAN和Wasserstein GAN）中添加此正则化项会导致在泛化，平衡存在和稳定性方面的性能改善。初步实验表明，提出的流形正则化有助于避免模式坍塌，并导致稳定的训练。
2018-11-22 cs.CV cs.LG stat.ML
Regularized Autoencoders via Relaxed Injective Probability Flow
Google Research（谷歌研究院）
基于可逆流的生成模型是学习生成样本的有效方法，同时允许易于处理的似然计算和推理。然而，可逆性要求限制了模型具有与输入相同的潜在维度。这带来了巨大的架构、内存和计算成本，使得它们比其他类型的生成模型（例如变分自编码器（VAE））更难扩展。我们提出了一个基于概率流的生成模型，它取消了对模型的双射性要求，只假设注入性。这也提供了正则化自编码器（RAE）的另一个视角，我们的最终目标类似于RAE，具有特定的正则化器，这些正则化器是通过下界概率流目标导出的。我们经验证明了所提出的模型的承诺，改善VAE和AE的样本质量。
2020-02-20 cs.LG stat.ML
Sparse Identification of Nonlinear Dynamical Systems via Reweighted $\ell_1$-regularized Least Squares
University of Colorado（科罗拉多大学）
提出了一种迭代稀疏正则化回归方法，用于从噪声状态测量中恢复非线性动力系统的控制方程。该方法受到{ \it}[Brunton et al.，PNAS，113（15）（2016）3932-3937]}，其依赖于两个主要假设：状态变量是已知的{ \it先验}，并且控制方程使其自身适合于状态变量的（非线性）基础中的稀疏线性展开。这项工作的目的是提高的准确性和鲁棒性的SINDy状态测量噪声的存在。为此，开发了重新加权的$\ell_1$ -正则化最小二乘求解器，其中正则化参数选自帕累托曲线的角点。使用加权$\ell_1$ -范数进行正则化-而不是标准的$\ell_1$ -范数-背后的想法是为了更好地促进控制方程恢复中的稀疏性，从而减轻状态变量中噪声的影响。我们还提出了一种方法来恢复单一的物理约束状态测量。通过几个著名的非线性动力系统的例子，我们证明经验的准确性和鲁棒性的重新加权$\ell_1$ -正则化最小二乘策略相对于状态测量噪声，从而说明其可行性的广泛的潜在应用。
2020-05-27 cs.LG stat.ML
Regularized Online Allocation Problems: Fairness and Beyond
Columbia Business School（哥伦比亚大学商学院）；Google Research（谷歌研究院）；University of Chicago Booth School of Business（芝加哥大学布斯商学院）；Google（谷歌）
具有资源约束的在线分配问题在运筹学中有着丰富的历史。在本文中，我们介绍了\emph{regularized online allocation problem}，一个变种，其中包括一个非线性正则化的总资源消耗。在这个问题中，请求会随着时间的推移重复到达，对于每个请求，决策者需要采取一个产生奖励并消耗资源的行动。我们的目标是同时最大化可加可分的回报和一个不可分的正则化的资源约束下的价值。我们的主要动机是允许决策者权衡可分离的目标，如分配的经济效率与辅助，不可分离的目标，如分配的公平或公正。我们设计了一个简单、快速的算法，并且在随机i.i.d.~和对抗性输入。特别是，我们的算法是渐近最优下随机i.i.d.当输入是对抗性的时，输入建模并获得取决于正则化器的固定竞争比。此外，该算法和分析不需要报酬函数和消费函数的凸性或凸性，这允许更大的模型灵活性。数值实验证实了所提出的算法和正则化在互联网广告应用中的有效性。
2021-11-05 cs.LG math.OC
Balance Regularized Neural Network Models for Causal Effect Estimation
DeepMind（深度思维）
从观察数据中估计个体和平均治疗效果是许多领域（如医疗保健和电子商务）中的一个重要问题。本文提出了多头神经网络结构的平衡正则化方法。我们的工作是出于表示学习技术，以减少处理和未处理的分布之间的差异，可能会出现由于混淆因素。我们通过鼓励模型预测治疗组中个体的控制结果来进一步正则化模型，这些控制结果与控制组中的控制结果相似。我们实证研究的偏差方差权衡不同权重的正则化，以及之间的归纳和转导的推理。
2020-11-23 cs.LG stat.ML
Privacy-Constrained Policies via Mutual Information Regularized Policy Gradients
Stanford University（斯坦福大学）
本文提出在策略梯度框架中引入互信息正则化器，在最大化奖励的同时最小化动作对敏感状态的披露，并开发了基于模型和无模型的优化估计器，实验证明其在高维任务中能有效隐藏敏感状态。
2024-04-16 cs.CR cs.LG
Regularized Sparse Gaussian Processes
Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）；University of California, Santa Cruz（加州大学圣克鲁兹分校）；Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）
高斯过程是一种灵活的贝叶斯非参数建模方法，已被广泛应用，但带来了计算上的挑战。为了解决精确推理方法的缩放性差的问题，基于稀疏高斯过程（SGP）的近似方法是有吸引力的。SGP面临的一个问题，特别是在潜变量模型中，是诱导输入的学习效率低下，这导致模型预测效果不佳。我们提出了一种正则化方法，通过平衡数据的重建性能和模型本身的近似性能。这种正则化提高了推理和预测性能。我们将这种正则化方法扩展到具有SGPs的潜变量模型中，并表明对这些模型执行变分推断（VI）相当于对相关经验贝叶斯模型执行VI。
2021-05-31 cs.LG stat.ML
Improved Best-of-Both-Worlds Guarantees for Multi-Armed Bandits: FTRL with General Regularizers and Multiple Optimal Arms
University of Southern California（南加州大学）；University of California, San Diego（加利福尼亚大学圣迭戈分校）
本文证明FTRL算法在广泛正则化器族和新学习率调度下无需唯一最优臂假设即可同时实现随机与对抗环境的最优遗憾界，并推广到解耦探索与利用问题。
2023-10-26 cs.LG stat.ML
Picasso: A Sparse Learning Library for High Dimensional Data Analysis in R and Python
Princeton University（普林斯顿大学）；Georgia Tech（佐治亚理工学院）；Tencent Artificial Intelligence Lab（腾讯人工智能实验室）
我们描述了一个名为picasso的新库，它为各种稀疏学习问题（例如，稀疏线性回归、稀疏逻辑斯谛回归、稀疏泊松回归和缩放稀疏线性回归）与有效的活动集选择策略相结合。此外，该库允许用户选择不同的稀疏诱导正则化，包括凸$\ell_1$，非凸MCP和SCAD正则化。该库是用C++编写的，并具有用户友好的R和Python包装器。数值实验表明，picasso可以有效地扩展到大型问题。
2020-06-27 cs.LG math.OC stat.ML
Fast Dual-Regularized Autoencoder for Sparse Biological Data
University of Northern Iowa（北爱荷华大学）
本文提出一种基于线性模型扩展的浅层自编码器，用于双邻域正则化矩阵补全，在药物-靶点相互作用和药物-疾病关联预测中展现出速度和准确性优势。
2024-03-13 cs.LG
Two-Layer Feature Reduction for Sparse-Group Lasso via Decomposition of Convex Sets
Arizona State University（亚利桑那州立大学）
稀疏组套索（SGL）已被证明是一种强大的回归技术，通过使用$\ell_1$和$\ell_2$范数的组合，可以同时发现组和组内稀疏模式。然而，在大规模的应用中，正则化的复杂性带来了巨大的计算挑战。本文通过分解SGL的对偶可行集，提出了一种新的SGL两层特征缩减方法（TLFre）。两层约简能够分别快速识别不活动的组和不活动的特征，它们保证不存在于稀疏表示中，并且可以从优化中移除。现有的特征约简方法仅适用于具有一个稀疏诱导正则化子的稀疏模型。据我们所知，TLFre是第一个能够处理多个稀疏诱导正则化器的正则化器。此外，TLFre具有非常低的计算成本，可以与任何现有的求解器集成。对于非负Lasso问题，我们还提出了一种筛选方法--DPC（Decomposition of Convex Set）。在合成数据集和真实数据集上的实验表明，TLFre和DPC将SGL和非负Lasso的效率提高了几个数量级。
2014-10-15 cs.LG
Fast Nonsmooth Regularized Risk Minimization with Continuation
Hong Kong University of Science and Technology（香港科技大学）
在正则化风险最小化中，当损失和正则化都是非光滑的时，相关的优化问题变得特别困难。现有的方法要么有缓慢或不明确的收敛特性，被限制到有限的问题子类，或需要仔细设置的平滑参数。在本文中，我们提出了一个连续算法，适用于一个大类的非光滑正则化风险最小化问题，可以灵活地使用一些现有的解决方案的基本平滑子问题，并与收敛结果的整个算法，而不仅仅是它的一个子问题。特别是，当使用加速求解器，该算法实现了最快的已知速率的$O(1/T^2)$强凸问题，和$O(1/T)$一般凸问题。非光滑分类和回归任务的实验表明，该算法优于国家的最先进的。
2016-02-25 cs.LG math.OC stat.ML
Empirical Bayes Estimation for Lasso-Type Regularizers: Analysis of Automatic Relevance Determination
Department of Computer Science and Engineering（计算机科学与工程系）
本文针对 lasso 和 group lasso 等稀疏正则化线性回归模型，推导了经验贝叶斯估计量，证明估计量在特定条件下发散从而触发自动相关性确定（ARD）机制，并系统阐明了 ridge、lasso 和 group lasso 产生 ARD 的条件。
2025-07-02 cs.IT cs.LG math.IT
Playing the Lottery With Concave Regularizers for Sparse Trainable Neural Networks
本文提出一类基于凹正则化松弛二值掩码的新方法，用于高效寻找彩票假设中的中奖稀疏子网络，理论分析结合实验证明其优于现有算法。
2025-01-19 cs.AI cs.LG
Sparse Recovery via Partial Regularization: Models, Theory and Algorithms
Simon Fraser University（西蒙弗雷泽大学）
在稀疏恢复的上下文中，已知大多数现有的正则化器（诸如$\ell_1$）遭受由相关联的向量的一些前导条目（在幅度上）引起的一些偏差。为了消除这种偏见，我们提出了一类模型与部分正则化恢复稀疏解的线性系。我们发现，这些模型的每一个局部极小是足够稀疏的或其所有的非零项的幅度是以上的一个统一的常数只依赖于数据的线性系。此外，对于一类部分正则化子，这些模型的任何全局极小解都是线性系的稀疏解。我们还建立了线性系稀疏解局部或整体恢复的充分条件，其中一个条件弱于$\ell_1$关于稀疏恢复的最佳限制等距性（RIP）条件.此外，一阶可行的增广拉格朗日（FAL）方法，提出了解决这些模型，其中每个子问题是由一个非单调近似梯度（NPG）方法求解。尽管部分正则化的复杂性，我们表明，在NPG中的每个邻近子问题可以解决一定数量的一维最优化问题，通常有一个封闭的形式的解决方案。我们还证明了FAL产生的序列的任何聚点都是模型的一阶平稳点。压缩感知和稀疏逻辑斯谛回归的数值结果表明，所提出的模型大大优于文献中广泛使用的解决方案的质量。
2015-11-23 cs.IT cs.LG math.IT
Path Consistency Learning in Tsallis Entropy Regularized MDPs
Google Brain（谷歌大脑）；Google DeepMind（谷歌DeepMind）
研究了稀疏熵正则化强化学习（ERL）问题，其中熵项是Tsallis熵的一种特殊形式.该公式的最优策略是稀疏的，即，~在每个状态下，只有少数动作具有非零概率。这解决了标准香农熵正则化RL（软ERL）公式的主要缺点，其中最佳策略是softmax，因此可能会将不可忽略的概率质量分配给非最佳动作。随着行动数量的增加，这一问题更加严重。在本文中，我们遵循Nachum等人的工作。（2017）在软ERL设置中，提出了一类新的路径一致性学习（PCL）算法，称为{ \em sparse PCL}，用于稀疏ERL问题，可以使用策略和策略外数据。我们首先推导出一个{ \em稀疏一致性}方程，该方程指定了沿任意系统轨迹的稀疏ERL的最优价值函数和策略之间的关系。至关重要的是，一个弱形式的逆也是真的，我们量化的次优的政策，满足稀疏一致性，并表明，随着我们的行动的数量增加，这种次优是优于软ERL最优的政策。然后，我们使用这个结果来推导稀疏PCL算法。我们经验比较稀疏PCL与其软对应，并显示其优势，特别是在大量的行动的问题。
2018-02-10 cs.AI cs.LG stat.ML
Network-regularized Sparse Logistic Regression Models for Clinical Risk Prediction and Biomarker Discovery
State Key Laboratory of Software Engineering, School of Computer, Wuhan University（武汉大学计算机学院软件工程国家重点实验室）；National Center for Mathematics and Interdisciplinary Sciences, Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院国家数学与交叉科学中心）
分子谱数据（例如，基因表达）已用于临床风险预测和生物标记物发现。然而，有必要整合其他先验知识，如生物学途径或基因相互作用网络，以提高生物标志物的预测能力和生物学可解释性。在这里，我们首先介绍一个带有正则化项$λ\|\bm{w}\|_1 + η\bm{w}^T\bm{M}\bm{w}$的通用正则化逻辑回归（LR）框架，它可以减少到不同的惩罚，包括Lasso，弹性网络和具有不同$\bm{M}$的网络正则化项。该框架可以通过循环坐标下降算法以统一的方式轻松求解，该算法可以避免逆矩阵运算并加快计算速度。然而，如果这些估计的$\bm{w}_i$和$\bm{w}_j$具有相反的符号，则传统的网络正则化惩罚可能不能很好地执行。为了解决这个问题，我们引入了一个新的网络正则化稀疏LR模型，一个新的惩罚$λ\|\bm{w}\|_1 + η|\bm{w}|^T\bm{M}|\bm{w}|$考虑系数的绝对值之间的差异。最后，我们用模拟数据和实际数据对本文提出的方法进行了测试，并与相关的算法进行了比较，验证了算法的有效性。
2016-09-21 cs.LG q-bio.GN stat.ML
Causal Regularization
Georgia Institute of Technology（佐治亚理工学院）；California Institute of Technology（加州理工学院）；Sutter Health（萨特健康）
在医疗保健等应用领域，我们需要精确的预测模型，这些模型也是因果可解释的。为了追求这样的模型，我们提出了一个因果正则化器，以引导预测模型走向因果可解释的解决方案，并从理论上研究其性质。在电子健康记录（EHR）的大规模分析中，我们的因果正则化模型在因果准确性方面优于其L1正则化模型，并且在预测性能方面具有竞争力。我们通过因果正则化一个特殊的神经网络结构来进行非线性因果分析。我们还表明，所提出的因果正则化可以与神经表示学习算法一起使用，在检测多变量因果关系时，多层感知器的性能提高了20%，这是医疗保健中常见的一种情况，其中许多因果因素应同时发生，对目标变量产生影响。
2017-02-23 cs.AI cs.LG cs.NE
Beyond the Hard Budget: Sparsity Regularizers for More Interpretable Top-k Sparse Autoencoders
Université Paris-Saclay, CentraleSupélec, France（巴黎-萨克雷大学，中央圣艾克苏佩里大学，法国）；Department of Computer Science and Software Engineering (CSSE), Concordia University, Montreal, QC, Canada（计算机科学与软件工程系，康科迪亚大学，加拿大）；Mila–Quebec AI Institute, Montreal, QC, Canada（魁北克人工智能研究所，加拿大）；Université Paris-Saclay, CentraleSupélec, Gustave Roussy, INSERM, IHU PRISM, Cancer Data Science Unit, France（巴黎-萨克雷大学，中央圣艾克苏佩里大学，路易·德·鲁斯医院，国家医学研究院，PRISM机构，癌症数据科学单位，法国）；Université Paris-Saclay, CentraleSupélec, MICS Laboratory, France（巴黎-萨克雷大学，中央圣艾克苏佩里大学，MICS实验室，法国）
针对Top-k稀疏自编码器固定预算k和过拟合问题，提出两种稀疏正则化器（ℓ1惩罚和ℓ1/ℓ2比例惩罚），在不损失重构质量的前提下提高单语义性，并增强对推理时k选择的鲁棒性。
2026-07-15 cs.AI cs.LG
Statistical Guarantees for Regularized Neural Networks
Ruhr-University Bochum（波鸿鲁尔大学）
神经网络已经成为数据分析的标准工具，但它们缺乏全面的数学理论。例如，从数据中学习神经网络的统计保证非常少，特别是对于在实践中使用或至少类似于此类的估计器的类别。在本文中，我们开发了一个一般的统计保证估计，包括一个最小二乘项和正则化。然后，我们用$\ell_1$ -正则化来证明这一保证，表明相应的预测误差在层的数量上最多以次线性方式增加，在参数的总数上最多以几何方式增加。我们的研究结果为神经网络的正则化估计建立了数学基础，它们加深了我们对神经网络和深度学习的数学理解。
2020-11-11 cs.LG cs.NE math.ST
MoToRec: Sparse-Regularized Multimodal Tokenization for Cold-Start Recommendation
MoToRec通过稀疏正则化的多模态分词方法，解决冷启动推荐中的数据稀疏性和新物品表示问题，提升推荐系统性能。
2026-03-03 cs.IR cs.LG
