Schatten-$p$ Quasi-Norm Regularized Matrix Optimization via Iterative Reweighted Singular Value Minimization
本文研究了Schatten-p准范数正则化的矩阵最小化问题，提出了一种迭代加权奇异值最小化方法，证明了其收敛性并展示了其在解质量和速度上的优势。
2016-10-31 cs.LG cs.NA math.NA
Inertial Quadratic Majorization Minimization with Application to Kernel Regularized Learning
本文提出QMME框架，通过固定曲率二次上界最小化结合外推，在保持低迭代成本的同时提升收敛速度，并成功应用于大规模核正则化学习，提出基于Sylvester方程的核多项回归建模方法。
2025-07-06 cs.LG math.OC stat.ML
Stochastic regularized majorization-minimization with weakly convex and multi-convex surrogates
University of Wisconsin - Madison（威斯康星大学麦迪逊分校）
随机优化最小化（SMM）是一类随机最优化算法，其通过采样新数据点并最小化目标函数的代理函数的递归平均来进行。代理需要是强凸的，一般非凸设置的收敛速度分析不可用。在本文中，我们提出了一个扩展的SMM代理人只允许是弱凸或块多凸，平均代理人近似最小化与近端正则化或块最小化内半径减小，分别。对于非独立同分布的一般非凸约束情形，数据样本，我们表明，所提出的算法的一阶最优性差距衰减率$O((\log n)^{1+ε}/n^{1/2})$的经验损失和$O((\log n)^{1+ε}/n^{1/4})$的预期损失，其中$n$表示处理的数据样本的数量。在一些附加的假设下，后者的收敛速度可以提高到$O((\log n)^{1+ε}/n^{1/2})$。作为推论，我们获得了一般非凸依赖数据设置下的各种最优化方法的第一收敛速度界：双平均投影梯度下降及其推广，近点经验风险最小化，和在线矩阵/张量分解算法。我们还提供了实验验证我们的结果。
2023-03-21 cs.LG math.OC stat.ML
A Distributed Quasi-Newton Algorithm for Primal and Dual Regularized Empirical Risk Minimization
National University of Singapore（新加坡国立大学）；Wisconsin Institute for Discovery（威斯康星发现研究所）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
我们提出了一个通信和计算效率的分布式优化算法，使用二阶信息解决经验风险最小化（ERM）问题的非光滑正则项。我们的算法是适用于原始和双重ERM问题。目前的二阶和拟牛顿方法，这个问题要么不工作，以及在分布式设置或工作，只有特定的正则化。我们的算法使用连续二次近似的光滑部分，我们描述了如何保持近似的（广义）海森和有效地解决子问题的分布式方式。当应用于分布式对偶ERM问题时，与仅采用Hessian的块对角部分的现有技术不同，我们的方法能够利用全局曲率信息，因此速度更快。所提出的方法具有全局线性收敛的广泛的非强凸问题，包括最常用的ERM，从而需要较低的通信复杂性。它还收敛于非凸问题，因此有可能用于深度学习等应用。计算结果表明，我们的方法显着改善了通信成本和运行时间比目前最先进的方法。
2019-12-12 cs.LG math.OC stat.ML
A generalization of regularized dual averaging and its dynamics
University of Missouri--Columbia（密苏里大学哥伦比亚分校）；Purdue University（普渡大学）
学习大数据和流数据的过度计算成本可以通过使用随机算法来减轻，例如随机梯度下降及其变体。最近的进展改进了随机算法的收敛速度，自适应性和结构意识。然而，这些新算法的分布方面知之甚少，特别是结构化参数。为了在这种情况下开发统计推断，我们提出了一类具有恒定步长的广义正则化对偶平均（gRDA）算法，它改进了RDA（Xiao，2010; Flammarion和Bach，2017）。gRDA轨迹的弱收敛进行了研究，因此，在文献中的第一次，在线l1惩罚问题的渐近分布变得可用。这些一般结果适用于凸和非凸可微损失函数，特别是，恢复了凸损失的现有遗憾界（Nemirovski等人，2009年）。作为重要的应用，在线稀疏线性回归和在线稀疏主成分分析的统计推断理论得到了发展，并得到了广泛的数值分析的支持。有趣的是，当gRDA被适当调整时，支持恢复和中心限制分布（均值为零）在在线设置中同时保持，这与批次Lasso的有偏中心限制分布形成对比（Knight和Fu，2000）。技术设备，包括随机镜像下降的弱收敛，作为具有独立兴趣的副产品开发。对现代图像数据的初步实证分析表明，通过gRDA学习非常稀疏的深度神经网络并不一定会牺牲测试精度。
2019-09-22 cs.LG stat.ML
$L_2$-Regularized Empirical Risk Minimization Guarantees Small Smooth Calibration Error
The University of Osaka（大阪大学）；RIKEN AIP（理化学研究所AIP）；Lattice Lab, Toyota Motor Corporation（丰田株式会社格子实验室）
本文首次从理论上证明 $L_2$ 正则化经验风险最小化可直接控制平滑校准误差，无需事后校正，并在核岭回归和核逻辑回归中给出具体保证，实验验证了其有效性。
2025-10-15 cs.LG math.ST stat.ML
A Unified View of Regularized Dual Averaging and Mirror Descent with Implicit Updates
Google, Inc.（谷歌公司）
我们研究了三个家庭的在线凸优化算法：跟随邻近正则化领导（FTRL-Proximal），正则化的双重平均（RDA），和复合目标镜像下降。我们首先证明等价定理，表明所有这些算法的实例一般FTRL更新。这为以前的实验观察提供了理论上的见解。特别是，尽管FOBOS复合镜像下降算法显式地处理L1正则化，但已经观察到RDA在产生稀疏性方面甚至更有效。我们的研究结果表明，FOBOS使用次梯度近似的L1罚款从以前的回合，导致较少的稀疏性比RDA，它处理的累积罚款在封闭的形式。FTRL-Proximal算法可以被视为这两种算法的混合，并且在大型真实世界数据集上的性能优于两者。我们的第二个贡献是一个统一的分析，产生遗憾的界限，匹配（对数项）或改善以前已知的最好的界限。这种分析还扩展了这些算法在两个重要的方面：我们支持更一般类型的复合目标，我们分析隐式更新，它取代了次梯度近似的当前损失函数的精确优化。
2011-09-20 cs.LG
Alternating minimization algorithms for graph regularized tensor completion
Huawei European Research Institute（华为欧洲研究院）；LISN, INRIA, Université Paris-Saclay（法国国家信息与自动化研究所，巴黎萨克雷大学）；LSEC, Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院科学与工程计算国家重点实验室）；Department of INMA, Université catholique de Louvain（鲁汶天主教大学）
针对图正则化张量补全问题，提出基于CP分解的交替最小化算法，利用块结构和共轭梯度或ADMM求解，保证全局收敛，并在合成与真实数据上提升恢复精度和时间效率。
2023-11-11 cs.LG cs.NA math.NA
On the Relationship Between CoCoA and ADMM for Distributed Empirical Risk Minimization
Department of Industrial & Systems Engineering, University of Wisconsin–Madison（工业与系统工程系，威斯康星大学麦迪逊分校）
本文从统一原始-对偶视角揭示CoCoA与ADMM两类分布式ERM算法的内在联系，证明岭正则化下CoCoA等价于特定近端ADMM方案，并给出ADMM型方法的统一收敛分析和早停准则。
2026-06-28 cs.LG math.OC stat.ML
A new analytical approach to consistency and overfitting in regularized empirical risk minimization
这项工作考虑的问题，二元分类：给定的训练数据$x_1, \dots, x_n$从一定的人口，连同相关的标签$y_1,\dots, y_n \in \left\{0,1 \right\}$，确定最好的标签为元素$x$不属于训练数据。更具体地说，这项工作考虑了一个变量的正则化的经验风险功能，这是固有的观测数据定义，并不依赖于底层人口。现代分析的工具被用来获得一个简洁的证明渐近一致性的正则化参数取零率相关的样本的大小。这些分析工具为理解过拟合和欠拟合提供了一个新的框架，并将过拟合的概念与紧性损失严格联系起来。
2016-07-01 math.ST stat.ML stat.TH
Sign-Constrained Regularized Loss Minimization
Gunma University（群马大学）；Tohoku University（东北大学）
在实际分析中，关于分析目标的领域知识经常被积累，尽管典型地，这些知识在统计分析阶段被丢弃，并且统计工具被用作黑盒。在本文中，我们引入了符号约束，这是一个方便和简单的表示非专家在一般的学习问题。我们已经开发了两个新的符号约束正则化损失最小化的优化算法，称为符号约束Pegasos（SC-Pega）和符号约束SDCA（SC-SDCA），通过简单地插入到原来的Pegasos和SDCA，分别符号校正步骤。我们提出的理论分析，保证插入的符号校正步骤不会降低这两种算法的收敛速度。两个应用程序中，符号约束学习是有效的。一种是利用解释变量与目标变量之间的相关性的先验信息。二是将符号约束引入到支持向量机的成对方法中。实验结果表明，在这两个应用程序中引入符号约束的泛化性能显着改善。
2017-10-12 cs.AI cs.LG
Bregman Distance to L1 Regularized Logistic Regression
Epson Research and Development, Inc.（爱普生研发有限公司）；University of Illinois, Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文研究了Bregman距离与正则化Logistic回归模型之间的关系。我们提出了一个详细的研究Bregman距离最小化，一个家庭的广义熵的措施与凸函数。我们将L1-正则化逻辑回归转换到这个更一般的框架中，并提出了一个基于原始-对偶方法的参数学习算法。我们将L1正则化逻辑回归转化为Bregman距离最小化，然后应用非线性约束优化技术来估计逻辑模型的参数。
2010-04-21 cs.LG
Obtaining Adjustable Regularization for Free via Iterate Averaging
Johns Hopkins University（约翰霍普金斯大学）；University of California, Los Angeles（加州大学洛杉矶分校）
正则化优化是机器学习中避免过拟合的关键技术。为了获得最佳性能，我们通常通过调整正则化参数来训练模型。然而，当一轮培训需要大量时间时，成本就会很高。最近，Neu和Rosasco证明，如果我们在线性回归问题上运行随机梯度下降（SGD），然后通过适当地平均SGD迭代，我们获得正则化的解决方案。它留下了开放是否可以实现同样的现象，为其他优化问题和算法。在本文中，我们建立了一个平均计划，可证明转换的SGD迭代在一个任意的强凸和光滑的目标函数，其正则化对应的可调正则化参数。我们的方法也可以用于加速和预处理优化方法。我们进一步表明，相同的方法根据经验适用于更一般的优化目标，包括神经网络。总之，我们获得了可调整的正则化免费为一大类优化问题，并解决了一个开放的问题提出的Neu和Rosasco。
2020-08-15 cs.LG stat.ML
On concentration for (regularized) empirical risk minimization
经验风险最小化的收敛速度在文献中已经得到了很好的研究。在本文中，我们的目标是提供一个补集的结果，特别是通过显示，归一化后，风险的经验最小集中在一个点。正态序列模型中约束估计的~ \cite{chatterjee2014new}已经建立了这样的结果。首先，我们推广和锐化这一结果，正则化最小二乘凸处罚，利用一个“直接”参数的基础上博雷尔定理。然后，我们研究推广到其他损失函数，包括负对数似然指数家庭结合严格凸正则化惩罚。在这个一般设置的结果是基于更多的“间接”的参数，以及浓度的最大值的经验过程的不平等。
2016-01-11 math.ST stat.TH
Stochastic Primal-Dual Proximal ExtraGradient Descent for Compositely Regularized Optimization
UC Berkeley（加州大学伯克利分校）；National University of Defense Technology（国防科技大学）；Stanford University（斯坦福大学）；National University of Singapore（新加坡国立大学）
我们考虑了广泛的正则化随机极小化问题的两个正则化项，其中之一是由一个线性函数。该优化模型抽象了人工智能和机器学习中的许多重要应用，例如融合Lasso，融合Logistic回归和一类图引导正则化最小化。这个模型的计算挑战有两个方面。一方面，与组合正则化项或期望目标函数相关联的邻近映射的封闭形式解是不可用的。另一方面，当输入数据样本的数量相当大时，目标中期望的全梯度的计算是非常昂贵的。为了解决这些问题，我们提出了一个随机变量的额外梯度型方法，即\textsf{Stochastic Primal-Dual Proximal ExtraGradient descent (SPDPEG)}，并分析其收敛性的凸和强凸目标。对于一般的凸目标，由\textsf{SPDPEG}产生的一致平均迭代以$O(1/\sqrt{t})$速率按期望收敛。而对于强凸目标，由\textsf{SPDPEG}产生的一致和非一致平均迭代分别以$O(\log(t)/t)$和$O(1/t)$速率收敛.所提出的算法的速度的顺序是已知的，以匹配一阶随机算法的最佳收敛速度。融合逻辑回归和图引导正则化逻辑回归问题的实验表明，该算法的性能非常有效，并始终优于其他竞争算法。
2018-02-01 cs.LG math.OC stat.ML
Iterate averaging as regularization for stochastic gradient descent
Universitat Pompeu Fabra（庞培法布拉大学）；Massachusetts Institute of Technology（麻省理工学院）；Istituto Italiano di Tecnologia（意大利理工学院）；Università degli Studi di Genova（热那亚大学）
我们提出并分析了经典的Polyak-Ruppert平均方案，广泛用于随机梯度方法的一个变体。而不是一个统一的平均值的迭代，我们考虑加权平均值，权重以几何方式衰减。在线性最小二乘回归的背景下，我们表明，这种平均计划具有相同的正则化效果，实际上是渐近等价的，岭回归。特别是，我们推导出有限样本的界限所提出的方法，匹配最好的已知结果正则化随机梯度方法。
2018-02-22 cs.LG stat.ML
On the Robustness of Regularized Pairwise Learning Methods Based on Kernels
包括支持向量机在内的正则化经验风险最小化方法在机器学习理论中占有重要地位。本文将研究基于核函数的正则化成对学习方法。一个例子是正则化的误差熵损失的最小化，最近吸引了相当多的兴趣，从一致性和学习率的观点。本文表明，这样的RPL方法具有额外的良好的统计鲁棒性，如果损失函数和核选择适当。我们处理两种情况下特别感兴趣的：（i）有界和非凸损失函数和（ii）无界凸损失函数满足一定的Lipschitz型条件。
2015-10-12 math.FA math.ST stat.ML
Beyond Least-Squares: Fast Rates for Regularized Empirical Risk Minimization through Self-Concordance
INRIA - Département d’Informatique de l’École Normale Supérieure（法国国家信息与自动化研究所 - 巴黎高等师范学院计算机系）；PSL Research University（巴黎文理研究大学）
我们考虑的学习方法的基础上正则化的凸经验风险的平方希尔伯特范数，设置，包括线性预测和非线性预测通过正定内核。为了超越一般的分析，从$n$的观察，导致收敛速度的超额风险为$O(1/\sqrt{n})$，我们假设个人的损失是自协调的，也就是说，他们的三阶导数是有界的二阶导数。此设置包括最小二乘以及所有广义线性模型，如logistic和softmax回归。对于此类损失，我们提供了偏差-方差分解，并表明最小二乘回归中常见的假设（例如源和容量条件）可以通过改进偏差项来适应以获得快速的非渐进收敛率。方差项或两者兼而有之。
2019-06-18 cs.AI cs.LG math.ST
SGD with Variance Reduction beyond Empirical Risk Minimization
CNRS（法国国家科学研究中心）；Ecole Polytechnique（巴黎综合理工学院）；Université Pierre et Marie Curie（皮埃尔和玛丽·居里大学）
我们引入了一个双随机邻近梯度算法优化的有限平均光滑凸函数，其梯度依赖于数值昂贵的期望。我们的主要动机是加速正则化Cox偏似然（生存分析中使用的核心模型）的优化，但我们的算法也可以用于不同的设置。所提出的算法是双重随机的，在这个意义上，梯度步骤是使用随机梯度下降（SGD）方差减少，其中内部的期望近似的蒙特卡洛马尔可夫链（MCMC）算法。我们得到了MCMC迭代次数保证收敛的条件，并得到了强凸性下的线性收敛速度和次线性收敛速度。我们说明了这样一个事实，我们的算法提高了国家的最先进的求解器正则化Cox偏似然从生存分析的几个数据集。
2016-11-08 cs.LG stat.ML
Online Regularized Nonlinear Acceleration
Princeton University（普林斯顿大学）；INRIA（法国国家信息与自动化研究所）；CentraleSupélec（巴黎中央理工-高等电力学院）；CNRS（法国国家科学研究中心）；École Normale Supérieure（巴黎高等师范学院）
正则化非线性加速（RNA）通过对梯度法等算法进行后处理迭代来估计函数的最小值。它可以被看作是安德森加速的正则化版本，安德森加速是数值分析的经典加速方案。新方案可证明地提高了固定步长梯度下降法的收敛速度，其经验性能可与拟牛顿法相媲美。然而，RNA不能加速更快的多步算法，如Nesterov的方法，并且在这种情况下经常出现分歧。在这里，我们调整RNA来克服这些问题，使我们的计划可以用于快速算法，如梯度法与动量。我们证明了一般凸极小化问题的二次型和渐近最优速率的最优复杂性界。此外，这一新方案在网上工作，即，外推解估计可以在每次迭代时重新注入，从而显著提高了经典加速方法的数值性能。
2019-06-21 cs.LG math.OC stat.ML
CR-SAM: Curvature Regularized Sharpness-Aware Minimization
Missouri University of Science and Technology（密苏里科技大学）
本文提出CR-SAM，通过引入归一化Hessian迹作为正则化项，应对损失景观非线性，提升SAM泛化能力，并在CIFAR和ImageNet上验证了其对ResNet和ViT模型的分类性能提升。
2023-12-23 cs.CV cs.LG
Fundamental Limits of Ridge-Regularized Empirical Risk Minimization in High Dimensions
University of California, Santa Barbara（加州大学圣巴巴拉分校）
经验风险最小化（ERM）算法广泛用于信号处理和机器学习应用中的各种估计和预测任务。尽管它们很受欢迎，但在测量数量和未知参数数量都很大的现代制度中解释它们的统计特性的理论只是最近才出现的。本文首次刻画了高维广义线性模型中凸ERM推理的统计精度的基本极限。对于具有高斯特征和问题维度的程式化设置，这些特征和问题维度以成比例的速度增长，我们从尖锐的性能特征开始，然后推导出估计和预测误差的严格下限，这些估计和预测误差适用于广泛的一类损失函数和正则化参数的任何值。我们的精确分析有几个特点。首先，它导致了最佳调整损失函数和正则化参数的配方。其次，它允许精确地量化流行的启发式选择的次优性：例如，我们表明，最优调整的最小二乘是（也许令人惊讶的）近似最优的标准逻辑数据，但次优差距急剧增长的信号强度增加。第三，我们使用的界限，以精确地评估脊正则化的优点作为一个函数的过参数化比率。值得注意的是，我们的界限表示的随机变量的费舍尔信息，是简单的函数的数据分布，从而在经典统计学中相应的界限。
2020-07-05 cs.IT cs.LG eess.SP
A unified framework for hard and soft clustering with regularized optimal transport
Safran Tech（赛峰科技）；Univ. Bordeaux（波尔多大学）；CNRS（法国国家科学研究中心）；INRIA（法国国家信息与自动化研究所）；Bordeaux INP（波尔多理工学院）；IMB（数学与计算机科学研究所）；BackMarket（BackMarket公司）；Brain Corp（Brain Corp公司）
该研究将离散数据的有限混合模型推断构建为熵正则化最优传输问题，提出统一硬软聚类的广义λ-EM算法族，证明其收敛性与闭式解，实验验证不同λ取值的性能优势。
2024-03-07 cs.LG stat.ML
Regularized Loss Minimizers with Local Data Perturbation: Consistency and Data Irrecoverability
Purdue University（普渡大学）
我们引入了一个新的概念，数据不可恢复性，并表明，充分研究的数据隐私的概念是足够的，但不是必要的数据不可恢复性。我们表明，有几个正则化损失最小化问题，可以使用扰动数据与理论保证的推广，即，损失一致性我们的研究结果定量连接的学习问题的收敛速度的不可能性，为任何对手恢复原始数据从扰动观测。此外，我们展示了几个例子，其中扰动数据的收敛速率仅在与扰动量相关的常数因子内增加原始数据的收敛速率，即，噪声
2020-10-27 cs.LG stat.ML
Stochastic Primal-Dual Method for Empirical Risk Minimization with $\mathcal{O}(1)$ Per-Iteration Complexity
The Chinese University of Hong Kong（香港中文大学）；Tencent AI Lab（腾讯人工智能实验室）；University of California, Davis（加州大学戴维斯分校）；University of Rochester（罗切斯特大学）
带线性预测的正则化经验风险最小化问题是机器学习中经常出现的问题。在本文中，我们提出了一个新的随机原始-对偶方法来解决这类问题。与现有的方法不同，我们提出的方法在每次迭代中只需要O（1）操作。我们还开发了一个方差减少变量的算法，线性收敛。数值实验表明，我们的方法比现有的，如近端SGD，SVRG和SAGA高维问题的速度。
2018-11-03 cs.LG math.OC
Nearly Optimal Learning using Sparse Deep ReLU Networks in Regularized Empirical Risk Minimization with Lipschitz Loss
该研究提出带Lipschitz损失的正则化经验风险最小化下的稀疏深度ReLU网络估计器，推导其非渐近超额风险界，得到近最优收敛速率，可少参数深网络实现回归估计并缓解过拟合。
2024-12-09 stat.ME
Averaging on the Bures-Wasserstein manifold: dimension-free convergence of gradient descent
Massachusetts Institute of Technology（麻省理工学院）
本文针对Bures-Wasserstein流形上高斯分布重心的优化问题，证明了新的测地凸性结果，首次为黎曼梯度下降建立了无维度收敛速率，并扩展到熵正则化重心和几何中位数问题。
2023-10-31 cs.LG math.OC
Mutation-Driven Follow the Regularized Leader for Last-Iterate Convergence in Zero-Sum Games
CyberAgent, Inc.（赛博艾坚特公司）；University of Electro-Communications（电气通信大学）
在这项研究中，我们考虑了两人零和游戏中遵循正规化领导者（FTRL）动态的一种变体。当对策略进行时间平均时，FTRL保证收敛到纳什均衡，而许多变体遭受极限循环行为的问题，即，缺乏最后的收敛保证。为此，我们提出了突变FTRL（M-FTRL），一种算法，引入突变的动作概率的扰动。然后，我们调查的连续时间动态的M-FTRL和提供强收敛保证平稳点，近似纳什均衡下的全信息反馈。此外，我们的模拟表明，M-FTRL可以享受更快的收敛速度比FTRL和乐观的FTRL下的全信息反馈和令人惊讶的强盗反馈下表现出明显的收敛。
2022-06-18 cs.GT cs.LG stat.ML
Analysis of Regularized Least Squares in Reproducing Kernel Krein Spaces
KU Leuven（鲁汶大学）；Fudan University（复旦大学）；Shanghai Jiao Tong University（上海交通大学）
本文研究再生核Krein空间（RKKS）中具有不定核的正则化最小二乘的渐近性质。通过引入一个有界超球面约束，证明了该问题存在一个全局最优解，且在球面上具有一个封闭形式，从而使得在RKKS中进行近似分析成为可能.对于由不定内积引入的正则化子，我们改进了传统的误差分解技术，基于矩阵扰动理论证明了引入假设误差的收敛性，并推导了RKKS中这类正则化回归问题的学习率.在一定条件下，RKKS中导出的学习率与再生核Hilbert空间（RKHS）中的学习率相同，这实际上是RKKS中正则化学习算法近似分析的第一个工作.
2020-11-24 cs.LG math.ST stat.ML
Fast Nonsmooth Regularized Risk Minimization with Continuation
Hong Kong University of Science and Technology（香港科技大学）
在正则化风险最小化中，当损失和正则化都是非光滑的时，相关的优化问题变得特别困难。现有的方法要么有缓慢或不明确的收敛特性，被限制到有限的问题子类，或需要仔细设置的平滑参数。在本文中，我们提出了一个连续算法，适用于一个大类的非光滑正则化风险最小化问题，可以灵活地使用一些现有的解决方案的基本平滑子问题，并与收敛结果的整个算法，而不仅仅是它的一个子问题。特别是，当使用加速求解器，该算法实现了最快的已知速率的$O(1/T^2)$强凸问题，和$O(1/T)$一般凸问题。非光滑分类和回归任务的实验表明，该算法优于国家的最先进的。
2016-02-25 cs.LG math.OC stat.ML
Persistent Reductions in Regularized Loss Minimization for Variable Selection
在多面体规范的正则化损失最小化的背景下，我们表明，对于广泛的损失函数类（可能是非光滑和非凸的）并且在输入数据的简单几何条件下，可以有效地识别特征的子集，该特征的子集被保证在具有来自所述类别的损失函数的所有问题中的所有最优解中具有零系数，在对原始问题执行任何迭代优化之前。此过程是独立的，只接受数据作为输入，不需要调用任何loss函数。因此，我们把这个过程作为上述一类正则化损失最小化问题的持续约简。这种减少可以有效地实现通过极端射线识别子程序应用于从数据点形成的多面体锥。我们采用现有的输出敏感算法的极端射线识别，这使得我们的保证和算法适用于超高维问题。
2020-11-30 cs.LG math.OC stat.ML
Extended Regularized Dual Averaging Methods for Stochastic Optimization
提出了一种求解正则化随机最优化问题的新算法--扩展正则化对偶平均法（XRDA），它推广了正则化对偶平均法（RDA）。该方法的主要新颖之处在于它允许灵活地控制向后步长。例如，RDA中使用的后向步长无限制地增长，而对于XRDA，后向步长可以保持有限制。我们的实验表明，额外的控制后向步长可以显着提高收敛速度的算法，同时保持所需的属性的迭代，如稀疏。理论上，我们表明，XRDA方法实现了相同的收敛速度RDA一般凸目标。
2022-07-13 math.OC
Regularized Learning Schemes in Feature Banach Spaces
本文提出了一个统一的框架，研究约束学习理论的自反巴拿赫空间的特征，通过正则化的经验风险最小化。重点是完全凸函数的Tikhonov正则化。这类广泛的正则化器为各种先验特征提供了灵活的模型，特别是包括硬约束和Banach范数的幂。在这样的背景下，主要结果建立了一个新的一般形式的表示定理和一致性的相应的学习计划在一般条件下的损失函数，几何的特征空间，和模的总凸的正则化。此外，所提出的分析提供了新的见解基本工具，如再生巴拿赫空间，特征映射，和普遍性。即使专门用于希尔伯特空间，这个框架也产生了新的结果，扩展了现有技术。
2016-10-19 math.ST stat.TH
Solving the L1 regularized least square problem via a box-constrained smooth minimization
本文对L1正则化最小二乘问题提出了一个等价的光滑极小化方法。所提出的问题是一个凸盒约束光滑最小化，允许应用快速最优化方法找到它的解决方案。进一步研究了L1正则化最小二乘问题的“对偶的对偶是原始的”性质。光滑问题的求解器提出，并显示其亲和力的近端梯度。最后，对L1和全变差正则化问题进行了实验，并给出了相应的结果。
2021-10-20 cs.CV math.OC
Distributed Majorization-Minimization for Laplacian Regularized Problems
我们考虑最小化块可分离的凸函数（可能不可微，并包括约束）加拉普拉斯正则化，一个问题，出现在应用程序中，包括模型拟合，正则化分层模型，和多期投资组合优化的问题。我们开发了一个分布式优化最小化方法，这个一般性的问题，并得出一个完整的，自包含的，一般的，简单的收敛性证明。我们的方法是能够扩展到非常大的问题，我们说明了我们的方法在两个应用程序，证明其可扩展性和准确性。
2018-03-30 math.OC
KL property of exponent $1/2$ of $\ell_{2,0}$-norm and DC regularized factorizations for low-rank matrix recovery
South China University of Technology（华南理工大学）
本文研究秩正则化损失最小化问题的因式分解形式。为了满足只有粗略估计可用于真矩阵的秩的情况，将$\ell_{2,0}$范数正则化项添加到因子化的损失函数以自适应地降低秩;并且考虑因子分解中的模糊性，然后引入平衡项。对于最小二乘损失，在对采样算子的条件数作一定限制的假设下，建立了非光滑分解复合函数的指数$1/2$及其等价DC重构在其全局极小点集上的KL性质.我们还证实了理论研究结果，通过应用一个近似的线性化交替最小化方法的正则化因式分解。
2019-08-24 cs.LG math.OC stat.ML
Regularized Q-learning through Robust Averaging
University of Konstanz（康斯坦茨大学）
提出2RA Q-learning算法，通过分布稳健估计器控制估计偏差，在计算成本相当的情况下收敛于最优策略，性能优于现有方法。
2024-05-29 cs.LG math.OC
Regularized Adaptive Momentum Dual Averaging with an Efficient Inexact Subproblem Solver for Training Structured Neural Network
National Taiwan University（台湾大学）；Institute of Statistical Mathematics（统计数理研究所）
本文提出正则化自适应动量对偶平均算法 RAMDA，通过设计非精确子问题求解器和利用流形识别理论，在保证收敛的同时获得局部最优模型结构，并在大规模视觉、语言和语音任务中优于现有方法。
2024-12-26 cs.LG math.OC
Several classes of stationary points for rank regularized minimization problems
对于秩正则化极小化问题，我们通过问题本身及其等价的变换形式引入了几种稳定点，包括带平衡约束的数学规划（MPEC）、MPEC的全局精确罚函数、通过消除精确罚函数中的对偶部分而产生的替代函数.为这些平稳点建立了一个清晰的关系图，指导用户选择合适的重构来寻求低秩解。作为一个副产品，我们还提供了一个较弱的条件，局部极小的MPEC是M-稳定点的特征的方向限制法锥的图的法锥映射的半正定（PSD）锥。
2019-06-26 math.OC
A General Distributed Dual Coordinate Optimization Framework for Regularized Loss Minimization
Tencent AI Lab（腾讯人工智能实验室）
在现代大规模机器学习应用中，训练数据通常被划分并存储在多台机器上。通常采用“数据并行“方法，其中在不跨机器移动数据的情况下最小化聚合的训练损失。在本文中，我们介绍了一种新的分布式对偶公式的正则化损失最小化问题，可以直接处理数据并行在分布式设置。这个公式使我们能够系统地推导出对偶坐标优化程序，我们称之为分布式交替对偶最大化（DADM）。该框架扩展了（Boyd等人，2011; Ma等人，2015 a; Jaggi等人，2014; Yang，2013），并进行了严格的理论分析。此外，在新公式的帮助下，我们通过将加速技术（Shalev-Shwartz和Zhang，2014）推广到分布式设置来开发DADM的加速版本（Acc-DADM）。我们还提供了所提出的加速版本的理论结果，新结果改进了以前的结果（Yang，2013; Ma等人，2015 a），其运行时间在条件数上线性增长。我们的实证研究验证了我们的理论，并表明，我们的加速方法显着改善了以前的国家的最先进的分布式双坐标优化算法。
2017-08-25 cs.DC cs.LG math.OC
A Regularized Limited Memory Subspace Minimization Conjugate Gradient Method for Unconstrained Optimization
本文基于有限记忆技术和子空间最小共轭梯度法，提出了一种正则化有限记忆子空间最小共轭梯度法，它包含两种迭代方式。在SMCG迭代中，我们通过最小化近似二次模型或近似正则化模型来获得搜索方向。在RQN迭代中，结合正则化技术和BFGS方法，在子空间中采用了一种改进的正则化拟牛顿法，以提高算法的正交性。此外，设计了一些简单的加速准则和一种改进的初始步长选择策略，以提高算法的效率。此外，利用广义非单调线搜索，并在较弱的条件下证明了算法的整体收敛性。最后，数值结果表明，该算法比ASMCG_PR算法有明显的改进，并且优于CUTEr库的有限内存共轭梯度软件包CG_DESCENT（6.8）和CGOPT（2.0）.
2023-01-07 math.OC
String-Averaging Projected Subgradient Methods for Constrained Minimization
我们认为有约束的最小化问题，并建议取代投影到整个可行域，在投影次梯度法（PSM）中所需的，由投影到个人集的交集形成整个可行域。具体而言，我们建议执行这样的投影到个人集的算法制度的可行性寻求迭代投影方法。为此，我们使用最近开发的动态串平均投影（DSAP）方法，其中迭代索引因变量字符串和可变权重是允许的。这就产生了一种算法方案，从算法结构的角度来看，它概括了Helou Neto和De Pierro，Nedić，Nurminski和Ram等人的早期工作。
2013-08-29 math.OC
An Accelerated Proximal Coordinate Gradient Method and its Application to Regularized Empirical Risk Minimization
考虑两个凸函数之和的最小化问题：一个是光滑的，由梯度预言机给出，另一个是在坐标块上可分的，在每个块上有一个简单的已知结构.我们发展了一个加速的随机邻近坐标梯度（APCG）方法来最小化这样的凸复合函数。对于强凸函数，我们的方法实现了更快的线性收敛速率比现有的随机邻近坐标梯度法。没有强凸性，我们的方法享有加速的次线性收敛速度。我们展示了如何应用APCG方法来解决正则化经验风险最小化（ERM）问题，并设计有效的实现，避免全维向量运算。对于病态的ERM问题，我们的方法获得了改进的收敛速度比最先进的随机双坐标上升（SDCA）方法。
2014-07-04 math.OC
Distributed Block-diagonal Approximation Methods for Regularized Empirical Risk Minimization
近年来，越来越需要在大量数据上训练机器学习模型。因此，为经验风险最小化（ERM）设计高效的分布式优化算法已成为一个活跃且具有挑战性的研究课题。本文通过解决对偶问题，提出了一个灵活的分布式ERM训练框架，对现有的方法进行了统一的描述和比较。我们的方法只需要近似解的优化过程中涉及的子问题，是通用的，可应用于许多大规模的机器学习问题，包括分类，回归，结构化预测。我们表明，我们的方法享有更广泛的一类问题的全局线性收敛，并实现更快的经验性能，与现有的作品相比。
2019-11-16 math.OC
Regularized methods via cubic model subspace minimization for nonconvex optimization
针对非凸优化自适应三次正则化方法的试探步计算问题，提出低维子空间重复利用的三次模型最小化新方法，辅以正则化牛顿步，保留经典方法最坏情况复杂度，实验表明其相比标准实现优势显著。
2024-11-28 cs.NA math.NA math.OC
Unsupervised Feature Selection via Nonnegative Orthogonal Constrained Regularized Minimization
本文提出了一种基于非负正交约束正则化最小化的无监督特征选择模型，采用不精确增广拉格朗日乘子法求解并证明了其全局收敛性，实验表明该方法具有稳定性和鲁棒性且优于现有最先进方法。
2024-03-25 math.OC
On solving a rank regularized minimization problem via equivalent factorized column-sparse regularized models
本文研究秩正则化最小化的矩阵分解列稀疏模型，建立其与原问题及非凸松弛在全局极小点和强驻点意义下的等价性，并提出两种自适应高效算法。
2024-05-20 math.OC
Bregman Finito/MISO for nonconvex regularized finite sum minimization without Lipschitz gradient continuity
该研究提出两种基于相对光滑性的非凸正则化有限和最小化算法，以Bregman Moreau包络为Lyapunov函数简化分析，在不同采样和凸性条件下得到收敛结果。
2022-03-02 math.OC
Adaptive iterative singular value thresholding algorithm to low-rank matrix recovery
从线性约束中恢复低秩矩阵的问题，称为仿射矩阵秩最小化问题，近年来受到了广泛的关注。一般来说，仿射矩阵秩最小化问题是一个NP难问题。在我们的最新工作中，研究了一个非凸分式函数来近似仿射矩阵秩最小化问题中的秩函数，并将NP难仿射矩阵秩最小化问题转化为一个变换的仿射矩阵秩最小化问题。提出了一种迭代奇异值阈值算法来解决正则化变换仿射矩阵秩最小化问题。然而，我们的迭代奇异值阈值算法的缺点之一是，参数$a$，它影响的行为的非凸分数函数的正则化变换仿射矩阵秩最小化问题，需要手动确定在每个模拟。实际上，如何确定最优参数$a$并不是一个容易的问题。在这里，相反，在本文中，我们将产生一个自适应迭代奇异值阈值算法来解决正则化变换仿射矩阵秩最小化问题。当这样做时，我们的新算法对于正则化参数$λ$和参数$a$的选择都是智能的。
2020-01-30 math.OC
A multilevel stochastic regularized first-order method with application to finite sum minimization
ISTI–CNR（意大利国家研究委员会信息系统技术研究所）；ENS de Lyon, Univ Lyon, UCBL, CNRS, Inria, LIP（里昂高等师范学院，里昂大学，里昂第一大学，法国国家科学研究中心，法国国家计算机科学与自动化研究所，计算与交互实验室）
本文提出了一种多级随机正则化一阶方法，用于解决非凸无约束优化问题，通过分层描述和随机模型实现更高效的收敛和计算。
2025-11-26 cs.NA math.NA math.OC
Group zero-norm regularized robust loss minimization: proximal MM method and statistical error bound
本文研究组零范数正则化鲁棒损失最小化问题，提出近端MM算法求解等价DC代理优化问题，证明其在KL性质下的全局收敛性并推导统计误差界，数值实验验证了其优于pADMM的计算效率。
2025-05-29 math.OC
A proximal MM method for the zero-norm regularized PLQ composite optimization problem
研究了一类零范数正则化分段线性二次（PLQ）复合极小化问题，其中零范数正则化$\ell_1$ -损失极小化问题是其特例.对于这类非凸非光滑问题，我们证明了其等价的MPEC重构在全局最优解集上是部分平静的，并利用这一性质导出了一族等价的DC代理。然后，我们提出了一个近似的优化最小化（MM）方法，凸松弛方法不在DC算法框架，解决一个DC代理人，这是一个包含三个非光滑项的最小化问题。对于这种方法，我们建立了它的整体收敛和线性收敛速率，并在适当的条件下证明了生成序列的极限不仅是局部最优值，而且是统计意义上的好的临界点。数值实验进行了合成和真实数据的近端MM方法的子问题解决的对偶半光滑牛顿方法，以确认我们的理论研究结果，并与收敛的不定近端ADMM部分平滑DC代理验证其优越性的解决方案的质量和计算时间。
2020-01-17 math.OC
A derivative-free optimization algorithm for the efficient minimization of functions obtained via statistical averaging
本文考虑平稳遍历过程在影响它的几个设计参数的空间中的无穷时间平均的有效极小化问题.这类问题是工程应用中普遍存在的问题，它们来自于物理或数值实验，有时执行起来很昂贵.在这样的问题中，任何给定的函数评估，确定有限的采样，与可量化的不确定性，这可以通过额外的采样减少。本文提出了一种新的优化算法，以调整与每个函数评估相关的采样量，使函数评估更准确（因此，更昂贵），根据需要，随着收敛。我们的工作建立在我们的算法基于Delaunay通过全局代理无导数优化（$Δ$ -DOGS）。新的算法，被称为$α$ -DOGS，大大降低了这一重要类别的问题的优化过程的整体成本。此外，在一定的定义良好的条件下，严格的证明收敛到全局极小值的问题考虑成立。
2019-10-28 math.OC
Policy as Data: Replay-Based Policy Dual Averaging via Advantage Regression
Harvard University（哈佛大学）；Carnegie Mellon University（卡内基梅隆大学）
提出RDA2C算法，将重放数据作为对偶目标，通过优势回归累积策略改进，在MuJoCo和Atari基准上超越PPO等基线。
2026-10-06 cs.AI cs.LG math.OC
