Implicit Gradient Regularization
DeepMind（深度思维）；Google（谷歌）
梯度下降在优化深度神经网络方面可以非常出色，而不会过度拟合，也不会显式正则化。我们发现梯度下降的离散步骤通过惩罚具有大损失梯度的梯度下降轨迹来隐式地正则化模型。我们称之为隐式梯度正则化（IGR），我们使用向后误差分析来计算这个正则化的大小。我们证实经验，隐式梯度正则化偏向梯度下降平坦的最小值，测试误差小，解决方案是强大的噪声参数扰动。此外，我们证明了隐式梯度正则化项可以用作显式正则化，使我们能够直接控制这个梯度正则化。更广泛地说，我们的工作表明，向后误差分析是一个有用的理论方法，学习率，模型大小和参数正则化如何相互作用，以确定使用梯度下降优化的过参数化模型的属性。
2022-07-18 cs.LG stat.ML
The Implicit Regularization of Momentum Gradient Descent with Early Stopping
Northeast Normal University（东北师范大学）；Beihua University（北华大学）
基于梯度优化的隐式正则化问题是一个长期的研究课题。本文通过与显式$\ell_2$正则化（岭）的比较，刻画了具有提前停止的动量梯度下降（MGD）的隐式正则化。详细地说，我们在连续时间视图中研究了MGD，即所谓的动量梯度流（MGF），并表明其趋势比梯度下降（GD）更接近山脊[Ali等人，[2019]最小二乘回归此外，我们证明了，在校准$t=\sqrt{2/λ}$下，其中$t$是MGF中的时间参数，$λ$是岭回归中的调整参数，MGF的风险不超过岭的1.54倍。特别地，在最优调整下，MGF对脊的相对贝叶斯风险在1和1.035之间。数值实验有力地支持了我们的理论结果。
2022-01-14 cs.LG stat.ML
Anderson acceleration of coordinate descent
Université Paris-Saclay（巴黎-萨克雷大学）；Inria（法国国家信息与自动化研究所）；CEA（法国原子能与替代能源委员会）；University of Genova（热那亚大学）
一阶方法的加速主要通过Nesterov惯性技术或通过非线性外推获得。后者已经知道最近的兴趣激增，成功应用于梯度和近端梯度技术。在多个机器学习问题上，坐标下降的性能明显优于全梯度方法。在实践中加速坐标下降并不容易：惯性加速的坐标下降在理论上是加速的，但可能并不总是导致实际的加速。我们提出了一个加速版本的坐标下降使用外推，在实践中表现出相当大的速度，惯性加速坐标下降和外推（近端）梯度下降相比。在最小二乘、Lasso、弹性网和逻辑斯谛回归上的实验验证了该方法的有效性。
2021-10-28 cs.LG stat.ML
Avoiding The Double Descent Phenomenon of Random Feature Models Using Hybrid Regularization
Emory University（埃默里大学）
我们证明了混合正则化方法自动避免随机特征模型（RFM）训练中出现的双下降现象的能力。双下降现象的标志性特征是在插值阈值处正则化间隙中的尖峰，即当RFM中的特征的数量等于训练样本的数量时。为了弥补这一差距，本文考虑的混合方法结合了两种最常见的正则化形式：早期停止和权重衰减。该方案不需要超参数调整，因为它自动选择停止迭代和权重衰减超参数，通过使用广义交叉验证（GCV）。这也避免了专用验证集的必要性。虽然混合方法的好处已经很好地证明了不适定逆问题，但我们的工作提出了机器学习的第一个用例。为了揭示正则化的必要性和激励混合方法，我们进行了详细的数值实验启发图像分类。在这些例子中，混合方案成功地避免了双下降现象，并产生RFM，其推广与经典的正则化方法，其超参数最佳地使用测试数据调整。我们提供了我们的MATLAB代码实现本文中的数值实验在https://github.com/EmoryMLIP/HybridRFM。
2020-12-11 cs.LG stat.ML
Implicit Regularization Properties of Variance Reduced Stochastic Mirror Descent
在机器学习和统计数据分析中，我们经常遇到目标函数是求和：求和中的项数可能等于样本量，这可能是巨大的。在这样的设置中，随机镜像下降（SMD）算法是一种数值上有效的方法-每次迭代涉及数据的一个非常小的子集。方差减少版本的SMD（VRSMD）可以通过诱导更快的收敛来进一步改善SMD。另一方面，梯度下降和随机梯度下降等算法具有隐式正则化特性，这导致在泛化误差方面具有更好的性能。很少有人知道这样的属性是否适用于VRSMD。本文证明了离散VRSMD估计序列收敛于线性回归中的最小镜像插值。这建立了VRSMD的隐式正则化属性。作为上述结果的应用，我们导出了当真实模型稀疏时的设置中的模型估计精度结果。我们用数值例子来说明VRSMD的经验功率。
2022-04-29 cs.LG stat.ML
Accelerated Randomized Coordinate Descent Algorithms for Stochastic Optimization and Online Learning
Indian Institute of Science（印度科学学院）
我们提出了加速随机坐标下降算法的随机优化和在线学习。我们的算法有显着减少每迭代的复杂性比已知的加速梯度算法。所提出的在线学习算法具有更好的后悔性能比已知的随机在线坐标下降算法。此外，所提出的随机优化算法表现出良好的收敛速度，最有名的随机坐标下降算法。我们还展示了仿真结果来证明所提出的算法的性能。
2018-07-16 cs.LG stat.ML
Implicit Regularization in Matrix Sensing via Mirror Descent
University of Oxford（牛津大学）
我们研究离散时间镜像下降应用于矩阵传感的非正则化经验风险。在矩形矩阵的一般情况下和半正定矩阵的特殊情况下，根据Bregman散度进行的简单的基于势的分析允许我们建立镜像下降的收敛-具有不同的镜像映射选择-到一个矩阵，在经验风险的所有全局最小化中，最小化与核范数，Frobenius范数，和冯·诺依曼熵在这两种情况下，这种特征意味着镜像下降，一阶算法最小化非正则化的经验风险，恢复低秩矩阵在同一组假设下，足以保证恢复核范数最小化。当感测矩阵是对称的和可交换的，我们表明，梯度下降与满秩因子化参数化是一个一阶近似镜像下降，在这种情况下，我们得到一个明确的表征的隐式偏差梯度流作为副产品。
2021-10-27 cs.LG stat.ML
Nonconvex Rectangular Matrix Completion via Gradient Descent without $\ell_{2,\infty}$ Regularization
UC Davis（加州大学戴维斯分校）；Zhejiang University（浙江大学）
非凸矩阵完备化的分析由于其计算上的方便性，近年来在机器学习领域引起了广泛的关注。然而，对该问题的现有分析通常依赖于涉及未知模型参数的$\ell_{2,\infty}$投影或正则化，尽管观察到它们在数值模拟中是不必要的，参见例如，Zheng和Lafford [2016]。本文将Ma et al. [2017]提出的半正定矩阵完备的香草梯度下降分析扩展到矩形情况，更重要的是，将所需的采样率从$O(\operatorname{poly}(κ)μ^3 r^3 \log^3 n/n )$提高到$O(μ^2 r^2 κ^{14} \log n/n )$。我们的技术思想和贡献是潜在的有用的，在其他相关问题的改进留一法分析。
2020-05-20 cs.LG stat.ML
SySCD: A System-Aware Parallel Coordinate Descent Algorithm
IBM Research（IBM研究院）；UC Berkeley（加州大学伯克利分校）
在本文中，我们提出了一种新的并行随机坐标下降（SCD）算法的收敛保证，表现出很强的可扩展性。我们首先研究了一个国家的最先进的并行实现SCD和确定的可扩展性以及系统级的性能瓶颈，各自的实施。然后，我们采取一种原则性的方法来开发一个新的SCD变体，其目的是为了避免所识别的系统瓶颈，如有限的扩展，由于跨线程的模型共享的一致性流量，以及低效的CPU缓存访问。我们提出的系统感知并行坐标下降算法（SySCD）可扩展到多个核心和跨numa节点，并在一系列数据集和多核CPU架构上提供一致的底线加速，与优化的异步并行SCD算法相比，训练时间高达x12，与最先进的GLM求解器（scikit-learn，Vowpal Wabbit和H2O）相比，训练时间高达x42。
2019-11-18 cs.DC cs.LG stat.ML
Efficient and Practical Stochastic Subgradient Descent for Nuclear Norm Regularization
IBM T.J. Watson Research Center（IBM托马斯·J·沃森研究中心）
我们描述了新的次梯度方法的广泛的一类矩阵优化问题，涉及核范数正则化。与现有的方法不同，我们的方法通过将低秩随机次梯度与高效的增量SVD更新相结合来执行非常便宜的迭代，通过对小矩阵进行高度优化和可并行化的密集线性代数运算来实现。我们的实用算法始终保持迭代的低秩因式分解，可以方便地保存在内存中，并有效地相乘以生成矩阵完成设置中的预测。实证比较证实，我们的方法是非常有竞争力的几个最近提出的国家的最先进的解决方案，这样的问题。
2012-06-27 cs.LG stat.ML
Iterate averaging as regularization for stochastic gradient descent
Universitat Pompeu Fabra（庞培法布拉大学）；Massachusetts Institute of Technology（麻省理工学院）；Istituto Italiano di Tecnologia（意大利理工学院）；Università degli Studi di Genova（热那亚大学）
我们提出并分析了经典的Polyak-Ruppert平均方案，广泛用于随机梯度方法的一个变体。而不是一个统一的平均值的迭代，我们考虑加权平均值，权重以几何方式衰减。在线性最小二乘回归的背景下，我们表明，这种平均计划具有相同的正则化效果，实际上是渐近等价的，岭回归。特别是，我们推导出有限样本的界限所提出的方法，匹配最好的已知结果正则化随机梯度方法。
2018-02-22 cs.LG stat.ML
Streaming regularization parameter selection via stochastic gradient descent
我们提出了一个框架来执行流协方差选择。我们的方法采用正则化约束，其中时变稀疏参数通过随机梯度下降迭代估计。这允许以在线方式有效地学习正则化参数。建议的框架是为线性回归模型开发的，并通过邻域选择扩展到图形模型。在温和的假设下，我们能够在非随机设置中获得收敛结果。使用合成数据以及神经成像数据证明了这种方法的能力。
2016-11-02 stat.ML
Optimal Regularization Can Mitigate Double Descent
Harvard University（哈佛大学）；Microsoft Research（微软研究院）；University of Washington（华盛顿大学）；Stanford University（斯坦福大学）
最近的经验和理论研究表明，许多学习算法--从线性回归到神经网络--在样本大小和模型大小等数量上可以具有非单调的测试性能。这种引人注目的现象，通常被称为“双下降“，提出了一个问题，即我们是否需要重新思考我们目前对泛化的理解。在这项工作中，我们研究是否可以避免双下降现象，通过使用最佳正则化。理论上，我们证明了，对于某些线性回归模型的各向同性数据分布，最佳调整$\ell_2$正则化实现单调测试性能，因为我们增长的样本大小或模型大小。我们还证明了经验，优化调整的$\ell_2$正则化可以减轻更一般的模型，包括神经网络的双下降。我们的研究结果表明，在适当调整正则化的背景下研究各种算法的测试风险缩放也可能是有益的。
2021-04-29 cs.LG cs.NE math.ST
Implicit Regularization in Matrix Factorization
我们研究隐式正则化优化欠定二次目标时，在矩阵$X$上的$X$的因式分解的梯度下降。我们猜想，并提供经验和理论证据，足够小的步长和初始化足够接近原点，梯度下降全维分解收敛到最小核范数的解决方案。
2017-05-25 cs.LG stat.ML
Optimize TSK Fuzzy Systems for Classification Problems: Mini-Batch Gradient Descent with Uniform Regularization and Batch Normalization
Huazhong University of Science and Technology（华中科技大学）
Takagi-Sugeno-Kang（TSK）模糊系统是灵活且可解释的机器学习模型;然而，当数据大小较大和/或数据维度较高时，它们可能不容易被优化。本文提出了一种基于小批量梯度下降（MBGD）的算法，有效地训练TSK模糊分类器。它集成了两种新技术：1）均匀正则化（UR），它迫使规则对输出具有相似的平均贡献，从而提高TSK分类器的泛化性能; 2）批量归一化（BN），它将BN从深度神经网络扩展到TSK模糊分类器，以加快收敛速度并提高泛化性能。在不同应用领域的12个UCI数据集上进行的实验表明，UR和BN分别是有效的，将它们结合可以进一步提高分类性能。
2020-01-09 cs.LG stat.ML
Distributed Coordinate Descent Method for Learning with Big Data
University of Edinburgh（爱丁堡大学）
在本文中，我们开发和分析Hydra：HYbriD坐标下降法解决大数据的损失最小化问题。我们首先对坐标（特征）进行分区，并将每个分区分配给集群的不同节点。在每次迭代中，每个节点从其拥有的坐标中随机选择一个子集，独立于其他计算机，并基于简单的封闭式公式并行计算并应用更新到选定的坐标。我们给出的迭代次数的界限足以近似解决问题的高概率，并显示它如何依赖于数据和分区。我们进行数值实验与LASSO实例描述的3TB矩阵。
2013-10-08 cs.DC cs.LG math.OC
Explicit Regularization via Regularizer Mirror Descent
Massachusetts Institute of Technology（麻省理工学院）；California Institute of Technology（加州理工学院）
尽管对训练数据进行了完美的插值，但深度神经网络（DNN）通常可以很好地泛化，部分原因是学习算法引起的“隐式正则化”。尽管如此，各种形式的正则化，例如“显式正则化”（通过权重衰减），通常用于避免过拟合，特别是当数据损坏时。显式正则化有几个挑战，最明显的是不清楚的收敛性。受随机镜像下降（SMD）算法收敛特性的启发，我们提出了一种用正则化训练DNN的新方法，称为正则化镜像下降（RMD）。在高度过参数化的DNN中，SMD同时内插训练数据并最小化权重的某个潜在函数。RMD以标准成本开始，该标准成本是训练损失和权重的凸正则化器的总和。将此成本重新解释为“增强”过参数化网络的潜力，并应用SMD产生RMD。因此，RMD继承了SMD的性质，并可证明收敛到一个点“接近”这个成本的最小值。RMD在计算上与随机梯度下降（SGD）和权重衰减相当，并且可以以相同的方式并行化。我们在不同腐败程度的训练集上的实验结果表明，RMD的泛化性能非常鲁棒，明显优于SGD和权重衰减，这隐含和显式地正则化了权重的$\ell_2$范数。RMD还可以用于将权重正则化为期望的权重向量，这与持续学习特别相关。
2022-02-22 cs.LG math.OC stat.ML
Coordinate Descent with Online Adaptation of Coordinate Frequencies
Institut für Neuroinformatik（神经信息学研究所）；Ruhr-Universität Bochum（波鸿鲁尔大学）；Institut für Mathematik（数学研究所）；Universität Potsdam（波茨坦大学）
坐标下降（CD）算法已成为解决机器学习中许多优化问题的首选方法。它们特别适用于训练线性模型，包括线性支持向量机分类、LASSO回归和逻辑斯谛回归。我们考虑一般CD与非均匀选择的坐标。而不是固定的选择频率预先，我们提出了一个在线自适应机制，这个重要的参数，称为自适应坐标频率（ACF）的方法。这种机制消除了预先估计最佳坐标频率的需要，并且在优化运行期间自动对不断变化的要求做出反应。我们证明了我们的ACF-CD方法的有用性，在机器学习上下文中出现的各种优化问题。我们的算法比最先进的训练方法提供了显着的速度提升。
2014-01-15 cs.LG stat.ML
Gradient descent follows the regularization path for general losses
University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Microsoft Research（微软研究院）
最近在许多机器学习学科中的研究都强调，标准的下降方法，即使没有显式正则化，也不仅仅是最小化训练误差，而且还表现出隐式偏差。这种偏差通常是朝向某个正则化的解决方案，并且依赖于学习过程的细节，例如交叉熵损失的使用。在这项工作中，我们表明，对于经验风险最小化线性预测与任意凸，严格减少损失，如果风险没有达到其下确界，那么梯度下降路径和算法无关的正则化路径收敛到同一个方向（无论何时收敛到一个方向）。使用这个结果，我们提供了广泛使用的指数尾损失（如指数损失或逻辑损失）的理由：虽然这种收敛到一个方向的指数尾损失必然是最大利润的方向，其他损失，如多项式尾损失可能会导致收敛到一个方向与差的利润。
2020-06-19 cs.LG math.OC stat.ML
On Randomized Distributed Coordinate Descent with Quantized Updates
Worcester Polytechnic Institute（伍斯特理工学院）；University of California, Davis（加利福尼亚大学戴维斯分校）
本文研究了带量化更新的随机分布坐标下降算法。在文献中，随机分布坐标下降算法的迭代复杂性已经在机器可以以无限精度交换更新的假设下被表征。我们考虑一个实际的情况下，其中的消息交换发生在有限容量的通道，因此更新必须量化。我们推导出量化误差的充分条件，使得算法与量化更新仍然收敛。我们进一步验证我们的理论结果，通过运行一个实验，在那里我们应用量化更新的算法来解决一个线性回归问题。
2017-01-20 cs.LG stat.ML
The Anisotropic Noise in Stochastic Gradient Descent: Its Behavior of Escaping from Sharp Minima and Regularization Effects
Peking University（北京大学）；Beijing Institute of Big Data Research（北京大数据研究院）
最近，在深度神经网络的背景下理解随机梯度下降（SGD）的行为引起了很多关注。沿着这条线，我们研究了一般形式的基于梯度的优化动力学无偏噪声，它统一了SGD和标准朗之万动力学。通过研究这种一般的优化动力学，我们分析了SGD从最小值逃逸的行为及其正则化效果。通过测量噪声协方差和损失函数的曲率来表征算法的最小值逃逸效率。在此基础上，建立了两个条件，以表明哪种类型的噪声结构在逃逸效率方面优于各向同性噪声。我们进一步证明了SGD中的各向异性噪声满足这两个条件，从而有助于有效地逃离尖锐和贫穷的最小值，走向更稳定和平坦的最小值，通常推广良好。我们系统地设计了各种实验来验证各向异性噪声的好处，与全梯度下降加各向同性扩散（即朗之万动力学）相比。
2019-06-10 cs.LG stat.ML
Differentially Private Stochastic Coordinate Descent
IBM Research, Zurich（苏黎世IBM研究院）
在本文中，我们解决的挑战，使随机坐标下降算法差异私人。与经典的梯度下降算法相比，其中更新对单个模型向量进行操作，并且对该向量的受控噪声添加足以隐藏关于个体的关键信息，随机坐标下降关键地依赖于在训练期间将辅助信息保持在内存中。这种辅助信息提供了额外的隐私泄露，并构成了这项工作中解决的主要挑战。驱动的洞察下，独立的噪声添加，辅助信息的一致性保持在预期中，我们提出了DP-SCD，第一个差分私人随机坐标下降算法。我们从理论上分析了我们的新方法，并认为解耦和并行坐标更新是必不可少的实用程序。在实证方面，我们证明了竞争力的表现对流行的随机梯度下降替代（DP-SGD），同时需要显着较少的调整。
2021-03-14 cs.CR cs.LG stat.ML
Coordinate Descent with Bandit Sampling
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
坐标下降法通常通过一次更新一个随机决策变量（对应于一个坐标）来最小化成本函数。理想情况下，我们应该更新在成本函数中产生最大下降的决策变量。然而，找到这个坐标将需要检查所有这些坐标，这将有效地否定坐标下降旨在提供的计算易处理性的改进。为了解决这个问题，我们提出了一个新的自适应方法来选择一个坐标。首先，我们找到一个下限的金额成本函数减少时，坐标更新。然后，我们使用一个多臂的强盗算法来学习的坐标结果在最大的下限，通过交错这种学习与传统的坐标下降更新，除了坐标选择成比例的预期减少。我们表明，我们的方法提高了理论和实验上的坐标下降方法的收敛性。
2018-12-04 cs.AI cs.LG math.OC
Analysis of the expected $L_2$ error of an over-parametrized deep neural network estimate learned by gradient descent without regularization
Technische Universität Darmstadt（达姆施塔特工业大学）
本文证明了在适当的初始化、步长和迭代步数下，无正则化的过参数化深度神经网络估计对有界预测变量具有普遍一致性，并在 Hölder 平滑及交互模型下推导出相应的 $L_2$ 误差收敛速度。
2023-11-24 cs.LG stat.ML
Optimize TSK Fuzzy Systems for Regression Problems: Mini-Batch Gradient Descent with Regularization, DropRule and AdaBound (MBGD-RDA)
Huazhong University of Science and Technology（华中科技大学）
Takagi-Sugeno-Kang（TSK）模糊系统是解决回归问题的非常有用的机器学习模型。然而，据我们所知，目前还没有一种有效的训练算法来确保它们的泛化性能，并使它们能够处理大数据。受TSK模糊系统和神经网络之间联系的启发，我们扩展了三种强大的神经网络优化技术，即，小批量梯度下降，正则化，AdaBound，TSK模糊系统，并提出了三种新的技术（DropRule，DropMF，和DropMembership）专门用于训练TSK模糊系统。我们的最终算法，mini-batch梯度下降正则化，DropRule和AdaBound（MBGD-RDA），可以实现快速收敛训练TSK模糊系统，并在测试中也具有优越的泛化性能。它可以用于在任何大小的数据集上训练TSK模糊系统;然而，它对大数据集特别有用，目前还没有其他有效的训练算法存在。
2019-12-01 cs.AI cs.LG cs.NE
Large Scale Kernel Learning using Block Coordinate Descent
UC Berkeley（加州大学伯克利分校）
我们证明了分布式块坐标下降可以快速解决数百万数据点的核回归和分类问题。有了这种能力，我们进行了全面的内核，Nyström方法，并从不同领域的三个大型分类任务的随机特征之间的彻底比较。我们的研究结果表明，Nyström方法通常比随机特征实现更好的统计准确性，但可能需要更多的优化迭代。最后，我们推导出新的速率块坐标下降，支持我们的实验结果时，专门的内核方法。
2016-02-17 cs.LG math.OC stat.ML
On the Regularization Effect of Stochastic Gradient Descent applied to Least Squares
University of Washington（华盛顿大学）
我们研究了随机梯度下降应用于可逆$A \in \mathbb{R}^{n \times n}$的$\|Ax -b \|_2^2 \rightarrow \min$的行为。我们表明，有一个明确的常数$c_{A}$依赖（轻度）$A$，使$$ \mathbb{E} ~\left\| Ax_{k+1}-b\right\|^2_{2} \leq \left(1 + \frac{c_{A}}{\|A\|_F^2}\right) \left\|A x_k -b \right\|^2_{2} - \frac{2}{\|A\|_F^2} \left\|A^T A (x_k - x)\right\|^2_{2}.$$这是一个奇怪的不等式：最后一项有一个更多的矩阵应用于剩余的$u_k - u$比其余条款：如果$x_k - x$主要是由大奇异向量，随机梯度下降导致快速正则化。对于对称矩阵，这个不等式推广到高阶索伯列夫空间。这解释了一种（已知的）正则化现象：从大奇异值到小奇异值的能量级联平滑。
2020-09-01 cs.LG cs.NA math.NA
On the Origin of Implicit Regularization in Stochastic Gradient Descent
DeepMind（深度思维）；Google（谷歌）
对于无穷小的学习率，随机梯度下降（SGD）遵循完整批量损失函数上的梯度流路径。然而，适度大的学习率可以实现更高的测试精度，并且这种泛化益处不能用收敛界限来解释，因为使测试精度最大化的学习率通常大于使训练损失最小化的学习率。为了解释这一现象，我们证明了随机洗牌的SGD，平均SGD也保持接近梯度流的路径，如果学习率是小的和有限的，但在一个修改的损失。这种改进的损失由原始的损失函数和一个隐式正则化子组成，该正则化子惩罚小批量梯度的范数。在温和的假设下，当批量较小时，隐式正则化项的规模与学习率与批量大小的比率成比例。我们的经验验证，明确包括隐式正则化的损失可以提高测试的准确性时，学习率是小的。
2021-01-28 cs.LG stat.ML
Feature Clustering for Accelerating Parallel Coordinate Descent
University of Michigan（密歇根大学）；Pacific Northwest National Laboratory（太平洋西北国家实验室）
大规模L1正则化损失最小化问题出现在高维应用中，例如压缩感知和高维监督学习，包括分类和回归问题。高性能算法和实现对于有效解决这些问题至关重要。建立在以前的工作坐标下降算法的L1正则化问题，我们引入了一个新的家庭的算法称为块贪婪坐标下降，包括，作为特殊情况下，现有的几种算法，如SCD，贪婪CD，猎枪，线程贪婪。给出了块贪婪算法族的统一收敛性分析。分析表明，块贪婪坐标下降可以更好地利用并行性，如果特征被聚类，使得不同块中的特征之间的最大内积很小。我们的理论收敛性分析与实验结果支持，使用来自不同的现实世界的应用程序的数据。我们希望我们提供的算法方法和收敛性分析不仅能推动该领域的发展，而且还能鼓励研究人员系统地探索解决大规模L1正则化问题的算法的设计空间。
2012-12-17 cs.DC cs.LG math.OC
Implicit Regularization in Nonconvex Statistical Estimation: Gradient Descent Converges Linearly for Phase Retrieval, Matrix Completion, and Blind Deconvolution
Princeton University（普林斯顿大学）；Carnegie Mellon University（卡内基梅隆大学）
近年来，在设计可证明有效的非凸程序来解决统计估计问题方面出现了一系列的活动。由于经验损失的高度非凸性质，最先进的程序通常需要适当的正则化（例如修剪，正则化成本，投影），以保证快速收敛。然而，对于诸如梯度下降之类的常规过程，先验理论要么推荐高度保守的学习率以避免过冲，要么完全缺乏性能保证。本文揭示了非凸优化中一个引人注目的现象：即使在没有显式正则化的情况下，梯度下降也会在各种统计模型下隐式地执行适当的正则化。事实上，梯度下降遵循的轨迹停留在具有良好几何形状的盆地内，由与采样机制不一致的点组成。这种“隐式正则化”特性允许梯度下降以更积极的方式进行，而不会过冲，这反过来又导致大量的计算节省。聚焦于三个基本的统计估计问题，即相位恢复，低秩矩阵完成，和盲反卷积，我们建立了梯度下降实现接近最优的统计和计算保证，而无需显式正则化。特别是，通过将统计建模与通用优化理论相结合，我们开发了一个通用的配方，通过留一法扰动参数分析迭代算法的轨迹。作为一个副产品，嘈杂的矩阵完成，我们证明，梯度下降实现了接近最优的误差控制-测量entrywise和频谱范数-这可能是独立的利益。
2019-07-30 cs.IT cs.LG math.IT
Controlling the Flow: Stability and Convergence for Stochastic Gradient Descent with Decaying Regularization
本文研究带衰减Tikhonov正则化的随机梯度下降（reg-SGD），证明其在凸L-光滑函数上无界假设下强收敛到最小范数解，量化收敛速率并优化步长与正则化衰减，通过图像重建和ODE逆问题实验验证，为凸优化算法设计提供新见解。
2025-10-23 math.OC math.PR stat.ML
Robust Training in High Dimensions via Block Coordinate Geometric Median Descent
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Google AI（谷歌人工智能）；Amazon Search（亚马逊搜索）
几何中值（\textsc{Gm}）是统计学中用于实现未损坏数据的鲁棒估计的经典方法;在严重损坏情况下，它实现0.5的最佳崩溃点。然而，它的计算复杂性使得它不可行的鲁棒随机梯度下降（SGD）的高维优化问题。在本文中，我们表明，通过应用\textsc{Gm}，只有一个明智地选择块的坐标在同一时间，并使用记忆机制，可以保持崩溃点0.5光滑的非凸问题，非渐近收敛速度可比的SGD与\textsc{Gm}。
2021-06-16 cs.DC cs.LG math.OC
Iterative regularization in classification via hinge loss diagonal descent
Università di Genova（热那亚大学）；Athena RC（雅典娜研究中心）；MIT（麻省理工学院）；Istituto Italiano di Tecnologia（意大利技术研究院）
该研究聚焦分类场景下的迭代正则化问题，提出基于hinge loss的对角下降迭代正则化方法，证明其收敛性、速率与稳定性，实验验证其性能优于其他同类方法。
2024-10-09 cs.LG math.OC stat.ML
On Matching Pursuit and Coordinate Descent
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；ETH Zurich（苏黎世联邦理工学院）；EPFL（洛桑联邦理工学院）
线性空间上的一阶优化方法的两个流行的例子是坐标下降和匹配追踪算法，以及它们的随机变体。虽然前者的目标是通过沿坐标移动来优化，但后者考虑了方向的广义概念。利用这两种算法之间的连接，我们提出了一个统一的分析，提供仿射不变的次线性$\mathcal{O}(1/t)$率光滑的目标和线性收敛的强凸目标。作为匹配追踪的仿射不变分析的副产品，我们的最陡坐标下降率是已知最紧的。此外，我们显示的第一个加速收敛速度$\mathcal{O}(1/t^2)$匹配追求和最速坐标下降凸目标。
2019-05-31 cs.LG math.OC stat.ML
An Asymptotically Optimal Coordinate Descent Algorithm for Learning Bayesian Networks from Gaussian Models
Department of Industrial Engineering and Management Sciences Northwestern University（工业工程与管理科学系西北大学）；Department of Biostatistics University of Washington（生物统计学系华盛顿大学）；Department of Statistics University of Washington（统计学系华盛顿大学）
本文提出一种新的坐标下降算法来近似求解线性高斯模型下学习贝叶斯网络的$\ell_0$-惩罚极大似然估计器，证明了其渐近最优性和有限样本统计一致性，并在合成与真实数据上验证了近最优解和可扩展性。
2025-10-11 cs.LG stat.ML
Learning-to-Learn Stochastic Gradient Descent with Biased Regularization
IIT（意大利理工学院）
我们研究的问题，学习学习：推断一个学习算法，以及从一个未知的分布采样的任务。作为一类算法，我们考虑随机梯度下降的真实风险正规化的平方欧几里德距离的偏差向量。我们提出了一个平均超额风险界这样的学习算法。该结果量化了相对于无偏情况使用偏置向量的潜在益处。然后，我们解决的问题，估计从一系列的任务的偏见。我们提出了一个元算法，增量更新的偏见，观察到新的任务。这种方法的低空间和时间复杂度使得它在实践中很有吸引力。我们提供元算法的学习能力的保证。我们的研究结果的一个关键特征是，当任务的数量增长，他们的方差相对较小，我们的学习到学习的方法有一个显着的优势，孤立地学习每个任务的随机梯度下降没有偏见的条款。我们报告的数值实验，证明了我们的方法的有效性。
2019-03-25 cs.LG stat.ML
Preconditioning for Accelerated Gradient Descent Optimization and Regularization
Department of Mathematics, University of Kentucky（数学系，肯塔基大学）
本文通过预条件化理论探讨了加速梯度下降优化与正则化方法，分析了AdaGrad、RMSProp、Adam等算法的加速机制，并推导了AdamW和L1正则化的通用形式。
2025-12-29 cs.LG cs.NA math.NA
Coordinate Descent for MCP/SCAD Penalized Least Squares Converges Linearly
Wuhan University（武汉大学）
从观测数据中恢复稀疏信号是信号/成像处理、统计学和机器学习中的一个重要课题。非凸惩罚最小二乘因其良好的统计性质而受到广泛关注。在计算上，坐标下降（CD）是一个主力最小化非凸惩罚最小二乘准则，由于其简单性和可扩展性。在这项工作中，我们证明了线性收敛速度CD解决MCP/SCAD惩罚最小二乘问题。
2021-09-18 cs.LG stat.CO stat.ML
On Optimal Probabilities in Stochastic Coordinate Descent Methods
我们提出并分析了一种新的并行坐标下降方法-`NSync-在每次迭代中，坐标的随机子集被更新，并行，允许子集被非均匀地选择。我们得到一个强凸性假设下的收敛速度，并评论如何分配概率的集合，以优化的界限。该方法的复杂度和实际性能可以超过其均匀变体一个数量级。令人惊讶的是，每次迭代更新一个随机选择的坐标的策略-具有最佳概率-在理论和实践中可能需要比每次迭代更新所有坐标的策略更少的迭代。
2013-10-13 cs.DC math.OC stat.ML
A Block Coordinate Descent Proximal Method for Simultaneous Filtering and Parameter Estimation
Rakuten Institute of Technology（乐天技术研究所）；University of California, Merced（加州大学默塞德分校）；University of Utah（犹他大学）
本文提出并分析了一种用于常微分方程模型同时滤波和参数估计的块坐标下降邻近算法（BCD-prox）。正如我们在d=40维的ODE系统上所展示的那样，与最先进的方法相比，BCD-prox具有更高的鲁棒性（对噪声，参数初始化和超参数），减少了训练时间，提高了过滤状态和估计参数的准确性。我们展示了如何BCD-近端可以使用多步数值离散，我们建立收敛的BCD-近端的假设，包括真正的系统的利益。
2019-05-24 cs.LG stat.ML
A Primer on Coordinate Descent Algorithms
这本专著提出了一类算法称为坐标下降算法的数学家，统计学家和工程师以外的领域的最优化。这类特殊的算法最近由于其在解决机器学习、压缩传感、图像处理和计算统计中的大规模最优化问题方面的有效性而受到欢迎。坐标下降算法通过沿每个坐标或坐标超平面连续最小化来解决最优化问题，这对于并行和分布式计算是理想的。避免详细的技术和证明，这本专著为从业者提供了相关的理论和示例，以有效地将坐标下降应用于数据科学和工程中的现代问题。
2017-01-12 math.OC stat.ML
Parallel coordinate descent for the Adaboost problem
University of Edinburgh（爱丁堡大学）
我们设计了一个随机平行版本的Adaboost基于以前的研究平行坐标下降。该算法利用指数损失的对数是一个具有坐标方向Lipschitz连续梯度的函数这一事实来定义步长。我们提供了这个随机Adaboost算法的收敛性证明和理论上的并行加速因子。最后，我们提供了各种规模的学习问题的数值例子表明，该算法是具有竞争力的并发方法，特别是对于大规模的问题。
2013-10-07 cs.LG math.OC stat.ML
The Implicit Regularization of Dynamical Stability in Stochastic Gradient Descent
Peking University（北京大学）；University of Pennsylvania（宾夕法尼亚大学）
本文从动力学稳定性视角分析 SGD 的隐式正则化，证明稳定最小值约束 Hessian 迹并等价于参数范数，从而解释大学习率 SGD 优于 GD 的泛化表现。
2023-06-01 cs.LG stat.ML
Adaptive Stochastic Primal-Dual Coordinate Descent for Separable Saddle Point Problems
The University of Edinburgh（爱丁堡大学）
考虑一类具有可分结构的一般凸凹鞍点问题，这种形式涵盖了广泛的机器学习应用。在这种问题结构下，我们遵循鞍点问题的原始-对偶更新框架，并将具有自适应步长的随机块坐标下降纳入该框架中。我们从理论上表明，我们的建议的自适应步长可能实现一个尖锐的线性收敛速度相比，现有的方法。此外，由于我们可以选择“小批量”块坐标更新，我们的方法也适合于大规模数据的并行处理。我们将所提出的方法应用于正则化经验风险最小化，并表明它在合成数据集和真实数据集上的表现往往优于最先进的方法。
2015-06-12 cs.LG stat.ML
Differentially Private Coordinate Descent for Composite Empirical Risk Minimization
Univ. Lille（里尔大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）；Univ Montpellier（蒙彼利埃大学）；Institut Universitaire de France（法国大学研究院）
机器学习模型可能会泄露有关用于训练它们的数据的信息。为了缓解这个问题，已经设计了像随机梯度下降（DP-SGD）这样的优化算法的差分私有（DP）变体，以在经验风险最小化（ERM）问题中权衡隐私的效用。在本文中，我们提出了一种新的方法，差分私人邻近坐标下降（DP-CD），解决复合DP-ERM问题。我们通过一个新的理论分析，不精确的坐标下降得到效用保证。我们的研究结果表明，由于更大的步长，DP-CD可以利用梯度坐标的不平衡，优于DP-SGD。我们还证明了新的下限复合DP-ERM坐标明智的规律性假设下，几乎匹配的DP-CD。对于实际的实现，我们建议使用我们的理论中出现的坐标阈值来裁剪梯度，避免昂贵的超参数调整。在真实数据和合成数据上的实验支持了我们的结果，并表明DP-CD优于DP-SGD。
2022-10-21 cs.CR cs.LG stat.ML
Algorithmic Regularization in Learning Deep Homogeneous Models: Layers are Automatically Balanced
Carnegie Mellon University（卡内基梅隆大学）；Princeton University（普林斯顿大学）；University of Southern California（南加州大学）
我们研究了由梯度下降施加的隐式正则化，用于学习多层齐次函数，包括前馈全连接和卷积深度神经网络，具有线性，ReLU或Leaky ReLU激活。我们严格证明了梯度流（即具有无穷小步长的梯度下降）有效地强制不同层的平方范数之间的差异保持不变，而无需任何显式正则化。这一结果意味着，如果权重最初很小，梯度流会自动平衡所有层的大小。利用离散化方法，我们分析了非凸低秩非对称矩阵分解问题的正步长梯度下降算法。我们的研究结果的启发梯度流，我们证明了梯度下降步长$η_t = O\left(t^{-\left( \frac12+δ\right)} \right)$（$0<δ\le\frac12$）自动平衡两个低秩的因素，并收敛到一个有界的全局最优。此外，对于秩- $1$不对称矩阵分解，我们给出了一个更精细的分析，显示梯度下降与恒定的步长收敛到全局最小值在一个全局线性的速度。我们认为，在学习同质模型时检查一阶算法所施加的不变性的想法可以作为研究深度模型学习优化的基本构建块。
2018-10-31 cs.LG math.OC stat.ML
Smooth Primal-Dual Coordinate Descent Algorithms for Nonsmooth Convex Optimization
提出了一种新的适用于凸优化模板的随机坐标下降法。我们的分析依赖于一个新的组合的四个想法适用于原始-对偶间隙函数：平滑，加速，同伦和坐标下降与非均匀采样。因此，我们的方法具有第一个收敛速度保证之间的坐标下降法，这是最有名的各种常见的结构假设下的模板。我们提供了数值证据来支持的理论结果与国家的最先进的算法进行比较。
2017-11-09 math.OC stat.ML
Convergent Block Coordinate Descent for Training Tikhonov Regularized Deep Neural Networks
Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室）
通过将ReLU函数提升到更高维的空间，我们开发了一种用于训练前馈深度神经网络（DNN）的光滑多凸公式。这使我们能够开发一个块坐标下降（BCD）训练算法，由一系列数值上表现良好的凸优化组成。利用凸分析中邻近点方法的思想，证明了该BCD算法将以一阶R-线性收敛速度全局收敛到一个稳定点。在MNIST数据库的实验中，使用该BCD算法训练的DNN始终比通过Caffe工具箱中的所有随机梯度下降（SGD）变体训练的相同DNN架构产生更好的测试集错误率。
2017-11-20 cs.CV cs.LG stat.ML
Implicit Regularization for Tubal Tensor Factorizations via Gradient Descent
Northeastern University（东北大学）；Michigan State University（密歇根州立大学）；Technical University of Munich（慕尼黑工业大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）
本文首次在梯度下降（而非梯度流）下严格证明了管状张量分解的隐式正则化，表明小随机初始化会使超参数化模型偏向低管状秩解，并通过数值模拟验证了理论动态与初始化的重要性。
2024-10-21 cs.LG math.OC math.ST
Differentially Private Random Block Coordinate Descent
KAUST（阿卜杜拉国王科技大学）
提出一种差分隐私随机分块坐标下降方法，利用草图矩阵和重要性采样提升收敛速度与效用，推广了DP-CD和DP-SGD。
2024-12-22 cs.CR cs.LG math.OC
Stochastic Gradient/Mirror Descent: Minimax Optimality and Implicit Regularization
California Institute of Technology（加州理工学院）；Department of Computing and Mathematical Sciences（计算与数学科学系）；Department of Electrical Engineering（电气工程系）
随机下降方法（梯度和镜像变种）在优化中变得越来越流行。事实上，现在人们普遍认识到，深度学习的成功不仅是由于模型的特殊深度架构，而且还由于所使用的随机下降方法的行为，这些方法在达到“好”解决方案方面发挥了关键作用，这些解决方案可以很好地推广到看不见的数据。为了解释为什么会这样，我们重新审视了线性模型平方损失的随机梯度下降（SGD）的一些极小极大性质-最初是在20世纪90年代开发的-并将其扩展到一般损失函数和非线性模型的一般随机镜像下降（SMD）算法。特别是，我们表明，有一个基本的身份，它适用于SMD（和SGD）在非常一般的条件下，这意味着极小极大最优的SMD（和SGD）足够小的步长，并为一般类的损失函数和一般的非线性模型。我们进一步表明，这个身份可以用来自然地建立其他属性的SMD（和SGD），即收敛性和隐式正则化的过参数化的线性模型（在现在被称为“插值制度”），其中一些已经在某些情况下，在以前的文献。我们还讨论了如何在所谓的“高度过度参数化”非线性设置（参数的数量远远超过数据点的数量）中使用这个恒等式，以深入了解为什么SMD（和SGD）可能具有类似的收敛性和隐式正则化属性，用于深度学习。
2019-01-17 cs.AI cs.LG math.OC
Stochastic gradient descent with initial regularization
ESCP Business School（ESCP商学院）
本文分析带初始正则化的随机梯度下降（SGDIR），推导其平方损失下的无维数上界，建立匹配的下界，通过实例级比较证明其期望超额风险不大于岭回归，数值实验验证理论结果。
2026-08-25 cs.LG math.OC stat.ML
Random Coordinate Descent on the Wasserstein Space of Probability Measures
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文提出随机坐标下降框架，针对Wasserstein流形优化问题，提出RWCD和RWCP方法，适用于复合目标，理论分析显示其在非凸、Polyak-Łojasiewicz及仿射凸条件下具有收敛性，实验表明在病态能量下比传统全梯度方法更高效。
2026-04-02 cs.LG math.OC stat.ML
Exact expressions for double descent and implicit regularization via surrogate random design
University of California, Berkeley（加州大学伯克利分校）；ICSI（国际计算机科学研究所）
双下降是指当改变参数数量和训练样本数量之间的比率时，由非正则化学习模型的泛化误差表现出的相变。最近高度过度参数化的机器学习模型（如深度神经网络）的成功激发了对经典模型（如线性回归）中双下降现象的理论分析，这些模型也可以在过度参数化的情况下很好地推广。给出了最小范数线性估计量的双下降的第一个精确非渐近表达式。我们的方法涉及到构造一个特殊的决定点过程，我们称之为替代随机设计，以取代标准的独立同分布。训练样本的设计。这种替代设计允许估计量的均方误差的精确表达式，同时保留标准设计的关键属性。我们还建立了一个精确的隐式正则化结果过参数化的训练样本。特别是，我们表明，对于代理设计，隐式偏差的非正则化最小范数估计精确对应于解决岭正则化最小二乘问题的人口分布。在我们的分析中，我们引入了一个新的数学工具的独立利益：类随机矩阵的行列式与期望互换。
2020-06-18 cs.LG math.ST stat.ML
