首页/论文/2303.04445

arXiv 2303.044452023-03-31stat.MLcs.LG

MKL-$L_{0/1}$-SVM的ADMM求解器

An ADMM Solver for the MKL-$L_{0/1}$-SVM

Sun Yat-sen University（中山大学）

Yijie Shi, Bin Zhu

备注：: 8 pages, 3 figures, 2 tables. Submitted to the 62nd IEEE Conference on Decision and Control as a Regular paper, with a shortened version (arXiv version 1) submitted to the 3rd Chinese Conference on Predictive Control and Intelligent Decision (CPCID) as an Extended Abstract

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

摘要英文摘要相关论文

AI总结：

本文为带有$(0,1)$-损失函数的支持向量机构建了多核学习问题，利用一阶最优性条件开发了求解该非凸非光滑优化问题的快速ADMM求解器，数值实验表明该框架具有前景。

摘要：

我们为带有$(0,1)$-损失函数的支持向量机构建了多核学习（简称MKL）问题。给出了若干一阶最优性条件，并据此为该非凸非光滑优化问题开发了一种快速的ADMM求解器。在合成平面数据上的简单数值实验表明，我们的MKL-$L_{0/1}$-SVM框架可能具有前景。

英文摘要：

We formulate the Multiple Kernel Learning (abbreviated as MKL) problem for the support vector machine with the infamous $(0,1)$-loss function. Some first-order optimality conditions are given and then exploited to develop a fast ADMM solver for the nonconvex and nonsmooth optimization problem. A simple numerical experiment on synthetic planar data shows that our MKL-$L_{0/1}$-SVM framework could be promising.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

阅读原文

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

本文内容

摘要英文摘要相关论文

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

继续探索

相关论文

MKL - $L_{0/1}$ - SVM

MKL-$L_{0/1}$-SVM

Sun Yat-sen University（中山大学）；School of Intelligent Systems Engineering（智能系统工程学院）

本文提出了一种支持向量机（SVM）的多核学习（MKL）框架与$(0, 1)$损失函数。给出了一些KKT类一阶最优性条件，并利用这些条件发展了一个求解非光滑非凸优化问题的快速ADMM算法。在真实数据集上的数值实验表明，我们的MKL- $L_{0/1}$ -SVM的性能与由Rakotomamonjy，Bach，Canu和Grandvalet开发的称为SimpleMKL的领先方法之一相当[机器学习研究杂志，第9卷，第100页]。2491-2521，2008]。

2023-09-03cs.LGstat.ML

一种基于ADMM的非凸惩罚支持向量机算法

An Efficient ADMM-Based Algorithm to Nonconvex Penalized Support Vector Machines

National University of Defense Technology（国防科技大学）

具有稀疏诱导非凸惩罚的支持向量机（SVM）因其自动分类和变量选择的特点而受到广泛关注。然而，由于非凸惩罚支持向量机的不可微性、非光滑性和非凸性，使得求解非凸惩罚支持向量机具有相当大的挑战性。在本文中，我们提出了一个有效的ADMM算法的非凸惩罚支持向量机。该算法覆盖了一大类常用的非凸正则化项，包括光滑剪切绝对偏差（SCAD）罚项、极大极小凹罚项、对数和罚项和capped- $\ell_1$罚项.计算复杂度分析表明，该算法具有较低的计算代价。此外，所提出的算法的收敛性得到保证。在5个基准数据集上的实验结果表明，该算法的性能优于其他3种最先进的方法。

2018-09-11cs.LGstat.ML

局部化核学习的统一观点

A Unified View of Localized Kernel Learning

University of Utah（犹他大学）

多核学习（MKL）通过尝试不仅学习分类器/回归器，而且还学习训练任务的最佳内核（通常来自现有内核函数的组合）来扩展（内核化）SVM。大多数MKL方法寻求在每个训练样本上表现最好的组合内核，牺牲某些区域的性能以寻求全局最优。局部化核学习（LKL）通过允许训练算法将组件核与可以最好地利用它的示例相匹配来克服这一限制。在过去的几年中，已经探索了几种方法来解决本地化的内核学习问题。我们统一了许多这些方法在一个简单的系统，并设计了一个新的算法，提高了性能。我们还开发现有算法的增强版本，着眼于可扩展性和性能。

2016-03-04cs.LGstat.ML

一种简单有效的弹性网约束下的多核学习算法

A simple yet efficient algorithm for multiple kernel learning under elastic-net constraints

School of Computer Science and Electronic Engineering（计算机科学与电子工程学院）；University of Essex（埃塞克斯大学）；Colchester, CO4-3SQ, UK（英国科尔切斯特，CO4-3SQ）

本文提出了一种求解核权值受弹性网约束的多核学习问题的算法。该算法在时间和空间复杂度方面与现有方法相比非常有利，并且可以用不依赖于外部库（除了常规SVM求解器）的简单代码来实现。

2019-04-05cs.LGstat.ML

SpicyMKL

我们提出了一种新的多核学习（MKL）优化算法SpicyMKL，它适用于一般的凸损失函数和一般类型的正则化。所提出的SpicyMKL迭代地解决光滑最小化问题。因此，不需要在内部求解SVM、LP或QP。SpicyMKL可以被视为一种近似最小化方法，并且超线性收敛。内部最小化的成本大致与活动内核的数量成比例。因此，当我们的目标是稀疏内核组合时，我们的算法可以很好地适应内核数量的增加。此外，我们给出了一个一般的块规范制定的MKL，其中包括非稀疏正则化，如弹性网和\ellp -范数正则化。扩展SpicyMKL，我们提出了一个有效的优化方法的一般正则化框架。实验结果表明，我们的算法比现有的方法更快，特别是当核的数量很大（> 1000）。

2011-05-09stat.COstat.ML

正则化多类支持向量机的乘子交替方向方法

Alternating direction method of multipliers for regularized multiclass support vector machines

支持向量机（SVM）最初是为二进制分类而设计的。大量的工作已经投入到推广的二进制支持向量机多类支持向量机（MSVM），这是更复杂的问题。最初，MSVM通过考虑它们的对偶公式来求解，这些对偶公式是二次规划并且可以通过标准二阶方法来求解。然而，具有正则化器的MSVM的迭代通常更难以公式化，并且求解起来在计算上非常昂贵。本文重点研究了几种正则化的最小支持向量机，并将交替方向乘子法（ADMM）推广到这几种最小支持向量机上。使用分裂技术，所有考虑的MSVMs都被写成两块凸规划，ADMM对此具有全局收敛性保证。模拟数据和真实数据的数值实验表明了算法的高效性和准确性。

2015-11-30math.OCstat.ML

更多相关论文收起更多论文

基于卷积支持向量机的去中心化网络高效分布式学习

Efficient Distributed Learning over Decentralized Networks with Convoluted Support Vector Machine

University of Michigan（密歇根大学）；Renmin University of China（中国人民大学）；Institute of Statistics and Big Data, Renmin University of China（中国人民大学统计与大数据研究院）

本文针对去中心化网络中的高维分类问题，提出基于卷积平滑铰链损失的广义ADMM算法，实现了线性收敛和接近最优的稀疏估计性能。

2025-03-10cs.DCcs.LGstat.ML

随机多块ADMM在机器学习问题中的应用

On a Randomized Multi-Block ADMM for Solving Selected Machine Learning Problems

Stanford University（斯坦福大学）；The University of Edinburgh（爱丁堡大学）；Oracle Labs（甲骨文实验室）

乘法器的交替方向法（ADMM）由于其相对简单的特点，在解决大规模机器学习和信号处理问题中得到了广泛的关注。然而，经典ADMM的两块结构仍然限制了实际问题的规模。当通过变量分裂强制形成两块以上的结构时，收敛速度大大减慢，这与实际情况是一致的。最近，随机组装循环多块ADMM（RAC-MBADMM）的作者提出了解决一般的凸和非凸二次最优化问题，其中的块的数量可以去大于2，使每个子问题具有较小的规模，可以更有效地解决。在本文中，我们将这种方法应用于解决一些与凸二次优化相关的机器学习问题，如线性回归，LASSO，弹性网络和SVM。我们证明了该算法在标准的统计数据假设下线性收敛于期望。我们使用我们的通用求解器进行多个数值测试，解决合成和大规模的基准问题。我们的研究结果表明，RAC-MBADMM可以显着优于，在解决时间和质量，其他优化算法/代码来解决这些机器学习问题，并匹配的最佳定制的方法，如Glmnet或LIBSVM的性能。在某些问题区域，RAC-MBADMM甚至实现了优于定制方法的性能。

2020-03-20cs.LGmath.OCstat.ML

稀疏多核学习：交替最佳响应与半正定松弛

Sparse Multiple Kernel Learning: Alternating Best Response and Semidefinite Relaxations

Massachusetts Institute of Technology（麻省理工学院）

本文提出了一种稀疏多核学习方法，通过交替最佳响应算法和半正定松弛，实现高效且精确的核选择与优化。

2025-12-02cs.LGstat.ML