Convex losses and their applications to SVM, SVR, and Shallow Neural Networks
DAIS
该研究提出多种适用于SVM和神经网络的新型凸损失函数，结合粒子群优化算法求解原始SVM问题，经嵌套交叉验证实验，发现新型损失函数对部分数据集的泛化性能无显著影响。
2026-09-21 cs.LG
Cost-Sensitive Support Vector Machines
Shiraz University（设拉子大学）；University of California, San Diego（加州大学圣地亚哥分校）
提出了一种新的代价敏感支持向量机（CS-SVM）分类器的学习方法。SVM铰链损失扩展到成本敏感的设置，CS-SVM推导出作为相关风险的最小化。铰链损失的扩展利用了风险最小化和概率启发之间的最新联系。这些连接推广到成本敏感的分类，在某种程度上，保证与成本敏感的贝叶斯风险，和相关的贝叶斯决策规则的一致性。这确保了在新的铰链损失下，最优决策规则实现贝叶斯最优成本敏感分类边界。新的铰链损失最小化被证明是一个经典的SVM优化问题的推广，并可以通过相同的程序来解决。通过正则化理论和灵敏度分析，详细分析了CS-SVM的对偶问题，并对CS-SVM算法进行了验证。该算法还扩展到成本敏感的学习与示例相关的成本。提出了最小成本敏感风险作为性能度量，并通过向量优化将其与ROC分析相连接。由此产生的算法避免了以前的方法成本敏感的SVM设计的缺点，并被证明具有优越的实验性能，大量的成本敏感和不平衡的数据集。
2015-02-15 cs.LG stat.ML
A Quadratic Loss Multi-Class SVM
使用支持向量机需要设置两种类型的超参数：软间隔参数C和核参数。要执行此模型选择任务，选择的方法是交叉验证。已知其留一法变体产生几乎无偏的泛化误差的估计量。它的主要缺点在于它的时间要求。为了克服这一困难，几个上界的留一法错误的模式识别支持向量机已经推出。在这些界限中，最流行的可能是半径-边缘界限。该方法适用于硬边缘模式识别SVM，并推广到2-范数SVM。在这份报告中，我们引入了一个二次损失的M-SVM，M-SVM^2，作为2-范数SVM的直接扩展到多类的情况。对于这台机器，一个广义的半径边界，然后建立。
2008-04-30 cs.LG
Breakdown Point of Robust Support Vector Machine
Nagoya University（名古屋大学）；The University of Tokyo（东京大学）
支持向量机（SVM）是解决分类问题最成功的学习方法之一。尽管支持向量机很受欢迎，但它有一个严重的缺点，即对训练样本中的离群值敏感。错误分类的惩罚由称为铰链损失的凸损失定义，凸损失的无界性导致对离群值的敏感性。为了处理离群值，已经提出了SVM的鲁棒变体，例如鲁棒离群值检测算法和具有称为斜坡损失的有界损失的SVM。在本文中，我们提出了一个强大的SVM的变种，并研究其鲁棒性的崩溃点。崩溃点是鲁棒性度量，其是最大量的污染，使得估计的分类器仍然给出关于未污染数据的信息。本文的主要贡献是显示一个准确的评估故障点的强大的支持向量机。对于我们算法中的正则化参数等学习参数，我们推导出一个简单的公式，保证了分类器的鲁棒性。当使用交叉验证的网格搜索确定学习参数时，我们的公式可以减少候选搜索点的数量。数值实验证实了该方法的鲁棒性。我们表明，强大的支持向量机的统计特性很好地解释了故障点的理论分析。
2014-09-03 cs.LG stat.ML
GADGET SVM: A Gossip-bAseD sub-GradiEnT Solver for Linear SVMs
State University of New York（纽约州立大学）
在大数据时代，机器学习研究人员武器库中的一个重要武器是可扩展的支持向量机（SVM）算法。SVM被广泛用于解决分类问题。传统的支持向量机学习算法通常与训练集大小呈超线性关系，这对于大数据集来说是不可行的。近年来，可扩展的算法已经设计研究的原始或对偶配方的问题。这通常意味着一种分解问题并促进分布式算法开发的方法。在本文中，我们提出了一种分布式算法学习线性支持向量机的原始形式的二进制分类称为Gossip-bAseD子分类器（GADGET）SVM。该算法的设计，使它可以在分布式系统的节点上本地执行。每个节点处理其局部均匀划分的数据，并学习原始SVM模型。然后，它与随机邻居谈论学习的分类器，并使用这些信息来更新模型。广泛的理论和实证结果表明，这种随时随地算法的性能与其集中式和在线同行。
2018-12-05 cs.LG stat.ML
Sparse $ε$ insensitive zone bounded asymmetric elastic net support vector machines for pattern classification
College of Mathematics and Statistics, Chongqing University（重庆大学数学与统计学院）
本文提出一种稀疏且鲁棒的 ε-BAEN-SVM，结合弹性网络损失与鲁棒损失框架，通过半二次算法提升计算效率，在噪声环境中实现良好的稀疏性和鲁棒性。
2026-04-09 cs.LG stat.ML
A Novel Loss Function-based Support Vector Machine for Binary Classification
Tsinghua University（清华大学）
针对现有SVM忽略间隔内正确分类样本惩罚程度的问题，提出基于Slide损失函数的$\ell_s$-SVM，并设计带工作集的快速交替方向乘子法求解，实验证明其鲁棒有效。
2024-03-25 cs.LG math.OC
A metric learning perspective of SVM: on the relation of SVM and LMNN
University of Geneva（日内瓦大学）
支持向量机（SVM）和大间隔最近邻算法（LMNN）是两种非常流行的学习算法，它们具有非常不同的学习偏差。在本文中，我们把他们纳入一个统一的观点，并表明他们有一个更强的关系比通常认为的。我们从度量学习的角度分析支持向量机，并将其视为度量学习问题，这有助于我们揭示这两种算法之间的关系。我们表明，LMNN可以被看作是学习一组局部SVM类模型在二次空间。一路上，并受到基于度量的解释SVM的启发，我们得到了一个新的变体的SVM，ε-SVM，LMNN更相似。我们给出了LMNN和不同SVM变体的统一视图。最后，我们提供了一些初步的实验，在一些基准数据集，其中表明，ε-SVM比较有利的LMNN和SVM。
2012-01-23 cs.LG stat.ML
HIPAD - A Hybrid Interior-Point Alternating Direction algorithm for knowledge-based SVM and feature selection
Columbia University（哥伦比亚大学）；Lehigh University（里海大学）；Siemens Corporation（西门子公司）
我们认为，在高维特征空间中，特定的专家知识也是可用的稀缺标记的训练数据的政权的分类任务。我们提出了一种新的混合优化算法，解决了弹性网络支持向量机（SVM）通过交替方向的方法在第一阶段的乘数，其次是一个相邻点的方法在第二阶段的经典SVM。这两个SVM配方都适用于知识整合。我们提出的算法解决了自动特征选择，高优化精度和算法的灵活性，利用先验知识的挑战。我们证明了我们的算法的有效性和效率，并将其与现有的方法在一组合成和真实世界的数据进行比较。
2014-11-16 cs.LG stat.ML
Frank-Wolfe algorithm for learning SVM-type multi-category classifiers
Gunma University（群马大学）
多分类支持向量机（MC-SVM）是当前最流行的机器学习算法之一。MC-SVM有很多变体，尽管针对不同的学习机开发了不同的优化算法。在这项研究中，我们开发了一种新的优化算法，可以应用于许多MC-SVM的变种。该算法是基于Frank-Wolfe框架，需要两个子问题，方向发现和线搜索，在每次迭代。这项研究的贡献是发现，这两个子问题有一个封闭的形式解决方案，如果弗兰克-沃尔夫框架适用于对偶问题。此外，即使对于损失函数的莫罗包络，测向和线搜索的封闭形式解也存在。我们使用了几个大的数据集，以证明所提出的优化算法收敛迅速，从而提高了模式识别的性能。
2020-08-20 cs.LG stat.ML
But How Does It Work in Theory? Linear SVM with Random Features
University of Michigan（密歇根大学）；Department of Mathematics（数学系）；Department of Statistics（统计系）；Ann Arbor, MI, 48109（密歇根州安娜堡市（48109））
我们证明了，在低噪声假设下，支持向量机与$N\ll m$随机特征（RFSVM）可以实现更快的学习率比$O(1/\sqrt{m})$的训练集与$m$样本时，使用优化的特征映射。我们的工作扩展了以前的快速率分析的随机特征的方法，从最小二乘损失0-1损失。我们还表明，重新加权的特征选择方法，它近似优化的特征图，有助于提高RFSVM的性能在实验中的合成数据集。
2019-01-08 cs.LG stat.ML
Support Vector Machine Classifier with Rescaled Huberized Pinball Loss
本文提出了一种基于Huber化针球损失的支持向量机模型RHPSVM，通过非凸优化方法提升分类性能，尤其在处理高维小样本数据时表现优异。
2025-11-27 cs.LG stat.ML
Joint Ranking SVM and Binary Relevance with Robust Low-Rank Learning for Multi-Label Classification
University of Chinese Academy of Sciences（中国科学院大学）；Chinese Academy of Sciences（中国科学院）；Beijing Union University（北京联合大学）
多标签分类研究每个样本同时属于多个标签的任务。作为一种代表性的方法，排序支持向量机（Rank-SVM）的目标是最小化排序损失，也可以减轻类不平衡问题的负面影响。然而，由于其堆叠式的阈值方式，它可能会遭受错误积累，从而降低最终的分类性能。二进制相关（BR）是另一种典型的方法，其目的是最大限度地减少汉明损失，只需要一步学习。然而，它可能存在类别不平衡问题，并且没有考虑标签相关性。针对上述问题，本文提出了一种新的多标签分类模型，该模型将Ranking支持向量机和二进制相关性与鲁棒低秩学习（RBRL）相结合。RBRL继承了Rank-SVM的排序损失最小化的优点，从而克服了BR遭受类不平衡问题和忽略标签相关性的缺点。同时，它利用汉明损失最小化和一步学习的优势BR，从而解决了Rank-SVM的缺点，包括另一个阈值学习步骤。此外，在低维标签空间的假设下，利用低秩约束进一步利用高阶标签相关性。此外，为了实现非线性多标签分类器，我们推导出核化RBRL。两种加速近似梯度法（APG）被用来解决优化问题的有效。与几个国家的最先进的方法进行了广泛的比较实验，说明了我们的方法RBRL具有很强的竞争力或优越的性能。
2019-11-05 cs.LG stat.ML
A Proximal Approach for Sparse Multiclass SVM
稀疏诱导惩罚是设计多类支持向量机的有效工具。在本文中，我们提出了一种凸优化方法，有效地和准确地解决多类SVM学习问题，涉及稀疏正则化和多类铰链损失制定的克莱默和辛格。我们提供两种算法：第一个处理作为惩罚项的铰链损失，而另一个处理通过约束强制铰链损失的情况。相关的凸优化问题可以有效地解决由于最近的原始-对偶邻近算法和epigraphical分裂技术提供的灵活性。在几个数据集上进行的实验表明，考虑铰链损失的精确表达而不是平滑近似的兴趣。所提出的算法的效率w.r.t.还通过比较执行时间来评估几种最先进的方法。
2015-12-14 cs.LG
Weston-Watkins Hinge Loss and Ordered Partitions
University of Michigan（密歇根大学）
支持向量机（SVM）的多类扩展已经以各种方式制定。最近对9种此类公式进行的经验比较[Dobalan等人，2016]推荐了Weston和Watkins（WW）提出的变体，尽管事实上WW铰链损失未相对于0-1损失进行校准。在这项工作中，我们引入了一种新的离散损失函数的多类分类，有序分区损失，并证明了相对于此损失的WW-hinge损失校准。我们还认为，有序分区损失是最大的离散损失满足这一属性的信息。最后，我们应用我们的理论来证明Dopelan等人的经验观察，即WW-SVM即使在大规模标签噪声下也能很好地工作，这对多类SVM来说是一个挑战。
2020-06-12 cs.LG math.OC stat.ML
Distance Metric Learning for Kernel Machines
Washington University in St. Louis（圣路易斯华盛顿大学）；Criteo（科韬）
最近在度量学习方面的工作显着提高了k-最近邻分类的最新水平。支持向量机（SVM），特别是具有RBF核的SVM，是使用距离度量来比较示例的最流行的分类算法之一。本文对三种最流行的马氏度量学习算法作为SVM训练的预处理的有效性进行了实证分析。我们发现，这些算法都没有产生指标，导致特别令人满意的改进SVM-RBF分类。作为一种补救措施，我们引入支持向量度量学习（SVML），一种新的算法，无缝地结合了马氏度量的学习与RBF-SVM参数的训练。我们证明了SVML的能力，在九个基准数据集的不同大小和难度。在我们的研究中，SVML在准确性方面优于所有其他最先进的度量学习算法，并通过交叉验证建立了自己作为标准欧几里得度量的模型选择的严肃替代品。
2013-01-08 cs.LG stat.ML
Learning rates for classification with Gaussian kernels
Wenzhou University（温州大学）；Jiangxi Normal University（江西师范大学）
针对基于高斯核和凸损失的支持向量机二值分类问题，提出了一种改进的误差分析方法。我们的第一个结果表明，对于某些损失函数，如截断二次损失和二次损失，高斯核支持向量机可以达到几乎最优的学习率，只要回归函数是光滑的。我们的第二个结果表明，对于大量的损失函数，在一些Tsybakov噪声假设下，如果回归函数是无限光滑的，那么具有高斯核的SVM可以达到$m^{-1}$阶的学习率，其中$m$是样本的数量。
2017-10-05 cs.LG math.OC stat.ML
Very Fast Kernel SVM under Budget Constraints
ENSEA（法国高等电力学院）；Université de Cergy-Pontoise（塞尔吉-蓬图瓦兹大学）；CNRS（法国国家科学研究中心）
在本文中，我们提出了一种快速在线核SVM算法在紧预算约束。我们建议使用LVQ分割输入空间，并在每个聚类中训练一个核SVM。为了允许在线训练，我们建议使用不同的策略限制每个集群的支持向量集的大小。我们在实验中表明，我们的算法能够实现高精度，同时在训练和评估中每秒处理的样本数量非常多。
2016-12-31 cs.LG stat.ML
Convex Loss Functions for Support Vector Machines (SVMs) and Neural Networks
本文提出了一种用于SVM和神经网络的凸损失函数，通过引入模式相关性提升泛化性能，并在多种数据集上验证了其有效性。
2026-02-26 cs.LG
Robust and sparse support vector machine via hybrid truncated loss for supervised classification
School of Science, Beijing Forestry University（北京林业大学理学院）；Translational Cancer Research Center, Peking University First Hospital（北京大学第一医院转化肿瘤研究中心）
提出一种稀疏且有界的混合截断损失函数L_ht，构建L_ht-SVM模型用于单视图分类，并扩展为多视图MvL_ht-SVM，通过P-平稳点和交替方向乘子法实现高效优化，实验表明在准确率、稀疏性和鲁棒性上优于对比方法。
2026-06-04 cs.LG
Optimal Model Averaging of Support Vector Machines in Diverging Model Spaces
支持向量机是一种功能强大的分类方法，在许多领域都取得了巨大的成功。由于冗余协变量会严重损害其性能，因此模型选择技术被广泛用于具有高维协变量的支持向量机。作为模型选择的一种替代方法，在过去几十年中，在模型平均化领域取得了重大进展。然而，没有频率论的模型平均方法被认为是支持向量机。这项工作的目的是填补空白，并提出了一个频率主义的模型平均过程中选择最佳的权重交叉验证的支持向量机。即使当协变量的数量发散的指数率的样本量，我们显示渐近最优的方法的铰链损失的比率收敛到一个。我们还推导出了收敛速度，这为模型平均提供了更多的见解。与支持向量机的模型选择方法相比，模型平均方法避免了繁琐的参数选择过程，在实证研究中表现出良好的性能。
2022-07-22 cs.LG stat.ML
Advancing Supervised Learning with the Wave Loss Function: A Robust and Smooth Approach
Indian Institute of Technology Indore（印度理工学院印多尔分校）
提出名为wave loss的非对称鲁棒平滑损失函数，结合SVM和TSVM构建Wave-SVM与Wave-TSVM模型，并首次用Adam算法求解SVM，在多数据集上取得更优预测精度。
2024-10-13 cs.LG
Stable Sample Compression Schemes: New Applications and an Optimal SVM Margin Bound
Toyota Technological Institute at Chicago（芝加哥丰田理工学院）；Ben-Gurion University（本-古里安大学）
我们分析了一个家庭的监督学习算法的基础上，样本压缩方案是稳定的，在这个意义上，从训练集没有选择的压缩集删除点不会改变所得的分类。我们使用这种技术来获得各种新的或改进的数据依赖的泛化界的几个学习算法。特别是，我们证明了一个新的利润率范围的SVM，删除一个对数因子。新的界限是可证明的最优的。这解决了一个长期悬而未决的问题，PAC利润率界限可实现SVM。
2020-11-09 cs.LG stat.ML
Streamed Learning: One-Pass SVMs
University of Utah（犹他大学）
我们提出了一个大规模分类的流模型（在$\ell_2$ -SVM的上下文中），利用学习和计算几何之间的连接。流模型施加了只允许对数据进行单次传递的约束。已知$\ell_2$在最小包围球（MEB）问题方面具有等效公式，并且存在基于\emph{core sets}思想的有效算法（核心向量机，CVM）。CVM学习一组点的$(1+\varepsilon)$ -近似MEB，并产生对应SVM实例的近似解。但是，云服务器工作在批处理模式下，需要多次传递数据。本文提出了一种基于流数据最小包围球的单遍支持向量机。我们表明，MEB更新的流的情况下，可以很容易地适应学习SVM的权重向量的方式类似于使用在线随机梯度更新。我们的算法在每个例子中执行多对数计算，并且需要非常小的常数存储。实验结果表明，即使在这样的限制性设置中，我们也可以在一次通过中有效地学习，并获得与其他最先进的SVM求解器（批处理和在线）相当的精度。我们也给出了一个分析的算法，并讨论了一些开放的问题和可能的扩展。
2009-08-05 cs.LG stat.ML
Accelerated Linear SVM Training with Adaptive Variable Selection Frequencies
Ruhr-Universität Bochum（波鸿鲁尔大学）；Universität Potsdam（波茨坦大学）
支持向量机（SVM）训练是一个活跃的研究领域，因为黎明的方法。近年来，人们对线性模型这一重要问题的专用求解器越来越感兴趣。Hsieh等人提出的算法，可能以“liblinear”实现的名义最为人所知，它标志着一个重大突破。该方法类似于已建立的用于训练非线性支持向量机的对偶分解算法，但每个更新步骤的计算复杂度大大降低。这是以不再跟踪目标的梯度为代价的，这排除了高度发达的工作集选择算法的应用。我们提出了一个算法改进这种方法。我们取代了统一的工作集选择与选择频率的在线适应。自适应准则的灵感来自现代二阶工作集选择方法。同样的机制取代了缩小启发式。在某些情况下，这种新技术可以将训练速度提高一个数量级以上。
2013-02-22 cs.LG stat.ML
Research on Parallel SVM Algorithm Based on Cascade SVM
Kunming University of Science and Technology（昆明理工大学）
级联支持向量机（CSVM）可以并行地对数据集进行分组和训练子集，大大减少了训练时间和内存消耗。然而，使用该方法获得的模型精度与直接训练相比存在一定误差。为了减少误差，我们分析了分组训练中产生误差的原因，总结了理想条件下的无误差分组。提出了一种平衡级联支持向量机（BCSVM）算法，该算法在分组后对子集中的样本比例进行平衡，以保证子集中的样本比例与原始数据集相同。同时证明了BCSVM算法得到的模型精度高于CSVM算法。最后，利用两个常用数据集进行实验验证，结果表明，使用BCSVM算法得到的精度误差从CSVM的1%降低到0.1%，降低了一个数量级。
2022-03-11 cs.LG
Dual SVM Training on a Budget
Institut für Neuroinformatik, Ruhr-Universität Bochum（波鸿鲁尔大学神经信息学研究所）
我们提出了一个对偶子空间上升算法的支持向量机训练，尊重预算约束限制的支持向量的数量。预算方法可以有效地减少核支持向量机的训练时间，同时保持高精度。到目前为止，预算培训仅适用于原始（基于SGD）求解器。对偶子空间上升方法，如序列最小优化，是有吸引力的，他们的良好的适应问题的结构，他们的快速收敛速度，和他们的实际速度。通过将预算约束合并到对偶算法中，我们的方法可以两全其美。我们证明了原始预算训练方法的相当大的加速。
2018-06-26 cs.LG stat.ML
Distributed Weighted Parameter Averaging for SVM Training on Big Data
IIT Kharagpur（印度理工学院卡拉格普尔分校）
在大数据上分布式训练SVM的两种流行方法是参数平均和ADMM。参数平均是有效的，但遭受损失的准确性与分区的数量的增加，而ADMM在特征空间是准确的，但遭受缓慢的收敛。在本文中，我们报告了一种混合的方法，称为加权参数平均（WPA），优化正则化铰链损失的权重参数。该问题被证明是相同的解决SVM在投影空间。我们还证明了一个$O(\frac{1}{N})$的稳定性界WPA给出的最终假设，使用新的证明技术。在各种玩具和真实世界数据集上的实验结果表明，对于大量的分区，我们的方法比参数平均更准确。它也可以看出，所提出的方法享有更快的收敛速度相比，ADMM在特征空间。
2015-09-30 cs.LG
Local Duality for Sparse Support Vector Machines
Department of Data Science and Artificial Intelligence, The Hong Kong Polytechnic University（数据科学与人工智能系，香港理工大学）；School of Mathematics and Statistics, Beijing Jiaotong University（数学与统计学学院，北京交通大学）；Department of Data Science and Artificial Intelligence, and Department of Applied Mathematics, The Hong Kong Polytechnic University（数据科学与人工智能系和应用数学系，香港理工大学）
本文提出稀疏支持向量机的局部对偶性理论，证明其与hSVM和rSVM的关系，并展示SSVM在特定条件下能提升模型性能。
2026-01-28 cs.LG
How to tune the RBF SVM hyperparameters?: An empirical evaluation of 18 search algorithms
Computing Institute University of Campinas（坎皮纳斯大学计算研究所）；Facultad de Ciencias y Filosofía Universidad Peruana Cayetano Heredia（秘鲁卡耶塔诺埃雷迪亚大学科学与哲学学院）
具有RBF核的SVM通常是大多数数据集的最佳分类算法之一，但重要的是要根据数据本身调整两个超参数$C$和$γ$。通常，超参数的选择是一个非凸优化问题，因此已经提出了许多算法来解决它，其中包括：网格搜索，随机搜索，贝叶斯优化，模拟退火，粒子群优化，Nelder Mead等。也有人建议将$γ$和$C$的选择分开。我们在115个现实生活中的二进制数据集上实证比较了18个这些建议的搜索算法（共47种组合具有不同的参数化）。我们发现（除其他事项外），树的Parzen估计和粒子群优化选择更好的超参数，只有轻微增加计算时间相对于网格搜索具有相同数量的评价。我们还发现，花费太多的计算精力搜索超参数将不太可能导致更好的性能，为未来的数据，并有没有显着的差异，不同的程序来选择最好的一组超参数时，发现一个以上的搜索算法。
2020-08-26 cs.LG stat.ML
On Coresets for Support Vector Machines
University of Haifa（海法大学）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
针对大数据和流媒体应用中的大规模支持向量机（SVM）训练问题，提出了一种高效的核心集构造算法。核心集是原始数据点的一个小的、有代表性的子集，使得在核心集上训练的模型与在原始数据集上训练的模型具有可证明的竞争力。由于核心集的大小通常比原始集小得多，因此我们的预处理然后训练方案在训练SVM模型时有可能导致显着的加速。我们证明了上下限的coreset的大小需要获得小的数据摘要的SVM问题。作为一个必然的结果，我们表明，我们的算法可以用来扩展任何现成的SVM求解器的适用性流，分布式和动态数据设置。我们评估我们的算法在现实世界和合成数据集的性能。我们的实验结果证实了我们的算法的理论性能良好，并证明了其在加速SVM训练的实际有效性。
2020-02-15 cs.LG stat.ML
An Algorithm to perform Covariance-Adjusted Support Vector Classification in Non-Euclidean Spaces
本研究提出了一种在非欧几里得空间中通过协方差调整改进SVM分类的算法，通过引入数据协方差优化提升分类性能。
2026-03-10 cs.LG stat.ML
Logitron: Perceptron-augmented classification model based on an extended logistic loss function
School of Liberal Arts, Korea University of Technology and Education（韩国技术教育大学文理学院）
Classification is the most important process in data analysis. However, due to the inherent non-convex and non-smooth structure of the zero-one loss function of the classification model, various convex surrogate loss functions such as hinge loss, squared hinge loss, logistic loss, and exponential loss are introduced. These loss functions have been used for decades in diverse classification models, such as SVM ( support vector machine ) with hinge loss, logistic regression with logistic loss, and Adaboost with exponential loss and so on. In this work, we present a Perceptron-augmented convex cl…
2019-04-05 cs.IT cs.LG math.IT
Behavioral analysis of support vector machine classifier with Gaussian kernel and imbalanced data
Frankfurt University of Applied Sciences（法兰克福应用科学大学）
支持向量机的惩罚参数和核参数等参数对支持向量机模型的分类精度和复杂度有很大影响。因此，SVM中的模型选择涉及这些参数的调整。然而，这些参数通常被调整并用作黑盒，而不了解数学背景或内部细节。在本文中，SVM分类模型的行为时，这些参数采取不同的值与平衡和不平衡的数据进行了分析。该分析包括可视化，数学和几何解释以及说明性的数值示例，旨在为SVM提供高斯和线性核函数的基础知识。在此基础上，提出了一种新的搜索算法。在该算法中，我们搜索到两个一维空间的最佳SVM参数，而不是搜索到一个二维空间。这大大减少了计算时间。此外，在我们的算法中，从数据的分析，核函数的范围可以预期。这也减少了搜索空间，因此减少了所需的计算时间。不同的实验进行了评估我们的搜索算法使用不同的平衡和不平衡的数据集。实验结果表明，该策略比其他搜索策略更快速、更有效.
2020-07-09 cs.LG stat.ML
Sequential Minimal Optimization Algorithm for One-Class Support Vector Machines With Privileged Information
Skolkovo Institute of Science and Technology (Skoltech)（斯科尔科沃科学技术研究所）；Institute for Information Transmission Problems of Russian Academy of Sciences (IITP RAS)（俄罗斯科学院信息传输问题研究所）；Artificial Intelligence Research Institute (AIRI)（人工智能研究所）
提出针对带特权信息的一类支持向量机（OC-SVM+）的SMO算法，显著优于非序列算法，并证明有限时间收敛性。
2026-06-23 cs.AI cs.LG stat.ML
A quantum extension of SVM-perf for training nonlinear SVMs in almost linear time
Tencent Quantum Laboratory（腾讯量子实验室）
我们提出了一种量子算法来训练非线性支持向量机（SVM）的特征空间学习，其中经典的输入数据被编码在量子态的振幅。基于经典的SVM-perf算法的Joachims，我们的算法有一个运行时间的规模线性的训练样本$m$（多对数因子）的数量，并适用于标准的软边缘$\ell_1$ -SVM模型。相比之下，虽然经典的SVM-perf在线性和非线性SVM上都表现出了令人印象深刻的性能，但它的效率仅在某些情况下得到保证：它仅针对线性SVM实现线性$m$缩放，其中分类在原始输入数据空间中执行，或者针对低秩或移位不变内核的特殊情况。类似地，先前提出的量子算法在$m$中具有超线性缩放，或者应用于不同的SVM模型，诸如硬边缘或最小二乘$\ell_2$-SVM，其缺乏软边缘$\ell_1$ -SVM模型的某些期望性质。我们经典地模拟我们的算法，并给出证据表明，它可以在实践中表现良好，而不仅仅是渐近大数据集。
2020-10-09 cs.LG quant-ph
TV-SVM: Total Variation Support Vector Machine for Semi-Supervised Data Classification
City University of Hong Kong（香港城市大学）
介绍了基于全变分（TV）、再生核希尔伯特空间（RKHS）、支持向量机（SVM）、Cheeger割、标记和未标记数据点的半监督数据分类算法。我们设计了二进制和多类半监督分类算法。我们比较了基于电视的分类算法与相关的基于拉普拉斯的算法，并表明，电视分类表现出显着更好的标记数据的数量是小的。
2012-10-02 cs.LG
Highly Efficient Human Action Recognition with Quantum Genetic Algorithm Optimized Support Vector Machine
在本文中，我们提出了使用量子遗传算法来优化支持向量机（SVM）的人体动作识别。微软Kinect传感器可用于骨骼跟踪，提供关节的位置数据。然而，由于人体运动的复杂性，如何提取运动特征来表示人体骨骼的动态仍然是一个挑战。我们提出了一种高效的动作分类特征提取方法，即使用关节角度来表示人体骨架，并计算每个角度在动作时间窗口内的方差。使用所提出的表示，我们比较了两种方法，包括基于量子遗传算法的优化支持向量机和传统的支持向量机与网格搜索的人体动作分类精度。在MSR-12数据集上的实验结果表明，传统的SVM达到了$ 93.85\% $的精度。所提出的方法优于传统的方法与$ 96.15\% $的准确性。
2017-12-15 cs.LG stat.ML
A PARTAN-Accelerated Frank-Wolfe Algorithm for Large-Scale SVM Classification
Federico Santa María University（费德里科·圣玛丽亚大学）；KU Leuven（荷语鲁汶大学）
Frank-Wolfe算法最近重新获得了机器学习社区的关注。它们坚实的理论性质和稀疏性保证使它们成为该领域广泛问题的合适选择。此外，存在几种基本程序的变体，以提高其理论特性和实际性能。在本文中，我们调查的应用程序中的一些技术，机器学习，特别是集中在并行切线（PARTAN）的FW算法的变种，以前没有建议或研究这类问题。我们提供的实验都在一个标准的设置和使用随机加速技术，表明所考虑的算法在几个中型和大型的SVM分类基准数据集上取得了可喜的成果。
2015-02-05 cs.LG math.OC stat.ML
Improving Efficiency of SVM k-fold Cross-validation by Alpha Seeding
The University of Melbourne（墨尔本大学）；South China University of Technology（华南理工大学）
k-fold cross-validation通常用于评估具有选定超参数的支持向量机的有效性。众所周知，SVM k折交叉验证是昂贵的，因为它需要训练k个SVM。然而，很少有工作探索重用第h个SVM训练第（h+1）个SVM，以提高效率的k折交叉验证。在本文中，我们提出了三个算法，重用的第h个SVM提高效率的训练（h+1）-th SVM。我们的核心思想是有效地识别支持向量，并准确地估计其相关的权重（也称为阿尔法值）的下一个SVM通过使用以前的SVM。我们的实验结果表明，我们的算法是几倍的速度比k折交叉验证，不使用以前训练的SVM。此外，我们的算法产生与k折交叉验证相同的结果（因此具有相同的准确性），该交叉验证不使用先前训练的SVM。
2017-02-04 cs.LG
Performance Evaluation of t-SNE and MDS Dimensionality Reduction Techniques with KNN, ENN and SVM Classifiers
IUBAT（孟加拉国际大学（IUBAT））；IUT（伊斯兰科技大学（IUT））
本文的主要目的是在Matlab中建立两种常用的降维方法，即t分布随机邻域嵌入（t-SNE）和多维尺度（MDS），并观察它们在几个数据集上的应用。这些DR技术应用于九个不同的数据集，即CNAE 9，分割，种子，皮马印第安人糖尿病，帕金森氏症，运动天秤座，乳房摄影质量，知识，和电离层从UCI机器学习库中获得。通过应用t-SNE和MDS算法，通过从数据集中消除不必要的特征，每个数据集被转换到其原始维度的一半。随后，这些数据集与减少的维度被送入三个监督分类算法进行分类。这些分类算法是K最近邻（KNN）、扩展最近邻（ENN）和支持向量机（SVM）。同样，所有这些算法都在Matlab中实现。每个数据集的训练数据和测试数据比率保持为90%：10%。在准确率观察的基础上，分析了每种维度技术与有效分类算法的效率，并对每种分类器的性能进行了评估。
2020-06-20 cs.LG stat.ML
A Parallel Way to Select the Parameters of SVM Based on the Ant Optimization Algorithm
SiChuan University（四川大学）
大量实验数据表明，支持向量机（SVM）算法在文本分类、手写体识别、图像分类、生物信息学等领域具有明显的优势。支持向量机的优化在一定程度上取决于其核函数和松弛变量，而松弛变量的决定因素是分类函数中的参数$δ$和c。也就是说，要优化SVM算法，这两个参数的优化起着巨大的作用。蚁群优化算法是一种模拟蚂蚁寻找最优路径的优化算法，在现有文献中，我们将蚁群优化算法与并行算法相结合来寻找最优参数。
2014-05-20 cs.LG cs.NE
An Equivalence between the Lasso and Support Vector Machines
ETH Zürich（苏黎世联邦理工学院）
我们研究了机器学习和信号处理中两种基本工具的关系，即用于分类的支持向量机和用于回归的Lasso技术。我们表明，由此产生的优化问题是等价的，在以下意义上。给定$\ell_2$ -损失软余量（或硬余量）SVM的任何实例，我们构造具有相同最优解的Lasso实例，反之亦然。因此，用于SVM和Lasso的许多现有优化算法也可以应用于相应的其他问题实例。此外，等效性允许SVM和Lasso的许多已知理论见解在两种设置之间转换。一个这样的含义给出了一个简单的核化版本的Lasso，类似于SVM设置中使用的内核。另一个结果是Lasso解决方案的稀疏性等于相应SVM实例的支持向量的数量，并且可以使用筛选规则来修剪支持向量集。此外，我们可以将这两个问题的次线性时间算法联系起来，并给出一个新的Lasso算法。我们还研究了这两种方法的正则化路径。
2014-04-25 cs.LG stat.ML
A Metric-learning based framework for Support Vector Machines and Multiple Kernel Learning
University of Geneva（日内瓦大学）；University of Applied Sciences Western Switzerland（瑞士西部应用科学大学）
大多数度量学习算法以及Fisher判别分析（FDA）都会优化类内和类间距离的不同度量的某些成本函数。另一方面，支持向量机（SVM）和多种多核学习（MKL）算法都是基于支持向量机的大间隔理论。最近，支持向量机已经从支持向量机和度量学习中进行了分析，并开发了基于每种优势的新算法。受SVM的度量学习解释的启发，我们在这里开发了一个新的基于度量学习的SVM框架，其中我们将度量学习的概念纳入SVM。我们扩展了支持向量机的优化问题，包括一些类内距离的措施，并沿着我们开发了一个新的类内距离措施，这是适合于支持向量机。此外，我们采用相同的方法MKL，并表明它也可以制定为一个马氏度量学习问题。我们的最终结果是一些SVM/MKL算法，将度量学习的概念。我们在一组基准数据集上进行了实验，并观察到重要的预测性能改进。
2013-09-16 cs.LG
An Empirical Comparison of SVM and Some Supervised Learning Algorithms for Vowel recognition
National School of Engineering of Tunis-ENIT（突尼斯国家工程学院）
在这篇文章中，我们进行了一些监督学习算法的元音识别性能的研究。本研究旨在比较每种算法的准确性。因此，我们提出了五个监督学习分类器和两个组合分类器：SVM，KNN，朴素贝叶斯，二次贝叶斯正常（QDC）和最接近的平均值之间的实证比较。这些算法进行了测试，元音识别使用TIMIT语料库和梅尔频率倒谱系数（MFCC）。
2015-07-22 cs.CL cs.LG
Feature Selection for Linear SVM with Provable Guarantees
Rensselaer Polytechnic Institute（伦斯勒理工学院）
我们给出了两个可证明准确的线性SVM的特征选择技术。算法分别在确定时间和随机时间下运行。我们的算法可以用于无监督或监督设置。监督的方法是基于支持向量的采样特征。我们证明，在特征空间中的利润率被保存在$ε$ -在最坏的情况下，在全特征空间中的利润率的相对误差。在无监督设置中，我们还提供了最小封闭球半径的最坏情况保证，从而确保与全特征空间中的泛化相当，并解决了Dasgupta等人提出的一个开放问题。我们在真实世界的数据集上进行了大量的实验，以支持我们的理论，并证明我们的方法具有竞争力，通常优于现有的最先进的方法，没有已知的可证明的保证。
2015-02-06 cs.LG stat.ML
Study and Observation of the Variation of Accuracies of KNN, SVM, LMNN, ENN Algorithms on Eleven Different Datasets from UCI Machine Learning Repository
Mississippi State University（密西西比州立大学）；International University of Business Agriculture and Technology（国际商业农业与技术大学）；Rajshahi University of Engineering and Technology（拉杰沙希工程技术大学）
机器学习使计算机有资格与数据同化，而不仅仅是编程[1，2]。机器学习可以分为监督学习和无监督学习。在监督学习中，计算机学习一个目标，该目标将输入描述为依赖于训练输入-输出对的输出[3]。最有效和广泛使用的监督学习算法是K最近邻（KNN）、支持向量机（SVM）、大间隔最近邻（LMNN）和扩展最近邻（ENN）。本文的主要贡献是在UCI机器学习库中的11个不同数据集上实现这些优雅的学习算法，以观察每个算法在所有数据集上的精度变化。通过对算法精度的分析，我们可以对机器学习算法与数据维数的关系有一个简单的了解。所有的算法都是在Matlab中开发的。在这样的精度观察之后，可以在KNN、SVM、LMNN和ENN之间建立关于它们在每个数据集上的性能的比较。
2018-11-29 cs.CV cs.LG stat.ML
RoBoSS: A Robust, Bounded, Sparse, and Smooth Loss Function for Supervised Learning
Indian Institute of Technology Indore（印度理工学院印多尔分校）
本文提出用于监督学习的鲁棒、有界、稀疏且平滑的RoBoSS损失函数，结合SVM提出$\mathcal{L}_{RoBoSS}$-SVM算法，理论证明其分类校准与泛化能力，并在88个基准及医疗数据集上验证了其优越的泛化性能与训练效率。
2024-09-20 cs.LG
A MapReduce based distributed SVM algorithm for binary classification
National Research Institute of Electronics and Cryptology, TUBITAK（土耳其科学技术研究委员会电子学与密码学国家研究所）；Istanbul University（伊斯坦布尔大学）
虽然支持向量机（Support Vector Machine，SVM）算法在训练阶段后对未知样本的分类具有很高的泛化能力，并且损失值较小，但该算法并不适用于实际的分类和回归问题。SVM无法解决训练数据集中的数十万个示例。在以前的分布式机器学习算法的研究中，SVM是在一个昂贵的和预先配置的计算机环境中训练的。在这项研究中，我们提出了一个基于MapReduce的分布式并行SVM训练算法的二进制分类问题。该工作展示了如何使用MapReduce技术在云计算系统上分配优化问题。在这项工作的第二步中，我们使用统计学习理论从MapReduce的reduce函数创建的假设空间中找到最小化我们的经验风险的预测假设。本文的研究结果对于基于SVM算法的分类问题的大数据集训练具有重要意义。提出了利用MapReduce技术对分裂数据集进行迭代训练，在有限的迭代规模下，分类器函数的精度将收敛到全局最优分类器函数的精度。该算法的性能进行了测试的样本从字母识别和笔为基础的识别手写数字数据集。
2013-12-15 cs.DC cs.LG
Support Vector Machine Classifier via $L_{0/1}$ Soft-Margin Loss
Beijing Jiaotong University（北京交通大学）；Hainan University（海南大学）；University of Southampton（南安普顿大学）
支持向量机由于其广泛的应用在过去的二十年里引起了人们的极大关注，并提出了许多最优化模型。为了区分所有这些，在本文中，我们引入了一个新的模型配备了一个$L_{0/1}$软利润损失（称为$L_{0/1}$ -SVM），很好地捕捉了二进制分类的性质。许多现有的凸/非凸软余量损失可以被视为$L_{0/1}$软余量损失的替代。尽管$L_{0/1}$是离散的，但我们证明了新模型的全局极小解的存在性，并揭示了其极小解与KKT/P-平稳点之间的关系.这些理论性质使我们能够利用乘子的交替方向法。此外，$L_{0/1}$ -支持向量算子被引入作为一个过滤器，以防止在训练过程中的支持向量离群值。因此，预计该方法相对稳健。最后，数值实验表明，我们提出的方法产生更好的性能，在更短的计算时间，更少的支持向量的数量时，对其他一些领先的方法在支持向量机领域。当数据量越来越大时，它的优势变得更加明显。
2021-04-05 cs.LG math.OC stat.ML
Quantum-Inspired Support Vector Machine
University of Science and Technology of China（中国科学技术大学）；CAS Centre for Excellence and Synergetic Innovation Centre in Quantum Information and Quantum Physics（中国科学院量子信息与量子科技创新卓越中心）；University of Oxford（牛津大学）；Hefei National Laboratory for Physical Sciences at Microscale（合肥微尺度物质科学国家实验室）
支持向量机（Support Vector Machine，SVM）是一种功能强大且灵活的监督学习模型，它可以对数据进行分类和回归分析，通常的算法复杂度与数据空间的维数和数据点的数量呈多项式关系。为了解决大数据问题，提出了一种量子支持向量机算法，该算法能够实现最小二乘支持向量机（LS-SVM）的指数加速比。在这里，受量子SVM算法的启发，我们提出了一个量子启发的经典算法LS-SVM。在我们的方法中，一种改进的快速采样技术，即间接采样，提出了采样的核矩阵和分类。我们首先考虑线性核的LS-SVM，然后讨论我们的方法推广到非线性核。理论分析表明，对于低秩、低条件数和高维数据矩阵，该算法可以在数据空间维数和数据点数均为对数的运行时间内以任意的成功概率进行分类，与量子SVM的运行时间相匹配。
2021-03-16 cs.CC cs.LG quant-ph
Nowcasting Recessions using the SVM Machine Learning Algorithm
我们介绍了一种新的应用支持向量机（SVM），一个重要的机器学习算法，以确定开始和结束的衰退在实时。临近预报，即“预测”当前的情况，因为有关它的全部信息要到以后才能得到，是衰退的关键，而衰退是在事实发生几个月后才确定的。我们表明，支持向量机具有出色的预测性能，这项任务，我们提供的实施细节，以促进其在经济和金融中的类似问题的使用。
2019-06-27 cs.LG econ.GN q-fin.EC
Accelerated Proximal Stochastic Dual Coordinate Ascent for Regularized Loss Minimization
The Hebrew University（希伯来大学）；Rutgers University（罗格斯大学）；Baidu Inc.（百度公司）
本文提出一种正则化损失最小化问题的加速随机对偶坐标上升方法，并通过内-外迭代流程提升其效率，改进了支持向量机、逻辑回归等关键机器学习优化问题的理论结果。
2013-10-08 cs.LG cs.NA math.NA
Differential Search Algorithm-based Parametric Optimization of Fuzzy Generalized Eigenvalue Proximal Support Vector Machine
Assiut University（阿西乌特大学）
支持向量机（Support Vector Machine，SVM）是解决许多分类问题的有效模型。然而，支持向量机需要一个二次规划的解决方案，需要专门的代码。另外，支持向量机参数较多，影响了支持向量机分类器的性能。最近，广义特征值邻近支持向量机（GEPSVM）已被提出来解决SVM的复杂性。在实际应用中，数据可能会受到误差或噪声的影响，处理这些数据是一个具有挑战性的问题。在本文中，已经提出了一种方法来克服这个问题。这种方法被称为DSA-GEPSVM。主要的改进是基于以下几个方面：1）一种新的线性情况下的模糊值。2)一种新的非线性核函数。3)差分搜索算法（DSA）的重新制定，以找到近最优值的GEPSVM参数和它的核参数。实验结果表明，该方法能够找到合适的参数值，与其他算法相比具有更高的分类精度。
2015-01-04 cs.LG
