$p$SVM: Soft-margin SVMs with $p$-norm Hinge Loss
Renmin Univerity of China（中国人民大学）
本文研究 $p$SVM（具有 $p$-范数铰链损失的软间隔支持向量机），推导其泛化界与对偶问题，提出广义 SMO 算法 $p$SMO，并在二分类和多分类数据集上验证了其有效性与优势。
2024-08-20 cs.LG
Cost-Sensitive Support Vector Machines
Shiraz University（设拉子大学）；University of California, San Diego（加州大学圣地亚哥分校）
提出了一种新的代价敏感支持向量机（CS-SVM）分类器的学习方法。SVM铰链损失扩展到成本敏感的设置，CS-SVM推导出作为相关风险的最小化。铰链损失的扩展利用了风险最小化和概率启发之间的最新联系。这些连接推广到成本敏感的分类，在某种程度上，保证与成本敏感的贝叶斯风险，和相关的贝叶斯决策规则的一致性。这确保了在新的铰链损失下，最优决策规则实现贝叶斯最优成本敏感分类边界。新的铰链损失最小化被证明是一个经典的SVM优化问题的推广，并可以通过相同的程序来解决。通过正则化理论和灵敏度分析，详细分析了CS-SVM的对偶问题，并对CS-SVM算法进行了验证。该算法还扩展到成本敏感的学习与示例相关的成本。提出了最小成本敏感风险作为性能度量，并通过向量优化将其与ROC分析相连接。由此产生的算法避免了以前的方法成本敏感的SVM设计的缺点，并被证明具有优越的实验性能，大量的成本敏感和不平衡的数据集。
2015-02-15 cs.LG stat.ML
Convex losses and their applications to SVM, SVR, and Shallow Neural Networks
DAIS
该研究提出多种适用于SVM和神经网络的新型凸损失函数，结合粒子群优化算法求解原始SVM问题，经嵌套交叉验证实验，发现新型损失函数对部分数据集的泛化性能无显著影响。
2026-09-21 cs.LG
Breakdown Point of Robust Support Vector Machine
Nagoya University（名古屋大学）；The University of Tokyo（东京大学）
支持向量机（SVM）是解决分类问题最成功的学习方法之一。尽管支持向量机很受欢迎，但它有一个严重的缺点，即对训练样本中的离群值敏感。错误分类的惩罚由称为铰链损失的凸损失定义，凸损失的无界性导致对离群值的敏感性。为了处理离群值，已经提出了SVM的鲁棒变体，例如鲁棒离群值检测算法和具有称为斜坡损失的有界损失的SVM。在本文中，我们提出了一个强大的SVM的变种，并研究其鲁棒性的崩溃点。崩溃点是鲁棒性度量，其是最大量的污染，使得估计的分类器仍然给出关于未污染数据的信息。本文的主要贡献是显示一个准确的评估故障点的强大的支持向量机。对于我们算法中的正则化参数等学习参数，我们推导出一个简单的公式，保证了分类器的鲁棒性。当使用交叉验证的网格搜索确定学习参数时，我们的公式可以减少候选搜索点的数量。数值实验证实了该方法的鲁棒性。我们表明，强大的支持向量机的统计特性很好地解释了故障点的理论分析。
2014-09-03 cs.LG stat.ML
Sparse $ε$ insensitive zone bounded asymmetric elastic net support vector machines for pattern classification
College of Mathematics and Statistics, Chongqing University（重庆大学数学与统计学院）
本文提出一种稀疏且鲁棒的 ε-BAEN-SVM，结合弹性网络损失与鲁棒损失框架，通过半二次算法提升计算效率，在噪声环境中实现良好的稀疏性和鲁棒性。
2026-04-09 cs.LG stat.ML
A Novel Loss Function-based Support Vector Machine for Binary Classification
Tsinghua University（清华大学）
针对现有SVM忽略间隔内正确分类样本惩罚程度的问题，提出基于Slide损失函数的$\ell_s$-SVM，并设计带工作集的快速交替方向乘子法求解，实验证明其鲁棒有效。
2024-03-25 cs.LG math.OC
But How Does It Work in Theory? Linear SVM with Random Features
University of Michigan（密歇根大学）；Department of Mathematics（数学系）；Department of Statistics（统计系）；Ann Arbor, MI, 48109（密歇根州安娜堡市（48109））
我们证明了，在低噪声假设下，支持向量机与$N\ll m$随机特征（RFSVM）可以实现更快的学习率比$O(1/\sqrt{m})$的训练集与$m$样本时，使用优化的特征映射。我们的工作扩展了以前的快速率分析的随机特征的方法，从最小二乘损失0-1损失。我们还表明，重新加权的特征选择方法，它近似优化的特征图，有助于提高RFSVM的性能在实验中的合成数据集。
2019-01-08 cs.LG stat.ML
Support Vector Machine Classifier with Rescaled Huberized Pinball Loss
本文提出了一种基于Huber化针球损失的支持向量机模型RHPSVM，通过非凸优化方法提升分类性能，尤其在处理高维小样本数据时表现优异。
2025-11-27 cs.LG stat.ML
Joint Ranking SVM and Binary Relevance with Robust Low-Rank Learning for Multi-Label Classification
University of Chinese Academy of Sciences（中国科学院大学）；Chinese Academy of Sciences（中国科学院）；Beijing Union University（北京联合大学）
多标签分类研究每个样本同时属于多个标签的任务。作为一种代表性的方法，排序支持向量机（Rank-SVM）的目标是最小化排序损失，也可以减轻类不平衡问题的负面影响。然而，由于其堆叠式的阈值方式，它可能会遭受错误积累，从而降低最终的分类性能。二进制相关（BR）是另一种典型的方法，其目的是最大限度地减少汉明损失，只需要一步学习。然而，它可能存在类别不平衡问题，并且没有考虑标签相关性。针对上述问题，本文提出了一种新的多标签分类模型，该模型将Ranking支持向量机和二进制相关性与鲁棒低秩学习（RBRL）相结合。RBRL继承了Rank-SVM的排序损失最小化的优点，从而克服了BR遭受类不平衡问题和忽略标签相关性的缺点。同时，它利用汉明损失最小化和一步学习的优势BR，从而解决了Rank-SVM的缺点，包括另一个阈值学习步骤。此外，在低维标签空间的假设下，利用低秩约束进一步利用高阶标签相关性。此外，为了实现非线性多标签分类器，我们推导出核化RBRL。两种加速近似梯度法（APG）被用来解决优化问题的有效。与几个国家的最先进的方法进行了广泛的比较实验，说明了我们的方法RBRL具有很强的竞争力或优越的性能。
2019-11-05 cs.LG stat.ML
Polarization Measurement of High Dimensional Social Media Messages With Support Vector Machine Algorithm Using Mapreduce
TÜBİTAK – BİLGEM – SİBER GÜVENLİK ENSTİTÜSÜ（土耳其科学技术研究委员会信息与信息安全研究所）
提出了一种基于分布式MapReduce技术的支持向量机（SVM）训练算法。大量的研究表明，在机器学习领域的分类算法中，支持向量机具有最好的泛化性能。而且，SVM分类器模型不受特征相关性的影响。但SVM在训练阶段使用二次优化技术。将SVM算法转化为二次优化问题。二次优化问题具有$O(m^3)$时间复杂度和$O(m^2)$空间复杂度，其中m是训练集的大小。支持向量机训练的计算时间是训练实例数的二次方。因此，SVM不是一种适合大规模数据集分类的分类算法。为了解决这个训练问题，我们开发了一种新的分布式MapReduce方法。相应地，（i）在分布式数据集中单独训练SVM算法;（ii）然后合并每个训练节点中的分类器模型的所有支持向量;以及（iii）重复这两个步骤，直到分类器模型收敛到最优分类器函数。在实现阶段，大规模的社会媒体数据集在TFxIDF矩阵。该矩阵用于情感分析，得到极化值。分类方法建立了两类和三类模型。每个分类模型的混淆矩阵在表中呈现。社交媒体消息语料库包括土耳其108所公立大学和66所私立大学的消息。Twitter被用作语料库的来源。Twitter用户消息使用Twitter Streaming API收集。结果以图形和表格显示。
2015-03-11 cs.CL cs.LG
Learning rates for classification with Gaussian kernels
Wenzhou University（温州大学）；Jiangxi Normal University（江西师范大学）
针对基于高斯核和凸损失的支持向量机二值分类问题，提出了一种改进的误差分析方法。我们的第一个结果表明，对于某些损失函数，如截断二次损失和二次损失，高斯核支持向量机可以达到几乎最优的学习率，只要回归函数是光滑的。我们的第二个结果表明，对于大量的损失函数，在一些Tsybakov噪声假设下，如果回归函数是无限光滑的，那么具有高斯核的SVM可以达到$m^{-1}$阶的学习率，其中$m$是样本的数量。
2017-10-05 cs.LG math.OC stat.ML
A Proximal Approach for Sparse Multiclass SVM
稀疏诱导惩罚是设计多类支持向量机的有效工具。在本文中，我们提出了一种凸优化方法，有效地和准确地解决多类SVM学习问题，涉及稀疏正则化和多类铰链损失制定的克莱默和辛格。我们提供两种算法：第一个处理作为惩罚项的铰链损失，而另一个处理通过约束强制铰链损失的情况。相关的凸优化问题可以有效地解决由于最近的原始-对偶邻近算法和epigraphical分裂技术提供的灵活性。在几个数据集上进行的实验表明，考虑铰链损失的精确表达而不是平滑近似的兴趣。所提出的算法的效率w.r.t.还通过比较执行时间来评估几种最先进的方法。
2015-12-14 cs.LG
Weston-Watkins Hinge Loss and Ordered Partitions
University of Michigan（密歇根大学）
支持向量机（SVM）的多类扩展已经以各种方式制定。最近对9种此类公式进行的经验比较[Dobalan等人，2016]推荐了Weston和Watkins（WW）提出的变体，尽管事实上WW铰链损失未相对于0-1损失进行校准。在这项工作中，我们引入了一种新的离散损失函数的多类分类，有序分区损失，并证明了相对于此损失的WW-hinge损失校准。我们还认为，有序分区损失是最大的离散损失满足这一属性的信息。最后，我们应用我们的理论来证明Dopelan等人的经验观察，即WW-SVM即使在大规模标签噪声下也能很好地工作，这对多类SVM来说是一个挑战。
2020-06-12 cs.LG math.OC stat.ML
Convex Loss Functions for Support Vector Machines (SVMs) and Neural Networks
本文提出了一种用于SVM和神经网络的凸损失函数，通过引入模式相关性提升泛化性能，并在多种数据集上验证了其有效性。
2026-02-26 cs.LG
Deep Learning using Linear Support Vector Machines
University of Toronto（多伦多大学）
最近，全连接和卷积神经网络已经被训练成在诸如语音识别、图像分类、自然语言处理和生物信息学的各种任务上实现最先进的性能。对于分类任务，这些“深度学习“模型中的大多数都使用softmax激活函数进行预测并最小化交叉熵损失。在本文中，我们展示了用线性支持向量机替换softmax层的一个小但一致的优点。学习最小化了基于边际的损失，而不是交叉熵损失。虽然在现有技术中已经存在神经网络和SVM的各种组合，但是我们使用L2-SVM的结果表明，通过简单地用线性SVM替换softmax，在流行的深度学习数据集MNIST、CIFAR-10和ICML 2013表示学习研讨会的面部表情识别挑战上获得了显着的收益。
2015-02-21 cs.LG stat.ML
Robust and sparse support vector machine via hybrid truncated loss for supervised classification
School of Science, Beijing Forestry University（北京林业大学理学院）；Translational Cancer Research Center, Peking University First Hospital（北京大学第一医院转化肿瘤研究中心）
提出一种稀疏且有界的混合截断损失函数L_ht，构建L_ht-SVM模型用于单视图分类，并扩展为多视图MvL_ht-SVM，通过P-平稳点和交替方向乘子法实现高效优化，实验表明在准确率、稀疏性和鲁棒性上优于对比方法。
2026-06-04 cs.LG
Advancing Supervised Learning with the Wave Loss Function: A Robust and Smooth Approach
Indian Institute of Technology Indore（印度理工学院印多尔分校）
提出名为wave loss的非对称鲁棒平滑损失函数，结合SVM和TSVM构建Wave-SVM与Wave-TSVM模型，并首次用Adam算法求解SVM，在多数据集上取得更优预测精度。
2024-10-13 cs.LG
An ADMM Solver for the MKL-$L_{0/1}$-SVM
Sun Yat-sen University（中山大学）
本文为带有$(0,1)$-损失函数的支持向量机构建了多核学习问题，利用一阶最优性条件开发了求解该非凸非光滑优化问题的快速ADMM求解器，数值实验表明该框架具有前景。
2023-03-31 cs.LG stat.ML
Distributed Weighted Parameter Averaging for SVM Training on Big Data
IIT Kharagpur（印度理工学院卡拉格普尔分校）
在大数据上分布式训练SVM的两种流行方法是参数平均和ADMM。参数平均是有效的，但遭受损失的准确性与分区的数量的增加，而ADMM在特征空间是准确的，但遭受缓慢的收敛。在本文中，我们报告了一种混合的方法，称为加权参数平均（WPA），优化正则化铰链损失的权重参数。该问题被证明是相同的解决SVM在投影空间。我们还证明了一个$O(\frac{1}{N})$的稳定性界WPA给出的最终假设，使用新的证明技术。在各种玩具和真实世界数据集上的实验结果表明，对于大量的分区，我们的方法比参数平均更准确。它也可以看出，所提出的方法享有更快的收敛速度相比，ADMM在特征空间。
2015-09-30 cs.LG
Local Duality for Sparse Support Vector Machines
Department of Data Science and Artificial Intelligence, The Hong Kong Polytechnic University（数据科学与人工智能系，香港理工大学）；School of Mathematics and Statistics, Beijing Jiaotong University（数学与统计学学院，北京交通大学）；Department of Data Science and Artificial Intelligence, and Department of Applied Mathematics, The Hong Kong Polytechnic University（数据科学与人工智能系和应用数学系，香港理工大学）
本文提出稀疏支持向量机的局部对偶性理论，证明其与hSVM和rSVM的关系，并展示SSVM在特定条件下能提升模型性能。
2026-01-28 cs.LG
Logitron: Perceptron-augmented classification model based on an extended logistic loss function
School of Liberal Arts, Korea University of Technology and Education（韩国技术教育大学文理学院）
Classification is the most important process in data analysis. However, due to the inherent non-convex and non-smooth structure of the zero-one loss function of the classification model, various convex surrogate loss functions such as hinge loss, squared hinge loss, logistic loss, and exponential loss are introduced. These loss functions have been used for decades in diverse classification models, such as SVM ( support vector machine ) with hinge loss, logistic regression with logistic loss, and Adaboost with exponential loss and so on. In this work, we present a Perceptron-augmented convex cl…
2019-04-05 cs.IT cs.LG math.IT
Relative Attribute Classification with Deep Rank SVM
Sabanci University（萨班哲大学）
相对属性表示图像对之间特定属性的强度。我们引入了一个具有秩SVM损失函数的深度暹罗网络，称为深度秩SVM（DRSVM），以决定一对图像中哪一个具有更强的特定属性。该网络以端到端的方式进行训练，以共同学习视觉特征和排名函数。我们在四个图像基准数据集上证明了我们的方法对最先进方法的有效性：LFW-10，PubFig，UTZap 50 K-lexi和UTZap 50 K-2数据集。在四个图像基准数据集中的三个数据集上，DRSVM在属性的平均准确度方面超过了最先进的水平。
2020-09-09 cs.CV cs.LG stat.ML
A Case of Exponential Convergence Rates for SVM
Meta AI；University of Rome Tor Vergata（罗马第二大学）
本文提出了一种简单机制以获得快速收敛速率，并证明 SVM 在不假设硬 Tsybakov 间隔条件的情况下也能实现指数收敛速率。
2023-05-22 cs.AI cs.LG stat.ML
AML-SVM: Adaptive Multilevel Learning with Support Vector Machines
Clemson University（克莱姆森大学）
支持向量机是机器学习中应用最广泛、最实用的基于优化的分类模型之一，因为它具有可解释性和产生高质量结果的灵活性。然而，大数据给最复杂但相对较慢的SVM版本，即非线性SVM带来了一定的困难。非线性SVM求解器的复杂性和核矩阵中的元素数量随着训练数据中的样本数量而二次增加。因此，运行时和内存需求都受到负面影响。此外，参数拟合有额外的内核参数要调优，这进一步加剧了运行时间。本文提出了一种自适应多级学习框架的非线性SVM，它解决了这些挑战，提高了整个细化过程的分类质量，并利用多线程并行处理更好的性能。在分层学习框架中集成参数拟合和自适应过程以停止不必要的计算，从而显着减少运行时间，同时提高整体性能。实验结果表明，减少了预测验证和测试数据跨层次的方差，并显着加速相比，国家的最先进的非线性SVM库，而不会降低分类质量。该代码可在https://github.com/esadr/amlsvm上访问。
2020-11-05 cs.LG
Handling uncertainties in SVM classification
INSERM U556（法国国家健康与医学研究院 U556）；CREATIS, UMR CNRS 5220（CREATIS，法国国家科学研究中心混合研究单位 5220）；INSERM U1044（法国国家健康与医学研究院 U1044）；INSA-Lyon（里昂国立应用科学学院）；UCBL（里昂第一大学）；LITIS EA 4108, INSA-Universite de Rouen（鲁昂国立应用科学学院 LITIS EA 4108）
本文讨论了模式分类问题时，可用的目标数据包括一些不确定性信息。这里考虑的目标数据是定性的（类别标签）或定量的（后验概率的估计）。我们的主要贡献是一个SVM启发制定这个问题，允许考虑到类标签通过铰链损失以及概率估计使用ε不敏感的成本函数连同最小范数（最大利润率）的目标。该公式显示了导致二次问题的对偶形式，并允许使用表示定理和相关的内核。所提供的解决方案可以用于决策和后验概率估计。基于经验证据，我们的方法优于常规SVM的概率预测和分类性能。
2011-06-17 cs.LG
Elite-Driven Support Vector Machines for Classification
Department of Statistics, University of Manitoba（曼尼托巴大学统计系）
本文提出EDSVM框架，通过引导松驰变量增强经验风险最小化，结合松驰损失与偏差惩罚，实现与参考模型的局部接近，实验显示其性能优于传统SVM。
2026-04-28 cs.LG math.ST stat.ME
Differential Search Algorithm-based Parametric Optimization of Fuzzy Generalized Eigenvalue Proximal Support Vector Machine
Assiut University（阿西乌特大学）
支持向量机（Support Vector Machine，SVM）是解决许多分类问题的有效模型。然而，支持向量机需要一个二次规划的解决方案，需要专门的代码。另外，支持向量机参数较多，影响了支持向量机分类器的性能。最近，广义特征值邻近支持向量机（GEPSVM）已被提出来解决SVM的复杂性。在实际应用中，数据可能会受到误差或噪声的影响，处理这些数据是一个具有挑战性的问题。在本文中，已经提出了一种方法来克服这个问题。这种方法被称为DSA-GEPSVM。主要的改进是基于以下几个方面：1）一种新的线性情况下的模糊值。2)一种新的非线性核函数。3)差分搜索算法（DSA）的重新制定，以找到近最优值的GEPSVM参数和它的核参数。实验结果表明，该方法能够找到合适的参数值，与其他算法相比具有更高的分类精度。
2015-01-04 cs.LG
RoBoSS: A Robust, Bounded, Sparse, and Smooth Loss Function for Supervised Learning
Indian Institute of Technology Indore（印度理工学院印多尔分校）
本文提出用于监督学习的鲁棒、有界、稀疏且平滑的RoBoSS损失函数，结合SVM提出$\mathcal{L}_{RoBoSS}$-SVM算法，理论证明其分类校准与泛化能力，并在88个基准及医疗数据集上验证了其优越的泛化性能与训练效率。
2024-09-20 cs.LG
An Equivalence between the Lasso and Support Vector Machines
ETH Zürich（苏黎世联邦理工学院）
我们研究了机器学习和信号处理中两种基本工具的关系，即用于分类的支持向量机和用于回归的Lasso技术。我们表明，由此产生的优化问题是等价的，在以下意义上。给定$\ell_2$ -损失软余量（或硬余量）SVM的任何实例，我们构造具有相同最优解的Lasso实例，反之亦然。因此，用于SVM和Lasso的许多现有优化算法也可以应用于相应的其他问题实例。此外，等效性允许SVM和Lasso的许多已知理论见解在两种设置之间转换。一个这样的含义给出了一个简单的核化版本的Lasso，类似于SVM设置中使用的内核。另一个结果是Lasso解决方案的稀疏性等于相应SVM实例的支持向量的数量，并且可以使用筛选规则来修剪支持向量集。此外，我们可以将这两个问题的次线性时间算法联系起来，并给出一个新的Lasso算法。我们还研究了这两种方法的正则化路径。
2014-04-25 cs.LG stat.ML
Proximal gradient method for huberized support vector machine
Rice University（莱斯大学）；Siemens Corporate Research（西门子公司研究部）
支持向量机（SVM）已被用于各种各样的分类问题。原始的SVM使用铰链损失函数，这是不可微的，使得问题难以解决，特别是对于正则化的SVM，如$\ell_1$ -正则化。本文考虑了Huberized SVM（HSVM），它使用了可微近似的铰链损失函数。我们首先探讨使用的邻近梯度（PG）方法来解决二进制类HSVM（B-HSVM），然后将其推广到多类HSVM（M-HSVM）。在强凸性假设下，我们证明了算法的线性收敛性。此外，我们给出了一个关于解的支撑的有限收敛性结果，在此基础上，我们进一步用两阶段方法加速算法。我们提出了广泛的数值实验的合成和真实的数据集，证明了我们的方法优于一些国家的最先进的二进制和多类SVM的方法。
2015-11-30 cs.LG cs.NA math.NA
Non-Contact Breath Rate Classification Using SVM Model and mmWave Radar Sensor Data
Z.H.C.ET. Aligarh Muslim University（阿里格尔穆斯林大学Z.H.工程技术学院）
本研究利用FMCW雷达非接触采集呼吸数据，结合多种SVM核函数分类正常与异常呼吸频率，实验表明二次多项式核函数以最少支持向量达到95%准确率。
2024-07-18 cs.LG
Support Vector Machine Classifier via $L_{0/1}$ Soft-Margin Loss
Beijing Jiaotong University（北京交通大学）；Hainan University（海南大学）；University of Southampton（南安普顿大学）
支持向量机由于其广泛的应用在过去的二十年里引起了人们的极大关注，并提出了许多最优化模型。为了区分所有这些，在本文中，我们引入了一个新的模型配备了一个$L_{0/1}$软利润损失（称为$L_{0/1}$ -SVM），很好地捕捉了二进制分类的性质。许多现有的凸/非凸软余量损失可以被视为$L_{0/1}$软余量损失的替代。尽管$L_{0/1}$是离散的，但我们证明了新模型的全局极小解的存在性，并揭示了其极小解与KKT/P-平稳点之间的关系.这些理论性质使我们能够利用乘子的交替方向法。此外，$L_{0/1}$ -支持向量算子被引入作为一个过滤器，以防止在训练过程中的支持向量离群值。因此，预计该方法相对稳健。最后，数值实验表明，我们提出的方法产生更好的性能，在更短的计算时间，更少的支持向量的数量时，对其他一些领先的方法在支持向量机领域。当数据量越来越大时，它的优势变得更加明显。
2021-04-05 cs.LG math.OC stat.ML
Solving L1-regularized SVMs and related linear programs: Revisiting the effectiveness of Column and Constraint Generation
MIT（麻省理工学院）；Vicarious AI
线性支持向量机是机器学习中的一种经典分类方法。受现代高维统计应用的启发，我们考虑惩罚SVM问题，涉及使用凸稀疏诱导正则化函数最小化铰链损失函数，例如：系数的L1范数，其分组推广和排序的L1惩罚（又名斜率）。每个问题都可以表示为线性规划（LP），并且当特征和/或样本的数量很大时，计算上具有挑战性-与通常的L2正则化线性SVM相比，这些问题的算法的当前状态相当新生。为此，我们提出了新的计算算法，这些LP汇集技术（a）经典的列（和约束）生成方法和（b）一阶方法的非光滑凸优化-技术，很少一起用于解决大规模的LP。这些组件有各自的优势，虽然他们被发现是有用的作为单独的实体，他们还没有一起使用的背景下，解决大规模的LP，如本文研究的。我们的方法补充了（a）和（b）的优势-导致一个方案，似乎显着优于商业解决方案以及这些问题的专门实现。我们提出了一系列真实和合成数据集的数值结果，证明了经典列/约束生成方法在具有挑战性的基于LP的机器学习任务的背景下的惊人有效性。
2021-08-27 cs.LG stat.ML
Accelerated Proximal Stochastic Dual Coordinate Ascent for Regularized Loss Minimization
The Hebrew University（希伯来大学）；Rutgers University（罗格斯大学）；Baidu Inc.（百度公司）
本文提出一种正则化损失最小化问题的加速随机对偶坐标上升方法，并通过内-外迭代流程提升其效率，改进了支持向量机、逻辑回归等关键机器学习优化问题的理论结果。
2013-10-08 cs.LG cs.NA math.NA
Nonlinear Kernel Support Vector Machine with 0-1 Soft Margin Loss
Hainan University（海南大学）；Zhijiang College, Zhejiang University of Technology（浙江工业大学之江学院）
具有0-1软间隔损失的线性支持向量机（$L_{0/1}$ -SVM）的最新进展表明，0-1损失问题可以直接求解。然而，由于理论和算法上的要求限制了我们将线性求解框架直接扩展到非线性核形式，其中$L_{0/1}$ -SVM的拉格朗日对偶函数没有显式表达是一个很大的不足。本文应用非参数表示定理，提出了一种具有0-1软间隔损失的支持向量机的非线性模型，称为$L_{0/1}$ -KSVM。从理论上探讨了该问题的最优性条件，并引入了工作集选择交替方向乘子法（ADMM）算法，得到了该问题的数值解。此外，我们首次提出了一个封闭形式的定义支持向量（SV）的$L_{0/1}$ -KSVM。从理论上证明了$L_{0/1}$ -KSVM的所有支持向量只位于平行决策曲面上。实验部分还表明，与线性同类$L_{0/1}$ -SVM和其他六种非线性基准SVM分类器相比，$L_{0/1}$ -KSVM具有更少的支持向量机，同时具有良好的预测精度。
2022-12-01 cs.LG math.OC
Lower Bounds for BMRM and Faster Rates for Training SVMs
University of Chicago（芝加哥大学）；Australian National University（澳大利亚国立大学）；NICTA（国家信息与通信技术研究院）；Purdue University（普渡大学）
二进制铰链损失及其变体的正则化风险最小化是许多机器学习问题的核心。正则化风险最小化（BMRM）的捆绑方法和密切相关的SVMStruct被认为是解决这个问题的最佳通用解决方案。最近表明，BMRM需要$O(1/ε)$迭代收敛到$ε$精确解。在本文的第一部分中，我们使用阿达玛矩阵构造一个正则化的风险最小化问题，并表明这些利率不能提高。然后，我们将展示如何利用目标函数的结构来设计一种算法，该算法收敛到一个$ε$精确的解决方案，在$O(1/\sqrtε)$迭代的二进制铰链损失。
2009-09-08 cs.AI cs.DS cs.LG
Support Vector Machine Implementation on MPI-CUDA and Tensorflow Framework
Ain Shams University（艾因沙姆斯大学）
本文比较了支持向量机在MPI-CUDA和TensorFlow框架上的并行实现，发现MPI-CUDA实现加速更高，而TensorFlow实现提供跨平台解决方案以减少开发时间。
2023-11-25 cs.DC cs.LG
High-Dimensional Penalized Bernstein Support Vector Machines
Université du Québec À Montréal（魁北克大学蒙特利尔分校）；Cadi Ayyad University（卡迪·阿亚德大学）；Faculty of Sciences Semlalia（塞姆拉利亚理学院）
支持向量机（SVM）是一种功能强大的分类器，用于二进制分类，以提高预测精度。然而，SVM铰链损失函数的不可微性会导致高维设置中的计算困难。为了克服这个问题，我们依靠伯恩斯坦多项式，并提出了一个新的平滑版本的SVM铰链损失称为伯恩斯坦支持向量机（BernSVM），这是适合于高维$p >> n$政权。由于BernSVM的目标损失函数是$C^2$类，我们提出了两个有效的算法计算惩罚BernSVM的解决方案。第一个算法是基于坐标下降与最大化优化（MM）原则和第二个是IRLS型算法（迭代重加权最小二乘）。在标准假设下，我们推导出锥条件和限制强凸性，建立加权Lasso BernSVM估计的上界。使用局部线性近似，我们将后者的结果扩展到惩罚BernSVM与非凸处罚SCAD和MCP。我们的边界保持高概率，并实现了顺序$\sqrt{s\log(p)/n}$的速率，其中$s$是活动特征的数量。仿真研究被认为是说明BernSVM的预测精度，它的竞争对手，也比较两种算法的计算时间和误差估计方面的性能。通过三个大规模的实际数据的例子分析所提出的方法的使用说明。
2023-03-16 cs.LG stat.ML
Distributed Mini-Batch SDCA
Lehigh University（理海大学）；University of Edinburgh（爱丁堡大学）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究院）
我们提出了一种改进的分析小批量随机双坐标上升正则化的经验损失最小化（即SVM和SVM型目标）。我们的分析允许灵活的采样方案，包括数据分布在机器上的情况，并结合了对损失平滑度和/或数据传播（通过频谱范数测量）的依赖。
2015-07-29 cs.LG math.OC
A bagging and importance sampling approach to Support Vector Machines
Centro de Investigación en Matemáticas（数学研究中心）；Universidad Militar Nueva Granada（新格拉纳达军事大学）；Universidad de los Andes（安第斯大学）
一个重要性抽样和装袋方法来解决支持向量机（SVM）的问题，在大型数据库的背景下，提出和评估。我们的算法建立在Camelo等人（2015）提出的最近邻思想基础上。如在该参考文献中，本提议的目标是实现SVM问题的更快的解决方案，而没有预测误差的显著损失。基准的例子和理论方面的子样本方法进行了讨论，该方法的性能进行了评估。
2018-08-17 cs.LG stat.ML
An End-to-End Graph Convolutional Kernel Support Vector Machine
School of Computer Science & Informatics, Cardiff University（卡迪夫大学计算机科学与信息学院）
提出了一种新的基于核的支持向量机（SVM）的图分类方法。SVM特征空间映射由一系列图卷积层组成，该卷积层为每个顶点生成向量空间表示，然后是一个池化层，该池化层为图生成再生核希尔伯特空间（RKHS）表示。RKHS的使用提供了使用核函数在该空间中隐式操作的能力，而没有显式映射到它的计算复杂性。所提出的模型以监督的端到端的方式进行训练，从而卷积层，核函数和SVM参数相对于正则化分类损失进行联合优化。这种方法不同于现有的基于核的图分类模型，后者使用特征工程或无监督学习来定义核函数。实验结果表明，该模型优于现有的深度学习基线模型在一些数据集上。
2020-08-04 cs.LG stat.ML
A Conjugate Property between Loss Functions and Uncertainty Sets in Classification Problems
Nagoya University（名古屋大学）；Keio University（庆应义塾大学）；The University of Tokyo（东京大学）
在二元分类问题中，主要有两种方法：损失函数方法和不确定集方法。损失函数方法被应用于主要的学习算法，如支持向量机（SVM）和boosting方法。损失函数表示决策函数对训练样本的惩罚。在学习算法中，损失函数的经验均值最小化以获得分类器。在数学规划发展的背景下，基于损失函数的学习算法被广泛应用于现实世界的数据分析。此外，基于大量的理论工作，这种学习算法的统计特性得到了很好的理解。另一方面，使用所谓的不确定性集的学习方法被用于硬间隔SVM，最小最大概率机（MPM）和最大间隔MPM。在学习算法中，首先根据训练样本为每个二进制标签定义不确定集。然后，两个不确定集之间的最佳分离超平面被用作决策函数。这被认为是最大差值办法的延伸。不确定集方法是鲁棒优化在数学规划领域中的一个应用。不确定集学习算法的统计特性尚未得到深入研究。在本文中，我们考虑这两种方法之间的关系。我们指出，不确定性集是用损失函数的共轭水平集来描述的。基于这种关系，我们研究了使用不确定集的学习算法的统计特性。
2012-04-30 cs.LG stat.ML
A Single-Step Multiclass SVM based on Quantum Annealing for Remote Sensing Data Classification
Jülich Supercomputing Centre（于利希超级计算中心）；University of Iceland（冰岛大学）；RWTH Aachen University（亚琛工业大学）
近年来，量子退火器的发展使得实验演示成为可能，并且增加了对量子退火应用的研究兴趣，例如在量子机器学习中，特别是对于流行的量子SVM。已经提出了几个版本的量子SVM，量子退火已被证明是有效的。扩展到多类问题也已作出，其中包括多个二进制分类器的合奏。这项工作提出了一种新的量子SVM制定直接多类分类的基础上量子退火，称为量子多类SVM（QMSVM）。多类分类问题被制定为一个单一的二次无约束二进制优化（QUBO）问题解决量子退火。这项工作的主要目标是评估这种方法的可行性，准确性和时间性能。实验已经进行了D-Wave优势量子退火的遥感数据的分类问题。结果表明，尽管量子退火机的内存需求，QMSVM可以达到的精度，是标准的SVM方法相媲美，更重要的是，它的规模更有效地与训练样本的数量，导致几乎恒定的时间。这项工作展示了一种将经典计算和量子计算结合在一起的方法，用当前的硬件解决遥感中的实际问题。
2023-03-21 cs.CV cs.LG quant-ph
A MapReduce based distributed SVM algorithm for binary classification
National Research Institute of Electronics and Cryptology, TUBITAK（土耳其科学技术研究委员会电子学与密码学国家研究所）；Istanbul University（伊斯坦布尔大学）
虽然支持向量机（Support Vector Machine，SVM）算法在训练阶段后对未知样本的分类具有很高的泛化能力，并且损失值较小，但该算法并不适用于实际的分类和回归问题。SVM无法解决训练数据集中的数十万个示例。在以前的分布式机器学习算法的研究中，SVM是在一个昂贵的和预先配置的计算机环境中训练的。在这项研究中，我们提出了一个基于MapReduce的分布式并行SVM训练算法的二进制分类问题。该工作展示了如何使用MapReduce技术在云计算系统上分配优化问题。在这项工作的第二步中，我们使用统计学习理论从MapReduce的reduce函数创建的假设空间中找到最小化我们的经验风险的预测假设。本文的研究结果对于基于SVM算法的分类问题的大数据集训练具有重要意义。提出了利用MapReduce技术对分裂数据集进行迭代训练，在有限的迭代规模下，分类器函数的精度将收敛到全局最优分类器函数的精度。该算法的性能进行了测试的样本从字母识别和笔为基础的识别手写数字数据集。
2013-12-15 cs.DC cs.LG
On the Equivalence between Neural Network and Support Vector Machine
University of California San Diego（加州大学圣迭戈分校）；University of Technology Sydney（悉尼科技大学）；IBM Research（IBM研究院）
最近的研究表明，通过梯度下降训练的无限宽神经网络（NN）的动力学可以用神经切线核（NTK）\citep{jacot2018neural}来表征。在平方损失下，通过具有无限小学习率的梯度下降训练的无限宽度NN等价于具有NTK \citep{arora2019exact}的核回归。然而，等价性目前只知道岭回归\citep{arora2019harnessing}，而NN和其他核机器（KM），如支持向量机（SVM）之间的等价性，仍然是未知的。因此，在这项工作中，我们建议建立NN和SVM之间的等价性，特别是通过软间隔损失训练的无限宽NN和通过次梯度下降训练的NTK的标准软间隔SVM。我们的主要理论结果包括建立神经网络和广泛的$\ell_2$正则KM族之间的等价关系，这些正则KM族具有有限宽度的界限，这是以前的工作无法处理的，并表明每个有限宽度的神经网络训练这样的正则损失函数近似是一个KM。此外，我们证明了我们的理论可以实现三个实际应用，包括（i）\textit{non-vacuous}泛化界的NN通过相应的KM;（ii）\textit{non-trivial}鲁棒性证书的无限宽度NN（而现有的鲁棒性验证方法将提供空洞的界限）;（iii）本质上更强大的无限宽度NN比以前的核回归。我们的实验代码可在\url{https://github.com/leslie-CH/equiv-nn-svm}上…
2022-07-07 cs.CV cs.LG math.OC
A Gaussian Belief Propagation Solver for Large Scale Support Vector Machines
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）；IBM Haifa Research Lab（IBM海法研究实验室）
支持向量机（SVM）是一种非常成功的分类和回归算法。构建SVM需要解决一个约束凸二次规划问题，该问题在训练样本的数量上是二次的。我们介绍了一个有效的并行实现的支持向量回归求解器，基于高斯置信传播算法（GaBP）。在本文中，我们证明了复杂系统域的方法可以用于执行高效的分布式计算。我们比较所提出的算法，以前提出的分布式和单节点SVM求解器。我们的比较表明，该算法与这些求解器一样准确，同时速度明显更快，特别是对于大型数据集。我们证明了所提出的算法的可扩展性高达1,024个计算节点和数十万个数据点使用IBM蓝色基因超级计算机。据我们所知，我们的工作是有史以来最大的并行实现的信念传播，证明了该算法的适用性，大规模的分布式计算系统。
2008-10-09 cs.IT cs.LG math.IT
The Implicit Bias of AdaGrad on Separable Data
The Ohio State University（俄亥俄州立大学）；Dalian University of Technology（大连理工大学）
我们研究了AdaGrad在可分线性分类问题上的隐式偏差。我们表明，AdaGrad收敛到一个方向，可以表征为二次优化问题的解决方案，具有相同的可行集的硬SVM问题。我们还讨论了AdaGrad的超参数的不同选择如何影响这个方向。这提供了一个更深入的理解，为什么自适应方法似乎没有像梯度下降在实践中那样好的泛化能力。
2019-06-09 cs.LG stat.ML
Multi-class Support Vector Machine with Maximizing Minimum Margin
Zhezheng Hao 1,2（Hao 的所属机构 1,2）；Feiping Nie 1,2（Nie 的所属机构 1,2）；Rong Wang 2（Wang 的所属机构 2）
本文提出了一种基于最大化最小边距的多类支持向量机方法，通过引入成对类损失和新的公式，提升了多类SVM的灵活性，并在深度学习中作为softmax的增强方案。
2026-01-20 cs.LG
Detection of Covid-19 Patients with Convolutional Neural Network Based Features on Multi-class X-ray Chest Images
Zonguldak Bulent Ecevit University（宗古尔达克·比伦特·埃杰维特大学）
COVID-19是一种非常严重的致命疾病，已被世界卫生组织（WHO）宣布为大流行病。全世界都在尽一切努力尽快结束新冠肺炎大流行，这场大流行使各国陷入严重的健康和经济问题。其中最重要的是正确识别那些感染新冠肺炎的人。支持逆转录聚合酶链反应（RT-PCR）检测的方法和途径已开始在文献中出现。在这项研究中，使用了可以轻松快速获取的胸部X光图像，因为新冠病毒攻击了呼吸系统。支持向量机的分类性能已通过使用从这些图像中提取的特征与残差网络（ResNet-50），卷积神经网络模型之一。虽然使用支持向量机（SVM）-二次获得Covid-19检测，使用5倍交叉验证方法的最高灵敏度值为96.35%，但使用SVM-二次和SVM-三次检测到的最高总体性能值均超过99%。根据这些高的结果，认为这种方法，已经研究，将帮助放射科专家和降低误检率。
2020-12-10 cs.CV cs.LG eess.IV
Online Algorithm for Aggregating Experts' Predictions with Unbounded Quadratic Loss
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）
针对带无界二次损失的专家预测在线聚合问题，提出一种基于专家损失指数重加权、无需预先知道损失上界的在线聚合算法。
2025-01-11 cs.LG
Implementation of a Three-class Classification LS-SVM Model for the Hybrid Antenna Array with Bowtie Elements in the Adaptive Beamforming Application
为了解决大规模无线通信的三个重大挑战，包括传播损耗，长距离传输和信道衰落，我们的目标是建立一个紧凑的尺寸与蝴蝶结元件的波束成形应用的混合天线阵列。在这项工作中，我们严格证明，蝴蝶结元件允许的混合天线阵列的波束成形性能的显着改善相比，不仅其他可用的天线阵列，但也与偶极元件的几何对应。我们已经实现了大于15 dB的SINR值的增加，大于20%的天线效率的改善，在DoA估计的显着增强，和20个增量的方向性的混合天线阵列与蝴蝶结元件相比，其几何对应物，通过执行三级分类LS-SVM（最小二乘支持向量机）优化方法。所提出的混合天线阵列已显示出三维均匀方向性，这是伴随着其优越的性能，在三维均匀波束扫描能力。随着角度θ的变化，方向性系数几乎保持不变，为40.83 dBi，随着角度θ的变化，方向性系数几乎保持不变，为41.21 dBi。具有蝴蝶结元件的混合天线阵列的无与伦比的功能和性能使其成为大规模无线通信中波束成形应用的潜在候选者。
2022-10-01 cs.LG
A Neural Network Architecture Combining Gated Recurrent Unit (GRU) and Support Vector Machine (SVM) for Intrusion Detection in Network Traffic Data
门控递归单元（GRU）是最近开发的长短期记忆（LSTM）单元的变体，两者都是递归神经网络（RNN）的类型。通过经验证据，这两种模型已经被证明在各种各样的机器学习任务中是有效的，例如自然语言处理（Wen等人，2015）、语音识别（Chorowski等人，2015）和文本分类（Yang等人，2016）。传统上，与大多数神经网络一样，上述两种RNN变体都使用Softmax函数作为其预测的最终输出层，并使用交叉熵函数计算其损失。在本文中，我们提出了一个修正案，通过引入线性支持向量机（SVM）作为Softmax在GRU模型的最终输出层的替代。此外，交叉熵函数应替换为基于边缘的函数。虽然已经有类似的研究（Alalshekmusic & Smith，2013; Tang，2013），但该提案主要用于使用来自京都大学蜜罐系统的2013年网络流量数据进行入侵检测的二进制分类。结果表明，GRU-SVM模型的性能相对高于传统的GRU-Softmax模型。该模型的训练准确率为~81.54%，测试准确率为~ 84.15%，而后者的训练准确率为~63.07%，测试准确率为~ 70.75%。此外，这两个最终输出层的并置表明SVM在预测时间上优于Softmax-这一理论含义得到了研究中实际训练和测试时间的支持。
2019-02-07 cs.CR cs.LG cs.NE
Unsupervised and Semi-supervised Anomaly Detection with LSTM Neural Networks
Bilkent University（比尔肯特大学）
我们研究了无监督框架中的异常检测，并介绍了基于长短期记忆（LSTM）神经网络的算法。特别是，给定可变长度的数据序列，我们首先将这些序列通过基于LSTM的结构，并获得固定长度的序列。然后，我们找到一个决策函数，我们的异常检测器的基础上一类支持向量机（OC-SVM）和支持向量数据描述（SVDD）算法。作为文献中的第一次，我们使用基于高效梯度和二次规划的训练方法联合训练和优化LSTM架构和OC-SVM（或SVDD）算法的参数。为了应用基于梯度的训练方法，我们修改了OC-SVM和SVDD算法的原始目标标准，其中我们证明了修改后的目标标准的收敛性。我们还提供了我们的无监督制定的半监督和全监督框架的扩展。因此，我们得到的异常检测算法，可以处理可变长度的数据序列，同时提供高性能，特别是时间序列数据。我们的方法是通用的，因此我们也将这种方法应用于门控递归单元（GRU）架构，直接将基于LSTM的结构替换为基于GRU的结构。在我们的实验中，我们说明了我们的算法相对于传统方法实现的显着性能提升。
2017-10-25 cs.LG eess.SP stat.ML
Beyond Quadratic Loss: The Stability Phase Diagram of Adam
IIIS, Tsinghua University（清华大学交叉信息研究院）；College AI, Tsinghua University（清华大学人工智能学院）；Shanghai Qizhi Institute（上海期智研究院）；MetaCircle
本研究通过映射Adam优化器的动量参数平面，发现损失尖峰由动量时间尺度失配和超二次损失几何共同决定，并建立了线性相边界理论。
2026-09-28 cs.LG math.OC stat.ML
