Universum-inspired Supervised Contrastive Learning
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）
本文提出 UniCon 和 Un-Uni，利用 Mixup 生成 universum 硬负样本，在监督与无监督对比学习中显著提升性能，并在 CIFAR-100 上以更小批量大小超越现有方法。
2023-10-31 cs.LG
Sparse Universum Quadratic Surface Support Vector Machine Models for Binary Classification
University of Bojnord（博季努尔德大学）；Charles University（查理大学）；University of Minnesota（明尼苏达大学）；Northeastern University（东北大学）
在二进制分类中，提出了无核线性或二次支持向量机，以避免处理困难，如找到合适的核函数或调整其超参数。此外，Universum数据点，不属于任何类，可以利用嵌入先验知识到相应的模型，从而提高泛化性能。在本文中，我们设计了新的无核Universum二次曲面支持向量机模型。此外，我们提出了L1范数正则化版本，这有利于检测潜在的稀疏模式的Hessian的二次曲面和减少到标准的线性模型，如果数据点是（几乎）线性可分的。所提出的模型是凸的，这样标准的数值求解器可以用来解决他们。尽管如此，我们制定了一个最小二乘版本的L1范数正则化模型，接下来，设计一个有效的定制算法，只需要解决一个线性系统。这些模型的几个理论性质，然后报告/证明。最后，我们在人工和公共基准数据集上进行了数值实验，以证明所提出的模型的可行性和有效性。
2021-04-03 cs.LG math.OC
Multi-task twin support vector machine with Universum data
University of Guilan（吉兰大学）；Charles University（查理大学）；University of Bojnord（博季诺尔德大学）
多任务学习（MTL）是近年来机器学习的一个研究热点，旨在通过利用有用信息来提高多个相关学习任务的性能。在训练阶段，大多数现有的多任务学习模型完全集中于目标任务数据，而忽略了目标任务中包含的非目标任务数据。为了解决这个问题，Universum数据，不对应于任何类别的分类问题，可以用作训练模型中的先验知识。这项研究着眼于使用Universum数据的多任务学习的挑战，以采用非目标任务数据，这会导致更好的性能。提出了一种基于Universum数据的多任务孪生支持向量机（UMTSVM），并给出了两种求解方法。第一种方法考虑到UMTSVM的对偶公式，并试图解决一个二次规划问题。第二种方法制定了UMTSVM的最小二乘版本，并将其称为LS-UMTSVM，以进一步提高泛化性能。LS-UMTSVM中两个主要问题的求解被简化为求解两个线性方程组，从而产生了一种令人难以置信的简单和快速的方法。在几个流行的多任务数据集和医学数据集上的数值实验证明了所提方法的有效性。
2022-06-22 cs.LG math.OC
Robust Universum Twin Support Vector Machine for Imbalanced Data
Indian Institute of Technology Indore（印度理工学院印多尔分校）
针对不平衡数据分类中UTSVM存在的偏向多数类、鲁棒性差、易过拟合等问题，提出IFUTSVM-ID，通过直觉模糊隶属度、过欠采样、泛在数据先验及SRM原则，在KEEL基准数据集和ADNI数据集上性能优于基线模型。
2025-04-18 cs.LG
Sequential Minimal Optimization Algorithm for One-Class Support Vector Machines With Privileged Information
Skolkovo Institute of Science and Technology (Skoltech)（斯科尔科沃科学技术研究所）；Institute for Information Transmission Problems of Russian Academy of Sciences (IITP RAS)（俄罗斯科学院信息传输问题研究所）；Artificial Intelligence Research Institute (AIRI)（人工智能研究所）
提出针对带特权信息的一类支持向量机（OC-SVM+）的SMO算法，显著优于非序列算法，并证明有限时间收敛性。
2026-06-23 cs.AI cs.LG stat.ML
Distributed Optimization of Multi-Class SVMs
Berlin Big Data Center（柏林大数据中心）；Berlin Institute of Technology（柏林理工学院）；Microsoft Research（微软研究院）；Humboldt University of Berlin（柏林洪堡大学）
一对一的训练其余的SVM可以以直接的方式在多个类上并行化。如果有足够的计算资源，一对一。因此，可以在涉及大量类的数据上训练剩余SVM。然而，对于所谓的all-in-one SVM来说，情况并非如此，因为它需要在类的数量上以二次方式求解一个二次规划。我们开发分布式算法的两个所有功能于一身的SVM配方（李等。和韦斯顿和沃特金斯），并行计算均匀的类的数量。这使我们能够将这些模型与一对一进行比较。以前所未有的规模休息SVM。结果表明，优越的准确性，文本分类数据。
2016-12-08 cs.LG stat.ML
Soft-SVM Regression For Binary Classification
Boston University（波士顿大学）
二项偏差和SVM铰链损失函数是机器学习中使用最广泛的两种损失函数。虽然它们之间有许多相似之处，但在处理不同类型的数据时，它们也有自己的优势。在这项工作中，我们引入了一个新的指数家庭的基础上的凸松弛的铰链损失函数使用柔软度和类分离参数。这个新的家庭，表示软支持向量机，允许我们规定一个广义线性模型，有效地桥梁之间的逻辑斯谛回归和SVM分类。这种新模型是可解释的，避免了数据可分性问题，通过软参数自动调整数据标签可分性，获得良好的拟合和预测性能。这些结果通过模拟和案例研究得到了经验证实，因为我们比较了正则化的logistic，SVM和Soft-SVM回归，并得出结论，所提出的模型在分类和预测误差方面表现良好。
2022-05-24 cs.LG stat.ML
GADGET SVM: A Gossip-bAseD sub-GradiEnT Solver for Linear SVMs
State University of New York（纽约州立大学）
在大数据时代，机器学习研究人员武器库中的一个重要武器是可扩展的支持向量机（SVM）算法。SVM被广泛用于解决分类问题。传统的支持向量机学习算法通常与训练集大小呈超线性关系，这对于大数据集来说是不可行的。近年来，可扩展的算法已经设计研究的原始或对偶配方的问题。这通常意味着一种分解问题并促进分布式算法开发的方法。在本文中，我们提出了一种分布式算法学习线性支持向量机的原始形式的二进制分类称为Gossip-bAseD子分类器（GADGET）SVM。该算法的设计，使它可以在分布式系统的节点上本地执行。每个节点处理其局部均匀划分的数据，并学习原始SVM模型。然后，它与随机邻居谈论学习的分类器，并使用这些信息来更新模型。广泛的理论和实证结果表明，这种随时随地算法的性能与其集中式和在线同行。
2018-12-05 cs.LG stat.ML
Nonlinear classifiers for ranking problems based on kernelized SVM
Czech Technical University in Prague（布拉格捷克理工大学）；Czech Academy of Sciences（捷克科学院）
许多分类问题只关注最大化具有最高相关性的样本而不是所有样本的性能。作为一个例子，我们可以提到排名问题，在顶部或搜索引擎的准确性，只有前几个查询的问题。在我们以前的工作中，我们得出了一个一般的框架，包括几类这些线性分类问题。在本文中，我们扩展的框架，非线性分类。利用与SVM的相似性，我们将问题二元化，增加核函数，并提出了一种分量对偶上升方法。
2023-03-27 cs.LG stat.ML
Fuzzy Least Squares Twin Support Vector Machines
University of Kashan（卡尚大学）；Aalto University（阿尔托大学）；Isfahan University of Technology (IUT)（伊斯法罕理工大学（IUT））
最小二乘孪生支持向量机（LST-SVM）是一种快速有效的二值分类算法。它结合了最小二乘支持向量机（LS-SVM）和孪生支持向量机（T-SVM）的工作原理;它通过求解两个线性方程组（如LS-SVM）来构造两个非平行的超平面（如T-SVM）。尽管LST-SVM效率很高，但它仍然无法处理现实世界问题的两个特征。首先，在许多现实世界的应用中，样本的标签是不确定的;它们自然地与其相关的隶属度。第二，实际应用中的样本可能不是同等重要的，它们的重要程度影响分类。在本文中，我们提出了模糊LST-SVM（FLST-SVM）来处理这两个特点的现实世界的数据。介绍了两种FLST-SVM模型：第一种模型利用训练样本及其对应的隶属度构造清晰的超平面;第二个模型，另一方面，构造模糊超平面使用训练样本及其隶属度。与合成数据集和真实数据集的数值评估表明，FLST-SVM的分类精度显着改善时，众所周知的现有版本的SVM。
2018-11-21 cs.AI cs.LG
An alternative to SVM Method for Data Classification
Alfaisal University（阿尔法萨尔大学）
针对支持向量机（SVM）存在的处理耗时、高维优化易失败、多分类泛化弱等缺陷，提出一种基于到含映射类的最优子空间最小距离的替代方法，性能相近且缺陷改善明显。
2023-08-20 cs.LG stat.ML
OCKELM+: Kernel Extreme Learning Machine based One-class Classification using Privileged Information (or KOC+: Kernel Ridge Regression or Least Square SVM with zero bias based One-class Classification using Privileged Information)
IIT Indore（印度理工学院印多尔分校）
基于核方法的单类分类器主要用于离群点或新颖性检测。在这封信中，基于核岭回归（KRR）的一类分类器（KOC）已被扩展为使用特权信息的学习（LUPI）。基于LUPI的KOC方法被称为KOC+。此特权信息可作为数据集的一个特征，但仅用于训练（不用于测试）。KOC+通过使用所谓的校正功能，与正常特征信息相比，以不同的方式利用特权信息。隐藏的信息有助于KOC+实现更好的泛化性能，这是在这封信中通过测试分类器与没有特权信息。现有的和建议的分类器进行评估的数据集从UCI机器学习库和MNIST数据集。实验结果表明，KOC+算法优于KOC算法和基于支持向量机（SVM）的单类分类器。
2019-04-13 cs.LG stat.ML
Geometric Insights into Support Vector Machine Behavior using the KKT Conditions
University of North Carolina（北卡罗来纳大学）
支持向量机是一种功能强大、应用广泛的分类算法。本文使用Karush-Kuhn-Tucker条件为SVM行为的新见解提供了严格的数学证明。这些见解提供了可能意想不到的SVM和其他两个线性分类器之间的关系：平均差异和最大数据堆积方向。例如，我们表明，在许多情况下，SVM可以被视为这些分类器的裁剪版本。通过仔细探索这些连接，我们展示了SVM的调整行为如何受到特征的影响，包括：平衡与不平衡类，低维与高维，可分离与不可分离数据。这些结果通过解释观察到的病理行为和激励改进的交叉验证方法，为通过交叉验证调整SVM提供了进一步的见解。最后，我们还提供了新的结果，在高维空间中的完全数据堆积方向的几何。
2018-10-10 cs.LG stat.ML
Feature uncertainty bounding schemes for large robust nonlinear SVM classifiers
Institut de Mathématiques de Toulouse（图卢兹数学研究所）；Université Paul Sabatier（保尔·萨巴蒂埃大学）
我们考虑的二进制分类问题时，数据是大的，未知的，但有界的不确定性。我们解决这个问题，制定非线性支持向量机训练问题的鲁棒优化。要做到这一点，我们分析并提出了两个边界计划的不确定性相关的随机近似功能在低维空间。所提出的技术是基于随机傅立叶特征和Nyström方法。所得到的配方可以解决有效的随机逼近技术，如随机（子）梯度，随机近端梯度技术或其变体。
2017-06-29 cs.LG stat.ML
HIPAD - A Hybrid Interior-Point Alternating Direction algorithm for knowledge-based SVM and feature selection
Columbia University（哥伦比亚大学）；Lehigh University（里海大学）；Siemens Corporation（西门子公司）
我们认为，在高维特征空间中，特定的专家知识也是可用的稀缺标记的训练数据的政权的分类任务。我们提出了一种新的混合优化算法，解决了弹性网络支持向量机（SVM）通过交替方向的方法在第一阶段的乘数，其次是一个相邻点的方法在第二阶段的经典SVM。这两个SVM配方都适用于知识整合。我们提出的算法解决了自动特征选择，高优化精度和算法的灵活性，利用先验知识的挑战。我们证明了我们的算法的有效性和效率，并将其与现有的方法在一组合成和真实世界的数据进行比较。
2014-11-16 cs.LG stat.ML
Random matrices meet machine learning: a large dimensional analysis of LS-SVM
本文提出了一种基于随机矩阵方法的核最小二乘支持向量机（LS-SVM）的性能分析，在该制度下，数据的维数$p$和它们的数量$n$以相同的速度增长大。在两类高斯混合模型的输入数据下，我们证明了LS-SVM的决策函数是渐近正态的均值和协方差显式依赖于核函数的导数。这提供了更好的理解以及对大型数据集SVM类型方法内部工作的新见解。
2016-09-08 cs.LG stat.ML
Scalable and Interpretable One-class SVMs with Deep Learning and Random Fourier features
Queen’s University Belfast（贝尔法斯特女王大学）
单类支持向量机（OC-SVM）一直是最有效的异常检测方法之一，在研究和工业应用中得到广泛的应用。OC-SVM的最大问题是由于优化复杂性而无法处理大型和高维数据集。这些问题可以通过降维技术来缓解，例如流形学习或自动编码器。然而，以前的工作往往把表示学习和异常预测分开。在本文中，我们提出了基于自动编码器的一类支持向量机（AE-1 SVM），它将OC-SVM与随机傅立叶特征近似径向基核，通过将其与表示学习架构相结合，将其带入深度学习环境，并联合利用随机梯度下降来获得端到端训练。有趣的是，这也开辟了使用基于梯度的属性方法来解释异常检测的决策的可能性，由于输入空间和核空间之间的隐式映射，这一直是具有挑战性的。据我们所知，这是第一个研究深度学习在异常检测中的可解释性的工作。我们在广泛的无监督异常检测任务中评估了我们的方法，其中我们的端到端训练架构的性能明显优于使用单独训练的先前工作。
2018-10-14 cs.LG stat.ML
Top-k Multiclass SVM
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Saarland University（萨尔大学）
类别模糊是一类分类问题中的典型问题。当类别难以区分时，允许k次猜测并根据前k个错误而不是标准的0 - 1损失来评估分类器是有意义的。我们提出top-k多类SVM作为优化top-k性能的直接方法。我们的推广著名的多类SVM是基于紧凸上界的前k错误。我们提出了一个快速优化方案的基础上有效的投影到前k单纯形，这是它自己的利益。在五个数据集上的实验表明，与各种基线相比，top-k准确度得到了一致的提高。
2015-11-20 cs.CV cs.LG stat.ML
A Quadratic Loss Multi-Class SVM
使用支持向量机需要设置两种类型的超参数：软间隔参数C和核参数。要执行此模型选择任务，选择的方法是交叉验证。已知其留一法变体产生几乎无偏的泛化误差的估计量。它的主要缺点在于它的时间要求。为了克服这一困难，几个上界的留一法错误的模式识别支持向量机已经推出。在这些界限中，最流行的可能是半径-边缘界限。该方法适用于硬边缘模式识别SVM，并推广到2-范数SVM。在这份报告中，我们引入了一个二次损失的M-SVM，M-SVM^2，作为2-范数SVM的直接扩展到多类的情况。对于这台机器，一个广义的半径边界，然后建立。
2008-04-30 cs.LG
Centroid Based Binary Tree Structured SVM for Multi Classification
BITS-Pilani（比尔拉科学技术学院皮拉尼分校）
支持向量机（Support Vector Machines，SVMs）主要用于两类分类。但在实际应用中，基于多类分类的需求，它们也被扩展到N类分类。虽然使用SVM的N类分类有相当大的研究关注，在训练和测试时获得最小数量的分类器仍然是一个持续的研究。我们提出了一种新的算法CBTS-SVM（基于质心的二叉树结构的SVM），解决了这个问题。在此，我们建立了一个二叉树的SVM模型的基础上的相似性的类标签，找到他们的距离，从相应的质心在根级别。实验结果表明，CBTS与OVO具有合理的伽马值和成本值的可比精度。另一方面，当CBTS与OVA相比，它提供了更好的准确性，减少了训练时间和测试时间。此外，CBTS也是可扩展的，因为它能够处理大型数据集。
2015-12-02 cs.LG
TV-SVM: Total Variation Support Vector Machine for Semi-Supervised Data Classification
City University of Hong Kong（香港城市大学）
介绍了基于全变分（TV）、再生核希尔伯特空间（RKHS）、支持向量机（SVM）、Cheeger割、标记和未标记数据点的半监督数据分类算法。我们设计了二进制和多类半监督分类算法。我们比较了基于电视的分类算法与相关的基于拉普拉斯的算法，并表明，电视分类表现出显着更好的标记数据的数量是小的。
2012-10-02 cs.LG
A PARTAN-Accelerated Frank-Wolfe Algorithm for Large-Scale SVM Classification
Federico Santa María University（费德里科·圣玛丽亚大学）；KU Leuven（荷语鲁汶大学）
Frank-Wolfe算法最近重新获得了机器学习社区的关注。它们坚实的理论性质和稀疏性保证使它们成为该领域广泛问题的合适选择。此外，存在几种基本程序的变体，以提高其理论特性和实际性能。在本文中，我们调查的应用程序中的一些技术，机器学习，特别是集中在并行切线（PARTAN）的FW算法的变种，以前没有建议或研究这类问题。我们提供的实验都在一个标准的设置和使用随机加速技术，表明所考虑的算法在几个中型和大型的SVM分类基准数据集上取得了可喜的成果。
2015-02-05 cs.LG math.OC stat.ML
A quantum extension of SVM-perf for training nonlinear SVMs in almost linear time
Tencent Quantum Laboratory（腾讯量子实验室）
我们提出了一种量子算法来训练非线性支持向量机（SVM）的特征空间学习，其中经典的输入数据被编码在量子态的振幅。基于经典的SVM-perf算法的Joachims，我们的算法有一个运行时间的规模线性的训练样本$m$（多对数因子）的数量，并适用于标准的软边缘$\ell_1$ -SVM模型。相比之下，虽然经典的SVM-perf在线性和非线性SVM上都表现出了令人印象深刻的性能，但它的效率仅在某些情况下得到保证：它仅针对线性SVM实现线性$m$缩放，其中分类在原始输入数据空间中执行，或者针对低秩或移位不变内核的特殊情况。类似地，先前提出的量子算法在$m$中具有超线性缩放，或者应用于不同的SVM模型，诸如硬边缘或最小二乘$\ell_2$-SVM，其缺乏软边缘$\ell_1$ -SVM模型的某些期望性质。我们经典地模拟我们的算法，并给出证据表明，它可以在实践中表现良好，而不仅仅是渐近大数据集。
2020-10-09 cs.LG quant-ph
Adaptive Kernel Value Caching for SVM Training
National University of Singapore（新加坡国立大学）
支持向量机（SVM）可以解决结构化的多输出学习问题，如多标签分类、多类分类和向量回归等。SVM训练是昂贵的，特别是对于大型和高维数据集。支持向量机训练的瓶颈往往在于核值的计算。在许多现实世界的问题中，在训练期间的许多迭代中使用相同的内核值，这使得内核值的缓存可能有用。大多数现有的研究只是采用LRU（最近最少使用）替换策略来缓存内核值。然而，正如我们在本文中分析的，LRU策略通常在训练的最后阶段附近实现高命中率，但在整个训练过程中效果不佳。因此，我们提出了一种新的缓存策略，称为EFU（不经常使用），它取代了不经常使用的内核值，增强了LFU（最不经常使用）。实验结果表明，在高斯核函数的训练下，EFU的命中率通常比LRU高20%左右。为了进一步优化策略，我们提出了一种缓存策略称为HCST（混合缓存的SVM训练），它有一个新的机制，自动适应更好的缓存策略在不同的阶段的训练。我们已经将缓存策略集成到ThunderSVM中，ThunderSVM是众核处理器上的最新SVM库。实验结果表明，HCST在多标签分类、多类分类和回归等问题中自适应地实现了高命中率，且运行时开销很小。与现有的其他缓存策略相比，HCST的训练时间平均减少了20%.
2019-11-08 cs.LG cs.PF stat.ML
Patch Based Classification of Remote Sensing Data: A Comparison of 2D-CNN, SVM and NN Classifiers
NIT Kurukshetra（库鲁克谢特拉国家技术学院）
基于像素的算法包括反向传播神经网络（NN）和支持向量机（SVM）已被广泛用于遥感图像分类。在过去的几年里，基于深度学习的图像分类器，如卷积神经网络（2D-CNN）正在成为这些分类器的流行替代品。在本文中，我们比较了基于补丁的SVM和NN与由2D-CNN和全连接层组成的深度学习算法的性能。类似于CNN利用图像补丁来获得进一步分类的特征，我们建议使用补丁作为输入，代替SVM和NN分类器的单个像素。两个数据集，一个多光谱和其他高光谱数据被用来比较不同的分类器的性能。两个数据集的结果表明，与最先进的2D-CNN分类器相比，基于补丁的SVM和NN分类器的有效性。
2020-06-21 cs.CV cs.LG
SAMN: A Sample Attention Memory Network Combining SVM and NN in One Architecture
Xiamen University（厦门大学）
本文提出样本注意力记忆网络 SAMN，通过样本注意力模块、类别原型和记忆块在同一神经网络架构中融合 SVM 与 NN，在相近参数规模下取得更优分类效果。
2023-09-25 cs.LG
Overlapping Clustering Models, and One (class) SVM to Bind Them All
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
人们属于多个社区，单词属于多个主题，书籍涵盖多种类型;重叠的集群是司空见惯的。许多现有的重叠聚类方法将每个人（或单词或书籍）建模为仅属于一个社区的“样本”的非负加权组合，带有一些小噪声。从几何学上讲，每个人都是圆锥体上的一个点，圆锥体的角就是这些样本。这种基本形式包括广泛使用的网络的混合成员随机块模型（Airoldi等人，2008）及其度校正变体（Jin等人，2017），以及主题模型，如LDA（Blei等人，2003年）。我们表明，一个简单的一类SVM产生可证明一致的参数推断所有这样的模型，并扩展到大型数据集。在多个模拟和真实数据集上的实验结果表明，我们的算法（称为SVM锥）是准确和可扩展的。
2018-11-05 cs.LG math.ST stat.ML
Generalized Reference Kernel With Negative Samples For Support Vector One-class Classification
Faculty of Information Technology, University of Jyväskylä（信息技术学院，于韦斯屈耶尔大学）
本文提出带有负样本的广义参考核（GRKneg）用于一类支持向量机，在少量负样本下通过改进核函数提升分类性能，并优于标准OC-SVM和二元SVM。
2025-06-17 cs.LG
Quantum-Inspired Support Vector Machine
University of Science and Technology of China（中国科学技术大学）；CAS Centre for Excellence and Synergetic Innovation Centre in Quantum Information and Quantum Physics（中国科学院量子信息与量子科技创新卓越中心）；University of Oxford（牛津大学）；Hefei National Laboratory for Physical Sciences at Microscale（合肥微尺度物质科学国家实验室）
支持向量机（Support Vector Machine，SVM）是一种功能强大且灵活的监督学习模型，它可以对数据进行分类和回归分析，通常的算法复杂度与数据空间的维数和数据点的数量呈多项式关系。为了解决大数据问题，提出了一种量子支持向量机算法，该算法能够实现最小二乘支持向量机（LS-SVM）的指数加速比。在这里，受量子SVM算法的启发，我们提出了一个量子启发的经典算法LS-SVM。在我们的方法中，一种改进的快速采样技术，即间接采样，提出了采样的核矩阵和分类。我们首先考虑线性核的LS-SVM，然后讨论我们的方法推广到非线性核。理论分析表明，对于低秩、低条件数和高维数据矩阵，该算法可以在数据空间维数和数据点数均为对数的运行时间内以任意的成功概率进行分类，与量子SVM的运行时间相匹配。
2021-03-16 cs.CC cs.LG quant-ph
A Metric-learning based framework for Support Vector Machines and Multiple Kernel Learning
University of Geneva（日内瓦大学）；University of Applied Sciences Western Switzerland（瑞士西部应用科学大学）
大多数度量学习算法以及Fisher判别分析（FDA）都会优化类内和类间距离的不同度量的某些成本函数。另一方面，支持向量机（SVM）和多种多核学习（MKL）算法都是基于支持向量机的大间隔理论。最近，支持向量机已经从支持向量机和度量学习中进行了分析，并开发了基于每种优势的新算法。受SVM的度量学习解释的启发，我们在这里开发了一个新的基于度量学习的SVM框架，其中我们将度量学习的概念纳入SVM。我们扩展了支持向量机的优化问题，包括一些类内距离的措施，并沿着我们开发了一个新的类内距离措施，这是适合于支持向量机。此外，我们采用相同的方法MKL，并表明它也可以制定为一个马氏度量学习问题。我们的最终结果是一些SVM/MKL算法，将度量学习的概念。我们在一组基准数据集上进行了实验，并观察到重要的预测性能改进。
2013-09-16 cs.LG
Handling uncertainties in SVM classification
INSERM U556（法国国家健康与医学研究院 U556）；CREATIS, UMR CNRS 5220（CREATIS，法国国家科学研究中心混合研究单位 5220）；INSERM U1044（法国国家健康与医学研究院 U1044）；INSA-Lyon（里昂国立应用科学学院）；UCBL（里昂第一大学）；LITIS EA 4108, INSA-Universite de Rouen（鲁昂国立应用科学学院 LITIS EA 4108）
本文讨论了模式分类问题时，可用的目标数据包括一些不确定性信息。这里考虑的目标数据是定性的（类别标签）或定量的（后验概率的估计）。我们的主要贡献是一个SVM启发制定这个问题，允许考虑到类标签通过铰链损失以及概率估计使用ε不敏感的成本函数连同最小范数（最大利润率）的目标。该公式显示了导致二次问题的对偶形式，并允许使用表示定理和相关的内核。所提供的解决方案可以用于决策和后验概率估计。基于经验证据，我们的方法优于常规SVM的概率预测和分类性能。
2011-06-17 cs.LG
A MapReduce based distributed SVM algorithm for binary classification
National Research Institute of Electronics and Cryptology, TUBITAK（土耳其科学技术研究委员会电子学与密码学国家研究所）；Istanbul University（伊斯坦布尔大学）
虽然支持向量机（Support Vector Machine，SVM）算法在训练阶段后对未知样本的分类具有很高的泛化能力，并且损失值较小，但该算法并不适用于实际的分类和回归问题。SVM无法解决训练数据集中的数十万个示例。在以前的分布式机器学习算法的研究中，SVM是在一个昂贵的和预先配置的计算机环境中训练的。在这项研究中，我们提出了一个基于MapReduce的分布式并行SVM训练算法的二进制分类问题。该工作展示了如何使用MapReduce技术在云计算系统上分配优化问题。在这项工作的第二步中，我们使用统计学习理论从MapReduce的reduce函数创建的假设空间中找到最小化我们的经验风险的预测假设。本文的研究结果对于基于SVM算法的分类问题的大数据集训练具有重要意义。提出了利用MapReduce技术对分裂数据集进行迭代训练，在有限的迭代规模下，分类器函数的精度将收敛到全局最优分类器函数的精度。该算法的性能进行了测试的样本从字母识别和笔为基础的识别手写数字数据集。
2013-12-15 cs.DC cs.LG
AML-SVM: Adaptive Multilevel Learning with Support Vector Machines
Clemson University（克莱姆森大学）
支持向量机是机器学习中应用最广泛、最实用的基于优化的分类模型之一，因为它具有可解释性和产生高质量结果的灵活性。然而，大数据给最复杂但相对较慢的SVM版本，即非线性SVM带来了一定的困难。非线性SVM求解器的复杂性和核矩阵中的元素数量随着训练数据中的样本数量而二次增加。因此，运行时和内存需求都受到负面影响。此外，参数拟合有额外的内核参数要调优，这进一步加剧了运行时间。本文提出了一种自适应多级学习框架的非线性SVM，它解决了这些挑战，提高了整个细化过程的分类质量，并利用多线程并行处理更好的性能。在分层学习框架中集成参数拟合和自适应过程以停止不必要的计算，从而显着减少运行时间，同时提高整体性能。实验结果表明，减少了预测验证和测试数据跨层次的方差，并显着加速相比，国家的最先进的非线性SVM库，而不会降低分类质量。该代码可在https://github.com/esadr/amlsvm上访问。
2020-11-05 cs.LG
Normalized Hierarchical SVM
Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）；Toyota Technological Institute（丰田工业大学）
我们提出了改进的方法，使用结构化的支持向量机在一个大规模的分层分类问题，即当标签是树叶，或树叶集，在一棵树或一个DAG。我们研究了规范化正则化和余量的必要性，并展示了这样做如何显着提高性能，包括允许实现最先进的结果，其中未规范化的结构化SVM的性能不如平面模型。我们还描述了层次支持向量机的进一步扩展，突出层次支持向量机和矩阵分解模型之间的连接。
2016-03-04 cs.LG
Effective Sequential Classifier Training for SVM-based Multitemporal Remote Sensing Image Classification
The University of New South Wales（新南威尔士大学）
遥感图像的爆炸性可用性已经挑战了监督分类算法，如支持向量机（SVM），由于训练样本往往是非常有限的，由于昂贵和费力的地面真实任务。多时相图像之间的时间相关性和光谱相似性为缓解这一问题提供了机会。在这项研究中，一个基于SVM的序贯分类器训练（SCT-SVM）方法提出了多时相遥感图像分类。该方法利用先前图像的分类器来减少输入图像的分类器训练所需的训练样本的数量。对于每个输入图像，首先根据一组先前分类器的时间趋势预测粗略分类器。然后，预测的分类器被微调到具有当前训练样本的更准确的位置。这种方法可以逐步应用于连续的图像数据，从每个图像中只需要少量的训练样本。Sentinel-2A多时相数据在澳大利亚的一个农业区进行了实验。实验结果表明，与现有的两种模型传递算法相比，SCT-SVM具有更好的分类精度。当训练数据不足时，与没有先前图像的辅助相比，所提出的SCT-SVM对输入图像的总体分类准确率从76.18%提高到94.02%。这些结果表明，利用先验信息从以前的图像可以提供有利的帮助，为以后的图像在多时间图像分类。
2018-01-17 cs.CV cs.LG
A Novel Approach to Distributed Multi-Class SVM
BITS Pilani（比尔拉理工学院）
随着数据大小不断扩大，并且随着分析这种数据的经典机器学习算法需要越来越大量的计算时间和存储空间，在几台计算机之间分配计算和存储器需求的需要变得明显。虽然已经做了大量的工作，在开发分布式二进制SVM算法和多类SVM算法单独，多类分布式SVM领域仍然在很大程度上未被探索。本研究提出了一种新的算法，实现了多类数据集的支持向量机，在分布式环境（这里，Hadoop）是有效的。其思想是递归地将数据集分成两半，从而在训练阶段为这一半计算最佳支持向量机，很像分治方法。在测试中，这种结构已被有效地利用，以显着减少预测时间。我们的算法在预测阶段的计算时间比传统的顺序SVM方法（One vs. One，One vs. Rest）更好，并且随着数据集大小的增长，性能优于它们。这种方法也分类的数据具有更高的准确性比传统的多类算法。
2015-12-07 cs.DC cs.LG
Enhanced Classification Accuracy for Cardiotocogram Data with Ensemble Feature Selection and Classifier Ensemble
Prince of Songkla University（宋卡王子大学）；Khon Kaen University（孔敬大学）
本文提出了基于集成学习的特征选择和分类器集成模型来提高分类精度。从集成特征选择到支持向量机集成，假设好的特征集包含与类高度相关的特征，这可以在分类精度的性能上实现。所提出的方法包括两个阶段：（i）通过应用基于集成的特征选择方法来选择可能是支持向量的特征集;以及（ii）使用所选择的特征来构建SVM集成。通过在分娩图像数据集上的实验对所提出的方法进行了评估。使用了四种特征选择技术：（i）基于相关性，（ii）基于一致性，（iii）ReliefF和（iv）信息增益。实验结果表明，将信息增益特征选择和基于相关性的特征选择与SVM集成相结合，比单一SVM分类器和集成特征选择与SVM分类器的分类精度都要高。
2020-10-27 cs.LG
Optimizing Cost-Sensitive SVM for Imbalanced Data :Connecting Cluster to Classification
China University of Mining Technology（中国矿业大学）
类别不平衡是机器学习在许多实际应用中面临的挑战性问题之一，如煤与瓦斯突出事故监测：突出前兆数据比正常数据小得多，而这正是我们真正关注的重点，代价敏感调整方法是一种典型的算法级抗数据集不平衡的方法。对于支持向量机分类器，它被修改为包含不同的惩罚参数（C）的每个考虑的组的例子。然而，C值是凭经验确定的，或者是根据评估度量计算的，这需要迭代计算并且耗时。本文提出了一种新的代价敏感的支持向量机方法，其惩罚参数C在聚类概率密度函数（PDF）的基础上进行优化，而聚类PDF仅根据相似性矩阵和一些预定义的超参数进行估计。在不同标准基准数据集和不同不平衡率的真实数据集上的实验结果表明，与常用的代价敏感技术相比，该方法是有效的。
2017-02-06 cs.LG
Practical application improvement to Quantum SVM: theory to practice
IBM Global Business Services（IBM全球企业咨询服务部）；IBM Research（IBM研究院）
量子机器学习（QML）已经成为量子应用的一个重要领域，尽管有用的QML应用需要许多量子位。因此，我们的论文的目的是探索量子支持向量机（QSVM）算法的成功应用，同时平衡噪声中间尺度量子（NISQ）假设下的几个实际和技术考虑。对于NISQ下的量子支持向量机，我们使用量子特征映射将数据转换为量子态，并从这些量子态中构造支持向量机核，并与经典的径向基函数（RBF）核支持向量机进行了比较。由于数据集在某种意义上更加复杂或抽象，与QSVM相比，使用典型经典核的经典SVM导致精度较低，因为使用典型经典核的经典SVM不能容易地分离不同类别的数据。类似地，QSVM应该能够在更广泛的数据集上提供有竞争力的性能，包括“更简单”的数据情况，其中需要更平滑的决策边界以避免任何模型方差问题（即，过拟合）。为了弥合“经典外观”决策边界和复杂的量子决策边界之间的差距，我们建议利用一般的浅幺正变换来创建具有旋转因子的特征映射，以定义可调的量子核，并添加正则化来平滑分离超平面模型。我们在实验中表明，这使得QSVM的性能等同于SVM，无论数据集的复杂性如何，并且在一些常用的参考数据集上表现出色。
2020-12-14 cs.LG quant-ph
Tverberg's theorem and multi-class support vector machines
Baruch College（巴鲁克学院）；The Graduate Center, City University of New York（纽约城市大学研究生中心）
本文利用证明Tverberg定理的线性代数工具设计了多类SVM新模型，该模型需更少分类条件且可用现有二分类SVM算法计算，并证明了其理论保证及支持向量的几何特征。
2024-04-25 cs.LG
Curie: A method for protecting SVM Classifier from Poisoning Attack
Syracuse University（雪城大学）
机器学习被用于许多安全相关的应用中，例如生物特征用户认证、说话人辨识等。一种类型的针对机器学习的因果完整性攻击称为中毒攻击，其通过在训练数据中注入特制的数据点来工作，以增加分类器的误报率。在生物测定认证的上下文中，这意味着更多的入侵者将被分类为有效用户，并且在说话人辨识系统的情况下，用户A将被分类为用户B。在本文中，我们研究中毒攻击对支持向量机和介绍-居里-一种方法来保护SVM分类器免受中毒攻击。我们的方法的基本思想是识别由对手注入的有毒数据点，并将其过滤掉。我们的方法重量轻，可以很容易地集成到现有的系统中。实验结果表明，该方法能很好地滤除有毒数据。
2016-06-07 cs.CR cs.LG
Multi-Class Support Vector Machine with Differential Privacy
Korea Institute for Advanced Study（韩国高级研究院）；Seoul National University（首尔国立大学）
针对传统多类SVM结合差分隐私时隐私预算随类别数线性消耗的问题，提出采用一体化架构、结合权重与梯度扰动的PMSVM方法，经理论分析保障DP特性，且在多类场景下性能优于现有DP-SVM方法。
2025-10-05 cs.CR cs.LG
A Single-Step Multiclass SVM based on Quantum Annealing for Remote Sensing Data Classification
Jülich Supercomputing Centre（于利希超级计算中心）；University of Iceland（冰岛大学）；RWTH Aachen University（亚琛工业大学）
近年来，量子退火器的发展使得实验演示成为可能，并且增加了对量子退火应用的研究兴趣，例如在量子机器学习中，特别是对于流行的量子SVM。已经提出了几个版本的量子SVM，量子退火已被证明是有效的。扩展到多类问题也已作出，其中包括多个二进制分类器的合奏。这项工作提出了一种新的量子SVM制定直接多类分类的基础上量子退火，称为量子多类SVM（QMSVM）。多类分类问题被制定为一个单一的二次无约束二进制优化（QUBO）问题解决量子退火。这项工作的主要目标是评估这种方法的可行性，准确性和时间性能。实验已经进行了D-Wave优势量子退火的遥感数据的分类问题。结果表明，尽管量子退火机的内存需求，QMSVM可以达到的精度，是标准的SVM方法相媲美，更重要的是，它的规模更有效地与训练样本的数量，导致几乎恒定的时间。这项工作展示了一种将经典计算和量子计算结合在一起的方法，用当前的硬件解决遥感中的实际问题。
2023-03-21 cs.CV cs.LG quant-ph
Incorporating Belief Function in SVM for Phoneme Recognition
Institut Supérieur des Technologies Médicales de Tunis (ISTMT)（突尼斯高等医疗技术学院）；National School of Engineering of Tunis (ENIT)（突尼斯国家工程学院）；Université Tunis El Manar（突尼斯埃尔马纳尔大学）
支持向量机（Support Vector Machine，SVM）方法已被广泛应用于众多的分类任务中。该算法的主要思想是基于间隔最大化原则，寻找一个将数据分为两类的超平面。本文将支持向量机应用于音素识别。然而，在许多现实问题中，由于噪声、不准确性或异常特征，用于识别问题的数据集中的每个音素的重要程度可能不同;所有这些问题都可能导致预测阶段的不准确性。不幸的是，SVM的标准公式没有考虑所有这些问题，特别是语音输入的变化。本文提出了一种新的支持向量机（B-SVM），属性的每个音素的置信度计算的基础上，其在空间中的几何位置。然后，这个程度是用来加强类成员的测试音素。因此，我们引入了一个重新制定的标准支持向量机，纳入程度的信念。在TIMIT数据库上的实验结果表明了该方法在音素识别问题上的有效性。
2015-07-22 cs.CL cs.LG
Multi-class SVMs: From Tighter Data-Dependent Generalization Bounds to Novel Algorithms
City University of Hong Kong（香港城市大学）；Microsoft Research（微软研究院）；TU Berlin（柏林工业大学）；Singapore University of Technology and Design（新加坡科技设计大学）；Humboldt University of Berlin（柏林洪堡大学）
本文研究了多类分类算法的泛化性能，首次得到了一个与类大小对数相关的数据相关的泛化误差界，改进了现有数据相关泛化分析中的线性相关性.理论分析促使我们引入一个新的多类分类机的基础上$\ell_p$ -范数正则化，其中参数$p$控制相应的边界的复杂性。基于Fenchel对偶理论，我们推导出一个有效的优化算法。几个真实世界的数据集上的基准测试表明，该算法可以实现显着的精度增益超过最先进的。
2015-06-14 cs.LG
Multi-class Support Vector Machine with Maximizing Minimum Margin
Zhezheng Hao 1,2（Hao 的所属机构 1,2）；Feiping Nie 1,2（Nie 的所属机构 1,2）；Rong Wang 2（Wang 的所属机构 2）
本文提出了一种基于最大化最小边距的多类支持向量机方法，通过引入成对类损失和新的公式，提升了多类SVM的灵活性，并在深度学习中作为softmax的增强方案。
2026-01-20 cs.LG
Relaxed Multiple-Instance SVM with Application to Object Discovery
Huazhong University of Science and Technology（华中科技大学）
多实例学习（MIL）已经成为广泛的视觉应用的重要工具，例如，图像分类、目标检测和视觉跟踪。在本文中，我们提出了一种新的方法来解决经典的MIL问题，命名为松弛多实例支持向量机（RMI-SVM）。我们将实例的积极性作为一个连续变量，使用Noisy-OR模型来加强MIL约束，并在一个统一的框架中联合优化包标签和实例标签。利用随机梯度下降法可以有效地解决优化问题。大量的实验表明，RMI-SVM在各种MIL基准测试中始终取得优异的性能。此外，我们简单地将RMI-SVM应用于具有挑战性的视觉任务，常见对象发现。Pascal VOC数据集上对象发现的最新结果进一步证实了所提出方法的优势。
2015-10-05 cs.CV cs.LG
Primal Estimated Subgradient Solver for SVM for Imbalanced Classification
本研究提出代价敏感PEGASOS SVM，在不平衡数据集（比率8.6:1至130:1）上验证性能，通过学习曲线和验证曲线诊断过拟合/欠拟合，并扩展Ding的工作引入核函数，使用Python实现。该研究旨在提供比SMOTE计算强度更低的方法。
2023-11-09 cs.LG stat.AP
Training very large scale nonlinear SVMs using Alternating Direction Method of Multipliers coupled with the Hierarchically Semi-Separable kernel approximations
The University of Edinburgh（爱丁堡大学）
通常，非线性支持向量机（SVM）产生显着更高的分类质量相比，线性的，但在同一时间，他们的计算复杂性是禁止的大规模数据集：这个缺点是本质上涉及到的必要性，存储和操作大型，密集和非结构化的内核矩阵。尽管在训练SVM的核心存在一个\textit{simple}凸优化问题，但核矩阵的存在导致性能急剧下降，使得SVM在处理大型问题时速度慢得无法工作。针对大规模非线性SVM问题的有效解决方案，我们提出了使用\textit{Alternating Direction Method of Multipliers}耦合\textit{Hierarchically Semi-Separable}（HSS）核近似。如在这项工作中所示，它们的算法组件之间的相互作用的详细分析揭示了一个特别有效的框架，事实上，所提出的实验结果表明显着的速度相比，\textit{state-of-the-art}非线性SVM库（而不显着影响分类精度）。
2021-11-10 cs.LG math.OC
SVM based Multiclass Classifier for Gait phase Classification using Shank IMU Sensor
PSG College of Technology（PSG技术学院）
本研究提出基于SVM多分类的步态相位分类方法，利用小腿IMU传感器数据识别七个步态相位，准确率约90.3%，可应用于外骨骼和假肢等领域。
2023-10-15 cs.LG cs.RO
Chance constrained conic-segmentation support vector machine with uncertain data
Xidian University（西安电子科技大学）；KTH Royal Institute of Technology（KTH皇家理工学院）
支持向量机（Support Vector Machines，SVM）是一种著名的有监督的学习算法。此外，圆锥分割SVM（CS-SVM）是标准二进制SVM的自然多类模拟，因为CS-SVM模型处理的是数据点的精确值已知的情况。本文研究了数据点不确定或错误标记时的CS-SVM。利用概率分布的一些已知性质，采用机会约束CS-SVM方法来保证不确定数据的小误分类概率。几何解释CS-SVM的工作原理。最后，我们提出了实验结果，调查机会约束CS-SVM的性能。
2022-09-22 cs.LG math.OC
Leveraging SLIC Superpixel Segmentation and Cascaded Ensemble SVM for Fully Automated Mass Detection In Mammograms
Università degli Studi di Cassino e del Lazio Meridionale（卡西诺与拉齐奥南部大学）
由于恶性肿瘤密度在形状、轮廓、纹理和方向上的高度可变性，乳房X线照片中乳房肿块的识别和分割面临着复杂的挑战。另外，分类器通常遭受区域候选中的高类别不平衡，其中正常组织区域的数量大大超过恶性肿块。本文提出了一种严格的分割方法，支持形态学增强使用灰度线性滤波器。一种新的级联集成的支持向量机（SVM）被用来有效地解决类的不平衡，并提供显着的预测。对于0.35、0.69和0.82的真阳性率（TPR），系统分别仅生成0.1、0.5和1.0个假阳性/图像（FPI）。
2020-10-20 cs.CV cs.LG
Multi-Class Imbalanced Learning with Support Vector Machines via Differential Evolution
Management School, Hangzhou Dianzi University（杭州电子科技大学管理学院）；Hangzhou Dianzi University（杭州电子科技大学）
针对多类别不平衡分类，本文提出i-SVM-DE，结合代价敏感与间隔修改，并以改进DE联合优化OVO分解后的参数，实验显示其统计性能优于基线方法。
2025-02-20 cs.LG cs.NE
An All-Pair Quantum SVM Approach for Big Data Multiclass Classification
Amity University（爱德大学）；Coventry University（考文垂大学）
在本文中，我们讨论了全对多类分类问题的量子方法。我们已经证明，用于大数据分类的多类支持向量机与量子全对方法可以在量子计算机上以对数运行时复杂度实现。在全对方法中，对于每对类都有一个二进制分类问题，因此对于k类问题有k（k-1）/2个分类器。与可以实现多项式运行时间复杂度的经典多类支持向量机相比，我们的方法在量子版本中表现出指数级的速度。量子全对算法可以与其他分类算法一起使用，与经典算法相比，可以实现加速增益。
2018-05-15 cs.LG quant-ph
