Linearized Additive Classifiers
University of California at Berkeley（加州大学伯克利分校）
我们重新审视了添加剂模型学习文献，并采用Eilers和Marx的惩罚样条公式，有效地训练添加剂分类器。我们还提出了两种新的嵌入基于两类正交基与正交导数，这也可以用来有效地学习加法分类器。本文遵循当前文献中的流行主题，其中使用近似嵌入和线性机来更有效地学习内核SVM。在本文中，我们表明，样条基是特别适合于学习添加剂模型，因为它们的稀疏结构和易于计算的嵌入，使之能够训练这些模型在一个在线的方式，而不会产生内存开销的预计算存储的嵌入。我们展示了B样条基和直方图相交核之间有趣的联系，并表明对于特定的B样条正则化和度的选择，我们提出的学习算法非常接近直方图相交核SVM。这使得人们能够学习添加模型，与快速线性求解器（如LIBLINEAR）相比，几乎没有内存开销，而平均速度仅为5- 6倍。在两个大规模的图像分类数据集，MNIST和戴姆勒克莱斯勒行人，建议的添加剂分类器是作为核支持向量机的准确性，同时是两个数量级的速度快训练。
2011-10-05 cs.AI cs.CV cs.LG
TrIK-SVM : an alternative decomposition for kernel methods in Krein spaces
UCA - LIMOS UMR 6158 CNRS（克莱蒙奥弗涅大学 - 计算机科学、数学建模与优化实验室（法国国家科学研究中心联合实验室））
所提出的工作的目的是提出一种替代的内核分解的背景下，核机器不确定的内核。KSVM（SVM in Kreynn spaces）的原始文献使用了特征分解，本文的提出避免了这种分解。我们解释了它如何帮助设计一个不需要计算完整内核矩阵的算法。最后，我们说明了所提出的方法相比，KSVM的良好行为。
2019-02-27 cs.LG
Multiplicative updates For Non-Negative Kernel SVM
University of New Mexico（新墨西哥大学）；Technical University of Denmark（丹麦技术大学）；Mind Research Network（心智研究网络）
我们提出了乘法更新解决硬和软边缘支持向量机（SVM）与非负内核。它们作为非负矩阵分解的更新的自然扩展。不需要额外的参数设置，例如选择学习、速率。实验表明，快速收敛到良好的分类。我们分析了更新的渐近收敛速度，并建立了紧界.我们测试了几个数据集上使用各种非负内核的性能，并报告等效的泛化误差的标准SVM。
2009-02-24 cs.LG
A Divide-and-Conquer Solver for Kernel Support Vector Machines
University of Texas, Austin（德克萨斯大学奥斯汀分校）
核支持向量机（SVM）是应用最广泛的分类方法之一，但当面对数百万样本时，所需的计算量成为瓶颈。在本文中，我们提出并分析了一种新的分治求解核支持向量机（DC-SVM）。在划分步骤中，我们通过对数据进行聚类，将核支持向量机问题划分为更小的子问题，使得每个子问题都可以独立有效地求解。我们从理论上表明，子问题的解决方案所确定的支持向量很可能是整个核SVM问题的支持向量，只要该问题是适当划分的核聚类。在征服步骤中，从子问题的局部解决方案被用来初始化一个全球坐标下降求解器，收敛速度很快，我们的分析建议。通过扩展这一思想，我们开发了一种具有自适应聚类和早期预测策略的多级Divide-and-Conquer SVM算法，该算法在训练速度，测试精度和内存使用方面优于最先进的方法。例如，在具有50万个样本的covtype数据集上，DC-SVM在获得精确的SVM解（在$10^{-6}$相对误差内）方面比LIBSVM快7倍，其实现了96.15%的预测准确度。此外，使用我们提出的早期预测策略，DC-SVM在12分钟内实现了约96%的准确率，比LIBSVM快100倍以上。
2013-11-04 cs.LG
A Metric-learning based framework for Support Vector Machines and Multiple Kernel Learning
University of Geneva（日内瓦大学）；University of Applied Sciences Western Switzerland（瑞士西部应用科学大学）
大多数度量学习算法以及Fisher判别分析（FDA）都会优化类内和类间距离的不同度量的某些成本函数。另一方面，支持向量机（SVM）和多种多核学习（MKL）算法都是基于支持向量机的大间隔理论。最近，支持向量机已经从支持向量机和度量学习中进行了分析，并开发了基于每种优势的新算法。受SVM的度量学习解释的启发，我们在这里开发了一个新的基于度量学习的SVM框架，其中我们将度量学习的概念纳入SVM。我们扩展了支持向量机的优化问题，包括一些类内距离的措施，并沿着我们开发了一个新的类内距离措施，这是适合于支持向量机。此外，我们采用相同的方法MKL，并表明它也可以制定为一个马氏度量学习问题。我们的最终结果是一些SVM/MKL算法，将度量学习的概念。我们在一组基准数据集上进行了实验，并观察到重要的预测性能改进。
2013-09-16 cs.LG
Generalized Reference Kernel With Negative Samples For Support Vector One-class Classification
Faculty of Information Technology, University of Jyväskylä（信息技术学院，于韦斯屈耶尔大学）
本文提出带有负样本的广义参考核（GRKneg）用于一类支持向量机，在少量负样本下通过改进核函数提升分类性能，并优于标准OC-SVM和二元SVM。
2025-06-17 cs.LG
Very Fast Kernel SVM under Budget Constraints
ENSEA（法国高等电力学院）；Université de Cergy-Pontoise（塞尔吉-蓬图瓦兹大学）；CNRS（法国国家科学研究中心）
在本文中，我们提出了一种快速在线核SVM算法在紧预算约束。我们建议使用LVQ分割输入空间，并在每个聚类中训练一个核SVM。为了允许在线训练，我们建议使用不同的策略限制每个集群的支持向量集的大小。我们在实验中表明，我们的算法能够实现高精度，同时在训练和评估中每秒处理的样本数量非常多。
2016-12-31 cs.LG stat.ML
A Kernel Classification Framework for Metric Learning
Harbin Institute of Technology（哈尔滨工业大学）；Hong Kong Polytechnic University（香港理工大学）；Xi’an Jiaotong University（西安交通大学）
从给定的训练样本中学习距离度量在许多机器学习任务中起着至关重要的作用，并且在过去的十年中已经提出了各种模型和优化算法。在本文中，我们概括了几个国家的最先进的度量学习方法，如大间隔最近邻（LMNN）和信息理论度量学习（ITML），到一个核分类框架。首先，从训练样本中构造双联体和三联体，并针对双联体或三联体构造一族二次多项式核函数。然后，建立了一个核分类框架，它不仅可以推广许多流行的度量学习方法，如LMNN和ITML，但也提出了新的度量学习方法，可以有效地实现，有趣的是，通过使用标准的支持向量机（SVM）求解器。两个新的度量学习方法，即双SVM和三重SVM，然后在所提出的框架下开发。实验结果表明，双重支持向量机和三重支持向量机实现竞争力的分类精度与国家的最先进的度量学习方法，如ITML和LMNN，但具有显着更少的训练时间。
2013-09-23 cs.LG
Training very large scale nonlinear SVMs using Alternating Direction Method of Multipliers coupled with the Hierarchically Semi-Separable kernel approximations
The University of Edinburgh（爱丁堡大学）
通常，非线性支持向量机（SVM）产生显着更高的分类质量相比，线性的，但在同一时间，他们的计算复杂性是禁止的大规模数据集：这个缺点是本质上涉及到的必要性，存储和操作大型，密集和非结构化的内核矩阵。尽管在训练SVM的核心存在一个\textit{simple}凸优化问题，但核矩阵的存在导致性能急剧下降，使得SVM在处理大型问题时速度慢得无法工作。针对大规模非线性SVM问题的有效解决方案，我们提出了使用\textit{Alternating Direction Method of Multipliers}耦合\textit{Hierarchically Semi-Separable}（HSS）核近似。如在这项工作中所示，它们的算法组件之间的相互作用的详细分析揭示了一个特别有效的框架，事实上，所提出的实验结果表明显着的速度相比，\textit{state-of-the-art}非线性SVM库（而不显着影响分类精度）。
2021-11-10 cs.LG math.OC
Random Binary Mappings for Kernel Learning and Efficient SVM
ETH Zurich（苏黎世联邦理工学院）
支持向量机（SVM）是一种功能强大的学习器，在各种计算机视觉问题中取得了最先进的结果。SVM在选择正确的内核方面存在各种缺点，这取决于图像描述符以及计算和内存效率。本文介绍了一种新的内核，它很好地服务于这些问题。通过利用输入特征的大量低复杂度、随机化的二进制映射来学习内核。这导致了一个有效的SVM，同时也减轻了核选择的任务。我们在6个标准视觉基准测试中展示了我们的内核的功能，其中我们结合了几个常见的图像描述符，即直方图（Flowers 17和Daimler），属性类描述符（UCI，OSR和a-VOC 08）和稀疏量化（ImageNet）。结果表明，我们的核学习很好地适应了不同的描述符类型，实现了专门为每个图像描述符调整的核的性能，并且具有与有效的SVM方法相似的评估成本。
2014-03-28 cs.CV cs.LG stat.ML
A Semismooth-Newton's-Method-Based Linearization and Approximation Approach for Kernel Support Vector Machines
Beijing Institute of Technology（北京理工大学）
支持向量机（SVM）是最流行和性能最好的分类算法之一。已经提出了各种方法来减少在使用核支持向量机基于大规模数据集进行训练和预测时的高计算和存储成本。线性化框架是一种流行的框架，它成功地在$L_1$ -损失核支持向量机和$L_1$ -损失线性支持向量机之间架起了一座桥梁。对于线性支持向量机，最近提出了一种半光滑牛顿法。它被证明是非常有竞争力的，并具有较低的计算成本。因此，一个自然的问题是，是否有可能开发一个快速的半光滑牛顿算法的核支持向量机。基于这一问题和线性化框架的思想，本文以$L_2$ -损失核SVM为研究对象，提出了一种基于半光滑牛顿法的线性化和逼近方法，其主要思想是首先建立一个等价的线性SVM，然后利用Nyström方法对核矩阵进行逼近，得到一个约简的线性SVM。最后，采用快速半光滑牛顿法求解约简线性支持向量机。对核矩阵的逼近问题进行了理论分析。所提出的方法的优点是，它保持了较低的计算成本，并保持了快速的收敛速度。大量的数值实验结果验证了所提出的方法在预测精度和速度方面的有效性。
2020-07-21 cs.LG math.OC
Enhancing Quantum Support Vector Machines through Variational Kernel Training
Hassan II University of Casablanca（哈桑二世卡萨布兰卡大学）；Zaiku Group Ltd（Zaiku集团有限公司）；University of the Witwatersrand（威特沃特斯兰德大学）；Indian Institute of Science Education and Research (IISER)（印度科学教育与研究所）；University Mohammed V-Agdal（穆罕默德五世-阿格达尔大学）
针对现有两类量子支持向量机的优势融合问题，提出结合量子核与量子变分算法的QVK-SVM模型，经Iris数据集实验验证其在多项指标上更优，为量子机器学习提供新工具。
2023-05-11 cs.LG quant-ph
Can Boosting with SVM as Week Learners Help?
Indian Institute of Science（印度科学学院）
图像中的目标识别涉及识别具有部分遮挡、视点变化、变化的照明、杂乱的背景的目标。最近的工作在对象识别中使用机器学习技术SVM-KNN，局部包围核学习，多核学习。在本文中，我们希望利用SVM作为AdaBoost中的弱学习器。用最近邻、k-最近邻、支持向量机、局部学习（SVM-KNN）和AdaBoost等分类器进行了实验。模型使用尺度不变描述符和梯度描述符的金字塔直方图。AdaBoost使用一组周分类器作为SVM进行训练，每个SVM都具有不同描述符的核距离函数。实验结果表明，AdaBoost与SVM在对象分类数据集上的性能优于其他方法。
2016-04-22 cs.CV cs.LG
Fast and Scalable Adversarial Training of Kernel SVM via Doubly Stochastic Gradients
Nanjing University of Information Science & Technology（南京信息工程大学）；University of Pittsburgh（匹兹堡大学）；JD Finance America Corporation（京东金融美国公司）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
对抗攻击通过生成与自然样本几乎无法区分的样本，对学习模型构成严重威胁。防御对抗攻击是可靠学习系统的关键要素。支持向量机是一种经典的学习算法，即使在当前的深度学习时代，它仍然是一种重要的学习算法。虽然近年来人们对提高学习模型的对抗鲁棒性进行了广泛的研究，但大多局限于深度神经网络（DNNs），而核支持向量机的研究还处于空白状态。本文针对核支持向量机，提出了adv-SVM，通过对抗训练来提高其对抗鲁棒性，这已被证明是最有前途的防御技术。据我们所知，这是致力于核SVM的快速和可扩展的对抗训练的第一项工作。具体地说，我们首先建立了原始空间和核空间之间样本扰动的联系，然后基于这种联系给出了核支持向量机对抗性训练的一种简化的等价形式。接下来，基于两个无偏随机近似的双随机梯度（DSG）（即，一个是关于训练点，另一个是关于随机特征）被应用于更新我们的目标函数的解。最后，证明了在步长不变和步长递减的情况下，经DSG优化后的算法以O（1/t）的速度收敛到最优解。综合实验结果表明，我们的对抗性训练算法对各种攻击具有鲁棒性，同时具有类似的效率和可扩展性与经典的DSG算法。
2021-07-21 cs.CR cs.LG
New Equivalences Between Interpolation and SVMs: Kernels and Structured Features
School of Electrical and Computer Engineering, Georgia Institute of Technology（佐治亚理工学院电子与计算机工程系）；Institute of Mathematics, EPFL（瑞士联邦理工学院数学学院）；School of Industrial & Systems Engineering, Georgia Institute of Technology（佐治亚理工学院工业与系统工程系）
本文探讨了插值与支持向量机之间的等价关系，通过灵活的分析框架证明了在任意再生核希尔伯特空间中，SVP现象在多种生成模型下成立，并推导了核SVM分类的新型泛化结果。
2023-05-03 cs.LG stat.ML
FairyFuse: Multiplication-Free LLM Inference on CPUs via Fused Ternary Kernels
Peking University（北京大学）
本文提出FairyFuse，通过融合三进制权重的八次实值子GEMV，实现CPU上的无乘法LLM推理，显著提升性能，单CPU达到32.4 tokens/s，质量接近FP16。
2026-04-22 cs.LG
Multi-Task Regularization with Covariance Dictionary for Linear Classifiers
Carnegie Mellon University（卡内基梅隆大学）
在本文中，我们提出了一个多任务线性分类器学习问题，称为D-SVM（字典SVM）。D-SVM使用一个所有任务共享的参数协方差字典，在不同任务之间进行多任务知识传递。我们正式定义了D-SVM的学习问题，并从概率和内核的角度对这个问题给出了两种解释。从概率的角度来看，我们证明了我们的学习公式实际上是对所有优化变量的MAP估计。我们还证明了它等价于一个多核学习问题，其中一个是试图找到一个重新加权内核的功能，从字典的基础（尽管只有线性分类器学习的事实）。最后，我们描述了一种替代的优化方案，以最大限度地减少目标函数，并提出实证研究，以验证我们的算法。
2013-10-21 cs.LG
Distance Metric Learning for Kernel Machines
Washington University in St. Louis（圣路易斯华盛顿大学）；Criteo（科韬）
最近在度量学习方面的工作显着提高了k-最近邻分类的最新水平。支持向量机（SVM），特别是具有RBF核的SVM，是使用距离度量来比较示例的最流行的分类算法之一。本文对三种最流行的马氏度量学习算法作为SVM训练的预处理的有效性进行了实证分析。我们发现，这些算法都没有产生指标，导致特别令人满意的改进SVM-RBF分类。作为一种补救措施，我们引入支持向量度量学习（SVML），一种新的算法，无缝地结合了马氏度量的学习与RBF-SVM参数的训练。我们证明了SVML的能力，在九个基准数据集的不同大小和难度。在我们的研究中，SVML在准确性方面优于所有其他最先进的度量学习算法，并通过交叉验证建立了自己作为标准欧几里得度量的模型选择的严肃替代品。
2013-01-08 cs.LG stat.ML
Snacks: a fast large-scale kernel SVM solver
MaLGa, DIMA, Universita degli Studi di Genova（热那亚大学MaLGa研究组）；CORE, UCLouvain（天主教鲁汶大学CORE研究所）；IIT-Istituto Italiano di Tecnologia（意大利技术研究院）
本文提出大规模核SVM求解器Snacks，利用Nyström近似和加速随机次梯度方法，解决了标准核方法的时间和内存复杂度问题，并在多种基准数据集上表现出竞争力。
2023-04-17 cs.LG math.OC
Elastic-Net Multiple Kernel Learning: Combining Multiple Data Sources for Prediction
Centre for Artificial Intelligence, Department of Computer Science, University College London, UK（人工智能中心、计算机科学系、伦敦大学学院、英国）；Hawkes Institute, University College London, UK（霍克斯研究所、伦敦大学学院、英国）；Department of Computer Science, University College London, UK（计算机科学系、伦敦大学学院、英国）；GIGA - CRC Human Imaging, University of Liège, Belgium（GIGA- CRC 人类成像、列日大学、比利时）
本文提出了一种弹性网多核学习方法，通过结合多个数据源进行预测，提升了模型的可解释性和性能。
2025-12-12 cs.LG
Adaptive Kernel Value Caching for SVM Training
National University of Singapore（新加坡国立大学）
支持向量机（SVM）可以解决结构化的多输出学习问题，如多标签分类、多类分类和向量回归等。SVM训练是昂贵的，特别是对于大型和高维数据集。支持向量机训练的瓶颈往往在于核值的计算。在许多现实世界的问题中，在训练期间的许多迭代中使用相同的内核值，这使得内核值的缓存可能有用。大多数现有的研究只是采用LRU（最近最少使用）替换策略来缓存内核值。然而，正如我们在本文中分析的，LRU策略通常在训练的最后阶段附近实现高命中率，但在整个训练过程中效果不佳。因此，我们提出了一种新的缓存策略，称为EFU（不经常使用），它取代了不经常使用的内核值，增强了LFU（最不经常使用）。实验结果表明，在高斯核函数的训练下，EFU的命中率通常比LRU高20%左右。为了进一步优化策略，我们提出了一种缓存策略称为HCST（混合缓存的SVM训练），它有一个新的机制，自动适应更好的缓存策略在不同的阶段的训练。我们已经将缓存策略集成到ThunderSVM中，ThunderSVM是众核处理器上的最新SVM库。实验结果表明，HCST在多标签分类、多类分类和回归等问题中自适应地实现了高命中率，且运行时开销很小。与现有的其他缓存策略相比，HCST的训练时间平均减少了20%.
2019-11-08 cs.LG cs.PF stat.ML
Feature subset selection for kernel SVM classification via mixed-integer optimization
Tokyo University of Agriculture and Technology（东京农工大学）；October Sky Co., Ltd.（October Sky株式会社）；University of Tsukuba（筑波大学）
研究了非线性核支持向量机（SVM）二值分类中特征子集选择的混合整数优化（MIO）方法。这种方法在20世纪70年代首次提出用于线性回归，最近随着优化算法和计算机硬件的进步而成为人们关注的焦点。本文的目标是建立一个MIO的方法来选择最好的核SVM分类的特征子集。为了衡量子集选择的性能，我们使用核目标对齐，这是在高维特征空间中两个响应类的质心之间的距离。我们提出了一个混合整数线性优化（MILO）制定的基础上的核心目标对齐的特征子集选择，这个MILO问题可以解决最优使用优化软件。我们还推导出一个简化版本的MILO问题，以加快我们的MILO计算。实验结果表明，我们的MILO配方与减少的问题具有良好的计算效率。此外，我们的方法往往可以优于线性SVM为基础的MILO制定和递归特征消除的预测性能，特别是当有相对较少的数据实例。
2022-05-28 cs.LG math.OC stat.ML
The SVM Classifier Based on the Modified Particle Swarm Optimization
Moscow Technological Institute（莫斯科技术学院）
研究了基于改进粒子群算法的SVM分类器的开发问题。该算法同时搜索支持向量机分类器的核函数类型、核函数参数值和正则化参数值。这种SVM分类器提供了高质量的数据分类。在改进粒子群算法的基础上提出了粒子“再生”的思想。在实现这一思想时，一些粒子将其核函数类型改变为与具有最佳分类精度值的粒子相对应的核函数类型。所提供的粒子群优化算法可以减少SVM分类器开发的时间开销。实验结果证实了该算法的有效性。
2016-03-21 cs.LG cs.NE
TV-SVM: Total Variation Support Vector Machine for Semi-Supervised Data Classification
City University of Hong Kong（香港城市大学）
介绍了基于全变分（TV）、再生核希尔伯特空间（RKHS）、支持向量机（SVM）、Cheeger割、标记和未标记数据点的半监督数据分类算法。我们设计了二进制和多类半监督分类算法。我们比较了基于电视的分类算法与相关的基于拉普拉斯的算法，并表明，电视分类表现出显着更好的标记数据的数量是小的。
2012-10-02 cs.LG
The Responsibility Weighted Mahalanobis Kernel for Semi-Supervised Training of Support Vector Machines for Classification
University of Kassel（卡塞尔大学）
支持向量机（SVM）中的核函数需要评估输入样本的相似性，以便例如对这些样本进行分类。除了诸如高斯（即，径向基函数（RBF）或多项式核，也有特定的核被定制为考虑数据中的结构以进行相似性评估。在本文中，我们将通过概率混合密度模型来捕获数据中的结构，例如在实值输入空间的情况下的高斯混合。从这些模型中固有包含的距离度量，例如，马氏距离的高斯混合的情况下，我们推导出一个新的核，责任加权马氏（RWM）核。基本上，该内核强调模型组件的影响，假设任何两个被比较的样本都来自模型组件（即“负责的”模型组件）。我们将看到，在许多部分标记数据可用的应用中，该内核优于RBF内核和其他捕获数据结构的内核（例如Laplacian SVM中的KNN内核），即，用于SVM的半监督训练。其他关键优点是RWM内核可以很容易地与标准SVM实现和训练算法（如顺序最小优化）一起使用，并且可以很容易地将C-SVM中RBF内核的参数化方法转移到这个新内核中。RWM内核的性能证明了20个基准数据集和训练数据中标记样本的百分比不断增加。
2015-02-16 cs.LG stat.ML
Practical Selection of SVM Supervised Parameters with Different Feature Representations for Vowel Recognition
National School of Engineering of Tunis（突尼斯国家工程学院）；Université de Tunis El Manar（突尼斯艾勒马那大学）
支持向量机（Support Vector Machine，SVM）的分类性能受核函数参数和正则化参数C的影响。因此，在这篇文章中，我们提出了一个研究，以找到合适的内核，支持向量机可以实现良好的泛化性能以及使用的参数。我们需要分析当这些参数取非常小或非常大的值时SVM分类器的行为。本文利用TIMIT语料库进行了多类元音识别的研究。此外，对于实验，我们使用了不同的特征表示，如MFCC和PLP。最后，通过对比研究，指出了参数选择、核函数技巧和特征表示对SVM分类器性能的影响
2015-07-22 cs.CL cs.LG
Behavioral analysis of support vector machine classifier with Gaussian kernel and imbalanced data
Frankfurt University of Applied Sciences（法兰克福应用科学大学）
支持向量机的惩罚参数和核参数等参数对支持向量机模型的分类精度和复杂度有很大影响。因此，SVM中的模型选择涉及这些参数的调整。然而，这些参数通常被调整并用作黑盒，而不了解数学背景或内部细节。在本文中，SVM分类模型的行为时，这些参数采取不同的值与平衡和不平衡的数据进行了分析。该分析包括可视化，数学和几何解释以及说明性的数值示例，旨在为SVM提供高斯和线性核函数的基础知识。在此基础上，提出了一种新的搜索算法。在该算法中，我们搜索到两个一维空间的最佳SVM参数，而不是搜索到一个二维空间。这大大减少了计算时间。此外，在我们的算法中，从数据的分析，核函数的范围可以预期。这也减少了搜索空间，因此减少了所需的计算时间。不同的实验进行了评估我们的搜索算法使用不同的平衡和不平衡的数据集。实验结果表明，该策略比其他搜索策略更快速、更有效.
2020-07-09 cs.LG stat.ML
Differential Search Algorithm-based Parametric Optimization of Fuzzy Generalized Eigenvalue Proximal Support Vector Machine
Assiut University（阿西乌特大学）
支持向量机（Support Vector Machine，SVM）是解决许多分类问题的有效模型。然而，支持向量机需要一个二次规划的解决方案，需要专门的代码。另外，支持向量机参数较多，影响了支持向量机分类器的性能。最近，广义特征值邻近支持向量机（GEPSVM）已被提出来解决SVM的复杂性。在实际应用中，数据可能会受到误差或噪声的影响，处理这些数据是一个具有挑战性的问题。在本文中，已经提出了一种方法来克服这个问题。这种方法被称为DSA-GEPSVM。主要的改进是基于以下几个方面：1）一种新的线性情况下的模糊值。2)一种新的非线性核函数。3)差分搜索算法（DSA）的重新制定，以找到近最优值的GEPSVM参数和它的核参数。实验结果表明，该方法能够找到合适的参数值，与其他算法相比具有更高的分类精度。
2015-01-04 cs.LG
Random matrices meet machine learning: a large dimensional analysis of LS-SVM
本文提出了一种基于随机矩阵方法的核最小二乘支持向量机（LS-SVM）的性能分析，在该制度下，数据的维数$p$和它们的数量$n$以相同的速度增长大。在两类高斯混合模型的输入数据下，我们证明了LS-SVM的决策函数是渐近正态的均值和协方差显式依赖于核函数的导数。这提供了更好的理解以及对大型数据集SVM类型方法内部工作的新见解。
2016-09-08 cs.LG stat.ML
An Efficient Binary Harris Hawks Optimization based on Quantum SVM for Cancer Classification Tasks
Minia University（米尼亚大学）；Nahda University（纳达大学）；American University in the Emirates（阿联酋美国大学）
基于基因表达的癌症分类增加了早期诊断和康复，但样本数量较少的高维基因是一个主要挑战。本文介绍了一种新的混合量子核支持向量机（QKSVM）结合基于二进制Harris hawk优化（BHHO）的基因选择方法，在量子模拟器上进行癌症分类。本研究旨在通过BHHO方法基于信息基因的量子核估计来提高微阵列癌症预测的性能。特征选择是高维特征提取中的关键步骤，BHHO算法用于重要特征的选择。BHHO模仿了自然界中哈里斯鹰的合作行为。应用主成分分析（PCA）来减少所选择的基因以匹配量子比特数。然后利用量子计算机对约简基因的训练数据进行核估计，生成量子核矩阵。此外，经典的计算机被用来绘制基于量子核矩阵的支持向量。此外，预测阶段与经典的设备进行。最后，将该方法应用于结肠和乳腺微阵列数据集，并通过BHHO对所有基因和选定基因进行评估。所提出的方法被发现，以提高整体性能与两个数据集。此外，所提出的方法进行评估与不同的量子特征映射（内核）和经典内核（RBF）。
2022-02-24 cs.LG
Practical application improvement to Quantum SVM: theory to practice
IBM Global Business Services（IBM全球企业咨询服务部）；IBM Research（IBM研究院）
量子机器学习（QML）已经成为量子应用的一个重要领域，尽管有用的QML应用需要许多量子位。因此，我们的论文的目的是探索量子支持向量机（QSVM）算法的成功应用，同时平衡噪声中间尺度量子（NISQ）假设下的几个实际和技术考虑。对于NISQ下的量子支持向量机，我们使用量子特征映射将数据转换为量子态，并从这些量子态中构造支持向量机核，并与经典的径向基函数（RBF）核支持向量机进行了比较。由于数据集在某种意义上更加复杂或抽象，与QSVM相比，使用典型经典核的经典SVM导致精度较低，因为使用典型经典核的经典SVM不能容易地分离不同类别的数据。类似地，QSVM应该能够在更广泛的数据集上提供有竞争力的性能，包括“更简单”的数据情况，其中需要更平滑的决策边界以避免任何模型方差问题（即，过拟合）。为了弥合“经典外观”决策边界和复杂的量子决策边界之间的差距，我们建议利用一般的浅幺正变换来创建具有旋转因子的特征映射，以定义可调的量子核，并添加正则化来平滑分离超平面模型。我们在实验中表明，这使得QSVM的性能等同于SVM，无论数据集的复杂性如何，并且在一些常用的参考数据集上表现出色。
2020-12-14 cs.LG quant-ph
Communication-Efficient Parallel Block Minimization for Kernel Machines
University of California, Davis（加州大学戴维斯分校）；University of Texas, Austin（德克萨斯大学奥斯汀分校）
核机器通常在各种任务上产生卓越的预测性能;然而，它们遭受严重的计算挑战。在本文中，我们展示了如何克服加速内核机器的重要挑战。特别是，我们开发了一个并行块最小化框架，用于解决核机器，包括核SVM和核逻辑回归。我们的框架通过形成Hessian矩阵的块对角近似来将问题划分为更小的子问题。然后近似并行地求解子问题。在此之后，通信有效的线搜索过程中开发，以确保在每次迭代的目标函数值的充分减少。我们证明了所提出的方法的全局线性收敛速度与广泛的一类子问题求解器，我们的分析涵盖强凸和一些非强凸函数。我们应用我们的算法来解决分布式系统上的大规模核SVM问题，并显示出显着的改善现有的并行求解器。例如，在具有50万个样本的covtype数据集上，我们的算法可以使用32台机器在20秒内获得96%准确度的近似解，而所有其他并行核SVM求解器需要超过2000秒才能获得95%准确度的解。此外，我们的算法可以扩展到非常大的数据集，例如具有800万个样本和2000万个特征的kdd代数数据集。
2016-08-05 cs.LG
Challenges in Binary Classification
Beijing Jiaotong University（北京交通大学）
该研究将最优二分类器求解转化为基于两类欧氏距离极大极小的变分问题，证明SVM是其线性特例，同时指出该框架在非线性分类上的局限，明确最优二分类器设计仍是开放问题并梳理相关挑战。
2024-06-19 cs.LG
Radial basis function kernel optimization for Support Vector Machine classifiers
University of Málaga（马拉加大学）；Biomedic Research Institute of Málaga (IBIMA)（马拉加生物医学研究所 (IBIMA)）；University of Michigan（密歇根大学）
支持向量机（SVM）仍然是最流行和最精确的分类器之一。径向基函数（RBF）核已被用于支持向量机中，以在类之间进行分离，并取得了相当大的成功。然而，存在对核超参数的初始值的内在依赖性。在这项工作中，我们提出了OKSVM，一种自动学习RBF核超参数，同时调整SVM权重的算法。所提出的优化技术是基于一个梯度下降方法。我们分析了我们的方法相对于经典的SVM分类合成和真实数据的性能。实验结果表明，OKSVM的性能更好，而不受初始值的RBF超参数。
2020-07-16 cs.LG stat.ML
A new trigonometric kernel function for support vector machine
Shiraz University of Technology（设拉子理工大学）；University of Lethbridge（莱斯布里奇大学）
In the last few years, various types of machine learning algorithms, such as Support Vector Machine (SVM), Support Vector Regression (SVR), and Non-negative Matrix Factorization (NMF) have been introduced. The kernel approach is an effective method for increasing the classification accuracy of machine learning algorithms. This paper introduces a family of one-parameter kernel functions for improving the accuracy of SVM classification. The proposed kernel function consists of a trigonometric term and differs from all existing kernel functions. We show this function is a positive definite kernel…
2022-12-15 cs.CV cs.LG cs.NE
On the Consistency of the Bootstrap Approach for Support Vector Machines and Related Kernel Based Methods
University of Bayreuth（拜罗伊特大学）
证明了基于一般凸光滑损失函数和基于一般核函数的支持向量机的自举逼近是一致的。这一结果对于用Bootstrap方法逼近未知的有限样本分布是有用的。
2013-01-29 cs.LG stat.ML
Fast Prediction with SVM Models Containing RBF Kernels
KU Leuven（鲁汶大学）
我们提出了一个近似方案的支持向量机模型，使用RBF核。一个二阶麦克劳林级数近似用于支持向量和测试实例之间的内积的指数。该近似适用于所有的核方法，其特征在于核评估的总和，并且不对数据规范化做任何假设。近似模型的预测速度不再与支持向量的数量有关，而是与输入维度的数量成二次关系。如果输入维度的数量与支持向量的数量相比很小，则近似模型的预测速度明显更快，并且内存占用更小。一个优化的C++实现，以评估在一组实际测试中的预测速度的增益。我们还提供了一种方法来验证近似精度，在训练模型之前或运行时，以确保精度损失保持可接受且在已知范围内。
2014-10-03 cs.LG stat.ML
From Kernel Machines to Ensemble Learning
Australian Center for Visual Technologies（澳大利亚视觉技术中心）；School of Computer Science, The University of Adelaide（阿德莱德大学计算机科学学院）
诸如boosting的增强方法结合多个学习器以获得比从任何单个学习器获得的更好的预测。在这里，我们提出了一个原则性的框架，直接构建集成学习方法的核心方法。与以往的研究表明，提升和支持向量机（SVMs），这需要一个翻译过程之间的等价性，我们表明，它是可能的，设计升压样的程序来解决SVM优化问题。换句话说，可以直接从SVM设计集成方法，而无需任何中间过程。这一发现不仅使我们能够直接从核方法设计新的集成学习方法，而且使我们有可能利用这些高度优化的快速线性SVM求解器进行集成学习。我们将此框架用于设计二进制集成学习以及一种新的多类集成学习方法。实验结果证明了该框架的灵活性和实用性。
2014-01-04 cs.CV cs.LG
An End-to-End Graph Convolutional Kernel Support Vector Machine
School of Computer Science & Informatics, Cardiff University（卡迪夫大学计算机科学与信息学院）
提出了一种新的基于核的支持向量机（SVM）的图分类方法。SVM特征空间映射由一系列图卷积层组成，该卷积层为每个顶点生成向量空间表示，然后是一个池化层，该池化层为图生成再生核希尔伯特空间（RKHS）表示。RKHS的使用提供了使用核函数在该空间中隐式操作的能力，而没有显式映射到它的计算复杂性。所提出的模型以监督的端到端的方式进行训练，从而卷积层，核函数和SVM参数相对于正则化分类损失进行联合优化。这种方法不同于现有的基于核的图分类模型，后者使用特征工程或无监督学习来定义核函数。实验结果表明，该模型优于现有的深度学习基线模型在一些数据集上。
2020-08-04 cs.LG stat.ML
Learning rates for classification with Gaussian kernels
Wenzhou University（温州大学）；Jiangxi Normal University（江西师范大学）
针对基于高斯核和凸损失的支持向量机二值分类问题，提出了一种改进的误差分析方法。我们的第一个结果表明，对于某些损失函数，如截断二次损失和二次损失，高斯核支持向量机可以达到几乎最优的学习率，只要回归函数是光滑的。我们的第二个结果表明，对于大量的损失函数，在一些Tsybakov噪声假设下，如果回归函数是无限光滑的，那么具有高斯核的SVM可以达到$m^{-1}$阶的学习率，其中$m$是样本的数量。
2017-10-05 cs.LG math.OC stat.ML
Learning from Distributions via Support Measure Machines
MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）；The Institute of Statistical Mathematics（统计数学研究所）
提出了一种基于核的概率测度判别学习框架。我们的框架不依赖于大量的向量训练示例，而是使用一组概率分布来学习，这些概率分布被构造成有意义地表示训练数据。通过将这些概率分布表示为再生核希尔伯特空间（RKHS）中的平均嵌入，我们能够以简单的方式应用许多标准的基于核的学习技术。为了实现这一点，我们构建了一个泛化的支持向量机（SVM）称为支持度量机（SMM）。我们对SMM的分析为它们与传统SVM的关系提供了一些见解。基于这样的见解，我们提出了一种灵活的SVM（Flex-SVM），它在每个训练样本上放置不同的核函数。在合成数据和真实数据上的实验结果证明了我们所提出的框架的有效性。
2013-01-12 cs.LG stat.ML
Learning in a Large Function Space: Privacy-Preserving Mechanisms for SVM Learning
UC Berkeley（加州大学伯克利分校）；Intel Labs（英特尔实验室）
最近的几项研究在隐私保护学习考虑了效用或风险之间的权衡和统计查询处理机制保证的差分隐私的水平。在本文中，我们研究这种权衡在私人支持向量机（SVM）学习。我们提出了两个有效的机制，一个用于有限维特征映射的情况下，一个用于潜在的无限维特征映射与不变核。对于不变性核的情况下，所提出的机制最大限度地减少了正则化的经验风险，在随机再生核希尔伯特空间，其内核一致逼近所需的内核具有高概率。这种从大规模学习中借鉴的技术允许该机制使用分类器的有限编码进行响应，即使函数类具有无限VC维。差分隐私建立使用算法稳定性的证明技术。效用-该机制的响应函数是逐点ε-接近非私人SVM的概率为1-delta-证明了呼吁正则化经验风险最小化的平滑度相对于小扰动的特征映射。我们得出结论的最佳差分隐私的SVM的下限。这个否定的结果表明，对于任何delta，没有机制可以同时对小delta和小beta是（delta，delta）有用的和beta差异私有的。
2009-11-30 cs.CR cs.DB cs.LG
Web Spam Detection Using Multiple Kernels in Twin Support Vector Machine
Yazd University（亚兹德大学）
搜索引擎是网络数据采集的重要工具。网页是由搜索引擎抓取和索引的。用户通常通过查询搜索引擎来定位有用的网页。垃圾页面是搜索引擎管理面临的挑战之一，它浪费了搜索引擎的资源。这些网页通过欺骗搜索引擎的排名算法试图显示在结果的第一页。垃圾网页的检测方法有多种，如HTML代码风格相似度度量、网页语言模式分析和基于网页内容特征的机器学习算法。支持向量机（Support Vector Machine，SVM）分类器是机器学习中最著名的算法之一。最近，支持向量机的基本结构已经改变了新的扩展，以增加鲁棒性和分类精度。本文将两个非线性核函数引入Twin SVM（TSVM），作为SVM的改进扩展，提高了Web垃圾邮件检测的准确率。通过对每类数据使用两个分离的核函数，提高了分类器的数据分离能力。新提出的方法的有效性进行了实验与两个公开使用的垃圾邮件数据集称为英国-2007和英国-2006。实验结果表明，提出的核化版本的TSVM在Web垃圾页面检测的有效性。
2016-05-10 cs.IR cs.LG
m-arcsinh: An Efficient and Reliable Function for SVM and MLP in scikit-learn
University California Irvine（加利福尼亚大学欧文分校）
本文描述了“m-arcsinh”，反双曲正弦函数（“arcsinh”）的修改（“m-”）版本。核函数和激活函数使基于机器学习（ML）的算法（如支持向量机（SVM）和多层感知器（MLP））能够以监督的方式从数据中学习。在开源Python库“scikit-learn”中实现的m-arcsinh在此分别作为SVM和MLP的高效可靠的内核和激活函数提出。讨论了scikit-learn和加州大学欧文分校（UCI）机器学习存储库中15个（N = 15）数据集上分类任务的可靠性和收敛速度的改进。实验结果表明，整体竞争力的分类性能的支持向量机和MLP，通过所提出的功能实现。此功能相比，黄金标准内核和激活函数，展示了其整体的竞争力的可靠性，无论所涉及的分类任务的复杂性。
2020-09-16 cs.CV cs.LG cs.MS
Nonparallel Hyperplane Classifiers for Multi-category Classification
South Asian University（南亚大学）
支持向量机（SVM）被广泛用于解决分类和回归问题。最近，各种非平行超平面分类算法（NHCAs）已被提出，这是可比的分类精度相比，支持向量机，但计算效率更高。所有这些NHCA最初都是针对二元分类问题提出的。由于现实世界中的分类问题大多涉及多个类别，因此这些算法被扩展到多类别场景。在本文中，我们提出了四个NHCAs，即双支持向量机（TWSVM），广义特征值邻近支持向量机（GEPSVM），正则化GEPSVM（RegGEPSVM）和改进的GEPSVM（IGEPSVM）的多类别分类的比较研究。采用OneAgainst-All（OAA）、基于二叉树（BT）和三元决策结构（TDS）的方法实现了NHCA分类器的多类别分类算法，并在基准UCI数据集上进行了实验。实验结果表明，TDS-TWSVM的分类精度优于其他方法，BT-RegGEPSVM的分类器建立时间最短
2020-04-16 cs.LG stat.ML
Nonlinear Kernel Support Vector Machine with 0-1 Soft Margin Loss
Hainan University（海南大学）；Zhijiang College, Zhejiang University of Technology（浙江工业大学之江学院）
具有0-1软间隔损失的线性支持向量机（$L_{0/1}$ -SVM）的最新进展表明，0-1损失问题可以直接求解。然而，由于理论和算法上的要求限制了我们将线性求解框架直接扩展到非线性核形式，其中$L_{0/1}$ -SVM的拉格朗日对偶函数没有显式表达是一个很大的不足。本文应用非参数表示定理，提出了一种具有0-1软间隔损失的支持向量机的非线性模型，称为$L_{0/1}$ -KSVM。从理论上探讨了该问题的最优性条件，并引入了工作集选择交替方向乘子法（ADMM）算法，得到了该问题的数值解。此外，我们首次提出了一个封闭形式的定义支持向量（SV）的$L_{0/1}$ -KSVM。从理论上证明了$L_{0/1}$ -KSVM的所有支持向量只位于平行决策曲面上。实验部分还表明，与线性同类$L_{0/1}$ -SVM和其他六种非线性基准SVM分类器相比，$L_{0/1}$ -KSVM具有更少的支持向量机，同时具有良好的预测精度。
2022-12-01 cs.LG math.OC
Quantum-Inspired Support Vector Machine
University of Science and Technology of China（中国科学技术大学）；CAS Centre for Excellence and Synergetic Innovation Centre in Quantum Information and Quantum Physics（中国科学院量子信息与量子科技创新卓越中心）；University of Oxford（牛津大学）；Hefei National Laboratory for Physical Sciences at Microscale（合肥微尺度物质科学国家实验室）
支持向量机（Support Vector Machine，SVM）是一种功能强大且灵活的监督学习模型，它可以对数据进行分类和回归分析，通常的算法复杂度与数据空间的维数和数据点的数量呈多项式关系。为了解决大数据问题，提出了一种量子支持向量机算法，该算法能够实现最小二乘支持向量机（LS-SVM）的指数加速比。在这里，受量子SVM算法的启发，我们提出了一个量子启发的经典算法LS-SVM。在我们的方法中，一种改进的快速采样技术，即间接采样，提出了采样的核矩阵和分类。我们首先考虑线性核的LS-SVM，然后讨论我们的方法推广到非线性核。理论分析表明，对于低秩、低条件数和高维数据矩阵，该算法可以在数据空间维数和数据点数均为对数的运行时间内以任意的成功概率进行分类，与量子SVM的运行时间相匹配。
2021-03-16 cs.CC cs.LG quant-ph
Manifold regularized kernel logistic regression for web image annotation
China University of Petroleum (East China)（中国石油大学（华东））；University of Chinese Academy of Sciences（中国科学院大学）
随着互联网技术和智能设备的快速发展，用户经常需要使用智能设备管理大量的多媒体信息，如个人图像和视频的访问和浏览。这些需求在很大程度上依赖于图像（视频）标注的成功，因此近年来通过创新的机器学习方法进行大规模图像标注引起了广泛关注。其中有代表性的工作是支持向量机。虽然支持向量机在二值分类中表现良好，但它的损失函数不光滑，不能自然地覆盖多类情况。在本文中，我们提出了流形正则化核逻辑回归（KLR）的Web图像标注。与支持向量机相比，KLR具有以下优点：（1）KLR具有光滑的损失函数;（2）KLR产生的是概率的显式估计，而不是类标签;（3）KLR可以自然地推广到多类情况。我们仔细地进行了实验MIR FLICKR数据集，并证明了流形正则化核逻辑回归图像标注的有效性。
2013-12-21 cs.LG cs.MM
Kernel Learning Assisted Synthesis Condition Exploration for Ternary Spinel
University of Toronto（多伦多大学）；Acceleration Consortium（加速联盟）；National Research Council Canada（加拿大国家研究委员会）；Clean Energy Innovation Research Center（清洁能源创新研究中心）
本研究利用核分类模型与全局SHAP分析，识别影响三元尖晶石Fe$_2$(ZnCo)O$_4$单相合成的关键实验因素，为无机合成提供数据驱动的设计框架。
2025-03-25 cond-mat.mtrl-sci cs.LG physics.chem-ph
Support Vector Machine Model for Currency Crisis Discrimination
Birla Institute of Technology Mesra, Patna Campus（比拉理工学院梅斯拉校区，巴特那分校）
支持向量机是一种基于结构风险最小化思想的强有力的分类技术。核函数的使用使得能够解决维数灾难。然而，对于某些问题，合适的核函数依赖于特定的数据集，因此没有很好的方法来选择核函数。本文利用支持向量机建立阿根廷货币危机的实证模型。通过在真实数据集上训练模型，开发了一种估计技术，该技术提供了合理准确的模型输出，并帮助政策制定者识别可能发生货币危机的情况。三阶和四阶多项式核通常是实现分类器高泛化性能的最佳选择。支持向量机具有算法简单、易于实现、能容忍维数灾难和良好的经验性能等特点，成熟度较高。令人满意的结果表明，货币危机的情况是适当的模拟，只有一小部分的数据库，可以作为一个评估工具，以及早期预警系统。据了解，这是支持向量机方法对阿根廷货币危机评估的第一项工作。
2014-03-03 cs.LG stat.ML
Quantum Kernel Methods: Convergence Theory, Separation Bounds and Applications to Marketing Analytics
Facultat Economia i Empresa, Universitat de Barcelona（巴塞罗那大学经济学院）；Department of Law and Economics, University Mediterranea of Reggio Calabria（雷焦卡拉布里亚地中海大学法律与经济学系）
本文提出了一种结合量子核支持向量机和量子特征提取模块的混合流程，在NISQ时代展示了量子核方法在消费者分类任务中的应用及性能优势。
2025-10-11 cs.LG quant-ph
A Parallel Way to Select the Parameters of SVM Based on the Ant Optimization Algorithm
SiChuan University（四川大学）
大量实验数据表明，支持向量机（SVM）算法在文本分类、手写体识别、图像分类、生物信息学等领域具有明显的优势。支持向量机的优化在一定程度上取决于其核函数和松弛变量，而松弛变量的决定因素是分类函数中的参数$δ$和c。也就是说，要优化SVM算法，这两个参数的优化起着巨大的作用。蚁群优化算法是一种模拟蚂蚁寻找最优路径的优化算法，在现有文献中，我们将蚁群优化算法与并行算法相结合来寻找最优参数。
2014-05-20 cs.LG cs.NE
A quantum extension of SVM-perf for training nonlinear SVMs in almost linear time
Tencent Quantum Laboratory（腾讯量子实验室）
我们提出了一种量子算法来训练非线性支持向量机（SVM）的特征空间学习，其中经典的输入数据被编码在量子态的振幅。基于经典的SVM-perf算法的Joachims，我们的算法有一个运行时间的规模线性的训练样本$m$（多对数因子）的数量，并适用于标准的软边缘$\ell_1$ -SVM模型。相比之下，虽然经典的SVM-perf在线性和非线性SVM上都表现出了令人印象深刻的性能，但它的效率仅在某些情况下得到保证：它仅针对线性SVM实现线性$m$缩放，其中分类在原始输入数据空间中执行，或者针对低秩或移位不变内核的特殊情况。类似地，先前提出的量子算法在$m$中具有超线性缩放，或者应用于不同的SVM模型，诸如硬边缘或最小二乘$\ell_2$-SVM，其缺乏软边缘$\ell_1$ -SVM模型的某些期望性质。我们经典地模拟我们的算法，并给出证据表明，它可以在实践中表现良好，而不仅仅是渐近大数据集。
2020-10-09 cs.LG quant-ph
Face Detection Using Adaboosted SVM-Based Component Classifier
Amirkabir University of Technology（阿米尔卡比尔理工大学）
最近，Adaboost已被广泛用于提高任何给定的学习算法的精度。在本文中，我们专注于设计一种算法，采用Adaboost与支持向量机相结合的弱成分分类器用于人脸检测任务。该算法不使用固定的核参数，而是自适应地调整支持向量机的核参数，从而得到一组有效的SVM-弱学习分类器。在不平衡分类问题上，与SVM相比，该组合具有更好的泛化能力。在CMU+MIT人脸数据库上，将本文提出的方法与其他常用的Adaboost方法（如决策树和神经网络）在分类精度方面进行了比较。结果表明，所提出的方法的性能总体上优于以前的Adaboost方法。
2008-12-13 cs.CV cs.LG
