Quantum-enhanced least-square support vector machine: simplified quantum algorithm and sparse solutions
量子算法可以在不同方面增强机器学习。在这里，我们研究量子增强最小二乘支持向量机（LS-SVM）。首先，引入一种新的量子算法，使用连续变量来辅助矩阵求逆，以简化量子LS-SVM算法，同时保持指数加速。其次，我们提出了一个混合量子经典版本的稀疏解的LS-SVM。通过将一个大的数据集编码成一个量子态，可以使用量子矩阵工具箱提取一个小得多的转换后的数据集，这是在经典的SVM进一步处理。我们还将核方法结合到上述量子算法中，该算法使用量子比特的指数增长希尔伯特空间和量子特征映射的连续变量的无限维。量子LS-SVM利用量子特性来探索SVM的重要主题，如稀疏性和核方法，并强调其量子优势，从加速到解决经典困难机器学习任务的潜在能力。
2019-08-05 quant-ph stat.ML
Analytic Feature Selection for Support Vector Machines
San Francisco State University（旧金山州立大学）
支持向量机（SVM）依靠数据集的固有几何结构来对训练数据进行分类。正因为如此，我们相信支持向量机是一个很好的候选人，以指导发展的分析特征选择算法，而不是更常用的探试法。我们提出了一个基于过滤器的特征选择算法的基础上的固有几何特征集。通过观察，我们确定了最佳和次佳特征集之间不同的六个几何属性，并且与分类器性能具有统计学显著相关性。我们的算法是基于逻辑和线性回归模型，使用这六个几何属性作为预测变量。该算法在高维文本数据集上取得了优异的效果，其特征可以组织成少数特征类型;例如，一元组，二元组或语义结构特征。我们相信该算法是解决线性支持向量机特征选择问题的一种新颖有效的方法。
2013-04-20 cs.LG stat.ML
A Novel Orthogonal Direction Mesh Adaptive Direct Search Approach for SVM Hyperparameter Tuning
École de Technologie Supérieure - Université du Québec（魁北克大学高等技术学院）；University of Santa Catarina（圣卡塔琳娜联邦大学）；Pontifícia Universidade Católica do Paraná（巴拉那天主教大学）
在本文中，我们提出了一种黑盒优化方法，称为确定性网格自适应直接搜索（MADS）算法与正交方向（Ortho-MADS）的超参数选择的支持向量机与高斯核。与文献中利用数据属性或试图最小化验证数据集在（C，gamma）第一象限上的准确性的大多数方法不同，Ortho-MADS提供了收敛性证明。我们提出的MADS，其次是Ortho-MADS，动态停止标准定义的MADS网格大小和两个不同的搜索策略（Nelder-Mead和可变邻域搜索），有助于竞争的收敛速度，以及从不希望的局部极小值逃脱的机制。我们已经研究了具有高斯核的支持向量机的超参数的实际选择，即，在几个基准数据集上正确选择超参数gamma（带宽）和C（权衡）。实验结果表明，所提出的超参数调整方法始终找到可比或更好的解决方案，当使用一个共同的配置，比其他方法。我们还评估了Ortho-MADS的Nelder-Mead搜索策略和可变邻域搜索策略的精度和函数评估的数量，使用网格大小作为停止标准，我们已经达到了其他超参数优化方法无法达到的精度。
2019-04-26 cs.LG stat.ML
Support Vector Machine Classifier with Rescaled Huberized Pinball Loss
本文提出了一种基于Huber化针球损失的支持向量机模型RHPSVM，通过非凸优化方法提升分类性能，尤其在处理高维小样本数据时表现优异。
2025-11-27 cs.LG stat.ML
Support-vector-machine with Bayesian optimization for lithofacies classification using elastic properties
Delft University of Technology（代尔夫特理工大学）；Summit Exploration and Production Limited（萨米特勘探与生产有限公司）
我们研究了贝叶斯优化（BO）的适用性，以优化超参数与支持向量机（SVM），以分类相使用来自井数据在东中央地堑，UKCS的弹性属性。现场数据集的交会图产品似乎成功地与非线性边界进行了分类。虽然在BO方案中有一些因素需要预先确定，例如迭代次数，以处理预测精度和计算成本之间的权衡，但这种方法有效地减少了与SVM架构相关的可能的人为主观性。我们提出的工作流程可能是有益的资源勘探和开发方面的地下客观技术评价。
2022-03-14 cs.LG physics.geo-ph
Feature Selection By KDDA For SVM-Based MultiView Face Recognition
Amirkabir University of Technology（阿米尔卡比尔理工大学）
处理高维数据的人脸识别等应用需要一种映射技术，该技术引入了具有增强的区分能力的低维特征的表示和能够对这些复杂特征进行分类的适当分类器。传统的线性判别分析方法的最优性准则与所得到的特征表示的分类能力没有直接关系。此外，他们的分类精度受到“小样本量”的问题，这是经常遇到的FR任务。在这篇简短的论文中，我们结合了非线性核映射的数据称为KDDA与支持向量机分类器，以有效和成本效益的方式来处理这两个缺点。这里提出的方法进行比较，在分类精度方面，其他常用的FR方法UMIST人脸数据库。结果表明，该方法的性能总体上优于传统的FR方法，如特征脸，费舍尔脸，D-LDA方法和传统的线性分类器。
2008-12-13 cs.CV cs.LG
The Stochastic Gradient Descent for the Primal L1-SVM Optimization Revisited
Aristotle University of Thessaloniki（塞萨洛尼基亚里士多德大学）
我们重新考虑随机（次）梯度方法的无约束原始L1-SVM优化。我们观察到，如果学习率与步数成反比，即，任何训练模式被提供给算法的次数，更新规则可以被转换成经典的具有容限的感知器中的一个，其中容限阈值随着步骤的数目线性地增加。此外，如果我们通过可能随机排列的训练集重复循环，则通过权重向量的扩展自然定义的对偶变量作为其上产生裕度误差的模式的线性组合，在每个完整循环结束时自动服从对偶优化中产生的框约束。这使得双拉格朗日运行下界的主要目标趋于它在最佳状态，并提供了一个上限的相对精度实现，这提供了一个有意义的停止标准。此外，我们提出了一种机制，重复呈现相同的模式，以保持上述性质的算法。最后，我们给出了实验证据，沿着这些线路构造的算法表现出显着改善的性能。
2014-01-25 cs.AI cs.LG
Asymptotic Properties of Support Vector Machines in High-Dimension, Low-Sample-Size Settings under a Spiked Model
本文针对尖峰模型下高维低样本量场景，发现现有SVM理论失效，提出尖峰校正SVM（SC-SVM），证明其一致性并验证性能。
2026-10-01 cs.LG stat.ML
Support vector machine and its bias correction in high-dimension, low-sample-size settings
University of Tsukuba（筑波大学）
在本文中，我们考虑的支持向量机（SVM）在高维，低样本量（HDLSS）设置的渐近性质。我们表明，硬利润率线性支持向量机具有一致性的属性，在某些严重的条件下，当维数趋于无穷大时，误分类率趋于零。我们发现，支持向量机是非常有偏见的HDLSS设置和它的性能直接受到影响的偏见。为了克服这些困难，我们提出了一个偏差校正支持向量机（BC-SVM）。我们表明，BC-SVM在HDLSS设置提供了更好的性能。我们还讨论了支持向量机在多类HDLSS设置。最后，我们在实际数据分析中检查分类器的性能。
2017-02-26 cs.LG stat.ML
Elastic-Net Multiple Kernel Learning: Combining Multiple Data Sources for Prediction
Centre for Artificial Intelligence, Department of Computer Science, University College London, UK（人工智能中心、计算机科学系、伦敦大学学院、英国）；Hawkes Institute, University College London, UK（霍克斯研究所、伦敦大学学院、英国）；Department of Computer Science, University College London, UK（计算机科学系、伦敦大学学院、英国）；GIGA - CRC Human Imaging, University of Liège, Belgium（GIGA- CRC 人类成像、列日大学、比利时）
本文提出了一种弹性网多核学习方法，通过结合多个数据源进行预测，提升了模型的可解释性和性能。
2025-12-12 cs.LG
Examining the Classification Accuracy of TSVMs with ?Feature Selection in Comparison with the GLAD Algorithm
The University of Nottingham（诺丁汉大学）
基因表达数据集用于分类和预测患者诊断类别。我们知道，获得基因表达标记的样本是极其困难和昂贵的。此外，当使用支持向量机（SVM）算法标记的数据（训练样本）不足时，常规的监督方法不能正常工作。因此，在本文中，我们提出了Transductive支持向量机（TSVM）的半监督学习算法，学习与标记的样本数据和未标记的样本进行分类的微阵列数据。为了删除多余的基因和样本，我们使用了一种称为递归特征消除（RFE）的特征选择方法，该方法旨在提高分类输出并避免局部优化问题。我们研究了TSVM-RFE算法的分类预测精度与跨数据集遗传学习（GLAD）算法相比，因为两者都是半监督学习方法。比较这两种方法，我们发现TSVM-RFE优于使用RFE和GLAD的SVM。
2013-07-04 cs.CE cs.LG
Span error bound for weighted SVM with applications in hyperparameter selection
Aristotle University of Thessaloniki（塞萨洛尼基亚里士多德大学）
加权支持向量机（或模糊支持向量机）是最广泛使用的支持向量机的变种，其有效性的使用实例的权重。正确选择实例权重可以提高泛化性能。在这项工作中，我们扩展了跨度误差界理论加权SVM，我们引入了有效的超参数选择方法的加权SVM算法。所提出的工作的意义是，使应用的跨度界和跨度规则与加权支持向量机。跨度界限是可以使用单个训练的SVM模型计算的留一法误差的上限。这很重要，因为留一误差是测试误差的几乎无偏估计量。类似地，跨度规则给出了留一法误差的实际值。因此，可以应用跨度界和跨度规则作为计算轻量的替代方案的留一法超参数选择过程。本文的主要理论贡献是：（a）证明了加权支持向量机中支持向量跨度存在的充要条件;（b）证明了跨度界和跨度规则在加权支持向量机中的推广。我们实验评估的跨度界和跨度规则的超参数选择，我们比较它们与其他方法，适用于加权SVM：$K$折交叉验证和$ξ-α$界。在14个基准数据集和具有重要性分数的数据集上的实验表明：（a）加权SVM的跨度存在条件几乎总是满足的;（b）跨度规则是加权SVM超参数选择的最有效方法;（c）跨度规则在均方误差意义下是测试误差的最佳预测器;以及（d）跨度规则是有效的，并且对于某些问题，它可以比$K$ -折叠交叉验证更快地计算。
2018-09-17 cs.LG stat.ML
A PARTAN-Accelerated Frank-Wolfe Algorithm for Large-Scale SVM Classification
Federico Santa María University（费德里科·圣玛丽亚大学）；KU Leuven（荷语鲁汶大学）
Frank-Wolfe算法最近重新获得了机器学习社区的关注。它们坚实的理论性质和稀疏性保证使它们成为该领域广泛问题的合适选择。此外，存在几种基本程序的变体，以提高其理论特性和实际性能。在本文中，我们调查的应用程序中的一些技术，机器学习，特别是集中在并行切线（PARTAN）的FW算法的变种，以前没有建议或研究这类问题。我们提供的实验都在一个标准的设置和使用随机加速技术，表明所考虑的算法在几个中型和大型的SVM分类基准数据集上取得了可喜的成果。
2015-02-05 cs.LG math.OC stat.ML
A quantum extension of SVM-perf for training nonlinear SVMs in almost linear time
Tencent Quantum Laboratory（腾讯量子实验室）
我们提出了一种量子算法来训练非线性支持向量机（SVM）的特征空间学习，其中经典的输入数据被编码在量子态的振幅。基于经典的SVM-perf算法的Joachims，我们的算法有一个运行时间的规模线性的训练样本$m$（多对数因子）的数量，并适用于标准的软边缘$\ell_1$ -SVM模型。相比之下，虽然经典的SVM-perf在线性和非线性SVM上都表现出了令人印象深刻的性能，但它的效率仅在某些情况下得到保证：它仅针对线性SVM实现线性$m$缩放，其中分类在原始输入数据空间中执行，或者针对低秩或移位不变内核的特殊情况。类似地，先前提出的量子算法在$m$中具有超线性缩放，或者应用于不同的SVM模型，诸如硬边缘或最小二乘$\ell_2$-SVM，其缺乏软边缘$\ell_1$ -SVM模型的某些期望性质。我们经典地模拟我们的算法，并给出证据表明，它可以在实践中表现良好，而不仅仅是渐近大数据集。
2020-10-09 cs.LG quant-ph
On Coresets for Support Vector Machines
University of Haifa（海法大学）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
针对大数据和流媒体应用中的大规模支持向量机（SVM）训练问题，提出了一种高效的核心集构造算法。核心集是原始数据点的一个小的、有代表性的子集，使得在核心集上训练的模型与在原始数据集上训练的模型具有可证明的竞争力。由于核心集的大小通常比原始集小得多，因此我们的预处理然后训练方案在训练SVM模型时有可能导致显着的加速。我们证明了上下限的coreset的大小需要获得小的数据摘要的SVM问题。作为一个必然的结果，我们表明，我们的算法可以用来扩展任何现成的SVM求解器的适用性流，分布式和动态数据设置。我们评估我们的算法在现实世界和合成数据集的性能。我们的实验结果证实了我们的算法的理论性能良好，并证明了其在加速SVM训练的实际有效性。
2020-02-15 cs.LG stat.ML
Dual coordinate solvers for large-scale structural SVMs
UC Irvine（加州大学欧文分校）
本文描述了一种从大型核外训练数据集训练线性SVM（包括二进制SVM，SVM回归和结构SVM）的方法。目前的大规模学习策略分为两个阵营：解决有限数据集学习问题的批处理算法，以及可以处理核心外数据集的在线算法。前者通常需要足够小的数据集以适合内存。后者通常被称为随机优化问题;这种算法具有很强的理论特性，但通常需要手动调整退火时间表，并且对于具有大输出空间的问题（例如，结构SVM）。我们讨论了一个算法的“中间”制度，其中的数据太大，适合在内存中，但积极的约束（支持向量）是足够小，留在内存中。在这种情况下，人们可以设计出相当有效的学习算法，它们与批处理算法一样稳定，但能够处理核外数据集。我们已经开发了这样一个基于MATLAB的求解器，并用它来训练一系列识别系统，用于关节姿态估计，面部分析，3D对象识别和动作分类，所有这些都具有公开的代码。这篇文章详细描述了求解器。
2014-06-13 cs.CV cs.LG
An Autotuning-based Optimization Framework for Mixed-kernel SVM Classifications in Smart Pixel Datasets and Heterojunction Transistors
Argonne National Laboratory（阿贡国家实验室）；Northwestern University（西北大学）
本文提出一种基于自动调参的优化框架，用于量化混合核SVM超参数的最优范围，并在高能物理智能像素数据集和混合核异质结晶体管应用中分别取得94.6%和97.2%的高分类精度。
2024-09-26 cs.LG cs.PF
Polarization Measurement of High Dimensional Social Media Messages With Support Vector Machine Algorithm Using Mapreduce
TÜBİTAK – BİLGEM – SİBER GÜVENLİK ENSTİTÜSÜ（土耳其科学技术研究委员会信息与信息安全研究所）
提出了一种基于分布式MapReduce技术的支持向量机（SVM）训练算法。大量的研究表明，在机器学习领域的分类算法中，支持向量机具有最好的泛化性能。而且，SVM分类器模型不受特征相关性的影响。但SVM在训练阶段使用二次优化技术。将SVM算法转化为二次优化问题。二次优化问题具有$O(m^3)$时间复杂度和$O(m^2)$空间复杂度，其中m是训练集的大小。支持向量机训练的计算时间是训练实例数的二次方。因此，SVM不是一种适合大规模数据集分类的分类算法。为了解决这个训练问题，我们开发了一种新的分布式MapReduce方法。相应地，（i）在分布式数据集中单独训练SVM算法;（ii）然后合并每个训练节点中的分类器模型的所有支持向量;以及（iii）重复这两个步骤，直到分类器模型收敛到最优分类器函数。在实现阶段，大规模的社会媒体数据集在TFxIDF矩阵。该矩阵用于情感分析，得到极化值。分类方法建立了两类和三类模型。每个分类模型的混淆矩阵在表中呈现。社交媒体消息语料库包括土耳其108所公立大学和66所私立大学的消息。Twitter被用作语料库的来源。Twitter用户消息使用Twitter Streaming API收集。结果以图形和表格显示。
2015-03-11 cs.CL cs.LG
The Responsibility Weighted Mahalanobis Kernel for Semi-Supervised Training of Support Vector Machines for Classification
University of Kassel（卡塞尔大学）
支持向量机（SVM）中的核函数需要评估输入样本的相似性，以便例如对这些样本进行分类。除了诸如高斯（即，径向基函数（RBF）或多项式核，也有特定的核被定制为考虑数据中的结构以进行相似性评估。在本文中，我们将通过概率混合密度模型来捕获数据中的结构，例如在实值输入空间的情况下的高斯混合。从这些模型中固有包含的距离度量，例如，马氏距离的高斯混合的情况下，我们推导出一个新的核，责任加权马氏（RWM）核。基本上，该内核强调模型组件的影响，假设任何两个被比较的样本都来自模型组件（即“负责的”模型组件）。我们将看到，在许多部分标记数据可用的应用中，该内核优于RBF内核和其他捕获数据结构的内核（例如Laplacian SVM中的KNN内核），即，用于SVM的半监督训练。其他关键优点是RWM内核可以很容易地与标准SVM实现和训练算法（如顺序最小优化）一起使用，并且可以很容易地将C-SVM中RBF内核的参数化方法转移到这个新内核中。RWM内核的性能证明了20个基准数据集和训练数据中标记样本的百分比不断增加。
2015-02-16 cs.LG stat.ML
Unsupervised Real Time Prediction of Faults Using the Support Vector Machine
为了提高支持向量机（SVM）分类器的分类精度，采用序贯最小优化（SMO）训练算法对油气设备数据进行故障和正常分类。最近的应用程序的故障分析利用SVM技术，而不实施SMO训练算法，而在我们的研究中，我们表明，所提出的解决方案可以更好地执行时，使用SMO训练算法。此外，我们实现了集成方法，这是一个混合的基于规则和神经网络分类器，以提高性能的SVM分类器（SMO训练算法）。优化研究是由于分类器在处理不平衡数据集时性能不佳。通过使用堆叠集成方法将所选择的最佳性能分类器与SVM分类器（具有SMO训练算法）结合在一起，以创建可以处理不平衡数据问题的高效集成预测模型。该预测模型的分类性能明显优于支持向量机与SMO训练算法和许多其他传统的分类器。
2020-12-30 cs.LG
Cost-sensitive probabilistic predictions for support vector machines
University Carlos III of Madrid（马德里卡洛斯三世大学）；Instituto de Matemáticas de la Universidad de Sevilla（塞维利亚大学数学研究所）；University of Sevilla（塞维利亚大学）；University of Cádiz（加的斯大学）
提出一种代价敏感的SVM概率输出方法，结合集成学习与自助法估计，有效处理不平衡数据，提升分类性能。
2023-10-09 cs.LG stat.ML
Support Vector Machines on Noisy Intermediate Scale Quantum Computers
Ericsson Research（爱立信研究院）
支持向量机算法被认为是在无线电接入网络中实现自动化的关键。具体而言，它们在基于设备和网络级指标预测视频流的用户体验质量方面至关重要。量子支持向量机是经典支持向量机算法的量子模拟，它利用量子计算机的特性以指数方式加速算法。在这项工作中，我们推导出一个优化的预处理单元的量子SVM，允许分类任何二维数据集是线性可分离的。我们还提供了一种核矩阵生成电路的结果读出方法，以避免量子层析成像，这反过来又降低了量子电路深度。我们还推导出一个量子SVM系统的基础上优化的HHL量子电路与减少电路深度。
2019-09-26 cs.ET cs.LG quant-ph
On the proliferation of support vectors in high dimensions
Columbia University（哥伦比亚大学）；Georgia Institute of Technology（佐治亚理工学院）
支持向量机（SVM）是一种成熟的分类方法，其名称是指特定的训练样本，称为支持向量，其确定最大间隔分离超平面。当支持向量的数量与训练样本的数量相比很小时，SVM分类器具有良好的泛化性能。然而，最近的研究表明，在足够高维的线性分类问题中，SVM可以很好地推广，尽管所有训练样本都是支持向量的支持向量激增。在本文中，我们为支持向量增殖现象确定了新的确定性等价物，并使用它们来（1）大大拓宽了在高维环境中发生这种现象的条件，以及（2）证明了一个几乎匹配的逆结果。
2022-06-14 cs.LG math.ST stat.ML
Open-Set Support Vector Machines
University of Campinas（坎皮纳斯大学）；University of Colorado Colorado Springs（科罗拉多大学科罗拉多斯普林斯分校）
通常，在处理现实世界的识别问题时，我们不需要，也不可能拥有在操作测试期间可能出现的整个可能类集合的知识。在这种情况下，我们需要考虑能够处理“未知”的鲁棒分类方法，并适当地拒绝属于训练期间从未见过的类别的样本。尽管如此，迄今为止现有的分类器大多是为封闭集情景开发的，即，分类设置，其中假设所有测试样本属于训练分类器的类别之一。然而，在开集场景中，测试样本可以不属于任何已知类，并且分类器必须通过将其分类为未知来正确拒绝它。在这项工作中，我们扩展了著名的支持向量机（SVM）分类器，并介绍了开集支持向量机（OSSVM），这是适合于识别开集设置。OSSVM平衡了经验风险和未知风险，并确保测试样本被分类为已知（已知类别之一）的特征空间区域始终有界，从而确保未知风险有限。在这项工作中，我们还强调了与开集场景相关的SVM分类器的属性，并提供了RBF SVM具有有界开空间风险的充分必要条件。
2022-02-21 cs.LG stat.ML
Advancing Supervised Learning with the Wave Loss Function: A Robust and Smooth Approach
Indian Institute of Technology Indore（印度理工学院印多尔分校）
提出名为wave loss的非对称鲁棒平滑损失函数，结合SVM和TSVM构建Wave-SVM与Wave-TSVM模型，并首次用Adam算法求解SVM，在多数据集上取得更优预测精度。
2024-10-13 cs.LG
Equipment Failure Analysis for Oil and Gas Industry with an Ensemble Predictive Model
School of Computer Science, University of Nottingham Malaysia Campus（诺丁汉大学马来西亚校区计算机科学学院）；Tentacle Technologies（触手科技公司）
针对油气设备故障分类中不平衡数据导致分类器性能不佳的问题，提出结合SMO训练算法的SVM与混合规则-神经网络分类器的堆叠集成预测模型，分类性能显著优于传统分类器。
2020-12-30 cs.LG
The Signed Distance Function: A New Tool for Binary Classification
从几何角度来看，大多数非线性二进制分类算法，包括支持向量机（SVM）和径向基函数网络（RBFN）分类器的最新版本，都是基于重构指示函数的思想。相反，我们建议使用符号距离函数（SDF）的重建作为二进制分类的基础。我们讨论的符号距离函数，可以利用分类算法的属性。我们开发了简单的版本，这样的分类器和测试他们在几个线性和非线性问题。在线性测试中，新算法的准确性超过了标准SVM方法，平均错误分类减少了50%。新方法的性能也匹配或超过标准方法的几个非线性问题，包括基准诊断微阵列数据集的分类。
2005-11-30 cs.CG cs.LG
