Top-k Multiclass SVM
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);Saarland University(萨尔大学)
类别模糊是一类分类问题中的典型问题。当类别难以区分时,允许k次猜测并根据前k个错误而不是标准的0 - 1损失来评估分类器是有意义的。我们提出top-k多类SVM作为优化top-k性能的直接方法。我们的推广著名的多类SVM是基于紧凸上界的前k错误。我们提出了一个快速优化方案的基础上有效的投影到前k单纯形,这是它自己的利益。在五个数据集上的实验表明,与各种基线相比,top-k准确度得到了一致的提高。
2015-11-20 cs.CV cs.LG stat.ML
A Proximal Approach for Sparse Multiclass SVM
稀疏诱导惩罚是设计多类支持向量机的有效工具。在本文中,我们提出了一种凸优化方法,有效地和准确地解决多类SVM学习问题,涉及稀疏正则化和多类铰链损失制定的克莱默和辛格。我们提供两种算法:第一个处理作为惩罚项的铰链损失,而另一个处理通过约束强制铰链损失的情况。相关的凸优化问题可以有效地解决由于最近的原始-对偶邻近算法和epigraphical分裂技术提供的灵活性。在几个数据集上进行的实验表明,考虑铰链损失的精确表达而不是平滑近似的兴趣。所提出的算法的效率w.r.t.还通过比较执行时间来评估几种最先进的方法。
2015-12-14 cs.LG
Multiclass Optimal Classification Trees with SVM-splits
Universidad de Granada(格拉纳达大学);Universidad de Sevilla(塞维利亚大学)
在本文中,我们提出了一种新的数学优化为基础的方法来构建树形分类规则的多类实例。我们的方法包括建立分类树,其中,除了叶节点,标签暂时离开,并分为两个类的SVM分离超平面的装置。我们提供了一个混合的非线性规划制定的问题,并报告了一个扩展电池的计算实验的结果,以评估我们的建议相对于其他基准分类方法的性能。
2021-11-16 cs.LG math.OC
Performance Analysis of Multiclass Support Vector Machine Classification for Diagnosis of Coronary Heart Diseases
Sebelas Maret University(塞贝拉斯·马雷特大学);Gadjah Mada University(加查马达大学)
冠心病的自动诊断有助于医生做出诊断决策。冠心病有一定的类型和程度。参考UCI Repository数据集,它分为4种类型或级别,标记为1-4(低,中,高和严重)。诊断模型可以用多类分类方法进行分析。多类分类方法之一,其中之一是一个支持向量机(SVM)。支持向量机的使用是由于支持向量机在二进制分类中的强大性能。本研究研究应用多类性能分类支持向量机诊断冠心病的类型或程度。冠状动脉心脏病患者数据取自UCI Repository。本研究的阶段是预处理,包括对数据进行规范化处理,将数据分为数据训练和数据测试。多类分类和性能分析的下一阶段。本研究使用多分类支持向量机演算法,分别为:二元树支持向量机(BTSVM)、一对一(OAO)、一对全(OAA)、决策直接无环图(DDAG)及穷举输出错误校正码(ECOC)。使用的性能参数是召回率,精度,F-测量和整体准确度。
2015-11-16 cs.LG
A Single-Step Multiclass SVM based on Quantum Annealing for Remote Sensing Data Classification
Jülich Supercomputing Centre(于利希超级计算中心);University of Iceland(冰岛大学);RWTH Aachen University(亚琛工业大学)
近年来,量子退火器的发展使得实验演示成为可能,并且增加了对量子退火应用的研究兴趣,例如在量子机器学习中,特别是对于流行的量子SVM。已经提出了几个版本的量子SVM,量子退火已被证明是有效的。扩展到多类问题也已作出,其中包括多个二进制分类器的合奏。这项工作提出了一种新的量子SVM制定直接多类分类的基础上量子退火,称为量子多类SVM(QMSVM)。多类分类问题被制定为一个单一的二次无约束二进制优化(QUBO)问题解决量子退火。这项工作的主要目标是评估这种方法的可行性,准确性和时间性能。实验已经进行了D-Wave优势量子退火的遥感数据的分类问题。结果表明,尽管量子退火机的内存需求,QMSVM可以达到的精度,是标准的SVM方法相媲美,更重要的是,它的规模更有效地与训练样本的数量,导致几乎恒定的时间。这项工作展示了一种将经典计算和量子计算结合在一起的方法,用当前的硬件解决遥感中的实际问题。
2023-03-21 cs.CV cs.LG quant-ph
An All-Pair Quantum SVM Approach for Big Data Multiclass Classification
Amity University(爱德大学);Coventry University(考文垂大学)
在本文中,我们讨论了全对多类分类问题的量子方法。我们已经证明,用于大数据分类的多类支持向量机与量子全对方法可以在量子计算机上以对数运行时复杂度实现。在全对方法中,对于每对类都有一个二进制分类问题,因此对于k类问题有k(k-1)/2个分类器。与可以实现多项式运行时间复杂度的经典多类支持向量机相比,我们的方法在量子版本中表现出指数级的速度。量子全对算法可以与其他分类算法一起使用,与经典算法相比,可以实现加速增益。
2018-05-15 cs.LG quant-ph
Weston-Watkins Hinge Loss and Ordered Partitions
University of Michigan(密歇根大学)
支持向量机(SVM)的多类扩展已经以各种方式制定。最近对9种此类公式进行的经验比较[Dobalan等人,2016]推荐了Weston和Watkins(WW)提出的变体,尽管事实上WW铰链损失未相对于0-1损失进行校准。在这项工作中,我们引入了一种新的离散损失函数的多类分类,有序分区损失,并证明了相对于此损失的WW-hinge损失校准。我们还认为,有序分区损失是最大的离散损失满足这一属性的信息。最后,我们应用我们的理论来证明Dopelan等人的经验观察,即WW-SVM即使在大规模标签噪声下也能很好地工作,这对多类SVM来说是一个挑战。
2020-06-12 cs.LG math.OC stat.ML
SVM based Multiclass Classifier for Gait phase Classification using Shank IMU Sensor
PSG College of Technology(PSG技术学院)
本研究提出基于SVM多分类的步态相位分类方法,利用小腿IMU传感器数据识别七个步态相位,准确率约90.3%,可应用于外骨骼和假肢等领域。
2023-10-15 cs.LG cs.RO
Local Binary and Multiclass SVMs Trained on a Quantum Annealer
University of Trento(特伦托大学);Jülich Supercomputing Centre(于利希超级计算中心);University of Iceland(冰岛大学);Trento Institute for Fundamental Physics and Applications(特伦托基础物理与应用研究所);Alma Mater Studiorum - Università di Bologna(博洛尼亚大学);AIDAS(艾达斯)
针对量子退火机训练的SVM受硬件连通性限制训练集规模的问题,结合FaLK-SVM局部方法提出量子训练的局部二分类与多分类SVM,经遥感真实数据集实验验证其有效性、可扩展性与大规模场景实用性。
2024-03-13 cs.ET cs.LG quant-ph
Adaptive Kernel Value Caching for SVM Training
National University of Singapore(新加坡国立大学)
支持向量机(SVM)可以解决结构化的多输出学习问题,如多标签分类、多类分类和向量回归等。SVM训练是昂贵的,特别是对于大型和高维数据集。支持向量机训练的瓶颈往往在于核值的计算。在许多现实世界的问题中,在训练期间的许多迭代中使用相同的内核值,这使得内核值的缓存可能有用。大多数现有的研究只是采用LRU(最近最少使用)替换策略来缓存内核值。然而,正如我们在本文中分析的,LRU策略通常在训练的最后阶段附近实现高命中率,但在整个训练过程中效果不佳。因此,我们提出了一种新的缓存策略,称为EFU(不经常使用),它取代了不经常使用的内核值,增强了LFU(最不经常使用)。实验结果表明,在高斯核函数的训练下,EFU的命中率通常比LRU高20%左右。为了进一步优化策略,我们提出了一种缓存策略称为HCST(混合缓存的SVM训练),它有一个新的机制,自动适应更好的缓存策略在不同的阶段的训练。我们已经将缓存策略集成到ThunderSVM中,ThunderSVM是众核处理器上的最新SVM库。实验结果表明,HCST在多标签分类、多类分类和回归等问题中自适应地实现了高命中率,且运行时开销很小。与现有的其他缓存策略相比,HCST的训练时间平均减少了20%.
2019-11-08 cs.LG cs.PF stat.ML
Enhancing Pattern Classification in Support Vector Machines through Matrix Formulation
South Asian University(南亚大学)
针对传统向量型SVM在多类多标签场景下灵活性不足的问题,提出矩阵形式的SVM并采用对偶加速梯度下降法求解,在保证效果相当的同时提升了时间效率,为多标签学习模型发展奠定基础。
2023-07-18 cs.LG
A Unified Optimization Framework for Multiclass Classification with Structured Hyperplane Arrangements
Institute of Mathematics (IMAG), Universidad de Granada(格拉纳达大学数学研究所);Dept. Industrial & Systems Engineering, University of Wisconsin-Madison(威斯康星大学麦迪逊分校工业与系统工程系)
本文提出一个基于超平面排列的统一优化框架,用于多类分类,支持核扩展、分类树等结构,并开发动态聚类启发式算法,在合成及UCI基准上表现优异。
2025-10-06 cs.LG math.OC
Accelerated Proximal Stochastic Dual Coordinate Ascent for Regularized Loss Minimization
The Hebrew University(希伯来大学);Rutgers University(罗格斯大学);Baidu Inc.(百度公司)
本文提出一种正则化损失最小化问题的加速随机对偶坐标上升方法,并通过内-外迭代流程提升其效率,改进了支持向量机、逻辑回归等关键机器学习优化问题的理论结果。
2013-10-08 cs.LG cs.NA math.NA