Top-k Multiclass SVM
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Saarland University（萨尔大学）
类别模糊是一类分类问题中的典型问题。当类别难以区分时，允许k次猜测并根据前k个错误而不是标准的0 - 1损失来评估分类器是有意义的。我们提出top-k多类SVM作为优化top-k性能的直接方法。我们的推广著名的多类SVM是基于紧凸上界的前k错误。我们提出了一个快速优化方案的基础上有效的投影到前k单纯形，这是它自己的利益。在五个数据集上的实验表明，与各种基线相比，top-k准确度得到了一致的提高。
2015-11-20 cs.CV cs.LG stat.ML
An All-Pair Quantum SVM Approach for Big Data Multiclass Classification
Amity University（爱德大学）；Coventry University（考文垂大学）
在本文中，我们讨论了全对多类分类问题的量子方法。我们已经证明，用于大数据分类的多类支持向量机与量子全对方法可以在量子计算机上以对数运行时复杂度实现。在全对方法中，对于每对类都有一个二进制分类问题，因此对于k类问题有k（k-1）/2个分类器。与可以实现多项式运行时间复杂度的经典多类支持向量机相比，我们的方法在量子版本中表现出指数级的速度。量子全对算法可以与其他分类算法一起使用，与经典算法相比，可以实现加速增益。
2018-05-15 cs.LG quant-ph
A Single-Step Multiclass SVM based on Quantum Annealing for Remote Sensing Data Classification
Jülich Supercomputing Centre（于利希超级计算中心）；University of Iceland（冰岛大学）；RWTH Aachen University（亚琛工业大学）
近年来，量子退火器的发展使得实验演示成为可能，并且增加了对量子退火应用的研究兴趣，例如在量子机器学习中，特别是对于流行的量子SVM。已经提出了几个版本的量子SVM，量子退火已被证明是有效的。扩展到多类问题也已作出，其中包括多个二进制分类器的合奏。这项工作提出了一种新的量子SVM制定直接多类分类的基础上量子退火，称为量子多类SVM（QMSVM）。多类分类问题被制定为一个单一的二次无约束二进制优化（QUBO）问题解决量子退火。这项工作的主要目标是评估这种方法的可行性，准确性和时间性能。实验已经进行了D-Wave优势量子退火的遥感数据的分类问题。结果表明，尽管量子退火机的内存需求，QMSVM可以达到的精度，是标准的SVM方法相媲美，更重要的是，它的规模更有效地与训练样本的数量，导致几乎恒定的时间。这项工作展示了一种将经典计算和量子计算结合在一起的方法，用当前的硬件解决遥感中的实际问题。
2023-03-21 cs.CV cs.LG quant-ph
A Unified Framework for Multiclass and Multilabel Support Vector Machines
University of Florida（佛罗里达大学）
我们提出了一种新的多类和多标签支持向量机（SVMs）的综合制定。已经提出了许多方法来将原始的二进制SVM扩展到多类SVM。然而，它的直接扩展到一个统一的多标签SVM还没有得到广泛的研究。我们提出了一个简单的扩展支持向量机，以应付在一个统一的框架内的多类和多标签分类问题。我们的框架偏离了传统的软间隔SVM框架，其直接对立的结构。在我们的公式中，特定于类的权重向量（法向量）是通过最大化它们相对于原点的余量来学习的，并且当它们太接近原点时会惩罚模式。因此，每个权重向量选择相对于该原点的方向和幅度，以使其最好地表示属于其相应类别的模式。类之间的对立引入到制定通过最小化成对的权重向量的内积。我们还扩展了我们的框架，以应付通过标准再生核希尔伯特空间（RKHS）的非线性可分性。与原点密切相关的偏差需要在原始特征空间和Hilbert空间中适当处理。我们可以灵活地将约束纳入公式（如果它们更好地反映了底层几何结构），并提高分类器的性能。为此，解决了具体问题和技术性问题，如RKHS的起源。结果表明，多类和多标签分类问题的竞争力的分类。
2020-03-25 cs.LG stat.ML
SVM based Multiclass Classifier for Gait phase Classification using Shank IMU Sensor
PSG College of Technology（PSG技术学院）
本研究提出基于SVM多分类的步态相位分类方法，利用小腿IMU传感器数据识别七个步态相位，准确率约90.3%，可应用于外骨骼和假肢等领域。
2023-10-15 cs.LG cs.RO
Enhancing Pattern Classification in Support Vector Machines through Matrix Formulation
South Asian University（南亚大学）
针对传统向量型SVM在多类多标签场景下灵活性不足的问题，提出矩阵形式的SVM并采用对偶加速梯度下降法求解，在保证效果相当的同时提升了时间效率，为多标签学习模型发展奠定基础。
2023-07-18 cs.LG
Local Binary and Multiclass SVMs Trained on a Quantum Annealer
University of Trento（特伦托大学）；Jülich Supercomputing Centre（于利希超级计算中心）；University of Iceland（冰岛大学）；Trento Institute for Fundamental Physics and Applications（特伦托基础物理与应用研究所）；Alma Mater Studiorum - Università di Bologna（博洛尼亚大学）；AIDAS（艾达斯）
针对量子退火机训练的SVM受硬件连通性限制训练集规模的问题，结合FaLK-SVM局部方法提出量子训练的局部二分类与多分类SVM，经遥感真实数据集实验验证其有效性、可扩展性与大规模场景实用性。
2024-03-13 cs.ET cs.LG quant-ph
A novel multiclassSVM based framework to classify lithology from well logs: a real-world application
IIT Kharagpur（印度理工学院卡拉格普尔分校）
支持向量机（SVMs）已被公认为一个潜在的工具，监督分类分析在不同的研究领域。本质上，SVM是一个二元分类器。因此，在多类问题的情况下，问题被分成一系列的二元问题，这些二元问题由二元分类器来解决，最后分类结果按照一对一或一对所有策略进行组合。在本文中，已尝试分类岩性使用多类支持向量机为基础的框架，使用测井曲线作为预测变量。这里，根据地质专家建议的砂和页岩分数的相对值，将岩性分为四类，例如砂、泥质砂、砂质页岩和页岩。可用的数据集包括测井（伽马射线，中子孔隙度，密度，和P-声波）和类信息从四个紧密间隔的井从陆上油气田分为训练和测试集。我们使用了一个对所有的策略来结合多个二进制分类器的结果。报告的结果建立了多类SVM的优越性相比，其他分类器的分类精度。对核函数和相关参数的选择也进行了研究。可以设想，从本研究中取得的结果，所提出的框架的基础上多类SVM可以进一步用于解决分类问题。在未来的研究工作中，可以在框架中引入地震属性，从地震输入中对整个研究区域的岩性进行分类。
2016-12-02 cs.LG stat.AP stat.ML
Confusion Matrix Stability Bounds for Multiclass Classification
Aix-Marseille Université（艾克斯-马赛大学）；CNRS（法国国家科学研究中心）
在本文中，我们提供了新的理论结果的泛化性能的学习算法多类分类问题。我们工作的独创性在于，我们建议使用分类器的混淆矩阵作为其质量的衡量标准;我们的贡献是在试图建立和研究新的评估措施（例如ROC曲线）的统计特性的工作中。在我们提出的基于混淆的学习框架中，我们声称有针对性的目标是最小化混淆矩阵C的大小，通过其算子范数来测量||C||.我们推导出广义界的混淆矩阵（大小）的一致稳定性的扩展框架，适用于矩阵值损失的情况下。我们的研究是一个非常新的矩阵浓度不等式，推广McDiarmid不等式。作为我们的理论结果的相关性的说明，我们展示了两个SVM学习过程可以被证明是混淆友好的。据我们所知，本论文是第一个从理论角度研究混淆矩阵。
2012-05-24 cs.LG
Weston-Watkins Hinge Loss and Ordered Partitions
University of Michigan（密歇根大学）
支持向量机（SVM）的多类扩展已经以各种方式制定。最近对9种此类公式进行的经验比较[Dobalan等人，2016]推荐了Weston和Watkins（WW）提出的变体，尽管事实上WW铰链损失未相对于0-1损失进行校准。在这项工作中，我们引入了一种新的离散损失函数的多类分类，有序分区损失，并证明了相对于此损失的WW-hinge损失校准。我们还认为，有序分区损失是最大的离散损失满足这一属性的信息。最后，我们应用我们的理论来证明Dopelan等人的经验观察，即WW-SVM即使在大规模标签噪声下也能很好地工作，这对多类SVM来说是一个挑战。
2020-06-12 cs.LG math.OC stat.ML
A Unified Optimization Framework for Multiclass Classification with Structured Hyperplane Arrangements
Institute of Mathematics (IMAG), Universidad de Granada（格拉纳达大学数学研究所）；Dept. Industrial & Systems Engineering, University of Wisconsin-Madison（威斯康星大学麦迪逊分校工业与系统工程系）
本文提出一个基于超平面排列的统一优化框架，用于多类分类，支持核扩展、分类树等结构，并开发动态聚类启发式算法，在合成及UCI基准上表现优异。
2025-10-06 cs.LG math.OC
Adaptive Kernel Value Caching for SVM Training
National University of Singapore（新加坡国立大学）
支持向量机（SVM）可以解决结构化的多输出学习问题，如多标签分类、多类分类和向量回归等。SVM训练是昂贵的，特别是对于大型和高维数据集。支持向量机训练的瓶颈往往在于核值的计算。在许多现实世界的问题中，在训练期间的许多迭代中使用相同的内核值，这使得内核值的缓存可能有用。大多数现有的研究只是采用LRU（最近最少使用）替换策略来缓存内核值。然而，正如我们在本文中分析的，LRU策略通常在训练的最后阶段附近实现高命中率，但在整个训练过程中效果不佳。因此，我们提出了一种新的缓存策略，称为EFU（不经常使用），它取代了不经常使用的内核值，增强了LFU（最不经常使用）。实验结果表明，在高斯核函数的训练下，EFU的命中率通常比LRU高20%左右。为了进一步优化策略，我们提出了一种缓存策略称为HCST（混合缓存的SVM训练），它有一个新的机制，自动适应更好的缓存策略在不同的阶段的训练。我们已经将缓存策略集成到ThunderSVM中，ThunderSVM是众核处理器上的最新SVM库。实验结果表明，HCST在多标签分类、多类分类和回归等问题中自适应地实现了高命中率，且运行时开销很小。与现有的其他缓存策略相比，HCST的训练时间平均减少了20%.
2019-11-08 cs.LG cs.PF stat.ML
Wasserstein Distributionally Robust Multiclass Support Vector Machine
Georgia Institute of Technology（佐治亚理工学院）
针对数据特征与标签不确定、不平衡数据下一对多分布鲁棒分类器表现不佳的问题，提出基于Crammer-Singer损失的Wasserstein分布鲁棒多分类SVM，含核版本与投影次梯度优化算法，在不平衡数据及真实数据集上表现更优。
2024-09-12 cs.LG stat.ML
Accelerated Proximal Stochastic Dual Coordinate Ascent for Regularized Loss Minimization
The Hebrew University（希伯来大学）；Rutgers University（罗格斯大学）；Baidu Inc.（百度公司）
本文提出一种正则化损失最小化问题的加速随机对偶坐标上升方法，并通过内-外迭代流程提升其效率，改进了支持向量机、逻辑回归等关键机器学习优化问题的理论结果。
2013-10-08 cs.LG cs.NA math.NA
