Local Support Vector Machines:Formulation and Analysis
School of Computational Science & Engineering, Georgia Tech（佐治亚理工学院计算科学与工程学院）
我们提供了一个公式的本地支持向量机（LSVMs），概括了以前的配方，并带来了显式连接到本地多项式学习中使用的非参数估计文献。我们研究了最简单的LSVM类型，称为局部线性支持向量机（LLSVM）。对于第一次，我们建立的条件下，LLSVM贝叶斯一致的预测在每个测试点$x_0$。我们还建立了LLSVM的局部风险在每个点$x_0$收敛到期望局部风险最小值的速率。使用稳定性参数，我们建立了LLSVM的泛化误差界。
2013-09-14 cs.AI cs.LG stat.ML
Regularization approaches for support vector machines with applications to biomedical data
Harvard-MIT Health Sciences and Technology（哈佛-麻省理工学院健康科学与技术）；Massachusetts Institute of Technology（麻省理工学院）
支持向量机是一种基于统计学习理论的分类机器学习工具。给定一组训练数据，SVM找到一个超平面，该超平面将两个不同类别的数据点分开最大距离。虽然SVM的标准形式使用L2范数正则化，但其他正则化方法对于生物医学数据集特别有吸引力，例如，分类器系数值的稀疏性和可解释性是高度期望的特征。因此，在本文中，我们考虑了不同类型的SVM正则化方法，并在合成和真实生物医学数据集上进行了探索。
2017-10-29 cs.AI cs.LG stat.ML
Random Machines Regression Approach: an ensemble support vector regression model with free kernel choice
Federal University of Bahia（巴伊亚联邦大学）；Federal Institute of Pernambuco（伯南布哥联邦学院）；University of São Paulo（圣保罗大学）
机器学习技术总是以减少广义预测误差为目标。为了减少它，集成方法提出了一个很好的方法，结合几个模型，结果在一个更大的预测能力。随机机已经被证明是一种强大的技术，即：高预测能力，分类任务，在这篇文章中，我们提出了一个过程，使用袋加权支持向量模型回归问题。仿真研究是在人工数据集和真实数据基准上实现的。结果表明，回归随机机具有较低的泛化误差，在调整过程中无需选择最佳的核函数，具有良好的性能。
2020-03-27 cs.LG stat.AP stat.ML
Universal Consistency and Robustness of Localized Support Vector Machines
潜在地用于发现机器学习中的模式的大量可用数据对于基于内核的算法在运行时间和存储容量方面是一个挑战。地方办法可能有助于缓解这些问题。从统计学的角度来看，局部方法还允许以不同的方式处理数据中的不同结构。本文分析了基于局部核的非参数统计机器学习方法的性质，特别是支持向量机（SVM）和接近它们的方法。我们将证明局部学习的核方法是普适的。此外，我们给出了一个上限的maxbias，以显示所提出的方法的统计鲁棒性。
2017-03-19 stat.ML
Asymptotic Normality of Support Vector Machine Variants and Other Regularized Kernel Methods
在非参数分类和回归问题中，正则化核方法，特别是支持向量机，在理论和应用统计学中引起了广泛的关注。在抽象意义上，正则化核方法（这里简称为SVM）可以被看作是（通常是无限维）再生核希尔伯特空间中参数的正则化M-估计。对于光滑损失函数，证明了估计量之间的差异，即经验支持向量机和理论支持向量机是渐近正态的速率$\sqrt{n}$。也就是说，标准化差分在再生核希尔伯特空间中弱收敛到高斯过程。如在实际应用中常见的，正则化参数的选择可以取决于数据。证明是通过应用的功能δ-方法，并通过显示SVM功能是适当的阿达玛微分。
2011-04-12 stat.ML
Solving Support Vector Machines in Reproducing Kernel Banach Spaces with Positive Definite Functions
本文在再生核巴拿赫空间中利用半内积的正交性和傅里叶变换技术，显式求解支持向量机，并通过正定函数表示最优解，系数由不动点迭代计算。
2013-04-23 cs.NA math.NA math.OC
Quantum-enhanced least-square support vector machine: simplified quantum algorithm and sparse solutions
量子算法可以在不同方面增强机器学习。在这里，我们研究量子增强最小二乘支持向量机（LS-SVM）。首先，引入一种新的量子算法，使用连续变量来辅助矩阵求逆，以简化量子LS-SVM算法，同时保持指数加速。其次，我们提出了一个混合量子经典版本的稀疏解的LS-SVM。通过将一个大的数据集编码成一个量子态，可以使用量子矩阵工具箱提取一个小得多的转换后的数据集，这是在经典的SVM进一步处理。我们还将核方法结合到上述量子算法中，该算法使用量子比特的指数增长希尔伯特空间和量子特征映射的连续变量的无限维。量子LS-SVM利用量子特性来探索SVM的重要主题，如稀疏性和核方法，并强调其量子优势，从加速到解决经典困难机器学习任务的潜在能力。
2019-08-05 quant-ph stat.ML
Generalized version of the support vector machine for binary classification problems: supporting hyperplane machine
Saint-Petersburg State University（圣彼得堡国立大学）；Research Institute of Influenza（流感研究所）
在本文中，提出了一个广义版本的支持向量机的二进制分类问题的情况下，使用任意变换x -> y。使用类似于经典SVM方法的方法。这个问题得到了广泛的解释。提出了各种配方的原始和对偶问题。对于最重要的情况之一的公式推导的细节。给出了一个简单的计算实例。该算法及其实现的Octave语言。
2014-04-15 cs.LG stat.ML
Safe and Efficient Screening For Sparse Support Vector Machine
筛选是一种有效的技术，通过删除保证不活动的过程中的功能，以加快稀疏学习模型的训练过程。提出了一种基于变分不等式的稀疏支持向量机的有效筛选方法。该技术既有效又安全。
2013-10-30 cs.LG stat.ML
Exploring the Entire Regularization Path for the Asymmetric Cost Linear Support Vector Machine
Gdansk University of Technology（格但斯克理工大学）；Polish Academy of Sciences（波兰科学院）
我们提出了一个算法，探索整个正则化路径的非对称成本的线性支持向量机。经验证据表明，支持向量机的预测能力取决于训练算法的正则化参数。探索整个正则化路径的算法已经被提出用于单成本支持向量机，从而提供关于超参数空间上的训练模型的行为的完整知识。考虑二维超参数空间中的问题，使我们的算法在处理特殊情况时保持更大的灵活性，并揭示了在一维空间中构建路径的算法所遇到的问题。我们展示了二维正则化路径的线性支持向量机，我们训练合成和真实的数据。
2016-10-12 cs.LG stat.ML
On the Consistency of the Bootstrap Approach for Support Vector Machines and Related Kernel Based Methods
University of Bayreuth（拜罗伊特大学）
证明了基于一般凸光滑损失函数和基于一般核函数的支持向量机的自举逼近是一致的。这一结果对于用Bootstrap方法逼近未知的有限样本分布是有用的。
2013-01-29 cs.LG stat.ML
Rgtsvm: Support Vector Machines on a GPU in R
Rgtsvm为R语言提供了一个快速灵活的支持向量机（SVM）实现。Rgtsvm的显着特点是支持向量分类和支持向量回归任务在图形处理单元（GPU）上实现，允许库扩展到数百万个示例，性能比现有实现提高>100倍。尽管如此，Rgtsvm保留了功能对等性，并且具有与R中流行的e1071 SVM包兼容的接口。总而言之，Rgtsvm使大型SVM模型能够由经验丰富的从业者和新手创建。
2017-06-17 cs.LG stat.ML
Linear Classification of data with Support Vector Machines and Generalized Support Vector Machines
Mälardalen University（梅拉达伦大学）
本文对支持向量机进行了研究，提出了用于数据分类的广义支持向量机的概念。我们证明了广义支持向量机问题等价于广义变分不等式问题，并建立了解的存在性的各种结果。此外，我们提供了各种例子来支持我们的结果。
2016-05-31 cs.LG
Bayesian Nonlinear Support Vector Machines for Big Data
Humboldt University of Berlin（柏林洪堡大学）；G+J Digital Products Hamburg（汉堡G+J数字产品公司）
我们提出了一种快速推理方法贝叶斯非线性支持向量机，利用随机变分推断和诱导点。我们的实验表明，该方法比竞争贝叶斯方法更快，并且可以轻松扩展到数百万个数据点。它提供了比频率论竞争对手更多的功能，例如准确的预测不确定性估计和自动超参数搜索。
2017-07-18 cs.LG stat.ML
EnsembleSVM: A Library for Ensemble Learning Using Support Vector Machines
KU Leuven（鲁汶大学）
EnsembleSVM是一个免费的软件包，包含高效的例程，用于使用支持向量机（SVM）基础模型执行集成学习。它目前提供基于二进制SVM模型的集成方法。我们的实现避免了重复存储和评价的支持向量组成模型之间共享。实验结果表明，使用集成方法可以大大降低训练复杂度，同时保持高的预测精度。EnsembleSVM软件包可在http://esat.kuleuven.be/stadius/ensemblesvm上免费在线获得。
2014-03-04 cs.LG stat.ML
Fast Multilevel Support Vector Machines
Clemson University（克莱姆森大学）
在大规模训练数据上求解支持向量机的不同类型的优化模型（包括参数拟合）通常是一项昂贵的计算任务。本文提出了一种多级算法框架，有效地扩展到非常大的数据集。不是在一个优化过程中求解整个训练集，而是在数据的多个粗糙度级别上获得并逐渐细化支持向量。拟议框架包括：（a）大规模数据粗略表示的层次结构的构造，以及（b）在整个该层次结构中更新超平面的局部处理。我们的多级框架大大提高了计算时间，而不会失去分类器的质量。该算法被证明为定期和加权支持向量机。平衡和不平衡分类问题的实验结果。已观察到若干不平衡数据集的质量有所改善。
2014-10-13 cs.LG stat.ML
MLPSVM:A new parallel support vector machine to multi-label learning
CHONGQING NORMAL UNIVERSITY（重庆师范大学）
多标签学习已经引起了机器学习社区的关注。问题转换方法Binary Relevance将熟悉的单标签转换为多标签算法。二进制相关法由于其结构简单、算法高效而得到广泛应用。但是二进制相关性没有考虑标签之间的联系，这使得处理某些任务变得很麻烦。本文提出了一种多标签学习算法，也可以用于单标签分类。它是在标准支持向量机的基础上，将原有的单决策超平面变为两个并行的决策超平面，称为多标记并行支持向量机（MLPSVM）。文章最后将MLPSVM与其他多标记学习算法进行了比较。实验结果表明，该算法在数据集上具有良好的性能.
2020-04-13 cs.LG stat.ML
Inferring linear and nonlinear Interaction networks using neighborhood support vector machines
Aix Marseille University（艾克斯-马赛大学）；An-Najah National University（纳贾赫国立大学）
在本文中，我们考虑建模的背景下，时间序列和高维变量之间的相互作用。我们建议采取两种方法。第一种方法类似于邻域套索，即用支持向量机（SVM）代替套索模型。第二种是适用于时间序列的限制贝叶斯网络。我们使用线性，非线性数据集和两者的混合模拟我们的方法的效率。
2019-08-02 cs.LG stat.ML
Longitudinal Support Vector Machines for High Dimensional Time Series
Uppsala University（乌普萨拉大学）；Nanjing University of Posts and Telecommunications（南京邮电大学）
我们考虑从观察到的功能数据学习分类器的问题。在这里，每个数据点采用单个时间序列的形式，并包含许多特征。假设每个这样的系列带有一个二进制标签，学习预测一个新的未来的时间序列的标签的问题被认为是。在此基础上，将经典支持向量机中的{ \em margin}概念推广到连续数据情形。纵向支持向量机也是一个凸优化问题，并推导了其对偶形式。特定情况下的显着性检验的实证结果表明，这种创新的算法分析这种长期的多变量数据的有效性。
2020-02-22 cs.LG stat.ML
Bayesian Multicategory Support Vector Machines
University of California（加利福尼亚大学）
我们表明，多类支持向量机（MSVM）提出的李等。（2004），可以被视为在分类器的适当概率解释下的MAP估计过程。我们还表明，这种解释可以扩展到一个分层贝叶斯架构和一个完全贝叶斯推理过程的多类分类的基础上数据增强。我们目前的实证结果表明，贝叶斯形式主义的优势，而不会损失的分类精度。
2012-06-27 cs.LG stat.ML
LIBTwinSVM: A Library for Twin Support Vector Machines
Iranian Research Institute for Information Science and Technology (IranDoc)（伊朗信息科学与技术研究院（IranDoc））；Islamic Azad University, North Tehran Branch（伊斯兰阿扎德大学北德黑兰分校）
本文介绍了LIBTwinSVM，一个免费的，高效的，开源的库双支持向量机（TSVM）。我们的库提供了一组有用的功能，如快速TSVM估计器，模型选择，可视化，图形用户界面（GUI）应用程序和Python应用程序编程接口（API）。基准测试结果表明，LIBTwinSVM库的大规模分类问题的有效性。LIBTwinSVM库的源代码、安装指南、文档和使用示例可在https://github.com/mir-am/LIBTwinSVM上获得。
2020-01-27 cs.LG stat.ML
A bagging and importance sampling approach to Support Vector Machines
Centro de Investigación en Matemáticas（数学研究中心）；Universidad Militar Nueva Granada（新格拉纳达军事大学）；Universidad de los Andes（安第斯大学）
一个重要性抽样和装袋方法来解决支持向量机（SVM）的问题，在大型数据库的背景下，提出和评估。我们的算法建立在Camelo等人（2015）提出的最近邻思想基础上。如在该参考文献中，本提议的目标是实现SVM问题的更快的解决方案，而没有预测误差的显著损失。基准的例子和理论方面的子样本方法进行了讨论，该方法的性能进行了评估。
2018-08-17 cs.LG stat.ML
Support Spinor Machine
Chulalongkorn University（朱拉隆功大学）；Slovak Academy of Sciences（斯洛伐克科学院）；Joint Institute for Nuclear Research（联合核研究所）
利用向量机上楔形积的数学结构，将支持向量机推广为支持旋量机，从而将向量场推广为旋量场。将分离后的超平面扩展到时间序列数据的Kolmogorov空间，从而将支持向量机的结构扩展到支持张量机和支持张量机模空间。在对时间序列数据进行经验模态分析后，对生理状态下的终点进行了一类分类，并与支持向量机进行了比较。我们利用Holo-Hilbert调幅实现了支持旋量机算法，用于完全非线性和非平稳的时间序列数据分析。
2017-09-11 cs.LG eess.SP q-fin.ST
One-Class Support Measure Machines for Group Anomaly Detection
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
我们提出了一类支持度量机（OCSMM）的群体异常检测，其目的是识别异常的数据点的聚集行为。OCSMM将著名的单类支持向量机（OCSVM）推广到概率测度空间。通过将问题公式化为分布上的分位数估计，我们可以在定义分布的输入空间上与OCSVM和可变核密度估计（VKDE）建立有趣的联系，弥合大间隔方法和核密度估计之间的差距。特别是，我们表明，各种类型的VKDE可以被认为是本文研究的一类正则化问题的解决方案。在Sloan数字巡天数据集和高能粒子物理数据集上的实验证明了该框架在实际应用中的优势。
2013-06-01 cs.LG stat.ML
Tuning support vector machines and boosted trees using optimization algorithms
Dana-Farber Cancer Institute（达纳-法伯癌症研究所）；Harvard T.H. Chan School of Public Health（哈佛陈曾熙公共卫生学院）
近年来，统计学习方法越来越受欢迎。这些过程中的许多过程都具有必须调整的参数，以使模型表现良好。神经网络的研究已经很广泛，但对其他许多学习方法的研究还不多。我们研究了支持向量机、梯度提升机和adaboost在分类和回归设置中的参数调整行为。我们使用网格搜索来确定调整参数的范围，在这些范围内，可以在许多不同的数据集上找到良好的模型。然后，我们探索了不同的优化算法，以选择整个调整参数空间的模型。将通过优化算法选择的模型与通过网格搜索获得的最佳模型进行比较，以选择性能良好的算法。这些信息被用来创建一个R包EZtune，它可以自动调整支持向量机和提升树。
2023-03-13 cs.LG stat.ML
One-Class Support Measure Machines for Group Anomaly Detection
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
我们提出了一类支持度量机（OCSMM）的群体异常检测，其目的是识别异常的数据点的聚集行为。OCSMM将著名的单类支持向量机（OCSVMs）推广到概率测度空间。通过将问题表述为分布上的分位数估计，我们可以在定义分布的输入空间上与OCSVM和可变核密度估计（VKDE）建立有趣的联系，弥合大间隔方法和核密度估计之间的差距。特别是，我们表明，各种类型的VKDE可以被认为是本文研究的一类正则化问题的解决方案。在Sloan数字巡天数据集和高能粒子物理数据集上的实验证明了该框架在实际应用中的优势。
2014-08-09 cs.LG stat.ML
Random Machines: A bagged-weighted support vector model with free kernel choice
Federal University of Bahia（巴伊亚联邦大学）；Federal Institute of Pernambuco（伯南布哥联邦学院）；University of São Paulo（圣保罗大学）
改进统计学习模型以提高解决分类或回归问题的效率仍然是科学界追求的目标。因此，支持向量机模型是最成功和最强大的算法之一。然而，其性能直接取决于核函数及其超参数的选择。实际上，传统的内核选择和调优过程在计算上是昂贵的。在这篇文章中，它提出了一种新的框架来处理核函数选择称为随机机。结果提高了精度，减少了计算时间。数据研究是在模拟数据和超过27个真实基准数据集上进行的。
2019-11-21 cs.LG stat.ML
Random Projections for Linear Support Vector Machines
Rensselaer Polytechnic Institute（伦斯勒理工学院）；IBM T.J. Watson Research Center（IBM托马斯·J·沃森研究中心）
设X是秩为ρ的数据矩阵，其行表示d维空间中的n个点。线性支持向量机构造了一个超平面分离器，最大化1-范数软边缘。我们提出了一种新的不经意降维技术，它是预先计算的，可以应用于任何输入矩阵X。我们证明了，以高概率，在特征空间中的边缘和最小包围球被保持在ε-相对误差内，确保在分类的情况下与原始空间中相当的推广。对于回归，我们证明了保证金以高概率保持为ε-相对误差。我们提出了广泛的实验与真实和合成数据来支持我们的理论。
2014-04-17 cs.LG stat.ML
High-Performance Support Vector Machines and Its Applications
SAS Institute Inc（赛仕软件研究所公司）
支持向量机（SVM）算法是数据采掘和机器学习中一种流行的分类技术。在本文中，我们提出了一个分布式SVM算法，并证明其在一些应用程序中的使用。该算法被命名为高性能支持向量机（HPSVM）。HPSVM的主要贡献是双重的。首先，HPSVM提供了一种新的方式来将计算分发到云中的机器，而无需对数据进行洗牌。其次，HPSVM最大限度地减少了机器间的通信，以最大限度地提高性能。我们将HPSVM应用于一些现实世界的分类问题，并将其与R中在几个公共数据集上实现的最先进的SVM技术进行比较。HPSVM实现了类似或更好的结果。
2019-05-01 cs.DC cs.LG stat.ML
Support vector machine and its bias correction in high-dimension, low-sample-size settings
University of Tsukuba（筑波大学）
在本文中，我们考虑的支持向量机（SVM）在高维，低样本量（HDLSS）设置的渐近性质。我们表明，硬利润率线性支持向量机具有一致性的属性，在某些严重的条件下，当维数趋于无穷大时，误分类率趋于零。我们发现，支持向量机是非常有偏见的HDLSS设置和它的性能直接受到影响的偏见。为了克服这些困难，我们提出了一个偏差校正支持向量机（BC-SVM）。我们表明，BC-SVM在HDLSS设置提供了更好的性能。我们还讨论了支持向量机在多类HDLSS设置。最后，我们在实际数据分析中检查分类器的性能。
2017-02-26 cs.LG stat.ML
Multi-view learning with privileged weighted twin support vector machine
Beijing Forestry University（北京林业大学）
加权孪生支持向量机（WLTSVM）挖掘尽可能多的样本中潜在的相似性信息，以改善非平行平面分类器的共同缺点。与双支持向量机（TWSVM）相比，它通过类间K近邻（KNN）删除多余的约束，降低了时间复杂度。多视图学习是机器学习的一个新的发展方向，它主要研究从多个特征集合表示的数据中学习获取信息。在本文中，我们提出了特权加权双支持向量机（MPWTSVM）的多视图学习。它既继承了WLTSVM的优点，又有其自身的特点。首先，从同一视角挖掘类内信息，提高泛化能力。其次，利用类间信息减少了冗余约束，从而提高了运行速度。最重要的是，它可以同时遵循一致性和互补性原则作为一个多视图分类模型。一致性原则通过最小化原目标函数中两个视图的耦合项来实现。互补原则是通过建立特权信息范式和MVL来实现的。一个标准的二次规划求解器被用来解决这个问题。与SVM-2K、MVTSVM、MCPK和PSVM-2 V等多视图分类模型相比，该模型具有更好的分类精度和分类效率。在45个二值数据集上的实验结果证明了该方法的有效性。
2022-01-27 cs.LG stat.ML
Tverberg's theorem and multi-class support vector machines
Baruch College（巴鲁克学院）；The Graduate Center, City University of New York（纽约城市大学研究生中心）
本文利用证明Tverberg定理的线性代数工具设计了多类SVM新模型，该模型需更少分类条件且可用现有二分类SVM算法计算，并证明了其理论保证及支持向量的几何特征。
2024-04-25 cs.LG
Comment on "robustness and regularization of support vector machines" by H. Xu, et al., (Journal of Machine Learning Research, vol. 10, pp. 1485-1510, 2009, arXiv:0803.3490)
Ferdowsi University of Mashhad（马什哈德菲尔多西大学）；Islamic Azad University, Mashhad Branch（伊斯兰阿扎德大学马什哈德分校）
本文评论了有关支持向量机的鲁棒性和正则化的已发表的工作（机器学习研究杂志，第10卷，第10页）。1485-1510，2009）[arXiv：0803.3490]由H.他们提出了一个定理，表明可以将特征空间中的鲁棒性和样本空间中的鲁棒性直接联系起来。在本文中，我们提出了一个反例，拒绝他们的定理。
2013-08-17 cs.LG
Iteratively-Reweighted Least-Squares Fitting of Support Vector Machines: A Majorization--Minimization Algorithm Approach
La Trobe University（拉筹伯大学）；University of Queensland（昆士兰大学）
支持向量机是现代数据分析的重要工具。传统上，支持向量机已经通过二次规划来拟合，使用专用的或现成的算法。我们提出了一种替代方法，支持向量机拟合通过优化-最小化（MM）的范例。通过MM算法构造导出的算法可以在每次迭代时单调减少其目标，并且全局收敛到稳定点。我们证明了迭代加权最小二乘（IRLS）算法的建设，通过MM范式，SVM风险最小化问题，涉及铰链，最小二乘，平方铰链，逻辑损失，1-范数，2-范数，和弹性网惩罚。我们的算法的成功实现，通过一些数值例子。
2017-05-12 cs.LG stat.CO stat.ML
Machine Learning in the Quantum Age: Quantum vs. Classical Support Vector Machines
Dokuz Eylül Üniversitesi（德尼兹埃伊卢尔大学）
该研究对比了经典SVM与量子SVM在Iris数据集上的分类性能，发现QSVM在特定情况下准确率可与经典SVM相当，但耗时更长，并指出提升量子计算能力与并行度可显著改善性能。
2023-10-17 cs.LG
Gradient Flows for L2 Support Vector Machine Training
University of Bonn（波恩大学）；Fraunhofer IAIS（弗劳恩霍夫智能分析与信息系统研究所）
通过求解常微分方程组，探讨了训练支持向量机进行二进制分类的优点。因此，我们假设一个连续的时间视角上的机器学习问题，这可能是（重新）新兴的硬件平台，如模拟或量子计算机上的实现感兴趣。
2022-08-08 cs.LG
TV-SVM: Total Variation Support Vector Machine for Semi-Supervised Data Classification
City University of Hong Kong（香港城市大学）
介绍了基于全变分（TV）、再生核希尔伯特空间（RKHS）、支持向量机（SVM）、Cheeger割、标记和未标记数据点的半监督数据分类算法。我们设计了二进制和多类半监督分类算法。我们比较了基于电视的分类算法与相关的基于拉普拉斯的算法，并表明，电视分类表现出显着更好的标记数据的数量是小的。
2012-10-02 cs.LG
On Neural Quantum Support Vector Machines
Bundesdruckerei GmbH（联邦印刷有限公司）
本文引入了带有量子核的神经量子支持向量机，并将先前提出的四种神经支持向量机训练算法的可行性与结果扩展至该量子设定。
2023-11-24 cs.LG quant-ph
Decomposing one-class support vector machine into an ensemble of one-data support vector machines
University of Hradec Králové（赫拉德茨-克拉洛韦大学）；Universiti Teknologi Malaysia（马来西亚理工大学）
针对一类支持向量机在大规模数据集上的可扩展性问题，提出将数据集分解为单个样本并训练单数据支持向量机，再通过集成学习组合模型，同时采用数据缩减策略加速，实验表明该方法在保持分类性能的同时显著提升速度。
2026-06-16 cs.LG
Algebraic multigrid support vector machines
Clemson University（克莱姆森大学）；BMW Group（宝马集团）
支持向量机是一种灵活的基于优化的技术，广泛用于分类问题。在实践中，由于参数拟合方法的复杂性和迭代次数、底层优化求解器以及内核的非线性等原因，其训练部分在大规模数据集上变得计算昂贵。我们引入了一个快速的多级框架求解支持向量机模型，启发了代数多重网格。在运行中取得了显着改善，而没有任何质量损失。所提出的技术是非常有益的不平衡集。我们展示了计算结果公开和工业数据集。
2016-11-24 cs.DS cs.LG stat.CO
Improving the Interpretability of Support Vector Machines-based Fuzzy Rules
The University of DaNang（岘港大学）；Hue University（顺化大学）
支持向量机和模糊规则系统在一定条件下是等价的。因此，在支持向量机领域中开发的学习算法可以用于自适应模糊系统的参数。从支持向量机中提取模糊模型具有固有的优点，即模型不需要事先确定规则的数量。然而，在支持向量机学习之后，复杂度通常较高，并且可解释性也受损。本文不仅提出了一个完整的框架，提取可解释的基于SVM的模糊模型，但也提供了模型的优化问题。仿真实例体现了本文的思想。
2014-08-22 cs.AI cs.LG
Quadratic Surface Support Vector Machine with L1 Norm Regularization
Institute for Mathematics and its Applications, University of Minnesota（明尼苏达大学数学及其应用研究所）；College of Information Science and Engineering, Northeastern University（东北大学信息科学与工程学院）；Precima, a NielsenIQ Company（普雷西玛（尼耳森艾克集团旗下公司））
我们提出$\ell_1$范数正则化二次曲面支持向量机模型用于监督学习中的二进制分类。我们建立了所需的理论性质，包括最优解的存在性和唯一性，减少到标准支持向量机（几乎）线性可分数据集，和检测真正的稀疏模式（几乎）二次可分数据集，如果惩罚参数的$\ell_1$范数是足够大的。我们还通过在合成和公开可用的基准数据集上进行各种数值实验，证明了它们有前途的实际效率。
2021-01-30 cs.LG math.OC stat.ML
Kernelized Support Tensor Train Machines
The University of Hong Kong（香港大学）；Delft University of Technology（代尔夫特理工大学）；Tsinghua University（清华大学）
张量是一种多维数据结构，最近在机器学习社区中得到了利用。传统的机器学习方法是基于向量或矩阵的，并且不能直接处理张量数据。本文首次提出了一种基于张量训练（TT）的核技术，并将其应用于传统的支持向量机（SVM）的图像分类中。具体来说，我们提出了一个核化的支持张量训练机，接受张量输入，并保留固有的内核属性。主要贡献有三方面。首先，我们提出了一个基于TT的特征映射过程，保持TT结构的特征空间。其次，我们展示了两种方法来构造基于TT的核函数，同时考虑与TT内积的一致性和信息的保存。第三，我们表明，它是可以应用不同的核函数对不同的数据模式。原则上，我们的方法张量标准SVM的输入结构和核映射方案。在真实世界的张量数据上进行了大量的实验，证明了该方案在少样本高维输入下的优越性。
2020-01-02 cs.CV cs.LG stat.ML
Machine Learning and Visualization in Clinical Decision Support: Current State and Future Directions
Columbia University（哥伦比亚大学）；Memorial Sloan Kettering Cancer Center（纪念斯隆凯特琳癌症中心）
深度学习是机器学习的一个领域，它将彻底改变患者护理。但它还不是护理标准的一部分，特别是在个体患者护理方面。事实上，目前还不清楚数据驱动技术在多大程度上用于支持临床决策（CDS）。因此，目前还没有对机器学习和其他类型的数据驱动技术的研究如何有效地促进临床护理以及它们可以为临床医生带来的支持类型进行审查。在本文中，我们考虑的方式，其中两个数据驱动域-机器学习和数据可视化-可以有助于下一代的临床决策支持系统。我们回顾了有关启发式知识，机器学习和可视化的方式的文献-可以-应用于三种类型的CDS。已经有大量的研究使用预测建模的警报，但目前的CDS系统没有利用这些方法。利用交互式可视化和机器学习推理来组织和审查患者数据的方法越来越受欢迎，但仍处于原型阶段，尚未投入使用。CDS系统可以受益于规定性机器学习（例如，针对特定患者的治疗建议）尚未制定。我们讨论了缺乏部署的数据驱动的方法在CDS和未来的研究方向的潜在原因。
2019-06-06 cs.CY cs.LG stat.ML
Single and Union Non-parallel Support Vector Machine Frameworks
Hainan University（海南大学）；Beijing Jiaotong University（北京交通大学）；China Agricultural University（中国农业大学）
考虑到分类问题，我们将具有非平行超平面的非平行支持向量机归纳为两类框架。第一种类型分别构造超平面。它解决了一系列小的优化问题，以获得一系列的超平面，但很难衡量每个样本的损失。另一种是同时构造所有的超平面，它解决了一个大的优化问题，每个样本的确定损失。我们给出了每个框架的特点，并仔细比较它们。此外，基于第二个框架，我们构建了一个基于最大最小距离的非并行支持向量机的多类分类问题，称为NSVM。它通过求解一个优化问题来构造具有较大距离裕度的超平面。在基准数据集上的实验结果表明了该方法的优越性。
2021-06-25 cs.CV cs.LG stat.ML
Training with reduced precision of a support vector machine model for text classification
AGH University of Science and Technology（AGH科技大学）
研究了在支持向量机（SVM）的训练过程中，量化对多类文本分类效率的影响。这项工作的重点是比较效率的SVM模型训练使用降低精度与其原始形式。使用量化的主要优点是减少计算时间和专用硬件平台上的内存占用，该硬件平台支持低精度计算，如GPU（16位）或FPGA（任何位宽）。本文提出了一个精度降低的SVM训练过程中的文本分类精度的影响。CPU的实现使用了OpenMP库。此外，使用双精度，单精度和半精度的GPU的实现的结果。
2020-07-17 cs.CL cs.LG stat.ML
A Support Tensor Train Machine
The Department of Electrical and Electronic Engineering, The University of Hong Kong（香港大学电子与电气工程系）
本文提出支持张量列车机，通过将传统支持张量机中的秩一张量替换为张量列车，提升模型表达能力，实验验证其优于SVM和STM。
2018-04-17 cs.CV cs.LG cs.NA
L1-Regularized Functional Support Vector Machine
针对函数型数据分析中多元函数型协变量二分类的研究空白，提出$L_1$正则化函数型支持向量机及拟合算法，通过$L_1$惩罚识别相关协变量，在预测与特征选择上表现良好。
2025-08-08 cs.LG stat.CO stat.ML
A Quasi-Newton Method for Large Scale Support Vector Machines
University of Pennsylvania（宾夕法尼亚大学）
本文采用最近开发的正则化随机版本的Broyden，Fletcher，Goldfarb，和Shanno（BFGS）拟牛顿方法的解决方案的支持向量机分类问题。所提出的方法几乎肯定会收敛到最佳分类器的速度是线性的期望。数值结果表明，所提出的方法具有收敛速度下降的特征向量的维数平滑。
2014-02-20 cs.LG
Mixed Integer Linear Programming for Feature Selection in Support Vector Machine
Université Libre de Bruxelles（布鲁塞尔自由大学）；INRIA Lille Nord-Europe（法国里尔-北欧国家信息与自动化研究所）；Universidad de Cádiz（加的斯大学）
本文主要研究支持向量机（SVM）的特征选择问题。一个MILP制定提出的问题。在该公式中，通过包括预算约束来对构造分离超平面的合适特征的选择进行建模，该预算约束预先设置了分类过程中要使用的特征数量的限制。我们提出了一个精确的和启发式的程序来解决这个配方在一个有效的方式。最后，通过与一些已知数据集进行检查并与经典分类方法进行比较来验证该模型。
2018-08-07 cs.LG math.OC stat.ML
Distributed estimation of principal support vector machines for sufficient dimension reduction
East China Normal University（华东师范大学）
主支持向量机方法（Li等人，2011）是一个强大的工具，充分的降维，取代原来的预测与他们的低维线性组合，而不会丢失信息。然而，主支持向量机方法的计算负担限制了其在海量数据中的应用。为了解决这个问题，我们在本文中提出了两个分布式估计算法的快速实现时，样本量是大的。这两种分布充分降维估计量具有与合并所有数据相同的统计效率，为它们在大规模数据集上的应用提供了严格的统计保证。这两种分布式算法进一步适用于主加权支持向量机（Shin等人，2016）用于在二进制分类中充分的降维。我们提出的方法的统计精度和计算复杂性进行了检查，通过全面的模拟研究和实际数据应用超过60万个样本。
2019-11-28 cs.LG math.ST stat.ML
Algorithms for the Training of Neural Support Vector Machines
Bundesdruckerei GmbH（联邦印刷有限公司）
针对可融入领域知识的 NSVM，本文提出一组基于 Pegasos 的训练算法，并在标准机器学习任务上完成概念验证。
2023-08-14 cs.AI cs.LG
An Evaluation of Support Vector Machines as a Pattern Recognition Tool
University of Maryland at College Park（马里兰大学帕克分校）
这份报告的目的是在检查的泛化性能的支持向量机（SVM）作为模式识别和对象分类的工具。这项工作的动机是日益普及的方法，声称保证一个良好的泛化性能的任务在手。该方法在MATLAB中实现。基于各种内核的支持向量机进行了测试，用于对来自各个领域的数据进行分类。
2014-12-13 cs.LG
Insensitive Stochastic Gradient Twin Support Vector Machine for Large Scale Problems
Inner Mongolia University（内蒙古大学）；Hainan University（海南大学）；Capital University of Economics and Business（首都经济贸易大学）；China Agricultural University（中国农业大学）
随机梯度下降算法已成功地应用于支持向量机（称为PEGASOS）的许多分类问题。本文将随机梯度下降算法应用于双支持向量机的分类问题。与PEGASOS算法相比，所提出的随机梯度孪生支持向量机（SGTSVM）对随机梯度下降算法的随机采样不敏感。在理论上，我们证明了SGTSVM的收敛性，而不是PEGASOS的几乎必然收敛性。对于均匀采样，给出了SGTSVM与孪生支持向量机的近似关系，而PEGASOS只能得到支持向量机的近似关系.此外，非线性SGTSVM是直接从其线性的情况。在人工数据集和大规模问题上的实验结果表明，SGTSVM性能稳定，学习速度快。
2017-11-23 cs.CV cs.LG
