Local Support Vector Machines:Formulation and Analysis
School of Computational Science & Engineering, Georgia Tech（佐治亚理工学院计算科学与工程学院）
我们提供了一个公式的本地支持向量机（LSVMs），概括了以前的配方，并带来了显式连接到本地多项式学习中使用的非参数估计文献。我们研究了最简单的LSVM类型，称为局部线性支持向量机（LLSVM）。对于第一次，我们建立的条件下，LLSVM贝叶斯一致的预测在每个测试点$x_0$。我们还建立了LLSVM的局部风险在每个点$x_0$收敛到期望局部风险最小值的速率。使用稳定性参数，我们建立了LLSVM的泛化误差界。
2013-09-14 cs.AI cs.LG stat.ML
Efficient Decision Trees for Multi-class Support Vector Machines Using Entropy and Generalization Error Estimation
Chulalongkorn University（朱拉隆功大学）；Osaka University（大阪大学）
我们提出了新的方法，支持向量机（SVM）使用树结构的多类分类。在树的每个节点上，利用熵和泛化误差估计选择合适的二元分类器，然后根据所选分类器将样本分为正类和负类，并训练一个新的分类器用于分类阶段。所提出的方法可以在O（log2N）到O（N）之间的时间复杂度内工作，其中N是类的数量。我们使用10倍交叉验证将我们提出的方法的性能与UCI机器学习存储库上的传统技术进行了比较。实验结果表明，我们提出的方法是非常有用的问题，需要快速的分类时间或大量的类的问题，因为所提出的方法运行速度比传统的技术，但仍然提供相当的准确性。
2017-08-28 cs.LG stat.ML
Regularization approaches for support vector machines with applications to biomedical data
Harvard-MIT Health Sciences and Technology（哈佛-麻省理工学院健康科学与技术）；Massachusetts Institute of Technology（麻省理工学院）
支持向量机是一种基于统计学习理论的分类机器学习工具。给定一组训练数据，SVM找到一个超平面，该超平面将两个不同类别的数据点分开最大距离。虽然SVM的标准形式使用L2范数正则化，但其他正则化方法对于生物医学数据集特别有吸引力，例如，分类器系数值的稀疏性和可解释性是高度期望的特征。因此，在本文中，我们考虑了不同类型的SVM正则化方法，并在合成和真实生物医学数据集上进行了探索。
2017-10-29 cs.AI cs.LG stat.ML
Random Machines Regression Approach: an ensemble support vector regression model with free kernel choice
Federal University of Bahia（巴伊亚联邦大学）；Federal Institute of Pernambuco（伯南布哥联邦学院）；University of São Paulo（圣保罗大学）
机器学习技术总是以减少广义预测误差为目标。为了减少它，集成方法提出了一个很好的方法，结合几个模型，结果在一个更大的预测能力。随机机已经被证明是一种强大的技术，即：高预测能力，分类任务，在这篇文章中，我们提出了一个过程，使用袋加权支持向量模型回归问题。仿真研究是在人工数据集和真实数据基准上实现的。结果表明，回归随机机具有较低的泛化误差，在调整过程中无需选择最佳的核函数，具有良好的性能。
2020-03-27 cs.LG stat.AP stat.ML
Universal Consistency and Robustness of Localized Support Vector Machines
潜在地用于发现机器学习中的模式的大量可用数据对于基于内核的算法在运行时间和存储容量方面是一个挑战。地方办法可能有助于缓解这些问题。从统计学的角度来看，局部方法还允许以不同的方式处理数据中的不同结构。本文分析了基于局部核的非参数统计机器学习方法的性质，特别是支持向量机（SVM）和接近它们的方法。我们将证明局部学习的核方法是普适的。此外，我们给出了一个上限的maxbias，以显示所提出的方法的统计鲁棒性。
2017-03-19 stat.ML
Asymptotic Normality of Support Vector Machine Variants and Other Regularized Kernel Methods
在非参数分类和回归问题中，正则化核方法，特别是支持向量机，在理论和应用统计学中引起了广泛的关注。在抽象意义上，正则化核方法（这里简称为SVM）可以被看作是（通常是无限维）再生核希尔伯特空间中参数的正则化M-估计。对于光滑损失函数，证明了估计量之间的差异，即经验支持向量机和理论支持向量机是渐近正态的速率$\sqrt{n}$。也就是说，标准化差分在再生核希尔伯特空间中弱收敛到高斯过程。如在实际应用中常见的，正则化参数的选择可以取决于数据。证明是通过应用的功能δ-方法，并通过显示SVM功能是适当的阿达玛微分。
2011-04-12 stat.ML
Solving Support Vector Machines in Reproducing Kernel Banach Spaces with Positive Definite Functions
本文在再生核巴拿赫空间中利用半内积的正交性和傅里叶变换技术，显式求解支持向量机，并通过正定函数表示最优解，系数由不动点迭代计算。
2013-04-23 cs.NA math.NA math.OC
Quantum-enhanced least-square support vector machine: simplified quantum algorithm and sparse solutions
量子算法可以在不同方面增强机器学习。在这里，我们研究量子增强最小二乘支持向量机（LS-SVM）。首先，引入一种新的量子算法，使用连续变量来辅助矩阵求逆，以简化量子LS-SVM算法，同时保持指数加速。其次，我们提出了一个混合量子经典版本的稀疏解的LS-SVM。通过将一个大的数据集编码成一个量子态，可以使用量子矩阵工具箱提取一个小得多的转换后的数据集，这是在经典的SVM进一步处理。我们还将核方法结合到上述量子算法中，该算法使用量子比特的指数增长希尔伯特空间和量子特征映射的连续变量的无限维。量子LS-SVM利用量子特性来探索SVM的重要主题，如稀疏性和核方法，并强调其量子优势，从加速到解决经典困难机器学习任务的潜在能力。
2019-08-05 quant-ph stat.ML
Generalized version of the support vector machine for binary classification problems: supporting hyperplane machine
Saint-Petersburg State University（圣彼得堡国立大学）；Research Institute of Influenza（流感研究所）
在本文中，提出了一个广义版本的支持向量机的二进制分类问题的情况下，使用任意变换x -> y。使用类似于经典SVM方法的方法。这个问题得到了广泛的解释。提出了各种配方的原始和对偶问题。对于最重要的情况之一的公式推导的细节。给出了一个简单的计算实例。该算法及其实现的Octave语言。
2014-04-15 cs.LG stat.ML
Safe and Efficient Screening For Sparse Support Vector Machine
筛选是一种有效的技术，通过删除保证不活动的过程中的功能，以加快稀疏学习模型的训练过程。提出了一种基于变分不等式的稀疏支持向量机的有效筛选方法。该技术既有效又安全。
2013-10-30 cs.LG stat.ML
Exploring the Entire Regularization Path for the Asymmetric Cost Linear Support Vector Machine
Gdansk University of Technology（格但斯克理工大学）；Polish Academy of Sciences（波兰科学院）
我们提出了一个算法，探索整个正则化路径的非对称成本的线性支持向量机。经验证据表明，支持向量机的预测能力取决于训练算法的正则化参数。探索整个正则化路径的算法已经被提出用于单成本支持向量机，从而提供关于超参数空间上的训练模型的行为的完整知识。考虑二维超参数空间中的问题，使我们的算法在处理特殊情况时保持更大的灵活性，并揭示了在一维空间中构建路径的算法所遇到的问题。我们展示了二维正则化路径的线性支持向量机，我们训练合成和真实的数据。
2016-10-12 cs.LG stat.ML
On the Consistency of the Bootstrap Approach for Support Vector Machines and Related Kernel Based Methods
University of Bayreuth（拜罗伊特大学）
证明了基于一般凸光滑损失函数和基于一般核函数的支持向量机的自举逼近是一致的。这一结果对于用Bootstrap方法逼近未知的有限样本分布是有用的。
2013-01-29 cs.LG stat.ML
Rgtsvm: Support Vector Machines on a GPU in R
Rgtsvm为R语言提供了一个快速灵活的支持向量机（SVM）实现。Rgtsvm的显着特点是支持向量分类和支持向量回归任务在图形处理单元（GPU）上实现，允许库扩展到数百万个示例，性能比现有实现提高>100倍。尽管如此，Rgtsvm保留了功能对等性，并且具有与R中流行的e1071 SVM包兼容的接口。总而言之，Rgtsvm使大型SVM模型能够由经验丰富的从业者和新手创建。
2017-06-17 cs.LG stat.ML
Bayesian Nonlinear Support Vector Machines for Big Data
Humboldt University of Berlin（柏林洪堡大学）；G+J Digital Products Hamburg（汉堡G+J数字产品公司）
我们提出了一种快速推理方法贝叶斯非线性支持向量机，利用随机变分推断和诱导点。我们的实验表明，该方法比竞争贝叶斯方法更快，并且可以轻松扩展到数百万个数据点。它提供了比频率论竞争对手更多的功能，例如准确的预测不确定性估计和自动超参数搜索。
2017-07-18 cs.LG stat.ML
EnsembleSVM: A Library for Ensemble Learning Using Support Vector Machines
KU Leuven（鲁汶大学）
EnsembleSVM是一个免费的软件包，包含高效的例程，用于使用支持向量机（SVM）基础模型执行集成学习。它目前提供基于二进制SVM模型的集成方法。我们的实现避免了重复存储和评价的支持向量组成模型之间共享。实验结果表明，使用集成方法可以大大降低训练复杂度，同时保持高的预测精度。EnsembleSVM软件包可在http://esat.kuleuven.be/stadius/ensemblesvm上免费在线获得。
2014-03-04 cs.LG stat.ML
Fast Multilevel Support Vector Machines
Clemson University（克莱姆森大学）
在大规模训练数据上求解支持向量机的不同类型的优化模型（包括参数拟合）通常是一项昂贵的计算任务。本文提出了一种多级算法框架，有效地扩展到非常大的数据集。不是在一个优化过程中求解整个训练集，而是在数据的多个粗糙度级别上获得并逐渐细化支持向量。拟议框架包括：（a）大规模数据粗略表示的层次结构的构造，以及（b）在整个该层次结构中更新超平面的局部处理。我们的多级框架大大提高了计算时间，而不会失去分类器的质量。该算法被证明为定期和加权支持向量机。平衡和不平衡分类问题的实验结果。已观察到若干不平衡数据集的质量有所改善。
2014-10-13 cs.LG stat.ML
MLPSVM:A new parallel support vector machine to multi-label learning
CHONGQING NORMAL UNIVERSITY（重庆师范大学）
多标签学习已经引起了机器学习社区的关注。问题转换方法Binary Relevance将熟悉的单标签转换为多标签算法。二进制相关法由于其结构简单、算法高效而得到广泛应用。但是二进制相关性没有考虑标签之间的联系，这使得处理某些任务变得很麻烦。本文提出了一种多标签学习算法，也可以用于单标签分类。它是在标准支持向量机的基础上，将原有的单决策超平面变为两个并行的决策超平面，称为多标记并行支持向量机（MLPSVM）。文章最后将MLPSVM与其他多标记学习算法进行了比较。实验结果表明，该算法在数据集上具有良好的性能.
2020-04-13 cs.LG stat.ML
Inferring linear and nonlinear Interaction networks using neighborhood support vector machines
Aix Marseille University（艾克斯-马赛大学）；An-Najah National University（纳贾赫国立大学）
在本文中，我们考虑建模的背景下，时间序列和高维变量之间的相互作用。我们建议采取两种方法。第一种方法类似于邻域套索，即用支持向量机（SVM）代替套索模型。第二种是适用于时间序列的限制贝叶斯网络。我们使用线性，非线性数据集和两者的混合模拟我们的方法的效率。
2019-08-02 cs.LG stat.ML
Longitudinal Support Vector Machines for High Dimensional Time Series
Uppsala University（乌普萨拉大学）；Nanjing University of Posts and Telecommunications（南京邮电大学）
我们考虑从观察到的功能数据学习分类器的问题。在这里，每个数据点采用单个时间序列的形式，并包含许多特征。假设每个这样的系列带有一个二进制标签，学习预测一个新的未来的时间序列的标签的问题被认为是。在此基础上，将经典支持向量机中的{ \em margin}概念推广到连续数据情形。纵向支持向量机也是一个凸优化问题，并推导了其对偶形式。特定情况下的显着性检验的实证结果表明，这种创新的算法分析这种长期的多变量数据的有效性。
2020-02-22 cs.LG stat.ML
Bayesian Multicategory Support Vector Machines
University of California（加利福尼亚大学）
我们表明，多类支持向量机（MSVM）提出的李等。（2004），可以被视为在分类器的适当概率解释下的MAP估计过程。我们还表明，这种解释可以扩展到一个分层贝叶斯架构和一个完全贝叶斯推理过程的多类分类的基础上数据增强。我们目前的实证结果表明，贝叶斯形式主义的优势，而不会损失的分类精度。
2012-06-27 cs.LG stat.ML
LIBTwinSVM: A Library for Twin Support Vector Machines
Iranian Research Institute for Information Science and Technology (IranDoc)（伊朗信息科学与技术研究院（IranDoc））；Islamic Azad University, North Tehran Branch（伊斯兰阿扎德大学北德黑兰分校）
本文介绍了LIBTwinSVM，一个免费的，高效的，开源的库双支持向量机（TSVM）。我们的库提供了一组有用的功能，如快速TSVM估计器，模型选择，可视化，图形用户界面（GUI）应用程序和Python应用程序编程接口（API）。基准测试结果表明，LIBTwinSVM库的大规模分类问题的有效性。LIBTwinSVM库的源代码、安装指南、文档和使用示例可在https://github.com/mir-am/LIBTwinSVM上获得。
2020-01-27 cs.LG stat.ML
Support Spinor Machine
Chulalongkorn University（朱拉隆功大学）；Slovak Academy of Sciences（斯洛伐克科学院）；Joint Institute for Nuclear Research（联合核研究所）
利用向量机上楔形积的数学结构，将支持向量机推广为支持旋量机，从而将向量场推广为旋量场。将分离后的超平面扩展到时间序列数据的Kolmogorov空间，从而将支持向量机的结构扩展到支持张量机和支持张量机模空间。在对时间序列数据进行经验模态分析后，对生理状态下的终点进行了一类分类，并与支持向量机进行了比较。我们利用Holo-Hilbert调幅实现了支持旋量机算法，用于完全非线性和非平稳的时间序列数据分析。
2017-09-11 cs.LG eess.SP q-fin.ST
A bagging and importance sampling approach to Support Vector Machines
Centro de Investigación en Matemáticas（数学研究中心）；Universidad Militar Nueva Granada（新格拉纳达军事大学）；Universidad de los Andes（安第斯大学）
一个重要性抽样和装袋方法来解决支持向量机（SVM）的问题，在大型数据库的背景下，提出和评估。我们的算法建立在Camelo等人（2015）提出的最近邻思想基础上。如在该参考文献中，本提议的目标是实现SVM问题的更快的解决方案，而没有预测误差的显著损失。基准的例子和理论方面的子样本方法进行了讨论，该方法的性能进行了评估。
2018-08-17 cs.LG stat.ML
One-Class Support Measure Machines for Group Anomaly Detection
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
我们提出了一类支持度量机（OCSMM）的群体异常检测，其目的是识别异常的数据点的聚集行为。OCSMM将著名的单类支持向量机（OCSVM）推广到概率测度空间。通过将问题公式化为分布上的分位数估计，我们可以在定义分布的输入空间上与OCSVM和可变核密度估计（VKDE）建立有趣的联系，弥合大间隔方法和核密度估计之间的差距。特别是，我们表明，各种类型的VKDE可以被认为是本文研究的一类正则化问题的解决方案。在Sloan数字巡天数据集和高能粒子物理数据集上的实验证明了该框架在实际应用中的优势。
2013-06-01 cs.LG stat.ML
Tuning support vector machines and boosted trees using optimization algorithms
Dana-Farber Cancer Institute（达纳-法伯癌症研究所）；Harvard T.H. Chan School of Public Health（哈佛陈曾熙公共卫生学院）
近年来，统计学习方法越来越受欢迎。这些过程中的许多过程都具有必须调整的参数，以使模型表现良好。神经网络的研究已经很广泛，但对其他许多学习方法的研究还不多。我们研究了支持向量机、梯度提升机和adaboost在分类和回归设置中的参数调整行为。我们使用网格搜索来确定调整参数的范围，在这些范围内，可以在许多不同的数据集上找到良好的模型。然后，我们探索了不同的优化算法，以选择整个调整参数空间的模型。将通过优化算法选择的模型与通过网格搜索获得的最佳模型进行比较，以选择性能良好的算法。这些信息被用来创建一个R包EZtune，它可以自动调整支持向量机和提升树。
2023-03-13 cs.LG stat.ML
One-Class Support Measure Machines for Group Anomaly Detection
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
我们提出了一类支持度量机（OCSMM）的群体异常检测，其目的是识别异常的数据点的聚集行为。OCSMM将著名的单类支持向量机（OCSVMs）推广到概率测度空间。通过将问题表述为分布上的分位数估计，我们可以在定义分布的输入空间上与OCSVM和可变核密度估计（VKDE）建立有趣的联系，弥合大间隔方法和核密度估计之间的差距。特别是，我们表明，各种类型的VKDE可以被认为是本文研究的一类正则化问题的解决方案。在Sloan数字巡天数据集和高能粒子物理数据集上的实验证明了该框架在实际应用中的优势。
2014-08-09 cs.LG stat.ML
Random Machines: A bagged-weighted support vector model with free kernel choice
Federal University of Bahia（巴伊亚联邦大学）；Federal Institute of Pernambuco（伯南布哥联邦学院）；University of São Paulo（圣保罗大学）
改进统计学习模型以提高解决分类或回归问题的效率仍然是科学界追求的目标。因此，支持向量机模型是最成功和最强大的算法之一。然而，其性能直接取决于核函数及其超参数的选择。实际上，传统的内核选择和调优过程在计算上是昂贵的。在这篇文章中，它提出了一种新的框架来处理核函数选择称为随机机。结果提高了精度，减少了计算时间。数据研究是在模拟数据和超过27个真实基准数据集上进行的。
2019-11-21 cs.LG stat.ML
High-Performance Support Vector Machines and Its Applications
SAS Institute Inc（赛仕软件研究所公司）
支持向量机（SVM）算法是数据采掘和机器学习中一种流行的分类技术。在本文中，我们提出了一个分布式SVM算法，并证明其在一些应用程序中的使用。该算法被命名为高性能支持向量机（HPSVM）。HPSVM的主要贡献是双重的。首先，HPSVM提供了一种新的方式来将计算分发到云中的机器，而无需对数据进行洗牌。其次，HPSVM最大限度地减少了机器间的通信，以最大限度地提高性能。我们将HPSVM应用于一些现实世界的分类问题，并将其与R中在几个公共数据集上实现的最先进的SVM技术进行比较。HPSVM实现了类似或更好的结果。
2019-05-01 cs.DC cs.LG stat.ML
Random Projections for Linear Support Vector Machines
Rensselaer Polytechnic Institute（伦斯勒理工学院）；IBM T.J. Watson Research Center（IBM托马斯·J·沃森研究中心）
设X是秩为ρ的数据矩阵，其行表示d维空间中的n个点。线性支持向量机构造了一个超平面分离器，最大化1-范数软边缘。我们提出了一种新的不经意降维技术，它是预先计算的，可以应用于任何输入矩阵X。我们证明了，以高概率，在特征空间中的边缘和最小包围球被保持在ε-相对误差内，确保在分类的情况下与原始空间中相当的推广。对于回归，我们证明了保证金以高概率保持为ε-相对误差。我们提出了广泛的实验与真实和合成数据来支持我们的理论。
2014-04-17 cs.LG stat.ML
Support vector machine and its bias correction in high-dimension, low-sample-size settings
University of Tsukuba（筑波大学）
在本文中，我们考虑的支持向量机（SVM）在高维，低样本量（HDLSS）设置的渐近性质。我们表明，硬利润率线性支持向量机具有一致性的属性，在某些严重的条件下，当维数趋于无穷大时，误分类率趋于零。我们发现，支持向量机是非常有偏见的HDLSS设置和它的性能直接受到影响的偏见。为了克服这些困难，我们提出了一个偏差校正支持向量机（BC-SVM）。我们表明，BC-SVM在HDLSS设置提供了更好的性能。我们还讨论了支持向量机在多类HDLSS设置。最后，我们在实际数据分析中检查分类器的性能。
2017-02-26 cs.LG stat.ML
Multi-view learning with privileged weighted twin support vector machine
Beijing Forestry University（北京林业大学）
加权孪生支持向量机（WLTSVM）挖掘尽可能多的样本中潜在的相似性信息，以改善非平行平面分类器的共同缺点。与双支持向量机（TWSVM）相比，它通过类间K近邻（KNN）删除多余的约束，降低了时间复杂度。多视图学习是机器学习的一个新的发展方向，它主要研究从多个特征集合表示的数据中学习获取信息。在本文中，我们提出了特权加权双支持向量机（MPWTSVM）的多视图学习。它既继承了WLTSVM的优点，又有其自身的特点。首先，从同一视角挖掘类内信息，提高泛化能力。其次，利用类间信息减少了冗余约束，从而提高了运行速度。最重要的是，它可以同时遵循一致性和互补性原则作为一个多视图分类模型。一致性原则通过最小化原目标函数中两个视图的耦合项来实现。互补原则是通过建立特权信息范式和MVL来实现的。一个标准的二次规划求解器被用来解决这个问题。与SVM-2K、MVTSVM、MCPK和PSVM-2 V等多视图分类模型相比，该模型具有更好的分类精度和分类效率。在45个二值数据集上的实验结果证明了该方法的有效性。
2022-01-27 cs.LG stat.ML
A novel improved fuzzy support vector machine based stock price trend forecast model
模糊支持向量机在股票价格预测中的应用。支持向量机是20世纪90年代提出的一种新型的机器学习方法。它可以非常成功地处理分类和回归问题。由于支持向量机优良的学习性能，该技术已成为机器学习领域的研究热点，并在多个领域得到了成功的应用。然而，作为一种新的技术，支持向量机存在着许多局限性。客观世界中存在着大量的模糊信息。如果支持向量机的训练中含有噪声和模糊信息，那么支持向量机的性能就会变得很弱、很无力。由于影响股票价格预测的因素很多，复杂性很大，传统的支持向量机预测结果不能满足人们的精度要求，本研究改进了传统的支持向量机模糊预测算法，提高了新模型的精度。纳斯达克股票市场，标准普尔（S&P）股票市场被认为是。新的先进模糊支持向量机（NA-FSVM）的建议的方法。
2018-01-02 q-fin.ST stat.ML
Qualitative Robustness of Support Vector Machines
支持向量机在理论和应用统计学中都引起了广泛的关注。最近感兴趣的主要话题是一致性，学习率和鲁棒性。在这篇文章中，它表明，支持向量机是定性的强大。由于支持向量机可以表示为一个功能上的所有概率测度的集合，定性的鲁棒性证明，通过显示，这个功能是连续的拓扑结构所产生的弱收敛的概率测度。结合支持向量机的存在性和唯一性，我们的结果表明，支持向量机是一个适定的数学问题在Hadamard意义下的解决方案。
2011-11-03 math.ST stat.ML stat.TH
Iteratively-Reweighted Least-Squares Fitting of Support Vector Machines: A Majorization--Minimization Algorithm Approach
La Trobe University（拉筹伯大学）；University of Queensland（昆士兰大学）
支持向量机是现代数据分析的重要工具。传统上，支持向量机已经通过二次规划来拟合，使用专用的或现成的算法。我们提出了一种替代方法，支持向量机拟合通过优化-最小化（MM）的范例。通过MM算法构造导出的算法可以在每次迭代时单调减少其目标，并且全局收敛到稳定点。我们证明了迭代加权最小二乘（IRLS）算法的建设，通过MM范式，SVM风险最小化问题，涉及铰链，最小二乘，平方铰链，逻辑损失，1-范数，2-范数，和弹性网惩罚。我们的算法的成功实现，通过一些数值例子。
2017-05-12 cs.LG stat.CO stat.ML
Algebraic multigrid support vector machines
Clemson University（克莱姆森大学）；BMW Group（宝马集团）
支持向量机是一种灵活的基于优化的技术，广泛用于分类问题。在实践中，由于参数拟合方法的复杂性和迭代次数、底层优化求解器以及内核的非线性等原因，其训练部分在大规模数据集上变得计算昂贵。我们引入了一个快速的多级框架求解支持向量机模型，启发了代数多重网格。在运行中取得了显着改善，而没有任何质量损失。所提出的技术是非常有益的不平衡集。我们展示了计算结果公开和工业数据集。
2016-11-24 cs.DS cs.LG stat.CO
Quadratic Surface Support Vector Machine with L1 Norm Regularization
Institute for Mathematics and its Applications, University of Minnesota（明尼苏达大学数学及其应用研究所）；College of Information Science and Engineering, Northeastern University（东北大学信息科学与工程学院）；Precima, a NielsenIQ Company（普雷西玛（尼耳森艾克集团旗下公司））
我们提出$\ell_1$范数正则化二次曲面支持向量机模型用于监督学习中的二进制分类。我们建立了所需的理论性质，包括最优解的存在性和唯一性，减少到标准支持向量机（几乎）线性可分数据集，和检测真正的稀疏模式（几乎）二次可分数据集，如果惩罚参数的$\ell_1$范数是足够大的。我们还通过在合成和公开可用的基准数据集上进行各种数值实验，证明了它们有前途的实际效率。
2021-01-30 cs.LG math.OC stat.ML
Kernelized Support Tensor Train Machines
The University of Hong Kong（香港大学）；Delft University of Technology（代尔夫特理工大学）；Tsinghua University（清华大学）
张量是一种多维数据结构，最近在机器学习社区中得到了利用。传统的机器学习方法是基于向量或矩阵的，并且不能直接处理张量数据。本文首次提出了一种基于张量训练（TT）的核技术，并将其应用于传统的支持向量机（SVM）的图像分类中。具体来说，我们提出了一个核化的支持张量训练机，接受张量输入，并保留固有的内核属性。主要贡献有三方面。首先，我们提出了一个基于TT的特征映射过程，保持TT结构的特征空间。其次，我们展示了两种方法来构造基于TT的核函数，同时考虑与TT内积的一致性和信息的保存。第三，我们表明，它是可以应用不同的核函数对不同的数据模式。原则上，我们的方法张量标准SVM的输入结构和核映射方案。在真实世界的张量数据上进行了大量的实验，证明了该方案在少样本高维输入下的优越性。
2020-01-02 cs.CV cs.LG stat.ML
Machine Learning and Visualization in Clinical Decision Support: Current State and Future Directions
Columbia University（哥伦比亚大学）；Memorial Sloan Kettering Cancer Center（纪念斯隆凯特琳癌症中心）
深度学习是机器学习的一个领域，它将彻底改变患者护理。但它还不是护理标准的一部分，特别是在个体患者护理方面。事实上，目前还不清楚数据驱动技术在多大程度上用于支持临床决策（CDS）。因此，目前还没有对机器学习和其他类型的数据驱动技术的研究如何有效地促进临床护理以及它们可以为临床医生带来的支持类型进行审查。在本文中，我们考虑的方式，其中两个数据驱动域-机器学习和数据可视化-可以有助于下一代的临床决策支持系统。我们回顾了有关启发式知识，机器学习和可视化的方式的文献-可以-应用于三种类型的CDS。已经有大量的研究使用预测建模的警报，但目前的CDS系统没有利用这些方法。利用交互式可视化和机器学习推理来组织和审查患者数据的方法越来越受欢迎，但仍处于原型阶段，尚未投入使用。CDS系统可以受益于规定性机器学习（例如，针对特定患者的治疗建议）尚未制定。我们讨论了缺乏部署的数据驱动的方法在CDS和未来的研究方向的潜在原因。
2019-06-06 cs.CY cs.LG stat.ML
Single and Union Non-parallel Support Vector Machine Frameworks
Hainan University（海南大学）；Beijing Jiaotong University（北京交通大学）；China Agricultural University（中国农业大学）
考虑到分类问题，我们将具有非平行超平面的非平行支持向量机归纳为两类框架。第一种类型分别构造超平面。它解决了一系列小的优化问题，以获得一系列的超平面，但很难衡量每个样本的损失。另一种是同时构造所有的超平面，它解决了一个大的优化问题，每个样本的确定损失。我们给出了每个框架的特点，并仔细比较它们。此外，基于第二个框架，我们构建了一个基于最大最小距离的非并行支持向量机的多类分类问题，称为NSVM。它通过求解一个优化问题来构造具有较大距离裕度的超平面。在基准数据集上的实验结果表明了该方法的优越性。
2021-06-25 cs.CV cs.LG stat.ML
Training with reduced precision of a support vector machine model for text classification
AGH University of Science and Technology（AGH科技大学）
研究了在支持向量机（SVM）的训练过程中，量化对多类文本分类效率的影响。这项工作的重点是比较效率的SVM模型训练使用降低精度与其原始形式。使用量化的主要优点是减少计算时间和专用硬件平台上的内存占用，该硬件平台支持低精度计算，如GPU（16位）或FPGA（任何位宽）。本文提出了一个精度降低的SVM训练过程中的文本分类精度的影响。CPU的实现使用了OpenMP库。此外，使用双精度，单精度和半精度的GPU的实现的结果。
2020-07-17 cs.CL cs.LG stat.ML
A Support Tensor Train Machine
The Department of Electrical and Electronic Engineering, The University of Hong Kong（香港大学电子与电气工程系）
本文提出支持张量列车机，通过将传统支持张量机中的秩一张量替换为张量列车，提升模型表达能力，实验验证其优于SVM和STM。
2018-04-17 cs.CV cs.LG cs.NA
L1-Regularized Functional Support Vector Machine
针对函数型数据分析中多元函数型协变量二分类的研究空白，提出$L_1$正则化函数型支持向量机及拟合算法，通过$L_1$惩罚识别相关协变量，在预测与特征选择上表现良好。
2025-08-08 cs.LG stat.CO stat.ML
Distributed estimation of principal support vector machines for sufficient dimension reduction
East China Normal University（华东师范大学）
主支持向量机方法（Li等人，2011）是一个强大的工具，充分的降维，取代原来的预测与他们的低维线性组合，而不会丢失信息。然而，主支持向量机方法的计算负担限制了其在海量数据中的应用。为了解决这个问题，我们在本文中提出了两个分布式估计算法的快速实现时，样本量是大的。这两种分布充分降维估计量具有与合并所有数据相同的统计效率，为它们在大规模数据集上的应用提供了严格的统计保证。这两种分布式算法进一步适用于主加权支持向量机（Shin等人，2016）用于在二进制分类中充分的降维。我们提出的方法的统计精度和计算复杂性进行了检查，通过全面的模拟研究和实际数据应用超过60万个样本。
2019-11-28 cs.LG math.ST stat.ML
Mixed Integer Linear Programming for Feature Selection in Support Vector Machine
Université Libre de Bruxelles（布鲁塞尔自由大学）；INRIA Lille Nord-Europe（法国里尔-北欧国家信息与自动化研究所）；Universidad de Cádiz（加的斯大学）
本文主要研究支持向量机（SVM）的特征选择问题。一个MILP制定提出的问题。在该公式中，通过包括预算约束来对构造分离超平面的合适特征的选择进行建模，该预算约束预先设置了分类过程中要使用的特征数量的限制。我们提出了一个精确的和启发式的程序来解决这个配方在一个有效的方式。最后，通过与一些已知数据集进行检查并与经典分类方法进行比较来验证该模型。
2018-08-07 cs.LG math.OC stat.ML
Spectral Algorithms for Computing Fair Support Vector Machines
UC Berkeley（加州大学伯克利分校）
分类器和评级分数倾向于隐含地编码偏差，其可能存在于训练数据中，针对受保护的类（即，年龄、性别或种族）。因此，了解如何设计分类器和分数以防止预测中的歧视是很重要的。本文开发了计算上易于处理的算法，用于设计准确但公平的支持向量机（SVM）。我们的方法对每个受保护类的协方差矩阵施加了约束，这导致了SVM公式中的非凸二次约束。我们开发迭代算法来计算公平的线性和核SVM的，解决了一系列的松弛构造使用谱分解的非凸约束。在几个数据集上的数值实验表明，它在实现高预测精度，同时确保公平的有效性。
2017-10-16 cs.LG math.OC stat.ML
Modified Frank-Wolfe Algorithm for Enhanced Sparsity in Support Vector Machine Classifiers
Universidad Autónoma de Madrid（马德里自治大学）；KU Leuven（鲁汶大学）
本文提出了一种新的训练加权L2支持向量机（SVM）的算法，该算法的灵感来自Candès等人的加权Lasso算法和Jaggi最近提出的Lasso和SVM之间的等价性。特别地，每个训练向量所需的余量被独立地设置，从而定义新的加权SVM模型。这些权重被选择为二进制的，并且它们在模型的训练期间自动适应，导致Frank-Wolfe优化算法的变体，其具有与原始算法基本相同的计算复杂性。如实验所示，该算法在计算上更便宜，因为它需要更少的迭代来收敛，并且它产生的模型在支持向量方面具有更稀疏的表示，并且相对于正则化超参数的选择更稳定。
2018-04-13 cs.AI cs.LG stat.ML
Privacy-Preserving Public Release of Datasets for Support Vector Machine Classification
University of Melbourne（墨尔本大学）
我们考虑公开发布用于支持向量机分类的数据集同时不侵犯数据主体的隐私（即，其私人信息存储在数据集中的个人）。为了隐私保护，使用加性噪声系统地混淆数据集。受Cramer-Rao界的启发，Fisher信息矩阵的迹的逆被用作隐私的度量。建立条件以确保从原始数据集提取的分类器和混淆的分类器彼此接近（捕获效用）。最佳的噪声分布是通过最大化的隐私和效用的措施的加权和确定的。证明了最优隐私保护噪声可以实现局部差分隐私。结果推广到更广泛的一类基于优化的监督机器学习算法。在多个数据集上证明了该方法的适用性。
2019-12-29 cs.CR cs.LG stat.ML
Low Rank Support Quaternion Matrix Machine
School of Mathematics and Statistics（数学与统计学学院）；Beijing Jiaotong University（北京交通大学）；College of Information and Management Science（信息与管理科学学院）；Henan Agricultural University（河南农业大学）
本文提出低秩支持四元数矩阵机，通过四元数代数处理RGB通道，提升颜色图像分类的准确率与效率。
2025-12-09 cs.CV cs.LG math.OC
Mean field variational Bayesian inference for support vector machine classification
提出了一种基于Polson & Scott（2012）的隐变量表示的支持向量机（SVM）均值场变分贝叶斯方法。这种表示允许规避许多与经典支持向量机相关的缺点，包括自动惩罚参数选择，处理相关样本，缺失数据和变量选择的能力。我们在模拟和真实数据集上证明，我们的方法很容易扩展到非标准情况，并且在保持计算效率的同时优于经典的SVM方法。
2013-05-13 stat.ME stat.ML
Support vector machines and linear regression coincide with very high-dimensional features
Columbia University（哥伦比亚大学）
支持向量机（SVM）和最小欧氏范数最小二乘回归是拟合线性模型的两种根本不同的方法，但是它们最近通过支持向量增殖现象在非常高维数据的模型中被连接，其中用于拟合SVM的每个训练样本都成为支持向量。在本文中，我们探讨了这一现象的普遍性，并作出以下贡献。首先，我们证明了一个超线性下限的维度（在样本大小方面）所需的支持向量增殖独立的特征模型，从以前的作品的上限相匹配。我们进一步识别了高斯特征模型中的急剧相变，限制了这种转变的宽度，并为其普遍性提供了实验支持。最后，我们假设，这种相变只发生在更高维的设置中的$\ell_1$变体的SVM，我们提出了一个新的几何表征的问题，可以阐明这种现象的一般$\ell_p$的情况下。
2021-10-27 cs.LG math.ST stat.ML
Instance-based entropy fuzzy support vector machine for imbalanced data
Seoul National University（首尔大学）
不平衡分类一直是机器学习的一个主要挑战，因为许多标准分类器主要关注平衡数据集，并且倾向于对大多数类有偏见的结果。本文对熵模糊支持向量机进行了改进，提出了基于实例的熵模糊支持向量机。EFSVM和IEFSVM都使用k-最近邻的熵信息来确定每个样本的模糊隶属度值，从而优先考虑每个样本的重要性。IEFSVM在增加邻域大小k时考虑每个样本熵模式的多样性，而EFSVM对所有样本使用固定邻域大小的单一熵信息。在模糊值隶属度的确定中，通过改变k值，可以反映样本近邻的成分由近到远的变化。在35个公开数据集和12个真实非平衡数据集上进行了数值实验，验证了IEFSVM的有效性，并利用受试者工作特征曲线下面积（AUC）与其他SVM和机器学习方法进行了性能比较。IEFSVM在不平衡率较高的数据集上显示出更高的AUC值，这意味着IEFSVM在处理类不平衡问题上是有效的。
2018-07-11 cs.IT cs.LG math.IT
Faster Support Vector Machines
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；University of Vienna（维也纳大学）
支持向量机（SVM）的时间复杂度阻碍了在具有数百万个数据点的巨大数据集上进行训练。最近，已经开发了训练SVM的多级方法，以允许在巨大的数据集上进行时间有效的训练。虽然常规SVM在一个耗时的优化步骤中执行整个训练，但多级SVM首先建立一个类似于原始问题的大小减小的问题层次，然后训练每个层次的SVM模型，受益于前一级的解决模型。我们提出了一个更快的多级支持向量机，使用标签传播算法来构建问题的层次结构。大量的实验表明，我们的方法是数量级的速度比以前最快的算法，同时具有可比的分类质量。例如，我们的一个顺序求解器平均比并行ThunderSVM算法快15倍，同时具有相似的分类质量。
2020-01-28 cs.DM cs.DS cs.LG
Modeling Weather-induced Home Insurance Risks with Support Vector Machine Regression
保险业是最易受气候变化影响的行业之一。对未来索赔数目和已发生损失的评估对于备灾和风险管理至关重要。在这个项目中，我们研究了降水对天气引起的家庭保险索赔和损失的联合动力学的影响。我们讨论的效用和限制等机器学习程序，支持向量机和人工神经网络，在预测未来的索赔动态和评估相关的不确定性。我们说明了我们的方法应用归因分析和预测天气引起的家庭保险索赔在加拿大大草原的一个中等规模的城市。
2021-03-15 stat.AP stat.ML
Application of Support Vector Machine Modeling and Graph Theory Metrics for Disease Classification
疾病分类是生物医学研究的关键要素。最近的研究已经证明，与传统的逻辑斯谛回归方法相比，诸如支持向量机（SVM）建模的机器学习技术产生类似或改进的预测能力。此外，已经发现社交网络度量可以为疾病建模提供有用的预测信息。在这项研究中，我们将模拟的社会网络指标与SVM相结合，预测糖尿病的行为风险因素监测系统的数据样本。在该数据集中，逻辑斯谛回归优于SVM，具有和不具有图形度量的模型的ROC指数分别为81.8和81.7。支持向量机与多项式内核的ROC指数为72.9和75.6，分别为模型与图形度量。虽然这没有执行以及逻辑斯谛回归，结果是一致的，与以前的研究利用SVM分类糖尿病。
2017-08-01 stat.ML
