An Investigation on Support Vector Clustering for Big Data in Quantum Paradigm
Amity University Uttar Pradesh（阿密提 Uttar Pradesh 大学）；Coventry University（考文垂大学）
支持向量聚类算法是基于使用高斯或多项式核的支持向量机的公知聚类算法。经典的支持向量聚类算法在一般情况下工作良好，但其性能下降时，应用于大数据。在本文中，我们已经研究了支持向量聚类算法的性能实现在一个量子范例可能的运行时的改进。我们已经开发和分析了量子版本的支持向量聚类算法。所提出的方法基于量子支持向量机和量子核（即，高斯和多项式）。所提出的量子版本的SVM聚类方法表现出显着的加速增益的整体运行时的复杂性相比，经典的。
2020-02-02 cs.LG stat.ML
On Neural Quantum Support Vector Machines
Bundesdruckerei GmbH（联邦印刷有限公司）
本文引入了带有量子核的神经量子支持向量机，并将先前提出的四种神经支持向量机训练算法的可行性与结果扩展至该量子设定。
2023-11-24 cs.LG quant-ph
Rgtsvm: Support Vector Machines on a GPU in R
Rgtsvm为R语言提供了一个快速灵活的支持向量机（SVM）实现。Rgtsvm的显着特点是支持向量分类和支持向量回归任务在图形处理单元（GPU）上实现，允许库扩展到数百万个示例，性能比现有实现提高>100倍。尽管如此，Rgtsvm保留了功能对等性，并且具有与R中流行的e1071 SVM包兼容的接口。总而言之，Rgtsvm使大型SVM模型能够由经验丰富的从业者和新手创建。
2017-06-17 cs.LG stat.ML
Safe and Efficient Screening For Sparse Support Vector Machine
筛选是一种有效的技术，通过删除保证不活动的过程中的功能，以加快稀疏学习模型的训练过程。提出了一种基于变分不等式的稀疏支持向量机的有效筛选方法。该技术既有效又安全。
2013-10-30 cs.LG stat.ML
Exploring the Entire Regularization Path for the Asymmetric Cost Linear Support Vector Machine
Gdansk University of Technology（格但斯克理工大学）；Polish Academy of Sciences（波兰科学院）
我们提出了一个算法，探索整个正则化路径的非对称成本的线性支持向量机。经验证据表明，支持向量机的预测能力取决于训练算法的正则化参数。探索整个正则化路径的算法已经被提出用于单成本支持向量机，从而提供关于超参数空间上的训练模型的行为的完整知识。考虑二维超参数空间中的问题，使我们的算法在处理特殊情况时保持更大的灵活性，并揭示了在一维空间中构建路径的算法所遇到的问题。我们展示了二维正则化路径的线性支持向量机，我们训练合成和真实的数据。
2016-10-12 cs.LG stat.ML
On the Consistency of the Bootstrap Approach for Support Vector Machines and Related Kernel Based Methods
University of Bayreuth（拜罗伊特大学）
证明了基于一般凸光滑损失函数和基于一般核函数的支持向量机的自举逼近是一致的。这一结果对于用Bootstrap方法逼近未知的有限样本分布是有用的。
2013-01-29 cs.LG stat.ML
Learning Theory and Support Vector Machines - a primer
Siegen, Germany（德国锡根（Siegen, Germany））
统计学习理论的主要目标是为基于数据集的决策和模型构建问题提供一个基本框架。在这里，我们简要介绍了统计学习理论的基本原理，特别是经验和结构风险最小化之间的区别，包括其最突出的实现之一，即支持向量机。
2019-02-12 cs.LG stat.ML
EnsembleSVM: A Library for Ensemble Learning Using Support Vector Machines
KU Leuven（鲁汶大学）
EnsembleSVM是一个免费的软件包，包含高效的例程，用于使用支持向量机（SVM）基础模型执行集成学习。它目前提供基于二进制SVM模型的集成方法。我们的实现避免了重复存储和评价的支持向量组成模型之间共享。实验结果表明，使用集成方法可以大大降低训练复杂度，同时保持高的预测精度。EnsembleSVM软件包可在http://esat.kuleuven.be/stadius/ensemblesvm上免费在线获得。
2014-03-04 cs.LG stat.ML
Fast Multilevel Support Vector Machines
Clemson University（克莱姆森大学）
在大规模训练数据上求解支持向量机的不同类型的优化模型（包括参数拟合）通常是一项昂贵的计算任务。本文提出了一种多级算法框架，有效地扩展到非常大的数据集。不是在一个优化过程中求解整个训练集，而是在数据的多个粗糙度级别上获得并逐渐细化支持向量。拟议框架包括：（a）大规模数据粗略表示的层次结构的构造，以及（b）在整个该层次结构中更新超平面的局部处理。我们的多级框架大大提高了计算时间，而不会失去分类器的质量。该算法被证明为定期和加权支持向量机。平衡和不平衡分类问题的实验结果。已观察到若干不平衡数据集的质量有所改善。
2014-10-13 cs.LG stat.ML
Optimal $γ$ and $C$ for $ε$-Support Vector Regression with RBF Kernels
基于数值和统计学的考虑，研究了RBF核和马氏核支持向量回归机的$C$和$γ$的有效确定，揭示了$C$和核之间的联系，并证明了映射空间中相邻观测值几何距离的偏差影响$ε$ -SVR的预测精度.确定了$γ$和$C$的排列方式，并提出了选择最佳值的方法。
2015-06-12 cs.LG stat.ML
Linear Classification of data with Support Vector Machines and Generalized Support Vector Machines
Mälardalen University（梅拉达伦大学）
本文对支持向量机进行了研究，提出了用于数据分类的广义支持向量机的概念。我们证明了广义支持向量机问题等价于广义变分不等式问题，并建立了解的存在性的各种结果。此外，我们提供了各种例子来支持我们的结果。
2016-05-31 cs.LG
Maximal Margin Distribution Support Vector Regression with coupled Constraints-based Convex Optimization
Shanghai Tenth People's Hospital（上海市第十人民医院）；Tongji University（同济大学）；University of Texas at Arlington（德克萨斯大学阿灵顿分校）；Jilin University（吉林大学）；The Ohio State University（俄亥俄州立大学）
支持向量回归（SVR）是最流行的机器学习算法之一，其目标是通过最大化所选训练样本的最小间隔来生成最优回归曲线，即，支持向量最近的研究表明，最大化整个训练数据集的间隔分布，而不是少数支持向量的最小间隔，更容易获得更好的泛化性能。针对支持向量回归机（SVM）的边缘分布策略存在求解非凸二次优化问题困难的问题，提出了一种最大边缘分布支持向量回归机（MMD-SVR）模型，通过引入耦合约束因子，将非凸二次优化问题转化为线性约束的凸问题，该方法提高了支持向量回归机的训练可行性和效率。理论和实证分析表明了MMD-SVR的优越性。此外，数值实验表明，与经典的支持向量回归机相比，MMD-SVR可以显著提高预测精度，生成更光滑的回归曲线，具有更好的泛化能力。
2019-05-05 cs.LG stat.ML
Bayesian Nonlinear Support Vector Machines for Big Data
Humboldt University of Berlin（柏林洪堡大学）；G+J Digital Products Hamburg（汉堡G+J数字产品公司）
我们提出了一种快速推理方法贝叶斯非线性支持向量机，利用随机变分推断和诱导点。我们的实验表明，该方法比竞争贝叶斯方法更快，并且可以轻松扩展到数百万个数据点。它提供了比频率论竞争对手更多的功能，例如准确的预测不确定性估计和自动超参数搜索。
2017-07-18 cs.LG stat.ML
Inferring linear and nonlinear Interaction networks using neighborhood support vector machines
Aix Marseille University（艾克斯-马赛大学）；An-Najah National University（纳贾赫国立大学）
在本文中，我们考虑建模的背景下，时间序列和高维变量之间的相互作用。我们建议采取两种方法。第一种方法类似于邻域套索，即用支持向量机（SVM）代替套索模型。第二种是适用于时间序列的限制贝叶斯网络。我们使用线性，非线性数据集和两者的混合模拟我们的方法的效率。
2019-08-02 cs.LG stat.ML
Longitudinal Support Vector Machines for High Dimensional Time Series
Uppsala University（乌普萨拉大学）；Nanjing University of Posts and Telecommunications（南京邮电大学）
我们考虑从观察到的功能数据学习分类器的问题。在这里，每个数据点采用单个时间序列的形式，并包含许多特征。假设每个这样的系列带有一个二进制标签，学习预测一个新的未来的时间序列的标签的问题被认为是。在此基础上，将经典支持向量机中的{ \em margin}概念推广到连续数据情形。纵向支持向量机也是一个凸优化问题，并推导了其对偶形式。特定情况下的显着性检验的实证结果表明，这种创新的算法分析这种长期的多变量数据的有效性。
2020-02-22 cs.LG stat.ML
Quantum support vector machine for big data classification
Massachusetts Institute of Technology（麻省理工学院）；Google Research（谷歌研究院）
监督机器学习是基于已经分类的训练示例对新数据进行分类。在这项工作中，我们证明了支持向量机，一种优化的二元分类器，可以在量子计算机上实现，其复杂度在向量大小和训练示例数量上是对数的。在经典采样算法需要多项式时间的情况下，可以获得指数加速。这种量子大数据算法的核心是一种非稀疏矩阵求幂技术，用于有效地执行训练数据内积（内核）矩阵的矩阵求逆。
2014-07-10 cs.LG quant-ph
Near-Tight Margin-Based Generalization Bounds for Support Vector Machines
Aarhus University（奥胡斯大学）
支持向量机（SVM）是最基本的二进制分类工具之一。在其最简单的公式中，SVM使用数据的最大可能余量产生分离两类数据的超平面。通过大量的泛化界限，对最大化边际的关注得到了很好的激励。在本文中，我们重新审视和改进的经典推广界的边缘。此外，我们补充了我们的新的泛化边界的一个几乎匹配的下限，从而几乎解决了泛化性能的支持向量机的利润。
2020-06-03 cs.LG stat.ML
Generalized version of the support vector machine for binary classification problems: supporting hyperplane machine
Saint-Petersburg State University（圣彼得堡国立大学）；Research Institute of Influenza（流感研究所）
在本文中，提出了一个广义版本的支持向量机的二进制分类问题的情况下，使用任意变换x -> y。使用类似于经典SVM方法的方法。这个问题得到了广泛的解释。提出了各种配方的原始和对偶问题。对于最重要的情况之一的公式推导的细节。给出了一个简单的计算实例。该算法及其实现的Octave语言。
2014-04-15 cs.LG stat.ML
Bayesian Multicategory Support Vector Machines
University of California（加利福尼亚大学）
我们表明，多类支持向量机（MSVM）提出的李等。（2004），可以被视为在分类器的适当概率解释下的MAP估计过程。我们还表明，这种解释可以扩展到一个分层贝叶斯架构和一个完全贝叶斯推理过程的多类分类的基础上数据增强。我们目前的实证结果表明，贝叶斯形式主义的优势，而不会损失的分类精度。
2012-06-27 cs.LG stat.ML
LIBTwinSVM: A Library for Twin Support Vector Machines
Iranian Research Institute for Information Science and Technology (IranDoc)（伊朗信息科学与技术研究院（IranDoc））；Islamic Azad University, North Tehran Branch（伊斯兰阿扎德大学北德黑兰分校）
本文介绍了LIBTwinSVM，一个免费的，高效的，开源的库双支持向量机（TSVM）。我们的库提供了一组有用的功能，如快速TSVM估计器，模型选择，可视化，图形用户界面（GUI）应用程序和Python应用程序编程接口（API）。基准测试结果表明，LIBTwinSVM库的大规模分类问题的有效性。LIBTwinSVM库的源代码、安装指南、文档和使用示例可在https://github.com/mir-am/LIBTwinSVM上获得。
2020-01-27 cs.LG stat.ML
MLPSVM:A new parallel support vector machine to multi-label learning
CHONGQING NORMAL UNIVERSITY（重庆师范大学）
多标签学习已经引起了机器学习社区的关注。问题转换方法Binary Relevance将熟悉的单标签转换为多标签算法。二进制相关法由于其结构简单、算法高效而得到广泛应用。但是二进制相关性没有考虑标签之间的联系，这使得处理某些任务变得很麻烦。本文提出了一种多标签学习算法，也可以用于单标签分类。它是在标准支持向量机的基础上，将原有的单决策超平面变为两个并行的决策超平面，称为多标记并行支持向量机（MLPSVM）。文章最后将MLPSVM与其他多标记学习算法进行了比较。实验结果表明，该算法在数据集上具有良好的性能.
2020-04-13 cs.LG stat.ML
A bagging and importance sampling approach to Support Vector Machines
Centro de Investigación en Matemáticas（数学研究中心）；Universidad Militar Nueva Granada（新格拉纳达军事大学）；Universidad de los Andes（安第斯大学）
一个重要性抽样和装袋方法来解决支持向量机（SVM）的问题，在大型数据库的背景下，提出和评估。我们的算法建立在Camelo等人（2015）提出的最近邻思想基础上。如在该参考文献中，本提议的目标是实现SVM问题的更快的解决方案，而没有预测误差的显著损失。基准的例子和理论方面的子样本方法进行了讨论，该方法的性能进行了评估。
2018-08-17 cs.LG stat.ML
A working likelihood approach to support vector regression with a data-driven insensitivity parameter
Queensland University of Technology（昆士兰科技大学）
支持向量回归中的不敏感参数决定了对预测影响很大的支持向量集。提出了一种数据驱动的方法来确定这个不敏感的参数的近似值，通过最小化广义损失函数源自似然原理。这种数据驱动的支持向量回归还使用噪声的尺度来统计样本。采用三种噪声（$ε$ -Laplacian分布、正态分布和均匀分布）的非线性和线性数值模拟，以及五个真实基准数据集，对所提方法的性能进行了测试.基于所有的模拟和五个案例研究，提出的支持向量回归机使用工作似然，数据驱动的不敏感参数是优越的，具有较低的计算成本。
2020-03-09 cs.LG stat.CO stat.ML
On the proliferation of support vectors in high dimensions
Columbia University（哥伦比亚大学）；Georgia Institute of Technology（佐治亚理工学院）
支持向量机（SVM）是一种成熟的分类方法，其名称是指特定的训练样本，称为支持向量，其确定最大间隔分离超平面。当支持向量的数量与训练样本的数量相比很小时，SVM分类器具有良好的泛化性能。然而，最近的研究表明，在足够高维的线性分类问题中，SVM可以很好地推广，尽管所有训练样本都是支持向量的支持向量激增。在本文中，我们为支持向量增殖现象确定了新的确定性等价物，并使用它们来（1）大大拓宽了在高维环境中发生这种现象的条件，以及（2）证明了一个几乎匹配的逆结果。
2022-06-14 cs.LG math.ST stat.ML
Variational Quantum Approximate Support Vector Machine with Inference Transfer
KAIST（韩国科学技术院）；Yonsei University（延世大学）；Qunova Computing, Inc.（Qunova计算公司）
基于核的量子分类器是用于复杂数据的超线性分类的最实用和最有影响力的量子机器学习技术。我们提出了一种变分量子近似支持向量机（VQASVM）算法，该算法证明了即使在NISQ计算机中量子操作也是可行的经验次二次运行时复杂度。我们在基于云的NISQ机器上用玩具示例数据集试验了我们的算法，作为概念证明。我们还在标准Iris flower和MNIST数据集上对其性能进行了数值研究，以确认其实用性和可扩展性。
2023-02-28 cs.LG quant-ph
Randomized Kernel Methods for Least-Squares Support Vector Machines
最小二乘支持向量机是一种常用的非线性回归和分类任务的核心方法。本文讨论了最小二乘支持向量机分类器的几种近似算法。所提出的方法是基于随机块核矩阵，我们表明，他们提供了良好的精度和可靠的缩放多类分类问题，相对较大的数据集。此外，我们提出了几个数值实验，说明所提出的方法的实用性。
2017-03-22 cs.LG physics.data-an stat.ML
Enumeration of Distinct Support Vectors for Interactive Decision Making
Hokkaido University（北海道大学）；Osaka University（大阪大学）；NTT Communication Science Laboratories（NTT通信科学实验室）
在常规预测任务中，机器学习算法输出全局优化其目标函数的单个最佳模型，该目标函数通常是准确性。因此，用户无法显式访问其他模型。与此相反，多模型枚举在非标准机器学习应用中吸引了越来越多的兴趣，其中其他标准，例如，可解释性或公平性比准确性更重要，且用户可能想要访问多于一个非最佳但合适模型。本文提出了一种支持向量机（SVM）的K-best模型枚举算法，给定数据集S和整数K>0，在对偶SVM问题中，按目标函数值降序枚举S上具有不同支持向量的K-best模型。基于对支持向量的格型结构的分析，我们的算法有效地找到了下一个最好的模型，具有较小的延迟。这在支持用户交互式检查他们对枚举模型的需求时很有用。通过在真实数据集上的实验，我们评估了我们的算法的效率和实用性。
2019-06-05 cs.LG stat.ML
Recursion-Free Online Multiple Incremental/Decremental Analysis Based on Ridge Support Vector Learning
本文提出了一种基于权值误差曲线的支持向量快速多重递增和递减机制。提出了一种无递归计算方法来预测新样本的拉格朗日乘子。本研究探讨脊支持向量模型，随后设计了一个递归的功能来自WEC。利用该函数，所有新的拉格朗日乘子可以一次计算，而不需要使用任何渐进的步长。此外，这样的函数放松了一个约束，其中新的多个拉格朗日乘子的增量应该是相同的，在以前的工作，从而很容易满足KKT条件的要求。所提出的机制不再需要典型的簿记策略，该策略通过检查每个增量轮中的所有训练样本来计算步长。
2016-10-11 cs.LG stat.ML
Local Support Vector Machines:Formulation and Analysis
School of Computational Science & Engineering, Georgia Tech（佐治亚理工学院计算科学与工程学院）
我们提供了一个公式的本地支持向量机（LSVMs），概括了以前的配方，并带来了显式连接到本地多项式学习中使用的非参数估计文献。我们研究了最简单的LSVM类型，称为局部线性支持向量机（LLSVM）。对于第一次，我们建立的条件下，LLSVM贝叶斯一致的预测在每个测试点$x_0$。我们还建立了LLSVM的局部风险在每个点$x_0$收敛到期望局部风险最小值的速率。使用稳定性参数，我们建立了LLSVM的泛化误差界。
2013-09-14 cs.AI cs.LG stat.ML
High-Performance Support Vector Machines and Its Applications
SAS Institute Inc（赛仕软件研究所公司）
支持向量机（SVM）算法是数据采掘和机器学习中一种流行的分类技术。在本文中，我们提出了一个分布式SVM算法，并证明其在一些应用程序中的使用。该算法被命名为高性能支持向量机（HPSVM）。HPSVM的主要贡献是双重的。首先，HPSVM提供了一种新的方式来将计算分发到云中的机器，而无需对数据进行洗牌。其次，HPSVM最大限度地减少了机器间的通信，以最大限度地提高性能。我们将HPSVM应用于一些现实世界的分类问题，并将其与R中在几个公共数据集上实现的最先进的SVM技术进行比较。HPSVM实现了类似或更好的结果。
2019-05-01 cs.DC cs.LG stat.ML
Tverberg's theorem and multi-class support vector machines
Baruch College（巴鲁克学院）；The Graduate Center, City University of New York（纽约城市大学研究生中心）
本文利用证明Tverberg定理的线性代数工具设计了多类SVM新模型，该模型需更少分类条件且可用现有二分类SVM算法计算，并证明了其理论保证及支持向量的几何特征。
2024-04-25 cs.LG
Modified Frank-Wolfe Algorithm for Enhanced Sparsity in Support Vector Machine Classifiers
Universidad Autónoma de Madrid（马德里自治大学）；KU Leuven（鲁汶大学）
本文提出了一种新的训练加权L2支持向量机（SVM）的算法，该算法的灵感来自Candès等人的加权Lasso算法和Jaggi最近提出的Lasso和SVM之间的等价性。特别地，每个训练向量所需的余量被独立地设置，从而定义新的加权SVM模型。这些权重被选择为二进制的，并且它们在模型的训练期间自动适应，导致Frank-Wolfe优化算法的变体，其具有与原始算法基本相同的计算复杂性。如实验所示，该算法在计算上更便宜，因为它需要更少的迭代来收敛，并且它产生的模型在支持向量方面具有更稀疏的表示，并且相对于正则化超参数的选择更稳定。
2018-04-13 cs.AI cs.LG stat.ML
Iteratively-Reweighted Least-Squares Fitting of Support Vector Machines: A Majorization--Minimization Algorithm Approach
La Trobe University（拉筹伯大学）；University of Queensland（昆士兰大学）
支持向量机是现代数据分析的重要工具。传统上，支持向量机已经通过二次规划来拟合，使用专用的或现成的算法。我们提出了一种替代方法，支持向量机拟合通过优化-最小化（MM）的范例。通过MM算法构造导出的算法可以在每次迭代时单调减少其目标，并且全局收敛到稳定点。我们证明了迭代加权最小二乘（IRLS）算法的建设，通过MM范式，SVM风险最小化问题，涉及铰链，最小二乘，平方铰链，逻辑损失，1-范数，2-范数，和弹性网惩罚。我们的算法的成功实现，通过一些数值例子。
2017-05-12 cs.LG stat.CO stat.ML
Support vector machines and linear regression coincide with very high-dimensional features
Columbia University（哥伦比亚大学）
支持向量机（SVM）和最小欧氏范数最小二乘回归是拟合线性模型的两种根本不同的方法，但是它们最近通过支持向量增殖现象在非常高维数据的模型中被连接，其中用于拟合SVM的每个训练样本都成为支持向量。在本文中，我们探讨了这一现象的普遍性，并作出以下贡献。首先，我们证明了一个超线性下限的维度（在样本大小方面）所需的支持向量增殖独立的特征模型，从以前的作品的上限相匹配。我们进一步识别了高斯特征模型中的急剧相变，限制了这种转变的宽度，并为其普遍性提供了实验支持。最后，我们假设，这种相变只发生在更高维的设置中的$\ell_1$变体的SVM，我们提出了一个新的几何表征的问题，可以阐明这种现象的一般$\ell_p$的情况下。
2021-10-27 cs.LG math.ST stat.ML
Sampling Method for Fast Training of Support Vector Data Description
SAS Institute（SAS研究所）
支持向量数据描述（SVDD）是一种流行的离群点检测技术，它构造了一个灵活的描述输入数据。对于大型训练数据集，SVDD计算时间很长，这限制了其在大数据过程监控应用中的使用。我们提出了一种新的迭代采样为基础的方法SVDD的训练。该方法通过对从训练数据集中替换选择的独立随机样本计算SVDD，在每次迭代时增量地学习训练数据描述。实验结果表明，该方法是非常快的，并提供了一个很好的数据描述。
2016-09-25 cs.LG stat.AP stat.ML
Algebraic multigrid support vector machines
Clemson University（克莱姆森大学）；BMW Group（宝马集团）
支持向量机是一种灵活的基于优化的技术，广泛用于分类问题。在实践中，由于参数拟合方法的复杂性和迭代次数、底层优化求解器以及内核的非线性等原因，其训练部分在大规模数据集上变得计算昂贵。我们引入了一个快速的多级框架求解支持向量机模型，启发了代数多重网格。在运行中取得了显着改善，而没有任何质量损失。所提出的技术是非常有益的不平衡集。我们展示了计算结果公开和工业数据集。
2016-11-24 cs.DS cs.LG stat.CO
Regularization approaches for support vector machines with applications to biomedical data
Harvard-MIT Health Sciences and Technology（哈佛-麻省理工学院健康科学与技术）；Massachusetts Institute of Technology（麻省理工学院）
支持向量机是一种基于统计学习理论的分类机器学习工具。给定一组训练数据，SVM找到一个超平面，该超平面将两个不同类别的数据点分开最大距离。虽然SVM的标准形式使用L2范数正则化，但其他正则化方法对于生物医学数据集特别有吸引力，例如，分类器系数值的稀疏性和可解释性是高度期望的特征。因此，在本文中，我们考虑了不同类型的SVM正则化方法，并在合成和真实生物医学数据集上进行了探索。
2017-10-29 cs.AI cs.LG stat.ML
Support Spinor Machine
Chulalongkorn University（朱拉隆功大学）；Slovak Academy of Sciences（斯洛伐克科学院）；Joint Institute for Nuclear Research（联合核研究所）
利用向量机上楔形积的数学结构，将支持向量机推广为支持旋量机，从而将向量场推广为旋量场。将分离后的超平面扩展到时间序列数据的Kolmogorov空间，从而将支持向量机的结构扩展到支持张量机和支持张量机模空间。在对时间序列数据进行经验模态分析后，对生理状态下的终点进行了一类分类，并与支持向量机进行了比较。我们利用Holo-Hilbert调幅实现了支持旋量机算法，用于完全非线性和非平稳的时间序列数据分析。
2017-09-11 cs.LG eess.SP q-fin.ST
Accelerate Support Vector Clustering via Spectrum-Preserving Data Compression
JD Logistics（京东物流）
本文提出一种保谱数据压缩框架，通过压缩数据保留聚类属性，实现支持向量聚类的大幅加速，在Pendigits和USPS上分别获得100倍和115倍加速且聚类质量更优。
2023-05-14 cs.AI cs.LG stat.ML
Ellipsoidal Subspace Support Vector Data Description
Tampere University（坦佩雷大学）；Finnish Environment Institute（芬兰环境研究所）；Aarhus University（奥胡斯大学）
在本文中，我们提出了一种新的方法将数据转换到一个低维空间优化一类分类。所提出的方法迭代地将数据转换到一个新的子空间优化的椭球封装的目标类数据。我们提供了线性和非线性配方所提出的方法。该方法考虑到子空间中的数据的协方差，因此，它产生一个更广义的解决方案相比，子空间支持向量数据描述的超球体。我们提出了不同的正则化条款表示类方差的投影空间。我们比较了经典的和最近提出的一类分类方法的结果，并在大多数情况下取得了更好的结果。所提出的方法也注意到收敛速度比最近提出的子空间支持向量数据描述。
2020-03-20 cs.AI cs.LG stat.ML
A Precise Performance Analysis of Support Vector Regression
在本文中，我们研究了硬和软支持向量回归技术适用于一组$n$线性测量的形式$y_i=\boldsymbolβ_\star^{T}{\bf x}_i +n_i$其中$\boldsymbolβ_\star$是一个未知的向量，$\left\{{\bf x}_i\right\}_{i=1}^n$的特征向量和$\left\{{n}_i\right\}_{i=1}^n$模型的噪声。特别是，在一些合理的假设下的数据的统计分布，我们的特点的可行性条件的硬支持向量回归机在高维度的制度，并在可行的情况下，推导出其风险的渐近近似。同样，我们研究了软支持向量回归机的测试风险作为其参数的函数。然后，我们的研究结果被用来优化调整干预硬和软支持向量回归算法的设计中的参数。基于我们的分析，我们说明，增加更多的样本可能是有害的支持向量回归机的测试性能，而它总是有益的，当参数的最佳选择。这样的结果提醒了在现代学习架构中观察到的类似现象，根据该现象，最佳调谐架构相对于样本数量呈现出下降的测试性能曲线。
2021-05-21 cs.LG
e-Distance Weighted Support Vector Regression
Jilin University（吉林大学）；University of Aberdeen（阿伯丁大学）
提出了一种新的支持向量回归方法e-Distance Weighted Support Vector Regression（e-DWSVR），e-DWSVR解决了支持向量回归中的两个难题：一是噪声数据的处理;二是边界数据与整体数据分布不同时的处理。建议的e-DWSVR优化的最小利润率和平均功能利润率同时解决这两个问题。此外，我们使用双坐标下降（CD）和平均随机梯度下降（ASGD）的战略，使电子DWSVR可扩展到大规模的问题。我们报告了一些基准数据集上与现有方法相比，通过电子DWSVR获得的有希望的结果。
2016-10-27 cs.LG
Pathological Voice Classification Using Mel-Cepstrum Vectors and Support Vector Machine
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
发声障碍影响了世界各地的几个病人。由于在没有先进设备和训练有素的人员的情况下诊断声带疾病的固有困难，许多患者仍未得到诊断。为了减轻诊断的货币成本，最近使用数据分析来准确检测和诊断个体的成本有所增长。我们提出了一个廉价，高效和准确的模型来诊断患者是否患有FEMH 2018挑战中的三种发声障碍之一。
2018-12-19 cs.LG cs.SD eess.AS
Distributed estimation of principal support vector machines for sufficient dimension reduction
East China Normal University（华东师范大学）
主支持向量机方法（Li等人，2011）是一个强大的工具，充分的降维，取代原来的预测与他们的低维线性组合，而不会丢失信息。然而，主支持向量机方法的计算负担限制了其在海量数据中的应用。为了解决这个问题，我们在本文中提出了两个分布式估计算法的快速实现时，样本量是大的。这两种分布充分降维估计量具有与合并所有数据相同的统计效率，为它们在大规模数据集上的应用提供了严格的统计保证。这两种分布式算法进一步适用于主加权支持向量机（Shin等人，2016）用于在二进制分类中充分的降维。我们提出的方法的统计精度和计算复杂性进行了检查，通过全面的模拟研究和实际数据应用超过60万个样本。
2019-11-28 cs.LG math.ST stat.ML
Support Recovery of Sparse Signals from a Mixture of Linear Measurements
Syracuse University（雪城大学）；University of California, San Diego（加州大学圣地亚哥分校）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
从简单测量恢复稀疏向量的支持是一个广泛研究的问题，在压缩感知，1位压缩感知和更一般的单索引模型的框架下考虑。我们考虑这个问题的概括：混合物的线性回归，线性分类器的混合物，其中的目标是恢复支持的多个稀疏向量，只使用少量的可能有噪声的线性，1位测量分别。关键的挑战是来自不同向量的测量值是随机混合的。这两个问题最近也受到关注。在线性分类器的混合中，观测对应于随机未知向量所在的查询超平面的一侧，而在线性回归的混合中，我们观察到随机未知向量在查询超平面上的投影。从混合中恢复未知向量的主要步骤是首先识别所有单个分量向量的支持。在这项工作中，我们研究的测量数量足以恢复所有的分量向量的支持在这两个模型的混合物。我们提供的算法，使用一些测量多项式在$k, \log n$和准多项式在$\ell$，恢复支持的所有$\ell$未知向量的混合物具有高概率时，每个单独的组件是一个$k$稀疏$n$维向量。
2021-11-04 cs.IT cs.LG math.IT
Improving the Interpretability of Support Vector Machines-based Fuzzy Rules
The University of DaNang（岘港大学）；Hue University（顺化大学）
支持向量机和模糊规则系统在一定条件下是等价的。因此，在支持向量机领域中开发的学习算法可以用于自适应模糊系统的参数。从支持向量机中提取模糊模型具有固有的优点，即模型不需要事先确定规则的数量。然而，在支持向量机学习之后，复杂度通常较高，并且可解释性也受损。本文不仅提出了一个完整的框架，提取可解释的基于SVM的模糊模型，但也提供了模型的优化问题。仿真实例体现了本文的思想。
2014-08-22 cs.AI cs.LG
A Quasi-Newton Method for Large Scale Support Vector Machines
University of Pennsylvania（宾夕法尼亚大学）
本文采用最近开发的正则化随机版本的Broyden，Fletcher，Goldfarb，和Shanno（BFGS）拟牛顿方法的解决方案的支持向量机分类问题。所提出的方法几乎肯定会收敛到最佳分类器的速度是线性的期望。数值结果表明，所提出的方法具有收敛速度下降的特征向量的维数平滑。
2014-02-20 cs.LG
TV-SVM: Total Variation Support Vector Machine for Semi-Supervised Data Classification
City University of Hong Kong（香港城市大学）
介绍了基于全变分（TV）、再生核希尔伯特空间（RKHS）、支持向量机（SVM）、Cheeger割、标记和未标记数据点的半监督数据分类算法。我们设计了二进制和多类半监督分类算法。我们比较了基于电视的分类算法与相关的基于拉普拉斯的算法，并表明，电视分类表现出显着更好的标记数据的数量是小的。
2012-10-02 cs.LG
Support vector machines and Radon's theorem
Colorado State University（科罗拉多州立大学）
支持向量机（SVM）是一种算法，其找到将$\mathbb{R}^n$中的标记数据点最佳地分成正类和负类的超平面。在这个分离超平面的边缘上的数据点被称为支持向量。我们连接的可能配置的支持向量的Radon定理，它提供了保证时，一组点可以分为两类（正和负）的凸包相交。如果正、负支持向量的凸包投影到一个分离超平面上，则投影相交当且仅当该超平面是最优的。此外，与一个特定类型的一般位置，我们表明，（a）的投影凸包的支持向量相交在一个点，（b）的支持向量是稳定的扰动下，（c）有最多$n+1$支持向量，和（d）从2到$n+1$的支持向量的任何数量是可能的。最后，我们进行计算机模拟研究的预期数量的支持向量，和他们的配置，随机生成的数据。我们观察到，对于这种类型的随机生成的数据，随着点类之间的距离增加，具有较少支持向量的配置变得更有可能。
2022-09-16 cs.LG math.CO math.GN
Decomposing one-class support vector machine into an ensemble of one-data support vector machines
University of Hradec Králové（赫拉德茨-克拉洛韦大学）；Universiti Teknologi Malaysia（马来西亚理工大学）
针对一类支持向量机在大规模数据集上的可扩展性问题，提出将数据集分解为单个样本并训练单数据支持向量机，再通过集成学习组合模型，同时采用数据缩减策略加速，实验表明该方法在保持分类性能的同时显著提升速度。
2026-11-05 cs.LG
Insensitive Stochastic Gradient Twin Support Vector Machine for Large Scale Problems
Inner Mongolia University（内蒙古大学）；Hainan University（海南大学）；Capital University of Economics and Business（首都经济贸易大学）；China Agricultural University（中国农业大学）
随机梯度下降算法已成功地应用于支持向量机（称为PEGASOS）的许多分类问题。本文将随机梯度下降算法应用于双支持向量机的分类问题。与PEGASOS算法相比，所提出的随机梯度孪生支持向量机（SGTSVM）对随机梯度下降算法的随机采样不敏感。在理论上，我们证明了SGTSVM的收敛性，而不是PEGASOS的几乎必然收敛性。对于均匀采样，给出了SGTSVM与孪生支持向量机的近似关系，而PEGASOS只能得到支持向量机的近似关系.此外，非线性SGTSVM是直接从其线性的情况。在人工数据集和大规模问题上的实验结果表明，SGTSVM性能稳定，学习速度快。
2017-11-23 cs.CV cs.LG
Probabilistic Kernel Support Vector Machines
Georgia Tech（佐治亚理工学院）；UCI（加州大学欧文分校）；Stony Brook University（石溪大学）
我们提出了一种概率增强的标准内核支持向量机的二进制分类，以解决的情况下，随着给定的数据集，描述的不确定性（例如，误差界限）可以在每个数据上可用。在本文中，我们特别考虑高斯分布模型的不确定性。因此，我们的数据包括对$(x_i,Σ_i)$，$i\in\{1,\ldots,N\}$，以及一个指示符$y_i\in\{-1,1\}$来声明每个对的两个类别之一的成员资格。这些对可以被视为分别表示在合适的线性空间（通常为$\mathbb R^n$）中取值的随机向量$ξ_i$的均值和协方差。因此，我们的设置也可以被视为支持向量机的修改，以分类分布，尽管目前只有高斯分布。我们概述的形式主义，允许计算合适的分类器通过一个自然的修改标准的“内核技巧。“这项工作的主要贡献是指出一个合适的核函数，用于将支持向量技术应用于设置不确定数据，其中详细的不确定性描述也是可用的（本文称为“高斯点”）。
2020-03-18 cs.LG cs.SY eess.SY
Gradient Flows for L2 Support Vector Machine Training
University of Bonn（波恩大学）；Fraunhofer IAIS（弗劳恩霍夫智能分析与信息系统研究所）
通过求解常微分方程组，探讨了训练支持向量机进行二进制分类的优点。因此，我们假设一个连续的时间视角上的机器学习问题，这可能是（重新）新兴的硬件平台，如模拟或量子计算机上的实现感兴趣。
2022-08-08 cs.LG
An Evaluation of Support Vector Machines as a Pattern Recognition Tool
University of Maryland at College Park（马里兰大学帕克分校）
这份报告的目的是在检查的泛化性能的支持向量机（SVM）作为模式识别和对象分类的工具。这项工作的动机是日益普及的方法，声称保证一个良好的泛化性能的任务在手。该方法在MATLAB中实现。基于各种内核的支持向量机进行了测试，用于对来自各个领域的数据进行分类。
2014-12-13 cs.LG
