On Neural Quantum Support Vector Machines
Bundesdruckerei GmbH（联邦印刷有限公司）
本文引入了带有量子核的神经量子支持向量机，并将先前提出的四种神经支持向量机训练算法的可行性与结果扩展至该量子设定。
2023-11-24 cs.LG quant-ph
Rgtsvm: Support Vector Machines on a GPU in R
Rgtsvm为R语言提供了一个快速灵活的支持向量机（SVM）实现。Rgtsvm的显着特点是支持向量分类和支持向量回归任务在图形处理单元（GPU）上实现，允许库扩展到数百万个示例，性能比现有实现提高>100倍。尽管如此，Rgtsvm保留了功能对等性，并且具有与R中流行的e1071 SVM包兼容的接口。总而言之，Rgtsvm使大型SVM模型能够由经验丰富的从业者和新手创建。
2017-06-17 cs.LG stat.ML
Safe and Efficient Screening For Sparse Support Vector Machine
筛选是一种有效的技术，通过删除保证不活动的过程中的功能，以加快稀疏学习模型的训练过程。提出了一种基于变分不等式的稀疏支持向量机的有效筛选方法。该技术既有效又安全。
2013-10-30 cs.LG stat.ML
Exploring the Entire Regularization Path for the Asymmetric Cost Linear Support Vector Machine
Gdansk University of Technology（格但斯克理工大学）；Polish Academy of Sciences（波兰科学院）
我们提出了一个算法，探索整个正则化路径的非对称成本的线性支持向量机。经验证据表明，支持向量机的预测能力取决于训练算法的正则化参数。探索整个正则化路径的算法已经被提出用于单成本支持向量机，从而提供关于超参数空间上的训练模型的行为的完整知识。考虑二维超参数空间中的问题，使我们的算法在处理特殊情况时保持更大的灵活性，并揭示了在一维空间中构建路径的算法所遇到的问题。我们展示了二维正则化路径的线性支持向量机，我们训练合成和真实的数据。
2016-10-12 cs.LG stat.ML
On the Consistency of the Bootstrap Approach for Support Vector Machines and Related Kernel Based Methods
University of Bayreuth（拜罗伊特大学）
证明了基于一般凸光滑损失函数和基于一般核函数的支持向量机的自举逼近是一致的。这一结果对于用Bootstrap方法逼近未知的有限样本分布是有用的。
2013-01-29 cs.LG stat.ML
On the proliferation of support vectors in high dimensions
Columbia University（哥伦比亚大学）；Georgia Institute of Technology（佐治亚理工学院）
支持向量机（SVM）是一种成熟的分类方法，其名称是指特定的训练样本，称为支持向量，其确定最大间隔分离超平面。当支持向量的数量与训练样本的数量相比很小时，SVM分类器具有良好的泛化性能。然而，最近的研究表明，在足够高维的线性分类问题中，SVM可以很好地推广，尽管所有训练样本都是支持向量的支持向量激增。在本文中，我们为支持向量增殖现象确定了新的确定性等价物，并使用它们来（1）大大拓宽了在高维环境中发生这种现象的条件，以及（2）证明了一个几乎匹配的逆结果。
2022-06-14 cs.LG math.ST stat.ML
Learning Theory and Support Vector Machines - a primer
Siegen, Germany（德国锡根（Siegen, Germany））
统计学习理论的主要目标是为基于数据集的决策和模型构建问题提供一个基本框架。在这里，我们简要介绍了统计学习理论的基本原理，特别是经验和结构风险最小化之间的区别，包括其最突出的实现之一，即支持向量机。
2019-02-12 cs.LG stat.ML
EnsembleSVM: A Library for Ensemble Learning Using Support Vector Machines
KU Leuven（鲁汶大学）
EnsembleSVM是一个免费的软件包，包含高效的例程，用于使用支持向量机（SVM）基础模型执行集成学习。它目前提供基于二进制SVM模型的集成方法。我们的实现避免了重复存储和评价的支持向量组成模型之间共享。实验结果表明，使用集成方法可以大大降低训练复杂度，同时保持高的预测精度。EnsembleSVM软件包可在http://esat.kuleuven.be/stadius/ensemblesvm上免费在线获得。
2014-03-04 cs.LG stat.ML
Fast Multilevel Support Vector Machines
Clemson University（克莱姆森大学）
在大规模训练数据上求解支持向量机的不同类型的优化模型（包括参数拟合）通常是一项昂贵的计算任务。本文提出了一种多级算法框架，有效地扩展到非常大的数据集。不是在一个优化过程中求解整个训练集，而是在数据的多个粗糙度级别上获得并逐渐细化支持向量。拟议框架包括：（a）大规模数据粗略表示的层次结构的构造，以及（b）在整个该层次结构中更新超平面的局部处理。我们的多级框架大大提高了计算时间，而不会失去分类器的质量。该算法被证明为定期和加权支持向量机。平衡和不平衡分类问题的实验结果。已观察到若干不平衡数据集的质量有所改善。
2014-10-13 cs.LG stat.ML
Optimal $γ$ and $C$ for $ε$-Support Vector Regression with RBF Kernels
基于数值和统计学的考虑，研究了RBF核和马氏核支持向量回归机的$C$和$γ$的有效确定，揭示了$C$和核之间的联系，并证明了映射空间中相邻观测值几何距离的偏差影响$ε$ -SVR的预测精度.确定了$γ$和$C$的排列方式，并提出了选择最佳值的方法。
2015-06-12 cs.LG stat.ML
A working likelihood approach to support vector regression with a data-driven insensitivity parameter
Queensland University of Technology（昆士兰科技大学）
支持向量回归中的不敏感参数决定了对预测影响很大的支持向量集。提出了一种数据驱动的方法来确定这个不敏感的参数的近似值，通过最小化广义损失函数源自似然原理。这种数据驱动的支持向量回归还使用噪声的尺度来统计样本。采用三种噪声（$ε$ -Laplacian分布、正态分布和均匀分布）的非线性和线性数值模拟，以及五个真实基准数据集，对所提方法的性能进行了测试.基于所有的模拟和五个案例研究，提出的支持向量回归机使用工作似然，数据驱动的不敏感参数是优越的，具有较低的计算成本。
2020-03-09 cs.LG stat.CO stat.ML
Maximal Margin Distribution Support Vector Regression with coupled Constraints-based Convex Optimization
Shanghai Tenth People's Hospital（上海市第十人民医院）；Tongji University（同济大学）；University of Texas at Arlington（德克萨斯大学阿灵顿分校）；Jilin University（吉林大学）；The Ohio State University（俄亥俄州立大学）
支持向量回归（SVR）是最流行的机器学习算法之一，其目标是通过最大化所选训练样本的最小间隔来生成最优回归曲线，即，支持向量最近的研究表明，最大化整个训练数据集的间隔分布，而不是少数支持向量的最小间隔，更容易获得更好的泛化性能。针对支持向量回归机（SVM）的边缘分布策略存在求解非凸二次优化问题困难的问题，提出了一种最大边缘分布支持向量回归机（MMD-SVR）模型，通过引入耦合约束因子，将非凸二次优化问题转化为线性约束的凸问题，该方法提高了支持向量回归机的训练可行性和效率。理论和实证分析表明了MMD-SVR的优越性。此外，数值实验表明，与经典的支持向量回归机相比，MMD-SVR可以显著提高预测精度，生成更光滑的回归曲线，具有更好的泛化能力。
2019-05-05 cs.LG stat.ML
Randomized Kernel Methods for Least-Squares Support Vector Machines
最小二乘支持向量机是一种常用的非线性回归和分类任务的核心方法。本文讨论了最小二乘支持向量机分类器的几种近似算法。所提出的方法是基于随机块核矩阵，我们表明，他们提供了良好的精度和可靠的缩放多类分类问题，相对较大的数据集。此外，我们提出了几个数值实验，说明所提出的方法的实用性。
2017-03-22 cs.LG physics.data-an stat.ML
Bayesian Nonlinear Support Vector Machines for Big Data
Humboldt University of Berlin（柏林洪堡大学）；G+J Digital Products Hamburg（汉堡G+J数字产品公司）
我们提出了一种快速推理方法贝叶斯非线性支持向量机，利用随机变分推断和诱导点。我们的实验表明，该方法比竞争贝叶斯方法更快，并且可以轻松扩展到数百万个数据点。它提供了比频率论竞争对手更多的功能，例如准确的预测不确定性估计和自动超参数搜索。
2017-07-18 cs.LG stat.ML
Inferring linear and nonlinear Interaction networks using neighborhood support vector machines
Aix Marseille University（艾克斯-马赛大学）；An-Najah National University（纳贾赫国立大学）
在本文中，我们考虑建模的背景下，时间序列和高维变量之间的相互作用。我们建议采取两种方法。第一种方法类似于邻域套索，即用支持向量机（SVM）代替套索模型。第二种是适用于时间序列的限制贝叶斯网络。我们使用线性，非线性数据集和两者的混合模拟我们的方法的效率。
2019-08-02 cs.LG stat.ML
Longitudinal Support Vector Machines for High Dimensional Time Series
Uppsala University（乌普萨拉大学）；Nanjing University of Posts and Telecommunications（南京邮电大学）
我们考虑从观察到的功能数据学习分类器的问题。在这里，每个数据点采用单个时间序列的形式，并包含许多特征。假设每个这样的系列带有一个二进制标签，学习预测一个新的未来的时间序列的标签的问题被认为是。在此基础上，将经典支持向量机中的{ \em margin}概念推广到连续数据情形。纵向支持向量机也是一个凸优化问题，并推导了其对偶形式。特定情况下的显着性检验的实证结果表明，这种创新的算法分析这种长期的多变量数据的有效性。
2020-02-22 cs.LG stat.ML
Quantum support vector machine for big data classification
Massachusetts Institute of Technology（麻省理工学院）；Google Research（谷歌研究院）
监督机器学习是基于已经分类的训练示例对新数据进行分类。在这项工作中，我们证明了支持向量机，一种优化的二元分类器，可以在量子计算机上实现，其复杂度在向量大小和训练示例数量上是对数的。在经典采样算法需要多项式时间的情况下，可以获得指数加速。这种量子大数据算法的核心是一种非稀疏矩阵求幂技术，用于有效地执行训练数据内积（内核）矩阵的矩阵求逆。
2014-07-10 cs.LG quant-ph
Near-Tight Margin-Based Generalization Bounds for Support Vector Machines
Aarhus University（奥胡斯大学）
支持向量机（SVM）是最基本的二进制分类工具之一。在其最简单的公式中，SVM使用数据的最大可能余量产生分离两类数据的超平面。通过大量的泛化界限，对最大化边际的关注得到了很好的激励。在本文中，我们重新审视和改进的经典推广界的边缘。此外，我们补充了我们的新的泛化边界的一个几乎匹配的下限，从而几乎解决了泛化性能的支持向量机的利润。
2020-06-03 cs.LG stat.ML
Generalized version of the support vector machine for binary classification problems: supporting hyperplane machine
Saint-Petersburg State University（圣彼得堡国立大学）；Research Institute of Influenza（流感研究所）
在本文中，提出了一个广义版本的支持向量机的二进制分类问题的情况下，使用任意变换x -> y。使用类似于经典SVM方法的方法。这个问题得到了广泛的解释。提出了各种配方的原始和对偶问题。对于最重要的情况之一的公式推导的细节。给出了一个简单的计算实例。该算法及其实现的Octave语言。
2014-04-15 cs.LG stat.ML
Bayesian Multicategory Support Vector Machines
University of California（加利福尼亚大学）
我们表明，多类支持向量机（MSVM）提出的李等。（2004），可以被视为在分类器的适当概率解释下的MAP估计过程。我们还表明，这种解释可以扩展到一个分层贝叶斯架构和一个完全贝叶斯推理过程的多类分类的基础上数据增强。我们目前的实证结果表明，贝叶斯形式主义的优势，而不会损失的分类精度。
2012-06-27 cs.LG stat.ML
Local Support Vector Machines:Formulation and Analysis
School of Computational Science & Engineering, Georgia Tech（佐治亚理工学院计算科学与工程学院）
我们提供了一个公式的本地支持向量机（LSVMs），概括了以前的配方，并带来了显式连接到本地多项式学习中使用的非参数估计文献。我们研究了最简单的LSVM类型，称为局部线性支持向量机（LLSVM）。对于第一次，我们建立的条件下，LLSVM贝叶斯一致的预测在每个测试点$x_0$。我们还建立了LLSVM的局部风险在每个点$x_0$收敛到期望局部风险最小值的速率。使用稳定性参数，我们建立了LLSVM的泛化误差界。
2013-09-14 cs.AI cs.LG stat.ML
Support vector machines and Radon's theorem
Colorado State University（科罗拉多州立大学）
支持向量机（SVM）是一种算法，其找到将$\mathbb{R}^n$中的标记数据点最佳地分成正类和负类的超平面。在这个分离超平面的边缘上的数据点被称为支持向量。我们连接的可能配置的支持向量的Radon定理，它提供了保证时，一组点可以分为两类（正和负）的凸包相交。如果正、负支持向量的凸包投影到一个分离超平面上，则投影相交当且仅当该超平面是最优的。此外，与一个特定类型的一般位置，我们表明，（a）的投影凸包的支持向量相交在一个点，（b）的支持向量是稳定的扰动下，（c）有最多$n+1$支持向量，和（d）从2到$n+1$的支持向量的任何数量是可能的。最后，我们进行计算机模拟研究的预期数量的支持向量，和他们的配置，随机生成的数据。我们观察到，对于这种类型的随机生成的数据，随着点类之间的距离增加，具有较少支持向量的配置变得更有可能。
2022-09-16 cs.LG math.CO math.GN
Tverberg's theorem and multi-class support vector machines
Baruch College（巴鲁克学院）；The Graduate Center, City University of New York（纽约城市大学研究生中心）
本文利用证明Tverberg定理的线性代数工具设计了多类SVM新模型，该模型需更少分类条件且可用现有二分类SVM算法计算，并证明了其理论保证及支持向量的几何特征。
2024-04-25 cs.LG
LIBTwinSVM: A Library for Twin Support Vector Machines
Iranian Research Institute for Information Science and Technology (IranDoc)（伊朗信息科学与技术研究院（IranDoc））；Islamic Azad University, North Tehran Branch（伊斯兰阿扎德大学北德黑兰分校）
本文介绍了LIBTwinSVM，一个免费的，高效的，开源的库双支持向量机（TSVM）。我们的库提供了一组有用的功能，如快速TSVM估计器，模型选择，可视化，图形用户界面（GUI）应用程序和Python应用程序编程接口（API）。基准测试结果表明，LIBTwinSVM库的大规模分类问题的有效性。LIBTwinSVM库的源代码、安装指南、文档和使用示例可在https://github.com/mir-am/LIBTwinSVM上获得。
2020-01-27 cs.LG stat.ML
Support vector machines and linear regression coincide with very high-dimensional features
Columbia University（哥伦比亚大学）
支持向量机（SVM）和最小欧氏范数最小二乘回归是拟合线性模型的两种根本不同的方法，但是它们最近通过支持向量增殖现象在非常高维数据的模型中被连接，其中用于拟合SVM的每个训练样本都成为支持向量。在本文中，我们探讨了这一现象的普遍性，并作出以下贡献。首先，我们证明了一个超线性下限的维度（在样本大小方面）所需的支持向量增殖独立的特征模型，从以前的作品的上限相匹配。我们进一步识别了高斯特征模型中的急剧相变，限制了这种转变的宽度，并为其普遍性提供了实验支持。最后，我们假设，这种相变只发生在更高维的设置中的$\ell_1$变体的SVM，我们提出了一个新的几何表征的问题，可以阐明这种现象的一般$\ell_p$的情况下。
2021-10-27 cs.LG math.ST stat.ML
Improving the Interpretability of Support Vector Machines-based Fuzzy Rules
The University of DaNang（岘港大学）；Hue University（顺化大学）
支持向量机和模糊规则系统在一定条件下是等价的。因此，在支持向量机领域中开发的学习算法可以用于自适应模糊系统的参数。从支持向量机中提取模糊模型具有固有的优点，即模型不需要事先确定规则的数量。然而，在支持向量机学习之后，复杂度通常较高，并且可解释性也受损。本文不仅提出了一个完整的框架，提取可解释的基于SVM的模糊模型，但也提供了模型的优化问题。仿真实例体现了本文的思想。
2014-08-22 cs.AI cs.LG
High-Performance Support Vector Machines and Its Applications
SAS Institute Inc（赛仕软件研究所公司）
支持向量机（SVM）算法是数据采掘和机器学习中一种流行的分类技术。在本文中，我们提出了一个分布式SVM算法，并证明其在一些应用程序中的使用。该算法被命名为高性能支持向量机（HPSVM）。HPSVM的主要贡献是双重的。首先，HPSVM提供了一种新的方式来将计算分发到云中的机器，而无需对数据进行洗牌。其次，HPSVM最大限度地减少了机器间的通信，以最大限度地提高性能。我们将HPSVM应用于一些现实世界的分类问题，并将其与R中在几个公共数据集上实现的最先进的SVM技术进行比较。HPSVM实现了类似或更好的结果。
2019-05-01 cs.DC cs.LG stat.ML
Brain-inspired Cognition in Next Generation Racetrack Memories
Center for Advancing Electronics Dresden (cfaed), TU Dresden（德累斯顿工业大学德累斯顿先进电子中心）；University of Pittsburgh（匹兹堡大学）
超维计算（Hyperdimensional Computing，HDC）是一种受大脑启发的新兴计算框架，它对具有数千维的向量进行操作以模拟认知。与对数字进行操作的传统计算框架不同，HDC与大脑一样，使用高维随机向量，并且能够进行一次性学习。HDC基于一组定义良好的算术运算，具有高度的容错能力。HDC的核心操作以批量逐位方式操纵HD向量，提供了许多利用并行性的机会。不幸的是，在传统的冯-诺依曼架构中，HD向量在处理器和存储器之间的连续移动会使认知任务变得非常缓慢和能量密集。硬件加速器只能略微改善相关指标。相反，使用新兴的忆阻器件，在存储器内仅部分实现HDC框架，已经报道了相当大的性能/能量增益。本文提出了一种基于赛道内存（RTM）的架构，在内存中进行和加速整个HDC框架。所提出的解决方案需要最少的附加CMOS电路，并使用跨RTM中的多个域的读取操作（称为横向读取（TR））来实现异或（XOR）和加法操作。为了最大限度地减少CMOS电路的开销，我们提出了一种基于RTM芯片的计数机制，利用TR操作和标准RTM操作。使用语言识别作为用例，与FPGA设计相比，整体运行时间和能耗分别减少了7.8倍和5.3倍。与最先进的内存实现相比，所提出的HDC系统将能耗降低了8.6倍。
2022-03-15 cs.AR cs.ET cs.LG
Algebraic multigrid support vector machines
Clemson University（克莱姆森大学）；BMW Group（宝马集团）
支持向量机是一种灵活的基于优化的技术，广泛用于分类问题。在实践中，由于参数拟合方法的复杂性和迭代次数、底层优化求解器以及内核的非线性等原因，其训练部分在大规模数据集上变得计算昂贵。我们引入了一个快速的多级框架求解支持向量机模型，启发了代数多重网格。在运行中取得了显着改善，而没有任何质量损失。所提出的技术是非常有益的不平衡集。我们展示了计算结果公开和工业数据集。
2016-11-24 cs.DS cs.LG stat.CO
Support Spinor Machine
Chulalongkorn University（朱拉隆功大学）；Slovak Academy of Sciences（斯洛伐克科学院）；Joint Institute for Nuclear Research（联合核研究所）
利用向量机上楔形积的数学结构，将支持向量机推广为支持旋量机，从而将向量场推广为旋量场。将分离后的超平面扩展到时间序列数据的Kolmogorov空间，从而将支持向量机的结构扩展到支持张量机和支持张量机模空间。在对时间序列数据进行经验模态分析后，对生理状态下的终点进行了一类分类，并与支持向量机进行了比较。我们利用Holo-Hilbert调幅实现了支持旋量机算法，用于完全非线性和非平稳的时间序列数据分析。
2017-09-11 cs.LG eess.SP q-fin.ST
Quantum-inspired sublinear classical algorithms for solving low-rank linear systems
University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们提出了经典的次线性时间算法求解低秩线性方程组。我们的算法的灵感来自HHL量子算法解决线性系统和最近的突破唐的量子算法的推荐系统。令$A \in \mathbb{C}^{m \times n}$是秩- $k$矩阵，并且$b \in \mathbb{C}^m$是向量。我们提出了两种算法：提供来自$A^{-1}b$的样本的“采样”算法和输出$A^{-1}b$的条目的估计的“查询”算法，其中$A^{-1}$表示Moore-Penrose伪逆。我们的两个算法都有查询和时间复杂度$O(\mathrm{poly}(k, κ, \|A\|_F, 1/ε)\,\mathrm{polylog}(m, n))$，其中$κ$是$A$的条件数，$ε$是精度参数。注意，我们考虑的算法是次线性时间，所以它们不能写入和读取整个矩阵或向量。在本文中，我们假设$A$和$b$具有众所周知的低开销数据结构，使得$A$和$b$的条目可以根据某些自然概率分布进行采样。或者，当$A$是半正定的，我们的算法可以适应，使采样假设$b$是不需要的。
2018-11-12 cs.DS cs.IR cs.LG
Speech Emotion Recognition Using Deep Sparse Auto-Encoder Extreme Learning Machine with a New Weighting Scheme and Spectro-Temporal Features Along with Classical Feature Selection and A New Quantum-Inspired Dimension Reduction Method
Razi University（拉齐大学）
情感计算在人机关系中占有重要地位。本文提出了一种基于语音信号的语音情感识别系统。该系统包括三个阶段：特征提取，特征选择，最后特征分类。在第一阶段中，使用诸如韵律、频谱和频谱-时间特征的新的和不同的特征的组合从语音信号和声门波形信号两者中提取长期统计特征的复杂集合。SER系统的挑战之一是区分相关的情绪。这些特征是语音情感的良好鉴别器，并且增加了SER识别相似和不同情感的能力。这种具有大量维度的特征向量自然具有冗余性。在第二阶段，使用经典的特征选择技术以及一个新的量子启发的技术，以减少特征向量的维数，减少了特征向量的维数。在第三阶段中，通过加权深度稀疏极端学习机（ELM）分类器对优化的特征向量进行分类。分类器进行分类在三个步骤：稀疏随机特征学习，正交随机投影使用奇异值分解（SVD）技术，并在最后一步使用广义吉洪诺夫正则化技术的判别分类。此外，许多现有的情感数据集遭受的问题，数据分布不平衡，这反过来又增加了分类错误，降低系统性能。本文还提出了一种新的加权方法来处理类不平衡，这是比现有的加权方法更有效。所提出的方法进行了评估三个标准的情感数据库。
2021-11-13 cs.LG cs.SD eess.AS
A Precise Performance Analysis of Support Vector Regression
在本文中，我们研究了硬和软支持向量回归技术适用于一组$n$线性测量的形式$y_i=\boldsymbolβ_\star^{T}{\bf x}_i +n_i$其中$\boldsymbolβ_\star$是一个未知的向量，$\left\{{\bf x}_i\right\}_{i=1}^n$的特征向量和$\left\{{n}_i\right\}_{i=1}^n$模型的噪声。特别是，在一些合理的假设下的数据的统计分布，我们的特点的可行性条件的硬支持向量回归机在高维度的制度，并在可行的情况下，推导出其风险的渐近近似。同样，我们研究了软支持向量回归机的测试风险作为其参数的函数。然后，我们的研究结果被用来优化调整干预硬和软支持向量回归算法的设计中的参数。基于我们的分析，我们说明，增加更多的样本可能是有害的支持向量回归机的测试性能，而它总是有益的，当参数的最佳选择。这样的结果提醒了在现代学习架构中观察到的类似现象，根据该现象，最佳调谐架构相对于样本数量呈现出下降的测试性能曲线。
2021-05-21 cs.LG
Modified Frank-Wolfe Algorithm for Enhanced Sparsity in Support Vector Machine Classifiers
Universidad Autónoma de Madrid（马德里自治大学）；KU Leuven（鲁汶大学）
本文提出了一种新的训练加权L2支持向量机（SVM）的算法，该算法的灵感来自Candès等人的加权Lasso算法和Jaggi最近提出的Lasso和SVM之间的等价性。特别地，每个训练向量所需的余量被独立地设置，从而定义新的加权SVM模型。这些权重被选择为二进制的，并且它们在模型的训练期间自动适应，导致Frank-Wolfe优化算法的变体，其具有与原始算法基本相同的计算复杂性。如实验所示，该算法在计算上更便宜，因为它需要更少的迭代来收敛，并且它产生的模型在支持向量方面具有更稀疏的表示，并且相对于正则化超参数的选择更稳定。
2018-04-13 cs.AI cs.LG stat.ML
e-Distance Weighted Support Vector Regression
Jilin University（吉林大学）；University of Aberdeen（阿伯丁大学）
提出了一种新的支持向量回归方法e-Distance Weighted Support Vector Regression（e-DWSVR），e-DWSVR解决了支持向量回归中的两个难题：一是噪声数据的处理;二是边界数据与整体数据分布不同时的处理。建议的e-DWSVR优化的最小利润率和平均功能利润率同时解决这两个问题。此外，我们使用双坐标下降（CD）和平均随机梯度下降（ASGD）的战略，使电子DWSVR可扩展到大规模的问题。我们报告了一些基准数据集上与现有方法相比，通过电子DWSVR获得的有希望的结果。
2016-10-27 cs.LG
Iteratively-Reweighted Least-Squares Fitting of Support Vector Machines: A Majorization--Minimization Algorithm Approach
La Trobe University（拉筹伯大学）；University of Queensland（昆士兰大学）
支持向量机是现代数据分析的重要工具。传统上，支持向量机已经通过二次规划来拟合，使用专用的或现成的算法。我们提出了一种替代方法，支持向量机拟合通过优化-最小化（MM）的范例。通过MM算法构造导出的算法可以在每次迭代时单调减少其目标，并且全局收敛到稳定点。我们证明了迭代加权最小二乘（IRLS）算法的建设，通过MM范式，SVM风险最小化问题，涉及铰链，最小二乘，平方铰链，逻辑损失，1-范数，2-范数，和弹性网惩罚。我们的算法的成功实现，通过一些数值例子。
2017-05-12 cs.LG stat.CO stat.ML
Insensitive Stochastic Gradient Twin Support Vector Machine for Large Scale Problems
Inner Mongolia University（内蒙古大学）；Hainan University（海南大学）；Capital University of Economics and Business（首都经济贸易大学）；China Agricultural University（中国农业大学）
随机梯度下降算法已成功地应用于支持向量机（称为PEGASOS）的许多分类问题。本文将随机梯度下降算法应用于双支持向量机的分类问题。与PEGASOS算法相比，所提出的随机梯度孪生支持向量机（SGTSVM）对随机梯度下降算法的随机采样不敏感。在理论上，我们证明了SGTSVM的收敛性，而不是PEGASOS的几乎必然收敛性。对于均匀采样，给出了SGTSVM与孪生支持向量机的近似关系，而PEGASOS只能得到支持向量机的近似关系.此外，非线性SGTSVM是直接从其线性的情况。在人工数据集和大规模问题上的实验结果表明，SGTSVM性能稳定，学习速度快。
2017-11-23 cs.CV cs.LG
Pathological Voice Classification Using Mel-Cepstrum Vectors and Support Vector Machine
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
发声障碍影响了世界各地的几个病人。由于在没有先进设备和训练有素的人员的情况下诊断声带疾病的固有困难，许多患者仍未得到诊断。为了减轻诊断的货币成本，最近使用数据分析来准确检测和诊断个体的成本有所增长。我们提出了一个廉价，高效和准确的模型来诊断患者是否患有FEMH 2018挑战中的三种发声障碍之一。
2018-12-19 cs.LG cs.SD eess.AS
Distributed estimation of principal support vector machines for sufficient dimension reduction
East China Normal University（华东师范大学）
主支持向量机方法（Li等人，2011）是一个强大的工具，充分的降维，取代原来的预测与他们的低维线性组合，而不会丢失信息。然而，主支持向量机方法的计算负担限制了其在海量数据中的应用。为了解决这个问题，我们在本文中提出了两个分布式估计算法的快速实现时，样本量是大的。这两种分布充分降维估计量具有与合并所有数据相同的统计效率，为它们在大规模数据集上的应用提供了严格的统计保证。这两种分布式算法进一步适用于主加权支持向量机（Shin等人，2016）用于在二进制分类中充分的降维。我们提出的方法的统计精度和计算复杂性进行了检查，通过全面的模拟研究和实际数据应用超过60万个样本。
2019-11-28 cs.LG math.ST stat.ML
A Quasi-Newton Method for Large Scale Support Vector Machines
University of Pennsylvania（宾夕法尼亚大学）
本文采用最近开发的正则化随机版本的Broyden，Fletcher，Goldfarb，和Shanno（BFGS）拟牛顿方法的解决方案的支持向量机分类问题。所提出的方法几乎肯定会收敛到最佳分类器的速度是线性的期望。数值结果表明，所提出的方法具有收敛速度下降的特征向量的维数平滑。
2014-02-20 cs.LG
TV-SVM: Total Variation Support Vector Machine for Semi-Supervised Data Classification
City University of Hong Kong（香港城市大学）
介绍了基于全变分（TV）、再生核希尔伯特空间（RKHS）、支持向量机（SVM）、Cheeger割、标记和未标记数据点的半监督数据分类算法。我们设计了二进制和多类半监督分类算法。我们比较了基于电视的分类算法与相关的基于拉普拉斯的算法，并表明，电视分类表现出显着更好的标记数据的数量是小的。
2012-10-02 cs.LG
Support Recovery of Sparse Signals from a Mixture of Linear Measurements
Syracuse University（雪城大学）；University of California, San Diego（加州大学圣地亚哥分校）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
从简单测量恢复稀疏向量的支持是一个广泛研究的问题，在压缩感知，1位压缩感知和更一般的单索引模型的框架下考虑。我们考虑这个问题的概括：混合物的线性回归，线性分类器的混合物，其中的目标是恢复支持的多个稀疏向量，只使用少量的可能有噪声的线性，1位测量分别。关键的挑战是来自不同向量的测量值是随机混合的。这两个问题最近也受到关注。在线性分类器的混合中，观测对应于随机未知向量所在的查询超平面的一侧，而在线性回归的混合中，我们观察到随机未知向量在查询超平面上的投影。从混合中恢复未知向量的主要步骤是首先识别所有单个分量向量的支持。在这项工作中，我们研究的测量数量足以恢复所有的分量向量的支持在这两个模型的混合物。我们提供的算法，使用一些测量多项式在$k, \log n$和准多项式在$\ell$，恢复支持的所有$\ell$未知向量的混合物具有高概率时，每个单独的组件是一个$k$稀疏$n$维向量。
2021-11-04 cs.IT cs.LG math.IT
Decomposing one-class support vector machine into an ensemble of one-data support vector machines
University of Hradec Králové（赫拉德茨-克拉洛韦大学）；Universiti Teknologi Malaysia（马来西亚理工大学）
针对一类支持向量机在大规模数据集上的可扩展性问题，提出将数据集分解为单个样本并训练单数据支持向量机，再通过集成学习组合模型，同时采用数据缩减策略加速，实验表明该方法在保持分类性能的同时显著提升速度。
2026-11-05 cs.LG
Support vector machines/relevance vector machine for remote sensing classification: A review
NIT Kurukshetra（库鲁克谢特拉国家技术学院）
基于核的机器学习算法基于将数据从原始输入特征空间映射到更高维度的核特征空间，以解决该空间中的线性问题。在过去的十年中，基于核的分类和回归方法，如支持向量机已被广泛用于遥感以及在各种土木工程应用。尽管支持向量机在不同的数据集上有更好的性能，但它仍然存在一些缺点，如模型的可视化/解释、核和核特定参数的选择以及正则化参数。相关向量机是另一种基于核的方法，在过去几年中被探索用于分类和回归。相关向量机优于支持向量机的优点是概率预测的可用性，使用任意核函数并且不需要设置正则化参数。本文介绍了支持向量机和RVM在遥感中的最新进展，并提供了它们在其他土木工程应用中的一些细节。
2011-01-15 cs.CV cs.LG
Algorithms for the Training of Neural Support Vector Machines
Bundesdruckerei GmbH（联邦印刷有限公司）
针对可融入领域知识的 NSVM，本文提出一组基于 Pegasos 的训练算法，并在标准机器学习任务上完成概念验证。
2023-08-14 cs.AI cs.LG
Towards an automated method based on Iterated Local Search optimization for tuning the parameters of Support Vector Machines
Philips Research（飞利浦研究院）
我们提供了初步的细节和制定的优化策略，根据目前的发展，是能够自动调整参数的支持向量机在新的数据集。优化策略是基于迭代局部搜索的启发式算法，迭代局部搜索是对经典爬山算法的修改，它迭代调用局部搜索例程。
2017-07-11 cs.AI cs.LG
Support Vector Machine Classification with Indefinite Kernels
Princeton University（普林斯顿大学）
提出了一种利用不定核的支持向量机分类方法。而不是直接最小化或稳定的非凸损失函数，我们的算法同时计算支持向量和一个代理核矩阵用于形成损失。这可以被解释为惩罚核学习问题，其中不确定的核矩阵被视为真实Mercer核的噪声观测。我们的配方保持问题的凸性和相对较大的问题，可以有效地解决使用投影梯度或分析中心切割平面方法。我们比较了我们的技术与其他方法在几个经典的数据集的性能。
2009-08-04 cs.AI cs.LG
Gradient Flows for L2 Support Vector Machine Training
University of Bonn（波恩大学）；Fraunhofer IAIS（弗劳恩霍夫智能分析与信息系统研究所）
通过求解常微分方程组，探讨了训练支持向量机进行二进制分类的优点。因此，我们假设一个连续的时间视角上的机器学习问题，这可能是（重新）新兴的硬件平台，如模拟或量子计算机上的实现感兴趣。
2022-08-08 cs.LG
Self-Aware Vector Embeddings for Retrieval-Augmented Generation: A Neuroscience-Inspired Framework for Temporal, Confidence-Weighted, and Relational Knowledge
Principal Consultant, CMC APAC（CMC APAC 主任顾问）
本文提出SmartVector框架，通过引入时间意识、置信度衰减和关系意识，改进检索增强生成系统，提升准确性与鲁棒性。
2026-04-22 cs.CL cs.DB cs.IR
An Evaluation of Support Vector Machines as a Pattern Recognition Tool
University of Maryland at College Park（马里兰大学帕克分校）
这份报告的目的是在检查的泛化性能的支持向量机（SVM）作为模式识别和对象分类的工具。这项工作的动机是日益普及的方法，声称保证一个良好的泛化性能的任务在手。该方法在MATLAB中实现。基于各种内核的支持向量机进行了测试，用于对来自各个领域的数据进行分类。
2014-12-13 cs.LG
Brain-Inspired Hyperdimensional Computing: How Thermal-Friendly for Edge Computing?
University of Stuttgart（斯图加特大学）
脑启发超维计算是一种新兴的机器学习方法。它基于二进制或双极性符号的大向量和一些简单的数学运算。HDC的承诺是为可穿戴设备等嵌入式系统提供高效的实现。虽然已经提出了快速实现，但尚未考虑边缘计算的其他约束。在这项工作中，我们的目标是回答边缘计算的热友好HDC是如何的。智能手表、智能眼镜甚至移动系统等设备由于体积有限，冷却预算有限。虽然HDC操作很简单，但向量很大，导致大量CPU操作，因此整个系统的负载很重，可能导致温度违规。在这项工作中，HDC对芯片的温度的影响进行了调查的第一次。我们测量了一个商用嵌入式系统的温度和功耗，并将HDC与传统的CNN进行了比较。我们发现，HDC导致高达6.8°C的温度升高，并导致高达47%的CPU节流。即使当HDC和CNN都以相同的吞吐量为目标时（即，虽然HDC每秒执行相似数量的分类），但由于更大的功耗，HDC仍然会导致更高的片上温度。
2022-04-05 cs.ET cs.LG cs.NE
Comprehensive Review On Twin Support Vector Machines
Indian Institute of Technology Indore（印度理工学院印多尔分校）；South Asian University（南亚大学）；Hainan University（海南大学）
双支持向量机（TWSVM）和双支持向量回归（TSVR）是近年来出现的两种有效的机器学习技术，分别为分类和回归问题提供了很有前途的解决方案。TWSVM基于识别两个非平行超平面的思想，将数据点分类到它们各自的类。支持向量机（支持向量机）要求求解两个小规模的二次规划问题，而支持向量机（TSVR）是在TWSVM的基础上发展起来的，需要求解两个SVM类问题。虽然这些技术已经取得了很好的研究进展，但关于TSVR不同变体的比较的文献有限。因此，本文对TWSVM和TSVR的最新研究进行了严格的分析，同时提到了它们的局限性和优势。首先介绍了支持向量机的基本理论，TWSVM，然后重点介绍了TWSVM的各种改进和应用，然后介绍了TSVR及其各种改进。最后，我们提出了未来的研究和发展前景。
2022-03-18 cs.AI cs.LG
General Regression Neural Networks, Radial Basis Function Neural Networks, Support Vector Machines, and Feedforward Neural Networks
这个项目的目的是开发一个代码来发现最大化F1得分的最佳sigma值和最大化准确性的最佳sigma值，并找出它们是否相同。可以用来解决这个问题的四种算法是：遗传回归神经网络（GRNNs），径向基函数（RBF）神经网络（RBFNNs），支持向量机（SVMs）和前馈神经网络（FFNNs）。
2019-11-16 cs.LG cs.NE cs.SY
Brain Inspired Computing Approach for the Optimization of the Thin Film Thickness of Polystyrene on the Glass Substrates
Stir Research Technologies（Stir研究技术公司）；Christian Albrechts University zu Kiel（基尔克里斯蒂安-阿尔布雷希特大学）
机器学习的出现对包括材料科学领域在内的各个领域都产生了深远的影响。本文重点介绍了多项式回归、决策树回归算法、随机森林算法、支持向量回归算法和人工神经网络算法等多种有监督机器学习回归算法在玻璃基板上聚苯乙烯薄膜厚度测量中的应用。结果表明，多项式回归机器学习算法优于所有其他机器学习模型，分别获得约0.96的决定系数和0.04的均方误差。
2021-07-21 cond-mat.mtrl-sci cs.LG
