Support-vector-machine with Bayesian optimization for lithofacies classification using elastic properties
Delft University of Technology(代尔夫特理工大学);Summit Exploration and Production Limited(萨米特勘探与生产有限公司)
我们研究了贝叶斯优化(BO)的适用性,以优化超参数与支持向量机(SVM),以分类相使用来自井数据在东中央地堑,UKCS的弹性属性。现场数据集的交会图产品似乎成功地与非线性边界进行了分类。虽然在BO方案中有一些因素需要预先确定,例如迭代次数,以处理预测精度和计算成本之间的权衡,但这种方法有效地减少了与SVM架构相关的可能的人为主观性。我们提出的工作流程可能是有益的资源勘探和开发方面的地下客观技术评价。
2022-03-14 cs.LG physics.geo-ph
Support Vector Machine Classification with Indefinite Kernels
Princeton University(普林斯顿大学)
提出了一种利用不定核的支持向量机分类方法。而不是直接最小化或稳定的非凸损失函数,我们的算法同时计算支持向量和一个代理核矩阵用于形成损失。这可以被解释为惩罚核学习问题,其中不确定的核矩阵被视为真实Mercer核的噪声观测。我们的配方保持问题的凸性和相对较大的问题,可以有效地解决使用投影梯度或分析中心切割平面方法。我们比较了我们的技术与其他方法在几个经典的数据集的性能。
2009-08-04 cs.AI cs.LG
Linear Classification of data with Support Vector Machines and Generalized Support Vector Machines
Mälardalen University(梅拉达伦大学)
本文对支持向量机进行了研究,提出了用于数据分类的广义支持向量机的概念。我们证明了广义支持向量机问题等价于广义变分不等式问题,并建立了解的存在性的各种结果。此外,我们提供了各种例子来支持我们的结果。
2016-05-31 cs.LG
TV-SVM: Total Variation Support Vector Machine for Semi-Supervised Data Classification
City University of Hong Kong(香港城市大学)
介绍了基于全变分(TV)、再生核希尔伯特空间(RKHS)、支持向量机(SVM)、Cheeger割、标记和未标记数据点的半监督数据分类算法。我们设计了二进制和多类半监督分类算法。我们比较了基于电视的分类算法与相关的基于拉普拉斯的算法,并表明,电视分类表现出显着更好的标记数据的数量是小的。
2012-10-02 cs.LG
Improving the Interpretability of Support Vector Machines-based Fuzzy Rules
The University of DaNang(岘港大学);Hue University(顺化大学)
支持向量机和模糊规则系统在一定条件下是等价的。因此,在支持向量机领域中开发的学习算法可以用于自适应模糊系统的参数。从支持向量机中提取模糊模型具有固有的优点,即模型不需要事先确定规则的数量。然而,在支持向量机学习之后,复杂度通常较高,并且可解释性也受损。本文不仅提出了一个完整的框架,提取可解释的基于SVM的模糊模型,但也提供了模型的优化问题。仿真实例体现了本文的思想。
2014-08-22 cs.AI cs.LG
Interpolated Discretized Embedding of Single Vectors and Vector Pairs for Classification, Metric Learning and Distance Approximation
Ariel University(阿里埃勒大学)
我们提出了一种新的嵌入方法,为一个单一的向量和一对向量。这种嵌入方法能够:a)单向量函数的有效分类和回归; b)距离函数的有效近似;以及c)非欧几里德半度量学习。据我们所知,这是第一个工作,使学习任何一般的,非欧几里德,semimetrics。也就是说,我们的方法是一种通用的半度量学习和近似方法,可以在有或没有半度量约束的情况下以所需的高精度近似任何距离函数。项目主页(包括代码)位于:http://www.ariel.ac.il/sites/ofirpele/ID
2016-08-08 cs.LG
Redesigning the classification layer by randomizing the class representation vectors
Bar-Ilan University(巴伊兰大学)
神经图像分类模型通常由两个部分组成。第一个是图像编码器,负责将给定的原始图像编码为代表性矢量。第二个是分类组件,通常通过将代表向量投影到目标类向量上来实现。估计目标类向量以及其余的模型参数,以便最小化损失函数。在本文中,我们分析了分类层的简单设计选择如何影响学习动态。我们发现,标准的交叉熵训练隐式地捕获了不同类别之间的视觉相似性,这可能会降低准确性,甚至阻止某些模型收敛。我们建议随机绘制类向量,并在训练过程中将其设置为固定的,从而使这些向量中编码的视觉相似性无效。我们分析了保持类向量固定的效果,并表明它可以增加类间的可分性,类内的紧凑性和整体模型的准确性,同时保持对图像损坏和学习概念的泛化的鲁棒性。
2020-11-29 cs.LG
Probabilistic Classification Vector Machine for Multi-Class Classification
University of Science and Technique of China(中国科学技术大学)
概率分类向量机(PCVM)综合了支持向量机和相关向量机的优点,为分类问题提供了稀疏贝叶斯解。然而,PCVM目前仅适用于二元情况。通过启发式投票策略(例如一对一或一对一)将PCVM扩展到多类情况通常会导致分类器做出相互矛盾的预测的困境,并且这些策略可能会失去概率输出的好处。为了克服这个问题,我们扩展了PCVM,提出了一种多类概率分类向量机(mPCVM)。两种学习算法,即,一个自顶向下算法和一个自底向上算法,已经在mPCVM中实现。自顶向下算法基于期望最大化算法获得参数的最大后验概率(MAP)点估计,自底向上算法是通过最大化边际似然的增量式算法。mPCVM的优越性能,特别是当调查的问题有大量的类,广泛的合成和基准数据集进行评估。
2020-06-29 cs.LG stat.ML
Performance Analysis of Multiclass Support Vector Machine Classification for Diagnosis of Coronary Heart Diseases
Sebelas Maret University(塞贝拉斯·马雷特大学);Gadjah Mada University(加查马达大学)
冠心病的自动诊断有助于医生做出诊断决策。冠心病有一定的类型和程度。参考UCI Repository数据集,它分为4种类型或级别,标记为1-4(低,中,高和严重)。诊断模型可以用多类分类方法进行分析。多类分类方法之一,其中之一是一个支持向量机(SVM)。支持向量机的使用是由于支持向量机在二进制分类中的强大性能。本研究研究应用多类性能分类支持向量机诊断冠心病的类型或程度。冠状动脉心脏病患者数据取自UCI Repository。本研究的阶段是预处理,包括对数据进行规范化处理,将数据分为数据训练和数据测试。多类分类和性能分析的下一阶段。本研究使用多分类支持向量机演算法,分别为:二元树支持向量机(BTSVM)、一对一(OAO)、一对全(OAA)、决策直接无环图(DDAG)及穷举输出错误校正码(ECOC)。使用的性能参数是召回率,精度,F-测量和整体准确度。
2015-11-16 cs.LG
Asymmetric Learning Vector Quantization for Efficient Nearest Neighbor Classification in Dynamic Time Warping Spaces
Technische Universität Berlin(柏林工业大学)
最近邻法和动态时间规整距离是时间序列分类中最常用的方法之一。这种方法对于大型训练集具有高存储和计算要求。为了解决这两个问题,本文将学习矢量量化(LVQ)从欧氏空间扩展到DTW空间。所提出的LVQ方案使用非对称加权平均作为更新规则。实验结果表明,非对称广义LVQ(GLVQ)优于其他国家的最先进的原型生成方法的最近邻分类的性能。
2017-03-24 cs.LG stat.ML
A Hybrid Approach with Multi-channel I-Vectors and Convolutional Neural Networks for Acoustic Scene Classification
Johannes Kepler University of Linz(林茨约翰内斯·开普勒大学)
在声学场景分类(ASC)中,遵循两种主要方法。虽然一个利用工程特征,如梅尔频率倒谱系数(MFCC),另一个使用学习的功能,是优化算法的结果。I向量是通常将工程特征作为输入的建模技术的结果。已经表明,从单声道音频信号提取的标准MFCC导致表现出较差性能的i向量,特别是在室内声学场景中。同时,卷积神经网络(CNN)以其通过优化滤波器来学习特征的能力而闻名。它们已被应用于ASC,并显示出可喜的结果。在本文中,我们首先提出了一种新的多通道i矢量提取和评分计划ASC,提高其性能的室内和室外场景。其次,我们提出了一个CNN架构,实现了有前途的ASC结果。此外,我们还证明了i向量和CNN从声学场景中捕获互补信息。最后,我们提出了一个混合系统ASC使用多通道i向量和CNN通过利用分数融合技术。使用我们的方法,我们参加了DCASE-2016挑战赛的ASC任务。我们的混合方法在49份提交的材料中获得了第一名,大大提高了以前的技术水平。
2017-06-20 cs.AI cs.LG cs.SD
Latent Space Energy-Based Model of Symbol-Vector Coupling for Text Generation and Classification
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
本文提出了一种基于潜在空间能量的先验文本生成和分类模型。该模型建立在一个基于连续特征向量的生成器网络上。先验模型的能量项耦合了一个连续的特征向量和一个符号化的独热向量,从而可以根据连续特征向量从观察到的样本中推断出离散类别。这样的潜在空间耦合自然地使得能够结合信息瓶颈正则化,以鼓励连续潜在向量从所观察到的示例中提取信息,该信息是底层类别的信息。在我们的学习方法中,符号向量耦合,生成器网络和推理网络联合学习。我们的模型可以在不提供类别标签的无监督设置中学习。它也可以在半监督设置中学习,其中为训练样本的子集提供类别标签。我们的实验表明,该模型学习结构良好和有意义的潜在空间,(1)指导生成器生成高质量,多样性和可解释性的文本,(2)有效地分类文本。
2021-08-26 cs.LG
Support vector machines/relevance vector machine for remote sensing classification: A review
NIT Kurukshetra(库鲁克谢特拉国家技术学院)
基于核的机器学习算法基于将数据从原始输入特征空间映射到更高维度的核特征空间,以解决该空间中的线性问题。在过去的十年中,基于核的分类和回归方法,如支持向量机已被广泛用于遥感以及在各种土木工程应用。尽管支持向量机在不同的数据集上有更好的性能,但它仍然存在一些缺点,如模型的可视化/解释、核和核特定参数的选择以及正则化参数。相关向量机是另一种基于核的方法,在过去几年中被探索用于分类和回归。相关向量机优于支持向量机的优点是概率预测的可用性,使用任意核函数并且不需要设置正则化参数。本文介绍了支持向量机和RVM在遥感中的最新进展,并提供了它们在其他土木工程应用中的一些细节。
2011-01-15 cs.CV cs.LG
Quantum support vector machine for big data classification
Massachusetts Institute of Technology(麻省理工学院);Google Research(谷歌研究院)
监督机器学习是基于已经分类的训练示例对新数据进行分类。在这项工作中,我们证明了支持向量机,一种优化的二元分类器,可以在量子计算机上实现,其复杂度在向量大小和训练示例数量上是对数的。在经典采样算法需要多项式时间的情况下,可以获得指数加速。这种量子大数据算法的核心是一种非稀疏矩阵求幂技术,用于有效地执行训练数据内积(内核)矩阵的矩阵求逆。
2014-07-10 cs.LG quant-ph
On Supervised Classification of Feature Vectors with Independent and Non-Identically Distributed Elements
Monash University(莫纳什大学)
在本文中,我们研究的问题,相互独立,但不同分布的元素的特征向量的分类。首先,我们要说明这个问题的重要性。接下来,我们提出了一个分类器,并推导出其错误概率的分析上限。我们表明,随着特征向量长度的增长,错误概率趋于零,即使每个标签只有一个训练特征向量。因此,我们表明,对于这个重要的问题,至少存在一个渐近最优分类器。最后,我们提供了数值例子,我们表明,所提出的分类器的性能优于传统的分类算法时,训练数据的数量是小的,特征向量的长度是足够高的。
2021-03-30 cs.IT cs.LG math.IT
Tverberg's theorem and multi-class support vector machines
Baruch College(巴鲁克学院);The Graduate Center, City University of New York(纽约城市大学研究生中心)
本文利用证明Tverberg定理的线性代数工具设计了多类SVM新模型,该模型需更少分类条件且可用现有二分类SVM算法计算,并证明了其理论保证及支持向量的几何特征。
2024-04-25 cs.LG
Weighting and Pruning based Ensemble Deep Random Vector Functional Link Network for Tabular Data Classification
Nanyang Technological University(南洋理工大学)
在本文中,我们首先将批量归一化引入edRVFL网络。这种重新归一化方法可以帮助网络避免隐藏特征的发散。然后,我们提出了新的变体的Ensemble深度随机向量功能链接(edRVFL)。加权edRVFL(WedRVFL)使用加权方法根据样本在前一层中如何自信地分类,在不同层中给予训练样本不同的权重,从而增加集成的多样性和准确性。此外,还提出了一种基于修剪的edRVFL(PedRVFL)。在生成下一个隐藏层之前,我们根据它们对分类的重要性修剪了一些低级神经元。通过这种方法,我们确保随机生成的劣质特征不会传播到更深层。随后,加权和修剪相结合,被称为加权和修剪的嵌入式深度随机向量功能链接网络(WPedRVFL),提出。我们在24个表格UCI分类数据集上将其性能与其他最先进的深度前馈神经网络(FNN)进行了比较。实验结果表明,我们提出的方法的优越性能。
2022-01-21 cs.AI cs.CV cs.LG
An Algorithm to perform Covariance-Adjusted Support Vector Classification in Non-Euclidean Spaces
本研究提出了一种在非欧几里得空间中通过协方差调整改进SVM分类的算法,通过引入数据协方差优化提升分类性能。
2026-03-10 cs.LG stat.ML
Fusing image representations for classification using support vector machines
Laboratoire Jean Kuntzmann(让·昆兹曼实验室);Institue of Science and Engineering(科学与工程学院);Université Joseph Fourrier(约瑟夫·傅里叶大学);Galatasaray University(加拉塔萨雷大学)
为了提高分类精度,通常结合不同的图像表示。这可以通过使用两种不同的融合方案来实现。在特征级融合方案中,图像表示在分类过程之前被组合。在分类器融合中,基于个体表示单独采取的决策被融合以做出决策。在本文中,这两种策略的主要方法得出的评价。我们的实验结果表明,分类器融合性能更好。具体来说,贝叶斯信念整合是图像分类任务的最佳执行策略。
2012-07-16 cs.CV cs.LG
Generalized Learning Vector Quantization for Classification in Randomized Neural Networks and Hyperdimensional Computing
Rice University(莱斯大学);UC Berkeley(加州大学伯克利分校);Research Institutes of Sweden(瑞典研究院)
部署在边缘设备上的机器学习算法必须满足一定的资源约束和效率要求。随机向量函数链接(RVFL)网络由于其简单的设计和训练效率而受到此类应用的青睐。我们提出了一种改进的RVFL网络,避免了在训练过程中计算昂贵的矩阵运算,从而扩大了网络的潜在应用范围。我们的修改取代了最小二乘分类器与广义学习矢量量化(GLVQ)分类器,它只采用简单的矢量和距离计算。GLVQ分类器也可以被认为是对超维计算领域中常用的某些分类算法的改进。所提出的方法在来自UCI机器学习存储库的数据集上实现了最先进的准确性-高于先前提出的RVFL网络。我们进一步证明,我们的方法仍然实现了高精度,同时在训练迭代中受到严重限制(平均仅使用最小二乘分类器计算成本的21%)。
2021-06-17 cs.LG
Deep Learning for Classification Tasks on Geospatial Vector Polygons
Vrije Universiteit Amsterdam(阿姆斯特丹自由大学);Kadaster(荷兰土地登记局);Geodan;University of Twente(特文特大学)
在本文中,我们评估了深度学习方法在地理空间矢量几何分类任务上的准确性。本次评估的目的是研究深度学习模型直接从几何坐标学习的能力。应用于地理空间多边形数据的先前机器学习研究不直接使用几何形状,而是导出其属性。这些是通过提取几何属性,如傅立叶描述符。相反,我们引入的深度神经网络架构能够学习直接从多边形映射的坐标序列。在三个分类任务中,我们证明了深度学习架构与需要提取特征的常见学习算法相比具有竞争力。
2019-06-11 cs.LG stat.ML
Pathological Voice Classification Using Mel-Cepstrum Vectors and Support Vector Machine
University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
发声障碍影响了世界各地的几个病人。由于在没有先进设备和训练有素的人员的情况下诊断声带疾病的固有困难,许多患者仍未得到诊断。为了减轻诊断的货币成本,最近使用数据分析来准确检测和诊断个体的成本有所增长。我们提出了一个廉价,高效和准确的模型来诊断患者是否患有FEMH 2018挑战中的三种发声障碍之一。
2018-12-19 cs.LG cs.SD eess.AS
Harnessing Quantum Support Vector Machines for Cross-Domain Classification of Quantum States
Indian Institute of Technology Jodhpur(焦特布尔印度理工学院);Central University of Punjab(旁遮普中央大学)
本文提出利用量子支持向量机进行量子态跨域分类,实现对两量子比特混合态的纠缠与可分性判别,并验证了其在贝尔对角态失谐分类及局域幺正扰动下的鲁棒性,优于经典方法。
2024-07-22 cs.LG quant-ph
Fully Bayesian Analysis of the Relevance Vector Machine Classification for Imbalanced Data
相关向量机(RVM)是一种基于贝叶斯稀疏模型的支持向量机(SVM)的监督学习算法。与回归问题相比,RVM分类问题由于权参数的后验不存在封闭形式的解而难以进行。原有的RVM分类算法采用牛顿法进行优化,得到权值参数的后验模,然后用拉普拉斯法用高斯分布近似权值参数后验模。它会工作,但只是在贝叶斯框架中应用频率方法。本文提出了一种通用贝叶斯方法的RVM分类。我们猜想,我们的算法实现了收敛估计的数量相比,原来的RVM分类算法的非收敛估计。在此基础上,提出了一种基于层次超先验结构的全贝叶斯RVM分类方法,提高了分类性能,尤其是在不平衡数据问题中。通过数值实验,我们提出的算法获得了很高的分类准确率。对于不平衡数据的分类,全贝叶斯层次超先验方法优于一般方法。
2022-10-27 cs.LG stat.CO stat.ML
Generalizing, Decoding, and Optimizing Support Vector Machine Classification
复杂数据的分类通常需要处理步骤的组合。在这里,一个主要的挑战是选择最佳的算法进行预处理和分类(包括参数化)。如今,优化过程的一部分是自动化的,但仍然需要专家知识和手工工作。我们提出了三个步骤来面对这个过程,并简化优化。也就是说,我们对经典分类器的理论观点,提供了一种方法来解释分类器与预处理,并将两者集成到一个框架,使半自动优化的处理链和接口众多的算法。
2018-01-15 cs.CV cs.LG stat.ML
An Investigation on Support Vector Clustering for Big Data in Quantum Paradigm
Amity University Uttar Pradesh(阿密提 Uttar Pradesh 大学);Coventry University(考文垂大学)
支持向量聚类算法是基于使用高斯或多项式核的支持向量机的公知聚类算法。经典的支持向量聚类算法在一般情况下工作良好,但其性能下降时,应用于大数据。在本文中,我们已经研究了支持向量聚类算法的性能实现在一个量子范例可能的运行时的改进。我们已经开发和分析了量子版本的支持向量聚类算法。所提出的方法基于量子支持向量机和量子核(即,高斯和多项式)。所提出的量子版本的SVM聚类方法表现出显着的加速增益的整体运行时的复杂性相比,经典的。
2020-02-02 cs.LG stat.ML
Generalized version of the support vector machine for binary classification problems: supporting hyperplane machine
Saint-Petersburg State University(圣彼得堡国立大学);Research Institute of Influenza(流感研究所)
在本文中,提出了一个广义版本的支持向量机的二进制分类问题的情况下,使用任意变换x -> y。使用类似于经典SVM方法的方法。这个问题得到了广泛的解释。提出了各种配方的原始和对偶问题。对于最重要的情况之一的公式推导的细节。给出了一个简单的计算实例。该算法及其实现的Octave语言。
2014-04-15 cs.LG stat.ML
Text classification using machine learning methods
University of Bucharest(布加勒斯特大学)
本研究利用多种词嵌入方法将产品名称转化为数值向量,并比较多种机器学习分类器,发现支持向量机、逻辑回归和随机森林准确率最高,FASTTEXT嵌入效果最佳。
2025-02-27 cs.CL cs.LG
Graph-based Interpolation of Feature Vectors for Accurate Few-Shot Classification
IMT Atlantique(大西洋国立高等矿业电信学校);Orange Labs(Orange实验室)
在Few-Shot分类中,目标是学习能够仅使用少量标记示例来区分类别的模型。在这种情况下,工作已经提出了引入图神经网络(GNN),旨在利用包含在其他样本中的信息同时处理,通常被称为在文献中的transductive设置。这些GNN都是用主干特征提取器一起训练的。在本文中,我们提出了一种新的方法,只依赖于图来插值特征向量,从而产生了一个没有额外参数的训练的直推学习设置。因此,我们所提出的方法利用了两个层次的信息:a)在通用数据集上获得的传递特征,b)从其他待分类样本中获得的转导信息。使用标准的Few-Shot视觉分类数据集,我们证明了它的能力,带来显着的收益相比,其他作品。
2021-01-28 cs.LG stat.ML
Beyond image classification: zooplankton identification with deep vector space embeddings
Institute of Marine Research(海洋研究所);University of Bergen(卑尔根大学)
浮游动物图像,像许多其他现实世界的数据类型,具有固有的属性,使有效的分类系统的设计困难。例如,在实际设置中遇到的类的数量可能非常大,并且类可能是模糊的或重叠的。此外,分类法的选择往往在研究人员之间和机构之间存在差异。虽然使用标准分类器架构的基准已经达到了很高的准确性,但当将产出用于生态系统评估和监测时,不灵活的分类方案所造成的偏差可能产生深远的影响。在这里,我们建议使用深度卷积网络来构建浮游动物图像的矢量嵌入。该系统将每个图像映射(嵌入)到高维欧几里得空间中,以便向量之间的距离反映图像之间的语义关系。我们表明,嵌入可以用来获得分类与一个特定的分类器相当的准确性,但它同时揭示了数据中的重要结构。此外,我们将嵌入应用于系统以前看不到的新类,并在这种情况下评估其分类性能。传统的神经网络分类器表现良好时,类是明确定义的先验,并有足够大的标记数据集可用。对于生态学和许多其他领域的实际情况,情况并非如此,我们认为这里提出的向量嵌入方法是一种更合适的方法。
2019-09-25 cs.CV cs.LG
Weighted Least Squares Twin Support Vector Machine with Fuzzy Rough Set Theory for Imbalanced Data Classification
University of Isfahan(伊斯法罕大学)
支持向量机(SVM)是为解决分类问题而开发的强大的监督学习工具。然而,支持向量机在不平衡数据的分类中可能表现不佳。粗糙集理论提供了一种在不确定情况下进行推理的数学工具,它提供了从数据中删除不相关信息的方法。在这项工作中,我们提出了一种方法,有效地利用模糊粗糙集理论的加权最小二乘双支持向量机称为FRLSTSVM分类的不平衡数据。第一个创新是引入了一种新的基于模糊粗糙集的欠采样策略,使分类器对不平衡数据具有鲁棒性。为了构造FRLSTSVM中的两个邻近超平面,少数类的数据点保持不变,而多数类中的数据点的子集使用一种新的方法来选择。在这个模型中,我们嵌入的LSTSVM配方的权重偏差,以克服在原来的双SVM的不平衡数据的分类偏差现象。为了确定这些权重在这个配方中,我们引入了一个新的策略,使用模糊粗糙集理论作为第二次创新。在著名的不平衡数据集上的实验结果表明,与传统的SVM方法相比,该模型在不平衡数据分类方面具有明显的优势。
2021-05-21 cs.CV cs.LG
byteSteady: Fast Classification Using Byte-Level n-Gram Embeddings
Element AI(Element AI公司);ServiceNow(ServiceNow公司)
本文介绍了byteSteady --一种使用字节级n-gram嵌入的快速分类模型。byteSteady假设每个输入都是一个字节序列。使用字节级n-gram的平均嵌入向量产生表示向量,其中预定义的集合为n。哈希技巧用于减少嵌入向量的数量。然后将该输入表示向量馈送到线性分类器中。byteSteady的一个直接应用是文本分类。我们还将byteSteady应用于一种非语言数据-用于基因分类的DNA序列。对于这两个问题,我们在强大的基线上取得了有竞争力的分类结果,这表明byteSteady可以应用于语言和非语言数据。此外,我们发现,使用霍夫曼编码的简单压缩不会显着影响结果,这提供了一个以前在机器学习中未探索的准确性-速度权衡。
2021-06-24 cs.CL cs.LG
Training with reduced precision of a support vector machine model for text classification
AGH University of Science and Technology(AGH科技大学)
研究了在支持向量机(SVM)的训练过程中,量化对多类文本分类效率的影响。这项工作的重点是比较效率的SVM模型训练使用降低精度与其原始形式。使用量化的主要优点是减少计算时间和专用硬件平台上的内存占用,该硬件平台支持低精度计算,如GPU(16位)或FPGA(任何位宽)。本文提出了一个精度降低的SVM训练过程中的文本分类精度的影响。CPU的实现使用了OpenMP库。此外,使用双精度,单精度和半精度的GPU的实现的结果。
2020-07-17 cs.CL cs.LG stat.ML
Musical Instrument Classification via Low-Dimensional Feature Vectors
音乐是一种神秘的语言,通过不同的音调和音色传达情感和思想。为了更好地理解音乐中的音色,我们选取了6种有代表性的乐器的音乐数据,分析了它们的音色特征,并对它们进行了分类。我们的项目是基于MFCC和LPC的组合,而不是目前的趋势神经网络的黑盒分类,并增加了一个6维的特征向量,我们设计了从观察和尝试。在我们的白盒模型中,我们观察到了区分不同音色的重要声音模式,并发现了客观数据和主观感觉之间的一些联系。使用一个完全32维的特征向量和一个朴素的全对SVM,我们实现了提高分类精度相比,一个单一的工具。我们也尝试分析从网上下载的音乐作品,找出不同乐器的演奏差异,探讨原因,并提出可能的改善方法。
2022-07-14 cs.LG cs.SD eess.AS
On Neural Quantum Support Vector Machines
Bundesdruckerei GmbH(联邦印刷有限公司)
本文引入了带有量子核的神经量子支持向量机,并将先前提出的四种神经支持向量机训练算法的可行性与结果扩展至该量子设定。
2023-11-24 cs.LG quant-ph
Rgtsvm: Support Vector Machines on a GPU in R
Rgtsvm为R语言提供了一个快速灵活的支持向量机(SVM)实现。Rgtsvm的显着特点是支持向量分类和支持向量回归任务在图形处理单元(GPU)上实现,允许库扩展到数百万个示例,性能比现有实现提高>100倍。尽管如此,Rgtsvm保留了功能对等性,并且具有与R中流行的e1071 SVM包兼容的接口。总而言之,Rgtsvm使大型SVM模型能够由经验丰富的从业者和新手创建。
2017-06-17 cs.LG stat.ML
K-Nearest Neighbour and Support Vector Machine Hybrid Classification
Institute of Technology at University of Kashmir(克什米尔大学技术学院)
本文提出了一种新的K-近邻和支持向量机混合分类方法,该方法简单、鲁棒。它是基于判别最近邻分类的概念。该技术包括使用K-最近邻分类的测试样本满足邻近条件。不通过邻近条件的图案被分离。其次是筛选的训练集的固定数量的模式,为每个类是最接近每个分离的测试模式分别,基于欧几里德距离度量。随后,对于每个分离的测试样本,支持向量机在与其相关联的筛选的训练集模式上进行训练,并且对测试样本进行分类。所提出的技术已被比较,在这一研究领域的最先进的。三个数据集,即美国邮政服务(USPS)手写数字数据集,MNIST数据集,和阿拉伯数字数据集,修改后的阿拉伯数字数据库,MADB,已被用来评估算法的性能。该算法通常优于与之比较的其他算法。
2020-06-28 cs.CV cs.LG stat.ML
Safe and Efficient Screening For Sparse Support Vector Machine
筛选是一种有效的技术,通过删除保证不活动的过程中的功能,以加快稀疏学习模型的训练过程。提出了一种基于变分不等式的稀疏支持向量机的有效筛选方法。该技术既有效又安全。
2013-10-30 cs.LG stat.ML
On the proliferation of support vectors in high dimensions
Columbia University(哥伦比亚大学);Georgia Institute of Technology(佐治亚理工学院)
支持向量机(SVM)是一种成熟的分类方法,其名称是指特定的训练样本,称为支持向量,其确定最大间隔分离超平面。当支持向量的数量与训练样本的数量相比很小时,SVM分类器具有良好的泛化性能。然而,最近的研究表明,在足够高维的线性分类问题中,SVM可以很好地推广,尽管所有训练样本都是支持向量的支持向量激增。在本文中,我们为支持向量增殖现象确定了新的确定性等价物,并使用它们来(1)大大拓宽了在高维环境中发生这种现象的条件,以及(2)证明了一个几乎匹配的逆结果。
2022-06-14 cs.LG math.ST stat.ML
Transfer learning extensions for the probabilistic classification vector machine
University for Applied Science Würzburg-Schweinfurt(维尔茨堡-施韦因富特应用科学大学)
迁移学习的重点是在新的环境中重用监督学习模型。突出的应用可以在机器人、图像处理或网络挖掘中找到。在这些领域中,学习场景自然会发生变化,但通常彼此相关,从而促进了现有监督模型的重用。当前的迁移学习模型既不稀疏也不可解释。如果方法必须在技术有限的环境中使用,并且由于隐私法规,可解释性变得越来越重要,那么稀疏性是非常可取的。在这项工作中,我们提出了两个迁移学习扩展集成到稀疏和可解释的概率分类向量机。他们在该领域的标准基准进行比较,并显示其相关性的稀疏性或性能改进。
2020-07-11 cs.LG stat.ML
Support vector machines and Radon's theorem
Colorado State University(科罗拉多州立大学)
支持向量机(SVM)是一种算法,其找到将$\mathbb{R}^n$中的标记数据点最佳地分成正类和负类的超平面。在这个分离超平面的边缘上的数据点被称为支持向量。我们连接的可能配置的支持向量的Radon定理,它提供了保证时,一组点可以分为两类(正和负)的凸包相交。如果正、负支持向量的凸包投影到一个分离超平面上,则投影相交当且仅当该超平面是最优的。此外,与一个特定类型的一般位置,我们表明,(a)的投影凸包的支持向量相交在一个点,(b)的支持向量是稳定的扰动下,(c)有最多$n+1$支持向量,和(d)从2到$n+1$的支持向量的任何数量是可能的。最后,我们进行计算机模拟研究的预期数量的支持向量,和他们的配置,随机生成的数据。我们观察到,对于这种类型的随机生成的数据,随着点类之间的距离增加,具有较少支持向量的配置变得更有可能。
2022-09-16 cs.LG math.CO math.GN
Exploring the Entire Regularization Path for the Asymmetric Cost Linear Support Vector Machine
Gdansk University of Technology(格但斯克理工大学);Polish Academy of Sciences(波兰科学院)
我们提出了一个算法,探索整个正则化路径的非对称成本的线性支持向量机。经验证据表明,支持向量机的预测能力取决于训练算法的正则化参数。探索整个正则化路径的算法已经被提出用于单成本支持向量机,从而提供关于超参数空间上的训练模型的行为的完整知识。考虑二维超参数空间中的问题,使我们的算法在处理特殊情况时保持更大的灵活性,并揭示了在一维空间中构建路径的算法所遇到的问题。我们展示了二维正则化路径的线性支持向量机,我们训练合成和真实的数据。
2016-10-12 cs.LG stat.ML
DCSVM: Fast Multi-class Classification using Support Vector Machines
Georgia Southern University(佐治亚南方大学)
我们提出了DCSVM,一个有效的多类分类算法,使用支持向量机。DCSVM是一种分而治之的算法,它依赖于在高维空间中的数据稀疏性,并执行一个智能的分区的整个训练数据集为不相交的子集,很容易分离。在两个分区之间执行的单个预测立即消除一个分区中的一个或多个类,仅留下减少数量的候选类用于后续步骤。该算法继续递归,在每一步减少类的数量,直到最后两个类之间的竞争中留下一个最终的二元决策。在最好的情况下,我们的算法在$O(\log k)$决策步骤中在$k$类之间做出最终决定,在最坏的情况下,DCSVM在$k-1$步骤中做出最终决定,这并不比现有的技术差。
2018-10-23 cs.LG stat.ML
On the Consistency of the Bootstrap Approach for Support Vector Machines and Related Kernel Based Methods
University of Bayreuth(拜罗伊特大学)
证明了基于一般凸光滑损失函数和基于一般核函数的支持向量机的自举逼近是一致的。这一结果对于用Bootstrap方法逼近未知的有限样本分布是有用的。
2013-01-29 cs.LG stat.ML
Support vector machine classification of dimensionally reduced structural MRI images for dementia
Stanford University(斯坦福大学)
我们使用支持向量机分类器对患者(CDR范围从0到2)中的极轻度到中度痴呆进行分类,该分类器作用于从OASIS-Brains数据集中的416名受试者的MRI脑扫描中获得的维度减少的特征集。我们使用图像分割和主成分分析来降低数据的维数。我们得到的功能集包含每个主题的11个功能。使用10倍交叉验证的分类器的性能进行评估。使用线性和(高斯)核,我们得到了86.4%(90.1%)的训练分类准确率,85.0%(85.7%)的测试准确率,68.7%(68.5%)的测试精度,68.0%(74.0%)的测试召回,和测试马修斯相关系数为0.594(0.616)。
2014-06-25 cs.CV cs.LG physics.med-ph
Virtual Vector Machine for Bayesian Online Classification
Microsoft Research(微软研究院);Purdue University(普渡大学)
在典型的在线学习场景中,要求学习器使用小的存储器缓冲器来处理大的数据流。这样的要求通常与学习者对预测准确性的主要追求相冲突。为了解决这个难题,我们引入了一种新的贝叶斯在线分类算法,称为虚拟向量机。虚拟向量机允许您平滑地权衡预测精度与内存大小。虚拟向量机通过在分类权重上的高斯分布加上恒定数量的虚拟数据点来总结包含在先前数据流中的信息。虚拟数据点被设计为添加关于分类权重的额外非高斯信息。为了保持虚拟点的数量不变,虚拟向量机将当前真实数据点添加到虚拟点集合中,将两个最相似的虚拟点合并为新的虚拟点,或者删除远离决策边界的虚拟点。在这个过程中丢失的信息被吸收到高斯分布中。由虚拟点提供的额外信息导致比以前的在线分类算法更高的预测准确性。
2012-05-09 cs.LG stat.ML
Shesop Healthcare: Stress and influenza classification using support vector machine kernel
Institut Teknologi Bandung(万隆理工学院)
Shesop是一个综合系统,使人类的生活更轻松,并在医疗保健方面帮助人们。压力和流感分类是Shesop应用于智能手表,Polar和Fitbit等医疗设备的一部分。本文的主要目的是对一个新的数据进行分类,并告知你是否有压力,抑郁,流感。我们将使用在万隆几个月的心率数据,分析数据,并找到与压力和流感水平不断相关的心率变化。在我们找到变量之后,我们将使用该变量作为支持向量机学习的输入。我们将使用拉格朗日和核技术将2D数据转换为3D数据,以便我们可以在3D空间中使用线性分类。最后,我们可以使用机器学习的结果对新数据进行分类,并立即得到最终结果:压力或流感。
2016-07-16 cs.CY cs.LG
Sentiment Analysis on IMDB Movie Comments and Twitter Data by Machine Learning and Vector Space Techniques
Muğla Sıtkı Koçman University(穆拉·斯特克·科奇曼大学)
本研究的目标是建立一个情感分析模型,对2000行IMDB电影评论和3200个Twitter数据,通过使用机器学习和向量空间技术,积极或消极的文本的初步信息是提供。在研究中,在KNIME Analytics平台中创建了一个向量空间,并通过决策树、朴素贝叶斯和支持向量机分类算法对该向量空间进行了分类研究。对每种算法的结论进行了比较。通过决策树、朴素贝叶斯和支持向量机算法对IMDB电影评论的分类结果分别为94,00%、73,20%和85,50%。决策树、朴素贝叶斯SVM算法对Twitter数据集的分类结果分别为82.76%、75.44%和72.50%。可以看出,在这两个数据集中呈现的最佳分类结果是由SVM算法计算的。
2019-03-18 cs.CL cs.IR cs.LG
Classification of Financial Data Using Quantum Support Vector Machine
研究量子核在金融数据(如达卡证券交易所综合指数数据集)上的适用性,在经验量子优势框架内,将量子核与经典RBF核支持向量机基线对比,提出最佳核并关联相关度量,还估计了大规模研究所需资源。
2026-07-08 cs.LG q-fin.ST quant-ph
Multi-view Vector-valued Manifold Regularization for Multi-label Image Classification
Peking University(北京大学);University of Technology, Sydney(悉尼科技大学);Nanyang Technological University(南洋理工大学)
在计算机视觉中,用于分类的图像数据集自然与多个标签相关联,并由多个视图组成,因为每个图像可能包含多个对象(例如行人,自行车和树木),并通过多个视觉特征(例如颜色,纹理和形状)进行适当表征。当前可用的工具忽略标签关系或视图互补。受向量值函数成功构造矩阵值核来探索输出空间中的多标签结构的启发,我们引入多视图向量值流形正则化(MV $\mathbf{^3}$ MR)来集成多个特征。MV $\mathbf{^3}$ MR利用不同特征的互补性,在流形正则化的主题下发现不同特征所共有的紧支撑的内在局部几何。我们在两个具有挑战性但流行的数据集PASCAL VOC' 07(VOC)和MIR Flickr(MIR)上进行了广泛的实验,并验证了所提出的MV $\mathbf{^3}$ MR用于图像分类的有效性。
2019-04-08 cs.CV cs.LG stat.ML
A working likelihood approach to support vector regression with a data-driven insensitivity parameter
Queensland University of Technology(昆士兰科技大学)
支持向量回归中的不敏感参数决定了对预测影响很大的支持向量集。提出了一种数据驱动的方法来确定这个不敏感的参数的近似值,通过最小化广义损失函数源自似然原理。这种数据驱动的支持向量回归还使用噪声的尺度来统计样本。采用三种噪声($ε$ -Laplacian分布、正态分布和均匀分布)的非线性和线性数值模拟,以及五个真实基准数据集,对所提方法的性能进行了测试.基于所有的模拟和五个案例研究,提出的支持向量回归机使用工作似然,数据驱动的不敏感参数是优越的,具有较低的计算成本。
2020-03-09 cs.LG stat.CO stat.ML
Series of quasi-uniform scatterings with fast search, root systems and neural network classifications
本文提出了一种基于半单李群不可约表示构造大规模可扩展向量集合的方法,用于神经网络潜在空间配置和分类任务。
2025-12-04 cs.LG math.AG math.RT
W-RNN: News text classification based on a Weighted RNN
大多数信息都是以文本的形式存储的,因此文本挖掘被认为具有很高的商业潜力。针对基于稀疏表示的分类方法存在的语义约束问题,提出了一种加权递归神经网络(W-RNN),能够充分提取文本序列化语义信息。针对文本数据表示中特征维数高、语义关系不清晰的问题,首先利用词向量表示文本中的词汇,然后利用递归神经网络(RNN)对序列化文本数据进行特征提取。然后,使用词向量的中间输出对词向量进行自动加权和求和,以形成文本表示向量。最后,利用神经网络进行分类。在新闻数据集上对W-RNN进行了验证,证明W-RNN在精度、召回率、F1和损失值方面优于其他四种基线方法,适合于文本分类。
2019-09-28 cs.IR cs.LG stat.ML
Randomized Kernel Methods for Least-Squares Support Vector Machines
最小二乘支持向量机是一种常用的非线性回归和分类任务的核心方法。本文讨论了最小二乘支持向量机分类器的几种近似算法。所提出的方法是基于随机块核矩阵,我们表明,他们提供了良好的精度和可靠的缩放多类分类问题,相对较大的数据集。此外,我们提出了几个数值实验,说明所提出的方法的实用性。
2017-03-22 cs.LG physics.data-an stat.ML