GPU-Accelerated Primal Learning for Extremely Fast Large-Scale Classification
University of California, Davis(加州大学戴维斯分校)
解决L2正则化原始问题的最有效方法之一,如逻辑回归和线性支持向量机(SVM)分类,是广泛使用的信赖域牛顿算法,TRON。虽然TRON最近被证明在共享内存多核系统上有很大的加速,但由于算法的高度复杂性和严重的顺序性,利用图形处理单元(GPU)来加速该方法要困难得多。在这项工作中,我们表明,使用明智的GPU优化原则,TRON针对不同损失和特征表示的训练时间可能会大大减少。对于稀疏特征集,我们表明,使用GPU训练逻辑回归分类器在LIBLINEAR是一个数量级的速度比单独使用多线程。对于密集的特征集-这会带来更严格的内存限制-我们表明GPU大大减少了最先进的蛋白质组学分析所需的冗长的SVM学习时间,从而大大改善了最近提出的加速。此外,我们展示了如何将GPU加速与多线程混合,以便在数据集对于GPU内存需求来说太大时实现此类加速;在近25亿数据实例的大规模密集蛋白质组学数据集上,这些混合架构加速将SVM分析时间从半周以上减少到不到一天,同时使用有限的GPU内存。
2020-10-15 cs.DC cs.LG q-bio.QM
An Empirical Comparison of SVM and Some Supervised Learning Algorithms for Vowel recognition
National School of Engineering of Tunis-ENIT(突尼斯国家工程学院)
在这篇文章中,我们进行了一些监督学习算法的元音识别性能的研究。本研究旨在比较每种算法的准确性。因此,我们提出了五个监督学习分类器和两个组合分类器:SVM,KNN,朴素贝叶斯,二次贝叶斯正常(QDC)和最接近的平均值之间的实证比较。这些算法进行了测试,元音识别使用TIMIT语料库和梅尔频率倒谱系数(MFCC)。
2015-07-22 cs.CL cs.LG
Patch Based Classification of Remote Sensing Data: A Comparison of 2D-CNN, SVM and NN Classifiers
NIT Kurukshetra(库鲁克谢特拉国家技术学院)
基于像素的算法包括反向传播神经网络(NN)和支持向量机(SVM)已被广泛用于遥感图像分类。在过去的几年里,基于深度学习的图像分类器,如卷积神经网络(2D-CNN)正在成为这些分类器的流行替代品。在本文中,我们比较了基于补丁的SVM和NN与由2D-CNN和全连接层组成的深度学习算法的性能。类似于CNN利用图像补丁来获得进一步分类的特征,我们建议使用补丁作为输入,代替SVM和NN分类器的单个像素。两个数据集,一个多光谱和其他高光谱数据被用来比较不同的分类器的性能。两个数据集的结果表明,与最先进的2D-CNN分类器相比,基于补丁的SVM和NN分类器的有效性。
2020-06-21 cs.CV cs.LG
Comparison of Support Vector Machine and Back Propagation Neural Network in Evaluating the Enterprise Financial Distress
Fooyin University(辅英大学);Shu-Te University(树德科技大学)
近年来,将数据采掘这一新兴技术应用于企业财务困境的评估得到了广泛的研究。支持向量机(Support Vector Machine,SVM)和反向传播神经网络(Back Propagation Neural Network,BPN)在规则提取、分类和评价等领域有着良好的推广效果。本文提出了一种基于高斯径向基核支持向量机的企业财务困境评价模型。BPN网络被认为是用于多层神经网络有监督训练的最简单和最通用的方法之一。比较结果表明,通过性能指标之间的差异是边际的,支持向量机给出了更高的精度和更低的出错率。
2010-07-29 cs.LG
Gradient Descent Averaging and Primal-dual Averaging for Strongly Convex Optimization
Institute of Evaluation and Assessment Research, Academy of Military Science(军事科学院评估论证研究中心);Command and Control Engineering College, Army Engineering University(陆军工程大学指挥控制工程学院);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
平均化方案在深度学习和传统机器学习中引起了广泛的关注。它实现了理论上的最优收敛,也提高了经验模型的性能。然而,对于强凸优化问题,目前还缺乏足够的收敛性分析。通常情况下,由于对数因子的存在,梯度下降方法关于最后一阶的收敛性(称为个体收敛性)不能达到最优。为了消除这个因素,我们首先开发梯度下降平均(GDA),这是一个通用的投影为基础的双重平均算法在强凸设置。我们进一步提出了原始-对偶平均强凸的情况下(SC-PDA),原始和对偶平均计划同时利用。我们证明了GDA产生的最佳收敛速度的输出平均,而SC-PDA得出的最佳个人收敛。在支持向量机和深度学习模型上的实验验证了理论分析的正确性和算法的有效性。
2021-01-17 cs.LG math.OC
A comparison of SVM and RVM for Document Classification
FAST-NU, Karachi Campus(FAST-NU卡拉奇校区)
文档分类是将新的未分类文档分配到预定义的类集合之一的任务。基于内容的文档分类使用文档的内容和一些加权标准来将其分配到预定义的类之一。它是图书馆学、电子文献管理系统和情报学的一个重要课题。本文研究了使用两种不同的分类技术(1)支持向量机(SVM)和(2)相关向量机(RVM)进行文档分类。支持向量机是一种有监督的机器学习技术,可用于分类任务。在其基本形式中,SVM将数据的实例表示到空间中,并试图通过分离类别的最大可能宽间隙(超平面)来分离不同的类别。另一方面,RVM使用概率测度来定义这个分离空间。RVM使用贝叶斯推理获得简洁的解决方案,因此RVM使用显着较少的基函数。在三个标准文本分类数据集上的实验研究表明,RVM虽然需要更多的训练时间,但其分类性能要优于SVM。
2013-01-13 cs.IR cs.LG
A Comparison of SVM against Pre-trained Language Models (PLMs) for Text Classification Tasks
Western University(韦仕敦大学);IBM Canada(IBM加拿大)
预训练的语言模型(PLM)的出现在包括文本分类在内的许多自然语言处理(NLP)任务中取得了巨大成功。由于使用这些模型时所需的功能工程很少甚至没有,PLM正在成为任何NLP任务的事实上的选择。然而,对于特定领域的语料库(例如,金融、法律和工业),微调用于特定任务的预训练模型已经显示出提供性能改进。在本文中,我们比较了四种不同的PLM在三个公共领域的自由数据集和现实世界的数据集包含特定领域的话,对一个简单的SVM线性分类器TFIDF矢量化文本的性能。四个数据集上的实验结果表明,使用PLM,即使微调,不提供显着的增益超过线性SVM分类器。因此,我们建议,对于文本分类任务,传统的SVM以及仔细的特征工程可以提供比PLM更便宜和更优越的性能。
2022-11-04 cs.CL cs.LG
L1-Regularized Distributed Optimization: A Communication-Efficient Primal-Dual Framework
UC Berkeley(加州大学伯克利分校);ETH Zürich(苏黎世联邦理工学院)
尽管稀疏性在许多大规模应用中很重要,但很少有方法用于稀疏诱导目标的分布式优化。在本文中,我们提出了一个通信效率的框架,在分布式环境中的L1正则化优化。通过在更一般的原始-对偶设置中查看经典目标,我们开发了一类新的方法,这些方法可以有效地分布并应用于常见的稀疏诱导模型,如Lasso,稀疏逻辑回归和弹性网络正则化问题。我们为我们的框架提供了理论上的收敛保证,并在Amazon EC2上进行了彻底的实验比较,证明了它的效率和灵活性。与当前最先进的分布式L1正则化优化方法相比,我们提出的框架可以产生高达50倍的加速比。
2016-06-02 cs.LG
Adding vs. Averaging in Distributed Primal-Dual Optimization
Lehigh University(利哈伊大学);University of California, Berkeley(加州大学伯克利分校);ETH Zürich(苏黎世联邦理工学院);University of Edinburgh(爱丁堡大学)
用于大规模机器学习的分布式优化方法遭受通信瓶颈。很难减少这个瓶颈,同时仍然有效和准确地聚合来自不同机器的部分工作。在本文中,我们提出了一个新的推广最近的通信效率的原始-对偶框架(CoCoA)的分布式优化。我们的框架,CoCoA+,允许添加剂组合的局部更新的全局参数在每次迭代,而以前的计划与收敛保证只允许保守的平均。我们给出了更强的(原始-对偶)收敛速度保证CoCoA以及我们的新变种,并推广了这两种方法的理论,以涵盖非光滑凸损失函数。我们提供了一个广泛的实验比较,表明CoCoA+在几个真实世界的分布式数据集上的性能显着提高,特别是在扩大机器数量时。
2015-07-03 cs.LG
Comparison of 14 different families of classification algorithms on 115 binary datasets
Computing Institute(计算研究所);University of Campinas(坎皮纳斯大学)
我们在115个真实的二进制数据集上测试了14种非常不同的分类算法(随机森林,梯度提升机,SVM -线性,多项式和RBF - 1-隐藏层神经网络,极端学习机,k-最近邻和knn的装袋,朴素贝叶斯,学习矢量量化,弹性网络逻辑回归,稀疏线性判别分析和线性分类器的提升)。我们遵循Demsar分析,发现三个最好的分类器(随机森林,gbm和RBF SVM)彼此没有显着差异。我们还讨论了小于0.0112的变化的出错率应被认为是一个不相关的变化,并使用贝叶斯方差分析得出结论,这三个分类器之间的差异是没有实际后果的概率很高。我们还验证了这些算法的“标准实现”的执行时间,并得出结论,RBF SVM在训练时间和训练加测试时间方面都是最快的(显着)。
2016-06-02 cs.CV cs.LG
Training Logistic Regression and SVM on 200GB Data Using b-Bit Minwise Hashing and Comparisons with Vowpal Wabbit (VW)
Cornell University(康奈尔大学);Microsoft Research(微软研究院);Microsoft Corporation(微软公司)
我们生成了一个200 GB的数据集,包含10^9个特征,以测试我们最近的b位minwise哈希算法,用于训练超大规模逻辑回归和SVM。结果证实了我们之前的工作,与VW哈希算法(具有与随机投影相同的方差)相比,b位minwise哈希在相同的存储空间下更准确。例如,每个数据点只有30个散列值,b位minwise散列可以实现与每个数据点2^14个散列值的VW类似的精度。我们证明了B位minwise哈希的预处理成本与数据加载时间大致处于相同的数量级。此外,通过使用GPU,预处理成本可以降低到数据加载时间的一小部分。Minwise hashing在工业中得到了广泛的应用,至少在搜索环境中是如此。其流行的一个原因是,可以有效地模拟排列(例如,)通用哈希换句话说,不需要存储置换矩阵。在本文中,我们通过证明即使使用最简单的2-泛散列也不会降低学习性能来实证验证这种做法。
2011-08-15 cs.LG stat.ME stat.ML
Comparison of Binary Classification Based on Signed Distance Functions with Support Vector Machines
Vanderbilt University Medical Center(范德比尔特大学医学中心);Vanderbilt University(范德比尔特大学)
我们研究了一个简单的符号距离函数(SDF)为基础的方法的性能直接与标准的SVM包,以及K-近邻和RBFN方法进行比较。我们目前的实验结果比较SDF的方法与其他分类合成几何问题和五个基准临床微阵列数据集。在几何问题和微阵列数据集上,非优化的基于SDF的分类器的性能与成熟的标准SVM方法一样好或稍好。这些结果证明了基于SDF的方法在某些类型的问题上的潜在准确性。
2008-12-16 cs.CG cs.LG
A Comparison of First-order Algorithms for Machine Learning
Graz University of Technology(格拉茨技术大学)
利用优化算法解决机器学习问题是当前科学领域的主流之一。在这项工作中,我们展示了一些国家的最先进的凸优化问题的一阶优化算法在机器学习的全面比较。我们专注于几个光滑和非光滑的机器学习问题的损失函数加上正则化。整体实验结果表明,原始-对偶算法在解决机器学习问题的优势,从易于构建,运行时间和准确性的角度。
2014-04-26 cs.LG
A Primal-Dual-Assisted Penalty Approach to Bilevel Optimization with Coupled Constraints
Rensselaer Polytechnic Institute(伦斯勒理工学院);King Juan Carlos University(胡安卡洛斯国王大学)
本文针对带耦合约束的双层优化问题提出了一种完全一阶算法 BLOCC,建立了严格的收敛理论,并在 SVM 超参数选择和交通网络规划中验证了其有效性。
2024-08-26 cs.LG math.OC stat.ML
A Comparison of Machine Learning Algorithms for the Surveillance of Autism Spectrum Disorder
Centers for Disease Control and Prevention(美国疾病控制与预防中心)
疾病控制和预防中心(CDC)协调了一个劳动密集型的过程,以测量美国儿童中自闭症谱系障碍(ASD)的患病率。随机森林方法在加速这一过程方面表现出了希望,但它们落后于人类分类准确率约5%。我们探讨最近可用的文档分类算法是否可以缩小这一差距。我们应用了8种监督学习算法来预测儿童是否符合ASD的案例定义,仅基于他们评估中的单词。我们比较了算法在10个随机训练测试数据分割中的性能,使用分类准确性,F1评分和阳性调用数量来评估其在监测中的潜在用途。在10个训练测试周期中,随机森林和具有朴素贝叶斯特征的支持向量机(NB-SVM)的平均准确率均略高于87%。NB-SVM产生的假阴性显著多于假阳性(P = 0.027),但随机森林没有,使得其患病率估计非常接近数据中的真实患病率。表现最好的神经网络在这两个指标上的表现与随机森林相似。随机森林的表现与最近可用的NB-SVM和神经网络等模型一样好,它也产生了良好的流行率估计。由于增加的假阴性,NB-SVM可能不是用于全自动监测工作流程的良好候选者。更复杂的算法,如分层卷积神经网络,由于数据的特性,可能无法进行训练。如果对数据进行不同的抽象和处理,并且除了对孩子的评估之外,还考虑到孩子的信息,那么目前的算法可能会表现得更好。
2018-10-11 cs.LG stat.ML
Unified SVM Algorithm Based on LS-DC Loss
Xidian University(西安电子科技大学);Beijing University of Posts and Telecommunications(北京邮电大学)
在过去的二十年中,支持向量机(Support Vector Machine,SVM)已经成为一种流行的有监督机器学习模型,并且针对不同损失(包括凸损失和非凸损失)的分类/回归问题,基于SVM模型的不同KKT条件设计了许多不同的算法。在本文中,我们提出了一种算法,可以训练不同的SVM模型在\emph{unified}计划。首先,我们介绍了\emph{LS-DC}(\textbf{l}东\textbf{s} quares类型的\textbf{d} ifference的\textbf{c} onvex)损失的定义,并表明在SVM社区中最常用的损失是LS-DC损失或可以近似为LS-DC损失。基于DCA(Difference of Convex Algorithm),我们提出了一个统一的算法,称为\emph{UniSVM},它可以求解具有任意凸或非凸LS-DC损失的SVM模型,其中只计算一个向量,特别是通过特定选择的损失。特别地,对于训练具有非凸损失的鲁棒SVM模型,UniSVM具有优于所有现有算法的优势,因为它每次迭代都具有封闭形式的解,而现有算法每次迭代都需要求解L1 SVM/L2 SVM。此外,通过核矩阵的低秩近似,UniSVM可以有效地解决大规模非线性问题。为了验证所提出的算法的有效性和可行性,我们进行了许多实验上的一些小的人工问题和一些大型的基准任务有/没有离群值的分类和回归与国家…
2021-05-11 cs.LG stat.ML
Comparison of Classical Machine Learning Approaches on Bangla Textual Emotion Analysis
University of Saarland(萨尔大学);University of Chittagong(吉大港大学)
从文本中检测情感是简单情感极性检测的扩展。而不是只考虑积极或消极的情绪,情绪传达使用更有形的方式;因此,他们可以表达为许多灰色阴影。本文体现了我们的实验孟加拉语文本的细粒度情感分析的结果。我们收集并注释了一个文本语料库,该语料库由来自几个Facebook群组的关于社会经济和政治问题的用户评论组成,我们努力提取通过这些评论传达的基本情绪(悲伤,快乐,厌恶,惊讶,恐惧,愤怒)。最后,我们比较了五个最流行的经典机器学习技术,即朴素贝叶斯,决策树,k-最近邻(k-NN),支持向量机(SVM)和K-均值聚类与几种组合的功能的结果。我们的最佳模型(具有非线性径向基函数(RBF)内核的SVM)实现了52.98%的总体平均准确率得分和0.3324的F1得分(宏)
2019-07-18 cs.CL cs.LG
A systematic comparison of supervised classifiers
Universidade de São Paulo(圣保罗大学)
模式识别技术已经被用于无数的工业、医学、商业和学术应用中。为了处理如此多样的数据,已经设计了许多技术。然而,尽管模式识别研究有着悠久的传统,但没有一种技术可以在所有情况下都产生最佳分类。因此,考虑尽可能多的技术本身作为一个基本的做法,在应用中,旨在高精度。比较方法的典型作品要么强调给定算法在验证测试中的性能,要么系统地比较各种算法,假设这些方法的实际使用是由专家完成的。然而,在许多情况下,研究人员不得不处理他们的实际分类任务,而没有深入了解参数背后的潜在机制。实际上,在这种实际情况下,分类器和参数的适当选择构成了一个长期存在的问题,是本文的主题。我们对Weka框架实现的九个著名分类器的性能进行了研究,并比较了准确性与其配置参数配置的依赖关系。默认参数的性能分析表明,k-近邻方法超过了大幅度的其他方法时,高维数据集被认为是。当其他配置的参数是允许的,我们发现,它是可能的,以提高支持向量机的质量在20%以上,即使是随机设置的参数。总而言之,本文进行的调查表明,除了SVM实现之外,Weka的默认参数配置提供了接近最佳配置所实现的性能。
2013-10-17 cs.LG
Analysis of Spectrum Occupancy Using Machine Learning Algorithms
在本文中,我们使用不同的机器学习技术来分析频谱占用。研究了监督技术(朴素贝叶斯分类器(NBC)、决策树(DT)、支持向量机(SVM)、线性回归(LR))和非监督算法(隐马尔可夫模型(HMM)),以找到具有最高分类精度(CA)的最佳技术。在计算时间和分类精度方面的监督和无监督算法进行了详细的比较。分类的占用状态进一步用于评估未来时隙的次用户中断的概率,其可以由系统设计者用来定义频谱分配和频谱共享策略。实验结果表明,在所有的监督分类器和无监督分类器中,支持向量机是最好的分类器。在此基础上,我们提出了一种新的SVM算法,将其与火飞算法(FFA),这是优于所有其他算法。
2015-03-24 cs.LG cs.NI
Study and Observation of the Variation of Accuracies of KNN, SVM, LMNN, ENN Algorithms on Eleven Different Datasets from UCI Machine Learning Repository
Mississippi State University(密西西比州立大学);International University of Business Agriculture and Technology(国际商业农业与技术大学);Rajshahi University of Engineering and Technology(拉杰沙希工程技术大学)
机器学习使计算机有资格与数据同化,而不仅仅是编程[1,2]。机器学习可以分为监督学习和无监督学习。在监督学习中,计算机学习一个目标,该目标将输入描述为依赖于训练输入-输出对的输出[3]。最有效和广泛使用的监督学习算法是K最近邻(KNN)、支持向量机(SVM)、大间隔最近邻(LMNN)和扩展最近邻(ENN)。本文的主要贡献是在UCI机器学习库中的11个不同数据集上实现这些优雅的学习算法,以观察每个算法在所有数据集上的精度变化。通过对算法精度的分析,我们可以对机器学习算法与数据维数的关系有一个简单的了解。所有的算法都是在Matlab中开发的。在这样的精度观察之后,可以在KNN、SVM、LMNN和ENN之间建立关于它们在每个数据集上的性能的比较。
2018-11-29 cs.CV cs.LG stat.ML
A Comprehensive Analysis of 2D&3D Video Watching of EEG Signals by Increasing PLSR and SVM Classification Results
Karadeniz Technical University(卡拉德尼兹技术大学)
尽管二维和三维(2D和3D)技术的发展,近年来它已经引起了研究人员的注意。这项研究旨在揭示2D与3D技术对人类脑电波的详细影响。研究了使用脑电图(EEG)脑信号观看2D和3D视频的影响。一组8名平均年龄为31 ± 3.06岁的健康志愿者参加了这项三阶段测试。EEG信号记录包括三个阶段:稍微放松后(a),显示2D视频(b),信号记录持续一段短时间作为休息(c),最后试验结束。对于3D视频重复完全相同的步骤。采用基于短时傅立叶变换(STFT)的功率谱密度(PSD)分析了二维和三维视频观看者的脑信号。在测试了所有的EEG频段后,提取了δ和θ作为特征。分别采用偏最小二乘回归(PLSR)和支持向量机(SVM)分类算法对二维和三维视频信号进行分类。通过选择代表大脑区域的有效通道的正确组合,获得了成功的分类结果。
2019-03-13 cs.HC cs.LG eess.SP
Alleviating Hyperparameter-Tuning Burden in SVM Classifiers for Pulmonary Nodules Diagnosis with Multi-Task Bayesian Optimization
Yau Mathematical Sciences Center Tsinghua University(姚数学科学中心清华大学);The First Affiliated Hospital of Guangzhou Medical University(广州医科大学第一附属医院);China State Key Laboratory of Respiratory Disease(中国呼吸疾病国家重点实验室);Academy of Mathematics and Systems Science Chinese Academy of Sciences(数学科学学院中国科学院);University of Chinese Academy of Sciences(中国科学院大学);Department of Thoracic Surgery and Oncology The First Affiliated Hospital of Guangzhou Medical University(胸外科与肿瘤科广州医科大学第一附属医院)
本研究针对肺结节诊断中图像离散化方法导致的SVM超参数调优耗时问题,首次提出利用多任务贝叶斯优化加速RBF SVM分类器的超参数搜索,显著提升了调优效率。
2025-11-05 cs.CV cs.LG eess.IV
Identifying the fragment structure of the organic compounds by deeply learning the original NMR data
Lanzhou University(兰州大学)
我们采用两种不同的方法对原始NMR谱进行预处理,提取关键特征,即等距采样和峰值采样,用于后续的子结构模式识别;同时可以针对统计建模的数据集采集中经常遇到的NMR数据集不平衡问题提供替代策略,建立两种常规的SVM和KNN模型来评估两种特征选择的能力,分别我们在这项研究中的结果表明,使用选定的峰值采样功能的模型优于使用其他。然后,我们建立了递归神经网络(RNN)模型训练数据B收集的峰值采样。此外,我们通过与传统的机器学习SVM和KNN模型的详细比较,说明了RNN深度学习模型的超参数更容易优化和更好的泛化能力。
2021-07-25 cs.LG q-bio.QM
Communication-Efficient Algorithms for Decentralized and Stochastic Optimization
Georgia Institute of Technology(佐治亚理工学院)
针对多智能体网络上的非光滑随机最优化问题,提出了一类新的分散一阶方法。考虑到通信是分散优化的主要瓶颈,本文的主要目标是开发算法框架,可以显着减少节点间通信的数量。我们首先提出了一种分散的原始-对偶方法,可以找到一个$ε$ -解决方案,无论是在功能最优性差距和可行性残差在$O(1/ε)$节点间的通信轮时,目标函数是凸的和当地的原始子问题得到解决。我们的主要贡献是提出了一类新的分散原始-对偶型算法,即分散通信滑动(DCS)方法,它可以跳过节点间的通信,而代理解决原始子问题迭代通过线性化的本地目标函数。通过采用DCS,代理仍然可以在$O(1/ε)$中找到$ε$ -解决方案(分别为,$O(1/\sqrtε)$)通信循环用于一般凸函数(分别,强凸函数),同时保持$O(1/ε^2)$(分别,$O(1/ε)$),其约束于节点内次梯度评估的总数。我们还提出了一个随机对应的这些算法,表示SDCS,解决随机最优化问题的目标函数不能准确评估。与现有的分散非光滑和随机最优化的结果相比,我们可以减少数量级的节点间的通信轮的总数,同时仍然保持最佳的复杂性范围内的节点内的随机次梯度评价。次梯度估计的界限实际上与集中式非光滑和随机最优化所需的界限相当。
2017-02-04 cs.LG math.OC
On Breast Cancer Detection: An Application of Machine Learning Algorithms on the Wisconsin Diagnostic Dataset
本文比较了六种机器学习(ML)算法:GRU-SVM(Agarap,2017),线性回归,多层感知器(MLP),最近邻(NN)搜索,Softmax回归和支持向量机(SVM)在威斯康星州诊断乳腺癌(WDBC)数据集上(Wolberg,Street,& Mangasarian,1992)通过测量它们的分类测试准确性以及它们的灵敏度和特异性值来进行。所述数据集包括从乳腺肿块上的FNA测试的数字化图像计算的特征(Wolberg,Street,& Mangasarian,1992)。对于ML算法的实现,数据集以以下方式划分:70%用于训练阶段,30%用于测试阶段。用于所有分类器的超参数是手动分配的。结果表明,所有提出的ML算法在分类任务上表现良好(均超过90%的测试准确率)。MLP算法在已实现的算法中脱颖而出,测试准确率为~ 99.04%。
2019-02-07 cs.LG stat.ML
Green Machine Learning via Augmented Gaussian Processes and Multi-Information Source Optimization
University of Milano-Bicocca(米兰比可卡大学)
搜索精确的机器和深度学习模型是一个计算成本高昂且非常耗能的过程。最近已经获得显著减少计算时间和能量消耗的重要性的策略是利用具有不同计算成本和不同“保真度”的不同信息源的可用性,通常是大数据集的较小部分。多源优化策略适用于基于高斯过程的贝叶斯优化方案。提出了一种利用多个信息源的增广高斯过程方法(AGP-MISO)。增广高斯过程仅使用可用源中的“可靠”信息进行训练。根据增广高斯过程定义了一种新的捕获函数。计算结果的报告有关的超参数的优化的支持向量机(SVM)分类器使用两个来源:一个大的数据集-最昂贵的一个-和一个较小的一部分,它的比较与传统的贝叶斯优化方法来优化的SVM分类器的超参数的大数据集只报告。
2020-06-25 cs.LG stat.ML