Feature selection in linear SVMs via a hard cardinality constraint: a scalable SDP decomposition approach
Research Network Data Science, University of Vienna(维也纳大学数据科学研究网络);Sapienza University of Rome(罗马大学);VGSCO, University of Vienna(维也纳大学VGSCO机构)
本文研究线性 SVMs 中带基数约束的嵌入式特征选择问题,通过引入混合整数公式和半定松弛并利用稀疏模式进行分解,提出了可扩展的启发式与精确求解方法,在基准数据集上验证了其高效性。
2024-12-19 cs.LG math.OC
Near-Tight Margin-Based Generalization Bounds for Support Vector Machines
Aarhus University(奥胡斯大学)
支持向量机(SVM)是最基本的二进制分类工具之一。在其最简单的公式中,SVM使用数据的最大可能余量产生分离两类数据的超平面。通过大量的泛化界限,对最大化边际的关注得到了很好的激励。在本文中,我们重新审视和改进的经典推广界的边缘。此外,我们补充了我们的新的泛化边界的一个几乎匹配的下限,从而几乎解决了泛化性能的支持向量机的利润。
2020-06-03 cs.LG stat.ML
Machine learning applications to DNA subsequence and restriction site analysis
Drexel University(德雷塞尔大学)
基于BioBricks标准,限制性合成是一种新的分解代谢迭代DNA合成方法,其利用核酸内切酶从参考序列合成查询序列。在这项工作中,通过使用三种不同的机器学习方法将它们分类为适用于或不适用于合成方法,从较短的序列构建参考序列:支持向量机(SVM),随机森林和卷积神经网络(CNN)。在将这些方法应用于数据之前,应用一系列特征选择、策展和约简步骤来创建准确且具有代表性的特征空间。在这些预处理步骤之后,提出了三种不同的流水线,以基于它们的核苷酸序列和对应于200多种内切核酸酶的限制性位点的其他相关特征来对序列进行分类。使用支持向量机,随机森林和CNN的灵敏度分别为94.9%,92.7%,91.4%。此外,每种方法在SVM、随机森林和CNN的特异性方面得分较低,分别为77.4%、85.7%和82.4%。除了分析这些结果之外,还研究了SVM和CNN中的错误分类。在这两个模型中,与其他特征相比,具有衍生核苷酸特异性的不同特征在视觉上对分类贡献更大。在考虑未来研究的新核苷酸敏感性特征时,这一观察结果是一个重要因素。
2020-12-11 cs.LG eess.SP q-bio.GN
A Semismooth-Newton's-Method-Based Linearization and Approximation Approach for Kernel Support Vector Machines
Beijing Institute of Technology(北京理工大学)
支持向量机(SVM)是最流行和性能最好的分类算法之一。已经提出了各种方法来减少在使用核支持向量机基于大规模数据集进行训练和预测时的高计算和存储成本。线性化框架是一种流行的框架,它成功地在$L_1$ -损失核支持向量机和$L_1$ -损失线性支持向量机之间架起了一座桥梁。对于线性支持向量机,最近提出了一种半光滑牛顿法。它被证明是非常有竞争力的,并具有较低的计算成本。因此,一个自然的问题是,是否有可能开发一个快速的半光滑牛顿算法的核支持向量机。基于这一问题和线性化框架的思想,本文以$L_2$ -损失核SVM为研究对象,提出了一种基于半光滑牛顿法的线性化和逼近方法,其主要思想是首先建立一个等价的线性SVM,然后利用Nyström方法对核矩阵进行逼近,得到一个约简的线性SVM。最后,采用快速半光滑牛顿法求解约简线性支持向量机。对核矩阵的逼近问题进行了理论分析。所提出的方法的优点是,它保持了较低的计算成本,并保持了快速的收敛速度。大量的数值实验结果验证了所提出的方法在预测精度和速度方面的有效性。
2020-07-21 cs.LG math.OC
Solving L1-regularized SVMs and related linear programs: Revisiting the effectiveness of Column and Constraint Generation
MIT(麻省理工学院);Vicarious AI
线性支持向量机是机器学习中的一种经典分类方法。受现代高维统计应用的启发,我们考虑惩罚SVM问题,涉及使用凸稀疏诱导正则化函数最小化铰链损失函数,例如:系数的L1范数,其分组推广和排序的L1惩罚(又名斜率)。每个问题都可以表示为线性规划(LP),并且当特征和/或样本的数量很大时,计算上具有挑战性-与通常的L2正则化线性SVM相比,这些问题的算法的当前状态相当新生。为此,我们提出了新的计算算法,这些LP汇集技术(a)经典的列(和约束)生成方法和(b)一阶方法的非光滑凸优化-技术,很少一起用于解决大规模的LP。这些组件有各自的优势,虽然他们被发现是有用的作为单独的实体,他们还没有一起使用的背景下,解决大规模的LP,如本文研究的。我们的方法补充了(a)和(b)的优势-导致一个方案,似乎显着优于商业解决方案以及这些问题的专门实现。我们提出了一系列真实和合成数据集的数值结果,证明了经典列/约束生成方法在具有挑战性的基于LP的机器学习任务的背景下的惊人有效性。
2021-08-27 cs.LG stat.ML
Homotopy Continuation Approaches for Robust SV Classification and Regression
Nagoya Institute of Technology(名古屋工业大学);The University of Tokyo(东京大学)
在支持向量机(SVM)应用中,当数据不可靠且含有一部分离群值时,SVM的非鲁棒性往往会导致性能下降。虽然已经研究了许多提高支持向量机鲁棒性的方法,但在鲁棒支持向量机学习中仍然存在两个主要挑战。首先,鲁棒学习算法本质上是非凸优化问题。因此,重要的是发展一种非凸优化方法的鲁棒支持向量机,可以找到一个很好的局部最优解。第二个实际问题是如何调整控制鲁棒性和效率之间平衡的超参数。不幸的是,由于非凸性,具有稍微不同的超参数值的鲁棒SVM解决方案可能会显著不同,这使得模型选择非常不稳定。在本文中,我们同时解决这两个问题,通过引入一种新的同伦方法来非凸鲁棒SVM学习。我们的基本思想是引入参数化的鲁棒支持向量机的公式,它通过代表离群值影响的参数来连接标准支持向量机和完全鲁棒支持向量机。给出了鲁棒支持向量机局部最优解存在的充要条件,并提出了一种算法,该算法在野值影响逐渐减小的情况下,能够跟踪局部最优解的路径。我们的同伦方法的一个优点是,它可以被解释为模拟退火,一种常见的方法,找到一个很好的局部最优解的非凸优化问题。此外,我们的同伦方法允许稳定和有效的模型选择的基础上的路径的局部最优解。所提出的方法的经验表现,通过密集的数值实验,无论是强大的分类和回归问题。
2015-07-12 cs.LG stat.ML
Radial basis function kernel optimization for Support Vector Machine classifiers
University of Málaga(马拉加大学);Biomedic Research Institute of Málaga (IBIMA)(马拉加生物医学研究所 (IBIMA));University of Michigan(密歇根大学)
支持向量机(SVM)仍然是最流行和最精确的分类器之一。径向基函数(RBF)核已被用于支持向量机中,以在类之间进行分离,并取得了相当大的成功。然而,存在对核超参数的初始值的内在依赖性。在这项工作中,我们提出了OKSVM,一种自动学习RBF核超参数,同时调整SVM权重的算法。所提出的优化技术是基于一个梯度下降方法。我们分析了我们的方法相对于经典的SVM分类合成和真实数据的性能。实验结果表明,OKSVM的性能更好,而不受初始值的RBF超参数。
2020-07-16 cs.LG stat.ML
Efficient Training of One Class Classification-SVMs
Kwame Nkrumah University of Science and Technology(夸梅·恩克鲁玛科技大学)
针对仅有正样本的单类分类问题,本文提出基于增广拉格朗日与快速投影梯度法的对偶软间隔OCC-SVM高效训练算法,并在真实数据集上验证其统计显著效果。
2023-09-28 cs.LG
An Efficient Method for Sample Adversarial Perturbations against Nonlinear Support Vector Machines
Beijing Institute of Technology(北京理工大学)
对抗扰动在各种机器学习模型中引起了广泛的关注。本文研究了非线性支持向量机的样本对抗扰动问题。由于将数据映射到特征空间的非线性函数的隐式形式,很难获得对抗扰动的显式形式。通过研究非线性支持向量机的特性,将攻击非线性支持向量机的优化问题转化为一个非线性KKT系统。这样的系统可以通过各种数值方法求解。数值结果表明,我们的方法是有效的计算对抗扰动。
2022-06-12 cs.LG math.OC
Graph-Guided Universum Learning in Generalized Eigenvalue Proximal SVMs for Alzheimer's Disease Classification
Dept. of Computer Science and Engineering, IIT Ropar, Punjab 140001, India(计算机科学与工程系,IIT罗帕尔,旁遮普140001,印度)
针对阿尔茨海默病分类,提出两种图引导的Universum学习模型UG-GEPSVM和IUG-GEPSVM,利用轻度认知障碍样本构建图拉普拉斯正则化,替代传统独立惩罚项,在ADNI MRI数据集上取得更优性能。
2026-06-03 cs.AI cs.CV cs.LG
Scale-sensitive Psi-dimensions: the Capacity Measures for Classifiers Taking Values in R^Q
LORIA-CNRS(洛林国家信息及其应用研究所-法国国家科学研究中心)
风险的界在统计学习理论中起着至关重要的作用。他们通常涉及作为研究的VC维度或其扩展之一的模型的容量度量。在分类中,对于在{0,1},{1,.,Q}和R.我们引入了适用于缺失情况的推广,即值为R ^Q的模型。这为我们提供了一个新的保证风险的M-SVM,似乎优于现有的。
2007-06-25 cs.LG
SpectralNET: Exploring Spatial-Spectral WaveletCNN for Hyperspectral Image Classification
EURECOM
使用卷积神经网络(CNN)的高光谱图像(HSI)分类在当前文献中被广泛发现。方法从使用SVM到2D CNN,3D CNN,3D-2D CNN。除了3D-2D CNN和FuSENet之外,其他方法没有同时考虑HSI分类任务的光谱和空间特征,从而导致性能不佳。3D CNN计算量大,没有得到广泛应用,而2D CNN不考虑图像的多分辨率处理,仅限于空间特征。尽管3D-2D CNN试图对光谱和空间特征进行建模,但当应用于多个数据集时,它们的性能似乎有限。在这篇文章中,我们提出了SpectralNET,一种小波CNN,它是用于多分辨率HSI分类的2D CNN的变体。小波CNN使用小波变换的层来带出谱特征。计算小波变换比计算3D CNN更轻。然后将提取的光谱特征连接到2D CNN,其带来空间特征,从而创建用于分类的空间-光谱特征向量。总体而言,实现了一个更好的模型,可以分类多分辨率HSI数据具有高精度。在基准数据集上使用SpectralNET进行的实验,即印度松树,帕维亚大学和萨利纳斯场景证实了所提出的SpectralNET相对于最先进方法的优越性。该代码可在https://github.com/tanmay-ty/SpectralNET上公开获取。
2021-04-01 cs.CV cs.LG eess.IV
An Autotuning-based Optimization Framework for Mixed-kernel SVM Classifications in Smart Pixel Datasets and Heterojunction Transistors
Argonne National Laboratory(阿贡国家实验室);Northwestern University(西北大学)
本文提出一种基于自动调参的优化框架,用于量化混合核SVM超参数的最优范围,并在高能物理智能像素数据集和混合核异质结晶体管应用中分别取得94.6%和97.2%的高分类精度。
2024-09-26 cs.LG cs.PF
A Unified Optimization Framework for Multiclass Classification with Structured Hyperplane Arrangements
Institute of Mathematics (IMAG), Universidad de Granada(格拉纳达大学数学研究所);Dept. Industrial & Systems Engineering, University of Wisconsin-Madison(威斯康星大学麦迪逊分校工业与系统工程系)
本文提出一个基于超平面排列的统一优化框架,用于多类分类,支持核扩展、分类树等结构,并开发动态聚类启发式算法,在合成及UCI基准上表现优异。
2025-10-06 cs.LG math.OC
Distributed Optimization of Multi-Class SVMs
Berlin Big Data Center(柏林大数据中心);Berlin Institute of Technology(柏林理工学院);Microsoft Research(微软研究院);Humboldt University of Berlin(柏林洪堡大学)
一对一的训练其余的SVM可以以直接的方式在多个类上并行化。如果有足够的计算资源,一对一。因此,可以在涉及大量类的数据上训练剩余SVM。然而,对于所谓的all-in-one SVM来说,情况并非如此,因为它需要在类的数量上以二次方式求解一个二次规划。我们开发分布式算法的两个所有功能于一身的SVM配方(李等。和韦斯顿和沃特金斯),并行计算均匀的类的数量。这使我们能够将这些模型与一对一进行比较。以前所未有的规模休息SVM。结果表明,优越的准确性,文本分类数据。
2016-12-08 cs.LG stat.ML
An efficient hybrid classification approach for COVID-19 based on Harris Hawks Optimization and Salp Swarm Optimization
University of Technology, Baghdad(巴格达技术大学);University of Kurdistan Hewler(库尔德斯坦赫勒尔大学)
特征选择可以定义为预处理步骤之一,其通过识别最重要的属性来降低数据集的维度,同时还提高分类的准确性。为了解决特征选择问题,本研究提出了一种用于Covid-19分类的Harris Hawks优化算法(HHO)和Salp Swarm优化算法(SSA)(HHOSSA)的混合二进制版本。建议(HHOSSA)提出了一种策略,用于改善基本HHO的性能,使用Salp算法的权力,以选择最佳的健身值。HHOSSA针对两种众所周知的优化算法进行了测试,鲸鱼优化算法(WOA)和灰狼优化器(GWO),共使用了800张胸部X射线图像。在使用三种分类器(支持向量机(SVM)、k-最近邻(KNN)和极端梯度提升(XGBoost))的研究中,总共采用了四种性能指标(准确度、召回率、精度、F1)。所提出的算法(HHOSSA)实现了96%的准确率与SVM分类器,和98%的准确率与两个分类器,XGboost和KNN。
2022-12-25 cs.LG cs.NE
A Coreset Selection Framework with Ensemble Aggregation for Image Classification
Institute of Mathematics and Computer Science (ICMC)(数学与计算机科学研究所);University of São Paulo (USP)(圣保罗大学);São Carlos -- SP -- Brazil(巴西圣保罗州萨昂卡里斯)
针对图像数据增长带来的训练挑战,提出结合核心集选择与集成聚合的框架并使用SCOSS方法,经实验对比不同采样率下多种分类器,表明该方法在准确性和效率权衡上有优势,尤其在细粒度数据集上表现突出。
2026-07-13 cs.AI cs.CV
Optimizing CNN-based Hyperspectral Image Classification on FPGAs
Imperial College London(帝国理工学院);University College London(伦敦大学学院);China Academy of Space Technology(中国空间技术研究院)
高光谱图像分类在遥感图像分析等应用中得到了广泛的应用,对分类精度和实时处理速度都有较高的要求。基于卷积神经网络(CNN)的方法已被证明在分类HSI方面达到最先进的准确性。然而,由于HSI的高维性质,与诸如支持向量机(SVM)的传统方法相比,CNN模型通常在计算上过于密集而无法实现实时响应。此外,HSI中使用的以前的CNN模型不是专门为在诸如FPGA的嵌入式设备上高效实现而设计的。本文提出了一种新的基于CNN的算法HSI分类,考虑到硬件效率。一个定制的架构,使所提出的算法被有效地映射到FPGA资源,然后提出了支持低功耗的实时板上分类。实现结果表明,我们提出的Xilinx Zynq 706 FPGA板上的加速器比Intel 8核Xeon CPU快70倍以上,比NVIDIA GeForce 1080 GPU快3倍。与以前的基于SVM的FPGA加速器相比,我们实现了相当的处理速度,但提供了更高的分类精度。
2019-06-27 cs.CV eess.IV
A MapReduce based distributed SVM algorithm for binary classification
National Research Institute of Electronics and Cryptology, TUBITAK(土耳其科学技术研究委员会电子学与密码学国家研究所);Istanbul University(伊斯坦布尔大学)
虽然支持向量机(Support Vector Machine,SVM)算法在训练阶段后对未知样本的分类具有很高的泛化能力,并且损失值较小,但该算法并不适用于实际的分类和回归问题。SVM无法解决训练数据集中的数十万个示例。在以前的分布式机器学习算法的研究中,SVM是在一个昂贵的和预先配置的计算机环境中训练的。在这项研究中,我们提出了一个基于MapReduce的分布式并行SVM训练算法的二进制分类问题。该工作展示了如何使用MapReduce技术在云计算系统上分配优化问题。在这项工作的第二步中,我们使用统计学习理论从MapReduce的reduce函数创建的假设空间中找到最小化我们的经验风险的预测假设。本文的研究结果对于基于SVM算法的分类问题的大数据集训练具有重要意义。提出了利用MapReduce技术对分裂数据集进行迭代训练,在有限的迭代规模下,分类器函数的精度将收敛到全局最优分类器函数的精度。该算法的性能进行了测试的样本从字母识别和笔为基础的识别手写数字数据集。
2013-12-15 cs.DC cs.LG
Normalized Hierarchical SVM
Toyota Technological Institute at Chicago(芝加哥丰田技术研究所);Toyota Technological Institute(丰田工业大学)
我们提出了改进的方法,使用结构化的支持向量机在一个大规模的分层分类问题,即当标签是树叶,或树叶集,在一棵树或一个DAG。我们研究了规范化正则化和余量的必要性,并展示了这样做如何显着提高性能,包括允许实现最先进的结果,其中未规范化的结构化SVM的性能不如平面模型。我们还描述了层次支持向量机的进一步扩展,突出层次支持向量机和矩阵分解模型之间的连接。
2016-03-04 cs.LG
Defending Against Physically Realizable Attacks on Image Classification
Washington University in St. Louis(圣路易斯华盛顿大学);Department of Computer Science and Engineering(计算机科学与工程系)
我们研究了防御用于图像分类的深度神经网络方法免受物理可实现攻击的问题。首先,我们证明了学习鲁棒模型的两种最具可扩展性和有效性的方法,即PGD攻击和随机平滑的对抗训练,对三种最受欢迎的物理攻击表现出非常有限的有效性。接下来,我们提出了一个新的抽象对抗模型,矩形遮挡攻击,其中对手在图像中放置一个小的敌对制作的矩形,并开发了两种方法来有效地计算产生的对抗示例。最后,我们证明了使用我们的新攻击的对抗性训练产生的图像分类模型对我们研究的物理可实现的攻击具有很高的鲁棒性,为此类攻击提供了第一个有效的通用防御。
2020-02-14 cs.AI cs.CV cs.LG
Efficient Decision Trees for Multi-class Support Vector Machines Using Entropy and Generalization Error Estimation
Chulalongkorn University(朱拉隆功大学);Osaka University(大阪大学)
我们提出了新的方法,支持向量机(SVM)使用树结构的多类分类。在树的每个节点上,利用熵和泛化误差估计选择合适的二元分类器,然后根据所选分类器将样本分为正类和负类,并训练一个新的分类器用于分类阶段。所提出的方法可以在O(log2N)到O(N)之间的时间复杂度内工作,其中N是类的数量。我们使用10倍交叉验证将我们提出的方法的性能与UCI机器学习存储库上的传统技术进行了比较。实验结果表明,我们提出的方法是非常有用的问题,需要快速的分类时间或大量的类的问题,因为所提出的方法运行速度比传统的技术,但仍然提供相当的准确性。
2017-08-28 cs.LG stat.ML
Defending SVMs against Poisoning Attacks: the Hardness and DBSCAN Approach
University of Science and Technology of China(中国科学技术大学)
对抗性机器学习近年来吸引了大量的关注。在投毒攻击中,攻击者可以向训练数据中注入少量特制样本,使决策边界严重偏离,从而导致意外的误分类。由于支持向量机(SVM)的重要性和广泛的应用,我们考虑防止中毒攻击的SVM在本文中。我们研究了两种常用的防御策略:设计鲁棒的SVM算法和数据净化。虽然以前已经提出了一些鲁棒的SVM算法,但它们中的大多数要么缺乏对抗弹性,要么依赖于对数据分布或攻击者行为的强假设。此外,对它们的复杂性的研究还相当有限。据我们所知,我们是第一个证明,即使是最简单的硬边缘单类SVM与离群值问题是NP完全的,并没有完全PTAS,除非P $=$ NP(这意味着它是很难实现一个甚至近似算法)。对于数据净化防御,我们将其与数据的内在维度联系起来;特别是,我们提供了一个采样定理,用于解释DBSCAN(作为一种基于密度的离群值去除方法)防御中毒攻击的有效性。在我们的实证实验中,我们比较了包括DBSCAN和鲁棒SVM方法在内的几种防御方法,并研究了固有维数和数据密度对其性能的影响。
2021-02-20 cs.CG cs.CR cs.LG
Consistent Structured Prediction with Max-Min Margin Markov Networks
INRIA - Département d’Informatique de l’Ecole Normale Supérieure, PSL Research University(法国国家信息与自动化研究所 - 巴黎高等师范学院计算机科学系,巴黎文理研究大学)
用于二进制分类的最大余量方法(诸如支持向量机(SVM))已经被扩展到最大余量马尔可夫网络($M^3N$)或更一般地结构SVM的名称下的结构化预测设置。不幸的是,当输入和标签之间的关系远非确定性时,这些方法在统计上不一致。我们克服了这样的限制,定义学习问题的“最大-最小”的利润制定,命名的方法最大-最小利润马尔可夫网络($M^4N$)。我们证明了$M^4N$的一致性和有限样本推广界,并提供了一个明确的算法来计算估计。对于$O(n)$投影-oracle调用的总成本(其具有至多与来自$M^3N$的max-oracle相同的成本),该算法实现了$O(1/\sqrt{n})$的泛化误差。多类分类、有序回归、序列预测和排序实验证明了该方法的有效性。
2020-07-27 cs.LG stat.ML
Convolutional neural networks for classification and regression analysis of one-dimensional spectral data
Norwegian University of Science and Technology (NTNU)(挪威科技大学(NTNU));Tohoku University(东北大学)
卷积神经网络(CNN)被广泛用于图像识别和文本分析,并且已经被建议应用于一维数据,作为减少对预处理步骤的需要的一种方式。预处理是多变量分析的一个组成部分,但由于大量的可用方法,确定最佳的预处理方法可能是耗时的。在这项工作中,一个CNN的性能进行了研究的光谱数据的分类和回归分析。将CNN与各种其他化学计量学方法进行了比较,包括用于分类的支持向量机(SVM)和用于回归分析的偏最小二乘回归(PLSR)。对原始数据和经过预处理和/或特征选择方法的数据进行比较。这些模型用于基于近红外、中红外和拉曼光谱的方法获得的光谱数据。对于分类数据集,基于正确分类的观察值的百分比评价模型,而对于回归分析,基于决定系数(R $^2$)评估模型。我们的研究结果表明,CNN可以优于标准的化学计量学方法,特别是对于不使用预处理的分类任务。然而,当使用适当的预处理和特征选择方法时,CNN和标准化学计量学方法都可以看到改进的性能。这些结果证明了CNN在一维数据上的一些能力和局限性。
2020-05-15 cs.LG physics.data-an stat.ML
Sparse $ε$ insensitive zone bounded asymmetric elastic net support vector machines for pattern classification
College of Mathematics and Statistics, Chongqing University(重庆大学数学与统计学院)
本文提出一种稀疏且鲁棒的 ε-BAEN-SVM,结合弹性网络损失与鲁棒损失框架,通过半二次算法提升计算效率,在噪声环境中实现良好的稀疏性和鲁棒性。
2026-04-09 cs.LG stat.ML
The Curious Case of Adversarially Robust Models: More Data Can Help, Double Descend, or Hurt Generalization
Yale University(耶鲁大学);Yale Institute for Network Science(耶鲁网络科学研究所)
对抗性训练已经显示出其在产生对输入数据的扰动具有鲁棒性的模型方面的能力,但通常以降低标准精度为代价。为了缓解这个问题,通常认为更多的训练数据将最终帮助这种对抗鲁棒模型更好地推广良性/未扰动的测试数据。然而,在本文中,我们挑战了这种传统的信念,并表明,更多的训练数据可以伤害的泛化的对抗性强大的模型在分类问题。我们首先研究了高斯混合分类与线性损失,并确定三个政权的对手的实力的基础上。在弱对抗机制中,更多的数据提高了对抗鲁棒模型的泛化能力。在中等对抗状态下,随着训练数据的增加,泛化损失呈现出双下降曲线,这意味着存在一个中间阶段,更多的训练数据会损害泛化。在强对抗状态下,更多的数据几乎立即导致泛化误差增加。然后,我们转移到一个二维分类问题的分析与0-1损失。我们证明了更多的数据总是会损害具有大扰动的逆向训练模型的泛化性能。为了补充我们的理论结果,我们进行了实证研究高斯混合分类,支持向量机(SVM),和线性回归。
2020-06-05 cs.LG stat.ML
Deep Learning using Linear Support Vector Machines
University of Toronto(多伦多大学)
最近,全连接和卷积神经网络已经被训练成在诸如语音识别、图像分类、自然语言处理和生物信息学的各种任务上实现最先进的性能。对于分类任务,这些“深度学习“模型中的大多数都使用softmax激活函数进行预测并最小化交叉熵损失。在本文中,我们展示了用线性支持向量机替换softmax层的一个小但一致的优点。学习最小化了基于边际的损失,而不是交叉熵损失。虽然在现有技术中已经存在神经网络和SVM的各种组合,但是我们使用L2-SVM的结果表明,通过简单地用线性SVM替换softmax,在流行的深度学习数据集MNIST、CIFAR-10和ICML 2013表示学习研讨会的面部表情识别挑战上获得了显着的收益。
2015-02-21 cs.LG stat.ML
Convex Loss Functions for Support Vector Machines (SVMs) and Neural Networks
本文提出了一种用于SVM和神经网络的凸损失函数,通过引入模式相关性提升泛化性能,并在多种数据集上验证了其有效性。
2026-02-26 cs.LG
Tensor Network Kalman Filtering for Large-Scale LS-SVMs
Delft University of Technology(代尔夫特理工大学);Katholieke Universiteit Leuven(鲁汶大学)
最小二乘支持向量机是一种常用的非线性回归和分类的监督学习方法。它们可以以原始或双重形式实现。后者需要求解线性系统,这可能是有利的,因为避免了数据到可能无限维特征空间的显式映射。然而,对于大规模的应用,目前的低秩近似方法可能无法充分执行。例如,当前的方法由于其采样过程而具有概率性,和/或遭受秩和近似功率之间的差的折衷。本文提出了一种基于张量网络和卡尔曼滤波器的递归贝叶斯滤波框架,以减轻与解决大规模对偶问题相关的内存需求和计算复杂性。所提出的方法是迭代的,不需要显式存储的核矩阵,并允许制定早期停止条件。此外,该框架产生所获得的模型的置信度估计,不同于替代方法。两个回归和三个分类实验的性能进行了测试,并比较Nyström和固定大小的LS-SVM方法。结果表明,我们的方法可以实现高性能,是特别有用的替代方法是计算上不可行的,由于缓慢衰减的核矩阵谱。
2021-10-26 cs.LG cs.SY eess.SY
Elite-Driven Support Vector Machines for Classification
Department of Statistics, University of Manitoba(曼尼托巴大学统计系)
本文提出EDSVM框架,通过引导松驰变量增强经验风险最小化,结合松驰损失与偏差惩罚,实现与参考模型的局部接近,实验显示其性能优于传统SVM。
2026-04-28 cs.LG math.ST stat.ME
SVM and ELM: Who Wins? Object Recognition with Deep Convolutional Features from ImageNet
The Hong Kong Polytechnic University(香港理工大学)
使用卷积神经网络(CNN)的深度学习已被证明在图像的特征提取和表示中非常有效。对于图像分类问题,本文的工作旨在基于图像的高层深层特征,找出哪种分类器更有竞争力。在本报告中,我们讨论了深度卷积激活特征表示下用于图像分类的最近邻、支持向量机和极限学习机。具体来说,我们采用了基准对象识别数据集从多个来源与域偏见评估不同的分类器。对象数据集的深度特征是由经过良好训练的CNN在具有挑战性的ImageNet上获得的,该CNN具有五个卷积层和三个全连接层。实验表明,ELM优于支持向量机的跨域识别任务。特别是,国家的最先进的结果是由内核ELM优于支持向量机的平均精度约4%。这些功能和代码可在http://www.escience.cn/people/lei/index.html上获得
2015-06-08 cs.CV cs.LG
Security Evaluation of Support Vector Machines in Adversarial Environments
University of Cagliari(卡利亚里大学);Universität Potsdam(波茨坦大学);IBM Research(IBM研究院)
支持向量机(SVM)是安全应用中最流行的分类技术之一,如恶意软件检测、入侵检测和垃圾邮件过滤。然而,如果要将SVM纳入现实世界的安全系统,它们必须能够应对可能误导学习算法(中毒)、逃避检测(逃避)或获取有关其内部参数(隐私泄露)的信息的攻击模式。本章的主要贡献有两个方面。首先,我们介绍了一个正式的一般框架的机器学习系统的安全性的经验评估。其次,根据我们的框架,我们证明了规避,中毒和隐私攻击的支持向量机在现实世界中的安全问题的可行性。对于每种攻击技术,我们评估其影响,并讨论是否(以及如何)可以通过支持向量机的对手感知设计来反击。我们的实验很容易重现,这要归功于我们在公共存储库上提供的开源代码以及所有使用的数据集。
2014-01-30 cs.CR cs.LG
Defending Distributed Classifiers Against Data Poisoning Attacks
University of Melbourne(墨尔本大学)
支持向量机(SVM)容易受到有针对性的训练数据操纵,例如中毒攻击和标签翻转。通过仔细地操纵训练样本的子集,攻击者迫使学习者计算不正确的决策边界,从而导致错误分类。考虑到支持向量机在工程和生命关键型应用中的重要性日益增加,我们开发了一种新的防御算法,提高了对此类攻击的抵抗能力。局部内在孤立性(LID)是一个很有前途的度量,它可以表征数据样本的离群性。在这项工作中,我们引入了一个新的近似LID称为K-LID,使用核距离的LID计算,这使得LID计算在高维变换空间。我们引入了一个加权支持向量机对这种攻击使用K-LID作为一个显着的特点,不强调可疑的数据样本的SVM决策边界的影响。每个样本都根据其K-LID值来自良性K-LID分布而不是受攻击的K-LID分布的可能性进行加权。然后,我们演示了如何提出的防御可以应用到分布式SVM框架,通过一个基于SDR的监控系统的案例研究。基准数据集的实验表明,所提出的防御大大降低了分类出错率(平均10%)。
2020-08-21 cs.LG stat.ML
A fast learning algorithm for One-Class Slab Support Vector Machines
IIIT Allahabad(阿拉哈巴德印度信息技术学院)
本文针对单类平板支持向量机提出一种基于改进序列最小优化的快速训练算法,将多变量优化问题分解为可解析求解的二元子问题,实验表明其在大规模训练数据上比传统二次规划求解器具有更好的可扩展性。
2021-05-03 cs.LG stat.ML
Streamed Learning: One-Pass SVMs
University of Utah(犹他大学)
我们提出了一个大规模分类的流模型(在$\ell_2$ -SVM的上下文中),利用学习和计算几何之间的连接。流模型施加了只允许对数据进行单次传递的约束。已知$\ell_2$在最小包围球(MEB)问题方面具有等效公式,并且存在基于\emph{core sets}思想的有效算法(核心向量机,CVM)。CVM学习一组点的$(1+\varepsilon)$ -近似MEB,并产生对应SVM实例的近似解。但是,云服务器工作在批处理模式下,需要多次传递数据。本文提出了一种基于流数据最小包围球的单遍支持向量机。我们表明,MEB更新的流的情况下,可以很容易地适应学习SVM的权重向量的方式类似于使用在线随机梯度更新。我们的算法在每个例子中执行多对数计算,并且需要非常小的常数存储。实验结果表明,即使在这样的限制性设置中,我们也可以在一次通过中有效地学习,并获得与其他最先进的SVM求解器(批处理和在线)相当的精度。我们也给出了一个分析的算法,并讨论了一些开放的问题和可能的扩展。
2009-08-05 cs.LG stat.ML
Multi-Class Support Vector Machine with Differential Privacy
Korea Institute for Advanced Study(韩国高级研究院);Seoul National University(首尔国立大学)
针对传统多类SVM结合差分隐私时隐私预算随类别数线性消耗的问题,提出采用一体化架构、结合权重与梯度扰动的PMSVM方法,经理论分析保障DP特性,且在多类场景下性能优于现有DP-SVM方法。
2025-10-05 cs.CR cs.LG
Programmable Spectrometry -- Per-pixel Classification of Materials using Learned Spectral Filters
Carnegie Mellon University(卡内基梅隆大学)
许多材料具有不同的光谱轮廓。这有助于通过首先获取场景的高光谱图像并随后使用光谱轮廓库对其进行滤波来估计场景在每个像素处的材料组成。这个过程本质上是浪费的,因为只有一组线性投影的采集测量有助于分类任务。我们提出了一种新的可编程相机,能够产生图像的场景与任意的光谱滤波器。我们使用这个相机,以光学方式实现光谱过滤的场景的高光谱图像与银行的光谱配置文件需要执行每像素的材料分类。这在采集速度和信噪比两方面都有好处,前者因为只采集相关的测量结果,后者因为我们总是避免使用效率低的窄带滤波器。给定训练数据,我们使用一系列经典和现代技术,包括支持向量机和神经网络,以确定有助于材料分类的光谱轮廓库。我们在标准数据集上的模拟以及使用相机的实验室原型的真实数据中验证了该方法。
2019-05-13 cs.CV cs.LG eess.IV
A Sensitivity Analysis of (and Practitioners' Guide to) Convolutional Neural Networks for Sentence Classification
University of Texas at Austin(德克萨斯大学奥斯汀分校)
卷积神经网络(CNN)最近在句子分类的实际重要任务上取得了非常强大的性能(kim 2014,kalchbrenner 2014,johnson 2014)。然而,这些模型需要从业者指定一个精确的模型架构,并设置相应的超参数,包括过滤区域大小,正则化参数等。目前还不知道模型性能对这些配置的变化有多敏感。因此,我们对单层CNN进行了敏感性分析,以探索架构组件对模型性能的影响;我们的目标是区分句子分类的重要和相对无关紧要的设计决策。我们专注于单层CNN(排除更复杂的模型),因为它们相对简单和强大的经验性能,这使其成为一种现代标准基线方法,类似于支持向量机(SVM)和逻辑回归。我们从我们广泛的经验结果中获得了实用的建议,为那些有兴趣在现实世界中充分利用CNN进行句子分类的人提供了建议。
2016-04-06 cs.CL cs.LG cs.NE
Integer Programming-based Error-Correcting Output Code Design for Robust Classification
Massachusetts Institute of Technology(麻省理工学院)
纠错输出码(ECOCs)提供了一种将简单的二进制分类器组合成多类分类器的原则性方法。在本文中,我们研究了使用支持向量机(SVM)和二进制深度学习模型设计最佳ECOCs以实现标称和对抗精度的问题。在以往的文献中,我们提出了一个可编程(IP)制定设计最小码本所需的纠错性能。我们的工作利用IP求解器的进步来生成具有最优性保证的码本。为了实现易处理性,我们利用我们的IP制定的约束集的底层图论结构。这使得我们能够使用边团覆盖来大幅减少约束集。我们的码本相对于标准码本(例如,一对所有、一对一和密集/稀疏码)。我们还在白盒设置中估计了基于EECC的分类器的对抗准确性。我们的IP生成的码本即使没有任何对抗性训练,也能对对抗性扰动提供非平凡的鲁棒性。
2020-10-30 cs.CV cs.IT cs.LG
Malware Detection in IOT Systems Using Machine Learning Techniques
Newcastle University(纽卡斯尔大学);Kent State University(肯特州立大学)
本研究提出一种CNN-LSTM混合模型用于物联网恶意软件检测,通过K折交叉验证达到95.5%的准确率,优于现有方法,为增强物联网安全提供了有效方案。
2024-02-04 cs.CR cs.LG cs.NI
Parameterized Quantum Circuits as Feature Maps: Representation Quality and Readout Effects in Multispectral Land-Cover Classification
Department of Informatics and Telecommunications(信息与电信系);National and Kapodistrian University of Athens(雅典国家与卡多斯蒂里亚大学);Eulambia Advanced Technologies Ltd(欧利亚姆巴先进技术有限公司)
本文研究了用于多光谱卫星图像土地覆盖分类的变分量子分类器,从特征映射角度探讨了量子电路定义的非线性数据嵌入与读出策略的交互作用,发现量子特征映射在核决策框架中可显著提升性能。
2026-07-27 cs.LG quant-ph
The Impact of Feature Scaling In Machine Learning: Effects on Regression and Classification Tasks
Department of Mechanical Engineering, University of São Paulo(机械工程系,圣保罗大学);Department of Electrical and Computer Engineering, University of São Paulo(电气与计算机工程系,圣保罗大学)
本文研究了特征缩放对机器学习模型性能的影响,发现集成方法对缩放不敏感,而其他模型如逻辑回归和MLP对缩放选择敏感,提供了模型特定的指导。
2025-11-21 cs.LG stat.ML
Quantum Machine Learning with Application to Progressive Supranuclear Palsy Network Classification
Derozio Memorial College(德罗齐奥纪念学院)
本研究针对经典机器学习在大特征空间下分类计算成本高的问题,将量子学习结合PCA降维应用于PSP疾病诊断分类,在量子模拟器和真实芯片上实现86%准确率,优于经典SVM。
2024-07-06 cs.LG quant-ph
Comparing Natural Language Processing Techniques for Alzheimer's Dementia Prediction in Spontaneous Speech
University College London(伦敦大学学院)
阿尔茨海默氏痴呆症(AD)是一种影响认知功能的无法治愈的、使人衰弱的和进行性的神经退行性疾病。早期诊断是重要的,因为治疗可以延缓病情进展,并给那些诊断的重要时间。开发分析自发言语的模型最终可以为AD的早期诊断提供有效的诊断方式。通过自发语音识别阿尔茨海默氏症痴呆症任务提供了声学预处理和平衡的数据集,用于通过自发语音的建模对AD和相关表型进行分类和预测。我们专门分析了自发语音数据集的文本转录,建立并比较了AD与对照组分类的众多模型的性能,以及对精神迷你状态考试分数的预测。我们严格训练和评估支持向量机(SVM)、梯度提升决策树(GBDT)和条件随机场(CRF)以及基于深度学习的Transformer模型。我们发现我们表现最好的模型是一个简单的词频-逆文档频率(TF-IDF)向量化器,作为SVM模型的输入,以及一个预训练的基于Transformer的模型“DistilBERT”,用作简单线性模型的嵌入层。我们证明了测试集的分类指标得分为0.81-0.82,RMSE为4.58。
2020-09-23 cs.CL cs.LG cs.SD