Robust support vector model based on bounded asymmetric elastic net loss for binary classification
本文提出了一种有界非对称弹性网络损失函数,结合支持向量机形成BAEN-SVM,有效处理噪声数据并解决传统SVM的几何不合理性,理论证明其鲁棒性和泛化能力。
2026-04-08 cs.LG stat.ML
Joint Ranking SVM and Binary Relevance with Robust Low-Rank Learning for Multi-Label Classification
University of Chinese Academy of Sciences(中国科学院大学);Chinese Academy of Sciences(中国科学院);Beijing Union University(北京联合大学)
多标签分类研究每个样本同时属于多个标签的任务。作为一种代表性的方法,排序支持向量机(Rank-SVM)的目标是最小化排序损失,也可以减轻类不平衡问题的负面影响。然而,由于其堆叠式的阈值方式,它可能会遭受错误积累,从而降低最终的分类性能。二进制相关(BR)是另一种典型的方法,其目的是最大限度地减少汉明损失,只需要一步学习。然而,它可能存在类别不平衡问题,并且没有考虑标签相关性。针对上述问题,本文提出了一种新的多标签分类模型,该模型将Ranking支持向量机和二进制相关性与鲁棒低秩学习(RBRL)相结合。RBRL继承了Rank-SVM的排序损失最小化的优点,从而克服了BR遭受类不平衡问题和忽略标签相关性的缺点。同时,它利用汉明损失最小化和一步学习的优势BR,从而解决了Rank-SVM的缺点,包括另一个阈值学习步骤。此外,在低维标签空间的假设下,利用低秩约束进一步利用高阶标签相关性。此外,为了实现非线性多标签分类器,我们推导出核化RBRL。两种加速近似梯度法(APG)被用来解决优化问题的有效。与几个国家的最先进的方法进行了广泛的比较实验,说明了我们的方法RBRL具有很强的竞争力或优越的性能。
2019-11-05 cs.LG stat.ML
Defending SVMs against Poisoning Attacks: the Hardness and DBSCAN Approach
University of Science and Technology of China(中国科学技术大学)
对抗性机器学习近年来吸引了大量的关注。在投毒攻击中,攻击者可以向训练数据中注入少量特制样本,使决策边界严重偏离,从而导致意外的误分类。由于支持向量机(SVM)的重要性和广泛的应用,我们考虑防止中毒攻击的SVM在本文中。我们研究了两种常用的防御策略:设计鲁棒的SVM算法和数据净化。虽然以前已经提出了一些鲁棒的SVM算法,但它们中的大多数要么缺乏对抗弹性,要么依赖于对数据分布或攻击者行为的强假设。此外,对它们的复杂性的研究还相当有限。据我们所知,我们是第一个证明,即使是最简单的硬边缘单类SVM与离群值问题是NP完全的,并没有完全PTAS,除非P $=$ NP(这意味着它是很难实现一个甚至近似算法)。对于数据净化防御,我们将其与数据的内在维度联系起来;特别是,我们提供了一个采样定理,用于解释DBSCAN(作为一种基于密度的离群值去除方法)防御中毒攻击的有效性。在我们的实证实验中,我们比较了包括DBSCAN和鲁棒SVM方法在内的几种防御方法,并研究了固有维数和数据密度对其性能的影响。
2021-02-20 cs.CG cs.CR cs.LG
A Unified Robust Classification Model
Keio University(庆应义塾大学);Nagoya University(名古屋大学)
对于二进制分类,存在各种各样的机器学习算法,诸如支持向量机(SVM)、极小极大概率机(MPM)和Fisher判别分析(FDA)。本文的目的是提供一个统一的分类模型,包括上述模型,通过一个强大的优化方法。这种统一的模式有几个好处。一个是SVM的扩展和改进适用于MPM和FDA,反之亦然。另一个好处是通过处理统一的模型,一次性地为上述学习方法提供理论结果。我们给出了统一分类模型的统计解释,并提出了一个非凸优化算法,可应用于现有的学习方法的非凸变量。
2012-06-18 cs.LG stat.ML
Fast Imbalanced Classification of Healthcare Data with Missing Values
Geisinger Health System(盖辛格医疗系统)
在医学领域,数据特征往往包含缺失值。这可能会在预测建模中产生严重的偏差。典型的标准数据挖掘方法通常产生较差的性能度量。在本文中,我们提出了一种新的方法,同时分类大型数据集,并减少缺失值的影响。该方法是基于成本敏感的SVM和期望最大化填补缺失值的方法,它依赖于迭代回归分析的多级框架。我们比较了基于多级SVM的算法在具有不平衡类和缺失值的公共基准数据集以及健康应用中的真实数据上的分类结果,并表明我们的基于多级SVM的方法产生快速,更准确和鲁棒的分类结果。
2015-03-21 cs.LG stat.ML
Receiver Operating Characteristic Curves and Confidence Bands for Support Vector Machines
University of North Carolina(北卡罗来纳大学);North Carolina State University(北卡罗来纳州立大学);University of Maryland(马里兰大学);Yale University(耶鲁大学)
生物医学决策中出现的许多问题,如疾病诊断和治疗反应预测,可以表示为二元分类问题。假阳性和假阴性的成本在不同的应用领域和受试者工作特征(ROC)曲线提供了一个直观的表示这种权衡。ROC曲线的非参数估计,如加权支持向量机(SVM),是可取的,因为它们是强大的模型误设。虽然加权支持向量机有很大的潜力,估计ROC曲线,他们的理论特性是迄今欠发达。我们提出了一种方法来构建的SVM ROC曲线的置信带,并提供了理论上的支持向量机ROC曲线的风险函数的估计决策规则是一致的权重参数。我们证明了建议的置信带方法和优越的灵敏度和特异性的加权SVM相比,常用的方法在诊断医学模拟研究。我们提出了两个说明性的例子:丙型肝炎的诊断和乳腺癌治疗反应的预测模型。
2018-07-17 cs.LG stat.ML
A Robust Approach for Securing Audio Classification Against Adversarial Attacks
École de Technologie Supérieure (ÉTS), University of Quebec(魁北克大学高等技术学院)
对抗性音频攻击可以被认为是一种人耳无法感知的小扰动,它被故意添加到音频信号中,并导致机器学习模型出错。这对机器学习模型的安全性提出了安全问题,因为对抗攻击可以欺骗这些模型进行错误的预测。在本文中,我们首先回顾了一些可能影响音频信号及其2D表示的强对抗攻击,并评估了最常见的机器学习模型的弹性,即深度学习模型和在2D音频表示上训练的支持向量机(SVM),如短时傅立叶变换(STFT),离散小波变换(DWT)和交叉递归图(CRP)对几个国家的最先进的对抗攻击。接下来,我们提出了一种新的方法,基于预处理的DWT表示的音频信号和SVM,以确保音频系统免受对抗攻击。所提出的架构有几个预处理模块,用于生成和增强频谱图,包括降维和平滑。我们使用加速鲁棒特征(SURF)算法从频谱图的小块中提取特征,该算法进一步用于使用K-Means++算法生成码本。最后,码字被用来训练的SURF生成的矢量的码本上的SVM。所有这些步骤产生了一种新的音频分类方法,该方法在准确性和弹性之间提供了良好的权衡。在三个环境声音数据集上的实验结果表明,与深度神经网络相比,所提出的方法在准确性和对强对抗攻击的鲁棒性方面都具有竞争力。
2019-11-25 cs.CR cs.LG cs.SD
Region-Based Classification of PolSAR Data Using Radial Basis Kernel Functions With Stochastic Distances
ict.unesp.br(unesp.br的ict(可能是指某个部门,但根据要求,这里可能不完整,不过按照文本提取))
基于区域的分类PolSAR数据可以有效地执行通过寻求分配,使原型和段之间的距离最小化。Silva et al(2013)使用了复杂多变量Wishart模型之间的随机距离,与其他测量方法不同,它在计算上是易于处理的。在这项工作中,我们评估这种方法的鲁棒性在训练阶段的错误,并提出了一个扩展,解决这些问题。我们引入了鲁棒性的过程中,结合径向基核函数和随机距离与支持向量机(SVM)。我们考虑Wishart之间的几个随机距离:Bhatacharyya,Kullback-Leibler,卡方,Rényi和Hellinger。我们进行了两个案例研究与PolSAR图像,模拟和实际传感器,和不同的分类方案的最小距离和SVM分类框架的性能进行比较。有了这个,我们对不完美训练样本的情况进行建模。我们表明,SVM与建议的核函数实现了更好的性能方面的最小距离,在更多的计算资源和参数调整的需要为代价。提供代码和数据是为了重现性。
2018-05-07 cs.IT cs.LG math.IT
Robust LogitBoost and Adaptive Base Class (ABC) LogitBoost
Cornell University(康奈尔大学)
Logitboost是一种有影响力的分类提升算法。在本文中,我们开发了强大的logitboost,为logitboost构建弱学习器(回归树)提供了一个明确的树分裂标准。这个公式导致logitboost的数值稳定的实现。然后,我们提出了abc-logitboost多类分类,通过结合强大的logitboost与abc-boost的先前工作。在此之前,abc-boost是使用mart算法作为abc-mart实现的。我们在多类分类上的大量实验比较了四种算法:mart,abcmart,(鲁棒)logitboost和abc-logitboost,并证明了abc-logitboost的优越性。与包括SVM和深度学习在内的其他学习方法的比较也可以通过先前的出版物获得。
2012-03-15 cs.LG stat.ML
Multilevel Weighted Support Vector Machine for Classification on Healthcare Data with Missing Values
Clemson University(克莱姆森大学);Geisinger Health System(盖辛格健康系统)
这项工作的动机是对以电子病历为代表的医疗数据进行预测分析的需求。这样的数据总是有问题的:嘈杂,缺少条目,兴趣类别不平衡,导致预测建模中的严重偏差。由于标准的数据挖掘方法往往会产生不良的性能指标,我们主张开发的数据预处理和分类的专门技术。在本文中,我们提出了一种新的方法,同时分类大型数据集,并减少缺失值的影响。它是基于一个多层次的框架的成本敏感的SVM和期望最大化填补方法的缺失值,这依赖于迭代回归分析。我们比较了基于多级SVM的算法在具有不平衡类和缺失值的公共基准数据集以及健康应用中的真实数据上的分类结果,并表明我们的基于多级SVM的方法产生快速,更准确和鲁棒的分类结果。
2016-04-07 cs.LG stat.AP stat.ML
Robust Optimal Classification Trees under Noisy Labels
Universidad de Granada(格拉纳达大学);Universidad de Sevilla(塞维利亚大学)
在本文中,我们提出了一种新的方法来构建最优分类树,考虑到噪声标签可能会出现在训练样本。我们的方法依赖于两个主要元素:(1)分类树的分裂规则被设计为最大化应用SVM范式的类之间的分离裕度;以及(2)在试图检测标签噪声的树的构建期间,允许改变训练样本的一些标签。这两个功能都被考虑和集成在一起,设计产生的最优分类树。我们提出了一个混合的非线性规划制定的问题,适合使用任何可用的现成的求解器来解决。在UCI机器学习数据库中的标准数据集上对该模型进行了分析和测试,结果表明了该方法的有效性。
2020-12-15 cs.LG math.OC stat.ML
Banach neural operator for Navier-Stokes equations
Department of Mechanical Engineering, Northern Illinois University, DeKalb, IL 60115, USA(机械工程系,北伊利诺伊大学,德Kalb,IL 60115,USA)
Banach神经算子通过结合Koopman算子理论与深度神经网络,实现了对纳维-斯托克斯方程中非线性时空动态的高效预测。
2025-11-28 cs.LG cs.NE stat.ML
Understanding and Quantifying Adversarial Examples Existence in Linear Classification
Northeastern University(东北大学)
最先进的深度神经网络(DNN)容易受到对抗性示例的攻击:精心设计的对输入的微小扰动,人类无法察觉,可能会误导DNN。为了了解对抗性示例的根本原因,我们量化了线性分类器的对抗性示例存在的概率。以前的对抗性示例的数学定义只涉及整体扰动量,我们提出了一个更实用的强对抗性示例的相关定义,该定义还单独限制了沿信号方向的扰动。我们表明,线性分类器可以强大的对抗性的例子攻击的情况下,没有对抗性的强大的线性分类器存在之前的定义。通过线性支持向量机(SVM)分类器的数值实验,验证了定量公式的正确性.结果表明,设计一般的强对抗性鲁棒学习系统是可行的,但只有通过结合人类知识的基本分类问题。
2019-10-27 cs.CR cs.LG stat.ML
Adversarial Deep Learning for Robust Detection of Binary Encoded Malware
CSAIL, MIT Cambridge, USA
恶意软件不断适应以避免检测。基于模型的恶意软件检测器(诸如SVM和神经网络)易受所谓的对抗性示例的攻击,对抗性示例是对可检测恶意软件的适度改变,其允许所产生的恶意软件逃避检测。已经使用鞍点优化公式开发了对图像的对抗性示例具有鲁棒性的连续值方法。我们受到他们的启发,开发类似的方法离散,例如二进制,域的恶意软件的特征。恶意软件的一个具体的额外挑战是,对抗性示例必须以保留其恶意功能的方式生成。我们介绍的方法能够产生功能上保留的对抗性恶意软件的例子在二进制域。使用鞍点公式,我们将对抗性示例纳入对它们具有鲁棒性的模型的训练中。我们评估的方法和其他文献中的一组便携式执行~(PE)文件的有效性。比较提示我们引入了在训练过程中计算的在线测量,以评估鲁棒性的一般期望。
2018-03-25 cs.CR cs.LG stat.ML
Integer Programming-based Error-Correcting Output Code Design for Robust Classification
Massachusetts Institute of Technology(麻省理工学院)
纠错输出码(ECOCs)提供了一种将简单的二进制分类器组合成多类分类器的原则性方法。在本文中,我们研究了使用支持向量机(SVM)和二进制深度学习模型设计最佳ECOCs以实现标称和对抗精度的问题。在以往的文献中,我们提出了一个可编程(IP)制定设计最小码本所需的纠错性能。我们的工作利用IP求解器的进步来生成具有最优性保证的码本。为了实现易处理性,我们利用我们的IP制定的约束集的底层图论结构。这使得我们能够使用边团覆盖来大幅减少约束集。我们的码本相对于标准码本(例如,一对所有、一对一和密集/稀疏码)。我们还在白盒设置中估计了基于EECC的分类器的对抗准确性。我们的IP生成的码本即使没有任何对抗性训练,也能对对抗性扰动提供非平凡的鲁棒性。
2020-10-30 cs.CV cs.IT cs.LG