arXiv 0912.08742009-12stat.MLmath.STstat.TH

支持向量机的定性鲁棒性

Qualitative Robustness of Support Vector Machines

Robert Hable, Andreas Christmann

摘要：

支持向量机在理论和应用统计学中都引起了广泛的关注。最近感兴趣的主要话题是一致性，学习率和鲁棒性。在这篇文章中，它表明，支持向量机是定性的强大。由于支持向量机可以表示为一个功能上的所有概率测度的集合，定性的鲁棒性证明，通过显示，这个功能是连续的拓扑结构所产生的弱收敛的概率测度。结合支持向量机的存在性和唯一性，我们的结果表明，支持向量机是一个适定的数学问题在Hadamard意义下的解决方案。

英文摘要：

Support vector machines have attracted much attention in theoretical and in applied statistics. Main topics of recent interest are consistency, learning rates and robustness. In this article, it is shown that support vector machines are qualitatively robust. Since support vector machines can be represented by a functional on the set of all probability measures, qualitative robustness is proven by showing that this functional is continuous with respect to the topology generated by weak convergence of probability measures. Combined with the existence and uniqueness of support vector machines, our results show that support vector machines are the solutions of a well-posed mathematical problem in Hadamard's sense.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

阅读原文

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

本文内容

摘要英文摘要相关论文

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

继续探索

相关论文

可拓模型预测的鲁棒性

Robustness of Model Predictions under Extension

University of Amsterdam（阿姆斯特丹大学）

现实世界的数学模型是复杂系统的简化表示。使用数学模型的一个警告是，预测的因果效应和条件独立性在模型扩展下可能不稳健，限制了此类模型的适用性。在这项工作中，我们考虑的条件下，定性模型的预测被保存时，两个模型相结合。在温和的假设下，我们展示了如何使用因果排序技术来有效地评估定性模型预测的鲁棒性。我们还描述了一个大类的模型扩展，保留定性模型预测。对于处于平衡状态的动力系统，我们展示了新的见解如何帮助选择适当的模型扩展和反馈回路的存在原因。我们用一个带有免疫反应的病毒感染模型来说明我们的想法。

2022-08-08cs.AIstat.MEstat.ML

局部化支持向量机的定量鲁棒性

Quantitative Robustness of Localized Support Vector Machines

University of Bayreuth（拜罗伊特大学）

如今，大量的可用数据对于基于内核的机器学习算法（如SVM）在运行时间和存储容量方面是一个挑战。地方办法可能有助于缓解这些问题，提高统计准确性。已经表明，这些地方性办法基本上是一致的和强有力的。这篇文章细化了对所谓的影响函数的鲁棒性分析，该函数表示学习方法的可微性：我们证明了我们的局部学习预测器对底层分布的可微依赖性。证明定理的假设可以在不知道任何关于这个分布的情况下得到验证。从应用的角度来看，这使得结果也很有趣。

2019-03-01cs.LGmath.STstat.ML

局部化支持向量机的一致性和鲁棒性

Universal Consistency and Robustness of Localized Support Vector Machines

潜在地用于发现机器学习中的模式的大量可用数据对于基于内核的算法在运行时间和存储容量方面是一个挑战。地方办法可能有助于缓解这些问题。从统计学的角度来看，局部方法还允许以不同的方式处理数据中的不同结构。本文分析了基于局部核的非参数统计机器学习方法的性质，特别是支持向量机（SVM）和接近它们的方法。我们将证明局部学习的核方法是普适的。此外，我们给出了一个上限的maxbias，以显示所提出的方法的统计鲁棒性。

2017-03-19stat.ML

支持向量机的鲁棒性检验

Robustness Verification of Support Vector Machines

University of Padova（帕多瓦大学）

我们研究的问题，正式验证的鲁棒性对抗的例子支持向量机（SVM），一个主要的机器学习模型的分类和回归任务。在最近的一系列关于（深度）神经网络的正式鲁棒性验证的工作之后，我们的方法依赖于一个给定SVM分类器的合理抽象版本来检查其鲁棒性。这种方法是一个给定的数值抽象的真实值的参数，类似于神经网络的情况下，既不需要抽象的最小上界，也不扩大运营商在这个抽象。标准的区间域提供了一个简单的实例，我们的抽象技术，这是增强与域的减少仿射形式，这是一个有效的抽象zonotope抽象域。这种鲁棒性验证技术已经在基于线性和非线性（多项式和径向基函数）内核的SVM上完全实现和实验评估，这些内核已经在流行的MNIST图像数据集和最近更具挑战性的Fashion-MNIST数据集上进行了训练。我们的原型SVM鲁棒性验证器的实验结果似乎是令人鼓舞的：这种自动化验证是快速的，可扩展的，并显示出显着高百分比的MNIST测试集上的可证明的鲁棒性，特别是相比类似的可证明的鲁棒性的神经网络。

2019-04-26cs.LGstat.ML

可加模型的支持向量机：一致性和鲁棒性

Support Vector Machines for Additive Models: Consistency and Robustness

支持向量机（SVM）是一种特殊的基于核的方法，是近十多年来最成功的学习方法之一。支持向量机可以被非正式地描述为一种正则化的M-估计函数，并已被证明在许多复杂的现实生活中的问题的有用性。在过去的几年中，很大一部分的统计研究支持向量机的问题集中在如何设计支持向量机，使他们是普遍一致的，统计上的非参数分类或非参数回归的目的是强大的。在许多应用中，存在待估计的分布P或未知函数f的一些定性先验知识，或者期望具有良好可解释性的预测函数，使得关注半参数模型或加性模型。本文主要研究在可加模型中如何通过选择再生核Hilbert空间（RKHS）或其相应的核来设计支持向量机，以获得相容的统计稳健估计。我们给出了一个明确的内核建设-因此，他们的RKHS-这导致与Lipschitz连续损失函数相结合，以一致的和统计上强大的SMV的添加剂模型。例如，基于弹球损失函数的分位数回归、基于ε不敏感损失函数的回归以及基于铰链损失函数的分类。

2010-07-23stat.ML

MetaPhysiCa：物理信息机器学习中的OOD鲁棒性

MetaPhysiCa: OOD Robustness in Physics-informed Machine Learning

Purdue University（普渡大学）

物理信息机器学习（PIML）的一个基本挑战是为分布外（OOD）预测任务设计鲁棒的PIML方法。这些OOD任务需要从具有不同未知ODE参数的相同（ODE）动力系统的观测中学习学习，并且即使在不支持的初始条件和不支持的ODE参数下也需要准确的预测。在这项工作中，我们提出了这样的任务，我们定义为因果结构发现（包括不变风险最小化）的元学习过程的解决方案。使用三个不同的OOD任务，我们根据经验观察到，所提出的方法显着优于现有的最先进的PIML和深度学习方法。

2023-03-06cs.LGstat.ML

更多相关论文收起更多论文

对抗性鲁棒性测试v1 .0.0

Adversarial Robustness Toolbox v1.0.0

IBM Research（IBM研究院）；Univ Lyon（里昂大学）；UJM-Saint-Etienne（圣艾蒂安让·莫内大学）；CNRS（法国国家科学研究中心）；Institut d Optique Graduate School（高等光学学校）

对抗鲁棒性测试（ART）是一个Python库，支持开发人员和研究人员保护机器学习模型（深度神经网络，梯度提升决策树，支持向量机，随机森林，逻辑回归，高斯过程，决策树，Scikit-learn Pipelines等）。对抗对抗性威胁，并有助于使AI系统更加安全和值得信赖。机器学习模型容易受到对抗性示例的影响，这些示例是输入（图像，文本，表格数据等）。故意修改以通过机器学习模型产生期望的响应。ART提供了构建和部署防御的工具，并使用对抗攻击对其进行测试。防御机器学习模型涉及通过预处理输入、使用对抗样本增强训练数据以及利用运行时检测方法来标记可能已被对手修改的任何输入等方法来认证和验证模型鲁棒性和模型强化。ART中实现的攻击允许针对机器学习模型创建对抗攻击，这是使用最先进的威胁模型测试防御所需的。支持的机器学习库包括TensorFlow（v1和v2）、Keras、PyTorch、MXNet、Scikit-learn、XGBoost、LightGBM、CatBoost和GPy。ART的源代码在https://github.com/IBM/adversarial-robustness-toolbox上以MIT许可证发布。该版本包括代码示例、带教程的笔记本和文档（http：adversarial-robustness-toolbox.readthedocs.io）。

2019-11-15cs.LGstat.ML

超越经验支持：通过Sinkhorn最优输运的结构化离群点生成

Beyond Empirical Support: Structured Outlier Generation via Sinkhorn Optimal Transport

针对现有离群点合成方法依赖启发式且不稳定，本文提出Sinkhorn边界离群点生成（SBOG）框架，结合最优输运几何与分布鲁棒边界建模，生成语义受控的离群点，提升跨模态鲁棒性评估。

2026-11-10cs.LGmath.OCstat.ML

鲁棒支持向量机的故障点

Breakdown Point of Robust Support Vector Machine

Nagoya University（名古屋大学）；The University of Tokyo（东京大学）

支持向量机（SVM）是解决分类问题最成功的学习方法之一。尽管支持向量机很受欢迎，但它有一个严重的缺点，即对训练样本中的离群值敏感。错误分类的惩罚由称为铰链损失的凸损失定义，凸损失的无界性导致对离群值的敏感性。为了处理离群值，已经提出了SVM的鲁棒变体，例如鲁棒离群值检测算法和具有称为斜坡损失的有界损失的SVM。在本文中，我们提出了一个强大的SVM的变种，并研究其鲁棒性的崩溃点。崩溃点是鲁棒性度量，其是最大量的污染，使得估计的分类器仍然给出关于未污染数据的信息。本文的主要贡献是显示一个准确的评估故障点的强大的支持向量机。对于我们算法中的正则化参数等学习参数，我们推导出一个简单的公式，保证了分类器的鲁棒性。当使用交叉验证的网格搜索确定学习参数时，我们的公式可以减少候选搜索点的数量。数值实验证实了该方法的鲁棒性。我们表明，强大的支持向量机的统计特性很好地解释了故障点的理论分析。

2014-09-03cs.LGstat.ML