首页/论文/2006.03288

arXiv 2006.032882020-06-05math.STstat.TH

高维部分线性支持向量机的学习率

Learning rates for partially linear support vector machine in high dimensions

Yifan Xia, Yongchao Hou, Shaogao Lv

摘要：

分析了高维部分线性支持向量机的一种新的正则化学习方法。所提出的方法包括一个经验风险和拉索型惩罚的线性部分，以及标准的非线性部分的功能范数。在这里，线性核用于模型解释和特征选择，而非线性核被采用，以提高算法的灵活性。本文对加权经验过程进行了一种新的技术分析，并在正则化条件下建立了半参数估计的锐学习率。特别地，我们导出的半参数SVM的学习率不仅依赖于样本量和函数的复杂度，而且还依赖于稀疏性和间隔参数。

英文摘要：

This paper analyzes a new regularized learning scheme for high dimensional partially linear support vector machine. The proposed approach consists of an empirical risk and the Lasso-type penalty for linear part, as well as the standard functional norm for nonlinear part. Here the linear kernel is used for model interpretation and feature selection, while the nonlinear kernel is adopted to enhance algorithmic flexibility. In this paper, we develop a new technical analysis on the weighted empirical process, and establish the sharp learning rates for the semi-parametric estimator under the regularized conditions. Specially, our derived learning rates for semi-parametric SVM depend on not only the sample size and the functional complexity, but also the sparsity and the margin parameters.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

阅读原文

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

本文内容

摘要英文摘要相关论文

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

继续探索

相关论文

支持度部分已知的压缩感知基追踪重构算法研究

On the modified Basis Pursuit reconstruction for Compressed Sensing with partially known support

这篇短文的目的是对Vaswani和Lu介绍的在部分已知支持下的压缩感知中进行信号恢复的改进基追踪（$\ell_1$ -最小化）方法进行精细分析。问题是使用观测向量$y=Ax$来恢复信号$x \in \mathbb R^p$，其中$A \in \mathbb R^{n\times p}$和在高度欠定设置$n\ll p$中。基于信号的支持${\rm supp}(x)$的初始和可能错误的猜测$T$，Vaswani和Lu的改进的基追踪方法包括最小化仅由$T^c$索引的索引上的估计的$\ell_1$范数。我们证明了确切的恢复基本上根据限制等距性质的假设，为了2倍的基数的$T^c \cap {\rm supp}(x)$，即错过的组件的数量。

2015-09-04math.OCmath.STstat.ME

带噪声的部分可观测低秩矩阵奇异向量和值估计的渐近理论

Asymptotic Theory for Estimating the Singular Vectors and Values of a Partially-observed Low Rank Matrix with Noise

矩阵补全算法从一小部分条目中恢复低秩矩阵，每个条目都被添加性错误污染。在实际应用中，低秩矩阵的奇异向量和奇异值在统计分析和推断中起着至关重要的作用。本文提出了这些量的估计，并研究其渐近行为。定理4.1给出了在矩阵的维数增加到无穷大且观测到每个元素的概率相同的情况下奇异向量估计的收敛速度，定理4.3给出了奇异值估计的多元中心极限定理.即使估计量只使用部分观测矩阵，它们也能达到与完全观测情况相同的收敛速度。这些估计量结合起来，形成一个完整的低秩矩阵的相合估计量，用非迭代算法计算。在本文研究的情况下，该估计量达到了Koltchinskii et al.（2011）中的极大极小下界。数值实验证实了我们的理论结果。

2016-05-01stat.ME

压缩感知中部分确定性采样与去噪保证

Partially deterministic sampling for compressed sensing with denoising guarantees

University of British Columbia（不列颠哥伦比亚大学）；CNRS – PIMS International Research Laboratory（CNRS-PIMS国际研究实验室）

本文提出一种结合随机与确定性选择的优化采样方案，改进了图像压缩感知中生成和稀疏先验的采样效果，并提供了更优的样本复杂度和去噪保证。

2026-04-06cs.ITcs.LGeess.SP

基于Logistic网络Lasso的部分标注网络数据分类

Classifying Partially Labeled Networked Data via Logistic Network Lasso

Department of Computer Science, Aalto University（阿尔托大学计算机科学系）；Aalto University（阿尔托大学）

我们应用网络Lasso分类部分标记的数据点，其特征在于高维特征向量。为了从有限数量的标记数据中学习准确的分类器，我们通过内在的网络结构在数据集上借用统计强度。由此产生的逻辑网络Lasso相当于使用分类器的总变差作为正则化器的正则化经验风险最小化问题。这个最小化问题是一个非光滑的凸优化问题，我们使用原始-对偶分裂方法解决。这种方法对于大数据应用程序很有吸引力，因为它可以实现为高度可扩展的消息传递算法。

2019-03-26cs.LGstat.ML

部分已知过完备大系统的稀疏估计性能

Sparse-Based Estimation Performance for Partially Known Overcomplete Large-Systems

我们假设<A><B>信号子空间的直和。作为后测量的结果，多个操作上下文预先假定LB维“干扰”子空间的先验知识<B>，并且目标是估计对应于子空间的LA幅度<A>。考虑到正交“干扰”子空间\perp的知识<B>，在双渐近情形下，即N，LA，LB -> \infty具有有限渐近比的情形下，给出了LA-稀疏向量的贝叶斯估计下界.通过联合利用压缩感知（CS）和随机矩阵理论（RMT）的框架，封闭形式的表达式估计的下界的稀疏感兴趣的向量的非零项的推导和研究。衍生的封闭形式的表达式享有几个有趣的功能：（i）一个简单的可解释的表达式，（ii）一个非常低的计算成本，特别是在双渐近的情况下，（iii）一个流行的基于稀疏的估计的均方误差（MSE）的准确预测和（iv）的下限仍然是真实的任何振幅矢量先验。最后，几个理想化的情况下进行比较，导出的共同的输出信号噪声比（SNR）的约束，这表明在此导出的联合估计/拒绝方法的兴趣。

2017-04-14stat.AP

部分观测向量AutoRegressions的Minimax估计

Minimax Estimation of Partially-Observed Vector AutoRegressions

高维时间序列是统计建模工具包的核心组成部分，有许多已知的估计方法。但是当观测数据稀缺或损坏时，学习任务变得更加困难。问题是：有多困难？本文研究了部分可观测向量自回归过程的性质，这是一个具有随机观测机制的状态空间模型，我们的目标是估计其稀疏转移矩阵，但我们只能获得状态分量的一个小的噪声子样本.有趣的是，采样过程本身是随机的，并且可以表现出时间相关性，本文首先描述了一个基于Yule-Walker方程和Dantzig选择器的估计器，并给出了它的非渐近误差的上界，然后，我们给出了一个匹配的Minimax下界，从而证明我们的估计接近最优。我们得到的收敛速度揭示了几个关键参数的作用，如采样率，噪音的数量和非零系数的过渡矩阵。这些理论研究结果进行了评论和说明的数值模拟数据的实验。

2022-05-05eess.SPmath.STstat.ME

更多相关论文收起更多论文

基于支持函数的半参数贝叶斯部分辨识模型

Semi-parametric Bayesian Partially Identified Models based on Support Function

我们提供了一个全面的贝叶斯部分识别计量经济模型的半参数研究。虽然现有的文献贝叶斯部分识别主要集中在结构参数，我们的主要重点是贝叶斯可信集（BCS）的未知识别集和后验分布的支持函数。我们构造了一个（双边）BCS的基础上的支持功能的识别集。我们证明了支持函数的后验分布的Bernstein-von Mises定理。这个强大的结果反过来推断，而BCS和频率论置信集的部分确定的参数是渐近不同的，我们构造的BCS的确定集有一个渐近正确的频率论覆盖概率。重要的是，我们说明，所构造的BCS的识别集不需要事先的结构参数。它可以有效地计算子集推断，特别是当目标的兴趣是一个子向量的部分识别的参数，其中投影到一个低维子集往往是必需的。因此，所提出的方法在许多应用中是有用的。贝叶斯部分识别文献一直假设一个已知的参数似然函数。然而，计量经济学模型通常只识别一组矩不等式，因此使用不正确的似然函数可能导致误导性的推论。与此相反，与一个非参数先验的未知似然函数，我们提出的贝叶斯过程只需要一组矩条件，并可以有效地进行推断的部分识别的参数和它的识别集。这使得它广泛适用于一般的矩不等式模型。最后，以一个金融资产定价问题为例说明了该方法的有效性.

2013-11-22econ.EMmath.STstat.ME

高维部分线性可加模型的Minimax最优估计

Minimax Optimal Estimation in Partially Linear Additive Models under High Dimension

在高维稀疏向量和光滑函数分量的部分线性可加模型中，我们得到了参数和非参数分量的极大极小估计率。欧氏分量的极小极大下界是典型的稀疏估计率，它与非参数平滑指标无关。然而，极小极大下界为每个组件功能表现出的维数和稀疏性的参数组件和相关的非参数组件的平滑度之间的相互作用。事实上，当非参数分量的平滑度或参数分量的维数足够大时，平滑非参数估计的极大极小风险可以减慢到稀疏估计率。在上面的设置中，我们证明了惩罚最小二乘估计几乎可以达到极大极小下界。

2018-01-14math.STstat.TH

Modified-CS：修正支持度部分已知的压缩感知问题

Modified-CS: Modifying Compressive Sensing for Problems with Partially Known Support

我们研究的问题重建稀疏信号从有限数量的线性投影时，其支持的一部分是已知的，虽然已知的部分可能包含一些错误。表示为T的支持的"已知”部分可以从先验知识中获得。或者，在递归重建稀疏空间信号的时间序列的问题中，可以使用来自前一时刻的支持估计作为"已知”部分。我们提出的解决方案（modified-CS）的思想是解决以下问题的凸松弛：找到满足数据约束并且稀疏地位于T之外的信号。我们得到了使用修改CS精确重建的充分条件。当支持的未知部分的大小和已知部分中的误差的大小与支持大小相比很小时，这些比压缩感测（CS）所需的那些弱得多。一个重要的扩展，称为正则化修改CS（RegModCS）的开发，也使用先验信号估计知识。稀疏和可压缩信号的仿真比较。

2010-07-27cs.ITmath.ITmath.ST

对“支持向量机及其应用”一文的评论

Comment on "Support Vector Machines with Applications"

关于“支持向量机及其应用”的评论[math.ST/0612817]

2006-12-28math.STstat.TH

对“支持向量机及其应用”一文的评论

Comment on "Support Vector Machines with Applications"

评"支持向量机及其应用“[math.ST/0612817]

2006-12-28math.STstat.TH

对“支持向量机及其应用”的反驳

Rejoinder to "Support Vector Machines with Applications"

对“支持向量机及其应用”的反驳[math.ST/0612817]

2006-12-28math.STstat.TH

对“支持向量机及其应用”一文的评论

Comment on "Support Vector Machines with Applications"

关于“支持向量机及其应用”的评论[math.ST/0612817]

2006-12-28math.STstat.TH

部分泛函线性模型的核估计：Minimax率和随机草图

Kernel-based estimation for partially functional linear model: Minimax rates and randomized sketches

本文研究了部分函数线性模型（PFLM），其中所有的预测特征由一个函数协变量和一个高维标量向量组成。在无限维再生核希尔伯特空间上，PFLM的估计是一个函数范数和$\ell_1$范数混合正则化的最小二乘估计.本文的主要任务是建立高维情形下PFLM的Minimax估计率，并利用经验过程理论中分析核类的各种技巧建立最优Minimax估计率。此外，我们提出了一个有效的数值算法的基础上随机草图的核矩阵。几个数值实验来支持我们的方法和优化策略。

2021-10-18math.STstat.MLstat.TH

支持向量机的定性鲁棒性

Qualitative Robustness of Support Vector Machines

支持向量机在理论和应用统计学中都引起了广泛的关注。最近感兴趣的主要话题是一致性，学习率和鲁棒性。在这篇文章中，它表明，支持向量机是定性的强大。由于支持向量机可以表示为一个功能上的所有概率测度的集合，定性的鲁棒性证明，通过显示，这个功能是连续的拓扑结构所产生的弱收敛的概率测度。结合支持向量机的存在性和唯一性，我们的结果表明，支持向量机是一个适定的数学问题在Hadamard意义下的解决方案。

2011-11-03math.STstat.MLstat.TH

部分可观测多尺度过程统计估计的降维

Dimension Reduction in Statistical Estimation of Partially Observed Multiscale Processes

我们考虑部分观测的多尺度扩散模型，指定到一个未知的向量参数。我们建立了一个非常一般的一类检验函数，过滤器的原始模型收敛到一个过滤器的减少的维度。然后，这个结果被用来证明统计估计的未知参数的基础上减少的维度，但使用原始的可用数据的模型。这允许在较低维度下工作时学习感兴趣的未知参数，而不是使用原始的高维系统。仿真研究支持并说明了理论结果。

2017-11-26math.PRmath.STq-fin.ST

关于高维支持向量的扩散问题

On the proliferation of support vectors in high dimensions

Columbia University（哥伦比亚大学）；Georgia Institute of Technology（佐治亚理工学院）

支持向量机（SVM）是一种成熟的分类方法，其名称是指特定的训练样本，称为支持向量，其确定最大间隔分离超平面。当支持向量的数量与训练样本的数量相比很小时，SVM分类器具有良好的泛化性能。然而，最近的研究表明，在足够高维的线性分类问题中，SVM可以很好地推广，尽管所有训练样本都是支持向量的支持向量激增。在本文中，我们为支持向量增殖现象确定了新的确定性等价物，并使用它们来（1）大大拓宽了在高维环境中发生这种现象的条件，以及（2）证明了一个几乎匹配的逆结果。

2022-06-14cs.LGmath.STstat.ML

支持向量机与Radon定理

Support vector machines and Radon's theorem

Colorado State University（科罗拉多州立大学）

支持向量机（SVM）是一种算法，其找到将$\mathbb{R}^n$中的标记数据点最佳地分成正类和负类的超平面。在这个分离超平面的边缘上的数据点被称为支持向量。我们连接的可能配置的支持向量的Radon定理，它提供了保证时，一组点可以分为两类（正和负）的凸包相交。如果正、负支持向量的凸包投影到一个分离超平面上，则投影相交当且仅当该超平面是最优的。此外，与一个特定类型的一般位置，我们表明，（a）的投影凸包的支持向量相交在一个点，（b）的支持向量是稳定的扰动下，（c）有最多$n+1$支持向量，和（d）从2到$n+1$的支持向量的任何数量是可能的。最后，我们进行计算机模拟研究的预期数量的支持向量，和他们的配置，随机生成的数据。我们观察到，对于这种类型的随机生成的数据，随着点类之间的距离增加，具有较少支持向量的配置变得更有可能。

2022-09-16cs.LGmath.COmath.GN