Interpreting Outliers: Localized Logistic Regression for Density Ratio Estimation
Kyoto University(京都大学);Institute of Statistical Mathematics(统计数理研究所);Aalto University(阿尔托大学)
我们提出了一种基于内点的离群点检测方法,通过识别离群点的特定特征,既能够识别离群点,又能够解释为什么它们是离群点。具体来说,我们采用了一个基于内点的离群点检测标准,该标准使用内点和测试概率密度的比值作为离群点的可验证性的度量。对于密度比函数的估计,我们提出了一种局部化的逻辑斯谛回归算法。由于模型的局部性,变量选择可以是特定于离群值的,这将有助于解释为什么点在高维空间中是离群值。通过综合实验,我们表明,该算法可以成功地检测出离群的重要特征。此外,我们表明,该算法往往优于现有的算法在基准数据集。
2017-02-21 cs.LG stat.ML
Robust PCA as Bilinear Decomposition with Outlier-Sparsity Regularization
主成分分析(PCA)被广泛用于降维,在涉及高维数据的各种应用中具有良好的记录优点,包括计算机视觉、偏好测量和生物信息学。在这种情况下,这里提倡的新外观渗透了变量选择和压缩采样的好处,以鲁棒PCA对离群值。一个低秩双线性因子分析模型的最小二乘估计密切相关的$\ell_0$ -(伪)范数正则化的标准,鼓励稀疏矩阵明确建模的离群值。这种连接建议强大的PCA计划的基础上凸松弛,这自然会导致一个家庭的强大的估计,包括胡贝尔的最佳M-类作为一个特殊情况。通过调整正则化参数来识别离群值,这相当于控制离群值矩阵沿着(组)最小绝对收缩和选择算子(Lasso)解决方案的整个鲁棒化路径的稀疏性。除了其与鲁棒统计的紧密联系之外,所开发的离群感知PCA框架是通用的,以适应新的和可扩展的算法:i)随着新数据的实时获取,鲁棒地跟踪低秩信号子空间;以及ii)在(可能)无限维特征空间中鲁棒地确定主成分。合成和真实数据测试证实了所提出的强大的PCA计划的有效性,当用于识别异常的反应,在人格评估调查,以及揭开社区的社交网络,和入侵者从视频监控数据。
2011-11-08 cs.IT math.IT stat.ML
Robust and sparse k-means clustering for high-dimensional data
在现实世界的应用场景中,由于可能出现的离群值和现有的噪声变量,组的识别构成了一个重大的挑战。因此,需要一种聚类方法,该方法能够在没有任何先验知识的情况下揭示包含离群值和噪声变量的数据中的组结构。在本文中,我们提出了一个$k$ -均值为基础的算法,结合加权函数,导致自动权重分配每个观察。为了处理噪声变量,套索型惩罚被用于由观测权重调整的目标函数。最后,我们介绍了一个框架,用于选择集群的数量和变量的基础上修改的间隙统计。模拟和真实世界的数据进行的实验表明,该方法的优势,以确定组,离群值,并提供信息的变量同时。
2017-09-28 stat.ME
Robust high dimensional learning for Lipschitz and convex losses
当损失为Lipschitz凸函数且正则化函数为范数时,我们建立了正则化经验风险最小化(RERM)的风险界。在第一部分中,我们得到这些结果在i.i.d.在亚高斯假设下的设计。在第二部分中,一个更一般的框架,设计可能有较重的尾巴和数据可能会损坏的离群值都在设计和响应变量被认为是。在这种情况下,RERM一般表现不佳。我们分析了一个替代的程序的基础上中位数的手段的原则,并呼吁最小最大的。我们展示了这些估计在放松设置的最佳亚高斯偏差率。主要结果是元定理允许广泛的应用到学习理论中的各种问题。为了展示这些潜在应用的非穷举样本,它被应用于由LASSO和SLOPE正则化的逻辑损失函数的分类问题,由组LASSO和全变差正则化的Huber损失的回归问题。极大极小化的另一个优点是,它提出了一种系统的方法来稍微修改高维统计中使用的基于下降的算法,使它们对离群值具有鲁棒性。我们在模拟部分中说明了这一原理,其中经典的最小最大近似下降算法的最小最大近似版本变成了对离群值算法的鲁棒性。
2021-01-06 math.ST stat.TH
Fast, Parameter free Outlier Identification for Robust PCA
Indian Institute of Technology Madras(印度理工学院马德拉斯分校)
鲁棒主成分分析(Robust PCA),即存在离群值的主成分分析问题,近年来得到了广泛的研究。在这里,我们专注于列稀疏离群模型中的鲁棒PCA。现有的列稀疏离群模型的方法要么假设知道系统中低维子空间的维数,要么假设知道系统中离群点的比例。然而,在许多应用中,这些参数的知识是不可用的。受此启发,我们提出了一种无参数的鲁棒PCA离群点识别方法,该方法a)不需要离群点分数的知识,b)不需要底层子空间的维数的知识,c)计算简单且快速。此外,分析保证导出离群值识别和算法的性能与现有的最先进的方法。
2018-04-13 cs.LG stat.ML
Structured and Unstructured Outlier Identification for Robust PCA: A Non iterative, Parameter free Algorithm
Indian Institute of Technology Madras(马德拉斯印度理工学院)
鲁棒主成分分析(Robust PCA),即存在离群值的主成分分析问题,近年来得到了广泛的研究。在这里,我们专注于离群值模型中的鲁棒PCA,其中数据矩阵的每一列都是内点或离群点。大多数现有的方法,这个模型假设的知识的维数较低的维子空间或在系统中的离群值的分数。然而,在许多应用中,这些参数的知识是不可用的。受此启发,我们提出了一种用于鲁棒PCA的无参数离群点识别方法,该方法a)不需要离群点分数的知识,b)不需要底层子空间的维数的知识,c)计算简单且快速d)可以处理结构化和非结构化离群点。此外,分析保证导出离群值识别和算法的性能进行比较,与现有的最先进的方法在真实和合成数据的各种离群结构。
2018-09-11 cs.LG stat.ML
Self-Paced Probabilistic Principal Component Analysis for Data with Outliers
Tsinghua University(清华大学);Peng Cheng Laboratory(鹏城实验室)
主成分分析(PCA)是数据分析中降维和特征提取的常用工具。PCA有一个概率版本,称为概率PCA(PPCA)。然而,标准PCA和PPCA并不稳健,因为它们对离群值敏感。针对这一问题,本文将自步调学习机制引入到PPCA中,提出了一种自步调概率主成分分析(SP-PPCA)方法。在此基础上,基于交替搜索策略和期望最大化算法设计了相应的优化算法。SP-PPCA寻找最佳的投影向量,并迭代地过滤掉离群值。在合成问题和真实数据集上的实验清楚地表明,SP-PPCA能够减少或消除离群值的影响。
2019-04-13 cs.LG stat.ML
Angular Embedding: A New Angular Robust Principal Component Analysis
Dalian University of Technology(大连理工大学)
主成分分析(PCA)作为机器学习中一种广泛应用的方法,具有良好的降维特性。主成分分析对离群值敏感是一个严重的问题,许多鲁棒主成分分析(RPCA)已经改善了这一问题。然而,现有的国家的最先进的RPCA方法不能轻易地删除或容忍离群值的非迭代方式。为了解决这个问题,本文提出了角度嵌入(AE)制定一个简单的RPCA方法的基础上的角度密度,这是改进的大规模或高维数据。此外,一个修剪AE(TAE)被引入到处理大规模的离群数据。在具有矢量级或像素级异常值的合成数据集和真实数据集上的大量实验表明,所提出的AE/TAE优于最先进的基于RPCA的方法。
2020-11-22 cs.LG stat.ML
Outlier-Robust Sparse Estimation via Non-Convex Optimization
Brown University(布朗大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Duke University(杜克大学);University of Texas at Austin(德克萨斯大学奥斯汀分校);University of California, San Diego(加利福尼亚大学圣迭戈分校);University of Southern California(南加利福尼亚大学);University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
我们探讨了在稀疏约束存在下,离群鲁棒高维统计和非凸优化之间的联系,重点是鲁棒稀疏均值估计和鲁棒稀疏PCA的基本任务。我们开发新的和简单的优化配方,这些问题,使任何近似的稳定点的相关优化问题产生一个接近最优的解决方案的基本鲁棒估计任务。作为一个推论,我们得到任何一阶方法,有效地收敛到平稳产生一个有效的算法,这些任务。所得到的算法是简单,实用,并成功地在更广泛的分布假设相比,以前的工作。
2022-11-13 cs.DS cs.LG math.OC
Robust Variable Selection in High-dimensional Nonparametric Additive Model
本文针对高维非参数可加模型提出一种基于非凹惩罚、B样条和密度幂散度损失的稳健变量选择方法,在次威布尔假设下证明其达到最优收敛速率,并通过模拟和真实数据验证其有效性。
2025-05-06 stat.ME
Typical Yet Unlikely and Normally Abnormal: The Intuition Behind High-Dimensional Statistics
本文揭示高维空间中“正常”实为异常,提出用信息论中的“典型性”概念更准确刻画常态,并证明其在异常值检测中优于马氏距离。
2023-12-26 stat.AP stat.ME
Cellwise Outliers
University of Leuven(鲁汶大学);University of Antwerp(安特卫普大学)
本文探讨了单元级异常值的检测与鲁棒方法构建,指出传统方法难以处理此类问题,提出需新的技术手段以应对高维数据和缺失值。
2026-08-04 stat.ME stat.ML
Robust PCA via Outlier Pursuit
Department of Electrical and Computer Engineering, The University of Texas at Austin(德克萨斯大学奥斯汀分校电气与计算机工程系)
奇异值分解(和主成分分析)是最广泛使用的降维技术之一:成功且可有效计算,但它仍然受到众所周知的,有据可查的异常值敏感性的困扰。最近的工作已经考虑了每个点都有一些任意损坏的组件的设置。然而,在SVD或PCA的应用中,如鲁棒协同过滤或生物信息学,恶意代理,有缺陷的基因,或简单的损坏或污染的实验可能会有效地产生完全损坏的整个点。我们提出了一个有效的基于凸优化的算法,我们称之为离群值追踪,在一些温和的假设下,对未损坏的点(满足,例如,通过PCA问题中的标准生成假设)恢复精确的最优低维子空间,并识别损坏点。这种不符合低维近似的损坏点的识别在生物信息学和金融应用等领域具有重要意义。我们的技术涉及使用核范数最小化的矩阵分解,然而,我们的结果,设置和方法,必然与矩阵完成和矩阵分解中的现有工作线有很大不同,因为我们开发了一种方法来恢复未损坏矩阵的正确列空间,而不是确切的矩阵本身。在任何问题中,人们试图恢复一个结构,而不是确切的初始矩阵,迄今为止开发的技术依赖于证书的最优性,将失败。我们提出了一个重要的扩展这些方法,允许治疗这样的问题。
2010-12-31 cs.IT cs.LG math.IT
Coherence Pursuit: Fast, Simple, and Robust Principal Component Analysis
University of Central Florida(中佛罗里达大学)
本文提出了一种非常简单,但功能强大,算法称为相干追踪(CoP)的强大的主成分分析(PCA)。由于内点位于低维子空间中并且大部分是相关的,因此内点可能与大量数据点具有强的互相关性。相比之下,离群值要么不承认低维结构,要么形成小集群。在这两种情况下,离群值不太可能与大量数据点有很强的相似性。考虑到这一点,CoP通过比较它们与其余数据点的一致性来将离群值与内点区分开来。通过形成归一化数据点的Gram矩阵来计算相互相干性。随后,从与其余数据表现出强相干性的数据点的子集的跨度中恢复所寻找的子空间。由于CoP仅涉及一个简单的矩阵乘法,因此它比最先进的鲁棒PCA算法快得多。我们得到分析性能保证CoP在不同的模型下的分布的内点和离群点在无噪声和噪声设置。CoP是第一个鲁棒的PCA算法,它同时是非迭代的,可证明对非结构化和结构化离群值都是鲁棒的,并且可以容忍大量的非结构化离群值。
2017-07-13 cs.LG stat.ML
Robust Multi-Dimensional Scaling via Accelerated Alternating Projections
School of Mathematics, Southwestern University of Finance and Economics(西南财经大学数学学院)
针对含异常值的成对距离定位问题,提出由切空间投影加速的交替投影RMDS算法,并证明稀疏异常值下经中心化与旋转对齐后的线性收敛,实验显示其性能达到当前最优。
2025-01-04 cs.LG math.OC stat.ML
Noise Statistics Oblivious GARD For Robust Regression With Sparse Outliers
Indian Institute of Technology Madras(印度理工学院马德拉斯分校)
在许多信号处理应用中,被高斯噪声(内点)和可能的无界稀疏离群点污染的线性回归模型是常见的。稀疏恢复启发的鲁棒回归(SRIRR)技术被证明可以在这样的回归模型中提供高质量的估计性能。不幸的是,大多数SRIRR技术假定\textit{a priori}知道噪声统计,如内点噪声方差或离群点统计,如离群点的数量。内点和外点噪声统计量都很少为\textit{a priori}所知,这限制了许多SRIRR算法的有效操作。本文提出了一种新的噪声统计无关算法称为残差比阈值GARD(RRT GARD)的鲁棒回归稀疏离群值的存在。RRT-GARD是通过修改最近提出的噪声统计相关的贪婪算法鲁棒去噪(GARD)。有限样本和渐近分析结果表明,RRT-GARD执行几乎类似的GARD与\textit{a priori}知识的噪声统计。真实和合成数据集的数值模拟也表明了RRT-GARD具有很强的竞争力。
2018-09-19 cs.LG stat.ML
Robust Low-Complexity Randomized Methods for Locating Outliers in Large Matrices
本文探讨了在一个大的,否则低秩矩阵,在设置{}{数据}是嘈杂的,或在整个矩阵有缺失的元素定位离群列的问题。我们提出了一个随机的两步推理框架,并建立所需的样本复杂性的充分条件下,这些方法成功地(以高概率)在准确定位离群值为每个任务。最后通过数值实验验证了算法的有效性。
2016-12-07 cs.IT cs.LG math.IT
Detecting Outliers in High-dimensional Data with Mixed Variable Types using Conditional Gaussian Regression Models
近年来,由于新出现的技术和大量的高维数据,离群点检测得到了越来越多的关注。离群值检测可以帮助从业者识别不需要的噪声和/或定位感兴趣的异常观察。为了解决这个问题,我们开发了一种新的离群值检测方法,用于可能是高维的离散和连续变量数据集。我们利用家庭的可分解的图形模型,以模拟变量之间的关系,并使用它来形成一个确切的似然比检验的观察,被认为是离群值。我们表明,我们的方法优于国家的最先进的隔离森林算法对一个真实的数据示例。
2021-05-19 math.ST stat.CO stat.TH
Large Dimensional Analysis of Robust M-Estimators of Covariance with Outliers
假设数据集包括独立的(本质上是高斯的)合法样本以及任意确定性样本(称为离群值),提供了协方差(或散布)的鲁棒M-估计量的高维特征。建立在最近的随机矩阵的鲁棒统计领域的进展,我们特别表明,所谓的Maronna M-估计的散布渐近行为类似于众所周知的随机矩阵时,人口和样本量一起增长到无穷大。离群值的引入使得鲁棒估计渐近地表现为样本外积的加权和,对于所有合法样本具有恒定的权重,而对于离群值具有不同的权重。对这种结构的精细分析揭示了重要的是,M估计量衰减(或增强)离群值影响的倾向主要取决于离群值与合法样本的逆总体协方差阵的对齐。因此,鲁棒M-估计量可以带来实质性的好处,更简单的估计,如每样本归一化版本的样本协方差阵,这是不能够区分离群样本。分析表明,在一类的Maronna的估计的散布,Huber估计是最有利的拒绝离群值。相反,更类似于泰勒尺度不变估计量的估计量(通常在文献中更受欢迎)有可能无意中增强一些离群值。
2015-03-04 cs.IT math.IT math.ST
Simultaneous Feature Selection and Outlier Detection with Optimality Guarantees
Scuola Normale Superiore(高等师范学院);Penn State University(宾夕法尼亚州立大学);Sant’Anna School of Advanced Studies(圣安娜高等研究学院);Istituto di Analisi dei Sistemi ed Informatica, Consiglio Nazionale delle Ricerche(意大利国家研究委员会系统与信息分析研究所)
针对响应与设计矩阵同时受均值漂移异常值污染的高维回归,提出基于混合整数规划的同步特征选择与异常值检测框架,并给出最优性、oracle 性质及崩溃点理论保证。
2020-07-12 math.ST stat.ME stat.TH
Large-dimensional behavior of regularized Maronna's M-estimators of covariance matrices
大型协方差阵的鲁棒估计被认为是,包括正则化(线性收缩)修改的Maronna的经典M-估计。这些估计值提供了对离群值的鲁棒性,同时当样本个数不超过变量个数时,这些估计值是明确定义的。通过应用随机矩阵理论的工具,我们刻画了当样本数和变量数一起变大时,这种估计的渐近性能。特别是,我们的研究结果表明,当离群值不存在时,正则化Maronna型的许多估计量具有相同的渐近性能,对于这些估计量,我们提出了一种数据驱动的方法,用于选择关于二次损失的渐近最优正则化参数。鲁棒性存在的离群值,然后研究:在非正则化的情况下,提出了一个大尺寸的鲁棒性度量,并明确计算两种特定类型的估计,表现出有趣的差异,取决于底层的污染模型。然后研究了正则化估计中离群值的影响,与非正则化情况下有趣的差异,从而对特定估计的选择产生了新的实用见解。
2018-04-26 math.ST stat.TH
Optimal detection of the feature matching map in presence of noise and outliers
Russian-Armenian University(俄-亚美尼亚大学);Yerevan State University(埃里温国立大学)
我们考虑的问题,找到匹配映射之间的两组$d$维向量从噪声观测,其中第二组包含离群值。匹配映射则是注入,只有当第二组向量被很好地分离时,才能一致地估计该注入。主要结果表明,在高维环境中,未知注入的检测区域可以由内点-内点距离至少为$d^{1/4}$阶且内点-外点距离至少为$d^{1/2}$阶的向量集来表征。这些速率是使用最小化匹配点对之间的距离的平方和的估计匹配来实现的。我们还证明了建立这些利率的最优性的下界。最后,我们报告的合成和现实世界的数据,说明我们的理论结果,并提供进一步的洞察力在这项工作中研究的估计的属性的数值实验结果。
2022-10-26 cs.LG math.ST stat.TH
An Easily Tunable Approach to Robust and Sparse High-Dimensional Linear Regression
针对高维稀疏线性回归中噪声尺度、稀疏度及异常值数量难以预知的问题,提出基于Huber损失与均值中位数自适应校准的迭代稳健估计量,获得匹配极小极大下界的非渐近误差保证。
2025-06-14 math.ST stat.TH
Adversarial Subspace Generation for Outlier Detection in High-Dimensional Data
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
本文提出近视子空间理论(MST)将多视图效应下的子空间选择形式化为随机优化问题,并基于此设计生成式方法V-GAN,在42个真实数据集上显著提升异常检测集成性能,同时具有更好的子空间识别准确性和可扩展性。
2025-04-10 cs.AI cs.LG math.ST
Bi-stochastically normalized graph Laplacian: convergence to manifold Laplacian and robustness to outlier noise
Duke University(杜克大学);Yale University(耶鲁大学)
本文证明双随机归一化图拉普拉斯算子收敛于流形拉普拉斯算子,给出速率,并证明其对离群噪声的鲁棒性,提出近似归一化方法保持一致性。
2024-07-17 cs.LG math.ST stat.ML
Outlier detection in multivariate functional data through a contaminated mixture model
在工业环境中,传感器的活动以高频率被记录。一个挑战是自动检测异常测量行为。将传感器测量值视为函数数据,问题可以表述为多变量函数数据集中的异常值检测。由于该数据集的异质性,所提出的污染混合模型既聚类到同质组的多元函数数据,并检测离群值。与竞争对手相比,该方法的主要优点是不需要指定离群值的比例。通过期望条件最大化算法进行模型推断,并使用BIC来选择聚类的数量。模拟数据的数值实验表明,高性能的推理算法实现。特别是,所提出的模型优于竞争对手。它的应用程序的真实数据,促使这项研究允许正确地检测异常行为。
2022-03-08 math.ST stat.ML stat.TH