Beyond Empirical Support: Structured Outlier Generation via Sinkhorn Optimal Transport
针对现有离群点合成方法依赖启发式且不稳定,本文提出Sinkhorn边界离群点生成(SBOG)框架,结合最优输运几何与分布鲁棒边界建模,生成语义受控的离群点,提升跨模态鲁棒性评估。
2026-11-10 cs.LG math.OC stat.ML
Benefits of Online Tilted Empirical Risk Minimization: A Case Study of Outlier Detection and Robust Regression
MLIP Research Group, KUIS AI Center \& Department of EEE, Koç University İstanbul, Turkey
本文提出一种在线倾斜经验风险最小化方法,通过去除经典目标中的对数项保留倾斜效应,以与ERM相当的单样本计算成本在流式学习中同时实现异常值鲁棒性与少数类公平性。
2025-09-18 cs.LG stat.ML
Path-Based Spectral Clustering: Guarantees, Robustness to Outliers, and Fast Algorithms
我们考虑的问题,聚类与最长的腿路径距离(LLPD)度量,这是信息细长和不规则形状的集群。我们证明有限样本保证的性能,聚类相对于此度量时,随机样本从多个固有的低维集群在高维空间中,在大量的高维离群值的存在下。通过结合这些结果与谱聚类相对于LLPD,我们提供的条件下,拉普拉斯特征间隙统计正确地确定了一个大类的数据集的集群的数量,并证明所提出的算法的标签精度的保证。我们的方法是相当普遍的,并提供性能保证谱聚类与任何超度量。我们还介绍了一个有效的,易于实现的近似算法的LLPD的基础上的多尺度分析的邻接图,它允许运行时的LLPD谱聚类的数据点的数量是准线性的。
2019-03-06 stat.ML
Doubly Outlier-Robust Online Infinite Hidden Markov Model
Oxford-Man Institute of Quantitative Finance(牛津量化金融研究所);Mathematical Institute, University of Oxford(牛津大学数学研究所)
本文提出BR-iHMM,通过引入两个可调参数平衡适应性与鲁棒性,在限价订单数据、小时电力需求和高维线性系统中,将一阶预测误差降低67%,并提供有界后验影响函数的理论保证。
2026-05-12 cs.LG stat.ML
Regularization of $\ell_1$ minimization for dealing with outliers and noise in Statistics and Signal Recovery
本文研究了在给定设计矩阵和污染仅限于因变量的经典线性回归问题中,$\ell_1$范数最小化的鲁棒性。我们进行了精细的误差分析的$\ell_1$估计的测量误差与噪声相结合的离群值。我们介绍了一种新的估计技术,从正规化的$\ell_1$最小化的下卷积与$\ell_2$规范。考虑到对大离群值的鲁棒性,所提出的估计保持了$\ell_1$估计的崩溃点,并在没有离群值时简化为最小二乘。我们提出了一个全局收敛的向前向后算法计算我们的估计和一些数值实验证实其理论性质。
2014-02-25 math.OC stat.ML
Less is More: Culling the Training Set to Improve Robustness of Deep Neural Networks
University of California, Davis(加州大学戴维斯分校)
深度神经网络容易受到对抗性样本的攻击。以前的防御试图通过改变网络架构或使用对抗性示例来增强训练集,使深度网络更加强大,但两者都有固有的局限性。最近的研究表明,训练集中的离群值对训练模型有很大的负面影响,我们研究了模型鲁棒性和训练集质量之间的关系。我们首先表明,离群点给模型更好的泛化能力,但较弱的鲁棒性。接下来,我们提出了一个对抗性示例检测框架,在该框架中,我们设计了两种方法来从训练集中去除离群值以获得净化模型,然后通过计算原始模型和净化模型之间的输出差异来检测对抗性示例。我们评估了MNIST和SVHN的框架。基于Kullback-Leibler散度测量的差异,我们可以检测到准确率在94.67%到99.89%之间的对抗性示例。
2018-12-08 cs.CR cs.LG stat.ML
Robust Variational Autoencoder
University of Southern California(南加州大学);Stevens Institute of Technology(史蒂文斯理工学院)
机器学习方法通常需要大量的标记训练数据。由于训练数据被假设为地面实况,离群值会严重降低学习的表示和训练模型的性能。在这里,我们应用鲁棒统计的概念,推导出一种新的变分自动编码器,它对训练数据中的离群值具有鲁棒性。变分自动编码器(VAE)提取低维编码特征表示,我们可以从中生成新的数据样本。当使用损坏的训练数据时,自动编码器对离群值的鲁棒性对于在编码空间中生成特定数据类型的可靠表示至关重要。我们的鲁棒VAE是基于β发散,而不是标准的Kullback-Leibler(KL)发散。我们提出的下限导致RVAE模型,具有相同的计算复杂度的VAE,并包含一个单一的调整参数来控制鲁棒性的程度。我们证明了我们的$β$发散为基础的自动编码器的一系列图像数据集的性能,提高了鲁棒性离群定性和定量。我们还说明了使用我们强大的VAE离群值检测。
2019-12-21 cs.LG eess.IV stat.ML
$γ$-ABC: Outlier-Robust Approximate Bayesian Computation Based on a Robust Divergence Estimator
The University of Tokyo(东京大学);RIKEN AIP(理化学研究所先进智能项目中心)
近似贝叶斯计算(ABC)是一种无似然性的推理方法,已在各种应用中采用。然而,如果数据差异度量选择不当,ABC可能对离群值敏感。在本文中,我们建议使用最近邻为基础的$γ$ -分歧估计作为数据差异的措施。我们表明,我们的估计具有一个合适的理论鲁棒性的属性称为降序属性。此外,我们的估计享有各种理想的属性,如高灵活性,渐近无偏性,几乎必然收敛,线性时间的计算复杂度。通过实验,我们证明了我们的方法实现了显着更高的鲁棒性比现有的差异措施。
2021-03-05 cs.LG stat.CO stat.ME
Bi-stochastically normalized graph Laplacian: convergence to manifold Laplacian and robustness to outlier noise
Duke University(杜克大学);Yale University(耶鲁大学)
本文证明双随机归一化图拉普拉斯算子收敛于流形拉普拉斯算子,给出速率,并证明其对离群噪声的鲁棒性,提出近似归一化方法保持一致性。
2024-07-17 cs.LG math.ST stat.ML
Breakdown Point of Robust Support Vector Machine
Nagoya University(名古屋大学);The University of Tokyo(东京大学)
支持向量机(SVM)是解决分类问题最成功的学习方法之一。尽管支持向量机很受欢迎,但它有一个严重的缺点,即对训练样本中的离群值敏感。错误分类的惩罚由称为铰链损失的凸损失定义,凸损失的无界性导致对离群值的敏感性。为了处理离群值,已经提出了SVM的鲁棒变体,例如鲁棒离群值检测算法和具有称为斜坡损失的有界损失的SVM。在本文中,我们提出了一个强大的SVM的变种,并研究其鲁棒性的崩溃点。崩溃点是鲁棒性度量,其是最大量的污染,使得估计的分类器仍然给出关于未污染数据的信息。本文的主要贡献是显示一个准确的评估故障点的强大的支持向量机。对于我们算法中的正则化参数等学习参数,我们推导出一个简单的公式,保证了分类器的鲁棒性。当使用交叉验证的网格搜索确定学习参数时,我们的公式可以减少候选搜索点的数量。数值实验证实了该方法的鲁棒性。我们表明,强大的支持向量机的统计特性很好地解释了故障点的理论分析。
2014-09-03 cs.LG stat.ML
Robust factored principal component analysis for matrix-valued outlier accommodation and detection
Yunnan University of Finance and Economics(云南财经大学)
针对FPCA在矩阵数据上易受异常值影响的问题,提出基于矩阵变量t分布的RFPCA及快速EM型估计算法,实现鲁棒降参与异常值检测。
2021-12-13 cs.LG stat.ML
Robust and Computation-Aware Gaussian Processes
ELLIS Institute Finland(芬兰ELLIS研究所);Aalto University(阿尔托大学);University of Manchester(曼彻斯特大学)
RCaGP通过结合鲁棒性和近似感知性,有效应对高斯过程在大规模数据和异常值下的计算与鲁棒性挑战。
2025-11-05 cs.LG stat.ML
Learning from Similar Linear Representations: Adaptivity, Minimaxity, and Robustness
Columbia University(哥伦比亚大学);New York University(纽约大学)
本文针对任务表示相似但不完全相同且存在离群任务的多任务学习问题,提出带惩罚的经验风险最小化方法和谱方法,证明其具有自适应性、鲁棒性和近极小极大最优性,并引入阈值算法处理未知内在维度。
2025-07-06 cs.LG stat.ML
Subspace Recovery in Winsorized PCA: Insights into Accuracy and Robustness
Seoul National University(首尔大学)
本文研究Winsorized主成分分析(WPCA)在子空间恢复中的理论性质,证明其一致性并推导扰动界限与崩溃点下界,表明其对异常值具有强鲁棒性,并通过示例验证其有效性。
2025-02-23 cs.LG stat.AP stat.ME
Outlier-Insensitive Kalman Filtering Using NUV Priors
University of Haifa(海法大学);ETH Zürich(苏黎世联邦理工学院);Ben-Gurion University of the Negev(内盖夫本-古里安大学)
卡尔曼滤波器(KF)是一种广泛使用的算法,用于从噪声观测中跟踪动力系统的潜在状态。对于由线性高斯状态空间模型良好描述的系统,KF使均方误差(MSE)最小化。然而,在实践中,观测值被离群值破坏,严重损害了KFs的性能。在这项工作中,提出了一种对离群值不敏感的KF,其中通过将每个潜在的离群值建模为具有未知方差的正态分布随机变量(NUV)来实现鲁棒性。NUVs方差在线估计,使用期望最大化(EM)和交替最大化(AM)。前者以前提出的任务与离群值的平滑,并在这里适应过滤,而EM和AM获得相同的性能和优于其他算法,AM方法是不太复杂,因此需要40%的运行时间。我们的实证研究表明,我们提出的离群不敏感KF的MSE优于以前提出的算法,并且对于离群值的数据清理,它恢复到经典KF,即,保留MSE最优性
2022-10-12 cs.LG eess.SP stat.ML
A Robust State Filter Against Unmodeled Process And Measurement Noise
Weitao LIU
本文提出了一种新的卡尔曼滤波框架,通过广义贝叶斯方法提升对未建模过程和测量噪声的鲁棒性。
2025-11-24 cs.LG stat.ML
Distribution Density, Tails, and Outliers in Machine Learning: Metrics and Applications
Google Research(谷歌研究院)
我们开发了一些技术来量化给定(训练或测试)示例在底层分布中的离群值。我们评估了五种方法来对数据集中的示例进行评分,这些方法是通过示例的代表性来衡量的,对于“代表性”的不同合理定义,并将其应用于四个常见的数据集:MNIST,Fashion-MNIST,CIFAR-10和ImageNet。尽管是独立的方法,我们发现所有五个是高度相关的,这表明,良好的代表性的概念可以量化。在其他用途中,我们发现这些方法可以组合起来识别(a)原型示例(符合人类期望);(b)记忆的训练样本;以及(c)数据集的不常见子模式。此外,我们展示了如何利用我们的指标来确定课程学习的改进排序,并影响对抗鲁棒性。我们在我们研究的训练集和测试集上发布所有度量值。
2019-10-29 cs.LG stat.ML
Deep Anomaly Detection with Outlier Exposure
University of California, Berkeley(加利福尼亚大学伯克利分校);University of Chicago(芝加哥大学);Oregon State University(俄勒冈州立大学)
在部署机器学习系统时,检测异常输入非常重要。在深度学习中使用更大和更复杂的输入放大了区分异常和分布内示例的难度。与此同时,可以获得大量不同的图像和文本数据。我们建议利用这些数据来改进深度异常检测,方法是针对异常值的辅助数据集训练异常检测器,我们称之为异常值暴露(OE)。这使得异常检测器能够概括和检测看不见的异常。在对自然语言处理和小规模和大规模视觉任务的广泛实验中,我们发现离群暴露显著提高了检测性能。我们还观察到,在CIFAR-10上训练的尖端生成模型可能会为SVHN图像分配比CIFAR-10图像更高的可能性;我们使用OE来缓解这个问题。我们还分析了异常值暴露的灵活性和鲁棒性,并确定了提高性能的辅助数据集的特征。
2019-01-28 cs.CL cs.CV cs.LG
Outlier-Robust Optimal Transport: Duality, Structure, and Statistical Analysis
Cornell University(康奈尔大学);Columbia University(哥伦比亚大学)
瓦瑟斯坦距离源于最优传输(OT)理论,是概率分布之间的流行差异度量,具有统计学和机器学习的各种应用。尽管其丰富的结构和证明的效用,瓦瑟斯坦距离是敏感的离群值在所考虑的分布,这阻碍了在实践中的适用性。我们提出了一个新的离群鲁棒瓦瑟斯坦距离$\mathsf{W}_p^\varepsilon$,它允许从每个污染分布中删除$\varepsilon$离群质量。在标准的矩假设下,$\mathsf{W}_p^\varepsilon$下的Huber $\varepsilon$污染模型实现强大的稳健估计保证。我们制定的这个强大的距离相当于一个高度定期的优化问题,使自己更好地分析相比,以前考虑的框架。利用这一点,我们进行了彻底的理论研究$\mathsf{W}_p^\varepsilon$,包括鲁棒性保证,表征最佳扰动,规律性,对偶性,和统计估计。特别是,通过解耦的优化变量,我们到达一个简单的双重形式的$\mathsf{W}_p^\varepsilon$,可以通过一个基本的修改标准,基于对偶的OT求解器。我们说明了我们的框架的优点,通过应用程序生成建模与污染的数据集。
2023-02-28 cs.LG stat.ML
Heavy-Tailed Processes for Selective Shrinkage
重尾分布常用于增强回归和分类方法对输出空间中异常值的鲁棒性。然而,我们经常会遇到输入空间中的“离群值”,这是人口稀少地区的孤立观测。我们发现,重尾随机过程(我们通过Copula从高斯过程构建),可以用来提高回归和分类估计的鲁棒性,这样的离群值,选择性地缩小他们更强烈地在稀疏区域比密集区域。我们进行了理论分析表明,选择性收缩发生,提供的重尾过程的边缘有足够重的尾巴。生物数据的实验表明,在稀疏区域的估计显着改善,同时产生竞争力的结果,在密集的区域的分析是补充。
2010-06-23 stat.AP stat.ME stat.ML
An integrated perspective of robustness in regression through the lens of the bias-variance trade-off
Institute of Statistical Mathematics(统计数理研究所);RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心)
该研究提出回归鲁棒性的整合视角,揭示传统抗离群点鲁棒估计与抗假想数据集扰动的鲁棒优化间存在偏差-方差权衡,二者策略大致相反。
2024-07-15 cs.LG stat.ME stat.ML
The Adaptive $τ$-Lasso: Robustness and Oracle Properties
本文提出自适应 $τ$-Lasso 估计器,通过引入自适应 $\ell_1$-范数惩罚项处理高维污染数据,证明了其具备神谕性质与稳健性,在预测和变量选择上表现优异。
2025-04-29 cs.LG eess.SP stat.ML
Testing and Improving the Robustness of Amortized Bayesian Inference for Cognitive Models
University of Leuven(鲁汶大学);Rensselaer Polytechnic Institute(拉特格斯理工学院)
针对认知模型参数估计受污染观测值和异常值影响的问题,本研究测试并改进了摊销贝叶斯推理(ABI)的鲁棒性,通过引入柯西分布污染的训练方法提升了神经密度估计器的鲁棒性。
2025-11-11 cs.LG stat.AP stat.ME
Robust Dual-Regularized Variable Selection under Outlier Contamination
Case Western Reserve University(凯斯西储大学);University of North Dakota(北达科他大学);CNRS UMR 6205, Univ Bretagne Sud(法国国家科学研究中心联合研究实验室第6205号,南布列塔尼大学)
针对外点污染下单指标模型的变量选择问题,提出两阶段稀疏中位数梯度外积(smOPG)方法,结合中位数回归与局部加权实现鲁棒性,模拟与实证均优于现有方法。
2026-09-21 stat.CO stat.ME stat.ML
Nonconvex Low-Rank Matrix Recovery with Arbitrary Outliers via Median-Truncated Gradient Descent
最近的工作已经证明了梯度下降的有效性,直接恢复低秩矩阵的随机线性测量的因素在一个全局收敛的方式时,适当的初始化。然而,现有的算法的性能是高度敏感的离群值,可能采取任意值的存在。本文提出了一种截断梯度下降算法来提高对离群值的鲁棒性,其中进行截断以在每次迭代中自适应地排除与测量残差的{ \em样本中位数}显着偏离的样本的贡献。我们证明,当初始化在一个盆地的吸引力接近地面真相,所提出的算法收敛到地面真相的高斯测量模型与一个接近最佳数量的测量,即使当一个恒定的分数的测量是任意损坏的线性速率。此外,我们提出了一个新的截断谱方法,确保初始化在盆地的吸引力在稍高的要求。我们最后提供了数值实验来验证所提出的方法的优越性能。
2017-09-23 cs.IT math.IT stat.ML