Constrained Maximum Correntropy Adaptive Filtering
约束自适应滤波算法包括约束最小均方（CLMS）、约束仿射投影（CAP）和约束递归最小二乘（CRLS）等，在许多应用中得到了广泛的研究。现有的约束自适应滤波算法大多是在均方误差（MSE）准则下发展起来的，MSE准则是高斯噪声下的理想最优性准则。然而，该假设未能对实践中发现的非高斯噪声的行为进行建模。基于最大相关熵准则（MCC）在非高斯脉冲噪声中的鲁棒性和简单性，提出了一种新的自适应滤波算法-约束最大相关熵准则（CMCC）。具体来说，CMCC将线性约束并入MCC滤波器以明确地解决约束优化问题。该自适应滤波算法易于实现，计算复杂度低，在重尾脉冲噪声背景下，收敛精度（均方差）和稳定性明显优于基于均方误差的约束自适应算法.在能量守恒关系下，研究了算法的均方收敛性，得到了保证算法均方收敛和稳态均方偏差的充分条件.仿真结果证实了高斯和非高斯噪声下的理论预测，并通过与其他传统方法的比较，证明了新算法的优良性能。
2016-12-14 stat.ML
New Insights into Learning with Correntropy Based Regression
University at Albany（奥尔巴尼大学）
源于信息论学习的相关熵准则及其在机器学习任务中的应用已经得到了广泛的探索和研究。它的回归问题的应用导致鲁棒性增强回归范式-即，基于相关熵的回归。在获得了大量成功的实际应用后，其理论性质也在最近的一系列研究中从统计学习的角度进行了研究。由此产生的大画面是基于相关熵的回归在某些条件下稳健地向条件模式函数或条件均值函数回归。继续这一趋势，更进一步，在本研究中，我们报告了一些新的见解，这个问题。首先，我们证明了在加性噪声回归模型下，这样的回归范式可以从最小距离估计推导出来，这意味着所得到的估计量本质上是一个最小距离估计量，因此具有鲁棒性。其次，我们表明，回归范式，事实上，提供了一个统一的方法来回归问题，它的方法的条件平均值，条件模式，以及在一定条件下的条件中值函数。第三，我们提出了一些新的结果，当它被用来学习的条件均值函数的条件下$(1+ε)$矩的假设下，开发其误差界和指数收敛速度。在$(1+ε)$矩假设下观察到的对已建立的收敛速率的饱和效应仍然存在，表明回归估计量的固有偏倚。这些新的见解加深了我们对基于相关熵的回归的理解，有助于巩固相关熵的理论框架，也使我们能够研究由一般有界非凸损失函数引起的学习方案。
2020-07-21 cs.LG stat.ML
Maximum Correntropy Criterion Regression models with tending-to-zero scale parameters
Anhui University（安徽大学）
在统计学习的框架下，最大相关熵准则回归（MCCR）模型在尺度参数取定值或趋于无穷大时得到了很好的研究。研究尺度参数趋于零的MCCR模型。当样本量$n$趋于无穷大时，MCCR模型的最优学习率在渐近意义下为${\mathcal{O}}(n^{-1})$.在有限样本情况下，比较了MCCR、Huber和最小二乘回归模型的稳健性。最后给出了这三种方法在实际数据上的应用。
2021-10-25 cs.LG stat.ML
Maximum Correntropy Kalman Filter
Xi’an Jiaotong University（西安交通大学）；University of Florida（佛罗里达大学）
本文提出最大相关熵卡尔曼滤波器，用于改善传统卡尔曼滤波在非高斯噪声下的鲁棒性，通过最大相关熵准则替代最小均方误差准则，提供更稳定的估计。
2015-09-15 cs.SY eess.SY stat.ML
Adaptive sparseness for correntropy-based robust regression via automatic relevance determination
Institute of Innovative Research, Tokyo Institute of Technology（东京工业大学创新研究院）；ATR Neural Information Analysis Laboratories（ATR神经信息分析实验室）
针对基于MCC的鲁棒回归，提出在贝叶斯框架下结合ARD技术实现自适应稀疏的MCC-ARD方法，避免了L1正则化的超参数调优，并在实验中展现出更优的预测与特征选择能力。
2023-01-31 cs.LG stat.ML
Path-Based Spectral Clustering: Guarantees, Robustness to Outliers, and Fast Algorithms
我们考虑的问题，聚类与最长的腿路径距离（LLPD）度量，这是信息细长和不规则形状的集群。我们证明有限样本保证的性能，聚类相对于此度量时，随机样本从多个固有的低维集群在高维空间中，在大量的高维离群值的存在下。通过结合这些结果与谱聚类相对于LLPD，我们提供的条件下，拉普拉斯特征间隙统计正确地确定了一个大类的数据集的集群的数量，并证明所提出的算法的标签精度的保证。我们的方法是相当普遍的，并提供性能保证谱聚类与任何超度量。我们还介绍了一个有效的，易于实现的近似算法的LLPD的基础上的多尺度分析的邻接图，它允许运行时的LLPD谱聚类的数据点的数量是准线性的。
2019-03-06 stat.ML
Outlier robust system identification: a Bayesian kernel-based approach
本文提出了一种基于正则核的线性系统辨识方法。未知脉冲响应被建模为零均值高斯过程，其协方差（核）由最近提出的稳定样条核给出，该样条核编码关于正则性和指数稳定性的信息。为了建立对离群值的鲁棒性，我们将测量噪声建模为独立拉普拉斯随机变量的实现。将辨识问题置于贝叶斯框架下，并采用一种新的马尔可夫链蒙特卡罗（MCMC）方法求解。特别是，利用拉普拉斯随机变量的高斯尺度混合物的表示，我们设计了一个吉布斯采样器，快速收敛到目标分布。数值模拟表明，在国家的最先进的基于核的方法的估计的准确性有很大的改善。
2013-12-24 stat.ML
Outlier Robust Online Learning
National University of Singapore（新加坡国立大学）；Georgia Institute of Technology（佐治亚理工学院）；Technion – Israel Institute of Technology（以色列理工学院）
我们考虑在实际环境中的数据的大小是太大，存储在一台机器上的噪声数据的学习问题。更具挑战性的是，来自野外的数据可能包含恶意离群值。为了解决可扩展性和鲁棒性问题，我们提出了一个在线鲁棒学习（ORL）的方法。ORL易于实现，并且具有可证明的鲁棒性保证-与现有的在线学习方法形成鲜明对比，这些方法通常对离群值很脆弱。我们专门的ORL方法的两个具体情况下：在线强大的主成分分析和在线线性回归。我们证明了ORL的效率和鲁棒性的优势，通过全面的模拟和预测图像标签的大规模数据集。我们还讨论了扩展的ORL分布式学习，并提供实验评估。
2017-01-01 cs.LG stat.ML
Regularization of $\ell_1$ minimization for dealing with outliers and noise in Statistics and Signal Recovery
本文研究了在给定设计矩阵和污染仅限于因变量的经典线性回归问题中，$\ell_1$范数最小化的鲁棒性。我们进行了精细的误差分析的$\ell_1$估计的测量误差与噪声相结合的离群值。我们介绍了一种新的估计技术，从正规化的$\ell_1$最小化的下卷积与$\ell_2$规范。考虑到对大离群值的鲁棒性，所提出的估计保持了$\ell_1$估计的崩溃点，并在没有离群值时简化为最小二乘。我们提出了一个全局收敛的向前向后算法计算我们的估计和一些数值实验证实其理论性质。
2014-02-25 math.OC stat.ML
Robustness Against Outliers For Deep Neural Networks By Gradient Conjugate Priors
Peoples’ Friendship University of Russia（俄罗斯人民友谊大学）；Free University Berlin（柏林自由大学）
我们分析了一种新的鲁棒的方法重建的概率分布的观测数据中存在的输出离群值。它基于所谓的梯度共轭先验（GCP）网络，该网络输出先验的参数。通过严格研究GCP学习过程的动力学，我们导出了一个明确的公式，用于校正所获得的边缘分布的方差，并消除训练集中离群值引起的偏差。假设一个高斯（输入依赖）地面真值分布污染的比例$\varepsilon$的离群值，我们表明，拟合的平均值是在一个$c e^{-1/\varepsilon}$ -附近的地面真值平均值和校正方差是在一个$b\varepsilon$ -附近的地面真值方差，而未经校正的方差的边缘分布甚至可以是无限的。我们明确地发现$b$作为GCP网络的输出的函数，而没有离群值（可能依赖于输入）分布的先验知识。合成和真实世界的数据集的实验表明，GCP网络与标准的优化器拟合优于其他强大的回归方法。
2019-05-21 cs.AI cs.LG math.DS
Beyond Empirical Support: Structured Outlier Generation via Sinkhorn Optimal Transport
针对现有离群点合成方法依赖启发式且不稳定，本文提出Sinkhorn边界离群点生成（SBOG）框架，结合最优输运几何与分布鲁棒边界建模，生成语义受控的离群点，提升跨模态鲁棒性评估。
2026-09-28 cs.LG math.OC stat.ML
Benefits of Online Tilted Empirical Risk Minimization: A Case Study of Outlier Detection and Robust Regression
MLIP Research Group, KUIS AI Center \& Department of EEE, Koç University İstanbul, Turkey
本文提出一种在线倾斜经验风险最小化方法，通过去除经典目标中的对数项保留倾斜效应，以与ERM相当的单样本计算成本在流式学习中同时实现异常值鲁棒性与少数类公平性。
2025-09-18 cs.LG stat.ML
Doubly Outlier-Robust Online Infinite Hidden Markov Model
Oxford-Man Institute of Quantitative Finance（牛津量化金融研究所）；Mathematical Institute, University of Oxford（牛津大学数学研究所）
本文提出BR-iHMM，通过引入两个可调参数平衡适应性与鲁棒性，在限价订单数据、小时电力需求和高维线性系统中，将一阶预测误差降低67%，并提供有界后验影响函数的理论保证。
2026-05-12 cs.LG stat.ML
Less is More: Culling the Training Set to Improve Robustness of Deep Neural Networks
University of California, Davis（加州大学戴维斯分校）
深度神经网络容易受到对抗性样本的攻击。以前的防御试图通过改变网络架构或使用对抗性示例来增强训练集，使深度网络更加强大，但两者都有固有的局限性。最近的研究表明，训练集中的离群值对训练模型有很大的负面影响，我们研究了模型鲁棒性和训练集质量之间的关系。我们首先表明，离群点给模型更好的泛化能力，但较弱的鲁棒性。接下来，我们提出了一个对抗性示例检测框架，在该框架中，我们设计了两种方法来从训练集中去除离群值以获得净化模型，然后通过计算原始模型和净化模型之间的输出差异来检测对抗性示例。我们评估了MNIST和SVHN的框架。基于Kullback-Leibler散度测量的差异，我们可以检测到准确率在94.67%到99.89%之间的对抗性示例。
2018-12-08 cs.CR cs.LG stat.ML
Median of Forests for Robust Density Estimation
University of Twente（特温特大学）
本文提出了一种名为MFRDE的集成学习算法，通过在子采样数据集上对森林密度估计器执行逐点中位数操作，有效抵抗局部和非局部异常值，实现比现有基于核的鲁棒方法更高的估计准确性和收敛速率，并成功应用于异常检测。
2025-01-25 cs.LG stat.ML
Breakdown Point of Robust Support Vector Machine
Nagoya University（名古屋大学）；The University of Tokyo（东京大学）
支持向量机（SVM）是解决分类问题最成功的学习方法之一。尽管支持向量机很受欢迎，但它有一个严重的缺点，即对训练样本中的离群值敏感。错误分类的惩罚由称为铰链损失的凸损失定义，凸损失的无界性导致对离群值的敏感性。为了处理离群值，已经提出了SVM的鲁棒变体，例如鲁棒离群值检测算法和具有称为斜坡损失的有界损失的SVM。在本文中，我们提出了一个强大的SVM的变种，并研究其鲁棒性的崩溃点。崩溃点是鲁棒性度量，其是最大量的污染，使得估计的分类器仍然给出关于未污染数据的信息。本文的主要贡献是显示一个准确的评估故障点的强大的支持向量机。对于我们算法中的正则化参数等学习参数，我们推导出一个简单的公式，保证了分类器的鲁棒性。当使用交叉验证的网格搜索确定学习参数时，我们的公式可以减少候选搜索点的数量。数值实验证实了该方法的鲁棒性。我们表明，强大的支持向量机的统计特性很好地解释了故障点的理论分析。
2014-09-03 cs.LG stat.ML
Robust Variational Autoencoder
University of Southern California（南加州大学）；Stevens Institute of Technology（史蒂文斯理工学院）
机器学习方法通常需要大量的标记训练数据。由于训练数据被假设为地面实况，离群值会严重降低学习的表示和训练模型的性能。在这里，我们应用鲁棒统计的概念，推导出一种新的变分自动编码器，它对训练数据中的离群值具有鲁棒性。变分自动编码器（VAE）提取低维编码特征表示，我们可以从中生成新的数据样本。当使用损坏的训练数据时，自动编码器对离群值的鲁棒性对于在编码空间中生成特定数据类型的可靠表示至关重要。我们的鲁棒VAE是基于β发散，而不是标准的Kullback-Leibler（KL）发散。我们提出的下限导致RVAE模型，具有相同的计算复杂度的VAE，并包含一个单一的调整参数来控制鲁棒性的程度。我们证明了我们的$β$发散为基础的自动编码器的一系列图像数据集的性能，提高了鲁棒性离群定性和定量。我们还说明了使用我们强大的VAE离群值检测。
2019-12-21 cs.LG eess.IV stat.ML
Robust and Computation-Aware Gaussian Processes
ELLIS Institute Finland（芬兰ELLIS研究所）；Aalto University（阿尔托大学）；University of Manchester（曼彻斯特大学）
RCaGP通过结合鲁棒性和近似感知性，有效应对高斯过程在大规模数据和异常值下的计算与鲁棒性挑战。
2025-11-05 cs.LG stat.ML
$γ$-ABC: Outlier-Robust Approximate Bayesian Computation Based on a Robust Divergence Estimator
The University of Tokyo（东京大学）；RIKEN AIP（理化学研究所先进智能项目中心）
近似贝叶斯计算（ABC）是一种无似然性的推理方法，已在各种应用中采用。然而，如果数据差异度量选择不当，ABC可能对离群值敏感。在本文中，我们建议使用最近邻为基础的$γ$ -分歧估计作为数据差异的措施。我们表明，我们的估计具有一个合适的理论鲁棒性的属性称为降序属性。此外，我们的估计享有各种理想的属性，如高灵活性，渐近无偏性，几乎必然收敛，线性时间的计算复杂度。通过实验，我们证明了我们的方法实现了显着更高的鲁棒性比现有的差异措施。
2021-03-05 cs.LG stat.CO stat.ME
Learning from Similar Linear Representations: Adaptivity, Minimaxity, and Robustness
Columbia University（哥伦比亚大学）；New York University（纽约大学）
本文针对任务表示相似但不完全相同且存在离群任务的多任务学习问题，提出带惩罚的经验风险最小化方法和谱方法，证明其具有自适应性、鲁棒性和近极小极大最优性，并引入阈值算法处理未知内在维度。
2025-07-06 cs.LG stat.ML
Bi-stochastically normalized graph Laplacian: convergence to manifold Laplacian and robustness to outlier noise
Duke University（杜克大学）；Yale University（耶鲁大学）
本文证明双随机归一化图拉普拉斯算子收敛于流形拉普拉斯算子，给出速率，并证明其对离群噪声的鲁棒性，提出近似归一化方法保持一致性。
2024-07-17 cs.LG math.ST stat.ML
A Robust State Filter Against Unmodeled Process And Measurement Noise
Weitao LIU
本文提出了一种新的卡尔曼滤波框架，通过广义贝叶斯方法提升对未建模过程和测量噪声的鲁棒性。
2025-11-24 cs.LG stat.ML
Heavy-Tailed Processes for Selective Shrinkage
重尾分布常用于增强回归和分类方法对输出空间中异常值的鲁棒性。然而，我们经常会遇到输入空间中的“离群值”，这是人口稀少地区的孤立观测。我们发现，重尾随机过程（我们通过Copula从高斯过程构建），可以用来提高回归和分类估计的鲁棒性，这样的离群值，选择性地缩小他们更强烈地在稀疏区域比密集区域。我们进行了理论分析表明，选择性收缩发生，提供的重尾过程的边缘有足够重的尾巴。生物数据的实验表明，在稀疏区域的估计显着改善，同时产生竞争力的结果，在密集的区域的分析是补充。
2010-06-23 stat.AP stat.ME stat.ML
Subspace Recovery in Winsorized PCA: Insights into Accuracy and Robustness
Seoul National University（首尔大学）
本文研究Winsorized主成分分析（WPCA）在子空间恢复中的理论性质，证明其一致性并推导扰动界限与崩溃点下界，表明其对异常值具有强鲁棒性，并通过示例验证其有效性。
2025-02-23 cs.LG stat.AP stat.ME
Outlier-Robust High-Dimensional Sparse Estimation via Iterative Filtering
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；UT Austin（德克萨斯大学奥斯汀分校）；University of California, San Diego（加利福尼亚大学圣迭戈分校）；Web3 Foundation（Web3基金会）
我们研究高维稀疏估计任务中的一个强大的设置，其中一个恒定的分数的数据集是adversarially损坏。具体而言，我们专注于鲁棒稀疏均值估计和鲁棒稀疏PCA的基本问题。我们给出了这些问题的第一个实际可行的鲁棒估计。更详细地说，我们的算法是样本和计算效率，并实现接近最佳的鲁棒性保证。与以前的可证明算法依赖于椭球方法相比，我们的算法使用谱技术来迭代地从数据集中删除离群值。我们对合成数据的实验评估表明，我们的算法是可扩展的，并显着优于以前的方法，几乎匹配的最佳出错率没有腐败。
2019-11-19 cs.DS cs.LG stat.ML
Exponential Lasso: robust sparse penalization under heavy-tailed noise and outliers with exponential-type loss
Norwegian Institute of Public Health（挪威公共卫生研究院）
针对经典Lasso对异常值和重尾噪声敏感的问题，提出结合指数型损失的Exponential Lasso鲁棒稀疏方法，通过MM算法高效求解，兼具理想条件下的收敛率与污染场景鲁棒性，性能优于经典Lasso。
2025-11-19 cs.LG stat.ME stat.ML
Robust Dual-Regularized Variable Selection under Outlier Contamination
Case Western Reserve University（凯斯西储大学）；University of North Dakota（北达科他大学）；CNRS UMR 6205, Univ Bretagne Sud（法国国家科学研究中心联合研究实验室第6205号，南布列塔尼大学）
针对外点污染下单指标模型的变量选择问题，提出两阶段稀疏中位数梯度外积（smOPG）方法，结合中位数回归与局部加权实现鲁棒性，模拟与实证均优于现有方法。
2026-09-21 stat.CO stat.ME stat.ML
An integrated perspective of robustness in regression through the lens of the bias-variance trade-off
Institute of Statistical Mathematics（统计数理研究所）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）
该研究提出回归鲁棒性的整合视角，揭示传统抗离群点鲁棒估计与抗假想数据集扰动的鲁棒优化间存在偏差-方差权衡，二者策略大致相反。
2024-07-15 cs.LG stat.ME stat.ML
