Optimal Robust Estimation under Local and Global Corruptions: Stronger Adversary and Smaller Error
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Simons Institute for the Theory of Computing（西蒙斯理论计算研究所）
本文研究同时包含任意离群点和局部扰动的组合污染模型，证明在更强的 sliced-Wasserstein 局部扰动下仍可在多项式时间内达到信息论最优误差，并给出分布学习与主成分分析的高效算法。
2024-10-22 cs.DS cs.LG math.ST
Minimum Enclosing Ball Revisited: Stability and Sub-linear Time Algorithms
University of Science and Technology of China（中国科学技术大学）
本文在欧氏空间$\mathbb{R}^d$中重新讨论了最小包围球问题及其鲁棒版本，带离群点的最小包围球问题。虽然这个问题已经被广泛研究之前，大多数现有的算法需要至少线性时间（在输入点$n$和维数$d$的数量），以实现$(1+ε)$ -近似。受最坏情况分析之外的一些最新发展的启发，我们引入了MEB（具有离群值）稳定性的概念，这是自然的，易于理解的。粗略地说，MEB的实例是稳定的，如果结果球的半径不能通过移除一小部分输入点来显著减小。在稳定性假设下，我们提出了两种计算近似MEB的采样算法，其采样复杂度与输入点的数目无关$n$。特别地，第二算法具有甚至独立于维度$d$的样本复杂度。此外，我们扩展的想法，实现一个次线性时间近似算法的MEB与离群值问题。注意，大多数现有的次线性时间算法的问题的MEB和MEB与离群值通常会导致双标准近似，其中“双标准”意味着解决方案必须允许的半径和覆盖点的数量的近似。因此，本文提出的所有算法都产生单准则近似（相对于半径）。我们希望我们提出的稳定性和技术的概念将适用于设计其他优化问题的次线性时间算法。
2020-05-01 cs.CG cs.LG
Typical Stability
University of California San Diego（加利福尼亚大学圣迭戈分校）
在本文中，我们介绍了一个算法的稳定性称为典型稳定性的概念。当我们的目标是发布实值查询时，（统计）在数据集上计算，这个概念不要求查询具有有限的敏感性--当用作算法稳定性的概念时，通常在差分隐私[DMNS 06，Dwork 06]下假设的条件[DFHPRR 15 a，DFHPRR 15 b，BNSSSU 16] --也不要求数据集中的样本是独立的--这是在寻求泛化错误保证时通常假设的条件。相反，典型的稳定性要求查询的输出，当在从底层分布中提取的数据集上计算时，集中在相对于该分布的期望值周围。我们讨论了典型稳定性对泛化误差的影响（即，在数据集上计算的查询值与查询相对于真实数据分布的期望值之间的差）。我们表明，典型的稳定性可以控制自适应数据分析中的泛化误差，即使当数据集中的样本不一定是独立的，当要计算的查询不一定是有界灵敏度，只要查询的结果在数据集上（即，所计算的统计量）遵循具有“轻”尾的分布。这样的查询的示例包括但不限于亚高斯和亚指数查询。我们还讨论了典型稳定性的组合保证，并证明组合定理，表征典型稳定性的参数退化下$k$倍自适应组合。我们还给出了简单的噪声添加算法，实现这一概念。这些算法类似于它们的差分私有对应物，然而，添加的噪声被不同地校准。
2016-09-19 cs.DS cs.LG
RCC-Dual-GAN: An Efficient Approach for Outlier Detection with Few Identified Anomalies
Hefei University of Technology（合肥工业大学）
离群点检测是数据采掘中的一项重要任务，在各种应用中，人们已经探索了许多技术。然而，由于离群值是非集中的默认假设，无监督离群值检测可能无法正确检测具有较高密度水平的组异常。对于有监督的离群点检测，虽然通常可以获得较高的检测率和最佳参数，但获得足够的正确标签是一项耗时的任务。为了解决这些问题，我们专注于半监督离群点检测与少数识别异常，希望使用有限的标签，以实现高检测精度。首先，我们提出了一种新的检测模型Dual-GAN，它可以直接利用已识别异常中的潜在信息来同时检测离散离群点和部分识别的群体异常。然后，考虑到在复杂的数据结构中，具有相似输出值的实例并不都是相似的，我们用RCC和M-GAN的组合（RCC-Dual-GAN）代替Dual-GAN中的两个MO-GAN组件。另外，为了处理纳什均衡的评价和最优模型的选择，在两个模型中引入了两个评价指标，使检测过程更加智能化。在基准数据集和两个实际任务上的广泛实验表明，我们提出的方法（即，Dual-GAN和RCC-Dual-GAN）可以显著提高离群值检测的准确性，即使只有少数识别出的异常。此外，与Dual-GAN中的两个MO-GAN组件相比，RCC和M-GAN组合的网络结构在各种情况下具有更大的稳定性。
2020-03-07 cs.LG stat.ML
Polynomial-Time Sum-of-Squares Can Robustly Estimate Mean and Covariance of Gaussians Optimally
在这项工作中，我们重新审视的问题，估计的平均值和协方差的未知$d$维高斯分布的存在下，一个$\varepsilon$分数的敌对离群值。[DKK+16]的开创性工作给出了一个多项式时间算法，该算法使用$n = \textrm{poly}(d, 1/\varepsilon)$样本，具有最佳$\tilde{O}(\varepsilon)$误差。另一方面，[KS17 b]通过规范的平方和松弛引入了一个鲁棒矩估计的一般框架，该框架适用于更一般的可证明亚高斯和可证明超压缩[BK 20]分布。当专用于高斯时，该算法获得与[DKK+16]相同的$\tilde{O}(\varepsilon)$误差保证，但会导致超多项式样本复杂度（$n = d^{O(\log(1/\varepsilon)}$）和运行时间（$n^{O(\log(1/\varepsilon))}$）。这种成本似乎是他们的分析所固有的，因为它只依赖于方向矩上界的平方和证书，而[DKK+16]中的分析依赖于从高斯分布矩之间的代数关系推断出的方向矩的下界。我们对[KS17b，BK20]中使用的相同规范平方和松弛进行了新的简单分析，并表明对于高斯分布，他们的算法实现了与[DKK+16]中的专用算法相同的误差，样本复杂度和运行时间保证。我们的关键创新是一个新的参数，允许使用矩下限，而无需平方和证书。我们相信，我们的证明技术将可能是有用的，在开发进…
2021-10-22 cs.DS math.ST stat.TH
Robust high dimensional learning for Lipschitz and convex losses
当损失为Lipschitz凸函数且正则化函数为范数时，我们建立了正则化经验风险最小化（RERM）的风险界。在第一部分中，我们得到这些结果在i.i.d.在亚高斯假设下的设计。在第二部分中，一个更一般的框架，设计可能有较重的尾巴和数据可能会损坏的离群值都在设计和响应变量被认为是。在这种情况下，RERM一般表现不佳。我们分析了一个替代的程序的基础上中位数的手段的原则，并呼吁最小最大的。我们展示了这些估计在放松设置的最佳亚高斯偏差率。主要结果是元定理允许广泛的应用到学习理论中的各种问题。为了展示这些潜在应用的非穷举样本，它被应用于由LASSO和SLOPE正则化的逻辑损失函数的分类问题，由组LASSO和全变差正则化的Huber损失的回归问题。极大极小化的另一个优点是，它提出了一种系统的方法来稍微修改高维统计中使用的基于下降的算法，使它们对离群值具有鲁棒性。我们在模拟部分中说明了这一原理，其中经典的最小最大近似下降算法的最小最大近似版本变成了对离群值算法的鲁棒性。
2021-01-06 math.ST stat.TH
A Stability Framework for Parameter Selection in the Minimum Covariance Determinant Problem
本文提出基于稳定性的 MCD 模型选择框架，利用统计深度和集中步骤构建 bootstrap 程序评估最佳子集算法的不稳定性，以辅助子集大小选择，并在真实数据集上验证了其有效性。
2025-07-01 stat.CO stat.ME
Outliers with Opposing Signals Have an Outsized Effect on Neural Network Optimization
Carnegie Mellon University（卡内基梅隆大学）
该研究发现自然数据中带相反信号的成对异常值会显著影响神经网络优化，解释了渐进锐化等现象，通过实验与理论分析验证，并为优化训练方法提供新视角。
2023-11-07 cs.AI cs.CV cs.LG
Outlier-robust sparse/low-rank least-squares regression and robust matrix completion
本文在亚高斯框架下研究含对抗污染的高维稀疏/低秩回归与矩阵补全，提出基于排序Huber损失的易计算估计器，并证明其获得与污染比例和失败概率近最优且调参无需污染信息的估计速率。
2023-10-31 math.ST stat.ML stat.TH
The Hierarchical Adaptive Forgetting Variational Filter
COSY, Institute of Neuroscience, Université Catholique de Louvain（比利时布鲁塞尔天主教鲁汶大学神经科学研究所COSY（需注意：COSY为缩写，此处保留原文））
机器学习和统计学中的一个常见问题是检测数据流中的当前样本是否属于与先前样本相同的分布，是孤立的离群值还是开创了一个新的数据分布。我们提出了一个分层贝叶斯算法，旨在学习一个特定时间的近似后验分布的参数描述的分布观察到的数据。我们推导了指数族模型在每个时间步的近似后验变分参数的更新方程，并表明这些更新在强化学习（RL）中找到了有趣的对应关系。从这个角度来看，我们的模型可以被看作是一个分层的RL算法，它根据一定的稳定性置信度学习后验分布，反过来，根据自己的稳定性置信度学习。最后，我们展示了我们的通用模型的一些应用，首先是在RL背景下，其次是自适应贝叶斯自回归模型，最后是在随机梯度下降优化的背景下。
2018-05-15 cs.LG stat.ML
Outliers, the Law of Large Numbers, Index of Stability and Heavy Tails
我们试图给出一个数学上正确的离群值定义。我们的方法是基于最后两个顺序统计量之间的距离，似乎是连接到大数定律。关键词：异常值，大数定律，重尾，稳定性指标。
2016-12-29 math.PR math.ST stat.TH
Robust LassoNet: Enhancing Feature Selection in Neural Networks via Robust Loss Functions
针对神经网络特征选择对异常值敏感的问题，提出鲁棒LassoNet，通过引入Huber、Cauchy等鲁棒损失函数，在保持优化框架的同时提升污染数据下的预测与特征选择性能。
2026-10-12 cs.LG math.PR stat.ML
Meta-Learning for Relative Density-Ratio Estimation
NTT Computer and Data Science Laboratories（NTT计算机与数据科学实验室）；NTT Communication Science Laboratories（NTT通信科学实验室）
两个概率密度之比，称为密度比，是机器学习中的一个重要量。特别地，相对密度比，这是密度比的有界扩展，由于其稳定性而受到广泛关注，并已被用于各种应用中，例如离群值检测和数据集比较。现有的方法（相对）密度比估计（DRE）需要从两个密度的许多实例。然而，在实践中往往没有足够的实例。在本文中，我们提出了一个相对DRE的元学习方法，它估计相对密度比从少数情况下，利用相关数据集的知识。具体来说，给定两个由少量实例组成的数据集，我们的模型通过使用神经网络提取数据集的信息，并使用它来获得适合于相对DRE的实例嵌入。在嵌入空间上用线性模型对相对密度比进行建模，得到其全局最优解的封闭形式解。封闭形式的解决方案可以快速有效地适应少数情况，其可微性使我们能够训练我们的模型，使预期的测试误差相对DRE可以显式地最小化后，适应少数情况。我们经验证明了所提出的方法的有效性，通过使用三个问题：相对DRE，数据集比较，离群值检测。
2021-07-02 cs.LG stat.ML
Generative Modeling through the Semi-dual Formulation of Unbalanced Optimal Transport
Seoul National University（首尔大学）；Korea Institute for Advanced Study（韩国高等研究院）
本文提出基于非平衡最优输运半对偶公式的生成模型，放宽分布匹配约束，增强鲁棒性、稳定训练并加速收敛，在CIFAR-10和CelebA-HQ-256上取得更优FID分数。
2024-02-06 cs.CV cs.LG
Outlier-robust additive matrix decomposition
本文研究了标签被破坏的最小二乘迹回归，提出基于“排序”Huber损失的可处理估计量，在处理加性矩阵分解、标签污染与噪声交互时达到近最优率。
2024-01-05 math.ST stat.TH
Bridging Convex and Nonconvex Optimization in Robust PCA: Noise, Outliers, and Missing Data
Princeton University（普林斯顿大学）；UC Berkeley（加州大学伯克利分校）
本文在存在（1）随机噪声、（2）稀疏粗离群值和（3）缺失数据的情况下，为低秩矩阵估计的凸规划方法提供了改进的理论保证。这个问题，通常被称为鲁棒主成分分析（鲁棒PCA），发现在各个领域的应用。尽管凸松弛的广泛适用性，可用的统计支持（特别是相对于随机噪声的稳定性分析）仍然是高度次优的，我们在本文中加强。当未知矩阵是良好的条件下，不连贯的，和恒定的秩，我们证明了一个原则性的凸计划达到接近最佳的统计精度，在欧几里得损失和$\ell_{\infty}$损失。所有这一切都发生在几乎恒定比例的观测值被任意大小的离群值破坏的情况下。其关键的分析思想在于将所使用的凸规划与一个辅助的非凸优化算法连接起来，这也是本文的题目。
2021-02-28 cs.IT cs.LG eess.SP
Adversarially Robust Topological Inference
University of California San Diego（加利福尼亚大学圣迭戈分校）；The Pennsylvania State University（宾夕法尼亚州立大学）；The Institute of Statistical Mathematics（统计数学研究所）
针对持续同调对异常值敏感的问题，提出基于中位数均值的距离函数变体 MoM Dist，在对抗设置下实现一致估计与近最优性能。
2025-03-28 cs.CG cs.LG math.AT
Cellwise and Casewise Robust Multivariate Regression with Inference
KU Leuven（荷语鲁汶大学）
本文提出cellMR估计器，同时处理案例和单元异常值、缺失数据和高维性，引入cellBoot推断方法，提供稳健的置信区间。
2026-10-20 math.ST stat.ME stat.TH
Adaptive Penalized Doubly Robust Regression for Longitudinal Data
Wisdom Lake Academy of Pharmacy, Xi’an Jiaotong-Liverpool University（西交利物浦大学智慧药学院）
本文提出了一种双重适应性稳健回归方法，用于纵向数据中的稳健估计和变量选择，通过结合稳健拟合、双重适应性权重和折叠凹惩罚，提高了估计精度和预测稳定性。
2026-02-25 math.ST stat.AP stat.CO
Trimming Stability Selection increases variable selection robustness
污染会严重扭曲估计，除非估计程序是适当的强大。这是一个众所周知的问题，并已在稳健统计中得到解决，然而，污染和扭曲的变量选择的关系在文献中很少被考虑。至于变量选择，已经提出了许多稀疏模型选择的方法，包括稳定性选择，这是一种基于变量选择算法的元算法，以免疫特定的数据配置。我们引入了变量选择细分点，量化的情况下，分别。必须被污染的细胞，以便检测不到相关变量。我们发现，特定的离群配置可以完全误导模型选择，并认为为什么即使是细胞明智的强大的方法不能解决这个问题。我们将变量选择崩溃点与恢复相结合，得到稳定性选择崩溃点，该崩溃点量化了稳定性选择的鲁棒性。我们提出了一个修剪的稳定性选择，它只聚合模型的最低样本损失，以便，从理论上讲，模型计算严重污染的重采样应该被修剪掉。一个广泛的模拟研究与非鲁棒回归和分类算法，以及稀疏最小二乘法揭示了我们的方法，以提高模型选择的鲁棒性，以及使用非鲁棒算法的变量选择的脆弱性，即使是一个非常小的细胞明智的污染率的潜力。
2022-07-14 math.ST stat.ME stat.TH
Breakdown points for maximum likelihood estimators of location-scale mixtures
基于混合正态分布的ML-估计是聚类分析中广泛使用的工具。然而，单个离群值可以使混合分量中的至少一个的参数估计失效。除其他外，McLachlan和Peel [Finite Mixture Models（2000）Wiley，New York]提出的t分布混合估计以及Fraley和Raftery [The Computer J. 41（1998）578-588]提出的考虑"噪声“的另一个混合成分的估计被认为是更可靠的替代方法。本文讨论了聚类分析的充分鲁棒性度量的定义，并给出了上述方法的崩溃点的界。事实证明，这两种替代方案，虽然增加了稳定性的存在下，中等大小的离群值，不具有实质上更好的击穿行为比估计的基础上正常的混合物。如果聚类s的数量被视为固定的，r个额外的点足以让所有三种方法的参数r集群爆炸。只有在r=s的情况下，这对t-混合物是不可能的。估计混合物组分的数量的能力，例如，通过使用Schwarz的贝叶斯信息准则[Ann. Statist. 6（1978）461-464]，并且将总异常值隔离为一个点的簇，对于所有三种技术的改进的击穿行为是至关重要的。此外，提出了具有不适当均匀分布的法线的混合，以在固定数量的分量的情况下实现更强的鲁棒性。
2004-10-05 math.ST stat.TH
Convex Clustering Redefined: Robust Learning with the Median of Means Estimator
Indian Statistical Institute, Kolkata（印度统计研究院，科希马）；Department of Statistics and Data Science, University of Texas at Austin（德克萨斯大学奥斯汀分校统计与数据科学系）；Electronics and Communication Sciences, Indian Statistical Institute, Kolkata（印度统计研究院，科希马电子与通信科学）；Department of Statistics, University of Oxford（牛津大学统计系）；Department of Statistics, University of Michigan（密歇根大学统计系）
针对凸聚类处理高维数据、噪声异常值及依赖簇数先验的问题，提出结合均值中位数估计器的鲁棒方法，无需簇数先验且抗异常值，理论证明弱一致性，实验显示性能优于现有方法。
2025-11-12 cs.LG math.ST stat.CO
The Sharp Phase Transition of Tyler's M-Estimator for Robust Subspace Recovery
School of Mathematics, University of Minnesota（明尼苏达大学数学系）；Department of Mathematics, University of Central Florida（中央佛罗里达大学数学系）
研究Tyler's M-估计器在临界信噪比DS-SNR=1时的行为，证明其收敛到真实子空间，建立尖锐相变。
2026-06-04 cs.IT cs.LG math.IT
Robust ensemble Kalman filtering under observation noise misspecification via diffusion score matching
Heidelberg University（海德堡大学）；University of Potsdam（波茨坦大学）
针对动态系统贝叶斯滤波中观测噪声误设定问题，提出利用扩散分数匹配调整分析步信息处理的鲁棒卡尔曼滤波器，理论证明其在线性高斯状态空间中的共轭性、鲁棒性、协方差稳定性及高维一致性，并通过集成近似实现EnKF、ESRF和LETKF变体，在目标跟踪、Lorenz 63和Lorenz 96系统中验证了鲁棒性与稳定性的权衡。
2026-05-26 math.DS math.ST stat.ME
Robust and Computationally Efficient Trimmed L-Moments Estimation for Parametric Distributions
本文提出基于非对称截尾 L-矩的参数分布稳健估计框架，建立渐近性质并开发高效算法，仿真与金融索赔建模验证了其性能。
2025-05-14 math.ST stat.AP stat.CO
