A spectral algorithm for robust regression with subgaussian rates
我们研究了一个新的线性二次时间算法的线性回归在没有强假设的基本分布的样本，并在存在离群值。我们的目标是设计一个程序，它带有实际的工作代码，达到最佳的亚高斯误差界，即使数据只有有限的时刻（高达$L_4$），并在可能的敌对离群值的存在。这个问题的多项式时间的解决方案已被发现，但由于其使用的平方和层次编程有很高的运行时间。在我们的算法的核心是一个适应的频谱方法的平均估计问题的线性回归问题。作为副产品，我们建立了线性回归问题和最远超平面问题之间的联系。从随机的角度来看，除了经典的二次和乘数过程的研究，我们引入了第三个经验过程，自然在算法的统计特性的研究。
2020-07-12 cs.LG stat.CO stat.ML
Estimation of entropy-regularized optimal transport maps between non-compactly supported measures
Tufts University（塔夫茨大学）
本文研究了次高斯源与目标测度间熵正则化最优传输映射的估计，证明了消除紧支撑要求后的误差收敛速率，并通过偏差-方差分解技术处理偏差与方差。
2023-11-20 cs.IT cs.LG math.IT
Ivanov-Regularised Least-Squares Estimators over Large RKHSs and Their Interpolation Spaces
研究了范数约束下的核最小二乘估计。这种形式的正则化被称为Ivanov正则化，它比公认的Tikhonov正则化提供了更好的估计量范数控制。Ivanov正则化可以在最小的假设下进行研究。特别是，我们只假设RKHS是可分离的有界和可测量的内核。我们提供的预期平方$L^2$误差估计的收敛速度下的弱假设，即响应变量的方差是有界的和未知的回归函数位于$L^2$和RKHS之间的插值空间。然后，我们得到更快的收敛速度时，回归函数的裁剪估计有界。事实上，我们达到了最佳的收敛速率。此外，我们提供了一个更强的假设下，响应变量具有亚高斯误差和回归函数位于$L^\infty$和RKHS之间的插值空间的高概率界。最后，我们推导出自适应结果的设置中的回归函数有界。
2019-06-14 math.ST stat.TH
Adversarial robust weighted Huber regression
针对协变量和噪声可能被对手污染的线性回归，提出加权Huber回归方法，推导出依赖于协方差矩阵稳定秩和条件数的估计误差界，并保证多项式计算复杂度。
2024-05-24 math.ST stat.ML stat.TH
Private Robust Estimation by Stabilizing Convex Relaxations
Carnegie Mellon University（卡内基梅隆大学）；Google Research（谷歌研究院）
我们给出了第一个多项式时间和样本$(ε, δ)$ -差分私有（DP）算法估计的平均值，协方差和更高的时刻在存在一个常数的对抗性离群值。我们的算法成功的家庭的分布，满足两个良好的研究性质，在以前的工作稳健估计：可证明的subgaussianity的方向矩和可证明的超收缩度2多项式。我们的恢复保证在“右仿射不变规范”：平均值，乘法谱和相对Frobenius距离保证协方差和内射规范更高的时刻马氏距离。先前的工作获得了私人的稳健算法的均值估计的次高斯分布有界协方差。对于协方差估计，我们是第一个有效的算法（即使在没有离群值的情况下），成功没有任何条件数假设。我们的算法产生于一个新的框架，提供了一个通用的蓝图修改凸松弛稳健估计，以满足强最坏情况下的稳定性保证在适当的参数规范每当算法产生证人的正确性在他们的运行。我们验证这样的保证修改标准的平方和（SoS）半定规划松弛稳健估计。我们的隐私保证是通过将稳定性保证与一个新的“估计依赖”噪声注入机制相结合来获得的，在该机制中，噪声与估计协方差的特征值成比例。我们相信这个框架将是有用的，更普遍地获得DP对应的强大的估计。独立于我们的工作，Ashtiani和Liaw [AL 21]还获得了高斯分布的多项式时间和样本私有稳健估计算法。
2021-12-07 cs.CR cs.DS cs.IT
Finite-Sample Symmetric Mean Estimation with Fisher Information Rate
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文针对对称均值估计问题，给出了基于Fisher信息的有限样本保证，证明在样本量 $n > \log \frac{1}δ$ 时，可实现接近方差为 $\frac{1}{n \mathcal I_r}$ 的次高斯收敛，其性能基本匹配已知分布设定下的有限样本保证。
2023-06-28 cs.IT cs.LG math.IT
Outlier-robust sparse/low-rank least-squares regression and robust matrix completion
本文在亚高斯框架下研究含对抗污染的高维稀疏/低秩回归与矩阵补全，提出基于排序Huber损失的易计算估计器，并证明其获得与污染比例和失败概率近最优且调参无需污染信息的估计速率。
2023-10-31 math.ST stat.ML stat.TH
Optimal Mean Estimation without a Variance
Department of Electrical Engineering and Computer Science（电气工程与计算机科学系）；Department of Statistics（统计系）
我们研究的重尾均值估计的数据生成分布的方差不存在的设置中的问题。具体地说，给定一个样本$\mathbf{X} = \{X_i\}_{i = 1}^n$从一个分布$\mathcal{D}$在$\mathbb{R}^d$与平均$μ$满足以下\emph{weak-moment}假设的一些${α\in [0, 1]}$：\begin{equation*} \forall \|v\| = 1: \mathbb{E}_{X \thicksim \mathcal{D}}[\lvert \langle X - μ, v\rangle \rvert^{1 + α}] \leq 1, \end{equation*}和给定的目标故障概率，$δ$，我们的目标是设计一个估计，达到最小可能的置信区间作为$n,d,δ$的函数。对于$α= 1$的特定情况，Lugosi和Mendelson的基础工作展示了一个估计器，该估计器实现了亚高斯置信区间，随后的工作导致了该估计器的计算效率版本。在这里，我们研究的情况下，一般$α$，并建立以下信息理论的最佳可达到的置信区间的下限：\begin{equation*} Ω\left(\sqrt{\frac{d}{n}} + \left(\frac{d}{n}\right)^{\fracα{(1 + α)}} + \left(\frac{\log 1 / δ}{n}\right)^…
2020-12-08 cs.DS cs.LG math.ST
Near-Optimal Stochastic Approximation for Online Principal Component Estimation
主成分分析（PCA）是高维数据分析的重要工具。通过处理流数据来估计主成分的在线算法具有巨大的实际和理论意义。尽管其丰富的应用，理论上的收敛分析仍然在很大程度上是开放的。本文将在线PCA问题转化为随机非凸最优化问题，并将在线PCA算法分析为随机逼近迭代。随机逼近迭代递增地处理数据点并保持主成分的运行估计。我们证明了第一次几乎最佳的有限样本误差界的在线PCA算法。在亚高斯假设下，我们证明了有限样本误差界与极大极小信息下界密切匹配。
2017-10-05 math.OC stat.ML
Robust Sparse Mean Estimation via Sum of Squares
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；University of California, San Diego（加利福尼亚大学圣迭戈分校）
本文针对存在对抗性离群点的高维稀疏均值估计问题，提出首个无需协方差先验知识的基于平方和的高效算法，在矩有界分布和高斯分布下分别达到接近最优的误差与样本复杂度，并通过下界证明其权衡的最优性。
2024-07-05 cs.DS cs.LG math.ST
Optimal score estimation via empirical Bayes smoothing
本文研究从高维 i.i.d. 样本估计分布 score 函数的问题，借助经验贝叶斯与平滑经验分布的 Hellinger 收敛，证明高斯核正则化估计器达到 minimax 最优速率并揭示维数灾难。
2024-06-12 math.ST stat.ML stat.TH
High-Dimensional Feature Selection for Sample Efficient Treatment Effect Estimation
MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；IBM Research（IBM研究院）
从观察数据中估计因果处理效应是因果推断中的一个基本问题。为了避免偏倚，效应估计量必须控制所有混杂因素。因此，从业者经常收集尽可能多的协变量的数据，以提高包括相关混杂因素的机会。虽然这解决了偏差问题，但由于维数增加，这会显著增加准确估计效果所需的数据样本数量。在这项工作中，我们考虑的设置中，大量的协变量$X$，满足强可重复性，一个未知的稀疏子集$S$是足以包括实现零偏差，即$c$ -相当于$X$。我们提出了一个共同的目标函数，涉及治疗队列的结果与非凸联合稀疏正则化，保证恢复$S$与高概率下的线性结果模型$Y$和亚高斯协变量的每个治疗队列。这提高了效果估计样本复杂度，使得其与稀疏子集$S$和$\log |X|$的基数成比例，而不是与全集$X$的基数成比例。我们验证了我们的方法与实验上的处理效应估计。
2020-11-03 cs.LG stat.ME stat.ML
Optimal Robust Estimation under Local and Global Corruptions: Stronger Adversary and Smaller Error
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Simons Institute for the Theory of Computing（西蒙斯理论计算研究所）
本文研究同时包含任意离群点和局部扰动的组合污染模型，证明在更强的 sliced-Wasserstein 局部扰动下仍可在多项式时间内达到信息论最优误差，并给出分布学习与主成分分析的高效算法。
2024-10-22 cs.DS cs.LG math.ST
Generative Adversarial Nets for Robust Scatter Estimation: A Proper Scoring Rule Perspective
University of Chicago（芝加哥大学）；Hong Kong University of Science and Technology（香港科技大学）
稳健散布估计是统计学中的一项基本任务。Gao et al.（2018）最近关于鲁棒估计和生成对抗网络（GANs）之间的联系的发现表明，可以使用优化GANs的类似技术来计算类似深度的鲁棒估计器。在本文中，我们介绍了一个一般的学习通过分类框架的基础上适当的评分规则的概念。这个框架允许我们通过$f$的变分近似的透镜来理解矩阵深度函数和各种GANs-由适当的评分规则引起的发散。然后，我们提出了一类新的强大的散布估计在这个框架中仔细构造鉴别器与适当的神经网络结构。在Huber污染模型下，证明了这些估计量能达到极小极大散布率估计.我们的数值结果表明，在各种设置下对文献中的竞争对手的良好性能。
2019-03-05 cs.LG math.ST stat.ML
Robust Mean Estimation under Quantization
Department of Mathematics, University of California Irvine（加州大学尔湾分校数学系）；Department of Mathematics, University of Maryland, College Park（马里兰大学学院市分校数学系）
本文提出在量化和对抗性污染下最优的多变量鲁棒均值估计方法，分别针对单比特和部分量化设置。
2026-01-11 cs.LG math.ST stat.ML
Distributionally Robust Parametric Maximum Likelihood Estimation
Stanford University（斯坦福大学）；University of Cyprus（塞浦路斯大学）
我们考虑的参数估计问题的概率生成模型规定使用一个自然的指数分布族。对于这个问题，典型的极大似然估计器通常在有限的训练样本量下过拟合，对噪声敏感，并且可能在下游预测任务上表现不佳。为了缓解这些问题，我们提出了一个分布鲁棒的极大似然估计，最大限度地减少最坏情况下的预期对数损失均匀的参数Kullback-Leibler球周围的参数标称分布。利用同一自然指数族中两个分布之间的库尔贝克-莱布勒散度的解析表达式，我们证明了最小-最大估计问题在广泛的环境中是易于处理的，包括广义线性模型的鲁棒训练。我们的新的鲁棒估计也享有统计一致性，并提供了有前途的实证结果在回归和分类任务。
2020-10-11 cs.LG math.ST stat.ML
Estimating Higher-Order Mixed Memberships via the $\ell_{2,\infty}$ Tensor Perturbation Bound
本文提出张量混合隶属度块模型推广离散社区假设，结合HOOI与单纯形角点算法实现高效估计，推导$\u2113_{2,\u221e}$张量扰动界证明一致性，实验验证了其可发现离散模型无法识别的效应。
2024-02-01 math.OC math.ST stat.ME
Outlier Robust and Sparse Estimation of Linear Regression Coefficients
针对协变量和噪声受对抗性离群污染且噪声重尾的线性回归，提出基于通用链集中不等式的抗离群稀疏估计方法，在更弱假设下获得更尖锐误差界。
2024-05-24 math.ST stat.ML stat.TH
Robust Mean Estimation on Highly Incomplete Data with Arbitrary Outliers
Stanford University（斯坦福大学）
我们研究的问题，稳健估计的平均值的$d$维分布给定$N$的例子，其中大多数坐标的每个例子可能会丢失和$\varepsilon N$的例子可能会被任意损坏。假设每个坐标出现在一个恒定的因素比$\varepsilon N$的例子，我们显示的算法，估计的平均值的分布与信息理论上的最佳尺寸无关的误差保证在近线性时间$\widetilde O(Nd)$。我们的研究结果扩展了最近的工作计算效率的鲁棒估计，更广泛适用的不完全数据设置。
2021-05-03 cs.DS cs.LG math.ST
Robust Kernel Density Estimation with Median-of-Means principle
本文结合核密度估计方法和均值中值原理（MoM-KDE），提出了一种稳健的非参数密度估计方法。该估计实现任何类型的异常数据的鲁棒性，即使在对抗性污染的情况下。特别是，虽然以前的作品只证明已知的污染模型下的一致性结果，这项工作提供了有限样本的高概率误差界没有先验知识的离群值。最后，当与其他强大的核估计相比，我们表明，MoM-KDE实现竞争力的结果，同时具有显着较低的计算复杂性。
2020-06-30 math.ST stat.ML stat.TH
Tractable and Near-Optimal Adversarial Algorithms for Robust Estimation in Contaminated Gaussian Models
考虑Huber污染高斯模型下位置和方差阵的同时估计问题。首先，我们研究了总体水平上的最小$f$ -发散估计，对应于具有非参数估计的生成对抗方法，并建立了导致稳健估计的$f$ -发散的条件，类似于最小距离估计的稳健性。更重要的是，我们开发了易于处理的对抗算法与简单的样条判别器，它可以通过嵌套优化实现，这样可以通过最大化凹目标函数给定的电流发生器，完全更新的参数。所提出的方法，以实现极大极小最优率或接近最优率取决于$f$发散和所使用的惩罚。这是第一次建立这样的接近最优的差错率的对抗算法与线性鉴别器下的Huber的污染模型。我们目前的模拟研究，以证明所提出的方法优于经典的鲁棒估计，成对的方法，和神经网络鉴别器的生成对抗方法。
2022-08-06 math.ST stat.ML stat.TH
Robust hypothesis testing and distribution estimation in Hellinger distance
Google Research（谷歌研究院）
我们提出了一个简单的鲁棒假设检验，具有相同的样本复杂性的最佳Neyman-Pearson检验常数，但强大的分布扰动下Hellinger距离。我们讨论了这样一个强大的测试估计分布在Hellinger距离的适用性。我们经验证明的权力的典型分布的测试。
2020-11-03 cs.IT cs.LG math.IT
Robust Mean Estimation in High Dimensions via $\ell_0$ Minimization
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文研究了高维情形下的稳健均值估计问题，其中数据点的$α<0.5$分数可以任意损坏。出于压缩感知，我们制定的鲁棒均值估计问题的最小化的$\ell_0$ -“规范”的离群指标向量，在二阶矩约束下的内点数据点。我们证明了这个目标的全局最小值是鲁棒均值估计问题的阶最优，我们提出了一个通用的框架，以最小化的目标。我们进一步利用$\ell_1$和$\ell_p$ $(0<p<1)$，压缩感知中的最小化技术，为$\ell_0$最小化问题提供计算上易于处理的解决方案。仿真和实际数据实验表明，所提出的算法显着优于国家的最先进的鲁棒均值估计方法。
2020-08-21 cs.LG eess.SP math.ST
Robust W-GAN-Based Estimation Under Wasserstein Contamination
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；University of Cambridge（剑桥大学）
稳健估计是统计学中的一个重要问题，其目的是当数据生成分布位于未污染分布周围的适当定义的球内时，提供一个合理的估计。虽然极大极小估计率近年来已经建立，许多现有的鲁棒估计可证明最佳的收敛速度也是计算上难以处理的。在本文中，我们研究了Wasserstein污染模型下的几个估计问题，并提出了基于生成对抗网络（GANs）的计算易处理的估计器。具体来说，我们分析了基于Wasserstein GAN的位置估计，协方差阵估计和线性回归估计的性质，并表明我们提出的估计在许多情况下是最小最大最优的。最后，我们提出的数值结果证明了我们的估计的有效性。
2021-01-20 cs.IT cs.LG math.IT
High-Dimensional Robust Mean Estimation via Gradient Descent
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Duke University（杜克大学）；University of Southern California（南加州大学）
我们研究了高维鲁棒均值估计的问题，在存在一个常数分数的敌对离群值。最近的一系列工作提供了复杂的多项式时间算法，这个问题与尺寸无关的误差保证范围内的自然分布家庭。在这项工作中，我们表明，一个自然的非凸制定的问题可以直接解决梯度下降。我们的方法利用了一个新的结构引理，粗略地表明，我们的非凸目标的任何近似稳定点给出了一个接近最优的解决方案，以基本的鲁棒估计任务。我们的工作建立了一个有趣的算法高维鲁棒统计和非凸优化，这可能有更广泛的应用到其他鲁棒估计任务之间的联系。
2020-05-04 cs.DS cs.LG math.OC
On the Adversarial Robustness of Multivariate Robust Estimation
University of Michigan（密歇根大学）；University of California, Davis（加利福尼亚大学戴维斯分校）
本文研究了多元$M$ -估计量的对抗鲁棒性。在所考虑的模型中，在观察整个数据集之后，对手可以修改所有数据点，以最大化推理错误。我们使用对抗影响函数（AIF）来衡量对手可以改变推理结果的渐近速率。我们首先描述对手的最佳修改策略和相应的AIF。从防御者的角度来看，我们希望设计一个具有小AIF的估计器。对于联合位置和规模估计问题的情况下，我们刻画了最佳的$M$估计，具有最小的AIF。我们进一步确定了对抗性修改的鲁棒性和对离群值的鲁棒性之间的权衡，并推导出最佳的$M$估计，实现最佳的权衡。
2019-03-27 cs.IT cs.LG math.IT
On Robust Mean Estimation under Coordinate-level Corruption
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
我们研究了鲁棒均值估计问题，并引入了一种新的基于汉明距离的坐标级腐败的分布偏移的措施。我们表明，这种措施产生的对手模型，捕捉更现实的腐败比以前的作品中使用的，并提出了一个信息理论分析的鲁棒均值估计在这些设置。我们表明，对于结构化分布，利用结构产生信息的方法理论上更准确的均值估计。我们还专注于实用算法的鲁棒均值估计和研究时，数据清洗启发的方法，首先修复损坏的输入数据，然后执行鲁棒均值估计可以匹配我们的分析的信息理论界。最后，我们通过实验证明，这种两步方法优于结构无关的鲁棒估计，并提供准确的均值估计，即使是高幅度的腐败。
2021-06-11 cs.LG stat.ML
RCR: Robust Compound Regression for Robust Estimation of Errors-in-Variables Model
变量误差（EIV）回归模型由于同时考虑了自变量和因变量中的测量误差，因而更符合实际，在应用科学中被广泛采用。然而，传统的EIV模型估计量可能会受到离群值和其他偏离基本假设的严重影响。本文提出了一种新的非参数回归方法-稳健复合回归（RCR）分析方法，用于EIV模型的稳健估计。我们首先介绍了一个强大的和有效的估计称为最小正弦平方（LSS）。充分利用新的LSS方法和复合回归分析方法在我们自己的小组，我们随后提出了RCR方法作为这两个推广，它提供了一个强大的对应的整个类的极大似然估计（MLE）的EIV模型的解决方案，在1-1映射。从技术上讲，我们的方法为用户提供了从一类RCR估计中选择满足预定义回归效率标准的最佳估计的灵活性。仿真研究和现实生活中的例子来说明RCR方法的有效性。
2015-08-12 math.ST stat.ME stat.ML
Robust and Sparse Estimation of Unbounded Density Ratio under Heavy Contamination
Panasonic Holdings Corporation（松下电器控股公司）；The Institute of Statistical Mathematics（统计数学研究所）；The Graduate University for Advanced Studies (SOKENDAI)（高级研究大学（SOKENDAI））
本文提出了一种在重污染环境下实现鲁棒且稀疏估计无界密度比的方法，通过非渐近框架分析解决了密度比估计和鲁棒估计中的关键挑战。
2025-12-10 cs.LG stat.ML
Robust Estimation via Robust Gradient Estimation
Carnegie Mellon University（卡内基梅隆大学）
我们提供了一个新的计算效率的估计类风险最小化。我们表明，这些估计是强大的一般统计模型：在经典的Huber ε-污染模型和重尾设置。我们的主力是一个新的强大的梯度下降的变种，我们提供的条件下，我们的梯度下降的变种提供准确的估计在一个一般的凸风险最小化问题。我们提供了具体的后果，我们的理论，线性回归，逻辑斯谛回归和估计的典型参数在指数家庭。这些结果为这些典型的统计模型提供了一些第一个计算上易处理的和可证明的鲁棒估计。最后，我们研究了我们提出的方法在合成和真实数据集上的实证性能，发现我们的方法令人信服地优于各种基线。
2018-04-20 cs.AI cs.LG stat.ML
Robust and Sparse Estimation of Linear Regression Coefficients with Heavy-tailed Noises and Covariates
The Graduate University for Advanced Studies, SOKENDAI（综合研究大学院大学）
研究了线性回归系数的抗差稀疏估计。本文所解决的情况是，协变量和噪声是从重尾分布中采样的，并且协变量和噪声被恶意离群值污染。我们的估计量可以有效地计算。此外，估计的误差界是接近最优的。
2022-10-09 cs.LG stat.ML
Robust estimation algorithms don't need to know the corruption level
University of California, San Diego（加利福尼亚大学圣地亚哥分校）
真实的数据很少是纯粹的。因此，在过去的半个世纪里，人们对稳健的估计算法产生了极大的兴趣，这些算法即使在部分数据损坏的情况下也能表现良好。然而，只有在给定损坏数据比例的严格上限时，它们的绝大多数才接近最佳精度。这种界限在实践中是不可用的，从而导致弱保证和通常较差的性能。这篇简短的笔记将复杂而普遍的鲁棒性问题抽象成一个简单的几何难题。然后，它适用于难题的解决方案，以获得一个通用的Meta技术，转换任何强大的估计算法，需要一个严格的腐败水平的上限，以实现其最佳的准确性到一个实现基本上相同的准确性，而不使用任何上限。
2022-02-11 cs.LG stat.ML
Robust Kernel Density Estimation
University of Michigan（密歇根大学）
我们提出了一种非参数密度估计的方法，表现出鲁棒性的污染的训练样本。该方法通过将传统的核密度估计器（KDE）与经典的$M$估计的思想相结合来实现鲁棒性。我们解释的KDE的基础上的径向，半正定内核作为一个样本均值在相关的再生核希尔伯特空间。由于样本均值对异常值敏感，我们通过$M$ -估计对其进行鲁棒估计，得到鲁棒核密度估计（RKDE）。一个RKDE可以有效地计算通过内核化迭代重加权最小二乘（IRWLS）算法。给出了核化IRWLS收敛于$M$ -估计目标函数全局极小的充要条件。RKDE的鲁棒性证明了一个代表定理，影响函数，密度估计和异常检测的实验结果。
2011-09-06 cs.LG stat.ME stat.ML
Robust Matrix Completion State Estimation in Distribution Systems
Kansas State University（堪萨斯州立大学）；National Renewable Energy Laboratory（国家可再生能源实验室）
在配电系统状态估计（DSSE）中，由于观测量的不足，如果不使用伪观测量，很难实现完全可观测和冗余观测。矩阵完备化状态估计（MCSE）将矩阵完备化与电力系统模型相结合，利用矩阵的低秩特性进行电压估计。提出了一种鲁棒矩阵完备状态估计（RMCSE）方法，用于低可观测性条件下的配电网电压估计。传统的状态估计加权最小二乘（WLS）方法要求系统的状态是完全可观测的，并且需要冗余的观测量来进行坏数据检测。该方法通过最小化矩阵秩和不同权值的测量残差，提高了MCSE对坏数据的鲁棒性。该方法可以在低可观测性系统中估计系统状态，并且在多个坏数据情况下，不需要坏数据检测过程，具有鲁棒估计性能。IEEE 33节点径向配电系统的数值评估的方法。将RMCSE的估计性能和鲁棒性与具有最大归一化残差坏数据识别的WLS（WLS-LNR）和MCSE进行了比较。
2019-10-14 cs.LG stat.ML
Median of Forests for Robust Density Estimation
University of Twente（特温特大学）
本文提出了一种名为MFRDE的集成学习算法，通过在子采样数据集上对森林密度估计器执行逐点中位数操作，有效抵抗局部和非局部异常值，实现比现有基于核的鲁棒方法更高的估计准确性和收敛速率，并成功应用于异常检测。
2025-01-25 cs.LG stat.ML
Outlier-Robust High-Dimensional Sparse Estimation via Iterative Filtering
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；UT Austin（德克萨斯大学奥斯汀分校）；University of California, San Diego（加利福尼亚大学圣迭戈分校）；Web3 Foundation（Web3基金会）
我们研究高维稀疏估计任务中的一个强大的设置，其中一个恒定的分数的数据集是adversarially损坏。具体而言，我们专注于鲁棒稀疏均值估计和鲁棒稀疏PCA的基本问题。我们给出了这些问题的第一个实际可行的鲁棒估计。更详细地说，我们的算法是样本和计算效率，并实现接近最佳的鲁棒性保证。与以前的可证明算法依赖于椭球方法相比，我们的算法使用谱技术来迭代地从数据集中删除离群值。我们对合成数据的实验评估表明，我们的算法是可扩展的，并显着优于以前的方法，几乎匹配的最佳出错率没有腐败。
2019-11-19 cs.DS cs.LG stat.ML
Robust Structured Statistical Estimation via Conditional Gradient Type Methods
University of Texas at Austin（德克萨斯大学奥斯汀分校）
结构化统计估计问题通常通过条件梯度（CG）类型的方法来解决，以避免计算上昂贵的投影操作。然而，现有的CG类型的方法是不健壮的数据损坏。为了解决这个问题，我们建议鲁棒CG类型的方法对Huber的腐败模型和重尾数据。首先，我们证明了两种成对CG方法是稳定的，即，不要积累错误。结合鲁棒平均梯度估计技术，我们可以保证鲁棒性的问题，但现在在一个无投影算法框架。接下来，我们考虑高维问题。基于鲁棒均值估计的方法可能具有不可接受的高样本复杂度。当约束集为$\ell_0$范数球时，最近发展了基于迭代硬约束保持的方法。然而，即使对于具有$O(d)$极值点的一般集合，扩张也是非平凡的。对于可行集有$O(\text{poly}(d))$极值点的情况，我们提出了一种新的鲁棒性方法，该方法基于一个新的条件，我们称之为鲁棒原子选择条件（RASC）。当满足RASC时，我们的方法线性收敛，具有相应的统计误差，样本复杂度在问题的稀疏性中正确缩放，而不是基于鲁棒均值估计的任何方法所需的环境维度。
2020-07-07 cs.LG math.OC stat.ML
Robust Kernel Density Estimation by Scaling and Projection in Hilbert Space
虽然稳健参数估计在参数密度估计中已经得到了很好的研究，但在非参数环境中对稳健密度估计的研究却很少。我们提出了一个强大的版本的流行的核密度估计（KDE）。与其他估计器一样，KDE的鲁棒版本是有用的，因为样本污染是数据集的常见问题。对于非参数密度估计，“稳健性”意味着什么并不简单，这是我们在本文中探讨的一个主题。为了构建一个健壮的KDE，我们对传统的KDE进行缩放，并将其投影到$L^2$规范中最接近的加权KDE。这将产生缩放和投影KDE（SPKDE）。由于平方$L^2$范数超线性地惩罚逐点错误，这导致加权KDE将更多权重分配给高密度区域。我们证明了鲁棒性的SPKDE与数值实验和一致性的结果表明，渐近SPKDE恢复未污染的密度在充分条件下的污染。
2014-11-17 stat.ML
Robust multi-stage model-based design of optimal experiments for nonlinear estimation
Technische Universität Dortmund（多特蒙德工业大学）；Slovak University of Technology in Bratislava（斯洛伐克理工大学）
我们研究的方法，以强大的基于模型的实验设计的背景下，极大似然估计。这些方法通过考虑参数不确定性的影响，为最优实验的设计提供了基于模型的方法的鲁棒性。研究了基于线性化置信区域的非线性最小二乘参数估计的稳健最优试验设计问题。我们调查了几个著名的鲁棒框架在这方面，并提出了一种新的方法，基于多阶段的鲁棒优化。所提出的方法针对的是问题，其中实验是按顺序设计的，并且可以在实验之间重新估计。多阶段的形式主义有助于识别实验，更好地进行实验的早期阶段，参数知识是穷人。我们证明了所提出的方法的研究结果和有效性，使用不同的复杂性的四个案例研究。
2021-09-02 cs.LG cs.SY eess.SY
