Outlier-robust sparse/low-rank least-squares regression and robust matrix completion
本文在亚高斯框架下研究含对抗污染的高维稀疏/低秩回归与矩阵补全，提出基于排序Huber损失的易计算估计器，并证明其获得与污染比例和失败概率近最优且调参无需污染信息的估计速率。
2023-10-31 math.ST stat.ML stat.TH
Private Robust Estimation by Stabilizing Convex Relaxations
Carnegie Mellon University（卡内基梅隆大学）；Google Research（谷歌研究院）
我们给出了第一个多项式时间和样本$(ε, δ)$ -差分私有（DP）算法估计的平均值，协方差和更高的时刻在存在一个常数的对抗性离群值。我们的算法成功的家庭的分布，满足两个良好的研究性质，在以前的工作稳健估计：可证明的subgaussianity的方向矩和可证明的超收缩度2多项式。我们的恢复保证在“右仿射不变规范”：平均值，乘法谱和相对Frobenius距离保证协方差和内射规范更高的时刻马氏距离。先前的工作获得了私人的稳健算法的均值估计的次高斯分布有界协方差。对于协方差估计，我们是第一个有效的算法（即使在没有离群值的情况下），成功没有任何条件数假设。我们的算法产生于一个新的框架，提供了一个通用的蓝图修改凸松弛稳健估计，以满足强最坏情况下的稳定性保证在适当的参数规范每当算法产生证人的正确性在他们的运行。我们验证这样的保证修改标准的平方和（SoS）半定规划松弛稳健估计。我们的隐私保证是通过将稳定性保证与一个新的“估计依赖”噪声注入机制相结合来获得的，在该机制中，噪声与估计协方差的特征值成比例。我们相信这个框架将是有用的，更普遍地获得DP对应的强大的估计。独立于我们的工作，Ashtiani和Liaw [AL 21]还获得了高斯分布的多项式时间和样本私有稳健估计算法。
2021-12-07 cs.CR cs.DS cs.IT
Near-optimal Delta-convex Estimation of Lipschitz Functions
G&G
本文针对从噪声观测中估计未知Lipschitz函数的问题，提出一种扩展最大仿射方法的算法。通过非线性特征扩展等技术，在随机设计设置下达到极小极大收敛速度。算法集成多种机制，还能适应凸形状受限回归，实验显示其性能优于其他理论方法。
2026-07-13 cs.LG stat.ML
Robust XGBoosting for Regression
KU Leuven（鲁汶大学）
本文针对XGBoost易受垂直异常值和杠杆点影响的问题，提出基于鲁棒回归估计量的MM-XGBoost两步方法，实现了鲁棒性与预测精度的最优权衡。
2026-08-17 cs.LG stat.CO stat.ML
Restricted Eigenvalue from Stable Rank with Applications to Sparse Linear Regression
数据维度（$d$）远远超过观测数（$n$）的高维设置在许多统计和机器学习应用中很常见。基于$\ell_1$ -松弛的方法，例如Lasso，在这些设置中非常流行用于稀疏恢复。限制特征值（RE）条件是最弱的，因此是最普遍的，在文献中施加的Gram矩阵，保证良好的统计性质的Lasso估计的条件。很自然地会问：什么样的矩阵族满足RE条件？在这方面的工作之后，我们构建了一个新的广泛的依赖随机设计矩阵，有一个明确的RE绑定合奏。我们的建设开始与一个固定的（确定性的）矩阵$X \in \mathbb{R}^{n \times d}$满足一个简单的稳定的秩条件，我们表明，从分布$X Φ^\top Φ$，其中$Φ\in \mathbb{R}^{m \times d}$是一个亚高斯随机矩阵，具有高概率，满足RE条件的矩阵。这种构造允许将具有易于{ \em验证}条件的固定矩阵合并到设计过程中，并且允许生成具有比标准设计矩阵更低的存储要求的{ \em压缩}设计矩阵。我们给出了两个应用程序的稀疏线性回归问题，包括一个压缩的稀疏回归设置的回归算法只能访问一个压缩表示的固定设计矩阵$X$。
2018-02-17 cs.DS math.ST stat.ML
On the robust learning mixtures of linear regressions
Jiujiang University（九江学院）
本文研究线性回归混合模型的鲁棒学习问题，通过阈值化将其与高斯混合模型建立联系，在温和分离条件下提出拟多项式时间算法，显著提升了鲁棒性。
2023-05-23 cs.LG stat.ML
Robust Deep Ordinal Regression Under Label Noise
IIIT Hyderabad（印度理工学院海得拉巴分校）
真实世界的数据往往容易受到标签噪声的影响，这可能会限制现有的有序回归算法的有效性。现有的有序回归工作不考虑标签噪声。我们提出了一个理论上接地的方法，类条件标签噪声在有序回归问题。我们提出了一个深度学习实现，用于顺序回归的两个常用损失函数，它既对标签噪声具有鲁棒性，又对良好的排名规则具有排名一致性。我们验证了这些属性的算法经验和鲁棒性标签噪声的真实数据和排名的一致性。据我们所知，这是稳健有序回归模型的第一种方法。
2020-01-27 cs.LG stat.ML
Global quantitative robustness of regression feed-forward neural networks
Institute for Mathematics, Carl von Ossietzky University Oldenburg（奥尔登堡卡尔·冯·奥西茨基大学数学研究所）
神经网络是许多复杂学习任务不可或缺的模型类。尽管神经网络和许多不同的建立技术的稳定和鲁棒性的训练文献的流行和重要性，从鲁棒统计的经典概念很少被认为是迄今为止在神经网络的上下文中。因此，我们适应的回归故障点的概念，回归神经网络和计算故障点不同的前馈网络配置和污染设置。在一个广泛的模拟研究中，我们比较的性能，测量的样本外损失，由代理的故障率和训练步骤，非鲁棒性和鲁棒性的回归前馈神经网络在过多的不同配置。这些结果确实促使我们在神经网络训练中使用鲁棒的损失函数。
2022-11-18 cs.LG stat.ML
Robustified Multivariate Regression and Classification Using Distributionally Robust Optimization under the Wasserstein Metric
Boston University（波士顿大学）
当协变量和响应/标签都可能被离群值污染时，我们为多元线性回归（MLR）和多类逻辑斯谛回归（MLG）开发了分布鲁棒优化（DRO）公式。DRO框架使用概率模糊集，其被定义为在Wasserstein度量的意义上接近训练集的经验分布的分布球。我们放松的DRO制定成一个正则化的学习问题，其正则化是一个规范的系数矩阵。我们为模型的解决方案建立样本外性能保证，提供关于正则化器在控制预测误差中的作用的见解。实验结果表明，我们的方法将MLR的预测误差提高了7% - 37%，将MLG的鲁棒性指标提高了100%。
2020-06-10 cs.LG stat.ML
Robust and Sparse Estimation of Linear Regression Coefficients with Heavy-tailed Noises and Covariates
The Graduate University for Advanced Studies, SOKENDAI（综合研究大学院大学）
研究了线性回归系数的抗差稀疏估计。本文所解决的情况是，协变量和噪声是从重尾分布中采样的，并且协变量和噪声被恶意离群值污染。我们的估计量可以有效地计算。此外，估计的误差界是接近最优的。
2022-10-09 cs.LG stat.ML
Robust Elastic Net Regression
Peking Univ.（北京大学）；Shenzhen Univ.（深圳大学）
我们提出了一个高维稀疏回归的鲁棒弹性网（REN）模型，并给出了它的性能保证（统计误差界和优化界）。对弹性网络模型应用了一种简单的裁剪内积的思想。具体地说，我们鲁棒的协方差矩阵修剪的内积的基础上的直觉，修剪的内积不能显着影响有限数量的任意损坏的点（离群值）。REN模型还可以导出两种有趣的特殊情况：鲁棒Lasso和鲁棒软阈值。综合实验结果表明，所提出的模型的鲁棒性始终优于原来的弹性网络和匹配的性能保证很好。
2016-05-01 cs.LG stat.ML
Noise Statistics Oblivious GARD For Robust Regression With Sparse Outliers
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
在许多信号处理应用中，被高斯噪声（内点）和可能的无界稀疏离群点污染的线性回归模型是常见的。稀疏恢复启发的鲁棒回归（SRIRR）技术被证明可以在这样的回归模型中提供高质量的估计性能。不幸的是，大多数SRIRR技术假定\textit{a priori}知道噪声统计，如内点噪声方差或离群点统计，如离群点的数量。内点和外点噪声统计量都很少为\textit{a priori}所知，这限制了许多SRIRR算法的有效操作。本文提出了一种新的噪声统计无关算法称为残差比阈值GARD（RRT GARD）的鲁棒回归稀疏离群值的存在。RRT-GARD是通过修改最近提出的噪声统计相关的贪婪算法鲁棒去噪（GARD）。有限样本和渐近分析结果表明，RRT-GARD执行几乎类似的GARD与\textit{a priori}知识的噪声统计。真实和合成数据集的数值模拟也表明了RRT-GARD具有很强的竞争力。
2018-09-19 cs.LG stat.ML
Robust priors for regularized regression
University College London（伦敦大学学院）；University of Colorado Boulder（科罗拉多大学博尔德分校）；The Alan Turing Institute（阿兰·图灵研究所）
归纳法得益于有用的先验知识。惩罚回归方法，如岭回归，将权重缩小到零，但零关联通常不是合理的先验。受人类使用的简单而强大的决策推理的启发，我们为惩罚回归模型构建了非零先验，这些模型在多个任务中提供了强大且可解释的解决方案。我们的方法使估计从一个约束模型作为一个更一般的模型之前，产生一个原则性的方法来插值模型之间的不同复杂性。我们成功地将这种方法应用于一些决策和分类问题，以及分析模拟的脑成像数据。具有稳健先验的模型具有出色的最差情况性能。解决方案遵循用于推导先验知识的启发式形式。这些新算法可以用于数据分析和机器学习，并有助于理解人们如何从新手过渡到专家。
2021-10-25 cs.LG stat.ML
On the exact minimization of saturated loss functions for robust regression and subspace estimation
Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；LORIA（洛林计算机科学及其应用研究实验室）
本文讨论了稳健回归和子空间估计，更精确地说，讨论了最小化饱和损失函数的问题。特别是，我们专注于计算复杂性的问题，并表明，一个确切的算法与多项式时间复杂度相对于数据的数量可以设计强大的回归和子空间估计。这个结果是通过采用分类的观点，并与搜索的线性模型，可以近似的最大数量的点与给定的错误的问题。基于随机采样的算法的近似变量也进行了讨论，实验表明，它提供了一个类似的算法简单的精度增益比传统的RANSAC。
2018-08-24 cs.LG stat.ML
Adaptive Hard Thresholding for Near-optimal Consistent Robust Regression
Carnegie Mellon University（卡内基梅隆大学）；University of California, Berkeley（加州大学伯克利分校）；Microsoft Research, India（微软研究院印度分院）
本文研究了响应变量具有扰动的鲁棒线性回归问题。我们考虑了不经意的对手模型，对手在完全不知道数据的情况下破坏了一小部分响应。我们提供了一个几乎线性的时间估计，一致估计真实的回归向量，即使与腐败的$1-o(1)$分数。在这种情况下，现有的结果要么不能保证一致的估计，要么只能处理一小部分的腐败。我们还将我们的估计扩展到稳健的稀疏线性回归，并表明在这种情况下也有类似的保证。最后，我们将我们的估计应用于具有重尾噪声的线性回归问题，并表明即使噪声具有无界方差（例如，柯西分布），其中大多数现有的结果甚至不适用。我们的估计是基于一种新的变体的离群值去除通过硬阈值，其中阈值是自适应选择的，关键是依赖于随机性，以逃避坏的固定点的非凸硬阈值操作。
2019-03-19 cs.LG stat.ML
Robust Non-linear Regression: A Greedy Approach Employing Kernels with Application to Image Denoising
我们考虑的任务，强大的非线性回归的存在下，内点噪声和离群值。假设未知的非线性函数属于再生核希尔伯特空间（RKHS），我们的目标是估计相关的未知参数的集合。由于异常值的存在，核岭回归（KRR）或支持向量回归（SVR）等常用技术被证明是不够的。相反，我们采用稀疏建模参数显式建模和估计离群值，采用贪婪的方法。所提出的鲁棒方案，即，核贪心算法的鲁棒去噪（KGARD）是在经典的正交匹配追踪（OMP）算法的基础上提出的。具体而言，所提出的方法交替之间的KRR任务和OMP样的选择步骤。提供了有关识别异常值的理论结果。此外，KGARD与其他前沿方法相比，其性能通过一组实验与各种类型的噪声进行评估。最后，将所提出的鲁棒估计框架应用于图像去噪任务，并证明了其在存在离群值的情况下的增强性能。
2016-08-03 cs.LG stat.ML
Conditional Selective Inference for Robust Regression and Outlier Detection using Piecewise-Linear Homotopy Continuation
Nagoya Institute of Technology（名古屋工业大学）；RIKEN（理化学研究所）
在噪声环境下的实际数据分析中，通常首先使用鲁棒方法来识别异常值，然后在去除异常值后进行进一步的分析。本文考虑剔除离群值后模型估计的统计推断问题，这可解释为一个选择推断问题。为了使用条件SI框架，有必要描述稳健方法如何识别离群值的事件。不幸的是，现有的方法不能直接使用这里，因为它们适用于选择事件可以由线性/二次约束表示的情况。本文利用同伦方法，提出了一种求解稳健回归的条件SI方法。我们表明，建议的条件SI方法是适用于广泛的一类强大的回归和离群值检测方法，并具有良好的经验表现在合成数据和真实数据的实验。
2022-01-02 cs.LG stat.ML
Robust Regularized Low-Rank Matrix Models for Regression and Classification
University of Central Florida（中佛罗里达大学）；State University of New York at Albany（纽约州立大学奥尔巴尼分校）
虽然矩阵变量回归模型已经在许多现有的工作中进行了研究，经典的统计和计算方法的分析的回归系数估计的高度影响高维和噪声矩阵值的预测。为了解决这些问题，本文提出了一个基于秩约束的矩阵变量回归模型框架，向量正则化（例如，稀疏性），以及考虑了三种特殊情况的一般损失函数：普通矩阵回归、稳健矩阵回归和矩阵逻辑斯谛回归。我们还提出了一个交替投影梯度下降算法。通过对有界曲率流形上目标函数的分析，证明了算法的收敛性，迭代的所有聚点都有$O(1/\sqrt{n})$阶的估计误差，且渐近地达到极大极小率.我们的理论分析可以应用到一般的优化问题的流形上有界曲率，可以被认为是一个重要的技术贡献，这项工作。我们通过仿真研究和实际图像数据的例子验证了所提出的方法。
2022-05-14 cs.LG stat.ML
Quantification of Tail-trimming Effects for Interval CVaR Based Nonlinear Regression
Department of Industrial Engineering, Tsinghua University（清华大学工业工程系）
本文提出基于区间条件风险价值的稳健非线性回归模型，通过修剪极端损失提升稳健性，并在理论和实验上证明其优于传统稳健回归方法。
2026-11-04 cs.LG math.OC stat.ML
Adaptive sparseness for correntropy-based robust regression via automatic relevance determination
Institute of Innovative Research, Tokyo Institute of Technology（东京工业大学创新研究院）；ATR Neural Information Analysis Laboratories（ATR神经信息分析实验室）
针对基于MCC的鲁棒回归，提出在贝叶斯框架下结合ARD技术实现自适应稀疏的MCC-ARD方法，避免了L1正则化的超参数调优，并在实验中展现出更优的预测与特征选择能力。
2023-01-31 cs.LG stat.ML
Robust Regression via Online Feature Selection under Adversarial Data Corruption
Virginia Tech（弗吉尼亚理工大学）；George Mason University（乔治梅森大学）；U. S. Army Corps of Engineers（美国陆军工程兵团）
用户生成的流数据（如社交媒体）中存在数据损坏，这激发了一个新的基本问题，即当特征不能一次完全访问时，学习可靠的回归系数。到目前为止，几个重要的挑战仍然无法同时处理：1）当只有部分特征可访问时，损坏的数据估计; 2）当数据包含对抗性损坏时，在线特征选择;以及3）扩展到大规模数据集。本文提出了一种新的RObust回归算法通过在线特征选择（\textit{RoOFS}），同时解决所有上述挑战。具体地说，该算法通过一个强大的在线特征替换方法迭代地更新回归系数和未损坏的集合。我们还证明了我们的算法有一个有限的误差界相比，最优解。在合成数据集和真实数据集上的大量实验表明，该方法在恢复特征选择和回归系数方面均优于现有方法，具有非常有竞争力的效率.
2019-02-05 cs.LG stat.ML
Is Ordered Weighted $\ell_1$ Regularized Regression Robust to Adversarial Perturbation? A Case Study on OSCAR
IBM Research（IBM研究院）
许多最先进的机器学习模型，如深度神经网络，最近被证明容易受到对抗性扰动的影响，特别是在分类任务中。受对抗性机器学习的启发，本文研究了具有强相关协变量的稀疏回归模型对对抗性测量噪声的鲁棒性。具体来说，我们考虑家庭的有序加权$\ell_1$（OWL）正则化回归方法和研究的情况下，OSCAR（八角形收缩聚类算法回归）在对抗设置。在一个范数有界的威胁模型下，我们制定的过程中找到一个最大的破坏性噪音OWL-正则化回归作为一个优化问题，并说明了步骤，找到这样的噪音的情况下，OSCAR。实验结果表明，在我们的对抗性设置下，对强相关特征进行分组的回归性能可能会严重下降，即使噪声预算明显小于地面实况信号。
2018-10-03 cs.LG stat.ML
Robust Linear Regression: Phase-Transitions and Precise Tradeoffs for General Norms
Meta – FAIR（元宇宙公司——基础人工智能研究）；Microsoft Research（微软研究院）
本文研究了线性回归模型在测试时对抗攻击下的表现，定量揭示了对抗鲁棒性与标准准确率之间的基本权衡，并给出了适用于任意特征协方差矩阵和攻击范数的精确相变刻画。
2023-08-01 cs.LG stat.ML
Fast, robust approximate message passing
Stanford University（斯坦福大学）
提出一种谱预处理与迭代修正相结合的快速鲁棒AMP算法，在输入受稀疏主子式扰动时，保证输出接近未受扰结果，误差随扰动规模趋于零。
2024-11-05 cs.DS cs.LG stat.ML
An integrated perspective of robustness in regression through the lens of the bias-variance trade-off
Institute of Statistical Mathematics（统计数理研究所）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）
该研究提出回归鲁棒性的整合视角，揭示传统抗离群点鲁棒估计与抗假想数据集扰动的鲁棒优化间存在偏差-方差权衡，二者策略大致相反。
2024-07-15 cs.LG stat.ME stat.ML
Robust Logistic Regression using Shift Parameters (Long Version)
Stanford University（斯坦福大学）
注释错误可能会严重损害分类器的性能，但随着Amazon Mechanical Turk和自动生成标签的远程监督等技术的使用越来越多，数据集只会变得越来越嘈杂。在本文中，我们提出了一个强大的扩展逻辑回归，将错误标记的可能性直接纳入目标。我们的模型可以通过与逻辑回归几乎相同的方法进行训练，并在高维数据集上保持其效率。通过命名实体识别实验，我们证明，当存在注释错误时，我们的方法可以比标准模型提供显着的改进。
2014-04-29 cs.AI cs.LG stat.ML
Robust Geodesic Regression
Seoul National University（首尔大学）
研究了黎曼流形上数据的稳健回归问题。测地线回归是将线性回归推广到具有流形值因变量和一个或多个实值自变量的设置。现有的测地线回归工作使用平方和误差来找到解决方案，但在经典的欧几里德的情况下，最小二乘法是高度敏感的离群值。在本文中，我们使用M-型估计，包括$L_1$，Huber和Tukey双权估计，进行稳健测地回归，并描述如何计算后两者的调整参数。我们还表明，在紧凑的对称空间，所有的M型估计是极大似然估计，并认为整体的优越性的$L_1$估计的$L_2$和Huber估计的高维流形和Tukey biwight估计紧凑的高维流形。数值例子的结果，包括真实的神经影像数据的分析，证明了所提出的方法有前途的经验性质。
2022-01-25 cs.LG stat.ME stat.ML
Robust Regression via Mutivariate Regression Depth
本文研究了Huber的$ε$ -污染模型中的稳健回归问题。我们认为估计是多元回归深度函数的最大化。这些估计实现极小极大率的设置中的$ε$污染模型的各种回归问题，包括非参数回归，稀疏线性回归，降秩回归等，我们还讨论了一般概念的深度函数的线性算子，具有潜在的应用在强大的功能线性回归。
2017-02-15 math.ST stat.ML stat.TH
Robust Kernel-based Distribution Regression
City University of Hong Kong（香港城市大学）
正则化方法在学习理论和反问题中得到了广泛的研究。本文研究了再生核Hilbert空间（RKHS）上的分布回归（DR），它涉及两个抽样阶段，目的是从概率测度回归到实值响应。最近，通过核岭回归对DR进行了理论分析，并观察到了几种学习行为。然而，这个话题还没有被探索和理解超越最小二乘为基础的DR。通过引入一个强大的损失函数$l_σ$的两阶段抽样问题，我们提出了一种新的强大的分布回归（RDR）计划。利用可以适当选择的窗口函数$V$和缩放参数$σ$，$l_σ$可以包括广泛的流行使用的损失函数，其丰富了DR的主题。此外，损失$l_σ$不一定是凸的，从而大大改善了以前的回归类（最小二乘）本文对回归函数$f_ρ$在不同正则范围下的学习率进行了全面的研究，通过积分算子技术导出。缩放参数$σ$被证明是至关重要的，在提供鲁棒性和令人满意的学习率的RDR。
2021-04-21 cs.LG math.FA stat.ML
Robust Local Polynomial Regression with Similarity Kernels
Shulman
针对传统局部多项式回归对异常值敏感的问题，提出一种结合响应变量信息的条件密度核加权方法，通过局部密度估计降低异常值影响，在保持与标准LOWESS竞争力同时降低经验偏差。
2026-06-17 cs.LG stat.ME stat.ML
Online and Distributed Robust Regressions under Adversarial Data Corruption
Virginia Tech（弗吉尼亚理工大学）；George Mason University（乔治梅森大学）；U. S. Army Corps of Engineers（美国陆军工程兵团）
在当今的大数据时代，当考虑到数据集爆炸性增长的对抗性腐败时，鲁棒最小二乘回归成为一个更具挑战性的问题。传统的鲁棒方法可以处理噪声，但在应用于大型数据集时会遇到一些挑战，包括1）一次处理整个数据集的计算不可行性，2）存在异构分布的损坏，以及3）当数据无法完全加载时难以估计损坏。本文提出了在线和分布式鲁棒回归方法，这两种方法可以同时解决所有上述挑战。具体地说，分布式算法通过启发式硬阈值优化每个数据块的回归系数，并将所有估计值组合在分布式鲁棒合并中。此外，提出了一个在线版本的分布式算法，以增量更新现有的估计与新的传入数据。我们还证明了我们的算法受益于强大的鲁棒性保证回归系数恢复与一个恒定的上限的错误的国家的最先进的批处理方法。在人工数据集和真实数据集上的大量实验表明，我们的方法在有效性上优于现有方法，具有竞争力的效率。
2017-10-02 cs.DS cs.LG stat.ML
Reachable Sets of Classifiers and Regression Models: (Non-)Robustness Analysis and Robust Training
Technical University of Munich（慕尼黑工业大学）
神经网络在分类和回归任务中实现了出色的准确性。然而，理解它们的行为仍然是一个开放的挑战，需要解决预测的鲁棒性，可解释性和可靠性问题。我们通过计算神经网络的可达集来回答这些问题，即由连续输入集产生的输出集。我们提供了两种有效的方法，导致过和下近似的可达集。正如我们所展示的，这个原则是高度通用的。首先，我们使用它来分析和增强分类器和回归模型的鲁棒性。这与现有的主要侧重于分类的工作形成对比。具体来说，我们验证（非）鲁棒性，提出了一个强大的训练过程，并表明我们的方法优于对抗攻击以及最先进的方法验证分类器的非范数界扰动。其次，我们提供了区分未标记输入的可靠和不可靠预测的技术，以量化每个特征对预测的影响，并计算特征排名。
2021-05-12 cs.CV cs.LG stat.ML
Robust High-Dimensional Linear Regression
University of Maryland（马里兰大学）；Vanderbilt University（范德堡大学）；Northeastern University（东北大学）
监督学习技术的有效性使其在研究和实践中无处不在。在高维环境中，监督学习通常依赖于降维来提高性能并识别预测结果的最重要因素。然而，学习的经济重要性使其成为对抗性操纵训练数据的自然目标，我们称之为中毒攻击。处理鲁棒监督学习的先前方法依赖于关于特征矩阵的性质的强假设，诸如特征独立性和具有低方差的亚高斯噪声。我们提出了一个强大的回归，放松这些假设的综合方法，假设只有一个低秩矩阵的特征矩阵可以很好地近似。我们的技术集成了改进的鲁棒低秩矩阵近似和鲁棒主成分回归，并产生强大的性能保证。此外，我们的实验表明，我们的方法显着优于最先进的运行时间和预测误差。
2016-08-09 cs.CR cs.LG stat.ML
Characterization of the equivalence of robustification and regularization in linear and matrix regression
MIT（麻省理工学院）
近年来，在机器学习中开发对底层数据中的对抗性扰动具有鲁棒性的统计方法的概念一直是人们越来越感兴趣的主题。这项工作的一个共同特征是对抗性鲁棒化通常与正则化方法完全对应，后者表现为损失函数加惩罚。在本文中，我们深化和扩展的鲁棒性和正则化（通过惩罚实现）在回归问题之间的联系的理解。具体而言，（a）在线性回归的背景下，我们精确地描述了在哪些条件下使用的不确定性模型和损失函数惩罚鲁棒化和正则化是等价的，以及（b）我们将鲁棒化和正则化的特征扩展到矩阵回归问题（矩阵完成和主成分分析）。
2017-02-25 cs.LG math.OC math.ST
High Dimensional Robust Sparse Regression
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们提供了一种新的-据我们所知，第一-高维稀疏回归算法的解释和/或响应变量的腐败的常数部分。我们的算法恢复真正的稀疏参数与次线性样本的复杂性，在存在一个恒定的分数的任意腐败。我们的主要贡献是一个强大的变种迭代硬持票。利用这一点，我们提供了精确的估计：当稀疏回归中的协方差矩阵是恒等的时，我们的误差保证接近信息理论最优。然后，我们处理未知结构协方差矩阵的鲁棒稀疏回归。我们提出了一种滤波算法，它包括一种新的随机离群值去除技术的强大的稀疏均值估计，可能是在其本身的权利感兴趣的：滤波算法是足够灵活的处理未知的协方差。此外，它是有序更有效的计算比椭球算法。使用次线性样本复杂度，我们的算法实现了最佳已知（和第一）的错误保证。我们证明了大规模稀疏回归问题的有效性与任意腐败。
2019-05-29 cs.LG math.ST stat.ML
Towards Practical Robustness Auditing for Linear Regression
MIT（麻省理工学院）
研究寻找或证伪移除后能反转OLS回归系数符号的数据小子集的实用算法，提出混合整数优化、贪心与谱方法，显著优于现有技术并指出了高维计算瓶颈。
2023-07-30 cs.LG econ.EM stat.ME
A Robust Learning Algorithm for Regression Models Using Distributionally Robust Optimization under the Wasserstein Metric
我们提出了一个分布鲁棒优化（DRO）的方法来估计鲁棒回归平面在线性回归设置，当观察到的样本可能被污染与adversarially损坏离群值。我们的方法通过对观测数据上的一系列分布进行对冲来减轻离群值的影响，其中一些分布为离群值分配了非常低的概率。所考虑的一组分布接近Wasserstein度量意义上的经验分布。我们表明，这种DRO制定可以放松到一个凸优化问题，其中包括一类模型。通过选择合适的范数空间，我们能够恢复几个常用的正则化回归模型。我们提供了新的见解的正则化项，并从置信区域的角度给出指导正则化系数的选择。我们建立了两种类型的性能保证的解决方案，我们的配方在温和的条件下。一个与其样本外行为（预测偏差）有关，另一个涉及估计和真实回归平面之间的差异（估计偏差）。大量的数值结果表明，我们的方法的优越性的回归模型的主机，在预测和估计精度。我们还考虑了我们的鲁棒学习过程的离群值检测的应用，并表明我们的方法实现了更高的AUC（ROC曲线下面积）比M-估计。
2018-05-10 stat.ML
Robust Boosting for Regression Problems
梯度提升算法使用"基本学习者“的线性组合来构建回归预测器。Boosting还提供了一种获得鲁棒非参数回归估计的方法，该方法可扩展到具有许多解释变量的应用程序。鲁棒提升算法基于两阶段方法，类似于针对鲁棒线性回归所做的：它首先最小化鲁棒残差尺度估计器，然后通过优化有界损失函数来改进它。与以前的鲁棒提升建议不同，这种方法不需要在每次提升迭代中计算ad-hoc残差尺度估计器。由于这种鲁棒增强算法中涉及的损失函数通常是非凸的，因此需要可靠的初始化步骤，例如L1回归树，其计算速度也很快。一个强大的变量的重要性测量也可以通过一个置换过程计算。彻底的模拟研究和几个数据分析表明，当没有非典型的观察，鲁棒的提升方法的作品以及标准的梯度提升平方损失。此外，当数据包含离群值时，鲁棒提升估计器在预测误差和变量选择精度方面优于替代方案。
2020-08-07 stat.ME stat.ML
Robust and Sparse Regression via $γ$-divergence
在高维数据中，已经提出了许多稀疏回归方法。然而，它们可能对离群值不稳健。近年来，人们研究了利用密度幂权进行抗差参数估计，并讨论了相应的发散性。其中一个这样的分歧是$γ$ -分歧和鲁棒估计使用$γ$ -分歧是已知的具有很强的鲁棒性。本文研究了基于$γ$ -散度的稳健稀疏回归问题。我们扩展的$γ$ -发散回归问题，并表明，它具有很强的鲁棒性下，即使在严重污染的离群值是异质的。损失函数由稀疏正则化的$γ$ -散度的经验估计构造，参数估计被定义为损失函数的最小值。为了得到鲁棒的稀疏估计，我们提出了一种有效的更新算法，该算法具有单调递减的损失函数的性质。特别地，我们详细讨论了一个线性回归问题与$L_1$正则化。在数值实验和实际数据分析中，我们看到所提出的方法优于过去的鲁棒和稀疏的方法。
2016-08-29 stat.ME stat.ML
Robust and Sparse Regression in GLM by Stochastic Optimization
The Graduate University for Advanced Studies（高级研究大学院大学）；The Institute of Statistical Mathematics（统计数学研究所）；Nagoya University Graduate School of Medicine（名古屋大学医学研究科）
本文提出基于γ-散度的鲁棒稀疏广义线性模型，采用随机优化方法提高高维数据下的鲁棒性和稀疏性，通过随机化随机投影梯度下降法实现高效参数估计。
2018-02-09 stat.ME stat.ML
Near Optimal Private and Robust Linear Regression
University of Washington（华盛顿大学）；Google Research（谷歌研究院）
本文研究了线性回归的正则统计估计问题，即由$n$ i.i.d.~ $(\varepsilon,δ)$下的示例-当某些响应变量被不利地破坏时的差分隐私。我们提出了一种流行的差分私有随机梯度下降（DP-SGD）算法的变体，该算法具有两个创新点：一个完整的批量梯度下降，以提高样本的复杂性和一个新的自适应裁剪，以保证鲁棒性。当没有对抗性腐败时，该算法改进了现有的最先进的方法，并实现了接近最优的样本复杂度。在标签损坏的情况下，这是第一个有效的线性回归算法，以保证$(\varepsilon,δ)$ -DP和鲁棒性。合成实验证实了我们的方法的优越性。
2023-01-30 cs.CR cs.LG math.ST
High-dimensional robust regression and outliers detection with SLOPE
高维环境下的离群点检测和稳健回归问题是统计学中的基础问题，并有许多应用。继最近的一组工程提供的方法，同时强大的回归和离群值检测，我们认为在本文中的一个模型，线性回归与个人的截距，在一个高维设置。我们引入了一种新的程序，用于同时估计线性回归系数和截距，使用两个专用的排序- $\ell_1$惩罚，也称为SLOPE。我们开发了一个完整的理论，这个问题：首先，我们提供了尖锐的上界的统计估计误差的向量的个别截距和回归系数。其次，我们给出了一个渐近控制的错误发现率（FDR）和统计功效的支持选择的个人拦截。因此，本文是第一个介绍一个过程中，保证FDR和统计功效控制下的均值漂移模型的离群点检测。数值说明，与最近的替代方法的比较，提供了模拟和几个真实世界的数据集。实验使用Python和C++编写的开源软件进行。
2017-12-07 stat.ML
A General Method for Robust Bayesian Modeling
鲁棒贝叶斯模型是标准模型的有吸引力的替代品，提供保护，使其免受包含离群值或其他偏离模型假设的数据的影响。从历史上看，鲁棒模型大多是根据具体情况开发的;示例包括鲁棒线性回归、鲁棒混合模型和突发主题模型。在本文中，我们开发了一种通用的方法来鲁棒贝叶斯建模。我们展示了如何把现有的贝叶斯模型变成一个强大的模型，然后开发一个通用的策略计算it. We使用我们的方法来研究几个模型，包括线性回归，泊松回归，逻辑斯谛回归，概率主题模型的强大的变种。我们讨论了我们的方法和现有的方法，特别是经验贝叶斯和詹姆斯-斯坦估计之间的联系。
2016-09-07 stat.ML
RCR: Robust Compound Regression for Robust Estimation of Errors-in-Variables Model
变量误差（EIV）回归模型由于同时考虑了自变量和因变量中的测量误差，因而更符合实际，在应用科学中被广泛采用。然而，传统的EIV模型估计量可能会受到离群值和其他偏离基本假设的严重影响。本文提出了一种新的非参数回归方法-稳健复合回归（RCR）分析方法，用于EIV模型的稳健估计。我们首先介绍了一个强大的和有效的估计称为最小正弦平方（LSS）。充分利用新的LSS方法和复合回归分析方法在我们自己的小组，我们随后提出了RCR方法作为这两个推广，它提供了一个强大的对应的整个类的极大似然估计（MLE）的EIV模型的解决方案，在1-1映射。从技术上讲，我们的方法为用户提供了从一类RCR估计中选择满足预定义回归效率标准的最佳估计的灵活性。仿真研究和现实生活中的例子来说明RCR方法的有效性。
2015-08-12 math.ST stat.ME stat.ML
Outlier Robust and Sparse Estimation of Linear Regression Coefficients
针对协变量和噪声受对抗性离群污染且噪声重尾的线性回归，提出基于通用链集中不等式的抗离群稀疏估计方法，在更弱假设下获得更尖锐误差界。
2024-05-24 math.ST stat.ML stat.TH
Distributionally Robust Logistic Regression
本文提出了一种分布鲁棒的逻辑斯谛回归方法。我们使用Wasserstein距离在训练样本上以均匀分布为中心的概率分布空间中构造一个球。如果这个球的半径被明智地选择，我们可以保证它包含具有高置信度的未知数据生成分布。然后，我们制定了一个分布鲁棒的逻辑斯谛回归模型，最大限度地减少了最坏情况下的预期对数损失函数，其中最坏的情况下，在Wasserstein球的所有分布。我们证明，这个最优化问题承认一个易于处理的重新制定和封装的经典以及流行的正则化逻辑斯谛回归问题的特殊情况。我们进一步提出了一种基于Wasserstein球的分布式鲁棒方法来计算所得分类器的误分类概率的置信上限和置信下限。这些界限由两个高度易处理的线性规划的最优值给出。我们通过模拟和实证实验验证了我们的理论样本外保证。
2015-12-01 math.OC stat.ML
A Note on Doubly Robust Estimator in Regression Discontinuity Designs
Department of Basic Science, The University of Tokyo（东京大学基础科学系）
本文提出了用于断点回归设计的双稳健估计量（DR-RD），通过结合两个条件期望结果估计量，在至少一个估计量一致时即可保证处理效应估计的一致性，从而增强了估计的稳健性。
2025-01-27 cs.LG econ.EM math.ST
Iteratively Reweighted $\ell_1$-Penalized Robust Regression
本文研究了高维非凸正则化稳健回归的优化误差、统计收敛速度和重尾误差影响之间的折衷关系。当线性模型的可加误差只有有界二阶矩时，证明了迭代重加权$\ell_1$ -惩罚自适应Huber回归估计在弱beta-min条件下满足指数偏差界和预言收敛速度和变量选择相合性.在计算上，我们需要多达$O(\log s + \log\log d)$迭代来达到这样的预言估计器，其中$s$和$d$分别表示稀疏度和环境维度。扩展到一般类的鲁棒损失函数也被认为是。数值研究为我们的方法和理论提供了强有力的支持。
2020-12-29 math.ST stat.ML stat.TH
