我们考虑稀疏约束的$M$估计的问题时，解释和响应变量都有沉重的尾巴（有界四阶矩），或任意腐败的一小部分。我们专注于$k$ -稀疏，高维制度的变量$d$和样本大小$n$的数量相关的通过$n \sim k \log d$。我们定义了一个自然的条件，我们称之为鲁棒下降条件（RDC），并表明，如果梯度估计满足RDC，那么鲁棒硬采样保持（IHT使用此梯度估计），保证获得良好的统计率。本文的贡献是表明，这RDC是一个足够灵活的概念，以恢复已知的结果，并获得新的鲁棒性结果。具体而言，新的结果包括：（a）对于$k$ -稀疏高维线性和逻辑回归与重尾（有界四阶矩）解释变量和响应变量，线性时间可计算的均值中值梯度估计满足RDC，因此鲁棒硬约束保持是极小极大最优的;（b）当我们在解释变量和响应变量中有$O(1/\sqrt{k}\log(nd))$ -任意损坏的分数而不是重尾时，一个近线性时间可计算的修剪梯度估计满足RDC，因此，鲁棒硬约束保持是最小最大最优的。我们证明了我们的方法在稀疏线性，逻辑回归和稀疏精度矩阵估计合成和真实世界的美国股票数据的有效性。
英文摘要：
We consider the problem of sparsity-constrained $M$-estimation when both explanatory and response variables have heavy tails (bounded 4-th moments), or a fraction of arbitrary corruptions. We focus on the $k$-sparse, high-dimensional regime where the number of variables $d$ and the sample size $n$ are related through $n \sim k \log d$. We define a natural condition we call the Robust Descent Condition (RDC), and show that if a gradient estimator satisfies the RDC, then Robust Hard Thresholding (IHT using this gradient estimator), is guaranteed to obtain good statistical rates. The contribution of this paper is in showing that this RDC is a flexible enough concept to recover known results, and obtain new robustness results. Specifically, new results include: (a) For $k$-sparse high-dimensional linear- and logistic-regression with heavy tail (bounded 4-th moment) explanatory and response variables, a linear-time-computable median-of-means gradient estimator satisfies the RDC, and hence Robust Hard Thresholding is minimax optimal; (b) When instead of heavy tails we have $O(1/\sqrt{k}\log(nd))$-fraction of arbitrary corruptions in explanatory and response variables, a near linear-time computable trimmed gradient estimator satisfies the RDC, and hence Robust Hard Thresholding is minimax optimal. We demonstrate the effectiveness of our approach in sparse linear, logistic regression, and sparse precision matrix estimation on synthetic and real-world US equities data.
StochLOB: Heavy-Tailed Score Matching for Robust Limit Order Book Trend Prediction
Sharif University of Technology（谢里夫理工大学）；Amirkabir University of Technology（阿米尔卡比尔理工大学）；Boston University（波士顿大学）；The Alan Turing Institute（艾伦·图灵研究所）；Virginia Tech（弗吉尼亚理工大学）
Towards Robust Offline Reinforcement Learning under Diverse Data Corruption
HKUST（香港科技大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；Washington University (St. Louis)（圣路易斯华盛顿大学）；Tencent Robotics X（腾讯Robotics X实验室）；Peking University（北京大学）；CUHK (SZ)（香港中文大学（深圳））
Mean estimation and regression under heavy-tailed distributions--a survey
Pompeu Fabra University（庞培法布拉大学）；ICREA（加泰罗尼亚研究与高等研究院）；Barcelona Graduate School of Economics（巴塞罗那经济研究生院）；The Australian National University（澳大利亚国立大学）；Sorbonne University（索邦大学）
Emergence of heavy tails in homogenized stochastic gradient descent
School of Mathematics and Statistics, Northwestern Polytechnical University（西北工业大学数学与统计学院）；TU Dresden（德累斯顿工业大学）；ScaDS.ai Center for scalable data analytics and artificial intelligence（ScaDS.ai可扩展数据分析与人工智能中心）
Algorithmic Stability of Heavy-Tailed SGD with General Loss Functions
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Inria（法国国家信息与自动化研究所）；Ecole Normale Supérieure（巴黎高等师范学院）；PSL Research University（巴黎文理研究大学）；Florida State University（佛罗里达州立大学）；Rutgers University（罗格斯大学）；Princeton University（普林斯顿大学）；CNRS（法国国家科学研究中心）
