On the robust learning mixtures of linear regressions
Jiujiang University（九江学院）
本文研究线性回归混合模型的鲁棒学习问题，通过阈值化将其与高斯混合模型建立联系，在温和分离条件下提出拟多项式时间算法，显著提升了鲁棒性。
2023-05-23 cs.LG stat.ML
A dynamic programming approach for generalized nearly isotonic optimization
形状限制统计估计问题已经被广泛研究，在信号处理、生物信息学和机器学习中具有许多重要的实际应用。本文提出并研究了一个广义近保序优化（GNIO）模型，它可以作为特例恢复形状约束统计回归中的许多经典问题，如保序回归、近保序回归和单峰回归问题.我们开发了一个有效的和易于实现的动态规划算法求解所提出的模型，其递归性质仔细发现和利用。对于特殊的$\ell_2$问题，讨论了算法的实现细节和最优${\cal O}(n)$运行时间分析.数值实验，包括我们的方法之间的比较，强大的商业求解器Guesthouse，和现有的快速算法求解$\ell_1$和$\ell_2$ -GNIO问题，在模拟和真实数据集上，展示了我们提出的算法在解决大规模GNIO问题的高效率和鲁棒性.
2022-10-10 math.OC stat.CO
Robust Regression Revisited: Acceleration and Improved Estimation Rates
Stanford University（斯坦福大学）；Microsoft Research（微软研究院）
我们研究强污染模型下统计回归问题的快速算法，其目标是近似优化广义线性模型（GLM）给定的不利损坏的样本。在这条线的研究以前的工作是基于鲁棒的梯度下降框架的Prasad等。例如，一阶方法使用有偏梯度查询，或Diakonikolas等人的Sever框架。例如，一个迭代的离群点去除方法调用一个固定点查找器。我们提出了近线性时间算法的鲁棒回归问题，提高了运行时间或估计的保证相比，国家的最先进的。对于一般情况下的光滑GLM（如逻辑回归），我们表明，鲁棒的梯度下降框架的Prasad等。可以加速，并显示我们的算法扩展到优化Lipschitz GLM（例如支持向量机）的莫罗包络，回答了文献中的几个开放性问题。对于鲁棒线性回归的良好研究的情况下，我们提出了一种替代方法，获得改善的估计率比以前的近线性时间算法。有趣的是，我们的方法开始于在Bakshi和Prasad的平方和算法的上下文中引入的可识别性证明，该算法实现了最佳的出错率，同时需要大的多项式运行时间和样本复杂性。我们在Sever框架内重新解释了他们的证明，并在更少的分布假设下获得了一个更快，更采样效率更高的算法。
2021-06-22 cs.DS cs.LG math.OC
Nearly optimal minimax estimator for high-dimensional sparse linear regression
我们提出了一个很好的研究统计估计问题的估计：估计的线性回归模型与软稀疏约束（$\ell_q$约束与$0<q\leq1$）在高维设置。我们首先提出了一个家庭的估计，称为投影最近邻估计，并显示，通过使用凸几何的结果，这种估计是在一个对数因子的最佳任何设计矩阵。然后利用[SIAM J. COMPUT. 36（2007）1764-1776]，我们获得了用于计算任何这样的估计任务的极大极小风险的近似算法，并且还获得了用于$\ell_1$稀疏约束的重要情况的多项式时间近似最优估计器。尽管对这个问题进行了数十年的研究，但以前只知道特殊情况下的结果。当参数半径未知时，我们也将该方法推广到自适应的情况。
2013-11-08 math.ST stat.TH
Robust Regression via Mutivariate Regression Depth
本文研究了Huber的$ε$ -污染模型中的稳健回归问题。我们认为估计是多元回归深度函数的最大化。这些估计实现极小极大率的设置中的$ε$污染模型的各种回归问题，包括非参数回归，稀疏线性回归，降秩回归等，我们还讨论了一般概念的深度函数的线性算子，具有潜在的应用在强大的功能线性回归。
2017-02-15 math.ST stat.ML stat.TH
Gradient Descent with Projection Finds Over-Parameterized Neural Networks for Learning Low-Degree Polynomials with Nearly Minimax Optimal Rate
School of Computing and Augmented Intelligence（计算与增强智能学院）；Arizona State University（亚利桑那州立大学）；VecML Inc.（VecML公司）
本文研究了通过训练过参数化的两层神经网络学习低次球面多项式的问题，提出了一种改进的梯度下降与投影算法，实现了近最优的学习率，且在未知真实次数时能自适应选择最优参数。
2026-03-22 cs.LG math.ST stat.ML
Nearly Optimal Sample Size in Hypothesis Testing for High-Dimensional Regression
Stanford University（斯坦福大学）
考虑高维线性回归模型的参数拟合问题。在参数$p$的数量与样本量$n$相当或超过$n$的情况下，成功的方法使用$\ell_1$惩罚最小二乘估计量，称为Lasso。不幸的是，与线性估计器不同（例如，普通最小二乘法），没有建立良好的方法来计算置信区间或p值的基础上的Lasso估计。最近，一系列工作\cite{javanmard2013hypothesis, confidenceJM, GBR-hypothesis}已经解决了这个问题，通过构建一个去偏版本的Lasso估计。本文研究随机设计模型的这种方法，假设设计的精度矩阵存在一个好的估计。我们的分析比现有技术有所改进，因为如果样本量$n$渐近优于$s_0 (\log p)^2$，则其建立了接近最佳的\emph{average}检验功效，其中$s_0$为稀疏水平（非零系数的数量）。早期的工作获得可证明的保证，只有更大的样本量，即它需要$n$渐近支配$(s_0 \log p)^2$。特别是，对于随机设计的稀疏精度矩阵，我们表明，其具有所需的属性的估计可以有效地计算。最后，我们评估这种方法的合成数据，并将其与以前的建议。
2013-11-01 cs.IT cs.LG math.IT
Robust Regularized Low-Rank Matrix Models for Regression and Classification
University of Central Florida（中佛罗里达大学）；State University of New York at Albany（纽约州立大学奥尔巴尼分校）
虽然矩阵变量回归模型已经在许多现有的工作中进行了研究，经典的统计和计算方法的分析的回归系数估计的高度影响高维和噪声矩阵值的预测。为了解决这些问题，本文提出了一个基于秩约束的矩阵变量回归模型框架，向量正则化（例如，稀疏性），以及考虑了三种特殊情况的一般损失函数：普通矩阵回归、稳健矩阵回归和矩阵逻辑斯谛回归。我们还提出了一个交替投影梯度下降算法。通过对有界曲率流形上目标函数的分析，证明了算法的收敛性，迭代的所有聚点都有$O(1/\sqrt{n})$阶的估计误差，且渐近地达到极大极小率.我们的理论分析可以应用到一般的优化问题的流形上有界曲率，可以被认为是一个重要的技术贡献，这项工作。我们通过仿真研究和实际图像数据的例子验证了所提出的方法。
2022-05-14 cs.LG stat.ML
Adaptive sparseness for correntropy-based robust regression via automatic relevance determination
Institute of Innovative Research, Tokyo Institute of Technology（东京工业大学创新研究院）；ATR Neural Information Analysis Laboratories（ATR神经信息分析实验室）
针对基于MCC的鲁棒回归，提出在贝叶斯框架下结合ARD技术实现自适应稀疏的MCC-ARD方法，避免了L1正则化的超参数调优，并在实验中展现出更优的预测与特征选择能力。
2023-01-31 cs.LG stat.ML
Robust Regression via Online Feature Selection under Adversarial Data Corruption
Virginia Tech（弗吉尼亚理工大学）；George Mason University（乔治梅森大学）；U. S. Army Corps of Engineers（美国陆军工程兵团）
用户生成的流数据（如社交媒体）中存在数据损坏，这激发了一个新的基本问题，即当特征不能一次完全访问时，学习可靠的回归系数。到目前为止，几个重要的挑战仍然无法同时处理：1）当只有部分特征可访问时，损坏的数据估计; 2）当数据包含对抗性损坏时，在线特征选择;以及3）扩展到大规模数据集。本文提出了一种新的RObust回归算法通过在线特征选择（\textit{RoOFS}），同时解决所有上述挑战。具体地说，该算法通过一个强大的在线特征替换方法迭代地更新回归系数和未损坏的集合。我们还证明了我们的算法有一个有限的误差界相比，最优解。在合成数据集和真实数据集上的大量实验表明，该方法在恢复特征选择和回归系数方面均优于现有方法，具有非常有竞争力的效率.
2019-02-05 cs.LG stat.ML
Spectral Universality of Regularized Linear Regression with Nearly Deterministic Sensing Matrices
该研究针对加性高斯噪声下线性回归的凸正则化最小二乘估计器，通过确定性条件定义感知矩阵普适性类，证明同类矩阵的近端梯度下降动力学及估计器性能渐近一致，可借助旋转不变系综表征有限随机结构化矩阵的回归性能。
2023-07-20 cs.IT math.IT math.PR
Last Iterate Risk Bounds of SGD with Decaying Stepsize for Overparameterized Linear Regression
Johns Hopkins University（约翰斯·霍普金斯大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Harvard University（哈佛大学）
随机梯度下降（SGD）已被证明在许多深度学习应用中具有良好的推广性。在实践中，人们经常以几何衰减步长运行SGD，即，一个恒定的初始步长，然后是多个几何步长衰减，并使用最后一个步长作为输出。已知这种SGD对于经典的有限维线性回归问题几乎是最小最大最优的（Ge等人，2019年）。然而，在过度参数化设置下对SGD的最后一个周期的尖锐分析仍然是开放的。在本文中，我们提供了一个问题相关的分析的最后一个风险界的SGD与衰减步长，（过参数化）线性回归问题。特别是，对于最后一个具有（尾部）几何衰减步长的SGD，我们证明了几乎匹配的上限和下限的超额风险。此外，我们提供了一个额外的风险下限与多项式衰减步长的最后一个SGD和几何衰减步长的优势，在一个实例的方式，这补充了极大极小率比较在以前的作品。
2022-07-11 cs.LG math.OC stat.ML
Robust Geodesic Regression
Seoul National University（首尔大学）
研究了黎曼流形上数据的稳健回归问题。测地线回归是将线性回归推广到具有流形值因变量和一个或多个实值自变量的设置。现有的测地线回归工作使用平方和误差来找到解决方案，但在经典的欧几里德的情况下，最小二乘法是高度敏感的离群值。在本文中，我们使用M-型估计，包括$L_1$，Huber和Tukey双权估计，进行稳健测地回归，并描述如何计算后两者的调整参数。我们还表明，在紧凑的对称空间，所有的M型估计是极大似然估计，并认为整体的优越性的$L_1$估计的$L_2$和Huber估计的高维流形和Tukey biwight估计紧凑的高维流形。数值例子的结果，包括真实的神经影像数据的分析，证明了所提出的方法有前途的经验性质。
2022-01-25 cs.LG stat.ME stat.ML
Query Complexity of Active Learning for Function Family With Nearly Orthogonal Basis
Adobe Research（奥多比研究院）；Weizmann Institute of Science（魏茨曼科学研究所）；Boston University（波士顿大学）；Duke University（杜克大学）
本文研究主动学习的查询复杂度，证明目标函数无需严格正交基，仅需近似正交基即可，并给出理论证明及高效主动学习框架应用。
2023-06-06 cs.LG
Robust Kernel-based Distribution Regression
City University of Hong Kong（香港城市大学）
正则化方法在学习理论和反问题中得到了广泛的研究。本文研究了再生核Hilbert空间（RKHS）上的分布回归（DR），它涉及两个抽样阶段，目的是从概率测度回归到实值响应。最近，通过核岭回归对DR进行了理论分析，并观察到了几种学习行为。然而，这个话题还没有被探索和理解超越最小二乘为基础的DR。通过引入一个强大的损失函数$l_σ$的两阶段抽样问题，我们提出了一种新的强大的分布回归（RDR）计划。利用可以适当选择的窗口函数$V$和缩放参数$σ$，$l_σ$可以包括广泛的流行使用的损失函数，其丰富了DR的主题。此外，损失$l_σ$不一定是凸的，从而大大改善了以前的回归类（最小二乘）本文对回归函数$f_ρ$在不同正则范围下的学习率进行了全面的研究，通过积分算子技术导出。缩放参数$σ$被证明是至关重要的，在提供鲁棒性和令人满意的学习率的RDR。
2021-04-21 cs.LG math.FA stat.ML
Robust Local Polynomial Regression with Similarity Kernels
Shulman
针对传统局部多项式回归对异常值敏感的问题，提出一种结合响应变量信息的条件密度核加权方法，通过局部密度估计降低异常值影响，在保持与标准LOWESS竞争力同时降低经验偏差。
2026-06-17 cs.LG stat.ME stat.ML
Generalization in Kernel Regression Under Realistic Assumptions
Weizmann Institute of Science（魏茨曼科学研究所）
本文为现实设定下的核回归建立了统一理论，给出适用于常见核、任意正则化、噪声、输入维数和样本量的超额风险上界，并揭示核特征分解重尾带来的自正则化现象，从而解释高维良性过拟合并给出显式收敛速率。
2024-02-20 cs.AI cs.LG stat.ML
High Dimensional Robust Sparse Regression
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们提供了一种新的-据我们所知，第一-高维稀疏回归算法的解释和/或响应变量的腐败的常数部分。我们的算法恢复真正的稀疏参数与次线性样本的复杂性，在存在一个恒定的分数的任意腐败。我们的主要贡献是一个强大的变种迭代硬持票。利用这一点，我们提供了精确的估计：当稀疏回归中的协方差矩阵是恒等的时，我们的误差保证接近信息理论最优。然后，我们处理未知结构协方差矩阵的鲁棒稀疏回归。我们提出了一种滤波算法，它包括一种新的随机离群值去除技术的强大的稀疏均值估计，可能是在其本身的权利感兴趣的：滤波算法是足够灵活的处理未知的协方差。此外，它是有序更有效的计算比椭球算法。使用次线性样本复杂度，我们的算法实现了最佳已知（和第一）的错误保证。我们证明了大规模稀疏回归问题的有效性与任意腐败。
2019-05-29 cs.LG math.ST stat.ML
Spatially and Robustly Hybrid Mixture Regression Model for Inference of Spatial Dependence
Purdue University（普渡大学）；Indiana University（印第安纳大学）；Amazon（亚马逊）；Peking University（北京大学）
在本文中，我们提出了一个空间稳健混合回归模型来研究一个响应变量和一组解释变量之间的关系在空间域上，假设的关系可能会表现出复杂的空间动态模式，不能被捕获的常数回归系数。我们的方法集成了强大的有限混合高斯回归模型与空间约束，同时处理空间非平稳性，局部同质性和离群污染。与现有的空间回归模型相比，我们提出的模型假设存在一些不同的回归模型，这些模型是基于表现出类似的响应-预测关系的观测值估计的。因此，所提出的模型不仅考虑了空间趋势的非平稳性，而且还将观测结果聚类为几个不同的同质组。这提供了一个优势，在解释与几个固定的子过程识别，捕捉响应和预测变量之间的主要关系。此外，该方法采用了强大的程序来处理回归离群值和空间离群值的污染。通过这样做，我们稳健地将空间域分割成具有相似回归系数的不同局部区域和纯粹是离群值的零星位置。设计了严格的统计假设检验程序来检验这种分割的显著性。在许多合成数据集和真实数据集上的实验结果表明，与其他鲁棒的有限混合回归，空间回归和空间分割方法相比，我们提出的方法具有鲁棒性，准确性和有效性。
2021-09-28 cs.LG stat.ME
Towards Practical Robustness Auditing for Linear Regression
MIT（麻省理工学院）
研究寻找或证伪移除后能反转OLS回归系数符号的数据小子集的实用算法，提出混合整数优化、贪心与谱方法，显著优于现有技术并指出了高维计算瓶颈。
2023-07-30 cs.LG econ.EM stat.ME
Near Optimal Private and Robust Linear Regression
University of Washington（华盛顿大学）；Google Research（谷歌研究院）
本文研究了线性回归的正则统计估计问题，即由$n$ i.i.d.~ $(\varepsilon,δ)$下的示例-当某些响应变量被不利地破坏时的差分隐私。我们提出了一种流行的差分私有随机梯度下降（DP-SGD）算法的变体，该算法具有两个创新点：一个完整的批量梯度下降，以提高样本的复杂性和一个新的自适应裁剪，以保证鲁棒性。当没有对抗性腐败时，该算法改进了现有的最先进的方法，并实现了接近最优的样本复杂度。在标签损坏的情况下，这是第一个有效的线性回归算法，以保证$(\varepsilon,δ)$ -DP和鲁棒性。合成实验证实了我们的方法的优越性。
2023-01-30 cs.CR cs.LG math.ST
Robust Inference for Seemingly Unrelated Regression Models
看似不相关的回归模型通过考虑由同时相关的扰动连接的多元回归方程来推广线性回归模型。考虑了看似不相关回归模型的鲁棒推断。MM-估计的引入，以获得估计，具有高崩溃点和高的正常效率。一个快速和强大的自助程序的开发，以获得这些估计的鲁棒推断。构造了相依回归模型参数的置信区间以及回归系数线性约束的假设检验。此外，为了评估一个看似无关的回归模型的需要，提出了一个强大的程序来测试干扰之间的相关性的存在。快速和强大的自助推断的性能进行评估经验，在模拟研究和实际数据上说明。
2018-05-14 stat.ME
High-dimensional robust regression and outliers detection with SLOPE
高维环境下的离群点检测和稳健回归问题是统计学中的基础问题，并有许多应用。继最近的一组工程提供的方法，同时强大的回归和离群值检测，我们认为在本文中的一个模型，线性回归与个人的截距，在一个高维设置。我们引入了一种新的程序，用于同时估计线性回归系数和截距，使用两个专用的排序- $\ell_1$惩罚，也称为SLOPE。我们开发了一个完整的理论，这个问题：首先，我们提供了尖锐的上界的统计估计误差的向量的个别截距和回归系数。其次，我们给出了一个渐近控制的错误发现率（FDR）和统计功效的支持选择的个人拦截。因此，本文是第一个介绍一个过程中，保证FDR和统计功效控制下的均值漂移模型的离群点检测。数值说明，与最近的替代方法的比较，提供了模拟和几个真实世界的数据集。实验使用Python和C++编写的开源软件进行。
2017-12-07 stat.ML
Robust Regression via Model Based Methods
Northeastern University（东北大学）
均方误差损失被广泛用于许多应用中，包括自动编码器、多目标回归和矩阵分解等。尽管由于其可微性而具有计算优势，但它对离群值并不鲁棒。相比之下，l_p范数已知是鲁棒的，但不能通过例如，随机梯度下降，因为它们不可微。我们提出了一种受所谓的基于模型的优化（MBO）启发的算法[35，36]，该算法用凸模型函数替换非凸目标，并在优化模型函数和更新解决方案之间交替。我们将其应用于稳健回归，提出SADM，这是在线交替方向乘法（OADM）的随机变体[50]，用于解决MBO中的内部优化。我们证明了SADM以O（log T/T）的速度收敛。最后，我们通过实验证明了（a）l_p范数对离群值的鲁棒性和（b）我们提出的基于模型的算法与自动编码器和多目标回归的梯度方法相比的效率。
2021-06-29 cs.LG math.OC
Distributionally Robust Logistic Regression
本文提出了一种分布鲁棒的逻辑斯谛回归方法。我们使用Wasserstein距离在训练样本上以均匀分布为中心的概率分布空间中构造一个球。如果这个球的半径被明智地选择，我们可以保证它包含具有高置信度的未知数据生成分布。然后，我们制定了一个分布鲁棒的逻辑斯谛回归模型，最大限度地减少了最坏情况下的预期对数损失函数，其中最坏的情况下，在Wasserstein球的所有分布。我们证明，这个最优化问题承认一个易于处理的重新制定和封装的经典以及流行的正则化逻辑斯谛回归问题的特殊情况。我们进一步提出了一种基于Wasserstein球的分布式鲁棒方法来计算所得分类器的误分类概率的置信上限和置信下限。这些界限由两个高度易处理的线性规划的最优值给出。我们通过模拟和实证实验验证了我们的理论样本外保证。
2015-12-01 math.OC stat.ML
Debiased Nonparametric Regression for Statistical Inference and Distributionally Robustness
The University of Tokyo（东京大学）
本文提出一种无模型的非参数回归去偏方法，通过加入估计条件期望残差的校正项，使估计量在温和条件下具备风险收敛与渐近正态性，从而支持统计推断并提升协变量偏移下的鲁棒性。
2025-03-17 cs.LG econ.EM math.ST
Confidence Intervals and Hypothesis Testing for High-Dimensional Regression
Stanford University（斯坦福大学）
拟合高维统计模型通常需要使用非线性参数估计过程。因此，通常不可能获得参数估计值的概率分布的精确表征。这又意味着量化与某个参数估计值相关的\emph{uncertainty}极具挑战性。具体地说，不存在普遍接受的程序来计算经典的测量不确定性和统计显著性的置信区间或$p$ -这些模型的值。本文考虑高维线性回归问题，提出了一种构造置信区间和$p$值的有效算法。得到的置信区间具有接近最佳的大小。当测试某个参数为零的原假设时，我们的方法具有接近最优的功效。我们的方法是基于构建一个“去偏”版本的正则化M-估计。新的结构改进了该领域的最新工作，因为它没有假设设计矩阵上的特殊结构。我们测试我们的方法合成数据和高通量的基因组数据集核黄素生产率。
2014-04-02 cs.IT cs.LG math.IT
Robust Estimators in Partly Linear Regression Models on Riemannian Manifolds
在部分线性模型下，当预测变量取值于黎曼流形上时，研究了回归参数和回归函数的一类稳健估计。我们得到了估计量的相合性和渐近正态性。此外，我们考虑了一个强大的交叉验证过程来选择平滑参数。仿真和实际数据的应用表明，我们的建议下的小样本和污染的性能。
2011-05-25 math.ST stat.TH
Model-Robust Designs for Quantile Regression
当研究的目的是条件分位数函数的估计，估计方法是分位数回归时，本文给出了线性模型设计的构造方法。该设计对错误指定的响应函数和意外异方差具有鲁棒性。举例说明的方法，并在一个案例研究中，他们被应用到增长图。
2014-09-16 stat.ME
Pointwise adaptive estimation for robust and quantile regression
本文提出了一种用于稳健回归估计和分位数回归的非参数方法，它完全是数据驱动的，并且局部适应于回归函数的正则性。这是通过考虑在每个点的M-估计在不同的局部邻域和局部模型选择过程的基础上序贯检验。得到了非渐近风险界，在较弱的条件下得到了大样本渐近率最优性。不同的单变量中位数回归模型的模拟显示出良好的有限样本性质，也比较传统的方法。该方法被扩展到图像去噪，并应用于癌症研究中的CT扫描。
2009-04-03 math.ST stat.TH
Nearly-optimal Robust Matrix Completion
Microsoft Research India（微软印度研究院）
本文提出一种简单投影梯度下降方法，通过交替进行投影梯度下降和硬阈值清理来估计低秩矩阵，实现近最优观测和损坏数量的鲁棒矩阵补全，同时改进了低秩矩阵补全的时间复杂度。
2016-12-08 cs.LG cs.NA math.NA
Cluster-Robust Bootstrap Inference in Quantile Regression Models
在本文中，我开发了一个野生自助程序的集群鲁棒推理的线性分位数回归模型。我的引导导致渐近有效的推断在整个分位数回归过程中的设置有大量的小，异质集群，并提供相合估计的渐近协方差函数的过程。建议的引导过程是很容易实现的，即使当集群的数量是小于的样本量表现良好。提供了Project STAR数据的应用。
2015-07-14 math.ST stat.TH
Robust semiparametric inference for polytomous logistic regression with complex survey design
分析复杂调查方案（如分层或整群抽样）的多分类响应在一些社会经济学应用中非常重要。本文给出了多分类逻辑斯谛回归模型的一类最小拟加权密度幂离估计。这个家庭的半参数估计是一个强大的推广的最大拟加权似然估计，利用流行的密度功率发散措施的优势。相应地，还导出了设计效应的鲁棒估计。利用新的估计量对回归系数进行了一般线性假设的稳健检验。理论上研究了它们的渐近分布和鲁棒性，并通过数值算例和广泛的蒙特卡罗研究进行了经验验证。
2019-04-03 math.ST stat.AP stat.ME
Robust Regression with Student's T: The Role of Degrees of Freedom
University of Toronto（多伦多大学）；University of Chicago（芝加哥大学）；University of Glasgow（格拉斯哥大学）
本文比较了频繁ist和贝叶斯方法估计t分布自由度的估计器，并研究了对应的回归系数估计性质，通过仿真显示调整后的对数似然方法能提供高精度估计，与最大似然估计相当。
2026-11-03 stat.ME
Efficient robust nonparametric estimation in a semimartingale regression model
研究了由分布未知的一般平方可积〔的〕半鞅给出的具有相依扰动的连续时间回归模型中周期函数的稳健估计问题。这种噪声的一个例子是带有Lévy过程从属子的非高斯Ornstein-Uhlenbeck过程，它被用来模拟具有跳跃的金融Black-Scholes型市场。提出了一种基于加权最小二乘估计的自适应模型选择方法。在噪声分布的一般矩条件下，得到了鲁棒风险的尖锐的非渐近预言不等式，证明了模型选择过程的鲁棒有效性.
2010-10-16 math.ST stat.TH
Nonparametric estimation in a semimartingale regression model. Part 2. Robust asymptotic efficiency
本文证明了作者在第一部分中提出的模型选择方法的渐近有效性。为此，我们引入了鲁棒风险的上确界的二次风险在广泛的一类观测分布。得到了鲁棒风险的渐近上界和下界。证明了该方法的渐近有效性。找到了Pinsker常数。
2009-09-17 math.ST stat.TH
A Robust Adaptive Modified Maximum Likelihood Estimator for the Linear Regression Model
在线性回归中，如果误差服从正态分布，则最小二乘（LS）估计具有一定的最优性。这一假设在实践中经常被违反，部分原因是数据离群值。稳健估计可以很好地解决这一问题，因此在实际中得到了广泛的应用。回归稳健估计的一个例子是自适应修正极大似然（AMML）估计（Donmez，2010）。然而，它们对$x$离群值（所谓的杠杆点）不稳健。在这项研究中，我们提出了一个新的回归估计，通过采用适当的加权方案的AMML估计方法。由此产生的估计被称为鲁棒AMML（RAMML），因为它不仅对y离群值是鲁棒的，而且对x离群值是鲁棒的。通过仿真研究，比较了RAMML估计与MM、最小截尾平方（LTS）和S。结果表明，根据均方误差（MSE）准则，RAMML估计在大多数情况下是优选的。两个数据集从文献中也进行了分析，以显示RAMML估计方法的实施。
2020-06-30 stat.ME
New robust statistical procedures for polytomous logistic regression models
本文导出了一类新的估计族，即最小密度幂离估计，作为多分类逻辑斯谛回归模型极大似然估计的稳健推广.在此基础上，引入了线性假设下的Wald型检验统计量族。通过经典的影响函数分析，从理论上研究了所提出的估计量和检验统计量的稳健性。适当的现实生活中的例子，以证明需要适当的强大的统计程序，而不是基于似然推断的多分类逻辑斯谛回归模型。通过适当的模拟研究，进一步证实了本文建立的理论结果的有效性。最后，提出了一种数据驱动的鲁棒性调整参数的选择方法，并给出了经验证明。
2018-06-26 stat.ME
Transfer Learning for Moderate-Dimensional Ridge-Regularized Robust Linear Regression
University of Science and Technology of China（中国科学技术大学）
本文研究了中等维度下岭正则化稳健线性回归的迁移学习，提出Trans-RR方法结合源研究的稳健岭估计器和目标研究的稳健岭修正，证明了迁移学习能提升估计精度。
2026-04-12 stat.ME
Robust inference in inflated beta regression
Department of Statistics, University of São Paulo（圣保罗大学统计系）
本文提出稳健估计器以缓解最大似然推断的不足，同时保持膨胀贝塔框架的简洁和可解释性，并通过模拟研究和实际数据应用展示其优势。
2026-05-13 stat.ME
Robust estimators in a generalized partly linear regression model under monotony constraints
本文考虑观测服从保序广义部分线性模型的情形。在该模型下，响应的平均值通过链接函数建模，线性地在一些协变量上，非参数地在单变量回归量上，以这样的方式，非参数分量被假定为单调函数。定义了单调非参数分量和回归参数的一类与线性分量相关的稳健估计。鲁棒估计是基于样条的方法结合得分函数的界限大值的偏差。作为应用，我们考虑保序部分线性log-Gamma回归模型.通过Monte Carlo研究，我们研究了所提出的估计的性能下的部分线性log-Gamma回归模型的非参数分量增加。
2018-11-29 math.ST stat.TH
Model selection in regression under structural constraints
本文考虑了在可接受模型的额外结构约束下的回归模型选择，其中潜在的预测因子的数量甚至可能大于可用的样本量。我们开发了一个贝叶斯形式主义作为一个自然的工具，用于生成一个广泛的类的模型选择标准的基础上惩罚最小二乘估计与各种复杂性的罚款与先验模型大小。由此产生的标准是自适应的结构约束。我们建立了一组给定大小的可容许模型的MAP估计的二次风险的上界和相应的极小极大风险的下界。然后，我们指定类的先验（因此，类的复杂性处罚），其中的“近正交”设计的MAP估计是渐近至少近极大极小（对数因子）同时在整个范围内的稀疏和密集的设置。此外，当可接受模型的数量“小”时（例如，有序变量选择），或者相反，对于完全变量选择的情况，所提出的估计器实现了精确的极大极小率。
2013-02-17 math.ST stat.TH
Robust beta regression through the logit transformation
University of São Paulo（圣保罗大学）
本文提出新的稳健估计方法，用于解决beta回归模型中最大似然估计的鲁棒性不足问题，通过渐近性质和稳健检验方法提升模型可靠性。
2022-09-22 stat.ME
Numerically robust square root implementations of statistical linear regression filters and smoothers
针对基于 Cholesky 降级更新的滤波与平滑方法易受舍入误差影响的问题，本文提出采用 QR 分解的统计线性回归滤波器和平滑器平方根实现，并通过双、单精度下的病态问题实验证明其数值更稳健。
2024-06-18 cs.NA math.NA stat.ME
Birnbaum-Saunders nonlinear regression models
本文首次介绍了一类新的Birnbaum-Saunders非线性回归模型，它在寿命数据分析中具有潜在的应用价值。该类推广了Rieck和Nedelman [1991，A log-线性模型for the Birnbaum-Saunders distribution，Technometrics，33，51-60]描述的回归模型。我们讨论了模型参数的极大似然估计，并给出了这些估计的二阶偏差的封闭表达式。我们的公式很容易计算为普通的线性回归，然后用来定义偏差校正的最大似然估计。一些模拟结果表明，偏差校正方案产生几乎无偏估计，而不增加的均方误差。我们也给出了一个应用程序的一个真正的疲劳数据集。
2009-04-24 stat.ME
Cellwise and Casewise Robust Multivariate Regression with Inference
KU Leuven（荷语鲁汶大学）
本文提出cellMR估计器，同时处理案例和单元异常值、缺失数据和高维性，引入cellBoot推断方法，提供稳健的置信区间。
2026-10-20 math.ST stat.ME stat.TH
Heteroskedasticity-robust inference in linear regression models with many covariates
我们考虑在线性回归模型，是强大的异方差和存在许多控制变量的推断。当控制变量的数目以与样本量相同的速率增加时，协方差阵的通常异方差稳健估计是不一致的。因此，基于这些估计量的测试即使在大样本中也会发生尺寸失真。提出了这种设置的另一种协方差矩阵估计量，补充了Cattaneo，Jansson和Newey（2018）最近的工作。我们提供了高层次的条件，我们的方法提供（渐近）大小正确的推理，以及更原始的条件，为三种特殊情况。仿真结果和经验说明推断工会保费。
2020-09-28 math.ST stat.TH
Robust and sparse estimators for linear regression models
惩罚回归估计是分析稀疏和高维数据集的常用工具。然而，使用无界损失函数定义的惩罚回归估计量可能对离群观测值的存在非常敏感，特别是高杠杆离群值。此外，在高维数据集中检测离群值可能特别具有挑战性。因此，稀疏和高维线性回归模型的鲁棒估计是必要的。在本文中，我们研究了MM桥和自适应MM桥估计：$\ell_q$ -惩罚的MM-估计的回归和MM-估计与自适应$\ell_t$惩罚的鲁棒性和渐近性质。对于协变量个数固定的情况，我们得到了所有$q>0$的MM-Bridge估计量的渐近分布。证明了对于$q<1$，MM-Bridge估计量具有Fan和Li（2001）中定义的预言性质.我们证明了对于所有的$t\leq 1$自适应MM-Bridge估计器都可以具有预言性质。我们提出的估计的优点是通过广泛的模拟研究和一个真正的高维数据集的分析证明。
2015-10-16 math.ST stat.TH
Robust Reduced Rank Regression
在高维多元回归问题中，对系数矩阵进行低秩处理可以有效地降低维数，极大地方便了参数估计和模型解释。然而，常用的降秩方法是敏感的数据损坏，因为响应变量和预测变量之间的低秩相关结构很容易被离群值扭曲。我们提出了一个强大的降秩回归方法的联合建模和离群点检测。该问题被表述为具有稀疏均值漂移参数化的正则化多元回归，它概括和统一了一些流行的鲁棒多元方法。一个有效的阈值为基础的迭代过程中开发的优化。我们证明了该算法是保证收敛的，并且在正则条件下产生的坐标方向极小点是统计准确的。我们的理论研究集中在非渐近鲁棒分析，这表明联合降秩和离群值检测导致提高预测精度。特别是，我们发现，redescending $ψ$ -功能，基本上可以达到最小最大最优的差错率，并在一些挑战性较小的问题，凸正则化保证同样低的差错率。所提出的方法的性能进行了检查，通过模拟研究和实际数据的例子。
2017-07-15 math.ST stat.AP stat.ME
Robust Linear Regression: A Review and Comparison
线性模型的普通最小二乘（OLS）估计量对设计空间中的异常值或y值中的离群值非常敏感。即使是一个单一的非典型值也可能对参数估计值产生很大影响。本文旨在回顾和描述一些可用的和流行的鲁棒技术，包括一些最近开发的，并比较它们的故障点和效率。此外，我们还使用模拟研究和实际数据的应用程序来比较现有的鲁棒方法在不同的情况下的性能。
2014-04-24 stat.ME
Statistical Inference for High-Dimensional Robust Linear Regression Models via Recursive Online-Score Estimation
本文提出将递归在线得分估计（ROSE）框架扩展至非凸惩罚M估计，用于稳健高维线性回归的估计与推断，并证明估计量的一致性与渐近正态性，模拟和实际应用验证了其优越性。
2025-04-12 math.ST stat.ME stat.TH
A new robust approach for the polytomous logistic regression model based on Rényi's pseudodistances
本文提出基于Rényi伪距离的最小估计族作为多分类逻辑回归模型的最大似然估计的稳健替代，并通过模拟和真实数据验证其在误分类误差下的优越性能。
2024-02-05 stat.ME
Robust Confidence Intervals for Meta-Regression with Interaction Effects
荟萃分析是一种重要的统计技术，用于综合关于同一或密切相关研究问题的多项研究的结果。所谓的荟萃回归通过解释研究水平的协变量来扩展荟萃分析模型。混合效应元回归模型通过适当考虑研究间异质性，为证据合成提供了一个强大的工具。事实上，根据随机效应和调节因子对研究效应进行建模不仅可以检查调节因子的影响，而且通常可以更准确地估计所涉及的参数。然而，由于对特定研究主题的研究数量往往很少，因此在元回归中往往忽略了交互作用。在这项工作中，我们考虑的研究问题（i）如何调节交互影响推理的混合效应元回归模型和（ii）是否有些推理方法比其他更可靠。在这里，我们回顾稳健的方法，置信区间的荟萃回归模型，包括交互作用。这些方法是基于稳健夹心估计的应用，用于估计模型系数向量的方差-协方差阵。此外，我们比较了这些强大的估计在一个广泛的模拟研究的不同版本。因此，我们调查的覆盖范围和长度的七个不同的置信区间在不同的条件下。最后，我们提出一些切实可行的建议。
2023-02-21 stat.AP stat.CO stat.ME
Two-way Clustering Robust Variance Estimator in Quantile Regression Models
University at Albany – State University of New York（纽约州立大学奥尔巴尼分校）
针对双向聚类数据，提出一种基于核密度估计和投影分解的双向聚类稳健三明治方差估计量，并证明其在高斯机制下的一致性及推断有效性。
2026-07-07 econ.EM stat.AP
