Score Engineered Robust Least Squares Regression
在其他FICO技术论文中,我已经展示了如何使用应用于B样条分量函数的二次规划来拟合具有形状约束的广义可加模型(GAM)。本文将该方法推广到稳健最小二乘回归。
2020-03-02 stat.ME
Transfer Learning with Heterogeneous Feature Spaces in Linear Regression
Beijing Normal University(北京师范大学)
针对源数据仅观测部分目标协变量的异构特征空间问题,提出基于投影插补和重要性加权的迁移学习方法,并建立收敛速率保证。
2026-09-09 stat.ME
Cross-Semantic Transfer Learning for High-Dimensional Linear Regression
Great Bay University(大湾区大学);Southern University of Science and Technology(南方科技大学)
本文提出跨语义迁移学习框架,通过加权融合惩罚和ADMM实现高维线性回归的跨领域迁移,理论证明其在温和条件下能实现Oracle估计器,实验证明在跨语义和部分信号相似性场景中性能优于现有方法。
2025-12-25 stat.ME
Transfer Learning Meets Functional Linear Regression: No Negative Transfer under Posterior Drift
本文研究了后验漂移下的函数线性回归迁移学习,提出基于近似最小二乘法与lasso惩罚的估计器及自适应聚合算法,有效避免了负迁移并提升了目标模型斜率函数的估计精度。
2024-12-19 stat.ME
Transfer Learning for Robust Structured Regression with Bi-level Source Detection
Rice University(莱斯大学);New York University(纽约大学);University of California at Riverside(加州大学河滨分校)
本文提出TransL2E方法,通过鲁棒L2E准则和双级源检测机制,在数据污染环境下提升结构回归的鲁棒性和准确性。
2026-04-08 stat.ME
Robust transfer regression with corrupted labels
针对目标数据标签大量损坏且位置未知的问题,提出鲁棒迁移回归方法,理论证明其误差含源数据、域偏移、损坏向量三部分且优于仅用目标数据的估计,经压缩信号重构实验验证并应用于GBM患者MGMT甲基化与基因表达关联分析。
2025-02-23 stat.ME
Transfer Learning for High-dimensional Linear Regression: Prediction, Estimation, and Minimax Optimality
本文考虑在迁移学习的环境下,使用来自目标模型的样本以及来自不同但可能相关的回归模型的辅助样本,对高维线性回归进行估计和预测。当已知一组“信息”辅助样本时,提出了一个估计器和一个预测器,并建立了它们的最优性。预测和估计的最优收敛速度比不使用辅助样本的相应速度快。这意味着可以转移来自信息丰富的辅助样本的知识,以提高目标问题的学习性能。在信息辅助样本集未知的情况下,我们提出了一种数据驱动的迁移学习过程,称为Trans-Lasso,并揭示了其对非信息辅助样本的鲁棒性和知识迁移的效率。所提出的程序被证明在数值研究中,并适用于一个数据集的基因表达之间的关联。结果表明,trans-Lasso通过将来自多个不同组织的数据作为辅助样本,提高了靶组织中基因表达预测的性能。
2020-06-18 stat.ME stat.ML
Transfer Learning for High-dimensional Quantile Regression with Distribution Shift
Fudan University(复旦大学);University of Pennsylvania(宾夕法尼亚大学);University of Science and Technology of China(中国科学技术大学)
本文提出了一种针对高维分位数回归的迁移学习方法,以应对参数、协变量和残差偏移问题,通过建立误差界和正交去偏方法提升模型的鲁棒性和准确性。
2026-11-17 math.ST stat.ME stat.ML
Robust nonparametric regression: review and practical considerations
本文综述了非参数回归模型的离群点稳健估计方法,探讨了稳健带宽选择策略,并介绍了适用于多变量场景的高扩展性稳健回归方法。
2023-04-05 stat.ME
Bayesian Transfer Learning for High-Dimensional Linear Regression via Adaptive Shrinkage
University of California, Los Angeles(加州大学洛杉矶分校)
BLAST通过自适应收缩先验和贝叶斯源选择,提升高维线性回归的后验推断精度与不确定性量化。
2026-03-06 stat.AP stat.CO stat.ME
Robust regression based on shrinkage estimators
针对线性回归问题,提出了一种参数的鲁棒估计方法.它是基于收缩的概念,经常用于金融和以前研究的异常检测多变量数据。一个彻底的模拟研究进行调查:正常和重尾误差的效率,在污染下的鲁棒性,计算时间,仿射等方差和崩溃值的回归估计。两个经典的数据集经常使用的文献和一个真正的社会经济数据集的生活环境Deadly的地区在利物浦(英国),进行了研究。仿真结果和实际数据的例子表明,所提出的稳健估计回归的优点。
2019-05-08 stat.ME
Transfer Learning with Random Coefficient Ridge Regression
Perelman School of Medicine(佩雷尔曼医学院);University of Pennsylvania(宾夕法尼亚大学)
本文研究迁移学习下的随机系数岭回归,提出两个基于目标与源模型岭估计加权和的系数估计量,通过最小化经验风险确定权重,并利用随机矩阵理论推导最优权重极限值与风险显式表达式,实验证明其预测误差低于传统方法。
2023-06-28 cs.LG stat.ME stat.ML
Model-Robust Designs for Quantile Regression
当研究的目的是条件分位数函数的估计,估计方法是分位数回归时,本文给出了线性模型设计的构造方法。该设计对错误指定的响应函数和意外异方差具有鲁棒性。举例说明的方法,并在一个案例研究中,他们被应用到增长图。
2014-09-16 stat.ME
Transfer learning of regression models from a sequence of datasets by penalized estimation
迁移学习是指基于其他数据的预训练来初始化模型拟合的有前途的想法。我们特别考虑回归建模设置,其中来自先前数据的参数估计值可以用作锚点,但可能不适用于所有参数,因此协方差信息不能重复使用。提出了一种通过有针对性的惩罚估计进行更新的方法,该方法将估计量缩小到非零值。当从新数据中寻求更新时,来自先前数据的参数估计用作该非零值。这自然扩展到具有相同响应的数据集序列,但可能只是协变量的部分重叠。迭代更新的回归参数估计被证明是渐近无偏和一致的。通过约束交叉验证的对数似然优化来选择惩罚参数。该约束限制了更新后的估计量从下方向当前估计量的收缩量。界限的目的是保持(更新)估计的拟合优度的所有,但新的数据。所提出的方法相比,其他回归建模程序。最后,它说明了流行病学研究中的数据到达批次与不同的协变量的可用性和模型重新拟合与一个新的批次的可用性。
2020-07-04 stat.ME
Robust Model Selection for Finite Mixture of Regression Models Through Trimming
本文介绍了有限混合回归模型的一种新的变量选择技术--修剪法。与传统的变量选择技术相比,新方法具有鲁棒性和对离群值不敏感的特点。估计算法的介绍和数值研究进行检查所提出的程序的有限样本性能,并与其他现有的方法进行比较。
2019-05-03 stat.ME
Functional robust regression for longitudinal data
我们提出了一个强大的回归估计纵向数据,这是特别适合于功能数据,已被观察到稀疏或不规则的时间网格。仿真结果表明,与传统的函数最小二乘估计器相比,本文提出的估计器具有良好的抗异常值特性。作为应用的一个例子,我们研究了旧金山市的氮氧化物和臭氧的水平之间的关系。
2012-11-30 stat.ME
Representation Transfer Learning for Semiparametric Regression
本研究提出一种半参数回归下的表示迁移学习方法,通过共享跨域可迁移潜在表示、引入域特定参数处理异质性,证明了目标参数估计的一致性与渐近正态性,经模拟和真实数据验证了方法有效性。
2024-06-19 stat.ME
Robust Bayesian Regression with Synthetic Posterior
虽然线性回归模型是统计科学中的基本工具,但估计结果可能对离群值敏感。虽然在频率论框架中已经提出了几种稳健的方法,但统计推断并不一定是简单的。本文提出了一种基于$γ$ -散度的合成后验分布的线性回归模型的贝叶斯鲁棒推断方法,它使我们能够通过后验分布自然地评估估计的不确定性。我们也考虑使用收缩先验的回归系数进行稳健贝叶斯变量选择和估计的同时。我们在吉布斯抽样中采用贝叶斯自助法,发展了一种有效的后验计算算法。通过仿真研究和著名数据集的应用,说明了所提出的方法的性能。
2020-05-26 stat.ME
A Robust t-process Regression Model with Independent Errors
高斯过程回归(GPR)模型对异常值敏感。基于t-过程或其他重尾过程的鲁棒过程回归模型已经被开发来解决这个问题。然而,由于重尾过程的当前定义的性质,未知过程回归函数和随机误差总是联合地并且因此依赖地定义。这一定义,主要是由于相关性假设,是不合理的,在许多实际问题,从而限制了这些强大的方法的应用。这也导致了鲁棒分析理论的局限性。在本文中,我们提出了一个新的鲁棒过程回归模型,使独立的随机误差。一个有效的估计程序开发。提供了无偏性和信息一致性等统计属性。数值研究表明,该方法对野值具有较强的鲁棒性,与现有模型相比,具有更好的预测性能。我们说明,估计的随机效应是有用的检测离群曲线。
2017-07-07 stat.ME
Cellwise Robust M Regression
引入了单元格稳健M回归估计量作为其同类估计量中的第一个估计量,该估计量本质上产生与线性模型一致的单元格离群值的映射,以及对垂直离群值和杠杆点稳健的回归系数的向量。作为一个副产品,该方法产生了一个加权和插补数据集,其中包含对单元格离群值的估计值,如果它们拟合模型,则需要达到这些值。该方法被证明是同样强大的,其casewise对应,MM回归。单元回归方法丢弃的信息比任何casewise鲁棒估计少。因此,可以预期预测能力至少与逐例替代方案一样好。这些结果在模拟研究中得到证实。此外,虽然模拟显示预测性能至少与casewise方法相当,如果不是更好的话,但对由瑞士营养成分组成的数据集的应用表明,在个别情况下,CRM可以实现比MM回归更高的预测准确性。
2020-03-16 stat.ME
Transfer Learning for Kernel-based Regression
本文研究再生核希尔伯特空间下非参数回归的迁移学习问题,针对可迁移源已知和未知两种场景分别提出两步核估计器和基于聚合算法的新方法,给出统计性质与极小极大速率,并通过实验验证了理论与方法的有效性。
2025-10-29 cs.LG stat.ME stat.ML
Penalized Weighted Least Squares for Outlier Detection and Robust Regression
为了对含有异常值的数据进行回归分析,已经提出了许多同时进行异常值检测和稳健回归的方法,本文提出的方法也是如此。这种新方法被称为“惩罚加权最小二乘”(PWLS)。通过为每个观察分配单独的权重并在权重向量的对数变换上引入套索类型的惩罚,PWLS能够同时执行离群值检测和鲁棒回归。一个贝叶斯的PWLS的观点,它表明,PWLS可以被看作是一个例子的M-估计。提出了两种选择PWLS调谐参数的方法。PWLS的性能通过仿真和实际应用证明。
2016-03-24 stat.ME
Robust Inference under the Beta Regression Model with Application to Health Care Studies
关于比率、百分比或比例的数据经常出现在许多不同的应用学科中,如医学生物学、卫生保健、心理学和其他几个学科。在本文中,我们开发了一个稳健的推断过程的β回归模型,这是用来描述这样的响应变量采取值在$(0, 1)$通过一些相关的解释变量。关于贝塔回归模型,鲁棒性的问题在文献中一直被忽视。现有的基于极大似然的推理对数据中的离群值严重缺乏鲁棒性,并且在存在数据污染的情况下产生截然不同的(错误的)推理。在这里,我们开发了稳健的最小密度幂散度估计和一类稳健的Wald型测试的beta回归模型以及几个应用。通过影响函数分析,我们得到了它们的渐近性质,并从理论上描述了它们的鲁棒性。有限样本性能的估计和测试,通过适当的模拟研究和实际数据的应用,在医疗保健和心理学的背景下进行检查。虽然我们主要集中在一个固定的分散参数的β回归模型,一些迹象也提供了扩展到可变的分散β回归模型的应用。
2018-01-15 stat.ME
Beyond Source-Level Transfer: Sample-Level Learning for High-Dimensional Quantile Regression
Renmin University of China(中国人民大学)
针对高维分位数回归的迁移学习,提出样本级迁移方法 SL-TL,通过样本选择与重要性加权利用源域可迁移样本,实现更快的收敛速率并展现稳健性能。
2026-10-08 stat.ME
A statistician's guide to weak-instrument-robust inference in instrumental variables regression with illustrations in Python
本文概述工具变量回归中弱工具变量稳健推断的相关结果,介绍其在Python的ivmodels软件包中的实现并提供实例展示。
2025-08-17 econ.EM stat.ME
Robust Regression with Student's T: The Role of Degrees of Freedom
University of Toronto(多伦多大学);University of Chicago(芝加哥大学);University of Glasgow(格拉斯哥大学)
本文比较了频繁ist和贝叶斯方法估计t分布自由度的估计器,并研究了对应的回归系数估计性质,通过仿真显示调整后的对数似然方法能提供高精度估计,与最大似然估计相当。
2026-11-03 stat.ME
Robust Uniform Inference for Quantile Treatment Effects in Regression Discontinuity Designs
在回归不连续性和扭结设计中,对因果效应的大带宽具有鲁棒性的推断的实际重要性得到了广泛的认可。现有的强大的方法涵盖了许多情况下,但不处理统一的模糊设计的CDF和分位数过程的推理,尽管它在最近的文献中使用的实证微观经济学。在这方面,本文扩展了文献,通过开发一个统一的框架,推理与鲁棒性对大带宽,适用于统一推理的分位数处理效应在模糊设计,以及所有其他情况下的尖锐/模糊均值/分位数回归不连续性/扭结设计。我们提出了蒙特卡罗模拟研究和经验应用俄克拉荷马州前K计划的评价。
2019-02-23 stat.ME
Robust inference for nonlinear regression models from the Tsallis score: application to Covid-19 contagion in Italy
我们讨论了一种拟合稳健非线性回归模型的方法,该模型可用于建模和预测新冠肺炎在意大利的传染动态。重点是使用稳健的剂量-反应曲线分析流行病数据,但该功能适用于任意非线性回归模型。
2020-04-09 stat.AP stat.ME
Robust Function-on-Function Regression
函数线性回归是一种广泛使用的方法来模拟功能输入的功能响应。然而,经典的函数线性回归模型会受到异常值的严重影响。因此,我们引入了一个Fisher一致的强大的功能线性回归模型,能够有效地拟合数据中存在的离群值。该模型是建立使用强大的功能主成分和最小二乘回归估计。函数线性回归模型的性能取决于所使用的主成分的数量。因此,我们引入了一个一致的鲁棒模型选择过程来选择主成分的数量。我们稳健的功能性线性回归模型可与离群值检测程序一起使用,以有效地识别异常功能反应。仿真研究表明,我们的方法能够有效地捕捉回归行为的离群值的存在,并能够找到离群值具有较高的精度。我们证明了我们的方法对喷气发动机传感器数据的实用性。我们确定离群值,将不会被发现,如果功能性反应建模独立的功能性输入,或使用非鲁棒性的方法。
2019-08-30 stat.AP stat.ME
Estimation and inference for transfer learning with high-dimensional quantile regression
Central China Normal University(华中师范大学);Qufu Normal University(曲阜师范大学);Zhongnan University of Economics and Law(中南财经政法大学)
针对高维场景下现有迁移学习对异质性、厚尾考量不足的问题,提出高维分位数回归框架的迁移学习方法,构建误差界与推断工具,设计可迁移性检测规避负迁移,经仿真和真实数据验证性能优异。
2023-11-06 cs.LG math.ST stat.ME
Robust functional regression model for marginal mean and subject-specific inferences
我们引入灵活的强大的功能回归模型,使用各种重尾过程,包括学生$t$过程。我们提出了有效的算法,在估计参数的边际平均值推断和预测条件的手段,以及内插和外推的主题特定的推断。我们开发的自助预测区间的条件均值曲线。数值研究表明,该模型提供了强大的分析,对数据污染或分布误指定,和建议的预测区间保持名义置信水平。一个真实的数据应用程序作为一个说明性的例子。
2017-05-16 stat.ME
Robust and sparse estimation methods for high dimensional linear and logistic regression
弹性网估计的完全鲁棒版本被引入线性和逻辑斯谛回归。计算估计量的算法是基于仅对数据子集重复应用非稳健经典估计量的思想。它示出了如何离群的自由子集可以有效地识别,以及如何适当的调整参数的弹性网处罚可以选择。最后的重新加权步骤提高了估计器的效率。仿真研究与非鲁棒和其他竞争的鲁棒估计,并揭示了新提出的方法的优越性。这也得到了合理的计算时间和实际数据示例中的良好性能的支持。
2017-03-15 stat.ME
Testing relevant difference in high-dimensional linear regression with applications to detect transferability
Shanghai University of Finance and Economics(上海财经大学)
针对高维线性回归中系数β的显著性检验,提出原假设为β与0无相关差异(∥β∥≤δ₀)的新检验方法,结合随机矩阵理论处理高维干扰参数,应用于迁移学习可提升模型估计与预测精度。
2025-11-19 stat.ME
Robust Extrinsic Regression Analysis for Manifold Valued Data
近年来,由于流形在科学和工程的各个领域中的重要作用,对流形上的数据分析的需求越来越大。在文献中的流形值数据分析到现在为止,然而,只有少数的工作已经进行了有关的鲁棒性估计对噪声,离群值,和其他来源的扰动。在这方面,我们引入了一种新的外在框架,用于以稳健的方式分析流形值数据。首先,通过扩展几何中值的概念,我们提出了一个新的鲁棒流形上的位置参数,所谓的外中值。通过将条件外中值引入经典的局部多项式回归方法,提出了一种稳健的外回归方法。我们提出了Weiszfeld的算法实现所提出的方法。我们的方法对现有的方法的良好表现,通过仿真研究说明。
2021-01-28 stat.ME
Augmented Transfer Regression Learning with Semi-non-parametric Nuisance Models
在当代统计学习中,当测试数据的分布偏离训练数据时,协变量偏移校正在迁移学习中起着重要作用。重要性加权作为一种自然的、原则性的协变量偏移调整策略,在迁移学习领域得到了广泛的应用。然而,该策略对于模型误指定或过大的估计误差不鲁棒。在本文中,我们提出了一种增强的迁移回归学习(ATReL)方法,该方法引入了一个针对目标响应的插补模型,并使用它来增强重要性加权方程。与新的半非参数结构和校准的时刻估计方程的两个滋扰模型,我们的ATReL方法是不太容易(i)的灾难的维数相比,非参数的方法,和(ii)模型错误的规格比参数的方法。我们表明,我们的ATReL估计是根n-一致的,当至少有一个滋扰模型被正确指定,估计的参数部分的滋扰模型实现参数率,和非参数组件率倍鲁棒性。仿真研究表明,我们的方法是更强大的和有效的比现有的参数和完全非参数(机器学习)估计在各种配置。我们还通过一个关于类风湿性关节炎表型分型算法在不同时间窗口的迁移学习的实例来检验我们的方法的实用性。最后,我们提出了一些方法来提高我们的估计器的内在效率,并将现代机器学习方法与我们提出的框架。
2022-04-11 stat.ME
A Robust Adaptive Modified Maximum Likelihood Estimator for the Linear Regression Model
在线性回归中,如果误差服从正态分布,则最小二乘(LS)估计具有一定的最优性。这一假设在实践中经常被违反,部分原因是数据离群值。稳健估计可以很好地解决这一问题,因此在实际中得到了广泛的应用。回归稳健估计的一个例子是自适应修正极大似然(AMML)估计(Donmez,2010)。然而,它们对$x$离群值(所谓的杠杆点)不稳健。在这项研究中,我们提出了一个新的回归估计,通过采用适当的加权方案的AMML估计方法。由此产生的估计被称为鲁棒AMML(RAMML),因为它不仅对y离群值是鲁棒的,而且对x离群值是鲁棒的。通过仿真研究,比较了RAMML估计与MM、最小截尾平方(LTS)和S。结果表明,根据均方误差(MSE)准则,RAMML估计在大多数情况下是优选的。两个数据集从文献中也进行了分析,以显示RAMML估计方法的实施。
2020-06-30 stat.ME
New robust statistical procedures for polytomous logistic regression models
本文导出了一类新的估计族,即最小密度幂离估计,作为多分类逻辑斯谛回归模型极大似然估计的稳健推广.在此基础上,引入了线性假设下的Wald型检验统计量族。通过经典的影响函数分析,从理论上研究了所提出的估计量和检验统计量的稳健性。适当的现实生活中的例子,以证明需要适当的强大的统计程序,而不是基于似然推断的多分类逻辑斯谛回归模型。通过适当的模拟研究,进一步证实了本文建立的理论结果的有效性。最后,提出了一种数据驱动的鲁棒性调整参数的选择方法,并给出了经验证明。
2018-06-26 stat.ME
Robust inference in inflated beta regression
Department of Statistics, University of São Paulo(圣保罗大学统计系)
本文提出稳健估计器以缓解最大似然推断的不足,同时保持膨胀贝塔框架的简洁和可解释性,并通过模拟研究和实际数据应用展示其优势。
2026-05-13 stat.ME
Robust Variable Selection Criteria for the Penalized Regression
我们提出了一个强大的变量选择过程,使用基于发散的M-估计结合惩罚函数。它产生回归参数的稳健估计,同时选择重要的解释变量。基于估计方程的二次近似,构造了一种有效的算法。导出了回归系数的渐近分布和影响函数。基于Mallow的$C_p$统计量和Akaike信息准则(AIC)的模型选择方法在存在重尾误差或离群值的情况下往往表现出很差的性能。为了这个目的,我们引入了强大的版本,这些信息标准的基础上,我们提出的方法。仿真研究表明,鲁棒变量选择技术优于经典的基于似然的技术存在离群值。通过实际数据的分析,验证了该方法的有效性.
2019-12-29 stat.ME
The shooting S-estimator for robust regression
针对最小二乘法对异常值不稳健及传统S-estimation降权完整观测导致信息丢失的问题,提出shooting S-estimator,结合坐标下降算法与简单S-regression,在丧失回归等变性代价下实现对逐分量污染的稳健性。
2015-06-03 stat.ME
Robust beta regression through the logit transformation
University of São Paulo(圣保罗大学)
本文提出新的稳健估计方法,用于解决beta回归模型中最大似然估计的鲁棒性不足问题,通过渐近性质和稳健检验方法提升模型可靠性。
2022-09-22 stat.ME
Robust Boosting for Regression Problems
梯度提升算法使用"基本学习者“的线性组合来构建回归预测器。Boosting还提供了一种获得鲁棒非参数回归估计的方法,该方法可扩展到具有许多解释变量的应用程序。鲁棒提升算法基于两阶段方法,类似于针对鲁棒线性回归所做的:它首先最小化鲁棒残差尺度估计器,然后通过优化有界损失函数来改进它。与以前的鲁棒提升建议不同,这种方法不需要在每次提升迭代中计算ad-hoc残差尺度估计器。由于这种鲁棒增强算法中涉及的损失函数通常是非凸的,因此需要可靠的初始化步骤,例如L1回归树,其计算速度也很快。一个强大的变量的重要性测量也可以通过一个置换过程计算。彻底的模拟研究和几个数据分析表明,当没有非典型的观察,鲁棒的提升方法的作品以及标准的梯度提升平方损失。此外,当数据包含离群值时,鲁棒提升估计器在预测误差和变量选择精度方面优于替代方案。
2020-08-07 stat.ME stat.ML
Ultrahigh-dimensional Robust and Efficient Sparse Regression using Non-Concave Penalized Density Power Divergence
我们提出了一种基于非凹惩罚密度功率发散损失函数的稀疏回归方法,该方法在非常高维的情况下对无穷小污染具有鲁棒性。现有的稀疏鲁棒回归方法都是基于$\ell_1$ -惩罚的,其理论性质还没有得到很好的研究。相比之下,我们使用一个通用类的折叠凹罚,确保稀疏恢复和一致的估计回归系数。我们提出了一个交替算法的凹凸过程的基础上获得我们的估计,并证明其鲁棒性使用影响函数分析。在一定的固定设计矩阵和罚函数条件下,证明了该估计在超高维情形下具有大样本预言性质。通过仿真研究证明了我们所提出的参数估计和预测方法的性能和有效性。
2020-07-28 stat.ME
Robust estimation for functional quadratic regression models
本文针对函数型二次回归模型中的异常值问题,提出结合稳健主方向和基于有界损失函数的稳健回归估计方法,并通过数值模拟和实际数据验证其有效性。
2023-05-29 stat.ME
A Minimum Message Length Criterion for Robust Linear Regression
本文将最小信息长度原理应用于具有Student-t误差的线性回归模型的推断。提出了一种新的Student-t回归变量选择和参数估计准则。通过利用回归模型的性质,我们得到了一个合适的无信息的适当的均匀先验分布的回归系数,导致一个简单和易于应用的标准。我们提出的准则不需要指定超参数,并且在设计矩阵的满秩变换和结果的线性变换下都是不变的。我们比较了建议的标准与几个标准的模型选择标准,如赤池信息标准和贝叶斯信息标准,模拟和实际数据与有希望的结果。
2018-02-20 stat.ME
Robust and Sparse Regression via $γ$-divergence
在高维数据中,已经提出了许多稀疏回归方法。然而,它们可能对离群值不稳健。近年来,人们研究了利用密度幂权进行抗差参数估计,并讨论了相应的发散性。其中一个这样的分歧是$γ$ -分歧和鲁棒估计使用$γ$ -分歧是已知的具有很强的鲁棒性。本文研究了基于$γ$ -散度的稳健稀疏回归问题。我们扩展的$γ$ -发散回归问题,并表明,它具有很强的鲁棒性下,即使在严重污染的离群值是异质的。损失函数由稀疏正则化的$γ$ -散度的经验估计构造,参数估计被定义为损失函数的最小值。为了得到鲁棒的稀疏估计,我们提出了一种有效的更新算法,该算法具有单调递减的损失函数的性质。特别地,我们详细讨论了一个线性回归问题与$L_1$正则化。在数值实验和实际数据分析中,我们看到所提出的方法优于过去的鲁棒和稀疏的方法。
2016-08-29 stat.ME stat.ML
Robust and Sparse Regression in GLM by Stochastic Optimization
The Graduate University for Advanced Studies(高级研究大学院大学);The Institute of Statistical Mathematics(统计数学研究所);Nagoya University Graduate School of Medicine(名古屋大学医学研究科)
本文提出基于γ-散度的鲁棒稀疏广义线性模型,采用随机优化方法提高高维数据下的鲁棒性和稀疏性,通过随机化随机投影梯度下降法实现高效参数估计。
2018-02-09 stat.ME stat.ML
Robust estimation of heteroscedastic regression models: a brief overview and new proposals
针对数据分析中非线性与异方差性共存导致异常值处理困难的问题,本文梳理了异方差回归模型的稳健估计方案,并提出结合加权MM-回归估计量与稳健方差函数参数估计的迭代估计方法。
2023-11-07 stat.ME
Scalable and robust regression models for continuous proportional data
Duke University(杜克大学);University of Jyväskylä(于韦斯屈莱大学)
针对beta回归在连续比例数据中易受分布误设和异常值影响的问题,提出基于cobin与micobin分布的稳健回归模型,并通过Kolmogorov-Gamma增广实现高效贝叶斯推断。
2025-10-04 stat.ME
Robust and Sparse Multinomial Regression in High Dimensions
针对高维数据,提出了一种稳健稀疏的多项式回归估计。估计器的鲁棒性通过修剪观测值来实现,估计器的稀疏性通过弹性网惩罚来获得,弹性网惩罚是$L_1$和$L_2$惩罚的混合。从这个角度来看,建议的估计是一个扩展的enet-LTS估计\citep{Kurnaz18}的线性和逻辑斯谛回归的多项式回归设置。在介绍了一种算法的计算,进行了模拟研究,以显示性能相比,非稳健版本的多项式回归估计。一些真实数据的例子强调了这个强大的估计的有用性。
2022-05-24 math.ST stat.CO stat.ME
Transfer Learning Under High-Dimensional Graph Convolutional Regression Model for Node Classification
Boston University(波士顿大学);Renmin University of China(中国人民大学)
针对节点分类中标签获取困难的问题,提出基于图卷积多项式逻辑回归(GCR)的迁移学习方法Trans-GCR,提供高维理论保证,且性能优越、计算成本低、超参数少。
2024-05-26 cs.LG stat.ME stat.ML
Spatially and Robustly Hybrid Mixture Regression Model for Inference of Spatial Dependence
Purdue University(普渡大学);Indiana University(印第安纳大学);Amazon(亚马逊);Peking University(北京大学)
在本文中,我们提出了一个空间稳健混合回归模型来研究一个响应变量和一组解释变量之间的关系在空间域上,假设的关系可能会表现出复杂的空间动态模式,不能被捕获的常数回归系数。我们的方法集成了强大的有限混合高斯回归模型与空间约束,同时处理空间非平稳性,局部同质性和离群污染。与现有的空间回归模型相比,我们提出的模型假设存在一些不同的回归模型,这些模型是基于表现出类似的响应-预测关系的观测值估计的。因此,所提出的模型不仅考虑了空间趋势的非平稳性,而且还将观测结果聚类为几个不同的同质组。这提供了一个优势,在解释与几个固定的子过程识别,捕捉响应和预测变量之间的主要关系。此外,该方法采用了强大的程序来处理回归离群值和空间离群值的污染。通过这样做,我们稳健地将空间域分割成具有相似回归系数的不同局部区域和纯粹是离群值的零星位置。设计了严格的统计假设检验程序来检验这种分割的显著性。在许多合成数据集和真实数据集上的实验结果表明,与其他鲁棒的有限混合回归,空间回归和空间分割方法相比,我们提出的方法具有鲁棒性,准确性和有效性。
2021-09-28 cs.LG stat.ME
AdaTrans: Feature-wise and Sample-wise Adaptive Transfer Learning for High-dimensional Regression
Pennsylvania State University(宾夕法尼亚州立大学);Xiamen University(厦门大学)
本文提出AdaTrans自适应迁移学习方法,通过融合惩罚和自适应权重在高维回归中检测特征级或样本级可迁移结构,实现选择性信息融合并达到接近oracle的收敛速率。
2024-11-25 cs.LG math.ST stat.ME
Source-Function Weighted-Transfer Learning for Nonparametric Regression with Seemingly Similar Sources
同质性,或者更一般地说,源域和目标域之间的相似性似乎对正迁移学习至关重要。然而,在实践中,相似性条件很难检查,并且经常被违反。本文引入了一种由非正交性和光滑性定义的似相似性来代替常用的相似性条件。这一条件在一般情况下自然满足,甚至隐含着某种意义上的相异。基于表面相似性和$L_2$ -调整,源函数加权转移学习估计(sw-TLE)的构造。通过源函数加权,实现了自适应迁移学习,在某种意义上说,它适用于类似和不类似的情况下,具有相对较高的估计效率。特别地,在同质源和目标模型的情况下,sw-TLE甚至可以与全数据估计器竞争。建立了源函数加权估计量与James-Stein估计量之间的隐含关系,揭示了该方法的结构合理性。此外,该策略确实适用于非参数和半参数模型。综合仿真研究和实际数据分析表明,新策略明显优于竞争对手。
2023-02-22 stat.ME