Least angle and $\ell_1$ penalized regression: A review
最小角度回归是变量选择应用程序中一种很有前途的技术,为逐步回归提供了一种很好的替代方法。它解释了LASSO($\ell_1$ -惩罚回归)和前向逐步回归的类似行为,并提供了两者的快速实现。这个想法迅速流行起来,并引发了大量的研究兴趣。本文综述了最小角度回归方法及其研究现状。
2008-05-21 stat.ME stat.ML
Advanced Stationary and Non-Stationary Kernel Designs for Domain-Aware Gaussian Processes
Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室);University of California, Berkeley(加州大学伯克利分校)
高斯过程回归是一种应用广泛的函数逼近和不确定性量化方法。该技术由于其鲁棒性和可解释性最近在机器学习社区中流行起来。本文所讨论的数学方法是高斯过程框架的扩展。我们提出了先进的内核设计,只允许具有某些理想特性的功能是再生核希尔伯特空间(RKHS)的元素,所有的核方法的基础,并作为样本空间的高斯过程回归。这些理想的特性反映了基本的物理学;两个明显的例子是对称性和周期性约束。此外,可以在同一框架中定义非平稳核设计,以产生灵活的多任务高斯过程。我们将使用几个合成数据集和两个科学数据集来展示高级内核设计对高斯过程的影响。结果表明,包括领域知识,通过先进的内核设计进行沟通,对函数近似的准确性和相关性有显着的影响。
2022-01-27 cs.LG stat.ML
A selective review of sufficient dimension reduction for multivariate response regression
本文综述了多元响应的充分降维估计。广泛的SDR方法的特点是逆回归SDR估计或正向回归SDR估计。逆回归族包括混合边际估计、投影回归估计和基于距离的估计。普通最小二乘,偏最小二乘,半参数SDR估计,另一方面,讨论作为估计从正向回归家庭。
2022-02-02 stat.CO stat.ME stat.ML
Robust nonparametric regression: review and practical considerations
本文综述了非参数回归模型的离群点稳健估计方法,探讨了稳健带宽选择策略,并介绍了适用于多变量场景的高扩展性稳健回归方法。
2023-04-05 stat.ME
Modal Regression using Kernel Density Estimation: a Review
本文综述了核密度估计在模态回归研究中的最新进展。模态回归是研究响应变量和协变量之间关系的另一种方法。具体而言,模态回归使用条件模式或局部模式总结了响应变量和协变量之间的相互作用。我们首先描述了模态回归的基本模型及其基于核密度估计的估计量。然后,我们审查的估计和策略的渐近性质选择平滑带宽。我们还讨论了有用的算法和类似的替代方法的模态回归,并提出了未来的发展方向。
2017-12-07 econ.EM stat.ME
Dimension Reduction via Supervised Clustering of Regression Coefficients: A Review
降维方法的发展和使用在现代统计文献中很普遍。本文回顾了一类降维技术,其目的是同时选择相关的预测,并找到集群内共享的响应的共同影响。已证明此类方法相对于OLS估计值和套索[Tibshirani,1996]具有优越的性能,尤其是当预测因子存在多重共线性时。它们的应用,其中包括遗传学,流行病学和功能磁共振成像研究,也进行了讨论。
2022-02-17 stat.ME
Robust Linear Regression: A Review and Comparison
线性模型的普通最小二乘(OLS)估计量对设计空间中的异常值或y值中的离群值非常敏感。即使是一个单一的非典型值也可能对参数估计值产生很大影响。本文旨在回顾和描述一些可用的和流行的鲁棒技术,包括一些最近开发的,并比较它们的故障点和效率。此外,我们还使用模拟研究和实际数据的应用程序来比较现有的鲁棒方法在不同的情况下的性能。
2014-04-24 stat.ME
Review of Probability Distributions for Modeling Count Data
计数数据采用非负整数值,并且使用标准线性高斯方法(例如线性回归和主成分分析)进行适当分析具有挑战性。广义线性模型支持使用泊松分布和负二项分布等分布在回归环境中对计数进行直接建模。当计数仅包含相对信息时,多项式或Dirichlet-多项式模型可能更合适。我们回顾了概率论中多项式模型和计数模型之间的一些基本联系,并提供了详细的证明。这些关系对于文本数据和基因组学的主题建模等应用程序中的方法开发非常有用。
2020-01-10 stat.ME stat.ML
Estimating Individual Treatment Effects using Non-Parametric Regression Models: a Review
University College London(伦敦大学学院)
在卫生、经济和社会科学等学科中,大量的观测数据越来越多,研究人员对因果问题而不是预测感兴趣。在本文中,我们研究的问题,估计异质性处理效应使用非参数回归为基础的方法,从一个实证研究,旨在调查参与学校供餐计划对健康指标的影响。首先,我们介绍了与观察或非完全随机化数据进行因果推断相关的设置和问题,以及如何在统计学习工具的帮助下解决这些问题。然后,我们回顾并开发了一个统一的分类现有的国家的最先进的框架,允许个人处理效应估计通过非参数回归模型。在简要概述了模型选择的问题后,我们说明了一些方法在三个不同的模拟研究中的性能。最后,我们通过对学校供餐计划数据的实证分析,展示了一些方法的使用。
2021-11-23 cs.LG stat.ME stat.ML
Variable selection in functional regression models: a review
本文针对函数回归中的变量选择问题开展方法学进展综述,梳理函数型数据分析与高维数据分析两大统计领域的交叉研究,旨在推动二者建立更多新的学术联系。
2024-01-26 stat.ME
The Local Randomization Framework for Regression Discontinuity Designs: A Review and Some Extensions
回归不连续设计(RDD)是经济学和统计学中常见的准实验。用于分析RDD的最流行的方法利用基于连续性的假设和局部多项式回归,但最近的工作已经开发了基于局部随机化的替代假设。局部随机化框架通过将假设放置在截止点附近的分配机制上来避免建模假设。然而,大多数工作都集中在完全随机分配机制,这意味着倾向得分是相等的所有单位附近的截止。在我们对局部随机化框架的审查中,我们扩展了框架以允许任何分配机制,使得倾向得分可能不同。我们概述了随机化测试,可用于选择一个窗口周围的截止点,其中一个特定的分配机制是最合理的,以及估计因果关系的方法后,窗口和分配机制的选择。我们运用我们的方法来模糊RDD评估在意大利的大学辍学率的经济援助的影响。我们发现,在一个单一的RDD中设定不同的分配机制可以提供更细致的敏感性分析,以及更精确的因果关系的推断。
2019-11-05 stat.ME
A Survey of Tuning Parameter Selection for High-dimensional Regression
School of Statistics, University of Minnesota(明尼苏达大学统计学院)
惩罚(或正则化)回归,如Lasso及其变体所代表的,已经成为当变量数量大大超过样本量时分析高维数据的标准技术。惩罚回归的性能关键取决于调整参数的选择,调整参数决定了正则化的数量,从而决定了拟合模型的稀疏程度。调谐参数的最佳选择取决于设计矩阵的结构和未知的随机误差分布(方差、尾部行为等)。本文从理论和实践两个方面综述了高维回归中调整参数选择的研究现状。我们讨论了选择调整参数以实现预测精度或支持恢复的各种策略。我们还回顾了最近提出的几种无调谐高维回归方法。
2019-08-10 cs.LG stat.ME stat.ML
Review: A new method for estimation and use of systematic errors in Poisson regression
University of Alabama in Huntsville(亨茨维尔阿拉巴马大学)
本文提出一种新方法,用于在泊松回归中纳入系统误差,特别应用于天体光谱分析,通过扩展Cash统计量及其关联的似然比统计量来评估系统误差和模型拟合度。
2026-04-22 astro-ph.IM stat.ME
Logistic regression with missing responses and predictors: a review of existing approaches and a case study
本文综述并比较了响应变量与预测变量均可能缺失时逻辑回归的多种处理方法,通过模拟和儿童肥胖案例研究发现最大似然法表现最佳,多重插补次之,并证实既往IOTF值和体能评分对肥胖预测具有重要价值。
2024-04-30 stat.AP stat.ME
A review and recommendations on variable selection methods in regression models for binary data
由于逻辑斯谛回归在医学、金融、经济及相关领域的广泛应用,其基本变量的选择至关重要。在本文中,我们探讨了四个主要类型(基于测试,基于惩罚,基于筛选,基于树)的频率变量选择方法在逻辑斯谛回归设置。这项工作的主要目标是为从业人员提供现有文献的全面概述。基本的假设和理论,以及它们的实现细节,也被详细描述。接下来,我们进行了一个彻底的模拟研究,以探讨在各种设置下的变量选择,系数估计,预测精度以及时间复杂度方面的15种不同的方法的性能。我们采取低,中,高维设置,并考虑不同的相关结构的协变量。一个真实的应用,使用高维基因表达数据,也包括在这项研究中,以进一步了解的有效性和一致性的方法。最后,根据我们在模拟数据和真实数据中的发现,我们为从业者提供了在各种情况下选择变量选择方法的建议。
2022-05-16 stat.AP stat.ME
Granger Causality: A Review and Recent Advances
University of Washington(华盛顿大学)
格兰杰因果关系在半个多世纪前被引入,已经成为分析时间序列数据的流行工具,在许多应用领域,从经济学和金融到基因组学和神经科学。尽管这种流行,这个概念的有效性推断之间的因果关系的时间序列一直是持续辩论的话题。此外,虽然最初的定义是通用的,但计算工具的限制主要限制了格兰杰因果关系在简单的二元向量自回归过程或一组变量之间的成对关系中的应用。本文首先回顾了早期的发展和争论,讨论了最近的进展,解决了各种早期方法的缺点,从高维时间序列模型到最近的发展,考虑到非线性和非高斯观测,并允许子采样和混合频率时间序列。
2021-05-07 cs.LG stat.ME stat.ML
A review of goodness-of-fit tests for models involving functional data
在过去的十年中,出现了相当数量的涉及功能数据的拟合优度测试。我们提供了一个相对紧凑的修订这些贡献,在独立和同分布的框架内,通过审查拟合优度测试的分布和回归模型的功能预测和标量或功能响应。
2021-05-27 stat.ME
Shared Frailty Methods for Complex Survival Data: A Review of Recent Advances
依赖生存数据出现在许多情况下。一种情况是集群生存数据,其中生存数据是在家庭或医疗中心等集群上收集的。当记录每个个体的多个生存时间时,也会出现依赖生存数据。脆弱模型是处理此类数据的一种常用方法。在脆弱性模型中,相关性用随机效应表示,称为脆弱性。脆弱性模型与考克斯比例风险模型和加速失效时间模型一起使用。本文回顾了近年来在各种环境中的脆弱性模型领域的发展。在每一个设置中,我们提供了详细的模型描述,假设,可用的估计方法和R包。
2022-05-11 stat.ME
Review and Demonstration of a Mixture Representation for Simulation from Densities Involving Sums of Powers
本文综述并演示 Devroye(2009)的潜变量混合表示,以支持在 $0<q<2$ 时从含幂和惩罚项的贝叶斯后验中采样。
2024-08-03 stat.CO stat.ME
Debiased Estimators in High-Dimensional Regression: A Review and Replication of Javanmard and Montanari (2014)
University of Toronto(多伦多大学)
本文回顾并复现了Javanmard和Montanari(2014)的去偏估计方法,探讨其在高维设置下的理论基础和实证结果,分析去偏LASSO与LASSO投影估计器在不同信号强度下的性能差异。
2026-04-06 math.ST stat.ME stat.ML
Multiple Imputation: A Review of Practical and Theoretical Findings
多重插补是一种以原则性方式处理缺失数据的简单方法。本文介绍了多重插补的概述,包括重要的理论成果及其产生和使用多重插补的实际意义。以下是对生成插补的策略的回顾,包括柔性关节建模和序贯回归/链式方程/完全条件规范方法的最新进展。最后,我们比较和对比不同的方法,以产生一系列的标准估算,然后确定有前途的途径,为未来的研究。
2018-01-12 stat.ME
A Selective Review of Group Selection in High-Dimensional Models
在许多统计建模问题中,随机结构自然会出现。已经提出了几种方法来选择变量,尊重变量中的分组结构。例子包括组LASSO和几个凹组选择方法。在这篇文章中,我们给出了选择性的审查组选择的方法发展,理论特性和计算算法。我们特别注意涉及凹罚的组选择方法。我们解决了群体选择和双水平选择方法。我们描述了这些方法在非参数加性模型,半参数回归,看似无关的回归,基因组数据分析和全基因组关联研究中的几个应用。我们还强调了一些需要进一步研究的问题。
2013-01-04 math.ST stat.ME stat.TH
Fraud detection with statistics: A comment on "Evidential Value in ANOVA-Regression Results in Scientific Integrity Studies" (Klaassen, 2015)
Klaassen在(Klaassen 2015)中提出了一种检测数据操纵的方法,给出了单因素ANOVA设计单元格的平均值和标准差。这篇评论批判性地评论了这种方法。此外,受此分析的启发,一种替代的方法来测试样本相关性在几个实验。结果与匿名举报人报告的初步分析非常一致。重要的是,统计量需要几个类似的实验;基于单个实验的3个样本均值之间的相关性检验必须被认为是不可靠的。
2015-07-15 stat.ME
Spike-and-Slab Meets LASSO: A Review of the Spike-and-Slab LASSO
在过去的几十年中,高维数据集已经变得无处不在,通常具有比观测值更多的协变量。在频率论环境中,惩罚似然方法是高维数据中变量选择和估计的最流行方法。在贝叶斯框架中,尖峰和厚板方法通常用作高维建模的概率构造。在线性回归的背景下,Rockova和George(2018)引入了尖峰和平板LASSO(SSL),这是一种基于先验的方法,它提供了惩罚似然LASSO和贝叶斯点质量尖峰和平板公式之间的连续性。自成立以来,钉板LASSO已扩展到各种环境,包括广义线性模型、因子分析、图形模型和非参数回归。本文的目的是调查周围的景观钉和板LASSO方法。首先,我们阐明了吸引力的性质和计算的易处理性的SSL先验在高维。然后,我们回顾SSL的方法发展,并概述了几个理论发展。我们说明了模拟和真实数据集的方法。
2021-05-08 stat.ME
Statistical Inference and Large-scale Multiple Testing for High-dimensional Regression Models
本文对高维回归模型(包括线性和逻辑斯谛回归)的统计推断和多重检验的最新发展进行了选择性的综述。我们检查的置信区间和假设检验的各种低维目标,如回归系数和线性和二次泛函的建设。其关键技术是为目标低维目标生成去偏和去parasized估计器,并估计其不确定性。除了涵盖这些统计方法背后的动机和直觉之外,我们还讨论了它们在高维推理背景下的最优性和自适应性。此外,我们还回顾了基于多元回归模型的统计推断的最新发展和高维回归的大规模多重检验的进展。R包SIHR已经实现了本文讨论的一些高维推理方法。
2023-01-25 math.ST stat.ME stat.TH
Proxy Variable in OECD Database: Application of Parametric Quantile Regression and Median Based Unit Rayleigh Distribution
Faculty of Graduate Studies for Statistical Research, Cairo University(开罗大学统计研究高等学院)
本文提出专为分位数回归设计的基于中位数的单位Rayleigh(MBUR)分布,并利用OECD数据应用参数化MBUR分位数回归,展示了其连接统计理论与数据分析的潜力。
2025-10-26 stat.AP stat.ME