M-quantile regression for multivariate longitudinal data: analysis of the Millennium Cohort Study data
本文提出了一个M-分位数回归模型,用于分析多变量、连续、纵向数据。M-分位数回归代表了标准回归模型的一种有吸引力的替代方法,因为它结合了分位数的稳健性和预期回归的效率,提供了响应变量分布的完整图像。离散的,个体特异性的,随机参数被用来解释在不同时间记录的相同响应内的依赖性和在给定时间在相同样品单元上观察到的不同响应之间的关联。在线性预测器中还引入了合适的参数化,以考虑单个特定随机参数与观测协变量向量之间可能的依赖性,即考虑某些协变量的内隐性。提出了一种扩展的期望最大化算法,在极大似然方法下得到模型参数估计。该模型适用于分析的优势和困难的问卷分数在英国的千年队列研究。
2017-05-08 stat.ME
Stochastic Online Instrumental Variable Regression: Regrets for Endogeneity and Bandit Feedback
Université de Lille(里尔大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心)
本文针对在线学习中噪声与协变量相关的内生性问题,提出在线两阶段最小二乘法 O2SLS 及其老虎机算法 OFUL-IV,并证明其遗憾界与现有外生性方法同阶或匹配下界。
2024-02-25 cs.LG stat.ML
Interquantile Shrinkage in Spatial Quantile Autoregressive Regression models
空间相关数据经常出现在空间计量经济学、流行病学等领域。为了处理变量间的相关性和利用协变量估计分位数效应,引入了空间分位数自回归模型(SQAR模型)。传统的分位数回归只关注拟合模型,而忽略了多个条件分位数函数的检验,这提供了对响应和协变量之间关系的全面视图。因此,有必要研究不同分位数下的不同回归斜率,特别是在分位数系数具有某些共同特征的情况下。然而,传统的Wald多重检验不仅增加了计算负担,而且带来了更大的FDR。本文将参数估计和检验问题转化为惩罚问题,在估计不同分位数下的参数的同时,识别分位数间的共性。为了避免SQAR模型中空间滞后变量引起的内隐问题,在估计前引入工具变量,提出了基于融合自适应LASSO和融合自适应超范数惩罚的两阶段估计方法。所提出的估计方法的预言性质的建立。数值实验表明,该方法比传统的分位数回归方法具有更高的估计效率。
2021-11-13 stat.ME
Spatial function-on-function quantile regression
Marmara University(马尔马拉大学);Colorado School of Mines(科罗拉多矿业学院)
本文提出SpatialFoFReg R包实现的空间函数-函数分位数回归框架,通过函数型空间自回归结构与两阶段工具变量法,在PM₂.₅等数据上表现优于非空间及均值模型,用于环境风险管理等领域。
2026-08-24 math.ST stat.ME stat.TH
Spatial Scalar-on-Function Quantile Regression Model
Yildiz Technical University(伊尔迪兹理工大学);Marmara University(马尔马拉大学);Macquarie University(麦考瑞大学)
提出含空间滞后项的空间标量对函数分位数回归模型,并用工具变量法稳健估计,模拟与环境数据验证了其预测、稳健性和可解释性优势。
2025-10-18 stat.ME
Causal Gradient Boosting: Boosted Instrumental Variable Regression
文献中的最新进展表明,标准的监督学习算法是不适合的问题与内生解释变量。为了校正内参数偏差,已经开发了许多非参数工具变量回归方法的变体。在本文中,我们提出了一种替代算法称为boostIV,建立在传统的梯度增强算法,并纠正了内循环的偏见。该算法非常直观,类似于标准2SLS估计量的迭代版本。此外,我们的方法是数据驱动的,这意味着研究人员不必对目标函数近似的形式或工具的选择做出立场。我们证明了我们的估计是一致的温和的条件下。我们进行了广泛的蒙特卡罗模拟,以证明我们的算法相比,其他最近开发的方法的有限样本性能。我们表明,boostIV是在最坏的水平与现有的方法,平均显着优于他们。
2021-01-15 econ.EM stat.ML
Inference for Rank-Rank Regressions
University of California at Los Angeles(加州大学洛杉矶分校);Ludwig-Maximilians-Universität München(慕尼黑大学)
针对秩-秩回归斜率系数常用推断方法无效、分布不连续时OLS估计量受秩并列处理影响的问题,研究推导了OLS估计量的渐近分布,并为通用秩-秩回归设定提供有效推断方法,服务于代际流动性测量研究。
2026-08-12 econ.EM math.ST stat.TH
Nonparametric estimation of the derivative of the regression function: application to sea shores water quality
本文研究了非参数回归模型中回归函数导数的非参数估计。我们实现了一个非常有效和易于处理的统计过程的基础上的衍生物的递归Nadaraya-Watson估计。我们建立了估计的几乎必然收敛性和渐近正态性。我们还说明了我们的非参数估计程序与海岸水质和瓣膜的模拟和现实生活中的数据。
2016-06-20 math.ST stat.TH
A robust mixed-effects quantile regression model using generalized Laplace mixtures to handle outliers and skewness
Syneos Health;University of the Free State(自由州大学);KU Leuven(荷语鲁汶大学);University of Stellenbosch(斯坦陵布什大学)
本文提出一种基于受污染广义非对称拉普拉斯混合的贝叶斯混合效应分位数回归模型,以稳健处理离群值和偏态,并在HIV病毒载量衰减数据中验证其优于传统方法。
2025-06-20 stat.ME
How Many Machines Can We Use in Parallel Computing for Kernel Ridge Regression?
本文旨在解决分布式统计推断中的一个基本问题:在并行计算中我们可以使用多少台机器?在核岭回归中,我们在两个重要的环境中解决这个问题:非参数估计和假设检验。具体来说,我们找到一个范围内的机器的数量下,最佳的估计/测试是可以实现的。所采用的经验过程方法提供了一个统一的框架,使我们能够处理各种回归问题(如薄板样条和非参数加性回归)在不同的设置(如单变量,多变量和发散维设计)。值得注意的是,在两种重要情况下,机器数量的上界被证明是不可改进的(直到对数因子):平滑样条回归和高斯RKHS回归。我们的理论发现得到了彻底的数值研究的支持。
2019-02-24 math.ST stat.ML stat.TH
Invariant quantile regression for heterogeneous environments
School of Mathematics and Statistics, Xi'an Jiaotong University(西安交通大学数学与统计学院)
针对多环境数据集提出不变分位数回归框架,通过核平滑估计器利用环境间不变性实现因果发现和内生性克服。
2026-06-23 stat.ME
Hierarchical Mixture-of-Experts Model for Large-Scale Gaussian Process Regression
Imperial College London(帝国理工学院)
提出了一种实用的、可扩展的大规模非线性概率回归高斯过程模型。我们的混合专家模型在概念上是简单的,分层重组计算的一个完整的高斯过程的整体近似。封闭形式和分布式计算允许高效和大规模的并行化,同时保持内存消耗小。如果有足够的计算资源,我们的模型可以处理任意大的数据集,没有显式稀疏近似。我们提供了强有力的实验证据表明,我们的模型可以应用于规模远远超过数百万的大型数据集。因此,我们的模型有可能为一般大规模高斯过程的研究奠定基础。
2014-12-09 cs.AI cs.LG stat.CO
Generalized Method of Moments Estimator Based On Semiparametric Quantile Regression Imputation
在这篇文章中,我们考虑一种插补方法来处理基于半参数分位数回归估计的缺失响应值。在所提出的方法中,缺失的响应值生成使用估计的条件分位数回归函数在给定的协变量值。我们采用广义矩量法估计的参数定义通过一个一般的估计方程。我们证明了所提出的估计,它结合了半参数分位数回归插补和广义矩方法,具有竞争优势,对一些最广泛使用的参数和非参数插补估计。证明了估计量的相合性和渐近正态性,并给出了方差估计。有限的模拟研究和实证研究的结果,显示所提出的方法的充分性。
2014-04-11 math.ST stat.TH
BGM-IV: AI-Powered Bayesian Generative Modeling for Instrumental Variable Regression with High-Dimensional Covariates
Department of Biostatistics(生物统计学系)
BGM-IV通过构建因果结构的潜在空间,解决高维协变量下的非线性工具变量估计问题,提供了一种有效的方法。
2026-09-29 cs.AI cs.LG stat.ME
Spatially and Robustly Hybrid Mixture Regression Model for Inference of Spatial Dependence
Purdue University(普渡大学);Indiana University(印第安纳大学);Amazon(亚马逊);Peking University(北京大学)
在本文中,我们提出了一个空间稳健混合回归模型来研究一个响应变量和一组解释变量之间的关系在空间域上,假设的关系可能会表现出复杂的空间动态模式,不能被捕获的常数回归系数。我们的方法集成了强大的有限混合高斯回归模型与空间约束,同时处理空间非平稳性,局部同质性和离群污染。与现有的空间回归模型相比,我们提出的模型假设存在一些不同的回归模型,这些模型是基于表现出类似的响应-预测关系的观测值估计的。因此,所提出的模型不仅考虑了空间趋势的非平稳性,而且还将观测结果聚类为几个不同的同质组。这提供了一个优势,在解释与几个固定的子过程识别,捕捉响应和预测变量之间的主要关系。此外,该方法采用了强大的程序来处理回归离群值和空间离群值的污染。通过这样做,我们稳健地将空间域分割成具有相似回归系数的不同局部区域和纯粹是离群值的零星位置。设计了严格的统计假设检验程序来检验这种分割的显著性。在许多合成数据集和真实数据集上的实验结果表明,与其他鲁棒的有限混合回归,空间回归和空间分割方法相比,我们提出的方法具有鲁棒性,准确性和有效性。
2021-09-28 cs.LG stat.ME
Hybrid Censored Quantile Regression Forest to Assess the Heterogeneous Effects
在许多应用中,对删失响应变量的异质处理效应是主要关注的,并且很自然地评估不同分位数的效应(例如,中位数)。大量的潜在效应修饰因子、处理效应的未知结构以及右删失的存在构成了重大挑战。在本文中,我们开发了一个混合森林方法称为混合删失分位数回归森林(HCQRF),以评估异质性的影响,随着高维变量。混合估计方法利用随机森林和删失分位数回归。我们提出了一个双加权估计过程,包括一个再分布的质量权重来处理审查和一个自适应最近邻权重来自森林处理高维效应函数。我们提出了一个变量的重要性分解来衡量一个变量对处理效应函数的影响。大量的仿真研究证明了HCQRF的有效性和稳定性。仿真研究的结果也证明了变量重要性分解的有效性。我们将HCQRF应用于结直肠癌的临床试验。我们实现了有见地的估计的处理效应和有意义的变量重要性的结果。变量重要度的计算结果也证实了分解的必要性。
2022-12-12 stat.ME stat.ML
Warped Functional Regression
函数数据的一个典型特征是除了幅度变化之外还存在相位变化。现有的函数回归方法不能以显式和有效的方式处理时间变化。在本文中,我们介绍了一种功能回归方法,将时间弯曲作为模型的一个内在部分。该方法实现了良好的预测能力,在一个吝啬的方式,并允许统一的统计推断的相位和幅度分量。导出了估计量的渐近分布,并通过模拟研究了其有限样本性质。本文介绍了一个涉及地面臭氧轨迹的应用实例。
2014-04-20 stat.ME
A Robbins-Monro procedure for estimation in semiparametric regression models
本文讨论半参数回归模型中位移的参数估计和回归函数的非参数估计。我们实现了一个非常有效和易于处理的Robbins-Monro过程。一方面,我们提出了一个类似于Robbins-Monro的随机算法,以估计移位参数。对回归函数的初步评估对于估计偏移参数是不必要的。另一方面,我们利用递归Nadaraya-Watson估计的回归函数的估计。该核估计器考虑了移位参数的先前估计。我们建立了Robbins-Monro和Nadaraya-Watson估计量的几乎必然收敛。我们的估计的渐近正态性也被提供。最后,我们说明了我们的半参数估计过程模拟和真实数据。
2012-06-04 math.PR math.ST stat.TH
Regression Adjustments for Double Randomization in Two-Sided Marketplaces
Stanford Statistics(斯坦福大学统计学);Stanford GSB(斯坦福大学商学院);Amazon(亚马逊);UCSD Economics(加州大学圣地亚哥分校经济学)
针对双边市场中的多重随机化设计,提出最优线性回归调整策略以估计总效应、溢出效应和直接效应,推导出可估计的最小渐近方差估计量,并通过模拟验证效率提升。
2026-06-26 math.ST stat.ME stat.TH
Smoothed quantile regression for censored residual life
我们考虑了一个回归模型的分位数的剩余寿命,剩余寿命在一个特定的时间。我们提出了一个光滑的诱导版本现有的非光滑估计方程的方法估计回归参数。所提出的估计方程是光滑的回归参数,所以解决方案可以很容易地通过标准的数值算法得到。此外,在建议的估计方程的光滑性,使人们能够获得一个强大的ESTA型协方差估计的回归估计的辅助下,一个有效的恢复方法。为了处理右截尾数据,采用截尾权的逆概率作为权值。建立了估计量的相合性和渐近正态性。广泛的模拟研究进行验证所提出的估计在各种有限样本设置的性能。我们将所提出的方法应用于牙科研究数据,以评估牙科牙齿的寿命。
2022-05-01 stat.CO
High-Dimensional Spatial Quantile Function-on-Scalar Regression
本文提出了一种新的空间分位数标量函数回归模型,该模型研究了给定标量预测因子的高维功能反应的条件空间分布。分位数回归和copula建模的强度,我们能够明确地描述整个空间域上的功能或图像响应的条件分布。我们的方法提供了一个全面的理解标量协变量对不同分位数水平的功能反应的影响,也给出了一个实用的方法来生成新的图像给定的协变量值。在理论上,我们建立了固定设计和随机设计下系数函数估计的极大极小收敛速度。我们进一步开发了一个有效的原始-对偶算法来处理高维图像数据。仿真和实际数据分析进行了检查有限样本的性能。
2020-12-19 stat.ME
Additive quantile regression for clustered data with an application to children's physical activity
加法模型是灵活的回归工具,可以处理线性和非线性项。后者通常通过平滑样条来建模。加性混合模型扩展了加性模型,以在根据聚类设计对数据进行采样时包括随机项(例如,纵向)。当重复测量可用时,这些模型可用于研究人类的生长,某些疾病机制和能量消耗等现象。本文提出了一种新的分位数回归的可加混合模型。我们的方法的动机是应用到身体活动的基础上,超过50万加速度计测量的儿童在英国千年队列研究的数据集。在模拟研究中,我们评估了现有的替代方案所提出的方法。
2019-06-07 stat.ME
Latent drop-out transitions in quantile regression
纵向数据的特征在于来自同一个体的观测值之间的相关性。从回归的角度来看,这种依赖性可以有效地归因于每个个体特有的未观察到的特征(协变量)。在此基础上,在广义线性模型的背景下,建立了具有时常数和时变结构的随机参数模型。在分位数回归框架中,基于随机参数的规范只是最近才被人们所关注。我们从Farcomeni(2012)关于纵向分位数隐马尔可夫模型的最新提议开始,并将其扩展到处理潜在的信息缺失数据机制。特别是,我们专注于单调缺失,这可能会导致选择偏差,因此,不可靠的推断模型参数。我们详细介绍了所提出的方法,通过重新分析一个众所周知的数据集的动态CD4细胞计数在HIV血清转换器,并通过模拟研究。
2015-09-04 stat.ME
D-vine quantile regression with discrete variables
分位数回归是对条件分位数的预测,在各个领域都有应用。通常,一些或所有变量都是离散的。作者提出了两种新的分位数回归方法来处理这种混合离散-连续数据。这两种方法都推广了连续D-vine分位数回归,其中响应和协变量之间的依赖关系由参数D-vine建模。D-vine分位数回归提供了非常灵活的模型,可以实现准确和快速的预测。此外,它自动处理经典分位数回归的主要问题,如分位数交叉和协变量之间的相互作用。第一种方法保持了D-葡萄树的参数估计,但修改了公式以考虑离散性。第二种方法使用连续卷积来估计D-vine,以使离散变量连续,然后非参数地估计D-vine。一个模拟研究,检查的情况下,离散连续的D-藤分位数回归可以提供更好的预测能力。最后,两个介绍的方法的功能证明了一个现实世界的例子预测的自行车租赁数量。
2017-05-23 stat.ME
Interval-censored linear quantile regression
本文提出一种局部加权方法估计区间删失线性分位数回归,通过局部核平滑与改进EM算法估计权重及分布,并经模拟和HIV/AIDS数据验证了其有效性。
2024-04-17 stat.CO stat.ME
Fréchet random forests for metric space valued regression with non euclidean predictors
epoch intelligence;Univ. Bordeaux(波尔多大学);INSERM(法国国家健康与医学研究院);INRIA(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Bordeaux INP(波尔多国立综合理工学院);IMB(数学与基础科学研究所)
本文提出Fréchet树和Fréchet随机森林,通过引入新的节点分裂方法和推广预测过程,支持输入输出变量在一般度量空间取值的异构数据回归,并验证了其一致性与有效性。
2024-02-16 cs.LG stat.ME stat.ML
Adaptive Hard Thresholding for Near-optimal Consistent Robust Regression
Carnegie Mellon University(卡内基梅隆大学);University of California, Berkeley(加州大学伯克利分校);Microsoft Research, India(微软研究院印度分院)
本文研究了响应变量具有扰动的鲁棒线性回归问题。我们考虑了不经意的对手模型,对手在完全不知道数据的情况下破坏了一小部分响应。我们提供了一个几乎线性的时间估计,一致估计真实的回归向量,即使与腐败的$1-o(1)$分数。在这种情况下,现有的结果要么不能保证一致的估计,要么只能处理一小部分的腐败。我们还将我们的估计扩展到稳健的稀疏线性回归,并表明在这种情况下也有类似的保证。最后,我们将我们的估计应用于具有重尾噪声的线性回归问题,并表明即使噪声具有无界方差(例如,柯西分布),其中大多数现有的结果甚至不适用。我们的估计是基于一种新的变体的离群值去除通过硬阈值,其中阈值是自适应选择的,关键是依赖于随机性,以逃避坏的固定点的非凸硬阈值操作。
2019-03-19 cs.LG stat.ML
Generalized Linear Model Regression under Distance-to-set Penalties
广义线性模型(GLM)中的估计由于约束条件的存在而变得复杂。可以通过最大化惩罚对数似然来处理约束。像套索这样的惩罚在高维中是有效的,但经常会导致不必要的收缩。本文探讨的是惩罚约束集的平方距离。距离惩罚比代数和正则化惩罚更灵活,并且避免了收缩的缺点。为了优化距离惩罚目标,我们利用优化最小化原则。在此框架内构建的算法是服从加速和全局收敛的保证。应用于形状约束,稀疏回归和秩限制矩阵回归的合成和真实数据展示了强大的经验性能,即使在非凸约束。
2017-11-03 stat.ME stat.ML