Optimal Bandwidth Choice for Robust Bias Corrected Inference in Regression Discontinuity Designs
回归不连续性(RD)设计中的现代经验工作通常采用局部多项式估计和均方误差(MSE)最优带宽选择的推断。该带宽产生MSE最优RD处理效应估计器,但通过构造对于推断无效。稳健的偏差校正(RBC)推理方法是有效的,当使用MSE最优带宽,但我们表明,他们产生次优的置信区间的覆盖误差。我们建立有效的覆盖误差扩展RBC置信区间估计,并使用这些结果提出新的推理最佳带宽选择形成这些区间。我们发现,当目标是构建具有最小覆盖误差的RBC置信区间时,RD点估计的标准MSE最优带宽太大。我们进一步优化覆盖误差背后的常数项,以获得RBC推断所需的辅助带宽的新的最佳选择。我们的扩展还建立了RBC推理产生高阶细化(相对于传统的欠平滑)在RD设计的背景下。我们的主要研究结果包括尖锐和尖锐的扭结RD设计条件异方差,我们讨论了扩展模糊和其他RD设计,聚类抽样,干预前协变量调整。的理论研究结果说明了Monte Carlo实验和实证应用,和主要的方法学结果可在\texttt{R}和\texttt{Stata}包。
2020-01-03 econ.EM stat.ME
Variable selection in linear regression models: choosing the best subset is not always the best choice
线性回归中的变量选择是一个讨论较多的问题。最佳子集选择(BSS)通常被认为是直观的“黄金标准”,其使用仅受其NP难性质的限制。诸如最小绝对收缩和选择操作符(Lasso)或弹性网(Enet)之类的替代方法已成为高维设置中的选择方法。最近的一项建议表示BSS作为一个混合整数优化问题,使更大的问题已经成为可行的合理的计算时间。我们提出了一个广泛的中性比较评估变量选择性能,在线性回归,BSS相比,向前逐步选择(FSS),拉索和Enet。模拟研究考虑了各种各样的设置,这些设置在维度(相对于观测和变量的数量),信噪比和预测因子之间的相关性方面具有挑战性。作为性能的主要衡量标准,我们对每种方法都使用了尽可能好的F1分数,以确保公平的比较,而不管选择调优参数的任何标准如何,结果都得到了替代性能指标的证实。令人惊讶的是,只有在信噪比高且变量(几乎)不相关的情况下,BSS才能可靠地优于其他方法,即使在低维环境中也是如此。此外,FSS的性能几乎与BSS相同。我们的研究结果揭示了新的光通常的假设BSS是,在原则上,变量选择的最佳选择。特别是对于相关变量,像Enet这样的替代方案更快,并且在实际设置中表现得更好。
2023-02-23 stat.ME
Data generation for the logistic regression model under controlled conditions
针对受控条件下逻辑回归模型数据生成的难题,提出集成迭代二分算法,可确定截距与回归系数以生成指定患病率和预测准确率的数据,经模拟验证性能,且需考虑参数选择与预测准确率的关系用于模型评估数据生成。
2026-10-09 stat.ME
Bayesian Model Choice in Cumulative Link Ordinal Regression Models
使用比例优势(PO)模型进行有序回归在文献中无处不在。如果平行线的假设不适用于数据,则另一种方法是指定非比例优势(NPO)模型,其中允许回归参数根据响应水平而变化。然而,往往很难拟合这些模型,如果有大量的解释变量,则模型选择和拟合方面的挑战会进一步加剧。我们对解决这些问题做出了两个贡献:首先,我们开发了一种贝叶斯方法来拟合这些模型,确保随机排序条件对任意有限范围的解释变量保持不变,允许NPO模型拟合任何观察到的数据集。其次,我们使用可逆跳马尔可夫链蒙特卡罗,让模型选择PO和NPO结构的每个解释变量,并显示如何变量选择可以纳入。这些方法适用于任何单调递增的连接函数。我们说明了这些方法的实用性,从纵向研究的个人水平的风险因素影响身体状况评分的狗在南非Zenzele人口的新数据。
2015-03-26 math.ST stat.ME stat.TH
On linear regression models in infinite dimensional spaces with scalar response
在函数线性回归中,参数估计涉及到求解一个非必要的适定问题,它与一系列方法有着密切的联系,包括统计平滑、反卷积和有限维子空间上的投影。我们讨论的标准方法的基础上明确的功能主成分分析,但选择的基础组件的数量仍然是主观的,并不总是适当的讨论和合理的。在这项工作中,我们讨论了推断性质的最小二乘估计在这种情况下,不同的选择投影子空间,以及我们研究的渐近行为增加子空间的维数。
2015-02-02 math.ST stat.ME stat.TH
Data-driven calibration of linear estimators with minimal penalties
本文讨论了非参数回归中线性估计的选择问题,包括线性回归的模型选择,核岭回归中正则化参数的选择,样条平滑或局部加权回归,以及多核学习中核的选择。我们提出了一种新的算法,首先估计一致的噪声方差,基于最小惩罚的概念,这是以前介绍的模型选择的上下文中。然后,证明了将我们的方差估计插入Mallow的$C_L$罚函数中,可以得到一个满足预言不等式的算法.核岭回归和多核学习的仿真实验表明,该算法往往显着改善现有的校准程序,如广义交叉验证。
2011-09-13 math.ST stat.ME stat.ML
Interpretation of High-Dimensional Linear Regression: Effects of Nullspace and Regularization Demonstrated on Battery Data
Technical University of Darmstadt(达姆施塔特工业大学);Stanford University(斯坦福大学);Massachusetts Institute of Technology(麻省理工学院)
本文提出一种基于零空间视角的优化方法,通过合成数据和锂离子电池数据揭示了正则化与z-scoring等设计选择对高维线性回归可解释性的影响,为构建模型和推理底层线性模型提供了指导。
2023-09-06 cs.LG stat.AP stat.ME
A Weighted Regression Approach to Break-Point Detection in Panel Data
North-West University(西北大学)
本文提出了一种加权回归方法,用于检测面板数据中横截面均值的变化,通过估计干扰参数并构造检验统计量,适用于弱和强横截面依赖情况。
2025-12-01 math.ST stat.ME stat.TH
Convergence properties of Gibbs samplers for Bayesian probit regression with proper priors
贝叶斯概率回归模型(Albert和Chib(1993))是流行的,广泛用于二元回归。虽然在没有任何先验信息的情况下,回归系数的不适当的平坦先验是适当的选择,但是当先验信息可用时或者在系数的数量($p$)大于样本大小($n$)的现代高维设置中,适当的正态先验是期望的。对于这两种选择的先验,由此产生的后验密度是棘手的,数据Dugmentation(DA)马尔可夫链是用来产生近似样本的后验分布。建立这个DA马尔可夫链的几何遍历性是很重要的,因为它提供了理论保证构造标准误差的马尔可夫链为基础的后验量的估计。在本文中,我们首先表明,在正常的先验的情况下,DA马尔可夫链是几何遍历 * 的所有 * 选择的设计矩阵$X$,$n$和$p$(不像不适当的先验的情况下,其中$n \geq p$和另一个条件$X$后的适当性本身)。我们还得到了DA马尔可夫链是迹类的充分条件,即,相应算子的本征值是可求和的。特别是,这使我们能够得出结论,Haar PX-DA三明治算法(通过在DA算法的两个步骤之间插入一个廉价的额外步骤获得)在适当的意义上严格优于DA算法。
2017-01-03 math.ST stat.ME stat.TH
Multinomial probit model based on joint quantile regression
本文针对多项选择数据中相对效用分布的分位数分析需求,提出将联合分位数回归与多项 probit 模型相结合的方法,并通过 Gibbs 抽样实现贝叶斯参数估计,在多个数据集上获得了按分位数解释的参数结果。
2025-08-19 stat.ME
Adaptive Ridge-Penalized Functional Local Linear Regression
本文介绍了一种新颖的泛函局部线性回归多维岭惩罚方法。函数数据的非参数回归是从其多元对应物扩展而来的,并且已知对$J$的选择敏感,其中$J$是数据的投影子空间的维数。在多变量设置下,粗糙度惩罚有助于减少方差。然而,在有限的作品涵盖粗糙度惩罚下的功能设置,大多数只使用一个单一的标量调整。我们的新方法提出了一类数据自适应的岭惩罚,这意味着模型会根据数据集自动调整惩罚的结构。该结构具有$J$自由参数,并且使得能够进行二次规划搜索以获得最优调谐参数,所述最优调谐参数使预测的估计均方误差(MSE)最小化,并且能够将不同的粗糙度惩罚水平应用于每个$J$基础。通过多个模拟场景和两个真实数据的例子证明了该方法在预测精度和减少有限数据方差方面的优势。证明了它的渐近性能,并与无惩罚的泛函局部线性回归进行了比较。
2021-09-17 stat.AP stat.CO stat.ME
Principal Covariate Regression with Nuclear Norm Penalty
Unit Methodology and Statistics, Institute of Psychology(方法学与统计单元,心理学研究所);Leiden University(莱顿大学)
提出PcovRnnp方法,通过核范数惩罚同时实现高维数据中的降维和正则化回归,避免传统方法分步选择的缺陷。
2026-06-23 stat.ME
Restricted Regression in Networks
本文提出受限网络回归模型,通过对协变量正交化随机效应以缓解网络回归中的共线性与网络混杂问题,并改进回归系数估计。
2023-11-29 stat.ME
Binary Choice under Asymmetric Loss in a Data-Rich Environment: Theory and an Application to Algorithmic Fairness
UNC Chapel Hill(北卡罗来纳大学教堂山分校);IIT Delhi(德里印度理工学院)
研究数据丰富环境下非对称损失的二元选择问题,提出通过对逻辑回归或先进机器学习技术进行基于损失的重新加权来实现有效决策,并应用于审前拘留的算法公平性。
2025-11-04 econ.EM math.ST stat.AP
Bayesian model choice via mixture distributions with application to epidemics and population process models
我们描述了一种新的方法来评估贝叶斯因子。其关键思想是引入一个超模型,其中竞争模型是混合分布的组成部分。混合概率的推断然后产生贝叶斯因子的估计。我们的动机是设置所观察到的数据是一个随机人口过程的部分观察到的实现,虽然方法有更广泛的适用性。这些方法允许缺失数据和在模型之间共享参数。说明性的例子,包括流行病,人口过程和回归模型,显示的方法是有竞争力的现有方法相比。
2016-02-14 stat.CO stat.ME
Valid standard errors for Bayesian quantile regression with clustered and independent data
针对贝叶斯分位数回归中AL似然置信区间覆盖率差的问题,提出使用无穷小刀切法标准误,适用于独立和聚类数据,并提供R包IJSE。
2024-12-24 stat.AP stat.ME
Fisher Lecture: Dimension Reduction in Regression
首先讨论了R. A. Fisher的早期书面意见,涉及到降维,本文重温主成分作为一种还原方法在回归,发展了几个基于模型的扩展和一般方法的描述结束基于模型和无模型的降维回归。有人认为,主要组成部分和相关方法的作用可能比以前看到的更广泛,以及预测的观测值的条件的共同做法可能不必要地限制回归方法的选择。
2007-08-28 stat.ME
Sufficient dimension reduction for regression with metric space-valued responses
针对度量空间值响应回归,提出一种避免核函数的欧几里得嵌入技术,扩展经典降维方法,并在模拟和真实数据上验证了优越性能。
2024-05-25 cs.HC stat.CO stat.ME
Data Augmentation for Imbalanced Regression
Univ. Lyon(里昂大学);UCBL(里昂第一大学);ISFA(里昂金融与保险学院);Aix-Marseille Univ.(艾克斯-马赛大学);CNRS(法国国家科学研究中心);UQAM(魁北克大学蒙特利尔分校)
在这项工作中,我们考虑的问题,不平衡的数据在回归框架中的不平衡现象涉及连续或离散的协变量。这种情况可能导致估计数出现偏差。在这种情况下,我们提出了一个数据增强算法,结合了加权reserve(WR)和数据增强(DA)的过程。在第一步中,DA程序允许探索比初始支持更广泛的支持。在第二步中,WR方法将外生分布驱动到目标分布。我们讨论的DA程序的选择,通过数值研究,说明了这种方法的优点。最后,研究了一个精算应用。
2023-02-18 cs.LG stat.ME stat.ML
Nonparametric principal subspace regression
在科学应用中,多变量观测通常与时间或空间协变量相结合,其潜在信号平滑地变化。标准的方法如主成分分析和因子分析忽略了数据的光滑性,而多元线性或非参数回归不能利用多变量响应变量之间的相关信息。我们提出了一种新的方法命名为非参数主子空间回归,以克服这些问题。通过解耦模型差异,引入了一个简单而通用的两步框架,这给模型拟合的选择留下了很大的灵活性。建立了具有理论属性的一般框架,并提供了既满足要求又享有理论保障的实施程序。我们证明了良好的有限样本的性能,所提出的方法,通过模拟和实际数据的应用,从脑电图研究。
2019-10-12 math.ST stat.ME stat.TH
Conjugate priors and bias reduction for logistic regression models
统计实践中通常使用二项响应的逻辑斯谛回归模型。然而,由于数据可分性,最大似然估计可能不存在。我们解决这个问题,通过考虑共轭先验惩罚,总是产生有限的估计。这样的规范有一个明确的贝叶斯解释,并享有几个不变性属性,使其成为一个有吸引力的优先选择。我们表明,所提出的方法导致Firth(1993)的减少偏差的方法的准确近似,从而导致具有比最大似然更小的渐近偏差的估计量,并且其存在性总是有保证的。此外,所考虑的惩罚似然可以表示为真实似然,其中原始数据被伪计数的集合替换。因此,我们的方法可以利用完善的和可扩展的算法用于逻辑斯谛回归。我们比较我们的估计与其他减少偏差的方法,大大提高了计算性能,并取得了吸引人的推理结果。
2022-02-17 stat.ME
Multi-transport Distributional Regression
Shanghai University of Finance and Economics(上海财经大学);National University of Singapore(新加坡国立大学)
本文提出了一种多运输分布回归方法,通过Wasserstein空间中的加权Fréchet均值聚合预测变量分布,提升预测性能和模型可解释性。
2026-01-07 stat.ME
l1-norm quantile regression screening rule via the dual circumscribed sphere
当高维数据集存在离群值或重尾误差时,l1范数分位数回归是一种常见的选择。然而,当数据的特征尺寸超高时,解决这个问题在计算上是昂贵的。据我们所知,现有的筛选规则不能加快计算的l1-范数分位数回归,这是由于不可微的分位数函数/弹球损失。本文引入了对偶外切球技术,提出了一种新的l1范数分位数回归筛选规则。我们的规则表示为给定数据的封闭形式的函数,并消除了不活跃的功能,计算成本低。在模拟数据和真实数据集上的数值实验表明,该筛选规则可以有效地消除几乎所有的非活动特征。此外,该规则可以帮助减少高达23倍的计算时间,与没有我们的筛选规则的计算相比。
2020-12-17 math.OC stat.ME
Estimating the perturbed utility route choice model with trip-level data
University of Copenhagen(哥本哈根大学);Technical University of Denmark(丹麦技术大学);Technion(以色列理工学院)
本文提出适用于个体出行数据的microPURC估计量,采用嵌套不动点算法,经模拟数据验证统计性质,并用真实大数据集实践,完善扰动效用路径选择模型的估计方法。
2026-08-13 econ.EM math.OC stat.ME
Prediction Suboptimality of the Lasso in Sparse Linear Regression
Waseda University(早稻田大学)
研究Lasso在高维线性回归中选择调参方式时的预测性能次优问题,发现通过简单改进可在高概率事件和均方误差上提升性能,分析了高斯极大值在选定或局部化支撑上的作用,并讨论了设计矩阵结构因素对次优现象的影响及扩展至其他估计器和更一般噪声结构的可能性。
2026-05-18 math.ST stat.ME stat.TH
Bayesian Restricted Likelihood Methods: Conditioning on Insufficient Statistics in Bayesian Regression
贝叶斯方法已被证明在广泛的科学问题上是成功的,并且与竞争方法相比具有许多有据可查的优势。然而,这些方法遇到困难的两个主要和普遍的问题:处理数据集与离群值和处理模型误指定。我们概述了这些问题的以前的解决方案的缺点,并提出了一种新的方法作为替代。当使用新方法时,数据通过一组不充分的统计量进行汇总,目标是感兴趣的推断量,并且先验分布使用汇总统计量而不是完整的数据进行更新。通过仔细选择条件统计量,我们保留了贝叶斯方法的主要优点,同时降低了分析对条件统计量未捕获的数据特征的敏感性。为了降低对离群值的敏感性,经典的鲁棒估计(例如,M-估计)是条件统计的自然选择。这项工作的一个主要贡献是发展的数据增强马尔可夫链蒙特卡罗(MCMC)算法的线性模型和一大类的汇总统计。我们证明了模拟和真实的数据集包含离群值和模型误指定的方法。与竞争方法相比,成功表现在对感兴趣的数据点具有更好的预测性能。
2018-12-19 stat.ME
Handling Sparse Non-negative Data in Finance
针对金融非负数据同时存在异方差与稀疏性时泊松回归效果不佳的问题,提出含泊松回归的广义矩估计类,经交叉验证选优,实验证实最优估计随场景变化大,需更灵活的估计框架。
2025-09-01 econ.EM stat.ME
Gradient boosting for extreme quantile regression
极端分位数回归提供数据范围外的条件分位数的估计值。经典的分位数回归在这种情况下表现不佳,因为尾部区域的数据太少。极值理论用于超出观测值范围的外推和条件极值分位数的估计。基于超阈值峰值法,将高阈值以上的条件分布近似为协变量相关参数的广义Pareto分布.我们提出了一个梯度提升过程来估计一个条件广义Pareto分布,通过最小化其偏差。交叉验证用于选择调优参数,如树的数量和树的深度。我们讨论诊断图,如变量的重要性和部分依赖图,这有助于解释拟合模型。在模拟研究中,我们表明,我们的梯度提升过程优于经典的方法,从分位数回归和极值理论,特别是对于高维预测空间和复杂的参数响应曲面。在荷兰的降水数据的天气预报的统计后处理的应用程序。
2022-12-21 stat.ME
A Type of Nonlinear Fréchet Regressions
本文提出一类非线性Fréchet回归,用于在一般度量空间中拟合本质非线性模型并在Hilbert空间中唯一识别非线性结构,具有估计一致性等理论性质且表现显著优于竞争方法。
2024-03-27 stat.ME
Bayesian sparse multiple regression for simultaneous rank reduction and variable selection
我们开发了一种贝叶斯方法,旨在同时估计低秩和行稀疏矩阵的高维多响应线性回归模型。我们考虑了精心设计的收缩前的矩阵的回归系数,从而避免了需要指定一个先验的秩,并缩小回归矩阵对低秩和行稀疏结构。我们提供了理论支持,所提出的方法,通过证明极小极大最优的后验均值下的预测风险在超高的维度设置的预测因子的数量可以增长相对于样本量的次指数。一个一步的后处理方案引起的估计系数矩阵的行上的组套索处罚变量的选择,与默认选择的调谐参数。我们还提供了一个估计的秩使用一种新的优化函数实现降维的协变量空间。我们展示了所提出的方法在一个广泛的模拟研究和一个真实的数据例子的性能。
2019-04-09 math.ST stat.ME stat.TH