Combining matching and linear regression: Introducing a mathematical framework and software for simulations, diagnostics and calibration
结合匹配和回归进行因果推断,在消除由于混杂变量导致的处理效应估计偏倚方面具有双重稳健性。然而,在大多数现实世界的应用中,治疗和对照人群不足以匹配,以实现所有混淆变量及其非线性/相互作用函数的完美或接近完美的平衡,从而导致权衡。[this事实与回归无关,所以与第一句话有点脱节。此外,方差是一个重要的贡献者对小样本的总误差偏差,因此必须考虑到方法的决定。在本文中,我们开发了一个数学框架来量化匹配和线性回归对处理效应估计的偏差和方差的综合影响。该框架包括表达式的偏差和方差在误指定的线性回归,定理匹配的偏差和方差的影响,和一个约束的偏差估计方法量化误指定偏差,并结合方差达到总误差。因此,考虑到从业者对一个直观参数的假设/信念,我们称之为“省略的R平方”,方法决定可以基于最小化这一总误差。所提出的方法从分析中排除了结果变量,从而避免了过拟合蠕变,并使其适用于观察性研究设计。偏倚和方差计算的所有核心功能,以及偏倚-方差权衡分析、匹配校准和功效分析的诊断工具,都可以通过开源R库MatchLinReg提供给研究人员和从业人员。
2015-07-11 stat.ME
Combining Envelope Methodology and Aster Models for Variance Reduction in Life History Analyses
精确估计期望达尔文适合度,即生物后代的期望寿命数,是生活史分析的核心组成部分。aster模型作为达尔文适应度分布的一个可辩护的统计模型。aster模型能够将生物体经历的主要生命阶段结合起来,这些阶段分别会影响达尔文的适应性。包络方法通过在感兴趣的未知参数和其估计量的渐近协方差阵之间建立联系来降低渐近变异性。理论上和实际应用中都知道,包络线法的引入降低了渐近变异性。我们开发了一个包络框架,包括一个新的包络估计,这是适合aster分析。我们的方法提供的精确度使研究人员能够从他们的生活史分析中得出关于达尔文适应性驱动力的更强有力的结论,而不是仅仅使用aster模型。我们的方法在模拟数据集上进行了说明,并提供了\emph{Mimulus guttatus}花的生活史分析。在两种分析中均获得了有用的方差减少。
2018-02-27 stat.AP stat.ME
Combining Non-probability and Probability Survey Samples Through Mass Imputation
本文介绍了通过质量插补将非概率和概率调查样本相结合的理论结果,这种方法最初由Rivers(2007)提出,作为样本匹配,但没有严格的理论依据。在适当的正则条件下,我们建立了质量插补估计的相合性,并导出了它的渐近方差公式。方差估计使用线性化或自助法。有限样本性能的大规模插补估计的研究通过模拟研究和应用程序分析的非概率样本收集的皮尤研究中心。
2020-11-21 stat.ME
Bivariate Hierarchical Bayesian Model for Combining Summary Measures and their Uncertainties from Multiple Sources
将来自多个数据来源的类似数量的现有估计数结合起来往往是有意义的。当每个估计值的相应方差也可用时,模型应考虑估计值本身的不确定性以及方差估计的不确定性。此外,如果估计值与其方差之间存在强关联,则还应考虑这两个量之间的相关性。在本文中,我们提出了一个双变量层次贝叶斯模型,联合模型的估计和估计方差假设这两个措施之间的相关性。我们进行模拟,以探讨所提出的双变量贝叶斯模型的性能,并比较它与其他常用的方法在不同的相关性的情况下。提出的双变量贝叶斯模型具有广泛的应用。我们说明了它的应用程序在三个非常不同的领域:PET脑成像研究,荟萃分析和小面积估计。
2021-09-15 stat.ME
On the estimation of complex statistics combining different surveys
本文提出利用线性化变量推导对齐权重,以结合不同调查信息估计复杂统计量,并通过模拟验证其能有效降低合并估计的方差。
2024-04-08 stat.ME
Online A-Optimal Design and Active Linear Regression
ENS Paris-Saclay(巴黎萨克雷高等师范学院);Inria(法国国家信息与自动化研究所);Deepmind(深度思维);ENSAE(法国国家统计与经济管理学院);Criteo AI Lab(Criteo人工智能实验室)
本文考虑了最优试验设计问题,其中决策者可以选择哪些点进行采样,以获得潜在线性模型的隐参数$β^{\star}$的估计$\hatβ$。这项工作的关键挑战在于我们所做的异方差假设,这意味着每个协变量都有一个不同的未知方差。然后,决策者的目标是找出在协变量之间分配$T$样本的总预算的最佳方法,因为对特定样本进行多次采样将减少其周围估计模型的方差(但以其他地方可能更高的方差为代价)。通过尝试最小化$\ell^2$ -损失$\mathbb{E} [\lVert\hatβ-β^{\star}\rVert^2]$,决策者实际上是最小化问题的协方差阵的迹,这对应于在线A-最优设计。结合强盗和凸优化技术,我们提出了一个新的主动采样算法,我们比较它与现有的。我们在不同的设置,包括$\mathcal{O}(T^{-2})$遗憾的情况下,协变量形成的基础上的特征空间,推广和改进现有的结果,该算法提供了理论保证。数值实验验证了我们的理论研究结果。
2020-12-30 cs.LG math.OC stat.ML
Low-order outcomes and clustered designs: combining design and analysis for causal inference under network interference
Cornell University(康奈尔大学);Meta;Yale University(耶鲁大学)
本文提出了一种结合设计与分析的方法,用于在存在网络干扰的情况下进行因果推断,通过低阶结果模型和聚类设计的结合,提高了方差减少的效率。
2026-10-20 math.ST stat.ME stat.TH
Joint spatial modeling of mean and non-homogeneous variance combining semiparametric SAR and GAMLSS models for hedonic prices
本文提出一种结合半参数SAR与GAMLSS的新方法,联合空间建模均值与非均匀方差,在均方误差和空间自回归参数估计上表现更优,并成功应用于波哥大住房享乐价格建模。
2024-09-13 stat.CO stat.ME
Understanding the Risks and Rewards of Combining Unbiased and Possibly Biased Estimators, with Applications to Causal Inference
本文研究结合高方差无偏与低方差可能有偏估计量的问题,提出一种简单替代方法,在因果推断等场景下实现更高偏差阈值与更保守权衡,并证明其MSE可透明界定。
2023-05-24 stat.ME
Reference based multiple imputation -- what is the right variance and how to estimate it
基于参考文献的多重插补方法已成为处理随机临床试验中缺失数据的常用方法。众所周知,鲁宾方差估计量与基于参考的插补估计量的真实重复抽样方差相比是有偏的。有些令人惊讶的是,这些方法越来越受欢迎,在文献中相对较少的争论是否鲁宾的方差估计或替代(较小)方差估计目标的重复抽样方差更合适。我们回顾了这场争论双方的论点,并得出结论,重复抽样方差更合适。我们回顾了不同的方法估计的频率方差,并提出了一个最近的建议,结合自举与多重插补作为一个广泛适用的一般解决方案。同时,鉴于基于参考的假设对频率方差的影响,我们认为有必要对这些方法进行进一步审查,以确定其假设的强度是否普遍合理。
2021-04-28 stat.ME
Combining parametric, semi-parametric, and non-parametric survival models with stacked survival models
对于估计条件生存函数,非参数估计可以首选参数和半参数估计,由于宽松的假设,使稳健估计。然而,即使在错误指定的情况下,参数和半参数估计量在小样本量下也可以具有更好的操作特性,这是因为与非参数估计量相比,参数和半参数估计量的方差更小。从根本上说,这是一种偏倚-方差权衡的情况,因为样本量不够大,无法利用非参数估计的低偏倚。堆叠生存模型通过最小化预测误差来估计模型的最佳加权组合,该组合可以跨越参数、半参数和非参数模型。一项广泛的模拟研究表明,堆叠生存模型通过自适应地平衡各个候选生存模型的优势和劣势,在各种场景中始终表现良好。此外,堆叠生存模型的表现与通过交叉验证选择的模型一样好,甚至更好。最后,堆叠的生存模型应用于一个著名的德国乳腺癌研究。
2014-12-20 stat.ME
Shrinkage MMSE estimators of covariances beyond the zero-mean and stationary variance assumptions
本文提出超越零均值和平稳方差假设的协方差收缩MMSE估计器,通过扩展正则化矩阵并引入置信权重提升鲁棒性,在天文检测中验证了其优越性。
2024-06-26 astro-ph.IM stat.ME
Combining Observational and Experimental Data to Improve Efficiency Using Imperfect Instruments
提出利用不完美工具变量结合观测与实验数据提高因果效应估计效率的方法,可减少方差50%,并在Expedia数据上验证精度提升。
2023-12-23 econ.EM stat.ME
On Combining Estimation Problems Under Quadratic Loss: A Generalization
Judge和Mittelhammer [Judge,G. G.,和Mittelhammer,R.(2004),A Semiparametric Basis for Combining Estimation Problems under Quadratic Loss; JASA,99,466,479- 487]规定,在非零相关的上下文中,Stein规则(SR)型估计量支配基本估计量的充分条件是维数$k$应该至少为5。由于一些精炼的不等式,这个优势的结果证明在其充分的一般性,一类估计,其中包括SR估计作为一个特殊情况。也就是说,我们证明,对于任何成员的派生类,$k\geqslant 3$是一个充分条件,无论相关因子。我们还放松了高斯条件的分布的基础估计,因为我们认为家庭的椭圆轮廓变量。最后,我们放弃了基估计和竞争估计的方差-协方差阵可逆的条件。我们的理论研究结果证实了一些模拟研究,所提出的方法被应用到香烟数据集。
2015-09-04 stat.ME
Leveraging semantically similar queries for ranking via combining representations
Microsoft Research(微软研究院);Johns Hopkins University(约翰斯·霍普金斯大学);University of Maryland, College Park(马里兰大学帕克分校)
在现代排名问题中,不同的和完全不同的表示的项目进行排名往往是可用的。因此,尝试结合这些表示来提高排名是明智的。实际上,通过组合表示来学习排序对于学习特定查询的排序函数来说是原则性的和实用的。然而,在数据极其稀缺的环境中,可用于特定查询的标记数据量可能导致高度可变和无效的排名功能。减轻少量数据的影响的一种方法是利用语义相似的查询中的信息。事实上,正如我们在模拟设置和真实数据示例中所展示的那样,当语义相似的查询可用时,可以在对特定查询进行排名时有效地使用它们。我们描述和探索这种现象的偏差方差权衡的背景下,并将其应用到数据稀缺的设置必应导航图和果蝇幼虫连接体。
2021-06-23 cs.IR cs.LG stat.ME
Data-Driven Switchback Experiments: Theoretical Tradeoffs and Empirical Bayes Designs
Department of Quantitative Theory and Methods, Emory University(埃默里大学定量理论与方法系);Motif Analytics
本文研究单聚合单元上轮换实验的设计与分析,提出经验贝叶斯设计方法,通过平衡周期性、控制切换频率和随机化区间端点,在真实网约车数据上将MSE降低33%。
2024-06-10 cs.LG econ.EM q-bio.QM
Design-Based Variance Estimation for Modern Heterogeneity-Robust Difference-in-Differences Estimators
Meta Platforms, Inc.(Meta平台公司)
本文研究了现代异质性稳健差异-差异估计量在复杂抽样设计下的方差估计问题,指出基于设计的方差公式能提供一致的标准误差,并通过蒙特卡洛研究验证了设计效应来源,提供了diff-diff工具包以实现设计基于的方差估计。
2026-05-09 econ.EM stat.ME
Propensity score analysis with partially observed confounders: how should multiple imputation be used?
治疗加权逆概率(IPTW)是一种流行的基于倾向得分(PS)的方法,用于估计存在混杂偏倚风险的观察性研究中的因果效应。估计PS时的一个主要问题是存在部分观察到的协变量。多重插补(MI)是处理协变量缺失数据的自然方法,但其在PS背景下的使用提出了三个重要问题:(i)我们应该将鲁宾规则应用于IPTW处理效应估计还是PS估计本身?(ii)结果是否必须包括在插补模型中?(iii)在MI之后,我们应该如何估计IPTW估计量的方差?我们进行了一项模拟研究,重点是二元治疗对二元结局的影响,有三个混杂因素(其中两个部分观察)。我们使用MI和链式方程创建完整的数据集,并比较了三种组合结果的方法:组合处理效应估计值(MIte);组合插补数据集的PS(MIps);或组合PS参数并估计插补数据集平均协变量的PS(MIpar)。我们还比较了这些方法的性能完整的情况下(CC)分析和缺失模式(MP)的方法,使用不同的PS模型的每种模式的缺失。我们还实证研究了这3个MI估计的一致性。在随机缺失(MAR)机制下,CC和MP分析在估计边际处理效应时在大多数情况下存在偏倚,而MI方法在减少偏倚方面表现良好,只要结局纳入插补模型。然而,只有MIte是无偏的,在所有的研究方案和鲁宾的规则提供了良好的方差估计MIte。
2016-08-19 stat.ME
High-dimensional ridge regression with random features for non-identically distributed data with a variance profile
New York University Abu Dhabi(纽约大学阿布扎赫分校);Institut de mathématiques de Bordeaux(波尔多数学研究所)
本文研究了在非同分布数据下,使用随机特征的高维岭回归,通过方差轮廓模型分析训练和测试风险的渐近等价,并揭示了异质方差轮廓对泛化性能的影响。
2026-05-18 cs.LG math.PR math.ST
Pseudo-clustering for combining data sets with multiple hierarchies
本文提出伪聚类方法统一不同层级结构的数据集,结合抽样权重进行多水平模型估计,并通过模拟和医疗调查应用验证其能提供无偏参数估计并改善方差成分估计。
2023-09-24 stat.ME
Doubly robust causal inference through penalized bias-reduced estimation: combining non-probability samples with designed surveys
针对非概率样本因果推断中的选择偏差与高维协变量挑战,提出一步插入式双重稳健估计量,通过最小化平方渐近偏差构建惩罚估计方程,实现高维环境下的有效推断并验证了双重稳健性。
2024-03-26 stat.ME
Conditional Leibniz Derivative Estimation with an Application to American Call Min-Options
Dept. of ECE & Inst. for Syst. Res., Univ. of Maryland, College Park, MD, USA(马里兰大学电气与计算机工程系及系统研究所);Robert H. Smith Sch. of Bus. & Inst. for Syst. Res., Univ. of Maryland, College Park, MD, USA(马里兰大学罗伯特·H·史密斯商学院及系统研究所);DIRO, Univ. de Montréal, Montréal, QC, Canada(蒙特利尔大学计算研究系)
提出递归条件化方法结合莱布尼茨导数估计框架,消除似然比项,避免方差随输入维度增长,应用于美式看涨最小期权模型,仿真验证有效性和低方差性能。
2026-06-26 q-fin.MF stat.ME
Bayesian Covariance Uncertainty for Adaptive Pilot-Sampling Termination in Multi-fidelity Uncertainty Quantification
针对多保真度不确定性量化中试点采样终止的预算分配难题,提出贝叶斯协方差不确定性框架,通过γ-高斯先验量化协方差不确定性并实现自适应终止,在基准和达西流问题上验证了其在有限预算下的高效性与方差减少能力。
2025-08-25 stat.ME