Statistics in Survey Sampling
本文作为调查抽样教材,介绍调查抽样理论与方法,详细讨论抽样设计和估计方法,涵盖多种抽样及估计技术,为调查抽样提供系统的理论与方法指导。
2024-12-01 stat.ME
Estimation under cross-classified sampling with application to a childhood survey
交叉分类抽样设计包括从二维总体中抽取样本,每个维度独立。这种设计通常用于消费价格指数调查,最近在法国ELFE调查中也被用于抽取婴儿样本,方法是将产妇单位样本和天数样本交叉。我们建议推导出这种抽样设计的一般估计理论。我们认为霍维茨-汤普森估计的总,并表明,交叉分类设计通常会导致损失的效率相比,广泛的两阶段设计。我们得到了Horvitz-Thompson估计量的渐近分布和几个无偏方差估计量。针对可能出现负值的问题,提出了简化的非负方差估计,并在超总体模型下研究了它们的偏差。建议的估计量进行了比较,模拟数据的总数和比率。本文还介绍了ELFE调查实际数据的应用,并提出了一些建议。补充材料可在网上查阅。
2015-11-02 math.ST stat.ME stat.TH
A note on Horvitz-Thompson estimators for rare subgroup analysis in the presence of interference
当存在干扰时,受试者的结果取决于其他人的治疗,治疗效果可能采取几种不同的形式。这种情况经常出现,特别是在疫苗评价中。在可能存在干扰的情况下,两阶段整群随机试验被建议作为估计某些感兴趣的因果对比的一种手段。在有限总体环境中工作,使用文献中建议的一些估计量研究罕见和计划外的亚组分析,包括Horvitz-Thompson、Hajek以及Hudgens和Halloran 2008年建议的边际估计量的自然扩张。我定义了个人,组和个人和组的基线变量的条件下的利益的估计,给每个无偏霍维茨-汤普森风格的估计。我还为几个估计量提供方差估计量。我表明,霍维茨-汤普森(HT)型估计总是无偏的组或人口中提供至少一个主题,无论水平的兴趣估计,是在子组的兴趣。这是不正确的“自然”或哈耶克风格的估计,这将往往是不确定的罕见的子群。
2020-01-08 math.ST stat.ME stat.TH
Data-adaptive exposure thresholds for the Horvitz-Thompson estimator of the Average Treatment Effect in experiments with network interference
针对网络干扰实验中暴露映射阈值难以确定的问题,本文提出一种基于线性剂量-反应模型的数据自适应方法,通过最小化 Horvitz-Thompson 估计量的均方误差来选择最优 h 比例阈值,并在模拟和 Amazon 产品相似性图上验证了其优于非自适应选择且对模型偏差具有稳健性。
2025-02-04 stat.ME
Functional central limit theorems for single-stage samplings designs
对于基于模型和基于设计的联合推理,在调查抽样框架下,建立了以有限总体均值和超总体均值为中心的Horvitz-Thompson经验过程和Hájek经验过程的泛函中心极限定理.结果适用于单阶段不等概率抽样设计,基本上只需要高阶相关的条件。我们应用我们的主要结果Hadamard可微统计泛函,并说明其极限行为的计算机模拟。
2016-05-04 math.ST stat.TH
Dirichlet Meets Horvitz and Thompson: Estimating Homophily in Large Networks via Sampling
University of Rochester(罗切斯特大学);Johns Hopkins University(约翰斯·霍普金斯大学)
本文提出基于采样的HT估计器,利用狄利克雷能量估计大规模网络中的同性倾向,通过解析边包含概率实现无偏推断。
2025-12-18 cs.SI eess.SP stat.ME
Martingale central-limit theorems for pivotal sampling
有序枢轴抽样是实现无替换不等概率抽样的最简单算法之一。它已在纵向调查和空间抽样方面得到应用,特别是能够使选定的单位实现良好的空间平衡。本文采用Ohlsson~(1986)提出的方法,利用鞅中心极限定理证明了Horvitz-Thompson估计在基于设计的方法和模型辅助方法下的渐近正态性。特别是,我们的模型假设允许值之间的相关性,这是特别感兴趣的应用程序在空间采样。
2015-10-29 math.ST stat.TH
Confidence Intervals for Rate Estimation with Importance Sampling in Autonomous Vehicle Evaluation
Waymo LLC(Waymo有限责任公司)
本文提出统一的复合泊松模型框架,通过Horvitz-Thompson估计器实现无偏速率估计,并引入新的单调性准则和指数自助法来构建置信区间,提升实际应用的可解释性。
2026-04-04 stat.AP stat.ME
On the impossibility of constructing good population mean estimators in a realistic Respondent Driven Sampling model
目前的方法,从受访者驱动抽样(RDS)收集的数据的人口平均估计是基于霍维茨-汤普森估计连同一组假设的抽样模型下,包含概率可以确定从数据中包含的信息。在本文中,我们认为,这样的一套假设是过于简单,是现实的,在现实的抽样模型,情况要复杂得多。具体来说,我们研究了一个现实的RDS采样模型,是由现实世界的RDS数据集的动机。我们表明,对于这个模型,包含概率,这是必要的应用程序的Horvitz-Thompson估计,不能单独由样本中的信息来确定。这意味着,除非获得有关底层人口网络的额外信息,否则从目前的RDS数据中设想人口均值估计的一般理论是无望的。
2014-11-07 stat.AP stat.ME
Combining Cluster Sampling and Link-Tracing Sampling to Estimate Totals and Means of Hidden Populations in Presence of Heterogeneous Probabilities of Links
我们提出了Horvitz-Thompson-like和Hajek-like估计的总和平均值的一个变量的价值与一个难以达到的人口的元素由Felix-Medina和Thompson(2004)提出的链接跟踪抽样的变体采样。这类人群的例子有吸毒者、无家可归者和性工作者。在这个抽样变量中,构建了一个由人口成员倾向于聚集的场所或场所(如公园和酒吧)组成的框架。该框架并不假定涵盖整个人口。从框架中选择元素的初始聚类样本,其中聚类是场地,并且初始样本中的元素被要求说出他们的联系人,这些联系人也是人口的成员。通过在样本中包括不在初始样本中的指定元素来增加样本量。所提出的估计量不使用基于设计的包含概率,而是使用基于模型的包含概率,该包含概率来源于Felix-Medina等人(2015)提出的模型,并通过极大似然估计量进行估计。假设包含概率是异质的,也就是说,它们取决于抽样的人。所提出的估计量的方差的估计是通过自助法获得的,它们被用来构建总数和平均值的置信区间。两个数值研究,其中一个基于真实数据的估计和置信区间的性能进行了评估,结果表明,他们的性能是可以接受的。
2020-05-21 stat.ME
Minimax Optimal Design with Spillover and Carryover Effects
针对存在干扰和结转效应的因果推断,提出极小极大最优实验设计,同时考虑溢出与结转效应,提高估计精度并减少样本量,通过理论证明和数值研究验证其优越性。
2025-01-24 stat.ME
Designing Spatial Treatments
Georgia Institute of Technology(佐治亚理工学院);University of California, Santa Cruz(加州大学圣克鲁兹分校)
本文针对空间处理的最优设计问题,提出基于Matérn点过程的设计,通过选择最小距离$r$平衡偏差与方差,实现Horvitz-Thompson估计量的极小极大最优收敛速率,并给出渐近正态性与方差估计。
2026-09-09 econ.EM stat.ME
Quantifying Uncertainty for Temporal Motif Estimation in Graph Streams under Sampling
动态网络,又名。图形流由一组顶点和一组带时间戳的交互事件(即,时间边缘)。时间模体被定义为图流上的(小)同构诱导子图类,同时考虑边排序和持续时间。与静态网络中的模体一样,时间模体是动态网络中时间结构的基本构建块。已经设计了几种方法来计算图流中时间图案的出现,最近的工作集中在估计各种采样方案下的计数以及浓度属性。然而,很少有人注意到的问题,不确定性量化和渐近统计性质的计数估计。在确定性图流的边采样框架下,建立了一种Horvitz-Thompson型估计的相合性和渐近正态性,该估计可用于构造采样下时间模体数的置信区间和进行假设检验.我们也建立了类似的随机模型下的类似结果。我们的研究结果与社会,通信,生物和大脑网络中的广泛应用有关,用于涉及模式发现的任务。
2022-02-21 stat.ME
TS-Neyman: Posterior Sampling for Adaptive Stratified Estimation
Iowa State University(爱荷华州立大学)
针对分层池中标签成本高的问题,提出TS-Neyman算法,通过Thompson采样随机化方差不确定性,实现自适应Neyman分配,证明其几乎必然收敛到最优分配和渐近最优性,并在多个基准测试中接近Oracle效率。
2026-06-07 stat.ME
Model-assisted estimation for MRV: How to boost the economics of SOC sequestration projects without compromising on scientific integrity
本研究通过模拟验证模型辅助估计(简单回归估计量)在土壤有机碳封存MRV中,能在样本量大于40时保持无偏且有效覆盖,并在相关辅助变量下提升30%精度,从而兼顾科学严谨性与经济效益。
2025-10-15 stat.AP stat.ME
Robust Estimation of Polychoric Correlation for Complex Survey Designs Using Minimum Divergence Methods
George Mason University(乔治梅森大学)
针对调查数据污染问题,提出基于Hellinger距离和负指数差异的鲁棒多分格相关估计器,结合Horvitz-Thompson调整频率,并引入惩罚岭和Lasso变体,理论证明一致性和渐近正态性,模拟实验展示不同污染场景下的性能优势。
2026-06-26 stat.ME
Central Limit Theorem for Gram-Schmidt Random Walk Design
本文针对随机主元顺序的GSW设计证明Horvitz-Thompson估计量的中心极限定理,并给出小于已有上界的精确极限方差。
2023-06-05 math.PR math.ST stat.TH
A comparison of pivotal sampling and unequal probability sampling with replacement
我们证明了关键抽样的任何实现都比多项式抽样更有效。这个性质需要Horvitz-Thompson估计的弱相合性和保守方差估计的存在性。一个小的模拟研究支持我们的发现。
2016-09-13 math.ST stat.AP stat.ME
Inference for two-stage sampling in spatial surveys
本文为连续空间域上的两阶段抽样建立了基于设计的渐近理论,推导了Horvitz-Thompson估计量的方差阶数,证明了估计量的一致性及渐近正态性,并通过森林清查模拟验证了有限样本性能。
2026-09-18 math.ST stat.TH
Semiparametric empirical likelihood inference for abundance from one-inflated capture-recapture data
针对捕获-重捕获数据中的单值膨胀与异质性问题,提出半参数经验似然丰度估计方法,通过EM算法求解并设计得分检验,有效提升了估计稳定性和置信区间覆盖率。
2025-07-14 stat.ME
Rotation Sampling for Functional Data
本文讨论连续时间总体均值的调查估计问题。为此,我们将旋转采样方法扩展到函数数据。与传统的旋转设计,选择样本之前的调查,我们的方法随机每个样本替换,从而允许自适应采样。利用马尔可夫链理论,我们评估的协方差结构和集成平方误差[ISE]的相关Horvitz-Thompson估计。我们的抽样设计通过在更换过程中适当地在人群分层中重新分配样本来降低平均ISE。它们还通过增加更换的频率或强度来减少ISE的方差。为了研究在估计中同时使用当前和过去的测量值的好处,我们开发了一个新的复合估计量。在用电量数据的应用中,我们的旋转方法优于固定面板和传统的旋转样本。由于数据的弱时间依赖性,复合估计量仅略微改进了Horvitz-Thompson估计量。
2013-04-09 math.ST stat.ME stat.TH
Coupling methods for multistage sampling
在没有抽样框或人口分散在一个广阔地区时,住户调查通常采用多级抽样。多级抽样通常在最终单位的选择中引入复杂的相关性,这使得渐近结果相当难以证明。在这项工作中,我们考虑多级抽样与简单随机没有更换抽样在第一阶段,并与一个任意的抽样设计,为进一步的阶段。我们考虑耦合的方法来链接这个抽样设计的一级单元独立选择的抽样设计。我们首先推广的方法介绍了[马扎尔图德。阿卡德Mat. Kutató Int. Közl. 5(1960)361-374]中的方法得到了多级抽样与第一级Bernoulli抽样的耦合,从而得到了Horvitz-Thompson估计量的中心极限定理.在此基础上,提出了一种新的多级抽样与第一级置换抽样的简单随机耦合方法。当第一阶段抽样比趋于零时,利用该方法证明了第一阶段简单随机无替换抽样的有替换Bootstrap的相合性和总体的光滑函数的Bootstrap方差估计的相合性。
2015-11-17 math.ST stat.TH
Adaptive normalization for IPW estimation
逆概率加权(IPW)是调查抽样和因果推断中的一种通用工具,用于Horvitz-Thompson估计量(通过样本量进行归一化)和Hájek/自归一化估计量(通过逆概率权重之和进行归一化)。在这项工作中,我们研究了一个家庭的IPW估计,首先提出的Trotter和Tukey的背景下,蒙特卡罗问题,规范化的仿射组合这两个方面。我们展示了如何从这个家庭中选择一个估计在一个数据依赖的方式,以尽量减少渐近方差导致一个迭代过程,收敛到一个估计与回归控制方法的连接。我们将此估计量称为自适应归一化估计量。对于调查抽样中的均值估计,该估计量的渐近方差永远不会比Horvitz-Thompson或Hájek估计量差,并且除了边缘情况外都较小。进一步,我们表明,自适应归一化可以用来提出改进的增强IPW(AIPW)估计,平均处理效应(ATE)估计,和政策学习目标。吸引人的是,这些建议保留了AIPW的渐近有效性和IPW目标的政策学习的遗憾界限,并提供一致的有限样本改进的模拟均值估计,ATE估计和政策学习。
2021-07-09 stat.ME
Minimum Hellinger Distance Estimators for Complex Survey Designs
Department of Statistics, George Mason University(乔治梅森大学统计系)
本文提出一种适用于复杂抽样设计的最小Hellinger距离估计器,通过核密度插件方法证明了其一致性、正态分布和鲁棒性,通过模拟和实际应用展示其在效率与鲁棒性之间的权衡。
2025-10-23 cs.IT math.IT math.PR
Estimating prediction error for complex samples
随着越来越多的人对使用非代表性样本来训练预测模型以获得众多结果的兴趣,有必要考虑产生数据的采样设计,以便评估所提出的预测规则的广义预测效用。在学习基于非均匀样本的预测规则之后,当应用于未观察到的群体成员时,估计规则的错误率是有意义的。Efron(1986)提出了一种通用的协方差惩罚膨胀预测误差估计器,它假设可用的训练数据代表预测规则所应用的目标群体。我们扩展埃夫隆的估计到复杂的样本背景下,将霍维茨-汤普森采样权重,并表明它是一致的,真正的泛化错误率时,适用于底层的超人口。由此产生的Horvitz-Thompson-Efron(HTE)估计量相当于dAIC,dAIC是AIC最近对调查抽样数据的扩展,但适用范围更广。所提出的方法进行评估与模拟,并应用于模型预测肾功能从大规模的NHANES调查。
2019-09-14 stat.ME stat.ML
Motif Estimation via Subgraph Sampling: The Fourth Moment Phenomenon
本文提出了一个在子图采样模型下对网络模体进行统计推断的框架,推导了Horvitz-Thompson估计量一致性与渐近正态性的充要条件,揭示了第四矩现象,并确定了多种图系综中的精确阈值。
2024-12-21 math.CO math.PR math.ST
On estimators of the mean of infinite dimensional data in finite populations
本文研究了无限维数据下有限总体均值的HT、RHC和GREG估计量,证明了GREG估计量的渐近有效性,并揭示了异方差程度对抽样设计选择及GREG估计量性能的影响。
2023-05-24 math.ST stat.TH
Sigmoid-FTRL: Design-Based Adaptive Neyman Allocation for AIPW Estimators
Columbia University(哥伦比亚大学);Massachusetts Institute of Technology(麻省理工学院);New York University(纽约大学)
Sigmoid-FTRL通过同时最小化两个凸遗憾解决AIPW估计量的非凸性问题,证明其在标准正则条件下以$T^{-1/sofar} R$速率收敛,确立了Neyman遗憾的最小最大速率。
2026-11-05 math.ST stat.ME stat.TH
Low-Order Inclusion Probabilities Do Not Determine Asymptotic Normality
The University of British Columbia(不列颠哥伦比亚大学)
本研究证明,与SRSWOR具有相同一阶和二阶包含概率的抽样设计仍可能导致样本总和收敛于非正态分布,表明低阶包含概率不足以决定渐近正态性。
2026-10-08 math.ST stat.TH
Nonparametric Additive Model-assisted Estimation for Survey Data
研究了在辅助信息的辅助下,估计海量调查数据有限总体总数的可加模型辅助非参数方法。结合样条和局部多项式光滑方法,提出了一类估计量,以提高Horvitz-Thompson估计量的精度。这些估计是校准的,渐近设计无偏的,一致的,正常的和强大的意义上渐近达到Godambe-Joshi下界的预期方差。一个一致的模型选择程序进一步发展,以选择显着的辅助变量。所提出的方法是足够快,在几秒钟内分析大规模的高维调查数据。所提出的方法的性能评估经验,通过模拟研究。
2011-01-04 stat.ME
Analysis of a capture-recapture estimator for the size of populations with heterogenous catchability, and its evaluation on RDS data from rural Uganda
在本文中,我们考虑捕获-再捕获实验与异质可捕性。在我们考虑的设置,广泛的Huggins-Alho估计是不是很合适,我们介绍和研究一个新的广义Horvitz-Thompson估计。我们的动机是响应者驱动抽样(RDS),这是一个很好的例子,这样的设置,捕获概率取决于未知的人口规模以及可观察的协变量,网络程度的个人,由于同行招聘。在讨论了新估计量的理论特性后,在附录中给出了完整的细节,我们在各种经验和模拟数据集上对其进行了评估,重点是在乌干达农村人口中的RDS调查,其中人口规模是先验的。由此得到的结果表明,调整后的估计是更少的偏见比天真的林肯-彼得森估计。
2011-11-07 q-bio.QM stat.AP stat.ME
Rate-Optimal Cluster-Randomized Designs for Spatial Interference
我们考虑一个潜在的结果模型,其中任何两个单元之间可能存在干扰,但干扰的程度随着空间距离的增加而减小。因果被估量是全局平均处理效应,比较所有或无单位接受治疗的反事实情况下的结局。我们研究了一类设计,其中空间被划分为随机处理和控制的集群。对于每种设计,我们使用Horvitz-Thompson估计器估计处理效应,该估计器比较所有或没有处理邻居的单元的平均结果,其中邻居半径与设计规定的簇大小相同。我们推导出的估计的收敛速度作为一个函数的设计和干扰程度,并使用此来获得估计设计对,实现接近最佳的收敛速度下相对最小的假设干扰。我们证明了估计是渐近正态的,并提供了一个方差估计。对于实际实施的设计,我们建议分区空间使用聚类算法。
2022-09-14 econ.EM stat.ME
Recent Advances on Estimating Population Size with Link-Tracing Sampling
提出了一种基于分层链接追踪抽样设计的总体规模估计方法。该方法扩展了Frank和Snijders(1994)的方法,允许在初始样品选择程序中的异质性。Rao-Blackwell估计量和相应的估计近似类似于Vincent和Thompson(2017)中详细描述的估计。一个经验的应用程序提供了一个难以达到的网络人口。结果表明,该方法具有很大的潜力,应用于这些人群。本文的补充材料可在线获取。
2017-09-22 stat.ME
Conditional cross-fitting for unbiased machine-learning-assisted covariate adjustment in randomized experiments
本文针对随机实验中协变量调整因数据重复使用导致的有限样本偏差问题,提出条件交叉拟合方法,在基于设计的推断框架下构造无偏ATE估计量并支持机器学习辅助调整。
2025-08-21 stat.ME
Semiparametric adaptive estimation under informative sampling
针对信息性抽样中的选择偏倚与 Horvitz-Thompson 估计量效率不足问题,本文将调查权重视为随机变量推导半参数效率界,并提出在工作模型下一致、渐近正态且最优有效的估计量,通过模拟和加拿大调查数据验证其性能。
2024-04-04 math.ST stat.ME stat.TH
Inverse Probability Weighting: from Survey Sampling to Evidence Estimation
本文研究逆概率加权估计量的弱悖论,提出基于贝叶斯筛和共轭分层模型的两种贝叶斯估计方法,并通过模拟与后验相合性证明其在调查抽样、证据估计和因果推断中的优势。
2025-04-14 stat.ME
Model-assisted survey sampling with Bayesian optimization
针对固定预算下调查抽样的样本优化分配需求,提出一种结合贝叶斯优化的模型辅助无偏概率抽样方法,经芬兰中部树木蓄积量数据集模拟验证,其估计量方差效率显著优于传统基准方法。
2024-01-26 stat.ME
Combining multiple imputation with raking of weights: An efficient and robust approach in the setting of nearly-true models
多重插补为我们提供了有效的估计在基于模型的方法处理缺失数据下的真实模型。同样众所周知的是,基于设计的估计器是稳健的方法,不需要对缺失数据进行精确建模;然而,它们可能效率低下。在任何应用环境中,都很难知道一个缺失数据模型是否足够好,以赢得偏倚-效率权衡。权重排序是一种依赖于从整个队列观察到的数据构建辅助变量的方法,然后使用该辅助变量来调整通常的Horvitz-Thompson估计量的权重。计算最优有效的排序估计量需要评估给定完整队列数据的有效分数的期望,这通常是不可行的。我们证明了多重插补(MI)作为一个实用的方法来计算一个耙估计,将是最佳的。我们比较常见的参数和半参数估计,包括标准的多重插补估计。我们发现,虽然估计,如半参数极大似然和MI估计,获得最佳性能下的真实模型,建议耙估计利用MI保持更好的鲁棒性,效率的权衡,即使在温和的模型误设定。我们还表明,标准的耙估计,没有MI,往往是有竞争力的最佳耙估计。我们证明了这些属性,通过几个数值例子,并提供了一个理论讨论的条件渐近优越的相对效率的建议耙估计。
2020-06-09 stat.ME
EARL: Exposure- and Allocation-Reweighted Linear Estimator for Bipartite Experiments with Partial Assignment
针对二分图实验中部分分配导致估计偏差的问题,提出无偏线性估计器EARL,通过曝光与分配重加权实现最小方差,模拟显示误差显著低于现有基线。
2026-09-28 stat.ME
Optimal Control Variates for Survey Sampling and Causal Inference
Boston University(波士顿大学)
本文针对调查抽样与因果推断场景提出一类最优控制变量估计量,通过参数化基函数并求解对应优化问题,在真实调查数据和模拟中实现了显著的方差缩减。
2026-08-19 econ.EM math.OC stat.ME
Doubly robust integration of nonprobability and probability survey data
MRC Biostatistics Unit, University of Cambridge(剑桥大学医学研究委员会生物统计单元);Institute for Global Health, University College London(伦敦大学学院全球健康研究所);School of Health and Wellbeing, University of Glasgow(格拉斯哥大学健康与福祉学院);Survey Research Centre, the National Centre for Social Research(国家社会研究中心调查研究中心);Pathogen Dynamics Unit, Department of Genetics, University of Cambridge(剑桥大学生物系病原体动力学单元)
提出双重稳健估计器整合非概率样本与概率调查数据,扩展至子域估计,并与仅使用概率数据的估计器组合,给出方差公式和渐近效率分析。
2026-09-21 stat.ME