Data Integration by combining big data and survey sample data for finite population inference
在文献中已充分记录了使用大数据在有限人群中进行有效统计推断的统计挑战。这些挑战主要是由于大数据源在代表感兴趣的人群方面覆盖不足以及数据集中可用变量的测量误差造成的统计偏差。通过将总体分层为大数据层和缺失数据层,我们可以通过使用完全响应的概率样本来估计缺失数据层,从而通过使用数据集成估计器来估计总体。通过将数据整合估计量表示为回归估计量,我们可以处理大数据中变量以及概率样本中的测量误差。我们还提出了一个完全非参数的分类方法来识别重叠的单位,并开发了一个偏差校正的数据集成估计错误分类错误。最后,我们发展了一个两步回归数据整合估计器来处理概率样本中的测量误差。本文所提倡的方法的一个优点是,我们不必为方法的工作做出不切实际的随机缺失假设。使用2015-16年澳大利亚农业普查数据将所提出的方法应用于真实数据示例。
2020-06-18 stat.ME
Statistical Data Integration in Survey Sampling: A Review
有限总体推断是调查抽样的核心目标。概率抽样是有限总体推断的主要统计方法。由于费用高和不答复率增加,出现了挑战。数据集成通过利用多个数据源来提供比单独使用任何单个数据源更健壮和有效的推理,从而提供及时的解决方案。数据整合的技术因样本类型和要合并的可用信息而异。本文对概率样本、概率和非概率样本以及概率和大数据样本的数据集成技术进行了系统的综述。我们讨论了广泛的集成方法,如广义最小二乘法,校准加权,逆概率加权,质量插补和双稳健方法。最后,我们强调了未来研究的重要问题。
2020-01-09 stat.ME
Combining cluster sampling and link-tracing sampling to estimate the size of a hidden population: asymptotic properties of the estimators
Félix-Medina和Thompson(2004年)提出了一种联系追踪抽样的变体,以估计吸毒者、性工作者或无家可归者等隐藏人口的规模。在他们的变体中,构建了人口成员倾向于聚集的地点的抽样框。该框架并不假定覆盖整个人口,而只是覆盖其中的一部分,而是选择一个简单的随机样本;确定样本点的人口,并要求他们说出加入样本的其他人口成员的名字。这些作者提出了人口规模的极大似然估计,该估计来自于在抽样地点发现的人数的多项模型和认为一个人被特定抽样地点中的任何元素命名的概率(链接概率)不依赖于命名的人,即概率是齐次的模型。后来,Félix-Medina等人(2015)提出了人口规模的无条件和条件极大似然估计,该估计来自一个考虑了链接概率异质性的模型。在这项工作中,我们考虑这种抽样设计和设置条件的一般模型的链接概率,保证一致性和渐近正态的人口规模的估计和模型的参数估计的链接概率。特别地,我们证明了总体大小的无条件和条件极大似然估计是一致的,并且具有彼此不同的渐近正态分布。
2015-06-20 stat.ME
Multimodel Response Assessment for Monthly Rainfall Distribution in Some Selected Indian Cities Using Best Fit Probability as a Tool
我们进行了一项研究,在印度的20个城市的降雨量降水数据的统计分布。我们已经确定了最适合的概率分布,这些城市从1901年至2002年的100年的观测的月降水量数据。为了拟合观测数据,我们考虑了10种不同的分布。使用四种经验非参数拟合优度检验(即Kolmogorov-Smirnov、Anderson-Darling、卡方、Akaike信息标准和贝叶斯信息标准)评价这些分布的拟合有效性。最后,通过结合模型比较检验的结果,报告了使用这些检验的最佳拟合分布。然后,我们发现,对于大多数城市,广义极值分布或逆高斯分布最适合观测数据。
2018-08-09 physics.ao-ph stat.AP
A new measure between sets of probability distributions with applications to erratic financial behavior
本文介绍了一种新的框架来量化有限集之间的距离与不确定性,其中概率分布确定的位置的各个元素。结合贝叶斯变点检测算法,我们产生了一个新的措施之间的相似性时间序列,其结构的突破。首先,我们证明了该算法的有效性的分段自回归过程的集合。接下来,我们将其应用于金融数据,研究过去20年中19个国家和11个行业的不稳定行为概况。我们的措施提供了定量证据,有更大的集体之间的相似性部门的不稳定行为的轮廓比那些国家,我们观察到这些时间序列的个人检查。我们的措施可以作为一个新的框架或补充工具,为投资者寻求作出资产配置决策的金融投资组合。
2021-12-06 econ.GN q-fin.EC q-fin.ST
Error probability analysis in quantum tomography: a tool for evaluating experiments
我们扩展了错误概率的统计概念的范围,即,在实验中观察到大偏差的频率,以便使其直接适用于量子断层扫描。我们验证的错误概率可以减少最多指数的试验次数,推导出明确的速度,限制这种减少,并表明,一个极大似然估计达到这个界限。我们还表明,可识别性的统计概念与信息完整性的断层摄影概念相吻合。我们的结果意味着具有相同风险函数(例如方差)的两个量子断层成像装置可以具有不同的错误概率,并且我们给出了一个量子比特状态断层成像的例子。因此,通过结合这两种方法,我们可以评估,在重建独立的方式,这样的实验的性能更有洞察力。
2010-12-03 math.ST quant-ph stat.TH
Asymptotic Theory for Combining Dependent $p$-Values for Global Hypothesis Testing
The Pennsylvania State University(宾夕法尼亚州立大学)
本文针对高维相依 $p$-值组合问题,提出统一渐近理论,解耦边际误差与联合相依结构,并给出维度增长率和相关率,确保极端显著性水平下全局检验的有限样本有效性。
2026-09-28 math.ST stat.TH
Revisiting Active Sequential Prediction-Powered Mean Estimation
University of California San Diego(加州大学圣地亚哥分校)
本文重新审视主动顺序预测驱动的均值估计问题,提出基于不确定性建议和常数概率的混合方案,并通过非渐近分析建立了数据依赖的置信区间界。
2026-04-20 cs.LG stat.ML
Prediction-Powered Inference with Inverse Probability Weighting
Department of Statistics, Virginia Tech, Blacksburg, VA.(统计系,弗吉尼亚理工大学,弗吉尼亚州黑斯堡);Booth School of Business, University of Chicago, Chicago, IL.(商学院,芝加哥大学,伊利诺伊州芝加哥)
本文提出基于预测的推断方法,结合大规模未标记数据和小规模标记数据,通过逆概率加权修正偏差,实现有效统计推断。
2026-03-24 cs.LG stat.ML
Angular Combining of Forecasts of Probability Distributions
针对概率分布预测中概率组合与分位数组合效果不一的问题,提出介于垂直(概率)与水平(分位数)组合之间的角度组合方法,给出优化与实现方案,验证了其方差特性,并在多类数据集上提供实证结果。
2025-02-24 stat.AP stat.ME
Combining Non-probability and Probability Survey Samples Through Mass Imputation
本文介绍了通过质量插补将非概率和概率调查样本相结合的理论结果,这种方法最初由Rivers(2007)提出,作为样本匹配,但没有严格的理论依据。在适当的正则条件下,我们建立了质量插补估计的相合性,并导出了它的渐近方差公式。方差估计使用线性化或自助法。有限样本性能的大规模插补估计的研究通过模拟研究和应用程序分析的非概率样本收集的皮尤研究中心。
2020-11-21 stat.ME
Shrinkage Estimation and Prediction for Joint Type-II Censored Data from Two Burr-XII Populations
本文针对两个2参数Burr-XII分布,在联合II型删失方案下应用线性和预检收缩估计技术进行参数估计与预测,并通过Monte Carlo模拟和真实数据集验证了方法性能。
2024-01-05 stat.AP stat.CO stat.ME
Doubly Robust Inference when Combining Probability and Non-probability Samples with High-dimensional Data
非概率样本在调查统计中越来越受欢迎,但可能存在选择偏差,限制了结果对目标人群的普遍性。我们考虑将一个非概率样本与一个概率样本相结合,该概率样本提供了目标人群的高维代表性协变量信息。我们提出了一个变量选择和有限总体推理的两步方法。在第一步中,我们使用惩罚估计方程与折叠凹罚选择的重要变量的抽样得分选择到非概率样本和结果模型。我们证明了惩罚估计方程方法对一般概率样本具有选择一致性。主要的技术障碍是由于样本在有限总体框架下可能具有依赖性。为了克服这一挑战,我们构造鞅,使我们能够应用伯恩斯坦集中不等式的鞅。在第二步中,我们专注于有限总体均值的双重稳健估计,并通过最小化双重稳健估计的渐近平方偏差来重新估计滋扰模型参数。这种估计策略减轻了可能的第一步选择错误,并使双鲁棒估计root-n一致,如果正确指定的抽样概率或结果模型。
2019-08-23 stat.ME
Robust Bayesian Inference for Big Data: Combining Sensor-based Records with Traditional Survey Data
大数据通常表现为大量的非概率样本。不仅是选择机制往往是未知的,但更大的数据量放大了选择偏差的相对贡献总误差。现有的偏差调整方法假设已经为选择指标或关键实质性措施正确指定了条件均值结构。在存在参考概率样本的情况下,这些方法依赖于伪似然方法来考虑参考样本的采样权重,其本质上是参数化的。在贝叶斯框架下,处理抽样权重是一个更大的障碍。为了进一步防止模型误指定,我们扩展了双重鲁棒性的思想,以便更灵活的非参数方法以及贝叶斯模型可以用于预测。特别是,我们采用贝叶斯加性回归树,它不仅自动捕获非线性关联,但允许直接量化点估计的不确定性,通过其后验预测绘制。我们将我们的方法应用于第二个战略公路研究计划的基于传感器的自然驾驶数据,使用2017年全国家庭旅行调查作为基准。
2022-03-26 stat.AP stat.ME
Combining probability distributions: Extending the logarithmic pooling approach
组合分布是决策理论和贝叶斯推断中的一个重要问题。对数池是一种通过使用一组反映每个信息源可靠性的权重来聚合专家意见的流行方法。然而,由此产生的汇总分布在很大程度上取决于给每个意见/先验的权重集,因此必须仔细考虑权重的选择。在本文中,我们回顾和扩展的对数池的统计理论,侧重于使用分层先验分布的权重分配。我们探讨了几个统计应用,如生存概率的估计,荟萃分析和贝叶斯融合的人口增长和流行病的确定性模型。我们表明,它是可以学习的权重数据,虽然可识别性问题可能会出现一些配置的先验知识和数据。此外,我们展示了如何分层的方法导致后验分布,能够适应复杂模型中的先验数据冲突。
2020-12-30 stat.ME
Combining Probability Forecasts and Understanding Probability Extremizing through Information Diversity
科学估计中的随机性通常被认为是由无法测量或无法控制的因素引起的。然而,当结合主观概率估计时,源于人们认知或信息多样性的异质性往往比测量噪声更重要。本文提出了一种新的框架,使用部分重叠的信息源。在此框架内提出了一个具体的模型,并将其应用于汇总一组预测事件是否会发生的预测员给出的概率的任务。我们的模型以易于解释的参数描述了预报员之间的信息分布,并显示了平均概率预报的最佳极值化量(将其移到最近的极值)如何作为预报员信息重叠的函数而变化。因此,我们的模型给出了一个更有原则的理解,历史上的特殊做法,极值平均预测。
2015-05-27 math.ST stat.ME stat.TH
Doubly robust causal inference through penalized bias-reduced estimation: combining non-probability samples with designed surveys
针对非概率样本因果推断中的选择偏差与高维协变量挑战,提出一步插入式双重稳健估计量,通过最小化平方渐近偏差构建惩罚估计方程,实现高维环境下的有效推断并验证了双重稳健性。
2024-03-26 stat.ME
Debiased machine learning for combining probability and non-probability survey data
MRC Biostatistics Unit, University of Cambridge(剑桥大学医学研究委员会生物统计学单元);Department of Genetics, University of Cambridge(剑桥大学生物学系);Institute for Global Health, University College London(伦敦大学学院全球健康研究所)
本文提出去偏机器学习框架,结合概率与非概率样本估计总体均值,证明双稳健估计量在干扰函数快速收敛和交叉拟合下渐近正态,模拟和实际数据验证性能。
2026-09-18 stat.ME
Methods for Combining Probability and Nonprobability Samples Under Unknown Overlaps
针对便利样本估计总体量存在偏差的问题,提出一种推导观测样本倾向得分的新方法,可构建精确似然并通过贝叶斯分层公式同步估计多类入样概率,经蒙特卡洛模拟与伪似然方法对比验证。
2023-06-09 stat.ME
On Combining Data From Genome-Wide Association Studies to Discover Disease-Associated SNPs
结合几个病例对照全基因组关联(GWA)研究的数据,可以产生更高的效率检测疾病与单核苷酸多态性(SNP)的关联,而不是单独分析的组成部分研究。我们比较了几种程序,以结合GWA研究数据,在控制全基因组显著性水平的同时检测疾病相关SNP的能力,以及检测概率($\mathit{DP}$)。$\mathit{DP}$是特定疾病相关SNP将在基于低$p$值选择的$T$最有希望的SNP中的概率。我们研究了固定效应和随机效应模型,其中各研究之间的关联性各不相同。在实际相关性的设置中,专注于单个自由度的荟萃分析方法具有比全局检验更高的功效和$\mathit{DP}$,例如汇总研究间的卡方检验统计量,$p$值的Fisher组合,以及形成每个研究中最佳SNP的组合列表。
2010-10-25 stat.ME
Methods for Combining Probability and Nonprobability Samples Under Unknown Overlaps
针对便利样本估计总体量存在偏差的问题,提出一种将观测样本倾向得分表示为参考与便利样本入样概率函数的新方法,构建贝叶斯分层模型同步估计相关概率,并通过模拟验证了方法效果。
2023-06-09 stat.CO stat.ME
Long-term effect estimation when combining clinical trial and observational follow-up datasets
University of Washington(华盛顿大学);Fred Hutchinson Cancer Research Center(弗雷德·哈钦森癌症研究中心)
针对临床试验与观察性随访数据关联不完整导致的缺失问题,提出NLAC和基于CLAR假设的逆概率加权方法估计长期效应,并通过模拟和SWOG研究验证有效性。
2026-09-22 stat.ME
Active learning of causal probability trees
Technical University of Denmark(丹麦技术大学)
在过去的二十年里,人们对将因果信息(通常使用因果图表示)与机器学习模型相结合的兴趣越来越大。概率树为因果信息提供了一种简单而强大的替代表示。它们使干预和反事实的计算,严格来说更一般,因为它们允许上下文相关的因果依赖关系。在这里,我们提出了一种贝叶斯方法,从干预和观察数据的组合学习概率树。该方法量化了干预措施的预期信息增益,并选择具有最大增益的干预措施。我们证明了模拟和真实数据的方法的效率。在有限的干预预算上学习概率树的有效方法将大大扩展其适用性。
2022-05-17 cs.LG stat.ME
Using Statistical Mechanics to Improve Real-World Bayesian Inference: A New Method Combining Tempered Posteriors and Wang-Landau Sampling
Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室)
本文提出一种简单方法,通过统计力学语言重新表述贝叶斯定理,结合温后验和王-兰道采样,提升贝叶斯推断质量,应用于材料科学中的方程状态建模问题。
2026-04-26 physics.comp-ph physics.data-an stat.CO
Estimating Probability Density Function of Vehicle-Related Time Series Data using Histogram Cubic B-Spline Approximation
本文提出结合直方图与 B 样条曲线的 PDF 估计框架,用于车辆相关时间序列数据,以获得精确可靠的密度估计并支持随机过程分析。
2023-06-03 stat.ME
Resolving conflicts between statistical methods by probability combination: Application to empirical Bayes analyses of genomic data
在数据集的典型分析中,即使同样适用的方法产生非常不同的结果,也会选择单一方法进行统计报告。同样适用的方法的例子可以对应于频率论推断中的不同从属统计量和贝叶斯推断中的不同先验分布。更广泛地说,在参数和非参数方法之间以及在频率论和贝叶斯方法之间进行选择。从博弈论的角度来看,与其选择单一的方法,不如根据现有信息将那些同样合适的方法结合起来。由于结合主观评估的概率分布的方法是不够客观的,为此,本文介绍了一种方法的分布组合,不需要任何分配的权重。它通过将对冲策略形式化为三个参与者之间的博弈:自然,统计学家组合分布,统计学家拒绝组合分布。第一个统计学家的最佳移动减少到一个更简单的问题的解决方案,选择一个估计分布,最大限度地减少Kullback-Leibler损失超过合理的分布组合。由此产生的组合分布是科学上合理的最极端的组合分布的线性组合。最优权重彼此足够接近,没有极端分布支配其他分布。新的方法结合冲突的经验贝叶斯方法的基因表达数据分析的背景下,说明。
2011-11-26 cs.IT math.IT math.ST