An Efficient Approach for Statistical Matching of Survey Data Trough Calibration, Optimal Transport and Balanced Sampling
统计匹配旨在整合两个统计来源。这些来源可以是两个样本或一个样本和整个人口。如果从同一人口中选择了两个样本,并收集了有关不同变量的信息,那么将两个调查进行匹配以进行分析,例如列联表或协方差,是很有意义的。在本文中,我们提出了一个有效的方法来匹配两个样本,每个可能包含一个加权方案。该方法匹配两个源的记录。提出了几个变体,以创建一个直接可用的文件,集成来自两个信息源的数据。
2022-03-10 stat.ME
Nonparametric Functional Calibration of Computer Models
计算机模型校准中的标准方法将校准参数视为贯穿控制输入域的常数。在许多应用中,系统变化可能导致校准参数的最佳值在不同设置之间变化。如果在代码中没有考虑到这种变化,计算机模型可能会变得不合适。在这篇文章中,我们提出了一个框架,用于建模的校准参数作为控制输入的函数,以占在这方面的计算机模型的不完整的系统表示,同时允许由先前的专家意见所施加的可能的约束。我们演示了如何不适当的建模假设可以误导研究人员认为校准模型是需要一个经验的差异项时,它只需要允许的功能依赖的校准参数的输入。我们将我们的方法应用到粘塑性自洽材料的塑性变形中,已知临界剪切应力随温度变化。
2017-02-07 stat.ME
Inference from Sampling with Response Probabilities Estimated via Calibration
Institut de Statistique, Université de Neuchâtel(纳沙泰尔大学统计研究所)
该研究构建通用框架比较校准法与极大似然法估计响应概率的抽样推断效果,证明校准法所得估计量渐近无偏、具双重稳健性且有效率增益,还分析了相关估计问题并通过模拟验证。
2023-10-26 stat.ME
Aggregated functional data model for Near-Infrared Spectroscopy calibration and prediction
基于Beer-Lambert公式的功能解释进行NIR光谱数据的校准和预测。考虑到,对于每个化学样品,所得到的光谱是作为来自每个分析物的重叠吸收光谱加上高斯误差的总和而获得的连续曲线,我们假设每个单独的光谱可以扩展为B样条基的线性组合。然后使用两种程序进行校准,以估计单个分析物曲线:基础平滑和平滑样条。通过最小化预测的平方误差来进行预测。为了评估预测值的方差,我们使用了留一法折刀法。通过模拟研究讨论了来自标准误模型的结果,特别是相关误差如何影响校准步骤,从而影响分析物的浓度预测。最后,通过对两个公开数据集的分析,证明了我们的方法的性能。
2013-10-15 stat.ME
Generalized entropy calibration for analyzing voluntary survey data
在抽样机制可忽略假设下,提出广义熵校准方法作为校准加权的统一工具以控制自愿调查数据的选择偏差,建立其对偶关系以识别隐含回归模型并支持模型选择,结合两步校准平滑权重以提升统计效率,理论分析与模拟验证了方法的有效性。
2025-06-01 stat.ME
Cluster-Aware Conformal Calibration for Spatio-Temporal Distributional Prediction
Seoul National University(首尔大学);National Chung Hsing University(国立中兴大学);National Dong Hwa University(国立东华大学)
针对DeepKriging在非均匀采样下空间基函数效率低的问题,提出聚类自适应空间基和聚类感知保形校准,提升时空分布预测的覆盖精度和尾部可靠性。
2026-06-04 stat.ME
Maximum Entropy Estimation for Survey sampling
在过去的几十年里,校准方法在调查抽样中得到了广泛的研究。视标定为一个反问题,我们扩展了标定技术,使用最大熵方法。通过考虑随机权重并寻找在校准约束下使熵最大化的离散分布来实现找到最佳权重。该方法为此类估计的计算及其统计性质的研究提供了一个新的框架。
2009-09-22 math.ST stat.ME stat.TH
Fast Power Evaluation under Biased-Coin Minimization: Sampling and Randomization Calibration
Chuo University(中央大学)
针对偏币最小化下设计阶段功效评估计算量大的问题,开发SIGA框架及SIGA-S、SIGA-R程序,可高效近似参考随机化检验的结果并显著降低计算量。
2026-08-07 stat.AP stat.ME
Calibration and partial calibration on principal components when the number of auxiliary variables is large
在调查抽样中,校准是一种非常流行的工具,用于使总估计量与已知的辅助变量总数一致,并减少方差。当辅助变量的数量很大时,对所有变量的校准可能导致其均方误差(MSE)大于Horvitz-Thompson估计器的MSE的总量估计器,即使该简单估计器不考虑可用的辅助信息。本文研究了一种新的技术基础上的降维,通过主成分,可以在这个大尺寸的上下文中是有用的。对第一主成分进行校准,第一主成分可以被视为包含辅助变量的变异性的最重要部分的合成变量。当一些辅助变量比其他变量起更重要的作用时,该方法可以适于提供对这些重要变量的精确校准。给出了允许变量个数随总体大小趋于无穷大的渐近性质。讨论了一种数据驱动的主成分个数选择准则,该准则保证所有的抽样权都为正。该文件的方法是说明,在一个多用途的背景下,通过应用程序的帮助下,包括过去的消费量每半小时在前一周的336个辅助变量,以估计一周中的每一天的用电量。
2015-12-14 stat.ME
Scalable regression calibration approaches to correcting measurement error in multi-level generalized functional linear regression models with heteroscedastic measurement errors
针对多层广义函数线性回归模型中纵向函数曲线的异方差测量误差,提出两种基于两阶段可扩展回归校准的纠偏方法,模拟和实证均优于现有估计器。
2024-04-20 stat.ME
Calibration of Complex Computer Simulators using Likelihood Emulation
我们校准了一个自然历史模型,这是一种用于医疗行业的计算机模拟器,在这里已经被用来计算英国的肠癌发病率。该模拟器跟踪了一个人样本中肠癌的发展,其输出主要按患者年龄和肠癌类型对肠癌发生率进行分层。它的输出依赖于25个未知的输入,我们需要校准。为了做到这一点,我们必须解决,不仅是输出计数数据,但它也是随机的,由于模拟过程。我们无法单独使用蒙特卡罗方法来实现模拟器的校准,因为它具有“中等”的计算费用。为了实现可靠的校准,我们还必须指定其差异:当校准时,它与现实有何不同。我们提出了一种校准方法,结合了似然函数与重要性抽样的统计仿真器。仿真器提供输入的临时样本,在该样本处运行仿真器,由此计算可能性。然后使用重要性抽样来重新加权输入并提供校准输入的最终样本。重新计算重要性权重几乎不会产生计算成本,因此我们可以轻松地研究不同的差异规范如何影响校准。
2014-10-28 stat.ME
Elastic Multi-Fidelity Bayesian Model Calibration
Sandia National Laboratories(桑迪亚国家实验室);University of Illinois, Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of New Mexico(新墨西哥大学)
本文提出弹性多保真贝叶斯模型校准,通过对齐高、低保真函数输出至共同参考,结合映射或融合策略,在合成与材料问题中提升预测精度并收紧后验。
2026-09-24 stat.ME
What Does a Benford Test Actually Test? Marginal Conformity, Sampling Structure, and Forensic Inference
Université du Québec à Montréal (UQAM)(蒙特利尔大学);Kyoto University(京都大学)
本文通过多种构造区分Benford定律的边际符合性与联合抽样结构,指出标准检验在边际完全符合时仍会过度拒绝,并提出校准方法以改进法证推断的可靠性。
2026-09-17 stat.ME
Calibration estimation in dual frame surveys
调查统计人员利用现有的辅助信息来改进估计数。一个重要的例子是校准估计,寻求新的权重接近(在某种意义上)的基本设计权重,并在同一时间,匹配基准约束的可用辅助信息。最近,多框架调查受到了广泛关注,统计机构和私营组织广泛使用这种调查,以降低抽样成本,或减少仅使用单一抽样框可能出现的框架覆盖不足错误。大量的注意力都集中在采用不同的方法来合并来自不同框架的估计数。我们将扩展的校准范例,迄今为止开发的一个框架调查,双框架调查作为一个通用工具,包括辅助信息,也可在不同的水平上的总的利益变量的估计。事实上,校准使我们能够处理不同类型的辅助信息,并可以被证明包括作为一个特殊的情况下,在文献中已经提出的一些方法。推导并讨论了所提出的估计类的理论性质,进行了一组模拟研究,以比较存在不同的辅助变量集的过程的效率。最后,所提出的方法适用于从文化的安达卢西亚调查的晴雨表的数据。
2014-05-22 stat.ME
Simulation Model Calibration with Dynamic Stratification and Adaptive Sampling
针对高噪声、异方差模拟模型校准的优化难题,提出将动态分层与自适应采样结合,通过二叉树或闭式解动态调整分层结构,加速优化并降低变异性,在风电模型校准中验证了有限预算下的有效性。
2024-07-16 math.PR stat.CO stat.ME
Asynchronous and Error-prone Longitudinal Data Analysis via Functional Calibration
在许多纵向设置中,时变协变量可能不会与响应同时测量,并且通常易于产生测量误差。朴素的末次观测值结转方法会产生估计偏差,现有的基于核的方法收敛速度慢,变化大。为了解决这些挑战,我们提出了一种新的功能校准方法,有效地学习纵向协变量过程的基础上稀疏的功能数据与测量误差。我们的方法,源于功能主成分分析,校准未观察到的同步协变量值从观察到的异步和易出错的协变量值,并广泛适用于异步纵向回归时不变或时变系数。对于时不变系数的回归,我们的估计是渐近无偏的,root-n相容的,渐近正态的;对于时变系数模型,我们的估计具有最优的变系数模型收敛速度,从校准膨胀的渐近方差。在这两种情况下,我们的估计量呈现出优于现有方法的渐近性质。所提出的方法的可行性和可用性进行了验证,模拟和应用程序的妇女的健康在全国范围内,一个大规模的多站点的纵向研究妇女的健康在中年。
2023-03-08 stat.ME stat.ML
Bayesian Calibration with Functional Outputs Using Elastic Partial Matching
CEA(法国替代能源和原子能委员会);Université Paris-Saclay, CNRS, CentraleSupélec, Laboratoire des signaux et systèmes(巴黎萨克雷大学、法国国家科学研究中心、中央理工-苏佩莱克学院);Centre de Mathématiques Appliquées, Ecole polytechnique, Institut Polytechnique de Paris(应用数学中心,巴黎综合理工学院,巴黎理工学院)
针对仿真模型函数型输出时间错位及支撑集不一致问题,提出基于弹性部分匹配的贝叶斯校准方法,扩展至可变起止时间,并在合成案例及状态方程校准中验证了改进效果。
2026-09-22 stat.CO stat.ME
Amortized ratio-estimation importance sampling and localized simulation-based calibration for intractable likelihoods
Chalmers University of Technology(查尔姆斯理工大学);University of Gothenburg(哥德堡大学)
针对不可处理似然模型,提出基于高斯混合专家的序贯后验估计与局部摊销比率估计重要性采样校正,并引入局部化基于仿真的校准,在三个案例中验证有效性。
2026-10-15 stat.CO stat.ME stat.ML
Oracle, Multiple Robust and Multipurpose Calibration in a Missing Response Problem
在存在缺失响应的情况下,通过非缺失概率的倒数来重新加权完整案例子样本既直观又易于实现。当某些辅助变量的总体总数已知且包含概率已知时,调查统计学家们已经发展了一些校正方法来提高逆概率加权估计的效率,这些方法可以应用于缺失数据分析。基于模型的校准已在调查抽样文献中提出,其中多维辅助变量首先从工作回归模型总结为预测函数。通常,为每个感兴趣的参数提出一个工作模型,并产生用于估计不同参数的不同校准权重集。本文考虑使用多个工作回归模型估计单个或多个参数的校准。与过度拟合会损害效率的普遍看法相反,我们提出了三个意想不到的结果。首先,当缺失概率被正确地指定,并且假设条件均值的多个工作回归模型时,校准享有预言属性:获得相同的半参数效率界,就好像预先知道真实的结果模型一样。其次,当缺失数据机制被错误指定时,当任何一个结果回归模型被正确指定时,校准仍然可以是相合估计量。第三,可以使用一组公共的校准权重来提高估计多个感兴趣参数的效率,并且可以同时获得所有感兴趣参数的半参数效率界限。我们提供了广泛的一类校准估计,广义经验似然的基础上构建的,许多现有的估计在生物统计学,计量经济学和调查抽样和模拟研究表明,有限样本性质的校准估计符合良好的理论研究结果。
2014-10-15 stat.ME
A Geometric Approach to Pairwise Bayesian Alignment of Functional Data Using Importance Sampling
我们提出了一个贝叶斯模型的成对非线性配准的功能数据。我们使用弯曲函数空间的黎曼几何来定义适当的先验分布,并使用重要性抽样从后验中采样。一个简单的平方根变换是用来简化的翘曲函数的空间,这使得计算样本统计,如平均值和中位数,和一个快速实现的$k$ -均值聚类算法的几何形状。这些工具允许有效的后验推理,其中多个模式的后验分布对应于多个合理的对齐的给定functions. We还显示逐点$95\%$可信区间,以评估在不同的集群对齐的不确定性。我们使用模拟来验证该模型,并在来自不同应用领域(包括生物识别和医学)的真实数据上提供了多个示例。
2017-02-03 stat.ME
Analyzing Functional Data with a Mixture of Covariance Structures Using a Curve-Based Sampling Scheme
Southern University of Science and Technology(南方科技大学);University of Leicester(莱斯特大学);National Center for Applied Mathematics, Shenzhen(深圳应用数学国家研究中心)
针对具有协方差结构混合的函数数据,提出基于曲线抽样方案的统一贝叶斯框架,结合非线性回归与隐马尔可夫模型,开发高效抽样方案用于隐状态估计,经推断过程、性质检验及模拟与实例验证其有效性。
2026-07-20 stat.ME
Elastic Bayesian Model Calibration
本文提出一种针对未对齐函数数据的贝叶斯模型校准框架,通过生成隔离幅度与相位变化的两类数据实现同时匹配,并在仿真数据与动态材料科学实验中验证了有效性。
2024-09-23 stat.AP stat.ME
Fast Emulation, Modular Calibration, and Active Learning for Simulators with Functional Response
Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室);Simon Fraser University(西蒙菲莎大学)
针对高斯过程仿真器在大规模函数输出数据下扩展性差、速度慢的问题,提出融合局部高斯过程回归的高可扩展函数数据仿真器,通过全局长度尺度缩放输入空间提速,可替代全贝叶斯方法降本,已用于20000次运行的多物理场模拟器校准并集成于R包FlaGP。
2025-10-06 stat.AP stat.ME
Post-Corrected Raw-Score Martingale Posterior Sampling for von Mises-Fisher Models
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
本文针对冯·米塞斯-费舍尔模型开发了后校正原始得分鞅后验采样方法,通过分离预测模拟与协方差校准并引入混合版本,经理论证明与模拟验证可有效降低截断欠离散,适用于方向不确定性分析。
2026-09-07 stat.CO stat.ME
Improving Efficiency of Regression Analyses by Integrating Data from Population-Representative Surveys: A Model-Assisted Calibration Approach
University of Virginia(弗吉尼亚大学)
提出模型辅助校准方法,整合多个概率调查样本以提高回归效率,支持个体或汇总数据,无需正确指定结果模型,并保持有限总体推断的有效性。
2026-07-01 stat.ME
Horvitz-Thompson estimators for functional data: asymptotic confidence bands and optimal allocation for stratified sampling
当处理非常大的函数数据集时,调查抽样方法是有用的,以便获得简单函数量的估计值,而不必存储所有数据。我们在这里提出一个霍维茨-汤普森估计的平均轨迹。在超总体框架的背景下,我们证明在温和的正则条件下,我们获得了均值函数及其方差函数的一致相合估计量。通过对抽样设计的额外假设,我们陈述了一个功能性的中心极限定理,并推导出渐近置信带。详细研究了分层抽样问题,得到了考虑均值方差准则的最优分配规则的函数形式。这些技术通过N=18902个电表的测试群体来说明,对于这些电表,我们在一周内每30分钟测量一次个人用电量。我们表明,分层可以大大提高估计的准确性和减少的宽度相比,简单随机抽样没有更换的全球置信带。
2010-09-29 stat.AP stat.ME
RAILS: A Synthetic Sampling Weights for Volunteer-Based National Biobanks -- A Case Study with the All of Us Research Program
针对国家生物样本库非概率抽样导致的代表性不足问题,提出结合伪设计模型与后进先出准则的RAILS合成权重法,经模拟与All of Us项目验证可有效降偏差、提效率,助力人群表型基因型患病率估计。
2025-01-15 stat.ME
Shrinkage-Constrained Functional Calibration for Complex Computer Models
Clemson University(克莱姆森大学)
提出一种新的贝叶斯模型校准方法IBFU,通过将校准参数分解为固定最佳估计和输入空间上的独立高斯过程参数修正,并施加强收缩先验和正交约束,以解决Kennedy-O'Hagan框架在稀疏噪声数据下的正则化不足和混杂问题。
2026-05-28 stat.CO stat.ME
Confidence intervals for functionals in constrained inverse problems via data-adaptive sampling-based calibration
Analytical Mechanics Associates(分析力学协会);University of Texas at Austin(德克萨斯大学奥斯汀分校);California Institute of Technology(加州理工学院);Carnegie Mellon University(卡内基梅隆大学)
针对不适定逆问题的泛函不确定性量化,提出四个约束感知置信区间,通过数据自适应采样等方法,使区间计算可行且不保守,在理论和实际中表现优于OSB区间。
2026-07-07 stat.CO stat.ME
FunctionalCalibration: an R package for estimation in aggregated functional data model
Universidade Estadual de Campinas(坎皮纳斯州立大学)
本文提出FunctionalCalibration包,通过样条或小波基展开估计聚合功能数据中的个体曲线,应用于化学计量学中的 Beer-Lambert 法。
2026-09-15 stat.CO stat.ME
A Bayesian Functional Data Model for Surveys Collected under Informative Sampling with Application to Mortality Estimation using NHANES
函数数据通常是非常高维的,并且表现出很强的依赖结构,但通常可以证明对预测和推理都很有价值。功能数据分析的文献是发达的,但是,很少有工作涉及功能数据在复杂的调查设置。从全国健康和营养检查调查(NHANES)的体力活动监测数据的动机,我们开发了一个贝叶斯模型的功能协变量,可以正确地解释调查设计。我们的方法适用于非高斯数据,可以应用于多变量设置。此外,我们利用各种贝叶斯建模技术,以确保该模型是适合在计算效率的方式。我们通过实证模拟研究以及使用NHANES数据的死亡率估计的例子来说明我们的方法的价值。
2020-11-06 stat.AP stat.ME
Predicting Bot Vulnerability from Posting Trajectories: Censored Functional Regression under Informative Sampling
North Carolina State University(北卡罗来纳州立大学);Duke University(杜克大学);Stevens Institute of Technology(史蒂文斯理工学院);SKEMA Business School(SKEMA商学院)
提出SoCIFR框架,适配匹配病例对照设计,经模拟验证性能,应用于社交媒体轨迹预测用户受机器人交互影响的易感性。
2026-08-03 stat.AP stat.ME
Rotation Sampling for Functional Data
本文讨论连续时间总体均值的调查估计问题。为此,我们将旋转采样方法扩展到函数数据。与传统的旋转设计,选择样本之前的调查,我们的方法随机每个样本替换,从而允许自适应采样。利用马尔可夫链理论,我们评估的协方差结构和集成平方误差[ISE]的相关Horvitz-Thompson估计。我们的抽样设计通过在更换过程中适当地在人群分层中重新分配样本来降低平均ISE。它们还通过增加更换的频率或强度来减少ISE的方差。为了研究在估计中同时使用当前和过去的测量值的好处,我们开发了一个新的复合估计量。在用电量数据的应用中,我们的旋转方法优于固定面板和传统的旋转样本。由于数据的弱时间依赖性,复合估计量仅略微改进了Horvitz-Thompson估计量。
2013-04-09 math.ST stat.ME stat.TH
Soft calibration for selection bias problems under mixed-effects models
本文针对非概率抽样中的选择偏差问题,提出一种基于混合效应模型的软校准方法,对固定效应精确校准、对随机效应近似校准,兼具最佳线性无偏预测和惩罚倾向得分加权的优势,并通过模拟和实证验证了其高效性。
2023-02-23 stat.AP stat.ME
A Python Library For Empirical Calibration
处理有偏差的数据样本是许多统计领域的常见任务。在调查抽样中,由于样本不具有代表性,经常会产生偏差。在具有观察性数据的因果关系研究中,治疗组与未治疗组的分配通常与协变量相关,即,不是随机的经验校准是一种通用的加权方法,它为纠正或减少上述任务的数据偏差提供了统一的观点。我们提供了一个Python库EC来计算经验校准权重。该问题被制定为凸优化和有效地解决了对偶形式。与现有的软件相比,电子商务既更有效,也更强大。EC还适应不同的优化目标,支持权重裁剪,并允许不精确的校准,这提高了可用性。我们展示了它的使用在各种实验与模拟和真实世界的数据。
2019-07-25 stat.AP stat.CO stat.ME
Autoencoded sparse Bayesian in-IRT factorization, calibration, and amortized inference for the Work Disability Functional Assessment Battery
NIH Clinical Center(美国国立卫生研究院临床中心);NIH NIDDK(美国国立卫生研究院国家糖尿病、消化和肾脏疾病研究所)
本研究提出一种贝叶斯层次模型,通过稀疏收缩和摊销推断,自洽地完成多维IRT的量表分解、项目选择与校准,避免传统事后方法的线性分解和统计检验,并在WD-FAB数据上验证其区分度优于传统方法。
2023-05-09 cs.LG stat.AP stat.ME
Confidence bands for Horvitz-Thompson estimators using sampled noisy functional data
当函数数据的集合太大而无法穷尽地观察时,调查抽样技术提供了一种有效的方法来估计全局量,如总体平均函数。假设功能数据收集从一个有限总体根据概率抽样方案,与测量是离散的时间和噪声,我们建议首先平滑的采样轨迹与本地多项式,然后估计的平均函数与Horvitz-Thompson估计。在对总体规模、观测次数、轨迹的正则性、采样方案和平滑带宽等条件较弱的情况下,证明了连续函数空间中的一个中心极限定理.我们还建立了一个协方差函数估计的一致相合性,并应用前面的结果来建立均值函数的置信带。频带达到标称覆盖,并通过高斯过程模拟条件下的估计协方差函数。为了选择带宽,我们提出了一种交叉验证方法,占抽样权重。仿真研究评估我们的方法的性能,并强调采样方案和带宽选择的影响。
2013-12-11 math.ST stat.ME stat.TH