Beyond the Training Distribution: Evaluating Predictions Under Distribution Shift and Selection Bias
Department of Statistics, University of California, Berkeley(加州大学伯克利分校统计学系)
针对协变量偏移和选择性标签共存时的模型评估问题,提出双机器学习程序估计目标风险,并通过eICU数据验证其准确性优于单独处理任一种偏差的方法。
2026-06-15 cs.LG stat.ME stat.ML
Adapting to Continuous Covariate Shift via Online Density Ratio Estimation
The University of Tokyo(东京大学);RIKEN AIP(理化学研究所人工智能项目);Nanjing University(南京大学)
本文针对连续协变量偏移场景,提出在线密度比估计方法以重用历史信息,实现预测器累积风险最小化,并给出动态遗憾界与超额风险保证。
2024-05-27 cs.LG stat.ML
Quantifying Uncertainty in the Presence of Distribution Shifts
本文提出了一种适应性先验的贝叶斯框架,用于在存在分布偏移时提高神经网络的不确定性估计性能。
2025-12-18 cs.LG stat.ML
Pooling Versus Ensembling for Ridge Regression Under Covariate Shift
Simons Institute for the Theory of Computing(西蒙斯理论计算研究所);UC Berkeley(加州大学伯克利分校)
该研究针对协变量偏移下的岭回归,对比池化与集成方法的性能,推导了固定和随机效应下的相关结论,推广了现有风险分析的适用场景。
2026-08-05 math.ST stat.TH
Distributionally Robust Coreset Selection under Covariate Shift
Nagoya University(名古屋大学);RIKEN(理化学研究所);Nagoya Institute of Technology(名古屋工业大学);DENSO CORPORATION(电装公司)
针对部署阶段协变量分布未知且可能偏移的问题,提出DRCS,通过最小化最坏情形测试误差上界估计选择鲁棒核心集,并验证其在凸模型及近似深度学习中的有效性。
2025-02-18 cs.LG stat.ML
Safe Distributionally Robust Feature Selection under Covariate Shift
Graduate School of Engineering, Nagoya University, Nagoya, Japan(名古屋大学工学研究科);Center for Advanced Intelligence Project, RIKEN, Tokyo, Japan(RIKEN高级智能项目)
本文研究了在协变量偏移下的分布鲁棒特征选择问题,提出安全-DRFS方法,通过扩展传统稀疏建模中的安全筛选到分布鲁棒设置,确保在输入分布偏移范围内包含所有可能最优的特征子集。
2026-03-17 cs.LG stat.ML
Conditional Akaike information under covariate shift with application to small area estimation
本文研究了线性混合模型中,当预测模型的协变量值与观测数据模型的协变量值不同时,在协变量偏移的情况下,固定效应的解释变量的选择问题。基于Vaida和Blanchard(2005)提出的条件赤池信息,我们构建了一个变量选择准则。我们特别关注小区域估计中的协变量偏移,并证明了所提出的标准的实用性。此外,数值性能进行了研究,通过模拟,其中之一是基于设计的模拟使用一个真实的数据集的土地价格。
2017-12-10 stat.ME
Efficient Inference for Covariate-adjusted Bradley-Terry Model with Covariate Shift
本文针对协变量偏移下的成对比较问题,提出基于Kullback-Leibler投影的协变量调整Bradley-Terry模型推断框架,开发了半参数高效估计方法,并应用于评估大语言模型与人类偏好的对齐。
2025-04-09 stat.ME
Transportable inference using target population summary statistics under covariate shift
Academy of Mathematics and Systems Science Chinese Academy of Sciences(中国科学院数学与系统科学研究院);Department of Biostatistics Mailman School of Public Health Columbia University(哥伦比亚大学麦尔曼公共卫生学院生物统计学系);Department of Epidemiology & Biostatistics University of California at San Francisco(旧金山大学生物统计与流行病学系)
本文提出了一种基于目标人群协变量汇总信息的可移植推断方法,通过熵平衡和灵活建模实现对协变量偏移的更有效处理,提高了推断的灵活性和准确性。
2026-10-14 stat.ME
Automatic Debiased Machine Learning for Covariate Shifts
Massachusetts Institute of Technology(麻省理工学院);Lincoln Laboratory, Massachusetts Institute of Technology(麻省理工学院林肯实验室);Harvard University(哈佛大学);Stanford University(斯坦福大学)
本文提出一种自动去偏机器学习方法,通过数据融合消除高维正则化偏差,在协变量偏移下可靠估计因果与预测参数,并验证了其有效性与渐近正态性。
2025-09-21 stat.ME
Estimation of prediction error with known covariate shift
在有监督学习中,对未标记测试数据的预测误差估计是一个重要的任务。现有的方法通常建立在训练数据和测试数据来自同一分布的假设上,这在实践中经常被违反。因此,传统的估计,如交叉验证(CV)将是有偏见的,这可能会导致穷人的模型选择。在本文中,我们假设我们有一个测试数据集,其中的特征值是可用的,但没有结果标签,并专注于一种特殊形式的分布转移称为“协变量转移”。我们提出了一种基于条件误差目标的参数引导的替代方法。从经验上讲,我们的方法优于CV的模拟和真实数据的例子在不同的建模任务。
2022-09-29 stat.ME
Conformal Prediction Under Covariate Shift
我们将共形预测方法扩展到可交换数据的情况之外。特别是,我们表明,加权版本的共形预测可用于计算分布的预测区间的问题中,测试和训练协变量分布不同,但这两个分布之间的似然比是已知的-或者,在实践中,可以准确地估计与访问一个大的未标记的数据集(测试协变量点)。我们对共形预测的加权扩展也更普遍地适用于数据满足某种加权交换概念的情况。我们讨论了我们的新的共形方法的其他潜在的应用,包括潜在的变量和缺失数据的问题。
2020-07-06 stat.ME
Covariate Balancing Propensity Score by Tailored Loss Functions
在观察性研究中,倾向得分通常通过最大似然估计,但即使在规范检索后,也可能无法平衡高维治疗前协变量。我们介绍了一个通用的框架,统一和概括了最近的几个建议,以提高协变量的平衡时,设计一个观察性研究。本文提出了一种优化特殊损失函数--协变量平衡评分规则(CBSR)来估计倾向得分的方法,以代替传统的似然函数. CBSR由GLM中的链接函数和被估量(加权平均处理效应)唯一确定。我们发现CBSR在估计加权平均处理效应时并不输于Bernoulli似然的渐近有效性,但在有限样本下CBSR更稳健。借用统计学习中开发的工具,我们提出了在丰富的函数类中平衡协变量函数的实用策略。这对于估计逆概率加权(IPW)估计的最大偏差和构造有限样本下的诚实置信区间是有用的。最后,我们提供了几个数值例子来证明的权衡偏差和方差的IPW型估计和权衡平衡不同的函数类的协变量。
2017-03-20 stat.ME
Covariate Shift Corrected Conditional Randomization Test
针对协变量偏移下条件独立性检验失效的问题,提出csPCR检验,通过重要性权重和控制变量法校正偏移并提升功效,理论及模拟验证其控制第一类错误且功效优越,并应用于COVID-19治疗评估。
2024-05-29 stat.ME
Empirical Bayes Predictive Density Estimation under Covariate Shift in Large Imbalanced Linear Mixed Models
Cornell University(康奈尔大学);University of Southern California(南加州大学);The Institute of Statistical Mathematics(统计数学研究所)
本文研究了在大样本不平衡线性混合模型中,通过数据分割方法优化预测密度,解决数据稀缺和因变量偏移问题,理论分析表明方法在决策理论上最优。
2026-03-30 stat.ME
Minimum Wasserstein distance estimator under covariate shift: closed-form, super-efficiency and irregularity
KLATASDS-MOE, School of Statistics, East China Normal University(华东师范大学统计学院);Institute of Statistics and Big Data, Renmin University of China(中国人民大学统计与大数据研究院)
本文提出了一种在协变量偏移下具有闭式解的W估计器,通过最优传输理论解释最近邻方法,并在特定情况下展现出超效率和统一性。
2026-01-12 stat.ME stat.ML
Beyond Reweighting: On the Predictive Role of Covariate Shift in Effect Generalization
Harvard University(哈佛大学);Columbia University(哥伦比亚大学);Stanford University(斯坦福大学)
该研究通过两项大规模多站点复制研究的实证分析,提出协变量偏移可预测未知条件偏移强度的新作用,结合理论解释并验证其能提升部分观测数据泛化任务的不确定性量化效果,为分布偏移问题提供新研究方向。
2024-12-12 cs.LG stat.AP stat.ME
Not all distributional shifts are equal: Fine-grained robust conformal inference
本研究提出细粒度鲁棒共形推断框架,区分协变量与条件分布偏移,通过重加权训练样本结合分布鲁棒学习生成有效预测区间,在模拟和真实数据中表现优于现有基准,可用于个体治疗效应敏感性分析。
2025-05-18 stat.ME
Weighted Conformal Prediction for Survival Analysis under Covariate Shift
Yonsei University(延世大学)
本文提出了一种加权符合预测方法,用于在协变量偏移下的生存分析,通过理论支持和实验证明其在不同删失水平和偏移情况下的鲁棒性和一致性。
2025-12-03 stat.AP stat.ME
A General (Non-Markovian) Framework for Covariate Adaptive Randomization: Achieving Balance While Eliminating the Shift
Institute of Statistics and Big Data, Renmin University of China(中国人民大学统计与大数据研究院)
本文提出了一种非马尔可夫的协变量自适应随机化框架,通过动态调整参数实现协变量平衡并消除偏移问题。
2026-02-26 math.ST stat.ME stat.TH
Effective Sample Size, Dimensionality, and Generalization in Covariate Shift Adaptation
University of São Paulo(圣保罗大学);Advanced Institute for Artificial Intelligence (AI2)(高级人工智能研究所);Experian DataLab LatAm(益百利拉丁美洲数据实验室)
在监督学习中,训练和测试数据集通常从不同的分布中采样。因此,需要域自适应技术。协变量移位自适应产生良好的泛化性能时,域不同的边缘分布的功能。协变量偏移自适应通常使用重要性加权来实现,根据常识,由于有效样本量(ESS)较小,这可能会失败。以前的研究认为,这种情况在高维环境中更常见。然而,如何有效的样本量,维数和模型的性能/泛化正式相关的监督学习,考虑到协变量转移适应的背景下,在文献中仍然有些模糊。因此,一个主要的挑战是提出一个统一的理论连接这些点。因此,在本文中,我们专注于建立一个统一的视图连接ESS,数据维度,并在协变量转移自适应的背景下推广。此外,我们还展示了如何降维或特征选择可以增加ESS,并认为我们的研究结果支持降维协变量转移适应之前作为一个很好的做法。
2022-01-09 cs.AI cs.LG stat.ME
Clustered random forests with correlated data for optimal estimation and inference under potential covariate shift
University of Cambridge(剑桥大学)
本文提出聚类随机森林算法,通过利用相关数据间的相关性提升估计和推断性能,并探讨协变量偏移下最优权重的选择方法。
2026-01-23 stat.ME stat.ML
Environment-Adaptive Covariate Selection: Learning When to Use Spurious Correlations for Out-of-Distribution Prediction
Department of Statistics, University of Michigan, Ann Arbor(统计系,密歇根大学,安阿伯分校)
针对分布外预测中协变量选择问题,提出环境自适应算法,根据环境特征动态选择协变量集,在模拟和实际数据中优于静态方法。
2026-11-10 cs.LG stat.ME
A Framework for Generalization and Transportation of Causal Estimates Under Covariate Shift
随机实验是一个很好的工具,估计内部有效的因果关系与手头的样本,但其外部有效性经常受到争议。虽然关于群体平均处理效应(PATE)估计的经典结果隐含地假设随机选择进入实验,但在许多医学、社会科学和工业实验中,这通常远非如此。当实验样本与目标样本在可观察或不可观察的维度上不同时,实验估计对政策决策的用途可能有限。我们首先将使用样本平均处理效应(SATE)估计目标平均处理效应(TATE)的外推偏倚分解为协变量偏移、重叠和效应修正分量,研究人员可以对此进行推理,以诊断外推偏倚的严重程度。接下来,我们将协变量转移作为样本选择问题,并提出估计器,重新加权实验对象的双重稳健分数,以估计整体样本(=:泛化)或替代目标样本(=:运输)中的处理效应。我们实现这些估计在开源的R包catheter TransportR,并说明其性能在模拟研究和讨论诊断,以评估其性能。
2023-01-12 econ.EM stat.ME
Causal Generalization of Continuous Treatment Effects under Covariate Shift
University of Wisconsin–Madison(威斯康星大学麦迪逊分校)
针对协变量偏移场景,提出扩展DCOW的两样本局部多项式回归框架,提升了连续处理效应在目标总体中的剂量反应估计性能,且在PM2.5与心脏病死亡率关联分析中得到验证。
2026-08-21 stat.ME stat.ML
TransFusion: Covariate-Shift Robust Transfer Learning for High-Dimensional Regression
Penn State Univ.(宾夕法尼亚州立大学);Xiamen Univ.(厦门大学)
本文提出TransFusion方法,通过新颖的融合正则化器在高维回归中实现协变量偏移鲁棒的迁移学习,并给出非渐近误差界、极小极大最优条件及分布式扩展,仅需一轮通信即可保持集中式估计速率。
2024-04-01 cs.DC cs.LG math.ST
Sketched Calibration for Conformal Prediction under Covariate Shift
Mofid Securities(莫菲德证券)
针对协变量偏移下加权保形预测成本高的问题,提出草图校准方法,通过压缩协变量降低校准成本并控制覆盖率泄漏,实验显示其显著减少无限预测集。
2026-10-08 math.ST stat.ME stat.ML
Doubly Robust Calibration of Prediction Sets under Covariate Shift
共形预测近年来受到了极大的关注,并为缺失数据和因果推断问题提供了新的解决方案,但这些进展并没有利用现代半参数有效性理论进行更鲁棒和有效的不确定性量化。在本文中,我们考虑的问题,获得分布免费的预测区域占的培训和测试数据之间的协变量的分布的转变。在一个可解释的协变量移位假设类似于标准的随机随机缺失假设,我们提出了三个变体的一般框架,以构建校准良好的预测区域的测试样本中未观察到的结果。我们的方法是基于有效的影响函数的分位数的未观察到的结果在测试人口结合任意机器学习预测算法,而不影响渐近覆盖。接下来,我们扩展了我们的方法,以解释偏离协变量转移的假设,在半参数敏感性分析潜在的潜在协变量转移。在所有情况下,我们建立的预测集最终达到名义上的平均覆盖率在大样本。这一保证是我们建议的产品偏差形式的结果,这意味着如果响应的倾向得分或条件分布被足够好地估计,则覆盖率是正确的。我们的研究结果还提供了一个框架,为个人处理效应的双重强大的预测集的建设,unconfoundedness和允许一定程度的不可测量的混杂。最后,我们讨论了不同的机器学习算法的预测集的聚合,以实现最佳预测,并说明了我们的方法在合成和真实数据中的性能。
2022-12-13 math.ST stat.ME stat.TH
Prediction Sets Adaptive to Unknown Covariate Shift
针对未知协变量偏移下预测集构建的难题,提出无分布方法PredSet-1Step,可高效构建具备渐近覆盖率保证的预测集,经理论与实验验证有效。
2023-06-17 math.ST stat.ME stat.ML
Double Debiased Covariate Shift Adaptation Robust to Density-Ratio Estimation
Mizuho-DL Financial Technology Co., Ltd.(瑞穗DL金融科技有限公司);Nagoya University Graduate School of Medicine(名古屋大学医学部)
针对协变量偏移下重要性加权依赖密度比估计并引入偏差的问题,提出结合回归函数与 double machine learning 的双重稳健估计量,证明其渐近性质与一致性,并通过模拟验证有效性。
2024-10-26 cs.LG econ.EM stat.ME
balnet: Pathwise Estimation of Covariate Balancing Propensity Scores
Monash University(莫纳什大学);Stanford University(斯坦福大学)
balnet通过逻辑协变量平衡损失函数实现可扩展的路径估计,支持弹性网求解器及非光滑惩罚项,用于空间像素级平衡构建合成控制权重。
2026-04-23 stat.CO stat.ME
Pseudo-Labeling for Kernel Ridge Regression under Covariate Shift
Department of IEOR and Data Science Institute, Columbia University(工业工程与数据科学学院,哥伦比亚大学)
针对协变量偏移下的核岭回归,本文提出用有标签数据分别构建候选模型与插补模型,并借助伪标签进行模型选择,证明其达到近极小极大最优风险率。
2025-07-24 cs.LG math.ST stat.ME
Structured Credal Learning
Institute of Statistics, LMU Munich(慕尼黑大学统计研究所);Munich Center for Machine Learning(慕尼黑机器学习中心);Institute of Informatics, LMU Munich(慕尼黑大学信息学研究所)
本文提出结构化信念学习框架,通过分离协变量偏移和标签不一致,建立总变差直径的几何界限,并展示其在有限样本下的集中界,从而提供一种实用的鲁棒学习方法。
2026-03-14 stat.ME stat.ML
Multi-CATE: Multi-Accurate Conditional Average Treatment Effect Estimation Robust to Unknown Covariate Shifts
Ludwig-Maximilians-University of Munich(慕尼黑大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心);Cornell University(康奈尔大学);University of Southern California(南加州大学)
提出Multi-CATE方法,通过多准确预测器后处理CATE T-learners和DR-learner,结合观察与随机数据集,提升对未知协变量偏移的鲁棒性,降低偏差和均方误差,实现因果推断的外部有效性。
2024-10-17 cs.LG stat.ME stat.ML
Sharp training-conditional coverage for conformal prediction under covariate shift
Mofid Securities(莫菲德证券公司)
本文研究协变量偏移下加权分裂共形预测的训练条件覆盖,提出基于集中不等式的显式界,并比较加权分位数、随机拒绝采样等方法,给出有限样本证书。
2026-09-29 cs.LG math.ST stat.ME
Nonparametric Goodness-of-fit Testing under Covariate Shift
Hong Kong University of Science and Technology(香港科技大学)
本文针对协变量偏移场景,提出结合截断重要性加权核岭回归与乘数自助法的非参数拟合优度检验方法,经理论证明与数值实验验证其有效性。
2026-08-07 cs.LG math.ST stat.ME
Model-free selective inference under covariate shift via weighted conformal p-values
针对协变量偏移下无需建模假设的选择性推断问题,提出加权保序p值与WCS过程,在有限样本中控制FDR,并支持处理效应推断和异常值检测。
2023-09-26 math.ST stat.AP stat.ME