Label Shift Adapter for Test-Time Adaptation under Covariate and Label Shifts
Qualcomm AI Research（高通人工智能研究院）；KAIST（韩国科学技术院）
针对协变量与标签偏移共存时现有TTA方法失效的问题，提出可嵌入各类TTA方法的标签偏移适配器，通过估计目标标签分布并预测部分模型参数实现高效适应，实验显示性能显著提升。
2023-08-17 cs.CV cs.LG
Estimating and Explaining Model Performance When Both Covariates and Labels Shift
Stanford University（斯坦福大学）
部署的机器学习（ML）模型经常遇到与其训练数据不同的新用户数据。因此，估计给定模型在新数据上的表现是迈向可靠ML应用的重要一步。然而，这是非常具有挑战性的，因为数据分布可以以灵活的方式变化，并且我们可能没有新数据上的任何标签，这在监控设置中经常发生。在本文中，我们提出了一个新的分布移位模型，稀疏联合移位（SJS），它考虑了两个标签和一些特征的联合移位。这统一和推广了几个现有的移位模型，包括标签移位和稀疏协变量移位，其中只考虑边缘特征或标签分布移位。我们描述的数学条件下，SJS是可识别的。我们进一步提出了SEES，一个算法框架来描述SJS下的分布偏移，并在没有任何标签的情况下估计模型在新数据上的性能。我们在几个真实世界的数据集上进行了大量的实验，使用了各种ML模型。在不同的数据集和分布偏移，SEES实现了显着的（高达一个数量级）偏移估计误差的改善，超过现有的方法。
2022-09-18 cs.AI cs.LG stat.AP
Applying non-negative matrix factorization with covariates to label matrix for classification
提出 NMF-LAB 方法，将分类重新定义为非负矩阵三因子分解的逆问题，通过直接分解标签矩阵并引入协变量，无需外部分类器即可获得类成员概率，支持半监督学习，在多个数据集上展现出高精度、鲁棒性和可扩展性。
2025-10-12 cs.LG stat.ME
From Local Geometry to Global Pseudo Labeling for Robust Positive Unlabeled Learning under Covariate Shift
U2IS, ENSTA（U2IS，ENSTA）；Institut Polytechnique de Paris（巴黎政治学院）；AMIAD, Pôle Recherche, Palaiseau（AMIAD，研究学院，帕莱索）
提出SPUNA框架，利用局部流形结构逐步发现偏移数据，在协变量偏移下实现正无标记学习，性能达到全监督方法水平。
2026-08-26 cs.CV cs.LG
Estimating Continuous Treatment Effects with Two-Stage Kernel Ridge Regression
Department of IEOR, Columbia University（哥伦比亚大学工业工程与运营研究系）；Department of IEOR and Data Science Institute, Columbia University（哥伦比亚大学工业工程与数据科学研究所）
针对连续治疗的效果函数估计问题，提出两阶段核岭回归方法，通过第一阶段建模响应与治疗和协变量的关系，第二阶段构造伪结果校正分布偏移，无需估计条件治疗密度即可达到最优学习界，并实现数据驱动的模型选择。
2026-05-28 cs.LG stat.ME stat.ML
Probabilistic learning of boolean functions applied to the binary classification problem with categorical covariates
Instituto Paulo Gontijo（保罗·贡蒂霍研究所）；FGV/EAESP（巴西应用经济研究所（FGV/EAESP））
在这项工作中，我们投的问题，二进制分类的估计划分伯努利数据。当解释变量都是分类变量时，问题可以用布尔函数的语言来建模。我们提供了一个概率分析的问题，并提出了两个算法学习布尔函数从二进制数据。
2020-03-20 cs.LG stat.ML
Dimension-reduced outcome-weighted learning for estimating individualized treatment regimes in observational studies
本文提出了一种降维的基于结果加权学习的方法，用于在观察性研究中更准确地估计个体化治疗方案，通过降低协变量维度以提高模型性能和可解释性。
2026-01-11 cs.LG stat.ME stat.ML
Pseudo-Labeling for Kernel Ridge Regression under Covariate Shift
Department of IEOR and Data Science Institute, Columbia University（工业工程与数据科学学院，哥伦比亚大学）
针对协变量偏移下的核岭回归，本文提出用有标签数据分别构建候选模型与插补模型，并借助伪标签进行模型选择，证明其达到近极小极大最优风险率。
2025-07-24 cs.LG math.ST stat.ME
Semi-Supervised Learning with Noisy Proxy Covariates: Generalization Bounds and Distribution Regression
Department of Statistics, Korea University, Seoul, Korea（韩国大学统计系）；Department of Statistics, Seoul National University, Seoul, Korea（首尔国立大学统计系）
针对带噪声代理协变量的半监督回归问题，提出两阶段估计器，利用所有代理协变量学习核本征特征，并在标记数据上拟合岭回归，理论证明在代理扰动可控且未标记代理协变量充足时能恢复快速标记样本率，实验表明在低标记率下优于监督和半监督基线。
2026-05-30 cs.IT cs.LG math.IT
Minimax Optimal Two-Stage Algorithm For Moment Estimation Under Covariate Shift
School of Statistics and Data Science（统计与数据科学学院）
针对协变量偏移下未知函数矩估计问题，提出一种两阶段算法，通过似然比重加权校准矩估计器，达到极小化最优界，并提供截断版本确保双重稳健性。
2025-06-30 cs.LG stat.ML
Robust Fairness under Covariate Shift
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；California Institute of Technology（加州理工学院）
对受保护群体的成员资格（种族、性别、年龄等）做出公平的预测已经成为分类算法的重要要求。现有技术从采样标记数据中导出公平模型，依赖于训练数据和测试数据从相同分布中相同且独立地抽取（iid）的假设。在实践中，当与机器学习系统交互的个体的特征改变时，在训练和测试数据集之间可能并且确实发生分布偏移。我们研究了协变量偏移下的公平性，这是对iid假设的放松，其中输入或协变量发生变化，而条件标签分布保持不变。在这些假设下，我们在具有未知标签的目标数据上寻求公平的决策。我们提出了一种方法，获得的预测，是强大的最坏情况下的目标性能，同时满足目标的公平性要求和匹配的统计特性的源数据。我们展示了我们的方法对基准预测任务的好处。
2021-02-06 cs.LG stat.ML
Covariate-Balancing-Aware Interpretable Deep Learning models for Treatment Effect Estimation
University of Pennsylvania（宾夕法尼亚大学）
估计处理效应对于许多具有观察数据的生物医学应用是非常重要的。特别地，处理效应的可解释性对于许多生物医学研究者是优选的。本文首先从理论上分析了强可重复性假设下平均处理效应（ATE）估计的偏差，并给出了其上界。通过利用加权能量距离的吸引力属性，我们的上限比文献中报道的更紧。受理论分析的启发，我们提出了一种新的目标函数估计ATE，使用能量距离平衡得分，因此不需要正确的规范的倾向得分模型。我们还利用最近开发的神经添加模型来提高用于潜在结果预测的深度学习模型的可解释性。我们进一步增强了我们提出的模型与能量距离平衡得分加权正则化。我们提出的模型优于当前国家的最先进的方法证明了在半合成实验中使用两个基准数据集，即IHDP和ACIC。
2022-06-24 cs.LG stat.ML
On the Use of Sparse Filtering for Covariate Shift Adaptation
The University of Manchester（曼彻斯特大学）
在本文中，我们正式分析使用稀疏滤波算法进行协变量偏移适应。我们提供了一个稀疏滤波的理论分析，通过评估所需的条件进行协变量偏移适应。我们证明了稀疏滤波可以执行自适应，只有当标签的条件分布具有由余弦度量解释的结构。为了克服这一局限性，我们提出了一种新的算法，命名为周期性稀疏滤波，并进行了相同的理论分析协变量偏移适应。我们表明，周期性稀疏滤波可以执行适应下的宽松和更现实的要求，条件分布的标签具有周期性的结构，这可能是满足，例如，由用户相关的数据集。我们用合成数据验证了我们的理论结果。此外，我们将周期性稀疏滤波应用于真实世界的数据集，以证明这种简单且计算效率高的算法能够实现具有竞争力的性能。
2017-09-11 cs.LG stat.ML
Local Learning for Covariate Selection in Nonparametric Causal Effect Estimation with Latent Variables
Department of Applied Statistics, Beijing Technology and Business University（应用统计系，北京技术与商业大学）；SIAT, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）
针对潜变量存在下非参数因果效应估计的协变量选择问题，提出利用可观测变量间可检验关系进行局部学习的有效且完备的方法，并通过合成与真实数据实验验证其有效性。
2025-10-27 cs.LG math.ST stat.ML
Nearest Neighbor Sampling for Covariate Shift Adaptation
Univ Rennes（雷恩大学）；Ensai（国立统计与信息分析学院）；CNRS（法国国家科学研究中心）；CREST（经济统计研究中心）
本文提出一种基于源数据集中最近邻采样的协变量偏移自适应方法，无需估计样本权重，并证明k=1为最优选择，从而免去超参数调优，在拟线性时间内实现与参数估计相当的收敛速率和显著提升的运行效率。
2024-06-28 cs.LG stat.ML
Kandinsky Conformal Prediction: Beyond Class- and Covariate-Conditional Coverage
Khoury College of Computer Sciences, Northeastern University（东北大学计算机科学学院）；School of Computer Science, Carnegie Mellon University（卡内基梅隆大学计算机科学学院）
本研究提出Kandinsky共形预测框架，突破传统共形预测的覆盖局限，可灵活处理协变量与标签定义的重叠及分数组，统一拓展现有方法并实现极小极大最优高概率条件覆盖界，经真实数据集验证有效。
2025-07-31 cs.LG stat.ML
Localized Debiased Machine Learning: Efficient Inference on Quantile Treatment Effects and Beyond
Cornell University（康奈尔大学）；Tsinghua University（清华大学）
我们考虑估计一个低维参数的估计方程，涉及高维滋扰，取决于参数。一个重要的例子是因果推断中（局部）分位数处理效应（（L）QTE）的有效估计方程，其中涉及在待估计分位数处评估的协变量条件累积分布函数。去偏机器学习（DML）是一种使用灵活的机器学习方法来估计高维干扰的数据分割方法，但将其应用于参数依赖干扰的问题是不切实际的。对于（L）QTE，DML要求我们学习整个协变量条件累积分布函数。相反，我们提出了本地化的去偏机器学习（LDML），它避免了这个繁琐的步骤，只需要估计滋扰在一个单一的初始粗略猜测的参数。对于（L）QTE，LDML只涉及学习两个回归函数，这是机器学习方法的标准任务。我们证明了在宽松率条件下，我们的估计具有相同的有利渐近行为的不可行估计，使用未知的真实滋扰。因此，LDML特别使实际可行的和理论上接地有效的估计重要的数量在因果推断，如（L）QTE时，我们必须控制许多协变量和/或灵活的关系，我们在实证研究中证明。
2022-08-17 cs.LG stat.ME stat.ML
Cause-Effect Deep Information Bottleneck For Systematically Missing Covariates
Harvard John A Paulson School of Engineering and Applied Sciences, Harvard University（哈佛大学约翰·A·保尔森工程与应用科学学院，哈佛大学）；University of Basel（巴塞尔大学）
由于混杂因素的存在，从高维观测数据中估计干预措施的因果效应是困难的。由于在测试时我们的数据中可能有系统性的缺失，这项任务通常会变得复杂。我们的方法使用的信息瓶颈进行低维压缩的协变量，明确考虑的相关性的信息。基于充分减少的协变量，我们将相关信息转移到测试时数据缺失的情况下，使我们能够可靠准确地估计干预措施的效果，即使数据不完整。我们的结果因果推断基准和治疗败血症的实际应用表明，我们的方法达到了最先进的性能，而不牺牲可解释性。
2020-02-28 cs.LG stat.ML
Latent Covariate Shift: Unlocking Partial Identifiability for Multi-Source Domain Adaptation
Australian Institute for Machine Learning（澳大利亚机器学习研究所）；The University of Adelaide（阿德莱德大学）；School of Computer Science and Engineering（计算机科学与工程学院）；The University of New South Wales（新南威尔士大学）；School of Mathematics and Statistics（数学与统计学院）；The University of Melbourne（墨尔本大学）；Halicioğlu Data Science Institute（哈利乔卢数据科学研究所）；University of California San Diego（加利福尼亚大学圣迭戈分校）；Carnegie Mellon University（卡内基梅隆大学）
针对多源领域适应中标签分布不一致的问题，提出潜在协变量偏移范式及因果生成模型，通过引入潜在内容变量实现块可辨识性，有效适应更大幅度的分布偏移。
2025-04-01 cs.LG stat.ML
Errors-in-variables Modeling of Personalized Treatment-Response Trajectories
Aalto University（阿尔托大学）；University of Helsinki（赫尔辛基大学）
在许多应用中，以协变量向量为条件估计治疗对给定结果的影响是核心。然而，学习的影响，一个连续的时间响应，当协变量遭受广泛的测量误差，甚至治疗的时机是不确定的，还没有得到解决。我们介绍了一种新的数据驱动的方法，可以估计在这种具有挑战性的情况下的治疗反应轨迹。我们将个性化治疗反应曲线建模为参数反应函数的组合，在个体之间分层共享信息，以及基线趋势的稀疏高斯过程。重要的是，我们的模型不仅考虑了治疗协变量的测量误差，还考虑了治疗时间的测量误差，这是一个在实践中出现的问题，例如当治疗信息是基于自我报告时。在一个具有挑战性和及时的问题，估计饮食对连续血糖测量的影响，我们的模型导致估计精度和预测显着改善。
2019-06-10 cs.LG stat.ML
Kernel Robust Bias-Aware Prediction under Covariate Shift
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
在协变量偏移下，训练（源）数据和测试（目标）数据在输入空间分布上不同，但共享相同的条件标签分布。这提出了一个具有挑战性的机器学习任务。鲁棒偏差感知（RBA）预测提供了条件标签分布，该条件标签分布对目标分布的最坏情况对数损失是鲁棒的，同时匹配来自源分布的特征期望约束。然而，采用具有不足特征约束的RBA可能导致针对大部分源数据的高确定性预测，同时为目标数据预测留下太多不确定性。为了克服这个问题，我们扩展的代表定理的RBA设置，使正则化的预期目标风险最小化的源分布下的重新加权的内核期望。通过应用核方法，我们建立了一致性保证，并证明了更好的性能的RBA分类器比竞争的方法在综合偏置UCI数据集，以及数据集，有自然的协变量偏移。
2017-12-28 cs.AI cs.LG stat.ML
Efficient and Provable Algorithms for Covariate Shift
本文针对协变量偏移领域算法理论保证匮乏的问题，提炼问题核心为未知有界函数的均值估计，提出若干具备可证明样本复杂度与计算保证的高效算法，并首次给出无约束函数下的严格分析，奠定理论基础。
2025-02-21 cs.DS cs.LG
Conformal Inference under High-Dimensional Covariate Shifts via Likelihood-Ratio Regularization
University of Pennsylvania（宾夕法尼亚大学）
针对高维协变量偏移下的保形预测问题，提出 LR-QR 算法，通过结合 pinball loss 与新颖正则化构建阈值函数，避免直接估计似然比，在目标域实现可控覆盖率并在多项高维任务上优于现有方法。
2025-07-01 cs.AI cs.LG stat.ML
Calibrated Prediction with Covariate Shift via Unsupervised Domain Adaptation
University of Pennsylvania（宾夕法尼亚大学）
可靠的不确定性估计是帮助自主智能体或人类决策者理解和利用预测模型的重要工具。然而，现有的估计不确定性的方法在很大程度上忽略了协变量偏移的可能性--即，其中真实世界数据分布可能不同于训练分布。因此，现有的算法可能会高估确定性，可能会对预测模型产生错误的信心。我们提出了一种算法，用于校准预测，占协变量偏移的可能性，给定标记的例子从训练分布和未标记的例子从现实世界的分布。我们的算法使用重要性加权来校正从训练到真实世界分布的转变。然而，重要性加权依赖于训练和真实世界分布足够接近。基于领域自适应的思想，我们还学习了一个试图均衡这两个分布的特征图。在实证评估中，我们表明，我们提出的方法优于现有的方法校准预测时，有协变量偏移。
2020-05-21 cs.LG stat.ML
Hidden Covariate Shift: A Minimal Assumption For Domain Adaptation
Sidetrade（Sidetrade公司）；CentraleSupélec（中央理工-高等电力学院）；Université Paris-Saclay（巴黎萨克雷大学）
无监督领域自适应的目的是在源域上使用标记数据学习模型，以便在目标域的未标记数据上表现良好。当前的方法集中于学习\textit{Domain Invariant Representations}。它依赖于这样的表示非常适合学习目标域中的监督任务的假设。我们更相信用于执行领域自适应的更好和最小假设是\textit{Hidden Covariate Shift}假设。这种方法包括学习数据的表示，使得以该表示为条件的标签分布是域不变的。从隐藏的协变量偏移假设，我们推导出一个优化过程，该过程学习匹配目标域上的估计联合分布和源域上的重新加权联合分布。重新加权在表示空间中完成，并在优化过程中学习。我们显示的合成数据和现实世界的数据，我们的方法处理\textit{Target Shift}和\textit{Concept Drift}。我们报告了Amazon Reviews数据集\cite{blitzer2007biographies}的最新性能，证明了这种方法的可行性。
2019-07-29 cs.LG stat.ML
Towards Backwards-Compatible Data with Confounded Domain Adaptation
本文提出一种基于混杂偏移的域适应框架，通过最小化条件分布散度实现向后兼容的数据调整，适用于多种下游任务，并在合成与真实数据上验证。
2024-11-11 cs.LG stat.ML
Pseudo-Labeling for Unsupervised Domain Adaptation with Kernel GLMs
Department of IEOR, Columbia University（哥伦比亚大学工业工程与运营研究系）；Department of IEOR and Data Science Institute, Columbia University（哥伦比亚大学工业工程与运营研究系及数据科学研究所）
本文提出一种基于核广义线性模型的无监督域适应框架，通过伪标签技术提升目标域预测性能，建立非渐近风险界并验证在合成和真实数据集上的有效性。
2026-03-19 cs.LG math.ST stat.ML
General and Estimable Learning Bound Unifying Covariate and Concept Shifts
Department of Statistics and Financial Mathematics, South China University of Technology, Guangzhou, China（统计与金融数学系，华南理工大学，广州，中国）
本文利用熵最优传输提出与支撑集无关的协变量和概念偏移定义，推导出统一误差界，并开发DataShifts算法以在广泛实际应用中量化偏移并估计误差界。
2025-08-22 cs.LG stat.ML
Inferential Evaluation of Surrogate-Derived Models under Covariate Shift
National University of Singapore（新加坡国立大学）；Peking University Health Science Center, Peking University（北京大学医学部，北京大学）；Beijing International Center for Mathematical Research, Peking University（北京大学北京国际数学研究中心）
该研究针对迁移学习中协变量偏移下金标签稀缺的问题，提出交叉拟合估计量等方法，实现代理衍生模型在目标人群的TPR、FPR等指标的推断，并通过模拟与实际AI应用验证了方法有效性。
2026-08-18 cs.LG stat.AP stat.ME
General Quantification of Covariate and Concept Shifts
South China University of Technology（华南理工大学）
本文提出基于熵正则化最优传输的$\gamma^{*}$-概念偏移定义，统一协变量与概念偏移的误差界，并开发可估计的DataShifts算法，为分布偏移下的学习误差提供通用量化工具。
2026-09-11 cs.AI cs.LG stat.ML
Estimating counterfactual treatment outcomes over time in complex multiagent scenarios
Graduate School of Informatics at Nagoya University（名古屋大学信息学研究科）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）；Graduate School of Informatics at Kyoto University（京都大学信息学研究科）；Graduate School of Engineering at the University of Tokyo（东京大学工学研究科）；Graduate School of Information Science and Technology at Osaka University（大阪大学信息科学与技术研究科）
提出一种基于图变分循环神经网络和领域知识的可解释反事实循环网络，用于在复杂多智能体场景中估计干预的个体处理效应，并在自动驾驶和篮球数据上验证了其有效性。
2024-02-17 cs.AI cs.LG cs.MA
Robust Importance Weighting for Covariate Shift
Columbia University（哥伦比亚大学）
在许多学习问题中，训练数据和测试数据遵循不同的分布，特别常见的情况是\textit{covariate shift}。为了纠正抽样偏差，大多数方法，包括流行的核均值匹配（KMM），专注于估计两个分布之间的重要性权重。然而，当分布差异较大且权重估计较差时，基于重新加权的方法暴露于高方差。另一方面，当训练规模有限时，使用非参数回归（NR）的替代方法会产生高偏差。在本文中，我们提出并分析了一个新的估计，系统地集成了NR的残差与KMM重新加权，基于控制变量的角度。所提出的估计可以被证明是严格优于或匹配KMM和NR的最知名的现有速率，因此是两个估计的鲁棒组合。实验结果表明，该估计器在实际应用中效果良好。
2020-03-11 cs.LG math.ST stat.ML
