Backward Conformal Prediction under Covariate Shift
The Ohio State University（俄亥俄州立大学）；Munich RE（慕尼黑再保险公司）
针对协变量偏移场景，本文通过重要性加权扩展反向共形预测（BCP），提出基于排序得分向量估计密度比的方法，改进了BCP的未覆盖率估计，且基于得分的加权效果优于基于嵌入的加权。
2026-10-14 cs.LG stat.ML
Covariate balancing using the integral probability metric for causal inference
Seoul National University（首尔国立大学）
本文提出使用积分概率度量（IPM）进行协变量平衡，通过确定最优权重使处理组与对照组的加权经验分布差异最小，证明该方法在无需正确设定任何模型的情况下估计量仍保持一致，并在有限样本上以巨大优势优于现有加权方法。
2023-05-23 cs.LG stat.ML
Weighting-Based Treatment Effect Estimation via Distribution Learning
本文提出一种基于分布学习的加权方法，通过学习协变量条件分布并利用密度比作为权重，以缓解模型误设，实验表明其在估计ATT上优于现有加权方法且具有双稳健性。
2023-05-08 cs.LG econ.EM stat.ML
Robust Importance Weighting for Covariate Shift
Columbia University（哥伦比亚大学）
在许多学习问题中，训练数据和测试数据遵循不同的分布，特别常见的情况是\textit{covariate shift}。为了纠正抽样偏差，大多数方法，包括流行的核均值匹配（KMM），专注于估计两个分布之间的重要性权重。然而，当分布差异较大且权重估计较差时，基于重新加权的方法暴露于高方差。另一方面，当训练规模有限时，使用非参数回归（NR）的替代方法会产生高偏差。在本文中，我们提出并分析了一个新的估计，系统地集成了NR的残差与KMM重新加权，基于控制变量的角度。所提出的估计可以被证明是严格优于或匹配KMM和NR的最知名的现有速率，因此是两个估计的鲁棒组合。实验结果表明，该估计器在实际应用中效果良好。
2020-03-11 cs.LG math.ST stat.ML
Adversarial Weighting for Domain Adaptation in Regression
Michelin（米其林）；EDF R&D（法国电力集团研发部）
我们提出了一种新的基于实例的方法来处理回归任务的背景下，监督领域自适应假设下的协变量偏移。在本文中开发的方法是基于这样的假设，即目标域上的任务可以有效地学习，在训练阶段通过适当的重新加权的源实例。我们引入了一种新的配方的优化目标领域自适应依赖于差异的距离表征域之间的差异，根据一个特定的任务和一类假设。为了解决这个问题，我们开发了一种对抗网络算法，它在一个前馈梯度下降中学习源加权方案和任务。我们提供了数字证据的相关性的方法对公共数据集的回归领域自适应通过可重复的实验。
2021-09-15 cs.LG stat.ML
Calibrated Prediction with Covariate Shift via Unsupervised Domain Adaptation
University of Pennsylvania（宾夕法尼亚大学）
可靠的不确定性估计是帮助自主智能体或人类决策者理解和利用预测模型的重要工具。然而，现有的估计不确定性的方法在很大程度上忽略了协变量偏移的可能性--即，其中真实世界数据分布可能不同于训练分布。因此，现有的算法可能会高估确定性，可能会对预测模型产生错误的信心。我们提出了一种算法，用于校准预测，占协变量偏移的可能性，给定标记的例子从训练分布和未标记的例子从现实世界的分布。我们的算法使用重要性加权来校正从训练到真实世界分布的转变。然而，重要性加权依赖于训练和真实世界分布足够接近。基于领域自适应的思想，我们还学习了一个试图均衡这两个分布的特征图。在实证评估中，我们表明，我们提出的方法优于现有的方法校准预测时，有协变量偏移。
2020-05-21 cs.LG stat.ML
Multi-source Heterogeneous Domain Adaptation with Conditional Weighting Adversarial Network
Harbin Institute of Technology（哈尔滨工业大学）；Southern University of Science and Technology（南方科技大学）；Peng Cheng Laboratory（鹏城实验室）
异构领域自适应（HDA）处理具有不同概率分布和特征表示的跨域样本的学习。现有的HDA研究大多集中在单源情景。然而，实际上，从多个异质域获得样品并不罕见。在这篇文章中，我们研究了多维度HDA问题，并提出了一个条件加权对抗网络（CWAN）来解决这个问题。所提出的CWAN对抗学习一个特征Transformer，一个标签分类器和一个域分类器。为了量化不同源域的重要性，CWAN引入了一种复杂的条件加权方案，根据源域和目标域之间的条件分布差异来计算源域的权重。与现有的加权方案不同，所提出的条件加权方案不仅对源域进行加权，而且在优化过程中隐式地对齐条件分布。实验结果清楚地表明，所提出的CWAN的性能远远优于几个国家的最先进的方法在四个真实世界的数据集。
2021-09-12 cs.LG stat.ML
Semi-Generative Modelling: Covariate-Shift Adaptation with Cause and Effect Features
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Univ. of Cambridge（剑桥大学）；Delft Univ. of Technology（代尔夫特理工大学）；Univ. of Copenhagen（哥本哈根大学）
目前的协变量移位自适应方法使用未标记的数据来计算重要性权重或域不变特征，而最终模型仅在标记数据上进行训练。在这里，我们考虑协变量移位的一个特殊情况，它允许我们从未标记的数据中学习，也就是说，将自适应与半监督学习相结合。使用因果关系的想法，我们认为，这需要学习的原因，$X_C$，和影响，$X_E$，一个目标变量，$Y$，并显示这种设置如何导致我们所谓的半生成模型，$P(Y,X_E|X_C,θ)$。我们的方法对因果特征分布中的域转移具有鲁棒性，并通过学习从原因到结果的直接映射来利用未标记的数据。在合成数据上的实验表明，在纯监督和重要性加权基线的分类显着改善。
2019-02-26 cs.LG stat.ML
A One-step Approach to Covariate Shift Adaptation
The University of Tokyo（东京大学）；RIKEN（理化学研究所）；Université Paris Dauphine-PSL（巴黎多菲纳大学-PSL）
许多机器学习场景中的默认假设是训练样本和测试样本来自相同的概率分布。然而，在现实世界中，由于环境的非平稳性或样本选择的偏差，这种假设往往被违反。在这项工作中，我们考虑一个普遍的设置称为协变量偏移，其中输入分布在训练和测试阶段之间不同，而给定输入的输出的条件分布保持不变。现有的协变量偏移自适应方法大多是两步方法，首先计算重要性权重，然后进行重要性加权经验风险最小化。在本文中，我们提出了一种新的一步方法，通过最小化测试风险的上限，在一次优化中联合学习预测模型和相关权重。我们从理论上分析了所提出的方法，并提供了一个泛化误差界。我们还实证证明了所提出的方法的有效性。
2021-05-03 cs.LG stat.ML
DeepMatch: Balancing Deep Covariate Representations for Causal Inference Using Adversarial Training
我们研究最佳协变量平衡的因果推断从观测数据时，丰富的协变量和复杂的关系，需要灵活的建模与神经网络。标准的方法，如倾向加权和匹配/平衡失败，在这样的设置，由于错误校准的倾向网和不适当的协变量表示，分别。我们提出了一种新的方法，基于对抗性训练的加权和一个神经网络，有效地解决了这一方法上的差距。通过该方法的新理论表征以及使用全连接架构学习复杂关系和卷积架构处理图像混淆的经验结果来证明这一点，展示了这种新方法如何在这些具有挑战性的环境中实现强大的因果分析。
2018-02-15 stat.ML
Nearest Neighbor-based Importance Weighting
University of Copenhagen（哥本哈根大学）；Delft University of Technology（代尔夫特理工大学）
重要性加权通常广泛应用于机器学习中，特别是处理数据协变量偏移问题的技术中。一种新的，直接的方法来确定这样的重要性加权。它依赖于最近邻分类方案，并且实现起来相对简单。各种分类任务的比较实验表明，我们所谓的最近邻加权（NNeW）计划的有效性。考虑到其性能，我们的程序可以作为一个简单而有效的基线方法的重要性加权。
2021-02-03 cs.LG stat.ML
Unbounded Density Ratio Estimation and Its Application to Covariate Shift Adaptation
School of Mathematical Sciences, Zhejiang University（浙江大学数学科学学院）；Department of Mathematics, Hong Kong Baptist University（香港浸会大学数学系）
本文研究无界密度比估计及其在协变量移位适应中的应用，提出三步估计方法，通过截断操作控制无界性，并建立非渐近收敛性保证。
2026-03-31 cs.LG stat.ML
Hidden Covariate Shift: A Minimal Assumption For Domain Adaptation
Sidetrade（Sidetrade公司）；CentraleSupélec（中央理工-高等电力学院）；Université Paris-Saclay（巴黎萨克雷大学）
无监督领域自适应的目的是在源域上使用标记数据学习模型，以便在目标域的未标记数据上表现良好。当前的方法集中于学习\textit{Domain Invariant Representations}。它依赖于这样的表示非常适合学习目标域中的监督任务的假设。我们更相信用于执行领域自适应的更好和最小假设是\textit{Hidden Covariate Shift}假设。这种方法包括学习数据的表示，使得以该表示为条件的标签分布是域不变的。从隐藏的协变量偏移假设，我们推导出一个优化过程，该过程学习匹配目标域上的估计联合分布和源域上的重新加权联合分布。重新加权在表示空间中完成，并在优化过程中学习。我们显示的合成数据和现实世界的数据，我们的方法处理\textit{Target Shift}和\textit{Concept Drift}。我们报告了Amazon Reviews数据集\cite{blitzer2007biographies}的最新性能，证明了这种方法的可行性。
2019-07-29 cs.LG stat.ML
Effective Sample Size, Dimensionality, and Generalization in Covariate Shift Adaptation
University of São Paulo（圣保罗大学）；Advanced Institute for Artificial Intelligence (AI2)（高级人工智能研究所）；Experian DataLab LatAm（益百利拉丁美洲数据实验室）
在监督学习中，训练和测试数据集通常从不同的分布中采样。因此，需要域自适应技术。协变量移位自适应产生良好的泛化性能时，域不同的边缘分布的功能。协变量偏移自适应通常使用重要性加权来实现，根据常识，由于有效样本量（ESS）较小，这可能会失败。以前的研究认为，这种情况在高维环境中更常见。然而，如何有效的样本量，维数和模型的性能/泛化正式相关的监督学习，考虑到协变量转移适应的背景下，在文献中仍然有些模糊。因此，一个主要的挑战是提出一个统一的理论连接这些点。因此，在本文中，我们专注于建立一个统一的视图连接ESS，数据维度，并在协变量转移自适应的背景下推广。此外，我们还展示了如何降维或特征选择可以增加ESS，并认为我们的研究结果支持降维协变量转移适应之前作为一个很好的做法。
2022-01-09 cs.AI cs.LG stat.ME
Nearest Neighbor Sampling for Covariate Shift Adaptation
Univ Rennes（雷恩大学）；Ensai（国立统计与信息分析学院）；CNRS（法国国家科学研究中心）；CREST（经济统计研究中心）
本文提出一种基于源数据集中最近邻采样的协变量偏移自适应方法，无需估计样本权重，并证明k=1为最优选择，从而免去超参数调优，在拟线性时间内实现与参数估计相当的收敛速率和显著提升的运行效率。
2024-06-28 cs.LG stat.ML
Towards Backwards-Compatible Data with Confounded Domain Adaptation
本文提出一种基于混杂偏移的域适应框架，通过最小化条件分布散度实现向后兼容的数据调整，适用于多种下游任务，并在合成与真实数据上验证。
2024-11-11 cs.LG stat.ML
PAC Learning Guarantees Under Covariate Shift
Microsoft AI（微软人工智能）；Harvard University（哈佛大学）
我们考虑领域自适应问题，也称为协变量偏移问题，其中生成训练数据和测试数据的分布不同，同时保留相同的标记函数。这个问题发生在大范围的实际应用中，并且与迁移学习的更普遍的挑战有关。关于这个主题的最新工作集中在特定于算法或实际用例的优化技术，而不是更通用的方法。稀疏的文献试图提供一般的界限似乎表明，有效的学习，即使在强假设是不可能的协变量偏移。我们的主要贡献是重新组织这些结果表明，任何可能近似正确（PAC）的可学习的概念类仍然是PAC学习协变量偏移条件下，只有一个多项式增加的训练样本的数量。这种方法本质上证明了领域自适应学习问题与潜在的PAC学习问题一样困难，只要在训练和测试分布上提供一些条件。我们还提出了拒绝采样算法的界限，证明它作为解决方案的领域自适应问题，在某些情况下。
2018-12-16 cs.LG stat.ML
Domain Adaptation with Factorizable Joint Shift
Massachusetts Institute of Technology（麻省理工学院）；Rutgers University（罗格斯大学）
现有的领域自适应（DA）通常假设域偏移来自协变量或标签。然而，在实际应用中，从不同领域选择的样本可能在协变量和标签中存在偏差。在本文中，我们提出了一个新的假设，可因子化的联合移位（FJS），处理协变量和标签的抽样偏差的共存。虽然考虑到双方的变化，但FJS假设两个因素之间的偏差是独立的。我们提供了理论和经验的理解，当FJS退化到先前的假设，当它是必要的。我们进一步提出了联合重要性对齐（JIA），判别学习目标，以获得联合重要性估计的监督和无监督领域自适应。我们的方法可以无缝地与现有的领域自适应算法更好的重要性估计和加权的训练数据。在人工数据集上的实验证明了该方法的优越性。
2022-03-06 cs.LG stat.ML
Diverse Instances-Weighting Ensemble based on Region Drift Disagreement for Concept Drift Adaptation
概念漂移是指底层数据分布的变化，是数据流演化的固有属性。具有动态分类器的包围学习已被证明是处理概念漂移的有效方法。然而，最好的方式来创建和保持集成多样性与不断变化的流仍然是一个具有挑战性的问题。与通过输入、输出或分类器参数估计多样性相反，我们提出了一种基于集合成员是否同意区域分布变化概率的多样性测量。在我们的方法中，区域分布变化的估计被用作实例权重。通过不同的方案构造不同的区域集合将导致不同的漂移估计结果，从而产生多样性。选择最不同意的分类器以最大化多样性。因此，基于实例的集成学习算法，称为不同的实例加权集成（DiwE），开发解决数据流分类问题的概念漂移。各种合成和真实世界的数据流基准的评估表明，该算法的有效性和优势。
2020-04-13 cs.LG stat.ML
Robust Covariate Shift Prediction with General Losses and Feature Views
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
协变量偏移通过允许不同的训练和测试输入分布来放松广泛使用的独立同分布（IID）假设。不幸的是，解决协变量偏移的常用方法，试图通过使用重要性加权来消除训练和测试分布之间的偏差，通常在理论上提供较差的性能保证，在实践中提供具有高方差的不可靠预测。最近开发的方法，构建一个预测，固有的强大的学习困难下协变量偏移的限制，以最大限度地减少对数损失，并可能过于保守，当面对高维学习任务。我们以两种方式解决这些限制：通过稳健地最小化各种损失函数，包括非凸函数，在测试分布下;以及根据输入变量和示例标签之间关系的不同基于特征的视图，分别塑造协变量偏移的影响。这些推广使得稳健的协变量偏移预测适用于更多的任务场景。我们证明了分类的好处下协变量偏移任务。
2017-12-28 cs.LG stat.ML
TILT: Target-induced loss tilting under covariate shift
Lab for Information and Decision Systems（信息与决策系统实验室）；Statistics and Data Science Center（统计与数据科学中心）；EECS, Massachusetts Institute of Technology（麻省理工学院电子工程与计算机科学系）；Mathematics and EECS, Massachusetts Institute of Technology（数学与电子工程与计算机科学系, 麻省理工学院）
本文提出TILT方法用于无监督域适应，通过分解源预测器为f+b，并在带标签源数据上拟合f+b同时惩罚无标签目标输入的辅助组件b，从而提升目标域性能。
2026-05-14 cs.LG stat.ML
Double Debiased Covariate Shift Adaptation Robust to Density-Ratio Estimation
Mizuho-DL Financial Technology Co., Ltd.（瑞穗DL金融科技有限公司）；Nagoya University Graduate School of Medicine（名古屋大学医学部）
针对协变量偏移下重要性加权依赖密度比估计并引入偏差的问题，提出结合回归函数与 double machine learning 的双重稳健估计量，证明其渐近性质与一致性，并通过模拟验证有效性。
2024-10-26 cs.LG econ.EM stat.ME
Extreme Dimension Reduction for Handling Covariate Shift
MIT（麻省理工学院）；Duke University（杜克大学）
在协变量偏移学习场景中，训练协变量分布和测试协变量分布不同，因此预测变量在训练分布和测试分布上的平均损失也不同。在这项工作中，我们探讨了潜在的极端降维，即非常低的尺寸，在提高性能的重要性加权方法处理协变量偏移的转变，这失败的高维由于潜在的高训练/测试协变量的分歧和无法准确地估计所需的密度比。我们首先制定和解决一个问题，优化线性子空间的预测效用和训练/测试发散的组合。将其应用于模拟和真实数据，我们表明极端的降维有时会有帮助，但并不总是，由于降维引入的偏见。
2018-03-12 cs.AI cs.LG stat.ML
Convergence Analysis of Nyström Subsampling in Covariate Shift Adaptation for Misspecified case
Institute of Mathematics NAS of Ukraine（乌克兰国家科学院数学研究所）；University of Giessen（吉森大学）；Kyiv Academic University（基辅学术大学）
研究在协变量偏移下，针对低光滑性（误设定）情形，正则化Nyström子抽样的收敛性，给出了基于源条件、有效维度和样本量的过剩风险上界，并扩展到未知Radon-Nikodym导数时的分析。
2026-06-23 cs.LG cs.NA math.NA
Kernel Balancing: A flexible non-parametric weighting procedure for estimating causal effects
在不存在未观察到的混杂因素的情况下，匹配和加权方法被广泛用于估计因果量，包括对治疗者的平均处理效应（ATT）。不幸的是，这些方法不一定能实现其目标，即使对照组的协变量的多变量分布与治疗组的协变量分布相同，使两组之间的协变量的一些（潜在的多变量）函数具有不同的平均值。当这些“不平衡”的功能影响非治疗的潜在结果时，对观察到的协变量的调节失败，ATT估计可能有偏差。本文介绍的核平衡针对无偏ATT估计的较弱要求，特别是治疗组和对照组的预期非治疗潜在结局相等。假设非治疗潜在结果的条件期望落在与内核选择相关的函数空间中，这意味着一组基函数，其中该回归曲面是线性的。然后在对照单位上选择权重，使得处理组和对照组在这些基函数上具有相等的平均值。因此，在加权后，治疗组和对照组的非治疗潜在结局的预期也必须相等，允许通过随后的平均值差异或使用这些权重的结局模型进行无偏ATT估计。此外，所产生的权重是（1）精确地均衡治疗组和对照组协变量的多变量分布的特定基于核的近似值的权重，以及（2）等同于一种形式的稳定化反向倾向得分加权，尽管它不需要假设任何治疗分配机制模型。提供了一个R包KBAL来实现这种方法。
2016-04-30 math.ST stat.AP stat.ME
Latent Covariate Shift: Unlocking Partial Identifiability for Multi-Source Domain Adaptation
Australian Institute for Machine Learning（澳大利亚机器学习研究所）；The University of Adelaide（阿德莱德大学）；School of Computer Science and Engineering（计算机科学与工程学院）；The University of New South Wales（新南威尔士大学）；School of Mathematics and Statistics（数学与统计学院）；The University of Melbourne（墨尔本大学）；Halicioğlu Data Science Institute（哈利乔卢数据科学研究所）；University of California San Diego（加利福尼亚大学圣迭戈分校）；Carnegie Mellon University（卡内基梅隆大学）
针对多源领域适应中标签分布不一致的问题，提出潜在协变量偏移范式及因果生成模型，通过引入潜在内容变量实现块可辨识性，有效适应更大幅度的分布偏移。
2025-04-01 cs.LG stat.ML
Proxy Methods for Domain Adaptation
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Google Research（谷歌研究院）；Stanford University（斯坦福大学）；University College London（伦敦大学学院）；Google DeepMind（谷歌DeepMind）；Gatsby Computational Neuroscience Unit（加茨比计算神经科学单元）
针对潜混淆因子引发的分布偏移域适应问题，该研究利用近端因果学习的代理变量技术，提出两阶段核估计方法，在概念瓶颈和多源域场景下均优于显式恢复潜变量的方法。
2024-03-12 cs.LG stat.ML
Nonparametric Goodness-of-fit Testing under Covariate Shift
Hong Kong University of Science and Technology（香港科技大学）
本文针对协变量偏移场景，提出结合截断重要性加权核岭回归与乘数自助法的非参数拟合优度检验方法，经理论证明与数值实验验证其有效性。
2026-08-07 cs.LG math.ST stat.ME
On Regularization Parameter Estimation under Covariate Shift
Delft University of Technology（代尔夫特理工大学）；University of Copenhagen（哥本哈根大学）
本文确定了一个问题，在领域自适应设置的L2正则化参数估计的通常程序。在这样的设置中，在生成训练数据（源域）和测试数据（目标域）的分布之间存在差异。通常的交叉验证过程需要验证数据，这不能从未标记的目标数据中获得。问题是，如果决定使用源验证数据，则正则化参数被低估。一种可能的解决方案是通过重要性加权来缩放源验证数据，但我们表明这种校正是不够的。最后，我们总结了几个重要的权重估计的正则化参数的估计的效果的实证分析。
2016-07-31 cs.LG stat.ML
Simulator Calibration under Covariate Shift with Kernels
NEC（日本电气股份有限公司）；AIST（产业技术综合研究所）；EURECOM（欧洲通信学院）
我们提出了一种新的计算机模拟器的校准方法，处理协变量移位的问题。协变量移位是指训练和测试的输入分布不同的情况，在仿真应用中普遍存在。我们的方法是基于贝叶斯推断与内核平均嵌入的分布，并使用一个重要性加权再生核协变量移位自适应。我们提供了一个理论分析所提出的方法，包括一个新的理论结果的条件均值嵌入，以及实证调查表明其在实践中的有效性。实验包括工业制造过程中广泛使用的模拟器的校准，在那里我们还演示了如何所提出的方法可能是有用的模型参数的敏感性分析。
2020-03-19 cs.LG stat.ML
Learning bounds for doubly-robust covariate shift adaptation
本文针对双鲁棒协变量偏移自适应方法缺乏非渐近保证的问题，首次推导其非渐近学习界，从通用场景与参数化模型场景给出理论边界，衔接渐近性质与有限样本泛化理论。
2025-11-14 econ.EM math.ST stat.ML
Optimal transport weights for causal inference
Harvard T.H. Chan School of Public Health（哈佛大学陈曾熙公共卫生学院）；David Geffen School of Medicine at UCLA（加州大学洛杉矶分校大卫·格芬医学院）
协变量分布的不平衡导致因果效应的有偏估计。加权方法试图纠正这种不平衡，但依赖于治疗分配机制的指定模型，这在观察性研究中是未知的。这使得研究人员在不知道正确组合以实现分布平衡的情况下为这些模型选择适当的加权方法和适当的协变量函数。为了应对这些困难，我们提出了一个非参数的推广其他几个加权方案中发现的文献：因果最优运输。这种新方法通过最大限度地减少治疗组和对照组之间的最佳运输距离，或更一般地说，任何来源和目标人群之间的最佳运输距离，直接针对分布平衡。我们的方法是半参数化的有效和无模型，但也可以将时刻或任何其他重要的功能的协变量，研究人员希望平衡。此外，我们的方法可以提供非参数估计的条件平均结果函数，我们给出了速度的收敛。此外，我们展示了这种方法如何提供缺失的潜在结果的非参数插补，并给出了这种估计的收敛速度。我们发现，因果最优运输优于竞争对手的方法时，倾向得分和结果模型是错误的，这表明它是一个强大的替代常见的加权方法。最后，我们证明了我们的方法在外部对照试验中的效用，检查米索前列醇与催产素治疗产后出血的效果。
2022-05-12 cs.LG econ.EM stat.ME
Expectation Consistency Loss: Rethink Confidence Calibration under Covariate Shift
School of Automation, Central South University, Changsha, China（中南大学自动化学院，长沙，中国）
本文针对协变量偏移下的置信度校准问题，提出了一种无监督域适应损失（ECL），该方法在理论和实践中均表现出色，能够有效校准目标域的置信度。
2026-05-20 cs.LG stat.ML
Improving robustness against common corruptions by covariate shift adaptation
University of Tübingen（蒂宾根大学）；IMPRS-IS（国际马克斯·普朗克智能系统研究学院）；LMU Munich（慕尼黑大学）
当今最先进的机器视觉模型容易受到图像损坏（如模糊或压缩伪影）的影响，从而限制了它们在许多现实应用中的性能。我们在这里认为，流行的基准来衡量模型的鲁棒性对常见的腐败（如ImageNet-C）低估了模型的鲁棒性在许多（但不是所有）应用场景。关键的见解是，在许多情况下，多个未标记的腐败示例是可用的，并且可以用于无监督的在线自适应。用受损图像的统计数据替换训练集上通过批量归一化估计的激活统计数据，一致地提高了25种不同流行计算机视觉模型的鲁棒性。使用校正后的统计数据，ResNet-50在ImageNet-C上达到62.2%的mCE，而在没有自适应的情况下为76.7%。通过更强大的DeepAugment+AugMix模型，我们将ResNet 50模型的最新技术水平从53.6%mCE提高到45.4%mCE。即使适应单个样本也可以提高ResNet-50和AugMix模型的鲁棒性，32个样本足以提高ResNet-50架构的当前技术水平。我们认为，无论何时报告腐败基准和其他分布外泛化设置中的分数，都应包括适应统计数据的结果。
2020-10-23 cs.CV cs.LG stat.ML
Causal Generalization of Continuous Treatment Effects under Covariate Shift
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
针对协变量偏移场景，提出扩展DCOW的两样本局部多项式回归框架，提升了连续处理效应在目标总体中的剂量反应估计性能，且在PM2.5与心脏病死亡率关联分析中得到验证。
2026-08-21 stat.ME stat.ML
Pseudo-Labeling for Unsupervised Domain Adaptation with Kernel GLMs
Department of IEOR, Columbia University（哥伦比亚大学工业工程与运营研究系）；Department of IEOR and Data Science Institute, Columbia University（哥伦比亚大学工业工程与运营研究系及数据科学研究所）
本文提出一种基于核广义线性模型的无监督域适应框架，通过伪标签技术提升目标域预测性能，建立非渐近风险界并验证在合成和真实数据集上的有效性。
2026-03-19 cs.LG math.ST stat.ML
General regularization in covariate shift adaptation
Johann Radon Institute for Computational and Applied Mathematics, Austrian Academy of Sciences（奥地利科学院约翰·拉东计算与应用数学研究所）
针对协变量偏移下RKHS最小二乘学习的误差问题，梳理重加权核回归已知误差界并组合得到新结果，证明弱光滑条件下达到标准监督学习同等精度所需样本量少于现有分析结论。
2023-07-21 cs.AI cs.CC cs.LG
Domain Adaptation Under MNAR Missingness
研究MNAR缺失偏移下的域适应问题，将其转化为插补问题并利用传统统计与深度学习方法开发新程序，可同时处理MNAR缺失与协变量偏移，在EHR数据上验证有效。
2025-04-01 stat.ME stat.ML
Stratified Learning: A General-Purpose Statistical Method for Improved Learning under Covariate Shift
Imperial College London（帝国理工学院）；SISSA (Trieste)（的里雅斯特高等研究国际学校）；Simon Fraser University（西蒙菲莎大学）
本文提出基于倾向得分分层的通用统计学习方法，通过在各层内拟合学习器缓解协变量偏移，并在超新星分类和星系红移估计任务上取得优于现有方法的性能。
2023-05-17 astro-ph.CO cs.LG stat.ML
Feature Adaptation for Sparse Linear Regression
MIT（麻省理工学院）；Stanford（斯坦福大学）；UCLA（加州大学洛杉矶分校）
本文针对相关随机设计下的稀疏线性回归，提出一种多项式时间的特征自适应算法，通过自动调整Lasso以容忍少量近似依赖关系，在常数稀疏度和少量离群特征值条件下实现接近最优的样本复杂度，并首次对任意协方差情形给出优于暴力搜索的多项式因子改进。
2023-05-26 cs.DS cs.LG math.ST
Domain Adaptation with Target Information via Doubly-Anchored Distributionally Robust Optimization
George Mason University（乔治梅森大学）
提出双锚定分布鲁棒优化框架，利用目标信息构建模糊集，推导KL/HD桥几何，建立泛化界并转化为桥加权估计器，在Fashion-MNIST上验证稳定性。
2026-09-29 cs.IT cs.LG math.IT
