Latent Covariate Shift: Unlocking Partial Identifiability for Multi-Source Domain Adaptation
Australian Institute for Machine Learning（澳大利亚机器学习研究所）；The University of Adelaide（阿德莱德大学）；School of Computer Science and Engineering（计算机科学与工程学院）；The University of New South Wales（新南威尔士大学）；School of Mathematics and Statistics（数学与统计学院）；The University of Melbourne（墨尔本大学）；Halicioğlu Data Science Institute（哈利乔卢数据科学研究所）；University of California San Diego（加利福尼亚大学圣迭戈分校）；Carnegie Mellon University（卡内基梅隆大学）
针对多源领域适应中标签分布不一致的问题，提出潜在协变量偏移范式及因果生成模型，通过引入潜在内容变量实现块可辨识性，有效适应更大幅度的分布偏移。
2025-04-01 cs.LG stat.ML
Proxy Methods for Domain Adaptation
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Google Research（谷歌研究院）；Stanford University（斯坦福大学）；University College London（伦敦大学学院）；Google DeepMind（谷歌DeepMind）；Gatsby Computational Neuroscience Unit（加茨比计算神经科学单元）
针对潜混淆因子引发的分布偏移域适应问题，该研究利用近端因果学习的代理变量技术，提出两阶段核估计方法，在概念瓶颈和多源域场景下均优于显式恢复潜变量的方法。
2024-03-12 cs.LG stat.ML
Fully Test-time Adaptation for Tabular Data
Nanjing University（南京大学）
针对表格数据测试时分布偏移问题，提出FTAT方法，实现全测试时自适应，在六个基准数据集上优于现有方法。
2024-12-14 cs.AI cs.LG stat.ML
Confidence Calibration for Domain Generalization under Covariate Shift
SRI International（SRI国际）；School of Electrical Engineering and Computer Science, Oregon State University（俄勒冈州立大学电气工程与计算机科学学院）
现有的校准算法通过无监督的领域自适应来解决协变量偏移的问题。然而，这些方法受到以下限制：1）它们需要来自目标域的未标记数据，这在现实世界应用中的校准阶段可能不可用，以及2）它们的性能严重依赖于源域和目标域的分布之间的差异。为了解决这两个限制，我们提出了新的校准解决方案，通过领域泛化。我们的核心思想是利用多个校准域来减少目标和校准域之间的有效分布差异，以改善校准传递，而不需要来自目标域的任何数据。我们提供了理论依据和经验的实验结果来证明我们提出的算法的有效性。与针对领域自适应设计的最先进的校准方法相比，我们观察到预期校准误差降低了8.86个百分点，或者相当于，在多类分类的改进率上增加了35个百分点。
2021-08-19 cs.CV cs.LG
Domain Conditional Predictors for Domain Adaptation
INRS-EMT, Université du Québec（魁北克大学INRS-EMT）；Google（谷歌）
学习保证通常依赖于独立同分布的假设。数据，一旦预测器被部署来执行现实世界的任务，在实践中可能会违反这些数据。因此，领域自适应方法出现作为一个有用的框架，产生额外的灵活性，在不同的训练和测试数据分布的支持，提供了其他假设得到满足，如协变量偏移，它期望在标签的条件分布是独立的基础数据分布。为了在不同的训练和测试数据源上诱导泛化，引入了几种方法，并且这些方法通常依赖于域不变性的一般思想，以这种方式，预测模型将忽略数据生成分布。在这篇文章中，我们通过从相反的方向接近它来解决跨数据源的泛化问题：我们考虑一种条件建模方法，在这种方法中，预测除了依赖于输入数据之外，还使用与底层数据生成分布相关的信息。例如，模型具有明确的机制来适应不断变化的环境和/或新的数据源。我们认为，这种方法是更普遍适用于比目前的领域自适应方法，因为它不需要额外的假设，如协变量偏移，并进一步产生更简单的训练算法，避免了一个共同的来源，训练不稳定性所造成的极大极小公式，经常采用域不变的方法。
2021-06-25 cs.AI cs.CV cs.LG
Early Detection of Misinformation for Infodemic Management: A Domain Adaptation Approach
Lerner College of Business and Economics, University of Delaware（德克萨斯大学德尔韦大学商学院与经济学学院）；School of Information Management & Engineering, Shanghai University of Finance and Economics（上海财经大学信息管理与工程学院）
针对信息疫情早期缺乏标注数据的问题，提出一种同时处理协变量偏移和概念偏移的领域自适应虚假信息检测方法，在真实数据集上优于现有方法。
2026-05-28 cs.CL cs.LG cs.SI
Leveraging unsupervised data and domain adaptation for deep regression in low-cost sensor calibration
Indian Institute of Technology Kanpur（坎普尔印度理工学院）
随着人们对空气质量认识的提高，空气质量监测正成为一项重要任务。低成本空气质量传感器易于部署，但不如昂贵且笨重的参考监测器可靠。低质量传感器可以在深度学习的帮助下针对参考监视器进行校准。在本文中，我们将传感器校准的任务转化为一个半监督的领域自适应问题，并提出了一种新的解决方案。该问题具有挑战性，因为它是一个具有协变量偏移和标签间隙的回归问题。我们使用直方图损失代替均方或平均绝对误差，这是常用的回归，并发现它对协变量偏移有用。为了处理标签间隙，我们提出了对抗熵优化的样本加权。在实验评估中，所提出的计划优于许多竞争的基线，这是基于半监督和监督领域自适应，在R2得分和平均绝对误差。消融研究显示了整个方案中每个拟议组件的相关性。
2022-10-02 cs.LG eess.SP
LEAD: Learning Decomposition for Source-free Universal Domain Adaptation
Tongji University（同济大学）；Chemnitz University of Technology（开姆尼茨工业大学）；Technical University of Munich（慕尼黑工业大学）
针对无源通用域适应中目标域私有未知类别识别难的问题，提出LEAD方法，通过特征正交分解与实例级自适应决策边界识别私有数据，在多个场景取得更优性能且效率更高，可与现有方法互补。
2024-03-06 cs.AI cs.CV cs.LG
UniCA: Unified Covariate Adaptation for Time Series Foundation Model
School of Artificial Intelligence, Nanjing University, China（南京大学人工智能学院，中国）；National Key Laboratory for Novel Software Technology, Nanjing University, China（南京大学新型软件技术国家重点实验室，中国）；Ant Group, Hangzhou, China（蚂蚁集团，杭州，中国）
UniCA通过协变量同质化和统一注意力融合机制，提升时空基础模型对异质协变量的适应能力，实验证明其在多模态预测任务中的优越性。
2026-03-24 cs.AI cs.LG
Domain Adaptation with Target Information via Doubly-Anchored Distributionally Robust Optimization
George Mason University（乔治梅森大学）
提出双锚定分布鲁棒优化框架，利用目标信息构建模糊集，推导KL/HD桥几何，建立泛化界并转化为桥加权估计器，在Fashion-MNIST上验证稳定性。
2026-09-29 cs.IT cs.LG math.IT
Domain Adaptation under Missingness Shift
Carnegie Mellon University（卡内基梅隆大学）
本文提出缺失偏移下的域适应（DAMS）问题，证明缺失指示符可得时其可归约为协变量偏移，针对完全随机漏报且无缺失指示符的场景推导了四项理论结果，提出线性模型的解析调整方法，并通过实验验证了方法有效性。
2023-05-03 cs.LG stat.ML
centroIDA: Cross-Domain Class Discrepancy Minimization Based on Accumulative Class-Centroids for Imbalanced Domain Adaptation
针对不平衡域适应场景下同时存在协变量与长尾标签偏移、少数类分布估计不确定性高影响性能的问题，提出centroIDA方法，通过类重采样、累积类质心对齐与逐类特征对齐提升效果，优于现有SOTA方法。
2023-08-21 cs.LG
Selecting Treatment Effects Models for Domain Adaptation Using Causal Knowledge
UCLA（加州大学洛杉矶分校）；University of Oxford（牛津大学）；The Alan Turing Institute（艾伦·图灵研究所）；University of Cambridge（剑桥大学）
从观察数据中选择因果推理模型来估计个体化治疗效果（ITE）是一个独特的挑战，因为从未观察到反事实结果。该问题在无监督领域自适应（UDA）设置中进一步受到挑战，在该设置中，我们只能访问源域中的标记样本，但希望选择在目标域上实现良好性能的模型，对于该目标域，只有未标记样本可用。UDA模型选择的现有技术是针对预测设置而设计的。这些方法检查源域和目标域中输入协变量之间的判别密度比，并且不考虑目标域中模型的预测。正因为如此，在源域上具有相同性能的两个模型将通过现有方法获得相同的风险评分，但实际上，在测试域中具有显著不同的性能。我们利用跨域因果结构的不变性，提出了一种新的模型选择度量，专门为ITE方法UDA设置下。特别是，我们建议选择模型的干预措施的效果的预测满足已知的因果结构在目标域。在实验上，我们的方法选择了对多个医疗数据集的协变量偏移更稳健的ITE模型，包括估计来自不同地理位置的COVID-19患者的通气效果。
2021-02-11 cs.LG
Covariate Distribution Aware Meta-learning
Carnegie Mellon University（卡内基梅隆大学）
元学习已被证明是成功的少样本学习跨越回归，分类和强化学习范例。最近的方法已经采用贝叶斯解释，以提高基于梯度的元学习者通过量化后适应估计的不确定性。这些工作几乎完全忽略了任务的协变量分布$(p(x))$和相应的条件分布$p(y|x)$之间的潜在关系。在本文中，我们确定需要明确建模的任务协变量的元分布在一个分层贝叶斯框架。我们首先介绍一个图形模型，利用边缘$p(x)$的样本，以更好地推断每个任务的条件分布$(p(y|x))$的最佳参数的后验。基于这个模型，我们提出了一个计算上可行的元学习算法，通过引入有意义的松弛在我们的最终目标。我们证明了我们的算法的收益超过基于初始化的元学习基线流行的分类基准。最后，为了理解建模任务协变量的潜在好处，我们进一步在合成回归数据集上评估了我们的方法。
2020-11-28 cs.LG stat.ML
Scalable Causal Domain Adaptation
Purdue University（普渡大学）；Kalinga Institute of Industrial Technology（卡林加工业技术学院）；University of South Carolina（南卡罗来纳大学）
迁移学习中最关键的问题之一是领域自适应的任务，其目标是将在一个或多个源域中训练的算法应用于不同（但相关）的目标域。本文研究了当跨域不变性存在时，存在协变量偏移的领域自适应问题。现有的因果推理方法解决这个问题的主要限制之一是可扩展性。为了克服这一困难，我们提出了SCTL，一种算法，避免了穷举搜索，并确定不变的因果特征跨源和目标域的基础上马尔可夫毯发现。SCTL不需要事先了解因果结构、干预类型或干预目标。存在与SCTL相关联的内在局部性，这使得它实际上是可扩展的和鲁棒的，因为局部因果发现增加了计算独立性测试的能力，并且使得领域自适应的任务在计算上易于处理。我们展示了SCTL的可扩展性和鲁棒性的领域自适应使用合成和真实的数据集在低维和高维设置。
2021-12-07 cs.AI cs.LG stat.ML
BA-LoRA: Bias-Alleviating Low-Rank Adaptation to Mitigate Catastrophic Inheritance in Large Language Models
本文提出BA-LoRA，通过引入一致性、多样性及SVD项正则化，缓解低秩适应中的灾难性继承问题，提升模型鲁棒性和公平性。
2026-06-27 cs.CL cs.LG
A Generalized Neyman-Pearson Criterion for Optimal Domain Adaptation
University of Michigan（密歇根大学）
在二进制分类的领域自适应问题中，学习者被呈现来自源领域的标记示例，并且必须正确地分类来自目标领域的未标记示例，该目标领域可能与源不同。以前的工作在这个问题上假设的性能指标的兴趣是期望值的一些损失函数。我们引入了一个新的奈曼皮尔逊标准，并认为，对于这个最优性标准，更强的域适应结果是可能的比以前已经建立。特别是，我们研究了一类域自适应问题，概括了协变量移位假设和特征相关标签噪声模型，并建立了目标域上的最佳分类，尽管无法访问该域的标记数据。
2019-02-27 cs.LG stat.ML
Unsupervised Domain Adaptation with Progressive Adaptation of Subspaces
Nanjing University of Aeronautics & Astronautics（南京航空航天大学）
无监督领域自适应（UDA）是一种基于领域移位的知识转移算法，通过对已有标记的源领域进行知识转移，实现对未标记目标领域的分类。现有的大多数UDA方法试图通过减少域差异来减轻迁移带来的不利影响。然而，由于目标域中缺少标签，这样的方法容易遭受臭名昭著的模式坍塌问题。自然，缓解这个问题的有效方法之一是可靠地估计目标域的伪标签，这本身就很难。为了克服这一点，我们提出了一种新的UDA方法命名为渐进适应子空间的方法（PAS），我们利用这样的直觉，似乎更合理，逐步获得可靠的伪标签。具体而言，我们通过自适应地锚定/选择和利用具有可靠伪标签的目标样本，逐步稳步地改进共享子空间作为知识传递的桥梁。随后，细化的子空间又可以提供目标域的更可靠的伪标签，使得模式坍塌得到高度缓解。我们的全面评估表明，PAS不仅是有效的共同的UDA，但也优于国家的艺术更具有挑战性的部分领域自适应（PDA）的情况下，源标签集包含的目标之一。
2020-09-01 cs.CV cs.LG stat.ML
Distributionally Robust Classification for Multi-source Unsupervised Domain Adaptation
Pohang University of Science and Technology（釜山科学技术大学）；Korea Advanced Institute of Science and Technology（韩国科学技术院）
本文提出了一种多源无监督领域自适应的分布鲁棒分类框架，通过建模协变量和条件标签分布的不确定性，有效提升模型在目标域的泛化能力，尤其在目标数据稀缺时表现优异。
2026-02-23 cs.AI cs.LG
On Regularization Parameter Estimation under Covariate Shift
Delft University of Technology（代尔夫特理工大学）；University of Copenhagen（哥本哈根大学）
本文确定了一个问题，在领域自适应设置的L2正则化参数估计的通常程序。在这样的设置中，在生成训练数据（源域）和测试数据（目标域）的分布之间存在差异。通常的交叉验证过程需要验证数据，这不能从未标记的目标数据中获得。问题是，如果决定使用源验证数据，则正则化参数被低估。一种可能的解决方案是通过重要性加权来缩放源验证数据，但我们表明这种校正是不够的。最后，我们总结了几个重要的权重估计的正则化参数的估计的效果的实证分析。
2016-07-31 cs.LG stat.ML
Domain Adaptation with Asymmetrically-Relaxed Distribution Alignment
Carnegie Mellon University（卡内基梅隆大学）
当生成我们的测试数据的目标分布偏离源（训练）分布时，领域自适应解决了常见的问题。当缺少假设时，领域自适应是不可能的，严格的条件，例如协变量或标签偏移，使有原则的算法成为可能。最近提出的领域对抗方法包括对齐源和目标编码，通常激励这种方法在目标误差的理论范围内最小化两个（三个）项。不幸的是，这种最小化可能会导致第三项的任意增加，例如，它们可能会在不断变化的标签分布下崩溃。我们提出了非对称放松分布对齐，一种新的方法，克服了标准域对抗算法的一些限制。此外，我们描述了精确的假设，根据这些假设，我们的算法在理论上是有原则的，并在合成数据集和真实数据集上证明了经验优势。
2019-03-11 cs.LG stat.ML
ACDC: Online Unsupervised Cross-Domain Adaptation
Nanyang Technological University（南洋理工大学）；Singapore Institute of Manufacturing Technology（新加坡制造技术研究院）
我们考虑在线无监督的跨领域自适应问题，其中两个独立但相关的数据流具有不同的特征空间-一个完全标记的源流和一个未标记的目标流-一起学习。出现了独特的特征和挑战，例如协变量偏移、异步概念偏移和对比数据吞吐量。我们提出了ACDC，一个对抗性的无监督领域自适应框架，它可以用一个完整的自进化神经网络结构来处理多个数据流，对这些挑战做出反应。ACDC将三个模块封装到一个模型中：一个提取特征的去噪自动编码器，一个执行域转换的对抗模块，以及一个学习源流并预测目标流的估计器。ACDC是一个灵活且可扩展的框架，具有很少的超参数可调性。我们的实验结果下的prequential测试，然后训练协议表明，在基线方法的目标精度的改善，在某些情况下，实现了超过10%的增加。
2021-10-04 cs.LG
Adversarial Weighting for Domain Adaptation in Regression
Michelin（米其林）；EDF R&D（法国电力集团研发部）
我们提出了一种新的基于实例的方法来处理回归任务的背景下，监督领域自适应假设下的协变量偏移。在本文中开发的方法是基于这样的假设，即目标域上的任务可以有效地学习，在训练阶段通过适当的重新加权的源实例。我们引入了一种新的配方的优化目标领域自适应依赖于差异的距离表征域之间的差异，根据一个特定的任务和一类假设。为了解决这个问题，我们开发了一种对抗网络算法，它在一个前馈梯度下降中学习源加权方案和任务。我们提供了数字证据的相关性的方法对公共数据集的回归领域自适应通过可重复的实验。
2021-09-15 cs.LG stat.ML
Domain Adaptation meets Individual Fairness. And they get along
University of Michigan（密歇根大学）；University of Konstanz（康斯坦茨大学）；IBM Research（IBM研究院）；Princeton University（普林斯顿大学）；Stanford University（斯坦福大学）
许多算法偏差的例子是由分布偏移引起的。例如，机器学习（ML）模型在训练数据中代表性不足的人口统计群体上的表现往往更差。在本文中，我们利用算法公平性和分布偏移之间的这种联系来表明算法公平性干预可以帮助ML模型克服分布偏移，并且域自适应方法（用于克服分布偏移）可以减轻算法偏差。特别是，我们证明了（i）强制执行适当的个体公平性（IF）概念可以在协变量移位假设下提高ML模型的分布外准确性，以及（ii）有可能调整表示对齐方法进行域适应以强制个体公平性。前者是意料之外的，因为在制定综合框架干预措施时没有考虑到分配的变化。后者也是出乎意料的，因为代表对齐不是一个共同的方法，在个人公平文献。
2022-10-15 cs.AI cs.CY cs.LG
Effective Sample Size, Dimensionality, and Generalization in Covariate Shift Adaptation
University of São Paulo（圣保罗大学）；Advanced Institute for Artificial Intelligence (AI2)（高级人工智能研究所）；Experian DataLab LatAm（益百利拉丁美洲数据实验室）
在监督学习中，训练和测试数据集通常从不同的分布中采样。因此，需要域自适应技术。协变量移位自适应产生良好的泛化性能时，域不同的边缘分布的功能。协变量偏移自适应通常使用重要性加权来实现，根据常识，由于有效样本量（ESS）较小，这可能会失败。以前的研究认为，这种情况在高维环境中更常见。然而，如何有效的样本量，维数和模型的性能/泛化正式相关的监督学习，考虑到协变量转移适应的背景下，在文献中仍然有些模糊。因此，一个主要的挑战是提出一个统一的理论连接这些点。因此，在本文中，我们专注于建立一个统一的视图连接ESS，数据维度，并在协变量转移自适应的背景下推广。此外，我们还展示了如何降维或特征选择可以增加ESS，并认为我们的研究结果支持降维协变量转移适应之前作为一个很好的做法。
2022-01-09 cs.AI cs.LG stat.ME
Information Geometrically Generalized Covariate Shift Adaptation
SOKENDAI, Graduate University for Advanced Studies（综合研究大学院大学）；The Institute of Statistical Mathematics（统计数学研究所）；RIKEN（理化学研究所）
本文利用信息几何统一现有协变量偏移适应方法，提出几何推广框架并实现高效参数搜索，实验证明其性能优于所涵盖的现有方法。
2023-04-19 cs.LG
Federated Covariate Shift Adaptation for Missing Target Output Values
University of Science and Technology of China（中国科学技术大学）；Quzhou University（衢州学院）
最新的多源协变量移位算法是一种有效的超参数优化算法，用于丢失目标输出。在本文中，我们将该算法扩展到联邦学习的框架。针对联邦学习和协变量移位自适应中的数据孤岛问题，提出了目标风险的联邦域自适应估计，该估计是渐近无偏的，具有期望的渐近方差性质.我们为目标任务构建了一个加权模型，并提出了联邦协变量移位自适应算法，该算法在我们的环境中工作得更好。我们的方法的有效性是合理的理论和经验。
2023-02-28 cs.LG stat.ML
Domain Stylization: A Strong, Simple Baseline for Synthetic to Real Image Domain Adaptation
NVIDIA（英伟达）
由于协变量偏移问题，深度神经网络在应用于真实图像时在很大程度上未能有效利用合成数据。在本文中，我们表明，通过应用一个简单的修改现有的真实感风格转移算法，我们实现了最先进的合成到真实的领域自适应的结果。我们对语义分割和目标检测的四个合成到真实任务进行了广泛的实验验证，并表明我们的方法超过了任何当前最先进的基于GAN的图像翻译方法的性能，如分割和目标检测指标所衡量的。此外，我们提供了一个基于距离的分析，我们的方法，显示了显着减少弗雷歇初始距离之间的源域和目标域，提供了一个定量指标，证明了我们的算法在弥合合成到真实的差距的有效性。
2018-07-24 cs.CV cs.LG
Technical note on Sequential Test-Time Adaptation via Martingale-Driven Fisher Prompting
Institute of Business Administration（商业管理学院）
提出M-FISHER框架，通过指数鞅检测分布漂移并利用Fisher预条件更新实现稳定自适应，提供时间一致的错误控制保证和最优检测延迟。
2026-05-29 cs.LG stat.ML
Resilient Practical Test-Time Adaptation: Soft Batch Normalization Alignment and Entropy-driven Memory Bank
HKUST（香港科技大学）；NVIDIA（英伟达）；NUDT（国防科技大学）
针对测试时自适应中目标域分布变化、非独立同分布样本导致的模型退化问题，提出ResiTTA方法，结合弹性批量归一化软对齐与熵驱动记忆库，经多基准验证实现当前最优性能。
2024-01-26 cs.LG
On-target Adaptation
UC Berkeley（加州大学伯克利分校）；CUHK（香港中文大学）；Imaginary Number
领域自适应寻求减轻在\emph{source}域上的训练与在\emph{target}域上的测试之间的转换。大多数自适应方法依赖于源数据，通过对源数据和目标数据进行联合优化。无源方法通过在目标上对源模型进行微调，将源数据替换为源模型。无论哪种方式，模型表示和分类器的大多数参数更新都是从源而不是目标导出的。然而，目标准确性是目标，因此我们主张尽可能优化目标数据。我们通过基于目标的自适应显示出显着的改进，该自适应纯粹从目标数据中学习表示，同时仅采用源预测进行监督。在长尾分类设置中，我们通过基于目标的类分布学习进一步改进，该学习从目标数据中学习类的（不）平衡。
2021-09-02 cs.AI cs.CV cs.LG
Graph Data Selection for Domain Adaptation: A Model-Free Approach
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对图域适应中严重偏移与资源受限问题，提出无模型数据选择框架GRADATE，利用最优传输理论选择源域训练数据，提升现有GDA方法性能并减少数据需求。
2025-10-24 cs.LG
Domain Adaptation from Scratch
University of Edinburgh（爱丁堡大学）；Technion, IIT（以色列理工学院）
自然语言处理（NLP）算法正在迅速改进，但在应用于分发外的示例时往往会遇到困难。一个突出的方法，以减轻域差距是领域自适应，其中一个模型训练的源域是适应一个新的目标域。我们提出了一个新的学习设置，“从零开始的领域自适应”，我们认为这是至关重要的NLP的范围扩展到敏感领域的隐私保护的方式。在这种设置中，我们的目标是有效地注释来自一组源域的数据，以便训练的模型在数据不可用于注释的敏感目标域上表现良好。我们的研究比较了几种方法，这个具有挑战性的设置，从数据选择和领域自适应算法的主动学习范式，两个自然语言处理任务：情感分析和命名实体识别。我们的研究结果表明，使用上述方法缓解了域间隙，并将它们结合起来进一步改善了结果。
2022-09-02 cs.AI cs.CL cs.LG
On the Use of Sparse Filtering for Covariate Shift Adaptation
The University of Manchester（曼彻斯特大学）
在本文中，我们正式分析使用稀疏滤波算法进行协变量偏移适应。我们提供了一个稀疏滤波的理论分析，通过评估所需的条件进行协变量偏移适应。我们证明了稀疏滤波可以执行自适应，只有当标签的条件分布具有由余弦度量解释的结构。为了克服这一局限性，我们提出了一种新的算法，命名为周期性稀疏滤波，并进行了相同的理论分析协变量偏移适应。我们表明，周期性稀疏滤波可以执行适应下的宽松和更现实的要求，条件分布的标签具有周期性的结构，这可能是满足，例如，由用户相关的数据集。我们用合成数据验证了我们的理论结果。此外，我们将周期性稀疏滤波应用于真实世界的数据集，以证明这种简单且计算效率高的算法能够实现具有竞争力的性能。
2017-09-11 cs.LG stat.ML
Concurrent Subsidiary Supervision for Unsupervised Source-Free Domain Adaptation
Indian Institute of Science（印度科学学院）；Google Research（谷歌研究院）
无监督领域自适应（DA）的主要挑战是减轻源域和目标域之间的域移位。先前的DA工作表明，借口任务可以用来减轻这种域转移通过学习域不变表示。然而，在实践中，我们发现，大多数现有的借口任务对其他既定的技术是无效的。因此，我们从理论上分析了如何以及何时可以利用辅助借口任务来帮助给定DA问题的目标任务，并制定了客观的辅助任务适用性标准。基于这个标准，我们设计了一个新的过程中的贴纸干预和铸造贴纸分类作为一个监督的附属DA问题并发的目标任务无监督DA。我们的方法不仅提高了目标任务的适应性能，但也有利于隐私导向的无源DA，即没有并发的源-目标访问。在标准Office-31、Open-Home、DomainNet和VisDA基准测试上的实验证明了我们在单源和多源无源DA上的优越性。我们的方法还补充了现有的非无源作品，实现了领先的性能。
2022-07-27 cs.CV cs.LG
TILT: Target-induced loss tilting under covariate shift
Lab for Information and Decision Systems（信息与决策系统实验室）；Statistics and Data Science Center（统计与数据科学中心）；EECS, Massachusetts Institute of Technology（麻省理工学院电子工程与计算机科学系）；Mathematics and EECS, Massachusetts Institute of Technology（数学与电子工程与计算机科学系, 麻省理工学院）
本文提出TILT方法用于无监督域适应，通过分解源预测器为f+b，并在带标签源数据上拟合f+b同时惩罚无标签目标输入的辅助组件b，从而提升目标域性能。
2026-05-14 cs.LG stat.ML
CASUAL: Conditional Support Alignment for Domain Adaptation with Label Shift
VinAI Research（VinAI研究院）
本文提出CASUAL方法，通过最小化源域与目标域条件特征分布的支持散度，并基于新的目标风险界优化训练，有效解决了标签偏移下的无监督域自适应问题。
2024-12-29 cs.LG
Bayesian Low-rank Adaptation for Large Language Models
University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）；University of Bristol（布里斯托尔大学）
针对微调LLM过度自信问题，提出Laplace-LoRA，对LoRA参数应用贝叶斯拉普拉斯近似，显著提升校准性能。
2024-02-05 cs.LG
Rectifying Geometric Misalignment: Online Source-Free Adaptation for Class-Imbalanced EEG
针对类别不平衡脑电图的在线源适配问题，提出OSPDIM框架，通过流形约束偏置参数的实时优化校正几何错位，在运动想象数据集上显著优于标准黎曼基线。
2026-08-07 cs.LG
Co-training partial domain adaptation networks for industrial Fault Diagnosis
针对工业故障诊断中的部分域适应难题，提出交互式残差域适应网络IRDAN，通过域专属模型、残差域适应模块、交互式学习及停止准则提升性能，经实验验证效果优异。
2024-11-04 cs.LG
Lightweight Test-Time Adaptation for EMG-Based Gesture Recognition
School of Computer Science, University of Sheffield（谢菲尔德大学计算机科学学院）；Institute of Neuroinformatics, University of Zurich（神经信息学研究所）；ETH Zurich（苏黎世联邦理工学院）
针对肌电信号跨会话漂移问题，提出轻量级测试时自适应框架，包括因果自适应批归一化、高斯混合模型经验回放和元学习三种策略，在NinaPro DB6数据集上达到82%的跨会话准确率，显著提升鲁棒性且计算开销低。
2026-06-24 cs.HC cs.LG
Attention-based Domain Adaptation Forecasting of Streamflow in Data-Sparse Regions
University of Missouri-Columbia（密苏里大学哥伦比亚分校）；IBM Research Europe（IBM欧洲研究院）
本文提出一种基于注意力的领域自适应深度学习框架，利用数据丰富源域的水文特征和对抗训练，提升数据稀疏地区24小时径流预测性能。
2023-04-17 cs.LG
Representation Bayesian Risk Decompositions and Multi-Source Domain Adaptation
Google（谷歌）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；XaiPient
我们考虑表示学习（假设类$\mathcal{H} = \mathcal{F}\circ\mathcal{G}$），其中训练和测试分布可以不同。最近的研究为领域不变表示学习提供了提示和失败的例子，这是解决这个问题的一种常用方法，但提供的解释有些不同，没有提供一个统一的图片。在本文中，我们提供了新的风险分解，给出更细粒度的解释，并澄清潜在的泛化问题。对于单源领域自适应，我们通过自然混合参数给出目标风险的精确分解（等式），作为三个因素的和：（1）源风险，（2）表示条件标签发散，和（3）表示协变量偏移。我们推导出一个类似的多源情况下的分解。这些分解揭示了因素（2）和（3）是未能概括的确切原因。例如，我们证明了域对抗神经网络（DANN）试图正则化（3）但错过（2），而最近的技术不变风险最小化（Invariant Risk Minimization，简称VNN）试图考虑（2）但不考虑（3）。我们还验证了我们的观察实验。
2020-06-04 cs.LG stat.ML
CoRA: Covariate-Aware Adaptation of Time Series Foundation Models
School of Software, BNRist, Tsinghua University（软件学院、BNRist、清华大学）
CoRA提出一种协变量感知自适应框架，通过冻结基础模型骨干并利用格兰杰因果嵌入加权融合多模态协变量，在少量样本下实现31.1%的MSE降低，显著提升时间序列预测性能。
2025-10-14 cs.LG
Embracing the Disharmony in Medical Imaging: A Simple and Effective Framework for Domain Adaptation
University of Pennsylvania（宾夕法尼亚大学）；Perelman School of Medicine, University of Pennsylvania（宾夕法尼亚大学佩雷尔曼医学院）
训练数据和测试数据特征之间的不匹配导致多源成像场景中预测性能的显著下降。在医学成像中，不同地点的人群、扫描仪和采集协议的异质性提出了重大的领域转移挑战，并限制了机器学习模型的广泛临床采用。旨在学习对这些差异不变的数据表示的协调方法是解决域偏移的流行工具，但它们通常会导致预测准确性的下降。本文从不同的角度来看待这个问题：我们接受数据中的这种不和谐，并设计了一个简单但有效的框架来解决域转移问题。基于我们的理论论证，关键思想是在源数据上构建一个预训练的分类器，并使该模型适应新数据。分类器可以针对站点内领域自适应进行微调。我们还可以解决我们无法获得目标数据上的地面实况标签的情况;我们展示了如何使用辅助任务进行适应;这些任务使用协变量，如年龄，性别和种族，这些协变量很容易获得，但与主要任务相关。我们在用于阿尔茨海默病和精神分裂症分类的大规模真实世界3D脑MRI数据集上展示了站点内领域自适应和站点间领域泛化的实质性改进。
2021-12-20 cs.LG eess.IV
Semi-Generative Modelling: Covariate-Shift Adaptation with Cause and Effect Features
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Univ. of Cambridge（剑桥大学）；Delft Univ. of Technology（代尔夫特理工大学）；Univ. of Copenhagen（哥本哈根大学）
目前的协变量移位自适应方法使用未标记的数据来计算重要性权重或域不变特征，而最终模型仅在标记数据上进行训练。在这里，我们考虑协变量移位的一个特殊情况，它允许我们从未标记的数据中学习，也就是说，将自适应与半监督学习相结合。使用因果关系的想法，我们认为，这需要学习的原因，$X_C$，和影响，$X_E$，一个目标变量，$Y$，并显示这种设置如何导致我们所谓的半生成模型，$P(Y,X_E|X_C,θ)$。我们的方法对因果特征分布中的域转移具有鲁棒性，并通过学习从原因到结果的直接映射来利用未标记的数据。在合成数据上的实验表明，在纯监督和重要性加权基线的分类显着改善。
2019-02-26 cs.LG stat.ML
An introduction to domain adaptation and transfer learning
Delft University of Technology（代尔夫特理工大学）
在机器学习中，如果训练数据是底层分布的无偏样本，则学习的分类函数将对新样本进行准确预测。然而，如果训练数据不是无偏样本，则在如何分布训练数据与如何分布测试数据之间将存在差异。标准分类器无法应对训练和测试阶段之间数据分布的变化，并且不会表现良好。领域自适应和迁移学习是机器学习内的子领域，其涉及考虑这些类型的改变。在这里，我们提出了一个介绍这些领域，引导的问题：何时以及如何可以从源到目标域的分类推广？我们将首先简要介绍风险最小化，以及迁移学习和领域自适应如何扩展这个框架。接着，我们讨论了数据集转移的三种特殊情况，即先验、协变量和概念转移。对于更复杂的域转移，有各种各样的方法。这些措施分为：重要性加权，子空间映射，域不变空间，特征增强，极大极小估计和鲁棒算法。会出现一些问题，我们将在最后一节讨论。我们的结论是，许多开放的问题将不得不解决之前，转移学习器和域自适应分类器成为实用的。
2019-01-14 cs.CV cs.LG stat.ML
A One-step Approach to Covariate Shift Adaptation
The University of Tokyo（东京大学）；RIKEN（理化学研究所）；Université Paris Dauphine-PSL（巴黎多菲纳大学-PSL）
许多机器学习场景中的默认假设是训练样本和测试样本来自相同的概率分布。然而，在现实世界中，由于环境的非平稳性或样本选择的偏差，这种假设往往被违反。在这项工作中，我们考虑一个普遍的设置称为协变量偏移，其中输入分布在训练和测试阶段之间不同，而给定输入的输出的条件分布保持不变。现有的协变量偏移自适应方法大多是两步方法，首先计算重要性权重，然后进行重要性加权经验风险最小化。在本文中，我们提出了一种新的一步方法，通过最小化测试风险的上限，在一次优化中联合学习预测模型和相关权重。我们从理论上分析了所提出的方法，并提供了一个泛化误差界。我们还实证证明了所提出的方法的有效性。
2021-05-03 cs.LG stat.ML
Unbounded Density Ratio Estimation and Its Application to Covariate Shift Adaptation
School of Mathematical Sciences, Zhejiang University（浙江大学数学科学学院）；Department of Mathematics, Hong Kong Baptist University（香港浸会大学数学系）
本文研究无界密度比估计及其在协变量移位适应中的应用，提出三步估计方法，通过截断操作控制无界性，并建立非渐近收敛性保证。
2026-03-31 cs.LG stat.ML
When is Importance Weighting Correction Needed for Covariate Shift Adaptation?
EURECOM（欧洲通信学院）
本文研究了何时需要重要性加权（IW）校正来解决协变量偏移，这是监督学习中的一种常见情况，其中训练和测试数据的输入分布不同。经典的结果表明，当模型是参数化的和错误指定时，需要IW校正。相反，最近的研究结果表明，IW校正可能是不必要的，当模型是非参数和良好指定的。我们研究了文献中模型是非参数和错误指定的缺失情况，并表明需要IW校正以获得测试分布的真实未知函数的最佳近似。我们这样做，通过分析IW-corrected内核岭回归，涵盖了各种设置，包括参数和非参数模型，指定和错误的设置，以及任意的加权函数。
2023-03-07 cs.LG stat.ML
Optimal Policy Adaptation under Covariate Shift
Beijing Technology and Business University（北京技术与商业大学）；ByteDance Research（字节跳动研究）
针对协变量偏移下目标域最优策略学习问题，本文基于因果视角提出双重鲁棒半参数高效方法，利用源域全信息与目标域协变量数据学习策略，理论分析其偏差与泛化界，实验验证其奖励估计更准、策略更接近理论最优。
2025-05-17 cs.LG
Rethinking Data Augmentation under Covariate Shift: Invariant-Guided Diffusion and Prototype Reweighting
Arizona State University（亚利桑那州立大学）；Clemson University（克莱姆森大学）；NEC Laboratories America（NEC美国实验室）
针对协变量偏移下数据增强的误导生成与结构不稳定问题，提出IGDPR框架，结合不变性引导扩散与原型重加权，提升数据质量与学习稳健性。
2026-10-02 cs.AI cs.LG
Nearest Neighbor Sampling for Covariate Shift Adaptation
Univ Rennes（雷恩大学）；Ensai（国立统计与信息分析学院）；CNRS（法国国家科学研究中心）；CREST（经济统计研究中心）
本文提出一种基于源数据集中最近邻采样的协变量偏移自适应方法，无需估计样本权重，并证明k=1为最优选择，从而免去超参数调优，在拟线性时间内实现与参数估计相当的收敛速率和显著提升的运行效率。
2024-06-28 cs.LG stat.ML
Double Debiased Covariate Shift Adaptation Robust to Density-Ratio Estimation
Mizuho-DL Financial Technology Co., Ltd.（瑞穗DL金融科技有限公司）；Nagoya University Graduate School of Medicine（名古屋大学医学部）
针对协变量偏移下重要性加权依赖密度比估计并引入偏差的问题，提出结合回归函数与 double machine learning 的双重稳健估计量，证明其渐近性质与一致性，并通过模拟验证有效性。
2024-10-26 cs.LG econ.EM stat.ME
