Unsupervised Domain Adaptation with Progressive Domain Augmentation
Carleton University（卡尔顿大学）
领域自适应的目的是利用一个标签丰富的源域学习分类器在不同的标签稀缺的目标域。当这两个领域之间存在重大分歧时，这尤其具有挑战性。本文提出了一种基于渐进域增强的无监督领域自适应方法。该方法通过域插值生成虚拟中间域，逐步增大源域，并通过在格拉斯曼流形上进行多个子空间对齐来弥合源域和目标域的分歧。我们在多个领域自适应任务上进行了实验，结果表明所提出的方法达到了最先进的性能。
2020-04-24 cs.CV cs.LG stat.ML
Subdomain Adaptation with Manifolds Discrepancy Alignment
National University of Singapore（新加坡国立大学）；Nanyang Technological University（南洋理工大学）
减少领域分歧是迁移学习问题的关键步骤。现有的工作集中在最小化的全球域分歧。然而，两个域可以由多个共享的子域组成，并且在每个子域中彼此不同。在本文中，我们考虑到局部分歧的子域转移。具体来说，我们建议使用低维流形来表示子域，并在每个流形中对齐跨域的局部数据分布差异。流形最大平均离散度（M3D）被开发来测量每个流形中的局部分布差异。然后，我们提出了一个通用的框架，称为传输与流形离散对齐（TMDA），耦合数据流形的发现与M3D的最小化。我们在考虑线性和非线性映射的子空间学习情况下实例化TMDA。我们还在深度学习框架中实例化了TMDA。大量的实验研究表明，TMDA是一种很有前途的方法，用于各种迁移学习任务。
2020-05-06 cs.CV cs.LG stat.ML
Divergence Optimization for Noisy Universal Domain Adaptation
The University of Tokyo（东京大学）；OMRON SINIC X Corporation（欧姆龙SINIC X公司）
通用领域自适应（UniDA）是一种将从标签丰富的源领域学习到的知识转移到标签稀缺的目标领域的方法，它对标签集没有任何约束。然而，在实践中，很难在资源有限的源域中获得大量完全干净的标记数据。现有的UniDA方法依赖于具有正确注释的源样本，这极大地限制了它们在现实世界中的应用。因此，我们考虑一个新的现实的设置，称为噪声UniDA，其中分类器的训练与噪声标记的数据从源域和未标记的数据与未知的类分布从目标域。本文介绍了一种双头卷积神经网络框架，同时解决所有问题。我们的网络由一个共同的特征生成器和两个不同的决策边界的分类器。通过优化两个分类器输出之间的差异，我们可以检测噪声源样本，找到目标域中的“未知”类，并对齐源域和目标域的分布。在广泛的评估不同的领域自适应设置，所提出的方法优于现有的方法在大多数设置的大幅度。
2021-04-01 cs.CV
Unsupervised Domain Adaptation Based on the Predictive Uncertainty of Models
Seoul National University of Science and Technology（首尔国立科技大学）；Samsung SDS Technology Research（三星SDS技术研究院）
无监督领域自适应（UDA）的目的是在目标域与源域发生分布偏移的情况下提高预测性能。UDA的关键原则是使源域和目标域之间的分歧最小化。为了遵循这一原则，许多方法采用域匹配来匹配特征分布。最近的一些方法评估目标样本的两个预测之间的差异，以检测那些偏离源分布。然而，它们的性能是有限的，因为它们要么匹配边缘分布，要么保守地测量发散。在本文中，我们提出了一种新的UDA方法，学习域不变的功能，最大限度地减少域的分歧。我们提出模型的不确定性作为衡量域的分歧。我们的UDA方法基于模型不确定性（MUDA）采用贝叶斯框架，并提供了一种有效的方法来评估模型的不确定性，通过蒙特卡罗丢弃抽样。图像识别任务的实验结果表明，我们的方法是优于现有的国家的最先进的方法。我们还将MUDA扩展到多源领域自适应问题。
2022-11-16 cs.CV
Discriminative Joint Probability Maximum Mean Discrepancy (DJP-MMD) for Domain Adaptation
Huazhong University of Science and Technology（华中科技大学）
在领域自适应中，最大平均差异（MMD）被广泛采用来衡量源域和目标域分布之间的差异。许多现有的领域自适应方法基于联合MMD，其被计算为边缘分布差异和条件分布差异的（加权）和;然而，更自然的度量可以是它们的联合概率分布差异。此外，大多数度量仅旨在提高域之间的可转移性，而忽略了不同类别之间的可区分性，这可能导致分类性能不足。为了解决这些问题，本文提出了判别式联合概率MMD（DJP-MMD），以取代领域自适应中常用的联合MMD。它具有两个理想的性质：1）它为计算分布差异提供了一个新的理论基础，它更简单，更精确; 2）它同时增加了可传递性和可区分性。我们通过将其嵌入到联合概率领域自适应框架中来验证其性能。在6个图像分类数据集上的实验表明，该方法的分类性能优于传统的MMD方法。
2020-04-10 cs.CV cs.LG stat.ML
PAC-Bayesian Domain Adaptation Bounds for Multiclass Learners
University of Pittsburgh（匹兹堡大学）；Yonsei University（延世大学）
多类神经网络是现代无监督领域自适应的常用工具，但在自适应文献中缺乏对其非均匀样本复杂性的适当理论描述。为了填补这一空白，我们提出了第一个多类学习者的PAC贝叶斯适应界限。我们还提出了我们考虑的多类分布发散的第一近似技术，以方便我们的边界的实际使用。对于依赖于吉布斯预测的分歧，我们提出了额外的PAC贝叶斯适应范围，消除了效率低下的蒙特卡洛估计的需要。从经验上讲，我们测试我们提出的近似技术的有效性，以及一些新的设计概念，我们包括在我们的界限。最后，我们应用我们的边界来分析一个常见的适应算法，使用神经网络。
2022-07-12 cs.LG
IT-RUDA: Information Theory Assisted Robust Unsupervised Domain Adaptation
RMIT University（皇家墨尔本理工大学）；The University of Melbourne（墨尔本大学）；Ford Motor Company（福特汽车公司）
训练（源）和测试（目标）数据集之间的分布偏移是机器学习应用中遇到的常见问题。解决这个问题的一种方法是使用无监督领域自适应（UDA）技术，该技术执行从标签丰富的源域到未标记的目标域的知识转移。在实践中使用UDA时，源数据集或目标数据集中存在的离群值可能会带来额外的挑战。在本文中，$α$ -分歧被用作一种措施，以尽量减少源和目标分布之间的差异，同时继承鲁棒性，可调的一个单一的参数$α$，作为该措施的突出特点。在这里，它表明，其他著名的基于发散的UDA技术可以推导出所提出的方法的特殊情况。此外，理论上的上限导出的源损失和初始$α$ -两个域之间的分歧在目标域中的损失。通过在开集和部分UDA设置中的几个基准数据集上进行测试，验证了所提出方法的鲁棒性，其中目标和源数据集中存在的额外类被认为是离群值。
2022-10-24 cs.CV cs.LG
Technical note on Sequential Test-Time Adaptation via Martingale-Driven Fisher Prompting
Institute of Business Administration（商业管理学院）
提出M-FISHER框架，通过指数鞅检测分布漂移并利用Fisher预条件更新实现稳定自适应，提供时间一致的错误控制保证和最优检测延迟。
2026-05-29 cs.LG stat.ML
Unsupervised Video Domain Adaptation for Action Recognition: A Disentanglement Perspective
ByteDance（字节跳动）；National University of Singapore（新加坡国立大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）；University of Technology Sydney（悉尼科技大学）
本文首次从解耦视角解决无监督视频域适应问题，提出TranSVAE框架分别处理空间与时间域差异，通过约束潜在因素和对抗学习显著提升了动作识别性能。
2023-10-24 cs.AI cs.CV cs.LG
Noisy Universal Domain Adaptation via Divergence Optimization for Visual Recognition
The University of Tokyo（东京大学）；OMRON SINIC X Corporation（欧姆龙SINIC X公司）
针对源域标签含噪且目标域类别分布未知的通用域适应问题，提出多头卷积网络，通过优化多分类器输出散度实现噪声检测、未知类识别与域对齐。
2023-04-20 cs.CV
CLIP the Divergence: Language-guided Unsupervised Domain Adaptation
本文提出语言引导的无监督域适应方法 CLIP-Div，通过 CLIP 获得域无关分布并设计绝对、相对分歧损失及伪标签校准策略，显著提升跨域泛化性能。
2024-07-01 cs.CV
Towards Backwards-Compatible Data with Confounded Domain Adaptation
本文提出一种基于混杂偏移的域适应框架，通过最小化条件分布散度实现向后兼容的数据调整，适用于多种下游任务，并在合成与真实数据上验证。
2024-11-11 cs.LG stat.ML
Non-Negative Bregman Divergence Minimization for Deep Direct Density Ratio Estimation
CyberAgent, Inc.（赛博代理公司）；The University of Tokyo（东京大学）
密度比估计（DRE）是异常检测和领域自适应等各种机器学习任务的核心。在现有的DRE研究中，基于Bregman散度（BD）最小化的方法得到了广泛的研究。然而，当BD最小化应用于高度灵活的模型（如深度神经网络）时，往往会遭受我们所说的训练损失黑客攻击，这是由经验BD估计量的典型特征引起的过拟合的来源。在本文中，为了减轻列车损失黑客攻击，我们提出了一个非负校正的经验BD估计。理论上，我们通过一个泛化误差界证实了所提出方法的合理性。通过实验，我们提出的方法表现出良好的性能，在基于内点的离群点检测。
2021-07-17 cs.CV cs.LG stat.ML
Return of Frustratingly Easy Unsupervised Video Domain Adaptation
Magellan Technology Research Institute (MTRI)（马格纳技术研究所（MTRI））；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Nanyang Technological University（南洋理工大学）
本文提出了一种名为MetaTrans的简单无监督视频域适应方法，通过巧妙的模型架构设计，分别处理跨域视频的空间和时间分歧，从而在多个跨域动作识别任务中实现了显著的性能提升。
2026-05-19 cs.CV
Cross-Modal Domain Adaptation in Brain Disease Diagnosis: Maximum Mean Discrepancy-based Convolutional Neural Networks
本文针对脑疾病诊断中标注数据稀缺及跨模态泛化困难的问题，提出将最大均值差异（MMD）域自适应方法与卷积神经网络（CNN）结合，在Kaggle数据集上实现CT与MRI间的跨模态知识迁移，有效提升了诊断准确性和效率。
2024-05-06 cs.CV cs.LG
Continual Domain Adversarial Adaptation via Double-Head Discriminators
University at Buffalo（布法罗大学）
针对持续域对抗适应中源域数据受限导致$\gH$-散度估计误差的问题，提出双头判别器算法，引入源专用判别器降低估计误差，在基准上提升超2%并缓解遗忘。
2024-02-05 cs.AI cs.LG
Mining Label Distribution Drift in Unsupervised Domain Adaptation
Brandeis University（布兰迪斯大学）；Tulane University（杜兰大学）
针对无监督域自适应中标签分布漂移研究不足的问题，提出LMDAN模型，通过源样本加权策略联合应对数据与标签分布偏移，在显著漂移场景下实现更优性能。
2023-10-09 cs.CV
Maximum Likelihood with Bias-Corrected Calibration is Hard-To-Beat at Label Shift Adaptation
Stanford University（斯坦福大学）
标签偏移是指先验类概率p（y）在训练分布和测试分布之间变化，而条件概率p（x）在训练分布和测试分布之间变化的现象。|y）保持固定。标签偏移出现在医疗诊断等环境中，其中训练用于预测给定症状的疾病的分类器必须适应疾病的基线患病率不同的情况。给定p（y）的估计|x），Saerens等人提出了一种有效的最大似然算法来校正不需要模型再训练的标签偏移，但是该算法的限制性假设是p（y| x）被校准，这对现代神经网络来说是不正确的。最近，黑箱移位学习（BBSL）和标签移位下的正则化学习（RLLS）已经成为最先进的技术，以应对分类器不输出校准概率时的标签偏移，但这两种方法都需要使用重要性权重进行模型再训练，并且都没有针对最大似然进行基准测试。在这里，我们（1）表明，结合最大似然与一种类型的校准，我们称之为偏差校正校准优于BBSL和RLLS在不同的数据集和分布偏移，（2）证明，最大似然目标是凹的，（3）介绍了一个原则性的战略，估计源域先验，提高鲁棒性差校准。这项工作表明，最大似然与适当的校准是一个强大的和有效的基线标签偏移适应;笔记本重现实验可在https://github.com/kundajelab/labelshiftexperiments
2020-06-27 cs.LG stat.ML
Deep Cross-modality Adaptation via Semantics Preserving Adversarial Learning for Sketch-based 3D Shape Retrieval
由于2D草图和3D形状之间存在很大的跨模态差异，因此通过草图检索3D形状是一项非常具有挑战性的任务。为了解决这个问题，本文提出了一个新的框架来学习有区别的深度跨模态适应模型。具体来说，我们首先分别采用两个度量网络，然后是两个深度卷积神经网络（CNN），基于重要性感知度量学习方法学习特定于模态的判别特征。随后，我们显式地引入了一个跨模态转换网络来补偿两种模态之间的分歧，它可以将2D草图的特征转换到3D形状的特征空间。我们开发了一种基于对抗学习的方法来训练转换模型，通过同时增强两种模态的数据分布之间的整体相关性，并通过最小化跨模态平均差异项来减轻局部语义分歧。在SHREC 2013和SHREC 2014数据集上的实验结果清楚地表明，与最先进的方法相比，我们提出的模型具有更好的检索性能。
2018-07-04 cs.CV
Unsupervised domain adaptation with non-stochastic missing data
Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；Criteo AI Lab（科睿唯安人工智能实验室）；Université de Rouen（鲁昂大学）；Amazon（亚马逊）
我们认为无监督领域自适应（UDA）的分类问题中存在的数据丢失的未标记的目标域。更确切地说，出于实际应用的动机，我们分析的情况下，分布偏移域之间存在的，一些组件是系统性的缺乏对目标域没有可用的监督，用于填补缺失的目标组件。我们提出了一个生成的方法进行插补。插补在域不变的潜在空间中执行，并利用来自完整源域的间接监督。我们引入了一个单一的模型进行联合适应，插补和分类，根据我们的假设，最大限度地减少了其目标泛化误差的上限，并表现良好的各种代表分歧家庭（H-分歧，最优运输）。此外，我们比较了我们的自适应插补框架的目标误差和没有丢失目标组件的UDA分类器的“理想”目标误差。我们的模型通过自我训练进一步改进，使学习的源和目标类后验分布更接近。我们在三个不同形式的数据集上进行实验：经典的数字分类基准，亚马逊产品评论数据集，这些数据集通常用于UDA和真实世界的数字广告数据集。我们展示了在这些数据集上联合执行自适应、分类和插补的好处。
2021-09-16 cs.LG
Mind the Class Weight Bias: Weighted Maximum Mean Discrepancy for Unsupervised Domain Adaptation
Harbin Institute of Technology（哈尔滨工业大学）；Dalian University of Technology（大连理工大学）
在领域自适应中，最大平均差异（MMD）被广泛采用作为源域和目标域分布之间的差异度量。然而，现有的基于MMD的领域自适应方法通常忽略类别先验分布的变化，即，跨域的类权重偏差。这对于领域自适应来说仍然是一个开放的问题，但普遍存在，这可能是由样本选择标准和应用场景的变化引起的。我们发现，MMD不能占类权重偏差，并导致退化的领域自适应性能。为了解决这个问题，本文提出了一种加权MMD模型。具体来说，我们引入类特定的辅助权重到原始MMD利用类先验概率的源和目标域，其挑战在于，在目标域的类标签是不可用的。为了解决这一问题，我们提出的加权MMD模型通过在源域中为每个类引入辅助权重来定义，并通过分配伪标签，估计辅助权重和更新模型参数之间的交替来建议分类EM算法。大量的实验表明，我们的加权MMD优于传统的MMD的领域自适应。
2017-05-01 cs.CV
Unsupervised Domain Adaptation: A Multi-task Learning-based Method
University of Wollongong（卧龙岗大学）
提出了一种新的基于多任务学习的无监督领域自适应方法。具体地说，基于多任务学习的概念，通过考虑目标域的几何形状和源域与目标域之间的分歧，联合学习源域和目标域分类器。在此基础上提出了两种新的算法，分别采用正则化最小二乘法和支持向量机。在合成和真实世界的跨域识别任务的实验表明，所提出的方法优于几个国家的最先进的领域自适应方法。
2018-03-25 cs.CV
Using Latent Codes for Class Imbalance Problem in Unsupervised Domain Adaptation
Naver Labs Europe（Naver Labs欧洲）
当源域和目标域中的类空间有很大差异时，我们解决了无监督领域自适应中严重的类不平衡问题。直到最近，领域自适应方法假设对齐的类空间，使得减少分布发散使得域之间的转移更容易。这种对齐假设在现实世界的场景中是无效的，其中一些源类通常在目标域中表示不足或根本不存在。我们修改了目前的类不平衡的方法，并提出了一个新的使用潜在代码的对抗领域自适应框架。我们展示了如何潜在的代码可以用来解开沉默的结构的目标域，并确定代表性不足的类。我们展示了如何学习潜在代码重构与域不变表示，并使用它们来准确地估计目标标签。
2019-09-17 cs.LG stat.ML
Domain Adaptation for Semantic Segmentation with Maximum Squares Loss
Zhejiang University（浙江大学）；Fabu Inc.（法布公司）；Alibaba-Zhejiang University Joint Institute of Frontier Technologies（阿里巴巴-浙江大学前沿技术联合研究院）
用于语义分割的深度神经网络通常需要大量带有像素级标签的样本，这成为其实际应用中的主要困难。为了降低标注成本，提出了无监督领域自适应（UDA）方法来将知识从标注的合成数据集转移到未标注的真实世界数据集。近年来，一些半监督学习方法被应用于UDA，并取得了很好的效果。在半监督学习中最流行的方法之一是熵最小化方法。然而，当将熵最小化应用于用于语义分割的UDA时，熵的梯度偏向于易于转移的样本。为了平衡分类良好的目标样本的梯度，我们提出了最大平方损失。我们的最大平方损失可以防止训练过程被目标域中易于转移的样本所主导。此外，我们引入图像加权比，以减轻类不平衡的未标记的目标域。合成到真实和跨城市的适应实验证明了我们所提出的方法的有效性。代码发布在https：//github。com/ZJULEarning/MaxSquareLoss.
2019-09-30 cs.CV
From Atoms to Chains: Divergence-Guided Reasoning Curriculum for Unlabeled LLM Domain Adaptation
Beijing Key Laboratory of Intelligent Information Technology, School of Computer Science and Technology, Beijing Institute of Technology（北京智能信息科技重点实验室，计算机科学与技术学院，北京理工大学）；ByteDance China（字节跳动中国）
本文提出DGRC方法，通过分歧引导构建从原子知识到推理链的学习课程，提升无标签LLM在医疗和法律领域适应性能。
2026-01-27 cs.AI cs.LG
A Discriminative Technique for Multiple-Source Adaptation
Google Research（谷歌研究院）；Courant Institute of Mathematical Sciences（库朗数学科学研究所）；Hudson River Trading（哈德逊河交易公司）
我们提出了一种新的判别技术的多源适应，MSA，问题。与以前的工作不同，它依赖于每个源域的密度估计，我们的解决方案只需要条件概率，可以很容易地从源域的未标记数据准确估计。我们给出了我们的新技术，包括一般的保证Rényi分歧的基础上，学习边界时，条件Maxent用于估计条件概率的一个点属于源域的详细分析。我们表明，这些保证比较有利的生成的解决方案，使用核密度估计。我们的实验与现实世界的应用程序进一步表明，我们的新的歧视MSA算法优于以前的生成解决方案，以及其他领域自适应基线。
2021-02-12 cs.LG stat.ML
Graph Transfer Learning via Adversarial Domain Adaptation with Graph Convolution
Hainan University（海南大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；The Hong Kong Polytechnic University（香港理工大学）；The University of Hong Kong（香港大学）
针对单个网络中标注数据不足的问题，研究了跨网络节点分类问题。它的目的是利用部分标记的源网络中的标签信息来帮助完全未标记或部分标记的目标网络中的节点分类。现有的单网络学习方法不能解决这个问题，由于跨网络的域转移。一些多网络学习方法严重依赖于跨网络连接的存在，因此不适用于此问题。为了解决这个问题，我们提出了一个新的\textcolor{black}{graph}迁移学习框架AdaGCN利用对抗领域自适应和图卷积技术。它由两个组件组成：半监督学习组件和对抗性领域自适应组件。前者的目的是学习类判别节点表示与给定的标签信息的源和目标网络，而后者有助于减轻源和目标域之间的分布分歧，以促进知识转移。在真实世界数据集上的大量经验评估表明，AdaGCN可以成功地传输类信息，源网络上的标签率低，源域和目标域之间的分歧很大。用于再现实验结果的源代码可在https://github.com/daiquanyu/AdaGCN获得。
2022-07-31 cs.LG cs.SI stat.ML
Birds of A Feather Flock Together: Category-Divergence Guidance for Domain Adaptive Segmentation
Beihang University（北京航空航天大学）；ByteDance AI-Lab（字节跳动人工智能实验室）
无监督领域自适应（UDA）的目的是提高模型从源域到目标域的泛化能力。现有的UDA模型主要关注于通过最小化源域和目标域之间的特征差异来缓解域迁移，但通常忽略了类混淆问题。在这项工作中，我们提出了一个类间分离和类内聚合（ISIA）机制。它鼓励跨领域的代表性之间的一致性相同的类别和不同类别之间的差异。通过这种方式，属于相同类别的特征被对齐在一起，并且易混淆的类别被分离。通过度量每个类别的对齐复杂度，我们设计了一个自适应加权实例匹配（AIM）策略，以进一步优化实例级自适应。基于我们提出的方法，我们还提出了一个层次化的无监督的跨领域语义分割任务的领域自适应框架。通过图像级、特征级、类别级和实例级的对齐，实现了模型从源域到目标域的更强泛化性能。在两个典型的跨域语义分割任务中，GTA5到Cityscapes和SYNTHIA到Cityscapes，我们的方法达到了最先进的分割精度。我们还建立了两个跨领域的语义分割数据集的基础上公开可用的数据，即，遥感建筑物分割和道路分割，进行区域自适应分割。
2022-04-05 cs.CV
CoMaL: Conditional Maximum Likelihood Approach to Self-supervised Domain Adaptation in Long-tail Semantic Segmentation
University of Arkansas（阿肯色大学）；Concordia University（康考迪亚大学）；West Virginia University（西弗吉尼亚大学）
本文提出CoMaL方法，通过条件最大似然和结构依赖建模解决长尾语义分割中的自监督域自适应问题，并在SYNTHIA/GTA到Cityscapes基准上显著超越现有方法。
2023-04-14 cs.CV
Trust-Aware Joint Feature-Prediction Discrepancy for Robust Domain Adaptation
School of Engineering and Built Environment, Griffith University, Australia（工程与环境学院，格里菲斯大学，澳大利亚）
提出信任感知域适应框架，通过联合特征-预测差异（JFPD）结合不确定性信任和语义对齐信任，实现可靠性感知的域差异估计，提升域适应性能。
2026-05-24 cs.AI cs.CV cs.LG
Generalized Cauchy-Schwarz Divergence and Its Deep Learning Applications
Xi’an Jiaotong University（西安交通大学）；Xi’an Technological University（西安工业大学）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）；UiT - The Arctic University of Norway（挪威北极大学）
本文提出面向多个分布的广义柯西-施瓦茨散度（GCSD）及其核闭式估计器，并在深度聚类与多源域适应任务中验证其鲁棒性和有效性。
2024-06-06 cs.AI cs.LG
PAC-Bayesian Domain Adaptation Bounds for Multi-view learning
Galilé Group（加利莱集团）；Université Lyon 1（里昂第一大学）；LIRIS（里昂信息与图像研究实验室）
本文针对多视图学习中的域适应问题，提出基于Pac-Bayesian理论的泛化界分析方法，通过引入适用于多视图域适应的新距离度量，并给出相应的Pac-Bayesian界估计，整合了两种分离的研究范式。
2024-01-02 cs.LG stat.ML
Rethink Maximum Mean Discrepancy for Domain Adaptation
Dalian University of Technology（大连理工大学）；Indiana University-Purdue University Indianapolis（印第安纳大学-普渡大学印第安纳波利斯分校）
现有的领域自适应方法通过建立最大平均离散度（MMD）和区分距离，来减小源域和目标域之间的分布差异，并尊重源域和目标域的特定区分信息。然而，他们通常积累考虑这些统计量，并通过盲目估计参数来处理它们之间的关系。本文从理论上证明了两个基本事实：1）最小化MMD等于最大化源和目标的类内距离，但通过一些隐式权重共同最小化它们的方差，从而降低了特征的可分辨性; 2）类内距离和类间距离之间的关系是一个下降，另一个上升。在此基础上，我们提出了一种新的歧视性MMD。一方面，我们单独考虑类内和类间距离以去除冗余参数，并且所揭示的权重提供了它们的近似最优范围。另一方面，我们设计了两种不同的策略来提高特征的区分度：1）直接对MMD中隐含的类内距离施加一个权衡参数来调节其变化; 2）我们将MMD中揭示的相似权重施加在类间距离上并使其最大化，则可以引入平衡因子来定量地利用特征可转移性与其可辨别性。在多个基准数据集上的实验不仅证明了理论结果的有效性，而且表明我们的方法可以比比较先进的方法有更好的性能。
2020-07-01 cs.LG stat.ML
Efficient Neural Task Adaptation by Maximum Entropy Initialization
Dalhousie University（达尔豪斯大学）；Imagia Cybernetics（Imagia控制论公司）；Polish Academy of Sciences（波兰科学院）
将知识从一个神经网络转移到另一个神经网络已被证明有助于用很少的训练样本学习任务。流行的微调方法可能会通过大量的高能量随机噪声污染预先训练的特征。这种噪声主要是由于不小心替换了特定于任务的参数而产生的。我们从理论上分析了这种知识污染的分类任务，并提出了一个实用和易于应用的方法来捕获和最大限度地减少污染。在我们的方法中，输出估计的熵最初被最大化，并且第一个反向传播的误差在最后一层的输出处被停止。我们所提出的方法不仅优于传统的微调，但也显着加快了学习器的收敛。它对随机性具有鲁棒性，并且与体系结构的选择无关。总的来说，我们的实验表明，到目前为止，迁移学习的力量被大大低估了。
2019-07-12 cs.CV cs.LG cs.NE
BiMaL: Bijective Maximum Likelihood Approach to Domain Adaptation in Semantic Scene Segmentation
University of Arkansas（阿肯色大学）；Concordia University（康考迪亚大学）；University of Wollongong（伍伦贡大学）
语义分割的目标是预测像素级标签。它已经成为各种计算机视觉应用中的一个热门任务。虽然全监督分割方法在大规模视觉数据集上实现了高精度，但它们无法很好地推广到新的测试环境或新的领域。在这项工作中，我们首先引入了一个新的Un-aligned Domain Score，以无监督的方式衡量学习模型在新目标域上的效率。然后，我们提出了新的双射最大似然（BiMaL）损失，这是一种广义形式的对抗熵最小化，没有任何假设像素的独立性。我们已经评估了两个领域的建议BiMaL。所提出的BiMaL方法在“SYNTHIA to Cityscapes”、“GTA5 to Cityscapes”和“SYNTHIA to Vistas”的实证实验中始终优于SOTA方法。
2021-08-06 cs.CV
Multiple Classifiers Based Maximum Classifier Discrepancy for Unsupervised Domain Adaptation
University of Kansas（堪萨斯大学）；Ryerson University（瑞尔森大学）
基于两个分类器结构之间的最大分类器差异的对抗训练在用于图像分类的无监督领域自适应任务中取得了巨大的成功。该方法采用双分类器结构，虽然简单直观，但学习的分类边界可能不能很好地代表新领域的数据属性。在本文中，我们建议将该结构扩展到多个分类器，以进一步提高其性能。为此，我们开发了一种非常简单的方法来添加更多的分类器。我们利用多分类器之间存在差异的原则，构造了一个多分类器的差异损失函数。所提出的损失函数的构造方法使得在原框架中添加任意数量的分类器成为可能。所提出的方法是通过广泛的实验评估进行验证。我们证明，平均而言，采用三个分类器的结构通常会产生最好的性能作为准确性和效率之间的权衡。该方法以最小的额外计算代价，显著提高了原算法的性能。所提出的方法的源代码可以从\url{https://github.com/rucv/MMCD\_DA}下载。
2022-04-17 cs.CV
A New PAC-Bayesian Perspective on Domain Adaptation
INRIA, SIERRA Project-Team（法国国家信息与自动化研究所，SIERRA项目组）；D.I., Ecole Normale Superieure（巴黎高等师范学校计算机科学系）；Univ Lyon, UJM-Saint-Etienne, CNRS, IOGS, Laboratoire Hubert Curien UMR 5516（里昂大学，圣艾蒂安让·莫内大学，法国国家科学研究中心，IOGS，于贝尔·居里安实验室）；Université Laval（拉瓦尔大学）
我们研究PAC-Bayesian域自适应问题：我们希望从源域学习一个专用于目标域的多数投票模型。我们的理论贡献带来了一个新的视角，推导出一个上限的目标风险分布的分歧-表示为一个比率-控制之间的权衡源误差测量和目标选民的分歧。我们的界表明，一个人必须关注的区域，源数据是信息。从这个结果，我们得到了一个PAC贝叶斯泛化界，并专门用于线性分类器。然后，我们推导了一个学习算法，并在真实数据上进行了实验。
2016-07-26 cs.LG stat.ML
Importance Weighted Adversarial Nets for Partial Domain Adaptation
Advanced Multimedia Research Lab, University of Wollongong, Australia（伍伦贡大学高级多媒体研究实验室，澳大利亚伍伦贡大学高级多媒体研究实验室（注：此处“Advanced Multimedia Research Lab”是实验室，属于University of Wollongong的机构，整体按要求提取到大学级别，即University of Wollongong，澳大利亚伍伦贡大学））
提出了一种基于重要性加权对抗网的无监督领域自适应方法，该方法适用于目标领域类别数少于源领域类别数的部分领域自适应。以往的领域自适应方法一般假设标签空间相同，从而减少分布分歧导致可行的知识转移。然而，这样的假设在更现实的场景中不再有效，该场景需要从更大和更多样化的源域适应到具有更少类别的更小目标域。本文扩展了基于对抗性网络的领域自适应，提出了一种新型的基于对抗性网络的部分领域自适应方法，用于识别可能来自离群类的源样本，同时减少域之间共享类的移动。
2018-03-28 cs.CV
Mutual Learning Network for Multi-Source Domain Adaptation
DiDi Chuxing（滴滴出行）；Carleton University（卡尔顿大学）
早期的无监督领域自适应（UDA）方法大多假设单个源域的设置，其中所有标记的源数据来自相同的分布。然而，在实践中，标记数据可以来自具有不同分布的多个源域。在这样的场景中，由于跨不同源域的域移位的存在，单源领域自适应方法可能失败，并且需要设计多源领域自适应方法。本文提出了一种新的多源领域自适应方法--多源领域自适应互学习网络（ML-MSDA）。该方法在相互学习的框架下，将目标域与单个源域配对，训练一个条件对抗领域自适应网络作为分支网络，将组合的多源域与目标域配对，训练一个条件对抗自适应网络作为指导网络。多个分支网络与引导网络对齐，以通过在对应目标数据上对其预测概率分布实施JS发散正则化来实现相互学习。我们在多个多源领域自适应基准数据集上进行了广泛的实验。实验结果表明，所提出的ML-MSDA方法优于比较方法，达到了最先进的性能。
2020-03-29 cs.CV cs.LG
Weighted Joint Maximum Mean Discrepancy Enabled Multi-Source-Multi-Target Unsupervised Domain Adaptation Fault Diagnosis
Zhejiang University（浙江大学）；University of Illinois Urbana–Champaign Institute（伊利诺伊大学厄巴纳-香槟分校研究院）；Huazhong University of Science and Technology（华中科技大学）
本文提出加权联合最大均值差异实现的多源-多目标无监督域适应方法（WJMMD-MDA），通过改进的加权距离损失实现多源域与多目标域间的域对齐，学习域不变且具判别性的特征，首次在故障诊断领域实现多源-多目标场景下的跨域诊断，并在三个数据集上验证了其优越性。
2023-11-23 cs.AI cs.LG
Domain Adaptation of Majority Votes via Perturbed Variation-based Label Transfer
Institute of Science and Technology Austria（奥地利科学技术研究所）
我们解决PAC-Bayesian Domain Adaptation（DA）问题。当人们希望从源分布中学习不同目标分布上的良好加权多数投票（在一组分类器上）时，就会出现这种情况。在这种情况下，分类器之间的分歧是已知的控制至关重要。在非DA监督设置中，理论界-C界-涉及这种分歧，并导致多数投票学习算法：MinCq。在这项工作中，我们扩展MinCq DA利用一个优雅的发散分布称为扰动变差（PV）。首先，证明了一个新的配方的C界限，我们提供给MinCq的目标样本标记感谢基于PV的自标记集中在区域的源和目标边缘分布更接近。其次，我们提出了一个调整超参数的原始过程。我们的框架在玩具问题上显示出非常有希望的结果。
2013-11-19 cs.LG stat.ML
f-Domain-Adversarial Learning: Theory and Algorithms
NVIDIA（英伟达）；University of Toronto（多伦多大学）；Vector Institute（向量研究所）；University of Waterloo（滑铁卢大学）
无监督领域自适应用于许多机器学习应用中，其中在训练期间，模型可以访问目标域中的未标记数据以及相关的标记数据集。在本文中，我们介绍了一个新的和一般的领域对抗框架。具体而言，我们推导出一种新的泛化界领域自适应，利用一个新的措施之间的差异分布的基础上的变分特征的f-发散。它恢复了Ben-David等人的理论结果。（2010 a）作为特例，并支持实践中使用的分歧。基于这个界限，我们推导出一个新的算法框架，该框架在Ganin et al.（2016）的原始对抗训练方法中引入了一个关键修正。我们发现，在过去几年中引入的许多正则化器和ad-hoc目标并不需要达到与最先进的领域对抗方法相当（如果不是更好的话）的性能。在真实世界的自然语言和计算机视觉数据集上进行的实验分析表明，我们的框架优于现有的基线，并获得了先前在领域对抗学习中未考虑的f-分歧的最佳结果。
2021-06-21 cs.AI cs.CV cs.LG
A Unified Joint Maximum Mean Discrepancy for Domain Adaptation
Dalian University of Technology（大连理工大学）；Baidu Research（百度研究院）；Tulane University（杜兰大学）；University of Shenzhen（深圳大学）；University of Queensland（昆士兰大学）
领域自适应近年来受到了广泛的关注，提出了许多算法，取得了令人瞩目的进展。然而，它仍然没有充分探讨有关联合概率分布（P（X，Y））的距离为这个问题，因为它的经验估计来自最大平均差异（联合最大平均差异，JMMD）将涉及复杂的张量积算子，很难操作。为了解决这一问题，本文从理论上推导出了一种易于优化的JMMD统一形式，并证明了边缘、类条件和加权类条件概率分布距离是我们在不同标签核下的特例，其中加权类条件概率分布距离不仅可以实现类别级的跨域特征对齐，还可以利用类先验概率来处理不平衡数据集。从揭示的统一JMMD，我们说明，JMMD降低的特征-标签的依赖性（区分度），有利于分类，它是敏感的标签分布偏移时，标签核是加权类条件。因此，我们利用Hilbert Schmidt独立性准则，提出了一种新的MMD矩阵，以促进依赖性，并设计了一种新的标签核，是强大的标签分布偏移。最后，我们在多个跨域数据集上进行了大量的实验，以证明所揭示的理论结果的有效性和有效性。
2021-01-25 cs.LG
Domain Adaptation by Topology Regularization
George Washington University（乔治华盛顿大学）；Matrix Research（矩阵研究公司）
深度学习已成为辅助目标识别的主要方法。虽然这些方法通常需要大量标记的训练数据，但领域自适应（DA）或迁移学习（TL）使这些算法能够将知识从标记的（源）数据集转移到感兴趣的未标记但相关的（目标）数据集。DA使网络能够克服源和目标之间的分布不匹配，导致目标域的泛化能力差。DA技术通过最小化源和目标之间的偏差测量来调整这些分布，使得知识从源到目标的转移成为可能。虽然这些算法近年来取得了显着进步，但大多数算法在对齐源和目标时都没有显式地利用全局数据流形结构。我们建议利用全球数据结构的拓扑数据分析（TDA）技术称为持久同源TL。在本文中，我们研究了在域对抗（DAd）卷积神经网络（CNN）架构中使用持久同源性。实验表明，单独的对齐持久性是不够的转移，但必须考虑随着拓扑奇点的生命期。此外，我们发现，更长的生命周期表明强大的判别功能和更有利的数据结构。我们发现，现有的基于发散最小化的DA方法改善了拓扑结构，如在没有这些正则化技术的情况下的基线所示。我们希望这些实验突出了拓扑结构如何可以利用，以提高TL任务的性能。
2021-01-28 cs.CV
Differentially Private Sliced Wasserstein Distance
Criteo AI Lab（Criteo人工智能实验室）；Université de Rouen Normandie（鲁昂诺曼底大学）
开发保护隐私的机器学习方法是当今的中心研究课题，具有巨大的实际影响。在解决隐私保护学习的众多方法中，我们在这里考虑在差分隐私（DP）框架下计算分布之间的分歧-能够计算分布之间的分歧对于许多机器学习问题至关重要，例如学习生成模型或领域自适应问题。我们没有采用流行的基于梯度的DP消毒方法，而是通过专注于切片Wasserstein距离并无缝地使其具有差异性来解决问题。我们的主要贡献如下：我们分析了在切片Wasserstein距离的内在随机机制中加入高斯扰动的性质，并建立了由此产生的差分私有机制的敏感性。我们的一个重要发现是，这种DP机制将切片Wasserstein距离转换为另一种距离，我们称之为平滑切片Wasserstein距离。这种新的差分私有分布距离可以插入到生成模型和领域自适应算法中，以透明的方式，我们的经验表明，它产生了很强的竞争力的性能相比，基于梯度的DP方法从文献中，几乎没有损失的准确性，我们考虑的领域自适应问题。
2021-07-05 cs.LG stat.ML
Feature Geometry of LoRA Adapters: A Sparse Autoencoder Analysis of Representational Divergence in Fine-Tuned Language Models
Independent AI Safety Researcher（独立人工智能安全研究员）
本研究使用稀疏自编码器分析LoRA微调引起的表示几何变化，发现LoRA特征字典与预训练特征存在弱几何对齐，且适配器特定SAE能更有效重建delta激活。
2026-05-27 cs.LG
Sequential Domain Adaptation by Synthesizing Distributionally Robust Experts
Ecole Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；The Hong Kong Polytechnic University（香港理工大学）；Stanford University（斯坦福大学）；VinAI Research（VinAI研究院）
最小二乘估计，当在几个目标域样本上训练时，可能预测不佳。有监督的领域自适应旨在通过利用来自接近目标分布的源分布的附加标记的训练样本来提高预测精度。鉴于现有的数据，我们研究新的策略，合成一个家庭的最小二乘估计专家，是强大的矩条件。当这些矩条件指定使用Kullback-Leibler或Wasserstein型分歧，我们可以找到有效地使用凸优化的鲁棒估计。我们使用伯恩斯坦在线聚合算法的建议家庭的强大的专家生成预测的顺序流的目标测试样本。对实际数据的数值实验表明，稳健策略可以优于经验最小二乘估计的非稳健插值。
2021-06-01 cs.LG math.OC stat.ML
Maximum Classifier Discrepancy for Unsupervised Domain Adaptation
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
在这项工作中，我们提出了一种无监督的领域自适应的方法。许多对抗性学习方法训练域分类器网络以区分作为源或目标的特征，并训练特征生成器网络以模仿特征。这些方法存在两个问题。首先，域分类器仅尝试将特征区分为源或目标，因此不考虑类之间的任务特定的决策边界。因此，经过训练的生成器可以在类边界附近生成模糊的特征。其次，这些方法的目标是完全匹配不同领域之间的特征分布，这是困难的，因为每个领域的特点。为了解决这些问题，我们引入了一种新的方法，试图通过利用特定于任务的决策边界来调整源和目标的分布。我们建议最大化两个分类器输出之间的差异，以检测远离源支持的目标样本。特征生成器学习在支持附近生成目标特征，以最小化差异。我们的方法优于其他方法在几个数据集的图像分类和语义分割。代码可在\url{https://github.com/mil-tokyo/MCD_DA}上获得
2018-04-03 cs.CV
Minimizing $f$-Divergences by Interpolating Velocity Fields
University of Bristol（布里斯托大学）
本文提出直接利用插值技术估计速度场以最小化 $f$-散度，避免了对密度比函数微分带来的过拟合问题，并在领域自适应和缺失数据填补任务中验证了方法的有效性。
2024-06-06 cs.LG stat.ML
Joint Contrastive Learning for Unsupervised Domain Adaptation
Seoul National University（首尔国立大学）；Hyundai Motor Group（现代汽车集团）
通过匹配边缘分布来增强特征可转移性已经导致了领域自适应的改进，尽管这是以特征鉴别为代价的。特别是，理想的联合假设误差的目标误差上限，这是以前被认为是分钟，已被发现是显着的，削弱其理论保证。在本文中，我们提出了一个替代上限的目标误差，明确考虑联合误差，使其更易于管理。在理论分析的基础上，提出了一种结合源域和目标域的联合优化框架。此外，我们引入了联合对比学习（JCL）来寻找类级判别特征，这对于最小化联合误差至关重要。在坚实的理论框架下，JCL使用对比损失来最大化特征与其标签之间的互信息，这相当于最大化条件分布之间的Jensen-Shannon散度。在两个真实数据集上的实验表明，JCL优于最先进的方法。
2020-06-18 cs.CV cs.LG
Dynamic Feature Alignment for Semi-supervised Domain Adaptation
University of Kentucky（肯塔基大学）；Eastern Kentucky University（东肯塔基大学）
大多数关于领域自适应的研究都集中在纯无监督的设置上，其中目标域中没有标记的示例可用。然而，在许多现实世界的场景中，少量的标记目标数据是可用的，可以用来提高适应性。我们解决这个半监督设置，并建议使用动态特征对齐来解决域间和域内的差异。与以前的方法，试图在一个小批量对齐源和目标功能，我们建议对齐目标功能的一组动态更新的类原型，我们使用这两个最小化分歧和伪标签。通过基于类原型进行更新，我们避免了由于类不平衡而在以前的方法中出现的问题。我们的方法不需要大量的调整或对抗性训练，显著提高了半监督领域自适应的最新水平。我们提供了两个标准的数据集，DomainNet和EST-Home，和性能分析的定量评估。
2021-10-18 cs.CV
Brain foundation model-guided source-selective domain adaptation for cross-subject EEG decoding
State Key Laboratory of Mechanical Transmission, College of Mechanical and Vehicle Engineering, Chongqing University（机械传动国家重点实验室，重庆大学）
本文提出一种新的多源域适应框架，利用预训练的脑基础模型进行动态源受体选择，并结合柯西-施瓦茨散度实现特征和决策层面对齐，以提高跨受体运动想象解码的准确率。
2026-10-09 cs.LG
Towards Category and Domain Alignment: Category-Invariant Feature Enhancement for Adversarial Domain Adaptation
Carleton University（卡尔顿大学）；University of Ottawa（渥太华大学）
对抗性领域自适应通过对齐两个领域的特征分布，在将知识从源领域转移到目标领域方面取得了令人印象深刻的进展。这些方法的重点是最大限度地减少域分歧，并将适应性（衡量为这两个域上理想联合假设的预期误差）视为一个小常数。然而，这些方法仍然面临两个问题：（1）对抗性域对齐扭曲了原始特征分布，降低了适应性;（2）将特征表示转换为域不变需要牺牲特定域的变化，导致较弱的可区分性。为了缓解这些问题，我们提出了类别不变特征增强（CIFE），一种通用的机制，通过优化适应性来增强对抗性领域自适应。具体而言，CIFE方法引入类别不变特征，以提高域不变特征的可区分性，同时保持可转移性。实验表明，CIFE可以改善代表性的对抗性领域自适应方法，产生国家的最先进的结果在五个基准。
2021-08-14 cs.CV
Instance Adaptive Self-Training for Unsupervised Domain Adaptation
Beijing University of Posts and Telecommunications（北京邮电大学）；University of California, Berkeley（加州大学伯克利分校）
标记的训练数据和未标记的测试数据之间的分歧是最近深度学习模型的一个重大挑战。无监督领域自适应（UDA）试图解决这样的问题。最近的工作表明，自我训练是一个强大的方法UDA。然而，现有的方法在平衡可扩展性和性能方面存在困难。在本文中，我们提出了一个实例自适应自训练框架的UDA任务的语义分割。为了有效地提高伪标签的质量，我们开发了一种新的伪标签生成策略与实例自适应选择器。此外，我们还提出了区域引导的正则化方法来平滑伪标记区域和锐化非伪标记区域。该方法简洁高效，易于推广到其他无监督领域自适应方法。在“GTA5 to Cityscapes”和“SYNTHIA to Cityscapes”上的实验表明，与最先进的方法相比，我们的方法具有更好的性能。
2020-08-27 cs.CV
