Unsupervised Domain Adaptation Based on Source-guided Discrepancy
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
无监督领域自适应是这样一种问题设置，其中源域和目标域中的数据生成分布不同，并且目标域中的标签不可用。无监督领域自适应中的一个重要问题是如何度量源域和目标域之间的差异。先前提出的不使用源域标签的差异需要高的计算成本来估计，并且可能导致目标域中的松散的泛化误差界。为了缓解这些问题，我们提出了一种新的差异称为源引导的差异（S盘），它利用标签在源域。因此，S盘可以有效地计算有限样本收敛保证。此外，我们表明，S-光盘可以提供一个更严格的泛化误差界比一个基于现有的差异。最后，我们报告的实验结果表明，S盘的优势，现有的差异。
2018-11-19 cs.LG stat.ML
Discriminative Joint Probability Maximum Mean Discrepancy (DJP-MMD) for Domain Adaptation
Huazhong University of Science and Technology（华中科技大学）
在领域自适应中，最大平均差异（MMD）被广泛采用来衡量源域和目标域分布之间的差异。许多现有的领域自适应方法基于联合MMD，其被计算为边缘分布差异和条件分布差异的（加权）和;然而，更自然的度量可以是它们的联合概率分布差异。此外，大多数度量仅旨在提高域之间的可转移性，而忽略了不同类别之间的可区分性，这可能导致分类性能不足。为了解决这些问题，本文提出了判别式联合概率MMD（DJP-MMD），以取代领域自适应中常用的联合MMD。它具有两个理想的性质：1）它为计算分布差异提供了一个新的理论基础，它更简单，更精确; 2）它同时增加了可传递性和可区分性。我们通过将其嵌入到联合概率领域自适应框架中来验证其性能。在6个图像分类数据集上的实验表明，该方法的分类性能优于传统的MMD方法。
2020-04-10 cs.CV cs.LG stat.ML
A Unified Joint Maximum Mean Discrepancy for Domain Adaptation
Dalian University of Technology（大连理工大学）；Baidu Research（百度研究院）；Tulane University（杜兰大学）；University of Shenzhen（深圳大学）；University of Queensland（昆士兰大学）
领域自适应近年来受到了广泛的关注，提出了许多算法，取得了令人瞩目的进展。然而，它仍然没有充分探讨有关联合概率分布（P（X，Y））的距离为这个问题，因为它的经验估计来自最大平均差异（联合最大平均差异，JMMD）将涉及复杂的张量积算子，很难操作。为了解决这一问题，本文从理论上推导出了一种易于优化的JMMD统一形式，并证明了边缘、类条件和加权类条件概率分布距离是我们在不同标签核下的特例，其中加权类条件概率分布距离不仅可以实现类别级的跨域特征对齐，还可以利用类先验概率来处理不平衡数据集。从揭示的统一JMMD，我们说明，JMMD降低的特征-标签的依赖性（区分度），有利于分类，它是敏感的标签分布偏移时，标签核是加权类条件。因此，我们利用Hilbert Schmidt独立性准则，提出了一种新的MMD矩阵，以促进依赖性，并设计了一种新的标签核，是强大的标签分布偏移。最后，我们在多个跨域数据集上进行了大量的实验，以证明所揭示的理论结果的有效性和有效性。
2021-01-25 cs.LG
Cross-domain error minimization for unsupervised domain adaptation
Nanjing University（南京大学）
无监督领域自适应的目的是将知识从标记的源领域转移到未标记的目标领域。以往的方法主要集中在学习领域不变特征，以减少特征分布之间的差异，以及最大限度地减少源误差，并取得了显着的进展。然而，最近提出的理论表明，这样的策略是不够的一个成功的领域自适应。它表明，除了一个小的源误差，特征分布之间的差异和标记函数之间的差异应该是跨域小。标记函数之间的差异本质上是跨域误差，而现有方法忽略了跨域误差。为了克服这个问题，本文提出了一种新的方法，将所有的目标整合到一个统一的优化框架。此外，在以前的方法中广泛使用的不正确的伪标签会导致学习过程中的错误积累。为了解决这个问题，除了源分类器外，还利用目标领域的结构信息来获得伪标签，并提出了一种基于课程学习的策略来选择具有更准确伪标签的目标样本。实验结果表明，该方法的性能优于现有的方法。
2021-06-29 cs.LG
Stein Discrepancy for Unsupervised Domain Adaptation
本文提出利用斯蒂恩偏差的无监督域适应框架，通过核化和对抗形式提升低数据目标场景下的性能。
2025-12-05 cs.LG stat.ML
On Localized Discrepancy for Domain Adaptation
Tsinghua University（清华大学）；University of California（加利福尼亚大学）
提出了基于差异的无监督领域自适应泛化理论。以前的理论引入了分布差异，定义为完备假设空间上的上确界。假设空间可能包含导致不必要地高估风险界限的假设。本文研究了局部化后定义在假设空间上的局部化差异。首先，我们表明，这些差异具有理想的属性。它们可能比以前的差异小得多。如果我们将两个域互换，它们的值将不同，从而可以揭示非对称转移困难。接下来，我们得到改进的泛化界限与这些差异。我们发现，差异可能会影响样本复杂度的比率。最后，我们进一步扩展了局部差异，以实现超级传输，并推导出泛化界，可以更有效的样本源域。
2020-08-14 cs.LG stat.ML
Mixed Set Domain Adaptation
The Hong Kong Polytechnic University（香港理工大学）
在传统的领域自适应的设置中，源数据集的类别来自同一个领域（或多源领域自适应的领域），这在现实中并不总是如此。在本文中，我们提出了\textbf{\textit{Mixed Set Domain Adaptation} (MSDA)}。在MSDA的设置下，不同类别的源数据集并不都是从相同的域收集的。例如，类别$1\sim k$从域$α$收集，而类别$k+1\sim c$从域$β$收集。在这种情况下，源数据内部的分布差异将进一步影响领域自适应的性能。一个特征元素加权（FEW）的方法，可以减少不同类别之间的分布差异也提出了MSDA。实验结果和质量分析表明了该方法对解决MSDA问题的重要性和有效性。
2020-11-04 cs.LG
Sliced Wasserstein Discrepancy for Unsupervised Domain Adaptation
Apple Inc（苹果公司）
在这项工作中，我们连接两个不同的概念，无监督领域自适应：域之间的特征分布对齐，利用特定于任务的决策边界和Wasserstein度量。我们提出的切片Wasserstein差异（SWD）的目的是捕捉任务特定的分类器的输出之间的相异性的自然概念。它提供了一个几何上有意义的指导，以检测远离源的支持的目标样本，并实现了端到端的可训练方式的有效分布对齐。通过实验验证了该方法在数字和符号识别、图像分类、语义分割、目标检测等方面的有效性和通用性。
2019-03-10 cs.CV cs.LG stat.ML
Domain Adaptation: Learning Bounds and Algorithms
Google Research（谷歌研究院）；Tel Aviv Univ.（特拉维夫大学）；Courant Institute（库朗研究所）；New York University（纽约大学）
本文提出差异距离以度量分布差异，给出其估计的复杂度界和领域自适应泛化界，并为最小化经验差异设计新算法，实验验证了其在领域自适应中的有效性。
2023-11-30 cs.AI cs.LG
Unsupervised Multi-Source Federated Domain Adaptation under Domain Diversity through Group-Wise Discrepancy Minimization
University of Tübingen（图宾根大学）；University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
提出可扩展的联邦无监督多源域适应框架 GALA，通过组间差异最小化目标和基于温度的质心加权策略，解决大量异构源域下的计算开销与不稳定问题，并构建 Digit-18 基准验证其达到 SOTA 性能。
2025-10-10 cs.LG
Trust-Aware Joint Feature-Prediction Discrepancy for Robust Domain Adaptation
School of Engineering and Built Environment, Griffith University, Australia（工程与环境学院，格里菲斯大学，澳大利亚）
提出信任感知域适应框架，通过联合特征-预测差异（JFPD）结合不确定性信任和语义对齐信任，实现可靠性感知的域差异估计，提升域适应性能。
2026-05-24 cs.AI cs.CV cs.LG
Subdomain Adaptation with Manifolds Discrepancy Alignment
National University of Singapore（新加坡国立大学）；Nanyang Technological University（南洋理工大学）
减少领域分歧是迁移学习问题的关键步骤。现有的工作集中在最小化的全球域分歧。然而，两个域可以由多个共享的子域组成，并且在每个子域中彼此不同。在本文中，我们考虑到局部分歧的子域转移。具体来说，我们建议使用低维流形来表示子域，并在每个流形中对齐跨域的局部数据分布差异。流形最大平均离散度（M3D）被开发来测量每个流形中的局部分布差异。然后，我们提出了一个通用的框架，称为传输与流形离散对齐（TMDA），耦合数据流形的发现与M3D的最小化。我们在考虑线性和非线性映射的子空间学习情况下实例化TMDA。我们还在深度学习框架中实例化了TMDA。大量的实验研究表明，TMDA是一种很有前途的方法，用于各种迁移学习任务。
2020-05-06 cs.CV cs.LG stat.ML
Unsupervised Domain Adaptation across FMCW Radar Configurations Using Margin Disparity Discrepancy
Fraunhofer Heinrich Hertz Institute（弗劳恩霍夫海因里希·赫兹研究所）；Infineon Technologies AG（英飞凌科技股份公司）；Technical University of Berlin（柏林工业大学）；Technical University of Munich（慕尼黑工业大学）
商业雷达传感越来越重要，机器学习算法是将这种无线电技术推广到监控或医疗保健等领域的关键组成部分之一。然而，雷达数据集仍然是稀缺的，一般还不能实现所有的雷达系统，环境条件或设计参数。因此，部署支持机器学习的雷达应用通常需要一定程度的微调。在这项工作中，我们考虑了在使用调频连续波进行深度学习人类活动分类的背景下，跨雷达配置的无监督域自适应问题。为此，我们专注于理论启发的边缘差异离散技术，这已经被证明是成功的计算机视觉领域。我们的实验将这种技术扩展到雷达数据，对于相同的分类问题，实现了与fewshot监督方法相当的精度。
2022-06-07 cs.LG eess.SP
Learning Transferable Features with Deep Adaptation Networks
Tsinghua University（清华大学）；University of California, Berkeley（加州大学伯克利分校）
最近的研究表明，深度神经网络可以学习可转移的特征，这些特征可以很好地推广到领域自适应的新任务。然而，随着深层特征最终沿着网络从一般过渡到特定，随着域差异的增加，特征的可转移性在更高层中显著下降。因此，在形式上减少数据集偏差并增强任务特定层的可转移性是很重要的。在本文中，我们提出了一种新的深度自适应网络（DAN）架构，它将深度卷积神经网络推广到领域自适应场景。在DAN中，所有任务特定层的隐藏表示都嵌入在再生核希尔伯特空间中，其中不同域分布的平均嵌入可以显式匹配。使用最优多核选择方法进行均值嵌入匹配，进一步减小了域差异。DAN可以学习具有统计保证的可转移特征，并且可以通过核嵌入的无偏估计线性缩放。大量的经验证据表明，所提出的架构产生的最先进的图像分类出错率标准领域自适应基准。
2015-05-27 cs.LG
Multi-Source Unsupervised Domain Adaptation with Prototype Aggregation
South China University of Technology（华南理工大学）；Institute of International Services Outsourcing（国际服务外包研究院）；Operation and Maintenance Center of Information and Communication（信息通信运维中心）；CSG EHV Power Transmission Company（中国南方电网超高压输电公司）
针对多源领域自适应中类级差异量化、噪声伪标签不可用及源域可迁移性判别被忽略的问题，提出一种在类级和域级建模差异的原型聚合方法，通过互补机制提升自适应性能并在三个基准上优于多数最先进方法。
2024-12-20 cs.LG
Cross-Domain Gradient Discrepancy Minimization for Unsupervised Domain Adaptation
University of Electronic Science and Technology of China（电子科技大学）
无监督领域自适应（UDA）旨在将从标记良好的源领域学习到的知识推广到未标记的目标领域。最近，具有两个不同分类器（双分类器）的对抗性领域自适应已被引入到UDA中，其有效地对齐不同领域之间的分布。以前的双分类器对抗学习方法只关注两个不同分类器输出之间的相似性。然而，输出的相似性不能保证目标样本的准确性，即，即使两个分类器之间的差异很小，目标样本也可能匹配到错误的类别。为了挑战这个问题，在本文中，我们提出了一个跨域梯度差异最小化（CGDM）方法，显式地最小化由源样本和目标样本产生的梯度的差异。具体地说，梯度给出了目标样本的语义信息的线索，因此它可以作为一个很好的监督，以提高目标样本的准确性。为了计算目标样本的梯度信号，我们进一步通过基于聚类的自监督学习获得目标伪标签。在三个广泛使用的UDA数据集上进行的大量实验表明，我们的方法超越了许多以前的最先进的方法。代码可在https://github.com/lijin118/CGDM上获得。
2021-06-08 cs.AI cs.CV cs.LG
Weighted Joint Maximum Mean Discrepancy Enabled Multi-Source-Multi-Target Unsupervised Domain Adaptation Fault Diagnosis
Zhejiang University（浙江大学）；University of Illinois Urbana–Champaign Institute（伊利诺伊大学厄巴纳-香槟分校研究院）；Huazhong University of Science and Technology（华中科技大学）
本文提出加权联合最大均值差异实现的多源-多目标无监督域适应方法（WJMMD-MDA），通过改进的加权距离损失实现多源域与多目标域间的域对齐，学习域不变且具判别性的特征，首次在故障诊断领域实现多源-多目标场景下的跨域诊断，并在三个数据集上验证了其优越性。
2023-11-23 cs.AI cs.LG
Cross-Modal Domain Adaptation in Brain Disease Diagnosis: Maximum Mean Discrepancy-based Convolutional Neural Networks
本文针对脑疾病诊断中标注数据稀缺及跨模态泛化困难的问题，提出将最大均值差异（MMD）域自适应方法与卷积神经网络（CNN）结合，在Kaggle数据集上实现CT与MRI间的跨模态知识迁移，有效提升了诊断准确性和效率。
2024-05-06 cs.CV cs.LG
Cross-domain Adaptation with Discrepancy Minimization for Text-independent Forensic Speaker Verification
University of Texas at Dallas（德克萨斯大学达拉斯分校）
由于参考和自然现场录音之间的位置/场景不确定性和多样性不匹配，用于说话人验证的法医音频分析提供了独特的挑战。缺乏真正的自然主义的法医音频语料库与地面真理的发言人身份是一个重大的挑战，在这一领域。由于域失配和性能损失，也难以直接采用小规模的特定于域的数据来训练复杂的神经网络架构。另外，多声学环境下的跨域说话人验证是一项具有挑战性的任务，可以推进音频取证的研究。在这项研究中，我们介绍了在多个声学环境中收集的CRSS-Forensics音频数据集。我们使用VoxCeleb数据预训练基于CNN的网络，然后使用来自CRSS-Forensics的干净语音微调部分高级网络层的方法。基于这个微调模型，我们对齐嵌入空间中的域特定分布与差异损失和最大平均差异（MMD）。这保持了在干净集上的有效性能，同时将模型推广到其他声学域。从结果中，我们表明，不同的声学环境影响说话人确认的性能，我们提出的跨域自适应方法可以显着提高在这种情况下的结果。
2020-09-09 cs.LG cs.SD eess.AS
Learning transferable and discriminative features for unsupervised domain adaptation
Nanjing University（南京大学）；Jiangnan University（江南大学）
虽然取得了显著的进展，但在没有任何标记数据的情况下，很难诱导出有监督的分类器。无监督的领域自适应能够通过将知识从标记的源域转移到未标记的目标域来克服这一挑战。可转移性和可区分性是表征特征表示的优越性的两个关键标准，以实现成功的领域自适应。在本文中，一种新的方法称为\textit{learning TransFerable and Discriminative Features for unsupervised domain adaptation}（TFDF）提出了这两个目标同时优化。一方面，进行分布对齐以减少域差异并学习更多的可传递表示。在再生核希尔伯特空间（RKHS）中，我们采用了一种新的统计量\textit{Maximum Mean and Covariance Discrepancy}（MMCD），它不仅能捕获一阶统计信息，还能捕获二阶统计信息，而不是采用仅捕获一阶统计信息的\textit{Maximum Mean Discrepancy}（MMD）来度量分布差异.另一方面，我们建议通过流形正则化探索局部判别信息，并通过最小化所提出的\textit{class confusion}目标来学习更多的判别特征，分别探索全局判别信息。我们将这两个目标集成到\textit{Structural Risk Minimization}（RSM）框架中，并学习域不变分类器。在5个真实数据集…
2021-06-26 cs.LG stat.ML
Rethink Maximum Mean Discrepancy for Domain Adaptation
Dalian University of Technology（大连理工大学）；Indiana University-Purdue University Indianapolis（印第安纳大学-普渡大学印第安纳波利斯分校）
现有的领域自适应方法通过建立最大平均离散度（MMD）和区分距离，来减小源域和目标域之间的分布差异，并尊重源域和目标域的特定区分信息。然而，他们通常积累考虑这些统计量，并通过盲目估计参数来处理它们之间的关系。本文从理论上证明了两个基本事实：1）最小化MMD等于最大化源和目标的类内距离，但通过一些隐式权重共同最小化它们的方差，从而降低了特征的可分辨性; 2）类内距离和类间距离之间的关系是一个下降，另一个上升。在此基础上，我们提出了一种新的歧视性MMD。一方面，我们单独考虑类内和类间距离以去除冗余参数，并且所揭示的权重提供了它们的近似最优范围。另一方面，我们设计了两种不同的策略来提高特征的区分度：1）直接对MMD中隐含的类内距离施加一个权衡参数来调节其变化; 2）我们将MMD中揭示的相似权重施加在类间距离上并使其最大化，则可以引入平衡因子来定量地利用特征可转移性与其可辨别性。在多个基准数据集上的实验不仅证明了理论结果的有效性，而且表明我们的方法可以比比较先进的方法有更好的性能。
2020-07-01 cs.LG stat.ML
COD: Learning Conditional Invariant Representation for Domain Adaptation Regression
School of Mathematics, Sun Yat-Sen University（中山大学数学学院）；School of Mathematics, Jiaying University（嘉应学院数学学院）
针对分类场景的条件分布对齐方法不适用于连续输出的域适应回归问题，本文提出条件算子差异COD刻画连续条件的分布差异，构建基于COD的条件不变表示学习模型，理论与实验均验证了其有效性与优越性。
2024-08-13 cs.CV cs.LG
Contrastively Smoothed Class Alignment for Unsupervised Domain Adaptation
Duke University（杜克大学）；Microsoft Dynamics 365 AI Research（微软Dynamics 365人工智能研究院）；Microsoft Research（微软研究院）
最近的领域自适应的无监督方法主要集中在通过改进特征生成器来最小化源域和目标域之间的间隙，以便学习两个域之间的更好对齐。这种最小化可以通过域分类器来实现，以检测与源域特征不同的目标域特征。然而，通过这种域分类差异进行优化，往往会错过在低维数据流形上不平滑分布的模糊目标样本。为了解决这个问题，我们提出了一种新的对比平滑类对齐（CoSCA）模型，显式地结合了类内和类间域的差异，以更好地对齐模糊的目标样本与源域。CoSCA估计目标样本的潜在标签假设，同时通过优化建议的对比损失来适应它们的特征表示。此外，最大平均离散度（MMD）被用来直接匹配源和目标样本之间的特征，以更好的全局对齐。在几个基准数据集上的实验表明，CoSCA可以通过产生更多的判别特征来优于最先进的无监督领域自适应方法。
2020-10-06 cs.LG stat.ML
Stochastic Adversarial Gradient Embedding for Active Domain Adaptation
Sidetrade（赛德创公司）；Lend-Rx（Lend-Rx公司）；Alan（艾伦公司）
无监督领域自适应（UDA）旨在弥合源域（其中标记数据可用）和目标域（仅用未标记数据表示）之间的差距。虽然领域不变表示极大地提高了模型的适应性，但如何保证模型的良好可移植性仍然是一个具有挑战性的问题。本文通过使用主动学习来注释目标数据的小预算来解决这个问题。虽然这种被称为主动领域自适应（ADA）的设置偏离了UDA的标准设置，但广泛的实际应用都面临这种情况。为此，我们介绍了\textit{Stochastic Adversarial Gradient Embedding}（SAGE），一个框架，使ADA的三重贡献。首先，我们选择注释目标样本，通过测量注释前后的可转移性损失梯度的变化，有可能提高表示的可转移性。其次，我们通过促进不同的梯度方向来增加采样多样性。第三，我们介绍了一种新的训练过程，在学习不变表示时积极结合目标样本。SAGE基于坚实的理论基础，并根据几个基线对各种UDA基准进行了验证。我们的实证研究表明，SAGE采取最好的不确定性\textit{vs}多样性采样，并大大提高了表示的可转移性。
2020-12-03 cs.LG
Conceptual Domain Adaptation Using Deep Learning
University of Houston（休斯顿大学）
深度学习最近已被证明有助于解决领域自适应问题，其目标是使用类似但不相同的源域在目标域上学习模型。耦合这两种技术的基本原理是可以跨领域提取公共概念。考虑到（严格的）局部表示，传统的深度学习假设必须在相同的隐藏单元中捕获公共概念。我们认为，当两个域之间存在固有的较低级别的代表性差异时，使用单个深度网络联合训练具有源数据和目标数据的模型容易失败;这种差异导致单独隐藏单元中相应概念的不一致。我们引入了一个搜索框架，以便在训练深度网络时正确对齐高级表示;这种框架导致了概念-而不是表示-领域自适应的概念。
2018-08-16 cs.LG stat.ML
Active Source Free Domain Adaptation
Shandong University（山东大学）
无源领域自适应（SFDA）的目的是在不访问源数据的情况下将训练好的源模型转移到未标记的目标领域。然而，由于缺乏源数据和目标监督信息，SFDA设置面临效果瓶颈，如最新的SFDA方法的有限性能增益所证明的。在本文中，第一次，我们介绍了一个更实际的情况下，称为主动源自由领域自适应（ASFDA），允许主动选择一些目标数据被标记的专家。为了实现这一点，我们首先发现那些满足邻居混沌，个体差异和目标的属性是最好的选择点，我们将它们定义为最小快乐（MH）点。然后，我们提出了最小快乐点学习（MHPL）来积极探索和利用MH点。我们设计了三个独特的策略：邻居环境不确定性，邻居多样性松弛，和一次性查询，探索MH点。此外，为了在学习过程中充分利用MH点，我们设计了一个邻居焦点损失，将加权邻居纯度分配给MH点的交叉熵损失，使模型更加关注它们。大量的实验证明，MHPL显着超过各种类型的基线，并实现了显着的性能增益在一个小的成本标签。
2022-05-22 cs.LG
Private Domain Adaptation from a Public Source
The Ohio State University（俄亥俄州立大学）；Google Research（谷歌研究院）；Courant Institute of Mathematical Sciences（库朗数学科学研究所）
各种应用中的关键问题是从公共源域到私有目标域的领域自适应，对于公共源域，相对大量的没有隐私约束的标记数据在人们的处置中，对于私有目标域，私有样本在很少或没有标记数据的情况下可用。在对源数据或目标数据没有隐私约束的回归问题中，基于几种理论保证的差异最小化算法优于许多其他自适应算法基线。基于这种方法，我们设计了基于差异的私有差异算法，用于从具有公共标记数据的源域到具有未标记私有数据的目标域的适应。我们的私人算法的设计和分析关键取决于几个关键属性，我们证明了一个光滑近似的加权差异，如它的光滑度相对于$\ell_1$ -范数和它的梯度的敏感性。我们的解决方案是基于Frank-Wolfe和D-Descent算法的私有变体。我们表明，我们的适应算法受益于强大的泛化和隐私保证，并报告实验结果证明其有效性。
2022-08-12 cs.CR cs.LG stat.ML
CD-LoRA: Consistency-Driven Low-Rank Adaptation for Multi-Task Fine-Tuning
School of Artificial Intelligence, Jilin University（吉林大学人工智能学院）；International Center of Future Science, Jilin University（吉林大学未来科学国际中心）
该研究针对多任务LoRA方法存在的训练-推理不一致问题，提出无路由的CD-LoRA，通过一致性驱动对齐机制提升多任务微调的稳定性与性能，优于现有多适配器基线。
2026-08-25 cs.LG
Deep Least Squares Alignment for Unsupervised Domain Adaptation
Lehigh University（里海大学）
无监督领域自适应利用来自标记的源域的丰富信息来对未标记的目标域进行建模。现有的方法试图对齐跨域分布。然而，这两个域的对齐的统计表示没有得到很好的解决。在本文中，我们提出了深度最小二乘对齐（DLSA）估计的两个域的分布在一个潜在的空间参数化的线性模型。我们进一步开发了边缘和条件适应损失，以减少域的差异，通过最小化拟合线和截距之间的角度差异，并进一步学习域不变的功能。大量的实验表明，所提出的DLSA模型是有效的对齐域分布，并优于国家的最先进的方法。
2021-11-03 cs.LG
Towards Corruption-Agnostic Robust Domain Adaptation
NLPR, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所模式识别国家重点实验室）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Youtu Lab, Tencent Inc.（腾讯优图实验室）；CASIA-LLvision Joint Lab（中国科学院自动化研究所与联影智能联合实验室）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳市大数据研究院）
几十年来，领域自适应研究取得了很大进展。现有的工作都是基于一个理想的假设，即测试目标域是独立同分布的。训练目标域。然而，由于不可预测的腐败（例如，噪声和模糊），越来越多地要求领域自适应方法在目标域上是破坏鲁棒的。在本文中，我们研究了一个新的任务，腐败不可知的鲁棒领域自适应（CRDA）：是准确的原始数据和鲁棒的目标域上的不可用的训练腐败。由于大的域差异和无监督的目标域，这个任务是不平凡的。我们观察到，流行的领域自适应和腐败鲁棒性的方法的简单组合具有次优的CRDA结果。我们提出了一种新的方法，基于对CRDA的两个技术见解：1）一个易于插入的模块，称为域离散生成器（DDG），生成的样本，扩大域的差异，以模仿不可预测的腐败; 2）一个简单但有效的教师-学生计划与对比损失，以增强对目标域的约束。实验证明，DDG保持甚至提高了对原始数据的性能，并实现了更好的腐败鲁棒性基线。
2021-04-21 cs.CV cs.LG
Temporal Attentive Alignment for Video Domain Adaptation
Georgia Institute of Technology（佐治亚理工学院）
虽然近年来已经提出了各种基于图像的领域自适应（DA）技术，但视频中的域偏移仍然没有得到很好的探索。大多数以前的作品只评估小规模数据集的饱和性能。因此，我们首先提出了一个具有更大域差异的更大规模数据集：UCF-HMDB_full。其次，我们研究了不同的DA集成方法的视频，并表明，同时对齐和学习时间动态实现有效的对齐，即使没有复杂的DA方法。最后，我们提出了时间注意对抗适应网络（TA 3 N），它明确地注意到使用域差异的时间动态，以实现更有效的域对齐，在三个视频DA数据集上实现了最先进的性能。代码和数据在http://github.com/cmhungsteve/TA3N上发布。
2019-06-07 cs.CV cs.LG cs.MM
CPDA: Class-Conditional Path Distribution Alignment for Unsupervised Time-Series Domain Adaptation
Fraunhofer Institute for Integrated Circuits IIS（弗劳恩霍夫集成电路研究所）
该研究提出CPDA框架，通过对齐类条件潜在路径分布而非全局特征边际分布，在13个时间序列DA基准上验证其优于30种基线方法，实现无监督时间序列领域自适应的性能提升。
2026-08-11 cs.LG stat.ML
Active Adversarial Domain Adaptation
UMass Amherst（马萨诸塞大学阿默斯特分校）；NEC Laboratories America（美国电气股份有限公司实验室）；UC San Diego（加利福尼亚大学圣地亚哥分校）
我们提出了一个主动学习的方法，跨域转移表示。我们的方法，主动对抗领域自适应（AADA），探讨了两个相关的问题之间的二元性：对抗域对齐和重要性采样跨域适应模型。前者使用域判别模型来对齐域，而后者利用它来加权样本以解释分布偏移。具体来说，我们的重要性权重促进样本具有较大的不确定性的分类和标记的例子的多样性，从而作为一个样本选择方案的主动学习。我们表明，这两种观点可以统一在一个框架的领域自适应和迁移学习时，源域有许多标记的例子，而目标域没有。当两个域密切相关时，AADA提供了基于微调的方法和其他采样方法的显着改进。具有挑战性的领域自适应任务的结果，例如，目标检测，证明了即使在数百个示例被主动注释之后，也保留了相对于基线方法的优势。
2020-03-09 cs.CV cs.LG
Spatial Graph Convolutional Neural Network via Structured Subdomain Adaptation and Domain Adversarial Learning for Bearing Fault Diagnosis
Tarbiat Modares University（塔比阿特莫达雷斯大学）
近年来，无监督域自适应算法在变工况下的轴承故障诊断中取得了显著的效果。然而，大多数UDA方法不考虑数据的几何结构。此外，普遍采用的全局域自适应技术，忽略了子域之间的关系。本文通过提出新的深度子域自适应图卷积神经网络（DSAGCN）来解决上述挑战，该网络具有两个关键特征：首先，图卷积神经网络（GCNN）用于对数据结构进行建模。其次，对抗域自适应和局部最大均值差异（LMMD）方法同时应用于对齐子域的分布，并减少相关子域和全局域之间的结构差异。利用CWRU和Paderborn方位数据集验证了DSAGCN方法的有效性和在比较模型间的优越性。实验结果表明，对齐结构化子域以及域自适应方法，以获得一个准确的数据驱动的模型在无监督故障诊断的意义。
2021-12-11 cs.LG cs.SY eess.SP
CD-Buffer: Complementary Dual-Buffer Framework for Test-Time Adaptation in Adverse Weather Object Detection
Yonsei University（延世大学）；Korea Institute of Science and Technology（韩国科学技术研究院）
本文提出CD-Buffer框架，通过互补的减法与加法机制，在不同天气条件下自动平衡测试时适应策略，提升目标检测性能。
2026-03-27 cs.CV cs.LG
Domain Generalisation via Domain Adaptation: An Adversarial Fourier Amplitude Approach
Samsung AI Center Cambridge（三星剑桥人工智能中心）；University of Edinburgh（爱丁堡大学）
我们解决域泛化（DG）的问题，把它作为一个领域自适应（DA）的任务，我们adversarially合成最坏情况下的目标域和适应模型，最坏情况下的域，从而提高模型的鲁棒性。为了合成具有挑战性但保留语义的数据，我们生成傅立叶振幅图像并将其与源域相位图像相结合，利用信号处理中广泛认为的推测，即振幅谱主要决定图像风格，而相位数据主要捕获图像语义。为了合成最坏情况域以进行自适应，我们训练分类器和幅度发生器。具体来说，我们利用DA的最大分类器差异（MCD）原则，将目标域的性能与模型假设空间中分类器的差异联系起来。通过贝叶斯假设建模，我们将模型假设空间有效地表示为给定源域的分类器上的后验分布，使对抗性MCD最小化变得可行。在包括大规模DomainNet数据集的DomainBed基准测试中，所提出的方法比最先进的方法显著提高了域泛化性能。
2023-02-23 cs.CV cs.LG
Active Domain Adaptation via Clustering Uncertainty-weighted Embeddings
Georgia Tech（佐治亚理工学院）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Boston University（波士顿大学）
将深度神经网络推广到新的目标域对其现实世界的效用至关重要。在实践中，它可能是可行的，以获得一些目标数据标记，但成本效益，它是可取的，选择一个最大的信息子集通过主动学习（AL）。我们研究了主动领域自适应（Active DA）领域转移下的人工智能问题。我们展示了现有的AL方法仅基于模型的不确定性或多样性采样是不太有效的主动DA。我们提出了聚类不确定性加权嵌入（CLUE），主动DA，执行不确定性加权聚类，以确定目标实例的标签是不确定的模型和不同的特征空间的一种新的标签采集策略。CLUE在图像分类的6个不同域移位的学习设置中始终优于Active DA和AL的竞争标签获取策略。
2021-10-10 cs.CV cs.LG
SEA++: Multi-Graph-based High-Order Sensor Alignment for Multivariate Time-Series Unsupervised Domain Adaptation
School of Electrical and Electronic Engineering, Nanyang Technological University, Singapore（新加坡南洋理工大学电气与电子工程学院）；School of Computer Science and Engineering, Nanyang Technological University, Singapore（新加坡南洋理工大学计算机科学与工程学院）
针对多变量时间序列无监督域自适应（MTS-UDA）中传感器分布差异被忽略的问题，提出SEA和SEA++方法，通过内特征对齐和外特征对齐在局部和全局传感器级别减少域差异，并在公共数据集上达到最先进性能。
2023-11-17 cs.AI cs.LG
Discriminative Active Learning for Domain Adaptation
Université Laval（拉瓦尔大学）；China Electronics Technology Group（中国电子科技集团）；University of Western Ontario（西安大略大学）
领域自适应旨在学习不同但相关领域之间的可转移特征，已经得到了很好的研究，并显示出良好的经验表现。以往的工作主要集中在匹配的边缘特征分布使用对抗训练方法，同时假设源和目标域之间的条件关系保持不变，$i.e.$，忽略了条件转移的问题。然而，最近的工作表明，这样的条件转移问题的存在，可以阻碍适应过程。为了解决这个问题，我们必须利用来自目标域的标记数据，但是收集标记数据可能非常昂贵和耗时。为此，我们引入了一个判别式主动学习方法的领域自适应，以减少数据注释的努力。具体来说，我们提出了神经网络的三阶段主动对抗训练：不变特征空间学习（第一阶段），查询策略的不确定性和多样性标准及其权衡（第二阶段）和查询目标标签的重新训练（第三阶段）。与现有的领域自适应方法使用四个基准数据集的实证比较表明，所提出的方法的有效性。
2020-05-24 cs.LG stat.ML
Correlation-aware Adversarial Domain Adaptation and Generalization
Queensland University of Technology（昆士兰科技大学）；University of Queensland（昆士兰大学）
领域自适应（DA）和领域泛化（DG）已经出现作为对源数据和目标数据的分布不同的领域移位问题的解决方案。DG的任务比DA更具挑战性，因为在DG场景的训练阶段，目标数据是完全不可见的。目前最先进的采用对抗技术，然而，这些很少被认为是DG问题。此外，这些方法不考虑相关对齐，这已被证明是非常有益的最小化域差异。在本文中，我们提出了一个相关性感知的对抗DA和DG框架，其中使用相关性对齐以及对抗学习来最小化源和目标数据的特征。将相关性对齐模块与对抗性学习一起使用有助于实现更加领域不可知的模型，因为改进了更有效地减少与未标记目标数据的领域差异的能力。在基准数据集上的实验证明，我们提出的方法可以提高最先进的性能。
2019-11-29 cs.CV cs.LG
D2ADA: Dynamic Density-aware Active Domain Adaptation for Semantic Segmentation
National Taiwan University（台湾大学）；Mobile Drive Technology（智驾科技）
在领域自适应中，在模型性能和目标域注释的数量之间存在折衷。主动学习，用很少的信息标记数据最大化模型性能，在这种情况下派上用场。在这项工作中，我们提出了D2 ADA，一个通用的主动领域自适应框架的语义分割。为了使该模型适应目标域的查询标签最少，我们建议获取标签的样本具有高概率密度在目标域中，但在源域中的概率密度较低，补充现有的源域标记的数据。为了进一步提高标记效率，我们设计了一个动态调度策略，随着时间的推移调整域探索和模型不确定性之间的标记预算。大量的实验表明，我们的方法优于现有的主动学习和领域自适应基线的两个基准，GTA 5-> Cityscapes和SYNTHIA -> Cityscapes。与不到5%的目标域注释，我们的方法达到了可比的结果与全面监督。我们的代码可在https://github.com/tsunghan-wu/D2ADA上公开获取。
2022-07-18 cs.CV cs.LG
Learn from the Learnt: Source-Free Active Domain Adaptation via Contrastive Sampling and Visual Persistence
Tsinghua University（清华大学）；BNRist（北京国家信息科学与技术研究院）
本文研究无源主动领域自适应（SFADA）问题，提出LFTL范式，通过对比主动采样选择信息量大的目标样本，并利用视觉持久性引导自适应进行特征对齐，在三个基准上实现了最先进性能与高计算效率。
2024-07-26 cs.AI cs.CV cs.LG
Active Test-Time Adaptation: Theoretical Analyses and An Algorithm
Texas A&M University（得克萨斯农工大学）
提出主动测试时适应 ATTA 设定及 SimATTA 算法，通过有限标注、样本熵平衡和实时选择，在理论保证下显著提升域偏移适应性能。
2024-04-07 cs.AI cs.LG
Learning Distinctive Margin toward Active Domain Adaptation
Fudan University（复旦大学）；Tencent Youtu Lab（腾讯优图实验室）；NAOC CAS（中国科学院国家天文台）
尽管在无监督或Few-Shot半监督环境下，人们一直致力于提高领域自适应能力（DA），但近年来，主动学习的解决方案由于其在目标数据上的标注资源有限的情况下以更实用的方式传递模型的适用性而开始引起更多的关注。然而，大多数主动学习方法本身并不能处理数据分布之间的域间隙，另一方面，一些主动领域自适应方法（ADA）通常需要复杂的查询函数，容易出现过拟合。在这项工作中，我们提出了一个简洁，但有效的ADA方法称为选择由独特的利润率（SDM），其中包括一个最大的利润损失和利润率采样算法的数据选择。我们提供的理论分析表明，SDM的工作原理就像一个支持向量机，存储硬的例子周围决策边界，并利用它们来找到信息和可转移的数据。此外，我们提出了我们的方法的两个变体，一个是设计来自适应地调整边缘损失的梯度，另一个通过考虑梯度方向来提高边缘采样的选择性。我们基准SDM与标准的主动学习设置，证明我们的算法取得了良好的数据可扩展性的竞争力的结果。代码可在https://github.com/TencentYoutuResearch/ActiveLearning-SDM上获得
2022-04-03 cs.CV cs.LG
Domain Adaptation with Cauchy-Schwarz Divergence
University of Amsterdam（阿姆斯特丹大学）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）；UiT - The Arctic University of Norway（挪威北极大学）；Netherlands Cancer Institute（荷兰癌症研究所）
本文将 Cauchy-Schwarz 散度引入无监督领域自适应，提供比 KL 散度更紧的泛化误差界，能在表示空间无需分布假设地估计分布差异，在距离度量和对抗训练框架中均取得优异性能。
2024-05-30 cs.LG stat.ML
How does the Combined Risk Affect the Performance of Unsupervised Domain Adaptation Approaches?
AAII（澳大利亚人工智能研究院）；UTS（悉尼科技大学）
无监督领域自适应（UDA）的目的是训练一个目标分类器与标记的样本从源域和未标记的样本从目标域。经典的UDA学习边界表明，目标风险的上界由三项组成：源风险，分布差异和组合风险。基于组合风险是一个小的固定值的假设，基于此界限的方法通过仅最小化源风险和分布差异的估计来训练目标分类器。然而，当最小化两个估计量时，组合风险可能增加，这使得目标风险不可控。因此，目标分类器不能达到理想的性能，如果我们不能控制的组合风险。为了控制组合风险，关键挑战根源于目标域中标记样本的不可用性。为了解决这一关键挑战，我们提出了一种名为E-MixNet的方法。E-MixNet在标记的源样本和伪标记的目标样本上采用增强的混合，一种通用的邻近分布，以计算组合风险的代理。实验表明，该代理在最小化源风险和分布差异的同时，能有效抑制组合风险的增加。此外，我们表明，如果代理的组合风险被添加到损失函数的四个代表UDA方法，他们的性能也得到改善。
2020-12-30 cs.AI cs.CV cs.LG
Spectral Transfer Guided Active Domain Adaptation For Thermal Imagery
Aselsan Inc.（阿瑟尔桑公司）；Middle East Technical University（中东技术大学）
本文提出光谱迁移引导的主动域自适应方法，在可见光到热红外域差距较大的场景下同时进行域对齐和最具信息量目标样本选择，并在MS-COCO与FLIR ADAS上验证其优于现有方法。
2023-04-14 cs.CV cs.LG
Active Learning for Domain Adaptation: An Energy-Based Approach
Beijing Institute of Technology（北京理工大学）；Tsinghua University（清华大学）；Inceptio Technology（嬴彻科技）
无监督领域自适应最近已经成为将深度神经网络推广到新目标领域的有效范例。然而，要实现全面监督的业绩，仍有巨大的潜力有待挖掘。在本文中，我们提出了一种新的主动学习策略，以协助知识转移的目标领域，被称为主动领域自适应。我们从一个观察开始，即当训练（源）和测试（目标）数据来自不同的分布时，基于能量的模型会表现出\textit{free energy biases}。受这种内在机制的启发，我们根据经验发现，一个简单而有效的基于能量的采样策略比需要特定架构或距离计算的现有方法更能选择最有价值的目标样本。我们的算法，基于能量的主动领域自适应（EADA），查询组的目标数据，将域特征和实例的不确定性到每个选择轮。同时，通过对齐的自由能目标数据压缩周围的源域通过一个正则化项，域间隙可以隐式地减少。通过大量的实验，我们表明，EADA超越了国家的最先进的方法在众所周知的具有挑战性的基准与实质性的改进，使其成为一个有用的选择，在开放的世界。代码可在https://github.com/BIT-DA/EADA上获得。
2022-03-09 cs.CV cs.LG
A3: Active Adversarial Alignment for Source-Free Domain Adaptation
Oklahoma State University（俄克拉荷马州立大学）
针对无源无监督域适应中伪标签噪声大、分布偏移难处理的问题，提出结合自监督、对抗训练与主动学习的A3框架，通过主动采样、对抗损失与一致性正则化实现无源数据的分布对齐，提升域适应效果。
2024-10-07 cs.AI cs.CV cs.LG
Switching EEG Headsets Made Easy: Reducing Offline Calibration Effort Using Active Weighted Adaptation Regularization
DataNova；U.S. Army Research Laboratory（美国陆军研究实验室）；University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）
头戴式脑电图仪是脑机接口中最常用的传感设备。在实际应用中，将数据从一个用户会话外推到另一个用户会话是有优势的。然而，如果数据来自不同的硬件系统，这些优点是有限的，这往往是不同的应用空间之间的变化。目前，这需要重新校准分类器，这对人们使用此类系统的兴趣产生了负面影响。在本文中，我们采用主动加权自适应正则化（AwAR），它集成了加权自适应正则化（WAR）和主动学习，以加快校准过程。WAR利用来自先前耳机的标记数据并处理类别不平衡，并且主动学习从新耳机中选择最具信息量的样本进行标记。单次试验的事件相关电位分类实验表明，AwAR可以显着提高分类精度，给定相同数量的标记样本从新的耳机。换句话说，AwAR可以有效地减少新耳机所需的标记样本数量，给定所需的分类精度，这表明在整理数据以用于大规模迁移学习应用中的价值。
2017-02-09 cs.HC cs.LG
On generalization in moment-based domain adaptation
Johannes Kepler University Linz（林茨约翰内斯·开普勒大学）；Data Science Software Competence Center Hagenberg GmbH（哈根贝格数据科学软件能力中心有限公司）
域自适应算法被设计为通过自适应来自具有大量训练数据的源域的模型来最小化用于具有很少训练数据的目标域的判别模型的误分类风险。标准方法基于源域和目标域中的经验概率分布之间的距离度量来测量适应差异。在这种情况下，我们解决的问题，推导出面向实践的一般条件下的基本概率分布的泛化界。因此，我们得到了泛化界域自适应的基础上，许多矩和光滑条件。
2021-07-26 cs.LG stat.ML
Heuristic Domain Adaptation
University of Chinese Academy of Sciences（中国科学院大学）；Alibaba Group（阿里巴巴集团）；Peng Cheng Laboratory（鹏城实验室）
在视觉领域自适应（DA）中，从领域不变表示中分离出领域特定特征是一个不适定问题。现有的方法采用不同的先验或直接最小化域差异来解决这个问题，这在处理现实世界的情况下缺乏灵活性。另一种研究管道将特定领域的信息表示为渐进的传输过程，这在准确地去除特定领域的属性方面往往是次优的。本文从启发式搜索的角度研究了领域不变信息和领域特定信息的建模问题。我们确定的特点，在现有的表示，导致更大的域差异的启发式表示。在启发式表示法的指导下，我们提出了一个启发式领域自适应（HDA）的基本框架，并给出了充分的理论保证。为了执行HDA，在学习过程中，将域不变表示和域特定表示之间的余弦相似性得分和独立性度量投射到初始和最终状态的约束中。类似于启发式搜索的最终条件，我们进一步推导出一个约束，强制执行启发式网络输出的最终范围是小的。因此，我们提出了启发式领域自适应网络（HDAN），它明确地学习领域不变和领域特定的表示与上述约束。大量的实验表明，HDAN在无监督DA、多源DA和半监督DA方面已经超过了最先进的水平。https://github.com/cuishuhao/HDA
2020-11-30 cs.CV cs.LG
On $f$-Divergence Principled Domain Adaptation: An Improved Framework
Tongji University（同济大学）；University of Ottawa（渥太华大学）
本文针对无监督领域自适应提出 $f$-领域差异 $f$-DD，改进 $f$-散度理论界并推导快速率泛化 bound，实验验证其优于既有方法。
2024-10-27 cs.CV cs.LG stat.ML
Temporal Attentive Alignment for Large-Scale Video Domain Adaptation
Georgia Institute of Technology（佐治亚理工学院）；Sony Interactive Entertainment LLC（索尼互动娱乐有限责任公司）；Binghamton University（宾厄姆顿大学）
虽然近年来已经提出了各种基于图像的领域自适应（DA）技术，但视频中的域偏移仍然没有得到很好的探索。大多数以前的作品只评估小规模数据集的饱和性能。因此，我们首先提出了两个大规模的视频DA数据集具有更大的域差异：UCF-HMDB_full和Kinetics-Gameplay。其次，我们研究了不同的DA集成方法的视频，并表明，同时对齐和学习时间动态实现有效的对齐，即使没有复杂的DA方法。最后，我们提出了时间注意对抗适应网络（TA 3 N），它明确地注意到时间动态使用域差异更有效的域对齐，在四个视频DA数据集上实现了最先进的性能（例如，在“HMDB --> UCF”上，与“仅源”相比，从73.9%到81.8%的准确度增益为7.9%，在“Kinetics --> Gameplay”上，则为10.3%）。代码和数据在http://github.com/cmhungsteve/TA3N上发布。
2019-09-15 cs.CV cs.LG cs.MM
