Boomda: Balanced Multi-objective Optimization for Multimodal Domain Adaptation
针对多模态域自适应中标注数据稀缺、不同模态域偏移各异的问题，提出Boomda方法，通过信息瓶颈学习模态表示、相关性对齐匹配域并以多目标优化平衡对齐，实验表明其性能优于现有方案。
2025-11-11 cs.CV cs.LG
Localising In Complex Scenes Using Balanced Adversarial Adaptation
ARC Centre of Excellence for Robotic Vision（澳大利亚研究委员会机器人视觉卓越中心）；Monash University（莫纳什大学）
领域自适应和生成式建模通过利用模拟环境中丰富的准确标记数据，共同减轻了数据汇集和标记的昂贵性质。在这项工作中，我们研究的性能之间存在的差距表示优化本地化的模拟环境和应用程序的这种表示在现实世界中设置。我们的方法利用模拟和现实世界的环境之间共享的几何相似性，同时保持对视觉差异的不变性。这是通过优化表示提取器来实现的，以将模拟和真实表示投影到共享表示空间中。我们的方法使用了一种对称对抗方法，该方法鼓励表示提取器隐藏从中提取特征的域，同时保留源域和目标域之间有利于本地化的鲁棒属性。我们通过将室内人居模拟环境（Matterport3D和ESTA）优化的表示适应真实世界的室内环境（主动视觉数据集）来评估我们的方法，表明它与完全监督的方法相比是有利的。
2020-11-09 cs.CV cs.LG
Domain Adaptation for Semantic Segmentation via Class-Balanced Self-Training
Carnegie Mellon University（卡内基梅隆大学）；NVIDIA（英伟达）；General Motors R & D（通用汽车研发中心）
最近的深度网络在各种语义分割任务上实现了最先进的性能。尽管取得了这些进展，但这些模型在现实世界的“野生任务”中经常面临挑战，其中标记的训练/源数据和看不见的测试/目标数据之间存在很大差异。特别是，这种差异通常被称为“域间隙”，并可能导致显着降低的性能，这是不容易通过进一步提高表示功率补救。无监督领域自适应（UDA）试图在没有目标域标签的情况下克服这样的问题。在本文中，我们提出了一种新的UDA框架的基础上，迭代自训练过程，其中的问题被制定为潜在变量损失最小化，并可以解决交替生成伪标签的目标数据和重新训练模型与这些标签。在自训练的基础上，我们还提出了一种新的类平衡的自训练框架，以避免大类在伪标签生成上的逐渐主导地位，并引入空间先验来细化生成的标签。综合实验表明，所提出的方法实现了最先进的语义分割性能在多个主要的UDA设置。
2018-10-25 cs.CV cs.LG cs.MM
Unsupervised Domain Adaptation Through Transferring both the Source-Knowledge and Target-Relatedness Simultaneously
School of Computer and Software, Nanjing University of Information Science and Technology（南京信息工程大学计算机与软件学院）；Engineering Research Center of Digital Forensics, Ministry of Education, Nanjing University of Information Science and Technology（南京信息工程大学教育部数字取证工程研究中心）；College of Computer Science and Technology, Nanjing University of Aeronautics and Astronautic（南京航空航天大学计算机科学与技术学院）
无监督领域自适应（UDA）是机器学习和模式识别领域的一个新兴研究课题，旨在通过从源领域转移知识来帮助未标记目标领域的学习。
2021-12-24 cs.LG stat.ML
Towards Real-World Test-Time Adaptation: Tri-Net Self-Training with Balanced Normalization
South China University of Technology（华南理工大学）；Institute for Infocomm Research, A*STAR（新加坡科技研究局信息通信研究所）；School of Data Science, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）数据科学学院）
针对真实世界测试时自适应中类别不平衡与持续域偏移的挑战，提出TRIBE模型，采用三网络架构与平衡批归一化层，并利用锚定损失改进自训练，在四个数据集上达到最先进性能。
2025-03-26 cs.CV cs.LG
Balanced LoRA: Removing Parameter Invariance to Accelerate Convergence
Apple, Paris, France（苹果公司，巴黎，法国）；CNRS（法国国家科学研究中心）
针对LoRA过参数化导致不同低秩因子对条件数差异大而影响收敛速度的问题，提出BaLoRA，通过投影到平衡流形改善损失景观条件，实现更快收敛和更优性能。
2026-05-29 cs.LG
Few-shot Domain Adaptation by Causal Mechanism Transfer
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
我们研究了用于回归问题的Few-Shot监督领域自适应（DA），其中只有少数标记的目标域数据和许多标记的源域数据可用。许多当前的DA方法将其传递假设基于参数化的分布偏移或表观分布相似性，例如，相同的条件或小的分配差异。然而，这些假设可能会排除从错综复杂的变化和显然非常不同的分布适应的可能性。为了克服这个问题，我们提出了机制转移，一个元分布的情况下，数据生成机制是不变的域之间。这种转移假设可以容纳非参数的变化，导致明显不同的分布，同时提供了坚实的统计基础DA。我们以因果建模中的结构方程为例，提出了一种新的DA方法，这是有用的理论和实验。我们的方法可以被看作是第一次尝试充分利用DA的结构因果模型。
2020-08-19 cs.LG stat.ML
Transfer Learning with Dynamic Adversarial Adaptation Network
Chinese Academy of Sciences（中国科学院）；University of Chinese Academy of Sciences（中国科学院大学）；Microsoft Research Asia（微软亚洲研究院）；China Academy of Space Technology（中国空间技术研究院）
深度迁移学习的最新进展表明，对抗学习可以嵌入到深度网络中，学习更多的可迁移特征，以减少两个域之间的分布差异。现有的对抗性领域自适应方法要么学习一个单一的领域分类器来对齐全局源和目标分布，要么关注基于多个鉴别器的子领域对齐。然而，在实际应用中，域之间的边缘（全局）和条件（局部）分布往往对自适应的贡献不同。目前还没有方法来动态和定量地评估这两种分布对对抗学习的相对重要性。在本文中，我们提出了一种新的动态对抗适应网络（DAAN），动态学习域不变表示，同时定量评估全局和局部域分布的相对重要性。据我们所知，DAAN是第一次尝试为深度对抗学习执行动态对抗分布自适应。DAAN在实际应用中非常容易实现和训练。我们从理论上分析了DAAN的有效性，它也可以用注意策略来解释。大量的实验表明，与最先进的深度和对抗方法相比，DAAN实现了更好的分类准确性。研究结果也暗示了对抗性迁移学习中动态分布适应的必要性和有效性。
2019-09-18 cs.LG stat.ML
Subset Selection for Fine-Tuning: A Utility-Diversity Balanced Approach for Mathematical Domain Adaptation
Department of Computer Science and Engineering IIT Bombay（印度理工学院班加罗尔计算机科学与工程系）；Koita Centre for Digital Health IIT Bombay（IIT班加罗尔数字健康中心）
本文提出一种效用-多样性平衡的预算子集选择方法，通过结合困惑度与思维链损失筛选高价值样本并保证数学子领域覆盖，在LLaMA-3 8B和Phi-3上以更低成本实现接近全数据集的微调性能。
2025-05-02 cs.AI cs.LG
Deep Transfer Learning with Joint Adaptation Networks
Key Lab for Information System Security, MOE（信息系统安全教育部重点实验室）；Tsinghua National Lab for Information Science and Technology (TNList)（清华信息科学与技术国家实验室）；NEL-BDS（大数据系统软件国家工程实验室）；School of Software, Tsinghua University（清华大学软件学院）；University of California, Berkeley（加州大学伯克利分校）
深度网络已经成功地应用于学习可转移的特征，以使模型从源域适应不同的目标域。在本文中，我们提出了联合自适应网络（JAN），它通过基于联合最大平均差异（JMMD）标准对齐跨域的多个特定于域的层的联合分布来学习传输网络。采用对抗性训练策略来最大化JMMD，使得源域和目标域的分布更容易区分。学习可以通过随机梯度下降来执行，其中梯度通过线性时间中的反向传播来计算。实验证明，我们的模型在标准数据集上产生了最先进的结果。
2017-08-17 cs.LG stat.ML
Transferable Positive/Negative Speech Emotion Recognition via Class-wise Adversarial Domain Adaptation
The University of Manchester（曼彻斯特大学）
语音情感识别在构建更智能、更人性化的智能体方面发挥着重要作用。由于语音情感数据采集的困难性，一种越来越流行的解决方案是利用相关且丰富的源语料库来帮助处理目标语料库。然而，语料库之间的域转移提出了一个严峻的挑战，使域转移适应难以发挥作用，即使是对积极/消极情绪的识别。在这项工作中，我们提出了类明智的对抗性领域自适应，以解决这一挑战，减少不同语料库之间的所有类的转变。在著名的EMODB和Aibo语料库上的实验表明，即使只提供非常有限数量的目标标记示例，我们的方法也是有效的。
2019-02-14 cs.LG stat.ML
Deep Transfer Network with Joint Distribution Adaptation: A New Intelligent Fault Diagnosis Framework for Industry Application
Tsinghua University（清华大学）
近年来，用于智能状态监测和诊断的深度学习模型以及用于机械系统和结构的机器学习越来越受欢迎。然而，在以前的研究中，默认接受的一个主要假设是训练和测试数据来自相同的特征分布。然而，这种假设在实际应用中往往是无效的，导致传统的诊断方法缺乏一定的适用性。受迁移学习思想的启发，该思想利用从源域中丰富的标记数据中学习的知识来帮助诊断新的但相似的目标任务，提出了一种新的智能故障诊断框架，即，提出了一种将深度学习模型推广到领域自适应场景的深度传输网络DTN。通过将边缘分布自适应（MDA）扩展为联合分布自适应（JDA），该框架利用源域中与标记数据相关的判别结构来适应未标记目标数据的条件分布，从而保证更准确的分布匹配。对三个故障数据集的大量实证评估验证了DTN的适用性和实用性，同时在不同的操作条件、故障严重程度和故障类型方面实现了许多最先进的传输结果。
2018-04-18 cs.LG stat.ML
Learning transferable and discriminative features for unsupervised domain adaptation
Nanjing University（南京大学）；Jiangnan University（江南大学）
虽然取得了显著的进展，但在没有任何标记数据的情况下，很难诱导出有监督的分类器。无监督的领域自适应能够通过将知识从标记的源域转移到未标记的目标域来克服这一挑战。可转移性和可区分性是表征特征表示的优越性的两个关键标准，以实现成功的领域自适应。在本文中，一种新的方法称为\textit{learning TransFerable and Discriminative Features for unsupervised domain adaptation}（TFDF）提出了这两个目标同时优化。一方面，进行分布对齐以减少域差异并学习更多的可传递表示。在再生核希尔伯特空间（RKHS）中，我们采用了一种新的统计量\textit{Maximum Mean and Covariance Discrepancy}（MMCD），它不仅能捕获一阶统计信息，还能捕获二阶统计信息，而不是采用仅捕获一阶统计信息的\textit{Maximum Mean Discrepancy}（MMD）来度量分布差异.另一方面，我们建议通过流形正则化探索局部判别信息，并通过最小化所提出的\textit{class confusion}目标来学习更多的判别特征，分别探索全局判别信息。我们将这两个目标集成到\textit{Structural Risk Minimization}（RSM）框架中，并学习域不变分类器。在5个真实数据集…
2021-06-26 cs.LG stat.ML
On the impact of measure pre-conditionings on general parametric ML models and transfer learning via domain adaptation
该研究提出一种借助可导出γ-收敛的Fatou引理类似物来分析学习智能体在数据微小改动下收敛性的新技术，并验证了其在通用机器学习与域适应迁移学习任务中的应用价值。
2024-03-04 cs.LG math.OC stat.ML
Blending-target Domain Adaptation by Adversarial Meta-Adaptation Networks
Sun Yat-sen University（中山大学）；DarkMatter AI Research（暗物质人工智能研究院）
（无监督）领域自适应（DA）寻求在仅提供源标记和目标未标记的样本用于训练时对目标实例进行分类。学习域不变特征有助于实现这一目标，而它支持从单个或多个显式目标域（多目标DA）提取的未标记样本。在本文中，我们考虑了一个更现实的迁移场景：我们的目标域是由多个子目标隐式地相互混合，使学习者无法识别每个未标记的样本属于哪个子目标。这种混合目标领域自适应（BTDA）场景在实践中经常出现，并威胁到大多数现有DA算法的有效性，这是由于这些隐藏子目标之间存在域间隙和类别失配。为了在这种新的场景中获得传输性能的提升，我们提出了对抗性元适应网络（AMEAN）。AMEAN需要两个对抗性的迁移学习过程。第一种是传统的对抗性转移，以连接我们的源域和混合目标域。为了避免目标类别内的不一致，第二个过程表现为“学习适应”：它部署了一个无监督的元学习器，接收目标数据及其正在进行的特征学习反馈，以发现目标集群作为我们的“元-子目标”域。这些元-子目标自动设计了我们的元-子目标DA损失，这根据经验消除了我们的混合目标中的隐式类别不匹配。我们评估AMEAN和各种DA算法在BTDA设置下的三个基准测试。实验结果表明，BTDA是一个相当具有挑战性的转移设置为大多数现有的DA算法，但AMEAN显着优于这些国家的最先进的基线，并有效地抑制了BTDA的负转移效应。
2019-07-08 cs.LG stat.ML
Transfer Learning with Dynamic Distribution Adaptation
Microsoft Research Asia（微软亚洲研究院）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Nanyang Technological University（南洋理工大学）；Qian Xuesen Laboratory of Space Technology, China Academy of Space Technology（中国空间技术研究院钱学森空间技术实验室）；Hong Kong University of Science and Technology（香港科技大学）
迁移学习旨在通过利用来自源域的知识来学习目标域的鲁棒分类器。由于源域和目标域通常来自不同的分布，现有的方法主要集中在适应跨域的边缘或条件分布。然而，在实际应用中，边缘分布和条件分布通常对域差异有不同的贡献。现有的方法不能定量地评估这两种分布的不同重要性，这将导致不满意的传输性能。在本文中，我们提出了一个新的概念，称为动态分布自适应（DDA），这是能够定量评估每个分布的相对重要性。DDA可以很容易地纳入结构风险最小化的框架来解决迁移学习问题。在DDA的基础上，我们提出了两种新的学习算法：（1）用于传统迁移学习的流形动态分布自适应（MDDA），（2）用于深度迁移学习的动态分布自适应网络（DDAN）。大量的实验表明，MDDA和DDAN显着提高了迁移学习的性能，并在数字识别，情感分析和图像分类方面建立了一个强大的基线。更重要的是，它表明，边际和条件分布有不同的贡献域的分歧，我们的DDA是能够提供良好的定量评估其相对重要性，从而导致更好的性能。我们相信这一观察结果可以为今后的迁移学习研究提供帮助。
2019-09-17 cs.LG stat.ML
Transferable Calibration with Lower Bias and Variance in Domain Adaptation
Tsinghua University（清华大学）；University of California Berkeley（加州大学伯克利分校）
领域自适应（DA）使得能够将学习机从标记的源域转移到未标记的目标域。虽然已经取得了显着的进步，大多数现有的DA方法集中在提高目标的准确性在推理。如何估计DA模型的预测不确定性对于安全关键场景中的决策至关重要，但仍然是探索的边界。在本文中，我们深入研究了DA中的校准问题，由于域偏移和缺乏目标标签的共存，这是极具挑战性的。我们首先揭示了DA模型学习更高的准确性，以牺牲校准良好的概率的困境。在这一发现的推动下，我们提出了可转移校准（TransCal），以实现更准确的校准，在一个统一的超参数的优化框架中具有较低的偏差和方差。作为一种通用的事后校准方法，TransCal可以很容易地应用于重新校准现有的DA方法。它的有效性在理论和经验上都得到了证明。
2020-11-09 cs.LG stat.ML
DARec: Deep Domain Adaptation for Cross-Domain Recommendation via Transferring Rating Patterns
University of New South Wales（新南威尔士大学）
跨领域推荐一直是推荐系统研究的热点之一。最近，已经提出了各种深度模型来跨领域转移学习的知识，但是它们中的大多数集中于从辅助内容中提取抽象的可转移特征，例如，图像和评论文本，而评级矩阵本身的模式很少被触及。在这项工作中，受领域自适应概念的启发，我们提出了一个深度领域自适应模型（DARec），该模型能够从评级矩阵{ \em only}中提取和传输模式，而不依赖于任何辅助信息。我们在公共数据集上实证证明，我们的方法在几种最先进的跨域推荐模型中达到了最佳性能。
2019-05-26 cs.IR cs.LG stat.ML
Efficient transfer learning and online adaptation with latent variable models for continuous control
Uber AI Labs（优步人工智能实验室）
传统的基于模型的强化学习依赖于手工指定或学习的环境过渡动态模型。这些方法是样本有效的，并且促进了在现实世界中的学习，但是不能推广到底层动态中的细微变化，例如，这是由于机器人代理或时间上的质量、摩擦或致动器的差异。我们建议使用变分推理来学习未知环境属性的显式潜在表示，以加速学习并促进测试时对新环境的泛化。我们使用这些学习到的潜在的在线贝叶斯推理，以快速适应在线环境的变化，而无需保留最近数据的大型重放缓冲区。结合一个神经网络合奏，模型动态和捕捉动态的不确定性，我们的方法表明，在训练和在线适应的连续控制任务HalfCheetah的正迁移。
2018-12-08 cs.LG stat.ML
Transfer Neyman-Pearson Algorithm for Outlier Detection
Columbia University（哥伦比亚大学）
针对目标异常数据稀少的异常检测迁移学习问题，提出一种具有理论保证且易于实现的通用元算法，并通过多层神经网络等实例化实验证明其优于现有平衡分类迁移方法的自然扩展。
2025-01-02 cs.LG stat.ML
Sparse Optimization for Transfer Learning: A L0-Regularized Framework for Multi-Source Domain Adaptation
College of Mathematics and Statistics, Chongqing University（重庆大学数学与统计学院）
本文提出基于 L0 正则化的稀疏优化迁移学习框架 SOTL，通过精确稀疏压缩参数空间并聚焦目标参数，在异构多源域自适应中显著提升估计精度与计算效率。
2025-04-07 cs.LG stat.ML
Feature-Level Domain Adaptation
Delft University of Technology（代尔夫特理工大学）；Leiden University Medical Center（莱顿大学医学中心）；University of Copenhagen（哥本哈根大学）
域自适应是监督学习设置，其中训练和测试数据从不同的分布中采样：训练数据从源域采样，而测试数据从目标域采样。本文提出并研究了一种称为特征级域自适应（FLDA）的方法，该方法通过训练描述从源域到目标域的转移的特征级转移模型来建模两个域之间的依赖关系。随后，我们训练域适应分类器，通过最小化所得到的传输模型下的预期损失。对于线性分类器和大量的损失函数和传递模型，可以计算或近似分析这种预期损失，并有效地最小化。我们的经验评估FLDA的重点问题，包括二进制和计数数据，其中的传输可以自然地通过辍学分布，这使得分类器，以适应在源和目标域的边缘概率的功能的差异建模。我们对几个现实问题的实验表明，FLDA的表现与最先进的领域自适应技术不相上下。
2016-06-07 cs.LG stat.ML
Classification Imbalance as Transfer Learning
Department of Operations Research & Financial Engineering（运营研究与金融工程系）；Princeton University（普林斯顿大学）
本文研究了分类不平衡作为迁移学习的问题，分析了SMOTE与bootstrap在高维情况下的性能差异，指出bootstrap在一般情况下表现更优。
2026-01-15 cs.LG stat.ML
Target Consistency for Domain Adaptation: when Robustness meets Transferability
Université Paris-Saclay（巴黎萨克雷大学）；CentraleSupélec（中央理工-高等电力学院）；Sidetrade
学习不变表示已成功地应用于协调无监督领域自适应的源和目标域。通过研究这些方法的鲁棒性的棱镜下的集群假设，我们带来了新的证据，不变性与低源风险并不能保证一个性能良好的目标分类。更确切地说，我们表明，集群假设违反了在目标域，尽管被保持在源域，表明缺乏鲁棒性的目标分类。为了解决这个问题，我们证明了在目标域中执行集群假设的重要性，命名为目标一致性（TC），特别是当与类级不变（CLIV）配对时。我们的新方法在图像分类和分割基准上都有了显着的改进，超过了基于不变表示的最先进方法。重要的是，我们的方法是灵活的，易于实现，使其成为现有方法的补充技术，以提高表示的可转移性。
2020-06-30 cs.LG stat.ML
NOTE: Robust Continual Test-time Adaptation Against Temporal Correlation
KAIST（韩国科学技术院）
测试时自适应（Test-time adaptation，TTA）是一种新兴的模式，它解决了训练和测试阶段之间的分布变化，而不需要额外的数据采集或标记成本;只有未标记的测试数据流用于连续的模型自适应。以前的TTA方案假设测试样本是独立同分布的，即使它们经常是时间相关的（非I.I.D.）在应用场景中，例如，自动驾驶我们发现，大多数现有的TTA方法在这种情况下显着失败。受此启发，我们提出了一个新的测试时自适应计划，对非独立同分布是强大的。测试数据流我们的新颖性主要是两方面的：（a）实例感知批量归一化（IABN），纠正分布外样本的归一化，以及（b）预测平衡水库采样（PBRS），模拟i.i.d.来自非I.I.D.的数据流以类平衡的方式流。我们对各种数据集的评估，包括真实世界的非i.i.d.流，表明所提出的强大的TTA不仅优于国家的最先进的TTA算法在非i.i.d.设置，而且还实现了与i.i.d.假设代码可在https://github.com/TaesikGong/NOTE上获得。
2023-01-11 cs.LG
Domain Adaptation of Majority Votes via Perturbed Variation-based Label Transfer
Institute of Science and Technology Austria（奥地利科学技术研究所）
我们解决PAC-Bayesian Domain Adaptation（DA）问题。当人们希望从源分布中学习不同目标分布上的良好加权多数投票（在一组分类器上）时，就会出现这种情况。在这种情况下，分类器之间的分歧是已知的控制至关重要。在非DA监督设置中，理论界-C界-涉及这种分歧，并导致多数投票学习算法：MinCq。在这项工作中，我们扩展MinCq DA利用一个优雅的发散分布称为扰动变差（PV）。首先，证明了一个新的配方的C界限，我们提供给MinCq的目标样本标记感谢基于PV的自标记集中在区域的源和目标边缘分布更接近。其次，我们提出了一个调整超参数的原始过程。我们的框架在玩具问题上显示出非常有希望的结果。
2013-11-19 cs.LG stat.ML
Learning Transferable Features with Deep Adaptation Networks
Tsinghua University（清华大学）；University of California, Berkeley（加州大学伯克利分校）
最近的研究表明，深度神经网络可以学习可转移的特征，这些特征可以很好地推广到领域自适应的新任务。然而，随着深层特征最终沿着网络从一般过渡到特定，随着域差异的增加，特征的可转移性在更高层中显著下降。因此，在形式上减少数据集偏差并增强任务特定层的可转移性是很重要的。在本文中，我们提出了一种新的深度自适应网络（DAN）架构，它将深度卷积神经网络推广到领域自适应场景。在DAN中，所有任务特定层的隐藏表示都嵌入在再生核希尔伯特空间中，其中不同域分布的平均嵌入可以显式匹配。使用最优多核选择方法进行均值嵌入匹配，进一步减小了域差异。DAN可以学习具有统计保证的可转移特征，并且可以通过核嵌入的无偏估计线性缩放。大量的经验证据表明，所提出的架构产生的最先进的图像分类出错率标准领域自适应基准。
2015-05-27 cs.LG
Domain Adaptation without Model Transferring
Huawei Technologies（华为技术有限公司）
近年来，研究人员越来越关注深度学习模型给数据安全和隐私带来的威胁，尤其是在领域自适应领域。现有的无监督领域自适应（UDA）方法可以在不将数据从源域转移到目标域的情况下获得有希望的性能。然而，具有表示对齐或自监督伪标记的UDA依赖于所传输的源模型。在许多数据关键场景中，基于模型传输的方法可能会遭受成员推断攻击并暴露私有数据。在本文中，我们的目标是克服一个具有挑战性的新设置，源模型不能被转移到目标域。提出了无需源模型的领域自适应算法，从源模型中提炼信息.为了获得更多的信息结果，我们进一步提出了分布式对抗训练（DAT），以对齐源数据的分布与目标数据。在Digit-Five、J2EE-Caltech、Office-31、J2EE-Home和DomainNet上的实验结果证明了该方法的可行性。
2021-08-29 cs.LG
TLR: Transfer Latent Representation for Unsupervised Domain Adaptation
Wuhan University（武汉大学）
领域自适应是指通过利用来自源域的数据来学习目标域中的预测模型的过程。许多经典的方法通过建立公共的潜在空间来解决领域自适应问题，这可能会导致跨两个域的许多重要属性的丢失。在这篇手稿中，我们开发了一种新的方法，转移潜在的代表性（TLR），学习一个更好的潜在空间。具体来说，我们设计了一个目标函数的基础上，一个简单的线性自编码器，以获得这两个域的潜在表示。自动编码器中的编码器旨在将两个域的数据投影到鲁棒的潜在空间中。此外，解码器施加了一个额外的约束来重建原始数据，这可以保持两个域的共同属性，并减少导致域移位的噪声。跨领域任务的实验表明TLR的竞争方法的优势。
2018-08-19 cs.AI cs.LG stat.ML
Unsupervised Domain Adaptation with Residual Transfer Networks
Tsinghua University（清华大学）；University of California, Berkeley（加州大学伯克利分校）
深度神经网络最近的成功依赖于大量的标记数据。对于标记数据不可用的目标任务，领域自适应可以将学习器从不同的源域转移。在本文中，我们提出了一种在深度网络中进行领域自适应的新方法，该方法可以从源域中的标记数据和目标域中的未标记数据中联合学习自适应分类器和可转移特征。我们放松了以前的方法所做的共享分类器的假设，并假设源分类器和目标分类器的残差函数不同。我们通过将几个层插入深度网络来实现分类器自适应，以参考目标分类器显式学习残差函数。我们用张量积融合多层特征，并将其嵌入到再生核希尔伯特空间中，以匹配特征自适应的分布。在大多数前馈模型中，可以通过用新的剩余层和损失函数来扩展它们来实现自适应，所述新的剩余层和损失函数可以经由反向传播来有效地训练。经验证据表明，新的方法优于国家的最先进的方法标准领域自适应基准。
2017-02-16 cs.LG
Interventional Domain Adaptation
Zhejiang University（浙江大学）；Laval University（拉瓦尔大学）；State University of New York at Buffalo（纽约州立大学布法罗分校）
领域自适应（DA）的目的是将从源领域学习到的鉴别特征转移到目标领域。大部分的DA方法集中于通过域不变性学习来增强特征的可移植性。然而，源学习的可辨别性本身可能被定制为有偏见的并且不安全地通过虚假相关性来转移，\emph{i.e.}，源特定特征的一部分与类别标签相关。我们发现，标准的域不变性学习受到这种相关性的影响，并错误地转移了源细节。为了解决这个问题，我们使用未标记的目标数据来干预特征区分度的学习，以引导其摆脱特定领域的部分，并安全地转移。具体地说，我们通过一种新的特征干预策略生成反事实特征，以区分领域特定性和领域可共享部分。为了防止域特异性的驻留，特征可辨别性被训练为对反事实特征的域特异性中的突变不变。在典型的\emph{one-to-one}无监督领域自适应和具有挑战性的领域不可知自适应任务上进行实验，我们的方法与最先进的方法相比的一致性能改进验证了学习的判别特征更安全地可转移，并且可以很好地推广到新的领域。
2020-11-07 cs.CV cs.LG stat.ML
Selective Transfer with Reinforced Transfer Network for Partial Domain Adaptation
Zhejiang University（浙江大学）
部分领域自适应（PDA）的一个关键问题是如何在共享类中选择相关的源样本进行知识转移。以前的PDA方法通过基于源样本的高级信息（深度特征）重新加权源样本来解决这个问题。然而，由于源域和目标域之间的域移位，仅使用深度特征进行样本选择是有缺陷的。我们认为，这是更合理的额外利用PDA问题的像素级信息，异常源类和目标类之间的外观差异是显着的大。在本文中，我们提出了一个增强的传输网络（RTNet），它利用高层和像素级信息的PDA问题。我们的RTNet由一个基于强化学习（RL）的强化数据选择器（RDS）和一个领域自适应模型组成，前者过滤掉离群源样本，后者最小化共享标签空间中的领域差异。具体来说，在RDS中，我们设计了一种新的奖励的基础上重建错误的目标生成器上的选定的源样本，它引入像素级的信息来指导RDS的学习。此外，我们开发了一个包含高级信息的状态，用于RDS的样本选择。建议的RDS是一个通用的模块，它可以很容易地集成到现有的DA模型，使他们适合PDA的情况。大量的实验表明，RTNet可以实现国家的最先进的性能PDA任务在几个基准数据集。
2020-02-28 cs.CV cs.LG stat.ML
Entropy Minimization vs. Diversity Maximization for Domain Adaptation
Nanjing University of Posts and Telecommunications（南京邮电大学）；Southeast University（东南大学）；Temple University（天普大学）
熵最小化在无监督领域自适应（UDA）中得到了广泛的应用。然而，现有的工作表明，熵最小化只能导致折叠平凡的解决方案。在本文中，我们提出，以避免平凡的解决方案，进一步引入多样性最大化。为了实现UDA可能的最小目标风险，我们表明多样性最大化应该与熵最小化进行精心的平衡，其程度可以通过以无监督的方式使用深度嵌入式验证进行精细控制。所提出的最小熵多样性最大化（MEDM）可以直接实现随机梯度下降，而不使用对抗学习。经验证据表明，MEDM优于国家的最先进的方法对四个流行的领域自适应数据集。
2020-02-05 cs.CV cs.LG stat.ML
Heterogeneous Domain Adaptation via Soft Transfer Network
Harbin Institute of Technology（哈尔滨工业大学）；Southern University of Science and Technology（南方科技大学）
异质领域自适应（HDA）是指通过从异质领域中借用知识来促进目标领域的学习任务。在本文中，我们提出了一个软传输网络（SoftTransferNetwork，简称SDH），它以端到端的方式联合学习一个域共享分类器和一个域不变子空间，以解决HDA问题。该算法不仅能够对齐域的判别方向，而且能够匹配域间的边缘分布和条件分布。为了避免负迁移，该算法通过使用未标记目标数据的软标签策略来对齐条件分布，该策略防止将每个未标记目标数据硬分配到可能不正确的类别。此外，由于随着迭代次数的增加，软标签将变得越来越准确，因此，ESTA引入了自适应系数来逐渐增加软标签的重要性。我们对图像到图像、文本到图像和文本到文本的迁移任务进行了实验。实验结果证明，该算法的性能明显优于几种最先进的方法。
2019-08-28 cs.CV cs.LG stat.ML
STAMP: Symmetric Temporal Averaging Message Passing for Domain Adaptation in Chronologically Split Graphs
Seoul National University（首尔大学）；College of Medicine（医学院）；Graduate School of Data Science（数据科学研究生院）
本文解决时序图按时间划分导致的领域自适应问题，提出IMPaCT方法通过消息传递施加基于现实假设的不变属性，并推导泛化误差上界，在ogbn-mag数据集上比SOTA提升3.8%。
2026-10-16 cs.AI cs.LG stat.ML
On Deep Domain Adaptation: Some Theoretical Understandings
与浅领域自适应相比，深领域自适应的最新进展表明，它可以实现更高的预测性能和更强的处理结构数据的能力（例如，图像和顺序数据）。深度领域自适应的基本思想是在联合空间中弥合源域和目标域之间的差距，使得在标记的源数据上训练的监督分类器可以很好地转移到目标域。这个想法当然是直观和强大的，但是，有限的理论理解已经发展到支持其基础原则。在本文中，我们提供了一个严格的框架来解释为什么它是可能的，以关闭在联合空间中的目标和源域的差距。更具体地说，我们首先研究从源域到目标域执行迁移学习时所产生的损失。这提供了一个理论，解释和概括现有的工作，在深领域自适应，主要是经验。这使得我们能够进一步解释为什么闭合联合空间中的间隙可以直接最小化两个域之间的迁移学习所引起的损失。据我们所知，这提供了第一个理论结果，该结果表征了联合空间上的直接约束和通过深度领域自适应的迁移学习的增益
2019-06-19 cs.AI cs.LG stat.ML
An introduction to domain adaptation and transfer learning
Delft University of Technology（代尔夫特理工大学）
在机器学习中，如果训练数据是底层分布的无偏样本，则学习的分类函数将对新样本进行准确预测。然而，如果训练数据不是无偏样本，则在如何分布训练数据与如何分布测试数据之间将存在差异。标准分类器无法应对训练和测试阶段之间数据分布的变化，并且不会表现良好。领域自适应和迁移学习是机器学习内的子领域，其涉及考虑这些类型的改变。在这里，我们提出了一个介绍这些领域，引导的问题：何时以及如何可以从源到目标域的分类推广？我们将首先简要介绍风险最小化，以及迁移学习和领域自适应如何扩展这个框架。接着，我们讨论了数据集转移的三种特殊情况，即先验、协变量和概念转移。对于更复杂的域转移，有各种各样的方法。这些措施分为：重要性加权，子空间映射，域不变空间，特征增强，极大极小估计和鲁棒算法。会出现一些问题，我们将在最后一节讨论。我们的结论是，许多开放的问题将不得不解决之前，转移学习器和域自适应分类器成为实用的。
2019-01-14 cs.CV cs.LG stat.ML
Interpretations of Domain Adaptations via Layer Variational Analysis
Research Center for Information Technology Innovation, Academia Sinica（中央研究院资讯科技创新研究中心）
本研究通过层变分分析建立迁移学习理论，证明数据条件下迁移成功，并提出替代方法，在领域自适应中优于梯度下降，尤其适用于稀疏数据场景。
2023-05-09 cs.LG
Enhancing Continuous Domain Adaptation with Multi-Path Transfer Curriculum
Tsinghua University（清华大学）
本文提出W-MPOT方法，基于Wasserstein距离构建迁移课程，通过多路径连续最优传输和双向一致性约束解决连续域适应中的域排序与误差累积问题，在阿尔茨海默病分类和电池容量估计上显著提升性能。
2024-03-18 cs.LG
Renewing Iterative Self-labeling Domain Adaptation with Application to the Spine Motion Prediction
迁移学习的领域包括有监督的机器学习方法，当训练和测试数据具有不同的输入特征空间或分布时，该方法处理该问题。在这项工作中，我们提出了一种新的迁移学习算法称为更新迭代自标记领域自适应（Re-ISDA）。在这项工作中，我们提出了一种新的迁移学习算法称为更新迭代自标记领域自适应（Re-ISDA）。
2022-11-14 cs.LG stat.AP
Graph Transfer Learning via Adversarial Domain Adaptation with Graph Convolution
Hainan University（海南大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；The Hong Kong Polytechnic University（香港理工大学）；The University of Hong Kong（香港大学）
针对单个网络中标注数据不足的问题，研究了跨网络节点分类问题。它的目的是利用部分标记的源网络中的标签信息来帮助完全未标记或部分标记的目标网络中的节点分类。现有的单网络学习方法不能解决这个问题，由于跨网络的域转移。一些多网络学习方法严重依赖于跨网络连接的存在，因此不适用于此问题。为了解决这个问题，我们提出了一个新的\textcolor{black}{graph}迁移学习框架AdaGCN利用对抗领域自适应和图卷积技术。它由两个组件组成：半监督学习组件和对抗性领域自适应组件。前者的目的是学习类判别节点表示与给定的标签信息的源和目标网络，而后者有助于减轻源和目标域之间的分布分歧，以促进知识转移。在真实世界数据集上的大量经验评估表明，AdaGCN可以成功地传输类信息，源网络上的标签率低，源域和目标域之间的分歧很大。用于再现实验结果的源代码可在https://github.com/daiquanyu/AdaGCN获得。
2022-07-31 cs.LG cs.SI stat.ML
Visualizing Transferred Knowledge: An Interpretive Model of Unsupervised Domain Adaptation
Brandeis University（布兰迪斯大学）；Tulane University（杜兰大学）
许多研究致力于无监督领域自适应（DA）问题，将从标记的源域学到的知识转移到未标记的目标域。近年来，各种DA方法在预测能力方面取得了显着的成果，这意味着上述知识转移的有效性。然而，最先进的方法很少深入探讨转移机制，使这些知识的真正本质模糊不清。认识到它的重要性，在适应过程中，我们提出了一个解释模型的无监督领域自适应，作为第一次尝试，以直观地揭开神秘的知识转移。适应现有的概念原型从视觉图像判读DA任务，我们的模型同样提取共享信息的域不变的表示为原型向量。此外，我们扩展了目前的原型方法与我们的新的预测校准和知识保真度保存模块，面向学习的原型，以实际转移的知识。通过可视化这些原型，我们的方法不仅为基础模型的预测提供了直观的解释，而且还通过在源域和目标域中匹配具有相同语义的图像块来揭示知识的传递。全面的实验和深入的探索表明，我们的方法在理解转移机制及其在下游任务，包括模型诊断的潜力的有效性。
2023-03-04 cs.CV cs.LG
Federated Semi-Supervised Domain Adaptation via Knowledge Transfer
Michigan Technological University（密歇根理工大学）；University of Hong Kong（香港大学）
鉴于机器学习环境的快速变化和数据标注的昂贵性，当源域的标注数据与目标域的部分标注数据在统计上存在差异时，半监督领域自适应（SSDA）算法势在必行。大多数以前的SSDA研究都是集中进行的，需要访问源数据和目标数据。然而，现在许多领域的数据是由分布式终端设备生成的。由于隐私问题，数据可能存储在本地，无法共享，导致现有SSDA研究无效。本文提出了一种新的方法来实现多个分布式和机密数据集上的SSDA，命名为联邦半监督领域自适应（FSSDA）。FSSDA基于策略设计的知识蒸馏技术将SSDA与联邦学习相结合，通过并行执行源和目标训练来提高其效率。此外，FSSDA通过适当地选择关键参数来控制跨领域转移的知识量，即，模仿参数。此外，所提出的FSSDA可以有效地推广到多源领域自适应的情况。大量的实验证明了FSSDA设计的有效性和效率。
2022-07-25 cs.LG
Transfer Learning in Physics-Informed Neural Networks: Full Fine-Tuning, Lightweight Fine-Tuning, and Low-Rank Adaptation
Tsinghua University（清华大学）；Bauhaus-Universität Weimar（魏玛包豪斯大学）；Leibniz University Hannover（汉诺威莱布尼茨大学）；CNPC Engineering Technology RD Company Limited（中国石油集团工程技术研究院有限公司）；Queensland University of Technology（昆士兰科技大学）
本文探索迁移学习在物理信息神经网络（PINNs）强形式和能量形式中的泛化能力，发现全微调与LoRA能显著提升收敛速度并略微提高精度。
2025-02-02 cs.LG
Selection, Ensemble, and Adaptation: Advancing Multi-Source-Free Domain Adaptation via Architecture Zoo
National Institute of Health Data Science, Peking University（国家健康数据科学研究院，北京大学）；School of Artificial Intelligence, Beijing University of Posts and Telecommunications（人工智能学院，北京邮电大学）；Wangxuan Institute of Computer Technology at Peking University（北京大学王轩计算机技术研究所）；School of Data Science, Fudan University（数据科学学院，复旦大学）
本文提出Zoo-MSFDA设置以允许源域提供多架构模型，并通过SUTE可迁移性估计与SEA框架实现模型选择、集成和适应，显著提升域适应性能。
2024-05-23 cs.LG
Bayesian Meta-Learning with Expert Feedback for Task-Shift Adaptation through Causal Embeddings
Department of Computer Science, Aalto University, Espoo, Finland（Aalto大学计算机科学系）；ELLIS Institute Finland, Espoo, Finland（芬兰ELLIS研究所）；Department of Computer Science, University of Manchester, United Kingdom（曼彻斯特大学计算机科学系）
本文提出一种基于因果嵌入的贝叶斯元学习方法，通过专家反馈减少任务转移中的负转移，提升分布外适应性能。
2026-02-23 cs.LG
Graph Harmony: Denoising and Nuclear-Norm Wasserstein Adaptation for Enhanced Domain Transfer in Graph-Structured Data
USC（南加州大学）
针对图结构数据标记稀缺及传统无监督域适配方法存在类别错配、标签质量差的问题，提出融合核范数Wasserstein差异与变分图自编码器去噪的DNAN网络，在图分类基准上性能优于现有最优方法。
2023-12-13 cs.LG
On Supernet Transfer Learning for Effective Task Adaptation
Eindhoven University of Technology（埃因霍温理工大学）
提出超网络迁移学习方法，通过参数化并微调权重和架构先验，解决了传统NAS计算成本高和迁移学习架构受限的问题，显著加速模型发现并提升性能。
2025-07-12 cs.LG
Task Transfer and Domain Adaptation for Zero-Shot Question Answering
New York University（纽约大学）；IBM Research AI（IBM研究院人工智能部门）
预训练的语言模型在自然语言处理的各个领域都取得了成功，包括阅读理解任务。然而，当将机器学习方法应用于新领域时，标记的数据可能并不总是可用的。为了解决这个问题，我们对源域数据进行了有监督的预训练，以降低特定于域的下游任务的样本复杂度。我们通过将任务转移与领域自适应相结合来评估特定领域阅读理解任务的zero-shot性能，以微调预训练模型，而没有来自目标任务的标记数据。我们的方法在4个领域中的3个领域中的下游特定领域阅读理解任务上优于领域自适应预训练。
2022-06-14 cs.CL cs.LG
Multi-source Unsupervised Domain Adaptation on Graphs with Transferability Modeling
The Pennsylvania State University（宾夕法尼亚州立大学）；Florida International University（佛罗里达国际大学）
针对图上多源无监督域适应中分布差异与结构多样导致的适配难题，提出含双层选择器与双层对齐目标的SMAG框架，经元学习训练，在五个图数据集上验证了有效性。
2024-06-22 cs.LG
Rapid Speaker Adaptation in Low Resource Text to Speech Systems using Synthetic Data and Transfer learning
Flipkart（Flipkart公司）
本文提出利用高资源英语数据和合成印地语数据进行双重预训练，并仅微调解码器，在仅3小时目标说话人数据下实现低资源印地语TTS的快速说话人自适应。
2023-12-02 cs.LG
Do We Really Need to Access the Source Data? Source Hypothesis Transfer for Unsupervised Domain Adaptation
National University of Singapore（新加坡国立大学）
无监督领域自适应（UDA）旨在利用从标记源数据集学习的知识来解决新的未标记领域中的类似任务。以前的UDA方法通常需要在学习适应模型时访问源数据，这使得它们对于分散的私有数据来说是有风险和低效的。这项工作解决了一个实际的设置，只有一个训练有素的源模型是可用的，并探讨我们如何可以有效地利用这样一个模型没有源数据来解决UDA问题。我们提出了一个简单而通用的表示学习框架，命名为\emph{Source HypOthesis Transfer}（SHOT）。SHOT冻结源模型的分类器模块（假设），并通过利用信息最大化和自监督伪标记来学习目标特定的特征提取模块，以隐式地将来自目标域的表示与源假设对齐。为了验证它的通用性，我们评估SHOT在各种适应情况下，包括闭集，部分集，和开集领域自适应。实验结果表明，SHOT在多个领域自适应基准测试中获得了最佳的结果。
2021-06-01 cs.CV cs.LG
Unsupervised Domain Adaptation by Optical Flow Augmentation in Semantic Segmentation
Carnegie Mellon University Africa（卡内基梅隆大学非洲分校）
生成真实图像标签的成本很高，并且真实图像和模拟图像之间存在域差距，因此在后者上训练的模型无法适应前者。解决这个问题可以完全消除标记真实数据集的需要。类平衡的自我训练是试图减少域差距的现有技术之一。此外，用流图增强RGB在简单的语义分割中具有改进的性能，并且跨域保留几何形状。因此，通过用密集光流图增强图像，可以改进语义分割中的领域自适应。
2019-11-20 cs.CV cs.LG eess.IV
Semi-supervised Domain Adaptation in Graph Transfer Learning
Jiangmen Laboratory of Carbon Science and Technology（江门碳科学技术实验室）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Guangzhou HKUST Fok Ying Tung Research Institute（广州香港科技大学霍英东研究院）；Computer Network Information Center, Chinese Academy of Sciences（中国科学院计算机网络信息中心）；University of Chinese Academy of Sciences（中国科学院大学）
本文提出半监督图域自适应方法SGDA，通过对抗性偏移参数对齐跨域节点嵌入分布，并利用基于类别质心相对位置的伪标签策略缓解标签稀缺，从而提升图迁移学习中的节点分类性能。
2024-09-28 cs.LG
