Transfer Learning with Sparse Associative Memories
IMT Atlantique（IMT大西洋学院）；Keio University（庆应义塾大学）
在本文中，我们介绍了一种新的层，设计用于在分类的背景下作为预训练神经网络的输出。基于联想记忆，这一层可以帮助设计支持增量学习的深度神经网络，并且可以在嵌入式设备上进行实时的训练。在ImageNet数据集和其他不同领域特定数据集上的实验表明，可以以精度略有下降为代价，设计更灵活、更快的训练神经网络。
2019-09-19 cs.CV cs.LG stat.ML
A Balanced and Uncertainty-aware Approach for Partial Domain Adaptation
National University of Singapore（新加坡国立大学）；Peking University（北京大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
这项工作解决了无监督的领域自适应问题，特别是在目标域中的类标签只是源域中的类标签的子集的情况下。这样的部分转移设置是现实的，但具有挑战性的和现有的方法总是遭受两个关键问题，负转移和不确定性传播。在本文中，我们以领域对抗学习为基础，提出了一种新型的领域自适应方法BA $^3$ US，该方法分别采用两种新技术，即平衡对抗对齐（BAA）和自适应不确定性抑制（AUS）。一方面，负迁移会导致目标样本误分类为源域中的类别。为了解决这个问题，BAA以一种相当简单的方式追求跨域标签分布之间的平衡。具体来说，它随机地利用一些源样本来在域对齐期间增加较小的目标域，以便不同域中的类是对称的。另一方面，如果存在具有相对高的预测得分的不正确的类，则源样本将被表示为不确定的，并且这种不确定性在对齐期间容易传播到其周围的未标记的目标数据，这严重恶化了自适应性能。因此，我们提出了AUS，强调不确定的样本，并利用自适应加权互补熵目标，以鼓励不正确的类有统一的和低的预测分数。多个基准测试的实验结果表明，我们的BA $^3$美国超越了部分领域自适应任务的最先进的。代码可在\url{https://github.com/tim-learn/BA3US}上获得。
2020-07-16 cs.CV cs.LG
Saliency-Guided Hidden Associative Replay for Continual Learning
Emory University（埃默里大学）
针对持续学习中回放方法内存开销大、现有局部数据检索机制不符合人类记忆规律的问题，提出结合联想记忆与回放策略的SHARC框架，通过稀疏编码存储显著片段、基于内容检索实现高效回忆，在多任务上验证了有效性。
2023-10-06 cs.LG
Importance Weighted Adversarial Nets for Partial Domain Adaptation
Advanced Multimedia Research Lab, University of Wollongong, Australia（伍伦贡大学高级多媒体研究实验室，澳大利亚伍伦贡大学高级多媒体研究实验室（注：此处“Advanced Multimedia Research Lab”是实验室，属于University of Wollongong的机构，整体按要求提取到大学级别，即University of Wollongong，澳大利亚伍伦贡大学））
提出了一种基于重要性加权对抗网的无监督领域自适应方法，该方法适用于目标领域类别数少于源领域类别数的部分领域自适应。以往的领域自适应方法一般假设标签空间相同，从而减少分布分歧导致可行的知识转移。然而，这样的假设在更现实的场景中不再有效，该场景需要从更大和更多样化的源域适应到具有更少类别的更小目标域。本文扩展了基于对抗性网络的领域自适应，提出了一种新型的基于对抗性网络的部分领域自适应方法，用于识别可能来自离群类的源样本，同时减少域之间共享类的移动。
2018-03-28 cs.CV
Learning to Discover Knowledge: A Weakly-Supervised Partial Domain Adaptation Approach
Guangdong University of Technology（广东工业大学）；Hangzhou Dianzi University（杭州电子科技大学）
针对弱监督部分域适配中知识发掘与跨域适配的难题，提出基于自步学习的SP-TCL方法，通过审慎损失函数发掘可靠知识并迭代适配，在多基准任务上性能超越现有最优水平。
2024-06-20 cs.CV cs.LG
Partial Adversarial Domain Adaptation
Tsinghua University（清华大学）；National Engineering Laboratory for Big Data Software（大数据系统软件国家工程实验室）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）
领域对抗学习在两个玩家的极大极小游戏中对齐源域和目标域的特征分布。现有的领域对抗网络通常假设不同领域的标签空间相同。在大数据存在的情况下，有强烈的动机将深度模型从现有的大领域转移到未知的小领域。本文引入部分领域自适应作为一种新的领域自适应方案，它将完全共享标签空间的假设放宽为源标签空间包含目标标签空间。以前的方法通常将整个源域与目标域进行匹配，由于标签空间之间存在较大的不匹配，因此很容易出现部分领域自适应问题的负迁移。我们提出了部分对抗领域自适应（PADA），它同时通过降低离群源类的数据权重来训练源分类器和域对手来消除负迁移，并通过匹配共享标签空间中的特征分布来促进正迁移。实验表明，PADA超过了国家的最先进的部分领域自适应任务的结果在几个数据集。
2018-08-10 cs.CV
Co-training partial domain adaptation networks for industrial Fault Diagnosis
针对工业故障诊断中的部分域适应难题，提出交互式残差域适应网络IRDAN，通过域专属模型、残差域适应模块、交互式学习及停止准则提升性能，经实验验证效果优异。
2024-11-04 cs.LG
Tackling Partial Domain Adaptation with Self-Supervision
Politecnico di Torino（都灵理工大学）；Istituto Italiano di Tecnologia（意大利理工学院）；Sapienza Università di Roma（罗马第一大学）
领域自适应方法在减少视觉域之间的边缘分布差异方面显示出有希望的结果。它们允许训练在不同性质的数据集（照片，绘画等）上工作的可靠模型，但当域不共享相同的标签空间时，它们仍然很难。在部分领域自适应设置中，其中目标仅覆盖源类别的子集，在不引起负转移的情况下减小域间隙是具有挑战性的。许多解决方案只是通过增加启发式样本加权策略来保持标准的领域自适应技术。在这项工作中，我们展示了如何从空间协同定位的补丁获得的自我监督信号可以用来定义一个边任务，支持适应，而不管跨域的确切标签共享条件。我们建立在最近的工作，介绍了一个拼图任务领域泛化：我们描述了如何重新制定这种方法的部分领域自适应，我们展示了它如何提高现有的自适应解决方案时，与他们相结合。在三个数据集上的实验结果支持了该方法的有效性。
2019-06-12 cs.CV
Select, Label, and Mix: Learning Discriminative Invariant Feature Representations for Partial Domain Adaptation
MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；Boston University（波士顿大学）；IIT Kharagpur（印度理工学院卡拉格普尔分校）
部分领域自适应是计算机视觉中的一个研究热点，它假设未知的目标标签空间是源标签空间的一个子集。尽管最近的进展，现有的方法往往遭受三个关键问题：负迁移，缺乏可辨别性，域不变性的潜在空间。为了缓解上述问题，我们开发了一种新的“选择，标签，和混合”（SLM）的框架，旨在学习歧视性的不变特征表示部分领域自适应。首先，我们提出了一个有效的“选择”模块，自动过滤出离群源样本，以避免负转移，同时对齐分布在两个域。其次，“标签”模块使用标记的源域数据和针对目标域生成的伪标签来迭代地训练分类器，以增强潜在空间的可辨别性。最后，“混合”模块与其他两个模块一起利用域混合正则化来探索跨域的更多内在结构，从而导致用于部分领域自适应的域不变潜在空间。在部分领域自适应的几个基准数据集上进行的大量实验表明，我们提出的框架优于最先进的方法。
2023-01-03 cs.CV
mDALU: Multi-Source Domain Adaptation and Label Unification with Partial Datasets
ETH Zurich（苏黎世联邦理工学院）；MPI for Informatics（马克斯·普朗克信息学研究所）；UESTC（电子科技大学）；KU Leuven（鲁汶大学）
对象识别的一个挑战是推广到新的领域，更多的类和/或新的模态。这需要组合和重用可能属于不同域、具有部分注释和/或具有不同数据模态的现有数据集的方法。本文将其归结为一个多源领域自适应和标签统一问题，并提出了一种新的方法，该方法包括部分监督自适应和全监督自适应两个阶段。在前者中，部分知识从多个源域转移到目标域并在其中融合。通过三个新的模块：域注意，不确定性最大化和注意力引导的对抗性对齐来减轻不匹配标签空间之间的负转移。在后者中，知识转移后，在统一的标签空间的标签完成过程与伪标签。在三个不同的任务-图像分类，2D语义图像分割，和联合2D-3D语义分割-广泛的实验表明，我们的方法优于所有的竞争方法显着。
2021-09-27 cs.CV
Partial Domain Adaptation Using Graph Convolutional Networks
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
部分领域自适应（PDA）是标准领域自适应的一种通用形式，它假设目标标签空间包含在源标签空间中。由于目标标签空间是未知的，PDA的主要挑战是减少不属于目标标签空间的不相关源样本（称为离群值）的学习影响。现有的部分领域自适应方法虽然有效地降低了离群点的重要性，但它们没有考虑每个领域的数据结构，也没有直接对齐源域和目标域中同一类的特征分布，这可能导致类别级分布的不对齐。为了克服这些问题，我们提出了一个图部分领域自适应（GPDA）网络，它利用图卷积网络共同考虑数据结构和每个类的特征分布。具体来说，我们提出了一个标签关系图对齐的分布相同的类别在两个领域，并引入移动平均质心分离的学习网络从标签关系图。我们证明，考虑数据结构和每个类别的分布是有效的PDA和我们的GPDA网络上的Digit和Office-31数据集达到最先进的性能。
2020-05-16 cs.CV
Adversarial Consistent Learning on Partial Domain Adaptation of PlantCLEF 2020 Challenge
Lehigh University（利哈伊大学）
领域自适应是解决领域迁移问题的关键技术之一。部分领域自适应解决了目标类别仅是源类别的子集的情况。在本文中，为了实现跨域植物图像的有效表示，我们首先从预训练模型中提取深度特征，然后在统一的深度架构中开发对抗一致性学习（$ACL$），用于部分领域自适应。它包括源域分类损失、对抗学习损失和特征一致性损失。对抗性学习损失可以保持源域和目标域之间的域不变特征。此外，特征一致性损失可以保持两个域之间的细粒度特征过渡。通过对源域中不相关的类别进行降权，找到两个域的共享类别。实验结果表明，从NASNetLarge模型与建议的$ACL$架构的训练功能产生有前途的结果PlantCLEF 2020挑战。
2020-09-19 cs.CV
Domain Adversarial Reinforcement Learning for Partial Domain Adaptation
Beijing Institute of Technology（北京理工大学）；University of Electronic Science and Technology（电子科技大学）；Shanghai University of Science and Technology（上海科技大学）
部分领域自适应的目的是将知识从标签丰富的源域转移到标签稀缺的目标域，从而放松了不同域之间完全共享标签空间的假设。在这个更一般和实际的场景中，一个主要的挑战是如何选择跨不同域的共享类中的源实例进行正迁移。为了解决这个问题，我们提出了一个领域对抗强化学习（DARL）框架，自动选择源实例的共享类规避负迁移，以及同时学习域之间的可转移功能，通过减少域转移。具体来说，在这个框架中，我们采用深度Q学习来学习代理的策略，通过近似动作-价值函数来做出选择决策。此外，引入领域对抗学习来学习代理和目标实例所选择的源实例的领域不变特征，并且还基于所选择的源实例与目标领域的相关程度来确定代理的奖励。在几个基准数据集上的实验表明，我们的DARL方法优于现有的部分领域自适应的最新技术水平的性能。
2019-05-10 cs.CV cs.LG stat.ML
Partial Domain Adaptation without Domain Alignment
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）
无监督领域自适应（UDA）的目的是将知识从一个良好标记的源域转移到一个不同但相关的未标记的目标域，具有相同的标签空间。目前，解决UDA的主要工具是域对齐，这已经被证明是成功的。然而，通常很难找到具有相同标签空间的适当源域。更实际的情况是所谓的部分领域自适应（PDA），其中源标签集或空间包含目标标签集或空间。不幸的是，在PDA中，由于源域中不相关类别的存在，很难获得完美的对齐，从而导致模式坍塌和负转移。虽然已经通过降低不相关源类别的权重做出了一些努力，但是所使用的策略往往是繁重和危险的，因为确切地不相关类别是未知的。这些挑战促使我们寻找一种相对简单的替代方案来解决PDA。为了实现这一点，我们首先提供了一个彻底的理论分析，这说明了目标风险是有界的模型平滑度和域间差异。考虑到PDA求解中的完全对齐困难，我们转而关注模型的平滑性，而放弃风险较大的域对齐，以增强模型的适应性。具体来说，我们实例化的模型平滑作为一个相当简单的域内结构保持（IDSP）。据我们所知，这是第一次天真的尝试，以解决PDA没有域对齐。最后，我们在多个基准数据集上的实证结果表明，IDSP不仅在某些基准上明显优于PDA SOTA（例如，Cl->Rw上+10%，Ar->Rw上+8%），而且与标准UDA中的结构域对齐互补
2022-12-12 cs.CV cs.LG
Coupling Adversarial Learning with Selective Voting Strategy for Distribution Alignment in Partial Domain Adaptation
Arizona State University（亚利桑那州立大学）
与标准闭集领域自适应任务相比，部分领域自适应设置通过放松相同标签集假设来迎合现实场景。然而，源标签集包含目标标签集的事实引入了一些额外的障碍，因为对私有源类别样本的训练阻碍了相关的知识转移并误导了分类过程。为了缓解这些问题，我们设计了一种机制，战略选择的高度自信的目标样本的类重要性权重的估计是必不可少的。此外，我们通过将实现紧凑和不同的类分布的过程与对抗目标相结合来捕获类区分和域不变的特征。许多跨域分类任务的实验结果表明，所提出的技术提供优于现有方法和可比的准确性的潜力。
2022-07-17 cs.LG
Discriminative Cross-Domain Feature Learning for Partial Domain Adaptation
Indiana University-Purdue University Indianapolis（印第安纳大学-普渡大学印第安纳波利斯分校）；University of Massachusetts Dartmouth（马萨诸塞大学达特茅斯分校）
部分领域自适应旨在将知识从一个更大、更多样化的源领域适应到一个更小、类数更少的目标领域，引起了人们的广泛关注。最近的实践领域自适应管理提取有效的功能，通过合并的伪标签的目标域，以更好地对抗跨域分布的分歧。但是，必须将目标数据与一小部分源数据对齐。在本文中，我们开发了一种新的判别式跨域特征学习（DCDF）框架，以迭代优化目标标签与跨域图的加权方案。具体地说，提出了一种加权跨域中心损失和加权跨域图传播耦合未标记的目标数据到相关的源样本的歧视性跨域特征学习，其中无关的源中心将被忽略，以减轻边缘和条件的差异同时。通过与现有的部分领域自适应方法进行比较，在几个常用的标准测试集上的实验结果表明了该方法在促进未标记目标域识别方面的有效性.
2020-08-26 cs.CV
Adaptively-Accumulated Knowledge Transfer for Partial Domain Adaptation
Indiana University-Purdue University Indianapolis（印第安纳大学-普渡大学印第安纳波利斯分校）
部分领域自适应（PDA）是一种用源域标签空间代替目标域的具有现实性和挑战性的自适应算法。大多数传统的领域自适应（DA）的努力集中在学习域不变的功能，以减轻跨域的分布差异。然而，这是至关重要的，以减轻所造成的负面影响，不相关的源域类别明确的PDA。在这项工作中，我们提出了一个自适应积累的知识转移框架（A $^2$ KT），以调整两个领域的有效领域自适应的相关类别。具体而言，自适应积累的机制，探索逐步过滤出最有信心的目标样本及其相应的源类别，促进积极的转移与更多的知识在两个领域。此外，一个双不同的分类器架构，包括一个原型分类器和一个多层感知器分类器的构建，以捕捉内在的数据分布知识，跨领域从不同的角度。通过最大化类间中心差异和最小化类内样本紧致度，该模型能够获得更多的共享类别数据的领域不变和特定于任务的区分表示。在多个部分领域自适应基准测试上的综合实验表明，与现有的PDA方法相比，该模型是有效的。
2020-08-27 cs.CV
Learning to Transfer Examples for Partial Domain Adaptation
Tsinghua University（清华大学）；Hong Kong University of Science and Technology（香港科技大学）
领域自适应对于在新的和未知的环境中学习至关重要。通过领域对抗训练，深度网络可以学习解纠缠和可转移的特征，这些特征可以有效地减少数据集在源和目标领域之间的转移，以实现知识转移。在大数据时代，大规模标记数据集的出现激发了部分领域自适应（PDA）的研究兴趣，PDA将识别器从标记的大领域转换到未标记的小领域。它将标准的领域自适应扩展到目标标签仅是源标签的子集的场景。在目标标签未知的情况下，如何迁移共享类中的相关样例以促进正迁移，忽略特定类中的无关样例以减轻负迁移是PDA的关键挑战。在这项工作中，我们提出了一个统一的方法PDA，示例传输网络（ETN），它联合学习跨源和目标域的域不变表示，以及一个渐进的加权方案，量化源示例的可转移性，同时控制它们对目标域中学习任务的重要性。在多个基准数据集上的测试结果表明，该方法在部分领域自适应任务中取得了较好的效果。
2019-04-07 cs.CV
Domain-Invariant Feature Alignment Using Variational Inference For Partial Domain Adaptation
Arizona State University（亚利桑那州立大学）
标准闭集领域自适应方法试图在两个域共享相同标签集的约束下减轻两个域之间的分布差异。然而，在现实的情况下，找到一个最佳的源域具有相同的标签空间是一个具有挑战性的任务。部分领域自适应解决了获取具有相同标签空间假设的标记数据集的问题，并解决了源标签集包含目标标签集的更实际的场景。然而，这在适应过程中造成了一些额外的障碍。带有源域私有类别的样本会阻碍相关知识的传递并降低模型性能。在这项工作中，我们试图通过将变分信息和对抗学习与伪标签技术相结合来解决这些问题，以加强类分布对齐并最大限度地减少源样本中多余信息的传输。在许多跨域分类任务的实验结果表明，所提出的技术提供了优越的和可比的准确性，现有的方法。
2022-12-03 cs.LG
A Reproducible and Realistic Evaluation of Partial Domain Adaptation Methods
Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）；McGill University（麦吉尔大学）；Université de Montréal（蒙特利尔大学）
无监督领域自适应（UDA）的目的是利用源标记图像对未标记的目标图像进行分类。在这项工作中，我们认为部分领域自适应（PDA）的变种，我们有额外的源类不存在于目标域。大多数成功的算法使用依赖于目标标签的模型选择策略，以在训练过程中找到最佳的超参数和/或模型。然而，这些策略违反了PDA中的主要假设：只有未标记的目标域样本可用。此外，在实验设置中也存在不一致性-架构，超参数调整，运行次数-产生不公平的比较。这项工作的主要目标是提供一个现实的评价PDA方法与不同的模型选择策略下一致的评价协议。我们使用7种不同的模型选择策略，在2个不同的真实数据集上评估了7种代表性的PDA算法。我们的两个主要发现是：（i）如果没有用于模型选择的目标标签，方法的准确性降低高达30个百分点;（ii）只有一种方法和模型选择对在两个数据集上都表现良好。实验是用我们开源的PyTorch框架BenchmarkPDA进行的。
2022-10-03 cs.CV cs.LG stat.ML
Partial Video Domain Adaptation with Partial Adversarial Temporal Attentive Network
Nanyang Technological University（南洋理工大学）；Agency for Science, Technology and Research (A*STAR)（新加坡科技研究局（A*STAR））；Institute for Infocomm Research（资讯通信研究院）
部分领域自适应（PDA）是一种实用且通用的领域自适应场景，它放宽了标签空间完全共享的假设，使得源标签空间包含目标标签空间。PDA的主要挑战是由源类引起的负迁移问题。对于视频，这种负迁移可能由空间和时间特征两者触发，这导致更具挑战性的部分视频领域自适应（PVDA）问题。在本文中，我们提出了一种新的部分对抗时间注意网络（PATAN），以解决PVDA问题，利用空间和时间的功能过滤源只类。此外，PATAN通过关注对类别过滤过程贡献更大的局部时间特征来构造有效的整体时间特征。我们进一步引入新的基准，以促进PVDA问题的研究，涵盖了广泛的PVDA方案。实证结果表明，国家的最先进的性能，我们提出的PATAN在多个PVDA基准。
2021-07-11 cs.AI cs.CV
Deep Residual Correction Network for Partial Domain Adaptation
Beijing Institute of Technology（北京理工大学）；Tsinghua University（清华大学）；Indiana University-Purdue University Indianapolis（印第安纳大学-普渡大学印第安纳波利斯分校）
深度领域自适应方法通过学习从良好标记的源域到不同但相关的未标记的目标域的可转移表示来实现吸引人的性能。现有的大多数工作假设源数据和目标数据共享相同的标签空间，这在许多实际应用中往往难以满足。随着大数据的出现，出现了一种更实际的场景，称为部分领域自适应，即我们总是可以访问更大规模的源域，同时处理相对较小规模的目标域。在这种情况下，传统的领域自适应假设应该放松，并且目标标签空间倾向于是源标签空间的子集。直觉上，增强最相关源子类的积极影响，减少不相关源子类的负面影响，对于解决部分领域自适应挑战至关重要。本文提出了一种高效实现的深度残差校正网络（DRCN），通过将一个残差块与特定任务的特征层一起插入源网络，有效地增强了从源到目标的适应性，并显式地削弱了不相关源类的影响。具体地说，由多个全连通层组成的插入残差块可以加深基本网络，相应地提高其特征表示能力。此外，我们设计了一个加权类域对齐损失耦合两个域之间的共享类源和目标的特征分布匹配。在部分、传统和细粒度跨域视觉识别上的综合实验表明，DRCN优于竞争激烈的深领域自适应方法。
2020-04-10 cs.CV
Controlled Generation of Unseen Faults for Partial and Open-Partial Domain Adaptation
ETH Zürich（苏黎世联邦理工学院）；Stadler Service AG（施塔德勒服务公司）；EPFL（洛桑联邦理工学院）
本文提出一种基于Wasserstein GAN的受控故障生成框架，在仅共享健康类别的部分与开放部分领域自适应场景下，利用目标域健康样本和源域故障样本精确生成未见故障类型及严重程度，并在轴承故障诊断实验中取得优于现有方法的结果。
2022-07-22 cs.LG
Class Conditional Alignment for Partial Domain Adaptation
Department of Computer Science and Engineering, University of Texas at Arlington, USA（德克萨斯大学阿灵顿分校计算机科学与工程系）
对抗性适应模型在将知识从标记的源数据集转移到未标记的目标数据集方面取得了重大进展。部分领域自适应（PDA）研究源域较大且多样，目标标签空间是源标签空间子集的情况。PDA的主要目的是识别领域之间的共享类，并促进从这些类中学习可转移的知识。在本文中，我们提出了一个多类对抗的PDA架构。该方法通过最小化一个新的多类对抗损失函数来联合对齐共享标签空间中的边缘和类条件分布。此外，我们将有效的正则化条款，以鼓励选择最相关的子集的源域类。在没有目标标签的情况下，所提出的方法能够有效地学习域不变特征表示，这反过来又可以提高目标域的分类性能。在Office-31、C-Home和Caltech-Office三个基准数据集上的综合实验证实了所提出的方法在解决不同部分迁移学习任务方面的有效性。
2020-03-14 cs.CV
Partial Domain Adaptation Using Selective Representation Learning For Class-Weight Computation
Arizona State University（亚利桑那州立大学）
深度学习模型的泛化能力依赖于丰富的标记数据。这种使用大规模注释信息的监督在大多数真实世界场景中是限制性的，其中数据汇集及其注释涉及巨大的成本。各种领域自适应技术存在于文献中，弥合这种分布差异。然而，这些模型中的大多数要求两个域的标签集是相同的。为了解决一个更实际和具有挑战性的情况下，我们制定的问题陈述部分领域自适应的角度来看，源标签集是一个超集的目标标签集。在这项工作中，我们开发了一种方法，专门从图像内容信息中识别离群类，并训练标签分类器专门从源图像的类内容的动机，图像风格是私人的。此外，通过最大化它们之间的聚类间方差，将软类级权重转换为两个聚类0（离群源类）和1（共享类），来消除样本从私有类到源域的负转移。
2021-01-06 cs.CV
Robust Class-Conditional Distribution Alignment for Partial Domain Adaptation
Arizona State University（亚利桑那州立大学）
针对部分域适应中私有源类别样本导致的负迁移问题，提出通过超越一阶矩推导紧凑类别分布、优化类内类间分布并设计鲁棒伪标签与补熵模块的方法，显著提升了分类性能。
2023-10-19 cs.CV
Learning Target Domain Specific Classifier for Partial Domain Adaptation
Sun Yat-Sen University（中山大学）；Yitu Technology（依图科技）
无监督领域自适应（UDA）的目的是减少知识从有标记的源域向无标记的目标域转移时的分布差异。以前的UDA方法假设源域和目标域共享相同的标签空间，这在实践中是不现实的，因为目标域的标签信息是不可知的。本文重点讨论了一种更现实的UDA场景，即部分领域自适应（PDA），其中目标标签空间被归入源标签空间。在PDA场景中，目标域中不存在的源离群值可能会错误地匹配到目标域（技术上称为负转移），导致UDA方法的性能下降。提出了一种新的基于目标领域特定分类器学习的领域自适应（TSCDA）方法。TSCDA提出了一种软加权最大平均差异准则，以部分对齐特征分布和减轻负迁移。此外，它还使用伪标签和多个辅助分类器为目标域学习目标特定的分类器，以进一步解决分类器移位问题。一个名为Peers Assisted Learning的模块用于最小化多个目标特定分类器之间的预测差异，这使得分类器对目标域更具鉴别力。在三个PDA基准数据集上进行的大量实验表明，TSCDA的性能优于其他最先进的方法，例如，$4\%$和$5.6\%$平均分别在Office-31和家庭办公室。
2020-08-25 cs.CV
UMAD: Universal Model Adaptation under Domain and Category Shift
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；National University of Singapore（新加坡国立大学）；Sea AI Lab（Sea AI实验室）
学习拒绝未知样本（不存在于源类）在目标域中是相当重要的无监督领域自适应（UDA）。存在两种典型的UDA场景，即，open-set和open-partial-set，后者假设并非所有源类都出现在目标域中。然而，大多数现有方法是针对一种UDA场景设计的，并且在另一种UDA场景上总是表现不佳。此外，它们在适配期间还需要标记的源数据，限制了它们在数据隐私敏感应用中的可用性。为了解决这些问题，本文提出了一个通用模型自适应（UMAD）框架，处理UDA的情况下，不访问源数据，也没有先验知识域之间的类别转移。具体来说，我们的目标是使用设计精美的双头分类器学习源模型，并将其提供给目标域。在适应过程中，我们开发了一个信息一致性评分，以帮助区分未知样本和已知样本。为了实现双边适应在目标域中，我们进一步最大化本地互信息，以对齐已知的样本与源分类器和采用熵损失推未知的样本远离源分类边界，分别。在开集和开部分集UDA场景上的实验表明，UMAD作为一种不访问源数据的统一方法，表现出与最先进的数据依赖方法相当的性能。
2021-12-16 cs.CV cs.LG
Selective Transfer with Reinforced Transfer Network for Partial Domain Adaptation
Zhejiang University（浙江大学）
部分领域自适应（PDA）的一个关键问题是如何在共享类中选择相关的源样本进行知识转移。以前的PDA方法通过基于源样本的高级信息（深度特征）重新加权源样本来解决这个问题。然而，由于源域和目标域之间的域移位，仅使用深度特征进行样本选择是有缺陷的。我们认为，这是更合理的额外利用PDA问题的像素级信息，异常源类和目标类之间的外观差异是显着的大。在本文中，我们提出了一个增强的传输网络（RTNet），它利用高层和像素级信息的PDA问题。我们的RTNet由一个基于强化学习（RL）的强化数据选择器（RDS）和一个领域自适应模型组成，前者过滤掉离群源样本，后者最小化共享标签空间中的领域差异。具体来说，在RDS中，我们设计了一种新的奖励的基础上重建错误的目标生成器上的选定的源样本，它引入像素级的信息来指导RDS的学习。此外，我们开发了一个包含高级信息的状态，用于RDS的样本选择。建议的RDS是一个通用的模块，它可以很容易地集成到现有的DA模型，使他们适合PDA的情况。大量的实验表明，RTNet可以实现国家的最先进的性能PDA任务在几个基准数据集。
2020-02-28 cs.CV cs.LG stat.ML
Self-Adaptive Partial Domain Adaptation
Shanghai Jiao Tong University（上海交通大学）；Pingduoduo Group（拼多多集团）；Zhejiang Lab（之江实验室）；University of Calgary（卡尔加里大学）；Third Academy of China Ordinance（中国兵器工业集团第三研究院）
部分领域自适应（PDA）旨在解决一个更实际的跨域学习问题，假设目标标签空间是源标签空间的子集。然而，不匹配的标签空间导致显著的负迁移。传统的解决方法是使用软权重来增加源共享域的权重，降低源离群域的权重。但它仍然学习离群值的特征，并导致负移民。另一种主流思想是通过硬二进制权重将源域区分为共享类和离群类，但无法纠正纠缠在一起的共享类和离群类。在本文中，我们提出了一个端到端的自适应部分领域自适应（SAPDA）网络。引入类权值评估机制，对共享类、离群类和混淆类的权值进行动态自校正，使置信度越高的样本具有越充分的权值。同时，它可以大大消除由于标签空间不匹配而引起的负迁移。此外，我们的策略可以有效地衡量在更广泛的意义上的样本的可转移性，使我们的方法可以实现无监督DA任务同样有竞争力的结果。在多个基准上的大量实验证明了我们的SAPDA的有效性。
2021-09-18 cs.CV
LoRA-SP: Streamlined Partial Parameter Adaptation for Resource-Efficient Fine-Tuning of Large Language Models
Northeastern University（东北大学）；Virginia Tech（弗吉尼亚理工大学）；Northern Arizona University（北亚利桑那大学）
LoRA-SP通过随机半选择性参数冻结，在LoRA框架内实现资源高效微调，平衡知识保留与适应性，以低资源消耗达到竞争性能。
2024-02-28 cs.CL cs.LG
Prototypical Partial Optimal Transport for Universal Domain Adaptation
本文提出小批量原型部分最优传输方法，通过部分分布对齐和基于传输计划的重新加权损失区分已知与未知样本，在四个基准上超越现有通用领域自适应方法。
2024-08-02 cs.CV
Bi-level Unbalanced Optimal Transport for Partial Domain Adaptation
School of Mathematics, Sun Yat-Sen University（中山大学数学学院）；Department of Electrical and Engineering, City University of Hong Kong（香港城市大学电子工程系）
针对部分域适应中离群类识别和簇结构利用不足的问题，提出双层不平衡最优传输BUOT，通过样本级与类级传输协作实现跨域对齐和离群判别。
2025-05-19 cs.AI cs.CV cs.LG
Universal Domain Adaptation through Self Supervision
Boston University（波士顿大学）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
无监督领域自适应方法传统上假设所有源类别都存在于目标域中。在实践中，很少有人知道这两个领域之间的类别重叠。虽然一些方法使用部分或开放集合类别来解决目标设置，但它们假设特定设置是先验已知的。我们提出了一个更普遍适用的领域自适应框架，可以处理任意的类别转移，称为域自适应邻域聚类通过熵优化（DANCE）。DANCE结合了两个新颖的想法：首先，由于我们不能完全依赖于源类别来学习目标的区别特征，我们提出了一种新的邻域聚类技术，以自监督的方式学习目标域的结构。其次，我们使用基于熵的特征对齐和拒绝来将目标特征与源特征对齐，或者基于它们的熵将它们拒绝为未知类别。我们通过大量的实验表明，DANCE在开集，开部分和部分领域自适应设置上优于基线。可在https://github.com/VisionLearningGroup/DANCE上获得实现。
2020-10-06 cs.CV
Cross Domain Adaptation by Learning Partially Shared Classifiers and Weighting Source Data Points in the Shared Subspaces
Punjab University College of Information Technology (PUCIT), University of the Punjab（旁遮普大学旁遮普信息技术学院（PUCIT））
迁移学习是一个定义在两个领域的问题。这两个域共享相同的特征空间和类标签空间，但具有显著不同的分布。一个域有足够的标签，命名为源域，另一个域有很少的标签，命名为目标域。问题是学习一个有效的分类器的目标域。在本文中，我们提出了一种新的迁移学习方法，通过学习目标域的部分共享分类器，并加权源域数据点。我们为两个域的数据点学习一些共享子空间，并在共享子空间中学习一个共享分类器。我们希望在共享子空间中，两个域的分布能够很好地匹配，为了匹配分布，我们用不同的权重因子对源域数据点进行加权。此外，我们通过学习不同的自适应函数来适应每个域的共享分类器。为了学习子空间变换矩阵、分类器参数和自适应参数，我们构建了一个具有加权分类误差、参数正则化、局部重建正则化和分布匹配的目标函数。这个目标函数是最小化的迭代算法。实验结果表明，该方法在旅游目的地评论数据集、人脸表情数据集、垃圾邮件数据集等基准数据集上的有效性。
2016-05-21 cs.LG
Minimum Class Confusion for Versatile Domain Adaptation
Tsinghua University（清华大学）
存在各种受标签集和域配置影响的领域自适应（DA）场景，包括闭集和部分集DA，以及多源和多目标DA。值得注意的是，现有DA方法通常仅针对特定场景设计，并且对于它们不适合的场景可能表现不佳。为此，本文研究了通用领域自适应（VDA），其中一种方法可以处理几个不同的DA场景，而无需任何修改。为了实现这一目标，一个更普遍的归纳偏见以外的领域对齐应探讨。我们深入研究了现有方法中缺失的一部分：类混淆，即分类器混淆目标示例的正确类和模糊类之间的预测的倾向，这在不同的DA场景中很常见。我们发现，减少这种成对的类混淆导致显着的传输增益。基于这种认识，我们提出了一个通用的损失函数：最小类混淆（MCC）。它可以被描述为（1）一种非对抗性DA方法，无需显式部署域对齐，具有更快的收敛速度;（2）一种通用方法，可以处理四种现有场景：闭集，部分集，多源和多目标DA，在这些场景中表现优于最先进的方法，特别是在迄今为止最大和最困难的数据集之一（DomainNet上为7.3%）。它的多功能性进一步证明了本文提出的两种情况：多源部分DA和多目标部分DA。此外，它也可以用作一个通用的正则化，是正交的和互补的各种现有的DA方法，加速收敛，并推动这些容易竞争的方法，以更强的。代码可在https://github.com/thuml/Versatile-Domain-Adaptation上获得。
2020-08-10 cs.CV cs.LG stat.ML
CoLoRA: Continuous low-rank adaptation for reduced implicit neural modeling of parameterized partial differential equations
Courant Institute of Mathematical Sciences, New York University（纽约大学柯朗数学科学研究所）
本文提出CoLoRA方法，通过预训练神经网络并连续调整低秩权重，快速预测参数化偏微分方程的解场，支持数据驱动和变分驱动，速度快且适用于数据稀缺场景。
2024-07-21 cs.LG cs.NA math.NA
TWINs: Two Weighted Inconsistency-reduced Networks for Partial Domain Adaptation
The University of Tokyo（东京大学）；Boston University（波士顿大学）；RIKEN（理化学研究所）
提出无监督的领域自适应任务，将标签丰富领域（源领域）的知识转移到标签稀缺领域（目标领域）。在不同领域之间匹配特征分布是用于上述任务的广泛应用的方法。但是，当两个域中的类不相同时，该方法的性能不佳。具体地，当目标的类对应于源的类的子集时，目标样本可能与仅存在于源中的类不正确地对齐。这种问题设置被称为部分领域自适应（PDA）。在这项研究中，我们提出了一种新的方法，称为双加权不一致性减少网络（TWINs）的PDA。我们利用两个分类网络来估计每个类别中的目标样本的比率，其中分类损失被加权以适应目标域中存在的类别。此外，为了提取目标的鉴别特征，我们提出了最小化由分类器对目标样本的不一致性测量的域之间的分歧。我们的经验表明，减少两个网络之间的不一致性是有效的PDA，我们的方法优于其他现有的方法，在几个数据集有很大的利润。
2018-12-18 cs.LG stat.ML
Calibrating Class Weights with Multi-Modal Information for Partial Video Domain Adaptation
Nanyang Technological University（南洋理工大学）；Institute for Infocomm Research, A*STAR（新加坡科技研究局资讯通信研究院）
假设源标签空间包含目标标签空间，部分视频领域自适应（PVDA）是用于跨域视频分类问题的更一般和实用的场景。PVDA的关键挑战是减轻由仅源离群值类引起的负迁移。为了应对这一挑战，关键的一步是聚合目标预测，通过增加目标类的权重和减少离群类的权重来分配类权重。然而，类权重的错误预测会误导网络，导致负迁移。以前的工作提高了类权重的准确性，利用时间特征和注意力机制，但这些方法可能会失败时，试图生成准确的类权重时，域转移是显着的，在大多数现实世界的情况下。为了应对这些挑战，我们提出了多模态神经网络校准的部分对抗网络（MCAN）。MCAN增强了视频特征提取与多个时间尺度的多模态特征，以形成更强大的整体功能。它采用了一种新的类权重校准方法，以减轻不正确的类权重所造成的负迁移。校准方法尝试使用由无监督聚类隐含的分布信息来识别和权衡正确和不正确的预测。广泛的实验进行了流行的PVDA基准，和建议的MCAN相比，国家的最先进的PVDA方法实现了显着的改善。
2022-07-11 cs.CV
Partial Identifiability for Domain Adaptation
Carnegie Mellon University（卡内基梅隆大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Broad Institute of MIT and Harvard（麻省理工学院与哈佛大学博德研究所）
本文利用因果机制最小变化性质建立潜变量部分可辨识性理论，并提出 iMSDA 框架，在无监督领域自适应基准上取得优于现有方法的效果。
2025-01-05 cs.LG stat.ML
Low-Cost On-device Partial Domain Adaptation (LoCO-PDA): Enabling efficient CNN retraining on edge devices
Imperial College London（伦敦帝国理工学院）
随着卷积神经网络（CNN）在边缘设备上的部署越来越多，部署时观察到的数据分布的不确定性导致研究人员利用大型和广泛的数据集（如ILSVRC'12）来训练CNN。因此，部署时观察到的数据分布可能是训练数据分布的子集。在这种情况下，不使网络适应所观察到的数据分布可能会由于负传输而导致性能下降，并且缓解这一点是部分领域自适应（PDA）的焦点。当前针对PDA的工作并不关注在边缘设备上执行领域自适应，以适应变化的目标分布或降低部署自适应网络的成本。这项工作提出了一种新的PDA的方法，针对所有这些方向，并开辟了途径，设备上的PDA。LoCO-PDA通过使其能够在边缘设备上重新训练，使部署的网络适应观察到的数据分布。在ILSVRC 12数据集的各个子集中，LoCO-PDA平均将分类精度提高了3.04pp，同时在NVIDIA Jetson TX 2上实现了高达15.1倍的再训练内存消耗减少和2.07倍的推理延迟改善。这项工作是在\emph{link removed for anonymity}开源的。
2022-03-01 cs.AI cs.CV
Discriminative Clustering for Robust Unsupervised Domain Adaptation
Duke University（杜克大学）
无监督的领域自适应试图通过利用标记源数据集的信息来学习未标记目标域的不变和判别表示。我们建议通过同时学习紧密聚类的目标表示来提高目标域表示的区分能力，同时鼓励每个聚类被分配到一个独特的和不同的类。这种策略将负迁移的影响与源和目标表征之间的对抗性域匹配相结合。我们的方法是强大的源和目标标签分布的差异，因此适用于平衡和不平衡的领域自适应任务，并与一个简单的扩展，它也可以用于部分领域自适应。在多个领域自适应基准数据集上的实验表明，该方法在平衡、不平衡和部分领域自适应三种情况下均能获得最佳性能.
2019-05-30 cs.LG stat.ML
Domain Adaptation and Image Classification via Deep Conditional Adaptation Network
Guangdong Polytechnic Normal University（广东技术师范大学）；Sun Yat-Sen University（中山大学）；City University of Hong Kong（香港城市大学）
无监督领域自适应的目的是将在源域上训练的有监督模型推广到未标记的目标域。特征空间的边缘分布对齐被广泛用于减少源域和目标域之间的域差异。但是，它假设源域和目标域共享相同的标签分布，这限制了它们的应用范围。在本文中，我们考虑了一个更一般的应用场景，源和目标域的标签分布是不一样的。在这种情况下，基于边际分配的方法将容易受到负迁移的影响。为了解决这个问题，我们提出了一种新的无监督领域自适应方法，深度条件自适应网络（DCAN），基于特征空间的条件分布对齐。具体而言，通过最小化源域和目标域深度特征条件分布之间的条件最大均值离散度来减小域差异，通过最大化样本与预测标签之间的互信息来提取目标域的判别信息。此外，DCAN可用于解决一种特殊的场景，即部分无监督领域自适应，其中目标领域类别是源领域类别的子集。无监督领域自适应和部分无监督领域自适应的实验表明，DCAN取得了优于国家的最先进的方法的分类性能。
2022-05-03 cs.CV
Partially-Shared Variational Auto-encoders for Unsupervised Domain Adaptation with Target Shift
Kyoto University（京都大学）；OMRON SINIC X Corp.（欧姆龙 SINIC X 公司）
提出了一种新的基于目标移动的无监督领域自适应方法。目标移位是源域和目标域之间标签分布不匹配的问题。它通常表现为目标域中的类不平衡。在实践中，这是UDA中的一个重要问题;因为我们不知道目标域数据集中的标签，所以我们不知道它的分布是否与源域数据集中的分布相同。许多传统的方法通过最小化平均最大差异或对抗训练来实现分布匹配的UDA;然而，这些方法隐含地假设分布中的重合，并且在目标移动的情况下不起作用。最近的一些UDA方法关注类边界，其中一些对目标移动具有鲁棒性，但它们仅适用于分类而不适用于回归。为了克服UDA中的目标偏移问题，所提出的方法，部分共享变分自编码器（PS-VAE），使用成对的特征对齐，而不是特征分布匹配。PS-VAE通过基于CycleGAN的架构相互转换每个样本的域，同时保留其标签相关内容。为了评估PS-VAE的性能，我们进行了两个实验：类不平衡数字数据集的UDA（分类），以及从合成数据到真实观察的人体姿势估计（回归）的UDA。该方法在分类任务中表现出对类不平衡的鲁棒性，在回归任务中表现出较大的优势。
2020-01-25 cs.CV
Towards Self-similarity Consistency and Feature Discrimination for Unsupervised Domain Adaptation
Zhejiang University（浙江大学）；Alibaba Group（阿里巴巴集团）
无监督领域自适应的最新进展主要集中在通过全局分布对齐来学习共享表示，而没有考虑跨领域的类别信息。然而，类信息的忽略可能导致部分对齐（甚至不对齐）和较差的泛化性能。对于全面的对齐，我们认为，在源域中的不同功能之间的相似性应该是一致的，在目标域。基于这一假设，我们提出了一个新的域差异度量，即，自相似性一致性（SSC），强制特征结构在域之间保持一致。著名的相关对齐（CORAL）被证明是一个特殊的情况下，和次优措施，我们提出的SSC。此外，我们还建议通过结合深度表示的判别信息来减轻部分对齐和未对齐的副作用。具体而言，一个非常简单和有效的特征范数约束被用来扩大类间样本的差异。它减轻了执行自适应时严格对齐的要求，因此显著提高了自适应性能。在视觉领域自适应任务上的大量实验证明了我们提出的SSC度量和特征判别方法的有效性。
2019-04-13 cs.CV
Domain Adaptation of Drag Reduction Policy to Partial Measurements
Imperial College London（帝国理工学院伦敦分校）
本文提出领域特定特征迁移方法，从部分测量历史重建完整测量，使强化学习减阻策略适应传感器受限的现实环境，并确定最优历史长度。
2025-07-06 cs.LG cs.SY eess.SY
Mixture of Low Rank Adaptation with Partial Parameter Sharing for Time Series Forecasting
Zhejiang University（浙江大学）；Peking University（北京大学）；The Chinese University of Hong Kong（香港中文大学）
针对多任务时间序列预测的表达能力瓶颈，提出两阶段框架（预训练+步特定LoRA适配）及MoLA模型，通过自适应加权LoRA专家实现部分参数共享，提升效率与预测性能，优于现有方法。
2025-05-27 cs.AI cs.LG
Weakly Supervised Open-set Domain Adaptation by Dual-domain Collaboration
Sun Yat-sen University（中山大学）；Accuvision Technology Co. Ltd.（Accuvision科技有限公司）
在传统的领域自适应中，一个关键的假设是存在一个完全标记的域（源），它包含与另一个未标记或几乎没有标记的域（目标）相同的标记空间。然而，在现实世界中，经常存在这样的应用场景，其中两个域都被部分标记，并且不是所有的类都在这两个域之间共享。因此，这是有意义的，让部分标记的领域相互学习，以分类所有未标记的样本在每个域下的开集设置。我们认为这个问题是弱监督开集领域自适应。为了解决这一实际问题，我们提出了协作分布对齐（CDA）方法，该方法进行双边知识转移，并协同工作，对未标记的数据进行分类，并识别离群样本。在Office基准测试和人员重新识别应用程序上的大量实验表明，我们的方法达到了最先进的性能。
2019-04-30 cs.LG stat.ML
Multi-output Classification for Compound Fault Diagnosis in Motor under Partially Labeled Target Domain
KAIST（韩国科学技术院）
针对电机复合故障诊断中部分标记目标域和共存故障的挑战，提出集成MKMMD、EM损失与FLN的多输出分类框架，提升特征迁移性与诊断精度，在6个域适应案例中宏F1分数优于基线方法。
2025-03-15 cs.LG
Soft-Masked Semi-Dual Optimal Transport for Partial Domain Adaptation
School of Mathematics, Sun Yat-Sen University（中山大学数学学院）；Department of Electrical Engineering, City University of Hong Kong（香港城市大学电子工程系）
本文提出软掩码半对偶最优传输方法，通过类别权重重加权源域、软掩码距离矩阵和神经网络近似 Kantorovich 势，解决部分域自适应中标签空间不一致与域偏移问题。
2025-05-03 cs.AI cs.CV
Domain Adaptation with Incomplete Target Domains
DiDiChuXing（滴滴出行）；Carleton University（卡尔顿大学）；University of Michigan（密歇根大学）
针对目标域数据存在缺失的域适应难题，提出基于不完整数据插补的对抗网络IDIAN，通过插补模块补全缺失特征并结合深度对抗适应实现域对齐，在基准与实际任务中验证了方法有效性。
2023-06-13 cs.AI cs.LG
Routing without Forgetting
无遗忘的路由通过在transformer中引入基于能量的关联检索层，实现了在在线持续学习中动态选择表示子空间，从而在多个基准测试中超越了现有基于提示的方法。
2026-03-10 cs.AI cs.LG
Convergence of Meta-Learning with Task-Specific Adaptation over Partial Parameters
The Ohio State University（俄亥俄州立大学）；Princeton University（普林斯顿大学）
虽然模型无关元学习（MAML）是元学习实践中非常成功的算法，但由于它在特定任务自适应的内环和Meta初始化训练的外环上更新所有模型参数，因此具有很高的计算成本。Raghu et al. 2019最近提出了一种更有效的算法ANIL（几乎没有内部循环），它只适应内部循环中的一小部分参数，因此计算成本比MAML低得多。然而，ANIL的理论收敛性尚未得到研究。在本文中，我们描述了收敛速度和计算复杂性的ANIL下的两个代表性的内环损失的几何形状，即，强凸性和非凸性我们的研究结果表明，这样的几何属性可以显着影响ANIL的整体收敛性能。例如，随着内环梯度下降步骤的数量$N$的增加，ANIL实现了对于强凸内环损失的更快的收敛速率，但是随着$N$的增加，对于非凸内环损失的收敛速率较慢。此外，我们的复杂性分析提供了一个理论量化的ANIL的效率提高MAML。在标准Few-Shot元学习基准上的实验验证了我们的理论发现。
2020-10-22 cs.LG math.OC stat.ML
PaCA: Partial Connection Adaptation for Efficient Fine-Tuning
Seoul National University（首尔大学）
PaCA 通过微调预训练权重内随机选择的部分连接替代适配器层，在保持精度的同时减少 22% 训练时间和 16% 内存使用，并支持更长序列和更高吞吐量。
2025-03-11 cs.AI cs.LG
