Domain-Augmented Domain Adaptation
Western University(韦仕敦大学);Nanyang Technological University(南洋理工大学)
无监督领域自适应(UDA)通过减少跨领域差异,实现了从标记源领域到未标记目标领域的知识转移。然而,大多数的研究是基于从源域到目标域的直接适应,并遭受了大的域差异。为了克服这一挑战,在本文中,我们提出了领域增强的领域自适应(DADA),以产生伪域,具有较小的差异与目标领域,以提高知识转移过程中,通过最大限度地减少目标领域和伪域之间的差异。此外,我们设计了一个伪标记方法DADA从目标域的表示投影到多个伪域,并采取平均预测的分类从伪域作为伪标签。我们使用最先进的领域自适应方法在四个基准数据集上进行了广泛的实验:Office Home,Office-31,VisDA 2017和Digital数据集。结果证明了该模型的优越性。
2022-02-21 cs.AI cs.CV
Universal Multi-Source Domain Adaptation
Nanjing University of Posts and Telecommunications(南京邮电大学)
无监督领域自适应使智能模型能够将知识从标记的源域转移到类似但未标记的目标域。近年来的研究表明,知识可以从一个源领域转移到另一个未知的目标领域,这就是通用领域自适应(UDA)。然而,在现实世界的应用中,经常有一个以上的源域被用于领域自适应。在本文中,我们正式提出了一个更一般的领域自适应设置,通用多源领域自适应(UMDA),其中多个源域的标签集可以是不同的,目标域的标签集是完全未知的。UMDA中的主要挑战是识别每个源域和目标域之间的公共标签集,以及随着源域数量的增加保持模型的可扩展性。为了解决这些挑战,我们提出了一个通用的多源自适应网络(UMAN)来解决领域自适应问题,而不会增加模型的复杂性,在各种UMDA设置。在UMAN中,我们通过预测裕度来估计公共标签集中每个已知类的可靠性,这有助于对抗训练更好地对齐公共标签集中多个源域和目标域的分布。同时也为UMAN的实现提供了理论保证。大量的实验结果表明,现有的UDA和多源DA(MDA)的方法不能直接应用于UMDA和建议的UMAN实现了国家的最先进的性能在各种UMDA设置。
2020-11-05 cs.AI cs.CV
Domain Adaptation with Incomplete Target Domains
DiDiChuXing(滴滴出行);Carleton University(卡尔顿大学);University of Michigan(密歇根大学)
针对目标域数据存在缺失的域适应难题,提出基于不完整数据插补的对抗网络IDIAN,通过插补模块补全缺失特征并结合深度对抗适应实现域对齐,在基准与实际任务中验证了方法有效性。
2023-06-13 cs.AI cs.LG
Union-set Multi-source Model Adaptation for Semantic Segmentation
Hokkaido University(北海道大学)
本文解决了语义分割的多源模型自适应问题的广义版本。模型自适应是一种新的领域自适应问题,它需要访问预先训练好的模型而不是源域的数据。模型自适应的一般多源设置严格假设每个源域与目标域共享公共标签空间。作为一种放松,我们允许每个源域的标签空间是目标域的标签空间的子集,并要求源域标签空间的并集等于目标域标签空间。针对联合集多源模型自适应,提出了一种新的学习策略模型不变特征学习,充分利用了源领域模型的多样性,提高了目标领域模型的泛化能力.我们进行了广泛的实验,在各种适应设置,以显示我们的方法的优越性。该代码可在https://github.com/lzy7976/union-set-model-adaptation上获得。
2022-12-06 cs.AI cs.CV
Enabling Heterogeneous Domain Adaptation in Multi-inhabitants Smart Home Activity Learning
University of Massachusetts Lowell(马萨诸塞大学洛厄尔分校);University of California, San Diego(加利福尼亚大学圣迭戈分校);IBM’s Thomas J. Watson Research Center(IBM托马斯·J·沃森研究中心);University of Massachusetts Chan Medical School(马萨诸塞大学陈医学院)
基于传感器的活动学习的领域自适应在远程健康监测研究中具有重要意义。然而,许多领域自适应算法在目标领域异质性(其总是存在于现实中)的存在下无法操作自适应,并且多个居民的存在极大地阻碍了它们的泛化能力,从而对于半监督和看不见的活动学习任务产生不令人满意的结果。我们提出了\emph{AEDA},一种新的基于深度自动编码器的模型,用于在目标域异构性存在的情况下实现半监督领域自适应,以及如何将其整合到任何同质的深度领域自适应架构中,以实现跨域活动学习。对从2个公开的人类活动数据集(可穿戴和环境灵巧家庭)创建的8个不同领域的18个不同的异构和多居民用例的实验评估表明,\emph{AEDA}优于(最大)。12.8\%和8.9\%的改善周围的灵巧家庭和可穿戴设备)超过现有的领域自适应技术,在异构环境中的可见和不可见的活动学习。
2022-10-18 cs.AI cs.LG
Predicting the Success of Domain Adaptation in Text Similarity
Thomson Reuters Labs(汤森路透实验室);Copenhagen Business School(哥本哈根商学院)
迁移学习方法,特别是领域自适应,有助于利用一个领域中的标记数据来提高另一个领域中的特定任务的性能。但是,目前还不清楚是什么因素影响了领域自适应的成功。本文模型的适应成功和选择最合适的源域中的几个候选文本相似度。我们使用描述性域信息和跨域相似性度量作为预测特征。虽然大多数结果是积极的,但也指出了一些难以预测适应成功的领域。
2021-06-23 cs.AI cs.CL cs.LG
An Example for Domain Adaptation Using CycleGAN
Yanhua Zhao
本文展示了一个使用CycleGAN进行医学领域适应的示例,通过无配对图像转换实现显微镜图像到伪H&E染色组织病理学图像的转换。
2026-02-06 cs.AI cs.CV
Domain-Indexing Variational Bayes: Interpretable Domain Index for Domain Adaptation
Massachusetts Institute of Technology(麻省理工学院);Rutgers University(罗格斯大学);Hong Kong University of Science and Technology(香港科技大学)
针对域适应中域索引难以获取的问题,提出从概率视角定义域索引的对抗变分贝叶斯框架,可推断可解释最优域索引,在合成与真实数据上性能优于现有域适应方法。
2023-06-10 cs.AI cs.LG
DOME: Learning Transferable Domain Variables from Sparse Supervision for Test-Time Adaptation
MAIS, IACAS(中国科学院自动化研究所多模态人工智能系统实验室)
提出DOME域编码器,通过视觉-语言预训练提取密集连续表示,参数化域为分布变量并引入动量更新的稀疏域库,实现零样本显式域建模,在多个基准上超越复杂TTA方法。
2026-06-02 cs.AI cs.CV
Bridging Contrastive Learning and Domain Adaptation: Theoretical Perspective and Practical Application
Centre Borelli(博雷利中心);CNRS(法国国家科学研究中心);ENS Paris-Saclay(巴黎萨克雷高等师范学校)
本研究从理论视角揭示了对比学习与领域自适应的联系,证明最小化对比损失能降低CMMD并提升类别可分性,并在乳腺X光数据集上验证了其改善领域自适应和分类性能的有效性。
2025-01-28 cs.AI cs.LG
Continual Domain Adversarial Adaptation via Double-Head Discriminators
University at Buffalo(布法罗大学)
针对持续域对抗适应中源域数据受限导致$\gH$-散度估计误差的问题,提出双头判别器算法,引入源专用判别器降低估计误差,在基准上提升超2%并缓解遗忘。
2024-02-05 cs.AI cs.LG
MOSAIC: Masked Objective with Selective Adaptation for In-domain Contrastive Learning
MOSAIC通过联合优化掩码语言建模和对比目标,提升领域适应文本嵌入模型的性能,实现NDCG@10的显著提升。
2026-01-29 cs.AI cs.CL
Domain Adaptation for Neural Networks by Parameter Augmentation
SONY(索尼公司);University of Tokyo(东京大学)
我们提出了一个简单的领域自适应方法的神经网络在监督设置。有监督领域自适应是一种利用源领域数据集提高目标领域泛化性能的方法,假设两个数据集都被标记。最近,递归神经网络已被证明是成功的各种NLP任务,如字幕生成;然而,现有的领域自适应技术是有限的(1)调整模型参数的目标数据集训练后,由源数据集,或(2)设计的网络具有双重输出,一个用于源域和目标域的另一个。本文对Daume(2007)提出的领域自适应方法进行了改进,提出了一种简单的领域自适应方法,该方法可应用于交叉熵损失下训练的神经网络。在字幕数据集上,我们显示了比其他领域自适应方法性能的提高。
2016-07-01 cs.AI cs.CL cs.LG
Preserving Semantic Consistency in Unsupervised Domain Adaptation Using Generative Adversarial Networks
Queensland University of Technology(昆士兰科技大学)
无监督领域自适应是在给定源域的标记样本和目标域的未标记样本的情况下,寻求缓解源域和目标域之间的分布差异。生成对抗网络(GANs)通过生成特定于训练领域的图像,在领域自适应方面表现出了显着的改进。然而,大多数现有的基于GAN的无监督领域自适应技术在领域匹配过程中不考虑语义信息,因此当源和目标领域数据在语义上不同时,这些方法降低了性能。在本文中,我们提出了一个端到端的新的语义一致的生成对抗网络(SCGAN)。该网络可以通过在特征级捕获语义信息并从源域和目标域生成用于无监督领域自适应的图像来实现源域到目标域的匹配。我们证明了我们提出的方法的鲁棒性,它超过了国家的最先进的性能,在无监督的领域自适应设置进行数字和对象分类任务的实验。
2021-04-28 cs.AI cs.CV cs.LG
Device Invariance using Domain Adaptation on Acoustic Scene Classification
School of Computing and Electrical Engineering(计算与电气工程学院);Indian Institute of Technology Mandi(曼迪印度理工学院)
研究在声学场景分类中基于CNN和Transformer特征表示时域适应技术的有效性,评估DANN和CDAN两种技术,发现DANN对两种特征提取器有效,CDAN仅对基于CNN的有效,为定制域适应方法提供见解,实验评估支持该结论。
2026-07-29 cs.AI cs.SD eess.AS
Open Set Domain Adaptation by Extreme Value Theory
Northwestern University(西北大学)
常见的域自适应技术假设源域和目标域共享相同的标签空间,这是有问题的,因为当目标样本未被标记时,我们不知道这两个域是否共享相同的标签空间。当不是这种情况下,现有的方法不能很好地执行,因为额外的未知类也匹配的源域在适应。在本文中,我们解决了开集域自适应问题的假设下,源和目标标签空间只有部分重叠,任务变成当未知类存在时,如何检测目标未知类,并避免对齐它们与源域。我们建议利用一个实例级的权重调整策略域适应的权重表示属于已知类的样本的可能性和模型的熵分布与极值理论的未知类检测的尾部。在传统领域自适应数据集上的实验表明,该方法的性能优于现有的模型。
2020-12-22 cs.AI cs.LG stat.ML
A Survey of Domain Adaptation for Neural Machine Translation
Institute for Datability Science(数据智能科学研究所);Osaka University(大阪大学)
神经机器翻译(NMT)是一种基于深度学习的机器翻译方法,在大规模并行语料库可用的情况下,其产生最先进的翻译性能。虽然高质量和特定领域的翻译在现实世界中是至关重要的,特定领域的语料库通常是稀缺的或根本不存在,因此香草NMT在这种情况下表现不佳。领域自适应是一种利用领域外平行语料库和单语语料库进行领域内翻译的方法,对于特定领域的翻译非常重要。在本文中,我们给出了一个全面的调查,最先进的领域自适应技术的NMT。
2018-06-01 cs.AI cs.CL cs.LG
Transferrable Contrastive Learning for Visual Domain Adaptation
University of Science and Technology of China(中国科学技术大学);JD AI Research(京东人工智能研究院)
自监督学习(Self-supervised learning,SSL)是近年来特征学习方法中最受欢迎的一种。因此,它是呼吁领域自适应的方法,考虑纳入SSL。直觉是强制执行实例级特征一致性,使得预测器在域之间变得不变性。然而,大多数现有的SSL方法在领域自适应的制度通常被视为独立的辅助组件,留下的领域自适应的签名无人看管。实际上,域间隙消失的最佳区域和SSL所阅读的实例级约束可能根本不一致。从这一点出发,我们提出了一种为领域自适应定制的自监督学习的特定范例,即,可迁移的对比学习(TCL),它将SSL和所需的跨域可迁移性一致地联系起来。我们发现对比学习本质上是领域自适应的一个合适的候选者,因为它的实例不变性假设可以方便地提升到跨领域类级不变性青睐的领域自适应任务。基于特定的存储体结构和伪标签策略,TCL然后通过干净和新颖的对比损失来惩罚源和目标之间的跨域类内域差异。免费的午餐是,由于结合了对比学习,TCL依赖于移动平均密钥编码器,该编码器自然地实现了目标数据的伪标签的时间集合版本,这避免了伪标签错误传播,而无需额外成本。因此,TCL有效地减少了跨域差距。通过对单源和多源领域自适应任务的基准测试(ESP-Home、VisDA-2017、Digits-five、PACS和DomainNet)进行广泛的实验,TCL展示了最先进的性能。
2021-12-14 cs.AI cs.CV cs.MM
Domain Adaptation from Scratch
University of Edinburgh(爱丁堡大学);Technion, IIT(以色列理工学院)
自然语言处理(NLP)算法正在迅速改进,但在应用于分发外的示例时往往会遇到困难。一个突出的方法,以减轻域差距是领域自适应,其中一个模型训练的源域是适应一个新的目标域。我们提出了一个新的学习设置,“从零开始的领域自适应”,我们认为这是至关重要的NLP的范围扩展到敏感领域的隐私保护的方式。在这种设置中,我们的目标是有效地注释来自一组源域的数据,以便训练的模型在数据不可用于注释的敏感目标域上表现良好。我们的研究比较了几种方法,这个具有挑战性的设置,从数据选择和领域自适应算法的主动学习范式,两个自然语言处理任务:情感分析和命名实体识别。我们的研究结果表明,使用上述方法缓解了域间隙,并将它们结合起来进一步改善了结果。
2022-09-02 cs.AI cs.CL cs.LG
On Deep Domain Adaptation: Some Theoretical Understandings
与浅领域自适应相比,深领域自适应的最新进展表明,它可以实现更高的预测性能和更强的处理结构数据的能力(例如,图像和顺序数据)。深度领域自适应的基本思想是在联合空间中弥合源域和目标域之间的差距,使得在标记的源数据上训练的监督分类器可以很好地转移到目标域。这个想法当然是直观和强大的,但是,有限的理论理解已经发展到支持其基础原则。在本文中,我们提供了一个严格的框架来解释为什么它是可能的,以关闭在联合空间中的目标和源域的差距。更具体地说,我们首先研究从源域到目标域执行迁移学习时所产生的损失。这提供了一个理论,解释和概括现有的工作,在深领域自适应,主要是经验。这使得我们能够进一步解释为什么闭合联合空间中的间隙可以直接最小化两个域之间的迁移学习所引起的损失。据我们所知,这提供了第一个理论结果,该结果表征了联合空间上的直接约束和通过深度领域自适应的迁移学习的增益
2019-06-19 cs.AI cs.LG stat.ML
Gradual Domain Adaptation without Indexed Intermediate Domains
The Ohio State University(俄亥俄州立大学)
无监督领域自适应的有效性下降时,有一个大的差异之间的源和目标域。渐进式领域自适应(GDA)是缓解此类问题的一种有希望的方法,它利用额外的未标记数据,逐渐从源转移到目标。通过沿“索引”的中间域顺序地调整模型,GDA大大提高了整体适应性能。然而,在实践中,额外的未标记的数据可能不会被分离到中间域和索引正确,限制了GDA的适用性。在本文中,我们研究如何发现的序列时,它是不是已经可用的中间域。具体地说,我们提出了一个由粗到细的框架,它通过渐进的域搜索训练从粗域发现步骤开始。然后,该粗域序列通过新的循环一致性损失经历精细索引步骤,这鼓励下一个中间域保留当前中间域的足够的判别知识。然后可以通过GDA算法使用所得的结构域序列。在GDA的基准数据集上,我们证明了我们的方法,我们称之为中间DOmain标签(IDOL),与预定义的域序列相比,可以导致相当甚至更好的适应性能,使GDA对域序列的质量更适用和鲁棒。代码可在https://github.com/hongyouc/IDOL上获得。
2022-07-11 cs.AI cs.CV cs.LG
PTPP-Aware Adaptation Scaling Laws: Predicting Domain-Adaptation Performance at Unseen Pre-Training Budgets
Cerebras Systems(Cerebras系统);MBZUAI(穆萨埃德人工智能研究所)
本文提出PTPP感知的自适应缩放定律,将预训练预算作为显式变量,实现在未见预算下准确预测域自适应损失,并用于规划回放比率和令牌预算。
2025-10-27 cs.AI cs.CL cs.LG
Federated Unsupervised Domain Adaptation for Face Recognition
S-Lab, NTU(新加坡南洋理工大学S实验室);NTU(新加坡南洋理工大学);SenseTime Research(商汤科技研究院)
在给定源域中的标记数据的情况下,无监督的领域自适应已被广泛地用于对目标域中的未标记数据(其数据分布是不同的)进行模型泛化。然而,现有的工作是不适用于人脸识别的隐私约束下,因为它们需要域之间的敏感的人脸图像共享。为了解决这个问题,我们提出了联邦无监督领域自适应的人脸识别,FedFR。FedFR联合优化了基于聚类的领域自适应和联邦学习,以提高目标领域的性能。具体来说,对于目标域中的未标记数据,我们增强了距离约束的聚类算法,以提高预测伪标签的质量。此外,我们提出了一种新的域约束损失(DCL)规范源域训练联邦学习。在一个新构建的基准上进行的大量实验表明,在不同的评估指标上,FedFR在目标域上的性能优于基线和经典方法3%到14%。
2022-04-09 cs.AI cs.CV cs.DC
Scatter Component Analysis: A Unified Framework for Domain Adaptation and Domain Generalization
Victoria University of Wellington(惠灵顿维多利亚大学)
本文讨论了一个特定的目标域的分类任务,其中标记的训练数据只能从源域不同(但相关)的目标。两个密切相关的框架,领域自适应和领域泛化,关注这样的任务,这些框架之间的唯一区别是未标记的目标数据的可用性:领域自适应可以利用未标记的目标信息,而领域泛化不能。我们提出了一种快速的表示学习算法Scatter Component Analyis(SCA),它可以同时应用于领域自适应和领域泛化。SCA基于简单的几何测量,即,scatter,它在再生核希尔伯特空间上操作。SCA找到了一种在最大化类的可分性、最小化域之间的不匹配和最大化数据的可分性之间进行权衡的表示;每一种都通过分散来量化。SCA的优化问题可以归结为一个广义特征值问题,这导致在一个快速和精确的解决方案。在跨领域目标识别基准数据集上的综合实验验证了SCA的性能比几种最先进的算法快得多,并且在领域自适应和领域泛化方面都提供了最先进的分类精度。我们还表明,分散可以用来建立一个理论的推广界的情况下,领域自适应。
2016-07-26 cs.AI cs.CV cs.LG
A Strong Baseline for Domain Adaptation and Generalization in Medical Imaging
Enlitic(Enlitic公司)
该方法为医学成像中的多源多靶领域自适应和泛化问题提供了有力的基础。使用十个胸部X射线数据集的不同集合,我们以经验证明了在不同患者人群上训练医学成像深度学习模型以推广到样本外域的好处。
2019-04-02 cs.AI cs.CV eess.IV
Deep CORAL: Correlation Alignment for Deep Domain Adaptation
University of Massachusetts Lowell(马萨诸塞大学洛厄尔分校);Boston University(波士顿大学)
深度神经网络能够从大量标记的输入数据中学习强大的表示,但是它们不能总是很好地概括输入分布的变化。已经提出了领域自适应算法来补偿由于域移位而导致的性能下降。在本文中,我们解决的情况下,目标域是未标记的,需要无监督的适应。CORAL是一种“简单得令人沮丧”的无监督领域自适应方法,它将源和目标分布的二阶统计与线性变换对齐。在这里,我们扩展CORAL来学习一个非线性变换,该变换可以调整深度神经网络(Deep CORAL)中层激活的相关性。在标准基准数据集上的实验显示了最先进的性能。
2016-07-06 cs.AI cs.CV cs.LG
Complementary Domain Adaptation and Generalization for Unsupervised Continual Domain Shift Learning
Graduate School of Data Science(数据科学研究生院);Seoul National University(首尔国立大学)
针对无监督持续域偏移学习,提出互补域适应与泛化框架CoDAG,兼顾适应当前域、泛化未见域与防遗忘,模型无关且在多个基准上超越现有方法。
2023-10-13 cs.AI cs.CV cs.LG
Tackling unsupervised multi-source domain adaptation with optimism and consistency
INESC TEC(葡萄牙工程与技术研究所);University of Porto(波尔图大学)
一段时间以来,已知多源领域自适应的问题可以被视为单源领域自适应任务,其中源领域对应于原始源领域的混合。尽管如此,如何调整混合分布权重仍然是一个悬而未决的问题。此外,大多数现有的工作在这个主题只集中在最大限度地减少错误的源域和实现域不变的表示,这是不够的,以确保低错误的目标域。在这项工作中,我们提出了一个新的框架,解决了这两个问题,并通过使用温和乐观的目标函数和目标样本的一致性正则化击败了目前的最新技术水平。
2020-09-29 cs.AI cs.CV cs.LG