Self-Routed Tensor Adapters for Parameter-Efficient Universal Visual Adaptation
Indraprastha Institute of Information Technology Delhi(因德拉普拉斯信息技术学院德里分校)
提出自路由张量适配器(SRTA),无需外部门控网络即可实现样本特定适配,在多领域视觉分类基准上,以更少参数达到与MoE式PEFT基线相当或更优的平均准确率。
2026-08-18 cs.CV cs.LG
Universal Test-time Adaptation through Weight Ensembling, Diversity Weighting, and Prior Correction
University of Stuttgart(斯图加特大学)
本文提出通用测试时自适应方法ROID,通过确定性与多样性加权、源模型与自适应模型持续权重平均以及自适应先验校正,解决模型偏差、灾难性遗忘和类别先验偏移问题,在多种设置下取得领先性能。
2023-10-25 cs.CV cs.LG
A Sample Selection Approach for Universal Domain Adaptation
Tel Aviv University(特拉维夫大学);Facebook AI Research(脸书人工智能研究院)
我们研究的问题,无监督域自适应的普遍情况下,其中只有一些类之间共享的源和目标域。我们提出了一个评分方案,是有效的,在确定共享类的样本。该分数用于选择在训练期间对目标域中的哪些样本进行伪标记。另一个损失术语鼓励每个批次内标签的多样性。两者合计,我们的方法被证明优于,由一个相当大的保证金,目前的艺术水平的文献基准。
2020-01-14 cs.CV
Analysis of Pseudo-Labeling for Online Source-Free Universal Domain Adaptation
Institute of Signal Processing and System Theory , University of Stuttgart, Germany(信号处理与系统理论研究所,斯图加特大学)
本文系统分析了在线无源通用域适应(SF-UniDA)中伪标签对适应结果的影响,发现伪标签准确率比数量更关键,对比损失对中等准确率鲁棒而交叉熵损失在接近完美时更优,揭示了当前方法与理论上界间的差距。
2025-05-30 cs.CV cs.LG
A Comprehensive Benchmark of Source-Free Universal Domain Adaptation on Time Series Representations
Univ Rouen Normandie, INSA Rouen Normandie, Université Le Havre Normandie, Normandie Univ, LITIS UR 4108(鲁昂大学、INSA鲁昂、勒阿弗尔大学、诺曼底大学、LITIS UR 4108)
本文提出首个时间序列源自由通用域适应基准,发现未知样本拒绝阈值敏感问题,并设计即插即用自动阈值模块,实验验证其有效性并指出基础模型并非总是优于经典骨干。
2026-10-01 cs.LG
UFDA: Universal Federated Domain Adaptation with Practical Assumptions
Xi’an Jiaotong University(西安交通大学);The University of Sydney(悉尼大学);The University of Hong Kong(香港大学)
本文提出更贴合实际的通用联邦域适应UFDA场景,仅需源域黑盒模型与标签集信息,配套提出HCLD方法和MVD簇级策略,在三个基准数据集上以更少假设取得了与现有多假设方法相当的性能。
2023-12-19 cs.CV cs.LG
Universal Multi-Source Domain Adaptation
Nanjing University of Posts and Telecommunications(南京邮电大学)
无监督领域自适应使智能模型能够将知识从标记的源域转移到类似但未标记的目标域。近年来的研究表明,知识可以从一个源领域转移到另一个未知的目标领域,这就是通用领域自适应(UDA)。然而,在现实世界的应用中,经常有一个以上的源域被用于领域自适应。在本文中,我们正式提出了一个更一般的领域自适应设置,通用多源领域自适应(UMDA),其中多个源域的标签集可以是不同的,目标域的标签集是完全未知的。UMDA中的主要挑战是识别每个源域和目标域之间的公共标签集,以及随着源域数量的增加保持模型的可扩展性。为了解决这些挑战,我们提出了一个通用的多源自适应网络(UMAN)来解决领域自适应问题,而不会增加模型的复杂性,在各种UMDA设置。在UMAN中,我们通过预测裕度来估计公共标签集中每个已知类的可靠性,这有助于对抗训练更好地对齐公共标签集中多个源域和目标域的分布。同时也为UMAN的实现提供了理论保证。大量的实验结果表明,现有的UDA和多源DA(MDA)的方法不能直接应用于UMDA和建议的UMAN实现了国家的最先进的性能在各种UMDA设置。
2020-11-05 cs.AI cs.CV
Universal Domain Adaptation through Self Supervision
Boston University(波士顿大学);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室)
无监督领域自适应方法传统上假设所有源类别都存在于目标域中。在实践中,很少有人知道这两个领域之间的类别重叠。虽然一些方法使用部分或开放集合类别来解决目标设置,但它们假设特定设置是先验已知的。我们提出了一个更普遍适用的领域自适应框架,可以处理任意的类别转移,称为域自适应邻域聚类通过熵优化(DANCE)。DANCE结合了两个新颖的想法:首先,由于我们不能完全依赖于源类别来学习目标的区别特征,我们提出了一种新的邻域聚类技术,以自监督的方式学习目标域的结构。其次,我们使用基于熵的特征对齐和拒绝来将目标特征与源特征对齐,或者基于它们的熵将它们拒绝为未知类别。我们通过大量的实验表明,DANCE在开集,开部分和部分领域自适应设置上优于基线。可在https://github.com/VisionLearningGroup/DANCE上获得实现。
2020-10-06 cs.CV
Universal Domain Adaptation for Remote Sensing Image Scene Classification
Technical University of Munich(慕尼黑工业大学)
目前的领域自适应方法(如无监督自适应方法)依赖于源域和目标域标签集之间关系的丰富先验知识,并且由于隐私或机密性问题,源数据往往不可访问,因此通常不能很好地适用于遥感图像分类的实际领域自适应场景。为此,我们提出了一个实用的通用领域自适应设置遥感图像场景分类,不需要先验知识的标签集。此外,针对源数据不可用的情况,提出了一种无需源数据的通用领域自适应方法。该模型的体系结构分为两个部分:源数据生成阶段和模型自适应阶段。第一阶段使用源域中的类可分性知识从预训练模型估计源数据的条件分布,然后合成源数据。有了这个合成的源数据,如果目标样本属于源标签集中的任何类别,则将其正确分类,否则将其标记为"未知”,这就成为一个通用的DA任务。在第二阶段,一种新的可转移的权重,区分在每个域中的共享和私有标签集,促进自动发现的共享标签集的适应,并成功地识别“未知”的样本。实验结果表明,无论源数据是否可用,该模型都能有效地进行遥感图像场景分类。该代码可在https://github.com/zhu-xlab/UniDA上获得。
2023-01-26 cs.CV
Subsidiary Prototype Alignment for Universal Domain Adaptation
Indian Institute of Science(印度科学学院);Google Research(谷歌研究院)
通用领域自适应(UniDA)处理的是两个数据集之间的知识转移问题。目标是将未标记的目标样本分类为“已知”类别之一或单个“未知”类别。UniDA中的一个主要问题是负迁移,即“已知”和“未知”类的不对齐。为此,我们首先揭示了在深度网络的不同层中表现出的负转移风险和域不变性之间的有趣权衡。事实证明,我们可以在中间层实现这两个指标之间的平衡。为了设计一个有效的框架,基于这一见解,我们从视觉词袋(BoW)的动机。在一个中间层的类似BoW的表示中的词原型将表示较低级别的视觉基元,这些视觉基元可能不受高级特征中的类别转移的影响。我们开发的修改,鼓励学习的字原型,其次是字直方图为基础的分类。在此之后,附属原型空间对齐(SPA)可以被看作是一个闭集对齐问题,从而避免负迁移。我们实现了这一点,一个新的词直方图相关的借口任务,使闭集SPA,结合目标任务UniDA。我们证明了我们的方法在现有的UniDA技术之上的有效性,在三个标准的UniDA和Open-Set DA对象识别基准测试中获得了最先进的性能。
2022-10-28 cs.CV cs.LG
Universal Semi-Supervised Domain Adaptation by Mitigating Common-Class Bias
National University of Singapore (NUS)(新加坡国立大学);Centre for Frontier AI Research (CFAR), Agency for Science, Technology and Research (A*STAR)(新加坡科技研究局前沿人工智能研究中心);Institute for Infocomm Research (IR), Agency for Science, Technology and Research (A*STAR)(新加坡科技研究局信息通信研究所)
针对通用半监督域适应中公共类偏差导致模型过拟合的问题,提出先验引导的伪标签细化策略,在多个基准数据集上取得最佳性能并建立新基线。
2024-03-17 cs.CV
Unveiling Class-Labeling Structure for Universal Domain Adaptation
Nanjing University of Posts and Telecommunications(南京邮电大学)
作为用于无监督领域自适应的更实际的设置,最近引入了通用领域自适应(UDA),其中目标标签集是未知的。UDA中最大的挑战之一是如何确定源域和目标域共享的公共标签集,因为目标域中根本没有可用的标签。在本文中,我们采用了一种概率的方法来定位的共同标签集,其中每个源类可能来自共同的标签集的概率。特别是,我们提出了一种新的方法来评估每个源类的概率从共同的标签集,这个概率是由预测利润累积在整个目标域计算。然后,我们提出了一个简单的通用自适应网络(S-UAN),将概率结构的共同标签集。最后,我们分析了UDA在公共标签集上的推广界,并探讨了UDA目标风险的性质。大量的实验表明,S-UAN在不同的UDA设置工作得很好,并优于国家的最先进的方法大幅度。
2020-10-10 cs.AI cs.CV
Generalized Universal Domain Adaptation with Generative Flow Networks
Zhejiang University(浙江大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Tianjin University(天津大学)
提出广义通用域自适应(GUDA)统一框架,利用生成流网络设计GFlowDA算法,通过主动采样和协同优化,实现对未知类别精确预测,实验验证其优越性。
2023-08-30 cs.CV
Universal Domain Adaptation in Ordinal Regression
Naver Labs Europe;INSA-Lyon(法国国立应用科学学院里昂分校);LIRIS(里昂信息与图像研究实验室)
我们解决了有序回归(OR)中的通用领域自适应(UDA)问题,该方法试图解决标签不独立但遵循自然顺序的分类问题。我们发现,UDA技术开发的分类和基于聚类假设,或设置下执行。我们提出了一种方法,补充或分类器的辅助任务的顺序学习,它发挥了双重作用,区分共同和私人的实例,并扩大类标签的私人目标图像通过排名。结合对抗域鉴别,我们的模型能够解决闭集,部分和开集配置。我们在三个人脸年龄估计数据集上评估了我们的方法,并表明它优于基线方法。
2021-08-25 cs.AI cs.CV
Tackling Dimensional Collapse toward Comprehensive Universal Domain Adaptation
National Taiwan University(国立台湾大学)
本文针对极端通用域自适应中部分域匹配因目标表示维度坍缩而失效的问题,提出利用自监督去坍缩技术保持目标表示结构,从而持续提升PDM并在更广泛基准上取得最优结果。
2025-07-06 cs.LG
LEAD: Learning Decomposition for Source-free Universal Domain Adaptation
Tongji University(同济大学);Chemnitz University of Technology(开姆尼茨工业大学);Technical University of Munich(慕尼黑工业大学)
针对无源通用域适应中目标域私有未知类别识别难的问题,提出LEAD方法,通过特征正交分解与实例级自适应决策边界识别私有数据,在多个场景取得更优性能且效率更高,可与现有方法互补。
2024-03-06 cs.AI cs.CV cs.LG
Divergence Optimization for Noisy Universal Domain Adaptation
The University of Tokyo(东京大学);OMRON SINIC X Corporation(欧姆龙SINIC X公司)
通用领域自适应(UniDA)是一种将从标签丰富的源领域学习到的知识转移到标签稀缺的目标领域的方法,它对标签集没有任何约束。然而,在实践中,很难在资源有限的源域中获得大量完全干净的标记数据。现有的UniDA方法依赖于具有正确注释的源样本,这极大地限制了它们在现实世界中的应用。因此,我们考虑一个新的现实的设置,称为噪声UniDA,其中分类器的训练与噪声标记的数据从源域和未标记的数据与未知的类分布从目标域。本文介绍了一种双头卷积神经网络框架,同时解决所有问题。我们的网络由一个共同的特征生成器和两个不同的决策边界的分类器。通过优化两个分类器输出之间的差异,我们可以检测噪声源样本,找到目标域中的“未知”类,并对齐源域和目标域的分布。在广泛的评估不同的领域自适应设置,所提出的方法优于现有的方法在大多数设置的大幅度。
2021-04-01 cs.CV
Dual Moving Average Pseudo-Labeling for Source-Free Inductive Domain Adaptation
Carleton University(卡尔顿大学);CIFAR AI Chair(CIFAR人工智能讲席);Amii(阿尔伯塔机器智能研究所)
无监督领域自适应通过将知识从源领域适应到目标领域来减少对深度学习中数据注释的依赖。出于隐私和效率考虑,无源领域自适应通过在不访问源数据的情况下将预训练的源模型适配到未标记的目标域来扩展无监督的领域自适应。然而,大多数现有的无源领域自适应方法集中在转导设置,其中目标训练集也是测试集。在本文中,我们解决无源领域自适应在更现实的归纳设置,目标训练和测试集是互斥的。提出了一种新的半监督微调方法--双滑动平均伪标记法(DMAPL),用于无源归纳领域自适应。我们首先根据预训练源模型的预测置信度得分将目标域中的未标记训练集分为伪标记置信子集和未标记置信度较低的子集。然后,我们提出了一个软标签的移动平均更新策略的基础上的移动平均原型分类器的未标记的子集,逐渐适应的源模型向目标域。实验表明,我们提出的方法达到了最先进的性能,并大大优于以前的方法。
2022-12-15 cs.CV cs.LG
Universal Domain Adaptation Benchmark for Time Series Data Representation
Univ Rouen Normandie, INSA Rouen Normandie, Normandie Univ, LITIS UR 4108(鲁昂大学、INSA鲁昂、诺曼底大学、LITIS UR 4108)
本文提出通用时间序列数据表示领域适应基准,评估不同模型在不同领域中的鲁棒性和泛化能力,强调backbone选择对性能的影响。
2025-05-23 cs.LG
OneRing: A Simple Method for Source-free Open-partial Domain Adaptation
Computer Vision Center, Universitat Autònoma de Barcelona(巴塞罗那自治大学计算机视觉中心);Nankai University(南开大学);Huawei Kirin Solution(华为麒麟解决方案部)
本文研究了无源开放部分领域自适应(SF-OPDA),它解决了源域和目标域之间同时存在领域和范畴转移的情况。在旨在解决数据隐私问题的SF-OPDA设置下,模型在目标适配期间不能再访问源数据。我们提出了一种新的训练方案来学习(n+1)路分类器来预测n个源类别和未知类别,其中只有已知源类别的样本可用于训练。此外,对于目标自适应,我们简单地采用加权熵最小化来使源预训练模型适应于没有源数据的未标记目标域。在实验中,我们表明我们的简单的方法优于目前的OPDA方法,需要源数据在适应。当在目标自适应过程中使用闭集领域自适应方法时,我们的无源方法在Office-31、M-Home和VisDA上的性能分别比当前最先进的OPDA方法高出2.5%、7.2%和13%。
2023-01-11 cs.CV cs.LG
Source-free Domain Adaptation via Distributional Alignment by Matching Batch Normalization Statistics
The University of Tokyo(东京大学);RIKEN(理化学研究所)
在本文中,我们提出了一种新的领域自适应方法的无源设置。在这种情况下,我们无法在自适应过程中访问源数据,而给出了未标记的目标数据和用源数据预训练的模型。由于缺乏源数据,我们不能像典型的领域自适应算法那样直接匹配域之间的数据分布。为了解决这个问题,我们建议利用存储在预训练模型中的批量归一化统计数据来近似未观察到的源数据的分布。具体来说,我们在自适应过程中固定模型的分类器部分,只微调剩余的特征编码器部分,以便编码器提取的特征的批量归一化统计数据与存储在固定分类器中的特征相匹配。此外,我们还最大化特征和分类器输出之间的互信息,以进一步提高分类性能。实验结果表明,我们的方法实现了竞争力的性能与国家的最先进的领域自适应方法,即使它不需要访问源数据。
2021-01-19 cs.CV cs.LG
Variational Model Perturbation for Source-Free Domain Adaptation
University of Electronic Science and Technology of China(电子科技大学);University of Amsterdam(阿姆斯特丹大学);United Imaging Healthcare, Co., Ltd.(联影医疗科技股份有限公司)
我们的目标是无源的领域自适应,其中的任务是部署一个模型的源域上的目标域预先训练。这些挑战源于从源域到目标域的分布偏移,再加上无法获得任何源数据和标记的目标数据进行优化。而不是通过更新参数微调模型,我们建议扰动源模型,以实现适应目标域。我们引入扰动的模型参数变分贝叶斯推理的概率框架。通过这样做,我们可以有效地使模型适应目标域,同时在很大程度上保留了区分能力。重要的是,我们证明了学习贝叶斯神经网络的理论联系,这证明了扰动模型的目标域的泛化能力。为了实现更有效的优化,我们进一步采用参数共享策略,这大大减少了可学习的参数相比,一个完全贝叶斯神经网络。我们的模型扰动提供了一种新的概率方式领域自适应,使有效的适应目标领域,同时最大限度地保留知识的源模型。在三种不同的评估设置下,对几个无源基准测试进行了实验,验证了所提出的无源领域自适应变分模型扰动的有效性.
2022-10-19 cs.CV cs.LG
Universal Domain Adaptation via Compressive Attention Matching
Zhejiang University(浙江大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
提出UniAM框架,利用视觉Transformer的自注意力机制和压缩注意力匹配方法,实现通用域自适应中的共同特征对齐与目标类别分离,性能优于现有方法。
2023-08-30 cs.CV
OVANet: One-vs-All Network for Universal Domain Adaptation
Boston University(波士顿大学);MIT-IBM Watson AI Lab(MIT-IBM沃森人工智能实验室)
通用领域自适应(UNDA)算法旨在处理两个数据集之间的领域转移和类别转移,其主要挑战是在传递知识的同时,拒绝在标记源数据中不存在但在未标记目标数据中存在的未知类。现有的方法手动设置一个阈值来拒绝未知样本的基础上验证或未知样本的预定义的比例,但这种策略是不实用的。在本文中,我们提出了一种方法来学习阈值使用源样本,并使其适应目标域。我们的想法是,源域中的最小类间距离应该是一个很好的阈值,以决定目标中的已知或未知。为了学习类间和类内的距离,我们建议使用标记的源数据为每个类训练一个对所有分类器。然后,我们适应开集分类器的目标域通过最小化类熵。由此产生的框架是联合国裁军事务厅所有基线中最简单的,对超参数的值不敏感,但性能大大优于基线。
2021-08-24 cs.CV
Memory-Efficient Pseudo-Labeling for Online Source-Free Universal Domain Adaptation using a Gaussian Mixture Model
University of Stuttgart(斯图加特大学)
针对在线无源通用领域适应中的内存限制问题,提出基于高斯混合模型持续捕捉已知类分布并结合熵检测生成伪标签的方法,在多个数据集上达到SOTA。
2024-11-12 cs.CV
E-MLNet: Enhanced Mutual Learning for Universal Domain Adaptation with Sample-Specific Weighting
Department of Computing, Federal University of São Carlos (UFSCar), Sorocaba, SP – Brazil(计算系,萨尔瓦多·卡罗斯联邦大学(UFSCar),圣保罗州索罗卡巴)
针对通用域自适应中现有互学习方法对所有分类器一视同仁导致学习信号被稀释的问题,提出E-MLNet,通过动态加权策略聚焦每个目标样本最相关的类别边界,在四个基准上取得最优或次优的平均H分数。
2025-09-10 cs.CV
Beyond Domain Adaptation: Unseen Domain Encapsulation via Universal Non-volume Preserving Models
University of Science, Vietnam(越南科学大学);Concordia University(康考迪亚大学);University of Arkansas(阿肯色大学);University of Illinois(伊利诺伊大学)
跨域识别最近已成为研究界的一个活跃话题。然而,在新的未知领域的识别问题中,它在很大程度上被忽视了。在这种情况下,交付的深度网络模型无法更新,调整或微调。因此,不能应用最近的深度学习技术,例如:领域自适应、特征转移和微调。针对深度学习背景下的领域泛化问题,提出了一种新的通用非体积保持方法。所提出的方法可以很容易地与端到端深度网络设计中的任何其他ConvNet框架相结合,以提高性能。在数字识别方面,我们对四个流行的数字识别数据库,即MNIST,USPS,SVHN和MNIST-M进行了基准测试。该方法还进行了实验上的人脸识别扩展Yale-B,CMU-PIE和CMU-MPIE数据库和其他国家的最先进的方法进行比较。在行人检测问题中,我们根据经验观察到,所提出的方法学习模型,提高了先验未知数据分布的性能。
2018-12-09 cs.CV
Universal Semi-supervised Model Adaptation via Collaborative Consistency Training
FNii, CUHKSZ(香港中文大学(深圳)福田诺亚方舟研究院);SSE, CUHKSZ(香港中文大学(深圳)理工学院);Cardiff University(卡迪夫大学);Sun Yat-sen University(中山大学);Research Institute, Sun Yat-sen University, Shenzhen(中山大学深圳研究院)
针对标签集部分重叠且目标域每类仅有少量标签的USMA问题,提出源模型与仅目标模型协作的一致性训练框架及样本级、类别级正则化,在多个基准上验证有效。
2023-11-03 cs.CV
Universal Domain Adaptation from Foundation Models: A Baseline Study
South China University of Technology(华南理工大学)
本文系统评估基础模型在通用域适应中的表现,发现现有方法难以改进冻结主干基线,并提出无参数的 CLIP distillation 以增强类外检测。
2023-11-03 cs.CV cs.LG
Attracting and Dispersing: A Simple Approach for Source-free Domain Adaptation
Computer Vision Center, Universitat Autonoma de Barcelona(巴塞罗那自治大学计算机视觉中心);Nankai University(南开大学);Huawei Kirin Solution(华为麒麟解决方案部门)
提出了一种简单有效的无源领域自适应方法。将SFDA视为无监督聚类问题,并遵循特征空间中的局部邻居应该比其他特征具有更多相似预测的直觉,我们建议优化预测一致性的目标。该目标鼓励特征空间中的局部邻域特征具有相似的预测,而特征空间中更远的特征具有不同的预测,从而同时实现有效的特征聚类和聚类分配。为了有效的训练,我们寻求优化目标的上限,得到两个简单的项。从区分度和多样性的角度,对领域自适应、无源领域自适应和对比学习等领域的现有方法进行了比较。实验结果证明了该方法的优越性,为SFDA今后的研究提供了一个简单而有力的基础。我们的方法也可以适用于无源开集和部分集DA,这进一步显示了我们的方法的推广能力。代码可在https://github.com/Albert0147/AaD_SFDA上找到。
2022-10-03 cs.CV cs.LG
Source-Free Controlled Adaptation of Teachers for Continual Test-Time Adaptation
IIT Kharagpur(印度理工学院卡拉格普尔分校);IBM Research(IBM 研究院);Amazon(亚马逊);Indian Institute of Technology, Kharagpur(印度理工学院卡拉格普尔分校)
研究推理时领域持续变化下的持续测试时自适应问题,提出无源可控教师自适应方法,动态设置动量值并估计类原型,无需源数据,实验表明该方法优于多种需源数据的现有自适应框架。
2026-07-28 cs.CV cs.LG
Adaptive Prompt Learning with Negative Textual Semantics and Uncertainty Modeling for Universal Multi-Source Domain Adaptation
Sichuan University(四川大学)
针对通用多源域适应中忽略文本语义的问题,提出基于CLIP的APNE-CLIP方法,利用自适应提示、负文本语义对齐和能量不确定性建模,有效识别未知样本并提升分类性能。
2024-04-24 cs.CV
Target Semantics Clustering via Text Representations for Robust Universal Domain Adaptation
University of Science and Technology of China(中国科学技术大学);Institute of Artificial Intelligence, Hefei Comprehensive National Science Center(合肥综合性国家科学中心人工智能研究院)
本文提出 TASC 方法,通过在离散文本表示空间中搜索目标语义中心,并结合 UniMS 评分函数,实现鲁棒且通用的域适应,在多个基准上取得最优性能。
2025-06-04 cs.CV
Universal Domain Adaptation for Semantic Segmentation
Kyung Hee University(京亨大学);Korea University(韩国大学)
本文针对语义分割中源域与目标域类别设置未知的通用域自适应问题,提出UniMAP框架,通过域特定原型区分和基于目标的图像匹配提升公共类别识别能力,并构建新基准验证其显著优于现有方法。
2025-06-05 cs.CV
Feature Alignment by Uncertainty and Self-Training for Source-Free Unsupervised Domain Adaptation
Samsung SDS Technology Research(三星SDS技术研究院);Seoul National University of Science and Technology(首尔国立科技大学)
大多数无监督领域自适应(UDA)方法假设在模型自适应过程中标记的源图像是可用的。然而,由于保密问题或移动设备的内存限制,这种假设往往是不可行的。一些最近开发的方法不需要在适应过程中的源图像,但他们表现出有限的性能扰动图像。为了解决这些问题,我们提出了一种新的无源UDA方法,该方法仅使用预训练的源模型和未标记的目标图像。我们的方法通过结合数据增强来捕获任意的不确定性,并使用两个一致性目标来训练特征生成器。鼓励特征生成器学习远离头部分类器的决策边界的一致视觉特征。因此,适应模型变得对图像扰动更鲁棒。受自监督学习的启发,我们的方法促进了预测空间和特征空间之间的空间对齐,同时在特征空间内结合了空间内的一致性,以减少源域和目标域之间的域间隙。我们还考虑了认知不确定性,以提高模型的适应性能。在流行的UDA基准数据集上的大量实验表明,所提出的无源方法与普通UDA方法相当,甚至优于普通UDA方法。此外,当输入图像受到扰动时,自适应模型显示出更鲁棒的结果。
2023-03-16 cs.CV cs.LG
CoSDA: Continual Source-Free Domain Adaptation
Zhejiang University(浙江大学);Sea AI Lab(Sea AI实验室)
针对无源域自适应中的灾难性遗忘问题,本文提出连续无源域自适应方法 CoSDA,通过双速优化的教师-学生模型对和一致性正则化,在四个基准上优于现有方法,并可与其他 SFDA 方法集成。
2023-04-13 cs.CV cs.LG
Memory-Assisted Sub-Prototype Mining for Universal Domain Adaptation
School of Computer Science and Engineering, Southeast University(东南大学计算机科学与工程学院);School of Computer Science and Engineering, Nanjing University of Science and Technology(南京理工大学计算机科学与工程学院)
针对通用域自适应中同类样本概念偏移导致对齐不合理的问题,提出记忆辅助子原型挖掘(MemSPM)方法,挖掘子类以学习更合理特征空间,在多个场景和四个基准上取得最先进性能。
2024-02-06 cs.CV
USBD: Universal Structural Basis Distillation for Source-Free Graph Domain Adaptation
Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);Zhengzhou University(郑州大学);The Hebei University of Technology(河北工业大学);The City University of Hong Kong(香港城市大学)
USBD通过学习通用结构基础,解决了无源图域适应中因拓扑变化导致的适应问题,提升了模型在结构差异场景下的性能和效率。
2026-02-09 cs.LG
Prototypical Partial Optimal Transport for Universal Domain Adaptation
本文提出小批量原型部分最优传输方法,通过部分分布对齐和基于传输计划的重新加权损失区分已知与未知样本,在四个基准上超越现有通用领域自适应方法。
2024-08-02 cs.CV
COCA: Classifier-Oriented Calibration via Textual Prototype for Source-Free Universal Domain Adaptation
School of Computer Science and Engineering, Southeast University(东南大学计算机科学与工程学院);School of Computer Science and Engineering, Nanjing University of Science and Technology(南京理工大学计算机科学与工程学院);Institute of High Performance Computing (IHPC), Agency for Science, Technology and Research (A*STAR)(新加坡科技研究局高性能计算研究所);University of Chinese Academy of Sciences(中国科学院大学)
针对现有无源通用域自适应方法需大量标注源样本的问题,提出基于文本原型的分类器导向校准方法COCA,为VLM驱动的小样本源模型赋予未知感知能力,性能优于现有最优模型。
2024-03-11 cs.CV
Concurrent Subsidiary Supervision for Unsupervised Source-Free Domain Adaptation
Indian Institute of Science(印度科学学院);Google Research(谷歌研究院)
无监督领域自适应(DA)的主要挑战是减轻源域和目标域之间的域移位。先前的DA工作表明,借口任务可以用来减轻这种域转移通过学习域不变表示。然而,在实践中,我们发现,大多数现有的借口任务对其他既定的技术是无效的。因此,我们从理论上分析了如何以及何时可以利用辅助借口任务来帮助给定DA问题的目标任务,并制定了客观的辅助任务适用性标准。基于这个标准,我们设计了一个新的过程中的贴纸干预和铸造贴纸分类作为一个监督的附属DA问题并发的目标任务无监督DA。我们的方法不仅提高了目标任务的适应性能,但也有利于隐私导向的无源DA,即没有并发的源-目标访问。在标准Office-31、Open-Home、DomainNet和VisDA基准测试上的实验证明了我们在单源和多源无源DA上的优越性。我们的方法还补充了现有的非无源作品,实现了领先的性能。
2022-07-27 cs.CV cs.LG
DELTA: degradation-free fully test-time adaptation
Tsinghua University(清华大学);Tencent TEG AI(腾讯技术工程事业群人工智能实验室);OPPO research institute(OPPO研究院);Peng Cheng Laboratory(鹏城实验室)
完全测试时自适应的目的是在实时推理过程中使预先训练好的模型适应测试流,这在测试分布与训练分布不同时迫切需要。为提高适应绩效作出了若干努力。然而,我们发现,两个不利的缺陷隐藏在流行的自适应方法,如测试时间批量归一化(BN)和自学习。首先,我们揭示了测试时BN的归一化统计量完全受当前接收的测试样本的影响,导致不准确的估计。其次,我们表明,在测试时自适应,参数更新偏向于一些占主导地位的类。除了广泛研究的测试流与独立和类平衡的样本,我们进一步观察到,在更复杂的测试环境中,如(时间)相关或类不平衡的数据的缺陷可能会加剧。我们观察到,以前的方法在某些情况下工作得很好,而在其他情况下,由于其故障显示性能下降。在本文中,我们提供了一个插件的解决方案称为DELTA的降级自由fuLly测试时自适应,它由两个组件组成:(i)测试时批量重整(TBR),引入以改善估计的归一化统计。(ii)动态在线重新加权(DOT),旨在解决优化中的类偏差。我们研究了各种测试时自适应方法在三个常用的数据集与四个场景,和一个新引入的真实世界的数据集。DELTA可以帮助他们同时处理所有场景,从而实现SOTA性能。
2023-01-30 cs.CV cs.LG
CoNMix for Source-free Single and Multi-target Domain Adaptation
Indian Institute of Science(印度科学学院)
本文提出了一种新的无源多目标领域自适应算法,并提出了一种基于\textbf{Co}核范数最大化和\textbf{Mix} Up知识蒸馏(\textit{CoNMix})的自适应框架。这项工作的主要动机是解决单和多目标领域自适应(SMTDA)的无源范式,它强制执行的约束,标记的源数据是不可用的目标适应过程中,由于各种隐私相关的限制数据共享。无源方法利用目标伪标签,这可能是嘈杂的,以提高目标适应。我们引入标签保持增强之间的一致性,并利用伪标签细化方法来减少噪声伪标签。此外,我们提出了新的MixUp知识蒸馏(MKD)更好地推广多个目标域使用各种无源STDA模型。我们还表明,视觉Transformer(VT)的骨干提供了更好的特征表示与改进的域可转移性和类的可辨别性。我们提出的框架实现了国家的最先进的(SOTA)的结果,在流行的领域自适应数据集,如家庭,加州理工学院,和DomainNet的各种范式的无源STDA和MTDA设置。项目页面:https://sites.google.com/view/conmix-vcl
2022-11-07 cs.AI cs.CV cs.LG
Learning Classifiers of Prototypes and Reciprocal Points for Universal Domain Adaptation
KAIST(韩国科学技术院)
通用领域自适应通过处理两种迁移(领域迁移和类别迁移)来实现数据集之间的知识转移。主要的挑战是正确区分未知的目标样本,同时适应已知类知识从源到目标的分布。大多数现有的方法解决这个问题,首先训练目标适应已知的分类器,然后依靠单一的阈值来区分未知的目标样本。然而,这种简单的基于阈值的方法阻止了模型考虑高维特征空间中已知和未知样本之间存在的潜在复杂性。在本文中,我们提出了一种新的方法,在该方法中,我们使用两组特征点,即双分类器的原型和倒数(CPR)。我们的主要思想是将每个原型与相应的已知类特征相关联,同时将倒数与这些原型分开,以将它们定位在潜在的未知特征空间中。然后,如果目标样本在测试时落在任何倒数附近,则将其分类为未知。为了成功地训练我们的框架,我们收集了部分的,有信心的目标样本,通过我们提出的多标准选择被分类为已知或未知。然后,我们另外对它们应用熵损失正则化。为了进一步适应,我们还应用了标准的一致性正则化,该正则化匹配输入的两个不同视图的预测,以使目标特征空间更加紧凑。我们根据三个标准基准评估我们的建议,CPR,并取得可比或新的最先进的结果。我们还提供了广泛的消融实验,以验证我们的框架中的主要设计选择。
2022-12-16 cs.CV
Key Design Choices for Double-Transfer in Source-Free Unsupervised Domain Adaptation
Istituto Italiano di Tecnologia (IIT)(意大利技术研究院);Università degli Studi di Genova(热那亚大学);Politecnico di Torino(都灵理工大学)
微调和领域自适应成为将深度学习模型有效转移到新目标任务的有效策略。然而,目标域标签在许多现实场景中是不可访问的。这导致了无监督领域自适应(UDA)方法的发展,该方法仅采用未标记的目标样本。此外,效率和隐私要求也可能阻止在适配阶段期间使用源域数据。这种具有挑战性的设置,被称为无源无监督领域自适应(SF-UDA),由于其在现实世界中的应用潜力,越来越受到研究人员和实践者的兴趣。在本文中,我们通过对500个模型和74个领域对的大规模实证研究,首次深入分析了SF-UDA中的主要设计选择。我们将标准化方法、预训练策略和骨干架构确定为最关键的因素。基于我们的定量研究结果,我们提出了最好地解决SF-UDA场景的方法。此外,我们表明,SF-UDA的竞争力也超出了标准的基准和骨干架构,表现与UDA的数据和计算成本的一小部分。在利益的再现性,我们包括完整的实验结果和代码作为补充材料。
2023-02-10 cs.CV cs.LG
Uncertainty-guided Source-free Domain Adaptation
University of Trento(特伦托大学);Fondazione Bruno Kessler(布鲁诺·凯塞勒基金会);Aalto University(阿尔托大学);NVIDIA(英伟达)
无源领域自适应(SFDA)的目的是通过只使用预先训练的源模型来使分类器适应未标记的目标数据集。然而,源数据的缺失和域移位使得对目标数据的预测不可靠。我们建议量化源模型预测的不确定性,并利用它来指导目标适应。为此,我们构建了一个概率源模型,通过将先验的网络参数诱导分布在模型预测。通过采用拉普拉斯近似来估计Underweight,并且将Underweight合并以识别不位于源流形中的目标数据点,并且当最大化关于目标数据的互信息时对它们进行降权。与最近的作品不同,我们的概率处理是计算轻量级的,简化了源训练和目标适应,并且不需要专门的源训练或模型架构的变化。我们展示了不确定性引导的SFDA在闭集和开集设置中比传统SFDA的优势,并提供了经验证据表明,即使没有调整,我们的方法对强域转移也更鲁棒。
2022-08-16 cs.CV cs.LG
AUGCO: Augmentation Consistency-guided Self-training for Source-free Domain Adaptive Semantic Segmentation
Georgia Institute of Technology(佐治亚理工学院)
用于域自适应语义分割的大多数现代方法依赖于在自适应期间对源数据的持续访问,这可能由于计算或隐私约束而不可行。我们专注于无源领域自适应语义分割,其中一个源模型必须适应一个新的目标域只给未标记的目标数据。我们提出了增强一致性指导的自训练(AUGCO),这是一种无源自适应算法,它使用模型的像素级预测一致性,跨各种自动生成的每个目标图像的视图以及模型置信度来识别可靠的像素预测,并选择性地对这些像素进行自训练。AUGCO在3个标准的语义分割基准测试中实现了最先进的无源自适应结果,所有这些都在一个简单的实现和快速收敛的方法中实现。
2022-01-06 cs.CV cs.LG
Collaborative Learning with Multiple Foundation Models for Source-Free Domain Adaptation
Ajou University(阿乔大学);Korea University(韩国大学)
本文提出CoMA框架,通过协同利用两种互补基础模型提升无源域适应性能,实验显示在多个基准测试中优于现有方法。
2025-11-24 cs.CV cs.LG
MLNet: Mutual Learning Network with Neighborhood Invariance for Universal Domain Adaptation
Sun Yat-sen University(中山大学);Pazhou Lab (HuangPu)(琶洲实验室(黄埔))
针对通用域适应中目标域内变化及已知与未知类难区分的问题,提出结合邻域不变性、跨域 mixup 与双分类器互学习的 MLNet,并在四个设置下取得先进性能。
2024-02-28 cs.CV
Balancing Discriminability and Transferability for Source-Free Domain Adaptation
Indian Institute of Science(印度科学学院);Google Research(谷歌研究院)
传统的领域自适应(DA)技术旨在通过学习领域不变表示来提高领域可转移性,同时保留从标记的源数据收集的任务可区分性知识。然而,同时访问标记的源和未标记的目标的要求使得它们不适合具有挑战性的无源DA设置。实现有效的原始域到通用域映射的平凡解决方案提高了可移植性,但降低了任务的可辨别性。从理论和实证的角度分析的障碍后,我们得到新的见解,表明原始和相应的翻译通用样本之间的混淆增强了可识别性,可转移性的权衡,同时适当尊重隐私为导向的无源设置。在现有的无源DA方法的基础上,简单而有效地实现所提出的见解,可以获得最先进的性能和更快的收敛速度。除了单源之外,我们还在分类和语义分割基准上优于多源现有技术。
2022-06-16 cs.CV cs.LG
Confidence Score for Source-Free Unsupervised Domain Adaptation
Seoul National University(首尔国立大学);AIRS Company, Hyundai Motor Group(现代汽车集团AIRS公司)
无源无监督领域自适应(SFUDA)的目的是使用预先训练的源模型而不是源数据在未标记的目标域中获得高性能。现有的SFUDA方法对所有目标样本分配相同的重要性,这容易受到不正确的伪标签的影响。为了区分样本的重要性,在这项研究中,我们提出了一种新的样本的信心分数,联合模型数据结构(JMDS)SFUDA得分。与仅使用源或目标领域知识之一的现有置信度得分不同,JMDS得分使用两种知识。然后,我们提出了一个置信度得分加权自适应使用JMDS(CoWA-JMDS)框架SFUDA。CoWA-JMDS由JMDS分数作为样本权重和权重Mixup组成,Mixup是我们提出的Mixup变体。权重混淆算法使模型能够更好地利用目标领域知识。实验结果表明,JMDS得分优于现有的置信度得分。此外,CoWA-JMDS在各种SFUDA场景中实现了最先进的性能:封闭,开放和部分集合场景。
2022-06-14 cs.CV cs.LG
Feed-Forward Source-Free Domain Adaptation via Class Prototypes
The University of Edinburgh(爱丁堡大学);Samsung AI Center(三星人工智能中心)
针对无源域自适应依赖反向传播、耗时久的问题,提出基于预训练模型计算域偏移下类别原型的前馈方法,准确率提升显著且耗时远低于现有方法。
2023-07-20 cs.CV cs.LG stat.ML
ZOTTA: Test-Time Adaptation with Gradient-Free Zeroth-Order Optimization
ZOTTA提出一种完全无梯度的测试时适应框架,通过零阶优化实现高效适应,解决传统方法在非可微模型中的局限性,提升模型鲁棒性。
2026-08-25 cs.CV cs.LG
Does Source-Free Time-Series Adaptation Really Require Updating the Encoder?
City University of Hong Kong(香港城市大学)
提出SAFA方法,通过多尺度时频建模和可训练频率适应模块,对齐目标域与源域的频谱特征,解决无源域适应中的特征偏移和时间漂移问题。
2026-11-04 cs.LG