Is user feedback always informative? Retrieval Latent Defending for Semi-Supervised Domain Adaptation without Source Data
KAIST(韩国科学技术院);Lunit Inc.(Lunit公司)
针对半监督域适应中用户反馈存在负偏置的问题,提出检索潜在防御方法,利用潜在防御样本平衡监督信号,提升多种SemiSDA方法在图像分类、分割和医学影像等任务上的性能。
2024-07-22 cs.CV
Boosting Domain Adaptation by Discovering Latent Domains
Sapienza University of Rome(罗马第一大学);Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会);Mapillary Research(Mapillary研究院);Italian Institute of Technology(意大利理工学院);University of Trento(特伦托大学)
当前基于深度架构的领域自适应(DA)方法假设源样本来自单个分布。然而,在实践中,大多数数据集可以被视为多个域的混合物。在这些情况下,利用单源DA方法来学习目标分类器可能会导致次优的结果,如果不是差的话。此外,在许多应用中,难以手动地为所有源数据点提供域标签,即,应当自动地发现潜在域。本文介绍了一种新的卷积神经网络(CNN)架构,它(i)自动发现视觉数据集中的潜在域,(ii)利用这些信息来学习鲁棒的目标分类器。我们的方法基于引入两个主要组件,它们可以嵌入到任何现有的CNN架构中:(i)自动计算源样本到潜在域的分配的侧分支,以及(ii)利用域成员信息的新层适当地将CNN内部特征表示的分布与参考分布对齐。我们在公开的数据集上测试了我们的方法,结果表明它的性能大大优于最先进的多源DA方法。
2018-05-03 cs.CV
A Large-scale Multi Domain Leukemia Dataset for the White Blood Cells Detection with Morphological Attributes for Explainability
Information Technology University(信息技术大学);Chughtai Labs(乔格泰实验室)
针对白血病诊断标注数据稀缺的问题,研究团队采集了多设备、多倍率的大规模LeukemiaAttri白细胞形态标注数据集,提供检测基准与域适应方案,将公开以助力相关研究。
2024-05-17 cs.CV eess.IV
Unsupervised Domain Adaptation within Deep Foundation Latent Spaces
School of Computing and Communications(计算与通信学院);Lancaster University(兰卡斯特大学)
本文在原型网络框架下研究ViT、Dino-V2等视觉基础模型在无微调条件下解决无监督域适应的能力,证明其优于现有基线并指出仍存在的局限。
2024-02-22 cs.AI cs.CV cs.LG
Latent Space Regularization for Unsupervised Domain Adaptation in Semantic Segmentation
University of Padova(帕多瓦大学)
用于语义分割的深度卷积神经网络实现了出色的准确性,但它们也有几个主要缺点:首先,它们不能很好地推广到与训练数据略有不同的分布;其次,它们需要大量的标记数据进行优化。在本文中,我们引入了特征级的空间整形正则化策略,以减少语义分割领域的差异。特别是,为了这个目的,我们共同执行的聚类目标,一个标准的约束和规范对齐目标对应的源和目标样本的特征向量。此外,我们提出了一种新的措施,能够捕获的相对效力的自适应策略相比,监督训练。我们验证了这些方法在自动驾驶环境中的有效性,在多个合成到真实的道路场景基准中实现了最先进的结果。
2021-07-07 cs.CV
Learning Classifiers for Domain Adaptation, Zero and Few-Shot Recognition Based on Learning Latent Semantic Parts
Boston University(波士顿大学)
在计算机视觉应用中,例如领域自适应(DA)、少样本学习(FSL)和零样本学习(FSL),我们遇到了新的对象和环境,对于这些对象和环境,不存在足够的示例来允许训练“从头开始的模型”,并且需要使在所呈现的训练环境上训练的现有模型适应新场景的方法。我们提出了一种新的视觉属性编码方法,编码每个图像作为一个低维的概率向量组成的原型部分类型的概率。学习的原型是所有训练数据的代表。在测试时,我们利用这种编码作为分类器的输入。在测试时,我们冻结编码器,只学习/调整分类器组件以适应FSL中有限的注释标签;在FSL中添加新的语义属性。我们在基准数据集上进行了广泛的实验。我们的方法优于针对特定上下文(EML,FSL,DA)训练的最先进方法。
2019-08-16 cs.CV
Optimal Latent Vector Alignment for Unsupervised Domain Adaptation in Medical Image Segmentation
École Centrale de Nantes(南特中央理工学院);Laboratoire des Sciences du Numérique de Nantes(南特数字科学实验室);CNRS(法国国家科学研究中心)
本文讨论了分割的域转移问题。作为解决方案,我们提出了OLVA,一种新的和轻量级的无监督领域自适应方法的基础上变分自动编码器(VAE)和最优传输(OT)理论。由于VAE,我们的模型学习了一个遵循正态分布的共享跨域潜在空间,这减少了域偏移。为了保证有效的分割,我们的共享潜在空间被设计为对形状而不是强度变化进行建模。我们进一步依赖于OT损失来匹配和对齐潜在空间中两个域之间的剩余差异。我们证明了OLVA的有效性的公共多模态全心脏分割(MM-WHS)数据集上的多个心脏结构的分割,其中的源域包括注释的3D MR图像和未标记的目标域的3D CT。我们的研究结果显示了显着的改善,额外的利润率为12.5%的骰子分数比并发生成训练方法。
2021-06-15 cs.AI cs.CV cs.LG
A Source-Free Approach for Domain Adaptation via Multiview Image Transformation and Latent Space Consistency
Department of Computer Science and Engineering, United International University(计算机科学与工程系,国际大学);Faculty of Science and Information Technology, Charles Darwin University(科学与信息技术学院,查尔斯达尔文大学);Faculty of Science and Technology, Charles Darwin University(科学与技术学院,查尔斯达尔文大学)
本文提出了一种无源域适应方法,通过多视图图像变换和潜在空间一致性技术,直接从目标域学习域不变特征,提升分类准确率。
2026-01-28 cs.CV
What Has Been Overlooked in Contrastive Source-Free Domain Adaptation: Leveraging Source-Informed Latent Augmentation within Neighborhood Context
The University of British Columbia(不列颠哥伦比亚大学);Department of Mechanical Engineering(机械工程系);Department of Computer Science(计算机科学系)
针对无源域自适应中难以估计域差距的问题,本文提出一种基于源预训练模型引导的邻域潜在特征增强方法,通过提升正键信息量优化对比学习,在多个基准数据集上超越现有方法。
2024-12-18 cs.CV cs.LG
Unsupervised Domain Adaptation for Cardiac Segmentation: Towards Structure Mutual Information Maximization
College of Science and Technology, Wenzhou-Kean University(温州肯恩大学理工学院)
本文提出无监督域自适应框架 UDA-VAE++,通过结构互信息估计模块和顺序重参数化方案提升心脏分割在不同成像模态上的泛化能力,并在基准数据集上取得优于现有方法的性能。
2026-10-14 cs.CV eess.IV
Learning an Invariant Hilbert Space for Domain Adaptation
Australian National University(澳大利亚国立大学);Data61, CSIRO(澳大利亚联邦科学与工业研究组织Data61)
本文介绍了一种构造希尔伯特空间的学习方案(即,沿着其内积的向量空间)来解决无监督和半监督领域自适应问题。这是通过学习投影从每个域到一个潜在的空间沿着马氏度量的潜在空间,同时最大限度地减少域方差的概念,同时最大限度地提高歧视的力量。特别地,我们利用黎曼优化技术来匹配统计特性(例如,一阶和二阶统计量)之间的差异。当类别标签可用时,我们进一步认为共享相同标签的样本形成更紧凑的集群,同时将来自不同类别的样本拉离。我们广泛评估并对比了我们的建议与使用手工和深网功能的视觉领域自适应任务的最先进方法。我们的实验表明,即使是一个简单的最近邻分类器,所提出的方法可以优于几个国家的最先进的方法受益于更多的参与分类方案。
2017-04-17 cs.CV
Select, Label, and Mix: Learning Discriminative Invariant Feature Representations for Partial Domain Adaptation
MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);Boston University(波士顿大学);IIT Kharagpur(印度理工学院卡拉格普尔分校)
部分领域自适应是计算机视觉中的一个研究热点,它假设未知的目标标签空间是源标签空间的一个子集。尽管最近的进展,现有的方法往往遭受三个关键问题:负迁移,缺乏可辨别性,域不变性的潜在空间。为了缓解上述问题,我们开发了一种新的“选择,标签,和混合”(SLM)的框架,旨在学习歧视性的不变特征表示部分领域自适应。首先,我们提出了一个有效的“选择”模块,自动过滤出离群源样本,以避免负转移,同时对齐分布在两个域。其次,“标签”模块使用标记的源域数据和针对目标域生成的伪标签来迭代地训练分类器,以增强潜在空间的可辨别性。最后,“混合”模块与其他两个模块一起利用域混合正则化来探索跨域的更多内在结构,从而导致用于部分领域自适应的域不变潜在空间。在部分领域自适应的几个基准数据集上进行的大量实验表明,我们提出的框架优于最先进的方法。
2023-01-03 cs.CV
Unsupervised Domain Adaptation with Variational Approximation for Cardiac Segmentation
Fudan University(复旦大学)
无监督区域自适应算法在医学图像分割中具有重要的应用价值。特别地,当目标图像的地面实况不可用时,域自适应可以通过利用来自其他模态的现有标记图像来训练目标特定的模型。大多数已报道的作品都将源域和目标域的图像映射到一个共同的潜在特征空间中,然后通过对抗性训练隐式地或直接最小化差异度量来显式地减少它们的差异。在这项工作中,我们提出了一个新的框架,这两个域的潜在特征被驱动到一个共同的和参数化的变分形式,其条件分布给定的图像是高斯。这是通过基于变分自动编码器(VAE)的两个网络和这种变分近似的正则化来实现的。两个VAE,每个域,包含一个分割模块,其中源分割是以监督的方式训练,而目标分割是无监督地训练。我们使用两个心脏分割任务验证了所提出的域自适应方法,即,跨模态(CT和MR)全心脏分割和跨序列心脏MR分割。结果表明,该方法实现了更好的精度相比,两个国家的最先进的方法,并表现出良好的潜力,心脏分割。此外,所提出的显式正则化被证明是有效的,有效地缩小域之间的分布差距,这是有用的无监督域自适应。我们的代码和数据已通过https://zmiclab.github.io/projects.html发布。
2021-06-16 cs.CV eess.IV
Heterogeneous-Modal Unsupervised Domain Adaptation via Latent Space Bridging
Southern University of Science and Technology(南方科技大学);SZ DJI Technology Co., Ltd(深圳大疆科技有限公司)
本文提出异构模态无监督域适应(HMUDA)设置及潜在空间桥接(LSB)框架,利用桥接域实现跨模态知识迁移,在六个基准数据集上达到语义分割任务的最优性能。
2026-10-09 cs.AI cs.CV cs.LG
DiDA: Disentangled Synthesis for Domain Adaptation
Shandong University(山东大学);Tel Aviv University(特拉维夫大学);The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
无监督领域自适应旨在通过利用从源域到无监督目标域的监督来学习两个相关但不相同的域的共享模型。许多有效的领域自适应方法依赖于提取两个领域共有的有区别的但领域不变的潜在因素的能力。提取潜在的共性对于解纠缠分析也是有用的,使得两个域的共同特征和域特定特征之间能够分离。在本文中,我们提出了一种方法来提高领域自适应性能,利用解纠缠分析。其核心思想是通过学习分别提取共同特征和领域特定特征,可以在有监督的情况下合成更多的目标领域数据,从而提高领域自适应性能。更好的公共特征提取反过来又有助于进一步改进解纠缠分析和解纠缠合成。我们发现,迭代之间的领域自适应和解纠缠分析可以不断提高对方的几个无监督的领域自适应任务,为各种领域自适应骨干模型。
2018-05-21 cs.CV
Dual Mixup Regularized Learning for Adversarial Domain Adaptation
Carleton University(卡尔顿大学);University of Ottawa(渥太华大学)
无监督领域自适应(UDA)的最新进展依赖于对抗学习来解开领域自适应的解释性和可转移特征。然而,现有方法存在两个问题。首先,如果不考虑目标域中的类感知信息,潜在空间的可区分性就不能得到充分保证。第二,仅从源和目标域的样本是不够的域不变特征提取的潜在空间。为了缓解上述问题,我们提出了一种双重混合正则化学习(DMRL)方法UDA,它不仅指导分类器增强样本之间的一致性预测,而且还丰富了潜在空间的内在结构。DMRL在像素级上联合进行类别和域混合正则化,以提高模型的有效性。对四个领域自适应基准的一系列实证研究表明,我们的方法可以达到最先进的水平。
2020-07-16 cs.CV cs.LG stat.ML
Unsupervised Domain Adaptation for Semantic Segmentation of NIR Images through Generative Latent Search
Indian Institute of Technology Delhi(德里印度理工学院)
分割的像素对应于人类皮肤是一个重要的第一步,在多个应用范围从监测到心率估计从远程光电容积脉搏波。然而,现有文献仅在EM光谱的可见范围内考虑该问题,这限制了它们在应用的关键性较高的低光或无光设置中的实用性。为了缓解这个问题,我们考虑从近红外图像的皮肤分割的问题。然而,基于深度学习的最先进的分割技术需要大量的标记数据,这对于当前的问题是不可用的。因此,我们将皮肤分割问题转化为目标无关的无监督领域自适应(UDA)问题,其中我们使用来自可见光范围的红色通道的数据来开发近红外图像上的皮肤分割算法。我们提出了一种目标独立的分割方法,其中在源域中的目标图像的“最近克隆”被搜索,并用作仅在源域上训练的分割网络中的代理。我们证明了“最近克隆”的存在性,并提出了一种方法来找到它,通过优化算法的潜在空间的深度生成模型的基础上变分推理。我们证明了所提出的方法的有效性,近红外皮肤分割的国家的最先进的UDA分割方法的两个新创建的皮肤分割数据集在近红外域,尽管没有访问目标近红外数据。此外,我们报告了从Synthia到Cityscapes的最新结果,这是语义分割的无监督领域自适应中的一个流行设置。代码和数据集可在https://github.com/ambekarsameer96/GLSS上获得。
2020-07-17 cs.CV
Unsupervised Multi-Target Domain Adaptation: An Information Theoretic Approach
Google(谷歌)
无监督领域自适应(uDA)模型关注成对自适应设置,其中存在单个标记的源和单个目标域。然而,在许多现实世界中,人们试图适应多个但有点相似的目标域。将成对适应方法应用于这种设置可能是次优的,因为它们无法利用多个域之间的共享信息。在这项工作中,我们提出了一个信息理论的方法领域自适应在新的背景下,多个目标域与未标记的实例和一个源域与标记的实例。我们的模型的目的是找到一个共享的潜在空间共同的所有领域,同时占其余的私人,特定领域的因素。使用统一的信息理论方法来实现共享和私有信息的解开,该方法还用于在潜在表示与观察到的数据之间建立更强的联系。由此产生的模型,伴随着一个有效的优化算法,允许同时适应从一个单一的源到多个目标域。我们在三个具有挑战性的公开数据集上测试了我们的方法,结果表明它优于几种流行的领域自适应方法。
2018-10-26 cs.CV
Mitigating 3D Prostate Biparametric MRI Data Scarcity through Domain Adaptation using Locally-Trained Latent Diffusion Models for Prostate Cancer Detection
Institute of Biomedical Engineering, University of Toronto(多伦多大学生物医学工程研究所);Lunenfeld-Tanenbaum Research Institute, Mount Sinai Hospital(圣心医院卢内尔-塔内本研究所);KITE Research Institute, Toronto Rehabilitation Institute, University Health Network(多伦多康复研究所、KITE研究所在大学健康网络);Joint Department of Medical Imaging, University of Toronto, Princess Margaret Hospital, and Sinai Health systems(多伦多大学联合医学影像部门、玛格丽特医院及辛纳医疗系统);Department of Computer Science, University of Toronto(多伦多大学计算机科学系);Faculty Affiliate of the Vector Institute, Toronto(向量研究所教职员工)
本文提出CCELLA++,一种新的潜在扩散模型流程,用于同时生成3D双参数前列腺MRI(bpMRI),包括轴向T2加权(AxT2)、高b值扩散系列(HighB)和表观扩散系数图(ADC),以克服数据稀缺问题。
2026-05-17 cs.CV eess.IV
Fader Networks for domain adaptation on fMRI: ABIDE-II study
Skolkovo University of Science and Technology(斯科尔科沃科学技术大学)
ABIDE是最大的开源自闭症谱系障碍数据库,既有fMRI数据,也有完整的表型描述。基于功能连接分析以及对原始数据的深度学习,对这些数据进行了广泛的研究,对于不同的扫描部位,顶级模型的准确率接近75%。然而,在ABIDE中仍然存在模型在不同扫描站点之间的可移植性问题。在本文中,我们首次对原始神经影像数据进行脑病理分类问题的域适应。我们使用3D卷积自动编码器来构建域无关的潜在空间图像表示,并证明这种方法在ABIDE数据上优于现有方法。
2020-10-14 cs.CV eess.IV
One-shot domain adaptation for semantic face editing of real world images using StyleALAE
真实世界人脸图像的语义人脸编辑是生成模型的一个重要应用。最近,多项工作已经探索了使用预训练的GAN模型的潜在结构来生成这种修改的可能技术。然而,这样的方法通常需要训练编码器网络,并且这通常是耗时且资源密集的过程。这种基于GAN的架构的可能替代方案可以是styleALAE,这是一种基于潜在空间的自动编码器,可以生成高质量的照片级逼真图像。不幸的是,在风格ALAE重建的图像不保留输入的面部图像的身份。这限制了styleALAE用于具有已知身份的图像的语义面部编辑的应用。在我们的工作中,我们使用一次领域自适应的最新进展来解决这个问题。我们的工作确保了重建图像的身份与给定的输入图像相同。我们通过使用预训练的styleALAE模型的潜在空间来进一步生成对重建图像的语义修改。结果表明,我们的方法可以产生任何真实世界的面部图像的语义修改,同时保持身份。
2021-08-31 cs.CV
SAILOR: Scaling Anchors via Insights into Latent Object Representation
Graz University of Technology(格拉茨工业大学);Christian Doppler Laboratory for Embedded Machine Learning(克里斯蒂安·多普勒嵌入式机器学习实验室)
LiDAR 3D目标检测模型不可避免地偏向于其训练数据集。当用于目标数据集时,检测器清楚地表现出这种偏差,特别是针对对象大小。然而,由于例如不同的标签策略或地理位置,对象大小在域之间变化很大。最先进的无监督领域自适应方法外包的方法来克服对象的大小偏差。主流的大小自适应方法利用目标域统计,与原始的无监督假设相矛盾。我们新的无监督锚校准方法解决了这一限制。给定在源数据上训练的模型,我们以完全无监督的方式估计最佳目标锚点。其主要思想源于一个直观的观察:通过改变目标域的锚点大小,我们不可避免地引入了噪声,甚至删除了有价值的对象线索。受锚点大小影响的潜在对象表示只有在最佳目标锚点下才最接近所学习的源特征。我们利用这一观察结果进行锚定尺寸优化。我们的实验结果表明,在没有任何再训练的情况下,即使与最先进的弱监督大小自适应方法相比,我们也取得了有竞争力的结果。此外,我们的锚点校准可以与现有的方法相结合,使其完全不受监督。
2022-10-17 cs.CV
Discover, Hallucinate, and Adapt: Open Compound Domain Adaptation for Semantic Segmentation
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院)
用于语义分割的无监督领域自适应(UDA)最近引起了人们的关注,因为它可以有益于各种标签稀缺的现实世界场景(例如,机器人控制、自动驾驶、医学成像等)。尽管在这一领域取得了重大进展,但目前的工作主要集中在单源单目标设置上,无法处理多个目标甚至看不见目标的更实际的设置。在本文中,我们研究开放复合领域自适应(OCDA),它处理混合和新的情况下,在同一时间,语义分割。我们提出了一个新的框架,基于三个主要的设计原则:发现,幻觉,适应。该方案首先根据风格对复合目标数据进行聚类,发现多个潜在域(发现)。然后利用图像平移(hallucinate)技术在信源中产生多个潜在目标域。此步骤确保源和目标中的潜在域配对。最后,目标到源的对齐是在域之间单独学习的(适应)。在高层次上,我们的解决方案取代了硬OCDA问题更容易多UDA问题。我们在标准基准GTA到C驾驶上评估了我们的解决方案,并取得了新的最先进的结果。
2021-10-08 cs.AI cs.CV cs.LG
MLSL: Multi-Level Self-Supervised Learning for Domain Adaptation with Spatially Independent and Semantically Consistent Labeling
Information Technology University of Punjab(旁遮普信息技术大学)
大多数最近的深度语义分割算法遭受大的泛化误差,即使在基于卷积神经网络的强大的分层表示模型已经被采用。这可能是由于有限的训练数据和训练和测试域数据集中的大分布差距。本文提出了一种用于语义分割的领域自适应的多层次自监督学习模型。利用的想法,一个对象(和大多数的东西给定的上下文)应该被标记一致,无论其位置,我们生成空间独立和语义一致(SISC)的伪标签分割多个子图像使用基本模型和设计的聚合策略。图像级伪弱标记PWL,计算引导领域自适应通过捕获全局上下文相似性在潜在空间级的源和域。因此,即使与图像的其余部分相比,属于域类别的像素非常少(例如小对象),也可以帮助潜在空间学习表示。我们的多级自监督学习(MLSL)优于现有的最先进的(自我或对抗学习)算法。具体而言,保持所有设置相似并采用MLSL,与现有最先进的方法相比,我们在GTA-V到Cityscapes适配上获得了5:1%的mIoU增益,在SYNTHIA到Cityscapes适配上获得了4:3%的mIoU增益。
2019-09-30 cs.CV
Recursively Conditional Gaussian for Ordinal Unsupervised Domain Adaptation
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Harvard University(哈佛大学);The Hong Kong Polytechnic University(香港理工大学);Beth Israel Deaconess Medical Center, Harvard Medical School(贝斯以色列女执事医疗中心,哈佛医学院);Carnegie Mellon University(卡内基梅隆大学)
无监督的领域自适应(UDA)算法被广泛应用于解决数据可扩展性问题,而现有的算法主要集中在对离散标签的独立分类上。然而,在许多任务中(例如,医学诊断),标签是离散的并且连续分布。有序分类的UDA需要在潜在空间之前引入非平凡的有序分布。为此,定义了偏序集(poset)来约束隐向量。而不是典型的i.i.d.高斯潜在先验,在这项工作中,递归条件高斯(RCG)集适用于有序约束建模,它允许一个易处理的联合分布先验。此外,我们能够通过一个简单的“三西格玛规则”来控制违反偏序集约束的内容向量的密度。我们明确地将跨域图像分解为一个共享的有序先验诱导有序内容空间和两个独立的源/目标有序无关空间,并且在共享空间上进行自训练,专门用于有序感知域对齐。UDA医学诊断和面部年龄估计的大量实验证明了其有效性。
2021-08-17 cs.AI cs.CV cs.LG
Adversarial Domain Adaptation with Domain Mixup
Shanghai Jiao Tong University(上海交通大学);Huawei Hisilicon(华为海思);Youtu Lab, Tencent(腾讯优图实验室);Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Anhui University(安徽大学)
领域自适应的最新研究表明,对抗性学习可以有效地填补源域和目标域之间的差异。然而,目前基于对抗学习的方法存在两个常见的局限性。首先,仅来自两个域的样本不足以确保潜在空间的大部分的域不变性。其次,这些方法中涉及的领域分数只能在硬标签的指导下判断真假,而使用软分数来评估生成的图像或特征更合理,即,以充分利用域间信息。本文提出了一种基于领域混淆的对抗性领域自适应算法(DM-ADA),该算法在一个更连续的潜在空间中保证领域不变性,并指导领域自适应器判断样本相对于源域和目标域的差异。为了提高模型的鲁棒性,在像素级和特征级上联合进行域混淆。大量的实验证明,该方法可以实现优越的性能与不同程度的领域转移和数据复杂性的任务。
2019-12-04 cs.CV cs.LG
DRANet: Disentangling Representation and Adaptation Networks for Unsupervised Cross-Domain Adaptation
DGIST(大邱庆北科学技术院);POSTECH(浦项科技大学)
在本文中,我们提出了DRANet,一个网络架构,解开图像表示和转移的视觉属性在一个潜在的空间,无监督的跨领域自适应。与现有的领域自适应方法,学习共享域的相关功能,DRANet保留了每个域的特性的独特性。我们的模型编码的内容(场景结构)和风格(艺术外观)从源和目标图像的个人表示。然后,它通过将传输的风格因子与为每个域指定的可学习权重一起合并到内容因子中来适应域。该学习框架允许利用单个编码器-解码器网络进行双向/多向领域自适应,并对齐它们的域移位。此外,我们提出了一个内容自适应域转移模块,有助于保留场景结构,同时转移风格。大量的实验表明,我们的模型成功地分离内容风格的因素,并合成视觉上令人愉快的域转移图像。所提出的方法在标准数字分类任务以及语义分割任务上展示了最先进的性能。
2021-03-28 cs.CV
Road Scenes Segmentation Across Different Domains by Disentangling Latent Representations
University of Padova(帕多瓦大学)
深度学习模型在道路场景理解中获得了令人印象深刻的准确性,但它们需要大量的标记样本进行训练。此外,这种模型不能很好地推广到数据的统计特性与训练场景的统计特性不完全匹配的环境中,这对智能车辆来说可能是一个重大问题。因此,领域自适应方法已被引入到标签丰富的源域上获取的知识转移到相关的标签稀缺的目标域。在这项工作中,我们设计并仔细分析了多个潜在的空间塑造正则化策略,这些策略共同作用以减少域转移。更详细地说,我们设计了一个功能聚类策略,以增加域对齐,一个功能的约束空间分开属于不同的语义类的功能,包括那些不存在于当前批次,和一个功能规范对齐策略,以分离活跃和不活跃的渠道。此外,我们提出了一种新的评估指标,以捕获自适应模型相对于监督训练的相对性能。我们在驾驶场景中验证了我们的框架,考虑到合成到真实和真实到真实的适应,在多个道路场景基准上优于以前的特征级最先进的方法。
2021-10-27 cs.CV
Latent Domain Modeling Improves Robustness to Geographic Shifts
Microsoft(微软公司);University of Colorado Boulder(科罗拉多大学博尔德分校)
本文提出了一种基于潜在领域建模的框架,通过整合地理坐标提升对地理偏移的鲁棒性,在多个数据集上取得显著改进。
2026-02-09 cs.CV cs.LG
Domain Adaptation with a Single Vision-Language Embedding
Inria(法国国家信息与自动化研究所);Kyutai(Kyutai公司)
提出一种利用单一视觉-语言(VL)嵌入进行域适应的框架,通过提示/照片驱动的实例归一化(PIN)挖掘多种视觉风格,实现零样本和单样本无监督域适应,在语义分割任务上优于基线方法。
2026-05-30 cs.CV cs.LG
Unsupervised Video Domain Adaptation for Action Recognition: A Disentanglement Perspective
ByteDance(字节跳动);National University of Singapore(新加坡国立大学);MBZUAI(穆罕默德·本·扎耶德人工智能大学);University of Technology Sydney(悉尼科技大学)
本文首次从解耦视角解决无监督视频域适应问题,提出TranSVAE框架分别处理空间与时间域差异,通过约束潜在因素和对抗学习显著提升了动作识别性能。
2023-10-24 cs.AI cs.CV cs.LG
LLEDA -- Lifelong Self-Supervised Domain Adaptation
University of Lincoln(林肯大学);University of Aberdeen(阿伯丁大学)
本文提出LLEDA框架,借鉴互补学习系统理论,通过域自适应网络与自监督网络交互及潜在回放机制,实现终身域自适应并缓解灾难性遗忘。
2023-08-07 cs.CV cs.LG
Factorized Adversarial Networks for Unsupervised Domain Adaptation
Rutgers University(罗格斯大学);Toutiao AI Lab(今日头条AI实验室);Snap Research(Snap研究)
在本文中,我们提出了因子化对抗网络(FAN)解决无监督领域自适应问题的图像分类任务。我们的网络将数据分布映射到一个潜在的特征空间,该空间被分解为一个包含特定领域特征的特定领域子空间和一个保留类别信息的特定任务子空间,分别用于源域和目标域。无监督领域自适应通过对抗训练来实现,以最小化来自源域和目标域的两个任务特定子空间的分布之间的差异。我们证明,所提出的方法优于国家的最先进的方法在文献中使用的多个基准数据集的无监督领域自适应。此外,我们收集了两个比现有基准数据集大得多的真实世界的标记数据集,并在基线上得到了显着的改进,证明了我们的方法的实用价值。
2018-06-04 cs.CV cs.LG
EgoBridge: Domain Adaptation for Generalizable Imitation from Egocentric Human Data
Georgia Institute of Technology(佐治亚理工学院)
EgoBridge通过基于最优传输的领域自适应联合训练框架,对齐人类与机器人策略潜在空间,在真实操作任务中实现44%的成功率提升,并泛化到新场景。
2025-09-23 cs.CV cs.LG cs.RO
A Prototype-Oriented Framework for Unsupervised Domain Adaptation
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Cornell University(康奈尔大学);Xidian University(西安电子科技大学)
用于无监督领域自适应的现有方法通常依赖于最小化潜在空间中的源样本和目标样本之间的某些统计距离。为了避免经常困扰这些方法的采样可变性,类不平衡和数据隐私问题,我们提供了一个内存和计算效率高的概率框架来提取类原型并将目标特征与它们对齐。我们证明了我们的方法在广泛的场景,包括单源,多源,类不平衡,和源私有领域自适应的普遍适用性。不需要额外的模型参数,并有一个温和的增加计算源模型单独,所提出的方法实现了具有竞争力的性能与国家的最先进的方法。
2021-10-22 cs.CV cs.LG stat.ML
Unsupervised Latent Stain Adaptation for Computational Pathology
University of Regensburg(雷根斯堡大学);Hannover Medical School(汉诺威医学院);Fraunhofer Institute for Digital Medicine MEVIS(弗劳恩霍夫数字医学梅维斯研究所)
本文提出无监督潜在染色适应(ULSA)框架,通过染色转换生成合成目标图像并结合染色不变特征一致性学习,在无目标染色标注的情况下实现肾脏组织分割和乳腺癌分类的最先进性能。
2024-07-03 cs.CV eess.IV
Unsupervised Domain Adaptation for Semantic Segmentation using One-shot Image-to-Image Translation via Latent Representation Mixing
Gebze Technical University(盖布泽技术大学);Sabanci University(萨班哲大学)
本文提出一种基于潜在表示混合的一次性图像到图像翻译的无监督域自适应方法,用于超高分辨率图像语义分割,仅需单个目标域样本即可实现语义一致且无噪声的跨域迁移,并在跨城市实验中优于现有方法。
2022-12-07 cs.CV eess.IV
PERL: Parameter Efficient Reasoning in CLIP Latent Space
University of Catania(卡塔尼亚大学)
本文提出PERL,一种在CLIP潜在空间中通过迭代潜在推理实现参数高效适应的框架,该方法在多个基准测试中表现出最佳的参数-性能权衡,仅需约6K可训练参数即可实现强的新型类别准确率和竞争性的迁移性能。
2026-05-19 cs.CV
In-Loop Model Adaptation with Coupled Latent-Noise Guidance for High-Fidelity Subject-Driven Text-to-Image Generation
Southern University of Science and Technology(南方科技大学);University of Science and Technology of China(中国科学技术大学);Pengcheng Lab(鹏城实验室)
本研究针对主体驱动文本到图像生成中参考图像变化时模型难适配且难保持主体身份的问题,提出IMA方法,通过耦合潜在噪声损失引导循环内模型适配,提升了生成性能。
2026-08-11 cs.CV
Meta-Learning with Latent Embedding Optimization
DeepMind(深度思维)
基于元学习的元学习技术在解决具有挑战性的少样本学习和快速适应问题方面具有广泛的适用性和熟练性。然而,他们有实际的困难时,在高维参数空间在极低的数据制度。我们表明,通过学习模型参数的数据依赖的潜在生成表示,并在这个低维潜在空间中执行基于梯度的元学习,可以绕过这些限制。由此产生的方法,潜在的嵌入优化(LEO),从底层的高维空间的模型参数的梯度为基础的适应过程。我们的评估表明,LEO可以在竞争性的miniImageNet和tieredImageNet Few-Shot分类任务上实现最先进的性能。进一步的分析表明,LEO能够捕获数据中的不确定性,并通过优化潜在空间来更有效地进行自适应。
2019-03-26 cs.CV cs.LG stat.ML
CLUE: Leveraging Low-Rank Adaptation to Capture Latent Uncovered Evidence for Image Forgery Localization
本文提出CLUE框架,利用LoRA将Stable Diffusion 3重新配置为取证特征提取器,结合SAM图像编码器捕获潜在伪造证据,实现高泛化、高鲁棒性的图像伪造定位。
2025-08-10 cs.CV
SeLoRA: Self-Expanding Low-Rank Adaptation of Latent Diffusion Model for Medical Image Synthesis
University of Edinburgh(爱丁堡大学);Harvard Medical School(哈佛医学院);Heriot-Watt University(赫瑞瓦特大学);Imperial College London(伦敦帝国学院);Athena Research Centre(雅典娜研究中心)
针对医学图像合成数据稀缺及LoRA直接应用秩一致的问题,提出自扩展低秩适配模块SeLoRA,动态调整各层秩,在关键层增秩,以最小秩实现更优的医学图像合成质量且代码开源。
2024-08-13 cs.CV
EvRT-DETR: Latent Space Adaptation of Image Detectors for Event-based Vision
Brookhaven National Laboratory(布鲁克海文国家实验室)
本文提出I2EvDet框架,通过潜在空间适配将RT-DETR图像检测器转化为事件相机检测模型,在Gen1和Gen4基准上达到最先进性能。
2025-08-04 cs.CV
Online Continual Domain Adaptation for Semantic Image Segmentation Using Internal Representations
University of Southern California(南加州大学)
提出一种在线无监督域自适应算法,通过高斯混合模型近似源特征分布并在共享空间最小化分布距离,解决了源数据受限时图像语义分割的跨域泛化问题。
2024-01-02 cs.CV
AdaptiveCDM: Source-Free Few-Shot Domain Adaptation for Cell Detection in Microscopic Images
Information Technology University(信息技术大学);Intelligent Machines Lab(智能机器实验室)
针对显微图像细胞检测的跨域性能下降,提出源数据不可用少样本域自适应框架AdaptiveCDM,结合分辨率感知增强与类别感知表示学习,仅用少量目标标注图像即可达到SOTA性能。
2026-09-22 cs.CV
Latent Spatiotemporal Adaptation for Generalized Face Forgery Video Detection
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);University of Chinese Academy of Sciences(中国科学院大学);Tsinghua University(清华大学);RealAI
针对未知伪造方法下人脸伪造视频检测泛化不足的问题,提出 LAST,在隐空间建模并半监督自适应时空模式,结合真实视频自监督预训练,实现更优泛化与鲁棒性。
2024-10-24 cs.CV
Test-Time Adaptation of 3D Point Clouds via Denoising Diffusion Models
York University(约克大学);Data61-CSIRO;Australian National University(澳大利亚国立大学);North South University(北南大学);University of Adelaide(阿德莱德大学)
本文提出3DD-TTA方法,利用VAE编码受损点云并通过去噪扩散过程在保持源模型参数不变的情况下实现三维点云测试时自适应,在多个数据集上取得领先结果。
2024-11-21 cs.CV
A Novel Approach to Industrial Defect Generation through Blended Latent Diffusion Model with Online Adaptation
Jiangxi Normal University(江西师范大学);Zhejiang University(浙江大学);Swansea University(斯旺西大学);Northwestern Polytechnical University(西北工业大学);Zhengzhou University(郑州大学)
本文提出一种定制混合潜在扩散模型并采用三阶段推理策略的缺陷样本生成算法,通过高质量合成样本显著提升了工业异常检测在MVTec AD数据集上的SOTA性能。
2024-03-26 cs.CV cs.MM
Few-Shot Keypoint Detection as Task Adaptation via Latent Embeddings
University College London(伦敦大学学院);DeepMind
密集目标跟踪是以像素级精度定位特定目标点的能力,是一项重要的计算机视觉任务,在机器人技术中有许多下游应用。现有的方法要么在一次向前传递中计算密集的关键点嵌入,这意味着模型被训练成一次跟踪所有内容,要么将其全部容量分配给稀疏的预定义点集,以通用性换取准确性。在本文中,我们探讨了一个中间立场的基础上观察到的相关点的数量在一个给定的时间通常是相对较少的,例如,把握点的目标对象。我们的主要贡献是一种新颖的架构,灵感来自于Few-Shot任务自适应,它允许稀疏风格的网络以关键点嵌入为条件,指示要跟踪的点。我们的主要发现是,这种方法提供了密集嵌入模型的通用性,同时提供了更接近稀疏关键点方法的准确性。我们目前的结果说明了这种能力与精度的权衡,并证明了zero-shot转移到新的对象实例(类内)使用一个真正的机器人拾取和放置任务的能力。
2021-12-13 cs.CV cs.RO
NEO: No-Optimization Test-Time Adaptation through Latent Re-Centering
University of Birmingham(伯明翰大学);Brave Software Research(Brave软件研究);University of Cambridge(剑桥大学)
NEO通过潜在空间重新定位实现无超参数的测试时间适应,仅需少量计算即可显著提升分类准确率,适用于多个数据集和设备。
2026-05-09 cs.CV cs.LG
Unsupervised Modality Adaptation with Text-to-Image Diffusion Models for Semantic Segmentation
East China University of Science and Technology(华东理工大学);vivo Mobile Communication Co., Ltd(维沃移动通信有限公司);Peng Cheng Laboratory(鹏城实验室);Singapore Management University(新加坡管理大学)
针对现有语义分割无监督域自适应仅适配图像域、难应用于多模态场景的问题,提出MADM方法,通过扩散伪标签生成、标签调色板与潜在回归提升跨模态能力,在多模态任务上取得SOTA性能并开源。
2024-10-29 cs.CV
Privacy-Preserving Low-Rank Adaptation against Membership Inference Attacks for Latent Diffusion Models
The University of Auckland(奥克兰大学);The National University of Singapore(新加坡国立大学);The University of Melbourne(墨尔本大学);King Abdullah University of Science and Technology(阿卜杜拉国王科技大学)
针对LoRA适配的潜在扩散模型易受成员推理攻击的问题,提出SMP-LoRA,通过最小化适配损失与MI增益的比率实现隐私保护,并理论证明其收敛性,实验验证能防御攻击并生成高质量图像。
2024-12-16 cs.CR cs.CV cs.LG
TOLA: Text-aware One-Step Latent Adaptation for Diffusion-based Text Image Super-Resolution
Shanghai Jiao Tong University(上海交通大学);University of Chinese Academy of Sciences(中国科学院大学);Shanghai AI Laboratory(上海人工智能实验室)
TOLA提出一种文本感知单步潜在适配框架,通过置信度加权文本条件模块和轻量级潜在残差校正模块,在无需迭代图像-文本扩散的情况下,实现文本图像超分辨率,并在CTR-TSR-Test和RealCE-200基准上取得最优性能,PSNR至少提升2.72 dB。
2026-09-25 cs.AI cs.CV
Test-time adaptation for image compression with distribution regularization
City University of Hong Kong(香港城市大学)
针对跨域图像压缩中潜在表示精修方法率失真性能下降的问题,通过理论分析揭示高斯条件与超先验分布的失配,并提出一种即插即用的贝叶斯分布正则化方法以优化联合概率近似,显著提升了跨域压缩性能并易于集成。
2024-10-16 cs.CV cs.MM