Unsupervised Domain Adaptation within Deep Foundation Latent Spaces
School of Computing and Communications(计算与通信学院);Lancaster University(兰卡斯特大学)
本文在原型网络框架下研究ViT、Dino-V2等视觉基础模型在无微调条件下解决无监督域适应的能力,证明其优于现有基线并指出仍存在的局限。
2024-02-22 cs.AI cs.CV cs.LG
MEnsA: Mix-up Ensemble Average for Unsupervised Multi Target Domain Adaptation on 3D Point Clouds
Simon Fraser University(西蒙菲莎大学);Yonsei University(延世大学)
针对3D点云无监督多目标域自适应问题,提出混合集成平均方法MEnsA,通过混合所有域特征并利用域分类器提升共享潜在空间中的特征区分能力,在PointDA-10数据集上显著超越现有STDA和MTDA方法。
2023-04-06 cs.AI cs.CV
Federated Unsupervised Domain Adaptation for Face Recognition
S-Lab, NTU(新加坡南洋理工大学S实验室);NTU(新加坡南洋理工大学);SenseTime Research(商汤科技研究院)
在给定源域中的标记数据的情况下,无监督的领域自适应已被广泛地用于对目标域中的未标记数据(其数据分布是不同的)进行模型泛化。然而,现有的工作是不适用于人脸识别的隐私约束下,因为它们需要域之间的敏感的人脸图像共享。为了解决这个问题,我们提出了联邦无监督领域自适应的人脸识别,FedFR。FedFR联合优化了基于聚类的领域自适应和联邦学习,以提高目标领域的性能。具体来说,对于目标域中的未标记数据,我们增强了距离约束的聚类算法,以提高预测伪标签的质量。此外,我们提出了一种新的域约束损失(DCL)规范源域训练联邦学习。在一个新构建的基准上进行的大量实验表明,在不同的评估指标上,FedFR在目标域上的性能优于基线和经典方法3%到14%。
2022-04-09 cs.AI cs.CV cs.DC
Learning Invariant Representation and Risk Minimized for Unsupervised Accent Domain Adaptation
Ping An Technology(平安科技)
语音音频的无监督表示学习在语音识别任务中获得了令人印象深刻的性能,特别是当注释语音有限时。然而,无监督范式需要仔细设计,并且对这些表示获得的属性知之甚少。不能保证模型学习有意义的表示,以获得有价值的信息进行识别。此外,学习到的表示对其他领域的适应能力仍然需要估计。在这项工作中,我们探索通过直接映射语音表示到其相应的高级语言信息来学习域不变表示。实验结果表明,习得的潜伏期不仅捕捉到了每个音素的发音特征,而且增强了适应能力,在重音基准测试中的表现大大优于基线。
2022-10-29 cs.AI cs.CL cs.SD
UADA3D: Unsupervised Adversarial Domain Adaptation for 3D Object Detection with Sparse LiDAR and Large Domain Gaps
KTH Royal Institute of Technology(瑞典皇家理工学院);Hamburg University of Technology(汉堡工业大学)
本文提出UADA3D,一种不依赖预训练源模型或师生架构的无监督对抗域适应方法,用于在稀疏LiDAR点云和大域差距条件下提升3D目标检测性能,并在自动驾驶汽车与移动机器人场景中验证了有效性。
2024-10-21 cs.AI cs.CV cs.RO
Simplified Neural Unsupervised Domain Adaptation
Boston Children’s Hospital(波士顿儿童医院);Harvard Medical School(哈佛医学院)
针对无监督领域自适应任务,本文提出将表示学习器与任务学习器联合训练以改进现有最先进方法,并考察了现有枢纽特征选择方法的重要性。
2019-05-22 cs.AI cs.CL cs.LG
Unsupervised Noise adaptation using Data Simulation
Nanyang Technological University(南洋理工大学);Nanjing University of Posts and Telecommunications(南京邮电大学)
基于深度神经网络的语音增强方法旨在使用监督学习范例来学习噪声到干净的变换。然而,这种训练良好的变换容易受到未包括在训练集中的不可见噪声的影响。在这项工作中,我们专注于语音增强中的无监督噪声自适应问题,其中目标域数据的地面真值完全不可用。具体来说,我们提出了一种基于生成对抗网络的方法,使用几分钟的未配对目标域数据来有效地学习逆清洁到噪声变换。然后,利用该变换来生成用于增强模型的领域自适应的足够的模拟数据。实验结果表明,该方法有效地缓解了训练集和测试集之间的领域不匹配,并大大超过了最佳基线。
2023-02-23 cs.AI cs.SD eess.AS
Domain-Specific Batch Normalization for Unsupervised Domain Adaptation
Seoul National University(首尔国立大学);POSTECH(浦项科技大学)
提出了一种基于深度神经网络中特定领域批量归一化的无监督领域自适应框架。我们的目标是通过专门化卷积神经网络中的批量归一化层来适应这两个领域,同时允许它们共享所有其他模型参数,这是通过两阶段算法实现的。在第一阶段,我们估计伪标签的例子在目标领域使用外部无监督的领域自适应算法-例如,MPERANT或CPUA-集成建议的特定领域的批量归一化。第二阶段使用源域和目标域的多任务分类损失来学习最终模型。请注意,这两个域在两个阶段中都有单独的批量归一化层。我们的框架可以很容易地结合到基于深度神经网络的领域自适应技术与批量归一化层。我们还提出,我们的方法可以扩展到多个源域的问题。该算法在多个基准数据集上进行了评估,并在标准设置和多源域适应场景中达到了最先进的精度。
2019-05-27 cs.AI cs.LG stat.ML
Unsupervised Few-Shot Action Recognition via Action-Appearance Aligned Meta-Adaptation
Microsoft(微软);Oregon State University(俄勒冈州立大学)
我们提出MetaUVFS作为第一个无监督Meta学习算法的视频Few-Shot动作识别。MetaUVFS利用超过55万个未标记的视频,通过对比学习来训练双流2D和3D CNN架构,以分别捕获特定于外观的空间和特定于动作的时空视频特征。MetaUVFS包括一个新的视频-外观对齐元自适应(A3 M)模块,该模块通过在无监督的硬挖掘剧集上的显式Few-Shot情节元学习来学习关注与外观特征相关的面向动作的视频特征。我们的动作外观对齐和显式的Few-Shot学习器使无监督训练能够模仿下游的Few-Shot任务,使MetaUVFS在Few-Shot基准测试中显著优于所有无监督方法。此外,与以前的有监督的Few-Shot动作识别方法不同,MetaUVFS既不需要基类标签,也不需要有监督的预训练骨干。因此,我们只需要训练MetaUVFS一次,就可以在流行的HMDB 51、UCF 101和Kinetics 100 Few-Shot数据集上与最先进的监督方法竞争,有时甚至优于它们。
2021-10-11 cs.AI cs.CV cs.LG
Complementary Domain Adaptation and Generalization for Unsupervised Continual Domain Shift Learning
Graduate School of Data Science(数据科学研究生院);Seoul National University(首尔国立大学)
针对无监督持续域偏移学习,提出互补域适应与泛化框架CoDAG,兼顾适应当前域、泛化未见域与防遗忘,模型无关且在多个基准上超越现有方法。
2023-10-13 cs.AI cs.CV cs.LG
Unsupervised Learning of Sentence Embeddings using Compositional n-Gram Features
Iprova SA(Iprova股份公司);EPFL(洛桑联邦理工学院)
最近无监督词嵌入在众多应用中取得的巨大成功提出了一个明显的问题,即是否也可以导出类似的方法来改进词序列的嵌入(即语义表示)。我们提出了一个简单而有效的无监督目标训练分布式表示的句子。我们的方法在大多数基准任务上的表现优于最先进的无监督模型,突出了所产生的通用句子嵌入的鲁棒性。
2018-12-28 cs.AI cs.CL cs.IR
GeoNet: Benchmarking Unsupervised Adaptation across Geographies
UC San Diego(加州大学圣迭戈分校)
近年来,一些努力旨在提高视觉模型对训练期间看不到的领域和环境的鲁棒性。一个重要的实际问题涉及部署在新地理环境中的模型,该模型在训练数据集中代表性不足,对公平和包容的计算机视觉构成直接挑战。在本文中,我们研究了地理鲁棒性问题,并作出了三个主要贡献。首先,我们介绍了一个大规模的地理适应数据集GeoNet,其中包含场景识别(GeoPlaces),图像分类(GeoImNet)和通用适应(GeoUniDA)等不同任务的基准。其次,我们调查的性质分布偏移典型的地理适应性问题,并假设域转移的主要来源产生的显着变化,场景上下文(上下文转移),对象设计(设计转移)和标签分布(事先转移)跨地域。第三,我们对GeoNet上的几种最先进的无监督领域自适应算法和架构进行了广泛的评估,结果表明它们不足以适应地理环境,并且使用大型视觉模型进行大规模预训练也不会导致地理鲁棒性。我们的数据集可在https://tarun005.github.io/GeoNet上公开获取。
2023-03-27 cs.AI cs.CV cs.LG
CARLANE: A Lane Detection Benchmark for Unsupervised Domain Adaptation from Simulation to multiple Real-World Domains
University of Applied Science Kempten(肯普滕应用科学大学);Autonomous University of Barcelona(巴塞罗那自治大学);Technische Universität Berlin(柏林工业大学)
本文提出CARLANE基准,包含三个仿真到真实域的车道检测数据集,评估多种无监督域自适应方法并揭示其与全监督方法的性能差距,以推动自动驾驶车道检测域自适应研究。
2023-08-07 cs.AI cs.CV cs.LG
Tackling unsupervised multi-source domain adaptation with optimism and consistency
INESC TEC(葡萄牙工程与技术研究所);University of Porto(波尔图大学)
一段时间以来,已知多源领域自适应的问题可以被视为单源领域自适应任务,其中源领域对应于原始源领域的混合。尽管如此,如何调整混合分布权重仍然是一个悬而未决的问题。此外,大多数现有的工作在这个主题只集中在最大限度地减少错误的源域和实现域不变的表示,这是不够的,以确保低错误的目标域。在这项工作中,我们提出了一个新的框架,解决了这两个问题,并通过使用温和乐观的目标函数和目标样本的一致性正则化击败了目前的最新技术水平。
2020-09-29 cs.AI cs.CV cs.LG