Behavior From the Void: Unsupervised Active Pre-Training
UC Berkeley(加州大学伯克利分校)
我们引入了一种新的无监督预训练方法用于强化学习,称为APT,代表主动预训练。APT通过在无奖励环境中主动搜索新状态来学习行为和表示。关键的新颖想法是通过最大化在抽象表示空间中计算的非参数熵来探索环境,这避免了具有挑战性的密度建模,因此允许我们的方法在具有高维观测的环境中更好地扩展(例如,图像观察)。我们通过在长时间无监督的预训练阶段后暴露特定于任务的奖励来经验性地评估APT。在Atari游戏中,APT在12个游戏中实现了人类水平的性能,与规范的全监督RL算法相比,获得了极具竞争力的性能。在DMControl套件上,APT在渐进性能和数据效率方面击败了所有基准,并显著提高了从头开始训练极其困难的任务的性能。
2021-10-28 cs.LG
Joint Semantic Domain Alignment and Target Classifier Learning for Unsupervised Domain Adaptation
JD AI Research(京东人工智能研究院);University of Science and Technology of China(中国科学技术大学);Nanjing University(南京大学)
无监督领域自适应的目的是以无监督的方式将从源域学习到的分类器转移到目标域。在目标伪标签的帮助下,对齐类级分布和学习目标域中的分类器是两个广泛使用的目标。现有的方法往往分别优化这两个单独的目标,这使得他们遭受的忽视其他。然而,将这两个方面一起优化并不是微不足道的。为了缓解上述问题,我们提出了一种新的方法,以整体的方式联合优化语义域对齐和目标分类器学习。联合优化机制既可以消除它们的弱点,又可以实现它们的优势互补。理论分析也验证了联合优化机制的优越性。在基准数据集上的大量实验表明,与现有的无监督领域自适应方法相比,该方法具有最好的性能。
2019-06-10 cs.LG stat.ML
Unsupervised Domain Adaptation Through Transferring both the Source-Knowledge and Target-Relatedness Simultaneously
School of Computer and Software, Nanjing University of Information Science and Technology(南京信息工程大学计算机与软件学院);Engineering Research Center of Digital Forensics, Ministry of Education, Nanjing University of Information Science and Technology(南京信息工程大学教育部数字取证工程研究中心);College of Computer Science and Technology, Nanjing University of Aeronautics and Astronautic(南京航空航天大学计算机科学与技术学院)
无监督领域自适应(UDA)是机器学习和模式识别领域的一个新兴研究课题,旨在通过从源领域转移知识来帮助未标记目标领域的学习。
2021-12-24 cs.LG stat.ML
Domain Discrepancy Measure for Complex Models in Unsupervised Domain Adaptation
The University of Tokyo(东京大学);RIKEN(理化学研究所)
适当地评估领域之间的差异对于无监督领域自适应的成功至关重要。在本文中,我们首先指出,现有的差异措施是较少的信息时,使用复杂的模型,如深度神经网络,除了事实上,他们可以计算要求很高,其应用范围仅限于二进制分类。然后,我们提出了一种新的域差异的措施,称为配对假设差异(PHD),以克服这些缺点。PHD是计算效率高,适用于多类分类。通过泛化误差界分析,我们从理论上证明了PHD即使对复杂模型也是有效的。最后,我们通过实验证明了PHD的实用性。
2019-10-22 cs.LG stat.ML
Unsupervised Domain Adaptation Based on Source-guided Discrepancy
The University of Tokyo(东京大学);RIKEN(理化学研究所)
无监督领域自适应是这样一种问题设置,其中源域和目标域中的数据生成分布不同,并且目标域中的标签不可用。无监督领域自适应中的一个重要问题是如何度量源域和目标域之间的差异。先前提出的不使用源域标签的差异需要高的计算成本来估计,并且可能导致目标域中的松散的泛化误差界。为了缓解这些问题,我们提出了一种新的差异称为源引导的差异(S盘),它利用标签在源域。因此,S盘可以有效地计算有限样本收敛保证。此外,我们表明,S-光盘可以提供一个更严格的泛化误差界比一个基于现有的差异。最后,我们报告的实验结果表明,S盘的优势,现有的差异。
2018-11-19 cs.LG stat.ML
Deep Discriminative Learning for Unsupervised Domain Adaptation
领域自适应方法的主要目的是将知识从源领域转移到具有相似但不同数据分布的目标领域。因此,为了正确地对未标记的目标域样本进行分类,标准方法是学习源域和目标域两者的共同表示,从而间接地解决在目标域中学习分类器的问题。然而,这样的方法不直接解决目标域中的分类任务。相比之下,我们提出了一种方法,直接解决了在未标记的目标域中学习分类器的问题。特别地,我们训练分类器以正确地分类训练样本,同时以无监督的方式对目标域中的样本进行分类。相应的模型被称为用于领域自适应的鉴别编码(DEDA)。我们表明,这种简单的方法执行无监督领域自适应确实是相当强大的。我们的方法在各种图像分类基准上实现了无监督自适应任务的最新结果。我们还在Amazon评论情感分类数据集中获得了领域自适应的最新性能。我们进行额外的实验时,源数据具有较少的标记的例子,也对zero-shot领域自适应任务,其中没有目标域样本用于训练。
2019-08-09 cs.LG stat.ML
A Survey of Unsupervised Deep Domain Adaptation
Washington State University(华盛顿州立大学)
深度学习已经为各种任务产生了最先进的结果。虽然这种用于监督学习的方法表现良好,但它们假设训练和测试数据来自相同的分布,但情况并非总是如此。作为对这一挑战的补充,单源无监督领域自适应可以处理这样的情况,即在来自源域的标记数据和来自相关但不同的目标域的未标记数据上训练网络,目标是在目标域上的测试时表现良好。因此,已经开发了许多单源和通常同质的无监督深度领域自适应方法,将来自深度学习的强大的分层表示与领域自适应相结合,以减少对潜在昂贵的目标数据标签的依赖。本调查将通过检查替代方法,独特和共同的元素,结果和理论见解来比较这些方法。接下来,我们来看看应用领域和开放的研究方向。
2020-02-06 cs.LG stat.ML
Exploiting Local Feature Patterns for Unsupervised Domain Adaptation
Qiushi Academy for Advanced Studies, Zhejiang University(浙江大学求是高等研究院);International School of Information Science & Engineering, Dalian University of Technology(大连理工大学国际信息与软件学院);Zhejiang University School of Medicine(浙江大学医学院);State University of New York at Buffalo(纽约州立大学布法罗分校)
无监督领域自适应方法通过学习领域不变的表示来减轻由领域移位引起的性能下降。现有的深度领域自适应方法通过匹配源和目标整体特征分布来关注整体特征对齐,而不考虑局部特征及其多模统计。我们发现,学习的局部特征模式是更通用和可转移的,进一步的局部特征分布匹配,使细粒度的特征对齐。在本文中,我们提出了一种学习域不变的局部特征模式,并联合调整整体和局部特征统计的方法。在两个流行的基准数据集上与最先进的无监督领域自适应方法进行比较,证明了该方法的优越性及其在减轻负迁移方面的有效性。
2018-11-18 cs.LG stat.ML
Using Latent Codes for Class Imbalance Problem in Unsupervised Domain Adaptation
Naver Labs Europe(Naver Labs欧洲)
当源域和目标域中的类空间有很大差异时,我们解决了无监督领域自适应中严重的类不平衡问题。直到最近,领域自适应方法假设对齐的类空间,使得减少分布发散使得域之间的转移更容易。这种对齐假设在现实世界的场景中是无效的,其中一些源类通常在目标域中表示不足或根本不存在。我们修改了目前的类不平衡的方法,并提出了一个新的使用潜在代码的对抗领域自适应框架。我们展示了如何潜在的代码可以用来解开沉默的结构的目标域,并确定代表性不足的类。我们展示了如何学习潜在代码重构与域不变表示,并使用它们来准确地估计目标标签。
2019-09-17 cs.LG stat.ML
Collaborative Unsupervised Domain Adaptation for Medical Image Diagnosis
South China University of Technology(华南理工大学);Tencent AI Lab(腾讯人工智能实验室)
基于深度学习的医学影像诊断在临床医学中显示出巨大的潜力。然而,它在实践中经常遭受两个主要困难:1)由于医学图像上昂贵的注释成本,只有有限的标记样本可用; 2)标记图像可能包含相当大的标记噪声(例如,标签错误),因为诊断困难。在本文中,我们试图利用丰富的相关领域的标记数据,以帮助学习的目标任务与无监督领域自适应(UDA)。与大多数现有的UDA方法依赖于干净的标记数据或假设样本是平等可转移的不同,我们提出了一种新的协作无监督领域自适应算法,以进行可转移性感知的领域自适应,并以合作的方式克服标签噪声。实验结果验证了该方法的优越性。
2019-11-17 cs.LG stat.ML
Deep causal representation learning for unsupervised domain adaptation
Arizona State University(亚利桑那州立大学);Army Research Lab(陆军研究实验室)
研究表明,深度神经网络学习的表示可以转移到其他领域的类似预测任务中,而我们没有足够的标记数据。然而,当我们过渡到模型中的更高层时,表示变得更加特定于任务,并且不那么可推广。最近关于深度领域自适应的研究提出通过迫使深度模型学习跨领域的更多可转移特征表示来缓解这个问题。这是通过将领域自适应方法合并到深度学习流水线中来实现的。大多数现有的模型学习与结果高度相关的可转移特征表示。然而,相关性并不总是可转移的。在本文中,我们提出了一种新的深度因果表示学习框架,用于无监督领域自适应,在该框架中,我们提出从源域学习输入的域不变因果表示。我们模拟一个虚拟的目标域使用重新加权的样本从源域和估计的因果关系的影响功能的结果。广泛的比较研究表明,所提出的模型的优势,无监督领域自适应通过因果关系表示。
2019-10-28 cs.LG stat.ML
Discriminative Clustering for Robust Unsupervised Domain Adaptation
Duke University(杜克大学)
无监督的领域自适应试图通过利用标记源数据集的信息来学习未标记目标域的不变和判别表示。我们建议通过同时学习紧密聚类的目标表示来提高目标域表示的区分能力,同时鼓励每个聚类被分配到一个独特的和不同的类。这种策略将负迁移的影响与源和目标表征之间的对抗性域匹配相结合。我们的方法是强大的源和目标标签分布的差异,因此适用于平衡和不平衡的领域自适应任务,并与一个简单的扩展,它也可以用于部分领域自适应。在多个领域自适应基准数据集上的实验表明,该方法在平衡、不平衡和部分领域自适应三种情况下均能获得最佳性能.
2019-05-30 cs.LG stat.ML
Contrastively Smoothed Class Alignment for Unsupervised Domain Adaptation
Duke University(杜克大学);Microsoft Dynamics 365 AI Research(微软Dynamics 365人工智能研究院);Microsoft Research(微软研究院)
最近的领域自适应的无监督方法主要集中在通过改进特征生成器来最小化源域和目标域之间的间隙,以便学习两个域之间的更好对齐。这种最小化可以通过域分类器来实现,以检测与源域特征不同的目标域特征。然而,通过这种域分类差异进行优化,往往会错过在低维数据流形上不平滑分布的模糊目标样本。为了解决这个问题,我们提出了一种新的对比平滑类对齐(CoSCA)模型,显式地结合了类内和类间域的差异,以更好地对齐模糊的目标样本与源域。CoSCA估计目标样本的潜在标签假设,同时通过优化建议的对比损失来适应它们的特征表示。此外,最大平均离散度(MMD)被用来直接匹配源和目标样本之间的特征,以更好的全局对齐。在几个基准数据集上的实验表明,CoSCA可以通过产生更多的判别特征来优于最先进的无监督领域自适应方法。
2020-10-06 cs.LG stat.ML
A Novel Unsupervised Post-Processing Calibration Method for DNNS with Robustness to Domain Shift
Laval University(拉瓦尔大学)
不确定性估计在实际决策应用中是至关重要的,特别是当训练数据和测试数据之间存在分布偏移时。文献中提出了许多校准方法来改善DNN的预测不确定性,DNN通常没有很好地校准。然而,它们中没有一个是专门设计用于在域移位条件下正常工作的。在本文中,我们提出了无监督温度标度(UTS)作为一个强大的校准方法域移位。它利用未标记的测试样本而不是训练样本来调整深度模型对测试分布的不确定性预测。UTS采用了一种新的损失函数,加权NLL,它允许无监督校准。我们在广泛的模型数据集上评估UTS,以显示无标签校准的可能性,并证明UTS与其他方法(例如,TS,MC-脱落,SVI,系综)。
2019-11-25 cs.LG stat.ML
A Theory of Output-Side Unsupervised Domain Adaptation
当学习从输入空间到输出空间的映射时,经常违反训练数据的样本分布与测试数据的样本分布相同的假设。无监督域移位方法调整学习函数以校正这种移位。之前的工作重点是利用目标分布中的未标记样本。我们考虑互补问题,其中未标记的样本被给予后映射,即,给出了来自移位域的未知样本的映射的输出。还研究了其他两个变体:双边版本,其中未标记的样本从输入和输出空间,和域转移问题,这是最近正式化。在所有情况下,我们推导出的泛化范围,采用差异条款。
2017-03-05 cs.LG stat.ML
Unsupervised Domain Adaptation with Progressive Domain Augmentation
Carleton University(卡尔顿大学)
领域自适应的目的是利用一个标签丰富的源域学习分类器在不同的标签稀缺的目标域。当这两个领域之间存在重大分歧时,这尤其具有挑战性。本文提出了一种基于渐进域增强的无监督领域自适应方法。该方法通过域插值生成虚拟中间域,逐步增大源域,并通过在格拉斯曼流形上进行多个子空间对齐来弥合源域和目标域的分歧。我们在多个领域自适应任务上进行了实验,结果表明所提出的方法达到了最先进的性能。
2020-04-24 cs.CV cs.LG stat.ML
APS: Active Pretraining with Successor Features
University of California, Berkeley(加州大学伯克利分校)
我们为强化学习引入了一个新的无监督预训练目标。在无监督的无奖励预训练阶段,代理最大化由策略引起的任务和状态之间的互信息。我们的主要贡献是这个棘手的数量的一个新的下界。我们表明,通过重新解释和结合变后继功能~ \citep{Hansen2020Fast}与非参数熵最大化~ \citep{liu2021behavior},棘手的互信息可以有效地优化。提出的方法主动预训练与后继特征(APS)探索环境通过非参数熵最大化,和探索的数据可以有效地利用变化的后继特征学习行为。APS解决了现有的基于互信息最大化和基于熵最大化的无监督RL的局限性,并结合了两个世界的最佳。当在Atari 100 k数据效率基准上进行评估时,我们的方法显着优于之前将无监督预训练与特定任务微调相结合的方法。
2021-08-31 cs.LG
Unsupervised Domain Adaptation via Regularized Conditional Alignment
University of California, Los Angeles(加州大学洛杉矶分校)
我们提出了一种无监督的领域自适应方法,该方法训练共享嵌入来对齐输入(域)和输出(类)的联合分布,使任何分类器对域不可知。联合对齐确保不仅域的边缘分布对齐,而且标签也对齐。我们提出了一个新的目标函数,鼓励类条件分布在特征空间中有不相交的支持。我们进一步利用对抗正则化来提高分类器在没有注释数据的域上的性能。
2019-05-26 cs.CV cs.LG stat.ML
Unsupervised learning based end-to-end delayless generative fixed-filter active noise control
School of Electrical \& Electronic Engineering, Nanyang Technological University, Singapore. Emails
针对现有生成式固定滤波器有源噪声控制框架需标注噪声数据训练网络的问题,提出无监督GFANC方法,通过构建端到端可微系统以累积平方误差为损失训练网络,省去标注流程且降噪性能更优。
2024-02-08 cs.LG eess.SP
Hierarchical Optimal Transport for Unsupervised Domain Adaptation
在本文中,我们提出了一种新的方法,无监督领域自适应,涉及最佳运输,学习概率措施和无监督学习的概念。所提出的方法,HOT-DA,是基于一个层次的制定最佳的运输,利用超越的几何信息所捕获的地面度量,更丰富的结构信息在源和目标域。标记源域中的附加信息是通过根据样本的类标签将样本分组到结构中而本能地形成的。而在未标记的目标域中探索隐藏结构的问题归结为通过Wasserstein重心学习概率测度的问题,我们证明了它与谱聚类是等价的。在一个复杂度可控的玩具数据集和两个具有挑战性的视觉自适应数据集上的实验表明了该方法的优越性。
2021-12-03 cs.CV cs.LG stat.ML
Domain-Specific Batch Normalization for Unsupervised Domain Adaptation
Seoul National University(首尔国立大学);POSTECH(浦项科技大学)
提出了一种基于深度神经网络中特定领域批量归一化的无监督领域自适应框架。我们的目标是通过专门化卷积神经网络中的批量归一化层来适应这两个领域,同时允许它们共享所有其他模型参数,这是通过两阶段算法实现的。在第一阶段,我们估计伪标签的例子在目标领域使用外部无监督的领域自适应算法-例如,MPERANT或CPUA-集成建议的特定领域的批量归一化。第二阶段使用源域和目标域的多任务分类损失来学习最终模型。请注意,这两个域在两个阶段中都有单独的批量归一化层。我们的框架可以很容易地结合到基于深度神经网络的领域自适应技术与批量归一化层。我们还提出,我们的方法可以扩展到多个源域的问题。该算法在多个基准数据集上进行了评估,并在标准设置和多源域适应场景中达到了最先进的精度。
2019-05-27 cs.AI cs.LG stat.ML
Detecting the Undetectable: Enhancing Unsupervised time series Anomaly Detection via Active Learning
LG CNS;Department of Industrial & Management Engineering, Korea University(高丽大学产业与管理工程系);Department of Industrial Engineering, Seoul National University(首尔大学工业工程系)
提出一种结合主动学习的框架,通过掩码重建反馈和极小极大学习策略,增强无监督模型对细微噪声异常的检测能力,在28个测试案例中AUC提升12.39%。
2026-07-02 cs.AI cs.LG
Hierarchical Variational Auto-Encoding for Unsupervised Domain Generalization
LMU Munich(慕尼黑大学);Siemens AG(西门子股份公司)
我们解决领域泛化的任务,目标是训练预测模型,使其能够泛化到一个新的,以前看不见的领域。我们选择了一个分层生成的方法的框架内的变分自编码器,并提出了一个域无监督算法,能够推广到新的领域没有域监督。我们表明,我们的方法能够学习表示,即使在复杂的设置中,在训练过程中没有观察到域结构,也能从类标签特定的信息中分离出特定于域的信息。我们的可解释的方法优于先前提出的生成算法的领域泛化,以及其他非生成国家的最先进的方法,在几个层次域设置,包括连续重叠近连续域移位。与依赖于在训练期间观察特定于域的信息的最先进的方法以及另一种域无监督方法相比,它还在标准领域泛化基准数据集PACS上实现了具有竞争力的性能。此外,我们提出了纯粹基于证据下限(ELBO)的模型选择,还提出了弱域监督,其中隐式域信息可以添加到算法中。
2021-05-14 cs.CV cs.LG stat.ML
Little Help Makes a Big Difference: Leveraging Active Learning to Improve Unsupervised Time Series Anomaly Detection
Paris Research Center, Huawei Technologies France(华为技术法国巴黎研究中心);École des Ponts ParisTech(巴黎桥路学院)
本文针对无监督时间序列异常检测误报过多的问题,提出利用主动学习引入操作员反馈,通过三种查询策略和孤立森林权重更新与阈值调整,在降低标注预算的同时将F1分数提升超过50%。
2022-01-25 cs.LG
CUDA: Contradistinguisher for Unsupervised Domain Adaptation
Indian Institute of Science(印度科学学院)
在本文中,我们提出了一个简单的模型,称为对比度(CTDR)的无监督领域自适应,其目标是共同学习,以对比区分在一个完全无监督的方式,以及通过监督学习获得的先验知识在一个完全不同的域上的未标记的目标域。领域自适应中的大多数工作依赖于一种间接的方式,首先对齐源和目标域分布,然后在标记的源域上学习分类器来分类目标域。这种间接解决未标记目标域分类实际任务的方法有三个主要缺点。(i)由于大的域偏移(例如,语言领域)。(ii)使用多个分类器来对齐分布不必要地增加了神经网络的复杂性,从而在许多情况下导致过拟合。(iii)由于分布对齐,特定于域的信息会随着域的变形而丢失。在这项工作中,我们提出了一个简单而直接的方法,不需要域对齐。我们联合学习CTDR的源和目标分布的无监督领域自适应任务使用对比度损失的未标记的目标域结合有监督的损失标记的源域。我们的实验表明,避免域对齐,直接解决的任务,未标记的目标域分类使用CTDR实现了最先进的结果在8个视觉和4个语言基准领域自适应数据集。
2019-09-08 cs.CV cs.LG stat.ML
Improve Unsupervised Domain Adaptation with Mixup Training
Bosch Research North America(博世北美研究院)
无监督域自适应研究利用具有丰富标签的相关源域为未注释的目标域构建预测模型的问题。最近的工作观察到,流行的学习领域不变特征的对抗方法不足以实现期望的目标领域性能,从而引入额外的训练约束,例如聚类假设。然而,这些方法分别对源域和目标域施加约束,忽略了它们之间重要的相互作用。在这项工作中,我们建议使用mixup公式来执行跨域的训练约束,以直接解决目标数据的泛化性能。为了解决潜在的巨大的域差异,我们进一步提出了一个特征级的一致性正则化,以促进域间的约束。当添加域内混淆和域对抗学习时,我们的通用框架显着提高了图像分类和人类活动识别等几项重要任务的最新性能。
2020-01-03 cs.CV cs.LG stat.ML
Unsupervised Neural Quantization for Compressed-Domain Similarity Search
Yandex(扬达克斯);Lomonosov Moscow State University(莫斯科国立罗蒙诺索夫大学)
我们解决的问题,无监督的视觉描述符压缩,这是一个关键组成部分的大规模图像检索系统。虽然深度学习机器实际上已经使所有计算机视觉管道受益,但现有的最先进的压缩方法采用浅层架构,我们的目标是通过我们的论文缩小这一差距。更详细地说,我们介绍了DNN架构的无监督压缩域检索,基于多码本量化。所提出的架构的目的是将快速的数据编码和有效的距离计算通过查找表。我们证明了我们的方案在现有的量化方法的视觉描述符的几个数据集上通过优于以前的国家的最先进的一个大的利润率的特殊优势。
2019-08-11 cs.CV cs.LG stat.ML
Sliced Wasserstein Discrepancy for Unsupervised Domain Adaptation
Apple Inc(苹果公司)
在这项工作中,我们连接两个不同的概念,无监督领域自适应:域之间的特征分布对齐,利用特定于任务的决策边界和Wasserstein度量。我们提出的切片Wasserstein差异(SWD)的目的是捕捉任务特定的分类器的输出之间的相异性的自然概念。它提供了一个几何上有意义的指导,以检测远离源的支持的目标样本,并实现了端到端的可训练方式的有效分布对齐。通过实验验证了该方法在数字和符号识别、图像分类、语义分割、目标检测等方面的有效性和通用性。
2019-03-10 cs.CV cs.LG stat.ML
Unsupervised Cross-domain Image Classification by Distance Metric Guided Feature Alignment
Imperial College London(帝国理工学院)
由于域转移的问题,学习可跨不同域推广的深度神经网络仍然是一个挑战。无监督领域自适应是一种很有前途的途径,它可以在不使用目标域中的任何标签的情况下将知识从源域转移到目标域。当代技术的重点是使用领域对抗训练来提取领域不变特征。然而,这些技术忽略了学习目标域上的潜在表示空间中的判别类边界,并且产生有限的自适应性能。为了解决这个问题,我们提出了距离度量引导的特征对齐(MetFA),以提取源域和目标域上的区分性和域不变特征。所提出的MetFA方法显式地直接学习潜在表示,而不使用领域对抗训练。我们的模型集成了类分布对齐从源域到目标域的语义知识转移。我们评估所提出的方法对胎儿超声数据集的跨设备图像分类。实验结果表明,该方法优于国家的最先进的,使模型的泛化。
2020-08-19 cs.CV cs.LG stat.ML
Deep Least Squares Alignment for Unsupervised Domain Adaptation
Lehigh University(里海大学)
无监督领域自适应利用来自标记的源域的丰富信息来对未标记的目标域进行建模。现有的方法试图对齐跨域分布。然而,这两个域的对齐的统计表示没有得到很好的解决。在本文中,我们提出了深度最小二乘对齐(DLSA)估计的两个域的分布在一个潜在的空间参数化的线性模型。我们进一步开发了边缘和条件适应损失,以减少域的差异,通过最小化拟合线和截距之间的角度差异,并进一步学习域不变的功能。大量的实验表明,所提出的DLSA模型是有效的对齐域分布,并优于国家的最先进的方法。
2021-11-03 cs.LG
Unsupervised Domain Adaptation through Self-Supervision
University of California, Berkeley(加利福尼亚大学伯克利分校)
本文讨论了无监督的领域自适应,设置标记的训练数据在源域上是可用的,但目标是在目标域上只有未标记的数据具有良好的性能。像以前的许多工作一样,我们寻求对齐源和目标域的学习表示,同时保持可辨别性。我们完成对齐的方式是通过学习同时在两个域上执行辅助自我监督任务。每个自我监督任务都沿着与该任务相关的方向将两个域更紧密地联系在一起。与源域上的主任务分类器一起训练,可以成功地推广到未标记的目标域。所提出的目标是直接实现和易于优化。我们在七个标准基准中的四个上取得了最先进的结果,并在分割适应上取得了有竞争力的结果。我们还证明了我们的方法与另一种流行的像素级自适应方法组合良好。
2019-09-29 cs.CV cs.LG stat.ML
Optimal Unsupervised Domain Translation
Sorbonne Université(索邦大学);Theresis Lab, Thales(泰雷兹Theresis实验室);Criteo AI Lab(Criteo人工智能实验室)
域翻译是在两个域之间找到有意义的对应关系的问题。由于在大多数情况下,配对监督不可用,因此许多工作都集中在无监督域翻译(UDT)上,其中来自每个域的数据样本都是未配对的。在CycleGAN为UDT所做的开创性工作之后,已经提出了该模型的许多变体和扩展。然而,在他们的成功背后仍然没有什么理论上的理解。我们观察到,这些方法产生的解决方案是近似最小的w.r.t.一个给定的运输成本,导致我们重新制定的最优运输(OT)框架中的问题。这个观点为我们提供了一个新的视角,无监督域翻译,并允许我们证明检索映射的存在性和唯一性,给定一个大家庭的运输成本。然后,我们提出了一个新的框架,有效地计算最佳映射的动态设置。我们表明,它概括了以前的方法,并使一个更明确的控制计算的最佳映射。它还提供了两个域之间的平滑插值。玩具和现实世界的数据集上的实验说明了我们的方法的行为。
2019-06-04 cs.CV cs.LG stat.ML
Active Learning with Task-Driven Representations for Messy Pools
Department of Statistics, University of Oxford(牛津大学统计系)
本文提出任务驱动表示用于主动学习,通过定期更新和半监督学习策略提升杂乱数据池的处理效果。
2026-02-12 cs.LG
Unsupervised Domain Adaptation via Calibrating Uncertainties
Rutgers University(罗格斯大学);Carnegie Mellon University(卡内基梅隆大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
无监督领域自适应(UDA)的目的是在给定相关标记源数据集的情况下,为未标记的目标领域推断类别标记。直觉上,在源域上训练的模型通常会对看不见的数据产生更高的不确定性。在这项工作中,我们建立在这一假设的基础上,并提出通过校准其预测不确定性来适应从源域到目标域。不确定性被量化为Renyi熵,我们提出了一个通用的Renyi熵正则化(RER)框架。我们进一步采用变分贝叶斯学习可靠的不确定性估计。此外,校准网络参数的样本方差作为一个插件正则化训练。我们讨论了所提出的方法的理论特性,并证明了其有效性的三个域适应任务。
2019-07-25 cs.CV cs.LG stat.ML
Complementary Domain Adaptation and Generalization for Unsupervised Continual Domain Shift Learning
Graduate School of Data Science(数据科学研究生院);Seoul National University(首尔国立大学)
针对无监督持续域偏移学习,提出互补域适应与泛化框架CoDAG,兼顾适应当前域、泛化未见域与防遗忘,模型无关且在多个基准上超越现有方法。
2023-10-13 cs.AI cs.CV cs.LG
Enlarging Discriminative Power by Adding an Extra Class in Unsupervised Domain Adaptation
School of Electrical Engineering Korea Advanced Institute of Science and Technology(韩国科学技术院电气工程学院)
在本文中,我们研究的问题,无监督领域自适应,旨在获得一个预测模型的目标域使用标记的数据从源域和未标记的数据从目标域。存在一系列基于提取不仅对两个域不变而且对目标域提供高辨别力的特征的思想的最近研究。在本文中,我们提出了一种增强区分度的想法:添加一个新的人工类,并在数据上训练模型,以及GAN生成的新类样本。基于新类样本的训练模型能够通过在目标域中重新定位当前类的数据来提取更具区分性的特征,从而更有效地绘制决策边界。我们的想法是高度通用的,因此它与许多现有的方法,如DANN,VADA和DIRT-T兼容。我们进行各种实验的标准数据通常用于评估无监督领域自适应,并证明我们的算法实现了SOTA性能的许多情况下。
2020-02-19 cs.CV cs.LG stat.ML
Unsupervised Learning of Distributional Properties can Supplement Human Labeling and Increase Active Learning Efficiency in Anomaly Detection
University of Toronto(多伦多大学);Sun Life Financial(永明金融)
针对异常检测中标注效率低、罕见异常难检测的问题,提出结合数据分布与模型不确定性的自适应主动学习采样策略,提升了分类器性能,在多个基准及真实数据集上优于现有方法。
2023-07-13 cs.LG
Unsupervised Domain Adaptation with Deep Neural-Network
MSIAM
该报告分析无监督域适应现有方法并提出新途径,展示了深度神经网络改进跨域视觉识别的潜力。
2023-07-10 cs.CV cs.LG
Where to Look Next: Unsupervised Active Visual Exploration on 360° Input
KU Leuven(鲁汶大学)
我们解决了大360°输入的主动视觉探索问题。在我们的设置中,具有有限相机带宽的主动代理通过在有限的离散时间步长改变其观看方向来探索其360°环境。因此,它观察世界是一系列狭窄的视野“一瞥”,自己决定下一步看哪里。我们提出的方法大大超过了以前的作品的性能,而不需要深度强化学习或训练单独的网络作为助手。我们系统的一个关键组成部分是空间记忆地图,它使系统意识到瞥见的方向(360°图像中的位置)。此外,我们强调的优势,视网膜般的一瞥时,代理的传感器带宽和时间步长是有限的。最后,我们使用训练好的模型,仅使用在一瞥中观察到的信息对整个场景进行分类。
2019-11-28 cs.AI cs.CV cs.LG
Information-Theoretic Analysis of Unsupervised Domain Adaptation
University of Ottawa(渥太华大学)
利用信息论工具分析了无监督领域自适应(UDA)中的泛化误差。我们提出了新的上界的两个概念的泛化误差。第一个概念测量目标域中的群体风险与源域中的群体风险之间的差距,第二个概念测量目标域中的群体风险与源域中的经验风险之间的差距。虽然我们对第一种错误的界限与传统分析一致,并给出了类似的见解,但我们对第二种错误的界限是依赖于算法的,这也为算法设计提供了见解。具体来说,我们提出了两个简单的技术,提高泛化UDA和实验验证。
2023-03-02 cs.LG
Factorized Adversarial Networks for Unsupervised Domain Adaptation
Rutgers University(罗格斯大学);Toutiao AI Lab(今日头条AI实验室);Snap Research(Snap研究)
在本文中,我们提出了因子化对抗网络(FAN)解决无监督领域自适应问题的图像分类任务。我们的网络将数据分布映射到一个潜在的特征空间,该空间被分解为一个包含特定领域特征的特定领域子空间和一个保留类别信息的特定任务子空间,分别用于源域和目标域。无监督领域自适应通过对抗训练来实现,以最小化来自源域和目标域的两个任务特定子空间的分布之间的差异。我们证明,所提出的方法优于国家的最先进的方法在文献中使用的多个基准数据集的无监督领域自适应。此外,我们收集了两个比现有基准数据集大得多的真实世界的标记数据集,并在基线上得到了显着的改进,证明了我们的方法的实用价值。
2018-06-04 cs.CV cs.LG
Preserving Semantic Consistency in Unsupervised Domain Adaptation Using Generative Adversarial Networks
Queensland University of Technology(昆士兰科技大学)
无监督领域自适应是在给定源域的标记样本和目标域的未标记样本的情况下,寻求缓解源域和目标域之间的分布差异。生成对抗网络(GANs)通过生成特定于训练领域的图像,在领域自适应方面表现出了显着的改进。然而,大多数现有的基于GAN的无监督领域自适应技术在领域匹配过程中不考虑语义信息,因此当源和目标领域数据在语义上不同时,这些方法降低了性能。在本文中,我们提出了一个端到端的新的语义一致的生成对抗网络(SCGAN)。该网络可以通过在特征级捕获语义信息并从源域和目标域生成用于无监督领域自适应的图像来实现源域到目标域的匹配。我们证明了我们提出的方法的鲁棒性,它超过了国家的最先进的性能,在无监督的领域自适应设置进行数字和对象分类任务的实验。
2021-04-28 cs.AI cs.CV cs.LG
Unsupervised Domain Adaptation via Structured Prediction Based Selective Pseudo-Labeling
Durham University(杜伦大学)
无监督领域自适应的目的是解决分类问题的未标记的样本从目标域,而标记的样本只能从源域和数据分布在这两个领域是不同的。因此,当直接应用于来自目标域的样本时,从源域中的标记样本训练的分类器遭受显著的性能下降。为了解决这个问题,已经提出了不同的方法来学习域不变特征或域特定分类器。在任何一种情况下,目标域中缺少标记的样本可能是一个问题,通常通过伪标记来克服。然而,不准确的伪标记可能会导致学习过程中灾难性的错误积累。在本文中,我们提出了一种新的基于结构化预测的选择性伪标记策略。结构化预测的想法受到以下事实的启发:目标域中的样本在深度特征空间内被很好地聚类,使得可以使用无监督聚类分析来促进准确的伪标记。在四个数据集(即EST-Caltech,EST 31,ImageCLEF-DA和EST-Home)上的实验结果验证了我们的方法优于当代最先进的方法。
2019-11-18 cs.CV cs.LG cs.MM
Unsupervised Domain Adaptation in the Absence of Source Data
CSAIL, MIT(麻省理工学院计算机科学与人工智能实验室)
当前的无监督领域自适应方法可以解决许多类型的分布偏移,但它们假设来自源域的数据是免费可用的。随着预训练模型的使用变得越来越普遍,假设源数据不可用是合理的。我们提出了一种无监督的方法,用于使源分类器适应于从源域沿自然轴(例如亮度和对比度)变化的目标域。我们的方法只需要访问未标记的目标实例和源分类器。我们验证了我们的方法在场景中的分布偏移涉及亮度,对比度和旋转,并表明它优于微调基线的情况下,有限的标记数据。
2020-07-20 cs.CV cs.LG
Unsupervised domain adaptation for speech recognition with unsupervised error correction
University College Dublin(都柏林大学学院)
自动语音识别(ASR)系统在转录来自未知域的音频时,转录质量显著降低。我们提出了一种无监督的错误校正方法,用于无监督的ASR域自适应,旨在恢复域不匹配引起的转录错误。与现有的依赖于转录音频进行训练的校正方法不同,我们的方法只需要目标域的未标记数据,其中应用伪标记技术来生成校正训练样本。为了减少对伪数据的过度拟合,我们还提出了一个编码器-解码器校正模型,该模型可以考虑对话上下文和声学特征等附加信息。实验结果表明,我们的方法获得了显着的字出错率(WER)降低非适应ASR系统。该校正模型还可以应用于其他适应方法之上,相对额外提高10%。
2022-09-24 cs.AI cs.LG cs.SD
Unsupervised Domain Adaptation with Feature Embeddings
School of Interactive Computing(交互计算学院);Georgia Institute of Technology(佐治亚理工学院)
表示学习是无监督领域自适应的主要技术,但现有的方法往往需要规范的“枢轴功能”,概括跨域,这是由特定于任务的算法选择。我们表明,一种新颖但简单的特征嵌入方法提供了更好的性能,通过利用NLP问题中常见的特征模板结构。
2015-04-16 cs.CL cs.LG
Unsupervised Reinforcement Adaptation for Class-Imbalanced Text Classification
University of Memphis(孟菲斯大学)
不同领域的模型在训练和测试时,自然存在着类的不平衡。无监督领域自适应(UDA)增强了模型的性能,只有来自源域的可访问注释和来自目标域的未标记数据。然而,现有的最先进的UDA模型学习域不变表示,并主要评估跨域的类平衡数据。在这项工作中,我们提出了一种无监督的领域自适应方法,通过强化学习,联合利用跨域的特征变量和不平衡的标签。我们实验了文本分类任务,其易于访问的数据集,并比较所提出的方法与五个基线。在三个数据集上的实验证明,我们提出的方法可以有效地学习鲁棒的域不变表示,并成功地适应文本分类器的不平衡类域。该代码可在https://github.com/woqingdoua/ImbalanceClass上获得。
2022-05-26 cs.CL cs.LG
ACDC: Online Unsupervised Cross-Domain Adaptation
Nanyang Technological University(南洋理工大学);Singapore Institute of Manufacturing Technology(新加坡制造技术研究院)
我们考虑在线无监督的跨领域自适应问题,其中两个独立但相关的数据流具有不同的特征空间-一个完全标记的源流和一个未标记的目标流-一起学习。出现了独特的特征和挑战,例如协变量偏移、异步概念偏移和对比数据吞吐量。我们提出了ACDC,一个对抗性的无监督领域自适应框架,它可以用一个完整的自进化神经网络结构来处理多个数据流,对这些挑战做出反应。ACDC将三个模块封装到一个模型中:一个提取特征的去噪自动编码器,一个执行域转换的对抗模块,以及一个学习源流并预测目标流的估计器。ACDC是一个灵活且可扩展的框架,具有很少的超参数可调性。我们的实验结果下的prequential测试,然后训练协议表明,在基线方法的目标精度的改善,在某些情况下,实现了超过10%的增加。
2021-10-04 cs.LG
Tackling unsupervised multi-source domain adaptation with optimism and consistency
INESC TEC(葡萄牙工程与技术研究所);University of Porto(波尔图大学)
一段时间以来,已知多源领域自适应的问题可以被视为单源领域自适应任务,其中源领域对应于原始源领域的混合。尽管如此,如何调整混合分布权重仍然是一个悬而未决的问题。此外,大多数现有的工作在这个主题只集中在最大限度地减少错误的源域和实现域不变的表示,这是不够的,以确保低错误的目标域。在这项工作中,我们提出了一个新的框架,解决了这两个问题,并通过使用温和乐观的目标函数和目标样本的一致性正则化击败了目前的最新技术水平。
2020-09-29 cs.AI cs.CV cs.LG
Domain-Aware Augmentations for Unsupervised Online General Continual Learning
Univ Gustave Eiffel(古斯塔夫·埃菲尔大学);CNRS(法国国家科学研究中心);LIGM(巴黎东部马恩河谷大学信息学实验室)
针对无监督在线通用持续学习(UOGCL)的遗忘挑战,本文提出利用依赖流的数据增强及实现技巧优化对比学习的内存使用,该方法简单有效,取得最先进结果并缩小了监督与无监督持续学习的差距。
2023-09-13 cs.LG
Domain Confused Contrastive Learning for Unsupervised Domain Adaptation
Nanyang Technological University(南洋理工大学)
在这项工作中,我们研究了无监督领域自适应(UDA)在一个具有挑战性的自我监督的方法。其中一个难点是如何在没有目标标签的情况下学习任务区分。与以往文献中直接对齐跨域分布或利用反向梯度不同,我们提出了域混淆对比学习(DCCL),通过域拼图来桥接源域和目标域,并在适应后保留区分性表示。从技术上讲,DCCL搜索最具领域挑战性的方向,并将领域混淆的增强作为正对进行精细加工,然后对比鼓励模型将表示拉向另一个领域,从而学习更稳定和有效的领域不变性。我们还研究了在进行其他数据增强时,对比学习是否一定有助于UDA。大量的实验表明,DCCL显着优于基线。
2022-07-10 cs.CL cs.LG
DART: Domain-Adversarial Residual-Transfer Networks for Unsupervised Cross-Domain Image Classification
Univ. of Electronic Sci & Tech.of China(电子科技大学);The Chinese University of Hong Kong(香港中文大学);University of Electronic Science and Technology of China(电子科技大学);Google Inc.(谷歌公司);Singapore Management University(新加坡管理大学)
深度学习的准确性(例如,卷积神经网络)用于图像分类任务关键地依赖于标记的训练数据的量。为了解决一个新领域的图像分类任务,缺乏标记的数据,但获得廉价可用的未标记的数据,无监督领域自适应是一种有前途的技术,以提高性能,而不会产生额外的标记成本,通过假设来自不同领域的图像共享一些不变的特征。在本文中,我们提出了一种新的无监督领域自适应方法,称为深度神经网络的域对抗残差转移(DART)学习,以解决跨域图像分类任务。与现有的无监督域自适应方法相比,所提出的DART不仅通过对抗训练来学习域不变特征,而且还通过残差转移策略来实现鲁棒的域自适应分类,所有这些都在端到端的训练框架中进行。我们评估了所提出的方法的性能跨域图像分类任务的几个著名的基准数据集,其中我们的方法明显优于国家的最先进的方法。
2018-12-30 cs.CV cs.LG
Maximizing Conditional Independence for Unsupervised Domain Adaptation
Sun Yat-Sen University(中山大学)
无监督领域自适应研究如何将学习器从一个有标记的源域迁移到一个具有不同分布的未标记目标域。现有的方法主要集中在匹配源域和目标域的边缘分布,这可能会导致来自同一类但不同域的样本不对齐。在本文中,我们处理这种错位,从一个新的角度实现类条件转移。我们的目标是在再生核Hilbert空间中最大化给定类的特征和域的条件独立性。条件独立性度量的优化可以看作是最小化特征和域之间的某种互信息的替代。一个可解释的经验估计的条件依赖推导和连接的无条件的情况下。此外,我们还考虑了类条件分布,给出了目标误差的上界,这为大多数类条件转移方法提供了一个新的理论视角。除了无监督的领域自适应,我们将我们的方法扩展到多源的情况下,在一个自然和优雅的方式。在四个基准上的大量实验验证了所提出的模型在无监督领域自适应和多源领域自适应中的有效性。
2022-03-07 cs.CV cs.LG
Application of Unsupervised Domain Adaptation for Structural MRI Analysis
University of Florida(佛罗里达大学)
这项工作的主要目标是研究无监督域自适应方法在OASIS数据集阿尔茨海默病(AD)检测背景下的各种应用(如二进制分类和异常检测)的有效性。我们还探讨了图像重建和图像合成,用于分析和生成3D结构MRI数据,以建立异常检测的性能基准。我们成功地证明了域自适应提高了AD检测的性能时,在监督和无监督的设置。此外,所提出的方法在OASIS-1数据集上实现了最先进的二进制分类性能。
2022-12-26 cs.CV cs.LG eess.IV