Transfer Learning with Dynamic Adversarial Adaptation Network
Chinese Academy of Sciences(中国科学院);University of Chinese Academy of Sciences(中国科学院大学);Microsoft Research Asia(微软亚洲研究院);China Academy of Space Technology(中国空间技术研究院)
深度迁移学习的最新进展表明,对抗学习可以嵌入到深度网络中,学习更多的可迁移特征,以减少两个域之间的分布差异。现有的对抗性领域自适应方法要么学习一个单一的领域分类器来对齐全局源和目标分布,要么关注基于多个鉴别器的子领域对齐。然而,在实际应用中,域之间的边缘(全局)和条件(局部)分布往往对自适应的贡献不同。目前还没有方法来动态和定量地评估这两种分布对对抗学习的相对重要性。在本文中,我们提出了一种新的动态对抗适应网络(DAAN),动态学习域不变表示,同时定量评估全局和局部域分布的相对重要性。据我们所知,DAAN是第一次尝试为深度对抗学习执行动态对抗分布自适应。DAAN在实际应用中非常容易实现和训练。我们从理论上分析了DAAN的有效性,它也可以用注意策略来解释。大量的实验表明,与最先进的深度和对抗方法相比,DAAN实现了更好的分类准确性。研究结果也暗示了对抗性迁移学习中动态分布适应的必要性和有效性。
2019-09-18 cs.LG stat.ML
Adversarial Weighting for Domain Adaptation in Regression
Michelin(米其林);EDF R&D(法国电力集团研发部)
我们提出了一种新的基于实例的方法来处理回归任务的背景下,监督领域自适应假设下的协变量偏移。在本文中开发的方法是基于这样的假设,即目标域上的任务可以有效地学习,在训练阶段通过适当的重新加权的源实例。我们引入了一种新的配方的优化目标领域自适应依赖于差异的距离表征域之间的差异,根据一个特定的任务和一类假设。为了解决这个问题,我们开发了一种对抗网络算法,它在一个前馈梯度下降中学习源加权方案和任务。我们提供了数字证据的相关性的方法对公共数据集的回归领域自适应通过可重复的实验。
2021-09-15 cs.LG stat.ML
Adversarial Alignment of Class Prediction Uncertainties for Domain Adaptation
Radboud University(拉德堡德大学);TNO(荷兰应用科学研究组织);Open University(开放大学)
我们考虑无监督域自适应:给定源域的标记示例和相关目标域的未标记示例,目标是推断目标示例的标签。在来自预训练的深度神经网络的特征可跨相关域转移的假设下,域自适应简化为在类别预测不确定性水平上对齐源域和目标域。我们通过引入一种基于对抗学习的方法来解决这个问题,该方法迫使目标域上的标签不确定性预测与源域上的标签不确定性预测无法区分。使用预先训练的深度神经网络来生成具有跨相关域的高可转移性的深度特征。我们在大量公开的预训练深度神经网络上对所提出的方法进行了广泛的实验分析。我们在图像分类领域自适应任务上的实验结果表明,类预测不确定性与从预训练的深度神经网络中提取的特征对齐,为领域自适应提供了一种高效、鲁棒和有效的方法。
2019-01-04 cs.LG stat.ML
Transferable Positive/Negative Speech Emotion Recognition via Class-wise Adversarial Domain Adaptation
The University of Manchester(曼彻斯特大学)
语音情感识别在构建更智能、更人性化的智能体方面发挥着重要作用。由于语音情感数据采集的困难性,一种越来越流行的解决方案是利用相关且丰富的源语料库来帮助处理目标语料库。然而,语料库之间的域转移提出了一个严峻的挑战,使域转移适应难以发挥作用,即使是对积极/消极情绪的识别。在这项工作中,我们提出了类明智的对抗性领域自适应,以解决这一挑战,减少不同语料库之间的所有类的转变。在著名的EMODB和Aibo语料库上的实验表明,即使只提供非常有限数量的目标标记示例,我们的方法也是有效的。
2019-02-14 cs.LG stat.ML
Adversarial Domain Adaptation Being Aware of Class Relationships
Petuum, Inc.(Petuum公司);Rice University(莱斯大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Texas A&M University(得克萨斯农工大学);University of Oxford(牛津大学)
对抗性训练是一种有效的方法,可以促进跨源域和目标域的可转移表示的学习,它已被广泛应用于基于深度神经网络的领域自适应(DA)任务。直到最近,现有的对抗性领域自适应(ADA)方法忽略了来自标签空间的有用信息,这是与不同语义类别相关联的复杂数据分布的重要因素。特别是在当前的迁移学习研究中,很少考虑和讨论类间语义关系。在本文中,我们提出了一种新的关系感知的对抗领域自适应(RADA)算法,该算法首先利用一个单一的多类域映射来加强领域对抗训练过程中的类间依赖结构的学习,然后将此结构与源域上训练标签预测器所表征的类间依赖进行对齐。具体来说,我们施加一个正则化项来惩罚分别从域预测和标签预测估计的类间依赖关系之间的结构差异。通过这种对齐,我们提出的方法使对抗领域自适应意识到类关系。实证研究表明,类关系的纳入显着提高性能的基准数据集。
2020-03-30 cs.CV cs.LG stat.ML
Conditional Adversarial Domain Adaptation
School of Software, Tsinghua University, China(清华大学软件学院,中国);Tsinghua University, China(清华大学,中国);University of California, Berkeley, Berkeley, USA(美国加州大学伯克利分校,伯克利)
对抗学习已经被嵌入到深度网络中,以学习用于领域自适应的解纠缠和可转移的表示。现有的对抗性领域自适应方法可能无法有效地对齐分类问题中固有的多模态分布的不同域。在本文中,我们提出了有条件的对抗性领域自适应,一个原则性的框架,条件的对抗性适应模型的判别信息中传达的分类器预测。条件域对抗网络(CDAN)设计了两种新的条件策略:多线性条件,捕获特征表示和分类器预测之间的互协方差,以提高区分度,熵条件,控制分类器预测的不确定性,以保证可转移性。通过理论保证和几行代码,该方法在五个数据集上超过了最先进的结果。
2018-12-29 cs.LG
Semi-Supervised Adversarial Discriminative Domain Adaptation
University of Science, Ho Chi Minh City(胡志明市科学大学);Vietnam National University, Ho Chi Minh City(胡志明市越南国家大学);University of Liverpool(利物浦大学);University of Information Technology(信息技术大学)
领域自适应是训练强大的深度神经网络的一种潜在方法,它可以处理没有标记数据的情况。更准确地说,领域自适应解决了当训练数据集和测试数据集非常不同时被称为数据集偏差或域偏移的限制。对抗性自适应方法在其他领域自适应方法中越来越流行。对抗性领域自适应基于GAN的思想,试图根据对抗对象的不同,使训练数据集和测试数据集之间的分布最小化。然而,一些传统的对抗性领域自适应方法不能处理两个数据集之间的大的域移位,或者这些方法的泛化能力是低效的。本文提出了一种改进的对抗性领域自适应方法--半监督对抗性判别领域自适应(SADDA),它可以克服其他领域自适应方法的局限性。我们还表明,SADDA具有更好的性能比其他对抗性的适应方法,并说明我们的方法在数字分类和情感识别问题的承诺。
2022-10-19 cs.CV cs.LG
FRuDA: Framework for Distributed Adversarial Domain Adaptation
ETH Zurich(苏黎世联邦理工学院);Nokia Bell Labs(诺基亚贝尔实验室);Invenia Labs(Invenia实验室);University College London(伦敦大学学院);University of Cambridge(剑桥大学)
无监督领域自适应(uDA)的突破可以帮助将模型从标签丰富的源域调整到未标记的目标域。尽管取得了这些进步,但缺乏关于uDA算法,特别是基于对抗学习的uDA算法如何在分布式环境中工作的研究。在现实世界的应用中,目标域通常分布在数千个设备上,现有的对抗性uDA算法(本质上是集中式的)无法应用于这些设置。为了解决这个重要问题,我们引入了FRuDA:一个分布式对抗性uDA的端到端框架。通过对uDA文献的仔细分析,我们确定了分布式uDA系统的设计目标,并提出了两种新的算法,以提高分布式环境中对抗性uDA的适应精度和训练效率。我们使用五个图像和语音数据集对FRuDA进行了评估,结果表明,它可以将目标域准确率提高50%,并将对抗性uDA的训练效率提高至少11倍。
2021-12-26 cs.LG
Exploring Adversarially Robust Training for Unsupervised Domain Adaptation
Johns Hopkins University(约翰斯·霍普金斯大学)
无监督领域自适应(UDA)方法旨在将知识从标记的源域转移到未标记的目标域。UDA在计算机视觉文献中得到了广泛的研究。深度网络已被证明容易受到对抗攻击的攻击。然而,很少有人关注提高深度UDA模型的对抗鲁棒性,这引起了人们对模型可靠性的严重担忧。对抗性训练(AT)被认为是最成功的对抗性防御方法。然而,传统的AT需要地面实况标签来生成对抗性示例和训练模型,这限制了其在未标记目标域中的有效性。本文的目的是探索AT来增强UDA模型的鲁棒性:如何通过AT增强未标记数据的鲁棒性,同时学习UDA的域不变特征?为了回答这个问题,我们提供了一个系统的研究,可以应用于UDA的多种AT变体。此外,我们提出了一种新的UDA的对抗鲁棒训练方法,简称为ARTUDA。在多个对抗攻击和UDA基准测试上的大量实验表明,ARTUDA一致地提高了UDA模型的对抗鲁棒性。代码可在https://github.com/shaoyuanlo/ARTUDA上获得
2022-10-04 cs.CV cs.LG
Localized Adversarial Domain Generalization
PAII Inc.(PAII公司);University of Rochester(罗切斯特大学);Alibaba DAMO Academy(阿里巴巴达摩院);PingAn Insurance Group(平安保险集团)
深度学习方法可能难以处理训练数据中看不到的域转移,这可能导致它们无法很好地推广到看不见的域。这引起了对领域泛化的研究,它旨在提高模型的泛化能力。对抗性领域泛化是DG的一种流行方法,但传统方法(1)难以充分对齐特征,使得局部邻域在域间混合;以及(2)可能遭受特征空间过度崩溃,这可能威胁泛化性能。为了解决这些局限性,我们提出了局部对抗性领域泛化与空间紧凑性维护~(LADG),这构成了两个主要贡献。首先,我们提出了一个对抗性的本地化分类器作为域分类器,以及一个原则性的主要分支。这构造了一个最小-最大博弈,其中特征化器的目标是产生局部混合域。其次,我们建议使用编码率损失来减轻特征空间的过度崩溃。我们在Wilds DG基准上进行了全面的实验,以验证我们的方法,LADG在大多数数据集上的表现优于领先的竞争对手。
2022-05-09 cs.LG
Discriminative Adversarial Domain Adaptation
South China University of Technology(华南理工大学)
无监督领域自适应的目标是在给定源域上的已标记实例和目标域上的未标记实例的情况下,学习一个能够很好地分类目标实例的任务分类器。最近的进展依赖于深度网络的领域对抗训练来学习领域不变特征。然而,由于任务和领域分类器的单独设计引起的模式坍塌的问题,这些方法在对齐跨领域的特征和类别的联合分布方面受到限制。为了克服这个问题,我们提出了一种新的对抗性学习方法,称为歧视性对抗领域自适应(DADA)。基于集成的类别和域分类器,DADA具有一个新的对抗性目标,该目标鼓励任何输入实例的类别和域预测之间的相互抑制关系。我们表明,在实际条件下,它定义了一个极大极小博弈,可以促进联合分布对齐。除了传统的闭集领域自适应,我们还扩展了DADA的部分和开集领域自适应的极具挑战性的问题设置。实验表明,我们提出的方法的有效性,我们实现了新的国家的最先进的基准数据集上的所有三个设置。
2019-12-17 cs.CV cs.LG
AED-PADA:Improving Generalizability of Adversarial Example Detection via Principal Adversarial Domain Adaptation
Beihang University(北京航空航天大学);Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所)
本文提出 AED-PADA,通过识别覆盖主要对抗特征空间的 PADs 并引入多源无监督域适应,提升对抗样本检测在未知攻击和最小扰动场景下的泛化能力。
2024-12-04 cs.CR cs.CV cs.LG
Domain Generalisation via Domain Adaptation: An Adversarial Fourier Amplitude Approach
Samsung AI Center Cambridge(三星剑桥人工智能中心);University of Edinburgh(爱丁堡大学)
我们解决域泛化(DG)的问题,把它作为一个领域自适应(DA)的任务,我们adversarially合成最坏情况下的目标域和适应模型,最坏情况下的域,从而提高模型的鲁棒性。为了合成具有挑战性但保留语义的数据,我们生成傅立叶振幅图像并将其与源域相位图像相结合,利用信号处理中广泛认为的推测,即振幅谱主要决定图像风格,而相位数据主要捕获图像语义。为了合成最坏情况域以进行自适应,我们训练分类器和幅度发生器。具体来说,我们利用DA的最大分类器差异(MCD)原则,将目标域的性能与模型假设空间中分类器的差异联系起来。通过贝叶斯假设建模,我们将模型假设空间有效地表示为给定源域的分类器上的后验分布,使对抗性MCD最小化变得可行。在包括大规模DomainNet数据集的DomainBed基准测试中,所提出的方法比最先进的方法显著提高了域泛化性能。
2023-02-23 cs.CV cs.LG
Discriminative Adversarial Domain Generalization with Meta-learning based Cross-domain Validation
University of South Florida(南佛罗里达大学)
机器学习模型的泛化能力是指通过从一个或多个可见领域学习来泛化“不可见”领域的知识,对于在现实世界条件下开发和部署机器学习应用非常重要。领域泛化(DG)技术旨在提高机器学习模型的泛化能力,其中学习的特征表示和分类器是提高泛化能力和做出决策的两个关键因素。在本文中,我们提出了判别式对抗领域泛化(DADG)与基于元学习的跨域验证。我们提出的框架包含两个主要组件,它们协同工作以构建域广义DNN模型:(i)判别式对抗学习,它主动学习多个“可见”域上的广义特征表示,以及(ii)基于元学习的跨域验证,它通过在训练过程中应用元学习技术来模拟训练/测试域转移。在实验评估中,我们提出的方法和其他现有的方法在三个基准数据集上进行了全面的比较。结果表明,DADG始终优于强大的基线DeepAll,并且在大多数评估案例中优于其他现有的DG算法。
2022-02-16 cs.LG
Partial Transfer Learning with Selective Adversarial Networks
Tsinghua University(清华大学);University of California, Berkeley(加州大学伯克利分校)
对抗性学习已经成功地嵌入到深度网络中,以学习可转移的特征,从而减少源域和目标域之间的分布差异。现有的域对抗网络假设跨域完全共享标签空间。在大数据的存在下,有强烈的动机将分类和表示模型从现有的大领域转移到未知的小领域。本文介绍了部分迁移学习,它将共享标签空间的假设放宽到目标标签空间只是源标签空间的一个子空间。以往的方法通常是将整个源域匹配到目标域,这对于部分迁移问题容易产生负迁移。我们提出了选择性对抗网络(SAN),它同时通过选择离群源类来规避负迁移,并通过最大限度地匹配共享标签空间中的数据分布来促进正迁移。实验表明,我们的模型超过了国家的最先进的部分迁移学习任务的结果在几个基准数据集。
2017-07-25 cs.LG
Adversarial domain adaptation to reduce sample bias of a high energy physics classifier
Juelich Supercomputing Center (JSC)(于利希超级计算中心);Institute for Advanced Simulation (IAS)(高级模拟研究所);Research Center Juelich (FZJ)(于利希研究中心);Helmholtz AI(亥姆霍兹人工智能)
我们在无监督设置中应用对抗域自适应,以减少有监督高能物理事件分类器训练中的样本偏差。我们利用一个神经网络包含事件和域分类器与梯度反转层,同时使信号与背景事件分类一方面,而另一方面,最小化的差异,在响应网络的背景样本起源于不同的MC模型通过对抗域分类损失。我们展示了成功的偏差消除的例子模拟事件在LHC与$t\bar{t}H$信号与$t\bar{t}b\bar{b}$背景分类,并讨论了该方法的影响和局限性
2021-08-19 cs.LG hep-ex hep-ph
Adversarial Domain Adaptation with Domain Mixup
Shanghai Jiao Tong University(上海交通大学);Huawei Hisilicon(华为海思);Youtu Lab, Tencent(腾讯优图实验室);Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Anhui University(安徽大学)
领域自适应的最新研究表明,对抗性学习可以有效地填补源域和目标域之间的差异。然而,目前基于对抗学习的方法存在两个常见的局限性。首先,仅来自两个域的样本不足以确保潜在空间的大部分的域不变性。其次,这些方法中涉及的领域分数只能在硬标签的指导下判断真假,而使用软分数来评估生成的图像或特征更合理,即,以充分利用域间信息。本文提出了一种基于领域混淆的对抗性领域自适应算法(DM-ADA),该算法在一个更连续的潜在空间中保证领域不变性,并指导领域自适应器判断样本相对于源域和目标域的差异。为了提高模型的鲁棒性,在像素级和特征级上联合进行域混淆。大量的实验证明,该方法可以实现优越的性能与不同程度的领域转移和数据复杂性的任务。
2019-12-04 cs.CV cs.LG
Against Adversarial Learning: Naturally Distinguish Known and Unknown in Open Set Domain Adaptation
The Hong Kong Polytechnic University(香港理工大学)
开集领域自适应是指目标领域包含源领域中不存在的类别的场景。与典型的闭集领域自适应相比,源域和目标域包含相同的类别,这是现实中更常见的情况。开集领域自适应的主要困难在于,当机器学习模型只有关于它们所知道的概念时,我们需要区分哪些目标数据属于未知类。本文提出了一种“对抗性学习”方法,该方法可以在不设置任何额外超参数的情况下自然区分未知目标数据和已知数据,同时可以对预测到已知类别的目标数据进行分类。实验结果表明,该方法与现有的几种方法相比,在性能上有明显的提高。
2020-11-04 cs.LG
Correlation-aware Adversarial Domain Adaptation and Generalization
Queensland University of Technology(昆士兰科技大学);University of Queensland(昆士兰大学)
领域自适应(DA)和领域泛化(DG)已经出现作为对源数据和目标数据的分布不同的领域移位问题的解决方案。DG的任务比DA更具挑战性,因为在DG场景的训练阶段,目标数据是完全不可见的。目前最先进的采用对抗技术,然而,这些很少被认为是DG问题。此外,这些方法不考虑相关对齐,这已被证明是非常有益的最小化域差异。在本文中,我们提出了一个相关性感知的对抗DA和DG框架,其中使用相关性对齐以及对抗学习来最小化源和目标数据的特征。将相关性对齐模块与对抗性学习一起使用有助于实现更加领域不可知的模型,因为改进了更有效地减少与未标记目标数据的领域差异的能力。在基准数据集上的实验证明,我们提出的方法可以提高最先进的性能。
2019-11-29 cs.CV cs.LG
Factorized Adversarial Networks for Unsupervised Domain Adaptation
Rutgers University(罗格斯大学);Toutiao AI Lab(今日头条AI实验室);Snap Research(Snap研究)
在本文中,我们提出了因子化对抗网络(FAN)解决无监督领域自适应问题的图像分类任务。我们的网络将数据分布映射到一个潜在的特征空间,该空间被分解为一个包含特定领域特征的特定领域子空间和一个保留类别信息的特定任务子空间,分别用于源域和目标域。无监督领域自适应通过对抗训练来实现,以最小化来自源域和目标域的两个任务特定子空间的分布之间的差异。我们证明,所提出的方法优于国家的最先进的方法在文献中使用的多个基准数据集的无监督领域自适应。此外,我们收集了两个比现有基准数据集大得多的真实世界的标记数据集,并在基线上得到了显着的改进,证明了我们的方法的实用价值。
2018-06-04 cs.CV cs.LG
Continual Domain Adversarial Adaptation via Double-Head Discriminators
University at Buffalo(布法罗大学)
针对持续域对抗适应中源域数据受限导致$\gH$-散度估计误差的问题,提出双头判别器算法,引入源专用判别器降低估计误差,在基准上提升超2%并缓解遗忘。
2024-02-05 cs.AI cs.LG
Vision Transformer-based Adversarial Domain Adaptation
School of Artificial Intelligence, Jilin University(吉林大学人工智能学院)
本文首次将Vision Transformer(ViT)作为即插即用特征提取器引入对抗域适应,证明其直接替换现有无监督域适应方法中的CNN即可有效提升性能。
2024-04-24 cs.CV cs.LG
Adversarially Trained Object Detector for Unsupervised Domain Adaptation
Chiba University(千叶大学)
本文提出将源域对抗训练用于目标检测的无监督域适应,并结合特征对齐,在大幅真实到艺术域偏移的四个基准上显著提升mAP。
2021-11-25 cs.AI cs.CV cs.LG
A3: Active Adversarial Alignment for Source-Free Domain Adaptation
Oklahoma State University(俄克拉荷马州立大学)
针对无源无监督域适应中伪标签噪声大、分布偏移难处理的问题,提出结合自监督、对抗训练与主动学习的A3框架,通过主动采样、对抗损失与一致性正则化实现无源数据的分布对齐,提升域适应效果。
2024-10-07 cs.AI cs.CV cs.LG
Self-training Guided Adversarial Domain Adaptation For Thermal Imagery
Aselsan Inc(阿瑟尔桑公司);Middle East Technical University(中东技术大学);NOROM Neuroscience and Neurotechnology Excellency Center(NOROM神经科学与神经技术卓越中心)
在大规模RGB图像数据集上训练的深度模型已经取得了巨大的成功。重要的是将这种深层模型应用于现实世界的问题。然而,这些模型在光照变化下受到性能瓶颈的影响。热红外相机对这种变化更鲁棒,因此对现实世界的问题非常有用。为了研究结合特征丰富的可见光谱和热图像模态的有效性,我们提出了一种无监督的领域自适应方法,该方法不需要RGB到热图像对。我们采用大规模的RGB数据集MS-COCO作为源域和热数据集FLIR ADAS作为目标域来展示我们的方法的结果。虽然对抗性领域自适应方法旨在对齐源域和目标域的分布,但是简单地对齐分布不能保证对目标域的完美泛化。为此,我们提出了一种自训练引导的对抗性领域自适应方法,以提高对抗性领域自适应方法的泛化能力。为了执行自训练,将伪标签分配给目标热域上的样本,以学习目标域的更一般化的表示。大量的实验分析表明,我们提出的方法取得了更好的结果比国家的最先进的对抗性领域自适应方法。代码和模型是公开的。
2021-06-14 cs.CV cs.LG
Self-adaptive Re-weighted Adversarial Domain Adaptation
Chongqing University(重庆大学)
现有的对抗性领域自适应方法主要考虑边缘分布,这些方法可能导致欠迁移或负迁移。为了解决这个问题,我们提出了一种自适应重加权对抗领域自适应方法,试图从条件分布的角度来增强域对齐。为了促进正迁移和对抗负迁移,我们降低了对齐特征的对抗性损失的权重,同时增加了那些通过条件熵测量的对齐不良特征的对抗性力量。此外,利用源样本和伪标记的目标样本的三重丢失在混淆域上被采用。这种度量损失确保类内样本对的距离比类间样本对更接近,以实现类级对齐。通过这种方式,可以在协同训练过程中同时捕获高精度的伪标记目标样本和语义对齐。我们的方法实现了理想源和目标假设的低联合误差。然后,预期的目标误差可以是遵循本-大卫定理的上限。实验结果表明,该模型在标准领域自适应数据集上的性能优于现有技术。
2020-06-02 cs.CV cs.LG
Adversarial-Learned Loss for Domain Adaptation
Zhejiang University(浙江大学);Fabu Inc.(法布公司);Alibaba-Zhejiang University Joint Institute of Frontier Technologies(阿里巴巴-浙江大学前沿技术联合研究院)
近年来,跨领域的可迁移表征学习取得了显著的进展。领域自适应的研究主要基于两种技术:领域对抗学习和自训练。然而,领域对抗学习只对齐领域之间的特征分布,而不考虑目标特征是否具有区分性。另一方面,自训练利用模型预测来增强目标特征的区分度,但它无法显式地对齐域分布。为了结合这两种方法的优点,我们提出了一种新的方法称为领域自适应的不利学习损失(ALDA)。我们首先分析了伪标签方法,一种典型的自训练方法。然而,伪标签和地面事实之间存在差距,这可能导致不正确的训练。因此,我们引入了混淆矩阵,它是通过ALDA中的对抗方式学习的,以减少差距并对齐特征分布。最后,一个新的损失函数是自动构造的混淆矩阵,作为未标记的目标样本的损失。我们的ALDA在四个标准的领域自适应数据集上优于最先进的方法。我们的代码可在https://github.com/ZJULearning/ALDA上获得。
2020-01-04 cs.CV cs.LG
A Label Proportions Estimation Technique for Adversarial Domain Adaptation in Text Classification
Signal Analysis and Interpretation Lab(信号分析与解释实验室);University of Southern California(南加州大学);Department of Psychiatry and Behavioral Sciences(精神病学与行为科学系);University of Washington(华盛顿大学);Department Educational Psychology(教育心理学系);University of Utah(犹他大学)
许多文本分类任务是领域相关的,并且已经提出了各种领域自适应方法来预测新领域中的未标记数据。领域对抗神经网络(DANN)及其变体近年来得到了广泛的应用,并取得了可喜的成果。然而,这些方法中的大多数都假设源域和目标域的标签比例是相似的,这在大多数现实场景中很少成立。有时,标签偏移可能很大,并且DANN无法学习域不变特征。在这项研究中,我们专注于无监督领域自适应的文本分类与标签偏移,并介绍了一个领域对抗网络与标签比例估计(DAN-LPE)框架。DAN-LPE同时训练一个领域对抗网络,并通过源领域的混淆和目标领域的预测来处理标签比例估计。实验结果表明,DAN-LPE算法能够很好地估计目标标签的分布,减少了标签偏移,提高了分类性能。
2020-03-26 cs.CL cs.LG
Active Adversarial Domain Adaptation
UMass Amherst(马萨诸塞大学阿默斯特分校);NEC Laboratories America(美国电气股份有限公司实验室);UC San Diego(加利福尼亚大学圣地亚哥分校)
我们提出了一个主动学习的方法,跨域转移表示。我们的方法,主动对抗领域自适应(AADA),探讨了两个相关的问题之间的二元性:对抗域对齐和重要性采样跨域适应模型。前者使用域判别模型来对齐域,而后者利用它来加权样本以解释分布偏移。具体来说,我们的重要性权重促进样本具有较大的不确定性的分类和标记的例子的多样性,从而作为一个样本选择方案的主动学习。我们表明,这两种观点可以统一在一个框架的领域自适应和迁移学习时,源域有许多标记的例子,而目标域没有。当两个域密切相关时,AADA提供了基于微调的方法和其他采样方法的显着改进。具有挑战性的领域自适应任务的结果,例如,目标检测,证明了即使在数百个示例被主动注释之后,也保留了相对于基线方法的优势。
2020-03-09 cs.CV cs.LG
Addressing Appearance Change in Outdoor Robotics with Adversarial Domain Adaptation
University of Oxford(牛津大学)
由于天气和季节条件而引起的外观变化是户外机器人中机器学习系统稳健实施的一个强大障碍。虽然监督学习优化了训练域的模型,但它会在应用领域中降低性能,这些应用领域是由这些变化引起的分布变化的基础。传统上,这个问题已经通过在多个域中收集标记数据或通过对两个域之间的移位类型施加先验来解决。我们在无监督领域自适应的背景下框架的问题,并开发了一个框架,应用对抗技术,以适应流行的,最先进的网络架构与额外的目标,跨域对齐功能。此外,由于对抗训练是出了名的不稳定,我们首先进行了广泛的消融研究,采用了许多已知的技术来稳定生成对抗网络,并在具有相同外观变化的代理分类任务上进行评估。提取的见解适用于自由空间分割的问题,自动驾驶中的运动规划。
2017-09-17 cs.LG cs.RO
Unknown-Aware Domain Adversarial Learning for Open-Set Domain Adaptation
KAIST(韩国科学技术院);University of Seoul(首尔大学)
开集领域自适应(OSDA)假设目标域包含在源域中未发现的未知类。现有的领域对抗学习方法不适合OSDA,因为与$\textit{unknown}$类的分布匹配会导致负迁移。以前的OSDA方法集中于通过仅利用$\textit{known}$类来匹配源和目标分布。然而,这种仅$\textit{known}$匹配可能无法学习目标$\textit{unknown}$特征空间.因此,我们提出了未知感知领域对抗学习(UADAL),其中$\textit{aligns}$是源和目标- $\textit{known}$分布,而同时$\textit{segregating}$是目标- $\textit{unknown}$分布在特征对齐过程中。我们提供了理论分析的最佳状态的建议$\textit{unknown-aware}$特征对齐,所以我们可以保证$\textit{alignment}$和$\textit{segregation}$理论。从经验上讲,我们评估UADAL的基准数据集,这表明UADAL优于其他方法,更好的功能对齐报告的最先进的性能。
2022-10-24 cs.AI cs.LG
Cross Domain Few-Shot Learning via Meta Adversarial Training
Beihang University(北京航空航天大学);University of Ottawa(渥太华大学)
Few-Shot关系分类(RC)是机器学习的关键问题之一。目前的研究仅仅集中在训练和测试都来自同一领域的设置上。然而,在实践中,这一假设并不总是得到保证。在这项研究中,我们提出了一个新的模型,考虑到上述跨域的情况。与以前的模型不同,我们只使用源域数据来训练原型网络,并在目标域数据上测试模型。提出了一种基于元数据的对抗训练框架(MBATF)来微调训练后的网络,以适应来自目标域的数据。实证研究证实了该模型的有效性。
2022-05-25 cs.AI cs.LG
On the Mechanisms of Adversarial Data Augmentation for Robust and Adaptive Transfer Learning
该研究系统探究对抗数据增强在迁移学习中的作用,提出整合对抗数据增强、一致性正则化与域不变表征学习的统一框架,在多基准数据集上验证了其提升域适应性能的效果,拓展了对抗学习的应用价值。
2025-05-19 cs.CV cs.LG
MADG: Margin-based Adversarial Learning for Domain Generalization
Indian Institute of Technology Hyderabad(印度理工学院海得拉巴分校);University of Agder(阿格德尔大学)
提出基于边界损失差异度量的对抗学习域泛化算法MADG,通过学习域不变特征和对抗训练提升未见目标域泛化,并在多个基准数据集上验证了有效性。
2023-11-14 cs.CV cs.LG
Domain Adversarial Neural Networks for Domain Generalization: When It Works and How to Improve
University of Pittsburgh(匹兹堡大学);Northeastern University(东北大学);Yonsei University(延世大学)
在理论上,领域自适应是一个很好的研究问题。此外,这一理论在实践中得到了很好的应用。特别是,我们注意到Ben-David等人(2010)给出的目标误差的界限,以及Ganin和Lempitsky(2015)提出的基于这项工作的著名域对齐算法,该算法使用域对抗神经网络(DANN)。近年来,针对领域泛化的相关问题,提出了多种DANN变体,但对原始的激励约束没有进行太多的讨论。在本文中,我们从这个角度研究的有效性DANN在领域泛化。我们调查的条件下,DANN的应用是有意义的,并进一步考虑DANN作为一个动态的过程中的培训。我们的调查表明,应用DANN的领域泛化可能并不像它看起来那么简单。为了解决这个问题,我们设计了一个算法扩展到DANN的领域泛化的情况下。实验验证了理论和算法的正确性。
2022-03-18 cs.CV cs.LG
Single Domain Generalization with Adversarial Memory
School of Computer Science, Carleton University(卡尔顿大学计算机科学学院)
本文提出一种基于对抗记忆库的单域泛化方法,通过将训练和测试特征映射到由多样化记忆特征张成的不变子空间来隐式对齐域分布,并利用对抗特征生成扩展训练域分布,在标准基准上取得了最先进性能。
2025-03-08 cs.AI cs.LG
AdCorDA: Classifier Refinement via Adversarial Correction and Domain Adaptation
McGill University(麦吉尔大学)
本文提出AdCorDA分类器精炼方法,通过对抗校正修正训练集错分类样本、再经域适应还原,在CIFAR-100上准确率提升超5%,还可提升量化网络性能与模型对抗鲁棒性。
2024-01-24 cs.AI cs.CV cs.LG
Randomized Adversarial Style Perturbations for Domain Generalization
Seoul National University(首尔大学)
提出随机对抗式风格扰动(RASP)技术,通过对抗性扰动特征风格提升模型对未见领域的泛化能力,并结合归一化特征混合(NFM)缓解训练中知识学习退化问题,在大规模基准上显著提升性能。
2023-11-21 cs.CV cs.LG
An In-Depth Analysis of Adversarial Discriminative Domain Adaptation for Digit Classification
Princeton University(普林斯顿大学)
本文复现并扩展 ADDA 数字分类实验,分析其在多种域偏移下的适应效果,证明其可显著提升部分跨域准确率且几乎不损害域内性能。
2025-01-07 cs.AI cs.CV cs.LG
Adversarial and Random Transformations for Robust Domain Adaptation and Generalization
National Innovation Institute of Defense Technology(国防科技创新研究院)
数据增强已被广泛用于在训练深度神经网络时提高泛化能力。最近的工作表明,使用最坏情况下的转换或对抗增强策略可以显着提高准确性和鲁棒性。然而,由于图像变换的不可微性质,必须应用诸如强化学习或演化策略的搜索算法,这对于大规模问题在计算上是不实用的。在这项工作中,我们表明,通过简单地应用随机数据增强的一致性训练,可以获得领域自适应(DA)和泛化(DG)的最先进的结果。为了进一步提高对抗样本的准确性和鲁棒性,提出了一种基于空间Transformer网络的可微对抗数据增强方法。基于组合对抗和随机变换的方法在多个DA和DG基准数据集上的性能优于最先进的方法。此外,所提出的方法显示出良好的鲁棒性腐败,这也是常用的数据集上验证。
2022-11-13 cs.CV cs.LG
Unsupervised Adversarial Domain Adaptation Based On The Wasserstein Distance For Acoustic Scene Classification
Tampere University(坦佩雷大学)
基于深度学习的机器监听领域中的一个具有挑战性的问题是当使用来自不可见条件的数据时性能的下降。在本文中,我们专注于声学场景分类(ASC)任务,并提出了一种对抗性的深度学习方法,允许适应声学场景分类系统,以处理由不同记录设备捕获的数据产生的新声道。我们建立在HΔ H距离的理论模型和先前的ASC无监督领域自适应的对抗性判别深度学习方法的基础上,并提出了一种使用Wasserstein距离的基于对抗性训练的方法。我们使用TUT Acoustic Scenes数据集,将来自未知条件的数据的最先进平均准确度从32%提高到45%。
2019-11-06 cs.LG cs.SD eess.AS
CADA: Multi-scale Collaborative Adversarial Domain Adaptation for Unsupervised Optic Disc and Cup Segmentation
University of Florida(佛罗里达大学);UNC Charlotte(北卡罗来纳大学夏洛特分校)
视网膜成像设备的多样性带来了一个重大挑战:域转移,当将在一个域上训练的深度学习模型应用于新的测试域时,会导致性能下降。在本文中,我们提出了一个多尺度输入以及多个域适配器分层应用在特征和输出空间。提出的训练策略和新的无监督域自适应框架,称为协作对抗域自适应(CADA),可以有效地克服这一挑战。多尺度输入可以减少由于网络中用于特征提取的池化层而导致的信息损失,而我们提出的CADA是一种交互式范例,通过对抗性学习和在不同网络层集成权重来呈现精致的协作自适应。特别是,为了对未标记的目标域数据进行更好的预测,我们同时通过对抗性学习来实现域不变性和模型的泛化能力,这些学习来自不同级别的网络层的多尺度输出,并在训练期间保持历史权重的指数移动平均值(EMA)。在不注释来自目标域的任何样本的情况下,编码器和解码器层中的多个对抗性损失引导提取域不变特征以混淆域分类器。同时,通过EMA的权重集成减少了自适应多重学习的不确定性。综合实验结果表明,我们的CADA模型结合多尺度输入训练,可以克服性能下降,并优于最先进的领域自适应方法分割视网膜视盘和杯从眼底图像源于REFUGE,Drishti-GS,和Rim-One-r3数据集。
2021-10-05 cs.CV cs.LG eess.IV
Adapt under Attack and Domain Shift: Unified Adversarial Meta-Learning and Domain Adaptation for Robust Automatic Modulation Classification
Department of Electrical and Computer Engineering, Clemson University(电气与计算机工程系,克莱姆森大学)
针对自动调制分类(AMC)中对抗攻击与数据分布偏移问题,提出一种结合元学习与领域自适应的统一两阶段框架,显著提升了模型在组合威胁下的分类准确率与鲁棒性。
2025-11-03 cs.AI cs.LG eess.SP
Adversarial Unsupervised Domain Adaptation for Harmonic-Percussive Source Separation
Doremir Music Research AB(多雷米尔音乐研究公司);Queen Mary University of London(伦敦玛丽女王大学)
针对音乐声源分离的任务,提出了领域自适应的问题。使用来自两个不同领域的数据集,我们比较了不同训练场景下基于深度学习的谐波分离声源分离模型的性能,包括使用来自两个领域的数据进行监督联合训练,以及在一个领域中进行预训练并在另一个领域中进行微调。我们提出了一种对抗性的无监督领域自适应方法,适用于没有来自目标域的标记数据(地面实况源信号)的情况。通过利用未标记的数据(只有混合物)从这个领域,实验表明,我们的框架可以提高分离性能的新领域,而不会失去任何相当大的性能在原来的域。本文还介绍了Tap & Fiddle数据集,该数据集包含斯堪的纳维亚小提琴曲调的录音,以及“踢脚”和“小提琴”的孤立曲目。
2021-01-03 cs.LG cs.SD eess.AS
Adversarial Unsupervised Domain Adaptation with Conditional and Label Shift: Infer, Align and Iterate
Massachusetts General Hospital(麻省总医院);Harvard Medical School(哈佛医学院);Alibaba Group(阿里巴巴集团);Carnegie Mellon University(卡内基梅隆大学);The Hong Kong Polytechnic University(香港理工大学);University of Southern California(南加州大学)
在这项工作中,我们提出了一个对抗性的无监督领域自适应(UDA)方法与固有的条件和标签偏移,我们的目标是对齐的分布w.r.t. $p(x|y)$和$p(y)$。由于标签在目标域中不可访问,因此常规对抗性UDA假设$p(y)$跨域不变,并且依赖于比对$p(x)$作为$p(x|y)$比对的替代。为了解决这个问题,我们提供了一个彻底的理论和经验分析的传统对抗UDA方法下的条件和标签偏移,并提出了一个新的和实用的替代优化方案对抗UDA。具体来说,我们推断边缘$p(y)$和对齐$p(x|y)$迭代训练,并精确对齐后$p(y|x)$在测试中。我们的实验结果表明,它的有效性分类和分割UDA,部分UDA。
2021-08-02 cs.AI cs.CV cs.LG
Adversarial Style Mining for One-Shot Unsupervised Domain Adaptation
Huazhong University of Science & Technology(华中科技大学);University of Technology Sydney(悉尼科技大学);Farsee2 Tech. Co.(Farsee2科技公司);Baidu Research(百度研究院)
本文针对One-Shot无监督领域自适应问题进行研究。与传统的无监督领域自适应不同,它假设在学习自适应时只有一个未标记的目标样本可用。这种设置是现实的,但更具挑战性,在传统的适应方法很容易失败,由于缺乏未标记的目标数据。为此,我们提出了一种新的对抗性风格挖掘方法,它结合了风格转换模块和任务特定模块到一个对抗的方式。具体而言,风格转移模块根据当前学习状态迭代地在一次性目标样本周围搜索更难风格化的图像,引导任务模型探索几乎不可见的目标领域中难以解决的潜在风格,从而提高数据稀缺场景中的适应性能。对抗性学习框架使风格迁移模块和任务特定模块在竞争中相互受益。跨域分类和分割基准上的大量实验验证了ASM在具有挑战性的单次设置下实现了最先进的自适应性能。
2020-04-13 cs.CV cs.LG eess.IV
DATTA: Domain-Adversarial Test-Time Adaptation for Cross-Domain WiFi-Based Human Activity Recognition
TU Wien(维也纳技术大学)
本文提出DATTA框架,融合域对抗训练、测试时自适应与权重重置,解决WiFi人体活动识别中的跨域泛化问题,并在实时场景下比现有方法F1-Score提升8.1%。
2024-11-20 cs.AI cs.CV cs.ET
Towards Stable and Comprehensive Domain Alignment: Max-Margin Domain-Adversarial Training
Nanyang Technological University(南洋理工大学);University of California, Berkeley(加州大学伯克利分校)
领域自适应解决了将知识从标签丰富的源领域转移到标签稀缺甚至未标记的目标领域的问题。最近,域对抗训练(DAT)已经显示出通过反转域分类器的梯度传播来学习域不变特征空间的有前途的能力。然而,DAT在几个方面仍然很脆弱,包括(1)由于对抗训练中领域分类器的压倒性区分能力而导致的训练不稳定性,(2)限制性特征级对齐,以及(3)缺乏对学习特征空间的可解释性或系统性解释。在本文中,我们提出了一种新的最大边缘域对抗训练(MDAT)通过设计一个对抗重建网络(ARN)。建议MDAT稳定ARN中的梯度反转通过用重建网络代替域分类器,并且以这种方式ARN进行特征级和像素级域对齐而不涉及额外的网络结构。此外,ARN对各种超参数设置表现出很强的鲁棒性,大大减轻了模型选择的任务。大量的实验结果验证了我们的方法优于其他国家的最先进的域对齐方法。此外,重构自适应特征揭示了符合我们直觉的域不变特征空间。
2020-03-30 cs.LG stat.ML
Domain Adversarial Fine-Tuning as an Effective Regularizer
National Technical University of Athens(雅典国立技术大学);University of Sheffield(谢菲尔德大学);LMU Munich(慕尼黑大学);Athens University of Economics and Business(雅典经济与商业大学)
在自然语言处理(NLP)中,最近已经证明,被转移到下游任务的预训练的语言模型(LM)可以实现最先进的结果。然而,标准的微调可能会降低预训练期间捕获的通用域表示。为了解决这个问题,我们引入了一种新的正则化技术,AFTER;域对抗性微调作为有效的正则化器。具体来说,我们用对抗性目标补充了微调过程中使用的特定于任务的损失。这个额外的损失项与对抗分类器有关,其目的是区分域内和域外文本表示。域内是指手头任务的标记数据集,而域外是指来自不同域的未标记数据。直观地说,对抗分类器充当正则化器,防止模型过度拟合特定于任务的域。对各种自然语言理解任务的实证结果表明,与标准微调相比,AFTER可以提高性能。
2020-10-05 cs.LG stat.ML
On the Hardness of Robustness Transfer: A Perspective from Rademacher Complexity over Symmetric Difference Hypothesis Space
The Pennsylvania State University(宾夕法尼亚州立大学);Michigan State University(密歇根州立大学);Sony AI(索尼人工智能研究院)
最近的研究表明,在$\ell_\infty$攻击下的对抗鲁棒学习比标准的领域自适应更难推广到不同的领域。如何在不同领域之间传递鲁棒性是领域自适应研究的一个关键问题。为了研究对抗性鲁棒领域自适应(或鲁棒性转移)背后的根本困难,我们提出分析控制跨领域泛化的关键复杂性度量:{ \em对称差异假设空间} $\mathcal{H} Δ\mathcal{H}$上的对抗性Rademacher复杂性。对于线性模型,我们表明,这种复杂性的对抗版本总是大于非对抗版本,这揭示了对抗鲁棒领域自适应的内在硬度。我们还建立了这个复杂性措施的上限。然后,我们将它们扩展到ReLU神经网络类,通过在二进制分类设置中上界对抗Rademacher复杂度。最后,尽管鲁棒领域自适应被证明是困难的,我们确实发现鲁棒学习和标准领域自适应之间的正相关关系。我们解释\emph{how adversarial training helps domain adaptation in terms of standard risk}。我们相信,我们的研究结果启动了对抗鲁棒领域自适应的泛化理论研究,并可能揭示分布式对抗鲁棒学习的异构来源,例如,联邦学习场景。
2023-02-23 cs.LG stat.ML
Are You A Risk Taker? Adversarial Learning of Asymmetric Cross-Domain Alignment for Risk Tolerance Prediction
School of Computer Science and Engineering, University of New South Wales(新南威尔士大学计算机科学与工程学院);School of Computer Science, University of Technology Sydney(悉尼科技大学计算机学院);Raiz Invest Limited(Raiz Invest有限公司(公司))
目前的调查分析和风险容忍度建模研究大多缺乏专业知识和特定领域的模型。鉴于生成对抗学习在跨域信息中的有效性,针对域规模不等式问题,设计了一个非对称跨域生成对抗网络(ADGAN). ADGAN利用信息充足域提供额外的信息,通过域对齐来改进信息不足域上的表示学习。我们提供两个数据源的数据分析和用户模型:消费者消费信息和调查信息。我们进一步在具有视图嵌入结构的真实数据集上测试ADGAN,并显示ADGAN可以比最先进的技术更好地处理类不平衡和不合格的数据空间,证明了利用不对称域信息的有效性。
2020-04-18 cs.LG stat.ML
Improving Adversarial Robustness via Unlabeled Out-of-Domain Data
Harvard University(哈佛大学);Rutgers University(罗格斯大学);Stanford University(斯坦福大学)
通过合并来自多个域的廉价未标记数据的数据增强是改进预测的强大方法,特别是在标记数据有限的情况下。在这项工作中,我们研究了如何通过利用域外未标记数据来增强对抗鲁棒性。我们证明,广泛的类分布和分类器,标准和强大的分类之间存在着一个样本的复杂性差距。我们通过提供上界和下界来量化通过利用来自移动域的未标记样本可以在多大程度上弥补这一差距。此外,我们展示了当未标记数据来自移位域而不是与标记数据相同的域时,我们实现更好的对抗鲁棒性的设置。我们还研究了如何利用域外数据时,一些结构信息,如稀疏性,标记和未标记的域之间共享。在实验中,我们增加了两个对象识别数据集(CIFAR-10和SVHN),易于获得和未标记的域外数据,并证明了该模型对原始域上的$\ell_\infty$对抗攻击的鲁棒性的实质性改善。
2021-02-21 cs.LG stat.ML
JointGAN: Multi-Domain Joint Distribution Learning with Generative Adversarial Nets
Facebook(脸书);Duke University(杜克大学);Microsoft Research(微软研究院)
提出了一种新的联合分布匹配生成对抗网络。不同于大多数现有的方法,只学习条件分布,所提出的模型旨在学习多个随机变量(域)的联合分布。这是通过学习从域之间的条件分布中采样来实现的,同时学习从每个域的边缘采样。该框架由多个生成器和一个基于softmax的评论家组成,所有这些都是通过对抗学习进行联合训练的。从一个简单的噪声源,所提出的框架允许从边缘的综合提请,条件提请给定的观察从随机变量的子集,或完整的提请从完整的联合分布。考虑的大多数例子是两个域的联合分析,三个域的例子也提出。
2018-06-08 cs.LG stat.ML
Domain-adversarial Network Alignment
Beijing Institute of Technology(北京理工大学);University of Technology Sydney(悉尼科技大学)
网络对齐是一个重要的任务,以各种各样的领域。许多现有的工作利用表示学习来完成这一任务,而不消除域相关特征引起的域表示偏差,这会产生较差的对齐性能。本文提出了一种统一的深度架构(DANA),通过对抗域分类器获得网络对齐的域不变表示。具体来说,我们采用图卷积网络在域对抗原则下执行网络嵌入,给定一个小的观测锚集。然后,半监督学习框架优化观测锚和损失的域分类器的后验概率分布的同时。我们还开发了我们的模型的一些变体,如方向感知网络对齐,有向网络的权重共享和参数空间的简化。在三个真实社会网络数据集上的实验表明,我们提出的方法实现了最先进的对齐结果。
2019-08-15 cs.LG stat.ML