Self-supervised Domain-agnostic Domain Adaptation for Satellite Images
Technical University of Munich(慕尼黑工业大学)
本文提出自监督域无关域自适应方法SS(DA)2,通过对比生成对抗损失实现任意卫星图像块间的图像转换,并利用测试光谱特征增强训练数据,从而在无需显式域定义的情况下提升模型泛化能力。
2023-09-25 cs.CV eess.IV
DAOT: Domain-Agnostically Aligned Optimal Transport for Domain-Adaptive Crowd Counting
Wuhan University of Technology(武汉理工大学);Wuhan University(武汉大学);Singapore Management University(新加坡管理大学)
本文提出DAOT策略,通过SSIM度量个体差异、最优传输对齐域无关因素并重训练模型,以缓解人群计数中的域内差异和跨域错位问题,在多个基准上验证了其泛化能力。
2023-08-10 cs.CV
See Eye to Eye: A Lidar-Agnostic 3D Detection Framework for Unsupervised Multi-Target Domain Adaptation
Australian Centre for Field Robotics(澳大利亚现场机器人研究中心);University of Sydney(悉尼大学)
本文提出无监督多目标域自适应框架SEE,通过插值几何结构并归一化扫描模式,实现三维检测器在固定与可调扫描模式激光雷达间的性能迁移,无需终端用户微调,并在公开数据集及新型高分辨率激光雷达上验证了有效性。
2023-04-10 cs.CV
Continuous Domain Adaptation with Variational Domain-Agnostic Feature Replay
Imagia;Montreal Institute for Learning Algorithms (MILA), University of Montreal(蒙特利尔学习算法研究所(MILA),蒙特利尔大学);Dalhousie University(达尔豪西大学);Canadian Institute for Advanced Research (CIFAR)(加拿大高级研究所(CIFAR))
非平稳环境下的学习是机器学习面临的最大挑战之一。非平稳性可以由任务漂移引起,即,给定输入数据的标签的条件分布中的漂移,或域漂移,即,输入数据的边缘分布的漂移。本文的目的是解决这一挑战的背景下,连续领域自适应,其中模型需要学习新的任务,适应新的领域在一个非平稳的环境,同时保持以前学到的知识。为了处理这两个漂移,我们提出变分域不可知特征重放,一种方法,由三个组成部分:一个推理模块,过滤的输入数据域不可知表示,生成模块,促进知识转移,和求解器模块,应用过滤和可转移的知识来解决查询。我们解决了两个基本的情况下,在连续的领域自适应,证明了我们提出的方法的有效性,为实际使用。
2020-03-09 cs.CV cs.LG stat.ML
ShadowSense: Unsupervised Domain Adaptation and Feature Fusion for Shadow-Agnostic Tree Crown Detection from RGB-Thermal Drone Imagery
University of Alberta(阿尔伯塔大学)
本文提出ShadowSense方法,通过无监督域适应与RGB-热成像特征融合,结合约5万对配对数据集,有效解决了无人机影像中阴影树冠的检测难题。
2023-10-24 cs.CV
Towards Corruption-Agnostic Robust Domain Adaptation
NLPR, Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所模式识别国家重点实验室);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);Youtu Lab, Tencent Inc.(腾讯优图实验室);CASIA-LLvision Joint Lab(中国科学院自动化研究所与联影智能联合实验室);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Shenzhen Research Institute of Big Data(深圳市大数据研究院)
几十年来,领域自适应研究取得了很大进展。现有的工作都是基于一个理想的假设,即测试目标域是独立同分布的。训练目标域。然而,由于不可预测的腐败(例如,噪声和模糊),越来越多地要求领域自适应方法在目标域上是破坏鲁棒的。在本文中,我们研究了一个新的任务,腐败不可知的鲁棒领域自适应(CRDA):是准确的原始数据和鲁棒的目标域上的不可用的训练腐败。由于大的域差异和无监督的目标域,这个任务是不平凡的。我们观察到,流行的领域自适应和腐败鲁棒性的方法的简单组合具有次优的CRDA结果。我们提出了一种新的方法,基于对CRDA的两个技术见解:1)一个易于插入的模块,称为域离散生成器(DDG),生成的样本,扩大域的差异,以模仿不可预测的腐败; 2)一个简单但有效的教师-学生计划与对比损失,以增强对目标域的约束。实验证明,DDG保持甚至提高了对原始数据的性能,并实现了更好的腐败鲁棒性基线。
2021-04-21 cs.CV cs.LG
MiddleGAN: Generate Domain Agnostic Samples for Unsupervised Domain Adaptation
University of Virginia(弗吉尼亚大学)
近年来,机器学习在不同的应用领域取得了令人印象深刻的成果。然而,机器学习算法不一定在具有与其训练集不同的分布的新域上表现良好。领域自适应(DA)被用来缓解这个问题。现有DA算法的一种方法是寻找在源域中的分布与在目标域中的分布相同的域不变特征。在本文中,我们建议让分类器执行最终的分类任务的目标域隐式学习不变的功能来执行分类。这是通过在训练期间向分类器提供与来自源域和目标域的样本相似的假样本来实现的。我们称这些生成的样本为域不可知样本。为了实现这一目标,我们提出了一种新的生成对抗网络(GAN)变体,称为Middle GAN,它使用两个鉴别器和一个生成器生成与源域和目标域的样本相似的假样本。我们扩展了GAN的理论,证明了MiddleGAN中两个鉴别器和一个生成器的参数存在最优解,并通过经验证明了MiddleGAN生成的样本与来自源域的样本和来自目标域的样本相似。我们使用24个基准测试进行了广泛的评估;在24个基准测试中,我们将MiddleGAN与各种最先进的算法进行了比较,并在某些基准测试中超过了最先进的算法20.1%。
2022-11-06 cs.AI cs.CV
Domain Adaptation Using Pseudo Labels
Arizona State University(亚利桑那州立大学);Georgia State University(佐治亚州立大学)
针对无监督域自适应中类别错配问题,提出基于预训练网络的多阶段伪标签精炼方法,从置信度等维度筛选伪标签,在多数据集上效果优于复杂前沿方法。
2024-03-12 cs.CV
StereoFlowGAN: Co-training for Stereo and Flow with Unsupervised Domain Adaptation
Washington University in St. Louis(圣路易斯华盛顿大学);RWTH Aachen University(亚琛工业大学);University of Kentucky(肯塔基大学)
本文提出StereoFlowGAN,通过合成与真实图像间的转换及双向特征扭曲模块,实现无监督域自适应下的立体匹配与光流估计协同训练,性能优于现有域转换方法。
2023-09-04 cs.CV
Attention-Aware Age-Agnostic Visual Place Recognition
Delft University of Technology(代尔夫特理工大学)
本文提出了一种跨域视觉位置识别(VPR)任务,即:匹配在不同域中描绘的相同架构的图像。VPR通常被视为图像检索任务,其中来自未知位置的查询图像与来自地理标记图库数据库的相关实例相匹配。不同于传统的VPR设置,查询图像和图库图像来自同一个域,我们提出了一个更常见的,但具有挑战性的设置,查询图像收集在一个新的看不见的条件下。这项工作涉及的两个领域是来自Mapillary数据集的阿姆斯特丹当代街景图像(源域)和来自Beeldbank数据集的同一城市的历史图像(目标域)。我们量身定制了一个年龄不变的特征学习CNN,它可以专注于域不变对象,并学习基于弱监督排名损失来匹配图像。我们提出了一个注意力聚合模块,该模块对训练和测试数据之间的域差异具有鲁棒性。此外,采用多核最大均值差异(MK-MMD)领域自适应损失,以提高跨域排序性能。注意和适应模块都是无监督的,而排名损失使用弱监督。视觉检查表明,注意力模块专注于构建的形式,而急剧变化的环境则不那么重要。我们提出的CNN在单域VPR任务上达到了最先进的结果(99%的准确率),在跨域VPR任务上达到了最好的20%的准确率,揭示了年龄不变VPR的困难。
2019-09-11 cs.CV
Multi-Target Adversarial Frameworks for Domain Adaptation in Semantic Segmentation
Sorbonne University(索邦大学)
在这项工作中,我们解决的任务无监督领域自适应(UDA)的语义分割存在多个目标域:目标是训练一个单一的模型,可以处理所有这些域在测试时。这种多目标适应对于现实世界的自主系统必须处理的各种场景至关重要。这是一个具有挑战性的设置,因为人们不仅面临着标记的源集合和未标记的目标集合之间的域间隙,而且还存在于后者内的不同目标域之间的分布偏移。为此,我们引入了两个对抗框架:(i)多目标,它明确地将每个目标域与其对应物对齐,以及(ii)多目标知识转移,它通过多教师/单学生蒸馏机制学习目标不可知的模型。评估是在语义分割中对UDA的四个新提出的多目标基准进行的。在所有测试场景中,我们的方法始终优于基线,为新任务设定了竞争标准。
2021-09-15 cs.CV
Open-Set Multi-Source Multi-Target Domain Adaptation
Indian Institute of Science (IISc)(印度科学学院);Visvesvaraya National Institute of Technology (VNIT)(维斯瓦拉亚国家技术学院)
单源单目标领域自适应(1 S1 T)的目的是在标记的源域和未标记的目标域之间架起一座桥梁。尽管1 S1 T是一个经过充分研究的主题,但它们通常不会部署到现实世界中。像多源领域自适应和多目标领域自适应这样的方法已经发展到模拟现实世界的问题,但仍然不能很好地推广。事实上,这些方法中的大多数都假设源和目标之间有一个公共的标签集,这是非常有限的。最近的开集领域自适应方法处理未知的目标标签,但未能在多个域中推广。为了克服这些困难,首先,我们提出了一种新的通用领域自适应(DA)设置命名为开放集多源多目标领域自适应(OS-nSmT),与n和m分别是源和目标域的数量。接下来,我们提出了一个基于图注意力的框架DEGAA,它可以捕获来自多个源和目标域的信息,而不需要知道目标的确切标签集。我们认为,我们的方法,虽然提供了多个来源和多个目标,也可以是不可知的各种其他DA设置。为了检验DEGAA的鲁棒性和通用性,我们提出了大量的实验和烧蚀研究。
2023-02-03 cs.CV
Self-Supervised Noisy Label Learning for Source-Free Unsupervised Domain Adaptation
Zhejiang University(浙江大学);Hikvision Research Institute(海康威视研究院);Fuzhou University(福州大学)
在许多现有的无监督领域自适应方法中,自由地访问源数据是一个很强的先决条件。然而,由于昂贵的数据传输和数据隐私保护的限制,在许多实际场景中,源数据是不可知的。通常情况下,期望给定的源域预训练模型仅使用未标记的目标数据进行优化,这被称为无源无监督领域自适应。在本文中,我们从噪声标签学习的角度来解决这个问题,因为给定的预训练模型可以通过直接的网络推理为未标记的目标数据预生成噪声标签。在此问题建模的基础上,结合自监督学习,提出了一种新的自监督噪声标签学习方法,该方法可以有效地利用预生成的标签和动态自生成的标签对预训练模型进行微调。为验证其有效性,进行了大量实验。我们的方法可以很容易地实现国家的最先进的结果,并超过其他方法的一个非常大的保证金。代码将被释放。
2021-02-23 cs.CV
Domain Adaptation for Deviating Acquisition Protocols in CNN-based Lesion Classification on Diffusion-Weighted MR Images
German Cancer Research Center (DKFZ)(德国癌症研究中心);University Hospital Erlangen(埃尔兰根大学医院);Radiological Practice at the ATOS Clinic(ATOS诊所放射科诊所);Radiology Center Mannheim (RZM)(曼海姆放射中心)
端到端深度学习使用卷积神经网络(CNN)架构改进扩散加权MR图像(DWI)上的乳腺癌分类。与先前的基于模型的方法相反,CNN的限制是依赖于在训练期间使用的特定DWI输入通道。然而,在大规模应用的背景下,由于临床站点之间的扫描协议的高偏差,对异构输入不可知的方法是可取的。我们提出了基于模型的领域自适应,以克服输入依赖性,并避免重新训练的网络在临床站点通过恢复训练输入从改变的输入通道在部署过程中。我们证明了该方法的显着增加的分类性能和优越性,隐式领域自适应提供的训练方案上的模型参数,而不是原始DWI图像。
2018-07-17 cs.CV
Instance Level Affinity-Based Transfer for Unsupervised Domain Adaptation
University of California San Diego(加州大学圣迭戈分校)
领域自适应处理使用来自特定源域的大规模标记数据来训练模型,然后将知识适配到具有很少或没有标记的某些目标域。许多现有的作品学习域不可知的特征表示,用于此目的,使用全局分布对齐目标,其不考虑在源和目标域中的更精细的类特定的结构。我们解决这个问题,在我们的工作中,并提出了一个实例的亲和力为基础的标准,在适应过程中的源到目标的转移,称为ILA-DA。我们首先提出了一个可靠的和有效的方法来提取源和目标之间的相似和不相似的样本,并利用多样本对比损失驱动域对齐过程。ILA-DA同时考虑了类内聚类以及类别之间的类间分离,从而减少了分类器边界的噪声,提高了可转移性和准确性。我们通过观察流行的领域自适应方法在各种基准数据集上的准确性的一致改进来验证ILA-DA的有效性,并提供对所提出的对齐方法的见解。代码将在https://github.com/astuti/ILA-DA上公开。
2021-04-03 cs.CV
Dynamic Transfer for Multi-Source Domain Adaptation
UC San Diego(加州大学圣迭戈分校);Microsoft(微软公司)
多源领域自适应的最新研究工作集中在学习领域无关的模型,其参数是静态的。然而,这样的静态模型难以处理跨多个域的冲突,并且在源域和目标域中遭受性能降级。在本文中,我们提出了动态转移,以解决域冲突,模型参数是适应样本。关键的见解是,跨域调整模型是通过跨样本调整模型来实现的。因此,它打破了源域障碍,将多源域变成了单源域。这也简化了源域和目标域之间的对齐,因为它只需要目标域与源域联合的任何部分对齐。此外,我们发现动态传输可以简单地通过聚集残差矩阵和静态卷积矩阵来建模。实验结果表明,在不使用域标签的情况下,我们的动态转移比最先进的方法高出3%以上的多源领域自适应数据集- DomainNet。源代码位于https://github.com/liyunsheng13/DRT。
2021-03-19 cs.CV
Unsupervised Domain Adaptation via Regularized Conditional Alignment
University of California, Los Angeles(加州大学洛杉矶分校)
我们提出了一种无监督的领域自适应方法,该方法训练共享嵌入来对齐输入(域)和输出(类)的联合分布,使任何分类器对域不可知。联合对齐确保不仅域的边缘分布对齐,而且标签也对齐。我们提出了一个新的目标函数,鼓励类条件分布在特征空间中有不相交的支持。我们进一步利用对抗正则化来提高分类器在没有注释数据的域上的性能。
2019-05-26 cs.CV cs.LG stat.ML
Weight-based Mask for Domain Adaptation
Pohang University of Science and Technology(浦项科技大学)
针对无监督域适应中分类器源域偏置及图像级特征不区分前后景的问题,提出由DIM和SEM组成的WEMNet,利用域判别器与分类器权重增强域无关和前景语义特征,并在代表性UDA数据集上取得更优准确率。
2023-04-22 cs.CV
Split to Merge: Unifying Separated Modalities for Unsupervised Domain Adaptation
University of Electronic Science and Technology of China(电子科技大学);Boston College(波士顿学院);University of Technology Sydney(悉尼科技大学)
提出 UniMoS 框架,通过模态分离网络、MET 训练和模态判别器统一 CLIP 的语言与视觉信息,在三个无监督域适应基准上以低成本达到最先进性能。
2024-03-11 cs.CV
Fast and Effective Adaptation of Facial Action Unit Detection Deep Model
Rutgers University(罗格斯大学);MIT Media Lab(麻省理工学院媒体实验室);Augsburg University(奥格斯堡大学);Samsung AI Center(三星人工智能中心);Imperial College(帝国理工学院)
人脸动作单元检测是人脸表情和认知状态自动识别的基本步骤之一。尽管已经针对该任务提出了各种方法,但是这些模型中的大多数仅针对特定目标AU进行训练,因此它们不能容易地适应识别新AU的任务(即,最初不用于训练目标模型的那些)。在本文中,我们提出了一种用于面部AU检测的深度学习方法,该方法可以通过仅利用来自新任务(AU或主题)的几个标记样本来轻松快速地适应新的AU或目标主题。为此,我们提出了一种基于模型不可知元学习概念的建模方法,该方法最初是针对一般的图像识别/检测任务(例如,来自Omniglot数据集的字符识别)。具体而言,每个主体和/或AU被视为新的学习任务,并且模型基于先前任务的知识(用于预训练目标模型的AU和主体)进行学习以适应。因此,给定一个新的主题或AU,这个元知识(在训练和测试任务之间共享)用于使用深度学习和模型不可知元学习的概念使模型适应新任务。我们在两个基准数据集(BP 4D和DISFA)的面部AU检测,所提出的方法可以很容易地适应新的任务(AU/科目)。仅使用来自这些任务的几个标记示例,该模型实现了对基线的大幅改进(即,非适应性模型)。
2019-11-27 cs.CV
Few-shot Classification as Multi-instance Verification: Effective Backbone-agnostic Transfer across Domains
University of Waikato(怀卡托大学)
本文提出MIV-head方法,将冻结骨干网络下的跨域少样本分类建模为多实例验证任务,无需微调骨干网络即可在元测试阶段实现与最先进适配器方法相当的准确率,且适应成本显著更低。
2026-10-23 cs.CV cs.LG
D-GAP: Improving Out-of-Domain Robustness via Dataset-Agnostic and Gradient-Guided Augmentation in Frequency and Pixel Spaces
D-GAP通过频率和像素空间的梯度引导增强提升域外鲁棒性,有效减少频率偏倚并恢复细节。
2026-10-01 cs.AI cs.CV
Improving Test-Time Adaptation via Shift-agnostic Weight Regularization and Nearest Source Prototypes
Qualcomm AI Research(高通人工智能研究院)
本文提出了一种新的测试时自适应策略,该策略仅使用来自目标域的未标记在线数据来调整在源域上预训练的模型,以减轻由于源域和目标域之间的分布偏移而导致的性能下降。由于来自无监督目标的错误信号,使用未标记的在线数据调整整个模型参数可能是有害的。为了缓解这个问题,我们提出了一个偏移不可知的权重正则化,鼓励在测试时自适应过程中,在很大程度上更新对分布偏移敏感的模型参数,同时稍微更新那些对偏移不敏感的参数。通过利用高学习率的好处,这种正则化使模型能够快速适应目标域而不会降低性能。此外,我们提出了一个辅助任务的基础上最近的源原型对齐的源和目标功能,这有助于减少分布偏移,并导致进一步的性能改善。我们表明,我们的方法在各种标准基准测试中表现出最先进的性能,甚至优于其监督的同类方法。
2022-07-24 cs.CV
Online Meta-Learning for Multi-Source and Semi-Supervised Domain Adaptation
Samsung AI Center Cambridge(三星人工智能中心剑桥);The University of Edinburgh(爱丁堡大学)
领域自适应(Domain adaptation,DA)是一个热门的问题,它从标记的源数据集调整模型,使其在只有未标记或部分标记数据的目标数据集上表现良好。已经提出了许多方法来解决这个问题,通过不同的方式来最小化源和目标数据集之间的域偏移。在本文中,我们采取了正交的角度来看,并提出了一个框架,以进一步提高性能的元学习现有DA算法的初始条件。由于所涉及的计算图的长度,与更广泛考虑的Few-Shot元学习的设置相比,这是具有挑战性的。因此,我们提出了一个在线最短路径元学习框架,这是计算上易于处理和实际有效的提高DA性能。我们提出了多源无监督领域自适应(MSDA)和半监督领域自适应(SSDA)的变体。重要的是,我们的方法是不可知的基础适应算法,并可以应用于改善许多技术。在实验中,我们展示了经典(DANN)和最近(MCD和MME)的MSDA和SSDA技术的改进,并最终实现了几个DA基准测试,包括最大规模的DomainNet的最先进的结果。
2020-07-27 cs.CV cs.LG
Increasing Model Generalizability for Unsupervised Domain Adaptation
Information Sciences Institute(信息科学研究所);University of Southern California(南加州大学)
用于解决无监督领域自适应的主要方法是将源和目标域的数据点映射到嵌入空间中,该嵌入空间被建模为共享深度编码器的输出空间。编码器被训练为使嵌入空间域不可知,以使源训练的分类器在目标域上可推广。进一步提高UDA性能的第二个机制是使源域分布更紧凑,以提高模型的泛化能力。我们证明,增加嵌入空间中的类间余量可以帮助开发具有改进性能的UDA算法。我们估计源域的内部学习的多模态分布,作为预训练的结果学习,并使用它来增加源域中的类间类分离,以减少域转移的影响。我们证明,使用我们的方法导致四个标准的基准UDA图像分类数据集,并与现有的方法相比,模型的泛化能力得到了提高。
2022-09-29 cs.CV cs.LG
Correlation-aware Adversarial Domain Adaptation and Generalization
Queensland University of Technology(昆士兰科技大学);University of Queensland(昆士兰大学)
领域自适应(DA)和领域泛化(DG)已经出现作为对源数据和目标数据的分布不同的领域移位问题的解决方案。DG的任务比DA更具挑战性,因为在DG场景的训练阶段,目标数据是完全不可见的。目前最先进的采用对抗技术,然而,这些很少被认为是DG问题。此外,这些方法不考虑相关对齐,这已被证明是非常有益的最小化域差异。在本文中,我们提出了一个相关性感知的对抗DA和DG框架,其中使用相关性对齐以及对抗学习来最小化源和目标数据的特征。将相关性对齐模块与对抗性学习一起使用有助于实现更加领域不可知的模型,因为改进了更有效地减少与未标记目标数据的领域差异的能力。在基准数据集上的实验证明,我们提出的方法可以提高最先进的性能。
2019-11-29 cs.CV cs.LG
Unsupervised Compound Domain Adaptation for Face Anti-Spoofing
University of Zurich(苏黎世大学);ETH Zurich(苏黎世联邦理工学院);KU Leuven(鲁汶大学)
我们解决了人脸反欺骗的问题,其目的是使人脸验证系统在现实世界中的设置强大。当与训练模型的标记源域相比时,检测实时与欺骗面部图像的上下文在目标域中可能显著不同。这种差异可能是由于新的和未知的欺骗类型、照明条件、场景背景等引起的。这些差异使目标成为复合域,因此需要解决无监督复合领域自适应问题。我们证明了有效性的复合域假设的任务,面对反欺骗,首次在这项工作中。为此,我们提出了一种内存增强方法,用于以域感知的方式将源模型适应于目标域。通过使用课程学习和领域不可知的源网络训练方法,进一步改进了自适应过程。该方法成功地适应了由多种新型欺骗类型组成的复合目标域。我们在多个基准数据集上的实验证明了该方法的优越性。
2021-05-18 cs.CV cs.LG
Right for the Right Reason: Training Agnostic Networks
University of Bristol(布里斯托大学)
我们考虑的问题,神经网络被要求分类图像(或其他输入),而不隐含使用的“保护概念”,这是一个概念,不应该发挥任何作用,在网络的决定。通常,这些概念包括诸如性别或种族之类的信息,或者诸如图像背景之类的其他上下文信息,这些信息可能隐含地反映在与其他变量的未知相关性中,使得不足以简单地将它们从输入特征中移除。换句话说,如果这些预测依赖于不应该使用的信息,那么做出准确的预测是不够的:预测性能并不是学习系统的唯一重要指标。我们应用在领域自适应的背景下开发的方法来解决“因正确的原因而正确”的问题,其中我们请求分类器以对于给定的受保护概念(例如,性别、种族、背景等)完全“不可知”的方式做出决定,即使这可以通过未知的相关性隐含地反映在其他属性中。在定义了“不可知模型”的概念之后,我们演示了域对抗神经网络如何使用梯度反转层从模型中删除不需要的信息。
2018-06-16 cs.CV cs.LG cs.NE
Rink-Agnostic Hockey Rink Registration
University of Waterloo(滑铁卢大学)
提出一种通用的冰球场配准流水线,通过领域自适应、半监督学习和合成数据克服非NHL数据缺乏,实现对已见和未见冰场类型的泛化并保持竞争力。
2023-09-08 cs.CV eess.IV
TAP-CT: 3D Task-Agnostic Pretraining of Computed Tomography Foundation Models
Netherlands Cancer Institute(荷兰癌症研究所);University of Amsterdam(阿姆斯特丹大学);Kaiko
TAP-CT提出了一种基于ViT和DINOv2的3D CT基础模型预训练方法,通过任务无关的自监督学习实现高效的医学影像处理。
2025-11-30 cs.AI cs.CV
Interventional Domain Adaptation
Zhejiang University(浙江大学);Laval University(拉瓦尔大学);State University of New York at Buffalo(纽约州立大学布法罗分校)
领域自适应(DA)的目的是将从源领域学习到的鉴别特征转移到目标领域。大部分的DA方法集中于通过域不变性学习来增强特征的可移植性。然而,源学习的可辨别性本身可能被定制为有偏见的并且不安全地通过虚假相关性来转移,\emph{i.e.},源特定特征的一部分与类别标签相关。我们发现,标准的域不变性学习受到这种相关性的影响,并错误地转移了源细节。为了解决这个问题,我们使用未标记的目标数据来干预特征区分度的学习,以引导其摆脱特定领域的部分,并安全地转移。具体地说,我们通过一种新的特征干预策略生成反事实特征,以区分领域特定性和领域可共享部分。为了防止域特异性的驻留,特征可辨别性被训练为对反事实特征的域特异性中的突变不变。在典型的\emph{one-to-one}无监督领域自适应和具有挑战性的领域不可知自适应任务上进行实验,我们的方法与最先进的方法相比的一致性能改进验证了学习的判别特征更安全地可转移,并且可以很好地推广到新的领域。
2020-11-07 cs.CV cs.LG stat.ML
Complementary Domain Adaptation and Generalization for Unsupervised Continual Domain Shift Learning
Graduate School of Data Science(数据科学研究生院);Seoul National University(首尔国立大学)
针对无监督持续域偏移学习,提出互补域适应与泛化框架CoDAG,兼顾适应当前域、泛化未见域与防遗忘,模型无关且在多个基准上超越现有方法。
2023-10-13 cs.AI cs.CV cs.LG
Decoupling Clinical and Class-Agnostic Features for Reliable Few-Shot Adaptation under Shift
Mohamed Bin Zayed University of Artificial Intelligence(莫扎德人工智能大学);Khalifa University(卡利法大学)
提出DRiFt框架,通过LoRA和提示令牌解耦临床与类别无关特征,提升医学VLM在分布偏移下的少样本适应性能,实现+11.4%准确率提升。
2025-09-11 cs.CV
Domain Adaptation via CycleGAN for Retina Segmentation in Optical Coherence Tomography
Simon Fraser University(西蒙弗雷泽大学)
随着FDA批准人工智能(AI)用于床旁临床诊断,模型的可推广性至关重要,因为临床决策必须是领域不可知的。解决这个问题的一种方法是增加数据集,以包括来自多个领域的图像;虽然这种技术是理想的,但医疗数据的安全要求是一个主要的限制。此外,拥有开发工具的研究人员受益于开源数据的增加,但受到领域差异的限制。在此,我们研究了一个周期一致的生成对抗网络(CycleGAN)的实现,用于光学相干断层扫描(OCT)卷的域适应。这项研究是与西蒙弗雷泽大学的生物医学光学研究小组和功能与解剖成像与形状分析实验室合作完成的。在这项研究中,我们研究了一种基于学习的方法来适应公开可用的数据集,英国生物银行数据集(UKB)的域。为了评估域自适应的性能,我们利用了在不同的RETOUCH OCT数据集上开发的预先存在的视网膜层分割工具。这项研究提供了与传统处理技术相比,最先进的域适应工具的见解,以及将公开可用的视网膜数据适应我们的合作者以前使用的域的管道。
2021-07-06 cs.CV cs.LG eess.IV
Exemplar Free Class Agnostic Counting
Stony Brook University(石溪大学);VinAI Research(VinAI研究院)
我们解决了类不可知计数的任务,其目的是在测试时对一个新的对象类别中的对象进行计数,而无需访问该类别的标记训练数据。所有先前的类不可知计数方法不能在全自动设置中工作,并且需要计算上昂贵的测试时自适应。为了解决这些挑战,我们提出了一种视觉计数器,它在一个完全自动化的设置,不需要任何测试时自适应。我们所提出的方法首先识别出图像中重复对象的样本,然后对重复对象进行计数。我们提出了一种新的区域建议网络识别的范例。在识别样本后,我们使用基于密度估计的视觉计数器获得相应的计数。我们在FSC-147数据集上评估了我们提出的方法,并表明与现有方法相比,它具有更好的性能。
2022-05-27 cs.CV
POV: Prompt-Oriented View-Agnostic Learning for Egocentric Hand-Object Interaction in the Multi-View World
Renmin University of China(中国人民大学)
针对现有方法难以实现第三人称到第一人称手-物交互视角适配的问题,提出POV框架,通过帧级交互掩码提示和令牌级视角感知提示,仅用少量第一人称视频实现视角适配与泛化,构建两个基准验证了方法有效性。
2024-03-09 cs.CV
Interactive Class-Agnostic Object Counting
Stony Brook University(石溪大学);Amazon(亚马逊);VinAI Research(VinAI研究院)
本文提出一种交互式类别无关目标计数框架,通过可视化器收集用户反馈并利用优化模块和适应损失高效更新模型,在 FSCD-LVIS 和 FSC-147 基准上将多种先进计数器的平均绝对误差降低约 30% 至 40%。
2023-09-11 cs.CV
CA2: Class-Agnostic Adaptive Feature Adaptation for One-class Classification
School of Mechanical Engineering, Xi’an Jiaotong University(西安交通大学机械工程学院);School of Mathematics and Statistics, Xi’an Jiaotong University(西安交通大学数学与统计学院)
提出类不可知自适应特征适应方法CA2,利用预训练特征相邻先验优化中心目标,在1至1024类数据上提升一类分类性能,超越现有方法。
2023-09-04 cs.CV cs.LG
Transferable Model-agnostic Vision-Language Model Adaptation for Efficient Weak-to-Strong Generalization
TransMiter是一种轻量级适配器,通过无监督方式提升视觉-语言模型的泛化能力,实现高效的知识迁移。
2026-01-17 cs.AI cs.CV cs.LG
MA-SAM: Modality-agnostic SAM Adaptation for 3D Medical Image Segmentation
Massachusetts General Hospital(麻省总医院);Harvard Medical School(哈佛医学院);The Chinese University of Hong Kong(香港中文大学);Lehigh University(理海大学);Harvard University(哈佛大学);The University of Georgia(佐治亚大学)
本文提出模态无关的SAM适配框架MA-SAM,通过参数高效微调并在2D图像编码器中注入3D适配器,使SAM有效处理体积和视频医学数据,在多个3D医学分割任务上超越现有方法。
2023-09-16 cs.CV
Online Versatile Incremental Learning: Towards Class and Domain-Agnostic Adaptation at Any Time
Korea University(高丽大学);Kyung Hee University(庆熙大学)
针对类别和领域同时在线演变的持续学习难题,提出TopFlow框架,通过领域无关流匹配和全局拓扑保持机制,在无明确边界场景下实现最先进性能。
2026-09-30 cs.AI cs.CV
Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks
University of California, Berkeley(加州大学伯克利分校);OpenAI
我们提出了一种与模型无关的元学习算法,在这个意义上,它与任何使用梯度下降训练的模型兼容,并适用于各种不同的学习问题,包括分类,回归和强化学习。元学习的目标是对各种学习任务进行训练,使其可以仅使用少量训练样本来解决新的学习任务。在我们的方法中,模型的参数被显式地训练,使得少量的梯度步骤和来自新任务的少量训练数据将在该任务上产生良好的泛化性能。实际上,我们的方法训练模型,使其易于微调。我们证明了这种方法在两个Few-Shot图像分类基准上具有最先进的性能,在Few-Shot回归上产生了良好的结果,并加速了策略梯度强化学习与神经网络策略的微调。
2017-07-18 cs.AI cs.CV cs.LG
No Pose Estimation? No Problem: Pose-Agnostic and Instance-Aware Test-Time Adaptation for Monocular Depth Estimation
Department of Artificial Intelligence, Kyungpook National University(人工智能系,庆北国立大学);Department of Electrical and Computer Engineering, Queen’s University(电气与计算机工程系,皇后大学);Department of Information and Communications Engineering, Pukyong National University(信息与通信工程系,浦项国立大学)
本文提出PITTA框架,通过位姿无关的测试时自适应和实例感知掩码策略,在不依赖相机位姿信息的情况下提升单目深度估计模型在动态多样化环境中的自适应性能,并在DrivingStereo和Waymo数据集上超越现有方法。
2025-11-07 cs.AI cs.CV
On Fast Adversarial Robustness Adaptation in Model-Agnostic Meta-Learning
Rensselaer Polytechnic Institute(伦斯勒理工学院);University of Michigan(密歇根大学);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);IBM Research(IBM研究院);Northeastern University(东北大学);Michigan State University(密歇根州立大学)
与模型无关的元学习(MAML)已经成为少样本学习中最成功的元学习技术之一。它使我们能够学习模型参数的元初始化(我们称之为元模型),以使用少量标记的训练数据快速适应新任务。尽管元模型具有泛化能力,但MAML如何在少样本学习中保持对抗鲁棒性仍然是难以捉摸的。除了泛化之外,元模型还需要鲁棒性来防御对抗性示例(攻击)。为了提高MAML的对抗鲁棒性,我们首先研究了何时应该引入鲁棒性促进正则化,因为MAML采用了双层(微调与元更新)学习过程。我们表明,鲁棒的元更新阶段是足够的鲁棒性适应特定于任务的微调阶段,即使后者使用标准的训练协议。我们还通过窥视神经元激活图的可解释性对获得的鲁棒性自适应进行了额外的论证。此外,我们研究如何强大的正则化可以有效地设计在MAML。我们提出了一个通用但易于优化的鲁棒正则化元学习框架,它允许使用未标记的数据增强,快速对抗攻击生成和计算轻微调。特别是,我们第一次表明,辅助对比学习任务可以提高MAML的对抗鲁棒性。最后,大量的实验证明了我们提出的方法在鲁棒少样本学习中的有效性。
2021-02-20 cs.AI cs.CV cs.LG
Domain-Agnostic Prior for Transfer Semantic Segmentation
University of Science and Technology of China(中国科学技术大学);Huawei Inc.(华为公司);Hefei University of Technology(合肥工业大学)
无监督领域自适应(UDA)是计算机视觉领域的一个重要研究课题。关键的困难在于定义一个共同的属性之间的源和目标域,使源域的功能可以与目标域的语义对齐。在本文中,我们提出了一个简单而有效的机制,规范化跨域表示学习与域不可知先验(DAP),约束从源和目标域提取的功能,以对齐与域不可知的空间。在实践中,这很容易实现为一个额外的损失条款,需要一点额外的成本。在将合成数据转换为真实数据的标准评估协议中,我们验证了不同类型的DAP的有效性,特别是从文本嵌入模型中借用的DAP,该模型在分割准确性方面表现出超出最先进UDA方法的良好性能。我们的研究表明,UDA受益于更好的代理,可能来自其他数据模式。
2022-04-20 cs.CV
Powering Finetuning in Few-Shot Learning: Domain-Agnostic Bias Reduction with Selected Sampling
Carnegie Mellon University(卡内基梅隆大学)
在最近的工作中,利用在元训练集上训练的深度网络作为少样本学习的强基线。在本文中,我们通过微调经过训练的深度网络来改进新类别特征。Finetuning旨在减少新类特征分布中的偏差,我们将其定义为两个方面:类不可知和类特定偏差。类无关偏差是指由域差异引起的分布偏移,我们提出了分布校正模块(DCM)来减少这种偏移。DCM具有良好的消除区域差异和优化过程中快速特征自适应的特性。类特异性偏差是指在新类中使用少量样本进行估计时的有偏估计,本文提出了选择采样(SS)方法来降低这种偏差。在不推断实际类别分布的情况下,SS是通过使用支持集样本周围的建议分布进行采样来设计的。通过使用DCM和SS进行微调,我们在Meta-Dataset上实现了最先进的结果,并在来自不同领域的十个数据集上实现了一致的性能提升。我们相信我们的简单而有效的方法证明了它的可能性,适用于实际的Few-Shot应用。
2022-06-02 cs.CV
Modality-Agnostic Prompt Learning for Multi-Modal Camouflaged Object Detection
Information Science and Technology College, Dalian Maritime University(大连海事大学信息科学与技术学院);Beijing University of Technology(北京理工大学);Dalian University of Technology(大连理工大学)
本文提出一种模态无关的提示学习框架,用于多模态伪装物体检测,通过数据驱动内容域与知识驱动提示域的交互,生成统一提示以提升SAM模型性能,并引入轻量级Mask Refine模块以提高检测精度。
2026-04-14 cs.CV
SuperADD: Training-free Class-agnostic Anomaly Segmentation -- CVPR 2026 VAND 4.0 Workshop Challenge Industrial Track
Fraunhofer IOSB(弗劳恩霍夫智能系统研究所)
本文提出无需训练的类无关异常分割方法,通过改进鲁棒性以应对分布偏移,适用于工业场景,实现MVTec AD 2数据集上的高F1分数。
2026-05-14 cs.CV
Generalizing to the Open World: Deep Visual Odometry with Online Adaptation
Peking University(北京大学);SenseTime(商汤科技)
尽管近年来基于学习的视觉里程计(VO)已经显示出令人印象深刻的结果,但预训练的网络可能很容易在看不见的环境中崩溃。训练数据和测试数据之间的巨大领域差距使得它们难以推广到新的场景。在本文中,我们提出了一个在线自适应框架的深度VO与场景无关的几何计算和贝叶斯推理的援助。与基于学习的姿态估计相比,我们的方法从光流和深度解决姿态,而单视图深度估计通过在线学习的不确定性利用新的观测不断改进。同时,在线学习的光度不确定性用于通过可微分高斯-牛顿层进行进一步的深度和姿态优化。我们的方法可以使深度VO网络以自我监督的方式快速适应看不见的环境。包括Cityscapes到KITTI和室外KITTI到室内TUM的广泛实验表明,我们的方法在自监督VO方法中具有最先进的泛化能力。
2021-03-29 cs.CV
Towards Agnostic and Holistic Universal Image Segmentation with Bit Diffusion
Technical University of Denmark(丹麦技术大学)
本文提出了一种基于扩散的通用图像分割框架,通过位置感知调色板和tanh激活函数提升性能,缩小了与基于掩码方法的性能差距,并引入了原理化的模糊建模能力。
2026-01-06 cs.CV
Adapting Frozen Mono-modal Backbones for Multi-modal Registration via Contrast-Agnostic Instance Optimization
Department of Imaging Physics, Delft University of Technology, The Netherlands(荷兰代尔夫特理工大学成像物理系)
本文提出一种结合冻结预训练单模注册模型与轻量级适应流程的多模图像注册框架,通过对比无关的表示生成与优化模块在测试时桥接模态与领域差距,提升注册鲁棒性。
2026-03-27 cs.CV eess.IV
A Sensor Agnostic Domain Generalization Framework for Leveraging Geospatial Foundation Models: Enhancing Semantic Segmentation viaSynergistic Pseudo-Labeling and Generative Learning
University of Houston(休斯敦大学);Purdue University(普渡大学)
本文提出一种传感器无关的域泛化框架,结合软对齐伪标签与源到目标生成式预训练,利用地理空间基础模型提升遥感语义分割的跨传感器适应性与性能。
2025-05-02 cs.CV
Hybrid-TTA: Continual Test-time Adaptation via Dynamic Domain Shift Detection
Ewha Womans University(成均馆大学)
提出Hybrid-TTA方法,通过动态域偏移检测策略在FT和ET间切换,并集成MIMA框架,在Cityscapes-to-ACDC数据集上mIoU提升1.6%p,解决持续测试时适应中的域偏移问题。
2025-08-08 cs.CV
Online Continual Domain Adaptation for Semantic Image Segmentation Using Internal Representations
University of Southern California(南加州大学)
提出一种在线无监督域自适应算法,通过高斯混合模型近似源特征分布并在共享空间最小化分布距离,解决了源数据受限时图像语义分割的跨域泛化问题。
2024-01-02 cs.CV