Medical Image Segmentation with Domain Adaptation: A Survey
Perelman School of Medicine at the University of Pennsylvania（宾夕法尼亚大学佩雷尔曼医学院）
该综述聚焦基于深度学习的医学图像分割域适应方法，梳理相关背景、应用现状，分析挑战与未来方向，为领域研究者提供最新参考。
2023-11-03 cs.CV eess.IV
FogAdapt: Self-Supervised Domain Adaptation for Semantic Segmentation of Foggy Images
Information Technology University（信息技术大学）
本文提出了一种新的领域自适应的语义分割浓雾场景的方法FogAdapt。虽然有意义的研究已被定向到减少语义分割中的域转移，但适应具有不利天气条件的场景仍然是一个悬而未决的问题。由于天气条件（如雾、烟雾和霾）导致的场景可见性的大变化加剧了域偏移，从而使此类场景中的无监督适应具有挑战性。提出一种自熵和多尺度信息增强的自监督领域自适应方法（FogAdapt），以最小化雾天场景分割中的区域偏移。支持的经验证据表明，雾密度的增加导致高自熵的分割概率，我们引入了一个自熵的损失函数，以指导自适应方法。此外，在不同的图像尺度上获得的推理组合和加权的不确定性，以产生目标域的尺度不变的伪标签。这些尺度不变的伪标签对可见性和尺度变化具有鲁棒性。我们评估所提出的模型对真正的晴朗天气场景，真正的雾场景适应和合成无雾图像，真正的雾场景适应场景。我们的实验表明，FogAdapt显着优于当前国家的最先进的雾图像的语义分割。具体来说，通过考虑与最先进的（SOTA）方法相比的标准设置，FogAdapt在从Cityscapes调整到Foggy Zurich时，在Foggy Zurich上获得3.8%，在Foggy Driving-dense上获得6.0%，在mIoU上获得3.6%。
2022-06-08 cs.CV cs.LG
Unsupervised Domain Adaptation with Variational Approximation for Cardiac Segmentation
Fudan University（复旦大学）
无监督区域自适应算法在医学图像分割中具有重要的应用价值。特别地，当目标图像的地面实况不可用时，域自适应可以通过利用来自其他模态的现有标记图像来训练目标特定的模型。大多数已报道的作品都将源域和目标域的图像映射到一个共同的潜在特征空间中，然后通过对抗性训练隐式地或直接最小化差异度量来显式地减少它们的差异。在这项工作中，我们提出了一个新的框架，这两个域的潜在特征被驱动到一个共同的和参数化的变分形式，其条件分布给定的图像是高斯。这是通过基于变分自动编码器（VAE）的两个网络和这种变分近似的正则化来实现的。两个VAE，每个域，包含一个分割模块，其中源分割是以监督的方式训练，而目标分割是无监督地训练。我们使用两个心脏分割任务验证了所提出的域自适应方法，即，跨模态（CT和MR）全心脏分割和跨序列心脏MR分割。结果表明，该方法实现了更好的精度相比，两个国家的最先进的方法，并表现出良好的潜力，心脏分割。此外，所提出的显式正则化被证明是有效的，有效地缩小域之间的分布差距，这是有用的无监督域自适应。我们的代码和数据已通过https://zmiclab.github.io/projects.html发布。
2021-06-16 cs.CV eess.IV
Edge-preserving Domain Adaptation for semantic segmentation of Medical Images
Ryerson University（瑞尔森大学）
领域自适应是一种解决在不可见环境中缺乏大量标记数据的技术。提出了无监督领域自适应，以仅使用标记的源数据和未标记的目标领域数据来使模型适应新的模态。虽然已经提出了许多图像空间领域自适应方法来捕获像素级的域偏移，但是这样的技术可能无法为分割任务保持高级语义信息。对于生物医学图像的情况，在域之间的图像变换操作期间可能丢失诸如血管的精细细节。在这项工作中，我们提出了一个模型，适应域之间使用周期一致的损失，同时保持边缘的原始图像的细节，通过强制执行基于边缘的损失在适应过程中。我们证明了我们的算法的有效性，通过比较它与其他方法对两个眼底血管分割数据集。与SOTA相比，我们实现了1.1到9.2的DICE分数增量，与香草CycleGAN实现相比，增量约为5.2。
2021-11-18 cs.CV cs.LG
Cluster-to-adapt: Few Shot Domain Adaptation for Semantic Segmentation across Disjoint Labels
University of California San Diego（加州大学圣地亚哥分校）
跨由相同类别组成的数据集的语义分割的领域自适应最近已经取得了一些成功。然而，更一般的情况是源数据集和目标数据集对应于不重叠的标签空间。例如，分割数据集中的类别根据环境或应用程序的类型而变化很大，但共享许多有价值的语义关系。现有的方法的基础上的特征对齐或差异最小化不考虑这种类别的转变。在这项工作中，我们提出了一种基于聚类的计算高效的方法，用于在具有完全不同但可能相关的类别的分割数据集上进行领域自适应。我们表明，这样的聚类目标在变换后的特征空间中强制执行，用于自动选择跨源和目标域的类别，这些类别可以对齐以提高目标性能，同时防止不相关类别的负转移。我们证明了我们的方法的有效性，通过实验上的挑战性问题的室外到室内的适应语义分割在Few-Shot以及zero-shot设置，与现有的方法和基线在所有情况下的性能的一致改进。
2022-08-04 cs.CV cs.LG
Self-semantic contour adaptation for cross modality brain tumor segmentation
Massachusetts General Hospital（麻省总医院）；Harvard Medical School（哈佛医学院）
无监督领域自适应（UDA）在两个显著不同的领域之间学习高级语义对齐是一项重要而具有挑战性的任务。为此，在这项工作中，我们建议利用低级别的边缘信息，以促进适应作为一个先导任务，它具有一个小的跨域的差距，相比语义分割。精确的轮廓，然后提供空间信息，以指导语义适应。更具体地说，我们提出了一个多任务框架来学习轮廓自适应网络以及语义分割自适应网络，该网络将磁共振成像（MRI）切片及其初始边缘图作为输入。这两个网络使用源域标签进行联合训练，并进行特征和边缘图级别的对抗学习以进行跨域对齐。此外，自熵最小化被纳入，以进一步提高分割性能。我们在BraTS 2018数据库上评估了我们的框架，用于脑肿瘤的跨模态分割，与竞争方法相比，显示了我们方法的有效性和优越性。
2022-01-13 cs.AI cs.CV cs.LG
Learning morphological operators for skin detection
Università di Bologna（博洛尼亚大学）；University of Padova（帕多瓦大学）
在这项工作中，我们提出了一种新的后处理方法的基础上训练形态算子的皮肤检测器。第一步骤，包括根据现有的皮肤检测方法执行皮肤分割，用于皮肤分割，然后执行第二步骤，包括应用一组形态算子来细化所得到的掩模。考虑到两种不同的检测方法（一种基于深度学习，一种手工制作）进行了广泛的实验评估进行10个不同的数据集，证实了所提出的方法的质量。
2019-09-23 cs.CV
Supervised Segmentation with Domain Adaptation for Small Sampled Orbital CT Images
Catholic Medical Center（天主教医疗中心）
深度神经网络（DNN）已广泛用于医学图像分析。然而，缺乏对大规模注释数据集的访问构成了巨大的挑战，特别是在罕见疾病或研究社会的新领域的情况下。从相对较大的数据集中转移预先训练的特征是一个相当好的解决方案。在本文中，我们探讨了监督分割使用域自适应视神经和眼眶肿瘤，当只有小样本的CT图像。即使肺部图像数据库联盟图像收集（LIDC-IDRI）也是眼眶CT的跨域，但提出的域自适应方法提高了注意力U-Net在公共视神经数据集和我们的临床眼眶肿瘤数据集中分割的性能。代码和数据集可在https://github.com/cmcbigdata上获得。
2021-07-01 cs.CV eess.IV
DODA: Data-oriented Sim-to-Real Domain Adaptation for 3D Semantic Segmentation
The University of Hong Kong（香港大学）；MPI for Informatics（马克斯·普朗克信息学研究所）
深度学习方法在3D语义分割中取得了显著的成功。然而，收集密集注释的真实世界3D数据集非常耗时且昂贵。在合成数据上训练模型，并在真实世界的场景中进行推广，成为一种有吸引力的替代方案，但不幸的是，它会遭受臭名昭著的领域转移。在这项工作中，我们提出了一个面向数据的领域自适应（DODA）框架，以减轻不同的传感机制和跨域布局所造成的模式和上下文的差距。我们的DODA包括虚拟扫描模拟，以模仿现实世界的点云模式和尾部感知立方体混合，以减轻与基于立方体的中间域的内部上下文差距。3D室内语义分割的第一个无监督模拟到真实的适应基准也建立在3D-FRONT，ScanNet和S3 DIS以及7种流行的无监督领域自适应（UDA）方法上。我们的DODA在3D-FRONT -> ScanNet和3D-FRONT -> S3 DIS上都超过现有的UDA方法13%以上。代码可在https://github.com/CVMI-Lab/DODA上获得。
2022-07-21 cs.CV cs.LG
Cross-Modality Domain Adaptation for Vestibular Schwannoma and Cochlea Segmentation
Vanderbilt University（范德堡大学）
从磁共振成像（MRI）中自动分割前庭神经鞘瘤（VS）肿瘤和耳蜗的方法对VS治疗计划至关重要。虽然监督方法在VS分割中取得了令人满意的性能，但它们需要专家的全面注释，这是费力和耗时的。在这项工作中，我们的目标是在无监督的域自适应设置中解决VS和耳蜗分割问题。我们提出的方法利用图像级域对齐来最小化域发散，并利用半监督训练来进一步提高性能。此外，我们建议通过噪声标签校正来融合从多个模型预测的标签。我们在挑战验证排行榜上的结果表明，我们的无监督方法实现了有希望的VS和耳蜗分割性能，平均骰子得分为0.8261 $\pm$ 0.0416;肿瘤的平均骰子值为0.8302 $\pm$ 0.0772。这与基于弱监督的方法相当。
2021-11-08 cs.CV eess.IV
Unsupervised Domain Adaptation with SAM-RefiSeR for Enhanced Brain Tumor Segmentation
Dept. of Computer Science and Engineering（计算机科学与工程系）；Research Convergence Institute（研究融合研究所）；Dept. of Electrical and Computer Engineering（电气与计算机工程系）
本文提出SAM-RefiSeR方法，通过无监督领域适应提升脑肿瘤分割的准确性与泛化能力。
2026-01-11 cs.CV
AUGCO: Augmentation Consistency-guided Self-training for Source-free Domain Adaptive Semantic Segmentation
Georgia Institute of Technology（佐治亚理工学院）
用于域自适应语义分割的大多数现代方法依赖于在自适应期间对源数据的持续访问，这可能由于计算或隐私约束而不可行。我们专注于无源领域自适应语义分割，其中一个源模型必须适应一个新的目标域只给未标记的目标数据。我们提出了增强一致性指导的自训练（AUGCO），这是一种无源自适应算法，它使用模型的像素级预测一致性，跨各种自动生成的每个目标图像的视图以及模型置信度来识别可靠的像素预测，并选择性地对这些像素进行自训练。AUGCO在3个标准的语义分割基准测试中实现了最先进的无源自适应结果，所有这些都在一个简单的实现和快速收敛的方法中实现。
2022-01-06 cs.CV cs.LG
Domain adaptation based self-correction model for COVID-19 infection segmentation in CT images
Tianjin University（天津大学）；CSIRO Data61（澳大利亚联邦科学与工业研究组织Data61）；La Trobe University（乐卓博大学）；Tianjin University of Traditional Chinese Medicine（天津中医药大学）；Shandong University（山东大学）
在考虑真实世界场景时，对未知领域的泛化能力对于深度学习模型至关重要。然而，当前可用的医学图像数据集（诸如用于COVID-19 CT图像的那些）具有感染的大变化和域偏移问题。为了解决这个问题，我们提出了一个先验知识驱动的领域适应和双域增强自校正学习计划。基于新的学习方案，提出了一种基于域自适应的自校正模型（DASC-Net），用于CT图像上的COVID-19感染分割。DASC-Net由一个新的注意力和特征域增强域自适应模型（AFD-DA）来解决域偏移和自校正学习过程来细化分割结果。AFD-DA的创新包括关注肺部异常的图像级激活特征提取器和用于分层特征域对齐的多级判别模块。所提出的自校正学习过程自适应地聚合学习的模型和相应的伪标签，用于传播对齐的源和目标域信息，以减轻伪标签引起的对噪声的过拟合。对三个公开的COVID-19 CT数据集进行的广泛实验表明，DASC-Net的性能始终优于最先进的分割、域转移和冠状病毒感染分割方法。消融分析进一步显示了我们模型中主要组件的有效性。DASC-Net丰富了医学成像领域自适应和自校正学习的理论，可推广到CT图像上的多部位COVID-19感染分割，以供临床部署。
2021-04-20 cs.CV eess.IV
A Novel Domain Adaptation Framework for Medical Image Segmentation
University of California Berkeley（加州大学伯克利分校）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们提出了一个使用深度神经网络的分割框架，并引入了两个创新。首先，我们描述了一种基于生物制药学的领域自适应方法。其次，我们提出了一种自动分割的方法，除了肿瘤组织的白色和灰色物质，和脑脊液。关于我们的第一个创新，我们使用一个领域自适应框架，该框架将一个新的多物种生物物理肿瘤生长模型与生成对抗模型相结合，以创建具有已知分割的逼真的合成多模态MR图像。关于我们的第二个创新，我们提出了一种自动的方法来丰富可用的分割数据，通过计算健康组织的分割。这种分割是使用BraTS训练数据和一组预先标记的地图集之间的同构图像配准来完成的，它为训练提供了更多的信息，并减少了类不平衡问题。我们的整体方法并不特定于任何特定的神经网络，可以与现有的解决方案结合使用。我们证明了使用2D U-网的性能改善的BraTS'18分割的挑战。与现有的用于创建合成数据进行训练的最先进的GAN模型相比，我们基于生物物理学的领域自适应实现了更好的结果。
2018-10-11 cs.CV cs.LG stat.ML
Morphological Error Detection in 3D Segmentations
Massachusetts Institute of Technology（麻省理工学院）；Harvard University（哈佛大学）；Google, Inc.（谷歌公司）
用于连接组学的深度学习算法依赖于局部分类，而不是整体形态。这导致错误合并对象的发生率很高。相比之下，人类可以通过获得对物体正确形态的直觉来轻松检测此类错误。生物神经元具有复杂多变的形状，学习起来很有挑战性，合并错误也有多种不同的形式。我们提出了一种算法MergeNet，该算法表明3D ConvNets实际上可以从高级神经元形态中检测合并错误。MergeNet遵循无监督训练，并在数据集上运行。我们展示了MergeNet在各种连接组学数据和从合并的MNIST图像创建的数据集上的性能。
2017-05-30 cs.AI cs.CV q-bio.NC
Unsupervised Data-Driven Nuclei Segmentation For Histology Images
University of Southern California（南加州大学）
提出了一种无监督的数据驱动的组织学图像细胞核分割方法，称为CBM。CBM由以逐块方式应用的三个模块组成：1）用于能量压缩和降维的数据驱动的颜色变换，2）数据驱动的二值化，以及3）将几何先验与形态学处理相结合。CBM来自三个模块的第一个字母-“颜色变换”，“二值化”和“形态处理”。在MoNuSeg数据集上的实验验证了该方法的有效性。CBM优于所有其他无监督方法，并在基于聚合Jaccard指数（AJI）指标的监督模型中提供了竞争地位。
2021-10-14 cs.CV eess.IV eess.SP
Transfer beyond the Field of View: Dense Panoramic Semantic Segmentation via Unsupervised Domain Adaptation
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
自动驾驶车辆显然受益于360度传感器的扩展视场（FoV），但现代语义分割方法严重依赖于带注释的训练数据，而这些数据很少可用于全景图像。我们从领域自适应的角度来看待这个问题，并将全景语义分割带到一个设置中，其中标记的训练数据来自传统针孔相机图像的不同分布。为了实现这一目标，我们将全景语义分割的无监督领域自适应任务形式化，并收集DensePASS -一种用于跨域条件下全景分割的新型密集注释数据集，专门用于研究针孔到全景域的转移，并伴有从Cityscapes获得的针孔相机训练样本。DensePASS涵盖标记和未标记的360度图像，标记数据包括19个类别，明确适合源（即针孔）域中可用的类别。由于数据驱动的模型是特别容易受到数据分布的变化，我们引入P2PDA -针孔到全景语义分割，解决了不同的注意力增强领域自适应模块的变体域分歧的挑战，使输出，功能和功能的置信度空间的传输通用框架。P2PDA交织的不确定性意识的适应使用的信心值调节的飞行通过注意头与不一致的预测。我们的框架有利于上下文交换时，学习域对应关系，并显着提高了适应性能的准确性和效率为重点的模型。综合实验验证，我们的框架显然超过无监督的领域自适应和专门的全景分割方法。
2021-10-21 cs.CV cs.RO eess.IV
Multi Task Consistency Guided Source-Free Test-Time Domain Adaptation Medical Image Segmentation
Northwestern Polytechnical University（西北工业大学）；Xidian University（西安电子科技大学）
提出多任务一致性引导的无源测试时域自适应医学图像分割方法，通过局部边界和全局特征一致性约束提升模型泛化性，在眼底图像数据集上显著提高分割Dice分数并优于现有算法。
2023-10-18 cs.CV
Self-Ensembling with GAN-based Data Augmentation for Domain Adaptation in Semantic Segmentation
KAIST（韩国科学技术院）
基于深度学习的语义分割方法具有固有的局限性，即训练模型需要大量具有像素级注释的数据。为了解决这个具有挑战性的问题，许多研究人员给予注意的无监督领域自适应语义分割。无监督的领域自适应旨在使在源领域训练的模型适应目标领域。本文介绍了一种自集成技术，它是分类中领域自适应的成功方法之一。然而，将自集成应用于语义分割是非常困难的，因为在自集成中使用的大量调整的手动数据增强对于减少语义分割中的大的域间隙是无用的。为了克服这一限制，我们提出了一个新的框架，由两个组件，这是互补的。首先，我们提出了一种基于生成对抗网络（GANs）的数据增强方法，该方法计算效率高，有效地促进了域对齐。给定这些增强的图像，我们应用自集成来增强分割网络在目标域上的性能。所提出的方法优于国家的最先进的语义分割方法在无监督的领域自适应基准。
2019-09-02 cs.CV
TopoLoRA-SAM: Topology-Aware Parameter-Efficient Adaptation of Foundation Segmenters for Thin-Structure and Cross-Domain Binary Semantic Segmentation
Talan Research \& Innovation Center, Paris, France
TopoLoRA-SAM通过拓扑感知的参数高效方法，在细长结构和跨域二分类语义分割中实现最佳性能。
2026-01-05 cs.AI cs.CV cs.LG
Source-free unsupervised domain adaptation for cross-modality abdominal multi-organ segmentation
The Chinese University of Hong Kong（香港中文大学）；University of Leicester（莱斯特大学）
在腹部多器官分割中，领域自适应是将知识从源标记CT数据集转移到目标未标记MR数据集的关键。同时，避免与目标数据集相关的高注释成本并保护源数据集隐私是非常可取的。因此，我们提出了一种有效的无源无监督领域自适应方法，用于跨模态腹部多器官分割，而无需源数据集访问。拟议的框架包括两个阶段。在第一阶段中，结合熵最小化的特征地图几何学引导的模型自适应被开发以帮助顶部分割网络可靠地分割目标图像。从顶部分割网络输出的伪标签用于引导风格补偿网络生成源图像。从中间分割网络输出的伪标签用于监督所需模型（底部分割网络）的学习进度。在第二阶段，循环学习和像素自适应掩模细化用于进一步提高所需的模型性能。使用这种方法，我们取得了令人满意的腹部多器官分割性能，优于现有的国家的最先进的领域自适应方法。所提出的方法可以很容易地扩展到目标注释数据存在的情况。只有一个标记的MR卷，性能可以与监督学习的性能持平。此外，该方法被证明是有效的无源无监督领域自适应在反向。
2022-05-28 cs.CV
Reproducibility of "FDA: Fourier Domain Adaptation forSemantic Segmentation
以下论文是CVPR 2020中发布的“FDA：用于语义分割的傅立叶领域自适应“的再现性报告，作为ML再现性挑战2020的一部分。原始代码由作者提供。包含所有消融研究的代码注释版本（源自原始代码以及WANDB集成）可在<github.com/thefatbandit/FDA>上获得，并在README中提供了执行实验的适当说明。
2021-04-30 cs.CV
Unsupervised BatchNorm Adaptation (UBNA): A Domain Adaptation Method for Semantic Segmentation Without Using Source Domain Representations
Technische Universität Braunschweig（布伦瑞克工业大学）
在本文中，我们提出了一个解决方案的任务“无监督领域自适应（UDA）的一个给定的预先训练的语义分割模型，而不依赖于任何源域表示”。以前用于语义分割的UDA方法要么在源域和目标域中同时训练模型，要么依赖于额外的网络，在适应期间将源域知识重放到模型。相比之下，我们提出了一种新的无监督BatchNorm自适应（UBNA）方法，该方法将给定的预训练模型适应于一个看不见的目标域，而不使用-超出预训练的现有模型参数-任何源域表示（既不是数据，也不是网络），并且也可以应用于在线设置或以Few-Shot方式使用来自目标域的几个未标记图像。具体来说，我们使用指数衰减的动量因子将归一化层统计信息部分地适应目标域，从而混合来自两个域的统计信息。通过对语义分割的标准UDA基准的评估，我们表明，这优于没有适应的模型和仅使用目标域统计数据的基线方法。与标准的UDA方法相比，我们报告的性能和使用的源域表示之间的权衡。
2021-11-11 cs.CV
Unsupervised Contrastive Domain Adaptation for Semantic Segmentation
University of Oxford（牛津大学）；Intel Labs（英特尔实验室）
语义分割模型在领域转换的情况下难以推广。在本文中，我们介绍了对比学习的跨领域自适应的特征对齐。我们组装域内对比对和跨域对比对来学习跨域对齐的区分特征。基于得到的对齐良好的特征表示，我们引入了一种标签扩展方法，该方法能够在自适应过程中从硬类中发现样本，以进一步提高性能。所提出的方法始终优于国家的最先进的领域自适应的方法。当在合成的GTA 5数据集和未标记的Cityscapes图像上训练时，它在Cityscapes数据集上实现了60.2%mIoU。
2022-04-18 cs.CV
Optimal Latent Vector Alignment for Unsupervised Domain Adaptation in Medical Image Segmentation
École Centrale de Nantes（南特中央理工学院）；Laboratoire des Sciences du Numérique de Nantes（南特数字科学实验室）；CNRS（法国国家科学研究中心）
本文讨论了分割的域转移问题。作为解决方案，我们提出了OLVA，一种新的和轻量级的无监督领域自适应方法的基础上变分自动编码器（VAE）和最优传输（OT）理论。由于VAE，我们的模型学习了一个遵循正态分布的共享跨域潜在空间，这减少了域偏移。为了保证有效的分割，我们的共享潜在空间被设计为对形状而不是强度变化进行建模。我们进一步依赖于OT损失来匹配和对齐潜在空间中两个域之间的剩余差异。我们证明了OLVA的有效性的公共多模态全心脏分割（MM-WHS）数据集上的多个心脏结构的分割，其中的源域包括注释的3D MR图像和未标记的目标域的3D CT。我们的研究结果显示了显着的改善，额外的利润率为12.5%的骰子分数比并发生成训练方法。
2021-06-15 cs.AI cs.CV cs.LG
Foreground-Aware Stylization and Consensus Pseudo-Labeling for Domain Adaptation of First-Person Hand Segmentation
Institute of Industrial Science, The University of Tokyo（东京大学生产技术研究所）；OMRON SINIC X Corporation（欧姆龙SINIC X公司）
手部分割是第一人称视觉中的一项重要任务。由于第一人称图像在不同的环境中表现出强烈的外观偏差，因此在手部分割中需要将预训练的分割模型适应新的领域。在这里，我们分别关注手部区域和背景的外观间隙。我们提出了（i）前景感知图像风格化和（ii）共识伪标记的领域自适应的手分割。我们使用目标图像作为样式，为前景和背景独立地对源图像进行样式化。为了解决风格化没有解决的领域转移，我们通过在源图像和风格化的源图像上训练的模型之间取得共识来应用谨慎的伪标签。我们验证了我们的方法领域自适应的手分割从真实和模拟图像。我们的方法在这两种情况下都达到了最先进的性能。我们还展示了具有挑战性的多目标领域自适应和领域泛化设置有前途的结果。代码可在https://github.com/ut-vision/FgSty-CPL上获得。
2022-03-27 cs.CV
DensePASS: Dense Panoramic Semantic Segmentation via Unsupervised Domain Adaptation with Attention-Augmented Context Exchange
Institute for Anthropomatics and Robotics（人机与人机交互研究所）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Hangzhou SurImage Company Ltd.（杭州 SurImage 有限公司）
智能车辆显然受益于360度传感器的扩大视野（FoV），但绝大多数可用的语义分割训练图像都是用针孔摄像头捕获的。在这项工作中，我们看看这个问题，通过镜头的领域自适应，并将全景语义分割的设置，标记训练数据源自传统的针孔相机图像的不同分布。首先，我们形式化的全景语义分割的无监督领域自适应的任务，其中从针孔摄像机数据的源域的标记的例子上训练的网络部署在一个不同的目标域的全景图像，其中没有标签可用。为了验证这一想法，我们收集并公开发布了DensePASS -一种用于跨域条件下全景分割的新型密集注释数据集，专门用于研究针孔到全景转移，并附带从Cityscapes获得的针孔相机训练样本。DensePASS涵盖了标记和未标记的360度图像，标记数据包括19个类别，明确适合源域（即针孔）数据中可用的类别。为了应对领域转移的挑战，我们利用当前基于注意力机制的进展，并建立了一个通用的框架，跨域全景语义分割的基础上注意力增强领域自适应模块的不同变体。我们的框架有利于在本地和全球层面的信息交换时，学习域对应关系，并提高了领域自适应性能的两个标准的分割网络的平均IoU分别为6.05%和11.26%。
2021-08-13 cs.CV cs.RO eess.IV
Unsupervised Model Adaptation for Continual Semantic Segmentation
University of Southern California（南加州大学）；Information Sciences Institute（信息科学研究所）
我们开发了一种算法，用于适应语义分割模型，该模型使用标记的源域进行训练，以便在未标记的目标域中进行良好的概括。类似的问题已经在无监督领域自适应（UDA）文献中被广泛研究，但是现有的UDA算法需要访问源域标记数据和目标域未标记数据以训练域不可知的语义分割模型。放松此约束使用户能够调整预训练模型以在目标域中泛化，而无需访问源数据。为此，我们在中间嵌入空间中学习源域的原型分布。这种分布对从源域学习的抽象知识进行编码。然后，我们使用该分布来将目标域分布与嵌入空间中的源域分布对齐。我们提供了理论分析和解释的条件下，我们的算法是有效的。基准适应任务的实验表明，我们的方法取得了竞争力的性能，甚至与联合UDA方法。
2021-01-09 cs.CV cs.LG stat.ML
Source-Free Domain Adaptation for Semantic Segmentation
East China Normal University（华东师范大学）
无监督领域自适应（UDA）可以解决基于卷积神经网络（CNN）的语义分割方法严重依赖于像素级注释数据的挑战，这是劳动密集型的。然而，在这方面，现有的UDA方法不可避免地需要完全访问源数据集，以减少模型自适应期间源域和目标域之间的差距，这在源数据集是私有的真实场景中是不切实际的，因此不能与经过良好训练的源模型一起发布。为了解决这个问题，我们提出了一个无源的领域自适应框架语义分割，即SFDA，其中只有一个训练有素的源模型和一个未标记的目标域数据集可用于适应。SFDA不仅能够在模型自适应过程中通过知识转移从源模型中恢复和保存源领域知识，而且还能够从目标领域中提取有价值的信息用于自监督学习。为语义分割量身定制的像素级和块级优化目标无缝集成在框架中。大量的基准数据集上的实验结果突出了我们的框架对依赖于源数据的现有UDA方法的有效性。
2021-03-30 cs.CV
Unsupervised Domain Adaptation in LiDAR Semantic Segmentation with Self-Supervision and Gated Adapters
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
在本文中，我们专注于一个较少探索，但更现实和复杂的LiDAR语义分割领域自适应的问题。当训练（源域）和测试（目标域）数据来自不同的LiDAR传感器时，现有分割模型的性能会显着下降。为了克服这个缺点，我们提出了一个无监督的领域自适应框架，利用未标记的目标域数据进行自我监督，再加上一个不成对的掩码转移策略，以减轻域转移的影响。此外，我们引入了门控适配器模块与少量的参数到网络中，以占目标域特定的信息。从真实到真实和合成到真实LiDAR语义分割基准两者适配的实验证明了相对于现有技术的显著改进。
2022-03-21 cs.CV
Multi-Source Domain Adaptation with Collaborative Learning for Semantic Segmentation
Huawei Cloud（华为云）；Huawei Technologies（华为技术有限公司）；Dalian University of Technology（大连理工大学）
多源无监督领域自适应（MSDA）是将在多个已标记源域上训练的模型自适应到一个未标记目标域。在本文中，我们提出了一种新的多源领域自适应框架的基础上协作学习的语义分割。首先，引入一种简单的图像平移方法来对齐像素值分布，以在一定程度上减少源域和目标域之间的差距。然后，为了充分利用跨源域的基本语义信息，我们提出了一种协作学习方法，用于领域自适应，而无需看到任何来自目标域的数据。此外，与无监督领域自适应的设置类似，利用未标记的目标领域数据来进一步提高领域自适应的性能。这是通过附加地约束多个自适应模型的输出来实现的，所述输出具有由集成模型在线生成的伪标签。在语义分割中，对广泛使用的领域自适应基准数据集进行了广泛的实验和消融研究。我们提出的方法通过在标记的Synscapes和GTA 5数据集以及未标记的Cityscapes训练集上进行训练，在Cityscapes的验证集上实现了59.0\%的mIoU。它明显优于所有以前的国家的最先进的单源和多源无监督领域自适应方法。
2021-06-18 cs.CV
Probabilistic Domain Adaptation for Biomedical Image Segmentation
Georg-August-University Göttingen（哥廷根大学）；Institute of Computer Science（计算机科学学院）；Campus Institute Data Science (CIDAS)（校园数据科学研究所）；CAIMed - Lower Saxony Center for AI & Causal Methods in Medicine（下萨克森人工智能与因果医学中心）；Cluster of Excellence Multiscale Bioimaging (MBExC)（多尺度生物成像卓越中心）
针对生物医学图像分割中泛化不足的问题，提出基于自训练和概率UNet的概率域自适应方法，通过采样多个分割假设改进伪标签过滤，并在三个任务上验证有效性。
2025-08-03 cs.CV
AuxAdapt: Stable and Efficient Test-Time Adaptation for Temporally Consistent Video Semantic Segmentation
Qualcomm AI Research（高通AI研究院）；Qualcomm Technologies, Inc.（高通技术公司）；Nanjing University of Science and Technology（南京理工大学）
在视频分割中，跨帧生成时间上一致的结果与实现逐帧准确度同样重要。现有的方法依赖于光流正则化或微调与测试数据，以达到时间的一致性。然而，光流并不总是可用和可靠的。此外，它是昂贵的计算。在测试时间内对原始模型进行微调是成本敏感的。本文提出了一种有效的，直观的，和无监督的在线自适应方法，自适应，以改善大多数神经网络模型的时间一致性。它不需要光流，只需要视频的一次通过。由于不一致性主要来自模型输出的不确定性，我们提出了一种自适应方案，其中模型在流式传输视频时从自己的分割决策中学习，这允许为跨帧的相似像素产生更自信和时间一致的标签。为了提高稳定性和效率，我们利用一个小型辅助分割网络（CNONet）来帮助进行这种适应。更具体地说，CNONet通过将自己的估计添加到MainNet的估计中来重新调整原始分割网络（Main-Net）的决策。在每一帧中，只有主网通过反向传播进行更新，同时保持主网固定。我们在标准视频基准测试（包括Cityscapes、CamVid和KITTI）上广泛评估了我们的测试时自适应方法。结果表明，我们的方法提供了标签准确，时间一致，计算效率高的适应（5倍以上的开销减少相比，最先进的测试时自适应方法）。
2021-10-24 cs.AI cs.CV cs.LG
SRDA: Generating Instance Segmentation Annotation Via Scanning, Reasoning And Domain Adaptation
Shanghai Jiaotong University（上海交通大学）
实例分割是计算机视觉中的一个重要问题。然而，为这项任务准备带注释的数据是非常耗时和昂贵的。通过结合3D扫描，推理和基于GAN的领域自适应技术的优点，我们引入了一种名为SRDA的新管道，以非常小的努力获得大量的训练样本。我们的管道非常适合可扫描的场景，即大多数室内和一些室外场景。为了评估我们的性能，我们构建了三个代表性的场景和一个新的数据集，其中包含各种常见对象类别的3D模型和带注释的真实场景图像。大量的实验表明，我们的流水线可以实现体面的实例分割性能给出非常低的人力成本。
2018-07-13 cs.CV
Geometric Unsupervised Domain Adaptation for Semantic Segmentation
Toyota Research Institute (TRI)（丰田研究所）
模拟器可以有效地生成大量带标签的合成数据，并对难以标记的任务（如语义分割）进行完美的监督。然而，它们引入了一个域间隙，严重损害了现实世界的性能。我们建议使用自监督单目深度估计作为代理任务来弥合这一差距，并提高模拟到真实的无监督领域自适应（UDA）。我们的几何无监督领域自适应方法（GUDA）通过多任务目标学习域不变表示，该目标将合成语义监督与视频上的真实几何约束相结合。GUDA在UDA中建立了一个新的最先进的语义分割的三个基准，优于使用领域对抗学习，自我训练或其他自我监督代理任务的方法。此外，我们表明，我们的方法规模以及质量和数量的合成数据，同时也提高了深度预测。
2021-08-18 cs.CV
Unsupervised Domain Adaptation through Shape Modeling for Medical Image Segmentation
Shanghai Jiao Tong University（上海交通大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；East China Normal University（华东师范大学）
形状信息是医学图像中器官分割的重要先验信息。然而，目前大多数基于深度学习的分割算法没有考虑形状信息，这可能导致偏向纹理。我们的目标是明确的形状建模和使用它来帮助医学图像分割。以前的方法提出了基于变分自编码器（VAE）的模型来学习特定器官的形状分布，并使用它通过将其拟合到学习的形状分布中来自动评估分割预测的质量。在此基础上，我们的目标是将VAE纳入当前的分割管道。具体来说，我们提出了一个新的无监督领域自适应管道的基础上的伪损失和VAE重建损失下的师生学习范式。这两种损失同时得到优化，反过来，提高了分割任务的性能。在三个公共胰腺分割数据集以及两个内部胰腺分割数据集上的广泛实验显示出一致的改进，Dice分数至少增加2.8分，证明了我们的方法在挑战无监督领域自适应场景中的有效性。我们希望这项工作将推进医学成像中的形状分析和几何学习。
2022-07-06 cs.CV
CoMaL: Conditional Maximum Likelihood Approach to Self-supervised Domain Adaptation in Long-tail Semantic Segmentation
University of Arkansas（阿肯色大学）；Concordia University（康考迪亚大学）；West Virginia University（西弗吉尼亚大学）
本文提出CoMaL方法，通过条件最大似然和结构依赖建模解决长尾语义分割中的自监督域自适应问题，并在SYNTHIA/GTA到Cityscapes基准上显著超越现有方法。
2023-04-14 cs.CV
Cross-modal Learning for Domain Adaptation in 3D Semantic Segmentation
Inria（法国国家信息与自动化研究所）；Valeo（法雷奥）
领域自适应是在标签稀缺时实现学习的重要任务。虽然大多数作品只关注图像模态，但有许多重要的多模态数据集。为了利用多模态进行领域自适应，我们提出了跨模态学习，通过相互模仿来加强两种模态预测之间的一致性。我们限制我们的网络对标记数据进行正确的预测，并对未标记的目标域数据进行跨模态的一致预测。在无监督和半监督领域自适应环境下的实验证明了这种新的领域自适应策略的有效性。具体来说，我们评估的任务，3D语义分割从二维图像，三维点云或从两者。我们利用最近的驾驶数据集来产生各种各样的领域自适应场景，包括场景布局、照明、传感器设置和天气的变化，以及合成到真实的设置。我们的方法显着改善了以前的单峰适应基线的所有适应场景。我们的代码可在https://github.com/valeoai/xmuda_journal上公开获取
2022-06-22 cs.CV
Unsupervised Cross-Modality Domain Adaptation for Vestibular Schwannoma Segmentation and Koos Grade Prediction based on Semi-Supervised Contrastive Learning
Radboud University Medical Center（拉德堡德大学医学中心）；The Netherlands Cancer Institute（荷兰癌症研究所）；Nanjing University of Information Science and Technology（南京信息工程大学）
领域自适应已被广泛采用，以在多个供应商和多个中心之间传输样式，以及补充缺失的模态。在这项挑战中，我们提出了一个无监督的领域自适应框架，用于跨模态前庭神经鞘瘤（VS）和耳蜗分割和Koos等级预测。我们从ceT 1和hrT 2图像中学习共享表示，并从潜在表示中恢复另一种模态，并且我们还利用VS分割和大脑分割的代理任务来限制领域自适应中图像结构的一致性。在生成缺失模态后，nnU-Net模型用于VS和耳蜗分割，而半监督对比学习预训练方法用于提高Koos等级预测的模型性能。在CrossMoDA验证阶段排行榜上，我们的方法在task 1中获得了4级，平均Dice得分为0.8394，在task 2中获得了2级，宏观平均均方误差为0.3941。我们的代码可在https://github.com/fiy2W/cmda2022.superpolymerization上获得。
2022-10-09 cs.CV
Semi-supervised Domain Adaptation for Semantic Segmentation
用于语义分割的深度学习方法主要依赖于监督学习方法，并且需要在产生像素级注释方面做出大量努力。此外，当应用于看不见的图像域时，这样的方法可能表现不佳。为了应对这些限制，已经提出了具有完全源监督但没有目标监督的无监督领域自适应（UDA）和具有部分监督的半监督学习（SSL）。虽然这些方法在对齐不同的特征分布方面是有效的，但仍然需要有效地利用未标记的数据来解决与完全监督方法相关的性能差距。在本文中，我们解决了半监督领域自适应（SSDA）的语义分割，其中大量的标记源数据以及少量的标记目标数据是可用的。我们提出了一种新的和有效的两步半监督双领域自适应（SSDDA）的方法来解决跨域和域内的差距语义分割。建议的框架是由两个混合模块。首先，我们通过图像级混合策略进行跨领域自适应，该策略学习对齐源数据和目标数据之间的特征的分布偏移。第二，使用单独的学生-教师网络实现领域自适应，该网络被构建为通过以尊重预测对象边界的方式混合未标记的目标数据来生成类别级数据增强。我们证明了所提出的方法优于国家的最先进的方法，两个共同的合成到真正的语义分割基准。一个广泛的消融研究提供了进一步验证我们的方法的有效性。
2021-10-20 cs.CV
Unsupervised Domain Adaptation for Neuron Membrane Segmentation based on Structural Features
The University of Sydney（悉尼大学）
针对电子显微镜图像神经元膜分割的跨域泛化问题，提出融合结构特征权重模块、结构特征超分辨率、正交分解模块的无监督域自适应方法，经实验验证有效提升了分割性能。
2023-05-04 cs.CV
Super-Resolution Domain Adaptation Networks for Semantic Segmentation via Pixel and Output Level Aligning
Naval Aeronautical University（海军航空大学）；Hebei University of Technology（河北工业大学）
近年来，无监督领域自适应（UDA）在解决语义分割任务中的领域转移问题方面引起了越来越多的关注。虽然以往的UDA方法取得了良好的性能，但它们仍然受到源和目标域之间的分布差距，特别是遥感图像的分辨率差异。针对这一问题，设计了一种新的端到端语义分割网络，即超分辨率领域自适应网络（SRDA-Net）。SRDA-Net可以同时完成超分辨率任务和领域自适应任务，满足了遥感图像语义分割的要求，因为遥感图像通常涉及不同分辨率的图像。SRDA-Net包括三个部分：一个超分辨率和分割（SRS）模型，用于恢复高分辨率图像和预测分割图;一个像素级域分类器（PDC），用于确定像素属于哪个域;通过两个分类器联合优化SRS，该方法不仅可以消除源域和目标域之间的分辨率差异，而且可以提高语义分割任务的性能。在两个不同分辨率的遥感数据集上的实验结果表明，SRDA-Net在精度和视觉质量方面优于一些最先进的方法。代码和型号可在https://github.com/tangzhenjie/SRDA-Net上获得。
2022-05-13 cs.CV
ADVENT: Adversarial Entropy Minimization for Domain Adaptation in Semantic Segmentation
Sorbonne University（索邦大学）
语义分割是计算机视觉中的一个关键问题。虽然基于卷积神经网络的方法不断在不同的基准上打破新的记录，但很好地推广到不同的测试环境仍然是一个重大挑战。在许多实际应用中，训练域和测试域中的数据分布之间确实存在很大的差距，这导致运行时的严重性能损失。在这项工作中，我们解决的任务无监督领域自适应语义分割与损失的基础上的熵的像素明智的预测。为此，我们提出了两种新的互补方法，分别使用（i）熵损失和（ii）对抗损失。我们展示了最先进的性能在语义分割两个具有挑战性的“合成2-真正的”设置，并表明该方法也可以用于检测。
2019-04-17 cs.CV
Learning Part Segmentation through Unsupervised Domain Adaptation from Synthetic Vehicles
Johns Hopkins University（约翰斯·霍普金斯大学）；Zhejiang University（浙江大学）；Beihang University（北京航空航天大学）；Tongji University（同济大学）；University of California, San Diego（加利福尼亚大学圣迭戈分校）
零件分割提供了对象的丰富而详细的零件级描述。然而，他们的注释需要大量的工作，这使得很难应用标准的深度学习方法。在本文中，我们提出了通过无监督领域自适应（UDA）从合成数据学习部分分割的想法。我们首先介绍UDA-Part，这是一个全面的车辆零件分割数据集，可以作为UDA的适当基准（https：//qliu24.github.io/udapart）。在UDA-Part中，我们在3D CAD模型上标记零件，这使我们能够生成大量带注释的合成图像。我们还在一些真实图像上标注部件，以提供真实的测试集。其次，为了提高从合成数据训练的零件模型到真实图像的适应性，我们引入了一种新的UDA算法，该算法利用对象的空间结构来指导适应过程。我们在两个真实测试数据集上的实验结果证实了我们的方法优于现有的作品，并展示了从合成数据中学习一般对象的部分分割的承诺。我们相信我们的数据集为研究UDA的零件分割提供了丰富的测试平台，并将有助于显著推动该领域的研究。
2022-04-03 cs.CV
DADA: Depth-aware Domain Adaptation in Semantic Segmentation
Sorbonne University（索邦大学）
无监督领域自适应（UDA）对于大规模标注具有挑战性的代表性数据的应用非常重要。特别是对于语义分割，它有助于部署在真实的“目标域”数据模型上，这些数据模型是在来自不同“源域”（特别是虚拟环境）的注释图像上训练的。为此，大多数以前的作品认为语义分割作为源域数据的唯一监督模式，而忽略了其他可能可用的信息，如深度。在这项工作中，我们的目标是在训练UDA模型的同时最好地利用这样的特权信息。我们提出了一个统一的深度感知UDA框架，利用在几个互补的方式在源域的密集深度的知识。因此，训练后的语义分割模型在目标领域上的性能得到了提升。我们的新方法确实在不同的具有挑战性的合成-2-真实基准上实现了最先进的性能。
2019-08-19 cs.CV
AH-OCDA: Amplitude-based Curriculum Learning and Hopfield Segmentation Model for Open Compound Domain Adaptation
School of Electrical Engineering, KAIST（韩国科学技术院电气工程学院）
针对开放复合域适应中标签缺失问题，提出 AH-OCDA，利用 FFT 振幅课程学习和 Hopfield 分割模型实现跨域特征对齐，并在多个基准上达到最优性能。
2024-12-03 cs.AI cs.CV
DRIV100: In-The-Wild Multi-Domain Dataset and Evaluation for Real-World Domain Adaptation of Semantic Segmentation
Osaka University（大阪大学）；Technische Universität Darmstadt（达姆施塔特工业大学）；The University of Tokyo（东京大学）
结合语义分割的最新进展，人们提出了许多领域自适应方法来克服训练和部署环境之间的领域差距。然而，大多数以前的研究使用有限的源/目标数据集的组合，和领域自适应技术从来没有彻底评估在一个更具挑战性和多样化的目标领域。这项工作提出了一个新的多域数据集DRIV 100的基准领域自适应技术在野外道路场景视频从互联网上收集。该数据集由100个视频的像素级注释组成，这些视频基于两个标准选择以覆盖不同的场景/域;人类主观判断和使用现有道路场景数据集判断的异常分数。我们为每个视频提供多个手动标记的地面实况帧，从而能够对视频级领域自适应进行全面评估，其中每个视频独立地用作目标域。使用该数据集，我们量化了最先进的方法的领域自适应性能，并阐明了领域自适应技术的潜在和新的挑战。该数据集可在https://doi.org/10.5281/zenodo.4389243上获得。
2021-02-25 cs.CV
Semi-Supervised Domain Adaptation with Representation Learning for Semantic Segmentation across Time
UMI2958 GeorgiaTech-CNRS（佐治亚理工学院-法国国家科学研究中心 UMI2958）；Centrale Supélec（中央理工-高等电力学院）；Université Paris Saclay（巴黎萨克雷大学）；Google Research（谷歌研究院）；GeorgiaTech Lorraine（佐治亚理工学院洛林校区）
深度学习生成最先进的语义分割，前提是大量图像以及像素级注释可用。为了减轻昂贵的数据汇集过程中，我们提出了一种半监督领域自适应方法的特定情况下，图像具有相似的语义内容，但不同的像素分布。在过去的数据集上进行监督训练的网络在新的数据集上进行微调，以保留其特征图。领域自适应成为特征图之间的简单回归，并且不需要对新数据集进行注释。该方法在具有合成变换的PASCAL VOC数据集上达到了类似于经典迁移学习的性能。
2019-10-06 cs.CV
AutoAdapt: Automated Segmentation Network Search for Unsupervised Domain Adaptation
UC Merced（加州大学默塞德分校）；Amazon Web Services（亚马逊云科技）
基于神经网络的语义分割在有大量标注数据时，即在有监督的情况下，取得了显著的效果。然而，收集这样的数据是昂贵的，因此已经开发了方法来适应在相关的、通常是合成数据上训练的模型，对于这些数据，标签是容易获得的。目前的适应方法不考虑这些模型的泛化/可转移性对网络架构的依赖。在本文中，我们执行神经架构搜索（NAS）提供架构级的观点和分析领域自适应。我们确定的优化差距时，存在的搜索架构无监督领域自适应，这使得这个NAS问题独特的困难。我们建议弥合这一差距，使用最大平均差异和区域加权熵估计的准确性度量。几个广泛采用的基准测试的实验结果表明，我们提出的AutoAdapt框架确实发现了一些现有的自适应技术，提高性能的架构。
2021-06-24 cs.CV
FDA: Fourier Domain Adaptation for Semantic Segmentation
UCLA（加州大学洛杉矶分校）
我们描述了一个简单的方法，无监督的领域自适应，从而减少源和目标分布之间的差异，通过交换低频频谱的一个与其他。我们说明的方法在语义分割，密集注释的图像是丰富的一个域（合成数据），但很难获得在另一个（真实图像）。目前最先进的方法是复杂的，一些需要对抗性优化，使神经网络的骨干不变的离散域选择变量。我们的方法不需要任何训练来执行域对齐，只需简单的傅里叶变换及其逆变换。尽管它的简单性，它实现了国家的最先进的性能在当前的基准测试，当集成到一个相对标准的语义分割模型。我们的研究结果表明，即使是简单的程序可以折扣讨厌的变化，在数据中，更复杂的方法很难学习。
2020-04-11 cs.CV
CLUDA : Contrastive Learning in Unsupervised Domain Adaptation for Semantic Segmentation
Mercedes Benz Research and Development India（梅赛德斯-奔驰印度研发中心）
在这项工作中，我们提出了CLUDA，一个简单的，但新颖的方法进行无监督领域自适应（UDA）的语义分割，通过将对比损失到学生-教师学习范式，利用教师网络从目标域生成的伪标签。更具体地说，我们从编码器中提取多级融合特征映射，并通过图像的源目标混合在不同类别和不同域中应用对比度损失。我们不断提高性能的各种特征编码器架构和不同的领域自适应数据集的语义分割。此外，我们引入了一个学习加权对比损失，以改进UDA中最先进的多分辨率训练方法。我们在GTA $\rightarrow$ Cityscapes（74.4 mIOU，+0.6）和Synthia $\rightarrow$ Cityscapes（67.2 mIOU，+1.4）数据集上生成了最先进的结果。CLUDA有效地展示了UDA中的对比学习作为一种通用方法，它可以很容易地集成到任何现有的UDA中，用于语义分割任务。有关执行的详细情况，请参阅补充材料。
2022-11-08 cs.CV
Truly Generalizable Radiograph Segmentation with Conditional Domain Adaptation
Universidade Federal de Minas Gerais（米纳斯吉拉斯联邦大学）
生物医学图像的数字化技术在放射学检查中产生不同的视觉模式。这些差异可能会妨碍使用数据驱动的方法对这些图像进行推理，例如深度神经网络。这个领域的另一个值得注意的困难是缺乏标记数据，即使在许多情况下有大量的未标记数据可用。因此，提高这些方法的泛化能力的一个重要步骤是在不同的生物医学图像数据集之间执行无监督和半监督领域自适应。为了解决这个问题，在这项工作中，我们提出了一个无监督和半监督的领域自适应方法分割的生物医学图像，使用生成对抗网络的无监督图像翻译。我们将这些无监督网络与有监督的深度语义分割架构合并，以便创建一种半监督方法，该方法能够在标记可用时从未标记和标记数据中学习。我们使用多个领域，数据集，分割任务和传统基线来比较我们的方法，例如无监督的基于距离的方法和重用预训练模型，无论是否进行微调。我们在实验评估中考虑的不同场景中对所提出的方法和基线进行定量和定性分析。所提出的方法在稀缺的标记数据场景中显示出比基线更好的结果，在大多数任务中实现了大于0.9的Jaccard值和良好的分割质量。观察到无监督领域自适应结果接近于在微调预训练网络的传统过程中使用的完全监督领域自适应。
2019-12-07 cs.CV
BTSeg: Barlow Twins Regularization for Domain Adaptation in Semantic Segmentation
Fraunhofer Heinrich-Hertz-Institut, HHI（弗劳恩霍夫海因里希·赫兹研究所）；Humboldt University Berlin（柏林洪堡大学）
本研究提出半监督训练方法BTSeg，借助同场景不同恶劣天气图像的流形表示增强语义分割模型，无需额外标注数据，在ACG基准和ACDC数据集弱监督领域自适应任务上取得优异性能并公开代码。
2024-09-12 cs.CV
Unsupervised Domain Adaptation for Semantic Segmentation of NIR Images through Generative Latent Search
Indian Institute of Technology Delhi（德里印度理工学院）
分割的像素对应于人类皮肤是一个重要的第一步，在多个应用范围从监测到心率估计从远程光电容积脉搏波。然而，现有文献仅在EM光谱的可见范围内考虑该问题，这限制了它们在应用的关键性较高的低光或无光设置中的实用性。为了缓解这个问题，我们考虑从近红外图像的皮肤分割的问题。然而，基于深度学习的最先进的分割技术需要大量的标记数据，这对于当前的问题是不可用的。因此，我们将皮肤分割问题转化为目标无关的无监督领域自适应（UDA）问题，其中我们使用来自可见光范围的红色通道的数据来开发近红外图像上的皮肤分割算法。我们提出了一种目标独立的分割方法，其中在源域中的目标图像的“最近克隆”被搜索，并用作仅在源域上训练的分割网络中的代理。我们证明了“最近克隆”的存在性，并提出了一种方法来找到它，通过优化算法的潜在空间的深度生成模型的基础上变分推理。我们证明了所提出的方法的有效性，近红外皮肤分割的国家的最先进的UDA分割方法的两个新创建的皮肤分割数据集在近红外域，尽管没有访问目标近红外数据。此外，我们报告了从Synthia到Cityscapes的最新结果，这是语义分割的无监督领域自适应中的一个流行设置。代码和数据集可在https://github.com/ambekarsameer96/GLSS上获得。
2020-07-17 cs.CV
