Multi-source Domain Adaptation for Semantic Segmentation
University of California, Berkeley（加州大学伯克利分校）；Didi Chuxing（滴滴出行）；Harbin Institute of Technology（哈尔滨工业大学）
已经针对诸如自动驾驶的各种应用积极地研究了用于语义分割的模拟到真实域的适应。现有的方法主要集中在一个单一的源设置，这不能很容易地处理一个更实际的情况下，具有不同的分布的多个源。在本文中，我们建议调查多源域适应语义分割。具体来说，我们设计了一个新的框架，称为多源对抗域聚合网络（MADAN），它可以以端到端的方式进行训练。首先，我们为每个源生成一个动态语义一致的适应域，同时在像素级周期一致地向目标对齐。其次，我们提出了子领域聚合模型和跨领域循环模型，使不同适应领域更紧密地聚合。最后，在训练分割网络的同时，在聚合域和目标域之间执行特征级对齐。从合成GTA和SYNTHIA到真实Cityscapes和BDDS数据集的大量实验表明，所提出的MADAN模型优于最先进的方法。我们的源代码发布在：www.example.com。
2019-10-27 cs.CV cs.LG eess.IV
Domain Adaptation for the Segmentation of Confidential Medical Images
Information Sciences Institute（信息科学研究所）；University of Southern California（南加州大学）
卷积神经网络（CNN）在图像的语义分割方面取得了显著的进步。当源数据集和目标数据集来自不同的模态时，CNN的性能由于域偏移而受到影响。在这种情况下，目标域中的数据注释对于维护模型性能变得必要。为了避免重新标注过程，提出了无监督领域自适应（UDA），仅使用未标记的目标数据使模型适应新的模态。常见的UDA算法需要在自适应期间访问源域数据，由于数据共享限制，这在医学成像中可能不可行。在这项工作中，我们开发了一个算法UDA的源域数据是不可访问的目标适应过程中。我们的方法是基于编码的源域信息到一个内部的分布，用于指导适应源样本的情况下。我们证明了我们的算法的有效性，通过比较它的国家的最先进的医学图像语义分割方法对两个医学图像语义分割数据集。
2022-10-07 cs.CR cs.CV cs.LG
Unsupervised Domain Adaptation via CycleGAN for White Matter Hyperintensity Segmentation in Multicenter MR Images
Universidad de Buenos Aires（布宜诺斯艾利斯大学）；Universidad Nacional del Litoral（国立滨海大学）
磁共振图像中白质高信号的自动分割具有重要的临床和研究意义。这些病变的定量可作为中风、痴呆和死亡风险的预测因子。在过去的几年中，专门为生物医学图像分割定制的卷积神经网络（CNN）在这项任务中的表现优于所有以前的技术。然而，它们非常依赖数据，并且只有当训练和测试数据集之间的数据分布保持不变时才能保持良好的性能。当这样的分布改变但我们仍然旨在执行相同的任务时，我们会遇到域适应问题（例如，使用不同的MR机器或不同的采集参数用于训练和测试数据）。在这项工作中，我们探索使用周期一致性对抗网络（CycleGAN）对具有脑病变的多中心MR图像进行无监督域自适应。我们的目标是学习一个映射函数来转换域之间的体积MR图像，其特征在于不同的医疗中心和MR机器具有不同的品牌，型号和配置参数。我们的实验表明，CycleGAN允许我们减少MR域之间的Jensen-Shannon分歧，从而在没有标记数据的域上使用CNN模型进行自动分割。
2020-09-10 cs.CV cs.LG eess.IV
FogAdapt: Self-Supervised Domain Adaptation for Semantic Segmentation of Foggy Images
Information Technology University（信息技术大学）
本文提出了一种新的领域自适应的语义分割浓雾场景的方法FogAdapt。虽然有意义的研究已被定向到减少语义分割中的域转移，但适应具有不利天气条件的场景仍然是一个悬而未决的问题。由于天气条件（如雾、烟雾和霾）导致的场景可见性的大变化加剧了域偏移，从而使此类场景中的无监督适应具有挑战性。提出一种自熵和多尺度信息增强的自监督领域自适应方法（FogAdapt），以最小化雾天场景分割中的区域偏移。支持的经验证据表明，雾密度的增加导致高自熵的分割概率，我们引入了一个自熵的损失函数，以指导自适应方法。此外，在不同的图像尺度上获得的推理组合和加权的不确定性，以产生目标域的尺度不变的伪标签。这些尺度不变的伪标签对可见性和尺度变化具有鲁棒性。我们评估所提出的模型对真正的晴朗天气场景，真正的雾场景适应和合成无雾图像，真正的雾场景适应场景。我们的实验表明，FogAdapt显着优于当前国家的最先进的雾图像的语义分割。具体来说，通过考虑与最先进的（SOTA）方法相比的标准设置，FogAdapt在从Cityscapes调整到Foggy Zurich时，在Foggy Zurich上获得3.8%，在Foggy Driving-dense上获得6.0%，在mIoU上获得3.6%。
2022-06-08 cs.CV cs.LG
Bidirectional Learning for Domain Adaptation of Semantic Segmentation
UC San Diego（加州大学圣地亚哥分校）；Microsoft（微软）
领域自适应对于语义图像分割是非常必要的，因为用像素级标签手动标记大数据集是昂贵且耗时的。现有的领域自适应技术要么在有限的数据集上工作，要么与监督学习相比，产生不那么好的性能。在本文中，我们提出了一种新的双向学习框架的领域自适应分割。利用双向学习，图像平移模型和分割自适应模型可以交替学习，相互促进。此外，我们提出了一个自监督学习算法来学习一个更好的分割自适应模型，并反过来改善图像的翻译模型。实验结果表明，该方法在大边缘分割的领域自适应方面优于现有方法。源代码可在https://github.com/liyunsheng13/BDL上获得。
2019-04-24 cs.CV
Curriculum-style Local-to-global Adaptation for Cross-domain Remote Sensing Image Segmentation
Fudan University（复旦大学）
虽然领域自适应在自然图像分割中得到了广泛的研究，但对于高分辨率遥感图像的跨领域分割研究还很薄弱。基于VHR RSSI的跨域分割主要面临两个关键挑战：1）大面积土地覆盖和多种多样的目标类别会带来严重的局部块级数据分布偏差，从而对不同的局部块产生不同的适应困难; 2）不同的VHR传感器类型或动态变化的模式导致即使对于相同的地理位置，VHR图像也经历密集的数据分布差异，导致不同的全局特征级域间隙。为了解决这些挑战，我们提出了一个基于局部到全局的跨领域自适应框架来分割VHR RSI。所提出的基于熵的自适应算法根据目标域中每个块的熵值来确定自适应难度，以一种由易到难的方式实现自适应过程，从而很好地将域图像中的局部块对齐。局部到全局的自适应执行从局部语义到全局结构特征差异的特征对齐过程，并由语义级域分类器和熵级域分类器组成，可以减少上述跨域特征差异。在不同的跨域场景下进行了大量的实验，包括地理位置变化和成像模式变化，实验结果表明，该方法可以显著提高VHR遥感影像分割网络的域适应性。我们的代码可在https://github.com/BOBrown/CCDA_LGFA上获取。
2022-03-03 cs.CV eess.IV
Edge-preserving Domain Adaptation for semantic segmentation of Medical Images
Ryerson University（瑞尔森大学）
领域自适应是一种解决在不可见环境中缺乏大量标记数据的技术。提出了无监督领域自适应，以仅使用标记的源数据和未标记的目标领域数据来使模型适应新的模态。虽然已经提出了许多图像空间领域自适应方法来捕获像素级的域偏移，但是这样的技术可能无法为分割任务保持高级语义信息。对于生物医学图像的情况，在域之间的图像变换操作期间可能丢失诸如血管的精细细节。在这项工作中，我们提出了一个模型，适应域之间使用周期一致的损失，同时保持边缘的原始图像的细节，通过强制执行基于边缘的损失在适应过程中。我们证明了我们的算法的有效性，通过比较它与其他方法对两个眼底血管分割数据集。与SOTA相比，我们实现了1.1到9.2的DICE分数增量，与香草CycleGAN实现相比，增量约为5.2。
2021-11-18 cs.CV cs.LG
Self-semantic contour adaptation for cross modality brain tumor segmentation
Massachusetts General Hospital（麻省总医院）；Harvard Medical School（哈佛医学院）
无监督领域自适应（UDA）在两个显著不同的领域之间学习高级语义对齐是一项重要而具有挑战性的任务。为此，在这项工作中，我们建议利用低级别的边缘信息，以促进适应作为一个先导任务，它具有一个小的跨域的差距，相比语义分割。精确的轮廓，然后提供空间信息，以指导语义适应。更具体地说，我们提出了一个多任务框架来学习轮廓自适应网络以及语义分割自适应网络，该网络将磁共振成像（MRI）切片及其初始边缘图作为输入。这两个网络使用源域标签进行联合训练，并进行特征和边缘图级别的对抗学习以进行跨域对齐。此外，自熵最小化被纳入，以进一步提高分割性能。我们在BraTS 2018数据库上评估了我们的框架，用于脑肿瘤的跨模态分割，与竞争方法相比，显示了我们方法的有效性和优越性。
2022-01-13 cs.AI cs.CV cs.LG
Cluster-to-adapt: Few Shot Domain Adaptation for Semantic Segmentation across Disjoint Labels
University of California San Diego（加州大学圣地亚哥分校）
跨由相同类别组成的数据集的语义分割的领域自适应最近已经取得了一些成功。然而，更一般的情况是源数据集和目标数据集对应于不重叠的标签空间。例如，分割数据集中的类别根据环境或应用程序的类型而变化很大，但共享许多有价值的语义关系。现有的方法的基础上的特征对齐或差异最小化不考虑这种类别的转变。在这项工作中，我们提出了一种基于聚类的计算高效的方法，用于在具有完全不同但可能相关的类别的分割数据集上进行领域自适应。我们表明，这样的聚类目标在变换后的特征空间中强制执行，用于自动选择跨源和目标域的类别，这些类别可以对齐以提高目标性能，同时防止不相关类别的负转移。我们证明了我们的方法的有效性，通过实验上的挑战性问题的室外到室内的适应语义分割在Few-Shot以及zero-shot设置，与现有的方法和基线在所有情况下的性能的一致改进。
2022-08-04 cs.CV cs.LG
Semi-Supervised Domain Adaptation for Semantic Segmentation of Roads from Satellite Images
Huawei Turkey R&D Center（华为土耳其研发中心）
本文提出了一种半监督分割方法从卫星图像中提取道路的初步研究结果。人工神经网络和图像分割方法是从卫星图像中提取道路数据的最成功的方法之一。然而，这些模型需要来自不同区域的大量训练数据来实现高准确率。在这些数据需要更多数量或质量的情况下，通过从不同来源获得的注释数据中转移知识来训练深度神经网络是一种标准方法。本研究提出一种利用半监督学习方法进行路径分割的方法。提出了一种基于伪标记和最小类混淆方法的半监督场自适应方法，并观察到它在目标数据集上的性能提高。
2022-12-26 cs.CV eess.IV
DODA: Data-oriented Sim-to-Real Domain Adaptation for 3D Semantic Segmentation
The University of Hong Kong（香港大学）；MPI for Informatics（马克斯·普朗克信息学研究所）
深度学习方法在3D语义分割中取得了显著的成功。然而，收集密集注释的真实世界3D数据集非常耗时且昂贵。在合成数据上训练模型，并在真实世界的场景中进行推广，成为一种有吸引力的替代方案，但不幸的是，它会遭受臭名昭著的领域转移。在这项工作中，我们提出了一个面向数据的领域自适应（DODA）框架，以减轻不同的传感机制和跨域布局所造成的模式和上下文的差距。我们的DODA包括虚拟扫描模拟，以模仿现实世界的点云模式和尾部感知立方体混合，以减轻与基于立方体的中间域的内部上下文差距。3D室内语义分割的第一个无监督模拟到真实的适应基准也建立在3D-FRONT，ScanNet和S3 DIS以及7种流行的无监督领域自适应（UDA）方法上。我们的DODA在3D-FRONT -> ScanNet和3D-FRONT -> S3 DIS上都超过现有的UDA方法13%以上。代码可在https://github.com/CVMI-Lab/DODA上获得。
2022-07-21 cs.CV cs.LG
PartSTAD: 2D-to-3D Part Segmentation Task Adaptation
KRAFTON Inc.（克拉夫顿公司）；KAIST（韩国科学技术院）
PartSTAD通过任务自适应微调二维边界框模型并引入自适应合并权重及SAM改善边界，在PartNet-Mobility上显著提升少样本三维部件分割性能。
2024-07-19 cs.CV
Test-Time Adaptation with Shape Moments for Image Segmentation
ETS Montréal（蒙特利尔高等技术学院）
众所周知，监督学习在分布偏移下无法泛化。在典型的临床环境中，源数据是不可访问的，并且目标分布由少数样本表示：适应只能在测试时在少数甚至单个受试者上发生。我们研究了测试时的单主题适应分割，并提出了一个形状引导的熵最小化目标来解决这个任务。在对单个测试主题的推理过程中，我们的损失相对于批量归一化的尺度和偏差参数被最小化。我们展示了整合各种形状先验以指导适应合理解决方案的潜力，并在两个具有挑战性的场景中验证了我们的方法：心脏分割的MRI到CT适应和前列腺分割的跨站点适应。我们的方法表现出更好的性能比现有的测试时自适应方法。更令人惊讶的是，它比最先进的领域自适应方法更好，尽管它在自适应期间放弃了对额外目标数据的训练。我们的研究结果质疑了在分割适应中对目标数据进行训练的有用性，并指出了形状先验对测试时推理的实质性影响。我们的框架可以很容易地用于集成各种先验和适应任何分割网络，我们的代码是可用的。
2022-05-16 cs.CV
Gaze-Assisted Human-Centric Domain Adaptation for Cardiac Ultrasound Image Segmentation
College of Artificial Intelligence, Nanjing University of Aeronautics and Astronautics（南京航空航天大学人工智能学院）；School of Computer Science and Engineering, Southeast University（东南大学计算机科学与工程学院）；School of Instrument Science and Engineering, Southeast University（东南大学仪器科学与工程学院）；Department of Biomedical Engineering, Case Western Reserve University（凯斯西储大学生物医学工程系）
本文提出注视辅助的以人为中心的域自适应方法GAHCDA，利用医生注视轨迹中的跨域人类认知引导心脏超声图像分割，通过注视增强对齐和注视平衡损失提升目标域分割性能，优于GAN和自训练方法。
2025-02-06 cs.CV eess.IV
A Novel Domain Adaptation Framework for Medical Image Segmentation
University of California Berkeley（加州大学伯克利分校）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们提出了一个使用深度神经网络的分割框架，并引入了两个创新。首先，我们描述了一种基于生物制药学的领域自适应方法。其次，我们提出了一种自动分割的方法，除了肿瘤组织的白色和灰色物质，和脑脊液。关于我们的第一个创新，我们使用一个领域自适应框架，该框架将一个新的多物种生物物理肿瘤生长模型与生成对抗模型相结合，以创建具有已知分割的逼真的合成多模态MR图像。关于我们的第二个创新，我们提出了一种自动的方法来丰富可用的分割数据，通过计算健康组织的分割。这种分割是使用BraTS训练数据和一组预先标记的地图集之间的同构图像配准来完成的，它为训练提供了更多的信息，并减少了类不平衡问题。我们的整体方法并不特定于任何特定的神经网络，可以与现有的解决方案结合使用。我们证明了使用2D U-网的性能改善的BraTS'18分割的挑战。与现有的用于创建合成数据进行训练的最先进的GAN模型相比，我们基于生物物理学的领域自适应实现了更好的结果。
2018-10-11 cs.CV cs.LG stat.ML
AUGCO: Augmentation Consistency-guided Self-training for Source-free Domain Adaptive Semantic Segmentation
Georgia Institute of Technology（佐治亚理工学院）
用于域自适应语义分割的大多数现代方法依赖于在自适应期间对源数据的持续访问，这可能由于计算或隐私约束而不可行。我们专注于无源领域自适应语义分割，其中一个源模型必须适应一个新的目标域只给未标记的目标数据。我们提出了增强一致性指导的自训练（AUGCO），这是一种无源自适应算法，它使用模型的像素级预测一致性，跨各种自动生成的每个目标图像的视图以及模型置信度来识别可靠的像素预测，并选择性地对这些像素进行自训练。AUGCO在3个标准的语义分割基准测试中实现了最先进的无源自适应结果，所有这些都在一个简单的实现和快速收敛的方法中实现。
2022-01-06 cs.CV cs.LG
Curriculum Learning for Few-Shot Domain Adaptation in CT-based Airway Tree Segmentation
针对CT气道分割的跨队列泛化问题，提出将课程学习集成到分割网络，按复杂度分批训练，在少样本域自适应中于ATM22和AIIB23队列取得高性能，并指出不当评分或排序的潜在风险。
2024-11-08 cs.CV cs.LG
Shallow Features Guide Unsupervised Domain Adaptation for Semantic Segmentation at Class Boundaries
University of Bologna（博洛尼亚大学）
尽管深度神经网络在语义分割任务方面取得了显著的成果，但它们通常无法推广到新的领域，特别是在执行合成到真实的适应时。这样的域转移沿着类边界特别明显，使包括获得尖锐的分割掩模的语义分割的主要目标之一无效。在这项工作中，我们专门解决这个核心问题的背景下，无监督领域自适应，并提出了一种新的低层次的适应策略，使我们能够获得尖锐的预测。此外，受最近的自训练技术的启发，我们引入了一种有效的数据增强，它消除了采用伪标签进行自训练时通常存在于语义边界的噪声。我们的贡献可以很容易地集成到其他流行的自适应框架中，大量的实验表明，它们有效地提高了类边界的性能。
2021-10-06 cs.CV
Complete & Label: A Domain Adaptation Approach to Semantic Segmentation of LiDAR Point Clouds
Google Research（谷歌研究院）
我们研究了三维点云语义标注的无监督领域自适应问题，特别关注不同LiDAR传感器引起的领域差异。基于对稀疏3D点云从3D表面采样的观察，我们采取完整和标记的方法来恢复底层表面，然后将其传递到分割网络。具体来说，我们设计了一个稀疏体素完成网络（SVCN）来完成稀疏点云的3D表面。与语义标签不同，获得SVCN的训练对不需要手动标记。我们还引入了局部对抗学习来对表面先验进行建模。恢复的3D表面作为一个规范域，语义标签可以在不同的LiDAR传感器之间传输。实验和消融研究表明，我们的新基准的跨域语义标记的激光雷达数据所提出的方法提供了8.2-36.6%的性能比以前的领域自适应方法。
2021-03-30 cs.CV cs.LG
Simulation-to-Real domain adaptation with teacher-student learning for endoscopic instrument segmentation
Zuse Institute Berlin (ZIB)（柏林祖斯研究所）；TU Darmstadt（达姆施塔特工业大学）
目的：内窥镜视频中手术器械的分割对于自动手术场景理解和过程建模至关重要。然而，依靠完全监督的深度学习来完成这项任务是具有挑战性的，因为手动注释占用了临床专家的宝贵时间。研究方法：针对当前基于一致性的无监督领域自适应框架存在的错误学习问题，提出了一种师生学习方法，该方法从标注的模拟数据和未标注的真实数据中联合学习.结果如下：三个数据集上的实证结果突出了所提出的框架在内窥镜器械分割任务的当前方法上的有效性。此外，我们还分析了影响所有数据集性能的主要因素，以突出我们方法的优势和失败模式。结论：我们表明，我们提出的方法可以成功地利用未标记的真实内窥镜视频帧，并提高泛化性能超过纯模拟为基础的训练和以前的国家的最先进的。这使我们更接近有效分割的手术工具在注释稀缺的设置。
2021-03-02 cs.CV cs.LG
Endo-Sim2Real: Consistency learning-based domain adaptation for instrument segmentation
Zuse Institute Berlin (ZIB)（柏林祖斯研究所）；TU Darmstadt（达姆施塔特工业大学）
内窥镜视频中的手术工具分割是计算机辅助介入系统的重要组成部分。最近使用全监督深度学习方法的基于图像的解决方案的成功可以归因于大标记数据集的收集。然而，对真实视频的大数据集进行注释可能非常昂贵和耗时。计算机模拟可以减轻人工标记问题，然而，在模拟数据上训练的模型不能推广到真实数据。这项工作提出了一个基于一致性的框架，用于模拟和真实（未标记）内窥镜数据的联合学习，以解决此性能泛化问题。两个数据集（Cholec 80和EndoVis'15数据集的15个视频）的经验结果突出了所提出的\emph{Endo-Sim2Real}方法用于仪器分割的有效性。我们比较了所提出的方法与最先进的解决方案的分割，并表明我们的方法在质量和数量方面都提高了分割。
2020-07-22 cs.CV cs.LG
Multiple Fusion Adaptation: A Strong Framework for Unsupervised Semantic Segmentation Adaptation
Baidu Research（百度研究院）
本文提出了跨领域语义分割的任务，旨在提高对未标记的目标领域的分割精度，而不会招致额外的注释。利用基于伪标签的无监督领域自适应（UDA）流水线，提出了一种新颖有效的多融合自适应（MFA）方法。MFA主要考虑三种并行信息融合策略，即，跨模型融合、时域融合和一种新的在线-离线伪标签融合。具体而言，在线-离线伪标签融合鼓励自适应训练对容易被离线伪标签忽略的困难区域给予额外的关注，从而保留更多信息细节。虽然其他两种融合策略可能看起来是标准的，但MFA在提高集成的效率和有效性方面做出了重大努力，并成功地将所有三种策略注入到一个统一的框架中。在两个广泛使用的基准上进行实验，即，GTA5-to-Cityscapes和SYNTHIA-to-Cityscapes的结果表明，我们的方法显著提高了语义分割适应性，并建立了新的最新技术水平（分别为58.2%和62.5% mIoU）。该代码将在https://github.com/KaiiZhang/MFA上提供。
2021-12-01 cs.CV
Learning from Unlabelled Data with Transformers: Domain Adaptation for Semantic Segmentation of High Resolution Aerial Images
European Space Agency (ESA)（欧洲空间局（ESA））；Sapienza University of Rome（罗马第一大学（萨皮恩扎大学））
针对航空对地观测数据标注难、标签易变及半监督分割挑战，提出NEOS模型，通过域适应对齐跨域表征实现无标注图像语义分割，性能优于现有模型。
2024-04-17 cs.CV cs.LG
Few-shot Unsupervised Domain Adaptation for Multi-modal Cardiac Image Segmentation
Friedrich-Alexander-Universität Erlangen-Nürnberg (FAU)（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）
无监督域自适应（UDA）方法旨在通过使用未标记的目标域和标记的源域数据来减少源域和目标域之间的差距，然而，在医学领域中，目标域数据可能并不总是容易获得，并且获取新的样本通常是耗时的。这限制了UDA方法在新领域的发展。在本文中，我们探讨了UDA的潜力，在一个更具挑战性的，而现实的情况下，只有一个未标记的目标患者样本是可用的。我们称之为Few-Shot无监督域自适应（FUDA）。我们首先从源图像生成目标样式图像，并使用随机自适应实例归一化（RAIN）从单个目标患者中探索不同的目标样式。然后，用生成的目标图像以监督的方式训练分割网络。我们的实验表明，与基线相比，FUDA在目标域上的分割性能提高了0.33的Dice得分，并且在更严格的单次设置下，它也给出了0.28的Dice得分提高。我们的代码可在\url{https://github.com/MingxuanGu/Few-shot-UDA}上获得。
2022-01-28 cs.CV eess.IV
Unsupervised Domain Adaptation for Semantic Image Segmentation: a Comprehensive Survey
Naver Labs Europe
语义分割在各种计算机视觉应用中起着基础性的作用，为图像的全局理解提供关键信息。然而，最先进的模型依赖于大量的注释样本，这是更昂贵的获得任务，如图像分类。由于无标签数据的获取成本要低得多，因此无监督领域自适应在语义分割社区中取得广泛成功也就不足为奇了。本调查旨在总结这一快速增长领域五年来的发展，其中包括语义分割本身的重要性以及使分割模型适应新环境的迫切需要。我们提出了最重要的语义分割方法，我们提供了一个全面的调查语义分割的领域自适应技术，我们揭示了新的趋势，如多领域学习，领域泛化，测试时自适应或无源领域自适应，我们通过描述最广泛使用的数据集和基准在语义分割研究结束这项调查。我们希望这项调查将为学术界和工业界的研究人员提供全面的参考指南，并帮助他们在该领域培育新的研究方向。
2021-12-06 cs.AI cs.CV
TopoLoRA-SAM: Topology-Aware Parameter-Efficient Adaptation of Foundation Segmenters for Thin-Structure and Cross-Domain Binary Semantic Segmentation
Talan Research \& Innovation Center, Paris, France
TopoLoRA-SAM通过拓扑感知的参数高效方法，在细长结构和跨域二分类语义分割中实现最佳性能。
2026-01-05 cs.AI cs.CV cs.LG
Affinity Space Adaptation for Semantic Segmentation Across Domains
Wuhan University（武汉大学）；Huazhong University of Science and Technology（华中科技大学）
得益于深度学习，具有密集像素级注释的语义分割实现了出色的性能。然而，语义分割的泛化仍然具有挑战性。在本文中，我们解决的问题，无监督领域自适应（UDA）的语义分割。由于源域和目标域具有不变的语义结构，我们建议利用结构化语义分割输出中成对像素之间的共现模式来利用跨域的不变性。这不同于大多数现有的方法，这些方法试图根据图像、特征或输出级别中的单个像素信息来调整域。具体地说，我们执行领域自适应上相邻像素之间的亲和关系称为源和目标域的亲和空间。为此，我们开发了两种亲和空间自适应策略：亲和空间清洗和对抗亲和空间对齐。大量的实验表明，该方法实现了优越的性能对一些国家的最先进的方法在几个具有挑战性的基准跨领域的语义分割。该代码可在https://github.com/idealwei/ASANet上获得。
2020-09-26 cs.CV
A Privacy-Preserving Semantic-Segmentation Method Using Domain-Adaptation Technique
Tokyo Metropolitan University（东京 Metropolitan 大学）
本文提出一种基于域自适应和ViT嵌入结构的隐私保护语义分割方法，在训练与测试图像上施加感知加密，同时保持与未加密模型几乎相同的分割精度。
2025-07-17 cs.CR cs.CV
Domain Adaptation for Semantic Segmentation via Patch-Wise Contrastive Learning
EPFL（洛桑联邦理工学院）；Magic Leap；Amazon（亚马逊）
我们介绍了一种新的方法，无监督和半监督领域自适应语义分割。与许多早期依赖对抗学习进行特征对齐的方法不同，我们利用对比学习通过跨领域对齐结构相似的标签补丁的特征来弥合领域差距。因此，网络更易于训练并提供更好的性能。我们的方法在两个具有挑战性的域自适应分割任务上始终优于最先进的无监督和半监督方法，特别是在少量目标域注释的情况下。它也可以自然地扩展到弱监督的领域自适应，其中只有微小的准确性下降可以节省高达75%的注释成本。
2021-04-22 cs.CV
Optimal Latent Vector Alignment for Unsupervised Domain Adaptation in Medical Image Segmentation
École Centrale de Nantes（南特中央理工学院）；Laboratoire des Sciences du Numérique de Nantes（南特数字科学实验室）；CNRS（法国国家科学研究中心）
本文讨论了分割的域转移问题。作为解决方案，我们提出了OLVA，一种新的和轻量级的无监督领域自适应方法的基础上变分自动编码器（VAE）和最优传输（OT）理论。由于VAE，我们的模型学习了一个遵循正态分布的共享跨域潜在空间，这减少了域偏移。为了保证有效的分割，我们的共享潜在空间被设计为对形状而不是强度变化进行建模。我们进一步依赖于OT损失来匹配和对齐潜在空间中两个域之间的剩余差异。我们证明了OLVA的有效性的公共多模态全心脏分割（MM-WHS）数据集上的多个心脏结构的分割，其中的源域包括注释的3D MR图像和未标记的目标域的3D CT。我们的研究结果显示了显着的改善，额外的利润率为12.5%的骰子分数比并发生成训练方法。
2021-06-15 cs.AI cs.CV cs.LG
On the Road to Online Adaptation for Semantic Image Segmentation
NAVER LABS Europe（NAVER欧洲实验室）；Oxford University（牛津大学）
我们提出了一个新的问题制定和相应的评估框架，以推进语义图像分割的无监督领域自适应的研究。总体目标是促进自适应学习系统的发展，这些系统将在不断变化的环境中不断学习，无需监督。研究分割模型自适应算法的典型协议仅限于少数几个领域，自适应离线发生，通常需要人工干预，至少要注释超参数调整的数据。我们认为，这样的约束是不兼容的算法，可以不断适应不同的现实世界的情况。为了解决这个问题，我们提出了一个协议，模型需要在线学习，从时间相关的图像序列，需要连续的，逐帧的适应。我们伴随着这个新的协议与各种基线，以解决拟议的配方，以及对他们的行为进行广泛的分析，这可以作为未来研究的起点。
2022-03-30 cs.CV
Unsupervised Model Adaptation for Continual Semantic Segmentation
University of Southern California（南加州大学）；Information Sciences Institute（信息科学研究所）
我们开发了一种算法，用于适应语义分割模型，该模型使用标记的源域进行训练，以便在未标记的目标域中进行良好的概括。类似的问题已经在无监督领域自适应（UDA）文献中被广泛研究，但是现有的UDA算法需要访问源域标记数据和目标域未标记数据以训练域不可知的语义分割模型。放松此约束使用户能够调整预训练模型以在目标域中泛化，而无需访问源数据。为此，我们在中间嵌入空间中学习源域的原型分布。这种分布对从源域学习的抽象知识进行编码。然后，我们使用该分布来将目标域分布与嵌入空间中的源域分布对齐。我们提供了理论分析和解释的条件下，我们的算法是有效的。基准适应任务的实验表明，我们的方法取得了竞争力的性能，甚至与联合UDA方法。
2021-01-09 cs.CV cs.LG stat.ML
Unsupervised Domain Adaptation for Segmentation with Black-box Source Model
Gordon Center for Medical Imaging, Massachusetts General Hospital and Harvard Medical School（戈登医学影像中心，麻省总医院与哈佛医学院）；Ewha Womans University（梨花女子大学）；University of Southern California（南加州大学）
无监督领域自适应（UDA）已被广泛用于将知识从已标记的源领域转移到未标记的目标领域，以克服在新领域中标记的困难。传统解决方案的训练通常依赖于源和目标域数据的存在。然而，源域中大规模和标记良好的数据和训练模型参数的隐私可能成为跨中心/域协作的主要关注点。在这项工作中，为了解决这个问题，我们提出了一个实用的解决方案，UDA分割与黑盒分割模型训练的源域，而不是原始的源数据或白盒源模型。具体来说，我们诉诸于一个知识蒸馏计划与指数混合衰减（EMD），逐步学习特定于目标的表示。此外，无监督熵最小化进一步应用于目标域置信度的正则化。我们在BraTS 2018数据库上评估了我们的框架，实现了与白盒源模型自适应方法相当的性能。
2022-08-16 cs.AI cs.CV cs.LG
AuxAdapt: Stable and Efficient Test-Time Adaptation for Temporally Consistent Video Semantic Segmentation
Qualcomm AI Research（高通AI研究院）；Qualcomm Technologies, Inc.（高通技术公司）；Nanjing University of Science and Technology（南京理工大学）
在视频分割中，跨帧生成时间上一致的结果与实现逐帧准确度同样重要。现有的方法依赖于光流正则化或微调与测试数据，以达到时间的一致性。然而，光流并不总是可用和可靠的。此外，它是昂贵的计算。在测试时间内对原始模型进行微调是成本敏感的。本文提出了一种有效的，直观的，和无监督的在线自适应方法，自适应，以改善大多数神经网络模型的时间一致性。它不需要光流，只需要视频的一次通过。由于不一致性主要来自模型输出的不确定性，我们提出了一种自适应方案，其中模型在流式传输视频时从自己的分割决策中学习，这允许为跨帧的相似像素产生更自信和时间一致的标签。为了提高稳定性和效率，我们利用一个小型辅助分割网络（CNONet）来帮助进行这种适应。更具体地说，CNONet通过将自己的估计添加到MainNet的估计中来重新调整原始分割网络（Main-Net）的决策。在每一帧中，只有主网通过反向传播进行更新，同时保持主网固定。我们在标准视频基准测试（包括Cityscapes、CamVid和KITTI）上广泛评估了我们的测试时自适应方法。结果表明，我们的方法提供了标签准确，时间一致，计算效率高的适应（5倍以上的开销减少相比，最先进的测试时自适应方法）。
2021-10-24 cs.AI cs.CV cs.LG
Synergistic Image and Feature Adaptation: Towards Cross-Modality Domain Adaptation for Medical Image Segmentation
The Chinese University of Hong Kong（香港中文大学）；Imsight Medical Technology Co., Ltd.（影迈医疗科技有限公司）；The Hong Kong Polytechnic University（香港理工大学）；SIAT（深圳先进技术研究院）
本文提出了一种新型的无监督领域自适应框架，称为协同图像和特征自适应（SIFA），以有效地解决领域转移问题。领域自适应已成为近年来深度学习研究中的一个重要和热门话题，旨在恢复将神经网络应用于新测试领域时的性能下降。我们提出的SIFA是一个优雅的学习图，从图像和特征的角度提出了协同融合的适应。特别是，我们同时变换跨域图像的外观，并增强提取的特征对分割任务的域不变性。特征编码器层由两个视角共享，以在端到端学习过程中掌握它们的共同利益。在不使用来自目标域的任何注释的情况下，我们的统一模型的学习由对抗性损失指导，并从各个方面采用多个鉴别器。我们已经广泛验证了我们的方法具有挑战性的应用程序的跨模态医学图像分割的心脏结构。实验结果表明，我们的SIFA模型恢复退化的性能从17.2%到73.0%，并优于国家的最先进的方法的显着保证金。
2019-06-18 cs.CV
Online Continual Domain Adaptation for Semantic Image Segmentation Using Internal Representations
University of Southern California（南加州大学）
提出一种在线无监督域自适应算法，通过高斯混合模型近似源特征分布并在共享空间最小化分布距离，解决了源数据受限时图像语义分割的跨域泛化问题。
2024-01-02 cs.CV
Unsupervised Intra-domain Adaptation for Semantic Segmentation through Self-Supervision
KAIST（韩国科学技术院）
基于卷积神经网络的方法在语义分割方面取得了显著的进展。然而，这些方法严重依赖于劳动密集型的注释数据。为了克服这一局限性，使用从图形引擎生成的自动注释数据来训练分割模型。然而，从合成数据训练的模型很难转移到真实图像。为了解决这个问题，以前的作品已经考虑直接适应模型从源数据的未标记的目标数据（以减少域间的差距）。然而，这些技术没有考虑目标数据本身之间的大分布间隙（域内间隙）。在这项工作中，我们提出了一个两步的自我监督领域自适应方法，以尽量减少域间和域内的差距在一起。首先，我们进行跨领域自适应的模型，从这个适应，我们分离的目标域到一个容易和困难的分裂使用基于熵的排名功能。最后，为了减少域内差距，我们建议采用一种自监督自适应技术，从容易到困难的分裂。在众多基准数据集上的实验结果突出了我们的方法对现有最先进方法的有效性。源代码可在https://github.com/feipan664/IntraDA.git上获得。
2020-07-15 cs.CV cs.LG cs.RO
Few-shot adaptation for morphology-independent cell instance segmentation
West Virginia University（西弗吉尼亚大学）
本文提出一种少样本域自适应方法，仅需标注新数据中1到5个细胞即可快速调整分割模型，在形态多变且困难的细菌数据集上显著提升细胞实例分割准确率。
2024-02-27 cs.CV
Closed-Loop Adaptation for Weakly-Supervised Semantic Segmentation
Huazhong University of Science and Technology（华中科技大学）；University of Florida（佛罗里达大学）
弱监督语义分割的目标是在弱监督下为每个像素分配一个语义类别，例如图像级标签。现有的大多数弱监督语义分割方法不使用来自分割输出的任何反馈，并且可以被认为是开环系统。由于种子的静态性和结构信息的敏感性，它们容易产生累积错误。本文针对现有的弱监督语义分割方法，通过引入两条反馈链，提出了一种通用的自适应机制，从而构成一个闭环系统。具体地，第一链通过合并跨图像结构信息来迭代地产生动态种子，而第二链通过定制的随机游走过程来进一步扩展种子区域，以协调由超像素表征的内部图像结构信息。在PASCAL VOC 2012上的实验表明，我们的网络比最先进的方法性能更好，计算和内存负担更少。
2019-05-29 cs.CV
Action Segmentation with Mixed Temporal Domain Adaptation
Georgia Institute of Technology（佐治亚理工学院）；Baidu USA（百度美国）
动作分割的主要进展来自于全监督学习的密集注释数据。由于手动注释帧级的行动是耗时和具有挑战性的，我们建议利用辅助未标记的视频，这是更容易获得，通过塑造这个问题作为一个领域自适应（DA）的问题。虽然近年来提出了各种DA技术，但大多数仅针对空间方向开发。因此，我们提出了混合时间领域自适应（MTDA），以联合对齐跨域的帧和视频级嵌入的特征空间，并进一步结合域注意力机制，专注于对齐帧级特征与更高的域差异，导致更有效的领域自适应。最后，我们在三个具有挑战性的数据集（GTEA，50Salads和Breakfast）上评估了我们提出的方法，并验证了MTDA在所有三个数据集上的表现都优于当前最先进的方法（例如，F1@50上的6.4%增益和GTEA的编辑得分上的6.8%增益）。
2021-04-16 cs.AI cs.CV cs.LG
Online Domain Adaptation for Semantic Segmentation in Ever-Changing Conditions
Univrses（Univrses公司）；Kudan（Kudan公司）；Technical University of Munich（慕尼黑工业大学）；University of Bologna（博洛尼亚大学）
无监督领域自适应（UDA）旨在减少训练和测试数据之间的领域差距，并且在大多数情况下以离线方式进行。然而，在部署期间，域变化可能连续且不可预测地发生（例如，突然的天气变化）。在这种情况下，深度神经网络的准确性会急剧下降，离线自适应可能不足以与之形成对比。在本文中，我们将在线领域自适应（OnDA）用于语义分割。我们设计了一个管道，是强大的连续域的变化，无论是渐进的或突然的，我们评估它的情况下，下雨和有雾的情况。我们的实验表明，我们的框架可以有效地适应新的领域在部署过程中，而不受灾难性遗忘以前的领域。
2022-07-21 cs.CV
Unsupervised Domain Adaptation for Semantic Segmentation by Content Transfer
Yonsei University（延世大学）
在本文中，我们解决了语义分割的无监督领域自适应（UDA），其目的是使用标记的合成数据分割未标记的真实数据。UDA用于语义分割的主要问题依赖于减小真实图像和合成图像之间的域间隙。为了解决这个问题，我们专注于将图像中的信息分为内容和风格。在这里，只有内容具有语义分割的线索，而风格则构成了域间隙。因此，即使在利用合成数据进行学习时，图像中的内容和风格的精确分离也导致作为对真实数据的监督的效果。为了充分利用这种效果，我们提出了零式损失。即使我们在真实领域中完美地提取内容用于语义分割，另一个主要挑战，类不平衡问题，仍然存在于用于语义分割的UDA中。我们通过将尾类的内容从合成域转移到实域来解决这个问题。实验结果表明，该方法在两种主要的UDA设置下，均达到了最佳的语义分割性能。
2020-12-23 cs.CV
Prototypical Contrast Adaptation for Domain Adaptive Semantic Segmentation
Tencent Youtu Lab（腾讯优图实验室）；The Chinese University of Hong Kong（香港中文大学）
无监督领域自适应（UDA）的目的是将在标记的源域上训练的模型适应到未标记的目标域。在本文中，我们提出了原型对比度自适应（ProCA），一个简单而有效的对比学习方法无监督域自适应语义分割。以往的领域自适应方法只考虑了类内表示分布在不同领域之间的对齐，而没有充分挖掘类间的结构关系，导致目标领域上对齐的表示可能不再像源领域上那样容易区分.相反，ProCA将类间信息纳入类的原型，并采用以类为中心的分布对齐进行自适应。通过将相同的类原型视为阳性，将其他类原型视为阴性，以实现以类为中心的分布对齐，ProCA在经典领域自适应任务{ \em，即，\text{and} SYNTHIA $\to$ Cityscapes}.代码可从\href{https://github.com/jiangzhengkai/ProCA}{ProCA}获得
2022-07-14 cs.CV
No Adaptation Without Observation: Observability-Constrained Test-Time Prompt Tuning for LiDAR Semantic Segmentation
Concordia University（康考迪亚大学）；Mila – Quebec AI Institute（米拉-魁北克人工智能研究所）；University of Toronto（多伦多大学）
针对LiDAR语义分割在部署中性能下降的问题，提出一种几何约束的测试时提示调整框架，通过估计感知可靠性并加权空间监督，仅调整轻量提示适配器，实现稳定适应。
2026-07-01 cs.CV
Unsupervised Domain Adaptation in Semantic Segmentation Based on Pixel Alignment and Self-Training
Peking University（北京大学）；National Engineering Laboratory for Big Data Analysis and Applications（大数据分析与应用国家工程实验室）；Center for Data Science（数据科学中心）；Beijing International Center for Mathematical Research (BICMR)（北京国际数学研究中心）；Center for Data Science in Health and Medicine（健康医疗数据科学中心）
提出了一种基于像素对齐和自训练的无监督跨模态领域自适应方法。像素对齐将ceT1扫描转换为hrT2模态，有助于减少训练分割模型中的域偏移。自训练调整分割网络的决策边界以适应hrT2扫描的分布。实验结果表明，PAST显著优于非UDA基线，在CrossMoDA验证阶段排行榜上获得了2级，平均Dice得分为0.8395。
2021-09-29 cs.CV
PrAda: Few-Shot Visual Adaptation for Text-Prompted Segmentation
Politecnico di Torino（托里诺理工学院）；Focoos AI
该研究针对文本提示分割在特定领域中的性能下降问题，提出了一种新的少样本视觉适应方法PrAda，通过结合细粒度像素特征和高层Transformer表示学习类特定原型，从而在不改变模型零样本潜力的情况下实现对新领域的强适应。
2026-05-19 cs.CV
Domain Adaptation on Semantic Segmentation for Aerial Images
Illinois Institute of Technology（伊利诺伊理工学院）
语义分割近年来取得了显著的进展。虽然深度神经网络可以很好地执行语义分割，但它们的成功依赖于像素级监督，这是昂贵且耗时的。此外，由于不同域中的数据分布之间的域间隙，使用来自一个域的数据进行训练可能无法很好地推广到来自新域的数据。这种域差距在航空图像中特别明显，其中视觉外观取决于成像环境的类型、季节、天气和成像环境的时间。随后，当使用预训练的分割模型来分析具有不同特征的新数据时，这种分布差距会导致严重的准确性损失。在本文中，我们提出了一种新的无监督领域自适应框架，以解决领域转移的背景下，航空语义图像分割。为此，我们通过学习源域和目标域之间的软标签分布差异来解决域偏移问题。此外，我们还在目标域上应用熵最小化来产生高置信度预测，而不是通过伪标记来使用高置信度预测。我们证明了我们的领域自适应框架使用ISPRS的挑战图像分割数据集的有效性，并显示出在各种指标方面的最先进的方法的改进。
2020-12-11 cs.CV
Union-set Multi-source Model Adaptation for Semantic Segmentation
Hokkaido University（北海道大学）
本文解决了语义分割的多源模型自适应问题的广义版本。模型自适应是一种新的领域自适应问题，它需要访问预先训练好的模型而不是源域的数据。模型自适应的一般多源设置严格假设每个源域与目标域共享公共标签空间。作为一种放松，我们允许每个源域的标签空间是目标域的标签空间的子集，并要求源域标签空间的并集等于目标域标签空间。针对联合集多源模型自适应，提出了一种新的学习策略模型不变特征学习，充分利用了源领域模型的多样性，提高了目标领域模型的泛化能力.我们进行了广泛的实验，在各种适应设置，以显示我们的方法的优越性。该代码可在https://github.com/lzy7976/union-set-model-adaptation上获得。
2022-12-06 cs.AI cs.CV
Dual Path Learning for Domain Adaptation of Semantic Segmentation
Fudan University（复旦大学）；Microsoft Research Asia（微软亚洲研究院）
用于语义分割的领域自适应使得能够减轻对大规模逐像素注释的需要。最近，结合图像到图像的转换的自监督学习（SSL）在自适应分割中显示出巨大的有效性。最常见的做法是执行SSL以及图像转换，以很好地对齐单个域（源或目标）。然而，在这种单域范式中，不可避免的图像翻译引起的视觉不一致性可能会影响后续的学习。在本文中，基于观察到的领域自适应框架执行的源和目标域几乎是互补的图像翻译和SSL，我们提出了一种新的双路径学习（DPL）框架，以减轻视觉不一致。具体地说，DPL包含两个互补的和交互式的单领域自适应管道，分别在源和目标域对齐。DPL的推理非常简单，只需要在目标域中使用一个分割模型。提出了双路径图像平移和双路径自适应分割等新技术，使两条路径以交互的方式相互促进。在GTA 5 $\rightarrow$ Cityscapes和SYNTHIA $\rightarrow$ Cityscapes场景上的实验证明了我们的DPL模型优于最先进的方法。代码和型号可从以下网址获得：\url{https://github.com/royee182/DPL}
2021-08-13 cs.CV
Prompt-Free and Efficient SAM2 Adaptation for Biomedical Semantic Segmentation via Dual Adapters
Meijo University（名古屋大学）
本文提出一种无需提示的高效SAM2适应框架，通过双适配器策略提升生物医学分割性能，实验表明在多个数据集上准确率提升19.66%，计算成本降低87%。
2026-05-07 cs.CV
Labeling Where Adapting Fails: Cross-Domain Semantic Segmentation with Point Supervision via Active Selection
KAIST（韩国科学技术院）；Harvard University（哈佛大学）
专用于语义分割的训练模型需要大量逐像素注释的数据。由于其成本高昂的特性，这些注释可能无法用于手头的任务。为了缓解这个问题，无监督的领域自适应方法旨在对齐标记源数据和未标记目标数据之间的特征分布。虽然这些战略带来了显著的改善，但其效力仍然有限。为了更有效地指导领域自适应任务，以前的作品试图在目标数据中以稀疏单像素注释的形式将人类交互包括在这个过程中。在这项工作中，我们提出了一个新的领域自适应框架语义分割通过主动选择注释点。首先，我们进行无监督的领域自适应的模型，从这个适应，我们使用基于熵的不确定性测量的目标点的选择。最后，为了最小化领域差距，我们提出了一个领域自适应框架，利用这些目标点注释的人类注释。基准数据集上的实验结果表明，我们的方法对现有的无监督领域自适应方法的有效性。建议流水线是通用的，并且可以作为现有领域自适应策略的额外模块被包括。
2022-06-04 cs.CV
Source-Free Domain Adaptation for Image Segmentation
ETS Montréal（蒙特利尔高等技术学院）
领域自适应（DA）能够使在标记的源数据上训练的模型在来自不同领域的未标记或弱标记的目标数据上表现良好，因此引起了人们的高度关注。大多数常见的DA技术需要同时访问源域和目标域的输入图像。然而，在实践中，隐私问题往往阻碍了源图像在适应阶段的可用性。这是医学成像中非常常见的DA场景，其中，例如，源图像和目标图像可能来自不同的临床站点。我们介绍了一种无源领域自适应的图像分割。我们的配方是基于最小化的无标签的熵损失定义在目标域的数据，我们进一步指导与域不变的分割区域之前。许多先验可以从解剖信息中导出。在这里，类比先验估计从解剖学知识和集成的形式Kullback Leibler（KL）分歧在我们的整体损失函数。此外，我们激励我们的整体损失与一个有趣的链接，以最大限度地提高目标图像和它们的标签预测之间的互信息。我们展示了我们的先验感知熵最小化在各种域适应场景中的有效性，具有不同的模式和应用，包括脊柱，前列腺和心脏分割。我们的方法产生了与几种最先进的自适应技术相当的结果，尽管可以获得更少的信息，因为源图像在我们的自适应阶段完全不存在。我们简单的适应策略只使用一个网络，与流行的对抗技术相反，后者不适用于无源DA设置。我们的框架可以很容易地用于广泛的分割问题，我们的代码是公开的：https://github.com/mathilde-b/SFDA
2022-05-16 cs.CV
Domain Adaptation on Semantic Segmentation with Separate Affine Transformation in Batch Normalization
University of Ottawa（渥太华大学）
近年来，用于语义分割的无监督领域自适应算法引起了许多研究者的关注。他们中的许多人采取了一种方法来设计一个复杂的系统，以便更好地调整源和目标域之间的差距。相反，我们专注于深度神经网络的基本结构，批量归一化，并建议用我们提出的分离仿射变换（SEAT）来取代共享仿射变换。所提出的SEAT简单，易于实现，易于集成到现有的基于对抗学习的UDA方法中。此外，为了进一步提高自适应质量，我们引入了多级自适应，在将较低级别的功能添加到较高级别的功能之前，将它们馈送到自适应器，而不像其他人那样添加额外的自适应器。实验结果表明，与其他UDA方法相比，所提出的方法在不损失性能准确性的情况下，具有较低的复杂度。
2021-10-14 cs.AI cs.CV
Source-Relaxed Domain Adaptation for Image Segmentation
ETS Montréal（蒙特利尔高等工程技术学院）
领域自适应（DA）能够使在标记源数据上训练的模型适应来自不同领域的未标记或弱标记的目标数据。大多数常见的DA技术需要同时访问源域和目标域的输入图像。然而，在实践中，源图像在适应阶段不可用是常见的。这是医学成像中非常常见的DA场景，例如，当源图像和目标图像来自不同的临床站点时。我们提出了一种新的配方适应分割网络，放松这样的约束。我们的配方是基于最小化的无标签的熵损失定义在目标域的数据，我们进一步指导与域不变的分割区域之前。可以使用从解剖信息导出的许多先验。在这里，类比先验通过辅助网络学习，并以Kullback-Leibler（KL）发散的形式集成在我们的整体损失函数中。我们展示了我们的先验感知熵最小化在适应不同MRI模式的脊柱分割中的有效性。我们的方法产生可比的结果几个国家的最先进的适应技术，即使是有机会获得较少的信息，源图像不存在的适应阶段。我们的直接适应策略只使用一个网络，这与流行的对抗技术相反，后者在没有源图像的情况下无法执行。我们的框架可以很容易地用于各种先验和分割问题。
2021-04-07 cs.CV
