Enhancing Data Diversity for Self-training Based Unsupervised Cross-modality Vestibular Schwannoma and Cochlea Segmentation
Vanderbilt University(范德堡大学)
自动分割前庭神经鞘瘤(VS)和耳蜗的磁共振成像可以促进VS治疗计划。无监督分割方法已经显示出有希望的结果,而不需要耗时费力的手动标记过程。在本文中,我们提出了一种在无监督的领域自适应设置VS和耳蜗分割的方法。具体来说,我们首先开发了一个跨站点跨模态不成对图像翻译策略,以丰富合成数据的多样性。然后,我们设计了一个基于规则的离线增强技术,以进一步减少域差距。最后,我们采用了一个自我配置的分割框架授权的自我训练,以获得最终的结果。在CrossMoDA 2022验证排行榜上,我们的方法实现了具有竞争力的VS和耳蜗分割性能,平均Dice得分分别为0.8178 $\pm$ 0.0803和0.8433 $\pm$ 0.0293。
2022-10-26 cs.CV
Unsupervised Deep Cross-modality Spectral Hashing
Singapore University of Technology and Design(新加坡科技设计大学);University of Liverpool(利物浦大学);University of Dayton(代顿大学)
针对无监督跨模态检索的二进制哈希码学习问题,提出两步式DCSH框架,通过谱嵌入联合学习单模态与跨模态表示,并用CNN架构学习图像和文本哈希函数,在三个基准上优于现有方法。
2020-08-18 cs.CV
Unsupervised Cross-Modality Domain Adaptation for Vestibular Schwannoma Segmentation and Koos Grade Prediction based on Semi-Supervised Contrastive Learning
Radboud University Medical Center(拉德堡德大学医学中心);The Netherlands Cancer Institute(荷兰癌症研究所);Nanjing University of Information Science and Technology(南京信息工程大学)
领域自适应已被广泛采用,以在多个供应商和多个中心之间传输样式,以及补充缺失的模态。在这项挑战中,我们提出了一个无监督的领域自适应框架,用于跨模态前庭神经鞘瘤(VS)和耳蜗分割和Koos等级预测。我们从ceT 1和hrT 2图像中学习共享表示,并从潜在表示中恢复另一种模态,并且我们还利用VS分割和大脑分割的代理任务来限制领域自适应中图像结构的一致性。在生成缺失模态后,nnU-Net模型用于VS和耳蜗分割,而半监督对比学习预训练方法用于提高Koos等级预测的模型性能。在CrossMoDA验证阶段排行榜上,我们的方法在task 1中获得了4级,平均Dice得分为0.8394,在task 2中获得了2级,宏观平均均方误差为0.3941。我们的代码可在https://github.com/fiy2W/cmda2022.superpolymerization上获得。
2022-10-09 cs.CV
Unified modality separation: A vision-language framework for unsupervised domain adaptation
University of Electronic Science and Technology of China(电子科学与技术大学);Tongji University(同济大学)
针对无监督域适应中模态差距导致性能次优的问题,提出统一模态分离框架,解缠模态特定与不变组件,自适应集成,实现高达9%性能提升与9倍计算效率提升。
2025-08-07 cs.CV
Learning Site-specific Styles for Multi-institutional Unsupervised Cross-modality Domain Adaptation
Vanderbilt University(范德堡大学);Siemens Healthineers(西门子医疗)
针对多机构无监督跨模态域适应难题,提出利用动态网络生成可控特定机构风格的合成图像,并结合自训练分割模型,在 crossMoDA 2023 挑战赛中取得第一名。
2023-11-22 cs.CV
Unsupervised Cross-Modal Distillation for Thermal Infrared Tracking
Northwestern Polytechnical University(西北工业大学);Air Force Engineering University(空军工程大学);wrnch(wrnch公司);Nanchang University(南昌大学)
利用卷积神经网络学习的目标表征在热红外跟踪中起着重要的作用。目前,大多数性能最好的TIR跟踪器仍然采用通过在RGB数据上训练的模型学习的表示。然而,这种表示没有考虑TIR模态本身中的信息,限制了TIR跟踪的性能。为了解决这个问题,我们提出了从RGB模态中提取TIR模态的表示,并在大量未标记的成对RGB-TIR数据上进行跨模态提取(CMD)。我们利用基线跟踪器的两个分支架构,即DiMP,对跟踪器的两个组件进行跨模态蒸馏。具体来说,我们使用一个分支作为教师模块,将模型学习的表示提取到另一个分支中。受益于RGB模态中的强大模型,跨模态提取可以学习TIR特定的表示以促进TIR跟踪。所提出的方法可以方便地纳入不同的基线跟踪器作为一个通用的和独立的组件。此外,成对的RGB和TIR图像的语义一致性被用作跨模态知识转移的蒸馏损失中的监督信号。在实践中,探索了三种不同的方法来生成具有相同语义的成对RGB-TIR补丁,以用于以无监督的方式进行训练。很容易扩展到更大规模的未标记训练数据。在LSOTB-TIR数据集和PTB-TIR数据集上的大量实验表明,我们提出的跨模态蒸馏方法有效地学习了从RGB模态转移的TIR特定目标表示。我们的跟踪器优于基线跟踪器,分别实现了2.3%的成功率,2.7%的精度和2.5%的归一化精度的绝对增益。
2021-07-31 cs.CV
SDC-UDA: Volumetric Unsupervised Domain Adaptation Framework for Slice-Direction Continuous Cross-Modality Medical Image Segmentation
Yonsei University(延世大学);Harvard Medical School(哈佛医学院);Naver AI Lab(Naver人工智能实验室);Naver Cloud(Naver云);Probe Medical Inc.(Probe医疗公司);Martinos Center for Biomedical Imaging(马丁诺斯生物医学成像中心);Korea Institute of Science and Technology(韩国科学技术研究院)
本文提出 SDC-UDA 体素无监督域适应框架,结合切片内和切片间自注意力图像转换、不确定性约束伪标签细化与体素自训练,解决跨模态医学图像分割问题,实现切片方向连续分割并达到最先进性能。
2023-05-18 cs.CV
LiOn-XA: Unsupervised Domain Adaptation via LiDAR-Only Cross-Modal Adversarial Training
Technical University Darmstadt(达姆施塔特工业大学)
本文提出LiOn-XA方法,在无RGB图像条件下利用3D体素点云与2D距离图像两种LiDAR表示进行跨模态学习,并结合对抗训练实现无监督域自适应,在3D点云语义分割中取得最先进性能。
2024-10-21 cs.CV
Source-free unsupervised domain adaptation for cross-modality abdominal multi-organ segmentation
The Chinese University of Hong Kong(香港中文大学);University of Leicester(莱斯特大学)
在腹部多器官分割中,领域自适应是将知识从源标记CT数据集转移到目标未标记MR数据集的关键。同时,避免与目标数据集相关的高注释成本并保护源数据集隐私是非常可取的。因此,我们提出了一种有效的无源无监督领域自适应方法,用于跨模态腹部多器官分割,而无需源数据集访问。拟议的框架包括两个阶段。在第一阶段中,结合熵最小化的特征地图几何学引导的模型自适应被开发以帮助顶部分割网络可靠地分割目标图像。从顶部分割网络输出的伪标签用于引导风格补偿网络生成源图像。从中间分割网络输出的伪标签用于监督所需模型(底部分割网络)的学习进度。在第二阶段,循环学习和像素自适应掩模细化用于进一步提高所需的模型性能。使用这种方法,我们取得了令人满意的腹部多器官分割性能,优于现有的国家的最先进的领域自适应方法。所提出的方法可以很容易地扩展到目标注释数据存在的情况。只有一个标记的MR卷,性能可以与监督学习的性能持平。此外,该方法被证明是有效的无源无监督领域自适应在反向。
2022-05-28 cs.CV
Cross-Modality Brain Tumor Segmentation via Bidirectional Global-to-Local Unsupervised Domain Adaptation
Medical School of Nanjing University(南京大学医学院);National Institute of Healthcare Data Science at Nanjing University(南京大学国家健康医疗大数据研究院);State Key Laboratory for Novel Software Technology, Nanjing University(南京大学计算机软件新技术国家重点实验室);School of Computer Science and Technology, Nanjing University of Science and Technology(南京理工大学计算机科学与技术学院);Department of Radiology, Nanjing Drum Tower Hospital, Nanjing University Medical School(南京大学医学院附属鼓楼医院放射科);School of Biomedical Engineering, ShanghaiTech University(上海科技大学生物医学工程学院);Department of Research and Development, Shanghai United Imaging Intelligence Co., Ltd.(上海联影智能医疗科技有限公司研发部);Department of Artificial Intelligence, Korea University(高丽大学人工智能系)
从多模态磁共振(MR)图像中准确分割脑肿瘤是脑肿瘤诊断和治疗的关键。然而,由于不同模态之间存在域转移,当在一种模态上训练而在另一种模态上执行时,网络的性能急剧下降,例如,在T1图像上进行训练,同时在T2图像上执行,这在临床应用中经常需要。这也禁止网络在标记数据上进行训练,然后从不同的域转移到未标记的数据。为了克服这一点,无监督领域自适应(UDA)方法提供了有效的解决方案,以减轻标记的源数据和未标记的目标数据之间的域移动。在本文中,我们提出了一种新的双向全局到局部(BiGL)适应框架下的UDA计划。具体而言,提出了一种双向图像合成和分割模块,用于使用为两个域生成的中间数据分布来分割脑肿瘤,该模块包括图像到图像翻译器和共享加权分割网络。此外,提出了一个全局到局部的一致性学习模块,以综合的方式建立鲁棒的表示对齐。在多模态脑MR基准数据集上的大量实验表明,该方法的性能大大优于几种最先进的无监督领域自适应方法,而全面的消融研究验证了每个关键组件的有效性。我们的方法的实现代码将在\url{https://github.com/KeleiHe/BiGL}上发布。
2021-05-17 cs.CV
Dual Prototype Attention for Unsupervised Video Object Segmentation
Yonsei University(延世大学);Korea Institute of Science and Technology (KIST)(韩国科学技术研究院(KIST))
本文提出两种基于原型的注意力机制IMA和IFA,通过跨模态和跨帧的密集传播结合外观与运动信息及帧间时序融合,在无监督视频目标分割任务上以显著优势超越现有方法。
2024-03-26 cs.CV
Cross-View Cross-Modal Unsupervised Domain Adaptation for Driver Monitoring System
School of Social Sciences and Technology(社会科学与技术学院)
针对驾驶员监控系统部署中跨视角差异、跨模态域偏移的问题,提出两阶段跨视角跨模态无监督域适应框架,实验证明其可显著提升驾驶员行为识别准确率。
2025-11-15 cs.CV cs.HC
Unsupervised Domain Adaptation through Inter-modal Rotation for RGB-D Object Recognition
TU Wien(维也纳工业大学);Politecnico di Torino(都灵理工大学);Italian Institute of Technology(意大利理工学院)
无监督领域自适应(DA)利用对标签丰富的源数据集的监督,通过对齐两个数据分布来对未标记的目标数据集进行预测。在机器人技术中,DA用于利用自动生成的合成数据(带有“免费”注释)对真实数据进行有效预测。然而,现有的DA方法并没有被设计为应对RGB-D数据的多模态性质,这被广泛用于机器人视觉。我们提出了一种新的RGB-D DA方法,该方法通过利用RGB和深度图像之间的模态间关系来减少合成域到实域的移位。我们的方法包括训练一个卷积神经网络来解决,除了主要的识别任务,预测RGB和深度图像之间的相对旋转的借口任务。为了评估我们的方法,并鼓励在这一领域的进一步研究,我们定义了两个基准数据集的对象分类和实例识别。通过大量的实验,我们展示了利用RGB-D DA的模态间关系的好处。
2020-04-21 cs.CV cs.RO
Heterogeneous-Modal Unsupervised Domain Adaptation via Latent Space Bridging
Southern University of Science and Technology(南方科技大学);SZ DJI Technology Co., Ltd(深圳大疆科技有限公司)
本文提出异构模态无监督域适应(HMUDA)设置及潜在空间桥接(LSB)框架,利用桥接域实现跨模态知识迁移,在六个基准数据集上达到语义分割任务的最优性能。
2026-10-09 cs.AI cs.CV cs.LG
Unsupervised Tumor-Aware Distillation for Multi-Modal Brain Image Translation
School of Computer Science and Engineering, South China University of Technology(华南理工大学计算机科学与工程学院);Golisano College of Computing and Information Sciences, Rochester Institute of Technology(罗切斯特理工大学戈利萨诺计算与信息科学学院)
本文提出无监督肿瘤感知蒸馏网络UTAD-Net,通过教师-学生架构利用未配对图像和肿瘤掩码学习端到端映射并蒸馏知识,解决了脑图像翻译中肿瘤变形问题,提升了图像生成质量及下游分割效果。
2024-04-24 cs.CV eess.IV
Unsupervised Domain Adaptation via Similarity-based Prototypes for Cross-Modality Segmentation
Cooperative Medianet Innovation Center, Shanghai Jiao Tong University(合作中位网创新中心,上海交通大学)
本文提出基于相似性原型的无监督域适应框架,通过嵌入空间类别原型与相似性约束,结合字典存储实现对比学习,有效提升跨模态分割性能。
2025-10-23 cs.AI cs.CV
Koos Classification of Vestibular Schwannoma via Image Translation-Based Unsupervised Cross-Modality Domain Adaptation
Shanghai Jiao Tong University(上海交通大学)
Koos分级量表是前庭神经鞘瘤(VS)的分类系统,用于表征肿瘤及其对邻近脑结构的影响。Koos分类捕捉了治疗决策的许多特征,通常用于确定治疗计划。尽管对比增强T1(ceT 1)扫描和高分辨率T2(hrT 2)扫描都可用于Koos分类,但hrT 2扫描因其更高的安全性和成本效益而受到关注。然而,在没有hrT 2扫描注释的情况下,深度学习方法通常不可避免地会因无监督学习而遭受性能降级。如果ceT 1扫描及其注释可用于hrT 2扫描的无监督学习,则使用未标记的hrT 2扫描的Koos分类的性能将大大提高。在这方面,我们提出了一种无监督的跨模态域自适应方法的基础上,图像翻译的转换注释ceT 1扫描到hrT 2模态,并使用其注释,以实现监督学习hrT 2模态。然后,对hrT 2扫描中与Koos分类相关的VS和7个相邻脑结构进行分割。最后,从分割结果中提取手工特征,并使用随机森林分类器对Koos等级进行分类。所提出的方法在跨模态域自适应(crossMoDA 2022)挑战的Koos分类任务中获得了排名1,验证集的宏观平均绝对误差(MA-MAE)为0.2148,测试集为0.26。
2023-03-14 cs.CV cs.LG eess.IV
Fine-Grained Unsupervised Cross-Modality Domain Adaptation for Vestibular Schwannoma Segmentation
Radboud University Medical Center(拉德堡德大学医学中心);The Netherlands Cancer Institute(荷兰癌症研究所);Macao Polytechnic University(澳门理工大学)
本文提出一种细粒度无监督跨模态域适应框架,通过向量控制生成器合成伪图像并搜索特征字典进行数据增强,显著提升了前庭神经鞘瘤和耳蜗的分割性能与鲁棒性。
2023-11-25 cs.CV cs.LG eess.IV
Comprehensive Graph-conditional Similarity Preserving Network for Unsupervised Cross-modal Hashing
HangZhou Dianzi University(杭州电子科技大学);The University of Sydney(悉尼大学)
无监督跨模式哈希算法(UCMH)是近年来的研究热点。目前UCMH专注于探索数据的相似性。然而,目前的UCMH方法计算两个数据之间的相似性,主要依赖于两个数据的跨模态特征。这些方法遭受不准确的相似性问题,导致次优的检索汉明空间,因为数据之间的跨模态特征不足以描述复杂的数据关系,例如两个数据具有不同的特征表示但共享固有概念的情况。在本文中,我们设计了一个深度图邻居相干保持网络(DGCPN)。具体来说,DGCPN源于图模型,并通过合并数据及其邻居之间的信息来探索图邻居的一致性。DGCPN通过利用三种类型的数据相似性(即,图相邻一致性、共存相似性以及模态内和模态间一致性),并设计了半实半二进制优化策略以减少散列期间的量化误差。本质上,DGCPN通过探索和利用图中数据的内在关系来解决不准确的相似性问题。我们在三个公共UCMH数据集上进行了广泛的实验。实验结果证明了DGCPN的优越性,例如,在MIRFlickr-25 K上使用64位哈希码从图像中检索文本,将平均精度从0.722提高到0.751。我们将在https://github.com/Atmegal/DGCPN上发布源代码包和训练模型。
2020-12-25 cs.CV cs.IR
Data Efficient Unsupervised Domain Adaptation for Cross-Modality Image Segmentation
Imperial College London(帝国理工学院);University of Birmingham(伯明翰大学)
尽管对常见的解剖结构进行成像,但在来自源域(例如成像模式)的医学图像上训练的深度学习模型在部署在来自不同目标域的图像上时通常会失败。深度无监督域自适应(UDA)旨在仅使用未标记的目标域数据和标记的源域数据来提高深度神经网络模型在目标域上的性能。然而,当前最先进的方法在目标数据稀缺时表现出降低的性能。在这项工作中,我们介绍了一种新的数据有效的UDA方法多领域的医学图像分割。所提出的方法结合了一种新的基于VAE的特征先验匹配,这是数据效率,和域对抗训练学习共享域不变的潜在空间,这是在分割过程中利用。我们的方法进行评估的公共多模态心脏图像分割数据集,适应从标记的源域(3D MRI)的未标记的目标域(3D CT)。我们表明,通过只使用一个单一的未标记的三维CT扫描,所提出的架构优于国家的最先进的在相同的设置。最后,我们对先验匹配和领域对抗训练进行了消融研究,以阐明所提出的方法的理论基础。
2019-08-12 cs.CV eess.IV
Boosting Unsupervised Domain Adaptation with Soft Pseudo-label and Curriculum Learning
School of Electronic Information and Electrical Engineering, Shanghai Jiao Tong University(上海交通大学电子信息与电气工程学院);Shanghai Key Laboratory of Digital Media Processing and Transmission(上海市数字媒体处理与传输重点实验室)
无监督领域自适应(UDA)利用来自完全标记的源域的数据,通过数据分布的显式差异最小化或对抗性学习来提高未标记目标域上的分类性能。作为一种增强,类别对齐涉及在适应过程中,通过利用模型预测来加强目标特征区分。然而,在目标域上错误的类别预测所导致的伪标签不准确,以及在源域上过拟合所导致的分布偏差,仍然是未被探索的问题。在本文中,我们提出了一个模型无关的两阶段学习框架,它大大减少了有缺陷的模型预测使用软伪标签策略,并避免过度拟合的源域与课程学习策略。理论上,它成功地降低了目标域上的期望误差的上界的组合风险。在第一阶段,我们训练一个模型,基于分布式的UDA方法获得软语义标签的目标领域具有较高的信心。为了避免源域上的过拟合,在第二阶段,我们提出了一种课程学习策略,自适应地控制两个域的损失之间的权重,使得训练阶段的重点逐渐从源分布转移到目标分布,并提高目标域上的预测置信度。在两个著名的基准数据集上进行的大量实验验证了我们提出的框架在提高排名靠前的UDA算法性能方面的普遍有效性,并证明了其一贯的优越性能。
2021-12-03 cs.CV cs.LG
ICMSC: Intra- and Cross-modality Semantic Consistency for Unsupervised Domain Adaptation on Hip Joint Bone Segmentation
University of Bern(伯尔尼大学);Inselspital(Inselspital医院(伯尔尼大学医院));University Hospital of Fribourg(弗里堡大学医院)
无监督领域自适应(UDA)通过领域不变特征学习或图像外观变换,在跨模态医学图像分割中取得了很大进展。自适应特征学习通常不能检测像素级的域偏移,并且在密集的语义分割任务中不能获得良好的结果。图像外观翻译,例如CycleGAN,将图像翻译成具有良好外观的不同风格,尽管其人口,其语义一致性很难保持,并导致差的跨模态分割。在本文中,我们提出了内和跨模态语义一致性(ICMSC)的UDA和我们的关键见解是,在不同风格的合成图像的分割应该是一致的。具体来说,我们的模型包括一个图像翻译模块和一个特定领域的分割模块。图像转换模块是标准的CycleGAN,而分割模块包含两个特定于域的分割网络。模态内语义一致性(IMSC)迫使在一个周期之后的重建图像以与原始输入图像相同的方式被分割,而跨模态语义一致性(CMSC)鼓励在翻译之后的合成图像与翻译之前完全相同地被分割。综合实验结果表明,我们提出的方法的有效性,实现了81.61%的髋臼和88.16%的股骨近端的平均DICE,优于其他国家的最先进的方法。值得注意的是,如果没有UDA,在CT上训练的髋关节骨分割模型无法转移到MRI,并且几乎没有DICE分割。
2020-12-23 cs.AI cs.CV
Unsupervised domain adaptation for cross-modality liver segmentation via joint adversarial learning and self-learning
The Chinese University of Hong Kong(香港中文大学)
在肝脏疾病的临床管理中,使用计算机断层扫描(CT)和磁共振成像(MRI)采集的图像上的肝脏分割起着重要的作用。与MRI相比,肝脏的CT图像更丰富,更容易获得。然而,与CT相比,MRI可以提供更丰富的肝脏定量信息。因此,期望实现无监督的领域自适应,用于将所学习的知识从包含标记的CT图像的源域转移到包含未标记的MR图像的目标域。在这项工作中,我们报告了一种新的无监督领域自适应框架,通过联合对抗学习和自学习的跨模态肝脏分割。我们提出了联合语义感知和形状熵感知的对抗性学习与后原位识别方式,隐式地对齐从目标域提取的任务相关特征的分布与源域。在该框架中,网络以无监督的方式使用上述两种对抗性损失进行训练,然后使用伪标签生成的平均完成器来产生伪标签以训练下一个网络(期望模型)。此外,语义感知的对抗学习和两个自学习方法,包括像素自适应掩模细化和学生到伙伴学习,提出了训练所需的模型。为了提高所需模型的鲁棒性,提出了一种低信号增强函数来变换MRI图像作为所需模型的输入以处理硬样本。使用公共数据集,我们的实验表明,所提出的无监督领域自适应框架达到了四个监督学习方法与Dice得分0.912 ± 0.037(平均值±标准差)。
2022-02-24 cs.CV eess.IV
Unsupervised Domain Adaptation via Disentangled Representations: Application to Cross-Modality Liver Segmentation
Department of Biomedical Engineering, Yale University(耶鲁大学生物医学工程系);Department of Radiology & Biomedical Imaging, Yale School of Medicine(耶鲁大学医学院放射科与生物医学成像系);Department of Electrical Engineering, Yale University(耶鲁大学电气工程系);Department of Statistics & Data Science, Yale University(耶鲁大学统计与数据科学系);Yale School of Medicine(耶鲁大学医学院);Yale University(耶鲁大学)
在来自某个源域的一些标记数据上训练的深度学习模型通常由于域偏移而在来自不同目标域的数据上表现不佳。无监督域自适应方法通过减轻标记源数据和未标记目标数据之间的域移位来解决这个问题。在这项工作中,我们实现了跨模态域自适应,即CT和MRI图像之间,通过解开表示。与学习一对一映射作为最先进的CycleGAN相比,我们的模型恢复了域之间的多对多映射,以捕获复杂的跨域关系。它通过寻找一个共享的内容空间而不是直接的像素风格转换来保留语义特征级信息。域自适应分两步实现。首先,每个域的图像被嵌入到两个空间,一个共享的域不变的内容空间和域特定的风格空间。接下来,提取内容空间中的表示以执行任务。我们在跨模态肝脏分割任务上验证了我们的方法,以在CT图像上训练肝脏分割模型,该模型在MRI上也表现良好。我们的方法实现了Dice相似系数(DSC)为0.81,优于基于CycleGAN的方法0.72。此外,我们的模型实现了良好的泛化到联合域学习,其中来自不同模态的未配对数据被联合学习,以提高每个模态的分割性能。最后,在具有显著多样性的多模态目标域下,我们的方法表现出了多样化图像生成的潜力,并且在多相MRI上DSC为0.74时仍然有效,而基于CycleGAN的方法表现不佳,DSC仅为0.52。
2019-08-29 cs.CV eess.IV
Unsupervised Domain Adaptation for Brain Vessel Segmentation through Transwarp Contrastive Learning
University of Leeds(利兹大学);University of Manchester(曼彻斯特大学)
本文提出一种基于 Transwarp 对比学习的无监督域自适应框架,用于缩小带标签 3DRA 与无标签 MRA 模态间的域差距,并在脑血管数据集上验证其能有效提升无标签 MRA 数据的血管分割性能。
2024-02-23 cs.CV cs.LG
Self-Training Based Unsupervised Cross-Modality Domain Adaptation for Vestibular Schwannoma and Cochlea Segmentation
Yonsei University(延世大学)
随着深度学习的进步,许多医学图像分割研究在完全监督条件下达到了人类水平的性能。然而,在医学领域中,尤其是在包括许多不同对比度的磁共振图像(MRI)上获取对每个数据的注释是极其昂贵的。无监督方法可以缓解这个问题;然而,与完全监督方法相比,性能下降是不可避免的。在这项工作中,我们提出了一个基于自我训练的无监督学习框架,该框架在高分辨率T2扫描上执行前庭神经鞘瘤(VS)和耳蜗的自动分割。我们的方法由4个主要阶段组成:1)从对比度增强的T1扫描到高分辨率T2扫描的VS保留对比度转换,2)在T1扫描上具有注释的生成的T2扫描上训练分割,以及3)在未注释的真实T2扫描上推断伪标签,以及4)通过利用组合数据(即,具有伪标记的真实T2扫描和具有真实注释的生成的T2扫描)。我们的方法显示,在CrossMoDA 2021挑战验证阶段排行榜上,VS的平均Dice得分和平均对称表面距离(ASSD)分别为0.8570(0.0705)和0.4970(0.3391),Cocoa的平均Dice得分和平均对称表面距离(ASSD)分别为0.8446(0.0211)和0.1513(0.0314),优于大多数其他方法。
2021-09-22 cs.CV eess.IV
Unsupervised Cross-Modality Domain Adaptation for Segmenting Vestibular Schwannoma and Cochlea with Data Augmentation and Model Ensemble
Vanderbilt University(范德堡大学)
磁共振成像(MRI)被广泛用于量化前庭神经鞘瘤和耳蜗。最近,深度学习方法在分割这些结构方面表现出了最先进的性能。然而,训练分割模型可能需要在目标域中手动标记,这是昂贵且耗时的。为了克服这个问题,域自适应是一种有效的方法,利用信息从源域获得准确的分割,而不需要手动标签在目标域。在本文中,我们提出了一个无监督的学习框架分割VS和耳蜗。我们的框架利用来自对比增强的T1加权(ceT 1-w)MRI及其标签的信息,并在目标域中没有任何标签的情况下为T2加权MRI生成分割。我们首先应用生成器来实现图像到图像的翻译。接下来,我们从不同模型的集合中集成输出,以获得最终的分割。为了应对来自不同站点/扫描仪的MRI,我们在训练期间应用了各种“在线”增强,以更好地捕获几何变化以及图像外观和质量的变化。我们的方法很容易构建,并产生有前途的分割,在验证集中,VS和耳蜗的平均Dice得分分别为0.7930和0.7432。
2022-08-24 cs.CV eess.IV
DRL-STNet: Unsupervised Domain Adaptation for Cross-modality Medical Image Segmentation via Disentangled Representation Learning
Northwestern University(西北大学)
本文提出DRL-STNet框架,结合GAN、解耦表示学习与自训练实现跨模态医学图像分割的无监督域适应,在FLARE数据集上显著超越现有方法。
2024-09-26 cs.AI cs.CV eess.IV
Unsupervised Domain Adaptation with Semantic Consistency across Heterogeneous Modalities for MRI Prostate Lesion Segmentation
UCL(伦敦大学学院);UCLH NHS Foundation Trust(伦敦大学学院医院国民保健服务基金会信托)
与先前协议不同的任何新颖的医学成像模态(例如,在成像通道的数量方面)引入了与先前的领域不同的新领域。这种常见的医学成像场景很少被认为是在域适应文献,处理跨域的相同维度的转变。在我们的工作中,我们依赖于随机生成模型在像素空间上跨两个异构域进行翻译,并引入了两个新的损失函数,以促进语义一致性。首先,我们在源域中引入语义循环一致性损失,以确保翻译保持语义。其次,我们引入了一个伪标签损失,在这里我们将目标数据转换为源数据,通过源域网络对它们进行标签,并使用生成的伪标签来监督目标域网络。我们的研究结果表明,这使我们能够系统地提取更好的表示为目标域。特别是,我们解决的挑战,提高性能的VERDICT-MRI,一种先进的扩散加权成像技术,通过利用标记的MP-MRI数据。与几种无监督域自适应方法相比,我们的方法产生了实质性的改进,这些改进一直延续到半监督和监督学习环境中。
2021-09-19 cs.CV cs.LG eess.IV
SCPNet: Unsupervised Cross-modal Homography Estimation via Intra-modal Self-supervised Learning
College of Information Science and Electronic Engineering, Zhejiang University(浙江大学信息与电子工程学院);Ningbo Innovation Center, Zhejiang University(浙江大学宁波创新中心);HAOMO.AI Technology Co., Ltd.(毫末智行科技有限公司);Zhejiang GongShang University(浙江工商大学)
本研究提出基于模态内自监督学习的SCPNet无监督跨模态单应性估计框架,结合相关性估计网络与一致性特征投影,在多个跨模态数据集上取得无监督方法SOTA性能,部分指标优于有监督方法MHN。
2024-07-11 cs.CV
Unsupervised Generative Adversarial Cross-modal Hashing
Institute of Computer Science and Technology, Peking University(北京大学计算机科学技术研究所)
跨模态哈希算法将异构的多媒体数据映射到一个共同的汉明空间中,实现跨模态的快速、灵活的检索。无监督跨模态哈希比监督方法更灵活和适用,因为不涉及密集的标记工作。然而,现有的无监督方法通过保留内部和内部相关性来学习散列函数,同时忽略了不同模态之间的底层流形结构,这对于捕获不同模态的有意义的最近邻居以用于跨模态检索非常有帮助。为了解决上述问题,在本文中,我们提出了一种无监督的生成对抗跨模态哈希方法(UGACH),它充分利用了GAN的无监督表示学习的能力,以利用跨模态数据的底层流形结构。主要贡献可以概括如下:(1)我们提出了一个生成对抗网络,以无监督的方式对跨模式哈希进行建模。在所提出的UGACH中,给定一种模态的数据,生成模型试图拟合流形结构上的分布,并选择另一种模态的信息数据来挑战判别模型。判别模型学习区分生成的数据和从相关图中采样的真阳性数据,以实现更好的检索精度。这两个模型以对抗的方式进行训练,以相互改进并促进哈希函数学习。(2)我们提出了一种基于相关图的方法来捕获跨不同模态的底层流形结构,使不同模态但在同一流形内的数据可以具有较小的汉明距离,并提高检索精度。与6种最先进的方法进行了大量的实验比较,验证了我们所提出的方法的有效性。
2017-12-01 cs.CV
Boosting Unsupervised Segmentation Learning
University of Bern(伯尔尼大学);Institute of Science and Technology Austria(奥地利科学技术研究所)
针对无监督分割学习中现有方法分割图分辨率和准确性不足的问题,提出图像后处理细化掩码、多尺度一致性准则匹配不同分辨率掩码两种技术,经多个基准验证有效。
2024-11-28 cs.CV
EPIC-KITCHENS-100 Unsupervised Domain Adaptation Challenge for Action Recognition 2021: Team M3EM Technical Report
Institute of Industrial Science, the University of Tokyo(东京大学生产技术研究所)
在本报告中,我们描述了我们提交2021年EPIC-KITCHENS-100无监督领域自适应行动识别挑战赛的技术细节。利用多模态已被证明有利于无监督领域自适应(UDA)任务。在这项工作中,我们提出了多模态相互增强模块(M3 EM),这是一个深度模块,用于联合考虑来自多个模态的信息,以找到跨域最可转移的表示。我们通过实施两个子模块来实现这一点,用于使用其他模式的上下文来增强每种模式。第一子模块通过语义空间跨模态交换信息,而第二子模块基于所有模态的共识找到最可转移的空间区域。
2021-07-01 cs.CV
Unsupervised Deformable Registration for Multi-Modal Images via Disentangled Representations
Imperial College London(帝国理工学院);Siemens Healthineers(西门子医疗)
我们提出了一种完全无监督的多模态可变形图像配准方法(UMMs),该方法在训练过程中不需要任何地面真实变形场或任何对齐的多模态图像对。多模态配准是医学图像分析中的一个关键问题。由于不同模态之间的关系复杂且未知,因此非常具有挑战性。在本文中,我们提出了一个无监督学习的方法来减少多模式的注册问题,通过图像去纠缠的一个单一的模式。特别是,我们将这两种模式的图像分解为一个共同的潜在形状空间和单独的潜在外观空间,通过无监督的多模态图像到图像的翻译方法。该方法建立在原图像域中存在的固有形状变形保持在该隐空间中的基础上。具体来说,已经提出了两个指标来训练所提出的网络:在公共形状空间中定义的潜在相似性指标和基于对抗性损失的基于学习的图像相似性指标。我们研究了我们提出的方法的不同变化,并将其与传统的最先进的多模态配准方法进行了比较。结果表明,我们提出的方法实现了竞争力的性能对其他方法在大幅减少计算时间。
2019-03-22 cs.CV
Unsupervised Multi-Modal Image Registration via Geometry Preserving Image-to-Image Translation
Tel Aviv University(特拉维夫大学);Elbit Systems(埃尔比特系统公司)
许多应用,如自动驾驶,严重依赖于多模态数据,其中需要模态之间的空间对齐。大多数多模态配准方法使用流行的跨模态相似性度量来计算图像之间的空间对应关系。在这项工作中,我们绕过了开发跨模态相似性度量的困难,通过在两种输入模态上训练图像到图像的翻译网络。这种学习的转换允许使用简单可靠的单模态度量来训练配准网络。我们使用两个网络执行多模态配准-空间变换网络和平移网络。我们表明,通过鼓励我们的平移网络保持几何形状,我们设法训练一个准确的空间变换网络。与最先进的多模态方法相比,我们提出的方法是无监督的,不需要成对的对齐模态进行训练,并且可以适应任何一对模态。我们在商业数据集上定量和定性地评估了我们的方法,结果表明它在几种模式上表现良好,并实现了准确的对齐。
2020-03-18 cs.CV
KLDivNet: An unsupervised neural network for multi-modality image registration
Fudan University(复旦大学);SenseTime Technology(商汤科技)
多模态图像配准是医学图像分析中最重要的过程之一。最近,卷积神经网络(CNN)在变形配准中显示出巨大的潜力。然而,缺乏体素方面的地面实况挑战了CNN的训练,以实现准确的配准。在这项工作中,我们提出了一个跨模态的相似性度量,基于图像变量的KL发散,并实现了一个有效的估计方法,使用CNN。这个估计网络被称为KLDivNet,可以在无监督的情况下进行训练。然后将KLDivNet嵌入到配准网络中,实现多模态图像的无监督变形配准。我们使用了三个数据集,即,AAL Brain、LiTS Liver和Hospital Liver,具有模态内和模态间图像配准任务以进行验证。结果表明,我们的相似性度量是有效的,所提出的注册网络提供了优越的性能相比,国家的最先进的方法。
2020-02-05 cs.CV
Boosting Unsupervised Semantic Segmentation with Principal Mask Proposals
TU Darmstadt(达姆施塔特工业大学);TU Munich(慕尼黑工业大学);Munich Center for Machine Learning(慕尼黑机器学习中心)
该研究提出PriMaPs主掩码提议及PriMaPs-EM算法,基于自监督预训练模型实现无监督语义分割,在多模型多数据集上取得有竞争力的结果,还可正交提升现有SOTA流水线性能。
2024-10-06 cs.CV
Unsupervised Multi-Modal Medical Image Registration via Discriminator-Free Image-to-Image Translation
South China University of Technology(华南理工大学);Rochester Institute of Technology(罗切斯特理工学院)
在临床实践中,诸如磁共振(MR)和计算机断层扫描(CT)的良好对准的多模态图像一起可以为图像引导的治疗提供补充信息。多模态图像配准对于这些多模态图像的精确对准是必不可少的。然而,它仍然是一个非常具有挑战性的任务,由于复杂和未知的空间之间的对应关系不同的方式。在本文中,我们提出了一种新的基于投影的无监督可变形图像配准方法,将多模态配准问题转化为单模态配准问题。具体来说,我们的方法采用了无判别式的翻译网络来促进注册网络的训练,并采用了补丁式对比损失来鼓励翻译网络保留对象形状。此外,我们建议取代对抗损失,这是广泛使用的在以前的多模态图像配准方法,与像素损失,以整合到目标模态的输出的翻译。这导致了一种无监督的方法,不需要地面真实变形或成对的对齐图像进行训练。我们在公共Learn 2 Reg 2021数据集\cite{hering2021learn2reg}上评估了我们方法的四种变体。实验结果表明,该架构达到了最先进的性能。我们的代码可在https://github.com/heyblackC/DFMIR上获得。
2022-04-28 cs.CV
Deep Unsupervised Contrastive Hashing for Large-Scale Cross-Modal Text-Image Retrieval in Remote Sensing
Technische Universität Berlin(柏林工业大学)
由于大规模多模态数据的可用性(例如,不同传感器获取的卫星图像、文本句子等)档案,跨模态检索系统的发展已经引起了RS的极大关注,该系统可以基于任何模态的查询来搜索和检索跨不同模态的语义相关数据。在本文中,我们将注意力集中在跨模态文本图像检索上,其中来自一种模态的查询(例如,文本)可以与来自另一个的存档条目匹配(例如,图片)。大多数现有的跨模态文本图像检索系统需要大量的标记的训练样本,也不允许快速和内存效率的检索,由于其固有的特点。这些问题限制了现有的跨模态检索系统在大规模遥感应用中的适用性。为了解决这个问题,在本文中,我们介绍了一种新的深度无监督跨模态对比哈希(DUCH)方法的RS文本图像检索。所提出的DUCH由两个主要模块组成:1)特征提取模块(其提取文本-图像模态的深度表示);以及2)散列模块(其学习从所提取的表示生成跨模态二进制散列码)。在散列模块中,我们引入了一个新的多目标损失函数,包括:i)对比目标,使相似性保留在两个模态内和模态间的相似性; ii)一个对抗性的目标,在两个模态之间执行跨模态表示一致性; iii)二进制化目标,用于生成代表性的散列代码。实验结果表明,建议DUCH优于国家的最先进的无监督跨模态哈希方法在两个多模态(图像和文本)基准档案在RS。我们的代码可在https://git.tu-berlin.de/rsim/duch上公开获取。
2022-01-20 cs.CV
Boosting Unsupervised Video Instance Segmentation with Automatic Quality-Guided Self-Training
Technical University of Denmark(丹麦技术大学)
AutoQ-VIS通过质量引导的自训练方法,在无需人工标注的情况下实现了无监督视频实例分割的最新性能。
2025-12-07 cs.CV
Multi-Modal Unsupervised Pre-Training for Surgical Operating Room Workflow Analysis
Intuitive Surgical Inc.(直觉外科公司)
数据驱动的方法,以协助手术室(OR)的工作流程分析依赖于大型策划的数据集,是耗时和昂贵的收集。另一方面,我们看到最近的范式转变,从监督学习到自我监督和/或无监督学习的方法,可以学习表示从未标记的数据集。在本文中,我们利用机器人手术OR中捕获的未标记数据,并提出了一种新的方法来融合单个视频帧或图像的多模态数据。我们不是在自监督学习中常见的对同一图像或视频帧产生不同的增强(或“视图”),而是将多模态数据视为不同的视图,通过聚类以无监督的方式训练模型。我们将我们的方法与其他最先进的方法进行了比较,结果表明我们的方法在手术视频活动识别和语义分割方面具有优越的性能。
2022-07-16 cs.CV
Unsupervised Visible-Infrared ReID via Pseudo-label Correction and Modality-level Alignment
Artificial Intelligence Thrust, HKUST(GZ)(香港科技大学(广州)人工智能分支);Center for AI Research (CAIR), University of Agder(UiA)(阿格德大学人工智能研究中心);Dept. of Computer Science and Engineering, HKUST(香港科技大学计算机科学与工程系)
针对无监督可见光-红外行人重识别中的伪标签噪声和跨模态误对齐问题,本文提出PRAISE框架,通过Beta混合模型校正伪标签并进行模态级对齐,在两个基准上达到最先进性能。
2024-04-10 cs.CV
Prototype Matters: Modality-unified Prototype Self-distillation for Unsupervised Visible-infrared Person Re-identification
Nanjing Normal University(南京师范大学);Zhejiang University(浙江大学)
本文提出模态统一原型自蒸馏框架,通过联合优化模态内外相似性并利用自原型蒸馏,解决无监督可见光-红外行人重识别的跨模态关联问题。
2026-09-11 cs.CV
Unsupervised Misaligned Infrared and Visible Image Fusion via Cross-Modality Image Generation and Registration
Dalian University of Technology(大连理工大学)
近年来基于学习的图像融合方法在预配准多模态数据方面取得了巨大的进展,但由于空间变形和难以缩小跨模态差异,在处理未对齐的多模态数据时存在严重的重影问题。为了克服这些障碍,在本文中,我们提出了一个强大的跨模态生成配准范式的无监督错位红外和可见光图像融合(IVIF)。具体来说,我们提出了一个跨模态的感知风格转移网络(CPONS)生成一个伪红外图像作为输入的可见光图像。由于CPNN良好的几何保持能力,所生成的伪红外图像具有清晰的结构,更有利于将跨模态图像配准转化为单模态配准,并结合红外图像的结构敏感性。在这种情况下,我们引入了一个多级细化配准网络(MRRN),预测失真和伪红外图像之间的位移矢量场,并重建配准的红外图像下的单模态设置。此外,为了更好地融合注册的红外图像和可见光图像,我们提出了一个功能交互融合模块(IFM),自适应地选择更有意义的功能融合在双路径交互融合网络(DIFN)。大量的实验结果表明,所提出的方法执行不对齐的跨模态图像融合的优越性能。
2022-05-24 cs.CV
Modality-Aware Bias Mitigation and Invariance Learning for Unsupervised Visible-Infrared Person Re-Identification
本文提出模态感知的偏见缓解与不变性学习方法,通过改进的Jaccard距离和分割与对比策略,在无监督可见-红外人重识别中实现更可靠的跨模态关联和判别性表示学习。
2025-12-08 cs.CV
Cross-Modal Attention Consistency for Video-Audio Unsupervised Learning
University of Science and Technology of China(中国科学技术大学);Microsoft Research Asia(微软亚洲研究院);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室)
跨模态相关为视频无监督表示学习提供了内在的监督。现有的方法集中在区分不同的视频片段的视觉和音频表示。我们人类的视觉感知可以关注发出声音的区域,我们的听觉感知也可以将它们的发声物体的频率固定下来,我们称之为双向局部对应。这种监督是直观的,但在对比学习框架中没有得到很好的探讨。本文介绍了一个借口任务,跨模态注意一致性(CMAC),探索双向局部对应的性质。CMAC方法旨在将纯粹由视觉信号产生的区域注意力与在声学信号引导下产生的目标注意力进行对齐,并对声学注意力进行类似的频率对齐。伴随着一个改造的跨模态对比损失,我们认为额外的模态内的相互作用,CMAC方法有效地执行双向对齐。在六个下游基准上的大量实验表明,CMAC可以提高视觉和音频模态的最先进的性能。
2021-06-13 cs.CV
Unified Multi-modal Unsupervised Representation Learning for Skeleton-based Action Understanding
Zhejiang Gongshang University(浙江工商大学);Peking University(北京大学);Zhejiang Key Lab of E-Commerce(浙江省电子商务重点实验室);Huazhong University of Science and Technology(华中科技大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Science and Technology of China(中国科学技术大学);Hefei University of Technology(合肥工业大学)
针对现有骨架动作理解无监督方法多流模型冗余、模态适配性差的问题,提出单流前融合的统一多模态无监督框架UmURL,结合模态内/间一致性学习消除模态偏差,在三个数据集上以近似单模态复杂度取得SOTA性能。
2023-11-06 cs.CV
Unsupervised Contrastive Hashing for Cross-Modal Retrieval in Remote Sensing
跨模态检索系统是遥感领域的一个研究热点,它能够基于任意模态的查询,跨模态检索语义相关的数据。在本文中,我们将注意力集中在跨模态文本图像检索上,其中来自一种模态的查询(例如,文本)可以与来自另一个的存档条目匹配(例如,图片)。现有的跨模态文本图像检索系统中,大多数RS需要大量的标记的训练样本,也不允许快速和内存有效的检索。这些问题限制了现有的跨模态检索系统在大规模遥感应用中的适用性。为了解决这个问题,在本文中,我们介绍了一种新的无监督跨模态对比哈希(DUCH)方法在RS的文本图像检索。为此,所提出的DUCH由两个主要模块组成:1)特征提取模块,其提取两种模态的深度表示; 2)散列模块,其学习从所提取的表示生成跨模态二进制散列码。我们引入了一种新的多目标损失函数,包括:i)对比目标,使相似性保留内和模态间的相似性; ii)一个对抗性的目标,在两个模态之间实施跨模态表示的一致性;和iii)二进制化目标生成哈希码。实验结果表明,所提出的DUCH优于国家的最先进的方法。我们的代码可在https://git.tu-berlin.de/rsim/duch上公开获取。
2022-04-19 cs.CV
Optical Flow boosts Unsupervised Localization and Segmentation
Rutgers University(罗格斯大学)
本文利用光流作为运动线索,通过新损失函数微调自监督ViT,在无标注数据下提升无监督定位与分割性能,优于现有方法。
2023-07-25 cs.CV
Unsupervised Modality-Transferable Video Highlight Detection with Representation Activation Sequence Learning
Tencent(腾讯)
针对无标注且可能缺失音频的视频精彩片段检测,提出跨模态预训练与RASL模块,仅用视觉输入即可学习音频相关语义并输出精彩分数,性能优于现有方法。
2024-12-05 cs.CV
SSHNet: Unsupervised Cross-modal Homography Estimation via Problem Reformulation and Split Optimization
Ningbo Innovation Center, Zhejiang University(浙江大学宁波创新中心);College of Information Science and Electronic Engineering, Zhejiang University(浙江大学信息科学与电子工程学院);NingboTech University(宁波科技学院);Zhejiang Key Laboratory of Big Data and Future ECommerce Technology, Hangzhou, China(浙江大数据与未来电子商务技术重点实验室)
本文提出无监督跨模态单应性估计框架SSHNet,通过将问题重构为模态迁移与单应性估计两个子问题并采用分裂优化策略稳定训练,辅以特征监督和蒸馏技术,在OPT-SAR数据集上超越现有无监督方法并优于部分有监督方法。
2025-04-27 cs.CV
MUSDA: Multi-source Multi-modality Unsupervised Domain Adaptive 3D Object Detection for Autonomous Driving
Electrical and Computer Engineering(电气与计算机工程);Michigan State University(密歇根州立大学)
本文提出MUSDA框架,通过多源多模态无监督领域自适应方法提升自动驾驶3D物体检测性能,实验表明其在Waymo、nuScenes和Lyft数据集上优于现有方法。
2026-05-11 cs.CV
Image Translation-Based Unsupervised Cross-Modality Domain Adaptation for Medical Image Segmentation
Shanghai Jiao Tong University(上海交通大学)
提出基于图像翻译的无监督跨模态域自适应方法,通过将标注源模态图像转换到未标注目标模态并利用自训练克服伪图像差异,在crossMoDA 2022任务上取得优异分割性能。
2025-02-24 cs.CV
An Unsupervised Cross-Modal Hashing Method Robust to Noisy Training Image-Text Correspondences in Remote Sensing
开发准确和可扩展的跨模态图像-文本检索方法,其中来自一种模态的查询(例如,文本)可以与来自另一个的存档条目匹配(例如,遥感图像)在遥感(RS)领域引起了极大的关注。大多数现有的方法假设存在一个可靠的多模态训练集,该训练集具有精确匹配的文本-图像对。然而,该假设可能并不总是成立,因为多模态训练集可能包括噪声对(即,与训练图像相关联的文本描述/字幕可能是有噪声的),从而扭曲了检索方法的学习过程。为了解决这个问题,我们提出了一种新型的无监督跨模式哈希方法,该方法对有噪图像-文本对应关系(CHNR)具有鲁棒性。CHNR由三个模块组成:1)特征提取模块,其提取图像-文本对的特征表示; 2)噪声检测模块,其检测潜在的噪声对应;以及3)散列模块,其生成跨模态二进制散列码。所提出的CHNR包括两个训练阶段:i)元学习阶段,其使用一小部分干净的(即,可靠的)数据,以对抗方式训练噪声检测模块;以及ii)主训练阶段,在该主训练阶段,使用经训练的噪声检测模块来识别有噪声的对应关系,同时在有噪声的多模态训练集上训练散列模块。实验结果表明,所提出的CHNR优于国家的最先进的方法。我们的代码可在https://git.tu-berlin.de/rsim/chnr上公开获取
2022-02-26 cs.CV