Cluster-Guided Semi-Supervised Domain Adaptation for Imbalanced Medical Image Classification
Kyushu University（九州大学）；Kyoto University（京都大学）；The University of Tokyo（东京大学）
半监督领域自适应是一种通过使用来自目标域的许多未标记样本和少量标记样本修改另一（源）域中的分类器来构建目标域的分类器的技术。在本文中，我们开发了一种半监督领域自适应方法，它具有鲁棒性类不平衡的情况下，这是常见的医学图像分类任务。为了鲁棒性，我们提出了一个弱监督聚类管道，以获得高纯度的集群，并利用集群的表示学习领域自适应。所提出的方法在实验中使用严重类不平衡的病理图像补丁显示出最先进的性能。
2023-03-02 cs.CV
DARWIN: A Highly Flexible Platform for Imaging Research in Radiology
Yizhun Medical AI Co.Ltd（医准医疗人工智能有限公司）
为了进行放射组学或深度学习研究实验，放射科医生或医生需要掌握所需的编程技能，然而，当他们的编码经验有限时，这可能会令人沮丧且成本高昂。在本文中，我们提出了DARWIN，一个灵活的研究平台，具有图形用户界面的医学成像研究。我们的平台由放射组学模块和深度学习模块组成。放射组学模块可以提取1000多个维度特征（一阶、二阶和高阶），并提供了许多可拖动的监督和无监督机器学习模型。我们的深度学习模块集成了最先进的分类、检测和分割任务架构。它允许用户手动选择超参数，或者选择一种算法来自动搜索最佳参数。DARWIN还为用户提供了为其实验定义自定义管道的可能性。这些灵活性使放射科医生能够轻松地进行各种实验。
2020-09-02 cs.CV eess.IV
Semi-supervised learning for medical image classification using imbalanced training data
La Trobe University（拉筹伯大学）
医学图像分类通常具有挑战性，原因有两个：由于昂贵且耗时的注释协议而缺乏标记的示例，以及由于更广泛人群中疾病阳性个体的相对稀缺而导致的不平衡的类别标签。半监督学习（SSL）方法存在用于处理标签的缺乏，但是它们通常不解决类不平衡的问题。在这项研究中，我们提出了自适应混合一致性损失（ABCL），在扰动为基础的SSL方法的一致性损失的下降替代。ABCL抵消数据倾斜，根据类频率自适应混合的目标类分布的一致性损失。我们的实验与ABCL揭示了改进未加权平均召回两个不同的不平衡的医学图像分类数据集相比，现有的一致性损失，不是为了抵消类的不平衡。
2021-08-20 cs.CV cs.LG
Utilizing Radiomic Feature Analysis For Automated MRI Keypoint Detection: Enhancing Graph Applications
Indian Institute of Technology Bombay（印度理工学院孟买分校）
针对脑MRI图像中SIFT和LoFTR难以检测一致初始关键点的问题，提出基于影像组学特征的关键点检测方法，并将其作为LK-SuperRetina的真值，进而展示GNN在图像匹配中的优越性能，为扩展GNN应用奠定基础。
2023-11-30 cs.CV eess.IV
An interpretable imbalanced semi-supervised deep learning framework for improving differential diagnosis of skin diseases
School of Medicine, Xiamen University（厦门大学医学院）；National Institute for Data Science in Health and Medicine, Xiamen University（厦门大学健康医疗大数据国家研究院）；Data Mining Research Center, Xiamen University（厦门大学数据挖掘研究中心）；School of Economics and Management, East China Jiaotong University（华东交通大学经济管理学院）；Department of Pediatrics, the First Affiliated Hospital of Xiamen University（厦门大学附属第一医院儿科）；School of Management, Xiamen University（厦门大学管理学院）；School of Science, Hong Kong University of Science and Technology（香港科技大学理学院）；School of Mathematical Sciences, Ocean University of China（中国海洋大学数学科学学院）；National Economic Engineering Laboratory, Dongbei University of Finance and Economics（东北财经大学国民经济工程实验室）
本文提出可解释的不平衡半监督深度学习框架ISDL，利用类别再平衡自训练和SHAP解释机制，在58,457张皮肤图像上实现高精度多类别皮肤病诊断，并进一步提出ISDLplus优化伪标记样本选择。
2024-06-10 cs.AI cs.CV
A Self supervised learning framework for imbalanced medical imaging datasets
本文提出AMIMV方法，通过新的增强策略解决医学影像分类中的数据稀缺和类别不平衡问题，并评估了八种SSL方法在长尾分布和有限监督下的性能。
2026-04-02 cs.CV
A Tale of Two Classes: Adapting Supervised Contrastive Learning to Binary Imbalanced Datasets
Technical University of Munich（慕尼黑工业大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）；Imperial College London（伦敦帝国学院）
针对监督对比学习在二分类不平衡数据集上表现不佳的问题，提出两种评估表示空间质量的新指标并设计适配的监督对比学习策略，最高可将下游分类准确率提升35%。
2025-03-21 cs.CV cs.LG
SC-MIL: Supervised Contrastive Multiple Instance Learning for Imbalanced Classification in Pathology
PathAI Inc（PathAI公司）；University of Massachusetts（马萨诸塞大学）
针对病理图像标签与像素双重不平衡及OOD挑战，提出联合训练框架SC-MIL，通过解耦特征与分类器学习并引入有监督对比学习，在非小细胞肺癌和肾细胞癌亚型分类上取得显著提升。
2023-09-09 cs.CV cs.LG
NodeReg: Mitigating the Imbalance and Distribution Shift Effects in Semi-Supervised Node Classification via Norm Consistency
Soochow University（苏州大学）；Westlake University（西湖大学）
提出NodeReg正则化方法，通过强制节点表示范数一致性，有效缓解半监督节点分类中邻居不平衡与噪声引发的分布外泛化问题，显著提升分类性能。
2025-03-05 cs.AI cs.LG
Federated Model Aggregation via Self-Supervised Priors for Highly Imbalanced Medical Image Classification
The Hong Kong University of Science and Technology（香港科技大学）；University of Girona（赫罗纳大学）；Agency for Science, Technology and Research (A*STAR)（新加坡科技研究局）
本文针对高度不平衡医学图像数据集的联邦学习问题，提出基于自监督先验的动态平衡模型聚合方法 Fed-MAS，利用共享辅助预训练模型测量类内差异，指导全局模型优化，实现鲁棒且无偏的分类。
2023-07-27 cs.CV cs.LG
VIGraph: Generative Self-supervised Learning for Class-Imbalanced Node Classification
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）；Kuaishou Technology（快手科技）
本文提出生成式自监督学习方法VIGraph，基于变分图自编码器为少数类生成高质量节点，并结合跨视图对比学习、邻接矩阵重建和对齐策略，有效解决类别不平衡节点分类问题。
2024-03-27 cs.AI cs.LG
Leveraging Textual Anatomical Knowledge for Class-Imbalanced Semi-Supervised Multi-Organ Segmentation
School of Computer Science, Wuhan University（武汉大学计算机学院）；EPITA Research Laboratory（EPITA研究实验室）
针对半监督多器官分割中的类不平衡问题，提出将GPT-4o生成的文本解剖先验经CLIP编码注入分割头，并结合对比学习，显著超越现有方法。
2025-03-27 cs.CV
As easy as APC: overcoming missing data and class imbalance in time series with self-supervised learning
University of Amsterdam（阿姆斯特丹大学）；Clue by BioWink GmbH（Clue by BioWink有限责任公司）；Stanford University（斯坦福大学）
高水平的缺失数据和严重的类别不平衡是普遍存在的挑战，通常同时存在于现实世界的时间序列数据中。现有的方法分别处理这些问题，经常对底层数据生成过程做出重大假设，以减少缺失信息的影响。在这项工作中，我们演示了如何利用一般的自监督训练方法，即自回归预测编码（APC），在没有强假设的情况下同时克服缺失数据和类不平衡。具体来说，在一个合成数据集上，我们表明，通过使用APC，标准基线得到了大幅改善，在高缺失和严重类别不平衡的组合设置中获得了最大的收益。我们进一步将APC应用于两个真实世界的医疗时间序列数据集，并表明APC提高了所有设置中的分类性能，最终在Physionet基准上实现了最先进的AUPRC结果。
2022-01-26 cs.AI cs.LG cs.NE
GraphMixup: Improving Class-Imbalanced Node Classification on Graphs by Self-supervised Context Prediction
Westlake University（西湖大学）；Westlake Institute for Advanced Study（西湖高等研究院）；Zhejiang University（浙江大学）
近年来，图神经网络（GNNs）在处理节点分类任务方面取得了巨大成功。然而，大多数现有的GNN都是基于不同类别的节点样本是平衡的假设，而对于许多现实世界的图，存在类别不平衡的问题，即，某些类可能具有比其它类少得多的样本。在这种情况下，直接用原始数据训练GNN分类器将代表来自这些少数类别的样本，并导致次优性能。本文提出了GraphMixup，一种新的基于混合的框架，用于改善图上的类不平衡节点分类。然而，直接执行混合在输入空间或嵌入空间可能会产生域外的样本，由于少数类的极端稀疏性，因此，我们构建语义关系空间，允许在语义层面上执行的功能混合。此外，我们采用两种基于上下文的自监督技术来捕获图结构中的局部和全局信息，然后提出专门针对图数据的边缘混合。最后，我们开发了一个\emph{Reinforcement Mixup}机制，以自适应地确定有多少样本是由这些少数类的混合产生。在三个真实数据集上的广泛实验表明，GraphMixup对于类不平衡的节点分类任务产生了真正令人鼓舞的结果。
2021-06-21 cs.AI cs.LG
Attend Who is Weak: Pruning-assisted Medical Image Localization under Sophisticated and Implicit Imbalances
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Weill Cornell Medicine（威尔康奈尔医学院）
深度神经网络（DNN）已迅速成为医学图像理解任务的\textit{de facto}选择。然而，DNN在图像分类中对类别不平衡是非常脆弱的。我们进一步指出，当涉及到更复杂的任务，如病理定位时，这种不平衡的脆弱性可能会被放大，因为这些问题中的不平衡可能具有高度复杂且往往隐含的存在形式。例如，即使在训练数据的精心策划的平衡分布中，不同的病理可以具有不同的大小或颜色（相对于背景）、不同的潜在人口统计分布，并且通常具有不同的识别难度水平。在本文中，我们建议使用修剪来自动和自适应地识别\textit{hard-to-learn}（HTL）训练样本，并通过明确地参加它们来改善病理定位，在\textit{supervised, semi-supervised, and weakly-supervised}设置的训练过程中。我们的主要灵感来自于最近的发现，即深度分类模型具有难以记忆的样本，这些样本可以通过网络修剪\cite{hooker2019compressed}有效地暴露出来-我们首次将这种观察扩展到分类之外。我们还提出了一个有趣的人口分析，说明HTLs捕捉复杂的人口失衡的能力。我们通过额外关注HTL在多个训练设置中对皮肤病变定位任务进行的广泛实验显示出$\sim$ 2- 3%的定位性能的显著改善。
2022-12-06 cs.CV
Self-degraded contrastive domain adaptation for industrial fault diagnosis with bi-imbalanced data
针对工业故障诊断中分布差异与双不平衡问题，提出Sd-CDA框架，通过不平衡感知对比学习预训练特征提取器，并结合SupCon-DA与PSupCon-DA增强少数类性能，有效提升了双不平衡数据下的域适应效果。
2024-05-31 cs.AI
Federated Self-Supervised Modulation Classification under Non-IID and Imbalanced Data
Department of Electrical and Computer Engineering（电气与计算机工程系）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；Qualcomm Technologies Inc.（高通技术公司）
该研究针对非独立同分布与不平衡数据场景，提出FedSSL-AMC联邦自监督框架，结合因果时间膨胀CNN编码器与轻量级本地SVM，在调制分类任务上取得优于监督联邦学习基线的性能。
2026-08-18 cs.AI cs.LG eess.SP
Interpretability-Driven Sample Selection Using Self Supervised Learning For Disease Classification And Segmentation
Inception Institute of Artificial Intelligence（Inception人工智能研究院）
在用于医学图像分析的监督学习中，样本选择方法对于迅速且以最少的专家交互（例如，主动学习设置中的标签查询）获得最佳系统性能是基本的。在本文中，我们提出了一种新的样本选择方法的基础上，利用信息的可解释性显着图的深层功能。在没有信息样本的地面真值标签的情况下，我们使用一种新的基于自监督学习的方法来训练一个分类器，该分类器学习识别给定批次图像中信息量最大的样本。我们证明了所提出的方法，称为解释性驱动的样本选择（IDEAL），在一个主动学习设置，旨在肺部疾病分类和组织病理学图像分割的好处。我们分析了三种不同的方法来确定样本的信息量从可解释性显着图：（i）一个观察模型源于以前的不确定性为基础的样本选择方法的研究结果，（ii）一个基于放射性的模型，（iii）一个新的数据驱动的自我监督的方法。我们使用公开的NIH胸部X射线数据集进行肺部疾病分类，并使用公共组织病理学分割数据集（GLaS）将IDEAL与其他基线进行比较，证明了在主动学习系统中使用可解释性信息进行样本选择的潜力。结果表明，我们提出的自我监督的方法优于其他方法在选择信息样本，导致国家的最先进的性能与更少的样本。
2021-04-13 cs.CV
Self-Supervised Learning Featuring Small-Scale Image Dataset for Treatable Retinal Diseases Classification
Rice University（莱斯大学）；Boston University（波士顿大学）；Microsoft（微软公司）
本文针对小规模OCT视网膜图像数据，评估SSL与TL模型，证明MoCo-v2等自监督方法在平衡、不平衡及极少样本条件下分类性能更优。
2024-04-15 cs.CV cs.LG
The Hidden Uniform Cluster Prior in Self-Supervised Learning
Meta AI (FAIR)（Meta人工智能（基础人工智能研究））；McGill University（麦吉尔大学）；Mila, Quebec AI Institute（米拉-魁北克人工智能研究所）；Universite de Montreal（蒙特利尔大学）
表示学习中的一个成功范例是使用基于小批量统计的任务（例如，Simplified、VICReg、SwAV、MSN）。我们表明，在制定所有这些方法是一个被忽视的学习功能，使统一的数据聚类。虽然这种先验在对类平衡数据（如ImageNet）进行预训练时导致了显着的语义表示，但我们证明了在对类不平衡数据进行预训练时，它会妨碍性能。通过远离传统的一致性先验，而不是更喜欢幂律分布的特征集群，我们表明，可以提高真实世界的类不平衡数据集上的学习表示的质量。为了证明这一点，我们开发了一个扩展的屏蔽暹罗网络（MSN）的方法，以支持使用任意功能先验。
2022-10-13 cs.AI cs.CV cs.LG
Class Incremental Fault Diagnosis under Limited Fault Data via Supervised Contrastive Knowledge Distillation
ZJU-UIUC Joint Institute at Zhejiang University（浙江大学-伊利诺伊大学厄巴纳-香槟分校联合研究所）；ZJU-UoE Institute at Zhejiang University（浙江大学-爱丁堡大学联合研究所）；College of Biomedical Engineering and Instrument Science at Zhejiang University（浙江大学生物医学工程与仪器科学学院）；College of Computer Science and Technology in Zhejiang University（浙江大学计算机科学与技术学院）
提出SCLIFD框架，通过监督对比知识蒸馏、优先样本选择和随机森林分类器，解决类增量故障诊断中少样本、灾难性遗忘和类别不平衡问题，在模拟和真实工业数据集上表现优于现有方法。
2025-01-19 cs.AI cs.LG
Radiomic feature selection for lung cancer classifiers
Bahria University（巴赫里亚大学）；National University of Science and Technology（国立科学技术大学）
结合定量成像特征的机器学习方法最近在肺结节分类方面获得了很多关注。然而，在文献中缺乏有效的特征排序方法的分类目的的研究。此外，还需要评估分类任务所需的特征的最佳数量。在这项研究中，我们研究了有监督和无监督的特征选择技术对计算机断层扫描（CT）图像中结节分类的机器学习方法的影响。研究工作探讨了朴素贝叶斯和支持向量机（SVM）的分类性能时，训练与2，4，8，12，16和20高排名的功能，从监督和无监督的排名方法。从监督特征排序方法中选出8个放射性组学特征训练支持向量机，取得了最好的分类结果，准确率为100%。该研究进一步表明，可以通过训练具有较少放射组学特征的任何SVM或Naive Bayes来实现非常好的结节分类。放射性组学特征的数量从2到20的周期性增量没有改善分类结果，无论选择是使用监督还是非监督的排名方法。
2020-03-16 cs.CV eess.IV
Time-Series Contrastive Learning against False Negatives and Class Imbalance
Beijing Jiaotong University（北京交通大学）
本文分析了时间序列对比学习中被忽视的假负样本和类别不平衡问题，基于SimCLR框架提出构建实例图模拟监督对比学习以减轻假负样本影响，并结合图结构和少量标签进行半监督分类以增强少数类表征，在四个真实数据集上显著提升了整体性能。
2024-08-24 cs.AI cs.LG
SKID: Self-Supervised Learning for Knee Injury Diagnosis from MRI Data
Indian Statistical Institute（印度统计研究所）；Indian Institute of Technology Kharagpur（印度理工学院克勒格布尔分校）
在医学图像分析中，获取高质量数据及其专家注释的成本是许多医学应用的障碍。所使用的大多数技术都是基于监督学习框架的，需要大量的注释数据才能达到令人满意的性能。作为一种替代方案，在本文中，我们提出了一种自监督学习（SSL）的方法来学习的空间解剖表示从帧的磁共振（MR）的视频剪辑诊断膝关节的医疗条件。Prefect模型学习有意义的空间上下文不变表示。本文的下游任务是类不平衡多标签分类。不同的实验表明，由借口模型学习的特征在下游任务中提供了有竞争力的性能。此外，从结果中可以看出，所提出的借口模型在学习少数类的表示方面的效率和可靠性，而无需对数据集中的不平衡应用任何策略。据我们所知，这项工作是同类工作中的第一个显示的有效性和可靠性的自监督学习算法在类不平衡的多标签分类任务的MR视频。拟议工作的评价准则见https://github.com/sadimanna/skid。
2022-10-19 cs.CV cs.LG
BYOLMed3D: Self-Supervised Representation Learning of Medical Videos using Gradient Accumulation Assisted 3D BYOL Framework
医学图像分析的应用严重缺乏医学专家正确注释的大量数据。监督学习算法需要大量的平衡数据来学习鲁棒的表示。通常，监督学习算法需要各种技术来处理不平衡数据。另一方面，自监督学习算法对数据中的不平衡是鲁棒的，并且能够学习鲁棒的表示。在这项工作中，我们训练一个三维BYOL自监督模型，使用梯度累积技术来处理大量的样本，在一批通常需要在一个自监督算法。据我们所知，这项工作是这一领域的第一项工作。我们将ACL撕裂损伤检测下游任务中的实验结果与当代自我监督预训练方法以及使用Kinetics-400预训练权重初始化的ResNet 3D-18进行了比较。从下游的任务实验，很明显，所提出的框架优于现有的基线。
2022-11-12 cs.CV
Time-based Self-supervised Learning for Wireless Capsule Endoscopy
Universitat de Barcelona（巴塞罗那大学）；CorporateHealth International ApS（CorporateHealth国际有限公司）
最先进的机器学习模型，特别是深度学习模型，非常需要数据;它们需要大量手动标记的样本才能正常工作。然而，在大多数医学成像领域，获得所述数据可能是具有挑战性的。不仅数据量是一个问题，而且其类别内的不平衡也是一个问题;健康患者的图像比病理患者的图像多得多是很常见的。计算机辅助诊断系统遭受这些问题，通常过度设计其模型以准确执行。这项工作提出了使用自监督学习无线内窥镜视频通过引入一个定制的方法，最初不需要标签或适当的平衡。我们证明，使用我们的方法学习的推断的固有结构，从时间轴提取，提高了检测率在几个特定领域的应用程序，即使在严重的不平衡。
2022-04-20 cs.CV
Bootstrapping Semi-supervised Medical Image Segmentation with Anatomical-aware Contrastive Distillation
New York University（纽约大学）；Yale University（耶鲁大学）
对比学习在医学图像分割的背景下已经显示出对注释稀缺问题的巨大希望。现有的方法通常假设一个平衡的类分布标记和未标记的医学图像。然而，现实中的医学图像数据通常是不平衡的（即，多类别标签不平衡），这自然会产生模糊的轮廓，并且通常会错误地标记稀有对象。此外，目前还不清楚是否所有阴性样本都是阴性的。在这项工作中，我们提出了行动，解剖意识的ConTrastive dIstillatiON框架，半监督医学图像分割。具体来说，我们首先开发了一个迭代对比蒸馏算法，通过软标签的负面，而不是二元监督之间的积极和消极的对。我们还从随机选择的阴性集合中捕获与阳性集合相比语义上更相似的特征，以加强采样数据的多样性。其次，我们提出了一个更重要的问题：我们真的可以处理不平衡的样本，以产生更好的性能？因此，ACTION的关键创新是以最小的额外内存占用来学习整个数据集的全局语义关系和相邻像素之间的局部解剖特征。在训练过程中，我们通过主动采样一组稀疏的硬负像素来引入解剖对比度，这可以生成更平滑的分割边界和更准确的预测。在两个基准数据集和不同的未标记设置上的广泛实验表明，ACTION显著优于当前最先进的半监督方法。
2023-03-10 cs.AI cs.CV cs.LG
Deep Doubly Supervised Transfer Network for Diagnosis of Breast Cancer with Imbalanced Ultrasound Imaging Modalities
Shanghai Institute for Advanced Communication and Data Science（上海先进通信与数据科学研究院）；The First Affiliated Hospital of Anhui Medical University（安徽医科大学第一附属医院）；Fudan University Shanghai Cancer Center（复旦大学附属肿瘤医院）；Shanghai Medical College, Fudan University（复旦大学上海医学院）；School of Science, Shanghai University（上海大学理学院）
超声弹性成像（EUS）为B超诊断乳腺癌提供了额外的生物力学信息。然而，由于农村医院缺乏EUS设备，BUS和EUS联合应用的情况并不普遍，这在乳腺癌的计算机辅助诊断（CAD）中引发了一个新的模态不平衡问题。当前的迁移学习（TL）很少关注临床模态不平衡这一特殊问题，即源域（EUS模态）中的标记样本少于目标域（BUS模态）中的标记样本。此外，这些TL方法不能充分利用标签信息来探索两种模态之间的内在联系，从而指导促进知识转移。为此，我们提出了一种新的双监督TL网络（DDRIO），它将学习使用的信息（LUPI）范式和最大均值离散（MMD）标准集成到一个统一的深度TL框架中。该算法不仅可以充分利用共享标签有效地引导LUPI范式的知识转移，而且还可以在非成对数据之间进行额外的监督转移。我们进一步引入MMD准则来增强知识转移。在乳腺超声数据集上的实验结果表明，该算法的性能优于现有的基于总线的CAD算法。
2020-06-29 cs.CV cs.LG stat.ML
InfoMask: Masked Variational Latent Representation to Localize Chest Disease
MILA（蒙特利尔学习算法研究所）；Université de Montréal（蒙特利尔大学）；Imagia Inc.（Imagia公司）；School of Computing Science, Simon Fraser University（西蒙弗雷泽大学计算科学学院）
丰富注释的医学图像的稀缺性限制了基于监督深度学习的解决方案对医学图像分析任务的应用，例如定位歧视性放射性疾病特征。因此，需要利用无监督和弱监督模型。最近的弱监督定位方法在多实例学习公式中应用注意力地图或区域建议。虽然注意力地图可能是嘈杂的，导致错误地突出显示区域，但为多实例学习方法确定最佳窗口/包大小并不简单。在本文中，我们提出了一个学习的空间掩蔽机制，过滤掉不相关的背景信号从注意力地图。所提出的方法最小化之间的互信息的掩码变分表示和输入，同时最大化之间的信息掩码表示和类标签。这导致对歧视性区域的更准确的定位。我们在ChestX-ray 8数据集上测试了所提出的模型，以在不使用任何像素级或边界框注释的情况下从胸部X射线图像中定位肺炎。
2019-06-07 cs.CV
Dive into Self-Supervised Learning for Medical Image Analysis: Data, Models and Tasks
Shanghai Jiao Tong University（上海交通大学）；Institute of Medical Robotics（医疗机器人研究院）
本文通过大规模实验系统研究了自监督学习在医学图像分析中面对数据不平衡、网络架构、上下游任务适配及训练策略叠加时的表现，揭示了其提升稀有类别性能的积极作用及部分场景下收益有限甚至为负的现象，为医学SSL应用提供了实用指南。
2023-04-17 cs.CV
DIGRAC: Digraph Clustering Based on Flow Imbalance
University of Oxford（牛津大学）；The Alan Turing Institute（艾伦·图灵研究所）
节点聚类是网络分析中的一个强有力的工具。我们引入了一个图神经网络框架，命名为DIGRAC，以获得节点嵌入有向网络在一个自我监督的方式，包括一个新的概率不平衡损失，它可以用于网络聚类。在这里，我们提出了\textit{directed flow imbalance}措施，这是密切相关的方向性，揭示集群在网络中，即使集群之间没有密度差。与文献中的标准方法相比，本文中，方向性不被视为滋扰，而是包含主要信号。与现有的图神经网络方法不同，DIGRAC优化了用于聚类的有向流不平衡，而不需要标签监督，并且与现有的谱方法不同，DIGRAC可以自然地结合节点特征。在合成数据上的广泛实验结果，以有向随机块模型的形式，以及不同尺度的真实数据，表明我们的方法，基于流量不平衡，在与文献中的10种最先进的方法相比时，在有向图聚类上获得了最先进的结果，对于各种各样的噪声和稀疏水平，图结构和拓扑结构，甚至优于监督方法。
2022-11-29 cs.AI cs.IR cs.LG
Self supervised convolutional kernel based handcrafted feature harmonization: Enhanced left ventricle hypertension disease phenotyping on echocardiography
Yonsei University College of Medicine（延世大学医学院）；Ontack Health；Seoul National University Bundang Hospital（首尔大学盆唐医院）
本研究提出一种基于自监督卷积核的预处理方法，将图像转换为特征图以实现手工特征协调，在超声心动图左心室肥厚疾病诊断中展现出更优的分类性能。
2023-11-22 cs.CV cs.LG eess.IV
3D-Morphomics, Morphological Features on CT scans for lung nodule malignancy diagnosis
Median Technologies（Median科技公司）；Univ. Artois（阿图瓦大学）
病理系统地诱导形态学变化，从而提供了一个主要的，但还不够量化的诊断可观察的来源。该研究基于计算机断层扫描（CT）体积上的形态特征（3D形态学）开发了病理状态的预测模型。一个完整的工作流程网格提取和简化的器官的表面，再加上自动提取的形态特征的平均曲率和网格能量的分布。然后在3D形态学上训练和测试XGBoost监督分类器以预测病理状态。将该框架应用于肺结节恶性程度的预测。在具有恶性肿瘤确认的活检的NLST数据库的子集上，仅使用3D形态学，肺结节到恶性与良性的分类模型达到0.964的AUC。训练并测试了其他三组经典特征，（1）临床相关特征给出的AUC为0.58，（2）111放射组学给出的AUC为0.976，（3）包含结节大小、衰减和毛刺定性注释的放射科医师地面实况（GT）给出的AUC为0.979。我们还测试了Brock模型，并获得了0.826的AUC。结合3D形态学和放射组学特征实现了最先进的结果，AUC为0.978，其中3D形态学具有一些最高的预测能力。作为对公共独立队列的验证，将模型应用于LIDC数据集，3D形态学实现了0.906的AUC，3D形态学+放射组学实现了0.958的AUC，在深度模型中排名第二。它建立了曲率分布作为预测肺结节恶性的有效特征，并可直接应用于任何计算机辅助诊断任务的新方法。
2022-07-27 cs.CV eess.IV q-bio.QM
Open-World Semi-Supervised Learning for Node Classification
School of Information, Renmin University of China（中国人民大学信息学院）；Zhongguancun Laboratory（中关村实验室）；Alibaba Group（阿里巴巴集团）；Department of Computer Science and Technology, Tsinghua University（清华大学计算机科学与技术系）；School of Information Technology and Electrical Engineering, The University of Queensland（昆士兰大学信息技术与电气工程学院）
针对开放世界半监督节点分类中已知与新类别类内方差不平衡问题，提出不平衡感知方法OpenIMA，利用对比学习与偏差减少伪标签从零训练模型，在七个基准上验证有效性。
2024-03-18 cs.AI cs.LG cs.SI
Radiomics--Foundation Fusion for Interpretable RCC Classification: Internal Benchmarking and Exploratory External Transfer
Research Ireland Centre for Research Training in Machine Learning（爱尔兰研究机构机器学习研究培训中心）；University College Dublin（都柏林大学学院）；School of Veterinary Medicine, University College Dublin（都柏林大学学院兽医学院）
本研究在KiTS23上比较放射组学与基础模型特征及其融合用于肾细胞癌亚型分类，发现3D MedVAE门控融合最佳（内部AUC 82.7%），且放射组学仍为可解释的互补成分。
2026-09-23 cs.CV
Lung Nodule Classification Using Biomarkers, Volumetric Radiomics and 3D CNNs
University of Maryland Baltimore County（马里兰大学巴尔的摩县分校）
我们提出了一种混合算法来估计肺结节恶性肿瘤，该算法结合了来自放射科医生注释的成像生物标志物和CT扫描的图像分类。我们的算法采用了3D卷积神经网络（CNN）以及随机森林，以结合CT图像与生物标志物注释和体积放射组学特征。我们分析和比较了仅使用图像、仅使用生物标志物、组合图像+生物标志物、组合图像+体积放射组学特征以及最后图像+生物标志物+体积特征的组合的算法的性能，以便对结节恶性的可疑级别进行分类。国家癌症研究所（NCI）肺图像数据库联盟（LIDC）IDRI数据集用于训练和评估分类任务。我们表明，通过K最近邻（KNN）结合半监督学习可以增加LIDC-IDRI的可用训练样本量，从而进一步提高大多数测试模型的恶性肿瘤估计的准确性，尽管如果使用CNN和体积特征的图像分类与描述性生物标志物相结合，则使用KNN半监督学习没有显着改善。出乎意料的是，我们还表明，单独使用图像生物标志物的模型比将生物标志物与体积放射组学、3D CNN和半监督学习相结合的模型更准确。我们讨论了这一结果可能受到LIDC-IDRI中认知偏差的影响，因为恶性肿瘤的估计值是由同一个放射科医生小组记录的，作为生物标志物，以及未来的工作，将病理学信息纳入一个研究参与者的子集。
2020-10-19 cs.CV cs.LG eess.IV
Energy Score-based Pseudo-Label Filtering and Adaptive Loss for Imbalanced Semi-supervised SAR target recognition
Chongqing University（重庆大学）
针对不平衡半监督SAR目标识别，提出基于动态能量分数的伪标签过滤和自适应损失方法，在标签稀缺与数据不平衡下实现高精度识别。
2024-11-06 cs.AI cs.CV
Handcrafted vs. Deep Radiomics vs. Fusion vs. Deep Learning: A Comprehensive Review of Machine Learning -Based Cancer Outcome Prediction in PET and SPECT Imaging
BC Cancer Research Institute（BC癌症研究所）；University of British Columbia（不列颠哥伦比亚大学）；Technological Virtual Collaboration (TECVICO Corp.)（技术虚拟协作公司（TECVICO公司））；Breast Cancer Research Center, Motamed Cancer Institute, ACECR（乳腺癌研究中心，莫塔梅德癌症研究所，学术教育科研中心）；Sharif University of Technology（谢里夫理工大学）；Guilan University of Medical Sciences（吉兰医科大学）；University of Tehran（德黑兰大学）；University of Iowa Carver College of Medicine（爱荷华大学卡佛医学院）
本综述系统分析了226项PET/SPECT影像癌症结局预测研究，比较了手工特征、深度放射组学、融合及深度学习等方法，发现深度放射组学准确率最高（0.862），融合模型AUC最高（0.861），并指出了标准化和可解释性等关键挑战。
2025-08-25 cs.CV physics.med-ph
Semi-Supervised Confidence-Level-based Contrastive Discrimination for Class-Imbalanced Semantic Segmentation
The Chinese University of Hong Kong（香港中文大学）
为了克服数据饥饿的挑战，我们提出了一个半监督的对比学习框架的类不平衡的语义分割的任务。首先，为了使模型能够以半监督的方式运行，提出了基于置信度的对比学习方法，以显式的方式实现实例判别，并使低置信度的低质量特征与高置信度的特征相匹配。此外，针对裂缝分割和道路成分提取中的类不平衡问题，提出了数据不平衡损失代替传统的像素级语义分割中的交叉熵损失。最后，我们还提出了一种有效的多级融合网络结构，以提高语义分割的性能。在实际工业裂缝分割和道路分割上的大量实验证明了该框架的优越性。我们提出的方法可以提供令人满意的分割结果，即使只有3.5%的标记数据。
2022-11-28 cs.CV
An Embarrassingly Simple Baseline for Imbalanced Semi-Supervised Learning
针对有标注与无标注数据均类别不平衡的SSL问题，论文提出仅按类别分布差异用伪标签补充有标注数据的简单基线SimiS，在多个长尾基准上显著超越SOTA。
2024-01-18 cs.AI cs.CV cs.LG
DASO: Distribution-Aware Semantics-Oriented Pseudo-label for Imbalanced Semi-Supervised Learning
KAIST（韩国科学技术院）；UC Berkeley（加州大学伯克利分校）；ICSI（国际计算机科学研究所）
传统的半监督学习（SSL）方法由于类别不平衡和类别分布不匹配导致伪标签严重偏差，其性能与实际应用相差甚远。本文解决了这样一个相对不足的问题。首先，我们提出了一个一般的伪标签框架，类自适应地混合语义伪标签从基于相似性的分类器的线性分类器的线性，观察后，这两种类型的伪标签具有互补的属性的偏见。我们进一步引入了一种新的语义对齐损失，建立平衡的特征表示，以减少有偏见的预测分类。我们称整个框架为分布式感知面向语义（DASO）伪标签。我们在广泛的不平衡基准测试中进行了广泛的实验：CIFAR 10/100-LT，STL 10-LT和具有开集类的大规模长尾Semi-Aves，并证明，所提出的DASO框架可靠地改进了具有未标记数据的SSL学习器，特别是当（1）类不平衡和（2）分布不匹配占主导地位时。
2022-06-02 cs.AI cs.CV cs.LG
Class-Imbalanced Semi-Supervised Learning
Seoul National University（首尔国立大学）；SK hynix（SK海力士）
半监督学习（Semi-Supervised Learning，SSL）在克服标注困难和充分利用未标注数据方面取得了巨大成功。然而，SSL有一个有限的假设，在不同类别的样本数量是平衡的，许多SSL算法表现出较低的性能与不平衡的类分布的数据集。在本文中，我们介绍了类不平衡的半监督学习（CISSL），这是指半监督学习类不平衡的数据的任务。在这样做时，我们考虑了标记和未标记集合中的类不平衡。首先，我们分析了现有的SSL方法在不平衡的环境中，并研究如何类的不平衡影响SSL方法。然后，我们提出了抑制一致性损失（SCL），一个正则化方法鲁棒类不平衡。我们的方法表现出更好的性能比传统的方法在CISSL环境。特别是，类不平衡越严重，标记数据的大小越小，我们的方法执行得越好。
2020-02-17 cs.CV cs.LG stat.ML
Semi-Supervised Object Detection with Adaptive Class-Rebalancing Self-Training
Tsinghua University（清华大学）
本研究深入研究半监督目标检测（SSOD），以提高检测器的性能与额外的未标记的数据。最近通过自我训练取得了最先进的裁军特别联大业绩，其中训练监督包括地面实况和伪标签。在目前的研究中，我们观察到SSOD的班级不平衡严重阻碍了自我训练的有效性。为了解决类的不平衡，我们提出了自适应类再平衡自我训练（ACESTO）与一种新的记忆模块称为作物银行。ACCNET自适应地将训练数据与从CropBank提取的前景实例重新平衡，从而减轻类别不平衡。由于检测任务的高度复杂性，我们观察到自训练和数据重新平衡都受到SSOD中噪声伪标签的影响。因此，我们提出了一种新的两阶段过滤算法来生成准确的伪标签。我们的方法在MS-COCO和VOC基准测试中取得了令人满意的改进。当在MS-COCO中仅使用1\%的标记数据时，我们的方法在监督基线上实现了17.02 mAP的改进，与最先进的方法相比提高了5.32 mAP。
2021-07-11 cs.AI cs.CV
CReST: A Class-Rebalancing Self-Training Framework for Imbalanced Semi-Supervised Learning
Johns Hopkins University（约翰斯·霍普金斯大学）；Google Cloud AI（谷歌云人工智能）
基于类不平衡数据的半监督学习是一个现实问题，但一直处于研究阶段。虽然已知现有的半监督学习（SSL）方法在少数类上表现不佳，但我们发现它们仍然在少数类上生成高精度的伪标签。通过利用这个属性，在这项工作中，我们提出了类重新平衡自我训练（CReST），一个简单而有效的框架，以改善现有的SSL方法类不平衡的数据。CReST迭代地重新训练基线SSL模型，其中通过从未标记集合添加伪标记样本来扩展标记集合，其中根据估计的类分布更频繁地选择来自少数类的伪标记样本。我们还提出了一个渐进的分布调整，自适应地调整被称为CReST+的再平衡强度。我们表明，CReST和CReST+改进了各种类不平衡数据集上的最先进的SSL算法，并且始终优于其他流行的重新平衡方法。代码已在https://github.com/google-research/crest上提供。
2021-06-17 cs.CV
Offline Clustering Approach to Self-supervised Learning for Class-imbalanced Image Data
Korea University（高丽大学）；Mimbres Corp.（Mimbres公司）
已知类别不平衡的数据集会导致模型偏向大多数类别的问题。在这个项目中，我们设置了两个研究问题：1）在自我监督的预训练中，类不平衡问题何时更普遍？以及2）特征表示的离线聚类是否有助于在类别不平衡的数据上进行预训练？我们的实验通过调整{ \it class-balance}的程度来研究前一个问题，当训练基线模型时，即CIFAR-10数据库上的Simplified和SimSiam。为了回答后一个问题，我们对每个专家模型在特征聚类的每个子集上进行训练。然后，我们将专家模型的知识提取到一个模型中，这样我们就能够将这个模型的性能与我们的基线进行比较。
2022-12-22 cs.CV cs.LG
CLAF: Contrastive Learning with Augmented Features for Imbalanced Semi-Supervised Learning
National Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）；School of Artificial Intelligence, Nanjing University（南京大学人工智能学院）
针对不平衡半监督学习中伪标签偏差问题，提出CLAF方法，通过类依赖特征增强和从标记数据选择正负样本计算对比损失，在不平衡图像分类数据集上验证了有效性。
2023-12-24 cs.CV
Self-supervised Learning is More Robust to Dataset Imbalance
Stanford University（斯坦福大学）；Toyota Research Institute（丰田研究所）
自监督学习（SSL）是一种学习一般视觉表示的可扩展方式，因为它在没有标签的情况下学习。然而，大规模的未标记数据集通常具有长尾标签分布，我们对SSL的行为知之甚少。在这项工作中，我们系统地研究了数据集不平衡下的自监督学习。首先，我们通过大量的实验发现，现成的自监督表示已经比监督表示对类不平衡更鲁棒。在不同样本量下，使用SSL的平衡和不平衡预训练之间的性能差距明显小于使用监督学习的差距，无论是域内还是域外评估。其次，为了理解SSL的鲁棒性，我们假设SSL从频繁数据中学习更丰富的特征：它可以学习与标签无关但可转移的特征，这些特征有助于对稀有类和下游任务进行分类。相反，监督学习没有动机从频繁的例子中学习与标签无关的特征。我们验证了这一假设与半合成实验和理论分析的简化设置。第三，受理论见解的启发，我们设计了一种重新加权的正则化技术，该技术通过几个评估标准不断提高不平衡数据集上的SSL表示质量，用相同数量的例子缩小平衡和不平衡数据集之间的差距。
2022-05-22 cs.CV cs.LG stat.ML
Class-balanced Open-set Semi-supervised Object Detection for Medical Images
Hangzhou Dianzi University（杭州电子科技大学）；Zhejiang University（浙江大学）；Communication University of Zhejiang（浙江传媒学院）；University of Yamanashi（山梨大学）
本文研究医学图像的类平衡开集半监督目标检测问题，提出CCE和OODFC两种创新方法，通过构建前景信息库和整合未知信息到伪标签中，有效解决类别不平衡和开集挑战，在Parasite数据集上实现4.25 mAP提升。
2024-08-22 cs.AI cs.CV
Rethinking Scale Imbalance in Semi-supervised Object Detection for Aerial Images
Wuhan University（武汉大学）；State Key Laboratory of Space-Ground Integrated Information Technology（天地一体化信息技术国家重点实验室）
本文针对航空图像半监督目标检测中的尺度不平衡问题，提出S^3OD学习流程，通过SAT、SLA和TNL三个组件解决伪标签、标签分配和负学习的不平衡，在DOTA-v1.5上表现优于现有方法。
2023-10-23 cs.CV
SeMi: When Imbalanced Semi-Supervised Learning Meets Mining Hard Examples
Zhejiang University（浙江大学）；The Hong Kong University of Science and Technology（香港科技大学）；Central South University（中南大学）；Zhejiang Gongshang University（浙江工商大学）
针对类别不平衡半监督学习忽视难例价值的问题，提出 SeMi，通过 logits 熵差异识别难例并结合带置信度衰减的类别平衡记忆库，在多个基准上取得最优性能。
2025-01-10 cs.CV
Calibrating Label Distribution for Class-Imbalanced Barely-Supervised Knee Segmentation
The Hong Kong University of Science and Technology（香港科技大学）；Shanghai Jiao Tong University（上海交通大学）；The Hong Kong University of Science and Technology Shenzhen Research Institute（香港科技大学深圳研究院）
三维膝关节MR图像的分割对于骨关节炎的评估具有重要意义。与其他医学数据一样，膝关节MR图像的体积标记需要专业知识且耗时;因此，半监督学习（SSL），特别是勉强监督学习，对于标记数据不足的训练非常理想。我们观察到，类不平衡的问题是严重的膝关节MR图像的软骨只占6%的前景体积，情况变得更糟，没有足够的标记数据。为了解决上述问题，我们提出了一种新的框架，用于带有噪声和不平衡标签的无监督膝盖分割。我们的框架利用标签分布来鼓励网络投入更多精力来学习软骨部分。具体来说，我们使用1。）用于将所述目标损失函数修改为类别感知加权形式的标签数量分布，以及2.）标记位置分布，用于构建裁剪概率掩模，以从标记和未标记的输入中裁剪软骨区域中的更多子体积。此外，我们设计了双重不确定性感知的抽样监督，以加强对低置信度类别的监督，以实现高效的无监督学习。实验表明，我们提出的框架带来了显着的改善，包括未标记的数据和缓解类不平衡的问题。更重要的是，我们的方法优于最先进的SSL方法，证明了我们的框架在更具挑战性的SSL设置中的潜力。
2022-05-07 cs.CV
Imbalanced Learning-based Automatic SAR Images Change Detection by Morphologically Supervised PCA-Net
Xidian University（西安电子科技大学）；Wuhan University（武汉大学）
变化检测是一个相当具有挑战性的任务，由于不变和变化的类之间的不平衡。另外，传统的对数比差分方法容易受到散斑的影响，降低了精度。本文提出了一种基于PCA网络的非平衡学习变化检测算法（PCA-Net），该算法设计了一个有监督的PCA网络，直接从给定的多时相SAR图像中获取鲁棒特征，而不是通过差分图来获取。此外，为了解决变化和不变类之间的不平衡，我们提出了一种形态学监督学习方法，其中两个类之间的边界附近的像素中的知识被利用来指导网络训练。最后，我们提出的PCA网络可以通过具有可用参考地图的数据集进行训练，并应用于新的数据集，这在变化检测项目中非常实用。我们提出的方法进行了验证，对五套多时间SAR图像。实验结果表明，利用边界训练样本中的知识，学习到的特征有利于变化检测，使该方法优于随机抽取样本训练的有监督方法。
2019-06-19 cs.CV cs.LG
ABC: Auxiliary Balanced Classifier for Class-imbalanced Semi-supervised Learning
KAIST（韩国科学技术院）
现有的半监督学习（SSL）算法通常假设类平衡的数据集，虽然许多现实世界的数据集的类分布是不平衡的。一般来说，在类不平衡数据集上训练的分类器偏向于大多数类。对于SSL算法来说，这个问题变得更成问题，因为它们利用未标记数据的有偏预测进行训练。然而，传统的类不平衡学习技术，这是专为标记的数据，不能很容易地与SSL算法相结合。我们提出了一个可扩展的类不平衡SSL算法，可以有效地使用未标记的数据，同时通过引入一个辅助平衡分类器（ABC）的单层，这是附加到现有的SSL算法的表示层减轻类不平衡。ABC是用一个小批量的类平衡损失来训练的，同时使用从小批量中的所有数据点学习的高质量表示，使用主干SSL算法来避免过拟合和信息丢失。此外，我们使用一致性正则化，这是一种最新的SSL技术，用于以修改的方式利用未标记的数据，通过为每个类选择具有相同概率的未标记数据来训练ABC以在类之间平衡。该算法在使用四个基准数据集的各种类不平衡SSL实验中实现了最先进的性能。
2021-10-20 cs.CV cs.LG
Scale-Equivalent Distillation for Semi-Supervised Object Detection
The University of Hong Kong（香港大学）；Tsinghua University（清华大学）
最近的半监督目标检测（SS-OD）方法主要基于自训练，即，通过教师模型在未标记的数据上生成硬伪标记作为监督信号。虽然他们取得了一定的成功，有限的标记数据在半监督学习规模的目标检测的挑战。我们分析了这些方法遇到的挑战与实证实验结果。我们发现大量的假阴性样本和较差的定位精度缺乏考虑。此外，对象大小和类不平衡的大方差（即，背景和对象之间的极端比例）阻碍了现有技术的表现。此外，我们克服了这些挑战，通过引入一种新的方法，规模等效蒸馏（SED），这是一个简单而有效的端到端的知识蒸馏框架强大的大对象大小的变化和类的不平衡。与以前的作品相比，SED有几个吸引人的好处。(1)SED施加一致性正则化来处理大规模方差问题。(2)SED消除了假阴性样本的噪声问题和较差的定位精度。(3)重新加权策略可以隐式地筛选未标记数据的潜在前景区域，以减少类别不平衡的影响。大量的实验表明，SED始终优于最近的国家的最先进的方法在不同的数据集显着的利润率。例如，当在MS-COCO上使用5%和10%的标记数据时，它超过了有监督的对应物超过10 mAP。
2022-03-26 cs.AI cs.CV
