Semi-supervised Learning with Graphs: Covariance Based Superpixels For Hyperspectral Image Classification
University of Cambridge（剑桥大学）
提出了一种基于图的半监督高光谱图像分类框架。我们首先介绍了一种新的超像素算法的基础上的光谱协方差矩阵表示的像素，以提供一个更好的表示我们的数据。然后，我们在进行分类之前，根据仔细考虑的特征向量构建一个超像素图。通过使用两个基准数据集的一组实验结果，我们证明了我们的方法优于三种最先进的分类框架，特别是当使用极少量的标记数据时。
2019-05-14 cs.CV cs.LG stat.ML
Semi-supervised Source Detection in Astronomical Images: New Benchmark and Strong Baseline
School of Software Dalian University of Technology（大连理工大学软件学院）；National Astronomical Observatories Chinese Academy of Sciences（中国科学院国家天文台）；Research Institute of Highway Ministry of Transport（交通运输部公路科学研究院）
针对天文图像中源检测的挑战，提出LAMOST-DET基准数据集和半监督学习框架Nova Teacher，通过光源增强、置信度引导伪监督和跨视图互补挖掘，在稀疏标注下有效检测密集源，mAP提升4.04%和5.22%。
2026-06-08 astro-ph.IM cs.CV
Detection and Classification of Astronomical Targets with Deep Neural Networks in Wide Field Small Aperture Telescopes
Taiyuan University of Technology（太原理工大学）
宽视场小口径望远镜广泛用于光学瞬态观测。天文目标的检测与分类是天文观测图像中最重要、最基本的步骤。本文提出了一种基于深度神经网络的天文目标检测和分类框架。我们的框架采用了Faster R-CNN的概念，并使用修改后的Resnet-50作为骨干网络和特征金字塔网络来从不同天文目标的图像中提取特征。为了提高我们的框架的泛化能力，我们使用模拟和真实的观察图像来训练神经网络。训练后的神经网络能够对天文目标进行自动检测和分类。我们测试我们的框架与模拟数据的性能，发现我们的框架具有几乎相同的检测能力的传统方法的明亮和孤立的源和我们的框架有2倍更好的检测能力，为昏暗的目标，虽然所有的天体检测传统方法可以正确地分类。我们还使用我们的框架来处理真实的观测数据，发现当我们的框架的阈值为0. 6时，我们的框架可以比传统方法提高25%的检测能力。瞬态目标的快速发现是非常重要的，我们进一步建议将我们的框架安装在嵌入式设备，如Nvidia Jetson Xavier，以实现实时天文目标检测和分类能力。
2020-03-14 astro-ph.IM cs.CV
Morphological classification of astronomical images with limited labelling
Moscow State University（莫斯科国立大学）；Space Research Institute of RAS（俄罗斯科学院空间研究所）
形态学分类对于简单的参数化来说是一项复杂的任务，但对于星系演化领域的研究却非常重要。未来的星系巡天（如EUCLID）将收集超过一个$10^9$星系的数据。为了获得形态学信息，人们需要参与标记星系图像，这需要大量的资金或大量的志愿者。提出了一种基于对抗自动编码器（AAE）模型的主动学习的半监督星系形态分类方法。对于二元分类问题（Galaxy Zoo 2决策树的顶级问题），我们在测试部分仅使用86万个标记动作就实现了93.1%的准确率，该模型可以轻松地扩展到任何数量的图像。我们最好的模型与额外的标记实现了95.5%的准确性。据我们所知，这是第一次AAE半监督学习模型用于天文学。
2021-04-27 astro-ph.GA cs.CV cs.LG
Classifying Image Sequences of Astronomical Transients with Deep Neural Networks
Universidad de los Andes（洛斯安第斯大学）；Center for Research and Formation in Artificial Intelligence（人工智能研究与培训中心）；Systems and Computing Engineering Department（系统与计算工程系）；Departamento de Física（物理系）
监督分类的时间序列的天文图像到有意义的瞬态天体物理现象一直被认为是一个困难的问题，因为它需要人类专家的干预。分类器使用专家的知识来寻找启发式特征来处理图像，例如，通过执行图像减法或通过提取稀疏信息，例如通量时间序列，也称为光曲线。我们提出了一种成功的深度学习方法，可以直接从成像数据中学习。我们的方法使用深度卷积神经网络和门控递归单元显式地建模时空模式。我们使用来自卡特琳娜实时瞬变调查的130万张真实天文图像训练这些深度神经网络，将序列分类为五种不同类型的天文瞬变类。TAO-Net（瞬态天文物体网络）架构在光变曲线上的性能比随机森林分类的结果高出10个百分点，这是通过每个类别的F1得分来衡量的;各个类别的平均F1从随机森林分类的$45\%$到TAO-Net的$55\%$。TAO-Net的这一成就为开发用于早期瞬态检测的新深度学习架构提供了可能性。我们提供了TAO-Net的训练数据集和训练模型，以便将来扩展这项工作。
2020-10-02 astro-ph.IM cs.CV
MANTRA: A Machine Learning reference lightcurve dataset for astronomical transient event recognition
Universidad de los Andes（安第斯大学）
我们介绍MANTRA，一个注释数据集的4869瞬态和71207非瞬态对象lightcurves从卡塔利娜实时瞬态调查。我们提供公众访问这个数据集作为一个纯文本文件，以促进天文瞬态事件识别算法的标准化定量比较。数据集中包括的一些类别是：超新星，激变变星，活动星系核，高自行星，耀变体和耀斑。作为可以在数据集上执行的任务的一个示例，我们使用多种数据预处理方法，特征选择技术和流行的机器学习算法（支持向量机，随机森林和神经网络）进行实验。我们在两个分类任务中评估定量性能：二进制（瞬态/非瞬态）和八类分类。在这两个任务中性能最好的算法是随机森林分类器。它在二分类中达到了96.25%的F1得分，在八类分类中达到了52.79%。对于八类分类，非瞬变星（96.83%）是F1分数最高的一类，而最低的对应于高自行星（16.79%）;对于超新星，它达到了54.57%的值，接近所有类别的平均值。MANTRA的下一个版本包括具有深度学习模型的图像和基准测试。
2020-06-30 astro-ph.IM cs.CV
Supervised Classification of RADARSAT-2 Polarimetric Data for Different Land Features
在温哥华地区的雷达卫星2号的混淆矩阵中，属于用户定义区域的像素百分比被分配到聚类，进行了分类分析。在这项研究中，监督Wishart和支持向量机（SVM）分类器在RADARSAT-2（RS 2）精细四极模式单视复杂（SLC）产品数据的计算和比较。与传统的单通道或双通道极化相比，RADARSAT-2是全极化的，使其能够为分类操作提供更好的地物对比度。
2016-08-01 cs.CV
Confidence-Guided Semi-supervised Learning in Land Cover Classification
Cardiff University（卡迪夫大学）
本文提出置信度引导半监督学习方法CGSSL，通过利用高置信度伪标签并引入多网络架构提升伪标签多样性，在Potsdam土地覆盖分类基准上超越经典半监督和全监督方法。
2023-05-30 cs.CV
Do we still need ImageNet pre-training in remote sensing scene classification?
University of Banja Luka（巴尼亚卢卡大学）
由于标记数据的稀缺性，使用ImageNet上预训练的监督模型是遥感场景分类的事实标准。近年来，随着高分辨率遥感图像数据集的不断涌现和自监督学习的发展，人们开始思考是否需要对ImageNet进行监督预训练，以及在目标遥感场景分类任务中，对HRRS图像数据集进行监督预训练和对ImageNet进行自监督预训练是否能取得更好的效果。为了回答这些问题，在本文中，我们从头开始训练模型，并在几个HRRS图像数据集上微调监督和自监督ImageNet模型。我们还评估了HRRS场景分类任务的学习表示的可转移性，并表明自监督预训练优于监督预训练，而HRRS预训练的性能与自监督预训练相似或略低。最后，我们建议使用ImageNet预训练模型结合使用域内HRRS图像的第二轮预训练，即域自适应预训练。实验结果表明，域自适应预训练的结果在HRRS场景分类基准上达到了最先进的结果。源代码和预训练模型可在\url{https://github.com/risojevicv/RSSC-transfer}上获得。
2022-05-25 cs.CV
FLARE up your data: Diffusion-based Augmentation Method in Astronomical Imaging
University of Waterloo（滑铁卢大学）
FLARE 是一种基于特征学习和增强分辨率提升的两阶段扩散增强框架，通过重新对齐特征空间分布，在多个天文数据集上显著提升图像分类性能，最高提升 20.78%。
2024-05-22 cs.CV
Self-supervised Mean Teacher for Semi-supervised Chest X-ray Classification
University of Adelaide（阿德莱德大学）；Universidade Federal Rural de Pernambuco（伯南布哥联邦农村大学）；Universität Ulm（乌尔姆大学）；South Australian Health and Medical Research Institute（南澳大利亚健康与医学研究所）
深度学习模型的训练通常需要大量的注释数据，以实现有效的收敛和泛化。然而，获得高质量的注释是一个费力和昂贵的过程，由于需要专业的放射科医生的标签任务。医学图像分析中的半监督学习的研究是至关重要的，因为获得未标记的图像比获得由放射科专家标记的图像便宜得多。从本质上讲，半监督方法利用大量未标记的数据集来实现比仅使用少量标记图像更好的训练收敛和泛化。在本文中，我们提出了半监督（S $^2$ MTS $^2$）学习的自监督均值教师，它将自监督均值教师预训练与半监督微调相结合。S $^2$ MTS $^2$的主要创新点是基于联合对比学习的自监督平均教师预训练，它使用无限数量的正查询和关键特征对来改进平均教师表示。然后使用经过半监督学习训练的指数移动平均教师框架对模型进行微调。我们验证了S $^2$ MTS $^2$在胸部X射线14和CheXpert的多标签分类问题上的有效性，以及ISIC 2018的多类分类，我们表明它大大优于以前的SOTA半监督学习方法。
2021-11-04 cs.CV
Road Detection through Supervised Classification
Chemnitz University of Technology（开姆尼茨工业大学）；Drexel University（德雷塞尔大学）
自动驾驶是一项快速发展的技术。自主车辆能够通过诸如雷达、激光雷达、GNSS、车辆里程计和计算机视觉之类的传感信息来感测其环境并在没有人类输入的情况下进行导航。这种感官输入提供了丰富的数据集，可以与机器学习模型结合使用，以解决监督设置中的多个问题。在本文中，我们专注于道路检测通过灰度图像作为唯一的感官输入。我们的贡献是双重的：首先，我们为机器学习任务引入了一个城市道路的注释数据集;其次，我们通过监督分类和手工制作的特征向量在这个数据集上引入了一个道路检测框架。
2016-05-10 cs.CV
Skin lesion classification with ensemble of squeeze-and-excitation networks and semi-supervised learning
Hosei University（法政大学）
在本报告中，我们介绍了我们的系统在任务3：ISIC 2018疾病分类：皮肤病变分析对黑色素瘤检测的概述。我们微调多个预训练的神经网络模型的基础上挤压和激励网络（SENet），在图像识别领域取得了最先进的成果。此外，我们使用平均教师作为半监督学习框架，并引入了一些专门设计的数据增强策略用于皮肤病变分析。我们证实了我们的数据增强策略提高了分类性能，并在官方ISIC 2018验证数据集上展示了87.2%的平衡准确率。
2018-09-07 cs.CV
Crowd Counting by Self-supervised Transfer Colorization Learning and Global Prior Classification
The Hong Kong University of Science and Technology（香港科技大学）
标记的人群场景图像是昂贵且稀缺的。为了显着降低对标记图像的要求，我们提出了ColorCount，这是一种新的基于CNN的方法，通过结合自监督转移着色学习和全局先验分类来利用大量可用的未标记数据。自监督着色分支通过使用其颜色分量作为伪标签来学习图像的语义和表面纹理。分类分支通过学习图像簇之间的相关性来提取全局组先验。它们融合的结果判别特征（全局先验、语义和纹理）为计数提供了充足的先验，从而显著降低了对标记图像的要求。我们对四个具有挑战性的基准进行了广泛的实验。与其他无监督方法相比，ColorCount实现了更好的性能。它的性能接近监督基线，具有显著更少的标记数据（原始数据的10%）。
2021-05-20 cs.CV
Distilling Self-Supervised Vision Transformers for Weakly-Supervised Few-Shot Classification & Segmentation
Meta AI；POSTECH（浦项科技大学）；Australian National University（澳大利亚国立大学）
本文利用自监督预训练视觉Transformer的token相关性，通过自注意力和伪标签增强器实现弱监督少样本分类与分割，在Pascal-5i和COCO-20i上显著提升性能。
2023-07-07 cs.CV
Cluster-Guided Semi-Supervised Domain Adaptation for Imbalanced Medical Image Classification
Kyushu University（九州大学）；Kyoto University（京都大学）；The University of Tokyo（东京大学）
半监督领域自适应是一种通过使用来自目标域的许多未标记样本和少量标记样本修改另一（源）域中的分类器来构建目标域的分类器的技术。在本文中，我们开发了一种半监督领域自适应方法，它具有鲁棒性类不平衡的情况下，这是常见的医学图像分类任务。为了鲁棒性，我们提出了一个弱监督聚类管道，以获得高纯度的集群，并利用集群的表示学习领域自适应。所提出的方法在实验中使用严重类不平衡的病理图像补丁显示出最先进的性能。
2023-03-02 cs.CV
Semiconductor SEM Image Defect Classification Using Supervised and Semi-Supervised Learning with Vision Transformers
IBM Research（IBM研究院）
本文提出基于视觉Transformer的半导体SEM图像缺陷自动分类方法，结合DinoV2迁移学习和半监督学习，在每类少于15张图像的条件下实现超过90%的分类准确率。
2025-06-03 cs.CV
CosmoCLIP: Generalizing Large Vision-Language Models for Astronomical Imaging
Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
本文提出CosmoCLIP框架，利用SpaceNet约13k张天文图像和BLIP生成的描述对预训练CLIP进行对比微调，显著提升天文图像零样本分类与图像-文本检索性能。
2024-11-21 cs.CV
VideoSSL: Semi-Supervised Learning for Video Classification
Comcast Applied AI Research（康卡斯特应用人工智能研究）；The City University of New York（纽约城市大学）
我们提出了一个半监督学习方法的视频分类，VideoSSL，使用卷积神经网络（CNN）。与其他计算机视觉任务一样，现有的监督视频分类方法需要大量的标记数据才能获得良好的性能。然而，大型数据集的注释是昂贵且耗时的。为了最大限度地减少对大型注释数据集的依赖，我们提出的半监督方法从少量标记的示例中进行训练，并利用来自未标记数据的两个调节信号。第一个信号是根据正在训练的CNN的置信度计算的未标记示例的伪标签。另一个是归一化概率，如由图像分类器CNN预测的，其捕获关于视频中感兴趣对象的外观的信息。我们表明，在来自未标记示例的这些指导信号的监督下，视频分类CNN可以利用三个公开数据集上的一小部分注释示例实现令人印象深刻的性能：UCF 101，HMDB 51和Kinetics。
2020-02-29 cs.CV
Classification of Transient Astronomical Object Light Curves Using LSTM Neural Networks
Centro Brasileiro de Pesquisas Físicas（巴西物理研究所）；Universidade Federal de Minas Gerais（巴西矿务大学）；Instituto Superior Técnico（技术高级学院）
本文提出双向LSTM网络对瞬变天体光变曲线进行分类，通过重新组织类别缓解不平衡问题，但受限于时间信息和类别不平衡，部分类别表现欠佳。
2025-11-13 astro-ph.IM cs.AI cs.CV
Boost Picking: A Universal Method on Converting Supervised Classification to Semi-supervised Classification
提出了一种基于未标记数据的监督分类模型的通用训练方法Boost Picking。Boost Picking只采用两个弱分类器来估计和校正误差。从理论上证明了Boost Picking算法在两个弱分类器的召回率均大于零且精度之和大于1的条件下，可以训练主要使用未标记数据的监督模型，其效果与使用100%标记数据的监督模型一样好。在Boost Picking的基础上，我们提出了“测试与训练（TawT）”，以提高监督模型的泛化能力。Boost Picking和TawT都在不同的小数据集上成功地进行了测试。
2016-11-12 cs.CV cs.LG
Classification of Astronomical Bodies by Efficient Layer Fine-Tuning of Deep Neural Networks
UpGrad Education Private Limited（UpGrad教育私人有限公司）；Verizon, India（威瑞森印度公司）
SDSS-IV数据集包含有关各种天文体的信息，如天文台捕获的Galerkin，恒星和类星体。受我们在深度多模态学习方面的工作的启发，我们利用迁移学习对SDSS-IV数据集进行分类，我们进一步扩展了对这些架构进行微调的研究，以研究分类场景中的效果。Resnet-50、DenseNet-121、VGG-16、Xception、EfficientNetB 2、MobileNetV 2和NasnetMobile等架构都是使用不同级别的逐层微调构建的。我们的研究结果表明，冻结所有具有Imagenet权重的层并添加最终可训练层可能不是最佳解决方案。此外，基线模型和具有更高数量的可训练层的模型在某些架构中表现类似。模型需要在不同的级别上进行微调，并且需要特定的训练比率才能使模型被称为理想模型。不同的架构对可训练层数量的变化有不同的反应。虽然DenseNet-121、Xception、EfficientNetB 2等模型达到了与接近完美的训练曲线相对一致的峰值准确度，但Resnet-50、VGG-16、MobileNetV 2和NasnetMobile等模型的峰值准确度较低，延迟，训练曲线拟合较差。还发现，尽管移动神经网络具有较小的参数和模型大小，但它们可能并不总是理想地部署在低计算设备上，因为它们具有一贯较低的验证精度。自定义的评估指标，如调整参数比率和调整层比率，用于模型评估。
2022-05-14 cs.AI cs.CV cs.LG
Image-Based Vehicle Classification by Synergizing Features from Supervised and Self-Supervised Learning Paradigms
University of Georgia（佐治亚大学）
本文介绍了一种新的方法，利用从监督和自监督范式中学习的特征，以改善图像分类任务，特别是车辆分类。两个国家的最先进的自监督学习方法，DINO和data 2 vec，进行评估和比较，他们的表示学习的车辆图像。前者对比了局部和全局视图，而后者在多层表示上使用掩码预测。在后一种情况下，采用监督学习来微调用于检测车辆车轮的预训练的YOLOR对象检测器，从该检测器中检索确定的车轮位置特征。从这些自监督学习方法中学习到的表示与车辆分类任务的车轮位置特征相结合。特别是，一个随机的车轮掩蔽策略被用来微调先前学习的表示与车轮的位置特征在训练过程中的分类。我们的实验表明，data 2 vec提取的表示，这是符合我们的车轮掩蔽策略，优于DINO对应，导致著名的Top-1分类准确率为97.2%的13种车辆分类由联邦公路管理局定义。
2023-02-01 cs.CV eess.IV
EC-GAN: Low-Sample Classification using Semi-Supervised Algorithms and GANs
Saratoga High School（萨拉托加高中）
半监督学习已经获得关注，因为它允许执行图像分析任务，例如使用有限的标记数据进行分类。使用生成对抗网络（GANs）进行半监督分类的一些流行算法共享用于分类和区分的单个架构。然而，这可能需要模型为每个任务收敛到单独的数据分布，这可能会降低整体性能。虽然半监督学习已经取得了进展，但小规模的全监督任务却很少得到解决，即使是未标记的数据也无法获得。因此，我们提出了一种新的GAN模型，即外部分类器GAN（EC-GAN），它利用GANs和半监督算法来改善全监督机制中的分类。我们的方法利用GAN来生成用于补充监督分类的人工数据。更具体地说，我们将外部分类器（因此命名为EC-GAN）附加到GAN的生成器，而不是与GAN共享架构。我们的实验表明，EC-GAN的性能与共享架构方法相当，远优于标准的数据增强和基于正则化的方法，并且在小的真实数据集上有效。
2021-06-21 cs.CV cs.LG
Vanishing Twin GAN: How training a weak Generative Adversarial Network can improve semi-supervised image classification
Institute of Medical Science, University of Toronto（多伦多大学医学科学研究所）；The Hospital for Sick Children（SickKids医院（多伦多病童医院））；Department of Mechanical and Industrial Engineering, University of Toronto（多伦多大学机械与工业工程系）
生成对抗网络可以在半监督框架中学习随机噪声到真实图像的映射。这种映射能力可以用于半监督图像分类，以检测未知类别的图像，其中不存在要用于监督分类的训练数据。然而，如果未知类与已知类具有相似的特征，则GANs可以学习泛化并生成看起来像两个类的图像。这种泛化能力会阻碍分类性能。在这项工作中，我们提出了消失的双GAN。通过训练弱GAN并将其生成的输出图像与常规GAN并行使用，Vanishing Twin训练改进了半监督图像分类，其中图像相似性可能会损害分类任务。
2021-03-03 cs.CV eess.IV
Semi-supervised learning for joint SAR and multispectral land cover classification
Politecnico di Torino（都灵理工大学）
半监督学习技术由于其构建有效模型的能力而越来越受欢迎，即使在标记数据稀缺的情况下也是如此。在本文中，我们提出了一个框架和具体任务的自我监督预训练的\textit{multichannel}模型，如多光谱和合成孔径雷达图像的融合。我们表明，所提出的自监督方法在学习与土地覆盖分类标签相关的特征方面非常有效。这是通过预训练任务的明确设计实现的，该任务促进弥合感测模态和利用输入的光谱特性之间的差距。在半监督设置中，当有限的标签可用时，使用所提出的自监督预训练，然后使用SAR和多光谱数据对土地覆盖分类进行监督微调，优于传统方法，如纯监督学习，ImageNet训练初始化和其他最近的自监督方法。
2022-07-28 cs.CV eess.IV
Data--driven Image Restoration with Option--driven Learning for Big and Small Astronomical Image Datasets
Taiyuan University of Technology（太原理工大学）；Durham University（杜伦大学）
图像复原是提高天文图像质量的常用方法。近年来，深度神经网络的发展和天文图像数量的增加引发了许多数据驱动的图像恢复方法。然而，这些方法大多属于监督学习算法，需要成对的图像从真实的观察或模拟数据作为训练集。在某些应用中，很难从实际观测中得到足够的成对图像，并且模拟图像与实际观测图像相差很大。在本文中，我们提出了一种新的数据驱动的图像恢复方法的基础上生成对抗网络与选项驱动学习。我们的方法使用几个高分辨率的图像作为参考，并采用不同的学习策略时，参考图像的数量是不同的。对于观测条件多变的巡天观测，无论参考图像的数量如何，我们的方法都能获得非常稳定的图像复原结果。
2020-11-07 astro-ph.GA astro-ph.IM astro-ph.SR
Identifying outliers in astronomical images with unsupervised machine learning
Nanjing University of Posts and Telecommunications（南京邮电大学）；National Astronomical Observatories, Chinese Academy of Sciences（中国科学院国家天文台）；University of Chinese Academy of Sciences（中国科学院大学）
天文异常值，如不寻常的，罕见的或未知类型的天文物体或现象，不断导致发现真正的天文学知识。随着未来调查数据覆盖面的扩大和质量的提高，原则上会发现更多不可预测的离群值。然而，它是一个严峻的挑战，从巨大的数据挖掘罕见的和意想不到的目标与人类的检查，由于巨大的工作量。监督学习也不适合于此目的，因为为未预期的信号设计适当的训练集是不可行的。基于这些挑战，我们采用无监督的机器学习方法来识别星系图像数据中的异常值，以探索检测天文异常值的路径。为了比较，我们分别构造了基于k-近邻（KNN）、卷积自动编码器（CAE）+ KNN和CAE + KNN +注意力机制（attCAE KNN）的三种方法。基于在线发布的Galaxy Zoo图像数据创建测试集，以评估上述方法的性能。结果表明，attCAE KNN达到最佳召回率（78%），比经典KNN方法高53%，比CAE+KNN高22%。attCAE KNN（10分钟）的效率也优于KNN（4小时），相当于CAE+KNN（10分钟）完成相同的任务。因此，我们相信，这是可行的，以无监督的方式检测星系图像数据中的天文异常值。接下来，我们将对可用的调查数据集应用attCAE KNN，以评估其适用性和可靠性。
2022-05-19 astro-ph.IM cs.CV
AstroClearNet: Deep image prior for multi-frame astronomical image restoration
Department of Applied Mathematics and Statistics, Johns Hopkins University（应用数学与统计学系，约翰霍普金斯大学）；Johns Hopkins University（约翰霍普金斯大学）；Department of Computer Science, Johns Hopkins University（计算机科学系，约翰霍普金斯大学）；Department of Physics and Astronomy, Johns Hopkins University（物理与天文学系，约翰霍普金斯大学）
针对地面天文观测因大气湍流导致图像模糊、多帧叠加提升信噪比难度大的问题，提出基于深度图像先验的自监督多帧方法AstroClearNet，通过带物理约束的卷积神经网络整合多帧信息实现去噪去模糊叠加，在Hyper Suprime-Cam数据上取得清晰复原的初步效果。
2025-09-02 astro-ph.IM cs.CV
Region Proposals for Saliency Map Refinement for Weakly-supervised Disease Localisation and Classification
Australian Institute for Machine Learning, The University of Adelaide（阿德莱德大学澳大利亚机器学习研究所）；Institute for Systems and Robotics, Instituto Superior Tecnico（高等技术学院系统与机器人研究所）
部署自动化系统从医学图像诊断疾病的挑战是需要定位诊断的疾病，以证明或解释分类决策。这一要求很难满足，因为大多数可用于开发这些系统的训练集只包含全局注释，使得疾病定位成为一种弱监督方法。为弱监督疾病分类和定位而设计的主要方法依赖于未专门针对定位进行训练的显着性或注意力地图，或者无法细化以产生准确检测的区域建议。在本文中，我们引入了一种新模型，该模型结合了区域建议和显着性检测，以克服弱监督疾病分类和定位的局限性。使用ChestX-ray 14数据集，我们证明了我们提出的模型为弱监督疾病诊断和定位建立了新的最先进技术。
2020-05-22 cs.CV cs.LG
Applying Vision Transformers on Spectral Analysis of Astronomical Objects
Harvard Extension School（哈佛大学延伸学校）；Harvard University（哈佛大学）；John A. Paulson School of Engineering and Applied Science（约翰·A·保罗森工程与应用科学学院）；Department of Computer Science（计算机科学系）；Center for Data and Artificial Intelligence（数据与人工智能中心）；Millennium Institute of Astrophysics (MAS)（千年天体物理研究所 (MAS)）；Millennium Nucleus for Galaxies (MINGAL)（银河千年核 (MINGAL)）；Heidelberg Institute for Theoretical Studies（海德堡理论研究所）
本文将预训练的视觉变换器应用于天文光谱数据分析，通过将一维光谱转换为二维图像表示，利用空间自注意力机制捕捉局部和全局特征，实现了优于传统方法的分类和红移估计性能。
2025-05-30 astro-ph.IM cs.CV
Semi-Supervised Classification and Segmentation on High Resolution Aerial Images
Manipal Institute of Technology（马尼帕尔理工学院）
FloodNet是一个小型无人机平台DJI Mavic Pro四轴飞行器在飓风哈维之后获得的高分辨率图像数据集。该数据集提出了一个独特的挑战，即使用未标记和有限的标记数据集推进灾后场景的损害评估过程。我们提出了一个解决方案，以解决他们的分类和语义分割的挑战。我们通过在训练过程中为分类和分割生成伪标签来解决这个问题，并慢慢增加伪标签丢失对最终丢失的影响。使用这种半监督的训练方法帮助我们通过分类的巨大幅度改善了基线监督损失，使模型能够泛化并在数据集的验证和测试分割上表现得更好。在本文中，我们比较和对比的各种方法和模型的图像分类和语义分割的FloodNet数据集。
2021-06-24 cs.AI cs.CV
Supervised Classification Performance of Multispectral Images
Madurai Kamaraj University（马杜赖卡马尔吉大学）
如今，政府和私人机构将遥感图像用于从军事应用到农业发展的广泛应用。这些图像可以是全色、多光谱、高光谱甚至超光谱的。遥感图像分类是遥感最重要的应用领域之一。一些图像分类算法在遥感数据分类中已被证明具有较好的精度。但是，近年来，随着遥感数据的时空维度的增加，传统的分类算法暴露出了不足，需要在遥感图像分类领域进行进一步的研究。因此，需要一个有效的分类器对遥感图像进行分类，提取信息。我们正在试验监督和非监督分类。在这里，我们比较不同的分类方法和它们的性能。实验结果表明，马氏分类器的分类效果最好。
2010-02-22 cs.CV cs.LG
Density-Aware Hyper-Graph Neural Networks for Graph-based Semi-supervised Node Classification
South China University of Technology（华南理工大学）；Concordia University（康考迪亚大学）
基于图的半监督学习可以利用标记数据和未标记数据之间的连接关系，在许多人工智能应用中表现出优于最先进的技术。基于图的半监督节点分类算法最具挑战性的问题之一是如何利用数据间的隐含信息来提高分类性能。传统的基于图的半监督学习研究主要集中在数据之间的成对连接上。然而，实际应用中的数据相关性可能超出成对和更复杂。密度信息已被证明是一个重要的线索，但它很少深入探讨现有的基于图的半监督节点分类方法。为了开发一种灵活有效的基于图的半监督节点分类模型，我们提出了一种新的密度感知超图神经网络（DA-HGNN）。在我们提出的方法中，超图是用来探索数据之间的高阶语义相关性，并提出了一个密度感知的超图注意力网络来探索高阶连接关系。在不同的基准数据集上进行了大量的实验，结果表明了所提出的方法的有效性。
2022-01-27 cs.CV cs.LG
Multi-class Generative Adversarial Nets for Semi-supervised Image Classification
University of Toronto（多伦多大学）；Institute of Medical Science, University of Toronto（多伦多大学医学科学研究所）；The Hospital for Sick Children（SickKids医院（多伦多病童医院））；Department of Mechanical and Industrial Engineering, University of Toronto（多伦多大学机械与工业工程系）
从生成从未见过的图像到领域自适应，生成对抗网络（GANs）在视觉和图形问题领域的应用非常广泛。由于GANs在学习特定类别的分布和生成图像方面具有卓越的能力，它们可以用于半监督分类任务。然而，问题是，如果两类图像具有相似的特征，则GAN可能会学习泛化并阻碍两类图像的分类。在本文中，我们使用来自MNIST和Fashion-MNIST数据集的各种图像来说明相似的图像如何导致GAN泛化，从而导致图像分类不佳。我们对传统的GANs训练提出了一种修改，允许在半监督学习框架中改进相似图像类的多类分类。
2021-02-22 cs.AI cs.CV
Big Self-Supervised Models Advance Medical Image Classification
Google Research and Health（谷歌研究与健康）
自我监督预训练，然后进行监督微调，在图像识别中取得了成功，特别是当标记的例子很少时，但在医学图像分析中受到的关注有限。本文研究了自监督学习作为医学图像分类预训练策略的有效性。我们对两个不同的任务进行了实验：数码相机图像的皮肤病皮肤状况分类和多标签胸部X射线分类，并证明了ImageNet上的自监督学习，然后对未标记的特定领域医学图像进行额外的自监督学习，显着提高了医学图像分类器的准确性。我们介绍了一种新的多实例对比学习（MICLe）方法，该方法使用每个患者病例的基础病理的多个图像，当可用时，为自我监督学习构建更多信息的阳性对。结合我们的贡献，我们在皮肤病学和胸部X射线分类上分别实现了6.7%的top-1准确率和1.1%的平均AUC提高，优于ImageNet上预训练的强监督基线。此外，我们还证明了大型自监督模型对分布偏移具有鲁棒性，并且可以使用少量标记的医学图像进行有效学习。
2021-04-01 cs.CV cs.LG eess.IV
Harnessing Self-Supervised Features for Art Classification
University of Modena and Reggio Emilia（摩德纳和雷吉奥艾米利亚大学）
本文研究了监督和自监督主干作为特征提取器在艺术分类和检索中的有效性，特别是绘画，通过DINO家族和CLIP模型的实验评估，证明自监督主干在艺术分类中能带来一致的性能提升，并为现实应用如虚拟现实中的博物馆导航提供了见解。
2026-05-18 cs.AI cs.CV cs.MM
Supervised Classification: Quite a Brief Overview
Delft University of Technology（代尔夫特理工大学）；University of Copenhagen（哥本哈根大学）
监督分类的原始问题考虑的任务是根据来自这些对象的数值测量值自动将对象分配到它们各自的类。分类器是实现从这些测量（也称为特征或输入）到所谓的类标签或输出的实际功能映射的工具。模式识别和机器学习领域研究构造这种分类器的方式。监督方法背后的主要思想是从示例中学习：给定一些示例输入-输出关系，在多大程度上可以学习将任何新的和不可见的特征向量带到其正确类的一般映射？本章提供了一个基本的介绍如何来监督分类问题的基本思想。此外，它还概述了一些特定的分类技术，深入研究了对象表示和分类器评估的问题，并（非常）简要地介绍了一些基本监督分类任务的变化，这些变化也可能是从业者感兴趣的。
2017-10-25 cs.CV cs.LG stat.ML
3N-GAN: Semi-Supervised Classification of X-Ray Images with a 3-Player Adversarial Framework
Saratoga High School（萨拉托加高中）
深度学习在医学成像任务（如分类）中的成功在很大程度上依赖于大规模数据集的可用性。然而，获取具有大量标记数据的数据集具有挑战性，因为标记是昂贵且耗时的。半监督学习（SSL）是完全监督学习的一种日益增长的替代方案，但需要未标记的样本进行训练。在医学成像中，许多数据集完全缺乏未标记的数据，因此SSL无法常规使用。我们提出了3 N-GAN或3网络生成对抗网络，以在全监督设置中执行医学图像的半监督分类。我们将一个分类器纳入对抗关系中，这样生成器就可以对抗分类器和分类器进行训练。我们的初步结果表明，改进的分类性能和GAN代各种算法。我们的工作可以与许多其他医学成像模型架构和SSL方法无缝集成，以获得更高的性能。
2021-09-22 cs.CV cs.LG eess.IV
Semi-supervised GAN for Classification of Multispectral Imagery Acquired by UAVs
Kingston University（金斯顿大学）
无人驾驶飞行器（UAV）用于精准农业（PA），以实现对农田的空中监测。需要智能方法来查明杂草侵扰并选择最佳的杀虫剂。无人机可以飞行多光谱相机并收集数据。然而，使用诸如卷积神经网络（CNN）的监督机器学习算法对多光谱图像进行分类需要大量的训练数据。这是深度学习中的一个常见缺点，我们试图利用半监督生成对抗网络（GAN）来规避，为所有获取的多光谱图像提供像素分类。我们的算法由一个生成器网络组成，该生成器网络为多类分类器提供照片般逼真的图像作为额外的训练数据，作为训练器并在少量标记数据上进行训练。所提出的方法的性能进行评估的weedNet数据集组成的多光谱作物和杂草图像收集的微型飞行器（MAV）。所提出的半监督GAN的结果实现了高分类精度，并展示了基于GAN的方法在多光谱图像分类的挑战性任务中的潜力。
2019-05-24 cs.CV cs.LG eess.IV
Semi-Supervised Domain Adaptation for Cross-Survey Galaxy Morphology Classification and Anomaly Detection
Fermi National Accelerator Laboratory（费米国家加速器实验室）；Argonne National Laboratory（阿贡国家实验室）；Kavli Institute for Cosmological Physics（卡夫利宇宙物理研究所）；University of Chicago（芝加哥大学）
在大型天文调查的时代，我们同时利用人工智能算法处理多个数据集的能力将为科学发现开辟新的途径。不幸的是，简单地在来自一个数据域的图像上训练深度神经网络通常会导致在任何其他数据集上的性能非常差。在这里，我们开发了一种通用域自适应方法DeepAstroUDA，能够执行半监督域对齐，可以应用于具有不同类型的类重叠的数据集。额外的类可以存在于两个数据集中的任何一个中，该方法甚至可以在存在未知类的情况下使用。这是第一次，我们证明了成功使用域适应两个非常不同的观测数据集（从SDSS和DECaLS）。我们表明，我们的方法是能够弥合两个天文调查之间的差距，也表现良好的异常检测和聚类的未知数据在未标记的数据集。我们将我们的模型应用于两个例子的星系形态分类任务与异常检测：1）分类螺旋和椭圆星系与合并星系的检测（三个类，包括一个未知的异常类）; 2）一个更细粒度的问题，其中类描述更详细的星系形态属性，与引力透镜的检测（十类，包括一个未知的异常类）。
2022-11-11 astro-ph.GA cs.AI cs.CV
Systematic biases when using deep neural networks for annotating large catalogs of astronomical images
Kansas State University（堪萨斯州立大学）
深度卷积神经网络（DCNN）由于其非参数性质、良好的性能以及通过TensorFlow等库的可访问性，已成为自动图像注释的最常见解决方案。在其他领域中，DCNN也是一种常见的方法来注释数字巡天获得的大型天文图像数据库。DCNN的主要缺点之一是复杂的非直观规则，使DCNN充当“黑盒子”，以用户不清楚的方式提供注释。因此，用户通常无法知道DCNN使用什么信息进行分类。在这里，我们证明了DCNN的训练对训练数据的上下文敏感，例如天空中物体的位置。我们发现，对于椭圆星系和螺旋星系的基本分类，用于训练的星系的天空位置影响算法的行为，并导致一个小的，但一致的和统计上显着的偏差。这种偏差以基本星系形态分布的宇宙尺度各向异性的形式表现出来。因此，虽然DCNN是注释扩展源图像的强大工具，但星系形态学训练集的构建应该考虑对象视觉外观以外的更多方面。在任何情况下，用深度神经网络创建的表现出宇宙学各向异性迹象的目录都应该被解释为具有一致性偏差的可能性。
2022-01-10 astro-ph.CO astro-ph.GA cs.CV
