Collaborative Learning for Weakly Supervised Object Detection
Cooperative Madianet Innovation Center（Madianet协同创新中心）；Shanghai Jiao Tong University（上海交通大学）
弱监督目标检测最近受到了广泛的关注，因为它只需要图像级别的标签，而不是在强监督学习中消耗的边界框标签。然而，标签费用的节省通常是以模型精度为代价的。在本文中，我们提出了一个简单但有效的弱监督协作学习框架来解决这个问题，该框架通过强制部分特征共享和预测一致性来联合训练弱监督学习者和强监督学习者。对于目标检测，以WSDDN为弱监督检测器子网络，Faster-RCNN为强监督检测器子网络，提出了一种端到端的弱监督协作检测网络。由于不存在可用于训练Faster-RCNN类子网络的强监督，因此定义了新的预测一致性损失以强制两个子网络之间以及Faster-RCNN类子网络内的预测的一致性。同时，两个检测器被设计为部分共享特征，以进一步保证模型在感知水平上的一致性。在PASCAL VOC 2007和2012数据集上的大量实验证明了所提出的框架的有效性。
2018-02-10 cs.CV
Semi-supervised Fisher vector network
Queen Mary University of London（伦敦玛丽女王大学）
在这项工作中，我们探索了[8]中提出的架构，它表达了经典Fisher向量管道方法的处理步骤，即通过主成分分析（PCA）投影，高斯混合模型（GMM）和Fisher向量描述符提取作为网络层的降维，可以修改为混合网络，结合无监督和监督训练方法的优点，从而产生学习所述输入数据的半监督Fisher向量描述符的模型。我们评估了所提出的模型在图像分类和动作识别问题，并显示了模型的分类性能如何提高，在训练过程中的未标记数据量的增加。
2018-01-13 cs.CV
RPM-Net: Robust Pixel-Level Matching Networks for Self-Supervised Video Object Segmentation
KAIST（韩国科学技术院）
本文介绍了一种无需人工标记数据的自监督视频对象分割方法，具体而言，我们提出了鲁棒像素级匹配网络（RPM-Net），这是一种新的深度架构，仅使用来自未标记视频的颜色信息进行训练，匹配相邻帧之间的像素。从技术上讲，RPM-Net可以分为两个主要模块。嵌入模块首先将输入图像投影到高维嵌入空间。与以往的基于可变形卷积的方法不同，本文的匹配模块采用可变形卷积来关注时空相邻像素中的相似特征，实验结果表明，选择性特征采样提高了视频对象分割对相机抖动等挑战性问题的鲁棒性，快速运动、变形和遮挡。此外，我们在三个公共数据集（即，DAVIS-2017、SegTrack-v2和Youtube-Objects），并在自监督视频对象分割方面实现最先进的性能。此外，我们显着减少了自监督和全监督视频对象分割之间的性能差距（DAVIS-2017验证集上为41.0% vs. 52.5%）
2019-10-10 cs.CV
PhySU-Net: Long Temporal Context Transformer for rPPG with Self-Supervised Pre-training
University of Oulu（奥卢大学）；Center for Machine Vision and Signal Analysis (CMVS)（机器视觉与信号分析中心）
提出首个长时空图rPPG Transformer网络PhySU-Net及自监督预训练策略，利用传统方法和图像掩码生成伪标签，在OBF和VIPL-HR数据集上表现优越，有效缓解数据稀缺问题。
2024-02-19 cs.CV
Semi-supervised Learning with Adaptive Neighborhood Graph Propagation Network
Anhui University（安徽大学）
图卷积网络（GCN）已被广泛研究用于紧凑数据表示和半监督学习任务。然而，现有的GCN通常使用固定的邻域图，这不能保证对于半监督学习任务是最优的。本文首先将GCN中的图卷积运算重新解释为特征传播和（非线性）变换的组合。在此基础上，我们提出了一个统一的自适应邻域特征传播模型，并推导出一个新的自适应邻域图传播网络（ANGPN）的数据表示和半监督学习。ANGPN的目标是在统一的公式中同时协作地进行图构造和图卷积，从而可以学习最适合于数据表示和半监督学习的图卷积的最佳邻域图。ANGPN的一个主要好处是，学习的（卷积）表示可以提供有用的弱监督信息，用于构建更好的邻域图，同时便于数据表示和学习。在四个基准数据集上的实验结果证明了所提出的ANGPN的有效性和优势。
2019-11-21 cs.CV
Semi-Supervised Learning with Context-Conditional Generative Adversarial Networks
Courant Institute, New York University（纽约大学柯朗研究所）；Facebook AI Research（Facebook人工智能研究院）
本文提出一种基于对抗损失图像修复的半监督学习方法，通过生成器填补随机移除区域并让判别器区分真伪，实现大型VGG网络半监督训练，在STL-10和PASCAL上性能优于或媲美现有方法。
2016-11-19 cs.CV
Urban Change Detection Using a Dual-Task Siamese Network and Semi-Supervised Learning
KTH Royal Institute of Technology（KTH皇家理工学院）
在这项研究中，一个半监督学习（SSL）的方法，以提高城市变化检测从双时相图像对。该方法采用了双任务连体差分网络，不仅预测变化的差异解码器，但也分割建筑物的两个图像与语义解码器。首先，修改架构以产生从语义预测导出的第二变化预测。第二，采用SSL来改进监督变化检测。对于未标记的数据，我们引入了一个损失，鼓励网络在两个变化输出中预测一致的变化。使用SpaceNet7数据集对所提出的方法进行了城市变化检测测试。与三个完全监督的基准测试相比，SSL取得了更好的结果。
2022-07-03 cs.CV
DiscrimNet: Semi-Supervised Action Recognition from Videos using Generative Adversarial Networks
Georgia Institute of Technology（佐治亚理工学院）；Google（谷歌）
我们提出了一个使用生成对抗网络的动作识别框架。我们的模型涉及使用没有标签信息的大型视频活动数据集训练深度卷积生成对抗网络（DCGAN）。然后，我们使用来自GAN模型的训练后的神经网络作为无监督的预训练步骤，并在标记数据集上微调训练后的神经网络模型以识别人类活动。我们确定了良好的网络架构和超参数设置，以便使用DCGAN的训练模型来学习有用的动作识别表示。我们的半监督框架仅使用外观信息，在两个具有挑战性的视频活动数据集UCF 101和HMDB 51上实现了优于或与当前最先进的半监督动作识别方法相当的性能。
2018-01-22 cs.CV
From A to Z: Supervised Transfer of Style and Content Using Deep Neural Network Generators
Cornell University（康奈尔大学）
我们提出了一种新的神经网络架构，解决单图像类比-生成一整套风格相似的图像，从一个单一的输入图像。解决这个问题需要将图像风格与内容分开。我们的网络是一个修改后的变分自编码器（VAE），它支持单图像类比的监督训练和输出的网络内评估，具有捕获像素协方差的结构化相似性目标。在从单个示例字母生成62个字母的字体的挑战性任务中，我们生成的图像与最新技术相比，与地面真实值的差异性降低了22.4%。
2016-03-07 cs.CV
Self-supervised Visual Feature Learning with Deep Neural Networks: A Survey
The Graduate Center, The City University of New York（纽约市立大学研究生中心）
大规模标记数据通常需要训练深度神经网络，以便在从图像或视频学习视觉特征以用于计算机视觉应用中获得更好的性能。为了避免采集和标注大规模数据集的巨大成本，作为无监督学习方法的一个子集，自监督学习方法被提出来从大规模未标注数据中学习一般图像和视频特征，而不使用任何人工标注的标签。本文对基于深度学习的图像或视频自监督一般视觉特征学习方法进行了广泛的回顾。首先，该领域的动机，一般管道，和术语进行了描述。然后总结了用于自监督学习的常用深度神经网络结构。接下来，回顾了自监督学习方法的主要组成部分和评价指标，然后是常用的图像和视频数据集以及现有的自监督视觉特征学习方法。最后，对基准数据集上的评价方法的定量性能比较进行了总结和讨论，用于图像和视频特征学习。最后，对本文进行了总结，并提出了自监督视觉特征学习的未来发展方向。
2019-02-16 cs.CV
MatchGAN: A Self-Supervised Semi-Supervised Conditional Generative Adversarial Network
Imperial College London（帝国理工学院）；Korea Advanced Institute of Science and Technology（韩国科学技术院）
提出了一种新的半监督环境下的条件生成对抗网络（GANs）自监督学习方法。与先前的自我监督方法不同，这些方法通常涉及图像空间上的几何增强，例如预测旋转角度，我们的借口任务利用了标签空间。我们通过从可用的少数标记示例的标签空间中随机采样敏感标签，并将其作为目标标签分配给来自与标记示例相同的分布的丰富的未标记示例来执行增强。然后将图像翻译并按其目标标签分组为正对和负对，作为我们的借口任务的训练样本，该任务涉及优化搜索者一侧的辅助匹配损失。我们在两个具有挑战性的基准测试中测试了我们的方法，CelebA和RaFD，并使用标准指标评估了结果，包括Fréchet Inception Distance，Inception Score和Attribute Classification Rate。广泛的实证评估表明，我们提出的方法的有效性，竞争力的基线和现有的艺术。特别是，我们的方法超过了基线，只有20%的标记的例子用于训练基线。
2020-10-08 cs.CV
Decoupled Deep Neural Network for Semi-supervised Semantic Segmentation
POSTECH（浦项科技大学）
我们提出了一种新的深度神经网络架构，用于使用异构注释的半监督语义分割。与现有的方法将语义分割作为基于区域的分类的单个任务相反，我们的算法将分类和分割合并，并为每个任务学习一个单独的网络。在这种架构中，与图像相关联的标签由分类网络识别，并且随后在分割网络中对每个识别的标签执行二进制分割。解耦的架构使我们能够分别基于具有图像级和像素级类别标签的训练数据来学习分类和分割网络。它有利于减少搜索空间分割有效地利用类特定的激活图从桥接层。与其他半监督方法相比，我们的算法表现出出色的性能，即使在PASCAL VOC数据集中具有强注释的训练图像少得多。
2015-06-17 cs.CV
Graph Laplacian Regularized Graph Convolutional Networks for Semi-supervised Learning
School of Computer Science and Technology（计算机科学与技术学院）；Anhui University（安徽大学）
最近，图卷积网络（GCN）已被广泛用于图结构数据的半监督分类和深度特征表示。然而，现有的GCN在学习和表示过程中通常没有考虑局部不变性约束。也就是说，如果两个数据点Xi和Xj在数据分布的固有几何结构中接近，则它们的标签/表示也应该彼此接近。局部不变性假设在机器学习领域的降维、半监督学习等传统算法的发展中起着至关重要的作用。为了克服这一限制，我们引入了一个图拉普拉斯GCN（gLGCN）的方法图数据表示和半监督分类。所提出的gLGCN模型能够将图结构和节点特征编码在一起，同时自然地保持局部不变性约束，以实现鲁棒的数据表示和半监督分类。实验结果表明了gLGCN网络的优点。
2018-09-26 cs.CV
Semi-supervised learning via Feedforward-Designed Convolutional Neural Networks
University of Southern California（南加州大学）
提出了一种基于前馈设计的卷积神经网络（FF-CNN）的半监督学习框架用于图像分类。FF-CNN的一个独特特性是在模型参数确定中不使用反向传播。由于未标记数据可能并不总是增强半监督学习，我们定义了一个有效的质量分数，并使用它来选择一个子集的未标记数据在训练过程中。我们在MNIST、SVHN和CIFAR-10数据集上进行了实验，结果表明，当标记数据量减少时，所提出的半监督FF-CNN解决方案的性能优于反向传播训练的CNN（BP-CNN）。此外，我们开发了一个集成系统，该系统结合了不同半监督FF-CNN的输出决策向量，以提高分类精度。集成系统可以在所有三个基准数据集上实现进一步的性能增益。
2019-02-06 cs.CV
AVS-Net: Audio-Visual Scale Net for Self-supervised Monocular Metric Depth Estimation
SJTU Paris Elite Institute of Technology, Shanghai Jiao Tong University（上海交通大学巴黎卓越工程师学院）；Center for Robotics, MINES Paris, PSL University（巴黎矿业学院机器人中心（巴黎文理研究大学））
本文提出AVS-Net，将可听回声用于有监督度量深度学习，并作为自监督训练的尺度监督信号，从而提升多种深度估计方法并纠正尺度。
2024-12-02 cs.CV
Multi-task Self-Supervised Visual Learning
DeepMind；University of Oxford（牛津大学）
我们研究了结合多个自我监督任务的方法--即，监督任务，其中可以收集数据而无需手动标记--以便训练单个视觉表示。首先，我们使用非常深入的ResNet-101架构对四种不同的自监督任务进行了比较。然后，我们组合任务以联合训练网络。我们还探索了套索正则化，以鼓励网络在其表示中分解信息，以及“协调”网络输入的方法，以学习更统一的表示。我们评估了ImageNet分类，PASCAL VOC检测和NYU深度预测的所有方法。我们的研究结果表明，更深的网络工作得更好，并且组合任务-即使是通过简单的多头架构-总是可以提高性能。我们最好的联合网络几乎与ImageNet分类预训练模型的PASCAL性能相匹配，并与纽约大学深度预测的ImageNet网络相匹配。
2017-08-25 cs.CV
Weakly Supervised Deep Detection Networks
University of Oxford（牛津大学）
目标检测的弱监督学习是图像理解中的一个重要问题，至今仍没有一个令人满意的解决方案。在本文中，我们通过利用在大规模图像级分类任务上预训练的深度卷积神经网络的能力来解决这个问题。我们提出了一种弱监督深度检测架构，该架构修改了一个这样的网络，使其在图像区域级别上运行，同时执行区域选择和分类。作为图像分类器训练，该架构隐式地学习对象检测器，其优于PASCAL VOC数据上的替代弱监督检测系统。该模型是一个简单而优雅的端到端架构，其性能优于标准的数据增强和图像级分类任务的微调技术。
2016-12-19 cs.CV
Semi-Supervised Deep Learning for Fully Convolutional Networks
Technical University of Munich（慕尼黑工业大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
深度学习通常需要大量标记的训练数据，但是注释数据是昂贵且繁琐的。半监督学习的框架提供了使用标记数据和任意数量的未标记数据进行训练的方法。最近，半监督深度学习已被广泛研究用于标准CNN架构。然而，全卷积网络（FCN）为许多图像分割任务提供了最先进的技术。据我们所知，还没有现有的半监督学习方法用于这种FCN。本文借助随机特征嵌入的思想，将半监督学习中的辅助流形嵌入的概念提升到模糊控制网络中。在我们的实验中，具有挑战性的任务MS病变分割，我们利用所提出的框架的目的领域自适应和报告的基线模型的实质性改进。
2017-07-25 cs.CV
A high-precision self-supervised monocular visual odometry in foggy weather based on robust cycled generative adversarial networks and multi-task learning aided depth estimation
North University of China（中北大学）
本文提出了一种高精度的自监督单目VO，这是专门设计用于雾天导航。设计了一种循环生成对抗网络，通过强制前向和后向半循环输出一致的估计，获得高质量的自监督损失。此外，基于梯度的损失和感知损失的引入，以消除复杂的光度变化的自我监督损失在雾天的干扰。为解决深度估计的不适定性问题，基于雾天图像深度估计与透射图计算之间的强相关性，设计了一种自监督多任务学习辅助深度估计模块。在人工雾天KITTI数据集上的实验结果表明，本文提出的自监督单目VO在深度和姿态估计方面优于文献中其他最先进的单目VO，表明所设计的方法更适合雾天。
2022-03-09 cs.CV
Visualization of Supervised and Self-Supervised Neural Networks via Attribution Guided Factorization
The School of Computer Science, Tel Aviv University（特拉维夫大学计算机科学学院）
神经网络可视化技术通过图像位置与网络分类的相关性来标记图像位置。现有的方法是有效的，在突出显示的区域，最影响所得的分类。然而，正如我们所展示的，这些方法在识别替代分类的支持方面能力有限，我们将这种效果命名为{ \em显着性偏差}假设。在这项工作中，我们整合了两条研究路线：基于梯度的方法和基于属性的方法，并开发了一种算法，提供每类的可解释性。该算法以由局部属性指导的方式反向投影每像素局部影响，同时校正否则会使解释产生偏差的显著特征。在一系列广泛的实验中，我们展示了我们的方法对特定类别的可视化的能力，而不仅仅是预测的标签。值得注意的是，该方法在通常应用于基于梯度的方法的基准以及主要用于评估归因方法的基准中获得了最先进的结果。使用一个新的无监督程序，我们的方法也成功地证明了自监督方法学习语义信息。
2020-12-03 cs.CV
Pairwise Teacher-Student Network for Semi-Supervised Hashing
Tsinghua University（清华大学）
哈希方法将相似的高维数据映射成具有较小汉明距离的二进制哈希码，由于其存储代价低、检索速度快而受到广泛关注。成对相似性很容易获得，并广泛用于检索，大多数监督哈希算法都是针对成对监督而精心设计的。由于标记所有数据对是困难的，提出了半监督哈希，旨在学习有效的代码有限的标记对和丰富的未标记的。现有的方法构建图来捕获数据集的结构，但它们不能很好地工作，因为图是基于数据表示来构建的，并且确定复杂数据的表示是困难的。在本文中，我们提出了一种新的教师-学生半监督哈希框架，在该框架中，学生使用教师网络产生的成对信息进行训练。该网络遵循平滑性假设，该假设实现了相似数据对的一致距离，使得邻域查询的检索结果相似。在大规模数据集上的实验表明，该方法在监督基线上获得了令人印象深刻的增益，优于最先进的半监督哈希方法。
2019-02-02 cs.CV
Skin lesion classification with ensemble of squeeze-and-excitation networks and semi-supervised learning
Hosei University（法政大学）
在本报告中，我们介绍了我们的系统在任务3：ISIC 2018疾病分类：皮肤病变分析对黑色素瘤检测的概述。我们微调多个预训练的神经网络模型的基础上挤压和激励网络（SENet），在图像识别领域取得了最先进的成果。此外，我们使用平均教师作为半监督学习框架，并引入了一些专门设计的数据增强策略用于皮肤病变分析。我们证实了我们的数据增强策略提高了分类性能，并在官方ISIC 2018验证数据集上展示了87.2%的平衡准确率。
2018-09-07 cs.CV
Joint-bone Fusion Graph Convolutional Network for Semi-supervised Skeleton Action Recognition
近年来，图卷积网络（GCN）在基于卷积的人体动作识别中发挥着越来越重要的作用。然而，大多数基于GCN的方法仍然存在两个主要的局限性：1）它们只考虑关节的运动信息或单独处理关节和骨骼，这无法充分挖掘关节和骨骼之间潜在的功能相关性用于动作识别。2)这些工作大多是在监督学习的方式，这在很大程度上依赖于大量的标记训练数据。为了解决这些问题，我们提出了一个半监督的基于candicon的动作识别方法，以前很少利用。我们设计了一种新的相关驱动的关节-骨骼融合图卷积网络（CD-JBF-GCN）作为编码器，使用位姿预测头作为解码器来实现半监督学习。具体地，CD-JBF-GC可以探索关节流和骨流之间的运动传输，从而促进两个流学习更多的区别性特征表示。在自监督训练阶段，基于姿态预测的自动编码器允许网络从未标记的数据中学习运动表示，这对于动作识别至关重要。在NTU-RGB+D和Kinetics-Skeleton两个流行数据集上进行的大量实验表明，我们的模型在半监督的基于动作的动作识别方面达到了最先进的性能，并且对于全监督方法也很有用。
2022-02-08 cs.CV
Semi-Supervised Medical Image Segmentation via Dual Networks
AIPM, School of Artificial Intelligence, Guilin University of Electronic Technology（桂林电子科技大学人工智能学院AIPM）；College of Computer Science and Engineering, Jeddah University（吉达大学计算机科学与工程学院）
提出一种基于双网络架构和自监督对比学习的半监督三维医学图像分割方法，减少对标注数据依赖，提升伪标签可靠性，在临床MRI上优于现有技术。
2025-05-23 cs.CV
Ablation study of self-supervised learning for image classification
Aristotle University（亚里士多德大学）
该项目的重点是卷积神经网络（CNN）和Transformer网络的图像识别任务的自监督训练。一个简单的暹罗网络，具有不同的骨干，以最大限度地提高相似性的两个增强变换图像从同一个源图像。通过这种方式，骨干能够在没有监督的情况下学习视觉信息。最后，在三个图像识别数据集上对该方法进行了评估。
2021-12-04 cs.CV
The Game Imitation: Deep Supervised Convolutional Networks for Quick Video Game AI
Stanford University（斯坦福大学）
我们提出了一个用于游戏AI的仅视觉模型，该模型使用在纯监督模仿学习上下文中训练的后期集成深度卷积网络架构。虽然用于视频游戏任务的最先进的深度学习模型通常依赖于更复杂的方法，如深度Q学习，但我们表明，在N64经典游戏Super Smash Bros.上，需要更少资源和训练时间的监督模型已经可以在人类反应速度下表现良好。我们的CNN模型实现了80%的前1和95%的前3验证准确率。通过轻微的测试时间微调，我们的模型在实时模拟中也具有竞争力，游戏中内置了最高级别的AI。我们将通过网络可视化进一步展示证据，证明网络在推理过程中成功地利用了时间信息来帮助决策。我们的工作表明，有监督的CNN模型可以在具有挑战性的政策预测任务中提供良好的性能，同时比替代方案更简单，更轻量级。
2017-02-18 cs.CV
Supervised Hashing with End-to-End Binary Deep Neural Network
Singapore University of Technology and Design (SUTD)（新加坡科技设计大学）；The University of Adelaide（阿德莱德大学）
图像散列技术由于其紧凑高效的二进制编码而成为大规模基于内容的视觉检索中的一种流行技术。我们的工作提出了一种新的用于监督哈希的端到端深度网络架构，该架构直接从输入图像中学习二进制代码，并保持二进制代码的良好特性，如相似性保持，独立性和平衡性。此外，我们还提出了一种新的学习计划，可以应付二进制约束的损失函数。所提出的算法不仅是可扩展的学习大规模的数据集，但也优于最先进的监督哈希方法，这是通过广泛的实验从各种图像检索基准说明。
2018-10-27 cs.CV
Feedback Neural Network for Weakly Supervised Geo-Semantic Segmentation
Facebook Connectivity Lab（Facebook连接实验室）；University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Facebook Core Data Science（Facebook核心数据科学）
从弱监督数据中学习是机器学习和计算机视觉的主要挑战之一，特别是对于图像语义分割等任务，其中标记是极其昂贵和主观的。在本文中，我们提出了一种新的神经网络架构，通过抑制无关的神经元激活来执行弱监督学习。它通过以端到端的方式从图像级分类标签中学习来定位感兴趣的对象。我们将该算法应用于将卫星图像转换为定居点和单个建筑物地图的实际挑战。实验结果表明，该算法取得了优越的性能和效率相比，各种基线模型。
2016-12-08 cs.CV
Segregated Temporal Assembly Recurrent Networks for Weakly Supervised Multiple Action Detection
Hikvision Research Institute（海康威视研究院）；Shanghai Jiaotong University（上海交通大学）；Zhejiang University（浙江大学）
提出了一种用于弱监督多动作检测的隔离时间组装递归（STAR）网络。该模型从未经修剪的视频中学习，仅对视频级标签进行监督，并预测多个动作的间隔。具体来说，我们首先组装视频剪辑根据类标签的注意力机制，学习类变量的注意力权重，从而帮助消除噪音的背景或其他行动。其次，我们通过将组装的特征馈送到增强的递归神经网络中来建立动作之间的时间关系。最后，我们将递归神经网络的输出转换成相应的动作分布。为了生成更精确的时间建议，我们设计了一个分数术语称为隔离的时间梯度加权类激活映射（ST-GradCAM）融合注意力权重。在THUMOS'14和ActivityNet1.3数据集上的实验表明，我们的方法优于最先进的弱监督方法，并且与完全监督方法相当。
2018-11-19 cs.CV
PLADE-Net: Towards Pixel-Level Accuracy for Self-Supervised Single-View Depth Estimation with Neural Positional Encoding and Distilled Matting Loss
Korea Advanced Institute of Science and Technology（韩国科学技术院）
在本文中，我们提出了一个自我监督的单视图像素级精确的深度估计网络，称为PLADE-Net。PLADE-Net是第一个显示出前所未有的准确性水平的工作，在具有挑战性的KITTI数据集上的$δ^1$度量方面超过95\%。我们的PLADE-Net基于一种新的网络架构，具有神经位置编码和一种新的损失函数，该损失函数借鉴了抠像拉普拉斯算子的闭合形式解，以从立体图像中学习像素级精确的深度估计。神经位置编码允许我们的PLADE-Net通过让网络推理特定于位置的图像属性（如镜头和投影失真）来获得更一致的深度估计。我们的新的蒸馏消光拉普拉斯损失允许我们的网络预测对象边界处的尖锐深度和高度均匀区域中更一致的深度。我们提出的方法优于所有以前的自监督单视图深度估计方法的挑战KITTI数据集上的大幅度，具有前所未有的精度水平。此外，我们的PLADE-Net，天真地扩展为立体输入，优于最新的自监督立体方法，即使没有任何高级块，如1D相关，3D卷积或空间金字塔池。我们提出了广泛的消融研究和实验，支持我们的方法在KITTI，CityScapes和Make 3D数据集上的有效性。
2021-03-12 cs.CV
Multi-object tracking with self-supervised associating network
Yonsei University（延世大学）
多目标跟踪（MOT）是一项很有发展潜力的任务，也有许多问题需要解决。在传统的检测跟踪模式中，基于特征的目标重识别方法已经得到了大量的研究。但是，该方法存在训练数据不足的问题。对于多目标跟踪数据集的标记，视频序列中的每个检测都需要其位置和ID。由于为每个序列中的每个检测分配连续的ID是一项非常劳动密集型的任务，因此当前的多目标跟踪数据集不足以训练重新识别网络。为此，本文提出了一种新的自监督学习方法，利用大量没有人类标记的短视频，通过自监督方式训练的重识别网络来提高跟踪性能，以解决训练数据不足的问题。尽管重新识别网络是以自我监督的方式训练的，但它在MOT17测试基准上达到了MOTA 62.0\%和IDF 1 62.6\%的最先进性能。此外，性能的提高与学习大量的数据，它显示了自监督方法的潜力。
2020-10-26 cs.CV
Weakly Supervised Object Discovery by Generative Adversarial & Ranking Networks
KU Leuven（鲁汶大学）；KIT（卡尔斯鲁厄理工学院）；ETH Zürich（苏黎世联邦理工学院）
深度生成对抗网络（GAN）最近已被证明在不同的计算机视觉应用中有前途，如图像编辑、合成高分辨率图像、生成视频等。这些网络和相应的学习方案可以处理各种视觉空间映射。我们使用一种新的训练方法和学习目标来接近GANs，以发现三种情况下的多个对象实例：1）在杂乱场景中合成特定对象的图片; 2）在弱监督目标检测的图像中定位不同类别; 3）在目标检测管道中改进对象发现。我们的方法的一个关键优势是它学习了一个新的深度相似性度量，以区分一个图像中的多个对象。我们证明了该网络可以作为编码器-解码器生成包含对象的图像的部分，或者作为修改后的深度CNN来表示图像，用于监督和弱监督方案中的目标检测。我们的排名GAN提供了一种新颖的方式来搜索图像中的对象特定模式。我们已经进行了不同的情况下的实验，并证明对象合成和弱监督目标检测和分类使用MS-COCO和PASCAL VOC数据集的方法性能。
2018-04-17 cs.CV
Self-supervised Learning of Depth Inference for Multi-view Stereo
Australian National University（澳大利亚国立大学）；NVIDIA（英伟达）
最近的监督多视图深度估计网络取得了可喜的成果。与所有监督方法类似，这些网络在训练期间需要地面实况数据。然而，收集大量的多视图深度数据是非常具有挑战性的。在这里，我们提出了一个自监督学习框架，利用伪标签从输入数据的多视图立体视觉。我们开始学习估计深度图作为初始伪标签下的无监督学习框架依赖于图像重建损失作为监督。然后，我们使用精心设计的流水线，利用从更高分辨率的图像和相邻视图推断的深度信息来细化初始伪标签。我们使用这些高质量的伪标签作为监督信号来训练网络，并通过自训练迭代地提高其性能。在DTU数据集上的大量实验表明，我们提出的自监督学习框架的性能大大优于现有的无监督多视图立体视觉网络，并且与有监督的框架相比，性能相当。代码可在https://github.com/JiayuYANG/Self-supervised-CVP-MVSNet上获得。
2021-04-07 cs.CV
SSPU-Net: Self-Supervised Point Cloud Upsampling via Differentiable Rendering
Nanjing University of Science and Technology（南京理工大学）
从3D传感器获得的点云通常是稀疏的。现有的方法主要集中在通过使用密集的地面实况点云以监督的方式对稀疏点云进行上采样。在本文中，我们提出了一个自监督点云上采样网络（SSPU-Net），以生成密集的点云，而不使用地面实况。为了实现这一点，我们利用输入稀疏点云和生成的密集点云的形状和渲染图像之间的一致性。具体来说，我们首先提出了一个邻居扩展单元（NEU）来上采样稀疏点云，其中稀疏点云的局部几何结构被用来学习点插值的权重。然后，我们开发了一个可微分点云渲染单元（DRU）作为我们的网络中的一个端到端的模块渲染点云到多视图图像。最后，我们制定了一个形状一致的损失和图像一致的损失训练网络，使稀疏和密集的点云的形状是尽可能一致的。在CAD和扫描数据集上的广泛结果表明，我们的方法可以以自我监督的方式取得令人印象深刻的结果。代码可在https://github.com/fpthink/SSPU-Net上获得。
2021-08-03 cs.CV
Deeply-Supervised Recurrent Convolutional Neural Network for Saliency Detection
Harbin Institute of Technology（哈尔滨工业大学）
本文提出了一种新的显著性检测方法，通过开发一个深度监督的递归卷积神经网络（DSRCNN），它执行一个完整的图像到图像的显著性预测。对于显著性检测，显著对象的局部、全局和上下文信息对于获得高质量的显著性图是重要的。为了实现这一目标，DSRCNN基于VGGNet-16设计。首先，将递归连接合并到每个卷积层中，这可以使模型更强大地学习上下文信息。其次，增加侧输出层进行深度监督操作，通过影响中间层，使模型学习到更具鉴别力和鲁棒性的特征。最后，对所有的侧输出进行融合，综合局部和全局信息，得到最终的显著性检测结果。因此，DSRCNN结合了递归卷积神经网络和深度监督网络的优点。在5个基准数据集上对DSRCNN模型进行了测试，实验结果表明，该方法在所有测试数据集上的显著性检测性能均明显优于现有的显著性检测方法。
2016-08-18 cs.CV
CP-Net: Contour-Perturbed Reconstruction Network for Self-Supervised Point Cloud Learning
University of Chinese Academy of Sciences（中国科学院大学）；Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；Alibaba Damo Academy（阿里巴巴达摩院）；South China University of Technology（华南理工大学）
自监督学习尚未被充分探索用于点云分析。目前的框架主要是基于点云重建。仅给定3D坐标，这样的方法倾向于学习局部几何结构和轮廓，而不能理解高级语义内容。因此，它们在下游任务（如分类，分割等）中的性能不理想。为了填补这一空白，我们提出了一种通用的轮廓扰动重建网络（CP-Net），它可以有效地引导自监督重建来学习点云中的语义内容，从而提高点云表示的区分能力。首先，我们介绍了一个简洁的轮廓扰动增强模块的点云重建。在几何解缠的指导下，将点云分为轮廓分量和内容分量。随后，我们扰动的轮廓组件，并保留点云上的内容组件。因此，自我监督者可以有效地专注于语义内容，通过重建原始点云从这样的扰动。其次，我们使用这个扰动重建作为一个辅助分支，通过一个明显的双分支一致性损失指导基本重建分支的学习。在这种情况下，我们的CP-Net不仅可以捕获结构轮廓，还可以学习用于区分下游任务的语义内容。最后，我们进行了大量的点云基准测试的实验。部分分割结果表明，我们的CP-Net（mIoU的81.5%）优于以前的自监督模型，并缩小了与完全监督方法的差距。对于分类，我们在ModelNet 40（92.5%的准确率）和ScanObjectNN（87.9%的准确率）上获得了与全监督方法竞争的结果。代码和模型将在之后发布。
2022-03-28 cs.CV
A high-precision underwater object detection based on joint self-supervised deblurring and improved spatial transformer network
North University of China（中北大学）
基于深度学习的水下目标检测（UOD）仍然是一个主要挑战，这是由于能见度下降以及难以获得从各种视角捕获的足够的水下目标图像用于训练。针对这些问题，提出了一种基于联合自监督去模糊和改进空间Transformer网络的高精度UOD方法。在所设计的多任务学习辅助目标检测体系结构中引入自监督去模糊子网络，强制共享特征提取模块为检测子网络输出干净的特征。针对不同视角照片不足的局限性，设计了一种基于视角变换的改进空间Transformer网络，自适应地丰富网络中的图像特征。实验结果表明，该方法在URPC2017和URPC2018上分别获得了47.9 mAP和70.3 mAP的性能，优于许多现有的UOD方法，表明该方法更适合UOD。
2022-03-09 cs.CV
Supervised Transformer Network for Efficient Face Detection
Microsoft Research（微软研究院）
大的姿态变化仍然是现实世界的人脸检测面临的挑战。我们提出了一种新的级联卷积神经网络，被称为监督Transformer网络，以解决这一挑战。第一阶段是一个多任务区域建议网络（RPN），它同时预测候选人脸区域以及相关的面部标志。然后通过将检测到的面部标志映射到其规范位置来扭曲候选区域，以更好地归一化面部模式。第二阶段是RCNN，然后验证扭曲的候选区域是否是有效的面部。我们对级联网络进行端到端学习，包括优化面部标志的规范位置。这种变换的监督学习自动选择最佳尺度来区分面部/非面部模式。通过结合网络两个阶段的特征图，我们在几个公共基准测试中实现了最先进的检测精度。为了实时性能，我们只在从提升级联人脸检测器产生的感兴趣区域上运行级联网络。我们的检测器在单个CPU核心上以30 FPS的速度运行VGA分辨率图像。
2016-07-19 cs.CV
FAMINet: Learning Real-time Semi-supervised Video Object Segmentation with Steepest Optimized Optical Flow
Beihang University（北京航空航天大学）；Institute for Infocomm Research（信息通信研究所）
半监督视频对象分割（VOS）的目的是分割视频序列中的一些运动对象，这些对象由第一帧的注释来指定。为了提高分割精度，现有的半监督VOS方法都考虑了光流的影响。然而，基于光流的半监督VOS方法由于光流估计的高复杂度而不能实时的运行。本研究提出一个由特征提取网络（F）、外观网络（A）、运动网络（M）及整合网络（I）组成的FAMINet来解决上述问题。外观网络基于对象的静态外观输出初始分割结果。运动网络通过非常少的参数估计光流，这些参数通过称为松弛最速下降的在线记忆算法快速优化。集成网络使用光流来细化初始分割结果。大量的实验表明，FAMINet优于其他国家的最先进的半监督VOS方法的DAVIS和YouTube-VOS基准，它实现了准确性和效率之间的良好权衡。我们的代码可在https://github.com/liuziyang123/FAMINet上获得。
2021-11-20 cs.CV
SS-3DCapsNet: Self-supervised 3D Capsule Networks for Medical Segmentation on Less Labeled Data
University of Arkansas（阿肯色大学）；Cyberlogitec Vietnam（越南赛博罗吉泰克公司）；VinAI（越南人工智能研究院）
胶囊网络是一种新的深度网络架构，已成功应用于医学图像分割任务。这项工作扩展了胶囊网络的体积医学图像分割与自监督学习。为了改善与以前的胶囊网络相比的权重初始化问题，我们利用自监督学习进行胶囊网络预训练，其中我们的预文本任务通过自重构进行优化。我们的胶囊网络SS-3DCapsNet具有基于UNet的架构，具有3D胶囊编码器和3D CNN解码器。我们在iSeg-2017、Hippocampus和Cardiac等多个数据集上进行的实验表明，我们具有自我监督预训练的3D胶囊网络的性能大大优于以前的胶囊网络和3D-UNets。
2022-03-28 cs.CV eess.IV
Qutrit-inspired Fully Self-supervised Shallow Quantum Learning Network for Brain Tumor Segmentation
Indian Institute of Technology Delhi（印度理工学院德里分校）；CHRIST (Deemed to be University)（基督（被视为大学）大学）；Wichita State University（威奇托州立大学）
传统的自监督网络存在收敛问题，并且由于强制终止而降低了分割精度。量子比特或双级量子比特通常描述量子神经网络模型。在这篇文章中，一种新的自监督浅层学习网络模型，利用先进的三层量子启发量子信息系统称为量子全自监督神经网络（QFS-Net）的自动分割的大脑MR图像。QFS-网络模型包括三位一体的分层结构的qutrits互连通过参数阿达玛门使用8连接的二阶邻域为基础的拓扑结构。量子态的非线性变换允许底层量子神经网络模型对量子态进行编码，从而在没有监督的情况下实现这些状态在层之间的更快的自组织反向传播。建议的QFS-Net模型是定制的，并在从自然资源库收集的癌症成像档案（TCIA）数据集上进行了广泛的验证，并与最先进的监督（U-Net和URes-Net架构）和自监督QIS-Net模型进行了比较。结果显示，在最小的人为干预和计算资源的情况下，在检测肿瘤的骰子相似性和准确性方面，分割结果很有希望。
2020-09-14 cs.CV quant-ph
Adversarial Dropout for Supervised and Semi-supervised Learning
KAIST（韩国科学技术院）
最近，对抗性的例子，这是通过添加一个小的，但最坏情况下的扰动输入的例子，已被证明是提高神经网络的泛化性能的训练。与单独偏置输入以增强通用性相反，本文引入了对抗性辍学，这是一个最小的辍学集，它最大化了网络输出与辍学和训练监督之间的分歧。识别出的对抗性丢失被用于重新配置神经网络进行训练，我们证明了在重新配置的子网络上进行训练可以提高MNIST和CIFAR-10上监督和半监督学习任务的泛化性能。我们分析了训练后的模型来解释性能的提高，我们发现对抗性丢弃比标准丢弃更能增加神经网络的稀疏性。
2017-09-18 cs.CV cs.LG
S3R-Net: A Single-Stage Approach to Self-Supervised Shadow Removal
University of Surrey（萨里大学）；BBC R&D（BBC研发部）
提出单阶段自监督阴影去除网络S3R-Net，采用双分支WGAN和统一-适应机制，无需配对数据，性能与现有自监督方法相当，但定性更优且计算成本低。
2024-04-18 cs.CV cs.GR
Vanishing Twin GAN: How training a weak Generative Adversarial Network can improve semi-supervised image classification
Institute of Medical Science, University of Toronto（多伦多大学医学科学研究所）；The Hospital for Sick Children（SickKids医院（多伦多病童医院））；Department of Mechanical and Industrial Engineering, University of Toronto（多伦多大学机械与工业工程系）
生成对抗网络可以在半监督框架中学习随机噪声到真实图像的映射。这种映射能力可以用于半监督图像分类，以检测未知类别的图像，其中不存在要用于监督分类的训练数据。然而，如果未知类与已知类具有相似的特征，则GANs可以学习泛化并生成看起来像两个类的图像。这种泛化能力会阻碍分类性能。在这项工作中，我们提出了消失的双GAN。通过训练弱GAN并将其生成的输出图像与常规GAN并行使用，Vanishing Twin训练改进了半监督图像分类，其中图像相似性可能会损害分类任务。
2021-03-03 cs.CV eess.IV
Augmenting Supervised Neural Networks with Unsupervised Objectives for Large-scale Image Classification
University of Michigan（密歇根大学）
无监督学习和监督学习是深度学习的关键研究课题。然而，随着用大量标签训练的高容量监督神经网络在许多计算机视觉任务中取得了显著的成功，大规模标记图像的可用性降低了无监督学习的重要性。受最近重新审视无监督学习重要性的趋势的启发，我们通过增强现有神经网络的解码路径来重建，在大规模环境中研究联合监督和无监督学习。首先，我们证明了预训练的大规模分类网络的中间激活几乎保留了输入图像的所有信息，除了一部分局部空间细节。然后，通过对整个增强架构进行端到端的训练，我们展示了监督任务的网络性能的改善。我们评估了几种变体的自动编码器，包括最近提出的“什么地方”的自动编码器，使用编码器池开关，研究架构设计的重要性。以ImageNet ILSVRC 2012协议下训练的16层VGGNet作为图像分类的强基线，我们的方法显著提高了验证集的准确性。
2016-06-21 cs.CV cs.LG
CCAT-NET: A Novel Transformer Based Semi-supervised Framework for Covid-19 Lung Lesion Segmentation
Zhengzhou University（郑州大学）；Ningbo Huamei Hospital, University of the Chinese Academy of Sciences（中国科学院大学宁波华美医院）
2019新型冠状病毒病（COVID-19）的传播已夺去数百万人的生命。从CT图像中自动分割病变可以帮助医生进行筛查、治疗和监测。然而，由于数据和模型的限制，从CT图像中准确分割病变可能非常具有挑战性。最近，基于Transformer的网络在计算机视觉领域引起了广泛的关注，因为Transformer在一系列任务上的表现优于CNN。在这项工作中，我们提出了一种新的网络结构，将CNN和Transformer结合起来，用于COVID-19病变的分割。我们进一步提出了一个有效的半监督学习框架，以解决标记数据的短缺。大量的实验表明，我们提出的网络优于大多数现有的网络和半监督学习框架可以优于基础网络的3.0%和8.2%的骰子系数和灵敏度。
2022-04-06 cs.CV eess.IV
Density-Aware Hyper-Graph Neural Networks for Graph-based Semi-supervised Node Classification
South China University of Technology（华南理工大学）；Concordia University（康考迪亚大学）
基于图的半监督学习可以利用标记数据和未标记数据之间的连接关系，在许多人工智能应用中表现出优于最先进的技术。基于图的半监督节点分类算法最具挑战性的问题之一是如何利用数据间的隐含信息来提高分类性能。传统的基于图的半监督学习研究主要集中在数据之间的成对连接上。然而，实际应用中的数据相关性可能超出成对和更复杂。密度信息已被证明是一个重要的线索，但它很少深入探讨现有的基于图的半监督节点分类方法。为了开发一种灵活有效的基于图的半监督节点分类模型，我们提出了一种新的密度感知超图神经网络（DA-HGNN）。在我们提出的方法中，超图是用来探索数据之间的高阶语义相关性，并提出了一个密度感知的超图注意力网络来探索高阶连接关系。在不同的基准数据集上进行了大量的实验，结果表明了所提出的方法的有效性。
2022-01-27 cs.CV cs.LG
Fully Convolutional Change Detection Framework with Generative Adversarial Network for Unsupervised, Weakly Supervised and Regional Supervised Change Detection
基于深度学习的变化检测是当前遥感领域的研究热点之一。然而，大多数端到端网络都是针对有监督的变化检测而提出的，而无监督的变化检测模型依赖于传统的预检测方法。因此，我们提出了一个具有生成对抗网络的完全卷积变化检测框架，将无监督，弱监督，区域监督和完全监督的变化检测任务归纳到一个框架中。一个基本的Unet分割器被用来获得变化检测地图，一个图像到图像生成器被实现来模拟多时间图像之间的光谱和空间变化，并提出了一个用于改变和不变的建模语义变化弱和区域监督变化检测任务。分割器和生成器的迭代优化可以构建一个端到端的无监督变化检测网络，分割器和生成器之间的对抗过程可以为弱监督和区域监督的变化检测提供解决方案，分割器本身可以被训练用于完全监督的任务。实验结果表明，该框架在无监督、弱监督和区域监督的变化检测中是有效的。本文对无监督、弱监督和区域监督的变化检测任务进行了理论定义，展示了端到端网络在遥感变化检测中的巨大潜力。
2022-01-16 cs.AI cs.CV eess.IV
Bottleneck Supervised U-Net for Pixel-wise Liver and Tumor Segmentation
City University of Hong Kong（香港城市大学）；Tencent（腾讯）
在本文中，我们提出了一个瓶颈监督（BS）的U-Net模型的肝脏和肿瘤分割。我们的主要贡献是：首先，我们提出了一个变形的原始U-网，结合密集模块，初始模块和扩张卷积的编码路径; 2其次，我们提出了一个瓶颈监督（BS）U-网，它包含一个编码U-网和一个分割U-网。为了训练BS U-Net，首先训练编码U-Net以获得包含解剖信息（形状和位置）的标签图的编码。随后，该信息用于指导分割U-Net的训练，以便保留目标对象的解剖特征。更具体地，用于分割U-Net的损失函数被设置为编码和瓶颈特征向量之间的骰子损失和MSE损失的加权平均。该模型应用于公共肝脏和肿瘤CT扫描数据集。实验结果表明，BS U-Net除了实现出色的整体分割性能外，还在控制形状失真，减少误报和漏报方面发挥了重要作用。
2019-03-13 cs.AI cs.CV
Imbalanced Learning-based Automatic SAR Images Change Detection by Morphologically Supervised PCA-Net
Xidian University（西安电子科技大学）；Wuhan University（武汉大学）
变化检测是一个相当具有挑战性的任务，由于不变和变化的类之间的不平衡。另外，传统的对数比差分方法容易受到散斑的影响，降低了精度。本文提出了一种基于PCA网络的非平衡学习变化检测算法（PCA-Net），该算法设计了一个有监督的PCA网络，直接从给定的多时相SAR图像中获取鲁棒特征，而不是通过差分图来获取。此外，为了解决变化和不变类之间的不平衡，我们提出了一种形态学监督学习方法，其中两个类之间的边界附近的像素中的知识被利用来指导网络训练。最后，我们提出的PCA网络可以通过具有可用参考地图的数据集进行训练，并应用于新的数据集，这在变化检测项目中非常实用。我们提出的方法进行了验证，对五套多时间SAR图像。实验结果表明，利用边界训练样本中的知识，学习到的特征有利于变化检测，使该方法优于随机抽取样本训练的有监督方法。
2019-06-19 cs.CV cs.LG
A Safe Semi-supervised Graph Convolution Network
Hubei University of Technology（湖北工业大学）；Hubei University（湖北大学）
在半监督学习领域，图卷积网络（GCN）作为GNN的变体模型，通过将卷积引入GNN，在非欧数据上取得了很好的效果。然而，GCN及其变体模型未能安全地使用风险未标记数据的信息，这将降低半监督学习的性能。因此，我们提出了一个安全的GCN框架（安全GCN），以提高学习性能。在Safe-GCN中，我们设计了一个迭代过程来标记未标记的数据。在每次迭代中，学习GCN及其监督版本（S-GCN）以找到具有高置信度的未标记数据。然后将高置信度的未标记数据及其伪标记添加到标记集中。最后，利用添加的未标记数据和已标记数据对S-GCN进行训练，实现了对风险未标记数据的安全探测，实现了对大量未标记数据的安全使用。在三个著名的引文网络数据集上对Safe-GCN的性能进行了评估，所得结果证明了所提出的框架在几种基于图的半监督学习方法上的有效性。
2022-07-05 cs.CV cs.LG
Ladder Networks for Semi-Supervised Hyperspectral Image Classification
Purdue University（普渡大学）；ETH Zürich（苏黎世联邦理工学院）
我们使用梯形网络[Rasmus et al.（2015）]在半监督设置中执行高光谱图像分类。梯形网络通过联合优化监督和非监督成本来将自己与其他半监督方法区分开来。在许多情况下，这已被证明比其他半监督技术更成功，例如使用未标记数据进行预训练。我们还表明，卷积梯形网络的性能优于目前大多数用于高光谱图像分类的技术，并在帕维亚大学数据集上实现了新的最先进的性能，每个类只有5个标记的数据点。
2018-12-04 cs.CV cs.LG stat.ML
PointPWC-Net: A Coarse-to-Fine Network for Supervised and Self-Supervised Scene Flow Estimation on 3D Point Clouds
CORIS Institute, Oregon State University（俄勒冈州立大学CORIS研究所）；Nuro, Inc.（Nuro公司）
我们提出了一种新的端到端的深度场景流模型，称为PointPWC-Net，在3D点云上以粗到细的方式。在粗略级别计算的流被上采样并扭曲到更精细的级别，使得该算法能够适应大的运动而没有禁止的搜索空间。我们引入了新的成本体积，上采样和扭曲层，以有效地处理3D点云数据。与传统的成本卷需要在高维网格上穷尽计算所有成本值不同，我们的基于点的公式将成本卷离散化到输入3D点上，PointConv操作有效地计算成本卷上的卷积。在FlyingThings 3D上的实验结果大大优于现有技术。我们进一步探索了新的自我监督损失来训练我们的模型，并取得了与最先进的监督损失训练相当的结果。在没有任何微调的情况下，我们的方法在KITTI Scene Flow 2015数据集上也表现出了很好的泛化能力，优于所有以前的方法。
2020-07-31 cs.CV cs.LG eess.IV
Semi-Supervised Learning for Image Classification using Compact Networks in the BioMedical Context
University of La Rioja（拉里奥哈大学）
嵌入深度卷积神经模型的移动和边缘应用程序的开发有可能彻底改变生物医学。然而，大多数深度学习模型需要智能手机或边缘设备中不可用的计算资源;这是紧凑模型可能面临的问题。这种模型的问题在于，至少通常情况下，它们不如更大的模型准确。在这项工作中，我们研究如何解决这个限制与应用程序的半监督学习技术。我们进行了几次统计分析，以比较使用半监督学习方法进行训练时深度紧凑架构的性能，以解决生物医学背景下的图像分类任务。特别是，我们探讨了三个家庭的紧凑型网络，和两个家庭的半监督学习技术的10个生物医学任务。通过将半监督学习方法与紧凑网络相结合，可以获得与标准大小网络相似的性能。一般来说，将数据蒸馏与MixNet结合使用，以及将普通蒸馏与ResNet-18结合使用时，可以获得最佳结果。此外，一般来说，NAS网络获得比手动设计的网络和量化的网络更好的结果。本文中的工作显示了将半监督方法应用于紧凑网络的好处;这使我们能够创建紧凑的模型，不仅与标准大小的模型一样准确，而且更快，更轻。最后，我们开发了一个库，简化了紧凑的模型使用半监督学习方法的建设。
2022-05-19 cs.AI cs.CV cs.LG
