Transformer-based Clipped Contrastive Quantization Learning for Unsupervised Image Retrieval
Indian Institute of Information Technology Allahabad（印度阿拉哈巴德信息技术学院）；National Cheng Kung University（国立成功大学）
针对现有无监督图像检索方法全局特征利用不足、假负例致偏差的问题，提出融合Transformer全局编码、乘积量化与裁剪对比学习的TransClippedCLR模型，在多个基准数据集上性能优于现有深度模型。
2024-01-27 cs.CV
Pyramid-based Mamba Multi-class Unsupervised Anomaly Detection
University of Udine（乌迪内大学）
针对小异常定位难题，提出基于状态空间模型（SSM）的金字塔扫描策略（PSS），结合预训练编码器与特征级合成异常生成器提取多尺度特征，在MVTec基准上实现AP和AU-PRO各提升1%。
2025-04-04 cs.CV
Cluster-CAM: Cluster-Weighted Visual Interpretation of CNNs' Decision in Image Classification
Xidian University（西安电子科技大学）；University of Montenegro（黑山大学）
尽管卷积神经网络（CNN）在计算机视觉中取得了巨大的成功，但CNN的机制仍然缺乏明确的解释。目前，类激活映射（CAM），一个著名的可视化技术来解释CNN的决定，引起了越来越多的关注。基于梯度的CAM是有效的，但性能受到梯度消失和爆炸的严重影响。相比之下，无梯度CAM可以避免计算梯度以产生更容易理解的结果。然而，现有的无梯度CAM是相当耗时的，因为每个图像需要数百个前向干扰。在本文中，我们提出了一个有效的和高效的无梯度的CNN解释算法，Chester-CAM。通过以无监督的方式将特征图分割成聚类，CAM-CAM可以显著减少前向传播的时间。此外，我们提出了一种巧妙的策略，从聚类特征图中伪造认知基础图和认知剪刀。最终的显著性热图将通过合并上述认知图来计算。定性结果明显表明，与现有的CAM相比，Charter-CAM可以生成热图，其中突出显示的区域更精确地匹配人类的认知。定量评价进一步证明了计算机辅助制造在有效性和效率方面的优越性。
2023-02-03 cs.AI cs.CV
MambaAD: Exploring State Space Models for Multi-class Unsupervised Anomaly Detection
Zhejiang University（浙江大学）；Tencent（腾讯）；Nanyang Technological University（南洋理工大学）
本文首次将Mamba状态空间模型引入多类无监督异常检测，提出MambaAD框架，通过多尺度LSS模块、HSS块和希尔伯特八方向扫描有效融合长程与局部特征，在六个数据集上取得领先性能。
2025-03-09 cs.CV
SP-Mamba: Spatial-Perception State Space Model for Unsupervised Medical Anomaly Detection
Faculty of Integrated Circuit, Xidian University（集成电路学院，西安电子科技大学）；School of Cyber Engineering, Xidian University（网络安全工程学院，西安电子科技大学）
针对无监督医学异常检测，本文提出空间感知 Mamba 框架 SP-Mamba，通过滑窗原型学习、Circular-Hilbert 扫描及异常图特性挖掘提升检测效果，并在三个基准上达到最先进性能。
2025-07-25 cs.CV
Unsupervised Semantic Deep Hashing
近年来，深度散列方法已被证明是有效的，因为它采用卷积神经网络来同时学习特征和散列代码。然而，这些方法大多是监督的。在实际应用中，对大量图像进行标注是一项耗时且超负荷的任务。在本文中，我们提出了一种新的无监督深度哈希方法用于大规模图像检索。我们的方法，即无监督语义深度哈希（\textbf{USDH}），使用保存在CNN特征层中的语义信息来指导网络的训练。基于VGG-19模型的散列码学习，我们提出了四个准则：1）保持散列空间中特征空间的相关信息; 2）最小化类二进制码和散列码之间的量化损失; 3）利用最大信息熵提高散列码中每个比特的利用率; 4）图像旋转不变性。在CIFAR-10、NUSWIDE上的大量实验表明，\textbf{USDH}在图像检索中的性能优于几种最先进的无监督哈希方法。我们还在Oxford 17数据集上进行了细粒度分类的实验，以验证其对其他计算机视觉任务的效率。
2018-03-19 cs.CV
Unsupervised object discovery for instance recognition
Inria Rennes VRG, FEE, CTU in Prague（法国国家信息与自动化研究所雷恩分所VRG、费尔科学院（FEE）、捷克技术大学布拉格分校（CTU in Prague））；Inria（法国国家信息与自动化研究所）；CTU in Prague（捷克技术大学布拉格分校）
严重的背景杂波在许多计算机视觉任务中是具有挑战性的，包括大规模图像检索。由于其内存和搜索效率而流行的全局描述符特别容易被这种混乱破坏。消除杂乱对图像描述符的影响增加了检索相关图像的机会，并防止了由于在查询扩展的情况下实际检索杂乱而导致的主题漂移。在这项工作中，我们提出了一种新的显着区域检测方法。它以无监督的方式捕获数据集中既有区别又常见的模式。显着性基于从数据集图像的区域CNN表示构造的最近邻图的中心性度量。从显著区域导出的描述符提高了特定对象的检索，在包含小对象的大型集合中最明显。
2018-01-24 cs.CV
SAR Image Classification Based on Spiking Neural Network through Spike-Time Dependent Plasticity and Gradient Descent
Aerospace Information Research Institute, Chinese Academy of Sciences（中国科学院空天信息创新研究院）；University of Chinese Academy of Sciences（中国科学院大学）；Suzhou Research Institute, Aerospace Information Research Institute, Chinese Academy of Sciences（中国科学院空天信息创新研究院苏州研究院）
目前，基于卷积神经网络（CNN）的合成孔径雷达（SAR）图像分类方法面临着抗噪性和泛化能力差等问题。脉冲神经网络（SNN）是类脑智能的核心组成部分之一，具有良好的应用前景。本文利用具有复杂时空信息的脉冲序列，构造了一个基于SNN的无监督和监督学习的SAR图像分类器。本文首先阐述了发放神经元模型、SNN的感受野和发放序列的构造。在此基础上，提出了基于STDP的无监督学习算法和基于梯度下降的监督学习算法。单层和双层无监督学习SNN在MSTAR数据集上对三类图像的平均分类准确率分别为80.8%和85.1%。此外，无监督学习的收敛输出尖峰序列可以用作教学信号。基于TensorFlow框架，从底层构建单层监督学习SNN，分类准确率达到90.05%。通过比较SNN和CNN的抗噪性和模型参数，验证了SNN的有效性和突出优势。重现我们实验的代码可在\url{https://github.com/Jiankun-chen/Supervised-SNN-with-GD}上获得。
2021-06-15 cs.CV
Unsupervised Hybrid framework for ANomaly Detection (HAND) -- applied to Screening Mammogram
Mayo Clinic（梅奥诊所）
提出无监督混合框架HAND，结合CNN与Transformer及合成OOD样本和潜在判别器，用于筛查乳腺X光摄影的异常检测，在内部和外部数据集上优于现有基线。
2024-09-17 cs.CV eess.IV
MambaADv2: Evolving Duality-enhanced State Space Model for Unsupervised Anomaly Detection
Zhejiang University（浙江大学）；School of Computing, National University of Singapore（新加坡国立大学计算机学院）；College of Computing and Data Science, Nanyang Technological University（南洋理工大学计算与数据科学学院）；Institute of Trustworthy Embodied AI, Fudan University（复旦大学可信具身人工智能研究所）
提出MambaADv2框架，通过集成对偶增强状态空间模块和混合状态空间块，结合线性递归与并行矩阵计算，实现高效全局依赖与局部表示建模，提升多类无监督异常检测性能。
2026-06-23 cs.CV
Transformer Based Multi-Grained Features for Unsupervised Person Re-Identification
Zhejiang University（浙江大学）
从卷积神经网络（CNN）中提取的多粒度特征在有监督的人员再识别（Re-ID）任务中表现出了很强的区分能力。受其启发，本文研究了从纯Transformer网络中提取多粒度特征的方法，以解决无标签但更具挑战性的无监督Re-ID问题。为此，我们建立了一个双分支网络架构的基础上修改的视觉Transformer（ViT）。每个分支中的局部标记输出被整形，然后均匀地划分为多个条带以生成部分级特征，而两个分支的全局标记被平均以生成全局特征。此外，基于离线-在线关联摄像机感知代理（O2 CAP），这是一种性能最好的无监督Re-ID方法，我们定义了离线和在线对比学习损失的全局和部分级别的功能进行无监督学习。在三人Re-ID数据集上的广泛实验表明，该方法的性能远远优于最先进的无监督方法，大大缩小了与有监督方法的差距。代码将很快在https://github.com/RikoLi/WACV23-workshop-TMGF上提供。
2022-11-22 cs.CV
An Evaluation of Deep CNN Baselines for Scene-Independent Person Re-Identification
Senstar Corporation（森斯塔克公司）
近年来，基于深度卷积神经网络（CNN）的各种提出的方法已经改进了大规模人员重新识别（ReID）的现有技术。虽然已经提出了大量的优化和网络改进，但对训练数据和基线网络架构的影响的评估相对较少。特别是，通常假设网络是在来自部署位置的标记数据（场景相关）上训练的，或者使用未标记的数据进行调整，这两者都使系统部署复杂化。在本文中，我们研究了通过形成用于训练的大型复合数据集来实现场景无关的人ReID的可行性。我们对几种CNN基线架构进行了深入的比较，包括场景相关和场景无关的ReID，跨越一系列训练数据集大小。我们表明，场景无关的ReID可以产生领先的结果，与无监督的域自适应技术竞争。最后，我们介绍了一个新的数据集，用于比较摄像机内和跨摄像机的人ReID。
2018-05-16 cs.CV
Dual CNN Models for Unsupervised Monocular Depth Estimation
Indian Institute of Information Technology, Sri City（斯里城印度信息技术学院）
无监督深度估计是利用双目立体图像来去除深度图真实值的最新趋势。在无监督深度计算中，视差图像是通过用图像重建损失训练CNN来生成的。在本文中，提出了一种基于双CNN的模型，用于具有6个损失的无监督深度估计（DNM6），其中每个视图具有单独的CNN以生成相应的视差图。提出的双CNN模型还通过利用交叉视差扩展了12个损失（DNM12）。所提出的DNM6和DNM12模型在KITTI驾驶和Cityscapes城市数据库上进行了实验，并与最近的无监督深度估计的最新结果进行了比较。该代码可从以下网址获取：https://github.com/ishmav16/Dual-CNN-Models-for-Unsupervised-Monocular-Depth-Estimation。
2019-11-06 cs.CV
Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks
indico Research（indico研究公司）；Facebook AI Research（脸书人工智能研究院）
近年来，使用卷积网络（CNN）的监督学习在计算机视觉应用中得到了广泛采用。相比之下，使用CNN的无监督学习受到的关注较少。在这项工作中，我们希望帮助弥合CNN在监督学习和无监督学习中的成功之间的差距。我们介绍了一类称为深度卷积生成对抗网络（DCGAN）的CNN，它们具有一定的架构约束，并证明它们是无监督学习的强有力候选者。在各种图像数据集上进行训练，我们展示了令人信服的证据，证明我们的深度卷积对抗对在生成器和生成器中学习了从对象部分到场景的表示层次。此外，我们将学习到的功能用于新的任务-证明它们作为一般图像表示的适用性。
2016-01-07 cs.CV cs.LG
Unsupervised Learning of Neural Networks to Explain Neural Networks
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Shanghai Jiao Tong University（上海交通大学）；University of California, Irvine（加利福尼亚大学尔湾分校）
本文提出了一种学习神经网络的无监督方法，即解释器，用于解释预训练的卷积神经网络（CNN），即，解释隐藏在CNN的中间卷积层中的知识表示。给定CNN的某个conv层的特征图，解释器像自动编码器一样执行，其首先将特征图分解为对象部分特征，然后将对象部分特征反转回CNN的更高conv层的特征。更具体地说，解释器包含可解释的conv层，其中每个过滤器从混沌输入特征映射中解开特定对象部分的表示。作为CNN特征的释义，对象部分的解纠缠表示帮助人们理解CNN内部的逻辑。我们还学习解释器使用对象部分特征来重建更高CNN层的特征，以最大限度地减少特征解缠期间的信息损失。更重要的是，我们通过网络蒸馏来学习解释器，而不使用样本标签、对象部分或纹理的任何注释进行监督。我们已经将我们的方法应用于不同类型的CNN进行评估，解释器显着提高了CNN特征的可解释性。
2018-05-18 cs.CV cs.LG
Knowledge Distillation Methods for Efficient Unsupervised Adaptation Across Multiple Domains
Ecole de technologie superieure（高等技术学院）；Aligarh Muslim University（阿里格尔穆斯林大学）；Genetec Inc.（Genetec公司）
除了需要在大型注释数据集上进行训练的CNN的复杂性之外，设计和操作数据之间的域转移限制了CNN在许多现实应用中的采用。例如，在人员重新识别中，在具有非重叠视点的分布式相机集合上捕获视频。源域（例如实验室设置）和目标域（例如相机）之间的移位可能导致识别准确性的显著下降。此外，考虑到其计算要求，最先进的CNN可能不适合这种实时应用。虽然最近已经提出了几种技术，通过无监督领域自适应（UDA）来解决域转移问题，或者通过知识蒸馏（KD）来加速/压缩CNN，但我们寻求同时适应和压缩CNN，以便在多个目标域中进行推广。在本文中，我们提出了一种用于CNN的无监督单目标DA（STDA）和多目标DA（MTDA）的渐进KD方法。我们的KD-STDA方法通过从更大的教师CNN中提取，使CNN适应单个目标域，在目标和源域数据上进行训练，以保持其与常见表示的一致性。将我们提出的方法与最先进的CNN压缩和STDA方法进行比较，这些方法在THE 31和ImageClef-DA图像分类数据集上进行。它还与Digits，DigiKey 31和DigiKey Home上的MTDA的最新方法进行了比较。在这两种设置中- KD-STDA和KD-MTDA -结果表明，我们的方法可以在目标域中实现最高水平的准确性，同时需要相当或更低的CNN复杂性。
2021-01-18 cs.AI cs.CV
Unsupervised Learning using Pretrained CNN and Associative Memory Bank
Louisiana State University（路易斯安那州立大学）
从综合标记数据集中提取的深度卷积特征包含大量表示，可以有效地用于新领域。尽管通用特征在许多视觉任务中取得了良好的效果，但需要进行微调，使预训练的深度CNN模型更有效，并提供最先进的性能。在监督设置中使用反向传播算法的微调是一个耗时和资源消耗的过程。在本文中，我们提出了一种用于无监督对象识别的新架构和方法，该方法通过与预训练的基于CNN的监督深度学习方法相关的微调来解决上述问题，同时允许自动特征提取。与现有的作品，我们的方法是适用于一般的对象识别任务。它使用一个预训练的（在相关域）CNN模型自动特征提取流水线与Hopfield网络为基础的关联存储体存储模式的分类目的。在我们的框架中使用关联存储体可以消除反向传播，同时在看不见的数据集上提供有竞争力的性能。
2018-05-02 cs.CV cs.LG stat.ML
Selective Unsupervised Feature Learning with Convolutional Neural Network (S-CNN)
University of Texas at Arlington（德克萨斯大学阿灵顿分校）
卷积神经网络（CNN）的监督学习可能需要非常大量的标记数据。标记数千或数百万个训练样本可能非常耗时且成本高昂。解决这个问题的一个方向是从未标记的数据中创建特征。在本文中，我们提出了一种训练CNN的新方法，不需要标记的实例。这种无监督的特征学习方法，然后成功地应用到一个具有挑战性的对象识别任务。所提出的算法是相对简单的，但达到的准确度相比，更复杂的方法。与现有的CNN方法相比，所提出的方法明显更容易训练，对手动标记的训练数据的要求更少。它也被证明是抵抗过拟合。我们提供了一些著名的数据集，即STL-10，CIFAR-10和CIFAR-100的结果。结果表明，我们的方法提供了有竞争力的性能与现有的替代方法相比。选择性卷积神经网络（S-CNN）是一种简单、快速的算法，它引入了一种新的无监督特征学习方法，提供了具有良好泛化能力的判别特征。
2016-06-07 cs.CV
Semi-orthogonal Embedding for Efficient Unsupervised Anomaly Segmentation
SK Telecom（SK电讯）
我们提出了无监督的异常分割的半正交嵌入的效率。来自预先训练的CNN的多尺度特征最近被用于局部化的Mahalanobis距离，具有显著的性能。然而，增加的特征大小对于扩展到更大的CNN是有问题的，因为它需要多维协方差张量的批量逆。在这里，我们推广了一个特设的方法，随机特征选择，到半正交嵌入鲁棒近似，降低计算成本的多维协方差张量的逆。通过对消融研究的详细审查，所提出的方法实现了MVTec AD、KolektorSDD、KolektorSDD2和mSTC数据集的最新技术水平和显著裕度。理论和实证分析提供了见解和验证我们的简单而具有成本效益的方法。
2021-05-31 cs.AI cs.CV cs.LG
Unsupervised Deformable Image Registration Using Cycle-Consistent CNN
Korea Advanced Institute of Science and Technology（韩国科学技术院）；University of Ulsan College of Medicine（蔚山大学医学院）；Asan Medical Center（峨山医学中心）
医学图像配准是癌症诊断等生物医学图像分析的关键处理步骤之一。最近，基于深度学习的有监督和无监督图像配准方法由于其优异的性能而得到了广泛的研究，尽管与经典方法相比计算时间超快。在本文中，我们提出了一种新的无监督医学图像配准方法，训练深度神经网络的3D体积的变形配准使用的周期一致性。由于循环一致性，所提出的深度神经网络可以采用具有严重变形的不同图像数据对进行精确配准。使用多相肝脏CT图像的实验结果表明，我们的方法在几秒钟内提供了非常精确的三维图像配准，从而更准确的癌症大小估计。
2019-07-02 cs.CV cs.LG eess.IV
Unsupervised Image Deraining: Optimization Model Driven Deep CNN
Huazhong University of Science and Technology（华中科技大学）；Peng Cheng Laboratory（鹏城实验室）；University of Electronic Science and Technology of China（电子科技大学）
深度卷积神经网络在单图像雨纹去除方面取得了重大进展。然而，大多数数据驱动学习方法都是全监督或半监督的，在处理真实降雨时，意外地遭受了显着的性能下降。这些数据驱动的学习方法具有代表性，但对真实降雨的泛化能力较差。对于模型驱动的无监督优化方法，情况正好相反。为了克服这些问题，我们提出了一个统一的无监督学习框架，继承了真正的雨去除的推广和代表性的优点。具体来说，我们首先发现一个简单而重要的领域知识，方向雨条纹是各向异性的，而自然干净的图像是各向同性的，并制定的结构差异到优化模型的能量函数。因此，我们设计了一个优化模型驱动的深度CNN，其中优化模型的无监督损失函数在所提出的网络上强制执行，以获得更好的泛化能力。此外，网络的架构模仿了优化模型的主要作用，具有更好的特征表示。一方面，我们利用深度网络来改善表示。另一方面，我们利用优化模型的无监督损失来更好地推广。总的来说，无监督学习框架实现了良好的泛化和表示：只有几个真实的下雨图像（输入）和物理意义网络（架构）的无监督训练（损失）。在人工和真实降雨数据集上的实验表明了该方法的优越性。
2022-03-25 cs.CV eess.IV
RECAL: Reuse of Established CNN classifer Apropos unsupervised Learning paradigm
最近，使用深度网络框架的聚类引起了计算机视觉社区中的一些研究人员的注意。深度框架由于其对大规模和高维数据的高效性和可扩展性而受到广泛关注。在本文中，我们将有监督的CNN分类器架构转换为一个无监督的聚类模型，称为RECAL，它联合学习判别嵌入子空间和聚类标签。RECAL由卷积的特征提取层和完全连接的无监督分类器层组成。多项逻辑回归函数（softmax）堆叠在分类器层的顶部。我们使用随机梯度下降（SGD）优化器训练这个网络。然而，我们的模型的成功实施是围绕着损失函数的设计。我们的损失函数使用了一种方法，即在类分布没有严重偏斜的情况下，真正的划分需要较低的熵。这是“偏态分布”和“低熵”情况之间的权衡。为了解决这个问题，我们提出了分类熵和类熵，这是我们的损失函数的两个组成部分。在这种方法中，小批量的大小应该保持较高。实验结果表明，我们的模型聚类知名的数字，多视图对象和人脸数据集的一致性和竞争行为。此外，我们使用这个模型来生成多光谱LISS-IV图像的无监督补丁分割。我们观察到，它能够区分建筑区，湿地，植被和水体从底层场景。
2019-06-15 cs.CV
Unsupervised Learning for Optical Flow Estimation Using Pyramid Convolution LSTM
Sun Yat-sen University（中山大学）
目前大多数基于卷积神经网络（CNN）的光流估计方法都集中在使用地面真值在合成数据集上学习光流，这是不实用的。在本文中，我们提出了一个无监督的光流估计框架PCLNet。它使用具有相邻帧重建约束的金字塔卷积LSTM（ConvLSTM），这允许从任何视频片段灵活地估计多帧光流。此外，通过解耦运动特征学习和光流表示，我们的方法避免了复杂的捷径连接使用现有的框架，同时提高了光流估计的准确性。此外，不同于那些使用专门的CNN架构来捕获运动的方法，我们的框架直接从通用CNN的特征中学习光流，因此可以很容易地嵌入到任何基于CNN的框架中用于其他任务。大量的实验表明，该方法不仅能有效、准确地估计光流，而且在动作识别上也取得了相当的性能。
2019-07-26 cs.CV
Unsupervised Segmentation of 3D Medical Images Based on Clustering and Deep Representation Learning
Nagoya University（名古屋大学）
提出了一种新的三维医学图像无监督分割方法。卷积神经网络（CNN）在图像分割领域取得了重大进展。然而，大多数最近的方法依赖于监督学习，这需要大量的手动注释的数据。因此，这是具有挑战性的，这些方法，以应付不断增长的医学图像的数量。本文提出了一种统一的无监督深度表示学习和聚类分割方法。我们提出的方法包括两个阶段。在第一阶段，我们使用联合无监督学习（JULE）从目标图像中学习训练块的深度特征表示，该学习交替地对由CNN生成的表示进行聚类，并使用聚类标签作为监督信号更新CNN参数。我们通过在整个CNN架构中利用3D卷积将JULE扩展到3D医学图像。在第二阶段，我们将k-means应用于来自训练好的CNN的深度表示，然后将聚类标签投影到目标图像，以获得完全分割的图像。我们评估了我们的方法对三个图像的肺癌标本扫描与微型计算机断层扫描（micro-CT）。显微CT中病变区域的自动分割可以进一步促进病理检查过程。因此，我们的目标是自动划分每个图像的区域的浸润性癌，非浸润性癌，和正常组织。我们的实验显示了无监督深度表示学习在医学图像分割中的潜在能力。
2018-04-11 cs.CV
Variational multichannel multiclass segmentation using unsupervised lifting with CNNs
University of Innsbruck（因斯布鲁克大学）；VASCage GmbH（VASCage有限责任公司）；MRC-Laboratory of Molecular Biology（英国医学研究委员会分子生物学实验室）；Medical University of Innsbruck（因斯布鲁克医科大学）
本研究提出结合变分能量泛函与深度CNN的无监督图像分割方法，基于多通道多相Chan-Vese模型实现K类分割，经CNN预分解后最小化泛函得到结果，可处理多类图像并与同类方法对比性能。
2023-06-16 cs.CV cs.NA math.FA
KLDivNet: An unsupervised neural network for multi-modality image registration
Fudan University（复旦大学）；SenseTime Technology（商汤科技）
多模态图像配准是医学图像分析中最重要的过程之一。最近，卷积神经网络（CNN）在变形配准中显示出巨大的潜力。然而，缺乏体素方面的地面实况挑战了CNN的训练，以实现准确的配准。在这项工作中，我们提出了一个跨模态的相似性度量，基于图像变量的KL发散，并实现了一个有效的估计方法，使用CNN。这个估计网络被称为KLDivNet，可以在无监督的情况下进行训练。然后将KLDivNet嵌入到配准网络中，实现多模态图像的无监督变形配准。我们使用了三个数据集，即，AAL Brain、LiTS Liver和Hospital Liver，具有模态内和模态间图像配准任务以进行验证。结果表明，我们的相似性度量是有效的，所提出的注册网络提供了优越的性能相比，国家的最先进的方法。
2020-02-05 cs.CV
Unsupervised Segmentation for Terracotta Warrior with Seed-Region-Growing CNN (SRG-Net)
Northwest University（西北大学）
秦始皇陵博物馆兵马俑的修复工作是由专家手工完成的，随着出土兵马俑数量的增加，考古工作者对兵马俑的修复工作提出了更高的要求。希望能对兵马俑的三维点云数据进行自动分割，并将碎片数据存储到数据库中，以辅助考古工作者将实际碎片与数据库中的碎片进行匹配，从而提高兵马俑的修复效率。而且，现有的三维神经网络研究主要集中在有监督的分类、聚类、无监督的表示和重构。目前，针对无监督点云局部分割的研究还很少。在本文中，我们提出了SRG网络的三维点云兵马俑来解决这些问题。首先，采用自定义的种子区域生长算法对点云数据进行粗分割。然后，我们提出了一个监督分割和非监督重建网络学习的三维点云的特征。最后，我们结合SRG算法与我们的改进CNN使用细化方法。这个管道被称为SRG-Net，旨在对兵马俑进行分割任务。我们提出的SRG-Net在兵马俑数据和ShapeNet数据集上进行了评估，通过测量准确性和延迟。实验结果表明，我们的SRG-Net优于国家的最先进的方法。我们的代码显示在代码文件1~\cite{Srgnet_2021}中。
2021-07-28 cs.CV
Unsupervised Learning of Visual Representations using Videos
Carnegie Mellon University（卡内基梅隆大学）
强有力的监督对于学习一个好的视觉表现是必要的吗？我们真的需要数百万个语义标记的图像来训练卷积神经网络（CNN）吗？在本文中，我们提出了一种简单但功能强大的CNN无监督学习方法。具体来说，我们使用来自网络的数十万未标记的视频来学习视觉表示。我们的核心思想是，视觉跟踪提供监督。也就是说，由轨迹连接的两个补丁在深特征空间中应该具有相似的视觉表示，因为它们可能属于相同的对象或对象部分。我们设计了一个具有排名损失函数的Siamese-triplet网络来训练这个CNN表示。在不使用ImageNet中的单个图像的情况下，仅使用10万个未标记的视频和VOC 2012数据集，我们训练了一个无监督网络的集合，实现了52%的mAP（无限界框回归）。这一性能非常接近其ImageNet监督的同类产品，后者实现了54.4%的mAP。我们还表明，我们的无监督网络可以在其他任务中具有竞争力，例如表面法线估计。
2015-10-06 cs.CV
Boosting CNN beyond Label in Inverse Problems
KAIST（韩国科学技术院）；Samsung Advanced Institute of Technology（三星先进技术研究院）
卷积神经网络（CNN）已被广泛用于反问题。然而，它们对看不见的测试数据的预测误差难以先验估计，因为神经网络仅使用选定的数据进行训练，并且它们的架构在很大程度上被认为是黑盒。这对神经网络的无监督学习或超越标签的改进提出了根本性的挑战。在本文中，我们表明，最近的无监督学习方法，如Noise 2Noise，Stein的无偏风险估计（SURE）为基础的降噪，和Noise 2 Void是密切相关的，彼此在他们制定的预测误差的无偏估计，但他们每个人都与自己的局限性。基于这些观察，我们提供了一个新的提升估计的预测误差。特别地，通过采用编码器-解码器CNN的组合卷积帧表示并将其与批量归一化协同组合，我们为预测误差的无偏估计器提供了一种封闭形式的公式，该公式可以最小化神经网络训练超出标签。实验结果表明，所得到的算法，我们称之为Noise 2Boosting，提供了一致的改善，在各种反问题的监督和无监督学习设置。
2019-06-18 cs.CV cs.LG eess.IV
Rethinking Unsupervised Neural Superpixel Segmentation
Ben-Gurion University of the Negev（内盖夫本-古里安大学）
最近，已经研究了通过CNN用于超像素分割的无监督学习的概念。本质上，这样的方法通过在单个图像上采用的卷积神经网络（CNN）来生成超像素，并且这样的CNN在没有任何标签或进一步信息的情况下被训练。因此，这种方法依赖于先验的结合，通常通过设计目标函数来引导解决方案朝向有意义的超像素分割。在本文中，我们提出了三个关键要素，以提高这种网络的效率：（i）的\emph{soft}超像素化图像与输入图像相比的相似性，（ii）对象的边缘和边界的增强和考虑，（iii）基于atrous卷积的修改架构，允许更宽的视野，作为我们的网络中的多尺度组件。通过对BSDS 500数据集的实验，我们发现了我们的建议在定性和定量方面的重要性。
2022-06-21 cs.CV
OT-driven Multi-Domain Unsupervised Ultrasound Image Artifact Removal using a Single CNN
Korea Advanced Institute of Science and Technology（韩国科学技术院）
超声成像（US）经常遭受来自各种来源的不同图像伪影。解决这些问题的经典方法通常是基于模型的迭代方法，这些方法是专门为每种类型的工件开发的，通常是计算密集型的。最近，深度学习方法已经被提出作为计算效率和高性能的替代方案。不幸的是，在目前的深度学习方法中，应该使用每个特定工件类型的匹配训练数据来训练专用神经网络。这对US深度学习的实际使用造成了根本性的限制，因为需要存储大量模型来处理各种US图像伪影。受最近多域图像传输成功的启发，我们在这里提出了一种新颖的无监督深度学习方法，其中单个神经网络可以通过简单地改变在不同目标域之间切换的掩码向量来处理不同类型的US伪影。我们的算法是严格推导出使用最佳运输（OT）理论级联概率措施。使用体模和在体数据的实验结果表明，该方法可以产生高质量的图像，通过消除明显的伪影，这是由单独训练的多个神经网络获得的。
2020-07-10 cs.CV cs.LG eess.IV
CSNNs: Unsupervised, Backpropagation-free Convolutional Neural Networks for Representation Learning
University of Applied Sciences Kempten（肯普滕应用科学大学）
这项工作结合了卷积神经网络（CNN），通过自组织映射（SOM）和Hebbian学习进行聚类，提出了卷积自组织神经网络（CSNN）的构建模块，它以无监督和无反向传播的方式学习表示。我们的方法用SOM的竞争性学习过程取代了从CNN学习传统卷积层，并同时用单独的Hebbian类学习规则学习这些层之间的局部掩码，以克服通过聚类学习过滤器时分离变化因素的问题。我们通过使用我们的构建块设计两个简单的模型来研究学习的表示，实现了与许多使用反向传播的方法相当的性能，同时我们在Cifar10上达到了相当的性能，并在Cifar100，Tiny ImageNet和ImageNet的一小部分上给出了无反向传播方法的基线性能。
2020-01-29 cs.CV cs.LG
Transformer based Models for Unsupervised Anomaly Segmentation in Brain MR Images
Univ. Rennes（雷恩大学）；INSA Rennes（雷恩国立应用科学学院）；CNRS（法国国家科学研究中心）；University Hospital Bonn（波恩大学医院）；Helmholtz Munich（亥姆霍兹慕尼黑中心）；Technical University of Munich（慕尼黑工业大学）
与诊断放射学相关的患者护理质量与医生的工作量成比例。分割是诊断和治疗程序的基本限制性前兆。机器学习（ML）的进步旨在通过用通用算法取代单个应用程序来提高诊断效率。无监督异常检测（UAD）的目标是识别在训练过程中看不到的潜在异常区域，其中基于卷积神经网络（CNN）的自编码器（AE）和变分自编码器（VAE）被认为是基于重构的异常分割的事实上的方法。CNN中受限制的感受野限制了CNN对全局上下文的建模。因此，如果异常区域覆盖图像的大部分，则基于CNN的AE不能带来对图像的语义理解。与此同时，Vision Transformers（ViTs）已经成为CNN的竞争对手。它依赖于自我注意机制，可以将图像块相互关联。在本文中，我们调查Transformer的能力，在建设AE的重建为基础的UAD任务，以重建一个连贯的和更逼真的图像。我们专注于脑磁共振成像（MRI）的异常分割，并提出了五个基于transformer的模型，同时使分割性能与最先进的（SOTA）模型相当或更好。源代码在GitHub上公开：https://github.com/ahmedgh970/Transformers_Unsupervised_Anomaly_Segmentation.git。
2022-08-29 cs.CV eess.IV q-bio.NC
Unsupervised Deep Representation Learning and Few-Shot Classification of PolSAR Images
Harbin Institute of Technology（哈尔滨工业大学）
过去几年，深度学习和卷积神经网络（CNN）在极化合成孔径雷达（PolSAR）图像分类方面取得了进展。然而，一个关键问题没有得到解决，即，CNN对大量标记样本的需求与PolSAR图像的不足人类注释。众所周知，遵循监督学习范式可能会导致训练数据的过拟合，而PolSAR图像缺乏监督信息无疑加剧了这一问题，极大地影响了基于CNN的分类器在大规模应用中的泛化性能。为了解决这个问题，在本文中，学习可转移表示从未标记的极化SAR数据通过卷积架构进行了探索。具体而言，PolSAR定制的对比学习网络（PCLNet）提出了无监督深度PolSAR表示学习和Few-Shot分类。与利用光学处理方法不同，构建了一种多样性激励机制，以缩小光学与PolSAR之间的应用差距。除了传统的监督方法，PCLNet开发了一个基于实例判别的代理目标的无监督预训练阶段，从未标记的PolSAR数据中学习有用的表示。所获取的表示被传送到下游任务，即，Few-Shot PolSAR分类。在两个广泛使用的PolSAR基准数据集上的实验证实了PCLNet的有效性。此外，这项工作可能会启发如何有效地利用大量的未标记的极化SAR数据，以减轻基于CNN的方法对人类注释的贪婪需求。
2020-12-25 cs.CV
Unsupervised CNN for Single View Depth Estimation: Geometry to the Rescue
The University of Adelaide（阿德莱德大学）
当前大多数深度卷积神经网络的一个显著弱点是需要使用大量手动标记的数据来训练它们。在这项工作中，我们提出了一个无监督的框架来学习用于单视图深度预测的深度卷积神经网络，而不需要预训练阶段或注释的地面真实深度。我们通过以类似于自动编码器的方式训练网络来实现这一点。在训练时，我们考虑一对图像，源和目标，两者之间具有小的已知相机运动，例如立体对。我们训练卷积编码器来预测源图像的深度图。为此，我们使用预测的深度和已知的视图间位移显式地生成目标图像的逆扭曲，以重建源图像;重建中的光测量误差是编码器的重建损失。该训练数据的获取比等效系统简单得多，不需要手动注释，也不需要将深度传感器校准到相机。我们表明，我们的网络在不到一半的KITTI数据集上训练（没有任何进一步的增强），可以与单视图深度估计的最新监督方法的性能相媲美。
2016-07-29 cs.CV
UnsMOT: Unified Framework for Unsupervised Multi-Object Tracking with Geometric Topology Guidance
Posts and Telecommunications Institute of Technology（邮政电信技术学院）；VinAI Research（VinAI研究院）
提出UnsMOT，一种结合外观、运动与几何信息的无监督多目标跟踪框架，通过图神经网络学习几何嵌入，并在HOTA、IDF1和MOTA指标上超越现有方法。
2023-09-03 cs.AI cs.CV
An End-to-End Joint Unsupervised Learning of Deep Model and Pseudo-Classes for Remote Sensing Scene Representation
National University of Defense Technology（国防科技大学）
本文提出了一种基于卷积神经网络（CNN）和伪类的端到端深度无监督学习方法，用于遥感场景表示。首先，我们引入中心点作为伪类的中心，训练样本可以基于中心点分配伪标签。因此，用于从场景中提取特征的CNN模型可以用伪标签进行监督训练。此外，伪中心损失的发展，以减少样本和相应的伪中心点之间的方差。伪中心丢失是重要的，因为它可以同时用训练样本更新中心点和用训练过程中的中心点更新CNN模型。最后，伪中心损失和伪softmax损失的联合学习，这是制定与样本和伪标签的无监督遥感场景表示，以获得从场景的歧视性表示。在两个常用的遥感场景数据集上进行实验，验证了该方法的有效性，实验结果表明了该方法相对于其他方法的优越性。
2019-03-18 cs.CV
Visual Commonsense R-CNN
University of Electronic Science and Technology of China（电子科技大学）；Damo Academy, Alibaba Group（阿里巴巴集团达摩院）；Nanyang Technological University（南洋理工大学）；Singapore Management University（新加坡管理大学）
我们提出了一种新的无监督特征表示学习方法，基于视觉常识区域的卷积神经网络（VC R-CNN），作为一个改进的视觉区域编码器的高级任务，如字幕和VQA。给定图像中的一组检测到的对象区域（例如，使用更快的R-CNN），像任何其他无监督特征学习方法（例如，word 2 vec），VC R-CNN的代理训练目标是预测区域的上下文对象。然而，它们是根本不同的：VC R-CNN的预测是通过使用因果干预：P（Y| do（X）），而其他人则使用传统的似然：P（Y| X）。这也是为什么VC R-CNN可以学习“有意义”的知识的核心原因，比如椅子可以被坐着--而不仅仅是“常见”的同现，比如如果观察到桌子，椅子可能会存在。我们在三个流行任务的流行模型中广泛应用VC R-CNN功能：图像描述，VQA和VCR，并观察到它们之间的一致性能提升，实现了许多新的最先进的技术。代码和功能可在https://github.com/Wangt-CN/VC-R-CNN上获得。
2020-04-27 cs.CV
Mutual-GAN: Towards Unsupervised Cross-Weather Adaptation with Mutual Information Constraint
Tencent Jarvis Lab（腾讯Jarvis实验室）
卷积神经网络（CNN）已经证明了其在语义分割方面的成功，这是自动驾驶等新兴工业应用的核心任务。然而，城市场景的语义分割的大多数进展是在标准场景上报告的，即，具有良好照明条件的白天场景。在实际应用中，室外天气和光照是变化的，多云和夜间，这导致仅用白天数据训练的CNN的语义分割准确性显著下降。在本文中，我们提出了一种新的生成对抗网络（即Mutual-GAN），以缓解白天训练的神经网络应用于恶劣天气条件下捕获的视频时的准确性下降。所提出的Mutual-GAN采用互信息约束来在跨天气适应期间保留图像对象，这是大多数无监督图像到图像转换方法（例如，CycleGAN）。所提出的Mutual-GAN在两个公开可用的驾驶视频数据集（即，CamVid和SYNTHIA）。实验结果表明，我们的Mutual-GAN可以产生视觉上合理的翻译图像，并显着提高白天训练的深度学习网络的语义分割准确性，同时在具有挑战性的天气下处理视频。
2021-06-30 cs.AI cs.CV
MoFA: Model-based Deep Convolutional Face Autoencoder for Unsupervised Monocular Reconstruction
Max-Planck-Institute for Informatics（马克斯·普朗克信息学研究所）；LCSB, University of Luxembourg（卢森堡大学生物医学系统生物学中心）；Technicolor（特艺集团）
在这项工作中，我们提出了一种新的基于模型的深度卷积自动编码器，它解决了从单个原始彩色图像重建3D人脸的高度挑战性问题。为此，我们将卷积编码器网络与作为解码器的专家设计的生成模型相结合。核心创新是我们新的可微分参数解码器，它基于生成模型解析地封装了图像形成。我们的解码器作为输入的代码向量与精确定义的语义含义，编码详细的人脸姿态，形状，表情，皮肤反射和场景照明。由于这种将基于CNN的人脸重建与基于模型的人脸重建相结合的新方法，基于CNN的编码器可以学习从单个单目输入图像中提取语义上有意义的参数。这是第一次，CNN编码器和专家设计的生成模型可以以无监督的方式进行端到端的训练，这使得在非常大的（未标记的）真实世界数据上进行训练变得可行。所获得的重建相比，目前国家的最先进的方法在质量和丰富的代表性。
2017-12-07 cs.CV
Unsupervised Histopathology Image Synthesis
Stony Brook University（石溪大学）；Dougherty Valley High School（多尔蒂谷高中）；Oak Ridge National Laboratory（橡树岭国家实验室）；Stony Brook Hospital（石溪医院）
苏木精-伊红染色的组织病理学图像分析对于癌症等复杂疾病的诊断和研究是必不可少的。现有的最先进的方法需要来自受过训练的病理学家的大量监督训练数据。在这项工作中，我们以无监督的方式合成了大型组织病理学图像数据集，适用于监督训练任务。我们提出了一个统一的流水线：a）生成一组初始合成组织病理学图像，其中包含有关细胞核的配对信息，如分割掩模; b）通过生成对抗网络（GAN）将初始合成图像细化为参考样式; c）训练特定于任务的CNN，并使用动态生成的对抗示例提高特定于任务的CNN的性能。我们的主要贡献是，合成图像不仅逼真，而且具有代表性（在参考样式中），并且对于训练特定任务的CNN来说相对具有挑战性。我们使用来自四种癌症类型的图像来测试我们的核分割方法。当没有监督数据存在的癌症类型，我们的方法没有监督成本显着优于监督的方法，执行跨癌症的泛化。即使所有癌症类型都存在监督数据，我们的无监督成本方法也比监督方法表现得更好。
2017-12-13 cs.CV
Unsupervised Feature Learning with K-means and An Ensemble of Deep Convolutional Neural Networks for Medical Image Classification
University of Sydney（悉尼大学）；Royal Prince Alfred Hospital（皇家阿尔弗雷德王子医院）；Shanghai Jiao Tong University（上海交通大学）
由于深度学习方法依赖于大量标记的训练数据，使用监督式深度学习方法的医学图像分析仍然存在问题。尽管医学成像数据存储库继续扩展，但注释数据的量并没有相应地增加。因此，我们提出了一种新的无监督特征学习方法，该方法学习特征表示，然后使用不同的卷积神经网络（CNN）和K均值聚类的集合来区分不同的医学图像。它以端到端的方式联合学习特征表示和聚类分配。我们在公共医疗数据集上测试了我们的方法，结果表明，它的准确性优于最先进的无监督特征学习方法，并且与最先进的监督CNN相当。我们的研究结果表明，我们的方法可用于解决医学成像存储库中大量未标记数据的问题。
2019-06-07 cs.CV
Unsupervised Category Discovery via Looped Deep Pseudo-Task Optimization Using a Large Scale Radiology Image Database
National Institutes of Health Clinical Center（美国国立卫生研究院临床中心）
在大规模放射学图像数据库（来自61，845个独特患者的215，786个关键图像）上获得语义标签是训练用于图像识别的高效深度卷积神经网络（CNN）模型的先决条件但也是瓶颈。然而，用于收集图像标签的常规方法（例如，谷歌搜索，然后是众包）不适用，因为对于那些没有接受过临床培训的人来说，医学注释任务非常困难。由于不确定性和可能的剧烈观察者间变化或不一致性，这种类型的图像标记任务即使对于放射科医生也是重要的。在本文中，我们提出了一个循环的深度伪任务优化过程的自动类别发现的视觉连贯性和临床语义（概念）集群。我们的系统可以通过特定领域（在放射学图像和文本报告衍生标签上训练的CNN）或通用（基于ImageNet）CNN模型初始化。之后，通过循环的深度图像特征聚类（以细化图像标签）和使用新标签的深度CNN训练/分类（以获得更多代表任务的深度特征）来利用伪任务序列。我们的方法在概念上很简单，并且基于更好的标签的假设“收敛”，从而得到更好的训练CNN模型，这些模型反过来提供更有效的深度图像特征，以促进更有意义的聚类/标签。我们已经从经验上验证了收敛性，并展示了有前途的定量和定性结果。发现了比以前工作中的质量显着更高的类别标签。这允许进一步调查给定的大规模放射学图像数据库的分层语义性质。
2016-03-25 cs.CV
Unsupervised Deep Learning by Neighbourhood Discovery
Queen Mary University of London（伦敦玛丽女王大学）；Vision Semantics Limited（Vision Semantics有限公司）
深度卷积神经网络（CNN）通过监督学习强视觉特征表示，在计算机视觉中取得了显着的成功。然而，训练CNN在很大程度上依赖于详尽的训练数据注释的可用性，这大大限制了它们在许多应用场景中的部署和可扩展性。在这项工作中，我们引入了一种通用的无监督深度学习方法来训练深度模型，而无需任何手动标签监督。具体来说，我们逐步发现样本锚定/中心邻域的原因，并学习底层类决策边界迭代和累积。每个邻域都是专门制定的，以便所有成员样本可以以高概率共享相同的不可见类标签，以便于在训练过程中提取类判别特征表示。图像分类实验表明，该方法的性能优势，国家的最先进的无监督学习模型的六个基准，包括粗粒度和细粒度的目标图像分类。
2019-05-30 cs.CV
LaFAM: Unsupervised Feature Attribution with Label-free Activation Maps
Technische Universität Berlin（柏林工业大学）；GT-ARC gGmbH（GT-ARC有限责任公司）
本文提出无标签激活图（LaFAM）方法，通过直接利用原始激活图实现不依赖标签的特征归因，为传统CAM方法提供高效替代，在自监督和监督学习中均有效。
2024-07-09 cs.CV
Neural Stain Normalization and Unsupervised Classification of Cell Nuclei in Histopathological Breast Cancer Images
在本文中，我们开发了一个完整的管道染色标准化，分割，并在苏木精和伊红（H&E）染色的乳腺癌组织病理学图像的细胞核分类。在第一步中，我们使用基于CNN的染色转移技术来归一化（H&E）图像的染色特征。然后，我们训练一个神经网络从H&E图像分割细胞核的图像。最后，我们训练一个信息最大化生成对抗网络（InfoGAN）来学习不同类型细胞核的视觉表示，并以完全无监督的方式对其进行分类。结果表明，我们提出的CNN染色归一化产生改进的视觉相似性和细胞分割性能相比，传统的基于SVD的染色归一化方法。在我们管道的最后一步，我们展示了基于形态和颜色属性对各种乳腺组织病理学细胞类型进行完全无监督聚类的能力。此外，我们还根据各种定量指标对我们基于神经网络的技术进行了定量评估，以验证我们管道的有效性。
2018-11-09 cs.CV q-bio.QM
Pose from Action: Unsupervised Learning of Pose Features based on Motion
Robotics Institute, Carnegie Mellon University（卡内基梅隆大学机器人研究所）
人类的动作是由一系列姿势组成的。这使得人类的视频成为人类姿势的丰富而密集的来源。我们提出了一种无监督的方法来学习姿势特征的视频，利用信号，这是补充的外观，并可用作监督：运动。关键的想法是，人类在执行动作时以可预测的方式完成姿势。因此，给定两个姿势，应该可以对引起它们之间变化的运动进行建模。我们将每个姿势表示为CNN（外观ConvNet）中的特征，并使用单独的CNN（运动ConvNet）从光流图生成运动编码。该任务的数据是自动生成的，允许我们在没有人工监督的情况下进行训练。我们通过对FLIC数据集上的姿势估计、PASCAL上的静态图像动作识别以及UCF 101和HMDB 51上的视频动作识别的训练模型进行微调，展示了学习表示的强度。
2016-09-18 cs.CV
Unsupervised Hyperspectral Mixed Noise Removal Via Spatial-Spectral Constrained Deep Image Prior
University of Electronic Science and Technology of China（电子科技大学）；Southwestern University of Finance and Economics（西南财经大学）；Peng Cheng Laboratory（鹏城实验室）
近年来，基于卷积神经网络（CNN）的方法被提出用于高光谱图像（HSI）去噪。其中，深度图像先验（DIP）等无监督方法备受关注，因为这些方法不需要任何训练数据。然而，DIP遭受半收敛行为，即，DIP的迭代需要通过参考最佳迭代点处的地面实况图像来终止。在本文中，我们提出了空间谱约束的深度图像先验（S2 DIP）的HSI混合噪声去除。具体来说，我们将DIP与空间谱全变分（SSTV）项结合起来，以充分保留HSI的空间谱局部平滑性，并将$\ell_1$ -范数项结合起来，以捕获复杂的稀疏噪声。所提出的S2 DIP联合利用从深度CNN带来的表达能力，而无需任何训练数据，并通过手工制作的先验利用HSI和噪声结构。因此，我们的方法避免了半收敛行为，表现出比DIP更高的稳定性。同时，我们的方法大大提高了DIP的HSI去噪能力。为了解决所提出的去噪模型，我们开发了交替方向乘子法算法。大量的实验表明，所提出的S2 DIP优于基于优化和基于监督CNN的最先进的HSI去噪方法。
2021-06-10 cs.CV
Unsupervised Body Part Regression via Spatially Self-ordering Convolutional Neural Networks
National Institutes of Health Clinical Center（美国国立卫生研究院临床中心）
针对CT切片的自动身体部位识别可以有益于各种医学图像应用。最近的深度学习方法表现出良好的性能，需要大量的标记图像进行训练。CT体积中的内在结构或上下切片排序信息未被充分利用。在本文中，我们提出了一种基于卷积神经网络（CNN）的无监督身体部位回归（UBR）算法来解决这个问题。提出了一种新的无监督学习方法和两种样本间CNN损失函数。与以前的工作不同，UBR为人体建立了一个坐标系，并为每个轴向切片输出一个连续的分数，表示切片中身体部位的标准化位置。UBR的训练过程类似于自组织过程：切片分数是从切片间关系中学习的。训练样本是大量的未标记CT体积，因此不需要额外的注释工作。UBR简单、快速、准确。定量和定性实验验证了其有效性。此外，我们展示了UBR在网络初始化和异常检测中的两个应用。
2018-03-07 cs.CV
Unsupervised Denoising of Optical Coherence Tomography Images with Dual_Merged CycleWGAN
噪声是光学相干层析成像（OCT）图像质量不高的一个重要原因。基于卷积神经网络（CNN）的神经网络模型在图像去噪中表现出了优异的性能。然而，OCT图像去噪仍然面临着很大的挑战，因为许多以前的神经网络算法需要大量的标记数据，这可能花费大量的时间或昂贵的。此外，这些基于CNN的算法需要大量的参数和良好的调整技术，这是消耗硬件资源。针对上述问题，本文提出了一种新的循环一致生成对抗网（Dual-Merged Cycle-WGAN），用于视网膜OCT图像的去噪，该方法在减少未标记训练数据的情况下具有显著的去噪效果。我们的模型由两个Cycle-GAN网络组成，改进了生成器，描述器和wasserstein损失，以获得良好的训练稳定性和更好的性能。在两个Cycle-GAN网络之间使用图像融合技术，我们的模型可以获得更详细的信息，从而获得更好的训练效果。烧蚀实验和对比实验证明了该网络的有效性和通用性。与现有的方法相比，本文的方法获得了最好的主观视觉效果和较高的客观评价指标。
2022-05-02 cs.CV cs.LG eess.IV
Unsupervised Foveal Vision Neural Networks with Top-Down Attention
University of Florida（佛罗里达大学）
深度学习架构是识别和分类图像的非常强大的工具。然而，它们需要监督学习，并且通常在图像像素大小的向量上工作，并且在数百万个对象图像上训练时产生最佳结果。为了帮助缓解这些问题，我们提出了自下而上的显着性和自上而下的注意力的融合，只采用无监督学习技术，这有助于对象识别模块专注于相关数据，并学习重要的功能，可以在以后进行微调，以用于特定的任务。此外，通过仅利用数据的相关部分，可以大大提高训练速度。我们测试的性能，拟议的伽玛显着性技术的多伦多和CAT2000数据库，以及在街景门牌号码（SVHN）数据库中的视觉中心凹。在中心凹视觉中的结果表明，Gamma显着性与最佳和计算速度更快。SVHN中的结果表明，我们的无监督认知架构与完全监督方法相当，并且如果需要，Gamma显着性也可以提高CNN的性能。我们还开发了一种自上而下的注意力机制，该机制基于应用于CNN顶层的Gamma显着性，以提高多对象图像或具有强背景杂波的图像中的场景理解。当我们比较结果与人类观察者在自然场景中的动物被遮挡的图像数据集，我们表明，自上而下的注意力是能够从背景中消除对象的歧义，并提高系统的性能超出了人类观察者的水平。
2020-10-18 cs.CV cs.LG
ACSGRegNet: A Deep Learning-based Framework for Unsupervised Joint Affine and Diffeomorphic Registration of Lumbar Spine CT via Cross- and Self-Attention Fusion
Shanghai Jiao Tong University（上海交通大学）
配准在医学图像分析中起着重要的作用。已经研究了用于医学图像配准的基于深度学习的方法，其利用卷积神经网络（CNN）来有效地从一对图像中回归密集变形场。然而，CNN在提取语义上有意义的图像内和图像间空间对应的能力方面受到限制，这对于准确的图像配准至关重要。该研究提出了一种新的基于端到端深度学习的框架，用于无监督仿射和仿射变形配准，称为ACSGRegNet，它集成了用于建立图像间特征对应关系的交叉注意模块和用于图像内解剖结构感知的自注意模块。这两个注意力模块都建立在Transformer编码器上。来自每个注意力模块的输出分别被馈送到解码器以生成速度场。我们进一步引入门控融合模块来融合两个速度场。融合的速度场，然后集成到一个密集的变形场。对腰椎CT图像进行了广泛的实验。一旦模型被训练，成对的看不见的腰椎可以在一个镜头中被配准。在450对脊椎CT数据上进行了评估，我们的方法的平均Dice为0.963，平均距离误差为0.321 mm，优于最先进的（SOTA）。
2022-08-13 cs.AI cs.CV
Probabilistic Noise2Void: Unsupervised Content-Aware Denoising
MPI-CBG/PKS (CSBD)（马克斯·普朗克分子细胞生物学与遗传学研究所/普朗克计算生物学中心（德累斯顿系统生物学中心））；Brno University of Technology（布尔诺理工大学）
如今，卷积神经网络（CNN）是图像去噪的主要方法。传统上，它们是在成对的图像上训练的，这通常很难在实际应用中获得。这激发了自我监督的训练方法，如Noise 2 Void ~（N2 V），它们对单个噪声图像进行操作。不幸的是，自监督方法与在图像对上训练的模型没有竞争力。在这里，我们提出了“ProbabilityNoise 2 Void”（PN 2 V），这是一种训练CNN来预测每像素强度分布的方法。结合这些与适当的描述的噪声，我们得到一个完整的概率模型的噪声观测和真实的信号在每个像素。我们评估PN 2 V上公开可用的显微镜数据集，在广泛的噪声制度，并实现有竞争力的结果与监督的最先进的方法。
2019-06-04 cs.CV eess.IV
Unsupervised temporal context learning using convolutional neural networks for laparoscopic workflow analysis
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；University of Heidelberg（海德堡大学）
计算机辅助手术（CAS）旨在为外科医生在正确的时间提供正确类型的帮助。这样的辅助系统在腹腔镜手术中尤其相关，其中CAS可以减轻外科医生招致的一些缺点。对于许多辅助功能，例如在适当的时间显示肿瘤的位置或建议下一步准备什么仪器，分析手术工作流程是先决条件。由于腹腔镜介入是通过内窥镜进行的，因此视频信号是一种明显的传感器模态，可用于工作流程分析。腹腔镜检查中基于图像的工作流分析任务，例如相位识别、技能评估、视频索引或自动注释，需要在视频帧之间进行时间区分。通常，使用基于计算机视觉的方法，该方法从先前看到的数据进行归纳。为了训练这样的方法，大量的注释数据是必要的。注释手术数据需要专业知识，因此收集足够量的数据是困难的，耗时的，并不总是可行的。在本文中，我们提出了一种无监督的方法来训练卷积神经网络（CNN），以区分腹腔镜视频帧的时间基础上解决这个问题。我们从324个未标记的腹腔镜介入手术中定期提取视频帧，得到约220万张图像的数据集。从这个数据集中，我们从同一个视频中提取图像对，并训练一个CNN来确定它们的时间顺序。为了解决这个问题，CNN必须提取与理解腹腔镜工作流程相关的特征。此外，我们证明了这样的CNN可以适用于手术工作流程分割。我们对7例胆囊切除术和9例结直肠介入术的公开数据集进行了基于图像的工作流程分割。
2017-02-13 cs.CV
