基于卷积和空间Transformer网络的无监督稀疏视图反投影

基于盲点卷积神经网络的深度无监督SAR降斑算法

Towards Deep Unsupervised SAR Despeckling with Blind-Spot Convolutional Neural Networks

PoliTO（都灵理工大学）

SAR相干斑抑制是遥感领域的一个重要问题，它代表了许多场景分析算法的第一步。最近，深度学习技术的性能优于经典的基于模型的去斑算法。然而，这样的方法需要干净的地面实况图像用于训练，因此由于不能获取干净的SAR图像，因此求助于合成斑点光学图像。在本文中，最近的工作的盲点去噪网络的启发，我们提出了一个自监督贝叶斯去斑方法。所提出的方法是训练只使用噪声图像，因此可以学习真正的SAR图像，而不是合成数据的功能。我们表明，所提出的网络的性能是非常接近的监督训练方法的合成数据和竞争力的真实数据。

2020-01-15cs.CVcs.LGeess.IV

基于卷积变分自编码器的全无监督分集去噪

Fully Unsupervised Diversity Denoising with Convolutional Variational Autoencoders

Center for Systems Biology Dresden（德累斯顿系统生物学中心）；Max-Planck Institute (CBG)（马克斯·普朗克分子细胞生物学与遗传学研究所）；School of Computer Science（计算机科学学院）；University of Birmingham（伯明翰大学）；Fondazione Human Technopole（人类技术基金会）

基于深度学习的方法已成为几乎所有图像复原任务无可争议的领导者。特别是在显微图像领域，各种内容感知的图像复原（CARE）方法现在被用来提高所采集数据的可解释性。当然，在损坏的图像中可以恢复的内容是有限的，并且像所有逆问题一样，存在许多潜在的解决方案，并且必须选择其中之一。在这里，我们提出DivNoising，一种基于全卷积变分自编码器（VAE）的去噪方法，克服了通过预测去噪图像的整个分布来选择单一解决方案的问题。首先，我们介绍了一个原则性的方式制定的VAE框架内的无监督去噪问题，明确将成像噪声模型到解码器。我们的方法是完全无监督的，只需要噪声图像和成像噪声分布的适当描述。我们证明了这样的噪声模型可以测量，从噪声数据中自举，或者在训练过程中共同学习。如果需要，可以从一组DivNoising预测中推断出一致性预测，从而与其他无监督方法产生竞争结果，有时甚至与监督的最先进方法产生竞争结果。我们（i）展示了13个数据集的去噪结果，（ii）讨论了光学字符识别（OCR）应用如何从不同的预测中受益，（iii）展示了使用不同的DivNoising预测时，实例单元格分割如何改进。

2021-03-01cs.CVcs.LGeess.IV

在卷积神经网络中使用卷积长短期记忆的全身动态PET的无监督帧间运动校正

Unsupervised inter-frame motion correction for whole-body dynamic PET using convolutional long short-term memory in a convolutional neural network

Yale University（耶鲁大学）；Siemens Medical Solutions USA, Inc.（美国西门子医疗解决方案公司）

在全身动态PET中，受试者运动会引入帧间失配，严重影响参数成像。传统的非刚性配准方法通常计算量大且耗时。深度学习方法在快速实现高准确性方面很有希望，但尚未考虑示踪剂分布变化或全身范围进行研究。在这项工作中，我们开发了一个基于无监督自动深度学习的框架来纠正帧间身体运动。运动估计网络是具有组合的卷积长短期记忆层的卷积神经网络，充分利用动态时间特征和空间信息。我们的数据集包含27名受试者，每名受试者接受90分钟FDG全身动态PET扫描。通过9倍交叉验证，与传统和深度学习基线相比，我们证明了所提出的网络在增强参数$K_{i}$和$V_{b}$图像之间的定性和定量空间对齐方面获得了优异的性能，并且显著降低了参数拟合误差。我们还展示了所提出的运动校正方法用于影响估计参数图像的下游分析的潜力，提高了区分恶性与良性高代谢感兴趣区域的能力。一旦经过训练，我们提出的网络的运动估计推理时间比传统的配准基线快460倍左右，显示出其在临床环境中易于应用的潜力。

2022-06-13cs.CVcs.LGeess.IV

基于生成对抗网络的全卷积变化检测框架

Fully Convolutional Change Detection Framework with Generative Adversarial Network for Unsupervised, Weakly Supervised and Regional Supervised Change Detection

基于深度学习的变化检测是当前遥感领域的研究热点之一。然而，大多数端到端网络都是针对有监督的变化检测而提出的，而无监督的变化检测模型依赖于传统的预检测方法。因此，我们提出了一个具有生成对抗网络的完全卷积变化检测框架，将无监督，弱监督，区域监督和完全监督的变化检测任务归纳到一个框架中。一个基本的Unet分割器被用来获得变化检测地图，一个图像到图像生成器被实现来模拟多时间图像之间的光谱和空间变化，并提出了一个用于改变和不变的建模语义变化弱和区域监督变化检测任务。分割器和生成器的迭代优化可以构建一个端到端的无监督变化检测网络，分割器和生成器之间的对抗过程可以为弱监督和区域监督的变化检测提供解决方案，分割器本身可以被训练用于完全监督的任务。实验结果表明，该框架在无监督、弱监督和区域监督的变化检测中是有效的。本文对无监督、弱监督和区域监督的变化检测任务进行了理论定义，展示了端到端网络在遥感变化检测中的巨大潜力。

2022-01-16cs.AIcs.CVeess.IV

基于去噪卷积自编码器的B超舌象特征提取

Denoising convolutional autoencoder based B-mode ultrasound tongue image feature extraction

B型超声舌像在言语产生领域中应用广泛。然而，有效的解释是在舌图像序列的巨大需求。受无监督深度学习方法最近成功的启发，我们探索了用于超声舌图像特征提取的无监督卷积网络架构，这对临床语言学家和语音学有帮助。通过对不同的无监督特征提取方法进行定量比较，基于去噪卷积自动编码器（DCAE）的方法在重建任务和2010年无声语音接口挑战上优于其他特征提取方法。与使用离散余弦变换作为特征提取器的6.45%的最新值相比，使用DCAE获得的字错误率为6.17%。我们的代码可在https://github.com/DeePBluE666/Source-code1上获得。

2019-03-03eess.IV

基于深层核PCA卷积映射网络的多时相VHR图像无监督变化检测

Unsupervised Change Detection in Multi-temporal VHR Images Based on Deep Kernel PCA Convolutional Mapping Network

Wuhan University（武汉大学）

随着对地观测技术的发展，甚高分辨率（VHR）影像已成为变化检测的重要数据源。如今，深度学习方法在VHR图像的变化检测中取得了令人瞩目的成绩。尽管如此，大多数现有的基于深度学习的变化检测模型都需要带注释的训练样本。本文提出了一种新的无监督核主成分分析（KPCA）卷积模型，用于从多时相VHR图像中提取代表性特征。基于KPCA卷积，设计了一种无监督深度连体KPCA卷积映射网络（KPCA-MNet），用于二值和多类变化检测。在KPCA-MNet中，通过由权重共享PCA卷积层组成的深度连体网络提取高级空间-光谱特征图。然后，将特征差异图中的变化信息映射到2-D极坐标域中。最后，通过阈值分割和聚类算法产生变化检测结果。KPCA-MNet的所有程序都不需要标记数据。理论分析和实验结果证明了该方法在两个二值变化检测数据集和一个多类变化检测数据集上的有效性、鲁棒性和潜力。

2019-12-18cs.CVeess.IV

基于卷积神经网络的完全无监督形变图像配准生成拟人模型

Generating Anthropomorphic Phantoms Using Fully Unsupervised Deformable Image Registration with Convolutional Neural Networks

Johns Hopkins Medical Institutes（约翰霍普金斯医学研究所）；Johns Hopkins University（约翰霍普金斯大学）

目的：计算机体模在医学影像学研究的各种应用中起着至关重要的作用。尽管现有的计算机化体模可以通过器官和体模缩放来对解剖变化进行建模，但这并不提供完全再现在人类中看到的解剖变化的方式。然而，具有模拟患者解剖结构变化的体模群体，并且在核医学中，摄取实现对于全面验证和培训至关重要。在这项工作中，我们提出了一种新的图像配准方法，从一个单一的数字幻影创建高度解剖详细的拟人幻影。方法：我们提出了一种基于深度学习的配准算法来预测变形参数，以将XCAT体模扭曲到患者CT扫描。该算法针对给定的图像对，独立于训练数据，优化了一种新的基于SSIM的目标函数，因此是真正和完全无监督的。我们评估所提出的方法在公开的低剂量CT数据集TCIA。结果如下：所提出的模型的性能进行了比较，与几个国家的最先进的方法，并优于他们超过8%，测量的SSIM和小于30%，由MSE。结论：开发了一种基于深度学习的无监督配准方法，以创建拟人幻影，同时提供可用作器官属性建模基础的“黄金标准”解剖结构。实验结果表明了该方法的有效性。由此产生的拟人幻影是高度逼真的。结合真实的成像过程模拟，生成的幻影可以在医学成像研究的许多应用。

2020-04-26cs.CVcs.LGeess.IV

用于遥感图像变化检测的无监督卷积神经网络融合方法

Unsupervised convolutional neural network fusion approach for change detection in remote sensing images

Northwestern Polytechnical University（西北工业大学）

针对现有深度学习变化检测方法需大量标注样本、成本高的问题，提出无监督浅层卷积神经网络融合方法，通过多尺度特征提取与融合及稀疏目标函数训练，在四个遥感数据集上验证了有效性。

2023-11-07cs.CVeess.IV

基于图割的块级深度无监督图像分割

Patch-Based Deep Unsupervised Image Segmentation using Graph Cuts

University of Pennsylvania（宾夕法尼亚大学）；Bowdoin College（鲍登学院）

本文提出一种基于图像块的深度无监督图像分割方法，将深度聚类特征提取与经典图割算法相结合，通过简单卷积网络迭代正则化实现像素级分割，并验证了视觉Transformer块级特征的有效性。

2024-01-15cs.CVcs.LGeess.IV

使用卷积自动编码器从MRI进行无监督脑病变分割

Unsupervised brain lesion segmentation from MRI using a convolutional autoencoder

University of Iceland（冰岛大学）；Landspitali - University Hospital（兰斯皮塔利大学医院）；The Icelandic Heart Association（冰岛心脏协会）；The Johns Hopkins University（约翰斯·霍普金斯大学）

在人脑的液体衰减反转恢复（FLAIR）和T2加权磁共振成像（MRI）中出现高信号的病变在老年人群的大脑中很常见，可能是由缺血或脱髓鞘引起的。病变是各种神经退行性疾病的生物标志物，使其准确定量对于疾病诊断和进展都很重要。使用监督学习的自动病变检测需要手动注释的图像，这通常是不切实际的。另一方面，无监督病变检测不需要任何手动描绘;然而，由于病变负载、病变位置和体素强度的可变性，这些方法的构建可能具有挑战性。在这里，我们提出了一种新的方法来解决这个问题，使用卷积自动编码器，学习分割脑病变以及白质，灰质和脑脊液重建FLAIR图像作为圆锥组合的softmax层输出从相应的T1，T2和FLAIR图像生成。该模型的一些优点是，无论病变负荷如何，它都能准确地学习分割病变，并且可以用于快速而稳健地分割不在训练集中的新图像。与地面真实手动标签上评估的最先进的分割方法的比较表明，所提出的方法可以很好地生成准确的病变分割，而无需手动注释。

2018-11-23cs.CVeess.IV

基于自适应响应函数学习的耦合卷积神经网络无监督超光谱分辨

Coupled Convolutional Neural Network with Adaptive Response Function Learning for Unsupervised Hyperspectral Super-Resolution

Key Laboratory of Digital Earth Science, Aerospace Information Research Institute, Chinese Academy of Sciences（中国科学院空天信息创新研究院数字地球科学重点实验室）；Flemish Institute for Technological Research (VITO)（弗拉芒技术研究院）；IMEC Research Group, Ghent University（根特大学IMEC研究组）；Remote Sensing Technology Institute (IMF), German Aerospace Center (DLR)（德国航空航天中心遥感技术研究所）

由于高光谱成像系统的局限性，高光谱图像的空间分辨率往往很低，从而阻碍了图像的许多应用。高光谱超分辨率是指融合HSI和MSI以生成具有高空间分辨率和高光谱分辨率的图像。近年来，提出了一些新的融合方法来解决这一问题，这些方法大多假设点扩散函数（PSF）和谱响应函数（SRF）的先验信息是已知的。然而，在实践中，这种信息往往有限或无法获得。在这项工作中，提出了一种基于无监督深度学习的融合方法- HyCoNet -可以解决在没有先验PSF和SRF信息的情况下HSI-MSI融合中的问题。HyCoNet由三个耦合的自动编码器网络组成，其中HSI和MSI基于线性解混模型被解混成端元和丰度。两个特殊的卷积层被设计成与三个自动编码器网络协调的桥梁，并且在训练过程中在两个卷积层中自适应地学习PSF和SRF参数。此外，在联合损失函数的驱动下，所提出的方法是简单的，并且易于以端到端的训练方式实现。实验结果表明，该方法对不同的数据集、任意的PSF和SRF都能得到较好的结果。

2020-07-28cs.CVeess.IV

用于无监督异常检测的具有风险价值保持的深度自动编码器

Deep Autoencoders with Value-at-Risk Thresholding for Unsupervised Anomaly Detection

IBM Research -- Ireland（IBM研究院——爱尔兰）

许多现实世界的监控和监视应用程序需要在流模型中运行非平凡的异常检测。我们考虑了一种增量学习方法，其中训练了一个正常的深度自动编码（DAE）模型，并同时用于检测异常。在异常检测中，我们利用一种新的阈值机制，基于风险价值（VaR）。我们将得到的卷积神经网络（CNN）与一些子空间方法进行比较，并在Changedetection网络上给出结果。

2019-12-09cs.CVcs.LGeess.IV

基于深连体多尺度卷积网络的多时相VHR图像变化检测

Change Detection in Multi-temporal VHR Images Based on Deep Siamese Multi-scale Convolutional Networks

Wuhan University（武汉大学）

甚高分辨率影像能够提供丰富的地面细节和空间几何信息。多时相VHR影像变化检测在城市扩展和区域内部变化分析中具有重要作用。然而，传统的变化检测方法既不能充分利用空间上下文信息，也不能处理VHR图像复杂的内部异质性。在本文中，一个强大的特征提取模型，称为多尺度特征卷积单元（MFCU）的变化检测在多时相VHR图像。MFCU可以在同一层中提取多尺度空间-光谱特征。在此基础上，设计了两种新的深度连体卷积神经网络，分别用于无监督和有监督的变化检测，称为深度连体多尺度卷积网络（DSMS-CN）和深度连体多尺度全卷积网络（DSMS-FCN）。对于无监督的变化检测，实现自动预分类以获得可靠的训练样本，然后DSMS-CN通过MFCU模块和深度连体架构拟合来自所选训练样本的变化和未变化区域的统计分布。对于监督变化检测，端到端深度全卷积网络DSMS-FCN在任何大小的多时相VHR图像中进行训练，并直接输出二进制变化图。此外，为了解决定位不准确的问题，完全连接的条件随机场（FC-CRF）与DSMS-FCN相结合，以改善结果。具有挑战性的数据集的实验结果证实，所提出的两个架构比最先进的方法表现更好。

2020-07-10cs.CVcs.LGeess.IV

生物医学高光谱图像数据的无监督分割：用卷积自编码器解决高维问题

Unsupervised segmentation of biomedical hyperspectral image data: tackling high dimensionality with convolutional autoencoders

关于活检标本的结构和组成的信息可以帮助疾病监测和诊断。原则上，这可以从拉曼和红外（IR）高光谱图像（HSI）中获取，这些图像编码了有关样品组成分子在空间中如何排列的信息。每个组织切片/组分由空间和光谱特征的独特组合定义，但是考虑到HSI数据集的高维性，提取并利用它们来分割图像是不平凡的。在这里，我们展示了基于深度卷积自动编码器（CAE）的网络如何以端到端的方式执行此任务，首先检测HSI补丁中的相关特征并将其压缩为低维潜向量，然后执行聚类步骤，将包含相似空间-频谱特征的补丁分组在一起。我们展示了使用这种端到端空间-频谱分割方法的优势，与i）未以端到端方式训练的相同空间-频谱技术相比，以及ii）仅使用猪组织模拟HSI作为测试示例的光谱特征（光谱k均值）的方法。其次，我们描述了使用三种不同的CAE架构的潜在优势/局限性：一个通用的二维CAE，一个通用的三维CAE，和一个2D CNN架构的灵感来自最近提出的UwU网，专门用于从HSI数据中提取功能。我们评估了它们在真实结肠样品的IR HSIs上的性能。我们发现，所有的架构都能够产生分割，显示出良好的对应关系与HE染色的相邻组织切片作为近似地面真理，表明的CAE驱动的方法分割生物医学HSI数据的鲁棒性。此外，我们强调需要更准确的地面实况信息，以严格比较每个架构提供的优势。

2022-09-09eess.IVphysics.med-ph

铝硅合金人工组织发展的深度卷积生成模型

Deep Convolutional Generative Modeling for Artificial Microstructure Development of Aluminum-Silicon Alloy

SRM Institute of Science and Technology（SRM科学技术学院）

机器学习是人工智能的一个子领域，在制造业和材料科学领域有着各种应用。本研究采用无监督机器学习技术中的深度生成建模方法构建了硅铝合金的人工显微组织。深度生成对抗网络已被用于开发给定微观结构图像数据集的人工微观结构。所获得的结果表明，所开发的模型已经学会了在微观结构的某些图像附近复制衬里。

2021-09-06cs.CVcs.LGeess.IV

Noise2Kernel：基于扩张卷积核结构的自适应自监督盲去噪

Noise2Kernel: Adaptive Self-Supervised Blind Denoising using a Dilated Convolutional Kernel Architecture

UNIST（蔚山科学技术院）；Korea University（高丽大学）

随着无监督学习的最新进展，有效训练深度网络进行图像去噪而无需对噪声和干净图像已经变得可行。然而，目前大多数无监督去噪方法都是建立在信号无关条件下噪声均值为零的假设上。这种假设导致盲去噪技术在被极端噪声（如椒盐噪声）严重破坏的图像上遇到亮度偏移问题。此外，大多数盲去噪方法需要随机掩蔽方案进行训练，以确保去噪过程的不变性。在本文中，我们提出了一种满足不变属性的扩张卷积网络，允许在没有随机掩蔽的情况下进行有效的基于内核的训练。我们还提出了一个自适应的自我监督损失，以规避零均值约束的要求，这是特别有效的去除椒盐或混合噪声的噪声统计的先验知识是不容易获得的。我们证明了所提出的方法的有效性，通过比较它与国家的最先进的去噪方法，使用各种例子。

2020-12-07cs.CVeess.IV

超声弹性成像中光流卷积神经网络的半监督训练

Semi-Supervised Training of Optical Flow Convolutional Neural Networks in Ultrasound Elastography

卷积神经网络（CNN）已被发现在光流问题中具有巨大的潜力，这要归功于大量可用于训练深度网络的数据。超声弹性成像（USE）中的位移估计步骤可以被视为光流问题。尽管CNN在光流中具有很高的性能，但由于USE网络的输入和输出都面临着独特的挑战，它们很少用于USE。与自然图像相比，超声数据具有更高的高频内容。输出也有很大的不同，其中USE中的位移值通常是平滑的，没有尖锐的运动或不连续性。目前的总趋势是使用预先训练的网络，并在小型模拟超声数据库上对其进行微调。然而，现实的超声模拟是计算昂贵的。而且，仿真技术不对复杂的运动、非线性和频率相关的声学以及超声成像中的许多伪影源进行建模。在这里，我们提出了一种无监督的微调技术，使我们能够采用一个大型的未标记的数据集进行微调的CNN光流网络。我们表明，所提出的无监督微调方法大大提高了网络的性能，并减少了在计算机视觉数据库上训练的网络产生的伪影。

2020-07-02eess.IV

UAV检测：STDP训练的深度卷积尖峰神经网络视网膜神经形态方法

UAV Detection: A STDP trained Deep Convolutional Spiking Neural Network Retina-Neuromorphic Approach

动态视觉传感器（DVS）具有许多属性，使其非常适合无人机检测任务。本文是第一篇研究利用事件摄像机的功能仅用于无人机检测，同时将其与使用尖峰时间依赖可塑性（STDP）的无监督方法训练的尖峰神经网络（SNN）相结合，用于检测的特征和模式识别。重点介绍了该技术的关键特性和当前缺点，同时比较了真实和模拟数据，以展示未来的设备如何克服这些缺点，帮助解决当前的问题。

2019-04-28eess.IV

一种用于高光谱解混的椭圆核无监督自编码器-图卷积网络集成模型

An Elliptic Kernel Unsupervised Autoencoder-Graph Convolutional Network Ensemble Model for Hyperspectral Unmixing

University of Puerto Rico（波多黎各大学）

本文提出AEGEM集成模型，结合椭圆核图构建、自编码器与图卷积网络，在高光谱解混中通过均方根误差决策优化端元提取与丰度图估计，并在多个基准数据集上优于基线方法。

2024-06-10cs.AIcs.CVeess.IV

基于亚像素反投影网络的单幅图像超分辨率研究

Sub-Pixel Back-Projection Network For Lightweight Single Image Super-Resolution

Trinity College Dublin（都柏林圣三一学院）；Rawky Tech LLP

基于卷积神经网络（CNN）的方法在单图像超分辨率（SISR）方面取得了巨大的成功。然而，大多数模型试图提高重建精度，同时增加模型参数的数量的要求。为了解决这个问题，在本文中，我们研究减少基于CNN的SISR方法的参数数量和计算成本，同时保持超分辨率重建性能的准确性。为此，我们引入了一种新的网络架构SISR，它罢工重建质量和低计算复杂度之间的良好权衡。具体来说，我们提出了一种迭代反投影架构，使用子像素卷积，而不是反卷积层。我们评估我们提出的模型与广泛的定量和定性评价的计算和重建精度的性能。实验结果表明，我们提出的方法使用更少的参数，降低了计算成本，同时保持重建精度对国家的最先进的SISR方法在著名的四个SR基准数据集。代码可在“https://github.com/supratikbanerjee/SubPixel-BackProjection_SuperResolution“上获得。

2020-08-03cs.CVeess.IV

基于递归叠层反投影的稀疏视图CT重建

Sparse-View CT Reconstruction using Recurrent Stacked Back Projection

Purdue University（普渡大学）

由于成本、采集时间或剂量的限制，稀疏视图CT重建在广泛的应用中是重要的。然而，传统的直接重建方法，如滤波反投影（FBP）导致低质量的重建在次奈奎斯特制度。相比之下，深度神经网络（DNN）可以从稀疏和噪声数据中生成高质量的重建，例如通过对FBP重建的后处理，基于模型的迭代重建（MBIR）也可以，尽管计算成本更高。在本文中，我们介绍了一种称为递归堆叠反投影（RSBP）的直接重建DNN方法，该方法使用单个视图的顺序获取的反投影作为递归卷积LSTM网络的输入。SBP结构保持正弦图中的所有信息，而循环处理利用相邻视图之间的相关性，并在每个新视图后产生更新的重建。我们在模拟数据上训练我们的网络，并在模拟和真实数据上进行测试，证明RSBP优于FBP图像的DNN后处理和基本MBIR，计算成本低于MBIR。

2021-12-09cs.CVeess.IV