Unsupervised Deep Clustering of MNIST with Triplet-Enhanced Convolutional Autoencoders
本研究提出基于两阶段三元组增强卷积自编码器的MNIST无监督深度聚类方法，结合重构误差与KMeans聚类损失，辅以批量归一化等技术，在多项聚类指标上取得优异性能，兼顾精度与可扩展性。
2025-06-11 cs.LG
Unsupervised Multiple Person Tracking using AutoEncoder-Based Lifted Multicuts
Fraunhofer Center Machine Learning（弗劳恩霍夫机器学习中心）；Fraunhofer ITWM（弗劳恩霍夫工业数学研究所）；Institute for Machine Learning and Analytics (IMLA) Offenburg University（奥芬堡大学机器学习与分析研究所（IMLA））；University of Mannheim（曼海姆大学）
多目标跟踪（MOT）是计算机视觉中一个长期存在的课题。基于检测跟踪范例的当前方法需要某种领域知识或监督来将数据正确地关联到轨道中。在这项工作中，我们提出了一个无监督的多目标跟踪方法的基础上的视觉特征和最小成本提升多割。我们的方法是基于直接的时空线索，可以从相邻的帧中提取的图像序列没有supervison。基于这些线索的聚类使我们能够学习手头的跟踪任务所需的外观不变性，并训练自动编码器以生成合适的潜在表示。因此，所得到的潜在表示可以作为鲁棒的外观线索，用于跟踪，即使在大的时间距离，其中没有可靠的时空特征可以被提取。我们表明，尽管在没有使用所提供的注释的情况下进行了训练，但我们的模型在具有挑战性的MOT Benchmark行人跟踪上提供了有竞争力的结果。
2020-02-04 cs.CV
Sparse Unsupervised Capsules Generalize Better
Incubator 491（491孵化中心）
我们发现，仅使用重建损失对潜在胶囊层进行无监督训练，而不进行掩蔽以选择正确的输出类，会导致方差和其他理想的胶囊质量损失。这意味着有监督的胶囊网络不能很深。潜在胶囊层活动的无监督稀疏既恢复了这些质量，又比监督掩蔽更好地泛化，同时可能实现更深的胶囊网络。我们在MNIST上训练了一个与Sabour et al（2017）几何结构相似的稀疏无监督胶囊网络，然后使用SVM层在affNIST上测试分类准确性。精度从基准的79%提高到90%。
2018-04-17 cs.CV
Unsupervised learning of phase transitions: from principal component analysis to variational autoencoders
Institut für Theoretische Physik, Universität Heidelberg（海德堡大学理论物理研究所）
我们采用无监督机器学习技术来学习最能描述二维伊辛模型和三维XY模型状态的潜在参数。这些方法的范围从主成分分析到基于人工神经网络的变分自动编码器。在高于和低于临界温度时，使用蒙特卡罗模拟对状态进行采样。我们发现，预测的潜在参数对应于已知的序参量。所讨论的模型的状态的潜在表示被聚类，这使得可以在没有关于它们的存在或底层哈密顿量的先验知识的情况下识别相位。此外，我们发现重构损失函数可以作为相变的通用标识符。
2017-03-12 cond-mat.stat-mech cs.LG stat.ML
DECA: Deep viewpoint-Equivariant human pose estimation using Capsule Autoencoders
University of Trento（特伦托大学）
人体姿态估计（Human Pose Estimation，HPE）的目的是从图像或视频中获取人体关节的三维位置。我们发现，目前的3D HPE方法缺乏视点等方差，即在处理训练时看不见的视点时，它们往往会失败或表现不佳。深度学习方法通常依赖于尺度不变、平移不变或旋转不变的操作，例如最大池化。然而，采用这样的程序并不一定改善观点的泛化，而是导致更多的数据依赖的方法。为了解决这个问题，我们提出了一种新的胶囊自动编码器网络与快速变分贝叶斯胶囊路由，命名为DECA。通过将每个关节建模为胶囊实体，结合路由算法，我们的方法可以保持关节的层次结构和几何结构在特征空间中，独立于视点。通过实现视点等方差，我们大大降低了训练时的网络数据依赖性，从而提高了对不可见视点的泛化能力。在实验验证中，我们优于其他方法的深度图像从可见和不可见的观点，无论是顶视图，前视图。在RGB域中，同一个网络在具有挑战性的视点传输任务上给出了最先进的结果，也为顶视图HPE建立了一个新的框架。代码可以在https://github.com/mmlab-cv/DECA上找到。
2021-08-19 cs.CV cs.LG
Laplacian Autoencoders for Learning Stochastic Representations
Technical University of Denmark（丹麦技术大学）
用于无监督表示学习的已建立方法（例如变分自编码器）不产生校准不确定性估计或产生校准不良的不确定性估计，使得难以评估所学习的表示是否稳定和可靠。在这项工作中，我们提出了一个贝叶斯自动编码器的无监督表示学习，这是训练使用一种新的变分下界的自动编码器的证据。这是最大化使用Monte Carlo EM与变分分布，采取拉普拉斯近似的形状。我们开发了一个新的Hessian近似，它与数据大小呈线性关系，使我们能够对高维数据进行建模。从经验上讲，我们表明，我们的拉普拉斯自动编码器估计良好校准的不确定性在潜在的和输出空间。我们证明，这会导致在众多的下游任务的性能提高。
2022-08-23 cs.LG
Stacked Capsule Autoencoders
University of Oxford（牛津大学）；Google Brain（谷歌大脑）；DeepMind（深度思维）
对象由一组几何组织的部分组成。我们介绍了一个无监督胶囊自动编码器（SCAE），它明确地使用零件之间的几何关系来推理对象。由于这些关系不依赖于视点，我们的模型对视点变化是鲁棒的。SCAE包括两个阶段。在第一阶段，该模型直接从图像预测部分模板的存在和姿态，并尝试通过适当地布置模板来重建图像。在第二阶段中，SCAE预测几个对象胶囊的参数，然后使用这些参数来重建零件位姿。与以前的胶囊网络不同，该模型中的推理是由现成的神经编码器进行摊销和执行的。我们发现，对象胶囊的存在是高度信息化的对象类，这导致了最先进的结果SVHN（55%）和MNIST（98.7%）的无监督分类。代码可在https://github.com/google-research/google-research/tree/master/stacked_capsule_autoencoders上获得
2019-12-02 cs.CV cs.LG cs.NE
DPR-CAE: Capsule Autoencoder with Dynamic Part Representation for Image Parsing
在许多计算机视觉任务中，将图像解析为对象、部分和关系的层次结构是重要的，也是具有挑战性的。本文提出了一种简单有效的胶囊自动编码器来解决这个问题，称为DPR-CAE。在我们的方法中，编码器将输入解析为一组部分胶囊，包括姿势，强度和动态矢量。解码器引入了一种新的动态部分表示（DPR）相结合的动态矢量和共享的模板库。然后，这些部件表示由相应的胶囊调节，以可解释的方式合成最终输出。此外，在DPR-CAE中引入了一个额外的修正不变模块，避免了直接学习场景与部件之间的不确定关系，使得该方法在$rm$ -MNIST和$rm$ -Fashion-MNIST上获得了较好的性能提升. DPR-CAE可以很容易地与现有的堆叠胶囊自动编码器相结合，实验结果表明，它显着提高了无监督对象分类方面的性能。我们的代码可以在附录中找到。
2021-09-07 cs.CV
HP-Capsule: Unsupervised Face Part Discovery by Hierarchical Parsing Capsule Network
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
胶囊网络通过一组部分及其相互关系来呈现物体，这提供了对视觉感知过程的洞察。虽然最近的工作已经表明胶囊网络在数字等简单对象上取得了成功，但具有类似结构的人脸，适合胶囊描述，尚未被探索。在本文中，我们提出了一个层次解析胶囊网络（HP-Capsule）的无监督人脸子部分发现。当浏览没有标签的大规模人脸图像时，网络首先用一组可解释的子部分胶囊对经常观察到的模式进行编码。然后，通过基于转换器的解析模块（TPM）将子部分胶囊组装成部分级胶囊，以学习它们之间的组合关系。在训练过程中，随着面部层次结构的逐步建立和细化，部分胶囊自适应地对具有语义一致性的面部部分进行编码。HP-Capsule将胶囊网络的应用从数字扩展到人脸，并向前迈出了一步，展示了神经网络如何在没有人为干预的情况下理解同源对象。此外，HP-Capsule通过部分胶囊的覆盖区域给出无监督的人脸分割结果，从而实现定性和定量评价。在BP 4D和Multi-PIE数据集上的实验表明了该方法的有效性。
2022-03-21 cs.CV
Masked Capsule Autoencoders
University of Aberdeen（阿伯丁大学）；Interdisciplinary Institute（跨学科研究院）
针对胶囊网络难以处理复杂数据、无法扩展到现代任务的问题，提出首个采用自监督预训练范式的掩码胶囊自编码器（MCAE），通过掩码图像建模预训练提升性能，在Imagenette数据集上较基线模型提升9%，为胶囊网络发展铺路。
2025-04-18 cs.CV
Geometric Capsule Autoencoders for 3D Point Clouds
Apple Inc.（苹果公司）
我们提出了一种方法来学习对象表示从3D点云使用束几何可解释的隐藏单元，我们称之为几何胶囊。每个几何胶囊代表一个可视实体，如对象或零件，并由两个组件组成：姿势和特征。姿态编码实体所在的位置，而特征编码实体是什么。我们使用这些胶囊来构建一个几何胶囊自动编码器，它可以学习将3D点分组为部分（小的局部表面），并以无监督的方式将这些部分分组为整个对象。我们的新的多视图协议投票机制被用来发现一个对象的规范构成和其姿态不变的特征向量。使用ShapeNet和ModelNet 40数据集，我们分析了学习表示的属性，并展示了多个投票一致的好处。我们执行任意旋转对象的对齐和检索-评估我们模型的对象识别和规范姿态恢复能力的任务-并获得了有见地的结果。
2019-12-06 cs.CV cs.GR cs.LG
Unsupervised speech representation learning using WaveNet autoencoders
Institute of Computer Science, University of Wrocław（弗罗茨瓦夫大学计算机科学研究所）；Google Research（谷歌研究院）；DeepMind
我们考虑的任务，无监督提取有意义的潜在表示的语音应用自动编码神经网络语音波形。目标是学习能够从信号中捕获高级语义内容的表示，例如，音素身份，同时对信号中的混淆低级细节（诸如潜在的音高轮廓或背景噪声）不变。由于学习的表示被调整为仅包含语音内容，因此我们采用高容量WaveNet解码器来推断编码器从先前样本中丢弃的信息。此外，自动编码器模型的行为取决于应用于潜在表示的约束类型。我们比较三种变体：简单降维瓶颈、高斯变分自编码器（VAE）和离散矢量量化VAE（VQ-VAE）。我们分析了学习的代表性的说话人独立性，预测语音内容的能力，并能够准确地重建个人声谱图帧的质量。此外，对于使用VQ-VAE提取的离散编码，我们测量将它们映射到音素的难易程度。我们引入了一个正则化方案，迫使表示专注于话语的语音内容，并报告与ZeroSpeech 2017无监督声学单元发现任务中的顶级条目相当的性能。
2019-09-11 cs.LG eess.AS stat.ML
Mode-Aware Non-Linear Tucker Autoencoder for Tensor-based Unsupervised Learning
针对高阶张量数据自监督学习中MLP自编码器维度灾难及现有张量网络难以学习非线性关系的问题，提出模式感知非线性Tucker自编码器（MA-NTAE），通过非线性Tucker分解与逐模式编码有效融合张量结构先验，在压缩与聚类任务中表现优异。
2025-08-09 cs.AI cs.LG
Capsule Network based Contrastive Learning of Unsupervised Visual Representations
Queen Mary, University of London（伦敦大学玛丽女王学院）
胶囊网络在过去的十年中取得了巨大的进步，由于其等变特性，在各种任务中表现优于传统的CNN。通过使用向量I/O提供对象或其部分的大小和方向的信息，在无监督学习环境中使用胶囊网络进行视觉表示任务（如多类图像分类）具有巨大的可能性。在本文中，我们提出了对比胶囊（CoCa）模型，这是一个暹罗风格的胶囊网络使用对比损失与我们的新架构，训练和测试算法。我们在无监督图像分类CIFAR-10数据集上对该模型进行了评估，并达到了70.50%的前1测试准确率和98.10%的前5测试准确率。由于我们的高效架构，我们的模型在监督和无监督学习中的参数和FLOP都比当前的SOTA少31倍。
2022-09-22 cs.AI cs.CV
Towards Robust Stacked Capsule Autoencoder with Hybrid Adversarial Training
Shanghai University（上海大学）
胶囊网络（CapsNets）是一种新型的神经网络，它基于特征的空间关系对图像进行分类。通过分析特征的姿态和它们之间的相对位置，可以更好地识别经过仿射变换的图像。堆叠胶囊自动编码器（SCAE）是最先进的CapsNet，首次实现了CapsNet的无监督分类。然而，SCAE的安全漏洞和鲁棒性却很少被探讨。在本文中，我们提出了一个规避攻击SCAE，其中攻击者可以产生对抗性扰动的基础上减少的贡献SCAE相关的原始类别的图像的对象胶囊。然后将对抗扰动应用于原始图像，并且扰动的图像将被误分类。此外，我们提出了一种防御方法，称为混合对抗训练（HAT）对这种逃避攻击。HAT利用对抗训练和对抗蒸馏来实现更好的鲁棒性和稳定性。实验结果表明，改进后的SCAE模型在规避攻击下可以达到82.14%的分类准确率。源代码可在https://github.com/FrostbiteXSW/SCAE_Defense上获得。
2022-03-01 cs.AI cs.CV
Unsupervised multi-branch Capsule for Hyperspectral and LiDAR classification
Yunnan Minzu University（云南民族大学）
随着遥感数据的方便获取，如何建立模型来解译复杂的遥感数据引起了广泛的关注。在遥感数据中，高光谱图像包含光谱信息，LiDAR包含高程信息。因此，如何更好地融合不同源数据的特征，还有待于进一步的探索。本文引入语义理解，动态融合两个不同来源的数据，通过不同的胶囊网络分支提取HSI和LiDAR的特征，并将Canonical Capsule中的自监督丢失和随机刚性旋转改进到高维情况。Canonical Capsule通过置换等变注意力计算对象的胶囊分解，并且通过训练随机旋转对象对来自我监督该过程。通过语义理解融合HSI和LiDAR的特征，实现了光谱-空间-高程融合特征的无监督提取。通过HSI和LiDAR两个真实场景的融合实验，验证了多分支高维规范胶囊算法对HSI和LiDAR语义理解的有效性。实验结果表明，该模型可以有效地提取HSI和LiDAR数据特征，而不是现有的多源遥感数据的无监督提取模型。
2022-11-08 cs.AI cs.CV
This Intestine Does Not Exist: Multiscale Residual Variational Autoencoder for Realistic Wireless Capsule Endoscopy Image Generation
University of Thessaly（塞萨利大学）；Svendborg Hospital（斯文堡医院）；University of Southern Denmark（南丹麦大学）
针对无线胶囊内窥镜带标注数据稀缺导致GAN训练不稳的问题，提出多尺度残差变分自编码器TIDE，可生成逼真且多样的图像并完全替代真实数据用于分类。
2023-02-07 cs.CV cs.LG eess.IV
Exploring Self-Supervised Learning with U-Net Masked Autoencoders and EfficientNet-B7 for Improved Gastrointestinal Abnormality Classification in Video Capsule Endoscopy
International Institute of Information Technology, Bangalore（国际信息技术学院，班加罗尔）；Indian Institute of Technology, Hyderabad（印度理工学院，海得拉巴）
本文提出结合U-Net掩码自编码器与EfficientNet-B7的自监督学习框架，用于改进视频胶囊内镜中胃肠异常分类，通过特征融合解决数据不平衡问题，验证了方法在准确率上的优势。
2026-04-01 cs.CV
Physics Informed Capsule Enhanced Variational AutoEncoder for Underwater Image Enhancement
University of Udine（乌迪内大学）；University of Leiden（莱顿大学）
本文提出一种融合Jaffe-McGlamery物理模型与胶囊聚类的双流水下图像增强架构，在六个基准上以三分之一计算量实现PSNR提升0.5dB以上。
2025-06-05 cs.AI cs.CV eess.IV
UnCapsTSR: An Unsupervised Transformer-based Image Super-Resolution Approach for Capsule Endoscopy Images
Sardar Vallabhbhai National Institute of Technology（萨达尔·瓦拉巴伊国家理工学院）；Norwegian University of Science and Technology (NTNU)（挪威科技大学）
本研究提出基于Transformer的无监督GAN框架UnCapsTSR，用于提升低分辨率胶囊内镜图像的空间分辨率，通过BTV损失保证空间连续性，引入EndoQM指标，在多数据集上实现指标提升40%-80%。
2026-09-03 cs.CV
CE-VAE: Capsule Enhanced Variational AutoEncoder for Underwater Image Enhancement
Naturalis Biodiversity Center（自然生物多样性中心）；University of Udine（乌迪内大学）
本文提出CE-VAE模型，通过注意力编码和双解码器结合胶囊聚类，在高效压缩退化水下图像的同时实现高质量增强，并在六个基准数据集上取得最优性能，压缩效率最高提升3倍。
2024-11-22 cs.CV eess.IV
Unsupervised Prostate Cancer Detection on H&E using Convolutional Adversarial Autoencoders
Radboud University Medical Center（拉德堡德大学医学中心）
我们提出了一种无监督的方法，使用自聚类卷积对抗自编码器来将前列腺组织分类为肿瘤或非肿瘤，而无需任何标记的训练数据。聚类方法被集成到自动编码器的训练中，只需要很少的后处理。我们的网络在苏木精和伊红（H&E）输入补丁上进行训练，并测试了两种不同的重建目标，H&E和免疫组织化学（IHC）。我们表明，使用IHC的抗体驱动的特征学习有助于网络学习聚类任务的相关特征。我们的网络仅使用一小部分验证标签来将类分配给集群，从而获得了0.62的F1分数。
2018-04-19 cs.CV cs.LG
Augmentation-Interpolative AutoEncoders for Unsupervised Few-Shot Image Generation
Cornell University（康奈尔大学）
我们的目标是建立图像生成模型，从几个例子推广到新领域。为此，我们首先研究了经典图像生成器的泛化特性，并发现自动编码器可以很好地泛化到新的领域，即使在高度约束的数据上训练也是如此。我们利用这一见解，产生一个强大的，无监督的Few-Shot图像生成算法，并介绍了一种新的训练过程的基础上恢复图像的数据增强。我们的增强插值自动编码器仅从少数参考图像合成新颖物体的逼真图像，并且优于先前的插值模型和监督的Few-Shot图像生成器。我们的程序是简单和轻量级的，广泛的推广，并在培训过程中不需要类别标签或其他监督。
2020-11-25 cs.CV cs.LG
Unsupervised Shot Boundary Detection for Temporal Segmentation of Long Capsule Endoscopy Videos
University of Virginia（弗吉尼亚大学）
医生使用胶囊式内窥镜（CE）作为一种非侵入性和非手术程序来检查整个胃肠道（GI）的疾病和异常。一次CE检查可能持续8到11个小时，生成多达80，000帧视频。医生必须审查和分析整个视频，以确定异常或疾病，然后再作出诊断。这种审查任务可能非常繁琐、耗时并且容易出错。虽然只有一个帧可以捕获与医生最终诊断相关的有用内容，但仅覆盖小肠区域的帧就可能多达50，000个。为了最大限度地减少医生的审查时间和精力，本文提出了一种新的无监督和计算效率高的时间分割方法，自动分割长CE视频到一个均匀的和可识别的视频片段。然而，使用高维帧特征矩阵在长视频中搜索时间边界在计算上是禁止的，并且对于实际临床应用是不可行的。因此，利用视频中的空间和时间信息，我们首先使用预训练的CNN模型提取高级帧特征，然后将高维帧特征矩阵投影到较低的1维嵌入。使用这个一维序列嵌入，我们应用修剪精确线性时间（PELT）算法来搜索时间边界，指示从正常到异常帧的过渡点，反之亦然。我们用多个真实患者的CE视频进行了实验，我们的模型在多个测试视频上对专家提供的标签实现了66%的AUC。
2021-10-18 cs.CV
Metric Embedding Autoencoders for Unsupervised Cross-Dataset Transfer Learning
SingularityNET Foundation（SingularityNET基金会）；ITMO University（ITMO大学）；Novamente LLC（Novamente有限责任公司）；Cisco（思科）
跨数据集迁移学习是人再识别中的一个重要问题。不幸的是，对于实际Re-ID系统的现实设置，没有太多的深度转移Re-ID模型存在。我们提出了一个纯深度传输Re-ID模型，由深度卷积神经网络和自动编码器组成。潜码分为度量嵌入和滋扰变量。然后，我们使用一种无监督训练方法，该方法不依赖于与非深度模型的协同训练。我们的实验显示了对基线和竞争对手的迁移学习模型的改进。
2018-07-18 cs.CV cs.LG
Graphics Capsule: Learning Hierarchical 3D Face Representations from 2D Images
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
构建物体层次结构的功能对人脑的视觉加工非常重要。以往的研究已经成功地采用胶囊网络，以无监督的方式分解数字和人脸的部分，以探讨神经网络的相似感知机制。然而，它们的描述仅限于2D空间，限制了它们模仿人类固有的3D感知能力的能力。在本文中，我们提出了一个逆图形胶囊网络（IGC-Net）学习的分层三维人脸表示从大规模的未标记的图像。IGC-Net的核心是一种新型的胶囊，称为图形胶囊，它表示具有计算机图形（CG）中可解释参数的3D图元，包括深度，距离和3D姿态。具体来说，IGC-Net首先将对象分解为一组语义一致的部分级描述，然后将它们组装成对象级描述以构建层次结构。学习的图形胶囊揭示了面向视觉感知的神经网络如何将面部理解为3D模型的层次结构。此外，发现的部分可以部署到无监督的人脸分割任务，以评估我们的方法的语义一致性。此外，具有明确物理意义的部分级描述提供了对最初在黑盒子中运行的人脸分析的洞察，例如形状和纹理对人脸识别的重要性。在CelebA、BP 4D和Multi-PIE上的实验证明了IGC-Net的特性。
2023-03-20 cs.CV
Unsupervised Abnormality Detection through Mixed Structure Regularization (MSR) in Deep Sparse Autoencoders
Philips Medical Systems Technologies Ltd.（飞利浦医疗系统科技有限公司）
除了显式稀疏正则化项和具有高斯噪声的输入数据的随机损坏之外，具有混合结构正则化（MSR）的深度稀疏自动编码器具有改进无监督异常检测的潜力。基于使用深度稀疏自动编码器识别离群值的无监督异常检测对于医学计算机辅助检测系统来说是非常有吸引力的方法，因为它只需要健康的数据进行训练，而不是专家注释的异常。在冠状动脉计算机断层扫描血管造影（CCTA）检测冠状动脉疾病的任务中，我们的研究结果表明，与深度稀疏和去噪自动编码器相比，MSR有可能将整体性能提高20-30%。
2019-02-28 cs.CV cs.LG
Unsupervised Change Detection in Hyperspectral Images using Feature Fusion Deep Convolutional Autoencoders
双时共配准高光谱图像中的二值变化检测是一项具有挑战性的任务，由于大量的光谱波段中存在的数据。因此，研究人员试图通过减少维度来处理它。所提出的工作旨在建立一个新的特征提取系统，使用特征融合深度卷积自动编码器来检测一对这样的双时间共配准高光谱图像之间的变化。特征融合考虑了连续层次和多个感受野的特征，因此比现有的特征提取方法增加了竞争优势。所描述的变化检测技术是完全无监督的，并且比其他需要一些标签信息的监督或半监督方法更优雅。不同的方法已被应用到提取的特征，以找到在两个图像中的变化，它被发现，所提出的方法显然优于最先进的方法在所有的数据集的无监督变化检测。
2021-09-10 cs.CV cs.LG
Improving Unsupervised Defect Segmentation by Applying Structural Similarity to Autoencoders
MVTec Software GmbH（MVTec软件有限公司）；University of Amsterdam（阿姆斯特丹大学）
卷积自动编码器已经成为图像数据上无监督缺陷分割的流行方法。最常见的是，通过基于$\ell^p$距离对逐像素重建误差进行阈值化来执行该任务。然而，这个过程会导致大的残差，每当重建包含轻微的定位边缘周围的不准确。当强度值保持大致一致时，它也无法揭示视觉上已经改变的缺陷区域。我们发现，这些问题阻止这些方法被应用到复杂的现实世界的情况下，它不能很容易地避免采用更精细的架构，如变分或功能匹配的自动编码器。我们建议使用一个感知损失函数的基础上，结构相似性，检查局部图像区域之间的相互依赖关系，考虑到亮度，对比度和结构信息，而不是简单地比较单个像素值。它在具有挑战性的纳米纤维材料的真实世界数据集和两种编织织物的新型数据集上实现了显着的性能增益，超过了使用逐像素重建误差度量的无监督缺陷分割的最新方法。
2019-02-01 cs.CV cs.LG
$β$-CapsNet: Learning Disentangled Representation for CapsNet by Information Bottleneck
China University of Petroleum（中国石油大学）
我们提出了一个框架，通过信息瓶颈约束，将信息提取成一个紧凑的形式，并激励学习一个可解释的因式分解胶囊的CapsNet学习解纠缠表示。在我们的$β$ -CapsNet框架中，超参数$β$被用来权衡解纠缠和其他任务，变分推理被用来将信息瓶颈项转换为KL散度，该KL散度被近似为对胶囊均值的约束。在监督学习中，使用类无关掩码向量来综合理解图像的变化类型，通过调整参数$β$，进行了大量的定量和定性实验，研究了去纠缠、重构和分类性能之间的关系。此外，无监督的$β$ -CapsNet和相应的动态路由算法，提出了学习解开胶囊在无监督的方式，广泛的实证评估表明，我们的$β$ -CapsNet实现了最先进的解开性能相比，CapsNet和各种基线的几个复杂的数据集，无论是在监督和无监督的场景。
2022-09-12 cs.CV
Unsupervised Multiple Domain Translation through Controlled Disentanglement in Variational Autoencoder
Le Mans University（勒芒大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
本文提出一种基于改进变分自编码器的无监督多域翻译方法，通过受控解耦两个潜变量使一个仅编码域信息、另一个编码其余变异因素，在多个视觉数据集上验证了其优于GAN类方法的性能，并证明了解耦的有效性。
2024-01-18 cs.CV cs.LG
ODDObjects: A Framework for Multiclass Unsupervised Anomaly Detection on Masked Objects
University of British Columbia（不列颠哥伦比亚大学）
本文提出了一种新的框架，称为ODDObjects，它代表分布外检测对对象的屏蔽对象的无监督异常检测。ODDObjects旨在使用在COCO风格数据集上训练的无监督自动编码器来检测各种类别的异常。该方法利用基于自动编码器的图像重建，其中高重建误差指示异常的可能性。该框架扩展了先前使用自动编码器进行异常检测的工作，比较了在对象识别数据集上训练的最先进模型。比较了各种模型架构，实验结果表明，内存增强的深度卷积自动编码器在检测分布外对象方面表现最好。
2021-04-26 cs.AI cs.CV cs.LG
Split-Brain Autoencoders: Unsupervised Learning by Cross-Channel Prediction
University of California, Berkeley（加州大学伯克利分校）
我们提出了裂脑自动编码器，一个简单的修改传统的自动编码器架构，无监督的表示学习。该方法在网络中增加了一个分裂，导致两个不相交的子网络。每个子网络都被训练来执行一项困难的任务-预测数据通道的一个子集与另一个子集。这些子网络一起从整个输入信号中提取特征。通过迫使网络解决跨通道预测任务，我们在网络中引入了一种表示，这种表示可以很好地转移到其他看不见的任务。该方法在多个大规模迁移学习基准测试中实现了最先进的性能。
2017-04-20 cs.CV
Unsupervised Feature Learning by Autoencoder and Prototypical Contrastive Learning for Hyperspectral Classification
Zhejiang University（浙江大学）；HangZhou Dianzi University（杭州电子科技大学）
用于特征提取的无监督学习方法正变得越来越流行。我们结合流行的对比学习方法（原型对比学习）和经典的表示学习方法（自动编码器），设计了一个无监督的高光谱分类特征学习网络。实验证明，我们提出的两种自编码器网络本身具有良好的特征学习能力，而我们设计的对比学习网络能够更好地结合两者的特征，学习更有代表性的特征。实验结果表明，该方法在高光谱分类实验中优于其他比较方法，包括一些监督方法。此外，我们的方法保持了快速的特征提取速度比基线方法。此外，我们的方法降低了对巨大计算资源的要求，将特征提取和对比学习分离，允许更多的研究人员对无监督对比学习进行研究和实验。
2020-09-02 cs.CV
Deep Autoencoders with Value-at-Risk Thresholding for Unsupervised Anomaly Detection
IBM Research -- Ireland（IBM研究院——爱尔兰）
许多现实世界的监控和监视应用程序需要在流模型中运行非平凡的异常检测。我们考虑了一种增量学习方法，其中训练了一个正常的深度自动编码（DAE）模型，并同时用于检测异常。在异常检测中，我们利用一种新的阈值机制，基于风险价值（VaR）。我们将得到的卷积神经网络（CNN）与一些子空间方法进行比较，并在Changedetection网络上给出结果。
2019-12-09 cs.CV cs.LG eess.IV
IBCapsNet: Information Bottleneck Capsule Network for Noise-Robust Representation Learning
Shenzhen Polytechnic University（深圳职业技术大学）
本文提出IBCapsNet，通过信息瓶颈原理设计了一种高效胶囊网络，解决传统胶囊网络计算成本高和抗噪声能力差的问题，在多个数据集上展现出更高的鲁棒性和效率。
2026-03-21 cs.CV
Symmetric Graph Convolutional Autoencoder for Unsupervised Graph Representation Learning
Seoul National University（首尔国立大学）；Hanyang University（汉阳大学）；University of Birmingham（伯明翰大学）
我们提出了一个对称图卷积自动编码器，它产生一个低维的潜在表示从一个图。与现有的具有非对称解码器部分的图自编码器相比，所提出的自编码器具有新设计的解码器，该解码器构建了完全对称的自编码器形式。对于节点特征的重建，解码器是基于拉普拉斯锐化作为拉普拉斯平滑的编码器的对应物而设计的，这允许在所提出的自动编码器架构的整个过程中利用图结构。为了防止引入Laplacian锐化所引起的网络数值不稳定性，我们进一步提出了一种新的数值稳定形式的Laplacian锐化，通过引入符号图。此外，一个新的成本函数，发现一个潜在的代表性和潜在的亲和力矩阵同时设计，以提高图像聚类任务的性能。在聚类、链接预测和可视化任务上的实验结果表明，该模型具有较好的稳定性，且性能优于现有的各种算法。
2019-08-07 cs.CV cs.LG stat.ML
PAUL: Procrustean Autoencoder for Unsupervised Lifting
Carnegie Mellon University（卡内基梅隆大学）；University of Adelaide（阿德莱德大学）
最近在将非刚性运动恢复结构（NRSfM）作为无监督深度学习问题方面的成功提出了关于深度学习可以提供NRSfM先验的新颖性的基本问题。在本文中，我们主张将3D深度自动编码器框架明确用作NRSfM先验。该框架的独特之处在于：（i）它仅从2D投影测量中学习3D自动编码器权重，以及（ii）它是Procrustean，因为它联合解析每个形状实例的未知刚性姿势。我们将这种架构称为Procustean Autoencoder for Unsupervised Lifting（PAUL），并与最近的创新（如Deep NRSfM和C3PDO）相比，在许多基准测试中展示了最先进的性能。
2021-03-31 cs.CV
Improving unsupervised anomaly localization by applying multi-scale memories to autoencoders
Shandong University（山东大学）；Zhejiang University（浙江大学）
自动编码器及其变体在异常检测中得到了广泛的应用，先前的内存增强深度自动编码器提出了记忆常态来检测异常，但它忽略了不同分辨率尺度之间的特征差异，因此我们引入多尺度内存来记录特定尺度的特征，并在自动编码器的编码和解码模块之间引入多尺度注意力融合器来检测异常，即MMAE，MMAE在无监督学习期间以相应的分辨率尺度更新时隙作为原型特征。对于异常检测，我们完成异常去除，在每个尺度上的原始编码图像特征替换为最相关的原型特征，并融合这些特征之前，馈送到解码模块重建图像。在不同数据集上的实验结果证明，我们的MMAE成功地消除了不同尺度上的异常，并在几个数据集上表现良好，与类似的基于重建的方法相比。
2020-12-21 cs.CV
Deforming Autoencoders: Unsupervised Disentangling of Shape and Appearance
Stony Brook University（石溪大学）；CentraleSupélec（高等电力学院）；INRIA（法国国家信息与自动化研究所）；Therapanacea；University College London（伦敦大学学院）；Facebook AI Research（Facebook人工智能研究院）
在这项工作中，我们介绍了变形自动编码器，一个生成模型的图像，从外观中解开形状在一个无监督的方式。如在可变形模板范例中那样，形状被表示为规范坐标系（“模板”）和观察到的图像之间的变形，而外观在“规范”模板坐标中被建模，从而丢弃由于变形而引起的可变性。我们介绍了新的技术，允许这种方法被部署在自动编码器的设置，并表明这种方法可以用于无监督的组明智的图像对齐。我们展示了人类，手部和手指，面部操作，如形状和外观插值，以及无监督地标定位的表达变形实验。在模板坐标中，一种更强大的无监督解缠形式成为可能，使我们能够成功地将人脸图像分解为阴影和阴影，并进一步操作人脸图像。
2018-06-18 cs.CV
Cycle-Consistent Adversarial Autoencoders for Unsupervised Text Style Transfer
Lenovo Research AI Lab（联想研究院人工智能实验室）；Kwai Inc.（快手公司）；Tianjin University（天津大学）；Cornell University（康奈尔大学）
由于缺乏并行数据和内容保存困难，无监督文本风格转换充满了挑战。在本文中，我们提出了一种新的神经方法来进行无监督的文本风格传输，我们称之为从非并行数据中训练的周期一致性对抗自动编码器（CAE）。CAE由三个基本组成部分组成：（1）LSTM自动编码器，将一种风格的文本编码为其潜在表示，并将编码表示解码为其原始文本或将转换表示解码为风格转换文本，（2）对抗性风格转换网络，使用对抗性训练的生成器将一种风格的潜在表示转换为另一种风格的表示，以及（3）增强对抗风格传输网络在内容保存中的能力的循环一致性约束。包含这三个组件的整个CAE可以进行端到端的培训。在两个广泛使用的公共数据集上进行的广泛实验和深入分析一致地验证了所提出的CAE在风格转换和内容保存方面的有效性，并与四个自动评估指标和人类评估方面的几个强基线进行了比较。
2020-10-02 cs.CL cs.CV cs.LG
Masked Autoencoder for Unsupervised Video Summarization
NAVER Cloud（NAVER 云）；KAIST（韩国科学技术院）
本文提出一种用于无监督视频摘要的自监督掩码自编码器，直接利用解码器重建分数评估帧重要性，无需额外下游架构或微调，并在多个基准上验证有效性。
2023-06-02 cs.CV
Unsupervised detection of mouse behavioural anomalies using two-stream convolutional autoencoders
University of Lincoln（林肯大学）；MRC Harwell Institute（英国医学研究理事会哈威尔研究所）
本文探讨了无监督学习在小鼠视频数据异常检测中的应用。本文中提出的两个模型是双流，3D卷积自动编码器（具有剩余连接）和双流，2D卷积自动编码器。这里使用的公开数据集包含12个单个家庭笼中小鼠的视频以及帧级注释。在自动编码器只看到正常事件的借口下，视频数据被手工制作，将每个行为视为伪异常，从而在训练过程中将它们从其他行为中消除。结果显示了一个明显的行为（挂）和一个不明显的行为（新郎）。这些模型的性能相比，一个单一的流自动编码器和监督学习模型，这两个都是基于自定义CAE。这两个模型也测试了中大大道数据集上发现，以及一些国家的最先进的架构。
2021-05-28 cs.CV
Toward Unsupervised 3D Point Cloud Anomaly Detection using Variational Autoencoder
Keio University（庆应义塾大学）；Denso IT Laboratory（电装信息技术实验室）
本文提出首个针对3D点云的端到端无监督异常检测框架，基于深度变分自编码器构建检测网络并设计专用异常分数，在ShapeNet数据集上验证优于基线方法。
2023-04-07 cs.CV
Unsupervised learning with sparse space-and-time autoencoders
Facebook AI Research（脸书人工智能研究院）
我们使用空间稀疏的二维、三维和四维卷积自动编码器网络来建模2D空间、3D空间和3+1=4维时空中的稀疏结构。我们通过测试其对下游任务的有用性来评估由此产生的潜在空间。其应用包括2D手写识别、3D对象中的部分分割、3D场景中的对象分割以及从运动捕捉数据生成的4D线框模型的身体部分分割。
2018-11-26 cs.AI cs.CV
Graph Autoencoder-Based Unsupervised Feature Selection with Broad and Local Data Structure Preservation
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
特征选择是一种降维技术，通过消除不相关和冗余的特征，从高维数据中选择代表性特征的子集。近年来，结合稀疏学习的特征选择方法因其相对于传统的忽略特征间相关性的特征选择方法的优异性能而受到广泛关注。这些工作首先将数据映射到一个低维子空间，然后通过对变换矩阵施加稀疏约束来选择特征。然而，它们被设计限制为线性数据变换，这是一个潜在的缺点，因为数据的底层相关结构通常是非线性的。为了利用更复杂的嵌入，我们提出了一种基于自动编码器的无监督特征选择方法，该方法利用单层自动编码器来实现特征选择和流形学习的联合框架。更具体地说，我们在连接输入层和隐藏层的权重矩阵上强制执行列稀疏性，就像以前的工作一样。此外，我们将投影数据的谱图分析纳入学习过程，以实现从原始数据空间到低维特征空间的局部数据几何保持。对图像、音频、文本和生物数据进行了广泛的实验。实验结果验证了该方法的优越性。
2018-04-21 cs.CV cs.LG stat.ML
Unsupervised seismic facies classification using deep convolutional autoencoder
School of Earth and Planetary Sciences（地球与行星科学学院）；Curtin University（科廷大学）；Oil and Gas Innovation Centre（油气创新中心）
随着地震勘测的规模和复杂性的增加，地震相的手动标记已成为一个重大挑战。应用自动化方法进行地震相解释可以显著减少传统方法中的人工劳动和特定解释者的主观性。最近出现的一组方法基于深度神经网络。这些方法是数据驱动的，需要大型标记数据集进行网络训练。我们将深度卷积自动编码器应用于无监督地震相分类，这不需要手动标记的示例。通过对从输入数据获得的深度特征向量进行聚类来生成相图。我们的方法在实际数据上产生准确的结果，并即时提供。所提出的方法开辟了在没有人为干预的情况下实时分析地质模式的可能性。
2020-08-05 cs.CV cs.LG eess.IV
EndoSLAM Dataset and An Unsupervised Monocular Visual Odometry and Depth Estimation Approach for Endoscopic Videos: Endo-SfMLearner
Institute of Biomedical Engineering, Bogazici University（波加兹奇大学生物医学工程研究所）；Computer Science Department, University of Oxford（牛津大学计算机科学系）；Brigham and Women’s Hospital, Harvard Medical School（哈佛医学院布莱根妇女医院）；Cancer Data Science, Dana Farber Cancer Institute（丹娜-法伯癌症研究所癌症数据科学部）；Cancer Program, Broad Institute of Harvard and MIT（哈佛-麻省理工学院布罗德研究所癌症项目）；Institute for Systems and Robotics, University of Coimbra（科英布拉大学系统与机器人研究所）；Faculty of Medicine, Clinical Academic Center of Coimbra, University of Coimbra（科英布拉大学科英布拉临床学术中心医学院）；Department of Biomedical Engineering, Johns Hopkins University（约翰霍普金斯大学生物医学工程系）
深度学习技术有望为内窥镜视频开发密集的地形重建和姿态估计方法。然而，目前可用的数据集不支持有效的量化基准。在本文中，我们介绍了一个全面的内窥镜SLAM数据集，包括六个猪器官的3D点云数据，胶囊和标准内窥镜记录以及综合生成的数据。采用Panda机械臂、两种市售胶囊内窥镜、两种具有不同相机特性的传统内窥镜和两种高精度3D扫描仪从8个离体猪胃肠道（GI）器官收集数据。总共有35个子数据集提供了离体部分的6D姿态地面实况：18个子数据集用于结肠，12个子数据集用于胃，5个子数据集用于小肠，而其中四个包含由专家胃肠病学家进行的息肉模拟升高。包括来自GI道的具有深度和姿态注释的合成胶囊式内窥镜帧，以便于研究模拟到真实的迁移学习算法。此外，我们提出了Endo-SfMLEarner，一种无监督的单目深度和姿态估计方法，它将残差网络与空间注意力模块相结合，以指示网络专注于可区分和高度纹理化的组织区域。该方法利用亮度感知的光度损失来提高快速帧间光照变化下的鲁棒性。为了验证EndoSLAM数据集的用例，将Endo-SfMLEarner的性能与最先进的性能进行了广泛的比较。数据集的代码和链接可在https://github.com/CapsuleEndoscope/EndoSLAM上公开获得。演示实验装置和程序的视频可通过https://www.youtube.com/watch?访问v=G_LCe0aW…
2020-10-01 cs.CV
Unsupervised Segmentation of Hyperspectral Images Using 3D Convolutional Autoencoders
高光谱图像分析已成为遥感界广泛研究的重要课题。这种图像的分类和分割有助于了解扫描场景中的底层材料，因为高光谱图像传达了在多个光谱带中捕获的详细信息。虽然深度学习已经在该领域建立了最先进的技术，但由于缺乏地面真实数据，训练良好的泛化模型仍然具有挑战性。在这封信中，我们解决了这个问题，并提出了一种端到端的方法，以完全无监督的方式分割高光谱图像。我们引入了一种新的深度架构，它将3D卷积自动编码器与聚类相结合。我们多方面的实验研究-在基准和现实生活中的数据上进行-表明我们的方法提供了高质量的分割，而无需任何先前的类标签。
2019-07-20 cs.CV
Sparse Autoencoder for Unsupervised Nucleus Detection and Representation in Histopathology Images
Stony Brook University（石溪大学）；Oak Ridge National Laboratory（橡树岭国家实验室）；Stony Brook University Hospital（石溪大学医院）
组织学图像对于研究癌症等复杂疾病至关重要。细胞核的组织学特征在疾病的诊断、预后和分析中起着关键作用。在这项工作中，我们提出了一个稀疏卷积自动编码器（CAE）完全无监督，同时核检测和特征提取在组织病理学组织图像。我们的CAE检测和编码细胞核在组织图像中的图像补丁到稀疏的特征图，编码细胞核的位置和外观。我们的CAE是第一个用于计算机视觉应用的无监督检测网络。我们CAE中的预训练核检测和特征提取模块可以以端到端的方式进行微调以进行监督学习。我们在四个数据集上评估了我们的方法，并将最先进方法的误差降低了42%。我们能够以仅5%的完全监督注释成本实现相当的性能。
2017-04-10 cs.CV
Unsupervised Clustering of Roman Potsherds via Variational Autoencoders
University of Cambridge（剑桥大学）
在本文中，我们提出了一个人工智能成像解决方案，以支持考古学家在罗马陶器碎片的分类任务。通常，每个陶片都以其截面轮廓作为二维的黑白图像来表示，并印刷在与特定考古发掘相关的考古书籍中。片段的随机和手工方差使得它们的匹配成为一个具有挑战性的问题：我们建议通过在深度卷积变分自编码器（VAE）网络的潜在空间中学习的非线性特征的无监督分层聚类来配对相似的配置文件。我们的贡献还包括创建一个罗马陶瓷（ROCOPOT）数据库，从25个罗马陶器语料库中提取了4000多个陶片配置文件，以及一个MATLAB GUI软件，用于轻松检查形状相似性。从数学和考古学的角度对结果进行了评论，以便在两个社区中解锁新的研究方向。
2022-03-14 cs.AI cs.CV cs.DB
Unsupervised Audiovisual Synthesis via Exemplar Autoencoders
Carnegie Mellon University（卡内基梅隆大学）
我们提出了一种无监督的方法，将任何个人的输入语音转换为潜在的无限多个输出扬声器的视听流。我们的方法建立在简单的自动编码器上，将样本外数据投影到训练集的分布上。我们使用Exemplar自动编码器来学习特定目标范例语音的语音，文体韵律和视觉外观。与现有方法相比，所提出的方法可以容易地扩展到任意大数量的扬声器和风格，仅使用3分钟的目标音频-视频数据，而不需要输入扬声器的{ \em任何}训练数据。要做到这一点，我们学习视听瓶颈表示，捕捉语音的结构化语言内容。我们在音频和视频合成方面优于以前的方法，并在我们的项目页面上提供了广泛的定性分析-https://www.cs.cmu.edu/~exemplar-ae/。
2021-07-03 cs.CV cs.LG cs.MM
Fully Unsupervised Diversity Denoising with Convolutional Variational Autoencoders
Center for Systems Biology Dresden（德累斯顿系统生物学中心）；Max-Planck Institute (CBG)（马克斯·普朗克分子细胞生物学与遗传学研究所）；School of Computer Science（计算机科学学院）；University of Birmingham（伯明翰大学）；Fondazione Human Technopole（人类技术基金会）
基于深度学习的方法已成为几乎所有图像复原任务无可争议的领导者。特别是在显微图像领域，各种内容感知的图像复原（CARE）方法现在被用来提高所采集数据的可解释性。当然，在损坏的图像中可以恢复的内容是有限的，并且像所有逆问题一样，存在许多潜在的解决方案，并且必须选择其中之一。在这里，我们提出DivNoising，一种基于全卷积变分自编码器（VAE）的去噪方法，克服了通过预测去噪图像的整个分布来选择单一解决方案的问题。首先，我们介绍了一个原则性的方式制定的VAE框架内的无监督去噪问题，明确将成像噪声模型到解码器。我们的方法是完全无监督的，只需要噪声图像和成像噪声分布的适当描述。我们证明了这样的噪声模型可以测量，从噪声数据中自举，或者在训练过程中共同学习。如果需要，可以从一组DivNoising预测中推断出一致性预测，从而与其他无监督方法产生竞争结果，有时甚至与监督的最先进方法产生竞争结果。我们（i）展示了13个数据集的去噪结果，（ii）讨论了光学字符识别（OCR）应用如何从不同的预测中受益，（iii）展示了使用不同的DivNoising预测时，实例单元格分割如何改进。
2021-03-01 cs.CV cs.LG eess.IV
A Masked Autoencoder Approach to Unsupervised Steel Surface Defect Recognition
针对钢表面缺陷识别中标记数据稀缺问题，采用基于Transformer的掩码自动编码器，通过随机掩码部分图像块让轻量级解码器重建，联合辅助缺陷定位目标训练编码器，聚类预训练编码器特征，取得较高匹配准确率。
2026-07-16 cs.CV
