Evidential Sparsification of Multimodal Latent Spaces in Conditional Variational Autoencoders
Stanford University（斯坦福大学）
变分自编码器中的离散潜在空间已经被证明可以有效地捕获许多现实世界问题的数据分布，例如自然语言理解、人类意图预测和视觉场景表示。然而，离散的潜在空间需要足够大，以捕获真实世界数据的复杂性，从而使下游任务在计算上具有挑战性。例如，在环境的高维潜在表示中执行运动规划可能是棘手的。我们考虑的问题稀疏化的离散潜在空间的训练条件变分自编码器，同时保持其学习的多模态。作为一种事后潜在空间缩减技术，我们使用证据理论来识别从特定输入条件接收直接证据的潜在类，并过滤掉那些不接收直接证据的潜在类。不同的任务，如图像生成和人类行为预测的实验，证明了我们提出的技术在减少模型的离散潜在样本空间大小，同时保持其学习的多模态的有效性。
2021-01-18 cs.AI cs.CV cs.LG
Theoretical Insights into the Use of Structural Similarity Index In Generative Models and Inferential Autoencoders
University of Waterloo（滑铁卢大学）
生成式模型和推理式自动编码器在其优化目标中大多使用$\ell_2$范数。为了生成感知更好的图像，本文从理论上讨论了如何在生成模型和推理自动编码器中使用结构相似性指数（SSIM）。我们首先回顾SSIM、SSIM距离度量和SSIM内核。我们表明，SSIM内核是一个通用的内核，因此可以用于无条件和有条件生成的矩匹配网络。然后，我们解释如何在变分和对抗自动编码器以及无条件和条件生成对抗网络（GANs）中使用SSIM距离。最后，我们建议在最小二乘GAN中使用SSIM距离而不是$\ell_2$范数。
2020-04-04 cs.CV cs.LG eess.IV
Stacked Generative Adversarial Networks
Cornell University（康奈尔大学）；Cornell Tech（康奈尔科技学院）
在本文中，我们提出了一种新的生成模型称为堆叠生成对抗网络（SGAN），它被训练为反转自底向上的判别网络的层次表示。我们的模型由一个自上而下的GANs堆栈组成，每个GAN都学会了以高级表示为条件生成低级表示。在每个特征层次结构中引入一个表示鉴别器，以鼓励生成器的表示流形与自下而上的鉴别网络的表示流形对齐，从而利用强大的鉴别表示来指导生成模型。此外，我们引入了一个条件损失，鼓励使用的条件信息从上面的层，和一个新的熵损失，最大限度地提高了发电机输出的条件熵的变化下限。我们首先独立地训练每个堆栈，然后端到端地训练整个模型。与使用单个噪声向量来表示所有变化的原始GAN不同，我们的SGAN将变化分解为多个级别，并逐步解决自上而下生成过程中的不确定性。基于视觉检查，Inception分数和视觉图灵测试，我们证明了SGAN能够生成比GANs更高质量的图像，而无需堆叠。
2017-04-12 cs.CV cs.LG cs.NE
Conditional Electrocardiogram Generation Using Hierarchical Variational Autoencoders
Sber AI Lab（Sber AI实验室）
本文提出cNVAE-ECG模型，通过生成多病理心电图提升诊断准确性，在迁移学习中实现AUROC提升2%。
2025-04-28 cs.CV cs.LG eess.SP
Stacked Autoencoders for Medical Image Search
University of Waterloo（滑铁卢大学）
医学图像可以是用于支持医学诊断的可靠信息的有价值的资源。然而，大量的医学图像使得在特定场景下检索相关信息具有挑战性。为了解决这个问题，基于内容的图像检索（CBIR）试图用不变的内容信息来表征图像（或图像区域），以便于图像搜索。这项工作提出了一个特征提取技术的医学图像使用堆叠自动编码器，编码图像的二进制向量。该技术应用于IRMA数据集，一个14，410张X射线图像的集合，以证明自动编码器在给定测试查询的情况下检索类似X射线的能力。使用IRMA数据集作为基准，发现堆叠自动编码器提供了出色的结果，对于1，733张测试图像的检索错误为376，压缩率为74.61%。
2016-10-02 cs.CV
Generative Adversarial Stacked Autoencoders for Facial Pose Normalization and Emotion Recognition
Coventry University（考文垂大学）；American University of Beirut（贝鲁特美国大学）
在这项工作中，我们提出了一种新的生成对抗堆叠自动编码器，它可以学习将面部表情（最多正负60度）映射到0度的光照不变面部表示。我们通过使用一种新的卷积层来实现这一点，该卷积层利用了局部和全局空间信息，并且卷积层具有减少的参数，利用了面部对称性。此外，我们引入了一个生成对抗逐步贪婪逐层学习算法，旨在以高效和增量的方式训练对抗自动编码器。我们证明了我们的方法的效率和报告国家的最先进的性能在几个面部表情识别语料库，包括一个收集在野外。
2020-07-19 cs.CV cs.LG
Learning from Synthetic Data Using a Stacked Multichannel Autoencoder
Illinois Institute of Technology（伊利诺伊理工学院）；Disney Research（迪士尼研究院）
从合成数据中学习具有许多重要和实际的应用。应用的一个例子是照片草图识别。使用合成数据是具有挑战性的，由于合成数据和真实数据之间的特征分布的差异，我们称之为合成差距的现象。在本文中，我们研究和形式化的一个通用框架堆叠多通道自动编码器（SMCAE），使弥合合成的差距，并从合成数据更有效地学习。特别是，我们表明，我们的SMCAE不仅可以转换和使用合成数据上具有挑战性的人脸素描识别任务，但它也可以帮助模拟真实图像，可用于训练分类识别。初步实验验证了该框架的有效性。
2015-09-21 cs.AI cs.CV
Real-time Dynamic MRI Reconstruction using Stacked Denoising Autoencoder
Indraprastha Institute of Information Technology（英迪拉·普拉斯特哈信息技术研究所）
在这项工作中，我们解决了实时的【形】动态MRI重建的问题。关于这个主题有一些研究;这些技术要么基于压缩感知，要么采用卡尔曼滤波。这些技术不能达到实时的【形】重建所需的重建速度。在这项工作中，我们提出了一种新的方法来MRI重建。我们使用堆叠去噪自动编码器（SDAE）学习从非结构化混叠图像到相应的干净图像的非线性映射。SDAE的训练很慢，但重建非常快-只需要几个矩阵向量乘法。在这项工作中，我们已经表明，使用SDAE可以重建的MRI帧比数据采集速率更快，从而实现实时的【形】重建。重建的质量与先前基于压缩感测的在线重建技术具有相同的量级。
2015-03-22 cs.CV cs.NE
Segmented and Non-Segmented Stacked Denoising Autoencoder for Hyperspectral Band Reduction
Innopolis University（因诺波利斯大学）；Normal University（师范大学）
高光谱图像分析通常需要选择信息量最大的波段，而不是在不丢失关键信息的情况下处理整个数据。现有的频带缩减（BR）方法有能力揭示数据中表现出的非线性特性，但以失去其原始表示为代价。针对这一问题，提出了一种基于无监督非线性分段和非分段堆叠去噪自动编码器（UDAE）的BR方法。我们的目标是找到一个最佳的映射，并构建一个低维空间，具有类似的结构，以最小的重建误差的原始数据。该方法首先将原始高光谱数据在空间域中分解成较小的区域，然后对每个区域分别进行UDAE处理。这导致BR对于半监督和无监督任务（即分类和聚类）的复杂性降低和效率提高。我们的实验上公开可用的高光谱数据集与各种类型的分类器证明了UDAE方法的有效性，相当于有利的其他国家的最先进的降维和BR方法。
2018-04-22 cs.CV
Stacked Autoencoder Based Deep Random Vector Functional Link Neural Network for Classification
Nanyang Technological University（南洋理工大学）
极限学习机（ELM）可以看作是随机向量函数连接（RVFL）网络的一种变体，它没有输入输出直接连接，已被广泛用于创建多层（深度）神经网络。这样的网络采用基于随机化的自动编码器（AE）进行无监督的特征提取，然后采用ELM分类器进行最终决策。每个基于随机化的AE充当独立的特征提取器，并且通过堆叠几个这样的AE来获得深度网络。受到RVFL优于ELM的性能的启发，本文利用堆叠式自动编码器的框架提出了几种深度RVFL变体。具体来说，我们引入直接连接（功能重用）从前面的层到网络的前几层，在原来的RVFL网络。这样的连接有助于规则化随机化，也降低了模型的复杂性。此外，我们还引入了去噪标准，从其损坏的版本中恢复干净的输入，在自编码器中实现比普通自编码器更好的更高级别的表示。在几个分类数据集上的大量实验表明，我们提出的深度网络比其他相关的最先进的深度神经网络实现了更好和更快的泛化。
2020-02-13 cs.CV cs.LG cs.NE
Towards Robust Stacked Capsule Autoencoder with Hybrid Adversarial Training
Shanghai University（上海大学）
胶囊网络（CapsNets）是一种新型的神经网络，它基于特征的空间关系对图像进行分类。通过分析特征的姿态和它们之间的相对位置，可以更好地识别经过仿射变换的图像。堆叠胶囊自动编码器（SCAE）是最先进的CapsNet，首次实现了CapsNet的无监督分类。然而，SCAE的安全漏洞和鲁棒性却很少被探讨。在本文中，我们提出了一个规避攻击SCAE，其中攻击者可以产生对抗性扰动的基础上减少的贡献SCAE相关的原始类别的图像的对象胶囊。然后将对抗扰动应用于原始图像，并且扰动的图像将被误分类。此外，我们提出了一种防御方法，称为混合对抗训练（HAT）对这种逃避攻击。HAT利用对抗训练和对抗蒸馏来实现更好的鲁棒性和稳定性。实验结果表明，改进后的SCAE模型在规避攻击下可以达到82.14%的分类准确率。源代码可在https://github.com/FrostbiteXSW/SCAE_Defense上获得。
2022-03-01 cs.AI cs.CV
Stacked Capsule Autoencoders
University of Oxford（牛津大学）；Google Brain（谷歌大脑）；DeepMind（深度思维）
对象由一组几何组织的部分组成。我们介绍了一个无监督胶囊自动编码器（SCAE），它明确地使用零件之间的几何关系来推理对象。由于这些关系不依赖于视点，我们的模型对视点变化是鲁棒的。SCAE包括两个阶段。在第一阶段，该模型直接从图像预测部分模板的存在和姿态，并尝试通过适当地布置模板来重建图像。在第二阶段中，SCAE预测几个对象胶囊的参数，然后使用这些参数来重建零件位姿。与以前的胶囊网络不同，该模型中的推理是由现成的神经编码器进行摊销和执行的。我们发现，对象胶囊的存在是高度信息化的对象类，这导致了最先进的结果SVHN（55%）和MNIST（98.7%）的无监督分类。代码可在https://github.com/google-research/google-research/tree/master/stacked_capsule_autoencoders上获得
2019-12-02 cs.CV cs.LG cs.NE
A Benchmark Dataset and Saliency-guided Stacked Autoencoders for Video-based Salient Object Detection
Beihang University（北京航空航天大学）；State Key Laboratory of Virtual Reality Technology and Systems（虚拟现实技术与系统国家重点实验室）；International Research Institute for Multidisciplinary Science（国际交叉科学研究院）
基于图像的显著性目标检测（SOD）在过去几十年中得到了广泛的研究。然而，基于视频的超氧化物歧化酶是少得多的探讨，因为缺乏大规模的视频数据集内的显着对象是明确的定义和注释。为此，本文提出了一个基于视频的SOD数据集，由200个视频（64分钟）。在构建数据集时，我们手动注释了7，650个均匀采样的关键帧上的所有对象和区域，并收集了23个自由观看所有视频的受试者的眼动跟踪数据。从用户数据中，我们发现视频中的显著对象可以被定义为在整个视频中始终弹出的对象，并且具有这样的属性的对象可以通过将手动注释的对象/区域掩模与多个主体的眼睛跟踪数据相结合来明确地注释。据我们所知，它是目前基于视频的显著目标检测的最大数据集。基于此数据集，本文提出了一种无监督的基线方法，基于视频的SOD使用显着性指导堆叠自动编码器。在该方法中，多个时空显著性线索首先在像素，超像素和对象水平提取。有了这些显着性线索，堆叠的自动编码器被无监督地构建，其通过渐进地编码从像素及其时空邻居收集的高维显着性线索来自动推断每个像素的显着性得分。实验结果表明，所提出的无监督方法在所提出的数据集上优于30种最先进的模型，包括19种基于图像的经典模型（无监督或非深度学习），6种基于图像的深度学习模型，以及5种基于视频的无监督模型。此外，基准测试结果表明，该数据集是非常具有挑战性的，并有可能促进基于视频的SOD的发展。
2017-05-09 cs.CV
Variable Rate Deep Image Compression With a Conditional Autoencoder
Samsung Semiconductor Inc.（三星半导体公司）
在本文中，我们提出了一种新的可变速率学习图像压缩框架与条件自动编码器。以前的基于学习的图像压缩方法大多需要针对不同的压缩率训练单独的网络，以便它们可以产生不同质量的压缩图像。相比之下，我们训练和部署只有一个可变速率图像压缩网络实现的条件自动编码器。我们提供两个速率控制参数，即，拉格朗日乘子和量化仓大小，它们作为网络的条件变量给出。通过改变拉格朗日乘数来执行对目标的粗速率自适应，而速率可以通过调整在量化编码表示中使用的bin大小来进一步微调。实验结果表明，该方案比传统的可变速率图像压缩编解码器（如JPEG 2000和BPG）提供了更好的率失真折衷。我们的模型还显示出与最先进的学习图像压缩模型相当的性能，有时甚至更好，这些模型部署了针对不同速率训练的多个网络。
2019-09-11 cs.CV eess.IV
Skeleton Based Action Recognition using a Stacked Denoising Autoencoder with Constraints of Privileged Information
Hefei University（合肥学院）；School of Artificial Intelligence and Big Data, Hefei University（合肥学院人工智能与大数据学院）；Institute of Applied Optimization, School of Artificial Intelligence and Big Data, Hefei University（合肥学院人工智能与大数据学院应用优化研究所）；School of Computer Science and Technology, University of Science and Technology of China（中国科学技术大学计算机科学与技术学院）；University of Science and Technology of China（中国科学技术大学）
最近，随着具有成本效益的深度相机与实时骨架估计的可用性，在基于机器人的人类动作识别的兴趣被重新唤起。现有的骨骼表示方法大多使用关节位置或动力学模型。与以往的研究不同，我们提出了一种新的方法，称为去噪自动编码器与时间和类别的约束（DAE_CTC）}的骨架表示的骨架重建的角度进行研究。基于特权信息下学习的概念，我们在训练阶段将动作类别和时间坐标集成到堆栈去噪自动编码器中，以保留类别和时间特征，同时从骨架中学习隐藏表示。因此，我们能够提高隐藏表示的区分有效性。为了减轻由于临时不对准而引起的变化，提出了一种新的时间配准方法，称为局部扭曲序列配准（LWSR），用于配准类间和类内动作的序列。最后，我们表示的序列使用傅立叶时间金字塔（FTP）表示，并使用LWSR注册，FTP表示，和线性支持向量机（SVM）的组合进行分类。在三个动作数据集，即MSR-ARM 3D，UTKinect-Action和Florence 3D-Action上的实验结果表明，我们的建议比许多现有的方法表现得更好，并符合最先进的水平。
2020-03-12 cs.CV
DASA: Domain Adaptation in Stacked Autoencoders using Systematic Dropout
Indian Institute of Technology Kharagpur（印度理工学院卡拉格普尔分校）
领域自适应处理将使用源域中的样本训练的基于机器学习的系统的行为适应于它们在目标域中的部署，其中两个域中的样本的统计是不相似的。由于缺乏丰富的标记样本，直接训练或适应目标领域的学习者的任务受到挑战。在本文中，我们提出了一种在基于堆叠式自动编码器（SAE）的深度神经网络（DNN）中进行领域自适应的技术，该技术分两个阶段进行：（i）在小批量训练中使用系统辍学的无监督权重自适应，（ii）在目标域中使用有限数量的标记样本进行监督微调。我们通过实验评估了视网膜血管分割问题的性能，其中SAE-DNN在源域（DRIVE数据集）中使用大量标记样本进行训练，并在目标域（STARE数据集）中使用较少数量的标记样本进行调整。在源域中使用$logloss$测量的SAE-DNN的性能是$0.19$，没有和有适应性是$0.40$和$0.18$，以及在目标域中仅用有限样本训练时的$0.39$。ROC曲线下面积分别观察为$0.90$、$0.86$、$0.92$和$0.87$。使用DASA进行血管分割的高效率有力地证实了我们的主张。
2016-03-19 cs.CV cs.LG
Knock-Knock: Acoustic Object Recognition by using Stacked Denoising Autoencoders
School of Engineering and Materials Science, Queen Mary University of London（伦敦玛丽女王大学工程与材料科学学院）
本文介绍了深度学习在基于声学数据的物体识别中的成功应用。以前采用的方法，其中手工制作的功能描述的声学数据正在使用的缺点，包括限制的能力，发现的表示是广泛适用的，并面临的风险，捕捉只有微不足道的特性的任务。相比之下，当使用多层/深度学习架构方法时，不需要定义特征表示格式：可以从原始传感器数据中学习特征，而无需先验地定义区分特征。在本文中，堆叠去噪自动编码器被应用于训练深度学习模型。用记号笔敲击测试集中的每个物体120次以获得听觉数据，在我们的实验中成功地分类了30个不同的物体，每个物体用记号笔敲击120次以获得听觉数据。通过采用所提出的深度学习框架，实现了91.50%的高准确率。以传统的基于人工特征和浅分类器的方法为基准，识别率仅为58.22%。有趣的是，当使用以原始声学数据作为输入的浅分类器时，实现了82.00%的识别率。此外，我们可以证明，使用深度学习对一个对象进行分类所需的时间远远少于使用传统方法（超过6倍）。还探讨了我们的深度架构中的不同模型参数如何影响识别性能。
2017-08-15 cs.CV
Discriminative Autoencoder for Feature Extraction: Application to Character Recognition
Indraprastha Institute of Information Technology（因德拉普拉斯信息技术学院）
传统上，自动编码器是无监督的表示学习工具。在这项工作中，我们提出了一种新的判别式自动编码器。监督判别学习的使用确保了学习的表示对于图像数据集中通常遇到的变化是鲁棒的。以基本的判别式自编码器为单元，建立了一个堆栈结构，旨在从训练数据中提取相关的表示。我们的特征提取算法的效率，即使是简单的分类方案，如KNN（K-最近邻），确保了高的分类精度。我们通过在字符/图像识别的标准数据集上进行实验，并随后与现有的监督式深度架构（如类稀疏堆叠自动编码器和判别式深度信念网络）进行比较，证明了我们的模型在表示学习方面的优越性。
2019-12-11 cs.CV cs.LG
Stacked Autoencoder Based Feature Extraction and Superpixel Generation for Multifrequency PolSAR Image Classification
Dhirubhai Ambani Institute of Information and Communication Technology（达鲁巴伊·安巴尼信息与通信技术学院）
针对多频率PolSAR图像分类问题，提出结合堆叠自编码器降维、SLIC超像素生成与softmax分类的方法，在Flevoland数据集上表现优于现有方法。
2023-11-06 cs.CV cs.LG
Deep Learning Autoencoder Approach for Handwritten Arabic Digits Recognition
Benha University（本哈大学）；Mansoura University（曼苏拉大学）；Faculty of Computer & Informatics（计算机与信息学院）；Faculty of Computer & Information Sciences（计算机与信息科学学院）
本文提出了一种新的无监督学习方法与堆叠自动编码器（SAE）的阿拉伯手写数字分类。近年来，阿拉伯手写数字识别由于其在多个领域的应用而成为一个重要的研究领域。这项工作的重点是手写阿拉伯数字识别的识别部分，面临着几个挑战，包括人类笔迹的无限变化和大型公共数据库。阿拉伯数字包含10个数字，这些数字是从印度数字系统继承而来的。堆叠自动编码器（SAE）测试和训练MADBase数据库（阿拉伯手写数字图像），包含10000个测试图像和60000个训练图像。我们表明，SAE的使用导致了不同机器学习分类算法的显着改进。SAE给出的平均准确率为98.5%。
2017-06-21 cs.CV cs.NE
CAESR: Conditional Autoencoder and Super-Resolution for Learned Spatial Scalability
IRT b；TDF；Univ Rennes（雷恩大学）；INSA Rennes（雷恩国立应用科学学院）；CNRS（法国国家科学研究中心）；IETR（雷恩电子与电信研究所）
在本文中，我们提出了CAESR，一个混合学习为基础的编码方法的空间可伸缩性的基础上，通用的视频编码（VVC）标准。我们的框架认为，低分辨率的信号编码VVC帧内模式作为一个基本层（BL），和一个深度条件自动编码器与超先验（AE-HP）作为增强层（EL）模型。EL编码器将放大的BL重构和原始图像两者作为输入。我们的方法依赖于条件编码，学习源和放大的BL图像的最佳混合，从而实现比残差编码更好的性能。在解码器侧，使用超分辨率（SR）模块来恢复高分辨率细节并反转条件编码过程。实验结果表明，我们的解决方案是具有竞争力的VVC全分辨率帧内编码，同时是可扩展的。
2022-02-01 cs.CV eess.IV eess.SP
Multiscale Mesh Deformation Component Analysis with Attention-based Autoencoders
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；University of Maryland, College Park（马里兰大学帕克分校）；Cardiff University（卡迪夫大学）
变形分量分析是几何处理和形状理解中的一个基本问题。现有的方法主要是提取局部区域内相似尺度的变形分量，而真实世界物体的变形通常是以多尺度的方式分布的。在本文中，我们提出了一种新的方法来精确的多尺度变形组件自动堆叠基于注意力的自动编码器。注意力机制被设计为学习对活动变形区域中的多尺度变形分量进行软加权，并且堆叠的基于注意力的自动编码器被学习为以不同尺度表示变形分量。定量和定性评估表明，我们的方法优于国家的最先进的方法。此外，与我们的方法提取的多尺度变形组件，用户可以编辑的形状在一个由粗到细的方式，这有利于新的形状的有效建模。
2020-12-04 cs.CV cs.GR
A Conditional Flow Variational Autoencoder for Controllable Synthesis of Virtual Populations of Anatomy
University of Leeds（利兹大学）；University of Manchester（曼彻斯特大学）；KU Leuven（荷语鲁汶大学）；Alan Turing Institute（艾伦·图灵研究所）
提出将条件变分自编码器与归一化流结合的条件流VAE，用于可控合成解剖虚拟人群，在2360名患者的心脏左心室数据上表现出优于cVAE的条件合成性能。
2023-07-28 cs.CV cs.LG eess.IV
Stacked Denoising Autoencoders and Transfer Learning for Immunogold Particles Detection and Recognition
Farfetch；Instituto Superior de Engenharia, Politécnico do Porto（波尔图理工学院高等工程学院）；Universidade de Aveiro（阿威罗大学）；Instituto de Telecomunicações, Universidade da Beira Interior（贝拉内政大学电信研究所）；Centro de Biotecnologia dos Açores (CBA), Universidade dos Açores（亚速尔大学生物技术中心）；Instituto de Engenharia Biomédica (INEB)（生物医学工程研究所）
在本文中，我们提出了一个系统的检测免疫金颗粒和迁移学习（TL）的框架，这些免疫金颗粒的识别。免疫金颗粒是用于在亚细胞水平上选择性定位生物分子的高放大率方法的一部分，仅通过电子显微镜可见。细胞壁中免疫金颗粒的数量允许评估其组成的差异，提供了分析不同植物质量的工具。对于它的量化，需要对包含数百个粒子的图像进行费力的手动标记（或注释）。在本文中提出的系统可以利用显着的负担，这一手动任务。对于颗粒检测，我们使用与SDA耦合的LoG滤波器。为了提高识别率，我们还研究了TL设置对免疫金识别的适用性。TL在包含不同大小粒子的其他数据集（目标问题）上重用源问题的学习模型。所提出的系统是为了解决玉米细胞的一个特殊问题，即确定胚乳传递细胞中细胞壁向内生长的组成。这个新的数据集以及重现我们实验的代码是公开的。我们确定，LoG检测器单独达到超过84%的准确度与F-措施。与基线模型相比，用TL开发免疫金识别也提供了优越的性能，使准确率提高了10%。
2017-12-07 cs.CV
Multi-modal data generation with a deep metric variational autoencoder
Technical University of Denmark（丹麦技术大学）；Interacoustics Research Unit（国际听力研究单元）；Interacoustics A/S（国际听力公司）；Kamide ENT clinic（上田耳鼻咽喉科诊所）；Diatec Japan（迪亚泰克日本公司）
本研究提出一种在潜在空间采用三元组损失的深度度量变分自编码器，通过类别簇内潜在空间采样实现多模态条件数据生成，在鼓膜耳镜图像与宽频鼓室测量的多模态数据集上验证有效，可用于多模态数据的高效增强。
2022-02-07 cs.CV eess.IV
Conditional Temporal Variational AutoEncoder for Action Video Prediction
The Chinese University of Hong Kong (CUHK)（香港中文大学（CUHK））
为了合成一个逼真的动作序列的基础上，一个单一的人的形象，这是至关重要的模型的运动模式和多样性的行动视频。本文提出了一种动作条件时间变分自编码器（ACT-VAE），以提高运动预测精度和捕捉运动多样性。ACT-VAE从单个输入图像预测动作剪辑的姿势序列。它被实现为一个深度生成模型，通过对潜在空间的新型时间建模，根据动作类别保持时间一致性。此外，ACT-VAE是一个通用的动作序列预测框架。当与即插即用的P2 I网络连接时，ACT-VAE可以合成图像序列。大量的实验证明，我们的方法可以预测准确的姿态和合成逼真的图像序列，超越了国家的最先进的方法。与现有的方法相比，ACT-VAE提高了模型的精度，并保持了多样性。
2021-08-12 cs.CV
Reconstructing the Invisible: Video Frame Restoration through Siamese Masked Conditional Variational Autoencoder
LIRA Center, Lancaster University（兰卡斯特大学LIRA中心）
本文提出 SiamMCVAE，利用基于 vision transformer 的孪生双编码器捕捉配对帧相似性，并通过变分推理重建视频帧缺失信息，提升自动驾驶与监控等视觉系统的鲁棒性。
2024-01-18 cs.CV
Stacked Semantic-Guided Network for Zero-Shot Sketch-Based Image Retrieval
基于零镜头草图的图像检索（Zero-Shot Sketch-based Image Retrieval，简称ZSBIR）是在zero-shot场景下，从自然图像库中进行跨域的手绘草图图像检索的任务。以往的工作主要集中在一个生成的方法，采取高度抽象和稀疏的草图作为输入，然后合成相应的自然图像。然而，固有的视觉稀疏性和大的类内方差的草图，使学习的条件解码器更困难，从而实现不理想的检索性能。在本文中，我们提出了一种新的堆叠语义引导网络，以解决独特的特点，草图在EST-SBIR。具体来说，我们设计了多层特征融合网络，将不同的中间特征表示信息在一个深神经网络，以减轻内在的稀疏性的草图。为了提高视觉知识从可见到不可见的类的转移，我们阐述了一个粗到细的条件解码器，首先生成粗粒度的特定于类别的对应特征（以辅助语义信息作为条件输入），然后生成细粒度的特定于实例的对应特征（以草图表示作为条件输入）。此外，回归损失和分类损失分别用于保持合成特征的语义和区分信息。在大规模Sketchy数据集和TU-Berlin数据集上的实验表明，该方法的检索性能比现有方法提高了20%以上.
2019-10-18 cs.CV
A Generative Model For Zero Shot Learning Using Conditional Variational Autoencoders
Indian Institute of Technology Madras（马德拉斯印度理工学院）
图像分类中的零样本学习是指训练数据中不存在来自某些新类别的图像，但可获得诸如类别的自然语言描述或属性向量的其他信息的设置。这种设置在现实世界中很重要，因为人们可能无法在训练时获得所有可能类别的图像。虽然以前的方法试图通过某种类型的传递函数来建模类属性空间和图像空间之间的关系，以便对应于看不见的类来建模图像空间，但我们采取不同的方法，并尝试使用条件变分自编码器从给定的属性生成样本，并使用生成的样本对看不见的类进行分类。通过对四个基准数据集的广泛测试，我们表明我们的模型优于现有技术，特别是在更现实的广义设置中，训练类也可以在测试时与新类一起出现。
2018-01-27 cs.CV
Conditional Inference in Pre-trained Variational Autoencoders via Cross-coding
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；University of Massachusetts（马萨诸塞大学）
变分自动编码器（VAE）是一种流行的生成模型，但其中条件推理可能具有挑战性。如果分解成查询和证据变量是固定的，条件VAE提供了一个有吸引力的解决方案。为了支持任意查询，通常简化为马尔可夫链蒙特卡罗采样方法，该方法可能遭受长混合时间。在本文中，我们提出了一个想法，我们术语交叉编码近似分布的潜在变量的条件后，证据分配给一些子集的变量。这允许生成查询样本，而无需重新训练完整的VAE。我们通过实验评估了交叉编码的三种变化，表明（i）它们可以快速优化证据和查询的不同分解，（ii）它们在定量和定性上优于哈密顿蒙特卡罗。
2018-10-03 cs.CV cs.LG stat.ML
UC-Net: Uncertainty Inspired RGB-D Saliency Detection via Conditional Variational Autoencoders
Australian National University（澳大利亚国立大学）；ACRV（澳大利亚机器人视觉中心）；Data61；Nankai University（南开大学）；Inception Institute of Artificial Intelligence（起源人工智能研究院）；Northwestern Polytechnical University（西北工业大学）
在本文中，我们提出了第一个框架（UCNet），通过从数据标记过程中学习，采用不确定性进行RGB-D显著性检测。现有的RGB-D显著性检测方法将显著性检测任务视为点估计问题，并在确定性学习管道之后产生单个显著性图。受显著性数据标记过程的启发，我们提出了通过条件变分自编码器的概率RGB-D显著性检测网络来模拟人类注释的不确定性，并通过在潜在空间中采样来为每个输入图像生成多个显著性图。通过提出的显着性共识过程，我们能够基于这些多个预测生成准确的显着性图。对6个具有挑战性的基准数据集对18个竞争算法的定量和定性评估证明了我们的方法在学习显着性图分布方面的有效性，从而在RGB-D显着性检测中实现了新的最先进技术。
2020-04-13 cs.CV
3D High-Resolution Cardiac Segmentation Reconstruction from 2D Views using Conditional Variational Autoencoders
Imperial College London（帝国理工学院）；MRC London Institute of Medical Sciences（MRC伦敦医学科学研究所）
心脏MR图像中心脏结构的准确分割是病理定量分析的关键。高分辨率3D MR序列能够进行全心脏结构成像，但采集耗时、昂贵，并且通常需要长时间屏气，不适合患者。因此，多平面屏气2D电影序列是标准实践，但由于缺乏全心脏覆盖和低通过平面分辨率而处于不利地位。为了解决这个问题，我们提出了一个有条件的变分自编码器架构，能够学习生成模型的3D高分辨率左心室（LV）分割的条件是三个2D LV分割的一个短轴和两个长轴图像。通过仅使用这三个2D分割，我们的模型可以有效地重建受试者的3D高分辨率LV分割。当对400名看不见的健康志愿者进行评估时，我们的模型产生了$87.92 \pm 0.15$的平均Dice分数，并且优于竞争体系结构。
2019-02-28 cs.CV
Conditional Variational Autoencoders for Probabilistic Pose Regression
KTH Royal Institute of Technology（瑞典皇家理工学院）；Univrses AB（Univrses AB公司）
针对机器人视觉重定位中环境重复结构导致的位姿估计歧义问题，提出基于条件变分自编码器的概率位姿回归方法，通过训练生成模型实现位姿后验采样，在歧义场景下性能优于现有方法。
2024-10-07 cs.CV
Photorealistic Facial Expression Synthesis by the Conditional Difference Adversarial Autoencoder
The Hong Kong University of Science and Technology（香港科技大学）
基于单幅人脸图像的真实感人脸表情合成可以广泛应用于人脸识别、情感识别的数据增强、娱乐等领域。这个问题是具有挑战性的，部分原因是由于标记的面部表情数据的缺乏，使得算法难以消除由于身份而引起的变化和由于表情而引起的变化的歧义。在本文中，我们提出了条件差分对抗自动编码器，CDAAE，面部表情合成。CDAAE获取先前看不见的人的面部图像，并生成具有目标情感或面部动作单元标签的该人脸的图像。CDAAE将前馈路径添加到自动编码器结构，将编码器处的低级别特征连接到解码器处的对应级别的特征。它通过学习生成同一个人但具有不同面部表情的图像的低级特征之间的差异来处理由于身份而引起的变化和由于面部表情而引起的变化的消歧问题。CDAAE结构可用于通过在训练集中的面部表情/动作单元之间进行组合和插值来生成新颖的表情。我们的实验结果表明，CDAAE可以保存身份信息时，生成的面部表情看不见的主题比以前的方法更忠实。这在使用小型数据库进行训练时尤其有利。
2017-08-30 cs.CV
Dizygotic Conditional Variational AutoEncoder for Multi-Modal and Partial Modality Absent Few-Shot Learning
Chongqing University（重庆大学）；University of Delaware（特拉华大学）
数据增强是一种用于提高Few-Shot分类任务性能的强大技术。它产生更多的样本作为补充，然后这个任务可以转化为一个共同的监督学习问题的解决方案。然而，大多数主流的基于数据增强的方法只考虑单一的模态信息，这导致生成的特征的多样性和质量低。在本文中，我们提出了一种新的多模态数据增强方法命名为Dizygotic条件变分自编码器（DCVAE），以解决上述问题。DCVAE通过将两个条件变分自编码器（CVAE）与相同种子但不同模态条件以双卵共生方式配对来进行特征合成。随后，两个CVAE的生成的特征被自适应地组合以产生最终特征，该最终特征可以被转换回其配对条件，同时确保这些条件不仅在表示上而且在功能上与原始条件一致。DCVAE通过利用不同模态先验信息的互补性，为各种多模态场景下的数据增强提供了一种新的思路。大量的实验结果表明，我们的工作在miniImageNet，CIFAR-FS和CUB数据集上实现了最先进的性能，并且能够在部分模态缺失的情况下工作得很好。
2021-06-28 cs.AI cs.CV
Conditional Flow Variational Autoencoders for Structured Sequence Prediction
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Bosch Center for Artificial Intelligence（博世人工智能中心）；CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）
预测环境和交互代理的未来状态是自主智能体在现实世界中成功运行所需的关键能力。基于潜变量模型的结构化序列预测的先前工作对潜变量施加了单峰标准高斯先验。这导致了强烈的模型偏差，这使得完全捕获未来状态分布的多模态具有挑战性。在这项工作中，我们介绍了条件流变分自编码器（CF-VAE）使用我们的新的条件规范化流之前捕获复杂的多模态条件分布有效的结构化序列预测。此外，我们提出了两个新的正则化方案，稳定训练和处理后验崩溃的稳定训练和更好地适应目标数据分布。我们在三个多模态结构化序列预测数据集- MNIST Sequences，Stanford Drone和HighD -上的实验表明，所提出的方法在不同的评估指标上获得了最先进的结果。
2020-08-18 cs.CV cs.LG stat.ML
SCALE: Semantic- and Confidence-Aware Conditional Variational Autoencoder for Zero-shot Skeleton-based Action Recognition
School of Engineering Science, Simon Fraser University（西蒙菲莎大学工程科学学院）；School of Information Science and Technology, Eastern Institute of Technology（东方理工信息科学与技术学院）
SCALE通过语义和置信度感知的条件变分自编码器，解决零样本骨骼动作识别中的语义混淆和细粒度动态问题，提升未见过类的识别性能。
2026-04-02 cs.CV
Age Progression/Regression by Conditional Adversarial Autoencoder
The University of Tennessee（田纳西大学）
“如果我给你一张我的人脸图片（不告诉你我拍照时的实际年龄）和我抓取的大量人脸图片（包含不同年龄的标签脸，但不一定配对），你能告诉我我80岁时的样子吗？或者我5岁时的样子？我可以告诉你我是什么样子吗？”答案很可能是“不”。“大多数现有的人脸老化工作试图学习年龄组之间的转换，因此需要配对样本以及标记的查询图像。在本文中，我们从生成建模的角度来看待这个问题，这样就不需要配对样本。另外，对于未标记的图像，生成模型可以直接生成具有期望年龄属性的图像。我们提出了一个条件对抗自动编码器（CAAE），它学习一个人脸流形，在这个流形上可以同时实现平滑的年龄增长和回归。在CAAE中，首先通过卷积编码器将面部映射到潜在向量，然后通过去卷积生成器将向量投影到以年龄为条件的面部流形。潜在向量保留个性化的面部特征（即，性格）和年龄条件控制进展与退化。两个对抗网络分别施加在编码器和生成器上，迫使生成更具照片真实感的人脸。实验结果表明，通过与最先进的和地面真理比较，所提出的框架的吸引人的性能和灵活性。
2017-03-28 cs.CV
Audio2Gestures: Generating Diverse Gestures from Speech Audio with Conditional Variational Autoencoders
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Tencent AI Lab（腾讯AI实验室）
由于音频和身体运动之间固有的一对多映射，从语音音频生成会话手势具有挑战性。传统的CNN/RNN假设一对一的映射，因此倾向于预测所有可能的目标运动的平均值，从而在推理过程中导致简单/无聊的运动。为了克服这个问题，我们提出了一种新的条件变分自编码器（VAE），明确的模型一对多的音频到运动的映射，通过分裂的跨模态的潜在代码为共享代码和运动特定的代码。共享代码主要模拟音频和运动之间的强相关性（例如同步的音频和运动节拍），而运动特定代码捕获独立于音频的各种运动信息。然而，将潜在代码分成两部分给VAE模型带来了训练困难。一个映射网络，促进随机采样以及其他技术，包括放松运动损失，自行车约束，和多样性损失的设计，以更好地训练的VAE。在3D和2D运动数据集上的实验验证了我们的方法比最先进的方法在定量和定性上产生更真实和多样化的运动。最后，我们证明了我们的方法可以很容易地用于生成运动序列与用户指定的运动剪辑上的时间轴。代码和更多结果在https://jingli513.github.io/audio2gestures。
2021-08-15 cs.CV
Image Segmentation by Iterative Inference from Conditional Score Estimation
Montreal Institute for Learning Algorithms（蒙特利尔学习算法研究所）；Imagia Cybernetics（Imagia Cybernetics 公司）
受虚拟皮层中前馈和迭代计算相结合的启发，并利用去噪自动编码器估计联合分布得分的能力，我们提出了一种新的迭代推理方法，用于捕获和利用以某些输入变量为条件的输出变量的复杂联合分布。这种方法被应用到图像逐像素分割，与估计的条件得分用于执行梯度上升到估计的条件分布的模式。这扩展了先前通过对自动编码器进行去噪来进行分数估计的工作到条件分布的情况下，使用损坏的前馈预测器代替高斯损坏。这种方法相对于对结构化输出（如条件随机场（CRF））执行迭代推理的更经典的方法的优点在于，不再需要定义连接输出变量的显式能量函数。为了保持计算易于处理，这种能量函数参数化通常受到相当的约束，仅涉及每个团中每个输出变量的几个邻居。我们的实验发现，所提出的迭代推理从有条件的去噪自动编码器的条件得分估计比可比模型的基础上CRF或那些不使用任何显式建模的条件联合分布的输出更好。
2017-08-18 cs.CV
Task-customized Masked AutoEncoder via Mixture of Cluster-conditional Experts
Hong Kong University of Science and Technology（香港科技大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
提出MoCE，一种基于聚类条件专家混合的MAE预训练范式，通过为每个下游任务定制预训练模型，解决数据分布差异导致的负迁移问题，在11个任务上平均提升2.45%，并刷新检测与分割的SOTA。
2024-02-08 cs.CV cs.LG
Conditional Variational Autoencoder for Learned Image Reconstruction
Huawei Noah’s Ark Lab, Huawei Technologies（华为诺亚方舟实验室，华为）；University College London（伦敦大学学院）
使用深度神经网络的学习图像重建技术最近已经流行，并且已经交付了有希望的经验结果。然而，大多数方法集中在一个单一的恢复为每个观察，从而忽略了不确定性信息。在这项工作中，我们开发了一种新的计算框架，近似未知图像在每个查询观察的后验分布。所提出的框架非常灵活：它处理隐式噪声模型和先验，它结合了数据形成过程（即，前向运算符），并且所学习的重构属性可在不同的数据集之间转移。一旦使用条件变分自编码器损失训练网络，它就通过前馈传播为近似后验分布提供计算上有效的采样器，并且所生成的样本的汇总统计用于点估计和不确定性量化。我们通过对正电子发射断层扫描（中等和低计数水平）的广泛数值实验来说明所提出的框架，表明与最先进的方法相比，该框架可以生成高质量的样本。
2021-10-25 cs.CV cs.NA math.NA
Generalized Zero-Shot Domain Adaptation via Coupled Conditional Variational Autoencoders
Durham University（杜伦大学）
领域自适应方法旨在利用来自源域的有用信息来解决目标域中的学习问题，在源域中更容易获得监督学习示例，在目标域中不存在或存在有限的此类示例的可用性。在分类问题中，领域自适应已经在不同的监督、无监督和半监督条件下被研究。然而，一个常见的情况下，标记的样本可用于目标域类的子集已被忽视。在本文中，我们制定了这个特殊的领域自适应问题在一个广义的零样本学习框架内，通过处理标记的源域样本的语义表示零样本学习。对于该特定问题，传统的领域自适应方法和零样本学习算法都不直接应用。为了解决这个广义的zero-shot领域自适应问题，我们提出了一种新的耦合条件变分自编码器（CCVAE），它可以生成合成的目标域功能，从他们的源域对应的看不见的类。在三个领域自适应数据集上进行了广泛的实验，其中包括一个定制的X射线安全检查点数据集，以模拟航空安全中的实际应用。结果表明，我们提出的方法的有效性，既对既定的基准和现实世界的适用性。
2020-08-03 cs.CV cs.LG stat.ML
Robust Multimodal Survival Prediction with the Latent Differentiation Conditional Variational AutoEncoder
The College of Artificial Intelligence, Nanjing University of Aeronautics and Astronautics（南京航空航天大学人工智能学院）
针对癌症生存预测中基因组模态缺失问题，提出 LD-CVAE，通过 VIB-Trans 压缩病理表示、LD-VAE 区分基因组共性与特性后验，并以专家乘积融合建模，在五个癌症数据集上表现优越。
2025-03-18 cs.CV
Prior Flow Variational Autoencoder: A density estimation model for Non-Intrusive Load Monitoring
Pontifical Catholic University of Rio de Janeiro（里约热内卢天主教大学）
非侵入式负载监测（NILM）是一种计算技术，用于根据单个仪表测量的整个消耗量来估计逐个设备的电力负载。在本文中，我们提出了一种基于深度神经网络的条件密度估计模型，该模型将条件变分自编码器与条件可逆归一化流模型相结合，以估计单个设备的电力需求。所得到的模型称为先验流变分自编码器，或者为简单起见称为PFVAE。因此，不是每个设备具有一个模型，而是所得到的模型负责一次逐个设备地估计功率需求。我们训练和评估我们提出的模型在一个公开的数据集组成的电力需求的措施，位于巴西的家禽饲料厂。该模型的质量进行评估，通过比较获得的归一化解聚误差（NDE）和信号聚合误差（SAE）与以前的工作值在同一数据集上。我们的建议取得了极具竞争力的结果，对于属于数据集的八台机器中的六台，我们观察到NDE从28%到81%，SAE从27%到86%的持续改进。
2021-06-27 cs.AI cs.CV cs.LG
Speech Audio Generation from dynamic MRI via a Knowledge Enhanced Conditional Variational Autoencoder
Department of Computer Science, The University of Hong Kong（香港大学计算机科学系）；School of Software Engineering, Xi'an Jiaotong University（西安交通大学软件工程学院）；Wake Forest University School of Medicine（威克森林大学医学学院）；Department of Radiology, Harvard Medical School（哈佛医学院放射科）
本文提出KE-CVAE方法，通过动态MRI生成语音音频，解决MRI数据损坏和噪声问题，提升语音合成质量。
2025-12-01 cs.CV cs.SD
