Bidirectional Variational Autoencoders
Department of Electrical and Computer Engineering（电气与计算机工程系）；University of Southern California（南加州大学）
本文提出双向变分自编码器（BVAE），用单一网络实现编码与解码，在四个图像任务上参数减少近50%且性能略优于普通VAE。
2025-05-26 cs.AI cs.LG stat.ML
Multimodal Variational Autoencoder: a Barycentric View
Washington University in St. Louis（华盛顿大学圣路易斯分校）；Arizona State University（亚利桑那州立大学）；Clemson University（克莱姆森大学）；University of Arkansas（阿肯色大学）
本文从重心视角统一并推广多模态VAE，证明PoE和MoE是KL散度下的特例，并提出基于2-Wasserstein距离的重心方法以更好保持单模态几何结构，在三个多模态基准上验证了其有效性。
2024-12-29 cs.CV cs.IT cs.LG
Pioneer dataset and automatic recognition of Urdu handwritten characters using a deep autoencoder and convolutional neural network
COMSATS University Islamabad（COMSATS伊斯兰堡大学）；National University of Ireland, Galway（爱尔兰国立高威大学）；Lambe Institute of Translational Research（兰贝转化研究所）
乌尔都语手写体数字和字符的自动识别是一项具有挑战性的任务。它在邮政地址读取、银行支票处理、数字化和保存古代手写手稿等方面都有应用。虽然在手写体英文字符和世界上其他主要语言的自动识别方面存在着重要的工作，但对乌尔都语所做的工作却非常不足。本文有两个目标。首先，我们介绍了乌尔都语手写数字和字符的先驱数据集，包含来自900多个人的样本。其次，我们报告了使用深度自动编码器网络和卷积神经网络实现手写数字和字符自动识别的结果。更具体地说，我们使用了两层和三层深度自动编码器网络和卷积神经网络，并在识别精度方面评估了这两个框架。所提出的深度自动编码器框架可以成功地识别数字和字符，仅数字的准确率为97%，仅字符的准确率为81%，同时数字和字符的准确率为82%。相比之下，卷积神经网络的框架具有96.7%的准确率为数字，86.5%，只有字符和82.7%的数字和字符的同时。这些框架可以作为未来研究乌尔都语手写文本的基线。
2019-12-17 cs.CL cs.CV cs.LG
Score-Based Multimodal Autoencoder
University of Illinois Chicago（伊利诺伊大学芝加哥分校）
针对多模态 VAE 随模态增多而生成质量下降的问题，本文用 SBM 联合建模独立单模态 VAE 的潜空间，在保持生成质量的同时实现跨模态一致整合。
2024-12-10 cs.CV cs.LG
Disentangling shared and private latent factors in multimodal Variational Autoencoders
University of Oxford（牛津大学）；The Alan Turing Institute（阿兰·图灵研究所）
本研究针对多模态变分自编码器在模态特异性变异主导共享信号场景下的解耦局限，从跨模态预测角度提出改进方案以提升鲁棒性，相关结论经合成及真实多组学数据实验验证。
2024-03-10 cs.LG q-bio.GN stat.ML
Deep Learning Autoencoder Approach for Handwritten Arabic Digits Recognition
Benha University（本哈大学）；Mansoura University（曼苏拉大学）；Faculty of Computer & Informatics（计算机与信息学院）；Faculty of Computer & Information Sciences（计算机与信息科学学院）
本文提出了一种新的无监督学习方法与堆叠自动编码器（SAE）的阿拉伯手写数字分类。近年来，阿拉伯手写数字识别由于其在多个领域的应用而成为一个重要的研究领域。这项工作的重点是手写阿拉伯数字识别的识别部分，面临着几个挑战，包括人类笔迹的无限变化和大型公共数据库。阿拉伯数字包含10个数字，这些数字是从印度数字系统继承而来的。堆叠自动编码器（SAE）测试和训练MADBase数据库（阿拉伯手写数字图像），包含10000个测试图像和60000个训练图像。我们表明，SAE的使用导致了不同机器学习分类算法的显着改进。SAE给出的平均准确率为98.5%。
2017-06-21 cs.CV cs.NE
Learning in Variational Autoencoders with Kullback-Leibler and Renyi Integral Bounds
Romanian Institute of Science and Technology（罗马尼亚科学与技术研究院）；Max Planck Institute for Mathematics in the Sciences（马克斯·普朗克数学科学研究所）
在本文中，我们提出了两个新的界限的对数似然的基础上Kullback-Leibler和Rényi分歧，可用于变分推理，特别是变分自编码器的培训。我们的建议是出于在具有高对比度图像的连续数据集上训练VAE时遇到的困难，例如具有手写数字和字符的数据集，除非在训练期间向数据集或解码器给出的生成模型添加噪声，否则经常出现数值问题。我们提出的新的界限，这是从最大化的可能性区间的意见，允许数值稳定的训练过程，而无需添加任何额外的噪声源的数据。
2018-07-05 cs.LG stat.ML
Analyzing Multimodal Integration in the Variational Autoencoder from an Information-Theoretic Perspective
Hamburg University of Technology（汉堡工业大学）；Humboldt-Universität zu Berlin（柏林洪堡大学）；Federal Institute for Materials Research and Testing（联邦材料研究与测试研究所）；Santa Fe Institute（圣塔菲研究所）；Leipzig University（莱比锡大学）
本研究从信息论视角分析多模态变分自编码器的模态融合机制，提出单模态误差与精度损失两类度量指标，探究不同加权调度下潜损失对多模态融合能力的影响，为机器人系统的多模态学习提供分析依据。
2024-11-01 cs.IT cs.LG math.IT
SA-DVAE: Improving Zero-Shot Skeleton-Based Action Recognition by Disentangled Variational Autoencoders
National Taiwan University（台湾大学）；Chang Gung University（长庚大学）；Artificial Intelligence Research Center, Chang Gung University（长庚大学人工智能研究中心）
针对零样本骨架动作识别中数据不平衡导致的对齐难题，提出SA-DVAE方法，利用解缠变分自编码器分离骨架特征，提升语义对齐性能，在三个基准数据集上超越现有方法。
2024-07-18 cs.CV cs.LG
Multimodal Variational Autoencoder for Low-cost Cardiac Hemodynamics Instability Detection
University of Sheffield（谢菲尔德大学）；IITRAM（印度理工学院拉杰科德校区）；Sheffield Teaching Hospitals（谢菲尔德教学医院）；INSIGNEO, Institute for in Silico Medicine, University of Sheffield（谢菲尔德大学INSIGNEO计算机医学研究所）
本文提出多模态变分自编码器CardioVAE_X,G，通过三流预训练策略融合低成本CXR和ECG数据，在有限标注数据下实现心脏血流动力学不稳定性检测，AUROC达0.79。
2024-07-05 cs.CV cs.LG
DiA-gnostic VLVAE: Disentangled Alignment-Constrained Vision Language Variational AutoEncoder for Robust Radiology Reporting with Missing Modalities
本文提出DiA-gnostic VLVAE，通过基于MoE的视觉语言变分自编码器解耦共享与模态特定特征，并结合约束优化与紧凑LLaMA-X解码器，在缺失模态下实现鲁棒且高效的放射学报告生成，在IU X-Ray和MIMIC-CXR上显著优于现有方法。
2025-11-08 cs.AI cs.CV cs.LG
Aggregation of Dependent Expert Distributions in Multimodal Variational Autoencoders
BI Norwegian Business School（挪威 BI 商学院）；University of Copenhagen（哥本哈根大学）；Norwegian Computing Center（挪威计算中心）
本文提出CoDE-VAE模型，利用依赖专家共识原则聚合单模态分布并构建新的ELBO，克服了独立性假设，在生成连贯性、质量权衡及对数似然估计上优于现有方法。
2025-05-02 cs.LG
EndoUDA: A modality independent segmentation approach for endoscopy imaging
University of Oxford（牛津大学）；Big Data Institute（大数据研究所）；NIHR Oxford Biomedical Research Centre（英国国家健康研究所牛津生物医学研究中心）；John Radcliffe Hospital（约翰·拉德克利夫医院）
胃肠道（GI）癌症前体需要频繁监测患者的风险分层。自动分割方法可以帮助更准确地评估风险区域，并协助治疗程序甚至切除。在临床实践中，除了传统的白光成像（WLI）之外，还使用了窄带成像（NBI）和荧光成像等补充模式。虽然，今天大多数分割方法都是有监督的，并且只集中在单个模态数据集上，但这项工作利用了一种目标独立的无监督域自适应（UDA）技术，该技术能够推广到看不见的目标模态。在这种情况下，我们提出了一种新的基于UDA的分割方法，该方法将变分自动编码器和U-Net与一个共同的EfficientNet-B4骨干耦合在一起，并使用联合损失对目标样本进行潜在空间优化。我们表明，我们的模型可以推广到看不见的目标NBI（目标）模态时，只使用WLI（源）模态训练。我们对上消化道和下消化道内窥镜数据的实验表明，我们的方法相比，天真的监督方法和国家的最先进的UDA分割方法的有效性。
2021-07-12 cs.CV cs.LG eess.IV
Multi-modal Variational Autoencoders for normative modelling across multiple imaging modalities
University College London（伦敦大学学院）
针对疾病异质性下单模态规范建模的局限，提出两种多模态VAE规范模型及多元潜在偏差指标，在T1和DTI数据上的检测、关联表现优于基线。
2023-10-02 cs.CV cs.LG
q-Space Novelty Detection with Variational Autoencoders
Sapienza University of Rome（罗马第一大学）；Cardiff University（卡迪夫大学）；Technical University of Munich（慕尼黑工业大学）
在机器学习中，新颖性检测是识别新的未知数据的任务。在训练过程中，只有正常类的样本可用。通过分配新颖性分数将测试样品分类为正常或异常。在这里，我们提出了基于正常数据训练变分自编码器（VAE）的新颖性检测方法。由于在训练过程中不使用异常样本，我们定义的基础上（部分互补）的假设，即VAE是不太能够重建异常样本以及异常样本更强烈地违反VAE正则化;和异常样本不同于正常样本不仅在输入特征空间，而且在VAE潜在空间和VAE输出的新颖性度量。这些方法，结合使用（例如采样）的概率VAE，以获得标量新颖性分数的各种可能性，产生一个大家庭的方法。我们将这些方法应用于磁共振成像，即检测多发性硬化症患者的扩散MRI扫描中的扩散空间（q空间）异常，即检测多发性硬化症病变而不使用任何病变标签进行训练。我们的许多方法优于以前提出的q空间新奇检测方法。我们还评估了MNIST手写数字数据集上提出的方法，并表明它们中的许多都能够超越最先进的。
2018-10-25 cs.AI cs.CV cs.LG
Conditional Flow Variational Autoencoders for Structured Sequence Prediction
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Bosch Center for Artificial Intelligence（博世人工智能中心）；CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）
预测环境和交互代理的未来状态是自主智能体在现实世界中成功运行所需的关键能力。基于潜变量模型的结构化序列预测的先前工作对潜变量施加了单峰标准高斯先验。这导致了强烈的模型偏差，这使得完全捕获未来状态分布的多模态具有挑战性。在这项工作中，我们介绍了条件流变分自编码器（CF-VAE）使用我们的新的条件规范化流之前捕获复杂的多模态条件分布有效的结构化序列预测。此外，我们提出了两个新的正则化方案，稳定训练和处理后验崩溃的稳定训练和更好地适应目标数据分布。我们在三个多模态结构化序列预测数据集- MNIST Sequences，Stanford Drone和HighD -上的实验表明，所提出的方法在不同的评估指标上获得了最先进的结果。
2020-08-18 cs.CV cs.LG stat.ML
Mitigating Modality Collapse in Multimodal VAEs via Impartial Optimization
Saarland University（萨尔大学）；MPI for Software Systems（马克斯·普朗克软件系统研究所）
近来出现了许多变分自编码器（VAE），其目的是对多模态数据进行建模，例如，以联合地对图像及其对应的字幕进行建模。尽管如此，多模态VAE倾向于仅关注模态的子集，例如，通过拟合图像而忽略标题。我们把这种限制称为模态崩溃。在这项工作中，我们认为，这种效果是多模态VAE训练过程中的梯度冲突的后果。我们展示了如何检测计算图中梯度冲突（公正块）的子图，以及如何利用多任务学习中现有的梯度冲突解决方案来减轻模态崩溃。也就是说，要确保公平地优化各种模式。我们将我们的训练框架应用于多模态VAE模型，损失和文献数据集，并根据经验表明，我们的框架显着提高了重建性能，条件生成和跨模态潜在空间的一致性。
2022-06-09 cs.LG
Self-Supervised Image-to-Text and Text-to-Image Synthesis
Indian Institute of Technology Patna（印度理工学院巴特那分校）
全面理解视觉和语言及其相互关系对于认识这些模式之间的潜在相似性和差异以及学习更普遍、更有意义的表征至关重要。近年来，大多数与文本到图像合成和图像到文本生成相关的工作都集中在有监督的生成深度架构上来解决这些问题，其中很少有兴趣学习跨模态嵌入空间之间的相似性。在本文中，我们提出了一种新的基于自监督深度学习的方法来学习跨模态嵌入空间;用于图像到文本和文本到图像生成。在我们的方法中，我们首先使用基于StackGAN的自动编码器模型获得图像的密集矢量表示，并使用基于LSTM的文本自动编码器获得图像级的密集矢量表示;然后我们使用GAN和基于最大均值差异的生成网络研究从一种模态的嵌入空间到另一种模态的嵌入空间的映射。我们还证明了我们的模型可以从图像数据中学习生成文本描述，以及从文本数据中定性和定量生成图像。
2021-12-09 cs.CL cs.CV cs.LG
Non-isomorphic Inter-modality Graph Alignment and Synthesis for Holistic Brain Mapping
Université de Sousse（苏塞大学）；Ecole Nationale d’Ingénieurs de Sousse（苏塞国立工程师学院）；Istanbul Technical University（伊斯坦布尔理工大学）
脑图合成标志着从源脑图预测目标脑图的新时代，而不会产生神经成像数据的高采集成本和处理时间。然而，现有的多模态图合成框架具有若干限制。首先，它们主要关注从同一域（模态内）生成图形，忽略了大脑连接的丰富多模态表示（模态间）。其次，它们只能处理同构图生成任务，限制了它们的泛化能力，以合成具有不同节点大小和拓扑结构的目标图。更重要的是，目标域和源域可能具有不同的分布，这导致它们之间的域断裂（即，分布未对准）。为了应对这些挑战，我们提出了一个非同构图的模态间对齐器（IMANGraphNet）框架，以基于给定的模态来推断目标图模态。我们的三个核心贡献在于（i）预测目标图（例如，函数）从源图（例如，形态学）;（ii）使用具有不同数量的节点、边和结构的源域和目标域的非同构图;以及（iii）使用图自动编码器来放松所设计的损失优化，从而强制预测的目标分布与地面实况图的分布相匹配。为了处理gGAN的不稳定行为，我们设计了一个新的地面真值保持（GT-P）损失函数来指导生成器学习地面真值脑图的拓扑结构。我们从形态图预测功能的综合实验证明了IMANGraphNet与其变体相比的优越性。这可以进一步用于健康和疾病中的综合和整体脑映射。
2021-06-30 cs.CV cs.LG q-bio.NC
FedRecon: Missing Modality Reconstruction in Heterogeneous Distributed Environments
针对多模态联邦学习中模态缺失与Non-IID数据异构的耦合挑战，提出FedRecon方法，利用轻量级MVAE重构缺失模态并通过分布映射实现样本级对齐，同时采用全局生成器冻结策略缓解Non-IID波动，在多模态数据集上超越现有方法。
2025-08-13 cs.AI cs.LG
Improving Multimodal Joint Variational Autoencoders through Normalizing Flows and Correlation Analysis
Université Paris Cité（巴黎西岱大学）；INRIA（法国国家信息与自动化研究所）；Inserm（法国国家健康与医学研究院）；Sorbonne Université（索邦大学）；Centre de Recherche des Cordeliers（科德利耶研究中心）
提出一种多模态变分自编码器，结合 Deep Canonical Correlation Analysis 嵌入与 Normalizing Flows，并采用 Product of Experts 推断单一模态，提升跨模态生成的连贯性与多样性。
2023-05-19 cs.LG stat.ML
Tensor Monte Carlo: particle methods for the GPU era
Janelia Research Campus（Janelia研究园区）
多样本、重要性加权变分自编码器（IWAE）比用标准单样本目标训练的变分自编码器（VAE）提供更严格的边界和更准确的不确定性估计。然而，IWAE的规模很差：随着潜在维度的增长，它们需要指数级地多的样本来保持重要性加权的益处。虽然序贯蒙特卡罗（SMC）可以解决这个问题，但它非常慢，因为重新排序步骤强加了无法并行的顺序结构，而且，重新排序是不可微的，这在学习近似后验时是有问题的。为了解决这些问题，我们开发了张量蒙特卡罗（TMC），它通过为每个$n$潜在变量分别绘制$K$样本，然后对所有$K^n$可能的组合进行平均，从而以指数方式给出许多重要性样本。虽然对指数级的许多项求和似乎很难处理，但在许多情况下，它可以作为一系列张量内积有效地计算。我们表明，TMC是优于IWAE上的生成模型与多个随机层训练的MNIST手写数字数据库，我们表明，TMC可以结合标准的方差减少技术。
2019-01-17 cs.LG stat.ML
Learning Interpretable Features in Audio Latent Spaces via Sparse Autoencoders
Smule Labs（Smule实验室）；University of California, San Diego（加州大学圣地亚哥分校）；Stanford University（斯坦福大学）
针对稀疏自编码器应用于音频生成的语义掩盖、特征表征有限问题，提出将音频潜在表示映射到可解释声学概念的框架，训练SAEs并学习到声学属性的线性映射，在多类潜在空间验证有效且可扩展至视觉领域。
2025-10-27 cs.LG cs.SD
Indic Handwritten Script Identification using Offline-Online Multimodal Deep Network
Nanyang Technological University（南洋理工大学）；University of Surrey（萨里大学）；Institute of Engineering & Management（工程与管理学院）；Jadavpur University（贾达普大学）；Indian Institute of Technology, Roorkee（印度理工学院鲁尔基分校）；Indian Statistical Institute（印度统计研究所）
在本文中，我们提出了一种新的方法，词级的印度文字识别仅使用字符级的数据在训练阶段。在第一节中已经概述了使用字符级数据进行训练的优点。我们的方法使用多模态深度网络，该网络将数据的离线和在线模态作为输入，以便共同探索来自这两种模态的信息，用于脚本识别任务。我们把手写体数据中的任何一种模态作为输入，通过模态间转换生成相反的模态。此后，我们将这个离线-在线模态对馈送到我们的网络。因此，除了利用来自两种模态的信息的优点之外，它还可以同时用作离线和在线脚本识别的单个框架，这表明需要为单独的模态设计两个单独的脚本识别模块。另一个主要的贡献是，我们提出了一种新的条件多模态融合计划，结合离线和在线模态的信息，考虑到真正的起源的数据被馈送到我们的网络，因此它结合自适应。一个详尽的实验已经做了一个数据集，包括英语和六个印度语脚本。我们提出的框架明显优于基于传统分类器以及手工特征和基于深度学习的方法的不同框架，具有明显的优势。大量的实验表明，在我们的框架中，仅使用字符级训练数据可以实现与使用单词级数据进行传统训练所获得的性能类似的最新性能。
2019-10-15 cs.CV
CM-GANs: Cross-modal Generative Adversarial Networks for Common Representation Learning
Institute of Computer Science and Technology, Peking University（北京大学计算机科学技术研究所）
众所周知，不同模态（如图像和文本）的不一致分布和表示导致异质性差距，这使得将此类异质数据关联起来具有挑战性。生成对抗网络（GANs）具有很强的数据分布建模能力和区分性表示学习能力，现有的基于GANs的工作主要集中在生成问题上，以生成新的数据。我们有不同的目标，旨在通过利用GANs建模跨模态联合分布的能力来关联异构数据。因此，我们提出了跨模态GANs来学习区别性的共同表示，以弥合异质性差距。本文的主要贡献包括：（1）提出了跨模态GANs结构，用于建模不同模态数据的联合分布。生成模型和判别模型可以同时研究通道间和通道内的相关性。两种方法相互作用，促进了跨模态相关学习。(2)提出了一种带权值共享约束的交叉模态卷积自编码器，用于生成模型。它们不仅可以利用跨模态相关性来学习共同的表示，而且还可以保留重构信息以捕获每个模态内的语义一致性。(3)提出了跨通道对抗机制，该机制利用两种识别模型同时进行通道内和通道间的识别。它们可以相互促进，通过对抗训练过程使共同表示更具区分力。据我们所知，我们提出的CM-GANs方法是第一个利用GANs来执行跨模态公共表示学习的方法。在跨模态检索范例上进行了实验，并在3个跨模态数据集上与10种方法进行了比较。
2018-04-26 cs.CV cs.LG cs.MM
On Usage of Autoencoders and Siamese Networks for Online Handwritten Signature Verification
University of Tehran（德黑兰大学）
在本文中，我们提出了一种新的独立于作家的全球特征提取框架的自动签名验证的任务，其目的是使强大的系统，自动区分阴性和阳性样本。我们的方法包括一个自动编码器，用于将样本空间建模为固定长度的潜在空间，以及一个暹罗网络，用于根据受试者的参考样本将从自动编码器获得的固定长度样本分类为“正品”或“伪造”。“在我们的实验中，使用注意力机制和应用下采样显著提高了所提出的框架的准确性。我们使用SigWiComp2013日语和GPDSsyntheticOnLineOffLineSignature数据集评估了我们提出的框架。在SigWiComp2013日本数据集上，我们实现了8.65%的EER，这意味着与最佳报告结果相比，相对改善了1.2%。此外，在GPDSsyntheticOnLineOffLineSignature数据集上，我们对150、300、1000和2000名测试受试者分别实现了0.13%、0.12%、0.21%和0.25%的平均EER，这表明相对于最佳报告结果的相对EER分别提高了95.67%、95.26%、92.9%和91.52%。除了精度增益之外，由于我们提出的基于神经网络的框架的性质，因此与一些连续矩阵乘法一样简单，它具有比诸如DTW的传统方法更少的计算成本，并且可以在诸如GPU、TPU等设备上并发使用。
2017-12-29 cs.CV cs.NE
3DQD: Generalized Deep 3D Shape Prior via Part-Discretized Diffusion Process
Shanghai Jiao Tong University（上海交通大学）；Huawei Hisilicon（华为海思）
我们开发了一个广义的3D形状生成先验模型，适合多个3D任务，包括无条件的形状生成，点云完成，和跨模态形状生成等。一方面，要精确地捕捉局部精细详细的形状信息，矢量量化变分自编码器（VQ-VAE）是用来索引局部几何结构从一个compartly学习的码本的基础上广泛的一组任务训练数据。另一方面，引入离散扩散生成器来模拟不同令牌之间的固有结构依赖关系。同时，多频融合模块（MFM）的开发，以抑制高频形状特征的波动，引导多频上下文信息。上述设计共同装备我们提出的3D形状先验模型具有高保真度，多样化的功能以及跨模态对齐的能力，广泛的实验已经证明了在各种3D形状生成任务上的优越性能。
2023-03-18 cs.AI cs.CV cs.LG
Multi-modal anticipation of stochastic trajectories in a dynamic environment with Conditional Variational Autoencoders
The University of Hull（赫尔大学）；University of Sunderland（桑德兰大学）
预测附近车辆的短期运动提出了一个固有的挑战性问题，因为它们可能的未来运动的空间并不严格限于一组单一的轨迹。最近提出的技术，证明合理的结果主要集中在预测一个固定数量的确定性预测，或分类在各种各样的轨迹，以前产生的使用，例如动态模型。本文的重点是解决与所讨论的任务相关的不确定性，利用生成模型的随机性，以产生一组不同的合理路径方面的履带车辆。更具体地说，我们建议考虑到多模态的问题，使用条件变分自编码器（C-VAE）的条件代理的过去的运动，以及光栅化的场景上下文与胶囊网络（CapsNet）编码。此外，我们还展示了采用最小N（MoN）成本函数的优势，该函数测量了地面实况和N个生成的样本之间的距离，并试图最大限度地减少最接近样本的损失，从而有效地实现更多样化的预测。我们在一个公开的数据集上对我们的网络进行了检查，并表明我们的方法在许多情况下都优于这些技术，同时显着减少了可训练参数的数量，并允许对任意数量的不同轨迹进行采样。
2021-03-05 cs.AI cs.LG
Cancer Subtyping by Improved Transcriptomic Features Using Vector Quantized Variational Autoencoder
Osaka University（大阪大学）；Nara Institute of Science and Technology（奈良先端科学技术大学院大学）；Yunnan University（云南大学）
定义和分离癌症亚型对于促进个性化治疗模式和患者预后至关重要。亚型的定义随着我们理解的加深而不断被重新校准。在这种重新校准过程中，研究人员通常依赖于癌症数据的聚类，以提供直观的视觉参考，从而揭示亚型的内在特征。被聚类的数据通常是组学数据，如转录组学，与潜在的生物学机制有很强的相关性。然而，尽管现有的研究已经显示出有希望的结果，但它们受到与组学数据相关的问题的困扰：样本稀缺和高维。因此，现有的方法往往强加不切实际的假设，从数据中提取有用的功能，同时避免过度拟合虚假的相关性。在本文中，我们建议利用最近的强大的生成模型，矢量量化变分自编码器（VQ-VAE），以解决数据问题，并提取信息的潜在特征，这是至关重要的后续聚类的质量只保留相关的信息重建输入。VQ-VAE不强加严格的假设，因此其潜在特征是输入的更好表示，能够使用任何主流聚类方法产生卓越的聚类性能。对包括10种不同癌症的多个数据集进行的广泛实验和医学分析表明，VQ-VAE聚类结果可以显着且稳健地改善流行亚型系统的预后。
2022-07-20 cs.AI cs.LG
Same Concept, Different Directions: Cross-Modal Feature Heterogeneity in Sparse Autoencoders
发现视觉-语言模型中同一概念在不同模态下的特征方向不一致（跨模态特征异质性），并提出训练模态特定稀疏自编码器后对齐对应特征的方法，提升重建保真度和跨模态检索与概念引导性能。
2026-06-29 cs.CV cs.LG
CAVACHON: a hierarchical variational autoencoder to integrate multi-modal single-cell data
Centre for Molecular Medicine Norway (NCMM)（挪威分子医学中心（NCMM））；Nordic EMBL Partnership（北欧欧洲分子生物学实验室合作组织）；University of Oslo（奥斯陆大学）；National Taiwan University（国立台湾大学）；Oslo University Hospital（奥斯陆大学医院）；CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）
提出基于广义分层变分自编码器的概率学习框架CAVACHON，通过有向无环图显式纳入多模态单细胞数据间的条件独立性关系，有效实现多组学数据整合与分析。
2024-05-28 cs.AI cs.LG q-bio.GN
Wrapped Distributions on homogeneous Riemannian manifolds
Instituto Tecnologico Autonomo de Mexico（墨西哥自治技术学院）；Fox School of Business, Temple University（天普大学福克斯商学院）；Department of Mathematical Sciences, Durham University（杜伦大学数学科学系）
我们提供了一个一般的框架来构造概率分布的黎曼流形，利用面积保持映射和等距。控制分布的属性，如参数、对称性和模态，产生一系列灵活的分布，这些分布可以直接从中采样，适用于蒙特卡洛算法和潜变量模型，如自动编码器。作为一个例子，我们经验验证我们的方法，利用我们提出的分布内的变分自动编码器和潜在的空间网络模型。最后，我们利用这个框架的概括性描述，为未来的工作提出问题。
2022-04-20 cs.LG math.ST stat.ML
Diffuse Everything: Multimodal Diffusion Models on Arbitrary State Spaces
Machine Learning Center, Georgia Institute of Technology, Atlanta, GA；School of Mathematics, Georgia Institute of Technology, Atlanta, GA；Department of Mathematics \& Statistics, SUNY Albany, NY
针对现有多模态扩散模型依赖外部预处理、对数据量要求高的问题，提出可在任意状态空间构建的多模态扩散框架，通过模态解耦噪声调度实现单模型内的无条件与条件生成，在多任务上取得有竞争力的性能。
2025-06-12 cs.AI cs.CV cs.LG
Text-DIAE: A Self-Supervised Degradation Invariant Autoencoders for Text Recognition and Document Enhancement
Computer Vision Center（计算机视觉中心）；Digital Research Center of Sfax（斯法克斯数字研究中心）
在本文中，我们提出了一个文本退化不变自动编码器（Text-DIAE），一个自监督模型，旨在解决两个任务，文本识别（手写或场景文本）和文档图像增强。我们首先采用基于transformer的架构，该架构将三个借口任务作为学习目标，在预训练期间进行优化，而不使用标记数据。每个借口目标都是为最终的下游任务专门定制的。我们进行了几个消融实验，确认所选的借口任务的设计选择。重要的是，所提出的模型没有表现出以前的国家的最先进的方法的基础上的对比损失的限制，而在同一时间需要大大减少数据样本收敛。最后，我们证明了我们的方法超越了现有的监督和自监督设置在手写和场景文本识别和文档图像增强的最先进的。我们的代码和训练模型将在~ \url{ http://Upon_Acceptance}上公开发布。
2022-08-18 cs.CV
Dizygotic Conditional Variational AutoEncoder for Multi-Modal and Partial Modality Absent Few-Shot Learning
Chongqing University（重庆大学）；University of Delaware（特拉华大学）
数据增强是一种用于提高Few-Shot分类任务性能的强大技术。它产生更多的样本作为补充，然后这个任务可以转化为一个共同的监督学习问题的解决方案。然而，大多数主流的基于数据增强的方法只考虑单一的模态信息，这导致生成的特征的多样性和质量低。在本文中，我们提出了一种新的多模态数据增强方法命名为Dizygotic条件变分自编码器（DCVAE），以解决上述问题。DCVAE通过将两个条件变分自编码器（CVAE）与相同种子但不同模态条件以双卵共生方式配对来进行特征合成。随后，两个CVAE的生成的特征被自适应地组合以产生最终特征，该最终特征可以被转换回其配对条件，同时确保这些条件不仅在表示上而且在功能上与原始条件一致。DCVAE通过利用不同模态先验信息的互补性，为各种多模态场景下的数据增强提供了一种新的思路。大量的实验结果表明，我们的工作在miniImageNet，CIFAR-FS和CUB数据集上实现了最先进的性能，并且能够在部分模态缺失的情况下工作得很好。
2021-06-28 cs.AI cs.CV
Multi-modal Gaussian Process Variational Autoencoders for Neural and Behavioral Data
Fordham University（福特汉姆大学）；Georgia Institute of Technology（佐治亚理工学院）；Icahn School of Medicine at Mount Sinai（Mount Sinai医学院）；University of California, San Diego（加州大学圣地亚哥分校）
本文提出多模态高斯过程变分自编码器，用于分析神经和行为数据的共享与独立潜在结构，提升数据重建和解释性。
2026-02-11 cs.LG q-bio.NC
Modality-Independent Explainable Detection of Inaccurate Organ Segmentations Using Denoising Autoencoders
GE HealthCare（GE医疗）
针对放射治疗计划中危及器官分割不准确未被检测的问题，提出基于去噪自动编码器的模态无关检测方法，通过对真实分割加噪再去噪实现检测，可提供不准确区域视觉信息，对MR和CT模态均适用且性能优于多数现有方法。
2025-04-16 cs.CV eess.IV
Offline Signature Verification Based on Feature Disentangling Aided Variational Autoencoder
University of California, San Diego（加利福尼亚大学圣迭戈分校）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Boston University（波士顿大学）
本文提出首个基于变分自编码器直接提取签名图像特征的离线签名验证方法，通过引入特征解耦损失函数增强判别性，并结合SVM分类，在MCYT-75和GPDS-synthetic数据集上显著优于13种代表性方法。
2024-09-29 cs.CV
Variational Fusion for Multimodal Sentiment Analysis
A*STAR AI Initiative, Institute of High Performance Computing（A*STAR人工智能计划、高性能计算研究院）；Adobe Research（奥多比研究院）；University of Michigan（密歇根大学）；Centro de Investigación en Computación, Instituto Politécnico Nacional（国立理工学院计算研究中心）；SUTD（新加坡科技设计大学）
多模态融合被认为是诸如情感分析、情感检测、问答等多模态任务中的关键步骤。大多数关于多模态融合的最新工作不能保证多模态表示相对于单峰表示的保真度。在本文中，我们提出了一个变分自编码器为基础的方法，模态融合，最大限度地减少单峰和多峰表示之间的信息损失。我们的经验表明，这种方法在几个流行的数据集上的表现优于最先进的方法。
2019-08-13 cs.AI cs.CL cs.LG
Metrics for Deep Generative Models
AI Research, Data:Lab, Volkswagen Group（大众集团数据实验室人工智能研究（AI Research, Data:Lab, Volkswagen Group））
神经采样器，如变分自编码器（VAE）或生成对抗网络（GANs），通过将样本从简单的随机源（潜在空间）转换为来自数据集表示的更复杂分布的样本来近似分布。虽然流形假设意味着由数据集诱导的密度包含大的低密度区域，但VAE和GANs的训练准则将使潜在空间被密集覆盖。因此，在观测空间中被低密度区域分开的点将在潜在空间中被推到一起，使得固定距离不能代表相似性。我们将黎曼几何的思想转移到这个设置中，让两点之间的距离是由变换引起的黎曼流形上的最短路径。该方法产生了一个原则性的距离测量，提供了一个工具，视觉检查的深生成模型，并替代潜在空间中的线性插值。此外，它可以应用于机器人运动泛化使用以前学到的技能。该方法进行评估的合成数据集与已知的地面真理;在模拟的机器人手臂数据集;对人体运动捕捉数据;和手写数字的生成模型。
2018-02-08 cs.LG stat.ML
Rethinking Vision Transformer and Masked Autoencoder in Multimodal Face Anti-Spoofing
Great Bay University（大湾区大学）；Nanyang Technological University（南洋理工大学）；University of Oulu（奥卢大学）；Lappeenranta-Lahti University of Technology（拉彭兰塔-拉赫蒂理工大学）；South China University of Technology（华南理工大学）
近年来，基于视觉Transformer（ViT）的多模态学习方法被提出来提高人脸反欺骗（FAS）系统的鲁棒性。然而，仍然没有工作来探索的基本性质（\textit{e.g.}，模态感知输入，合适的多模态预训练，和有效的微调），在香草ViT多模态FAS。在本文中，我们研究了三个关键因素（即，输入、预训练和微调），用于具有RGB、红外（IR）和深度的多模态FAS。首先，在ViT输入方面，我们发现利用局部特征描述符有利于IR模态上的ViT，而不是RGB或深度模态。其次，在观察的效率直接微调整个或部分ViT，我们设计了一个自适应多模态适配器（AMA），它可以有效地聚合本地多模态功能，同时冻结大多数ViT参数。最后，考虑到任务（FAS与通用对象分类）和模态（多模态与单峰）的差距，ImageNet预训练模型对于多模态FAS任务可能是次优的。为了弥合这些差距，我们提出了模态非对称掩码自编码器（M $^{2}$ A $^{2}$ E），用于多模态FAS自监督预训练，而无需昂贵的注释标签。与先前的模态对称自动编码器相比，所提出的M $^{2}$ A $^{2}$ E能够学习更多内在的任务感知表示并且与模态不可知（例如，单峰、双峰和三峰）下游设置。在多模态FAS基准上进行的单峰（RGB，深度，IR）和多模态（RGB+深度，RGB+IR，深度+IR，RGB+深度+IR）设置的广泛实验证明了所提出的方法的优…
2023-02-11 cs.CV
DAE-Fuse: An Adaptive Discriminative Autoencoder for Multi-Modality Image Fusion
Department of Computer Science（计算机科学系）；Guangdong Provincial Key Lab of Interdisciplinary Research and Application for Data Science（广东省交叉学科研究与数据科学应用重点实验室）；Beijing Normal - Hong Kong Baptist University（北京师范大学-香港 Baptist大学）
针对现有融合方法模糊或偏置的问题，提出两阶段判别自编码器DAE-Fuse，生成清晰自然图像并扩展至视频，在多个基准上达到最先进性能。
2025-05-26 cs.AI cs.CV
When Structured Sparse Autoencoders Learn Consistent Concepts Across Modalities
Zhejiang University（浙江大学）；Nanyang Technological University（南洋理工大学）
研究视觉语言模型中普通稀疏自编码器难以学习模态一致概念的问题，提出结构化稀疏自编码器$S^2AE$，通过图像块分组及结构化稀疏正则化强化概念一致性，经实验验证该方法在语义对齐等方面有提升，能促进跨模态表示更连贯解缠。
2026-07-10 cs.AI cs.CV cs.LG
AV-MaskEnhancer: Enhancing Video Representations through Audio-Visual Masked Autoencoder
Dartmouth College（达特茅斯学院）
提出AV-MaskEnhancer，结合视觉和音频信息，通过掩码自编码器增强视频表示，在UCF101上达到98.8%的top-1准确率，优于现有方法。
2023-12-20 cs.CV cs.MM
SimVTP: Simple Video Text Pre-training with Masked Autoencoders
Tencent AI Lab（腾讯人工智能实验室）；Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）
本文提出了SimVTP：一个简单的视频-文本预训练框架通过掩码自编码器。我们随机屏蔽输入视频的时空管和输入文本的单词标记，然后将它们送入统一的autencoder以重建丢失的像素和单词。我们的SimVTP有几个属性：1）由于统一的自动编码器，SimVTP在另一种模态的帮助下重建一种模态的掩蔽信号，这隐含地学习了视频管和文本标记之间的跨模态对齐。2)SimVTP不仅由于视频的时间冗余而受益于高视频掩蔽比（例如90%），而且还需要高文本掩蔽比（例如75%），其远高于BERT（例如15%），以实现最佳性能。这是因为视频模态的辅助使得文本重建的挑战性降低，因此需要更高的掩模比率来使有用特征学习的借口更难。3)为SimVTP配备两种常用的跨模态训练策略：视频-文本对比学习（VTC）和视频-文本匹配（VTM），可以进一步显著提高SimVTP的可迁移性能。4)SimVTP是数据高效的，例如，仅在WebVid-2 M的10%数据上进行预训练，SimVTP在MSRVTT上实现了令人惊讶的良好结果（43.8 R@1），这远高于在CC 3 M和WebVid-2 M上预训练的最新技术水平的方法。我们将预先训练的模型转移到各种下游任务中，并实现卓越的性能。代码和模型将在https://github.com/mayuelala/SimVTP上发布。
2022-12-07 cs.CV
MAUGIF: Mechanism-Aware Unsupervised General Image Fusion via Dual Cross-Image Autoencoders
School of Mathematics, Hunan University（湖南大学数学学院）；College of Information Engineering, Zhejiang University of Technology（浙江工业大学信息工程学院）；Department of Electrical and Electronic Engineering, The University of Hong Kong（香港大学电子与电气工程系）
针对现有图像融合方法任务适配性差、忽略不同任务融合机制的问题，提出MAUGIF无监督通用融合框架，基于双跨图像自编码器按融合机制调整解码结构，在多任务上验证了有效性与泛化性。
2025-11-13 cs.CV
Stroke-Based Autoencoders: Self-Supervised Learners for Efficient Zero-Shot Chinese Character Recognition
Wuhan University of Technology（武汉理工大学）；West Virginia University（西弗吉尼亚大学）
汉字承载着丰富的形义信息，因此，汉字形义增强的研究受到了极大的关注。以往的方法都是直接从整幅汉字图像中提取信息，不能同时提取全局和局部信息。在本文中，我们开发了一个基于笔划的自动编码器（SAE），用自监督的方法来模拟复杂的汉字形态。遵循其规范的书写顺序，我们首先将汉字表示为一系列具有固定书写顺序的笔画图像，然后训练SAE模型来重建该笔画图像序列。这个预训练的SAE模型可以预测未见过字符的笔画图像系列，只要它们的笔画或部首出现在训练集中。我们设计了两个对比SAE架构上不同形式的中风图像。一种是对现有的基于笔画的手写体汉字zero-shot识别方法进行微调，另一种是从汉字的形态特征出发，丰富汉字词嵌入。实验结果表明，经过预训练后，本文提出的SAE结构在zero-shot识别中的性能优于现有的方法，并利用汉字丰富的形态和语义信息增强了汉字的表示能力。
2022-07-17 cs.AI cs.CV
MultiMAE for Brain MRIs: Robustness to Missing Inputs Using Multi-Modal Masked Autoencoder
Department of Radiation Oncology, TUM University Hospital, Munich, Germany（辐射肿瘤科，技术大学慕尼黑医院，慕尼黑，德国）；Chair for AI in Healthcare and Medicine, Technical University of Munich (TUM)（医疗与医学人工智能教研室，技术大学慕尼黑（TUM））；TUM University Hospital, Munich, Germany（技术大学慕尼黑医院，慕尼黑，德国）；Chair for AI for Image-Guided Diagnosis and Therapy, Technical University of Munich (TUM)（图像引导诊断与治疗人工智能教研室，技术大学慕尼黑（TUM））；Munich Center for Machine Learning (MCML), Munich, Germany（慕尼黑机器学习中心（MCML），慕尼黑，德国）；Department of Computing, Imperial College London, London, UK（计算系，伦敦帝国学院，伦敦，英国）；Deutsches Konsortium für Translationale Krebsforschung (DKTK), Partner Site Munich, Munich, Germany（德国转化癌症研究联盟（DKTK），慕尼黑合作伙伴站点，慕尼黑，德国）；Institute of Radiation Medicine (IRM), Department of Radiation Sciences (DRS), Helmholtz Center Munich, Munich, Germany（辐射医学研究所（IRM），辐射科学部门（DRS），慕尼黑海德堡中心，慕尼黑，德国）
MultiMAE通过多模态掩码自编码器提升脑部MRI在缺失输入下的鲁棒性，实现分割和分类任务的性能提升。
2025-10-10 cs.CV
Joint-MAE: 2D-3D Joint Masked Autoencoders for 3D Point Cloud Pre-training
The Chinese University of Hong Kong（香港中文大学）；ShanghaiTech University（上海科技大学）；Huazhong University of Science and Technology（华中科技大学）
本文提出Joint-MAE，通过2D-3D联合掩码自编码、分层嵌入、联合编解码器及局部对齐注意力和交叉重建损失，利用2D图像增强3D点云自监督预训练，并在多个下游任务上取得领先性能。
2023-09-25 cs.CV
Discriminative Hamiltonian Variational Autoencoder for Accurate Tumor Segmentation in Data-Scarce Regimes
LITIS UR 4108, University of Rouen-Normandy（鲁昂-诺曼底大学 LITIS UR 4108 实验室）；CLCC Henri Becquerel（亨利·贝克勒尔癌症中心）
针对医学图像分割中标注数据稀缺的问题，提出结合HVAE与判别式正则化的端到端混合架构，逐切片生成带掩码的高质量增强样本，在BRATS、HECKTOR数据集上验证了有限数据下的分割有效性。
2024-06-17 cs.CV eess.IV
PiMAE: Point Cloud and Image Interactive Masked Autoencoders for 3D Object Detection
National Key Laboratory for Multimedia Information Processing（多媒体信息处理国家重点实验室）；Peking University（北京大学）；The Chinese University of Hong Kong（香港中文大学）；Wukong Lab, iKingtec（iKingtec悟空实验室）；Beijing University of Posts and Telecommunications（北京邮电大学）
掩码自编码器学习强大的视觉表示，并在几个独立的模态中实现最先进的结果，但很少有作品在多模态设置中解决了它们的功能。在这项工作中，我们专注于点云和RGB图像数据，这两种模式在现实世界中经常一起出现，并探索它们有意义的相互作用。为了改善现有作品中的跨模态协同作用，我们提出了PiMAE，一个自我监督的预训练框架，通过三个方面促进3D和2D交互。具体来说，我们首先注意到两个源之间的掩蔽策略的重要性，并利用投影模块互补地对齐两个模态的掩模和可见标记。然后，我们利用一个精心制作的两个分支MAE管道与一个新的共享解码器，以促进跨模态交互的掩码令牌。最后，我们设计了一个独特的跨模态重建模块，以增强两种模态的表示学习。通过对大规模RGB-D场景理解基准测试（SUN RGB-D和ScannetV 2）进行的大量实验，我们发现交互式学习点图像特征是非常重要的，其中我们大大提高了多个3D检测器，2D检测器和Few-Shot分类器，分别提高了2.9%，6.7%和2.4%。代码可在https://github.com/BLVLab/PiMAE上获得。
2023-03-14 cs.AI cs.CV
Speech Prediction in Silent Videos using Variational Autoencoders
Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）；NVIDIA（英伟达）；University of Bath（巴斯大学）
了解听觉和视觉信号之间的关系对于许多不同的应用至关重要，从计算机生成图像（CGI）和视频编辑自动化到帮助听力或视觉障碍的人。然而，这是具有挑战性的，因为音频和视觉模态的分布本质上是多模态的。因此，大多数现有的方法忽略了多模态方面，并假设只存在一个确定性的一对一的映射之间的两个模态。由于模型崩溃以优化平均行为而不是学习完整的数据分布，因此可能会导致低质量的预测。在本文中，我们提出了一个随机模型产生语音在无声的视频。该模型结合了递归神经网络和变分深度生成模型来学习给定视觉信号的听觉信号的条件分布。我们基于标准基准在GRID数据集上展示了我们的模型的性能。
2020-11-14 cs.CV
Generalized Zero- and Few-Shot Learning via Aligned Variational Autoencoders
Bosch Center for AI（博世人工智能中心）；UC Berkeley（加州大学伯克利分校）；University of Toronto（多伦多大学）；University of Amsterdam（阿姆斯特丹大学）
广义零样本学习中的许多方法依赖于图像特征空间和类嵌入空间之间的跨模态映射。由于标记的图像是昂贵的，一个方向是通过生成图像或图像特征来增强数据集。然而，前者错过了细粒度的细节，而后者需要学习与类嵌入相关的映射。在这项工作中，我们采取功能生成更进一步，并提出了一个模型，其中共享的图像特征和类嵌入的潜在空间是学习特定模态对齐变分自编码器。这为我们留下了关于图像和潜在特征中的类别的所需判别信息，我们在此基础上训练softmax分类器。我们的方法的关键是，我们对齐从图像和边信息中学习到的分布，以构建包含与不可见类相关的基本多模态信息的潜在特征。我们在几个基准数据集，即CUB，SUN，AWA1和AWA2上评估了我们学习到的潜在特征，并在广义zero-shot和少样本学习上建立了一个新的最新技术水平。此外，我们在ImageNet上使用各种zero-shot分裂的结果表明，我们的潜在特征在大规模设置中泛化良好。
2019-04-05 cs.AI cs.CV cs.LG
Modality Cycles with Masked Conditional Diffusion for Unsupervised Anomaly Segmentation in MRI
University of Oxford（牛津大学）；Imperial College London（帝国理工学院）；University of Birmingham（伯明翰大学）
针对多模态MRI无监督异常分割，提出MMCCD，结合循环模态转换与掩码条件扩散，通过重建失败暴露异常，并在BraTS2021肿瘤代理任务上优于既有方法。
2023-11-02 cs.CV cs.LG eess.IV
