String-based Molecule Generation via Multi-decoder VAE
Samsung Advanced Institute of Technology（三星先进技术研究院）；Korea Advanced Institute of Science and Technology（韩国高等科学技术研究院）
在本文中，我们调查的问题字符串为基础的分子生成通过变分自编码器（VAE），已服务于一个流行的生成方法，在人工智能的各种任务。我们提出了一个简单，但有效的想法，以提高性能的VAE的任务。我们的主要思想是在共享单个编码器的同时维护多个解码器，即，它是一种合奏技巧。在这里，我们首先发现，独立地训练每个解码器可能不是有效的，因为集成解码器的偏差在其自回归推理下严重增加。为了保持集成模型的小偏差和方差，我们提出的技术是双重的：（a）为每个解码器采样不同的潜在变量（来自共享编码器提供的估计均值和方差），以鼓励解码器的不同特性，以及（b）在训练期间使用协作损失来控制使用不同潜在变量的解码器的聚合质量。在我们的实验中，所提出的VAE模型特别适合于从域外分布生成样本。
2022-08-23 cs.AI cs.LG
VQ-SAD: Vector Quantized Structure Aware Diffusion For Molecule Generation
Monash University（墨尔本大学）
VQ-SAD通过将原子和键类型编码为VQ-VAE的潜在变量，结合符号与神经结构信息，提升分子生成扩散模型的去噪效果，优于现有方法。
2026-05-01 cs.AI cs.LG
Multilinear Latent Conditioning for Generating Unseen Attribute Combinations
Imperial College London（伦敦帝国学院）；University of Athens（雅典大学）
深度生成模型依赖于其归纳偏差来促进泛化，特别是对于高维数据（如图像）的问题。然而，实证研究表明，变分自编码器（VAE）和生成对抗网络（GAN）缺乏人类感知中自然发生的泛化能力。例如，人类可以在看到一个微笑的男人后看到一个女人微笑，相反，标准的条件VAE（cVAE）无法生成看不见的属性组合。为此，我们通过引入一个多线性潜在条件反射框架来扩展cVAE，该框架捕获属性之间的乘法相互作用。我们实现了我们的模型的两个变体，并证明了它们对MNIST，Fashion-MNIST和CelebA的有效性。总之，我们设计了一个新的条件反射框架，可以与任何架构来合成看不见的属性组合。
2020-09-09 cs.LG stat.ML
Phenotypic Profile-Informed Generation of Drug-Like Molecules via Dual-Channel Variational Autoencoders
College of Computer and Information Engineering, Nanjing Tech University（计算机与信息工程学院，南京科技大学）
本文提出SmilesGEN双通道变分自编码器，联合建模药物扰动与转录响应，利用基因特征生成具有理想表型诱导潜力的类药分子，并在有效性、新颖性和药物相似性等指标上优于现有方法。
2025-06-01 cs.AI cs.LG q-bio.BM
All SMILES Variational Autoencoder
Quadrant（象限公司）；Vancouver Prostate Centre, UBC（不列颠哥伦比亚大学温哥华前列腺中心）
变分自编码器（VAE）定义在SMILES字符串和基于图形的分子表示上，有望改善分子特性的优化，从而彻底改变制药和材料行业。然而，这些VAE受到SMILES字符串的非唯一性和图卷积的计算成本的阻碍。为了有效地沿着分子图的所有路径传递消息，我们使用一组堆叠的递归神经网络对单个分子的多个SMILES字符串进行编码，在SMILES表示之间池化每个原子的隐藏表示，并使用注意力池来构建最终的固定长度的潜在表示。然后通过解码到分子的一组不相交的SMILES字符串，我们的All SMILES VAE学习分子和先验的高概率质量子空间附近的潜在表示之间的几乎双射映射。我们的SMILES衍生但基于分子的潜在表示在各种全监督和半监督性质回归和分子性质优化任务中显着超越了最先进的水平。
2019-06-03 cs.LG stat.ML
Molecular Generative Model Based On Adversarially Regularized Autoencoder
KAIST（韩国科学技术院）
深度生成模型作为一种新的有前途的分子设计方法正引起人们的极大关注。到目前为止，所有报告的模型都是基于变分自编码器（VAE）或生成对抗网络（GAN）。在这里，我们提出了一个新的类型模型的基础上的adversarially正则化自动编码器（ARAE）。它基本上使用像VAE这样的潜变量，但潜变量的分布是通过像GAN中的对抗训练获得的。后者旨在避免VAE中后验分布的不适当近似和GAN中处理离散变量的困难。我们的基准研究表明，ARAE在有效性、独特性和每个生成分子的新颖性方面确实优于传统模型。我们还证明了成功的条件下产生的药物样分子与ARAE的单一和多个属性控制的情况下。作为一个潜在的现实世界的应用，我们可以产生EGFR抑制剂共享已知的活性分子的支架，同时满足药物样的条件。
2019-11-13 cs.LG physics.chem-ph stat.ML
On PAC-Bayesian reconstruction guarantees for VAEs
University of Oxford（牛津大学）；University College London（伦敦大学学院）；Inria（法国国家信息与自动化研究所）
尽管它的广泛使用和经验的成功，理论上的理解和研究的行为和性能的变分自编码器（VAE）只是在过去的几年中才出现。我们通过分析VAE对看不见的测试数据的重建能力，利用PAC贝叶斯理论的参数，为最近的工作做出贡献。我们提供的理论重建误差的泛化范围，并提供VAE目标的正则化效果的见解。我们说明了我们的理论结果与支持经典基准数据集上的实验。
2022-02-23 cs.CV cs.LG math.ST
VAEL: Bridging Variational Autoencoders and Probabilistic Logic Programming
University of Bologna（博洛尼亚大学）；KU Leuven（鲁汶大学）
我们提出了VAEL，神经符号生成模型集成变分自编码器（VAE）与概率逻辑（L）编程的推理能力。除了标准的潜在子符号变量，我们的模型利用概率逻辑程序来定义一个进一步的结构化表示，这是用于逻辑推理。整个过程是端到端的差异化。一旦经过训练，VAEL可以通过（i）利用神经组件中编码的先前获得的知识以及（ii）在结构化潜在空间上利用新的逻辑程序来解决新的看不见的生成任务。我们的实验提供了支持的好处，这种神经符号积分的任务泛化和数据效率。据我们所知，这项工作是第一个提出一个通用的端到端框架集成概率逻辑编程到一个深生成模型。
2022-05-25 cs.LG cs.PL
NeRF-VAE: A Geometry Aware 3D Scene Generative Model
DeepMind
我们提出了NeRF-VAE，一个3D场景生成模型，通过NeRF和可微分体绘制结合几何结构。与NeRF相比，我们的模型考虑了场景之间的共享结构，并且能够使用摊销推理来推断新场景的结构-而无需重新训练。NeRF-VAE的显式3D渲染过程进一步将以前的生成模型与缺乏几何结构的基于卷积的渲染进行了对比。我们的模型是一个VAE，学习辐射场的分布，通过调节它们的潜在场景表示。我们表明，一旦训练，NeRF-VAE能够使用很少的输入图像从以前看不见的3D环境中推断和渲染几何一致的场景。我们进一步证明了NeRF-VAE可以很好地推广到分布式相机，而卷积模型则不能。最后，我们介绍和研究了NeRF-VAE的解码器，它提高了模型的性能基于注意力的条件反射机制。
2021-04-01 cs.LG stat.ML
Molecular design method based on novel molecular representation and variational auto-encoder
Beijing Information Science and Technology University（北京信息科技大学）
本研究提出结合SELFIES分子表示的改进VAE模型，通过在编码层加入多层卷积网络与Fisher信息、解码层融入LSTM优化分子生成，在zinc数据集上相似度较原始VAE提升8.47%，有效提高新分子生成效果。
2023-02-20 cs.AI cs.LG q-bio.BM
Learning Disentangled Phone and Speaker Representations in a Semi-Supervised VQ-VAE Paradigm
University of Edinburgh（爱丁堡大学）；Tokyo Institute of Technology（东京工业大学）
我们提出了一种新的方法，通过引入新的组件的VQ-VAE架构的语音合成解开扬声器的声音和电话内容。原始的VQ-VAE不能很好地推广到看不见的扬声器或内容。为了缓解这个问题，我们已经纳入了一个扬声器编码器和扬声器VQ码本，学习全球扬声器特性完全独立于现有的子音素码本。我们还比较了两种训练方法：全局条件下的自监督和说话人标签的半监督。添加扬声器VQ组件改进了语音合成质量的客观测量（估计MOS、扬声器相似性、基于ASR的可懂度），并提供了有意义的学习表示。我们的扬声器VQ码本索引可以用于一个简单的扬声器日记任务，并执行略优于x向量基线。此外，在我们的半监督VQ-VAE中，可以从子音素VQ码本索引中识别音素，比全局条件下的自监督更好。
2021-02-10 cs.LG cs.SD eess.AS
Are VAEs Bad at Reconstructing Molecular Graphs?
Novartis（诺华）；Microsoft Research AI4Science（微软研究院AI4Science）
该研究针对分子图VAE的重建能力开展对比实验，发现现有最优模型重建准确率偏低，且提升重建效果不直接改善采样与优化性能，同时指出后验坍缩并非VAE分子图重建表现差的全部原因。
2023-05-04 cs.LG q-bio.QM
Continuous Representation of Molecules Using Graph Variational Autoencoder
University of California, Irvine（加州大学欧文分校）
为了连续地表示分子，我们提出了一个生成模型的VAE的形式，这是操作上的二维图形结构的分子。采用侧预测器来修剪潜在空间，并帮助解码器生成有意义的分子邻接张量。除了在药物设计和性质预测中的潜在适用性之外，我们还展示了这种技术与其他类似方法相比的优越性能，这些方法基于分子的SMILES表示，具有基于RNN的编码器和解码器。
2020-04-17 cs.LG
DE-VAE: Revealing Uncertainty in Parametric and Inverse Projections with Variational Autoencoders using Differential Entropy
University of Konstanz（康斯坦茨大学）
DE-VAE通过引入微分熵提升变分自编码器在参数化和反向投影中的不确定性分析能力，实现对分布外样本的更有效处理。
2026-10-01 cs.LG
Continuous Hierarchical Representations with Poincaré Variational Auto-Encoders
University of Oxford（牛津大学）；DeepMind（深度思维）；Microsoft Research（微软研究院）
变分自动编码器（VAE）是学习生成模型和数据嵌入的流行方法。许多真实的数据集是分层结构的。然而，传统的VAE映射数据在一个欧氏潜在空间，不能有效地嵌入树状结构。具有负曲率的双曲空间可以。因此，我们赋予VAE与庞加莱球模型的双曲几何作为一个潜在的空间，并严格推导出必要的方法，工作与两个主要的高斯概括该空间。我们的经验表明，更好的概括看不见的数据比欧几里德同行，可以定性和定量更好地恢复层次结构。
2019-11-25 cs.LG stat.ML
Enhancing Zero-Shot Many to Many Voice Conversion with Self-Attention VAE
University of California（加利福尼亚大学）；Tencent AI Lab（腾讯AI实验室）
变分自动编码器（VAE）是一种有效的神经网络结构，它能将语音分解为说话人身份和语言内容的潜在嵌入，然后从源说话人的话语生成目标说话人的话语。这可以通过将目标说话者的身份嵌入和说出期望句子的源说话者的内容嵌入连接起来来实现。在这项工作中，我们提出了改进VAE模型与自注意和结构正则化（RGSM）。具体来说，我们找到了一个合适的位置VAE的解码器添加一个自我注意层，将非本地信息在生成转换后的话语和隐藏源说话人的身份。我们采用松弛分组分裂方法（RGSM）来正则化网络权值，并显着提高泛化性能。在VCTK数据集上进行的zero-shot多对多语音转换实验中，通过引入自注意层和宽松的分组划分方法，该模型在对未知说话人的说话人分类准确率提高了28.3%的同时，转换语音质量在MOSNet评分方面略有改善。我们令人鼓舞的研究结果指出，未来的研究将在VAE框架中整合更多种类的注意结构，同时控制模型大小和过拟合，以推进zero-shot多对多语音转换。
2022-08-22 cs.LG cs.SD eess.AS
STAR-VAE: A Scalable Latent-Variable Transformer for Controllable Molecular Generation
IBM Research（IBM研究院）
提出STAR-VAE框架，基于Transformer编码器-解码器与SELFIES表示，利用潜变量实现属性引导的可控分子生成，并通过LoRA高效微调，在多个基准上表现优异。
2026-09-23 cs.AI cs.LG q-bio.BM
Can VAEs Generate Novel Examples?
Northeastern University（东北大学）
深度生成模型的一个隐含目标是，这些模型应该能够生成以前在训练数据中看不到的新示例。在本文中，我们调查在何种程度上这一属性持有广泛采用的变分自编码器（VAE）架构。VAE使对数边际似然的下限最大化，这意味着当提供有充分表达的解码器时，它们原则上将过拟合训练数据。在无限容量解码器的限制下，最佳生成模型是训练数据上的均匀混合。更一般地，最佳解码器应该输出训练数据中的示例的加权平均，其中权重的大小由潜在空间中的接近度确定。这导致以下假设：对于足够高容量的编码器和解码器，VAE解码器将根据潜在空间中的坐标执行最近邻匹配。为了验证这一假设，我们研究了MNIST数据集的泛化。我们既考虑了对以前看到的类的新示例的泛化，也考虑了对从训练集中保留的类的泛化。在这两种情况下，我们发现，重建密切接近最近的邻居高维参数化。然而，当推广到看不见的类时，低维参数化提供了明显的优势。
2018-12-22 cs.LG stat.ML
The Exponentially Tilted Gaussian Prior for Variational Autoencoders
University of Guelph（圭尔夫大学）
深度神经网络的一个重要特性是能够对以前看不见的数据执行鲁棒的分布外检测。在为真实世界的应用程序部署模型时，此属性对于安全目的至关重要。最近的研究表明，概率生成模型在这项任务上的表现很差，这是令人惊讶的，因为它们试图估计训练数据的可能性。为了缓解这个问题，我们提出了指数倾斜高斯先验分布的变分自编码器（VAE），拉点到表面上的超球在潜在的空间。这仅使用VAE自然分配的对数似然来实现关于曲线下面积-接收器操作者特征度量的最新结果。由于这种先验是对传统VAE先验的简单修改，因此它比竞争性方法更快，更容易实现。
2022-04-13 cs.CV cs.LG stat.ML
JukeDrummer: Conditional Beat-aware Audio-domain Drum Accompaniment Generation via Transformer VQ-VAE
Academia Sinica（中央研究院）；National Cheng Kung University（台湾成功大学）；Taiwan AI Labs（台湾人工智能实验室）
本文提出了一种模型，该模型在音频域中生成鼓轨道，以与用户提供的无鼓录音一起播放。具体来说，使用成对的数据的无鼓轨道和相应的人造鼓轨道，我们训练一个Transformer模型即兴鼓的一个看不见的无鼓记录的一部分。我们结合两种方法来编码输入音频。首先，我们训练一个矢量量化变分自编码器（VQ-VAE）来表示输入音频与离散代码，然后可以很容易地用于Transformer。其次，使用音频域节拍跟踪模型，我们计算输入音频的节拍相关特征，并将其用作Transformer中的嵌入。我们使用一个单独的VQ-VAE来将鼓音轨的梅尔频谱图编码成另一组离散代码，并训练Transformer来预测与鼓相关的离散代码的序列，而不是将鼓音轨直接生成为波形。然后，输出代码用解码器转换为梅尔频谱图，然后用声码器转换为波形。我们报告所提出的模型的变体的客观和主观评价，表明该模型与节拍信息生成鼓伴奏，是节奏和风格上与输入音频一致。
2022-10-31 cs.AI cs.LG cs.SD
Analysis of training and seed bias in small molecules generated with a conditional graph-based variational autoencoder -- Insights for practical AI-driven molecule generation
IBM Thomas J. Watson Research（IBM托马斯·J·沃森研究中心）
深度学习在生成性分子设计中的应用已经显示出加速铅系列开发的早期前景。然而，关于训练、数据集和种子偏差等因素如何影响该技术对医学和计算化学家的效用，仍然存在问题。在这项工作中，我们分析了种子和训练偏差对基于活动条件图的变分自编码器（VAE）输出的影响。利用与多巴胺D2受体相对应的大量标记数据集，我们的基于图形的生成模型在生成分子中产生所需的条件活性和有利的非条件物理性质方面表现出色。我们实现了一种活动交换方法，该方法允许激活、停用或保留分子种子的活动，并且我们应用独立的深度学习分类器来验证生成结果。总的来说，我们揭示了噪声、分子种子和训练集选择之间在一系列潜在空间采样过程中的关系，为实际的人工智能驱动的分子生成提供了重要的见解。
2021-09-03 cs.LG physics.bio-ph q-bio.BM
RGCVAE: Relational Graph Conditioned Variational Autoencoder for Molecule Design
University of Padua（帕多瓦大学）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
本文提出 RGCVAE，通过关系图同构编码器和新型概率解码器提升分子生成效果，在两个常用数据集上达到最先进性能并显著加快训练。
2023-06-08 cs.AI cs.LG q-bio.BM
Return of the Latent Space COWBOYS: Re-thinking the use of VAEs for Bayesian Optimisation of Structured Spaces
School of Mathematical Sciences, Lancaster University, UK（数学科学学院，兰卡斯特大学）；Department of Applied Maths and Theoretical Physics, University of Cambridge, UK（应用数学与理论物理系，剑桥大学）
本文提出将VAE生成模型与高斯过程代理模型解耦训练并通过贝叶斯更新规则结合的新方法，在受限评估预算下提升了分子优化中识别高潜力候选对象的能力。
2025-07-05 cs.LG stat.ML
VAE-MS: An Asymmetric Variational Autoencoder for Mutational Signature Extraction
Center for Clinical Data Science（临床数据科学中心）；Aalborg University（奥胡斯大学）；Aalborg University Hospital（奥胡斯大学医院）；Nuffield Department of Surgical Sciences（外科科学努尔菲尔德部门）；University of Oxford（牛津大学）；Nuffield Department of Women’s and Reproductive Health（妇女和生殖健康努尔菲尔德部门）
VAE-MS通过结合非对称架构和概率方法，提升了突变特征提取的准确性和泛化能力。
2026-02-24 cs.LG q-bio.GN stat.AP
DiffDTM: A conditional structure-free framework for bioactive molecules generation targeted for dual proteins
City University of Hong Kong（香港城市大学）；Alibaba Damo Academy（阿里巴巴达摩院）；Zhejiang University（浙江大学）
提出基于扩散模型的免结构条件生成框架DiffDTM，以蛋白质序列和分子图为输入，无需3D结构即可高效生成针对双靶点的高亲和力生物活性分子，解决泛化与重训练难题。
2023-06-24 cs.LG q-bio.BM
q-Space Novelty Detection with Variational Autoencoders
Sapienza University of Rome（罗马第一大学）；Cardiff University（卡迪夫大学）；Technical University of Munich（慕尼黑工业大学）
在机器学习中，新颖性检测是识别新的未知数据的任务。在训练过程中，只有正常类的样本可用。通过分配新颖性分数将测试样品分类为正常或异常。在这里，我们提出了基于正常数据训练变分自编码器（VAE）的新颖性检测方法。由于在训练过程中不使用异常样本，我们定义的基础上（部分互补）的假设，即VAE是不太能够重建异常样本以及异常样本更强烈地违反VAE正则化;和异常样本不同于正常样本不仅在输入特征空间，而且在VAE潜在空间和VAE输出的新颖性度量。这些方法，结合使用（例如采样）的概率VAE，以获得标量新颖性分数的各种可能性，产生一个大家庭的方法。我们将这些方法应用于磁共振成像，即检测多发性硬化症患者的扩散MRI扫描中的扩散空间（q空间）异常，即检测多发性硬化症病变而不使用任何病变标签进行训练。我们的许多方法优于以前提出的q空间新奇检测方法。我们还评估了MNIST手写数字数据集上提出的方法，并表明它们中的许多都能够超越最先进的。
2018-10-25 cs.AI cs.CV cs.LG
Learning and Inference in Imaginary Noise Models
Redwood Center for Theoretical Neuroscience（雷德伍德理论神经科学中心）；UC Berkeley（加州大学伯克利分校）；NNAISENSE Inc.（NNAISENSE公司）
最近的发展，在学习平滑密度与经验贝叶斯的启发，我们研究变分自编码器的解码器，是专为随机变量$Y=X+N(0,σ^2 I_d)$。出现了平滑变分推断的概念，其中平滑由解码器的噪声模型隐含地强制执行;“隐含的”，因为在训练期间编码器仅看到干净的样本。这是虚噪声模型的概念，其中噪声模型规定了变分下界$\mathcal{L}(σ)$的函数形式，但是在学习期间从未看到噪声数据。该模型被命名为$σ$ -VAE。通过一个简单的$β$ -VAE展开式：$\mathcal{L}(σ_2) \equiv \mathcal{L}(σ_1,β)$，我们证明了所有的$σ$ -VAE都是等价的，其中$β=σ_2^2/σ_1^2$ .我们证明了一个类似的结果拉普拉斯分布在指数族。从经验上讲，我们报告了一个有趣的幂律$\mathcal{D}_{\rm KL} \sim σ^{-ν}$的学习模型，我们研究了在$σ$ -VAE看不见的噪声数据的推断。实验是在MNIST上进行的，我们发现，非常明显的是，该模型可以对非常嘈杂的样本进行合理的推断，即使它在训练过程中没有看到任何样本。香草VAE在这种状态下完全分解。最后，我们对这里的发现提出一个假设（XYZ假设）。
2020-06-05 cs.LG stat.ML
A Generative Deep Learning Workflow for Inverse Molecular Design of Fuels
Transportation and Power Systems Division, Argonne National Laboratory（阿贡国家实验室运输与电力系统 division）；Transport Technologies Division, Research and Development Center, Saudi Aramco（沙特阿美运输技术 division，研发中心）；Aramco Americas: Aramco Research Center–Detroit（阿美美洲：阿美研究中心–底特律）
本研究开发结合Co-VAE与QSPR的生成式深度学习框架，用于燃料逆分子设计，可识别高RON燃料分子，还可扩展至多性质设计并纳入可合成性标准。
2026-08-18 cs.LG physics.chem-ph
From Variational to Deterministic Autoencoders
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of California, Los Angeles（加州大学洛杉矶分校）
变分自编码器（VAE）为深度生成模型提供了一个有理论支持的流行框架。然而，从数据中学习VAE仍然存在未回答的理论问题和相当大的实际挑战。在这项工作中，我们提出了一个替代框架生成建模，更简单，更容易训练，和确定性，但有许多VAE的优点。我们观察到，在高斯VAE中对随机编码器进行采样可以被解释为简单地将噪声注入到确定性解码器的输入中。我们研究如何取代这种随机性，与其他显式和隐式正则化计划，可以导致一个同样光滑和有意义的潜在空间，而不强迫它符合任意选择的先验。为了检索生成机制来采样新数据，我们引入了一个事后密度估计步骤，该步骤也可以很容易地应用于现有的VAE，从而提高其样本质量。我们表明，在一个严格的实证研究中，建议正则化确定性自动编码器能够生成的样本是可比的，或更好的，VAE和更强大的替代品时，适用于图像以及结构化数据，如分子。\footnote{An implementation is available at: \url{https://github.com/ParthaEth/Regularized_autoencoders-RAE-}}
2020-05-29 cs.LG stat.ML
Repurformer: Transformers for Repurposing-Aware Molecule Generation
UNIST（蔚山国家科学技术研究所）；Korea University（高丽大学）
针对药物发现中生成分子多样性不足的样本偏差问题，提出Repurformer模型，利用蛋白质-化合物多跳关系、双向预训练及FFT和低通滤波，在BindingDB上验证能生成多样替代物。
2024-07-16 cs.AI cs.LG q-bio.BM
Graph-Convolutional-Beta-VAE for Synthetic Abdominal Aorta Aneurysm Generation
Gran Sasso Science Institute（Gran Sasso科学研究所）；INFN Tor Vergata（意大利国家核物理研究所Tor Vergata分校）；University of Bordeaux（波尔多大学）；University of Edinburgh（爱丁堡大学）
本研究提出一种图卷积Beta-VAE框架，结合Procrustes分析数据增强，生成合成腹主动脉瘤数据，在隐私保护下提升数据多样性与鲁棒性，支撑医学研究等场景。
2025-06-17 cs.AI cs.LG q-bio.TO
Improving VAE based molecular representations for compound property prediction
YerevaNN；Institute of Molecular Biology, National Academy of Sciences of RA（亚美尼亚共和国国家科学院分子生物学研究所）；University of Würzburg（维尔茨堡大学）
在化学信息学的许多重要任务中，收集标记数据是耗时的，并且需要昂贵的实验。近年来，机器学习已被用于使用大规模未标记的分子数据集来学习分子的丰富表示，并将知识转移到有限数据集上来解决更具挑战性的任务。变分自编码器是已经提出的用于执行化学性质预测和分子生成任务的转移的工具之一。在这项工作中，我们提出了一个简单的方法来提高机器学习模型的化学性质预测性能，通过将额外的信息相关的分子描述符的表示学习变分自编码器。在三个性能预测问题上对该方法进行了验证。我们探讨了合并的描述符的数量，描述符和目标属性之间的相关性，数据集的大小等的影响。最后，我们展示了属性预测模型的性能与属性预测数据集和表示空间中较大的未标记数据集之间的距离之间的关系。
2022-05-19 cs.LG
CogMol: Target-Specific and Selective Drug Design for COVID-19 Using Deep Generative Models
IBM Research（IBM研究院）；MIT-IBM Watson AI Lab（MIT-IBM沃森人工智能实验室）；IBM Research Europe（IBM欧洲研究院）
SARS-CoV-2的新性质要求开发有效的从头药物设计方法。在这项研究中，我们提出了一个端到端的框架，名为CogMol（受控分子生成），用于设计新的药物样小分子，以高亲和力和脱靶选择性靶向新型病毒蛋白。CogMol结合了分子SMILES变分自编码器（VAE）的自适应预训练和高效的多属性受控采样方案，该方案使用来自在潜在特征上训练的属性预测器的指导。为了为看不见的病毒靶点生成新型和最佳的药物样分子，CogMol利用蛋白质-分子结合亲和力预测器，该预测器使用SMILES VAE嵌入和从大型语料库中无监督学习的蛋白质序列嵌入进行训练。将CogMol框架应用于三种SARS-CoV-2靶蛋白：主蛋白酶、刺突蛋白的受体结合结构域和非结构蛋白9复制酶。当与训练数据相比时，所产生的候选物在分子和化学支架水平上都是新颖的。CogMol还包括用多任务毒性分类器评估母体分子及其代谢物毒性的计算机筛选、用化学逆合成预测器评估合成可行性以及用对接模拟评估靶结构结合。对接揭示了所产生的分子与靶蛋白结构的有利结合，其中87- 95%的高亲和力分子显示出<-6kcal/mol的对接自由能。与批准的药物相比，大多数设计的化合物显示出低的母体分子和代谢物毒性和高的合成可行性。总之，CogMol处理具有高靶标特异性和选择性的可合成、低毒、药物样分子的多约束设计，并且不需要对框架或靶标结构信息进行靶标依赖性微调。
2020-06-24 cs.LG q-bio.QM stat.ML
High-Dimensional Bayesian Optimisation with Variational Autoencoders and Deep Metric Learning
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；University of Cambridge（剑桥大学）；Technische Universität Darmstadt（达姆施塔特工业大学）；University College London（伦敦大学学院）
我们介绍了一种结合变分自编码器（VAE）和深度度量学习的方法，以在高维和结构化输入空间上执行贝叶斯优化（BO）。通过调整深度度量学习的思想，我们使用来自黑盒函数的标签指导来构建VAE潜在空间，促进高斯过程拟合并提高BO性能。重要的是，对于BO问题设置，我们的方法在半监督制度下运行，其中只有很少的标记数据点可用。我们在三个现实世界的任务上运行实验，仅使用以前方法所需的标记数据的3%，就在惩罚logP分子生成基准上实现了最先进的结果。作为理论贡献，我们给出了VAE BO后悔消失的一个证明。
2021-11-01 cs.LG
Latent-Constrained Conditional VAEs for Augmenting Large-Scale Climate Ensembles
Hong Kong Polytechnic University（香港理工大学）；Georgia Institute of Technology（佐治亚理工学院）；Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）；TomTom North America Inc.（TomTom北美公司）
本文提出潜在约束的条件变分自编码器，通过增强气候集合的潜在空间一致性来生成额外的气候变量实现。
2026-01-01 cs.LG
Characterizing the Latent Space of Molecular Deep Generative Models with Persistent Homology Metrics
IBM（国际商业机器公司）；IBM Research（IBM研究院）
深度生成模型越来越多地成为计算机分子设计管道的组成部分，并且具有双重目标，即学习使候选分子可行的化学和结构特征，同时还具有足够的灵活性以生成新颖的设计。具体地，变分自动编码器（VAE）是生成模型，其中编码器-解码器网络对被训练以重构训练数据分布，使得编码器网络的潜在空间是平滑的。因此，可以通过从该潜在空间采样来发现新的候选者。然而，架构和超参数的范围是巨大的，选择最佳组合进行计算机发现对下游的成功具有重要意义。因此，重要的是开发一种原则性的方法来区分给定的生成模型能够学习显著的分子特征的程度。在这项工作中，我们提出了一种方法，通过将潜在空间度量与拓扑数据分析（TDA）领域的度量相关联，来测量深度生成模型的潜在空间能够编码分子数据集的结构和化学特征的程度。我们将我们的评估方法应用于在SMILES字符串上训练的VAE，并表明3D拓扑信息在整个模型的潜在空间中始终编码。
2021-06-07 cs.LG q-bio.BM
Leveraging Latent Evolutionary Optimization for Targeted Molecule Generation
Applied Research, Quantiphi（Quantiphi应用研究院）
提出LEOMol框架，结合进化算法与变分自编码器搜索潜在空间，高效生成满足特定性质的优化分子，在四个子任务中超越现有模型，并强调毒性评估的重要性。
2024-07-02 cs.LG cs.NE q-bio.BM
Multi-Level Variational Autoencoder: Learning Disentangled Representations from Grouped Observations
University of Oxford（牛津大学）；Microsoft Research（微软研究院）
我们想学习一种数据的表示方法，它将观察结果分解为我们可以独立控制的变化因素。具体来说，我们希望使用最少的监督来学习一种潜在的表示，它反映了特定数据分组背后的语义，其中在一个组中，样本共享一个共同的变化因素。例如，考虑按身份分组的面部图像的集合。我们希望将分组的语义锚定到一个我们可以轻松利用的相关和分离的表示中。然而，现有的深度概率模型通常假设观测值是独立同分布的。我们提出了多级变分自编码器（ML-VAE），这是一种新的深度概率模型，用于学习一组分组观测的解纠缠表示。ML-VAE通过在组水平和观察水平上工作将潜在表征分离成语义上有意义的部分，同时保留有效的测试时推理。定量和定性评估表明，ML-VAE模型（i）学习分组数据的语义上有意义的解纠缠，（ii）能够操纵潜在表示，以及（iii）推广到看不见的组。
2017-05-24 cs.LG stat.ML
Improving black-box optimization in VAE latent space using decoder uncertainty
University of Oxford（牛津大学）；University of Cambridge（剑桥大学）
变分自编码器的潜在空间中的优化是一种有希望的方法，用于生成最大化昂贵的黑盒属性（例如，分子生成中的药物相似性，算术表达式的函数近似）。然而，现有的方法缺乏鲁棒性，因为它们可能决定探索在训练期间没有数据可用的潜在空间的区域，并且解码器可能不可靠，导致生成不切实际或无效的对象。我们建议利用解码器的认知不确定性来指导优化过程。但这并不是微不足道的，因为我们认为在高维和结构化设置中对不确定性的天真估计会导致高估计方差。为了解决这个问题，我们引入了一个基于重要性采样的估计，提供了更强大的估计认知不确定性。我们的不确定性引导优化方法不需要修改模型架构，也不需要修改训练过程。它生成的样本在黑盒目标和生成样本的有效性之间具有更好的权衡，有时同时改善两者。我们说明了这些优势，在几个实验设置在数字生成，算术表达式近似和药物设计的分子生成。
2021-06-30 cs.LG stat.ML
Generative molecule evolution using 3D pharmacophore for efficient Structure-Based Drug Design
ByteDance Seed（字节跳动种子）
本文提出MEVO进化框架，通过VQ-VAE、药效团引导扩散模型和口袋感知进化策略扩充SBDD训练数据，并经FEP验证可高效生成高亲和力配体及KRAS$^{\ extrm{G12D}}$抑制剂。
2026-10-19 cs.LG q-bio.BM
Integrating Random Effects in Variational Autoencoders for Dimensionality Reduction of Correlated Data
Tel Aviv University（特拉维夫大学）
针对VAE假设数据独立导致相关数据降维效果不佳的问题，提出LMMVAE模型，将潜变量分离为独立固定部分与相关随机部分，显著提升了重构误差与下游任务性能。
2024-12-24 cs.LG stat.ML
Variational Autoencoder for Speech Enhancement with a Noise-Aware Encoder
最近，一种生成式变分自编码器（VAE）已被提出用于语音增强以模拟语音统计。然而，这种方法在训练阶段仅使用干净的语音，使得估计对噪声的存在特别敏感，特别是在低信噪比（SNR）下。为了增加VAE的鲁棒性，我们建议在训练阶段使用噪声感知编码器训练噪声干净的语音对，包括噪声信息。我们使用两个不同的噪声数据集对不同噪声环境和声学条件的真实记录进行评估。我们表明，我们提出的噪声感知VAE优于标准VAE的整体失真，而不增加模型参数的数量。与此同时，我们证明了我们的模型能够比监督前馈深度神经网络（DNN）更好地推广到不可见的噪声条件。此外，我们证明了模型性能的鲁棒性，以减少噪声干净的语音训练数据的大小。
2021-02-17 cs.LG cs.SD eess.AS
Enhancing Generative Molecular Design via Uncertainty-guided Fine-tuning of Variational Autoencoders
Texas A&M University（德克萨斯农工大学）；Brookhaven National Laboratory（布鲁克海文国家实验室）
本文提出了一种基于主动学习的模型不确定性引导微调方法，通过在变分自编码器参数的低维活跃子空间中量化不确定性并结合黑盒优化，有效提升了生成式分子设计在下游属性优化任务中的表现。
2024-05-31 cs.LG q-bio.BM q-bio.QM
Classical Music Prediction and Composition by means of Variational Autoencoders
Centro de investigación CITIC（CITIC研究中心）；University of A Coruña（拉科鲁尼亚大学）
提出了一种基于变分自编码器（VAE）的音乐预测模型。在这项工作中，VAE以一种新颖的方式使用，以解决两个不同的问题：音乐表示到潜在的空间，并使用这种表示来预测音乐作品的未来价值。这种方法是用古典作曲家的不同歌曲训练的。因此，该系统可以表示潜在空间中的音乐，并做出准确的预测。因此，该系统可用于从现有作品或从随机起点创作新音乐。该系统的另一个特点是使用小数据集进行训练。然而，结果表明，该系统能够在看不见的数据中返回准确的表示和预测。
2019-06-21 cs.LG cs.NE cs.SD
Disentangling Variational Autoencoders
Princeton University（普林斯顿大学）
变分自编码器（VAE）是用于后验推理的概率机器学习框架，其将输入的高维数据集投影到较低维度的潜在空间。通过VAE学习的潜在空间为在创意学科中开发新的数据驱动设计过程提供了令人兴奋的机会，特别是自动生成多个新颖的设计，这些设计在美学上让人联想到输入数据，但在训练过程中看不到。然而，学习的潜在空间通常是混乱和纠缠的：沿着单个维度遍历潜在空间不会导致数据的单个视觉属性发生变化。潜在结构的缺乏阻碍了设计师有意控制从潜在空间产生的新设计的视觉属性。本文提出了一个实验研究，探讨潜在的空间解纠缠。我们实现了三种不同的VAE模型，从文献和训练他们对公开的数据集的60,000个图像的手写数字。我们进行敏感性分析，以找到一个小的潜在的必要的维度，以最大限度地提高数据的对数边际似然的下限。此外，我们调查的解码图像的重建质量和潜在空间的解纠缠的水平之间的权衡。我们能够自动将三个潜在维度与数字的三个可解释的视觉属性对齐：线宽，倾斜度和宽度。我们的实验表明，i）增加潜在的先验知识和变分分布之间的Kullback-Leibler分歧对证据下限的贡献，以及ii）调节输入图像类增强了对具有VAE的解纠缠潜在空间的学习。
2022-11-14 cs.CV cs.LG
Smoothing Dark Areas in Molecular Latent Diffusion
New York University（纽约大学）；Stanford University（斯坦福大学）
针对分子潜在扩散中存在的暗区问题，提出拓扑优化VAE（TopVAE），通过训练时内化结构和化学约束，减少暗区，提升离后验鲁棒性，在QM9和GEOM-Drugs上取得显著改进。
2026-06-15 cs.LG
Delving into the Temporal Challenges of Unified Video Protection Against Image-to-Video and Fine-Tuning-based Customization
The University of Sydney（悉尼大学）；University of Melbourne（墨尔本大学）；City University of Hong Kong（香港城市大学）；Wuhan University（武汉大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
研究针对基于扩散模型的视频定制引发的隐私等保护问题，提出TC-UAP方法，通过优化身份级多帧UAP并引入相关时间建模和损失，使其在时间上一致且鲁棒，在多种视频定制及攻击下实现强身份保护。
2026-07-16 cs.CR cs.CV cs.LG
Unsupervised acoustic unit discovery for speech synthesis using discrete latent-variable neural networks
Stellenbosch University（斯泰伦博斯大学）；The University of Edinburgh（爱丁堡大学）
对于我们提交的ZeroSpeech 2019挑战，我们将离散潜变量神经网络应用于未标记的语音，并使用发现的单元进行语音合成。无监督离散子词建模可能是有用的研究语音类别学习婴儿或低资源语音技术需要符号输入。我们使用自动编码器（AE）架构与中间离散化。我们解耦声学单元发现扬声器建模条件AE的解码器上的训练扬声器身份。在测试时，单元发现从一个看不见的扬声器的语音进行，然后由一个已知的目标扬声器单元解码条件，以获得重建的滤波器组。该输出被馈送到神经声码器以合成目标说话者的语音。对于离散化，分类变分自编码器（CatVAE），矢量量化的VAE（VQ-VAE）和直通估计进行了比较，在不同的压缩水平上的两种语言。我们的最终模型使用卷积编码，VQ-VAE离散化，解卷积解码和FFTNet声码器。我们表明，解耦扬声器调节本质上提高了离散的声学表示，产生竞争力的合成质量相比，挑战基线。
2019-06-28 cs.CL cs.LG cs.SD
Foundation Model for Lossy Compression of Spatiotemporal Scientific Data
University of Florida（佛罗里达大学）
提出结合VAE、超先验和超分辨率模块的科学数据有损压缩基础模型，通过2D/3D交替卷积高效捕捉时空相关性，泛化性强且压缩比最高提升4倍。
2024-12-22 cs.LG
Multi-Objective Latent Space Optimization of Generative Molecular Design Models
Texas A&M University（德克萨斯农工大学）；Brookhaven National Laboratory（布鲁克海文国家实验室）；Frederick National Laboratory（弗雷德里克国家实验室）；Argonne National Laboratory（阿贡国家实验室）
针对生成式分子设计中多性质联合优化问题，提出一种依据分子 Pareto 效率进行迭代加权重训练的多目标潜空间优化方法，以提升新分子采样性能。
2024-07-22 cs.LG q-bio.BM
Diffusing on Two Levels and Optimizing for Multiple Properties: A Novel Approach to Generating Molecules with Desirable Properties
Tongji University（同济大学）；Fudan University（复旦大学）
针对现有分子生成模型仅关注基础性质或单性质优化、实用性不足的问题，提出两级扩散加电子效应碎片化、能量引导加多目标优化的扩散新方法，在多基准上多项指标优于现有最优模型。
2023-10-05 cs.AI cs.LG q-bio.BM
Rethinking Molecular Design: Integrating Latent Variable and Auto-Regressive Models for Goal Directed Generation
ETH, Zurich（苏黎世联邦理工学院）；University of Zurich（苏黎世大学）；ETH AI Center（苏黎世联邦理工学院AI中心）
本文针对目标导向分子生成，提出融合 VAE 与自回归模型优势的新型正则化混合模型，以提升分子序列有效性、条件生成与风格迁移，并反思经典模型的隐含假设。
2024-09-06 cs.LG q-bio.BM
Dimensionality Reduction Techniques for Global Bayesian Optimisation
Mathematical Institute, University of Oxford（牛津大学数学研究所）
针对贝叶斯优化可扩展性难题，提出基于变分自编码器的潜在空间贝叶斯优化改进方案，修正相关实现并集成序列域约简策略，验证了结构化潜在流形对优化性能的提升作用。
2024-12-12 cs.LG cs.NA math.NA
Manipulating 3D Molecules in a Fixed-Dimensional E(3)-Equivariant Latent Space
Institute for AI Industry Research (AIR), Tsinghua University（人工智能产业研究院（AIR），清华大学）；Department of Computer Science and Technology, Tsinghua University（计算机科学与技术系，清华大学）；Qiuzhen College, Tsinghua University（启真学院，清华大学）
本研究提出3D分子变分自编码器MolFLAE，构建固定维度E(3)-等变潜在空间，实现零样本分子操控，在生成基准和药物优化任务中表现优异。
2025-10-03 cs.AI cs.LG
