Multi-Type Point Cloud Autoencoder: A Complete Equivariant Embedding for Molecule Conformation and Pose
本文提出Mo3ENet,一种用于多类型点云的自编码器,通过新的重构损失实现输入点云的旋转等价嵌入,适用于分子构型和姿态预测。
2025-05-26 cs.LG
Equivariant Shape-Conditioned Generation of 3D Molecules for Ligand-Based Drug Design
Massachusetts Institute of Technology(麻省理工学院)
基于形状的虚拟筛选被广泛用于基于配体的药物设计中,以搜索与已知配体相比具有相似的3D形状但新颖的2D化学结构的分子的化学库。3D深度生成模型有可能自动化这种对形状调节的3D化学空间的探索;然而,没有现有的模型可以可靠地生成采用特定形状(如已知结合姿势)的构象的有效药物样分子。我们介绍了一种新的多模态三维生成模型,使形状条件的三维分子设计等变编码分子的形状和变编码化学身份。我们通过使用具有启发式键合几何形状的基于自回归片段的生成来确保所生成分子的局部几何和化学有效性,从而允许模型优先考虑可旋转键的评分,以最好地将不断增长的构象结构与目标形状对齐。我们评估了我们的3D生成模型在药物设计相关的任务,包括化学多样的分子结构和形状约束的分子性质优化的形状调节生成,展示了它的实用性在虚拟筛选枚举库。
2022-10-06 cs.LG physics.chem-ph q-bio.BM
3D-Mol: A Novel Contrastive Learning Framework for Molecular Property Prediction with 3D Information
Peng Cheng Laboratory(鹏城实验室);South China University of Technology(华南理工大学)
3D-Mol通过三层图分解和基于2000万无标签数据的对比学习预训练,更准确地利用三维空间信息进行分子性质预测,在7个基准上优于现有方法。
2024-06-28 cs.LG q-bio.BM
Equivariant Asynchronous Diffusion: An Adaptive Denoising Schedule for Accelerated Molecular Conformation Generation
Shanghai Academy of Artificial Intelligence for Science, SAIS(上海人工智能科学研究院,SAIS);College of Chemistry and Chemical Engineering, Xiamen University(厦门大学化学与化工学院);Artificial Intelligence Innovation and Incubation (AI 3 ) Institute, Fudan University(复旦大学人工智能创新与孵化(AI 3)研究院)
本文提出等变异步扩散模型,结合异步去噪时间表与分子级时间表,有效捕捉分子层次结构,提升3D分子生成性能。
2026-04-24 cs.AI cs.LG q-bio.QM
A Conformation-Centric Generative Foundation Model for Linear Polymer Modeling and Design
Gaoling School of Artificial Intelligence(人工智能学院);Renmin University of China(中国人民大学);DP Technology(DP技术);SINOPEC Research Institute of Petroleum Processing Co., Ltd.(中石油加工研究院)
提出PolyConFM基础模型,通过构象中心生成预训练(条件生成、掩码自回归建模和方向变换)来建模线性聚合物,在多种下游任务中优于现有方法。
2026-06-05 cond-mat.mtrl-sci cs.LG
AUTODIFF: Autoregressive Diffusion Modeling for Structure-based Drug Design
Galixir Technologies(Galixir科技公司);Rensselaer Polytechnic Institute(伦斯勒理工学院);Massachusetts Institute of Technology(麻省理工学院)
本文提出 AUTODIFF,通过 conformal motif 组装、SE(3) 等变网络和逐片段扩散自回归生成,提升 SBDD 分子的结构、构象有效性与结合亲和力。
2024-04-03 cs.LG
Molecule Joint Auto-Encoding: Trajectory Pretraining with 2D and 3D Diffusion
Huawei Technologies Co., Ltd.(华为技术有限公司);Chinese Academy of Sciences(中国科学院);Shenzhen Institute for Advanced Study, University of Electronic Science and Technology of China(电子科技大学深圳高等研究院);Université de Montréal(蒙特利尔大学)
本文提出MoleculeJAE预训练方法,通过扩散模型联合建模分子2D拓扑与3D几何轨迹,以自监督学习化学结构表示,并在20项任务中15项达到SOTA。
2023-12-06 cs.AI cs.LG q-bio.BM
An End-to-End Framework for Molecular Conformation Generation via Bilevel Programming
Mila - Québec AI Institute(米拉-魁北克人工智能研究所);Université de Montréal(蒙特利尔大学);Massachusetts Institute of Technology(麻省理工学院);Peking University(北京大学);Canadian Institute for Advanced Research (CIFAR)(加拿大高级研究院);HEC Montréal(蒙特利尔高等商学院)
针对两阶段分子构象生成难以保持局部原子几何的问题,提出基于条件变分自编码器和双层规划的端到端框架 ConfVAE,并在多个基准上验证其优于现有方法。
2021-06-02 cs.LG q-bio.BM
EnsembleEGNN: Set-Based Graph Learning for Thermodynamic Ensembles of Cyclic Peptides
研究针对分子构象集合预测性质的问题,提出EnsembleEGNN模型,先以EGNN层编码各构象,再用集合注意力块汇集表示,经多任务自监督预训练,在环肽数据集上取得良好效果,联合BERT编码器进一步提升预测性能。
2026-10-01 cs.LG q-bio.BM
A Modified Convolutional Network for Auto-encoding based on Pattern Theory Growth Function
Nanyang Technological University(南洋理工大学)
这篇简短的论文报告了卷积神经网络的一个变体的缺点,其组件是基于模式理论框架开发的。
2021-04-04 cs.CV cs.LG eess.IV
The impact of conformer quality on learned representations of molecular conformer ensembles
Massachusetts Institute of Technology(麻省理工学院)
研究探讨了3D构象体质量对预测分子构象体集合性质的机器学习代理模型性能的影响,在密度泛函理论优化背景下分析Sterimol参数预测,为3D表示学习模型提供了构象体质量何时重要的实际考量。
2025-03-06 cs.LG physics.chem-ph
Variational auto-encoding of protein sequences
Harvard University(哈佛大学);Harvard Medical School(哈佛医学院)
蛋白质负责生物学中最多样化的功能。从蛋白质序列中提取信息并预测突变效应的能力在生物学和医学的许多领域中是极其有价值的。然而,蛋白质序列和功能之间的映射是复杂的并且知之甚少。在这里,我们提出了一个嵌入的天然蛋白质序列使用变异自动编码器,并用它来预测突变如何影响蛋白质功能。我们使用这种无监督的方法来聚类自然变异,并学习蛋白质内位置集之间的相互作用。这种方法通常比考虑序列内没有相互作用的基线方法更好,并且在某些情况下比使用逆Potts模型的最先进方法更好。该生成模型可用于计算指导蛋白质序列空间的探索,并更好地为合理和自动的蛋白质设计提供信息。
2018-01-03 cs.LG q-bio.QM
O-GAN: Extremely Concise Approach for Auto-Encoding Generative Adversarial Networks
本文提出了正交生成对抗网络(O-GANs)。我们将编码器的网络进行正交分解,并在普通GANs的目标中添加额外的损失,这可以使编码器成为一个有效的编码器。同样的额外损失可以嵌入到任何类型的GANs中,并且几乎没有增加计算量。此外,我们讨论了我们的方法的原则,这是相对于充分利用剩余的自由度的时间。正如我们所知,我们的解决方案是训练一个具有自动编码能力的生成对抗网络的最简单方法。
2019-03-05 cs.CV cs.LG
Maximum Entropy Auto-Encoding
Fraunhofer FKIE(弗劳恩霍夫通信、信息处理和人机工程学研究所)
在本文中,它表明,使用最佳重建的自动编码器显着优于传统的自动编码器。最佳重建使用给定特征的输入的条件平均值,在最大熵先验分布下。最优重构网络称为确定性投影置信网络(D-PBN),它类似于标准重构网络,但具有特殊的非线性,需要迭代求解。该方法可以看作是最大熵图像重建的推广,并可扩展到多层。在实验中,均方重建误差减少了高达两倍。对于更深的网络,或者对于具有无约束值的输入数据(高斯假设),性能改进会减少。
2021-04-13 cs.LG
Auto-encoding a Knowledge Graph Using a Deep Belief Network: A Random Fields Perspective
我们从一个知识图谱的连接实体和描述这些实体的属性,从其中,层次表示的知识图谱的派生。使用一个图形化的,基于能量的神经网络,我们能够表明,层次结构可以内部捕获的神经网络,这使得有效的输出的基础平衡分布的数据被提取。
2019-12-26 cs.LG cs.NE math.PR
Saddlepoints in Unsupervised Least Squares
本文揭示了深度自动编码神经网络背景下无监督最小二乘的风险状况。我们正式建立了无监督最小二乘和主流形之间的等价关系。此链接提供了对均方误差下自动编码的风险前景的洞察,特别是所有非平凡的临界点都是鞍点。寻找鞍点本身是困难的,过完全自动编码带来了额外的挑战,鞍点是退化的。在此背景下,我们讨论了自动编码器的正则化,特别是瓶颈,去噪和收缩自动编码,并提出了一种新的优化策略,可以被定义为特定形式的收缩正则化。
2021-04-11 cs.LG stat.ML
A New Distribution on the Simplex with Auto-Encoding Applications
Columbia University(哥伦比亚大学);New York Genome Center(纽约基因组中心);Spotify Technology S.A.(Spotify科技公司)
利用Kumaraswamy分布和一个有序的破棒过程,我们构造了一个新的分布。我们探索和发展这个新的分布的理论性质,并证明它具有对称性,在相同的条件下,著名的狄利克雷。与Dirichlet一样,新分布擅长捕捉稀疏性,但与Dirichlet不同的是,它具有精确和封闭的形式重新参数化-使其非常适合深度变分贝叶斯建模。我们证明了分布的效用在各种半监督自动编码任务。在所有情况下,所得到的模型都实现了与其简单性、使用显式概率模型和避免对抗性训练相称的竞争性能。
2019-12-14 cs.LG stat.ML
Auto-Encoding Adversarial Imitation Learning
Shanghai Qi Zhi Institute(上海期智研究院);Tencent AI Lab(腾讯AI实验室);Worcester Polytechnic Institute(伍斯特理工学院);Tsinghua University(清华大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
针对强化学习需手动设计奖励函数的问题,提出基于自编码器重构误差作为奖励信号的AEAIL框架,在两类环境中表现优于现有方法,且对含噪演示鲁棒性更强。
2024-02-02 cs.LG
Denoising Criterion for Variational Auto-Encoding Framework
Montreal Institute for Learning Algorithms(蒙特利尔学习算法研究所);University of Montreal(蒙特利尔大学)
去噪自编码器(DAE)被训练为在输入级注入噪声来重建其干净输入,而变分自编码器(VAE)被训练为在其随机隐藏层中注入噪声,并具有鼓励这种噪声注入的正则化器。在本文中,我们表明,在输入和随机隐藏层注入噪声可以是有利的,我们提出了一个修改后的变分下限作为改进的目标函数在此设置。当输入被破坏时,则标准VAE下限涉及在输入噪声上边缘化编码器条件分布,这使得训练准则难以处理。相反,我们提出了一个修改后的训练标准,对应于一个易于处理的界限时,输入损坏。实验上,我们发现,建议的去噪变分自编码器(DVAE)产生更好的平均对数似然比VAE和重要性加权的自动编码器上的MNIST和Frey脸数据集。
2016-01-04 cs.LG
Transformer-based Automatic Post-Editing with a Context-Aware Encoding Approach for Multi-Source Inputs
Pohang University of Science and Technology (POSTECH)(浦项科技大学(POSTECH))
自动译后编辑(APE)研究的最新方法表明,多源模型可以获得更好的结果,该模型联合编码源(src)和机器翻译输出(mt)以产生译后编辑句子(pe)。沿着这一趋势,我们提出了一个新的多源APE模型的基础上的Transformer。为了构建有效的联合表示,我们的模型内部学习将src上下文纳入mt表示。通过这种方法,我们实现了一个显着的改善基线系统,以及国家的最先进的多源APE模型。此外,为了证明我们的模型将src上下文的能力,我们表明,未知的MT系统的字对齐成功地捕获在我们的编码结果。
2019-08-15 cs.CL cs.LG
"Dependency Bottleneck" in Auto-encoding Architectures: an Empirical Study
Carnegie Mellon University(卡内基梅隆大学);RIKEN AIP(理化学研究所先进智能项目中心);JST PRESTO(日本科学技术振兴机构先驱研究项目)
最近的研究工作通过研究深度神经网络(DNN)中的信息瓶颈来研究其泛化特性。然而,由于密度估计的原因,互信息(MI)的测量往往是不准确的。为了解决这个问题,我们建议在DNN中测量层之间的依赖性而不是MI。具体地说,我们建议使用希尔伯特-施密特独立准则(HSIC)作为依赖性度量,它可以衡量两个随机变量的依赖性,而无需估计概率密度。此外,HSIC是平方损失互信息(SMI)的特殊情况。在实验中,我们经验性地评估的泛化属性使用HSIC在重建和预测自动编码(AE)架构。
2018-02-15 cs.IT cs.LG math.IT
Improved Auto-Encoding using Deterministic Projected Belief Networks
Fraunhofer FKIE(弗劳恩霍夫通信、信息处理与人机工程研究所)
本文利用确定性投影信念网络(D-PBN)结合可训练复合激活函数(TCAs),通过反向回溯机制在分析和重建中双向利用TCA,显著提升了自编码器性能,优于包括变分自编码器在内的标准方法。
2023-09-14 cs.LG
Variational Approaches for Auto-Encoding Generative Adversarial Networks
DeepMind
自动编码生成对抗网络(GANs)结合了标准的GAN算法,该算法区分真实和模型生成的数据,并由自动编码器给出重建损失。这些模型旨在通过确保学习生成模型基于所有可用的训练数据来防止学习生成模型中的模式崩溃。在本文中,我们开发了一种原理,通过利用生成模型的分层结构,可以将自动编码器与生成对抗网络相结合。其基本原理表明,变分推断可以用作学习的基本工具,但不可处理的似然被合成似然代替,未知的后验分布被隐式分布代替;合成似然和隐式后验分布都可以使用鉴别器来学习。这使我们能够开发变分自动编码器和生成对抗网络的自然融合,结合这两种方法的优点。我们描述了一个统一的优化目标,讨论了指导学习所需的约束条件,连接到广泛的现有工作,并使用一系列测试来系统地和定量地评估我们的方法的性能。
2017-10-21 cs.LG stat.ML
Topological Constraints on Homeomorphic Auto-Encoding
University of Amsterdam(阿姆斯特丹大学);UC Berkeley(加州大学伯克利分校)
当对存在于嵌入在高维空间中的已知非平凡流形上的数据进行表示学习时,很自然地希望编码器在限制于流形时是同胚的,使得它是双射的并且是连续的,具有连续逆。使用拓扑参数,我们表明,当流形是非平凡的,编码器必须是全球不连续的,并提出了一个普遍的,虽然不切实际的,建设。此外,我们推导出必要的约束,需要满足时,设计特定的流形实用编码器。这些用于分析用于3D旋转的流形的同胚编码器的候选者$SO(3)$。
2018-12-27 cs.LG stat.ML
Encoding Musical Style with Transformer Autoencoders
Stanford University(斯坦福大学);Google Brain(谷歌大脑)
我们考虑的问题,学习高层次的控制生成的序列的全局结构,特别是在符号音乐生成与复杂的语言模型的背景下。在这项工作中,我们提出了Transformer自动编码器,它聚合了跨时间的输入数据的编码,以获得一个全局表示的风格从一个给定的性能。我们表明,它是可能的,以结合其他时间分布的嵌入这种全球性的表示,使改进的控制性能风格和旋律的单独方面。从经验上讲,我们证明了我们的方法在MAESTRO数据集和YouTube数据集上的各种音乐生成任务上的有效性,该数据集具有10,000多小时的钢琴演奏,与基线相比,我们在对数似然和平均听力分数方面取得了改进。
2020-06-30 cs.LG cs.SD eess.AS
Supervised Auto-Encoding Twin-Bottleneck Hashing
University of Geneva(日内瓦大学)
该研究将自编码双瓶颈哈希推广为监督深度哈希网络,融入标签信息并处理类别不平衡,在三个数据集上取得显著改进。
2023-06-19 cs.LG
Optimizing Sequential Medical Treatments with Auto-Encoding Heuristic Search in POMDPs
Imperial College London(帝国理工学院)
健康相关数据在暗示患者的真实生理状态方面是噪声和随机的,限制了用于顺序临床决策的单时刻观察中包含的信息。我们将患者与临床医生的相互作用建模为部分可观察的马尔可夫决策过程(POMDPs),并根据从历史序列推断的信念状态优化顺序治疗。为了便于推理,我们建立了一个变分生成模型,并使用递归神经网络(RNN)增强状态表示,并结合了序列自动编码的辅助损失。同时,我们优化了一个连续的药物水平的政策与行动者-评论家的方法,其中策略梯度从一个稳定的政策外估计的优势函数,与并行的最佳优先后缀树支持的信念状态的值。我们利用我们的方法,使用回顾性重症监护数据集优化脓毒症患者的血管加压药和静脉输液剂量,并使用政策外政策评估(OPPE)评估学习的政策。结果表明,建模为POMDP产生更好的性能比MDP,并将启发式搜索提高样本效率。
2019-05-17 cs.AI cs.LG
Auto-Encoding Total Correlation Explanation
Information Sciences Institute(信息科学研究所);University of Southern California(南加利福尼亚大学)
无监督学习的进步使得能够从复杂的分布中重建和生成样本,但这种成功被所学习的表示的不可理解性所破坏。我们提出了一个信息理论的方法来表征解纠缠和依赖的表示学习使用多变量互信息,也称为总相关。全相关解释(CorEx)的原则已经在各种领域中成功地应用了无监督学习,但有一些限制性的假设。在这里,我们放宽这些限制,通过引入一个灵活的变分下限的CorEx。令人惊讶的是,我们发现,这个下限是等价的变分自编码器(VAE)在一定条件下。VAE的这种信息论观点加深了我们对分层VAE的理解,并激发了一种新的算法AnchorVAE,该算法通过信息最大化使潜在代码更具可解释性,并能够生成更丰富,更真实的样本。
2018-02-16 cs.LG stat.ML
Y-Autoencoders: disentangling latent representations via sequential-encoding
University of Edinburgh(爱丁堡大学);Snap Inc.(Snap公司)
在过去的几年里,生成模型有了重要的进步,两种主要的方法是生成对抗网络(GANs)和变分自编码器(VAE)。然而,标准的自动编码器(AE)和密切相关的结构仍然很受欢迎,因为它们易于训练并适应不同的任务。一个有趣的问题是,我们是否可以在保持AE良好特性的同时实现最先进的性能。我们提出了一个答案,这个问题通过引入一个新的模型称为Y-自动编码器(Y-AE)。Y-AE的结构和训练过程将表征分为内隐和外显两部分。隐式部分类似于自动编码器的输出,显式部分与训练集中的标签密切相关。在解码和重新编码之前,通过将编码器的输出分成两条路径(形成Y形),在潜在空间中将这两个部分分开。然后,我们施加了一些损失,如重建损失,以及损失的依赖关系之间的隐式和显式的部分。此外,显式流形中的投影由预测器监控,该预测器嵌入在编码器中并进行端到端训练,没有对抗性损失。我们提供了显着的实验结果,在各个领域,如分离的风格和内容,图像到图像的翻译,和逆图形。
2019-07-25 cs.CV cs.LG
Auto-Encoding Variational Bayes
Universiteit van Amsterdam(阿姆斯特丹大学)
我们如何在有向概率模型中进行有效的推理和学习,在存在具有难以处理的后验分布的连续潜变量和大型数据集的情况下?我们引入了一个随机变分推断和学习算法,可扩展到大数据集,在一些温和的可微条件下,甚至在棘手的情况下。我们的贡献是双重的。首先,我们表明,变分下界的重新参数化产生的下界估计,可以直接优化使用标准的随机梯度方法。其次,我们表明,对于i.i.d.对于每个数据点具有连续潜变量的数据集,通过使用所提出的下限估计量将近似推理模型(也称为识别模型)拟合到难以处理的后验,可以使后验推理特别有效。理论上的优势体现在实验结果中。
2022-12-10 cs.LG stat.ML
Auto-Encoding for Shared Cross Domain Feature Representation and Image-to-Image Translation
Amity University(阿米提大学)
图像到图像的转换是计算机视觉和模式识别问题的一个子集,我们的目标是学习域$\mathbf{X}_1$的输入图像和域$\mathbf{X}_2$的输出图像之间的映射。当前方法使用具有编码器-解码器结构的神经网络来学习映射$G:\mathbf{X}_1 \to\mathbf{X}_2$,使得来自$\mathbf{X}_2$和$G(\mathbf{X}_1)$的图像的分布是相同的,其中$G(\mathbf{X}_1) = d_G (f_G (\mathbf{X}_1))$和$f_G (\cdot)$被称为编码器,而$d_G(\cdot)$被称为解码器。目前,也计算逆映射$F:\mathbf{X}_2 \to \mathbf{X}_1$的这种方法使用单独的编码器-解码器对$d_F (f_F (\mathbf{X}_2))$或至少单独的解码器$d_F (\cdot)$来这样做。在这里,我们介绍了一种方法来执行跨域图像到图像的翻译跨多个域使用一个单一的编码器-解码器架构。我们使用自动编码器网络,其给定输入图像$\mathbf{X}_1$,首先计算潜在域编码$Z_d = f_d (\mathbf{X}_1)$和潜在内容编码$Z_c = f_c (\mathbf{X}_1)$,其中域编码$Z_d$和内容编码$Z_c$是独立的。然后,解码器网络$g(Z_d,Z_c)$创建原始图像$\mathbf{\…
2020-06-11 cs.CV cs.LG eess.IV
Information Constraints on Auto-Encoding Variational Bayes
University of California, Berkeley(加州大学伯克利分校);Ragon Institute of MGH, MIT and Harvard(麻省总医院、麻省理工学院与哈佛大学拉根研究所);Chan-Zuckerberg Biohub(陈·扎克伯格生物中心)
用神经网络对生成模型的近似后验进行参数化已成为近年来机器学习研究的一个共同主题。这种方法虽然具有吸引人的灵活性,但却难以施加或评估有条件独立等结构性限制。我们提出了一个框架,学习表示依赖于自动编码变分贝叶斯和其搜索空间是通过基于内核的独立性措施的约束。特别是,我们的方法采用了$d$变量希尔伯特-施密特独立性准则(dHSIC),以强制执行的潜在表示和任意滋扰因素之间的独立性。我们展示了如何将这种方法应用于一系列问题,包括学习不变表示和学习可解释表示的问题。我们还提出了一个完整的应用程序,单细胞RNA测序(scRNA-seq)。在这种情况下,生物信号以复杂的方式与测序误差和采样效应混合。我们表明,我们的方法在这一领域的最先进的表现。
2018-11-29 cs.LG q-bio.GN stat.ML
Denoising Auto-encoding Priors in Undecimated Wavelet Domain for MR Image Reconstruction
Nanchang University(南昌大学)
压缩感知是一种令人印象深刻的快速MRI方法。该方法的目的是利用k空间中少量的欠采样数据重建MR图像,提高数据采集的效率。在这项研究中,我们提出了学习先验知识的基础上非抽样小波变换和迭代图像重建算法。在先验学习阶段,通过非抽样小波变换得到的变换后的特征图像被堆叠作为去噪自动编码器网络(DAE)的输入。高度冗余和多尺度的输入使不同通道的特征图像能够相互关联,从而实现鲁棒的网络驱动先验。在迭代重建时,利用最接近梯度算法将变换后的DAE先验信息引入到经典的迭代过程中。不同采样轨迹和采样率下的实验比较验证了该算法的巨大潜力。
2019-09-04 cs.LG eess.IV stat.ML
Efficient Convolutional Auto-Encoding via Random Convexification and Frequency-Domain Minimization
Vrije Universiteit Brussel (VUB)(布鲁塞尔自由大学);Northwestern Polytechnical University (NPU)(西北工业大学);Interuniversity Microelectronics Centre (IMEC)(校际微电子中心)
深度卷积神经网络(CNN)等深度学习架构的无处不在是由不断增加的标记数据集和专用硬件的协同组合推动的。尽管取得了无可争议的成功,但在接近新应用时,对大量标记数据和专用硬件的依赖可能是一个限制因素。为了帮助缓解这些限制,我们提出了一种有效的学习策略,用于在可接受的时间内在传统硬件上对深度CNN进行分层无监督训练。我们提出的策略包括随机凸化重构压缩自动编码(RCAE)学习目标,并通过坐标下降(CD)在频域中解决由此产生的大规模凸最小化问题。我们提出的学习策略的主要优点是:(1)单个可调优化参数;(2)快速且有保证的收敛;(3)完全并行化的可能性。数值实验表明,我们提出的学习策略规模(在最坏的情况下)与图像大小,过滤器的数量和过滤器的大小呈线性关系。
2016-11-28 cs.LG cs.NE stat.ML
Learning Relational Representations with Auto-encoding Logic Programs
KU Leuven(鲁汶大学);VUB(布鲁塞尔自由大学(荷语区))
能够处理关系数据的深度学习方法在过去几年中激增。与利用一阶逻辑来表示此类数据的传统关系学习方法相比,这些深度学习方法旨在在欧几里得空间中重新表示符号关系数据。它们提供了更好的可扩展性,但只能在数值上近似关系结构,并且在支持的推理任务方面灵活性较差。本文介绍了一种新的框架,关系表示学习,结合了两个世界的最佳。该框架受自动编码原理的启发,使用一阶逻辑作为数据表示语言,原始表示和潜在表示之间的映射是通过逻辑程序而不是神经网络来完成的。我们展示了如何学习可以铸造作为一个约束优化问题,现有的求解器可以使用。使用逻辑作为表示语言使所提出的框架比深度学习方法更准确(因为表示是精确的,而不是近似的),更灵活,更可解释。我们的实验表明,这些潜在的表征确实是有益的关系学习任务。
2020-03-24 cs.AI cs.LG stat.ML
Learning the Structure of Auto-Encoding Recommenders
The Hong Kong University of Science and Technology(香港科技大学);The Education University of Hong Kong(香港教育大学)
Autoencoder最近在推荐任务中表现出了最先进的性能,因为它们能够有效地对非线性项关系进行建模。然而,现有的自动编码器解码器使用完全连接的神经网络层,并且不采用结构学习。这可能导致低效的训练,特别是当数据稀疏时,这在协同过滤中很常见。上述结果导致较低的泛化能力和降低的性能。在本文中,我们介绍了结构学习的自动编码器的过滤器利用固有的项目组中存在的协同过滤域。由于一般项目的性质,我们知道某些项目彼此之间的关系比其他项目更密切。基于此,我们提出了一种方法,首先学习相关项组,然后使用这些信息来确定自动编码神经网络的连接结构。这导致网络连接稀疏。这种稀疏结构可以被视为指导网络训练的先验知识。经验上,我们表明,建议的结构学习,使自动编码器收敛到一个更小的频谱范数和泛化误差界比完全连接的网络的局部最优。即使使用相同数量的参数和触发器,所得到的稀疏网络在多个基准数据集上的性能也大大优于\textsc{Mult-vae/Mult-dae}等最先进的方法。它还具有更好的冷启动性能。
2020-08-18 cs.IR cs.LG stat.ML
Spatial Variational Auto-Encoding via Matrix-Variate Normal Distributions
Texas A&M University(得克萨斯农工大学);Washington State University(华盛顿州立大学)
变分自动编码器(VAE)的核心思想类似于传统的自动编码器模型,其中空间信息应该被显式编码在潜在空间中。然而,VAE中的潜变量是向量,可以解释为大小为1x1的多个特征图。这种表示只能在与强大的解码器相结合时隐含地传达空间信息。在这项工作中,我们提出了空间VAE,使用较大尺寸的特征图作为潜在变量,以明确地捕捉空间信息。这是通过允许从矩阵变量正态(MVN)分布(其参数从编码器网络计算)中采样潜变量来实现的。为了增加潜在特征图上位置之间的依赖性并减少参数的数量,我们进一步提出了通过低秩MVN分布的空间VAE。实验结果表明,所提出的空间VAE在捕获丰富的结构和空间信息方面优于原始VAE。
2019-01-22 cs.CV cs.LG cs.NE
Comparison of Autoencoder Encodings for ECG Representation in Downstream Prediction Tasks
University of Kansas Medical Center(堪萨斯大学医学中心);University of Kansas(堪萨斯大学)
本研究针对ECG信号复杂度高、小样本下深度学习应用难的问题,提出三种新型VAE变体,其编码在信号重建与下游LVEF降低预测上表现优异,可媲美最优CNN且资源需求更低,为小样本场景提供实用方案。
2024-10-29 cs.LG eess.SP
Ball Mill Fault Prediction Based on Deep Convolutional Auto-Encoding Network
Huazhong University of Science and Technology(华中科技大学);Wugang Resources Group Co., Ltd.(武钢资源集团有限公司)
本文提出基于深度卷积自编码神经网络(DCAN)的异常检测方法,利用正常运行振动数据训练,克服标注与数据不平衡问题,有效识别球磨机轴承故障,提高检测效率并降低维护成本。
2023-11-09 cs.AI cs.LG
Auto-Encoding Twin-Bottleneck Hashing
Inception Institute of Artificial Intelligence (IIAI)(人工智能初创研究院);University of Electronic Science and Technology of China(电子科技大学)
传统的无监督哈希方法通常利用相似图,这些相似图要么是在高维空间中预先计算的,要么是从随机锚点获得的。一方面,现有的方法将散列函数学习和图构造的过程解耦。另一方面,基于原始数据经验构建的图可能会引入有偏见的数据相关性先验知识,导致次优检索性能。在本文中,我们解决了上述问题,提出了一个有效的和自适应的代码驱动图,这是更新的自动编码器的上下文中的解码。具体来说,我们在框架中引入了两个瓶颈(即,潜在变量)协作地交换关键信息。一个瓶颈(即,二进制代码)将由代码驱动图捕获的高级固有数据结构传送到另一个(即,用于低级别细节信息的连续变量),其又传播更新的网络反馈以供编码器学习更多有区别的二进制码。自动编码学习目标从字面上奖励代码驱动图学习最佳编码器。此外,所提出的模型可以简单地优化梯度下降,而不违反二进制约束。在基准数据集上的实验清楚地表明了我们的框架优于最先进的哈希方法。我们的源代码可以在https://github.com/ymcidence/TBH上找到。
2020-03-16 cs.CV cs.LG
Training Latent Variable Models with Auto-encoding Variational Bayes: A Tutorial
Carleton College(卡尔顿学院)
自动编码变分贝叶斯(AEVB)是一种用于拟合潜变量模型(无监督学习的一个有前途的方向)的强大而通用的算法,并且众所周知用于训练变分自动编码器(VAE)。在本教程中,我们专注于从经典的期望最大化(EM)算法中激励AEVB,而不是从确定性自动编码器中。虽然EM和AEVB之间的联系是自然的,而且有些不言自明,但在最近的深度学习文献中并没有强调EM和AEVB之间的联系,我们相信强调这种联系可以提高社区对AEVB的理解。特别是,我们发现将(1)关于推理参数优化证据下限(ELBO)视为近似E步和(2)关于生成参数优化ELBO视为近似M步特别有帮助;在AEVB中同时做这两件事,然后简单地同时收紧和推高ELBO。我们讨论如何近似E-步骤可以解释为执行变分推理。重要的概念,如摊销和重新参数化技巧进行了详细讨论。最后,我们从头开始推导了一个非深度和几个深度潜变量模型的AEVB训练过程,包括VAE,条件VAE,高斯混合VAE和变分RNN。我们希望读者能够认识到AEVB是一种通用算法,可以用于拟合各种潜变量模型(不仅仅是VAE),并将AEVB应用于他们自己研究领域中出现的模型。所有包含的模型的PyTorch代码都是公开的。
2022-08-16 cs.AI cs.LG stat.ML
Differentiable VQ-VAE's for Robust White Matter Streamline Encodings
UCLA(加州大学洛杉矶分校)
针对现有自编码器仅处理单根白质流线且潜在空间结构不良的问题,提出可微向量量化变分自编码器,将整个流线束作为单个数据点处理以提供可靠编码,在编码和合成任务上优于现有自编码器。
2023-11-18 cs.LG stat.AP stat.ML
Encoding Event-Based Data With a Hybrid SNN Guided Variational Auto-encoder in Neuromorphic Hardware
University of California, Irvine(加州大学欧文分校);Accenture Labs(埃森哲实验室);Forschungszentrum Jülich(于利希研究中心)
具有学习能力的神经形态硬件可以适应新的实时数据。虽然脉冲神经网络(SNN)的模型现在可以使用梯度下降进行训练,以达到与等效的传统神经网络相当的准确性,但这种学习通常依赖于外部标签。然而,现实世界的数据是未标记的,这可能使监督方法不适用。为了解决这个问题,我们提出了一种混合制导变分自编码器(VAE),它将动态视觉传感器(DVS)感知到的基于事件的数据编码为使用SNN的潜在空间表示。这些表示可以用作嵌入来测量数据相似性并预测真实数据中的标签。我们表明,混合引导VAE在DVSGesture数据集上实现了87%的分类准确率,并且可以将稀疏的噪声输入编码为可解释的潜在空间表示,通过T-SNE图可视化。我们还实现了神经形态硬件模型的编码器组件,并讨论了我们的算法,使实时学习从现实世界的事件数据的潜力。
2022-03-08 cs.LG cs.NE
Nonparametric Inference for Auto-Encoding Variational Bayes
University of Bristol(布里斯托大学);University of Bath(巴斯大学)
我们想学习低维和高度可解释的潜在表征。具有这些特征的模型是高斯过程潜变量模型。GP-LVM的优点和缺点与变分自动编码器是互补的,前者提供了可解释的低维潜在表示,而后者能够处理大量数据并可以使用非高斯似然。我们对这篇论文的灵感是将这两种方法结合起来,并从中获益。为了做到这一点,我们将介绍一种新的近似推理方案的启发GP-LVM和VAE。我们的实验表明,近似允许VAE的生成瓶颈(Z)的容量是任意大的,而不会失去高度可解释的表示,允许重建质量不受Z的限制,同时作为一个低维空间可以用来执行祖先采样,以及一种手段来推理嵌入的数据。
2017-12-18 cs.AI cs.LG stat.ML
Sensor Fusion by Spatial Encoding for Autonomous Driving
Cho Chun Shik Graduate School of Mobility(赵春植 mobility 研究生院(注:该学院为KAIST下属学院,常见译法为赵春植移动研究生院));Division of Future Vehicle(未来车辆学部);Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院(KAIST))
本研究针对自动驾驶感知需求,提出多分辨率Transformer融合相机与LiDAR数据的方法,在长路线高密度交通的挑战性基准上性能优于现有方案,驾驶分数较TransFuser最高提升19%。
2023-08-17 cs.AI cs.CV cs.LG
Timbre Transfer with Variational Auto Encoding and Cycle-Consistent Adversarial Networks
School of Electronic Engineering and Computer Science(电子工程与计算机科学学院);Queen Mary University of London(伦敦玛丽女王大学);School of Mathematical Sciences(数学科学学院)
本研究项目研究深度学习在音色转换中的应用,其中源音频的音色可以以最小的质量损失转换为目标音频的音色。所采用的方法结合了变分自编码器与生成对抗网络,以构建源音频的有意义的表示,并产生目标音频的现实世代,并应用于Flickr 8k音频数据集,用于在扬声器之间传输声音音色,并应用于URMP数据集,用于在乐器之间传输音乐音色。此外,所采用的方法的变化进行了训练,并使用度量SSIM(结构相似性指数)和FAD(Frechét音频距离)比较了广义性能。有人发现,多对多的方法取代一对一的方法在重建能力方面,并通过一个基本的瓶颈剩余块设计是更适合于丰富的内容信息的潜在空间。还发现,关于循环损失是否采用变分自编码器或香草自编码器方法的决定对模型的重构和对抗翻译方面没有显著影响。
2021-10-10 cs.AI cs.CV cs.LG