Latent Event-Predictive Encodings through Counterfactual Regularization
Cluster of Excellence – Machine Learning for Science(卓越集群——科学机器学习)
任何智能系统的一个关键挑战是从连续的数据流中推断结构。事件预测认知理论认为,大脑将感觉运动信息分割成紧凑的事件编码,用于预测和解释环境动态。在这里,我们介绍了一个SUrprise-Gated递归神经网络(SUGAR),它使用了一种新的反事实正则化形式。我们测试模型的层次序列预测任务,其中序列生成交替隐藏图结构。我们的模型学习将任务的时间动态压缩为潜在的事件预测编码,并在正确的时刻预测事件转换,给出关于它们的噪声隐藏信号。反事实正则化项的添加确保了从一个潜在代码到下一个潜在代码的流体转换,由此得到的潜在代码表现出组成特性。所实现的机制在其他领域提供了许多有用的应用,包括层次推理,规划和决策。
2021-05-12 cs.LG
Latent graph encoding of multimodal neuroimaging features with generative AI architectures
Center for Translational Research in Neuroimaging and Data Science (TReNDS)(转化神经影像与数据科学研究中心)
研究旨在设计多模态生成框架用于神经影像特征分析,通过评估多种策略和模型,利用GMV和sFNC特征分析多个生成框架,提出的gMMVAE在多指标上超替代变体,有潜力用于稳健的多模态神经影像分析。
2026-07-09 cs.AI cs.CV cs.LG
SCONE: A Practical, Constraint-Aware Plug-in for Latent Encoding in Learned DNA Storage
Department of Computer Science and Engineering(计算机科学与工程系);College of Software(软件学院);Department of Genetics(遗传学系);Stanford School of Medicine(斯坦福医学院);Futurewei Technologies Inc.(未来科技有限公司)
SCONE通过直接在潜在空间上进行四进制算术编码,结合约束意识自适应编码模块,实现了高效且可靠的DNA存储编码,满足生物化学约束并提升压缩效率。
2026-02-05 cs.LG
A theory of capacity and sparse neural encoding
University of California, Irvine(加州大学欧文分校)
出于生物学的考虑,我们研究了从输入层到具有稀疏活动的目标层的稀疏神经映射,特别是当目标向量$y$稀疏时,存储$K$输入-目标关联$(x,y)$或记忆的问题。我们在数学上证明,$K$经历了一个相变,在一般情况下,有点矛盾,稀疏的目标层增加了存储容量的地图。目标向量可以任意选择,包括以随机方式,并且存储器可以由使用本地学习规则(包括简单的Hebb规则)训练的网络进行编码和解码。这些结果在对数据的各种统计假设下是稳健的。证明依赖于随机多面体和亚高斯随机向量变量的优雅属性。开放的问题和连接容量理论和多项式阈值地图进行了讨论。
2021-02-19 cs.LG cs.NE stat.ML
Multi-view Alignment and Generation in CCA via Consistent Latent Encoding
Centre for Artificial Intelligence (CAI), University of Technology Sydney(悉尼科技大学人工智能中心(CAI))
多视图对齐,实现多视图输入的一一对应,在许多现实世界的多视图应用中是至关重要的,特别是对于跨视图数据分析问题。近年来,越来越多的研究者利用典型相关分析(CCA)来研究这一对齐问题。然而,现有的CCA模型容易由于忽略不确定性或多个视图的不一致编码而使多个视图不对齐。针对这两个问题,本文从贝叶斯的角度研究了多视图对齐问题。深入研究了不一致编码的损害,我们提出了通过匹配不同形式的因子分解下的多视图随机变量的联合分布的边缘化来恢复多视图输入的对应性。为了实现我们的设计,我们提出了对抗CCA(ACCA),它通过对抗训练范式匹配边缘化的潜在编码来实现一致的潜在编码。基于条件互信息的分析表明,ACCA对处理隐式分布是灵活的。大量的相关性分析和噪声输入设置下的交叉视图生成的实验证明了我们的模型的优越性。
2020-05-24 cs.CV cs.LG stat.ML
Statistical Learning for Latent Embedding Alignment with Application to Brain Encoding and Decoding
University of California at Berkeley(加州大学伯克利分校)
本文提出轻量级对齐框架,通过逆半监督学习和元转移学习提升有限fMRI-刺激配对数据下的样本效率,实现脑编码解码的高效计算与理论分析。
2026-03-22 cs.LG stat.ME
Latent Function Decomposition for Forecasting Li-ion Battery Cells Capacity: A Multi-Output Convolved Gaussian Process Approach
University of Michigan-Dearborn(密歇根大学迪尔伯恩分校);University of Central Florida(中佛罗里达大学)
提出了一种基于潜函数分解的锂离子电池容量预测方法。该方法使用多输出高斯过程,这是一种用于多任务和迁移学习的生成式机器学习框架。MCGP将来自多个电池单元的可用容量趋势分解为潜在函数。然后在核平滑器上卷积潜在函数以重构和/或预测电池单元的容量趋势。该方法不仅具有较高的预测精度,还能提供预测的不确定性信息,并能捕捉不同电池单元容量趋势之间的非平凡互相关性。这两个优点使得所提出的MCGP成为使用电池组的应用的非常可靠和实用的解决方案。MCGP的推导和比较基准方法的实验锂离子电池数据。结果表明了该方法的有效性。
2019-07-19 cs.LG cs.SY eess.SP
Stepwise-Refining Speech Separation Network via Fine-Grained Encoding in High-order Latent Domain
Harbin Institute of Technology at Shenzhen(深圳哈尔滨工业大学);The Chinese University of Hong Kong at Shenzhen(香港中文大学(深圳))
单通道语音分离的关键是如何将混合信号编码到一个隐嵌入空间中,以使来自不同说话人的信号能够被精确分离。现有的语音分离方法要么将语音信号变换到频域进行分离,要么通过构造基于卷积滤波器的潜在域来学习可分离的嵌入空间。虽然后一种学习嵌入空间的方法实现了语音分离的实质性改进,但我们认为,仅由一个潜在域定义的嵌入空间不足以为语音分离提供完全可分离的编码空间。在本文中,我们提出了逐步细化语音分离网络(SRSSN),它遵循一个由粗到细的分离框架。它首先学习1阶潜在域来定义编码空间,从而在粗阶段执行粗分离。然后,建议SRSSN学习一个新的潜在域沿每个基函数的现有的潜在域,以获得一个高阶的潜在域在细化阶段,这使得我们的模型进行细化分离,以实现更精确的语音分离。我们通过进行广泛的实验来证明我们的SRSSN的有效性,包括在WSJ 0 -2/3 mix数据集上的干净(无噪声)设置中的语音分离以及在WHAM!/哇!数据集。此外,我们也利用我们的模型对分离后的语音信号进行语音识别实验,以间接评估语音分离的效能。
2022-01-31 cs.LG cs.SD eess.AS
Spatial Variational Auto-Encoding via Matrix-Variate Normal Distributions
Texas A&M University(得克萨斯农工大学);Washington State University(华盛顿州立大学)
变分自动编码器(VAE)的核心思想类似于传统的自动编码器模型,其中空间信息应该被显式编码在潜在空间中。然而,VAE中的潜变量是向量,可以解释为大小为1x1的多个特征图。这种表示只能在与强大的解码器相结合时隐含地传达空间信息。在这项工作中,我们提出了空间VAE,使用较大尺寸的特征图作为潜在变量,以明确地捕捉空间信息。这是通过允许从矩阵变量正态(MVN)分布(其参数从编码器网络计算)中采样潜变量来实现的。为了增加潜在特征图上位置之间的依赖性并减少参数的数量,我们进一步提出了通过低秩MVN分布的空间VAE。实验结果表明,所提出的空间VAE在捕获丰富的结构和空间信息方面优于原始VAE。
2019-01-22 cs.CV cs.LG cs.NE
E3-targetPred: Prediction of E3-Target Proteins Using Deep Latent Space Encoding
Korea Advanced Institute of Science and Technology(韩国科学技术院);National University of Sciences and Technology(国立科技大学)
了解E3连接酶和靶底物的相互作用对于细胞生物学和治疗开发非常重要。然而,E3目标关系的实验识别是不容易的任务,由于劳动密集型的实验性质。本文首次提出了一种基于序列的E3靶点预测模型。所提出的框架利用k-间隔氨基酸对(CKSAAP)的组成来学习E3连接酶和它们的靶蛋白之间的关系。一个类可分离的潜在空间编码方案也被设计,提供了一个压缩表示的特征空间。进行彻底的消融研究,以确定CKSAAP的最佳间隙大小和可以成功代表E3-靶关系的潜在变量的数量。所提出的计划进行评估的各种标准的定量措施的独立数据集。特别是,它在独立数据集上实现了$70.63\%$的平均精度。研究中使用的源代码和数据集可在作者的GitHub页面(https://github.com/psychemistz/E3targetPred)上获得。
2020-06-26 cs.LG q-bio.BM
FastTrees: Parallel Latent Tree-Induction for Faster Sequence Encoding
Nanyang Technological University(南洋理工大学)
从序列数据中诱导潜在树结构是当今NLP研究领域的一个新兴趋势,主要是通过最近的方法,如Gumbel LSTM和有序神经元(ON-LSTM)推广。本文提出了FASTTREES,一个新的通用神经模块的快速序列编码。与以前大多数认为递归是树归纳所必需的工作不同,我们的工作探索了并行树归纳的概念,即,以一种可并行的、非自回归的方式,将我们的模型与分层归纳偏差相结合。为此,我们提出的FASTTREES在四个成熟的序列建模任务上实现了与ON-LSTM竞争或优越的性能,即,语言建模、逻辑推理、情感分析和自然语言推理。此外,我们表明,FASTTREES模块可以应用于增强Transformer模型,实现三个序列转导任务(机器翻译,主谓一致性和数学语言理解)的性能增益,铺平了道路,模块化树归纳模块。总体而言,我们在逻辑推理任务上的表现优于现有的最先进模型+4%,在数学语言理解上的表现优于现有的最先进模型+8%。
2021-11-28 cs.CL cs.LG
Hierarchical Time Series Forecasting Via Latent Mean Encoding
Zalando SE(Zalando公司)
提出一种基于潜在均值编码的层次时间序列预测架构,通过专门模块预测不同时间聚合级别并在隐藏层编码目标变量平均行为,在M5数据集上优于TSMixer等既有方法,实现准确且相干的跨层次预测。
2025-06-24 cs.AI cs.LG
Simultaneous Policy Learning and Latent State Inference for Imitating Driver Behavior
在这项工作中,我们提出了一种学习驱动程序模型的方法,该模型考虑了无法直接观察到的变量。当在合成数据集上训练时,我们的模型能够学习车辆轨迹的编码,以区分四种不同类别的驾驶员行为。这样的编码是在不知道驱动程序类的数量或直接要求模型学习每个类的编码的任何目标的情况下学习的。我们表明,在模仿驾驶员的行为,他们被训练复制的潜变量的知识训练的驾驶政策比基线方法更有效。此外,我们证明了我们的政策所选择的行动是严重影响的潜变量设置提供给他们。
2017-04-19 cs.AI cs.LG stat.ML
Encoding Domain Information with Sparse Priors for Inferring Explainable Latent Variables
German Cancer Consortium (DKTK)(德国癌症联盟(DKTK));German Cancer Research Center (DKFZ)(德国癌症研究中心(DKFZ));Goethe University Frankfurt(法兰克福歌德大学);Frankfurt Cancer Insititute(法兰克福癌症研究所)
潜变量模型是一种强大的统计工具,可以通过从可观察的高维数据中推断未观察到的隐藏状态来揭示患者或细胞之间的相关变化。然而,目前的方法的一个主要缺点是,他们无法学习稀疏和可解释的隐藏状态。此外,在容易获得关于数据潜在结构的部分知识的设置中,将先验信息统计上合理地整合到当前方法中是具有挑战性的。为了解决这些问题,我们提出了spex-LVM,一个阶乘的潜在变量模型与稀疏先验,以鼓励推理领域相关的信息驱动的可解释的因素。spex-LVM利用现有的策划生物医学途径的知识,自动分配注释属性的潜在因素,产生可解释的结果,适合相应的领域的兴趣。对模拟和真实单细胞RNA-seq数据集的评估表明,我们的模型以内在可解释的方式稳健地识别相关结构,区分技术噪声与生物医学变异来源,并提供对现有途径注释的特定适应性调整。可在https://github.com/MLO-lab/spexlvm上获得实现。
2022-04-11 cs.LG stat.ML
Encoding Binary Concepts in the Latent Space of Generative Models for Enhancing Data Representation
University of Southern California(南加州大学)
二元概念被人类经验性地用于有效地概括。它们基于伯努利分布,这是信息的构建块。这些概念涵盖了低级和高级特征,例如“大与小”和“神经元是活跃的还是不活跃的”。二元概念是普遍存在的特征,可以用来传递知识以提高模型的泛化能力。我们提出了一种新的二进制正则化,以促进二进制概念的学习,以提高自动编码器中数据生成的质量。在数据生成过程中引入二值化超参数$r$,对称地解开潜在空间。我们证明,这种方法可以很容易地应用到现有的变分自编码器(VAE)的变种,以鼓励对称解纠缠,提高重建质量,并防止后崩溃,而无需计算开销。我们还证明了这种方法可以提高现有的模型,学习更多的可转移的表示,并产生更多的代表性样本的输入分布,可以减轻灾难性遗忘使用生成重放下持续学习设置。
2023-03-22 cs.CV cs.LG
IVE-GAN: Invariant Encoding Generative Adversarial Networks
Bayer AG(拜耳公司)
生成对抗网络(GANs)是生成任务的强大框架。然而,它们难以训练,并且往往会错过真实数据生成过程的模式。虽然GANs可以在其潜在空间中学习数据的覆盖模式的丰富表示,但该框架错过了从数据到该潜在空间的逆映射。我们提出了不变编码生成对抗网络(IVE-GANs),这是一种新的GAN框架,它通过利用数据中对某些变换不变的特征,为数据中的单个样本引入了这种映射。由于模型将单个样本映射到潜在空间,因此它自然会鼓励生成器覆盖所有模式。我们证明了我们的方法在生成性能和学习丰富的表示几个数据集,包括常见的基准图像生成任务方面的有效性。
2017-11-23 cs.LG stat.ML
RENs: Relevance Encoding Networks
Scientific Computing and Imaging Institute(科学计算与成像研究所);University of Utah(犹他大学)
高维数据的流形假设假定数据是通过改变从低维潜在空间获得的一组参数来生成的。深度生成模型(DGMs)被广泛用于以无监督的方式学习数据表示。DGMs使用诸如变分自编码器(VAE)的瓶颈架构来参数化数据空间中的底层低维流形。VAE的瓶颈维度被视为依赖于数据集的超参数,并在设计时经过大量调优后固定。由于大多数真实世界数据集的内在维度是未知的,通常,内在维度和选择作为超参数的潜在维度之间存在不匹配。这种不匹配会对表示学习和样本生成任务的模型性能产生负面影响。本文提出了相关性编码网络(RENs):一种新的基于概率VAE的框架,它使用潜在空间中的自动相关性确定(ARD)先验来学习数据特定的瓶颈维度。使用随机梯度下降和适用于非高斯先验的重新参数化技巧,直接从数据以及其他模型参数中学习每个潜在维度的相关性。我们利用DeepSets的概念来捕获数据和潜在空间中的排列不变统计特性,以进行相关性确定。所提出的框架是通用和灵活的,并且可以用于利用正则化器在潜在空间中施加特定特性(例如,解开)。通过对合成和公共图像数据集的广泛实验,我们表明该模型可以学习相关的潜在瓶颈维度,而不会影响样本的表示和生成质量。
2022-07-17 cs.LG
Explorations in Homeomorphic Variational Auto-Encoding
University of Amsterdam(阿姆斯特丹大学);Qualcomm AI Research(高通人工智能研究院)
流形假设指出,许多种高维数据集中在低维流形附近。如果这个数据流形的拓扑结构是非平凡的,连续编码器网络不能以一对一的方式嵌入它,而不会在潜在空间中创建低密度的孔。这与通常在变分自动编码器(VAE)中进行的高斯先验假设不一致,因为高斯的密度集中在斑点状流形附近。在本文中,我们研究使用流形值的潜变量。具体来说,我们专注于连续可微对称群(李群)的重要情况下,如组的三维旋转$\operatorname{SO}(3)$。我们展示了如何VAE与$\operatorname{SO}(3)$值的潜变量可以构建,通过扩展的reparameterization技巧紧凑连接李群。我们的实验表明,选择与潜在数据流形的拓扑结构相匹配的流形值潜在变量,对于保持拓扑结构和学习行为良好的潜在空间至关重要。
2018-07-12 cs.LG stat.ML
Graph Alignment via Dual-Pass Spectral Encoding and Latent Space Communication
LIX, Ecole Polytechnique, IP Paris(LIX,巴黎高等师范学院,IP巴黎)
提出双通道编码器增强节点区分性,结合几何感知功能映射对齐潜在空间,解决图对齐中节点区分性下降和潜在空间错位问题。
2026-06-23 cs.AI cs.CV cs.LG
Entropic Auto-Encoding via Implicit Free-Energy Minimization
Department of Physics, Engineering Physics & Astronomy, Queen’s University(物理系、工程物理与天文学系、女王大学)
本文提出熵编码解码框架,通过自由能最小化隐式生成潜在变量先验,解决变分自编码器的后验崩溃问题,实现非高斯多模态潜在分布学习。
2026-05-15 cs.LG
Training Latent Variable Models with Auto-encoding Variational Bayes: A Tutorial
Carleton College(卡尔顿学院)
自动编码变分贝叶斯(AEVB)是一种用于拟合潜变量模型(无监督学习的一个有前途的方向)的强大而通用的算法,并且众所周知用于训练变分自动编码器(VAE)。在本教程中,我们专注于从经典的期望最大化(EM)算法中激励AEVB,而不是从确定性自动编码器中。虽然EM和AEVB之间的联系是自然的,而且有些不言自明,但在最近的深度学习文献中并没有强调EM和AEVB之间的联系,我们相信强调这种联系可以提高社区对AEVB的理解。特别是,我们发现将(1)关于推理参数优化证据下限(ELBO)视为近似E步和(2)关于生成参数优化ELBO视为近似M步特别有帮助;在AEVB中同时做这两件事,然后简单地同时收紧和推高ELBO。我们讨论如何近似E-步骤可以解释为执行变分推理。重要的概念,如摊销和重新参数化技巧进行了详细讨论。最后,我们从头开始推导了一个非深度和几个深度潜变量模型的AEVB训练过程,包括VAE,条件VAE,高斯混合VAE和变分RNN。我们希望读者能够认识到AEVB是一种通用算法,可以用于拟合各种潜变量模型(不仅仅是VAE),并将AEVB应用于他们自己研究领域中出现的模型。所有包含的模型的PyTorch代码都是公开的。
2022-08-16 cs.AI cs.LG stat.ML
GENs: Generative Encoding Networks
Scientific Computing and Imaging Institute(科学计算与成像研究所);University of Utah(犹他大学)
将数据从已知分布族映射和/或映射到已知分布族上已经成为机器学习和数据分析中的重要主题。深度生成模型(例如,生成对抗网络)已被有效地用于匹配已知和未知分布。尽管如此,当已知目标分布的形式时,分析方法在提供具有可证明性质的稳健结果方面是有利的。在本文中,我们提出并分析了使用非参数密度方法来估计詹森-香农散度匹配未知的数据分布已知的目标分布,如高斯或混合高斯,在潜在的空间。这种分析方法有几个优点:当训练样本量较低时,具有更好的性能,可证明的收敛性,并且可以解析导出的参数相对较少。使用所提出的方法,我们执行的潜在表示的自动编码器,以匹配目标分布的学习框架,我们称之为{ \em生成编码网络}。在这里,我们提出了数值方法;推导出潜在空间中数据的预期分布;评估潜在空间的属性,样本重建和生成的样本;显示相对于对抗性对应物的优势;并演示该方法在现实世界中的应用。
2020-10-28 cs.LG
LIFT: Latent Implicit Functions for Task- and Data-Agnostic Encoding
University of Toronto(多伦多大学);Vector Institute(向量研究所);University Health Network(大学健康网络)
本研究提出用于任务与数据无关编码的LIFT框架及增强版ReLIFT,通过元学习结合多并行局部隐式函数与分层潜在生成器实现多尺度表征,在多类任务中取得SOTA性能并降低计算成本。
2025-03-19 cs.CV cs.LG
Wavelet Latent Diffusion (Wala): Billion-Parameter 3D Generative Model with Compact Wavelet Encodings
本文提出Wavelet Latent Diffusion(WaLa)方法,通过将3D形状编码为紧凑的小波潜在表示实现2427倍压缩,训练出约十亿参数的高效3D生成模型,在生成质量与计算效率上达到SOTA。
2024-11-12 cs.AI cs.CV cs.LG
Increasing the Generalisation Capacity of Conditional VAEs
Volkswagen Group(大众汽车集团)
我们解决了监督学习中的一对多映射问题,其中单个实例具有可能相等成本的许多不同解决方案。条件变分自编码器的框架描述了一类通过潜变量来处理这种结构化预测任务的方法。我们建议激励信息的潜在表示,以增加条件变分自编码器的泛化能力。为此,我们修改的潜在变量模型定义的可能性作为一个函数的潜在变量,并引入一个富有表现力的多模态之前,使模型捕捉语义有意义的功能的数据。为了验证我们的方法,我们训练我们的模型上的康奈尔机器人抓取数据集,并修改版本的MNIST和时尚MNIST获得的结果,显示出显着更高的泛化能力。
2019-09-10 cs.LG stat.ML
LASERS: LAtent Space Encoding for Representations with Sparsity for Generative Modeling
Rutgers, the State University of New Jersey(罗格斯大学(新泽西州立大学))
该研究提出LASERS稀疏潜在空间编码方法,构建基于字典学习的DL-VAE与DL-GAN模型,在重建质量上优于VQ类方法,同时解决码本崩溃问题,揭示VQ的核心优势源于有损压缩而非离散化。
2024-09-16 cs.CV cs.LG
Y-Autoencoders: disentangling latent representations via sequential-encoding
University of Edinburgh(爱丁堡大学);Snap Inc.(Snap公司)
在过去的几年里,生成模型有了重要的进步,两种主要的方法是生成对抗网络(GANs)和变分自编码器(VAE)。然而,标准的自动编码器(AE)和密切相关的结构仍然很受欢迎,因为它们易于训练并适应不同的任务。一个有趣的问题是,我们是否可以在保持AE良好特性的同时实现最先进的性能。我们提出了一个答案,这个问题通过引入一个新的模型称为Y-自动编码器(Y-AE)。Y-AE的结构和训练过程将表征分为内隐和外显两部分。隐式部分类似于自动编码器的输出,显式部分与训练集中的标签密切相关。在解码和重新编码之前,通过将编码器的输出分成两条路径(形成Y形),在潜在空间中将这两个部分分开。然后,我们施加了一些损失,如重建损失,以及损失的依赖关系之间的隐式和显式的部分。此外,显式流形中的投影由预测器监控,该预测器嵌入在编码器中并进行端到端训练,没有对抗性损失。我们提供了显着的实验结果,在各个领域,如分离的风格和内容,图像到图像的翻译,和逆图形。
2019-07-25 cs.CV cs.LG
Encoding Domain Knowledge in Multi-view Latent Variable Models: A Bayesian Approach with Structured Sparsity
German Cancer Research Center (DKFZ)(德国癌症研究中心(DKFZ));German Cancer Consortium (DKTK)(德国癌症联盟(DKTK));Goethe University Frankfurt(法兰克福歌德大学);Frankfurt Cancer Institute(法兰克福癌症研究所)
许多真实世界的系统不仅由来自单个源的数据描述,而且还通过多个数据视图来描述。例如,在基因组医学中,患者可以通过来自不同分子层的数据来表征。具有结构化稀疏性的潜变量模型是一种常用的工具,用于解开数据视图内和跨数据视图的变化。然而,它们的可解释性是繁琐的,因为它需要领域专家对每个因素进行直接检查和解释。在这里,我们提出了MuVI,一种新的多视图隐变量模型的基础上修改马蹄先验建模结构稀疏。这有利于有限的和嘈杂的领域知识的结合,从而允许以固有的可解释的方式对多视图数据进行分析。我们证明了我们的模型(i)在重建误差和精度/召回方面优于最先进的结构化稀疏建模方法,(ii)以特征集的形式稳健地集成了噪声领域的专业知识,(iii)促进了因素的可识别性,(iv)推断出癌症患者真实世界多视图数据集中可解释的和生物学上有意义的变异轴。
2023-03-15 cs.AI cs.LG stat.ML
Encoding the latent posterior of Bayesian Neural Networks for uncertainty quantification
Institut Polytechnique de Paris(巴黎综合理工学院);Université Paris-Saclay(巴黎萨克雷大学);Aix Marseille University(艾克斯-马赛大学)
贝叶斯神经网络(BNN)长期以来一直被认为是用于提高深度神经网络的鲁棒性和预测不确定性的理想但不可扩展的解决方案。虽然它们可以更准确地捕获网络参数的后验分布,但大多数BNN方法要么限于小型网络,要么依赖于参数独立性等约束假设。这些缺点使得简单但计算量大的方法变得突出,例如深度集成,其训练和测试成本随着网络数量的增加而线性增加。在这项工作中,我们的目标是高效的深度BNN,适用于复杂的计算机视觉架构,例如ResNet 50 DeepLabV 3+,以及任务,例如语义分割,对参数的假设较少。我们通过利用变分自编码器(VAE)来学习每个网络层参数的交互和潜在分布来实现这一点。我们的方法,潜在后验BNN(LP-BNN),与最近的BatchEncriminal方法兼容,导致高效(在训练和测试期间的计算和内存方面)集成。LP-BNN在图像分类、语义分割和分布外检测的几个具有挑战性的基准测试中,在多个指标上取得了有竞争力的结果。
2021-03-25 cs.CV cs.LG stat.ML
Rank Is Not Capacity: Spectral Occupancy for Latent Graph Models
Human Nature Lab, Yale University(耶鲁大学人类本质实验室);Department of Electrical and Computer Engineering, Yale University(耶鲁大学电气与计算机工程系);Department of Statistics and Data Science, Yale University(耶鲁大学统计与数据科学系);Department of Computer Science, Yale University(耶鲁大学计算机科学系)
本文提出Spectra方法,通过谱分析替代秩作为分析单位,以更准确衡量模型容量,从而在预测精度与实际维度之间建立可可视化权衡。
2026-05-11 cs.LG
Exponential capacity scaling of classical GANs compared to hybrid latent style-based quantum GANs
Center for Quantum Computing(量子计算中心);Quantum Coherence (QC2), University of Basel(量子相干性(QC2),巴塞尔大学)
本文研究了混合潜在风格量子GAN在图像生成中的指数容量优势,发现经典GAN与量子GAN在参数规模上呈指数级增长关系。
2026-01-08 cs.AI cs.LG quant-ph
Unified Generation, Reconstruction, and Representation: Generalized Diffusion with Adaptive Latent Encoding-Decoding
MBZUAI(穆罕默德·本·扎耶德人工智能大学);UC San Diego(加利福尼亚大学圣迭戈分校);University of Tokyo(东京大学);Stanford University(斯坦福大学);CUHK-Shenzhen(香港中文大学(深圳));CMU(卡内基梅隆大学)
针对现有生成模型难以兼顾生成、重建与表示的问题,提出广义编码-解码扩散概率模型(EDDPMs),通过引入参数化编码-解码器推广标准扩散,兼容现有训练方法,在文本、蛋白质和图像上展现出广泛适用性与性能提升。
2024-06-05 cs.AI cs.LG
FlexLAM: Resolving the Bottleneck Trade-off in Latent Action Learning
University of Tsukuba(筑波大学);The University of Tokyo(东京大学)
针对潜在动作模型中固定容量瓶颈导致的权衡问题,提出FlexLAM,通过嵌套dropout实现变长潜在动作,在不增加架构或损失的情况下,在稀缺标签和低回报任务中优于固定容量模型,并支持推理时调整令牌预算。
2026-06-19 cs.LG cs.RO
Gradient flow encoding with distance optimization adaptive step size
ETH Zurich(苏黎世联邦理工学院)
自动编码器模型使用编码器将数据样本映射到较低维度的潜在空间,然后使用解码器将潜在空间表示映射回数据空间。隐含地,它依赖于编码器来近似解码器网络的逆,使得样本可以忠实地映射到潜在空间并从潜在空间返回。这种近似可能导致次优的潜在空间表示。在这项工作中,我们研究了一种仅解码器的方法,该方法使用梯度流对潜在空间中的数据样本进行编码。梯度流是基于给定的解码器定义的,旨在通过优化为任何给定的样本找到最佳的潜在空间表示,从而消除了通过编码器进行近似求逆的需要。通过常微分方程(ODE)实现梯度流,我们利用伴随方法来训练给定的解码器。我们进一步表明,伴随方法中的昂贵的积分经验可能不是完全必要的。此外,我们提出了一个$2^{nd}$阶常微分方程的方法,它近似Nesterov的加速梯度下降,每次迭代收敛速度更快。通常使用的ODE求解器可能对积分步长非常敏感,这取决于ODE的刚度。为了克服梯度流编码的敏感性,我们使用了一个自适应求解器,在每个积分步骤中优先考虑最小化损失。我们评估所提出的方法相比,自动编码模型。在我们的实验中,GFE表现出比自动编码模型更高的数据效率,这对于数据稀缺的应用程序至关重要。
2021-05-11 cs.LG stat.AP stat.CO
3D-Aware Encoding for Style-based Neural Radiance Fields
Carnegie Mellon University(卡内基梅隆大学);Meta Research(Meta研究院)
我们解决了基于样式的神经辐射场的NeRF反演的任务(例如,StyleNeRF)。在这项任务中,我们的目标是学习一个逆函数,将输入图像投影到NeRF发生器的潜在空间,然后基于潜在代码合成原始图像的新视图。与用于2D生成模型的GAN反演相比,NeRF反演不仅需要1)保持输入图像的身份,而且2)确保生成的新视图的3D一致性。这要求从单视图图像获得的潜在代码在多个视图中是不变的。为了解决这个新的挑战,我们提出了一个两阶段的编码器基于风格的NeRF反转。在第一阶段中,我们引入了一个基本编码器,它将输入图像转换为潜码。为了保证潜在编码具有视点不变性,并能够合成三维一致的新视点图像,我们利用身份对比学习来训练基本编码器。其次,为了更好地保留输入图像的身份,我们引入了一个细化编码器来细化潜在代码并向输出图像添加更精细的细节。值得注意的是,该模型的新颖性在于其第一阶段编码器的设计,该编码器产生位于潜在流形上的最接近的潜在代码,因此第二阶段中的细化将接近NeRF流形。通过大量的实验,我们证明了我们提出的两阶段编码器定性和定量表现出优于现有的编码器在图像重建和新颖的视图渲染反转。
2022-11-12 cs.CV cs.LG
Cross-Domain Latent Modulation for Variational Transfer Learning
University of Otago(奥塔哥大学)
我们提出了一个跨域的潜在调制机制内的变分自编码器(VAE)的框架,使改进的迁移学习。我们的主要思想是从一个数据域获取深度表示,并将其用作另一个域中潜在变量的重新参数化的扰动。具体而言,源域和目标域的深度表示首先由统一的推理模型提取,并通过采用梯度反转进行对齐。其次,学习的深度表示被交叉调制到替代域的潜在编码。然后强制执行从调制的潜在编码的重构与使用深度表示样本的生成之间的一致性,以便在潜在空间中产生类间对齐。我们将所提出的模型应用于一些迁移学习任务,包括无监督的领域自适应和图像到图像的翻译。实验结果表明,我们的模型具有竞争力的性能。
2020-12-21 cs.AI cs.LG
Adaptive Latent Capacity for World Models
本文提出自适应潜在容量世界模型ALeWM,通过JEPA架构和MixSIGReg正则化动态分配潜在表示容量,在受控系统和视觉控制任务中实现更高成功率与更低规划成本。
2026-10-07 cs.LG
Differentiable VQ-VAE's for Robust White Matter Streamline Encodings
UCLA(加州大学洛杉矶分校)
针对现有自编码器仅处理单根白质流线且潜在空间结构不良的问题,提出可微向量量化变分自编码器,将整个流线束作为单个数据点处理以提供可靠编码,在编码和合成任务上优于现有自编码器。
2023-11-18 cs.LG stat.AP stat.ML
Effective Use of Variational Embedding Capacity in Expressive End-to-End Speech Synthesis
Google Research(谷歌研究院)
最近的工作已经探索了序列到序列的表达性语音合成(支持韵律和风格的控制和转移)的潜在变量模型,但还没有提出一个连贯的框架来理解竞争方法之间的权衡。在本文中,我们提出了嵌入容量(嵌入包含的信息量的数据)作为一个统一的方法来分析语音的潜变量模型的行为,比较现有的启发式(非变分)的方法,变分方法,能够明确限制容量上界的代表性互信息。在我们提出的模型(Capacitron)中,我们表明,通过将条件依赖性添加到变分后验中,使其与真实后验的形式相匹配,相同的模型可用于高精度韵律传输,文本不可知风格传输和生成自然的先验样本。对于多说话人模型,Capacitron能够在说话人之间的韵律传输过程中以及从潜在先验中提取样本时保持目标说话人身份。最后,我们介绍了一种方法,用于在两组潜伏期中分层分解嵌入容量,允许指定一部分潜伏变异性,其余变异性从学习到的先验中采样。音频示例可在网络上获取。
2019-10-25 cs.CL cs.LG cs.SD
Enhancing Variational Autoencoders with Smooth Robust Latent Encoding
Korea University(韩国大学);Microsoft(微软);KAIST(韩国科学技术院)
提出SRL-VAE对抗训练框架,通过平滑潜在空间并正则化原始表示,在最小计算开销下同时提升预训练VAE的生成质量与鲁棒性,实验证明其在图像重建、编辑及对抗攻击下均有效。
2025-04-24 cs.AI cs.CR cs.LG
Beyond Gaussian Bottlenecks: Topologically Aligned Encoding of Vision-Transformer Feature Spaces
Department of Computer Engineering, Koç University, Istanbul, Turkey(科克大学计算机工程系,伊斯坦布尔,土耳其);Department of Computer Engineering, Hacettepe University, Ankara, Turkey(哈恰塔佩大学计算机工程系,安卡拉,土耳其);KUIS AI Research Center, Istanbul, Turkey(KUIS人工智能研究中心,伊斯坦布尔,土耳其);Department of Electrical and Electronics Engineering, Koç University, Istanbul, Turkey(科克大学电气与电子工程系,伊斯坦布尔,土耳其)
本文提出S²VAE框架,通过压缩和表示场景的3D状态,包括相机运动、深度和点结构,以提升视觉模型的几何一致性。实验显示,几何对齐的超球面隐空间在高压缩条件下优于传统高斯瓶颈。
2026-04-30 cs.CV cs.LG
Spline-based Transformers
DisneyResearch|Studios(迪士尼研究工作室);Disney Research(迪士尼研究中心);ETH Zurich(苏黎世联邦理工学院)
提出 Spline-based Transformers,利用样条将输入序列嵌入为潜在空间平滑轨迹以取代位置编码,克服序列长度外推缺陷并支持通过控制点交互生成新序列,在多种数据集上性能优于传统方法。
2025-04-03 cs.CV cs.LG
NeuroFlow: Toward Unified Visual Encoding and Decoding from Neural Activity
Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);University of Hong Kong(香港大学);Shenzhen Loop Area Institute(深圳河套学院);Tsinghua University(清华大学);Chinese University of Hong Kong(香港中文大学)
NeuroFlow首次提出统一框架,通过单一流模型联合建模视觉和神经活动的编码解码,提升效率与一致性。
2026-04-10 cs.LG
FreqMark: Invisible Image Watermarking via Frequency Based Optimization in Latent Space
University of California, Santa Cruz(加州大学圣克鲁兹分校);The University of Hong Kong(香港大学);University of Science and Technology of China(中国科学技术大学);IEG, Tencent(腾讯IEG);Fudan University(复旦大学)
本文提出 FreqMark,通过优化 VAE 编码后的图像潜在频率空间嵌入水印并用预训练编码器提取,在多种攻击下以 48 位消息实现超过 90% 的位准确率。
2024-10-28 cs.CR cs.CV cs.LG
PPGFlowECG: Latent Rectified Flow with Cross-Modal Encoding for PPG-Guided ECG Generation and Cardiovascular Disease Detection
National Institute of Health Data Science, Peking University, China(北京大学国家健康数据科学研究院);School of Intelligence Science and Technology, Peking University, China(北京大学智能科学与技术学院);Data Science Institute, Imperial College London, UK(伦敦帝国理工学院数据科学研究院);University of Chinese Academy of Sciences, China(中国科学院大学)
PPGFlowECG通过跨模态编码和潜在修正流,实现PPG引导的ECG生成,提升心血管疾病检测的可扩展性和可靠性。
2026-10-14 cs.AI cs.LG eess.SP
Precise Recovery of Latent Vectors from Generative Adversarial Networks
University of California, San Diego(加州大学圣地亚哥分校)
生成对抗网络(GANs)将潜在向量转换为视觉上合理的图像。通常认为,原始的GAN公式没有给出开箱即用的方法来反转映射,将图像投影回潜在空间。我们介绍一个简单的,基于梯度的技术称为随机裁剪。在实验中,对于由GAN生成的图像,我们100%准确地恢复了它们的潜在向量前图像。实验结果表明,该方法对噪声具有较好的鲁棒性.最后,我们表明,即使是看不见的图像,我们的方法似乎恢复独特的编码。
2017-02-17 cs.LG cs.NE stat.ML
Matching Latent Encoding for Audio-Text based Keyword Spotting
Apple(苹果公司)
针对音频文本关键词检测中多词不同长度嵌入的语义对齐难题,提出含动态序列划分算法的端到端架构,在公开数据集上AUC和EER分别优于SOTA 14.4%和28.9%。
2023-06-08 cs.LG cs.SD eess.AS
Auto-Encoding Molecular Conformations
Bayer AG(拜耳股份公司);Freie Universität Berlin(柏林自由大学)
在这项工作中,我们介绍了一个自动编码器的分子构象。我们提出的模型将给定分子图(构象)中原子的离散空间排列转换为连续的固定大小的潜在表示。我们表明,在这种潜在的代表性,类似的构象集群在一起,而不同的构象分裂。此外,通过在分子构象的大数据集上训练概率模型,我们展示了我们的模型如何用于为给定分子生成不同的能量有利构象集。最后,我们表明,连续表示使我们能够利用优化方法来找到具有有利的空间性质的构象的分子。
2021-01-05 cs.LG physics.chem-ph q-bio.QM
Developing hierarchical anticipations via neural network-based event segmentation
University of Tübingen(图宾根大学);Max-Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Potsdam(波茨坦大学)
人类可以在不同的时间尺度和层次上进行预测。因此,事件编码的学习似乎起着至关重要的作用。在这项工作中,我们通过自主学习的潜在事件代码的分层预测模型的发展。我们提出了一个分层的经常性神经网络架构,其归纳学习的偏见促进发展的稀疏变化的潜在状态,压缩感觉运动序列。更高级别的网络学习预测潜在状态倾向于改变的情况。使用模拟的机器人操纵器,我们证明了系统(i)学习潜在的状态,准确地反映了数据的事件结构,(ii)开发有意义的时间抽象的预测在更高的水平上,和(iii)产生目标预期的行为类似的凝视行为中发现的眼睛跟踪研究与婴儿。该架构提供了一个步骤,自主学习的压缩分层编码收集的经验和利用这些编码来生成自适应行为。
2022-08-28 cs.AI cs.LG
SpecOffload: Unlocking Latent GPU Capacity for LLM Inference on Resource-Constrained Devices
Tsinghua University(清华大学);Beijing Jiaotong University(北京交通大学);Beijing University of Posts and Telecommunications(北京邮电大学)
针对资源受限设备上LLM推理因权重卸载导致GPU利用率低的问题,提出嵌入投机解码的SpecOffload推理引擎,通过编排模型交错执行、规划张量放置,以近零额外成本大幅提升GPU利用率与推理吞吐量。
2025-05-21 cs.LG
Exploring Latent Spaces of Tonal Music using Variational Autoencoders
Faculty of Engineering of University of Porto(波尔图大学工程学院);INESC-TEC(INESC-TEC(葡萄牙系统工程与计算机技术研究所))
本研究使用不同编码方式的VAE在巴赫众赞谓语料上训练,评估其潜在空间与音乐认知中调性层级、调式距离的匹配度,发现Pitch DFT编码的VAE表现最优,相关实现已开源。
2023-11-07 cs.LG cs.MM cs.SD
StyleGenes: Discrete and Efficient Latent Distributions for GANs
ETH Zurich(苏黎世联邦理工学院);CSEM(瑞士电子与微技术中心);University of Würzburg(维尔茨堡大学);KU Leuven(鲁汶大学)
本研究提出StyleGenes离散潜在分布,借鉴生物基因编码拆分潜在空间、构建基因变体库,以紧凑参数实现多样本生成,兼具直观潜在空间探索能力,在保持最优真实感的同时优于StyleMapping网络的解耦效果。
2023-04-30 cs.CV cs.LG
Latent neural source recovery via transcoding of simultaneous EEG-fMRI
Columbia University(哥伦比亚大学)
同步脑电功能磁共振成像是一种多模态的神经成像技术,提供互补的空间和时间分辨率,推断神经活动的潜在源空间。在本文中,我们解决这个推理问题的框架内的转码-映射从一个特定的编码(模态)的解码(潜在的源空间),然后编码的潜在的源空间的其他模态。具体来说,我们开发了一种对称的方法,包括一个循环卷积转码器,转码EEG功能磁共振成像,反之亦然。在没有血液动力学响应函数或导联场矩阵的任何先验知识的情况下,该方法利用模态与潜在源空间之间的时间和空间关系来学习这些映射。我们显示,对于真正的脑电图功能磁共振成像数据,以及如何可以从一个到另一个以及恢复的源空间,所有看不见的数据转码的方式。除了能够以一种新的方式对称地推断潜在的源空间之外,该方法还可以被视为低成本的计算神经成像-即从“低成本”EEG数据生成“昂贵”的fMRI BOLD图像。
2020-10-05 cs.LG eess.SP q-bio.NC
ProteinAE: Protein Diffusion Autoencoders for Structure Encoding
CUHK(香港中文大学);ZGC Academy(智谷学院);Krea AI;XJTU(西安交通大学);SJTU(上海交通大学);Lingang Lab(临港实验室);Tencent(腾讯)
提出ProteinAE蛋白质扩散自编码器,通过非等变Diffusion Transformer和单一流匹配目标将主链坐标映射至紧凑潜在空间,实现最先进重建质量并支持高效高质量结构生成。
2025-10-12 cs.LG