Semantically Decomposing the Latent Spaces of Generative Adversarial Networks
University of California, San Diego(加利福尼亚大学圣地亚哥分校);Carnegie Mellon University(卡内基梅隆大学);Amazon AI(亚马逊人工智能);Stanford University(斯坦福大学);University of California San Diego(加利福尼亚大学圣地亚哥分校)
我们提出了一种用于训练生成对抗网络的新算法,该网络联合学习身份(例如个人)和观察(例如特定照片)的潜在代码。通过固定潜在代码的身份部分,我们可以生成同一主题的不同图像,通过固定观察部分,我们可以遍历主题的流形,同时保持偶然的方面,如照明和姿势。我们的算法具有成对的训练方案,其中来自生成器的每个样本由具有共同身份码的两个图像组成。来自真实数据集的相应样本由同一主题的两张不同照片组成。为了欺骗机器人,生成器必须产生照片般逼真的、不同的、看起来描绘同一个人的配对。我们用Siamese鉴别器增强DCGAN和BEGAN方法,以促进成对训练。与人类法官和现成的人脸验证系统的实验表明,我们的算法的能力,以产生令人信服的,身份匹配的照片。
2018-02-22 cs.AI cs.CV cs.LG
Tie Your Embeddings Down: Cross-Modal Latent Spaces for End-to-end Spoken Language Understanding
Amazon Alexa(亚马逊Alexa)
端到端(E2 E)口语理解(SLU)系统可以直接从音频信号推断口语话语的语义。然而,训练E2 E系统仍然是一个挑战,主要是由于成对的音频语义数据的稀缺性。在本文中,我们把一个E2 E系统作为一个多模态模型,音频和文本功能作为其两种形式,并使用跨模态潜在空间(CMLS)架构,其中一个共享的潜在空间之间学习的“声学”和“文本”嵌入。我们建议使用不同的多模态损失来显式地引导声学嵌入更接近文本嵌入,从语义强大的预训练BERT模型中获得。我们训练CMLS模型在两个公开的E2 E数据集,在不同的跨模态损失,并表明我们提出的三重损失函数达到最佳性能。它实现了1.4%和4%的E2 E模型,没有交叉模态空间和0.7%和1%的相对改善,比以前发表的CMLS模型使用$L_2$损失分别。对于更小、更复杂的E2 E数据集,增益更高,证明了使用有效的跨模态损失函数的有效性,特别是当可用的E2 E训练数据有限时。
2021-04-15 cs.CL cs.SD eess.AS
Disentanglement in Difference: Directly Learning Semantically Disentangled Representations by Maximizing Inter-Factor Differences
University of Jinan(济南大学);Quan Cheng Laboratory(泉城实验室)
针对解耦表示学习中潜在变量统计独立性与语义解耦目标不一致的问题,提出 DiD 方法,通过设计差异编码器和对比损失函数直接学习语义差异,在 dSprites 和 3DShapes 数据集上优于现有主流方法。
2025-04-03 cs.AI cs.LG
Multi-Level Variational Autoencoder: Learning Disentangled Representations from Grouped Observations
University of Oxford(牛津大学);Microsoft Research(微软研究院)
我们想学习一种数据的表示方法,它将观察结果分解为我们可以独立控制的变化因素。具体来说,我们希望使用最少的监督来学习一种潜在的表示,它反映了特定数据分组背后的语义,其中在一个组中,样本共享一个共同的变化因素。例如,考虑按身份分组的面部图像的集合。我们希望将分组的语义锚定到一个我们可以轻松利用的相关和分离的表示中。然而,现有的深度概率模型通常假设观测值是独立同分布的。我们提出了多级变分自编码器(ML-VAE),这是一种新的深度概率模型,用于学习一组分组观测的解纠缠表示。ML-VAE通过在组水平和观察水平上工作将潜在表征分离成语义上有意义的部分,同时保留有效的测试时推理。定量和定性评估表明,ML-VAE模型(i)学习分组数据的语义上有意义的解纠缠,(ii)能够操纵潜在表示,以及(iii)推广到看不见的组。
2017-05-24 cs.LG stat.ML
Framework-agnostic Semantically-aware Global Reasoning for Segmentation
University of British Columbia(不列颠哥伦比亚大学);Vector Institute for AI(Vector人工智能研究院)
提出一种框架无关的语义感知全局推理组件,通过变换器编码器在潜在表示间推理,生成场景一致的表示以改进分割,并可在多种骨干和分割头上提升性能。
2024-04-17 cs.CV cs.LG
Ordering Dimensions with Nested Dropout Normalizing Flows
University of Edinburgh(爱丁堡大学)
规范化流的潜在空间必须与其输出空间具有相同的维数。如果我们想学习低维的、语义上有意义的表示,这个约束就提出了一个问题。最近的工作提供了紧凑的表示,通过拟合流约束到流形,但还没有定义一个密度的流形。在这项工作中,我们考虑流的数据空间中的完全支持,但有序的潜变量。与PCA类似,前导潜在维度定义了一系列靠近数据的流形。我们注意到之间的权衡流动的可能性和质量的顺序,取决于参数化的流量。
2020-06-15 cs.LG stat.ML
COALA: Co-Aligned Autoencoders for Learning Semantically Enriched Audio Representations
Universitat Pompeu Fabra(庞培法布拉大学);Tampere University(坦佩雷大学)
基于深度神经网络(DNN)的音频表示学习成为手工制作特征的替代方法。为了实现高性能,DNN通常需要大量的注释数据,这可能是困难和昂贵的。在本文中,我们提出了一种学习音频表示的方法,对齐学习的音频和相关标签的潜在表示。对齐是通过使用对比损失来最大化音频和标签的潜在表示的一致性来完成的。结果是一个音频嵌入模型,它反映了声音的声学和语义特征。我们评估我们的嵌入模型的质量,测量其性能作为特征提取器在三个不同的任务(即,声音事件识别,音乐流派和乐器分类),并调查什么类型的特征模型捕获。我们的结果是有希望的,有时在所考虑的任务和嵌入与我们的方法产生的国家的最先进的是与一些声学描述符很好地相关。
2020-07-08 cs.IR cs.LG eess.AS
Learning Structured Latent Factors from Dependent Data:A Generative Model Framework from Information-Theoretic Perspective
Mila(米拉);Université de Montréal(蒙特利尔大学);Preferred Networks Inc.(优选网络公司)
学习具有所需结构属性的多变量数据的可控和可推广的表示仍然是机器学习中的基本问题。在本文中,我们提出了一个新的框架,学习生成模型与各种潜在的空间结构。我们以掩码变量的形式表示归纳偏差,以在图模型中对依赖结构进行建模,并扩展了多元信息瓶颈理论来执行它。我们的模型提供了一种原则性的方法来学习一组语义上有意义的潜在因素,这些因素反映了各种类型的期望结构,如捕获相关性或编码不变性,同时还提供了根据数据自动估计依赖性结构的灵活性。我们表明,我们的框架统一了许多现有的生成模型,可以应用于各种任务,包括多模态数据建模,算法公平性,不变的风险最小化。
2020-10-02 cs.LG stat.ML
Self-Labeling Refinement for Robust Representation Learning with Bootstrap Your Own Latent
在这项工作中,我们努力实现两个主要目标。首先,我们研究了批量归一化(BN)层在一个名为Bootstrap Your Own Latent(BYOL)的非对比表示学习框架中的重要性。我们进行了几个实验,得出结论,BN层是不必要的表示学习在BYOL。此外,BYOL只从积极的图像对中学习,而忽略同一批输入中的其他语义相似的图像。对于第二个目标,我们引入了两个新的损失函数来确定同一批输入图像中的语义相似对,并减少它们的表示之间的距离。这些损失函数是交叉余弦相似性损失(CCSL)和交叉S形相似性损失(CSSL)。使用所提出的损失函数,我们能够通过在STL 10数据集上使用CCSL损失(76.87%)训练BYOL框架来超越Vanilla BYOL(71.04%)的性能。使用CSSL loss训练的BYOL使用Vanilla BYOL执行恢复。
2022-04-09 cs.AI cs.CV cs.LG
Same Question, Different Words: A Latent Adversarial Framework for Prompt Robustness
University of Oxford(牛津大学)
针对语言模型面对语义等价但措辞不同的提示时性能下降的问题,提出双循环对抗框架LAP,通过学习潜在连续扰动优化模型参数,显著提升了提示鲁棒性。
2025-03-03 cs.AI cs.CL cs.LG
A Theoretical Analysis of Contrastive Unsupervised Representation Learning
Princeton University(普林斯顿大学);Institute for Advanced Study(高等研究院);Carnegie Mellon University(卡内基梅隆大学)
最近的经验工作已经成功地使用未标记的数据来学习在下游分类任务中广泛有用的特征表示。这些方法中有几种让人想起了著名的word2vec嵌入算法:利用语义上“相似”的数据点和“负样本”的可用性,学习器迫使相似对的表示的内积平均高于负样本。本文使用术语对比学习,这样的算法,并提出了一个理论框架,通过引入潜在的类和假设,语义相似的点是从相同的潜在类采样分析。这个框架允许我们显示可证明的保证学习表示的平均分类任务,是由同一组潜在类的子集的性能。我们的泛化范围还表明,学习的表示可以降低下游任务的(标记)样本复杂度。我们在文本和图像域进行对照实验来支持这一理论。
2019-02-25 cs.AI cs.LG stat.ML
Latent Traversals in Generative Models as Potential Flows
University of Trento(特伦托大学);University of Amsterdam(阿姆斯特丹大学);UvA-Bosch Delta Lab(阿姆斯特丹大学-博世德尔塔实验室)
本文提出利用学习到的动态势景观建模潜在空间结构,将潜在遍历视为沿梯度流动的物理偏微分方程,并通过分类器约束实现多势解耦,实验证明该方法优于基线且可作为正则化项提升模型似然。
2023-07-01 cs.CV cs.LG
AURORA: Contextual Orthogonalization for Geometric Representation Learning in Healthcare Foundation Models
University of the Chinese Academy of Sciences(中国科学院大学);Columbia University(哥伦比亚大学)
本文提出AURORA框架,通过上下文潜在几何进行正交化,以解决医疗基础模型中潜在表示的语义模糊和上下文变化不稳定性问题,提升了模型在不同机构分布变化下的鲁棒性和预测性能。
2026-05-18 cs.LG
Discovering Intersectional Bias via Directional Alignment in Face Recognition Embeddings
Center for Humans & Machines(人类与机器中心);Max Planck Institute for Human Development(人类发展马克斯·普朗克研究所)
本文提出LatentAlign算法,通过方向对齐发现面部识别嵌入中的语义连贯子群体,揭示隐藏的交叉偏见。
2026-03-20 cs.CV cs.LG
A Unified Latent Space Disentanglement VAE Framework with Robust Disentanglement Effectiveness Evaluation
Department of Applied and Computational Mathematics and Statistics(应用与计算数学与统计系);Lucy Family Institute for Data & Society(数据与社会学院)
提出统一框架bfVAE整合多种解缠VAE方法,并开发FVH-LT和DBSR-LS评估解缠效果,引入LSSI指标量化潜在结构分离,无需真实生成因子。
2026-06-12 cs.LG stat.ML
Do Diffusion Models Learn Semantically Meaningful and Efficient Representations?
MIT(麻省理工学院)
本文通过条件 DDPM 生成二维高斯凸起的受控实验,发现语义有意义的潜在表示是高性能关键,并揭示扩散模型难以因子化学习独立特征,指出需引入归纳偏置以提升数据效率。
2024-04-30 cs.AI cs.CV cs.LG
Unsupervised Discovery of Interpretable Directions in the GAN Latent Space
Yandex(扬德克斯);National Research University Higher School of Economics(国立研究型大学高等经济学院)
GAN模型的潜在空间通常具有语义上有意义的方向。在这些方向上移动对应于人类可解释的图像变换,例如缩放或缩放,从而实现更可控的生成过程。然而,这些方向的发现目前是以监督的方式执行的,需要人类标签,预训练模型或某种形式的自我监督。这些要求严重限制了现有方法可以发现的方向范围。在本文中,我们引入了一种无监督的方法来识别预训练的GAN模型的潜在空间中的可解释方向。通过一个简单的模型不可知的程序,我们发现方向对应于明智的语义操作,没有任何形式的(自我)监督。此外,我们揭示了几个非平凡的发现,这将是很难获得现有的方法,例如,对应于背景去除的方向。作为我们工作的直接实际好处,我们展示了如何利用这一发现来实现弱监督显着性检测的竞争性能。
2020-06-24 cs.CV cs.LG stat.ML
Auditing AI models for Verified Deployment under Semantic Specifications
Nvidia(英伟达);Carnegie Mellon University(卡内基梅隆大学);California Institute of Technology(加州理工学院);University of Toronto(多伦多大学);Vector Institute(矢量研究所)
在部署之前审核经过训练的深度学习(DL)模型对于防止意外后果至关重要。审计中最大的挑战之一是缺乏对审计员直接有用的深度学习模型的人类可解释的规范。我们通过一系列语义对齐的单元测试来解决这个挑战,其中每个单元测试验证预定义的规范(例如,超过95%的准确度)对于输入空间中的受控和语义对准的变化(例如,在面部识别中,相对于相机的角度)。我们使这样的单元测试通过生成模型的语义可解释的潜在空间的变化。此外,我们通过与生成模型共享的潜在空间表示对DL模型进行认证训练。通过对四个不同数据集的评估,包括胸部X光片,人脸,ImageNet类和塔的图像,我们展示了AuditAI如何让我们获得经过认证的培训的受控变化。因此,我们的框架,AuditAI,弥合语义对齐的形式化验证和可扩展性之间的差距。该论文附带的一篇博客文章位于https://developer.nvidia.com/blog/nvidia-research-auditing-ai-models-for-verified-deployment-under-semantic-specifications
2021-11-01 cs.AI cs.CV cs.LG
Semantically Guided Action Anticipation
La Sapienza University of Roma(罗马拉·卡瓦利eri大学);University of Catania(卡塔尼亚大学)
提出一种语义引导的域适应方法,通过对齐潜在空间中概念的相对位置而非绝对坐标,在四个图像和视频数据集的18种场景中显著提升准确率。
2025-10-15 cs.AI cs.CV cs.LG
SCAPES: Semantically Conditioned Autoregressive Prior for Environmental Sounds
本文提出轻量高效的生成式音频模型SCAPES,可通过语义控制合成高保真环境声音,仅需单个消费级GPU即可训练,支持语义插值,相关资源已公开。
2026-09-07 cs.AI cs.LG cs.SD
Learning latent representations across multiple data domains using Lifelong VAEGAN
University of York(约克大学)
灾难性遗忘问题发生在以顺序方式在多个数据库上训练的深度学习模型中。最近,生成重放机制(GRM),已被提出来再现先前学习的知识,旨在减少遗忘。然而,这样的方法缺乏适当的推理模型,因此不能提供数据的潜在表示。在本文中,我们提出了一种新的终身学习方法,即终身VAEGAN(L-VAEGAN),它不仅诱导一个强大的生成重放网络,而且还学习有意义的潜在表示,有利于表示学习。L-VAEGAN可以允许将与不同域相关联的信息自动嵌入到潜在空间中的几个集群中,同时还可以跨不同的数据域捕获语义上有意义的共享潜在变量。该模型支持许多传统生成式重放方法无法完成的下游任务,包括跨不同数据域的插值和推理。
2020-07-20 cs.CV cs.LG
Investigating the Invertibility of Multimodal Latent Spaces: Limitations of Optimization-Based Methods
该研究针对任务特定AI模型多模态潜在空间的逆映射能力展开探索,提出基于优化的双向逆推框架,验证了多模态潜在空间因前向任务优化而缺乏鲁棒可解释逆映射结构的假设,指出需研发语义更丰富的可逆多模态潜在空间。
2025-07-30 cs.AI cs.CV cs.LG
LatentCLR: A Contrastive Learning Approach for Unsupervised Discovery of Interpretable Directions
EPFL(洛桑联邦理工学院);Technical University of Munich(慕尼黑工业大学);Boğaziçi University(博阿齐奇大学)
最近的研究表明,在预训练的生成对抗网络(GANs)的潜在空间中找到可解释的方向是可能的。这些方向实现了可控的图像生成,并支持广泛的语义编辑操作,如缩放或旋转。这种方向的发现通常以监督或半监督的方式进行,并且需要手动注释,这限制了它们在实践中的使用。相比之下,无监督发现允许发现难以先验检测的微妙方向。在这项工作中,我们提出了一种基于对比学习的方法,以自我监督的方式在预训练的GANs的潜在空间中发现语义方向。我们的方法发现语义上有意义的尺寸与国家的最先进的方法。
2021-10-06 cs.CV cs.LG
Revisiting Latent-Space Interpolation via a Quantitative Evaluation Framework
MIT(麻省理工学院);Harvard University(哈佛大学);Rutgers University(罗格斯大学)
潜空间插值通常用于证明深层潜变量模型的泛化能力。已经提出了各种算法来计算潜在空间中两个编码之间的最佳轨迹。在这项工作中,我们将展示如何标记的数据与语义连续属性可以用来进行定量评价潜在空间插值算法,变分自编码器。我们的框架可以用来补充标准的定性比较,也使评价域(如图)中的可视化是困难的。有趣的是,我们的实验表明,插值算法的优越性可能是域相关的。虽然归一化插值最适合图像域,但球面线性插值在图形域中实现了最佳性能。接下来,我们提出了一个简单而有效的方法来限制潜在的空间,通过在编码器中的瓶颈结构。我们发现,在这项工作中评估的所有插值算法可以受益于这种限制。最后,我们使用标记属性进行插值感知训练,并表明这种显式监督可以提高插值性能。
2021-10-13 cs.LG
REALISTA: Realistic Latent Adversarial Attacks that Elicit LLM Hallucinations
University of Waterloo(滑铁卢大学)
提出REALISTA框架,通过潜在空间优化语义等价的对抗提示,有效引发大语言模型幻觉,优于现有方法。
2026-05-31 cs.AI cs.CL cs.CR
A Contextual Latent Space Model: Subsequence Modulation in Melodic Sequence
Sony Computer Science Laboratories(索尼计算机科学实验室)
一些序列(如音乐和文本)的生成模型允许我们只编辑连续性,给定周围的上下文序列,这在交互式地引导生成中起着重要的作用。然而,编辑序列主要涉及来自可能的生成空间的随机重新序列。我们提出了一个上下文潜在空间模型(CLSM),以便用户能够在生成空间中探索具有方向感的子序列生成,例如,插值,以及探索变化--语义相似的可能子序列。CLSM的生成模型由上下文信息先验和解码器组成,推理模型由上下文位置信息编码器组成。在实验中,我们使用单声道符号音乐数据集,证明我们的上下文潜在空间比基线插值更平滑,生成的样本质量优于基线模型。生成示例可在线获得。
2021-11-23 cs.AI cs.LG cs.SD
Semantic uncertainty intervals for disentangled latent spaces
MIT(麻省理工学院);University of California, Berkeley(加州大学伯克利分校);Technion—Israel Institute of Technology(以色列理工学院)
计算机视觉中有意义的不确定性量化需要对语义信息进行推理--比如照片中人的头发颜色或街上汽车的位置。为此,最近在生成建模方面的突破使我们能够在分离的潜在空间中表示语义信息,但提供语义潜变量的不确定性仍然具有挑战性。在这项工作中,我们提供了原则性的不确定性区间,保证包含任何底层生成模型的真实语义因素。该方法执行以下操作:(1)它使用分位数回归为潜在空间中的每个元素输出启发式不确定性区间(2)校准这些不确定性,使得它们包含新的、看不见的输入的潜在的真实值。然后,这些校准间隔的端点可以通过生成器传播,以产生每个语义因素的可解释的不确定性可视化。这种技术可靠地传达了图像超分辨率和图像补全等逆问题中语义上有意义、有原则和实例自适应的不确定性。
2022-11-30 cs.AI cs.CV cs.LG
The Trade-off Between Covariate Dependence and Latent Structure in Representation Learning
Faculty of Mathematics, Informatics, and Mechanics, University of Warsaw(华沙大学数学、信息学与力学学院);Institute of AI for Health, Helmholtz Munich(亥姆霍兹慕尼黑健康人工智能研究所)
该研究针对表示学习中协变量相关问题,提出统一监督框架,揭示协变量依赖与潜在结构的权衡,通过闭式变换重对齐预训练模型表示,在多组学数据上验证了方法的可控性。
2026-08-18 cs.LG
INFAMOUS-NeRF: ImproviNg FAce MOdeling Using Semantically-Aligned Hypernetworks with Neural Radiance Fields
Michigan State University(密歇根州立大学);Qualcomm Technologies Inc.(高通技术公司)
提出INFAMOUS-NeRF,结合超网络与NeRF,通过语义对齐潜在空间和边界约束,实现高表示力且可编辑的人脸建模,并采用损失引导自适应采样提升训练效率。
2023-12-23 cs.CV cs.LG
LatentExplainer: Explaining Latent Representations in Deep Generative Models with Multimodal Large Language Models
Emory University(埃默里大学);University College London(伦敦大学学院)
LatentExplainer通过多模态大语言模型为深度生成模型的潜在变量生成语义解释,提升模型可解释性。
2025-12-18 cs.CL cs.CV cs.LG
Harmonized Multimodal Learning with Gaussian Process Latent Variable Models
University of Chinese Academy of Sciences(中国科学院大学);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);Noah’s Ark Lab(诺亚方舟实验室);The University of Texas at San Antonio(德克萨斯大学圣安东尼奥分校)
多模态学习旨在发现多种模态之间的关系。由于跨模态检索等多模态检索的广泛应用,它已成为一个重要的研究课题。本文试图解决模态异质性问题的基础上高斯过程隐变量模型(GPLVM)表示多模态数据在一个共同的空间。以前的多模态GPLVM扩展通常采用隐表示和核超参数的个体学习方案,忽略了它们之间的内在关系。为了利用不同模态和GPLVM组件之间的强大互补性,我们开发了一种名为Harmonization的新学习方案,其中潜在模型参数相互联合学习。除了在现有研究中广泛使用的相关拟合或模态内结构保存范式之外,协调是以模型驱动的方式导出的,以鼓励模态特定的GP内核之间的协议和潜在表征的相似性。我们提出了一系列的多模态学习模型,将协调机制纳入几个代表性的基于GPLVM的方法。在四个基准数据集上的实验结果表明,所提出的模型在跨模态检索任务中的性能优于强基线,并且协调的多模态学习方法在发现语义一致的潜在表示方面具有优势。
2019-08-14 cs.CV cs.IR cs.LG
ChangeAnywhere: Sample Generation for Remote Sensing Change Detection via Semantic Latent Diffusion Model
State Key Laboratory of Remote Sensing Science, Beijing Normal Unieversity
针对遥感变化检测样本标注耗时的问题,提出基于语义潜扩散模型的ChangeAnywhere方法,利用单时相数据生成10万对带标注的合成样本,显著提升了模型在基准数据集上的零样本和少样本性能。
2024-04-13 cs.AI cs.CV cs.LG
Closing the gap in multimodal medical representation alignment
Dept. of Information Engineering, Electronics, and Telecommunications(信息工程、电子与电信系)
本文提出了一种模态无关的框架,用于弥合多模态医学表征对齐中的模态差距,提升放射学图像与临床文本之间的对齐效果。
2026-02-23 cs.CV cs.LG
Operational Latent Spaces
Belmont University(贝尔蒙特大学);Hyperstate AI(海珀州人工智能公司)
本文提出可运算潜在空间(OpLaS)概念,通过自监督学习构建不仅具有语义聚类、还能支持有意义变换的潜在空间,并引入FiLMR层实现旋转算子以支持音乐中的环状对称结构。
2024-06-04 cs.LG cs.SD eess.AS
Latent Space Translation via Inverse Relative Projection
Sapienza University of Rome(罗马大学);Institute of Science and Technology, Austria(奥地利科学技术研究所)
本研究结合两种潜在空间通信思路,提出基于逆相对投影的潜在空间翻译方法,利用保角表征可逆性与解码器尺度不变性以相对空间为中介实现翻译,经多架构多数据集验证有效,还可用于跨模态零样本拼接,助力模型复用。
2024-06-21 cs.LG
Discriminating Against Unrealistic Interpolations in Generative Adversarial Networks
Lund University(隆德大学)
深度生成模型的潜在空间中的插值是合成生成样本的语义上有意义的混合的标准工具之一。由于生成函数是非线性的,通常使用的潜在空间中的线性插值不会产生样本空间中的最短路径,从而导致非光滑插值。因此,最近的工作配备了一个合适的度量的潜在空间,以执行最短路径的流形上生成的样本。然而,这些通常容易偏离真实样本的流形,导致平滑但不切实际的生成,需要额外的方法来评估样本质量。生成对抗网络(GANs)通过构建,使用其网络来衡量样本质量。在本文中,我们建立了,可以有效地使用,以避免沿最短路径的低样本质量的区域。通过重用神经网络来修改潜在空间上的度量,我们提出了一种轻量级的解决方案,用于改进预训练GANs中的插值。
2022-03-02 cs.LG
Latent Space Translation via Semantic Alignment
Sapienza University of Rome(罗马大学);Institute of Science and Technology Austria (ISTA)(奥地利科学技术研究所)
提出一种通过简单代数变换直接估计潜在空间映射的方法,无需额外训练即可实现编码器与解码器的零样本跨模态拼接,在分类与重建任务中表现优异。
2024-02-11 cs.LG
LatentBreak: Jailbreaking Large Language Models through Latent Space Feedback
University of Cagliari(卡利亚里大学);Centre for AI Governance(人工智能治理中心);Foundation AI – Cisco Systems Inc.(AI基金会——思科系统公司)
针对现有越狱攻击易被基于困惑度的过滤检测的问题,本文提出白盒攻击LatentBreak,通过最小化潜在空间距离来替换词语生成低困惑度自然对抗提示,在多个安全模型上有效规避防御并优于现有算法。
2025-10-30 cs.AI cs.CL cs.LG
Exploring 3D-aware Latent Spaces for Efficiently Learning Numerous Scenes
Criteo AI Lab(Criteo AI实验室);Université Gustave Eiffel(古斯塔夫·埃菲尔大学);Université Côte d’Azur(蔚蓝海岸大学)
该研究提出一种扩展NeRF学习大量语义相似场景的方法,通过构建3D感知潜在空间训练Tri-Plane表示并实现场景间信息共享,大幅降低单场景训练的内存与时间成本。
2024-05-17 cs.CV cs.LG
Imagine Beyond! Distributionally Robust Auto-Encoding for State Space Coverage in Online Reinforcement Learning
Sorbonne Université, CNRS, ISIR(索邦大学、国家科学研究中心、信息科学研究所)
针对在线视觉强化学习中自编码器潜在空间状态覆盖不足的问题,提出结合$β$-VAE与分布鲁棒优化的DRAG方法,通过对抗性神经加权器施加分布偏移,显著提升了困难探索环境中的状态覆盖与下游控制性能。
2025-11-04 cs.AI cs.LG
From Charts to Atlas: Merging Latent Spaces into One
Sapienza University of Rome(罗马第一大学);University of Cambridge(剑桥大学);Politecnico di Torino(都灵理工大学)
本研究提出相对潜在空间聚合方法,通过相对表示和均值聚合多个任务的潜在空间,创建统一空间,并证明其分类性能优于端到端模型,即使无共享区域也可合并。
2023-11-11 cs.LG
Semantically Constrained Memory Allocation (SCMA) for Embedding in Efficient Recommendation Systems
Rice University(莱斯大学)
利用基于深度学习的模型来实现推荐系统的最新性能。这些模型的一个关键挑战是处理数百万个分类类或标记。标准的方法是学习每个令牌的端到端、密集的潜在表示或嵌入。由此产生的嵌入需要大量的内存,这些内存随着令牌的数量而膨胀。使用这些模型进行训练和推理会产生存储和内存带宽瓶颈,从而在实际部署时导致显著的计算和能耗。为此,我们提出的问题,\textit{Memory Allocation}根据预算的嵌入,并提出了一种新的配方的内存共享嵌入,其中内存共享的语义信息的重叠成比例。我们的配方承认一个实用和有效的随机化解决方案与局部敏感哈希基于内存分配(LMA)。我们展示了显着减少内存占用,同时保持性能。特别是,我们的LMA嵌入实现了相同的性能相比,标准的嵌入与16 $\times$减少内存占用。此外,在Criteo和Avazu数据集上,LMA在不同的记忆机制中比标准DLRM模型平均提高了0.003 AUC以上
2021-02-24 cs.AI cs.IR cs.LG
Interpreting Latent Spaces of Generative Models for Medical Images using Unsupervised Methods
University of Copenhagen(哥本哈根大学);Rigshospitalet(哥本哈根大学国立医院)
生成对抗网络(GANs)和变分自编码器(VAE)等生成模型在医学图像分析中发挥着越来越重要的作用。这些模型的潜在空间通常显示与人类可解释的图像变换相对应的语义上有意义的方向。然而,到目前为止,由于监督数据的要求,他们对医学图像的探索受到了限制。在GAN潜在空间中无监督发现可解释方向的几种方法在自然图像上显示出有趣的结果。这项工作探讨了将这些技术应用于医学图像的潜力,通过在胸部CT扫描上训练GAN和VAE,并使用无监督的方法来发现由此产生的潜在空间中的可解释方向。我们发现几个方向对应于非平凡的图像变换,如旋转或乳房大小。此外,这些方向表明,生成模型捕捉3D结构,尽管只呈现2D数据。结果表明,在GANs中发现可解释方向的无监督方法可推广到VAE,并可应用于医学图像。这打开了一个广泛的未来的工作,使用这些方法在医学图像分析。
2022-07-20 cs.CV cs.LG eess.IV
Decoding Diffusion: A Scalable Framework for Unsupervised Analysis of Latent Space Biases and Representations Using Natural Language Prompts
University of Waterloo(滑铁卢大学)
本文提出一种利用自然语言提示和图像描述映射潜在方向的无监督框架,无需训练特定向量即可自动分析扩散模型潜在空间中的偏差和表示,实现更可扩展和可解释的理解。
2024-11-04 cs.AI cs.CL cs.CV
3D GANs and Latent Space: A comprehensive survey
School of Computer Sciences, National Institute of Science Education and Research (NISER)(印度国家教育与研究学院计算机科学学院)
本文全面综述了3D GANs及其潜在空间,考察了多种GAN变体与训练方法,以提供改进3D GAN训练的见解并指明未来研究方向。
2023-04-08 cs.AI cs.CV cs.LG
Learning Disentangled Representations with Quantum Variational Autoencoders
Yale University(耶鲁大学)
该研究探讨量子变分自编码器能否学习解纠缠的潜在因素,通过理论分析和在MNIST变体等数据集上的实验,证明单个量子比特可作为有意义的可解释潜在因素,为量子表示学习奠定基础。
2026-10-07 cs.ET cs.LG quant-ph
Not All Latent Spaces Are Flat: Hyperbolic Concept Control
本文提出双曲控制机制,利用双曲表示空间提升概念操控的表达力和稳定性,通过四个安全基准和四个T2I模型验证其有效性。
2026-04-03 cs.AI cs.LG
Which Style Makes Me Attractive? Interpretable Control Discovery and Counterfactual Explanation on StyleGAN
JD Technology(京东科技);Tsinghua University(清华大学)
GAN中语义上分离的潜在子空间为图像生成提供了丰富的可解释控制。本文包括使用StyleGAN2的人脸生成场景中的语义潜在子空间分析的两个贡献。首先,我们提出了一种新的方法来解开潜在子空间语义利用现有的人脸分析模型,例如,面部解析器和面部界标检测器。这些模型提供了构建具有非常具体和可解释的语义含义的各种标准的灵活性(例如,改变面部形状或改变肤色)以限制潜在子空间解纠缠。利用所构造的准则可以发现以前未知的丰富的潜空间控制。其次,我们提出了一个新的视角来解释CNN分类器的行为,通过在我们发现的可解释的潜在子空间中生成反事实。这种解释有助于揭示分类器是否按预期学习语义。在不同解纠缠准则下的实验结果表明了该方法的有效性。我们相信这种方法有助于CNN的图像处理和反事实解释。代码可在\url{https://github.com/prclibo/ice}上获得。
2022-01-24 cs.AI cs.CV cs.LG
Momentum-Guided Semantic Forecasting (MoFore) for Self-Supervised Video Representation Learning
Qinwu Xu, PhD(秦武 Xu 博士)
提出MoFore框架,通过预测未来潜在嵌入进行自监督视频表示学习,结合对比正则化防止表示崩溃,在UCF101上验证了时间一致性和语义结构。
2026-06-16 cs.AI cs.CV cs.LG
We never go out of Style: Motion Disentanglement by Subspace Decomposition of Latent Space
IISc Bangalore(印度科学学院班加罗尔分院);IIT Dharwad(印度理工学院达尔瓦德分院)
针对视频中多成分复杂运动的解耦问题,本文利用基于 style 的 GAN 潜空间发现语义运动子空间,仅需约10个真值视频即可支持运动编辑与选择性迁移。
2023-06-01 cs.AI cs.CV cs.LG
3M-Diffusion: Latent Multi-Modal Diffusion for Language-Guided Molecular Structure Generation
Artificial Intelligence Research Laboratory(人工智能研究实验室);College of Information Sciences and Technology(信息科学与技术学院);Center for Artificial Intelligence Foundations and Scientific Applications(人工智能基础与科学应用中心);Institute for Computational and Data Sciences(计算与数据科学研究所);The Pennsylvania State University(宾夕法尼亚州立大学)
3M-Diffusion提出一种多模态分子生成方法,通过将分子图潜在空间与文本空间对齐并结合扩散模型,实现基于语言描述生成高质量、新颖且多样化的分子结构。
2024-10-02 cs.CL cs.LG q-bio.BM
Sculpting the Latent Space: Disentanglement with WAE-MMD and Programmable Priors
The University of Texas at Austin(德克萨斯大学奥斯汀分校);InterDigital Communications, AI Lab(InterDigital通讯人工智能实验室)
本文提出基于MMD的可编程先验框架,解决VAE中KL正则化无法实现潜空间解耦的问题,在复杂数据集上实现最先进的相互独立性,为表示工程提供基础工具。
2026-10-22 cs.AI cs.LG
DiversityGAN: Diversity-Aware Vehicle Motion Prediction via Latent Semantic Sampling
Toyota Research Institute(丰田研究院);Massachusetts Institute of Technology(麻省理工学院)
车辆轨迹预测对于自动驾驶和高级驾驶员辅助系统至关重要。虽然现有的方法可以从车辆轨迹的预测分布中采样,但它们缺乏探索它的能力-这是从规划和验证角度评估安全性的关键能力。在这项工作中,我们设计了一种新的方法来生成逼真的和多样化的车辆轨迹。我们用低维近似语义空间扩展了生成对抗网络(GAN)框架,并塑造了该空间以捕获合并和转向等语义。我们以模拟预测分布的方式从这个空间中采样,但允许我们控制语义上不同结果的覆盖范围。我们在一个公开的数据集上验证了我们的方法,并显示了实现最先进的预测性能的结果,同时提供了预测轨迹语义空间的更好覆盖。
2020-03-22 cs.AI cs.LG cs.RO
Interactive Disentanglement: Learning Concepts by Interacting with their Prototype Representations
TU Darmstadt(达姆施塔特工业大学);Hessian Center for AI (hessian.AI)(黑森人工智能中心(hessian.AI));Centre for Cognitive Science, TU Darmstadt(达姆施塔特工业大学认知科学中心)
从原始图像中学习视觉概念而没有强有力的监督是一项具有挑战性的任务。在这项工作中,我们展示了原型表征的优势,用于理解和修改神经概念学习者的潜在空间。为此,我们引入了交互式概念交换网络(iCSNs),一个新的框架,通过弱监督和隐式原型表示学习概念接地表示。iCSN通过交换成对图像的潜在表示来学习将概念信息绑定到特定的原型插槽。这种语义上接地和离散的潜在空间有利于人类的理解和人机交互。我们支持这一主张进行实验,我们的新数据集“基本概念推理”(ECR),专注于视觉概念共享的几何对象。
2022-03-29 cs.CV cs.LG