All Roads Lead to Rome? Exploring Representational Similarities Between Latent Spaces of Generative Image Models
Harvard University(哈佛大学)
本文通过训练线性映射拼接四种生成模型的潜在空间,发现性能良好的模型间线性映射能保留视觉信息,性别属性表征最相似,且NF的潜在表征在训练早期收敛。
2024-07-18 cs.LG
High-Resolution Speech Restoration with Latent Diffusion Model
Sony Europe B.V.(索尼欧洲有限公司);University of Stuttgart(斯图加特大学)
本文提出基于潜在扩散的Hi-ResLDM模型,用于去除多种失真并将语音修复至48kHz录音室质量,在高频细节重建和主客观评估上均优于基于GAN和CFM的现有方法。
2025-02-10 cs.AI cs.LG cs.SD
Latent Neural Cellular Automata for Resource-Efficient Image Restoration
Politecnico di Milano(米兰理工大学)
提出潜在神经细胞自动机(LNCA)模型,通过将计算转移至预训练自动编码器的潜在空间,显著降低资源消耗,在保持高重建保真度的同时支持处理大16倍的输入。
2024-03-22 cs.LG cs.NE eess.IV
ReF-LDM: A Latent Diffusion Model for Reference-based Face Image Restoration
MediaTek(联发科);National Yang Ming Chiao Tung University(国立阳明交通大学)
针对盲人脸修复生成内容与真实外观不符的问题,提出ReF-LDM模型,通过CacheKV机制利用参考图像并结合时间步长缩放身份损失,还构建FFHQ-Ref数据集,提升修复准确性。
2024-12-06 cs.CV cs.LG eess.IV
Exploring Representation-Aligned Latent Space for Better Generation
Shanghai Jiao Tong University(上海交通大学);Shanghai AI Laboratory(上海人工智能实验室);University of Sydney(悉尼大学);Chinese University of Hong Kong(香港中文大学);University of Hong Kong(香港大学)
本文提出ReaLS(表示对齐的潜在空间),通过集成语义先验提升潜在扩散模型的生成质量,使基础DiT和SiT在FID指标上提升15%,并支持分割等下游任务。
2025-02-01 cs.LG
Latent Space Oddity: Exploring Latent Spaces to Design Guitar Timbres
我们介绍了一种新的卷积网络架构,具有可解释的潜在空间,用于建模吉他放大器。利用跨越一系列风格的流行放大器的领域知识,所提出的系统直观地结合或减去不同放大器的特性,使音乐家能够设计全新的吉他音色。
2020-11-20 cs.LG cs.SD eess.AS
Latent Convolutional Models
Skolkovo Institute of Science and Technology (Skoltech)(斯科尔科沃科学技术研究院(Skoltech));Samsung AI Center(三星人工智能中心)
我们提出了一种新的自然图像的潜在模型,可以在大规模数据集上学习。学习过程为训练数据集中的每个图像提供潜在嵌入,以及将潜在空间映射到图像空间的深度卷积网络。经过训练后,新模型为各种图像复原任务(例如大孔修复、超分辨率和彩色化)提供了强大且通用的图像先验。为了对高分辨率的自然图像进行建模,我们的方法使用了非常高维的潜在空间(比以前的潜在图像模型高一到两个数量级)。为了解决这种高维问题,我们使用具有特殊流形结构(卷积流形)的潜在空间,该结构由特定架构的ConvNet参数化。在实验中,我们将学习的潜在模型与自动编码器学习的潜在模型、生成对抗网络的高级变体以及使用更简单的潜在空间参数化的强大基线系统进行了比较。我们的模型在一系列恢复任务中优于竞争方法。
2018-11-02 cs.CV cs.LG
Classifier-pruned Bayesian optimization for particle accelerator tuning: Exploring temporally structured manifold of 6D beam phase space
Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室)
针对粒子加速器调谐这一高维优化问题,提出CBOL-Tuner框架,集成条件变分自编码器、长短期记忆网络、轻量级神经网络及分类器剪枝贝叶斯优化器,可在6D束流相空间的时间结构潜在流形内高效探索。
2026-09-29 cs.LG
Exploring and Exploiting Hubness Priors for High-Quality GAN Latent Sampling
Cardiff University(卡迪夫大学)
尽管对生成对抗网络(GANs)进行了广泛的研究,但如何从其潜在空间中可靠地采样高质量图像仍然是一个未充分探索的话题。在本文中,我们提出了一种新的GAN潜在的抽样方法,通过探索和利用的hubness先验GAN潜在的分布。我们的关键见解是,GAN潜在空间的高维性将不可避免地导致中心潜在空间的出现,这些中心潜在空间通常具有比潜在空间中的其他潜在空间大得多的采样密度。因此,这些中心潜伏期得到了更好的训练,从而为高质量图像的合成做出了更多贡献。与后验“樱桃采摘”不同,我们的方法是高效的,因为它是一种先验方法,在合成图像之前识别高质量的潜伏期。此外,我们还证明了著名的纯经验截断技巧是对中心潜伏期的中心聚类效应的一种朴素近似,这不仅揭示了截断技巧的基本原理,也表明了我们方法的优越性和基础性.大量的实验结果证明了该方法的有效性。
2022-06-13 cs.CV cs.LG
Exploring Latent Dimensions of Crowd-sourced Creativity
Bogazici University(海峡大学)
最近,在预训练的GANs的潜在空间中发现可解释的方向已经成为一个热门话题。虽然现有的作品主要考虑方向的语义图像操作,我们专注于一个抽象的属性:创造力。我们能操纵一个图像来增加或减少创造力吗?我们在最大的基于人工智能的创意平台Artbreeder上构建我们的工作,用户可以使用预先训练的GAN模型生成图像。我们探索了在这个平台上生成的图像的潜在维度,并提出了一个新的框架来操纵图像,使它们更具创造性。我们的代码和数据集可以在http://github.com/catlab-team/latentcreative上找到。
2021-12-13 cs.CV cs.LG
Exploring the Latent Space of Autoencoders with Interventional Assays
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
自动编码器表现出令人印象深刻的能力,将数据流形嵌入到低维潜在空间中,使其成为表示学习方法的主要部分。然而,如果没有明确的监督,这往往是不可用的,表示通常是不可解释的,使分析和原则性的进展具有挑战性。我们提出了一个框架,称为潜在的反应,它利用局部收缩行为表现出的变分自编码器探索学习流形。更具体地说,我们开发的工具来探测的代表性使用干预的潜在空间,以量化潜在变量之间的关系。我们扩展了解纠缠的概念,以考虑到学习的生成过程,从而避免了现有的指标,可能依赖于虚假的相关性的限制。我们的分析强调了研究表示的因果结构的重要性,以提高下游任务的性能,如生成,插值和变异因素的推断。
2023-01-11 cs.CV cs.LG
Exploring Semantic Variations in GAN Latent Spaces via Matrix Factorization
Innopolis University(Innopolis大学);University of Hull(赫尔大学)
本文通过矩阵分解探索GAN潜在空间的语义变化,发现GANSpace方法虽能生成高质量图像操作但存在高度纠缠,用ICA替换PCA可提升操作质量与分离度,且GAN规模影响图像质量但不改变基本控制方向的存在。
2023-05-23 cs.CV cs.LG
Exploring System 1 and 2 communication for latent reasoning in LLMs
Meta
本研究探讨了大语言模型中潜在推理的双架构通信方法,发现联合微调比增加通道容量更有效,但需设计明确的目标和训练计划以提升推理能力。
2025-12-01 cs.AI cs.LG
Exploring Molecule Generation Using Latent Space Graph Diffusion
Saarland University(萨尔大学);DFKI(德国人工智能研究中心)
本文系统探索分子图的潜空间扩散生成,比较多种生成流模型与GNN架构及超参数,发现性能对方法和设计选择高度敏感,并开源代码。
2025-01-07 cs.AI cs.LG
Exploring emotional prototypes in a high dimensional TTS latent space
Max-Planck-Institute for Empirical Aesthetics(马克斯·普朗克经验美学研究所);Human-Centered Artificial Intelligence(人本人工智能研究中心)
最近的TTS系统能够生成韵律变化和逼真的语音。然而,目前还不清楚这种韵律变化如何有助于感知说话者的情绪状态。在这里,我们使用最新的心理学范式“吉布斯抽样与人”,在一个训练的GST Tacotron模型中搜索韵律潜在空间,以探索情感韵律的原型。参与者被在线招募,并以顺序自适应的方式集体操纵生成语音模型的潜在空间,使得呈现给一组参与者的刺激由先前组的响应来确定。我们证明了(1)模型潜在空间的特定区域与特定情感可靠地关联,(2)由此产生的情感原型被一组单独的人类评分员很好地识别,(3)这些情感原型可以有效地转移到新句子中。总的来说,这些实验展示了一种新的方法来理解情感语音,通过提供一种工具来探索生成模型的潜在空间和人类语义之间的关系。
2021-05-05 cs.HC cs.LG
Flow Straight to Reality: Perceptually Consistent Flow Matching for Efficient Image Restoration
Korea University(高丽大学);Aim Future
本文提出PCFlow框架,通过结合潜在一致性流目标、LCPL损失与无冲突梯度投影策略,实现高效图像复原,在低计算成本下取得竞争力性能。
2026-08-12 cs.AI cs.CV cs.LG
Exploring Social Motion Latent Space and Human Awareness for Effective Robot Navigation in Crowded Environments
TCS Research(塔塔咨询服务公司研究院)
本文提出利用社交运动潜在空间生成控制指令,并引入人类意识概念,以提升拥挤环境中机器人导航的成功率、平滑性和预见性。
2023-10-11 cs.AI cs.LG cs.RO
Exploring the Impact of a Transformer's Latent Space Geometry on Downstream Task Performance
University of Montana(蒙大拿大学);College of Business, University of Montana(蒙大拿大学商学院);R. Ken Coit College of Pharmacy, University of Arizona(亚利桑那大学R. Ken Coit药学院)
本研究探究Transformer潜空间几何特征与下游任务性能的关联,发现量化单元密度与GLUE平均性能强相关,可用于预测非标准BERT类模型性能,为降低预训练需求提供新思路。
2024-06-18 cs.CL cs.LG
Exploring 3D-aware Latent Spaces for Efficiently Learning Numerous Scenes
Criteo AI Lab(Criteo AI实验室);Université Gustave Eiffel(古斯塔夫·埃菲尔大学);Université Côte d’Azur(蔚蓝海岸大学)
该研究提出一种扩展NeRF学习大量语义相似场景的方法,通过构建3D感知潜在空间训练Tri-Plane表示并实现场景间信息共享,大幅降低单场景训练的内存与时间成本。
2024-05-17 cs.CV cs.LG
Active Restoration of Lost Audio Signals Using Machine Learning and Latent Information
Université Frères Mentouri I(兄弟门图里大学);Blekinge Institute of Technology(布莱金厄理工学院)
本文融合隐写术、半色调抖动与浅层/深度学习,提出 HCR 框架,利用嵌入的潜在辅助信息主动重建丢失音频,并在 SNR、ODG 等指标上优于多种现有方法。
2024-01-18 cs.LG cs.SD eess.AS
Exploring Token-Space Manipulation in Latent Audio Tokenizers
Mila – Québec AI Institute(魁北克人工智能研究所);Université Laval(拉瓦尔大学);Concordia University(康科迪亚大学)
本文提出LATTE,通过在音频特征序列后添加固定可学习潜在标记,实现标记空间编辑,支持低比特率语音编码中的可控音频操控。
2026-05-11 cs.AI cs.LG cs.SD
Exploring Deep Registration Latent Spaces
Université Paris-Saclay(巴黎萨克雷大学);CentraleSupélec(巴黎中央理工-高等电力学院);Inria Saclay(法国国家信息与自动化研究所萨克莱分部);Institut Gustave Roussy(古斯塔夫·鲁西研究所);Inserm(法国国家健康与医学研究院)
深度神经网络的可解释性是该领域最具挑战性和最有趣的问题之一。在本研究中,我们研究的主题重点是基于深度学习的配准方法的可解释性。特别是,与适当的模型架构,并使用一个简单的线性投影,我们分解的编码空间,生成一个新的基础,我们凭经验证明,这个基础捕获各种分解的解剖学意识的几何变换。我们使用两个不同的数据集进行实验,重点是肺部和海马MRI。我们表明,这种方法可以分解的高度卷积的潜在空间的注册管道在一个正交空间与几个有趣的属性。我们希望这项工作可以为更好地理解基于深度学习的注册方法提供一些帮助。
2021-07-23 cs.AI cs.CV cs.LG
Exploring Adversarial Examples via Invertible Neural Networks
Purdue University(普渡大学)
对抗性样本(AE)是可以通过向原始图像中引入轻微扰动来误导深度神经网络(DNN)分类器的图像。这种安全漏洞近年来引发了广泛的研究,因为它可以将现实世界的威胁引入依赖神经网络的系统。然而,对对抗性例子的特征的深刻理解仍然难以捉摸。我们提出了一种新的方式来实现这种理解,通过最近的发展,即可逆的神经模型与Lipschitz连续映射函数从输入到输出。通过将任何潜在表示反转回其对应的输入图像的能力,我们可以在更深层次上研究对抗性示例,并解开对抗性示例的潜在表示。鉴于这种新的视角,我们提出了一种快速的潜在空间对抗性示例生成方法,可以加速对抗性训练。此外,这种新的视角可能有助于对抗性示例检测的新方法。
2020-12-24 cs.CR cs.LG
Exploring the Edges of Latent State Clusters for Goal-Conditioned Reinforcement Learning
Rutgers University(罗格斯大学)
针对无监督目标条件强化学习中的探索难题,提出簇边缘探索算法,通过潜在空间聚类并优先选择可达边界目标,在多个机器人环境中显著提升探索效率。
2024-11-03 cs.AI cs.LG cs.RO
MotionCraft: Latent World Modeling with Sparse Attention for Visual Upscaling
MotionCraft是一种可控视频超分辨率框架,通过结合鲁棒运动融合、潜在世界Transformer与自适应稀疏注意力,实现了时间一致的高质量视频重建,且能灵活权衡时间平滑性与重建保真度。
2026-08-11 cs.CV cs.LG cs.MM
Counterfactual Explanations in Medical Imaging: Exploring SPN-Guided Latent Space Manipulation
Johannes Gutenberg University Mainz(法兰克福-主茨大学)
本文提出用 SPN 建模半监督 VAE 潜空间并引导反事实优化,使医学影像反事实同时贴近原数据与目标类别分布,且在 cheXpert 上验证其效果。
2025-07-25 cs.AI cs.LG
Exploring possible vector systems for faster training of neural networks with preconfigured latent spaces
Joint Stock "Research and production company "Kryptonite"(Kryptonite 研究生产公司)
本文提出利用预定义的向量系统加速神经网络训练,通过配置潜在空间结构提升ImageNet大规模分类任务的训练效率。
2025-12-10 cs.AI cs.CV cs.LG
Exploring Adversarial Attacks against Latent Diffusion Model from the Perspective of Adversarial Transferability
Sun Yat-sen University(中山大学);Nanyang Technological University(南洋理工大学)
本文从对抗迁移性视角研究替代模型性质对潜在扩散模型对抗样本的影响,发现选择更平滑的替代模型可显著提升基于蒙特卡洛攻击的性能,并给出理论解释。
2024-01-13 cs.CR cs.CV cs.LG
FakeCLR: Exploring Contrastive Learning for Solving Latent Discontinuity in Data-Efficient GANs
University of Science and Technology of China(中国科学技术大学);JD Explore Academy(京东探索研究院);The University of Sydney(悉尼大学)
数据高效GANs(DE-GANs)旨在利用有限的训练数据学习生成模型,在生成高质量样本方面遇到了一些挑战。由于数据增强策略在很大程度上缓解了训练的不稳定性,如何进一步提高DE-GAN的生成性能成为研究热点。近年来,对比学习在提高DE-GAN的综合质量方面显示出巨大的潜力,但相关的原理还没有得到很好的探索。本文回顾和比较了DE-GAN中不同的对比学习策略,发现(i)当前生成性能的瓶颈是潜在空间的不连续性;(ii)与其他对比学习策略相比,实例扰动法更倾向于潜在空间的连续性,这给DE-GAN带来了重大改进。基于这些观察,我们提出了FakeObserver,它只对扰动的假样本进行对比学习,并设计了三种相关的训练技术:噪声相关的潜在增强,多样性感知队列和队列的遗忘因子。我们的实验结果表明,新的艺术状态的Few-Shot生成和有限的数据生成。在多个数据集上,与现有的DE-GAN相比,Faketown获得了超过15%的FID改进。代码可在https://github.com/iceli1007/FakeCLR上获得。
2022-07-19 cs.AI cs.CV cs.LG
Exploring Latent Space for Generating Peptide Analogs Using Protein Language Models
University of Cincinnati(辛辛那提大学);University of Connecticut(康涅狄格大学)
针对传统肽生成方法依赖大量数据集的问题,提出利用自编码器结构模型探索蛋白质嵌入空间、结合蛋白质语言模型生成肽类似物的新方法,仅需单条目标序列,在多项相似性指标上优于基线,经TIGIT抑制剂验证可提升肽筛选效率。
2024-08-15 cs.AI cs.LG q-bio.QM
Exploring the Potential of Latent Embeddings for Sea Ice Characterization using ICESat-2 Data
University of Colorado Boulder(科罗拉多大学博尔德分校)
本研究针对ICESat-2海冰数据监督学习标签获取困难的问题,开发了基于LSTM和CNN的无监督自编码器提取潜在嵌入,并利用UMAP降维可视化,结果表明嵌入生成的紧凑聚类可减少所需标签样本数量。
2025-04-25 cs.LG physics.ao-ph
Blind Inverse Problem Solving Made Easy by Text-to-Image Latent Diffusion
Carnegie Mellon University(卡内基梅隆大学);Sony AI(索尼人工智能);Sony Group Corporation(索尼集团);Bosch Center for AI(博世人工智能中心)
LADiBI通过文本到图像潜在扩散模型无需训练解决多种盲逆问题,利用贝叶斯框架和新型后验采样算法实现灵活且高效的图像恢复。
2025-11-30 cs.AI cs.CV cs.LG
Video-Specific Autoencoders for Exploring, Editing and Transmitting Videos
Carnegie Mellon University(卡内基梅隆大学)
我们研究视频特定的自动编码器,允许人类用户探索,编辑和有效地传输视频。先前的工作已经独立地研究了这些问题(和子问题),并提出了不同的公式。在这项工作中,我们训练一个简单的自动编码器(从头开始)的多帧特定的视频。我们注意到:(1)由视频专用自动编码器学习的潜在代码捕获该视频的空间和时间属性;以及(2)自动编码器可以将样本外输入投影到视频专用流形上。这两个属性允许我们使用一个学习的表示来探索,编辑和有效地传输视频。例如,对潜在代码的线性操作允许用户可视化视频的内容。将视频的潜码与流形投影相关联,使用户能够进行所需的编辑。内插潜码和流形投影允许稀疏低分辨率帧在网络上传输。
2022-01-07 cs.CV cs.GR cs.HC
FDIR: Fidelity-Anchored Decompressed Image Restoration for Human and Machine Perception
National Cheng Kung University(成功大学);Harvard Medical School(哈佛医学院)
针对有损压缩图像复原中保真度、人类感知与机器偏好的权衡问题,提出两阶段架构FDIR,实验证实其在三者间取得更优平衡。
2026-11-17 cs.CV cs.LG eess.IV
Invertible Rescaling Network and Its Extensions
Peking University(北京大学);Microsoft Research Asia(微软亚洲研究院);Peng Cheng Laboratory(鹏城实验室)
图像缩放是一种常用的双向操作,它首先缩小高分辨率图像以适应各种显示屏幕或存储和带宽友好,然后放大相应的低分辨率图像以恢复原始分辨率或放大图像中的细节。然而,非内射降尺度映射丢弃高频内容,导致逆恢复任务的不适定问题。这可以抽象为一般的图像退化恢复问题的信息丢失。在这项工作中,我们提出了一种新的可逆框架来处理这个一般性的问题,从一个新的角度,即可逆双射变换模型的双向退化和恢复。可逆性使该框架能够以分布的形式对退化前的信息损失进行建模,这可以减轻后恢复过程中的不适定问题。具体而言,我们开发可逆模型来生成有效的退化图像,同时在前向退化过程中将丢失内容的分布转换为潜变量的固定分布。然后通过对生成的退化图像进行逆变换以及随机抽取的潜变量来进行恢复。我们从图像缩放开始,将模型实例化为可逆缩放网络(IRN),它可以很容易地扩展到类似的脱色-着色任务。我们进一步建议将可逆框架与现有的退化方法(如图像压缩)相结合,以获得更广泛的应用。实验结果表明,我们的模型显着改善现有的方法在定量和定性评估的放大和彩色重建从缩小和脱色图像,和率失真的图像压缩。
2022-10-09 cs.CV cs.LG eess.IV
Exploring how a Generative AI interprets music
Universitat de València-CSIC(瓦伦西亚大学-西班牙国家研究委员会);University of Edinburgh(爱丁堡大学);Universidad Isabel I de Castilla(伊莎贝尔一世卡斯蒂利亚大学);University of Sussex(萨塞克斯大学)
本研究使用Google的MusicVAE探索生成式AI如何解释音乐,发现少数“音乐”神经元非线性编码了音高和节奏信息,而旋律概念仅在长序列中独立出现。
2023-07-31 cs.LG cs.SD eess.AS