LatentSwap: An Efficient Latent Code Mapping Framework for Face Swapping
Korea University(高丽大学);Massachusetts Institute of Technology(麻省理工学院);Supertone Inc.(Supertone公司);Nota Inc.(Nota公司);Optimizer AI
本文提出轻量级换脸框架 LatentSwap,通过随机潜码和三项损失训练潜码映射,无需额外数据集,即可借助 StyleGAN2 等生成器生成高真实感人脸,并支持 3D 感知换脸扩展。
2024-03-02 cs.CV
Talking Head from Speech Audio using a Pre-trained Image Generator
University of Leeds(利兹大学);Taif University(塔伊夫大学)
我们提出了一种新的方法,用于生成高分辨率的视频讲话的头从语音音频和一个单一的“身份”的图像。我们的方法基于一个卷积神经网络模型,该模型包含一个预训练的StyleGAN生成器。我们将每帧建模为StyleGAN潜在空间中的一个点,以便视频对应于通过潜在空间的轨迹。训练网络分为两个阶段。第一阶段是在以语音话语为条件的潜在空间中对轨迹进行建模。为此,我们使用现有的编码器来反转生成器,从每个视频帧映射到潜在空间。我们训练一个递归神经网络,以从语音话语映射到图像生成器的潜在空间中的位移。这些位移是相对于从训练数据集中描绘的个体中选择的身份图像的潜在空间的反向投影。在第二阶段,我们通过调整图像生成器对单个图像或任何选定身份的短视频来提高生成视频的视觉质量。我们评估我们的模型的标准措施(PSNR,SSIM,FID和LMD),并表明它显着优于最近的国家的最先进的方法在两个常用的数据集之一,并提供了相当的性能上的其他。最后,我们报告烧蚀实验,验证模型的组成部分。实验的代码和视频可以在https://mohammedalghamdi.github.io/talking-heads-acm-mm上找到
2022-09-09 cs.CV
Observation-Conditioned Latent Energy Priors for Sparse Implicit Neural Shape Completion
University of Zurich(苏黎世大学);University Hospital Zurich(苏黎世大学医院);ETH Zurich(苏黎世联邦理工学院);Technical University of Munich(慕尼黑工业大学);Munich Center for Machine Learning(慕尼黑机器学习中心)
该研究针对稀疏隐式神经形状补全中潜在代码漂移问题,提出观测条件潜在能量先验,在两个SDF数据集上验证其可提升预训练INR解码器的观测感知能力与补全性能。
2026-09-04 cs.CV
SparseFormer: Sparse Visual Recognition via Limited Latent Tokens
National University of Singapore(新加坡国立大学);Tencent AI Lab(腾讯人工智能实验室);Nanjing University(南京大学)
挑战密集视觉处理范式,提出SparseFormer通过稀疏特征采样在潜在空间使用极少量token表示图像,在保持性能的同时大幅降低计算成本,并可扩展至视频分类。
2023-04-07 cs.CV
SparseOcc++: Geometry-Aware Sparse Latent Representation for Semantic Occupancy Prediction
MoE Key Lab of Artificial Intelligence, AI Institute, Shanghai Jiao Tong University(教育部人工智能重点实验室,上海交通大学人工智能研究院);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
研究针对基于视觉的3D语义占用预测,提出SparseOcc++框架,通过场景完成场将场景完成与语义分割解耦,用新方法建模复杂户外几何,实验表明其提升了IoU且速度更快。
2026-07-07 cs.CV
Improving Inversion and Generation Diversity in StyleGAN using a Gaussianized Latent Space
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
现代生成对抗网络能够从生活在低维学习的潜在空间中的潜在向量创建人工的、照片般真实的图像。已经证明,可以将大范围的图像投影到这个空间中,包括生成器训练的域之外的图像。然而,虽然在这种情况下,生成器再现了图像的像素和纹理,但重建的潜在向量是不稳定的,并且小的扰动会导致显着的图像失真。在这项工作中,我们建议显式地模拟潜在空间中的数据分布。我们表明,在一个简单的非线性操作,数据分布可以建模为高斯,因此表示使用足够的统计。这产生了一个简单的高斯先验,我们使用它来正则化图像到潜在空间的投影。所得到的投影位于潜在空间的更平滑且表现更好的区域中,如使用真实图像和生成图像的插值性能所示。此外,高斯模型的潜在空间中的分布,使我们能够调查在生成器输出的文物的起源,并提供了一种方法,减少这些文物,同时保持多样性的生成图像。
2020-09-14 cs.CV
Breaking Latent Prior Bias in Detectors for Generalizable AIGC Image Detection
Guangdong Provincial Key Laboratory of Intelligent Information Processing, Shenzhen Key Laboratory of Media Security, and SZU-AFS Joint Innovation Center for AI Technology(广东智能信息处理省级重点实验室、深圳媒体安全重点实验室及SZU-AFS人工智能技术联合创新中心);Nanchang University(南昌大学);University of North Texas(北卡罗来纳州立大学)
本文提出流形上对抗训练(OMAT),通过优化扩散模型初始潜在噪声生成流形上对抗样本,打破检测器的潜在先验偏差,并引入GenImage++基准,显著提升AIGC检测器的跨生成器泛化能力。
2025-06-01 cs.CV
Learning Joint Latent Space EBM Prior Model for Multi-layer Generator
Stevens Institute of Technology(史蒂文斯理工学院);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
针对多层生成器先验模型表达能力有限的问题,提出联合潜空间EBM先验模型,通过能量项捕获层内关系并联合校正潜变量,采用MLE与MCMC训练,实验证明能生成高质量图像并提升异常检测性能。
2023-10-11 cs.CV cs.LG
Beyond Global Latents: Chunk-Based Sparse Grid VAE for Scalable 3D Modeling
Hong Kong University of Science and Technology(香港科技大学);Tencent Hunyuan(腾讯混元);The Chinese University of Hong Kong(香港中文大学)
该研究针对稀疏体素网格内存随分辨率快速增长的问题,提出基于块的ChunkVAE,通过局部算子和互补数据算子实现可扩展3D建模,在多基准测试中性能优于或相当基线,且内存与推理效率更优。
2026-08-04 cs.CV
Autoencoding Video Latents for Adversarial Video Generation
Samsung Research Institute(三星研究院)
鉴于视频信号的三维复杂性,由于数据空间中涉及的大随机性,训练鲁棒且多样的基于GAN的视频生成模型是繁重的。学习数据的非纠缠表示有助于提高鲁棒性并提供采样过程中的控制。对于视频生成,通过将运动和外观视为正交信息并设计有效地解开它们的架构,在这一领域取得了最新进展。这些方法依赖于手工制作的架构,该架构在生成器上施加结构先验以分解潜在空间中的外观和运动代码。受基于自动编码器的图像生成的最新进展的启发,我们提出了AVLAE(对抗视频潜伏自动编码器),这是一个两流潜伏自动编码器,其中视频分布是通过对抗训练来学习的。特别是,我们建议在对抗环境中自动编码视频生成器的运动和外观特征向量。我们证明,我们的方法学会解开运动和外观代码,即使没有明确的结构组成的生成器。定性和定量的实验结果证明了我们的方法的有效性。
2022-01-18 cs.CV
Learning Diverse Stochastic Human-Action Generators by Learning Smooth Latent Transitions
State University of New York at Buffalo(纽约州立大学布法罗分校);Duke University(杜克大学)
人体运动生成是一个长期存在的挑战性任务,由于需要精确建模复杂和多样的动态模式。大多数现有的方法采用序列模型,如RNN,直接在原始动作空间中建模过渡。由于高维度和潜在的噪声,这种动作转换的建模特别具有挑战性。在本文中,我们专注于基于动作生成,并提出了一个潜在的空间上的动作序列与低得多的维数建模平滑和多样化的过渡。条件上的潜在序列,动作是由一个帧的解码器共享的所有潜在的动作姿势。具体来说,隐式RNN被定义为平滑潜在序列的模型,其随机性(多样性)由来自输入的噪声控制。与标准的动作预测方法不同,我们的模型可以从纯噪声中生成动作序列,而无需任何条件动作姿势。值得注意的是,它还可以在训练期间从混合类中生成看不见的动作。我们的模型是用双向生成对抗网框架学习的,它不仅可以生成特定类或混合类的不同动作序列,还可以学习对同一模型中的动作序列进行分类。实验结果表明,我们的方法在不同的动作序列生成和分类的优越性,相对于现有的方法。
2019-12-21 cs.CV
sshELF: Single-Shot Hierarchical Extrapolation of Latent Features for 3D Reconstruction from Sparse-Views
Continental(大陆集团);University of Freiburg(弗赖堡大学);University of Tübingen(蒂宾根大学)
sshELF提出一种单次层次化潜在特征外推方法,通过跨场景先验生成虚拟视图并与基元解码解耦,仅用六个稀疏视图即可高质量重建360度室外场景,支持实时渲染并具备强泛化能力。
2025-02-06 cs.CV
Object-based Probabilistic Similarity Evidence of Sparse Latent Features from Fully Convolutional Networks
本研究利用全卷积网络的稀疏潜在特征,通过两步法(特征提取与模糊推理)估计二维图像中对象的视觉相似性,并引入加权方案增强分析,为神经网络相似性分析提供见解。
2023-07-25 cs.CV
Learning Probabilistic Models from Generator Latent Spaces with Hat EBM
OPPO US Research Center(OPPO美国研究中心);Salesforce Research(赛富时研究院);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
这项工作提出了一种方法,使用任何发电机网络的基础上的能量为基础的模型(EBM)。我们的公式假定观察到的图像是通过生成器网络的未观察到的潜变量和跨越生成器输出和图像流形之间的间隙的剩余随机变量的总和。然后可以定义一个EBM,它将生成器作为其前向传递的一部分,我们称之为帽子EBM。该模型可以在不推断观测数据的潜变量或计算生成雅可比行列式的情况下进行训练。这使得任何类型的发电机网络的输出分布的显式概率建模成为可能。实验表明,所提出的方法在以下方面表现出色:(1)以128x128分辨率进行无条件ImageNet合成,(2)改进现有生成器的输出,以及(3)学习包含非概率生成器的EBM。可在https://github.com/point0bar1/hat-ebm上获得代码和预训练模型,以重现我们的结果。
2023-01-13 cs.CV cs.LG stat.ML
Inverting The Generator Of A Generative Adversarial Network (II)
Imperial College London(伦敦帝国理工学院)
生成对抗网络(GANs)学习一种深度生成模型,该模型能够合成新颖的高维数据样本。新的数据样本是通过传递潜在样本合成的,从一个选定的先验分布,通过生成模型。一旦经过训练,潜在空间就会表现出有趣的特性,这可能对分类或检索等下游任务有用。不幸的是,GANs不提供“逆模型”,即从数据空间映射回潜在空间,这使得难以推断给定数据样本的潜在表示。在本文中,我们介绍了一种技术,反演,使用预训练的GAN将数据样本,特别是图像投影到潜在空间。使用我们提出的反演技术,我们能够识别训练的GAN能够基于重建损失来建模和量化GAN性能的数据集的哪些属性。我们演示了如何我们提出的反演技术可用于定量比较在三个图像数据集上训练的各种GAN模型的性能。我们提供了所有实验的代码,https://github.com/ToniCreswell/InvertingGAN。
2018-02-15 cs.CV
CrossFlow: One-Step Generation Across Latent and Pixel Spaces
Institute for Artificial Intelligence, Peking University(北京大学人工智能研究院);Tencent(腾讯);Fudan University(复旦大学)
提出CrossFlow,一种跨空间流模型,将噪声潜在输入直接映射到像素图像,通过无速度单步目标实现潜在到像素的生成,并替代潜在扩散中的解码器,在ImageNet-1k上达到1.62 FID。
2026-06-19 cs.CV
Robust Single-Stage Fully Sparse 3D Object Detection via Detachable Latent Diffusion
本文提出RSDNet,通过可分离潜在扩散框架在潜在空间学习去噪过程,并结合语义-几何引导与单步推理,实现鲁棒高效的全稀疏3D目标检测。
2025-08-27 cs.CV
FILIGREE3D: Scaling Sparse Latent Flow Matching for Ultra-High-Resolution Image-to-3D Generation
AlibabaGroup(阿里巴巴集团)
Filigree3D提出稀疏潜流匹配框架,通过结构感知稀疏缩放、多尺度特征注入和可见性感知正则化,实现单图至2048^3体素分辨率的超高分辨率三维生成,显著提升几何保真度与细节保留。
2026-09-29 cs.CV
ILV: Iterative Latent Volumes for Fast and Accurate Sparse-View CT Reconstruction
Sungkyunkwan University(成均馆大学);Yonsei University(延世大学)
提出迭代潜在体(ILV)框架,结合数据驱动先验与经典迭代重建原理,通过构建并迭代更新显式3D潜在体,实现稀疏视角CBCT的快速高精度重建,在约14,000个CT体积的大规模数据集上显著优于现有方法。
2026-06-25 cs.CV
OptimusMesh: Compact Autoregressive Mesh Generation from Point Clouds via Sparse Latent Pivots
The University of Osaka(大阪大学);Osaka Electro-Communication University(大阪电气通信大学)
OptimusMesh提出一种从点云直接生成紧凑三角网格的自回归框架,通过将2048个点压缩为16个稀疏潜在枢轴,显著减少条件序列,以更少的面数实现高保真几何输出。
2026-10-05 cs.CV
Inducing Sparse Coding and And-Or Grammar from Generator Network
Harbin Engineering University(哈尔滨工程大学);University of California, Los Angeles(加州大学洛杉矶分校)
我们引入了一个可解释的生成模型,通过对生成器网络的特征图进行稀疏操作。有意义的层次表示使用建议的生成模型与稀疏激活。从生成器网络的底层到顶层的卷积核可以逐层学习诸如边缘和颜色、对象部分和整个对象之类的基元。从生成器网络的角度,我们提出了一种方法,同时诱导稀疏编码和与或语法的图像。实验表明,我们的方法是能够学习有意义的和可解释的层次表示。
2019-01-20 cs.AI cs.CV cs.LG
Pivotal Tuning for Latent-based Editing of Real Images
Tel Aviv University(特拉维夫大学)
最近,已经提出了一系列先进的面部编辑技术,这些技术利用了预先训练的StyleGAN的生成能力。要成功地以这种方式编辑图像,必须首先将图像投影(或反转)到预训练的生成器的域中。然而,事实证明,StyleGAN的潜在空间在失真和可编辑性之间产生了固有的权衡,即在保持原始外观和令人信服地改变其某些属性之间。实际上,这意味着它仍然是具有挑战性的应用ID保持面部潜在空间编辑的脸是在生成器的域。在本文中,我们提出了一种方法来弥合这一差距。我们的技术稍微改变了生成器,使域外图像忠实地映射到域内的潜在代码。关键的想法是关键的调整-一个简短的训练过程,保留域内潜在区域的编辑质量,同时改变其描绘的身份和外观。在预调反转(PTI)中,初始反转的潜在代码充当枢轴,生成器围绕该枢轴进行微调。同时,正则化项保持附近恒等式不变,以局部包含效果。这种外科手术式的训练过程最终会改变主要代表身份的外观特征,而不会影响编辑功能。我们通过反演和编辑度量来验证我们的技术,并显示出比最先进的方法更好的分数。我们进一步定性地展示了我们的技术,通过应用先进的编辑(如姿势,年龄或表情),以众多的知名和可识别的身份的图像。最后,我们展示了对更困难的情况的适应能力,包括浓妆,精心制作的发型和/或头饰,否则无法通过最先进的方法成功地反转和编辑。
2021-06-10 cs.CV
Training-Free Disentangled Text-Guided Image Editing via Sparse Latent Constraints
Department of Informatics Engineering Universitas Brawijaya Malang, Indonesia(信息工程系 乌姆拉大学 马拉邦,印度尼西亚)
本文提出一种无需训练的解耦文本引导图像编辑方法,通过引入稀疏潜在约束减少属性纠缠问题,提升编辑的可控性与准确性。
2025-12-25 cs.CV
Efficient Fréchet Distributional Decoder Alignment for Latent Generative Models
University of Toronto(多伦多大学);Université de Montréal(蒙特利尔大学);Vijil(维吉尔公司)
该研究针对潜在生成模型的解码器训练-生成不匹配问题,提出FDDA方法,冻结生成器并直接优化解码器,可显著降低gFDr⁶和训练时间,提升生成模型性能。
2026-10-14 cs.CV cs.LG
CASL: Concept-Aligned Sparse Latents for Interpreting Diffusion Models
University of Virginia(弗吉尼亚大学)
CASL通过监督框架将扩散模型的稀疏潜在维度与语义概念对齐,提升生成图像的解释性和编辑精度。
2026-01-21 cs.CV cs.LG
PRISM: Streaming Human Motion Generation with Per-Joint Latent Decomposition
State Key Laboratory of CAD & CG(CAD与计算机图形学国家重点实验室);Zhejiang University(浙江大学);Zhejiang Lab(浙江实验室);Computer Animation & Perception Group(计算机动画与感知小组)
PRISM通过关节潜在分解和无噪声条件注入,实现了流式人类动作生成,统一了文本到动作、姿态条件生成等多种任务,达到SOTA性能。
2026-08-25 cs.CV
TensorLDM: A Component-Wise Latent Diffusion Model for Volumetric DTI Reconstruction from Sparse DWIs
Interdisciplinary Program in Cancer Biology, Seoul National University College of Medicine(首尔大学医学院癌症生物学跨学科项目);Department of Radiology, Seoul National University Hospital(首尔大学医院放射科);Department of Radiology, Seoul National University College of Medicine(首尔大学医学院放射科);Healthcare AI Research Institute, Seoul National University Hospital(首尔大学医院医疗AI研究所)
提出TensorLDM,一种组件式潜在扩散模型,通过分组编码器、解剖条件自编码器、跨组件注意力和专家混合条件机制,从稀疏DWI中重建扩散张量,在HCP数据集上实现高精度和物理有效性。
2026-06-25 cs.CV
Enhancing Interpretability of Sparse Latent Representations with Class Information
School of Electrical and Computer Engineering, University College of Engineering, University of Tehran(电气与计算机工程学院,工程学院,塔里班大学)
针对变分稀疏编码(VSC)无法保证同类样本潜在表示激活维度一致性的问题,提出引入新损失函数实现同类样本激活维度对齐的方法,可同时捕捉全局和类别特定因子,提升潜在空间可解释性与实用性。
2025-05-20 cs.CV cs.LG
Steering Sparse Autoencoder Latents to Control Dynamic Head Pruning in Vision Transformers (Student Abstract)
本文提出结合稀疏解码器与动态剪枝的新框架,通过稀疏潜在特征实现头部剪枝的可解释和可控,提升ViTs的效率和可解释性。
2026-03-23 cs.AI cs.CV cs.LG
SLS4D: Sparse Latent Space for 4D Novel View Synthesis
Tsinghua University(清华大学)
针对现有动态NeRF方法难以捕捉全局动态、参数量大的问题,提出基于可学习稀疏隐空间的SLS4D方法,以极少参数量实现了最优的4D新视角合成效果。
2023-12-15 cs.CV cs.GR
Faster Learning of Temporal Action Proposal via Sparse Multilevel Boundary Generator
Beijing University of Posts and Telecommunications(北京邮电大学)
视频中的时间动作定位在计算机视觉领域提出了重大挑战。虽然边界敏感方法已被广泛采用,但其局限性包括中间和全局信息的不完整使用,以及效率低下的建议特征生成器。为了解决这些挑战,我们提出了一种新的框架,稀疏多级边界生成器(SMBG),它增强了边界敏感的方法与边界分类和动作完整性回归。SMBG具有多级边界模块,通过收集不同长度的边界信息来加快处理速度。此外,我们引入了一个稀疏提取置信头,区分信息内部和外部的行动,进一步优化的建议功能生成器。为了提高多个分支之间的协同性和平衡正负样本,我们提出了一个全局指导损失。我们的方法在两个流行的基准测试ActivityNet-1.3和THUMOS 14上进行了评估,并显示出达到最先进的性能,具有更好的推理速度(2.47xBSN++,2.12xDBG)。这些结果表明,SMBG提供了一个更有效和简单的解决方案,产生时间的行动建议。我们提出的框架有可能推进计算机视觉领域,提高视频分析中时间动作定位的准确性和速度。代码和模型可在\url{https://github.com/zhouyang-001/SMBG-for-temporal-action-proposal}上获得。
2023-03-06 cs.AI cs.CV
Temporal Generative Adversarial Nets with Singular Value Clipping
Preferred Networks Inc.(Preferred Networks 公司)
在本文中,我们提出了一个生成模型,时间生成对抗网络(TGAN),它可以学习未标记视频的语义表示,并能够生成视频。与现有的基于生成对抗网络(GAN)的方法不同,这些方法使用由3D去卷积层组成的单个生成器生成视频,我们的模型利用了两种不同类型的生成器:时间生成器和图像生成器。时间生成器将单个潜变量作为输入并输出一组潜变量,每个潜变量对应于视频中的图像帧。图像生成器将一组这样的潜变量转换成视频。为了解决GAN训练中的不稳定问题,我们采用了最近提出的Wasserstein GAN模型,并提出了一种新的方法,以端到端的方式对其进行稳定的训练。实验结果证明了该方法的有效性。
2017-08-18 cs.CV cs.LG
Latent reweighting, an almost free improvement for GANs
Criteo AI Lab(Criteo AI实验室);LIGM, Ecole des Ponts(法国国立桥路学校LIGM实验室)
GANs的标准公式,其中连续函数使连接的潜在空间变形,已被证明在拟合不同类别的图像时被错误指定。特别是,生成器将必须在类之间采样一些低质量的图像。不是修改架构,而是一系列工作旨在以增加计算成本为代价来提高预训练生成器的采样质量。在此基础上,我们引入了一个额外的网络来预测潜在的重要性权重和两个相关的抽样方法,以避免最差的样本。这个想法有几个优点:1)它提供了一种将不连通性注入任何GAN架构的方法,2)由于拒绝发生在潜在空间中,它避免了通过生成器和搜索器,节省了计算时间,3)这个重要性权重公式提供了一种原则性的方法来减少Wasserstein到目标分布的距离。我们证明了我们的方法在几个数据集,合成和高维的有效性。
2021-10-19 cs.CV cs.LG
DiffCom: Decoupled Sparse Priors Guided Diffusion Compression for Point Clouds
University of Western Australia(西澳大学);Xidian University(西安电子科技大学)
DiffCom提出一种由解耦稀疏先验引导的扩散压缩框架,通过双密度数据流和注意力引导去噪器,在低比特率下实现高质量点云重建,并在ShapeNet等数据集上取得更优率失真性能。
2025-10-07 cs.CV eess.IV
Inverting The Generator Of A Generative Adversarial Network
Imperial College London(帝国理工学院)
生成对抗网络(GANs)通过将从潜在空间中提取的样本传递到生成网络来学习从高维分布中合成新样本。当高维分布描述特定数据集的图像时,网络应该学习为潜在空间中彼此接近的潜在变量生成视觉上相似的图像样本。对于诸如图像检索和图像分类之类的任务,通过将图像投影到潜在空间中并将其用作区分性任务的表示来利用潜在空间的布置可能是有用的。GANs通常由多层非线性计算组成,这使得它们很难反转。本文介绍了使用任何预训练的GAN将图像样本投影到潜在空间中的技术,前提是计算图可用。我们评估这些技术的MNIST数字和Omniglot手写字符。在MNIST数字的情况下,我们表明,投影到潜在的空间保持有关的风格和身份的数字的信息。在Omniglot字符的情况下,我们表明,即使是在训练过程中没有看到的字母表中的字符也可以很好地投射到潜在空间中;这表明这种方法可能在一次性学习中有应用。
2016-11-17 cs.CV cs.LG
Improved Image Generation via Sparse Modeling
Technion - Israel Institute of Technology(以色列理工学院)
近年来,深度学习社区对图像合成的兴趣大幅增长。如今,深度生成方法,特别是生成对抗网络(GANs),正在带来最先进的性能,能够合成看起来逼真的图像。虽然为提高所生成图像的质量所做的努力是广泛的,但大多数尝试仍然将生成器部分视为未经证实的“黑匣子”。在本文中,我们的目标是提供一个更好的理解和设计的图像生成过程。我们将现有的发电机解释为隐含地依赖于稀疏启发模型。更具体地说,我们表明,发电机可以被视为卷积稀疏编码(CSC)和多层版本(ML-CSC)的合成过程的表现。我们利用这一观察结果,明确执行稀疏正则化适当选择的激活层的发生器,并证明,这导致改进的图像合成。此外,我们表明,相同的原理和好处适用于发电机服务的逆问题,证明了深度图像先验(DIP)方法。
2022-05-13 cs.CV eess.IV
ReMoA: Recursive Modular Adaptation via Sparse Latent Refinement in Multimodal Diffusion Models
Shanghai Academy of AI for Science(上海人工智能科学研究院);Fudan University(复旦大学)
本文提出一种递归稀疏混合专家框架,用于提升多模态文本生成任务中视觉token的生成质量,通过递归机制和稀疏参数共享提高生成性能。
2026-11-05 cs.AI cs.CV
Adversarial Latent Autoencoders
West Virginia University(西弗吉尼亚大学)
自动编码器网络是一种无监督的方法,旨在通过同时学习编码器-生成器映射来结合生成和表示属性。虽然被广泛研究,但它们是否具有与GANs相同的生成能力,或者学习分解表示的问题尚未得到充分解决。我们引入了一种联合解决这些问题的自动编码器,我们称之为对抗性潜在自动编码器(ALAE)。它是一种通用架构,可以利用最近对GAN培训程序的改进。我们设计了两个自动编码器:一个基于MLP编码器,另一个基于StyleGAN生成器,我们称之为StyleALAE。我们验证了这两种架构的解纠缠特性。我们证明,StyleALAE不仅可以生成1024 x1024的人脸图像,质量与StyleGAN相当,而且在相同的分辨率下,还可以基于真实图像进行人脸重建和操作。这使得ALAE成为第一个能够与仅生成器类型的架构进行比较并超越其能力的自动编码器。
2020-04-09 cs.CV cs.LG
Don't Be So Dense: Sparse-to-Sparse GAN Training Without Sacrificing Performance
Eindhoven University of Technology(埃因霍温理工大学);Zhejiang University(浙江大学);University of Texas at Austin(德克萨斯大学奥斯汀分校);JD Explore Academy(京东探索研究院)
生成式对抗网络(GANs)由于其生成数据的高质量,自提出以来受到了越来越多的关注。虽然取得了越来越令人印象深刻的结果,但与大模型大小相关的资源需求阻碍了GANs在资源有限的场景中的使用。对于推理,现有的模型压缩技术可以降低模型的复杂度,具有相当的性能。然而,由于GANs的训练过程比较脆弱,因此对GANs的训练效率研究较少。在本文中,我们首次探索了从头开始直接训练稀疏GAN而不涉及任何密集或预训练步骤的可能性。更不寻常的是,我们提出的方法可以直接从零开始训练稀疏不平衡的GANs,使用非常稀疏的生成器。我们不是训练完整的GANs,而是从稀疏的GANs开始,并在整个训练过程中动态探索跨越生成器的参数空间。这种稀疏到稀疏训练过程逐渐增强了高度稀疏生成器的能力,同时坚持固定的小参数预算,具有吸引人的训练和推理效率增益。现代GAN架构的大量实验验证了我们的方法的有效性。我们的稀疏GANs在一次运行中从头开始训练,能够超越通过昂贵的迭代修剪和重新训练学习的GAN。也许最重要的是,我们发现,与其从昂贵的预训练GANs中继承参数,直接从头开始训练稀疏GANs可能是一个更有效的解决方案。例如,仅使用80%稀疏生成器和70%稀疏生成器进行训练,我们的方法可以实现比密集BigGAN更好的性能。
2022-03-05 cs.CV cs.LG
Gradient Adjusting Networks for Domain Inversion
Blavatnik School of Computer Science, Tel Aviv University(特拉维夫大学布拉瓦特尼克计算机科学学院)
StyleGAN2被证明是一个强大的图像生成引擎,支持语义编辑。然而,为了操纵真实世界的图像,首先需要能够在StyleGAN的潜在空间中检索其对应的潜在表示,该潜在表示被解码为尽可能接近所需图像的图像。对于许多真实世界的图像,潜在的表示并不存在,这就需要调整生成器网络。我们提出了一种逐图像优化方法,该方法调整StyleGAN2生成器,使其实现对生成器权重的本地编辑,从而实现几乎完美的反转,同时仍然允许图像编辑,通过保持输入潜在表示张量和输出图像之间的其余映射相对完整。该方法是基于一组浅层更新网络(aka)的一次性训练。梯度修改模块),修改生成器的层。在训练梯度修改模块之后,通过将这些网络单个应用于原始参数来获得修改的生成器,并且保持生成器的先前编辑能力。我们的实验表明,在这个非常活跃的领域中,与当前最先进的技术相比,性能存在相当大的差距。我们的代码可在\url{https://github.com/sheffier/gani}上获得。
2023-02-22 cs.CV eess.IV
Creating High Resolution Images with a Latent Adversarial Generator
Google Research(谷歌研究院)
生成逼真的图像是困难的,并且最近已经提出了用于该任务的许多公式。然而,如果我们将任务限制为生成特定类别的图像,则任务变得更容易处理。也就是说,我们不是从自然图像的流形中生成任意图像作为样本,而是建议从自然图像的特定“子空间”中对图像进行采样,由来自同一子空间的低分辨率图像引导。我们解决的问题,虽然接近制定的单图像超分辨率问题,实际上是相当不同的。单图像超分辨率是从相对低分辨率的图像中预测最接近地面实况的图像的任务。我们提出了一种新的方法,称为潜在对抗生成器(LAG),在极小的输入下生成高分辨率图像的样本。在我们的生成采样框架中,我们只使用输入(可能是非常低的分辨率)来指导网络应该产生什么样的样本。因此,我们的算法的输出不是与输入相关的唯一图像,而是从自然图像的流形采样的可能的相关图像的集合。我们的方法只在对手的潜在空间中使用感知损失进行学习-它没有像素损失。
2020-03-04 cs.CV eess.IV stat.ML
Latent-space disentanglement with untrained generator networks for the isolation of different motion types in video data
The Chinese University of Hong Kong(香港中文大学);University of Graz(格拉茨大学);Emory University(埃默里大学)
本文提出一种利用未经训练的生成器网络和最小一维信息的潜在空间解耦技术,直接从单个视频中高效分离高度非线性运动类型,实现运动冻结与独立动态表示。
2023-05-17 cs.CV cs.LG eess.IV
SALVE: Sparse Autoencoder-Latent Vector Editing for Mechanistic Control of Neural Networks
Group Research and Development, DNV(1 研究与发展组,DNV)
SALVE通过稀疏自编码和潜在向量编辑,实现神经网络的机理控制与可解释性,提升模型的可控性和鲁棒性。
2026-03-07 cs.AI cs.CV cs.LG
AE-StyleGAN: Improved Training of Style-Based Auto-Encoders
Rutgers University(罗格斯大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校);NEC Labs America(NEC美国实验室)
近年来,StyleGAN在数据生成和操作方面取得了令人印象深刻的成果,这要归功于其解开的风格潜在空间。在反转预训练的生成器方面已经做了很多努力,其中编码器在生成器以两阶段的方式训练之后被专门训练。在本文中,我们专注于基于样式的生成器,提出一个科学问题:强制这样的生成器重建真实数据是否会导致更多的解纠缠的潜在空间,并使从图像到潜在空间的反演过程变得容易?我们描述了一种新的方法来训练基于样式的自动编码器,其中编码器和生成器是端到端优化的。我们表明,我们提出的模型在图像反演和生成质量方面始终优于基线。补充,代码和预训练模型可在项目网站上获得。
2021-10-17 cs.CV eess.IV
Optimizing the Latent Space of Generative Networks
Facebook AI Research(脸书人工智能研究院)
生成对抗网络(GANs)在生成逼真自然图像的任务中取得了显着的成果。在大多数成功的应用中,GAN模型有两个共同的方面:解决一个具有挑战性的鞍点优化问题,解释为生成器和卷积函数之间的对抗游戏;以及将生成器和卷积函数参数化为深度卷积神经网络。本文的目标是理清这两个因素对GANs成功的贡献。特别是,我们介绍了生成潜在优化(GLO),这是一个使用简单重建损失训练深度卷积生成器的框架。通过各种实验,我们证明了GLO具有GANs的许多理想特性:合成视觉上吸引人的样本,在样本之间进行有意义的插值,以及使用噪声向量执行线性运算;所有这些都没有对抗性优化方案。
2019-05-20 cs.CV cs.LG stat.ML
Alternating Back-Propagation for Generator Network
University of California, Los Angeles(加州大学洛杉矶分校)
本文提出了一种用于发电机网络模型学习的交替反向传播算法。该模型是因子分析的非线性推广。在这个模型中,从连续的潜在因素到观察到的信号的映射由卷积神经网络参数化。交替反向传播算法迭代以下两个步骤:(1)推理反向传播,其通过朗之万动力学或梯度下降来推断潜在因子。(2)学习反向传播,它通过梯度下降来更新给定推断的潜在因素的参数。这两个步骤中的梯度计算都是由反向传播提供动力的,并且它们共享大部分共同的代码。我们表明,交替反向传播算法可以学习现实的自然图像,视频序列和声音的生成器模型。此外,它还可以用于从不完整或间接的训练数据中学习。
2016-12-06 cs.CV cs.LG cs.NE
LATTE: Latent Trajectory Embedding for Diffusion-Generated Image Detection
University of Amsterdam(阿姆斯特丹大学);Netherlands Forensic Institute (NFI)(荷兰法医学研究所)
针对扩散生成图像检测中跨生成器泛化难题,提出 LATTE,通过建模多步去噪潜在嵌入轨迹捕捉判别模式,并在多个基准上取得优越性能。
2025-09-29 cs.AI cs.CV
Latent Anomaly Knowledge Excavation: Unveiling Sparse Sensitive Neurons in Vision-Language Models
Macquarie University(麦考瑞大学);Nanjing University of Science and Technology(南京理工大学);The University of Sydney(悉尼大学);National University of Singapore(新加坡国立大学)
本文提出LAKE框架,通过挖掘视觉-语言模型中稀疏敏感神经元,实现异常检测的内在可解释性,实验表明其在工业基准上表现优异。
2026-04-28 cs.AI cs.CV
Latent Space Consistency for Sparse-View CT Reconstruction
University of Science and Technology Beijing(北京科技大学)
针对稀疏视图CT重建中2D与3D模态潜在空间难以对齐的问题,提出CLS-DM模型,利用跨模态特征对比学习提取3D信息并实现空间对齐,在多个数据集上优于现有生成模型。
2025-07-15 cs.AI cs.CV eess.IV
Continual Semantic Segmentation via Repulsion-Attraction of Sparse and Disentangled Latent Representations
University of Padova(帕多瓦大学)
深度神经网络在学习新任务时会遇到灾难性遗忘旧任务的主要限制。在本文中,我们专注于类增量持续学习语义分割,新的类别是随着时间的推移,而以前的训练数据不保留。所提出的持续学习方案塑造潜在空间以减少遗忘,同时提高对新类的识别。我们的框架由三个新颖的组件驱动,我们还将它们毫不费力地结合在现有技术之上。首先,原型匹配在旧类上强制执行潜在空间一致性,约束编码器在后续步骤中为先前看到的类产生类似的潜在表示。其次,特征稀疏化允许在潜在空间中腾出空间来容纳新的类。最后,对比学习是根据他们的语义聚类功能,而撕裂除了那些不同的类。对Pascal VOC 2012和ADE 20 K数据集的广泛评估证明了我们方法的有效性,显著优于最先进的方法。
2021-11-24 cs.AI cs.CV cs.LG
Sparse auto-regressive modeling for scene generation from multi-view images
NAVER LABS Europe(NAVER欧洲实验室);NAVER LABS(NAVER实验室);Carnegie Mellon University(卡内基梅隆大学)
针对从多视图图像生成完整3D场景的挑战,提出无需真实3D数据监督的SPAR3S模型,通过掩码自回归Transformer实现高效空间一致的场景补全,在合成室内场景及RealEstate10k数据集上表现优于现有方法。
2026-09-04 cs.CV cs.LG
Beyond Adapter Retrieval: Latent Geometry-Preserving Composition via Sparse Task Projection
本文提出一种几何感知的稀疏重建框架,通过潜在原型稀疏组合实现LoRA适配器重用,提升零样本泛化,并在医学图像分割、报告生成和图像合成中验证有效性。
2025-08-06 cs.AI cs.CL cs.CV
A Controlled Benchmark of Quantum-Latent GAN Augmentation for Brain MRI
Department of Mathematics(数学系);Department of Political and Social Sciences(政治与社会科学系)
通过受控基准测试,比较量子与经典生成器在脑MRI数据增强中的性能,发现两者均未显著优于仅用真实数据训练,且量子生成器无额外优势。
2026-06-19 cs.AI cs.CV cs.LG
MotionCraft: Latent World Modeling with Sparse Attention for Visual Upscaling
MotionCraft是一种可控视频超分辨率框架,通过结合鲁棒运动融合、潜在世界Transformer与自适应稀疏注意力,实现了时间一致的高质量视频重建,且能灵活权衡时间平滑性与重建保真度。
2026-08-11 cs.CV cs.LG cs.MM