TEVI: Text-Conditioned Editing of Visual Representations via Sparse Autoencoders for Improved Vision-Language Alignment
Max Planck Institute for Informatics, Saarland Informatics Campus, Saarbrücken, Germany（马克斯·普朗克研究所信息学院，萨尔兰信息学院，德国萨尔布吕肯）；Department of Language Science and Technology, Saarland University, Saarbrücken, Germany（语言科学与技术系，萨尔兰大学，德国萨尔布吕肯）
提出TEVI框架，利用稀疏自编码器解耦图像嵌入，并通过文本条件掩码模块选择性重构嵌入，以改善CLIP等视觉-语言模型的图像-文本对齐，在多个检索基准上取得提升。
2026-09-04 cs.AI cs.CL cs.CV
Exploring the Effectiveness of Mask-Guided Feature Modulation as a Mechanism for Localized Style Editing of Real Images
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
深度生成模型在高分辨率图像生成方面的成功导致其广泛用于真实图像的风格编辑。大多数现有的方法的工作原理是将真实图像反转到它们的潜空间上，然后确定可控方向。真实图像的反演和可控潜在方向的确定都是计算上昂贵的操作。此外，可控潜在方向的确定需要额外的人的监督。这项工作的目的是探索在深层生成模型的潜在空间中掩模引导的特征调制作为这些瓶颈的解决方案的功效。为此，我们提出了SemanticStyle Autoencoder（SSAE），这是一个深度生成式自动编码器模型，它利用语义掩码引导的潜在空间操作来对真实图像进行高度本地化的真实感风格编辑。我们提出了定性和定量的结果相同，他们的分析。这项工作将作为今后工作的指导性基础。
2022-12-10 cs.CV
A Compact and Semantic Latent Space for Disentangled and Controllable Image Editing
LTCI（电信与图像处理实验室）；Télécom Paris（巴黎电信学院）
针对现有GAN图像编辑方法解耦性不足的问题，提出一种基于主成分分析压缩潜在空间的自动编码器，重构StyleGAN潜在空间以实现属性解耦编辑，训练快、解耦效果优且保持图像身份保真度，架构易实现。
2023-12-13 cs.CV
REED-VAE: RE-Encode Decode Training for Iterative Image Editing with Diffusion Models
Reichman University（雷赫曼大学）
针对扩散模型在迭代图像编辑中因空间转换累积伪影的问题，提出用于VAE的REED训练方案，支持多方法迭代编辑并显著提升图像质量与整体可编辑性。
2025-04-26 cs.CV cs.GR cs.LG
FrameCorr: Adaptive, Autoencoder-based Neural Compression for Video Reconstruction in Resource and Timing Constrained Network Settings
本文提出 FrameCorr，一种基于自编码器和深度学习的自适应视频压缩方法，可在带宽与时序受限的 IoT 网络中利用已接收数据补全缺失片段并重建视频帧。
2024-09-10 cs.CV cs.ET cs.MM
MoViE: Mobile Diffusion for Video Editing
Qualcomm AI Research（高通人工智能研究）
针对扩散视频编辑模型难以在移动端部署的问题，本研究通过架构优化、多模态无分类器引导蒸馏、对抗蒸馏减采样步等方案，实现移动端12帧/秒的高质量视频编辑。
2024-12-09 cs.CV
Delta-GAN-Encoder: Encoding Semantic Changes for Explicit Image Editing, using Few Synthetic Samples
Technion - Israel Institute of Technology（以色列理工学院）
理解和控制生成模型的潜在空间是一项复杂的任务。在本文中，我们提出了一种新的方法来学习控制任何所需的属性在一个预先训练的GAN的潜在空间，相应地编辑合成和真实世界的数据样本的目的。我们执行Sim 2 Real学习，依靠最少的样本来实现无限量的连续精确编辑。我们提出了一个基于Autoencoder的模型，该模型学习对图像之间变化的语义进行编码，作为以后编辑新样本的基础，实现精确的预期结果-如图1所示的示例。虽然先前的编辑方法依赖于潜在空间的已知结构（例如，StyleGAN中某些语义的线性），我们的方法本质上不需要任何结构约束。我们在面部图像领域展示了我们的方法：编辑不同的表情，姿势和照明属性，实现最先进的结果。
2021-11-17 cs.CV
Semantic Facial Expression Editing using Autoencoded Flow
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；The Chinese University of Hong Kong（香港中文大学）；Google Inc.（谷歌公司）
对图像中的面部表情进行高级操作（例如将微笑改变为中性表情）是具有挑战性的，因为面部表情的变化是高度非线性的，并且根据面部的外观而变化。我们提出了一种全自动的方法来编辑的面孔，结合了基于流的人脸操作的优势与最近的生成能力的变分自编码器（VAE）。在训练过程中，我们的模型学习在低维潜在空间上编码从一个表达式到另一个表达式的流。在测试时，表达式编辑可以简单地使用潜在向量算法来完成。我们评估我们的方法在两个应用程序：1）单图像的面部表情编辑，和2）两个图像之间的面部表情插值。我们证明，我们的方法生成的图像比以前的VAE和基于流的方法更高的感知质量。
2016-11-30 cs.CV
Diversifying Semantic Image Synthesis and Editing via Class- and Layer-wise VAEs
University of Tsukuba（筑波大学）
语义图像合成是从单个语义掩模生成真实感图像的过程。为了丰富多模态图像合成的多样性，以前的方法通过学习单个潜在空间来控制输出图像的全局外观。然而，单个潜在代码通常不足以捕获各种对象样式，因为对象外观取决于多个因素。为了处理确定对象样式的各个因素，我们提出了一个类和逐层扩展的变分自编码器（VAE）框架，允许灵活的控制每个对象类在本地到全球的水平，通过学习多个潜在空间。此外，我们证明了我们的方法生成的图像是合理的和更多样化的国家的最先进的方法相比，通过广泛的实验与真实的和合成的数据集在三个不同的域。我们还表明，我们的方法可以在图像合成和编辑任务的广泛应用。
2021-06-29 cs.CV cs.GR
Autoencoder with recurrent neural networks for video forgery detection
University Federico II of Naples（那不勒斯费德里科二世大学）
近年来，视频伪造检测成为一个重要的问题，因为现代编辑软件提供了强大且易于使用的工具来操纵视频。在本文中，我们提出通过深度学习来执行检测，其架构基于自动编码器和循环神经网络。在一些原始帧上的训练阶段允许自动编码器学习源的内在模型。然后，锻造材料被挑出来作为异常，因为它不符合学习的模型，并且用大的重建误差进行编码。递归网络，实现与长短期记忆模型，用于利用时间依赖性。伪造视频的初步结果显示了这种方法的潜力。
2017-08-29 cs.CV
Latents2Semantics: Leveraging the Latent Space of Generative Models for Localized Style Manipulation of Face Images
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
提出Latents2Semantics自编码器（L2SAE），通过分离结构表示和风格表示并切片结构张量，实现无需额外监督的人脸图像局部风格编辑，优于现有方法。
2023-12-22 cs.CV
MoLA: Motion Generation and Editing with Latent Diffusion Enhanced by Adversarial Training
Sony AI（索尼人工智能）；Sony Group Corporation（索尼集团公司）
针对文本到动作生成的可控性、质量和速度问题，提出MoLA框架，通过激活变量实现可变长度生成，结合变分自动编码器、潜在扩散模型和对抗训练，还支持多种编辑任务，经实验验证有效。
2025-04-14 cs.CV
One-shot domain adaptation for semantic face editing of real world images using StyleALAE
真实世界人脸图像的语义人脸编辑是生成模型的一个重要应用。最近，多项工作已经探索了使用预训练的GAN模型的潜在结构来生成这种修改的可能技术。然而，这样的方法通常需要训练编码器网络，并且这通常是耗时且资源密集的过程。这种基于GAN的架构的可能替代方案可以是styleALAE，这是一种基于潜在空间的自动编码器，可以生成高质量的照片级逼真图像。不幸的是，在风格ALAE重建的图像不保留输入的面部图像的身份。这限制了styleALAE用于具有已知身份的图像的语义面部编辑的应用。在我们的工作中，我们使用一次领域自适应的最新进展来解决这个问题。我们的工作确保了重建图像的身份与给定的输入图像相同。我们通过使用预训练的styleALAE模型的潜在空间来进一步生成对重建图像的语义修改。结果表明，我们的方法可以产生任何真实世界的面部图像的语义修改，同时保持身份。
2021-08-31 cs.CV
AV-Edit: Multimodal Generative Sound Effect Editing via Audio-Visual Semantic Joint Control
AV-Edit通过联合利用视觉、音频和文本语义，实现多模态生成式声音效果编辑，提升音频编辑的精度和质量。
2025-11-26 cs.CV cs.MM cs.SD
Speech Prediction in Silent Videos using Variational Autoencoders
Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）；NVIDIA（英伟达）；University of Bath（巴斯大学）
了解听觉和视觉信号之间的关系对于许多不同的应用至关重要，从计算机生成图像（CGI）和视频编辑自动化到帮助听力或视觉障碍的人。然而，这是具有挑战性的，因为音频和视觉模态的分布本质上是多模态的。因此，大多数现有的方法忽略了多模态方面，并假设只存在一个确定性的一对一的映射之间的两个模态。由于模型崩溃以优化平均行为而不是学习完整的数据分布，因此可能会导致低质量的预测。在本文中，我们提出了一个随机模型产生语音在无声的视频。该模型结合了递归神经网络和变分深度生成模型来学习给定视觉信号的听觉信号的条件分布。我们基于标准基准在GRID数据集上展示了我们的模型的性能。
2020-11-14 cs.CV
Mirage: One-Step Video Diffusion for Photorealistic and Coherent Asset Editing in Driving Scenes
The University of Queensland（昆士兰大学）；Xiaomi EV（小米电动车）
Mirage提出了一种用于驾驶场景中光实且一致的资产编辑的一步视频扩散模型，通过引入时序无关的潜在特征和两阶段数据对齐策略，提升了视觉保真度和时间一致性。
2025-12-30 cs.CV
EditSSC: Toward Editable Semantic Occupancy Scenes with Unconditional Diffusion Models
Inria（法国国家信息与自动化研究所）；Valeo.ai（法雷奥人工智能实验室）
提出EditSSC方法，利用2D BEV表示和现成潜扩散网络实现3D语义场景生成与免训练编辑，在SemanticKITTI上优于现有3D专用基线。
2026-06-08 cs.CV
Efficient Privacy Preserving Edge Computing Framework for Image Classification
Prairie View A&M University, Texas A&M University System（普雷里维尤农工大学，德克萨斯A&M大学系统）
为了从边缘设备收集的大量数据中提取知识，由于通信带宽限制以及最终用户的隐私和安全问题，需要数据上传的传统基于云的方法可能不可行。为了解决这些问题，本文提出了一种新的隐私保护边缘计算框架的图像分类。具体来说，自动编码器将在每个边缘设备上单独进行无监督训练，然后将获得的潜在向量传输到边缘服务器用于训练分类器。该框架将减少通信开销并保护最终用户的数据。与联邦学习相比，该框架中分类器的训练不受边缘设备的约束，自动编码器可以在每个边缘设备上独立训练，无需任何服务器参与。此外，通过传输潜在向量来保护最终用户数据的隐私，而无需额外的加密成本。实验结果提供了关于图像分类性能与各种设计参数（例如自动编码器的数据压缩比和模型复杂度）的关系的见解。
2021-09-04 cs.CR cs.CV cs.LG
Controllable Image Synthesis via SegVAE
University of California, Merced（加利福尼亚大学默塞德分校）；National Tsing Hua University（台湾清华大学）；Google Research（谷歌研究院）
灵活的用户控件对于内容创建和图像编辑是理想的。语义映射是条件图像生成常用的中间表示。与对原始RGB像素的操作相比，语义映射使得用户修改更简单。在这项工作中，我们专门针对生成语义地图给定的标签集所需的类别。所提出的框架，SegVAE，合成语义地图的迭代方式使用条件变分自编码器。定量和定性的实验表明，该模型可以生成逼真的和多样化的语义地图。我们还应用了一个现成的图像到图像的转换模型来生成逼真的RGB图像，以更好地理解合成语义图的质量。此外，我们展示了几个真实世界的图像编辑应用程序，包括对象删除，对象插入和对象替换。
2020-07-17 cs.CV cs.LG
Learning to Infer Semantic Parameters for 3D Shape Editing
Princeton University（普林斯顿大学）；New York University（纽约大学）；Google Research（谷歌研究院）
3D形状设计和增强中的许多应用需要对对象的语义参数（例如，一个人的手臂的姿势或飞机机翼的长度），同时尽可能多地保留现有的细节。我们建议学习一个深度网络，该网络推断输入形状的语义参数，然后允许用户操纵这些参数。该网络在来自辅助合成模板和未标记的真实模型的形状上进行联合训练，确保了对形状变化的鲁棒性，同时减轻了对标记真实样本的需求。在测试时，参数空间内的编辑驱动变形应用于原始形状，这提供了语义上有意义的操作，同时保留了细节。这与先前的方法形成对比，先前的方法要么使用具有有限潜在空间维度的自动编码器，无法保留任意细节，要么使用纯几何控制（如笼子）驱动变形，失去更新局部零件区域的能力。椅子，飞机和人体数据集的实验表明，我们的方法比以前的工作产生更自然的编辑。
2020-11-09 cs.CV
U-Face: An Efficient and Generalizable Framework for Unsupervised Facial Attribute Editing via Subspace Learning
本文提出U-Face框架，通过子空间学习方法解决无监督面部属性编辑中的解耦难题，引入正交非负约束和属性边界向量提升控制能力，采用AIDC算法实现高效优化。
2026-03-14 cs.AI cs.CV
Editing Physiological Signals in Videos Using Latent Representations
University College London（伦敦大学学院）；UNC Chapel Hill（北卡罗来纳大学教堂山分校）；NVIDIA（英伟达）
本文提出了一种通过潜在空间编辑视频中生理信号的方法，利用3D VAE和FiLM技术实现视觉保真度与生理信号调节的平衡，实验显示在保持高质量的同时可有效控制心率。
2026-04-06 cs.CV cs.HC cs.MM
Both Semantics and Reconstruction Matter: Making Representation Encoders Ready for Text-to-Image Generation and Editing
The University of Hong Kong（香港大学）；Adobe Research（Adobe研究）
本文提出一种框架，通过语义-像素重建目标正则化潜在空间，使编码器特征更适用于生成任务，实现高质量图像生成和编辑。
2025-12-19 cs.CV
Controlled Face Manipulation and Synthesis for Data Augmentation
Vicarious Perception Technologies (VicarVision)（维卡里斯感知技术（VicarVision））；Delft University of Technology（代尔夫特理工大学）
本文提出了一种在语义潜在空间中进行可控面部操纵的方法，通过减少语义特征交织和去除噪声属性，提升AU检测器的准确性和解耦预测能力。
2026-02-22 cs.CV cs.LG
DiffuseGAE: Controllable and High-fidelity Image Manipulation from Disentangled Representation
National Innovation Institute of Defense Technology（国防科技创新研究院）
本文提出 DiffuseGAE，通过 Group-supervised AutoEncoder 和属性交换训练增强 Diff-AE 的潜码解耦，实现通用、可控、高保真的多属性图像编辑，并降低计算成本。
2023-07-12 cs.CV
Latent Inter-Frame Pruning: A Training-Free Method Bridging Traditional Video Compression and Modern Diffusion Transformers for Efficient Generation
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Futurewei Technologies, Inc.（未来科技公司）
本文提出一种无训练的潜在帧剪枝方法，通过剪枝重复的潜在块来减少计算负担并提高生成速度，同时引入注意力恢复机制以解决训练与推理间的差距。
2026-04-26 cs.CV
LIA-X: Interpretable Latent Portrait Animator
Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Inria, Université Côte d’Azur（Inria，法国埃克斯-马赛大学）
LIA-X 是一种可解释的肖像动画器，通过 Sparse Motion Dictionary 将面部动态解耦为可解释因子，支持“编辑-扭曲-渲染”策略实现细粒度控制，并在多项基准任务中表现优异。
2025-08-13 cs.CV
