Smoothing the Disentangled Latent Style Space for Unsupervised Image-to-Image Translation
University of Trento（特伦托大学）；Tencent AI Lab（腾讯人工智能实验室）；Fondazione Bruno Kessler（布鲁诺·凯塞勒基金会）
图像到图像（I2I）多域翻译模型通常也使用其语义插值结果的质量进行评估。然而，国家的最先进的模型经常显示在插值过程中的图像外观的突然变化，通常表现不佳的跨域插值。在本文中，我们提出了一种新的训练协议，该协议基于三种特定的损失，可以帮助翻译网络学习一个平滑和无纠缠的潜在风格空间，其中：1）域内和域间插值都对应于生成图像的渐变，2）在翻译过程中更好地保留了源图像的内容。此外，我们提出了一种新的评价指标，以适当衡量I2I翻译模型的潜在风格空间的平滑度。所提出的方法可以插入到现有的翻译方法中，我们在不同数据集上的大量实验表明，它可以显着提高生成图像的质量和插值的渐进性。
2021-06-16 cs.CV cs.LG
Motion-aware Latent Diffusion Models for Video Frame Interpolation
Tsinghua University（清华大学）；Peng Cheng Laboratory（鹏城实验室）；Peking University（北京大学）；China Southern Power Grid（中国南方电网）；Xiamen University（厦门大学）
本文提出运动感知潜在扩散模型MADiff，通过引入相邻帧运动先验逐步细化插值结果，在视频帧插值任务中取得最先进性能，尤其擅长处理复杂动态纹理场景。
2024-08-02 cs.CV
Smooth image-to-image translations with latent space interpolations
University of Trento（特伦托大学）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）；University of Modena and Reggio Emilia（摩德纳-雷焦艾米利亚大学）；Shanghai Jiao Tong University（上海交通大学）；Tencent AI Lab（腾讯人工智能实验室）
多域图像到图像（I2I）转换可以根据目标域的风格来转换源图像。这些变换的一个重要的期望特性是它们的渐进性，其对应于当它们各自的潜在空间表示被线性内插时源图像和目标图像之间的平滑变化。然而，国家的最先进的方法通常表现不佳时，使用域间插值，经常产生突然的变化，在外观或不现实的中间图像。在本文中，我们认为，这个问题背后的主要原因之一是缺乏足够的域间训练数据，我们提出了两种不同的正则化方法来缓解这个问题：一个新的收缩损失，压缩的潜在空间，和一个混合数据增强策略，它的风格表示域之间。我们还提出了一个新的度量来定量评估插值平滑度，这方面是没有充分涵盖现有的I2I翻译度量。使用我们提出的度量和标准评估协议，我们表明，我们的正则化技术可以提高最先进的多域I2I翻译的大幅度。我们的代码将在接受本文后公开提供。
2023-03-14 cs.CV cs.LG
Encouraging Disentangled and Convex Representation with Controllable Interpolation Regularization
University of Southern California（南加州大学）
我们专注于可控解纠缠表示学习（C-Dis-RL），其中用户可以控制解纠缠潜在空间的分区，以分解下游任务的数据集属性（概念）。目前的方法存在两个普遍问题：（1）缺乏全面的解纠缠约束，特别是缺少对不同属性间的互信息的最小化。(2)它们缺乏凸性约束，这对于有意义地操纵下游任务的特定属性非常重要。为了同时鼓励全面的C-Dis-RL和凸性，我们提出了一种简单而有效的方法：可控插值正则化（CIR），它创建了一个正循环，其中解纠缠和凸性可以相互帮助。具体来说，我们在训练过程中在潜在空间中进行受控插值，并重用编码器来帮助形成“完美的解纠缠”正则化。在这种情况下，（a）解纠缠损失隐含地扩大了潜在的可理解的分布，以鼓励凸性;（b）凸性反过来可以提高鲁棒性和精确的解纠缠。CIR是一个通用的模块，我们将CIR与三种不同的算法：ELEGANT，I2 I-Dis和Gander-Net合并，以显示兼容性和有效性。定性和定量的实验表明，改善C-Dis-RL和潜在的凸CIR。这进一步改进了下游任务：可控图像合成、跨模态图像平移和zero-shot合成。
2022-03-23 cs.CV
Frame Interpolation with Consecutive Brownian Bridge Diffusion
University of Utah（犹他大学）；Center for Research in Computer Vision, University of Central Florida（中佛罗里达大学计算机视觉研究中心）；University of Birmingham（伯明翰大学）
针对视频帧插值（VFI）中潜在扩散模型（LDMs）生成结果多样化、非确定性的问题，提出基于连续布朗桥扩散的方法，以确定性初始值输入降低潜在表示累积方差，随自动编码器改进提升性能，实现VFI领域最先进水平。
2024-11-26 cs.CV
TLB-VFI: Temporal-Aware Latent Brownian Bridge Diffusion for Video Frame Interpolation
Center for Research in Computer Vision, University of Central Florida（计算机视觉研究中心，中央佛罗里达大学）
本文提出TLB-VFI，一种高效的时间感知潜在布朗桥扩散视频帧插值模型，通过3D小波门控与时间感知自编码器提取时间信息，结合光流引导，在显著降低参数量、训练数据和推理时间的同时提升插值性能。
2025-07-07 cs.CV
Hierarchical Flow Diffusion for Efficient Frame Interpolation
Insta360 Research（影石创新研究院）；MagicLeap（魔力跳跃公司）
针对基于扩散的视频帧插值方法在精度和效率上的不足，提出通过分层扩散模型显式建模双向光流以缩小搜索空间，并结合流引导图像合成器端到端训练，实现了最优精度且速度提升10倍以上。
2025-04-01 cs.CV
Isometric Representation Learning for Disentangled Latent Space of Diffusion Models
Seoul National University（首尔大学）；Google Research（谷歌研究院）
针对扩散模型潜在空间纠缠和映射畸变问题，提出等距扩散方法，通过几何正则化器学习解纠缠潜在空间，实现更平滑插值、更精确反演和更精细属性控制，实验验证有效。
2024-07-16 cs.CV cs.LG
Aligning Latent Geometry for Spherical Flow Matching in Image Generation
Virginia Tech（弗吉尼亚理工大学）；fal（法尔）
本文提出通过分解潜在标记为径向和角向成分，利用球面线性插值改进流匹配，使生成图像在不同分词器下提升FID评分，无需辅助编码器。
2026-05-14 cs.CV
Interpolating between Images with Diffusion Models
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
针对现有图像生成流水线缺乏图像插值功能的问题，提出基于潜在扩散模型的零样本插值方法，结合文本反转嵌入、可选姿态与CLIP筛选，在多场景实现可信插值并指出现有定量指标的不足。
2023-07-24 cs.CV
NeurInt : Learning to Interpolate through Neural ODEs
Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）
广泛的应用需要学习图像生成模型，其潜在空间有效地捕获数据分布中存在的高级变化因素。模型通过其潜在空间表示这种变化的程度可以通过其在图像之间平滑插值的能力来判断。然而，大多数生成模型在生成图像之前映射一个固定的插值轨迹，导致插值轨迹缺乏平滑度，并且包含质量降低的图像。在这项工作中，我们提出了一种新的生成模型，学习一个灵活的非参数先验插值轨迹，条件对源和目标图像。我们不依赖于确定性插值方法（例如潜在空间中的线性或球面插值），而是设计了一个框架，该框架使用潜在二阶神经常微分方程来学习两个给定图像之间的轨迹分布。通过重建和对抗损失的混合组合，生成器被训练成将来自这些轨迹的采样点映射到从源图像平滑过渡到目标图像的真实图像序列。通过全面的定性和定量实验，我们证明了我们的方法在生成质量更高的图像方面的有效性，以及它在任何一对真实源和目标图像的平滑插值轨迹上学习不同分布的能力。
2021-11-07 cs.AI cs.CV cs.LG
Going beyond Compositions, DDPMs Can Produce Zero-Shot Interpolations
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本研究突破DDPM仅能组合训练因子的认知，证明在潜在因子支撑集有间隔的独立数据子集上训练的DDPM，可通过采样流程零样本生成分布中间区域图像，且在多属性多数据集上验证了该能力。
2024-07-10 cs.AI cs.CV cs.NE
Non-Parametric Priors For Generative Adversarial Networks
Arizona State University（亚利桑那州立大学）；Intel Corporation（英特尔公司）
生成对抗网络（GAN）的出现使合成、插值和数据增强方面的新能力成为可能，迄今为止这些能力被认为是非常具有挑战性的。然而，大多数GAN架构中的一个常见假设是简单参数潜在空间分布的假设。虽然易于实现，但简单的潜在空间分布对于插值等用途可能存在问题。这是由于样本在潜在空间中插值时的分布失配。我们提出了一个简单的形式化这个问题，使用概率论和现成的优化工具的基本结果，我们开发的方法来达到适当的非参数先验。所获得的先验表现出不寻常的定性性质，在其形状方面，和定量的好处，在较低的分歧与其中点分布。我们证明，我们设计的先验有助于提高图像生成沿任何欧几里德直线插值过程中，定性和定量，没有任何额外的培训或架构修改。拟议的提法相当灵活，为对潜在空间统计施加新的限制铺平了道路。
2019-05-16 cs.CV cs.LG
Norm-guided latent space exploration for text-to-image generation
Bar-Ilan University（巴伊兰大学）；OriginAI；Technion（以色列理工学院）；NVIDIA Research（英伟达研究院）
针对文本到图像扩散模型潜空间种子操作效果差的问题，提出基于范数先验的非欧氏插值与质心计算方法，显著提升稀有概念生成效果，在少样本和长尾基准上取得最优性能。
2023-11-05 cs.AI cs.CV
Image Interpolation with Score-based Riemannian Metrics of Diffusion Models
Hokkaido University（北海道大学）
本文提出将预训练扩散模型的数据空间视为黎曼流形，利用得分函数导出度量，实验表明该方法生成的图像插值比现有方法更真实、噪声更少且更忠实于提示。
2025-04-28 cs.CV
Masked Temporal Interpolation Diffusion for Procedure Planning in Instructional Videos
Harbin Institute of Technology（哈尔滨工业大学）；Key Lab of Intell. Info. Process., Inst. of Comput. Tech., CAS（计算技术研究所智能信息处理重点实验室）
本文提出掩码时序插值扩散模型MTID，通过在扩散模型中引入潜空间时序插值和动作感知掩码投影机制，增强视觉监督并约束动作生成空间，从而提升教学视频过程规划中动作序列的时序连贯性与任务对齐性。
2025-07-04 cs.CV
LION: Latent Point Diffusion Models for 3D Shape Generation
NVIDIA（英伟达）；University of Toronto（多伦多大学）；Vector Institute（向量研究所）
去噪扩散模型（DDMs）在三维点云合成中显示出良好的效果。为了推进3D DDM并使其对数字艺术家有用，我们需要（i）高生成质量，（ii）操作和应用（如条件合成和形状插值）的灵活性，以及（iii）输出平滑表面或网格的能力。为此，我们引入了分层的潜在点扩散模型（LION）的三维形状生成。LION是一个变分自编码器，它具有一个分层的潜在空间，结合了全局形状的潜在表示与点结构的潜在空间。对于生成，我们训练两个层次的DDM在这些潜在的空间。与直接在点云上操作的DDM相比，分层VAE方法提高了性能，而点结构的隐层仍然非常适合基于DDM的建模。在实验中，LION在多个ShapeNet基准测试中实现了最先进的生成性能。此外，我们的VAE框架使我们能够轻松地使用LION执行不同的相关任务：LION擅长多模态形状去噪和体素条件合成，并且可以适用于文本和图像驱动的3D生成。我们还演示了形状自动编码和潜在的形状插值，我们增加了狮子与现代表面重建技术，以生成光滑的三维网格。我们希望LION能够为艺术家提供一个强大的工具，因为它具有高质量的生成，灵活性和表面重建。项目页面和代码：https://nv-tlabs.github.io/LION.
2022-10-12 cs.CV cs.LG stat.ML
Smooth Diffusion: Crafting Smooth Latent Spaces in Diffusion Models
Georgia Tech（佐治亚理工学院）；UIUC（伊利诺伊大学厄巴纳-香槟分校）；Tsinghua University（清华大学）；Picsart AI Research (PAIR)（Picsart人工智能研究院（PAIR））
本文提出 Smooth Diffusion，通过逐步变化正则化和 ISTD 指标构建并评估平滑潜空间，以即插即用 Smooth-LoRA 提升 T2I 生成及下游任务表现。
2023-12-07 cs.CV
Inverting the Generation Process of Denoising Diffusion Implicit Models: Empirical Evaluation and a Novel Method
Graduate School of Information Sciences, Tohoku University（东北大学信息科学研究生院）；RIKEN Center for AIP（理化学研究所AIP中心）
提出一种结合梯度下降和不动点方法的混合方法，用于从生成图像中恢复DDIM的初始噪声图，显著提高了预测精度和重建质量。
2026-06-02 cs.CV
TANGO: Co-Speech Gesture Video Reenactment with Hierarchical Audio Motion Embedding and Diffusion Interpolation
The University of Tokyo（东京大学）；CyberAgent（CyberAgent公司）；CyberAgent AI Lab（CyberAgent人工智能实验室）
针对手势视频重演中音频-运动不对齐、转换帧有伪影的问题，提出TANGO框架，通过AuMoCLIP分层嵌入提升跨模态对齐，用ACInterp扩散模型生成高质量转换帧，效果优于现有方法。
2024-10-05 cs.CV
FC-VFI: Faithful and Consistent Video Frame Interpolation for High-FPS Slow Motion Video Generation
Zhejiang University Chinese University of Hong Kong（浙江大学香港中文大学）
FC-VFI通过引入时间建模策略和语义匹配线，实现了高帧率慢动作视频生成中的忠实且一致的帧插值。
2026-03-05 cs.CV
AID: Attention Interpolation of Text-to-Image Diffusion
National University of Singapore（新加坡国立大学）；Nanyang Technological University（南洋理工大学）
本文提出免训练的AID方法，通过内/外插值注意力层、与自注意力融合及beta分布选择，提升文本到图像扩散模型在条件插值中的一致性、平滑性与保真度，并支持路径控制。
2024-10-04 cs.AI cs.CV
LAFP: Preserving Latent Action Structure in Latent Policy Learning via Flow Matching
Fudan University（复旦大学）；Morphi
提出LAFP方法，利用流匹配学习潜在策略，并引入推理时插值机制缓解随机性导致的错位，在模仿学习任务中成功率提升10-15%，推理开销增加不到1倍。
2026-06-09 cs.CV
Improving Inversion and Generation Diversity in StyleGAN using a Gaussianized Latent Space
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
现代生成对抗网络能够从生活在低维学习的潜在空间中的潜在向量创建人工的、照片般真实的图像。已经证明，可以将大范围的图像投影到这个空间中，包括生成器训练的域之外的图像。然而，虽然在这种情况下，生成器再现了图像的像素和纹理，但重建的潜在向量是不稳定的，并且小的扰动会导致显着的图像失真。在这项工作中，我们建议显式地模拟潜在空间中的数据分布。我们表明，在一个简单的非线性操作，数据分布可以建模为高斯，因此表示使用足够的统计。这产生了一个简单的高斯先验，我们使用它来正则化图像到潜在空间的投影。所得到的投影位于潜在空间的更平滑且表现更好的区域中，如使用真实图像和生成图像的插值性能所示。此外，高斯模型的潜在空间中的分布，使我们能够调查在生成器输出的文物的起源，并提供了一种方法，减少这些文物，同时保持多样性的生成图像。
2020-09-14 cs.CV
Exploiting Spatial Dimensions of Latent in GAN for Real-time Image Editing
NAVER AI Lab（NAVER人工智能实验室）；Seoul National University（首尔国立大学）；Yonsei University（延世大学）
生成对抗网络（GANs）从随机潜在向量合成逼真的图像。虽然操纵潜向量控制合成输出，但使用GANs编辑真实图像会遭受i）将真实图像投影到潜向量的耗时优化，ii）或通过编码器的不准确嵌入。我们提出StyleMapGAN：中间潜在空间具有空间维度，并且空间变化调制代替AdaIN。它使通过编码器的嵌入比现有的基于优化的方法更准确，同时保持GANs的属性。实验结果表明，我们的方法显着优于国家的最先进的模型在各种图像处理任务，如本地编辑和图像插值。最后但同样重要的是，GANs上的传统编辑方法在我们的StyleMapGAN上仍然有效。源代码可在https://github.com/naver-ai/StyleMapGAN上获得。
2021-06-23 cs.CV cs.LG
DiffMorpher: Unleashing the Capability of Diffusion Models for Image Morphing
Tsinghua University（清华大学）；Nanyang Technological University（南洋理工大学）；Shanghai AI Laboratory（上海人工智能实验室）
针对扩散模型因潜空间非结构化难以实现平滑图像插值的问题，提出DiffMorpher方法，通过双LoRA拟合、参数与噪声插值等技术实现自然图像变形，效果优于现有方法，填补了扩散模型与GAN的功能差距。
2023-12-12 cs.CV
Bridging Event Streams and DiT: Event-Guided Video Frame Interpolation
The University of Tokyo（东京大学）；South China University of Technology（华南理工大学）；Wuhan University（武汉大学）；Singapore Management University（新加坡管理大学）
本文提出基于适配器的框架，将事件衍生提示融入预训练图像转视频扩散模型，利用IWEs与双向稀疏光流引导生成，提升视频帧插值质量，效果优于现有SOTA方法。
2026-08-13 cs.CV
Motion-Aware Generative Frame Interpolation
State Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）；Platform and Content Group (PCG), Tencent（腾讯平台与内容事业群）；Shanghai AI Lab（上海人工智能实验室）
本文提出运动感知的生成式视频插帧方法MoG，通过中间光流双重引导注入与选择性参数微调，在保持运动稳定性的同时自适应修正复杂区域伪影，在真实与动画基准上均优于现有方法。
2025-03-08 cs.CV
EDEN: Enhanced Diffusion for High-quality Large-motion Video Frame Interpolation
Shanghai Key Lab of Intell. Info. Processing, School of CS, Fudan University（上海智能信息处理关键实验室，复旦大学计算机学院）；Shanghai Collaborative Innovation Center of Intelligent Visual Computing（上海智能视觉计算协同创新中心）；Noah’s Ark Lab, Huawei（华为诺亚实验室）
针对大运动视频帧插值中帧模糊和时间不一致问题，本文提出 EDEN，通过 transformer tokenizer、时间注意力和起止帧差异嵌入增强扩散生成，并在多个基准上取得最优性能。
2025-05-10 cs.CV
SNM-VFI: Symmetric Nonlinear Motion-Guided Generative Video Frame Interpolation
Qualcomm（高通公司）
提出无需训练的SNM-VFI框架，结合预训练光流与视频扩散模型，用对称非线性运动模型引导生成过程，经多基准评估实现了优质视频帧插值效果。
2026-08-14 cs.CV
A structured latent space for human body motion generation
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立理工学院）；University of Manitoba（曼尼托巴大学）
我们提出了一个框架来学习一个结构化的潜在空间来表示4D人体运动，其中每个潜在向量编码整个3D人体形状的完整运动。一方面，存在几个数据驱动的骨骼动画模型，提出时间密集的运动信号的运动空间，但基于几何稀疏的运动表示。另一方面，存在许多方法来构建密集的3D几何形状的形状空间，但是用于静态帧。我们把这两个概念，提出了一个运动空间，是密集的时间和几何。一旦训练完成，我们的模型就会基于低维潜在空间中的一个点生成密集3D网格的多帧序列。这个潜在的空间被构建成结构化的，使得类似的运动形成集群。它还将持续时间的变化嵌入到潜在向量中，允许语义上接近的序列共享相似的潜在向量，这些序列的差异仅在于时间展开。我们的实验证明我们的潜在空间的结构特性，并显示它可以用来生成不同的行动之间的合理插值。我们还将我们的模型应用于4D人体运动的完成，显示其有前途的能力，学习人体运动的时空特征。
2022-09-01 cs.CV
OptGAN: Optimizing and Interpreting the Latent Space of the Conditional Text-to-Image GANs
University of Groningen（格罗宁根大学）
文本到图像生成旨在自动生成照片般逼真的图像，以文本描述为条件。它可以潜在地应用于艺术创作，数据增强，照片编辑等领域，虽然许多努力已经致力于这项任务，它仍然是特别具有挑战性的，以产生可信的，自然的场景。为了促进文本到图像合成的实际应用，我们重点研究了以下三个问题：1）如何确保生成的样本是可信的，真实的或自然的？2)如何开发生成器的潜在空间来编辑合成图像？3)如何提高文本到图像生成框架的可解释性？在这项工作中，我们构建了两个新的数据集（即，根据严格的标准，包括成功和不成功的生成样本的好鸟和坏鸟和脸数据集）。为了通过增加生成良好潜在代码的概率来有效地获取高质量图像，我们对生成的图像使用专用的好/坏分类器。它基于预先训练的前端，并根据建议的好与坏数据集进行微调。在此之后，我们提出了一种新的算法，该算法通过对生成器的预训练权重值进行独立分量分析来识别条件文本到图像GAN架构的潜在空间中的语义可理解方向。此外，我们开发了一个背景平坦损失（BFL），以改善编辑后的图像中的背景外观。随后，我们介绍了线性插值分析之间的关键字对。这是扩展到一个类似的三角形的“语言”插值，以深入了解什么是文本到图像的合成模型中学习的语言嵌入。我们的数据集可在https://zenodo.org/record/6283798#.YhkN_ujMI2w上获得。
2022-02-25 cs.CV cs.LG
Modelling Latent Dynamics of StyleGAN using Neural ODEs
University College London（伦敦大学学院）；Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院，清华大学）
本文用 Neural ODE 学习 StyleGAN 反演潜码的连续状态转移轨迹，实现无限帧插值与仅需编辑首帧的时间一致视频操控，并以更低计算达到最优性能。
2023-04-22 cs.CV
Language-Guided Trajectory Traversal in Disentangled Stable Diffusion Latent Space for Factorized Medical Image Generation
McGill University（麦吉尔大学）；MILA-Quebec AI Institute（米拉-魁北克人工智能研究所）
首次探讨微调预训练视觉-语言基础模型在医学图像潜空间解耦中的能力，设计框架通过Stable Diffusion潜空间轨迹遍历识别与操纵关键属性，实现因子化医学图像的精确生成与插值。
2025-03-30 cs.CV
Probability Density Geodesics in Image Diffusion Latent Space
Australian National University（澳大利亚国立大学）；GE Research（通用电气研究中心）
本文提出在图像扩散潜空间中按概率密度加权计算测地线，并给出求解算法，实现免训练的图像序列插值与外推。
2025-05-07 cs.CV
LAMS-Edit: Latent and Attention Mixing with Schedulers for Improved Content Preservation in Diffusion-Based Image and Style Editing
Graduate School of Information Sciences, Tohoku University（东北大学信息科学研究生院）
LAMS-Edit通过调度器结合潜在表示和注意力图，实现扩散模型中更精确的内容保留与编辑应用，支持区域掩码编辑和风格迁移。
2026-01-06 cs.AI cs.CV
Defocus Blur Synthesis and Deblurring via Interpolation and Extrapolation in Latent Space
University of Twente（特温特大学）
本文提出一种基于潜在空间线性插值与外推的方法，利用正则化自编码器实现显微镜图像的散焦模糊合成与去模糊，从而提升数据多样性和图像质量。
2023-07-28 cs.CV eess.IV
ConfCtrl: Enabling Precise Camera Control in Video Diffusion via Confidence-Aware Interpolation
University of Freiburg（弗赖堡大学）；Ludwig Maximilian University of Munich（慕尼黑路德维希-马克西米利安大学）；Technical University of Munich（慕尼黑技术大学）；Huawei Heisenberg Research Center (Munich)（华为海森堡研究中心（慕尼黑））
ConfCtrl通过置信度感知插值实现视频扩散中的精确相机控制，解决大视角变化下新视角生成问题，提升几何一致性与视觉合理性。
2026-03-10 cs.CV
Generative Latent Diffusion for Efficient Spatiotemporal Data Reduction
University of Florida（佛罗里达大学）
本文提出一种结合变分自编码器与条件扩散模型的潜在扩散框架，仅压缩少量关键帧并通过生成式插值重建其余帧，在多个数据集上实现比SZ3高10倍的压缩比和比领先学习方法高63%的性能。
2025-07-02 cs.CV cs.LG
Frozen Flows Forget: Diagnosing and Restoring Lost Motion in a Latent-flow World Model
Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Shanghai Jiaotong University（上海交通大学）；Wuhan University of Technology（武汉理工大学）
针对冻结潜在流世界模型中运动丢失问题，提出解码增强的展开训练（DART），仅重训练流并利用解码路径监督，恢复运动结构并提升预测质量，缩小与理想插值的差距。
2026-09-24 cs.AI cs.CV cs.RO
DeepFreqMark: End-To-End Learnable Frequency-Domain Watermarking with Spherical Attack Simulation for Latent Diffusion Models
National Taiwan University（台湾大学）；Kyushu Institute of Technology（九州工业大学）
针对潜在扩散模型生成图像的版权与虚假信息问题，提出DeepFreqMark频域水印框架，结合球形攻击模拟规避计算瓶颈，其误码率显著低于基线，消息容量可达256位。
2026-08-11 cs.AI cs.CV
KeyPointDiffuser: Unsupervised 3D Keypoint Learning via Latent Diffusion Models
Monash University（蒙纳士大学）；Australian National University（澳大利亚国立大学）
KeyPointDiffuser通过潜在扩散模型实现无监督3D关键点学习，提升关键点一致性6个百分点。
2025-12-03 cs.CV cs.LG
Video Frame Interpolation by Plug-and-Play Deep Locally Linear Embedding
Yonsei University（延世大学）
我们提出了一个生成框架，它承担了视频帧插值问题。我们的框架，我们称之为深度局部线性嵌入（DeepLLE），由深度卷积神经网络（CNN）提供支持，同时它可以像传统模型一样立即使用。DeepLLE将自动编码CNN拟合到一组几个连续帧，并在潜在代码上嵌入线性约束，以便可以通过插入新的潜在代码来生成新帧。与当前需要在大型数据集上进行训练的深度学习范式不同，DeepLLE以即插即用和无监督的方式工作，并且能够生成任意数量的帧。彻底的实验表明，没有花里胡哨，我们的方法是目前最先进的模型之间的竞争力很强。
2018-07-04 cs.CV eess.IV
Hessian Geometry of Latent Space in Generative Models
Artificial Neural Computing Corp.（人工神经计算公司）；School of Digital Technologies, Tallinn University（数字技术学院，塔林大学）
本研究提出一种通过重构Fisher信息度量分析生成模型隐空间几何的新方法，经理论证明与物理模型验证，应用于扩散模型时揭示了隐空间相变的分形结构，为理解扩散模型隐空间特性提供了新视角。
2025-06-12 cond-mat.stat-mech cs.CV cs.LG
Your Latent Mask is Wrong: Pixel-Equivalent Latent Compositing for Diffusion Models
Bradbury Group（布拉德伯格集团）
本文提出PELC原则，通过DecFormer实现像素等效潜在合成，提升扩散模型在补全任务中的性能与保真度。
2025-12-04 cs.CV cs.GR cs.LG
Continuous Filtered Backprojection by Learnable Interpolation Network
School of Mathematics and Statistics, Xi’an Jiaotong University（数学与统计学学院，西安交通大学）；School of Biomedical Engineering, Southern Medical University（生物医学工程学院，南方医科大学）；School of Life Science and Technology, Xi’an Jiaotong University（生命科学与技术学院，西安交通大学）
本文提出LInFBP模型，通过深度网络学习离散正弦图数据的潜在连续函数，在滤波反投影的反投影步骤中实现可学习插值以减少插值误差，从而提升CT图像重建质量，并具备即插即用和泛化能力。
2025-05-03 cs.CV eess.IV
