BLENDER: Blended Text Embeddings and Diffusion Residuals for Intra-Class Image Synthesis in Deep Metric Learning
Meta Reality Labs(Meta现实实验室);Technical University of Darmstadt(达姆斯塔特技术大学)
BLENDER通过集合论操作提升深度度量学习中类内图像合成的可控多样性,实现性能提升。
2026-01-28 cs.CV
Latent Combinational Game Design
Khoury College of Computer Sciences, Northeastern University(东北大学胡里计算机科学学院)
提出潜在组合游戏设计方法,利用GMVAE和CGMVAE生成可玩的混合游戏,控制混合比例,实验证明在平台和地牢游戏中有效。
2023-12-20 cs.AI cs.LG
Unifying Diffusion Models' Latent Space, with Applications to CycleDiffusion and Guidance
Carnegie Mellon University(卡内基梅隆大学)
扩散模型在生成式建模中取得了前所未有的性能。通常采用的扩散模型的潜在代码的公式是逐渐去噪的样本的序列,与更简单的(例如,高斯)GANs、VAE和归一化流的潜在空间。本文提供了一种替代方案,高斯制定的潜在空间的各种扩散模型,以及一个可逆的DPM编码器,图像映射到潜在空间。虽然我们的配方是纯粹基于扩散模型的定义,我们证明了几个有趣的后果。(1)从经验上讲,我们观察到一个共同的潜在空间出现在两个扩散模型独立训练相关领域。鉴于这一发现,我们提出了CycleDiffusion,它使用DPM编码器进行不成对的图像到图像的翻译。此外,应用CycleDiffusion的文本到图像的扩散模型,我们表明,大规模的文本到图像的扩散模型可以被用作zero-shot图像到图像的编辑器。(2)人们可以通过控制基于能量模型的统一即插即用公式中的潜在代码来指导预先训练的扩散模型和GANs。使用CLIP模型和人脸识别模型作为指导,我们证明了扩散模型比GANs更好地覆盖低密度子群体和个体。该代码可在https://github.com/ChenWu98/cycle-diffusion上公开获取。
2022-12-07 cs.CV cs.GR cs.LG
Single Mesh Diffusion Models with Field Latents for Texture Generation
Google Research(谷歌研究院);PlayStation
提出直接在3D表面操作的场潜变量扩散模型框架,通过离散向量场编码纹理并学习去噪,实现高质量单网格纹理生成、编辑与迁移。
2024-05-28 cs.CV cs.GR cs.LG
MeshUp: Multi-Target Mesh Deformation via Blended Score Distillation
University of Chicago(芝加哥大学);University of Montreal(蒙特利尔大学);Adobe Research(奥多比研究院)
提出MeshUp技术,通过混合分数蒸馏(BSD)控制3D网格向多目标概念变形,支持文本/图像定义概念、顶点选区域,实验验证有效性,项目页公开。
2025-02-10 cs.CV cs.GR
Imagine for Me: Creative Conceptual Blending of Real Images and Text via Blended Attention
Elmore Family School of Electrical and Computer Engineering, Purdue University(埃尔摩家庭电气与计算机工程学院,普渡大学);Toyota Research Institute(丰田研究院)
提出T2I扩散适配器IT-Blender,利用预训练扩散模型(SD和FLUX)结合混合注意力机制,无损编码真实图像并以解耦方式混合视觉与文本概念,大幅优于基线方法,有效增强人类创造力。
2025-07-14 cs.AI cs.CV
Your Latent Mask is Wrong: Pixel-Equivalent Latent Compositing for Diffusion Models
Bradbury Group(布拉德伯格集团)
本文提出PELC原则,通过DecFormer实现像素等效潜在合成,提升扩散模型在补全任务中的性能与保真度。
2025-12-04 cs.CV cs.GR cs.LG
Isometric Representation Learning for Disentangled Latent Space of Diffusion Models
Seoul National University(首尔大学);Google Research(谷歌研究院)
针对扩散模型潜在空间纠缠和映射畸变问题,提出等距扩散方法,通过几何正则化器学习解纠缠潜在空间,实现更平滑插值、更精确反演和更精细属性控制,实验验证有效。
2024-07-16 cs.CV cs.LG
Latent Diffusion Inversion Requires Understanding the Latent Space
Vanderbilt University(范德比大学)
本文研究了扩散模型在潜在空间中的记忆现象,发现潜在空间中记忆分布不均,提出通过排序潜在维度来提升模型性能,实验显示在多个数据集上性能提升显著。
2026-03-25 cs.CV cs.LG
Latent Forcing: Reordering the Diffusion Trajectory for Pixel-Space Image Generation
stanford(斯坦福大学);umich(密歇根大学)
本文提出潜在强制方法,通过重新排列扩散轨迹提升像素空间图像生成效率,实现端到端建模优势,取得ImageNet上的新突破。
2026-02-11 cs.CV cs.LG
Transparent Image Layer Diffusion using Latent Transparency
Stanford University(斯坦福大学)
该研究提出LayerDiffuse方法,通过学习潜在透明度微调预训练潜在扩散模型以生成透明图像,支持多类应用,用户偏好度和素材质量均表现优异。
2024-06-23 cs.CV cs.GR
Measurement-Consistent Langevin Corrector for Stabilizing Latent Diffusion Inverse Problem Solvers
Sookmyung Women's University(成均馆女子大学)
针对潜在扩散模型逆问题求解器的不稳定性,提出测量一致朗之万校正器(MCLC),通过测量一致的朗之万更新缩小求解器与稳定反向扩散之间的差距,实现稳定可靠的潜在空间求解。
2026-06-05 cs.CV cs.LG
CASL: Concept-Aligned Sparse Latents for Interpreting Diffusion Models
University of Virginia(弗吉尼亚大学)
CASL通过监督框架将扩散模型的稀疏潜在维度与语义概念对齐,提升生成图像的解释性和编辑精度。
2026-01-21 cs.CV cs.LG
A Simple Latent Diffusion Approach for Panoptic Segmentation and Mask Inpainting
INSAIT;Google DeepMind(谷歌DeepMind)
提出基于稳定扩散的潜在扩散方法,简化全景分割架构,无需复杂模块,通过两步训练实现掩膜修复,在COCO和ADE20k上表现优异,并支持多任务。
2024-07-16 cs.CV cs.LG
Disentanglement in T-space for Faster and Distributed Training of Diffusion Models with Fewer Latent-states
Amazon(亚马逊)
该研究挑战扩散模型需大量潜态的假设,通过精心设计噪声调度实现少潜态训练,并提出T空间完全解耦的单潜态模型,组合后生成高质量样本且收敛速度快4-6倍。
2025-08-20 cs.CV cs.LG
Sampling 3D Gaussian Scenes in Seconds with Latent Diffusion Models
University of Glasgow(格拉斯哥大学);University of Edinburgh(爱丁堡大学)
本研究提出仅用2D图像训练的3D场景潜在扩散模型,通过自编码器构建3D高斯泼溅的潜在表示并训练多视图扩散模型,在两个大规模数据集上实现0.2秒生成高质量3D场景,速度较同类模型快一个数量级。
2024-06-18 cs.CV cs.LG
Efficient Video Diffusion Models via Content-Frame Motion-Latent Decomposition
KAIST(韩国科学技术院);NVIDIA Corporation(英伟达公司);UC Berkeley(加州大学伯克利分校);Caltech(加州理工学院)
提出内容-运动潜变量扩散模型CMD,通过将视频分解为内容帧与低维运动潜变量表示,利用预训练图像扩散模型生成内容帧并训练轻量级模型生成运动潜变量,显著提升了视频生成质量并大幅降低了计算成本。
2024-03-21 cs.CV cs.LG
Video Probabilistic Diffusion Models in Projected Latent Space
KAIST(韩国科学技术院);Google Research(谷歌研究院)
尽管在深度生成模型方面取得了显着进展,但由于其高维性和复杂的时间动态以及大的空间变化,合成高分辨率和时间相干的视频仍然是一个挑战。最近的工作扩散模型已经显示出他们的潜力,以解决这一挑战,但他们遭受严重的计算和内存效率低下,限制了可扩展性。为了解决这个问题,我们提出了一种新的生成模型的视频,创造投影潜在视频扩散模型(PVDM),概率扩散模型,学习视频分布在一个低维的潜在空间,从而可以有效地训练与高分辨率的视频在有限的资源。具体来说,PVDM由两个组件组成:(a)一个自动编码器,它将给定的视频投影为2D形状的潜在向量,这些潜在向量对视频像素的复杂立方结构进行因式分解;以及(b)一个扩散模型架构,专门用于我们新的因式分解潜在空间和训练/采样过程,以便用单个模型合成任意长度的视频。在流行的视频生成数据集上的实验证明了PVDM与以前的视频合成方法相比的优越性;例如,PVDM在UCF-101长视频(128帧)生成基准上获得639.7的FVD分数,这提高了现有技术的1773.4。
2023-03-30 cs.CV cs.LG
Unified Latents (UL): How to train your latents
Google DeepMind(谷歌DeepMind)
本文提出统一潜在空间框架,通过结合扩散先验和模型实现高效潜在表示学习,实现在ImageNet-512和Kinetics-600上的优异性能。
2026-02-19 cs.CV cs.LG
WorldDynCache: Risk-Controlled Latent Dynamics Approximation for Diffusion World Model
本文提出WorldDynCache框架,通过风险估计器和提升隐式代理解决扩散世界模型推理慢的问题,在两个数据集上实现加速并取得最优生成质量。
2026-08-04 cs.CV cs.LG
Flash-Split: 2D Reflection Removal with Flash Cues and Latent Diffusion Separation
University of Maryland(马里兰大学)
本文提出Flash-Split框架,利用闪光/无闪光图像对在潜在空间中进行双阶段扩散分离与跨潜在解码,有效去除透明表面反射并恢复高分辨率细节,在真实场景中显著超越现有方法。
2024-12-31 cs.CV cs.LG
Orchid: Image Latent Diffusion for Joint Appearance and Geometry Generation
Google DeepMind(谷歌DeepMind);Georgia Institute of Technology(佐治亚理工学院);Waymo
该研究提出统一潜在扩散模型Orchid,通过学习联合外观-几何先验在单一扩散过程中生成颜色、深度和表面法线图像,效率与连贯性优于现有方法,在几何预测任务中表现出色且支持多种应用。
2025-08-23 cs.CV cs.LG
LatentMan: Generating Consistent Animated Characters using Image Diffusion Models
KAUST(阿卜杜拉国王科技大学)
提出LatentMan零样本方法,利用文本动作扩散模型指导T2I模型生成连续动作动画角色视频,通过Spatial Latent Alignment和Pixel-Wise Guidance提升帧间时间一致性,优于现有零样本T2V方法。
2024-06-02 cs.CV cs.LG
InfoDiffusion: Representation Learning Using Information Maximizing Diffusion Models
Cornell University(康奈尔大学);Cornell Tech(康奈尔科技学院);Weill Cornell Medicine(威尔康奈尔医学院)
针对扩散模型潜变量缺乏语义、不适用于表示学习的问题,提出InfoDiffusion算法,通过互信息正则化的学习目标引入低维潜变量,在保留扩散模型高样本质量的同时,学习到可与最优方法媲美的解耦可解释潜表示,支持图像属性操控等应用。
2026-10-27 cs.CV cs.LG
Latent Diffusion : Multi-Dimension Stable Diffusion Latent Space Explorer
The Hong Kong University of Science and Technology (Guangzhou)(香港科学与技术大学(广州))
针对 Stable Diffusion 缺乏直观潜向量控制的问题,本文提出可定制潜空间操作框架,并通过两件生成艺术作品验证其概念融合与动态运动生成能力。
2025-09-26 cs.AI cs.LG
Prompt-tuning latent diffusion models for inverse problems
Google Research(谷歌研究院);KAIST(韩国科学技术院)
本研究针对现有潜在扩散模型解决成像逆问题时空文本提示性能欠佳、易出伪影的问题,提出实时联合优化文本嵌入的提示调优与潜变量投影方法,组合为P2L,在多类逆任务上性能更优。
2023-10-02 cs.AI cs.CV cs.LG
Creative Painting with Latent Diffusion Models
NVIDIA(英伟达)
近年来,艺术绘画取得了重大进展。潜空间扩散模型(LDMs)利用自编码器将原始图像与压缩的潜空间连接起来,并以交叉注意增强的U-网作为扩散的主干,实现了稳定且高繁殖力的图像生成。在本文中,我们专注于提高当前LDM的创造性绘画能力在两个方向,文本条件扩展和模型再训练与Wikiart数据集。通过文本条件扩展,用户的输入提示扩展了丰富的上下文知识,更深入地理解和解释提示。维基艺术数据集包含近400年来由1,000多位着名艺术家绘制的80 K着名艺术品,风格和流派丰富。通过再培训,我们能够要求这些艺术家在现代主题上绘制新颖和创造性的绘画。通过与原模型的直接对比,证明了该模型的创造性和艺术性。
2022-09-30 cs.AI cs.CL cs.CV
PeLAP-A: Adaptive Latent Pruning for Lightweight Latent Diffusion Models
National University of Computer and Emerging Sciences(国立计算机与新兴科学大学)
提出PeLAP-A框架,通过可学习的通道重要性预测器对潜在通道进行自适应剪枝,发现强稀疏正则化下所有通道被抑制但去噪UNet性能反而提升,揭示潜在扩散模型的信息冗余现象。
2026-06-23 cs.LG
Seamless Human Motion Composition with Blended Positional Encodings
Universitat de Barcelona(巴塞罗那大学);Computer Vision Center(计算机视觉中心)
本文提出 FlowMDM,通过混合位置编码和姿态中心交叉注意力实现无需后处理的无缝长时人体运动合成,并在 Babel 和 HumanML3D 上取得最优效果,同时提出新的过渡平滑度指标。
2024-02-23 cs.CV
Unified Backbone Refinement for Diffusion Models via Internal-Latent Analysis
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院);INEEJI
研究扩散模型骨干细化问题,提出DUNE框架,通过分析内部潜变量检测突变偏差,对选定条目进行骨干特定抑制,可自然扩展到基于Transformer的模型,经实验验证该方法能提高保真度并减少幻觉。
2026-07-14 cs.AI cs.CV cs.LG
Variational Diffusion Auto-encoder: Latent Space Extraction from Pre-trained Diffusion Models
University of Cambridge(剑桥大学)
本文提出变分扩散自编码器,通过优化编码器最大化边际对数似然从预训练扩散模型提取潜在空间,并解析推导解码器,摒弃高斯假设与独立训练,显著提升VAEs性能。
2023-05-18 cs.CV cs.LG stat.ML
Hyperbolic Geometric Latent Diffusion Model for Graph Generation
Guangxi Normal University(广西师范大学);Beihang University(北京航空航天大学)
针对现有潜在扩散模型难以保留图拓扑信息的问题,本文提出基于双曲几何的 HypDiff 框架,通过径向与角度约束的各向异性潜在扩散过程提升图生成效果。
2024-05-06 cs.LG
What Matters for Diffusion-Friendly Latent Manifold? Prior-Aligned Autoencoders for Latent Diffusion
Shanghai Jiao Tong University(上海交通大学);Alibaba Group(阿里巴巴集团);Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(深圳先进技术研究院,中国科学院);Beihang University(北航);Sun Yat-sen University(中山大学);Nankai University(南开大学);Shanghai AI Laboratory(上海人工智能实验室)
本文研究潜在 manifold 组织对扩散模型生成质量的影响,提出 PAE 显式构建潜在 manifold,提升训练效率和生成质量,达到新状态的 gFID 1.03。
2026-05-08 cs.CV
Taming Sampling Perturbations with Variance Expansion Loss for Latent Diffusion Models
University of Electronic Science and Technology of China(电子科学与技术大学)
本文提出方差扩展损失,通过对抗重建与方差扩展的交互,提升潜在空间鲁棒性,改进扩散生成质量。
2026-03-22 cs.CV
Multimodal Latent Language Modeling with Next-Token Diffusion
Microsoft Research(微软研究院);Tsinghua University(清华大学)
针对多模态生成需统一处理离散与连续数据的问题,本研究提出LatentLM,结合VAE、下一词元扩散及σ-VAE,在图像生成、多模态大模型集成、语音合成等任务上实现更优性能与可扩展性。
2024-12-11 cs.CL cs.CV cs.LG
PiD: Fast and High-Resolution Latent Decoding with Pixel Diffusion
NVIDIA
提出像素扩散解码器PiD,将潜解码重构为条件像素扩散,统一解码与上采样,实现低延迟高分辨率图像生成。
2026-05-22 cs.CV
Smooth Diffusion: Crafting Smooth Latent Spaces in Diffusion Models
Georgia Tech(佐治亚理工学院);UIUC(伊利诺伊大学厄巴纳-香槟分校);Tsinghua University(清华大学);Picsart AI Research (PAIR)(Picsart人工智能研究院(PAIR))
本文提出 Smooth Diffusion,通过逐步变化正则化和 ISTD 指标构建并评估平滑潜空间,以即插即用 Smooth-LoRA 提升 T2I 生成及下游任务表现。
2023-12-07 cs.CV
Decoding Diffusion: A Scalable Framework for Unsupervised Analysis of Latent Space Biases and Representations Using Natural Language Prompts
University of Waterloo(滑铁卢大学)
本文提出一种利用自然语言提示和图像描述映射潜在方向的无监督框架,无需训练特定向量即可自动分析扩散模型潜在空间中的偏差和表示,实现更可扩展和可解释的理解。
2024-11-04 cs.AI cs.CL cs.CV
DisCo-Diff: Enhancing Continuous Diffusion Models with Discrete Latents
MIT(麻省理工学院);NVIDIA(英伟达)
DisCo-Diff通过引入可学习的离散潜变量简化连续扩散模型对复杂数据分布的建模,降低生成ODE曲率,在图像合成和分子对接等任务上取得最先进性能。
2024-07-03 cs.AI cs.CV cs.LG
Latent Diffusion for Missing Data
Technical University of Denmark(丹麦技术大学);Pioneer Centre for Artificial Intelligence(先锋人工智能中心)
提出两阶段框架,先利用鲁棒VAE从缺失数据中学习潜在表示,再训练扩散模型,在MCAR缺失率高达50%时仍保持高质量生成,优于像素空间扩散。
2026-06-23 cs.LG stat.ML
Improving Vector-Quantized Image Modeling with Latent Consistency-Matching Diffusion
Sony AI(索尼人工智能研究院);Stanford University(斯坦福大学);Sony Group Corporation(索尼集团公司)
针对向量量化图像建模中端到端联合训练易导致嵌入崩溃的问题,提出连续空间潜在扩散框架VQ-LCMD,结合变分下界与一致性匹配损失及噪声调度策略稳定训练,在多个图像生成基准上取得更优效果。
2025-04-01 cs.LG
LatentCRF: Continuous CRF for Efficient Latent Diffusion
Google Research(谷歌研究院);Stony Brook University(石溪大学)
针对LDM多次推理迭代导致延迟的问题,提出作为神经网络层的连续CRF模型LatentCRF,通过建模潜在向量间关系替代部分计算密集的推理迭代,在无质量和多样性损失下将推理效率提升33%,且无需修改原LDM。
2024-12-24 cs.CV
Regularization by Texts for Latent Diffusion Inverse Solvers
KAIST(韩国科学技术院)
本文提出文本正则化方法TReg,通过在潜在扩散逆求解中引入文本描述与自适应否定机制,有效缓解逆问题的模糊性,提升求解的准确性与效率。
2025-03-11 cs.AI cs.CV cs.LG
DiLaDiff: Distilled Latent-Augmented Diffusion for Language Modeling
NVIDIA(英伟达)
提出DiLaDiff,通过连续潜在空间、潜在扩散模型和一致性蒸馏解决扩散语言模型在解码令牌相关性上的不足,提升采样质量和推理速度。
2026-05-22 cs.AI cs.CL cs.LG
Latent-Augmented Discrete Diffusion Models
Inria(法国国家信息与自动化技术研究院);PSL Research University(巴黎社会科学高等研究院);CMAP(巴黎高等理工学院应用数学与计算科学实验室);Ecole Polytechnique Palaiseau, France(法国巴黎高等理工学院Palaiseau分校);Sakana AI Tokyo, Japan(日本东京Sakana AI公司)
本文提出LADD模型,通过引入可学习的辅助潜在通道,在联合(token,latent)空间进行扩散,提升离散扩散模型的性能和效率。
2026-05-12 cs.AI cs.LG stat.ML
DiffusionCT: Latent Diffusion Model for CT Image Standardization
University of Kentucky(肯塔基大学);Rensselaer Polytechnic Institute(伦斯勒理工学院)
计算机断层扫描(CT)是有效的肺癌筛查,诊断,治疗和预后的方式之一。从CT图像中提取的特征现在用于量化肿瘤的空间和时间变化。然而,从具有定制采集协议的各种扫描仪获得的CT图像可能引入纹理特征的相当大的变化,即使对于同一患者。这对下游研究提出了根本性的挑战,需要一致和可靠的特征分析。现有的CT图像协调模型依赖于基于GAN的监督或半监督学习,性能有限。这项工作解决了CT图像协调使用一个新的扩散为基础的模型,命名为DiffusionCT,标准化从不同的供应商和协议获得的CT图像的问题。DiffusionCT通过将潜在的非标准分布映射到标准分布来在潜在空间中操作。DiffusionCT集成了一个基于Unet的编码器-解码器,并通过集成到瓶颈部分的扩散模型进行了增强。该模型分为两个训练阶段。首先训练编码器-解码器,而不嵌入扩散模型,以学习输入数据的潜在表示。然后在下一个训练阶段训练潜在扩散模型,同时固定编码器-解码器。最后,解码器将标准化图像与变换后的潜在表示合成。实验结果表明,使用DiffusionCT的标准化任务的性能显着提高。
2023-03-25 cs.CV eess.IV
Latent-Compressed Variational Autoencoder for Video Diffusion Models
Aalto University(阿alto大学);ELLIS Institute Finland(ELLIS研究所芬兰);University of Oulu(奥卢大学)
本文提出一种潜在压缩方法,通过去除视频潜在表示中的高频成分而非直接减少通道数,提升视频生成质量与压缩效率。
2026-04-12 cs.AI cs.CV
Latent Diffusion Models with Masked AutoEncoders
Seoul National University(首尔国立大学)
针对现有潜在扩散模型的自编码器无法同时满足潜在平滑性、感知压缩质量、重建质量三项关键属性的问题,提出融合掩码自编码器分层特征的变分掩码自编码器,构建新型潜在扩散模型LDMAE并开源代码。
2025-10-22 cs.CV
Principled Latent Diffusion for Graphs via Laplacian Autoencoders
Faculty of Computer Science(计算机科学系)
本文提出LG-Flow框架,通过置换等价自编码器实现图的近无损重建,解决图生成中扩散过程的二次复杂度问题,实现高效生成。
2026-05-12 cs.LG
Diffusion Models already have a Semantic Latent Space
Yonsei University(延世大学)
扩散模型在各个领域都有出色的生成性能。尽管它们取得了巨大的成功,但它们缺乏控制生成过程所必需的语义潜空间。为了解决这个问题,我们提出了非对称反向过程(Aqlp),它可以发现冻结预训练扩散模型中的语义潜在空间。我们的语义潜在空间,命名为h-空间,具有很好的属性,以适应语义图像操作:均匀性,线性,鲁棒性和跨时间步长的一致性。此外,我们介绍了一个原则性的设计生成过程的通用编辑和质量提升的量化措施:编辑强度的时间间隔和质量缺陷的时间步长。我们的方法适用于各种体系结构(DDPM++,iD-网络和ADM)和数据集(CelebA-HQ,AFHQ-狗,LSUN-教堂,LSUN-卧室和METFACES)。项目页面:https://kwonminki.github.io/Asyrp/
2023-03-29 cs.CV
Towards Unified and Lossless Latent Space for 3D Molecular Latent Diffusion Modeling
University of Science and Technology of China(中国科学技术大学);National University of Singapore(新加坡国立大学);DP Technology(DP技术)
本文提出统一变分自编码器UAE-3D,将3D分子压缩至无损的统一潜在空间,消除了多模态与等变性处理复杂性,结合Diffusion Transformer在3D分子生成任务中实现了领先的效率与质量。
2025-10-13 cs.LG
Diffusion As Self-Distillation: End-to-End Latent Diffusion In One Model
Institute of Artificial Intelligence(人工智能研究院);Peking University(北京大学)
针对标准潜在扩散模型三模块分阶段训练效率低、性能次优的问题,提出DSD框架通过修改训练目标解决潜在崩塌,首次实现单网络端到端训练编码、解码与扩散功能,在ImageNet生成任务上取得优异表现。
2025-11-18 cs.CV
Latent-Reframe: Enabling Camera Control for Video Diffusion Model without Training
University of Rochester(罗切斯特大学)
针对现有视频扩散模型相机控制需微调、成本高且破坏预训练分布的问题,提出Latent-Reframe方法,在采样阶段通过时间感知点云对齐潜码并优化,无需训练即可实现相当或更优的控制精度与视频质量。
2024-12-08 cs.CV
Latent Diffusion for Language Generation
Cornell University(康奈尔大学)
针对扩散模型在离散语言领域应用受限的问题,提出结合编码器-解码器语言自编码器与潜在空间连续扩散模型的语言生成方法,在多类生成任务上效果优于过往扩散语言模型。
2023-11-07 cs.CL cs.LG