UniFL: Improve Latent Diffusion Model via Unified Feedback Learning
Sun Yat-sen University(中山大学);Bytedance Inc(字节跳动公司);Peng Cheng Laboratory(鹏城实验室)
针对当前潜在扩散模型(LDM)在视觉质量、美学吸引力和推理效率上的局限性,提出统一反馈学习框架UniFL,通过三个关键组件全面增强模型,在SD1.5、SDXL等模型上验证了优越性能。
2024-11-26 cs.CV
Aligning Diffusion Models with Noise-Conditioned Perception
Artificial Intelligence Research Institute (AIRI)(人工智能研究 institute(AIRI));Skolkovo Institute of Science and Technology(斯克尔科沃科学与技术研究所);HSE University(俄罗斯高等经济学院);Research Center for Trusted Artificial Intelligence, ISP RAS(可信人工智能研究中心,信息与通信技术研究院);ISP RAS(信息与通信技术研究院)
本研究提出在扩散模型的U-Net嵌入空间中使用感知目标,以提升人类偏好对齐的效率和质量,并减少计算成本。
2025-12-02 cs.AI cs.CV
EMPURPLE: A Free Lunch for Diffusion Distillation based on the Information Bottleneck
University of Nottingham(诺丁汉大学);Ruhr University Bochum(波鸿鲁尔大学)
研究扩散模型推理成本高问题。通过PAC-style泛化界分析原因,提出无需训练的EMPURPLE减少中间潜在分布不匹配,提升FID,该方法与模型无关,在多个模型上效果显著。
2026-07-07 cs.CV
LS-GAN: Human Motion Synthesis with Latent-space GANs
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
本文提出LS-GAN框架,在隐空间中使用GAN进行文本条件的人体动作合成,在HumanML3D和HumanAct12上取得与扩散模型相当的效果,并将FLOPs降低91%以上。
2024-12-30 cs.AI cs.CV
Distilling Diffusion Models into Conditional GANs
Pohang University of Science and Technology(浦项科技大学);Adobe Research(奥多比研究院);Seoul National University(首尔大学);Carnegie Mellon University(卡内基梅隆大学)
我们提出将扩散模型蒸馏为单步条件GAN的方法,通过E-LatentLPIPS损失和多尺度判别器,在零样本COCO上超越DMD等模型,加速推理并保持图像质量。
2024-07-17 cs.CV cs.GR cs.LG
Semantic Image Synthesis with Semantically Coupled VQ-Model
University of Tübingen(图宾根大学);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
语义图像合成通过允许对正在生成的内容进行指导来实现对无条件图像生成的控制。我们有条件地合成的潜在空间从矢量量化模型(VQ模型)预训练自动编码图像。我们发现,联合学习条件和图像潜伏期显著提高了Transformer模型的建模能力,而不是在单独学习的条件潜伏期和图像潜伏期上训练自回归Transformer。虽然我们联合训练的VQ模型在语义和图像潜在内容方面都实现了与普通VQ模型相似的重建性能,但在自动编码阶段将这两种模态联系起来被证明是提高自回归建模性能的重要因素。我们表明,我们的模型使用流行的语义图像数据集ADE 20 k,Cityscapes和COCO-Stuff上的自回归模型改进了语义图像合成。
2022-09-06 cs.AI cs.CV
Mitigating Illumination-Induced Domain Shift in Night-Time Pedestrian Detection for Intelligent Vehicles using Annotation-Preserving Diffusion Augmentation
本文提出Contrastive-SDXL框架,利用SDXL-Turbo和LoRA微调,通过语义对比损失和对象一致性损失生成逼真夜间图像,提升行人检测性能。
2026-10-07 cs.CV
Dynamic View Synthesis as an Inverse Problem
Virginia Tech(弗吉尼亚理工大学)
本文提出一种无需训练的动态视图合成方法,通过重新设计视频扩散模型的噪声初始化,引入K阶递归噪声表示和随机潜在调制,实现高保真的确定性反演与遮挡区域补全。
2025-06-09 cs.AI cs.CV
Improving Text Generation on Images with Synthetic Captions
Yonsei University(延世大学);ONOMA AI
本文提出一种基于SDXL的低成本微调方法,通过数据精化和合成标注提升图像中文本生成的准确性,无需大规模训练或多模态编码器。
2024-10-23 cs.CV
DEMO: Disentangled Motion Latent Flow Matching for Fine-Grained Controllable Talking Portrait Synthesis
College of Artificial Intelligence and Automation, Hohai University(人工智能与自动化学院,河海大学);College of DaYu, Hohai University(大禹学院,河海大学);College of Water Conserwancy and Hydropower Engineering, Hohai University(水利水电工程学院,河海大学);College of Computer Science and Technology, Zhejiang University of Technology(计算机科学与技术学院,浙江工业大学)
提出DEMO框架,通过运动自编码器构建解耦潜空间并结合流匹配生成模型,实现音频驱动说话人肖像视频中唇部、头部姿态和视线的高保真细粒度控制。
2025-10-12 cs.AI cs.CV
VISION-XL: High Definition Video Inverse Problem Solver using Latent Image Diffusion Models
KAIST(韩国科学技术院)
提出VISION-XL框架,利用潜在图像扩散模型并结合伪批次一致采样与伪批次反转技术,在单GPU上高效求解多宽高比的高清视频时空逆问题,实现最先进重建质量。
2025-03-07 cs.AI cs.CV cs.LG
TLCM: Training-efficient Latent Consistency Model for Image Generation with 2-8 Steps
AI Center, Guangdong OPPO Mobile Telecommunications Corp., Ltd(广东欧珀移动通信有限公司AI中心);Qing Yuan Research Institute, SEIEE, Shanghai Jiao Tong University(上海交通大学电子信息与电气工程学院清源研究院)
提出训练高效潜在一致性模型(TLCM),通过无数据多步潜在一致性蒸馏及多种技术,实现2-8步高质量图像生成,训练仅需70小时,性能超越教师模型。
2024-11-07 cs.AI cs.CV
Anatomically-conditioned Latent Diffusion Model for Data-Efficient Few-Shot Cross-Domain 3D Glioma MRI Synthesis
Analytics Everywhere Lab, University of New Brunswick, Canada(新不伦瑞克大学分析无处不在实验室,加拿大)
提出解剖条件约束的潜在扩散模型(ALDM),通过两阶段框架(3D变分自编码器学习解剖先验,ControlNet引导的潜在扩散生成结构一致体积)在仅16张目标图像的小样本设置下优于GAN基线,实现FID 85.40和分类AUC 0.987。
2026-06-25 cs.AI cs.CV
RoCoTex: A Robust Method for Consistent Texture Synthesis with Diffusion Models
NCSOFT(NCsoft公司);Korea University(高丽大学);Chung-Ang University(中央大学)
本文提出RoCoTex方法,利用SDXL和多个ControlNet扩散模型,结合对称视角合成、区域提示、纹理混合与软修复技术,解决文本到纹理生成中的视角不一致、接缝和网格错位问题,实验证明其优于现有方法。
2024-09-30 cs.CV cs.GR
Conditional Latent Diffusion Model with Fourier-based Motion Modelling for Virtual Population Synthesis
Centre for Computational Imaging and Modelling in Medicine (CIMIM)(计算医学成像与建模中心);University of Manchester(曼彻斯特大学);Christabel Pankhurst Institute(克里斯塔贝尔·潘克赫斯特研究所);Department of Computer Science(计算机科学系);Division of Informatics, Imaging & Data Sciences(信息学、成像与数据科学分会);Department of Electrical & Electronic Engineering(电子与电气工程系);NIHR Manchester Biomedical Research Centre, Manchester Academic Health Sciences Centre, University of Manchester(尼日利亚卫生研究委员会曼彻斯特生物医学研究中心、曼彻斯特学术健康科学中心、曼彻斯特大学)
提出4D F-MeshLDM框架,结合卷积网格VAE、截断傅里叶级数运动参数化和条件扩散先验,实现可控的3D+t心脏网格序列生成,在UK Biobank数据上优于基线方法。
2026-06-18 cs.AI cs.CV
SDXS: Real-Time One-Step Latent Diffusion Models with Image Conditions
Xiaomi Inc.(小米公司)
针对扩散模型计算需求高、采样延迟大的问题,提出结合模型小型化与单步训练的SDXS系列模型,大幅提升推理速度,且支持图像条件控制与高效图像转换。
2024-04-17 cs.CV
FashionSD-X: Multimodal Fashion Garment Synthesis using Latent Diffusion
Queen Mary University of London(伦敦玛丽女王大学)
本研究提出FashionSD-X生成管线,利用ControlNet和LoRA微调潜在扩散模型,从文本和草图等多模态输入生成高质量时尚图像,显著优于传统稳定扩散模型,推动时尚设计工作流变革。
2024-04-26 cs.AI cs.CV
CTFlow: Video-Inspired Latent Flow Matching for 3D CT Synthesis
Friedrich–Alexander University Erlangen Nürnberg(埃弗里希-亚历山大大学埃尔朗根-纽伦堡);Department of Computing, Imperial College London(计算系,帝国理工学院伦敦分校)
CTFlow提出一个0.5B参数的潜在流匹配Transformer,以临床报告为条件,结合FLUX的A-VAE与CT-Clip编码器,通过自回归切片序列生成实现3D CT体积合成,并在时间一致性、多样性和图文对齐上优于现有方法。
2025-08-18 cs.AI cs.CV
DiffSketcher: Text Guided Vector Sketch Synthesis through Latent Diffusion Models
Beihang University(北京航空航天大学);The University of Hong Kong(香港大学)
本文提出DiffSketcher,通过扩展的SDS损失优化贝塞尔曲线,实现从自然语言提示直接生成向量草图,提升生成质量与可控性。
2026-04-08 cs.AI cs.CV
Robust Latent Matters: Boosting Image Generation with Sampling Error Synthesis
Carnegie Mellon University(卡内基梅隆大学);Adobe Research(奥多比研究院);MBZUAI(穆罕默德·本·扎耶德人工智能大学)
针对离散图像分词器重建与生成质量不一致的问题,本文提出模拟采样误差的潜变量扰动,并据此设计 pFID 指标与即插即用训练方案,显著提升生成质量与收敛速度。
2025-03-17 cs.AI cs.CV
Latent Space Is Not Flat: Rethinking Latent Structure for 3D Medical Image Synthesis
针对潜空间各向异性导致的三维医学图像合成失真问题,提出潜结构流(LSF)方法,将潜状态分解为结构(低秩全局)与残差(局部),分别建模,仅改生成器,在跨模态合成与肿瘤修复中全面超越基线。
2026-09-29 cs.CV
Text-driven Visual Synthesis with Latent Diffusion Prior
University of Maryland, College Park(马里兰大学帕克分校)
提出一种利用潜在扩散模型作为图像先验的通用视觉合成方法,通过引入特征匹配损失和KL散度损失提升性能,在文本到3D、StyleGAN适应和分层图像编辑任务中优于基线。
2023-04-03 cs.CV
Discovering Class-Specific GAN Controls for Semantic Image Synthesis
Bosch Center for AI(博世人工智能中心);MPI for Informatics(马克斯·普朗克信息学研究所);University of Tübingen(图宾根大学)
先前的工作已经广泛研究了用于无条件图像合成的GANs的潜在空间结构,通过无监督地发现可解释的潜在方向来实现对生成图像的全局编辑。然而,用于语义图像合成(SIS)的条件GANs的潜在方向的发现仍然未被探索。在这项工作中,我们特别关注解决这一差距。我们提出了一种新的优化方法,用于在预训练的SIS模型的潜在空间中找到空间解纠缠的类特定方向。我们表明,通过我们的方法发现的潜在方向可以有效地控制语义类的局部外观,例如,彼此独立地改变它们的内部结构、纹理或颜色。对各种数据集上发现的GAN控件的视觉检查和定量评估表明,我们的方法为特定于类的编辑发现了一组独特且语义上有意义的潜在方向。
2022-12-02 cs.CV
Length-Aware Motion Synthesis via Latent Diffusion
Sapienza University of Rome(罗马第一大学)
针对现有运动合成对目标时长控制不足的问题,提出长度感知潜在扩散模型LADiff,通过长度感知VAE和长度一致扩散模块,在HumanML3D和KIT-ML基准上显著提升合成质量。
2024-07-16 cs.CV
CoLa-Diff: Conditional Latent Diffusion Model for Multi-Modal MRI Synthesis
University of Dundee(邓迪大学);University of Cambridge(剑桥大学);University of Bath(巴斯大学);East China Normal University(华东师范大学)
MRI合成有望缓解临床实践中缺失MRI模态的挑战。扩散模型通过模拟复杂多变的数据分布,已成为图像合成的一种有效技术。然而,大多数基于扩散的MRI合成模型使用单一模态。由于它们在原始图像域中操作,因此它们是存储密集型的并且对于多模态合成不太可行。此外,它们通常不能在MRI中保留解剖结构。此外,平衡来自多模态MRI输入的多个条件对于多模态合成至关重要。在这里,我们提出了第一个基于扩散的多模态MRI合成模型,即条件潜在扩散模型(CoLa-Diff)。为了减少内存消耗,我们设计了CoLa-Diff在潜在空间中操作。我们提出了一种新的网络架构,例如,类似于协同滤波,解决了潜在空间中可能存在的压缩和噪声问题。为了更好地保持解剖结构,大脑区域掩模被引入作为密度分布的先验,以指导扩散过程。我们进一步提出了自动权重自适应,以有效地利用多模态信息。我们的实验表明,CoLa-Diff优于其他国家的最先进的MRI合成方法,有望作为一个有效的工具,多模态MRI合成。
2023-03-24 cs.CV eess.IV
Controlled GAN-Based Creature Synthesis via a Challenging Game Art Dataset -- Addressing the Noise-Latent Trade-Off
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
最先进的StyleGAN 2网络支持创建和编辑艺术的强大方法,包括生成随机图像,查找图像“喜欢”某些查询,以及修改内容或风格。此外,最近的进步使训练与小数据集。我们将这些方法应用于合成卡片艺术,通过在一个新的Yu-Gi-Oh数据集上进行训练。虽然StyleGAN 2的噪声输入对于良好的合成至关重要,但我们发现粗尺度噪声会干扰该数据集上的潜变量,因为两者都控制着长尺度图像效果。我们通过潜变量编辑观察到艺术中过度激进的变化,以及噪音和弱内容控制的变化。在这里,我们证明了训练一个修改后的StyleGAN 2,其中粗尺度噪声被抑制,消除了这些不必要的影响。我们获得了一个优越的FID;噪声的变化导致局部探索的风格;和身份控制显着改善。这些结果和分析为所有技能水平的数字艺术家提供了GAN辅助的艺术合成工具,可用于电影,游戏或任何创意产业的艺术构思。
2021-10-20 cs.CV
High-Resolution Image Synthesis with Latent Diffusion Models
Ludwig Maximilian University of Munich(慕尼黑大学);Heidelberg University(海德堡大学);Runway ML(Runway ML公司)
通过将图像形成过程分解为去噪自动编码器的顺序应用,扩散模型(DM)在图像数据和其他数据上实现了最先进的合成结果。此外,它们的制定允许引导机制来控制图像生成过程而无需重新训练。然而,由于这些模型通常直接在像素空间中操作,因此对强大DM的优化通常会消耗数百个GPU天,并且由于顺序评估,推断是昂贵的。为了在有限的计算资源上进行DM训练,同时保持其质量和灵活性,我们将其应用于功能强大的预训练自动编码器的潜在空间中。与以前的工作相比,在这样的表示上训练扩散模型允许第一次在复杂性降低和细节保留之间达到接近最佳的点,大大提高了视觉保真度。通过在模型架构中引入交叉注意层,我们将扩散模型转变为强大而灵活的生成器,用于文本或边界框等一般条件输入,并以卷积方式实现高分辨率合成。我们的潜空间扩散模型(LDMs)实现了图像修补的最新技术水平,并在各种任务上具有高度竞争力的性能,包括无条件图像生成,语义场景合成和超分辨率,同时与基于像素的DM相比显着降低了计算要求。代码可在https://github.com/CompVis/latent-diffusion上获得。
2022-04-13 cs.CV
EchoLVFM: One-Step Video Generation via Latent Flow Matching for Echocardiogram Synthesis
本文提出EchoLVFM框架,通过潜在空间单步生成可控的超声心动图视频,提升效率并保持视觉质量,实验证明其在单帧条件下的视频质量与专家判断准确率。
2026-03-14 cs.AI cs.CV eess.IV
Deterministic-to-Stochastic Diverse Latent Feature Mapping for Human Motion Synthesis
Nanyang Technological University(南洋理工大学);ByteDance Inc.(字节跳动公司);Dalian University(大连大学);Dalian University of Technology(大连理工大学)
针对基于分数的生成模型在人体动作合成中训练不稳定的问题,提出DSDFM方法,通过两阶段过程结合确定性特征映射与随机输出生成,在不增加参数下提升动作多样性与准确性,取得最优结果。
2025-05-02 cs.CV
TauPETGen: Text-Conditional Tau PET Image Synthesis Based on Latent Diffusion Models
Massachusetts General Hospital(麻省总医院);Harvard Medical School(哈佛医学院)
本文提出TauPETGen,一种基于潜在扩散模型的文本条件tau PET图像合成方法,利用文本描述和MR图像生成不同临床阶段的逼真tau PET图像,以提高数据集可用性。
2023-06-21 cs.AI cs.CV eess.IV
DivCo: Diverse Conditional Image Synthesis via Contrastive Generative Adversarial Network
Chinese University of Hong Kong(香港中文大学)
条件生成对抗网络(cGAN)的目标是在给定输入条件和潜在代码的情况下合成不同的图像,但不幸的是,它们通常遭受模式坍塌的问题。为了解决这个问题,以前的工作主要集中在鼓励潜在代码和它们生成的图像之间的相关性,而忽略了从各种潜在代码生成的图像之间的关系。最近的MSGAN试图鼓励生成的图像的多样性,但只考虑图像对之间的“负”关系。在本文中,我们提出了一种新的DivCo框架,以适当地约束潜在空间中指定的生成图像之间的“正”和“负”关系。据我们所知,这是第一次尝试使用对比学习的不同条件的图像合成。引入了一种新的潜在增强对比度损失,它鼓励从相邻的潜在代码生成的图像是相似的,而从不同的潜在代码生成的图像是不相似的。所提出的潜在增强对比度损失与各种cGAN架构兼容良好。大量的实验表明,所提出的DivCo可以产生更多样化的图像比国家的最先进的方法,而不会牺牲视觉质量在多个未配对和配对的图像生成任务。
2021-04-26 cs.CV
3DIS: Depth-Driven Decoupled Instance Synthesis for Text-to-Image Generation
CCAI, Zhejiang University(中国浙江大学计算机辅助智能学院)
3DIS提出了一种基于深度的解耦实例合成方法,通过分阶段生成场景深度图和渲染细粒度属性,提升文本到图像生成中多实例的布局精度和属性渲染效果。
2025-12-02 cs.CV
LinkGAN: Linking GAN Latents to Pixels for Controllable Image Synthesis
HKUST(香港科技大学);Shanghai AI Laboratory(上海人工智能实验室);Ant Group(蚂蚁集团);Alibaba Group(阿里巴巴集团)
LinkGAN提出一种GAN训练正则化器,将潜空间轴与图像像素区域显式连接,实现局部可控生成,并支持多区域联合控制及2D/3D模型,同时兼容GAN反演。
2023-09-25 cs.CV
Infinity: Scaling Bitwise AutoRegressive Modeling for High-Resolution Image Synthesis
ByteDance(字节跳动)
本研究提出按位自回归建模方法Infinity,通过无限词汇表分词器等技术提升生成能力,在多项基准上优于SD3-Medium等扩散模型,生成速度更快,刷新自回归文生图模型纪录。
2025-06-17 cs.CV
Fast High-Resolution Image Synthesis with Latent Adversarial Diffusion Distillation
Stability AI
本文提出潜在对抗性扩散蒸馏(LADD),利用预训练潜在扩散模型特征,简化训练并提升性能,应用于Stable Diffusion 3(8B)得到SD3-Turbo,仅需四步采样即可匹配最先进文本到图像生成器性能,并验证其在图像编辑和修复中的有效性。
2024-03-18 cs.CV
StyleT2I: Toward Compositional and High-Fidelity Text-to-Image Synthesis
NEC Laboratories America(NEC美国实验室);University of Rochester(罗切斯特大学)
虽然已经取得了进展,文本到图像的合成,以前的方法没有推广到看不见的或代表性不足的属性组成的输入文本。缺乏组合性可能对鲁棒性和公平性产生严重影响,例如,无法合成代表性不足的人口群体的面部图像。在本文中,我们引入了一个新的框架,StyleT 2 I,以提高文本到图像合成的组合性。具体来说,我们提出了一个CLIP引导的对比损失,以更好地区分不同的句子之间的不同成分。为了进一步提高组合性,我们设计了一种新的语义匹配损失和空间约束,以确定属性的潜在方向,为预期的空间区域操作,从而更好地解开属性的潜在表示。在此基础上,提出了组合属性调整算法,对图像的潜在编码进行调整,提高了图像合成的组合性。此外,我们利用$\ell_2$ -范数正则化的识别潜在的方向(范数惩罚),以取得一个很好的平衡之间的图文对齐和图像保真度。在实验中,我们设计了一个新的数据集分裂和评价指标来评估文本到图像合成模型的组合性。实验结果表明,StyleT 2 I在输入文本与合成图像的一致性方面优于以往的方法,并实现了更高的保真度。
2022-03-29 cs.CV
SD-GAN: Semantic Decomposition for Face Image Synthesis with Discrete Attribute
University of Science and Technology Beijing(北京科技大学);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院)
在用于面部图像合成的生成对抗网络(GANs)中操纵潜在代码主要集中在连续属性合成(例如,年龄、姿势和情绪),而离散属性合成(如面具和眼镜)受到较少关注。直接将现有的工作应用于面部离散属性可能会导致不准确的结果。在这项工作中,我们提出了一个创新的框架,通过语义分解来解决具有挑战性的面部离散属性合成,称为SD-GAN。具体而言,我们明确地将离散属性表示分解为两个部分,即语义先验基础和偏移潜在表示。语义先验基础为在潜在空间中操作人脸表征提供了初始化方向。提出了利用三维感知语义融合网络获得的偏移潜在表示来调整先验基。此外,融合网络集成了3D嵌入,以更好地保持身份和离散属性合成。先验基和偏移潜在表示的结合使我们的方法能够合成具有离散属性的照片级真实感人脸图像。值得注意的是,我们构建了一个大型且有价值的数据集MEGN(从Google和Naver抓取的面罩和眼镜图像),以弥补现有数据集中缺乏离散属性的问题。大量的定性和定量实验证明了我们的方法的最先进的性能。我们的代码可在https://github.com/MontaEllis/SD-GAN上获取。
2022-07-12 cs.CV
Disentangling Latent Hands for Image Synthesis and Pose Estimation
University of Bonn(波恩大学);National University of Singapore(新加坡国立大学)
由于从图像背景内容到相机视点的变化因素之间存在很大差异,因此从RGB图像合成手部图像和姿态估计都是非常具有挑战性的任务。为了更好地分析这些因素的变化,我们提出了使用解开表示和解开变分自编码器(dVAE),允许特定的采样和推断这些因素。从变分下界导出的目标以及建议的训练策略是高度灵活的,使我们能够处理跨模态编码器和解码器以及半监督学习场景。实验表明,我们的dVAE可以合成高度逼真的图像的手指定的姿势和图像背景内容,也估计3D的手构成从RGB图像的准确性竞争与国家的最先进的两个公共基准。
2019-04-25 cs.CV
LARNet: Latent Action Representation for Human Action Synthesis
IIT Kanpur(印度理工学院坎普尔分校)
我们提出了LARNet,一种新的端到端的方法,用于生成人类动作视频。一个联合的生成模型的外观和动态合成视频是非常具有挑战性的,因此最近的作品在视频合成提出了分解这两个因素。然而,这些方法需要驾驶视频来对视频动态进行建模。在这项工作中,我们提出了一种生成方法,它在潜在空间中显式学习动作动态,避免了在推理过程中需要驾驶视频。所产生的动作动态集成的外观使用一个经常性的层次结构,诱导运动在不同的尺度上集中在粗糙以及精细的动作细节。此外,我们提出了一种新的混合对抗损失函数,旨在提高合成视频的时间相干性。我们评估所提出的方法在四个真实世界的人类行动数据集,证明所提出的方法在产生人类行动的有效性。代码可在https://github.com/aayushjr/larnet获得。
2021-10-27 cs.CV
Nexus: Structured Synergy for Efficient Text-to-Image Generation using Rectified Flow Model
School of Computer Science, Henan Institute of Science and Technology(河南科技学院计算机学院)
该研究针对文本到图像生成模型计算量大、复杂度高的问题,提出集成稀疏架构、线性复杂度与低比特量化的Nexus模型,结合MoE前馈层等技术,在保持与SDXL、SD3相当生成质量的同时提升推理效率,经COCO、LAION验证有效。
2026-08-18 cs.CV
Multi-focal Conditioned Latent Diffusion for Person Image Synthesis
University of Trento(特伦托大学);Ocean University of China(中国海洋大学)
针对潜在扩散模型在姿态引导人物图像合成中敏感区域细节退化问题,提出多焦点条件潜在扩散方法,通过多焦点条件聚合模块融合面部身份与纹理信息,在DeepFashion数据集上实现真实且身份一致的生成与灵活编辑。
2025-03-23 cs.CV
Cycle-Consistent Inverse GAN for Text-to-Image Synthesis
Nanyang Technological University(南洋理工大学);Singapore Management University(新加坡管理大学)
本文探讨了一个开放的研究任务,文本到图像的合成自动生成或操纵图像的文本描述。现有的方法主要是以文本作为生成GAN的条件,并针对文本引导的图像生成和操作任务对不同的模型进行训练。在本文中,我们提出了一种新的统一框架的周期一致性逆GAN(CI-GAN)的文本到图像生成和文本引导的图像处理任务。具体来说,我们首先训练一个没有文本输入的GAN模型,旨在生成具有高多样性和高质量的图像。然后,我们学习一个GAN反演模型,将图像转换回GAN潜在空间,并获得每个图像的反演潜在代码,其中我们引入循环一致性训练来学习更鲁棒和一致的反演潜在代码。通过学习文本表示和潜在代码之间的相似性模型,我们进一步揭示了训练后的GAN模型的潜在空间语义。在文本引导的优化模块中,我们通过优化反转的潜在代码来生成具有所需语义属性的图像。在Recipe 1 M和CUB数据集上进行的大量实验验证了我们提出的框架的有效性。
2021-09-12 cs.CV
Controllable GAN Synthesis Using Non-Rigid Structure-from-Motion
IT University of Copenhagen(哥本哈根信息技术大学)
在本文中,我们提出了一种将非刚性运动恢复结构(NRSfM)与深度生成模型相结合的方法,并提出了一个有效的框架,用于在2D GANs的潜在空间中发现对应于3D几何形状变化的轨迹。我们的方法使用NRSfM的最新进展,并使编辑的相机和非刚性的形状信息与潜在的代码,而不需要重新训练的发生器。该公式提供了隐式密集3D重建,因为它使得能够从任意视角和非刚性结构合成新颖形状的图像。该方法建立在稀疏主干上,其中首先训练神经回归器以直接从潜在代码回归描述相机和稀疏非刚性结构的参数。然后通过估计给定潜码邻域中回归量的局部逆来识别与相机和结构参数的变化相关联的潜轨迹。实验表明,我们的方法提供了一个通用的,系统的方法来建模,分析和编辑的几何形状和非刚性结构的脸。
2022-11-14 cs.CV
Diffusion-4K: Ultra-High-Resolution Image Synthesis with Latent Diffusion Models
State Key Laboratory of Complex and Critical Software Environment(复杂与关键软件环境国家重点实验室);Beihang University(北京航空航天大学);School of Computer Science and Engineering(计算机科学与工程学院)
Diffusion-4K通过引入Aesthetic-4K基准和基于小波的微调方法,实现了高质量超高清图像合成。
2025-03-28 cs.CV
DiffSynth: Latent In-Iteration Deflickering for Realistic Video Synthesis
School of Data Science and Engineering, East China Normal University(华东师范大学数据科学与工程学院);School of Information, Xiamen University(厦门大学信息学院);Alibaba Group(阿里巴巴集团)
本文提出 DiffSynth,通过潜在迭代内去闪烁框架和 patch blending 算法将图像扩散模型改造为视频合成流程,有效抑制闪烁并提升视频一致性,适用于多种视频合成任务。
2023-08-10 cs.CV cs.MM
SV3D: Novel Multi-view Synthesis and 3D Generation from a Single Image using Latent Video Diffusion
Stability AI
SV3D利用潜在视频扩散模型,从单张图像生成高分辨率多视图轨道视频,并通过显式相机控制与改进的3D优化技术,实现最先进的新颖视图合成与3D重建。
2024-03-18 cs.CV
High-Fidelity Guided Image Synthesis with Latent Diffusion Models
The Australian National University(澳大利亚国立大学);Australian Centre for Robotic Vision(澳大利亚机器人视觉中心)
随着文本条件潜空间扩散模型的出现,用户涂鸦的可控图像合成已经引起了公众的极大兴趣。用户涂写控制颜色组成,而文本提示提供对整体图像语义的控制。然而,我们注意到,以前的工作在这个方向上遭受一个固有的域移位问题,其中所产生的输出往往缺乏细节,并类似于目标域的简单化表示。在本文中,我们提出了一种新的指导图像合成框架,它解决了这个问题,通过建模的输出图像作为一个约束优化问题的解决方案。我们表明,虽然计算精确的解决方案的优化是不可行的,可以实现相同的近似,而只需要一个单一的通过的反向扩散过程。此外,我们表明,通过简单地定义一个基于交叉注意的输入文本标记和用户笔画之间的对应关系,用户也能够控制不同的绘画区域的语义,而不需要任何条件训练或微调。人类用户的研究结果表明,所提出的方法优于以前的国家的最先进的超过85.32%的整体用户满意度分数。我们论文的项目页面可以在https://1jsingh.github.io/gradop上找到。
2022-11-30 cs.AI cs.CV cs.LG
Cascaded Latent Diffusion Models for High-Resolution Chest X-ray Synthesis
LMU Munich(慕尼黑大学);University Hospital, LMU Munich(慕尼黑大学附属医院);Munich Center for Machine Learning(慕尼黑机器学习中心)
虽然大规模基础模型的最新进展显示出可喜的成果,但其在医学领域的应用尚未得到详细探讨。在本文中,我们通过提出Cheff -一个基础级联潜在扩散模型,进入医学合成中的大规模建模领域,该模型生成高度逼真的胸部X光照片,在1百万像素的尺度上提供最先进的质量。我们进一步提出了MaCheX,这是一个统一的公共胸部数据集的接口,并形成了迄今为止最大的开放式胸部X射线集合。Cheff以放射学报告为条件,我们进一步指导文本提示的合成过程,并揭示了报告到胸部X射线生成的研究领域。
2023-03-20 cs.CV cs.LG eess.IV
Synthetic Perception: Can Generated Images Unlock Latent Visual Prior for Text-Centric Reasoning?
本文探讨生成图像能否解锁潜在视觉先验以提升文本中心推理,通过多模态融合架构和提示工程策略实现性能提升。
2026-03-03 cs.CV cs.MM
CONFLUX: A Latent Diffusion Model for 3D Chest-CT Synthesis with RL Post-Training
Department of Biomedical Data Science, Stanford University School of Medicine(斯坦福大学医学院生物医学数据科学系);Department of Mathematical Modelling, Statistics & Bioinformatics, Ghent University(根特大学数学建模、统计与生物信息学系);Department of Electrical Engineering, Stanford University(斯坦福大学电气工程系)
提出CONFLUX潜在扩散模型用于胸部CT合成,由3D变分自编码器和整流流变压器构成,基于放射学元数据生成,通过强化学习后训练增强对临床属性控制,在三平面弗雷歇距离上领先并发布模型与数据集。
2026-07-08 cs.AI cs.CV cs.LG
Efficient Image Synthesis with Sphere Latent Encoder
Mohamed Bin Zayed University of Artificial Intelligence(穆罕默德·本·拉希德人工智能大学)
本文提出分离的固定预训练图像编码器和球形潜在去噪模型,提高效率并独立优化重建与生成。在多个数据集上,方法在生成质量和推理速度上优于Sphere Encoder。
2026-10-27 cs.CV
Explicit Temporal Embedding in Deep Generative Latent Models for Longitudinal Medical Image Synthesis
University of Copenhagen(哥本哈根大学);Rigshospitalet(哥本哈根大学国立医院)
医学影像学在现代诊断和治疗中起着至关重要的作用。疾病或治疗进展的时间性质通常导致纵向数据。由于成本和潜在危害,获取深度学习所需的大型医疗数据集可能很困难。医学图像合成可以帮助缓解这个问题。然而,到目前为止,能够合成纵向体积数据的GANs的可用性有限。为了解决这个问题,我们利用基于潜在空间的图像编辑的最新进展,提出了一种新的联合学习方案,以显式地将时间依赖性嵌入到GANs的潜在空间中。与以前的方法相比,这使我们能够在有限的监督下合成连续,平滑和高质量的纵向体积数据。我们展示了我们的方法在三个包含不同纵向依赖关系的数据集上的有效性。也就是说,建模一个简单的图像变换,呼吸运动,肿瘤消退,同时显示最小的解开。该实现可在https://github.com/julschoen/Temp-GAN上在线获得。
2023-01-13 cs.CV cs.LG
High Fidelity Image Synthesis With Deep VAEs In Latent Space
我们提出了快速,逼真的图像生成的高分辨率,多模态数据集使用分层变分自编码器(VAE)上训练的确定性自编码器的潜在空间。在这个两阶段的设置中,自动编码器将图像压缩为其语义特征,然后使用深度VAE对其进行建模。通过这种方法,VAE避免了对构成图像代码长度大部分的细粒度细节进行建模,从而使其能够专注于学习其结构组件。我们证明了我们的两阶段方法的有效性,在ImageNet-256数据集上实现了9.34的FID,与BigGAN相当。我们在线提供我们的实施。
2023-03-23 cs.CV cs.LG eess.IV
Unsupervised Robust Disentangling of Latent Characteristics for Image Synthesis
Heidelberg Collaboratory for Image Processing(海德堡图像处理合作实验室);Heidelberg University(海德堡大学)
深度生成模型有希望学习视觉对象的可解释表示,允许图像采样,合成和选择性修改。主要的挑战是学习正确建模对象的独立潜在特征,特别是其外观和姿态。我们提出了一种新的方法,学习这些特征的解开表示,并单独解释它们。训练只需要描绘相同对象外观的图像对,但不需要姿势注释。我们提出了一个额外的分类器,估计强制解除纠缠所需的最小正则化量。因此,这两种表征结合在一起可以完全解释一个图像,同时彼此独立。以前的方法的基础上对抗的方法无法强制执行这种独立性,而基于变分方法的方法导致无信息的表示。在对不同对象类别的实验中,该方法成功地重组了姿态和外观,以重建和重定位新的合成图像。我们实现了显着的改进,国家的最先进的方法,利用相同的监督水平,并达到性能相媲美的姿势监督的方法。然而,我们可以处理大量没有姿势模型/注释可用的铰接对象类。
2019-10-22 cs.CV