High-Resolution Mammogram Synthesis using Progressive Generative Adversarial Networks
Kheiron Medical Technologies Ltd.（Kheiron医疗技术有限公司）；Imperial College London（帝国理工学院）
生成合成医学图像的能力对于数据增强、域转移和分布外检测是有用的。然而，由于纹理异质性、精细结构细节和特定组织特性，生成逼真的高分辨率医学图像是具有挑战性的，特别是对于全视野数字乳腺X射线摄影（FFDM）。在本文中，我们探索使用渐进训练的生成对抗网络（GANs）来合成乳房X线照片，克服训练这种对抗模型时的潜在不稳定性。这项工作是第一个表明生成逼真的合成医学图像是可行的，高达1280x1024像素，医学图像合成达到的最高分辨率，使标准乳房摄影悬挂协议内的可视化。我们希望这项工作可以作为一个有用的指导和促进进一步的研究GANs在医学成像领域。
2019-09-03 cs.CV
Label-free Motion-Conditioned Diffusion Model for Cardiac Ultrasound Synthesis
Department AIBE, FAU Erlangen-Nürnberg（AIBE部门，埃尔朗根-纽伦堡大学）；Department of Computing, Imperial College London（计算系，伦敦帝国理工学院）
本文提出无标签的运动条件化扩散模型，通过自监督运动特征生成逼真的心脏超声视频，无需手动标注。
2025-12-10 cs.CV
Taming Transformers for High-Resolution Image Synthesis
Heidelberg Collaboratory for Image Processing（海德堡图像处理合作实验室）；Heidelberg University（海德堡大学）；IWR（跨学科科学计算中心）
Transformers旨在学习序列数据上的远程交互，在各种任务上继续显示最先进的结果。与CNN相反，它们不包含优先考虑局部相互作用的归纳偏差。这使得它们具有表现力，但对于长序列（如高分辨率图像）来说，计算上也是不可行的。我们展示了如何将CNN的感应偏差的有效性与Transformers的表现力相结合，使它们能够建模，从而合成高分辨率图像。我们展示了如何（i）使用CNN来学习图像成分的上下文丰富的词汇，反过来（ii）利用Transformers来有效地在高分辨率图像中建模它们的组成。我们的方法很容易适用于有条件的合成任务，其中非空间信息，如对象类，和空间信息，如分割，可以控制生成的图像。特别是，我们提出了第一个结果的语义指导合成的百万像素图像与Transformers，并获得最先进的自回归模型类条件ImageNet。代码和预训练模型可以在https://github.com/CompVis/taming-transformers上找到。
2021-06-23 cs.CV
SuperNeRF-GAN: A Universal 3D-Consistent Super-Resolution Framework for Efficient and Enhanced 3D-Aware Image Synthesis
Jilin University（吉林大学）；Shanghai Innovation Institute（上海创新研究院）；Adobe（奥多比公司）；The University of Hong Kong（香港大学）
针对现有NeRF高分辨率合成方法存在3D一致性受损或通用性不足的问题，提出通用3D一致超分辨率框架SuperNeRF-GAN，通过NeRF超分辨率模块和深度引导渲染流程，在保持3D一致性的同时提升分辨率、降低计算成本，性能优于现有方法。
2025-01-17 cs.CV
A Good Image Generator Is What You Need for High-Resolution Video Synthesis
Rutgers University（罗格斯大学）；Snap Inc.（Snap公司）；University of Delaware（特拉华大学）
图像和视频合成是密切相关的领域，旨在从噪声中生成内容。虽然在改进基于图像的模型以处理大分辨率、高质量渲染和图像内容的广泛变化方面取得了快速进展，但实现可比的视频生成结果仍然存在问题。我们提出了一个框架，利用当代图像生成器来渲染高分辨率视频。我们将视频合成问题定义为在预先训练和固定的图像生成器的潜在空间中发现轨迹。这样的框架不仅渲染高分辨率视频，而且计算效率也高出一个数量级。我们介绍了一个运动发生器，发现所需的轨迹，其中内容和运动被解开。有了这样的表示，我们的框架允许广泛的应用程序，包括内容和运动操纵。此外，我们引入了一个新的任务，我们称之为跨域视频合成，其中图像和运动生成器在属于不同域的不相交数据集上进行训练。这允许生成期望的视频数据不可用的移动对象。在各种数据集上的大量实验表明，我们的方法优于现有的视频生成技术。代码将在https://github.com/snap-research/MoCoGAN-HD上发布。
2021-04-30 cs.CV
Unified Brain MR-Ultrasound Synthesis using Multi-Modal Hierarchical Representations
Harvard Medical School（哈佛医学院）；Brigham and Women’s Hospital（布莱根妇女医院）；King’s College London（伦敦国王学院）；Massachusetts Institute of Technology（麻省理工学院）
本研究提出一种名为MHVAE的深度分层变分自编码器，通过分层潜在结构与概率融合策略结合对抗学习实现多模态缺失图像合成，在脑部术中超声与磁共振联合合成任务上性能超越现有主流方法。
2023-09-19 cs.CV
High-Quality Facial Photo-Sketch Synthesis Using Multi-Adversarial Networks
Rutgers, The State University of New Jersey（罗格斯新泽西州立大学）
从真实照片及其逆合成人脸草图有许多应用。然而，照片/素描合成仍然是一个具有挑战性的问题，由于事实上，照片和素描有不同的特点。在这项工作中，我们将此任务视为图像到图像的翻译问题，并探索最近流行的生成模型（GANs），以从草图和照片中的草图生成高质量的逼真照片。最近的基于GAN的方法在图像到图像的转换问题和照片到草图的合成方面表现出了很好的效果，但是，众所周知，它们在生成高分辨率逼真图像方面的能力有限。为此，我们提出了一种新的合成框架，称为使用多对抗网络的照片草图合成（PS2-MAN），以对抗的方式迭代生成低分辨率到高分辨率的图像。生成器的隐藏层被监督以首先生成较低分辨率的图像，然后在网络中进行隐式细化以生成较高分辨率的图像。此外，由于照片草图合成是一个耦合/配对的翻译问题，我们利用对信息使用CycleGAN框架。图像质量评估（IQA）和照片草图匹配实验进行了比较，以证明我们的框架的优越性能，现有的国家的最先进的解决方案。代码可在：https://github.com/lidan1/PhotoSketchMAN获得。
2018-03-03 cs.CV
AWDiff: An a trous wavelet diffusion model for lung ultrasound image synthesis
本文提出AWDiff模型，通过a trous小波变换与BioMedCLIP语义条件，提升肺部超声图像生成的结构精度与临床相关性。
2026-03-15 cs.CV
Spatial Gram Alignment for Ultra-High-Resolution Image Synthesis
Beihang University（北航大学）
本文提出空间图对齐（SGA）方法，通过利用视觉基础模型的表示先验，保留LDMs的生成能力，解决超高清图像合成中生成质量与结构完整性之间的冲突，实现高质量的文本到图像合成。
2026-05-20 cs.CV
High-Resolution Image Synthesis with Latent Diffusion Models
Ludwig Maximilian University of Munich（慕尼黑大学）；Heidelberg University（海德堡大学）；Runway ML（Runway ML公司）
通过将图像形成过程分解为去噪自动编码器的顺序应用，扩散模型（DM）在图像数据和其他数据上实现了最先进的合成结果。此外，它们的制定允许引导机制来控制图像生成过程而无需重新训练。然而，由于这些模型通常直接在像素空间中操作，因此对强大DM的优化通常会消耗数百个GPU天，并且由于顺序评估，推断是昂贵的。为了在有限的计算资源上进行DM训练，同时保持其质量和灵活性，我们将其应用于功能强大的预训练自动编码器的潜在空间中。与以前的工作相比，在这样的表示上训练扩散模型允许第一次在复杂性降低和细节保留之间达到接近最佳的点，大大提高了视觉保真度。通过在模型架构中引入交叉注意层，我们将扩散模型转变为强大而灵活的生成器，用于文本或边界框等一般条件输入，并以卷积方式实现高分辨率合成。我们的潜空间扩散模型（LDMs）实现了图像修补的最新技术水平，并在各种任务上具有高度竞争力的性能，包括无条件图像生成，语义场景合成和超分辨率，同时与基于像素的DM相比显着降低了计算要求。代码可在https://github.com/CompVis/latent-diffusion上获得。
2022-04-13 cs.CV
Infinite Texture: Text-guided High Resolution Diffusion Texture Synthesis
University of Washington（华盛顿大学）；UC Berkeley（加州大学伯克利分校）；Google Research（谷歌研究院）
本研究提出Infinite Texture方法，通过单纹理微调扩散模型结合分数聚合策略，实现单GPU上文本引导的任意分辨率纹理生成，效果优于现有方法，可应用于3D渲染与纹理迁移。
2024-05-13 cs.CV
HFH-Font: Few-shot Chinese Font Synthesis with Higher Quality, Faster Speed, and Higher Resolution
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）；State Key Laboratory of General Artificial Intelligence, Peking University（北京大学通用人工智能国家重点实验室）
针对中文字体合成中复杂字形生成难、高分辨率合成效率低的问题，提出基于扩散模型的少样本HFH-Font方法，结合组件感知条件、分数蒸馏采样与风格引导超分辨率模块，首次自动生成媲美专业设计师手工质量的大规模高分辨率中文矢量字体。
2024-10-09 cs.CV
Layered Diffusion Model for One-Shot High Resolution Text-to-Image Synthesis
UC Berkeley（加州大学伯克利分校）；UC Berkeley - UCSF Joint Bioengineering Graduate Program（加州大学伯克利分校-加州大学旧金山分校联合生物工程研究生项目）；Google（谷歌）；Google Deepmind（谷歌DeepMind）
本文提出一种采用分层 U-Net 的单次文本到图像扩散模型，可在多尺度同时生成高分辨率图像，在优于目标分辨率基线的同时降低单步计算成本，并无需额外超分辨率模型。
2024-07-08 cs.AI cs.CV
MelanoGANs: High Resolution Skin Lesion Synthesis with GANs
TU Munich（慕尼黑工业大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
生成对抗网络（GANs）已成功用于合成逼真的人脸、风景甚至医学图像。不幸的是，它们通常需要大量的训练数据集，而这在医学领域通常是稀缺的，并且据我们所知，GANs只应用于相当低分辨率的医学图像合成。然而，许多最先进的机器学习模型对高分辨率数据进行操作，因为这些数据携带不可或缺的有价值的信息。在这项工作中，我们尝试使用GANs生成逼真的高分辨率皮肤病变图像，仅使用2000个样本的小训练数据集。数据的性质允许我们在生成样本的图像统计数据和真实数据集之间进行直接比较。我们定量和定性地比较了最先进的GAN架构，如DCGAN和LAPGAN对后者的修改，以256x256px的分辨率生成图像的任务。我们的调查表明，我们可以用所有的模型来近似真实的数据分布，但是我们注意到在视觉上对样本的真实性、多样性和伪影进行评级时存在重大差异。在一组皮肤病变分类的用例实验中，我们进一步表明，我们可以在合成的高分辨率黑色素瘤样本的帮助下成功解决重类不平衡的问题。
2018-04-12 cs.CV
ViBe: Ultra-High-Resolution Video Synthesis Born from Pure Images
School of Artificial Intelligence, Shanghai Jiao Tong University（上海交通大学人工智能学院）；Xi'an Jiaotong-Liverpool University（西安交通大学利物浦大学）；Jilin University（吉林大学）
本文提出纯图像适应框架，通过两阶段LoRA策略提升视频扩散模型生成超高清视频的能力，无需视频训练数据，在VBench基准上超越现有最佳模型。
2026-03-24 cs.CV
High-Resolution Image Inpainting using Multi-Scale Neural Patch Synthesis
University of Southern California（南加州大学）；Adobe Research（Adobe研究院）；Pinscreen；USC Institute for Creative Technologies（南加州大学创意技术研究所）
深度学习的最新进展已经显示出令人兴奋的前景，即用语义上合理的和上下文感知的细节来填充自然图像中的大洞，影响基本的图像处理任务，如对象删除。虽然这些基于学习的方法在捕获高级特征方面比现有技术更有效，但由于记忆限制和训练困难，它们只能处理非常低分辨率的输入。即使是稍微大一点的图像，修复后的区域也会显得模糊，并且可以看到令人不快的边界。我们提出了一种基于图像内容和纹理约束联合优化的多尺度神经补丁合成方法，该方法不仅保留了上下文结构，而且通过匹配和适应具有最相似的深层分类网络中层特征相关性的补丁来产生高频细节。我们在ImageNet和Paris Streetview数据集上评估了我们的方法，并实现了最先进的修复精度。我们表明，我们的方法比以前的方法产生更清晰，更连贯的结果，特别是对于高分辨率图像。
2017-04-13 cs.CV
UltraHR-100K: Enhancing UHR Image Synthesis with A Large-Scale High-Quality Dataset
State Key Laboratory of Novel Software Technology, Nanjing University, China（南京大学新型软件技术国家重点实验室）；vivo Mobile Communication Co., Ltd., China（vivo移动通信有限公司）
针对超高分辨率文本到图像生成中数据集缺失和细节训练不足的问题，提出UltraHR-100K数据集和频率感知后训练方法，显著提升细节质量。
2025-10-23 cs.CV
FouriScale: A Frequency Perspective on Training-Free High-Resolution Image Synthesis
CUHK-SenseTime Joint Laboratory, The Chinese University of Hong Kong（香港中文大学-商汤科技联合实验室）；Centre for Perceptual and Interactive Intelligence（感知与交互智能中心）；Sun Yat-Sen University（中山大学）；Sensetime Research（商汤科技研究院）；Beihang University（北京航空航天大学）
FouriScale提出免训练的频域方法，通过膨胀卷积和低通滤波解决扩散模型高分辨率生成中的结构失真，实现任意尺寸高质量图像合成。
2024-03-19 cs.CV
Intrinsic Temporal Regularization for High-resolution Human Video Synthesis
Peking University（北京大学）；Alibaba DAMO Academy（阿里巴巴达摩院）
时间一致性对于将图像处理流水线扩展到视频域是至关重要的，这通常通过相邻帧上的基于流的扭曲误差来实施。然而，对于人类视频合成，这种方案是不太可靠的，由于源和目标视频之间的不对准，以及在准确的流量估计的困难。在本文中，我们提出了一种有效的内在时间正则化方案来缓解这些问题，其中通过帧生成器估计内在置信度图，以通过时间损失调制来调节运动估计。这为将时间损失梯度直接反向传播到前端运动估计器创建了捷径，从而提高了输出视频中的训练稳定性和时间相干性。我们将我们固有的时间调节应用于单图像生成器，从而产生一个强大的“INTERnet”，能够生成具有时间连贯性的、逼真的视觉细节的$512\times512$分辨率的人类动作视频。大量的实验表明，建议INTERnet的优越性，在几个竞争力的基线。
2020-12-11 cs.CV
Fast High-Resolution Image Synthesis with Latent Adversarial Diffusion Distillation
Stability AI
本文提出潜在对抗性扩散蒸馏（LADD），利用预训练潜在扩散模型特征，简化训练并提升性能，应用于Stable Diffusion 3（8B）得到SD3-Turbo，仅需四步采样即可匹配最先进文本到图像生成器性能，并验证其在图像编辑和修复中的有效性。
2024-03-18 cs.CV
Style-Guided Inference of Transformer for High-resolution Image Synthesis
NCSOFT（NCSoft公司）
Transformer非常适合于自回归图像合成，它递归地从过去的值预测离散值以组成完整的图像。特别地，结合矢量量化的隐表示，最先进的自回归Transformer显示逼真的高分辨率图像。然而，从离散概率分布中对潜在代码进行采样使得输出不可预测。因此，它需要产生大量的不同的样本，以获得所需的输出。为了减轻重复生成大量样本的过程，在本文中，我们建议将所需的输出（样式图像）作为附加条件，而无需重新训练Transformer。为此，我们的方法将风格转换为概率约束，以重新平衡先验，从而指定目标分布而不是原始先验。因此，从重新平衡先验中生成的样本具有与参考样式相似的样式。在实践中，我们可以选择一个图像或一类图像作为附加条件。在我们的定性评估中，我们发现大多数输出的风格与输入风格相似。
2022-10-11 cs.CV
Meissonic: Revitalizing Masked Generative Transformers for Efficient High-Resolution Text-to-Image Synthesis
National University of Singapore（新加坡国立大学）；Skywork AI（天工AI）；HKUST(GZ)（香港科技大学（广州））；HKUST（香港科技大学）；ZJU（浙江大学）；UC Berkeley（加州大学伯克利分校）
本文提出 Meissonic，通过架构创新、位置编码、采样优化、偏好微条件与特征压缩，使非自回归 MIM 文生图在效率和 $1024 \ imes 1024$ 质量上匹敌甚至超越 SDXL。
2025-03-13 cs.CV
InfGen: A Resolution-Agnostic Paradigm for Scalable Image Synthesis
Hong Kong University of Science and Technology（香港科技大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；The University of Sydney（悉尼大学）
提出InfGen，通过一步生成器替换VAE解码器，从固定潜在表示生成任意分辨率图像，无需重训扩散模型，将4K生成时间降至10秒内。
2025-09-12 cs.CV
UltraImageGen: Efficient Ultra-High-Resolution Image Generation with Hierarchical Local Attention
提出UltraImageGen框架，通过层级局部注意力和低分辨率全局引导，将预训练扩散模型扩展到8K以上分辨率，实现近线性复杂度、10倍加速和更低内存占用。
2026-07-02 cs.CV
GeoSynth: Contextually-Aware High-Resolution Satellite Image Synthesis
本文提出 GeoSynth，通过文本或地理位置控制全局风格，并结合图像驱动布局生成高分辨率卫星图像，在多样控制组合下展现出高质量生成与零样本泛化能力。
2024-04-09 cs.CV
BrainVoxGen: Deep learning framework for synthesis of Ultrasound to MRI
New York University（纽约大学）；Bharati Vidyapeeth (Deemed to be) University（印度巴拉蒂维迪亚皮斯大学）
本研究提出基于改进Pix2Pix GAN的BrainVoxGen框架，用于从3D超声图像合成MRI体积，虽结果相似度尚可，但因数据与算力限制未达临床部署标准，为后续研究奠定基准。
2024-07-17 cs.CV eess.IV
High-resolution medical image synthesis using progressively grown generative adversarial networks
Massachusetts General Hospital（麻省总医院）；Casey Eye Institute（凯西眼科研究所）；Brigham and Women’s Hospital（布莱根妇女医院）
生成对抗网络（GANs）是一类无监督的机器学习算法，可以从多维空间中的随机采样向量生成逼真的图像。直到最近，还不可能使用GANs生成逼真的高分辨率图像，这限制了它们对包含仅在原始分辨率下可检测的生物标志物的医学图像的适用性。GANs的渐进增长是一种方法，其中图像生成器被训练为初始合成低分辨率合成图像（8x8像素），然后将其馈送到将这些合成图像与真实下采样图像区分开的消隐器。然后迭代地引入额外的卷积层，以产生两倍于先前分辨率的图像，直到达到所需的分辨率。在这项工作中，我们证明了这种方法可以在两个不同的领域产生逼真的医学图像;眼底照片显示血管病变与早产儿视网膜病变（ROP），和多模态磁共振图像的胶质瘤。我们还表明，与病理相关的细粒度细节，如视网膜血管或肿瘤异质性，可以通过包括分割图作为额外的通道来保留和增强。我们设想了几个应用的方法，包括图像增强和无监督分类的病理。
2018-05-09 cs.CV
Auto-Embedding Generative Adversarial Networks for High Resolution Image Synthesis
通过生成对抗网络（GAN）生成图像最近引起了人们的广泛关注。然而，大多数现有的基于GAN的方法只能产生质量有限的低分辨率图像。使用GANs直接生成高分辨率图像是不平凡的，并且通常会产生具有不完整对象的问题图像。为了解决这个问题，我们开发了一种新的GAN称为自动嵌入生成对抗网络（AEGAN），它同时编码全局结构特征并捕获细粒度细节。在我们的网络中，我们使用一个自动编码器来学习真实图像的内在高级结构，并设计一个新的去噪网络来为生成的图像提供照片般逼真的细节。在实验中，我们能够直接从输入噪声中生成512 x512的有希望质量的图像。所得到的图像表现出更好的感知照片真实性，即，与几个数据集上的其他基线相比，具有更清晰的结构和更丰富的细节，包括Oxford-102 Flowers，Caltech-UCSD Birds（CUB），High-Quality Large-scale CelebFaces Attributes（CelebA-HQ），Large-scale场景理解（LSUN）和ImageNet。
2019-03-29 cs.CV
WFM: 3D Wavelet Flow Matching for Ultrafast Multi-Modal MRI Synthesis
Department of Computer Science, Stanford University（斯坦福大学计算机科学系）；Machine and Hybrid Intelligence Lab, Feinberg School of Medicine, Northwestern University（北western大学费因伯格医学院机器与混合智能实验室）
本文提出WFM方法，通过学习基于小波空间条件均值的直接流，实现高效多模态MRI合成，单模型在BraTS 2024上达到26.8 dB PSNR和0.94 SSIM，速度比扩散模型快250-1000倍。
2026-04-22 cs.CV
SuperFront: From Low-resolution to High-resolution Frontal Face Synthesis
Northeastern University（东北大学）
随着我们在深度学习主题上的进一步发展，面部旋转以及其他基于面部的生成任务的进展更加频繁。即使在合成面孔方面取得了令人印象深刻的里程碑，但在实践中需要保持身份的重要性，不应忽视。此外，对于具有模糊面孔、较重姿势和较低质量的数据，难度不应该更大。现有方法倾向于关注姿态变化的样本，但假设数据质量高。我们提出了一种基于生成对抗网络（GAN）的模型，用于从一个或多个具有极端姿态的低分辨率（LR）人脸中生成高质量，身份保持的正面人脸。具体来说，我们提出了SuperFront-GAN（SF-GAN）来合成一个高分辨率（HR），正面脸从一个到多个LR面对各种姿势和身份保留。我们将超分辨率（SR）侧视图模块集成到SF-GAN中，以保留HR空间中侧视图的身份信息和细节，这有助于模型重建人脸的高频信息（即，眼周、鼻和口区域）。此外，SF-GAN接受多个LR面作为输入，并改进每个添加的样本。我们在生成器中使用正交约束来压缩额外的性能增益，以惩罚冗余的潜在表示，从而使学习的特征空间多样化。定量和定性的结果表明SF-GAN优于其他。
2020-12-07 cs.CV
Feature-Space Guided Diffusion for Realistic Ultrasound Image Synthesis
Artikode Intelligence S.L.（Artikode智能有限公司）
研究针对条件扩散模型合成超声图像逼真度不足问题，提出无需训练的特征空间候选引导（FSCG）采样策略，通过局部k近邻特征校正及按特征空间能量选最佳候选，缩小与真实图像差距，在多数据集上效果优于标准采样及其他基线。
2026-07-14 cs.CV
Vision-Enhanced Large Language Models for High-Resolution Image Synthesis and Multimodal Data Interpretation
本研究提出了一种增强视觉能力的大型语言模型，通过整合修正流机制和混合序列建模方法，实现高分辨率图像合成和多模态数据解释的高效生成与高质量输出。
2026-01-03 cs.CV
SHARP: Spectrum-aware Highly-dynamic Adaptation for Resolution Promotion in Remote Sensing Synthesis
School of Computer Science, Northwestern Polytechnical University, Xi'an, China（计算机科学学院，西北工业大学，西安，中国）；School of Artificial Intelligence, OPtics and ElectroNics (iOPEN), Northwestern Polytechnical University, Xi'an, China（人工智能学院，光学与电子学（iOPEN），西北工业大学，西安，中国）
本文提出SHARP方法，通过频谱感知的高动态适应策略，在无需训练的情况下提升遥感图像分辨率，优于现有无训练基线，在CLIP分数、审美分数和HPSv2上表现更优。
2026-08-14 cs.CV
DiffuseHigh: Training-free Progressive High-Resolution Image Synthesis through Structure Guidance
Sungkyunkwan University（成均馆大学）；Central South University（中南大学）
针对扩散模型生成高分辨率图像易出现伪影且训练成本高的问题，提出免训练的渐进式方法DiffuseHigh，利用低分辨率图像结构引导高分辨率图像生成，显著降低计算成本并验证了有效性。
2024-08-27 cs.CV
Patched Denoising Diffusion Models For High-Resolution Image Synthesis
Stanford University（斯坦福大学）；University of California, San Diego（加州大学圣地亚哥分校）
提出Patch-DM去噪扩散模型，通过在小图像块上训练并采用特征拼贴策略避免边界伪影，实现了高分辨率图像的高质量无缝合成，在多个数据集上达到SOTA FID且降低了内存复杂度。
2023-08-02 cs.CV
DiM: Diffusion Mamba for Efficient High-Resolution Image Synthesis
The University of Hong Kong（香港大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Tsinghua University（清华大学）；Shanghai Jiao Tong University（上海交通大学）
针对Transformer类扩散模型高分辨率图像生成计算成本高的问题，提出结合Mamba高效性与扩散模型表达力的DiM架构，搭配多方向扫描等设计及弱到强训练、免训练上采样策略，实现高效高分辨率图像合成。
2024-07-10 cs.CV
IDE-3D: Interactive Disentangled Editing for High-Resolution 3D-aware Portrait Synthesis
Tsinghua University（清华大学）；Tencent AI Lab（腾讯人工智能实验室）；ByteDance Inc.（字节跳动公司）
现有的3D感知人脸生成方法面临着质量与可编辑性的困境：它们要么生成低分辨率的可编辑结果，要么生成高质量的结果，没有编辑灵活性。在这项工作中，我们提出了一种新的方法，将两个世界的最佳结合在一起。我们的系统由三个主要部分组成：（1）一个三维语义感知的生成模型，产生视图一致的，分离的人脸图像和语义面具;（2）一个混合的GAN反演方法，初始化潜在的代码从语义和纹理编码器，并进一步优化他们的忠实重建;以及（3）规范编辑器，其使得能够在规范视图中有效地操纵语义掩码并产生高质量的编辑结果。我们的方法适用于许多应用，例如自由视图面绘制，编辑和样式控制。定量和定性的结果都表明，我们的方法达到了最先进的摄影现实主义，忠实性和效率。
2022-05-31 cs.CV
BachGAN: High-Resolution Image Synthesis from Salient Object Layout
University of Central Florida（中佛罗里达大学）；Microsoft Dynamics 365 AI Research（微软 Dynamics 365 AI 研究院）
我们提出了一个新的任务，对更实际的应用程序的图像生成-高品质的图像合成显着对象布局。这种新的设置允许用户仅提供显著对象的布局（即，前景边界框和类别），并让模型使用虚构的背景和匹配的前景完成绘图。这个新任务带来了两个主要挑战：（i）如何在没有分割图输入的情况下生成细粒度的细节和逼真的纹理;以及（ii）如何创建背景并将其无缝地编织到独立的对象中。为了解决这个问题，我们提出了背景幻觉生成对抗网络（BachGAN），它首先通过背景检索模块从一个大的候选池中选择一组分割图，然后通过背景融合模块对这些候选布局进行编码，为给定的对象产生合适的背景。通过动态生成幻觉背景表示，我们的模型可以合成高分辨率的图像与照片级逼真的前景和完整的背景。在Cityscapes和ADE 20 K数据集上的实验证明了BachGAN优于现有方法的优势，这些方法在生成图像的视觉保真度和输出图像与输入布局之间的视觉对齐方面都有测量。
2020-03-27 cs.CV
RectifiedHR: Enable Efficient High-Resolution Synthesis via Energy Rectification
HKUST(GZ)（香港科技大学（广州））；Kuaishou Technology（快手科技）；HKUST（香港科技大学）；Zhejiang University（浙江大学）
本文提出RectifiedHR，一种无需训练的高效高分辨率合成方法，通过噪声刷新策略提升效率，并首次发现能量衰减现象，通过调整引导超参数改善生成质量，兼容多种扩散模型技术。
2026-04-09 cs.AI cs.CV
Ultra-Resolution Cascaded Diffusion Model for Gigapixel Image Synthesis in Histopathology
ICL（帝国理工学院）；NHS Trust（英国国民保健署信托机构）
本文提出超分辨率级联扩散模型（URCDMs），用于合成组织病理学中具有长距离空间一致性的十亿像素高分辨率图像，并在 pFID-50k 和专家评估中显著优于现有方法。
2023-12-02 cs.CV eess.IV
Ultrasound Image-to-Video Synthesis via Latent Dynamic Diffusion Models
MedAI Technology (Wuxi) Co. Ltd.（MedAI科技（无锡）有限公司）；Technical University of Munich（慕尼黑工业大学）
针对公开超声视频数据集稀缺的问题，提出潜在动态扩散模型LDDM，将静态超声图像合成为真实动态视频，在BUSV基准上效果优异，混合合成数据训练可提升分类模型性能，为超声视频分析提供有效数据增强方案。
2025-03-19 cs.CV eess.IV
Any-resolution Training for High-resolution Image Synthesis
MIT（麻省理工学院）；Adobe Research（奥多比研究院）
生成模型以固定的分辨率运行，即使自然图像有各种大小。由于高分辨率的细节被下采样，低分辨率的图像被完全丢弃，失去了宝贵的监督。我们认为每个像素都很重要，并使用可变大小的图像创建数据集，以其原始分辨率收集。为了利用不同大小的数据，我们引入了连续规模训练，这是一个在随机规模上对补丁进行采样以训练具有可变输出分辨率的新生成器的过程。首先，在目标尺度上调节生成器使我们能够生成比以前更高分辨率的图像，而无需向模型添加图层。其次，通过连续坐标的条件，我们可以对仍然遵循一致的全局布局的补丁进行采样，这也允许在更高的分辨率下进行可扩展的训练。控制FFHQ实验表明，我们的方法可以利用多分辨率训练数据比离散多尺度方法，实现更好的FID分数和更干净的高频细节。我们还训练其他自然图像域，包括教堂，山脉和鸟类，并展示了任意规模的合成与连贯的全球布局和现实的局部细节，在我们的实验中超过2K分辨率。我们的项目页面可在：https://chail.github.io/anyres-gan/。
2022-08-05 cs.CV cs.LG
Mask Embedding in conditional GAN for Guided Synthesis of High Resolution Images
Duke University（杜克大学）；Duke University School of Medicine（杜克大学医学院）
条件生成对抗网络（cGAN）的最新进展在标签引导图像合成中显示出了希望。语义遮罩（如草图和标签图）是图像合成中另一种直观有效的指导形式。直接将语义掩码作为约束条件，大大降低了合成结果的可变性和质量。我们观察到这是由来自生成器的不同输入（例如掩码图像和潜在向量）的特征的不兼容性引起的。为了使用语义掩码作为指导，同时提供逼真的合成结果与细节，我们建议使用掩码嵌入机制，以允许在生成器中更有效的初始特征投影。我们通过使用CELEBA-HQ数据集训练掩模引导的人脸生成器来验证我们的方法的有效性。我们可以生成逼真的高分辨率面部图像，分辨率高达512*512，并带有遮罩引导。我们的代码是公开的。
2019-07-03 cs.CV cs.LG
Native-Resolution Image Synthesis
MMLab, CUHK（CUHK多媒体实验室）；Shanghai AI Lab（上海人工智能实验室）
本文提出原生分辨率图像合成范式及NiT扩散Transformer，突破固定分辨率限制，在ImageNet基准上取得最优性能，并展现出对未见分辨率和宽高比的强零样本泛化能力。
2025-06-03 cs.CV cs.LG
Conditional Image Synthesis With Auxiliary Classifier GANs
Google Brain（谷歌大脑）
合成高分辨率真实感图像一直是机器学习中的一个长期挑战。在本文中，我们介绍了用于图像合成的生成对抗网络（GANs）的改进训练的新方法。我们构建了一个变体的GANs，采用标签条件，导致128 × 128分辨率的图像样本表现出全局一致性。我们扩大以前的工作，图像质量评估提供两个新的分析，以评估类条件图像合成模型的样本的可辨别性和多样性。这些分析表明，高分辨率样品提供了低分辨率样品中不存在的类别信息。在1000个ImageNet类中，128x128样本的可分辨性是人工调整大小的32x32样本的两倍多。此外，84.7%的类具有与真实ImageNet数据相当的多样性。
2017-07-20 cs.CV stat.ML
Efficient Geometry-Controlled High-Resolution Satellite Image Synthesis
Univ. POLITEHNICA Bucharest SIGMA Lab , CAMPUS Institute（巴比什-博亚尔银行大学 SIGMA 实验室，CAMPUS 机构）；Univ. POLITEHNICA Bucharest GEOSENSE , CAMPUS Institute（巴比什-博亚尔银行大学 GEOSENSE，CAMPUS 机构）
本文提出一种高效方法，通过利用跳连特征和滑动窗口交叉注意力模块，改进扩散模型以实现几何控制的高分辨率卫星图像合成，同时探讨了当前评估方法的局限性。
2026-05-13 cs.AI cs.CV
An Acceleration Framework for High Resolution Image Synthesis
使用生成对抗网络（GANs）合成高分辨率图像具有挑战性，通常需要大量具有大内存和长时间训练的高端图形卡。在本文中，我们提出了一个两阶段的框架，以加速合成高分辨率图像的训练过程。高分辨率图像首先通过训练的编码器和解码器网络转换为小代码。潜在空间中的代码比原始高分辨率图像小几倍。然后，我们训练一个代码生成网络来学习潜在代码的分布。通过这种方式，生成器只学习生成小的潜在代码，而不是大的图像。最后，我们通过解码器网络将生成的潜码解码到图像空间，从而输出合成的高分辨率图像。实验结果表明，该方法大大加快了训练过程，提高了生成样本的质量。提出的加速框架使得在有限的硬件资源下，使用更少的训练时间生成高分辨率图像成为可能。在使用所提出的加速方法后，仅使用一块NVIDIA P100图形卡就可以在Celeba-HQ数据集上训练1024 *1024的图像生成器。
2019-09-09 cs.CV eess.IV
URCDM: Ultra-Resolution Image Synthesis in Histopathology
Imperial College London（伦敦帝国学院）；NHS Trust（英国国家医疗服务体系信托机构）；Friedrich–Alexander University Erlangen–Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）
针对现有生成方法无法一致表示全切片图像层次结构的问题，提出超分辨率级联扩散模型（URCDM），能高分辨率合成完整组织病理学图像，在三个数据集上超越现有最先进模型，且专家无法区分生成图像与真实图像。
2024-07-18 cs.CV eess.IV
Adnexal Mass Segmentation with Ultrasound Data Synthesis
Imperial College London（帝国理工学院）；Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）
卵巢癌是最致命的妇科恶性肿瘤。这种疾病在早期阶段最常见的是无症状的，其诊断依赖于经阴道超声图像的专家评估。超声是表征附件肿块的一线成像方式，它需要大量的专业知识，其分析是主观和劳动密集型的，因此容易出错。因此，在临床实践中需要自动化过程以促进和简化扫描的评价。使用监督学习，我们已经证明了附件肿块的分割是可能的，但是，流行率和标签不平衡限制了代表性不足的类的性能。为了减轻这种情况，我们应用了一种新的病理学特定的数据合成器。我们通过使用泊松图像编辑将不太常见的肿块整合到其他样本中，创建具有相应地面真值分割的合成医学图像。我们的方法在所有类别中实现了最佳性能，与nnU-Net基线方法相比，改进高达8%。
2022-09-25 cs.CV cs.LG eess.IV
UltraDfeGAN: Detail-Enhancing Generative Adversarial Networks for High-Fidelity Functional Ultrasound Synthesis
Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Department of Information and Communication, Institute of Technology of Cambodia（柬埔寨技术学院信息与通信系）；Department of Telecommunication and Network Engineering, Institute of Technology of Cambodia（柬埔寨技术学院电信与网络工程系）
本文提出UltraDfeGAN，通过特征增强模块和归一化技术改进GAN架构，用于高保真功能超声图像合成，并在公开数据集上验证其可提升下游分类任务的数据增强效果。
2025-08-19 cs.CV eess.IV physics.med-ph
Relay Diffusion: Unifying diffusion process across resolutions for image synthesis
Tsinghua University（清华大学）；Zhipu AI（智谱AI）
针对高分辨率图像生成挑战，提出 Relay Diffusion Model (RDM)，通过模糊扩散和块噪声将低分辨率结果转换为等效高分辨率形式，实现跨分辨率无缝扩散，在 CelebA-HQ 和 ImageNet 256×256 上取得 SOTA 性能。
2023-09-04 cs.CV cs.LG
Resolution Dependent GAN Interpolation for Controllable Image Synthesis Between Domains
GANs可以从其训练数据的域生成照片般逼真的图像。然而，那些想要将它们用于创造性目的的人通常希望从一个真正新颖的领域生成图像，这是GANs天生无法完成的任务。还希望有一定程度的控制，以便有一定程度的艺术方向，而不是纯粹的随机结果的策展。在这里，我们提出了一种方法，用于以分辨率依赖的方式在StyleGAN架构的生成模型之间进行插值。这使我们能够从一个全新的领域生成图像，并在一定程度上控制输出的性质。
2020-11-21 cs.CV eess.IV
Ultrasound Image Synthesis Using Generative AI for Lung Ultrasound Detection
Johns Hopkins University（约翰斯·霍普金斯大学）；Philips Ultrasound（飞利浦超声）；Columbia University Vagelos College of Physicians and Surgeons（哥伦比亚大学瓦格洛斯内科医生与外科医生学院）；MedStar Washington Hospital Center（MedStar华盛顿医院中心）；Yale University School of Medicine（耶鲁大学医学院）
针对医疗AI训练数据不平衡问题，提出基于Lesion-anatomy Bank的生成式AI技术DiffUltra，可合成多样化肺部超声图像，提升常见及罕见肺部病变检测精度。
2025-01-10 cs.AI cs.CV eess.IV
StyleNeRF: A Style-based 3D-Aware Generator for High-resolution Image Synthesis
Facebook AI；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；The University of Hong Kong（香港大学）
我们提出了StyleNeRF，这是一个3D感知的生成模型，用于具有高多视图一致性的照片级逼真的高分辨率图像合成，可以在非结构化的2D图像上进行训练。现有的方法要么不能合成具有精细细节的高分辨率图像，要么产生明显的3D不一致伪影。此外，它们中的许多缺乏对样式属性和明确的3D相机姿势的控制。StyleNeRF将神经辐射场（NeRF）集成到基于样式的生成器中，以解决上述挑战，即，提高渲染效率和3D一致性，以生成高分辨率图像。我们只执行体渲染以产生低分辨率的特征图，并逐步在2D中应用上采样来解决第一个问题。为了减轻2D上采样引起的不一致性，我们提出了多种设计，包括更好的上采样器和新的正则化损失。通过这些设计，StyleNeRF可以以交互速率合成高分辨率图像，同时保持高质量的3D一致性。StyleNeRF还可以控制相机姿势和不同级别的样式，这可以概括为不可见的视图。它还支持具有挑战性的任务，包括放大和缩小，样式混合，反转和语义编辑。
2021-10-18 cs.CV stat.ML
