Efficient High-Resolution Image-to-Image Translation using Multi-Scale Gradient U-Net
Indian Institute of Information Technology, Sri City(斯里城印度信息技术学院)
近年来,条件生成对抗网络(Conditional GAN)在图像到图像的翻译应用中表现出了良好的性能。然而,这些条件GANs的使用非常局限于低分辨率图像,例如256 × 256。Pix 2 Pix-HD是最近尝试利用条件GAN进行高分辨率图像合成。在本文中,我们提出了一个基于多尺度梯度的U-网(MSG U-网)模型的高分辨率图像到图像的翻译高达2048 X1024分辨率。所提出的模型是通过允许从多个鉴别器到多个尺度的单个生成器的梯度流来训练的。建议的MSG U-Net架构导致照片般逼真的高分辨率图像到图像的转换。此外,所提出的模型是计算高效的,与Pix 2 Pix-HD相比,推理时间提高了近2.5倍。我们在https://github.com/laxmaniron/MSG-U-Net上提供了MSG U-Net模型的代码。
2021-05-27 cs.CV eess.IV
High-Resolution Image Translation Model Based on Grayscale Redefinition
Nanjing University of Science and Technology(南京理工大学)
本文提出一种基于灰度重定义的图像转换方法,在高分辨率任务中实现像素级转换,并结合Pix2PixHD模型和跨任务权重初始化来提升性能。
2024-04-01 cs.CV eess.IV
Semantic-Guided Cross-Sensor Super Resolution of Remote Sensing Images: A Gated Dual Conditioning Flow Matching Model
School of Computing and Augmented Intelligence(计算与增强智能学院);School of Geographical Sciences and Urban Planning(地理科学与城市规划学院);Arizona State University(亚利桑那州立大学)
针对遥感图像跨传感器超分辨率的稀缺数据与域偏移问题,提出语义引导的RareFlow框架,结合门控ControlNet与文本语义引导,在多基准上验证了其高保真超分辨率生成能力。
2026-08-04 cs.CV
Addressing Detail Bottlenecks in Latent Diffusion for RGB-to-SWIR Image Translation
imec;imec-IPI-Ghent University(imec-IPI-根特大学);Yale University(耶鲁大学)
针对潜在扩散模型在RGB到SWIR图像翻译中丢失空间细节的问题,提出源条件自编码器和可学习引导编码器两种轻量级改进,在驾驶场景下将检测mAP提升至2倍,小目标提升3.4倍,并达到最优FID。
2026-06-19 cs.CV
RefRoute: Decoupling Conditioning Cost from References via Compact Residual Conditioning and Spatial Routing
Dartmouth College(达特茅斯学院)
RefRoute通过紧凑残差条件化和空间路由减少多参考图像生成中的token数量与注意力开销,在ManyRef100上显著优于FLUX基线,实现高效可扩展生成。
2026-10-07 cs.CV cs.LG
High-Resolution Photorealistic Image Translation in Real-Time: A Laplacian Pyramid Translation Network
The HongKong Polytechnic University(香港理工大学);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院)
现有的图像到图像转换(I2IT)方法要么被限制为低分辨率图像,要么由于其对高分辨率特征图的卷积的沉重计算负担而导致推理时间长。在本文中,我们专注于加速高分辨率的真实感I2IT任务的基础上,封闭形式的拉普拉斯金字塔分解和重建。具体来说,我们揭示了属性变换,如照明和颜色操作,涉及更多的低频分量,而内容细节可以自适应地细化高频分量。因此,我们提出了一个拉普拉斯金字塔翻译网络(LPTN),同时执行这两项任务,在那里我们设计了一个轻量级的网络,用于翻译低频分量,降低分辨率和渐进的掩蔽策略,以有效地改善高频。我们的模型避免了处理高分辨率特征图所消耗的大部分繁重计算,并忠实地保留了图像细节。在不同任务上的大量实验结果表明,该方法可以使用一个普通的GPU实现实时的【形】4K图像的转换,同时实现与现有方法相当的转换性能。数据集和代码可在https://github.com/csjliang/LPTN获得。
2021-05-19 cs.CV
Memory-efficient GAN-based Domain Translation of High Resolution 3D Medical Images
University of Lübeck(吕贝克大学)
生成对抗网络(GANs)目前很少应用于大尺寸的3D医学图像,由于其巨大的计算需求。本工作提出了一种基于多尺度块的GAN方法,用于通过以存储高效的方式生成高分辨率的3D医学图像体积来建立不成对域平移。实现内存高效图像生成的关键思想是首先生成图像的低分辨率版本,然后生成大小不变但分辨率不断增加的补丁。为了避免补丁文物,并纳入全球信息,补丁生成的条件是补丁从以前的分辨率尺度。这些多尺度GANs经过训练,可以从图像草图生成逼真的图像,以便执行不成对的域翻译。这允许保留测试数据的拓扑并生成训练域数据的外观。在尺寸为155x240x240的脑部MRI和尺寸高达512x512x512的胸部CT上执行域平移场景的评价。与常见的基于补丁的方法相比,多分辨率方案能够实现更好的图像质量并防止补丁伪影。此外,它还确保了与图像大小无关的恒定GPU内存需求,允许生成任意大的图像。
2020-10-06 cs.CV cs.LG eess.IV
Toward Phonology-Guided Sign Language Motion Generation: A Diffusion Baseline and Conditioning Analysis
George Mason University(乔治梅森大学)
本文提出基于扩散模型的基线方法,研究文本条件对手语动作生成的影响,发现将符号化标注转为自然语言是CLIP有效条件,T5不受影响,最佳变体在所有指标上优于现有方法。
2026-03-29 cs.CV
SDIT: Scalable and Diverse Cross-domain Image Translation
Computer Vision Center(计算机视觉中心);Universitat Autònoma de Barcelona(巴塞罗那自治大学)
近年来,意象翻译研究取得了显著的进展。虽然目前的方法成功地产生不同的输出或执行可伸缩的图像传输,这些属性还没有被组合成一个单一的方法。为了解决这个问题,我们提出了SDIT:可扩展和多样化的图像到图像翻译。这些属性被合并到一个生成器中。多样性由从正态分布中随机抽样的潜变量确定。可伸缩性是通过调节网络的域属性。此外,我们还利用了一个注意力机制,使发电机专注于特定领域的属性。我们经验证明了所提出的方法在人脸映射和人脸以外的其他数据集上的性能。
2019-08-19 cs.CV
ILVR: Conditioning Method for Denoising Diffusion Probabilistic Models
Seoul National University(首尔大学);Samsung SDS(三星SDS)
去噪扩散概率模型(DDPM)在无条件图像生成方面表现出显着的性能。然而,由于在DDPM的生成过程中的随机性,它是具有挑战性的,以产生所需的语义图像。在这项工作中,我们提出了迭代潜在变量细化(ILVR),一种方法来指导生成过程中的DDPM生成高质量的图像的基础上,一个给定的参考图像。这里,DDPM中的生成过程的细化使得单个DDPM能够从由参考图像引导的各个集合中采样图像。所提出的ILVR方法在控制生成的同时生成高质量的图像。我们的方法的可控性允许适应单个DDPM,而无需在各种图像生成任务中进行任何额外的学习,例如从各种下采样因子生成,多域图像翻译,绘画到图像以及使用涂鸦进行编辑。
2021-09-15 cs.CV
High-Resolution Daytime Translation Without Domain Labels
Samsung AI Center, Moscow(三星人工智能中心(莫斯科));National Research University Higher School of Economics, St.-Petersburg(国立研究型大学高等经济学院(圣彼得堡));Skolkovo Institute of Science and Technology, Moscow(斯科尔科沃科学技术研究院(莫斯科))
提出HiDT模型,结合生成式图像转换与新型上采样方案,实现无标签高分辨率日间转换,性能优越。
2020-03-23 cs.CV cs.LG eess.IV
MaskSketch: Unpaired Structure-guided Masked Image Generation
Boston University(波士顿大学);Google Research(谷歌研究院);Georgia Institute of Technology(佐治亚理工学院)
最近的条件图像生成方法产生的图像显着的多样性,保真度和现实主义。然而,这些方法中的大多数仅允许对标签或文本提示进行调节,这限制了它们对生成结果的控制水平。在本文中,我们介绍了MaskSketch,图像生成方法,允许空间调节的生成结果使用一个指导草图作为额外的调节信号在采样过程中。MaskSketch使用预先训练的掩码生成Transformer,不需要模型训练或配对监督,并与不同抽象级别的输入草图一起工作。我们发现,中间的自注意力地图的掩蔽生成Transformer编码的重要结构信息的输入图像,如场景布局和对象形状,我们提出了一种新的采样方法,基于此观察,使结构指导的生成。我们的研究结果表明,MaskSketch实现了较高的图像真实感和保真度的指导结构。在标准基准数据集上进行评估,MaskSketch优于最先进的草图到图像转换方法,以及不成对的图像到图像转换方法。
2023-02-10 cs.AI cs.CV
CAFLOW: Conditional Autoregressive Flows
University of Cambridge(剑桥大学)
我们介绍CAFLOW,一个新的多样化的图像到图像的翻译模型,同时利用自回归建模的力量和建模效率的条件规范化流。我们使用多尺度归一化流程将条件图像转换为一系列潜在编码,并对条件图像重复该过程。我们通过使用高效的多尺度归一化流对自回归分布进行建模来对潜在编码的条件分布进行建模,其中每个调节因素在其各自的分辨率尺度上影响图像合成。我们提出的框架在一系列图像到图像的翻译任务上表现良好。它优于以前的设计条件流,因为它的表达自回归结构。
2021-06-04 cs.AI cs.CV cs.LG
Cascaded Diffusion Models for High Fidelity Image Generation
Google(谷歌)
我们证明了级联扩散模型能够在类条件ImageNet生成基准上生成高保真图像,而无需辅助图像分类器的任何帮助来提高样本质量。级联扩散模型包括多个扩散模型的流水线,所述多个扩散模型生成分辨率增加的图像,以最低分辨率的标准扩散模型开始,随后是一个或多个超分辨率扩散模型,所述一个或多个超分辨率扩散模型连续地对图像进行上采样并添加更高分辨率的细节。我们发现,级联管道的样本质量依赖于条件增强,我们提出的方法的数据增强的低分辨率条件输入的超分辨率模型。我们的实验表明,条件增强可以防止级联模型中采样过程中的复合误差,帮助我们训练级联管道,在64 x64分辨率下获得1.48的FID分数,在128 x128分辨率下获得3.52的分数,在256 x256分辨率下获得4.88的分数,优于BigGAN-deep,在256 x256下,分类准确率得分为63.02%(前1)和84.06%(前5),优于VQ-VAE-2。
2021-12-17 cs.AI cs.CV cs.LG
Interactive Sketch & Fill: Multiclass Sketch-to-Image Translation
University of Oxford(牛津大学);Adobe Research(奥多比研究院);UC Berkeley(加州大学伯克利分校)
我们提出了一种基于GAN的交互式草图到图像转换方法,可以帮助新手用户创建简单对象的图像。当用户开始绘制所需对象类型的草图时,网络交互式地推荐合理的完成,并向用户显示相应的合成图像。这就实现了一个反馈循环,用户可以根据网络的建议编辑他们的草图,在绘制时可视化完成的形状和最终渲染的图像。为了在各种对象类中使用单个训练模型,我们引入了一种基于门控的类调节方法,该方法允许我们从单个生成器网络生成不同的类,而不会混合特征。视频可在我们的网站:https://arnabgho.github.io/iSketchNFill/。
2019-09-25 cs.CV cs.LG eess.IV
Multi-Curve Translator for High-Resolution Photorealistic Image Translation
Zhejiang University(浙江大学)
主要的图像到图像转换方法是基于全卷积网络,它提取和转换图像的特征,然后重建图像。然而,当处理高分辨率图像时,它们具有不可接受的计算成本。为此,我们提出了多曲线转换器(MCT),它不仅预测相应的输入像素的翻译像素,而且为他们的相邻像素。如果将高分辨率图像下采样到其低分辨率版本,则丢失的像素是剩余像素的相邻像素。因此,MCT使得只向网络提供下采样图像来执行全分辨率图像的映射成为可能,这可以显着降低计算成本。此外,MCT是一种插件方法,它利用现有的基础模型,只需要替换它们的输出层。实验表明,MCT变体可以实时处理4K图像,并在各种逼真的图像到图像转换任务中实现与基础模型相当甚至更好的性能。
2022-07-09 cs.CV
Multi Scale Identity-Preserving Image-to-Image Translation Network for Low-Resolution Face Recognition
University of Western Ontario(西安大略大学)
最先进的深度神经网络模型已经在受控的高分辨率人脸图像上达到了近乎完美的人脸识别准确率。然而,当用非常低分辨率的人脸图像进行测试时,它们的性能急剧下降。这在监控系统中尤其重要,因为低分辨率的探测图像将与高分辨率的图库图像相匹配。超分辨率技术旨在从低分辨率对应物产生高分辨率面部图像。虽然它们能够重建视觉上吸引人的图像,但与身份相关的信息没有保留。在这里,我们提出了一种身份保护的端到端图像到图像翻译深度神经网络,它能够将非常低分辨率的人脸超分辨率地解析为高分辨率的人脸,同时保留身份相关信息。我们通过训练一个非常深的卷积编码器-解码器网络来实现这一点,该网络在相应的层之间具有对称的收缩路径。该网络在多尺度低分辨率条件下结合重建和身份保留丢失进行训练。对我们提出的模型进行的广泛的定量评估表明,它在自然和人工低分辨率人脸数据集甚至看不见的身份上的性能优于竞争性的超分辨率和低分辨率人脸识别方法。
2022-07-03 cs.CV
Adaptive Latent Diffusion Model for 3D Medical Image to Image Translation: Multi-modal Magnetic Resonance Imaging Study
Sungkyunkwan University(成均馆大学)
本文提出基于潜在扩散模型和MS-SPADE可切换模块的三维医学图像转换方法,实现单模型一对多模态MRI合成,并在多模态脑MRI和IXI数据集上优于现有模型。
2023-11-01 cs.CV eess.IV
NoiseShift: Resolution-Aware Noise Recalibration for Better Low-Resolution Image Generation
Rice University(里士大学)
本文提出NoiseShift,通过校准噪声条件以恢复局部正反向一致性,提升低分辨率图像生成质量,无需额外计算开销。
2026-05-14 cs.AI cs.CV
ISF-GAN: An Implicit Style Function for High-Resolution Image-to-Image Translation
University of Trento(特伦托大学);Tencent AI Lab(腾讯人工智能实验室);Fondazione Bruno Kessler(布鲁诺·凯塞勒基金会)
近来,对采用预先训练的无条件图像生成器(例如,StyleGAN)。然而,应用这些方法将图像转换到多个视觉域仍然具有挑战性。现有的作品通常不保留图像的域不变部分(例如,人脸翻译中的身份),它们通常不处理多个域,或者不允许多模式翻译。这项工作提出了一种隐式风格函数(ISF),可以直接从预训练的无条件生成器实现多模态和多域图像到图像的翻译。ISF操纵输入潜码的语义,以使从其生成的图像位于期望的视觉域中。我们在人脸和动物操作中的结果显示,与基线相比,结果有了显着改善。我们的模型使用预训练的无条件GANs以高分辨率实现具有成本效益的多模态无监督图像到图像的翻译。代码和数据可从以下网址获得:\url{https://github.com/yhlleo/stylegan-mmuit}。
2022-02-23 cs.CV
Biphasic Learning of GANs for High-Resolution Image-to-Image Translation
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Baidu, Inc.(百度公司)
尽管图像到图像的翻译的性能已经显着提高了最近的进展,在生成模型,目前的方法仍然遭受严重退化的训练稳定性和样本质量时,应用于高分辨率的情况。在这项工作中,我们提出了一种新的GANs训练框架,即双相学习,以$1024^2$分辨率在多个视觉域中实现图像到图像的翻译。我们的核心思想是设计一个可调节的目标函数,在不同的训练阶段。在双相学习框架内,我们提出了一种新的遗传对抗性损失,以实现模型容量的增强和稳定的训练相变。此外,我们通过互信息估计和最大化引入了感知级一致性损失。为了验证所提出的方法的优越性,我们将其应用到广泛的人脸相关的合成任务,并在多个大规模数据集上进行实验。通过全面的定量分析,我们证明了我们的方法显着优于现有的方法。
2019-04-14 cs.CV
Simple and Efficient Unpaired Real-world Super-Resolution using Image Statistics
SI Analytics(SI分析)
在没有成对的低分辨率(LR)和高分辨率(HR)图像的情况下学习超分辨率(SR)网络是困难的,因为无法通过对应的HR对应物进行直接监督。近年来,许多真实世界的超分辨率研究利用了非成对图像到图像的翻译技术。也就是说,他们使用了两个或更多的生成对抗网络(GANs),每个网络都将图像从一个域转换到另一个域,\eg将图像从HR域转换到LR域。然而,使用未配对数据的GANs稳定地学习这样的翻译并不容易。在这项研究中,我们提出了一种简单而有效的方法来训练真实世界的SR网络。为了稳定地训练网络,我们使用图像块的统计数据,例如均值和方差。我们的真实世界SR框架由两个GANs组成,一个用于将HR图像转换为LR图像(降级任务),另一个用于将LR转换为HR(SR任务)。我们认为,使用GANs的不成对图像翻译可以有效地学习我们提出的数据采样策略,即方差匹配。我们在NTIRE 2020真实世界SR数据集上测试了我们的方法。我们的方法优于目前国家的最先进的方法在SSIM度量以及LPIPS度量产生可比的结果。
2021-09-19 cs.CV eess.IV
Zero-shot Medical Image Translation via Frequency-Guided Diffusion Models
UT Southwestern Medical Center(德克萨斯大学西南医学中心)
本文提出频率引导扩散模型FGDM,利用频域滤波器在无需源域数据的情况下实现零样本医学图像转换,并在CBCT到CT及跨机构MR转换任务中显著优于现有方法。
2023-10-28 cs.CV eess.IV
Implicit Diffusion Models for Continuous Super-Resolution
Beihang University(北京航空航天大学);Shenzhen Institute of Advanced Technology(深圳先进技术研究院);United Imaging(联影);Zhongguancun Laboratory(中关村实验室)
本文提出隐式扩散模型(IDM),集成隐式神经表示与去噪扩散模型,实现高保真连续图像超分辨率,并通过尺度可控条件机制调节分辨率,实验证明其性能优于现有方法。
2023-09-03 cs.CV
Long-Term Temporally Consistent Unpaired Video Translation from Simulated Surgical 3D Data
NCT/UCC Dresden(德累斯顿国家肿瘤疾病中心/大学癌症中心);CeTI, TU Dresden(德累斯顿工业大学触觉互联网卓越中心);University Hospital Dresden(德累斯顿大学医院)
不成对视频翻译的研究主要集中在通过调节相邻帧的短期时间一致性。然而,对于从模拟到真实感序列的转移,关于底层几何结构的可用信息提供了实现跨视图的全局一致性的可能性。我们提出了一种新的方法,它结合了不成对的图像翻译与神经渲染转移模拟到逼真的外科手术腹部场景。通过引入全局可学习的纹理和光照不变的视图一致性损失,我们的方法产生任意视图的一致性翻译,从而实现长期一致的视频合成。我们设计和测试我们的模型,以生成视频序列的微创手术腹部场景。由于标记的数据通常在该域中受到限制,因此保留来自模拟域的地面真实信息的照片级真实感数据尤其相关。通过将现有的基于图像的方法扩展到查看一致的视频,我们的目标是影响模拟训练和评估环境在外科应用中的适用性。代码和数据:http://opencas.dkfz.de/video-sim2real。
2021-08-19 cs.CV
DINO: A Conditional Energy-Based GAN for Domain Translation
Imperial College London(帝国理工学院)
域转换是将数据从一个域转换到另一个域的过程,同时保留公共语义。一些最流行的域翻译系统基于条件生成对抗网络,其使用源域数据来驱动生成器并作为到生成器的输入。然而,这种方法并不强制保留共享语义,因为条件输入通常会被编译器忽略。我们提出了一种替代的调节方法,并提出了一个新的框架,其中两个网络同时训练,以监督的方式,在相反的方向上执行域翻译。我们的方法不仅能更好地捕捉两个域之间的共享信息,而且更通用,可以应用于更广泛的问题。所提出的框架表现良好,即使在具有挑战性的跨模态翻译,如视频驱动的语音重建,其他系统的斗争,以保持对应。
2021-02-18 cs.CV cs.LG cs.SD
CFFT-GAN: Cross-domain Feature Fusion Transformer for Exemplar-based Image Translation
University of Chinese Academy of Sciences(中国科学院大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);ByteDance Ltd(字节跳动有限公司);Nanjing University(南京大学)
基于范例的图像翻译是指在特定输入图像的条件下生成具有所需风格的图像的任务。目前的方法大多学习两个输入域之间的对应关系,缺乏对域内信息的挖掘。在本文中,我们提出了一个更一般的学习方法,考虑两个领域的功能作为一个整体,学习域间的对应关系和域内潜在的信息交互。具体来说,我们提出了一个跨域特征融合Transformer(CFFT)学习域间和域内特征融合。基于CFFT,提出的CFFT-GAN在基于范例的图像翻译中表现良好。此外,CFFT-GAN能够通过级联CFFT模块来解耦和融合来自多个域的特征。我们对几个图像翻译任务进行了丰富的定量和定性实验,结果证明了我们的方法与最先进的方法相比的优越性。烧蚀研究表明,我们提出的CFFT的重要性。应用实验结果反映了我们的方法的潜力。
2023-02-03 cs.CV
On Improved Conditioning Mechanisms and Pre-training Strategies for Diffusion Models
FAIR at Meta(Meta FAIR实验室);Univ. Grenoble Alpes(格勒诺布尔大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔理工学院);LJK(让·昆廷诺实验室);McGill University(麦吉尔大学);Mila, Quebec AI institute(米拉魁北克人工智能研究所)
本研究深入探讨潜在扩散模型的训练配方,提出解耦语义与控制元数据的条件机制,在ImageNet-1k和CC12M上实现FID显著改进,树立新最先进水平。
2025-01-20 cs.AI cs.CV
Synthesis of COVID-19 Chest X-rays using Unpaired Image-to-Image Translation
Concordia Institute for Information Systems Engineering(康考迪亚大学信息系统工程研究所);Concordia University(康考迪亚大学)
由于缺乏2019冠状病毒病(COVID-19)阳性患者的胸部X光照片的公开数据集,我们通过利用类条件反射和对抗训练,使用无监督域自适应方法构建了首个高保真的COVID-19胸部X光合成图像的开放数据集。我们的贡献是双重的。首先,当使用合成图像作为额外的训练集时,我们使用各种深度学习架构对COVID-19检测进行了相当大的性能改进。其次,我们展示了我们的图像合成方法如何通过仅在合成数据上训练时实现可比的检测性能来作为数据匿名化工具。此外,所提出的数据生成框架为COVID-19检测以及一般的医学图像分类任务提供了可行的解决方案。我们公开的基准数据集由21,295张合成COVID-19胸部X射线图像组成。从该数据集中收集的见解可用于抗击COVID-19大流行的预防措施。
2020-10-20 cs.CV cs.LG eess.IV
DiffSLT: Enhancing Diversity in Sign Language Translation via Diffusion Model
Yonsei University(延世大学)
提出DiffSLT无gloss手语翻译框架,利用扩散模型和引导融合模块增强视觉条件,变体DiffSLT-P引入伪gloss减少模态差距,在两个数据集上显著提升多样性和翻译性能。
2024-11-26 cs.CV
RRFC: Recursive Refinement via Feedback Conditioning for Iterative Image-to-Image Generation
该研究提出RRFC框架,通过反馈条件实现迭代式图像到图像生成的输出精修,在多类模型和任务上评估发现其增益集中于目标属性重叠的任务。
2026-08-18 cs.AI cs.CV
Spatially-Adaptive Pixelwise Networks for Fast Image Translation
Technion(以色列理工学院);Adobe Research(奥多比研究院)
我们引入了一个新的生成器架构,旨在快速,高效的高分辨率图像到图像的翻译。我们将生成器设计为全分辨率图像的一个非常轻量级的函数。事实上,我们使用的是逐像素网络;也就是说,每个像素都是通过简单的仿射变换和非线性的组合来独立处理的。我们采取了三个重要步骤来为这样一个看似简单的函数提供足够的表达能力。首先,逐像素网络的参数在空间上是变化的,因此它们可以代表比简单的1x 1卷积更广泛的函数类。其次,这些参数是由一个快速卷积网络预测的,该网络处理输入的低分辨率表示;第三,我们用空间坐标的正弦编码来增强输入图像,这为生成逼真的新颖高频图像内容提供了有效的归纳偏差。因此,我们的模型比最先进的基线快18倍。我们实现了这种加速,同时在不同的图像分辨率和翻译域中生成可比的视觉质量。
2020-12-05 cs.CV
Every Pixel Has its Moments: Ultra-High-Resolution Unpaired Image-to-Image Translation via Dense Normalization
National Taiwan University(台湾大学);Amazon Web Services(亚马逊云科技);aetherAI
本文提出密集归一化(DN)层,通过像素级统计矩估计和高效插值与并行策略,在超高分辨率非配对图像到图像转换中同时减少拼接伪影并保持局部颜色对比度,且无需超参数和重新训练。
2024-07-05 cs.CV
Any-resolution Training for High-resolution Image Synthesis
MIT(麻省理工学院);Adobe Research(奥多比研究院)
生成模型以固定的分辨率运行,即使自然图像有各种大小。由于高分辨率的细节被下采样,低分辨率的图像被完全丢弃,失去了宝贵的监督。我们认为每个像素都很重要,并使用可变大小的图像创建数据集,以其原始分辨率收集。为了利用不同大小的数据,我们引入了连续规模训练,这是一个在随机规模上对补丁进行采样以训练具有可变输出分辨率的新生成器的过程。首先,在目标尺度上调节生成器使我们能够生成比以前更高分辨率的图像,而无需向模型添加图层。其次,通过连续坐标的条件,我们可以对仍然遵循一致的全局布局的补丁进行采样,这也允许在更高的分辨率下进行可扩展的训练。控制FFHQ实验表明,我们的方法可以利用多分辨率训练数据比离散多尺度方法,实现更好的FID分数和更干净的高频细节。我们还训练其他自然图像域,包括教堂,山脉和鸟类,并展示了任意规模的合成与连贯的全球布局和现实的局部细节,在我们的实验中超过2K分辨率。我们的项目页面可在:https://chail.github.io/anyres-gan/。
2022-08-05 cs.CV cs.LG
Conditional Invertible Neural Networks for Diverse Image-to-Image Translation
Heidelberg University(海德堡大学)
我们引入了一个新的架构称为条件可逆神经网络(cINN),并使用它来解决不同的图像到图像的自然图像的翻译任务。由于一些基本的限制,这在现有的INN模型中是不容易实现的。cINN将纯生成INN模型与无约束前馈网络相结合,该网络有效地将调节图像预处理为最大信息特征。cINN的所有参数都通过稳定的、基于最大似然的训练过程进行联合优化。尽管基于INN的模型在文献中受到的关注远低于GANs,但它们已被证明具有GANs中不存在的一些显着特性,例如对模式坍塌的明显免疫力。我们发现,我们的cINN利用这些特性进行图像到图像的转换,在白天到夜晚的转换和图像着色上得到了证明。此外,我们利用我们的双向cINN架构来探索和操纵潜在空间的涌现属性,例如以直观的方式改变图像风格。
2021-05-05 cs.AI cs.CV
Unified Generative Adversarial Networks for Controllable Image-to-Image Translation
University of Trento(特伦托大学);Shenzhen Graduate School, Peking University(北京大学深圳研究生院)
我们提出了一个统一的生成对抗网络(GAN),用于可控的图像到图像的翻译,即,由可控结构引导将图像从源域转移到目标域。除了对参考图像的调节外,我们还展示了该模型如何生成可控结构的图像,例如,类标签、对象关键点、人体骨架和场景语义图。该模型由一个发生器和一个以条件图像和目标可控结构为输入的控制器组成。以这种方式,条件图像可以提供外观信息,并且可控结构可以提供用于生成目标结果的结构信息。此外,我们的模型通过三种新的损失来学习图像到图像的映射,即,颜色损失、可控结构引导的循环一致性损失和可控结构引导的自我内容保持损失。此外,我们提出了Fréchet ResNet距离(FRD)来评估生成图像的质量。两个具有挑战性的图像翻译任务的实验,即,手势到手势翻译和跨视图图像翻译,表明我们的模型产生令人信服的结果,并显着优于其他国家的最先进的方法在这两个任务。同时,该框架是一个统一的解决方案,因此它可以应用于解决其他可控结构引导的图像翻译任务,如地标引导的面部表情翻译和关键点引导的人物图像生成。据我们所知,我们是第一个让一个GAN框架在所有这些可控结构引导的图像翻译任务上工作的人。代码可在https://github.com/Ha0Tang/GestureGAN上获得。
2020-09-02 cs.CV cs.LG eess.IV
Comparative Analysis of GAN and Diffusion for MRI-to-CT translation
Department of Computer Science, University of Copenhagen, Copenhagen, Denmark(哥本哈根大学计算机科学系);Department of Oncology, Rigshospitalet, Copenhagen, Denmark(哥本哈根医院肿瘤科)
本文比较了Pix2Pix(cGAN)与Palette(cDDPM)在MRI到CT转换中的表现,发现多通道条件输入和cDDPM架构效果更优,并提出切片相似性度量SIMOS评估三维合成连续性。
2025-09-26 cs.CV cs.LG eess.IV
TherA: Thermal-Aware Visual-Language Prompting for Controllable RGB-to-Thermal Infrared Translation
Seoul National University(首尔国立大学);Kyungpook National University(庆北国立大学);KENTECH
TherA通过热感知视觉-语言提示方法,实现了可控的RGB到热红外转换,提升了翻译性能和细粒度控制能力。
2026-02-24 cs.CV
Climate Prompting: Generating the Madden-Julian Oscillation using Video Diffusion and Low-Dimensional Conditioning
School of Computing(计算学院)
本文提出利用视频扩散模型生成MJO序列,通过低维指标条件化生成MJO,并通过理想化条件分析其物理驱动机制,为热带大气预测提供新框架。
2026-03-23 cs.CV
Multi-Modality Image Super-Resolution using Generative Adversarial Networks
Ontario Tech University(安大略理工大学)
在过去的几年里,基于深度学习的技术,如生成对抗网络(GANs),已经显着改善了图像超分辨率和图像到图像转换问题的解决方案。在本文中,我们提出了一个解决方案的联合问题的图像超分辨率和多模态图像到图像的翻译。这个问题可以说是一个高分辨率的图像在一个模态的恢复,给定的低分辨率观察同一图像在一个替代的模态。我们的论文提供了两个模型来解决这个问题,并将评估高分辨率的白天图像的恢复给定的低分辨率的夜间图像相同的场景。将为每个模型提供有希望的定性和定量结果。
2022-06-22 cs.CV cs.LG eess.IV
Unsupervised Image-to-Image Translation with Stacked Cycle-Consistent Adversarial Networks
Tencent AI Lab(腾讯人工智能实验室);Fudan University(复旦大学)
最近关于无监督图像到图像翻译的研究通过训练一对具有周期一致损失的生成对抗网络取得了显着进展。然而,当图像分辨率较高或两个图像域具有显著的外观差异时,例如Cityscapes数据集中语义布局和自然图像之间的转换,这种无监督方法可能会生成较差的结果。在本文中,我们提出了一种新的堆叠循环一致性对抗网络(SCANs),通过将单个翻译分解为多阶段变换,不仅提高了图像翻译质量,而且还以粗到细的方式实现了更高分辨率的图像到图像的翻译。此外,为了适当地利用来自前一级的信息,设计了自适应融合块来学习当前级的输出和前一级的输出的动态积分。在多个数据集上的实验表明,与以前的单阶段无监督方法相比,我们提出的方法可以提高翻译质量。
2018-07-28 cs.CV
Application of Video-to-Video Translation Networks to Computational Fluid Dynamics
近年来,人工智能尤其是深度学习的演进令人瞩目,其对各个领域的应用也在快速增长。在本文中,我报告了生成对抗网络(GANs),特别是视频到视频翻译网络,在计算流体动力学(CFD)模拟中的应用结果。本研究的目的是减少计算流体力学模拟与GANs的计算成本。本研究中的GANs架构是图像到图像翻译网络(所谓的“pix 2 pix”)和长短期记忆(LSTM)的组合。结果表明,高成本和高精度的模拟(高分辨率的计算网格)的结果可以估计从低成本和低精度的模拟(低分辨率的网格)。特别地,通过GANs从低分辨率网格的情况下再现高分辨率网格的情况下的密度分布的时间演化,并且从由GANs生成的图像估计的密度不均匀性以良好的精度恢复了地面实况。定性和定量的比较,所提出的方法与几个超分辨率算法的结果。
2021-09-12 cs.CV cs.LG physics.flu-dyn
Conditional Brownian Bridge Diffusion Model for VHR SAR to Optical Image Translation
University of Science and Technology (UST)(科学技术大学);Korea Aerospace Research Institute(韩国航空航天研究院)
本文提出基于布朗桥扩散模型的条件图像翻译方法,用于将0.5米甚高分辨率SAR图像转换为光学图像,在MSAW数据集上优于条件扩散模型和GAN模型。
2025-04-20 cs.AI cs.CV eess.IV
Zero-shot-Learning Cross-Modality Data Translation Through Mutual Information Guided Stochastic Diffusion
Centre Inria d’Université Côte d’Azur(蔚蓝海岸大学法国国家信息与自动化研究所中心)
跨模态数据转换在图像计算中引起了极大的兴趣。深度生成模型(\textit{e.g.},GANs)在解决这些问题方面表现出性能改进。然而,作为图像翻译中的一个基本挑战,具有保真度的零样本学习跨模态数据翻译问题仍然没有得到解决。提出了一种新的无监督零样本学习方法--互信息引导的扩散跨模态数据转换模型(MIDiffusion),它学习将未知的源数据转换到目标域。MIDiffusion利用基于分数匹配的生成模型,该模型学习目标领域中的先验知识。我们提出了一个可微的本地明智的MI层($LMI$)的条件迭代去噪采样。$LMI$在扩散指导的统计域中捕获相同的跨模态特征;因此,当源域改变时,我们的方法不需要重新训练,因为它不依赖于源域和目标域之间的任何直接映射。这一优势对于在实践中应用跨模态数据转换方法至关重要,因为合理数量的源域数据集并不总是可用于监督训练。我们的经验表明,先进的性能MIDiffusion相比,一组有影响力的生成模型,包括基于对抗和其他分数匹配的模型。
2023-01-31 cs.AI cs.CV cs.LG
A${}^2$BM: Alignment-Aware Bridge Matching for Image-to-Image Translation
研究图像到图像翻译中弱对齐数据问题,提出A²BM方法利用图像对对齐,在训练中纳入对齐分数区分真实对应,推理时控制翻译保真度,实验验证该方法比基线表现优,为弱对齐数据的图像翻译提供解决方案。
2026-07-21 cs.AI cs.CV
CTRLorALTer: Conditional LoRAdapter for Efficient 0-Shot Control & Altering of T2I Models
LMU Munich(慕尼黑大学);CompVis(计算机视觉研究所);MCML(慕尼黑计算与机器学习中心);Apple(苹果公司)
针对文本到图像生成模型难以纳入风格、结构等详细条件的问题,提出基于新型条件LoRA模块的LoRAdapter方法,统一风格与结构条件,实现零样本细粒度控制,性能优于现有最优方法。
2024-10-08 cs.CV
Comparative Analysis of 3D Convolutional and 2.5D Slice-Conditioned U-Net Architectures for MRI Super-Resolution via Elucidated Diffusion Models
本文比较了3D卷积U-Net与2.5D切片条件化U-Net架构,利用阐明扩散模型提升MRI超分辨率,3D模型在PSNR、SSIM和LPIPS指标上均优于基线模型。
2026-11-16 cs.AI cs.CV
CycleVAR: Repurposing Autoregressive Model for Unsupervised One-Step Image Translation
Beihang University(北京航空航天大学);University of Chinese Academy of Sciences(中国科学院大学);Tianjin University(天津大学);CreateAI
针对传统向量量化框架离散量化阻碍梯度流的问题,提出Softmax松弛量化保留梯度传播,进而构建CycleVAR模型,通过多尺度源图像标记实现图像条件自回归生成,其并行单步模式在无监督图像翻译中取得更优质量和更快速度,性能超越现有模型。
2025-07-07 cs.CV
RealWeather: Realistic and Scene-Faithful Weather Translation with Driving World Models
RealWeather是一种驾驶世界模型,通过渐进式逼真度引导和场景忠实度强化学习优化实现逼真且场景忠实的天气转换,在视觉逼真度、结构保留等方面优于现有方法,支持长尾天气场景生成与零样本泛化。
2026-08-11 cs.CV
Pix2Pix-Hybrid: Structure-Guided Conditional Synthesis of Hajj Crowd Images with Multi-Channel Conditioning and Weak Attribute Supervision
King Abdulaziz University(阿卜杜勒阿齐兹国王大学);Jouf University(焦夫大学)
提出Pix2Pix-Hybrid条件GAN,通过多通道结构线索和上下文属性条件合成朝觐人群图像,用于数据增强,在减少人工标注的同时提升合成质量,并验证了合成数据对人群计数模型的改进效果。
2026-06-15 cs.AI cs.CV
Control-DINO: Feature Space Conditioning for Controllable Image-to-Video Diffusion
Huawei Technologies, Switzerland(华为技术(瑞士));Huawei Technologies, Austria(华为技术(奥地利));Graz University of Technology, Austria(格拉茨技术大学)
本文提出Control-DINO,通过解耦外观与其他特征,实现对视频扩散模型的可控生成,提升生成渲染的可控性。
2026-07-03 cs.CV
Reciprocal Translation between SAR and Optical Remote Sensing Images with Cascaded-Residual Adversarial Networks
Fudan University(复旦大学)
尽管合成孔径雷达(SAR)具有全天候、全天时高分辨率成像的优势,但由于人类视觉对微波散射现象的不适应,SAR图像很少被普通人看到和使用。然而,可以通过并排比较SAR和光学图像来训练专家口译员,以学习从SAR到光学的映射规则。本文试图开发机器智能,可训练与大体积共配准SAR和光学图像的SAR图像转换为光学版本的辅助SAR图像判读。互易SAR光学图像转换是一项具有挑战性的任务,因为它是两种物理上非常不同的传感模式之间的原始数据转换。本文提出了一种新的互惠对抗网络方案,级联剩余连接和混合L1-GAN损失。它是训练和测试的星载GF-3和机载UAVSAR图像。给出了不同分辨率和极化的数据集的结果,并与其他最先进的方法进行了比较。FID用于定量评估翻译性能。本文还探讨了利用非成对SAR图像和光学图像进行无监督学习的可能性。结果表明,建议的翻译网络工作在许多情况下,它可能会被用于辅助SAR解释。
2019-10-09 cs.CV
ReFlowSET: Representation-Aligned Latent Flow Matching for SAR-to-EO Image Translation
KAIST(韩国科学技术院);Stellarvision Inc.(Stellarvision公司)
本文提出ReFlowSET,通过联合SAR-EO重建审计选择编解码器,在选定潜在空间中从头训练条件DiT,结合视觉基础模型对齐特征,在SAR到EO图像翻译任务上取得最优性能。
2026-11-06 cs.CV
Harnessing the Conditioning Sensorium for Improved Image Translation
The University of Chicago(芝加哥大学);Jason Salavon Studio(杰森·萨拉冯工作室);Toyota Technological Institute at Chicago(芝加哥丰田技术学院)
多模式域翻译通常是指合成一个新颖的图像,该图像从“内容”图像继承某些本地化属性(例如布局、语义或几何形状),并从“内容”图像继承其他所有内容(例如纹理、照明,有时甚至是语义)。风格”图像。这项任务的主要方法是试图从头开始学习分离的“内容”和“风格”表示。然而,这不仅具有挑战性,而且是不恰当的,因为用户希望在翻译过程中保留的内容取决于他们的目标。出于这种固有的模糊性,我们根据现成的预训练模型提取的条件信息来定义“内容”。然后,我们训练我们的风格提取器和图像解码器与一个易于优化的重建目标集。各种高质量的预训练模型和简单的训练过程使我们的方法可以直接应用于众多领域和“内容”的定义。此外,它还提供了直观的控制,可以跨域保留“内容”的哪些方面。我们在传统的、对齐良好的数据集(如CelebA-HQ)上评估了我们的方法,并提出了两个用于更复杂场景评估的新数据集:ClassicTV和FFHQ-Wild。我们的方法Sensorium可以为更复杂的场景提供更高质量的领域翻译。
2021-10-13 cs.AI cs.CV