Progressive Energy-Based Cooperative Learning for Multi-Domain Image-to-Image Translation
University of California, Los Angeles(加州大学洛杉矶分校);Eastern Institute for Advanced Study, Ningbo, China(宁波东方理工高等研究院);Akool Research(Akool研究院)
本文提出一种基于能量的多域图像转换协作学习框架,通过多域MCMC教学联合训练描述器与多样化生成器,实现一对多风格化生成。
2024-01-15 cs.AI cs.CV
Synthesizing Photorealistic Images with Deep Generative Learning
Nanyang Technological University(南洋理工大学)
这篇论文的目的是提出我的研究贡献,解决各种视觉合成和生成任务,包括图像翻译,图像完成,并完成场景分解。本论文由五个部分组成,每个部分都提出了一种新的基于学习的方法来合成具有真实内容和视觉逼真外观的图像。每项工作都证明了所提出的方法在图像合成上的优越性,并进一步为其他任务,如深度估计做出了贡献。
2022-02-23 cs.CV
DualGAN: Unsupervised Dual Learning for Image-to-Image Translation
Memorial University of Newfoundland(纽芬兰纪念大学);Simon Fraser University(西蒙弗雷泽大学)
用于跨域图像到图像翻译的条件生成对抗网络(GANs)最近取得了很大进展。根据任务的复杂性,需要数千到数百万的标记图像对来训练条件GAN。然而,人工标记是昂贵的,甚至是不切实际的,并且大量的数据可能并不总是可用的。受自然语言翻译的双重学习的启发,我们开发了一种新的双重GAN机制,该机制使图像翻译器能够从两个领域的两组未标记图像中进行训练。在我们的架构中,原始GAN学习将图像从域U转换到域V中的图像,而双重GAN学习反转任务。由原始任务和双重任务形成的闭环允许来自任一域的图像被翻译,然后被重建。因此,可以使用考虑图像的重建误差的损失函数来训练翻译器。在多个未标记数据的图像翻译任务上的实验表明,DualGAN比单个GAN有相当大的性能增益。对于某些任务,DualGAN甚至可以实现与在完全标记数据上训练的条件GAN相当或略好的结果。
2018-10-09 cs.CV
Image Disentanglement and Uncooperative Re-Entanglement for High-Fidelity Image-to-Image Translation
Carnegie Mellon University(卡内基梅隆大学);Facebook Reality Labs(Facebook现实实验室)
跨域图像到图像的翻译应该满足两个要求:(1)保留两个域共有的信息,以及(2)生成令人信服的图像,覆盖目标域中出现的变化。这是具有挑战性的,特别是当没有示例翻译可作为监督时。对抗循环一致性最近被提出作为一种解决方案,具有美丽和创造性的结果,产生了许多后续工作。然而,增强现实应用不能容易地使用这样的技术来向用户提供真实场景的令人信服的翻译,因为翻译不具有高保真度约束。换句话说,当前的模型倾向于改变应该被保留的细节:当重新纹理化一张脸时,它们可能会以一种不可预测的方式改变脸的表情。在本文中,我们介绍了高保真图像到图像翻译的问题,并提出了一种解决它的方法。我们的主要观点是,低保真度的翻译通常逃脱了周期一致性惩罚,因为后翻译器学习补偿前翻译器的错误。因此,我们引入了一种防止网络合作的优化技术:仅当每个网络的输入数据是真实的时,才对其进行训练。相比之下,以前的工作,训练每个网络的混合真实和生成的数据。实验结果表明,我们的方法准确地解开分离域的因素,并收敛到语义保持翻译,以前的方法错过。
2019-10-20 cs.CV
EDIT: Exemplar-Domain Aware Image-to-Image Translation
Tianjin University(天津大学);Wuhan University(武汉大学);Tencent AI Lab(腾讯人工智能实验室)
图像到图像的翻译是将一幅具有某种风格的图像转换成另一幅具有目标风格的图像,并保留图像的内容。一个理想的翻译器应该能够以可控的(多对多)方式生成不同的结果。为此,我们设计了一个新的生成对抗网络,即样本域感知图像到图像翻译器(简称EDIT)。其背后的原理是,对于来自多个领域的图像,内容特征可以通过统一的提取器获得,而(重新)风格化是通过将提取的特征专门映射到不同的目的(领域和范例)来实现的。我们的EDIT生成器由共享参数配置的一部分块组成,其余部分由示例域感知参数网络导出的不同参数组成。此外,在训练阶段配备一个训练器,以保证输出满足目标域的分布。我们的EDIT可以在统一的整洁模型中灵活有效地处理多个领域和任意样本。我们进行实验,以显示我们的设计的有效性,并揭示其先进的其他国家的最先进的方法定量和定性。
2019-11-24 cs.CV
UGAN: Untraceable GAN for Multi-Domain Face Translation
Chinese Academy of Sciences(中国科学院);Beihang University(北京航空航天大学);Baidu Research(百度研究院);West Virginia University(西弗吉尼亚大学)
多域图像到图像的翻译是一项具有挑战性的任务,其目标是将图像翻译到多个不同的域。对于平移图像,仅目标特征是期望的,而仅源特征应被擦除。然而,最近的方法往往遭受保留的源域的特性,这是不兼容的目标域。为了解决这个问题,我们提出了一种方法称为不可追踪的GAN,它有一个新的源分类器来区分图像是从哪个域翻译的,并确定翻译后的图像是否仍然保留源域的特征。此外,我们以目标域的原型为指导,使译者能够有效地合成目标域特有的特征。翻译器被学习来合成仅目标的特征,并且使源域对于目标不可追踪,从而仅源的特征被擦除。最后,在三个人脸编辑任务上的广泛实验,包括人脸老化,化妆和表情编辑,表明所提出的UGAN可以产生优于最先进的模型的结果。源代码将被释放。
2019-09-12 cs.CV
CrossNet: Latent Cross-Consistency for Unpaired Image Translation
Tel Aviv University(特拉维夫大学);Hebrew University Jerusalem(耶路撒冷希伯来大学)
最近基于GAN的架构已经能够在图像到图像转换的一般任务上提供令人印象深刻的性能。特别是,它表明,各种各样的图像平移算子可以从两个图像集,包含来自两个不同的域的图像,而无需建立图像之间的显式配对。这是通过引入聪明的正则化器来克服不成对翻译问题的欠约束性质而实现的。在这项工作中,我们引入了一种新的非配对图像翻译架构,并探索了几种新的正则化器。具体来说,我们的架构包括一对GANs,以及一对翻译器在各自的潜在空间之间。这些交叉翻译器使我们能够对学习的图像翻译算子施加几个正则化约束,统称为潜在交叉一致性。我们的结果表明,我们提出的体系结构和潜在的交叉一致性约束能够在各种图像翻译任务上优于现有的最新技术。
2019-05-26 cs.CV cs.LG stat.ML
General Image-to-Image Translation with One-Shot Image Guidance
NetEase Games AI Lab(网易游戏AI实验室)
本文提出视觉概念转换器VCT,通过内容-概念反演与融合,仅用单张参考图像即可在保留源图像内容的同时实现通用图像到图像翻译。
2023-09-20 cs.CV
Unpaired Translation from Semantic Label Maps to Images by Leveraging Domain-Specific Simulations
ETH Zurich(苏黎世联邦理工学院);Uppsala University(乌普萨拉大学)
从模拟的标签映射生成真实感图像在几种情况下是必要的,例如用于虚拟现实中的医学训练。使用传统的深度学习方法,该任务需要与语义注释配对的图像,这通常是不可用的。我们引入了一个对比学习框架,通过从两者的未配对集合中学习,从模拟标签映射生成逼真的图像。由于真实图像和标签映射之间潜在的较大场景差异,现有的不成对图像平移方法导致合成图像中场景修改的伪影。我们利用模拟图像作为对比损失的替代目标,同时通过利用反向翻译网络的特征来确保一致性。我们的方法实现了双向标签图像翻译,这在各种场景和数据集中得到了证明,包括腹腔镜检查、超声和驾驶场景。通过与最先进的不成对翻译方法的比较,我们所提出的方法被证明可以生成逼真和场景准确的翻译。
2023-02-21 cs.CV cs.LG
Realistic Endoscopic Image Generation Method Using Virtual-to-real Image-domain Translation
Nagoya University(名古屋大学);Kyoto Second Red Cross Hospital(京都第二红十字医院);Sapporo-Minami-Sanjo Hospital(札幌南三条医院);Sapporo-Kosei General Hospital(札幌厚生综合医院);Keiwakai Nishioka Hospital(惠和会西冈医院);National Institute of Informatics(国立信息学研究所)
提出了一种用于内窥镜仿真系统可视化的真实感图像生成方法。许多医院都进行内窥镜诊断和治疗。为了减少与内窥镜插入相关的并发症,内窥镜模拟系统用于内窥镜插入的训练或演练。然而,当前的仿真系统生成非真实的虚拟内窥镜图像。为了提高仿真系统的价值,必须提高其生成图像的真实性。提出了一种用于内窥镜仿真系统的真实感图像生成方法。通过使用体积绘制方法从患者的CT体积生成虚拟内窥镜图像。我们提高了虚拟内窥镜图像的真实性,使用虚拟到真实的图像域转换技术。图像域转换器被实现为全卷积网络(FCN)。我们通过最小化循环一致性损失函数来训练FCN。使用未配对的虚拟和真实内窥镜图像训练FCN。为了获得高质量的图像域的翻译结果,我们执行一个图像清洗的真实内窥镜图像集。我们测试使用浅U-Net、U-Net、深U-Net和具有残余单元的U-Net作为图像域翻译器。深U形网和具有残余单元的U形网产生相当逼真的图像。
2022-01-13 cs.CV eess.IV
Live Speech Portraits: Real-Time Photorealistic Talking-Head Animation
Nanjing University(南京大学);Xmov(上海魔珐科技有限公司)
据我们所知,我们首先提出了一个实时系统,该系统仅由音频信号以超过30 fps的速度驱动,生成个性化的逼真的说话头动画。我们的系统包含三个阶段。第一阶段是深度神经网络,其提取深度音频特征以及流形投影以将特征投影到目标人的语音空间。在第二阶段,我们从投影的音频特征中学习面部动态和运动。预测的运动包括头部姿态和上身运动,其中前者由对目标人的头部姿态分布进行建模的自回归概率模型生成。上半身的运动是从头部姿势推导出来的。在最后阶段,我们根据之前的预测生成条件特征图,并将它们与候选图像集一起发送到图像到图像转换网络,以合成照片级真实感渲染。我们的方法很好地推广到野生音频,并成功地合成高保真个性化的面部细节,例如,皱纹牙齿我们的方法还允许明确控制头部姿势。广泛的定性和定量评估,以及用户研究,证明了我们的方法优于国家的最先进的技术。
2021-09-24 cs.CV cs.GR
GAS-NeXt: Few-Shot Cross-Lingual Font Generator
Carnegie Mellon University(卡内基梅隆大学)
生成新字体是一项耗时且劳动密集型的任务,特别是在具有大量字符的语言中,如中文。各种深度学习模型已经证明了使用该风格的一些参考字符有效生成新字体的能力,但很少有模型支持跨语言字体生成。本文提出了一种基于AGIS-Net和字体翻译器GAN的跨语言Few-Shot字体生成器GAS-NeXt,并改进了Fréchet起始距离(FID)、结构相似性指数度量(SSIM)和像素级精度(pix-acc)等性能指标。我们的方法包括用字体翻译器GAN的层注意力和上下文感知注意力的思想替换原始的编码器和解码器,同时利用AGIS-Net的形状,纹理和局部判别器。在我们的实验中,英文到中文的字体翻译,我们观察到更好的结果,字体具有明显的本地功能比传统的中文字体相比,从字体翻译器GAN获得的结果。我们还在多种语言和数据集上验证了我们的方法。
2022-12-15 cs.AI cs.CV cs.LG
Joint Learning of Generative Translator and Classifier for Visually Similar Classes
Korea Advanced Institute of Science and Technology(韩国科学技术院);Samsung Advanced Institute of Technology(三星综合技术院);Montreal Institute for Learning Algorithms(蒙特利尔学习算法研究所)
在本文中,我们提出了一种生成翻译分类网络(GTCN),用于在类别视觉相似且数据稀缺的环境中提高视觉分类准确性。为此,我们提出从头开始联合学习,训练分类器和生成随机翻译网络端到端。翻译网络是用来执行跨类的在线数据增强,而以前的作品主要涉及领域自适应。为了帮助模型进一步受益于这种数据增强,我们引入了自适应淡入损失和四重损失。我们在多个数据集上进行实验,以证明所提出的方法在不同的设置下的性能。特别有趣的是,在40%的数据集上进行训练足以让我们的模型超过在完整数据集上训练的基线的性能。当我们的架构在完整的数据集上训练时,尽管使用了轻量级架构,我们仍然可以实现与最先进方法相当的性能。
2020-12-02 cs.CV
MAT: A Multimodal Attentive Translator for Image Captioning
Tsinghua University(清华大学);Toutiao AI Lab(今日头条人工智能实验室);UESTC(电子科技大学);Johns Hopkins University(约翰斯·霍普金斯大学)
在这项工作中,我们制定的问题,图像描述作为一个多模态翻译任务。类似于机器翻译,我们提出了一个序列到序列的递归神经网络(RNN)模型的图像字幕生成。与大多数现有的工作不同,其中整个图像由卷积神经网络(CNN)特征表示,我们建议将输入图像表示为检测到的对象的序列,该序列作为RNN模型的源序列。通过这种方式,图像的顺序表示可以自然地转换为单词序列,作为RNN模型的目标序列。为了以顺序的方式表示图像,我们提取图像中的对象特征,并使用卷积神经网络将它们按顺序排列。为了进一步利用来自编码对象的视觉信息,引入顺序注意层以选择性地注意相关的对象以在句子中生成对应的单词。在流行的基准数据集上进行了大量的实验来验证所提出的方法,MS COCO,和所提出的模型超越了国家的最先进的方法在所有指标以下的数据集分裂以前的工作。所提出的方法也由MS COCO字幕挑战的评估服务器进行评估,并且实现了非常有竞争力的结果,例如,a CIDEr为1.029(c5)和1.064(c40)。
2017-08-10 cs.CV
Recursive Chaining of Reversible Image-to-image Translators For Face Aging
GenMind Ltd(GenMind有限公司);Aalto University(阿尔托大学)
本文讨论了随着时间的推移,如人脸老化的渐进变化的建模和仿真。通过将年龄阶段视为图像域的序列,我们构建了一个将图像从一个年龄域映射到下一个年龄域的Transformers链。利用最近的对抗图像翻译方法,我们的方法不需要不同年龄的同一个体的训练样本。在这里,模型必须足够灵活,能够将儿童的脸转换为年轻的成年人,并一直通过成年人到老年。我们发现链中的一些Transformers可以递归地应用于它们自己的输出以覆盖多个相位,从而压缩链。链的结构还揭示了有关潜在物理过程的信息。我们证明了我们的方法的性能与精确和直观的指标,并在视觉上与面部老化的最先进的。
2018-08-06 cs.CV
One Model to Translate Them All: Universal Any-to-Any Translation for Heterogeneous Collaborative Perception
State Key Laboratory of Networking and Switching Technology(网络与交换技术国家重点实验室)
本文提出UniTrans,一种通用任意到任意特征模态翻译模型,通过预训练一组翻译专家参数并学习其组合系数来实现零样本翻译,从而在OPV2V-H和DAIR-V2X数据集上实现了优于现有方法的性能。
2026-05-18 cs.AI cs.CV