SemI2I: Semantically Consistent Image-to-Image Translation for Domain Adaptation of Remote Sensing Data
Inria（法国国家信息与自动化研究所）；LuxCarta Technology（LuxCarta科技公司）
虽然卷积神经网络已被证明是从遥感图像生成高质量地图的有效工具，但当训练数据和测试数据之间存在较大的域偏移时，其性能会显着恶化。为了解决这个问题，我们提出了一种新的数据增强方法，该方法使用生成对抗网络将测试数据的风格转移到训练数据。我们的语义分割框架包括首先从真实的训练数据中训练一个U网，然后在所提出的方法生成的测试风格化的假训练数据上对其进行微调。我们的实验结果证明，我们的框架优于现有的领域适应方法。
2020-02-21 cs.CV eess.IV
S2FGAN: Semantically Aware Interactive Sketch-to-Face Translation
Australian National University（澳大利亚国立大学）；CSIRO（联邦科学与工业研究组织）；Curtin University（科廷大学）；North South University（北南大学）
交互式面部图像操作尝试使用照片级真实面部和/或语义掩码作为输入来编辑单个和多个面部属性。在没有照片级真实感图像的情况下（只有草图/掩模可用），以前的方法只检索原始面部，但忽略了在翻译过程中辅助模型可控性和多样性的潜力。本文提出了一个草图到图像的生成框架S2 FGAN，旨在提高用户从简单草图到人脸属性编辑的理解能力和灵活性。该框架修改了生成对抗网络（GANs）上训练的约束潜在空间语义。我们采用两个潜在的空间来控制人脸的外观和调整所需的属性生成的脸。代替通过使用参考图像来约束翻译过程，用户可以命令模型通过在生成过程中涉及语义信息来修饰生成的图像。通过这种方式，我们的方法可以通过仅指定要更改的属性来操作单个或多个面属性。在CelebAMask-HQ数据集上的大量实验结果经验性地显示了我们在这项任务上的卓越性能和有效性。我们的方法成功地优于国家的最先进的方法，属性操纵，利用更大的控制属性强度。
2021-10-11 cs.CV
Art2Real: Unfolding the Reality of Artworks via Semantically-Aware Image-to-Image Translation
University of Modena and Reggio Emilia（摩德纳和雷焦艾米利亚大学）
计算机视觉对真实绘画和艺术品的适用性很少被研究，即使大量的遗产将大大受益于能够理解和处理艺术领域数据的技术。这部分是由于少量的注释艺术数据，这甚至不能与相机捕获的自然图像相比。在本文中，我们提出了一个语义感知的架构，可以将艺术作品转换为照片般逼真的可视化，从而减少艺术和现实数据的视觉特征之间的差距。我们的架构可以通过检索和学习真实照片的细节，通过相似性匹配策略，利用弱监督的场景语义理解，生成自然图像。实验结果表明，所提出的技术导致增加的现实主义和减少域移位，这提高了性能的预训练架构的分类，检测和分割。代码可在https://github.com/aimagelab/art2real上公开获取。
2019-05-17 cs.CV
Semantically Accurate Super-Resolution Generative Adversarial Networks
Nearmap（Nearmap公司）；University of Sydney（悉尼大学）；Australian Centre for Field Robotics（澳大利亚现场机器人中心）
这项工作解决了语义分割和图像超分辨率的问题，通过共同考虑两者在训练生成对抗网络（GAN）中的性能。我们提出了一种新的架构和特定于域的特征丢失，允许超分辨率作为预处理步骤来操作，以提高下游计算机视觉任务的性能，特别是语义分割。我们使用Nearmap的航拍图像数据集来演示这种方法，该数据集以每像素5-7厘米的分辨率覆盖了数百个城市地区。我们表明，所提出的方法提高了感知图像质量以及所有预测类的定量分割精度，与最先进的单网络方法相比，在4倍和32倍超分辨率下，平均精度提高了11.8%和108%。这项工作表明，联合考虑基于图像和特定于任务的损失可以提高两者的性能，并推进了航空图像的语义感知超分辨率的最新技术。
2022-05-17 cs.CV eess.IV
MCMI: Multi-Cycle Image Translation with Mutual Information Constraints
Simon Fraser University（西蒙菲莎大学）
我们提出了一个基于互信息的无监督图像到图像的翻译框架。我们的MCMI方法将单周期图像翻译模型视为可以在多周期翻译设置中循环使用的模块，其中翻译过程受输入和输出图像之间的互信息约束的约束。所提出的互信息约束可以通过优化出在图像翻译期间不满足马尔可夫性质的翻译函数来改善跨域映射。我们发现，与最先进的图像翻译方法相比，使用MCMI训练的模型可以生成更高质量的图像，并学习更多语义相关的映射。MCMI框架可以应用于现有的不成对的图像到图像的翻译模型与最小的修改。定性实验和感知研究证明了图像质量的改善和我们的方法使用几个骨干模型和各种图像数据集的通用性。
2020-07-06 cs.CV
Generative Transition Mechanism to Image-to-Image Translation via Encoded Transformation
University of Technology Sydney（悉尼科技大学）；Institute of High Performance Computing（高性能计算研究所）
在本文中，我们重新审视的图像到图像（I2 I）的转换问题与过渡一致性，即一致性定义的条件数据映射之间的每个数据对。- 用转换变量$t$来解释参数化每个数据映射，即，$x \overset{t(x,y)}{\mapsto}y$，我们发现现有的I2 I翻译模型主要关注于保持结果的一致性，例如，图像重建或属性预测的一致性，本文称之为结果一致性。这限制了他们的泛化能力，以产生令人满意的结果，在测试阶段看不见的过渡。因此，我们建议强制执行I2 I翻译的结果一致性和转换一致性，以使输入和输出之间具有更紧密的一致性。为了提高翻译模型的泛化能力，我们提出了转换编码，以方便显式正则化这两个{kinds}不可见的转换。我们进一步推广这种显式正则化的分布级，从而促进了广义的整体一致性I2 I翻译问题。通过上述设计，我们提出的模型，命名为转换编码GAN（TEGAN），可以拥有卓越的泛化能力，以生成真实的和语义一致的翻译结果与不可见的过渡在测试阶段。它还提供了对现有基于GAN的I2 I转换模型的统一理解，我们明确地对数据映射进行了建模，即，过渡四个不同的I2 I翻译任务的实验证明TEGAN的有效性和通用性。
2021-03-09 cs.CV cs.LG
High-Resolution Photorealistic Image Translation in Real-Time: A Laplacian Pyramid Translation Network
The HongKong Polytechnic University（香港理工大学）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）
现有的图像到图像转换（I2IT）方法要么被限制为低分辨率图像，要么由于其对高分辨率特征图的卷积的沉重计算负担而导致推理时间长。在本文中，我们专注于加速高分辨率的真实感I2IT任务的基础上，封闭形式的拉普拉斯金字塔分解和重建。具体来说，我们揭示了属性变换，如照明和颜色操作，涉及更多的低频分量，而内容细节可以自适应地细化高频分量。因此，我们提出了一个拉普拉斯金字塔翻译网络（LPTN），同时执行这两项任务，在那里我们设计了一个轻量级的网络，用于翻译低频分量，降低分辨率和渐进的掩蔽策略，以有效地改善高频。我们的模型避免了处理高分辨率特征图所消耗的大部分繁重计算，并忠实地保留了图像细节。在不同任务上的大量实验结果表明，该方法可以使用一个普通的GPU实现实时的【形】4K图像的转换，同时实现与现有方法相当的转换性能。数据集和代码可在https://github.com/csjliang/LPTN获得。
2021-05-19 cs.CV
Memory-efficient GAN-based Domain Translation of High Resolution 3D Medical Images
University of Lübeck（吕贝克大学）
生成对抗网络（GANs）目前很少应用于大尺寸的3D医学图像，由于其巨大的计算需求。本工作提出了一种基于多尺度块的GAN方法，用于通过以存储高效的方式生成高分辨率的3D医学图像体积来建立不成对域平移。实现内存高效图像生成的关键思想是首先生成图像的低分辨率版本，然后生成大小不变但分辨率不断增加的补丁。为了避免补丁文物，并纳入全球信息，补丁生成的条件是补丁从以前的分辨率尺度。这些多尺度GANs经过训练，可以从图像草图生成逼真的图像，以便执行不成对的域翻译。这允许保留测试数据的拓扑并生成训练域数据的外观。在尺寸为155x240x240的脑部MRI和尺寸高达512x512x512的胸部CT上执行域平移场景的评价。与常见的基于补丁的方法相比，多分辨率方案能够实现更好的图像质量并防止补丁伪影。此外，它还确保了与图像大小无关的恒定GPU内存需求，允许生成任意大的图像。
2020-10-06 cs.CV cs.LG eess.IV
High-Resolution Daytime Translation Without Domain Labels
Samsung AI Center, Moscow（三星人工智能中心（莫斯科））；National Research University Higher School of Economics, St.-Petersburg（国立研究型大学高等经济学院（圣彼得堡））；Skolkovo Institute of Science and Technology, Moscow（斯科尔科沃科学技术研究院（莫斯科））
提出HiDT模型，结合生成式图像转换与新型上采样方案，实现无标签高分辨率日间转换，性能优越。
2020-03-23 cs.CV cs.LG eess.IV
Semantic Example Guided Image-to-Image Translation
City University of Hong Kong（香港城市大学）
许多图像到图像（I2 I）翻译问题本质上是高度多样性的，单个输入可能具有各种对应物。先前的工作提出了多模态网络，可以在两个视觉域之间建立多对多的映射。然而，它们中的大多数是由采样噪声引导的。另一种方法是将参考图像编码为一个隐向量，通过该隐向量，参考图像的语义信息将被洗掉。在这项工作中，我们的目标是提供一个解决方案来控制基于语义引用的输出。给定参考图像和另一个域中的输入，首先在两个视觉内容之间执行语义匹配并生成辅助图像，该辅助图像被明确地鼓励保留参考的语义特征。然后使用深度网络进行I2 I翻译，最终输出预计与输入和参考在语义上相似;然而，没有这样的配对数据可以以监督的方式满足双重相似性，因此我们建立了一个自监督框架来服务于训练目的。我们通过采用非本地块和多任务架构来提高输出的质量和多样性。我们通过广泛的定性和定量评估评估所提出的方法，并提出了与几个国家的最先进的模型进行比较。
2019-10-04 cs.CV
Multi-domain Unsupervised Image-to-Image Translation with Appearance Adaptive Convolution
Yonsei University（延世大学）
在过去的几年中，已经提出了图像到图像（I2I）翻译方法来将给定图像翻译成不同的输出。尽管取得了令人印象深刻的成果，但他们主要集中在两个域之间的I2I翻译，因此多域I2I翻译仍然是一个挑战。为了解决这个问题，我们提出了一种新的多域无监督图像到图像翻译（MDUIT）框架，该框架利用分解的内容特征和外观自适应卷积将图像转换为目标外观，同时保留给定的几何内容。我们还开发了一个对比度学习目标，它提高了解纠缠能力，并通过配对语义相似的图像，有效地利用多域图像数据在训练过程中。这使得我们的方法可以只用一个框架来学习多个视觉域之间的不同映射。我们表明，所提出的方法在多个领域产生视觉多样性和合理的结果相比，国家的最先进的方法。
2022-02-06 cs.CV
Hue-Net: Intensity-based Image-to-Image Translation with Differentiable Histogram Loss Functions
Ben-Gurion University of the Negev（内盖夫本-古里安大学）
我们提出了Hue-Net -一种用于基于强度的图像到图像翻译的新型深度学习框架。关键的想法是一种新的技术，称为网络增强，它允许从图像的强度直方图的可区分的建设。我们进一步介绍（1D）循环和联合（2D）直方图的可微表示，并使用它们来定义基于循环地球移动器的距离（EMD）和互信息（MI）的损失函数。虽然Hue-Net可以应用于几个图像到图像的翻译任务，但我们选择展示其在颜色传递问题上的优势，其目的是用不同目标图像的颜色绘制源图像。注意，所需的输出图像不存在，因此不能用于监督式像素到像素学习。这是通过使用HSV颜色空间并定义基于强度的损失来实现的，该损失建立在输出图像和目标图像的循环色调直方图之间的EMD上。为了增强源图像和输出图像之间的无颜色相似性，我们通过这些图像的MI的可微近似来定义基于语义的损失。直方图损失函数的结合，除了一个对抗性的损失，使语义上有意义的和现实的图像的建设。对不同的数据集提出了有希望的结果。
2019-12-12 cs.CV cs.LG
Multi-Curve Translator for High-Resolution Photorealistic Image Translation
Zhejiang University（浙江大学）
主要的图像到图像转换方法是基于全卷积网络，它提取和转换图像的特征，然后重建图像。然而，当处理高分辨率图像时，它们具有不可接受的计算成本。为此，我们提出了多曲线转换器（MCT），它不仅预测相应的输入像素的翻译像素，而且为他们的相邻像素。如果将高分辨率图像下采样到其低分辨率版本，则丢失的像素是剩余像素的相邻像素。因此，MCT使得只向网络提供下采样图像来执行全分辨率图像的映射成为可能，这可以显着降低计算成本。此外，MCT是一种插件方法，它利用现有的基础模型，只需要替换它们的输出层。实验表明，MCT变体可以实时处理4K图像，并在各种逼真的图像到图像转换任务中实现与基础模型相当甚至更好的性能。
2022-07-09 cs.CV
Multi Scale Identity-Preserving Image-to-Image Translation Network for Low-Resolution Face Recognition
University of Western Ontario（西安大略大学）
最先进的深度神经网络模型已经在受控的高分辨率人脸图像上达到了近乎完美的人脸识别准确率。然而，当用非常低分辨率的人脸图像进行测试时，它们的性能急剧下降。这在监控系统中尤其重要，因为低分辨率的探测图像将与高分辨率的图库图像相匹配。超分辨率技术旨在从低分辨率对应物产生高分辨率面部图像。虽然它们能够重建视觉上吸引人的图像，但与身份相关的信息没有保留。在这里，我们提出了一种身份保护的端到端图像到图像翻译深度神经网络，它能够将非常低分辨率的人脸超分辨率地解析为高分辨率的人脸，同时保留身份相关信息。我们通过训练一个非常深的卷积编码器-解码器网络来实现这一点，该网络在相应的层之间具有对称的收缩路径。该网络在多尺度低分辨率条件下结合重建和身份保留丢失进行训练。对我们提出的模型进行的广泛的定量评估表明，它在自然和人工低分辨率人脸数据集甚至看不见的身份上的性能优于竞争性的超分辨率和低分辨率人脸识别方法。
2022-07-03 cs.CV
Application of Video-to-Video Translation Networks to Computational Fluid Dynamics
近年来，人工智能尤其是深度学习的演进令人瞩目，其对各个领域的应用也在快速增长。在本文中，我报告了生成对抗网络（GANs），特别是视频到视频翻译网络，在计算流体动力学（CFD）模拟中的应用结果。本研究的目的是减少计算流体力学模拟与GANs的计算成本。本研究中的GANs架构是图像到图像翻译网络（所谓的“pix 2 pix”）和长短期记忆（LSTM）的组合。结果表明，高成本和高精度的模拟（高分辨率的计算网格）的结果可以估计从低成本和低精度的模拟（低分辨率的网格）。特别地，通过GANs从低分辨率网格的情况下再现高分辨率网格的情况下的密度分布的时间演化，并且从由GANs生成的图像估计的密度不均匀性以良好的精度恢复了地面实况。定性和定量的比较，所提出的方法与几个超分辨率算法的结果。
2021-09-12 cs.CV cs.LG physics.flu-dyn
Efficient High-Resolution Image-to-Image Translation using Multi-Scale Gradient U-Net
Indian Institute of Information Technology, Sri City（斯里城印度信息技术学院）
近年来，条件生成对抗网络（Conditional GAN）在图像到图像的翻译应用中表现出了良好的性能。然而，这些条件GANs的使用非常局限于低分辨率图像，例如256 × 256。Pix 2 Pix-HD是最近尝试利用条件GAN进行高分辨率图像合成。在本文中，我们提出了一个基于多尺度梯度的U-网（MSG U-网）模型的高分辨率图像到图像的翻译高达2048 X1024分辨率。所提出的模型是通过允许从多个鉴别器到多个尺度的单个生成器的梯度流来训练的。建议的MSG U-Net架构导致照片般逼真的高分辨率图像到图像的转换。此外，所提出的模型是计算高效的，与Pix 2 Pix-HD相比，推理时间提高了近2.5倍。我们在https://github.com/laxmaniron/MSG-U-Net上提供了MSG U-Net模型的代码。
2021-05-27 cs.CV eess.IV
High-Resolution Image Translation Model Based on Grayscale Redefinition
Nanjing University of Science and Technology（南京理工大学）
本文提出一种基于灰度重定义的图像转换方法，在高分辨率任务中实现像素级转换，并结合Pix2PixHD模型和跨任务权重初始化来提升性能。
2024-04-01 cs.CV eess.IV
Simultaneous Face Hallucination and Translation for Thermal to Visible Face Verification using Axial-GAN
Johns Hopkins University（约翰斯·霍普金斯大学）；DEVCOM Army Research Laboratory（美国陆军作战能力发展司令部陆军研究实验室）
现有的热-可见人脸验证方法期望热和可见人脸图像具有相似的分辨率。这在现实世界的远程监控系统中是不可能的，因为人类离摄像头很远。为了解决这个问题，我们介绍了从低分辨率热图像的热可见人脸验证的任务。此外，我们提出了轴向生成对抗网络（Axial-GAN）来合成高分辨率的可见光图像进行匹配。在所提出的方法中，我们增加了GAN框架的轴向注意层，利用Transformers的最新进展，为远程依赖关系建模。我们证明了所提出的方法的有效性，通过评估两个不同的热可见人脸数据集。与相关的最先进的作品相比，我们的结果显示，在图像质量和人脸验证性能显着改善，也更有效。
2021-08-07 cs.CV cs.LG
Semantically-aware Mask CycleGAN for Translating Artistic Portraits to Photo-realistic Visualizations
Hong Kong University of Science and Technology（香港科技大学）
针对艺术领域图像到图像转换定制方法匮乏的问题，提出语义感知掩码CycleGAN架构，通过向判别器输入语义掩码伪造样本优化生成，实现艺术肖像到照片级真实图像的转换，真实感显著提升且内容损失极小。
2023-06-11 cs.CV
ISF-GAN: An Implicit Style Function for High-Resolution Image-to-Image Translation
University of Trento（特伦托大学）；Tencent AI Lab（腾讯人工智能实验室）；Fondazione Bruno Kessler（布鲁诺·凯塞勒基金会）
近来，对采用预先训练的无条件图像生成器（例如，StyleGAN）。然而，应用这些方法将图像转换到多个视觉域仍然具有挑战性。现有的作品通常不保留图像的域不变部分（例如，人脸翻译中的身份），它们通常不处理多个域，或者不允许多模式翻译。这项工作提出了一种隐式风格函数（ISF），可以直接从预训练的无条件生成器实现多模态和多域图像到图像的翻译。ISF操纵输入潜码的语义，以使从其生成的图像位于期望的视觉域中。我们在人脸和动物操作中的结果显示，与基线相比，结果有了显着改善。我们的模型使用预训练的无条件GANs以高分辨率实现具有成本效益的多模态无监督图像到图像的翻译。代码和数据可从以下网址获得：\url{https://github.com/yhlleo/stylegan-mmuit}。
2022-02-23 cs.CV
Biphasic Learning of GANs for High-Resolution Image-to-Image Translation
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Baidu, Inc.（百度公司）
尽管图像到图像的翻译的性能已经显着提高了最近的进展，在生成模型，目前的方法仍然遭受严重退化的训练稳定性和样本质量时，应用于高分辨率的情况。在这项工作中，我们提出了一种新的GANs训练框架，即双相学习，以$1024^2$分辨率在多个视觉域中实现图像到图像的翻译。我们的核心思想是设计一个可调节的目标函数，在不同的训练阶段。在双相学习框架内，我们提出了一种新的遗传对抗性损失，以实现模型容量的增强和稳定的训练相变。此外，我们通过互信息估计和最大化引入了感知级一致性损失。为了验证所提出的方法的优越性，我们将其应用到广泛的人脸相关的合成任务，并在多个大规模数据集上进行实验。通过全面的定量分析，我们证明了我们的方法显着优于现有的方法。
2019-04-14 cs.CV
Spatially-Adaptive Pixelwise Networks for Fast Image Translation
Technion（以色列理工学院）；Adobe Research（奥多比研究院）
我们引入了一个新的生成器架构，旨在快速，高效的高分辨率图像到图像的翻译。我们将生成器设计为全分辨率图像的一个非常轻量级的函数。事实上，我们使用的是逐像素网络;也就是说，每个像素都是通过简单的仿射变换和非线性的组合来独立处理的。我们采取了三个重要步骤来为这样一个看似简单的函数提供足够的表达能力。首先，逐像素网络的参数在空间上是变化的，因此它们可以代表比简单的1x 1卷积更广泛的函数类。其次，这些参数是由一个快速卷积网络预测的，该网络处理输入的低分辨率表示;第三，我们用空间坐标的正弦编码来增强输入图像，这为生成逼真的新颖高频图像内容提供了有效的归纳偏差。因此，我们的模型比最先进的基线快18倍。我们实现了这种加速，同时在不同的图像分辨率和翻译域中生成可比的视觉质量。
2020-12-05 cs.CV
Every Pixel Has its Moments: Ultra-High-Resolution Unpaired Image-to-Image Translation via Dense Normalization
National Taiwan University（台湾大学）；Amazon Web Services（亚马逊云科技）；aetherAI
本文提出密集归一化（DN）层，通过像素级统计矩估计和高效插值与并行策略，在超高分辨率非配对图像到图像转换中同时减少拼接伪影并保持局部颜色对比度，且无需超参数和重新训练。
2024-07-05 cs.CV
ZstGAN: An Adversarial Approach for Unsupervised Zero-Shot Image-to-Image Translation
University of Science and Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）
图像到图像的翻译模型在不同领域之间的图像传输方面表现出了显著的能力。现有的大多数工作都遵循源域和目标域在训练和推理阶段保持相同的设置，这不能推广到将图像从一个看不见的域转换到另一个看不见的域的场景。在这项工作中，我们提出了无监督Zero-Shot图像到图像翻译（UZSIT）问题，其目的是学习一个模型，该模型可以从训练过程中未观察到的图像域中翻译样本。因此，我们提出了一个名为ZstGAN的框架：通过引入对抗性训练方案，ZstGAN学习使用在视觉和属性模态上语义一致的特定于领域的特征分布来对每个领域进行建模。然后，域不变的功能解开与共享的编码器的图像生成。我们在CUB和FLO数据集上进行了大量的实验，实验结果证明了该方法在UZSIT任务上的有效性。此外，ZstGAN在CUB和FLO上显示出比最先进的零样本学习方法显著的准确性改进。
2021-07-20 cs.CV
Gloss2Text: Sign Language Gloss translation using LLMs and Semantically Aware Label Smoothing
George Mason University（乔治梅森大学）
针对手语Gloss2Text翻译任务，提出结合预训练LLMs、数据增强与语义感知标签平滑损失的改进方法，在PHOENIX Weather 2014T数据集上超越现有最优性能。
2024-07-12 cs.CL cs.CV cs.LG
Image-to-Image Translation with Low Resolution Conditioning
Université Laval（拉瓦尔大学）；Mila（米拉研究所）
大多数图像到图像翻译方法专注于学习跨域的映射，假设图像共享内容（例如，姿势），但是具有它们自己的特定于域的信息，称为样式。当以目标图像为条件时，这种方法旨在提取目标的风格并将其与源图像的内容相结合。在这项工作中，我们考虑的情况下，目标图像具有非常低的分辨率。更具体地说，我们的方法的目的是从高分辨率（HR）源图像的精细细节，以适应粗糙，低分辨率（LR）的图像表示的目标。因此，我们生成HR图像，这些图像共享HR和LR输入的特征。这与以前的方法不同，以前的方法专注于将给定的图像风格翻译成目标内容，我们的翻译方法能够同时模仿风格并合并LR目标的结构信息。我们的方法依赖于训练生成模型来产生HR目标图像，该HR目标图像1）共享相关联的源图像的独特信息; 2）在缩小时正确地匹配LR目标图像。我们在CelebA-HQ和AFHQ数据集上验证了我们的方法，展示了视觉质量，多样性和覆盖率方面的改进。定性和定量的结果表明，当处理域内图像平移时，与Stargan-v2等最先进的方法相比，我们的方法生成了更真实的样本
2021-07-23 cs.CV eess.IV
Multi-Modality Image Super-Resolution using Generative Adversarial Networks
Ontario Tech University（安大略理工大学）
在过去的几年里，基于深度学习的技术，如生成对抗网络（GANs），已经显着改善了图像超分辨率和图像到图像转换问题的解决方案。在本文中，我们提出了一个解决方案的联合问题的图像超分辨率和多模态图像到图像的翻译。这个问题可以说是一个高分辨率的图像在一个模态的恢复，给定的低分辨率观察同一图像在一个替代的模态。我们的论文提供了两个模型来解决这个问题，并将评估高分辨率的白天图像的恢复给定的低分辨率的夜间图像相同的场景。将为每个模型提供有希望的定性和定量结果。
2022-06-22 cs.CV cs.LG eess.IV
Image-to-Image Translation with Disentangled Latent Vectors for Face Editing
Virginia Tech（弗吉尼亚理工大学）；MPI（马克斯·普朗克学会）；ETH（苏黎世联邦理工学院）；TUM（慕尼黑工业大学）；Bilkent University（比尔肯特大学）
提出一种基于解耦隐向量的图像到图像转换框架，通过隐空间分解和正交约束学习解耦属性方向，结合注意力跳跃连接的编码器-解码器架构，显著提升了人脸属性编辑的精确性与保真度。
2025-03-28 cs.CV
Domain Agnostic Image-to-image Translation using Low-Resolution Conditioning
Institute Intelligence and Data (IID), Université Laval（拉瓦尔大学智能与数据研究所（IID））；Mila – Quebec AI Institute（Mila——魁北克人工智能研究所）
提出一种域无关的图像到图像翻译方法，利用低分辨率目标图像条件，结合源图像特征与目标低频信息，在CelebA-HQ和AFHQ上优于StarGAN v2，支持颜色鲁棒性和手动控制。
2023-05-11 cs.CV cs.LG eess.IV
Layout-to-Image Translation with Double Pooling Generative Adversarial Networks
ETH Zurich（苏黎世联邦理工学院）；University of Trento（特伦托大学）
在本文中，我们解决的任务布局到图像的翻译，其目的是翻译输入的语义布局到一个现实的图像。在现有方法中广泛观察到的一个公开挑战是在图像翻译过程中缺乏有效的语义约束，导致模型不能保留语义信息并忽略同一对象内的语义依赖关系。为了解决这个问题，我们提出了一种新的双Pooing GAN（DPGAN）从输入布局生成照片般逼真和语义一致的结果。我们还提出了一种新的双池模块（Double Pooling Module，简称SPM），它由方形池模块（Square shape Pooling Module，简称SPM）和矩形池模块（Rectangle-shape Pooling Module，简称RPM）组成。具体来说，SPM旨在捕获具有不同空间尺度的输入布局的短程语义依赖关系，而RPM旨在捕获来自水平和垂直方向的长程语义依赖关系。然后，我们有效地融合SPM和RPM的输出，以进一步扩大我们的发生器的感受野。在五个流行的数据集上进行的大量实验表明，所提出的DPGAN比现有的方法取得了更好的结果。最后，SPM和SPM都是通用的，可以无缝集成到任何基于GAN的架构中，以加强特征表示。该代码可在https://github.com/Ha0Tang/DPGAN上获得。
2021-08-29 cs.CV
Unsupervised Image-to-Image Translation with Stacked Cycle-Consistent Adversarial Networks
Tencent AI Lab（腾讯人工智能实验室）；Fudan University（复旦大学）
最近关于无监督图像到图像翻译的研究通过训练一对具有周期一致损失的生成对抗网络取得了显着进展。然而，当图像分辨率较高或两个图像域具有显著的外观差异时，例如Cityscapes数据集中语义布局和自然图像之间的转换，这种无监督方法可能会生成较差的结果。在本文中，我们提出了一种新的堆叠循环一致性对抗网络（SCANs），通过将单个翻译分解为多阶段变换，不仅提高了图像翻译质量，而且还以粗到细的方式实现了更高分辨率的图像到图像的翻译。此外，为了适当地利用来自前一级的信息，设计了自适应融合块来学习当前级的输出和前一级的输出的动态积分。在多个数据集上的实验表明，与以前的单阶段无监督方法相比，我们提出的方法可以提高翻译质量。
2018-07-28 cs.CV
Image-to-Image Translation with Diffusion Transformers and CLIP-Based Image Conditioning
Department of Mechanical and Aerospace Engineering（机械与航空航天工程系）；University of Houston（休斯顿大学）；School of Engineering（工程学院）；Santa Clara University（圣克拉拉大学）；School of Electrical and Computer Engineering（电气与计算机工程学院）；Cornell University（康奈尔大学）；Department of Electrical and Computer Engineering（电气与计算机工程系）；Northeastern University（东北大学）
本文提出基于扩散变换器和CLIP的图像到图像翻译方法，通过CLIP嵌入引导实现高质量、语义一致的图像转换，为配对图像翻译任务提供新方案。
2026-02-05 cs.CV
Exemplar Guided Unsupervised Image-to-Image Translation with Semantic Consistency
KU-Leuven/PSI（鲁汶大学/PSI）；TRACE (Toyota Res in Europe)（丰田欧洲研究院）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；ETH Zurich（苏黎世联邦理工学院）
由于深度学习的进步，图像到图像的翻译最近受到了极大的关注。大多数工作集中在学习一个一对一的映射在无监督的方式或多对多的映射在监督的方式。然而，更实际的设置是以无监督的方式进行多对多映射，由于缺乏监督以及复杂的内部和跨域变化，这很难实现。为了缓解这些问题，我们提出了示例引导和语义一致的图像到图像翻译（EGSC-IT）网络，该网络将翻译过程限制在目标域中的示例图像上。我们假设一个图像包括一个跨域共享的内容组件和一个特定于每个域的样式组件。在目标域范例的指导下，我们将自适应实例规范化应用于共享内容组件，这允许我们将目标域的样式信息传输到源域。为了避免翻译过程中由于大的内部和跨域变化而自然出现的语义不一致，我们引入了特征掩码的概念，该特征掩码提供粗略的语义指导，而不需要使用任何语义标签。在不同数据集上的实验结果表明，EGSC-IT不仅能将源图像转换为目标域中的不同实例，而且在转换过程中保持了语义的一致性。
2019-03-13 cs.CV
Semantic-Guided Diffusion Model for Single-Step Image Super-Resolution
Beijing Institute of Technology（北京理工大学）；Nanjing University（南京大学）；School of Computer Science, Peking University（北京大学计算机学院）
针对单步扩散超分在复杂语义区域恢复不足的问题，提出SAMSR框架，通过语义掩码引导噪声、逐像素采样和语义一致性损失提升细节与感知质量。
2025-05-11 cs.CV
ShapeShift: Text-to-Mosaic Synthesis via Semantic Phase-Field Guidance
Carnegie Mellon University USA（卡内基梅隆大学）
ShapeShift通过语义相场指导实现文本到马赛克合成，结合语义指导与可行性约束解决，提升排列的语义清晰性和有效性。
2026-02-23 cs.CV
Zero-Shot Video Translation and Editing with Frame Spatial-Temporal Correspondence
Wangxuan Institute of Computer Technology, Peking University（北京大学王轩计算机技术研究所）；S-Lab, Nanyang Technological University（南洋理工大学S实验室）
FRESCO通过整合帧内与帧间对应关系，提升视频翻译与编辑的空间-时间一致性，实现高质量、一致的视频生成。
2025-12-03 cs.CV
FRESCO: Spatial-Temporal Correspondence for Zero-Shot Video Translation
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）；S-Lab, Nanyang Technological University（南洋理工大学S-Lab）
本文提出FRESCO框架，通过结合帧内与帧间对应关系并显式更新特征，增强时空约束，实现零样本视频翻译的高视觉连贯性，显著优于现有方法。
2024-03-19 cs.CV
ConsistTL: Modeling Consistency in Transfer Learning for Low-Resource Neural Machine Translation
University of Macau（澳门大学）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））
迁移学习是一种简单而强大的方法，可用于提高低资源神经机器翻译（NMT）的模型性能。现有的NMT迁移学习方法都是静态的，通过参数初始化将知识从父模型迁移到子模型。本文提出了一种新的NMT迁移学习方法ConsistTL，它可以在子模型的训练过程中不断地从父模型中迁移知识。具体来说，对于子模型的每个训练实例，ConsistTL为父模型构造语义等价的实例，并鼓励该实例的父子预测一致性，相当于子模型在父模型的指导下学习每个实例。在五个低资源NMT任务上的实验结果表明，ConsistTL在强迁移学习基线上有显著的改进，在广泛使用的WMT 17土耳其语-英语基准测试上，与现有的反向翻译模型相比，增益高达1.7 BLEU。进一步的分析表明，ConsistTL可以提高儿童模型的推理校准。代码和脚本可以在https://github.com/NLP2CT/ConsistTL上免费获得。
2022-12-08 cs.AI cs.CL cs.LG
Reciprocal Translation between SAR and Optical Remote Sensing Images with Cascaded-Residual Adversarial Networks
Fudan University（复旦大学）
尽管合成孔径雷达（SAR）具有全天候、全天时高分辨率成像的优势，但由于人类视觉对微波散射现象的不适应，SAR图像很少被普通人看到和使用。然而，可以通过并排比较SAR和光学图像来训练专家口译员，以学习从SAR到光学的映射规则。本文试图开发机器智能，可训练与大体积共配准SAR和光学图像的SAR图像转换为光学版本的辅助SAR图像判读。互易SAR光学图像转换是一项具有挑战性的任务，因为它是两种物理上非常不同的传感模式之间的原始数据转换。本文提出了一种新的互惠对抗网络方案，级联剩余连接和混合L1-GAN损失。它是训练和测试的星载GF-3和机载UAVSAR图像。给出了不同分辨率和极化的数据集的结果，并与其他最先进的方法进行了比较。FID用于定量评估翻译性能。本文还探讨了利用非成对SAR图像和光学图像进行无监督学习的可能性。结果表明，建议的翻译网络工作在许多情况下，它可能会被用于辅助SAR解释。
2019-10-09 cs.CV
Domain-Specific Quality Estimation for Machine Translation in Low-Resource Scenarios
Institute for People-Centred AI, University of Surrey（萨里大学以人为本人工智能研究所）
本文提出ALOPE框架，通过低秩适应提升领域特定机器翻译低资源场景下的质量估计性能，尤其在语义复杂领域表现更优。
2026-03-07 cs.AI cs.CL cs.LG
Learning Temporally and Semantically Consistent Unpaired Video-to-video Translation Through Pseudo-Supervision From Synthetic Optical Flow
Honda Research Institute USA, Inc.（美国本田研究所）
非配对视频到视频翻译的目的是在源域和目标域之间翻译视频，而不需要配对的训练数据，使其更适合实际应用。不幸的是，翻译的视频通常遭受时间和语义不一致。为了解决这个问题，许多现有的作品采用时空一致性约束，结合基于运动估计的时间信息。然而，在运动估计的不准确性恶化的质量的指导对时空的一致性，这导致不稳定的翻译。在这项工作中，我们提出了一种新的范式，正则化的时空一致性合成运动在输入视频与生成的光流，而不是估计它们。因此，可以在正则化范例中应用合成运动，以保持跨域的运动一致，而没有运动估计中的错误风险。此后，我们利用我们的无监督的回收和无监督的空间损失，由合成光流提供的伪监督的指导下，准确地执行时空一致性在这两个领域。实验表明，我们的方法是通用的，在各种情况下，并实现了最先进的性能，在生成时间和语义一致的视频。代码可在：https://github.com/wangkaihong/Unsup_Recycle_GAN/.
2022-12-21 cs.CV
Simple and Efficient Unpaired Real-world Super-Resolution using Image Statistics
SI Analytics（SI分析）
在没有成对的低分辨率（LR）和高分辨率（HR）图像的情况下学习超分辨率（SR）网络是困难的，因为无法通过对应的HR对应物进行直接监督。近年来，许多真实世界的超分辨率研究利用了非成对图像到图像的翻译技术。也就是说，他们使用了两个或更多的生成对抗网络（GANs），每个网络都将图像从一个域转换到另一个域，\eg将图像从HR域转换到LR域。然而，使用未配对数据的GANs稳定地学习这样的翻译并不容易。在这项研究中，我们提出了一种简单而有效的方法来训练真实世界的SR网络。为了稳定地训练网络，我们使用图像块的统计数据，例如均值和方差。我们的真实世界SR框架由两个GANs组成，一个用于将HR图像转换为LR图像（降级任务），另一个用于将LR转换为HR（SR任务）。我们认为，使用GANs的不成对图像翻译可以有效地学习我们提出的数据采样策略，即方差匹配。我们在NTIRE 2020真实世界SR数据集上测试了我们的方法。我们的方法优于目前国家的最先进的方法在SSIM度量以及LPIPS度量产生可比的结果。
2021-09-19 cs.CV eess.IV
Structure-Preserving Unpaired Image Translation to Photometrically Calibrate JunoCam with Hubble Data
本文提出了一种保持结构的未配对图像翻译方法，用于利用哈勃数据校准朱诺相机，以解决分辨率差异问题并提升遥感数据处理效果。
2025-11-27 astro-ph.EP astro-ph.IM cs.CV
SemST: Semantically Consistent Multi-Scale Image Translation via Structure-Texture Alignment
University of Southern California（南加州大学）；DEVCOM Army Research Laboratory（美国陆军作战能力发展司令部陆军研究实验室）
针对无监督图像翻译中源域与目标域语义统计差异导致的语义失真问题，提出基于结构-纹理对齐的SemST方法，通过对比学习与多尺度策略缓解失真，达到最优性能，还可作为语义分割的有益预训练。
2023-10-08 cs.CV
Conditional Brownian Bridge Diffusion Model for VHR SAR to Optical Image Translation
University of Science and Technology (UST)（科学技术大学）；Korea Aerospace Research Institute（韩国航空航天研究院）
本文提出基于布朗桥扩散模型的条件图像翻译方法，用于将0.5米甚高分辨率SAR图像转换为光学图像，在MSAW数据集上优于条件扩散模型和GAN模型。
2025-04-20 cs.AI cs.CV eess.IV
AGILE: A Diffusion-Based Attention-Guided Image and Label Translation for Efficient Cross-Domain Plant Trait Identification
University of California, Davis（加利福尼亚大学戴维斯分校）
本文提出基于扩散的AGILE框架，通过优化文本嵌入和注意力引导实现跨域植物图像与标签翻译，提升目标域对象检测性能并保持语义一致性。
2025-03-27 cs.CV
SC-Diff: Semantically Calibrated Diffusion for Visible-to-Infrared Image Translation
School of Intelligent Systems Engineering, Shenzhen Campus of Sun Yat-sen University（中山大学深圳校区智能系统工程学院）；Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；School of Mathematics and Statistics, Xi’an Jiaotong University（西安交通大学数学与统计学院）
SC-Diff 是一种语义校准潜扩散框架，通过结合语义先验作为条件与自注意力校准，提升可见光转红外图像的语义一致性，生成更适用于红外目标检测的合成训练数据。
2026-08-11 cs.CV
HORIZON: High-Resolution Semantically Controlled Panorama Synthesis
Beihang University（北京航空航天大学）；Peking University（北京大学）；Langboat Technology（澜舟科技）
针对现有全景合成技术语义引导难、直接套用2D方法易失真的问题，提出HORIZON框架，通过球面建模解决畸变与边缘问题，支持图文语义控制与并行解码生成高分辨率全景，性能优于现有方法。
2024-01-27 cs.CV
Autoencoding Low-Resolution MRI for Semantically Smooth Interpolation of Anisotropic MRI
Amsterdam University Medical Centers（阿姆斯特丹大学医学中心）；University of Amsterdam（阿姆斯特丹大学）；Amsterdam Cardiovascular Sciences（阿姆斯特丹心血管科学研究所）；Informatics Institute, University of Amsterdam（阿姆斯特丹大学信息学研究所）
高分辨率医学图像有利于分析，但其采集可能并不总是可行的。或者，可以使用常规的上采样方法从低分辨率采集创建高分辨率图像，但是这样的方法不能利用图像中包含的高级上下文信息。最近，已经引入了性能更好的基于深度学习的超分辨率方法。然而，这些方法受到其监督特性的限制，即它们需要高分辨率的样本进行训练。相反，我们提出了一种无监督的深度学习语义插值方法，该方法从编码的低分辨率示例中合成新的中间切片。为了实现通过平面方向的语义平滑插值，该方法利用自动编码器生成的潜在空间。为了生成新的中间切片，使用其凸组合来组合两个空间相邻切片的潜在空间编码。随后，组合编码被解码为中间切片。为了约束模型，定义了给定数据集的语义相似性概念。为此，引入了一种新的损失，该损失利用相同体积的切片之间的空间关系。在训练期间，使用其相邻切片编码的凸组合来生成现有的中间切片。使用公开的心脏电影、新生儿脑和成人脑MRI扫描对该方法进行训练和评估。在所有评价中，新方法在结构相似性指数测量和峰值信噪比方面产生的结果显著优于三次B样条插值方法（使用单侧Wilcoxon符号秩检验，p< 0.001）。鉴于该方法的无监督性质，不需要高分辨率训练数据，因此该方法可以容易地应用于临床环境。
2022-02-18 cs.CV cs.LG eess.IV
Cross-domain Correspondence Learning for Exemplar-based Image Translation
University of Science and Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）；Microsoft Cloud+AI（微软云与人工智能部门）
我们提出了一个基于范例的图像翻译的一般框架，该框架从不同域（例如，语义分割掩模、或边缘图、或姿态关键点）。输出具有样式（例如，颜色、纹理）与样本中语义上对应的对象一致。我们建议联合学习跨域对应和图像翻译，这两项任务相互促进，因此可以在弱监督下学习。首先将来自不同域的图像与建立密集对应关系的中间域对齐。然后，网络根据样本中语义对应的补丁的出现来合成图像。我们证明了我们的方法在几个图像翻译任务的有效性。我们的方法是优于国家的最先进的方法，在图像质量显着，与图像风格忠实于样本的语义一致性。此外，我们还展示了我们的方法在几个应用中的实用性
2020-04-12 cs.CV cs.GR eess.IV
SeCo-INR: Semantically Conditioned Implicit Neural Representations for Improved Medical Image Super-Resolution
Monash University（莫纳什大学）
本文提出SeCo-INR框架，利用医学图像语义分割提供的局部先验条件化隐式神经表示，为各语义区域推导最优INR，在多种医学成像模态上实现了优于现有方法的超分辨率效果。
2024-09-02 cs.AI cs.CV eess.IV
CoCosNet v2: Full-Resolution Correspondence Learning for Image Translation
Zhejiang University（浙江大学）；Microsoft Research Asia（微软亚洲研究院）；Binghamton University（宾汉姆顿大学）；USTC（中国科学技术大学）
我们提出了跨域图像的全分辨率对应学习，这有助于图像翻译。我们采用了一种分层的策略，从粗层次的对应关系，以指导精细的水平。在每个层次中，可以通过PatchMatch有效地计算对应关系，PatchMatch迭代地利用来自邻域的匹配。在每次PatchMatch迭代中，采用ConvGRU模块来改进当前对应关系，不仅考虑更大背景的匹配，还考虑历史估计。建议的CoCosNet v2，一个GRU辅助的PatchMatch方法，是完全可区分的和高效的。当与图像翻译联合训练时，可以以无监督的方式建立全分辨率语义对应关系，这反过来又有助于基于范例的图像翻译。对不同翻译任务的实验表明，CoCosNet v2在生成高分辨率图像方面的表现远远优于最先进的文献。
2021-03-30 cs.CV
OSCAR: Optical-aware Semantic Control for Aleatoric Refinement in Sar-to-Optical Translation
Kyungpook National University（庆北国立大学）；Korea Aerospace Research Institute（韩国航空航天研究机构）
OSCAR通过跨模态语义对齐、语义引导生成指导和不确定性感知目标，提升SAR到光学图像翻译的语义一致性和感知质量。
2026-01-11 cs.AI cs.CV
PoseRefer: Pathway-Local Parameters for Semantically Grounded Reference Resolution
KTH Royal Institute of Technology（皇家理工学院）
提出PoseRefer架构，通过解耦姿态和文本通路并冻结MiniLM类别嵌入，在MM-Conv数据集上实现31.9%的top-1准确率，并揭示融合准确性可能受类别表示伪影影响。
2026-05-23 cs.CV cs.RO
