Mitigating Illumination-Induced Domain Shift in Night-Time Pedestrian Detection for Intelligent Vehicles using Annotation-Preserving Diffusion Augmentation
本文提出Contrastive-SDXL框架，利用SDXL-Turbo和LoRA微调，通过语义对比损失和对象一致性损失生成逼真夜间图像，提升行人检测性能。
2026-10-07 cs.CV
Unsupervised Detection of Cancerous Regions in Histology Imagery using Image-to-Image Translation
University of Ljubljana（卢布尔雅那大学）；XLAB d.o.o.（XLAB 有限责任公司）
视觉异常检测是指在不同的成像数据中发现不符合预期视觉外观的模式的问题，并且是不同领域中广泛研究的问题。由于异常事件和潜在的生成过程的性质，很难描述它们并获得标记数据。在生物医学应用中，获得标记数据尤其困难，只有经过训练的领域专家才能提供标签，这些标签通常具有很大的多样性和复杂性。最近提出的视觉异常方法的无监督检测方法省略了标记数据的需要，并在异常样本显着偏离正常外观的领域中展示了有希望的结果。尽管有希望的结果，这种方法的性能仍然落后于监督的方法，并没有提供一个适合所有的解决方案。在这项工作中，我们提出了一个基于图像到图像检测的框架，显着超过现有的无监督方法的性能和方法的监督方法的性能在一个具有挑战性的领域中的癌区域检测组织学图像。
2021-04-28 cs.CV cs.LG eess.IV
Enhancing Nighttime Vehicle Detection with Day-to-Night Style Transfer and Labeling-Free Augmentation
Smart Mobility and Infrastructure Lab（智能交通与基础设施实验室）；College of Engineering（工程学院）；University of Georgia（佐治亚大学）
针对夜间低光条件下目标检测训练数据标注困难的问题，提出一种结合 CARLA 合成数据与 Efficient Attention GAN 进行日间到夜间风格迁移的免标注数据增强框架，通过微调 YOLO11 模型显著提升了乡村夜间环境下的车辆检测性能。
2024-12-21 cs.AI cs.CV stat.ML
Rethinking the Truly Unsupervised Image-to-Image Translation
Yonsei University（延世大学）；NAVER AI Lab（NAVER AI实验室）；UNIST（蔚山科学技术院）
每一个最近的图像到图像的翻译模型本质上需要图像级（即输入输出对）或设置级（即域标签）的监督。然而，在实践中，即使是设置级别的监督也可能成为数据汇集的严重瓶颈。在本文中，我们在完全无监督的环境中处理图像到图像的翻译，即，既不是成对的图像也不是域标签。为此，我们提出了一个真正无监督的图像到图像翻译模型（TUNIT），同时学习分离图像域并将输入图像转换为估计域。实验结果表明，我们的模型实现了与使用全标签训练的集合级监督模型相当甚至更好的性能，在各种数据集上具有很好的泛化能力，并且对超参数的选择（例如预设数量的伪域）具有鲁棒性。此外，TUNIT可以很容易地扩展到半监督学习与一些标记的数据。
2021-08-20 cs.CV cs.LG
Panoramic Image-to-Image Translation
Korea University（高丽大学）；NAVER AI Lab（NAVER人工智能实验室）；Seoul National University（首尔国立大学）
本文首次提出全景图像到图像翻译任务，通过球面位置嵌入、无畸变判别器和形变感知编码器解决全景畸变及域差距问题，在StreetLearn数据集上显著优于现有方法。
2023-04-11 cs.CV
Memory-Guided Collaborative Attention for Nighttime Thermal Infrared Image Colorization
University of Electronic Science and Technology of China（电子科技大学）
夜间热红外（NTIR）图像彩色化，也称为NTIR图像到日间彩色图像的转换（NTIR 2DC），是一个有前途的研究方向，以促进人类和智能系统在不利条件下（例如，完全黑暗）。然而，以前开发的方法对于小样本类的着色性能较差。此外，减少伪标签中的高置信度噪声和解决平移过程中图像梯度消失的问题仍然是探索不足的，并且在平移过程中保持边缘不失真也具有挑战性。为了解决上述问题，我们提出了一种新的学习框架称为记忆引导的协同注意生成对抗网络（MornGAN），这是受人类类比推理机制的启发。具体而言，记忆引导的样本选择策略和自适应的合作注意力损失的设计，以提高小样本类别的语义保持。此外，我们提出了一个在线语义蒸馏模块挖掘和细化的NTIR图像的伪标签。此外，条件梯度修复损失的引入，以减少在翻译过程中的边缘失真。在NTIR 2DC任务上的大量实验表明，MornGAN在语义保持和边缘一致性方面明显优于其他图像到图像的翻译方法，这有助于显着提高目标检测的准确性。
2022-08-05 cs.CV
LC-GAN: Image-to-image Translation Based on Generative Adversarial Network for Endoscopic Images
University of Washington（华盛顿大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Rochester Institute of Technology（罗切斯特理工学院）
智能视觉在计算机辅助和机器人手术中很有吸引力。基于视觉的深度学习分析通常需要大型标记数据集，但在医疗问题中，手动数据标记既昂贵又耗时。我们研究了一种新的跨域策略，以减少对手动数据标记的需要，提出了一种基于生成对抗网络（GANs）的图像到图像翻译模型live-cadaver GAN（LC-GAN）。我们考虑一种情况，当标记的尸体手术数据集可用时，任务是在未标记的现场手术数据集上进行器械分割。我们训练LC-GAN来学习尸体图像和实时图像之间的映射。对于实时图像分割，我们首先使用LC-GAN将实时图像转换为假尸体图像，然后使用在真实尸体数据集上训练的模型对假尸体图像进行分割。该方法充分利用标记的尸体数据集进行实时图像分割，而不需要对实时数据集进行标记。LC-GAN有两个具有不同架构的生成器，它们利用从基于尸体图像的分割任务中学习到的深度特征表示。此外，我们提出了结构相似性损失和分割一致性损失，以提高翻译过程中的语义一致性。我们的模型实现了更好的图像到图像的翻译，并导致在建议的跨域分割任务的分割性能提高。
2020-08-13 cs.CV eess.IV
Generating large labeled data sets for laparoscopic image processing tasks using unpaired image-to-image translation
National Center for Tumor Diseases（国家肿瘤疾病中心）；University College London（伦敦大学学院）；Mannheim University of Applied Sciences（曼海姆应用科学大学）；German Cancer Research Center（德国癌症研究中心）
在医学领域，缺乏大型训练数据集和基准通常是训练深度神经网络的限制因素。与昂贵的手动标记相比，计算机模拟可以以最少的手动工作生成大量且完全标记的数据集。然而，在模拟数据上训练的模型通常不能很好地转化为真实场景。为了弥合模拟和真实腹腔镜图像之间的域差距，我们利用最近的进展，不成对的图像到图像的翻译。我们扩展了图像到图像的翻译方法，以生成各种各样的逼真的合成图像的基础上，从一个简单的腹腔镜手术模拟图像。通过结合确保在翻译过程中保留图像内容的方法，我们确保为模拟图像提供的标签对于其逼真的翻译仍然有效。这样，我们能够生成具有逼真外观的腹腔镜图像的大的、完全标记的合成数据集。我们表明，该数据集可用于训练模型的腹腔镜图像的肝脏分割的任务。我们在一些患者中实现了高达0.89的平均骰子得分，而无需手动标记单个腹腔镜图像，并表明使用我们的合成数据来预训练模型可以大大提高其性能。该合成数据集将公开提供，完全标记有分割图、深度图、法线图以及工具和相机的位置（http：//opencas.dkfz.de/image2image）。
2019-07-05 cs.CV cs.LG stat.ML
TC-PDM: Temporally Consistent Patch Diffusion Models for Infrared-to-Visible Video Translation
Australian Institute for Machine Learning, The University of Adelaide（阿德莱德大学澳大利亚机器学习研究所）；Safran Electronics and Defense Australasia（赛峰电子与防务澳大拉西亚分公司）；Department of Data Science and Artificial Intelligence, Monash University（莫纳什大学数据科学与人工智能系）
本文提出TC-PDM扩散方法，通过语义引导去噪和时间混合模块，实现红外到可见光视频转换，在FVD和AP50指标上显著优于现有方法。
2024-08-26 cs.CV
Label-Noise Robust Multi-Domain Image-to-Image Translation
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
多域图像到图像翻译是一个目标是学习多个域之间映射的问题。这个问题在可扩展性方面是具有挑战性的，因为它需要学习大量的映射，映射的数量与域的数量成比例地增加。然而，生成对抗网络（GANs）最近已经成为解决这个问题的强大框架。特别是，标签条件扩展（例如，StarGAN）已经成为一个很有前途的解决方案，因为它们能够使用单一的统一模型来解决这个问题。尽管如此，一个局限性是它们依赖于大规模干净标记数据的可用性，而在现实世界中收集这些数据通常是费力的或不切实际的。为了克服这一限制，我们提出了一种称为标签噪声鲁棒图像到图像转换模型（RMIT）的新模型，即使只有带噪声的标记数据可用，该模型也可以学习干净的标签条件生成器。特别是，我们提出了一种称为虚拟循环一致性损失的新损失，它能够独立于噪声标记数据来正则化循环重建，并且我们引入了先进的技术来提高实践中的性能。我们的实验结果表明，RMIT是有用的获得标签噪声鲁棒性在各种设置，包括合成和真实世界的噪声。
2019-05-06 cs.AI cs.CV cs.LG
Wavelet-based Unsupervised Label-to-Image Translation
University of Stuttgart（斯图加特大学）
提出基于小波的无监督语义图像合成范式USIS，利用自监督分割损失和整图小波判别及新型小波域生成器架构，在3个数据集上有效弥合了配对与无配对模型间的性能差距。
2023-05-16 cs.CV eess.IV
Abdominal Ultrasound Simulation from Semantic Labels using Paired Label-to-Physics-Based Image Translation
National Scientific and Technical Research Council (CONICET)（国家科学技术研究委员会（CONICET））；UNICEN（国立中央布宜诺斯艾利斯省大学）
提出两阶段学习流程，从语义标签生成腹部超声图像，无需推理时CT，支持可控变形与病理模拟，SDM优于Pix2Pix。
2026-10-08 cs.CV eess.IV
Revealing Microscopic Objects in Fluorescence Live Imaging by Video-to-video Translation Based on A Spatial-temporal Generative Adversarial Network
University of Nevada, Las Vegas（内华达大学拉斯维加斯分校）；School of Life Sciences（生命科学学院）
针对荧光显微镜因标记有限而难以同时观察多种微观物体的问题，提出基于时空生成对抗网络（STGAN）的视频到视频转换方法，模拟物体发育过程以揭示时空关系，实验证明其能有效缓解光谱冲突，实现多物体同时可视化。
2025-02-22 cs.CV eess.IV
Thermal Infrared Image Colorization for Nighttime Driving Scenes with Top-Down Guided Attention
University of Electronic Science and Technology of China（电子科技大学）；Beijing Institute of Basic Medical Sciences（北京基础医学研究所）
红外摄像机具有对光不敏感和雾环境下穿透力强的优点，被广泛应用于夜间交通场景的传感。然而，热红外（TIR）图像的低对比度和缺乏色度阻碍了高级计算机视觉算法的人类解释和可移植性。将夜间TIR图像转换为日间彩色（NTIR2DC）图像的着色可以是促进夜间场景感知的有希望的方式。尽管最近在图像翻译方面取得了令人印象深刻的进展，但NTIR2DC任务中的语义编码纠缠和几何失真仍然没有得到充分解决。因此，我们提出了一个自上而下的attEntion和gRadient aLignment为基础的GAN，称为珍珠GAN。首先设计了一个自上而下的引导注意模块和一个精心设计的注意损失，以减少翻译过程中的语义编码歧义。然后，引入结构化梯度对齐损失，以鼓励翻译和输入图像之间的边缘一致性。此外，像素级标注的FLIR和KAIST数据集的一个子集上进行的多种翻译方法的语义保持性能进行评估。此外，设计了一种新的度量标准来评价翻译过程中的几何一致性。大量的实验证明了所提出的PearlGAN在NTIR2DC任务中优于其他图像翻译方法。源代码和带标签的分割掩码将在\url{https://github.com/FuyaLuo/PearlGAN/}上提供。
2021-04-29 cs.CV
Semi-supervised Learning for Few-shot Image-to-Image Translation
Computer Vision Center, Universitat Autònoma de Barcelona（巴塞罗那自治大学计算机视觉中心）；Inception Institute of Artificial Intelligence（人工智能起源研究所）；Linköping University（林雪平大学）
在过去的几年里，不成对的图像到图像的翻译已经取得了显著的进展。虽然最新的方法能够生成逼真的图像，但它们关键地依赖于大量的标记图像。最近，一些方法已经解决了具有挑战性的设置的Few-Shot图像到图像的转换，减少了标记的数据要求的目标域在推理。在这项工作中，我们更进一步，在训练过程中减少了源域所需的标记数据量。要做到这一点，我们建议应用半监督学习通过一个噪声容忍的伪标记过程。我们还应用循环一致性约束来进一步利用来自相同数据集或外部的未标记图像的信息。此外，我们提出了一些结构上的修改，以方便在这些情况下的图像翻译任务。我们的用于Few-Shot图像翻译的半监督方法，称为SEMIT，在四个不同的数据集上使用仅10%的源标签实现了出色的结果，并且仅使用20%的标记数据就与主要的全监督竞争对手的性能相匹配。我们的代码和模型在https://github.com/yaxingwang/SEMIT上公开。
2020-04-02 cs.CV
Improving Endoscopic Decision Support Systems by Translating Between Imaging Modalities
University of Salzburg（萨尔茨堡大学）；St. Anna Children’s Hospital（圣安娜儿童医院）；Salzburg University of Applied Sciences（萨尔茨堡应用科学大学）
新的成像技术提出了许多关于计算机辅助决策支持系统的适应问题。分类模型需要调整，甚至从头开始重新训练，以充分利用增强技术的潜力。这两种选择通常都需要获取新的标记训练数据。在这项工作中，我们调查的适用性图像到图像的翻译显示不同的成像方式，即传统的白光和窄带成像的内窥镜图像。在一项关于计算机辅助腹腔疾病诊断的研究中，我们探讨了图像到图像的翻译是否能够有效地执行域之间的翻译。我们研究了模型是否可以在虚拟（或虚拟和真实的混合）样本上训练，以提高在有限的标记训练数据的情况下的整体准确性。最后，我们还问是否翻译的测试图像到另一个域是能够提高精度，利用增强的成像特性。
2020-04-27 cs.CV cs.LG eess.IV
A Semi-Paired Approach For Label-to-Image Translation
University of Stuttgart（斯图加特大学）
本文提出首个用于标签到图像转换的半监督（半配对）框架，通过输入重建任务和稀有类别采样算法，在仅使用少量配对样本的情况下，性能优于现有无监督、半监督及部分全监督方法。
2023-06-26 cs.CV
Image-to-image Translation via Hierarchical Style Disentanglement
Xiamen University（厦门大学）；Tencent Youtu Lab（腾讯云图实验室）
最近，图像到图像翻译在实现多标签（\ie，以不同标签为条件的翻译）和多样式（\ie，具有不同样式的生成）任务方面取得了重大进展。然而，由于未开发的独立性和排他性的标签，现有的努力是失败的涉及不受控制的操纵翻译结果。在本文中，我们提出了层次风格分解（HiSD）来解决这个问题。具体地说，我们将标签组织成一个分层的树结构，其中独立的标签，排他性的属性，和解开的风格是从上到下分配。相应地，设计了一种新的翻译过程，以适应上述结构，其中的风格识别的可控翻译。CelebA-HQ数据集上的定性和定量结果都验证了所提出的HiSD的能力。我们希望我们的方法将作为一个坚实的基线，并提供新的见解与分层组织的注释，为未来的研究在图像到图像的翻译。该代码已在https://github.com/imlixinyang/HiSD上发布。
2021-03-02 cs.CV
Contrastive Learning for Unsupervised Image-to-Image Translation
Seoul National University（首尔大学）
图像到图像翻译旨在学习不同视觉可区分图像组之间的映射。虽然最近的方法已经显示出令人印象深刻的改变图像复杂外观的能力，但它们仍然依赖于域标签来训练模型以区分不同的视觉特征。这种对标签的依赖往往大大限制了应用范围，因为一致和高质量的标签是昂贵的。相反，我们希望从图像本身捕获视觉特征，并将其应用于实现逼真的翻译，而无需人工生成标签。为此，我们提出了一种基于对比学习的无监督图像到图像的翻译方法。关键的想法是学习一个区分不同风格的生成器，并让生成器监督生成器在图像之间传输这些风格。在训练过程中，我们随机抽取一对图像，并训练生成器将一个图像的外观改变为另一个图像，同时保持原始结构。实验结果表明，我们的方法优于领先的无监督基线的视觉质量和翻译精度。
2021-05-07 cs.CV
Disentangled Contrastive Image Translation for Nighttime Surveillance
本文提出解耦对比学习方法 DiCo，通过颜色不变量物理先验和前景背景解耦表示，在生成对抗网络中实现夜间监控图像到白天的高保真转换，并发布 NightSuR 数据集。
2023-07-11 cs.CV
SMIT: Stochastic Multi-Label Image-to-Image Translation
Universidad de Los Andes（安第斯大学）；ETH Zürich（苏黎世联邦理工学院）；KU Leuven（鲁汶大学）
跨域映射是近年来一个非常活跃的话题。给定一个图像，其主要目的是将其转换为所需的目标域，或者在多个标签的情况下转换为多个域。由于三个主要原因，该问题是高度挑战性的：（i）未配对的数据集，（ii）多个属性，以及（iii）多模态（例如，风格）与翻译相关。大部分现有的最新技术只集中在两个原因上，即（i）和（ii），或（i）和（iii）。在这项工作中，我们提出了一个联合框架（i，ii，iii）的多样性和多映射图像到图像的翻译，使用一个单一的生成器有条件地产生无数的和独特的假图像，拥有源图像的基本特征。我们的系统不使用样式正则化，相反，它使用一种嵌入表示，我们称之为域嵌入。在不同数据集上的大量实验表明，我们提出的方法在多标签和多模态问题中与最先进的方法相比是有效的。此外，我们的方法能够在不同的场景下推广：连续样式插值，连续标签插值和细粒度映射。代码和预训练模型可在https://github.com/BCV-Uniandes/SMIT上获取。
2019-09-05 cs.CV
Improving Image-recognition Edge Caches with a Generative Adversarial Network
Universidade Federal do Rio de Janeiro（里约热内卢联邦大学）
图像识别是许多移动应用中的一项重要任务。例如，智能手机可以处理地标照片以收集有关其位置的更多信息。如果设备没有足够的计算资源可用，它会将处理任务卸载到云基础设施。虽然这种方法解决了资源短缺，但它引入了通信延迟。互联网边缘的图像识别缓存可以缓解这个问题。这些缓存运行在靠近移动设备的服务器上，并存储有关先前识别的图像的信息。如果服务器收到一个请求，其中有一张照片存储在其缓存中，它会回复设备，避免云卸载。此缓存的主要挑战是验证接收到的图像是否与存储的图像匹配。此外，对于户外照片，如果一张是在白天拍摄的，另一张是在夜间拍摄的，则很难比较它们。在这种情况下，缓存可能会错误地推断它们指向不同的位置，从而将处理工作卸载到云。这项工作表明，一个著名的生成对抗网络，称为ToDayGAN，可以通过使用夜间图像生成白天图像来解决这个问题。因此，我们可以使用这种转换来填充一个缓存与合成照片，可以帮助图像匹配。我们表明，我们的解决方案减少了云卸载，因此，应用程序的延迟。
2022-02-11 cs.LG cs.NI
Semantically Consistent Image-to-Image Translation for Unsupervised Domain Adaptation
University of Augsburg（奥格斯堡大学）
无监督领域自适应（UDA）旨在将在源域上训练的模型适应到没有标记数据可用的新目标域。在这项工作中，我们调查的问题UDA从一个合成的计算机生成的域到一个类似的，但现实世界的域学习语义分割。我们提出了一个语义一致的图像到图像的翻译方法结合一致性正则化方法的UDA。我们克服了以前的限制，将合成图像转换为真实的图像。我们利用伪标签来学习一个生成的图像到图像翻译模型，该模型从两个域上的语义标签接收额外的反馈。我们的方法在相关领域自适应基准上优于结合图像到图像转换和半监督学习的最先进方法，即，GTA5到Cityscapes和SYNTHIA到Cityscapes。
2021-11-25 cs.CV
VI-Diff: Unpaired Visible-Infrared Translation Diffusion Model for Single Modality Labeled Visible-Infrared Person Re-identification
University of Chinese Academy of Sciences (UCAS)（中国科学院大学）；The Center for Research on Intelligent Perception and Computing (CRIPAC)（智能感知与计算研究中心）；Institute of Automation, Chinese Academy of Sciences (CASIA)（中国科学院自动化研究所）
针对可见-红外行人重识别跨模态标注成本高的问题，提出VI-Diff扩散模型实现无配对可见-红外行人图像翻译，构建单模态标注结合翻译数据的训练集，性能优于现有扩散与GAN模型，为该任务提供低成本实用方案。
2023-10-06 cs.CV
Bridging the Gap between Label- and Reference-based Synthesis in Multi-attribute Image-to-Image Translation
East China Normal University（华东师范大学）；PingAn Technology（平安科技）
图像到图像翻译（I2IT）模型将目标标签或参考图像作为输入，并将源更改为指定的目标域。这两种类型的合成，无论是标签或参考为基础，有很大的差异。其中，基于标签的合成体现了目标领域的共同特征，基于参照的合成则体现了与参照相似的特定风格。本文试图在多属性I2IT任务中弥补两者之间的差距。我们设计了基于标签和基于引用的编码模块（LEM和REM）来比较域差异。它们首先通过属性差异向量提供相反的方向，将源图像和目标标签（或引用）转移到公共嵌入空间中。然后，这两个嵌入简单地融合在一起，形成反映域风格差异的潜在代码S_rand（或S_ref），由SPADE注入生成器的每一层。为了将LEM和REM联系起来，使两类结果相互受益，我们鼓励两个潜在代码接近，并在它们的前向和后向翻译之间建立循环一致性。此外，S_rand和S_ref之间的插值也用于合成额外的图像。实验表明，基于标签和基于参考的合成确实是相互促进的，因此我们可以从LEM得到多样化的结果，并且具有高质量的结果与相似风格的参考。
2021-10-11 cs.AI cs.CV
UGC: Unified GAN Compression for Efficient Image-to-Image Translation
ByteDance Inc（字节跳动公司）
本文提出统一GAN压缩（UGC）范式，通过半监督驱动的架构搜索与自适应在线蒸馏协同实现模型高效与标签高效学习，从而获得架构灵活且性能优异的图像到图像转换模型。
2023-09-17 cs.CV
SPARSE Data, Rich Results: Few-Shot Semi-Supervised Learning via Class-Conditioned Image Translation
Unit of Artificial Intelligence and Computer Systems, Department of Engineering, Università Campus Bio-Medico di Roma, Rome, Italy（人工智能与计算机系统单位，工程系，罗马生物医学大学）
提出基于GAN的类条件图像转换半监督框架，集成生成器、判别器与分类器并采用伪标签策略，在MedMNIST数据集上显著优于现有方法，解决医学图像标注数据稀缺问题。
2025-08-08 cs.AI cs.CV
Exploring Unlabeled Faces for Novel Attribute Discovery
Korea University（高丽大学）；Kakao Corp.（Kakao公司）
尽管在不成对的图像到图像的翻译中取得了显著的成功，但现有的系统仍然需要大量的标记图像。这是它们在现实世界中应用的瓶颈;在实践中，在标记CelebA数据集上训练的模型对于来自不同分布的测试图像效果不佳-极大地限制了它们对大量未标记图像的应用。在本文中，我们试图减轻这种必要性标记的数据在面部图像翻译域。我们的目标是探索您可以从未标记的面部中发现新属性并执行高质量翻译的程度。为此，我们使用视觉世界的先验知识作为指导，发现新的属性，并通过一种新的归一化方法将它们转移。实验表明，我们在未标记数据上训练的方法可以产生高质量的翻译，保留身份，并且在感知上与在标记数据上训练的最先进的方法一样好，甚至更好。
2019-12-06 cs.CV
DualGAN: Unsupervised Dual Learning for Image-to-Image Translation
Memorial University of Newfoundland（纽芬兰纪念大学）；Simon Fraser University（西蒙弗雷泽大学）
用于跨域图像到图像翻译的条件生成对抗网络（GANs）最近取得了很大进展。根据任务的复杂性，需要数千到数百万的标记图像对来训练条件GAN。然而，人工标记是昂贵的，甚至是不切实际的，并且大量的数据可能并不总是可用的。受自然语言翻译的双重学习的启发，我们开发了一种新的双重GAN机制，该机制使图像翻译器能够从两个领域的两组未标记图像中进行训练。在我们的架构中，原始GAN学习将图像从域U转换到域V中的图像，而双重GAN学习反转任务。由原始任务和双重任务形成的闭环允许来自任一域的图像被翻译，然后被重建。因此，可以使用考虑图像的重建误差的损失函数来训练翻译器。在多个未标记数据的图像翻译任务上的实验表明，DualGAN比单个GAN有相当大的性能增益。对于某些任务，DualGAN甚至可以实现与在完全标记数据上训练的条件GAN相当或略好的结果。
2018-10-09 cs.CV
Semantics-Aware Image to Image Translation and Domain Transfer
University of Minnesota（明尼苏达大学）
图像到图像翻译是将图像从源域转移到不同（但相关）的目标域的问题。我们提出了一种新的无监督图像到图像的翻译技术，利用对象变形和域转移任务的底层语义信息。具体来说，我们提出了一种生成对抗学习方法，将图像和标签从源域联合转换到目标域。我们的主要技术贡献是一个基于编码器-解码器的网络架构，它联合编码图像及其底层语义，并将两者单独翻译到目标域。此外，我们提出了对象变形和跨域语义一致性损失，保留语义标签。通过广泛的实验评估，我们证明了我们的方法的有效性相比，国家的最先进的方法在无监督的图像到图像的翻译，领域自适应，对象变形。
2021-03-01 cs.CV
One-to-one Mapping for Unpaired Image-to-image Translation
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Siemens Healthineers（西门子医疗）；Rutgers University（罗格斯大学）
最近，图像到图像的翻译在文献中引起了极大的兴趣，从生成对抗网络（GAN）的成功使用开始，到循环约束的引入，再到扩展到多个域。然而，在现有的方法中，不能保证两个图像域之间的映射是唯一的或一对一的。在这里，我们提出了一个自逆网络学习方法的不成对的图像到图像的翻译。在CycleGAN的基础上，我们通过在训练过程中交换输入和输出来简单地增加训练样本，并对每个映射方向进行单独的循环一致性损失来学习自反函数。这种学习的结果是经过验证的一对一映射函数。我们在各种数据集上进行了广泛的实验，包括跨模态医学图像合成，对象变形和语义标记，这些实验在定性和定量方面都证明了CycleGAN方法的明显改进。特别是我们所提出的方法达到了国家的最先进的结果城市景观基准数据集的标签照片不成对的方向性图像的翻译。
2020-01-15 cs.AI cs.CV cs.LG
Semi Few-Shot Attribute Translation
Fraunhofer ITWM（弗劳恩霍夫工业数学研究所）；University of Heidelberg（海德堡大学）；Fraunhofer Center Machine Learning（弗劳恩霍夫机器学习中心）；Offenburg University（奥芬堡大学）
最近的研究表明，显着的成功，图像到图像的属性转移应用程序的翻译。然而，大多数现有的方法都是基于深度学习的，并且需要大量的标记数据来产生良好的结果，因此限制了它们的适用性。同样，元学习的最新进展已经导致了有限可用数据的成功实现，允许所谓的少样本学习。在本文中，我们通过提出一种基于GANs的新方法来解决监督方法的这一限制。这些都是以元训练的方式训练的，这允许它们使用来自新目标类的几个标记样本来执行图像到图像的翻译。这项工作经验性地证明了训练GAN进行头发颜色属性合成任务的Few Shot图像到图像翻译的潜力，为进一步研究生成式迁移学习打开了大门。
2019-10-16 cs.CV
Transformation Consistency Regularization- A Semi-Supervised Paradigm for Image-to-Image Translation
University of Cambridge（剑桥大学）
标记数据的稀缺性促使半监督学习方法的发展，该方法从大部分未标记数据以及少量标记样本中学习。一致性在不同输入扰动下模型预测之间的正则化，特别是已经证明可以在半监督框架中提供最先进的结果。然而，这些方法中的大多数已被限制在分类和分割应用。我们提出了变换一致性正则化，它深入研究了更具挑战性的图像到图像的翻译设置，这仍然是半监督算法尚未探索的。该方法引入了一组不同的几何变换，并强制模型对未标记数据的预测对这些变换保持不变。我们评估了我们的算法在三个不同的应用程序：图像着色，去噪和超分辨率的功效。我们的方法具有显著的数据效率，只需要大约10 - 20%的标记样本就可以实现与完全监督对应的图像重建。此外，我们展示了我们的方法在视频处理应用中的有效性，其中可以利用来自几帧的知识来提高电影其余部分的质量。
2020-07-15 cs.CV
Enabling 24-hour Agricultural Robotics: Unsupervised Day-to-Night Cross-Modal Image Translation for Nighttime Visual Navigation
LaSER Lab, Kennesaw State University（激光实验室，肯尼索州立大学）；Lincoln Institute for Agri-Food Technology, University of Lincoln（林肯农业食品技术研究所，林肯大学）
该研究针对农业机器人夜间视觉导航中大规模标注图像数据集难获取的问题，提出无监督图像翻译框架，整合CLIP模型并引入可见性掩码，复用白天语义标签训练模型，经实验验证提升了图像质量和下游语义分割性能。
2026-07-15 cs.AI cs.CV cs.RO
Image-to-image Translation as a Unique Source of Knowledge
Thales Alenia Space（泰雷兹阿莱尼亚宇航公司）
图像到图像（I2 I）转换是将数据从一个域转换到另一个域的既定方式，但是当与诸如SAR/光学卫星图像的不同域一起工作时，转换的图像在目标域中的可用性以及原始域中有多少被转换到目标域仍然不够清楚。本文通过使用最先进的不同I2 I算法将标记数据集从光学域转换到SAR域来解决这个问题，从目标域中的传输特征中学习，然后评估从原始数据集中传输了多少。除此之外，堆叠被提出作为一种结合从不同的I2 I翻译中学习到的知识并针对单个模型进行评估的方式。
2021-12-09 cs.AI cs.CV cs.LG
LANIT: Language-Driven Image-to-Image Translation for Unlabeled Data
Korea University（高丽大学）；UNIST（蔚山科学技术院）；Yonsei University（延世大学）
本文提出 LANIT，利用文本候选属性与图像相似度为无标注数据构建多热领域标签，并结合提示学习和领域正则化损失，实现语言指定的多属性图像翻译。
2023-04-24 cs.AI cs.CV
Quality-aware Unpaired Image-to-Image Translation
Hefei University of Technology（合肥工业大学）
生成对抗网络（GANs）已被广泛用于图像到图像的翻译任务。虽然这些模型严重依赖于标记的图像对，但最近已经提出了一些GAN变体来解决未配对的图像翻译任务。这些模型利用了域级别的监督，并对未配对的图像翻译进行了重建。另一方面，并行工作已经表明，利用基于高级深度特征的感知损失函数可以增强所生成的图像质量。然而，由于这些基于GAN的模型要么依赖于预训练的深度网络结构，要么依赖于标记的图像对，因此它们不能直接应用于未配对的图像翻译任务。此外，尽管从深度神经网络引入的感知损失得到了改善，但很少有研究人员探索从经典图像质量测量改善生成的图像质量的可能性。为了解决上述两个挑战，在本文中，我们提出了一个统一的基于质量感知GAN的框架，用于不成对的图像到图像的翻译，其中通过在域级别比较每个源图像和重建图像来明确地引入质量感知损失。具体来说，我们设计了质量损失的两个详细实现。第一种方法是基于一个经典的图像质量评估措施，通过定义一个经典的质量感知损失。第二种方法提出了一种基于自适应深度网络的损失。最后，在许多真实世界数据集上的大量实验结果清楚地表明了我们提出的框架的质量改进，以及与基于深度网络的模型相比，利用经典图像质量度量进行未配对图像翻译的优越性。
2019-03-15 cs.CV
Harmonic Unpaired Image-to-image Translation
Google Cloud AI（谷歌云人工智能）；Chinese Academy of Sciences（中国科学院）
不成对图像到图像转换的最近方向一方面是非常令人兴奋的，因为它减轻了获得标签密集型像素到像素监督的巨大负担，但另一方面，由于存在伪影和退化变换，它并不完全令人满意。在本文中，我们采取了多方面的观点的问题，通过引入一个光滑项的样本图，以获得调和函数，以执行一致的映射过程中的翻译。我们开发了HarmonicGAN来学习源域和目标域之间的双向翻译。利用相似一致性，可以保持样本固有的自洽性。距离度量定义在两种类型的功能，包括直方图和CNN利用。在与CycleGAN相同的问题设置下，无需额外的手动输入，仅需少量的训练时间成本，HarmonicGAN在最新技术水平上表现出显着的定性和定量改进，以及改进的可解释性。我们在一些应用程序，包括医学成像，对象变形，语义标记的实验结果。我们在所有任务中都优于竞争方法，特别是对于医学成像任务，我们的方法将CycleGAN从失败变为成功，将均方误差减半，并在95%的情况下生成放射科医生更喜欢的图像。
2019-02-26 cs.CV
Gesture-to-Gesture Translation in the Wild via Category-Independent Conditional Maps
University of Trento（特伦托大学）；FBK（布鲁诺·凯斯勒基金会）
最近的研究表明，生成对抗网络（GANs）在图像到图像的翻译中特别有效。然而，在诸如身体姿势和手势翻译的任务中，现有方法通常需要精确的注释，例如关键点或骨架，这是耗时的绘制。在这项工作中，我们提出了一种新的GAN架构，它将所需的注释合并到一个类别标签中-指定手势类型-和一个简单的绘制类别独立的条件映射-表示手势的位置，旋转和大小。我们的架构合成的目标手势，同时保留背景上下文，从而有效地处理手势翻译在野外。为此，我们使用了注意力模块和滚动指导方法，将生成的图像循环回网络，并产生比竞争作品更高质量的图像。因此，我们的GAN学会从简单的注释生成新图像，而不需要关键点或骨架标签。在两个公共数据集上的结果表明，我们的方法在定量和定性上都优于最先进的方法。据我们所知，到目前为止，还没有任何工作通过要求用户友好的注释来解决野外的手势到手势翻译。
2019-07-31 cs.CV cs.MM
Mocycle-GAN: Unpaired Video-to-Video Translation
University of Science and Technology of China（中国科学技术大学）；JD AI Research（京东人工智能研究院）
无监督图像到图像翻译是在没有任何成对训练样本的情况下将图像从一个域翻译到另一个域的任务，并且倾向于更适用于实际应用。然而，这种合成从图像到图像到视频到视频的扩展并不是微不足道的，特别是在捕获视频中的时空结构时。困难源于这样的方面，即不仅在每个帧中的视觉外观，而且连续帧之间的运动应该是真实的和一致的跨变换。这促使我们探索视频合成中的外观结构和时间连续性。在本文中，我们提出了一个新的运动引导循环GAN，被称为Mocycle-GAN，新颖地将运动估计集成到不成对的视频翻译。从技术上讲，MoCycle-GAN利用了三种类型的约束：区分合成帧和真实帧的对抗性约束，鼓励帧和运动的逆平移的循环一致性，以及验证连续帧之间运动传输的运动平移。视频到标签和标签到视频翻译进行了广泛的实验，并报告了优越的结果相比，国家的最先进的方法。更值得注意的是，我们定性地展示了我们的Moycle-GAN的花到花和环境条件转移。
2019-08-26 cs.CV cs.MM
Nighttime Thermal Infrared Image Colorization with Feedback-based Object Appearance Learning
University of Electronic Science and Technology of China（电子科技大学）；Naval Medical Center of PLA（中国人民解放军海军医学中心）
针对夜间热红外转白天彩色图像任务中小物体转换性能不足的问题，提出结合反馈式物体外观学习的生成对抗网络FoalGAN，通过引入遮挡感知mixup模块、外观一致性损失、交通灯外观损失及双重反馈学习策略，有效提升了小物体的真实感、语义保留与边缘一致性。
2023-10-24 cs.CV
Show, Attend and Translate: Unpaired Multi-Domain Image-to-Image Translation with Visual Attention
Shanghai Jiao Tong University（上海交通大学）
近年来，不成对多域图像到图像的翻译引起了人们的极大兴趣，并取得了显著的进展，其中使用标签向量来表示多域信息。在本文中，我们提出了SAT（Show，Attend and Translate），这是一个统一的、可解释的生成对抗网络，配备了视觉注意力，可以为多个领域执行不成对的图像到图像的翻译。通过引入一个动作向量，我们把原来的翻译任务的算术加法和减法的问题。应用视觉注意力来保证只有与目标域相关的区域被翻译。在面部属性数据集上的大量实验证明了我们方法的优越性，生成的注意力掩模更好地解释了SAT在翻译图像时的注意力。
2019-04-08 cs.CV
A Style-aware Discriminator for Controllable Image Translation
Pohang University of Science and Technology (POSTECH)（浦项科技大学）
目前的图像到图像的转换不能控制训练过程中使用的类之外的输出域，也不能很好地在不同域之间插值，从而导致令人难以置信的结果。这种限制主要是因为标签不考虑语义距离。为了缓解这些问题，我们提出了一个风格感知的评论家，以及作为一个风格编码器提供的条件。风格感知的生成器使用基于原型的自监督学习学习可控的风格空间，同时指导生成器。在多个数据集上的实验验证了该模型优于当前最先进的图像到图像的翻译方法。与现有方法相比，该方法支持多种应用，包括风格插值、内容移植和局部图像翻译。
2022-03-29 cs.CV
Semi-Supervised Image-to-Image Translation using Latent Space Mapping
University of Science and Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）
由于捕获或标记大量成对数据的昂贵成本，最近的图像到图像翻译工作已经从监督设置转移到无监督设置。然而，目前使用循环一致性约束的无监督方法可能无法找到所需的映射，特别是对于困难的翻译任务。另一方面，通常可以访问少量的成对数据。因此，我们介绍了半监督图像翻译的一般框架。与以前的作品不同，我们的主要思想是在潜在特征空间而不是图像空间上学习翻译。由于低维特征空间，更容易找到所需的映射函数，从而提高了翻译结果的质量以及翻译模型的稳定性。从经验上讲，我们表明，使用特征转换生成更好的结果，即使使用几位配对数据。与最先进的方法的实验比较证明了所提出的框架在各种具有挑战性的图像到图像翻译任务上的有效性
2022-03-29 cs.CV
DANNet: A One-Stage Domain Adaptation Network for Unsupervised Nighttime Semantic Segmentation
University of South Carolina（南卡罗来纳大学）；Farsee2 Technology Ltd（远见2科技有限公司）
夜间图像的语义分割在自动驾驶中扮演着与白天图像同样重要的角色，但由于光照条件差和人工注释繁琐，夜间图像的语义分割更具挑战性。在本文中，我们提出了一种新的领域自适应网络（DANNet）的夜间语义分割，而不使用标记的夜间图像数据。它使用带有标记的白天数据集和包含粗略对齐的昼夜图像对的未标记数据集进行对抗训练。具体来说，对于未标记的昼夜图像对，我们使用白天图像上的静态对象类别的像素级预测作为伪监督来分割其对应的夜间图像。我们进一步设计了一种重新加权策略来处理昼夜图像对之间的不对齐和白天图像的错误预测所造成的不准确性，以及提高小物体的预测精度。建议的DANNet是第一个一阶段的适应框架，夜间语义分割，不训练额外的昼夜图像传输模型作为一个单独的预处理阶段。在Dark Zurich和Nighttime Driving数据集上的大量实验表明，该方法在夜间语义分割方面具有最先进的性能。
2021-04-22 cs.CV
Night-to-Day Image Translation for Retrieval-based Localization
ETH Zürich（苏黎世联邦理工学院）；Chalmers University of Technology（查尔姆斯理工大学）；Microsoft（微软）；KU Leuven（鲁汶大学）
视觉定位是许多机器人管道中的关键步骤，允许机器人（近似）确定其在世界上的位置和方向。一个有效的和可扩展的方法来视觉定位是使用图像检索技术。这些方法识别与地理标记图像的数据库中的查询照片最相似的图像，并且经由检索到的数据库图像的姿态来近似查询的姿态。然而，即使在这个强大的神经模型时代，在完全不同的光照条件下（例如白天和黑夜）进行图像检索仍然是一个结果不令人满意的问题。这是由于缺乏具有真正对应关系的适当多样的数据集来执行端到端学习。最近的一类神经模型允许在视觉域之间逼真地转换图像，而相对较少的训练数据，最重要的是，没有地面实况配对。在本文中，我们探讨的任务，准确地定位图像从两个遍历同一地区在白天和黑夜。我们提出了ToDayGAN -一个修改后的图像转换模型，将夜间驾驶图像转换为更有用的白天表示。然后，我们比较白天和翻译的夜间图像，以获得一个姿态估计的夜间图像使用已知的6自由度位置的最接近的白天图像。在多个类别的标准度量的背景下，与当前最先进的方法相比，我们的方法将本地化性能提高了250%以上。
2019-03-04 cs.CV
LoopDA: Constructing Self-loops to Adapt Nighttime Semantic Segmentation
Technical University of Munich（慕尼黑工业大学）；Huawei Munich Research Center（华为慕尼黑研究中心）；ETH Zurich（苏黎世联邦理工学院）；Peking University（北京大学）
由于缺乏训练标签和注释困难，应对夜间等恶劣驾驶条件对自动驾驶汽车的感知系统提出了巨大挑战。因此，适应知识从一个标记的白天域到一个未标记的夜间域已被广泛研究。除了标记的白天数据集之外，现有的夜间数据集通常提供具有在附近位置处捕获的对应的白天参考图像的夜间图像以供参考。关键的挑战是最小化两个域之间的性能差距。在本文中，我们提出了LoopDA域自适应夜间语义分割。它由自循环组成，这些自循环导致使用预测的语义映射通过将输入数据渲染成编码的特征来重建输入数据。在预热训练阶段，自循环包括内环和外环，它们分别负责域内细化和域间对齐。为了减少昼夜姿势偏移的影响，在后期的自我训练阶段，我们提出了一个涉及离线伪监督信号和在线参考引导信号“DNA”（昼夜协议）的联合教学管道，为增强夜间分割带来了实质性的好处。我们的模型在Dark Zurich和Nighttime Driving数据集上的语义分割性能优于先前的方法。代码和预训练模型可在https://github.com/fy-vision/LoopDA上获得。
2022-11-21 cs.CV
See Clearer at Night: Towards Robust Nighttime Semantic Segmentation through Day-Night Image Conversion
State Key Laboratory of Modern Optical Instrumentation, Zhejiang University, China（中国浙江大学现代光学仪器国家重点实验室）
目前，语义分割在光照条件较好的白天场景等标准场景中表现出了显著的效率和可靠性。然而，在夜间等恶劣条件下，语义分割的准确性会大大降低。问题的主要原因之一是缺乏足够的夜间场景的注释分割数据集。在本文中，我们提出了一个框架，以减轻准确性下降时，语义分割采取不利条件下使用生成对抗网络（GANs）。为了桥接白天和夜间图像域，我们进行了关键观察，与不利条件下的数据集相比，标准条件下有相当数量的分割数据集，如BDD和我们收集的ZJU数据集。我们基于GAN的夜间语义分割框架包括两种方法。在第一种方法中，使用GANs将夜间图像转换为白天，因此可以使用已经在白天数据集上训练的鲁棒模型执行语义分割。在另一种方法中，我们使用GANs将数据集中不同比例的白天图像转换为夜间图像，但仍然带有标签。从这个意义上说，可以生成合成的夜间分割数据集，以产生准备在夜间条件下稳健操作的模型。在我们的实验中，后一种方法显着提高了夜间的性能，这一点通过使用交集超过并集（IoU）和像素精度（Acc）的定量结果得到了证明。我们表明，性能随数据集中合成夜间图像的比例而变化，其中最佳点对应于白天和夜晚的最稳健性能。
2019-08-16 cs.CV
NPSim: Nighttime Photorealistic Simulation From Daytime Images With Monocular Inverse Rendering and Ray Tracing
Department of Information Technology and Electrical Engineering（信息技术与电气工程系）
本文提出 NPSim 方法，通过单目逆渲染与光线追踪从日间图像生成逼真夜间图像，重点实现并评估网格重建组件，并规划了定量与感知实验以验证其在自动驾驶语义分割中的价值。
2025-03-10 cs.CV cs.GR
Guided Curriculum Model Adaptation and Uncertainty-Aware Evaluation for Semantic Nighttime Image Segmentation
ETH Zürich（苏黎世联邦理工学院）；KU Leuven（鲁汶大学）
语义分割的大多数进展报告在有利的光照条件下拍摄的白天图像。相反，我们解决了夜间图像的语义分割的问题，并提高了国家的最先进的，通过适应白天的模型，夜间不使用夜间注释。此外，我们设计了一个新的评估框架，以解决大量的不确定性，在夜间图像的语义。我们的主要贡献是：1）一个课程框架，通过标记的合成图像和未标记的真实图像，从白天到晚上逐渐适应语义分割模型，两者都是针对一天中逐渐变暗的时间，其利用真实图像的跨时间对应来指导它们的标签的推断; 2）一种新的不确定性感知的语义分割的注释和评估框架和度量，设计用于不利条件，并以原则性的方式在评估中包括超出人类识别能力的图像区域; 3）Dark Zurich数据集，其包括2416个未标记的夜间图像和2920个未标记的黄昏图像，其对应于它们的白天对应物，加上一组151个夜间图像，精细的像素级注释创建与我们的协议，作为第一个基准来执行我们的新的评估。实验表明，我们的指导课程适应显着优于国家的最先进的方法对真正的夜间集的标准指标和我们的不确定性感知度量。此外，我们的不确定性感知评估表明，选择性失效的预测可以导致更好的结果与模糊的内容，如我们的夜间基准和利润安全为导向的应用程序，涉及无效的输入数据。
2019-07-26 cs.CV
Map-Guided Curriculum Domain Adaptation and Uncertainty-Aware Evaluation for Semantic Nighttime Image Segmentation
ETH Zürich（苏黎世联邦理工学院）；KU Leuven（鲁汶大学）
我们解决了语义夜间图像分割的问题，并提高了国家的最先进的，适应白天的模型，夜间不使用夜间注释。此外，我们设计了一个新的评估框架，以解决大量的不确定性，在夜间图像的语义。我们的主要贡献是：1）一个课程框架，通过一天中逐渐变暗的时间，从白天到夜晚逐渐适应语义分割模型，利用来自参考地图的白天图像和暗图像之间的跨时间对应关系来指导暗域中的标签推断; 2）一种新的不确定性感知的语义分割的注释和评估框架和度量，以原则性的方式在评估中包括超出人类识别能力的图像区域; 3）Dark Zurich数据集，包括2416个未标记的夜间图像和2920个未标记的微光图像，其对应于它们的白天对应物，加上一组201个夜间图像，像素级注释创建与我们的协议，这是我们的小说评价的第一个基准。实验表明，我们的地图引导的课程自适应显着优于国家的最先进的方法在夜间集的标准指标和我们的不确定性感知度量。此外，我们的不确定性感知评估表明，选择性失效的预测可以改善结果的数据具有模糊的内容，如我们的基准和利润安全为导向的应用程序，涉及无效的输入。
2021-01-07 cs.CV
Gloss2Text: Sign Language Gloss translation using LLMs and Semantically Aware Label Smoothing
George Mason University（乔治梅森大学）
针对手语Gloss2Text翻译任务，提出结合预训练LLMs、数据增强与语义感知标签平滑损失的改进方法，在PHOENIX Weather 2014T数据集上超越现有最优性能。
2024-07-12 cs.CL cs.CV cs.LG
Night-to-Day Translation via Illumination Degradation Disentanglement
Northwestern Polytechnical University（西北工业大学）；Shanghai AI Laboratory（上海人工智能实验室）
本文提出N2D3方法，通过物理先验引导的退化解耦模块和退化感知对比学习策略，识别夜间图像中不同退化模式，在恢复白天域信息的同时保持语义一致性，显著提升视觉质量并有利于下游任务。
2024-11-21 cs.CV
Nighttime Stereo Depth Estimation using Joint Translation-Stereo Learning: Light Effects and Uninformative Regions
National University of Singapore（新加坡国立大学）；DSO National Laboratories（新加坡国防科技研究院）；Yale-NUS College（耶鲁-新加坡国立大学学院）
夜间立体声深度估计仍然具有挑战性，因为与日间照明条件相关联的假设不再成立。夜间不仅是低光和密集的噪声，而且是辉光/眩光，耀斑，光的非均匀分布等可能的解决方案之一是训练网络上的夜间立体图像在一个完全监督的方式。然而，要获得密集的、独立于眩光/辉光并且具有足够远的深度范围的适当视差地面实况是极其棘手的。为了解决这个问题，我们介绍了一个网络加入白天/夜间翻译和立体声。在训练网络时，我们的方法不需要夜间图像或成对的白天/夜间图像的地面真实差异。我们利用一个翻译网络，可以从白天立体图像渲染逼真的夜间立体图像。然后，我们使用来自对应的日间立体图像的可用视差监督，在渲染的夜间立体图像上训练立体网络，并且同时也训练日/夜转换网络。我们处理由于无监督/未配对翻译而发生的伪深度问题，用于灯光效果（例如，辉光/眩光）和无信息区域（例如，低光和饱和区域），通过添加结构保持和加权平滑度约束。实验结果表明，该方法在夜间图像上的性能优于基线方法。
2020-10-09 cs.CV
