GenRadar: Self-supervised Probabilistic Camera Synthesis based on Radar Frequencies
Ulm University（乌尔姆大学）
自主系统需要持续可靠的环境感知来进行导航和决策，这最好通过组合不同类型的传感器来实现。雷达在摄像机受损的情况下继续稳健地运行，保证了信息的稳定流入。然而，相机图像提供了一个更直观和更容易适用的世界印象。这项工作结合了两种传感器类型的互补优势，在一个独特的自学习融合方法的概率场景重建在不利的环境条件。在通过解耦随机自监督压缩技术降低了两个高维测量的内存需求后，所提出的算法利用相似性，并在训练过程中在不同的特征级别上建立两个域之间的对应关系。然后，在推理时，完全依赖于无线电频率，该模型连续预测相机成分的自回归和自包含的过程。这些离散的标记最终被转换回各自周围环境的指导性视图，从而可以直观地感知下游重要任务的潜在危险。
2021-07-19 cs.CV cs.LG
Density-aware Haze Image Synthesis by Self-Supervised Content-Style Disentanglement
Xi’an Jiaotong University（西安交通大学）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Tsinghua University（清华大学）
通过对抗训练进行haze图像翻译的关键过程在于将只参与haze合成的特征i.e.style特征与代表不变语义内容的特征即内容特征之间的纠缠解开。以往的方法都是在训练过程中利用内容特征对雾霾图像进行分类，从而将内容特征分离出来。然而，在本文中，我们认识到在这样的技术例程的内容风格的解开的不完整性。有缺陷的风格特征与内容信息纠缠在一起，不可避免地会导致雾霾图像的渲染效果不佳。为了解决这个问题，我们提出了一种自监督的风格回归方法，通过随机线性插值来减少风格特征中的内容信息。烧蚀实验证明了解缠的完整性及其在层次感知雾霾图像合成中的优越性。此外，生成的雾霾数据被应用于车辆检测器的测试泛化。进一步研究了雾霾对车辆检测器性能的影响，结果表明，雾霾对车辆检测器的泛化能力有明显的影响，且检测器的泛化能力下降程度与雾霾程度呈线性相关，从而验证了该方法的有效性。
2021-11-25 cs.CV cs.LG
Where is the disease? Semi-supervised pseudo-normality synthesis from an abnormal image
George Mason University（乔治梅森大学）
伪正常合成，其通过计算从异常图像生成伪正常图像（例如，具有病变）在从病变检测、数据增强到临床手术建议的许多方面都是关键的。然而，在缺乏病变信息的情况下生成高质量的伪正常图像具有挑战性。因此，引入了昂贵的病变分割数据来为生成模型提供病变信息并提高合成图像的质量。在本文中，我们的目标是减轻需要大量的病变分割数据时，产生伪正常图像。我们提出了一个半监督医学图像生成学习网络（SMILE），它不仅利用有限的医学图像与分割掩模，但也利用大量的医学图像没有分割掩模，以产生逼真的伪正常图像。大量的实验表明，我们的模型优于最好的国家的最先进的模型高达6%的数据增强任务和3%，在生成高质量的图像。此外，所提出的半监督学习实现可比的医学图像合成质量与监督学习模型，使用只有50的分割数据。
2021-06-24 cs.CV cs.LG eess.IV
From Zero-shot Learning to Conventional Supervised Classification: Unseen Visual Data Synthesis
University of Sheffield（谢菲尔德大学）；University of East Anglia（东英吉利大学）；University of Electronic Science and Technology of China（电子科技大学）；Tsinghua University（清华大学）；Northumbria University（诺森比亚大学）
鲁棒的目标识别系统通常依赖于从大量真实图像中提取强大的特征提取机制。然而，在许多实际应用中，为不断增长的新类收集足够的图像是无法实现的。在本文中，我们提出了一个新的零样本学习（Zero-shot learning，简称ZRL）框架，它可以在不获取真实图像的情况下为看不见的类合成视觉特征。使用建议的看不见的视觉数据合成（UVDS）算法，语义属性被有效地利用作为一个中间线索，在训练阶段合成看不见的视觉特征。在此之后，将人脸识别转换为传统的监督问题，即合成的视觉特征可以直接馈送到典型的分类器，如SVM。在四个基准数据集上，我们展示了使用合成的看不见的数据的好处。大量的实验结果表明，我们提出的方法显着提高国家的最先进的结果。
2017-05-04 cs.CV
Self-Supervised Equivariant Scene Synthesis from Video
NYU（纽约大学）；NVidia（英伟达）；Technical University of Berlin（柏林工业大学）；Google（谷歌）
我们提出了一个自我监督的框架来学习场景表示从视频自动划定为背景，人物，和他们的动画。我们的方法利用了移动字符是等变的，相对于他们的跨帧的变换和背景是恒定的，相对于相同的变换。经过训练后，我们可以实时的操纵图像编码，以创建所描绘的组件的不可见组合。据我们所知，我们是第一个对可解释的背景、角色和动画进行无监督提取和合成的方法。我们在三个数据集上展示了结果：移动MNIST背景，2D视频游戏精灵和时尚建模。
2021-02-01 cs.CV
Self-Supervised Object Detection via Generative Image Synthesis
Heidelberg University（海德堡大学）；University of Bath（巴斯大学）；NVIDIA（英伟达）
我们提出了SSOD，这是第一个端到端的分析合成框架，具有可控的GANs，用于自监督目标检测任务。我们使用真实世界的图像没有限界框注释的集合来学习合成和检测对象。我们利用可控的GANs来合成具有预定义对象属性的图像，并使用它们来训练对象检测器。我们提出了一个紧密的端到端耦合的合成和检测网络，以最佳的训练我们的系统。最后，我们还提出了一种方法，以最佳地适应SSOD到一个预期的目标数据，而不需要标签it.For汽车检测的任务，在具有挑战性的KITTI和Cityscapes数据集，我们表明，SSOD优于现有的最先进的纯基于图像的自我监督目标检测方法Wetectron。即使不需要任何3D CAD资产，它也超越了最先进的基于渲染的方法Meta-Sim 2。我们的工作推进了自我监督目标检测领域，引入了一个成功的新范例，使用可控的基于GAN的图像合成，并显着提高了任务的基线精度。我们在https://github.com/NVlabs/SSOD上开源我们的代码。
2021-10-19 cs.CV
Zero-shot Synthesis with Group-Supervised Learning
University of Southern California（南加州大学）
灵长类动物的视觉认知优于人工神经网络，因为它能够“想象”一个视觉对象，即使是一个新引入的，在不同的属性，包括姿势，位置，颜色，纹理等，以帮助神经网络想象具有不同属性的对象，我们提出了一个家庭的目标函数，表示在组的例子，作为一种新的学习框架，我们称之为小组监督学习（GSL）。GSL允许我们将输入分解为具有可交换组件的非纠缠表示，这些组件可以重新组合以合成新的样本。例如，红色船和蓝色汽车的图像可以被分解和重组以合成红色汽车的新颖图像。我们提出了一种基于自动编码器的实现，称为组监督zero-shot合成网络（GST-Net），使用我们的学习框架进行训练，即使在训练过程中没有看到这样的例子，也可以生成高质量的红色汽车。我们在现有的基准测试中测试我们的模型和学习框架，以及我们开源的新数据集。我们定性和定量地证明了用GSL训练的GST-Net优于最先进的方法。
2021-02-16 cs.AI cs.CV cs.LG
Towards Intelligent Design: A Self-driven Framework for Collocated Clothing Synthesis Leveraging Fashion Styles and Textures
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；City University of Hong Kong（香港城市大学）
本文提出ST-Net，一种利用自监督学习从风格与纹理属性外推兼容规则、无需成对服装即可合成搭配服装的生成对抗网络，并构建大规模数据集，实验证明其在视觉真实性和时尚兼容性上超越现有基线。
2025-01-23 cs.CV
Intelligent Railway Foreign Object Detection: A Semi-supervised Convolutional Autoencoder Based Method
Virginia Polytechnic Institute and State University（弗吉尼亚理工学院暨州立大学）
铁路上异物的自动检测和检测对于铁路运输安全非常重要，因为它有助于防止潜在的事故和列车脱轨。现有的大多数基于视觉的方法都集中在检测前面的入侵对象与先验标签，如类别和位置的对象。事实上，不明类别的异物随时可能出现在铁轨上。在本文中，我们开发了一个基于半监督卷积自动编码器的框架，该框架只需要铁路轨道图像，而无需在训练过程中对异物进行先验知识。它由三个不同的模块组成，一个瓶颈特征生成器作为编码器，一个摄影图像生成器作为解码器，以及一个通过对抗学习开发的重建算法。在所提出的框架中，通过比较输入图像和重建图像以及基于重建误差设置阈值来解决检测异物的存在、位置和形状的问题。所提出的方法进行了评估，通过综合研究，在不同的性能标准。结果表明，该方法优于一些著名的基准测试方法。所提出的框架对于通过训练物联网（IoT）系统进行数据分析是有用的
2021-08-05 cs.CV
RayDer: Scalable Self-Supervised Novel View Synthesis from Real-World Video
Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心 (MCML)）
提出统一前馈变压器RayDer，将相机估计、场景重建和渲染整合为单一骨干，实现自监督新视角合成的可扩展幂律缩放，在零样本开放集性能上媲美有监督方法。
2026-05-29 cs.AI cs.CV cs.LG
TReViS: Temporal Repetition Structure Aware Video Synthesis for Self-supervised Repetitive Action Counting
AIGO Unit, Istituto Italiano di Tecnologia（意大利技术研究院AIGO单元）；Department of Computer Science, University of Verona（维罗纳大学计算机科学系）；University of Genoa（热那亚大学）
提出TReViS，一种利用时间自相似矩阵估计重复结构并合成伪标签视频的自监督框架，无需标签即可训练重复动作计数模型，性能媲美监督方法。
2026-09-22 cs.CV
Self-Supervised Image-to-Text and Text-to-Image Synthesis
Indian Institute of Technology Patna（印度理工学院巴特那分校）
全面理解视觉和语言及其相互关系对于认识这些模式之间的潜在相似性和差异以及学习更普遍、更有意义的表征至关重要。近年来，大多数与文本到图像合成和图像到文本生成相关的工作都集中在有监督的生成深度架构上来解决这些问题，其中很少有兴趣学习跨模态嵌入空间之间的相似性。在本文中，我们提出了一种新的基于自监督深度学习的方法来学习跨模态嵌入空间;用于图像到文本和文本到图像生成。在我们的方法中，我们首先使用基于StackGAN的自动编码器模型获得图像的密集矢量表示，并使用基于LSTM的文本自动编码器获得图像级的密集矢量表示;然后我们使用GAN和基于最大均值差异的生成网络研究从一种模态的嵌入空间到另一种模态的嵌入空间的映射。我们还证明了我们的模型可以从图像数据中学习生成文本描述，以及从文本数据中定性和定量生成图像。
2021-12-09 cs.CL cs.CV cs.LG
True Self-Supervised Novel View Synthesis is Transferable
Adobe, PlayStation（Adobe公司、PlayStation）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
本文提出XFactor，首个无需几何的自监督模型，实现真正的新视角合成并通过无约束潜在姿态变量实现可迁移性。
2026-03-05 cs.AI cs.CV cs.LG
Self-Supervised Ultrasound to MRI Fetal Brain Image Synthesis
University of Oxford（牛津大学）
胎儿脑磁共振成像（MRI）提供了发育中的大脑的精美图像，但不适合中期妊娠异常筛查，超声（US）被采用。虽然专业的超声医师擅长阅读US图像，但与解剖图像非常相似的MR图像对于非专家来说更容易解释。因此，在本文中，我们建议直接从临床US图像生成MR样图像。在医学图像分析中，这种能力也可能有用，例如用于自动US-MRI配准和融合。所提出的模型是端到端的可训练和自我监督的，无需任何外部注释。具体而言，基于US和MRI数据共享相似的解剖潜在空间的假设，我们首先利用网络来提取共享的潜在特征，然后将其用于MRI合成。由于我们的研究无法获得配对数据（在实践中也很少见），因此像素级约束是不可行的。相反，我们建议通过图像域和特征空间中的对抗学习来强制分布在统计上不可区分。为了在合成过程中规范US和MRI之间的解剖结构，我们进一步提出了对抗性结构约束。提出了一种新的跨模态注意技术，通过鼓励多模态知识融合和传播来利用非局部空间信息。我们扩展该方法以考虑3D辅助信息（例如，3D邻居和3D位置索引）也是可用的，并且表明这改进了图像合成。所提出的方法进行了定量和定性评估比较，真正的胎儿MR图像和其他方法的合成，证明其合成逼真的MR图像的可行性。
2020-08-19 cs.CV cs.LG eess.IV
Self-Supervised Tracking via Target-Aware Data Synthesis
Peng Cheng Laboratory（鹏城实验室）；Dalian University of Technology（大连理工大学）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；University of California at Merced（加州大学默塞德分校）
虽然基于深度学习的跟踪方法已经取得了实质性进展，但它们需要大规模和高质量的注释数据来进行充分的训练。为了消除昂贵和详尽的注释，我们研究了视觉跟踪的自监督学习。在这项工作中，我们开发的裁剪变换粘贴操作，这是能够合成足够的训练数据，通过模拟跟踪过程中的各种外观变化，包括外观变化的对象和背景干扰。由于目标状态在所有合成数据中都是已知的，因此可以使用合成数据以常规方式训练现有的深度跟踪器，而无需人工注释。所提出的目标感知的数据合成方法适应现有的跟踪方法内的自监督学习框架，而无需算法的变化。因此，所提出的自监督学习机制可以无缝地集成到现有的跟踪框架中以执行训练。大量的实验表明，我们的方法1）在有限注释的情况下，与监督学习方案相比，具有良好的性能; 2）由于其可操作性，有助于处理各种跟踪挑战，如对象变形，遮挡或背景杂波; 3）与最先进的无监督跟踪方法相比，具有良好的性能; 4）提升各种最先进的监督学习框架的性能，包括SiamRPN++、DiMP和TransT。
2022-12-30 cs.CV
Self-supervised Light Field View Synthesis Using Cycle Consistency
Trinity College Dublin（都柏林圣三一学院）
高的角分辨率对于光场的实际应用是有利的。为了提高光场的角分辨率，可以利用视图合成方法从稀疏光场输入生成密集中间视图。大多数成功的视图合成方法都是基于学习的方法，需要大量的训练数据和地面真值。然而，与自然图像或视频相比，为光场收集如此大的数据集是具有挑战性的。为了解决这个问题，我们提出了一个具有周期一致性的自监督光场视图合成框架。所提出的方法旨在将从高质量自然视频数据集中学习到的先验知识转移到光场视图合成任务中，从而减少了对标记光场数据的需求。使用循环一致性约束来建立双向映射，强制生成的视图与输入视图一致。从这一关键概念出发，使用两个损失函数（循环损失和重建损失）对最先进的视频插值方法的预训练模型进行微调。在各种数据集上对所提出的方法进行了评估，以验证其鲁棒性，结果表明，与监督微调相比，它不仅具有竞争力的性能，而且优于最先进的光场视图合成方法，特别是在生成多个中间视图时。此外，我们的通用光场视图合成框架可以适用于任何预先训练的模型，用于高级视频插值。
2020-08-12 cs.CV eess.IV
From None to All: Self-Supervised 3D Reconstruction via Novel View Synthesis
Imperial College London（帝国理工学院）
提出NAS3R框架，通过自监督学习从无标注图像中联合估计3D几何和相机参数，利用新视角合成进行训练，无需真实标注或预训练先验。
2026-06-02 cs.CV
On the Sins of Image Synthesis Loss for Self-supervised Depth Estimation
Johns Hopkins University（约翰霍普金斯大学）
从立体和单目图像中进行场景深度估计对于提取用于下游任务（诸如场景理解）的3D信息是至关重要的。近年来，基于学习的深度估计方法由于其高性能和硬件选择的灵活性而受到广泛关注。然而，收集用于这些算法的监督训练的地面实况数据是昂贵的或完全不可能的。这种情况表明，需要替代的学习方法，不需要相应的深度测量。事实上，深度估计的自监督学习提供了一种越来越受欢迎的替代方案。它基于这样的想法，即如果场景的准确深度是已知的，或者在这种情况下是估计的，则可以从相邻帧合成观察到的帧。我们的经验表明，与普遍的信念相反，在图像合成的改进并不一定改善深度估计。相反，针对图像合成的优化可能导致相对于主要预测目标-深度的发散性能。我们把这种分歧现象归因于数据中的任意不确定性。基于我们对四个数据集（跨越街道，室内和医疗）和五个架构（单眼和立体）的实验，我们得出结论，这种发散现象与数据集域无关，并且不能通过常用的正则化技术来缓解。为了强调这一发现的重要性，我们包括一个调查的方法，使用图像合成，在过去的六年中，共127篇论文。这种观察到的差异以前没有被报道或深入研究，这表明未来自我监督方法的改进空间可能会影响这一发现。
2021-10-10 cs.CV
VisionNVS: Self-Supervised Inpainting for Novel View Synthesis under the Virtual-Shift Paradigm
Shanghai Jiao Tong University（上海交通大学）；Hohai University（河海大学）；COWARobot Co. Ltd.（COWARobot有限公司）
本文提出VisionNVS，通过引入虚拟位移策略，将视角合成问题转化为自监督补全任务，利用单目深度代理模拟遮挡模式，提升自动驾驶中新型视角合成的几何精度和视觉质量。
2026-03-18 cs.CV
Bi-Modality Medical Image Synthesis Using Semi-Supervised Sequential Generative Adversarial Networks
提出一种基于半监督序列生成对抗网络的双模态医学图像合成方法，通过复杂度排序和联合/边缘分布学习，实现优于现有方法的合成效果。
2023-08-29 cs.CV eess.IV
Weakly-supervised High-fidelity Ultrasound Video Synthesis with Feature Decoupling
Shenzhen University（深圳大学）；Shenzhen RayShape Medical Technology Co., Ltd（深圳瑞影医疗科技有限公司）；Huizhou Central People’s Hospital（惠州市中心人民医院）
超声以其实时成像、无辐射、便携等优点被广泛应用。在临床实践中，分析和诊断通常依赖于US序列而不是单个图像来获得动态解剖信息。这对新手来说是一个挑战，因为用来自患者的足够视频进行练习在临床上是不切实际的。在本文中，我们提出了一种新的框架来合成高保真美国视频。具体地，通过基于给定驾驶视频的运动来动画化源内容图像来生成合成视频。我们的亮点有三个方面。首先，利用自监督学习和全监督学习的优点，我们提出的系统以弱监督方式进行关键点检测训练。然后，这些关键点为处理US视频中的复杂高动态运动提供重要信息。其次，我们使用双解码器来解耦内容和纹理学习，以有效地降低模型学习的难度。最后，我们采用带有GAN损失的对抗训练策略，进一步提高生成视频的清晰度，缩小真实视频与合成视频之间的差距。我们验证了我们的方法在一个大的内部骨盆数据集与高动态运动。广泛的评价指标和用户研究证明了我们所提出的方法的有效性。
2022-07-01 cs.AI cs.CV cs.LG
Anatomy-Aware Self-supervised Fetal MRI Synthesis from Unpaired Ultrasound Images
University of Oxford（牛津大学）
胎儿脑磁共振成像（MRI）提供了发育中大脑的精美图像，但不适用于异常筛查。为此，采用超声（US）。虽然专业的超声医师擅长阅读US图像，但MR图像对于非专家来说更容易解释。因此，在本文中，我们试图直接从临床US图像产生具有MRI样外观的图像。我们自己的临床动机是寻求一种方法，将US发现传达给不熟悉US的患者或临床专业人员，但在医学图像分析中，这种能力可能有用，例如，用于US-MRI配准或融合。我们的模型是自我监督和端到端可训练的。具体而言，基于US和MRI数据共享类似解剖潜在空间的假设，我们首先利用提取器来确定共享的潜在特征，然后将其用于数据合成。由于我们的研究无法获得配对数据（在实践中也很少见），我们建议通过图像域和潜在空间中的对抗学习来强制分布相似，而不是采用像素约束。此外，我们提出了一个对抗性的结构约束，在合成过程中调整两种模式之间的解剖结构。提出了一种利用非局部空间相关性的跨模态注意方案。该方法的可行性，以产生逼真的MR图像的定量证明，并与真正的胎儿MR图像相比，定性评价。
2019-09-08 cs.CV cs.LG eess.IV
WildRayZer: Self-supervised Large View Synthesis in Dynamic Environments
University of Virginia（弗吉尼亚大学）
WildRayZer通过分析-合成测试和动态环境下的自监督方法，实现了高效的多视角合成，优于现有基线。
2026-01-15 cs.CV
Frequency-Supervised MR-to-CT Image Synthesis
University of Amsterdam（阿姆斯特丹大学）；Shanghai Jiao Tong University（上海交通大学）
本文致力于从磁共振（MR）图像生成合成计算机断层摄影（CT）图像。当只有MR图像可用时，合成CT图像对于放射治疗规划是有价值的。最近的方法在解决这个具有挑战性的合成问题方面取得了很大的进展，卷积神经网络学习从MR输入到CT输出的映射。在本文中，我们发现，所有现有的方法都有一个共同的局限性：重建故障和周围的高频部分的CT图像。为了解决这个常见的限制，我们引入了频率监督深度网络来显式增强高频MR到CT图像重建。我们提出了一个频率分解层，学习将预测的CT输出分解为低频和高频分量，并引入了一个细化模块，通过高频对抗学习来改善高频重建。在45对3D MR-CT脑图像上的实验结果表明了该方法的有效性和潜力。代码可在\url{https://github.com/shizenglin/Frequency-Supervised-MR-to-CT-Image-Synthesis}上获得。
2021-07-19 cs.CV eess.IV
Hardness-Aware Scene Synthesis for Semi-Supervised 3D Object Detection
Beijing University of Posts and Telecommunications（北京邮电大学）；Tsinghua University（清华大学）；UC Berkeley（加州大学伯克利分校）
提出硬度感知场景合成方法，利用伪标签组合物体与背景生成自适应合成场景，并引入硬度策略与动态伪数据库，在KITTI和Waymo上超越现有半监督3D检测方法。
2024-05-27 cs.AI cs.CV cs.LG
Semi-Supervised Learning for Face Sketch Synthesis in the Wild
The University of Hong Kong（香港大学）；Baidu Research（百度研究院）
人脸素描合成在过去的几年里取得了很大的进展。基于深度神经网络的最新方法能够从人脸照片生成高质量的草图。然而，由于缺乏训练数据（照片-草图对），这些基于深度学习的方法都不能成功地应用于野外的人脸照片。在本文中，我们提出了一种半监督深度学习架构，该架构通过在训练中利用额外的人脸照片来扩展人脸草图合成以处理野外的人脸照片。我们不是用地面真实草图来监督网络，而是首先在输入照片和一个小的照片-草图对参考集中的照片之间的特征空间中执行补丁匹配。然后，我们组成一个伪草图特征表示使用相应的草图特征补丁来监督我们的网络。使用所提出的方法，我们可以训练我们的网络使用一个小的参考集的照片草图对连同一个大的人脸照片数据集没有地面真实草图。实验表明，我们的方法在公共基准测试和野外人脸照片上都达到了最先进的性能。代码可在https://github.com/chaofengc/Face-Sketch-Wild上获得。
2019-05-05 cs.CV
PET Synthesis via Self-supervised Adaptive Residual Estimation Generative Adversarial Network
University of Sydney（悉尼大学）
针对低剂量PET合成中的纹理结构差异及分布偏移问题，提出SS-AEGAN，通过AE-Net自适应残差校正和自监督预训练提升图像质量，并在全身PET基准上优于现有方法。
2023-10-24 cs.CV cs.LG eess.IV
Self-supervised Learning by View Synthesis
The Chinese University of Hong Kong（香港中文大学）；MEGVII Technology（旷视科技）；SmartMore（思谋科技）
本文提出面向 vision transformers 的自监督框架 VSA，通过多视图输入和姿态条件交叉注意力合成目标视图，学习空间不变表示，并在多个三维分类基准上取得优异的线性探测与微调表现。
2023-04-22 cs.CV
Self-Supervised Visibility Learning for Novel View Synthesis
Australian National University and ACRV（澳大利亚国立大学与ACRV）；University of Technology Sydney（悉尼科技大学）
我们解决的问题，新的视图合成（NVS）从一些稀疏的源视图图像。传统的基于图像的渲染方法在两个单独的步骤中估计场景几何形状并合成新视图。然而，错误的几何估计会降低NVS性能，因为视图合成高度依赖于估计场景几何的质量。在本文中，我们提出了一个端到端的NVS框架，以消除错误传播问题。具体来说，我们在目标视图下构造一个体，并设计了一个源视图可见性估计（SVE）模块来确定目标视图体素在每个源视图中的可见性。接下来，我们聚合所有源视图的可见性，以实现共识卷。一致体积中的每个体素指示表面存在概率。然后，我们提出了一种软光线投射（SRC）机制，以找到目标视图中的最前表面（即深度）。具体来说，我们的SRC沿着观察射线遍历共识体积，然后估计深度概率分布。然后，我们扭曲和聚合源视图像素合成一个新的视图的基础上估计的源视图的可见性和目标视图的深度。最后，我们的网络以端到端的自我监督方式进行训练，从而显着减轻了视图合成中的错误积累。实验结果表明，我们的方法产生更高质量的新视图相比，国家的最先进的。
2021-04-04 cs.CV
HisynSeg: Weakly-Supervised Histopathological Image Segmentation via Image-Mixing Synthesis and Consistency Regularization
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；School of Science, Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）理学院）；School of Computer Science and Technology, Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）计算机科学与技术学院）
HisynSeg通过图像混合合成与自监督一致性正则化，将组织病理图像的弱监督分割转化为全监督问题，在三个数据集上取得最先进性能。
2024-12-30 cs.AI cs.CV
SeamlessGAN: Self-Supervised Synthesis of Tileable Texture Maps
SEDDI（SEDDI 公司）；Universidad Carlos III de Madrid（马德里卡洛斯三世大学）；Universidad Rey Juan Carlos（胡安·卡洛斯国王大学）
我们提出了一种能够从单个输入样本自动生成可平铺纹理图的方法。与大多数现有的方法，只专注于解决综合问题，我们的工作解决这两个问题，合成和平铺性，同时。我们的关键思想是认识到，在使用对抗扩展技术训练的生成网络中平铺潜在空间会在接缝交叉点处产生连续性输出，然后可以通过裁剪中心区域将其转换为可平铺图像。由于不是潜在空间的每个值都能有效地产生高质量的输出，因此我们利用该值作为感知误差度量，能够在采样过程中识别无伪影的纹理。此外，与以前的工作相比，深度纹理合成，我们的模型的设计和优化工作与多层纹理表示，使纹理组成的多个地图，如纹理，法线等，我们广泛测试我们的设计选择的网络架构，损失函数和采样参数。我们定性和定量地表明，我们的方法优于以前的方法，适用于不同类型的纹理。
2022-01-13 cs.CV cs.GR cs.LG
Self-Supervised 3D Human Pose Estimation via Part Guided Novel Image Synthesis
Indian Institute of Science（印度科学学院）；Google Research（谷歌研究院）
相机捕获的人体姿势是几个变化源的结果。有监督的3D姿态估计方法的性能是以免除变化（诸如形状和外观）为代价的，这些变化可能对解决其他相关任务有用。因此，学习的模型不仅灌输了任务偏差，而且还灌输了任务偏差，因为它强烈依赖于注释的样本，这对于弱监督模型也是如此。认识到这一点，我们提出了一个自监督学习框架来解开这种变化从未标记的视频帧。我们利用先验知识的人的骨骼和构成的形式，一个单一的部分为基础的2D木偶模型，人体姿势关节约束，和一组不成对的3D姿势。我们的微分形式化，弥合了3D姿态和空间部分地图之间的代表性差距，不仅有利于发现可解释的姿态解纠缠，而且还允许我们操作不同的相机运动的视频。在野外看不见的数据集上的定性结果建立了我们在3D姿态估计和部分分割的主要任务之外的多个任务上的卓越概括。此外，我们在Human3.6M和MPI-INF-3DHP数据集上展示了最先进的弱监督3D姿态估计性能。
2020-04-09 cs.CV
CA-GAN: Weakly Supervised Color Aware GAN for Controllable Makeup Transfer
L’Oréal Research and Innovation（欧莱雅研发与创新中心）；LTCI, Télécom Paris, Institut Polytechnique de Paris（巴黎综合理工学院电信巴黎理工高等通信学院LTCI实验室）
虽然现有的化妆风格转移模型执行图像合成，其结果不能被显式地控制，但是连续修改化妆颜色的能力是虚拟试穿应用的期望属性。我们提出了一个新的配方的化妆风格转移的任务，目的是学习一个颜色可控的化妆风格合成。我们引入了CA-GAN，这是一种生成模型，可以学习将图像中特定对象（例如嘴唇或眼睛）的颜色修改为任意目标颜色，同时保留背景。由于颜色标签很少见，而且获取成本很高，因此我们的方法利用了条件GANs的弱监督学习。这使得能够学习复杂对象的可控合成，并且只需要我们想要修改的图像属性的弱代理。最后，我们首次提出了定量分析的化妆风格转移和色彩控制性能。
2020-08-24 cs.AI cs.CV cs.LG
A self-supervised cyclic neural-analytic approach for novel view synthesis and 3D reconstruction
National University of Science and Technology "Politehnica" Bucharest（布加勒斯特理工国立大学）；"Simion Stoilow" Institute of Mathematics of the Romanian Academy（罗马尼亚科学院西米翁斯托伊洛夫数学研究所）；NORCE Norwegian Research Centre AS（NORCE挪威研究中心AS公司）
针对无人机导航中新视角合成在远离训练数据区域泛化差的问题，提出一种结合神经渲染与解析几何的自监督循环流水线，利用transformer架构处理未见位姿，显著提升了RGB与网格重建质量。
2025-03-05 cs.CV
RendBEV: Semantic Novel View Synthesis for Self-Supervised Bird's Eye View Segmentation
Verizon Connect（威瑞森连接公司）；University of Bologna（博洛尼亚大学）；University of Florence（佛罗伦萨大学）
本文提出RendBEV方法，通过可微体积渲染利用2D语义分割结果实现BEV语义分割的自监督训练，在零样本和低标注微调场景下均取得优异性能。
2025-04-10 cs.CV
Simultaneous Super-Resolution and Cross-Modality Synthesis of 3D Medical Images using Weakly-Supervised Joint Convolutional Sparse Coding
The University of Sheffield（谢菲尔德大学）；University of East Anglia（东英吉利大学）
磁共振成像（MRI）提供高分辨率的\emph{in vivo}成像以及丰富的功能和解剖多模态组织对比度。然而，在实践中，存在与考虑扫描成本、患者舒适度和扫描时间相关的挑战，这些挑战限制了在临床或研究中可以获取多少数据。在本文中，我们探讨了从低分辨率单模态图像生成高分辨率和多模态图像的可能性。我们提出了弱监督联合卷积稀疏编码，同时解决了超分辨率（SR）和跨模态图像合成的问题。学习过程只需要几个注册的多模态图像对作为训练集。此外，可以使用较大的未配对图像集合来提高联合字典学习的质量。为了组合来自不同图像分辨率/模态的未配对数据，提出了异域图像对准项。通过对整个图像域（与图像块相对）进行操作并使用联合卷积稀疏编码来自然地保留局部图像邻域。配对的图像在联合学习过程中与未配对的数据和一个额外的最大平均差异项，这最大限度地减少了它们的特征分布之间的差异增强。实验表明，该方法优于国家的最先进的技术，在SR重建和同步SR和跨模态合成。
2017-05-07 cs.CV
Semi-supervised Synthesis of High-Resolution Editable Textures for 3D Humans
University of Washington（华盛顿大学）；Facebook Reality Labs Research（Facebook现实实验室研究）
我们介绍了一种新的方法来产生不同的高保真度的三维人体网格的纹理图在半监督设置。给定一个定义纹理图中语义区域布局的分割掩码，我们的网络生成具有各种风格的高分辨率纹理，然后用于渲染目的。为了完成这一任务，我们提出了一个区域自适应对抗变分自编码器（ReAVAE），学习每个区域的风格的概率分布，使生成的纹理的风格可以通过从区域特定的分布采样控制。此外，我们还引入了一种数据生成技术，用从单视图RGB输入中提取的数据来增强我们的训练集。我们的训练策略允许将参考图像样式与不同区域的任意样式混合，这对于虚拟试穿AR/VR应用程序来说是有价值的。实验结果表明，我们的方法合成更好的纹理图相比，以前的工作，同时使独立的布局和风格的可控性。
2021-03-31 cs.CV
Self-Supervised Flow Matching for Scalable Multi-Modal Synthesis
Black Forest Labs（黑森林实验室）；MIT（麻省理工学院）
Self-Flow通过自监督流匹配方法，在无需外部监督的情况下提升多模态生成的性能和扩展性。
2026-03-06 cs.CV
RayZer: A Self-supervised Large View Synthesis Model
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Adobe Research（Adobe研究）
提出自监督多视图3D视觉模型RayZer，通过解耦相机与场景表示及基于transformer的光线结构，在无3D监督下实现新视图合成，性能优于依赖位姿标注的方法。
2025-05-01 cs.CV
Semi-supervised mp-MRI Data Synthesis with StitchLayer and Auxiliary Distance Maximization
Huazhong University of Science and Technology（华中科技大学）；Hong Kong University of Science and Technology（香港科技大学）
在本文中，我们解决了通过半监督对抗学习合成多参数磁共振成像（mp-MRI）数据的问题，即表观扩散系数（ADC）和T2加权（T2 w），包含临床显著（CS）前列腺癌（PCa）。具体来说，我们的合成器以顺序方式生成mp-MRI数据：首先从128-d潜在向量生成ADC图，然后将其转换为T2 w图像。合成器以半监督的方式训练。在监督训练过程中，提供了有限数量的成对ADC-T2 w图像和相应的ADC编码，并且合成器通过显式地最小化合成图像和真实图像之间的重建损失来学习配对关系。为了避免过拟合有限的ADC编码，在无监督训练过程中使用无限量的随机潜向量和未配对的ADC-T2 w图像来学习真实图像的边缘图像分布。为了提高合成的鲁棒性，我们将生成全尺寸图像的困难任务分解为几个简单的任务，这些任务仅生成子图像。然后采用StitchLayer以隔行扫描的方式将子图像融合在一起，形成全尺寸图像。为了强制合成图像确实包含可区分的CS PCa病变，我们建议还最大化CS和非CS图像之间的Jensen-Shannon散度（JSD）的辅助距离。实验结果表明，我们的方法可以有效地合成各种mpMRI图像，其中包含有意义的CS PCa病变，显示良好的视觉质量，并具有正确的配对关系。与最先进的合成方法相比，我们的方法在视觉和定量评价指标方面都有了显着的改进。
2018-12-17 cs.CV cs.LG stat.ML
FA-GAN: Feature-Aware GAN for Text to Image Synthesis
Pohang University of Science and Technology（浦项科技大学）
文本到图像合成的目的是从给定的自然语言描述生成照片般逼真的图像。以前的工作在生成对抗网络（GANs）方面取得了重大进展。尽管如此，仍然很难生成完整的对象或清晰的纹理（图1）。为了解决这个问题，我们提出了一种基于特征感知的生成对抗网络（FA-GAN），通过集成两种技术来合成高质量的图像：自监督的自适应和特征感知的损失。首先，我们设计了一个具有辅助解码器的自监督编码器，以便编码器能够提取更好的表示。其次，我们引入了一个特征感知的损失，提供发电机更直接的监督，采用的特征表示从自我监督的神经网络。在MS-COCO数据集上的实验表明，我们提出的方法显着提高了最先进的FID分数从28.92到24.58。
2021-09-02 cs.CV
Weakly-supervised Disentangling with Recurrent Transformations for 3D View Synthesis
University of California, Merced（加州大学默塞德分校）；Adobe Research（奥多比研究院）；University of Michigan, Ann Arbor（密歇根大学安娜堡分校）
图形学和视觉的一个重要问题是从单个图像合成3D对象的新视图。由于将3D对象投影到图像空间中固有的部分可观测性以及推断对象形状和姿态的不适定性，这是特别具有挑战性的。然而，如果我们将注意力限制在特定的对象类别（在我们的例子中是脸和椅子）上，我们可以训练一个神经网络来解决这个问题，我们可以收集足够的训练数据。在本文中，我们提出了一种新的递归卷积编码器-解码器网络，该网络在从单个图像开始渲染旋转对象的任务上进行端到端训练。循环结构允许我们的模型沿着一系列转换捕获长期依赖关系。我们展示了它对Multi-PIE数据集上的人脸和3D椅子模型数据集的预测质量，并且还展示了它解开潜在变化因素（例如，身份和姿势）而不使用完全监督。
2016-01-05 cs.AI cs.CV cs.LG
SpatialDreamer: Self-supervised Stereo Video Synthesis from Monocular Input
Alibaba Group（阿里巴巴集团）；Sun Yat-sen University（中山大学）
提出基于视频扩散模型的自监督立体视频合成范式SpatialDreamer，通过DVG模块生成成对数据，结合RefinerNet与一致性控制模块实现时空一致性，性能优于现有基准。
2025-04-27 cs.AI cs.CV
CORE: Contrast-and-Reflect for Self-Supervised Prompt Optimization in Anomaly Synthesis
Nanjing University（南京大学）；China Mobile Zijin Innovation Institute（中国移动紫金创新研究院）
针对工业异常检测中异常样本稀缺的问题，提出基于多模态大模型的无训练提示优化框架CORE，通过异常上下文接地模块和自监督对比反思机制，实现零样本与单样本下的高保真异常合成，提升下游异常检测性能且可适配多种模型。
2026-10-14 cs.CV
Unsupervised Histopathology Image Synthesis
Stony Brook University（石溪大学）；Dougherty Valley High School（多尔蒂谷高中）；Oak Ridge National Laboratory（橡树岭国家实验室）；Stony Brook Hospital（石溪医院）
苏木精-伊红染色的组织病理学图像分析对于癌症等复杂疾病的诊断和研究是必不可少的。现有的最先进的方法需要来自受过训练的病理学家的大量监督训练数据。在这项工作中，我们以无监督的方式合成了大型组织病理学图像数据集，适用于监督训练任务。我们提出了一个统一的流水线：a）生成一组初始合成组织病理学图像，其中包含有关细胞核的配对信息，如分割掩模; b）通过生成对抗网络（GAN）将初始合成图像细化为参考样式; c）训练特定于任务的CNN，并使用动态生成的对抗示例提高特定于任务的CNN的性能。我们的主要贡献是，合成图像不仅逼真，而且具有代表性（在参考样式中），并且对于训练特定任务的CNN来说相对具有挑战性。我们使用来自四种癌症类型的图像来测试我们的核分割方法。当没有监督数据存在的癌症类型，我们的方法没有监督成本显着优于监督的方法，执行跨癌症的泛化。即使所有癌症类型都存在监督数据，我们的无监督成本方法也比监督方法表现得更好。
2017-12-13 cs.CV
Intelligent image synthesis to attack a segmentation CNN using adversarial learning
Imperial College London（帝国理工学院）；Nagoya University（名古屋大学）；The Aichi Cancer Center（爱知县癌症中心）；Nagoya University Hospital（名古屋大学医院）
基于卷积神经网络（CNN）的深度学习方法已经成功地解决了医学成像中的许多问题，包括图像分割。近年来，已经表明CNN易受攻击，其中输入图像被相对少量的噪声扰动，使得CNN不再能够以足够的精度执行扰动图像的分割。因此，探索如何攻击基于CNN的模型以及如何保护模型免受攻击的方法已成为一个热门话题，因为这也为CNN的性能和泛化能力提供了见解。然而，大多数现有的工作假设不切实际的攻击模型，即所产生的攻击是预先指定的。在本文中，我们提出了一种新的方法来生成对抗性的例子来攻击基于CNN的医学图像分割模型。我们的方法有三个关键特征：1）生成的对抗性示例表现出解剖学上的变化（以变形的形式）以及外观扰动; 2）对抗性示例攻击分割模型，使得Dice分数减少预定量; 3）攻击不需要事先指定。我们已经评估了我们的方法在2D CT图像中的多器官分割问题的基于CNN的方法。我们表明，所提出的方法可以用来攻击不同的基于CNN的分割模型。
2019-09-24 cs.CV eess.IV
Self-Supervised Sketch-to-Image Synthesis
Artrendex Inc.（Artrendex公司）；Rutgers University（罗格斯大学）
从任意绘制的草图中想象出彩色的逼真图像是我们渴望机器模仿的人类能力之一。与以往的方法，要么需要草图图像对或利用低数量检测到的边缘作为草图，我们研究了基于样本的草图到图像（S2 I）合成任务中的自监督学习的方式，消除了配对的草图数据的必要性。为此，我们首先提出了一种无监督的方法来有效地合成一般RGB数据集的线条草图。与合成的配对数据，然后，我们提出了一个自我监督的自动编码器（AE）解耦的内容/风格特征从草图和RGB图像，并合成图像，既内容忠实的草图和风格一致的RGB图像。虽然以前的作品采用的周期一致性损失或专用注意力模块，以加强内容/风格的保真度，我们显示AE的优越性能与纯粹的自我监督。为了进一步提高高分辨率的合成质量，我们还利用对抗网络来细化合成图像的细节。在1024*1024分辨率上进行的大量实验证明了所提出的模型在CelebA-HQ和Wiki-Art数据集上的最新性能。此外，与建议的草图生成器，该模型显示出良好的性能风格混合和风格转移，这需要合成的图像是风格一致的和语义有意义的。我们的代码可以在https：//github.com/odegeasslbc/Self-Supervised-Sketch-to-Image-Synthesis-PyTorch上找到，请访问https://create.playform.io/my-projects? mode=sketch，用于我们模…
2020-12-22 cs.CV cs.GR cs.MM
CT Image Synthesis Using Weakly Supervised Segmentation and Geometric Inter-Label Relations For COVID Image Analysis
Inception Institute of Artificial Intelligence（起源人工智能研究院）；Indian Institute of Technology, Kanpur（印度理工学院坎普尔分校）
虽然医学图像分割是计算机辅助诊断的一项重要任务，但像素级手动注释的高专业知识要求使其成为一项具有挑战性且耗时的任务。由于传统的数据增强不能完全代表训练集的潜在分布，因此当对从不同来源捕获的图像进行测试时，训练模型具有不同的性能。用于数据增强的图像合成的大多数先前工作忽略了不同解剖标签之间的交错几何关系。我们通过学习不同解剖标签之间的关系，对以前基于GAN的医学图像合成方法进行了改进。我们使用一种弱监督分割方法来获得图像的像素级语义标签图，用于学习语义标签之间的几何和形状的内在关系。潜在空间变量采样导致从基础图像生成不同的图像，并提高鲁棒性。我们使用我们方法中的合成图像来训练网络，以从肺部CT图像中分割COVID-19感染区域。该方法在公共数据集上的性能优于最先进的分割方法。消融研究也证明了整合几何形状和多样性的好处。
2021-06-15 cs.CV eess.IV
DS3-Net: Difficulty-perceived Common-to-T1ce Semi-Supervised Multimodal MRI Synthesis Network
Southern University of Science and Technology（南方科技大学）；The University of Hong Kong（香港大学）
对比增强T1（T1 ce）是诊断和分析脑肿瘤，特别是胶质瘤的最基本的磁共振成像（MRI）模式之一。在临床实践中，T1、T2和液体衰减反转恢复等常见MRI模态相对容易获得，而考虑到额外的成本和对造影剂过敏的潜在风险，T1 ce更具挑战性。因此，开发一种从其他常见模式合成T1 ce的方法具有重要的临床必要性。当前的成对图像平移方法通常具有需要大量成对数据的问题，并且不关注特定的感兴趣区域，例如，肿瘤区域，在合成过程中。为了解决这些问题，我们提出了一个困难感知共同到T1 ce半监督多模态MRI合成网络（DS 3-Net），涉及配对和非配对数据以及双层知识蒸馏。DS 3-Net预测了一个难度图，以逐步促进合成任务。具体而言，像素约束和拼接对比约束由预测难度图引导。通过对公开的BrTS 2020数据集进行广泛的实验，DS 3-Net在各个方面都优于其监督对手。此外，仅使用5%的配对数据，所提出的DS 3-Net实现了与利用100%配对数据的最新图像翻译方法竞争的性能，提供了0.8947的平均SSIM和23.60的平均PSNR。
2022-03-14 cs.CV eess.IV
Contrastive Image Synthesis and Self-supervised Feature Adaptation for Cross-Modality Biomedical Image Segmentation
University of Notre Dame（圣母大学）；Northwestern University（西北大学）
提出CISFA框架，结合单侧生成与逐块对比损失及自监督特征自适应，实现跨模态生物医学图像分割，显著优于现有方法。
2023-09-01 cs.CV
Test-Time Adaptation for Keypoint-Based Spacecraft Pose Estimation Based on Predicted-View Synthesis
Deimos Space（德莫斯空间公司）；Universidad Autónoma de Madrid（马德里自治大学）
针对合成数据训练的航天器姿态估计算法在真实数据上性能下降的问题，提出一种利用序列图像时间冗余的测试时自适应方法，通过预测视图合成构建自监督目标并加入关键点结构正则化，提升模型在真实场景下的适配性。
2024-10-05 cs.CV
Neural View Synthesis and Matching for Semi-Supervised Few-Shot Learning of 3D Pose
Johns Hopkins University（约翰斯·霍普金斯大学）
我们研究的问题，学习估计的3D对象的姿势从一些标记的例子和未标记的数据的集合。我们的主要贡献是一个学习框架，神经视图合成和匹配，它可以可靠地将3D姿态注释从标记图像转移到未标记图像，尽管有看不见的3D视图和讨厌的变化，如对象形状，纹理，照明或场景上下文。在我们的方法中，对象表示为三维立方体网格组成的特征向量在每个网格顶点。该模型是从几个标记的图像初始化，并随后用于合成看不见的三维视图的特征表示。合成视图与未标记图像的特征表示相匹配，以生成3D姿态的伪标签。伪标记的数据又用于训练特征提取器，使得每个网格顶点处的特征在对象的变化的3D视图上更加不变。我们的模型以EM类型的方式进行训练，在增加特征提取器的3D姿态不变性和通过神经视图合成和匹配注释未标记数据之间交替。我们证明了所提出的半监督学习框架的有效性，三维姿态估计的PASCAL 3D+和KITTI数据集。我们发现，我们的方法优于所有基线的一个很大的保证金，特别是在一个极端的Few-Shot设置，只有7个注释的图像。值得注意的是，我们观察到我们的模型在涉及部分遮挡的分布外场景中也实现了出色的鲁棒性。
2021-10-27 cs.CV
$\mathrm{F^2Depth}$: Self-supervised Indoor Monocular Depth Estimation via Optical Flow Consistency and Feature Map Synthesis
Institute of Artificial Intelligence, Beihang University（北京航空航天大学人工智能研究院）；Qingdao Research Institute of Beihang University（北京航空航天大学青岛研究院）；School of Automation Science and Electrical Engineering, Beihang University（北京航空航天大学自动化科学与电气工程学院）
本文提出自监督室内单目深度估计框架F²Depth，通过微调光流网络并结合光流一致性损失与特征图合成损失监督深度学习，在NYU Depth V2及零样本泛化实验中验证了其有效性和泛化能力。
2024-03-27 cs.CV
Image Synthesis-based Late Stage Cancer Augmentation and Semi-Supervised Segmentation for MRI Rectal Cancer Staging
Fujifilm corporation（富士胶片公司）；University of Tsukuba（筑波大学）；Waseda University（早稻田大学）；Sapporo Medical University（札幌医科大学）
针对直肠癌 MRI 晚期数据稀缺和标注成本高的问题，提出图像合成晚期癌症增强、T 分期损失及半监督分割方法，提升了 T 分期判别和侵犯区域分割性能。
2023-12-08 cs.CV cs.LG eess.IV
