Unsupervised Generative Adversarial Cross-modal Hashing
Institute of Computer Science and Technology, Peking University（北京大学计算机科学技术研究所）
跨模态哈希算法将异构的多媒体数据映射到一个共同的汉明空间中，实现跨模态的快速、灵活的检索。无监督跨模态哈希比监督方法更灵活和适用，因为不涉及密集的标记工作。然而，现有的无监督方法通过保留内部和内部相关性来学习散列函数，同时忽略了不同模态之间的底层流形结构，这对于捕获不同模态的有意义的最近邻居以用于跨模态检索非常有帮助。为了解决上述问题，在本文中，我们提出了一种无监督的生成对抗跨模态哈希方法（UGACH），它充分利用了GAN的无监督表示学习的能力，以利用跨模态数据的底层流形结构。主要贡献可以概括如下：（1）我们提出了一个生成对抗网络，以无监督的方式对跨模式哈希进行建模。在所提出的UGACH中，给定一种模态的数据，生成模型试图拟合流形结构上的分布，并选择另一种模态的信息数据来挑战判别模型。判别模型学习区分生成的数据和从相关图中采样的真阳性数据，以实现更好的检索精度。这两个模型以对抗的方式进行训练，以相互改进并促进哈希函数学习。(2)我们提出了一种基于相关图的方法来捕获跨不同模态的底层流形结构，使不同模态但在同一流形内的数据可以具有较小的汉明距离，并提高检索精度。与6种最先进的方法进行了大量的实验比较，验证了我们所提出的方法的有效性。
2017-12-01 cs.CV
Cycle Contrastive Adversarial Learning for Unsupervised image Deraining
School of Artificial Intelligence, Nanjing Normal University（南京师范大学人工智能学院）
针对无监督单幅图像去雨中语义表示不足导致内容与雨层分离不佳的问题，提出结合循环对比学习和位置对比学习的CCLGAN，通过特征拉近推远及互信息约束提升去雨性能。
2024-07-16 cs.CV
"Teaching Independent Parts Separately" (TIPSy-GAN) : Improving Accuracy and Stability in Unsupervised Adversarial 2D to 3D Pose Estimation
我们提出了TIPSy-GAN，这是一种新的方法，可以提高无监督对抗2D到3D人体姿态估计的准确性和稳定性。在我们的工作中，我们证明了人类运动骨架不应该被假设为一个单一的空间相关结构;事实上，我们认为当在训练过程中提供完整的2D姿势时，会有一个固有的偏差，其中关键点的3D坐标在空间上依赖于所有其他关键点的2D坐标。为了研究我们的假设，我们遵循以前的对抗方法，但训练两个发电机上的空间独立的部分的运动骨架，躯干和腿。我们发现，提高自我一致性周期是降低评估误差的关键，因此在训练过程中引入了新的一致性约束。通过从这些生成器中进行知识蒸馏来生成TIPSy模型，该TIPSy模型可以预测整个2D姿态的3D坐标，并具有改进的结果。此外，我们解决了一个悬而未决的问题，在以前的工作多久训练在一个真正的无人监督的情况下。我们发现，两个独立的发电机训练adversarially有改善的稳定性比一个单独的发电机崩溃。与基线单独发生器在Human3.6M数据集上的平均误差相比，TIPSy将平均误差降低了17%。TIPSy改进了其他无监督方法，同时在评估Human3.6M和MPI-INF-3DHP数据集时，对监督和弱监督方法也表现出色。
2022-09-01 cs.CV
Unsupervised Image Super-Resolution using Cycle-in-Cycle Generative Adversarial Networks
Sensetime Research（商汤科技研究院）；Shenzhen University（深圳大学）；Tsinghua University（清华大学）
我们考虑在低/高分辨率对和下采样过程不可用的更一般情况下的单个图像超分辨率问题。与传统的超分辨率公式不同，低分辨率输入被噪声和模糊进一步降级。这种复杂的设置使得监督学习和精确的核估计是不可能的。为了解决这个问题，我们求助于没有配对数据的无监督学习，受到最近成功的图像到图像翻译应用的启发。以生成对抗网络（GAN）为基本组成部分，我们提出了一个循环中循环的网络结构，以解决这个问题，在三个步骤。首先，噪声和模糊的输入被映射到无噪声的低分辨率空间。然后，使用预先训练的深度模型对中间图像进行上采样。最后，我们以端到端的方式微调这两个模块，以获得高分辨率的输出。在NTIRE 2018数据集上的实验表明，所提出的无监督方法取得了与最先进的监督模型相当的结果。
2018-09-03 cs.CV
A One-Shot Texture-Perceiving Generative Adversarial Network for Unsupervised Surface Inspection
Tsinghua University（清华大学）；University of Cincinnati（辛辛那提大学）
由于目标表面和缺陷区域的外观高度多样化，视觉表面检测是一项具有挑战性的任务。以前的尝试严重依赖于大量带有手动注释的训练样本。但是，在一些实际情况下，很难获得大量样品进行检查。为了解决这个问题，我们提出了一个分层的纹理感知生成对抗网络（HTP-GAN），它是从一个无监督的计划中的一次性正常图像中学习的。具体来说，HTP-GAN包含一个卷积GANs金字塔，可以同时捕获图像的全局结构和细粒度表示。这一创新有助于区分缺陷表面区域和正常表面区域。此外，在该算法中，设计了一个纹理感知模块，通过方向卷积捕获正常图像的空间不变表示，使其对缺陷区域更加敏感。在各种数据集上的实验一致地证明了我们的方法的有效性。
2021-06-12 cs.CV
SDA-GAN: Unsupervised Image Translation Using Spectral Domain Attention-Guided Generative Adversarial Network
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
这项工作介绍了一种新的GAN架构，用于人脸风格转换任务的无监督图像翻译。一个基于光谱注意力的机制被嵌入到设计中，同时对图像内容进行空间关注。我们证明了神经网络具有在相当大的计算成本内学习复杂变换（如傅立叶变换）的潜力。与仅使用空间注意力的基线模型相比，该模型进行了训练和测试。我们的方法的性能改善是显着的，特别是当源和目标域包括不同的复杂度（减少FID从142.84到49.18）。在平移过程中，由于FFT和频谱注意的实现，引入了频谱填充效应。本文还研究了另一种风格转换任务和真实世界物体翻译。
2021-10-06 cs.CV
Towards Unsupervised Deep Image Enhancement with Generative Adversarial Network
City University of Hong Kong（香港城市大学）；Meituan-Dianping Group（美团点评集团）；City University of Hong Kong Shenzhen Research Institute（香港城市大学深圳研究院）
提高图像的审美质量是具有挑战性的，也是公众渴望的。为了解决这个问题，大多数现有的算法是基于监督学习方法来学习配对数据的自动照片增强器，该配对数据由低质量照片和相应的专家修饰版本组成。然而，专家修饰的照片的风格和特征可能不符合一般用户的需求或偏好。在本文中，我们提出了一种无监督的图像增强生成对抗网络（UEGAN），它以无监督的方式从一组具有所需特征的图像中学习相应的图像到图像的映射，而不是在大量的成对图像上学习。该模型基于单一的深度GAN，嵌入了调制和注意力机制，以捕获更丰富的全局和局部特征。基于所提出的模型，我们引入了两个损失来处理无监督图像增强：（1）保真度损失，其被定义为在预训练的VGG网络的特征域中的L2正则化，以确保增强图像和输入图像之间的内容相同，以及（2）质量损失，其被公式化为相对论铰链对抗损失，以赋予输入图像期望的特性。定量和定性的实验结果表明，该模型有效地提高了图像的美学质量。我们的代码可在https://github.com/eezkni/UEGAN上获得。
2020-12-30 cs.CV
Unsupervised Discovery of 3D Hierarchical Structure with Generative Diffusion Features
University of North Carolina（北卡罗来纳大学）
利用生成扩散模型的多阶段特征，通过三种损失训练无监督分割网络，将三维生物医学图像分解为嵌套层次结构，在合成及真实脑肿瘤MRI数据上优于现有方法。
2023-10-10 cs.CV
High-Quality Face Image SR Using Conditional Generative Adversarial Networks
Beihang University（北京航空航天大学）；National Chung Hsing University（中兴大学）
提出了一种基于边界平衡生成对抗网络的人脸条件生成对抗网络（Face Conditional Generative Adversarial Network，FCGAN）的单人脸图像超分辨率方法。该方法不需要任何人脸先验信息，可以从低分辨率的人脸图像生成高分辨率的人脸图像。与现有的研究相比，我们的训练和测试阶段都是端到端的管道，几乎没有预处理/后处理。为了提高收敛速度和加强特征传播，在生成和鉴别网络中进一步采用跳层连接。大量的实验表明，我们的模型与最先进的模型相比，具有竞争力的性能。
2017-07-04 cs.CV
Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks
indico Research（indico研究公司）；Facebook AI Research（脸书人工智能研究院）
近年来，使用卷积网络（CNN）的监督学习在计算机视觉应用中得到了广泛采用。相比之下，使用CNN的无监督学习受到的关注较少。在这项工作中，我们希望帮助弥合CNN在监督学习和无监督学习中的成功之间的差距。我们介绍了一类称为深度卷积生成对抗网络（DCGAN）的CNN，它们具有一定的架构约束，并证明它们是无监督学习的强有力候选者。在各种图像数据集上进行训练，我们展示了令人信服的证据，证明我们的深度卷积对抗对在生成器和生成器中学习了从对象部分到场景的表示层次。此外，我们将学习到的功能用于新的任务-证明它们作为一般图像表示的适用性。
2016-01-07 cs.CV cs.LG
Unsupervised Projection Networks for Generative Adversarial Networks
UC Berkeley（加州大学伯克利分校）
我们建议使用无监督学习来训练投影网络，投影到已经训练好的生成器的潜在空间上。我们将我们的方法应用于经过训练的StyleGAN，并使用我们的投影网络来执行图像超分辨率和图像聚类到语义可识别的组中。
2019-10-06 cs.CV cs.LG eess.IV
Unsupervised Shadow Removal Using Target Consistency Generative Adversarial Network
Chongqing University of Technology（重庆理工大学）
无监督阴影去除的目的是学习一个非线性函数，在没有成对的阴影和非阴影数据的情况下，将原始图像从阴影域映射到非阴影域。在本文中，我们开发了一个简单而有效的目标一致性生成对抗网络（TC-GAN）的阴影消除任务，在无监督的方式。与基于周期一致性GAN的阴影去除方法中的双向映射相比，TC-GAN试图学习单侧映射，以将阴影图像投射到无阴影图像。提出的目标一致性约束，阴影图像和输出的无阴影图像之间的相关性被严格限制。大量的对比实验结果表明，TC-GAN在FID和KID方面分别比最先进的无监督阴影去除方法高出14.9%和31.5%。值得注意的是，TC-GAN实现了与监督阴影去除方法相当的性能。
2021-05-30 cs.CV eess.IV
Structured Coupled Generative Adversarial Networks for Unsupervised Monocular Depth Estimation
受对抗学习成功的启发，我们提出了一种新的端到端无监督深度学习框架，用于单目深度估计，该框架由两个生成对抗网络（GAN）组成，与结构化条件随机场（CRF）模型深度耦合。这两个GANs的目标是生成不同的和互补的视差图，并通过利用对抗学习策略来提高生成质量。提出了深度CRF耦合模型，用于融合双GAN网络的生成输出和判别输出。因此，该模型隐式地构造了两个网络分支上以及发电机和发电机之间的相互约束。这有助于优化整个网络以更好地生成视差。在KITTI、Cityscapes和Make 3D数据集上的大量实验清楚地证明了所提出的方法的有效性，并显示出与最先进的方法相比的优越性能。代码和模型可在https://github.com/mihaipuscas/ 3dv-coupled-crf-disparity上获得。
2019-08-15 cs.CV eess.IV
Lung image segmentation by generative adversarial networks
School of Applied Mathematics, Xiamen University of Technology（厦门理工学院应用数学学院）
肺部图像分割在肺部疾病的计算机辅助诊断和治疗中起着重要的作用。提出了一种基于生成对抗网络的肺部图像分割方法。我们采用了各种生成对抗网络，并利用其图像翻译能力来执行图像分割。采用生成对抗网络将原始肺部图像转换为分割图像。基于生成对抗网络的分割方法在真实肺部图像数据集上进行了测试。实验结果表明，该方法是有效的，优于最先进的方法。
2019-07-30 cs.CV eess.IV
Preserving Semantic Consistency in Unsupervised Domain Adaptation Using Generative Adversarial Networks
Queensland University of Technology（昆士兰科技大学）
无监督领域自适应是在给定源域的标记样本和目标域的未标记样本的情况下，寻求缓解源域和目标域之间的分布差异。生成对抗网络（GANs）通过生成特定于训练领域的图像，在领域自适应方面表现出了显着的改进。然而，大多数现有的基于GAN的无监督领域自适应技术在领域匹配过程中不考虑语义信息，因此当源和目标领域数据在语义上不同时，这些方法降低了性能。在本文中，我们提出了一个端到端的新的语义一致的生成对抗网络（SCGAN）。该网络可以通过在特征级捕获语义信息并从源域和目标域生成用于无监督领域自适应的图像来实现源域到目标域的匹配。我们证明了我们提出的方法的鲁棒性，它超过了国家的最先进的性能，在无监督的领域自适应设置进行数字和对象分类任务的实验。
2021-04-28 cs.AI cs.CV cs.LG
Unsupervised Diverse Colorization via Generative Adversarial Networks
Shanghai Jiao Tong University（上海交通大学）
灰度图像的彩色化一直是计算机视觉的研究热点。以前的研究主要集中在产生一个彩色图像，以匹配原始的。然而，由于许多颜色共享相同的灰度值，因此输入灰度图像可以在保持其真实性的同时被着色。在本文中，我们设计了一种新的解决方案，无监督的多样化着色。具体来说，我们利用条件生成对抗网络来模拟现实世界中物品颜色的分布，其中我们开发了一个完全卷积的生成器，使用多层噪声来增强多样性，使用多层条件级联来保持真实性，并使用步幅1来保持空间信息。通过这种新颖的网络架构，该模型在开放的LSUN卧室数据集上产生了极具竞争力的性能。80人的图灵测试进一步表明我们生成的配色方案是高度一致的。
2017-07-01 cs.AI cs.CV
Adversarial Attack Against Images Classification based on Generative Adversarial Networks
George Washington University（乔治华盛顿大学）
针对图像分类系统的安全问题，本文受生成对抗网络启发，提出一种新颖的对抗攻击方法，通过对抗学习生成小扰动对抗样本，在经典数据集上成功欺骗多种先进分类器并保持样本自然性，有效揭示了系统弱点以提升抗攻击能力。
2024-12-24 cs.AI cs.CV
Unsupervised Image-to-Image Translation with Generative Adversarial Networks
Imperial College London（帝国理工学院）；Indian Institute of Technology（印度理工学院）
自动将图像从其原始形式转换为某种合成形式（样式，部分内容等）非常有用，同时保持原始结构或语义。我们将这一要求定义为“图像到图像的转换”问题，并提出了一种基于深度卷积和条件生成对抗网络（GANs）的通用方法来实现它，自2014年以来，该网络在从噪声输入中学习映射图像方面取得了惊人的成功。在这项工作中，我们开发了一种两步（无监督）学习方法，通过使用未标记的图像在不同的域之间转换图像，而不指定它们之间的任何对应关系，从而避免了获取标记数据的成本。与以往的工作相比，我们证明了我们的模型的通用性，通过这种能力，翻译的方差可以由一个单一类型的模型进行。这种能力在双向翻译等应用中是理想的
2017-01-10 cs.CV cs.LG
Masked GANs for Unsupervised Depth and Pose Prediction with Scale Consistency
East China University of Science and Technology（华东理工大学）；Oklahoma State University（俄克拉荷马州立大学）
以往的工作表明，对抗学习可以用于无监督的单目深度和视觉里程计（VO）估计，其中对抗损失和几何图像重建损失被用作主要的监督信号来训练整个无监督框架。然而，对抗框架和图像重建的性能通常受到遮挡和帧之间视野变化的限制。提出了一种用于无监督单目深度和自运动估计的掩码生成对抗网络（GAN），在该框架中设计了MaskNet和布尔掩码方案，分别消除了遮挡和视野变化对重建损失和对抗损失的影响。此外，我们还考虑了我们的姿势网络的规模一致性，利用一个新的规模一致性损失，因此，我们的姿势网络能够提供完整的相机轨迹在一个长的单目序列。在KITTI数据集上进行的大量实验表明，本文提出的每个组件都有助于提高性能，并且我们的深度和轨迹预测在KITTI和Make3D数据集上都具有竞争力的性能。
2021-04-13 cs.CV eess.IV
Time Efficient Training of Progressive Generative Adversarial Network using Depthwise Separable Convolution and Super Resolution Generative Adversarial Network
生成对抗网络已成功用于生成大小为1024 ^2的高分辨率增强图像。虽然生成的增强图像是前所未有的，但模型的训练时间异常长。传统的GAN需要训练鉴别器和生成器。渐进式GAN是当前用于图像增强的最先进的GAN，而不是一次训练GAN，提出了同时渐进增长鉴别器和生成器的新概念。虽然较低的阶段，如4x4和8x8训练相当快，后期阶段消耗大量的时间，可能需要几天才能完成模型训练。在我们的论文中，我们提出了一种新的流水线，结合渐进式GAN略有修改和超分辨率GAN。超分辨率GAN将低分辨率图像采样为高分辨率图像，这可以证明是一种有用的资源，可以指数级地减少训练时间。
2022-02-24 cs.CV eess.IV
Cycle-Consistent Adversarial Autoencoders for Unsupervised Text Style Transfer
Lenovo Research AI Lab（联想研究院人工智能实验室）；Kwai Inc.（快手公司）；Tianjin University（天津大学）；Cornell University（康奈尔大学）
由于缺乏并行数据和内容保存困难，无监督文本风格转换充满了挑战。在本文中，我们提出了一种新的神经方法来进行无监督的文本风格传输，我们称之为从非并行数据中训练的周期一致性对抗自动编码器（CAE）。CAE由三个基本组成部分组成：（1）LSTM自动编码器，将一种风格的文本编码为其潜在表示，并将编码表示解码为其原始文本或将转换表示解码为风格转换文本，（2）对抗性风格转换网络，使用对抗性训练的生成器将一种风格的潜在表示转换为另一种风格的表示，以及（3）增强对抗风格传输网络在内容保存中的能力的循环一致性约束。包含这三个组件的整个CAE可以进行端到端的培训。在两个广泛使用的公共数据集上进行的广泛实验和深入分析一致地验证了所提出的CAE在风格转换和内容保存方面的有效性，并与四个自动评估指标和人类评估方面的几个强基线进行了比较。
2020-10-02 cs.CL cs.CV cs.LG
Fully Convolutional Change Detection Framework with Generative Adversarial Network for Unsupervised, Weakly Supervised and Regional Supervised Change Detection
基于深度学习的变化检测是当前遥感领域的研究热点之一。然而，大多数端到端网络都是针对有监督的变化检测而提出的，而无监督的变化检测模型依赖于传统的预检测方法。因此，我们提出了一个具有生成对抗网络的完全卷积变化检测框架，将无监督，弱监督，区域监督和完全监督的变化检测任务归纳到一个框架中。一个基本的Unet分割器被用来获得变化检测地图，一个图像到图像生成器被实现来模拟多时间图像之间的光谱和空间变化，并提出了一个用于改变和不变的建模语义变化弱和区域监督变化检测任务。分割器和生成器的迭代优化可以构建一个端到端的无监督变化检测网络，分割器和生成器之间的对抗过程可以为弱监督和区域监督的变化检测提供解决方案，分割器本身可以被训练用于完全监督的任务。实验结果表明，该框架在无监督、弱监督和区域监督的变化检测中是有效的。本文对无监督、弱监督和区域监督的变化检测任务进行了理论定义，展示了端到端网络在遥感变化检测中的巨大潜力。
2022-01-16 cs.AI cs.CV eess.IV
SSGAN: Secure Steganography Based on Generative Adversarial Networks
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
本文提出了一种基于生成对抗网络的安全隐写策略，用于生成合适的、安全的隐写覆盖。所提出的架构有一个生成网络，和两个判别网络。生成式网络主要评估生成图像的视觉质量以用于隐写，而鉴别式网络则用于评估其是否适合信息隐藏。与采用深度卷积生成对抗网络的现有工作不同，我们利用另一种形式的生成对抗网络。通过使用这种新形式的生成对抗网络，在收敛速度、训练稳定性和图像质量方面都有了显著的改善。此外，一个复杂的隐写分析网络的鉴别网络，该网络可以更好地评估所生成的图像的性能。在公开数据集上进行了大量实验，以证明所提出的方法的有效性和鲁棒性。
2018-11-24 cs.CV cs.MM
O-GAN: Extremely Concise Approach for Auto-Encoding Generative Adversarial Networks
本文提出了正交生成对抗网络（O-GANs）。我们将编码器的网络进行正交分解，并在普通GANs的目标中添加额外的损失，这可以使编码器成为一个有效的编码器。同样的额外损失可以嵌入到任何类型的GANs中，并且几乎没有增加计算量。此外，我们讨论了我们的方法的原则，这是相对于充分利用剩余的自由度的时间。正如我们所知，我们的解决方案是训练一个具有自动编码能力的生成对抗网络的最简单方法。
2019-03-05 cs.CV cs.LG
Unsupervised Detection of Lung Nodules in Chest Radiography Using Generative Adversarial Networks
University of Waterloo（滑铁卢大学）
肺结节在胸片中常被漏诊。我们提出并评估P-AnoGAN，一种用于X光片中肺结节的无监督异常检测方法。P-Ano GAN通过利用渐进式GAN和卷积编码器-解码器-编码器流水线来修改快速异常检测生成对抗网络（f-Ano GAN）。模型训练仅使用从印第安纳大学胸部X射线收集中提取的未标记的健康肺部补丁。使用分别从ChestX-ray 14和日本放射技术学会数据集提取的健康和不健康补丁进行外部验证和测试。我们的模型在外部验证和测试数据中鲁棒地识别了包含肺结节的斑块，ROC-AUC分别为91.17%和87.89%。这些结果表明，无监督的方法可能是有用的，在具有挑战性的任务，如肺结节检测X光片。
2021-08-04 cs.CV cs.LG eess.IV
Unsupervised Anomaly Detection with Generative Adversarial Networks to Guide Marker Discovery
Medical University Vienna（维也纳医科大学）
获得捕获与疾病进展和治疗监测相关的成像标志物的模型具有挑战性。模型通常基于大量的数据，并带有旨在自动检测的已知标记的注释示例。高注释工作量和对已知标记的词汇表的限制限制了这种方法的能力。在这里，我们执行无监督学习，以识别异常的图像数据作为候选标记。我们提出了AnoGAN，这是一种深度卷积生成对抗网络，用于学习正常解剖变异性的流形，并基于从图像空间到潜在空间的映射，提出了一种新的异常评分方案。应用于新数据，该模型标记异常，并对图像块进行评分，以表明它们是否适合学习的分布。对视网膜的光学相干断层扫描图像的结果表明，该方法正确地识别异常图像，例如包含视网膜液体或过度反射焦点的图像。
2017-03-17 cs.CV cs.LG
Unsupervised Video Summarization with a Convolutional Attentive Adversarial Network
Northwestern Polytechnical University（西北工业大学）
随着视频数据量的爆炸式增长，试图寻找最小的帧子集同时又能传达主要内容的视频摘要成为研究的热点之一。如今，监督学习技术已经取得了实质性的成就，特别是在深度学习出现之后。然而，这是非常昂贵的，很难收集大规模的视频数据集的人类注释。为了解决这个问题，我们提出了一个卷积注意对抗网络（CAAN），其核心思想是以无监督的方式构建深度摘要器。在生成对抗网络上，我们的整体框架由生成器和代理器组成。前者预测视频的所有帧的重要性分数，而后者试图区分分数加权的帧特征与原始帧特征。具体而言，生成器采用全卷积序列网络来提取视频的全局表示，并采用基于注意力的网络来输出归一化的重要性分数。为了学习参数，我们的目标函数由三个损失函数组成，可以协同指导帧级重要性分数预测。为了验证所提出的方法，我们在两个公共基准SumMe和TVSum上进行了大量的实验。结果表明，我们提出的方法对其他国家的最先进的无监督方法的优越性。我们的方法甚至优于一些已发表的监督方法。
2021-05-24 cs.CV cs.MM
Towards Understanding the Generative Capability of Adversarially Robust Classifiers
Zhejiang University（浙江大学）
最近，一些工作发现了一个有趣的现象，对抗鲁棒分类器可以生成与生成模型相当的好图像。我们从能量的角度研究这一现象，并提供了一个新的解释。我们重新制定了对抗性示例生成，对抗性训练和图像生成的能量函数。我们发现，对抗性训练有助于获得一个平坦的能量函数，并且在真实数据周围具有较低的能量，这是生成能力的关键。基于我们的新理解，我们进一步提出了一种更好的对抗训练方法，联合能量对抗训练（JEAT），它可以生成高质量的图像，并在广泛的攻击下实现新的最先进的鲁棒性。JEAT生成的图像的初始得分（CIFAR-10）为8.80，远远优于原始的鲁棒分类器（7.50）。
2021-09-14 cs.CV cs.LG
Unsupervised Image-to-Image Translation with Generative Prior
Nanyang Technological University（南洋理工大学）
无监督图像到图像翻译旨在学习两个视觉域之间的翻译，而无需配对数据。尽管最近在图像翻译模型方面取得了进展，但在具有剧烈视觉差异的复杂域之间建立映射仍然具有挑战性。在这项工作中，我们提出了一个新的框架，生成先验指导的无监督图像到图像翻译（GP-UNIT），以提高翻译算法的整体质量和适用性。我们的关键见解是利用来自预训练的类条件GANs的生成先验（例如，BigGAN）来学习跨各个领域的丰富内容对应关系。我们提出了一种新的粗到细的方案：我们首先提取生成之前捕获一个强大的粗层次的内容表示，可以在抽象的语义层次上链接对象，在此基础上，细层次的内容特征自适应学习更准确的多级内容对应。大量的实验证明了我们的多功能框架在强大，高质量和多样化的翻译方面优于最先进的方法，即使是具有挑战性和遥远的领域。
2022-04-07 cs.CV cs.LG
GANVO: Unsupervised Deep Monocular Visual Odometry and Depth Estimation with Generative Adversarial Networks
Computer Science Department, The University of Oxford（牛津大学计算机科学系）
在过去的十年中，监督式深度学习方法已被广泛用于视觉里程计（VO）应用中，这在标记数据不丰富的环境中是不可行的。另一方面，无监督的深度学习方法在未知环境中从未标记的数据进行定位和映射，在VO研究中受到的关注相对较少。在这项研究中，我们提出了一个生成式无监督学习框架，该框架使用深度卷积生成对抗网络（GANs）从未标记的RGB图像序列预测场景的6-DoF姿势相机运动和单眼深度图。我们通过扭曲视图序列并将重投影最小化分配给多视图姿态估计和单视图深度生成网络中采用的目标损失函数来创建监督信号。在KITTI和Cityscapes数据集上对所提出的框架进行了详细的定量和定性评估，结果表明，所提出的方法优于现有的传统和无监督深度VO方法，为姿态估计和深度恢复提供了更好的结果。
2019-03-05 cs.CV cs.LG stat.ML
Generative Adversarial Networks for Automatic Polyp Segmentation
University of Oslo（奥斯陆大学）
本文旨在使用生成对抗网络框架对自动息肉分割问题进行基准测试。将问题视为图像到图像的翻译任务，利用条件生成对抗网络来生成由图像作为输入的条件掩码。生成器和卷积神经网络都是基于卷积神经网络的。模型的Jaccard指数为0.4382，F2得分为0.611。
2020-12-12 cs.CV cs.LG eess.IV
SGANVO: Unsupervised Deep Visual Odometry and Depth Estimation with Stacked Generative Adversarial Networks
University of Essex（埃塞克斯大学）
最近，端到端的无监督深度学习方法在视觉深度和自我运动估计任务中取得了超越几何方法的效果。这些基于数据的学习方法在一些具有挑战性的场景中表现得更加稳健和准确。编解码器网络在深度估计中得到了广泛的应用，而RCNN在自运动估计方面有着显著的改进。此外，生成对抗网络（GANs）在深度和自我运动估计中的最新使用表明，可以通过在游戏学习过程中生成图片来进一步改进估计。本文提出了一种新的用于视觉深度和自我运动估计的无监督网络系统：堆叠生成对抗网络（SGANVO）。它由一堆GAN层组成，其中最低层估计深度和自我运动，而较高层估计空间特征。它还可以捕获由于跨层使用递归表示而导致的时间动态。详见图1。我们选择最常用的KITTI [1]数据集进行评估。评估结果表明，我们提出的方法可以产生更好的或可比的深度和自我运动估计的结果。
2019-06-20 cs.CV cs.RO eess.IV
Unsupervised Compositional Concepts Discovery with Text-to-Image Generative Models
UIUC（伊利诺伊大学厄巴纳-香槟分校）；MIT（麻省理工学院）
提出一种无监督方法从图像集合中发现生成概念，能解耦风格、物体与光照并重组生成新图像，同时可用于下游分类任务。
2023-08-03 cs.AI cs.CV cs.LG
Latent Dirichlet Allocation in Generative Adversarial Networks
University of Electronic Science and Technology of China（电子科技大学）
我们研究了基于生成对抗网络（GANs）的图像多模态生成建模问题。尽管现有的方法取得了成功，但它们往往忽略了视觉数据的底层结构或其多模态生成特性。为了解决这个问题，我们引入狄利克雷先验的多模态图像生成，这导致了一个新的潜在狄利克雷分配的GAN（LDAGAN）。详细地，对于生成过程建模，LDAGAN为每个样本定义生成模式，确定其属于哪个生成子过程。对于对抗训练，LDAGAN推导出一种变分期望最大化（VEM）算法来估计模型参数。在真实数据集上的实验结果表明，LDAGAN的性能优于其他现有的GANs。
2019-11-06 cs.CV cs.LG stat.ML
Generative Adversarial Networks with Conditional Neural Movement Primitives for An Interactive Generative Drawing Tool
Bogazici University（博阿齐奇大学）
素描是视觉感知和视觉空间建构的抽象表现。在这项工作中，我们提出了一个新的框架，生成对抗网络与条件神经运动原语（GAN-CNMP），它结合了一种新的对抗损失CNMP，以提高草图的平滑性和一致性。通过实验，我们证明了该模型可以用较少的未标记样本进行训练，可以在潜在空间中自动构造分布，并且在形状一致性和平滑性方面比基本模型产生更好的结果。
2021-12-21 cs.AI cs.CV cs.GR
Generative Adversarial Networks: recent developments
Wrocław University of Science and Technology（弗罗茨瓦夫科技大学）；Tooploox Ltd.（图普洛克斯有限公司）
在传统的生成式建模中，良好的数据表示通常是良好的机器学习模型的基础。它可以链接到编码更多隐藏在原始数据中的解释性因素的良好表示。随着生成对抗网络（GANs）的发明，生成模型的一个子类，能够以无监督和半监督的方式学习表示，我们现在能够从简单的先验分布到目标数据分布的良好映射。本文概述了GANs的最新发展，重点是学习潜在空间表示。
2019-03-16 cs.CV cs.LG stat.ML
Learning to navigate image manifolds induced by generative adversarial networks for unsupervised video generation
Institut national de la recherche scientifique (INRS-EMT)（国家科学研究院（INRS-EMT））
在这项工作中，我们介绍了一个两步的框架生成建模的时态数据。具体而言，生成对抗网络（GANs）设置用于生成移动对象的合成场景。为此，我们提出了一个两步训练方案，其中：首先训练静态帧的生成器。然后，训练一个递归模型，目标是为先前训练的帧生成器提供一系列输入，从而产生看起来自然的场景。在这两个训练步骤中都采用了对抗性设置。然而，为了避免GANs中已知的训练不稳定性，使用多重训练方法来训练这两个模型。在研究的视频数据集的结果表明，通过采用这种方法，经常性的部分是能够学习如何连贯地导航由帧生成器引起的图像流形，从而产生更自然的场景。
2019-01-23 cs.CV cs.LG stat.ML
Graphical Generative Adversarial Networks
Tsinghua University（清华大学）；University of Amsterdam（阿姆斯特丹大学）；Canadian Institute for Advanced Research（加拿大高等研究院）
我们提出了图形生成对抗网络（Graphical-GAN）来建模结构化数据。Graphical-GAN结合了贝叶斯网络在复杂表示随机变量之间的依赖结构方面的能力和生成对抗网络在学习表达依赖函数方面的能力。我们引入了一个结构化的识别模型来推断潜变量的后验分布的观察。我们推广的期望传播（EP）算法学习的生成模型和识别模型联合。最后，我们提出了两个重要的图形-GAN的实例，即高斯混合GAN（GM GAN）和状态空间GAN（SS GAN），它们可以成功地学习离散和时间结构的视觉数据集，分别。
2018-12-12 cs.CV cs.LG stat.ML
Regularized Generative Adversarial Network
Princeton University（普林斯顿大学）；Columbia University（哥伦比亚大学）
我们提出了一个框架，用于从不同于训练集的概率分布的概率分布生成样本。我们使用一个对抗过程，同时训练三个网络，一个生成器和两个判别器。我们将这种新模型称为正则化生成对抗网络（RegGAN）。我们在由灰度图像组成的合成数据集上评估RegGAN，并进一步表明它可以用于学习拓扑中的一些预先指定的概念（基本拓扑属性）。这项工作的动机是在艺术世界中使用生成方法时遇到的实际问题。
2021-02-09 cs.AI cs.CV cs.LG
Generative Adversarial Networks and Other Generative Models
Fraunhofer Institute for Digital Medicine MEVIS（弗劳恩霍夫数字医学MEVIS研究所）
与CNN相比，生成网络在分类、分割或目标检测方面的目标和方法有着根本的不同。它们最初并不是一种图像分析工具，而是用来生成看起来自然的图像。对抗性训练范式已经被提出来稳定生成方法，并且已经被证明是非常成功的-尽管从第一次尝试开始就不是这样。本章对生成对抗网络（GANs）的动机进行了基本介绍，并通过抽象基本任务和工作机制，以及推导早期实用方法的困难，追溯了它们的成功之路。将显示更稳定的训练方法，以及收敛性差的典型迹象及其原因。虽然本章重点介绍用于图像生成和图像分析的GANs，但对抗训练范式本身并不特定于图像，也适用于图像分析中的任务。在将GANs与最近进入场景的进一步生成建模方法进行对比之前，图像语义分割和异常检测的架构示例将受到好评。这将允许对GANs的限制和好处进行上下文化的查看。
2022-07-08 cs.CV cs.LG eess.IV
Learning from Simulated and Unsupervised Images through Adversarial Training
Apple Inc（苹果公司）
随着图形学的最新进展，在合成图像上训练模型变得更加容易，从而可能避免对昂贵注释的需求。然而，由于合成图像和真实图像分布之间的差距，从合成图像学习可能无法实现期望的性能。为了缩小这一差距，我们提出了模拟+无监督（S+U）学习，其中的任务是学习一个模型，使用未标记的真实数据来提高模拟器输出的真实性，同时保留来自模拟器的注释信息。我们开发了一种S+U学习方法，该方法使用类似于生成对抗网络（GANs）的对抗网络，但使用合成图像作为输入，而不是随机向量。我们对标准GAN算法进行了几项关键修改，以保留注释，避免伪影并稳定训练：（i）“自正则化”项，（ii）局部对抗性损失，以及（iii）使用细化图像的历史更新训练。我们表明，这使得生成高度逼真的图像，我们证明了定性和用户研究。我们定量评估生成的图像通过训练模型的凝视估计和手部姿势估计。我们显示了使用合成图像的显着改进，并在没有任何标记的真实数据的情况下在MPIIGaze数据集上实现了最先进的结果。
2017-07-19 cs.CV cs.LG cs.NE
Generating Images Part by Part with Composite Generative Adversarial Networks
Seoul National University（首尔大学）
图像生成仍然是一般人工智能和具体深度学习中的基本问题。生成对抗网络（GAN）成功生成了高质量的自然图像样本。我们提出了一个称为复合生成对抗网络的模型，它揭示了具有多个生成器的图像的复杂结构，其中每个生成器生成图像的某个部分。这些部分通过alpha混合过程组合以创建新的单个图像。例如，它可以在人脸数据集上训练后，使用两个生成器依次生成背景和人脸。训练是以无监督的方式进行的，没有任何关于每个生成器应该生成什么的标签。我们发现学习的可能性，通过使用这种生成模型经验的结构。
2016-11-14 cs.AI cs.CV cs.LG
Unsupervised Adversarial Image Inpainting
Sorbonne Universités（索邦大学）；Criteo AI Lab（Criteo人工智能实验室）
我们考虑在无监督设置中进行修复，其中既不能访问配对的也不能访问未配对的训练数据。唯一可用的信息是由不完整的观察和修复过程统计信息提供的。在这种情况下，观察应该产生几个合理的重建，这相当于学习在重建图像的空间上的分布。我们建模的重建过程中使用的条件GAN的随机组件，引入一个明确的依赖关系，这个组件和生成的输出之间的约束。这允许我们从潜在成分中进行采样，以生成与观察相关联的图像分布。我们在几个图像数据集上展示了我们的模型的能力：面部（CelebA），食物图像（Recipe-1 M）和卧室（LSUN Bedrooms），具有不同类型的插补掩码。该方法产生了与使用额外监督训练的模型变体相当的性能。
2019-12-18 cs.CV cs.LG eess.IV
Constructing Unrestricted Adversarial Examples with Generative Models
Stanford University（斯坦福大学）；Microsoft Research（微软研究院）
对抗性示例通常通过在小矩阵范数内扰动现有数据点来构建，当前的防御方法主要集中在防范这种类型的攻击。在本文中，我们提出了无限制的对抗性示例，这是一种新的威胁模型，其中攻击者不限于小的范数有界扰动。与基于扰动的攻击不同，我们建议使用条件生成模型完全从头开始合成不受限制的对抗性示例。具体来说，我们首先训练一个辅助分类器生成对抗网络（AC-GAN）来对数据样本上的类条件分布进行建模。然后，以所需类别为条件，我们在AC-GAN潜在空间中搜索，以找到可能在生成模型下并且被目标分类器错误分类的图像。我们通过人工评估证明，以这种方式生成的不受限制的对抗性示例是合法的，并且属于所需的类。我们在MNIST、SVHN和CelebA数据集上的实证结果表明，不受限制的对抗性示例可以绕过针对传统对抗攻击设计的强对抗性训练和认证防御方法。
2018-12-02 cs.AI cs.CR cs.CV
A Domain Agnostic Normalization Layer for Unsupervised Adversarial Domain Adaptation
我们提出了一个规范化层的语义场景分割无监督域自适应。已知归一化层可以提高收敛性和泛化能力，并且是许多最先进的全卷积神经网络的一部分。我们发现，传统的归一化层恶化了当前无监督对抗域自适应（UADA）的性能，UADA是一种提高未标记数据集网络性能的方法，也是我们研究的重点。因此，我们提出了一种新的领域不可知的归一化层，从而释放了归一化层对无监督对抗领域自适应的好处。在我们的评估中，我们从合成的GTA5数据集适应真实的Cityscapes数据集，一个常见的基准实验，并超越了最先进的。由于我们的规范化层在测试时是领域不可知的，我们进一步证明了UADA使用领域不可知的规范化提高了看不见的领域的性能，特别是在Apolloscape和Mapillary上。
2018-09-14 cs.CV
Unsupervised Domain Adaptation for Image Classification via Structure-Conditioned Adversarial Learning
Zhejiang University（浙江大学）；Huawei Technologies（华为技术有限公司）
无监督领域自适应（UDA）通常通过对抗学习将知识从标签丰富的源领域转移到未标记的目标领域。原则上，现有的UDA方法主要关注域之间的全局分布对齐，而忽略了固有的局部分布特性。基于这一观察结果，我们提出了一种端到端的结构条件对抗学习方案（SCAL），该方案能够在域分布对齐过程中保持类内紧凑性。通过使用局部结构作为结构感知条件，该方案在结构条件对抗学习管道中实现。上述学习过程通过在局部结构建立和结构条件对抗学习之间交替来迭代执行。实验结果证明了该方案在UDA场景中的有效性。
2021-03-04 cs.CV
Virtual Adversarial Training in Feature Space to Improve Unsupervised Video Domain Adaptation
School of Computing Sciences, University of East Anglia（东英吉利大学计算科学学院）
虚拟对抗训练最近在半监督学习和无监督领域自适应方面取得了很大的成功。然而，到目前为止，它已被用于像素空间中的输入样本，而我们建议将其直接应用于特征向量。我们还讨论了熵最小化和决策边界迭代精化训练与教师在领域自适应的不稳定行为，并建议实现类似的行为的替代品。通过将上述技术添加到现有技术的模型TA $^3$ N，我们在多个无监督视频领域自适应任务中保持有竞争力的结果或优于现有技术
2020-08-19 cs.CV
Pulling Back the Curtain: Unsupervised Adversarial Detection via Contrastive Auxiliary Networks
Ben-Gurion University（本·古里安大学）；DeepKeep
提出U-CAN方法，通过嵌入目标模型中间层的对比辅助网络，无需对抗样本即可检测对抗输入，在多个数据集和架构上超越现有无监督方法，提升F1分数。
2025-10-26 cs.CV
CANU-ReID: A Conditional Adversarial Network for Unsupervised person Re-IDentification
Inria（法国国家信息与自动化研究所）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Télécom Paris（巴黎高等电信学院）；IP Paris（巴黎理工学院）
无监督人员重新识别是在目标数据集上识别在训练期间ID标签不可用的人员的任务。在本文中，我们提出统一无监督人员重新识别的两个趋势：聚类和微调以及对抗性学习。一方面，聚类将训练图像分组为伪ID标签，并使用它们来微调特征提取器。另一方面，受领域自适应的启发，使用对抗学习来匹配来自不同领域的分布。由于目标数据分布在不同的相机视点，我们建议将每个相机建模为一个独立的域，并旨在学习域独立的功能。简单的对抗性学习会产生负迁移，因此我们引入了一个条件向量来减轻这种不良影响。在我们的框架中，视觉样本所属的聚类的质心被用作我们的条件对抗网络的条件向量，其中向量是置换不变的（聚类排序无关紧要），其大小与聚类的数量无关。据我们所知，我们是第一个提出使用条件对抗网络进行无监督人员重新识别的人。我们在两种最先进的基于集群的无监督人员重新识别（re-ID）方法的基础上评估了所提出的架构。在四个不同的实验环境中使用三个不同的数据集，并在所有四个数据集上设置了新的最先进性能。我们的代码和模型将在https://team.inria.fr/perception/canu-reid/上公开。
2020-04-28 cs.CV
AIR-DA: Adversarial Image Reconstruction for Unsupervised Domain Adaptive Object Detection
Southeast University（东南大学）；Graz University of Technology（格拉茨技术大学）
无监督域自适应目标检测是一项具有挑战性的视觉任务，其中目标检测器从标签丰富的源域适应到未标记的目标域。最近的进展证明了基于对抗的域对齐的有效性，其中特征提取器和域对齐器之间的对抗训练导致特征空间中的域不变性。然而，由于域的变化，域的歧视，特别是在低级别的功能，是一个容易的任务。这导致了域训练器和特征提取器之间的对抗训练的不平衡。在这项工作中，我们通过引入辅助正则化任务来改善训练平衡，从而实现更好的域对齐。具体来说，我们提出了对抗性图像重建（AIR）作为正则化器，以促进特征提取器的对抗性训练。我们进一步设计了一个多层次的特征对齐模块，以提高自适应性能。我们对几个具有挑战性的域转移数据集的评估表明，在大多数情况下，所提出的方法优于所有以前的方法，无论是一个阶段还是两个阶段。
2023-03-27 cs.CV
Unsupervised Pixel-Level Domain Adaptation with Generative Adversarial Networks
Google Brain（谷歌大脑）；Google Research（谷歌研究院）
收集注释良好的图像数据集来训练现代机器学习算法对于许多任务来说都是非常昂贵的。一个吸引人的替代方案是渲染合成数据，其中自动生成地面实况注释。不幸的是，纯粹在渲染图像上训练的模型往往无法推广到真实图像。为了解决这个缺点，先前的工作引入了无监督的领域自适应算法，该算法试图在两个域之间映射表示或学习提取域不变的特征。在这项工作中，我们提出了一种新的方法，学习，在无监督的方式，在像素空间中的变换从一个域到其他。我们基于生成对抗网络（GAN）的方法使源域图像看起来像是从目标域绘制的。我们的方法不仅产生合理的样本，而且在许多无监督领域自适应场景上的表现优于最先进的方法。最后，我们证明了自适应过程可以推广到训练过程中看不到的对象类。
2017-08-23 cs.CV
Unsupervised Adversarial Attacks on Deep Feature-based Retrieval with GAN
Renmin University of China（中国人民大学）
研究表明，基于深度神经网络（DNN）的图像分类模型容易受到恶意构建的对抗性样本的攻击。然而，很少有人研究基于DNN的图像检索模型如何受到此类攻击的影响。在本文中，我们引入了无监督对抗攻击与生成对抗网络（UAA-GAN）来攻击基于深度特征的图像检索系统。UAA-GAN是一种无监督学习模型，只需要少量未标记的数据进行训练。一旦经过训练，它会对查询图像产生特定于查询的扰动，以形成对抗性查询。其核心思想是确保附加的扰动是几乎察觉不到的人，但有效地推动查询远离其在深特征空间中的原始位置。UAA-GAN适用于各种基于深度特征的应用场景，包括图像检索，人员Re-ID和人脸搜索。实验结果表明，UAA-GAN削弱检索性能没有显着的视觉变化的查询图像。UAA-GAN生成的对抗性示例不太可区分，因为它们倾向于在图像的纹理或突出区域（诸如人类的关键身体部位、主要结构模式/纹理或边缘）中而不是在视觉上不重要的区域（例如，背景和天空）。这种趋势表明，该模型确实学会了如何玩弄图像检索系统和人眼。
2019-07-12 cs.CV
Unsupervised Image Segmentation by Mutual Information Maximization and Adversarial Regularization
AmirKabir University of Technology（阿米尔卡比尔理工大学）；Sharif University of Technology（谢里夫理工大学）；Monash University（莫纳什大学）
语义分割是自主智能体场景理解的基本任务之一。监督机器学习和神经网络的最新发展在增强用于该任务的最先进技术的性能方面取得了巨大成功。然而，它们的卓越性能高度依赖于大规模注释数据集的可用性。在本文中，我们提出了一种新的完全无监督的语义分割方法，所谓的信息最大化和对抗正则化分割（InMARS）。受人类感知的启发，将场景解析为感知组，而不是单独分析每个像素，我们提出的方法首先将输入图像划分为有意义的区域（也称为超像素）。接下来，它利用互信息最大化，然后采用对抗训练策略将这些区域聚类为语义上有意义的类。为了针对该问题定制对抗性训练方案，我们将对抗性像素噪声与空间扰动结合起来，以在深度神经网络上施加光度和几何不变性。我们的实验表明，我们的方法达到了最先进的性能上两个常用的无监督语义分割数据集，COCO-Stuff，波茨坦。
2021-07-01 cs.CV
Semantic-Aware Generative Adversarial Nets for Unsupervised Domain Adaptation in Chest X-ray Segmentation
The Chinese University of Hong Kong（香港中文大学）；Imsight Medical Technology Inc.（艾迈医疗科技有限公司）
尽管深度神经网络（DNN）在医学图像计算方面取得了令人瞩目的成就，但这些深度模型在应用于具有域偏移的新测试数据集时往往会出现性能下降。在本文中，我们提出了一种新的无监督领域自适应适应分割任务的方法，通过设计语义感知生成对抗网络（GANs）。具体来说，我们将测试图像转换为源域的外观，语义结构信息得到很好的保留，这是通过在语义标签空间中实施嵌套对抗学习来实现的。通过这种方式，从源域学习的分割DNN能够直接推广到变换后的测试图像，无需为每个新的目标数据集训练新模型。我们的领域自适应过程是无监督的，不使用任何目标域标签。我们网络的对抗学习由映射数据分布的GAN损失、保留像素级内容的循环一致性损失和增强结构信息的语义感知损失指导。我们在两个不同的胸部X射线公共数据集上验证了我们的方法，用于左/右肺分割。实验结果表明，我们的无监督方法的分割性能是非常有竞争力的上界监督迁移学习。
2018-06-05 cs.CV
